JP4506882B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より迅速かつ確実に画像の表示パターンを検出できるようにした画像処理装置および方法、並びにプログラムに関する。

例えば、動画像である入力画像を表示させる場合に、動き補償により入力画像のフレームを補間するフレームレート変換と呼ばれる技術が一般的に知られている。すなわち、フレームレート変換では、所定のフレームの入力画像と、そのフレームとは異なるフレームの入力画像とから、動きベクトルを用いた動き補償により、それらのフレームの間の新たなフレームの入力画像が生成される。

ところで、入力画像によっては、所定のフレームの入力画像が、次のフレームの入力画像としてそのまま用いられることがある。例えば、通常のプログレッシブ型の動画像では、フレームごとに異なる入力画像が表示されるが、アニメーションなどのコンテンツの動画像では、同じ入力画像が２フレーム連続して表示される。

このように、フレームごとに異なる入力画像が表示されたり、連続するフレームで同じ入力画像が繰り返し表示されたりといった入力画像の表示パターンが異なると、フレームレート変換において、動き補償に用いるべきフレームも変わることになる。したがって、入力画像の表示パターンを特定できないと、例えば、異なるフレームの全く同じ入力画像が用いられて、新たな補間フレームが生成されてしまうようなことが起こり得る。

そこで、入力画像の表示パターンを検出する方法として、連続するフレームの入力画像の差分を閾値処理することにより表示パターンを検出する方法（例えば、特許文献１参照）や、ステートマシンを用いて表示パターンを検出する方法が提案されている。このような入力画像の表示パターンを検出する機構が設けられた表示装置では、入力画像の再生時に、表示パターンの検出結果に基づいてフレームレート変換が行われる。

特開２００５−３１８６１１号公報

しかしながら、上述した技術では、入力画像の表示パターンを迅速かつ確実に検出することは困難であった。

例えば、ステートマシンを用いる方法では、多くの条件分岐が必要となるため、表示パターンの検出に時間がかかってしまう。また、表示パターンが検出されてから、フレームレート変換に用いるフレームを適切なフレームに変更するまでにも長い時間が必要であるため、適切なフレームが用いられない期間が長くなり、入力画像の画質が劣化してしまう恐れがある。

さらに、閾値処理により表示パターンを検出する方法では、特に閾値処理に用いる閾値が固定値である場合、入力画像に応じた適切な閾値を設定することは困難である。したがって、閾値が適切に設定されないと、連続するフレームの入力画像の差分の大きさによっては、表示パターンの誤検出が生じてしまう。

本発明は、このような状況に鑑みてなされたものであり、より迅速かつ確実に入力画像の表示パターンを検出することができるようにするものである。

本発明の一側面の画像処理装置は、連続する２つのフレームの画像の明るさの差分を求める差分算出手段と、予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値を算出する平均値算出手段と、前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出する変化検出手段と、前記所定の数の各フレームについての前記変化検出手段による検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかを検出する表示パターン検出手段とを備える。

画像処理装置には、前記所定の数のフレームの前記画像のうち、前記変化検出手段による検出結果と、前記表示パターンの検出結果とにより特定される第１のフレームの前記画像および第２のフレームの前記画像を用いて動き補償を行い、前記第１のフレームと前記第２のフレームとの間のフレームの画像を生成するフレーム補間手段をさらに設けることができる。

画像処理装置には、前記所定の数の各フレームについて求められた前記差分の最大値および最小値の差と、前記平均値とを比較する比較手段をさらに設け、前記表示パターン検出手段には、前記変化検出手段による前記検出結果と、前記比較手段による比較結果とに基づいて前記表示パターンを検出させることができる。

画像処理装置には、前記変化検出手段による前記検出結果に基づいて、前記所定の数のフレームにおいて、同じ画像が表示される回数を求める回数算出手段をさらに設け、前記表示パターン検出手段には、前記変化検出手段による前記検出結果と、前記回数算出手段により求められた前記回数とに基づいて、前記表示パターンを検出させることができる。

画像処理装置には、前記画像の画素を間引いて、縮小された前記画像である縮小画像を生成する縮小画像生成手段をさらに設け、前記差分算出手段には、前記縮小画像を用いて前記差分を求めさせることができる。

本発明の一側面の画像処理方法またはプログラムは、連続する２つのフレームの画像の明るさの差分を求め、予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値を算出し、前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出し、前記所定の数の各フレームについての前記連続する２つのフレームの前記画像が同じであるか否かの検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかを検出するステップを含む。

本発明の一側面においては、連続する２つのフレームの画像の明るさの差分が求められ、予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値が算出され、前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とが比較されて、前記連続する２つのフレームの前記画像が同じであるか否かが検出され、前記所定の数の各フレームについての前記連続する２つのフレームの前記画像が同じであるか否かの検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかが検出される。

本発明の一側面によれば、より迅速かつ確実に入力画像の表示パターンを検出することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

まず、図１Ａ乃至図１Ｃを参照して、本発明を適用した画像変換装置において検出される入力画像の表示パターンについて説明する。ここで、入力画像の表示パターンとは、上述したように、フレームごとに異なる入力画像が表示されたり、規則的に、連続するいくつかのフレームで同じ画像が表示されたりといった、入力画像の時間方向の表示のパターンをいう。

なお、図中、横方向は時間を示しており、１つの四角形は１フレーム分の入力画像を表している。また、図１Ａ乃至図１Ｃでは、図中、左端から右方向に、表示時刻の古いものから順番に各フレームの入力画像が並べられており、四角形内の数字が同じである入力画像は、同じ画像であることを示している。

図１Ａに示す表示パターンでは、連続する各フレームにおいて異なる入力画像が表示されており、例えば、デジタルテレビジョン放送の多くの番組は、このような表示パターンとなっている。以下、各フレームにおいて異なる入力画像が表示される表示パターンを「Video」と称する。

また、図１Ｂに示す表示パターンでは、時間的に連続する２つのフレームで同じ入力画像が表示されている。すなわち、各番号で表される入力画像が、連続して２フレームずつ繰り返し表示されている。例えば、アニメーションなどのコンテンツの動画像が、デジタルテレビジョン放送するためにフレームレート変換されると、このような表示パターンとなる。以下、図１Ｂに示す表示パターンを「2-2film」と称する。

さらに、図１Ｃに示す表示パターンでは、同じ入力画像が３フレーム連続して表示された後、その入力画像とは異なる入力画像が２フレーム連続して表示され、それらの表示のパターンが交互に繰り返されている。例えば、映画館などの劇場での放映用に作られた動画像が、デジタルテレビジョン放送するためにフレームレート変換されると、このような表示パターンとなる。以下、図１Ｃに示す表示パターンを「2-3film」と称する。

本発明を適用した画像変換装置は、入力された動画像としての入力画像を用いて、その入力画像の時間方向の表示パターンが、「Video」、「2-2film」、または「2-3film」の何れであるかを検出し、その検出結果に基づいて入力画像のフレームレート変換を行う。なお、以下、入力画像の表示パターンをフィルムモードとも称し、表示パターン（フィルムモード）の検出をフィルムモード検出とも称する。

図２は、本発明を適用した画像変換装置の一実施の形態の構成例を示すブロック図である。

画像変換装置１１は、前処理部２１、フレームメモリ２２、動きベクトル検出部２３、フレームメモリ２４、および動き補償部２５から構成される。画像変換装置１１に入力される入力画像は、前処理部２１およびフレームメモリ２４に１フレーム分ずつ供給される。

前処理部２１は、入力された入力画像のフィルムモードを検出する。前処理部２１は、画像縮小部３１およびフィルムモード検出部３２を備えている。

画像縮小部３１は、供給された入力画像の画素を間引いて、入力画像よりも小さい画像、つまり画素数の少ない画像である縮小画像を生成し、生成された縮小画像をフレームメモリ２２、フィルムモード検出部３２、および動きベクトル検出部２３に供給する。

フィルムモード検出部３２は、画像縮小部３１からの縮小画像と、フレームメモリ２２から供給された、画像縮小部３１からの縮小画像の時間的に１つ前のフレームの縮小画像とを用いて、入力画像のフィルムモードを検出し、その検出結果を動き補償部２５に供給する。

フレームメモリ２２は、画像縮小部３１からの縮小画像を、１フレーム分の時間だけ保持した後、フィルムモード検出部３２および動きベクトル検出部２３に供給する。動きベクトル検出部２３は、画像縮小部３１からの縮小画像と、フレームメモリ２２からの縮小画像とを用いて入力画像の動きベクトルを検出し、検出された動きベクトルを動き補償部２５に供給する。

フレームメモリ２４は、供給された入力画像を１フレーム分の時間だけ保持する。また、フレームメモリ２４は、供給された入力画像と、保持している入力画像とを動き補償部２５に供給する。これにより、フレームメモリ２４から動き補償部２５には、時間的に連続する２つのフレームの入力画像が供給されることになる。

動き補償部２５は、フィルムモード検出部３２からの検出結果を参照しながら、動きベクトル検出部２３からの動きベクトルと、フレームメモリ２４からの入力画像とを用いて、入力画像のフレームレート変換を行う。すなわち、動き補償部２５は、供給された入力画像および動きベクトルに基づいて動き補償を行い、連続するフレームの間の新たなフレームの入力画像を生成する。なお、以下、動き補償により補間されるフレームを補間フレームとも称する。

動き補償部２５により入力画像のフレームレート変換が行われると、フレームレート変換された入力画像は、動き補償部２５から液晶ディスプレイ等の図示せぬ表示部に供給されて表示される。

次に、図３は、図２のフィルムモード検出部３２のより詳細な構成例を示す図である。フィルムモード検出部３２は、差分絶対値和計算部６１、差分絶対値和遅延部６２、平均値計算部６３、フレーム間変化検出部６４、およびフィルムパターン検出部６５から構成される。

差分絶対値和計算部６１は、画像縮小部３１およびフレームメモリ２２から供給された縮小画像の明るさの差分として、入力画像の輝度値の差分絶対値和を算出し、差分絶対値和遅延部６２に供給する。

差分絶対値和遅延部６２は、差分絶対値和計算部６１からの差分絶対値和を一時的に保持し、遅延させる。また、差分絶対値和遅延部６２は、現在処理対象となっているフレームを含む、過去１０フレーム分の差分絶対値和を平均値計算部６３およびフレーム間変化検出部６４に供給する。すなわち、現在処理対象となっているフレームを現フレームと呼ぶこととすると、差分絶対値和遅延部６２は、現フレームから、現フレームの９フレーム前までの各フレームのそれぞれについて求められた、差分絶対値和dif-sum0乃至差分絶対値和dif-sum9のそれぞれを、平均値計算部６３およびフレーム間変化検出部６４に供給する。

平均値計算部６３は、差分絶対値和遅延部６２から供給された差分絶対値和dif-sum0乃至差分絶対値和dif-sum9の平均値dif-sum-aveを算出し、フレーム間変化検出部６４に供給する。また、平均値計算部６３は、差分絶対値和遅延部６２から供給された差分絶対値和dif-sum0乃至差分絶対値和dif-sum9の最大値および最小値を求めて、フレーム間変化検出部６４に供給する。

フレーム間変化検出部６４は、平均値計算部６３からの平均値、最大値、および最小値と、差分絶対値和遅延部６２からの差分絶対値和とを用いて、変化信号mdcおよび変化数信号changesを生成し、フィルムパターン検出部６５に供給する。

ここで、変化信号mdcは、現フレームを含む過去１０フレームについて、各フレームの入力画像が、そのフレームの直前のフレームの入力画像と同じ画像であるか否かを示す信号である。注目しているフレームの入力画像と、そのフレームの時間的に１つ前のフレームの入力画像とが異なる画像である場合に、フレーム間の動きがあると称することとすると、変化信号mdcには、入力画像の過去１０フレームについての動きの有無を示す情報が含まれている。また、変化数信号changesは、入力画像の過去１０フレームにおいて、フレーム間の動きのあった回数を示す信号である。

フィルムパターン検出部６５は、フレーム間変化検出部６４からの変化信号および変化数信号に基づいて、入力画像のフィルムモードを示すフィルムモード信号と、表示パターンにおける現フレームの位置を特定するフィルムシーケンス信号とを生成する。フィルムパターン検出部６５は、生成したフィルムモード信号およびフィルムシーケンス信号を動き補償部２５に供給する。

例えば、図１Ｃに示したように、フィルムモードが「2-3film」である入力画像は、同じ入力画像が３フレーム連続して表示された後、その入力画像とは異なる入力画像が２フレーム連続して表示され、そのような表示のパターンが繰り返される。つまり、フィルムモード「2-3film」では、連続する５フレーム、例えば図中、左端の番号０が記されたフレームから、図中、左端から５番目の番号１が記されたフレームまでの表示のパターンが繰り返されることになる。

したがって、現フレームが、それらの５つのフレームのうちの何れのフレームに相当するかを特定することができれば、現フレームの入力画像と、他のフレームの入力画像とが同じ画像であるか否か等を確実に知ることができるようになる。そこで、現フレームを含む過去何フレームかにおけるフレーム間の動きの有無に基づいて、現フレームが、表示パターンの繰り返しの単位となるフレームのうちの、どのフレームに相当するかを示すフィルムシーケンス信号が生成される。

また、図３のフレーム間変化検出部６４は、より詳細には図４に示すように構成される。

すなわち、フレーム間変化検出部６４は、閾値処理部９１−１乃至閾値処理部９１−１０（閾値処理部９１−３乃至閾値処理部９１−９は図示せず）、係数積算部９２、差分計算部９３、比較部９４、コード化部９５、および加算部９６から構成される。

ここで、平均値計算部６３からの平均値dif-sum-aveは、閾値処理部９１−１乃至閾値処理部９１−１０および係数積算部９２に供給され、平均値計算部６３からの差分絶対値和の最大値および最小値は、差分計算部９３に供給される。また、差分絶対値和遅延部６２からの差分絶対値和dif-sum0乃至差分絶対値和dif-sum9のそれぞれは、閾値処理部９１−１乃至閾値処理部９１−１０のそれぞれに供給される。

閾値処理部９１−１乃至閾値処理部９１−１０のそれぞれは、平均値計算部６３からの平均値dif-sum-aveを閾値として、差分絶対値和遅延部６２からの差分絶対値和dif-sum0乃至差分絶対値和dif-sum9のそれぞれを閾値処理し、その処理結果をコード化部９５に供給する。なお、以下、閾値処理部９１−１乃至閾値処理部９１−１０のそれぞれを個々に区別する必要のない場合、単に閾値処理部９１と称する。

係数積算部９２は、平均値計算部６３からの平均値dif-sum-aveに予め定められた係数を乗算して、比較部９４に供給する。差分計算部９３は、平均値計算部６３からの最大値と最小値との差分を求め、求めた差分を比較部９４に供給する。

比較部９４は、係数積算部９２からの平均値と、差分計算部９３からの差分とを比較し、その比較結果をコード化部９５に供給する。すなわち、比較部９４における差分と平均値との比較により、入力画像がフィルム映像らしいか否かが検出される。ここでいう、フィルム映像とは、フィルムモードが「2-2film」または「2-3film」である入力画像のことのである。

例えば、フィルムモードが「Video」である入力画像が入力された場合、各フレームの入力画像は、フレームごとに異なる画像となるので、差分絶対値和の最大値と最小値との差分が、平均値dif-sum-aveに比べて大きくなることは殆どないはずである。逆に、フィルムモードが「2-2film」または「2-3film」である入力画像が入力された場合、最大値と最小値の差分は、平均値に比べて充分に大きいはずである。

そこで、比較部９４は、最大値および最小値の差分と、平均値とを比較し、その比較結果として、入力画像のフィルムモードが「2-2film」若しくは「2-3film」の何れかであるか、または「Video」であるかを示す情報をコード化部９５に供給する。

コード化部９５は、比較部９４からの比較結果を参照しながら、閾値処理部９１−１乃至閾値処理部９１−１０から供給される閾値処理の結果に基づいて、変化信号mdcを生成し、加算部９６およびフィルムパターン検出部６５に供給する。ここで、変化信号mdcは、１０ビットのデータからなり、変化信号の先頭のビット乃至最後尾のビットのそれぞれは、入力画像の過去１０フレームの各フレームにおけるフレーム間の動きの有無を示している。具体的には、変化信号の所定のフレームに対応するビットのビット値は、フレーム間の動きがある場合には「１」とされ、動きのない場合には「０」とされる。

加算部９６は、コード化部９５から供給された変化信号の各ビットの値の総和を求めることにより変化数信号changesを生成し、フィルムパターン検出部６５に供給する。つまり、変化信号の各ビットは、各フレームにおける動きの有無を示しており、その値は、動きのある場合に「１」とされるので、それらのビットの値の総和を示す数は、過去１０フレームにおける、フレーム間の動きの数となる。

さらに、図３のフィルムパターン検出部６５は、より詳細には、図５に示すように構成される。すなわち、フィルムパターン検出部６５は、変化数検出部１２１、比較部１２２−１乃至比較部１２２−４、論理積回路１２３、モード検出部１２４、シーケンス検出部１２５、変化数検出部１２６、比較部１２７、論理積回路１２８、モード検出部１２９、シーケンス検出部１３０、および出力部１３１から構成される。

なお、加算部９６からの変化数信号は、変化数検出部１２１および変化数検出部１２６に供給される。また、コード化部９５からの変化信号のうちの一部が、比較部１２２−１乃至比較部１２２−４、シーケンス検出部１２５、比較部１２７、およびシーケンス検出部１３０に供給される。

いま、変化信号mdcにおける、変化信号の最後尾（最下位）からｉビット目（但し、０≦ｉ≦９）から、変化信号の最後尾からｊビット目（但し、０≦ｊ≦９）までの部分を変化信号mdc[j:i]とすると、比較部１２２−１乃至比較部１２２−４には、変化信号mdc[1:0]と、変化信号mdc[3:2]、変化信号mdc[5:4]、変化信号mdc[7:6]、および変化信号mdc[9:8]とが供給される。

また、シーケンス検出部１２５には、変化信号mdc[1:0]が供給される。さらに、比較部１２７には、変化信号mdc[4:0]と変化信号mdc[9:5]とが供給され、シーケンス検出部１３０には、変化信号mdc[4:0]が供給される。

フィルムパターン検出部６５においては、変化数検出部１２１乃至モード検出部１２４により、入力画像のフィルムモードが「2-2film」であるか否かが検出され、変化数検出部１２６乃至モード検出部１２９により、入力画像のフィルムモードが「2-3film」であるか否かが検出される。

変化数検出部１２１は、加算部９６からの変化数信号に応じたビット値を論理積回路１２３に供給する。比較部１２２−１乃至比較部１２２−４は、コード化部９５からの変化信号mdc[1:0]と、変化信号mdc[3:2]、変化信号mdc[5:4]、変化信号mdc[7:6]、および変化信号mdc[9:8]との比較結果に応じたビット値を論理積回路１２３に供給する。なお、以下、比較部１２２−１乃至比較部１２２−４のそれぞれを個々に区別する必要のない場合、単に比較部１２２と称する。

論理積回路１２３は、変化数検出部１２１および比較部１２２から供給されたビット値の論理積を計算し、その計算結果をモード検出部１２４に供給する。モード検出部１２４は、論理積回路１２３からの計算結果に基づいて、入力画像のフィルムモード信号を生成し、出力部１３１に供給する。シーケンス検出部１２５は、コード化部９５からの変化信号mdc[1:0]に基づいて、入力画像のフィルムシーケンス信号を生成し、出力部１３１に供給する。

変化数検出部１２６は、加算部９６からの変化数信号に応じたビット値を論理積回路１２８に供給する。比較部１２７は、コード化部９５からの変化信号mdc[4:0]と、変化信号mdc[9:５]との比較結果に応じたビット値を論理積回路１２８に供給する。

論理積回路１２８は、変化数検出部１２６および比較部１２７から供給されたビット値の論理積を計算し、その計算結果をモード検出部１２９に供給する。モード検出部１２９は、論理積回路１２８からの計算結果に基づいて、入力画像のフィルムモード信号を生成し、出力部１３１に供給する。シーケンス検出部１３０は、コード化部９５からの変化信号mdc[4:0]に基づいて、入力画像のフィルムシーケンス信号を生成し、出力部１３１に供給する。

出力部１３１は、モード検出部１２４およびモード検出部１２９からのフィルムモード信号に基づいて、最終的なフィルムモード信号を動き補償部２５に供給する。また、出力部１３１は、シーケンス検出部１２５およびシーケンス検出部１３０からのフィルムシーケンス信号をに基づいて、最終的なフィルムシーケンス信号を動き補償部２５に供給する。

ところで、画像変換装置１１に入力画像が供給され、入力画像に対するフレームレート変換の実行が指示されると、画像変換装置１１は、その指示に応じて入力画像をフレームレート変換して出力する処理である、フレームレート変換処理を開始する。

以下、図６のフローチャートを参照して、画像変換装置１１によるフレームレート変換処理について説明する。

ステップＳ１１において、画像縮小部３１は、供給された入力画像にフィルタ処理を施すことにより入力画像の画素の間引きを行い、縮小画像を生成する。画像縮小部３１は、生成した縮小画像をフレームメモリ２２、フィルムモード検出部３２、および動きベクトル検出部２３に供給する。

また、フレームメモリ２２は、画像縮小部３１から現フレームの縮小画像が供給されると、その縮小画像を保持するとともに、これまで保持していた縮小画像、つまり現フレームの時間的に１つ前のフレームの縮小画像を、フィルムモード検出部３２および動きベクトル検出部２３に供給する。

ステップＳ１２において、フィルムモード検出部３２は、フィルムモード検出処理を行い、その検出結果を動き補償部２５に供給する。なお、フィルムモード検出処理の詳細は後述するが、フィルムモード検出処理において、フィルムモード検出部３２は、画像縮小部３１およびフレームメモリ２２から供給された縮小画像を用いて、フィルムモード信号およびフィルムシーケンス信号を生成し、動き補償部２５に供給する。

ステップＳ１３において、動きベクトル検出部２３は、画像縮小部３１およびフレームメモリ２２から供給された縮小画像を用いて、フレームメモリ２２から供給された、現フレームの直前のフレームの縮小画像の各画素の動きベクトルを検出する。動きベクトルの検出は、例えば、ブロックマッチングや勾配法などにより行われる。

縮小画像の動きベクトルが検出されると、動きベクトル検出部２３は、検出した動きベクトルを動き補償部２５に供給する。なお、より詳細には、動きベクトル検出部２３において、縮小画像の各画素の動きベクトルがアップサンプリングされて、現フレームの前のフレームの入力画像の各画素の動きベクトルとされ、動き補償部２５に供給される。このアップサンプリングは、動き補償部２５により行われるようにしてもよい。

また、フレームメモリ２４は、供給された現フレームの入力画像を１フレーム分の時間保持するとともに、現フレームの入力画像と、これまで保持していたフレームの入力画像とを動き補償部２５に供給する。

ステップＳ１４において、動き補償部２５は、フィルムモード検出部３２からのフィルムモード信号およびフィルムシーケンス信号を参照し、フレームメモリ２４から供給された入力画像と、動きベクトル検出部２３からの動きベクトルとを用いて動き補償を行い、補間フレームの入力画像を生成する。

より詳細には、動き補償部２５は、過去に供給された、現フレームよりも時間的に何フレームか前のフレームの入力画像、およびそれらの入力画像の動きベクトルを保持している。動き補償部２５は、保持しているフレームと、現フレームおよび現フレームの直前のフレームとのうち、フィルムモード信号およびフィルムシーケンス信号により特定されるフレームを選択する。また、動き補償部２５は、フィルムモード信号およびフィルムシーケンス信号により特定されるフレームの動きベクトルを選択する。

そして、動き補償部２５は、選択されたフレームの入力画像と、動きベクトルとを用いて、補間フレームの入力画像を動き補償により生成する。動き補償部２５は、生成した補間フレームの入力画像と、フレームメモリ２４から供給されたフレームの入力画像とからなる、フレームレート変換された入力画像を後段の表示部に供給して、表示部に入力画像を表示させ、フレームレート変換処理は終了する。画像変換装置１１では、１フレーム分の入力画像が入力されるごとにフレームレート変換処理が行われ、フレーム補間された入力画像が表示される。

このようにして、画像変換装置１１は、入力された入力画像のフィルムモードを検出し、その検出結果に応じて定まる適切なフレームを用いて、入力画像のフレームレート変換を行う。

このように、入力画像のフィルムモードを検出することで、適切なフレームの入力画像および動きベクトルを用いて入力画像のフレームレート変換を行うことができ、入力画像の画質の劣化を抑制することができる。

また、画像変換装置１１では、画像変換装置１１の内部の動きベクトル検出部２３の前段にフィルムモードを検出する機構、つまりフィルムモード検出部３２が設けられているので、フィルムモード検出用のフレームメモリ等を別途、設ける必要がない。つまり、動きベクトル検出部２３に画像を供給するフレームメモリ２２から、フィルムモード検出部３２がフィルムモードの検出に用いる画像を取得する構成としたので、部品点数の削減を図ることができる。

しかも、フィルムモードの検出、および動きベクトルの検出に、入力画像を縮小した縮小画像を用いることで、それらの検出の処理の処理量を大幅に少なくすることができ、より迅速にフィルムモードの検出、およびフレームレート変換を行うことができる。

次に、図７のフローチャートを参照して、図６のステップＳ１２の処理に対応するフィルムモード検出処理について説明する。このフィルムモード検出処理は、画像縮小部３１およびフレームメモリ２２から、フィルムモード検出部３２の差分絶対値和計算部６１に縮小画像が供給されると開始される。

ステップＳ４１において、差分絶対値和計算部６１は、供給された縮小画像の差分絶対値和を算出する。すなわち、差分絶対値和計算部６１は、画像縮小部３１から供給された縮小画像、およびフレームメモリ２２から供給された縮小画像の各画素の輝度値を求め、画素ごとに、それらの縮小画像の輝度値の差分を算出し、算出された差分の絶対値の総和を差分絶対値和とする。つまり、画像縮小部３１からの縮小画像の画素の輝度値と、その画素と同じ位置にある、フレームメモリ２２からの縮小画像の画素の輝度値との差分が求められ、求められた各画素の差分の絶対値の和が、差分絶対値和とされる。

差分絶対値和計算部６１は、算出した差分絶対値和dif-sum0を差分絶対値和遅延部６２に供給する。すると、差分絶対値和遅延部６２は、差分絶対値和計算部６１からの差分絶対値和dif-sum0を保持して遅延させるとともに、その差分絶対値和dif-sum0と、保持している差分絶対値和dif-sum1乃至差分絶対値和dif-sum9とを平均値計算部６３およびフレーム間変化検出部６４に供給する。

ステップＳ４２において、平均値計算部６３は、差分絶対値和遅延部６２から供給された差分絶対値和dif-sum0乃至差分絶対値和dif-sum9の平均値dif-sum-aveを計算し、フレーム間変化検出部６４の閾値処理部９１および係数積算部９２に供給する。また、平均値計算部６３は、差分絶対値和遅延部６２から供給された差分絶対値和dif-sum0乃至差分絶対値和dif-sum9の最大値と最小値とを求め、求めた最大値および最小値をフレーム間変化検出部６４の差分計算部９３に供給する。

ステップＳ４３において、閾値処理部９１−１乃至閾値処理部９１−１０は、平均値計算部６３からの平均値を閾値として、平均値と、差分絶対値和遅延部６２からの差分絶対値和とを比較する。そして、閾値処理部９１−１乃至閾値処理部９１−１０は、差分絶対値和が平均値以上である場合には、値が「１」である１ビットの信号をコード化部９５に供給し、差分絶対値和が平均値未満である場合には、値が「０」である１ビットの信号をコード化部９５に供給する。

ここで、閾値処理部９１からコード化部９５に供給される閾値処理の結果を示す信号の値は、フレーム間の動きの有無を示している。

例えば、図８に示すように、フィルムモードが「2-3film」である入力画像から生成された縮小画像の差分絶対値和に対して閾値処理を行うものとする。なお、図中、縦方向は縮小画像の差分絶対値和を示しており、横方向は時間、つまり各フレームを示している。また、図中、の文字「Ａ」乃至「Ｄ」は縮小画像を示しており、点線の直線は、差分絶対値和の平均値を示している。

図８において、一番左端のフレームの縮小画像Ａに注目すると、このフレームの直前の縮小画像と、この縮小画像Ａとは異なる画像とされているので、フレーム間の動きがあり、注目しているフレームの差分絶対値和は、差分絶対値和の最大値に近い値となる。

また、一番左端から２番目のフレームの縮小画像Ａに注目すると、このフレームの直前の縮小画像Ａと、注目しているフレームの縮小画像Ａとは同じ画像であるので、フレーム間の動きはなく、注目しているフレームの差分絶対値和は０（最小値）となる。

このように、フィルムモード「2-3film」の入力画像から生成された縮小画像の各フレームの差分絶対値和は、動きの有無に応じて、最大値に近い値または最小値に近い値の何れかとなるので、各フレームの差分絶対値和の平均値は、ほぼ最大値と最小値との中間の値となる。したがって、この平均値を閾値として、各フレームの差分絶対値和と閾値とを比較することで、各フレームにおけるフレーム間の動きの有無を確実に検出することができる。

したがって例えば、図中、一番左端のフレームの縮小画像Ａに注目すると、このフレームの差分絶対値和は平均値よりも大きいので、このフレームの差分絶対値和の閾値処理をする閾値処理部９１は、閾値処理の結果として、フレーム間の動きがあることを示す値「１」をコード化部９５に供給する。

また、図９Ａ乃至図９Ｃに、実際に各フィルムモードの入力画像から生成された縮小画像の差分絶対値和を示す。なお、図９Ａ乃至図９Ｃにおいて、縦方向は差分絶対値和を示しており、横方向は時間、つまり各フレームを示している。

図９Ａは、フィルムモードが「Video」である入力画像から生成された縮小画像の各フレームの差分絶対値和および平均値を示している。すなわち、図９Ａにおいて、曲線Ｋ１１は各フレームの差分絶対値和dif-sumを示しており、曲線Ｖ１１は各時刻における平均値dif-sum-aveを示している。

入力画像のフィルムモードが「Video」である場合、各フレームにおいてフレーム間の動きがあるので、縮小画像の各フレームの差分絶対値和は、殆ど同じ値となる。したがって、差分絶対値和の平均値も各フレームの差分絶対値和とほぼ同じ値となってしまい、平均値を閾値として差分絶対値和の閾値処理を行っても、縮小画像のフレーム間の動きを検出することは困難である。

また、図９Ｂは、フィルムモードが「2-2film」である入力画像から生成された縮小画像の各フレームの差分絶対値和および平均値を示している。すなわち、図９Ｂにおいて、曲線Ｋ２１は各フレームの差分絶対値和dif-sumを示しており、曲線Ｖ２１は各時刻における平均値dif-sum-aveを示している。

入力画像のフィルムモードが「2-2film」である場合、その入力画像から生成された縮小画像は、フレームごとに、交互にフレーム間の動きの有無が変化し、各フレームの差分絶対値和は最大値に近い値、または最小値に近い値の何れかとなる。したがって、差分絶対値和の平均値は、最大値と最小値のほぼ中間の値となり、平均値を閾値として差分絶対値和の閾値処理を行えば、各フレームにおける縮小画像のフレーム間の動きを確実に検出することができる。

さらに、図９Ｃは、フィルムモードが「2-3film」である入力画像から生成された縮小画像の各フレームの差分絶対値和および平均値を示している。すなわち、図９Ｃにおいて、曲線Ｋ３１は各フレームの差分絶対値和dif-sumを示しており、曲線Ｖ３１は各時刻における平均値dif-sum-aveを示している。

入力画像のフィルムモードが「2-3film」である場合、その入力画像から生成された縮小画像は、フレームによって規則的にフレーム間の動きがあったりなかったりし、各フレームの差分絶対値和は最大値に近い値、または最小値に近い値の何れかとなる。したがって、差分絶対値和の平均値は、最大値と最小値のほぼ中間の値となり、平均値を閾値として差分絶対値和の閾値処理を行えば、各フレームにおける縮小画像のフレーム間の動きを確実に検出することができる。

このように、動的に変化する、差分絶対値和の平均値を、縮小画像のフレーム間の動きの有無の検出の閾値とすることで、少なくともフィルムモードが「2-2film」または「2-3film」である入力画像から生成された縮小画像に対しては、各時刻において、フレーム間の動きを検出するのに適切な閾値を設定することができる。

図７のフローチャートの説明に戻り、ステップＳ４３において、閾値処理部９１により閾値処理が行われると、その閾値処理の結果が閾値処理部９１からコード化部９５に供給される。ここで、閾値処理部９１−１乃至閾値処理部９１−１０のそれぞれからは、現フレームの縮小画像乃至現フレームから９フレーム前の縮小画像のそれぞれについて、フレーム間の動きがあったか否かを示す信号が出力される。

例えば、閾値処理部９１−１から出力された信号の値が「１」である場合、その値は、現フレームの縮小画像において、フレーム間の動きがあったことを示している。また、例えば、閾値処理部９１−２から出力された信号の値が「０」である場合、その値は、現フレームの直前のフレームの縮小画像において、フレーム間の動きがなかったことを示している。

ステップＳ４４において、差分計算部９３は、平均値計算部６３から供給された差分絶対値和の最大値から最小値を減算することで、最大値および最小値の差分を求め、求めた差分を比較部９４に供給する。

また、係数積算部９２は、平均値計算部６３から供給された平均値に係数を乗算して比較部９４に供給する。ここで、平均値に予め定められた係数が乗算されるのは、平均値がフィルム映像らしさの検出時の閾値として、より適切な値となるように調整するためである。

フィルム映像らしさの検出の閾値は、差分絶対値和の最大値と最小値との中間値となることが望ましいが、入力画像によっては、差分絶対値和の最小値が０とならない場合もあり、平均値が、最大値と最小値の差分の半分の値となるとは限らない。また、例えば、フィルムモードが「2-3film」である入力画像（縮小画像）では、繰り返し表示される入力画像の数が多いため、差分絶対値和の平均値は、最大値と最小値との中間値よりも若干低い値となってしまう。そこで、平均値に所定の係数が乗算されて、平均値が閾値としてより適切な値となるようになされる。

ステップＳ４５において、比較部９４は、係数積算部９２からの平均値と、差分計算部９３からの差分とを比較し、その比較結果をコード化部９５に供給する。

すなわち、比較部９４は、差分計算部９３からの差分が平均値よりも、予め定められた所定の値以上大きい場合、入力画像（縮小画像）のフィルムモードが「2-2film」または「2-3film」の何れかであることを示す値「１」をコード化部９５に供給する。

また、比較部９４は、差分計算部９３からの差分が平均値よりも、予め定められた所定の値以上大きくない場合、入力画像（縮小画像）のフィルムモードが「Video」であることを示す値「０」をコード化部９５に供給する。例えば、フィルムモードが「Video」である場合、最大値と最小値との差分は、平均値よりも充分に小さい値となるため、比較結果として、フィルムモードが「Video」であることを示す値「０」がコード化部９５に供給される。

ステップＳ４６において、コード化部９５は、比較部９４から供給される比較結果を参照して、閾値処理部９１−１乃至閾値処理部９１−１０から供給される閾値処理の結果に基づいて、変化信号mdcを生成する。

具体的には、コード化部９５は、比較部９４から比較結果としての値「１」が供給された場合、入力画像（縮小画像）のフィルムモードは「2-2film」または「2-3film」であるとし、閾値処理部９１からの閾値処理の結果を順番に並べて得られる１０ビットの信号を変化信号mdcとする。ここで、閾値処理部９１−１乃至閾値処理部９１−１０のそれぞれからの１ビットの値が、変化信号mdcの最後尾（最下位）のビット乃至先頭（最上位）のビットのそれぞれとされる。

また、コード化部９５は、比較部９４から比較結果としての値「０」が供給された場合、入力画像（縮小画像）のフィルムモードは「Video」であるとして、各ビットの値が「１」である１０ビットの信号を変化信号mdcとする。すなわち、入力画像（縮小画像）のフィルムモードが「Video」である場合、各フレームにおいてフレーム間の動きが検出されるはずであるので、変化信号mdcの各ビットの値が「１」とされる。

変化信号mdcが生成されると、コード化部９５は、生成した変化信号mdcを加算部９６およびフィルムパターン検出部６５に供給する。このように、フィルム映像らしさの検出結果も利用して変化信号を生成することで、フレーム間の動きの有無の誤検出を減らすことができる。

ステップＳ４７において、加算部９６は、コード化部９５からの変化信号mdcの各ビットの値の総和を求めることで、変化信号から変化数信号changesを生成し、フィルムパターン検出部６５に供給する。すなわち、変化信号の所定のビットの値は、そのビットに対応する縮小画像のフレームで、フレーム間の動きが検出された場合には「１」とされるので、変化信号の各ビットの合計値は、縮小画像の過去１０フレームにおいてフレーム間の動きのあった回数となる。

ステップＳ４８において、フィルムパターン検出部６５は、コード化部９５からの変化信号と、加算部９６からの変化数信号とを用いて「2-2film」の検出を行い、フィルムモード信号を生成する。

具体的には、変化数検出部１２１は、加算部９６からの変化数信号の値が「５」である場合に１ビットの信号値「１」を論理積回路１２３に供給し、変化数信号の値が「５」でない場合、１ビットの信号値「０」を論理積回路１２３に供給する。

また、比較部１２２−１乃至比較部１２２−４は、コード化部９５からの変化信号mdc[1:0]と、変化信号mdc[3:2]、変化信号mdc[5:4]、変化信号mdc[7:6]、および変化信号mdc[9:8]とが一致する場合、信号値「１」を論理積回路１２３に供給し、一致しない場合、信号値「０」を論理積回路１２３に供給する。

そして論理積回路１２３は、変化数検出部１２１からの信号値と、比較部１２２−１乃至比較部１２２−４からの信号値との論理積を求め、その結果をモード検出部１２４に供給する。すなわち、論理積回路１２３は、変化数検出部１２１および比較部１２２からの信号値すべてが「１」である場合に１ビットの値「１」をモード検出部１２４に供給する。また、論理積回路１２３は、変化数検出部１２１および比較部１２２からの信号値に１つでも「０」が含まれている場合、１ビットの値「０」をモード検出部１２４に供給する。

さらにモード検出部１２４は、論理積回路１２３から値「１」が供給された場合には、入力画像（縮小画像）のフィルムモードが「2-2film」であることを示す１ビットの値「３」をフィルムモード信号として出力部１３１に供給する。また、モード検出部１２４は、論理積回路１２３から値「０」が供給された場合には、入力画像（縮小画像）のフィルムモードが「Video」であることを示す１ビットの値「１」をフィルムモード信号として出力部１３１に供給する。

ここで、入力画像（縮小画像）のフィルムモードは、図１０Ａ乃至図１０Ｃに示すように、変化信号および変化数信号とから特定することができる。なお、図１０Ａ乃至図１０Ｃにおいて、横方向は時間を示しており、１つの四角形は１フレーム分の入力画像（縮小画像）を表している。

また、図１０Ａ乃至図１０Ｃでは、図中、左端から右方向に、表示時刻の古いものから順番に各フレームの入力画像（縮小画像）が並べられており、四角形内の数字が同じである入力画像は、同じ画像であることを示している。したがって、図中、右端の四角形が現フレームの入力画像となる。さらに、図中、各四角形の下の数字「１」は、そのフレームの入力画像（縮小画像）においてフレーム間の動きがあったことを、数字「０」は、フレーム間の動きがなかったことを示している。

図１０Ａには、フィルムモードが「Video」である入力画像（縮小画像）が示されている。この場合、各フレームの入力画像は、他のフレームの入力画像とは異なる画像であるから、各フレームにおいてフレーム間の動きが検出される。そのため、変化数信号の値は「１０」となり、変化信号の各ビットの値は「１」となるはずである。

したがって、フィルムモードが「Video」である場合、変化数検出部１２１から出力される値は「０」となり、比較部１２２から出力される値は「１」となるので、論理積回路１２３からは値「０」が出力され、その結果、モード検出部１２４からは値が「１」であるフィルムモード信号が出力される。このフィルムモード信号の値「１」は、フィルムモードが「Video」であることを示しているため、入力画像のフィルムモードが正しく検出されたことになる。

また、図１０Ｂには、フィルムモードが「2-2film」である入力画像（縮小画像）が示されている。

フィルムモードが「2-2film」である場合、連続する２フレームの入力画像が同じ画像となる。そのため、現フレームは、図中、上側に示すように、同じ画像が表示される連続する２つのフレームのうちの、時間的に後のフレームとなるか、または、図中、下側に示すように、同じ画像が表示される連続する２つのフレームのうちの、時間的に前のフレームの何れかとなる。

フィルムモードが「2-2film」である場合には、過去１０フレームが図中、上側に示すときであっても、図中、下側に示すときであっても、過去１０フレームにおいて、フレーム間の動きが検出される回数は５回である。したがって変化数信号の値は「５」となるはずである。

また、フィルムモードが「2-2film」である場合、１フレームおきにフレーム間の動きが検出されるため、変化信号mdc[1:0]は「１０」または「０１」の何れかとなり、変化信号mdc[2i+1:2i]（但し、１≦ｉ≦４）は、変化信号mdc[1:0]と同じとなるはずである。

したがって、フィルムモードが「2-2film」である場合、変化数検出部１２１から出力される値は「１」となり、比較部１２２から出力される値は「１」となるので、論理積回路１２３からは値「１」が出力され、その結果、モード検出部１２４からは値が「３」であるフィルムモード信号が出力される。このフィルムモード信号の値「３」は、フィルムモードが「2-2film」であることを示しているため、入力画像のフィルムモードが正しく検出されたことになる。

さらに、図１０Ｃには、フィルムモードが「2-3film」である入力画像（縮小画像）が示されている。

フィルムモードが「2-3film」である場合、連続する２フレームの入力画像、または連続する３フレームの入力画像が同じ画像となる。そのため、現フレームは、図中、１番上側から下側まで順番に示されるように、同じ画像が表示される連続する２フレームのうちの、時間的に後のフレーム、同じ画像が表示される連続する３フレームのうちの、時間的に最初のフレーム、真ん中のフレーム、若しくは最後のフレーム、または、同じ画像が表示される連続する２フレームのうちの、時間的に前のフレームの何れかとなる。

フィルムモードが「2-3film」である場合には、過去１０フレームが図中、一番上側から一番下側までの何れに示すときであっても、過去１０フレームにおいて、フレーム間の動きが検出される回数は４回である。したがって変化数信号の値は「４」となるはずである。

また、フィルムモードが「2-3film」である場合、連続する５フレームを単位として、表示のパターンが繰り返されるので、変化信号mdc[4:0]と変化信号mdc[9:5]とは同じであり、「10010」、「00101」、「01010」、「10100」、または「01001」の何れかとなるはずである。

入力画像（縮小画像）のフィルムモードが「2-3film」である場合、変化数検出部１２１から出力される値は「０」となるので、論理積回路１２３からは値「０」が出力され、その結果、モード検出部１２４からは値が「１」であるフィルムモード信号が出力される。このフィルムモード信号の値「１」は、フィルムモードが「Video」であることを示しており、変化数検出部１２１乃至モード検出部１２４において、フィルムモード「2-2film」が検出されなかったときには、入力画像のフィルムモードは「Video」であるとされる。

図７のフローチャートの説明に戻り、フィルムモード「2-2film」の検出が行われると、ステップＳ４９において、シーケンス検出部１２５は、コード化部９５からの変化信号mdc[1:0]を用いて、「2-2film」のフィルムシーケンス信号を生成し、出力部１３１に供給する。

すなわち、シーケンス検出部１２５は、変化信号mdc[1:0]が「１０」である場合は、値が「０」であるフィルムシーケンス信号を、変化信号mdc[1:0]が「０１」である場合は、値が「１」であるフィルムシーケンス信号を生成する。なお、変化信号mdc[1:0]が「００」または「１１」である場合には、値が「０」であるフィルムシーケンス信号が生成される。

ここで、値が「０」であるフィルムシーケンス信号は、入力画像（縮小画像）の過去１０フレームが、図１０Ｂの上側に示される表示のパターンであることを示している。つまり、現フレームが、同じ画像が表示される連続する２フレームのうちの、時間的に後のフレームである場合である。同様に、値が「１」であるフィルムシーケンス信号は、入力画像（縮小画像）の過去１０フレームが、図１０Ｂの下側に示す表示のパターンであることを示している。

このように、モード検出部１２４からは、入力画像のフィルムモードが「2-2film」である場合には、フィルムモード「2-2film」を示すフィルムモード信号が出力され、そうでない場合には、フィルムモード「Video」を示すフィルムモード信号が出力される。また、シーケンス検出部１２５からは、入力画像のフィルムモードが「2-2film」であるとした場合における、入力画像の現フレームの表示パターンにおける位置を特定するフィルムシーケンス信号が出力される。

以上のように、フィルムモード「2-2film」の検出が行われると、ステップＳ５０において、フィルムパターン検出部６５は、コード化部９５からの変化信号と、加算部９６からの変化数信号とを用いて「2-3film」の検出を行い、フィルムモード信号を生成する。

具体的には、変化数検出部１２６は、加算部９６からの変化数信号の値が「４」である場合に１ビットの信号値「１」を論理積回路１２８に供給し、変化数信号の値が「４」でない場合、１ビットの信号値「０」を論理積回路１２８に供給する。

また、比較部１２７は、コード化部９５からの変化信号mdc[4:0]と、変化信号mdc[9:5]とが一致する場合、信号値「１」を論理積回路１２８に供給し、一致しない場合、信号値「０」を論理積回路１２８に供給する。

そして論理積回路１２８は、変化数検出部１２６からの信号値と、比較部１２７からの信号値との論理積を求め、その結果をモード検出部１２９に供給する。すなわち、論理積回路１２８は、変化数検出部１２６および比較部１２７からの信号値すべてが「１」である場合に１ビットの値「１」をモード検出部１２９に供給する。また、論理積回路１２８は、変化数検出部１２６および比較部１２７からの信号値に１つでも「０」が含まれている場合、１ビットの値「０」をモード検出部１２９に供給する。

例えば、図１０Ａ乃至図１０Ｃに示したように、変化数信号の値が「４」となるのは、フィルムモードが「2-3film」である場合だけである。また、図１０Ａ乃至図１０Ｃに示したように、変化信号mdc[4:0]と、変化信号mdc[9:5]とが一致するのは、フィルムモードが「2-3film」または「Video」である場合だけである。

したがって、フィルムモードが「2-3film」である場合に限り、論理積回路１２８からビット値「１」が出力され、そうでない場合には、論理積回路１２８からビット値「０」が出力される。

また、モード検出部１２９は、論理積回路１２８から値「１」が供給された場合には、入力画像（縮小画像）のフィルムモードが「2-3film」であることを示す１ビットの値「２」をフィルムモード信号として出力部１３１に供給する。また、モード検出部１２９は、論理積回路１２８から値「０」が供給された場合には、入力画像（縮小画像）のフィルムモードが「Video」であることを示す１ビットの値「１」をフィルムモード信号として出力部１３１に供給する。

ステップＳ５１において、シーケンス検出部１３０は、コード化部９５からの変化信号mdc[4:0]を用いて、「2-3film」のフィルムシーケンス信号を生成し、出力部１３１に供給する。

すなわち、シーケンス検出部１３０は、変化信号mdc[4:0]が「10010」である場合、値が「０」であるフィルムシーケンス信号を、変化信号mdc[4:0]が「00101」である場合、値が「１」であるフィルムシーケンス信号を生成する。

また、シーケンス検出部１３０は、変化信号mdc[4:0]が「01010」である場合、値が「２」であるフィルムシーケンス信号を、変化信号mdc[4:0]が「10100」である場合、値が「３」であるフィルムシーケンス信号を、変化信号mdc[4:0]が「01001」である場合、値が「４」であるフィルムシーケンス信号を生成する。

ここで、値が「０」乃至「４」であるフィルムシーケンス信号のそれぞれは、入力画像（縮小画像）の過去１０フレームが、図１０Ｃの一番上側乃至一番下側のそれぞれの表示のパターンであることを示している。

このように、モード検出部１２９からは、入力画像のフィルムモードが「2-3film」である場合には、フィルムモード「2-3film」を示すフィルムモード信号が出力され、そうでない場合には、フィルムモード「Video」を示すフィルムモード信号が出力される。また、シーケンス検出部１３０からは、入力画像のフィルムモードが「2-3film」であるとした場合における、入力画像の現フレームの表示パターンにおける位置を特定するフィルムシーケンス信号が出力される。

ステップＳ５２において、出力部１３１は、モード検出部１２４およびモード検出部１２９からのフィルムモード信号と、シーケンス検出部１２５およびシーケンス検出部１３０からのフィルムシーケンス信号とに基づいて、最終的なフィルムモード信号およびフィルムシーケンス信号を出力する。

具体的には、出力部１３１は、モード検出部１２４から値が「３」であるフィルムモード信号が供給された場合には、モード検出部１２４からのフィルムモード信号、およびシーケンス検出部１２５からのフィルムシーケンス信号を動き補償部２５に供給する。この場合、結果として、フィルムモードとして「2-2film」が検出されたことになる。

また、出力部１３１は、モード検出部１２９から値が「２」であるフィルムモード信号が供給された場合には、モード検出部１２９からのフィルムモード信号、およびシーケンス検出部１３０からのフィルムシーケンス信号を動き補償部２５に供給する。この場合、結果として、フィルムモードとして「2-3film」が検出されたことになる。

さらに、出力部１３１は、モード検出部１２４から値が「３」であるフィルムモード信号が供給されず、かつモード検出部１２９から値が「２」であるフィルムモード信号が供給されなかった場合、値が「１」であるフィルムモード信号、および値が「１」であるフィルムシーケンス信号を動き補償部２５に供給する。この場合、結果として、フィルムモードとして「Video」が検出されたことになる。

出力部１３１からフィルムモード信号およびフィルムシーケンス信号が出力されると、フィルムモード検出処理は終了し、処理は図６のステップＳ１３に進む。

このようにして、フィルムモード検出部３２は、縮小画像（入力画像）の各フレームの動きの有無を検出し、その検出結果を用いて入力画像のフィルムモードを検出する。

このように、縮小画像の各フレームの動きの有無の検出結果を用いて入力画像のフィルムモードを検出することで、より迅速かつ確実にフィルムモードを検出することができる。すなわち、フィルムモード検出部３２では、過去１０フレームの縮小画像の動きの有無の並び（変化信号）を用いて、各フレームにおける動きの有無を比較するという簡単な処理を行うだけでよいため、迅速にフィルムモードを検出できる。また、１０フレーム分の情報を用いてフィルムモードを検出するので、より高い精度での検出を行うことができる。

しかも、過去１０フレームの差分絶対値和の平均値を、各フレームにおけるフレーム間の動きの有無の検出の閾値とすることで、閾値処理によって、より確実に動きの有無を検出できるようになる。また、差分絶対値和の最大値および最小値の差分と、平均値とを比較して、入力画像のフィルム映像らしさを検出し、その検出結果と、閾値処理の結果とから最終的な各フレームの動きの有無の検出結果を定めることで、さらに確実に動きの有無を検出できる。

さらに、フィルムモードの検出に、各フレームにおける動きの有無の比較だけでなく、過去１０フレームにおいて動きのあった回数も用いることで、フィルムモードの検出精度を向上させることができる。

また、画像変換装置１１では、より迅速にフィルムモードを検出することができるので、再生している入力画像のフィルムモードが途中で切り替わった場合においても、直ちに、変更後のフィルムモードに適したフレームを用いて動き補償を行うことができる。したがって、入力画像の画質の劣化を防止することができる。

ところで、フィルムモード検出処理により生成された、フィルムモード信号およびフィルムシーケンス信号は、図６のステップＳ１４において、動き補償に用いる入力画像のフレームを特定するために利用される。

例えば、図１１に示すように、フィルムモードが「Video」であり、フレームレートが６０Ｈｚである入力画像を、１２０Ｈｚの入力画像にフレームレート変換することを考える。なお、図１１において、縦軸は入力画像上の位置を示しており、横軸は時間、すなわち各フレームの表示時刻を示している。また、図中、横軸における上側の数値は時刻を示しており、下側の数値はフィルムシーケンス信号の値を示している。

さらに、斜線の施されていない円は、フレームレート変換前の入力画像上の移動物体を表しており、斜線の施されている円は、フレームレート変換後の入力画像上の移動物体を表している。

フィルムモード「Video」では、連続するフレームで同じ画像が表示されることはないので、連続する２つのフレームの入力画像を用いて、その間の補間フレームの入力画像を生成すればよい。

例えば、時刻２／１２０が現フレームの表示時刻であるとすると、現フレームの入力画像と、時刻０／１２０のフレームの入力画像とを用いて、時刻１／１２０の補間フレームを生成すれば、適切にフレームが補間される。つまり、時刻１／１２０における移動物体が、時刻０／１２０における移動物体と、時刻２／１２０における移動物体とを結ぶ直線上に位置するような補間フレームの入力画像を生成することができる。

したがって、フィルムモードが「Video」である場合、つまりフィルムモード信号の値が「１」である場合、フィルムシーケンス信号の値が「１」であるときのフレームの入力画像と、その入力画像の動きベクトルとを用いて動き補償を行えばよいことになる。

このように、現フレームと、現フレームの直前のフレームとを用いて補間フレームを生成すると、例えば図１２に示すように、連続する２フレームの間のフレームが補間された入力画像が生成される。

なお、図１２では、図中、上から下方向に、入力画像、フィルムモード信号、フィルムシーケンス信号、およびフレームレート変換された入力画像（以下、出力画像とも称する）が示されており、横方向は時間を示している。

図中、一番上側には、横方向に並んだ入力画像が示されており、１つの数字が１つの入力画像を示している。同様に、図中、一番下側には、横方向に並んだ出力画像が示されており、１つの数字が１つの出力画像を示している。また、入力画像のフィルムモードは「Video」であるので、フィルムモード信号およびフィルムシーケンス信号の値は、常に「１」となっている。

画像変換装置１１では、入力画像「０」が、入力画像「２」が入力された時刻に、そのまま出力画像「０．０」として出力される。つまり、入力画像「０」は、各種の画像処理により２フレーム分の時間だけ遅延して、出力画像「０．０」として出力される。また、入力画像「１」および入力画像「０」と、入力画像「０」の動きベクトルとが用いられて出力画像「０．５」が生成されて出力され、さらに入力画像「１」が出力画像「１．０」として出力される。そして、その後、同様にして補間フレームが生成されていく。

また、例えば、図１３に示すように、フレームレート３０Ｈｚの画像が６０Ｈｚの画像にフレームレート変換されて得られた、フィルムモードが「2-2film」である入力画像を、１２０Ｈｚの入力画像にさらにフレームレート変換することを考える。なお、図１３において、縦軸は入力画像上の位置を示しており、横軸は時間、すなわち各フレームの表示時刻を示している。また、図中、横軸における上側の数値は時刻を示しており、下側の数値はフィルムシーケンス信号の値を示している。

さらに、斜線の施されていない円は、フレームレート変換前の入力画像上の移動物体を表しており、斜線の施されている円は、フレームレート変換後の入力画像上の移動物体を表している。

フィルムモード「2-2film」では、２フレーム連続して同じ入力画像が表示されるので、例えば、同じ入力画像が繰り返し表示される２つのフレームのうち、時間的に後のフレームのみを用いて補間フレームを生成すればよい。

例えば、時刻４／１２０が現フレームの表示時刻であるとすると、現フレームの入力画像と、時刻０／１２０のフレームの入力画像とを用いて、時刻１／１２０、時刻２／１２０、および時刻３／１２０の補間フレームを生成すれば、適切にフレームが補間される。つまり、時刻１／１２０、時刻２／１２０、および時刻３／１２０における移動物体が、時刻０／１２０における移動物体と、時刻４／１２０における移動物体とを結ぶ直線上に位置するような補間フレームの入力画像を生成することができる。なお、フレームの補間時には、時刻０／１２０の入力画像の動きベクトルが用いられる。

以上のように、フィルムモードが「2-2film」である場合、つまりフィルムモード信号の値が「３」である場合、フィルムシーケンス信号の値が「０」であるフレームの入力画像と、その入力画像の動きベクトルとを用いて動き補償を行えばよいことになる。

このように、同じ入力画像が繰り返し表示される２つのフレームのうち、時間的に後のフレームを用いて補間フレームを生成すると、例えば図１４に示すように、所定のフレームと、そのフレームの２つ前のフレームの間のフレームが補間された入力画像が生成される。

なお、図１４では、図中、上から下方向に、入力画像、フィルムモード信号、フィルムシーケンス信号、およびフレームレート変換された入力画像（出力画像）が示されており、横方向は時間を示している。

図中、一番上側には、横方向に並んだ入力画像が示されており、１つの数字が１つの入力画像を示している。同様に、図中、一番下側には、横方向に並んだ出力画像が示されており、１つの数字が１つの出力画像を示している。

入力画像のフィルムモードは「2-2film」であるので、「2-2film」の検出が可能となる１１フレーム目以降、つまり入力画像「５」のフレーム以降は、フィルムモード信号の値は「３」となり、フィルムシーケンス信号の値は、「０」または「１」となっている。

画像変換装置１１では、フィルムシーケンス信号の値が「０」である入力画像「５」が、フィルムシーケンス信号の値が「０」である入力画像「６」の入力された時刻に、そのまま出力画像「５．０」として出力される。つまり、入力画像「５」は、各種の画像処理により２フレーム分の時間だけ遅延して、出力画像「５．０」として出力される。

また、フィルムシーケンス信号の値が「０」である入力画像「５」および入力画像「６」と、フィルムシーケンス信号の値が「０」である入力画像「５」の動きベクトルとが用いられて出力画像「５．２５」乃至出力画像「５．７５」が生成されて出力される。さらに、フィルムシーケンス信号の値が「０」である入力画像「６」が出力画像「６．０」として出力され、その後、同様にして補間フレームが生成されていく。

さらに、例えば、図１５に示すように、フレームレート２４Ｈｚの画像が６０Ｈｚの画像にフレームレート変換されて得られた、フィルムモードが「2-3film」である入力画像を、１２０Ｈｚの入力画像にさらにフレームレート変換することを考える。なお、図１５において、縦軸は入力画像上の位置を示しており、横軸は時間、すなわち各フレームの表示時刻を示している。また、図中、横軸における上側の数値は時刻を示しており、下側の数値はフィルムシーケンス信号の値を示している。

さらに、斜線の施されていない円は、フレームレート変換前の入力画像上の移動物体を表しており、斜線の施されている円は、フレームレート変換後の入力画像上の移動物体を表している。

フィルムモード「2-3film」では、２フレームまたは３フレーム連続して同じ入力画像が表示される。したがって、例えば、同じ入力画像が繰り返し表示される３つのフレームのうち、時間的に真ん中のフレームと、同じ入力画像が繰り返し表示される２つのフレームのうち、時間的に後のフレームとを用いて補間フレームを生成すればよい。

例えば、時刻１２／１２０が現フレームの表示時刻であるとすると、現フレームの入力画像、時刻８／１２０のフレームの入力画像、および時刻２／１２０のフレームの入力画像を用いて、時刻３／１２０乃至時刻１１／１２０の補間フレームを生成すれば、適切にフレームが補間される。つまり、時刻３／１２０乃至時刻１１／１２０における移動物体が、時刻２／１２０における移動物体と、時刻１２／１２０における移動物体とを結ぶ直線上に位置するような補間フレームの入力画像を生成することができる。

なお、フレームの補間時には、時刻８／１２０および時刻４／１２０の入力画像の動きベクトルが用いられる。すなわち、フレームの補間時において、時刻２／１２０のフレームの入力画像の動きベクトルは、時刻２／１２０のフレームの入力画像と、時刻４／１２０のフレームの入力画像とから検出されるが、それらの入力画像は同じ画像であるため、動きベクトルが０となる。そのため、時刻２／１２０の入力画像の動きベクトルが用いられると、正しくフレーム補間が行われない。

また、フレームの補間時に必要な動きベクトルは、時刻２／１２０の入力画像と、時刻８／１２０の入力画像とから検出される動きベクトルである。そこで、フレームの補間時には、時刻２／１２０の入力画像と、時刻８／１２０の入力画像とから検出される動きベクトルと同じである、時刻４／１２０の入力画像の動きベクトルが用いられる。

以上のように、フィルムモードが「2-3film」である場合、つまりフィルムモード信号の値が「２」である場合、フィルムシーケンス信号の値が「０」および「２」であるフレームの入力画像と、フィルムシーケンス信号の値が「０」および「３」であるフレームの入力画像の動きベクトルとを用いて動き補償を行えばよいことになる。

このように、３つのフレームの入力画像を用いて補間フレームを生成すると、例えば図１６に示すように、所定のフレームと、そのフレームの５つ前のフレームの間のフレームが補間された入力画像が生成される。

なお、図１６では、図中、上から下方向に、入力画像、フィルムモード信号、フィルムシーケンス信号、およびフレームレート変換された入力画像（出力画像）が示されており、横方向は時間を示している。

図中、一番上側には、横方向に並んだ入力画像が示されており、１つの数字が１つの入力画像を示している。同様に、図中、一番下側には、横方向に並んだ出力画像が示されており、１つの数字が１つの出力画像を示している。

また、入力画像のフィルムモードは「2-3film」であるので、「2-3film」の検出が可能となる１１フレーム目以降、つまり入力画像「４」のフレーム以降は、フィルムモード信号の値は「２」となり、フィルムシーケンス信号の値は「０」乃至「４」となっている。

画像変換装置１１では、フィルムシーケンス信号の値が「２」である入力画像「４」が、フィルムシーケンス信号の値が「４」である入力画像「５」の入力された時刻に、そのまま出力画像「４．０」として出力される。つまり、入力画像「４」は、各種の画像処理により２フレーム分の時間だけ遅延して、出力画像「４．０」として出力される。

また、フィルムシーケンス信号の値が「２」である入力画像「４」および入力画像「６」、並びにフィルムシーケンス信号の値が「０」である入力画像「５」と、フィルムシーケンス信号の値が「３」である入力画像「４」の動きベクトル、およびフィルムシーケンス信号の値が「０」である入力画像「５」の動きベクトルとが用いられて出力画像「４．２」乃至出力画像「５．８」が生成されて出力される。さらに、フィルムシーケンス信号の値が「２」である入力画像「６」が出力画像「６．０」として出力され、その後、同様にして補間フレームが生成されていく。

以上のように、動き補償部２５では、フィルムモード信号およびフィルムシーケンス信号により特定されるフレームの入力画像および動きベクトルが用いられて、補間フレームの生成が行われる。

このように、補間フレームの生成に用いるフレームおよび動きベクトルを、フィルムモード信号およびフィルムシーケンス信号により特定することにより、補間フレームの生成に、より適したフレームおよび動きベクトルを簡単かつ確実に選択することができ、入力画像の画質の劣化を抑制することができる。

なお、以上においては、動き補償部２５が、フィルムモード信号とフィルムシーケンス信号とを用いて、動き補償（補間フレームの生成）に用いる動きベクトルを選択すると説明したが、動きベクトル検出部２３が必要な動きベクトルだけを検出するようにしてもよい。

そのような場合、例えば動きベクトル検出部２３には、フィルムモード検出部３２からフィルムモード信号およびフィルムシーケンス信号が供給される。そして、動きベクトル検出部２３は、供給されたフィルムモード信号およびフィルムシーケンス信号から特定されるフレームについて、入力画像の動きベクトルを求めて、動き補償部２５に供給する。

また、フレームレート変換の対象となる入力画像は、プログレッシブ型の画像に限らず、インターレース型の画像であってもよい。

例えば、画像変換装置１１において、インターレース型の入力画像が、プログレッシブ型の画像に変換されてから、さらにフレームレート変換されてもよい。また、例えば画像変換装置１１において、PAL（Phase Alternation by Line）方式の入力画像が、NTSC（National Television Standards Committee）方式の画像にフレームレート変換されるようにしてもよい。入力画像がインターレース型の画像とされる場合には、各フィールドの入力画像が用いられてフレームレート変換が行われる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

入力画像の表示パターンについて説明する図である。 本発明を適用した画像変換装置の一実施の形態の構成例を示すブロック図である。 フィルムモード検出部のより詳細な構成例を示す図である。 フレーム間変化検出部のより詳細な構成例を示す図である。 フィルムパターン検出部のより詳細な構成例を示す図である。 フレームレート変換処理を説明するフローチャートである。 フィルムモード検出処理を説明するフローチャートである。 フレーム間の動きの検出について説明する図である。 フレーム間の動きの検出について説明する図である。 各フィルムモードの表示のパターンを示す図である。 フレームレート変換の例を説明する図である。 フレームレート変換の例を説明する図である。 フレームレート変換の例を説明する図である。 フレームレート変換の例を説明する図である。 フレームレート変換の例を説明する図である。 フレームレート変換の例を説明する図である。 コンピュータの構成例を示す図である。

符号の説明

１１ 画像変換装置， ２３ 動きベクトル検出部， ２５ 動き補償部， ３１ 画像縮小部， ３２ フィルムモード検出部， ６１ 差分絶対値和計算部， ６３ 平均値計算部， ６４ フレーム間変化検出部， ６５ フィルムパターン検出部， ９１−１乃至９１−１０，９１ 閾値処理部， ９４ 比較部， ９５ コード化部， ９６ 加算部， １２１ 変化数検出部， １２２−１乃至１２２−４，１２２ 比較部， １２５ シーケンス検出部， １２６ 変化数検出部， １２７ 比較部， １３０ シーケンス検出部， １３１ 出力部

Claims (7)

1. 連続する２つのフレームの画像の明るさの差分を求める差分算出手段と、
   予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値を算出する平均値算出手段と、
   前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出する変化検出手段と、
   前記所定の数の各フレームについての前記変化検出手段による検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかを検出する表示パターン検出手段と
   を備える画像処理装置。
2. 前記所定の数のフレームの前記画像のうち、前記変化検出手段による検出結果と、前記表示パターンの検出結果とにより特定される第１のフレームの前記画像および第２のフレームの前記画像を用いて動き補償を行い、前記第１のフレームと前記第２のフレームとの間のフレームの画像を生成するフレーム補間手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記所定の数の各フレームについて求められた前記差分の最大値および最小値の差と、前記平均値とを比較する比較手段をさらに備え、
   前記表示パターン検出手段は、前記変化検出手段による前記検出結果と、前記比較手段による比較結果とに基づいて前記表示パターンを検出する
   請求項１に記載の画像処理装置。
4. 前記変化検出手段による前記検出結果に基づいて、前記所定の数のフレームにおいて、同じ画像が表示される回数を求める回数算出手段をさらに備え、
   前記表示パターン検出手段は、前記変化検出手段による前記検出結果と、前記回数算出手段により求められた前記回数とに基づいて、前記表示パターンを検出する
   請求項１に記載の画像処理装置。
5. 前記画像の画素を間引いて、縮小された前記画像である縮小画像を生成する縮小画像生成手段をさらに備え、
   前記差分算出手段は、前記縮小画像を用いて前記差分を求める
   請求項１に記載の画像処理装置。
6. 連続する２つのフレームの画像の明るさの差分を求める差分算出手段と、
   予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値を算出する平均値算出手段と、
   前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出する変化検出手段と、
   前記所定の数の各フレームについての前記変化検出手段による検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかを検出する表示パターン検出手段と
   を備える画像処理装置の画像処理方法であって、
   前記差分算出手段が前記差分を求め、
   前記平均値算出手段が前記平均値を算出し、
   前記変化検出手段が前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出し、
   前記表示パターン検出手段が前記表示パターンを検出する
   ステップを含む画像処理方法。
7. 連続する２つのフレームの画像の明るさの差分を求める差分算出ステップと、
   予め定められた所定の数の連続するフレームのそれぞれについて求められた前記差分の平均値を算出する平均値算出ステップと、
   前記所定の数のフレームのそれぞれについて、前記差分と前記平均値とを比較して、前記連続する２つのフレームの前記画像が同じであるか否かを検出する変化検出ステップと、
   前記所定の数の各フレームについての前記変化検出ステップにおける検出結果に基づいて、前記画像の時間方向の表示パターンが、規則的に、連続するいくつかのフレームで同じ画像が表示される表示パターンを含む複数の表示パターンのうちの何れであるかを検出する表示パターン検出ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images