JP5015089B2 - フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体 - Google Patents

Description

本発明は、テレビジョン受像機などの映像信号を変換処理する処理装置に関するものであり、特には、動画像のフレームレートを変換処理するフレームレート変換装置に関する。

映画などの毎秒２４コマで撮影されたフィルムソースの映像を、テレビジョン放送、またはビデオテープもしくはＤＶＤなどのパッケージメディアを介して、ＮＴＳＣ方式のテレビジョン受像機（以下、単にテレビまたはＴＶと称する）で表示するためには、毎秒６０フィールドのビデオ映像信号へと変換する必要がある。この変換は、一般的に、３：２プルダウン方式によるテレシネ変換と称されている。

このとき、フィルムにおける各コマの画像は、デジタル画像として取り込まれる。取り込まれたデジタル画像における各ラインを、仮に、上から順に１、２、３・・・と番号付けしたとすると、奇数ラインの画像は飛び越し走査（インターレース）方式であるビデオ映像信号の奇数フィールドに展開され、偶数ラインの画像はビデオ映像信号の偶数フィールドに展開される。

ここで、３：２プルダウン方式によるテレシネ変換の詳細について図８を参照して具体的に説明する。図８は、３：２プルダウン方式によるテレシネ変換を模式的に示す図である。図８では、１／２４秒の時間間隔で撮影されたフィルムの各コマが、左から右に向かって並べられている。３：２プルダウン方式では、例えば、フィルムのコマのうち、左端のコマをビデオ映像信号における２つのフィールドに割り当て、次のコマ（左から２つめのコマ）をビデオ映像信号における３つのフィールドに割り当てる。その後も同様に、各コマを２つのフィールド、および３つのフィールドに割り当てることを繰り返すことにより、２４コマ／秒のフィルムを約６０フィールド／秒のビデオ映像信号に変換する。

このような３：２プルダウン方式によるテレシネ変換を行うことにより、テレビは、フィルムソースの映像であっても、通常のＮＴＳＣ方式によるインターレース映像と同様に取り扱うことができる。このとき、３：２プルダウン方式によるテレシネ変換されたビデオ映像であることを検出することによって、より高精細な順次走査表示が可能となる。このような検出および表示は、一般的には、フィルムモードまたはシネマモードと称されている。

３：２プルダウン方式によるテレシネ変換されたビデオ映像であることを検出し、より高精細な順次走査映像を表示する方法を図８を参照して以下に説明する。

まず、テレシネ変換装置は、ビデオ映像信号の各フィールドの映像内容を比較することにより、ビデオ映像信号がフィルムモードであるか否かを検出する。この検出方法の一例について図８におけるフィールドＣとフィールドＥとを参照して具体的に説明する。図８におけるフィールドＥの映像内容は、フィールドＣの映像内容と常に同一の繰り返しフィールドである。これは、３：２プルダウン方式によるテレシネ変換されたビデオ映像信号に特有のものである。そのため、例えば、フィールドＥとフィールドＣとの画素値の差分絶対値の総和を計算することにより、ビデオ映像信号がフィルムモードであるか否かを検出する。

このようにして、テレシネ変換装置は、テレビに表示されるビデオ信号が３：２プルダウン方式によるテレシネ変換されたビデオ映像信号であることを検出した場合、元のフィルムのコマを構成していたビデオ映像信号の奇数フィールドと偶数フィールドを特定し、これを再構成し順次走査画像として表示する。

図８を参照して具体的に説明すると、奇数フィールドＡと偶数フィールドＢとを用いることによって、順次走査画像Ｉが再構成される。同様に、奇数フィールドＡと偶数フィールドＢとを用いて、順次走査画像IIが再構成される。つまり、順次走査画像ＩとIIとは同一の画像となる。また、奇数フィールドＣ（＝Ｅ）と偶数フィールドＤとを用いることによって、順次走査画像III〜Ｖが再構成される。順次走査画像ＩとおよびIIと同様に、順次走査画像III〜Ｖは同一の画像となる。ここで着目すべき点は、元のフィルムのコマでは表示画面中の位置で車が左から右に常に動いているが、順次走査表示ＩとIIとの間では車は止まって表示され、また順次走査表示III〜Ｖの間でも車は止まって表示されることである。

この点について、図９を参照して以下に詳述する。図９は、３：２プルダウン方式によるテレシネ変換されたビデオ映像信号の表示を模式的に示した図である。図９において、横軸は、表示画面中の位置を示しており、縦軸は、時間を示している。すなわち、図９では、ある物体が左から右に一定速度で水平移動を行なっている状態を示している。縦の時間間隔は、１フレーム＝１／６０秒間隔であり、液晶パネルなどのホールド型の映像表示装置では、この間の表示状態は変化しない。

図９に示すように、１フレーム＝１／６０秒間隔で画像データが書込まれ更新されるが、図８において車が順次走査表示ＩとIIとの間、および順次走査表示III〜Ｖの間で車が止まっていることと同様に、上から１つ目のフレーム（フレームｉ）と２つ目のフレーム（フレームii）との間で物体は止まって表示され、３つ目のフレーム（フレームiii）〜５つ目のフレーム（フレームｖ）の間で物体は止まって表示される。

このように、本来のフィルムのコマでは等しい時間間隔だった動きが、フィルムモードによる順次走査表示では、２フレーム：３フレームのパターンが続く変則的な時間間隔の動きになってしまっているため、連続的でない不自然な動きとして認識されてしまう。また、通常のビデオ映像信号を表示した場合と比較して、元のフィルムの動きの間隔が２４コマ／秒であるため、滑らかでなくカクカクした動き（いわゆる、ジャダー）が認識されるという課題が存在する。

このテレシネ変換されたビデオ映像信号を、通常のビデオ映像と同じように等間隔で滑らかな動きとして表示させる技術として、フレームレート変換技術が存在する。フレームレート変換による補間フレーム生成について、図１０を参照しつつ具体的に説明する。図１０は、フレームレート変換による補間フレーム生成の様子を模式的に示した図である。

まず、参照フレームｎと参照フレームｎ＋１の間で小さく区切ったブロック毎にブロック内のテクスチャが最も一致する対応箇所を見つけていく。そして、参照フレームｎと参照フレームｎ＋１との間の対応箇所の動きベクトルｖを算出する。次に、参照フレーム間において算出された動きベクトルｖに所定の変換比率を乗ずることにより、動きベクトルｖのベクトル長を小さくし、補間ベクトルｖ´を算出する。最後に、補間ベクトルｖ´に基いて、参照フレームの画像を実際に移動させる。このようにして移動された画像の集まりが補間フレームの画像となる。図１０は、参照フレームｎ（１msec）と参照フレームｎ＋１（２msec）との中間の時刻（１．５msec）の補間フレームを生成している場合を示した図であるが、もちろん、参照フレームｎから参照フレームｎ＋１までの間の任意の時刻の補間フレームを生成することができる。

図１１は、本来２４Ｈｚであったフィルム映像を、５倍の１２０Ｈｚにフレームレート変換した場合の映像信号の表示を模式的に示した図である。図１１におけるフレームｉ−０およびフレームiii−０は、元のフィルム映像に存在した参照フレームである。すなわち、参照フレームｎであるフレームｉ−０と、参照フレームｎ＋１であるフレームiii−０との間には、４つの補間フレーム（フレームｉ−１〜フレームｉ−４）が内挿されている。各補間フレームは、参照フレームｎと参照フレームｎ＋１との間における動きベクトルのベクトル長に、内挿する補間フレームごとに定められている変換比率を乗じることにより得られたベクトル長のベクトル（いわゆる、補間ベクトル）を用いて生成される。図１１に示すように４つの補間フレームを内挿する場合、変換比率はそれぞれ１／５倍、２／５倍、３／５倍、４／５倍となる。このように補間フレームを生成することによって、等間隔で滑らかな動きの表示が可能となる。なお、図１１に示すフレームｖｉ−０およびフレームｖiii−０についても同様である。
特開２００５−２６９１６４号公報（平成１７年９月２９日公開） 特開２００５−３５４５２８号公報（平成１７年１２月２２日公開）

動きベクトルを検出するための処理演算量は膨大であるため、一般的には、動きベクトルの検出は、静止位置を中心とするある範囲内に探索範囲を限定して行われる。したがって、例えばカメラを高速でパンした場合など、実際の対応箇所が動きベクトル探索ブロック外となる場合には、動きベクトル探索ブロック内において最もテクスチャが類似している箇所が対応箇所として検出されることになり、間違った動きベクトルが検出されてしまう。

間違った動きベクトルに基いて作成した補間フレームにより映像を補間し続けると、当然のことながら表示映像において画質の劣化が生じる。これは、フレーム全体またはフレーム中多くの領域を占める物体の動きであった場合には特に顕著である。

そのため、動きベクトルを検出する装置は、検出した動きベクトルの正当性を評価するエラー検出手段を備えていることが一般的である。エラー検出手段の一例としては、動きベクトルの検出時の信頼度情報をフレーム全体で累計した値を検出し、検出した累計値がある閾値より小さくなった場合、フレームレート変換を「ＯＦＦ」にする。すなわち、フレームレート変換を中止する（図１２参照）。このように、間違った動きベクトルが検出された場合にはエラー検出手段がフレームレート変換を中止するため、装置は補間エラーによる画質の劣化を回避することができる。しかし、動きベクトルが検出できなくなった瞬間にフレームレート変換が中止されると、生じるジャダー量が急激に増加するため、不自然な映像表示となる問題がある。

一例を図１３に示す。図１３は、フレームレート変換を途中で中止した場合の映像表示を模式的に示す模式図である。図１３において、映像の表示開始０秒から５／６０秒までは、フレームｉとフレームiiiとの間の動きベクトルを検出し、検出した動きベクトルのに基いて、４つの補間フレームの画像を生成している。すなわち、この間は、１２０Ｈｚのフレームレートで映像を表示することができる。しかし、映像の表示開始５／６０秒と６／６０秒との間においてフレームレート変換を中止したため、映像の表示開始から５／６０秒以降は、通常の２４Ｈｚのフレームレートでの映像表示となる。そのため、映像の表示開始５／６０秒と６／６０秒との間において、生じるジャダー量が急激に増するため、映像表示の画質が急激に劣化することになる。

特許文献１には、既に求めた動きベクトルの統計量の解析に基づき動きベクトルの探索範囲を適切に決定することにより、演算量と回路規模を抑制しつつ高精度のベクトル検出を可能とする技術が開示されている。また、特許文献２には、静止位置を中心に探索範囲を設定するのでなく、現画像と参照画像との動きを表すグローバルベクトルを求め、グローバルベクトルを用いて参照画像中の探索範囲を設定することにより、動きの大きな動画像においても、動きベクトルの検出を可能とする技術が開示されている。

しかし、特許文献１および２に開示されている技術は、予測符号化装置を前提とした動きベクトル探索範囲を拡大する方法であるため、フレームレート変換装置において、表示映像の画質の劣化を抑制するために十分な探索範囲の拡大とはなり得ない。すなわち、特許文献１および２に記載の技術を用いたとしても（たとえ、フレーム全体を探索範囲として動きベクトルを検出したとしても）、動きベクトルを検出することができなくなる場合が生じ、その場合には、上述したように表示映像における画質の劣化が生じる。そのため、フレームレート変換装置では、特許文献１および２とは異なるアプローチから上記の課題を解決する必要がある。

本発明は、上記の問題点に鑑みてなされたものであり、その主たる目的は、フレームレート変換処理が中止される際に生じるジャダー量の急激な増加を低減し、表示映像の画質が急激に劣化することを抑制するフレームレート変換装置を提供することである。

本発明に係るフレームレート変換装置では、上記課題を解決するために、
第１のフレーム上の各ブロックを始点とし、第２のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第１のフレームと上記第２のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換装置であって、
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析手段と、
上記散らばり度が第１の閾値よも小さく、かつ、上記動きベクトルの代表値が第２の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第２の閾値以下となるように設定する変換比率設定手段と、
設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第１のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成手段と、
を備えていることを特徴としている。

本発明に係るフレームレート変換装置は、動きベクトルの散らばり度が第１の閾値よも小さく、かつ、動きベクトルの代表値が第２の閾値よりも大きい場合、動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て第２の閾値以下となるように設定する。

このように、本発明に係るフレームレート変換装置では、参照フレーム間の動きベクトルを検出することさえできれば、検出した動きベクトルのベクトル長に基づいて、補間フレームの生成に用いる補間ベクトルを算出するための変換比率を設定することができる。すなわち、本発明に係るフレームレート変換装置は、参照フレーム間の動きベクトルを検出することができれば、設定した変換比率から算出した補間ベクトルに基づいて補間フレームを生成することができる。したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、本発明に係るフレームレート変換装置では、生じるジャダー量の増加を低減することができる。

これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる効果を奏する。

また、本発明に係るフレームレート変換装置において、動きベクトルの探索範囲を補間画像の生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することができる。これによって、従来よりも表示映像の画質の劣化を抑制することができる効果を併せて奏する。

なお、上記動きベクトルの代表値としては、上記動きベクトルの平均値や、上記動きベクトルの最頻値などを用いることができる。

本発明に係るフレームレート変換装置では、さらに、上記変換比率設定手段は、上記動きベクトルの代表値の大きさに応じて、上記変換比率の値を設定することが好ましい。

上記の構成によれば、動きベクトルの代表値の大きさに応じて、変換比率を設定することができるため、生じるジャダー量の大きさを徐々に大きくすることができる。すなわち、表示映像の画質は徐々に劣化させることができる。

これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化をより一層抑制することができる効果を奏する。

本発明に係るフレームレート変換装置では、さらに、上記変換比率設定手段は、上記第２の閾値と上記変換比率が０となるベクトル長を示す臨界値との差分値に対する、上記動きベクトルの大きさの代表値と上記臨界値との差分値の比率に基づいて、上記変換比率を設定することが好ましい。

上記の構成によれば、ベクトル長に応じて設定される変換比率を線形的に減少するように設定することができる。すなわち、表示映像の画質を徐々に劣化させることができるため、本発明に係るフレームレート変換装置は、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化をさらに一層抑制することができる効果を奏する。

本発明に係るフレームレート変換装置では、さらに、上記臨界値が、検出することができるベクトル長の限界値と同値であることが好ましい。

上記の構成によれば、検出することができるベクトル長の限界値において、変換比率を「０」として設定することができる。

そのため、本発明に係るフレームレート変換装置では、動きベクトルの検出が不可能となり、フレームレート変換処理が中止された場合であっても、生じるジャダー量は増加しない。したがって、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を防止することができる効果を奏する。

本発明に係るフレームレート変換方法では、上記課題を解決するために、
第１のフレーム上の各ブロックを始点とし、第２のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第１のフレームと上記第２のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換方法であって、
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析ステップと、
上記散らばり度が第１の閾値よも小さく、かつ、上記動きベクトルの代表値が第２の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第２の閾値以下となるように設定する変換比率設定ステップと、
設定した当該第２の変換比率を上記動きベクトルに乗ずることにより、上記第１のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成ステップと、
を含むことを特徴としている。

上記の構成によれば、本発明に係るフレームレート変換装置と同様の作用効果を奏する。

また、本発明に係るフレームレート変換装置を備えたテレビジョン受像機も本発明の範疇に含まれる。

さらに、本発明に係るフレームレート変換装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明に係るフレームレート変換装置は、以上のように、動きベクトルの散らばり度が第１の閾値よも小さく、かつ、動きベクトルの代表値が第２の閾値よりも大きい場合、動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て第２の閾値以下となるように設定する。

したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、本発明に係るフレームレート変換装置であれば、フレームレート変換処理が中止される際に生じるジャダー量の増加を低減することができる。これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる効果を奏する。

また、本発明に係るフレームレート変換装置において動きベクトルの探索範囲を補間画像の生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することができるため、従来よりも表映像の画質の劣化を抑制することができる効果を併せて奏する。

本発明に係るフレームレート変換装置の一実施形態について、図１〜６を参照して以下に説明する。

（フレームレート変換装置１の構成）
本発明に係るフレームレート変換装置の構成について、図１を参照して以下に説明する。図１は、フレームレート変換装置１の構成を示すブロック図である。

フレームレート変換装置１は、入力された映像信号のフレームレートを変換して出力するものである。例えば、入力された２４Ｈｚのフィルムソースの映像を、５倍の１２０Ｈｚにして出力する。この場合、フレームレート変換装置１は、参照フレームｎと参照フレームｎ＋１との間において４つの補間フレームを内挿する。なお、本実施形態では、動画像を構成する複数のフレームのうちの１つのフレームである参照フレームｎと参照フレームｎの次の動きがあるフレームである参照フレームｎ＋１との間に４つの補間フレームを内挿する場合を例に挙げて説明する。

フレームレート変換装置１は、図１に示すように、画像情報抽出部１０、動きベクトル探索部１１、動きベクトル統計解析部１２、フィルムモード検出部１３、補間ベクトル算出部１４、補間画像生成部１５、フレームメモリ１６〜１８、およびラインメモリ１９〜２１を備えている。各部材について、以下に説明する。

（画像情報抽出部１０）
画像情報抽出部１０は、入力された映像信号から、物体の動きを検出するために必要となる画像特徴情報を抽出する。画像特徴情報とは、画像の主たる情報である。より具体的には、色差信号に分けた輝度信号、周波数分解した係数情報、または画像中の物体の輪郭情報などである。これらの情報のうちいずれを画像特徴情報として抽出するのかは、フレームレート変換装置１における動きベクトルの検出方式に応じて適宜選択すればよい。

（動きベクトル探索部１１）
動きベクトル探索部１１は、参照フレームｎを分割した動きベクトル探索ブロックのうちの任意の動きベクトル探索ブロックを構成する画素集合を、その動きベクトル探索ブロックに対応する参照フレームｎ＋１の探索範囲内において検出し、対応付けを行う。すなわち、参照フレームｎにおける動きベクトル探索ブロックのブロック（画素集合）が参照フレームｎ＋１においてどれだけ移動しているかを示す値を検出する。言い換えれば、動きベクトル探索部１１は、参照フレームｎと参照フレームｎ＋１との間における動きベクトルを検出する。

なお、動きベクトル探索部１１は、対象とする動きベクトルの探索ブロックを左から右へ連続的にずらすと共に、上から下へ連続的にずらすことにより、すなわち、参照フレームｎにおける全ての動きベクトル探索ブロックにおいて同様に動きベクトルを検出することにより、参照フレームｎと参照フレームｎ＋１との間における１フレーム分の動きベクトルを検出する。

（動きベクトル統計解析部１２）
動きベクトル統計解析部１２は、動きベクトル探索部１１において検出された、参照フレームｎにおける動きベクトルを統計処理する。動きベクトル統計解析部１２における動きベクトルの統計処理について、以下に具体的に説明する。

動きベクトル統計解析部１２は、検出した動きベクトルの分散を算出すると共に、動きベクトルの代表値を算出する。

なお、本明細書等における「分散」とは、検出した各動きベクトルの偏差の２乗の平均値を指している。言い換えれば、本明細書等における「分散」とは、検出した動きベクトルの分布がどの程度ばらついているかを表す散らばり度である。また、代表値とは、動き量の平均値であってもよいし、また動き量のヒストグラム（同じ値の動きベクトルの度数）をとり、最も度数の大きい動きベクトルの値を代表値とするようにしてもよい。

ここで、動きベクトルの分散が大きいとは、参照フレームｎ上の画像に示されている物体が様々な速度で動いていることを指している。すなわち、参照フレームｎ上の画像には、その画像の全体または大半を占める物体は存在しないことを意味している。一方、動きベクトルの分散が小さいとは、参照フレームｎ上の画像に示されている物体が略一様な速度で動いていることを指している。すなわち、参照フレームｎ上の画像に、その画像の全体または大半を占める物体が存在することを意味している。なお、動きベクトルが大きいということは、フレーム間において物体が高速で移動していることを意味している。なお、本明細書等において、動きベクトルの大きさを以下、「動き量」と称する。

本実施形態では分散を算出することにより動きベクトルの分布（散らばり度）を算出しているが、動きベクトルの散らばり度を算出できる値であれば分散に限定されるものではない。例えば、分散の平方根により算出される標準偏差などの他の値を用いてもよい。

（フィルムモード検出部１３）
フィルムモード検出部１３は、連続する２つのフレームの同座標の画素値を１フレーム分取り込み、比較することによって、連続する２つのフレームが同一の画像であるか否かを判定する。フィルムモード検出部１３は、その判定結果に基いて、補間フレームを作成する際の参照フレームとして用いるフレームを判定する。すなわち、参照フレームｎと同一の画像ではないフレームと判定されたフレームを参照フレームｎ＋１として用いる。

これと共に、フィルムモード検出部１３は、補間ベクトル算出部１４において検出した動きベクトルから補間フレームの作成に利用される補間ベクトルを算出する際に用いる動きベクトルの変換比率Ｒ１を補間ベクトル算出部１４に出力する。

なお、フィルムモード検出部１３において出力される変換比率Ｒ１は、内挿する補間フレームの数に応じて予め設定された値である。すなわち、参照フレームｎと参照フレームｎ＋１との間に４つの補間フレームを内挿する場合、それぞれの補間フレームを生成するための動きベクトルの変換比率は、それぞれ１／５、２／５、３／５、４／５となる。

また、フィルムモード検出部１３における判定は、フレームメモリ１８において記録するフレームが変更される度に行われる。

（補間ベクトル算出部１４）
補間ベクトル算出部１４は、動きベクトル探索部１１において検出した動きベクトルから、補間フレームを生成するための補間ベクトルを算出する。補間ベクトル算出部１４における補間ベクトルの算出について具体的に説明する。

まず、補間ベクトル算出部１４は、動きベクトル統計解析部１２において算出した分散が閾値Ｔｈ１よりも小さく、かつ、代表値が閾値Ｔｈ２よりも大きい場合に、変換比率Ｒ１を変換比率Ｒ２に変換する。なお、変換比率Ｒ１から変換比率Ｒ２への変換の詳細については、下記に詳述するため、ここではその説明を省略する。

続いて、補間ベクトル算出部１４は、動きベクトル探索部１１において検出した動きベクトルに、変換比率Ｒ１または変換比率Ｒ２を乗じることにより、内挿する補間フレームごとに対応する補間ベクトルを算出する。

ここで、本明細書等における分散が閾値Ｔｈ１よりも小さいとは、参照フレームｎ上の画像においてその画像の全体または大半を占める物体が存在することを意味している。「閾値Ｔｈ１」の値は、特に限定されるものではなく、フレームレート変換装置１において予め設定されている任意の値である。「閾値Ｔｈ１」は、フレームレート変換装置１において固定された値であってもよいし、ユーザーにより適宜設定される値であってもよい。

また、「閾値Ｔｈ２」もまた閾値Ｔｈ１と同様にフレームレート変換装置１において予め設定されている任意の値であり、フレームレート変換装置１において固定の値であってもよいし、ユーザーにより適宜設定される値であってもよい。閾値Ｔｈ２が大きいとは、補間画像を生成する際の補間画像生成範囲が大きいことを意味している。すなわち、閾値Ｔｈ２が大きくなればなるほど、フレームレート変換装置１におけるラインメモリ２１に、処理対象となるブロック位置を中心とした広い範囲の画像を記録または保持している必要がある。したがって、閾値Ｔｈ２の値は、フレームレート変換装置１のラインメモリ２１の回路規模に応じた値に設定することが好ましい。なお、閾値Ｔｈ２の値は「０」であってもよい。

（補間フレーム生成部１５）
補間フレーム生成部１５は、補間ベクトル算出部１４において算出した補間ベクトルに基いて、ラインメモリ２１に保持されている参照フレームｎの画像から補間画像を作成することにより、参照フレーム間に補間する補間フレームを生成する。なお、補間フレーム生成部１５は、補間画像生成ブロックを左から右へ連続的にずらすと共に、上から下へ連続的にずらすことにより、すなわち、補間フレームにおける全ての補間画像生成ブロックにおいて同様に補間画像を生成することにより、参照フレームｎから１フレーム分の補間画像を生成し、内挿する補間フレームを生成する。

また、動きベクトル探索範囲の大きさと補間画像生成範囲の大きさとは同一の大きさであってもよいし、異なる大きさであってもよい。しかし、動きベクトル探索範囲の大きさと補間画像生成範囲の大きさとが異なる大きさである場合、補間画像の生成には動きベクトルが必要であるため、高画質な動画像とするためには、動きベクトル探索範囲の大きさの方が大きいことが好ましい。

（フレームメモリ１６〜１８）
フレームメモリ１６は、動きベクトル探索を行うために、少なくとも２フレーム分の画像特徴情報を記録し、保持する。フレームメモリ１８は、入力された映像信号をそのまま（または再現可能な形式で）記録し、保持する。すなわち、映像を構成する全てのフレームを記録する。また、フレームメモリ１７は、検出した、１フレーム分の動きベクトルを記録し、保持する。

（ラインメモリ１９〜２１）
ラインメモリ１９は、動きベクトル探索部１１において動きベクトルを探索する際に必要となる、処理対象としている動きベクトル探索ブロックを中心とした、動きベクトル探索範囲内における画像の画像特徴情報を、フレームメモリ１６から読み出し、保持する。ラインメモリ２０は、１フレーム分の動きベクトルのうち、処理対象となる補間画像生成ブロックの画像を生成する際に必要となる動きベクトルを読み出し、保持する。また、ラインメモリ２１は、補間画像を生成する際に必要となる、処理対象としている補間画像生成ブロックを中心とした、補間画像生成範囲内における画像を、フレームメモリ１７から読み出し、保持する。

なお、フレームレート変換装置１において動きベクトル探索範囲を従来のフレームレート変換装置よりも大きくした場合、ラインメモリ１９は従来の装置に搭載されるラインメモリよりも回路規模を大きくする必要がある。しかし、画像情報抽出部１０において抽出された画像特徴情報は、入力される映像信号の情報と比較して十分に小さく、また動きベクトル探索部１１における探索方法によっては、ラインメモリ１９の回路規模を極めて小さくすることも可能である。

さらに、ラインメモリ２１において扱われる情報は、画質の劣化が許されない情報であり、一般的に、ＦｕｌｌＨＤ（１９２０×１０８０）ＲＧＢまたはＹＰｂＰｒ各８〜１２ｂｉｔもの大量の情報である。そのため、ラインメモリ２１は、他のラインメモリよりも回路規模を大きくしておく必要がある。

（フレームレート変換装置１の動作）
次に、フレームレート変換装置１の動作について、図２を参照しつつ以下に説明する。図２は、フレームレート変換装置１の動作を示すフローチャートである。

映像信号が入力されると、画像情報抽出部１０が、画像特徴情報を抽出し、フレームメモリ１６に記録する（ステップＳ１）。画像情報抽出部１０は、少なくとも２フレーム分（ここでは、一例として、参照フレームｎと参照フレームｎ＋１とする）の画像特徴情報を抽出し、フレームメモリ１６に記録する（ステップＳ２）。

続いて、フレームレート変換装置１は、抽出した画像特徴情報のうち、任意の動きベクトル探索ブロックにおける参照フレームｎと参照フレームｎ＋１の画像特徴情報をフレームメモリ１６から読み出し、ラインメモリ１９に記録する（ステップＳ３）。動きベクトル探索部１１は、ラインメモリ１９から画像特徴情報を読み出し、参照フレームｎの動きベクトル探索ブロックを構成する画素集合と最もテクスチャの一致する画素集合を、参照フレームｎ＋１の動きベクトル探索範囲内から検出する。すなわち、動きベクトル探索部１１は、読み出された動きベクトル探索ブロックにおける動きベクトルを検出する（ステップＳ４）。同様にして、動きベクトル探索部１１は、参照フレームｎにおける動きベクトル探索ブロック全ての動きベクトルを検出する。すなわち、動きベクトル探索部１１は、参照フレームｎと参照フレームｎ＋１との間の１フレーム分の動きベクトルを検出する。動きベクトル探索部１１は、検出した１フレーム分の動きベクトルをフレームメモリ１７に記録する（ステップＳ５）。

動きベクトル統計解析部１２は、フレームメモリ１７に記録されている動きベクトルに基づいて、各動きベクトル探索ブロック上の画像の単位フレームあたりの動きベクトルの代表値を算出する（ステップＳ６）。すなわち、参照フレームｎと参照フレームｎ＋１との間において、物体がどの程度の速度で移動しているかを算出する。続いて、動きベクトル統計解析部１２は、検出した動きベクトルの分散を算出する（ステップＳ７）。

補間ベクトル算出部１４は、ステップＳ７において算出した分散が閾値Ｔｈ１未満であるか否かを判定する（ステップＳ８）。すなわち、補間ベクトル算出部１４は、参照フレームｎ上の画像において、画像の全てまたは大半を占める物体があるか否かを判定する。分散が閾値Ｔｈ１未満である場合（ステップＳ８においてＹｅｓ）、補間ベクトル算出部１４は、動きベクトルの代表値が閾値Ｔｈ２よりも大きいか否かを判定する（ステップＳ９）。すなわち、画像の全てまたは大半を占める物体の速度が閾値よりも大きいか否かを判定する。動きベクトルの代表値が閾値Ｔｈ２よりも大きい場合（ステップＳ９においてＹｅｓ）、補間ベクトル算出部１４は、フィルムモード検出部１３から入力された所定の変換比率Ｒ１から、補間ベクトルから算出される動き量が閾値Ｔｈ２よりも小さくなるような変換比率Ｒ２を設定する（ステップＳ１０）。

続いて、補間ベクトル算出部１４は、ラインメモリ２０から取得した動きベクトルに、ステップＳ１０において設定した変換比率Ｒ２を乗じることにより補間ベクトルを算出する（ステップＳ１１）。一方、代表値が閾値Ｔｈ２以下の場合（ステップＳ９においてＮｏ）、補間ベクトル算出部１４は、ラインメモリ２０から取得した動きベクトルに、フィルムモード検出部１３より取得した変換比率Ｒ１を乗じることにより補間ベクトルを算出する（ステップＳ１１）。すなわち、通常通りのフレームレート変換処理を実行する。

なお、分散が閾値Ｔｈ１以上である場合には（ステップＳ８においてＮｏ）、補間ベクトル算出部１４は、代表値が閾値Ｔｈ２よりも大きいか否かを判定する（ステップＳ１３）。代表値が閾値Ｔｈ２以下である場合（ステップＳ１３においてＮｏ）、ラインメモリ２０から取得した動きベクトルに、フィルムモード検出部１３より取得した変換比率Ｒ１を乗じることにより補間ベクトルを算出する（ステップＳ１１）。また、代表値が閾値Ｔｈ２より大きい場合（ステップＳ１３においてＮｏ）、フレームレート変換装置１は、補間フレームを生成することなく、処理を終了する。この場合にはフレームレート変換処理がＯＦＦとなる。

次に、補間フレーム生成部１５は、算出した補間ベクトルに基づいて、フレームメモリ１８に記録されている参照フレームｎから読み出され、ラインメモリ２１に記録されている画像（すなわち、処理対象としている補間画像生成ブロックを中心とした、補間画像生成範囲内の画像）から各補間画像生成ブロックの補間画像を生成する。そして、全ての補間画像生成ブロックの補間画像を生成することにより、補間フレームを生成する（ステップＳ１２）。最後に、生成した補間フレームを参照フレームｎと参照フレームｎ＋１との間に内挿し、フレームレート変換処理された映像信号がフレームレート変換装置１から出力される。

なお、フレームレート変換装置１は、内挿する補間フレームの数に基づいて補間フレームを生成する。すなわち、参照フレームｎと参照フレームｎ＋１との間に４つの補間フレームを内挿する場合には、ステップＳ１２において４つの補間フレームを生成し、出力する。

（動き量の増加に伴うジャダー量の増加）
フレームレート変換装置１と、従来のフレームレート変換装置と、フレームレート変換装置なしの場合とにおける動き量の増加に伴うジャダー量の増加について図３に示す。図３は、動き量の増加に対するジャダー量の増加を示す図である。図３では、フレームレート変換装置なしの場合における動き量に対するジャダー量の増加を破線により示し、従来のフレームレート変換装置における動き量に対するジャダー量の増加を一点鎖線により示し、フレームレート変換装置１における動き量に対するジャダー量の増加を実線により示す。また、互いの線が重なる箇所については、便宜上、各線をずらし、互いの線が重ならないように表示している。

図３に示すように、フレームレート変換装置なしの場合では、動き量の増加量に応じて生じるジャダー量が増加する。すなわち、フレーム上に表示されている物体の動く速度が速くなるにしたがって、生じるジャダー量も増加する。また、従来のフレームレート変換装置は、閾値Ｔｈ２までは補間フレームを内挿することができるため、ほとんどジャダーが生じない（図１１参照）。しかし、閾値Ｔｈ２を超えると、補間フレームの内挿処理が中止されるため、生じるジャダー量が急増する（図１３参照）。したがって、動画像を視聴していたユーザーは、表示画像の画質が急激に劣化したと感じることになる。

一方、フレームレート変換装置１は、従来のフレームレート変換装置とは異なり、閾値Ｔｈ２を超えた場合であっても、補間フレームの内挿処理を中止しない。フレームレート変換装置１は、検出した動きベクトルに基づいて算出される動きベクトルの代表値が閾値Ｔｈ２を超えた場合には、参照フレームｎと内挿する補間フレームとの間の動き量が閾値Ｔｈ２以下となるような変換比率Ｒ２を設定する。これによって、図３に示すように、代表値が閾値Ｔｈ２を超えた場合であっても、生じるジャダー量が急激に増加することを抑制することができる。すなわち、表示画像の画質が急激に劣化することを抑制することができる。

しかし、フレームレート変換装置１であっても、動きベクトルが算出できない場合には、変換比率Ｒ２を設定することができない。すなわち、限界値ＬＭを超える場合には、補間フレームの内挿処理が中止される。したがって、フレームレート変換装置１は、限界値ＬＭに達するまでに徐々にジャダー量が増加するように、補間フレームを内挿することが好ましい。

ここで、本明細書等における「限界値ＬＭ」の値とは、動きベクトルを検出することができる限界値を意味している。限界値ＬＭは、閾値Ｔｈ２と同様に、フレームレート変換装置１において固定の値であってもよいし、ユーザーにより適宜設定される値であってもよい。限界値ＬＭが大きくなるということは、より大きな動きベクトルであっても検出できるということである。しかし、限界値ＬＭの大きさが大きくなるにつれ、フレームレート変換装置１におけるラインメモリ１９と動きベクトル探索部１１とラインメモリ２０の規模を大きくする必要がある。したがって、限界値ＬＭの値は、閾値Ｔｈ２の値と同様に、フレームレート変換装置１の回路規模に応じて設定することが好ましい。なお、限界値ＬＭの値は、閾値Ｔｈ２の値よりも大きい。

また、本明細書等における「ジャダー」とは、補間フレームが所定の位置に内挿されないことにより生じる動画像における動きボケを意味している。すなわち、物体の滑らかではない、いわゆる、カクカクとした動きのことである。このようなジャダーの大きさは、フレーム間の間隔に対する動画像における物体の動きにより決まる。すなわち、フレーム間の間隔が広く、物体の動きが速いほどジャダー量は大きくなる。

（フレームレート変換装置１の利点）
以上説明したように、フレームレート変換装置１では、参照フレームｎと参照フレームｎ＋１との間の動きベクトルを検出することさえできれば、検出した動きベクトルに基づいて、補間フレームの生成に用いる補間ベクトルを算出するための変換比率Ｒ２を設定することができる。すなわち、フレームレート変換装置１は、参照フレームｎと参照フレームｎ＋１との間の動きベクトルを検出することさえできれば、設定した変換比率Ｒ２から算出した補間ベクトルに基づいて補間フレームを生成することができる。

したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、フレームレート変換装置１であれば、フレームレート変換処理が中止される際に生じるジャダー量の増加を低減することができる。これによって、フレームレート変換装置１では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる。

また、フレームレート変換装置１において動きベクトル探索範囲を補間画像生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することもできる。

（フィルムモード検出部１３における処理の詳細）
次に、フィルムモード検出部１３における処理の詳細について説明する。なお、ここでは図８を参照して説明する。フィルムモード検出部１３は、フレームメモリ１８に記憶されている連続する２つのフレームにおける同座標の画素値の差分を１フレームに亘り累積する。累積した画素値の差分値を所定の閾値と比較することにより、フレーム全体として十分差分の小さい画像であるか否か、すなわち２つのフレームが同一の画像であるか否かを判定する。つまり、フィルムモード検出部１３は、フレームＩとフレームIIとは同一の画像であり、フレームIIとフレームIIIとは異なる画像であると判定する。なお、フレームIIIとフレームＩＶおよびフレームＩＶとフレームＶとは同一の画像であると判定される。したがって、フィルムモード検出部１３は、フレームＩを参照フレームｎとし、フレームIIIを参照フレームｎ＋１として判定する。

これと共に、フィルムモード検出部１３は、補間前の原フレームであるフレームＩ（参照フレームｎ）とフレームIII（参照フレームｎ＋１）との間に補間フレームとしてフレームｉ−１〜ｉ−４を補間すること、およびフレームｉ−１〜ｉ−４それぞれを生成する際の変換比率Ｒ１を設定する。すなわち、図４に示すように、フレームｉ−１を生成する際には変換比率Ｒ１として１／５を、フレームｉ−２を生成する際には変換比率Ｒ１として２／５を、フレームｉ−３を生成する際には変換比率Ｒ１として３／５を、フレームｉ−４を生成する際には変換比率Ｒ１として４／５を用いることを設定する。

補間フレーム生成部１５においてフレームｉ−１を生成する際には、補間ベクトル算出部１４においてフレームｉ−１を生成する場合、フィルムモード検出部１３は、補間ベクトル算出部１４に対して、フレームｉ−１における変換比率Ｒ１が１／５であることを示す情報を出力する。これによって、補間ベクトル算出部１４は、変換比率Ｒ１または変換比率Ｒ１から算出される変換比率Ｒ２に基づいて、補間ベクトルを算出することができる。また、フレームｉ−１以外の補間フレームおよびフレームIIIとフレームIIIの次の参照フレームとの間の補間フレームiii−１〜iii−４についても同様である。なお、フレームｉ−０はフレームＩと同一のフレームであり、フレームiii−０はフレームIIIと同一のフレームであるため、厳密には補間フレームではないが、図４では便宜上補間フレームとして表記している。

ここで、図４は、テレシネ変換におけるフレームと各補間フレームと各補間フレームにおけるベクトル長の変換比率Ｒ１とをそれぞれ関連付けて示した図である。図４に示したベクトル長の変換比率Ｒ１は、フレームｉ−０〜ｉ−４ではフレームＩとフレームIIIとの間の動きベクトルに対する変換比率であり、フレームiii−０〜iii−４ではフレームIIIとフレームIIIの次の参照フレームとの間の動きベクトルに対する変換比率である。

なお、図４ではフレームｉ−３およびｉ−４はフレームＩ（すなわち、参照フレームｎ）を基準として、変換比率Ｒ１をそれぞれ３／５、４／５に設定しているが、フレームIII（すなわち、参照フレームｎ＋１）を基準として、変換比率Ｒ１をそれぞれ−２／５、−１／５に設定してもよい。

（変換比率Ｒ２の詳細な説明）
次に、変換比率Ｒ２の算出方法の詳細について、図５を参照しつつ以下に説明する。図５は、フレームレート変換装置１と、従来のフレームレート変換装置とにおける動き量の増加に伴う変換比率の値の変化を示す図である。

図５では、従来のフレームレート変換装置における動き量に対する変換比率の値の変化を一点鎖線により示し、フレームレート変換装置１における動き量に対する変換比率の値の変化を実線により示している。また、互いの線が重なる箇所については、便宜上、各線をずらし、互いの線が重ならないように表示している。

また、図５において、動きベクトルの代表値が閾値Ｔｈ２以下の場合の変換比率（すなわちｙ軸）は変換比率Ｒ１を示しており、動きベクトルの代表値が閾値Ｔｈ２より大きく、限界値ＬＭ以下の場合の変換比率（すなわちｙ軸）は変換比率Ｒ２を示している。なお、図５では、限界値ＬＭと変換比率が０となる動き量である臨界値（すなわち、ｙ＝０となるｘ軸上の値）とが同値である場合を示している。なお、臨界値は、フレームレート変換装置１において予め設定されている値である。臨界値の値は、限界値ＬＭと同様に閾値Ｔｈ２よりも大きい値であれば、その範囲は特に限定されるものではない。フレームレート変換装置１において固定された値であってもよく、またユーザーにより適宜設定された値であってもよい。

図５に示すように、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Ｔｈ２を超えると共に、変換比率が０となる。すなわち、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Ｔｈ２を超えると共に補間フレームの内挿処理が中止される。したがって、動画像を視聴していたユーザーは、表示映像の画質が急激に劣化したと感じることになる。

一方、フレームレート変換装置１では、従来のフレームレート変換装置とは異なり、動きベクトルの代表値が閾値Ｔｈ２を超えた場合であっても、動き量が限界値ＬＭに達するまで変換比率は徐々に減少する。これによって、動きベクトルの代表値が閾値Ｔｈ２を超えた場合であっても、生じるジャダー量が徐々に増加することになるため、表示映像の画質の急激な劣化を抑制することができる。

なお、図５に示すように、限界値ＬＭと臨界値とは同値であることが好ましい。すなわち、変換比率は、限界値ＬＭにおいて０となることが好ましい。これによって、動き量が限界値ＬＭを超えることにより、補間フレームの内挿処理が中止された場合であっても、ジャダー量の増加はほとんど生じない。したがって、表示映像の画質の急激な劣化をほぼ完全に防止することができる。

もちろん、限界値ＬＭと臨界値とが同値でなくてもよいが、動き量が限界値ＬＭを超えることにより、補間フレームの内挿処理が中止された場合に、限界値ＬＭと臨界値とが同値であるに比べてジャダー量の増加が大きい。すなわち、動画像を視聴するユーザーが表示映像の画質の劣化に違和感を感じるおそれが高くなる。

（変換比率Ｒ２の算出方法の詳細）
変換比率Ｒ２を算出する式の一例としては、下記式（１）を挙げることができる。
ｙ＝−ｂ／（ｘ２−ｘ１）×（ｘ−ｘ２）・・・（１）
なお、式（１）中、ｙは変換比率Ｒ２を示し、ｘは算出した動き量を示し、ｘ１は閾値Ｔｈ２を示し、ｘ２は臨界値ＬＭを示し、ｂは変換比率Ｒ１を示している。

上記式（１）に示すように、変換比率Ｒ２は、閾値Ｔｈ２と臨界値との差分値に対する動き量と臨界値との差分値の比率を変換比率Ｒ１に乗じることにより算出される。すなわち、変換比率Ｒ２の値は、動き量が大きくなるにしたがって、変換比率Ｒ１から線形的に小さくなる。

フレームレート変換装置１および従来のフレームレート変換装置における動き量の増加に伴う補間ベクトルのベクトル長の長さの変化を図６に示す。なお、フレームレート変換装置１は、上記式（１）を用いて変換比率Ｒ２を算出する場合を例に挙げている。また、図６では、限界値ＬＭと臨界値とが同値である場合を示している。図６において、動きベクトルの代表値が閾値Ｔｈ２以下の場合におけるベクトル長は、変換比率Ｒ１を用いて算出された補間ベクトルのベクトル長であり、動き量の増加に応じてそのベクトル長は大きくなる。

図６に示すように、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Ｔｈ２を超えると共に、補間ベクトルのベクトル長が０となる。すなわち、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Ｔｈ２を超えると同時に変換比率が０となり、補間フレームの内挿処理が中止される。したがって、動画像を視聴していたユーザーは、表示映像の画質が急激に劣化したと感じることになる。

一方、フレームレート変換装置１では、動きベクトルの代表値が閾値Ｔｈ２を超えると同時に、補間ベクトルのベクトル長が０とはならない。フレームレート変換装置１では、動きベクトルの代表値が閾値Ｔｈ２を超えた場合であっても、動き量が限界値ＬＭ以下であるならば、上記式（１）にしたがって算出した変換比率Ｒ２に基づいて補間ベクトルを算出する。すなわち、図６において、動きベクトルの代表値が閾値Ｔｈ２より大きく、限界値ＬＭ以下のベクトル長は、変換比率Ｒ２を用いて算出された補間ベクトルのベクトル長である。

したがって、図６に示すように、動きベクトルの代表値が閾値Ｔｈ２より大きく、限界値ＬＭ以下である補間ベクトルのベクトル長は、閾値Ｔｈ２と限界値ＬＭとの差分値に対する動き量と限界値ＬＭとの差分値の比率に応じて短くなり、限界値ＬＭにおいて「０」となる。すなわち、補間ベクトルのベクトル長の値は、限界値ＬＭにおいて「０」となるように２次曲線的に減少する。

補間ベクトル長は、変換比率Ｒ２を算出するの上記式（１）に動き量を乗じることにより算出することができる。より具体的には、補間ベクトル長は下記式（２）
ｙ＝−ｂ／（ｘ２−ｘ１）×（ｘ−ｘ２）×ｘ ・・・（２）
を用いて算出することができる。

なお、上記式（２）は、
ｙ＝−ｂ／（ｘ２−ｘ１）×｛（ｘ−ｘ２／２）2−（ｘ２／２）2｝
であり、ｘ＝ｘ２／２のとき、頂点となる。また、補間ベクトル長は、閾値Ｔｈ２ときの長さが最大なる必要があるため、ｘ２／２＜閾値Ｔｈ２を満たす必要がある。すなわち、限界値ＬＭは閾値Ｔｈ２の２倍以下に設定する必要がある。

これによって、フレームレート変換装置１は、動きベクトルの代表値が閾値Ｔｈ２を超えた場合であってもベクトル長を徐々に短くすることができる。すなわち、フレームレート変換装置１では、生じるジャダー量が徐々に大きくなるため、生じるジャダー量が急激に増加することによる表示映像の画質の急激な劣化を抑制することができる。また、限界値ＬＭにおいてベクトル長が「０」となるようにベクトル長が減少する場合には、動き量が限界値ＬＭを超え、フレームレート変換処理が中止された場合であっても、ジャダー量の増加は生じない。すなわち、フレームレート変換処理が中止された場合表示映像の画質の急激な劣化を防止することができる。ここで、本明細書等において「防止」とは、ほぼ完全に抑制できるという意味で用いている。

なお、本実施形態では、補間ベクトルへの変換比率Ｒ２を線形的に減少させるようにした場合を例に挙げて説明したが、もちろんこれに限定されるものではない。変換比率Ｒ２は、動き量の増加量に応じてベクトル長を短くすることができるように設定されていれば、上記式（１）に限定されるものではない。

また、本実施形態では、臨界値が限界値ＬＭと同値である場合を例に挙げて説明しているが、これに限定されるものではなく、臨界値は、閾値Ｔｈ２よりも大きい値であれば、限界値ＬＭよりも大きい値であってもよいし、小さい値であってもよい。臨界値が限定値ＬＭと異なる値であったとしても従来のフレームレート変換装置に比べて表示映像の画質が急激に劣化することを抑制することができる。

（補間フレームの内挿位置）
フレームレート変換装置１において、変換比率Ｒ２を用いて生成された補間フレームは、変換比率Ｒ１と変換比率Ｒ２との差分の時間分だけ、所定の内挿位置よりも参照フレームｎ側にずれて内挿される。

変換比率Ｒ２を用いて生成した補間フレームの内挿位置について、図７を参照しつつ具体例を挙げて以下に説明する。図７はフレームレート変換装置１において、変換比率Ｒ２により算出された補間ベクトルを用いて生成した補間フレームを内挿した状態を示す図である。なお、図７では、本発明を容易に理解できるようにするために、補間フレームを１枚挿入した場合について図示している。また、図７は、参照フレームｎが１msecであり、参照フレームｎ＋１が２msecであり、変換比率Ｒ１が１／２であり、変換比率Ｒ２が３／１０の場合を例示している。

図７に示すように、変換比率Ｒ２が３／１０に設定される場合、生成される補間フレームは、本来内挿される位置である１．５msecではなく、１．３msecの時刻に内挿される。すなわち、生成される補間フレームが内挿される位置が２／１０msec（０．２msec）分だけ参照フレームｎ側にずれる。

なお、実際には、変換比率Ｒ２が設定されたために内挿位置がずれるのではなく、フレームレート変換装置１は、ずれた内挿位置の補間フレームを生成するような第２の変換比率を設定する。変換比率Ｒ２の設定は、内挿位置の設定と言い換えることもできる。

（付記事項）
なお、フレームレート変換装置１は、テレビジョン受像機に備えられていることが好ましい。なお、フレームレート変換装置１を備えたテレビジョン受像機におけるフレームレート変換装置１以外の構成は従来と同様であればよい。

（プログラムおよび記録媒体）
最後に、フレームレート変換装置１に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。

すなわちフレームレート変換装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ、このプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、上記プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。

この記録媒体は、上述した機能を実現するソフトウェアであるフレームレート変換装置１のプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。フレームレート変換装置１に、この記録媒体を供給する。これにより、コンピュータとしてのフレームレート変換装置１（またはＣＰＵあるいはＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。

プログラムコードをフレームレート変換装置１に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

また、フレームレート変換装置１を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介してフレームレート変換装置１に供給する。この通信ネットワークはフレームレート変換装置１にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係るフレームレート変換装置は、例えばテレビジョン受像機などの映像表示装置において好適に用いることができる。

本発明に係るフレームレート変換装置の要部構成を示すブロック図である。 本発明に係るフレームレート変換装置の動作を示すフローチャートである。 本発明に係るフレームレート変換装置と、従来のフレームレート変換装置と、フレームレート変換なしの場合とにおける動き量に対するジャダー量の増加を示す図である。 テレシネ変換におけるフレームと各補間フレームと各補間フレームにおけるベクトル長の変換比率Ｒ１とをそれぞれ関連付けて示した図である。 本発明に係るフレームレート変換装置および従来のフレームレート変換装置の動き量の増加に伴う変換比率の値の変化を示す図である。 本発明に係るフレームレート変換装置および従来のフレームレート変換装置の動き量の増加に伴う補間ベクトルのベクトル長の値の変化を示す図である。 本発明に係るフレームレート変換装置において、変換比率Ｒ２により算出された補間ベクトルを用いて生成した補間フレームを内挿した状態を模式的に示す図である。 ３：２プルダウン方式によるテレシネ変換を模式的に示す図である。 ３：２プルダウン方式によるテレシネ変換されたビデオ映像信号の表示を模式的に示した図である。 フレームレート変換による補間フレームの生成の様子を模式的に示した図である。 ２４Ｈｚであったフィルム映像を１２０Ｈｚにフレームレート変換処理した場合の映像信号の表示を模式的に示した図である。 動きベクトルが検出できない場合における補間フレームの生成の様子を模式的に示した図である。 フレームレート変換処理を途中で中止した場合の映像表示を模式的に示す模式図である。

符号の説明

１ フレームレート変換装置
１０ 画像情報抽出部
１１ 動きベクトル探索部
１２ 動きベクトル統計解析部（統計解析手段）
１３ フィルムモード検出部
１４ 補間ベクトル算出部（補間ベクトル算出手段、変換比率設定手段）
１５ 補間フレーム生成部（補間フレーム生成手段）
１６、１７、１８ フレームメモリ
１９、２０、２１ ラインメモリ

Claims (8)

1. 第１のフレーム上の各ブロックを始点とし、第２のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第１のフレームと上記第２のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換装置であって、
   上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析手段と、
   上記散らばり度が第１の閾値よも小さく、かつ、上記動きベクトルの代表値が第２の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第２の閾値以下となるように設定する変換比率設定手段と、
   設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第１のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
   算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成手段と、
   を備えていることを特徴とするフレームレート変換装置。
2. 上記変換比率設定手段は、上記動きベクトルの代表値の大きさに応じて、上記変換比率の値を設定することを特徴とする請求項１に記載のフレームレート変換装置。
3. 上記変換比率設定手段は、上記第２の閾値と上記変換比率が０となるベクトル長を示す臨界値との差分値に対する、上記動きベクトルの代表値と上記臨界値との差分値の比率に基づいて、上記変換比率を設定することを特徴とする請求項２に記載のフレームレート変換装置。
4. 上記臨界値が、検出することができるベクトル長の限界値と同値であることを特徴とする請求項３に記載のフレームレート変換装置。
5. 第１のフレーム上の各ブロックを始点とし、第２のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第１のフレームと上記第２のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換方法であって、
   上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析ステップと、
   上記散らばり度が第１の閾値よも小さく、かつ、上記動きベクトルの代表値が第２の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第２の閾値以下となるように設定する変換比率設定ステップと、
   設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第１のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
   算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成ステップと、
   を含むことを特徴とするフレームレート変換方法。
6. 請求項１から４のいずれか１項に記載のフレームレート変換装置を備えたテレビジョン受像機。
7. 請求項１から４のいずれか１項に記載のフレームレート変換装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのフレームレート変換プログラム。
8. 請求項７に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images