JP2009181067A - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents

Abstract

【課題】フレームレート変換部を備えた画像表示装置において、動きベクトル検出処理に誤りが生じやすい映像にスクロールするテロップが重畳されている場合に、動きベクトルの誤検出に起因する画質劣化の防止と、テロップ部分の動きボケの解消を共に実現する。
【解決手段】動きベクトル検出部１０５は、１つ以上のテロップの存在する領域とその移動速度を検出し、検出された動きベクトルとテロップに関する情報を内挿フレーム生成部１０７に供給する。動きベクトル非連続性検出部１０６は、各フレームの動きベクトルに連続性が存在するかを検出し、連続性が存在しない場合はその情報を内挿フレーム生成部１０７に出力する。内挿フレーム生成部１０７は、動きベクトル非連続情報が入力された場合は、動き補償を用いた内挿フレーム生成処理を行わず他の手段による内挿フレーム生成を行うが、テロップ部分は動き補償を用いた内挿フレーム生成処理を行う。
【選択図】図１６

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法に関し、特にテロップ部分の画質劣化を防止する画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。

動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。

電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。

上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。

上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。

従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。

そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて動き補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。

前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。

図１９は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル１０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル１０３の走査電極及びデータ電極を駆動するための電極駆動部１０４と、を備えて構成される。

ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。

上記構成において、動きベクトル検出部１０１は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。

図２０は、図１９に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。

図２１は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図２１に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル２０１を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル２０１を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル２０１を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル２０２を割り付ける。この内挿ベクトル２０２に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム２０３を生成する。

このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。

ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出方法としては、例えば、特許文献２に示された「テレビジョン画像の動き検出方法」や特許文献３に示された「画像動ベクトルの漸近的検出方法」などに記載のパターンマッチング法、または、特許文献４に示された「画像動き量検出方式」や特許文献５に示された「動画像の動き推定における初期偏位方式」などに記載の反復勾配法が、それぞれ提案されている。

特に、後者の反復勾配法による動きベクトル検出方式は、パターンマッチング法に比べて、小型でかつ精度良く、動きベクトルを検出することができる。すなわち、反復勾配法による動きベクトル検出方法は、デジタル化したテレビジョン信号のそれぞれのフレームを、例えば、横方向ｍ画素、縦方向ｎラインを含むｍ×ｎ画素の予め定めた所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配及び対応する画面間との信号差分値の物理的な対応などに基づいて、反復的な勾配法演算を施すことにより動き量を推定するものである。

ところで、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つ。あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。

このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームでの動きベクトル検出をより容易に、あるいは、より正確に行うことが可能である。前記特許文献５においては、動き量を推定する際の初期値として、被検出ブロックに該当するブロックを含む周辺の複数のブロックにおいて既に検出されている動きベクトルの候補の中から、該被検出ブロックの動きベクトル検出用として最適なものを初期変位ベクトルとして選択し、該被検出ブロックの真の動きベクトルに近い値から勾配法演算を開始することにより、勾配法演算の演算回数を少なくして、例えば２回の勾配法演算にて真の動きベクトルを検出する方法が提案されている。

また、特許文献６に示された「動きベクトル検出回路」では、動きベクトル検出の精度を更に高めるために、少なくとも１フィールド以上又は１フレーム以上離れた画像信号の各ブロック間で動きの初期変位ベクトルを検出する方法が提案されている。さらに、ブロックマッチング法においても、前フレームでの動きベクトル検出結果を参照して探索順序を変えるなどして、効率的な動きベクトル検出を行うことが考えられる。このように、動きベクトルを検出する際に、既検出の動きベクトルを利用することによって、例えばフレームレート変換のリアルタイム処理が可能になる。

ところで、テレビ番組や映画では、字幕、所謂テロップが画像信号中に含まれることが少なくない。その中には、画面上で文字が水平や垂直方向にスクロール（移動）していくテロップも存在する。非特許文献３によれば、一般的なテレビ番組に含まれる被写体の動き速度は、主に２０ｄｅｇ／ｓｅｃ以下に分布し、中でも１０ｄｅｇ／ｓｅｃ以下の頻度が高いのに対し、テレビ番組のテロップのスクロール速度は平均１３．８ｄｅｇ／ｓｅｃ、最大３５．９ｄｅｇ／ｓｅｃで、１０〜２０ｄｅｇ／ｓｅｃのテロップ出現頻度が高いことがわかる。すなわち、スクロールするテロップはテレビ番組の中では一般的な被写体に比べてより速い速度で動く場合が多い。

通常、カメラによって撮影された被写体は、その動きが速い場合にはカメラの光蓄積時間に起因するボケ（カメラボケ）を含む。このように元々ボケを含む画像については、ホールド型表示方式に起因する動きボケが目立ちにくい。これに対して、テロップは後から画像合成されたものであるため、その動きが速くてもカメラボケは含まれない。このため、テロップはホールド型表示方式に起因する動きボケが目立ちやすく、ＦＲＣによって動きボケが減少すると、その効果が顕著に現れる。
特許第３２９５４３７号明細書 特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 特開昭６２−２０６９８０号公報 特開平０６−２１７２６６号公報 特許第３５６２８２６号公報 特開２０００−３３３１３４号公報 石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６ 山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１） Ｆｕｊｉｎｅ， ｅｔ．ａｌ．， "Ｒｅａｌ−Ｌｉｆｅ Ｉｎ−Ｈｏｍｅ Ｖｉｅｗｉｎｇ Ｃｏｎｄｉｔｉｏｎｓ ｆｏｒ ＦＰＤｓ ａｎｄ Ｓｔａｔｉｓｔｉｃａｌ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ Ｂｒｏａｄｃａｓｔ Ｖｉｄｅｏ"， Ｄｉｇｅｓｔ ＡＭ−ＦＰＤ’０６

ところで特許文献７には、動き補償によるフレームレート変換処理を備えた装置において、動き補償による信号処理を備え、１つのフレームの複数の動きベクトル長の和が他のフレームの複数の動きベクトル長の和と与えられた閾値以上の差がある場合には、映画フィルムから発生された画像信号が存在するとみなすことができるとして、２つのフレームにおける加算ベクトル長の変化が大きい場合には、映画フィルムが適用された処理モード（動き補償されない画像信号処理モード）を選択するようにしたものが記載されている。しかしこのような映像にスクロールするテロップが重畳されている場合、より具体的には、例えばフレームレート６０Ｈｚのテレビで放映される映画において、映画本体は２４Ｈｚの映像を２−３プルダウンした映像であり、その上に６０Ｈｚのスクロールするテロップが重畳されている場合、特許文献７の技術によれば、画面全体にわたって動き補償されない画像信号処理モードを選択するため、テロップ部分の動きボケが解消されないという課題がある。

また特許文献８には、動き補償によるフレームレート変換処理を備えた装置において、シーンチェンジ（映像内容が大きく変わる）、画面のフラッシング（輝度変化が大きく変化）、画像の動きが非常に速く予め定められた探索範囲内には最適ベクトルが存在しない場合に、動きベクトルを０ベクトルに固定して、誤った動きベクトルの検出による補間画像の生成を行わないようにして検出ミスに基づく画質劣化を改善する方法が述べられている。しかし上記と同様に、このような映像にスクロールするテロップが重畳されている場合、特許文献８の技術によれば、画面全体にわたって動きベクトルを０ベクトルに固定した、すなわち動き補償されない画像信号を内挿画像として用いるため、テロップ部分の動きボケが解消されないという課題がある。

なお、２−３プルダウンされた映像、２−２プルダウンされた映像、シーンチェンジを含む映像、フラッシングを含む映像はすなわち、映像におけるある連続する２枚のフレームにおいて、フレーム間の相関が低い場合が存在する映像である。同様な映像として、例えばスロー再生された映像もある。

まとめると、動きベクトル検出処理に誤りが生じやすい映像、例えば、２−３プルダウンされた映像、２−２プルダウンされた映像、シーンチェンジを含む映像、フラッシングを含む映像、スロー再生を含む映像、動きベクトル検出処理の検出限界を超えるような速い動きを含む映像に、スクロールするテロップが重畳されている場合、画面全体にわたって動き補償されない画像信号処理モードを選択すると、テロップ部分の動きボケが解消されないという課題がある。

本発明は、上記課題に鑑みてなされたものであり、動き補償型のフレームレート変換（ＦＲＣ）処理において、動きベクトル検出が正常に動作しにくいような映像の上にスクロールするテロップが重畳されている場合に、動きベクトルの誤検出に起因する画質劣化を防止するとともに、テロップ部分の動きボケに起因する画質劣化を解消することが可能な画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。

本願の第１の発明は、入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出手段と、前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定手段とを備え、前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする。

本願の第２の発明は、前記判定手段が、画面を複数の動き検出ブロックに分割して、各動き検出ブロックごとに検出された動きベクトルの長さを算出し、それを１フレーム分あるいは１フィールド分全て加算し、あるフレームあるいはフィールドにおける動きベクトルの長さの加算値とその次のフレームあるいはフィールドの加算値を減算して絶対値を取り、該絶対値が所定の閾値より小さい場合は相関量が大きく、該絶対値が所定の閾値より大きい場合は相関量が小さいとして判定することを特徴とする。

本願の第３の発明は、前記判定手段が、連続する２枚のフレームあるいはフィールドの画素ごとに輝度差分値の絶対値を算出し、それを１フレーム分あるいは１フィールド分加算し、該加算値が所定の閾値より小さい場合は相関量が大きく、該加算値が所定の閾値より大きい場合は相関量が小さいとして判定することを特徴とする。

本願の第４の発明は、前記検出手段が、画面を複数の領域に分割して、各領域毎の平均ベクトルの平均偏差を求め、これに所定の係数を乗算した値を閾値とし、各領域毎の平均ベクトルと画面全体の平均ベクトルとの間の距離が、前記閾値より大きい領域をテロップの領域として検出することを特徴とする。

本願の第５の発明は、前記テロップ以外の領域に対して、前記動きベクトルを０ベクトルに置き換えることにより前記動き補償処理を無効化して内挿画像信号を生成することを特徴とする。

本願の第６の発明は、前記テロップ以外の領域に対して、前後のフレームあるいはフィールドのいずれかをそのまま複製することにより内挿画像信号を生成することを特徴とする。

本願の第７の発明は、前記テロップ以外の領域に対して、前後のフレームあるいはフィールドの線形補間によって内挿画像信号を生成することを特徴とする。

本願の第８の発明は、前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分の画像に連続性を持たせることを特徴とする。

本願の第９の発明は、前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分において、前記内挿される画像信号に対してローパスフィルタをかけることを特徴とする。

本願の第１０の発明は、前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分において、前記動きベクトルに対してローパスフィルタをかけることを特徴とする。

本願の第１１の発明は、前記レート変換手段が、前記動き補償処理を施した画像信号と前記動き補償処理を施さない画像信号とを加重加算することで内挿される画像信号を生成するものであって、テロップの領域とそれ以外の領域の境界からテロップの領域へと遠ざかるにつれ前記動き補償を施した画像信号の加重加算比率を大きくし、テロップの領域とそれ以外の領域の境界からテロップ以外の領域へと遠ざかるにつれ前記動き補償を施した画像信号の加重加算比率を小さくすることを特徴とする。

本願の第１２の発明は、入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出ステップと、前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定ステップとを備え、前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする。

本願の第１３の発明は、入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出手段と、前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定手段とを備え、前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする。

本願の第１４の発明は、入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出ステップと、前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定ステップとを備え、前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする。

本発明によれば、上述のような構成とすることによって、動きベクトル検出が正常に動作しにくいような映像、例えば２−３プルダウンされた映像、２−２プルダウンされた映像、シーンチェンジを含む映像、フラッシングを含む映像、スロー再生を含む映像に、スクロールするテロップが重畳されている場合に、テロップの部分は動き補償処理による内挿処理を行って動きボケを低減するとともに、それ以外の領域では動き補償処理を無効化した方法、あるいは動き補償処理以外の方法で内挿処理を行うことで、動きベクトルの誤検出による画質劣化を防止することが可能となる。

以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。

（１）全体構成およびテロップ情報の利用方法
図１は、本発明の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。図１９に示した従来の液晶表示装置とほぼ同一の構成であるが、動きベクトル検出部１０５の内部構成が異なっている。

図２は、本発明の画像表示装置が備える動きベクトル検出部の一例を示す機能ブロック図で、図１に示した本発明の液晶表示装置のＦＲＣ部１００中に含まれる動きベクトル検出部１０５の内部構成を詳しく説明するためのものである。本実施形態の動きベクトル検出部１０５は、フレーム遅延部１、初期変位ベクトル選択部２、動きベクトル演算部３、ベクトルメモリ４、テロップ情報検出部５を有している。

本実施形態に係る動きベクトル検出部１０５は、フレーム毎に入力する入力画像信号を、予め定めた所定の大きさ、例えばｍ画素×ｎライン（ｍ，ｎは整数）からなる複数のブロックに分割して、分割した各ブロック毎に、フレーム遅延部１にて遅延させた例えば１フレーム前の入力画像信号において対応するブロックとの間における動きの方向及び大きさを表わす動きベクトルを求めるためのものであり、既に検出されて、ベクトルメモリ４に蓄積されている動きベクトルの中から選択した候補ベクトル群と、テロップ情報検出部５によって得られたテロップ情報とを併せ用いて、最適な動きベクトルを被検出ブロックにおける初期変位ベクトルとして選択する初期変位ベクトル選択部２と、該初期変位ベクトルを起点として、前記テロップ情報を用いて、例えば２回の勾配法演算により該被検出ブロックにおける真の動きベクトルを正しく求める動きベクトル演算部３とを備えている。

特に、本実施形態においては、テロップ情報検出部５を備え、これによって得られたテロップ情報を、初期変位ベクトル選択部２あるいは動きベクトル演算部３での処理に用いることに特徴がある。初期変位ベクトル選択部２においては、テロップの存在する領域とそれ以外の領域とで異なった処理を行うか、あるいは、テロップの移動速度／方向を考慮して初期変位ベクトルを選択するか、あるいは、その両方を組み合わせて処理を行う。また、動きベクトル演算部３では、テロップの存在する領域ではテロップの移動速度／方向を考慮したベクトル演算を行う。このような処理を行うことにより、特にテロップの存在する領域において、より正確な検出ベクトルが得られる。

上記テロップ情報検出部５では、入力画像信号に含まれるテロップの特徴量（テロップ情報）として、例えば画面中のどの動き検出ブロックがテロップに該当するかを示すテロップ領域情報と、テロップの移動速度／方向を示すテロップベクトル情報とが検出される。もし画面中にテロップが複数存在する場合は、そのそれぞれについて、テロップ領域情報とテロップベクトル情報とを検出するようにしても良い。このテロップ情報検出部５の詳細については後述する。

また、ここでは、動きベクトル演算部３における演算方法として反復勾配法を用いた例について説明するが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。

更に詳細に説明すると、図２に示す動きベクトル検出部１０５は、前述のように、初期変位ベクトル選択部２と、動きベクトル演算部３と、ベクトルメモリ４と、テロップ情報検出部５とを含んで構成されている。初期変位ベクトル選択部２及び動きベクトル演算部３には、それぞれ、現フレーム信号とフレーム遅延部１を介して１フレーム分遅延させた前フレーム信号とが供給されている。

初期変位ベクトル選択部２は、前フレームの動きベクトル演算で求められた既検出動きベクトルの中から被検出ブロックの動きに最もふさわしい値、例えば被検出ブロックの動きに最も近い値の動きベクトルを、勾配法演算の起点となる初期変位ベクトルとして選択する選択回路であり、前述した候補ベクトル群とテロップベクトルとの中から適切な動きベクトルを選択するものである。初期変位ベクトル選択部２では、例えば前述のように前フレーム信号をｍ画素×ｎラインのブロックに分割し、分割されたそれぞれのブロック毎に初期変位ベクトルを選択する基準として、現フレーム信号と前フレーム信号とを利用する。

初期変位ベクトル選択部２は、例えば図３に示すように、座標変換部２ａと減算部２ｂと、絶対値累積部２ｃと、選択部２ｄと、テロップベクトル追加判定部２ｅとを有している。初期変位ベクトル選択部２では、ベクトルメモリ４から順次読み出された被検出ブロックに対応するブロックの周辺８ブロックの動きベクトル、すなわち候補ベクトル群と、テロップ情報検出部５から出力された１つ以上のテロップベクトルおよびテロップ領域情報と、前フレーム信号と、現フレーム信号とが入力される。

テロップベクトル追加判定部２ｅでは、１つ以上のテロップベクトルおよびテロップ領域情報を入力し、処理中のブロックがあるテロップ領域に該当する場合に、該テロップ領域におけるテロップベクトルを座標変換部２ａに出力する。また、処理中のブロックが複数のテロップ領域に該当する場合は、該複数のテロップ領域それぞれにおけるテロップベクトル、すなわち複数のテロップベクトルを座標変換部２ａに出力する。

各候補ベクトル群の各動きベクトルおよびテロップベクトル追加判定部２ｅから出力された１つ以上のテロップベクトルが、初期変位ベクトルの候補となる。該初期変位ベクトルの候補はそれぞれの座標変換部２ａに供給されて、フレーム遅延部１から供給される前フレーム信号の対象ブロックをその動きベクトルにて変位させて、現フレームへの座標変換を行ない、該座標変換結果が、それぞれの減算部２ｂに供給される。

尚、本実施形態においては、候補ベクトル群は、被検出ブロックの周囲８ブロックで検出された前フレームの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の候補ベクトル群としているが、これらの候補ベクトル群は、かかる例のみに限られるものではなく、その他の領域の既検出の動きベクトルから決定するように構成してももちろん構わない。

それぞれの減算部２ｂでは、座標変換部２ａにて座標変換した前フレーム信号と、入力された現フレーム信号との間で減算処理を施して、それぞれの画素毎の差分を算出し、それぞれの差分結果を絶対値累算部２ｃに供給する。それぞれの絶対値累算部２ｃでは、それぞれの画素の差分の絶対値を求めて、絶対値化した差分をブロックの画素数分累算し、その累積結果を、候補ベクトルの評価値として選択部２ｄにそれぞれ出力する。

上記の手順で得られる累積結果は、ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれている。ＤＦＤとは、算出ベクトル（ここでは、候補ベクトル）の正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、前フレームのブロックと現フレームの座標変換されたブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。

次に、各ブロック毎にそれぞれの累積結果（ＤＦＤ）を受け取った選択部２ｄは、各ブロックの累積結果（ＤＦＤ）を比較して、累積結果（ＤＦＤ）が最小となる候補ベクトル、すなわち最もふさわしいと思われる候補ベクトルを検出して、該候補ベクトルを初期変位ベクトルとして選択し、動きベクトル演算部３に供給する。この時、テロップ情報検出部５からのテロップ領域情報を用いて、被検出ブロックがテロップ領域に該当する場合は、テロップベクトルを優先して選ぶよう処理する。

より具体的には、例えば被検出ブロックがテロップ領域に該当する場合は絶対値累積部２ｃからの出力値のうち、テロップベクトルに対する累積結果（ＤＦＤ）を小さくするような重み付けを行う。例えば、テロップベクトルに対する累積結果に係数ｗ（０＜ｗ＜１）をかけることで、テロップベクトルに対する累積結果（ＤＦＤ）の値を小さくする方法を用いることができる。

なお、上記実施形態においては、テロップ情報検出部５で検出したテロップ領域情報とテロップベクトル情報との両方を、初期変位ベクトル選択部２で使用する方法について説明したが、いずれか片方の情報のみを用いる構成としても構わない。例えばテロップ領域の情報のみを用いる構成の例について、図４を用いて説明する。この構成では、テロップベクトルは入力しないため、図３におけるテロップベクトル追加判定部２ｅを除外している。

本例では、選択部２ｄにおいて、絶対値累計部２ｃの出力に対し、処理中のブロックがテロップ領域以外の場合は全画面の平均ベクトルあるいは０ベクトルを優先させる重み付けを行い、処理中のブロックがテロップ領域の場合はそのような重み付けを行わない。このような処理を行うことで、テロップ領域では相対的に速いベクトルも選ばれやすくなる。すなわち動きの速いテロップに対応したベクトルが選ばれやすくなる。

また、例えばテロップベクトルの情報のみを用いる構成の例について、図５を用いて説明する。この構成では、テロップ領域情報を入力しない。このため、図３におけるテロップベクトル追加判定部２ｅも不要となり、全てのブロックに対して初期変位ベクトルの候補にテロップベクトルを加える。テロップの存在するブロックに対する初期変位ベクトル候補の中に、テロップベクトルと同じ或いは近いベクトルが存在するかどうかは、前フレームでのベクトル検出状況に依存しており、確実ではない。従って、別途テロップベクトルを候補として与えることで、より適切な初期変位ベクトルを選択する可能性を向上させることが可能である。

さらに、前述したようなテロップ領域情報、テロップベクトル情報の利用方法の１つ以上を任意に組み合わせて用いても良いことは言うまでもない。

動きベクトル演算部３では、それぞれのブロック毎に動きベクトルを検出するために、現フレーム信号と前フレーム信号とを利用し、初期変位ベクトル選択部２から供給された初期変位ベクトルを起点として、前フレーム信号からの現フレーム信号への真の動きベクトルを、勾配法演算より求める演算回路である。なお、勾配法演算による動きベクトル算出方法については、前述した各特許文献、非特許文献に詳しいので、ここではその説明を省略するが、初期変位ベクトルが、本実施形態においてどのように使われるかについて、反復勾配法を例にとって以下に説明する。

例えば、勾配法演算は、初期変位ベクトルＶ０（α，β）にて前フレーム信号を変位させた座標位置を起点にして、現フレームの動き量を推定した動き変位分Ｖ１を、次式（１），（２）に従って求める。

式１

式２

但し、式（１），（２）において、Ｖｘは動きベクトルＶ０とＶ１との差のｘ方向成分、Ｖｙは動きベクトルＶ０とＶ１との差のｙ方向成分である。ここで、Σは、ｍ画素×ｎライン、例えば８画素×８ラインのブロック領域内の全ての座標について演算して和を求めることを表している。また、Δｘは注目座標における画像輝度のｘ方向の勾配（ｘ方向の隣接画素との差分値）、Δｙは注目座標における画像輝度のｙ方向の勾配（ｙ方向の隣接画素との差分値）、ＤＦＤ（ｘ，ｙ）は前フレームの座標（ｘ，ｙ）と現フレームの座標（ｘ＋α，ｙ＋β）とにおけるフレーム間差分値を示すものであり、前述したものと同一の算出方法である。また、ｓｉｇｎ（Δｘ）、ｓｉｇｎ（Δｙ）はそれぞれ、＋１，−１，０のいずれかにて表わされる勾配の方向を示す符号である。

例えば、２回の反復勾配法の場合、図６に示すように、初期変位ベクトルをＶ０として、１回目の変位分Ｖ１及び２回目の変位分Ｖ２を求めて、それらをベクトル加算した動きベクトルＶを、次の式（３）により求める。

式３

式（３）により、図７に示すように、前フレームにて座標（ｍ１，ｎ１）のブロックに存在していた画像が、現フレームにおいて座標（ｍ１＋α０，ｎ１＋β０）の座標位置のブロックに移動した際に、その動き量が、ベクトルＶとして求められる。ここで、図７は、１フレーム前の前フレームと現フレームとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。

このようにして、図２における動きベクトル演算部３で求められた動きベクトルＶは、ベクトルメモリ４に蓄積され、次のフレーム以降の動きベクトル算出のために用いる初期変位ベクトル選択用の候補ベクトルとして利用される。

以上のように、画面全体の動き特徴を抽出し、画面全体の動き特徴に基づいて補償した初期変位ベクトルを適用することにより、初期変位ベクトルの誤検出を防ぎ、例えば２回程度の少ない反復勾配法による演算回数で、現フレーム信号のブロック毎の真の動きベクトルを正しく算出することが可能になる。

ここで、動きベクトル演算部３にはテロップ情報検出部５からの１つ以上のテロップ領域情報が入力されており、被検出ブロックがテロップ領域に該当する場合に、特別な処理を行っても良い。例えば、テロップベクトルの方向が水平方向であった場合、ｘ値のみで反復勾配法を実施し、最終的に得られる動きベクトルを水平方向の動きに限定しても良い。あるいは、テロップベクトルの方向が垂直方向であった場合、ｙ値のみで反復勾配法を実施し、最終的に得られる動きベクトルを垂直方向の動きに限定しても良い。これは、テロップベクトルの方向に従って演算を行うことで、テロップの動きにより追従させやすくするためである。

尚、上記の説明では、動きベクトル演算部３における動きベクトルの算出方法としては、１乃至複数回の勾配法演算を用いる反復勾配法を採用しているが、これに限るものではなく、パターンマッチング法やその他の演算方法を用いても良い。

ベクトルメモリ４は、各ブロック毎に既に検出された少なくとも１フレーム分の動きベクトルを蓄積するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含む記憶部であり、その入力端子が動きベクトル演算部３の出力端子に接続されていて、例えば８画素×８ラインに分割された各ブロックの位置に応じたアドレスに、動きベクトル演算部３にて該当ブロックで検出された動きベクトルを順次更新して蓄積するように構成されている。

上述の手順により、動きベクトル検出部１０５から各ブロック毎の動きベクトル検出結果が出力される。

そして、内挿フレーム生成部１０２では、各ブロック毎の動きベクトル検出結果および動きベクトル検出部１０５から出力されたテロップ領域情報を用いて、内挿画像を生成する。この時、画面の全領域において動きベクトルを用いた内挿画像生成を行っても良いし、また、テロップ領域では動きベクトルを用いた内挿画像生成を行い、その他の領域では動きベクトルを用いた内挿画像生成を行わず、例えば前フレーム或いは後フレームと同じ画像を繰り返し出力するようにしても良い。あるいは、テロップ領域では動きベクトルを用いた内挿画像生成を行い、それ以外の領域では動きベクトルを０に置き換えることで動き補償処理を実質無効化する処理を行ってもよい。すなわち、テロップが検出されていない時は、画面全体にわたって動き補償による内挿画像生成処理を行わず、テロップが検出されている時は、テロップ領域に対してのみ動き補償による内挿画像生成処理を行い、それ以外の領域に対しては動き補償を用いない内挿画像生成処理を行うようにしても良い。あるいは、テロップ領域では動きベクトルを用いた内挿画像生成を行い、その他の領域では前後のフレームの線形補間処理によって生成した画像を内挿する処理を行っても良い。尚、線形補間処理とは、前後フレームの画像信号から、フレーム内挿比αによる線形補間により内挿フレームを得るものである。

なお、図２１で説明したように、内挿フレーム生成処理では、検出された動きベクトル２０１をフレーム間の内挿ベクトル２０２に割り付け、この内挿ベクトルに基づいて内挿フレーム２０３を生成する。前記の動きベクトルを０に置き換える処理は、検出された動きベクトルそのものを０に置き換えても良いし、動きベクトルを内挿フレームに割付けた内挿ベクトルを０に置き換えても良い。以下、動きベクトルを０に置き換える処理の説明に関しても同様である。

前述のように、通常カメラによって撮影された被写体は、その動きが速い場合にはカメラの光蓄積時間に起因するボケ（カメラボケ）を含む。元々存在するカメラボケが多ければ、ＦＲＣによって動きボケを低減したとしてもその効果はわかりにくい。これに対して、テロップは後から画像合成されたものであるため、その動きが速くてもカメラボケなどは含まれず、ＦＲＣによる動きボケ改善効果が高い。よって、テロップ領域のみで動き補償処理を行うだけでも、視覚的には大きな改善効果を得ることができ、且つ、内挿画像生成処理をテロップ領域のみに限定することで、内挿画像を生成するための処理量を削減することができる。もちろん、画面全体にわたって動き補償処理を行えば、画面全体にわたって動きボケ改善効果が得られることは言うまでも無い。

また、前記のように、テロップ領域とそれ以外の領域で異なる処理を用いて内挿画像生成を行った場合、テロップ領域とそれ以外の領域との境界において内挿画像生成処理の違いが画像に現れて目立つ場合がある。これを軽減するために、テロップ領域とそれ以外の領域との境界部分に対してはローパスフィルタをかける等のフィルタ処理を行うことにより、動き補償処理の強度を連続的に変化させて境界が目立つのを抑制することが望ましい。

例えば、内挿画像のテロップ領域とそれ以外の領域の境界部分において、ローパスフィルタをかけることにより、境界を目立たなくすることができる。

あるいは、テロップ領域では動き補償による内挿画像生成を行い、それ以外の領域では動きベクトルを０に置き換えることで動き補償処理を実質無効化する処理を行った場合、テロップ領域とそれ以外の領域の境界部分およびその近傍の動きベクトル検出ブロックにおいて、検出された動きベクトルに対し、あるいは割付けられた内挿ベクトルに対しローパスフィルタをかけるという方法が考えられる。このようにすることで境界付近ではテロップ領域からそれ以外の領域にかけて動きベクトルが徐々に短くなり、動き補償の効果が徐々に少なくなるような内挿画像が生成されることになる。すなわち、動き補償処理の強度を連続的に変化させ、境界を目立たなくする処理と言える。

またあるいは、動き補償による内挿画像と、前後のフレームの線形補間による画像ないしは前後のフレームをそのまま複製した画像を生成し、それらを加重加算することで最終的な内挿画像を生成する処理を行う場合、テロップ領域とそれ以外の領域の境界部分において、加重加算の比率を連続的に変化させても良い。境界からテロップ領域へと遠ざかるにつれ動き補償による内挿画像の比率を大きくし、境界からテロップ以外の領域へと遠ざかるにつれ動き補償による内挿画像の比率を小さくする。このようにすることで、テロップ領域からそれ以外の領域にかけて、動き補償による内挿画像の寄与が徐々に小さくなるような内挿画像が生成されることになる。すなわち、動き補償処理の強度を連続的に変化させ、境界を目立たなくする処理と言える。

（２）テロップ情報検出方法の例
上述のとおり、テロップ情報検出部５では、ベクトルメモリ４に蓄積された前フレームの動きベクトル演算で求められた既検出動きベクトルを用いて、テロップ情報を検出する。このテロップ情報検出部５の具体的な実現方法の一例について、以下詳細に説明する。

テロップ検出に使える情報は、ベクトルメモリ４に蓄積された各動き検出ブロックの動きベクトルと、各動き検出ブロックのテクスチャの情報のみである。このうち、テロップの色は様々であるため、テクスチャの情報は補助的にしか使えない。このため、各動き検出ブロックの動きベクトルの情報から、テロップ領域情報とテロップベクトル情報とを検出することが必要となる。

また、映像の中には、テロップ以外にも例えば人物や自動車などの様々な動いているオブジェクトが存在する。カメラのパンによって画面全体が相対的に動いている場合もある。このため、例えば動きの速い領域がテロップ領域であるといったような単純な判定、すなわち動きベクトルの絶対量からテロップか否かを判定することは困難である。

このため、本実施形態においては、画面全体の平均ベクトルと各動き検出ブロックの動きベクトルの差分量、動きベクトルの平均偏差といった、統計的な情報を用いてテロップ領域とテロップ速度とを検出する。

図８は、画像をベクトル検出のためのブロックに分解した様子を示している。画像全体の大きさは、幅Ｗａピクセル、高さＨａピクセルである。この画像を、幅Ｗｂピクセル、高さＨｂピクセルの動き検出ブロックで分割すると、ブロック数は横ｍブロック、縦ｎブロックである。通常、画像全体のピクセル数は整数のブロック数で割り切れるようにする。すなわち、Ｗａ＝Ｗｂ×ｍ、Ｈａ＝Ｈｂ×ｎである。

例えば、ハイビジョン解像度（Ｗａ＝１９２０ピクセル、Ｈａ＝１０８０ピクセル）の画像で、ブロックの大きさが８×８ピクセルの場合、ｍ＝２４０、ｎ＝１３５となる。各動き検出ブロックをＢ（ｉ，ｊ）と呼び、各動き検出ブロックで検出された動きベクトルを（Ｖ＿ｘ（ｉ，ｊ），Ｖ＿ｙ（ｉ，ｊ））とする。

ここで、テロップは水平方向に動くものが多いため、本実施形態では、水平方向に動くテロップを検出対象とする。水平方向に動くテロップは、図９に示すように、画面上では横長の帯状の領域に位置することになる。そこで、図１０に示すように、画面を横長の帯状の領域Ｌ（１）からＬ（ｎ）のｎ個に分割し、それぞれの領域がテロップを含むか否かを判定する。

帯状領域Ｌ（ｊ）は、図８における動き検出ブロックＢ（１，ｊ）からＢ（ｍ，ｊ）を含む。Ｌ（ｊ）に含まれる動き検出ブロックの動きベクトルの平均ベクトルを、（Ｖａｖｅ＿ｘ（ｊ），Ｖａｖｅ＿ｙ（ｊ））とすると、

式４

式５

である。

また、全動き検出ブロックの動きベクトルの平均ベクトル（全体平均ベクトル）を、（Ｖａｖｅ＿ｘ，Ｖａｖｅ＿ｙ）とすると、

式６

式７

である。

さてここで、図１１に示すように、画面をテロップが含まれる領域とそれ以外の領域とに分けて考える。画面の高さを１とした場合のテロップ領域の高さをｋとする。ただし、テロップ領域が画面の半分を超えることは無いと仮定する。すなわち、

式８

と仮定する。また、テロップ以外の領域の高さは１−ｋとなる。なお、テロップ以外の領域がテロップ領域によって２つ以上に分割されているときは、それぞれの高さを加えるものとする。

次に、テロップ領域に含まれる動き検出ブロックの動きベクトルの平均を（Ｖｔ＿ｘ，Ｖｔ＿ｙ）、テロップ以外の領域（本願明細書では背景領域と呼ぶ）に含まれる動き検出ブロックの動きベクトルの平均を（Ｖｂ＿ｘ，Ｖｂ＿ｙ）とすると、テロップ領域の平均ベクトル、テロップ以外の領域の平均ベクトル、および画面全体の平均ベクトルとの間には、

式９

式１０

という関係が成り立つ。

実際は、テロップ領域内の全てのブロックがテロップの移動速度と同一の動きベクトルを持つとは限らない。例えばテロップの文字が途切れている部分のブロックは、テロップの移動速度以外の動きベクトルを持つ。しかしながら、本実施形態では、テロップ領域内のブロックは全てテロップの移動速度を持つとひとまず仮定し、以下の説明を進める。この仮定については後述する。

本実施形態においては、水平方向に動くテロップを検出対象としているため、以下では各平均ベクトルについても水平方向の値、すなわちベクトルのｘ値に注目して説明を進める。

式（９）におけるテロップ領域の平均ベクトルＶｔ＿ｘ、テロップ以外の領域の平均ベクトルＶｂ＿ｘ、および全体平均ベクトルＶａｖｅ＿ｘの関係を図示すると、図１２、図１３に示すようになる。

図１２は、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合を図示したものである。Ｖａｖｅ＿ｘはＶｂ＿ｘとＶｔ＿ｘとの間に位置し、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離と、Ｖａｖｅ＿ｘとＶｔ＿ｘとの間の距離との比は、ｋ：１−ｋになる。この関係は、Ｖａｖｅ＿ｘ、Ｖｂ＿ｘ、Ｖｔ＿ｘの値の大きさや正負によらず成り立つ。また、式（８）の条件より、

式１１

が常に成り立つ。よって、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｔ＿ｘとの間の距離より小さい。

図１３は、Ｖｔ＿ｘ＜Ｖｂ＿ｘの場合を図示したものである。Ｖａｖｅ＿ｘはＶｔ＿ｘとＶｂ＿ｘとの間に位置し、Ｖｔ＿ｘとＶａｖｅ＿ｘとの間の距離と、Ｖａｖｅ＿ｘとＶｂ＿ｘとの間の距離との比は、１−ｋ：ｋになる。この関係は、Ｖａｖｅ＿ｘ、Ｖｔ＿ｘ、Ｖｂ＿ｘの値の大きさや正負によらず成り立つ。また、式（８）の条件より式（１１）が常に成り立つ。よって、図１２の場合と同様、Ｖｔ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｂ＿ｘの間の距離より小さい。

すなわち、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合でもＶｔ＿ｘ＜Ｖｂ＿ｘの場合でも、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｔ＿ｘとの間の距離より小さい。つまり、

式１２

が常に成り立つ。

そこで、ある閾値Ｔを用意し、

式１３

となるように定める。この閾値Ｔを用いて、図１０における各帯状領域Ｌｊに含まれる動き検出ブロックの動きベクトルの平均ベクトルｘ値Ｖａｖｅ＿ｘ（ｊ）に関して、Ｖａｖｅ＿ｘ（ｊ）とＶａｖｅ＿ｘとの距離と閾値Ｔとを比較し、Ｔより大きければ、その帯状領域Ｌｊはテロップ領域に属する可能性の高い領域であると判定することができる。すなわち、ある帯状領域Ｌｊに関して、

式１４

が成り立つと、その帯状領域をテロップ領域と判定する。

ここで問題となるのは、閾値Ｔをどのように設定するかということである。以下でその方法について説明する。

閾値Ｔの設定条件は、式（１３）に示した通りである。この式（１３）から、閾値Ｔを決めるためには、｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜と｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜とに関する情報が必要であることがわかるが、Ｖｔ＿ｘとＶｂ＿ｘとを直接求めることはできない。なぜなら、どの領域がテロップ領域であるか、予めわからないからである。

ここで、｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜と｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜とはそれぞれ、全体平均ベクトルと背景領域の平均ベクトルとの差分、全体平均ベクトルとテロップ領域との平均ベクトルの差分であり、その値は動きベクトルのばらつき具合と関連が深い。そこで、データのばらつきの尺度の１つである平均偏差を用いて、閾値Ｔの値を決めることにする。

各帯状領域Ｌｊの平均ベクトルＶａｖｅ＿ｘ（ｊ）の平均偏差をＭとすると、Ｍは、

式１５

によって算出される。平均偏差Ｍに定数αをかけ、

式１６

と置き、以下のようにして適切な定数αを求める。

各帯状領域Ｌｊのうち、テロップ領域に属する領域とそのｘ方向平均ベクトルをＬｔ（ｌ）及びＶｔ＿ｘ（ｌ）（ｌ＝１，．．．，ｈ）、それ以外の帯状領域とそのｘ方向平均ベクトルをＬｂ（ｍ）及びＶｂ＿ｘ（ｍ）（ｍ＝１，．．．，（ｎ−ｈ））とする。ｈは、テロップ領域に属する帯状領域の数である。

まず、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合について考える。簡単のため、各帯状領域についてＶｔ＿ｘ（ｌ）＞Ｖａｖｅ＿ｘとＶｂ＿ｘ（ｍ）＜Ｖａｖｅ＿ｘが成り立っていると仮定する。この時、平均偏差ＭをＶｔ＿ｘ、Ｖｂ＿ｘを用いて表すと、

式１７

と表せる。式（１７）に式（９）を代入して整理すると、

式１８

が得られる。

式（１３）および式（１６）から、

式１９

である。

一方、Ｖｂ＿ｘ＜Ｖｔ＿ｘの条件および式（９）から、

式２０

式２１

が得られる。

式（１９）に式（１８）、式（２０）、式（２１）を代入して整理すると、

式２２

という条件式が得られる。

尚、詳細な記述は省くが、Ｖｔ＿ｘ＜Ｖｂ＿ｘの場合も条件式として式（２２）が得られる。

式（２２）によって、テロップ領域の高さｋを仮定することで、定数αの値を定めることができる。仮に、ｋ＝０．２とした場合、式（２２）に代入して、

式２３

という条件が得られる。定数αをこの範囲内に設定すれば、ｋ＝０．２程度のテロップ領域が存在する場合に、それを検出することができる。

また、仮にｋ＝０．４とした場合、同様に式（２２）に代入して、

式２４

という条件が得られる。すなわち、より幅の広いテロップ領域が存在する場合まで対応しようとすると、定数αの設定可能範囲は狭くなることがわかる。

以上のように、テロップ領域の高さｋの値を仮定することで、定数αの設定可能範囲を導くことができる。実際の映像を解析してテロップ領域の高さｋの傾向を求めてｋを定め、それによって求まった定数αの設定可能範囲に従って、定数αを定めればよい。

定数αを定め、また式（１５）より平均偏差Ｍを求めれば、式（１６）から閾値Ｔの値を決定することができる。ここで、平均偏差Ｍは、検出された動きベクトルから算出されることに注意が必要である。すなわち、検出された動きベクトルの状況によって、つまりは映像中のオブジェクトの動きによって、閾値Ｔの値は毎フレームごとに変わる。

閾値Ｔの値が求まれば、式（１４）に従って、各帯状領域Ｌｊの平均ベクトルのｘ値Ｖａｖｅ＿ｘ（ｊ）に対する判定処理を行い、該帯状領域がテロップ領域であるか否かを判定することができる。

さらに、各帯状領域Ｌｊに対して判定を行い、どの帯状領域がテロップ領域であるかが確定すれば、テロップ領域に含まれる動き検出ブロックの動きベクトルの平均（Ｖｔ＿ｘ，Ｖｔ＿ｙ）を算出することができる。これがすなわち、テロップベクトルである。

ここで、上述した説明の中で、テロップ領域内のブロックは全てテロップの速度を持つと仮定したことについて考察を加える。実際はテロップ領域内の全てのブロックがテロップの速度と同一の動きベクトルを持つとは限らない。テロップ領域中でテロップの文字を含まないブロックが多いほど、例えばテロップの文字が疎に存在する場合は、テロップ領域の平均ベクトルＶｔ＿ｘは、真のテロップベクトルよりも、全体平均ベクトルＶａｖｅ＿ｘに近い値となる。また同時に、テロップ以外の領域の平均ベクトルＶｂ＿ｘも、全体平均ベクトルＶａｖｅ＿ｘに近い値となる。すなわち、｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜も｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜も、値が小さくなる。

このことから、式（１３）あるいは式（１９）によって設定範囲が制限されている閾値Ｔの値も小さく設定する、すなわちαの値を小さく設定しなければ、テロップ領域を検出することができなくなる。しかし、閾値Ｔを小さくすると、テロップではない領域が誤検出される可能性も増加する。

一方、テロップ領域中でテロップの文字を含まないブロックが少ない場合、例えばテロップの文字が密に存在する場合は、ほぼ上記の検討どおりの動作が期待できる。

このように、実際に適用する際には、どの程度文字が疎なテロップまで検出対象とするか、どの程度の誤検出を許容するかを勘案し、定数αを決定する必要がある。

尚、上記実施形態においては、テロップを水平方向に動くものと仮定してテロップを検出したが、縦方向や斜め方向に動く場合も、同様の手法で検出することが可能である。その場合は、帯状領域の分割の仕方を、検出したい方向に合わせて設定すればよい。例えば縦方向に移動するテロップを検出したい場合は、帯状領域も縦長の領域に設定すれば良い。

次に、画面内に複数のテロップが存在する場合のテロップ情報検出方法について述べる。例えば図１４に示すように、画面を上下で２つのテロップ検出領域１、２に分割し、それぞれの領域において前述のテロップ検出方法を実行することで、テロップ領域情報Ａ、テロップベクトル情報Ｖａとテロップ領域情報Ｂ、テロップベクトル情報Ｖｂとの２つのテロップ情報を検出することができる。

あるいは、例えば図１５に示すように、水平方向のテロップ検出処理と垂直方向のテロップ検出処理を並列して実行して、水平方向のテロップ領域情報Ｃ、テロップベクトル情報Ｖｃと垂直方向のテロップ領域情報Ｄ、テロップベクトル情報Ｖｄとの２つのテロップ情報を検出するようにしてもよい。ここで、テロップ領域Ｃとテロップ領域Ｄとの共通領域は、前述のベクトル検出手段の説明における、処理中のブロックが複数のテロップ領域に該当する場合、に相当する。

本実施形態によれば、以上のような手順により、１つ以上のテロップ情報を検出することができる。検出されたテロップ情報を用いた処理は、既に上記で述べたとおりである。

なお、前述のテロップ情報検出手段は一例であり、その他の手段を用いてテロップ情報を検出する構成とした場合であっても、本発明における動きベクトル検出方法および内挿画像生成方法に適用することが可能であることは言うまでも無い。

ここで、テロップ情報検出部５への入力として、ベクトルメモリ４に蓄積された各動き検出ブロックの動きベクトルを用いていることに注意が必要である。ベクトルメモリ４に蓄積されている各動き検出ブロックの動きベクトルは、１フレーム前の動きベクトル検出結果である。すなわち、テロップ情報検出部５の処理は、１フレーム前の動きベクトル検出結果を用いて行われている。テロップは通常、複数のフレームに渡って同一の位置に存在するため、上記のように１フレーム前の動きベクトル検出結果を用いても大きな問題にはならない。

以上詳述したとおり、本実施形態に係る動きベクトル検出方法においては、テロップの特徴量としてテロップ領域とテロップベクトルとを検出し、その結果を初期変位ベクトル選択や動きベクトル演算に反映させて動き補償処理を制御することにより、テロップ領域の動きベクトル検出をより正しく行うことが可能となり、その結果、テロップ領域の画質改善を図ることができる。

（３）動きベクトル検出処理に誤りが生じやすい映像におけるテロップの処理
ところで、前記の「発明が解決しようとする課題」において記述したように、入力画像信号において、例えば２−３プルダウンされた映像、２−２プルダウンされた映像、シーンチェンジを含む映像、フラッシングを含む映像、スロー再生を含む映像では、映像におけるある連続する２枚のフレームにおいて、フレーム間の相関が低い場合が存在する。また、動きベクトル検出処理の検出限界を超えるような速い動きを含む映像では、正しい動きベクトルが検出できない。このような場合は、ベクトルメモリ４に蓄積された１フレーム前の動きベクトル検出結果を参照すると、逆にベクトル誤検出の原因となる。このため、例えば特許文献８では、シーンチェンジ等により連続するフレーム間の相関が途切れた場合は、動きベクトルを０ベクトルに固定して、誤った動きベクトルの検出による補間画像の生成を行わないようにして検出ミスに基づく画質劣化を改善する方法が述べられている。

しかしながら、シーンチェンジの存在する画像にスクロールするテロップが重畳されている入力画像信号の場合、前記のような処理を行うと、テロップ部分の動きボケが解消されなくなってしまう。従って、テロップ領域として検出された領域については、入力画像信号にシーンチェンジが発生した場合であっても、その他の領域とは異なる動き補償処理を行い、テロップが滑らかにスクロールする内挿画像を得られるようにするのが望ましい。

まず図１６を用いて、映像におけるある連続する２枚のフレームにおいて、フレーム間の相関が低い場合が存在する場合の処理の例について説明する。

図１６は、図１で示した液晶表示装置に、動きベクトル非連続性検出部１０６を追加し、新たに動きベクトル非連続性検出部１０６の出力を用いるようにした内挿フレーム生成部１０７を備えるものである。

動きベクトル非連続性検出部１０６では、動きベクトル検出部１０５から出力された動きベクトルを入力とする。各動き検出ブロックごとの動きベクトルの長さを算出し、それを１フレーム分全て加算する。

もし入力画像が２−２プルダウンされた映像の場合、入力映像は連続する２枚ずつが同一の映像である。また、もし入力画像が２−３プルダウンされた映像の場合は、入力映像は連続する２枚ずつあるいは３枚ずつが同一の映像である。さらには、いわゆるスロー再生では、時々同一の画像を出力することによって元々の速度より遅く映像を再生する。よって、動きベクトル検出に用いる２枚のフレームが同一画像の場合は、検出された動きベクトルの長さの加算値はほぼ０となり、動きベクトル検出に用いる２枚のフレームが異なる画像の場合は、映像に動く被写体が存在するならば検出された動きベクトルの長さの加算値はある程度の大きさとなる。すなわち、上記のような２−２プルダウンされた映像、２−３プルダウンされた映像、スロー再生された映像においては、動きベクトルの連続性が無いフレームが存在する。

これに対し、通常の映像では毎フレームごとに画像が異なり、さらに映像中の被写体の動きにも連続性がある。よって、映像に動く被写体が存在するならば検出された動きベクトルの長さの加算値はある程度の大きさとなり、またその加算値はフレーム間で大きくは変化しない。すなわち、通常の映像においては、動きベクトルの連続性がある。

そこで、動きベクトル非連続性検出部１０６において、あるフレームにおける動きベクトルの長さの加算値とその次のフレームの加算値を減算して絶対値を取り、定められたある閾値より大きいか小さいかを判定する。大きい場合は動きベクトルの連続性が無いフレームであると判定できる。つまり、２−２プルダウンされた映像、２−３プルダウンされた映像、スロー再生された映像のいずれかであると判定できる。このように判定した場合、動きベクトル非連続情報を内挿フレーム生成部１０７に出力する。また、２−２プルダウンされた映像では２フレームに一度動きベクトルが非連続と検出され、２−３プルダウンされた映像では２フレームないし３フレームに一度動きベクトルが非連続と検出され、スロー再生された映像では数フレーム（スロー再生の速度によって異なる）に一度動きベクトルが非連続と検出される。よって、一旦動きベクトルが非連続と検出されれば、その後所定の数フレームは動きベクトル非連続情報を内挿フレーム生成部１０７に出力し続けるようにすることで、２−２プルダウンされた映像、２−３プルダウンされた映像、スロー再生された映像のいずれの種類の映像でも検出が可能である。

なお、上記の動きベクトル非連続性の検出手段を用いれば、シーンチェンジで急に異なる映像に変わった場合の動きベクトル非連続性の検出や、フラッシュの光に被写体が照らされた場合のように急に大きく輝度の異なるフレームが存在して正しくベクトル検出が行えず動きベクトルが非連続となる場合の検出も行うことが可能である。

また、この図１６の例では、動きベクトル検出部１０５で検出した動きベクトルを用いてプルダウン映像やスロー再生映像を検出する場合を説明したが、それ以外の方法でプルダウン映像やスロー再生映像を検出しても良い。例えば入力画像信号がＭＰＥＧ符号化されている場合は、該ＭＰＥＧ符号化信号に含まれている動きベクトルを用いて、同様の検出を行うことも可能である。

あるいは、動きベクトルを用いない例としては、例えば入力画像信号から、連続する２枚のフレームの画素ごとに輝度差分値の絶対値を取り、それを１フレーム分加算し、その値が所定の閾値より小さければ２枚のフレームは同一の画像であり、大きければ異なる画像と判別することもできる。２−２プルダウンされた映像、２−３プルダウンされた映像、スロー再生された映像では、連続する２枚のフレームが同一の画像である場合が存在するためである。

さらには、入力画像信号そのものから判定するのではなく、その他の情報から、入力画像信号がプルダウン映像であることを判定する方法も考えられる。例えば、入力画像信号に付加されたＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）によって入力画像信号の映像ジャンルが「映画」であると分かった場合に、プルダウン映像であると判定することも可能である。あるいは、テレビジョン受像機の画調モードが「映画」に設定された場合、この状態のテレビジョン受像機によって視聴されている映像は映画であり、すなわちプルダウン映像であるという判定を行うことも可能である。なお、ここで画調モードとは、テレビジョン受像機等の映像機器にあらかじめプリセットされた、あるいはユーザーによって調整され保存された、各種映像設定（画質調整）の推奨値のセットのことである。

内挿フレーム生成部１０７は、動きベクトル検出部１０５から動きベクトルとテロップ情報を受け、動きベクトル非連続性検出部１０６からは動きベクトル非連続情報を受ける。動きベクトル非連続性検出部１０６から動きベクトル非連続情報が出力された場合は、テロップ以外の領域においては動き補償による内挿画像生成処理を行わず、それ以外の内挿画像生成処理を行う。それ以外の内挿画像生成処理とは、例えば、動きベクトルを全て０に置き換えることで実質的に動き補償による内挿画像生成を無効化した処理、前後フレームの線形補間による内挿画像生成、前後フレームのいずれかをそのまま用いて内挿画像とする処理などである。またテロップ領域においては、動きベクトル非連続情報に係わらず動き補償による内挿画像生成処理を行う。動きベクトル非連続性検出部１０６から動きベクトル非連続情報が出力されなかった場合は、画面全体にわたって動き補償による内挿画像生成処理を行う。

なお、２−２プルダウンされた映像、２−３プルダウンされた映像は、通常一定時間の間その映像が続けて再生され、数フレームの間に異なった種類の映像に変わるということは少ない。よって、動きベクトル非連続性検出部１０６によって一旦入力画像が動きの非連続な映像であると判定されると、この判定結果が少なくとも数フレーム持続する可能性が高い。従って、この判定処理に対し、前フレーム（過去）の判定結果を参照することで、判定結果の精度を向上させることができる。また、一旦入力画像が動きの非連続な映像であると判定されれば、その後所定の数フレームはこの判定結果を持続するようにしても良いし、判定のための所定の閾値にヒステリシスを持たせても良い。

このようにテロップ領域のみに対して動き補償による内挿画像生成を行った場合、テロップ領域とそれ以外の領域との境界において動き補償処理の有無が明らかに画像に現れて目立つ場合がある。これを軽減するために、テロップ領域とそれ以外の領域との境界部分に対してはローパスフィルタをかける等のフィルタ処理を行うことにより、動き補償処理の強度を連続的に変化させて境界が目立つのを抑制することが望ましい。その方法については既に述べたため、ここでは省略する。

上記のような処理を行うことにより、動きベクトル検出が正常に動作しにくいような映像、例えば２−３プルダウンされた映像、２−２プルダウンされた映像、スロー再生された映像、シーンチェンジを含む映像、フラッシングを含む映像に、スクロールするテロップが重畳されている場合に、テロップの部分は動き補償処理による内挿処理を行うことで動きボケを低減することと、それ以外の領域では動き補償処理以外の方法で内挿処理を行うことで動きベクトルの誤検出による画質劣化を防止することの両立を実現することができる。

次に図１７を用いて、動きベクトル検出処理の検出限界を超えるような速い動きを含む映像に対する処理の例について説明する。

図１７は、図１で示した液晶表示装置に、動きベクトル判定部１０８を追加し、新たに動きベクトル判定部１０８の出力を用いるようにした内挿フレーム生成部１０７を備えるものである。

動きベクトル判定部１０８は、動きベクトル検出部１０５から出力される動きベクトルを入力とし、入力画像信号のフレーム間の動き量が所定値より大きいかどうかをフレームごとに判定する。

動きベクトル判定部１０８は、検出された動きベクトルが所定の範囲を超えた動き検出ブロックにフラグ情報を付加し、１フレームごとにフラグ情報の付加されたブロックの総数をカウントする。カウント値を所定の閾値と比較し、カウント値が閾値より大きい場合は、動き量が大きいと判定する。カウント値が閾値より小さい場合は、動き量が小さいと判定する。この動き量判定情報を、内挿フレーム生成部１０７に送る。ここで、動き量が大きいと判定された場合は、画面中における動きの速い被写体の領域が大きい場合であり、従って動きベクトル検出処理の検出限界を超えるような速い動きを含む可能性も高いと考えられる。

内挿フレーム生成部１０７は、動きベクトル検出部１０５から動きベクトルとテロップ情報を受け、動きベクトル判定部１０８からは動き量判定情報を受ける。動きベクトル判定部１０８から動き量が大きいという動き量判定情報を受けた場合には、テロップ以外の領域においては動き補償による内挿画像生成処理を行わず、それ以外の内挿画像生成処理を行う。

それ以外の内挿画像生成処理とは、例えば、動きベクトルを全て０に置き換えることで実質的に動き補償による内挿画像生成を無効化した処理、前後フレームの線形補間による内挿画像生成、前後フレームのいずれかをそのまま用いて内挿画像とする処理などである。またテロップ領域においては、動き量判定情報に係わらず動き補償による内挿画像生成処理を行う。動きベクトル判定部１０８から動き量が小さいという動き量判定情報を受けた場合は、画面全体にわたって動き補償による内挿画像生成処理を行う。

なお、一般的な動画映像には時間方向に動きの連続性が存在するため、動きベクトル判定部１０８によって一旦入力画像が動きの速い映像であると判定されると、この判定結果が数フレーム持続する可能性が高い。従って、この判定処理に対し、前フレーム（過去）の判定結果を参照することで、判定結果の精度を向上させることができる。また、一旦入力画像が動きの速い映像である判定されれば、その後所定の数フレームはこの判定結果を持続するようにしても良いし、判定のための所定の閾値にヒステリシスを持たせても良い。

また、この図１７の例では、動きベクトル検出部１０５で検出した動きベクトルを用いて動きの速い映像であると判定する方法について説明したが、それ以外の方法で判定しても良い。例えば入力画像信号がＭＰＥＧ符号化されている場合は、該ＭＰＥＧ符号化信号に含まれている動きベクトルを用いて、同様の検出を行うことも可能である。

このようにテロップ領域のみに対して動き補償による内挿画像生成を行った場合、テロップ領域とそれ以外の領域との境界において動き補償処理の有無が明らかに画像に現れて目立つ場合がある。これを軽減するために、テロップ領域とそれ以外の領域との境界部分に対してはローパスフィルタをかける等のフィルタ処理を行うことにより、動き補償処理の強度を連続的に変化させて境界が目立つのを抑制することが望ましい。その方法については既に述べたため、ここでは省略する。

上記のような処理を行うことにより、ベクトル探索範囲内において動きベクトル検出が正常に動作しにくいような映像、例えば非常に動きの速い映像に、スクロールするテロップが重畳されている場合に、テロップの部分は動き補償処理による内挿処理を行うことで動きボケを低減することと、それ以外の領域では動き補償処理以外の方法で内挿処理を行うことで動きベクトルの誤検出による画質劣化を防止することの両立を実現することができる。

次に図１８を用いて、動きベクトル検出処理の検出限界を超えるような速い動きを含む映像に対する処理の別の例について説明する。

図１８は、図１で示した液晶表示装置に、動きベクトル信頼性判定部１０９を追加し、新たに動きベクトル信頼性判定部１０９の出力を用いるようにした内挿フレーム生成部１０７を備えるものである。

動きベクトル信頼性判定部１０９では、動きベクトル検出部１０５から出力される動きベクトルおよびそのＤＦＤ値を入力とし、検出された動きベクトルが信頼性のあるものかを判定する。

もし入力画像に、動きベクトル検出部１０５における予め定められたベクトル探索範囲を超えるような非常に動きの速い被写体がある場合には、動きベクトル検出部１０５は、正しい動きベクトルを検出することが出来ず、仮に何らかの動きベクトルが検出されてもそれは正しいベクトルではない。例えば勾配法を用いた場合、上記のような予め定められたベクトル探索範囲を超えるような非常に動きの速い被写体の部分の動き検出ブロックにおいても、勾配法の計算によって何らかの動きベクトルが算出される。しかし算出された動きベクトルに関してＤＦＤを計算すると、その値が大きい、すなわち算出された動きベクトルは正しくないことがわかる。

そこで、動きベクトル検出部１０５は、動きベクトルのほかに、算出された各動きベクトルに関してＤＦＤを計算し、その値を動きベクトルと共に動きベクトル信頼性判定部１０９に出力する。動きベクトル信頼性判定部１０９では、各ＤＦＤ値が所定の閾値を超えるようなベクトルの数を、１フレーム分画面全体にわたってカウントする。このカウント値が別の所定の閾値以上であれば、検出された動きベクトルの信頼性が低い映像であると判定し、動きベクトル信頼性低下情報を出力する。このような処理によって、入力画像が非常に動きの速い映像であってベクトル探索範囲内に最適な動きベクトルが検出できない場合、それを検出することが可能である。

なお、動きベクトル検出方法として、ブロックマッチングや位相相関法のような他の手段を用いた場合も、求まった動きベクトルの正しさは同様にＤＦＤによって判別可能である。

内挿フレーム生成部１０７では、動きベクトル検出部１０５から動きベクトルとテロップ情報を受け、動きベクトル信頼性判定部１０９からは、動きベクトル信頼性低下情報を受ける。動きベクトル信頼性判定部１０９から、入力画像が非常に動きの速い映像であって、ベクトル探索範囲内に最適な動きベクトルが検出できなかったことを示す、動きベクトル信頼性低下情報が出力された場合は、テロップ以外の領域においては動き補償による内挿画像生成処理を行わず、それ以外の内挿画像生成処理を行う。

それ以外の内挿画像生成処理とは、例えば、動きベクトルを全て０に置き換えることで実質的に動き補償による内挿画像生成を無効化した処理、前後フレームの線形補間による内挿画像生成、前後フレームのいずれかをそのまま用いて内挿画像とする処理などである。またテロップ領域においては、動きベクトル信頼性情報に係わらず動き補償による内挿画像生成処理を行う。動きベクトル信頼性判定部１０９から動きベクトル信頼性低下情報が出力されなかった場合は、画面全体にわたって動き補償による内挿画像生成処理を行う。

なお、一般的な動画映像には時間方向に動きの連続性が存在するため、動きベクトル信頼性判定部１０９によって一旦入力画像が非常に動きの速い映像であると判定されると、この判定結果が数フレーム持続する可能性が高い。従って、この判定処理に対し、前フレーム（過去）の判定結果を参照することで、判定結果の精度を向上させることができる。また、一旦入力画像が非常に動きの速い映像である判定されれば、その後所定の数フレームはこの判定結果を持続するようにしても良いし、判定のための所定の閾値にヒステリシスを持たせても良い。

また、この図１８の例では、ＤＦＤの値が大きい場合に動きベクトルが正しく検出されておらず、入力画像が非常に動きの速い映像であると判定していたが、実際はその他にも、ＤＦＤの値が大きい場合がある。例えばシーンチェンジを含む映像、フラッシングを含む映像においても、シーンチェンジやフラッシングの瞬間は正しく動きベクトル検出が出来ず、ＤＦＤの値が大きくなる。本例はこのような場合も検出可能である。

このようにテロップ領域のみに対して動き補償による内挿画像生成を行った場合、テロップ領域とそれ以外の領域との境界において動き補償処理の有無が明らかに画像に現れて目立つ場合がある。これを軽減するために、テロップ領域とそれ以外の領域との境界部分に対してはローパスフィルタをかける等のフィルタ処理を行うことにより、動き補償処理の強度を連続的に変化させて境界が目立つのを抑制することが望ましい。その方法については既に述べたため、ここでは省略する。

上記のような処理を行うことにより、ベクトル探索範囲内において動きベクトル検出が正常に動作しにくいような映像、例えば非常に動きの速い映像に、スクロールするテロップが重畳されている場合に、テロップの部分は動き補償処理による内挿処理を行うことで動きボケを低減することと、それ以外の領域では動き補償処理以外の方法で内挿処理を行うことで動きベクトルの誤検出による画質劣化を防止することの両立を実現することができる。

なお、図１７及び図１８の例では、動きベクトル検出における情報を用いて、入力画像が非常に動きの速い映像であるかを検出する例を説明したが、それ以外の方法で入力画像が非常に動きの速い映像であるかを検出しても良い。例えば入力画像のある連続する２フレーム間において、相関があるかどうかを判定するために位相相関法などを用い、２フレーム間の相関が低い場合には入力画像が非常に動きの速い映像であると判定しても良いし、２フレーム間の相関の位置ずれが大きい場合には入力画像が非常に動きの速い映像であると判定しても良い。

本発明の画像表示装置は、表示パネルとして液晶パネルを用いた液晶ディスプレイばかりでなく、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用することが可能である。また、入力画像信号としては、テレビジョン放送信号に限らず、外部メディアから再生された画像信号など種々の画像信号であってもよいことは言うまでもない。

また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。

本発明の一実施形態に係る液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。 本発明の一実施形態に係る画像表示装置が備えるフレームレート変換部における動きベクトル検出部の構成例を示す機能ブロック図である。 図２における初期変位ベクトル選択部の構成例を示す機能ブロック図である。 図２における初期変位ベクトル選択部の別の構成例を示す機能ブロック図である。 図２における初期変位ベクトル選択部のさらに別の構成例を示す機能ブロック図である。 ２回の反復勾配法による動きベクトルＶの算出方法を説明するためのベクトル図である。 １フレーム前の前フレームと現フレームとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。 画像を複数のブロックに分解した様子を示す説明図である。 画面上で水平方向に移動するテロップを示す説明図である。 画面を複数の帯状領域に分割した様子を示す説明図である。 画面をテロップが含まれる領域とそれ以外の領域とに分解した様子を示す説明図である。 テロップの領域の平均ベクトル、テロップ以外の領域の平均ベクトル、画面全体の平均ベクトルとの関係を示す説明図である。 テロップの領域の平均ベクトル、テロップ以外の領域の平均ベクトル、画面全体の平均ベクトルとの関係を示す説明図である。 ２つのテロップ情報を検出する場合の一例を示す説明図である。 ２つのテロップ情報を検出する場合の別の例を示す説明図である。 動きベクトルの非連続性を検出しそれを用いて内挿画像生成処理を制御する方法の例の説明図である。 動きベクトルの長さが所定値より大きいかを判定しそれを用いて内挿画像生成処理を制御する方法の例の説明図である。 動きベクトルの信頼性を検出しそれを用いて内挿画像生成処理を制御する方法の別の例の説明図である。 従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。 図１９に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。 動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。

符号の説明

１ フレーム遅延部
２ 初期変位ベクトル選択部
２ａ 座標変換部
２ｂ 減算部
２ｃ 絶対値累計部
２ｄ 選択部
２ｅ テロップベクトル追加判定部
３ 動きベクトル演算部
４ ベクトルメモリ
５ テロップ情報検出部
１００ フレームレート変換（ＦＲＣ）部
１０１ 動きベクトル検出部
１０２ 内挿フレーム生成部
１０３ 液晶表示パネル
１０４ 電極駆動部
１０５ 動きベクトル検出部
１０６ 動きベクトル非連続性検出部
１０７ 内挿フレーム生成部
１０８ 動きベクトル判定部
１０９ 動きベクトル信頼性判定部
２０１ 動きベクトル
２０２ 内挿ベクトル
２０３ 内挿フレーム

Claims (14)

1. 入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、
   前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出手段と、
   前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定手段とを備え、
   前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、
   前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする画像表示装置。
2. 前記請求項１に記載の画像表示装置において、
   前記判定手段は、画面を複数の動き検出ブロックに分割して、各動き検出ブロックごとに検出された動きベクトルの長さを算出し、それを１フレーム分あるいは１フィールド分全て加算し、あるフレームあるいはフィールドにおける動きベクトルの長さの加算値とその次のフレームあるいはフィールドの加算値を減算して絶対値を取り、該絶対値が所定の閾値より小さい場合は相関量が大きく、該絶対値が所定の閾値より大きい場合は相関量が小さいとして判定することを特徴とする画像表示装置。
3. 前記請求項１に記載の画像表示装置において、
   前記判定手段は、連続する２枚のフレームあるいはフィールドの画素ごとに輝度差分値の絶対値を算出し、それを１フレーム分あるいは１フィールド分加算し、該加算値が所定の閾値より小さい場合は相関量が大きく、該加算値が所定の閾値より大きい場合は相関量が小さいとして判定することを特徴とする画像表示装置。
4. 前記請求項１乃至３のいずれかに記載の画像表示装置において、
   前記検出手段は、画面を複数の領域に分割して、各領域毎の平均ベクトルの平均偏差を求め、これに所定の係数を乗算した値を閾値とし、各領域毎の平均ベクトルと画面全体の平均ベクトルとの間の距離が、前記閾値より大きい領域をテロップの領域として検出することを特徴とする画像表示装置。
5. 前記請求項１乃至４のいずれかに記載の画像表示装置において、
   前記テロップ以外の領域に対して、前記動きベクトルを０ベクトルに置き換えることにより前記動き補償処理を無効化して内挿画像信号を生成することを特徴とする画像表示装置。
6. 前記請求項１乃至４のいずれかに記載の画像表示装置において、
   前記テロップ以外の領域に対して、前後のフレームあるいはフィールドのいずれかをそのまま複製することにより内挿画像信号を生成することを特徴とする画像表示装置。
7. 前記請求項１乃至４のいずれかに記載の画像表示装置において、
   前記テロップ以外の領域に対して、前後のフレームあるいはフィールドの線形補間によって内挿画像信号を生成することを特徴とする画像表示装置。
8. 前記請求項１乃至７のいずれかに記載の画像表示装置において、
   前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分の画像に連続性を持たせることを特徴とする画像表示装置。
9. 前記請求項８に記載の画像表示装置において、
   前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分において、前記内挿される画像信号に対してローパスフィルタをかけることを特徴とする画像表示装置。
10. 前記請求項８に記載の画像表示装置において、
    前記検出された１つ以上のテロップの領域とそれ以外の領域との境界部分において、前記動きベクトルに対してローパスフィルタをかけることを特徴とする画像表示装置。
11. 前記請求項８に記載の画像表示装置において、
    前記レート変換手段は、前記動き補償処理を施した画像信号と前記動き補償処理を施さない画像信号とを加重加算することで内挿される画像信号を生成するものであって、
    テロップの領域とそれ以外の領域との境界からテロップの領域へと遠ざかるにつれ前記動き補償を施した画像信号の加重加算比率を大きくし、テロップの領域とそれ以外の領域との境界からテロップ以外の領域へと遠ざかるにつれ前記動き補償を施した画像信号の加重加算比率を小さくすることを特徴とする画像表示装置。
12. 入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出ステップと、
    前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定ステップとを備え、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、
    前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする画像表示方法。
13. 入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出手段と、
    前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定手段とを備え、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、
    前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする画像処理装置。
14. 入力画像信号のフレーム間あるいはフィールド間に、動きベクトルを用いて動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量を検出する検出ステップと、
    前記入力画像信号の連続するフレーム間あるいはフィールド間の相関量が所定の量より大きいかどうかを判定する判定ステップとを備え、
    前記入力画像信号に含まれる１つ以上のテロップの特徴量は、少なくとも所定方向に移動する１つ以上のテロップの領域の情報であり、
    前記フレーム間あるいはフィールド間の相関量が所定の量より低い場合、前記テロップの領域では前記動き補償処理を施した画像信号を内挿し、それ以外の領域では前記動き補償処理を無効化する、あるいは前記動き補償処理を施さない画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする画像処理方法。