JP2012095048A - 画像処理装置、画像処理方法、画像表示装置、及び画像表示方法 - Google Patents

Abstract

【課題】高品質な表示画像を実現することができる画像処理装置、画像処理方法、画像表示装置、及び画像表示方法を提供する。
【解決手段】画像処理装置１００は、動きベクトル検出部２と、動きベクトル変換部３と、補間データＩＦが挿入された画像データＤＯを出力する補間フレーム生成部４を有し、動きベクトル検出部２は、第２の遅延フレームのデータ及び現フレームのデータから生成された第１のテスト補間データと、第２の遅延フレームのデータから生成された第２のテスト補間データと、現フレームのデータから生成された第３のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部６と、複数のテスト補間データの複数の評価データを出力する補間データ評価部７と、複数の評価データに基づいて第１及び第２の動きベクトルＭＶ１，ＭＶ２を生成する動きベクトル決定部８とを有する。
【選択図】図１

Description

本発明は、画像のフレーム間に補間フレームを挿入するフレーム補間処理を実行する画像処理装置及び画像処理方法、並びに、このようなフレーム補間処理が施された画像データに基づく画像を表示する画像表示装置及び画像表示方法に関する。

液晶ディスプレイなどのようなホールド型ディスプレイにおける表示画像中の物体の移動は１フレーム単位の不連続な移動であるが、移動する物体に対する人間の目の追従（移動）は連続的な移動である。このため、ホールド型ディスプレイにおいては、表示画像中の移動する物体がぼやけて見えたり、物体の動きがギクシャクして（ぎこちない動きに）見える現象であるジャダー（Ｊｕｄｄｅｒ）が発生したりしやすい。

この対策として、画像のフレーム間に補間フレームを挿入してフレーム数を増やし、表示画像中の物体の移動をスムーズにする方法がある。補間フレームの生成方法としては、補間フレームに対して１フレーム前のフレームと同じ画像で補間フレームを生成する零時ホールド法や、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像から補間フレームを生成する平均値補間法などが知られている。しかし、零時ホールド法では、同じフレームが繰り返し表示されるので、画像のぼやけ及びジャダーの軽減が不十分である。また、平均値補間法では、表示画像中の移動する物体のエッジ部分が２重像に見えることがあり、画像のぼやけの軽減が不十分である。

また、映画などのフィルム映像から変換されたテレビ信号は、２フレーム又は３フレームを同じフレームから作ることによって、フィルム映像よりもフレーム数を増やした画像信号となっている。この方法では、同じフレームが繰り返し表示されるので、フィルム映像から変換されたテレビ信号に基づいて表示された画像には、ぼやけ及びジャダーが発生しやすい。同様に、コンピュータ処理された映像から変換されたテレビ信号も、２フレームを同じフレームから作ることによってフレーム数を増やした画像信号である。この方法でも、同じフレームが繰り返し表示されるので、フィルム映像から変換されたテレビ信号に基づいて表示された画像には、ぼやけ及びジャダーが発生しやすい。

また、より高度な補間フレームの生成方法として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との組を画素ペアとし、高い相関がある画素ペアを求め、このような画素ペアを用いて補間画素を生成し、この補間画素からなる補間フレームを生成する方法が提案されている（例えば、特許文献１参照）。しかし、この方法では、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との間の相関が最も大きい画素から画素単位で相関検出を行うため、相関検出が行われる２つのフレームの画像の内容が全く異なるにも拘らず（例えば、補間フレームの挿入位置の前後で、画面に物体が突然現われたり又は消えたりする場合であっても）、画素間の相関が大きい画素が検出され、その結果、適切ではない補間フレームの生成によって、表示画像に乱れが発生することがある。

特開２００６−１２９１８１号公報（段落００２５、図３）

以上に説明したように、上記した従来の画像処理方法では、画像のぼやけ及びジャダーを十分に軽減することができない、又は、補間フレームに乱れが発生することがあるので、高品質な表示画像を実現できないという問題がある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、画像のぼやけ及びジャダーの少ない高品質な表示画像を実現することができる画像処理装置、画像処理方法、画像表示装置、及び画像表示方法を提供することにある。

本発明の一態様に係る画像処理装置は、画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理装置であって、前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、前記動きベクトル検出部は、前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部と、前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力する補間データ評価部と、前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成する動きベクトル決定部とを有することを特徴としている。

本発明の他の態様に係る画像表示装置は、上述した画像処理装置と、前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部とを有することを特徴としている。

本発明の他の態様に係る画像処理方法は、画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理方法であって、前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出するステップと、前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換するステップと、前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力するステップとを有し、前記第１の動きベクトル及び前記第２の動きベクトルを算出するステップは、前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するステップと、前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力するステップと、前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成するステップとを有することを特徴としている。

本発明の他の態様に係る画像表示装置は、上述した画像処理方法によって前記補間データが挿入された画像データを出力するステップと、前記補間データが挿入された画像データを出力するステップによって出力された前記画像データに基づく画像を表示するステップとを有することを特徴としている。

本発明の一態様に係る画像処理装置、画像処理方法、画像表示装置、及び画像表示方法によれば、適切な補間フレームを挿入することによって、画像のぼやけ及びジャダーの少ない高品質な表示画像を実現することができるという効果が得られる。

本発明の実施の形態に係る画像処理装置及び画像表示装置の構成の一例を概略的に示すブロック図である。 実施の形態に係る画像処理装置においてフレームから切り出されるブロックを示す図である。 実施の形態に係る画像処理装置における探索範囲を示す図である。 実施の形態に係る画像処理装置においてフレームから切り出されるブロックの位置を示す図である。 図１の動きベクトル検出部内のテスト補間部、補間データ評価部、及び動きベクトル決定部の構成の一例を概略的に示すブロック図である。 図１の動きベクトル検出部の動作を示す説明図である。 （ａ）及び（ｂ）は、図１の動きベクトル変換部及び補間フレーム生成部の動作を示す説明図である。 図１の動きベクトル検出部に入力される第２の遅延フレームのデータ画像データ、第１の遅延フレームのデータ、及び現フレームのデータの対応関係の一例を示す説明図である。 （ａ）〜（ｄ）は、図１の動きベクトル検出部の動作の一例を示す説明図である。 （ａ）〜（ｄ）は、図９（ｄ）に続く、図１の動きベクトル検出部の動作の一例を示す説明図である。 （ａ）及び（ｂ）は、図１の動きベクトル変換部の動作の一例を示す説明図である。 図１の補間フレーム生成部の動作の一例を示す説明図である。 本発明の実施の形態に係る画像処理方法及び画像表示方法を示すフローチャートである。

《１》画像処理装置１００及び画像表示装置１０１の概要
図１は、本発明の実施の形態に係る画像処理装置１００及び画像表示装置１０１の構成の一例を概略的に示すブロック図である。画像処理装置１００は、本実施の形態に係る画像処理方法を実施することができる装置であり、画像表示装置１０１は、本実施の形態に係る画像表示方法を実施することができる装置である。画像処理装置１００は、画像の現フレームＦ０のデータと現フレームＦ０の１フレーム前の第１の遅延フレームＦ１のデータとの間に挿入される補間フレームＩＦを生成するための処理（後述する図１３のステップＳＴ１〜ＳＴ３の処理に相当する。）を行い、補間フレームＩＦのデータを含む画像データＤＯを出力する。また、画像表示装置１０１は、画像処理装置１００から出力された画像データＤＯに基づく画像を表示する。

図１に示されるように、画像処理装置１００は、フレームメモリ１と、動きベクトル検出部２と、動きベクトル変換部３と、補間フレーム生成部４とを備えている。また、画像表示装置１０１は、画像処理装置１００と、画像表示部５とを備えている。画像処理装置１００は、例えば、放送受信装置、画像記録再生装置、又はパーソナルコンピュータ（ＰＣ）などの一部を構成することができる。また、画像表示装置１０１は、例えば、テレビ、映像プロジェクター、又はＰＣなどの一部を構成することができる。

画像処理装置１００には、画像データが順次入力される。画像データが入力されたときにおける、当該画像データを、現フレームＦ０のデータという。現フレームＦ０のデータは、フレームメモリ１、動きベクトル検出部２、動きベクトル変換部３、及び補間フレーム生成部４に入力される。

フレームメモリ１は、入力された画像データを２フレーム分保存し、入力された現フレームＦ０のデータに対して１フレーム分遅延したフレームである第１の遅延フレームＦ１のデータと、入力された現フレームＦ０のデータに対して２フレーム分遅延したフレームである第２の遅延フレームＦ２のデータを出力する。また、本出願では、現フレームのデータ、第１の遅延フレームのデータ、及び第２の遅延フレームのデータをも、符合Ｆ０，Ｆ１，及びＦ２を用いて、それぞれ表記する。

フレームメモリ１から出力された第１の遅延フレームＦ１のデータは、動きベクトル検出部２、動きベクトル変換部３、及び補間フレーム生成部４に入力される。また、フレームメモリ１から出力された第２の遅延フレームＦ２のデータは、動きベクトル検出部２に入力される。

動きベクトル検出部２は、現フレームＦ０のデータと、第１の遅延フレームＦ１のデータと、第２の遅延フレームＦ２のデータとを参照して、第１の遅延フレームＦ１上の各ブロック（フレームの一部を成し、複数の画素で構成される。）について、第１の遅延フレームＦ１から現フレームＦ０への第１の動きベクトルＭＶ１（即ち、第１の遅延フレームＦ１から現フレームＦ０への画像の動きの方向と大きさを示す第１の動きベクトルＭＶ１）及び第１の遅延フレームＦ１から第２の遅延フレームＦ２への第２の動きベクトルＭＶ２（即ち、第１の遅延フレームＦ１から第２の遅延フレームＦ２への画像の動きの方向と大きさを示す第２の動きベクトルＭＶ２）を算出して、第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を動きベクトル変換部３に出力する。

動きベクトル変換部３は、第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３（即ち、第１の遅延フレームＦ１から補間フレームＩＦへの画像の動きの方向と大きさを示す第３の動きベクトルＭＶ３）及び現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４（即ち、現フレームＦ０から補間フレームＩＦへの画像の動きの方向と大きさを示す第４の動きベクトルＭＶ４）に変換して、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４を補間フレーム生成部４に出力する。

補間フレーム生成部４は、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３、及び第４の動きベクトルＭＶ４から、現フレームＦ０と第１の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、この補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータとの間に挿入することによって画像データＤＯを生成し、画像データＤＯを画像表示部５に出力する。画像表示部５は、画像データＤＯに基づく画像を表示する。

《２》動きベクトル検出部２の説明
次に、動きベクトル検出部２について詳細に説明する。図１に示されるように、動きベクトル検出部２は、現フレームブロック切り出し部１０と、第１遅延フレームブロック切り出し部１１と、第２遅延フレームブロック切り出し部１２と、テスト補間部６と、補間データ評価部７と、動きベクトル決定部８とを備えている。ただし、動きベクトル検出部２の構成は、図示の例に限定されない。

現フレームブロック切り出し部１０、第１遅延フレームブロック切り出し部１１、及び第２遅延フレームブロック切り出し部１２は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。各ブロックは、例えば、横方向（水平方向）Ｘ個、縦方向（垂直方向）Ｙ個の画素（Ｙ行のライン）のサイズを有する矩形の領域（即ち、横方向にＸ画素で縦方向にＹラインの領域）から成る。即ち、現フレームＦ０から切り出されるブロックと、第１の遅延フレームＦ１から切り出されるブロックと、第２の遅延フレームＦ２から切り出されるブロックは、横方向のサイズ（画素数）及び縦方向のサイズ（画素数、即ち、ライン数）が互いに等しい。

現フレームブロック切り出し部１０は、現フレームＦ０からブロック（横方向にＸ画素で縦方向にＹラインの領域）を切り出し、第１遅延フレームブロック切り出し部１１は、第１の遅延フレームＦ１からブロック（横方向にＸ画素で縦方向にＹラインの領域）を切り出し、第２遅延フレームブロック切り出し部１２は、第２の遅延フレームＦ２からブロック（横方向にＸ画素で縦方向にＹラインの領域）を切り出す。

以下に、補間フレームＩＦ内の１つのブロックを補間により生成するに当たっての処理を説明する。図２は、画像処理装置１００においてフレームから切り出されるブロックを示す図であり、図３は、画像処理装置１００における探索範囲を示す図であり、図４は、画像処理装置１００においてフレームから切り出されるブロックの位置を示す図である。補間フレームＩＦ内の１つのブロックを補間により生成する処理のために、補間フレームＩＦ内の補間しようとするブロックに対応する第１の遅延フレームＦ１内の１つのブロックと、現フレームＦ０内の複数のブロックと、第２の遅延フレームＦ２内の複数のブロックとが切り出される。現フレームＦ０から切り出されるブロックと、第２の遅延フレームＦ２から切り出されるブロックとは、第１の遅延フレームＦ１内のブロック（厳密には、その中心位置であり、図２におけるブロックＦ１Ｂ１の中心位置Ｆ１Ｂ１ｃ）を中心として点対称の位置にあるもので、これらが対（ペア）として用いられる。即ち、現フレームブロック切り出し部１０及び第２遅延フレームブロック切り出し部１２は、第１の遅延フレームＦ１内のブロックを中心とし、一方が現フレームＦ０内に位置するブロック（一方のブロック）と、他方が第２の遅延フレームＦ２内に位置するブロック（他方のブロック）とから成るブロック対を、複数対切り出す。具体的に言えば、例えば、現フレームＦ０から切り出されるブロックＦ０Ｂ１（厳密には、その中心位置）と、第２の遅延フレームＦ２から切り出されるブロックＦ２Ｂ１（厳密には、その中心位置）とは、第１の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密には、その中心位置Ｆ１Ｂ１ｃ）を中心として点対称の位置にあるもので、これらの点対称の位置にある２つのブロックが対（ペア）として用いられる。

現フレームＦ０及び第２の遅延フレームＦ２から切り出された複数のブロック対は、動きベクトル検出部２において検出される動きベクトルの候補に対応するものであり、例えば、動きベクトルの探索範囲（図３に範囲Ａ０，Ａ２として示す）内のブロック（厳密には、探索範囲内に中心位置があるブロック）が切り出される。通常は、探索範囲内のすべてのブロックが切り出される。例えば、第１の遅延フレームＦ１内の１つのブロックの中心位置を中心として、横方向（水平方向）に±ＨＳ画素、縦方向（垂直方向）に±ＶＳ画素（±ＶＳライン）の範囲（検索範囲）を探索して探索範囲内のすべてのブロックを切り出す場合、第２の遅延フレームＦ２及び現フレームＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。

なお、通常は、探索範囲内のすべてのブロックが切り出されるが、一部のブロックを切り出すようにすることもできる。探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば、予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば、水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。

以下の説明においては、第１の遅延フレームＦ１内の１つのブロックに対して、現フレームＦ０及び第２の遅延フレームＦ２から切り出されるブロックの数をそれぞれＭ個とする。また、現フレームＦ０から切り出されるＭ個のブロックを第１乃至第ＭのブロックＦ０Ｂ１，…，Ｆ０ＢＭと表記し、第２の遅延フレームＦ２から切り出されるＭ個のブロックを第１乃至第ＭのブロックＦ２Ｂ１，…，Ｆ２ＢＭと表記する。また、各ブロックのデータを、ブロックを示す符合（例えば、Ｆ０Ｂ１，…，Ｆ０ＢＭなど）と同じ符号で表す。

第２の遅延フレームＦ２内の第ｍ（ｍ＝１，…，Ｍ）のブロックＦ２Ｂｍと現フレームＦ０内の第ｍのブロックＦ０Ｂｍとは、第１の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密には、その中心の画素）を中心として点対称の位置にある。このため、図４に示されるように、第２の遅延フレームＦ２内のブロックＦ２Ｂｍの第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する横方向のずれをｈ（−ＨＳ≦ｈ≦＋ＨＳ）、縦方向のずれをｖ（−ＶＳ≦ｖ≦＋ＶＳ）とすると、現フレームＦ０内の第ｍのブロックＦ０Ｂｍの第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する横方向のずれは−ｈ、縦方向のずれは−ｖである。

現フレームブロック切り出し部１０は、現フレームＦ０内の複数の（第１乃至第Ｍの）ブロックを切り出して、第１乃至第ＭのブロックデータＦ０Ｂ１，…，Ｆ０ＢＭを出力する。第１遅延フレームブロック切り出し部１１は、第１の遅延フレームＦ１内のブロックＦ１Ｂ１を切り出す。このブロックＦ１Ｂ１は、補間フレームＩＦ内の補間対象ブロックに対応するものである。第２遅延フレームブロック切り出し部１２は、第２の遅延フレームＦ２内の複数の（第１乃至第Ｍの）ブロックを切り出して、第１乃至第ＭのブロックデータＦ２Ｂ１，…，Ｆ２ＢＭを出力する。

現フレームＦ０のブロックデータＦ０Ｂ１，…，Ｆ０ＢＭと第２の遅延フレームＦ２のブロックデータＦ２Ｂ１，…，Ｆ２ＢＭが、テスト補間部６に入力される。テスト補間部６は、第２の遅延フレームＦ２のブロックデータＦ２Ｂ１，…，Ｆ２ＢＭと現フレームＦ０のブロックデータＦ０Ｂ１，…，Ｆ０ＢＭのうち、第１の遅延フレームＦ１内のブロックＦ１Ｂ１を中心として、互いに点対称の位置にある第２の遅延フレームＦ２内のブロックと現フレームＦ０内のブロックとから成るブロック対のデータに基づいて、テスト補間データＴＤを生成する。テスト補間部６は、複数のブロック対に基づいて複数のテスト補間データＴＤ（後述する図５における、データＴＤ１，…，ＴＤｍ，…，ＴＤＭ）を生成する。このテスト補間は、上記点対称の中心位置、即ち上記第１のフレームＦ１内のブロックＦ１Ｂ１のデータが未知であると仮定して行うものであり、補間処理の精度が高いほど、テスト補間データＴＤは、第１の遅延フレームＦ１内のブロックＦ１Ｂ１のデータとの相関が高いものとなる。さらに、テスト補間部６は、入力された現フレームＦ０のブロックデータ及び第２の遅延フレームＦ２のブロックデータを、そのままテスト補間データＴＤ（後述する図５における、データＴＤＭ＋１，…，ＴＤＭ＋ｍ，…，ＴＤ２Ｍ及びデータＴＤ２Ｍ＋１，…，ＴＤ２Ｍ＋ｍ，…，ＴＤ３Ｍ）として出力する。

補間データ評価部７は、第１の遅延フレームＦ１のブロックデータＦ１Ｂ１を参照して複数のテスト補間データＴＤ（後述する図５における、データＴＤ１，…，ＴＤ３Ｍ）の評価を行い、複数の評価データＥＤ（後述する図５における、データＥＤ１，…，ＥＤ３Ｍ）を動きベクトル決定部８に出力する。この評価においては、テスト補間データＴＤ（後述する図５における、データＴＤ１，…，ＴＤ３Ｍ）と、第１の遅延フレームＦ１のブロックデータＦ１Ｄ１との相関を求め、相関が高いテスト補間データほど、評価データＥＤとして高い評価値が与えられる。

動きベクトル決定部８は、評価データＥＤに基づいて第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を生成して出力する。

次に、図５を参照して動きベクトル検出部２の具体例についてさらに詳しく説明する。図５は、図１の動きベクトル検出部２内のテスト補間部６、補間データ評価部７、及び動きベクトル決定部８の構成の一例を概略的に示すブロック図である。図５に示される例では、テスト補間部６は、複数の（即ち、第１乃至第Ｍの）テスト補間データ生成部６−１，…，６−Ｍを備えており、補間データ評価部７は、複数の（即ち、第１乃至第３Ｍの）差分絶対値和算出部７−１，…，７−３Ｍを備えている。Ｍは２以上の整数である。

テスト補間データ生成部６−１，…，６−Ｍは、現フレームＦ０のブロックのデータＦ０Ｂ１，…，Ｆ０ＢＭと、それぞれ、これらと対をなす第２の遅延フレームＦ２のブロックのデータＦ２Ｂ１，…，Ｆ２ＢＭとを、画素ごとに平均することで得られる平均値から成るデータを、テスト補間データＴＤ１，…，ＴＤＭとして算出する。

また、テスト補間部６は、現フレームＦ０のブロックのデータＦ０Ｂ１，…，Ｆ０ＢＭをテスト補間データＴＤＭ＋１，…，ＴＤ２Ｍとして出力し、第２の遅延フレームＦ２のブロックのデータＦ２Ｂ１，…，Ｆ２ＢＭをテスト補間データＴＤ２Ｍ＋１，…，ＴＤ３Ｍとして出力する。テスト補間データＴＤ１，…，ＴＤ３Ｍの集合は、符号ＴＤで表される。

以下に、より詳細に説明する。現フレームＦ０の第１のブロックデータＦ０Ｂ１と第２の遅延フレームＦ２の第１のブロックデータＦ２Ｂ１がテスト補間データ生成部６−１に入力される。

テスト補間データ生成部６−１は、現フレームＦ０の第１のブロックデータＦ０Ｂ１と第２の遅延フレームＦ２の第１のブロックデータＦ２Ｂ１との画素ごとの平均値を、第１のテスト補間データＴＤ１として差分絶対値和算出部７−１に出力する。画素ごとの平均値とは、現フレームＦ０内のブロックにおける各画素と、第２の遅延フレームＦ２内のブロックにおける対応する位置の画素の画素値（それぞれのブロックの基準位置、例えば、左上隅を原点とする座標系で、同じ座標位置で表される画素の画素値）の平均値を意味する。

同様に、現フレームＦ０の第２のブロックデータＦ０Ｂ２と第２の遅延フレームＦ２の第２のブロックデータＦ２Ｂ２がテスト補間データ生成部６−２に入力される。テスト補間データ生成部６−２は、現フレームＦ０の第２のブロックデータＦ０Ｂ２と第２の遅延フレームＦ２の第２のブロックデータＦ２Ｂ２の画素ごとの平均値を第２のテスト補間データＴＤ２として差分絶対値和算出部７−２に出力する。

同様に、テスト補間データ生成部６−３，…，６−Ｍは、現フレームＦ０の第３のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第２の遅延フレームＦ２の第３のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭとに基づいて、第３のテスト補間データＴＤ３乃至第Ｍのテスト補間データＴＤＭを生成し、差分絶対値和算出部７−３，…，７−Ｍに出力する。

一般化して言えば、テスト補間部６（テスト補間データ生成部６−ｍ）は、現フレームＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１，…，Ｍ）と第２の遅延フレームＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて第ｍのテスト補間データＴＤｍを生成し、差分絶対値和算出部７−ｍに出力する。また、テスト補間部６は、現フレームＦ０の第ｍのブロックのデータＦ０Ｂｍをテスト補間データＴＤＭ＋ｍとして差分絶対値和算出部７−Ｍ＋ｍに出力する。さらに、テスト補間部６は、第２の遅延フレームＦ２の第ｍのブロックのデータＦ２Ｂｍをテスト補間データＴＤ２Ｍ＋ｍとして差分絶対値和算出部７−２Ｍ＋ｍに出力する。

第１の遅延フレームＦ１のブロックデータＦ１Ｂ１は、補間データ評価部７内の差分絶対値和算出部７−１，…，７−３Ｍに入力される。

差分絶対値和算出部７−１，…，７−３Ｍは、それぞれテスト補間データ生成部６から出力されるテスト補間データＴＤ１，…，ＴＤ３Ｍと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、算出された値に基づく評価データＥＤ１，…，ＥＤ３Ｍとして出力する。

差分絶対値和算出部７−１は、第１のテスト補間データＴＤ１の各画素のデータと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和（差分の絶対値の総和）ＳＡＤを算出し、この差分絶対値和を評価データＥＤ１として動きベクトル決定部８に出力する。差分絶対値和ＳＡＤは、次式（１）により算出される。

式（１）において、Ｘは、ブロックの横方向の画素数であり、Ｙは、ブロックの縦方向の画素数（ライン数）である。また、式（１）で与えられる差分絶対値和ＳＡＤは、その値が小さいほど、相関が高いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。

また、ＢＫ１（ｘ，ｙ）、ＢＫ２（ｘ，ｙ）はブロック内の各画素のデータであり、ＢＫ１（ｘ，ｙ）をテスト補間データＴＤ１を構成する各画素のデータ、ＢＫ２（ｘ，ｙ）をブロックＦ１Ｂ１内の各画素のデータとすると、式（１）は第１のテスト補間データＴＤ１の各画素のデータと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和となり、差分絶対値和ＳＡＤが評価データＥＤ１として差分絶対値和算出部７−１から出力される。

差分絶対値和算出部７−２，…，７−Ｍも同様に、第２のテスト補間データＴＤ２乃至第Ｍのテスト補間データＴＤＭと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２，…，ＥＤＭとして動きベクトル決定部８に出力する。
また、差分絶対値和算出部７−Ｍ＋１，…，７−２Ｍは、第（Ｍ＋１）のテスト補間データＴＤＭ＋１乃至第２Ｍのテスト補間データＴＤ２Ｍと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤＭ＋１，…，ＥＤ２Ｍとして動きベクトル決定部８に出力する。
また、差分絶対値和算出部７−２Ｍ＋１，…，７−３Ｍは、第（２Ｍ＋１）のテスト補間データＴＤ２Ｍ＋１乃至第３Ｍのテスト補間データＴＤ３Ｍと第１の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２Ｍ＋１，…，ＥＤ３Ｍとして動きベクトル決定部８に出力する。

動きベクトル決定部８は、第１の遅延フレームＦ１内のブロックに対する評価データＥＤ１，…，ＥＤ３Ｍのうち最も評価の高い評価データ（最も小さい差分絶対値和）に対応するブロックとの位置の差、即ち、第１の遅延フレームＦ１内のブロックに対する第２の遅延フレームＦ２内のブロックの相対位置の差を第１の動きベクトルＭＶ１として出力し、第１の遅延フレームＦ１内のブロックに対する現フレームＦ０内のブロックの相対位置を第２の動きベクトルＭＶ２として出力する。ここで、評価データＥＤＭ＋１，…，ＥＤ２Ｍは、第２の遅延フレームＦ２に対応するブロックがないので、第１の動きベクトルＭＶ１としては、「対応ブロックなし」を示す信号を出力する。同様に、評価データＥＤ２Ｍ＋１，…，ＥＤ３Ｍは現フレームＦ０に対応するブロックがないので、第２の動きベクトルＭＶ２としては、「対応ブロックなし」を示す信号を出力する。

図６は、図１の動きベクトル検出部２の動作を示す説明図である。ｍ＝１の場合について説明する。第１の遅延フレームＦ１の一部の領域が第１の遅延フレームＦ１のブロックデータＦ１Ｂ１として切り出されている。

第１の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ１ずらした位置に対応する領域が第２の遅延フレームＦ２の第１のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖ１ずらした位置に対応する領域が現フレームＦ０の第１のブロックデータＦ０Ｂ１として設定されて切り出される。

テスト補間データ生成部６−１は、現フレームＦ０の第１のブロックデータＦ０Ｂ１と第２の遅延フレームＦ２の第１のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤ１を生成する。さらに、テスト補間データ生成部６−１は、現フレームＦ０の第１のブロックデータＦ０Ｂ１をテスト補間データＴＤ２として出力し、第２の遅延フレームＦ２の第１のブロックデータＦ２Ｂ１をテスト補間データＴＤ３として出力する。

差分絶対値和算出部７−１は、テスト補間データＴＤ１と第１の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、この差分絶対値和ＳＡＤを評価データＥＤ１として出力する。

差分絶対値和算出部７−２も同様に、テスト補間データＴＤ２と第１の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、この差分絶対値和ＳＡＤを評価データＥＤ２として出力する。差分絶対値和算出部７−３も同様に、テスト補間データＴＤ３と第１の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、この差分絶対値和ＳＡＤを評価データＥＤ３として出力する。

動きベクトル決定部８は、評価データＥＤ１，…，ＥＤ３のうち最小の値を生じさせたブロックと第１の遅延フレーム内のブロックＦ１Ｂ１の位置の差を、第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する現フレームＦ０内のブロックの相対位置の差を第１の動きベクトルＭＶ１として出力し、第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する第２の遅延フレームＦ２内のブロックの相対位置を第２の動きベクトルＭＶ２として出力する。

例えば、評価データＥＤ１が最小値の場合、動きベクトル決定部８は、第１の動きベクトルＭＶ１として、ベクトルＶ１を出力し、第２の動きベクトルＭＶ２として、ベクトル−Ｖ１を出力する。また、評価データＥＤ２が最小値の場合、動きベクトル決定部８は、第１の動きベクトルＭＶ１として、「対応ブロックなし」を示す信号を出力し、第２の動きベクトルＭＶ２として、ベクトル−Ｖ１を出力する。また、評価データＥＤ３が最小値の場合、動きベクトル決定部８は、第１の動きベクトルＭＶ１として、ベクトルＶ１を出力し、第２の動きベクトルＭＶ２として、「対応ブロックなし」を示す信号を出力する。

以下の説明では、評価データＥＤ３が最小値である場合を説明する。図６では、２つのベクトルから第１の動きベクトルＭＶ１を決定する場合を例示したが、本発明に係る実施の形態においては、第１の動きベクトルＭＶ１の候補としてのベクトルを２個以上設定する。例えば、第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対して、所定の動き量に対応する探索範囲内に位置する第２の遅延フレームＦ２内のすべてのブロック及びこれと点対称位置にある現フレームＦ０内のブロックについてのテスト補間を行うこととしても良い。

動きベクトル検出部２では、上記のように実在のデータである第２遅延フレームＦ１内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第１の遅延フレームＦ１への動きベクトルを精度良く算出することができる。さらに、第２の遅延フレームから現フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。

なお、補間データ評価部７では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。

また、動きベクトル決定部８では第２の遅延フレームと現フレーム両方からの生成を重視あるいは軽視するために評価データＥＤ１，…，ＥＤｍのみに重みをつけてから最小値を求めても良い。

《３》動きベクトル変換部３及び補間フレーム生成部４の説明
次に、図７（ａ）及び（ｂ）を参照して、動きベクトル変換部３及び補間フレーム生成部４の動作についてより詳細に説明する。図７（ａ）及び（ｂ）は、図１の動きベクトル変換部及び補間フレーム生成部の動作を示す説明図である。

動きベクトル変換部３は、第１の遅延フレームＦ１から現フレームＦ０への第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。

図７（ａ）及び（ｂ）に示されるように、入力フレームの時間間隔をｔ１、第１の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２としたとき、式（２）及び式（３）により動きベクトルＭＶ３及びＭＶ４を算出する。例えば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。

ＭＶ３＝ＭＶ１×ｔ２／ｔ１ …（２）
ＭＶ４＝ＭＶ２×（ｔ１−ｔ２）／ｔ１ …（３）

ただし、動きベクトルＭＶ１が「対応ブロックなし」を示す信号（例えば、所定の信号レベル）の場合、動きベクトルＭＶ３は「対応ブロックなし」を示す信号を出力し、動きベクトルＭＶ２が「対応ブロックなし」を示す信号の場合、動きベクトルＭＶ４は「対応ブロックなし」を示す信号を出力する。

このようにして第３及び第４のベクトルＭＶ３及びＭＶ４を求めた後に、図７に示されるように補間フレームＩＦからベクトル−ＭＶ３の位置の第１の遅延フレームＦ１のデータ（ブロックＦ１Ｂ１内のデータ）と補間フレームＩＦからベクトル−ＭＶ４の位置の現フレームＦ０のデータ（ブロックＦ０Ｂ１内のデータ）の平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に内挿して出力する。このとき、補間に用いられる第１の遅延フレームＦ１のブロックデータＦ１Ｂ１と、現フレームＦ０のブロックデータＦ０Ｂ１とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。

《４》動きベクトル検出部２の動作の説明
図８は、図１の動きベクトル検出部２に入力される第２の遅延フレームＦ２のデータ、第１の遅延フレームＦ１のデータ、及び現フレームＦ０のデータの対応関係の一例を示す説明図である。図８に示されるような映像を表す信号が入力された場合の本実施の形態の動作を説明する。図８に示す映像においては、前景の黒丸が時間とともに、画面の左上から右下へ向けて移動しており、背景の移動しないアルファベット（「Ａ」〜「Ｊ」）（移動なし）が隠れたり出現したりする。

図９（ａ）〜（ｄ）は、図１の動きベクトル検出部２の動作の一例を示す説明図であり、図１０（ａ）〜（ｄ）は、図９（ｄ）に続く、図１の動きベクトル検出部２の動作の一例を示す説明図である。図９（ａ）は、動きベクトル検出部２に入力される画像データの具体例を示し、図９（ｂ）〜（ｄ）及び図１０（ａ）〜（ｄ）は、テスト補間部６及び補間データ評価部７の動作を示す。

図９（ａ）に示されるような第２の遅延フレームＦ２のデータ、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータを入力とした場合の動きベクトル検出部２の動作を説明する。テスト補間部６は、動きベクトルごとにテスト補間データを生成する。図９（ｂ）に示されるように、テスト補間部６は、第１の遅延フレームＦ１の一部の領域を第１の遅延フレームＦ１のブロックデータＦ１Ｂ１とし、第１の遅延フレームＦ１のブロックデータＦ１Ｂ１からベクトル−Ｖ１ずらした位置の第２の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ１とし、第１の遅延フレームＦ１のブロックデータＦ１Ｂ１からベクトルＶ１ずらした位置の現フレームＦ０のブロックデータを、ブロックデータＦ０Ｂ１とする。

また、テスト補間部６は、第１の遅延フレームＦ１のブロックデータＦ１Ｂ１からベクトル−Ｖ２ずらした位置の第２の遅延フレームＦ２のブロックデータを、ブロックデータＦ２Ｂ２とし、第１の遅延フレームＦ１のブロックデータＦ１Ｂ１からベクトルＶ２ずらした位置の現フレームＦ０のブロックデータを、ブロックデータＦ０Ｂ２とする。

図９（ｃ）に示されるように、テスト補間部６は、ブロックデータＦ２Ｂ１とブロックデータＦ０Ｂ１とから、画素ごとの平均をテスト補間データＴＤ１として生成する。同様に、図９（ｄ）に示されるように、テスト補間部６は、ブロックデータＦ２Ｂ２とブロックデータＦ０Ｂ２とから、画素ごとの平均をテスト補間データＴＤ２として生成する。

同様に、図１０（ａ）に示されるように、テスト補間部６は、ブロックデータＦ０Ｂ１をテスト補間データＴＤ３として出力する。同様に、図１０（ｂ）に示されるように、テスト補間部６は、ブロックデータＦ０Ｂ２をテスト補間データＴＤ４として出力する。同様に、図１０（ｃ）に示されるように、テスト補間部６は、ブロックデータＦ２Ｂ１をテスト補間データＴＤ５として出力する。同様に、図１０（ｄ）に示されるように、テスト補間部６は、ブロックデータＦ２Ｂ２をテスト補間データＴＤ６として出力する。

補間データ評価部７は、図９（ｃ），（ｄ）及び図１０（ａ）〜（ｄ）に示されるようなテスト補間データＴＤ１，…，ＴＤ６のそれぞれとブロックデータＦ１Ｂ１との差分絶対値和を算出し、評価データＥＤ１，…，ＥＤ６を出力する。図９（ａ）〜（ｄ）及び図１０（ａ）〜（ｄ）の具体例では、テスト補間データＴＤ５で表される画像が文字「Ｆ」を示し、ブロックＦ１Ｂ１との差分絶対値和が一番小さくなる。このため、評価データＥＤ５が、差分絶対値和が最も小さなデータとなる。

動きベクトル決定部８は、評価データＥＤ１，…，ＥＤ６のうち一番小さい評価データＥＤ５に対応した動きベクトルＭＶ１としてベクトルＶ１を出力し、ベクトルＭＶ２として「対応ブロックなし」を示す信号を出力する。

第１の遅延フレームＦ１について、漏れなく（隙間なく）ブロックを設定し動きベクトルを算出することで第１の遅延フレームＦ１のすべての部分について第１の動きベクトルＭＶ１が生成される。即ち、第１の遅延フレームＦ１を、複数の、例えば、互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を生成し、当該ブロックに対応する位置、例えば、同じ位置にある、補間フレーム内のブロックについて、上記第１の動きベクトル及び第２の動きベクトルを用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３，ＭＶ４を求めることとしても良い。

また、第１の遅延フレームＦ１内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を生成し、当該画素に対応する位置、例えば、同じ位置にある、補間フレームＩＦ内の画素について、上記第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３，ＭＶ４を求めることとしても良い。

《５》動きベクトル変換部３の動作の説明
図１１（ａ）及び（ｂ）は、図１の動きベクトル変換部３の動作の一例を示す説明図である。図１１（ａ）は、動きベクトル変換部３の入力の一例、図１１（ｂ）は、図１１（ａ）の入力があったときの動きベクトル変換部３の出力の一例を示す。動きベクトル変換部３は、図１１（ａ）に示される、第１の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１とＭＶ２に対して式（２）及び式（３）を用いて、さらに、ｔ２＝ｔ１／２として、図１１（ｂ）に示される、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。図１１（ａ）及び（ｂ）に示す具体例では、第１の動きベクトルＭＶ１はベクトルＶ１となり、第２の動きベクトルＭＶ２は「対応ブロックなし」を示す信号となり、ｔ１は１／６０秒、ｔ２は１／１２０秒であるので、式（２）及び式（３）より、第３の動きベクトルＭＶ３はベクトルＶ１／２となり、第４の動きベクトルＭＶ４は「対応ブロックなし」を示す信号となる。

《６》補間フレーム生成部４の動作の説明
図１２は、図１の補間フレーム生成部４の動作の一例を示す説明図である。図１２は、図１１（ａ）及び（ｂ）に示されるように、第３の動きベクトルＭＶ３はベクトルＶ１／２となり、第４の動きベクトルＭＶ４は「対応ブロックなし」を示す信号となる場合を例示している。図１２に示されるように、補間フレーム生成部４は、補間フレームＩＦからベクトル−ＭＶ３動かした位置の第１の遅延フレームＦ１のデータを補間フレームＩＦのデータとして算出する。補間フレーム生成部４は、生成した補間フレームＩＦを第１の遅延フレームＦ１と現フレームＦ０の間に内挿することによって画像データＤＯを生成し、画像データＤＯを画像表示部５に出力する。

以上に説明したように、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。さらに、補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。

《７》実施の形態に係る画像処理方法及び画像表示方法の説明
図１３は、本発明の実施の形態に係る画像処理方法及び画像表示方法を示すフローチャートである。図１３には、本実施の形態に係る画像処理装置１００及び画像表示装置１０１の処理工程が示されている。図１３に示されるように、動きベクトル検出ステップＳＴ１では、画像処理装置１００は、現フレームＦ０のデータＦ０と、現フレームＦ０に対して１フレーム遅延したフレームである第１の遅延フレームＦ１のデータと、現フレームＦ０に対して２フレーム分遅延したフレームである第２の遅延フレームＦ２のデータとを参照して、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を生成する。この処理は、図１に示される動きベクトル検出部２の処理に相当する。

次の動きベクトル変換ステップＳＴ２では、画像処理装置１００は、第１の動きベクトルＭＶ１及び第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第１の遅延フレームＦ１の間に挿入される）への第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。この処理は、図１に示される動きベクトル変換部３の処理に相当する。

次の補間フレーム生成ステップＳＴ３では、画像処理装置１００は、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３、及び第４の動きベクトルＭＶ４から、補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この処理は、図１に示される補間フレーム生成部４の処理に相当する。

図１３に示される画像処理方法及び画像表示方法は、本実施の形態に係る画像処理装置１００又は画像表示装置１０１の一部を、ソフトウェアとして実装したものである。

《８》実施の形態の効果
以上に説明したように、本実施の形態に係る画像処理装置１００、画像処理方法、画像表示装置１０１、及び画像表示方法によれば、時間的に連続する３枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。このため、本実施の形態によれば、適切な補間フレームＩＦを挿入することによって、画像のぼやけ及びジャダーの少ない高品質な表示画像を実現することができる。また、本実施の形態によれば、補間するフレーム前後で物体が隠れたり出現したりする場合であっても、画像の乱れを生じさせることなく、補間フレームを内挿することができる。

１ フレームメモリ、 ２ 動きベクトル検出部、 ３ 動きベクトル変換部、 ４ 補間フレーム生成部、 ５ 画像表示部、 ６ テスト補間部、 ６−１，…，６−Ｍ テスト補間データ生成部、 ７ 補間データ評価部、 ７−１，…，７−３Ｍ 差分絶対値和算出部、 ８ 動きベクトル決定部、 １０ 現フレームブロック切り出し部、 １１ 第１遅延フレームブロック切り出し部、 １２ 第２遅延フレームブロック切り出し部、 １００ 画像処理装置、 １０１ 画像表示装置、 Ｆ０ 現フレーム、 Ｆ１ 第１の遅延フレーム、 Ｆ２ 第２の遅延フレーム、 ＩＦ 補間フレーム。

Claims (14)

1. 画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理装置において、
   前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
   前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
   前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
   前記動きベクトル検出部は、
   前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部と、
   前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
   前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成する動きベクトル決定部とを有する
   ことを特徴とする画像処理装置。
2. 前記テスト補間部は、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力し、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力し、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記テスト補間部は、前記現フレームのブロックデータと前記第２の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記第１のテスト補間データとして算出する複数個のテスト補間データ生成部を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間データ評価部は、前記テスト補間部から出力される前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の相関を示す複数の相関値を算出し、該複数の相関値に基づいて前記複数の評価データを生成することを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
5. 前記補間データ評価部は、前記テスト補間部から出力される前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の差分の絶対値の総和である差分絶対値和を算出することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
6. 前記補間データ評価部は、前記テスト補間データと前記第１の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を有することを特徴とする請求項５に記載の画像処理装置。
7. 請求項１から６までのいずれか１項に記載の画像処理装置と、
   前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
   を有することを特徴とする画像表示装置。
8. 画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理方法において、
   前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出するステップと、
   前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換するステップと、
   前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力するステップとを有し、
   前記第１の動きベクトル及び前記第２の動きベクトルを算出するステップは、
   前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するステップと、
   前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力するステップと、
   前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成するステップとを有する
   ことを特徴とする画像処理方法。
9. 前記テスト補間データを出力するステップは、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力するステップと、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力するステップと、
   前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力するステップとを有する
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記前記複数の第１のテスト補間データを生成して出力するステップは、前記現フレームのブロックデータと前記第２の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記第１のテスト補間データとして算出するステップを有することを特徴とする請求項９に記載の画像処理方法。
11. 前記テスト補間データを生成するステップは、前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の相関を示す複数の相関値を算出し、該複数の相関値に基づいて前記複数の評価データを生成するステップを有することを特徴とする請求項８から１０までのいずれか１項に記載の画像処理方法。
12. 前記テスト補間データを生成するステップは、前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の差分の絶対値の総和である差分絶対値和を算出するステップを有することを特徴とする請求項８から１１までのいずれか１項に記載の画像処理方法。
13. 前記テスト補間データを生成するステップは、前記テスト補間データと前記第１の遅延フレーム内のブロックのデータの差分絶対値和を算出するステップを有することを特徴とする請求項１２に記載の画像処理方法。
14. 請求項８から１３までのいずれか１項に記載の画像処理方法によって前記補間データが挿入された画像データを出力するステップと、
    前記補間データが挿入された画像データを出力するステップによって出力された前記画像データに基づく画像を表示するステップと
    を有することを特徴とする画像表示方法。

Images