JP5257248B2 - 画像処理装置および方法、ならびに画像表示装置 - Google Patents

Description

本発明は、入力画像信号の画像フォーマットを判定する機能を有する画像処理装置および方法、ならびに画像表示装置に関する。

従来より、光の偏光や液晶シャッタを利用した立体視用の特殊な眼鏡を装着させて観察者の両眼に視差のある別々の画像を見せることで、立体視を実現する眼鏡式の立体表示装置が知られている。また、特殊な眼鏡を装着する必要がなく、裸眼で立体視が可能な立体表示方式の例として、パララックスバリア方式やレンチキュラ方式の立体表示装置が知られている。立体視を実現するためには、左眼と右眼とに異なる視差画像を見せる必要があるため、少なくとも左眼用画像と右眼用画像との２つの視差画像が必要となる。近年では、立体表示が可能な民生用ＴＶ（テレビジョン）装置が実際に登場して注目を集めている。

特開２００６−３３２９８５号公報 特開平１０−２５７５２５号公報

画像処理装置や画像表示装置に立体画像信号を入力するための立体画像フォーマットは、様々なものが提案されている。立体画像フォーマットとしては、例えばフィールドシーケンシャル方式で左眼用画像と右眼用画像とを交互に時間順次に配置する方式のものがある。民生用ＴＶなどでは、従来の２次元画像フォーマットに加えて、立体画像フォーマットに対応する必要性が出てきている。

特許文献１および特許文献２では、従来の２次元画像フォーマットに加えて、様々な立体画像フォーマットに対応するための自動判定技術が提案されている。これらに提案されている手法では、右眼用画像と左眼用画像は基本的に類似しているが視差に相当する差分が存在していて完全に同じではない、という考え方に基づき、入力された画像が立体画像フォーマットかどうかを判定している。例えば特許文献１におけるフィールドシーケンシャル立体画像フォーマットかどうかの判定では、まず、判定対象の画像を２枚の画像に分割する。そして、２枚の画像が類似していないと判定された場合に立体画像であると判定している。しかしながら、従来の２次元画像でも動きのあるシーンでは当然差分が存在するため、動きの激しい２次元画像が立体画像と誤判定される問題が存在する。また、運よくフィールドシーケンシャル立体画像であることを正しく判定できたとしても、２枚の画像のどちらが右眼用画像でどちらが左眼用画像であるかがわからなければ、表示装置側で正しく立体表示することができないという問題もある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、フィールドシーケンシャル方式で入力された画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかの判定を精度良く行うことができるようにした画像処理装置および方法、ならびに画像表示装置を提供することにある。

本発明による第１および第２の画像処理装置は、フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、両眼視差に相当する動きベクトルに基づいて、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部とを備えたものである。

本発明による第１および第２の画像処理方法は、フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを動きベクトル検出手段によって求めるステップと、両眼視差に相当する動きベクトルに基づいて、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかをフォーマット判定部によって判定するステップと、立体画像フォーマットであると判定された場合にはさらに、フォーマット判定部によって、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するステップとを含むものである。

本発明による第１および第２の画像表示装置は、フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、両眼視差に相当する動きベクトルに基づいて、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部と、フォーマット判定部によって判定された画像フォーマットに従って入力画像信号に基づく画像表示を行う表示部とを備えたものである。

本発明による第１および第２の画像処理装置、画像処理方法または画像表示装置では、入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、少なくとも、入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルが検出される。そして、少なくとも両眼視差に相当する動きベクトルに基づいて、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかがフォーマット判定部によって判定される。また、立体画像フォーマットであると判定された場合にはさらに、フォーマット判定部によって、現在入力されている画像が右眼用画像であるか左眼用画像であるかが判定される。
特に、本発明による第１の画像処理装置、画像処理方法または画像表示装置では、動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、第１の動きベクトル検出部において、第１の画像と第３の画像との２枚の画像間の第１の動きベクトルを検出し、第２の動きベクトル検出部において、第１ないし第３の画像における時間的に隣接する２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを両眼視差に相当する動きベクトルとする。フォーマット判定部は、第１の動きベクトルと第２の動きベクトルとの相関があるか否かを判定し、相関があった場合には２次元画像フォーマットであると判定し、相関がない場合には、さらに、両眼視差に相当する動きベクトルに基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値内であるか否かを判定し、所定の閾値内であった場合に立体画像フォーマットであると判定し、所定の閾値内でなかった場合に２次元画像フォーマットであると判定する。
また、本発明による第２の画像処理装置、画像処理方法または画像表示装置では、動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、第１の動きベクトル検出部において、第１の画像と第３の画像との２枚の画像間の第１の動きベクトルを検出し、第１の動きベクトルに基づいて、時間的に第１の画像と第３の画像との間に位置する画像を、判定用の画像として画像補間処理により求め、第２の動きベクトル検出部において、第１の画像と判定用の画像との２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを両眼視差に相当する動きベクトルとする。

本発明の第１および第２の画像処理装置、画像処理方法または画像表示装置によれば、少なくとも両眼視差に相当する動きベクトルに基づいて画像フォーマットの判定を行うようにしたので、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかの判定を精度良く行うことができる。特に、立体画像フォーマットである場合には、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定することができる。これにより、画像表示装置側では、正しい画像フォーマットで適切な画像表示を行うことができる。

本発明の第１の実施の形態に係る画像表示装置の構成を示すブロック図である。 第１の実施の形態に係る画像表示装置における画像処理部の構成を示すブロック図である。 （Ａ）はフィールドシーケンシャル方式の２次元画像フォーマットの例を示す説明図であり、（Ｂ）はフィールドシーケンシャル方式の立体元画像フォーマットの例を示す説明図である。 画像の表示位置と立体視との関係を示す説明図である。 両眼視差に対応する動きベクトルについての説明図である。 図２に示した画像処理部のフォーマット判定部における画像フォーマット判定の処理を説明する流れ図である。 第２の実施の形態に係る画像表示装置における画像処理部の構成を示すブロック図である。 （Ａ）はフィールドシーケンシャル方式の２次元画像フォーマットの例を示す説明図であり、（Ｂ）はフィールドシーケンシャル方式の立体元画像フォーマットの例を示す説明図である。 図７に示した画像処理部のフォーマット判定部における画像フォーマット判定の処理を説明する流れ図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
［画像表示装置の構成］
図１は、本発明の第１の実施の形態に係る画像表示装置１０の全体構成例を示している。この画像表示装置１０は、信号入力部１と、画像処理部２と、信号出力部３と、表示パネル４とを備えている。表示パネル４は、本発明における「表示部」の一具体例に対応する。画像処理部２は、本発明における「画像処理装置」の一具体例に対応する。

この画像表示装置１０は、例えばＴＶ装置であり、信号入力部１には、例えば放送信号が入力される。信号入力部１は、放送信号を受信すると、放送信号を例えば輝度信号（Ｙ信号）と色差信号（Ｕ信号、Ｖ信号）とに分離する処理を行って、それらを入力画像信号として画像処理部２に出力する。画像処理部２は、入力画像信号に対して各種の画像処理を行うものであり、入力画像信号に対して画像フォーマットの判定処理を行う機能を有している。

表示パネル４は、複数の画素が２次元的に配列されて２次元的に画像表示を行うものであり、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや液晶ディスプレイで構成されている。信号出力部３は、入力画像信号に基づいて、画像処理部２で判定された画像フォーマットに応じた適切な駆動信号を生成して表示パネル４に画像表示を行わせるものである。なお、立体画像を表示する方式としては、従来よりある種々のものを用いることができる。この画像表示装置１０の特徴部分は、画像処理部２での画像フォーマットの判定処理にあるので、表示部分の具体例の説明は省略する。

［画像処理部（画像処理装置）２の構成］
図２は、画像処理部２の構成例を示している。画像処理部２は、フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、画像間の動きベクトルを検出し、画像フォーマットの判定を行う機能を有している。図２は、その画像フォーマットの判定を行う機能に関わる回路部分の構成例を示している。入力画像信号は、信号入力部１から出力された輝度信号が入力されるものとする。

図２に示した回路は、図３（Ａ），（Ｂ）に示したような画像フォーマットの信号を判定対象とする回路となっている。図３（Ａ）はフィールドシーケンシャル方式の２次元画像フォーマットの例であり、ＦＮは時刻Ｎの２次元画像（フィールド画像またはフレーム画像）を示している。図３（Ｂ）はフィールドシーケンシャル方式の立体画像フォーマットの例であり、ＬＮは時刻Ｎの左眼用画像（フィールド画像またはフレーム画像）、ＲＮは時刻Ｎの右眼用画像（フィールド画像またはフレーム画像）を示している。なお、図３（Ｂ）の場合、信号の入力状態としては時間的に、左眼用画像ＬＮ、右眼用画像ＲＮの順に入力されている。同一時刻Ｎとして表されている左眼用画像ＬＮと右眼用画像ＲＮは、表示パネル４に表示するときに立体視が可能となるように実質的に同一時刻に合成されて表示されるものであることを示している。

画像処理部２は、画像フォーマット判定用の回路として、第１の画像メモリ２１と、第２の画像メモリ２２と、第１の動きベクトル検出部２３と、第２の動きベクトル検出部２４、フォーマット判定部２５とを有している。
本実施の形態において、第１の動きベクトル検出部２３と第２の動きベクトル検出部２４とが、本発明における「動きベクトル検出手段」の一具体例に対応する。

第１の画像メモリ２１と第２の画像メモリ２２はそれぞれ、入力画像（フィールド画像またはフレーム画像）を、１フィールドまたは１フレームずつ遅延させるためのものである。第１の動きベクトル検出部２３には、時間的に連続する第１、第２および第３の画像Ｆ０，Ｆ１，Ｆ２（立体画像の場合は画像Ｌ０，Ｒ０，Ｌ２）のうち、第１の画像Ｆ０（立体画像の場合は左眼用画像Ｌ０）が入力される。第１の動きベクトル検出部２３にはまた、第１の画像メモリ２１と第２の画像メモリ２２を介して、入力画像が２フィールドまたは２フレーム分、遅延された第３の画像Ｆ２（立体画像の場合は左眼用画像Ｌ２）が入力される。第２の動きベクトル検出部２４には、第１の画像Ｆ０（立体画像の場合は左眼用画像Ｌ０）が入力される。第２の動きベクトル検出部２４にはまた、第１の画像メモリ２１を介して、入力画像が１フィールドまたは１フレーム分、遅延された第２の画像Ｆ１（立体画像の場合は右眼用画像Ｒ０）が入力される。すなわち、第２の動きベクトル検出部２４には、時間的に連続する２枚の画像Ｆ０，Ｆ１（立体画像の場合は画像Ｌ０，Ｒ０）が入力される。

第１の動きベクトル検出部２３と第２の動きベクトル検出部２４はそれぞれ、入力された２つの画像間の水平方向および垂直方向の動き量（単位は画素）を動きベクトルとして算出して出力するものである。動きベクトルの検出にはブロックマッチングなど様々な方法が存在するが、本実施の形態では、このブロックの検出結果を用いることができれば良いので、具体的な手法は特定の手法に限定されない。

具体的には、第１の動きベクトル検出部２３は、第１の画像Ｆ０（または左眼用画像Ｌ０）と第３の画像Ｆ２（または左眼用画像Ｌ２）との２枚の画像間の第１の動きベクトルＢ０を検出して出力する。第２の動きベクトル検出部２４は、時間的に連続する２枚の画像Ｆ０，Ｆ１（立体画像の場合は画像Ｌ０，Ｒ０）の画像間の第２の動きベクトルＢ１を検出して出力する。

フォーマット判定部２５は、入力された２つの動きベクトルＢ０，Ｂ１に基づいて、フォーマット判定信号を出力するものである。ここで、フォーマット判定信号で表される情報は、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを示す情報である。また、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定した結果の情報も含まれる。

［画像処理部２の動作（画像フォーマットの判定処理）］
本実施の形態における画像表示装置の最大の特徴部分は、画像処理部２における画像フォーマットの判定処理にある。従って、以下では、画像表示装置１０の動作として、画像フォーマットの判定処理に関わる処理動作、特に、フォーマット判定部２５による判定処理の動作について具体的に説明する。

図２の回路において、第１の動きベクトル検出部２３からは、第１の画像Ｆ０（または左眼用画像Ｌ０）と第３の画像Ｆ２（または左眼用画像Ｌ２）との２枚の画像間の第１の動きベクトルＢ０が出力される。第２の動きベクトル検出部２４からは、時間的に連続する２枚の画像Ｆ０，Ｆ１（立体画像の場合は画像Ｌ０，Ｒ０）の画像間の第２の動きベクトルＢ１が出力される。ここで、入力画像信号が、図３（Ｂ）に示したような立体画像フォーマットであった場合、第１の動きベクトルＢ０から、立体画像としてのフレーム間の動き量が得られる。また、第２の動きベクトルＢ１は両眼視差に相当する動きベクトルとなり、第２の動きベクトルＢ１から、両眼視差量が得られる。入力画像信号が図３（Ａ）に示したような２次元画像フォーマットであった場合、これらの動きベクトルＢ０，Ｂ１の動きや絶対値が、立体画像フォーマットであった場合とは異なる挙動を示す。フォーマット判定部２５は、これらの動きベクトルＢ０，Ｂ１の性質を用いて、入力画像信号が立体画像フォーマットであるか否かを判定する。また、立体画像フォーマットであった場合には、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定する。

図６は、フォーマット判定部２５における判定処理の流れを示している。フォーマット判定部２５は、第１および第２の動きベクトルＢ０，Ｂ１が入力される（ステップＳ１）と、第１の判定として、それら２つのベクトル間に相関があるか否かを判定する（ステップＳ２）。相関があった場合（ステップＳ２：Ｙ）には、２次元画像フォーマットであると判定する。これは、「フレーム間の動き量は時間方向に高い相関を持っているのに対して、フレーム間の動き量（Ｂ０）と両眼視差量（Ｂ１）との相関は少ない」という判断に基づいている。

相関がない場合（ステップＳ２：Ｎ）には、フォーマット判定部２５はさらに、第２の判定として、第２の動きベクトルＢ１が、両眼視差量の制約を満たすか否かを判定する（ステップＳ３）。これは、後述するように、第２の動きベクトルＢ１に基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値ＴＨ０’，ＴＨ１’内にあるか否かを判定することにより行う。両眼視差量の制約を満たさない、すなわち、両眼視差量が所定の閾値ＴＨ０’，ＴＨ１’内でなかった場合（ステップＳ３：Ｎ）には、フォーマット判定部２５は入力画像信号が２次元画像フォーマットであると判定する。

両眼視差量の制約を満たす、すなわち両眼視差量が所定の閾値ＴＨ０’，ＴＨ１’内であった場合（ステップＳ３：Ｙ）には、フォーマット判定部２５は入力画像信号が立体画像フォーマットであると判定する。そしてさらに、フォーマット判定部２５は第３の判定を行って、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定する（ステップＳ４）。第３の判定としては、第２の動きベクトルＢ１の方向を判断する。すなわち、ベクトル検出の対象とした画像の面内で、絶対値が最大となる第２の動きベクトルＢ１の向きが負の方向であるか否かを判断する。第２の動きベクトルＢ１の向きが負であった場合（ステップＳ４：Ｙ）には、左眼用画像であると判断する。第２の動きベクトルＢ１の向きが負でなかった場合（ステップＳ４：Ｎ）には、右眼用画像であると判断する。なお、この第２の動きベクトルＢ１の向きの判断については、図５（Ａ），（Ｂ）を参照して詳述する。

［立体視が成立する条件］
図４（Ａ）〜（Ｄ）は、画像の表示位置と立体視との関係を示している。図４（Ａ）では、観察者の左眼５Ｌと右眼５Ｒとで、映像面（画像表示面）の同一の画素位置を観察している。この場合、表示画像に視差はなく観察者は実像Ｐを見ている。図４（Ｂ）〜（Ｄ）では、視差のある２つの画像を表示した場合を示している。

図４（Ｂ）では、画像表示面上で右眼用画像Ｒ０が左眼用画像Ｌ０に対して左側に位置している。図４（Ｂ）の場合、観察者は画像表示面に対して手前側の虚像Ｐ０を見る状態で立体視している。図４（Ｃ）では、図４（Ｂ）の場合とは左右の画像の位置が異なっている。すなわち、図４（Ｃ）では、画像表示面上で右眼用画像Ｒ２が左眼用画像Ｌ２に対して右側に位置している。図４（Ｃ）の場合、観察者は画像表示面に対して奥側の虚像Ｐ２を見る状態で立体視している。

図４（Ｄ）は、視差のある画像を表示しているが立体視が成立しない場合を示している。図４（Ｃ）の場合と同様に、画像表示面上で右眼用画像Ｒ４が左眼用画像Ｌ４に対して右側に位置しているが、２つの画像間が離れすぎているため、立体視が成立しない。観察者の左眼５Ｌと右眼５Ｒとの想定両眼視差の値をＴＨ１とすると、２つの画像間の視差量が想定視差ＴＨ１を超えると立体視が成立しない。従って、画像表示面に対して奥側に虚像を見せるような立体視を行わせる場合、２つの画像間の視差量が、想定視差ＴＨ１に基づいて設定される所定の閾値ＴＨ１’以下である必要がある。

なお、図４（Ｂ）の場合のように、画像表示面に対して手前側に虚像を見せるような立体視を行わせる場合にも、立体視が成立する条件がある。図４（Ｂ）の場合においても、右眼用画像Ｒ０と左眼用画像Ｌ０とが離れすぎると立体視が成立しない。具体的には、手前側に虚像を見せる場合、２つの画像間の視差量が、想定視聴距離ＴＨ０（画像表示面と観察者の視点位置との距離）に基づいて設定される所定の閾値ＴＨ０’以下である必要がある。

なお、１つの立体画像内では通常、手前側に虚像ができる画素と奥側に虚像ができる画素とが混在している。立体画像が入力された場合において、手前側に虚像ができる画素であるか奥側に虚像ができる画素であるかは第２の動きベクトルＢ１の向きで判断できる。図５（Ａ），（Ｂ）を参照して、このことを説明する。

図５（Ａ）は、手前側に虚像Ｐ０，Ｐ１ができている状態を示している。虚像Ｐ０は、右眼用画像Ｒ０と左眼用画像Ｌ０とによって形成されたものである。虚像Ｐ１は、右眼用画像Ｒ１と左眼用画像Ｌ１とによって形成されたものである。いずれにおいても、右眼用画像Ｒ０，Ｒ１が左眼用画像Ｌ０，Ｌ１に対して左側に位置している。この場合、第２の動きベクトルＢ１は、左眼用画像Ｌ０，Ｌ１に対する右眼用画像Ｒ０，Ｒ１のベクトルとなる。左方向を負（−）、右方向を正（＋）とすれば、第２の動きベクトルＢ１は負となる。なお、図５（Ａ）において、右眼用画像Ｒ０，Ｒ１と左眼用画像Ｌ０，Ｌ１との両眼視差量Ｄ０，Ｄ１の値は、想定視聴距離ＴＨ０に基づいて設定される所定の閾値ＴＨ０’以下となっている。

図５（Ｂ）は、奥側に虚像Ｐ２，Ｐ３ができている状態を示している。虚像Ｐ２は、右眼用画像Ｒ２と左眼用画像Ｌ２とによって形成されたものである。虚像Ｐ３は、右眼用画像Ｒ３と左眼用画像Ｌ３とによって形成されたものである。いずれにおいても、右眼用画像Ｒ２，Ｒ３が左眼用画像Ｌ２，Ｌ３に対して右側に位置している。この場合、第２の動きベクトルＢ１を、左眼用画像Ｌ２，Ｌ３に対する右眼用画像Ｒ２，Ｒ３のベクトルとすると、左方向を負（−）、右方向を正（＋）とすれば、ベクトルの向きは正となる。なお、図５（Ｂ）において、右眼用画像Ｒ２，Ｒ３と左眼用画像Ｌ２，Ｌ３との両眼視差量Ｄ２，Ｄ３の値は、想定視差ＴＨ１に基づいて設定される所定の閾値ＴＨ１’以下となっている。

ここで、１つの立体画像内では通常、手前側に虚像ができる画素と奥側に虚像ができる画素とが混在しているので、第２の動きベクトルＢ１は正と負の双方を取り得るが、一般的な立体画像は手前側に虚像を見せるような画像であることが多い。このため、絶対値が最大となる第２の動きベクトルＢ１の正負を判断することで、左眼用画像である否かを概ね判断できる。すなわち、検出対象とする画像内で、絶対値が最大となる第２の動きベクトルＢ１の向きが負であれば、その画像が左眼用画像であると判断して良い。

また、図６のステップＳ３における「両眼視差量の制約を満たすか否か」の判定は、例えば以下の条件（１）または条件（２）が成立しているか否かで判定する。
（両眼視差量の制約を満たす＝条件（１）かまたは条件（２）が成立する）
・条件（１）
画面内全ての正数ベクトルの絶対値がＴＨ１’以下で、かつ、画面内全ての負数ベクトルの絶対値がＴＨ０’以下。
・条件（２）
画面内全ての正数ベクトルの絶対値がＴＨ０’以下で、かつ、画面内全ての負数ベクトルの絶対値がＴＨ１’以下。

また、想定視聴距離ＴＨ０をもとに設定する閾値ＴＨ０’は、画面サイズが１９２０画素×１０８０画素であるものとすると、具体的に例えば、ＴＨ０’＝４０画素と設定することができる。
また、想定視差ＴＨ１をもとに設定する閾値ＴＨ１’は、画面サイズが１９２０画素×１０８０画素であるものとすると、具体的に例えば、ＴＨ１’＝８画素と設定することができる。

［第１の実施の形態による効果］
本実施の形態によれば、少なくとも両眼視差に相当する動きベクトルに基づいて画像フォーマットの判定を行うようにしたので、入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかの判定を精度良く行うことができる。特に、立体画像フォーマットである場合には、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定することができる。これにより、画像表示装置１０側では、正しい画像フォーマットで適切な画像表示を行うことができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る画像表示装置について説明する。なお、上記第１の実施の形態に係る画像表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

図７は、本実施の形態に係る画像処理部２の構成を示している。図７の回路は、図２に示した回路に対し、画像補間部３１をさらに備えている。また、第２の動きベクトル検出部２４に代えて第２の動きベクトル検出部３２を備えている。また、フォーマット判定部２５に代えてフォーマット判定部３３を備えている。

本実施の形態において、第１の動きベクトル検出部２３と第２の動きベクトル検出部３２とが、本発明における「動きベクトル検出手段」の一具体例に対応する。

図７に示した回路は、図８（Ａ），（Ｂ）に示したような画像フォーマットの信号を判定対象とする回路となっている。図８（Ａ）はフィールドシーケンシャル方式の２次元画像フォーマットの例であり、ＦＮは時刻Ｎの２次元画像（フィールド画像またはフレーム画像）を示している。図８（Ｂ）はフィールドシーケンシャル方式の立体画像フォーマットの例であり、ＬＮは時刻Ｎの左眼用画像（フィールド画像またはフレーム画像）、ＲＮは時刻Ｎの右眼用画像（フィールド画像またはフレーム画像）を示している。

図８（Ｂ）の立体画像フォーマットは、図３（Ｂ）の場合と比べて、立体画像が、同一時刻の左眼用画像ＬＮと右眼用画像ＲＮとで構成されていない。このため、図２の回路では、視差量に動き量が混ざったものになってしまい、誤判定が起こってしまう。図７の回路では、画像補間部３１において、第１の動きベクトルＢ０に基づいて、時間的に第１の画像Ｆ０（Ｌ０）と第３の画像Ｆ２（Ｌ２）との間に位置する画像Ｆ１’（Ｌ１）を、判定用の画像として、動き補償による画像補間処理により求める。

第２の動きベクトル検出部３２では、第１の画像Ｆ０（Ｌ０）と判定用の画像Ｆ１’（Ｌ１）との２枚の画像間の第２の動きベクトルＢ１を検出し、その第２の動きベクトルＢ１を両眼視差に相当する動きベクトルとする。フォーマット判定部３３は、第２の動きベクトルＢ１のみに基づいて判定処理を行う。ここで、入力画像が２次元画像である場合、第１の画像Ｆ０と判定用の画像Ｆ１’とが、ほぼ等価になるため、図９に示したような処理により、画像フォーマットの判定を行うことができる。

図９は、フォーマット判定部３３における判定処理の流れを示している。フォーマット判定部３３は、第２の動きベクトルＢ１が入力される（ステップＳ１１）と、第１の判定として、第２の動きベクトルＢ１が画面全体でほぼゼロ（静止）か否かを判定する（ステップＳ１２）。ここでは、画面内で絶対値が最大となる第２の動きベクトルＢ１の値が、所定の閾値ＴＨ１’以下のとき静止と判断する。静止していると判断した場合（ステップＳ１２：Ｙ）には、２次元画像フォーマットであると判定する。

静止していないと判断した場合（ステップＳ１２：Ｎ）には、ステップＳ１３，Ｓ１４の処理を行う。ステップＳ１３，Ｓ１４の処理は、実質的に図６のステップＳ３，Ｓ４の処理と同じである。ただし、ステップＳ１４の処理の後、ステップＳ１５，Ｓ１６の処理を行う。

ステップＳ１５では、過去の判定が数フレーム間、立体画像であるとの判定で前の画像が左目用画像と判定されたか否かを判定する。判定条件を満たさない場合（ステップＳ１５：Ｎ）には、右眼用画像と判断できるが２次元画像とみなす判断を行う。判定条件を満たす場合（ステップＳ１５：Ｙ）には、右眼用画像であると判断する。

ステップＳ１６では、過去の判定が数フレーム間、立体画像であるとの判定で前フレームが右目用画像と判定されたか否かを判定する。判定条件を満たさない場合（ステップＳ１６：Ｎ）には、左眼用画像と判断できるが２次元画像とみなす判断を行う。判定条件を満たす場合（ステップＳ１６：Ｙ）には、左眼用画像であると判断する。

＜その他の実施の形態＞
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。
例えば上記各実施の形態では、フィールドシーケンシャルな立体画像フォーマットに対応したものについて説明したが、他の立体画像フォーマットに対応させることができる。例えば、図２、図７の回路における信号遅延用のブロック（第１の画像メモリ２１、第２の画像メモリ２２）を、画面の左右分割処理回路等に置き換えることで、本発明の画像処理を他の立体画像フォーマットに対応させることができる。

Ｂ０…第１の動きベクトル、Ｂ１…第２の動きベクトル（両眼視差に相当する動きベクトル）、Ｐ０，Ｐ１，Ｐ２，Ｐ３…虚像、ＴＨ０…想定視聴距離、ＴＨ１…想定視差、１…信号入力部、２…画像処理部、３…信号出力部、４…表示パネル、５Ｌ…左眼、５Ｒ…右眼、１０…画像表示装置、２１…第１の画像メモリ、２２…第２の画像メモリ、２３…第１の動きベクトル検出部、２４…第２の動きベクトル検出部、２５…フォーマット判定部、３１…フレーム補間部、３２…第２の動きベクトル検出部、３３…フォーマット判定部。

Claims (8)

1. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部と
   を備え、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記第２の動きベクトル検出部において、前記第１ないし第３の画像における時間的に隣接する２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとし、
   前記フォーマット判定部は、
   前記第１の動きベクトルと前記第２の動きベクトルとの相関があるか否かを判定し、相関があった場合には２次元画像フォーマットであると判定し、
   相関がない場合には、さらに、前記両眼視差に相当する動きベクトルに基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値内であるか否かを判定し、前記所定の閾値内であった場合に立体画像フォーマットであると判定し、所定の閾値内でなかった場合に２次元画像フォーマットであると判定する
   画像処理装置。
2. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部と、
   画像補間部と
   を備え、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記画像補間部において、前記第１の動きベクトルに基づいて、時間的に前記第１の画像と前記第３の画像との間に位置する画像を、判定用の画像として画像補間処理により求め、
   前記第２の動きベクトル検出部において、前記第１の画像と前記判定用の画像との２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとする
   画像処理装置。
3. 前記フォーマット判定部は、
   前記両眼視差に相当する動きベクトルに基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値内であるか否かを判定し、前記所定の閾値内であった場合に立体画像フォーマットであると判定し、所定の閾値内でなかった場合に２次元画像フォーマットであると判定する
   請求項２に記載の画像処理装置。
4. 前記フォーマット判定部は、
   立体画像フォーマットであると判定された場合に、
   前記両眼視差に相当する動きベクトルの方向に基づいて、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定する
   請求項１ないし３のいずれか１項に記載の画像処理装置。
5. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを動きベクトル検出手段によって求めるステップと、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかをフォーマット判定部によって判定するステップと、
   立体画像フォーマットであると判定された場合にはさらに、前記フォーマット判定部によって、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するステップと
   を含み、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記第２の動きベクトル検出部において、前記第１ないし第３の画像における時間的に隣接する２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとし、
   前記フォーマット判定部は、
   前記第１の動きベクトルと前記第２の動きベクトルとの相関があるか否かを判定し、相関があった場合には２次元画像フォーマットであると判定し、
   相関がない場合には、さらに、前記両眼視差に相当する動きベクトルに基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値内であるか否かを判定し、前記所定の閾値内であった場合に立体画像フォーマットであると判定し、所定の閾値内でなかった場合に２次元画像フォーマットであると判定する
   画像処理方法。
6. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを動きベクトル検出手段によって求めるステップと、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかをフォーマット判定部によって判定するステップと、
   立体画像フォーマットであると判定された場合にはさらに、前記フォーマット判定部によって、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するステップと
   を含み、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記第１の動きベクトルに基づいて、時間的に前記第１の画像と前記第３の画像との間に位置する画像を、判定用の画像として画像補間処理により求め、
   前記第２の動きベクトル検出部において、前記第１の画像と前記判定用の画像との２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとする
   画像処理方法。
7. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部と、
   前記フォーマット判定部によって判定された画像フォーマットに従って前記入力画像信号に基づく画像表示を行う表示部と
   を備え、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記第２の動きベクトル検出部において、前記第１ないし第３の画像における時間的に隣接する２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとし、
   前記フォーマット判定部は、
   前記第１の動きベクトルと前記第２の動きベクトルとの相関があるか否かを判定し、相関があった場合には２次元画像フォーマットであると判定し、
   相関がない場合には、さらに、前記両眼視差に相当する動きベクトルに基づいて求められる両眼視差量の値が、立体視が成立する所定の閾値内であるか否かを判定し、前記所定の閾値内であった場合に立体画像フォーマットであると判定し、所定の閾値内でなかった場合に２次元画像フォーマットであると判定する
   画像表示装置。
8. フィールドシーケンシャル方式で入力された入力画像信号における時間的に連続する第１、第２および第３の画像に基づいて、前記入力画像信号を立体画像フォーマットとみなした場合における両眼視差に相当する動きベクトルを求める動きベクトル検出手段と、
   前記両眼視差に相当する動きベクトルに基づいて、前記入力画像信号が立体画像フォーマットであるか２次元画像フォーマットであるかを判定すると共に、立体画像フォーマットであると判定された場合にはさらに、現在入力されている画像が右眼用画像であるか左眼用画像であるかを判定するフォーマット判定部と、
   画像補間部と、
   前記フォーマット判定部によって判定された画像フォーマットに従って前記入力画像信号に基づく画像表示を行う表示部と
   を備え、
   前記動きベクトル検出手段として、第１の動きベクトル検出部と、第２の動きベクトル検出部とを有し、
   前記第１の動きベクトル検出部において、前記第１の画像と前記第３の画像との２枚の画像間の第１の動きベクトルを検出し、
   前記画像補間部において、前記第１の動きベクトルに基づいて、時間的に前記第１の画像と前記第３の画像との間に位置する画像を、判定用の画像として画像補間処理により求め、
   前記第２の動きベクトル検出部において、前記第１の画像と前記判定用の画像との２枚の画像間の第２の動きベクトルを検出し、その第２の動きベクトルを前記両眼視差に相当する動きベクトルとする
   画像表示装置。

Images