JP5493055B2 - 立体画像検査装置、立体画像処理装置、および立体画像検査方法 - Google Patents

Description

本開示は、立体画像を検査する立体画像検査装置、および、その検査結果を用いて立体画像を補正する立体画像処理装置に関する。

特許文献１には、立体画像として複数のカメラ等で撮影された画像を比較して奥行き情報等を取得する際に、オクルージョン部分等を特定する方法について記載されている。

特開平３−３０８０号公報

本開示は、立体画像、あるいはその一部が、左右反転している場合を判定する立体画像検査装置を提供する。

本開示における立体画像検査装置は、立体画像の奥行き情報を取得する奥行き取得部と、立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出するオクルージョン検出部と、検出されたオクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、評価した画像連続性に基づいて、隣接領域の中からオクルージョン領域が属する第１領域を特定し、奥行き情報に含まれた第１領域の奥行き位置を基にして、立体画像の奥行き矛盾の有無を判定する判定部とを備えている。

ここで、オクルージョン領域とは、左眼用画像と右眼用画像とに共通する画像範囲において、対象物と左右視点との位置関係によって、左眼用画像と右眼用画像の一方の画像には映し出されているが、他方の画像には映し出されていない領域のことをいう。

なお、本開示では、立体画像の左眼用画像と右眼用画像とが入れ替わっていることを、立体画像が「左右反転」している、あるいは、立体画像の左右画像が「反転」している、と表現している。

本開示における立体画像検査装置は、立体画像、あるいはその一部が、左右反転している場合に、これを検出することができる。

立体画像処理装置の一例としての、表示装置の機能構成例を示す図 図１の構成における映像処理部の機能構成例を示す図 立体画像におけるオクルージョンを説明するための図 図２の映像処理部における検査部の機能構成例を示す図 オクルージョン領域と隣接領域との画像連続性の評価方法を説明するための図 実施形態における検査処理を示すフローチャート 図２の映像処理部における検査部の他の機能構成例を示す図 オクルージョン領域と隣接領域との画像連続性の評価方法の他の例を説明するための図 追加情報を含む立体画像の例を示す図

立体画像信号において左眼用画像と右眼用画像とが誤って入れ替わってしまった場合、表示された立体画像は、奥行きが反転して、視聴者には非常に見づらいものになる。これは、左眼用画像が右眼で視聴され、右眼用画像が左眼で視聴されるため、画像全体の奥行きが不自然なものになるからである。

また、立体画像に編集過程や表示装置で重畳させる字幕が、左眼用画像と右眼用画像とで反転して挿入される場合がある。このような場合、字幕が挿入された立体画像は、部分的に、奥行き感に矛盾が感じられる画像となり、非常に見づらい立体画像となる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．基本構成］
図１は立体画像処理装置の一例としての、立体画像を表示可能な表示装置１００である。図１の表示装置１００は、ＨＤＭＩ部１０１と、ＢＤ部１０２と、チューナ部１０３と、ＭＰＥＧデコーダ１０４と、アナログ入力部１０５と、アナログ／デジタル変換部（Ａ／Ｄコンバータ）１０６と、映像処理部１０７と、ＣＰＵ１０８と、ＲＡＭ１０９と、ＲＯＭ１１０と、表示パネル１１１と、を備える。

ＨＤＭＩ部１０１は、表示装置１００の外部からＨＤＭＩケーブル等で映像信号等が入力される入力インタフェースである。ＢＤ部１０２は、Ｂｌｕ−ｒａｙディスク等の映像が記録された記録媒体から映像信号を読み出す。チューナ部１０３は、放送局やケーブルテレビ局から配信された放送信号を受信、復調し所望の映像信号を抽出して出力する。アナログ入力部１０５は、表示装置１００の外部からの映像をアナログ信号で受信するインタフェースである。なお、ＨＤＭＩ部１０１、ＢＤ部１０２、チューナ部１０３およびアナログ入力部１０５は、必ずしもその全てが必要ではなく、また、他の入力手段を設けてもかまわない。

ＭＰＥＧデコーダ１０４は、ＢＤ部１０２やチューナ部１０３等から入力された符号化された映像信号を復号する。Ａ／Ｄコンバータ１０６は、アナログ入力部１０５から入力されたアナログ映像信号をデジタル信号に変換する。

映像処理部１０７は、ＨＤＭＩ部１０１、ＭＰＥＧデコーダ１０４、Ａ／Ｄコンバータ１０６等から入力された映像信号に、各種の処理を行う。具体的な処理内容等については、後述する。

ＣＰＵ１０８は、表示装置１００全体を制御するものであり、特に、映像処理部１０７へ各種の制御指示を出し、好適な映像信号処理を実行させる。ＲＡＭ１０９は、ＣＰＵ１０８がプログラム等を実行する際の各種変数の一時保持の場所等として使用される記憶領域である。ＲＯＭ１１０は、ＣＰＵ１０８が動作するために必要なプログラム等を保持しておく記憶領域である。

表示パネル１１１は、映像処理部１０７で処理された映像信号を、利用者等に表示する。表示パネル１１１は、具体的にはプラズマ表示パネル（ＰＤＰ）や、液晶表示パネル（ＬＣＤ）等を用いることが可能である。

図２は映像処理部１０７内部の機能構成を示した図である。図２では、映像処理部１０７は、検査部２０１と、補正部２０２と、３Ｄ高画質化処理部２０３と、を有する。

検査部２０１は、入力された立体画像における奥行き矛盾の有無を判定する。補正部２０２は、検査部２０１による判定結果を用いて、立体画像に奥行き矛盾があるときは、検査結果に基づいて立体画像を補正して出力する。検査部２０１および補正部２０２の具体的な処理内容については後述する。

３Ｄ高画質化処理部２０３は、表示する立体画像に対して高画質化処理を行う。高画質化処理として、例えばノイズ除去処理、クロストークキャンセル処理、輪郭強調処理、色補正処理等がある。この３Ｄ高画質化処理部２０３の処理内容は従来と同様であるため、ここでは詳細な説明を省略する。

［１−２．検査部の構成および動作］
図３は立体画像におけるオクルージョンを説明するための図である。図３（ａ）は立体画像の撮影時におけるカメラと対象物の位置関係の例であり、上方向から見た場合を示している。図３（ａ）では、左眼用画像撮影カメラＣＡＬと右眼用画像撮影カメラＣＡＲが、背景ＢＧの前に存在する被写体ＳＢを撮影している。被写体ＳＢは立体画像の主対象物であり、左右方向（カメラＣＡＬ，ＣＡＲを結ぶ方向と平行）にある程度の寸法を有している。ただし、前後方向の寸法は短く、撮影距離からすると十分小さいものとする。

図３（ｂ）は左眼用画像撮影カメラＣＡＬで撮影した画像、図３（ｃ）は右眼用画像撮影カメラＣＡＲで撮影した画像である。図３（ｂ）において、領域ＯＣＬは左眼用画像撮影カメラＣＡＬのみで撮影できた領域である。図３（ｃ）において、領域ＯＣＲは同様に右眼用画像撮影カメラＣＡＲのみで撮影できた領域である。これらの領域ＯＣＬ，ＯＣＲは、両方の撮影カメラＣＡＬ，ＣＡＲの撮影範囲内に入っているものの、カメラＣＡＬ，ＣＡＲと被写体ＳＢとの位置関係によって、被写体ＳＢに隠れてしまい、一方のカメラに映らなくなってしまっている部分である。このような現象を「オクルージョン」といい、このような現象が生じている領域を「オクルージョン領域（遮蔽領域）」という。なお、図３（ｂ）の領域Ｅ１、および図３（ｃ）の領域Ｅ２は、オクルージョン領域ではなく、単に、他方のカメラの撮影範囲に含まれていない領域である。

本開示では、立体画像におけるオクルージョン領域を利用して、立体画像の奥行き矛盾の有無を判定する。

図４は図２の映像処理部１０７における検査部２０１のブロック図である。検査部２０１は、奥行き取得部４０１と、オクルージョン検出部４０２と、エッジ検出部４０３と、判定部４０４と、を有する。

奥行き取得部４０１は、入力された立体画像の奥行き情報を取得し、判定部４０４に出力する。奥行き情報は、立体画像の領域毎の奥行き位置（視差の情報）を示すものである。立体画像は通常、左右方向に視差が与えられており、各領域の左右ずれの大きさから、その領域の奥行き位置が特定される。このため、奥行き位置は一般に、左右画像の領域ごとの対応関係から取得することができる。例えば、左眼用画像内のある領域（基準領域）に対応する、右眼用画像内の領域（特定領域）を特定する。そして、基準領域の左眼用画像内での位置と、特定領域の右眼用画像内での位置とに基づいて、基準領域の奥行き位置を決定することができる。

奥行き取得部４０１は、各領域の被写体の奥行き位置（深度）を数値化する。この数値化の際にどの奥行き位置を基準とするかは任意である。そして奥行き取得部４０１は、画像全体の奥行き値を表す奥行き情報を判定部４０４に出力する。なお、例えば取得した奥行き位置を、手前ほど小さい値、奥ほど大きい値として設定し、小さい値ほど黒い色、大きい値ほど白い色、として画面全体で表示すれば、奥行き位置を視覚的に把握できる奥行き画像を得ることができる。

なお、ここで紹介した方法は、立体画像が有する奥行き位置を取得する１つの方法であり、奥行き位置の取得方法を限定するものではない。例えば、立体画像とともに奥行き情報が送られてくる場合は、その奥行き情報をそのまま利用してもかまわない。

オクルージョン検出部４０２は、左右画像から、オクルージョン領域を検出し、検出したオクルージョン領域を特定する情報を判定部４０４に出力する。ここでの検出は、例えば次のような方法で行う。左眼用画像のオクルージョン領域を検出する場合、上述した奥行き位置を取得する方法と同様に、左眼用画像内の基準領域に対応する、右眼用画像の特定領域を探索する。この際、対応する特定領域が見つからない領域がある。図３（ｂ）の例では、左端の領域Ｅ１や領域ＯＣＬである。そして、領域Ｅ１については、左右画像の視点の位置から、右眼用画像の範囲に含まれていないことが予め分かるので、除外される。一方、領域ＯＣＬは、左右画像の範囲に共通に含まれているが、右眼用画像内には見つからず、左眼用画像のみに出現する部分である。このような領域を左眼用画像のオクルージョン領域として特定する。右眼用画像のオクルージョン領域についても、同様に、右眼用画像内の基準領域に対応する、左眼用画像の特定領域を探索することによって特定できる。

なお、オクルージョン領域の検出は、上述した方法に限定されるものではなく、他の方法を用いてもかまわない。例えば、立体画像とともに奥行き情報が送られてくる場合は、その奥行き情報から、奥行き位置が検出されていない領域をオクルージョン領域と判断してもよい。また、上述した方法では、一方の画像内の基準領域に対応する、他方の画像内の特定領域を探索する処理は、奥行き位置の検出とオクルージョン領域の検出とで共通している。このため、奥行き位置の検出とオクルージョン領域の検出とを併せて行ってもかまわない。

エッジ検出部４０３は、入力される立体画像から当該立体画像内のエッジ（輪郭）を抽出する。エッジの抽出は、従来方法のＤＣＴやソーベルフィルタ等を用いて実現できる。エッジ検出部４０３は、検出した立体画像のエッジ（輪郭）情報を判定部４０４へ出力する。

判定部４０４は、奥行き取得部４０１から送られた奥行き情報、オクルージョン検出部４０２から送られたオクルージョン領域を特定する情報、およびエッジ検出部４０３から送られたエッジ情報に基づいて、立体画像における奥行き矛盾の有無を判定する。判定部４０４は、エッジ情報を基にして、検出されたオクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、隣接領域の中から、オクルージョン領域が属する領域を特定する。そして、奥行き情報に含まれた、この領域の奥行き位置を基にして、立体画像に奥行き矛盾があるか否かを判定する。

図３（ｂ）の例では、オクルージョン領域ＯＣＬと被写体ＳＢとの境界のエッジ強度（輪郭の強さ）が、オクルージョン領域ＯＣＬと背景ＢＧとの境界のエッジ強度よりも大きくなる。これは、オクルージョン領域ＯＣＬは通常、背景側に含まれているため、画像でも連続した領域となるのに対して、被写体ＳＢと背景ＢＧとは対象が異なっており、オクルージョン領域ＯＣＬと被写体ＳＢとは異なる奥行き位置を有しているからである。このため、オクルージョン領域ＯＣＬと被写体ＳＢ（前景側）との境界は不連続となり、エッジ強度が相対的に大きくなる。

図５は図３（ｂ）の画像におけるオクルージョン領域周辺を拡大した図である。図５を用いて、判定部４０４の処理の例を具体的に説明する。オクルージョン領域ＯＣＬに隣接する領域として、隣接領域Ａ１〜Ａ４がある。隣接領域Ａ１〜Ａ４はそれぞれ、オクルージョン領域ＯＣＬの上、左、下および右に隣接している。判定部４０４は、オクルージョン領域ＯＣＬと隣接領域Ａ１〜Ａ４との境界付近において比較的大きいエッジが存在するか否かを、エッジ情報を基にして判断する。ここでは、右側の隣接領域Ａ４との境界付近で大きなエッジが生じていることが分かる。これは、上述したとおり、オクルージョン領域ＯＣＬの右に、オクルージョン領域ＯＣＬよりも奥行き位置が手前（前景側）にある被写体ＳＢが存在するためである。一方、オクルージョン領域ＯＣＬと隣接領域Ａ１〜Ａ３との境界付近では、エッジ強度が所定値よりも小さい。

この結果から、判定部４０４は、オクルージョン領域ＯＣＬは、隣接領域Ａ４には属さず、他の隣接領域Ａ１〜Ａ３に属するものと判定する。そして、オクルージョン領域ＯＣＬの奥行き位置は、隣接領域Ａ１〜Ａ３の奥行き位置と近く、隣接領域Ａ４の奥行き位置とは異なるものと判定する。なお、ここでは、オクルージョン領域ＯＣＬと上下左右に隣接する領域とについて、画像連続性を評価するものとしたが、例えば、オクルージョンの発生原理を鑑みれば、左右方向に隣接する領域との画像連続性を評価するだけでもかまわない。ただし、上下方向を含め、オクルージョン領域の周囲をより大きな範囲で画像連続性を評価する方が、判定精度の面で好ましいといえる。

そして、判定部４０４は、奥行き情報から、各隣接領域Ａ１〜Ａ４の奥行き位置を読み出す。そして、例えば、オクルージョン領域ＯＣＬが属する隣接領域Ａ１〜Ａ３の奥行き位置が背景側にあり、オクルージョン領域ＯＣＬが属さない隣接領域Ａ４の奥行き位置が前景側にあるときは、奥行き矛盾はなく、立体画像は正常である、と判定する。一方、オクルージョン領域ＯＣＬが属する隣接領域Ａ１〜Ａ３の奥行き位置が前景側にあり、オクルージョン領域ＯＣＬが属さない隣接領域Ａ４の奥行き位置が背景側にあるときは、奥行き矛盾があり、立体画像は正常ではない、と判定する。この場合は、視聴者には、被写体ＳＢが背景ＢＧにめり込んだような立体画像が知覚される。このような場合には、立体画像の左眼用画像と右眼用画像が入れ替わっていると推定される。

なお、上の説明では、オクルージョン領域が属する隣接領域とオクルージョン領域が属さない隣接領域とで奥行き位置を比較することによって、奥行き矛盾の有無を判定している。ただしこの他にも例えば、オクルージョン領域が属する隣接領域は通常は背景に近いので、オクルージョン領域が属する隣接領域の奥行き位置を所定のしきい値と比較することによって、奥行き矛盾の有無を判定してもよい。

なお、判定部４０４の処理は、左眼用画像と右眼用画像のいずれか一方について実行してもよいし、両方について実行してもかまわない。両方について実行する場合は、例えば左右画像で奥行き矛盾と判定された場合に立体画像は正常ではないと判定することによって、判定結果の信頼度はより高まる。左眼用画像と右眼用画像の一方について実行する場合は、判定処理の負荷をより軽減できる。なお、左眼用画像と右眼用画像のいずれか一方について実行する場合は、オクルージョン検出部４０２はその一方の画像についてオクルージョン領域を検出すればよい。

以上説明したような処理の結果、検査部２０１から、奥行き矛盾判定情報が出力される。図６は上記の処理の流れを示すフローチャートである。なお、図６に示す処理は、図１の映像処理部１０７の代わりに、ＣＰＵ１０８が実行するプログラムとして実現されてもよい。

（ステップＳ１１）入力された立体画像の奥行き位置に関する奥行き情報を取得する。

（ステップＳ１２）入力された立体画像のオクルージョン領域を検出する。

（ステップＳ１３）入力された立体画像の左右画像からエッジを検出する。なお、ステップＳ１１〜Ｓ１３は、この順序で行う必要はなく、異なる順序で行ってもよいし、並行して行ってもよい。

（ステップＳ１４）奥行き情報、オクルージョン領域情報、およびエッジ情報に基づいて、オクルージョン領域が属する領域を特定し、その領域の奥行き位置に基づいて、立体画像の奥行き矛盾の有無を判定する。

［１−３．補正部の動作］
補正部２０２は、検査部２０１から出力された奥行き矛盾判定情報に基づいて、立体画像を補正する。例えば、補正部２０２は、検査部２０１によって立体画像に奥行き矛盾があると判定されたときは、立体画像の左眼用画像と右眼用画像とを入れ替える。これにより、誤って左右画像が入れ替わってしまっている立体画像を、検査部２０１によって奥行き矛盾を検出することによって、補正して出力することが可能となる。

［１−４．効果］
以上のように本実施形態では、立体画像の奥行き情報を取得し、立体画像の左右画像の少なくともいずれか一方から、オクルージョン領域を検出する。そして、エッジ情報を用いて、オクルージョン領域とその隣接領域との画像連続性を評価し、オクルージョン領域が属する領域を特定する。この特定した領域の奥行き位置を基にして、立体画像の奥行き矛盾の有無を判定する。

これにより、入力された立体画像の左右画像が反転していた場合であっても、立体画像の奥行き矛盾から、この反転を自動的に検出することができる。そして、奥行き矛盾を有する立体画像については、例えば左右画像を反転してから、後段の処理を行うことによって、誤って左右反転していた立体画像であっても、視聴者に好適な表示が可能となる。

（変形例１）
上述した実施形態では、オクルージョン領域と隣接領域との画像連続性の評価を、エッジ情報を用いて行うものとした。ただし、画像連続性の評価は、他の情報を用いても可能である。例えば、輝度情報、色分布情報、画像の周波数成分などを用いてもよい。あるいは、これらの組み合わせを用いてもよい。

ここでは、輝度情報を用いて、オクルージョン領域と隣接領域との画像連続性を評価する方法を説明する。図７はこの場合の検査部２０１の構成を示す図である。図４との相違は、エッジ検出部４０３の代わりに輝度算出部７０３を、判定部４０４の代わりに判定部７０４を、備えている点である。

輝度算出部７０３は、オクルージョン検出部４０２によって検出されたオクルージョン領域と、このオクルージョン領域に隣接する領域の輝度を算出する。具体的には例えば、オクルージョン領域や隣接領域の、平均輝度、最大輝度、最小輝度、輝度幅等を算出するる。算出した値は、輝度情報として判定部７０４に出力される。

判定部７０４は、輝度算出部７０３から出力された輝度情報を用いて、オクルージョン領域と隣接領域との画像連続性を評価する。図８は図３（ｂ）の画像におけるオクルージョン領域周辺を拡大した図である。図８を用いて、判定部７０４の処理の例を具体的に説明する。

図８では、オクルージョン領域ＯＣＬと隣接領域Ａ１〜Ａ４について、括弧内に平均輝度を示している。オクルージョン領域ＯＣＬの平均輝度は２３０、隣接領域Ａ１〜Ａ３の平均輝度は２５５、隣接領域Ａ４の平均輝度は１２０である。判定部７０４は、平均輝度から、オクルージョン領域ＯＣＬは、隣接領域Ａ１〜Ａ３と連続姓が高く、隣接領域Ａ４とは連続性が低いと判断する。それ以降は、上述した方法と同様に、隣接領域Ａ１〜Ａ４の奥行き位置を用いて、立体画像の奥行き矛盾の有無を判定すればよい。

被写体と背景との色合いや被写体の形状等に起因して画像上でエッジが見えにくい場合であっても、輝度を用いれば、オクルージョン領域周辺の画像連続性をより正確に判断できる可能性がある。このため例えば、エッジと輝度を組み合わせて画像連続性を評価すれば、評価精度はより一層向上する。

（変形例２）
上述した実施形態では、補正部２０２は、検査部２０１によって立体画像に奥行き矛盾があると判定されたときは、立体画像の左眼用画像と右眼用画像とを入れ替えるものとしたが、補正部２０２の処理はこれに限定されるものではない。

例えば補正部２０２は、立体画像に奥行き矛盾があると判定されたとき、立体画像に警告情報を挿入してもよい。すなわち、立体画像を補正しないで、ＯＳＤ（On Screen Display）等を用いて、立体画像の左右が反転していることを視聴者に通知するようにしてもよい。この場合、視聴者からの明示的な操作を受けて、立体画像の左右画像を入れ替える処理を行うようにしてもよい。これにより、意図的に左右画像を反転させたような試験的立体画像について、表示装置１００が勝手に左右画像を入れ替えることを防ぐことができる。

さらに、別の方法として、補正部２０２は、立体画像に奥行き矛盾があると判定されたとき、立体画像の左眼用画像と右眼用画像のいずれか一方のみを出力してもよい。すなわち、立体画像の左右が反転しているとき、立体画像の表示を中止し、従来の２Ｄ方式で画像を表示するようにしてもよい。この場合には、視聴者は不快に立体映像を視聴することなく、従来通りの２Ｄ映像を視聴することができる。この場合でも、ＯＳＤ等を用いて立体映像の左右が反転していることを通知してもよい。

（実施の形態２）
本実施の形態では、実施の形態１と相違する部分を中心に説明する。実施の形態１と実質的に同様の部分については、重複説明を省略する場合がある。

例えば図９に示すように、立体画像には、撮影時の被写体以外に、字幕等の追加情報９０１が含まれている場合がある。このような追加情報９０１には、立体画像を撮影後に映像編集等の段階で映像に挿入された情報、例えば字幕や、Ｃｌｏｓｅｄ Ｃａｐｔｉｏｎなどが該当する。そして、撮影され表示された立体画像は正常であるものの、字幕等の追加情報９０１の表示のみが左右反転しており、奥行き矛盾を有している場合がある。このような場合に対処するために、本実施の形態では、立体画像を所定の領域に分割し、実施形態１で説明した検査部２０１および補正部２０２の処理を、当該領域ごとについて行う。そして例えば、奥行き矛盾を有する領域についてのみ、左右画像の入れ替えを行う。

なお、追加情報９０１の表示位置が予め特定されている場合は、当該部分のみにおいて、実施の形態１で説明した処理を行ってもよい。

また、追加情報９０１の部分のみが左右反転しており、立体画像そのものは正常である場合、補正部２０２は、追加情報９０１の部分を特定の色で表示し、当該部分の映像が奥行き矛盾を有していることを視聴者に通知してもよい。また別の方法として、補正部２０２は、追加情報９０１の部分の表示を、左右画像のいずれか一方の表示に統一してもよい。これにより、少なくとも当該部分は２Ｄ画像と同じ表示になり、違和感を解消することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

実施の形態１，２では、本開示に係る立体画像処理装置を、３Ｄ画像を表示可能な表示装置１００として実現する場合を例にとって説明したが、本開示はこれに限定されない。例えば、本開示に係る立体画像処理装置を、立体画像を記録・再生する記録再生装置として実現してもよい。すなわち、上述したような検査部２０１および補正部２０２を備え、与えられた立体画像に奥行き矛盾があるときは、これを補正して出力する立体画像処理装置であればよい。この立体画像処理装置は、与えられた立体画像が左右反転したものであっても、正常な立体画像を出力することができる。

また、本開示の内容は、例えば、上述した検査部２０１を備え、与えられた立体画像が奥行き矛盾を有しているか否かの検査結果を出力する立体画像検査装置として実現することも可能である。この立体画像検査装置を用いれば、立体画像が正常であるか否かを容易に判別できる。そして、この立体画像検査装置と、上述した補正部２０２とを組み合わせることによって、本開示の立体画像処理装置が実現される。

さらに、実施の形態１，２で説明した方法を、ＣＰＵ１０８などで処理するプログラムとして実現することもできる。この場合には、図１で示した映像処理部１０７の実体がプログラムとして実現され、ＣＰＵ１０８上で実行される。

また、実施の形態１，２で説明した方法を、ＰＬＤ（Plogrammable LogicDevice）や集積回路（ＩＣ）などハードウェア構成によって実現するものであってもよい。この場合は、ソフトウェアプログラムと比較して、処理を比較的短時間で実現できる場合が多い。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、立体画像の左右反転を検出する立体画像処理装置や立体画像検査装置に適応可能である。具体的には、立体画像を表示するＴＶ装置、立体画像を記録・再生等する記録再生装置などに、本開示は適用可能である。

１０７ 映像処理部
２０１ 検査部
２０２ 補正部
４０１ 奥行き取得部
４０２ オクルージョン検出部
４０３ エッジ検出部
４０４ 判定部
７０３ 輝度算出部
７０４ 判定部

Claims (7)

1. 立体画像の奥行き情報を取得する奥行き取得部と、
   前記立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出するオクルージョン検出部と、
   検出された前記オクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、評価した画像連続性に基づいて、画像連続性がある隣接領域を前記オクルージョン領域が属する第１領域として特定し、前記奥行き情報に基づいて、前記第１領域の奥行き位置が、他の隣接領域の奥行き位置よりも前景側にあるときに、前記立体画像に奥行き矛盾があると判定する判定部とを備えた
   ことを特徴とする立体画像検査装置。
2. 請求項１記載の立体画像検査装置において、
   前記オクルージョン領域と前記隣接領域との画像連続性を、前記立体画像の輪郭情報、輝度情報、色分布情報、および、周波数成分のうち少なくともいずれか１つを用いて、評価する
   ことを特徴とする立体画像検査装置。
3. 請求項１記載の立体画像検査装置と、
   前記判定部による判定結果に基づいて、前記立体画像を補正する補正部とを備えた
   ことを特徴とする立体画像処理装置。
4. 請求項３記載の立体画像処理装置において、
   前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像の左眼用画像と右眼用画像とを入れ替える
   ことを特徴とする立体画像処理装置。
5. 請求項３記載の立体画像処理装置において、
   前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像に警告情報を挿入する
   ことを特徴とする立体画像処理装置。
6. 請求項３記載の立体画像処理装置において、
   前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像の左眼用画像および右眼用画像のいずれか一方のみを出力する
   ことを特徴とする立体画像処理装置。
7. 立体画像の奥行き情報を取得し、
   前記立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出し、
   検出した前記オクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、
   評価した画像連続性に基づいて、画像連続性がある隣接領域を前記オクルージョン領域が属する第１領域として特定し、
   前記奥行き情報に基づいて、前記第１領域の奥行き位置が、他の隣接領域の奥行き位置よりも前景側にあるときに、前記立体画像に奥行き矛盾があると判定する
   ことを特徴とする立体画像検査方法。

Images