JP5347987B2

JP5347987B2 - 映像処理装置

Info

Publication number: JP5347987B2
Application number: JP2010009669A
Authority: JP
Inventors: 邦男山田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-01-20
Filing date: 2010-01-20
Publication date: 2013-11-20
Anticipated expiration: 2030-01-20
Also published as: JP2011151517A

Description

本発明は映像処理装置に係り、特に複数組の光学系でそれぞれ撮影された画像に基づいて、ステレオ画像又は擬似ステレオ画像を生成する映像処理装置に関する。

近年、立体映像への関心が高まり、映画等のコンテンツの視聴のみならず、一般ユーザー向けに立体映像の取得が可能な、２組の光学系を有するステレオカメラが販売されている。また、近年は過去の立体映像のブームなどと比較すると、立体視聴に関する生体影響・安全性に関する関心が高く、人間の視覚に大きな負担のかかるような立体映像を出力しないことが、特に民生用の機器については求められている。

更に一方で、非立体画像の擬似立体視による鑑賞を可能にするために、通常の２次元の静止画もしくは動画、すなわち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元の画像（非立体画像）から擬似的な３次元の画像（立体化画像；以下、ステレオ画像ともいう）に変換（以下、これを“2D/3D変換“という）する技術の開発も行われている（例えば、特許文献１参照）。

特許第４２１４９７６号公報

前記のステレオカメラは多くの場合、カメラの筐体に眼間距離程度の間隔で２組の光学系を有するものである。このようなカメラは人間（もしくは動物）の両眼立体視を模したものであるので、立体感を持って対象を捉えることが可能なのは、対象を両目で見ることが可能で、かつ、両目で捉えたシーンに適度な視差が得られるような距離にあることに限定される。

この距離はレンズ・光軸の設計・設定にもよるが、広く見積もって１〜３０メートル程度と考えることが妥当である。距離が短すぎる場合は、人間が至近のものを見るときに両眼立体視をせずに片目主体で見ていることから推測できるように、ステレオカメラの左右のチャネルに入力する画像は適度な視差を持つ画像というよりは、かなり異なる画像になってしまう。これにより、距離が短すぎる場合は、人間にとってステレオ画像として融合して立体視することが完全に不可能になるか、もしくは、可能であっても立体視にかなり大きな疲労や違和感を与えることになり、生体影響・安全性の面で好ましくない。

一方、距離が長すぎる場合は、人間の場合は左右の目に入力するシーンが視差の無い同一なものになってしまうゆえに立体感が得られないという事態になる。しかし、ステレオカメラの場合には非常に精度高く左右の両チャネルの光軸を平行にすることは困難であり、テレ端近くまでズームアップした場合に遠方の同じ箇所を同じように捉えることは困難であり、この場合も左右の両チャネルに入力する画像はかなり異なる画像になってしまい、距離が短い場合と同様に生体影響・安全性の面で好ましくない。

本発明は以上の点に鑑みなされたもので、接写又はテレ端よりのズームを行ったような場合には、ステレオ画像の替りに擬似ステレオ画像を生成することにより、視聴者の立体視に大きな疲労や違和感を与えることのないステレオ画像を生成し得る映像処理装置を提供することを目的とする。

上記目的を達成するため、第１の発明の映像信号処理装置は、ステレオ画像を構成する左目画像と右目画像との間の類似度を判定する類似度判定手段と、左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、類似度を示す数値と予め設定した閾値とを比較し、類似度を示す数値が閾値以下のときは２Ｄ／３Ｄ変換手段により生成された擬似ステレオ画像を選択し、類似度を示す数値が閾値より大きいときは入力されたステレオ画像を選択する画像選択手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明の映像信号処理装置は、被写体を撮影して左目画像を出力する第１の光学系及び被写体を撮影して右目画像を出力する第２の光学系と、被写体との間の距離を検出する距離センサと、左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、距離センサにより検出された距離の検出結果を示す数値と予め設定した閾値とを比較し、距離の検出結果を示す数値が閾値以下のときは２Ｄ／３Ｄ変換手段により生成された擬似ステレオ画像を選択し、距離の検出結果を示す数値が閾値より大きいときは入力された左目画像及び右目画像からなるステレオ画像を選択する画像選択手段とを有することを特徴とする。

更に、上記の目的を達成するため、第３の発明の映像信号処理装置は、被写体を撮影して左目画像を出力する第１の光学系及び前記被写体を撮影して右目画像を出力する第２の光学に対してそれぞれズーム処理を行い、そのズーム状態を判定するズーム状態判定手段と、左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、ズーム状態判定手段によるズーム状態の判定結果示す数値と予め設定した閾値とを比較し、前記ズーム状態の判定結果を示す数値が前記閾値以下のときは前記２Ｄ／３Ｄ変換手段により生成された前記擬似ステレオ画像を選択し、前記ズーム状態を示す数値が前記閾値より大きいときは入力された前記左目画像及び前記右目画像からなるステレオ画像を選択する画像選択手段とを有することを特徴とする。

本発明によれば、視聴者がステレオ画像として融合して立体視することが完全に不可能になることはなく、また立体視にかなり大きな疲労や違和感を与えることのないステレオ画像を常に生成することができる。

本発明の映像処理装置の第１の実施の形態のブロック図である。図１に示す装置の動作説明用フローチャートである。本発明の映像処理装置の第２の実施の形態のブロック図である。図３に示す装置の動作説明用フローチャートである。本発明の映像処理装置の第３の実施の形態のブロック図である。図５に示す装置の動作説明用フローチャートである。

以下、図面と共に本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明になる映像処理装置の第１の実施の形態のブロック図を示す。図１に示すように、本実施の形態の映像処理装置１００は、左チャンネル（Ｌｃｈ）のレンズ１０１、右チャンネル（Ｒｃｈ）のレンズ１０２、Ｌｃｈの撮像素子１０３、Ｒｃｈの撮像素子１０４、類似度判定部１０５、チャネルセレクタ部１０６、２Ｄ／３Ｄ変換部１０７、ステレオ／擬似ステレオセレクタ部１０８、ステレオ画像記録部１０９及びステレオ画像表示部１１０より構成される。

レンズ１０１とレンズ１０２とは、それらの光軸の間隔が人間の左右の眼間距離程度の間隔に設定されている。撮像素子１０３及び１０４は、それぞれレンズ１０１及び１０２を通して同一の被写体を撮像する。レンズ１０１及び撮像素子１０３はＬｃｈの光学系を構成しており、左目映像信号を出力する。レンズ１０２及び撮像素子１０４はＲｃｈの光学系を構成しており、右目映像信号を出力する。ステレオ／擬似ステレオセレクタ部１０８は、画像選択手段を構成している。

次に、本実施の形態の映像処理装置１００の動作について、図２のフローチャートを併せ参照して説明する。撮像素子１０３は、レンズ１０１を通して入力された被写体からの入射光を光電変換し、更に公知の撮像処理を行って左目映像信号（左目画像）を生成して出力する。これと同時に、もう一方の撮像素子１０４はレンズ１０２を通して入力された上記被写体からの入射光を光電変換し、更に公知の撮像処理を行って右目映像信号（右目画像）を生成して出力する。このようにして生成された左目映像信号（左目画像）と右目映像信号（右目画像）とは、ステレオ画像として類似度判定部１０５、チャネルセレクタ部１０６及びステレオ／擬似ステレオセレクタ部１０８にそれぞれ入力される（ステップＳ１）。

類似度判定部１０５は、入力されたステレオ画像を構成する左右の各映像信号の数値化された類似度を公知の方法により判定する（ステップＳ２）。例えば、この類似度判定方法としては、入力された二つの画像をそれぞれ別々にディジタル化し、それらのディジタル画像を水平方向及び垂直方向のそれぞれについて複数のセルに分割し、各セル内の色を平均化した第１の情報と、２値化してからセル内の濃度を計算した第２の情報とを抽出し、二つの画像のそれぞれについて抽出した第１の情報同士と、第２の情報同士とを比較して誤差を求め、誤差が小さいほど類似していると判定する方法（特開平１１−３１１５３号公報参照）などを用いることができる。類似度判定部１０５は、上記の公知の類似度判定方法により、ステレオ画像を構成する左目画像と右目画像との誤差の値が小さいほど（類似しているほど）大きな値の類似度を生成する。

ステレオ／擬似ステレオセレクタ部１０８は、類似度判定部１０５により得られた数値化された類似度と予め設定されている所定の閾値とを比較し、類似度が閾値より大きいときには、入力されたステレオ画像を構成する左目画像と右目画像とが類似しているので、入力されたステレオ画像には適度な視差が得られていると判断して、入力されたステレオ画像を選択する。一方、ステレオ／擬似ステレオセレクタ部１０８は、入力されたステレオ画像を構成する左目画像と右目画像との間の誤差が大きく、類似度が低く閾値以下のときには、入力されたステレオ画像には適度な視差が得られていないと判断して、２Ｄ／３Ｄ変換部１０７により生成された擬似ステレオ画像を選択する（以上、ステップＳ３）。なお、この閾値は実験的に決定するものとする。

ステレオ／擬似ステレオセレクタ部１０８により、撮像素子１０３、１０４からのステレオ画像が選択される場合は、これがそのままステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ４）。

一方、チャネルセレクタ部１０６は、入力されたステレオ画像を構成する左右の各画像のどちらを２Ｄ/３Ｄ変換して使用するかを決定するチャネル設定を行う（ステップＳ５）。このチャネルセレクタ部１０６によるチャネル設定は、ユーザーが選択可能にしてもよいし、設計においてどちらか一方に決定するものであっても構わない。

２Ｄ／３Ｄ変換部１０７は、チャネルセレクタ部１０６により使用することが決定された一つのチャネルの画像（すなわち、非立体画像）を入力画像として受け、公知の２Ｄ／３Ｄ変換方法で擬似ステレオ画像に変換する（ステップＳ６）。この２Ｄ／３Ｄ変換部１０７としては、例えば本発明者により前記特許文献１にて開示した公知の擬似立体画像作成装置を用いることができる。この特許文献１に記載の擬似立体画像作成装置は、２次元の静止画の画像内容からシーンの基本的な奥行き構造を、“経験知からあるタイプのシーンの構造が比較的近い可能性が高いので選択する”という程度に推定し、誤判定された場合でも違和感の小さいものを採用する、所謂フェイルセーフの思想に基づき、擬似的な立体画像を作成する装置である。

具体的には、この特許文献１に記載の擬似立体画像作成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す基本奥行きモデルを発生する発生手段と、供給される非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する算定手段と、複数の基本奥行きモデルを、算定手段により算定された値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを作成する奥行き推定データ作成手段と、この奥行き推定データと非立体画像とから擬似的な立体画像（擬似ステレオ画像）を作成する作成手段とを有する装置である。

なお、上記の複数の基本奥行きモデルには、球面状の凹面による第１の奥行きモデルや、第１の奥行きモデルの上部を球面でなく、アーチ型の円筒面に置き換えた第２の奥行きモデルや、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状とした第３の奥行きモデルなどがある。

また、上記の算定手段では、非立体画像の輝度信号の高域成分の評価値を画面上部約２０％の領域及び画面下部約２０％の領域のそれぞれについて算定する。また、上記の合成手段では、上記の第１の奥行きモデルを基本にしながらも、画面上部約２０％の領域の高域成分が少ない場合には、画面上部に空若しくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした上記の第２の奥行きモデルの合成比率を他の奥行きモデルに対して増加させる。一方、画面下部約２０％の領域の高域成分が少ない場合には、画面下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きの小さくなる上記の第３の奥行きモデルの合成比率を他の奥行きモデルに対して増加させる。

このような構成の２Ｄ／３Ｄ変換部１０７により生成された擬似ステレオ画像が、ステレオ／擬似ステレオセレクタ部１０８により選択された場合は、その擬似ステレオ画像がステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ７）。

このように、本実施の形態の映像処理装置１００によれば、左目画像と右目画像との類似度が低く閾値以下のときには、入力されたステレオ画像には適度な視差が得られていないと判断して、擬似ステレオ画像を表示・記録するようにしている。ここで、上記の左目画像と右目画像とが類似していない例としては、例えば、接写若しくはテレ端寄りのズームを行うことで撮像での視差が強すぎる場合や、撮影や編集でのミスなどにより片チャネルの欠落がある場合も含まれる。このような左目画像と右目画像とが類似していないステレオ画像は、不適切で生体影響・安全性の面で問題がある。

そこで、本実施の形態では、ステレオ画像のコンテンツでの上記に挙げた問題のあるフレーム期間のみについて、上記の擬似ステレオ画像を生成する映像信号処理を行うことで、より自然で安全な擬似ステレオ画像に差し替えることを可能としている。

なお、図１において、ステレオ画像記録部１０９、ステレオ画像表示部１１０にステレオ／擬似ステレオセレクタ部１０８から入力される矢印は１本で図示してあるが、それぞれステレオ画像のペアもしくは擬似ステレオ画像のペアが入力されるものとする。

また、図１では撮像素子１０３、１０４から入力されるステレオ画像に対する信号処理を行う例について説明したが、これに限らず、一般のステレオ画像の再生・編集などのプロセスに本実施の形態を適用することも可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図３は、本発明になる映像処理装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を適宜省略する。

図３に示す第２の実施の形態の映像処理装置２００は、図１に示した第１の実施の形態の映像処理装置１００と比較し、類似度判定部１０５を削除する替りに距離センサ２０１を設け、ステレオ／擬似ステレオセレクタ部２０２を、距離センサ２０１により検出された距離に応じてステレオ画像又は擬似ステレオ画像を選択する構成とした点が異なる。

距離センサ２０１は、オートフォーカス用の公知の赤外線距離センサであるが、撮像信号のステレオペアを用いたステレオ距離センサを使用することもできる。距離センサ２０１は、例えば、撮像素子１０３からの左目映像信号（左目画像）と撮像素子１０４からの右目映像信号（右目画像）との間の被写体の位置のずれと、左右２つの光学系の配置のデータとを用いて三角測量的に被写体までの距離を検出するセンサであり、公知の構造である（例えば、特開平８−７５４５６号公報、特許第３６４３１５７号公報参照）。

次に、この第２の実施の形態の映像処理装置２００の動作について、図４のフローチャートを併せ参照して説明する。図３において、Ｌｃｈの光学系を構成するレンズ１０１及び撮像素子１０３のうち撮像素子１０３から出力された左目映像信号と、Ｒｃｈの光学系を構成するレンズ１０２及び撮像素子１０４のうち撮像素子１０４から出力された右目映像信号とは、ステレオ画像としてチャネルセレクタ部１０６及びステレオ／擬似ステレオセレクタ部２０２にそれぞれ入力される（ステップＳ１１）。

一方、距離センサ２０１は、距離センサ２０１が設置されているレンズ１０１及び１０２の主点から被写体までの距離を検出する（ステップＳ１２）。距離センサ２０１による距離検出方法は前述したように公知である。距離センサ２０１は、距離の検出結果を示す数値をステレオ／擬似ステレオセレクタ部２０２に供給する。なお、距離センサ２０１が設置されている位置は、レンズ１０１及び１０２の主点に限定されるものではなく、その前後の適切な位置であってもよい。

画像選択手段を構成しているステレオ／擬似ステレオセレクタ部２０２は、距離センサ２０１からの距離の検出結果を示す数値と予め設定されている所定の閾値（例えば１ｍなど）とを比較し、距離の検出結果を示す数値が閾値より大きいときには、被写体までの距離が短すぎないと判断して、入力されたステレオ画像を選択する。また、ステレオ／擬似ステレオセレクタ部２０２は、距離の検出結果を示す数値が閾値以下のときには、被写体までの距離が短すぎると判断して、２Ｄ／３Ｄ変換部１０７により生成された適度な視差を持つ擬似ステレオ画像を選択する（ステップＳ１３）。なお、この閾値は実験的に決定するものとする。

ステレオ／擬似ステレオセレクタ部２０２により、撮像素子１０３、１０４からのステレオ画像が選択される場合は、これがそのままステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ１４）。

一方、チャネルセレクタ部１０６は、入力されたステレオ画像を構成する左右の各画像のどちらを２Ｄ/３Ｄ変換して使用するかを決定するチャネル設定を行う（ステップＳ１５）。続いて、２Ｄ／３Ｄ変換部１０７は、チャネルセレクタ部１０６により使用することが決定された一つのチャネルの画像（すなわち、非立体画像）を入力画像として受け、前述した特許文献１などの公知の２Ｄ／３Ｄ変換方法で擬似ステレオ画像に変換する（ステップＳ１６）。

ステレオ／擬似ステレオセレクタ部２０２により、２Ｄ／３Ｄ変換部１０７により生成された擬似ステレオ画像が選択された場合は、その擬似ステレオ画像がステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ１７）。

このように、本実施の形態によれば、接写若しくはテレ端寄りのズームを行うことで閾値以下の被写体までの距離が短すぎる場合は、撮像素子１０３、１０４からのステレオ画像ではなく、適度な視差を持つ擬似ステレオ画像を表示するようにしたため、ステレオ画像として融合して立体視することが完全に不可能になるか、もしくは、可能であっても立体視にかなり大きな疲労や違和感を与える状態を軽減することができ、これにより生体影響・安全性の面の改善を図ることが可能である。

なお、図３において、ステレオ画像記録部１０９、ステレオ画像表示部１１０にステレオ／擬似ステレオセレクタ部２０２から入力される矢印は１本で図示してあるが、それぞれステレオ画像のペアもしくは擬似ステレオ画像のペアが入力されるものとする。

また、図４のフローチャートでは、距離が所定の閾値（第１の閾値）以下の近距離の場合のみ擬似ステレオ画像を生成するように説明したが、距離が第２の閾値よりも長い遠距離の場合にも擬似ステレオ画像を生成するように構成してもよい。この場合は、距離が長すぎる場合のステレオ画像を表示するときよりも、生体影響・安全性の面の改善を図ることが可能である。

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図５は、本発明になる映像処理装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を適宜省略する。

図５に示す第３の実施の形態の映像処理装置３００は、図１に示した第１の実施の形態の映像処理装置１００と比較し、類似度判定部１０５を削除する替りにズーム機構３０１のズーム状態をズーム状態判定部３０２により判定し、その判定結果に応じてステレオ画像又は擬似ステレオ画像を選択する構成とした点が異なる。ズーム機構３０１は、レンズ１０１、１０２を含むレンズ系のズームを行う公知の構造である。ズーム機構３０１及びズーム状態判定部３０２は、ズーム状態を判定するズーム状態判定手段を構成している。

次に、この第３の実施の形態の映像処理装置３００の動作について、図６のフローチャートを併せ参照して説明する。図５において、Ｌｃｈの光学系を構成するレンズ１０１及び撮像素子１０３のうち撮像素子１０３から出力された左目映像信号と、Ｒｃｈの光学系を構成するレンズ１０２及び撮像素子１０４のうち撮像素子１０４から出力された右目映像信号とは、ステレオ画像としてチャネルセレクタ部１０６及びステレオ／擬似ステレオセレクタ部３０３にそれぞれ入力される（ステップＳ２１）。

一方、ズーム状態判定部３０２は、ズーム機構３０１によるレンズ１０１、１０２を含むレンズ系のズーム状態を判定する（ステップＳ２２）。このズーム状態判定部３０２によるズーム状態の判定は、例えば、レンズ１０１、１０２が、光軸上を移動してズーム動作を行うズームレンズを含むものとすると、そのズームレンズの位置を検出する位置センサの検出結果に基づいてズーム状態を判定する方法（例えば、特許第２９００９６２号公報参照）など、公知の方法を用いることができる。なお、ズーム状態の判定結果は、左右のレンズ１０１、１０２が同期した状態でズーミングされるとしたとき、片方のみに関する判定で充分で、たとえばワイド端；０、テレ端；２５５のように数値で表されるものとする。ズーム状態判定の結果は図５のステレオ／擬似ステレオセレクタ部３０３に供給される。

画像選択手段を構成しているステレオ／擬似ステレオセレクタ部３０３は、ズーム状態判定部３０２からのズーム状態の判定結果を示す数値と予め設定されている所定の閾値とを比較し、ズーム状態の判定結果を示す数値が閾値よりワイド端よりであるときには、入力されたステレオ画像を選択し、ズーム状態の判定結果が閾値よりテレ端であるときには、２Ｄ／３Ｄ変換部１０７により生成された擬似ステレオ画像を選択する（ステップＳ２３）。なお、この閾値は実験的に決定するものとする。

ステレオ／擬似ステレオセレクタ部３０３により、撮像素子１０３、１０４からのステレオ画像が選択される場合は、これがそのままステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ２４）。

一方、チャネルセレクタ部１０６は、入力されたステレオ画像を構成する左右の各画像のどちらを２Ｄ/３Ｄ変換して使用するかを決定するチャネル設定を行う（ステップＳ２５）。続いて、２Ｄ／３Ｄ変換部１０７は、チャネルセレクタ部１０６により使用することが決定された一つのチャネルの画像（すなわち、非立体画像）を入力画像として受け、前述した特許文献１などの公知の２Ｄ／３Ｄ変換方法で擬似ステレオ画像に変換する（ステップＳ２６）。

ステレオ／擬似ステレオセレクタ部３０３により、２Ｄ／３Ｄ変換部１０７により生成された擬似ステレオ画像が選択された場合は、その擬似ステレオ画像がステレオ画像表示部（ビューファインダー）１１０に表示されると共に、ステレオ画像記録部１０９に記録される（ステップＳ２７）。

このように、本実施の形態によれば、テレ端近くまでズームアップした場合は、ステップＳ２３でＮＯの判定結果が得られ、撮像素子１０３、１０４からのステレオ画像ではなく、適度な視差を持つ擬似ステレオ画像を表示するようにしたため、ステレオ画像として融合して立体視する場合の大きな疲労や違和感を軽減することができ、これにより生体影響・安全性の面の改善を図ることが可能である。

なお、図５において、ステレオ画像記録部１０９、ステレオ画像表示部１１０にステレオ／擬似ステレオセレクタ部３０３から入力される矢印は１本で図示してあるが、それぞれステレオ画像のペアもしくは擬似ステレオ画像のペアが入力されるものとする。また、本実施の形態は、光学的ズーム及び電子ズームのいずれも適用可能である。

なお、以上の各実施の形態の映像処理装置１００、２００、３００で得られたステレオ画像又は擬似ステレオ画像は、ステレオ画像表示部１１０だけでなく、ステレオ表示装置により表示することもできる。ステレオ表示装置とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムを含む。

また、上記のステレオ表示装置を含む立体表示システムにおいては、音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

１００、２００、３００映像処理装置
１０１Ｌｃｈレンズ
１０２Ｒｃｈレンズ
１０３Ｌｃｈの撮像素子
１０４Ｒｃｈの撮像素子
１０５類似度判定部
１０６チャネルセレクタ部
１０７２Ｄ／３Ｄ変換部
１０８、２０２、３０３ステレオ／擬似ステレオセレクタ部
１０９ステレオ画像記録部
１１０ステレオ画像表示部
２０１距離センサ
３０１ズーム機構
３０２ズーム状態判定部

Claims

ステレオ画像を構成する左目画像と右目画像との間の類似度を判定する類似度判定手段と、
前記左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、
前記類似度を示す数値と予め設定した閾値とを比較し、前記類似度を示す数値が前記閾値以下のときは前記２Ｄ／３Ｄ変換手段により生成された前記擬似ステレオ画像を選択し、前記類似度を示す数値が前記閾値より大きいときは入力された前記ステレオ画像を選択する画像選択手段と
を有することを特徴とする映像処理装置。
被写体を撮影して左目画像を出力する第１の光学系及び前記被写体を撮影して右目画像を出力する第２の光学系と、被写体との間の距離を検出する距離センサと、
前記左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、
前記距離センサにより検出された距離の検出結果を示す数値と予め設定した閾値とを比較し、前記距離の検出結果を示す数値が前記閾値以下のときは前記２Ｄ／３Ｄ変換手段により生成された前記擬似ステレオ画像を選択し、前記距離の検出結果を示す数値が前記閾値より大きいときは入力された前記左目画像及び前記右目画像からなるステレオ画像を選択する画像選択手段と
を有することを特徴とする映像処理装置。
被写体を撮影して左目画像を出力する第１の光学系及び前記被写体を撮影して右目画像を出力する第２の光学系に対してそれぞれズーム処理を行い、そのズーム状態を判定するズーム状態判定手段と、
前記左目画像及び右目画像のうち選択した一方の画像に基づいて、擬似ステレオ画像を生成する２Ｄ／３Ｄ変換手段と、
前記ズーム状態判定手段によるズーム状態の判定結果示す数値と予め設定した閾値とを比較し、前記ズーム状態の判定結果を示す数値が前記閾値以下のときは前記２Ｄ／３Ｄ変換手段により生成された前記擬似ステレオ画像を選択し、前記ズーム状態を示す数値が前記閾値より大きいときは入力された前記左目画像及び前記右目画像からなるステレオ画像を選択する画像選択手段と
を有することを特徴とする映像処理装置。