JP2012083412A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】奥行き感を適切に設定した3D画像を簡単に撮影することができるようにする。
【解決手段】視差推定部１２は、3D画像を表示するための左目用画像と右目用画像の視差を検出する。視差情報解析部１３は、左目用画像と右目用画像の視差のレンジを算出し、算出された視差のレンジに基づいて、3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する。警告コード生成部１５は、判定結果に対応する警告コードを生成する。本発明は、例えば、3D画像を表示するための左目用画像と右目用画像を撮像する撮像装置に適用できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、奥行き感を適切に設定した3D画像を簡単に撮影することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

3Dコンテンツの画像（以下、3D画像という。）は、左目で視認する左目用画像と右目で視認する右目用画像とからなり、左目用画像と右目用画像に設定されている視差により、視聴者は画像を立体的に知覚する（奥行き感を知覚する）。この右目用画像と左目用画像は所定間隔離れた別々のカメラ（撮像部）で撮像されることにより得られる（例えば、特許文献１参照）。

特開２００５−２２９２９０号公報

撮影時に、視聴者が3D画像を見たときの奥行き感を確認するためには、例えば、２台のカメラを操作して撮像された3D画像の奥行き（視差）をチェックする必要が有り、撮影時に奥行き感をチェックしながら撮影するのは困難である。

また、3D画像の奥行き感は、3D画像を表示するディスプレイのディスプレイサイズなど、表示時の条件にも依存する。従って、例えば、撮影現場で視聴時と同様のディスプレイを用意して確認する必要があるなど、撮影現場で表示時の条件を再現しながら3D画像を撮影するのは困難である。

本発明は、このような状況に鑑みてなされたものであり、奥行き感を適切に設定した3D画像を簡単に撮影することができるようにするものである。

本発明の一側面の画像処理装置は、3D画像を表示するための左目用画像と右目用画像の視差を検出する視差検出手段と、前記左目用画像と右目用画像の視差のレンジを算出する視差レンジ算出手段と、算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する判定手段と、前記判定手段の判定結果に対応するコードを生成するコード生成手段とを備える。

本発明の一側面の画像処理方法は、3D画像を表示するための左目用画像と右目用画像の視差を検出し、前記左目用画像と右目用画像の視差のレンジを算出し、算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定し、その判定結果に対応するコードを生成するステップを含む。

本発明の一側面のプログラムは、コンピュータを、D画像を表示するための左目用画像と右目用画像の視差を検出する視差検出手段と、前記左目用画像と右目用画像の視差のレンジを算出する視差レンジ算出手段と、算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する判定手段と、前記判定手段の判定結果に対応するコードを生成するコード生成手段として機能させるためのものである。

本発明の一側面においては、3D画像を表示するための左目用画像と右目用画像の視差が検出され、左目用画像と右目用画像の視差のレンジが算出され、算出された視差のレンジに基づいて、3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かが判定され、その判定結果に対応するコードが生成される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本発明の一側面によれば、奥行き感を適切に設定した3D画像を簡単に撮影することができる。

本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 視聴者にとって快適な視差または奥行き距離のレンジの算出方法について説明する図である。 視差情報解析部の詳細な構成例を示すブロック図である。 撮像装置による撮影画像表示処理を説明するフローチャートである。 撮像装置による撮影画像記録処理を説明するフローチャートである。 本発明を適用した再生装置の構成例を示すブロック図である。 再生装置による3D画像再生処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

［撮像装置の構成例］
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示している。

図１の撮像装置１は、左目用画像と右目用画像で構成される3D画像を撮像（撮影）し、そのデータ（以下、3D画像データともいう。）を、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２に記録させる。

撮像装置１は、右目用画像を撮像するR撮像部１１R、左目用画像を撮像するL撮像部１１L、撮像された3D画像を表示する表示部１８、3D画像データの記録媒体２への記録を制御する記録制御部２０などよりなる。

R撮像部１１Rは、右目用画像を撮像し、その結果得られる右目用画像データを視差推定部１２に供給する。L撮像部１１Lは、左目用画像を撮像し、その結果得られる左目用画像データを視差推定部１２に供給する。R撮像部１１RとL撮像部１１Lは、３D画像の水平方向と同方向に所定の間隔離れた位置に設けられている。なお、図１では、R撮像部１１RとL撮像部１１Lは撮像装置１内に一体化されているが、R撮像部１１RとL撮像部１１Lは、3D画像データを処理する後段のブロックとは別に構成されていてもよい。また、R撮像部１１RとL撮像部１１L自体も別々に構成されてもよい。なお、以下において、R撮像部１１RとL撮像部１１Lを特に区別する必要がない場合、撮像部１１という。

視差推定部１２は、撮像部１１で撮像して得られた3D画像（以下、単に、撮影画像ともいう。）の視差を推定する。具体的には、視差推定部１２は、１画素や複数画素を単位とする所定の単位ごとに、左目用画像と右目用画像の視差を検出し、検出された視差を画素単位で表した視差マップを生成する。視差推定部１２は、視差マップを視差情報として視差情報解析部１３に供給する。

視差情報解析部１３は、条件記憶部１４から供給される撮影条件及び表示条件を用いて、視差推定部１２から供給された視差情報を解析し、撮像部１１で撮像された3D画像を視聴者が見たときの奥行き感を推定する。視差情報解析部１３において、3D画像を視聴者が見たときの奥行き感は、3D画像の視差のレンジか、または、撮像部１１の位置から立体像が生じる位置までの距離である奥行き距離のレンジで表される。

そして、視差情報解析部１３は、3D画像の視差のレンジ、または、奥行き距離のレンジが、視聴者にとって快適なレンジを超えているか否かを判定し、その判定結果を、警告コード生成部１５に供給する。具体的には、視差情報解析部１３は、視聴者にとって快適な視差のレンジ（以下、快適視差レンジともいう。）と比較して、3D画像の視差の最大値が大きい場合、最小値が小さい場合、最大値が大きくかつ最小値が小さい場合（レンジが大きい場合）、のいずれかに該当するかを判定する。奥行き距離のレンジについても同様に判定される。

条件記憶部１４は、視差情報解析部１３が奥行き感を推定するために必要な撮像条件及び表示条件を記憶する。条件記憶部１４に記憶される撮像条件及び表示条件は、固定値として予め記憶されていてもよいし、後述する操作入力部２１から、撮影者（撮像装置１のユーザ）により入力されてもよい。例えば、撮像部１１内のイメージセンサのドットピッチ及び水平方向の画素数（水平画素数）は、撮像装置１に固有の撮像条件として、条件記憶部１４に予め記憶しておくことができる。また例えば、視聴者が3D画像を見るときのディスプレイのドットピッチと水平画素数は、操作入力部２１からユーザによって入力され、条件記憶部１４に記憶される。

警告コード生成部１５は、視差情報解析部１３による視差情報の解析結果（比較結果）に基づいて警告コードを生成し、警告パターン生成部１６及び画像符号化部１９に供給する。具体的には、警告コード生成部１５は、快適な視差及び奥行き距離のレンジに対して、最大値が大きい、最小値が小さい、レンジが大きい、のいずれかの判定結果が供給された場合、それに対応する警告コードを生成する。

なお、本実施の形態では、推定された奥行き感が快適なレンジ内である場合には、特にコードは生成しないこととするが、快適なレンジ内であることを表すコードを、警告パターン生成部１６及び画像符号化部１９に供給するようにしてもよい。

警告パターン生成部１６は、警告コード生成部１５から供給される警告コードに対応して決められている所定の警告メッセージを生成し、画像合成部１７に供給する。例えば、撮像された3D画像において、快適視差レンジに対して、レンジが大きい場合、警告パターン生成部１６は、「視差が快適なレンジを超えています」の警告メッセージを生成する。また、快適視差レンジに対して、最大値が大きい場合、警告パターン生成部１６は、「被写体が飛び出しすぎです」の警告メッセージを生成する。あるいは、快適視差レンジに対して、最小値が小さい場合、警告パターン生成部１６は、「被写体が引っ込みすぎです」の警告メッセージを生成する。

画像合成部１７は、撮像部１１で撮像されて得られた3D画像を表示部１８に表示させる制御を行う。また、画像合成部１７は、警告パターン生成部１６から警告メッセージが供給された場合、3D画像に、警告メッセージのOSD(On Screen Display)画像を合成し、3D画像に警告メッセージが重畳された合成画像を表示部１８に表示させる。

画像符号化部１９は、撮像部１１で撮像されて得られた3D画像データを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。また、画像符号化部１９は、警告コード生成部１５から警告コードが供給された場合、供給された警告コードを、対応する3D画像の付加情報として関連付けて符号化する。符号化の結果得られる3D画像のビットストリームは、記録制御部２０に供給される。

記録制御部２０は、画像符号化部１９から供給される3D画像のビットストリームを記録媒体２に記録させる。

操作入力部２１は、撮影開始ボタン、撮影停止ボタン、ズームスイッチ等により構成され、撮影者の操作を受け付ける。受け付けられた撮影者の操作（操作内容）を表す信号は、操作内容に応じて予め決められた各部へ供給される。

以上のように構成される撮像装置１において、撮像された3D画像が視聴者にとって快適なレンジを超えていた場合には、それに対応する警告メッセージが３D画像とともに表示部１８に表示される。撮影者は、表示部１８に表示された警告メッセージを見て、以後の撮影において、視差が快適な範囲になるように撮影条件を変更したり、撮影をやり直すことができる。

［快適な視差及び奥行き距離のレンジの算出方法］
次に、図２を参照して、視聴者にとって快適な視差または奥行き距離のレンジの算出方法について説明する。

図２は、３D画像を表示するディスプレイ上の視差と、それに対応して視聴者が感じる奥行き感との関係を示す図である。

視聴者の両眼間隔をde、視聴距離（視聴者からディスプレイ面までの距離）をLs、視聴者から立体像が生じる位置までの距離をLdとする。また、立体像が生じる位置までの距離Ldが視聴距離Lsと同一である場合、即ち、3D画像の飛び出しも引っ込みもない状態（3D画像の奥行きがゼロの場合）の輻輳角をβとする。さらに、3D画像において、飛び出しが最大（視差が最小）のときの輻輳角をαmax、引っ込みが最大（視差が最大）のときの輻輳角をαminとする。立体像が生じる位置までの距離Ldは、輻輳角がαmaxのとき、最小のLd_minとなり、輻輳角がαminのとき、最大のLd_maxとなる。

一般に、3D画像が所定の奥行きをもつ場合の輻輳角αと、奥行きゼロの場合の輻輳角βとの視差角｜α−β｜が１度（１°）以内であれば、視聴者が快適に視聴できると言われている。従って、視聴者にとって快適なレンジにおいて、αとβの関係は、次式（１）のように表される。

また、視聴距離Lsと奥行きゼロのときの輻輳角βとの関係は、

であるから、立体像が生じる位置までの距離Ldと輻輳角αとの関係は、式（２）を変形して、

となる。

輻輳角αの取り得る範囲は、αmin≦α≦αmaxなので、立体像が生じる位置までの距離Ldのレンジは、

と表すことができる。

従って、立体像が生じる位置までの距離Ldのレンジは、両眼間隔deと奥行きゼロのときの輻輳角βが分かれば求めることができる。奥行きゼロのときの輻輳角βは、両眼間隔deと視聴距離Lsで、式（３）により求めることができるので、結局、立体像が生じる位置までの距離Ldのレンジは、両眼間隔deと視聴距離Lsが分かれば求めることができる。立体像が生じる位置までの距離Ldは、撮影時では、奥行き距離に相当し、両眼間隔deは撮像部１１の基線長、視聴距離Lsは撮像部１１の焦点距離に相当する。

また、快適に視聴できる視差のレンジも、飛び出しが最大の輻輳角αmaxと引っ込みが最大の輻輳角αmin、両眼間隔de、及び奥行き距離Ldの、図２に示す幾何学的関係から、求めることができる。さらに、視聴者が3D画像を見るときのディスプレイのドットピッチと水平画素数が分かれば、快適に視聴できる視差のレンジを、画素数で表すことができる。

例えば、ディスプレイサイズが４６V型のディスプレイで、視聴距離Lsを１．７ｍ、両眼間隔deを６．５cmとすると、快適に視聴できる奥行き距離Ldのレンジは、０．５ｍ（手前）から１．５ｍ（奥）までとなる（０．５ｍ≦Ld≦１．５ｍ）。また、快適に視聴できる視差のレンジは、−５６画素（手前）から５５画素（奥）までとなる。

［視差情報解析部１３の詳細構成例］
図３は、視差情報解析部１３の詳細な構成例を示すブロック図である。

視差情報解析部１３は、視差レンジ算出部３１、絶対距離レンジ算出部３２、距離比較部３３、表示時の視差レンジ算出部３４、快適視差レンジ算出部３５、及び、視差比較部３６により構成される。

視差レンジ算出部３１は、視差推定部１２から供給される、撮影された3D画像の視差情報（視差マップ）に基づいて、撮影された3D画像の視差のレンジ（最大値と最小値）を算出する。算出結果である視差レンジは、絶対距離レンジ算出部３２と、表示時の視差レンジ算出部３４に供給される。

なお、撮影者が撮影対象の被写体の位置を設定している場合には、その設定された位置の被写***置情報が第1の撮影条件として、条件記憶部１４から、視差レンジ算出部３１に供給される。視差レンジ算出部３１は、被写***置情報が供給された場合には、その被写***置情報で設定されている領域のみについて、撮影された3D画像の視差のレンジを算出する。

絶対距離レンジ算出部３２は、条件記憶部１４から供給される第２の撮影条件に基づいて、撮影時の奥行き距離のレンジを計算する。第２の撮影条件としては、撮像部１１のイメージセンサのドットピッチと焦点距離、並びに、R撮像部１１RとL撮像部１１Lの基線長及び輻輳角が供給される。

距離比較部３３には、条件記憶部１４から、第３の撮影条件としての、カメラ仕様である適正な撮影距離のレンジが供給され、絶対距離レンジ算出部３２から、撮影時の奥行き距離のレンジが供給される。距離比較部３３は、撮影時の奥行き距離のレンジと、適正な撮影距離のレンジ（適正撮影距離レンジ）とを比較し、比較結果を、視差情報の解析結果として警告コード生成部１５（図１）に供給する。

具体的には、距離比較部３３は、比較結果として、適正撮影距離レンジに対して、最大値が大きい、最小値が小さい、レンジが大きい、または、レンジ内、のいずれかを出力する。

なお、距離比較部３３は、撮影時の奥行き距離の最大値または最小値のいずれか一方でも適正な撮影距離のレンジを超えていた場合には、適正な撮影距離のレンジを超えた方の、絶対距離レンジ算出部３２で算出された値を、比較結果とともに、出力するようにしてもよい。

表示時の視差レンジ算出部３４には、条件記憶部１４から、第４の撮影条件として、撮像部１１のイメージセンサのドットピッチと水平画素数が供給されるとともに、第１の表示条件として、視聴者が3D画像を見るディスプレイのドットピッチと水平画素数が供給される。

表示時の視差レンジ算出部３４は、イメージセンサとディスプレイのドットピッチの比に応じて、撮影画像上の視差のレンジを、表示時の視差のレンジに変換する。

快適視差レンジ算出部３５は、図２を参照して説明した方法により、条件記憶部１４から供給される視聴距離Ls及び両眼間隔deに基づいて、視聴者にとって快適な視差のレンジ（快適視差レンジ）を算出し、視差比較部３６に供給する。

視差比較部３６は、表示時の視差レンジ算出部３４から供給される表示時の視差のレンジを、快適視差レンジ算出部３５から供給される快適視差レンジと比較し、比較結果を、視差情報の解析結果として警告コード生成部１５（図１）に供給する。具体的には、視差比較部３６は、比較結果として、快適視差レンジに対して、最大値が大きい、最小値が小さい、レンジが大きい、または、レンジ内、のいずれかを出力する。

なお、視差比較部３６は、表示時の視差の最大値または最小値のいずれか一方でも快適視差レンジを超えていた場合には、快適視差レンジを超えた方の、表示時の視差レンジ算出部３４で算出された値を、比較結果とともに、出力するようにしてもよい。

条件記憶部１４には、上述した第１乃至第４の撮影条件と、第１及び第２の表示条件が記憶され、視差情報解析部１３の各部に供給されるが、第１乃至第４の撮影条件と、第１及び第２の表示条件の全てを必ずしも記憶しておく必要はない。換言すれば、第１乃至第４の撮影条件と第１及び第２の表示条件の一部は、省略するか、または所定の値に置き換えることができる。

視差レンジ算出部３１に供給される第１の撮影条件は、撮影対象の被写体の位置の指定が特になければ、撮影画像全体を視差のレンジの算出対象とすればよいので、省略することができる。

上述したように、視差情報解析部１３では、奥行き距離によるレンジ判定（比較）と、視差によるレンジ判定（比較）とを行うことができるが、3D画像の飛び出し量は視差によって決定されるので、奥行き距離によるレンジ判定処理は省略してもよい。この場合、第２の撮影条件と第３の撮影条件は省略することができる。しかし、撮影者にとっては、視差よりも奥行き距離の方が直感的でわかりやすい。従って、奥行き距離によるレンジ判定（比較）は、撮影者に直感的にわかりやすい警告メッセージを表示することができるという効果がある。このとき、快適なレンジを超えた方の具体的な数値も表示すれば、さらに直感的にわかりやすい。

視差によるレンジ判定（比較）を行うための、第４の撮影条件と、第１及び第２の表示条件は必須の条件となる。しかし、第４の撮影条件のイメージセンサのドットピッチと水平画素数は、撮像部１１が撮像装置１内に一体化されている場合には、既知の固定値として予め条件記憶部１４に記憶させておくことができる。

また、一般に、第２の表示条件の視聴距離Lsには、ディスプレイの高さの３倍（３H）が採用され、両眼間隔deには６．５cmが採用される。従って、第１の表示条件からディスプレイサイズを推定し、その高さの３倍を計算し、両眼間隔deには６．５cmをデフォルトとして持つことで、第２の表示条件の視聴距離Ls及び両眼間隔deは、ユーザの入力は省略することができる。

［撮影画像表示処理］
図４のフローチャートを参照して、撮像装置１による撮影画像を表示部１８に表示する撮影画像表示処理について説明する。この処理は、撮像部１１から3D画像が出力されたとき開始される。

初めに、ステップＳ１において、視差推定部１２は、撮像部１１で撮像して得られた3D画像の視差を推定する。具体的には、R撮像部１１RとL撮像部１１Lで撮像して得られた右目用画像と左目用画像の視差を、例えば、画素単位で検出した視差マップを生成し、視差情報として、視差情報解析部１３に供給する。

ステップＳ２において、視差情報解析部１３の視差レンジ算出部３１は、視差推定部１２から供給された視差情報に基づいて、3D画像の視差レンジを算出する。即ち、視差レンジ算出部３１は、3D画像の視差の最大値と最小値を算出し、絶対距離レンジ算出部３２と、表示時の視差レンジ算出部３４に供給する。

ステップＳ３において、絶対距離レンジ算出部３２は、条件記憶部１４から供給される第２の撮影条件に基づいて、撮影時の奥行き距離のレンジを計算する。ここで、第２の撮影条件は、撮像部１１のイメージセンサのドットピッチと焦点距離、並びに、R撮像部１１RとL撮像部１１Lの基線長及び輻輳角である。

ステップＳ４において、距離比較部３３は、計算された撮影時の奥行き距離のレンジと、第３の撮影条件としての適正な撮影距離のレンジ（適正撮影距離レンジ）とを比較し、比較結果を、視差情報の解析結果として警告コード生成部１５に供給する。

ステップＳ５において、表示時の視差レンジ算出部３４は、イメージセンサとディスプレイのドットピッチの比に応じて、撮影画像上の視差のレンジを、表示時の視差のレンジに変換することにより、表示時の視差レンジを計算する。

ステップＳ６において、快適視差レンジ算出部３５は、図２を参照して説明した方法により、条件記憶部１４から供給される視聴距離Ls及び両眼間隔deに基づいて、視聴者にとって快適な視差のレンジ（快適視差レンジ）を算出し、視差比較部３６に供給する。

ステップＳ７において、視差比較部３６は、表示時の視差レンジ算出部３４で計算された表示時の視差レンジと、快適視差レンジ算出部３５から供給された快適視差レンジとを比較し、比較結果を、視差情報の解析結果として警告コード生成部１５に供給する。

快適視差レンジは、3D画像が撮影される前に予め計算しておくことができ、この場合、ステップＳ６の処理は省略することができる。また、ステップＳ３及びＳ４の処理と、ステップＳ５及びＳ７の処理は、並行して実行してもよいし、逆の順序で行ってもよい。

ステップＳ８において、警告コード生成部１５は、視差情報解析部１３による視差情報の解析結果（比較結果）に基づいて、警告コードを生成するか否かの判定を行う。即ち、警告コード生成部１５は、撮影時の奥行き距離の最大値若しくは最小値の少なくとも一方が適正撮影距離レンジを超えているか、及び、表示時の視差の最大値若しくは最小値の少なくとも一方が快適視差レンジを超えているかを判定する。

ステップＳ８で、撮影時の奥行き距離の最大値若しくは最小値の少なくとも一方が適正撮影距離レンジを超えているか、または、表示時の視差の最大値若しくは最小値の少なくとも一方が快適視差レンジを超えている場合、処理はステップＳ９に進む。ステップＳ９では、警告コード生成部１５は、視差情報の解析結果に基づく警告コードを生成し、警告パターン生成部１６及び画像符号化部１９に供給する。

ステップＳ１０において、警告パターン生成部１６は、警告コード生成部１５から供給される警告コードに対応して決められている所定の警告メッセージを生成し、画像合成部１７に供給する。

例えば、撮影時の奥行き距離のレンジが適正撮影距離レンジを超えていることを示す警告コードに対しては、「ズーム率を下げて下さい」や「カメラ間隔を小さくして下さい」等の警告メッセージが生成される。また、撮影時の奥行き距離の最大値が適正撮影距離レンジを超えている場合には、「ズーム率を下げるか被写体との距離をあけて下さい」、「輻輳角を小さくして下さい、「カメラ間隔を小さくして下さい」等の警告メッセージが生成される。撮影時の奥行き距離の最小値が適正撮影距離レンジを超えている場合には、「ズーム率を下げるか被写体に近づいて下さい」、「輻輳角を大きくして下さい」、「カメラ間隔を小さくして下さい」等の警告メッセージが生成される。

「ズーム率を下げて下さい」等の警告メッセージは、現在のズーム率、カメラ間隔、輻輳角等の設定情報（撮影情報）と、それらの設定可能な範囲を考慮して、最適な警告メッセージを生成するようにさせることができる。例えば、現在のズーム設定値がワイド端である場合には、これ以上ズーム率を下げることができないため、警告パターン生成部１６は、「ズーム率を下げて下さい」ではなく、「被写体との距離をあけて下さい」の警告メッセージを生成するようにさせることができる。

一方、表示時の視差のレンジが快適視差レンジを超えていることを示す警告コードに対しては、「視差が快適なレンジを超えています」等の警告メッセージが生成される。また、表示時の視差の最大値が快適視差レンジを超えていることを示す警告コードに対しては、「被写体が飛び出しすぎです」等の警告メッセージが生成される。表示時の視差の最小値が快適視差レンジを超えていることを示す警告コードに対しては、「被写体が引っ込みすぎです」等の警告メッセージが生成される。

警告パターン生成部１６は、撮影時の奥行き距離に関する警告コードと、表示時の視差レンジに関する警告コードのいずれか一方が供給された場合には、それに対応する警告メッセージを表示する。撮影時の奥行き距離に関する警告コードと、表示時の視差レンジに関する警告コードの両方が供給された場合には、警告パターン生成部１６は、予め定めた一方の警告コードに対応する警告メッセージを表示する。どちらの警告コードを優先させるかは、撮影者が操作入力部２１から設定可能としてもよい。

ステップＳ１１において、画像合成部１７は、警告パターン生成部１６から供給された警告メッセージ（のOSD画像）と、撮像部１１から供給された3D画像を合成した合成画像を生成する。

ステップＳ１２において、画像合成部１７は、合成画像を表示部１８に表示させて、処理を終了する。

一方、ステップＳ８で、撮影時の奥行き距離が適正撮影距離レンジ内で、かつ、表示時の視差も快適視差レンジ内であると判定された場合、処理はステップＳ１３に進む。ステップＳ１３において、画像合成部１７は、撮像部１１で撮像されて得られた3D画像を、そのまま表示部１８に表示させて、処理を終了する。

以上のように、撮影装置１では、撮影して得られた3D画像の視差情報を解析し、撮影中に、「視差が快適なレンジを超えています」等の警告メッセージをリアルタイムに表示部１８に表示させることができる。これにより、撮影者は、奥行き感を適切に設定した3D画像を簡単に撮影することができる。

［撮影画像記録処理］
図５は、撮影画像を記録媒体２に記録する撮影画像記録処理のフローチャートを示している。この処理は、撮像部１１から3D画像が出力されたとき開始され、上述した図４の撮影画像表示処理と並行して実行される。

ステップＳ２１において、画像符号化部１９は、撮像部１１で撮像されて得られた3D画像を取得する。

ステップＳ２２において、画像符号化部１９は、警告コード生成部１５から、警告コードが供給されたかを判定する。

ステップＳ２２で、警告コードが供給されたと判定された場合、処理はステップＳ２３に進み、画像符号化部１９は、警告コードを、対応する3D画像の付加情報として関連付ける。そして、画像符号化部１９は、付加情報を含む3D画像データを、MPEG2，MPEG4，AVC等の所定の符号化方式で符号化する。

ステップＳ２４において、記録制御部２０は、符号化の結果得られる3D画像のビットストリームを、記録媒体２に記録させて、処理を終了する。

一方、ステップＳ２２で、警告コードが供給されていないと判定された場合、処理はステップＳ２５に進み、画像符号化部１９は、取得した3D画像データを、所定の符号化方式で符号化する。

そして、ステップＳ２６において、記録制御部２０は、符号化の結果得られる3D画像のビットストリームを、記録媒体２に記録させて、処理を終了する。

以上のように、撮影装置１では、撮影して得られた3D画像の視差情報の解析結果に基づく警告コードを、3D画像とともに記録媒体２に記録させることができる。これにより、記録媒体２に記録された3D画像を再生する場合、警告コードに基づいて、適切な警告メッセージを表示させることができる。

［再生装置の構成例］
図６は、記録媒体２に記録された3D画像を再生する再生装置の構成例を示すブロック図である。

図６の再生装置５１は、記録媒体２に記録された3D画像を再生し、テレビジョン受像機等のディスプレイ５２に表示させる。

再生装置５１は、読み出し制御部６１、画像復号化部６２、警告パターン生成部６３、及び画像合成部６４を少なくとも有する。

読み出し制御部６１は、記録媒体２に記録されている3D画像のビットストリームを読み出し、画像復号化部６２に供給する。

画像復号化部６２は、読み出し制御部６１から供給される3D画像のビットストリームを、図１の画像符号化部１９の符号化方式に対応する方式で復号する。復号の結果得られる3D画像データは、画像合成部６４に供給される。3D画像のビットストリームに、付加情報として警告コードが含まれていた場合、画像復号化部６２は、警告コードを、警告パターン生成部６３に供給する。

警告パターン生成部６３は、警告コードに対応して予め決められている所定の警告メッセージを生成し、画像合成部６４に供給する。警告パターン生成部６３は、警告コードに対応して、例えば、「飛び出しが大きい画像です」や「ディスプレイから離れて視聴して下さい」等の警告メッセージを生成する。

画像合成部６４は、画像復号化部６２から供給される3D画像データに基づいて、3D画像をディスプレイ５２に表示させる制御を行う。また、画像合成部６４は、警告パターン生成部６３から警告メッセージが供給された場合、3D画像に、警告メッセージのOSD画像を合成し、3D画像に警告メッセージが重畳された合成画像をディスプレイ５２に表示させる。

［3D画像再生処理］
図７のフローチャートを参照して、再生装置５１による3D画像再生処理を説明する。この処理は、例えば、再生装置５１に装着された記録媒体２の再生が指示されたときに開始される。

初めに、ステップＳ４１において、読み出し制御部６１は、記録媒体２に記録されている3D画像のビットストリームを読み出し、画像復号化部６２に供給する。

ステップＳ４２において、画像復号化部６２は、読み出し制御部６１から供給された3D画像のビットストリームを、図１の画像符号化部１９の符号化方式に対応する方式で復号する。復号により得られた3D画像データは、画像合成部６４に供給され、付加情報として含まれている警告コードは、警告パターン生成部６３に供給される。

ステップＳ４３において、警告パターン生成部６３は、画像復号化部６２から警告コードが供給されたかを判定する。

ステップＳ４３で、警告コードが供給されたと判定された場合、処理はステップＳ４４に進み、警告パターン生成部６３は、警告コードに対応して予め決められている所定の警告メッセージを生成し、画像合成部６４に供給する。

そして、ステップＳ４５において、画像合成部６４は、警告パターン生成部６３からの警告メッセージと、画像復号化部６２からの3D画像を合成し、ステップＳ４６において、合成画像をディスプレイ５２に表示させ、処理を終了する。

一方、ステップＳ４３で、警告コードが供給されていないと判定された場合、処理はステップＳ４７に進み、画像合成部６４は、画像復号化部６２から供給される3D画像データに基づき、3D画像をディスプレイ５２に表示させ、処理を終了する。

以上のように、再生装置５１の3D画像再生処理によれば、記録媒体２に記録された3D画像のビットストリームに含まれる警告コードに基づいて、3D画像の視差情報に基づく警告メッセージを3D画像に重畳させて表示することができる。

なお、上述した例では、対応する3D画像に重畳して警告メッセージが表示されるように、付加情報としての警告コードが記録媒体２に記録されていた。しかしながら、快適視差レンジを超えている3D画像の所定時間前の3D画像に、「飛び出しが大きい画像が表示されます」等の警告メッセージが表示されるように、警告コードを記録媒体２に記録するようにしてもよい。この場合、実際に飛び出しが大きい3D画像が表示される前に警告メッセージを表示することができ、視聴者は視聴の準備または対処を行うことができる。

上述した例では、3D画像の画像データと警告コードが、記録媒体２を介して、撮影者側の撮像装置１から、視聴者側の再生装置５１に供給される例について説明した。しかしながら、3D画像の画像データと警告コードを含む3D画像のビットストリームは、例えば、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により、視聴者側の再生装置に供給されてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 撮像装置， ２ 記録媒体， １２ 視差推定部， １３ 視差情報解析部， １５ 警告コード生成部， １６ 警告パターン生成部， １７ 画像合成部， １９ 画像符号化部， ２０ 記録制御部， ３１ 視差レンジ算出部， ３２ 絶対距離レンジ算出部， ３３ 距離比較部， ３４ 表示時の視差レンジ算出部， ３５ 快適視差レンジ算出部， ３６ 視差比較部

Claims (7)

1. 3D画像を表示するための左目用画像と右目用画像の視差を検出する視差検出手段と、
   前記左目用画像と右目用画像の視差のレンジを算出する視差レンジ算出手段と、
   算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する判定手段と、
   前記判定手段の判定結果に対応するコードを生成するコード生成手段と
   を備える画像処理装置。
2. 生成された前記コードに対応するメッセージを生成するパターン生成手段と、
   前記メッセージと前記3D画像を合成し、所定の表示手段に表示させる画像合成手段と
   をさらに備える
   請求項１に記載の画像処理装置。
3. 前記左目用画像と右目用画像の3D画像データに、前記コード生成手段により生成された前記コードを付加情報として付加した3D画像のビットストリームを生成するストリーム生成手段と、
   前記3D画像のビットストリームを所定の記録媒体に記録する記録制御手段と
   をさらに備える
   請求項１に記載の画像処理装置。
4. 前記判定手段は、イメージセンサとディスプレイのドットピッチの比に応じて、算出された前記視差のレンジを、表示時の視差のレンジに変換する表示時視差レンジ算出手段と、
   視聴者の視聴距離及び両眼間隔に基づいて、視聴者に快適な視差のレンジを算出する快適視差レンジ算出手段と、
   前記表示時の視差のレンジと、前記視聴者に快適な視差のレンジとを比較する視差比較手段とを有し、
   前記視差比較手段の比較結果により、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する
   請求項１に記載の画像処理装置。
5. 前記判定手段は、撮影時の奥行き距離のレンジを計算する絶対距離レンジ算出手段と、
   算出された前記撮影時の奥行き距離のレンジと、前記左目用画像と右目用画像を撮像した撮像装置の仕様である適正な撮影距離のレンジとを比較する距離比較手段とを有し、
   前記距離比較手段の比較結果により、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する
   請求項１に記載の画像処理装置。
6. 3D画像を表示するための左目用画像と右目用画像の視差を検出し、
   前記左目用画像と右目用画像の視差のレンジを算出し、
   算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定し、その判定結果に対応するコードを生成する
   ステップを含む画像処理方法。
7. コンピュータを、
   3D画像を表示するための左目用画像と右目用画像の視差を検出する視差検出手段と、
   前記左目用画像と右目用画像の視差のレンジを算出する視差レンジ算出手段と、
   算出された前記視差のレンジに基づいて、前記3D画像を視聴するときの奥行き感が、予め設定された視聴者に快適なレンジを超えているか否かを判定する判定手段と、
   前記判定手段の判定結果に対応するコードを生成するコード生成手段
   として機能させるためのプログラム。

Images