JP2011055421A - 映像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 映像データに含まれる立体視される物体が、ユーザ方向へ所定値以上の速度で移動するように知覚されることを防ぎ、ユーザの不快感を軽減するように、映像の視差量を調整する制御を行う。
【解決手段】 １組の左眼用フレーム画像及び右眼用フレーム画像の眼幅方向の画像のずれ量である視差量の単位時間当たりの変化率を取得し、所定の閾値以上の変化率でユーザに近づくように立体視される物体の表示用視差量を前記変化率に基づいて決定する。その際、取得した変化率よりも小さい変化率でユーザに近づくように、物体が立体視されるように表示用視差量を決定する。
【選択図】 図２

Description

本発明は、左眼用フレーム画像データ及び右眼用フレーム画像データからなる映像データを表示部にユーザが立体視可能に表示する映像処理装置及びその制御方法に関するものである。

従来から、２次元の画面上に、両眼視差を利用した左眼用映像及び右眼用映像からなる３次元（３Ｄ）映像を表示することによって立体視を行う、立体視システムが知られている。このような立体視システムでは、映像データに含まれる種々の物体の立体感を、左眼用フレーム画像データ及び右眼用フレーム画像データからなる映像データの表示位置を眼幅方向にずらして視差を生じさせることによって実現する方式が用いられる。物体の大きな飛び出し量によってユーザが不快感を感じないように、１組の左眼用フレーム画像と右眼用フレーム画像内における物体の、眼幅方向の画像のずれ量である視差量を調節することで、物体の立体感を調節する提案がなされている。

特許文献１には、視差量の異なる３Ｄ映像への切り替え時や、２次元（２Ｄ）映像から３Ｄ映像への切り替え時に、目の負担を低減するため、３Ｄ映像を２Ｄ映像として表示し、その後本来の３Ｄ映像へ戻す技術が開示されている。視差量を本来の３Ｄ映像の視差量へ戻す際は、視差量の許容閾値を時間経過と共に徐々に増加させていく。

特開平１１−１６４３２８号公報

上述した技術では、３Ｄ映像への切り替え時に、表示される物体の立体感は抑えることは可能である。しかし、その後本来の３Ｄ映像に戻す際に、知覚される物体の前後方向（奥行き方向）の移動速度を考慮していない。そのため、物体の移動速度と許容閾値との関係によっては、本来の移動速度より加速して物体がユーザに迫ってくるように知覚され、驚いてしまうケースが想定される。

そこで本発明は、映像データに含まれる立体視される物体が、ユーザ方向へ所定値以上の速度で移動するように知覚されることを防ぎ、ユーザの不快感を軽減するように、映像の視差量を調整する制御を行う映像処理装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の映像処理装置は、１組の左眼用フレーム画像及び右眼用フレーム画像の眼幅方向の画像のずれ量である視差量の単位時間当たりの変化率を、所定期間の映像データから取得する取得手段と、前記変化率を取得した前記所定期間の映像データを表示した場合に、当該映像データが所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであるか否かを判定する判定手段と、前記判定手段において前記所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであると判定された場合、前記立体視される物体が、前記取得手段で取得した変化率よりも小さい変化率でユーザに近づくように立体視されるように、前記映像データを表示する際に用いる表示用視差量を決定する制御を行う制御手段と、決定された前記表示用視差量を用いて、左眼用フレーム画像及び右眼用フレーム画像からなる映像データを調整する調整手段と、前記調整手段で調整された前記映像データを前記表示部に表示する処理を行う処理手段と、を有する。

本発明によれば、映像データに含まれる立体視される物体が、ユーザの方向へ所定値以上の速度で移動するように知覚されることを防ぎ、ユーザが感じる不快感を軽減することができる。

本発明の実施例１における、立体視システムの構成図である。 映像処理部の構成を示す構成図である。 本発明の実施例１における、視差量調整プロセスを示すフローチャートである。 視差量の変化率をフレーム画像を分割したブロック毎に取得する、取得領域を示す図である。 表示用視差量の決定方法の一例を示す概念図である。 着目領域決定時の重み付けを示す概念図である。 視差量調整方法を示す概念図である。 本発明の実施例１における、視差量の調整を示す概念図である。 図８の各区間における、本来の映像における調整前視差量及び表示用視差量の変化率を示す表である。 本発明の実施例１における、回復期間での視差量の調整を示す概念図である。 本発明の実施例２における、表示用視差量決定時の重み付けを示す概念図である。 本発明の実施例３における、視差量調整プロセスを示すフローチャートである。

（実施例１）
以下、この発明の実施形態について図面を参照して説明する。図１及び図２は、本発明を実現するためのシステム構成を示した一例である。

図１の処理装置１００では、チューナ１、映像デコーダ５、映像選択部７、映像処理部９、ＣＰＵ１２、メモリ１４等が、バス１５を介して接続されている。

チューナ１は、リモコン１７の操作を受信するリモコン受信部１１等の指示を受けたＣＰＵ１２により、指定された放送チャンネルの信号を含む周波数成分を選択して、復調回路２に伝送する。復調回路２は、チューナ１から伝送された周波数成分のデジタル復調を行い、更に誤り訂正、デスクランブル処理等を行った後、得られたＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）信号をＴＳ分離部３に供給する。

ＴＳ分離部３では、復調回路２により抽出されたＴＳ信号から、指定された放送チャンネルに対応した音声信号及び映像信号、並びに付加データ等を分離して抽出し、音声信号及び映像信号をそれぞれ音声デコーダ４及び映像デコーダ５に供給する。

音声デコーダ４は、ＴＳ分離部３から受けた音声信号を復号し、映像デコーダ５はＴＳ分離部３から受けた映像信号を復号して、それぞれ音声選択部６及び映像選択部７に伝送する。

外部入力部１０は、外部機器１６からＡＶ信号（映像信号及び音声信号）の入力を受ける入力インターフェースである。この外部入力部１０を通じて入力された音声信号は音声選択部６へ、映像信号は映像選択部７へ伝送される。音声選択部６及び映像選択部７は、ＣＰＵ１２からの制御指令に従って、チューナ１により選局されたチャンネルの音声信号及び映像信号と、外部入力部１０より入力される音声信号及び映像信号とのいずれかを選択する。音声処理部８及び映像処理部９は、音声選択部６及び映像選択部７で選択された音声信号及び映像信号に対してそれぞれ各種信号処理を行う。

ＣＰＵ１２は、処理装置１００全体の制御を統括的に行う。タイマ１３は、以下説明する映像処理部９で映像の処理を行う期間等の計測を行い、メモリ１４は、メタデータやプログラム等の記憶や、以下に説明する各処理において一時的に記憶するデータの保持を行う。スピーカ１８及び表示部１９は、音声処理部８及び映像処理部９から出力される音声信号及び映像信号に基づく音声及び映像を出力する。

図２は、図１の映像処理部９を詳細に表したものである。３Ｄ映像判定部２１は、図１の映像選択部７にて選択された映像が３Ｄ映像と２Ｄ映像のどちらであるかを判定する。この判定は、映像に付与されている、映像が３Ｄ映像又は２Ｄ映像のどちらであるか示すメタデータや、左眼用映像及び右眼用映像が存在するかどうかをフレーム画像の相関性の解析によって行う等、３Ｄ映像の識別に関する公知の技術によって行うことができる。

映像が３Ｄ映像だった場合、変化率取得部２２では、本来の３Ｄ映像の視差量である調整前視差量の変化率を取得する。ここで、視差量とは、１組の左眼用フレーム画像と右眼用フレーム画像内における対象物の、眼幅方向の画像のずれ量である。変化率取得部２２で取得する視差量の変化率とは、映像つまり表示されるフレーム画像の組が変化することに応じて、視差量が変化するとき、所定の単位時間当たりの視差量の変化量である。

なお、１組の左眼用フレーム画像と右眼用フレーム画像の視差量は、それぞれのフレーム画像中に含まれる同一の物体の、フレーム画像内における位置の違いに相当する。例えば、表示される物体としてフレーム画像内にボールが存在する場合、右眼用フレーム画像内でのボールの中心点の水平方向座標値と、左眼用フレーム画像内でのボールの中心点の水平方向座標値との差分が視差量となる。変化量は、時間ｔ１におけるフレーム画像内のボールの視差量Ｙ１と時間ｔ２におけるフレーム画像内の同じボールの視差量Ｙ２との差分（Ｙ２−Ｙ１）が変化量となる。この変化量を時間（ｔ２−ｔ１）で除した値が変化率となる。

変化率判定部２３では、取得した変化率が所定の閾値以上か否かを判定する。視差量の変化率は、例えば、ユーザが知覚する、立体視される物体の映像の奥行き方向における移動速度に相当し、この変化率を閾値と比較することで、立体視される映像に含まれる物体が所定の速度以上の速度で移動するようにユーザに知覚されるか否かを判定する。視差量制御部２４では、所定の閾値以上の変化率である領域の変化率を基に、画像を表示する際の視差量を表示用視差量として決定する。そして、視差量制御部２４は、決定した表示用視差量で表示を行うために、映像の視差量の調整を行うための制御信号を生成し、制御信号をメモリ等に一時的に記憶する。また、視差量制御部２４は、該制御信号を視差量調整部２５に出力し、次に視差量の調整を行うべき映像の入力があるか否かを検知する。

視差量調整部２５は、視差量制御部２４からの制御信号に基づいて、入力された３Ｄ映像の視差量の調整処理を実行するが、入力された映像が２Ｄ映像の場合には、調整処理は動作しない。視差量調整部２５から出力された映像信号は出力処理部２６に入力される。出力処理部２６は表示部１９へ出力するための映像処理を行う。

以下に、上述した各構成部による、本実施例の具体的な制御手順について説明する。視差量の調整方法としては、図７に示すように大きく２つがあげられる。左眼用フレーム画像及び右眼用フレーム画像の表示位置を、眼幅方向にずらして調整する方法（図７（ａ））と、フレーム画像枠に対する各オブジェクトの位置を個別に移動させた画像を作成して調整する方法（図７（ｂ））である。本実施例では、以下、図７（ａ）の方法での処理を用いて説明する。

図３に、本実施例の処理の流れを示したフローチャートの一例を示す。以下では、時間をある所定期間に区切って１区間とし、区間毎の映像データに関する処理を行う。なお、この所定期間は、１組の左眼用フレーム画像及び右眼用フレーム画像に対応する期間でもよいし、複数組（例えば、２〜３０組等の任意の組数）の左眼用フレーム画像及び右眼用フレーム画像に対応する期間であってもよい。

まず、映像選択部７は、外部入力部１０又はリモコン受信部１１の信号に基づき、表示部１９に出力する映像の選択を行い（ステップＳ１）、３Ｄ映像判定部２１は、処理を行う本区間の映像が、２Ｄ映像と３Ｄ映像のどちらであるかを判定する（ステップＳ２）。２Ｄ映像と判定された場合には、以下に記述する視差量の変化率に関係する処理は行わず、次の区間の映像処理に移る。

ステップＳ２において、３Ｄ映像判定部２１により３Ｄ映像であると判定された場合、変化率取得部２２は、フレーム画像内の全領域に関する、区間内での調整前視差量の変化率を取得する（ステップＳ３）。ここで取得する変化率は、例えば、映像内でユーザから見てユーザに近づくように知覚される物体を含む領域では正の値、ユーザから遠ざかるように知覚される物体を含む領域では負の値を割り当て、映像における物体が知覚される移動方向を区別する。なお、本実施例では映像データに含まれる物体そのものの認識や特定処理は実施しない。従って、変化率が正の値となる領域には、ユーザに近づくように知覚される物体が含まれているもの、という前提において処理を実行するものである。

本実施例において視差量の変化率を取得する領域とは、各フレーム画像を所定数に分割した各ブロック領域とし、以下では、図４に示すように３×５の１５ブロック領域に分割した場合について説明する。ただし分割数は上記に限られることなく、例えば１０×１０の１００ブロック領域に分割しても良いし、これらに限定されない。変化率取得部２２は、ブロック領域毎に区間内の映像における調整前視差量の変化率を取得する。

次に、変化率判定部２３は、変化率取得部２２で取得した、映像内でユーザから見てユーザに近づくように知覚される物体を含むブロックの変化率（正の値）のうち、変化率が所定の閾値以上である領域が存在するかどうかを判断する（ステップＳ４）。変化率が所定の閾値以上である領域が存在する場合には、当該領域には所定値以上の速度でユーザに近づくように知覚される何らかの物体が含まれていると考えることができる。本発明は、ユーザから見てユーザに近づくように知覚される物体が所定値以上の速度で移動するように知覚されることを防ぐことを目的としているため、ユーザに近づくように知覚される物体を含むであろうブロックの変化率が減少するように制御を行う。該領域が存在する場合、視差量制御部２４は、変化率が閾値以上の領域の中から、視差量を調整に用いるために着目する着目領域を決定する（ステップＳ５）。この着目領域は、閾値以上の変化率を有する領域であればよいが、フレーム画像内の領域のうち、最も大きい変化率を有する領域とするのが望ましい。

視差量制御部２４は、現在処理を行っている本区間の直前区間における最終フレーム画像の調整に関して、調整を行ったか否かの情報、フレーム画像内における着目領域の位置、表示用視差量等を、調整情報として保持している。変化率が所定の閾値以上である領域が存在しない場合、現在処理を行っている本区間の直前区間における最終フレーム画像にて視差量の調整を行っていたかどうかを、視差量制御部２４が保持している調整情報を元に判断する（ステップＳ６）。

ステップＳ４にて変化率が所定の閾値以上である領域が存在していると判断された場合、またはステップＳ６にて直前区間における最終フレーム画像で視差量の調整を行っていたと判断された場合は、視差量制御部２４にて、フレーム画像を表示する際の表示用視差量を決定する。

図５を用いて、区間ＴＮの表示用視差量の決定方法について説明する。縦軸を、図３のステップＳ５において決定した着目領域の視差量とし、視差量が時間経過と共に正方向に増加しているとき、映像データに含まれる任意の物体は表示画面からユーザに近づく方向へ移動するように知覚されるとする。実線が調整前視差量の変化を示し、破線が表示用視差量の変化を示している。

調整前視差量の区間ＴＮでの変化率ＫＮ及び区間ＴＮ−１での変化率ＫＮ−１、変化率の閾値Ｋｔｈの関係は、Ｋｔｈ＜ＫＮ−１＜ＫＮであるとする。まず区間ＴＮ−１では、調整前視差量の変化率ＫＮ−１が閾値Ｋｔｈ以上であるので、変化率ＫＮ−１より小さい変化率Ｋｎ−１で変化するように、表示用視差量を決定する。このとき変化率Ｋｎ−１の決め方としては、変化率ＫＮ−１に１より小さい所定の係数α（例えば０．８）を乗じて、Ｋｎ−１＝α×ＫＮ−１とする。変化率ＫＮ−１が閾値Ｋｔｈを大きく超えている場合には、乗じる係数αの値を小さくしてＫｎ−１を決定することが望ましい。

次に、区間ＴＮでの表示用視差量の変化率Ｋｎは、変化率Ｋｎ−１と同様に、調整前視差量の変化率ＫＮより小さい値とする。更に、変化率Ｋｎは、表示用視差量における区間ＴＮ−１の変化率Ｋｎ−１と区間ＴＮの変化率Ｋｎとの関係が、調整前視差量における区間ＴＮ−１の変化率ＫＮ−１と区間ＴＮの変化率ＫＮとの大小関係と同じであるように決定される。ＫＮ−１＜ＫＮの場合、Ｋｎ−１を決定する際にＫＮ−１に乗じた係数αと同等の係数、又はＫｎ−１＜Ｋｎの関係になる係数を乗じて、変化率Ｋｎを決定する。このとき、ユーザに近づくように知覚される物体が所定値以上の速度で移動するように知覚されることを防ぐため、変化率Ｋｎが閾値Ｋｔｈに対して極端に大きくならないようにする。

また、区間の前後で視差量の変化が不自然にならないように、視差量の調整を行う区間の直前区間又は直前フレーム画像での調整前視差量及び表示用視差量を考慮して、本区間での表示用視差量を決定する。例えば、調整前の映像において、ある領域の視差量が区間をまたいで連続的に変化している場合、調整後の映像において、不連続になったりすることがないように、視差量の調整を行う。以上のように、視差量の調整を行う区間の表示用視差量は、該区間の直前区間での調整情報を考慮し、決定される。視差量制御部２４は、決定した表示用視差量で表示を行うための制御信号を生成する。

生成された制御信号を元に、視差量調整部２５は本区間の映像における視差量の調整を行う（ステップＳ７）。このとき、着目領域の視差量が、視差量制御部２４にて決定された表示用視差量になるように、左眼用及び右眼用フレーム画像の表示位置を調節する方法としては、各画像の水平同期タイミングを調節する方法等、公知の方法を用いることができる。変化率が所定の閾値以上の領域が存在しない場合、且つ直前区間の最終フレーム画像で視差量の調整を行っていなかった場合は、本区間の制御を終了して、映像選択部７にて次区間の映像入力の有無を判断する（ステップＳ８）。次区間の映像入力がある場合は、次区間においてステップＳ２以下の処理を行い、入力がない場合は視差量調整を停止する。

視差量の変化率は、映像解析等によって得られた各領域での視差量から取得してもよいし、メタデータとして予め映像に視差量の変化率が付与されているような場合には、そのメタデータ等から取得してもよい。また、ブロックマッチング法等を用いて、左眼用フレーム画像及び右眼用フレーム画像からそれぞれブロックを取り出し、対応する点の位置関係により、各々の領域での視差量を取得し、視差量を基に区間内での視差量の変化率を取得してもよい。更に、取得する変化率としては、区間内での平均変化率でも、複数区間分の平均変化率でも良い。視差量の変化率の閾値は、予め定められていても、ユーザが設定できる構成にしてもよく、コンテンツの種類、ユーザの年齢等に応じて閾値を変動させることも可能である。

着目領域の決定方法としては、閾値以上の変化率をもつ領域が存在するフレーム画像内での位置に応じて重み付けを行ってもよい。閾値以上の変化率を持つ領域が、図画面端に存在する場合より、画面中央部に存在する場合の方がよりユーザが驚くと考えられる。よって、取得した変化率に、例えば図６に示すようなフレーム画像内の位置により異なる係数（例えば１〜５）を乗算し、変化率の重み付けを行って着目領域を決定してもよい。閾値以上の視差量を有する領域がフレーム画像内に複数存在する場合には、例えば、視差量の変化率に重み付けのための係数を乗算した値が最も大きい領域を着目領域とすることができる。このようにして決定した着目領域における調整前視差量の変化率に基づいて、区間内のフレーム画像の視差量を調整する。

図８は、図３で示したフローチャートの制御における視差量と時間との関係を示した図である。縦軸を、図３のステップＳ５において決定した着目領域の視差量とし、視差量が時間経過と共に正方向に増加しているとき、映像データに含まれる任意の物体が表示画面からユーザに近づく方向へ移動するように知覚されるとする。実線が調整前視差量の変化を示し、破線が本実施例による表示用視差量の変化を示している。図９は、図８での各区間における調整前と表示用視差量の変化率を示す表を表したものである。

ここでは、１区間Ｔｎを０．５秒間とし、着目領域における区間内での視差量の平均変化率を用いて調整を行う。

まず、Ｔ１区間においては、調整前視差量の変化率が閾値の７より小さいので調整は行われず、視差量は本来の映像の視差量のままとなる。Ｔ２区間では、調整前視差量の変化率が閾値以上であるので、変化率が調整前視差量の変化量よりも小さくなるように、各フレーム画像の視差量を決定する。また、Ｔ１区間とＴ２区間の間において、調整前視差量の変化率を考慮して、Ｔ１区間の視差量と、線形もしくは非線形に連続して視差量が変化するように、視差量を決定する。

Ｔ３区間では、調整前視差量の変化率は閾値より小さいが、前区間であるＴ２区間で視差量の調整を行っているので、Ｔ２区間での視差量と、線形もしくは非線形に連続して視差量が変化するように視差量の調整を行う。図９では、Ｔ３区間での表示用視差量の変化率は、調整前視差量の変化率のままとしたが、Ｔ２区間等前後区間の変化率を踏まえて、より小さい変化率に変更してもよい。

更にＴ４区間では、調整前視差量の変化率が閾値以上であって、前区間であるＴ３区間でも視差量の調整を行っている。よって、Ｔ３区間での表示用視差量と、線形もしくは非線形に連続して視差量が変化するように視差量を調整する。

本発明では、映像内の立体視される物体の奥行き方向での移動方向を本来の映像と変えることも可能である。つまり、本来の映像では視差量が増加して変化するところを、減少させて変化させ、視差量の変化率の傾きを変えることによって、例えば、表示画面からユーザ方向に移動して飛び出してくるように見える物体が、奥に移動するように変えられる。しかし、図８の破線のように、本来の映像の調整前視差量の増減を合わせて視差量を調整すれば、本来の映像で表示画面からユーザ方向に移動する物体を、調整後の映像でも移動方向を変えることなく、移動速度を遅くして表示することが可能となる。

このように、所定の閾値以上の変化率を有する領域の視差量を、調整前視差量の変化率より小さくなるように決定することで、映像データに含まれる物体がユーザ方向へ所定値以上の速度で移動するようにユーザが知覚することによって生じる不快感を軽減することができる。また、視差量の変化率の傾きを維持したままで、変化率を小さくすることにより、本来の映像において立体視される物体の動きを損なわない制御を行うことができる。

上記の視差量調整を行った後、さらに視差量の回復期間ＴＲを設け、本来の視差量に回復させるような視差量の調整を行ってもよい。視差量制御部２４において、回復期間ＴＲの直前のフレーム画像での調整前視差量と、表示用視差量との差分ΔＰを検出する。そして、視差量制御部２４は、回復期間ＴＲにおける映像に対して、随時調整前視差量と表示用視差量との差分ΔＰが時間経過と共に小さくなるように表示用視差量を決定する制御を行う。このとき表示用視差量の変化率が、所定の閾値以上にならないように調整することも可能である。

差分ΔＰが大きい場合、急に調整前視差量に回復させると、かえって映像内の物体がユーザに近づく方向へ大きく移動するように知覚され、ユーザが驚いてしまうことになる。表示用視差量の変化率を調整前視差量の変化率より小さくするために、回復期間ＴＲは、差分ΔＰの大きさに応じて可変にしてもよい。特に、視差量の回復方法としては、着目領域における調整前視差量が減少し、着目領域に存在する物体がユーザから遠ざかる方向へ移動するように回復させてもよいし（図１０（ａ））、視差量調整開始から所定時間経過後、回復させてもよい（図１０（ｂ））。

この回復期間ＴＲにおいても、表示用視差量の変化率が調整前視差量の変化率以上にならないように表示用視差量の調整を行うと、映像内の立体視される物体がユーザ方向へ所定値以上の速度で移動することによる不快感を軽減できる。

（実施例２）
本実施形態では、視差量の調整方法として、フレーム画像枠に対して、映像データに含まれる物体の位置を個別に移動させた画像を作成して調整する方法（図７（ｂ））について説明する。

実施例１と同様に図３のフローチャートを用いて、本実施例の処理の流れを説明する。区間の定義、ステップＳ１およびステップＳ２に関しては、実施例１と同様であるため、説明を省略する。

ステップＳ３において、変化率取得部２２は、特に、映像の表示画面からユーザに近づく方向へ移動するように知覚される、フレーム画像内におけるオブジェクトの視差量の変化率を、オブジェクトの個数分取得する。ここで、オブジェクトとは実施例１で例として記載したボールのような物体である。実施例１は本実施例と異なり、映像データ中に含まれる物体を特定する処理は実施していないが、本実施例では、物体を任意の認識手法を用いて特定し、この特定した物体をオブジェクトとして処理する構成を説明する。オブジェクト単位で視差量を調整する手法は、２Ｄ映像のデータを解析して、２Ｄ映像のデータに含まれるオブジェクトを認識し、それぞれのオブジェクトや背景の遠近感から３Ｄの映像データを生成するような処理に適用するのが想定される。

次に、変化率判定部２３は、映像内でユーザに近づくように知覚されるオブジェクトの変化率のうち、変化率が所定の閾値以上であるオブジェクトが存在するかどうかを判断し（ステップＳ４）該オブジェクトを調整オブジェクトとする（ステップＳ５）。本実施例においては、調整オブジェクトが複数存在してもよく、それぞれの調整オブジェクトについて調整を行う。

視差量制御部２４において、所定の閾値以上の変化率である調整オブジェクトの変化率を基に、調整オブジェクトの画像を表示する際の視差量を表示用視差量として決定する。このとき、調整オブジェクトの表示用視差量の決定方法としては、図１１に示すように、閾値以上の視差量をもつオブジェクトが存在するフレーム画像内での位置やサイズ等や、ユーザにより重み付けを行ってもよい。閾値以上の変化率を持つオブジェクトが、画面端領域Ｒ２に小さいサイズで存在するより、画面中央領域Ｒ１に大きいサイズで存在するの方がユーザが驚くと考えられるので、後者のオブジェクトの移動を前者のオブジェクトの移動より大きく抑制して表示用視差量を決定してもよい。

視差量制御部２４は、調整情報として、実施例１と同様、調整を行ったか否かの情報と共に、フレーム画像内における各調整オブジェクトの位置、表示用視差量等を保持している。変化率が所定の閾値以上であるオブジェクトが存在しない場合、現在処理を行っている本区間の直前区間における最終フレーム画像にて、視差量の調整を行っていた調整オブジェクトが存在するかどうかを、視差量制御部２４が保持する調整情報を元に判断する（ステップＳ６）。

ステップＳ４にて変化率が所定の閾値以上であるオブジェクトが存在していたと判断された場合、またはステップＳ６にて直前区間における最終フレーム画像で、視差量の調整を行っていたオブジェクトが存在すると判断された場合は、視差量制御部２４にて制御信号を生成する。生成された制御信号を元に、視差量調整部２５は本区間の映像における各調整オブジェクトの視差量の調整を行う（ステップＳ７）。

変化率が所定の閾値以上の領域が存在しない場合、且つ直前区間の最終フレーム画像で視差量の調整を行っていたオブジェクトが存在しない場合は、本区間の制御を終了して、映像選択部７にて次区間の映像入力の有無を判断する（ステップＳ８）。次区間の映像入力がある場合は、次区間においてステップＳ２以下の処理を行い、入力がない場合は視差量調整を停止する。

このように、所定の閾値以上の変化率を有するオブジェクトの視差量を、変化率が調整前視差量の変化率より小さくなるように決定することで、オブジェクトがユーザ方向へ所定値以上の速度で移動するようにユーザが知覚することによって生じる不快感を軽減することができる。また、映像内の動きの少ないオブジェクトについてはユーザが視聴した場合の奥行き方向の距離感を変えることなく表示することができる。また、視差量の変化率の傾きを維持したままで、変化率を小さくすることにより、本来の映像において立体視されるオブジェクトの動きを損なわない制御を行うことができる。

（実施例３）
以下、本発明の第３の実施形態について説明する。本実施形態は、オブジェクトのフレーム画像内での移動やフェードアウト等により、視差量を調整に用いるために着目する着目領域が視差量調整処理中に変更になる場合の制御である。実施例１と同様に、視差量の変化率を取得する対象は、図４に示すようなフレーム画像を分割した各ブロック領域とし、視差量の調整方法としては、図７（ａ）に示す方法を用いる。

図１２に、本発明を実現するための処理の流れを示したフローチャートの一例を示す。映像選択部７で、３Ｄ映像が選択された場合（ステップＳ９１）、変化率取得部２２は視差量の変化率を取得する（ステップＳ９２）。変化率判定部が、取得した変化率が閾値以上であるか否かの判定（ステップＳ９３）を行った後、視差量制御部２４は、変化率が閾値以上である領域の中から、視差量を調整に用いるために着目する着目領域を決定する（ステップＳ９４）。ステップＳ９２で取得した変化率に応じて視差量制御部２４にて生成された制御信号に基づいて、視差量調整部２５は視差量の調整を行う（ステップＳ９５）。

ステップＳ９４で決定した着目領域の変化率が、次に調整を行うフレーム画像内においても、閾値以上であるか否かを変化率判定部２３が判断する（ステップＳ９６）。閾値以上である場合には、ステップＳ９４で決定した着目領域の変化率に基づいて、視差量の調整を行う。ステップＳ９４で視差量の調整に用いた着目領域の変化率が閾値以上でない場合には、フレーム画像内の他の領域において、変化率が閾値以上である領域がないか、変化率判定部２３にて判定する（ステップＳ９７）。他の領域で変化率が閾値以上の領域が存在する場合には、該領域を新たな着目領域として、視差量を調整するための制御信号を視差量制御部２４が生成し、視差量調整部２５で視差量の調整を行う。このとき、調整前視差量の変化率を考慮して、着目する着目領域が変更する前後の映像において、線形もしくは非線形に連続して視差量が変化するように、視差量を決定する。

他の領域で変化率が閾値以上の領域が存在しない場合、実施例１と同様に、表示用視差量を調整前視差量へと回復させる回復期間ＴＲを設け、視差量を回復させる（ステップＳ９８）。視差量の回復中及び回復後も、視差量の変化率を取得し、再び変化率が閾値以上の領域が存在した場合には、ステップ９４以下の制御を行う。

このように、着目領域が視差量調整処理中に変更になる場合にも、立体視される領域の映像における視差量の変化率が、調製前視差量の変化率より小さくなるように決定することができる。また、所定の閾値以上の変化率を有する領域の視差量を、変化率が調整前視差量の変化率より小さくすることで、対象物がユーザ方向へ所定値以上の速度で移動するようにユーザが知覚することによって生じる不快感を軽減することができる。

９ 映像処理部
２２ 変化率取得部
２３ 変化率判定部
２４ 視差量制御部
２５ 視差量調整部
１００ 処理装置

Claims (6)

1. 左眼用フレーム画像データ及び右眼用フレーム画像データからなる映像データを表示部にユーザが立体視可能に表示する映像処理装置において、
   １組の左眼用フレーム画像及び右眼用フレーム画像の眼幅方向の画像のずれ量である視差量の単位時間当たりの変化率を、所定期間の映像データから取得する取得手段と、
   前記変化率を取得した前記所定期間の映像データを表示した場合に、当該映像データが所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであるか否かを判定する判定手段と、
   前記判定手段において前記所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであると判定された場合、前記立体視される物体が、前記取得手段で取得した変化率よりも小さい変化率でユーザに近づくように立体視されるように、前記映像データを表示する際に用いる表示用視差量を決定する制御を行う制御手段と、
   決定された前記表示用視差量を用いて、左眼用フレーム画像及び右眼用フレーム画像からなる映像データを調整する調整手段と、
   前記調整手段で調整された前記映像データを前記表示部に表示する処理を行う処理手段と、
   を有することを特徴とする映像処理装置。
2. 前記取得手段は、左眼用フレーム画像及び右眼用フレーム画像を所定数に分割したブロック領域の前記変化率を取得し、
   前記制御手段は、所定の閾値以上の変化率を示すブロック領域を着目領域として、前記着目領域における変化率から前記表示用視差量を決定する制御を行うことを特徴とする請求項１に記載の映像処理装置。
3. 前記着目領域は、所定の閾値以上の変化率を示す前記ブロック領域の中から、左眼用フレーム画像及び右眼用フレーム画像内における前記ブロック領域の位置に応じた重み付けを行って決定することを特徴とする、請求項２に記載の映像処理装置
4. 前記映像データに付与されたメタデータを取得することにより、又は映像データを解析することにより、前記映像データに含まれる立体視される物体のうち特定のオブジェクトを認識する認識手段を有し、
   前記取得手段は、前記認識手段により認識された特定のオブジェクトの視差量の変化率を取得し、
   前記制御手段は、前記取得された前記特定のオブジェクトの変化率が所定の閾値以上の場合、当該特定のオブジェクトを表示する際に用いる表示用視差量を、当該特定のオブジェクトのサイズ、映像データにおける当該特定のオブジェクトの位置、当該特定のオブジェクトの移動方向の少なくとも１つを用いて決定する制御を行うことを特徴とする、請求項１に記載の映像処理装置。
5. 前記制御手段において、前記取得手段で変化率を取得した左眼用フレーム画像及び右眼用フレーム画像における調整前視差量と、前記左眼用フレーム画像及び右眼用フレーム画像の前記表示用視差量との差を取得し、前記差分が時間経過と共に減少していくように表示用視差量を決定する制御を行うことを特徴とする、請求項１乃至４のいずれか一項に記載の映像処理装置。
6. 左眼用フレーム画像データ及び左眼用フレーム画像データからなる映像データを表示部に立体視可能に表示する映像処理装置の制御方法において、
   １組の左眼用フレーム画像及び右眼用フレーム画像の眼幅方向の画像のずれ量である視差量の単位時間当たりの変化率を、所定期間の映像データから取得するステップと、
   前記変化率を取得した前記所定期間の映像データを表示した場合に、当該映像データが所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであるか否かを判定するステップと、
   前記判定手段において前記所定の閾値以上の変化率でユーザに近づくように立体視される物体を含む映像データであると判定された場合、前記立体視される物体が前記取得手段で取得した変化率よりも小さい変化率でユーザに近づくように立体視されるように、前記映像データを表示する際に用いる表示用視差量を決定する制御を行うステップと、
   決定された前記表示用視差量を用いて、左眼用フレーム画像及び右眼用フレーム画像からなる映像データを調整するステップと、
   前記映像データを前記表示部に表示する処理を行うステップと、
   を有することを特徴とする映像処理装置の制御方法。

Images