JP2015220504A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 立体画像の撮像および再生に対応した画像処理装置に関して、操作状況に応じて適切に立体感の調節された画像を表示することを目的とする。
【解決手段】 立体画像を撮像するときに所定の調整を行うことに応じて、表示手段により表示される画像を立体画像から平面画像へ切り替えるよう制御する。また、再生対象の立体画像に対して所定の期間の編集を行うことに応じて、表示手段により表示される立体画像の奥行きの変化を示す情報を表示する。
【選択図】 図１

Description

本発明は、立体画像の表示に係る画像処理装置および画像処理方法に関する。

左眼用カメラと右眼用カメラを用いて、左右のカメラ間の視差により立体画像を撮像する撮像システムが知られている。また、裸眼で立体画像を視聴可能な表示装置としては、パララックスバリア（視差バリア）方式ディスプレイやレンチキュラーレンズ方式ディスプレイが知られている。

また、記録した立体画像を再生して視聴する際に、立体感を調整する構成も提案されている。特許文献１には、立体画像の再生時に、左眼用と右眼用の二つの画像の相関値を算出し、奥行き度合いを推定し、画面内に文字情報がある場合は、その画像領域に対する奥行きを少なくするという技術が開示されている。

特開２００７−０２８４３９号公報

立体画像に対応したカメラによって撮影を行う際には、撮影中の表示画像も立体画像であることが望ましい。しかしながら、撮影に係る操作を行う際には、次のような不都合が生じることがある。

例えば、撮像時に左右のカメラの撮像画像を表示装置で確認しながら、マニュアルフォーカスなどの調整を行う場合に、立体画像では画像の立体感の影響によりフォーカス調整などの微妙な調整が困難な場合がある。また、裸眼で立体画像を認識可能なパララックスバリアやレンチキュラーレンズを用いた表示装置に立体画像を表示する場合は、元の画像に対して水平方向の解像度が１／２となるため、表示画像を見ながら詳細な調整を行うことが一層困難である。

一方、立体画像に対応したカメラによって記録された画像を再生する際にも、操作の形態によって次のような不都合が生じることがある。

例えば、編集によってシーンの一部がカットされたような場合に、不連続となったシーンをそのまま再生すると、立体感が急激に変化することによる視覚的違和感などを生じさせてしまう。

そこで本発明は、立体画像の撮像および再生に対応した画像処理装置に関して、操作状況に応じて適切に立体感の調節された画像を表示することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の撮像部を用いて立体画像を生成する撮像手段と、前記複数の撮像部における撮影機能の調整を行う操作手段と、前記撮像手段によって撮像された画像を裸眼で観察可能な立体画像として表示する表示手段と、前記撮像手段によって立体画像を撮像するときに、前記操作手段によって所定の調整を行うことに応じて、前記表示手段により表示される画像を立体画像から平面画像へ切り替えるよう制御する表示制御手段とを備えることを特徴とする。

また、本発明の画像処理方法は、複数の撮像部を用いて立体画像を生成する撮像工程と、前記複数の撮像部における撮影機能の調整を行う調整工程と、前記撮像工程において撮像された画像を裸眼で観察可能な立体画像として表示する表示工程と、前記撮像工程において立体画像を撮像するときに、前記調整工程において所定の調整を行うことに応じて、前記表示工程において表示される画像を立体画像から平面画像へ切り替えるよう制御する表示制御工程とを有することを特徴とする。

本発明によれば、操作状況に応じて適切に立体感の調節された画像を表示することができる。

本発明の実施形態１に係る画像処理装置のブロック図である。 本発明の実施形態１に係る立体画像生成方法のイメージ図である。 本発明の実施形態１に係る平面画像生成方法のイメージ図である。 パララックスバリア方式ディスプレイの視聴イメージ図である。 パララックスバリアＯＮ／ＯＦＦ機能付きディスプレイの視聴イメージ図である。 本発明の実施形態２に係る画像処理装置のブロック図である。 本発明の実施形態２に係る奥行き情報制御フローチャート図である。 本発明の実施形態２に係るプレイリスト編集時のシナリオ例である。 本発明の実施形態２に係る表示出力画面例である。 本発明の実施形態２の変形例に係る奥行きメタデータのデータ構造例である。 本発明の実施形態２の変形例に係る符号化ピクチャタイプと奥行きメタデータ情報の相関図である。 本発明の実施形態２の変形例に係る奥行きメタデータ生成に関するフローチャートである。 本発明の実施形態２の変形例に係る奥行きメタデータの取得に関するフローチャートである。 ＭＶＣを用いた画像処理装置のブロック図である。 変倍率決定の例である。 サイズが異なって撮影される例である。 変換係数の決定に関するフローチャートである。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１に係る画像処理装置の構成を表すブロック図である。以下、画像処理装置の一例としてデジタルカメラ（撮像装置）に適用した例を説明する。図１の画像処理装置は、撮像装置として２つの撮像部を有する２眼撮像装置である。

１０１は操作入力部であり、操作者の指示に基づき、ＣＰＵ１０２およびＣＰＵバス１０３を介して各部の制御を行う。左眼用撮像部１０４および右眼用撮像部１０５は、同等の撮像部であり、レンズおよび結像した画像を光電変換するための撮像素子と、撮像素子から読み出したアナログ信号をデジタル信号へ変換するＡ／Ｄ変換処理部等を含む。デジタル信号は、画像処理部１０６へ供給される。画像処理部１０６は、左眼用撮像部１０４および右眼用撮像部１０５より供給されたデジタル信号を映像信号に変換し、表示制御部１０７へ映像信号を供給する。表示制御部１０７は、左眼用符号化部１０９および右眼用符号化部１１０へ映像信号を供給する。さらに、所定の制御により表示部１０８へ表示画像を出力する。表示制御部１０７については、より詳細な説明を後述する。

表示部１０８はパララックスバリア方式を用いた、立体画像を裸眼で観察可能な液晶ディスプレイである。左眼用符号化部１０９および右眼用符号化部１１０は、同様の符号化部であり、所定の符号化方式（例えば、Ｈ．２６４やＨ．２６５）に則って符号化を行い、符号化データを記録媒体制御部１１１へ供給する。記録媒体制御部１１１は規定のプロトコルにて、記録媒体１１２へ符号化データを書き込む。上記処理により撮像処理が完結する。

次に、図１に示す表示制御部１０７について説明する。表示制御部１０７は、撮像時に、操作入力部１０１より、操作者によりマニュアルフォーカス調整制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替える。マニュアルフォーカス調整制御がなされている場合には、後述する立体画像生成方法を用いて表示画像を生成する。また、マニュアルフォーカス調整制御がなされていない場合には、後述する平面画像生成方法を用いて表示画像を生成する。

次に、図２を用いて前記立体画像生成方法について説明する。前記立体画像生成方法は、前記左眼用撮像部と前記右眼用撮像部にて撮像された左眼用画像と右眼用画像を合成する方法である。図２（ア）に示す２０１は前記左眼用撮像部より撮像された左眼用画像であり、２０２は前記右眼用撮像部より撮像された右眼用画像である。左眼用画像と右眼用画像を合成するために、それぞれの画像を水平方向に１／２に縮小する。図２（イ）に示す２０３および２０４は、左眼用画像２０１および右眼用画像２０２をそれぞれ水平方向に１／２に縮小した画像を示す。次に、縮小画像２０３および２０４を用いて、縮小画像２０３を水平方向の奇数画素へ、縮小画像２０４を水平方向の偶数画素へ配置することで左眼用画像と右眼用画像の合成を完了する。図２（ウ）に示す２０５は左眼用画像と右眼用画像の合成画像（立体画像）である。

次に、図３を用いて前記平面画像生成方法について説明する。図３（ア）に示す３０１は前記左眼用撮像部より撮像された左眼用画像である。次に、左眼用画像３０１を水平方向に１／２に縮小する。図３（イ）に示す３０２は、左眼用画像３０１を水平方向に１／２に縮小した縮小画像である。図３（ウ）に示す３０３は、縮小画像３０２を水平方向に２倍に拡大した画像である。図３（ウ）に示すように、縮小画像３０２を水平方向に２画素分ずつ同じ画像を配置することで、水平方向を２倍に拡大する。なお、平面画像の生成方法にて、左眼用撮像部より撮像された画像を用いると説明したが、右眼用画像を用いても良いものとする。或いは、平面画像生成方法にて、左眼用撮像部と右眼用撮像部のうち、マニュアルフォーカス調整制御のなされた撮像部の画像を用いても良いものとする。

図４は、パララックスバリア方式ディスプレイの視聴イメージ図である。図４（ア）は、パララックスバリア方式の液晶ディスプレイに前記立体画像生成方法により生成した画像を表示した場合のイメージ図である。図４（ア）のように表示面より操作者側にパララックスバリアを設置することで、操作者の左眼には左眼用画像のみを見せて、右眼には右眼用画像のみを見せることで、操作者は立体画像として観察することが可能となる。

次に、図４（イ）は、パララックスバリア方式の液晶ディスプレイに前記平面画像生成方法により生成した画像を表示した場合のイメージ図である。図４（イ）のように操作者の左眼と右眼に同一画像を見せることで、パララックスバリア方式の液晶ディスプレイを用いて、操作者に平面画像を見せることが可能となる。

本実施形態の画像処理装置では、撮影時、撮影機能の調整の例として、マニュアルフォーカス調整の制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替える例を示した。また、これ以外に、装置に付随するスイッチまたはボタン操作により、表示部１０８へ出力する表示画像の生成方法を切り替えても良いものとする。或いは、ズーム調整の制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替えても良いものとする。或いは、絞り調整の制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替えても良いものとする。或いは、メニュー表示操作がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替えても良いものとする。なお、本実施形態では、パララックスバリア方式のディスプレイを用いた装置を例に説明したが、レンチキュラーレンズ方式のディスプレイを用いても良いものとする。

なお、本実施形態では、マニュアルフォーカス調整制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替えているが、マニュアルフォーカス調整制御がなされているか否かにより瞬時に切り替える必要はない。マニュアルフォーカス調整制御が行われてから所定の時間は平面画像生成方法により画像を生成しても良いものとする。

（実施形態１の変形例）
次に、図１に示す表示部１０８に、パララックスバリアのＯＮ／ＯＦＦ制御可能なパララックスバリア方式の液晶ディスプレイを備えた画像処理装置について説明する。

表示制御部１０７は、撮像中に、操作入力部１０１から操作者によるマニュアルフォーカス調整制御がなされているか否かにより、表示部１０８へ出力する表示画像の生成方法を切り替える。マニュアルフォーカス調整制御がなされている場合には、後述する立体画像生成方法を用いて表示画像を生成する。また、マニュアルフォーカス調整制御がなされていない場合には、後述する平面画像生成方法を用いて表示画像を生成する。

立体画像生成方法については、前述した実施形態１の立体画像生成方法と同等であるため説明を省略する。次に、平面画像生成方法について説明する。本変形例における平面画像生成方法は、前記左眼用撮像部より撮像された画像を表示するものである。ただし、実施形態１で説明した平面画像生成方法では水平方向に１／２に縮小する処理を行ったが、本例における平面画像生成方法では縮小処理を行わないものである。

図５は、パララックスバリアＯＮ／ＯＦＦ機能付きディスプレイの視聴イメージ図である。図５（ア）は、パララックスバリアのＯＮ／ＯＦＦ制御可能なパララックスバリア方式の液晶ディスプレイへ前記立体画像生成方法により生成した画像を表示した場合のイメージ図である。図５（ア）のように表示面より操作者側にパララックスバリアを設置することで、操作者の左眼には左眼用画像のみを見せて、右眼には右眼用画像のみをみせることで、操作者は立体画像として視聴することが可能となる。

次に、図５（イ）は、パララックスバリアのＯＮ／ＯＦＦ制御可能なパララックスバリア方式の液晶ディスプレイへ前記平面画像生成方法により生成した画像を表示した場合のイメージ図である。図５（イ）のように、平面画像を表示する場合には、パララックスバリアをＯＦＦにして、前述した平面画像生成方法により生成した平面画像を表示する。こうすることで、前記立体画像を表示する場合と比較して、水平方向の解像度が２倍となる平面画像を操作者に見せることが可能となり、操作者はより解像度の高い映像を確認しながら、マニュアルフォーカスの調整が可能となる。

（実施形態２）
前述した実施形態１では、画像処理装置の撮影時の操作に関して立体画像の表示を抑制する例を説明したが、実施形態２では、再生時の立体画像表示の抑制について説明する。図６は、本発明の実施形態２に係る画像処理装置のブロック図である。図６の画像処理装置の記録媒体６０１には、実施形態１で述べたような撮像装置で撮影された符号化画像データが記録されている。記録媒体６０１は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録媒体である。

画像処理装置内の各部は、システムバス６１５によって接続され、当該システムバスを介して各ユニット間での制御パラメタやデータ送受信を行うものとする。記録媒体制御部６０２は、記録媒体６０１とＤＲＡＭ６０３間での、高速なデータ書き込みや、読み出しを制御するユニットである。マイコン６０５からの要求に基づいて、記録媒体６０１上の対応する物理アドレスへシークする制御や、読み込みデータのエラー訂正機能を有する。

ＤＲＡＭメモリ６０３は半導体メモリであり、符号化ストリームや復号画像データ、あるいは音声データ等、本システムを構成する各ユニットからの出力データを格納するためのユニットである。メモリコントローラ６０４は、各ユニットからのＤＲＡＭメモリ６０３へのデータ書き出しや読み込み要求に対して、アクセスするデータサイズや、各ユニットの優先順位に基づいて調停した上で、データの読み書き制御を行う。

マイコン６０５は、本実施形態の画像処理装置を構成する各ユニットを制御するプロセッサーである。マイコン６０５には、読み出し専用のＲＯＭ６０６メモリと、読み書き可能なＲＡＭ６０７メモリがそれぞれ接続され、ＲＯＭ６０６とＲＡＭ６０７にはマイコン６０５を動作させる処理プログラムやデータが格納されている。

操作受信部６０８は、不図示のリモコン端末からの操作やボタン押下、あるいはタッチパネル等のインタフェースを介して入力されるユーザ操作信号を受信し、信号に応じた操作コマンドが発生したことをマイコン６０５に通知する。三次元立体動画像データ復号部６０９は、記録媒体６０１から読み込んだ三次元符号化ストリームから画像データを復号し、復号した画像データをＤＲＡＭメモリ６０３に生成する。前記三次元符号化の圧縮方式としては、サイドバイサイド方式やＨ．２６４ ＭＶＣ（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ）規格方式等の左右二つの視点から撮影した二つの画像を伝送する方式を想定しているが、特にこれに限定されない。

奥行き情報取得部６１０は、前記三次元立体動画像データ復号部６０９でデコードされた左眼用、右眼用の両方の視点画像から両眼視差を求め、物体のズレ量から数値化された奥行き情報を検出する。物体の奥行きを数値として表現する方法として、視聴者が距離Ｌ離れたスクリーン面（基準面）から立体像を見た時、スクリーン面より引っ込んだ凹側に立体像が視認できる場合と、スクリーン面よりも飛び出した凸側に視認できる場合の二つがある。視聴者の左眼と右眼間の距離をｅ、左眼画像と右眼画像の視差をＰ、そしてスクリーン面からの立体像の定位する距離をｄとした時、下式（１）あるいは（２）の比率式から奥行きを計算することが可能である。
（ａ）凹側の場合、
ｄ：Ｐ＝ｄ＋Ｌ：ｅ
ｄ＝Ｐ×Ｌ／（ｅ−Ｐ） ・・・式（１）
（ｂ）凸側の場合
ｄ：Ｐ＝Ｌ−ｄ：ｅ
ｄ＝Ｐ×Ｌ／（ｅ＋Ｐ） ・・・式（２）

上式に一般的な左眼と右眼間の距離ｅ＝６５ｍｍ、そして想定視聴距離Ｌを固定値として、左右視差画像の両眼視差Ｐを代入することで奥行きである立体像の定位位置ｄを算出する。上述の両眼視差Ｐについては、前記三次元立体動画像データがＨ．２６４ ＭＶＣ方式で符号化されているデータの場合、左右画像の両眼視差相当の情報である視差ベクトル値を用いて奥行きを導出することも可能である。

奥行き情報取得部６１０で取得した奥行き情報は、デコード済みの画像データと関連付けされた形式で、前記ＤＲＡＭメモリ６０３あるいはマイコン６０５のＲＡＭ６０７等に記憶されるものとする。この時、奥行き情報の導出方法としては、前述の凹側すなわちスクリーン面よりも引っ込んだ位置に立体像がある場合には、奥行き情報はゼロ、あるいは固定値と判断しても良いものとする。上記判断の理由は、本発明に係る課題が生じ得るケースとして、凹側において立体像の定位位置が変化するだけであれば、視聴者に対して不快感を与える可能性は低いと考えられるためである。すなわち、凸側で、ユーザに向かって映像が飛び出るような立体視の場合が抑制の主な対象となる。

奥行き差分算出部６１１は、前記奥行き情報取得部６１０で取得した三次元動画像データ中において、編集点として指定された２つのフレーム画像に関する奥行き情報から、奥行き情報の差を算出する。この奥行き情報の差から、二つの立体画像間に対する立体感の変化があるかを定量的に計測することが可能となる。奥行き変化量判断部６１２は、前記奥行き差分算出部６１１より導出した奥行き情報の差分が、予め定めた閾値以上であるかを判断する。

三次元立体動画像出力部６１３は、三次元立体動画像データ復号部６０９で復号され、ＤＲＡＭメモリ６０３に蓄積されている表示画像データを読み出し、装置内又は装置外の不図示の液晶パネル等の表示デバイスへ出力する。奥行き情報表示部６１４は、奥行き情報取得部６１０から取得した奥行き情報、さらには奥行き変化量判断部６１２から取得した前記閾値との比較判定結果を、グラフィックスデータとして変換する。そして、当該グラフィックデータは三次元立体動画像出力部６１３において出力される立体動画像へ重畳されて描画される。

続いて、本実施形態の特徴となる奥行き情報取得部６１０、奥行き差分算出部６１１、奥行き変化量判断部６１２、および奥行き情報表示部６１４における処理の動作フローを、図７のフローチャートを用いて説明する。また図８に、上記動作フローを実施する、シーン１とシーン２の２つのコンテンツから構成される三次元立体動画像について、ユーザがプレイリスト編集を行った場合のシナリオ例と、その再生位置の関連図を示す。

図８において、シーン１はＰｂＴｉｍｅ１で表わされる期間の再生コンテンツであり、シーン２はＰｂＴｉｍｅ２で表わされる期間のデータ有するコンテンツとする。時間単位は１フレーム周期単位で復号および表示制御可能な形式である。そしてユーザから、シーン１のＩｎＴｉｍｅ１（８０１）からコンテンツ再生を開始してＯｕｔＴｉｍｅ１（８０２）の時点まで再生する。その後、シーン２のＩｎＴｉｍｅ２（８０３）に切り替わりＯｕｔＴｉｍｅ２（８０４）の時点まで再生を継続するという編集指示が行われたものとする。

図７に示す動作フローでは、上述の編集シナリオに基づき２つ以上の再生対象のコンテンツを選択後、複数のＩｎ点、Ｏｕｔ点指定による再生期間の編集を行った場合の、各処理ユニットの動作を示したものである。本動作フローは、上述の編集シナリオによる編集点指定のユーザ操作を操作受信部６０８で受信した後、該当する編集位置における立体動画像の奥行き情報取得と、変化量判断処理を実行するものである。

はじめにステップＳ７０１では、マイコン６０５から指示された編集点分の奥行き情報を算出したか判断する。なお本動作フローでは編集点として指定されたフレーム画像についてだけ奥行き情報取得を行っているが、再生コンテンツの全フレームについて奥行き情報を取得し、変化量判断処理だけを編集指定画像について実施するようにしても適用可能である。すべての編集指示画像について奥行き情報を取得するまでステップＳ７０２からＳ７０５を繰り返し（ステップＳ７０１のＦＡＬＳＥ以降）、取得完了時（ステップＳ７０１のＴＲＵＥ）はステップＳ７０６を実行して、奥行き情報の変化量算出を実行する。

ステップＳ７０２では、編集点として指示された符号化された三次元立体動画像データを記録媒体制御部６０２経由で記録媒体６０１から読み込み、ＤＲＡＭメモリ６０３に展開する。続いて、ＤＲＡＭメモリ６０３に読込んだ前記符号化動画データを、三次元立体画像データ復号部６０９でデコードし、左右両眼に対応する復号画像データおよび視差ベクトル等の復号パラメタ情報を再度ＤＲＡＭメモリ６０３に書き戻す（ステップＳ７０３）。奥行き情報取得部６１０では、前記復号画像データと復号パラメタ情報に基づいて当該復号画像の左右視差情報を取得する（ステップＳ７０４）。

そして、左右両眼の画像のズレ量である左右視差から、当該画面全体の奥行き度を算出する（ステップＳ７０５）。画面全体の奥行き度を導出する方法としては、左右画像の全画素に対する視差量の平均値、または左右眼画像の最大視差量値などを適応することが望ましい。ステップＳ７０１でＴＲＵＥと判断し、ユーザ指定された全編集点について奥行き情報を取得した場合、奥行き差分算出部６１１において、前記ステップＳ７０５で算出した複数の奥行き度数の差分絶対値（変化量）を計算する（ステップＳ７０６）。当該奥行き度数のフレーム間の差分の絶対値が、プレイリスト再生時のコンテンツ切り替わり時となる編集点画像間での立体感の変化量を表わす指標となる。

奥行き変化量判断部６１２では、奥行き差分算出部６１１から前記奥行き差分値を受信し、その値が示す変化量が予め定めた閾値以上であるか否かを判断する（ステップＳ７０７）。前記閾値は、ユーザにとって急激に立体感が変化しても違和感の無い差分量を設定するものとし、予め立体動画像再生装置としてプリセットされた設定値でも、ユーザが調整メニュー等から変更可能なパラメタとして指定しても良い。例えば、表示管面を基準として、最も手前まで飛び出す面までの視差量をＤｍａｘとすると、当該最大視差量Ｄｍａｘの中間値（Ｄｍａｘ／２）を前記閾値とする方法等も有効であるが、本実施形態を適用する上で、特にこの値に限定するものではない。

上述の判断基準に基づいて、奥行き差分値が示す変化量が閾値以上であった場合（ステップＳ７０７のＴＲＵＥ）は、奥行き情報表示部６１４にて、現在選択されている編集点では立体視の変化量が急激である旨をユーザ通知する（ステップＳ７０８）。一方、前記閾値未満である場合（ステップＳ７０７のＦＡＬＳＥ）は、特に気にならない立体視の変化であり、編集位置としては妥当であると判断して、一連の動作フローを終了する。

続いて、本実施形態に係る上述の動作フローを適用して、二つの三次元立体動画像データをプレイリスト編集した場合の動作画面出力例を説明する。上述の図８を用いて説明したように、そもそもの課題は、２つの再生コンテンツを連続して再生した時、図８中のＯｕｔＴｉｍｅ１の出力画面と、ＩｎＴｉｍｅ２の出力画面の間において、急激な立体感の変化が発生する可能性にある。本実施形態では、実際のプレイリスト再生時ではなく、事前に行われる編集指定画面において、シーン切り替わり画面で意図しない立体感の変化が起きてしまうことを、編集点の奥行き情報に基づいて判断して、通知警告することを特徴とする。

続いて図９には、前記編集シナリオに基づいて、プレイリスト編集を行った場合の表示出力画面の例を示す。本実施形態では、図９のように、シーン１のＯｕｔＴｉｍｅ１における出力画像（９０１）と、シーン２のＩｎＴｉｍｅ２における出力画像（９０２）を、小画面にして両方表示する。そして、９０３には奥行きタイムラインとして、シーン１とシーン２を合わせた再生区間（ＩｎｔＴｉｍｅ１からＯｕｔＴｉｍｅ１までとＩｎＴｉｍｅ２からＯｕｔＴｉｍｅ２まで）の、奥行き度数の時間変化をグラフィカルに表示する。

上記グラフィカル表示を実現するためには、前述の動作フローにおいて編集指定位置の出力画像だけでなく、再生区間の全出力画像について奥行き情報を取得するよう変更すれば良い。これにより、実際にプレイリスト再生した場合の奥行き度数の時系列変化を視覚的に把握することが可能となる。

さらに、９０４では、ＯｕｔＴｉｍｅ１とＩｎＴｉｍｅ２で指定されたシーン切り替わり時の再生画像間の奥行き変化量を数字としてグラフィックス表示する。なお、本実施形態は上記出力形式だけに限定したものではなく、奥行き変化量判断部６１２の判断結果によって、意図しない急激な立体感が変化すると判断した場合のみ、ポップアップメッセージによる通知や、ビープ音などによる音声通知でも良いものとする。また上述の９０４のグラフィックス表示方法として、前記奥行き変化量が閾値を上回った時に、数字の色を黄色やオレンジ、赤等の警戒色へ段階的に切り替えるようにし、ユーザに直感的に現在の編集位置が妥当でないことを把握できるようにしても良い。

９０５は編集操作を行うアイコンボタン表示である。ユーザはボタン操作あるいはタッチパネル操作によって、編集画像位置を前フレームや次フレーム位置へ選択することが可能である。

本実施形態によれば、編集画面においてシーン切り替え位置が確定するまでは、シーン送りあるいはシーン戻しを行ったタイミングで、該当する再生画像についての奥行き情報と変化量判断を行える。従って、常に編集選択位置での立体感遷移が適切か否か瞬時に確認できる。

（実施形態２の変形例）
実施形態２では、編集画面において、編集点として指定された三次元立体動画像データのフレーム画像について奥行き情報を取得した後、シーン切り替わりの編集点で奥行き情報の変化量を算出して、編集点として適切かどうかをユーザ通知する方法を説明した。本変形例としては、奥行き情報を、フレーム画像を復号する度に導出するのではなく、三次元立体動画像を撮影および符号化する際に、奥行き情報を取得して予めメタデータとして当該情報を作成する例を説明する。

図１０には、図１の如き画像処理装置（撮像装置）による動画像データ記録時に、左眼用符号化部１０９や右眼用符号化部１１０によって生成され、符号化データとともに記録される奥行きメタデータのデータ構造例を示した。また図１１には、動画像データの符号化時の符号化ピクチャと、当該奥行きメタデータを生成、更新するタイミングの相関図を示した。なお、左眼用符号化部１０９や右眼用符号化部１１０は、奥行き情報取得部６１０や奥行き差分算出部６１１や奥行き変化量判断部６１２を用いて撮影中に取得した奥行きに関する情報を元に、奥行きメタデータを生成する。

図１０の例では、記録開始から終了までを一つの再生コンテンツとしてファイルイメージで管理するものとして、当該奥行きメタデータもコンテンツ毎に新規に生成されるものとする。メタデータには該当する立体動画像データとの関連付けを識別するための動画像データファイル名を記録するフィールドと、当該動画像データの再生時間のフィールドが含まれる。さらに、前記再生時間から当該動画像データ中において、一般的に編集位置と指定可能な単位であるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）の個数を算出できるようにしている。ＧＯＰとは、Ｈ．２６４やＨ．２６５の符号化方式において、所定フレーム数ごとの符号化単位を意味する（例えば、１ＧＯＰ＝１５フレーム＝０．５秒）。ここでは、再生時間の単位で表現する以外に、当該動画像データ中のＧＯＰ数を、直接定義してもよいものとする。

図１０の例では、編集時に指定しランダムアクセス可能でＧＯＰ構造が１秒単位固定で符号化した場合の、各ＧＯＰで最初に画面内符号化したＩピクチャが格納されているファイル位置と、当該ＧＯＰデータ中のＩピクチャデータ位置を記録する。さらに本実施形態では、上記情報に加えてＩピクチャデータに対する画像から求めた左右視差に基づく奥行き度数値を記録する。

また、図１１に示したように、１フレーム周期で符号化したピクチャ単位に、画面内符号化だけを行ったＩピクチャか、前方参照して画像差分を符号化したＰピクチャか、さらに後方参照して符号化したＢピクチャかを、メタデータで記録する。そしてピクチャタイプに応じて、ストリーム途中から復号開始可能なランダムアクセスポイントとして指定されるＩピクチャの時に、当該ピクチャの奥行き情報を取得して追加して記憶する制御タイミングを持つ。このようなテーブルリスト構造で奥行き情報を撮影時に記録することで、編集時に指定された時間位置のフレーム画像に対応した奥行き情報をテーブルインデックスとして容易に参照可能にしている。上記奥行きメタデータは、マイコン６０５に接続されたＲＡＭメモリ６０７またはＤＲＡＭメモリ６０３の所定領域に格納され、マイコン６０５から指示により瞬時に読み出し可能なものとする。

以上が、本実施形態における、奥行きメタデータのデータ構造であるが、上記データフォーマットに限定するものではなく、同義の奥行き情報が定義されているものであれば実現可能である。

続いて、三次元立体動画像データを符号化記録時に、上述した奥行きメタデータを生成するフローを図１２に示し説明する。当該奥行きメタデータ生成フローは、画像処理装置が、記録モードに切り替わり、三次元映像の符号化とデータ記録を開始したタイミングでマイコンやＣＰＵによって実行される。

ステップＳ１２０１では、本画像処理装置が記録状態から記録停止等のユーザ指示に応じて、異なる状態に遷移したことを判断する。記録動作から異なる動作状態に移行した場合（ステップＳ１２０１のＦＡＬＳＥ）は、本動作フローを終了する。一方、記録中の場合（ステップＳ１２０１のＴＲＵＥ）は、遷移先のステップＳ１２０２からステップＳ１２０５までを繰り返し実行する。最初にステップＳ１２０２において、フレーム周期のピクチャ単位で、カメラ映像等によって入力された左眼用画像と右眼用画像を左眼用符号化部１０９と右眼用符号化部１１０でそれぞれ符号化する。この時に、左右画像の視差情報や符号化パラメタとして用いた視差ベクトル情報を取得して、ＲＡＭ６０７等に一時記憶する。

続いて、奥行き情報取得部６１０では実施形態２と同様に、符号化対象の画像データと符号化パラメタ情報に基づいて当該画像の両眼視差に基づいた奥行き度を取得する（ステップＳ１２０３）。さらに現在符号化したピクチャデータのピクチャタイプが画面内符号化を行ったＩピクチャであるかを判断する（ステップＳ１２０４）。Ｉピクチャである場合は、前述した奥行きメタデータのデータ構造として定義した、当該Ｉピクチャの記録開始位置と、ピクチャデータサイズ、そして前記ステップＳ１２０４で取得した奥行き度をテーブルに追加記録する（ステップＳ１２０５）。Ｉピクチャ以外のピクチャタイプの場合（ステップＳ１２０４のＦＡＬＳＥ）は、ステップＳ１２０１に戻り、現在の動作状態を判断する。

以上が、動画像データ記録時に実行される奥行きメタデータを生成フローである。

次に、三次元立体動画像データのプレイリスト編集時に、上述した奥行きメタデータを取得するフローを図１３に示して説明する。当該奥行きメタデータ取得フローは、編集モードでユーザ指定による再生コンテンツの編集位置が選択や変更されたタイミングでマイコンやＣＰＵによって実行される。

ステップＳ１３０１では、現在設定および選択されている編集点が複数個数指定されたか否かを判断する。複数個指定されるまでは、当該編集点に対応する再生画像の奥行き情報の取得、および二つの奥行き情報から奥行き変化量を算出できる状態になるまで、ユーザによる編集点の設定を待つ（ステップＳ１３０１のＦＡＬＳＥ）。

二つ以上の編集点が設定された場合（ステップＳ１３０１のＴＲＵＥ）は、記録媒体６０１あるいはＤＲＡＭメモリ６０３等へアクセスし、前記奥行き情報メタデータを読み出す（ステップＳ１３０２）。そして、読み出した奥行きメタデータから、当該編集画像の時間位置に対応したインデックスを指定して、編集選択画像の奥行き度数を参照して取得する（ステップＳ１３０３）。以降、取得した前記奥行き度数に基づいて、実施形態２のフロー（Ｓ７０６、Ｓ７０７、Ｓ７０８）と同様にステップＳ１３０４、Ｓ１３０５、そしてＳ１３０６まで処理を実行して、本動作フローを終了する。

以上のフローにより、実施形態２と同様に、プレイリスト編集時のシーン切り替わり時において、意図せず急激な立体感が変化することを、編集画面上で事前にユーザが把握することが可能となる。

（実施形態３）
次に、上述した実施形態１の画像処理装置（撮像装置）として代用可能な三次元立体動画像の符号化構成について説明する。Ｈ．２６４においては、拡張規格としてＭＶＣ（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ）と呼ばれる、立体映像用の符号化方式について記載されている。本実施形態ではこの方式を利用した例である。

図１４にＭＶＣを用いた画像処理装置のブロック図を示す。１１０２は、それぞれ撮像装置であり、光学レンズが２系統並列して設置されている。１１０１は撮像装置同期部であり、２つの撮像装置の撮影条件（フレーム周期、露出値、ズーム比など）が統一化される。１１０３、１１０４は、それぞれ左眼・右眼用のフレームメモリであり、符号化の対象となるフレーム、及び、動き補償における参照画像を一時的に複数フレーム記録する。

１１０５は動き検出部であり、動きベクトルの検出やマクロブロックタイプの判定を行う。１１０６は動き補償部であり、動き検出部１１０５で求められた動きベクトルやマクロブロックタイプから、指定された動き補償処理を行なう。１１０７はブロック処理部であり、内部では整数変換により周波数領域に変換後、量子化が行われる。１１０８は局所復号部であり、逆量子化および逆量子化処理を行い、局所復号画像（ローカルデコード画像）を作成する。１１０９は二値化部であり、量子化済みの変換係数データ、及びマクロブロックに付随する各種情報も同時に、すべてのデータの二値化処理を行う。二値化の方式については、各符号化要素（シンタックスエレメントと呼称される）によって異なっている。１１１０はエントロピー符号化部であり、二値化部１１０９による二値化済みデータを最終的に符号化する。符号化の方式としては、ＣＡＶＬＣ（Ｃｏｎｔｅｎｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ）およびＣＡＢＡＣ（Ｃｏｎｔｅｎｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）の２種類がある。これらの符号化方式の何れかを、適宜選択して使用可能とする。なお、符号化された後の符号化データは、不図示の記録部や記録媒体に出力される。

ＭＶＣでは、一方（例えば左眼用）の画像の一連のフレームはＢａｓｅ Ｖｉｅｗと称される。これはＭＶＣではない通常のＨ．２６４符号化と同等のフレーム予測関係を有している。また、他方（例えば右眼用）の画像の一連のフレームはＮｏｎ−Ｂａｓｅ Ｖｉｅｗと称される。Ｎｏｎ−Ｂａｓｅ Ｖｉｅｗは、符号化対象画像の前後のＮｏｎ−Ｂａｓｅ Ｖｉｅｗ画像か、あるいは、同じ時刻のＢａｓｅ Ｖｉｅｗ画像を予測参照可能である。左右のどちらがＢａｓｅ Ｖｉｅｗであるかは任意である。ＭＶＣでは、同時刻で異なるＶｉｅｗのフレ−ムを動き予測として参照する方法を視差予測と呼んでいる。視差予測は、被写体が前後に移動しているとき、あるいはレンズがズ−ム動作をしているときなど、従来の各種ＭＰＥＧ勧告やＨ．２６４勧告において符号化効率が低い（動き補償が効きにくい）とされる画像に対して有効であることが知られている。各フレ−ムの属性としては、従来と同様にＩピクチャ（フレ−ム内符号化）、Ｐピクチャ（前方予測）、Ｂピクチャ（双予測）と定義されており、それらがＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を構成していること自体は従来と同様である。

図１４に戻り、１１１２はアフィン変換部であり、Ｂａｓｅ Ｖｉｅｗ用の画像のフレ−ムメモリ１１０４から読みだされた画像について、アフィン変換処理を行う。一般的にアフィン変換は、変倍、回転、移動処理を含むが、本実施形態で重要なのは変倍処理である。具体的に変倍率は、１１１３の変換係数決定部により決定される。

図１５に変倍率決定の例を示す。１５０１は、主被写体が二つの撮像装置のほぼ中央に位置している場合である。本図で、１５０２は主被写体の位置を示し、１５０３および１５０４は２つの撮像装置を表している。この例では、両撮像装置間に焦点距離に違いはないため、主被写体は、両撮像装置において、画角内の撮影位置だけが異なるのみで、撮影されるサイズについての違いはない。同様に、主被写体が１５０１で示された点線上の移動を行う場合は、被写体のサイズは変化するが、左右間に偏差はないことがわかる。

１５０５は、主被写体１５０６が画角右端に位置し、そこにフォーカスされているケースである。この場合は、右眼用の撮像装置１５０８の焦点距離（Ｌ１）のほうが，左眼用の撮像装置１５０７の焦点距離（Ｌ２）よりも若干短くなる（焦点距離差１５０９）ため、左眼用画像と比べ、図１６で示した例のように微小ではあるがサイズが大きく撮影される。

１５１０は、１５０５のケースと比べ、主被写体１５１１が撮像装置１５１２及び撮像装置１５１３に、より接近したケースであり、焦点距離差１５１４が一層増加するため、主被写体１５１１の画角内撮像サイズへの影響が大きくなる。従って、本実施形態では、視差予測精度に影響をおよぼす、主に主被写体の撮像されたサイズの違いを吸収すべくアフィン変換を導入するものである。

変換係数へ影響を与えるパラメタとしては、２つの撮像装置のレンズ間距離、被写体のフォーカス距離、レンズのズーム比により決定される。このうち、２つの撮像装置のレンズ間距離はあらかじめ固定されており既知である。従って、二つの撮像装置からは、焦点距離とレンズのズーム比の値が取得されるべきである。１１１３は、この変換係数の決定部である。

図１７に、変換係数の決定に関するフローチャートを示す。Ｓ１７０２では、二つの撮像装置の焦点距離を示すフォーカス情報およびズーム比を取得する。当然ながらズーム比は２つの撮像装置で共通になっているべきである。Ｓ１７０３では、二つの撮像装置の各焦点距離を比較する。その差が所定値よりも大きかった場合（Ｓ１７０４でＹｅｓ）、画像サイズに違いが出るという判断を行い、Ｓ１７０５で、変換係数を演算する。このとき変倍率Ｔの計算式としては、
Ｔ＝αＺ｜Ｌ１−Ｌ２｜ ・・・ 式（３）
とする。Ｔは変倍率、Ｌ１、Ｌ２はそれぞれ焦点距離、Ｚはズーム比、αは固定係数である。この式で言えることは、『２つのフォーカス距離間の編差が大きく、ズーム比が大きいほど変倍率を大きくする』ということである。Ｓ１７０５ではこのような変換係数の算出を行い、Ｓ１７０６では、参照画像に対し、求められた変換係数に応じて実際にアフィン変換処理を行う。

このように、本実施形態においては、左・右眼用の画像について、Ｂａｓｅ Ｖｉｅｗにアフィン変換を行なった画像を用いて動き補償することにより、より高効率な動き補償を行うことが可能になる。すなわち、左眼用、右眼用の各画像間における被写体の微小なサイズの違いを吸収することができるようになり、より正確な動き補償を行うことが可能になり、結果として従来よりもさらに高い符号化効率を得ることができる。また、同じ符号量で比較した場合には、より高画質な画像を取得することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 操作入力部
１０２ ＣＰＵ
１０３ ＣＰＵバス
１０４ 左眼用撮像部
１０５ 右眼用撮像部
１０６ 画像処理部
１０７ 表示制御部
１０８ 表示部
１０９ 左眼用符号化部
１１０ 右眼用符号化部
１１１ 記録媒体制御部
１１２ 記録媒体

Claims (16)

1. 複数の撮像部を用いて立体画像を生成する撮像手段と、
   前記複数の撮像部における撮影機能の調整を行う操作手段と、
   前記撮像手段によって撮像された画像を裸眼で観察可能な立体画像として表示する表示手段と、
   前記撮像手段によって立体画像を撮像するときに、前記操作手段によって所定の調整を行うことに応じて、前記表示手段により表示される画像を立体画像から平面画像へ切り替えるよう制御する表示制御手段とを備えることを特徴とする画像処理装置。
2. 前記所定の調整とは、マニュアルフォーカス調整であることを特徴とする請求項１記載の画像処理装置。
3. 前記所定の調整とは、ズーム調整であることを特徴とする請求項１記載の画像処理装置。
4. 前記所定の調整とは、絞り調整であることを特徴とする請求項１記載の画像処理装置。
5. 前記所定の調整とは、メニュー表示操作であることを特徴とする請求項１記載の画像処理装置。
6. 複数の撮像部を用いて立体画像を生成する撮像工程と、
   前記複数の撮像部における撮影機能の調整を行う調整工程と、
   前記撮像工程において撮像された画像を裸眼で観察可能な立体画像として表示する表示工程と、
   前記撮像工程において立体画像を撮像するときに、前記調整工程において所定の調整を行うことに応じて、前記表示工程において表示される画像を立体画像から平面画像へ切り替えるよう制御する表示制御工程とを有することを特徴とする画像処理方法。
7. 前記所定の調整とは、マニュアルフォーカス調整であることを特徴とする請求項６記載の画像処理方法。
8. 前記所定の調整とは、ズーム調整であることを特徴とする請求項６記載の画像処理方法。
9. 前記所定の調整とは、絞り調整であることを特徴とする請求項６記載の画像処理方法。
10. 前記所定の調整とは、メニュー表示操作であることを特徴とする請求項６記載の画像処理方法。
11. 記録媒体に記録された立体画像を再生する再生手段と、
    前記再生手段によって再生された立体画像を表示する表示手段と、
    前記立体画像の再生期間を編集する操作手段と、
    前記再生手段による再生対象の立体画像に対して、前記操作手段によって所定の期間の編集を行うことに応じて、前記表示手段により表示される立体画像の奥行きの変化を示す情報を表示するよう制御する表示制御手段とを備えることを特徴とする画像処理装置。
12. 前記表示制御手段は、奥行きの変化量をグラフィックス表示することを特徴とする請求項１１記載の画像処理装置。
13. フレーム間の奥行きの差分を算出する算出手段を更に備えることを特徴とする請求項１１又は１２記載の画像処理装置。
14. 記録媒体に記録された立体画像を再生する再生工程と、
    前記再生工程において再生された立体画像を表示する表示工程と、
    前記立体画像の再生期間を編集する編集工程と、
    前記再生工程における再生対象の立体画像に対して、前記編集工程において所定の期間の編集を行うことに応じて、前記表示工程において表示される立体画像の奥行きの変化を示す情報を表示するよう制御する表示制御工程とを有することを特徴とする画像処理方法。
15. 前記表示制御工程では、奥行きの変化量をグラフィックス表示することを特徴とする請求項１４記載の画像処理方法。
16. フレーム間の奥行きの差分を算出する算出工程を更に有することを特徴とする請求項１４又は１５記載の画像処理方法。

Images