JPWO2011162209A1 - 画像出力装置、方法およびプログラム - Google Patents

Abstract

要約立体動画の出力条件に応じた視差調整に、立体動画の代表視差の遷移を反映させる。視差調整部６３は、｜基準フレームの代表視差−対象フレームの代表視差｜＜αであるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。αはシフト許容閾値として閾値設定部２０５から入力される。例えばα＝０．７５である。Ｎｏと判断された場合、フレーム間の代表視差の変動はある程度大きいことを意味する。この場合、Ｓ６に進み、対象フレームを基準フレームと異なる出力視差にシフトするための処理が行われる。

Description

本発明は、画像出力に関し、特に、立体動画の各立体画像フレームの両眼視差の調整に関する。

特許文献１及び２に開示の立体画像を処理装置は、二次元画像生成部、及び、ユーザに表示する立体画像の立体感を調整する立体感調整部を有する。かかる立体画像処理装置では、表示された被写体が限界視差に達すると、立体感調整部が応答し、取得された適正視差情報に従い、視差制御部が以降の立体表示において当該適正視差を実現するよう視差画像を生成する。このとき、視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。また、二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。かかるＦｘｙは、デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙしたとき、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）にて求められる。なお、Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理が施される。

特開2004-221699号公報 特開2004-221700号公報

しかし、視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変化するため、かかる変化に対応させた視差調整を行う必要がある。

特許文献１では、適正視差を満たすデプスＦｘｙを計算して四捨五入するため、フレーム間で視差が同じになり、フレーム遷移に伴う立体感の変化が感じられなかったり、逆にフレーム間で大きな視差の変化がつきすぎて視聴者に疲労を与えるおそれがある。例えば、図１４Ａのような撮影時の視差の遷移を、図１４Ｂのような表示視差に調整した場合、隣接するフレーム間で視差が同じになって立体感がなくなったり、逆に隣接するフレーム間で大きな視差の変動が生じて視聴者が疲れる場合がある。

本発明は、立体動画の出力条件に応じた視差調整に、立体動画フレームを代表する視差（例えば、注目被写体等における代表的な視差）である代表視差の遷移を反映させることを目的とする。

本発明は、立体動画を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定する出力予定視差決定部と、出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、立体画像フレームごとの出力視差を調整する出力視差調整部と、出力視差調整部が出力視差を調整した立体画像フレームを順次出力する出力部と、を備え、出力予定視差決定部は、立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて基準フレームの出力予定視差を決定し、かつ、基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて対象フレームの出力予定視差を決定し、出力視差調整部は、基準フレームの代表視差と対象フレームの代表視差との差に基づいて基準フレームの出力視差と対象フレームの出力視差との差を調整する画像出力装置を提供する。

好ましくは、立体画像フレームごとの代表視差は、立体画像フレームの所定の領域内の平均視差である。

好ましくは、平均視差は、顔領域の平均視差、合焦評価値算出領域の平均視差または画像中央領域の平均視差である。

好ましくは、立体動画の出力条件として、許容される出力視差の幅である出力視差幅の上限および下限を取得する出力許容視差幅取得部を備える。

好ましくは、代表視差取得部の取得した各立体画像フレームの視差の最大値および最小値で規定される視差幅が、出力許容視差幅取得部の取得した出力許容視差幅に不適合の場合、視差幅を出力許容視差幅に調整する視差幅調整部を備える。

好ましくは、視差幅調整部は、代表視差取得部の取得した代表視差の最大値が、出力許容視差幅取得部の取得した出力許容視差幅の上限を超える場合、代表視差の最大値が出力許容視差幅の上限以下となるよう各立体画像フレームの代表視差を調整する。

好ましくは、視差幅調整部は、代表視差取得部の取得した視差の最小値が、出力許容視差幅取得部の取得した出力許容視差幅の下限未満の場合、視差の最小値が出力許容視差幅の下限以上となるよう各立体画像フレームの代表視差を調整する。

好ましくは、基準フレームと対象フレームは同一のシーンの中から決定される。

好ましくは、任意の値の代表視差に対応する段階的な出力予定視差を規定するテーブルを取得するテーブル取得部を備え、出力予定視差決定部は、代表視差取得部の取得した立体画像フレームごとの代表視差とテーブル取得部の取得したテーブルに従い、立体画像フレームごとの段階的な出力予定視差を決定する。

好ましくは、出力視差調整部は、基準フレームの代表視差と対象フレームの代表視差との差を所定の第１の閾値と比較し、差が所定の第１の閾値を超える場合、出力予定視差決定部の決定した基準フレームの出力予定視差よりも１段階大きい出力予定視差に向けて対象フレームの出力視差を調整する。

好ましくは、出力視差調整部は、差を所定の第２の閾値と比較し、差が所定の第２の閾値未満の場合、基準フレームの出力予定視差に向けて対象フレームの出力視差を調整する。

好ましくは、出力視差調整部は、差が所定の第１の閾値を超えずかつ所定の第２の閾値を下回らない場合、対象フレームの出力予定視差に向けて対象フレームの出力視差を調整する。

好ましくは、所定の第１の閾値と所定の第２の閾値は等しい。

本発明は、コンピュータが、立体動画を構成する複数の立体画像フレームごとの代表視差を取得するステップと、取得した立体画像フレームごとの代表視差に基づいて、立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定するステップと、決定した立体画像フレームごとの出力予定視差に基づいて、立体画像フレームごとの出力視差を調整するステップと、出力視差を調整した立体画像フレームを順次出力するステップと、立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて基準フレームの出力予定視差を決定し、かつ、基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて対象フレームの出力予定視差を決定するステップと、基準フレームの代表視差と対象フレームの代表視差との差に基づいて基準フレームの出力視差と対象フレームの出力視差との差を調整するステップと、を実行する画像出力方法を提供する。

本発明は、この画像出力方法をコンピュータに実行させるための画像出力プログラムを提供する。

本発明によると、各立体画像フレーム間の出力視差の差が、立体画像フレーム間の代表視差の差異すなわち代表視差の推移に応じて調整される。各立体画像フレームの出力視差が、撮影時の代表視差の推移に近い状態を保ったまま適切な出力視差に調整されるので、立体動画の代表視差の推移を撮影した状態に近づけて出力することができる。

デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 開散方向の視差の限界の模式図 視差調整処理のフローチャート 立体動画視差−出力予定視差変換表の一例を示す図 視差幅調整処理のフローチャート 視差幅調整の模式図 負の方向への視差シフトの模式図 視差幅調整後の視差シフトの模式図 正の方向への視差シフトの模式図 表示再生装置のブロック図 撮影時の視差の推移を反映した出力視差の一例を示す図 従来の視差調整の一例を示す図

図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。

デジタルカメラ１０は、複数の撮像手段（図１では二つを例示）を備えており、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため二つの撮像手段を備えた場合を例に説明するが、本発明はこれに限定されず、三つ以上の撮像手段を備えた場合であっても同様に適用可能である。

本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし外部機器でもよい。

左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。

モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。

レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。

電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。

ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。

図３は、デジタルカメラ１０の要部を示すブロック図である。

デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像手段と、左視点用の撮影光学系および撮像素子２９Ｌを有する左視点用の撮像手段を備える。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれ、ズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）、および、絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９、および、絞り２０は、それぞれ、ズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）、絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。

２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤイメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有し、この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続され、このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。

ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関二重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。

ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節手段として機能する。ＣＣＤ２９のＩＳＯ感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。

デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。

操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０〜１３４から構成されている。

ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ６０やＲＯＭ６１に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。

また、デジタルカメラ１０には、ＡＥ(Auto Exposure)／ＡＷＢ(Auto White Balance)制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレームの各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２３を備える。

ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づきＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。

例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。

ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。

例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。

姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。

手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。

ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。

顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。

視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。

例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。

あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。

対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆなどのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。

表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差幅調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。

表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４Ａに例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４Ｂのようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。

表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。

標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。閾値設定部２０５は、（１）〜（４）の情報をユーザ操作やモニタ１３の設定情報などに基づいて外部から入力してもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）〜（４）について特に外部から入力がない場合、閾値設定部２０５は、上記標準的な例をＲＯＭ６１などから読み出して視差幅調整部２０２に入力する。

視差幅調整部２０２は、左右の画像データの代表視差の幅を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収まる調整を行う。

閾値設定部２０５は、シフト許容閾値αおよびシフト禁止閾値βを視差調整部６３に設定する。設定の態様は任意であり、ユーザ操作に基づくもの、ＲＯＭ６１の記録情報に基づくものなどがある。視差調整部６３は、シフト許容閾値α、シフト禁止閾値β、後述の立体動画視差−出力視差変換表などに従って、左右の画像データの代表視差の値を調整する。

図５は視差調整処理のフローチャートを示す。この処理はＣＰＵ２６によって制御される。この処理をＣＰＵ２６に実行させるプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記録媒体に記録されている。この処理は、画像データの付帯情報に上記の領域の位置情報と代表視差が記憶された後に実行される。

Ｓ１では、視差幅調整部２０２は、後述する視差幅調整処理を行う。視差幅調整処理では、必要に応じて、代表視差の視差幅の調整と代表視差のシフトが行われる。

Ｓ２では、視差調整部６３は、視差幅調整処理後の立体画像フレームごとの代表視差をＳＤＲＡＭ３９に確保する。

そして、視差調整部６３は、視差調整の基準となる立体画像フレームである基準フレームを決定する。基準フレームは、立体画像の時間的な取得順序に従って決定される。例えば、視差調整部６３は、Ｓ２〜Ｓ１２のｎ回目のループの実行に際して、取得順序がｎ番目の立体画像フレームを基準フレームと決定する。視差調整部６３は、基準フレームに対応する代表視差である基準視差をＳＤＲＡＭ３９に確保する。

Ｓ３では、視差調整部６３は、視差調整の対象となる立体画像フレームである対象フレームを決定する。例えば、視差調整部６３は、Ｓ２〜Ｓ１２のｎ回目のループの実行に際して、取得順序がｎ＋１番目の立体画像フレームを対象フレームと決定する。視差調整部６３は、対象フレームに対応する代表視差をＳＤＲＡＭ３９に確保する。

Ｓ４では、視差調整部６３は、｜基準フレームの代表視差−対象フレームの代表視差｜＜αであるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。αはシフト許容閾値として閾値設定部２０５から入力される。例えばα＝０．７５である。Ｎｏと判断された場合、立体画像フレーム間の代表視差の変動はある程度大きいことを意味する。この場合、Ｓ６に進み、対象フレームを基準フレームと異なる出力視差にシフトするための処理が行われる。

Ｓ５では、視差調整部６３は、｜基準フレームの代表視差−対象フレームの代表視差｜＞βであるか否かを判断する。Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ８に進む。βはシフト禁止閾値として閾値設定部２０５から入力される。例えばβ＝０．２５である。Ｎｏと判断された場合、立体画像フレーム間の代表視差の変動が微小であることを意味する。この場合、Ｓ８に進み、対象フレームを基準フレームと同一の出力視差にシフトするための処理が行われる。

Ｓ６では、視差調整部６３は、ＲＯＭ６１などに記憶されている立体動画視差−出力予定視差変換表をＳＤＲＡＭ３９に読み出す。図６は立体動画視差−出力予定視差変換表の一例を示す。この表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力予定視差を規定する。例えば、この表によると、Ｍ〜Ｍ＋ｔの代表視差はＮの出力予定視差，Ｍ〜Ｍ＋２ｔの代表視差はＮ＋１の出力予定視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力予定視差を示すと整数となる。

視差調整部６３は、ＲＯＭ６１などに記憶された立体動画視差−出力予定視差変換表に従って、基準フレームの代表視差に対応する出力予定視差を特定し、特定された出力予定視差を基準フレームの出力予定視差に決定する。同様に、視差調整部６３は、立体動画視差−出力予定視差変換表に従って、対象フレームの代表視差に対応する出力予定視差を特定し、特定された出力予定視差を対象フレームの出力予定視差に決定する。

視差調整部６３は、基準フレームの出力予定視差と対象フレームの出力予定視差とを比較し、両者が同一であるか否かを判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ１０に進む。

Ｓ７では、視差調整部６３は、対象フレームの出力視差を、基準フレームの出力予定視差＋１と決定し、対象フレームの代表視差をこの出力視差（基準フレームの出力予定視差＋１）にシフトする視差調整をする。すなわち、基準フレームと対象フレームの出力予定視差が同じでも、基準フレーム・対象フレーム間の代表視差の変動が大きい場合は、両者の出力視差を離し、元の代表視差の推移を出力視差に反映させる。この後処理はＳ１１に進む。

Ｓ８はＳ６と同様の判断を行い、Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ９に進む。

Ｓ９では、視差調整部６３は、対象フレームの出力視差を、基準フレームの出力予定視差と決定し、対象フレームの代表視差をこの出力視差（基準フレームの出力予定視差）にシフトする視差調整をする。すなわち、基準フレームと対象フレームの出力予定視差が異なっていても、基準フレーム・対象フレーム間の代表視差の変動が小さい場合は、対象フレームの出力視差を基準フレームの出力予定視差と同じにし、元の代表視差の推移を出力視差に反映させる。この後処理はＳ１１に進む。

Ｓ１０では、視差調整部６３は、対象フレームの出力視差を、対象フレームの出力予定視差と決定し、対象フレームの視差をこの出力視差（対象フレームの出力予定視差）に調整する。Ｓ４からＳ１０に至るまでのパターンは、（ａ）Ｓ４でＹｅｓかつＳ５でＹｅｓ、（ｂ）Ｓ４でＹｅｓかつＳ５でＮｏかつＳ８でＹｅｓ、（ｃ）Ｓ４でＮｏかつＳ６でＮｏの３つが存在する。（ｂ）または（ｃ）の場合は、基準フレーム・対象フレーム間の元の代表視差の変動の大小がそのまま出力視差の変動の大小に反映される。（ａ）は、元の代表視差の変動が大きくもなく小さくもないような中間的な変動に対応する対象フレームの出力視差の調整を、出力予定視差に委ねる方法である。なお、α＝βの場合、（ａ）のパターンは論理的に生じなくなり、本処理はより簡略になる。例えば、α＝β＝０．５とすることが考えられる。

Ｓ１１では、Ｓ２〜Ｓ１０が、立体動画を構成する全立体画像フレームについて実行され、全立体画像フレームの視差調整が実行されたか否かを判断する。Ｙｅｓの場合はＳ１３に進み、Ｎｏの場合はＳ１２に進む。

Ｓ１２では、視差調整部６３は、基準フレームをｎ＋１番目の立体画像フレームに決定する。

Ｓ１３では、表示制御部４２は、調整された出力視差で各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。なお、視差調整部６３は、Ｓ７、Ｓ９またはＳ１０において、最初の基準フレームの出力視差を基準フレームの出力予定視差にシフトする視差調整をする。２番目以降の基準フレームは対象フレームとして視差調整されるが、最初の基準フレームはこの視差調整がないからである。

図７は視差幅調整処理のフローチャートを示す。

Ｓ１０１では、視差幅調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、立体画像フレームごとの代表視差の読み出しを試みる。

Ｓ１０２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。

Ｓ１０３では、視差幅調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ−ｐｍｉｎを計算する。そして、視差幅調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ１０５に進み、Ｎｏの場合はＳ１０４に進む。

Ｓ１０４では、視差幅調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差を調整する。例えば図８Ａのように、立体動画視差幅が表示許容視差幅を超える場合、図８Ｂのように、立体動画視差幅が表示許容視差幅の範囲に収まるよう、各立体画像フレームの代表視差を一律な縮減率（Ｘ−Ｙ）／Ｘで縮減する。

Ｓ１０５では、視差幅調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０６に進む。

Ｓ１０６では、視差幅調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合は視差調整処理のＳ２に進む。

Ｓ１０６では、視差幅調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。

Ｓ１０３からＳ１０７に至るパターンは、（１）Ｓ１０３でＹｅｓかつＳ１０５でＹｅｓ、（２）Ｓ１０３でＮｏかつＳ１０５でＹｅｓ、（３）Ｓ１０３でＹｅｓかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、（４）Ｓ１０３でＮｏかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、の４パターンがある。

図９はパターン（１）すなわち視差幅調整のない場合の負の方向へのシフトを示す。

例えば図９Ａのように、代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超えるが、立体動画視差幅は表示許容視差幅未満の場合、図９Ｂのように、各立体画像フレームの代表視差を一律な幅Ｗ１だけ負の方向にシフトし、全ての立体画像フレームの代表視差を表示許容視差幅の範囲に収める調整を行う。ここでＷ１＝ｐｍｉｎ−Ｄｍｉｎである。

図１０はパターン（２）すなわち視差幅調整のない場合の負の方向へのシフトを示す。

図１０Ａないし前述の図８Ｂに示すように、視差幅調整後の代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超える場合も、図１０Ｂのように、各立体画像フレームの代表視差を一律な幅Ｗ２だけ負の方向にシフトする。ここでＷ２＝ｐｍｉｎ−Ｄｍｉｎである。

図１１はパターン（３）すなわち視差幅調整のない場合の正の方向へのシフトを示す。

あるいは、図１１Ａのように、代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎ未満の場合、図１１Ｂのように、各立体画像フレームの代表視差を一律な幅Ｗ３だけ正の方向にシフトする。ここでＷ２＝Ｄｍｉｎ−ｐｍｉｎである。

パターン（４）の図示は省略するが、視差幅調整後の代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎ未満の場合も、同様に各立体画像フレームの代表視差を一律な幅だけ正の方向にシフトする。

なお、上記の視差調整処理はシーンの変化が検出されるまで繰り返されるものとし、シーンの変化が検出されると、基準フレームおよび対象フレームをリセットし、そこから新たにＳ１を開始する。こうすれば、異なるシーンにまたがった基準フレームと対象フレームとの間でＳ５，６，６，８の判断が行われ、不適切な視差調整を防げる。シーンの変化の検出は公知の方法で行われる。シーンの変化は、合焦被写体の変化やパンニングなどで生じる。

例えば、視差調整部６３は、異なる立体画像フレームａ・ｂ間での代表視差が閾値以上である場合、その立体画像フレームａ・ｂの間でシーン変化を検出する。視差調整部６３は、シーン変化直前の立体画像フレームａが最後の対象フレームに設定された場合は、Ｓ１１でＮｏと判定しＳ１２に進む。ただし、Ｓ１２において、視差調整部６３は、シーン変化直前の立体画像フレームａを基準フレームと決定せず、シーン変化直後の立体画像フレームｂを基準フレームと決定する。また視差調整部６３は、対象フレームは立体画像フレームｂより後の立体画像フレームｃとする。以下同様、視差調整部６３は、前のシーン変化の直後の立体画像フレームから次のシーン変化の直前の立体画像フレームまでＳ２〜Ｓ１２のループを繰り返す。

また、この処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図１２に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部６３、画像入力部２０１（例えば画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、閾値設定部２０５、画像出力部２０６（例えばモニタ１３、メディア制御部１５など）などの平面または立体画像を表示するブロックを備えた画像出力装置がこの処理を実行することもできる。

画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。

画像出力部２０６が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。

また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。

以上の処理により、各立体画像フレームの代表視差が、撮影時の視差の推移（図１３Ａ参照）に近い状態を保ったまま適切な出力視差に調整される（図１３Ｂ参照）。よって、立体動画の代表視差の推移を撮影した状態に近づけて再生することができる。

４９：視差検出部、６３：視差調整部、２０２：視差幅調整部、２０４：表示許容視差幅取得部、２０５：閾値設定部

Claims (15)

1. 立体動画を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、
   前記代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、前記立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定する出力予定視差決定部と、
   前記出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、前記立体画像フレームごとの出力視差を調整する出力視差調整部と、
   前記出力視差調整部が出力視差を調整した立体画像フレームを順次出力する出力部と、
   を備え、
   前記出力予定視差決定部は、前記立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて前記基準フレームの出力予定視差を決定し、かつ、前記基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて前記対象フレームの出力予定視差を決定し、
   前記出力視差調整部は、前記基準フレームの代表視差と前記対象フレームの代表視差との差に基づいて前記基準フレームの出力視差と前記対象フレームの出力視差との差を調整する画像出力装置。
2. 前記立体画像フレームごとの代表視差は、前記立体画像フレームの所定の領域内の平均視差である請求項１に記載の画像出力装置。
3. 前記平均視差は、顔領域の平均視差、合焦評価値算出領域の平均視差または画像中央領域の平均視差である請求項２に記載の画像出力装置。
4. 前記立体動画の出力条件として、許容される出力視差の幅である出力視差幅の上限および下限を取得する出力許容視差幅取得部を備える請求項１〜３のいずれかに記載の画像出力装置。
5. 前記代表視差取得部の取得した各立体画像フレームの視差の最大値および最小値で規定される視差幅が、前記出力許容視差幅取得部の取得した出力許容視差幅に不適合な場合、前記視差幅を前記出力許容視差幅に調整する視差幅調整部を備える請求項４に記載の画像出力装置。
6. 前記視差幅調整部は、前記代表視差取得部の取得した代表視差の最大値が、前記出力許容視差幅取得部の取得した出力許容視差幅の上限を超える場合、前記代表視差の最大値が前記出力許容視差幅の上限以下となるよう各立体画像フレームの代表視差を調整する請求項５に記載の画像出力装置。
7. 前記視差幅調整部は、前記代表視差取得部の取得した視差の最小値が、前記出力許容視差幅取得部の取得した出力許容視差幅の下限未満となる場合、前記視差の最小値が前記出力許容視差幅の下限以上となるよう各立体画像フレームの代表視差を調整する請求項５または６に記載の画像出力装置。
8. 前記基準フレームと前記対象フレームは同一のシーンの中から決定される請求項１〜７のいずれかに記載の画像出力装置。
9. 前記代表視差に対応する段階的な出力予定視差を規定するテーブルを取得するテーブル取得部を備え、
   前記出力予定視差決定部は、前記代表視差取得部の取得した立体画像フレームごとの代表視差と前記テーブル取得部の取得したテーブルに従い、前記立体画像フレームごとの段階的な出力予定視差を決定する請求項１〜８のいずれかに記載の画像出力装置。
10. 前記出力視差調整部は、前記基準フレームの代表視差と前記対象フレームの代表視差との差を所定の第１の閾値と比較し、前記差が前記所定の第１の閾値を超える場合、前記出力予定視差決定部の決定した基準フレームの出力予定視差よりも１段階大きい出力予定視差に向けて前記対象フレームの出力視差を調整する請求項９に記載の画像出力装置。
11. 前記出力視差調整部は、前記差を所定の第２の閾値と比較し、前記差が前記所定の第２の閾値未満の場合、前記基準フレームの出力予定視差に向けて前記対象フレームの出力視差を調整する請求項１０に記載の画像出力装置。
12. 前記出力視差調整部は、前記差が前記所定の第１の閾値を超えずかつ前記所定の第２の閾値を下回らない場合、前記対象フレームの出力予定視差に向けて前記対象フレームの出力視差を調整する請求項１１に記載の画像出力装置。
13. 前記所定の第１の閾値と前記所定の第２の閾値は等しい請求項１２に記載の画像出力装置。
14. コンピュータが、
    立体動画を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
    前記取得した立体画像フレームごとの代表視差に基づいて、前記立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定するステップと、
    前記決定した立体画像フレームごとの出力予定視差に基づいて、前記立体画像フレームごとの出力視差を調整するステップと、
    前記出力視差を調整した立体画像フレームを順次出力するステップと、
    前記立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて前記基準フレームの出力予定視差を決定し、かつ、前記基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて前記対象フレームの出力予定視差を決定するステップと、
    前記基準フレームの代表視差と前記対象フレームの代表視差との差に基づいて前記基準フレームの出力視差と前記対象フレームの出力視差との差を調整するステップと、
    を実行する画像出力方法。
15. 請求項１４に記載の画像出力方法をコンピュータに実行させるための画像出力プログラム。

Images