JP2008294530A - 撮像装置、画像再生装置、撮像方法、画像再生方法及びプログラム - Google Patents

Abstract

【課題】記録された利き目情報等の撮影者、視聴者の情報を撮影時や再生時に使うことで、見易い３次元画像の撮影、再生を可能とする。
【解決手段】撮影者の利き目の情報が予め登録されている。撮影者の目の間隔及び測距された被写体距離に基づいて輻輳角を算出し、その輻輳角となるように、撮像手段が駆動が制御され、多視点画像が撮影され、その多視点画像と、利き目の情報とが関連付けて記録される。多視点画像と関連付けられた利き目の情報に基づいて、多視点画像のうちの利き目に対応する画像を基準にして、表示手段に出力するための多視点画像を生成し、生成した多視点画像を表示手段に表示する。
【選択図】 図４

Description

本発明は撮像装置、画像再生装置、撮像方法、画像再生方法及びプログラムに係り、特に利き目を考慮した表示が可能な撮像装置、画像再生装置、撮像方法及びプログラムに関する。

利き目を考慮して、複数の視点から見た被写体像である多視点画像（３次元画像）の表示の技術として、以下のようなものが提案されている。

特許文献１には、撮影された１枚の２次元画像を利き目用の画像とし、取得された２次元画像から利き目用でない画像を作成し、これらを用いて３次元表示を行う技術が記載されている。

特許文献２には、利き目を判定し、その情報を用いて位置姿勢調整を行う技術が記載されている。

特許文献３には、複数枚の２次元画像の重複領域を立体視する場合において、利き目側の画像を基準として画像処理を行なう技術が記載されている。
特開平７―２９６１６５号公報 特開２００７―３４６２８号公報 特開２００３―２８４０９８号公報

しかしながら、特許文献１、３において、利き目側の画像を基準にすることは記載されているが、その利き目情報の記録方法や、取得方法については記載されていない。

また、特許文献２には、表示装置における利き目の手動、自動判定については記載されているが、判定された利き目の情報をどのように記録し、またどのように利用するかについては記載されていない。

本発明はこのような事情に鑑みてなされたもので、記録された利き目情報等の撮影者、視聴者の情報を撮影時や再生時に使うことで、見易い３次元画像の撮影、再生を可能とすることを目的とする。

請求項１に記載の撮像装置は、複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、少なくとも撮影者の利き目の情報を取得する情報取得手段と、前記複数の撮像手段により撮影された多視点画像と、前記情報取得手段により取得された利き目の情報とを関連付けて記録媒体に記録する記録手段と、を備えたことを特徴とする。

請求項１に記載の撮像装置によれば、撮影者の利き目の情報を取得し、その利き目の情報と、多視点画像とを関連付けて記録する。これにより、見易い画像再生に必要な利き目の情報を、画像に関連付けて記録することができる。

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、撮影者を示す撮影者情報と、該撮影者の利き目の情報及び目の間隔の情報とを関連付けて登録する登録手段と、撮影者情報を入力する撮影者情報入力手段と、を備え、前記情報取得手段は、前記撮影者情報入力手段により入力された撮影者情報に基づいて、該撮影者情報に対応する利き目の情報及び目の間隔の情報を取得することを特徴とする。

請求項２に記載の撮像装置によれば、撮影者を示す撮影者情報と、撮影者の利き目の情報及び目の間隔の情報とを関連付けて登録し、入力された撮影者情報に基づいて撮影者に対応する利き目の情報及び目の間隔の情報とを取得する。これにより、撮影者の情報を入力することにより、撮影者情報に関連付けられた利き目の情報及び目の間隔の情報を取得できる。

請求項３に記載の撮像装置は、請求項２に記載の撮像装置において、被写体距離を測距する測距手段と、前記情報取得手段により取得された撮影者の目の間隔及び前記測距手段により測距された被写体距離に基づいて、前記撮像手段の輻輳角を算出する算出手段と、前記複数の撮像手段を駆動する駆動手段と、前記撮像手段が、前記情報取得手段により取得された撮影者の目の間隔と等しい間隔となり、かつ前記算出手段により算出された輻輳角となるように、前記駆動手段を制御する制御手段と、を備えたことを特徴とする。

請求項３に記載の撮像装置によれば、撮影者の目の間隔及び測距された被写体距離に基づいて輻輳角を算出する。撮像手段が、撮影者の目の間隔と等しい間隔、かつ算出された輻輳角となるように、撮像手段の駆動が制御され、多視点画像が撮影される。これにより、撮影者毎に最適な基線長及び輻輳角で３次元画像を撮影することができる。なお、複数の撮影者がいる場合においても、撮影者に応じた処理が可能である。

請求項４に記載の撮像装置は、請求項１〜３のいずれかに記載の撮像装置において、前記記録媒体に記録された多視点画像に基づいて立体画像を表示する表示手段と、前記多視点画像と関連付けられた利き目の情報に基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成する画像生成手段と、を更に備えたことを特徴とする。

請求項４に記載の撮像装置によれば、多視点画像と関連付けられた利き目の情報に基づいて、多視点画像のうちの利き目に対応する画像を基準にして、表示手段に出力するための多視点画像を生成し、生成した多視点画像を表示手段に表示する。これにより、利き目の情報等を用いて、見易い３次元画像の再生をすることができる。また、撮影に用いた撮像装置を用いて画像表示を行うため、撮影者情報を改めて取得する必要がなく、設定作業が低減される。なお、複数の撮影者がいる場合においても、撮影者に応じた処理が可能である。

請求項５に記載の画像再生装置は、複数の視点から見た被写体像である多視点画像を表示手段に表示させる画像再生装置において、前記多視点画像を取得する取得手段と、前記表示手段の情報を取得する表示手段情報取得手段と、前記表示手段の画面を見る視聴者の利き目の情報を取得する情報取得手段と、前記情報取得手段により取得された視聴者の利き目の情報と、前記表示手段情報取得手段により取得された表示手段の情報とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成する画像生成手段と、を備えたことを特徴とする。

請求項５に記載の画像再生装置によれば、視聴者の利き目の情報と、表示手段の情報とに基づいて、多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成する。これにより、表示手段や視聴者に応じた、見易い３次元画像の再生をすることができる。なお、複数の視聴者がいる場合においても、視聴者に応じた処理が可能である。

請求項６に記載の画像再生装置は、請求項５に記載の画像再生装置において、前記表示手段の位置から視聴者を撮影する撮像手段と、前記撮像手段により取得された画像から視聴者の顔を検出する顔検出手段と、前記顔検出手段によって検出された顔と予め登録された視聴者の顔とを比較し、前記撮影された視聴者を認識する視聴者認識手段と、視聴者を示す視聴者情報に関連づけて該視聴者の利き目の情報を登録する登録手段と、を備え、前記情報取得手段は、前記視聴者認識手段によって認識された視聴者の視聴者情報に関連付けて登録された視聴者の利き目の情報を取得することを特徴とする。

請求項６に記載の画像再生装置によれば、表示手段の位置から視聴者を撮影し、撮影された画像から視聴者の顔を検出する。検出された視聴者の顔と、予め登録された視聴者の顔とを比較して、視聴者を認識する。視聴者情報と、視聴者の利き目の情報が関連付けて登録されており、認識された視聴者の視聴者情報に関連付けて登録された視聴者の利き目の情報を取得する。これにより、画像再生時に視聴者を登録しなくても視聴者に応じた適切な視聴が可能となり、見易い３次元画像の再生を容易に行うことができる。なお、複数の視聴者が撮影された場合においても、対応が可能である。

請求項７に記載の画像再生装置は、前記顔検出手段によって検出された視聴者の前記表示手段からの距離を測距する測距手段を備え、前記画像生成手段は、前記情報取得手段により取得された視聴者の利き目の情報と、前記表示手段情報取得手段により取得された表示手段情報と、前記測距手段によって測距された視聴者の距離とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして前記表示手段に出力するための多視点画像を生成することを特徴とする。

請求項７に記載の画像再生装置によれば、顔検出手段によって検出された視聴者と表示手段との距離を測距し、測距された距離と、視聴者の利き目の情報と、表示手段情報とに基づいて、多視点画像のうちの利き目に対応する画像を基準にして表示手段に出力するための多視点画像を生成する。これにより、より適切な多視点画像を表示できるため、表示手段や視聴者に応じた、見易い３次元画像の再生をすることができる。

請求項８に記載の撮像方法は、複数の視点から見た被写体像である多視点画像を撮影するステップと、少なくとも撮影者の利き目の情報を取得するステップと、前記撮影された多視点画像と、前記取得された利き目の情報とを関連付けて記録媒体に記録するステップと、を含むことを特徴とする。

請求項９に記載の画像再生方法は、複数の視点から見た被写体像である多視点画像を表示手段に表示させる画像再生方法において、前記多視点画像を取得するステップと、前記表示手段の情報を取得するステップと、前記表示手段の画面を見る視聴者の利き目の情報を取得するステップと、前記取得された視聴者の利き目の情報と、前記取得された表示手段の情報とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成するステップと、を含むことを特徴とする。

請求項１０に記載のプログラムは、請求項８に記載の撮像方法又は請求項９に記載の画像再生方法を演算装置に実行させることを特徴とする。

本発明によれば、記録された利き目情報等の撮影者、視聴者の情報を撮影時や再生時に使うことで、見易い３次元画像の撮影、再生を可能とする。

以下、添付図面に従って本発明に係る撮像素子一体型レンズ交換式デジタルカメラを実施するための最良の形態について詳細に説明する。

図１は、複眼デジタルカメラ１の電気的構成を示すブロック図である。複眼デジタルカメラ１は、単視点画像（２次元画像）と、多視点画像（３次元画像）とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、単視点画像のみでなく、多視点画像の撮影も可能である。

複眼デジタルカメラ１には、主として、第１撮像系２ａおよび第２撮像系２ｂの２個の撮像系と、ユーザーがこの複眼デジタルカメラ１を使用するときに種々の操作を行うための操作部３と、操作の手助けを行うための操作表示ＬＣＤ４と、レリーズスイッチ５ａ、５ｂと、画像表示ＬＣＤ６ａ、６ｂとが設けられている。

第１撮像系２ａおよび第２撮像系２ｂは、そのレンズ光軸Ｌ１、Ｌ２が平行となるように、あるいは所定角度をなすように並設されている。

第１撮像系２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１ａ、第１絞り１２ａ、第１フォーカスレンズ１３ａ、および第１イメージセンサ１４ａによって構成されている。第１絞り１２ａには絞り制御部１６ａが接続されており、また、第１イメージセンサ１４ａにはタイミングジェネレータ（ＴＧ）１８ａが接続されている。第１絞り１２ａ、第１フォーカスレンズ１３ａの動作は測光・測距ＣＰＵ１９ａによって制御される。ＴＧ１８ａの動作はメインＣＰＵ１０によって制御される。

第１ズームレンズ１１ａは、操作部３からのズーム操作に応じて、レンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。

第１絞り１２ａは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。

第１フォーカスレンズ１３ａは、ＡＦ（Auto Focus）動作時にレンズ光軸Ｌ１に沿ってＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。静止画用レリーズスイッチ５ａの半押し状態が検出されたとき、メインＣＰＵ１０は第１イメージセンサ１４ａから測距データを得る。メインＣＰＵ１０は得られた測距データに基づいて、ピント、絞りなどの調整を行う。

第１イメージセンサ１４ａは、ＣＣＤ型やＣＭＯＳ型のイメージセンサであり、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４ａの光電荷蓄積・転送動作は、ＴＧ１８ａによって制御され、ＴＧ１８ａから入力されるタイミング信号（クロックパルス）により、電子シャッター速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４ａは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第２撮像系２ｂは、第１撮像系２ａと同一の構成であり、第２ズームレンズ１１ｂ、第２絞り１２ｂ、第２フォーカスレンズ１３ｂ、およびタイミングジェネレータ（ＴＧ）１８ｂが接続された第２イメージセンサ１４ｂによって構成されている。

第１撮像系２ａと第２撮像系２ｂの動作はメインＣＰＵ１０によって制御される。第１撮像系２ａと第２撮像系２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。

第１撮像系２ａと第２撮像系２ｂの第１イメージセンサ１４ａおよび第２イメージセンサ１４ｂから出力された撮像信号は、それぞれＡ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３０ａ、３０ｂを通して、第１イメージセンサ１４ａの撮像信号は第１画像データ（右眼用画像データ）として、第２イメージセンサ１４ｂの撮像信号は第２画像データ（左眼用画像データ）として出力される。

画像信号処理回路３１ａ、３１ｂは、それぞれ、階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を、Ａ／Ｄ変換器３０ａ、３０ｂから入力された第１画像データおよび第２画像データに施す。

バッファメモリ３２ａ、３２ｂは、画像信号処理回路３１ａ、３１ｂで各種画像処理が施された第１画像データおよび第２画像データを一時的に格納する。バッファメモリ３２ａ、３２ｂに格納された第１画像データおよび第２画像データは、システムバスを介して出力される。

システムバスには、メインＣＰＵ１０、ＥＥＰＲＯＭ２１、ワークメモリ２４ａ、２４ｂ、バッファメモリ３２ａ、３２ｂ、コントローラ３４、ＹＣ処理部３５ａ、３５ｂ、圧縮伸張処理回路３６ａ、３６ｂ、メディアコントローラ３７、２Ｄ／３Ｄモード切替フラグ設定回路５０、基線長／輻輳角記憶手段５１、利用者／人数検出手段５２、撮影者情報登録メモリ５３などが接続される。

メインＣＰＵ１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。メインＣＰＵ１０には、操作部３、レリーズスイッチ５ａ、５ｂ、利き目設定スイッチ７、２Ｄ／３Ｄ設定スイッチ８、撮影者設定スイッチ９、基線長／輻輳角制御手段５５が接続されている。

操作部３は、複眼デジタルカメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーなどで構成される。操作部３への適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード、消去モード、編集モード等）の切り替え、ズーミングなどが行われる。

レリーズスイッチ５ａ、５ｂは２段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ５ａ、５ｂが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ５ａ、５ｂが強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１画像データおよび第２画像データがフレームメモリ３２からメモリカード３８に転送されて記録される。なお、レリーズスイッチ５ａは静止画用のレリーズスイッチであり、レリーズスイッチ５ｂは動画用のレリーズスイッチである。

画像表示ＬＣＤ６ａ、６ｂは、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの立体表示を行う。画像表示ＬＣＤ６ａは第１撮像系２ａの出力結果を表示し、画像表示ＬＣＤ６ｂは第２撮像系２ｂの出力結果を表示する。画像表示ＬＣＤ６ａ、６ｂの詳細な構造は図示しないが、画像表示ＬＣＤ６ａ、６ｂは、その表面にパララックスバリア表示層を備えている。画像表示ＬＣＤ６ａ、６ｂは、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

利き目設定スイッチ７は、撮影者の利き目を判定するためのスイッチである。利き目設定スイッチ７を押すと、あらかじめ設定された時間間隔で画像表示ＬＣＤ６ａ又は画像表示ＬＣＤ６ｂの画像出力を黒一色の画像に切り替える。所定の被写体を指標として画像表示ＬＣＤ６ａ、６ｂを用いて観察すると、利き目の画像が黒一色の画像に切り替えられた場合の指標の位置は、両目で見たときの指標の位置と異なって見える。逆に、利き目でない側の画像が黒一色の画像に切り替えられた場合には、両目で見たときの指標の位置と一致して見える。両目で見たときの指標の位置と異なって見えた場合、すなわち利き目の画像が黒一色の画像に切り替えられた場合に、利き目設定スイッチ７が押されることにより、出力画像が黒一色の画像に切り替えられた側が、撮影者の利き目であると判定することができる。

２Ｄ／３Ｄ設定スイッチ８は、単視点画像を撮影する２Ｄモードと、多視点画像を撮影する３Ｄモードの切り替えを指示するためのスイッチである。

撮影者設定スイッチ９は、撮影者や、撮影者の利き目、目の間隔などの撮影者の各種情報の登録を行うためのスイッチである。撮影者の登録については、後で詳述する。

基線長／輻輳角制御手段５５は、基線長／輻輳角記憶手段５１に記憶された基線長及び輻輳角に基づいて、基線長／輻輳角駆動手段５６ａ、５６ｂ及び基線長／輻輳角検出手段５７ａ、５７ｂを制御して、第１撮像系２ａ及び第２撮像系２ｂの基線長（第１撮像系２ａと第２撮像系２ｂとの間隔）及び輻輳角（第１撮像系２ａのレンズ光軸Ｌ１と、第２撮像系２ｂのレンズ光軸Ｌ２との成す角度）を調整するものである。

基線長／輻輳角駆動手段５６ａ、５６ｂは、基線長／輻輳角制御手段５５に接続されており、基線長／輻輳角制御手段５５からの指示に従って、第１撮像系２ａ及び第２撮像系２ｂを駆動するものである。

基線長／輻輳角検出手段５７ａ、５７ｂは、基線長／輻輳角制御手段５５及び基線長／輻輳角駆動手段５６ａ、５６ｂに接続されており、基線長／輻輳角駆動手段５６ａ、５６ｂによってそれぞれ駆動された第１撮像系２ａ及び第２撮像系２ｂの基線長及び輻輳角を検出するものである。基線長／輻輳角制御手段５５は、基線長／輻輳角検出手段５７ａ、５７ｂにおいて検出された基線長及び輻輳角に基づいて、基線長／輻輳角駆動手段５６ａ、５６ｂへ指示を出力する。

ＥＥＰＲＯＭ２１は、不揮発性メモリであり、各種制御用のプログラムや設定情報などを格納している。メインＣＰＵ１０は、このプログラムや設定情報に基づいて各種処理を実行する。

ワークメモリ２４ａ、２４ｂは、ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号をそれぞれ格納する。

コントローラ３４は、ワークメモリ２４ａ、２４ｂに記憶された第１画像データおよび第２画像データのＹＣ信号をＹＣ／ＲＧＢ処理部２２に読み出す。

ＹＣ／ＲＧＢ処理部２２は、第１画像データおよび第２画像データのＹＣ信号を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ６ａ、６ｂでの立体表示を行うための立体画像データに合成し、表示用のＬＣＤドライバ２３に出力する。撮影モード時に電子ビューファインダとして使用される際には、ＹＣ／ＲＧＢ処理部２２によって合成された立体画像データが、ＬＣＤドライバ２３を介して画像表示ＬＣＤ６ａ、６ｂにスルー画として表示される。また、撮影によって得られた画像データの立体表示を行う場合には、ＹＣ／ＲＧＢ処理部２２は、メモリカード３８に記録された各画像データがメディアコントローラ３７によって読み出されて、圧縮伸張処理回路３６ａ、３６ｂによって伸張処理が行われたデータを立体画像データに変換し、その立体画像データがＬＣＤドライバ２３を介して再生画像として画像表示ＬＣＤ６ａ、６ｂに表示される。

ＬＣＤドライバ２３は、ＹＣ／ＲＧＢ処理部２２から出力されたＲＧＢ信号を画像表示ＬＣＤ６ａ、６ｂに出力する。

ＹＣ処理部３５ａ、３５ｂは、バッファメモリ３２ａ、３２ｂに記憶された画像データを輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換するとともに、ガンマ調整等の所定の処理を施す。

圧縮伸張処理回路３６ａ、３６ｂは、それぞれワークメモリ２４ａ、２４ｂに記憶された第１画像データおよび第２画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。

メディアコントローラ３７は、圧縮伸張処理回路３６ａ、３６ｂによって圧縮処理された各画像データを、Ｉ／Ｆ３９経由で接続されたメモリカード３８やその他の記録メディアに記録させる。

メモリカード３８は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

２Ｄ／３Ｄモード切替フラグ設定回路５０には、２Ｄモードであることまたは３Ｄモードであることを表すフラグが設定される。

基線長／輻輳角記憶手段５１は、撮影者設定スイッチ９を用いて登録された撮影者の目の間隔と等しい間隔を基線長として記憶し、また測光・測距ＣＰＵ１９ａ、１９ｂと、基線長とに基づいて、その撮影者に適した輻輳角を算出して記憶するものである。

利用者／人数検出手段５２は、第１撮像系２ａ又は第２撮像系２ｂで取得された画像に利用者が撮影されているか、また何人の利用者が撮影されているかを検出するものである。利用者やその人数の検出は、顔検出など様々な公知の技術を用いて行うことができる。

撮影者情報登録メモリ５３は、撮影者設定スイッチ９を用いて登録された撮影者の各種の情報を関連付けて記憶するものである。また、撮影者の顔を撮影し、撮影者の顔と、撮影者の各種情報とを関連付けて記憶させてもよい。

また、複眼デジタルカメラ１には、電源電池６８が着脱可能に設けられている。

電源電池６８は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池６８は、図示しない電池収納室に装填することにより、複眼デジタルカメラ１の各回路と電気的に接続される。

充電・発光制御部４３ａ、４３ｂは、電源電池６８からの電力の供給を受けて、それぞれストロボ４４ａ、４４ｂを発光させるために、図示しない閃光発光用のコンデンサを充電し、ストロボ４４ａ、４４ｂの発光を制御する。

充電・発光制御部４３ａ、４３ｂは、レリーズスイッチ５ａ、５ｂの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号を、メインＣＰＵ１０や測光・測距ＣＰＵ１９ａ、１９ｂから取り込んだことに応じて、ストロボ４４ａ、４４ｂへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。

なお、図１の複眼デジタルカメラ１においては、２系統の撮像系（第１撮像系２ａおよび第２撮像系２ｂ）を有する例を示すが、撮像系が３個以上あってもよい。また、撮像系の配置は、横一列でなくても二次元で配置されていてもよい。

また、図１の複眼デジタルカメラ１は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。

上記のように構成された複眼デジタルカメラ１の撮影、記録動作及び再生動作について説明する。

この複眼デジタルカメラ１において、電源ボタン（図示せず）がＯＮ操作されると、メインＣＰＵ１０はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。また、２Ｄ／３Ｄ設定スイッチ８で２Ｄモードか３Ｄモードのどちらかに設定する。

この撮影スタンバイ状態では、メインＣＰＵ１０は、通常、以下のようにして画像表示ＬＣＤ６ａ、６ｂに動画（スルー画）を表示させる。

まず、メインＣＰＵ１０は、２Ｄ／３Ｄモード切替フラグ設定回路５０を参照し、単視点画像（２次元画像）を取得する２Ｄモードか、多視点画像（３次元画像）を取得する３Ｄモードかを検出する。２Ｄモードの場合は第１撮像系２ａのみを駆動し、３Ｄモードの場合は第１撮像系２ａ及び第２撮像系２ｂを駆動する。以下、３Ｄモードを例に説明する。３Ｄモードの場合には、撮影者の各種情報が登録された撮影者の中から、撮影者の選択が行われる。

ここで、撮影者の各種情報の登録について説明する。撮影者設定スイッチ９が押されることにより、撮影者情報登録モードへ動作モードが移行される。撮影者情報登録モードにおいて、まず撮影者の名称の入力が行われる。入力は、画像表示ＬＣＤ６ａ、６ｂに文字等が表示された登録画面を表示させ、十字キー等の操作部を用いて名称の入力を行うこと等によって行われる。名称入力後、利き目設定スイッチ７を用いて、撮影者の利き目が判定される。その後、画像表示ＬＣＤ６ａ、６ｂに表示された登録画面等を用いて、撮影者の目の間隔が入力される。入力が終了したら、撮影者の名称、利き目、目の間隔などの情報が関連付けられて登録される。

第１ズームレンズ１１ａ、第２ズームレンズ１１ｂ、第１フォーカスレンズ１３ａ、第２フォーカスレンズ１３ｂが所定位置まで繰り出され、その後第１イメージセンサ１４ａ、第２イメージセンサ１４ｂによってスルー画像用の撮影が行われ、画像表示ＬＣＤ６ａ、６ｂにスルー画像が表示される。すなわち、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次コントローラ３４に加えられ、表示用の信号形式に変換されて、画像表示ＬＣＤ６ａ、６ｂに出力される。これにより、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂで捉えた画像が画像表示ＬＣＤ６ａ、６ｂにスルー表示される。

ユーザ（撮影者）は、画像表示ＬＣＤ６ａ、６ｂに表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ５ａ、５ｂが半押しされると、メインＣＰＵ１０にＳ１ＯＮ信号が入力される。メインＣＰＵ１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂを介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における第１絞り１２ａ、第２絞り１２ｂの絞り値、及びシャッター速度の決定に使用される。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。ストロボ４４ａ、４４ｂの発光が必要と判断された場合には、ストロボ４４ａ、４４ｂをプリ発光させ、その反射光に基づいて本撮影時のストロボ４４ａ、４４ｂの発光量を決定する。３Ｄモードの場合には、上記以外に、基線長／輻輳角記憶手段５１に記憶された撮影者毎の基線長、輻輳角の情報に基づいて、第１撮像系２ａおよび第２撮像系２ｂの基線長及び輻輳角を調整する。なお、３Ｄモードでの撮影については後に詳述する。

レリーズスイッチ５ａ、５ｂが全押しされると、メインＣＰＵ１０にＳ２ＯＮ信号が入力される。メインＣＰＵ１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、メインＣＰＵ１０は、前記測光値に基づいて決定した絞り値に基づいて絞り制御部１６ａ、１６ｂを介して第１絞り１２ａ、第２絞り１２ｂを駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように第１イメージセンサ１４ａ、第２イメージセンサ１４ｂでの電荷蓄積時間（いわゆる電子シャッター）を制御する。

また、メインＣＰＵ１０は、バッファメモリ３２ａ、３２ｂに格納される第１画像データおよび第２画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、後述する撮影準備処理時に実行されるＡＦ動作およびＡＥ動作においてそれぞれ使用される。

メインＣＰＵ１０は、メインＣＰＵ１０が第１フォーカスレンズ１３ａおよび第２フォーカスレンズ１３ｂを制御してそれぞれ所定方向に移動させながら、順次に得られる第１画像データおよび第２画像データの各々から算出されたＡＦ評価値の最大値を求めることにより、ＡＦ動作（コントラストＡＦ）を行う。

この際、ストロボ４４ａ、４４ｂを発光させる場合は、プリ発光の結果から求めたストロボ４４ａ、４４ｂの発光量に基づいてストロボ４４ａ、４４ｂを発光させる。

被写体光は、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａを介して第１イメージセンサ１４ａの受光面に入射する。また、第２ズームレンズ１１ｂ、第２絞り１２ｂ、および第２フォーカスレンズ１３ｂを介して第２イメージセンサ１４ｂの受光面に入射する。

第１イメージセンサ１４ａ、第２イメージセンサ１４ｂは、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、第１イメージセンサ１４ａ、第２イメージセンサ１４ｂの受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１８ａから加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として第１イメージセンサ１４ａ、第２イメージセンサ１４ｂから順次出力され、Ａ／Ｄ変換器３０ａ、３０ｂに入力される。

Ａ／Ｄ変換器３０ａ、３０ｂは、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、メインＣＰＵ１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換器３０ａ、３０ｂにおいて、それぞれアナログの画像信号からデジタルの画像信号に変換される。

Ａ／Ｄ変換器３０ａ、３０ｂから出力された第１画像データおよび第２画像データは、それぞれ画像信号処理回路３１ａ、３１ｂで階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を施され、バッファメモリ３２ａ、３２ｂに一旦蓄えられる。

バッファメモリ３２ａ、３２ｂから読み出されたＲ、Ｇ、Ｂの画像信号は、ＹＣ処理部３５ａ、３５ｂにより輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭調整回路により輪郭強調処理される。ＹＣ処理部３５ａ、３５ｂで処理されたＹＣ信号は、それぞれワークメモリ２４ａ、２４ｂに蓄えられる。

上記のようにしてバッファメモリ３２ａ、３２ｂに蓄えられたＹＣ信号は、圧縮伸張処理回路３６ａ、３６ｂによって圧縮され、所定のフォーマットの画像ファイルとして、Ｉ／Ｆ３９を介してメモリカード３８に記録される。本例の複眼デジタルカメラ１の場合、静止画の２次元画像のデータは、Ｅｘｉｆ規格に従った画像ファイルとしてメモリカード３８に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。動画のデータは、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理が施されてメモリカード３８に格納される。

メモリカード３８に３次元画像の画像データを記録するときには、登録された撮影者の各種情報が画像データに添付されたタグ情報又はメモリカード３８の媒体ヘッダに書き込まれる。図２は、画像データや撮影者の各種情報をメモリカード３８に記録する場合のデータ構成を示す図であり、（ａ）は撮影者の各種情報が画像データのタグに書き込まれた場合であり、（ｂ）は撮影者の各種情報が媒体ヘッダに書き込まれた場合である。

図２（ａ）に示すように、画像データは、メモリカード３８の媒体ヘッダの下に、撮影された順番に従って記録される。その画像データは、最初に画像情報タグがあり、その下にサムネイルのデータがあり、最後に撮影された２枚の画像のデータが記録される。画像情報タグには、ＩＤ、ファイル名、撮影年月日時刻、２Ｄ／３Ｄ、用いられた撮像系、撮影者の各種情報などの情報が書き込まれる。なお、図２（ａ）において、３枚のサムネイル、すなわち第１撮像系２ａで撮影された画像と、第２撮像系２ｂで撮影された画像と、上記２枚の画像から画像処理により作成された第１撮像系２ａ及び第２撮像系２ｂの中央から見た画像と、のサムネイルが記録されているが、サムネイルは３枚以上でもよいし、２枚以下でもよい。２枚の場合は、第１撮像系２ａで撮影された画像及び第２撮像系２ｂで撮影された画像のサムネイルを記録するようにすればよいし、１枚の場合は利き目側の撮像系（「父」の場合は第１撮像系２ａ）で撮影された画像のサムネイルを記録すればよい。

画像情報タグに利き目などの撮影者の各種情報を直接書き込む場合、すなわち画像毎に撮影者の各種情報をもたせる場合には、図２（ａ）に示すように、画像情報タグに撮影者の名称、利き目情報が書き込まれる。媒体ヘッダに撮影者の各種情報を書き込む場合、すなわち画像全体に撮影者の各種情報をもたせる場合には、図２（ｂ）に示すように、媒体ヘッダに撮影者の各種情報（ＩＤ、撮影者の名称、利き目、目の間隔など）が書き込まれ、更に画像情報タグに撮影者のＩＤが書き込まれる（図２（ａ）参照）。なお、画像全体に撮影者の各種情報をもたせる場合において、媒体ヘッダに撮影者の各種情報を書き込む方法を例に説明したが、これに限らず、画像データが含まれるファイルとは別に、撮影者の各種情報が書き込まれたファイルをメモリカード３８に記録するようにしてもよい。

このようにしてメモリカード３８に記録された画像データは、複眼デジタルカメラ１のモードを再生モードに設定することにより、画像表示ＬＣＤ６ａ、６ｂに再生表示される。再生モードへの移行は、再生ボタン（図示せず）を押下することにより行われる。

再生モードが選択されると、メモリカード３８に記録されている最終コマの画像ファイルがＩ／Ｆ３９を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理回路３６ａ、３６ｂを介して非圧縮のＹＣ信号に伸長される。

伸長されたＹＣ信号は、バッファメモリ３２ａ、３２ｂ（又は図示しないＶＲＡＭ）に保持され、コントローラ３４によって表示用の信号形式に変換されて画像表示ＬＣＤ６ａ、６ｂに出力される。これにより、画像表示ＬＣＤ６ａ、６ｂにはメモリカード３８に記録されている最終コマの画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード３８から読み出され、上記と同様にして画像が画像表示ＬＣＤ６ａ、６ｂに再生される。なお、３次元画像の再生については、後で詳述する。

画像表示ＬＣＤ６ａ、６ｂに再生表示された画像を確認しながら、必要に応じて、メモリカード３８に記録された画像を消去することができる。画像の消去は、画像が画像表示ＬＣＤ６ａ、６ｂに再生表示された状態でフォトモードボタンが押下されることによって行われる。

以上のように、複眼デジタルカメラ１は画像の撮影、記録及び再生を行う。上記説明は、静止画を撮影する場合について説明したが、動画の場合も同様である。動画、静止画の撮影は、個々のレリーズボタンにより制御される。また、動画、静止画のモードセレクトＳＷやメニューにより、動画、静止画の切り替えを行うようにしてもよい。

＜３次元画像の取得、記録＞
３Ｄモードで３次元画像を取得、記録する処理について、図３を用いて説明する。以下の処理は、メインＣＰＵ１０によって制御される。

まず、撮影モードが２Ｄモードか３Ｄモードかのどちらに設定されているかが検出され（ステップＳ１０）、検出された撮影モードが３Ｄモードであるかどうかが判断される（ステップＳ１１）。

３Ｄモードで無い場合（ステップＳ１１でＮＯ）には、２Ｄモードに切り替えられ（ステップＳ１２）、撮影者の利き目側の駆動系が駆動される（ステップＳ１３）。撮影者が「父」の場合には、利き目が右目であるため（図２（ｂ）参照）、第１撮像系２ａのみが駆動される。

３Ｄモードである場合（ステップＳ１１でＹＥＳ）には、３Ｄモードに切り替えられ（ステップＳ１４）、撮影者の情報が取得される（ステップＳ１５）。撮影者情報登録メモリ５３に登録されている撮影者の名称の一覧を画像表示ＬＣＤ６ａ、６ｂに出力し、操作部３を用いて、その名称の一覧の中から撮影者を選択すること等により、撮影者の情報を取得することができる。

ステップＳ１５で取得された撮影者の各種情報が、撮影者情報登録メモリ５３から取得され（ステップＳ１６）、その中から利き目情報と目の間隔の情報とが取得される（ステップＳ１７）。

そして、取得された利き目情報及び目の間隔の情報と、被写体距離とに基づいて、基線長／輻輳角記憶手段５１において撮影者に適した基線長及び輻輳角が算出され（ステップＳ１８）、基線長／輻輳角制御手段５５によって、ステップＳ１６で算出された基線長及び輻輳角となるように第１撮像系２ａ及び第２撮像系２ｂの基線長及び輻輳角が制御される（ステップＳ１９）。なお、被写体距離は、ＡＦの技術などの様々な公知技術を用いて測定可能なため、説明は省略する。

これにより、撮影の準備が終了され、その後、ファイルの初期化が行われ（ステップＳ２０）、３次元画像の撮影及び記録が行われる（ステップＳ２１）。

撮影が終了したかが判断され（ステップＳ２２）、撮影が終了していない場合（ステップＳ２２でＮＯ）は、撮影後所定時間が経過したがどうかが判断される（ステップＳ２３）。撮影後所定時間が経過していない場合（ステップＳ２３でＮＯ）は、再度ステップＳ２３が行われ、撮影後所定時間が経過した場合（ステップＳ２３でＹＥＳ）は、３次元画像の撮影及び記録処理（ステップＳ２１）へ戻る。

撮影が終了した場合（ステップＳ２２でＹＥＳ）は、ヘッダの情報が更新される（ステップＳ２４）。ここで、ヘッダに画像データのタグ又はメモリカード３８のヘッダに撮影者の各種情報が書きこまれる。

これにより、撮影者の各種情報と関連付けられた３次元画像が取得及び記録される。

このように、撮影者の各種情報を取得し、撮影者の利き目及び目の間隔の情報を取得し、撮影者に応じた基準長及び輻輳角を調整することで、利き目や目の間隔に応じて、基準点からの右用撮像系と左用撮像系の位置が調整され、利き目等に合わせた、再生時に見易い３次元画像の撮影が可能となる。

また、撮影者の利き目等の情報を、画像毎のタグのヘッダに記録するようにすれば、画像が他にコピーされても、画像再生時にその情報を使うことができる。

なお、ステップＳ１６において、基線長及び輻輳角が、利き目情報及び目の間隔の情報と、被写体距離に基づいて算出されたが、あらかじめ基準となる被写体距離を設定しておき、利き目情報及び目の間隔のみで基線長及び輻輳角が算出されるようにしてもよい。

＜３次元画像の再生の第１の実施の形態＞
本発明は、２枚の２次元画像（以下、利き目で見る画像を利き目画像、利き目でない眼で見る画像を反利き目画像という）で構成された３次元画像をただ再生するだけでなく、視聴者に応じた見易い３次元画像再生を行うものである。

同じ３次元画像を再生した場合においても、画像の種類、撮影者の利き目や表示部の大きさ等により、見易さが異なる。そこで、撮影者の利き目や、表示部の種類（レンチキュラー、デュアルディスプレイ、ヘッドマウントディスプレイなど）、大きさ等の情報を用いて、３次元画像を表示部に最適な形で表示するための画像調整パラメータを算出し、算出された画像調整パラメータに基づいて、利き目画像を基準にして反利き目画像を適切な位置に移動させる調整が行われた３次元画像を再生することで、視聴者に応じた見易い３次元画像再生を行う。

以下、見やすいように調整された３次元画像を再生する処理について、図４を用いて説明する。以下の処理は、メインＣＰＵ１０によって制御される。

メモリカード３８に記録された画像の中から、再生したい画像が選択され（ステップＳ３０）、その画像が３次元画像か２次元画像かが検出される（ステップＳ３１）。検出された結果に基づいて、選択された画像が３次元画像であるかどうかが判断される（ステップＳ３２）。

選択された画像が３次元画像で無い場合（ステップＳ３２でＮＯ）は、２次元画像を再生するモードに切り替えられ（ステップＳ３３）、２次元画像の再生が行われる（ステップＳ３４）。

選択された画像が３次元画像である場合（ステップＳ３２でＹＥＳ）には、３次元画像を再生するモードに切り替えられ（ステップＳ３５）、３次元画像が複眼デジタルカメラ１ａの画像表示ＬＣＤ６ａ、６ｂで表示される設定であるか、又は複眼デジタルカメラ１ａに接続された外部の画像再生装置で表示される設定であるかが判断される（ステップＳ３６）。

ステップＳ３６において、３次元画像が複眼デジタルカメラ１ａに接続された外部の画像再生装置で表示される設定であると判断された場合には、接続された外部の画像再生装置の表示部の種類、大きさ等の画像再生装置情報が取得される（ステップＳ３７）。画像再生装置情報は、複眼デジタルカメラ１ａの画像表示ＬＣＤ６ａ、６ｂ又は画像再生装置の表示部などに表示された登録画面等を用いて、手動で登録してもよいし、画像再生装置に画像再生装置情報が記録されている場合には、画像再生装置が複眼デジタルカメラ１ａに接続された場合に、画像再生装置情報を自動的に取得するようにしてもよい。

その後、画像再生装置で３次元画像を視聴する視聴者の利き目の情報が取得される（ステップＳ３８）。視聴者の利き目の情報は、視聴者が複眼デジタルカメラ１ａに登録されている撮影者であれば、撮影者情報登録メモリ５３に記録されている撮影者の各種情報のなかから所望の撮影者の情報を取得すればよいし、視聴者が複眼デジタルカメラ１ａに登録されていない場合には、撮影者の各種情報を登録する場合と同様の方法を用いて、視聴者の利き目などの各種情報を登録し、撮影者情報登録メモリ５３に記録するようにすればよい。

ステップＳ３６において、３次元画像が画像表示ＬＣＤ６ａ、６ｂで表示される設定であると判断された場合には、視聴者の情報として３次元画像に関連付けられた撮影者の各種情報が取得される（ステップＳ３９）。この場合には、画像表示ＬＣＤ６ａ、６ｂの情報は既知であるため、外部の画像再生装置で表示する場合と異なり、改めて画像表示ＬＣＤ６ａ、６ｂの情報を取得する必要はない。

視聴者情報が取得されたら、視聴者の利き目の情報が取得される（ステップＳ４０）。これにより、利き目画像、反利き目画像が確定する。

反利き目画像が確定したら、３次元画像を最適な形で再生するために、利き目画像を基準としたときの、反利き目画像を移動させる量（表示ずれ量）が算出される（ステップＳ４１）。表示ずれ量は、３次元画像を画像表示ＬＣＤ６ａ、６ｂに表示させる場合には、画像表示ＬＣＤ６ａ、６ｂの情報と、視聴者の利き目の情報とに基づいて算出され、３次元画像を複眼デジタルカメラ１ａに接続された外部の画像再生装置に表示させる場合には、ステップＳ３５で取得された画像再生装置情報と、視聴者の利き目の情報とに基づいて算出される。

表示ずれ量が算出されたら、算出された表示ずれ量に基づいて、反利き目画像のずれ量を調整する画像処置が行われる（ステップＳ４２）。反利き目画像を移動させる画像処理は、公知の様々な画像処理技術を用いて行うことができる。

調整された３次元画像が画像表示ＬＣＤ６ａ、６ｂ又は複眼デジタルカメラ１ａに接続された外部の画像再生装置に出力されることにより、３次元画像の再生が行われ（ステップＳ４３）、画像再生が終了したかが判断される（ステップＳ４４）。

画像再生が終了していない場合（ステップＳ４４でＮＯ）は、再生画像を選択するステップ（ステップＳ３０）へ戻り、画像再生が終了した場合（ステップＳ４４でＹＥＳ）は、処理が終了される。すなわち、静止画を再生する場合には、１枚の画像の処理のみを行えばよいので、ステップＳ４４では必ずＹＥＳとなるが、動画を再生する場合には、複数枚の画像を連続して再生する必要があるため、動画を構成する画像全ての処理が終わっていない場合は、ステップＳ４４でＮＯとなりステップＳ３０〜Ｓ４３が繰り返し行われ、動画を構成する最後の画像の処理が終了した場合には、ステップＳ４４でＹＥＳとなり、処理が終了される。

このように、視聴者の利き目、画像再生装置の種類、大きさなどの条件に合わせて、最適な再生を行うことにより、見易い画像の再生が可能になる。

なお、本実施の形態では、撮影者の各種情報が関連付けられた３次元画像を再生する場合を例に説明したが、３次元画像に撮影者の各種情報が関連付けられていない画像を用いて再生することもできる。この場合には、ステップＳ３９において、撮影者の各種情報の代わりに、ステップＳ３８のような方法で視聴者情報を取得するようにすればよい。

また、本実施の形態では、３次元画像を調製する画像表示パラメータとして表示ずれ量を算出したが、画像表示パラメータは、平行移動方向の表示ずれ量のみでなく、画像回転方向の表示ずれ量を含むようにしてもよい。

また、画像再生装置は、複眼デジタルカメラ１ａに接続された場合を例に説明したが、画像再生装置に画像を記録することにより、複眼デジタルカメラ１ａに接続されていない場合にも適用可能である。この場合には、３次元画像が複眼デジタルカメラ１ａの画像表示ＬＣＤ６ａ、６ｂで表示される設定であるか、又は複眼デジタルカメラ１ａに接続された外部の画像再生装置で表示される設定であるかを判断するステップ（ステップＳ３６）は不要である。

また、画像表示ＬＣＤ６ａ、６ｂで画像を再生する場合には、再生する３次元画像を撮影した撮影者と、画像を視聴する視聴者が同じ場合を例に説明したが、撮影者と視聴者が異なる場合にも適用可能である。この場合には、ステップＳ３９において、撮影者の各種情報の代わりに、ステップＳ３８のような方法で視聴者情報を取得するようにすればよい。

また、画像再生装置で画像を再生する場合に、視聴者情報の入力が無い場合には、視聴者と撮影者が同一であると判断して、３次元画像に関連付けられた撮影者の各種情報を用いて表示ずれ量の算出等の処理を行なうようにしてもよい。

＜３次元画像の再生の第２の実施の形態＞
３次元画像の再生の第２の実施の形態は、視聴者を撮影することにより、画像再生時に視聴者を入力することなくそれぞれの視聴者に応じた見易い３次元画像再生を行うものである。

以下、３次元画像の再生の第２の実施の形態について、図５を用いて説明する。以下の処理は、メインＣＰＵ１０によって制御される。

画像再生装置の表示部の大きさ等の画像再生装置情報が取得される（ステップＳ５０）。画像再生装置情報は、複眼デジタルカメラ１ａの画像表示ＬＣＤ６ａ、６ｂ又は画像再生装置の表示部などに表示された登録画面等を用いて、手動で登録してもよいし、画像再生装置に画像再生装置情報が記録されている場合には、画像再生装置が複眼デジタルカメラ１ａに接続された場合に、自動的に取得するようにしてもよい。

複数の視聴者を含む被写体像が取得され（ステップＳ５１）、顔検出等の技術を用いてその被写体像から視聴者が検出される（ステップＳ５２）。３Ｄモードであるため、２枚の被写体像が取得されるが、撮影者の利き目情報が取得できる場合には、利き目側の撮像径で取得された２次原画像を用いて顔検出等の検出処理を行なえばよい。撮影者の利き目情報が取得できない場合には、第１撮像系２ａで取得された２次元画像を用いて顔検出等の検出処理を行なえばよい。

視聴者が検出されたら、検出された視聴者の利き目情報が取得される（ステップＳ５３）。撮影者情報登録メモリ５３に、撮影者の各種情報と共に撮影者の画像が登録されている場合には、ステップＳ５２で検出された視聴者の顔と、予め登録された顔とを比較することにより、ステップＳ５２で検出された視聴者が自動的に認識され、認識された視聴者の利き目情報が取得される。撮影者情報登録メモリ５３に登録されている撮影者で無い場合には、撮影者の各種情報の登録と同様の方法を用いて視聴者情報を登録し、撮影者情報登録メモリ５３に記録するようにすればよい。

その後、画像再生装置情報と、視聴者の利き目の情報とに基づいて、視聴者毎に最適な視聴位置が算出され、画像表示ＬＣＤ６ａ、６ｂに表示される（ステップＳ５４）。

これにより、再生の準備が終了され、再生画像の選択が行われる（ステップＳ５５）。そして、視聴者の利き目の情報と、画像再生装置情報に基づいて、表示ずれ量の演算が行われ（ステップＳ５６）、算出された表示ずれ量に基づいて、ずれ量を調整する画像処理が行われる（ステップＳ５７）。表示ずれ量の調整は、ステップＳ４２と同様の方法で行われる。

調整された３次元画像が画像再生装置に出力されることにより、３次元画像の再生が行われ（ステップＳ５８）、画像再生が終了したかが判断される（ステップＳ５９）。画像再生が終了していない場合（ステップＳ５９でＮＯ）は、再生画像を選択するステップ（ステップＳ５５）へ戻り、画像再生が終了した場合（ステップＳ５９でＹＥＳ）は、処理が終了される。

静止画を再生する場合には、１枚の画像の処理のみを行えばよいので、ステップＳ５９では必ずＹＥＳとなるが、動画を再生する場合には、複数枚の画像を連続して再生する必要があるため、動画を構成する画像全ての処理が終わっていない場合は、ステップＳ５９でＮＯとなりステップＳ５５〜Ｓ５８が繰り返し行われ、動画を構成する最後の画像の処理が終了した場合には、ステップＳ５９でＹＥＳとなり、処理が終了される。

このように、視聴環境の撮影を行い、顔検出により視聴者を判別し、登録済みの情報から判別された視聴者の利き目情報を読み出し、利き目情報や表示部の大きさ（すなわち再生画像のサイズや視聴距離）に基づいて、視聴者毎の最適な視聴位置及び最適な表示ずれ量を求めることで、複数の視聴者に応じた見易い３次元画像の再生が可能になる。

なお、本実施の形態では、視聴者が単数の場合を例に説明したが、視聴者は複数の場合においても適用可能である。

なお、３次元画像は、上述のような複眼デジタルカメラ１ａで取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよいし、撮像系が３つ以上ある複眼デジタルカメラで取得してもよい。

また、撮影者の利き目があらかじめ分かっている場合には、利き目設定スイッチ７を用いて利き目を設定せず、画像表示ＬＣＤ６ａ、６ｂに表示されたＧＵＩと操作部３とを用いて利き目を入力するようにしてもよい。

本発明が適用された複眼デジタルカメラ１ａのブロック図である。 撮影者の各種情報の記録形態を示す模式図であり、（ａ）は撮影者の各種情報が画像データのタグに書き込まれた場合であり、（ｂ）は撮影者の各種情報が媒体ヘッダに書き込まれた場合である。 ３次元画像の撮影処理の流れを示すフローチャートである。 ３次元画像の再生処理の第１の実施の形態の処理の流れを示すフローチャートである。 ３次元画像の再生処理の第２の実施の形態の処理の流れを示すフローチャートである。

符号の説明

１：複眼デジタルカメラ、２ａ：第１撮像系、２ｂ：第２撮像系、６ａ、６ｂ：画像表示ＬＣＤ、１０：メインＣＰＵ、３８：メモリカード、５０：２Ｄ／３Ｄモード切替フラグ設定回路、５１：基線長／輻輳角記憶手段、５２：利用者／人数検出手段、５３：撮影者情報登録メモリ

Claims (10)

1. 複数の視点から見た被写体像である多視点画像を撮影する複数の撮像手段と、
   少なくとも撮影者の利き目の情報を取得する情報取得手段と、
   前記複数の撮像手段により撮影された多視点画像と、前記情報取得手段により取得された利き目の情報とを関連付けて記録媒体に記録する記録手段と、
   を備えたことを特徴とする撮像装置。
2. 撮影者を示す撮影者情報と、該撮影者の利き目の情報及び目の間隔の情報とを関連付けて登録する登録手段と、
   撮影者情報を入力する撮影者情報入力手段と、を備え、
   前記情報取得手段は、前記撮影者情報入力手段により入力された撮影者情報に基づいて、該撮影者情報に対応する利き目の情報及び目の間隔の情報を取得することを特徴とする請求項１に記載の撮像装置。
3. 被写体距離を測距する測距手段と、
   前記情報取得手段により取得された撮影者の目の間隔及び前記測距手段により測距された被写体距離に基づいて、前記撮像手段の輻輳角を算出する算出手段と、
   前記複数の撮像手段を駆動する駆動手段と、
   前記撮像手段が、前記情報取得手段により取得された撮影者の目の間隔と等しい間隔となり、かつ前記算出手段により算出された輻輳角となるように、前記駆動手段を制御する制御手段と、
   を備えたことを特徴とする請求項２に記載の撮像装置。
4. 前記記録媒体に記録された多視点画像に基づいて立体画像を表示する表示手段と、
   前記多視点画像と関連付けられた利き目の情報に基づいて、前記多視点画像のうちの効き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成する画像生成手段と、
   を更に備えたことを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 複数の視点から見た被写体像である多視点画像を表示手段に表示させる画像再生装置において、
   前記多視点画像を取得する取得手段と、
   前記表示手段の情報を取得する表示手段情報取得手段と、
   前記表示手段の画面を見る視聴者の利き目の情報を取得する情報取得手段と、
   前記情報取得手段により取得された視聴者の利き目の情報と、前記表示手段情報取得手段により取得された表示手段の情報とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成する画像生成手段と、
   を備えたことを特徴とする画像再生装置。
6. 前記表示手段の位置から視聴者を撮影する撮像手段と、
   前記撮像手段により取得された画像から視聴者の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔と予め登録された視聴者の顔とを比較し、前記撮影された視聴者を認識する視聴者認識手段と、
   視聴者を示す視聴者情報に関連づけて該視聴者の利き目の情報を登録する登録手段と、を備え、
   前記情報取得手段は、前記視聴者認識手段によって認識された視聴者の視聴者情報に関連付けて登録された視聴者の利き目の情報を取得することを特徴とする請求項５に記載の画像再生装置。
7. 前記顔検出手段によって検出された視聴者の前記表示手段からの距離を測距する測距手段を備え、
   前記画像生成手段は、前記情報取得手段により取得された視聴者の利き目の情報と、前記表示手段情報取得手段により取得された表示手段情報と、前記測距手段によって測距された視聴者の距離とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして前記表示手段に出力するための多視点画像を生成することを特徴とする請求項６に記載の画像再生装置。
8. 複数の視点から見た被写体像である多視点画像を撮影するステップと、
   少なくとも撮影者の利き目の情報を取得するステップと、
   前記撮影された多視点画像と、前記取得された利き目の情報とを関連付けて記録媒体に記録するステップと、
   を含むことを特徴とする撮像方法。
9. 複数の視点から見た被写体像である多視点画像を表示手段に表示させる画像再生方法において、
   前記多視点画像を取得するステップと、
   前記表示手段の情報を取得するステップと、
   前記表示手段の画面を見る視聴者の利き目の情報を取得するステップと、
   前記取得された視聴者の利き目の情報と、前記取得された表示手段の情報とに基づいて、前記多視点画像のうちの利き目に対応する画像を基準にして、前記表示手段に出力するための多視点画像を生成するステップと、
   を含むことを特徴とする画像再生方法。
10. 請求項８に記載の撮像方法又は請求項９に記載の画像再生方法を演算装置に実行させることを特徴とするプログラム。

Images