JP2011197278A - 立体撮像装置 - Google Patents

Abstract

【課題】被写体の明るさにかかわらず、左右視点画像の視差がユーザの希望する視差になるように撮影することができる単眼立体撮像装置を提供する。
【解決手段】単一の撮影光学系の予め定められた方向の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される位相差ＣＣＤにより、各領域を通過した被写体像がそれぞれ光電変換され互いに位相差をもった主、副画像を取得する単眼立体撮像装置である。この単眼立体撮像装置において、主、副画像の視差の強度をユーザが予め指示すると、複数の視差優先用のプログラム線図のうちのユーザが指示した視差の強度に対応する視差優先用のプログラム線図が選択される。この選択された視差優先用のプログラム線図によれば、ユーザが指示した視差の強度に対応する絞りのＦ値が優先的に決定され、被写体の明るさにかかわらず、ユーザが希望する視差をもった主、副画像を撮影することができる。
【選択図】 図７

Description

本発明は立体撮像装置に係り、特に撮影光学系の左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。

従来、この種の立体撮像装置として、図９に示す光学系を有するものが知られている（特許文献１）。

この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１０（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１０では、フォーカスによる分離の違いを比較するために、図９に示したミラー４を省略している。

図１０（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１０（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。

また、特許文献２には、上記と同様に左右方向に瞳分割された被写体像に対応する左視点画像及び右視点画像を取得し、撮影画面のほぼ全エリアについて焦点検出（デフォーカス量の検出）を行うことができる撮像装置が記載されており、特に段落［００４７］には、絞りのＦ値を変えることで立体感の調節を行うことができる記載がある。

また、特許文献３には、撮影モードに応じてプログラム線図を選択する記載がある（段落［００４３］〜［００４４］）。

特表２００９−５２７００７号公報 特開２００９−１６８９９５号公報 特開２００９−１７７２７２号公報

この種の立体撮像装置により撮影される左視点画像と右視点画像は、絞りのＦ値に応じて視差（分離幅）が異なるため、被写体の明るさの影響を受け、ユーザが希望する視差で撮影を行うことができないという問題がある。

また、特許文献３に記載の撮像装置は、そもそも立体撮像装置ではなく、また、特許文献３には、撮影モードに応じてプログラム線図を選択する理由やプログラム線図の特徴に関する記載はない。

本発明はこのような事情に鑑みてなされたもので、被写体の明るさにかかわらず、左右視点画像の視差がユーザの希望する視差になるように撮影することができる立体撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、前記撮像素子から出力される第１の画像と第２の画像との視差量を変化させることが可能な複数の視差優先用のプログラム線図を記憶する記憶手段と、被写体の明るさを測光する測光手段と、前記第１の画像と第２の画像との視差の強度を指示又は設定する情報に基づいて前記複数の視差優先用のプログラム線図から対応する視差優先用のプログラム線図を選択するプログラム線図選択手段と、前記プログラム線図選択手段により選択された視差優先用のプログラム線図と前記測光手段により測光された被写体の明るさに基づいて前記絞りのＦ値を含む撮影条件を決定する撮影条件決定手段と、前記決定された撮影条件に基づいて露出制御を行う露出制御手段と、を備えたことを特徴としている。

請求項１に係る発明によれば、上記構成の立体撮像装置により取得される第１、第２の画像の視差の強度が指示又は設定されると、その視差の強度に対応する視差優先用のプログラム線図が選択される。この選択された視差優先用のプログラム線図によれば、前記指示又は設定された視差の強度に対応する絞りのＦ値が優先的に決定されるため、被写体の明るさにかかわらず、前記指示又は設定された視差の強度をもった第１、第２の画像を撮影することができる。

請求項２に示すように請求項１に記載の立体撮像装置において、前記撮像素子から出力される第１の画像と第２の画像の視差の強度をユーザの入力により指示する指示手段を備え、前記プログラム線図選択手段は、前記指示手段により指示された視差の強度の情報に基づいて前記複数の視差優先用のプログラム線図から前記指示された視差の強度に対応する視差優先用のプログラム線図を選択することを特徴としている。これにより、ユーザが指示した視差の強度に対応する絞りのＦ値が優先的に決定されるため、被写体の明るさにかかわらず、ユーザが希望する視差の強度をもった第１、第２の画像を撮影することができる。

請求項３に示すように請求項２に記載の立体撮像装置によれば、前記プログラム線図選択手段は、前記指示手段により指示された視差が大きい程、前記複数の視差優先用のプログラム線図からＦ値の小さい視差優先用のプログラム線図を選択し、前記指示手段により指示された視差が小さい程、前記複数の視差優先用のプログラム線図からＦ値の大きい視差優先用のプログラム線図を選択することを特徴としている。

請求項４に示すように請求項１に記載の立体撮像装置において、前記プログラム線図選択手段は、複数の撮影モードから選択された撮影モードに基づいて前記複数の視差優先用のプログラム線図から該撮影モードに対して設定された視差優先用のプログラム線図を選択することを特徴としている。これにより、例えば、マクロモード、人物モード、風景モード等の複数の撮影モードから適宜の撮影モードが選択されると、その選択された撮影モードに適した視差の強度をもった第１、第２の画像を撮影することができる。

請求項５に示すように請求項１から４のいずれかに記載の立体撮像装置において、前記複数の視差優先用のプログラム線図のＦ値は、それぞれ一定であることを特徴としている。これにより、被写体の明るさにかかわらず、Ｆ値を一定（即ち、視差を一定）にすることができる。

請求項６に示すように請求項１から５のいずれかに記載の立体撮像装置において、前記撮像素子における露光時間を制御するシャッタを備え、前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じてシャッタ速度を変更させるシャッタ速度情報を含み、前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記シャッタのシャッタ速度を変化させることを特徴としている。これにより、絞り優先にし、被写体の明るさに対してはシャッタ速度で対応するようにしている。

請求項７に示すように請求項１から６のいずれかに記載の立体撮像装置において、前記撮像素子から出力される第１の画像及び第２の画像に対するゲインを調整する感度調整手段を備え、前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じて撮影感度を変更させる感度情報を含み、前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記感度調整手段を可変にすることを特徴としている。

前記視差優先用のプログラム線図は、前記指示又は設定された視差の強度に対応する絞りのＦ値を優先的に決定するため、被写体の明るさが暗い場合でもＦ値の大きなもの（暗いもの）に決定する場合がある。この場合、シャッタ速度を遅くすることで、適正露出にすることもできるが、シャッタ速度が遅くなりすぎると、手ブレの問題が発生する。そこで、このような場合には、手ブレが発生するようなシャッタ速度に制限し、その分の露出量の不足は、感度を上げることで対応できるようにする。

請求項８に示すように請求項１から７のいずれかに記載の立体撮像装置において、前記単一の撮影光学系はズームレンズであり、前記記憶手段は、前記ズームレンズのズーム倍率に応じた視差優先用のプログラム線図を有し、前記プログラム線図選択手段は、前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に基づいて前記複数の視差優先用のプログラム線図から前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に対応する視差優先用のプログラム線図を選択することを特徴としている。前記ズームレンズのズーム倍率に応じて絞りの使用可能なＦ値に制限があるため、前記ズームレンズのズーム倍率も視差優先用のプログラム線図を選択するためのパラメータの１つにしている。

請求項９に示すように請求項８に記載の立体撮像装置において、前記プログラム線図選択手段は、前記ズームレンズのズーム倍率が大きい場合には、大きいＦ値を有する視差優先用のプログラム線図を選択し、前記ズームレンズのズーム倍率が小さい場合には、小さいＦ値を有する視差優先用のプログラム線図を選択することを特徴としている。

即ち、ズームレンズのズーム倍率が大きくなると、前記第１の画像と第２の画像の視差が大きくなるため、Ｆ値の大きい視差優先プログラム線図を選択し、逆にズーム倍率が小さくなると、第１の画像と第２の画像の視差が小さくなるため、Ｆ値の小さい視差優先プログラム線図を選択し、これによりズーム倍率によらず、前記指示又は設定された視差強度をもつ第１の画像及び第２の画像を取得できるようにしている。

請求項１０に示すように請求項１から９のいずれかに記載の立体撮像装置において、被写体の明るさに応じて絞りのＦ値とシャッタのシャッタ速度とをそれぞれ決定するための他のプログラム線図を記憶する記憶手段と、前記視差優先用のプログラム線図にしたがって撮影条件を決定させる視差優先撮影モードを選択するモード選択手段と、を備え、前記プログラム線図選択手段は、前記モード選択手段により視差優先撮影モードが選択されると、前記他のプログラム線図に代えて前記視差優先用のプログラム線図を選択することを特徴としている。

前記記憶手段には、絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させる他のプログラム線図等が記憶され、前記視差優先撮影モードが選択されていない場合には、上記他のプログラム線図が選択される。尚、前記記憶手段は、前記視差優先用のプログラム線図を記憶する記憶手段と同一のものでもよいし、別のものでもよい。

そして、視差優先撮影モードが選択されると、前記撮影条件決定手段は、絞り優先プログラム線図等の他のプログラム線図の代わりに前記視差優先用のプログラム線図を選択するようにしている。

請求項１１に示すように請求項２又は３に記載の立体撮像装置において、前記指示手段により指示された視差の強度の情報を表示する表示手段を備えたことを特徴としている。これにより、ユーザは、現在どのような視差の強度が指定されているかを認識することができる。

請求項１２に示すように請求項１から１１のいずれかに記載の立体撮像装置において、前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴としている。

これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。

本発明によれば、単一の撮影光学系を有する立体撮像装置において、複数の視差優先用のプログラム線図から予め指示又は設定された視差の強度に対応する視差優先用のプログラム線図を選択して絞りのＦ値を含む撮影条件を決定するようにしたため、被写体の明るさにかかわらず、前記示又は設定された視差の強度をもった左右視点画像を撮影することができる。

本発明に係る立体撮像装置の実施の形態を示すブロック図 位相差ＣＣＤの構成例を示す図 撮影光学系と位相差ＣＣＤの主、副画素の１画素ずつを示した図 図３の要部拡大図 絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図 本発明の実施の形態の立体撮像装置の撮影動作を示すフローチャート 複数の視差優先プログラム線図の一例を示す図 背面に液晶モニタを備えた立体撮像装置の背景図 従来の立体撮像装置の光学系の一例を示す図 立体撮像装置により位相差のある画像が撮像される原理を示す図

以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。

［立体撮像装置の全体構成］
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。

この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜位相差ＣＣＤの構成例＞
図２は位相差ＣＣＤ１６の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素及び副画素には遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

尚、上記構成の位相ＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

尚、図１において、４６は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出回路である（例えば、特開平９−１０１５７９号公報）。また、４７は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、及び絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させるプログラム線図（通常のプログラム線図）の他に、本発明に係る複数の視差優先用のプログラム線図等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。尚、視差優先用のプログラム線図（以下、「視差優先プログラム線図」という）の詳細については後述する。

ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。

ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。

ＣＰＵ４０は、上記プログラム線図にしたがって決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

次に、本発明の実施の形態の立体撮像装置１０の作用について説明する。

図５（Ａ）及び（Ｂ）はそれぞれ絞りのＦ値により主画像と副画像の視差が変動する様子を示すイメージ図であり、図５（Ａ）はＦ値が大きい（暗い）場合に関して示しており、図５（Ｂ）はＦ値が小さい（明るい）場合に関して示している。

図５（Ａ）及び（Ｂ）において、ピントを合わせた位置（ピント位置）の主要被写体（この例では人物）の主画像と副画像の視差（位相差）はいずれも０であるが、その背景の視差は、Ｆ値が暗い程、小さく（図５（Ａ））、Ｆ値が明るい程、大きくなる（図５（Ｂ））。

そこで、本発明では、ユーザから希望の視差が指示されると、その指示に対応する視差優先プログラム線図が選択され、この視差優先プログラム線図にしたがって絞り１４のＦ値（即ち、主画像と副画像の視差量）が制御される。これにより、被写体の明るさ（撮影ＥＶ値）にかかわらずユーザ希望の視差を有する主画像、副画像の撮影を可能にしている。

図６は本発明の実施の形態の立体撮像装置１０の撮影動作を示すフローチャートである。

操作部３８のモードダイヤルにより本発明に係る視差優先撮影モードが選択されると、以下に示す視差優先撮影モードによる撮影が可能になる。

視差優先撮影モードは、通常のプログラム線図の代わりに視差優先プログラム線図を使用して撮影条件を決定し、その決定された撮影条件で露出を制御する撮影モードであり、この視差優先撮影モードでは、事前にユーザが希望する主画像と副画像の視差の強度を操作部３８を使用して入力する。この実施形態では、視差の強度として、弱、標準、強の３つのうちのいずれか１つを指示できるようになっている。

図６において、視差優先撮影モードによる撮影が開始されると、ＣＰＵ４０は、シャッタボタンが半押し（Ｓ１がＯＮ）されたか否かを判別する（ステップＳ１０）。シャッタボタンが半押しされると（「YESの場合」）、ステップＳ１２に遷移する。

ステップＳ１２では、ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、また、ＡＦ処理部４２によりコントラストＡＦ処理又は位相ＡＦ処理を行わせ、撮影光学系１２のフォーカスレンズを移動させてＡＦエリアにピントを合わせる処理を行う。尚、ステップＳ１２でのＡＥ処理では、撮影ＥＶ値を算出するが、絞り１４のＦ値、シャッタ速度、撮影感度（ＩＳＯ感度）の決定は行わない。

続いて、ＣＰＵ４０は、ユーザにより事前に指示された視差の強度情報を取得する（ステップＳ１４）。尚、ユーザによる視差強度の指示がない場合には、標準の指示又は前回の指示を使用する。

ＣＰＵ４０は、予めＲＯＭ４７に記憶されている複数の視差優先プログラム線図のうちからステップＳ１４で取得した視差の強度情報に対応する視差優先プログラム線図を選択する（ステップＳ１６）。

＜視差優先プログラム線図＞
図７は本発明に係る複数の視差優先プログラム線図の一例を示す図である。図７において、Ａ，Ｂ，Ｃは、それぞれ視差弱、視差標準、視差強に対応する視差優先プログラム線図を示している。

視差優先プログラム線図Ａは、Ｆ値が5.6(ＡＶ＝５)の一定の値をとり、撮影ＥＶ値が１１から１６までは撮影ＥＶ値に応じてシャッタ速度のみを1/60秒（ＴＶ＝６）から1/2000（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が１１よりも小さくなると（暗くなると）、Ｆ値＝5.6、シャッタ速度＝1/60秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩＳＯ感度を100から200,400,800,1600,3200になるように設計されている。

尚、シャッタ速度が1/60秒よりも遅くなる場合には、シャッタ速度を1/60秒に固定して感度を上げるようにした理由は、撮影時に手ブレの影響を受けないようにするためである。手ブレ限界のシャッタ速度は、一般に焦点距離（３５ｍｍフィルム換算値）に依存し、１／焦点距離［秒］が規定され、例えば、焦点距離が３５ｍｍフィルム換算で６０ｍｍの場合、1/60秒が手ブレ限界シャッタ速度となる。また、手ブレ補正機能付きの立体撮像装置にした場合には、その手ブレ限界シャッタ速度は更に遅くすることができる。

同様に、視差優先プログラム線図Ｂは、Ｆ値が2.8(ＡＶ＝３)の一定の値をとり、撮影ＥＶ値が９よりも小さくなると、感度を徐々に上げるように設計されており、また、視差優先プログラム線図Ｃは、Ｆ値が1.4(ＡＶ＝１)の一定の値をとり、撮影ＥＶ値が７よりも小さくなると、感度を徐々に上げるように設計されている。

尚、視差優先プログラム線図Ａ、Ｂ又はＣは、Ｆ値を固定しているため、それぞれ撮影ＥＶ値が１６，１４又は１２よりも大きくなると（シャッタ速度が最大値になると）、露出オーバになり撮影できなくなるが、ＮＤフィルタを自動挿入して光量を減光できる構成を立体撮像装置１０に追加すれば、撮影ＥＶ値が１６、１４又は１２よりも大きくなっても撮影可能である。

図６に戻って、ＣＰＵ４０は、図７に示したようにユーザにより指示された視差の強度情報に応じて、視差優先プログラム線図Ａ〜Ｃから対応する視差優先プログラム線図を選択すると（ステップＳ１６）、その選択した視差優先プログラム線図とステップＳ１２で取得した撮影ＥＶ値に基づいて絞り１４のＦ値、シャッタ（電子シャッタ）のシャッタ速度、及びアナログ信号処理部１８又はデジタル信号処理部２４のゲイン・コントロール処理部のゲイン量（感度）の決定を行う。

その後、ＣＰＵ４０は、シャッタボタンが全押し（Ｓ２がＯＮ）されたか否かを判別し（ステップＳ２０）、全押しされていない場合（「NOの場合」）には、ステップＳ２２に遷移し、ここで再度、シャッタボタンが半押し（Ｓ１がＯＮ）されているか否かを判別する。

一方、シャッタボタンが全押し（Ｓ２がＯＮ）されると、ステップＳ１８で決定したＦ値、シャッタ速度、及び感度にしたがって本撮影（本露光）を行う（ステップＳ２４）。この本撮影時に位相差ＣＣＤ１６から読み出された主画像及び副画像は、それぞれデジタル信号処理部２４により画像処理される（ステップＳ２６）。その後、主画像及び副画像の２枚の画像は、それぞれ圧縮伸長処理部２６に圧縮処理されたのちＭＰファイルに格納され、メモリカード５４に記録される（ステップＳ２８）。

上記のようにユーザから希望の視差が指示されると、その指示に対応する視差優先プログラム線図が選択され、この視差優先プログラム線図にしたがって撮影条件が決定され、ユーザ希望の視差が得られるように絞りのＦ値を固定するようにしたため、所望の視差を有する主画像、副画像の撮影を行うことができる。

＜変形例１＞
図８（Ａ）及び（Ｂ）に示すようにユーザにより指定された視差の強度を立体撮像装置１０の背面の液晶モニタ３０に表示させる。これにより、ユーザは、現在どのような視差強度が指定されているかを把握することができる。

また、ユーザにより指定された視差の強度に応じて視差優先プログラム線図（絞りのＦ値）が選択されるため、シャッタボタンを半押しする前にＦ値も決定することができ、このＦ値も同時に表示するようにしてもよい。

更に、シャッタボタンを半押しする前に３Ｄのライブビュー画像を液晶モニタ３０に表示させ、このライブビュー画像を見ながら構図を決定することができるが、このライブビュー画像（動画）を撮影する際の絞り１４のＦ値は、上記決定されたＦ値とすることが好ましい。これによれば、ライブビュー画像から本撮影時の静止画の視差の強度を把握することができる。

＜変形例２＞
図１に示した撮影光学系１２はズームレンズであるため、高級なズームレンズを除いて、通常ズーム位置（ワイド端、テレ端）により絞り１４の使用可能なＦ値に制限がある。例えば、ズームレンズの種類にもよるが、ワイド端の場合には、最も明るいＦ値としてＦ1.4を使用できても、テレ端の場合には、最も明るい絞り値としてＦ2.8やＦ4.0に制限される。

そこで、視差優先プログラム線図がワイド端に対応するものとすると、テレ端に対応する視差優先プログラム線図、又は各ズーム段毎に対応する視差優先プログラム線図を用意し、撮影時のズームレンズのズーム位置（ズーム倍率）とユーザ指定の視差の強度に基づいて対応する視差優先プログラム線図を選択するようにする。即ち、ズームレンズのズーム倍率に応じて主画像と副画像の視差が変化するため、ズーム倍率が大きい場合には、Ｆ値の大きい視差優先プログラム線図を選択し、ズーム倍率が小さくなると、Ｆ値の小さい視差優先プログラム線図を選択し、これによりズーム倍率によらず、ユーザ指定の視差強度にすることができる視差優先プログラム線図を選択するようにしている。

例えば、図７に示したＦ1.4、Ｆ2.8、Ｆ5.6のＦ値一定の３つの視差優先プログラム線図がワイド端に対応するものとした場合、テレ端の視差優先プログラム線図としては、Ｆ2.8、Ｆ5.6、Ｆ11のＦ値一定の３つの視差優先プログラム線図とすることができる。

尚、立体撮像装置１０では、撮影光学系１２のズーム倍率が高くなると、主画像と副画像の視差が大きくなるため、最も明るいＦ値がＦ2.8の場合であっても視差の強度は、ワイド端で使用されるＦ1.4と同様の視差（視差強）になる。

＜変形例３＞
上記の実施形態では、視差優先撮影モードが設定されると、ユーザが希望する主画像と副画像の視差の強度を操作部３８を介して指示できるようにしたが、これに限らず、現在の撮影モードに応じて視差の強度を自動的に設定できるようにしてもよい。

例えば、視差優先撮影モード時に更に手動設定又は自動設定が選択できるようにし、自動設定時が選択されている場合には、現在の撮影モード（モードダイヤルにより選択された人物、風景、夜景等のシーンポジション毎の撮影モード、マクロモード、又は本撮影前の画像の解析により得られるシーンなど）に応じて、主画像と副画像の視差の強度をその撮影モードに対応する視差の強度に自動的に設定する。

具体的には、撮影モードが人物モード又は風景モードの場合には、視差の強度を強く設定する撮影モードと判定し、絞りのＦ値の小さい視差優先プログラム線図を選択し、一方、マクロモードの場合には、視差の強度を弱く設定する撮影モードと判定し、絞りのＦ値の大きな視差優先プログラム線図を選択し、それ以外の撮影モードの場合には、視差の強度が標準の視線優先プログラム線図を選択する。

即ち、撮影モードが人物モードの場合は、視差の強度を強めにすることで人物の立体感を強調し、風景モードの場合、被写体距離が遠方にあることが多いため、視差の強度を強めにして立体感を出すようにしている。また、マクロモードによるマクロ撮影の場合、被写体距離が近いため、視差が大きくなりがちな被写体が多くなるため、視差の強度を弱めにするようにしている。

尚、撮影モードの種類及びその撮影モードにより設定される視差の強度は、上記の例に限定されない。

［その他］
この実施の形態の立体撮像装置１０は、１つの位相差ＣＣＤ１６を使用しているため、図９に示す２つの撮像素子７、８を使用するものに比べて、装置の小型化を図ることができるが、本発明は、１つの撮像素子を使用するものに限らず、図９に示した従来の光学系及び撮像素子を有するものにも適用できる。

また、撮像素子は、この実施の形態のＣＣＤセンサに限らず、ＣＭＯＳセンサ等の撮像素子でもよい。

また、図７に示した視差優先プログラム線図は一例であり、本発明はこの視差優先プログラム線図に限定されず、また、視差優先プログラム線図の数や視差の強度の液晶モニタへの表示方法も本実施形態には限定されず、種々の形態が考えられる。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…撮像素子（位相差ＣＣＤ）、３０…液晶モニタ、３２…ＣＣＤ制御部、３４…絞り駆動部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部、４６…顔検出回路、４７…ＲＯＭ

Claims (12)

1. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記撮像素子に入射する光束を制限する絞りと、
   前記撮像素子から出力される第１の画像と第２の画像との視差量を変化させることが可能な複数の視差優先用のプログラム線図を記憶する記憶手段と、
   被写体の明るさを測光する測光手段と、
   前記第１の画像と第２の画像との視差の強度を指示又は設定する情報に基づいて前記複数の視差優先用のプログラム線図から対応する視差優先用のプログラム線図を選択するプログラム線図選択手段と、
   前記プログラム線図選択手段により選択された視差優先用のプログラム線図と前記測光手段により測光された被写体の明るさに基づいて前記絞りのＦ値を含む撮影条件を決定する撮影条件決定手段と、
   前記決定された撮影条件に基づいて露出制御を行う露出制御手段と、
   を備えたことを特徴とする立体撮像装置。
2. 前記撮像素子から出力される第１の画像と第２の画像の視差の強度をユーザの入力により指示する指示手段を備え、
   前記プログラム線図選択手段は、前記指示手段により指示された視差の強度の情報に基づいて前記複数の視差優先用のプログラム線図から前記指示された視差の強度に対応する視差優先用のプログラム線図を選択することを特徴とする請求項１に記載の立体撮像装置。
3. 前記プログラム線図選択手段は、前記指示手段により指示された視差が大きい程、前記複数の視差優先用のプログラム線図からＦ値の小さい視差優先用のプログラム線図を選択し、前記指示手段により指示された視差が小さい程、前記複数の視差優先用のプログラム線図からＦ値の大きい視差優先用のプログラム線図を選択することを特徴とする請求項２に記載の立体撮像装置。
4. 前記プログラム線図選択手段は、複数の撮影モードから選択された撮影モードに基づいて前記複数の視差優先用のプログラム線図から該撮影モードに対して設定された視差優先用のプログラム線図を選択することを特徴とする請求項１に記載の立体撮像装置。
5. 前記複数の視差優先用のプログラム線図のＦ値は、それぞれ一定であることを特徴とする請求項１から４のいずれかに記載の立体撮像装置。
6. 前記撮像素子における露光時間を制御するシャッタを備え、
   前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じてシャッタ速度を変更させるシャッタ速度情報を含み、
   前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記シャッタのシャッタ速度を変化させることを特徴とする請求項１から５のいずれかに記載の立体撮像装置。
7. 前記撮像素子から出力される第１の画像及び第２の画像に対するゲインを調整する感度調整手段を備え、
   前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じて撮影感度を変更させる感度情報を含み、
   前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記感度調整手段を可変にすることを特徴とする請求項１から６のいずれかに記載の立体撮像装置。
8. 前記単一の撮影光学系はズームレンズであり、
   前記記憶手段は、前記ズームレンズのズーム倍率に応じた視差優先用のプログラム線図を有し、
   前記プログラム線図選択手段は、前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に基づいて前記複数の視差優先用のプログラム線図から前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に対応する視差優先用のプログラム線図を選択することを特徴とする請求項１から７のいずれかに記載の立体撮像装置。
9. 前記プログラム線図選択手段は、前記ズームレンズのズーム倍率が大きい場合には、大きいＦ値を有する視差優先用のプログラム線図を選択し、前記ズームレンズのズーム倍率が小さい場合には、小さいＦ値を有する視差優先用のプログラム線図を選択することを特徴とする請求項８に記載の立体撮像装置。
10. 被写体の明るさに応じて絞りのＦ値とシャッタのシャッタ速度とをそれぞれ決定するための他のプログラム線図を記憶する記憶手段と、
    前記視差優先用のプログラム線図にしたがって撮影条件を決定させる視差優先撮影モードを選択するモード選択手段と、を備え、
    前記プログラム線図選択手段は、前記モード選択手段により視差優先撮影モードが選択されると、前記他のプログラム線図に代えて前記視差優先用のプログラム線図を選択することを特徴とする請求項１から９のいずれかに記載の立体撮像装置。
11. 前記指示手段により指示された視差の強度の情報を表示する表示手段を備えたことを特徴とする請求項２又は３に記載の立体撮像装置。
12. 前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴とする請求項１から１１のいずれかに記載の立体撮像装置。

Images