JP5421829B2

JP5421829B2 - 撮像装置

Info

Publication number: JP5421829B2
Application number: JP2010062871A
Authority: JP
Inventors: 貴嗣青木
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-18
Filing date: 2010-03-18
Publication date: 2014-02-19
Anticipated expiration: 2030-03-18
Also published as: US20140368619A1; US20110228053A1; JP2011197277A; US8854528B2; US9258545B2

Description

本発明は立体撮像装置に係り、特に撮影光学系の予め定められた方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。

従来、この種の立体撮像装置として、図１５に示す光学系を有するもの知られている（特許文献１）。

この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１６（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１６では、フォーカスによる分離の違いを比較するために、図１５に示したミラー４を省略している。

図１６（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１６（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。

また、特許文献２には、上記と同様に左右方向に瞳分割された被写体像に対応する左視点画像及び右視点画像を取得し、撮影画面のほぼ全エリアについて焦点検出（デフォーカス量の検出）を行うことができる撮像装置が記載されている。

特表２００９−５２７００７号公報特開２００９−１６８９９５号公報

特許文献２に記載の発明によれば、撮影画面のいずれのエリアをＡＦエリアに設定しても、そのＡＦエリア内の左視点画像及び右視点画像の位相差からデフォーカス量を求めることができ、位相差検出方法による自動焦点調節（位相差ＡＦ）を行うことができ、特に位相差ＡＦは、フォーカスレンズを移動させずに合焦位置（デフォーカス量）が分かるため、フォーカスレンズを移動させながら画像のコントラストを検出し、そのコントラストが最大になるようにフォーカスレンズ位置を制御するコントラストＡＦに比べて高速であるという利点がある。また、従来の立体撮像装置では、もともと位相差ＡＦ用の画像（左視点画像及び右視点画像）が得られるため、コントラストＡＦを行うものはなかった。

しかしながら、位相差ＡＦはそれぞれの画像の位相差から焦点検出を行うため、画像中にノイズ、ゴースト、スミアなどが含まれている場合には、合焦精度が低下するという問題がある。

また、左右方向に瞳分割された被写体像に対応する左視点画像と右視点画像とは、画角周辺において、コントラスト、シェーディング量、ピント位置等が異なるため、位相差ＡＦは、画角周辺をＡＦエリアとして設定した場合には合焦精度が低下するという問題がある。

本発明の目的は、立体撮像装置にコントラストＡＦを適用して位相差ＡＦによる不具合を解消するとともに、コントラストＡＦによる処理時間の短縮化及び合焦精度の向上を図ることができる立体撮像装置を提供することにある。

本発明の他の目的は、立体撮像装置にコントラストＡＦと位相差ＡＦとを併用し、最適なＡＦ方式を使い分けることでＡＦ処理の高速化及び合焦精度の向上を図ることができる立体撮像装置を提供することにある。

前記目的を達成するために請求項１に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像及び第２の画像のうちのいずれの画像をコントラストＡＦ用の画像として使用するかを選択するＡＦ用画像選択手段と、前記ＡＦ用画像選択手段により選択された画像を使用し、該画像内の所定のＡＦエリアの画像のコントラストが最大になるように前記撮影光学系のレンズ位置を制御するコントラストＡＦ制御手段と、を備えたことを特徴としている。

請求項１に係る発明によれば、撮影光学系の予め定められた方向の瞳分割された被写体像を示す第１の画像及び第２の画像（左右視点画像）を取得する立体撮像装置において、コントラストＡＦを行うことにより、ＡＦエリア中の画像に含まれるノイズ等の影響を受けにくいＡＦ制御が可能となり、合焦精度の向上を図ることができる。また、前記ＡＦ用画像選択手段により前記第１の画像及び第２の画像のうちのいずれか一方の画像をコントラストＡＦ用の画像として選択し、その選択した画像を使用してコントラストＡＦを行うようにしたため、画像の読み出し時間等を含むコントラストＡＦによる処理時間を短縮化することができる。

請求項２に示すように請求項１に記載の立体撮像装置において、前記ＡＦ用画像選択手段には、前記撮影光学系の予め定められた方向の第１、第２の領域のうち収差がより小さい方の領域を通過する被写体像に対応する画像を選択するための情報が、予め撮影光学系に応じて設定されていることを特徴としている。通常、撮影光学系の予め定められた方向の瞳位置におけるレンズの収差（性能）には差があるため、予め収差の小さい方の画像を選択するための情報を前記ＡＦ用画像選択手段に設定しておき、この情報を用いてコントラストＡＦ用の画像を選択するようにしている。

請求項３に示すように請求項１に記載の立体撮像装置において、主要被写体が存在する画角内の位置を検出する検出手段と、前記検出された主要被写体の画角内の位置に基づいて前記所定のＡＦエリアを決定するＡＦエリア決定手段と、を備えたことを特徴としている。前記主要被写体の画角内の位置を検出する検出手段としては、前記撮像素子から得られる前記第１の画像及び第２の画像のうちの少なくとも一方の画像を画像解析して主要被写体（例えば、人物の顔等）を検出する公知の顔検出手段や、撮影者の視線を検出する公知の視線入力手段などが考えられる。

請求項４に示すように請求項１に記載の立体撮像装置において、撮影画角内のうちの任意のエリアを前記所定のＡＦエリアとして決定するＡＦエリア決定手段を備えたことを特徴としている。前記ＡＦエリア決定手段としては、前記撮像素子から得られる画像を表示するモニタ上でターゲットマークを任意の位置に移動させてＡＦエリアを決定する手段や、前記モニタ上のタッチパネルにおけるタッチ位置により決定する手段が考えられる。

請求項５に示すように請求項３又は４に記載の立体撮像装置において、前記撮像素子による全撮影範囲のうちの左右方向に区分された第１のエリアと第２のエリアとを設定するエリア設定手段を備え、前記ＡＦ用画像選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアの位置が、前記エリア設定手段により設定された第１のエリア及び第２のエリアのいずれのエリアに属するかに応じてコントラストＡＦ用の画像を選択することを特徴としている。

画角周辺では、第１の画像と第２の画像とでコントラストが異なったり、ピント位置が異なる場合があり、どちらの画像がＡＦ用に適しているかが分かるため、決定されたＡＦエリアが、左右方向のいずれの画角に属するかに応じてコントラストＡＦ用の画像を選択する。

請求項６に示すように請求項３又は４に記載の立体撮像装置において、前記ＡＦ用画像選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアの第１の画像及び第２の画像のうちの露光量の大きい方の画像をコントラストＡＦ用の画像として選択することを特徴としている。これは、露光量が大きい画像の方がコントラストも大きくなり、コントラストＡＦ時の合焦精度が高くなるからである。

請求項７に示すように請求項３から６のいずれかに記載の立体撮像装置において、前記決定されたＡＦエリアの被写体輝度を検出する検出手段を備え、前記検出した被写体輝度が所定の閾値以上の場合には、前記ＡＦエリアの第１の画像及び第２の画像のいずれか一方の画像をコントラストＡＦ用の画像として使用し、前記検出した被写体輝度が所定の閾値未満の場合には、前記ＡＦエリアの第１の画像と第２の画像とを混合した画像をコントラストＡＦ用の画像として使用することを特徴としている。前記決定されたＡＦエリアの被写体輝度が低い場合（暗い場合）、両画像を混合した画像をコントラストＡＦ用の画像として使用するようにしている。

請求項８に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像及び第２の画像をそれぞれ使用し、各画像内の所定のＡＦエリアの画像のコントラストが最大になる前記撮影光学系内のフォーカスレンズの第１のレンズ位置及び第２のレンズ位置を求め、該第１のレンズ位置及び第２のレンズ位置の中間位置に前記撮影光学系内のフォーカスレンズを移動させるコントラストＡＦ制御手段と、を備えたことを特徴としている。

請求項８に係る発明によれば、ＡＦエリア内の第１の画像及び第２の画像に基づいてそれぞれ求めた第１のレンズ位置及び第２のレンズ位置の中間位置に撮影光学系内のフォーカスレンズを移動させるようにしたため、第１の画像及び第２の画像に対する合焦精度を均等にすること（片ボケを防止すること）ができ、良好な左右視点画像（立体視画像）を得ることができる。

請求項９に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像及び第２の画像をそれぞれ使用し、各画像内の所定のＡＦエリアの画像のコントラストが最大になる前記撮影光学系内のフォーカスレンズの第１のレンズ位置及び第２のレンズ位置を求め、該第１のレンズ位置及び第２のレンズ位置に順次前記フォーカスレンズを移動させるコントラストＡＦ制御手段と、前記第１及び第２のレンズ位置に前記撮影光学系内のフォーカスレンズが移動する毎に撮影を実施する撮影制御手段と、を備えたことを特徴としている。

請求項９に係る発明によれば、ＡＦエリア内の第１の画像及び第２の画像に基づいてそれぞれ求めた第１のレンズ位置及び第２のレンズ位置に撮影光学系内のフォーカスレンズを移動させて撮影するようにしたため、それぞれ合焦精度の高い第１の画像及び第２の画像を取得することができる。

請求項１０に示すように請求項９に記載の立体撮像装置において、前記コントラストＡＦ制御手段は、前記撮影光学系内のフォーカスレンズを至近側から無限遠側又は無限遠側から至近側にサーチ動作させて前記第１のレンズ位置及び第２のレンズ位置を求め、前記撮影制御手段による各撮影動作時に前記第１のレンズ位置及び第２のレンズ位置のうちの前記サーチ動作後の撮影光学系内のフォーカスレンズのレンズ位置から前記第１のレンズ位置又は第２のレンズ位置の近い方のレンズ位置から順番に前記撮影光学系内のフォーカスレンズを移動させることを特徴としている。

これによれば、前記第１、第２のレンズ位置を求めるためのコントラストＡＦから各レンズ位置でそれぞれ撮影を行うまでの撮影光学系内のフォーカスレンズの移動に無駄がなく、撮影動作を円滑に行うことができる。

請求項１１に示すように請求項８から１０のいずれかに記載の立体撮像装置において、前記コントラストＡＦ制御手段は、前記フォーカスレンズの第１のレンズ位置及び第２のレンズ位置のうちのいずれか一方のみを検出した場合には、その検出したレンズ位置のみに前記撮影光学系内のフォーカスレンズを移動させることを特徴としている。

請求項１２に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像及び第２の画像のうちの少なくとも一方の画像をコントラストＡＦ用の画像として使用し、該画像内の所定のＡＦエリアの画像のコントラストが最大になるように前記撮影光学系内のフォーカスレンズのレンズ位置を制御するコントラストＡＦ制御手段と、前記第１の画像及び第２の画像内の所定のＡＦエリアの各画像に基づいて前記撮影光学系のデフォーカス量を算出するデフォーカス量算出手段と、前記デフォーカス量算出手段により算出されたデフォーカス量が０になるように前記撮影光学系内のフォーカスレンズのレンズ位置を制御する位相差ＡＦ制御手段と、前記コントラストＡＦ制御手段によるＡＦ制御方法及び前記位相差ＡＦ制御手段によるＡＦ制御方法のうちのいずれのＡＦ制御方法を使用するかを選択するＡＦ制御方法選択手段と、を備えたことを特徴としている。

請求項１２に係る発明によれば、コントラストＡＦと位相差ＡＦとを立体撮像装置に併用することができ、最適なＡＦ方式を使い分けることでＡＦ処理の高速化や合焦精度の向上を図ることができる。

請求項１３に示すように請求項１２に記載の立体撮像装置において、主要被写体の画角内の位置を検出する検出手段と、前記検出された主要被写体の画角内の位置に基づいて前記所定のＡＦエリアを決定するＡＦエリア決定手段と、を備えたことを特徴としている。

請求項１４に示すように請求項１２に記載の立体撮像装置において、撮影画角内のうちの任意のエリアを前記所定のＡＦエリアとして決定するＡＦエリア決定手段を備えたことを特徴としている。

請求項１５に示すように請求項１３又は１４に記載の立体撮像装置において、前記ＡＦ制御方法選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアが撮影画角内の中央エリアの場合には前記位相差ＡＦ制御手段によるＡＦ制御方法を選択し、前記撮影画角内の周辺エリアの場合には前記コントラストＡＦ制御手段によるＡＦ制御方法を選択することを特徴としている。

このように位相差ＡＦとコントラストＡＦとを使い分けることにより、ＡＦ処理の高速化を図ることができるとともに、画角周辺での合焦精度の低下を防止することができる。

請求項１６に示すように請求項１３又は１４に記載の立体撮像装置において、前記ＡＦ制御方法選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアの被写体輝度が所定の輝度以上の場合には前記位相差ＡＦ制御手段によるＡＦ制御方法を選択し、前記所定の輝度未満の場合には前記コントラストＡＦ制御手段によるＡＦ制御方法を選択することを特徴としている。

このように位相差ＡＦとコントラストＡＦとを使い分けることにより、ＡＦ処理の高速化を図ることができるとともに、低輝度被写体に含まれるノイズ等の影響を受けにくいＡＦ制御を行うことができる。

請求項１７に示すように請求項１２から１４のいずれかに記載の立体撮像装置において、前記デフォーカス量算出手段は、前記第１の画像及び第２の画像内の所定のＡＦエリアの各画像の相互相関の最大値が得られる各画像の位相差に基づいてデフォーカス量を算出し、前記ＡＦ制御方法選択手段は、前記最大値が得られる相互相関が高い場合には位相差ＡＦ制御手段によるＡＦ制御方法を選択し、前記最大値が得られる相互相関が低い場合には前記コントラストＡＦ制御手段によるＡＦ制御方法を選択することを特徴としている。

このように位相差ＡＦとコントラストＡＦとを使い分けることにより、ＡＦ処理の高速化を図ることができるとともに、相互相関が低いシーンでの合焦精度の向上を図ることができる。

請求項１８に示すように請求項１３又は１４に記載の立体撮像装置において、前記ＡＦ制御方法選択手段は、前記決定したＡＦエリア内の前記第１の画像と第２の画像の露光量の差を検出し、検出した露光量の差が小さい場合には前記位相差ＡＦ制御手段によるＡＦ制御方法を選択し、前記検出した露光量の差が大きい場合には前記コントラストＡＦ制御手段によるＡＦ制御方法を選択することを特徴としている。

このように位相差ＡＦとコントラストＡＦとを使い分けることにより、ＡＦ処理の高速化を図ることができるとともに、ゴースト等の影響を受けにくいＡＦ制御を行うことができる。

請求項１９に示すように請求項１から１８のいずれかに記載の立体撮像装置において、前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴としている。

これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。

本発明によれば、立体撮像装置にコントラストＡＦを適用するようにしたため、一般の立体撮像装置に適用されている位相差ＡＦによる不具合を解消することができ、また、立体撮像装置にコントラストＡＦと位相差ＡＦとを併用し、撮影時の状況に合わせて両者を使い分けるようにしたため、ＡＦ処理の高速化と合焦精度の向上を図ることができる。

本発明に係る立体撮像装置の実施の形態を示すブロック図位相差ＣＣＤの構成例を示す図撮影光学系と位相差ＣＣＤの主、副画素の１画素ずつを示した図図３の要部拡大図位相差ＣＣＤの主、副画素から得られる点像とレンズの収差との関係を示す図本発明の第２の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第３の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第４の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第５の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第６の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第７の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第８の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第９の実施形態の立体撮像装置のＡＦ動作を示すフローチャート本発明の第１０の実施形態の立体撮像装置のＡＦ動作を示すフローチャート従来の立体撮像装置の光学系の一例を示す図立体撮像装置により位相差のある画像が撮像される原理を示す図

以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。

［撮像装置の全体構成］
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。

この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜位相差ＣＣＤの構成例＞
図２は位相差ＣＣＤ１６の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素及び副画素には遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

尚、上記構成の位相ＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

［第１の実施形態］
本発明の第１の実施形態の立体撮像装置１０は、人物等の主要被写体のフォーカスポイントを探してＡＦを行う機能を備えている。この種の機能としては、顔検出モードを選択することにより、顔検出回路４６（図１）により撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリアとして自動的に顔にピントを合わせる機能や、視線入力モードを選択することにより撮影者の視線方向を検出することによりフォーカスポイントを決定し、そのフォーカスポイントにピントを合わせる公知の機能を適用することができる（特開平９−１０１５７９号公報、特開２００４−７１５８号公報等）。

また、立体撮像装置１０は、撮影画角内のうちの任意のエリアをＡＦエリアとして任意に指定できる機能も備えている。例えば、液晶モニタ３０をタッチパネル付きモニタとし、タッチパネル上の任意のタッチ位置をＡＦエリアとして指定する機能や、モニタ上で所望の位置にターゲットマーク等を移動させてＡＦエリアを指定する機能である。

図１に示したＡＦ処理部４２は、第１の実施形態では、コントラストＡＦ処理を行う部分として機能する。即ち、ＡＦ処理部４２は、顔検出モード等により自動的に決定されたＡＦエリア、又はタッチパネル等を使用して手動で決定されたＡＦエリアにおける主画素の画像データ、又は副画素の画像データの高周波成分をハイパスフィルタやバンドバスフィルタにより抽出し、この抽出した高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出し、このＡＦ評価値をＣＰＵ４０に出力する。

ＣＰＵ４０は、シャッタボタンが半押しされると、コントラストＡＦ制御を行う。即ち、レンズ駆動部３６を介して撮影光学系１２内の図示しないフォーカスレンズを至近側から無限遠側にサーチ動作させ、各レンズ位置毎にＡＦ処理部４２により算出されたＡＦ評価値を取得する。これらの取得したＡＦ評価値からＡＦ評価値が最大になるレンズ位置を求め、この求めたレンズ位置にフォーカスレンズを移動させる。

次に、上記コントラストＡＦ時に、主画素、副画素の画像データのうちのいずれの画像データを使用するかについて説明する。

図５（Ｂ−１）から（Ｂ−３）は、それぞれ撮影光学系の収差の一例を示すグラフであり、横軸が瞳位置、縦軸が収差を示している。

撮影光学系には、球面収差、色収差、コマ収差、非点収差、像面湾曲等の収差がある。立体撮像装置１０では、左右方向に瞳分割された被写体像（撮影光学系の左右方向の異なる領域を通過する被写体像）から主画素、副画素の画像データを取得するため、撮影光学系の左右方向の収差が主画素、副画素の画像データの画質に影響する。

図５（Ａ−１）から（Ａ−３）は、それぞれ図５（Ｂ−１）から（Ｂ−３）に示す撮影光学系を有する立体撮像装置から主画素、副画素の点像の一例を示している。

図５（Ａ−３）に示すように、図５（Ｂ−３）のような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや傾きに収差が影響していないが、図５（Ｂ−１）のような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや広がり（ＰＳＦ）に収差が大きく影響する。

即ち、撮影光学系の左右方向の異なる領域を通過する被写体像のうち収差の小さい方の領域を通過する被写体像から得られる画像データをコントラストＡＦに使用した方が、合焦精度を高くすることができる。

そこで、第１の実施形態では、製品出荷前に撮影光学系１２の収差を検査し、主画素、副画素の画像データのうちのいずれの画像データをコントラストＡＦに使用すべきかを判断し、その判断結果（撮影光学系１２の左右方向の各領域のうち収差がより小さい方の領域を通過する被写体像に対応する画像を選択するための情報）を装置内の不揮発性メモリ（図示せず）に書き込んでおく。

ＣＰＵ４０は、コントラストＡＦ時に上記不揮発性メモリに書き込まれた情報に基づいて主画素、副画素のうちのいずれか一方の画像データのみを位相差ＣＣＤ１６から読み出し、コントラストＡＦに使用する。

前述したように位相差ＣＣＤ１６からは主画素、副画素の画像データを独立して読み出すことができるが、第１の実施形態の立体撮像装置１０によれば、コントラストＡＦ時に主画素、副画素の画像データのうちのいずれか一方の画像データのみを読み出すことにより画像データの読み出し時間等を含むコントラストＡＦによる処理時間を短縮化することができるとともに、予め収差の小さい方の画像データを選択して読み出すため、コントラストＡＦの合焦精度を高くすることができる。

［第２の実施形態］
図６（Ａ）は本発明の第２の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。

ＣＰＵ４０は、シャッタボタンが半押しされると、ＡＦ動作を開始する（ステップＳ１０）。

ＣＰＵ４０は、ＡＦ動作開始時にＡＦエリアを決定する（ステップＳ１２）。ＡＦエリアの決定は、前述したように撮影画角内の主要被写体の位置等に応じて自動的に決定され、又は手動で設定される。

続いて、決定されたＡＦエリアが、主画素の画像を使用してコントラストＡＦを行うエリア（主画素ＡＦエリア）内か、又は副画素の画像を使用してコントラストＡＦを行うエリア（副画素ＡＦエリア）内かを判別する（ステップＳ１４）。

ここで、主画素ＡＦエリア及び副画素ＡＦエリアは、図６（Ｂ）に示すように予め決定されている。

図６（Ｂ）には、位相差ＣＣＤ全体を８×１０に分割した８０個のＡＦエリアが示されており、第２の実施形態では図６（Ｂ）上で、左半分のエリアが主画素ＡＦエリアとして決定され、右半分のエリアが副画素ＡＦエリアとして決定されている。撮影画角の周辺エリアでは、主、副画像でコントラスト、輝度等が異なり、予めどちら側が悪いかが分かるため、上記のように予め主画素ＡＦエリアと副画素ＡＦエリアを決定しておく。

決定されたＡＦエリアが主画素ＡＦエリアに属する場合（「YESの場合」）には、ＡＦエリア内の主画素の画像を使用してコントラストＡＦを開始する（ステップＳ１６）。

即ち、ＣＰＵ４０は、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズを至近側から無限遠側にサーチ動作させ、各レンズ位置毎にＡＦ処理部４２により、ＡＦエリア内の主画素の画像に基づいて算出されたＡＦ評価値を取得する。これらの取得したＡＦ評価値からＡＦ評価値の最大値と、その最大値となるレンズ位置を求める。

前記求めたＡＦ評価値の最大値が所定の閾値を越えているか否か（合焦ＯＫか否か）を判別し、合焦ＯＫの場合（「YESの場合」）には、評価値が最大値となるレンズ位置（合焦位置）にフォーカスレンズを移動させ、ＡＦ動作を終了させる（ステップＳ２０、Ｓ２２）。

一方、ステップＳ１８で合焦ＮＧと判別されると（「YESの場合」）、コントラストＡＦによる合焦制御は行われず、例えば、フォーカスレンズを合焦ＮＧの場合のデフォルトのレンズ位置に移動させ（ステップＳ２４）、その後、ＡＦ動作を終了させる（ステップＳ２２）。

また、ステップＳ１４において、決定されたＡＦエリアが主画素ＡＦエリア内に存在しないと判別されると（「NOの場合」）、ＡＦエリア内の副画素の画像を使用してコントラストＡＦを開始する（ステップＳ２６）。

続いて、上記と同様にして合焦ＯＫか否かを判別し（ステップＳ２８）、その判別結果に応じてステップＳ２０又はステップＳ２４に遷移させる。

尚、この第１の実施形態では、合焦ＮＧの場合には、直ちにフォーカスレンズをデフォルトのレンズ位置に移動させてＡＦ動作を終了させるようにしたが、これに限らず、主画素の画像を使用したコントラストＡＦが合焦ＮＧの場合には、副画素の画像を使用したコントラストＡＦを実行し、逆に副画素の画像を使用したコントラストＡＦが合焦ＮＧの場合には、主画素の画像を使用したコントラストＡＦを実行し、両方とも合焦ＮＧの場合のみフォーカスレンズをデフォルトのレンズ位置に移動させてＡＦ動作を終了させるようにしてもよい。

［第３の実施形態］
図７は本発明の第３の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図６に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すように第３の実施形態は、図６に示したステップＳ１４の代わりに、ステップＳ３０の処理を行っている点で相違する。

即ち、ステップＳ３０では、ステップＳ１０で決定されたＡＦエリア内の主画素の露光量と副画素の露光量を求め、露光量の大きい方の画素の画像をコントラストＡＦ用の画像として選択する。従って、主画素の露光量が副画素の露光量よりも大きい場合（「YESの場合」）には、ステップＳ１６に遷移し、逆に副画素の露光量が主画素の露光量よりも大きい場合（「NOの場合」）には、ステップＳ２６に遷移する。

このように露光量が大きい画素側の画像をコントラストＡＦ用の画像として使用する理由は、露光量が大きい画素側の画像（即ち、明るい画像）は、コントラストがより明瞭な画像であり、コントラストＡＦに適しているからである。

尚、ＡＦエリア内の主画素の露光量は、ＡＦエリア内の主画素から読み出された画像信号（例えば、Ｇ信号）を積算し、その積算値から求めることができ、ＡＦエリア内の副画素の露光量も同様に求めることができる。

［第４の実施形態］
図８は本発明の第４の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図６に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図８に示すように第４の実施形態は、図６に示したステップＳ１４、Ｓ１６、Ｓ２６の代わりに、ステップＳ４０、Ｓ４２、Ｓ４４の処理を行っている点で相違する。

ステップＳ４０では、ステップＳ１０で決定されたＡＦエリア内の被写体輝度を測定し、その被写体輝度が所定の閾値Ａ以上か否かを判別している。そして、被写体輝度が所定の閾値Ａ以上の場合（「YESの場合」）には、ステップＳ４２に遷移し、閾値Ａ未満の場合（「NOの場合」）には、ステップＳ４４に遷移する。

ステップＳ４２では、第１から第３の実施形態と同様に主画素又は副画素のいずれか一方の画像のみを使用してコントラストＡＦを行う。一方、ステップＳ４４では、主画素の画像及び副画素の画像を混合（加算）し、その混合した画像を使用してコントラストＡＦを行う。

尚、主画素と副画素の画像の加算は、画像データを加算してもよいし、位相差ＣＣＤ１６からの奇数ライン及び偶数ラインの電荷の読み出し時に画素混合することにより行うようにしてもよい。また、所定の閾値Ａは、主画素又は副画素の画像のみではコントラストＡＦによる合焦精度が低くなる明るさを基準にして設定される。

［第５の実施形態］
図９は本発明の第５の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図６に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図９において、ステップＳ５０では、ステップＳ１０で決定したＡＦエリア内の主画素の画像、及び副画素の画像をそれぞれコントラストＡＦの画像として使用し、コントラストＡＦを開始する。

そして、主画素の画像から算出されるＡＦ評価値、及び副画素の画像から算出されるＡＦ評価値に基づいて主画素、副画素のいずれの画像を使用してもコントラストＡＦを良好に行うことができるか否かを判別する（ステップＳ５２）。

いずれの画像を使用しても合焦可能な場合（「YESの場合」）には、主画素の画像から算出されるＡＦ評価値に基づいて該ＡＦ評価値が最大値になるレンズ位置（第１の合焦位置）と、副画素の画像から算出されるＡＦ評価値に基づいて該ＡＦ評価値が最大値になるレンズ位置（第２の合焦位置）とを算出し、これらの第１、第２の合焦位置の中心位置にフォーカスレンズを移動させる（ステップＳ５４）。

これにより主画像及び副画像に対する合焦精度を均等にする（片ボケを防止する）ことができる。

一方、ステップＳ５２において、主、副画像の両者によるＡＦ制御ができない場合（「NOの場合」）には、主画素の画像のみでコントラストＡＦを行うことができるか否かを判別する（ステップＳ５６）。そして、主画素の画像に基づいてコントラストＡＦを行うことができる場合（「Yesの場合」）には、主画素の画像から算出される第１の合焦位置にフォーカスレンズを移動させる（ステップＳ５８）。

また、主画素の画像に基づいてコントラストＡＦを行うことができない場合（「NOの場合」）には、副画素の画像に基づいてコントラストＡＦを行うことができるか否かを判別する（ステップＳ６０）。

そして、副画素の画像に基づいてコントラストＡＦを行うことができる場合（「Yesの場合」）には、副画素の画像から算出される第２の合焦位置にフォーカスレンズを移動させる（ステップＳ６２）。副画素の画像に基づいてコントラストＡＦを行うことができない場合（「NOの場合」）には、ステップＳ２４に遷移させる。

［第６の実施形態］
図１０は本発明の第６の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図９に示した第５の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示すように第６の実施形態は、図９に示したステップＳ５４の代わりに、ステップＳ７０の処理を行っている点で相違する。

即ち、ステップＳ７０では、主画素、副画素の画像から算出した第１の合焦位置、第２の合焦位置にそれぞれフォーカスレンズを移動させる。

前述したようにコントラストＡＦ時には、フォーカスレンズを至近側から無限遠側にサーチ動作させ、このサーチ動作の各レンズ位置で取得したＡＦ評価値に基づいて前記第１の合焦位置及び第２の合焦位置を求めるが、これらの第１、第２の合焦位置のうち、サーチ動作後の現在のフォーカスレンズに近い側の合焦位置から順番にフォーカスレンズを移動させる。尚、前記サーチ動作は、フォーカスレンズを無限遠側から至近側に移動させるようにしてもよい。

そして、上記のようにして順次フォーカスレンズを合焦位置に移動させてＡＦ動作が終了すると、それぞれの合焦位置で撮影を行うようにしている。これによれば、前記第１、第２の合焦位置を求めるためのコントラストＡＦから各合焦位置でそれぞれ撮影を行うまでのフォーカスレンズの移動に無駄がなく、撮影動作を円滑に行うことができる。

［第７の実施形態］
図１１（Ａ）は本発明の第７の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図２に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第７の実施形態の立体撮像装置１０のＡＦ処理部４２（図１参照）は、前述したようにコントラストＡＦ処理を行う部分として機能するとともに、位相差ＡＦ処理を行う部分としても機能する。

即ち、位相差ＡＦ処理を行う部分として機能するＡＦ処理部４２は、ＡＦエリアにおける主画素の画像データと、副画素の画像データとの相互相関を求める。例えば、主画素の画像データと副画素の画像データの各画素毎に差分を求め、その差分の絶対値を加算する。この場合、加算結果が大きいほど主画素の画像データと副画素の画像データの相関が小さく、加算結果が小さいほど主画素の画像データと副画素の画像データの相関が大きくなる。

そして、主画素の画像データと副画素の画像データとを１画素ずつ左右方向にずらしながら上記のようにして相関を求め、相関が最大になる画素ずらし量（位相差）を求める。ＡＦ処理部４２は上記のようにして求めた画素ずらし量（位相差）を示す情報をＣＰＵ４０に出力する。

ＣＰＵ４０は、位相差ＡＦを行う場合には、ＡＦ処理部４２から入力するＡＦエリア内の主画素、副画素の画像の位相差を示す情報に基づいてデフォーカス量を求め、このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御する。

図１１（Ａ）において、ステップＳ７０では、ステップＳ１２で決定されたＡＦエリアが、位相差ＡＦによりＡＦ制御するエリア（位相差ＡＦエリア）内か、又はコントラストＡＦによりＡＦ制御するエリア（コントラストＡＦエリア）内かを判別する。

ここで、位相差ＡＦエリア及びコントラストＡＦエリアは、図１１（Ｂ）に示すように予め決定されている。

図１１（Ｂ）には、位相差ＣＣＤ全体を８×１０に分割した８０個のＡＦエリアが示されており、第７の実施形態では図１１（Ｂ）上で、３×３の中央エリアが位相差ＡＦエリアとして決定され、他のエリア（周辺エリア）がコントラストＡＦエリアとして決定されている。

上記のように位相差ＡＦエリアとコントラストＡＦエリアを決定した理由は、撮影画角の周辺エリアは、主、副画像でコントラスト、輝度等が異なるため、この周辺エリアに位相差ＡＦを適用すると、合焦精度が低下するからであり、一方、中央エリアでは位相差ＡＦによる高速なＡＦ制御を行うためである。

ステップＳ７０において、ＡＦエリアが位相差ＡＦエリア内と判別されると（「YESの場合」）、位相差ＡＦを開始する（ステップＳ７２）。即ち、前述したようにＡＦエリア内の主画素の画像と副画素の画像の相関が最大になる画素ずらし量（位相差）を求め、この位相差を示す情報に基づいてデフォーカス量を求める。

続いて、前記求めた主画素の画像と副画素の画像の相関の最大が所定の閾値以上か否か（合焦ＯＫか否か）を判別する（ステップＳ１８’）。主画素の画像と副画素の画像の相関の最大が所定の閾値以上の場合（「YESの場合」）には、ステップＳ７２で求めたデフォーカス量だけ現在のフォーカスレンズを移動させ、ＡＦ動作を終了させる（ステップＳ２０’、Ｓ２２）。

一方、ステップＳ７０において、決定されたＡＦエリアがコントラストＡＦエリア内と判別されると（「NOの場合」）、ＡＦエリア内の主画素、又は副画素の画像を使用してコントラストＡＦを開始する（ステップＳ７６）。

前記求めたＡＦ評価値の最大値が所定の閾値を越えているか否か（合焦ＯＫか否か）を判別し、合焦ＯＫの場合（「YESの場合」）には、評価値が最大値となるレンズ位置（合焦位置）にフォーカスレンズを移動させ、ＡＦ動作を終了させる（ステップＳ２０’、Ｓ２２）。

尚、第７の実施形態では、ステップＳ１８’、Ｓ２８で合焦ＮＧと判別された場合には、直ちにステップＳ２４に遷移するようにしたが、他のＡＦ方式に切り替えて、再度合焦ＯＫか否かを判別し、いずれのＡＦ方式でも合焦ＮＧの場合のみステップＳ２４に遷移させるようにしてもよい。

［第８の実施形態］
図１２は本発明の第８の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図１１（Ａ）に示した第７の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示すように第８の実施形態は、図１１（Ａ）に示したステップＳ７０の代わりに、ステップＳ７８の処理を行っている点で相違する。

即ち、ステップＳ７８では、ステップＳ１０で決定されたＡＦエリア内の被写体輝度を測定し、その被写体輝度が所定の閾値Ｂ以上か否かを判別している。そして、被写体輝度が所定の閾値Ｂ以上の場合（「YESの場合」）には、ステップＳ７２に遷移し、閾値Ｂ未満の場合（「NOの場合」）には、ステップＳ７６に遷移する。

このようにＡＦエリアの被写体輝度により位相差ＡＦとコントラストＡＦとを使い分けるようにした理由は、位相差ＡＦはコントラストＡＦよりも暗い画像に対して合焦精度が低いのに比べて、コントラストＡＦは低輝度被写体に含まれるノイズ等の影響を受けにくいからである。尚、上記所定の閾値Ｂは、図８のステップＳ４０における閾値Ａよりも高い値である。

［第９の実施形態］
図１３は本発明の第９の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図１１（Ａ）に示した第７の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１３に示すように第９の実施形態は、図１１（Ａ）に示したステップＳ７０の代わりに、ステップＳ８０、Ｓ８２等の処理を行っている点で相違する。

即ち、ステップＳ７８では、ステップＳ１０でＡＦエリアが決定されると、直ちに位相差ＡＦの処理を開始する。その後、位相差ＡＦの演算結果に信頼性があるか否かを判別する（ステップＳ８２）。上記位相差ＡＦの演算結果に信頼性は、主画素の画像と副画素の画像の相関の最大値や相関の変化パターンにより判別できる。

そして、位相差ＡＦの演算結果に信頼性があると判別されると（「YESの場合」）、ステップＳ２０’に遷移し、信頼性がないと判別されると（「NOの場合」）、ステップＳ７６に遷移する。

［第１０の実施形態］
図１４は本発明の第１０の実施形態の立体撮像装置１０のＡＦ動作を示すフローチャートである。尚、図１１（Ａ）に示した第７の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１４に示すように第１０の実施形態は、図１１（Ａ）に示したステップＳ７０の代わりに、ステップＳ９０の処理を行っている点で相違する。

即ち、ステップＳ９０では、ステップＳ１０で決定されたＡＦエリア内の主画素の露光量と副画素の露光量を求め、これらの露光量の差を求め、露光量の差が所定の基準値（例えば、０．５ＥＶ）以下か否かを判別する。そして、露光量の差が所定の基準値以下の場合（「YESの場合」）には、ステップＳ７２に遷移し、露光量の差が所定の基準値を越える場合（「NOの場合」）には、ステップＳ７６に遷移する。

このように露光量の差が所定の基準値を越える場合に、コントラストＡＦによるＡＦ方式を選択させるようにした理由は、ゴーストなどの異常光が位相差ＣＣＤ１６に入射した場合、その異常光は、通常、主画素又は副画素のいずれか一方に入射するため、位相差ＡＦの信頼性を低下させるからである。

［その他］
上記の実施形態の立体撮像装置１０は、１つの位相差ＣＣＤ１６を使用しているため、図１５に示す２つの撮像素子７、８を使用するものに比べて、装置の小型化を図ることができるが、本発明は、１つの撮像素子を使用するものに限らず、図１５に示した従来の光学系及び撮像素子を有するものにも適用できる。

また、撮像素子は、この実施の形態のＣＣＤセンサに限らず、ＣＭＯＳセンサ等の撮像素子でもよい。

また、上記の実施形態では、左右方向に瞳分割された被写体像を示す主画像、副画像を得るようにしたが、瞳分割される被写体像の数は２つに限定されず、また、瞳分割する方向も左右方向に限らず、上下左右方向に瞳分割するようにしてもよい。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…撮像素子（位相差ＣＣＤ）、３０…液晶モニタ、３２…ＣＣＤ制御部、３４…絞り駆動部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部

Claims

単一の撮影光学系と、
前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
前記撮像素子による全撮影範囲内から所定のＡＦエリアを決定するＡＦエリア決定手段と、
前記ＡＦエリア決定手段により決定された所定のＡＦエリアに基づいて、前記第１の画像及び第２の画像のうちのいずれの画像をコントラストＡＦ用の画像として使用するかを選択するＡＦ用画像選択手段と、
前記ＡＦ用画像選択手段により選択された画像を使用し、該画像内の前記所定のＡＦエリアの画像のコントラストが最大になるように前記撮影光学系のレンズ位置を制御するコントラストＡＦ制御手段と、
を備えたことを特徴とする撮像装置。
前記ＡＦ用画像選択手段には、前記撮影光学系の予め定められた方向の第１、第２の領域のうち収差がより小さい方の領域を通過する被写体像に対応する画像を選択するための情報が、予め撮影光学系に応じて設定されていることを特徴とする請求項１に記載の撮像装置。
主要被写体が存在する画角内の位置を検出する検出手段を備え、
前記ＡＦエリア決定手段は、前記検出された主要被写体の画角内の位置に基づいて前記所定のＡＦエリアを決定することを特徴とする請求項１に記載の撮像装置。
前記ＡＦエリア決定手段は、撮影画角内のうちの任意のエリアを前記所定のＡＦエリアとして決定することを特徴とする請求項１に記載の撮像装置。
前記撮像素子による全撮影範囲のうちの左右方向に区分された第１のエリアと第２のエリアとを設定するエリア設定手段を備え、
前記ＡＦ用画像選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアの位置が、前記エリア設定手段により設定された第１のエリア及び第２のエリアのいずれのエリアに属するかに応じてコントラストＡＦ用の画像を選択することを特徴とする請求項３又は４に記載の撮像装置。
前記ＡＦ用画像選択手段は、前記ＡＦエリア決定手段により決定されたＡＦエリアの第１の画像及び第２の画像のうちの露光量の大きい方の画像をコントラストＡＦ用の画像として選択することを特徴とする請求項３又は４に記載の撮像装置。
前記決定されたＡＦエリアの被写体輝度を検出する検出手段を備え、
前記検出した被写体輝度が所定の閾値以上の場合には、前記ＡＦエリアの第１の画像及び第２の画像のいずれか一方の画像をコントラストＡＦ用の画像として使用し、前記検出した被写体輝度が所定の閾値未満の場合には、前記ＡＦエリアの第１の画像と第２の画像とを混合した画像をコントラストＡＦ用の画像として使用することを特徴とする請求項３から６のいずれかに記載の撮像装置。
前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子であることを特徴とする請求項１から７のいずれかに記載の撮像装置。