JP6347581B2 - 焦点検出装置およびその制御方法 - Google Patents

Description

本発明は、焦点検出装置およびその制御方法に関する。

カメラ等の撮像装置に搭載されるオートフォーカス（ＡＦ）方式の一つとして、位相差検出方式（以下、位相差ＡＦという）がある。位相差ＡＦでは、撮影レンズの射出瞳を通過した光束を二分割し、二分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量（以下、像ずれ量という）を検出することで撮影レンズのピント方向のずれ量（以下、デフォーカス量という）を求める。

特許文献１は、撮像素子の画素の光電変換部を二分割して瞳分割機能を付与し、二分割された光電変換部の出力を個別に処理することで焦点検出を行うとともに、二分割された光電変換部の合算出力を撮像信号として用いる焦点検出装置を開示している。また、特許文献２は、顔検出の結果に基づいて位相差検出方式のＡＦを行うとともに、撮影するシーン毎の顔の検出状態に応じて焦点検出領域を選択するカメラを開示している。

特開２００１−３０５４１５号公報 特開２００７−２８６２５５号公報

特許文献１が開示する焦点検出装置は、焦点検出を行うエリア（焦点検出領域）を撮像画角中のどの位置に設定するかについて考慮していない。撮像素子の画素の光電変換部を二分割する構成では、任意に焦点検出領域を設けることができるため、被写体に適した焦点検出領域の設定が必要である。また、特許文献２が開示するカメラは、被写体として顔が検出されている時、検出される顔が小さい時や、撮像画角中央にない時などには、顔や目の位置に焦点検出領域がない場合があり、位相差ＡＦの結果を用いた焦点調節処理を実行できない。

本発明は、複数個に分割した光電変換部を有する撮像素子を用いて、主被写体の位置、大きさに応じた適切な焦点検出を行う焦点検出装置およびその制御方法の提供を目的とする。

本発明の一実施形態の焦点検出装置は、一つのマイクロレンズに対して複数の光電変換素子を有し、当該マイクロレンズが２次元状に配置された撮像素子であって、画像信号を出力する撮像素子と、撮影画角内の主被写体領域を検出する検出手段と、焦点検出に用いる画像信号を取得する焦点検出領域を設定する設定手段と、前記焦点検出領域の画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御手段とを備え、前記焦点検出領域は、前記２像の像ずれ量を算出する際の像のシフト量分の範囲である探索領域と、前記主被写体領域の位置と大きさに基づいて設定される基準領域とを含み、前記主被写体領域の大きさが予め決められた大きさよりも大きい場合、前記探索領域は、前記予め決められた大きさ以下の場合よりも大きく、前記基準領域は、前記予め決められた大きさ以下の場合よりも前記主被写体領域の大きさに対する比率が小さい。

本発明の一実施形態の焦点検出装置によれば、複数個に分割した光電変換部を有する撮像素子を用いて、主被写体の位置、大きさに応じた適切な焦点検出を行うことができる。

本実施例の撮像装置の構成例を示す図である。 撮像装置の動作例を説明するフローチャートである。 撮像素子の構成例を説明する図である。 撮像素子から見た場合の、撮影レンズの瞳を示す図である。 Ａ像信号およびＢ像信号を説明する図である。 相関演算を説明する図である。 像ずれ量からデフォーカス量への変換処理の例を説明する図である。 焦点検出領域を説明する図である。 実施例１の焦点検出領域の設定処理を説明するフローチャートである。 本実施例における焦点検出処理を説明するフローチャートである。 本実施例の焦点制御処理を説明するフローチャートである。 焦点検出領域を説明する図である。 実施例２における焦点検出領域の設定処理を説明する図である。

本実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
（実施例１）
図１は、本実施例の撮像装置の構成例を示す図である。撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、メインＣＰＵ１５１（中央演算処理装置）により制御される。

撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置を搭載している。すなわち、この撮像素子は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する第１、第２の光電変換部を有する画素部を備える。なお、本実施例の焦点検出装置は、撮像光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な撮像光学系とを備えて構成された撮像システムに適用される。ただし、本実施例は、これに限定されるものではなく、撮像光学系が一体的に設けられた撮像装置にも適用可能である。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。

ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカスレンズ１３１は、焦点調節用レンズである。フォーカスレンズ１３１は、図１では単レンズで簡略的に示されているが、通常複数のレンズで構成される。これらの光学部材（撮影レンズ１０１）を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。

撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子のそれぞれに、後述のように二つの光電変換素子（受光領域）が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。

位相差ＡＦ処理部１３５は、二つの光電変換素子（第１の光電変換素子、第２の光電変換素子）から個別に出力された画像信号（信号値）を用い、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。つまり、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する算出手段である。また、位相差ＡＦ処理部１３５は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出するデフォーカス量算出手段である。なお、本発明の適用範囲は、撮像素子が備える光電変換素子が二つである場合に限定されない。本発明は、撮像素子が、２以上の任意の個数の光電変換素子を備える場合に適用可能である。

デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。なお、像ずれ量算出手段、デフォーカス量算出手段の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。また、位相差ＡＦ処理部１３５に送られる画像信号の領域は、メインＣＰＵ１５１によって決定される。

位相差ＡＦ処理部１３５は、算出されたずれ量（デフォーカス量）をフォーカス制御部１３３へ出力する。フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。本実施例の焦点検出装置は、上述したメインＣＰＵ１５１、撮像素子１４１、撮像信号処理部１４２、位相差ＡＦ処理部１３５によって実現される。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ（Random Access Memory）１５４に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。この処理と並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。

画像処理部１５２は、第１の光電変換素子および第２の光電変換素子の加算信号を用いて得られた画像信号を処理する。画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。したがって、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。また、メインＣＰＵ１５１は、一時的にＲＡＭ１５４に蓄積された画像データを参照し、撮影画角内の主被写体を検出する検出手段として機能する。メインＣＰＵ１５１は、例えば、公知の顔認識技術を用いて、顔領域を主被写体として検出する。

操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用いられる。操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

図２は、撮像装置の動作例を説明するフローチャートである。図２の各ステップは、メインＣＰＵ１５１の指示に基づいて行われる。
まず、撮像装置１００の電源がＯＮにされると、メインＣＰＵ１５１が演算（制御）を開始する（ステップＳ２０１）。続いて、撮像装置１００のフラグや制御変数などを初期化する（ステップＳ２０２）。そして、メインＣＰＵ１５１は、フォーカスレンズ１３１などの光学部材（撮像光学部材）を初期位置に移動させる（ステップＳ２０３）。

次に、メインＣＰＵ１５１は、操作者により電源ＯＦＦ操作が行われたか否か（電源ＯＦＦ操作の有無）を判断する（ステップＳ２０４）。電源ＯＦＦ操作が行われた場合は、処理がステップＳ２０５に進む。電源ＯＦＦ操作が行われていない場合は、所定がステップＳ２０７に進む。ステップＳ２０５において、メインＣＰＵ１５１が、撮像装置１００の電源をＯＦＦにするため、撮像光学部材を初期位置へ移動し、各種フラグや制御変数のクリアなどの後処理を行う（ステップＳ２０５）。そして、撮像装置１００の処理（制御）を終了する（ステップＳ２０６）。

一方、ステップＳ２０７において、メインＣＰＵ１５１が焦点検出処理を行う。続いてフォーカス制御部１３３が、ステップＳ２０７の焦点検出処理にて決定された駆動方向、速度、および、位置でフォーカスレンズ１３１を駆動し、フォーカスレンズ１３１を所望の位置に移動させる（ステップＳ２０８）。

次に、ステップＳ２０９において、撮像素子１４１が被写体像を光電変換する（撮像処理）。また、撮像信号処理部１４２が、光電変換された被写体像に所定の処理（画像処理）を施して画像信号を出力する。

次に、メインＣＰＵ１５１が、操作者により記録ボタン（操作部１５６）の押下がなされたか否かを検出し、記録中であるか否かを判断する（ステップＳ２１０）。記録中でない場合には、処理がステップＳ２０４へ戻る。記録中である場合には、ステップＳ２１１に進む。ステップＳ２１１において、撮像信号処理部１４２から出力された画像信号（画像データ）は、画像圧縮解凍部１５３により圧縮処理され、画像記録媒体１５７に記録される。そして、処理がステップＳ２０４へ戻り、上述の各ステップを繰り返す。

図３は、撮像素子の構成例を説明する図である。
図３を参照して、本実施例における位相差検出方法について説明する。図３（Ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成（断面）を示す。光電変換素子３０は、一画素につき二つの光電変換素子３０−１（第１の光電変換素子）および光電変換素子３０−２（第２の光電変換素子）に分割されており、瞳分割機能を有する。マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換素子３０に効率よく光を集める機能を有し、光電変換素子３０−１、３０−２の境界に光軸が合うように配置されている。また、一つの画素の内部には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。

図３（Ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、図３（Ａ）に示される構成を有する一画素を複数配列することで形成される。また、撮像を行うため、各画素にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。なお、図３（Ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換素子３０−１、３０−２のそれぞれを表す数値である。

図３（Ｃ）は、撮像素子１４１の光学原理図である。図３（Ｃ）には、図３（Ｂ）中のＡ−Ａ線で切断して得られた断面の一部を示す。撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。マイクロレンズ３１の作用により、光電変換素子３０−１、３０−２は、それぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（領域）を通過した一対の光束を受光するように構成されている。光電変換素子３０−１は、主に、撮影レンズ１０１の瞳のうち、図３（Ｃ）中の右側位置を透過する光束を受光する。一方、光電変換素子３０−２は、主に、撮影レンズ１０１の瞳の図３（Ｃ）中の左側位置を透過する光束を受光する。

図４は、撮像素子から見た場合の、撮影レンズの瞳を示す図である。瞳５０は、光電変換素子３０−１の感度領域（Ａ像瞳）５１−１と、光電変換素子３０−２の感度領域（Ｂ像瞳）５１−２とを有する。符号５２−１、５２−２は、それぞれ、Ａ像瞳およびＢ像瞳の重心位置である。

撮像装置１００は、同一画素において同一色のカラーフィルタが配置された二つの光電変換素子の出力を加算することにより、画像信号を生成することが可能である。また、撮像装置は、焦点検出処理を行う場合、一画素ブロック内における光電変換素子３０−１に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、撮像装置１００は、この信号を画素ブロック４０、４１、４２のように横方向に連続して取得することによりＡ像信号を生成することが可能である。

同様に、撮像装置１００は、一画素ブロック内における光電変換素子３０−２に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、撮像装置１００は、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。

図５は、Ａ像信号およびＢ像信号を説明する図である。この例では、Ａ像信号とＢ像信号とをまとめて「像信号」とも記述する。図５において、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。また、図５中のグラフ曲線Ｗ１はＡ像信号、グラフ曲線Ｗ２はＢ像信号をそれぞれ示している。生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。撮影レンズ１０１が合焦状態の場合、二つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向の像ずれ量が生じる。また像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。

図６は、相関演算を説明する図である。
メインＣＰＵ１５１は、焦点検出領域に対応する第１、第２の光電変換部から、それぞれ、第１の像、第２の像を取得する。この例では、第１の像に係る像信号をＡ像信号、第２の像に係る像信号をＢ像信号とする。メインＣＰＵ１５１は、第２の像をシフトさせながら、第１の像と第２の像とを比較する。これにより、メインＣＰＵ１５１は、２像の相関値を算出し、算出された相関値に基づいて、当該２像の像ずれ量を算出する。メインＣＰＵ１５１は、相関値が最大になる位置同士の差を像ずれ量として算出する。したがって、相関演算には、二つの像信号を比較し、相関値を算出するための画素数と、シフト量分の画素数の和の画素数が必要である。以下では、相関値を算出するための画素の範囲を基準範囲と記述する。また、シフト量分の画素の範囲を探索範囲と記述する。

メインＣＰＵ１５１は、算出された像ずれ量に基づいて、撮影レンズ１０１のデフォーカス量を求める。そして、メインＣＰＵ１５１は、求めたデフォーカス量に基づいて、撮影レンズ１０１が合焦状態になるようなレンズ駆動量を算出し、算出したレンズ駆動量にしたがって焦点調節を行う。

図７は、相関演算により算出された像ずれ量からデフォーカス量への変換処理の例を説明する図である。
図７（Ａ）は、撮影レンズ１０１および撮像素子１４１を含む光学系を示す。被写体７０に対する予定結像面の位置ｐ０の光軸ＯＡ上に、焦点検出面の位置ｐ１がある。図７（Ｂ）は、焦点検出面の位置ｐ１での像信号である。像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。

デフォーカス量は、像ずれ量Ｘに所定の係数Ｋ（換算係数）を掛けることにより算出することができる。係数Ｋは、Ａ像瞳とＢ像瞳との重心位置に基づいて算出される。焦点検出面の位置ｐ１が位置ｐ２に移動した場合、位置ｐ０、ｑ２、ｑ３の三角形と位置ｐ０、ｑ２’、ｑ３’との三角形の相似に従って、像ずれ量が変化する。したがって、焦点検出面の位置ｐ２でのデフォーカス量を算出することが可能である。メインＣＰＵ１５１は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ１３１の位置を算出する。

図８は、焦点検出領域を説明する図である。
焦点検出領域は、撮像素子の画素部から焦点検出に用いる画像信号を読み出す対象となる領域である。メインＣＰＵ１５１は、焦点検出領域から読み出された画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御手段として機能する。

図８に示す焦点検出領域８１は、顔認識による検出枠に基づいて設定される。具体的には、メインＣＰＵ１５１が、焦点検出領域を、検出された主被写体（顔）の位置と大きさとに基づいて設定する。これにより、顔が検出されている場合に、撮像画角８０中の顔の位置に対して、焦点検出を行うことが可能となる。

図８（Ａ）は、顔が小さく検出されている場合の焦点検出領域を示す。顔が小さく検出されている場合、被写体となる人物は、撮像装置から離れた位置にいることが想定されるので、確実に顔を捉えるように焦点検出領域を設定する必要がある。したがって、撮像装置は、焦点検出領域８１の中心を、検出された顔の中心位置に合わせ、相関演算における基準領域８２を顔枠と同様の大きさに設定する。

図８（Ｂ）は、顔が大きく検出されている場合の焦点検出領域を示す。顔が大きく検出されている場合、被写体となる人物は、撮像装置の近距離にいることが想定される。また、顔をアップで撮影する場合には、目に焦点を合わせるために、目を捉えるように焦点検出領域を設定する必要がある。したがって、撮像装置は、焦点検出領域８１の中心を、検出された目の位置に合わせ、相関演算における基準領域８２を小さく、探索領域８３を大きく設定する。

なお、撮像装置が、一画素の焦点検出信号を生成する際に、適切な範囲で縦方向にライン加算を行ってもよい。また、基準領域８２、探索領域８３を含む焦点検出領域８１の大きさは、検出された顔の大きさによって可変となるが、上限、下限を設けるようにしてもよい。また、図８（Ａ），（Ｂ）中に示すように、撮像画角８０上において、複数の焦点検出領域を設定し、目あるいは顔に設けた焦点検出領域８１の周囲に、補助となる焦点検出領域８４を設定してもよい。また、本実施例は、右目に対する焦点検出領域の設定の説明を行ったが、左目に対しても同様である。

図９は、実施例１の焦点検出領域の設定処理を説明するフローチャートである。図９の各ステップは、メインＣＰＵ１５１により実行される。
まず、焦点検出領域設定が開始される（ステップＳ９０１）。メインＣＰＵ１５１が、基準領域Ｓｒを２００画素、探索領域Ｓｓを１００画素として、焦点検出領域の大きさの初期値を代入する（ステップＳ９０２）。

次に、メインＣＰＵ１５１が、顔検出処理の結果として、顔の検出位置Ｘｆ、顔の検出大きさＳｆを取得する（ステップＳ９０３）。なお、顔が複数検出されている場合には、顔認識の結果に基づき、主被写体となる顔に対して、位置と大きさを取得するようにする。そして、メインＣＰＵ１５１が、顔の大きさが所定値（閾値）より大きいか否かを判断する（ステップＳ９０４）。

顔の大きさＳｆが所定値より大きい場合、メインＣＰＵ１５１が、目の位置Ｘｅを取得する（ステップＳ９０５）。そして、メインＣＰＵ１５１が、基準領域Ｓｒを１００画素、探索領域Ｓｓを２００画素と設定し直す（ステップＳ９０６）。つまり、メインＣＰＵ１５１は、基準領域の範囲を、上記ステップＳ９０２で設定した範囲の大きさより小さく設定する。また、メインＣＰＵ１５１は、探索領域の範囲を、上記ステップＳ９０２で設定した範囲の大きさより大きく設定する。続いて、焦点検出領域をＸｅ−（Ｓｒ＋Ｓｓ）／２〜Ｘｅ＋（Ｓｒ＋Ｓｓ）／２の範囲に設定し（ステップＳ９０７）、処理を終了する（ステップＳ９１２）。

一方、ステップ９０４の判断処理において、顔の大きさＳｆが所定値より小さい場合、メインＣＰＵ１５１が、基準領域Ｓｒを顔の大きさＳｆとする（ステップＳ９０８）。この例では、メインＣＰＵ１５１は、基準領域Ｓｒを顔の大きさと等しい大きさとするが、メインＣＰＵ１５１は、基準領域Ｓｒを顔の大きさ以上の大きさとしてもよい。続いて、メインＣＰＵ１５１が、基準領域Ｓｒが所定値より大きいか否かを判断する（ステップＳ９０９）。この例では、上記所定値を１００画素とする。

基準領域Ｓｒが１００画素以下である場合には、メインＣＰＵ１５１が、基準領域Ｓｒに１００画素を代入する（ステップＳ９１０）。すなわち、メインＣＰＵ１５１は、基準領域を下限値に設定する。そして、処理がステップＳ９１１に進む。

基準領域Ｓｒが１００画素より大きい場合は、メインＣＰＵ１５１が、焦点検出領域をＸｆ−（Ｓｒ＋Ｓｓ）／２〜Ｘｆ＋（Ｓｒ＋Ｓｓ）／２の範囲に設定する（ステップＳ９１１）。すなわち、メインＣＰＵ１５１は、焦点検出領域の中心を顔の中心の位置に設定する。なお、本実施例中の数値は一例である。

図１０は、本実施例における焦点検出処理を説明するフローチャートである。図１０の各ステップは、メインＣＰＵ１５１、位相差ＡＦ処理部１３５およびフォーカス制御部１３３により実行され、図２中のステップＳ２０７に相当する。

まず、焦点検出が開始される（ステップＳ１００１）。続いて、メインＣＰＵ１５１が、図９を参照して説明した焦点検出領域の設定を行う（ステップＳ１００２）。そして、撮像素子１４１が電荷を蓄積する（ステップＳ１００３）。

次に、メインＣＰＵ１５１が、電荷の蓄積が完了したか否かを判断する（ステップＳ１００４）。撮像素子１４１の電荷蓄積が完了していない場合は、処理がステップＳ１００３に戻る。電荷の蓄積が完了した場合、メインＣＰＵ１５１が、図８に示される焦点検出領域８１について、像信号の画素値読み出しを行う（ステップＳ１００５）。

次に、メインＣＰＵ１５１が、焦点検出領域８１にある所定画素数分の読み出しが完了したか否かを判断する（ステップＳ１００６）。所定画素数分の読み出しが完了していない場合は、処理がステップＳ１００５に戻る。所定画素数分の読み出しが完了した場合は、処理がステップＳ１００７に進む。

次に、フォーカス制御部１３３が、取得した像信号に対して前補正処理を行う（ステップＳ１００７）。前補正処理は、読み出した像信号に対する補正処理と、平均化フィルタ、エッジ強調フィルタなどの像信号のフィルタ処理とを含む。

そして、メインＣＰＵ１５１が、相関演算を行い、相関が最も高くなるシフト量を算出する（ステップＳ１００８）。具体的には、メインＣＰＵ１５１が、焦点検出領域８１内のＡ像信号およびＢ像信号の画素をシフトさせながら相関値を演算し、相関値が最大になる位置同士の差を像ずれ量Ｘとして算出する。相関値を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得してもよい。また、これらの値の差分を取得してもよい。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高いときである。

なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さいときが相関の高いときとなる。相関が最も高くなるシフト量を算出した後、そのシフト量と前後のシフト量での相関値を用いて、補間演算を行い、１シフト以内の補間値を算出する。このシフト量と補間値との和が像ずれ量Ｘとなる。このように、像ずれ量算出手段としてのメインＣＰＵ１５１、フォーカス制御部１３３、または、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する。

次に、メインＣＰＵ１５１が、算出した像ずれ量Ｘの信頼性を評価する（ステップＳ１００９）。信頼性は、像信号のコントラストや二つの像信号の一致度などに基づいて算出される。続いて、メインＣＰＵ１５１が、信頼性が所定の閾値よりも大きいか、つまり信頼性できる像ずれ量Ｘが得られたか否かを判断する（ステップＳ１０１０）。信頼性が閾値よりも大きい場合は、メインＣＰＵ１５１が、ずれ量Ｘに補正後の係数Ｋを掛けることにより（Ｄｅｆ＝Ｋ×Ｘの関係式により）、デフォーカス量Ｄｅｆを算出する（ステップＳ１０１１）。そして、焦点検出処理を終了する。信頼性が閾値以下である場合、つまり信頼性のある像ずれ量を検出できなかった場合は、メインＣＰＵ１５１は焦点検出を行わない。

図１１は、本実施例の焦点制御処理を説明するフローチャートである。
焦点制御方法が開始されると、メインＣＰＵ１５１が、所定の演算を行う。そして、フォーカス制御部１３３が、メインＣＰＵ１５１の指示にしたがって、フォーカスモータ１３２の制御を行う。図１１に示される各ステップは、メインＣＰＵ１５１およびフォーカス制御部１３３により実行され、図２中のステップＳ２０８に相当する。

まず、焦点制御が開始される（ステップＳ１１０１）。続いて、フォーカス制御部１３３が、図１０を参照して説明した焦点検出処理で算出されたデフォーカス量を取得する（ステップＳ１１０２）。そして、フォーカス制御部１３３が、デフォーカス量に基づいて、フォーカスレンズ１３１の駆動量（レンズ駆動量）を算出する（ステップＳ１１０３）。レンズ駆動量の算出には、レンズ駆動方向と速度の算出も含まれる。

次に、メインＣＰＵ１５１が、デフォーカス量の絶対値が所定値以下であるか否かを判断する（ステップＳ１１０４）。デフォーカス量の絶対値が所定値以下ではない場合は、メインＣＰＵ１５１が、フォーカスレンズ１３１の位置は合焦位置（合焦点）でないと判断して、処理がステップＳ１１０５に進む。そして、メインＣＰＵ１５１が、ステップＳ１１０３で算出されたレンズ駆動量に従って、フォーカスレンズ１３１を駆動して（ステップＳ１１０５）、処理が終了する。以後、図２に示されるフローチャートが示す処理に従って、焦点検出とフォーカスレンズ駆動を繰り返す。

一方、デフォーカス量の絶対値が所定値以下である場合は、メインＣＰＵ１５１が、フォーカスレンズ位置は合焦点にあると判断する。そして、メインＣＰＵ１５１が、レンズ駆動を停止し（ステップＳ１１０６）、ステップＳ１１０７に進む。以後、図２に示されるフローチャートが示すに従って焦点検出を行い、デフォーカス量が再び所定値を超えた場合にはフォーカスレンズ１３１を駆動する。

以上のように、本実施例の焦点検出装置を備える撮像装置は、撮像画角に顔が検出されている場合、顔の位置に合わせて焦点検出領域（基準領域、探索領域）を設定する。これにより、主被写体となる顔が撮像画角中のどの位置にいても、焦点検出を行うことが可能となり、主被写体に対して、位相差ＡＦの結果を用いることにより、焦点調節の高速化が可能である。また、顔の大きさに応じて、基準領域、探索領域の大きさを可変とすることにより、顔が小さい場合には、顔を焦点検出領域として、顔が大きい場合には、目を焦点検出領域として撮影状況に応じて適応的に切り替えることが可能である。

（実施例２）
実施例２では、撮像装置が、顔検出枠の位置、大きさおよび検出された顔の目の間隔に基づいて、焦点検出領域を設定する。なお、実施例２において、実施例１と同一の内容については、同一の符号を用いてその説明を省略する。

前述した図９中のステップＳ９０４では、顔の大きさＳｆが所定よりも大きい場合は、右目あるいは左目の位置に焦点検出領域の位置を合わせ、探索領域Ｓｓを大きくとるように設定される。しかし、例えば図１２（Ａ）に示すように、顔の大きさが所定よりも大きい場合でも、検出された顔の大きさによっては、一方の目の焦点検出領域がもう一方の目にかかってしまう場合がある。メインＣＰＵ１５１がこの焦点検出領域に対して相関演算を行うと、相関の対象が右目か左目か分からなくなってしまう。そこで、実施例２では、第１の目に焦点検出領域の中心を設定すると焦点検出領域が第２の目にかかってしまう場合には、メインＣＰＵ１５１が以下の処理を実行する。メインＣＰＵ１５１は、図１２（Ｂ）に示すように、第１、第２の目の双方が焦点検出領域に入るように基準領域８２を再設定するとともに、焦点検出領域の中心を検出された顔に合わせる。

図１３は、実施例２における焦点検出領域の設定処理を説明するフローチャートである。図１３のステップＳ１３０１〜Ｓ１３０４は、図９のステップＳ９０１〜Ｓ９０４とそれぞれ同様である。

顔の大きさＳｆが所定値より大きい場合、ステップＳ１３０５において、メインＣＰＵ１５１が、右目の位置Ｘｅ１および左目の位置Ｘｅ２を取得する（ステップＳ１３０５）。なお、撮像画角８０中、右方をＸの正の方向とし、Ｘｅ２＞Ｘｅ１とする。

次に、メインＣＰＵ１５１が、基準領域Ｓｒを１００画素、探索領域Ｓｓを２００画素に設定し直す（ステップＳ１３０６）。そして、メインＣＰＵ１５１が、右目の位置にあわせた焦点検出領域が左目を含んでいないかを判断する（ステップＳ１３０７）。具体的には、メインＣＰＵ１５１は、Ｘｅ１＋（Ｓｒ＋Ｓｓ）／２＜Ｘｅ2 であるかを判断する。Ｘｅ１＋（Ｓｒ＋Ｓｓ）／２＜Ｘｅ2 である場合は、メインＣＰＵ１５１が、右目の位置あわせた焦点検出領域が左目を含んでいないと判断し、処理がステップＳ１３０８に進む。Ｘｅ１＋（Ｓｒ＋Ｓｓ）／２≧Ｘｅ2 である場合は、メインＣＰＵ１５１が、右目の位置にあわせた焦点検出領域が左目を含んでいると判断し、処理がステップＳ１３０９に進む。

ステップＳ１３０８において、メインＣＰＵ１５１が、焦点検出領域をＸｅ−（Ｓｒ＋Ｓｓ）／２〜Ｘｅ＋（Ｓｒ＋Ｓｓ）／２の範囲に設定し（ステップＳ１３０８）、処理を終了する（ステップＳ１３１５）。

また、ステップＳ１３０９において、メインＣＰＵ１５１が、基準領域Ｓｒを（Ｘｅ２−Ｘｅ１）＋α、探索領域Ｓｓを１５０画素に再設定する（ステップＳ１３０９）。ここで、Ｘｅ２−Ｘｅ１は被写体となる顔の目の間隔を表しており、αは基準領域Ｓｒを目の間隔より少し大きめに設定するためのマージンである。続いて、メインＣＰＵ１５１が、焦点検出領域をＸｆ−（Ｓｒ＋Ｓｓ）／２〜Ｘｆ＋（Ｓｒ＋Ｓｓ）／２の範囲に再設定する（ステップＳ１３１４）。これにより、一方の目に中心を合わせると焦点検出領域がもう一方の目を含んでしまう場合に、目が２つとも入るように基準領域８２を再設定し、焦点検出領域の中心を検出された顔に合わせることが可能となる。

一方、ステップ１３０４において、顔の大きさＳｆが所定値より小さい場合において実行される処理（ステップＳ１３１１〜Ｓ１３１４の処理）は、図９のステップＳ９０８〜Ｓ９１１の処理とそれぞれ同様である。なお、本実施例中の数値は一例である。

この例では、顔検出時に目の位置も検出できるものとして説明を行ったが、これに限定されるものではなく、メインＣＰＵ１５１が、顔の大きさから目の位置を推定してもよい。また、メインＣＰＵ１５１が、得られる像信号から目の位置を推定してもよい。

以上のように、本実施例では、検出された顔の目の間隔に基づいて焦点検出領域を設けることにより、相関演算の際の、相関の対象を明確にすることが可能である。

上記各実施例において、主被写体は顔検出によって検出された顔とし、顔の位置、大きさに基づいて焦点検出領域を設定する方法について説明したが、これに限定されるものではない。例えば、ペットやその他の物体など、認識技術による被写体検出が可能であって、その位置、大きさが検出可能であれば、本発明は適用可能である。

上記各実施例によれば、二分割された光電変換部を用いて撮像および焦点検出が可能な焦点検出装置において、撮像画角に顔が検出されている場合、顔の位置、大きさ、あるいは目の間隔に合わせて焦点検出領域を設定する。これにより、主被写体となる顔が撮像画角中のどの位置にいても、焦点検出を行うことが可能となる。このため上記各実施例によれば、主被写体に対して焦点検出することが可能な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 撮影レンズ
１３５ 位相差ＡＦ処理部
１５１ ＣＰＵ

Claims (9)

1. 一つのマイクロレンズに対して複数の光電変換素子を有し、当該マイクロレンズが２次元状に配置された撮像素子であって、画像信号を出力する撮像素子と、
   撮影画角内の主被写体領域を検出する検出手段と、
   焦点検出に用いる画像信号を取得する焦点検出領域を設定する設定手段と、
   前記焦点検出領域の画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御手段とを備え、
   前記焦点検出領域は、前記２像の像ずれ量を算出する際の像のシフト量分の範囲である探索領域と、前記主被写体領域の位置と大きさに基づいて設定される基準領域とを含み、
   前記主被写体領域の大きさが予め決められた大きさよりも大きい場合、前記探索領域は、前記予め決められた大きさ以下の場合よりも大きく、前記基準領域は、前記予め決められた大きさ以下の場合よりも前記主被写体領域の大きさに対する比率が小さいことを特徴とする焦点検出装置。
2. 前記制御手段は、前記撮像素子の第１、第２の光電変換部からの出力信号に基づいて、それぞれ、第１の像、第２の像を取得し、前記第２の像をシフトさせながら、前記第１の像と前記第２の像とを比較することで、前記２像の相関値を算出し、算出された相関値に基づいて、当該２像の像ずれ量を算出することを特徴とする請求項１に記載の焦点検出装置。
3. 前記検出手段は、前記主被写体領域として顔領域を検出することを特徴とする請求項１または２に記載の焦点検出装置。
4. 前記設定手段は、前記検出された顔領域が予め決められた閾値より大きい場合には、前記焦点検出領域の中心を前記顔領域に含まれる目の位置に設定し、前記検出された顔領域が前記閾値より大きくない場合には、前記焦点検出領域の中心を前記顔領域の中心の位置に設定することを特徴とする請求項３に記載の焦点検出装置。
5. 前記設定手段は、前記検出された顔領域が閾値より大きくない場合には、前記焦点検出領域に含まれる前記基準領域の範囲を、前記顔領域の大きさ以上の大きさに設定することを特徴とする請求項３または４に記載の焦点検出装置。
6. 前記設定手段は、前記焦点検出領域の中心を第１の目の位置に設定すると当該焦点検出領域が第２の目を含む場合には、前記焦点検出領域の中心を前記顔領域の中心の位置に再設定するとともに、当該再設定される焦点検出領域に含まれる基準領域が前記第１、第２の目を含むように当該基準領域を再設定することを特徴とする請求項３乃至５のいずれか１項に記載の焦点検出装置。
7. 撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出用信号を出力することが可能な複数の画素を有する撮像素子と、
   撮影画角内の主被写体領域を検出する検出手段と、
   焦点検出に用いる画像信号を取得する焦点検出領域を設定する設定手段と、
   前記焦点検出領域の画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御手段とを備え、
   前記焦点検出領域は、前記２像の像ずれ量を算出する際の像のシフト量分の範囲である探索領域と、前記主被写体領域の位置と大きさに基づいて設定される基準領域とを含み、
   前記主被写体領域の大きさが予め決められた大きさよりも大きい場合、前記探索領域は、前記予め決められた大きさ以下の場合よりも大きく、前記基準領域は、前記予め決められた大きさ以下の場合よりも前記主被写体領域の大きさに対する比率が小さいことを特徴とする焦点検出装置。
8. 一つのマイクロレンズに対して複数の光電変換素子を有し、当該マイクロレンズが２次元状に配置された撮像素子であって、画像信号を出力する撮像素子を備えた焦点検出装置の制御方法であって、
   撮影画角内の主被写体領域を検出する検出工程と、
   焦点検出に用いる画像信号を取得する焦点検出領域を設定する設定工程と、
   前記焦点検出領域の画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御工程とを備え、
   前記焦点検出領域は、前記２像の像ずれ量を算出する際の像のシフト量分の範囲である探索領域と、前記主被写体領域の位置と大きさに基づいて設定される基準領域とを含み、
   前記主被写体領域の大きさが予め決められた大きさよりも大きい場合、前記探索領域は、前記予め決められた大きさ以下の場合よりも大きく、前記基準領域は、前記予め決められた大きさ以下の場合よりも前記主被写体領域の大きさに対する比率が小さいことを特徴とする焦点検出装置の制御方法。
9. 撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出用信号を出力することが可能な複数の画素を有する撮像素子を備えた焦点検出装置の制御方法であって、
   撮影画角内の主被写体領域を検出する検出工程と、
   焦点検出に用いる画像信号を取得する焦点検出領域を設定する設定工程と、
   前記焦点検出領域の画像信号により得られる２像の像ずれ量に基づいて、焦点検出処理を実行する制御工程とを備え、
   前記焦点検出領域は、前記２像の像ずれ量を算出する際の像のシフト量分の範囲である探索領域と、前記主被写体領域の位置と大きさに基づいて設定される基準領域とを含み、
   前記主被写体領域の大きさが予め決められた大きさよりも大きい場合、前記探索領域は、前記予め決められた大きさ以下の場合よりも大きく、前記基準領域は、前記予め決められた大きさ以下の場合よりも前記主被写体領域の大きさに対する比率が小さいことを特徴とする焦点検出装置の制御方法。

Images