JP6639326B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、位相差検出方式の焦点検出を行う撮像装置に関する。

従来から、撮像素子からの焦点検出信号を用いて位相差検出方式（撮像面位相差方式）の焦点検出を行う撮像装置が知られている。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行う。これらの分割された光電変換部（焦点検出画素）で受光したそれぞれの焦点検出信号に基づいて像ずれ量を算出し、位相差検出方式の焦点検出を行うことができる。特許文献２には、分割された光電変換部で受光したそれぞれの焦点検出信号を加算することにより撮像画像を生成する撮像装置が開示されている。

特許文献３には、複数の撮像画素の配列の一部に部分的に配置された一対の焦点検出画素を有する撮像装置が開示されている。一対の焦点検出画素は、開口部を有する遮光層により、撮影レンズの射出瞳の互いに異なる領域を受光するように構成され、瞳分割を行う。一対の焦点検出画素の焦点検出信号から像ずれ量を算出し、位相差検出方式の焦点検出を行うことができる。撮像面位相差方式の焦点検出によれば、撮像素子の焦点検出画素によりデフォーカス方向およびデフォーカス量を同時に検出することができ、高速なフォーカス制御が可能となる。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２０００−１５６８２３号公報

しかしながら、撮像面位相差方式では、焦点検出を行うための焦点検出信号の空間周波数帯域と、撮像画像を生成するための撮像信号の空間周波数帯域とが互いに異なる場合がある。この場合、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間に差が生じ、高精度な焦点検出を行うことが難しい。

そこで本発明は、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する生成手段と、前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する算出手段とを有し、前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、前記生成手段は、前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である。

本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群を有する撮像素子と、前記第１画素群および前記第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する生成手段と、前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する算出手段とを有し、前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、前記生成手段は、前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である。

本発明の他の側面としての制御方法は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成するステップと、前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出するステップとを有し、前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、前記第１焦点検出信号および前記第２焦点検出信号を生成するステップにおいて、前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である。

本発明の他の側面としてのプログラムは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成するステップと、前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出するステップと、をコンピュータに実行させるプログラムであって、前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、前記第１焦点検出信号および前記第２焦点検出信号を生成するステップにおいて、前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 実施例１、２における画素配列を示す図である。 実施例１、２における画素構造を示す図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例におけるデフォーカス量と像ずれ量と関係図である。 各実施例における第１焦点検出処理を示すフローチャートである。 各実施例における第１画素加算処理の説明図である。 各実施例における第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングの説明図である。 各実施例におけるフィルタ周波数帯域の説明図である。 各実施例における第２焦点検出処理を示すフローチャートである。 実施例１における第２画素加算処理の説明図である。 各実施例におけるフォーカス制御を示すフローチャートである。 実施例２における第２画素加算処理の説明図である。 実施例３における画素配列を示す図である。 実施例３における画素構造を示す図である。 各実施例におけるフォーカス制御を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、本実施例における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施例は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。なお、通信インターフェイス回路は、ＵＳＢや有線ＬＡＮなどのケーブルを用いた通信のみならず、無線ＬＡＮなどの無線技術を用いた通信を行うことが可能である。

ＣＰＵ１２１は、生成手段１２１ａ、算出手段１２１ｂ、フォーカス制御手段１２１ｃを有する。生成手段１２１ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部（第１画素群および第２画素群）からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する。算出手段１２１ｂは、第１焦点検出信号および第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する。フォーカス制御手段１２１ｃは、デフォーカス量に基づいてフォーカス制御を行う。なお生成手段１２１ａは、複数の種類の色信号に基づいて、視点画像（視差画像）を生成することもできる。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の垂直および水平走査などの撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。なお、Ａ/Ｄ変換回路は、撮像素子１０７内に設けるようにしてもよい。画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。また、操作部１３２にタッチパネルなどを含ませ、タッチパネルを用いて操作可能にしてもよい。

次に、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２（２つの焦点検出画素）により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１（第１焦点検出画素）および副画素２０２（第２焦点検出画素）により構成されている。副画素２０１は、結像光学系の第１瞳部分領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳部分領域を通過した光束を受光する画素である。複数の副画素２０１は第１画素群を構成し、複数の副画素２０２は第２画素群を構成する。

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦３７２５行＝約４１５０万画素である。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。このように撮像素子１０７は、１つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが２次元状に配列されている。光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。

画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、Ｇ（緑）のカラーフィルタ３０６が設けられる。同様に、画素２００Ｒ、２００Ｂ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、Ｒ（赤）およびＢ（青）のカラーフィルタ３０６がそれぞれ設けられる。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇ（２００Ｒ、２００Ｂ）に入射した光は、マイクロレンズ３０５により集光され、Ｇのカラーフィルタ３０６（Ｒ、Ｂのカラーフィルタ３０６）で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、撮像素子駆動回路１２４による走査制御に基づいて、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、副画素２０１（第１焦点検出画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、副画素２０２（第２焦点検出画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。

本実施例において、撮像素子１０７は、結像光学系（撮影レンズ）の第１瞳部分領域を通過する光束を受光する第１色の第１焦点検出画素、および、第１瞳部分領域を通過する光束を受光する第２色の第１焦点検出画素を有する。また撮像素子１０７は、結像光学系の第１瞳部分領域と異なる第２瞳部分領域を通過する光束を受光する第１色の第２焦点検出画素、および、第２瞳部分領域を通過する光束を受光する第２色の第２焦点検出画素を有する。また撮像素子１０７は、結像光学系の第１瞳部分領域と第２瞳部分領域とを合わせた瞳領域を通過する光束を受光する撮像画素が複数配列されている。本実施例において、各撮像画素（画素２００）は、第１焦点検出画素（副画素２０１）および第２焦点検出画素（副画素２０２）から構成されている。必要に応じて、撮像画素、第１焦点検出画素、および、第２焦点検出画素をそれぞれ別の画素で構成してもよい。このとき、撮像画素配列の一部に、第１焦点検出画素および第２焦点検出画素を部分的に（離散的に）配置するように構成される。

本実施例において、撮像装置１００は、撮像素子１０７の各画素の第１焦点検出画素（副画素２０１）の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素（副画素２０２）の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また撮像装置１００は、撮像素子１０７の画素ごとに、第１焦点検出画素と第２焦点検出画素との信号を加算することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。このように撮像装置１００は、第１画素群および第２画素群のそれぞれに含まれる画素をマイクロレンズごとに加算した信号から撮像画像を生成する画像生成手段（ＣＰＵ１２１）を有する。

次に、図６を参照して、撮像素子１０７の副画素２０１から取得される第１焦点検出信号および副画素２０２から取得される第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。

次に、本実施例における焦点検出について説明する。本実施例の撮像装置１００は、焦点検出として、第１焦点検出および第２焦点検出を行う。第１焦点検出は、瞳分割方向における焦点検出信号の信号周期が大きく、かつ、空間周波数帯域が低い、位相差検出方式の焦点検出である。第２焦点検出は、瞳分割方向における焦点検出信号の信号周期が小さく、かつ、空間周波数帯域が高い、位相差検出方式の焦点検出である。本実施例において、撮像素子１０７の列方向が瞳分割方向であり、撮像素子１０７の行方向が瞳分割方向と直交する方向である。大デフォーカス状態から小デフォーカス状態まで焦点調節を行うために第１焦点検出を行い、小デフォーカス状態から最良合焦位置近傍まで焦点調節を行うために第２焦点検出を行う。

次に、本実施例における位相差検出方式の第１焦点検出について詳述する。第１焦点検出を行う場合、撮像装置１００のＣＰＵ１２１（算出手段１２１ｂ）は、第１焦点検出信号および第２焦点検出信号を相対的にシフトさせて信号の一致度を表す第１相関量（第１評価値）を算出する。そしてＣＰＵ１２１は、相関（信号の一致度）が良好になるシフト量に基づいて像ずれ量を算出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間との間の像ずれ量の大きさが増加する関係があるため、ＣＰＵ１２１は、像ずれ量を第１デフォーカス量に変換して焦点検出を行う。

図７を参照して、位相差検出方式の第１焦点検出処理について説明する。図７は、第１焦点検出処理を示すフローチャートであり、後述の図１３のステップＳ１００に相当する。図７の各ステップは、主に、ＣＰＵ１２１（生成手段１２１ａ、算出手段１２１ｂ）および画像処理回路１２５により実行される。

まずステップＳ１１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１（生成手段１２１ａ）は、焦点検出領域に含まれるＲ、Ｇ、Ｂの色（第１色、第２色、第３色）ごとの第１焦点検出画素の受光信号（出力信号）に基づいて、Ｒ、Ｇ、Ｂの色ごとに第１焦点検出信号（Ａ像信号）を生成（取得）する。同様に、ＣＰＵ１２１は、焦点検出領域に含まれるＲ、Ｇ、Ｂの色ごとの第２焦点検出画素の受光信号（出力信号）に基づいて、Ｒ、Ｇ、Ｂの色ごとに第２焦点検出信号（Ｂ像信号）を生成（取得）する。

続いてステップＳ１２０において、ＣＰＵ１２１（生成手段１２１ａ）は、Ｒ、Ｇ、Ｂの第１焦点検出信号および第２焦点検出信号のそれぞれに対して、色信号（ＲＧＢ信号）を輝度信号（Ｙ信号）に変換するために第１画素加算処理を行う。この結果、処理後の第１焦点検出信号および第２焦点検出信号が生成される。

ここで、図８を参照して、本実施例における第１画素加算処理について説明する。図８は、第１画素加算処理の説明図である。図８において、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第１焦点検出信号をＡ（ｉ、ｊ）とする。ここで、第１焦点検出信号は、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第１焦点検出信号は、ＲＡ（ｉ、ｊ）＝Ａ（ｉ、ｊ）である。Ｇ（第２色）の第１焦点検出信号は、ＧＡ（ｉ、ｊ＋１）＝Ａ（ｉ、ｊ＋１）、ＧＡ（ｉ＋１、ｊ）＝Ａ（ｉ＋１、ｊ）である。Ｂ（第３色）の第１焦点検出信号は、ＢＡ（ｉ＋１、ｊ＋１）＝Ａ（ｉ＋１、ｊ＋１）である。同様に、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第２焦点検出信号をＢ（ｉ、ｊ）とする。第２焦点検出信号も、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第２焦点検出信号は、ＲＢ（ｉ、ｊ）＝Ｂ（ｉ、ｊ）である。Ｇ（第２色）の第２焦点検出信号は、ＧＢ（ｉ、ｊ＋１）＝Ｂ（ｉ、ｊ＋１）、ＧＢ（ｉ＋１、ｊ）＝Ｂ（ｉ＋１、ｊ）である。Ｂ（第３色）の第２焦点検出信号は、ＢＢ（ｉ＋１、ｊ＋１）＝Ｂ（ｉ＋１、ｊ＋１）である。

図７のステップＳ１２０における第１画素加算処理により、以下の式（１Ａ）で表されるように、ベイヤー配列の第１焦点検出信号Ａ（ｉ、ｊ）から、Ｙ信号化された第１焦点検出信号Ｙ１Ａ（ｉ、ｊ）を算出することができる。同様に、第１画素加算処理により、以下の式（１Ｂ）で表されるように、ベイヤー配列の第２焦点検出信号Ｂ（ｉ、ｊ）から、Ｙ信号化された第２焦点検出信号Ｙ１Ｂ（ｉ、ｊ）を算出することができる。

式（１Ａ）、（１Ｂ）において、ｉ＝２ｍ、ｊ＝２ｎ（ｍ、ｎは整数）である。なお、ｉ、ｊが２の倍数となっているのは、本実施例の画素がベイヤー配列で配置されているためである。このため、ベイヤー配列と異なる配列の場合、ｉまたはｊをその配列の周期性に合わせることが好ましい。例えば、水平方向に４画素周期でカラーフィルタが配列されている場合、ｉまたはｊを４の倍数とすることが好ましい。

本実施例の第１焦点検出処理では、Ｙ信号化された焦点検出信号の列方向（瞳分割方向）の信号周期は、ベイヤー配列の焦点検出信号の列方向（瞳分割方向）の信号周期よりも大きい。また本実施例の第１焦点検出処理では、大デフォーカス状態から小デフォーカス状態まで安定して焦点検出可能であるように、瞳分割方向における焦点検出信号の信号周期が大きく、かつ、空間周波数帯域が低くなるように、第１画素加算処理を行う。

続いてステップＳ１３０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、シェーディング補正処理（光学補正処理）を行う。ここで、図９を参照して、第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図９は、第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングの説明図である。具体的には、図９は、撮像素子１０７の周辺像高における副画素２０１（第１焦点検出画素）の瞳部分領域５０１、副画素２０２（第２焦点検出画素）の瞳部分領域５０２、および、結像光学系の射出瞳４００の関係を示している。

図９（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像素子１０７の撮像面との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１および瞳部分領域５０２により、結像光学系の射出瞳４００は略均等に瞳分割される。

一方、図９（ｂ）にされるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。同様に、図９（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号および第２焦点検出信号の強度も互いに不均一となる。このため、第１焦点検出信号および第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。

図７のステップＳ１３０では、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数および第２焦点検出信号の第２シェーディング補正係数を生成する。そしてＣＰＵ１２１（画像処理回路１２５）は、第１焦点検出信号に第１シェーディング補正係数を乗算し、第２焦点検出信号に第２シェーディング補正係数を乗算して、第１焦点検出信号および第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。

位相差検出方式の第１焦点検出を行う際、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）に基づいて、デフォーカス量（第１デフォーカス量）を検出（算出）する。瞳ずれによるシェーディングが生じると、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）が低下する場合がある。このため本実施例において、位相差検出方式の第１焦点検出の際には、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）を改善して焦点検出性能を向上させるため、シェーディング補正処理（光学補正処理）を行うことが好ましい。

続いてステップＳ１４０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号に対して、第１フィルタ処理を行う。図１０は、第１フィルタ処理の説明図であり、本実施例の第１フィルタ処理における通過帯域例を破線で示している。本実施例では、位相差検出方式の第１焦点検出により大デフォーカス状態での焦点検出を行う。このため、第１フィルタ処理における通過帯域は、低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、第１焦点検出処理の際の第１フィルタ処理の通過帯域を調整してもよい。

続いてステップＳ１５０において、ＣＰＵ１２１（算出手段１２１ｂ）は、第１フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせる第１シフト処理を行う。そしてＣＰＵ１２１は、信号の一致度を表す第１相関量（第１評価値）を算出する。

ここで、列方向（瞳分割方向）のｊ番目、行方向（瞳分割方向と直交する方向）のｉ番目の第１フィルタ処理後の第１焦点検出信号をｄＹ１Ａ（ｉ、ｊ）、第２焦点検出信号をｄＹ１Ｂ（ｉ、ｊ）とする。また、焦点検出領域に対応する番号ｊの範囲をＷ、および、番号ｉの範囲をＬとする。また、第１シフト処理によるシフト量をｓ_１、シフト量ｓ_１のシフト範囲をΓ１とする。このとき、第１相関量ＣＯＲ１_ｅｖｅｎ（第１評価値）は、以下の式（２）のように表される。

第１相関量ＣＯＲ１_ｅｖｅｎの算出の際、ｉ行ごとにシフト量ｓ_１に対し、列方向ｊ＋ｓ_１番目の第１焦点検出信号ｄＹ１Ａ（ｉ、ｊ＋ｓ_１）と、列方向ｊ−ｓ_１番目の第２焦点検出信号ｄＹ１Ｂ（ｉ、ｊ−ｓ_１）とを対応させて減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内において番号ｊの和を取り、ｉ行ごとの第１相関量ＣＯＲ１_ｅｖｅｎ（ｉ、ｓ_１）を算出する。さらに、ｉ行ごとの第１相関量ＣＯＲ１_ｅｖｅｎ（ｉ、ｓ_１）を、シフト量ごとに、焦点検出領域に対応する範囲Ｌ内において番号ｉの和を取り、第１相関量ＣＯＲ１_ｅｖｅｎ（ｓ_１）を算出する。

続いてステップＳ１６０において、ＣＰＵ１２１（算出手段１２１ｂ）は、第１相関量（第１評価値）に対してサブピクセル演算を行い、第１相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を求める。そしてＣＰＵ１２１は、像ずれ量ｐ１に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第１変換係数Ｋ１を掛けて、第１デフォーカス量Ｄｅｆ１を検出（算出）する。

次に、図１１を参照して、位相差検出方式の第２焦点検出処理について説明する。図１１は、第２焦点検出処理を示すフローチャートであり、後述の図１３のステップＳ２００に相当する。図１１の各ステップは、主に、ＣＰＵ１２１（生成手段１２１ａ、算出手段１２１ｂ）および画像処理回路１２５により実行される。

まずステップＳ２１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１（生成手段１２１ａ）は、焦点検出領域に含まれるＲ、Ｇ、Ｂの色（第１色、第２色、第３色）ごとの第１焦点検出画素の受光信号（出力信号）に基づいて、Ｒ、Ｇ、Ｂの色ごとに第１焦点検出信号（Ａ像信号）を生成（取得）する。同様に、ＣＰＵ１２１は、焦点検出領域に含まれるＲ、Ｇ、Ｂの色ごとの第２焦点検出画素の受光信号（出力信号）に基づいて、Ｒ、Ｇ、Ｂの色ごとに第２焦点検出信号（Ｂ像信号）を生成（取得）する。

続いてステップＳ２２０において、ＣＰＵ１２１（生成手段１２１ａ）は、Ｒ、Ｇ、Ｂの第１焦点検出信号および第２焦点検出信号のそれぞれに対して、色信号（ＲＧＢ信号）を輝度信号（Ｙ信号）に変換するために第２画素加算処理を行う。この結果、処理後の第１焦点検出信号および第２焦点検出信号が生成される。

ここで、図１２を参照して、本実施例における第２画素加算処理について説明する。図１２は、第２画素加算処理の説明図である。図１２において、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第１焦点検出信号をＡ（ｉ、ｊ）とする。ここで、第１焦点検出信号は、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第１焦点検出信号は、ＲＡ（ｉ、ｊ）＝Ａ（ｉ、ｊ）である。Ｇ（第２色）の第１焦点検出信号は、ＧＡ（ｉ、ｊ＋１）＝Ａ（ｉ、ｊ＋１）、ＧＡ（ｉ＋１、ｊ）＝Ａ（ｉ＋１、ｊ）である。Ｂ（第３色）の第１焦点検出信号は、ＢＡ（ｉ＋１、ｊ＋１）＝Ａ（ｉ＋１、ｊ＋１）である。同様に、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第２焦点検出信号をＢ（ｉ、ｊ）とする。第２焦点検出信号も、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第２焦点検出信号は、ＲＢ（ｉ、ｊ）＝Ｂ（ｉ、ｊ）である。Ｇ（第２色）の第２焦点検出信号は、ＧＢ（ｉ、ｊ＋１）＝Ｂ（ｉ、ｊ＋１）、ＧＢ（ｉ＋１、ｊ）＝Ｂ（ｉ＋１、ｊ）である。Ｂ（第３色）の第２焦点検出信号は、ＢＢ（ｉ＋１、ｊ＋１）＝Ｂ（ｉ＋１、ｊ＋１）である。

図１１のステップＳ２２０における第２画素加算処理により、以下の式（３Ａ）で表されるように、ベイヤー配列の第１焦点検出信号Ａ（ｉ、ｊ）から、Ｙ信号化された第１焦点検出信号Ｙ２Ａ（ｉ、ｊ）、すなわち第１輝度信号を算出することができる。同様に、第２画素加算処理により、以下の式（３Ｂ）で表されるように、ベイヤー配列の第２焦点検出信号Ｂ（ｉ、ｊ）から、Ｙ信号化された第２焦点検出信号Ｙ２Ｂ（ｉ、ｊ）、すなわち第２輝度信号を算出することができる。

式（３Ａ）、（３Ｂ）において、ｉ＝２ｍ、ｊ＝２ｎ、２ｎ＋１（ｍ、ｎは整数）である。

式（３Ａ）のｊ＝２ｎにおいて、Ｒ（第１色）の２ＲＡ（ｉ、ｊ）の色重心（ｉ、ｊ）と、Ｇ（第２色）のＧＡ（ｉ、ｊ−１）＋ＧＡ（ｉ、ｊ＋１）の色重心（ｉ、ｊ）は、瞳分割方向（列方向）における各色の色重心が一致するように合成される。更に、Ｇ（第２色）の２ＧＡ（ｉ＋１、ｊ）の色重心（ｉ＋１、ｊ）と、Ｂ（第３色）のＢＡ（ｉ＋１、ｊ−１）＋ＢＡ（ｉ＋１、ｊ＋１）の色重心（ｉ＋１、ｊ）も、前述の瞳分割方向（列方向）における各色の色重心と一致するように合成される。また同時に、Ｒ（第１色）：Ｇ（第２色）：Ｂ（第３色）の色比が１：２：１となるように合成される。

式（３Ａ）のｊ＝２ｎ＋１において、Ｒ（第１色）のＲＡ（ｉ、ｊ）＋ＲＡ（ｉ、ｊ＋２）の色重心（ｉ、ｊ＋１）と、Ｇ（第２色）の２ＧＡ（ｉ、ｊ＋１）の色重心（ｉ、ｊ＋１）は、瞳分割方向（列方向）における各色の色重心が一致するように合成される。更に、Ｇ（第２色）のＧＡ（ｉ＋１、ｊ）＋ＧＡ（ｉ＋１、ｊ＋２）の色重心（ｉ＋１、ｊ＋１）と、Ｂ（第３色）の２ＢＡ（ｉ＋１、ｊ＋１の色重心（ｉ＋１、ｊ＋１）も、前述の瞳分割方向（列方向）における各色の色重心と一致するように合成される。また同時に、Ｒ（第１色）：Ｇ（第２色）：Ｂ（第３色）の色比が１：２：１となるように合成される。以上のように色重心を一致するように所定の色比で合成する点は、式（３Ｂ）の場合も同様である。

このように第２画素加算処理では、ベイヤー配列の焦点検出信号から、全画素において、Ｒ（第１色）：Ｇ（第２色）：Ｂ（第３色）の色比が１：２：１で、かつ、瞳分割方向における各色の色重心が一致するように、Ｙ信号化された焦点検出信号が生成される。このため第２焦点検出処理において、Ｙ信号化された焦点検出信号の列方向（瞳分割方向）の信号周期は、ベイヤー配列の焦点検出信号の列方向（瞳分割方向）の信号周期と等しく、かつ、等間隔の周期である。このため、高い空間周波数帯域を検出することができる。

一方、瞳分割方向における各色の色重心が互いに一致しない場合、色ごとに不等間隔の周期となるため、ローパスフィルタにより安定化する必要があり、高い空間周波数帯域を安定して検出することが難しい。

本実施例の第２焦点検出では、Ｙ信号化された焦点検出信号の瞳分割方向における信号周期は、ベイヤー配列の焦点検出信号の瞳分割方向における信号周期と等しく、第１焦点検出のＹ信号化された焦点検出信号の瞳分割方向の信号周期よりも小さい。生成手段１２１ａは、第１色の第１焦点検出画素の信号と第２色の第１焦点検出画素の信号とを、各画素で瞳分割方向における色重心が互いに一致するように合成して、第１焦点検出信号を生成する。また生成手段１２１ａは、第１色の第２焦点検出画素の信号と第２色の第２焦点検出画素の信号とを、各画素で瞳分割方向における色重心が互いに一致するように合成して、第２焦点検出信号を生成する。また本実施例の第２焦点検出処理では、小デフォーカス状態から最良合焦位置近傍まで高精度に焦点検出可能であるように、瞳分割方向における焦点検出信号の信号周期が小さく、かつ、空間周波数帯域が高くなるように、第２画素加算処理を行う。

続いてステップＳ２３０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、シェーディング補正処理（光学補正処理）を行う。このときＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数および第２焦点検出信号の第２シェーディング補正係数を生成する。そしてＣＰＵ１２１（画像処理回路１２５）は、第１焦点検出信号に第１シェーディング補正係数を乗算し、第２焦点検出信号に第２シェーディング補正係数を乗算して、第１焦点検出信号および第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。

位相差検出方式の第２焦点検出を行う際、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）に基づいて、デフォーカス量（第２デフォーカス量）を検出（算出）する。瞳ずれによるシェーディングが生じると、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）が低下する場合がある。このため本実施例において、位相差検出方式の第２焦点検出の際には、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）を改善して焦点検出性能を向上させるため、シェーディング補正処理（光学補正処理）を行うことが好ましい。

続いてステップＳ２４０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号に対して、第２フィルタ処理を行う。図１０は、第２フィルタ処理の説明図であり、本実施例の第２フィルタ処理における通過帯域例を実線で示している。本実施例では、位相差検出方式の第２焦点検出により、小デフォーカス状態から最良合焦位置近傍での焦点検出を行う。このため、第２フィルタ処理における通過帯域は、高周波帯域を含むように構成される。必要に応じて、小デフォーカス状態から最良合焦位置近傍まで焦点調節を行う際に、デフォーカス状態に応じて、第２焦点検出処理の際の第２フィルタ処理の通過帯域を調整してもよい。なお、通過帯域の調整方法の一例として、信号の水平加算や間引きなどがある。

続いてステップＳ２５０において、ＣＰＵ１２１（算出手段１２１ｂ）は、第２フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせる第２シフト処理を行う。そしてＣＰＵ１２１は、信号の一致度を表す第２相関量（第２評価値）を算出する。

ここで、列方向（瞳分割方向）のｊ番目、行方向（瞳分割方向と直交する方向）のｉ番目の第２フィルタ処理後の第１焦点検出信号をｄＹ２Ａ（ｉ、ｊ）、第２焦点検出信号をｄＹ２Ｂ（ｉ、ｊ）とする。また、焦点検出領域に対応する番号ｊの範囲をＷ、および、番号ｉの範囲をＬとする。また、第２シフト処理によるシフト量をｓ_２、シフト量ｓ_２のシフト範囲をΓ２とする。このとき、第２相関量ＣＯＲ２_ｅｖｅｎ、ＣＯＲ２_ｏｄｄ（第２評価値）は、以下の式（４Ａ）、（４Ｂ）のようにそれぞれ表される。

第２相関量ＣＯＲ２_ｅｖｅｎの算出の際、ｉ行ごとにシフト量ｓ_２に対し、列方向ｊ＋ｓ_２番目の第１焦点検出信号ｄＹ２Ａ（ｉ、ｊ＋ｓ_２）と、列方向ｊ−ｓ_２番目の第２焦点検出信号ｄＹ２Ｂ（ｉ、ｊ−ｓ_２）とを対応させて減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内において番号ｊの和を取り、ｉ行ごとの第２相関量ＣＯＲ２_ｅｖｅｎ（ｉ、ｓ_２）を算出する。さらに、ｉ行ごとの第１相関量ＣＯＲ２_ｅｖｅｎ（ｉ、ｓ_２）を、シフト量ごとに、焦点検出領域に対応する範囲Ｌ内において番号ｉの和を取り、第２相関量ＣＯＲ１_ｅｖｅｎ（ｓ_２）を算出する。

第２相関量ＣＯＲ２_ｏｄｄの算出の際、ｉ行ごとにシフト量ｓ_２に対し、列方向ｊ＋ｓ_２番目の第１焦点検出信号ｄＹ２Ａ（ｉ、ｊ＋ｓ_２）と、列方向ｊ−ｓ_２番目の第２焦点検出信号ｄＹ２Ｂ（ｉ、ｊ−１−ｓ_２）とを対応させ減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内において番号ｊの和を取り、ｉ行ごとの第２相関量ＣＯＲ２_ｏｄｄ（ｉ、ｓ_２）を算出する。さらに、ｉ行ごとの第２相関量ＣＯＲ２_ｏｄｄ（ｉ、ｓ_２）を、シフト量ごとに、焦点検出領域に対応する範囲Ｌ内において番号ｉの和を取り、第２相関量ＣＯＲ２_ｏｄｄ（ｓ_２）を算出する。本実施例において、第２相関量ＣＯＲ２_ｏｄｄは、第２相関量ＣＯＲ２_ｅｖｅｎに対して、第１焦点検出信号と第２焦点検出信号とのシフト量が半位相だけずれた相関量である。

続いてステップＳ２６０において、ＣＰＵ１２１は、第２相関量ＣＯＲ２_ｅｖｅｎ、ＣＯＲ２_ｏｄｄ（第２評価値）のそれぞれに対してサブピクセル演算を行い、第２相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量ｐ２を求める。そしてＣＰＵ１２１は、互いに半位相だけずれた２つの第２相関量ＣＯＲ２_ｅｖｅｎ、ＣＯＲ２_ｏｄｄに基づいて、像ずれ量ｐ２を算出することにより、サブピクセルを高精度に算出することができる。像ずれ量ｐ２に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第２変換係数Ｋ２を掛けて、第２デフォーカス量Ｄｅｆ２を検出（算出）する。

このように第２焦点検出処理では、ベイヤー配列の焦点検出信号から、全画素において、Ｒ（第１色）：Ｇ（第２色）：Ｂ（第３色）の色比が１：２：１で、かつ、瞳分割方向における各色の色重心が一致するように、Ｙ信号化された焦点検出信号が生成される。このため第２焦点検出処理において、Ｙ信号化された焦点検出信号の列方向（瞳分割方向）の信号周期は、ベイヤー配列の焦点検出信号の列方向（瞳分割方向）の信号周期と等しく、かつ、等間隔の周期である。このため、高い空間周波数帯域を検出することができる。

本実施例の第２焦点検出処理によれば、焦点検出信号の空間周波数帯域と、撮像画像を生成する撮像信号の空間周波数帯域との差異を低減し、焦点検出信号から算出される検出合焦位置と撮像信号の最良合焦位置との間の差を低減することができる。このため本実施例の第２焦点検出処理によれば、小デフォーカス状態から最良合焦位置近傍まで高精度な焦点検出が可能となる。

次に、図１３を参照して、本実施例におけるフォーカス制御について説明する。図１３は、フォーカス制御を示すフローチャートである。図１３の各ステップは、主に、ＣＰＵ１２１（生成手段１２１ａ、算出手段１２１ｂ、フォーカス制御手段１２１ｃ）により実行される。ＣＰＵ１２１は、結像光学系のデフォーカス量の絶対値が第１所定値以下になるまで第１焦点検出を行って第３レンズ群１０５（フォーカスレンズ群）を駆動し（レンズ駆動を行い）、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節を行う。その後、結像光学系のデフォーカス量の絶対値が第２所定値（第１所定値＞第２所定値）以下になるまで第２焦点検出を行ってレンズ駆動を行い、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節を行う。

まずステップＳ１００において、ＣＰＵ１２１は、第１焦点検出により第１デフォーカス量Ｄｅｆ１を検出（算出）する。続いてステップＳ３０１において、ＣＰＵ１２１は、ステップＳ１００にて算出された第１デフォーカス量Ｄｅｆ１の絶対値（大きさ）｜Ｄｅｆ１｜が第１所定値以下であるか否かを判定する。第１デフォーカス量Ｄｅｆ１の絶対値｜Ｄｅｆ１｜が第１所定値よりも大きい場合、ＣＰＵ１２１は第１デフォーカス量Ｄｅｆ１に応じてレンズ駆動を行い、ステップＳ１００を繰り返す。一方、ステップＳ１００にて算出された第１デフォーカス量Ｄｅｆ１の絶対値｜Ｄｅｆ１｜が第１所定値以下の場合、ステップＳ２００に進む。

続いて、ステップＳ２００において、ＣＰＵ１２１は、第２焦点検出により第２デフォーカス量Ｄｅｆ２を検出（算出）する。ステップＳ２００にて算出された第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第２所定値（第１所定値＞第２所定値）よりも大きい場合、ＣＰＵ１２１は第２デフォーカス量Ｄｅｆ２に応じてレンズ駆動を行い、ステップＳ２００を繰り返す。一方、ステップＳ２００にて算出された第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第２所定値以下の場合、焦点調節動作（本フローのフォーカス制御）を終了する。

なお、図１３のフローチャートでは第１焦点検出の後に第２焦点検出を行うが、これに限定されるものではなく、第１焦点検出および第２焦点検出の両方を並列に処理してもよい。図１７は、第１焦点検出と第２焦点検出とを並列処理する場合のフォーカス制御を示すフローチャートである。図１３と同一の動作に関しては同一の符号を付している。図１７の各ステップは、主に、ＣＰＵ１２１（生成手段１２１ａ、算出手段１２１ｂ、フォーカス制御手段１２１ｃ）により実行される。

ＣＰＵ１２１は、第１焦点検出と第２焦点検出とを行う。その後、第２焦点検出の結果である結像光学系の第２デフォーカス量Ｄｅｆ２の絶対値（大きさ）｜Ｄｅｆ２｜が第１所定値以下であるか否かを判定する。そして、第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第１所定値以下である場合、ＣＰＵ１２１は、第１焦点検出の結果である結像光学系の第１デフォーカス量Ｄｅｆ１の絶対値｜Ｄｅｆ１｜が第２所定値以下であるか否かを判定する。一方、第２デフォーカス量Ｄｅｆ２が第１所定値よりも大きい場合、ＣＰＵ１２１は、第２焦点検出の結果である結像光学系の第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第２所定値以下であるか否かを判定する。

まずステップＳ１００において、ＣＰＵ１２１は、第１焦点検出により第１デフォーカス量Ｄｅｆ１を検出（算出）する。また並行して、ステップＳ２００において、ＣＰＵ１２１は、第２焦点検出により第２デフォーカス量Ｄｅｆ２を検出（算出）する。

続いてステップＳ４０１において、ＣＰＵ１２１は、ステップＳ２００にて算出された第２デフォーカス量Ｄｅｆ２の絶対値（大きさ）｜Ｄｅｆ２｜が第１所定値以下であるか否かを判定する。第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第１所定値よりも大きい場合、ステップＳ４０２に進み、ＣＰＵ１２１は第１デフォーカス量Ｄｅｆ１をデフォーカス量Ｄｅｆとして採用する。一方、ステップＳ２００にて算出された第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が第１所定値以下の場合、ステップＳ４０３に進み、ＣＰＵ１２１は第２デフォーカス量Ｄｅｆ２をデフォーカス量Ｄｅｆとして採用する。ステップＳ４０２またはステップＳ４０３の後、ステップＳ４０４に進む。

続いて、ステップＳ４０４において、ＣＰＵ１２１は、ステップＳ４０２またはステップＳ４０３にて算出されたデフォーカス量Ｄｅｆの絶対値｜Ｄｅｆ｜が第２所定値（第１所定値＞第２所定値）よりも大きいか否かを判定する。デフォーカス量Ｄｅｆの絶対値｜Ｄｅｆ｜が第２所定値よりも大きい場合、ステップＳ４０５に進み、ＣＰＵ１２１はデフォーカス量Ｄｅｆに応じてレンズ駆動を行う。一方、デフォーカス量Ｄｅｆの絶対値｜Ｄｅｆ｜が第２所定値以下の場合、焦点調節動作（本フローのフォーカス制御）を終了する。

本実施例の第２焦点検出により、小絞り側の絞り値Ｆにおいて、デフォーカス状態によらず、位相差方式による焦点検出の高精度化が可能である。絞り値Ｆが大きく、小絞りになるほど、瞳部分領域５０１の重心と瞳部分領域５０２の重心間隔である基線長が短くなり、デフォーカス量ｄに対して、像ずれ量ｐの変化量が少なくなる。このため、小絞り側の絞り値Ｆにおいて、デフォーカス状態によらず、焦点検出精度が低下する場合がある。

また本実施例の第２焦点検出では、第１焦点検出での焦点検出信号の列方向（瞳分割方向）の周期に対して、第２焦点検出での焦点検出信号の列方向（瞳分割方向）の周期が１／２に微細化される。このため、相関量から算出される像ずれ量の検出精度を２倍に高精度化することができる。したがって、本実施例の第２焦点検出により、小絞り側の絞り値Ｆにおいて、デフォーカス状態によらず、焦点検出を高精度化することが可能である。

本実施例の撮像装置によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能となる。

次に、図１４を参照して、本発明の実施例２における第２画素加算処理について説明する。図１４は、第２画素加算処理の説明図である。本実施例において、第２画素加算処理以外は実施例１と同様であるため、他の説明は省略する。

図１４において、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第１焦点検出信号をＡ（ｉ、ｊ）とする。ここで、第１焦点検出信号は、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第１焦点検出信号は、ＲＡ（ｉ、ｊ）＝Ａ（ｉ、ｊ）である。Ｇ（第２色）の第１焦点検出信号は、ＧＡ（ｉ、ｊ＋１）＝Ａ（ｉ、ｊ＋１）、ＧＡ（ｉ＋１、ｊ）＝Ａ（ｉ＋１、ｊ）である。Ｂ（第３色）の第１焦点検出信号は、ＢＡ（ｉ＋１、ｊ＋１）＝Ａ（ｉ＋１、ｊ＋１）である。同様に、列方向（瞳分割方向）にｊ番目、行方向（瞳分割方向と直交する方向）にｉ番目のベイヤー配列の第２焦点検出信号をＢ（ｉ、ｊ）とする。第２焦点検出信号も、Ｒ、Ｇ、Ｂの色ごとに示される。Ｒ（第１色）の第２焦点検出信号は、ＲＢ（ｉ、ｊ）＝Ｂ（ｉ、ｊ）である。Ｇ（第２色）の第２焦点検出信号は、ＧＢ（ｉ、ｊ＋１）＝Ｂ（ｉ、ｊ＋１）、ＧＢ（ｉ＋１、ｊ）＝Ｂ（ｉ＋１、ｊ）である。Ｂ（第３色）の第２焦点検出信号は、ＢＢ（ｉ＋１、ｊ＋１）＝Ｂ（ｉ＋１、ｊ＋１）である。

図１１のステップＳ２２０における第２画素加算処理により、以下の式（５Ａ）で表されるように、ベイヤー配列の第１焦点検出信号Ａ（ｉ、ｊ）から、Ｙ信号化された第１焦点検出信号Ｙ２Ａ（ｉ、ｊ）、すなわち第１輝度信号を算出することができる。同様に、第２画素加算処理により、以下の式（５Ｂ）で表されるように、ベイヤー配列の第２焦点検出信号Ｂ（ｉ、ｊ）から、Ｙ信号化された第２焦点検出信号Ｙ２Ｂ（ｉ、ｊ）、すなわち第２輝度信号を算出することができる。

式（５Ａ）、（５Ｂ）において、ｉ＝ｍ、ｊ＝ｎ（ｍ、ｎは整数）である。

本実施例の第２画素加算処理では、ベイヤー配列の焦点検出信号から、全画素において、Ｒ（第１色）：Ｇ（第２色）：Ｂ（第３色）の色比が１：２：１で、かつ、瞳分割方向における各色の色重心が一致するように、Ｙ信号化された焦点検出信号が生成される。このため第２焦点検出処理において、Ｙ信号化された焦点検出信号の列方向（瞳分割方向）の信号周期は、ベイヤー配列の焦点検出信号の列方向（瞳分割方向）の信号周期と等しく、かつ、等間隔の周期である。このため、高い空間周波数帯域を検出することができる。

本実施例の撮像装置によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能となる。

次に、図１５および図１６を参照して、本発明の実施例３における撮像装置について説明する。本実施例は、撮像素子１０７の画素配列に関し、実施例１とは異なる。本実施例のそれ以外の構成は、実施例１と同様であるため、それらの説明は省略する。

図１５は、本実施例における撮像素子１０７の画素配列を示す図である。図１６は、撮像素子１０７の画素構造を示す図であり、図１６（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１６（ｂ）は図１６（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図１５は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１５には、副画素の配列が、８列×８行の範囲で示されている。

図１５に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×２行に配列された副画素２０１、２０２、２０３、２０４により構成されている。なお、本実施例では２列×２行に配列された副画素により構成される例を示したが、これより多い副画素を含むことができ、また、列方向と行方向で異なる数の副画素により構成されるようにしてもよい。副画素２０１は、結像光学系の第１瞳部分領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳部分領域を通過した光束を受光する画素である。副画素２０３は、結像光学系の第３瞳部分領域を通過した光束を受光する画素である。副画素２０４は、結像光学系の第４瞳部分領域を通過した光束を受光する画素である。

図１５に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素である。

図１６（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１〜３０４は、副画素２０１〜２０４にそれぞれ対応する。

本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１〜第４瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）、第２副画素（複数の副画素２０２）、第３副画素（複数の副画素２０３）、および、第４副画素（複数の副画素２０４）を含む。

本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２、２０３、２０４の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成する。このように撮像画像は、画素ごとに、複数の副画素（本実施例では副画素２０１〜２０４）の受光信号を合成して生成される。

本実施例において、撮像素子１０７の画素ごとに、副画素２０１、２０３の信号を加算することにより第１焦点検出信号を生成し、副画素２０２、２０４の信号を加算することにより第２焦点検出信号を生成することができる。このとき、複数の副画素２０１、２０３は第１画素群を構成し、複数の副画素２０２、２０４は第２画素群を構成する。これらの加算処理により、水平方向の瞳分割に対応する第１焦点検出信号および第２焦点検出信号を取得することができ、位相差検出方式の第１焦点検出および第２焦点検出を行うことが可能である。

また本実施例において、撮像素子１０７の画素ごとに、副画素２０１、２０２の信号を加算することにより第１焦点検出信号を生成し、副画素２０３、２０４の信号を加算することにより第２焦点検出信号を生成することができる。このとき、複数の副画素２０１、２０２は第１画素群を構成し、複数の副画素２０３、２０４は第２画素群を構成する。これらの加算処理により、垂直方向の瞳分割に対応する第１焦点検出信号および第２焦点検出信号を取得することができ、位相差検出方式の第１焦点検出および第２焦点検出を行うことが可能である。

本実施例の撮像装置によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能となる。

このように各実施例において、制御装置（ＣＰＵ１２１）は、生成手段１２１ａおよび算出手段１２１ｂを有する。生成手段１２１ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する。算出手段１２１ｂは、第１焦点検出信号および第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する。生成手段１２１ａは、第１画素群に関し、複数の種類の色信号の瞳分割方向における重心が互いに一致するように色信号を合成して（画素加算処理を行い）、第１焦点検出信号を生成する。また生成手段１２１ａは、第２画素群に関し、複数の種類の色信号の瞳分割方向における重心が互いに一致するように色信号を合成して、第２焦点検出信号を生成する。

好ましくは、瞳分割方向において、第１焦点検出信号および第２焦点検出信号の信号周期は、第１画素群および第２画素群の配列周期とそれぞれ等しい。また好ましくは、複数の種類の色信号は、第１色信号、第２色信号、および、第３色信号を含む。生成手段１２１ａは、第１画素群に関し、第１色信号、第２色信号、および、第３色信号の瞳分割方向における重心が互いに一致するように、第１色信号、第２色信号、および、第３色信号を合成して、第１輝度信号（Ｙ２Ａ）としての第１焦点検出信号を生成する。また生成手段１２１ａは、第２画素群に関し、第１色信号、第２色信号、および、第３色信号の瞳分割方向における重心が一致するように、第１色信号、第２色信号、および、第３色信号を合成して、第２輝度信号（Ｙ２Ｂ）としての第２焦点検出信号を生成する。

好ましくは、第１色信号は、第１画素群のうち、第１画素（例えば、図１２中のＲＡ（ｉ、ｊ））から得られた信号である。第２色信号は、第１画素群のうち、第１画素に隣接する第２画素（ＧＡ（ｉ、ｊ−１））、第３画素（ＧＡ（ｉ、ｊ＋１））、および、第４画素（ＧＡ（ｉ＋１、ｊ））から得られた信号である。このとき、第１色信号および第２色信号の瞳分割方向における重心は、それぞれ、第１画素の位置に対応する。この点は、第２画素群に関しても同様である。より好ましくは、第３色信号は、第１画素群のうち、第５画素（例えば、図１２中のＢＡ（ｉ＋１、ｊ−１））および第６画素（ＢＡ（ｉ＋１、ｊ＋１））から得られた信号である。このとき、第３色信号の瞳分割方向における重心は、第１画素の位置に対応する。この点は、第２画素群に関しても同様である。

好ましくは、第１色信号は、第１画素群のうち、第１画素（例えば、図１４中のＲＡ（ｉ、ｊ））から得られた信号である。第２色信号は、第１画素群のうち、第１画素に隣接する第２画素（ＧＡ（ｉ、ｊ−１））、第３画素（ＧＡ（ｉ、ｊ＋１））、第４画素（ＧＡ（ｉ＋１、ｊ））、および、第５画素（ＧＡ（ｉ−１、ｊ））から得られた信号である。このとき、第１色信号および第２色信号の瞳分割方向における重心は、それぞれ、第１画素の位置に対応する。この点は、第２画素群に関しても同様である。より好ましくは、第３色信号は、第１画素群のうち、第６画素（例えば、図１４中のＢＡ（ｉ−１、ｊ−１））、第７画素（ＢＡ（ｉ＋１、ｊ−１））、第８画素（ＢＡ（ｉ−１、ｊ＋１））、および、第９画素（ＢＡ（ｉ＋１、ｊ＋１））から得られた信号である。このとき、第３色信号の瞳分割方向における重心は、第１画素の位置に対応する。この点は、第２画素群に関しても同様である。

好ましくは、第１色信号、第２色信号、および、第３色信号は、それぞれ、赤色信号、緑色信号、および、青色信号であり、第１画素群および第２画素群は、それぞれ、ベイヤー配列を有する。そして、第１焦点検出信号および第２焦点検出信号のそれぞれに関し、第１色信号、第２色信号、および、第３色信号の合成比率は１：２：１である。

好ましくは、制御装置は、デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段１２１ｃを有する。フォーカス制御手段１２１ｃは、第１焦点検出処理で算出手段１２１ｂにより算出された第１デフォーカス量が第１閾値（第１所定値）よりも大きい場合、第１デフォーカス量に基づいてフォーカス制御を行う。一方、第１デフォーカス量が第１閾値よりも小さい場合、フォーカス制御手段１２１ｃは、第２焦点検出処理で算出手段１２１ｂにより算出された第２デフォーカス量に基づいてフォーカス制御を行う。そして生成手段１２１ａは、第２焦点検出処理において、複数の種類の色信号の瞳分割方向における重心が互いに一致するように色信号を合成して第１焦点検出信号および第２焦点検出信号を生成する。より好ましくは、第１焦点検出処理において、生成手段１２１ａにより生成される第１焦点検出信号および第２焦点検出信号の瞳分割方向における信号周期は、第１画素群および第２画素群の配列周期よりも大きい。より好ましくは、第１焦点検出信号および第２焦点検出信号のそれぞれの空間周波数帯域は、第１焦点検出処理よりも第２焦点検出処理の場合のほうが高い。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、制御装置は、複数の種類の色信号に基づいて、距離情報を算出するために位相差検出方式に用いる複数の検出信号を取得する制御方法（画像処理方法）を実行することができる。この制御方法は、複数の種類の色信号を含む視点画像（視差画像）に対して第１処理を行い、色信号を合成した合成信号を取得するステップと、合成信号に対して第２処理を行い、検出信号を生成するステップとを有する。第１処理は、視点画像の視点方向における重心が一致するように色信号を合成する処理である。ここで、第１処理は、複数の種類の色信号を異なる比率で合成する処理を含み、第２処理は、合成信号に含まれる信号の周波数帯域を可変するために間引く処理を含む。また、この制御方法は、検出信号を用いて位相差を検出するステップを更に有してもよい。そして第２処理は、検出された位相差に基づいて合成信号に対する処理を行う。また、第１処理は、視点画像の視点方向に垂直な方向おける重心が一致するように色信号を合成する処理であってもよい。

１２１ ＣＰＵ（制御装置）
１２１ａ 生成手段
１２１ｂ 算出手段

Claims (17)

1. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する生成手段と、
   前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する算出手段と、を有し、
   前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、
   前記生成手段は、
   前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、
   前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、
   前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、
   前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である、ことを特徴とする制御装置。
2. 前記瞳分割方向において、前記第１焦点検出信号および前記第２焦点検出信号の信号周期は、前記第１画素群および前記第２画素群の配列周期とそれぞれ等しいことを特徴とする請求項１に記載の制御装置。
3. 前記生成手段は、
   前記第１画素群に関し、前記赤色信号、前記緑色信号、および、前記青色信号の前記瞳分割方向における重心が互いに一致するように、該赤色信号、該緑色信号、および、該青色信号を合成して、第１輝度信号としての前記第１焦点検出信号を生成し、
   前記第２画素群に関し、前記赤色信号、前記緑色信号、および、前記青色信号の前記瞳分割方向における重心が互いに一致するように、該赤色信号、該緑色信号、および、該青色信号を合成して、第２輝度信号としての前記第２焦点検出信号を生成する、ことを特徴とする請求項１に記載の制御装置。
4. 前記赤色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、第１画素から得られた信号であり、
   前記緑色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、前記第１画素に隣接する第２画素、第３画素、および、第４画素から得られた信号であり、
   前記赤色信号および前記緑色信号の前記瞳分割方向における重心は、それぞれ、前記第１画素の位置に対応する、ことを特徴とする請求項３に記載の制御装置。
5. 前記青色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、第５画素および第６画素から得られた信号であり、
   前記青色信号の前記瞳分割方向における重心は、前記第１画素の位置に対応することを特徴とする請求項４に記載の制御装置。
6. 前記赤色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、第１画素から得られた信号であり、
   前記緑色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、前記第１画素に隣接する第２画素、第３画素、第４画素、および、第５画素から得られた信号であり、
   前記赤色信号および前記緑色信号の前記瞳分割方向における重心は、それぞれ、前記第１画素の位置に対応する、ことを特徴とする請求項３に記載の制御装置。
7. 前記青色信号は、前記第１画素群および前記第２画素群のそれぞれのうち、第６画素、第７画素、第８画素、および、第９画素から得られた信号であり、
   前記青色信号の前記瞳分割方向における重心は、前記第１画素の位置に対応することを特徴とする請求項６に記載の制御装置。
8. 前記デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段を更に有し、
   前記フォーカス制御手段は、
   第１焦点検出処理で前記算出手段により算出された第１デフォーカス量が第１閾値よりも大きい場合、該第１デフォーカス量に基づいて前記フォーカス制御を行い、
   前記第１デフォーカス量が前記第１閾値よりも小さい場合、第２焦点検出処理で前記算出手段により算出された第２デフォーカス量に基づいて前記フォーカス制御を行い、
   前記生成手段は、前記第２焦点検出処理において、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号および前記第２焦点検出信号を生成する、ことを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記第１焦点検出処理において、前記生成手段により生成される前記第１焦点検出信号および前記第２焦点検出信号の前記瞳分割方向における信号周期は、前記第１画素群および前記第２画素群の配列周期よりも大きいことを特徴とする請求項８に記載の制御装置。
10. 前記第１焦点検出信号および前記第２焦点検出信号のそれぞれの空間周波数帯域は、前記第１焦点検出処理よりも前記第２焦点検出処理の場合のほうが高いことを特徴とする請求項８または９に記載の制御装置。
11. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する生成手段と、
    前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する算出手段と、
    前記デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段と、を有し、
    前記生成手段は、
    前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、
    前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、
    前記フォーカス制御手段は、
    第１焦点検出処理で前記算出手段により算出された第１デフォーカス量が第１閾値よりも大きい場合、該第１デフォーカス量に基づいて前記フォーカス制御を行い、
    前記第１デフォーカス量が前記第１閾値よりも小さい場合、第２焦点検出処理で前記算出手段により算出された第２デフォーカス量に基づいて前記フォーカス制御を行い、
    前記生成手段は、前記第２焦点検出処理において、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号および前記第２焦点検出信号を生成し、
    前記第１焦点検出処理において、前記生成手段により生成される前記第１焦点検出信号および前記第２焦点検出信号の前記瞳分割方向における信号周期は、前記第１画素群および前記第２画素群の配列周期よりも大きい、ことを特徴とする制御装置。
12. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群を有する撮像素子と、
    前記第１画素群および前記第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成する生成手段と、
    前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出する算出手段と、を有し、
    前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、
    前記生成手段は、
    前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、
    前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、
    前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、
    前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である、ことを特徴とする撮像装置。
13. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１２に記載の撮像装置。
14. 前記第１画素群および第２画素群のそれぞれに含まれる画素を前記マイクロレンズごとに加算した信号から撮像画像を生成する画像生成手段を更に有することを特徴とする請求項１３に記載の撮像装置。
15. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成するステップと、
    前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出するステップと、を有し、
    前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、
    前記第１焦点検出信号および前記第２焦点検出信号を生成するステップにおいて、
    前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、
    前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、
    前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、
    前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である、ことを特徴とする制御方法。
16. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する第１画素群および第２画素群からの複数の種類の色信号に基づいて、第１焦点検出信号および第２焦点検出信号を生成するステップと、
    前記第１焦点検出信号および前記第２焦点検出信号を用いて位相差検出方式によりデフォーカス量を算出するステップと、をコンピュータに実行させるプログラムであって、
    前記複数の種類の色信号は、赤色信号、緑色信号、および、青色信号を含み、
    前記第１焦点検出信号および前記第２焦点検出信号を生成するステップにおいて、
    前記第１画素群に関し、前記複数の種類の色信号の瞳分割方向における重心が互いに一致するように該色信号を合成して前記第１焦点検出信号を生成し、
    前記第２画素群に関し、前記複数の種類の色信号の前記瞳分割方向における重心が互いに一致するように該色信号を合成して前記第２焦点検出信号を生成し、
    前記第１画素群および前記第２画素群は、それぞれ、ベイヤー配列を有し、
    前記第１焦点検出信号および前記第２焦点検出信号のそれぞれに関し、前記赤色信号、前記緑色信号、および、前記青色信号の合成比率は１：２：１である、ことを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。