JP6685769B2 - 情報処理装置、撮像装置及び情報処理方法 - Google Patents

Description

本発明は情報処理装置、撮像装置及び情報処理方法に関する。

撮影光学系の焦点状態を検出する自動焦点検出（Auto Focusing、以下ＡＦと表記する）の方式として、コントラストＡＦ方式と位相差ＡＦ方式がある。コントラストＡＦ方式及び位相差ＡＦ方式は、ビデオカメラ、デジタルスチルカメラ等の撮像装置に用いられ得る。このような撮像装置では、撮像用の撮像素子が焦点検出素子としても用いられるものがある。

コントラストＡＦ方式及び位相差ＡＦ方式では光学像を利用して焦点検出を行うため、光学像を結像する光学系の収差が焦点検出の結果に誤差を与える場合がある。このような誤差を低減するための方法が特許文献１及び特許文献２に提案されている。

特許文献１には、絞り開放時と絞り込み時の焦点移動量を用いて、撮影レンズの球面収差による焦点検出誤差を補正する技術が開示されている。

特許文献２には、撮像素子から出力された信号の評価帯域に関する情報を用いて、撮影画像の焦点と焦点検出結果の焦点との差を補正するための補正値を算出する技術が開示されている。

特開昭６２−１５７０１６号公報 特開２０１５−１３８２００公報

しかしながら、特許文献１及び特許文献２に記載された補正方法では、撮影光学系からの光束を瞳分割して受光する画素を有する撮像素子を用いた焦点検出において光学系の収差の補正精度が十分ではない場合がある。

本発明は、より高精度に焦点検出誤差を補正し得る情報処理装置、撮像装置及び情報処理方法を提供する。

本発明の一実施形態によれば、撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得手段と、前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出手段と、前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得手段と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出手段と、前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正手段と、を有することを特徴とする情報処理装置が提供される。

本発明の一実施形態によれば、撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得工程と、前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、を有することを特徴とする情報処理方法が提供される。

本発明によれば、より高精度に焦点検出誤差を補正し得る情報処理装置、撮像装置及び情報処理方法が提供される。

第１の実施形態に係るＡＦ処理動作を示すフローチャートである。 第１の実施形態に係る撮像装置の一例であるデジタルカメラのブロック図である。 第１の実施形態に係る撮像素子の構成を示す図である。 第１の実施形態に係る撮影光学系の構造を示す図である。 第１の実施形態に係るコントラストＡＦ部の構成を示すブロック図である。 第１の実施形態に係る焦点検出領域の一例を示す図である。 （ａ）及び（ｂ）は、焦点検出情報の例を示す表であり、（ｃ）は、瞳領域情報重み付け係数の例を示す表である。 （ａ）は、第１の実施形態に係る撮影光学系のデフォーカスＭＴＦを示すグラフであり、（ｂ）は、第１の実施形態に係るデフォーカスＭＴＦのピーク位置と空間周波数の関係を示すグラフである。 第１の実施形態に係る瞳領域情報と収差係数の対応を示す表である。 第１の実施形態に係るデフォーカスＭＴＦのピーク位置と空間周波数の関係を示すグラフである。 第１の実施形態に係るデフォーカスＭＴＦのピーク位置と空間周波数の関係を示すグラフである。 第２の実施形態に係るＡＦ処理動作を示すフローチャートである。 第２の実施形態に係る撮像素子での受光強度分布を示すグラフである。 第２の実施形態に係る射出瞳面における横収差の量を示すグラフである。 第２の実施形態に係る瞳領域ごとの収差寄与率分布を示すグラフである。 第２の実施形態に係るデフォーカスによる線像強度分布の重心ずれ量を説明するための図である。 第２の実施形態に係る重心ずれ量、相関演算結果の差が大きい場合の線像強度分布を示す図である。 第２の実施形態に係る瞳領域ごとのデフォーカスＭＴＦを示す図である。 第２の実施形態に係る絞りの位置、像高、レンズの射出瞳距離、センサの設定距離の関係を示す図である。 第２の実施形態に係るセンサの設定瞳距離と撮影光学系の射出瞳距離を示す図である。

以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズが交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明は、レンズを交換できないタイプのデジタルカメラ及びビデオカメラに対しても適用可能である。また、本発明は、カメラを備えた任意の電子機器にも適用可能である。カメラを備えた電子機器の例としては、携帯電話機、パーソナルコンピュータ（ラップトップ型、タブレット型、デスクトップ型など）、ゲームなどが挙げられる。

［第１の実施形態］
（撮像装置の構成の説明−レンズユニット）
図２は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの機能構成例を示すブロック図である。本実施形態のデジタルカメラは、レンズ交換式一眼レフカメラであり、撮影光学系の一部を含むレンズユニット１００と、撮像ユニットとしてのカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。

レンズユニット１００は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）、及び、これらの駆動／制御系を有する。このように、レンズユニット１００は、フォーカスレンズ１０４を含み、被写体の光学像を形成する撮影レンズである。

第１レンズ群１０１はレンズユニット１００の入光部側の先端に配置される。第１レンズ群１０１は、光軸方向ＯＡに移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能、及び静止画撮影時に露出時間を制御するメカニカルシャッタの機能を有する。絞り１０２及び第２レンズ群１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も、光軸方向ＯＡに移動可能である。フォーカスレンズ１０４の位置に応じて、合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節が行われる。

駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１及び第２レンズ群１０３を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を用いて絞り１０２を駆動することにより、絞り１０２の開口径及び開閉を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。

レンズＭＰＵ（Micro Processing Unit）１１７は、レンズユニット１００に係る演算及び制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭの信号線を通じてカメラＭＰＵ１２５と接続され、コマンド及びデータをカメラＭＰＵ１２５と通信する。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の現在位置などに関する情報をフォーカス駆動回路１１６から取得する。レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、レンズ位置情報をカメラＭＰＵ１２５に通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８には自動焦点検出に必要な光学情報があらかじめ記憶されている。また、レンズメモリ１１８に、さらにレンズユニット１００の動作に必要なプログラムなどが記憶されていてもよい。カメラＭＰＵ１２５は、例えば、内蔵する不揮発性メモリ、あるいはレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。

（撮像装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ１２１及び撮像素子１２２）と、駆動／制御系とを有する。レンズユニット１００の第１レンズ群１０１、絞り１０２、第２レンズ群１０３及びフォーカスレンズ１０４並びにカメラ本体１２０の光学ローパスフィルタ１２１は撮影光学系を構成する。

光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、ＣＭＯＳイメージセンサは、横方向（Ｘ方向）にｍ画素、縦方向（Ｙ方向）にｎ画素（ｎ、ｍは２以上の整数）が行列状に配置されたエリアセンサを含む。本実施形態の撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦが可能である瞳分割画素である。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９及びコントラストＡＦ部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像データに対し、例えばガンマ補正、ホワイトバランス調整処理、色補間処理、圧縮符号化処理などの画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号も生成する。すなわち、画像処理回路１２４は、位相差ＡＦ用のデータと、表示、記録及びコントラストＡＦ用の画像データとを生成し得る。

カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る演算、制御を行う情報処理装置である。より具体的には、カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、及びコントラストＡＦ部１３０を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンド及びデータを通信する。カメラＭＰＵ１２５はレンズＭＰＵ１１７に対し、レンズ位置の取得要求、絞り駆動要求、フォーカスレンズ駆動要求、ズーム駆動要求、レンズユニット１００に固有の光学情報の取得要求など行う。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、種々のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。なお、レンズメモリ１１８及びＲＡＭ１２５ｂは、それぞれ本実施形態の処理のための収差情報等を記憶する第１のメモリ及び第２のメモリとして機能する。

表示器１２６は、液晶ディスプレイなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。本実施形態の記録手段としてのメモリ１２８は、例えば着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、画像処理回路１２４により得られる焦点検出用データを用いて位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データ又は画像用データとして生成する。位相差ＡＦ部１２９は、この一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（像面位相差ＡＦ）を行う。位相差ＡＦ部１２９の動作についての詳細は後述する。なお、位相差ＡＦに用いるデータが、一対、すなわち２個であることは必須ではなく、３個以上でもよい。

位相差ＡＦの処理が可能なデジタルカメラは、複数の瞳領域に対応した撮影画像である視差画像を記録することも可能である。ユーザーは、複数の視差画像から所望の画像を選択することが可能となる。これにより、所望の視差、所望の被写界深度の画像を撮影画像として記録可能となる。例えば、ユーザーは、記録する画像として、オクルージョンの少ない画像、被写体のコントラストが高い画像等を選択できる。

コントラストＡＦ部１３０は、画像処理回路１２４が生成するコントラストＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理においては、フォーカスレンズ１０４を移動させてコントラストＡＦ用評価値がピークとなる位置が合焦位置として検出される。

このように、本実施形態のデジタルカメラは位相差ＡＦとコントラストＡＦの両方を実行可能であり、状況に応じてこれらのいずれか一方を選択的に使用したり、組み合わせて使用したりすることができる。

（焦点検出動作の説明：位相差ＡＦ）
以下、位相差ＡＦ部１２９及びコントラストＡＦ部１３０の動作についてさらに説明する。最初に、位相差ＡＦ部１２９の動作について説明する。

図３（ａ）は本実施形態における撮像素子１２２の画素配列を示す図である。図３（ａ）には、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲の画素２１１を、レンズユニット１００側から観察した状態が示されている。撮像素子１２２にはベイヤー配列のカラーフィルタが設けられている。奇数行目には、左から順に、緑（Ｇ）のカラーフィルタを有する画素２１１と、赤（Ｒ）のカラーフィルタを有する画素２１１とが交互に配置されている。偶数行目には、左から順に青（Ｂ）のカラーフィルタを有する画素２１１と、緑（Ｇ）のカラーフィルタを有する画素２１１とが交互に配置されている。画素２１１上には、図中に円で示されているようにオンチップマイクロレンズ２１１ｉが設けられている。また、画素２１１は、図中に矩形で示されているように、上面視においてオンチップマイクロレンズの内側に配置された光電変換部２１１ａ、２１１ｂを有する。

各画素２１１はＸ方向に並ぶ２つの光電変換部２１１ａ、２１１ｂを有している。換言すると、各画素２１１はＸ方向に２分割されている。この構成により、光電変換部２１１ａ、２１１ｂから出力される光電変換信号を個別に読み出すことと、２つの光電変換信号の和を読み出すことが可能である。また、２つの光電変換信号の和から一方の光電変換部からの光電変換信号を減じることで、他方の光電変換部からの光電変換信号に相当する信号を得ることができる。個々の光電変換部からの光電変換信号は位相差ＡＦ用のデータとして用いることができる。また、個々の光電変換部からの画像信号は３Ｄ（3-Dimensional）画像を構成する視差画像の生成に用いることもできる。また、光電変換信号の和を、通常の撮影画像データとして用いることができる。

ここで、位相差ＡＦを行う際の光電変換信号に対する演算について説明する。後述するように、本実施形態においては、図３（ａ）のオンチップマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ、２１１ｂにより撮影光学系の射出光束を瞳分割する。光電変換部２１１ａ、２１１ｂは本実施形態中で瞳分割画素を構成する。そして、所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力を加算して得られた信号をＡＦ用Ａ像、光電変換部２１１ｂの出力を加算して得られた信号をＡＦ用Ｂ像とする。一例としては、ＡＦ用Ａ像及びＡＦ用Ｂ像は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の各色の４つの画素２１１からの信号を加算することで算出された疑似的な輝度（Ｙ）信号を用いる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像及びＡＦ用Ｂ像を生成してもよい。このようにして生成されたＡＦ用Ａ像とＡＦ用Ｂ像の間の相対的な像ずれ量を相関演算により算出することで、所定領域の焦点ずれ量（デフォーカス値）を算出することができる。

本実施形態では、一方の光電変換部からの出力信号と、２つの光電変換部からの出力信号の和に相当する信号との２つの信号が撮像素子１２２から読み出されるものとする。例えば、光電変換部２１１ａからの出力信号と、光電変換部２１１ａ、２１１ｂの出力信号の和に相当する出力信号とが読み出される場合を考える。この場合、光電変換部２１１ｂの出力信号は、上述の和に相当する出力信号から光電変換部２１１ａからの出力信号を減じることで取得され得る。これにより、ＡＦ用Ａ像とＡＦ用Ｂ像の両方を得ることができ、位相差ＡＦが実現され得る。なお、これらの複数の画像信号の取得は画像信号取得手段として動作するカメラＭＰＵ１２５により制御される。

図３（ｂ）は本実施形態の撮像素子１２２の読み出し回路の構成例を示す図である。撮像素子１２２は、水平走査回路１５１、垂直走査回路１５３を有する。行方向及び列方向に配列された複数の画素２１１の境界部には、列方向に並ぶ複数の画素２１１に沿って水平走査ライン１５２ａ、１５２ｂが配され、行方向に並ぶ画素２１１に沿って垂直走査ライン１５４ａ、１５４ｂが配される。各行の垂直走査ライン１５４ａは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ａとを接続する。各行の垂直走査ライン１５４ｂは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ｂとを接続する。各列の水平走査ライン１５２ａは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ａとを接続する。各列の水平走査ライン１５２ｂは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ｂとを接続する。垂直走査回路１５３は、垂直走査ライン１５４ａ、１５４ｂを介して、各画素２１１に制御信号を送信し、信号の読み出し等の制御を行う。水平走査回路１５１は、水平走査ライン１５２ａ、１５２ｂを介して、各画素２１１から信号を読み出す。

なお、本実施形態の撮像素子１２２は、以下の２種類の読み出しモードでの信号の読み出しが可能である。第１の読み出しモードは、高精細静止画を撮影するための全画素読み出しモードである。全画素読み出しモードでは、撮像素子１２２に含まれる全ての画素２１１からの信号が読み出される。

第２の読み出しモードは、動画記録、あるいはプレビュー画像の表示のみを行うための間引き読み出しモードである。動画記録、あるいはプレビュー画像の表示の用途では、高精細静止画を撮影する場合と比べて要求される解像度が低い。そのため、これらの用途の場合、撮像素子１２２に含まれる全画素から信号を読み出す必要がないため、所定比率に間引いた一部の画素のみから信号を読み出す間引き読み出しモードでの動作が行われる。また、高速に読み出す必要がある場合には、同様に間引き読み出しモードが用いられる。間引きの一例としては、Ｘ方向の間引きを行う際には、複数の画素からの信号を加算してＳ／Ｎ比の改善を図り、Ｙ方向の間引きを行う際には、間引かれる行の信号出力を無視するという処理を行うことが可能である。位相差ＡＦ及びコントラストＡＦは、第２の読み出しモードで読み出された信号に基づいて行うことで、高速な処理が可能である。

図４（ａ）及び図４（ｂ）は、本実施形態における撮影光学系の構造図である。図４（ａ）及び図４（ｂ）を参照して、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部との共役関係を説明する。撮像素子１２２内の光電変換部２１１ａ、２１１ｂと撮影光学系の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。撮影光学系の射出瞳面は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、撮影光学系のタイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化することがある。図４（ａ）では、レンズユニット１００の焦点距離が広角端と望遠端の中央にある状態を示されている。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状及び像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４（ａ）は、撮影光学系のＸＺ断面を示している。レンズユニット１００に対応する部分として、第１レンズ群１０１、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、フォーカスレンズ１０４及び鏡筒部材１０４ｂが図示されている。鏡筒部材１０１ｂは、第１レンズ群１０１を保持する部材である。開口板１０２ａは絞り開放時の開口径を規定する部材である。絞り羽根１０２ｂは絞り込み時の開口径を調節する部材である。鏡筒部材１０４ｂは、フォーカスレンズ１０４を保持する部材である。図２で説明した第２レンズ群１０３は図４（ａ）では図示を省略している。

なお、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、撮影光学系を通過する光束に対する制限部材として作用する。図４（ａ）に図示された鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、像面から観察した場合の光学的な虚像を模式的に示すものであり、必ずしも実際の構造を示すものではない。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面から射出瞳までの射出瞳距離をＺｅｐとしている。

画素２１１は像面中央近傍に配置されている。画素２１１は、最下層より順に、光電変換部２１１ａ、２１１ｂ、配線層２１１ｅ、２１１ｆ、２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材を備えている。そして２つの光電変換部２１１ａ、２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部２１１ａ、２１１ｂの表面に投影される。

図４（ｂ）は、撮影光学系の射出瞳面上における、光電変換部２１１ａ、２１１ｂの投影像を示したものである。図４（ｂ）には、光電変換部２１１ａ及び２１１ｂに対する投影像が、それぞれ、瞳領域ＥＰ１ａ及びＥＰ１ｂとして示されている。上述のように、画素２１１は、２つの光電変換部２１１ａ、２１１ｂのいずれか一方からの信号と、２つの光電変換部２１１ａ、２１１ｂからの信号の和とを出力することができる。２つの光電変換部２１１ａ、２１１ｂからの信号の和は、瞳領域ＥＰ１ａ、ＥＰ１ｂの両方の領域、すなわち、撮影光学系の瞳領域のほぼ全域（瞳領域ＴＬ）を通過した光束に基づく信号に対応する。このようにして、本実施形態の光電変換部２１１ａと２１１ｂは瞳分割画素を構成する。

図４（ａ）において、撮影光学系を通過する光束の最外部が線分Ｌで示されている。図４（ａ）の配置では、線分Ｌの位置は、絞り１０２の開口板１０２ａの端部の位置で決定されている。そのため、図４（ａ）に示されるように、瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する投影像は撮影光学系によるケラレがほぼ発生していない。図４（ｂ）では、図４（ａ）の射出瞳面上における光束の最外部がＴＬ（１０２ａ）の符号が付された円で示されている。図４（ａ）に示されるように、円の内部に、光電変換部２１１ａ、２１１ｂの投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。撮影光学系を通過する光束は、絞りの端部でのみ制限されているため、この円は、絞り１０２の開口部に相当する。像面中央では各投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂのケラレは光軸に対して対称となる。そのため、各光電変換部２１１ａ、２１１ｂが受光する光量は等しい。

位相差ＡＦを行う場合、画像信号取得手段として動作するカメラＭＰＵ１２５は、撮像素子１２２から上述した２種類の出力信号を読み出すように撮像素子駆動回路１２３を制御する。このとき、カメラＭＰＵ１２５は、画像処理回路１２４に対して焦点検出領域を示す情報を与える。さらに、カメラＭＰＵ１２５は、焦点検出領域内に含まれる画素２１１の出力信号から、ＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に供給するよう命令する。画像処理回路１２４はこの命令に従ってＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に出力する。画像処理回路１２４は、また、コントラストＡＦ部１３０に対してＲＡＷ画像データを供給する。

以上説明したように、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦを行い得る機能を有している。換言すると、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦの両方について、焦点検出装置の一部を構成している。

なお、ここでは一例として水平方向（Ｘ方向）に射出瞳が２分割されている構成を説明したが、撮像素子１２２の一部又は全部の画素について垂直方向（Ｙ方向）に射出瞳を２分割する構成としてもよい。また、例えば、画素２１１に光電変換部を４個配置することにより、水平方向及び垂直方向の両方向に射出瞳が分割される構成としてもよい。このように垂直方向に射出瞳が分割される画素２１１を設けることにより、水平方向だけでなく垂直方向の被写体のコントラストに対応した位相差ＡＦが可能となる。

（焦点検出動作の説明：コントラストＡＦ）
次に、図５を用いて、コントラストＡＦについて説明する。コントラストＡＦは、カメラＭＰＵ１２５とコントラストＡＦ部１３０が連携してフォーカスレンズ１０４の駆動と評価値の算出を繰り返し行うことで実現される。

図５は、第１の実施形態に係るコントラストＡＦ部１３０の構成及びこれと連携するカメラＭＰＵ１２５の構成を示すブロック図である。コントラストＡＦ部１３０は、ＡＦ評価用信号処理部４０１と、ラインピーク検出部４０２と、水平積分部４０３と、ライン最小値検出部４０４と、垂直ピーク検出部４０５と、垂直積分部４０６と、垂直ピーク検出部４０７とを有する。コントラストＡＦ部１３０は、さらに、ＢＰＦ(Band Pass Filter)４０８と、ラインピーク検出部４０９と、垂直積分部４１０と、垂直ピーク検出部４１１と、減算部４１２と、領域設定部４１３とを有する。カメラＭＰＵ１２５はＡＦ制御部４５１を有する。

画像処理回路１２４からＲＡＷ画像データがコントラストＡＦ部１３０に入力されると、ＲＡＷ画像データはまずＡＦ評価用信号処理部４０１に入力される。ＡＦ評価用信号処理部４０１は、ＲＡＷ画像データ内のベイヤー配列信号から緑（Ｇ）信号を抽出し、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理を行う。本実施形態では、コントラストＡＦが緑（Ｇ）信号を用いて行われる場合を説明するが、他の色の信号を用いてもよく、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全色を用いて輝度（Ｙ）信号を生成してから、輝度（Ｙ）信号を用いてコントラストＡＦを行ってもよい。以後の説明では、ＡＦ評価用信号処理部４０１で生成される出力信号は、用いられた信号の種類によらず、輝度信号Ｙと呼ぶ。ＡＦ評価用信号処理部４０１は、輝度信号Ｙをラインピーク検出部４０２、水平積分部４０３、ライン最小値検出部４０４及びＢＰＦ４０８に出力する。輝度信号Ｙがこれらの各部に入力されるタイミングは、後述の各評価値を生成すべきタイミングと合致するように制御される。

カメラＭＰＵ１２５は、領域設定部４１３に焦点検出領域の設定に関する情報を出力する。領域設定部４１３は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出部４０２、４０９、水平積分部４０３、ライン最小値検出部４０４、垂直積分部４０６、４１０及び垂直ピーク検出部４０５、４０７、４１１の各部に入力される。なお、領域設定部４１３は、焦点検出領域の設定に応じて複数の領域を選択可能である。

Ｙピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ラインピーク検出部４０２へ入力される。ラインピーク検出部４０２は、焦点検出領域内で水平ラインごとのＹラインピーク値を算出して、垂直ピーク検出部４０５に出力する。垂直ピーク検出部４０５は、ラインピーク検出部４０２から出力されたＹラインピーク値に対し焦点検出領域内で垂直方向にピークホールドを行い、Ｙピーク評価値を生成する。Ｙピーク評価値は、高輝度被写体及び低輝度被写体の判定に有効な指標である。

Ｙ積分評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、水平積分部４０３へ入力される。水平積分部４０３は、焦点検出領域内で水平ラインごとにＹの積分値を算出して、垂直積分部４０６に出力する。垂直積分部４０６は、水平積分部４０３で算出された積分値を、焦点検出領域内で垂直方向に積分することにより、Ｙ積分評価値を生成する。Ｙ積分評価値は、焦点検出領域内全体の輝度を判断する指標として用いることができる。

Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ライン最小値検出部４０４に入力される。ライン最小値検出部４０４は、焦点検出領域内で水平ラインごとにＹライン最小値を算出して減算部４１２に出力する。また、上述のＹピーク評価値の算出方法と同様の方法によりラインピーク検出部４０２で算出されたＹラインピーク値も減算部４１２に入力される。減算部４１２は、ラインピーク値からＹライン最小値を減算して垂直ピーク検出部４０７に出力する。垂直ピーク検出部４０７は、焦点検出領域内で減算部４１２からの出力に対し垂直方向にピークホールドを行い、Ｍａｘ−Ｍｉｎ評価値を生成する。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効な指標である。

領域ピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に入力される。ＢＰＦ４０８は、輝度信号Ｙから特定の周波数成分を抽出して焦点信号を生成し、ラインピーク検出部４０９に出力する。ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直ピーク検出部４１１に出力する。垂直ピーク検出部４１１は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内でピークホールドを行い、領域ピーク評価値を生成する。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。

全ライン積分評価値の算出方法について説明する。領域ピーク評価値の算出方法と同様にして、ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直積分部４１０に出力する。垂直積分部４１０は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、焦点検出の処理における主要なＡＦ評価値である。したがって、本実施形態のコントラストＡＦには主として全ライン積分評価値が用いられる。

カメラＭＰＵ１２５のＡＦ制御部４５１は、Ｙピーク評価値、Ｙ積分評価値、Ｍａｘ−Ｍｉｎ評価値、領域ピーク評価値及び全ライン積分評価値を取得する。ＡＦ制御部４５１は、レンズＭＰＵ１１７にフォーカスレンズ１０４を光軸方向に沿って所定方向に所定量移動させる指示を行う。その後、フォーカスレンズ１０４の移動後に新たに得られた画像データに基づいて再び上述の各評価値を算出する。これを繰り返すことで、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。本実施形態中では、全ライン積分評価値が最大値となる検出フォーカスレンズ位置と現時刻でのフォーカスレンズ位置の差が、コントラストＡＦ方式でのデフォーカス値に対応する。

本実施形態では、各種の評価値の算出に水平ライン方向及び垂直ライン方向の２方向の情報が用いられる。そのため、水平方向及び垂直方向の直交する２方向の被写体のコントラスト情報に対応した焦点検出を行うことができる。

（焦点検出領域の説明）
図６（ａ）及び図６（ｂ）は、撮影範囲２２０内における焦点検出領域２１９の一例を示す図である。図６（ａ）は、撮影範囲２２０内に配置された焦点検出領域２１９を示す図である。上述したように、位相差ＡＦ及びコントラストＡＦは、いずれも焦点検出領域２１９に対応する画素２１１から得られた信号に基づいて行われる。焦点検出領域２１９は、５行５列の複数の焦点検出領域を含み得る。

図６（ｂ）は、焦点検出領域２１９（１，１）〜２１９（５，５）を示す。括弧内の２つの引数は、焦点検出領域２１９内の行番号及び列番号をそれぞれ示している。図６（ａ）、図６（ｂ）に示した例では、焦点検出領域２１９（１，１）〜２１９（５，５）は、５行×５列分配置されており、すなわち２５個となっている。しかしながら、焦点検出領域２１９の個数、位置及び大きさは図示したものに限定されない。

（焦点検出処理のフローの説明）
次に、図１を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るＡＦ処理の動作に関して説明する。

図１は、本実施形態に係るＡＦ処理動作を示すフローチャートである。図１のフローチャートを参照しつつ、ＡＦ処理の詳細を説明する。以下のＡＦ処理動作は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンドなどを送信することによってレンズユニット１００の駆動や制御を行う場合も、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。

ステップＳ１において、カメラＭＰＵ１２５は焦点検出領域２１９を設定する。ここで設定される焦点検出領域２１９は、例えば、図６（ａ）、図６（ｂ）に示されるようなあらかじめ設定された領域であってもよく、主被写体の検出座標によって決定される領域であってもよい。例えば、図６（ａ）、図６（ｂ）の例では、焦点検出領域２１９（２，４）に人物の顔が検出可能である。この人物の顔を主被写体とした場合、焦点検出領域２１９（２，４）を焦点検出領域として設定することができる。

ここでは、焦点検出領域に対して、複数の焦点検出領域のうちの代表位置座標（ｘ１，ｙ１）を設定する。例えば、位置座標（ｘ１，ｙ１）は、例えば、焦点検出領域２１９に対する重心座標であってもよい。

ステップＳ２において、カメラＭＰＵ１２５は、ステップＳ１で設定された焦点検出領域に対して、焦点検出結果としてデフォーカス値ＤＥＦ（第１のデフォーカス値）を算出する。デフォーカス値ＤＥＦは、前述した位相差ＡＦ又はコントラストＡＦを適用した焦点検出動作によって求められる。また、本動作を行うカメラＭＰＵ１２５は、デフォーカス値算出手段を構成する。なお、デフォーカス値ＤＥＦの算出に先立って、画像信号取得手段として動作するカメラＭＰＵ１２５は、互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得しているものとする。

ステップＳ３において、カメラＭＰＵ１２５は、ＢＰ補正値の算出に必要なＡＦ条件のパラメータ（ＢＰ算出条件）を取得する。ＢＰ補正値とは、撮影光学系が有する設計上の光学収差及び製造誤差により生じ得る焦点検出誤差を補正するための値である。ＢＰ補正値は、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域２１９の位置座標（ｘ１，ｙ１）など、撮影光学系の変化及び焦点検出光学系の変化に伴い変化する。そのため、カメラＭＰＵ１２５は、ステップＳ２においてデフォーカス値の算出を行った際の、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域２１９の位置座標（ｘ１，ｙ１）などの情報を取得する。

さらに、本実施形態の撮影光学系は瞳分割の機能を有するため、本ステップにおいてカメラＭＰＵ１２５は、焦点検出時及び撮影時に使用する信号に対応する瞳領域に関する情報（瞳領域情報）を取得する。例えば、焦点検出時には撮影光学系の瞳領域のほぼ全域を通過した光束に基づく信号を用いてコントラストＡＦを行い、撮影画像用には、光電変換部２１１ａに対応する瞳領域に対応する信号を用いるものとする。この場合には、カメラＭＰＵ１２５は、瞳領域情報として、焦点検出時の瞳領域が瞳領域ＴＬであり、撮影時の瞳領域が瞳領域ＥＰ１ａであることを示す情報を取得する。なお、撮影画像とは、鑑賞用の画像を指し、撮影とは、新たに取得したデータ又は既に取得したデータから撮影画像を生成するための画像取得の処理を含む。

ステップＳ４において、カメラＭＰＵ１２５は、焦点検出に関する焦点検出情報を設定する。ここでは、ステップＳ３で取得したＢＰ算出条件を、焦点検出情報のパラメータとして設定する。焦点検出情報の例を図７（ａ）及び図７（ｂ）に示す。図７（ａ）及び図７（ｂ）は、焦点検出情報の例として、焦点状態を評価するコントラストの方向（水平，垂直）、色（赤，緑，青）及び空間周波数（Ｆｑ１，Ｆｑ２，Ｆｑ３，Ｆｑ４）の各組み合わせに対する、重み付けの大きさを示す情報についての表である。ここで設定される重み付け情報は、あらかじめ設定されている値であってもよく、検出された被写体情報に応じて変更される値としてもよいが、焦点検出用と撮影用とで、異なる情報を有するように設定する。

ここで、Ｋ＿ＡＦ＿Ｈ、Ｋ＿ＡＦ＿Ｖ、Ｋ＿ＩＭＧ＿Ｈ、Ｋ＿ＩＭＧ＿Ｖは、焦点検出、撮影に関する方向に対応する係数である。Ｋ＿ＡＦ＿Ｒ、Ｋ＿ＡＦ＿Ｇ、Ｋ＿ＡＦ＿Ｂ、Ｋ＿ＩＭＧ＿Ｒ、Ｋ＿ＩＭＧ＿Ｇ、Ｋ＿ＩＭＧ＿Ｂは、焦点検出、撮影に関する各色に対応する係数である。Ｋ＿ＡＦ＿Ｆｑ１〜Ｋ＿ＡＦ＿Ｆｑ４、Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｋ＿ＩＭＧ＿Ｆｑ４は焦点検出、撮影に関する各空間周波数に対応する係数である。

重み付けの大きさの具体例を説明する。一例として、コントラストの方向が水平方向で緑色の信号を用い、空間周波数Ｆｑ１におけるコントラストＡＦの結果を補正する場合、焦点検出用の設定情報は、以下のように設定される。
Ｋ＿ＡＦ＿Ｈ＝１
Ｋ＿ＡＦ＿Ｖ＝０
Ｋ＿ＡＦ＿Ｒ＝０
Ｋ＿ＡＦ＿Ｇ＝１
Ｋ＿ＡＦ＿Ｂ＝０
Ｋ＿ＡＦ＿Ｆｑ１＝１
Ｋ＿ＡＦ＿Ｆｑ２＝０
Ｋ＿ＡＦ＿Ｆｑ３＝０
Ｋ＿ＡＦ＿Ｆｑ４＝０

このような設定情報により、焦点検出用の信号のデフォーカスＭＴＦ(Modulation Transfer Function)のピーク情報は、水平方向で緑色の信号の特性と同じであることを示すことができる。一方、撮影用の設定情報は、例えば以下のように設定される。
Ｋ＿ＩＭＧ＿Ｈ＝０．５
Ｋ＿ＩＭＧ＿Ｖ＝０．５
Ｋ＿ＩＭＧ＿Ｒ＝０．２５
Ｋ＿ＩＭＧ＿Ｇ＝０．５
Ｋ＿ＩＭＧ＿Ｂ＝０．２５
Ｋ＿ＩＭＧ＿Ｆｑ１＝０
Ｋ＿ＩＭＧ＿Ｆｑ２＝０
Ｋ＿ＩＭＧ＿Ｆｑ３＝１
Ｋ＿ＩＭＧ＿Ｆｑ４＝０

このような設定情報により、ＲＧＢの信号をＹ信号相当に変換するための重み付けが行われ、撮影画像はＹ信号（白色）で評価される。また、水平方向及び垂直方向のいずれの方向のコントラストも同等の重みで評価され、焦点検出時とは異なる空間周波数Ｆｑ３で評価される。

ステップＳ４＿２からステップＳ５において、収差情報取得手段として動作するカメラＭＰＵ１２５は、瞳領域情報重み付け係数を用いた演算により、焦点検出又は撮影に対応する収差情報を取得する。

ステップＳ４＿２において、カメラＭＰＵ１２５は、ステップＳ３で取得された瞳領域に対応する複数の瞳領域情報重み付け係数を取得する。Ｋ＿ＡＦ＿ＰＴＬ、Ｋ＿ＡＦ＿ＰＡ、Ｋ＿ＡＦ＿ＰＢは、焦点検出に用いられる画像信号と複数の瞳領域の各々との対応関係を示す第１の重み付け情報である。Ｋ＿ＩＭＧ＿ＰＴＬ、Ｋ＿ＩＭＧ＿ＰＡ、Ｋ＿ＩＭＧ＿ＰＢは撮影（画像取得）に用いられる画像信号と複数の瞳領域との対応関係を示す第２の重み付け情報である。例えば、ステップＳ３において、焦点検出時の瞳領域がＴＬ、撮影時の瞳領域がＥＰ１ａとして設定されていた場合には、瞳領域情報重み付け係数は以下のように設定される。
Ｋ＿ＡＦ＿ＰＴＬ＝１
Ｋ＿ＡＦ＿ＰＡ＝０
Ｋ＿ＡＦ＿ＰＢ＝０
Ｋ＿ＩＭＧ＿ＰＴＬ＝０
Ｋ＿ＩＭＧ＿ＰＡ＝１
Ｋ＿ＩＭＧ＿ＰＢ＝０

ただし、上述の具体的な設定値は一例であり、これに限られない。また重み付けを設定する設定値の種類なども一例であり、これに限らない。

ステップＳ５において、カメラＭＰＵ１２５は、瞳領域情報重み付け係数を用いて収差情報を取得する。ここで、収差情報とは、ステップＳ３及びステップＳ４で設定されたＢＰ算出条件での光学系の収差状態を表す情報であり、例えば、被写体の色、方向、空間周波数ごとの撮影光学系の結像位置に関する情報である。

図８（ａ）、図８（ｂ）を参照しつつ、記憶手段であるＲＡＭ１２５ｂ（カメラメモリ）又はレンズメモリ１１８に格納されている空間周波数に対応する収差情報の例を説明する。図８（ａ）は、撮影光学系のデフォーカスＭＴＦを示すグラフである。横軸は、フォーカスレンズ１０４の位置を示しており、縦軸はＭＴＦを示している。図８（ａ）に描かれている４種の曲線（ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４）は、４種類の空間周波数にそれぞれ対応するデフォーカスＭＴＦ曲線である。すなわち、４つのデフォーカスＭＴＦ曲線は、ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４の順に、空間周波数が低い方から高い方に変化した場合におけるＭＴＦの極大値の変化を示している。空間周波数Ｆｑ１（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ１と対応し、同様に、空間周波数Ｆｑ２、Ｆｑ３、Ｆｑ４（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ２、ＭＴＦ３、ＭＴＦ４とそれぞれ対応する。また、ＬＰ４、ＬＰ５、ＬＰ６、ＬＰ７は、各デフォーカスＭＴＦ曲線ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４がそれぞれ極大値になるときのフォーカスレンズ１０４の位置を示している。なお、図中の空間周波数Ｎｑは撮像素子１２２の画素ピッチに依存するナイキスト周波数を示す。

図８（ｂ）に、本実施形態における収差情報の例を示す。図８（ｂ）は、図８（ａ）のデフォーカスＭＴＦが極大値となるフォーカスレンズ１０４の位置（ピーク位置）と空間周波数の関係を示すグラフである。ＭＴＦ＿Ｐ＿ＲＨ、…、ＭＴＦ＿Ｐ＿ＢＶで示される６種類の曲線は、色と方向の組み合わせが異なるものである。添字の（Ｒ，Ｇ，Ｂ）が色（赤，緑，青）を示しており、添字の（Ｈ，Ｖ）が方向（水平，垂直）を示している。例えば、色が赤で方向が水平の場合に対応する収差情報であるＭＴＦ＿Ｐ＿ＲＨの曲線は、空間周波数ｆと焦点検出領域２１９の位置座標（ｘ１，ｙ１）を変数（ｘ，ｙ）とし、収差係数ｒｈ（ｎ）（ｎは０から８の整数）を係数とした以下の式で表現される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ，ｘ，ｙ）
＝（ｒｈ（０）×ｘ＋ｒｈ（１）×ｙ＋ｒｈ（２））×ｆ^２
＋（ｒｈ（３）×ｘ＋ｒｈ（４）×ｙ＋ｒｈ（５））×ｆ
＋（ｒｈ（６）×ｘ＋ｒｈ（７）×ｙ＋ｒｈ（８）） （１）

本実施形態において、ｒｈ（ｎ）は、レンズユニット１００のＲＡＭ１２５ｂ（カメラメモリ）又はレンズメモリ１１８にあらかじめ記憶されるものとする。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に要求してレンズメモリ１１８からｒｈ（ｎ）を取得する。しかしながら、ｒｈ（ｎ）はＲＡＭ１２５ｂの不揮発性領域に記憶されていてもよい。この場合、カメラＭＰＵ１２５は、ｒｈ（ｎ）をＲＡＭ１２５ｂから取得する。

その他の曲線も式（１）と同様の式で表現される。赤と垂直（ＭＴＦ＿Ｐ＿ＲＶ）、緑と水平（ＭＴＦ＿Ｐ＿ＧＨ）、緑と垂直（ＭＴＦ＿Ｐ＿ＧＶ）、青と水平（ＭＴＦ＿Ｐ＿ＢＨ）、青と垂直（ＭＴＦ＿Ｐ＿ＢＶ）の各組み合わせにおける係数（ｒｖ，ｇｈ，ｇｖ，ｂｈ，ｂｖ）とする。これらの係数も同様にＲＡＭ１２５ｂ又はレンズメモリ１１８に記憶されており、カメラＭＰＵ１２５の要求により取得される。

さらに、本実施形態においては、ＲＡＭ１２５ｂ又はレンズメモリ１１８は、各瞳領域に対応して、収差情報を記憶する。各瞳領域に対応した式（１）の収差情報を得るための処理について説明する。

ＲＡＭ１２５ｂ又はレンズメモリ１１８に記憶される係数を図９に示す。図９において、例えば、ｒｈ＿ＴＬ（ｎ）は、赤、水平及び瞳領域ＴＬの条件に対応する係数であり、ｇｖ＿Ａ（ｎ）は、緑、垂直及び瞳領域ＥＰ１ａの条件に対応する係数である。

カメラＭＰＵ１２５は、焦点検出時における瞳領域、又は記録時若しくは鑑賞時に使用する撮影画像の瞳領域に対応した収差情報を、ステップＳ４＿２で設定された瞳領域重み付け係数に従って選択する。ここで瞳領域重み付け係数は、図７（ｃ）に示す、Ｋ＿ＡＦ＿ＰＴＬ、Ｋ＿ＡＦ＿ＰＡ、Ｋ＿ＡＦ＿ＰＢ、Ｋ＿ＩＭＧ＿ＰＴＬ、Ｋ＿ＩＭＧ＿ＰＡ、Ｋ＿ＩＭＧ＿ＰＢである。

瞳領域重み付け係数は、焦点検出用と撮影画像用とで異なる値となっているので、瞳領域重み付け係数と図９に示す係数に基づき、焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）と撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）が得られる。焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）と撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）は、以下の式（２）及び式（３）を用いて表される。

ｒｈ＿ＡＦ（ｎ）
＝ｒｈ＿ＴＬ（ｎ）×Ｋ＿ＡＦ＿ＰＴＬ
＋ｒｈ＿Ａ（ｎ）×Ｋ＿ＡＦ＿ＰＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＡＦ＿ＰＢ （２）
ｒｈ＿ＩＭＧ（ｎ）
＝ｒｈ＿ＴＬ（ｎ）×Ｋ＿ＩＭＧ＿ＰＴＬ
＋ｒｈ＿Ａ（ｎ）×Ｋ＿ＩＭＧ＿ＰＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＩＭＧ＿ＰＢ （３）

上述のステップＳ４＿２の説明で例示した瞳領域情報重み付け係数を用いて、式（２）、式（３）を計算して収差係数の重み付けを行うと、以下の式（２’）及び式（３’）が得られる。
ｒｈ＿ＡＦ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （２’）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿Ａ（ｎ） （３’）

式（２’）及び式（３’）は、焦点検出時には、射出瞳全体に対応する収差状態に基づき後述するＢＰ補正値の演算が行われ、撮像画像の記録時等には、瞳領域ＥＰ１ａの収差状態に基づき後述するＢＰ補正値の演算が行われることを意味する。

なお、上述の説明では、色が赤で、方向が水平の場合の係数について例示したが、他の色、方向においても、同様の処理が可能である。

焦点検出用の収差係数ｒｈ＿ＡＦ（ｎ）を式（１）のｒｈ（ｎ）に代入すると、図１０（ａ）に示すように各色、各方向に対応した空間周波数ごとのデフォーカスＭＴＦの極大値が得られる。撮影画像用の収差係数ｒｈ＿ＩＭＧ（ｎ）を式（１）のｒｈ（ｎ）に代入すると、同様に、図１０（ａ）に示すように各色、各方向に対応した空間周波数ごとのデフォーカスＭＴＦの極大値が得られる。このようにして、焦点検出用及び撮影画像用のそれぞれに対応する収差情報を取得することができる。

このように、本実施形態によれば、焦点検出、撮影画像の各々について、瞳領域に対応する収差情報を選択し用いることができる。これにより、瞳領域ごとの収差の差を考慮した補正が可能となる。これにより、高精度なＢＰ補正値の算出が可能である。

なお、瞳分割数（本実施形態では２個）、瞳分割の方向等の瞳分割の方法は本実施形態の方法に限定されるものではない。瞳分割の個数、方向等は、適宜変更し得る。また、レンズメモリ１１８に記憶される収差情報の情報量を低減するために、選択される瞳領域の面積が等しいか又は近い場合には、共通の収差情報を用いてもよい。例えば、図４（ｂ）のように瞳領域が線対称の系である場合には、製造誤差が大きい場合などを除き、収差情報は近い特性を持つ。よって、収差情報を共通化してもよい。

本実施形態のように収差情報を関数化し、各項の係数を収差係数として記憶させておくことにより、数値データのまま記憶させた場合と比べてレンズメモリ１１８又はＲＡＭ１２５ｂ（カメラメモリ）に記憶されるデータ量が削減される。また、撮影光学系の変化及び焦点検出光学系の変化に対応することも可能となる。

ステップＳ６において、補正値算出手段として機能するカメラＭＰＵ１２５は、ステップＳ４で取得した焦点検出情報と、ステップＳ５で取得した瞳領域に対応した収差情報から、ＢＰ補正値を算出する。ここでは、焦点検出に対応する光学系の収差情報ＢＰ１と、撮影画像に対応する光学系の収差情報ＢＰ２と、ステップＳ４で設定された色、方向、周波数の重み付け係数である焦点検出情報とを用いて、ＢＰ補正値を算出する例を説明する。

まず、前述したように、式（１）のｘ，ｙに、焦点検出領域２１９の位置情報（ｘ１，ｙ１）を代入する。この計算により式（１）は、係数Ａｒｈ、Ｂｒｈ及びＣｒｈを用いて以下の式（４）のような形式で表される。
ＭＴＦ＿Ｐ＿ＲＨ１（ｆ）＝Ａｒｈ１×ｆ^２＋Ｂｒｈ１×ｆ＋Ｃｒｈ１ （４）

カメラＭＰＵ１２５は、同様にして、焦点検出に関する収差情報ＭＴＦ＿Ｐ＿ＲＶ１（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ１（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ１（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ１（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ１（ｆ）を計算する。また、カメラＭＰＵ１２５は、同様にして、撮影画像に関する収差情報ＭＴＦ＿Ｐ＿ＲＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＲＶ２（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ２（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ２（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ２（ｆ）を計算する。

図１０（ａ）、図１０（ｂ）に示されるとおり、色収差、縦横方向の収差により、各曲線は乖離する。色収差が大きい場合には、色ごとの曲線が大きく乖離し、収差の縦横差が大きい場合には、水平方向と垂直方向に対応する曲線が大きく乖離する。このように、本実施形態では、色（Ｒ，Ｇ，Ｂ）と評価方向（Ｈ，Ｖ）との組み合わせごとに、空間周波数に対応したデフォーカスＭＴＦ情報を得ることができる。

次に、カメラＭＰＵ１２５は、ステップＳ４で取得した焦点検出情報を構成する係数（図７（ａ）、図７（ｂ））で、各瞳領域に対応する収差情報を重み付けする。この動作により、収差情報が、焦点検出及び撮影画像について評価する色及び方向に関して重み付けされる。具体的には、カメラＭＰＵ１２５は、焦点検出用の空間周波数特性である収差情報ＭＴＦ＿Ｐ＿ＡＦ（ｆ）と撮影画像用の空間周波数特性である収差情報ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を、式（５）及び式（６）を用いて算出する。

ＭＴＦ＿Ｐ＿ＡＦ（ｆ）
＝Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ１（ｆ） （５）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）
＝Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ２（ｆ） （６）

図１１は、上述の式（５）、式（６）により得られたＭＴＦ＿Ｐ＿ＡＦ（ｆ）とＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を示すグラフである。図１１には、離散的な空間周波数Ｆｑ１からＦｑ４について、デフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ１０４の位置（ピーク位置）ＬＰ４＿ＡＦ、ＬＰ５＿ＡＦ、ＬＰ６＿ＡＦ、ＬＰ７＿ＡＦが縦軸に示されている。

次に、カメラＭＰＵ１２５は、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を、以下の式（７）及び（８）に従って算出する。算出には、空間周波数特性に係る収差情報ＭＴＦ＿Ｐ＿ＡＦ（ｆ）、ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）と、ステップＳ４で得た評価帯域Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｆｑ４、Ｋ＿ＡＦ＿Ｆｑ１〜Ｆｑ４を用いる。

Ｐ＿ＩＭＧ
＝ＭＴＦ＿Ｐ＿ＩＭＧ（１）×Ｋ＿ＩＭＧ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＩＭＧ（２）×Ｋ＿ＩＭＧ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＩＭＧ（３）×Ｋ＿ＩＭＧ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＩＭＧ（４）×Ｋ＿ＩＭＧ＿Ｆｑ４ （７）
Ｐ＿ＡＦ
＝ＭＴＦ＿Ｐ＿ＡＦ（１）×Ｋ＿ＡＦ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＡＦ（２）×Ｋ＿ＡＦ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＡＦ（３）×Ｋ＿ＡＦ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＡＦ（４）×Ｋ＿ＡＦ＿Ｆｑ４ （８）

すなわち、カメラＭＰＵ１２５は、図１１に示される空間周波数ごとのデフォーカスＭＴＦの極大値情報を、Ｋ＿ＩＭＧ＿ＦＱ、Ｋ＿ＡＦ＿ＦＱで重み付け加算する。それにより、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を算出している。

次にカメラＭＰＵ１２５は、ＢＰ補正値（ＢＰ）を、以下の式（９）により算出する。
ＢＰ＝Ｐ＿ＡＦ−Ｐ＿ＩＭＧ （９）

ステップＳ７において、デフォーカス値補正手段として機能するカメラＭＰＵ１２５は、以下の式（１０）により、デフォーカス値ＤＥＦを補正することにより焦点検出結果の補正を行う。補正後のデフォーカス値をｃＤＥＦ（第２のデフォーカス値）とする。なお、ここで用いられるデフォーカス値は、前述したように、コントラストＡＦで得られるものであってもよく、位相差ＡＦで得られるものであってもよい。
ｃＤＥＦ＝ＤＥＦ−ＢＰ （１０）

ステップＳ８において、焦点制御手段として動作するカメラＭＰＵ１２５が、ステップＳ７で得られたデフォーカス値ｃＤＥＦ分だけフォーカスレンズ１０４を駆動させるように、フォーカスアクチュエータ１１３を制御する。この動作により、撮影光学系の焦点位置が補正を考慮した合焦位置となるようにフォーカスレンズ１０４が駆動される。以上によりＡＦ処理が完了する。

本実施形態では、焦点検出領域２１９の位置、評価する色及び方向に関する処理を、空間周波数に関する処理よりも先行して実行している。これは、撮影者が焦点検出領域２１９の位置を設定するモードの場合、焦点検出領域２１９の位置、評価する色及び方向に関する情報は変更される頻度が低いためである。

一方で、信号の評価する空間周波数については、撮像素子１２２の読出しモード、ＡＦ評価信号に係るデジタルフィルタなどにより変更される頻度が高い。例えば、信号のＳ／Ｎ比が低下する低輝度環境では、デジタルフィルタの帯域をより低帯域に変更することなどがあり得る。そのため、変更の頻度が低い係数（ピーク係数）を算出後に記憶しておき、変更の頻度の高い係数（空間周波数）のみを必要に応じて計算し、ＢＰ補正値の算出を行ってもよい。これにより、撮影者が焦点検出領域の位置を設定する場合などには、評価する空間周波数の係数のみを更新して処理することが可能であり、演算量を低減することができる。

本実施形態によれば、一部の瞳領域を通過した光束に基づく信号が焦点検出信号又は撮影画像に使用される場合であっても、その瞳領域に対応した収差情報を選択可能であるため、高精度な焦点検出結果補正が可能である。さらに、本実施形態によれば、瞳領域ごとのレンズの収差情報と、カメラの重み付け係数とを用いてＢＰ補正値を算出することができる。そのため、各カメラ、焦点検出モード、撮影モードに対応するＢＰ補正値を個別に記憶しておかなくても、レンズの収差情報を用いてカメラがＢＰ補正値を算出することができるため、焦点検出結果補正のための記憶容量を低減することができる。

さらに、交換可能なレンズユニット１００（交換レンズ）とカメラ本体２００とを組み合わせたカメラシステムにおいて、ＢＰ補正値の算出に必要な収差情報などの情報をレンズユニット１００とカメラ本体２００に分けて記憶させてもよい。例えば、レンズユニット１００内のレンズメモリ１１８に収差情報を記憶させておき、カメラ本体２００のＲＡＭ１２５ｂに重み付け係数を記憶させておく構成であってもよい。この構成によれば、レンズユニット１００とカメラ本体２００の間の適合性に優れるカメラシステムが実現可能となる。例えば、カメラ本体２００よりも後にレンズユニット１００が発売されるような場合であっても、両者を適合させることができ、ＢＰ補正値が算出可能となる。

撮影光学系の全域の瞳領域ＴＬに対応する収差情報と、撮影光学系の一部の瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報とは、いずれもＲＡＭ１２５ｂに記憶させておくことができる。また、これらは、いずれもレンズメモリ１１８に記憶されていてもよい。しかしながら、瞳領域ＴＬに対応する収差情報は、視差画像を記録する機能を有しないカメラに対しても使用され得るものであるが、瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報は、このようなカメラでは使用されないという場合がある。そのため、レンズメモリ１１８には瞳領域ＴＬに対応する収差情報のみを記憶させておき、ＲＡＭ１２５ｂには瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する収差情報を記憶させておいてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、焦点検出に用いる光束が通過する瞳領域と、撮影に用いる光束が通過する瞳領域とにそれぞれ対応した収差情報を用いることにより高精度な焦点検出誤差の補正が行われる。これに対し、本実施形態は、焦点検出、撮影に用いる光束が通過する瞳領域ごとに収差寄与率に応じた収差情報の重み付けを行う点が第１の実施形態と異なる。この重み付けに用いられる係数は、焦点検出に用いる光束を構成する収差情報の対に係るビネッティングに関する条件、収差量等に基づき定められる。なお、本実施形態では、ＡＦ動作は位相差焦点検出により行われるものとする。

図１２は、本実施形態に係るＡＦ処理動作を示すフローチャートである。図１２を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るＡＦ処理の動作に関して説明する。撮像装置等の装置構成は第１の実施形態と共通であるため説明を省略する。また、本実施形態のステップＳ１からＳ４及びＳ６からＳ８は、第１の実施形態と共通であるため、説明を省略する。

ステップＳ８０５において、瞳領域ごとに収差情報の重み付けが行われる。焦点検出、撮影に関する瞳領域ごとの収差情報の重み付け係数をそれぞれＫ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢとする。このとき、赤色及び水平方向に対応する、瞳領域ごとの収差情報の重み付けは、以下の式（１１）、式（１２）により行われる。
ｒｈ＿ＡＦ（ｎ）
＝ｒｈ＿Ａ（ｎ）×Ｋ＿ＡＦ＿ＳＡ
＋ｒｈ＿Ｂ（ｎ）×Ｋ＿ＡＦ＿ＳＢ （１１）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （１２）

例えば、瞳領域ごとの収差情報の重み付け係数が、Ｋ＿ＡＦ＿ＳＡ＝０．８、Ｋ＿ＡＦ＿ＳＢ＝０．２である場合、式（１１）、式（１２）は、以下の式（１１’）、式（１２’）のように変形される。
ｒｈ＿ＡＦ（ｎ）
＝０．８×ｒｈ＿Ａ（ｎ）
＋０．２×ｒｈ＿Ｂ（ｎ） （１１’）
ｒｈ＿ＩＭＧ（ｎ）＝ｒｈ＿ＴＬ（ｎ） （１２’）

式（１１’）は、焦点検出結果に対して瞳領域ＥＰ１ｂに関する収差に比べ瞳領域ＥＰ１ａに関する収差の影響が大きいことを意味する。なお、他の色及び他の方向においても、同様の処理が行われる。

次に、瞳領域ごとの収差情報の重み付け係数の算出方法について説明する。まず、瞳領域ごとの収差の寄与率に関して図１３から図１５、図２０を参照して説明する。

図２０（ａ）、図２０（ｂ）及び図２０（ｃ）は、センサの設定瞳距離と撮影光学系の射出瞳距離を示す図である。図２０（ａ）、図２０（ｂ）及び図２０（ｃ）は、撮像素子１２２（センサ）の周辺像高における光電変換部２１１ａ、２１１ｂの瞳領域５００及び撮影光学系の射出瞳４００の関係を示している。瞳領域５００は、光電変換部２１１ａの瞳部分領域５０１及び光電変換部２１１ｂの瞳部分領域５０２を含む。図中の距離Ｄｌは、撮影光学系の射出瞳距離（射出瞳４００と撮像素子１０７の撮像面との距離）を表している。距離Ｄｓは、撮像素子１２２の設定瞳距離（センサの設定瞳距離）表している。

図２０（ａ）は、撮影光学系の射出瞳距離Ｄｌと、センサの設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１及び瞳部分領域５０２により、撮影光学系の射出瞳４００は略均等に瞳分割される。

一方、図２０（ｂ）に示されるように、撮影光学系の射出瞳距離Ｄｌがセンサの設定瞳距離Ｄｓよりも短い場合、センサの周辺像高では、撮影光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、撮影光学系の射出瞳４００が不均一に瞳分割される。同様に、図２０（ｃ）に示されるように、撮影光学系の射出瞳距離Ｄｌがセンサの設定瞳距離Ｄｓよりも長い場合も、センサの周辺像高では、撮影光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、撮影光学系の射出瞳４００が不均一に瞳分割される。

図１３は、撮像素子１２２での受光強度の分布を示すグラフである。図１３（ａ）は、横軸をセンサの設定瞳距離における位置（センサ瞳面座標）とした場合の受光強度分布であり、図１３（ｂ）は、横軸を撮影光学系の射出瞳面における位置とした場合の受光強度分布である。図中の一点鎖線は絞り１０２の開口部の端部に相当する位置を示している。また、軸の交点は光軸上の点を示している。

図１３（ａ）は、撮影光学系の射出瞳距離がセンサの設定瞳距離よりも短く、焦点検出領域が周辺像高に設定された場合における受光強度分布を示す。また、図中の９０１Ａ、９０１Ｂの符号が付された２つのグラフは、それぞれ光電変換部２１１ａ、２１１ｂに対応した受光強度分布である。なお、絞り１０２により光束の一部が遮られるため、実際に得られる信号は、絞り１０２の位置を示す２本の線の間の領域が切り出されたものとなる。図１３（ｂ）は、絞り１０２により切り出された受光強度分布９０１Ａ、９０１Ｂを撮影光学系の射出瞳面の位置に投影し、さらに受光強度をそれぞれの光量で規格化したものを、受光強度分布９０２Ａ、９０２Ｂとして示すグラフである。受光強度分布９０２Ａは面内における強度の変化が大きく、図中の左側ほど強度が強くなっている。これに対し、受光強度分布９０２Ｂは、受光強度分布９０２Ａと比べて面内における強度の変化が小さい。

図１４は撮影光学系の射出瞳面内における、撮影光学系に含まれるレンズの収差量を示すグラフである。ここで縦軸の収差量は、横収差の量を表しており、本実施形態では、この収差は、一例としてコマ収差であるものとして説明する。図１４に示される１００１の符号が付されたグラフにより、撮影光学系のレンズのコマ収差は射出瞳面の端部に近づくにつれて大きくなることがわかる。

図１５（ａ）は、図１３（ａ）に示す受光強度分布と、図１４に示す収差量とを乗算して得られる収差寄与率分布を示すグラフである。図中の１１０１Ａ、１１０１Ｂの符号が付された２つのグラフは、それぞれ光電変換部２１１ａ、２１１ｂに対応した収差寄与率分布である。光電変換部２１１ａに関する収差寄与率分布１１０１Ａは、図中の左端において大きい値となっている。これは、受光強度分布９０２Ａの強度が高い左端において撮影光学系のレンズの収差も大きいためである。これに対して、光電変換部２１１ｂに対する収差寄与率分布１１０１Ｂの左端は、受光強度分布９０２Ｂの分布が比較的平坦であるため、収差寄与率分布１１０１Ａの左端に比べて小さな値となっている。

図１５（ｂ）は、収差寄与率分布１１０１Ａから収差寄与率分布１１０１Ｂを減算して得られる収差寄与率分布１１０３を示すグラフである。このグラフは、収差寄与率分布１１０３がプラス方向に大きいほど、光電変換部２１１ａに対する収差寄与率が大きく、マイナス方向に大きいほど、光電変換部２１１ｂに対する収差寄与率が大きいことを意味している。射出瞳面内全体での光電変換部２１１ａ、光電変換部２１１ｂのそれぞれに対する収差寄与率Ｓａ、Ｓｂは図中にハッチングで示された領域の面積で表わされる。

図１５（ｂ）の例では、収差寄与率ＳａとＳｂの比率の概算値は、Ｓａ：Ｓｂ＝５：２であり、光電変換部２１１ａへの入射光の方が、撮影光学系のレンズの収差の影響を大きく受けている。光電変換部２１１ａについては、受光強度が大きい箇所と収差が大きい箇所とが一致しているため収差寄与率Ｓａが大きくなるが、光電変換部２１１ｂについては、受光強度分布が比較的平坦であるため、収差寄与率Ｓｂはさほど大きくならないためである。このように、収差が大きい箇所において、光電変換部２１１ａと光電変換部２１１ｂに関し、絞り１０２を通過した光束に対する強度分布の差が大きい場合に、寄与率の差が大きくなる。

位相差ＡＦでは、光電変換部２１１ａ、光電変換部２１１ｂの各々に基づく２つの信号を用いて焦点検出を行う。そのため、光電変換部２１１ａ、光電変換部２１１ｂへの入射光について収差の寄与率が異なる場合、射出瞳面上の瞳領域に対する収差情報を用いてＢＰ補正値を算出すると、補正誤差が生じる。その理由について説明する。

位相差ＡＦは、デフォーカスによる線像強度分布の重心ずれ量に基づいて合焦位置を算出する手法である。図１６に、デフォーカスによる線像強度分布の重心ずれ量を説明するための図を示す。図１６は、重心ずれ量及び相関演算結果（線像強度分布の位置ずれ量）の少なくとも１つに差を与える収差（以下、コマ収差等の収差と呼ぶ）並びに絞り１０２等によるケラレ（ビネッティング）がないと仮定した状態の線像強度分布を示している。このような場合、位相差ＡＦにおいて焦点検出誤差が生じない。

図１６には、互いに異なるフォーカス位置１２０１＿Ｐ、１２０２＿Ｐにおける線像強度分布が示されている。線像強度分布１２０１＿Ａ、１２０１＿Ｂは、それぞれ光電変換部２１１ａ、２１１ｂに対応する、１２０１＿Ｐにおける一対の線像強度分布である。線像強度分布１２０２＿Ａ、１２０２＿Ｂは、それぞれ光電変換部２１１ａ、２１１ｂに対応する、１２０２＿Ｐにおける一対の線像強度分布である。また、一点鎖線で示された１２０１＿ＧＡ、１２０１＿ＧＢは、それぞれ線像強度分布１２０１＿Ａ、１２０１＿Ｂの重心位置を示している。一点鎖線で示された１２０２＿ＧＡ、１２０２＿ＧＢは、それぞれ１２０２＿Ａ、１２０２＿Ｂの重心位置を示している。さらに、重心ずれ量１２０１＿ｄｉｆＧは、１２０１＿ＧＡ、１２０１＿ＧＢの差分を示しており、重心ずれ量１２０２＿ｄｉｆＧは、１２０２＿ＧＡ、１２０２＿ＧＢの差分を示している。

図１６に示されるように、コマ収差等の収差及び絞り１０２等によるケラレがない場合には、デフォーカスに応じて、重心ずれ量１２０１＿ｄｉｆＧ、１２０２＿ｄｉｆＧが変化する。そのため、これらの重心ずれ量１２０１＿ｄｉｆＧ、１２０２＿ｄｉｆＧに基づいて、デフォーカス値を算出することで、位相差ＡＦを行うことができる。

次に、撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合について説明する。図１７（ａ）は、撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合の一対の線像強度分布を示す図である。

図１７（ａ）において、破線で示された線像強度分布１３０１＿Ａは、光電変換部２１１ａに対応する線像強度分布である。実線で示された線像強度分布１３０１＿Ｂは光電変換部２１１ｂに対応する線像強度分布である。一点鎖線で示されたＧ＿Ａは、線像強度分布１３０１＿Ａの重心位置を示しており、一点鎖線で示されたＧ＿Ｂは線像強度分布１３０１＿Ｂの重心位置を示している。

図１７（ａ）に示されるように線像強度分布１３０１＿Ａ、１３０１＿Ｂは、光学系のコマ収差等の収差の影響により、片側に尾を引いた非対称形状の分布となっている。このような非対称形状である場合、線像強度分布の重心位置Ｇ＿Ａ、Ｇ＿Ｂが尾を引いた側にシフトするため、重心ずれが生じる。

また、線像強度分布１３０１＿Ａ、１３０１＿Ｂは、撮影光学系の絞り１０２等によるケラレの影響により差が生じる。よりケラレの影響が大きい線像強度分布１３０１＿Ａの方がコマ収差等の収差の影響を大きく受けており、非対称性がより大きい。このように、非対称性が線像強度分布１３０１＿Ａ、１３０１＿Ｂの間で異なることにより、それぞれの重心位置Ｇ＿Ａ、Ｇ＿Ｂのずれ量が互いに異なる。図１７（ｂ）は、図１７（ａ）における線像強度分布１３０１＿Ａ、１３０１＿Ｂを足し合わせた線像強度分布１３０１＿ＩＭＧを示す図である。線像強度分布１３０１＿ＩＭＧは、光電変換部２１１ａ、２１１ｂの各々で生成された光電変換信号の和に対応する。

図１７（ｃ）は、図１７（ａ）の状態とは異なるデフォーカス位置における線像強度分布を示す図である。この状態では、点線で示された線像強度分布１３０２＿Ａと、実線で示された線像強度分布１３０２＿Ｂとの重心位置が一致している。図１７（ｄ）は、図１７（ｂ）と同様に、図１７（ｃ）における線像強度分布１３０２＿Ａ、１３０２＿Ｂを足し合わせた線像強度分布１３０２＿ＩＭＧを示す図である。

図１７（ｂ）と図１７（ｄ）を比較すると、重心位置の異なる線像強度分布の和である線像強度分布１３０１＿ＩＭＧのピークの方が、重心位置が一致した線像強度分布の和である線像強度分布１３０２＿ＩＭＧのピークよりも急峻である。撮影画像の信号に対応する線像強度分布１３０１＿ＩＭＧ、１３０２＿ＩＭＧのピーク形状が最も急峻であり、コントラストが最大となる位置が、合焦位置である。そのため、重心位置の異なる図１７（ａ）の状態がより合焦位置に近い状態であり、重心位置が一致した図１７（ｃ）の状態は図１７（ａ）の状態よりも合焦位置から遠い状態であるといえる。

このことから、非対称性が一対の線像強度分布間で異なり、重心ずれ量に差が生じている場合には、重心位置が一致する位置が合焦位置とはならず、重心位置が異なる位置が合焦位置となることがある。言い換えると、合焦位置の検出に誤差が生じている。

以上のように、線像強度分布１３０１＿Ａ、１３０１＿Ｂのように撮影光学系のコマ収差等の収差又は絞り１０２等によるケラレが大きい場合、デフォーカスによる重心ずれ量に加えて、線像強度分布の非対称性に起因した重心ずれ量差が生じる。これにより、位相差ＡＦの処理において、本来合焦位置と検出するべきデフォーカス位置で、ピントずれがあると検出する誤検出が生じ得る。また、その際の合焦位置からのずれ量は、光電変換部２１１ａと光電変換部２１１ｂの間の収差の寄与率の差が大きいほど、大きくなる。

次に、重心ずれ量差と、撮影光学系のデフォーカスＭＴＦとの関係について説明する。
図１８（ａ）及び図１８（ｂ）は、撮影光学系のデフォーカスＭＴＦを示す。図１８（ａ）は、瞳領域ＴＬに対応するデフォーカスＭＴＦであり、図１８（ｂ）は、光電変換部２１１ａ、２１１ｂのうち、収差寄与率が高い方の瞳領域に対応するデフォーカスＭＴＦである。

ＭＴＦ＿ＴＬ＿１４０１〜ＭＴＦ＿ＴＬ＿１４０４は、瞳領域ＴＬに対するデフォーカスＭＴＦであり、それぞれ空間周波数が異なる。ＡＦの処理に用いる空間周波数のデフォーカスＭＴＦがＭＴＦ＿ＴＬ＿１４０１であるものとする。このとき、ＭＴＦ＿ＴＬ＿１４０１のピーク位置ｐ＿ＴＬ＿１４０１は、位相差ＡＦで検出される合焦位置を意味する。また、撮影画像に用いる空間周波数のデフォーカスＭＴＦがＭＴＦ＿ＴＬ＿１４０４であるものとするとそのピーク位置ｐ＿ＴＬ＿１４０４は、撮影画像に対する合焦位置を意味する。これらのピーク位置ｐ＿ＴＬ＿１４０１、ｐ＿ＴＬ１４０４の差分が、瞳領域ＴＬに対する収差情報から算出されるＢＰ補正値である。

しかし上述したとおり、位相差ＡＦでは、光電変換部２１１ａ、２１１ｂの収差の寄与率に差がある場合、重心ずれ量に差が生じる。これにより、位相差ＡＦで検出される合焦位置は図１８（ａ）中の破線で示されたｄｅｆ１４１０の位置となり、ピーク位置ｐ＿ＴＬ１４０１からずれる。

図１８（ｂ）には、瞳領域ＴＬに対するデフォーカスＭＴＦであるＭＴＦ＿ＴＬ＿１４０１と、光電変換部２１１ａ、２１１ｂのうち、収差の寄与率が大きい方に対するデフォーカスＭＴＦであるＭＴＦ＿Ａ＿１４０１が示されている。これらはいずれも位相差ＡＦの処理に用いられる空間周波数に対応するものである。ＭＴＦ＿ＴＬ＿１４０１、ＭＴＦ＿Ａ＿１４０１のそれぞれのピーク位置は、ｐ＿ＴＬ＿１４０１、ｐ＿Ａ＿１４０１である。また、図１８（ｂ）には、図１８（ａ）の説明で述べたピーク位置ｐ＿ＴＬ＿１４０４が破線で示されている。

図１８（ｂ）に示されるとおり、ピーク位置ｐ＿Ａ＿１４０１はピーク位置ｐ＿ＴＬ＿１４０１に比べ、右側に位置しており、図１８（ａ）の位相差ＡＦが検出するデフォーカス位置ｄｅｆ１４１０と同方向にｐ＿ＴＬ＿１４０１からずれた位置となっている。また、ｐ＿Ａ＿１４０１のｐ＿ＴＬ＿１４０１からのずれ量は、収差寄与率に応じて変化する。

このことから、光電変換部２１１ａ、２１１ｂに対応する収差の寄与率を考慮して、位相差ＡＦで検出する合焦位置を算出することで、位相差ＡＦの焦点検出誤差を良好に補正することが可能となる。

そのため、上述した式（１１）、式（１２）に基づいて、重み付けを行って算出した収差情報からＢＰ補正量を算出することで、補正誤差を小さくすることが可能となる。重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢは、上述した収差寄与率Ｓａ、Ｓｂに基づいて以下の式（１３）、式（１４）のように設定することができる。
Ｋ＿ＡＦ＿ＳＡ＝Ｓａ （１３）
Ｋ＿ＡＦ＿ＳＢ＝Ｓｂ （１４）

収差寄与率Ｓａ、Ｓｂは、上述したとおり、収差量と、絞り１０２でのケラレによる受光強度分布の差によって生じる。絞り１０２でのケラレによる受光強度分布の差が大きくなる条件は様々な条件が重なって生じる。例として示した、図１３から整理して説明する。

受光強度分布９０１Ａについては、変化量の大きい領域が絞り１０２の開口部に対応しているのに対し、受光強度分布９０２Ａについては、比較的平坦な領域が絞り１０２の開口部に対応している。これにより、受光強度分布の差が生じている。このような現象が生じる要因としては、第１の要因として焦点検出領域２１９の像高の影響が挙げられる。第２の要因として、レンズの射出瞳距離とセンサの設定瞳距離との間の差の影響が挙げられる。図１９を参照して、これらの要因間の関係を説明する。

図１９（ａ）は、像高ｚ１が比較的高い周辺像高であり、かつ、レンズの射出瞳距離ＬＰＯ１とセンサの設定瞳距離との間の差が大きい場合を示している。この場合、受光強度分布の端の方が絞り１０２の開口部に対応する。そのため、受光強度分布９０１Ａは変化量の大きい領域が絞り１０２の開口部に対応しているのに対し、受光強度分布９０１Ｂは比較的平坦な領域が絞り１０２の開口部に対応する。

図１９（ｂ）は、レンズの射出瞳距離ＬＰＯ２とセンサの設定瞳距離との間の差が小さい場合を示している。この場合、受光強度分布９０１Ａ、９０１Ｂはいずれも変化量の大きい領域が絞り１０２の開口部に対応しており、これらは似た形状となる。

図１９（ｃ）は、像高ｚ２が低い、すなわち、焦点検出領域２１９が中央付近である場合を示している。この場合には、図１９（ｂ）の場合と同様に、受光強度分布９０１Ａ、９０１Ｂはいずれも変化量の大きい領域が絞り１０２の開口部に対応しており、これらは似た形状となる。

以上のことから、受光強度分布の差が大きくなる条件は、図１９（ａ）のように像高が高く、かつ、レンズの射出瞳距離とセンサの設定瞳距離の差が大きい場合であるといえる。また、このような条件では、光電変換部２１１ａ、２１１ｂでの受光強度のレベル差も大きくなるため、受光強度分布の差がさらに大きくなる。

上述の例以外にも、絞り１０２以外にレンズの枠ケラレ等の別の要因のケラレがある場合にも、受光強度分布の差及びレベル差が大きくなり、受光強度分布の差が大きくなる。すなわち、絞り１０２及びレンズの枠等によるケラレの影響を含む撮影光学系のビネッティング率が大きい場合には、光電変換部２１１ａ、２１１ｂの間の収差寄与率の差が大きくなるといえる。

以上により、収差寄与率はＳａ、Ｓｂは、収差量、像高、センサの設定瞳距離とレンズの射出瞳距離との差、光量差、ビネッティング率をパラメータとして変化する。言い換えると、重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢは、収差量、像高、センサの設定瞳距離とレンズの射出瞳距離との差、光量差、ビネッティング率のうちの少なくとも１つに基づき、設定することができる。重み付け係数Ｋ＿ＡＦ＿ＳＡ、Ｋ＿ＡＦ＿ＳＢにより、瞳領域ごとに収差情報の重み付けを行うことで、より高精度に焦点検出誤差の補正を行うことができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…レンズユニット、１０４…フォーカスレンズ、１１３…フォーカスアクチュエータ、１１７…レンズＭＰＵ、１１８…レンズメモリ、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…コントラストＡＦ部

Claims (14)

1. 撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得手段と、
   前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出手段と、
   前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得手段と、
   前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出手段と、
   前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正手段と、
   を有することを特徴とする情報処理装置。
2. 前記収差情報取得手段は、
   前記焦点検出に用いられる画像信号と前記複数の瞳領域の各々との対応関係を示す第１の重み付け情報を取得し、
   前記第１の重み付け情報と前記複数の瞳領域の各々に対応する収差情報とに基づいて、前記第１の収差情報を取得する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記焦点検出は、前記複数の画像信号のうちの少なくとも２つの画像信号を用いる位相差焦点検出であり、
   前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域を通過する複数の光束に対する前記撮影光学系のビネッティング率に基づいて決定される
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記焦点検出は、前記複数の画像信号のうちの少なくとも２つの画像信号を用いる位相差焦点検出であり、
   前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域を通過する複数の光束の光量に基づいて決定される
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記焦点検出は、前記複数の画像信号のうちの少なくとも２つの画像信号を用いる位相差焦点検出であり、
   前記第１の重み付け情報は、前記焦点検出に用いられる画像信号に対応する複数の瞳領域に対応する収差量に基づいて決定される
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記焦点検出に用いられる画像信号の個数は複数であり、前記複数の画像信号の各々に対応する第１の収差情報は共通であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記収差情報取得手段は、
   画像取得に用いられる画像信号と前記複数の瞳領域の各々との対応関係を示す第２の重み付け情報を取得し、
   前記第２の重み付け情報と前記複数の瞳領域の各々に対応する収差情報とに基づいて、前記第２の収差情報を取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を生成する撮像素子と、
   請求項１乃至７のいずれか１項に記載の情報処理装置と、
   前記第２のデフォーカス値に基づいて、前記撮影光学系の焦点位置を制御する焦点制御手段と、
   を有することを特徴とする撮像装置。
9. 撮影光学系の一部を構成するレンズユニットと、
   前記撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を生成する撮像素子と、
   請求項１乃至７のいずれか１項に記載の情報処理装置と、
   前記第２のデフォーカス値に基づいて、前記撮影光学系の焦点位置を制御する焦点制御手段と
   を含む撮像ユニットと、
   を有することを特徴とする撮像装置。
10. 前記レンズユニットは、第１のメモリを含み、
    前記撮像ユニットは、第２のメモリを含み、
    前記第１の収差情報又は前記第２の収差情報の取得に用いられる情報は、前記第１のメモリと前記第２のメモリに分かれて記憶されており、
    前記レンズユニットと前記撮像ユニットは互いに着脱可能に構成されていることを特徴とする請求項９に記載の撮像装置。
11. 前記第１のメモリは、前記複数の瞳領域の各々に対応する収差情報を記憶し、
    前記第２のメモリは、前記複数の画像信号と前記複数の瞳領域との対応関係を示す重み付け情報を記憶する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１のメモリは、前記撮影光学系を通過する光束の全てが通過する瞳領域に対応する収差情報を記憶し、
    前記第２のメモリは、前記撮影光学系を通過する光束の一部が通過する瞳領域に対応する収差情報を記憶する
    ことを特徴とする請求項１０に記載の撮像装置。
13. 撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得工程と、
    前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、
    前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、
    前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、
    前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、
    を有することを特徴とする情報処理方法。
14. コンピュータに、
    撮影光学系の互いに重心が異なる複数の瞳領域を通過した複数の光束のそれぞれに基づく複数の画像信号を取得する画像信号取得工程と、
    前記複数の画像信号のうちの少なくとも１つに基づいて焦点検出を行い、第１のデフォーカス値を算出するデフォーカス値算出工程と、
    前記撮影光学系の異なる瞳領域を通過した光束にそれぞれ対応する第１の収差情報及び第２の収差情報を取得する収差情報取得工程と、
    前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス値を補正するための補正値を算出する補正値算出工程と、
    前記補正値を用いて前記第１のデフォーカス値を補正して第２のデフォーカス値を生成するデフォーカス値補正工程と、
    を実行させることを特徴とするプログラム。

Images