JP6843604B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関し、特に、自動焦点検出技術による距離マップ生成技術に関する。

撮影光学系の焦点状態を検出する自動焦点検出（Auto Focusing、以下ＡＦと表記する）の方式として、コントラストＡＦ方式と位相差ＡＦ方式がある。コントラストＡＦ方式及び位相差ＡＦ方式は、ビデオカメラ、デジタルスチルカメラ等の撮像装置に用いられ得る。このような撮像装置では、撮像用の撮像素子が焦点検出素子としても用いられるものがある。

コントラストＡＦ方式及び位相差ＡＦ方式では光学像を利用して焦点検出を行うため、光学像を結像する光学系の収差が焦点検出の結果に誤差を与える場合がある。このような誤差を低減するための方法が提案されている。

特許文献１では、コントラストＡＦ方式により得られる焦点評価値に基づいて、撮影シーンに含まれる被写体距離の分布を求め、距離マップを生成する技術が記載されている。特許文献１の手法では、焦点検出領域の座標に応じて、撮像レンズの設計上の光学収差や製造誤差による焦点検出誤差を補正している。

特開２０１４−１２６８５８号公報

しかしながら、特許文献１では、視差画像に対応した距離マップの生成方法に関しては触れられていない。

本発明は、視差画像に対応した距離マップを取得可能な情報処理装置を提供することを目的とする。

本発明の一実施形態によれば、撮影光学系の第１の瞳領域を通過した光束に基づく第１の画像信号と、前記撮影光学系の前記第１の瞳領域と異なる第２の瞳領域を通過した光束に基づく第２の画像信号と、を取得する画像信号取得手段と、前記第１の瞳領域に対応する前記撮影光学系の第１の収差情報と、前記第２の瞳領域に対応する前記撮影光学系の第２の収差情報と、を取得する収差情報取得手段と、前記第１の画像信号及び前記第２の画像信号の少なくとも一方に基づいて第１のデフォーカス情報を算出する算出手段と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス情報を補正して第２のデフォーカス情報を生成する補正手段と、前記第２のデフォーカス情報に基づいて距離マップを生成する距離マップ生成手段と、を有し、前記第１の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、前記第２の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づくことを特徴とする情報処理装置が提供される。

本発明の他の実施形態によれば、撮影光学系の第１の瞳領域を通過した光束に基づく第１の画像信号と、前記撮影光学系の前記第１の瞳領域と異なる第２の瞳領域を通過した光束に基づく第２の画像信号と、を取得する画像信号取得工程と、前記第１の瞳領域に対応する前記撮影光学系の第１の収差情報と、前記第２の瞳領域に対応する前記撮影光学系の第２の収差情報と、を取得する収差情報取得工程と、前記第１の画像信号及び前記第２の画像信号の少なくとも一方に基づいて第１のデフォーカス情報を算出する算出工程と、前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス情報を補正して第２のデフォーカス情報を生成する補正工程と、前記第２のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、を有し、前記第１の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、前記第２の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づくことを特徴とする情報処理方法が提供される。

本発明によれば、視差画像に基づいて焦点検出誤差を補正した距離マップが取得可能な情報処理装置が提供される。

第１の実施形態に係る距離マップ生成動作を示すフローチャートである。 第１の実施形態に係る情報処理装置の一例であるデジタルカメラのブロック図である。 第１の実施形態に係る撮像素子の構成を示す図である。 第１の実施形態に係る撮影光学系の構造を示す図である。 第１の実施形態に係るコントラストＡＦ部の構成を示すブロック図である。 第１の実施形態に係る焦点検出領域の一例を示す図である。 第１の実施形態に係る焦点検出領域の他の例を示す図である。 第１の実施形態に係る距離マップの例を示す図である。 第２の実施形態に係るＢＰ補正情報の取得動作を示すフローチャートである。 第２の実施形態に係る撮像素子の構成を示す図である。 第３の実施形態に係るＢＰ補正情報の取得動作を示すフローチャートである。 第１の実施形態に係る撮影光学系のデフォーカスＭＴＦを示すグラフである。 第１の実施形態に係るデフォーカスＭＴＦのピーク位置と空間周波数の関係を示すグラフである。 （ａ）は、焦点検出情報の例を示す図であり、（ｂ）は、デフォーカスＭＴＦのピーク位置と空間周波数の関係を示すグラフである。 第３の実施形態に係る撮像素子の構成を示す図である。 第１の実施形態に係る視差画像の一例を示す図である。

以下、図面を参照しながら本発明の例示的な実施形態について説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズを交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明は、レンズを交換できないタイプのデジタルカメラ及びビデオカメラに対しても適用可能である。また、本発明は、カメラを備えた任意の電子機器にも適用可能である。カメラを備えた任意の電子機器の例としては、携帯電話機、パーソナルコンピュータ（ラップトップ型、タブレット型、デスクトップ型など）、ゲーム機などが挙げられる。

［第１の実施形態］
（情報処理装置の構成の説明−レンズユニット）
図２は、第１の実施形態に係る情報処理装置の一例であるデジタルカメラの機能構成例を示すブロック図である。本実施形態のデジタルカメラは、レンズ交換式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。

レンズユニット１００は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体の光学像を形成する撮影レンズである。なお、レンズユニット１００は本実施形態では、制御手段を構成する。第１レンズ群１０１はレンズユニット１００の入光部側の先端に配置される。第１レンズ群１０１は、光軸方向ＯＡに移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能、及び静止画撮影時に露出時間を制御するメカニカルシャッタの機能を有する。絞り１０２及び第２レンズ群１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も、光軸方向ＯＡに移動可能である。フォーカスレンズ１０４の位置に応じて、合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節が行われる。

駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１及び第２レンズ群１０３を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を用いて絞り１０２を駆動することにより、絞り１０２の開口径及び開閉を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動することにより、レンズユニット１００の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。

レンズＭＰＵ（Micro Processing Unit）１１７は、レンズユニット１００に係る演算、制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭの信号線を通じてカメラＭＰＵ１２５と接続され、コマンド及びデータをカメラＭＰＵ１２５と通信する。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の現在位置などに関する情報をフォーカス駆動回路１１６から取得する。レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、レンズ位置情報をカメラＭＰＵ１２５に通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、射出瞳の撮影光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８には自動焦点検出に必要な光学情報があらかじめ記憶されている。また、レンズメモリ１１８に、さらにレンズユニット１００の動作に必要なプログラムなどが記憶されていてもよい。カメラＭＰＵ１２５は、例えば、内蔵する不揮発性メモリ、あるいはレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。

（情報処理装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ１２１及び撮像素子１２２）と、駆動／制御系とを有する。レンズユニット１００の第１レンズ群１０１、絞り１０２、第２レンズ群１０３及びフォーカスレンズ１０４並びにカメラ本体１２０の光学ローパスフィルタ１２１は撮影光学系を構成する。

光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、ＣＭＯＳイメージセンサは、横方向（Ｘ方向）にｍ画素、縦方向（Ｙ方向）にｎ画素（ｎ、ｍは２以上の整数）が行列状に配置されたエリアセンサを含む。本実施形態の撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦが可能である。画像処理回路１２４は、撮像素子１２２が出力する画像データから、位相差ＡＦ用のデータと、表示、記録及びコントラストＡＦ用の画像データとを生成する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９及びコントラストＡＦ部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像データに対し、例えば、ガンマ補正、ホワイトバランス調整処理、色補間処理、圧縮符号化処理などの画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号も生成する。

カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る演算、制御を行う。より具体的には、カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９及びコントラストＡＦ部１３０を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンド及びデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対し、レンズ位置の取得要求、絞り駆動要求、フォーカスレンズ駆動要求、ズーム駆動要求、レンズユニット１００に固有の光学情報の取得要求などを行う。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、種々のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。

表示器１２６は、液晶ディスプレイなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。本実施形態の記録手段としてのメモリ１２８は、例えば着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、画像処理回路１２４により得られる焦点検出用データを用いて位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮影光学系の一対の瞳領域を通過する撮影光束で形成される一対の像データを焦点検出用データ又は画像用データとして生成する。位相差ＡＦ部１２９は、この一対の像データのずれ量に基づいてデフォーカス値を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。位相差ＡＦ部１２９の動作についての詳細は後述する。

コントラストＡＦ部１３０は、画像処理回路１２４が生成するコントラストＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理においては、フォーカスレンズ１０４を移動させてコントラストＡＦ用評価値がピークとなる位置が合焦位置として検出される。
このように、本実施形態のデジタルカメラは、位相差ＡＦとコントラストＡＦの両方を実行可能であり、状況に応じてこれらのいずれか一方を選択的に使用したり、組み合わせて使用したりすることができる。

（焦点検出動作の説明：位相差ＡＦ）
以下、位相差ＡＦ部１２９及びコントラストＡＦ部１３０の動作についてさらに説明する。最初に、位相差ＡＦ部１２９の動作について説明する。

図３（ａ）は本実施形態における撮像素子１２２の画素配列を示す図である。図３（ａ）には、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲の画素２１１を、レンズユニット１００側から観察した状態が示されている。撮像素子１２２にはベイヤー配列のカラーフィルタが設けられている。奇数行目には、左から順に、緑（Ｇ）のカラーフィルタを有する画素２１１と、赤（Ｒ）のカラーフィルタを有する画素２１１とが交互に配置されている。偶数行目には、左から順に青（Ｂ）のカラーフィルタを有する画素２１１と、緑（Ｇ）のカラーフィルタを有する画素２１１とが交互に配置されている。画素２１１上には、図中に円で示されているようにオンチップマイクロレンズ２１１ｉが設けられている。また、画素２１１は、図中に矩形で示されているように、上面視においてオンチップマイクロレンズの内側に配置された光電変換部２１１ａ、２１１ｂを有する。

各画素２１１はＸ方向に並ぶ２つの光電変換部２１１ａ、２１１ｂを有している。換言すると、各画素２１１はＸ方向に２分割されている。この構成により、光電変換部２１１ａ、２１１ｂから出力される画像信号を個別に読み出すことと、２つの画像信号の和を読み出すことが可能である。また、２つの画像信号の和から一方の光電変換部からの画像信号を減じることで、他方の光電変換部からの画像信号に相当する信号を得ることができる。個々の光電変換部からの画像信号は位相差ＡＦ用のデータとして用いることができる。また、個々の光電変換部からの画像信号は３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像を構成する視差画像の生成に用いることもできる。また、画像信号の和は、通常の（表示用又は記録用の）撮影画像データとして用いることができる。

ここで、位相差ＡＦを行う際の画素信号に対する演算について説明する。後述するように、本実施形態においては、図３（ａ）のオンチップマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ、２１１ｂにより撮影光学系の射出撮影光束を瞳分割する。そして、所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力を加算して得られた信号をＡＦ用Ａ像、光電変換部２１１ｂの出力を加算して得られた信号をＡＦ用Ｂ像とする。一例としては、ＡＦ用Ａ像及びＡＦ用Ｂ像は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の各色の４つの画素２１１からの信号を加算することで算出された疑似的な輝度（Ｙ）信号を用いる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像及びＡＦ用Ｂ像を生成してもよい。このようにして生成されたＡＦ用Ａ像とＡＦ用Ｂ像の間の相対的な像ずれ量を相関演算により算出することで、所定領域のデフォーカス値を算出することができる。

本実施形態では、一方の光電変換部からの出力信号と、２つの光電変換部からの出力信号の和に相当する信号との２つの信号が撮像素子１２２から読み出されるものとする。例えば、光電変換部２１１ａからの第１の出力信号と、光電変換部２１１ａ、２１１ｂの出力信号の和に相当する第２の出力信号とが読み出される場合、光電変換部２１１ｂの出力信号は上述の第２の出力信号から第１の出力信号を減じることで取得され得る。これにより、ＡＦ用Ａ像とＡＦ用Ｂ像の両方が取得され、位相差ＡＦが実現され得る。

図３（ｂ）は、本実施形態の撮像素子１２２の読み出し回路の構成例を示す図である。撮像素子１２２は、水平走査回路１５１、垂直走査回路１５３を有する。行方向及び列方向に配列された複数の画素２１１の境界部には、列方向に並ぶ複数の画素２１１に沿って水平走査ライン１５２ａ、１５２ｂが配され、行方向に並ぶ画素２１１に沿って垂直走査ライン１５４ａ、１５４ｂが配される。各行の垂直走査ライン１５４ａは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ａとを接続する。各行の垂直走査ライン１５４ｂは、垂直走査回路１５３と、対応する行の複数の光電変換部２１１ｂとを接続する。各列の水平走査ライン１５２ａは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ａとを接続する。各列の水平走査ライン１５２ｂは、水平走査回路１５１と、対応する列の複数の光電変換部２１１ｂとを接続する。垂直走査回路１５３は、垂直走査ライン１５４ａ、１５４ｂを介して、各画素２１１に制御信号を送信し、信号の読み出し等の制御を行う。水平走査回路１５１は、水平走査ライン１５２ａ、１５２ｂを介して、各画素２１１から信号を読み出す。

なお、本実施形態の撮像素子１２２は、以下の２種類の読み出しモードでの信号の読み出しが可能である。第１の読み出しモードは、高精細静止画を撮影するための全画素読み出しモードである。全画素読み出しモードでは、撮像素子１２２に含まれる全ての画素２１１から信号が読み出される。

第２の読み出しモードは、動画記録、あるいはプレビュー画像の表示のみを行うための間引き読み出しモードである。動画記録、あるいはプレビュー画像の表示の用途では、高精細静止画を撮影する場合と比べて要求される解像度が低い。そのため、これらの用途の場合、撮像素子１２２に含まれる全画素から信号を読み出す必要がないため、所定比率に間引いた一部の画素からのみ信号を読み出す間引き読み出しモードでの動作が行われる。また、上述の用途以外であっても高速に読み出す必要がある場合には、同様に間引き読み出しモードが用いられる。間引きの一例としては、Ｘ方向の間引きを行う際には、複数の画素からの信号を加算してＳ／Ｎ比の改善を図り、Ｙ方向の間引きを行う際には、間引かれる行の信号出力を無視するという処理を行うことが可能である。位相差ＡＦ及びコントラストＡＦは、第２の読み出しモードで読み出された信号に基づいて行うことで、高速な処理が可能である。

図４（ａ）及び図４（ｂ）は、本実施形態における撮影光学系の構造図である。図４（ａ）及び図４（ｂ）を参照して、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部との共役関係を説明する。撮像素子内の光電変換部２１１ａ、２１１ｂと撮影光学系の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。撮影光学系の射出瞳面は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、撮影光学系のタイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化することがある。図４（ａ）では、レンズユニット１００の焦点距離が広角端と望遠端の中央にある状態が示されている。この状態における射出瞳面距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状及び像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４（ａ）は、撮影光学系のＸＺ断面を示している。レンズユニット１００に対応する部分として、第１レンズ群１０１、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、フォーカスレンズ１０４及び鏡筒部材１０４ｂが図示されている。鏡筒部材１０１ｂは、第１レンズ群１０１を保持する部材である。開口板１０２ａは絞り開放時の開口径を規定する部材である。絞り羽根１０２ｂは絞り込み時の開口径を調節する部材である。鏡筒部材１０４ｂは、フォーカスレンズ１０４を保持する部材である。図２で説明した第２レンズ群１０３は図４（ａ）では図示を省略している。

なお、鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、撮影光学系を通過する光束に対する制限部材として作用する。図４（ａ）に図示された鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ及び鏡筒部材１０４ｂは、像面から観察した場合の光学的な虚像を模式的に示すものであり、必ずしも実際の構造を示すものではない。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

画素２１１は像面中央近傍に配置されている。画素２１１は、最下層より順に、光電変換部２１１ａ、２１１ｂ、配線層２１１ｅ、２１１ｆ、２１１ｇ、カラーフィルタ２１１ｈ及びオンチップマイクロレンズ２１１ｉの各部材を備えている。そして２つの光電変換部２１１ａ、２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部の表面に投影される。

図４（ｂ）は、撮影光学系の射出瞳面上における、光電変換部２１１ａ、２１１ｂの投影像を示したものである。図４（ｂ）には、光電変換部２１１ａ及び２１１ｂに対する投影像が、それぞれ、瞳領域ＥＰ１ａ及びＥＰ１ｂとして示されている。上述のように、画素２１１は、２つの光電変換部２１１ａ、２１１ｂのいずれか一方からの信号と、２つの光電変換部２１１ａ、２１１ｂからの信号の和とを出力することができる。２つの光電変換部２１１ａ、２１１ｂからの信号の和は、瞳領域ＥＰ１ａ、ＥＰ１ｂの両方の領域、すなわち、撮影光学系の瞳領域のほぼ全域（瞳領域ＴＬ）を通過した光束に基づく信号に対応する。このようにして、本実施形態の光電変換部２１１ａと２１１ｂは瞳分割画素を構成する。

図４（ａ）において、撮影光学系を通過する光束の最外部が線分Ｌで示されている。図４（ａ）の配置では、線分Ｌの位置は、絞り１０２の開口板１０２ａの端部の位置で決定されている。そのため、図４（ａ）に示されるように、瞳領域ＥＰ１ａ、ＥＰ１ｂに対応する投影像は撮影光学系によるケラレがほぼ発生していない。図４（ｂ）では、図４（ａ）の射出瞳面上における光束の最外部がＴＬ（１０２ａ）の符号が付された円で示されている。図４（ａ）に示されるように、円の内部に、光電変換部２１１ａ、２１１ｂの投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。撮影光学系を通過する光束は、絞りの開口板１０２ａでのみ制限されているため、この円は、開口板１０２ａの開口部に相当する。像面中央では各投影像に対応する瞳領域ＥＰ１ａ、ＥＰ１ｂのケラレは光軸に対して対称となる。そのため、各光電変換部２１１ａ、２１１ｂが受光する光量は等しい。

位相差ＡＦを行う場合、カメラＭＰＵ１２５は、撮像素子１２２から上述した２種類の出力信号を読み出すように撮像素子駆動回路１２３を制御する。このとき、カメラＭＰＵ１２５は、画像処理回路１２４に対して焦点検出領域を示す情報を与える。さらに、カメラＭＰＵ１２５は、焦点検出領域内に含まれる画素２１１の出力信号から、ＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に供給するよう命令する。画像処理回路１２４は、この命令に従ってＡＦ用Ａ像及びＡＦ用Ｂ像のデータを生成して位相差ＡＦ部１２９に出力する。画像処理回路１２４は、また、コントラストＡＦ部１３０に対してＲＡＷ画像データを供給する。

以上説明したように、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦを行い得る機能を有している。換言すると、撮像素子１２２は、位相差ＡＦ及びコントラストＡＦの両方について、焦点検出装置の一部を構成している。

なお、ここでは一例として水平方向（Ｘ方向）に射出瞳が２分割されている構成を説明したが、撮像素子１２２の一部又は全部の画素について垂直方向（Ｙ方向）に射出瞳を２分割する構成としてもよい。また、例えば、画素２１１に光電変換部を４個配置することにより、水平方向及び垂直方向の両方向に射出瞳を分割される構成としてもよい。このように垂直方向に射出瞳が分割される画素２１１を設けることにより、水平方向だけでなく垂直方向の被写体のコントラストに対応した位相差ＡＦが可能となる。

（焦点検出動作の説明：コントラストＡＦ）
次に、図５を用いて、コントラストＡＦについて説明する。コントラストＡＦは、カメラＭＰＵ１２５とコントラストＡＦ部１３０が連携してフォーカスレンズ１０４の駆動と評価値の算出を繰り返し行うことで実現される。

図５は、第１の実施形態に係るコントラストＡＦ部１３０の構成及びこれと連携するカメラＭＰＵ１２５の構成を示すブロック図である。コントラストＡＦ部１３０は、ＡＦ評価用信号処理部４０１と、ラインピーク検出部４０２と、水平積分部４０３と、ライン最小値検出部４０４と、垂直ピーク検出部４０５と、垂直積分部４０６と、垂直ピーク検出部４０７とを有する。コントラストＡＦ部１３０は、さらに、ＢＰＦ(Band Pass Filter)４０８と、ラインピーク検出部４０９と、垂直積分部４１０と、垂直ピーク検出部４１１と、減算部４１２と、領域設定部４１３とを有する。カメラＭＰＵ１２５はＡＦ制御部４５１を有する。

画像処理回路１２４からＲＡＷ画像データがコントラストＡＦ部１３０に入力されると、ＲＡＷ画像データはまずＡＦ評価用信号処理部４０１に入力される。ＡＦ評価用信号処理部４０１は、ＲＡＷ画像データ内のベイヤー配列信号から緑（Ｇ）信号を抽出し、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理を行う。本実施形態では、コントラストＡＦが緑（Ｇ）信号を用いて行われる場合を説明するが、他の色の信号を用いてもよく、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全色を用いて輝度（Ｙ）信号を生成してから、輝度（Ｙ）信号を用いてコントラストＡＦを行ってもよい。以後の説明では、ＡＦ評価用信号処理部４０１で生成される出力信号は、用いられた信号の種類によらず、輝度信号Ｙと呼ぶ。ＡＦ評価用信号処理部４０１は、輝度信号Ｙをラインピーク検出部４０２、水平積分部４０３、ライン最小値検出部４０４及びＢＰＦ４０８に出力する。輝度信号Ｙがこれらの各部に入力されるタイミングは、後述の各評価値を生成すべきタイミングと合致するように制御される。

カメラＭＰＵ１２５は、領域設定部４１３に焦点検出領域の設定に関する情報を出力する。領域設定部４１３は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出部４０２、４０９、水平積分部４０３、ライン最小値検出部４０４、垂直積分部４０６、４１０及び垂直ピーク検出部４０５、４０７、４１１の各部に入力される。なお、領域設定部４１３は、焦点検出領域の設定に応じて複数の領域を選択可能である。

Ｙピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ラインピーク検出部４０２へ入力される。ラインピーク検出部４０２は、焦点検出領域内で水平ラインごとのＹラインピーク値を算出して、垂直ピーク検出部４０５に出力する。垂直ピーク検出部４０５は、ラインピーク検出部４０２から出力されたＹラインピーク値に対し焦点検出領域内で垂直方向にピークホールドを行い、Ｙピーク評価値を生成する。Ｙピーク評価値は、高輝度被写体及び低輝度被写体の判定に有効な指標である。

Ｙ積分評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、水平積分部４０３へ入力される。水平積分部４０３は、焦点検出領域内で水平ラインごとにＹの積分値を算出して、垂直積分部４０６に出力する。垂直積分部４０６は、水平積分部４０３で算出された積分値を、焦点検出領域内で垂直方向に積分することにより、Ｙ積分評価値を生成する。Ｙ積分評価値は、焦点検出領域内全体の輝度を判断する指標として用いることができる。

Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ライン最小値検出部４０４に入力される。ライン最小値検出部４０４は、焦点検出領域内で水平ラインごとにＹライン最小値を算出して減算部４１２に出力する。また、上述のＹピーク評価値の算出方法と同様の方法によりラインピーク検出部４０２で算出されたＹラインピーク値も減算部４１２に入力される。減算部４１２は、Ｙラインピーク値からＹライン最小値を減算して垂直ピーク検出部４０７に出力する。垂直ピーク検出部４０７は、焦点検出領域内で減算部４１２からの出力に対し垂直方向にピークホールドを行い、Ｍａｘ−Ｍｉｎ評価値を生成する。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効な指標である。

領域ピーク評価値の算出方法について説明する。ＡＦ評価用信号処理部４０１でガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に入力される。ＢＰＦ４０８は、輝度信号Ｙから特定の周波数成分を抽出して焦点信号を生成し、ラインピーク検出部４０９に出力する。ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直ピーク検出部４１１に出力する。垂直ピーク検出部４１１は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内でピークホールドを行い、領域ピーク評価値を生成する。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。

全ライン積分評価値の算出方法について説明する。領域ピーク評価値の算出方法と同様にして、ラインピーク検出部４０９は、焦点検出領域内で水平ラインごとのラインピーク値を算出して、垂直積分部４１０に出力する。垂直積分部４１０は、ラインピーク検出部４０９から出力されたラインピーク値に対し焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、焦点検出の処理における主要なＡＦ評価値である。したがって、本実施形態のコントラストＡＦには主として全ライン積分評価値が用いられる。

カメラＭＰＵ１２５のＡＦ制御部４５１は、Ｙピーク評価値、Ｙ積分評価値、Ｍａｘ−Ｍｉｎ評価値、領域ピーク評価値及び全ライン積分評価値を取得する。ＡＦ制御部４５１は、レンズＭＰＵ１１７にフォーカスレンズ１０４を光軸方向に沿って所定方向に所定量移動させる指示を行う。その後、フォーカスレンズ１０４の移動後に新たに得られた画像データに基づいて再び上述の各評価値を算出する。これを繰り返すことで、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。
本実施形態では、各種の評価値の算出に水平ライン方向及び垂直ライン方向の２方向の情報が用いられる。そのため、水平方向及び垂直方向の直交する２方向の被写体のコントラスト情報に対応した焦点検出を行うことができる。

（焦点検出領域及び距離マップ検出領域の説明）
図６（ａ）及び図６（ｂ）は、撮影範囲２２０内における焦点検出領域２１９の一例を示す図である。図６（ａ）は、撮影範囲２２０内に配置された焦点検出領域２１９を示す図である。上述したように、位相差ＡＦ及びコントラストＡＦは、いずれも焦点検出領域２１９に対応する画素２１１から得られた信号に基づいて行われる。焦点検出領域２１９は、５行５列の複数の焦点検出領域を含み得る。なお、後述する距離マップ検出領域も焦点検出領域２１９と同様にして領域の設定が可能である。したがって、距離マップ検出領域に関する説明においても焦点検出領域と共通の符号を用いるものとし、これらに共通する説明は省略又は簡略化することもある。

図６（ｂ）は、焦点検出領域２１９（１，１）〜２１９（５，５）を示す。括弧内の引数は、焦点検出領域２１９内の行番号及び列番号を示している。図６（ａ）、図６（ｂ）に示した例では、焦点検出領域２１９（１，１）〜２１９（５，５）は、５×５＝２５枠設定されている。しかしながら、焦点検出領域の個数、位置及び大きさは図示したものに限定されない。

（ＡＦ処理及び距離マップ生成フローの説明）
次に、図１を参照して、本実施形態のデジタルカメラ及び付属アプリケーションにおいて行われ得るＡＦ処理及び距離マップ生成動作のフローに関して説明する。

図１（ａ）を用いて、本実施形態のメインフローを説明する。ステップＳ１において、カメラＭＰＵ１２５は、複数の焦点検出領域において、位相差ＡＦ又はコントラストＡＦを適用してデフォーカス値を求めるＡＦ処理を行う。カメラＭＰＵ１２５は、複数の焦点検出領域のうちの代表座標のデフォーカス値に基づいて被写体の合焦位置にフォーカスレンズ１０４を移動させる。ＡＦ処理の詳細は図１（ｂ）を用いて説明する。

ステップＳ２において、カメラＭＰＵ１２５は、撮像装置の各要素に、ステップＳ１で移動したフォーカスレンズ１０４の位置での撮影画像の撮影及び記録を行わせるための指示を行う。この処理により、視差画像が生成される。視差画像とは、図４（ａ）及び図４（ｂ）に示された瞳領域ＥＰ１ａ、ＥＰ１ｂを通過し、瞳分割画素の光電変換部２１１ａ、２１１ｂに入射した光束に基づく画像信号（第２の画像信号）に基づき生成される撮影画像を意味する。また、ステップＳ２の処理においては、通常の撮影画像（以下、これを視差画像Ａ＋Ｂとする）も生成され得る。この読み出しにおいては、瞳領域ＴＬに対応する画像信号が読み出される。視差画像Ａは、瞳領域ＥＰ１ａ（第２の瞳領域）に対応する光電変換部２１１ａに基づく画像信号（第２の画像信号）による画像である。視差画像Ｂは、瞳領域ＥＰ１ｂ（第２の瞳領域）に対応する光電変換部２１１ｂに基づく画像信号（第２の画像信号）による画像である。通常の撮影画像は、瞳領域ＴＬ（第１の瞳領域）に対応する光電変換部２１１ａ、２１１ｂに基づく画像信号（第１の画像信号）による画像である。

ステップＳ２において撮像装置で取得された複数の画像信号（あるいは複数の視差画像）は、メモリ１２８等のメモリに記録される。これらのデータは、以降のステップにおいて、画像信号取得手段として動作するカメラＭＰＵ１２５により取得され、以降の処理で用いられる。

図１６は、視差画像Ａ、視差画像Ｂ、視差画像Ａ＋Ｂの一例である。視差画像Ａ、視差画像Ｂ、視差画像Ａ＋Ｂは、対応する瞳領域に応じて、視差と被写界深度の異なる画像となる。視差画像Ａと視差画像Ｂは、視差により手前にある花５０１と奥にある家５０２の重なり方（オクルージョン）が異なっている。視差画像Ａ、Ｂと視差画像Ａ＋Ｂとの間では、被写界深度が異なっており、特に視差画像Ａ＋Ｂでは奥にある家５０２にボケが生じている。

ステップＳ３において、カメラＭＰＵ１２５は、撮影画像生成手段として動作し、ステップＳ２で得られた複数の視差画像の中から撮影画像として残すものを１つ以上選択することにより撮影画像を生成する。ここでの選択方法は、ユーザーによる指定に基づいて決定されてもよく、アプリケーション内で自動選択されてもよい。一例として、撮影画像を自動選択する場合には、カメラＭＰＵ１２５は、視差画像を解析して、その解析結果から所定の基準により複数生成された視差画像の中から画像を選択する。所定の基準の例としては、最もコントラストの高い画像を選択するという基準、被写体のエッジ検出などにより最もエッジ数の多い（オクル―ジョンが少ない）画像を選択するという基準などが考えられる。ステップＳ４以降の処理では、ステップＳ３で撮影画像を一つ選択した場合について説明するが、ステップＳ３では複数の視差画像を撮影画像として記録してもよい。その場合には、ステップＳ４での動作が撮影画像の枚数分だけ繰り返し行われる。

ステップＳ４において、カメラＭＰＵ１２５は、距離マップ生成手段として動作し、距離マップ生成の処理を行う。ステップＳ４では、ステップＳ３で選択された撮影画像に対して、距離マップ情報を付帯させて表示、又は記録を行うことで、ユーザーが撮影画像の被写体距離を認識可能となるアプリケーションを提供することができる。撮影画像に対応した距離マップ検出領域ごとにデフォーカス値の算出と、対応する補正値を算出することで、高精度な距離マップの生成が実現される。ステップＳ４の詳細な動作は、図１（ｃ）を用いて後述する。

以下、上述したＡＦ処理の詳細を、図１（ｂ）に示すフローチャートを用いて説明する。以下のＡＦ処理動作は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンドなどを送信することによってレンズユニット１００の駆動や制御を行う場合も、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。

ステップＳ１１において、カメラＭＰＵ１２５は焦点検出領域２１９を設定する。ここで設定される焦点検出領域２１９は、図６（ａ）、図６（ｂ）に示されるようなあらかじめ設定された領域であってもよく、主被写体の検出座標によって決定される領域であってもよい。例えば、図６（ａ）、図６（ｂ）の例では、焦点検出領域２１９（２，４）に人物の顔が検出可能である。この人物の顔を主被写体とした場合、２１９（２，４）を焦点検出領域とすることができる。

ここでは、焦点検出領域に対して、複数の焦点検出領域のうちの代表座標（ｘ１，ｙ１）を設定する。例えば、代表座標（ｘ１，ｙ１）は、例えば、焦点検出領域２１９に対する重心座標であってもよい。

ステップＳ１２において、ステップＳ１１で設定された焦点検出領域に対して、焦点検出結果としてデフォーカス値ＤＥＦを算出する。デフォーカス値ＤＥＦは、前述した焦点検出動作によって求められる。また、本動作を行うカメラＭＰＵ１２５は、デフォーカス値算出手段を構成する。

ステップＳ１３では、カメラＭＰＵ１２５は、ステップＳ１２で求められた複数の焦点検出領域のうちの代表座標（ｘ１，ｙ１）のデフォーカス値に基づいて被写体の合焦位置にフォーカスレンズ１０４を移動させる。

次に、上述した距離マップ生成処理の詳細を、図１（ｃ）に示すフローチャートを用いて説明する。
ステップＳ２１において、カメラＭＰＵ１２５は、距離マップ生成時の複数の距離マップ検出領域２１９（ｘ，ｙ）を、図６（ａ）、図６（ｂ）のように設定する。ここで設定される複数の焦点検出領域２１９（ｘ，ｙ）は、図６（ａ）のようにあらかじめ設定された領域であってもよく、主被写体の検出座標によって決定される領域であってもよい。例えば、図６（ａ）、図６（ｂ）の例では、距離マップ検出領域２１９（２，４）、２１９（３，４）に主被写体である人が検出可能である。

なお、変形例として、図７（ａ）、図７（ｂ）に示されるように、主被写体である人が存在する距離マップ検出領域２１９（２，４）、２１９（３，４）について、より細かい距離マップ検出領域を設定してもよい。図７（ａ）、図７（ｂ）では、距離マップ検出領域２１９（２，４）が、距離マップ検出領域２１９（２，４，１）、２１９（２，４，２）、２１９（２，４，３）、２１９（２，４，４）に４分割されている。同様に、距離マップ検出領域２１９（３，４）が、距離マップ検出領域２１９（３，４，１）、２１９（３，４，２）、２１９（３，４，３）、２１９（３，４，４）に４分割されている。この方法によれば、高精細な距離マップを生成することができる。

ステップＳ２２において、カメラＭＰＵ１２５は、ＢＰ補正値の算出に必要なパラメータ（算出条件）を取得する。ＢＰ補正値とは、撮影光学系が有する設計上の光学収差及び製造誤差により生じ得る焦点検出誤差を補正するための値である。ＢＰ補正値は、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、距離マップ検出領域２１９の位置座標（ｘ，ｙ）など、撮影光学系及び焦点検出の光学系の変化に伴い変化する。そのため、カメラＭＰＵ１２５は、ステップＳ２において、例えば、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、各距離マップ検出領域２１９の位置座標（ｘ，ｙ）などの情報を取得する。

ステップＳ２３において、カメラＭＰＵ１２５は、収差情報取得手段として動作し、ＢＰ補正情報を取得する。ここで、ＢＰ補正情報とは、光学系の収差状態を表す情報（収差情報）であり、例えば、被写体の色（入射光の色）、方向、空間周波数ごとの撮影光学系の結像位置に関する情報である。

図１２及び図１３を参照してレンズメモリ１１８等に格納されている空間周波数に対応するＢＰ補正情報の例を説明する。図１２は、撮影光学系のデフォーカスＭＴＦ(Modulation Transfer Function)を示すグラフである。横軸は、フォーカスレンズ１０４の位置を示しており、縦軸はＭＴＦの強度を示している。図１２に描かれている４種の曲線（ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４）は、４種類の空間周波数に対応するデフォーカスＭＴＦ曲線である。４つのデフォーカスＭＴＦ曲線は、ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４の順に、空間周波数が低い方から高い方に変化した場合を示している。空間周波数Ｆｑ１（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ１と対応し、同様に、空間周波数Ｆｑ２、Ｆｑ３、Ｆｑ４（ｌｐ／ｍｍ）のデフォーカスＭＴＦ曲線がＭＴＦ２、ＭＴＦ３、ＭＴＦ４とそれぞれ対応する。また、ＬＰ４、ＬＰ５、ＬＰ６、ＬＰ７は、各デフォーカスＭＴＦ曲線ＭＴＦ１、ＭＴＦ２、ＭＴＦ３、ＭＴＦ４がそれぞれ極大値になるときのフォーカスレンズ１０４の位置を示している。なお、図中の空間周波数Ｎｑは撮像素子１２２の画素ピッチに依存するナイキスト周波数を示す。

図１３（ａ）、図１３（ｂ）及び図１３（ｃ）に、本実施形態におけるＢＰ補正情報の例を示す。図１３（ａ）は、図１２のデフォーカスＭＴＦが極大値となるフォーカスレンズ１０４の位置（ピーク位置）と空間周波数の関係を示すグラフである。ＭＴＦ＿Ｐ＿ＲＨ１、…、ＭＴＦ＿Ｐ＿ＢＶ１で示される６種類の曲線は、色と方向の組み合わせが異なるものである。添字の（Ｒ，Ｇ，Ｂ）が色（赤，緑，青）を示しており、添字の（Ｈ，Ｖ）が方向（水平，垂直）を示している。例えば、色が赤で方向が水平の場合に対応するＭＴＦ＿Ｐ＿ＲＨ１の曲線は、空間周波数ｆと、画像信号内における距離マップ検出領域２１９の位置座標（ｘ，ｙ）とを変数とし、ｒｈ（ｎ）（ｎは０から８の整数）を係数とした以下の式で表現される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ，ｘ，ｙ）
＝（ｒｈ（０）×ｘ＋ｒｈ（１）×ｙ＋ｒｈ（２））×ｆ^２
＋（ｒｈ（３）×ｘ＋ｒｈ（４）×ｙ＋ｒｈ（５））×ｆ
＋（ｒｈ（６）×ｘ＋ｒｈ（７）×ｙ＋ｒｈ（８）） （１）

本実施形態において、ｒｈ（ｎ）は、ＢＰ補正情報として、例えば、レンズユニット１００のレンズメモリ１１８にあらかじめ記憶されるものとする。ステップＳ２３において、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に要求してｒｈ（ｎ）をレンズメモリ１１８から取得する。しかしながら、ｒｈ（ｎ）はＲＡＭ１２５ｂの不揮発性領域に記憶されていてもよい。この場合、ステップＳ２３において、カメラＭＰＵ１２５は、ｒｈ（ｎ）をＲＡＭ１２５ｂから取得する。

その他の曲線も式（１）と同様の式で表現される。赤と垂直（ＭＴＦ＿Ｐ＿ＲＶ）、緑と水平（ＭＴＦ＿Ｐ＿ＧＨ）、緑と垂直（ＭＴＦ＿Ｐ＿ＧＶ）、青と水平（ＭＴＦ＿Ｐ＿ＢＨ）、青と垂直（ＭＴＦ＿Ｐ＿ＢＶ）の各組み合わせに対応する係数を（ｒｖ，ｇｈ，ｇｖ，ｂｈ，ｂｖ）とする。これらの係数も同様にレンズメモリ１１８に記憶されており、及びカメラＭＰＵ１２５の要求により取得される。

本実施形態では、レンズメモリ１１８には、各瞳領域に対応する複数のＢＰ補正情報が記憶される。上述のように、図４によれば、光電変換部２１１ａに対応する瞳領域はＥＰ１ａであり、光電変換部２１１ｂに対応する瞳領域はＥＰ１ｂである。また、光電変換部２１１ａ、２１１ｂの和に対応する瞳領域はＴＬである。図１３（ａ）は瞳領域ＴＬのＢＰ補正情報ＢＰ＿ＴＬ（第１の収差情報）に対応する。図１３（ｂ）は瞳領域ＥＰ１ａでのＢＰ補正情報ＢＰ＿Ａ（第２の収差情報）に対応する。図１３（ｃ）は瞳領域ＥＰ１ｂでのＢＰ補正情報ＢＰ＿Ｂ（第２の収差情報）に対応する。

カメラＭＰＵ１２５は、焦点検出時、記録時又は鑑賞時に使用される撮影画像の瞳領域に対応したＢＰ補正情報を選択する。例えば、全射出瞳面を通過した撮影光束を使用し、コントラストＡＦを行う場合には、焦点検出用のＢＰ補正情報としては、ＢＰ補正情報ＢＰ＿ＴＬが選択される。一方、視差画像Ａを得るため、撮影画像として光電変換部２１１ａのみに対応する信号を読み出す場合には、光電変換部２１１ａに対応するＢＰ補正情報ＢＰ＿Ａが選択される。焦点検出時に選択される瞳領域は前述のステップＳ１で決定され、撮影画像に用いる瞳領域はステップＳ３の動作で決定されるので、これらのステップにおいて、前述の処理に対応するＢＰ補正情報の選択が行われる。

このように、対応する瞳領域ごとにＢＰ補正情報を保持しておき、焦点検出及び撮影の際に対応する瞳領域に応じて選択的にＢＰ補正情報を用いることで、瞳領域ごとの収差の差を考慮した補正が可能となる。これにより、高精度なＢＰ補正及び距離マップ作成が可能となる。瞳分割数は本実施形態では２つであり、瞳分割の方向は本実施形態では水平方向（Ｘ方向）であるが、これに限定されるものではなく、瞳分割の個数、方向は変更し得る。

また、レンズメモリ１１８に記憶されるＢＰ補正情報の量を低減するために、選択された瞳領域が近い場合、対称性を有する場合には、共通のＢＰ補正情報を用いてもよい。例えば、ＢＰ補正情報ＢＰ＿ＡとＢＰ補正情報ＢＰ＿Ｂは、瞳領域の位置が対称であるため、製造誤差がそれほど大きくない場合には、類似した特性を有する。このような場合には、ＢＰ補正情報ＢＰ＿ＢをＢＰ補正情報ＢＰ＿Ａで代用してもよい。

本実施形態のようにＢＰ補正情報を関数化し、各項の係数をＢＰ補正情報として記憶させておくことにより、数値データのまま記憶させた場合と比べてレンズメモリ１１８又はＲＡＭ１２５ｂに記憶されるデータ量が削減される。また、撮影光学系及び焦点検出光学系の変化に対応することも可能となる。さらに、本実施形態の複数の距離マップ検出領域に対応したＢＰ補正情報を個別に記憶する必要がなく、計算により得ることが可能となる。

ステップＳ２４において、ステップＳ２１で設定された距離マップ検出領域２１９ごとにステップＳ２５からステップＳ２８までの処理が複数回行われるループ処理に入る。具体的には、図６（ａ）のように距離マップ検出領域２１９が、２５個設定されている場合には、ｎ＝１から２５まで２５回のループ処理が行われる。

ステップＳ２５において、ステップＳ２１で設定された距離マップ検出領域２１９のデフォーカス値ＤＥＦ（ｎ）を算出する。ここで、デフォーカス値算出手段として機能するカメラＭＰＵ１２５は、前述した焦点検出動作と同様の動作によって、デフォーカス値ＤＥＦ（ｎ）を算出する。

ステップＳ２６において、焦点検出情報取得手段として機能するカメラＭＰＵ１２５は、距離マップ検出領域２１９の座標を含む、焦点検出に関する焦点検出情報を取得し、設定する。具体的には、図６（ａ）及び図６（ｂ）の例では、ｎ＝１の処理では、距離マップ検出領域２１９（１，１）の位置座標（ｘ１，ｙ１）が設定される。同様にｎ＝２以降の処理では、他の領域の位置座標が順次設定される。

ステップＳ２６で設定され得るその他の焦点検出情報の例を図１４（ａ）に示す。図１４（ａ）は、焦点検出情報の例として、焦点状態を評価するコントラストの方向（水平，垂直）、色（赤，緑，青）及び空間周波数（Ｆｑ１，Ｆｑ２，Ｆｑ３，Ｆｑ４）の各組み合わせに対する、重み付けの大きさを示す情報を表にまとめたものである。ここで設定される重みづけ情報は、あらかじめ設定されている値であってもよく、検出された被写体情報に応じて変更される値としても良いが、焦点検出用と撮影画像用とで、異なる情報を有するように設定する。

ここで、Ｋ＿ＡＦ＿Ｈ、Ｋ＿ＡＦ＿Ｖ、Ｋ＿ＩＭＧ＿Ｈ、Ｋ＿ＩＭＧ＿Ｖは各方向のＢＰ補正情報に対する係数である。Ｋ＿ＡＦ＿Ｒ、Ｋ＿ＡＦ＿Ｇ、Ｋ＿ＡＦ＿Ｂ、Ｋ＿ＩＭＧ＿Ｒ、Ｋ＿ＩＭＧ＿Ｇ、Ｋ＿ＩＭＧ＿Ｂは各色のＢＰ補正情報に対する係数である。Ｋ＿ＡＦ＿Ｆｑ１〜Ｋ＿ＡＦ＿Ｆｑ４、Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｋ＿ＩＭＧ＿Ｆｑ４は各周波数のＢＰ補正情報に対する係数である。

重み付けの大きさの具体例を説明する。一例として、コントラストの方向が水平で、緑色の信号を用い、空間周波数Ｆｑ１におけるコントラストＡＦの結果を補正する場合、焦点検出用の設定情報は、以下のように設定される。
Ｋ＿ＡＦ＿Ｈ＝１
Ｋ＿ＡＦ＿Ｖ＝０
Ｋ＿ＡＦ＿Ｒ＝０
Ｋ＿ＡＦ＿Ｇ＝１
Ｋ＿ＡＦ＿Ｂ＝０
Ｋ＿ＡＦ＿Ｆｑ１＝１
Ｋ＿ＡＦ＿Ｆｑ２＝０
Ｋ＿ＡＦ＿Ｆｑ３＝０
Ｋ＿ＡＦ＿Ｆｑ４＝０

このような設定情報により、焦点検出用の信号のデフォーカスＭＴＦのピーク情報は、水平方向で緑色の信号の特性と同じであることを示すことができる。一方、撮影画像用の設定情報は、以下のように設定される。
Ｋ＿ＩＭＧ＿Ｈ＝０．５
Ｋ＿ＩＭＧ＿Ｖ＝０．５
Ｋ＿ＩＭＧ＿Ｒ＝０．２５
Ｋ＿ＩＭＧ＿Ｇ＝０．５
Ｋ＿ＩＭＧ＿Ｂ＝０．２５
Ｋ＿ＩＭＧ＿Ｆｑ１＝０
Ｋ＿ＩＭＧ＿Ｆｑ２＝０
Ｋ＿ＩＭＧ＿Ｆｑ３＝１
Ｋ＿ＩＭＧ＿Ｆｑ４＝０

このような設定情報により、ＲＧＢの信号をＹ信号相当に変換するための重み付けが行われ、撮影画像はＹ信号で評価される。また、水平方向及び垂直方向のいずれの方向のコントラストも同等の重みで評価され、焦点検出時とは異なる空間周波数Ｆｑ３で評価される。ただし、上述の具体的な設定値は一例であり、これに限られない。また重み付けを設定する設定値の種類も一例であり、これに限らない。

ステップＳ２７において、補正値算出手段として機能するカメラＭＰＵ１２５は、ＢＰ補正値を算出する。ここでは、瞳領域ＴＬに対応する光学系の収差情報と、瞳領域ＴＬとは重心が異なる瞳領域の第２収差情報と、色、方向、周波数の重みづけ係数である焦点検出情報とを用いて、ＢＰ補正値を算出する例を説明する。

具体的には、まず、式（１）のｘ、ｙに距離マップ検出領域２１９の位置情報（ｘ１、ｙ１）を代入する。この計算により式（１）は、係数Ａｒｈ、Ｂｒｈ及びＣｒｈを用いて以下の式（２）のような形式で表される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ）＝Ａｒｈ×ｆ^２＋Ｂｒｈ×ｆ＋Ｃｒｈ （２）

カメラＭＰＵ１２５は、さらに、ＭＴＦ＿Ｐ＿ＲＶ（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ（ｆ）を同様に計算する。

このとき、図１３（ａ）、図１３（ｂ）及び図１３（ｃ）に示されるように、ＭＴＦ＿Ｐ＿ＲＨ（ｆ）、…、ＭＴＦ＿Ｐ＿ＢＶ（ｆ）の曲線は互いに乖離したものとなる。例えば、撮影光学系の色収差が大きい場合には、色ごとの曲線が乖離する。撮影光学系の縦横方向の収差が大きい場合には、図中の水平方向と垂直方向の曲線が乖離する。このように、本実施形態では、色（Ｒ，Ｇ，Ｂ）と評価方向（Ｈ，Ｖ）との組み合わせごとに、空間周波数に対応したデフォーカスＭＴＦを得ることができる。

次に、カメラＭＰＵ１２５は、ステップＳ２６で取得した焦点検出情報を構成する係数（図１４（ａ））で、ステップＳ３で選択された瞳領域のＢＰ補正情報を重み付けする。ここでは、ステップＳ３で前述したとおり、焦点検出時のＢＰ補正情報をＢＰ＿ＴＬ、撮像時のＢＰ補正情報をＢＰ＿Ａとする。これにより、ＢＰ補正情報（収差情報）が、焦点検出及び撮像で評価する色、方向に関して重み付けされる。具体的には、カメラＭＰＵ１２５は、焦点検出用の空間周波数特性ＭＴＦ＿Ｐ＿ＡＦ（ｆ）と撮影画像用の空間周波数特性ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）とを、以下の式（３）及び式（４）を用いて算出する。
ＭＴＦ＿Ｐ＿ＡＦ（ｆ）
＝Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ１（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ１（ｆ） （３）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）
＝Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ２（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ２（ｆ） （４）

図１４（ｂ）には、離散的な空間周波数Ｆｑ１からＦｑ４について、デフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ１０４の位置（ピーク位置）ＬＰ４＿ＡＦ、ＬＰ５＿ＡＦ、ＬＰ６＿ＡＦ、ＬＰ７＿ＡＦが縦軸に示されている。

次に、カメラＭＰＵ１２５は、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を、以下の式（５）及び（６）に従って算出する。算出には、空間周波数特性ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）と、重み付けの係数Ｋ＿ＩＭＧ＿Ｆｑ１〜Ｆｑ４、Ｋ＿ＡＦ＿Ｆｑ１〜Ｆｑ４を用いる。
Ｐ＿ＩＭＧ
＝ＭＴＦ＿Ｐ＿ＩＭＧ（１）×Ｋ＿ＩＭＧ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＩＭＧ（２）×Ｋ＿ＩＭＧ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＩＭＧ（３）×Ｋ＿ＩＭＧ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＩＭＧ（４）×Ｋ＿ＩＭＧ＿Ｆｑ４ （５）
Ｐ＿ＡＦ
＝ＭＴＦ＿Ｐ＿ＡＦ（１）×Ｋ＿ＡＦ＿Ｆｑ１
＋ＭＴＦ＿Ｐ＿ＡＦ（２）×Ｋ＿ＡＦ＿Ｆｑ２
＋ＭＴＦ＿Ｐ＿ＡＦ（３）×Ｋ＿ＡＦ＿Ｆｑ３
＋ＭＴＦ＿Ｐ＿ＡＦ（４）×Ｋ＿ＡＦ＿Ｆｑ４ （６）

すなわち、カメラＭＰＵ１２５は、図１４（ｂ）に示される空間周波数ごとのデフォーカスＭＴＦの極大値情報を、Ｋ＿ＩＭＧ＿ＦＱ、Ｋ＿ＡＦ＿ＦＱで重みづけ加算する。それにより、撮影画像の合焦位置（Ｐ＿ＩＭＧ）とＡＦで検出される合焦位置（Ｐ＿ＡＦ）を算出している。

次にカメラＭＰＵ１２５は、ＢＰ補正値を、以下の式（７）により算出する。なお、この処理は各距離マップ検出領域ｎに対して行われるので、ＢＰ補正値は距離マップ検出領域２１９ごとに得られる。そのため、ＢＰ補正値はＢＰ（ｎ）と表記する。
ＢＰ（ｎ）＝Ｐ＿ＡＦ−Ｐ＿ＩＭＧ （７）

次に、ステップＳ２８では、デフォーカス値補正手段として機能するカメラＭＰＵ１２５は、デフォーカス値の補正を行う。ここで用いられるデフォーカス値は、前述したコントラストＡＦの結果で得られるものであってもよく、撮像面位相差ＡＦで得られるものであってもよい。各距離マップ検出領域ｎにおける焦点検出結果をＤＥＦ（ｎ）、補正後の焦点検出結果をｃＤＥＦ（ｎ）とすると、以下の式（８）の演算処理を行う。
ｃＤＥＦ（ｎ）＝ＤＥＦ（ｎ）−ＢＰ（ｎ） （８）

このように、距離マップ検出領域２１９ごとにデフォーカス値の補正を行うことで、高精度な距離マップを生成することができる。
ｎ＝１から２５まで２５回の処理が完了すると、ステップＳ２９においてループ処理が終了する。

ステップＳ３０において、距離マップ生成手段として動作するカメラＭＰＵ１２５は、各距離マップ検出領域２１９におけるＢＰ補正後の焦点検出結果ｃＤＥＦ（ｎ）をＲＡＭ１２５ｂの不揮発性領域に記憶することで距離マップを生成する。各距離マップ検出領域におけるｃＤＡＦ（ｎ）の検出結果を、０を無限遠とし、＋側に値が大きくなるほど至近として、数値化してプロットすると図８（ａ）のような距離マップが得られる。ｃＤＥＦ（ｎ）の値の大きさを濃淡で示して表示することで図８（ｂ）のような距離マップが得られる。また、ｃＤＥＦ（ｎ）を色で表現してカラーバーをさらに追加してもよい。これらの距離マップはカメラＭＰＵ１２５からの指示に基づき表示器１２６に表示させることができる。このようにして距離マップを表示することにより、視覚的に距離を把握しやすい距離マップアプリケーションが実現される。

本実施形態では、距離マップ検出領域２１９の位置、評価する色及びコントラスト方向に関する演算処理を、空間周波数に関する演算処理よりも先行して実行している。これは、撮影者が距離マップ検出領域２１９の位置を設定するモードの場合、距離マップ検出領域の位置、評価する色及び方向に関する情報は変更される頻度が低いためである。

一方で、空間周波数については、撮像素子１２２の読出しモード、ＡＦ評価信号に係るデジタルフィルタなどにより変更される頻度が高い。例えば、信号のＳ／Ｎ比が低下する低輝度環境では、デジタルフィルタの帯域をより低帯域に変更することなどがあり得る。そのため、変更の頻度が低い係数（ピーク係数）を算出後に記憶しておき、変更の頻度の高い係数（空間周波数）のみを必要に応じて計算し、ＢＰ補正値の算出を行ってもよい。これにより、演算量の低減を行うことができる。

本実施形態によれば、視差画像に対応した距離マップを取得可能な情報処理装置が提供される。視差画像は異なる瞳領域を通過した光束に基づく画像である。そのため、視差画像ごとに撮影光学系の光学収差が異なる場合がある。このような場合に通常画像の光学収差をそのまま用いて補正を行うと補正の精度が不十分となることがある。本実施形態では、視差画像に対応した収差情報を用いて補正を行うので、精度の高い補正が可能となり、高精度な距離マップが取得可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態では、瞳領域ＥＰ１ａでのＢＰ補正情報ＢＰ＿Ａを、瞳領域ＴＬのＢＰ補正情報ＢＰ＿ＴＬで代用している。本実施形態を適用することにより、瞳領域ごとのＢＰ補正情報をあらかじめメモリ等に記憶させることなく、瞳領域に対応したＢＰ補正情報を参照することが可能になる。これにより、ＢＰ補正情報を記憶させるために要する記憶容量を低減させることができる。

なお、本実施形態において、情報処理装置の構成、各焦点検出方式の内容、焦点検出領域２１９の設定方法、焦点検出処理及び焦点検出情報の取得等は、特記しない部分については第１の実施形態と同様であるものとし、重複する説明を省略又は簡略化する。

本実施形態では、第１の実施形態で述べたステップＳ２３のＢＰ補正情報の取得方法が異なるので、この点について、図９、図１０（ａ）及び図１０（ｂ）を参照して説明する。
ステップＳ１０１において、瞳分割の数ｎｐの回数のループ処理に入る。ここで、瞳分割の数ｎｐは、撮影光学系の射出瞳面上に投影される光電変換部の数である。例えば、図４（ｂ）及び図１０（ａ）に示す例ではｎｐ＝２となる。換言すると、瞳領域ＥＰ１ａに対応する処理と瞳領域ＥＰ１ａに対応する処理の２回の処理が順次行われる。

ステップＳ１０２において、カメラＭＰＵ１２５は、ステップＳ１０１で設定された瞳領域に対して、瞳領域ＴＬにおける瞳領域ＥＰ１ａの水平方向の瞳領域割合Ｐ＿Ｈを算出する。この処理について、図１０（ａ）を用いて説明する。なお、瞳領域ＥＰ１ａに対応する水平方向の瞳領域割合をＰ＿Ａ＿Ｈと表記し、瞳領域ＥＰ１ｂに対応する水平方向の瞳領域割合をＰ＿Ｂ＿Ｈと表記する。

図１０（ａ）より、瞳領域割合Ｐ＿Ａ＿Ｈは、瞳領域ＥＰ１ａと瞳領域ＥＰ１ｂを合わせた瞳領域に対応する瞳領域割合Ｐ＿ＴＬ＿Ｈの半分である。したがって、ステップＳ１０２において、カメラＭＰＵ１２５は、瞳領域割合Ｐ＿Ａ＿Ｈを１／２に設定する。
同様に、なお、瞳領域ＥＰ１ａに対応する垂直方向の瞳領域割合をＰ＿Ａ＿Ｖと表記し、瞳領域ＥＰ１ｂに対応する垂直方向の瞳領域割合をＰ＿Ｂ＿Ｖと表記する。図１０（ａ）より、瞳領域割合Ｐ＿Ａ＿Ｖは、瞳領域ＥＰ１ａと瞳領域ＥＰ１ｂを合わせた瞳領域に対応する瞳領域割合Ｐ＿ＴＬ＿Ｈと同一である。したがって、ステップＳ１０３において、カメラＭＰＵ１２５は、瞳領域割合Ｐ＿Ａ＿Ｖを１に設定する。

ステップＳ１０４において、カメラＭＰＵ１２５は、ステップＳ１０２及びステップＳ１０３で設定された瞳領域割合Ｐ＿Ａ＿Ｈ及び瞳領域割合Ｐ＿Ａ＿Ｖに対応する撮影Ｆ値を算出する。撮影Ｆ値は、ＢＰ補正情報ＢＰ＿Ａを瞳領域ＴＬのＢＰ補正情報ＢＰ＿ＴＬテーブル上から選択するために用いられる。

前述したとおり、ＢＰ補正情報は、光学系の収差状態を表す情報であり、光学系のズーム、撮影Ｆ値（絞り）、被写体距離などによって変化する。図１０（ｂ）は、瞳領域ＴＬの撮影Ｆ値による瞳領域の変化を示す図である。撮影Ｆ値がＦ１（開放）状態の水平方向の瞳領域割合は、Ｐ＿ＴＬ＿Ｈ（Ｆ１）に対応し、垂直方向の瞳領域割合は、Ｐ＿ＴＬ＿Ｖ（Ｆ１）に対応する。図１０（ｂ）に示されるように、撮影Ｆ値がＦ２からＦ５の場合も同様の対応関係となる。一般的に、撮影Ｆ値が大きくなる（図１０（ｂ）上では、Ｆ１，Ｆ２、Ｆ３、…となる）ほど、瞳領域の面積は小さくなる。撮影Ｆ値の違いにより変化する瞳領域は、同心円状に変化する。すなわち、これらの複数の瞳領域内は重心が同一である。

カメラＭＰＵ１２５又はレンズメモリ１１８は、Ｆ値の変化によるＢＰ補正情報ＢＰ＿ＴＬの変化をテーブルとしてあらかじめ記憶している。図１０（ｂ）の例では、カメラＭＰＵ１２５又はレンズメモリ１１８は、ＢＰ補正情報ＢＰ＿ＴＬ＿Ｈ（Ｆ１）、・・・、ＢＰ＿ＴＬ＿Ｈ（Ｆ５）及びＢＰ＿ＴＬ＿Ｖ（Ｆ１）、・・・、ＢＰ＿ＴＬ＿Ｖ（Ｆ５）を記憶している。

ステップＳ１０５において、カメラＭＰＵ１２５は、瞳領域割合Ｐ＿Ａ＿Ｈ及び瞳領域割合Ｐ＿Ａ＿Ｖに最も割合の近いＰ＿ＴＬ（Ｆｘｘ）（ｘｘは１〜５の整数）を選択する。これにより、瞳領域Ｐ＿ＴＬのＦ値変化情報から、各瞳領域ＥＰ１ａ、ＥＰ１ｂにおける光学特性に近い収差状態が選択されるので、瞳領域面積によるピントの変動に対応可能となる。図１０（ｂ）の例では、瞳領域割合Ｐ＿Ａ＿Ｈに対応する瞳領域割合として、Ｐ＿ＴＬ＿Ｈ（Ｆ２）が選択され、瞳領域割合Ｐ＿Ａ＿Ｖに対応する瞳領域割合として、Ｐ＿ＴＬ＿Ｖ（Ｆ１）が選択される。

その後、瞳領域割合Ｐ＿ＴＬ＿Ｈ（Ｆ２）に基づき水平方向に対応するＢＰ補正情報としてＢＰ＿ＴＬ＿Ｈ（Ｆ２）が取得され、瞳領域割合Ｐ＿ＴＬ＿Ｖ（Ｆ１）に基づき垂直方向に対応するＢＰ補正情報としてＢＰ＿ＴＬ＿Ｖ（Ｆ１）が取得される。このように、本実施形態では、瞳領域ＴＬのＢＰ補正情報のテーブルを参照することにより、ＢＰ補正情報の取得が可能であるため、瞳領域ごとのＢＰ補正情報をあらかじめメモリ等に記憶させておく必要がない。これにより、ＢＰ補正情報を記憶させるために要する記憶容量を低減させることができる。
ｎｐ＝１から２まで２回の処理が完了すると、ステップＳ１０６においてループ処理が終了する。

本実施形態では、第１の実施形態の効果に加え、瞳領域ごとのＢＰ補正情報を瞳領域ＴＬのＢＰ補正情報のテーブルを参照して用いることにより、瞳領域ごとのＢＰ補正情報をメモリ等に記憶させる必要なく、適切なＢＰ補正情報を参照することが可能になる。本実施形態では、瞳分割数が２分割の場合について説明したが、瞳分割数はこれに限られない。なお、本実施形態の動作は、瞳分割数と対応領域の情報が既知であれば実行可能であるため、ＢＰ補正情報の記憶時にあらかじめ選択されていてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態では、瞳領域分割がさらに多分割になり、射出瞳面距離Ｚｅｐとセンサ瞳面距離Ｓｅｐとが一致しない場合のＢＰ補正情報の選択方法の一例について説明する。本実施形態が第１、第２の実施形態と異なる点は、各瞳領域の重心に応じて、各瞳領域のＢＰ補正情報を瞳領域ＴＬのＢＰ補正情報ＢＰ＿ＴＬのＦ値変化についてのテーブルから参照するか否かを判定する点である。第２の実施形態では、瞳領域ＥＰ１ａでのＢＰ補正情報ＢＰ＿Ａを、瞳領域ＴＬのＢＰ補正情報ＢＰ＿ＴＬで代用する方法を示しているが、両者の瞳領域が大きく異なる場合には、本実施形態の動作を適用することでより高精度な補正が可能となる。

図１５（ｂ）は、本実施形態の瞳分割を示す図である。図示されているように、瞳領域分割は３×３＝９分割されている。各瞳領域をＥＰ２ａ、ＥＰ２ｂ、…、ＥＰ２ｉとする。図１５（ａ）は、撮影光学系の射出瞳面と、画素２１１、２１２の光電変換部２１１ａ〜２１１ｃ、２１２ａ〜２１２ｃとの共役関係を表す図である。なお、本実施形態において、情報処理装置の構成、各焦点検出方式の内容、焦点検出領域２１９の設定方法、焦点検出処理及び焦点検出情報の取得等は、特記しない部分については第１の実施形態と同様であるものとし、重複する説明は省略又は簡略化する。

本実施形態では、第１の実施形態で述べたステップＳ２３のＢＰ補正情報の取得方法が第１の実施形態及び第２の実施形態と異なるので、この点について、図１１、図１５を参照して説明する。ステップＳ１０１については、第２の実施形態で示した動作と同様であるため、説明を省略する。

ステップＳ２０１において、各光電変換部が対応する瞳領域を設定する。一般的には、撮影レンズの絞りが設定される射出瞳面までの射出瞳面距離Ｚｅｐと、光電変換部のオンチップマイクロレンズの共役面までの距離（＝センサ瞳面距離Ｓｅｐ）とは、ほぼ一致する平面となることが望ましい。しかしながら、交換レンズ系での設計においては、射出瞳面距離Ｚｅｐとセンサ瞳面距離Ｓｅｐは必ずしも一致しない。本実施形態では、図１５（ａ）に示されるように、射出瞳面距離Ｚｅｐに対して、センサ瞳面距離Ｓｅｐが短く設定されている場合について説明する。

図１５（ａ）に示されるように、光電変換部２１１ａ、２１１ｂ、２１１ｃのような画面中央の焦点検出領域では、光電変換部２１１ａ、２１１ｂ、２１１ｃに対応する瞳領域はそれぞれＥＰ２ａ、ＥＰ２ｂ、ＥＰ２ｃとなる。すなわち、光電変換部と瞳領域とは一対一対応する。

しかしながら、光電変換部２１２ａ、２１２ｂ、２１２ｃのように中央以外の焦点検出領域では、光電変換部と瞳領域との対応関係が一対一対応とならない。光電変換部２１２ａ、２１２ｂ、２１２ｃは、センサ瞳面距離Ｓｅｐであるため、マイクロレンズからＳｅｐ離れた位置で瞳領域が共役となり得る。しかしながら、瞳領域におけるＢＰ補正情報（収差情報）は、射出瞳面距離Ｚｅｐの位置で分割された瞳領域ＥＰ２ａ〜ＥＰ２ｃごとの収差情報として記憶されている。そのため、光電変換部２１２ａから延長された点線は、射出瞳面距離Ｚｅｐの位置では、どの瞳領域とも交点を持たない。同様に、光電変換部２１２ｂ、２１２ｃに対応する最も近い瞳領域はそれぞれＥＰ２ａ、ＥＰ２ｂとなり、光電変換部２１１ａ、２１１ｂ、２１１ｃの場合と対応関係が異なる。すなわち、射出瞳面距離Ｚｅｐとセンサ瞳面距離Ｓｅｐが一致しない場合には、焦点検出領域によって、光電変換部と瞳領域との対応関係が異なる。
よって、ステップＳ２０１では、あらかじめ記憶されている光電変換部の位置と瞳領域の対応関係を利用して、焦点検出領域ごとに用いる瞳領域を選択する。

ステップＳ２０２において、判定手段としてのカメラＭＰＵ１２５が、瞳領域ＴＬの瞳重心とステップＳ１０１で選択された瞳領域の瞳重心とが同一であるか否かを判定する。瞳重心とは、各瞳領域における瞳位置の代表位置座標のことである。これについて、図１５（ｃ）を参照して説明する。

図１５（ｃ）は、複数の光電変換部の射出瞳面上での各瞳領域ＥＰ２ａ〜ＥＰ２ｉにおける瞳重心座標ＥＰ２ａ＿ＢＬ〜ＥＰ２ｉ＿ＢＬを、点線で示す交点で表している。瞳領域ＥＰ２ａにおける瞳重心はＥＰ２ａ＿ＢＬ１である。同様に、瞳領域ＴＬの瞳重心はＥＰ＿ＴＬ＿ＢＬとして図１５（ｃ）のように示される。

ステップＳ２０２において、瞳領域ＴＬの瞳重心とステップＳ１０１で設定された瞳領域での瞳重心の座標が一致する場合は、ステップＳ１０２に進み、一致しない場合には、ステップＳ２３に進む。図１５（ｃ）の例では、瞳領域ＥＰ２ｅのみについては、ステップＳ１０２に進み、それ以外の瞳領域ＥＰ２ａ、ＥＰ２ｂ、ＥＰ２ｃ、ＥＰ２ｄ、ＥＰ２ｆ、ＥＰ２ｇ、ＥＰ２ｈ、ＥＰ２ｉについてはステップＳ２０２に進む。

ステップＳ２３では、各瞳領域に対応したＢＰ補正情報ＢＰ＿Ａ、ＢＰ＿Ｂ、…を取得する。この動作は、第１の実施形態のステップＳ２３の動作と同様であるため、説明を省略する。また、本実施形態のステップＳ１０２からステップＳ１０６の動作は、第２の実施形態のステップＳ１０２からステップＳ１０６の動作と同様であるため説明を省略する。

本実施形態では、第１の実施形態の効果に加え、瞳領域ごとのＢＰ補正情報を、瞳重心が異なる瞳領域のみに対してメモリに保持させておくことで、瞳領域ごとのＢＰ補正情報の記憶量を最小限にとどめたまま、高精度なＢＰ補正が可能になる。なお、本実施形態では、瞳分割数が９分割の場合について説明したが、瞳分割数はこれに限られない。また、本実施形態の動作は、瞳分割数と対応領域の情報が既知であれば実行可能であるため、ＢＰ補正情報をメモリ等にあらかじめ記憶させる際に実行されていてもよい。

［その他の実施形態］
第１乃至第３の実施形態では、ＢＰ補正情報を用いて算出されるＢＰ補正値及び距離マップはデフォーカス値の次元で記載されているが、これに限られるものではない。

例えば、距離マップは、第１の画像信号及び第２の画像信号に基づく複数の信号の間の相対的な像ずれ量に基づいて生成されてもよい。デフォーカス値の生成に用いられる相対的な像ずれ量は、カメラからの距離と対応づけられ得るためである。さらに、ＢＰ補正情報も像ずれ量の次元で記録されていてもよい。なお、第１の画像信号及び第２の画像信号は、撮影光学系の異なる瞳領域を通過した光束を受光する複数の光電変換部を有する撮像素子から出力され得る。また、撮影光学系の異なる瞳領域のうちの第１の瞳領域は、複数の光電変換部全体で受光される光束が通過する瞳領域に対応する。

例えば、距離マップは、デフォーカス値から換算された被写体距離に基づいて生成されてもよく、ＢＰ補正情報もまた被写体距離に対応するように情報が記録されていてもよい。

例えば、距離マップは、撮影光学系のレンズの駆動量（制御信号のパルス数等）の分布に基づいて生成されてもよい。駆動量は、デフォーカス情報の算出に用いた画像内の領域に対応する被写体が合焦する位置にレンズが動くよう定められる。また、ＢＰ補正情報もレンズ駆動量の次元で記録され得る。

上述のように、距離マップは、第１の画像信号及び第２の画像信号に基づく複数の信号の間の相対的な像ずれ量、デフォーカス値及び撮影光学系のレンズの駆動量の少なくとも１つの分布を示すものであり得る。言い換えると、距離マップは、デフォーカス情報に基づいて生成され得るものであり、当該デフォーカス情報は、デフォーカス値、上述の相対的な位置ずれ量及びレンズの駆動量を含み得る。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…レンズユニット、１０４…フォーカスレンズ、１１３…フォーカスアクチュエータ、１１７…レンズＭＰＵ、１１８…レンズメモリ、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…コントラストＡＦ部

Claims (17)

1. 撮影光学系の第１の瞳領域を通過した光束に基づく第１の画像信号と、前記撮影光学系の前記第１の瞳領域と異なる第２の瞳領域を通過した光束に基づく第２の画像信号と、を取得する画像信号取得手段と、
   前記第１の瞳領域に対応する前記撮影光学系の第１の収差情報と、前記第２の瞳領域に対応する前記撮影光学系の第２の収差情報と、を取得する収差情報取得手段と、
   前記第１の画像信号及び前記第２の画像信号の少なくとも一方に基づいて第１のデフォーカス情報を算出する算出手段と、
   前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス情報を補正して第２のデフォーカス情報を生成する補正手段と、
   前記第２のデフォーカス情報に基づいて距離マップを生成する距離マップ生成手段と、
   を有し、
   前記第１の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、
   前記第２の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づくことを特徴とする情報処理装置。
2. 前記補正手段は、前記第１の収差情報と前記第２の収差情報に加えて、前記第１のデフォーカス情報を算出するのに用いた画像信号内の領域の位置座標、前記第１のデフォーカス情報を算出するのに用いた光の色及び前記第１のデフォーカス情報を算出するのに用いた信号の空間周波数の少なくとも１つに基づいて前記第１のデフォーカス情報を補正することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の収差情報及び前記第２の収差情報は、前記第１のデフォーカス情報を算出するのに用いた画像信号内の領域の位置座標、前記第１のデフォーカス情報を算出するのに用いた光の色及び前記第１のデフォーカス情報を算出するのに用いた信号の空間周波数の少なくとも１つに依存するＭＴＦ(Modulation Transfer Function)についての情報を含むことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づいて前記第２の収差情報を取得するか否かを、前記第２の瞳領域の重心の座標に基づいて判定する判定手段をさらに有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第２の瞳領域は前記第１の瞳領域に含まれる領域であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記画像信号取得手段は、前記撮影光学系の異なる瞳領域を通過した光束を受光する複数の光電変換部を有する撮像素子から出力される前記第１の画像信号及び前記第２の画像信号を取得することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１の瞳領域は、前記複数の光電変換部全体で受光される光束が通過する瞳領域に対応することを特徴とする請求項６に記載の情報処理装置。
8. 前記第２のデフォーカス情報の生成は、焦点検出を行う複数の検出領域の各々に対応して複数回行われ、
   距離マップ生成手段は、複数の前記第２のデフォーカス情報と前記複数の検出領域の座標に基づいて距離マップを生成することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記第１のデフォーカス情報は、前記第１の画像信号及び前記第２の画像信号に基づく複数の信号の間の相対的な像ずれ量であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記第１のデフォーカス情報は、デフォーカス値であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
11. 前記第１のデフォーカス情報は、デフォーカス情報の算出に用いた画像内の領域に対応する被写体が合焦する位置に前記撮影光学系のレンズが動くよう定められた前記レンズの駆動量であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
12. 前記距離マップは、前記第１の画像信号及び前記第２の画像信号に基づく複数の信号の間の相対的な像ずれ量、デフォーカス値及びレンズの駆動量の少なくとも１つの分布を示すマップであることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記算出手段は、前記第１の画像信号及び前記第２の画像信号に基づく複数の信号の間の相対的な像ずれ量を算出することにより前記第１のデフォーカス情報を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記算出手段は、前記第１の画像信号又は前記第２の画像信号により形成される画像のコントラストに基づいて前記第１のデフォーカス情報を算出することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記第１の画像信号及び前記第２の画像信号に基づいて生成される複数の視差画像から１つ以上の視差画像を選択して表示用又は記録用の撮影画像を生成する撮影画像生成手段をさらに有することを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 撮影光学系の第１の瞳領域を通過した光束に基づく第１の画像信号と、前記撮影光学系の前記第１の瞳領域と異なる第２の瞳領域を通過した光束に基づく第２の画像信号と、を取得する画像信号取得工程と、
    前記第１の瞳領域に対応する前記撮影光学系の第１の収差情報と、前記第２の瞳領域に対応する前記撮影光学系の第２の収差情報と、を取得する収差情報取得工程と、
    前記第１の画像信号及び前記第２の画像信号の少なくとも一方に基づいて第１のデフォーカス情報を算出する算出工程と、
    前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス情報を補正して第２のデフォーカス情報を生成する補正工程と、
    前記第２のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、
    を有し、
    前記第１の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、
    前記第２の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づくことを特徴とする情報処理方法。
17. コンピュータに、
    撮影光学系の第１の瞳領域を通過した光束に基づく第１の画像信号と、前記撮影光学系の前記第１の瞳領域と異なる第２の瞳領域を通過した光束に基づく第２の画像信号と、を取得する画像信号取得工程と、
    前記第１の瞳領域に対応する前記撮影光学系の第１の収差情報と、前記第２の瞳領域に対応する前記撮影光学系の第２の収差情報と、を取得する収差情報取得工程と、
    前記第１の画像信号及び前記第２の画像信号の少なくとも一方に基づいて第１のデフォーカス情報を算出する算出工程と、
    前記第１の収差情報と、前記第２の収差情報とに基づいて前記第１のデフォーカス情報を補正して第２のデフォーカス情報を生成するデフォーカス値補正工程と、
    前記第２のデフォーカス情報に基づいて距離マップを生成する距離マップ生成工程と、
    を実行させるプログラムであって、
    前記第１の収差情報は、重心が同一の複数の瞳領域に対応した複数の収差情報を有し、
    前記第２の収差情報は、前記重心が同一の複数の瞳領域に対応した複数の収差情報のうちの１つに基づくことを特徴とするプログラム。

Images