JP2010117679A - 焦点検出装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 光束のケラレ状態に応じた像の修復を可能とし、合焦精度を向上させること。
【解決手段】 被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像素子（１０７）と、前記第１の瞳領域に対応した第１の線像分布関数と、前記第２の瞳領域に対応した第２の線像分布関数とを算出するとともに、前記第１の画素群から得られた第１の被写体像に前記第２の線像分布関数を畳み込み積分することにより第１の像信号を生成し、前記第２の画素群から得られた第２の被写体像に前記第１の線像分布関数を畳み込み積分することにより第２の像信号を生成する演算手段（１２１）と、前記演算手段により生成された前記第１の像信号及び前記第２の像信号に基づいて、前記結像光学系の焦点状態を検出する焦点検出手段（１２１）とを有する。
【選択図】 図１

Description

本発明は、焦点検出装置及び方法、及び撮像装置に関し、更に詳しくは、撮像を行うための撮像素子から得られる像に基づいて撮影レンズの合焦状態を検出可能なデジタルスチルカメラ等の撮像装置で用いられる焦点検出装置及び方法に関する。

イメージセンサを用いて撮影を行うデジタルカメラにおいて撮影レンズの合焦状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元のセンサを用いて、瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１の装置では、イメージセンサを構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を通過した光束を受光するように構成されている。

また特許文献２では、マイクロレンズと光電変換部の相対位置を偏位させた画素を２次元に配置した、イメージセンサを兼ねた固体撮像装置を開示している。特許文献２の固体撮像装置では、撮影レンズの合焦状態を検出する時は、マイクロレンズと光電変換部の相対偏位方向が異なる画素列で生成される像に基づいて撮影レンズの合焦状態を検出している。一方、通常の画像を撮像するときは、マイクロレンズと光電変換部の相対偏位方向が異なる画素を加算することにより、画像を生成している。

また、本出願人はデジタルスチルカメラに用いられるＣＭＯＳ型イメージセンサ（固体撮像装置）を用いて瞳分割方式の焦点検出を行う固体撮像装置を特許文献３に開示している。特許文献３の固体撮像装置では、固体撮像装置を構成する多数の画素のうちの一部の画素は、撮影レンズの焦点状態を検出するために光電変換部が２つに分割された構成となっている。光電変換部は、マイクロレンズを介して撮影レンズの瞳の所定領域を通過した光束を受光するように構成されている。

図２２は、特許文献３に開示されている固体撮像素子の中央に位置する焦点検出を行う画素の受光分布の説明図で、２つに分割された光電変換部がそれぞれ受光可能な撮影レンズの瞳上の領域を示している。図中、円は撮影レンズの射出瞳を示し、白抜きされた領域Ｓα、領域Ｓβは２つに分割された光電変換部の受光可能な領域で、通常撮影レンズの光軸（図中ｘ軸とｙ軸の交点）に対して対称になるように設定されている。

カメラにおいては、撮影レンズの瞳上の領域Ｓαを透過した光束により生成された像と領域Ｓβを透過した光束により生成される像の相関演算を行って、撮影レンズの焦点状態が検出される。撮影レンズの異なる瞳領域を透過した光束より生成される像の相関演算を行って焦点検出を行う方法は、特許文献４に開示されている。

また、特許文献４では、カメラに格納された特定のフィルターを、口径比、射出瞳位置、像ズレ量によって変形し、該変形フィルターを被写体像に適応させたのち、焦点状態を検出する技術が開示されている。

特開昭５８−２４１０５号公報（第２頁、図１） 特許２９５９１４２号公報（第２頁、図２） 特開２００５−１０６９９４号公報（第７頁、図３） 特開平５−１２７０７４号公報（第１５頁、図３４）

焦点状態を検出する場合、撮影画面の中央に位置する被写体のみならず、通常撮影画面の周辺に位置する被写体に対しても焦点検出を行うことが一般的に行われている。しかし、撮影画面の周辺では、撮影レンズのレンズ枠などによる光束のケラレが生じるため、撮影レンズの瞳上の領域Ｓαと領域Ｓβは非対称となってしまう。そのため、撮影レンズの瞳上の領域Ｓαを透過した光束により生成された像と、領域Ｓβを透過した光束により生成される像との一致度は低くなる。その結果、特許文献１〜３の発明では、撮影レンズの瞳上の領域Ｓαを透過した光束により生成された像と、領域Ｓβを透過した光束により生成される像とに基づいて相関演算を行っても、精度の高い焦点検出ができないという欠点があった。

また、特許文献４に記載されているようにカメラに格納された特定のフィルターを条件によって変形しただけでは、光束のケラレ状態に応じた修復ができないという欠点があった。

本発明は上記問題点を鑑みてなされたものであり、光束のケラレ状態に応じた像の修復を可能とし、合焦精度を向上させることを目的とする。

上記目的を達成するために、本発明の焦点検出装置は、被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像手段と、前記第１の瞳領域に対応した第１の線像分布関数と、前記第２の瞳領域に対応した第２の線像分布関数とを算出するとともに、前記第１の画素群から得られた第１の被写体像に前記第２の線像分布関数を畳み込み積分することにより第１の像信号を生成し、前記第２の画素群から得られた第２の被写体像に前記第１の線像分布関数を畳み込み積分することにより第２の像信号を生成する演算手段と、前記演算手段により生成された前記第１の像信号及び前記第２の像信号に基づいて、前記結像光学系の焦点状態を検出する焦点検出手段とを有する。

また、撮像手段に含まれる被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群から第１の被写体像を読み出し、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群から第２の被写体像を読み出す撮像工程と、前記第１の瞳領域に対応した第１の線像分布関数と、前記第２の瞳領域に対応した第２の線像分布関数とを算出する算出工程と、前記第１の被写体像に前記第２の線像分布関数を畳み込み積分することにより第１の像信号を生成し、前記第２の被写体像に前記第１の線像分布関数を畳み込み積分することにより第２の像信号を生成する演算工程と、前記演算工程で生成された前記第１の像信号及び前記第２の像信号に基づいて、前記結像光学系の焦点状態を検出する焦点検出工程とを有する。

本発明によれば、光束のケラレ状態に応じて像の修復が可能となり、合焦精度を向上させることが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

図１は本発明の好適な実施の形態に係る撮像装置の構成図であり、撮像素子を有したカメラ本体と撮影光学系とが一体となった電子カメラを示している。図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群であり、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時を調節する機能も備える。１０３は第２レンズ群である。そして、絞り兼用シャッタ１０２及び第２レンズ群１０３は、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を成す。

１０５は第３レンズ群であり、光軸方向の進退により、焦点調節を行う。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。撮像素子１０７は、水平方向ｍ画素、垂直方向ｎ画素に配列された受光画素を複数有し、当該受光画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

１１１はズームアクチュエータであり、不図示のカム筒を回動することで、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りシャッタアクチュエータであり、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。１１４はフォーカスアクチュエータであり、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

１１５は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光発光部であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵであり、撮像装置内でカメラ本体の種々の制御を司る。ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理及び記録等の一連の動作を実行する。ＣＰＵ１２１は本発明の演算手段、焦点検出手段、判定手段である。

１２２は電子フラッシュ制御回路であり、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路であり、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯制御する。１２４は撮像素子駆動回路であり、撮像素子１０７の撮像動作を制御すると共に、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路であり、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。１２８は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器であり、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

図２は本実施の形態における撮像素子１０７の概略構成を示す回路図で、例えば、本発明人による特開平０９−０４６５９６号公報等に開示された技術を好適に用いることができる。図２では２次元ＣＭＯＳエリアセンサの２列×４行分の画素の範囲を示しているが、実際には、図２に示した画素を多数配置し、高解像度画像の取得を可能としている。なお、本実施の形態においては、画素ピッチが２μm、有効画素数が横３０００列×縦２０００行の６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行う。

図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタである。５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタである。８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量Ｃ_TN、１１は明出力蓄積容量Ｃ_TSである。１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図３は、図２のＹ方向の２つの画素に係る配線部の断面図を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリシリコン、２０は二層目ポリシリコン、２１はｎ+フローティングディフュージョン（ＦＤ）部である。ＦＤ部２１は２つの転送ＭＯＳトランジスタを介して２つの光電変換部と接続される。同図において、２つの転送スイッチＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、アルミ（Ａｌ）配線でＦＤ部２１を接続しても良い。

次に、図４のタイミングチャートを用いて、図２及び図３に示す撮像素子１０７における全画素独立出力の場合の動作について説明する。

まず、垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また、制御パルスφＲ₀、φＰＧ₀₀、φＰＧ_e0をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリシリコン１９をハイとしておく。時刻Ｔ₀において、制御パルスφＳ₀をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１及び第２ラインの画素を選択する。次に制御パルスφＲ₀をロウとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとする。その後、時刻Ｔ₁において制御パルスφＴ_Nをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量Ｃ_TN１０に出力させる。

次に、第１ラインの画素から光電変換出力を行うため、先ず、第１ラインの制御パルスφＴＸ₀₀をハイとして転送スイッチＭＯＳトランジスタ３を導通する。その後、時刻Ｔ₂において制御パルスφＰＧ₀₀をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

時刻Ｔ₂でフォトダイオードの第１ラインの画素からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ₃において制御パルスφＴ_sをハイとして蓄積容量Ｃ_TS１１に出力する。この時点で第１ラインの画素の暗出力と明出力はそれぞれ蓄積容量Ｃ_TN１０とＣ_TS１１に蓄積される。時刻Ｔ₄で制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と明出力を出力させる。この時、蓄積容量Ｃ_TN１０とＣ_TS１１の差動増幅器１４によって、差動出力Ｖ_OUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。

また、第１ラインの画素の暗出力及び明出力は、同時に夫々の垂直出力線に接続された蓄積容量Ｃ_TN１０とＣ_TS１１に蓄積されている。従って、水平転送ＭＯＳトランジスタ１２を順次オンとしていくことにより、夫々の蓄積容量Ｃ_TN１０とＣ_TS１１に蓄積された電荷は、水平出力線に順次読み出され、差動増幅器１４から出力される。

また、本実施の形態では、差動出力Ｖ_OUTをチップ内で行う構成を示している。しかしながら、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

一方、第１ラインの画素から蓄積容量Ｃ_TS１１に明出力を出力した後、制御パルスφＲ₀をハイとしてリセット用ＭＯＳトランジスタ４を導通し、ＦＤ部２１を電源Ｖ_DDにリセットする。第１ラインの電荷の水平転送が終了した後、第２ラインの画素からの読み出しを行う。第２ラインの読み出しは、上述した第１ラインと同様にまず制御パルスφＴＸ_e0、制御パルスφＰＧ_e0を駆動させる。次に、制御パルスφＴ_N、φＴ_Sに夫々ハイパルスを供給して、蓄積容量Ｃ_TN１０とＣ_TS１１に夫々暗出力と明出力を蓄積し、暗出力及び明出力を取り出す。

以上の駆動により、第１、第２ラインの読み出しを夫々独立に行うことができる。この後、垂直走査回路１６を走査させ、同様にして第２ｎ＋１、第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば、全画素からの独立出力が行える。即ち、ｎ＝１の場合は、まず制御パルスφＳ₁をハイとし、次にφＲ₁をローとし、続いて制御パルスφＴ_N、φＴＸ₀₁をハイとする。そして、制御パルスφＰＧ₀₁をロー、制御パルスφＴ_Sをハイ、制御パルスφＨＣを一時ハイとして第３ラインの各画素から暗出力及び明出力を読み出す。続いて、制御パルスφＴＸ_e1、φＰＧ_e1及び上記と同様に制御パルスを印加して、第４ラインの各画素から暗出力及び明出力を読み出す。

図５〜図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施の形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が配置される。

図５に撮像用画素の配置と構造を示す。図５（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。

図５（ａ）におけるＡ−Ａ断面図を図５（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦ_ＲはＲ（赤色）のカラーフィルタ、ＣＦ_ＧはＧ（緑色）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は撮像素子１０７の光電変換素子を模式的に示したものである。ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）は、撮像素子１０７内の各種信号を伝達する信号線を形成するための配線層である。ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）は撮影レンズ１００を模式的に示したもの、Ｌは撮影レンズＴＬの光軸である。なお、図５は撮像素子１０７の内、中心付近の画素、すなわち撮影レンズＴＬの光軸Ｌ上付近の画素構造を示す図である。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。光束３０はその様子を示し、射出瞳ＥＰの全領域が光電変換素子ＰＤに取り込まれている。なお、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。このように、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図６は、撮影レンズＴＬの、図中ｘ方向に瞳分割を行うための焦点検出用画素の平面図と断面図を示す。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。これは、人間の画像認識特性は輝度情報に敏感であるためで、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで、本実施の形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素をある割合で焦点検出用画素に置き換える。この焦点検出用画素対を図６（ａ）においてＳ_ＨＡ及びＳ_ＨＢと示す。

図６（ａ）におけるＢ−Ｂ断面図を図６（ｂ）に示す。マイクロレンズＭＬと、光電変換素子ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。なお図６も、撮像素子１０７のうち中心付近の画素、すなわち撮影レンズＴＬの光軸Ｌ上付近の画素の構造を示す図である。

本実施の形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦ_Ｗ（白色）が配置される。また、撮像素子１０７で瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏心している。具体的には、画素Ｓ_ＨＡの開口部ＯＰ_ＨＡはマイクロレンズＭＬの中心線に対して−ｘ方向に４１_ＨＡだけ偏心しているため、撮影レンズＴＬの＋ｘ方向の射出瞳領域ＥＰ_ＨＡを通過した光束４０_ＨＡを受光する。同様に、画素Ｓ_ＨＢの開口部ＯＰ_ＨＢはマイクロレンズＭＬの中心線に対して＋ｘ方向に４１_ＨＢだけ偏心しているため、撮影レンズＴＬの−ｘ方向の射出瞳領域ＥＰ_ＨＢを通過した光束４０_ＨＢを受光する。そして、図から明らかなように、偏心量４１_ＨＡは偏心量４１_ＨＢに等しい。

以上のような構成を有する画素Ｓ_ＨＡをｘ方向に規則的に配列し、これらの画素群（第１の画素群）から取得した被写体像をＡ像（第１の被写体像）とする。また、画素Ｓ_ＨＢもｘ方向に規則的に配列し、これらの画素群（第２の画素群）から取得した被写体像をＢ像（第２の被写体像）とする。そして、取得したＡ像とＢ像の相対位置を検出することで、ｘ方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出できる。

なお、上記画素Ｓ_ＨＡ及びＳ_ＨＢでは、撮影画面のｘ方向に輝度分布を有した被写体、例えばｙ方向の線（縦線）に対しては焦点検出可能だが、ｙ方向に輝度分布を有するｘ方向の線（横線）は焦点検出不能である。そこで本実施の形態では、後者についても焦点検出できるよう、撮影レンズのｙ方向にも瞳分割を行う画素も備えている。

図７は、撮影レンズＴＬの、図中ｙ方向に瞳分割を行うための焦点検出用画素の平面図と断面図を示す。図７（ａ）は、撮像素子１０７の中央付近、すなわち撮影レンズＴＬの光軸Ｌ上付近に位置する、焦点検出用画素を含む２行×２列の画素の平面図である。図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素をある割合で焦点検出用画素に置き換える。この焦点検出用画素対を図７（ａ）においてＳ_ＶＣ及びＳ_ＶＤと示す。

図７（ａ）における断面Ｃ−Ｃを図６（ｂ）に示すが、図６（ｂ）に示す画素がｘ方向に瞳分離する構造であるのに対して、図７（ｂ）に示す画素は瞳分離方向がｙ方向になっているだけで、画素の構造としては変わらない。すなわち、画素Ｓ_ＶＣの開口部ＯＰ_ＶＣはマイクロレンズＭＬの中心線に対して−ｙ方向に４１_ＶＣだけ偏心しているため、撮影レンズＴＬの＋ｙ方向の射出瞳領域ＥＰ_ＶＣを通過した光束４０_ＶＣを受光する。同様に、画素Ｓ_ＶＤの開口部ＯＰ_ＶＣはマイクロレンズＭＬの中心線に対して＋ｙ方向に４１_ＶＤだけ偏心しているため、撮影レンズＴＬの−ｙ方向の射出瞳領域ＥＰ_ＶＤを通過した光束４０_ＶＤを受光する。

以上のような構成を有する画素Ｓ_ＶＣをｙ方向に規則的に配列し、これらの画素群（本発明の第３の画素群に相当）から取得した被写体像をＣ像とする。また、画素Ｓ_ＶＤもｙ方向に規則的に配列し、これらの画素群（本発明の第４の画素群に相当）から取得した被写体像をＤ像とする。そして、取得したＣ像とＤ像の相対位置を検出することで、ｙ方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出できる。

図８は、撮像素子１０７の焦点検出用画素による瞳分割機能を概念的に説明する図である。図８において、図５〜図７と同じの構成には同じ参照記号を付している。ＯＢＪは被写体、ＩＭＧは被写体像である。

撮像用画素は図５で説明したように、撮影レンズＴＬの射出瞳ＥＰの全領域を通過した光束を受光する。一方、焦点検出用画素は図６及び図７を参照して説明したように、瞳分割機能を有している。具体的には、図６の画素Ｓ_ＨＡは+ｘ方向の側の瞳を通過した光束Ｌ_ＨＡ、すなわち図８の射出瞳領域ＥＰ_ＨＡを通過した光束を受光する。同様に画素Ｓ_ＨＢ、Ｓ_ＶＣ及びＳ_ＶＤはそれぞれ射出瞳領域ＥＰ_ＨＢ、ＥＰ_ＶＣ及びＥＰ_ＶＤを通過した光束をそれぞれ受光する。なお、焦点検出用画素は、ｘ方向ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢと、ｙ方向ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤが、撮像領域全域に渡って均等な密度で配置されている。そしてｘ方向ずれ検出の際には、ｘ方向ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢから得られる一対の画像信号を、位相差演算のためのＡＦ画素信号として使用する。また、ｙ方向ずれ検出の際には、ｙ方向ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤから得られる一対の画像信号を、位相差演算のためのＡＦ画素信号として使用する。以上のような構成により、撮像領域の任意位置において、ｘ方向及びｙ方向の位相差方式の焦点検出を行うことが可能である。

図９は、焦点検出時に取得した画像と焦点検出領域を説明する図である。図９において、撮像面に形成された被写体像には、中央付近に人物、左側に近景の樹木、右側に遠景の山並みが写っている。

図９においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心にｘ方向ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）と、ｙ方向ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３,ｙ３）が設定される。ここで添え字ｈはｘ方向、添え字ｖはｙ方向を表し、（ｘ1,ｙ1）及び（ｘ３,ｙ３）は焦点検出領域の左上隅の座標を表す。そして、焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）の各セクション内に含まれるｘ方向ずれ検出用の焦点検出用画素Ｓ_ＨＡを３０セクションに渡って連結した位相差検出用のＡ像の信号をＡＦＳＩＧｈ（Ａ１）とする。また、同様に各セクションのｘ方向ずれ検出用の焦点検出用画素Ｓ_ＨＢを３０セクションに渡って連結した位相差検出用のＢ像の信号をＡＦＳＩＧｈ（Ｂ１）とする。そして、Ａ像の信号ＡＦＳＩＧｈ（Ａ１）とＢ像の信号ＡＦＳＩＧｈ（Ｂ１）の相対的なｘ方向ずれ量を公知の相関演算によって計算することで、撮影レンズの焦点ずれ量（デフォーカス量）を求めることができる。

焦点検出領域ＡＦＡＲｖ（ｘ3,ｙ3）についても、位相差検出用のＣ像信号であるＡＦＳＩＧｖ（Ｃ１）と、位相差検出用のＤ像信号であるＡＦＳＩＧｈ（Ｄ１）の相対的なｙ方向のずれ量を公知の相関演算によって計算することで、同様に焦点ずれ量を求める。そして、ｘ方向及びｙ方向の焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用する。

一方、画面左側の樹木の幹部は、ｙ方向成分が主体、すなわちｘ方向に輝度分布を有しているため、ｘ方向のずれ検知に適した被写体と判断され、ｘ方向のずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ2,ｙ2）が設定される。また、画面右側の山並み稜線部は、ｘ方向成分が主体、すなわちｙ方向に輝度分布を有しているため、ｙ方向のずれ検知に適した被写体と判断され、ｙ方向のずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ4,ｙ4）が設定される。

以上のように本実施の形態においては、ｘ方向及びｙ方向のずれ検出のための焦点検出領域を画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、常に焦点検出が可能である。以下に、ずれ検出の原理を説明するが、この原理はｘ方向とｙ方向とで方向が異なること以外は等しいため、ここではｘ方向のずれの検出について説明し、ｙ方向のずれ検出の説明は省略する。

図１０は撮像素子１０７の中央の焦点検出用画素の入射角特性を表した模式図であり、図１０（ａ）は画素Ｓ_ＨＡ、図１０（ｂ）は画素Ｓ_ＨＢの特性を示している。図１０中θｘ軸、θｙ軸はそれぞれ画素のｘ方向、ｙ方向の入射角度を表している。図１０では、色が濃くなるほど受光強度が高いことを示している。図６では説明をしやすくするため、画素Ｓ_ＨＡの射出瞳をＥＰ_ＨＡ、画素Ｓ_ＨＢの射出瞳をＥＰ_ＨＢとして、それぞれ完全に分離して表した。しかし、図１０に示すように、実際には、開口部ＯＰ_ＨＡ及び開口部ＯＰ_ＨＢの開口部による回折の影響や、Ｓ／Ｎ比を向上させるために、画素Ｓ_ＨＡと画素Ｓ_ＨＢの射出瞳は一部領域の重なる部分がある。

図１１は焦点検出用画素の入射角特性を１次元で表した図である。横軸は入射角を、縦軸は図１０のθｙ方向の受光感度を加算したものを表しており、原点が光軸Ｌである。図１１に示すように、撮像素子１０７の中央の焦点検出用画素では、画素Ｓ_ＨＡと画素Ｓ_ＨＢの入射角特性は光軸Ｌに対して略対称となる。

図１２は光束のケラレを説明する図である。図１２（ａ）は撮像素子１０７の中央の画素に入射する光束を示し、図１２（ｂ）は撮像素子１０７の中央から像高を持った位置の画素に入射する光束を示している。撮像素子１０７には撮影レンズＴＬのレンズ保持枠や絞り１０２などのいくつかの構成部材によって制限された光束が入射する。ここでは説明を簡単にするため、あらゆる像高において光束を制限する部材が２つあるものとして説明する。

Ｉｗ１、Ｉｗ２は光束を制限する部材の窓であって、光束はこれら部材の窓Ｉｗ１、Ｉｗ２を通過する。ＭeはマイクロレンズＭＬの構成によって設定された瞳面を表している。まず、図１２（ａ）を用いて、撮像素子１０７の中央の画素に入射する光束のケラレを説明する。

Ｌ１ｒｃ、Ｌ１ｌｃは窓Ｉｗ１の射出光束の外周を表しており、Ｌ１ｒｃは図１２（ａ）中右端、Ｌ１ｌｃは図１２（ａ）中左端を示している。Ｌ２ｒｃ、Ｌ２ｌｃは窓Ｉｗ２の射出光束をマイクロレンズＭＬの瞳位置まで投影したものの外周を表しており、Ｌ２ｒｃは図１２中右端、Ｌ２ｌｃは図１２（ａ）中左端を示している。図１２（ａ）に示すように、撮像素子１０７の中央画素に入射する光束の瞳面Ｍｅでの瞳領域はＬ２ｌｃとＬ２ｒｃを外周とする光束、つまり、矢印Ａｒｅａ１で示される。

次に、図１２（ｂ）を用いて、撮像素子１０７の中央から像高を持った位置の画素に入射する光束のケラレについて説明する。Ｌ１ｒｈ、Ｌ１ｌｈは窓Ｉｗ１の射出光束の外周を表しており、Ｌ１ｒｈは図１２（ｂ）中右端、Ｌ１ｌｈは図１２（ｂ）中左端を示している。Ｌ２ｒｈ、Ｌ２ｌｈは窓Ｉｗ２の射出光束をマイクロレンズＭＬの瞳位置まで投影したものの外周を表しており、Ｌ２ｒｈは図１２（ｂ）中右端、Ｌ２ｌｈは図１２（ｂ）中左端を示している。図１２（ｂ）に示すように、撮像素子１０７の中央から像高を持った位置の画素に入射する光束の瞳面Ｍｅ上での瞳領域はＬ１ｌｈとＬ２ｒｈを外周とする光束、つまり、矢印Ａｒｅａ２で示される。

図１３は瞳面Ｍｅ上での瞳領域を示した図である。図１３（ａ）は撮像素子１０７の中央の画素の瞳領域を示し、図１３（ｂ）は撮像素子１０７の中央から像高を持った位置の画素の瞳領域を示している。図１２で説明したように、撮像素子１０７の中央の画素は窓Ｉｗ２のみによって制限された光束が入射するため、図１３（ａ）に示すように瞳領域Ａｒｅａ１は窓Ｉｗ２の形状がそのまま投影される。光束を制限する窓は円形状であるため、瞳領域Ａｒｅａ１の形状も円形状となる。一方、撮像素子１０７の中央から像高を持った位置の画素はＩｗ１とＩｗ２によって制限された光束が入射するため、瞳領域Ａｒｅａ２は図１３（ｂ）に示したような形状となる。

図１４は焦点検出用画素の瞳強度分布を示す図である。これは、図１０に示した撮像素子１０７の中央の焦点検出用画素の入射角特性をマイクロレンズＭＬの瞳上に投影したもので、図１４（ａ）は画素Ｓ_ＨＡ、図１４（ｂ）は画素Ｓ_ＨＢの特性を示している。図１４の縦軸および横軸は瞳上の座標に展開したものである。この瞳強度分布は、撮像素子１０７の中央から像高を持った位置の画素についても同じ特性をもっている。それは、撮像素子１０７の中央から像高を持った位置の画素のマイクロレンズＭＬは、光軸の中心がマイクロレンズＭＬの瞳の中心を通過するように偏心して作製されているためである。

図１５は撮像素子１０７の中央の焦点検出用画素の瞳面Ｍｅ上でのケラレを示した図であり、図１５（ａ）は画素Ｓ_ＨＡ、図１５（ｂ）は画素Ｓ_ＨＢの特性を示している。図１５は図１３（ａ）と図１４を重ね合わせたものであり、画素Ｓ_ＨＡ及び画素Ｓ_ＨＢにはＡｒｅａ１で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。図１６は撮像素子１０７の中央の焦点検出用画素の瞳面Ｍｅ上での入射光束の瞳強度分布を１次元で表した図である。横軸は瞳面Ｍｅ上のｘ方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は図１５のｙ方向の瞳強度を加算したものである。画素Ｓ_ＨＡと画素Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布は、それぞれＥｓｄＡｃ、ＥｓｄＢｃで示している。図１５に示すように画素Ｓ_ＨＡ及び画素Ｓ_ＨＢの瞳面Ｍｅ上の瞳強度分布は左右対称である。また、けられる形状も左右対称形状であることから、画素Ｓ_ＨＡと画素Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布も左右対称である。

図１７は撮像素子１０７の中央から像高を持った位置の画素の瞳面Ｍｅ上でのケラレを示した図であり図１７（ａ）は画素Ｓ_ＨＡ、図１７（ｂ）は画素Ｓ_ＨＢの特性を示している。図１７は図１３（ｂ）と図１４を重ね合わせたものであり、画素Ｓ_ＨＡ及び画素Ｓ_ＨＢにはＡｒｅａ２で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。図１８は撮像素子１０７の中央から像高を持った位置の画素の瞳面Ｍｅ上での入射光束の瞳強度分布を１次元で表した図である。横軸は瞳面Ｍｅ上のｘ方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は図１７のｙ方向の瞳強度を瞳分離方向と直交する方向に加算したものである。図１８中、画素Ｓ_ＨＡと画素Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布は、それぞれＥｓｄＡｈ、ＥｓｄＢｈで示している。画素Ｓ_ＨＡ及び画素Ｓ_ＨＢの瞳面Ｍｅ上の瞳強度分布は左右対称である。しかしながら、けられる形状が左右非対称の形状であることから、画素Ｓ_ＨＡと画素Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布ＥｓｄＡｃ、ＥｓｄＢｃは、左右非対称となる。

前述したように、ｘ方向に規則的に配列された画素Ｓ_ＨＡ群及び画素Ｓ_ＨＢ群からそれぞれ取得した被写体像であるＡ像とＢ像との相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）を検出する。

ここで、被写体の光量分布をｆ（ｘ，ｙ）、被写体像の光量分布をｇ（ｘ，ｙ）とすると、

の関係（畳み込み積分；convolution）が成立する。ここでｈ（ｘ，ｙ）は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数（point spread function）と呼ばれる。従って、焦点検出に用いる一対の被写体像を知るには、点像分布関数を知る必要がある。ここで、位相方式焦点検出においては、一対の被写体像の１次元方向に注目し、その位相ずれを検出する。そのため、点像分布関数の代わりに１次元の関数である線像分布関数（line spread function）により、焦点検出に関する画像システムを評価することができる。そこで、被写体の光量分布をｆ（ｘ）、被写体像の光量分布をｇ（ｘ）と置き換えると、上記式（１）は線像分布関数Ｌ（ａ）を用いて以下のように書き換えられる。

従って、上記式（２）より任意のデフォーカス時の位相ずれ方向における、通過する瞳領域（第１の瞳領域、第２の瞳領域）が異なる光束により生成される一対の線像分布関数（第１の線像分布関数、第２の線像分布関数）を求める。これにより、一対の被写体像を知ることができる。一対の被写体像が分かれば、それぞれの被写体像の重心間隔から基線長を求め、一対の被写体像の像ズレ量と基線長からデフォーカス量を算出することができる。基線長は以下の式（３）〜（５）式により求めることができる。被写体像の重心をＧＡ、ＧＢ、基線長をＧとすると、

ある点光源が光学系の射出瞳を通過し、結像面上に形成する点像の強度分布、いわゆる点像分布関数は、射出瞳形状が結像面上に縮小投影されていると考えられる。同様に、線像分布関数は１次元方向における射出瞳形状、即ち、射出瞳形状を１次元方向に積分したものがマイクロレンズＭＬにより結像面上に縮小したものと考えることができる。

よって、線像分布関数は図１６あるいは図１８に示した瞳強度分布に相当し、小デフォーカスの場合、それぞれ瞳強度分布を横軸方向に縮小、縦軸方向に拡大、大デフォーカスの場合横軸方向に拡大、縦軸方向に縮小したものと考えることができる。

つまり、図１８に示したように、画素Ｓ_ＨＡ及び画素Ｓ_ＨＢの瞳面Ｍｅ上での入射光束の瞳強度分布が光軸に対して対称でない場合には、被写体像Ａ像と被写体像Ｂ像の一致度は低下し、デフォーカス量の検出精度も低下する。デフォーカス量の検出精度を向上させるためには、被写体像Ａ像と被写体像Ｂ像の非対称性を補正し、像の一致度を上げることが有効である。

次に、被写体像の非対称性を補正する手段について説明する。

前述したように、被写体像Ａ像と被写体像Ｂ像の非対称性は画素Ｓ_ＨＡと画素Ｓ_ＨＢとが非対称な瞳強度分布が畳み込み積分されることによって生じる。図１９は被写体像の非対称性を解消するためのフィルタ処理を説明する概念図である。図１９の各図において、横軸は測距視野内のｘ方向の座標、縦軸は輝度を表している。図１９（ａ）は被写体の光量分布をＯｂｊで表しており、図１９（ｂ）と図１９（ｃ）は画素Ｓ_ＨＡ及び画素Ｓ_ＨＢのＡＦ瞳上の線像をＥｓｄＡｘ、ＥｓｄＢｘで表したものである。図１９（ｄ）及び図１９（ｅ）はそれぞれあるデフォーカス時における被写体像Ａ像（ＩｍｇＡ）、被写体像Ｂ像（ＩｍｇＢ）を表しており、それぞれ被写体の光量分布Ｏｂｊに線像ＥｓｄＡｘ、線像ＥｓｄＢｘを畳み込み積分して得られる。図１９（ｆ）、図１９（ｇ）は被写体像Ａ像ＩｍｇＡにＢ像の線像ＥｓｄＢｘを畳み込み積分した修正像ＲｅＩｍｇＡ（第１の像信号）、被写体像Ｂ像ＩｍｇＢに線像ＥｓｄＢｘを畳み込み積分した修正像ＲｅＩｍｇＢ（第２の像信号）を表している。図１９（ｆ）、図１９（ｇ）に示すように、各修正像は同形となる。修正像が同形になる原理について説明する。

先ず、被写体像Ａ像ＩｍｇＡは前述した式（２）により得られる。

得られた被写体像Ａ像ＩｍｇＡに線像ＥｓｄＢｘを畳み込み積分して得られる修正像ＲｅＩｍｇＡ（ｋ（ｘ））は以下のように求められる。

修正像ＲｅＩｍｇＢについても同様に計算すると

が得られる。上式（６）及び式（７）より、得られたＲｅＩｍｇＡとＲｅＩｍｇＢは等しくなる。
次に本実施の形態の焦点検出処理の流れについて図２０のフローチャートを用いて説明する。なお、図２０のフローチャートに示す動作は本発明の演算手段、焦点検出手段、判定手段であるＣＰＵ１２１によって実行される。

ステップＳ１ではケラレ状態を知るためにレンズ情報を読み出し、ステップＳ２で使用者が設定した焦点検出領域を読み出して、ステップＳ３へと進む。

ステップＳ３では各焦点検出用画素においてＣＰＵ１２１内のＲＯＭに保管されている、瞳強度分布を読み出し、ステップＳ１で得られたケラレ情報と合わせて線像分布関数を算出する。ステップＳ４では、ステップＳ３で得られた線像分布関数の重心を算出し、基線長を求め、ステップＳ５へと進む。

次に、ステップＳ５では、焦点検出領域の焦点検出用画素の画像信号を読み出し、被写体像Ａ像、被写体像Ｂ像を形成する。そしてステップＳ６で、ステップＳ３で得られた線像分布関数から、ステップＳ５で形成された被写体像Ａ像と被写体像Ｂ像のシェーディングを予測し、シェーディング補正を行う。シェーディング補正後、ステップＳ７へと進む。

ステップＳ７では、ステップＳ６で得られたシェーディング補正後の被写体像Ａ像及び被写体像Ｂ像を用いて公知の相関演算方法により像ズレ量を求め、ステップＳ４で求めた基線長と合わせて、暫定的なデフォーカス量を求める。この暫定デフォーカス量算出後、ステップＳ８へと進む。

ステップＳ８では、ステップＳ７で算出された暫定デフォーカス量がある閾値Ａ及び閾値Ｂによって設定された範囲内であるかどうかをＣＰＵ１２１によって判定する。暫定デフォーカス量が設定された範囲内であると判定された場合にはステップＳ９へと進み、像修正処理を行う。一方、暫定デフォーカス量が設定された範囲外であると判定された場合には、像修正処理は行わずにステップＳ１３へと進む。この理由を以下に説明する。

デフォーカス量が大きすぎるときに像修正処理を行うと、畳み込み積分により像がさらにボケることから、相関演算が困難になる。一方、デフォーカス量が小さいときには、２像の左右非対称性があまり崩れていないので像修正をしなくてもよい。以上２点の理由により、像修正はあるデフォーカス範囲内でのみ行う方が都合がよい。

ステップＳ９では、ＣＰＵ１２１が像修正フィルタを作成する。ステップＳ３で得られた線像分布関数を、ステップＳ７で算出された暫定デフォーカス量に基づいて決定した像修正フィルタの幅に合わせる。

像修正フィルタの幅決定方法について、図２１を用いて説明する。図２１はデフォーカス時の撮像素子１０７に入射する光線を表す図である。図２１（ａ）は前ピン時の光線図を示したもので、Ｚａｆは撮像素子１０７面から瞳面Ｍｅまでの距離、ＲａｆはステップＳ１で得られたケラレ情報により瞳面Ｍｅで光束を制限する水平方向の幅、ＤｅｆはステップＳ７で得られた暫定デフォーカス量である。図２１（ａ）で明らかなように、撮像素子１０７面では像が幅Ｗｆに示した拡がりを持つことになる。従って、Ｗｆは前ピンではＤｅｆが負であることを考慮して以下の式によって得られる。

同様に、後ピンの場合は図２１（ｂ）に示すような関係となり、前ピンの時と同じ式（５）が成立することがわかる。このように、式（８）で得られたＷｆが像修正フィルタの幅となる。
次に、像修正フィルタの高さを同じ高さになるように低い方のフィルタをゲインアップして調整する。これは、ステップＳ６において、１回目の相関演算時に被写体像Ａ像と被写体像Ｂ像とをシェーディング補正しているためである。

次に、被写体像Ａ像と被写体像Ｂ像の像修正フィルタの重心を合わせるように波形を移動する。これは、次のステップＳ１０で行われるフィルタ処理により変化する基線長の変化量が、フィルタ処理による修正被写体像Ａ像、修正被写体像Ｂ像の変形によるものに限定するためである。

ステップＳ１０では、ステップＳ９で得られた像修正フィルタを被写体像に畳み込み積分し、修正被写体像を算出し、ステップＳ１１へと進む。ステップＳ１１では、ステップＳ３で得られた線像分布関数を用いて、改めて基線長を算出する。まず、被写体像Ａ像に対応した線像（以下、線像Ａ）と被写体像Ｂ像に対応した線像（以下、線像Ｂ）の重心を合わせるように移動させる。移動させた線像Ａ、線像Ｂをそれぞれ線像Ａ０、線像Ｂ０とすると、線像Ａに線像Ｂ０を畳み込み積分した修正線像Ａと、線像Ｂに線像Ａ０を畳み込み積分した修正線像Ｂの重心間隔により、修正基線長を算出する。これを式で表すと以下のようになる。

先ず、修正線像Ａを求める式は、修正線像ＡをＭＡ（ｘ）、線像ＡをＬＡ（ｘ）、線像Ｂ０をＬＢ’（ｘ）とすると、

よって、修正線像Ａの重心をＧＡ’とすると、

となる。
同様に、修正線像Ｂを求める式は、修正線像ＢをＭＢ（ｘ）、線像ＢをＬＢ（ｘ）、線像Ａ０をＬＡ’（ｘ）とすると、

よって、修正線像Ｂの重心をＧＢ’とすると、

となる。
よって、求める基線長をＧ’とすると、

上述した基線長の算出が完了すると、ステップＳ１２へと進む。
ステップＳ１２では、ステップＳ１０で形成された修正被写体像を用いて、公知の相関演算方法により２つの像の像ズレ量を算出して焦点状態を検出し、ステップＳ１１で求めた修正基線長と合わせて、デフォーカス量を求める。完了すると、ステップＳ１３へと進む。

ステップＳ１３では、算出されたデフォーカス量から、合焦か否かの判定がなされる。合焦だと判定されなかった場合には、ステップＳ１４へと進み、算出されたデフォーカス演算結果に応じて、第３レンズ群１０５を進退させ、ステップＳ５へと戻る。

一方、合焦だと判定された場合には、一連の焦点検出処理を終了する。

以上のような構成によれば、光束のケラレ状態に応じて像の修復が可能となり、合焦精度を向上させることが可能となる。

なお、本実施の形態では、相関演算に公知の像ズレ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。また、本実施の形態では、シェーディング補正後の被写体像２像に対して、２像に対応した線像の高さを合わせた修正フィルタを用いて像修正処理を行う場合について説明した。しかしながら、シェーディング補正前の被写体像に、高さを合わせない修正フィルタを用いて畳み込み積分を行い、像修正を行っても良い。さらに、本実施の形態では、デフォーカス範囲によって像修正の処理の有無を判定したが、全てのデフォーカス範囲において像修正処理を行っても合焦精度の向上が見込まれる。

＜他の実施形態＞
なお、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態におけるカメラの構成を示すブロック図である。 本発明の実施の形態における撮像素子の構成の一例を示す回路図である。 本発明の実施の形態における撮像素子の２つの画素にかかる配線部の断面図である。 本発明の実施の形態における撮像素子の駆動タイミングチャートである。 本発明の実施の形態における撮像用画素の構造を説明する図である。 本発明の実施の形態における撮影レンズの水平方向に瞳分割を行う焦点検出用画素の構造を説明する平面図と断面図である。 本発明の実施の形態における撮影レンズの垂直方向に瞳分割を行う焦点検出用画素の構造を説明する平面図と断面図である。 本発明の実施の形態における焦点検出用画素による瞳分割機能を概念的に説明する図である。 本発明の実施の形態における焦点検出時に取得した画像における焦点検出領域を説明する図である。 本発明の実施の形態における撮像素子の中央の焦点検出用画素の入射角特性を表した模式図である。 図１０に対応する焦点検出用画素の入射角特性を１次元で表した図である。 光束のケラレを説明する図である。 瞳面上での瞳領域を示す図である。 焦点検出用画素の瞳強度分布を示す図である。 撮像素子の中央の焦点検出用画素の瞳面上でのケラレを示す図である。 撮像素子の中央の焦点検出用画素の瞳面上での入射光束の瞳強度分布を１次元で表した図である。 撮像素子の中央から像高を持った位置の画素の瞳面上でのケラレを示す図である。 撮像素子の中央から像高を持った位置の画素の瞳面上での入射光束の瞳強度分布を１次元で表した図である。 本発明の実施の形態における被写体像の非対称性を解消するためのフィルタ処理を説明する概念図である。 本発明の実施の形態における焦点検出処理を示すフローチャートである。 デフォーカス時の撮像素子に入射する光線を表す図である。 従来の固体撮像素子の受光分布の一例を示す図である。

符号の説明

１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１１ ズームアクチュエータ
１１２ 絞りシャッタアクチュエータ
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ フラッシュメモリ
ＴＬ 撮影レンズ
ＯＢＪ 被写体
ＩＭＧ 被写体像
ＥＰ 射出瞳
ＥＰ_ＨＡ、ＥＰ_ＨＢ、ＥＰ_ＶＣ、ＥＰ_ＶＤ 射出瞳領域
Ｓ_ＨＡ、Ｓ_ＨＢ、Ｓ_ＶＣ、Ｓ_ＶＤ 焦点検出用画素
ＭＬ オンチップマイクロレンズ
ＣＬ 配線層
ＯＰ_ＨＡ、ＯＰ_ＨＢ、ＯＰ_ＶＣ、ＯＰ_ＶＤ 開口部

Claims (7)

1. 被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群と、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群とを有する撮像手段と、
   前記第１の瞳領域に対応した第１の線像分布関数と、前記第２の瞳領域に対応した第２の線像分布関数とを算出するとともに、前記第１の画素群から得られた第１の被写体像に前記第２の線像分布関数を畳み込み積分することにより第１の像信号を生成し、前記第２の画素群から得られた第２の被写体像に前記第１の線像分布関数を畳み込み積分することにより第２の像信号を生成する演算手段と、
   前記演算手段により生成された前記第１の像信号及び前記第２の像信号に基づいて、前記結像光学系の焦点状態を検出する焦点検出手段と
   を有することを特徴とする焦点検出装置。
2. 前記第１の被写体像と前記第２の被写体像とで得られた位相差に応じて、前記演算手段により前記第１の像信号と第２の像信号とを生成するか否かを判定する判定手段を更に有することを特徴とする請求項１に記載の焦点検出装置。
3. 前記演算手段は、前記第１の被写体像と前記第２の被写体像とで得られた位相差に応じて、前記第１の線像分布関数と前記第２の線像分布関数とを変形することを特徴とする請求項１または２に記載の焦点検出装置。
4. 被写体像を結像する結像光学系と、
   請求項１から３のいずれか１項に記載の焦点検出装置と
   を有することを特徴とする撮像装置。
5. 撮像手段に含まれる被写体像を結像する結像光学系の第１の瞳領域を通過する光束を受光する第１の画素群から第１の被写体像を読み出し、前記第１の瞳領域と異なる第２の瞳領域を通過する光束を受光する第２の画素群から第２の被写体像を読み出す撮像工程と、
   前記第１の瞳領域に対応した第１の線像分布関数と、前記第２の瞳領域に対応した第２の線像分布関数とを算出する算出工程と、
   前記第１の被写体像に前記第２の線像分布関数を畳み込み積分することにより第１の像信号を生成し、前記第２の被写体像に前記第１の線像分布関数を畳み込み積分することにより第２の像信号を生成する演算工程と、
   前記演算工程で生成された前記第１の像信号及び前記第２の像信号に基づいて、前記結像光学系の焦点状態を検出する焦点検出工程と
   を有することを特徴とする焦点検出方法。
6. コンピュータに、請求項５に記載の焦点検出方法の各工程を実行させるためのプログラム。
7. 請求項６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。