JP7171265B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

撮像装置でオートフォーカス（以下、ＡＦという）を行う場合に、低照度環境下では被写体像の輝度が低く、焦点検出が困難になる。そのため、補助光を照射する技術が従来から知られている。特許文献１は、被写体が暗い等、焦点検出が困難な場合に、被写体に向けて補助光を発光して焦点検出を行う方法を開示している。特許文献２は、周辺光量落ちが発生している領域に主被写体が存在している場合に、発光手段のプリ発光量を大きくする方法を開示している。

特開平６‐９４９８８号公報 特開２０１２-２２０７８７号公報

しかしながら、補助光なしでの焦点検出可能な被写体輝度は中央像高と周辺像高で異なっている。そのため、補助光を発光する輝度を一律に設定すると、中央像高においては焦点検出可能な被写体輝度を得られても、周辺像高では焦点検出が困難な被写体輝度範囲が生じてしまう恐れがある。例えば、周辺像高では、補助光なしでの焦点検出可能な被写体輝度と、補助光を発光する被写体輝度の間に焦点検出が困難な被写体輝度範囲が生じてしまう恐れがある。

本発明は、補助光を使用した焦点検出を行う際に、補助光の発光を適切に制御可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、焦点検出を行う際に被写体を照明する発光手段の発光を制御する制御手段と、を備える。前記焦点検出手段は、前記複数の像信号から像ずれ量を算出し、前記像ずれ量と変換係数からデフォーカス量を算出し、前記制御手段は、前記焦点検出領域の像高に応じた前記変換係数に関する情報に基づいて、前記発光手段の発光を制御する。

本発明によれば、補助光を使用した焦点検出を行う際に、補助光の発光を適切に制御可能な撮像装置を提供することができる。

撮像装置の構成を示す図である。 撮像素子の画素部および画素配列を説明する図である。 撮像素子の構成を説明する図である。 射出瞳面と光電変換部との共役関係を説明する図である。 画素と瞳分割との対応関係を説明する図である。 撮像素子と瞳分割との対応関係を説明する図である。 デフォーカス量および像ずれ量を説明する図である。 焦点検出領域を説明する図である。 一対の焦点検出信号を説明する図である。 撮像制御処理を示すフローチャートである。 焦点検出処理を示すのフローチャートである。 レンズ枠ケラレを説明する図である。 各像高におけるレンズ枠ケラレを説明する図である。 変換係数算出処理を示すフローチャートである。 瞳距離における各開口情報の中心位置と大きさを説明する図である。 焦点調節処理を示すフローチャートである。 フォーカス初期位置を説明する図である。 検出可能デフォーカス量のテーブルの一例を示す図である。 撮像処理を示すフローチャートである。 発光要否判定処理を示すフローチャートである。 発光閾値設定処理を示すフローチャートである。 ＬＥＤ焦点調節処理を示すフローチャートである。 ＬＥＤ／閃光焦点調節処理を示すフローチャートである。 被写体有無判定処理を示すフローチャートである。 閃光補助光の発光時におけるフォーカスレンズの駆動方法と閃光補助光の発光タイミングを説明する図である。 閃光焦点調節処理を示すフローチャートである。 閃光発光を伴う焦点検出と調光処理を示すフローチャートである。 レンズ駆動中閃光発光の条件設定処理を示すフローチャートである。 レンズ駆動中閃光発光および焦点検出処理を示すフローチャートである。

図１は、撮像装置１の構成を示す図である。撮像装置１は、撮像レンズ３００と撮像装置の本体部であるカメラ１００を備える。撮像レンズ３００は、カメラ１００に対して着脱可能である。なお、本実施形態では、撮像レンズ３００がカメラ１００に対して着脱可能な撮像装置の例を説明するが、撮像レンズ３００とカメラ１００が一体になっている撮像装置であってもよい。

まず、カメラ１００について説明する。カメラ１００は、カメラマウント１０６、コネクタ１２２、メインミラー１３０、サブミラー１３１、光学ファインダ１０４、焦点検出部１０５、シャッタ１２、撮像素子１４、Ａ／Ｄ変換器１６、タイミング発生部１８を備える。さらにカメラ１００は、画像処理部２０、メモリ制御部２２、Ｄ／Ａ変換器２６、画像表示部２８、画像表示メモリ２４、メモリ３０、圧縮伸長部３２、インタフェース９０、コネクタ９２を備える。さらにカメラ１００は、システム制御部５０、メモリ５２、表示部５４、不揮発性メモリ５６、モードダイアル６０、シャッタスイッチ６２、シャッタスイッチ６４、画像表示オン／オフスイッチ６６、クイックレビューオン／オフスイッチ６８を備える。さらにカメラ１００は、操作部７０、記録媒体着脱検知部９８、ＬＥＤランプ４９、シャッタ制御部３６、ＡＦ部４２、測光部４６、カメラインタフェース部３８、フラッシュ４８、電源制御部８０、コネクタ８２、焦点検出部１０５を備える。

撮像レンズ３００に入射して、撮像レンズ３００内の撮像光学系を通過した光束は、レンズマウント３０６およびカメラマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。ユーザは、光学ファインダ１０４により被写体像を観察しながら撮像を行うことができる。光学ファインダ１０４内には、後述する表示部５４の一部の機能、例えば、焦点検出領域、合焦状態、手振れ警告、絞り値および露出補正値等が表示される。

メインミラー１３０の一部は、ハーフミラーを備える。撮像光路内に配置されたメインミラー１３０に入射した光束の一部はメインミラー１３０を通過し、サブミラー１３１により下方へ反射されて焦点検出部１０５に入射する。

焦点検出部１０５は、２次結像光学系と光電変換素子とを備え、位相差検出方式による焦点検出を行う。焦点検出部１０５は、２次結像光学系により形成された一対の被写体像を、ラインセンサ等の光電変換素子により一対の電気信号である焦点検出信号に変換してＡＦ部４２に出力する。ＡＦ部４２は、位相差検出演算を行い焦点検出信号間のずれ量である位相差を算出する。システム制御部５０は、ＡＦ部４２で算出された位相差から焦点検出結果としてのデフォーカス量および方向を算出する。システム制御部５０は、この算出結果に基づいて、撮像レンズ３００のフォーカス制御部３４２に対してフォーカスレンズ３１１の駆動制御を行う。焦点検出手段は、焦点検出部１０５とＡＦ部４２とを含む。なお、本実施形態では、撮像光学系内のフォーカスレンズ３１１を移動させて焦点調節を行う例を説明するが、撮像素子１４を移動させて焦点調節を行うことも可能である。

撮像レンズ３００の焦点調節処理が終了して静止画撮像を行う場合、電子ファインダ画像の表示を行う場合、動画の撮像を行う場合等には、不図示のクイックリターン機構によりメインミラー１３０およびサブミラー１３１を光路外に退避させる。メインミラー１３０等を光路外に退避させることにより、撮像レンズ３００からの光束は、シャッタ１２を介して撮像素子１４に入射する。撮像が終了すると、メインミラー１３０およびサブミラー１３１は光路内に戻される。

シャッタ１２は、露光量を制御する。撮像素子１４は、複数の光電変換部を有し、撮像レンズ３００からの入射光に対して光電変換を行って電気信号に変換する。撮像素子１４の例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。

撮像素子１４での光電変換により生成された電気信号はＡ／Ｄ変換器１６に出力され、Ａ／Ｄ変換器１６にてデジタル信号（画像データ）に変換される。タイミング発生部１８は、メモリ制御部２２およびシステム制御部５０により制御され、撮像素子１４、Ａ／Ｄ変換器１６およびＤ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理部２０は、Ａ／Ｄ変換器１６またはメモリ制御部２２からの画像データに対して画素補間処理や色変換処理等の画像処理を行う。

撮像素子１４は、その全画素または一部の画素が焦点検出可能な焦点検出領域として構成されており、位相差検出方式による焦点検出を行うことができる。焦点検出領域の画素は、複数の光電変換部を備えており、位相差検出方式の焦点検出に用いる一対の電気信号（焦点検出信号）を出力可能である。したがって、メインミラー１３０およびサブミラー１３１が光路外に退避し、焦点検出部１０５に光が入射しない場合であって、撮像素子１４の出力を用いた位相差検出方式による焦点検出を行うことが可能である。

画像処理部２０は、生成した画像データのうち焦点検出領域に対応する部分画像データを、焦点検出データに変換する。焦点検出データは、システム制御部５０を介してＡＦ部４２に出力される。ＡＦ部４２は、位相差検出演算を行い焦点検出信号間のずれ量である位相差を算出する。システム制御部５０は、ＡＦ部４２で算出された位相差から焦点検出結果としてのデフォーカス量および方向を算出する。システム制御部５０は、この算出結果に基づいて、撮像レンズ３００のフォーカス制御部３４２に対してフォーカスレンズ３１１の駆動制御を行う。

また、本実施形態の撮像装置１は、コントラスト検出方式によるＡＦを行うことも可能である。システム制御部５０は、画像処理部２０により生成された画像データからコントラスト状態を示すコントラスト評価値を生成することができる。そして、システム制御部５０は、フォーカス制御部３４２を通じてコントラスト評価値がピークを示す位置にフォーカスレンズ３１１を駆動制御する。

したがって、本実施形態の撮像装置１では、位相差検出方式の焦点検出とコントラスト検出方式の焦点検出の両方を行うことが可能である。具体的には、メインミラー１３０とサブミラー１３１が光路内に配置された状態では、焦点検出部１０５による位相差検出方式での焦点検出（位相差ＡＦ）が行われる。一方、メインミラー１３０とサブミラー１３１が光束外へ退避した状態では、撮像素子１４による位相差検出方式でのＡＦ（撮像面位相差ＡＦ）とコントラスト検出方式でのＡＦ（コントラストＡＦ）が行われる。このように、撮像装置１は、静止画撮像時、動画撮像時、ライブビュー表示時のどの状態においても焦点検出が可能である。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮伸長部３２を制御する。Ａ／Ｄ変換器１６もしくは画像処理部２０から出力された画像データは、メモリ制御部２２を介して、画像表示メモリ２４またはメモリ３０に書き込まれる。

画像表示部２８は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、画像を表示する。画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。また、撮像により順次得られる画像データ（フレーム画像）を画像表示部２８に順次表示することで、ライブビュー画像を表示することができる。

メモリ３０は、撮像により生成された静止画像や動画像を記憶する。また、メモリ３０は、システム制御部５０の作業領域としても使用される。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像データを読み込んで圧縮処理または伸長処理を行う。圧縮伸長部３２は、圧縮処理または伸長処理を終えた画像データを、再びメモリ３０に書き込む。

シャッタ制御部３６は、測光部４６からの測光情報に基づいて、撮像レンズ３００の絞り３１２を駆動する絞り制御部３４４と連携しながら、シャッタ１２を制御する。カメラインタフェース部３８は、コネクタ１２２、コネクタ３２２およびレンズインタフェース部３３８を介して、カメラ１００と撮像レンズ３００との間での制御信号、状態信号および各種データ等の通信を行う。また、カメラインタフェース部３８は、カメラ１００から撮像レンズ３００への電源供給も可能とする。

測光部４６は、ＡＥ処理を行う。撮像レンズ３００を通過した光束をメインミラー１３０および不図示の測光用レンズを介して測光部４６に入射させることにより、測光部４６において被写体像の輝度を測定することができる。また、測光部４６は、フラッシュ４８と連携して調光処理を行う。フラッシュ４８は、フラッシュ調光機能およびＡＦ補助光の投光機能を有する。フラッシュ４８は、被写体に向けて光を発する発光手段として、静止画撮像時にフラッシュ発光（閃光発光）して被写体を明るく照明する（第１の発光手段）。さらに、フラッシュ４８は、焦点検出時に間欠発光して被写体に間欠的にＡＦ補助光を投光して被写体を照明する。なお、測光部４６に代わり、システム制御部５０が、画像処理部２０により生成された画像データから輝度を演算した結果に基づいて、シャッタ制御部３６と撮像レンズ３００内の絞り制御部３４４に対してＡＥ制御を行うことも可能である。

ＬＥＤランプ４９は、被写体を照明する光源として、常時発光（連続発光）が可能な発光手段（第２の発光手段）である。ＬＥＤランプ４９が発するＬＥＤ光は、ＡＦ補助光であるＬＥＤ補助光として機能する以外に、いわゆる赤目現象を軽減する機能や、セルフタイマー撮像時の撮像タイミングの指標として使用することも可能である。

システム制御部５０は、撮像装置１全体の動作を制御する。システム制御部５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、メモリ５２などに記憶されているプログラムを実行することで、撮像装置１の機能が実現される。メモリ５２は、システム制御部５０の動作に用いられる定数、変数、プログラム等を記憶する。

表示部５４は、液晶表示パネルやＬＥＤ等の表示デバイスにより構成され、文字、画像および音声等を用いて動作状態やメッセージ等を表示する。具体的には、撮像済画像数、残撮像可能画像数等の撮像画像数に関する情報、シャッタスピード、絞り値、露出補正およびフラッシュ発光の有無等の撮像条件に関する情報、電池残量や日付・時刻等を表示する。前述したように表示部５４で表示される情報の一部は、光学ファインダ１０４で表示されてもよい。また、表示部５４と画像表示部２８が同一の表示デバイスで表示を行ってもよい。

不揮発性メモリ５６は、電気的に記録および消去可能なメモリであり、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等により構成される。モードダイアル６０、シャッタスイッチ６２、シャッタスイッチ６４、画像表示オン／オフスイッチ６６、クイックレビューオン／オフスイッチ６８および操作部７０は、システム制御部５０に対して各種動作指示を入力するためにユーザにより操作される。操作部７０は、スイッチ、ダイアル、タッチパネル、視線検知によるポインティングデバイス、音声認識デバイス等を含む。

電源制御部８０は、コネクタ８２およびコネクタ８４を介して、電源部８６を制御する。電池検出部、ＤＣ／ＤＣコンバータおよび通電するブロックを切り替えるスイッチ部を含む。電源制御部８０は、電池検出部を通じて電池の装着の有無、電池の種類および電池残量を検出し、検出結果およびシステム制御部５０からの指示に応じてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。電源部８６は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等の電源である。

インタフェース９０は、コネクタ９２を介して、記録媒体９４とカメラ１００を接続する。記録媒体９４は、メモリカードやハードディスク等の記録媒体である。記録媒体着脱検知部９８は、コネクタ９２に記録媒体９４が接続されているか否かを検知する。

次に、撮像レンズ３００の構成について説明する。撮像レンズ３００は、ズームレンズ３１０、フォーカスレンズ３１１および絞り３１２等を含む撮像光学系を備える。また、撮像レンズ３００は、ズーム制御部３４０、フォーカス制御部３４２、絞り制御部３４４、レンズ制御部３４６、不揮発性メモリ３４８、レンズマウント３０６およびコネクタ３２２を備える。

ズーム制御部３４０は、ズームレンズ３１０を光軸方向に移動させて変倍を行う。焦点調節手段としてのフォーカス制御部３４２は、フォーカスレンズ３１１を光軸方向に移動させて焦点調節を行う。フォーカス制御部３４２は、例えば、デフォーカス量が小さくなるようにフォーカスレンズ３１１を駆動する。絞り制御部３４４は、測光部４６およびシステム制御部５０からの測光情報に基づいて絞り３１２を駆動する。

レンズ制御部３４６は、例えばＣＰＵとプログラム等を記憶したメモリを備え、撮像レンズ３００全体の動作を制御する。不揮発性メモリ３４８は、撮像レンズ３００に固有の製造番号等の識別情報や、開放絞り値、最小絞り値および焦点距離等の光学情報や、現在または過去の各種設定値等を記憶する。また、不揮発性メモリ３４８には、撮像レンズ３００の状態に応じた枠情報やデフォーカス関連情報も記憶されている。

枠情報は、撮像レンズ（撮像光学系）３００を通過する光束の径を決定する枠に関する情報である。具体的には、撮像素子１４から枠までの距離と、枠の光束通過開口の半径を示す情報である。枠の１つは絞り３１２であり、他にも撮像光学系を構成するレンズを保持するレンズ保持部材の開口が枠に相当する。枠は、ズームレンズ３１０の位置（ズーム位置）やフォーカスレンズ３１１の位置（フォーカス位置）に応じて異なるため、ズーム位置ごとおよびフォーカス位置ごとに用意されている。焦点検出を行う際には、ズーム位置とフォーカス位置に応じた最適な枠情報が選択され、枠情報がレンズ制御部３４６からシステム制御部５０に送られる。デフォーカス関連情報は、被写体距離ごとの無限遠端および至近端までのデフォーカス量の情報であり、フォーカス位置に対応付けられた被写体距離ごとに分割されて記憶されている。

カメラ１００のカメラマウント１０６には、撮像レンズ３００のレンズマウント３０６が機械的および電気的に着脱可能に装着される。カメラマウント１０６およびレンズマウント３０６には、撮像レンズ３００をカメラ１００と電気的に接続する電気接点部としてのコネクタ１２２およびコネクタ３２２が設けられている。

次に、撮像素子１４の構成について図２（Ａ）、図２（Ｂ）および図３を用いて説明する。図２（Ａ）は、撮像素子１４が有する焦点検出に用いる信号を出力可能な画素２００の構成を示す図である。画素２００は、一対の光電変換部としての２つの光電変換部２０１ａおよび光電変換部２０１ｂを備える。光電変換部２０１ａおよび光電変換部２０１ｂは、例えば、フォトダイオードである。なお、本実施形態では、２つの光電変換部を備える例を説明するが、これに限られるものではなく、例えば４つなど複数の光電変換部を備えていてもよい。

画素２００は、さらに、転送スイッチ２０２ａ、転送スイッチ２０２ｂ、リセットスイッチ２０５および選択スイッチ２０６を備える。各スイッチは、例えば、ＭＯＳトランジスタ等により構成される。また、画素２００は、フローティングディフュージョン領域２０３および増幅部２０４を備える。以下の説明では、各スイッチが、Ｎ型ＭＯＳトランジスタにより構成されている例を説明するが、各スイッチはＰ型ＭＯＳトランジスタにより構成されていてもよく、さらに他のスイッチング素子により構成されていてもよい。

図２（Ｂ）は、撮像素子１４の画素配列を模式的に示した図である。撮像素子１４には、複数の画素が、水平ｎ画素×垂直ｍ画素の２次元の配列で配置されている。各画素にはマイクロレンズ２０１ｃが設けられ、光電変換部２０１ａおよび光電変換部２０１ｂは、１つのマイクロレンズ２０１ｃを共有する。すなわち、光電変換部２０１ａおよび光電変換部２０１ｂはそれぞれ、同一のマイクロレンズ２０１ｃを通過した光を受光して光電変換し、その受光量に応じた電荷を発生する。以下の説明において、光電変換部２０１ａで発生した電荷により得られる信号をＡ信号、光電変換部２０１ｂで発生した電荷により得られる信号をＢ信号とする。

転送スイッチ２０２ａは、光電変換部２０１ａとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ｂは、光電変換部２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａは、光電変換部２０１ａで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ｂは、光電変換部２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ａおよび転送スイッチ２０２ｂはそれぞれ、制御信号ＴＸ＿Ａ，ＴＸ＿Ｂによって制御される。

フローティングディフュージョン領域２０３は、光電変換部２０１ａおよび光電変換部２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する。増幅部２０４は、例えば、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷により得られる電圧信号を増幅して出力する。

リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする。選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された電圧信号を垂直出力線２０７に出力する。

図３は、撮像素子１４の構成を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８、共通出力線２２９、水平走査回路２３２およびデータ出力部２３３を備える。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３では説明を簡略化するために、水平方向ｎ画素×垂直方向４画素を示している。また、各画素２００には、複数色のカラーフィルタのうちいずれか１つが設けられている。カラーフィルタの色は、例えば、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）である。これらのカラーフィルタが設けられたｎ×ｍ画素は、例えば、ベイヤー配列に従って配置される。また、画素アレイ２３４の一部が遮光層で遮光され、オプティカルブラック（ＯＢ）領域を形成する。

垂直走査回路２０９は、画素行ごとに設けられた駆動信号線２３６を介して、各画素行の画素２００に各種の制御信号を出力する。なお、図３では駆動信号線２３６は画素行ごとに１本ずつ示されているが、実際には画素行ごとに複数の駆動信号線が接続されている。

画素アレイ２３４の画素２００は、画素列ごとに共通の垂直出力線２０７に接続される。各画素２００から出力される信号は、垂直出力線２０７を介して読み出し回路２３５に入力され、読み出し回路２３５で処理される。電流源負荷２１０は、各画素列の垂直出力線２０７に接続される。

水平走査回路２３２は、それぞれ１つの読み出し回路２３５に対応する制御信号ｈｓｒ（０）～ｈｓｒ（ｎ－１）を出力する。水平走査回路２３２は、複数の読み出し回路２３５の中から信号を出力させる読み出し回路を制御信号ｈｓｒで順次選択する。選択された読み出し回路２３５は、共通出力線２２８および共通出力線２２９を介して、データ出力部２３３に信号を出力する。

読み出し回路２３５の具体的な構成を説明する。読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４～２１６、オペアンプ２１３、基準電圧源２１２およびスイッチ２１７～２２０を有する。また、読み出し回路２３５は、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３、スイッチ２２６およびスイッチ２２７を有する。

垂直出力線２０７を介して読み出し回路２３５に入力される信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４～２１６は、オペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７は、オペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４～２１６の両端をショートさせる機能を有する。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８～２２０は、システム制御部５０からの制御信号ＧＡＩＮ０～ＧＡＩＮ２で制御される。

比較器２２１には、オペアンプ２１３の出力端子と、ランプ信号発生器２３０から出力されるランプ信号２２４が接続される。比較器２２１には、オペアンプ２１３の出力信号と、ランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２は、ノイズレベル（Ｎ信号）を保持するための記憶素子である。Ｌａｔｃｈ＿Ｓ２２３は、Ａ信号と、Ａ信号およびＢ信号が加算されたＡＢ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。

比較器２２１の出力（比較結果を表す値）とカウンタ２３１の出力であるカウンタ値２２５が、Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３にそれぞれ入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の動作は、それぞれＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２の出力端子は、スイッチ２２６を介して共通出力線２２８に接続される。Ｌａｔｃｈ＿Ｎ２２２で保持したノイズレベルは、スイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ２２３の出力端子は、スイッチ２２７を介して共通出力線２２９に接続される。Ｌａｔｃｈ＿Ｓ２２３で保持した信号レベルは、スイッチ２２７を介して共通出力線２２９に出力される。

スイッチ２２６およびスイッチ２２７は、水平走査回路２３２からの制御信号ｈｓｒ（ｈ）により制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２およびＬａｔｃｈ＿Ｓ２２３に保持された信号レベルは、共通出力線２３８、共通出力線２２９を介して順次データ出力部２３３へ出力され、データ出力部２３３から外部へ出力される。この読み出し回路２３５で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。

なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生部１８やシステム制御部５０から供給される。

本実施例では、撮像素子１４は、第１の読み出しモードと第２の読み出しモードとを有する。第１の読み出しモードは全画素読み出しモードであり、第２の読み出しモードは間引き読み出しモードである。

第１の読み出しモードである全画素読み出しモードでは、記録用の高精細の静止画を撮像するために、全画素から出力信号が読み出される。第２の読み出しモードである間引き読み出しモードでは、記録用の静止画よりも画素数が少ないライブビュー画像や記録用の動画の表示を行うために、全画素のうち一部の画素からの出力信号のみが読み出される。ライブビュー画像や動画の生成に必要な画素数は全画素数よりも少ないため、撮像素子１４から水平方向および垂直方向ともに所定比率で間引いた数の画素から出力信号を読み出す。間引き読み出しモードでは、全画素モードに比べて読み出す出力信号が少ないため、信号処理負荷を軽減するとともに、消費電力の低減にも寄与する。

なお、第１の読み出しモードおよび第２の読み出しモードのいずれにおいても、各画素に設けられた各光電変換部からの出力信号は独立して読み出しされるため、いずれの読み出しモードでも一対の位相差像信号の生成が可能である。なお、「間引き」は読み出し自体を行わないことだけでなく、読み出しされた信号を棄てる（無視する）構成や、読み出した複数の信号から１つの信号を生成する構成も含む。例えば、隣接する複数の画素から読み出した信号を平均して１つの信号を生成することで、Ｓ／Ｎを改善することができる。

図４（Ａ）は、撮像レンズ３００の射出瞳面と、撮像素子１４の像高０付近、すなわち像面の中央近傍に配置された画素２００（以下、中央画素という）の一対の光電変換部である光電変換部２０１ａと光電変換部２０１ｂとの共役関係を説明する図である。撮像レンズ３００の射出瞳面と光電変換部２０１ａおよび光電変換部２０１ｂとは、マイクロレンズ２０１ｃによって共役関係となるように設定されている。

撮像レンズ３００の射出瞳は、一般的に、絞り３１２が配置された面に位置する。一方、本実施形態の撮像レンズ３００は変倍機能（ズーム機能）を有し、変倍によって像面からの射出瞳までの距離（射出瞳距離）が変化する。図４（Ａ）は、焦点距離が広角端と望遠端との間の中間ズーム状態にある場合を示している。中間ズーム状態における射出瞳距離を、標準的な射出瞳距離Ｚｅｐと仮定し、マイクロレンズ２０１ｃの形状や、像高（画面中心からの距離、または、ＸＹ座標）に応じた偏心パラメータが最適化される。

撮像レンズ３００は、第１レンズ群３０１、第１レンズ群を保持する鏡筒部材３０１ｂ、フォーカスレンズ３１１、およびフォーカスレンズ３１１を保持する鏡筒部材３１１ｂを備える。第１レンズ群３０１は、最も被写体側に配置されたレンズ群である。また、撮像レンズ３００は、絞り３１２の開放口径を決める開口を有する開口板３１２ａおよびは絞り込み開口径を調節するための絞り羽根３１２ｂを備える。なお、図４（Ａ）では、撮像レンズ３００を通過する光束を制限する部材として作用する鏡筒部材３０１ｂ、開口板３１２ａ、絞り羽根３１２ｂ、鏡筒部材３１１ｂは、像面側から観察した場合の光学的な虚像として示している。また、絞り３１２の近傍における合成開口を撮像レンズ３００の射出瞳（以下、レンズ射出瞳という）と定義し、像面からの距離を射出瞳距離Ｚｅｐとする。光束Ｌは、撮像レンズ３００を通過する光束であり、図４（Ａ）ではその外縁を直線で示している。光束Ｌは、絞り３１２の開口板３１２ａによって制限されている。

画素２００の最下層には、一対の光電変換部である光電変換部２０１ａおよび光電変換部２０１ｂが配置される。光電変換部２０１ａおよび光電変換部２０１ｂの上層には、下から順に、配線層２０１ｅ～２０１ｇ、カラーフィルタ２０１ｈおよびマイクロレンズ２０１ｃが設けられている。光電変換部２０１ａおよび光電変換部２０１ｂは、マイクロレンズ２０１ｃによってレンズ射出瞳面上にそれぞれ像ＥＰ１ａおよび像ＥＰ１ｂとして逆投影される。言い換えれば、レンズ射出瞳のうち互いに異なる瞳領域（以下、焦点検出瞳という）である焦点検出瞳ＥＰ１ａおよび焦点検出瞳ＥＰ１ｂが、マイクロレンズ２０１ｃを介して、それぞれ光電変換部２０１ａおよび光電変換部２０１ｂの表面に投影される。

図４（Ｂ）は、撮像レンズ３００の射出瞳面上における、光電変換部２０１ａおよび光電変換部２０１ｂの逆投影像である像ＥＰ１ａおよび像ＥＰ１ｂを示す図である。図４（Ｂ）は、光軸方向から見た場合を示している。撮像素子１４は、２つの光電変換部２０１ａおよび光電変換部２０１ｂのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａおよび焦点検出瞳ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。

円ＴＬは、絞り３１２の開口板３１２ａで規定される、画素２００への光束Ｌの最大入射範囲を射出瞳面に示したものである。円ＴＬは開口板３１２ａで規定されるため、図では円ＴＬを３１２ａとも記載している。図４（Ｂ）は中央画素を示しているため、光束のケラレは光軸（図４（Ａ）に一点鎖線で示す）に対して対称となり、光電変換部２０１ａおよび光電変換部２０１ｂは同じ大きさの瞳領域を通過した光束を受光する。そして、円ＴＬには、像ＥＰ１ａおよび像ＥＰ１ｂの大部分が含まれるため、光束のケラレはほぼ発生しない。従って、光電変換部２０１ａおよび光電変換部２０１ｂで光電変換された信号を加算した場合、円ＴＬ、すなわち射出瞳領域のほぼ全体を通過した光束を光電変換した結果が得られる。

このように、本実施形態の撮像素子１４は、被写体像を撮像する機能だけではなく、レンズ射出瞳における互いに異なる焦点検出瞳からの光束を個別に受光して撮像面位相差検出方式の焦点検出を行う機能も有する。なお、本実施形態では、１つの画素２００が一対の光電変換部を有する場合について説明するが、互いに異なる一部が遮光された２つの焦点検出専用画素を一対の光電変換部として用いてもよい。

図５は、画素２００と瞳分割との対応関係を説明する図である。図５において、光電変換部２０１ａは重心が－ｘ方向に偏心し、光電変換部２０１ｂは重心が＋ｘ方向に偏心している。第１瞳部分領域５０１は、光電変換部２０１ａの受光面と、マイクロレンズ２０１ｃによって概ね共役関係になっており、光電変換部２０１ａで受光可能な瞳領域を表している。第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。第２瞳部分領域５０２は、光電変換部２０２の受光面と、マイクロレンズによって概ね共役関係になっており、光電変換部２０１ｂで受光可能な瞳領域を表している。第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。

瞳領域５００は、光電変換部２０１ａと光電変換部２０１ｂを合わせた際の画素２００全体で受光可能な瞳領域である。撮像素子１４を用いた撮像面位相差ＡＦでは、撮像素子１４の各画素のマイクロレンズ２０１ｃを利用して瞳分割するため回折の影響を受ける。撮像素子１４の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズ２０１ｃの直径は数μｍである。そのため、マイクロレンズ２０１ｃの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

図６は、撮像素子１４と瞳分割との対応関係を説明する図である。撮像面８００に撮像素子１４が配置されている。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１４の各画素にそれぞれ異なる角度で入射し、２×１分割された一対の光電変換部２０１ａおよび光電変換部２０１ｂでそれぞれ受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例を説明するが、垂直方向に瞳分割を行ってもよい。

撮像素子１４には、一対の光電変換部２０１ａおよび光電変換部２０１ｂを有する画素２００が複数配列されている。本実施形態では全画素が一対の光電変換部２０１ａおよび光電変換部２０１ｂを有している例を説明するが、これに限られるものではなく、一対の光電変換部２０１ａおよび光電変換部２０１ｂを有する画素を部分的に配置する構成でもよい。光電変換部２０１ａは、撮像レンズ３００の第１瞳部分領域を通過する光束を受光する。光電変換部２０１ｂは、第１瞳部分領域と異なる撮像レンズ３００の第２瞳部分領域を通過する光束を受光する。また、画素２００は、撮像レンズ３００の第１瞳部分領域と第２瞳部分領域を合わせた瞳領域を通過する光束を受光する。

撮像素子１４の各画素の光電変換部２０１ａの受光信号を集めて第１焦点信号を生成し、各画素の光電変換部２０１ｂの受光信号を集めて第２焦点信号を生成して、焦点検出を行う。また、画素２００ごとに、光電変換部２０１ａの信号（Ａ信号）と光電変換部２０１ｂの信号（Ｂ信号）を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像、ＡＢ信号）を生成する。なお、各信号の生成方法は、これに限られるものではなく、例えば、光電変換部２０１ｂの焦点検出信号は、撮像信号と光電変換部２０１ａの信号の差分から生成してもよい。

次に、光電変換部２０１ａの信号から生成される第１焦点検出信号と光電変換部２０１ｂの信号から生成される第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。図７は、第１焦点検出信号と第２焦点検出信号のデフォーカス量および像ずれ量を説明する図である。

撮像面８００に撮像素子１４が配置され、図５、図６と同様に、撮像素子１４の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜で表される。被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号（ｄ＜０）として定義する。また、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義する。被写体の結像位置が撮像面８００にある合焦状態はｄ＝０である。

図７において、被写体８０１は合焦状態（ｄ＝０）の例を示している。被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち第１瞳部分領域５０１を通過した光束は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１４に配列された各画素を構成する光電変換部２０１ａからなる第１焦点検出画素により受光され、第１焦点検出信号が生成される。また、前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち第２瞳部分領域５０２を通過した光束は、一度、集光した後、光束の重心位置Ｇ２を中心として幅Γ２に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１４に配列された各画素を構成する光電変換部２０１ｂからなる第２焦点検出画素により受光され、第２焦点検出信号が生成される。

第１焦点検出信号には、被写体８０２が、撮像面８００上の重心位置Ｇ１に幅Γ１にボケた被写体像として記録される。また、第２焦点検出信号には、被写体８０２が、撮像面８００上の重心位置Ｇ２に幅Γ２にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。

同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。なお、後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

次に、位相差方式の焦点検出について説明する。位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が高くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量を変換係数により検出デフォーカス量に変換して焦点検出を行う。

図８は、焦点検出領域を説明する図である。撮像素子１４の撮像範囲４０００内に焦点検出領域４００１が設けられている。本実施形態では、３つの焦点検出領域４００１で撮像面位相差検出方式の焦点検出を行う例を説明するが、焦点検出領域４００１数はこれに限られるものではなく、１つであってもよいし複数であってもよい。焦点検出領域４００１内では、水平方向のコントラスト差を用いて位相差を検出する。

図９は、一対の位相差像信号を説明する図である。一対の位相差像信号４３０ａおよび位相差像信号４３０ｂは、撮像素子１４における焦点検出領域４００１内の複数の画素２００から得られたＡ信号同士およびＢ信号同士をそれぞれ連結し、さらに画像処理部２０よる各種画像処理が行われた信号である。一対の位相差像信号４３０ａおよび位相差像信号４３０ｂは、ＡＦ部４２に送られる。

図９において、横軸は互いに連結された信号（Ａ信号またはＢ信号）の画素配列方向を示し、縦軸は該信号の強度を示す。一対の位相差像信号４３０ａおよび位相差像信号４３０ｂは、撮像レンズ３００が被写体に対してデフォーカスした状態（非合焦状態）で撮像された信号である。合焦状態に比べて、位相差像信号４３０ａは左側にずれ、位相差像信号４３０ｂは右側にずれている。ＡＦ部４２は、一対の位相差像信号４３０ａおよび位相差像信号４３０ｂのずれ量（位相差）を相関演算を用いて算出し、該位相差に基づいて撮像レンズ３００の被写体に対するデフォーカス量を求める。

システム制御部５０は、レンズ制御部３４６から送信されたフォーカス敏感度（フォーカスレンズ３１１の単位移動量に対する像面移動量）の情報およびＡＦ部４２から得られたたデフォーカス量とから、フォーカスレンズ３１１の駆動量を算出する。さらに、システム制御部５０は、レンズ制御部３４６から送信されたフォーカス位置の情報とフォーカスレンズ３１１の駆動量から、フォーカスレンズ３１１を移動させる目標位置の情報を求めて、レンズ制御部３４６に送信する。レンズ制御部３４６は、フォーカス制御部３４２を通じてフォーカスレンズ３１１を目標位置に移動させる。以上により、撮像面位相差ＡＦによる焦点調節が行われる。

次に、カメラ１００における撮像制御処理（制御方法）について説明する。図１０は、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理を示すフローチャートである。システム制御部５０が、制御プログラムに従って本処理を実行する。

ステップＳ１００１において、システム制御部５０は、ライブビュー画像を生成するための撮像素子１４による撮像を開始させ、撮像信号を取得する。そして、取得した撮像信号を画像処理部２０に入力させる。ステップＳ１００２において、システム制御部５０は、画像処理部２０に撮像信号からライブビュー画像データおよび焦点検出データを生成させる。

ステップＳ１００３において、システム制御部５０は、生成されたライブビュー画像データに基づいてライブビュー画像を画像表示部２８に表示する。ユーザは、このライブビュー画像を見ることで撮像構図を決定することができる。ライブビュー画像は、ユーザが撮像範囲や撮像条件を確認するために用いられ、所定時間間隔、例えば３３．３ｍｓ（３０ｆｐｓ）や１６．６ｍｓ（６０ｆｐｓ）で更新される。

なお、システム制御部５０は、後述するＡＦ補助光の発光時には画像表示部２８にライブビュー画像を表示しないように制御してもよい。例えば、ＡＦ補助光が閃光発光を用いたＡＦ補助光（以下、閃光補助光という）の場合は、被写体の一部が輝度飽和する等して高質の画像を取得できないおそれがある。そのため、閃光補助光の発光時にはライブビュー画像の表示を停止して、その後表示を再開すればよい。閃光発光を行う場合でも、輝度飽和する領域が限定的であったり閃光発光量が小さかったりする場合は、ライブビュー画像の表示を継続してもよい。一方、ＡＦ補助光がＬＥＤから発光されるＡＦ補助光（以下、ＬＥＤ補助光という）の場合は、常時発光が可能であり、測光部４６により表示画像を適正露出状態に保つことができるため、ライブビュー画像の表示を停止する必要はない。

ステップＳ１００４において、システム制御部５０は、ＡＦ部４２による焦点検出処理を行わせる。ＡＦ部４２は、図８に示した３つの焦点検出領域４００１における焦点検出データを用いて焦点検出処理を行う。ＡＦ部４２は、図９に示した一対の位相差像信号の位相差からデフォーカス量を算出するまでの焦点検出処理を行う。焦点検出処理の詳細については、図１１を用いて後述する。

ステップＳ１００５において、システム制御部５０は、撮像準備開始指示としてのスイッチＳＷ１（シャッタスイッチ６２）のオン／オフを検出する。スイッチＳＷ１は、例えば、シャッタスイッチの半押し操作によりオンになる。スイッチＳＷ１がオンである場合は、ステップＳ１００６に進む。一方、スイッチＳＷ１がオフである場合は、ステップＳ１０１０に進む。

ステップＳ１００６において、システム制御部５０は、焦点検出領域モードを取得する。焦点検出領域モードは、任意選択モード、自動選択モードおよび被写体検出モードを含む。任意選択モードは、ユーザが指定した１または複数の焦点検出領域を設定するモードである。自動選択モードは、システム制御部５０が１または複数の焦点検出領域を設定するモードである。被写体検出モードは、人物の顔等の特定の被写体を検出して１または複数の焦点検出領域を設定するモードである。被写体検出モードの場合、システム制御部５０は、人物の顔等の特定の被写体の情報である被写体検出情報を取得し、焦点検出領域の位置、配置および数を設定する。

ステップＳ１００７において、システム制御部５０は、ＡＦ部４２による焦点調節処理を行わせる。ＡＦ部４２は、ステップＳ１００６において取得された焦点検出領域モードに応じて設定された焦点検出領域４００１で焦点調節処理を行う。焦点調節処理の詳細については、図１６を用いて後述する。

ステップＳ１００８において、システム制御部５０は、撮像開始指示としてのスイッチＳＷ２（シャッタスイッチ６４）のオン／オフを検出する。スイッチＳＷ２は、例えば、シャッタスイッチの全押し操作によりオンになる。システム制御部５０は、スイッチＳＷ２がオンになるまで待機し、スイッチＳＷ２がオンになるとステップＳ１００９に進む。

ステップＳ１００９において、システム制御部５０は、撮像処理を行う。撮像処理の詳細については、図１９を用いて後述する。ステップＳ１０１０において、システム制御部５０は、メイン（電源）スイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合、ステップＳ１００２に戻る。一方、メインスイッチがオフされた場合、本フローを終了する。

次に、図１０のステップＳ１００４の焦点検出処理の詳細について説明する。図１１は、焦点検出処理を示すフローチャートである。
ステップＳ１１０１において、ＡＦ部４２は、撮像素子１４の有効画素領域の中から焦点調節を行う対象となる焦点検出領域を設定する。ステップＳ１１０２において、ＡＦ部４２は、撮像素子１４から、焦点検出領域の画素の光電変換部２０１ａの受光信号から第１焦点検出信号（Ａ信号）を取得し、光電変換部２０１ｂの受光信号から第２焦点検出信号（Ｂ信号）を取得する。

ステップＳ１１０３において、ＡＦ部４２は、第１焦点検出信号と第２焦点検出信号それぞれに、シェーディング補正処理（光学補正処理）を行う。位相差検出方式の焦点検出では、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）に基づいて、ピント（焦点状態）を検出する。シェーディングが生じると、第１焦点検出信号と第２焦点検出信号との相関が低下する場合がある。そのため、第１焦点検出信号と第２焦点検出信号との相関を改善して焦点検出を良好に行うため、シェーディング補正処理を行うことが好ましい。

ステップＳ１１０４において、ＡＦ部４２は、第１焦点検出信号と第２焦点検出信号とのそれぞれに対してフィルタ処理を行う。一般的に、位相差検出方式の焦点検出では、大デフォーカス状態での焦点検出を行うため、フィルタ処理の通過帯域は低周波帯域を含むように構成される。ただし、必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出の際のフィルタ処理の通過帯域を高周波帯域側に調整してもよい。

ステップＳ１１０５において、ＡＦ部４２は、フィルタ処理後の第１焦点検出信号と第２焦点検出信号とに対して、相関演算を行い、信号の一致度を表す相関値（第１焦点検出信号と第２焦点検出信号との相関演算結果）を算出する。ステップＳ１１０６において、ＡＦ部４２は、ステップＳ１１０５にて算出された相関値に基づいて、像ずれ量を算出する。具体的には、ＡＦ部４２は、サブピクセル演算により、相関値が最小値となるシフト量に基づいて像ずれ量Ｘを算出する。

ステップＳ１１０７において、ＡＦ部４２は、ステップＳ１１０６にて算出した像ずれ量をデフォーカス量へ変換する変換係数Ｋを算出する（変換係数算出）。なお、変換係数算出の詳細については、図１４を用いて後述する。ステップＳ１１０８において、ＡＦ部４２は、デフォーカス量を算出する。具体的には、ＡＦ部４２は、ステップＳ１１０６において算出された像ずれ量Ｘと、ステップＳ１１０７において算出された変換係数Ｋに基づいて、式（１）にてデフォーカス量を算出する。

以上で、焦点検出に関する本フローは終了する。

次に、レンズの枠ケラレに関して説明する。図１２（Ａ）および図１２（Ｂ）は、枠ケラレを説明する図である。光電変換部２０１ａの第１瞳部分領域５０１、光電変換部２０１ｂの第２瞳部分領域５０２、撮像レンズ３００の絞り３１２（第３の開口情報）、下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）の関係を模式的に示している。なお、下線枠４０１は、例えば、図４で説明したフォーカスレンズ３１１を保持する鏡筒部材３１１ｂによる枠である。上線枠４０２は、例えば、第１レンズ群を保持する鏡筒部材３０１ｂによる枠である。

図１２（Ａ）は、ステップＳ１１０１で設定する焦点検出領域が中央像高（（ｘ，ｙ）＝（０，０））に設定されたときの枠ケラレの状態を示している。焦点検出領域が中央像高の場合、枠ケラレは絞り３１２により生じ、基線長（焦点検出瞳間の重心間隔）はＢＬ１の長さとなる。図１２（Ｂ）は、ステップＳ１１０１で設定する焦点検出領域が周辺像高（（ｘ，ｙ）＝（－１０，０））に設定されたときの枠ケラレの状態を示している。焦点検出領域が周辺像高の場合、枠ケラレは絞り３１２、下線枠４０１および上線枠４０２により生じ、基線長はＢＬ２の長さとなる。

周辺像高では、複数のレンズ枠によりケラレているため、周辺像高の基線長ＢＬ２は、中央像高の基線長ＢＬ１よりも短い。また、周辺像高では、複数のレンズ枠および絞り枠によりケラレるため、開口形状は円形ではない複雑な形状となる。そのため、周辺像高で基線長を算出する場合には、絞り３１２、下線枠４０１、上線枠４０２の情報を用いて、複雑な開口形状を考慮して算出する必要がある。

図１３（Ａ）～（Ｃ）は、各像高におけるレンズの枠ケラレを説明する図である。図１３（Ｄ）は、像高を説明する図である。図１３（Ａ）は、ステップＳ１１０１で設定する焦点検出領域が像高９０１（（ｘ，ｙ）＝（－１０，０））に設定されたときの枠ケラレの状態を示している。図１３（Ｂ）は、ステップＳ１１０１で設定する焦点検出領域が像高９０２（（ｘ，ｙ）＝（－３．２，３．２））に設定されたときの枠ケラレの状態を示している。図１３（Ｃ）は、ステップＳ１１０１で設定する焦点検出領域が像高９０３（（ｘ，ｙ）＝（０，１０））に設定されたときの枠ケラレの状態を示している。図１３（Ａ）～（Ｃ）のいずれの像高も中心像高からの距離ｒが１０となる位置である。

図１３（Ｄ）の距離９００は、中心像高からの距離が１０となる像高位置を示している。像高９０１（Ｙ＝０、Ｘ＜０の像高）を基準とすると、像高９０２は像高９０１に対してθ１回転した位置であり、像高９０３は像高９０１に対してθ２回転した位置である。撮像素子１４の瞳面では、距離９００上の像高に対する開口形状は同一形状で回転角θ回転した状態となる。そのため、図１３（Ｂ）は図１３（Ａ）に対して回転角θ１回転した状態となっている。同様に、図１３（Ｃ）は、図１３（Ａ）に対して回転角θ２回転した状態となっている。

図１３（Ａ）～（Ｃ）では、いずれにおいても枠ケラレは絞り３１２、下線枠４０１、上線枠４０２により生じ、開口形状は同じであるが、回転角が異なる。そのため、図１３（Ａ）の基線長はＢＬ２、図１３（Ｂ）の基線長はＢＬ３、図１３（Ｃ）の基線長はＢＬ４の長さとなり、それぞれ異なる。このように、基線長は、撮像素子の瞳面における、レンズの枠ケラレ形状（第１の開口情報、第２の開口情報、第３の開口情報）と回転角により決定される。

次に、図１１のステップＳ１１０７の変換係数算出について説明する。図１４は、変換係数算出処理を示すフローチャートである。図１４の各ステップは、主にシステム制御部５０およびレンズ制御部３４６により実行される。ステップＳ１４０１において、システム制御部５０は、焦点検出時の像高距離ｒ、絞り値、瞳距離の情報をレンズ制御部３４６に送信する。像高距離ｒは、図１１のステップＳ１１０１で設定した焦点検出領域に対応する情報であり、式（２）にて算出される。

ステップＳ１４０２において、レンズ制御部３４６は、現在のズームステート、フォーカスステートを取得する。ステップＳ１４０３において、レンズ制御部３４６は、撮像レンズ３００の下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の情報を取得する。レンズ制御部３４６は、下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の情報をステップＳ１４０１で取得した像高距離ｒ、絞り値、ステップＳ１４０２で取得したズームステート、フォーカスステートに基づいて取得する。

ステップＳ１４０４において、レンズ制御部３４６は、撮像素子１４の瞳距離における各開口情報の中心位置と大きさを算出する。レンズ制御部３４６は、ステップＳ１４０３で取得した下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の情報から、撮像素子１４の瞳距離における各開口情報の中心位置と大きさを算出する。

各開口情報の中心位置と大きさについて、図１５を用いて説明する。図１５は、撮像素子１４の瞳距離における各開口情報の中心位置と大きさを説明する図である。下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の中心位置は、それぞれｃ１、ｃ２、ｃ３で表される。下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の大きさは、それぞれｒ１、ｒ２、ｒ３で表される。本実施形態では、例えば、ｃ１、ｒ１、ｃ２、ｒ２、ｃ３は像高距離毎に不揮発性メモリ３４８に予め記憶しておき、ｒ３はステップＳ１４０１で取得した絞り値から計算にて算出するがこの限りではない。

図１４の説明に戻る。ステップＳ１４０５において、レンズ制御部３４６は、ステップＳ１４０４で算出した、下線枠４０１（第１の開口情報）、上線枠４０２（第２の開口情報）、絞り３１２（第３の開口情報）の中心位置と大きさを、システム制御部５０に送信する。ステップＳ１４０６において、システム制御部５０は、図１１のステップＳ１１０１で設定した焦点検出領域の像高座標（ｘ，ｙ）に応じて、回転角θを式（３）にて算出する。

ステップＳ２００７において、システム制御部５０は、ステップＳ１４０５で取得した、撮像素子１４の瞳距離における各開口情報の中心位置と大きさから、ケラレ割合を算出する。算出するケラレ割合は、絞り３１２の下線枠４０１によるケラレ割合ｂ１、絞り３１２の上線枠４０２によるケラレ割合ｂ２である。ケラレ割合ｂ１は、下線枠４０１（第１の開口情報）を、絞り３１２（第３の開口情報）の中心位置との距離に関する情報で表現したものに相当する。ケラレ割合ｂ２は、下線枠４０２（第２の開口情報）を、絞り３１２（第３の開口情報）の中心位置との距離に関する情報で表現したものに相当する。ケラレ割合ｂ１を式（４）、ケラレ割合ｂ２を式（５）にて算出する。

ステップＳ１４０８において、システム制御部５０は、ステップＳ１４０５で取得した、絞り３１２（第３の開口情報）の中心位置と大きさに応じた、変換係数算出に用いるθ、ｂ１、ｂ２に関する関数の係数を取得する。θ、ｂ１、ｂ２に関する関数の係数は、例えば、不揮発性メモリ３４８に記憶されている。係数は、θを複数範囲に分割して、分割範囲毎に保持している。本実施形態では、関数をθ、ｂ１、ｂ２に対する２次の関数としたときの、係数を取得するが、２次の関数に限定されるものではなく、１次の関数や３以上の関数であってもよい。また、変化の小さい変数に対する次数を小さくし、大きい変数の次数を大きくして、変数ごとに次数を異ならせてもよい。

ステップＳ１４０９において、システム制御部５０は、変換係数を算出する。システム制御部５０は、ステップＳ１４０６で算出した回転角θ、ステップＳ１４０７で算出したケラレ割合ｂ１およびケラレ割合ｂ２、ステップＳ１４０８で取得したθ、ｂ１、ｂ２に対する２次の関数の係数から、式（６）、式（７）にて変換係数を算出する。式（６）および式（７）においてＢＬは基線長である。式（６）において、ｍ０００、ｍ００１、ｍ００２、ｍ０２０、ｍ０１１、ｍ００２、ｍ１００、ｍ１０１、ｍ１０２、ｍ１２０、ｍ１１１、ｍ１０２、ｍ２００、ｍ２０１、ｍ２０２、ｍ２２０、ｍ２１１、ｍ２０２はステップＳ１４０８で取得した係数である。

以上の変換係数算出処理により、焦点検出信号間の像ずれ量からデフォーカス量への換算に必要な変換係数を開口状態に応じて算出することができ、焦点検出性能を向上することが可能となる。なお、基線長を関数で保持するのではなく、パラメータごとに直接保持し、パラメータ間の値は線形補間等にて算出してもよい。変換係数はレンズ関連情報である射出瞳距離や絞り枠や開口情報等によって変化するため、変換係数自体もレンズ関連情報である。レンズ関連情報は、撮像レンズ３００の撮像光学系に関する情報である。レンズ関連情報には、像ずれ量のデフォーカス量への変換係数、射出瞳距離、絞り、開口情報、焦点距離、射出瞳距離情報、フォーカスステート、撮像光学系によるケラレに関する情報、周辺光量落ち特性に関する情報等が含まれる。

次に、図１０のステップＳ１００７の焦点調節処理について説明する。図１６は、焦点調節処理を示すフローチャートである。ステップＳ１６０１において、システム制御部５０は、ステップＳ１００４で行われた焦点検出の結果としてのデフォーカス量を取得する。

ステップＳ１６０２において、システム制御部５０は、取得したデフォーカス量の信頼性が焦点検出領域モードに応じて設定された全ての焦点検出領域で高いか否かを判定する。システム制御部５０は、一対の位相差像信号の相関量の極小値と、相関演算において相関量が極小値を示すシフト量の近傍での相関量の差分の大きさとを用いてデフォーカス量の信頼性を判定する。

相関量は、一対の位相差像信号の相関度合いを示し、相関が高いほど小さい値となる。言い換えれば、相関量の極小値が小さいほど信頼性が高くなる。本実施形態では、相関量の極小値が閾値Ｔｈｒ１より小さければ信頼性が高いと判定する。理想的には、相関量の極小値は、一対の位相差像信号が完全に同一形状である場合に０となる。しかし、実際の一対の位相差像信号は、被写体からの光の拡散特性や光量調節誤差や画素ごとに個別に生じるノイズの影響等の影響によって互いに形状が異なる。このため、相関量の極小値は正の値となるのが一般的である。一方、一対の位相差像信号の形状の差が大きいほど、極小値の検出精度が低下し、結果的には焦点検出の精度が低下する。

また、相関量が極小値を示すシフト量近傍で得られた相関量の差分が大きいほど、シフト量を高精度に算出することができる。これは、相関量が誤差によりばらついた場合でも、相関量の差分が大きければシフト量の検出に与える影響が小さいためである。このことから、相関量の差分が閾値Ｔｈｒ２より大きい場合に信頼性が高いと判定する。

全ての焦点検出領域で信頼性が高いデフォーカス量が検出できた場合は、ステップＳ１６０３に進む。一方、全ての焦点検出領域で信頼性が高いデフォーカス量が検出できなかった場合は、ステップＳ１６０６に進む。ステップＳ１６０２において設定された全ての焦点検出領域で信頼性が高い場合にのみステップＳ１６０３に進むのは、焦点検出領域のいくつかがＡＦ補助光の発光によって信頼性が高くなる可能性があるためである。システム制御部５０は、信頼性が低い焦点検出領域が存在する場合にはＡＦ補助光を用いた焦点検出を試みる。したがって、ステップＳ１６０２では、デフォーカス量の信頼性を判定することにより、ＡＦ補助光が必要か否かを判定している。

なお、本実施形態ではステップＳ１６０２において全ての焦点検出領域でデフォーカス量の信頼性が高いか否か判定したが、これに限られるものではない。例えば、焦点検出領域の数が多い場合などには、所定の割合以上の焦点検出領域で信頼性の高いデフォーカス量を取得できている場合には、ＡＦ補助光を使用する必要がないと判定するようにしてもよい。また、複数の焦点検出領域のうち像高が中央近傍の焦点検出領域におけるデフォーカス量の信頼性が高い場合には、ＡＦ補助光を使用する必要がないと判定するようにしてもよい。

ステップＳ１６０３において、システム制御部５０は、ステップＳ１００６で設定された焦点検出領域において、合焦状態であるか否か判定する。システム制御部５０は、検出デフォーカス量が所定デフォーカス量以下となる場合、合焦状態であると判定する。本実施形態では、焦点検出領域モードに応じて設定された焦点検出領域に応じた所定のアルゴリズムにしたがって、１つの焦点検出領域を選択し、検出デフォーカス量を所定のデフォーカス量と比較する。合焦状態であると判定した場合は、ステップＳ１６０５に進む。一方、非合焦状態であると判定した場合は、ステップＳ１６０４に進む。

ステップＳ１６０４において、システム制御部５０は、検出デフォーカス量に基づいてフォーカス制御部３４２を介してフォーカスレンズ３１１を駆動する。
ステップＳ１６０５において、システム制御部５０は、画像表示部２８に合焦状態を示す合焦表示を行う。合焦表示は、例えば、合焦状態が得られた焦点検出領域を示す枠を特定色で表示したり、合焦状態が得られたことを示す音を出力したりする。

ステップＳ１６０６において、システム制御部５０は、ＡＦ補助光の発光要否判定の処理を行う。発光要否判定処理の詳細については、図２０を用いて後述する。
ステップＳ１６０７において、システム制御部５０は、ステップＳ１６０６での判定処理の結果が、ＬＥＤ補助光または閃光補助光としてのＡＦ補助光が必要であることを示すか否かを判定する。ＡＦ補助光が不要である場合には、ステップＳ１６０８に進む。一方、ＡＦ補助光が必要である場合には、ステップＳ１６１２に進む。

ステップＳ１６０８において、システム制御部５０は、フォーカスレンズ３１１の移動、すなわちサーチ駆動を行いながらの焦点検出処理を行う。ステップＳ１６０８で行う焦点検出処理は、図１０のＳ１００４で行った焦点検出処理と同様である。ステップＳ１６０９において、システム制御部５０は、サーチ駆動と焦点検出を行った結果、焦点検出が可能であるか否か判定する。焦点検出が可能であると判定した場合は、ステップＳ１６０３に進む。一方、焦点検出が不可能であると判定した場合は、ステップＳ１６１０に進む。

ステップＳ１６１０において、システム制御部５０は、フォーカスレンズ３１１が光軸方向における可動範囲端（望遠端または至近端）に位置しているか否かを判定する。フォーカスレンズ３１１が可動範囲端に到達していない場合には、ステップＳ１６０８に戻ってサーチ駆動と焦点検出処理とを継続する。一方、フォーカスレンズ３１１が可動範囲端に到達している場合には、ステップＳ１６１１に進む。ステップＳ１６１１において、システム制御部５０は、フォーカスレンズ３１１の移動によって合焦可能な被写体がフォーカスレンズ３１１の可動範囲内で合焦する位置に存在しないものとして焦点検出を中断する。そして、システム制御部５０は、画像表示部２８に合焦状態が得られないことを示す非合焦判定表示を行わせる。

ステップＳ１６０７でＡＦ補助光が必要と判定したシステム制御部５０は、ステップＳ１６１２に進む。ステップＳ１６１２において、システム制御部５０は、フォーカスレンズ３１１の初期位置（以下、フォーカス初期位置という）を算出する。フォーカス初期位置は、至近端を含むなるべく広い被写体距離範囲をカバーできるフォーカス位置であり、言い換えると、信頼性の高いデフォーカス量を算出できるデフォーカス範囲がなるべく広いフォーカス位置である。

図１７は、フォーカス初期位置を説明する図である。横軸は、合焦する被写体距離と対応するフォーカス位置を示している。矢印は、算出された検出可能デフォーカス量の範囲（以下、デフォーカス量検出可能範囲という）を示している。フォーカスレンズ３１１の可動範囲端である至近端を含むデフォーカス量検出可能範囲内において、至近端よりも遠距離側にデフォーカス量検出可能範囲が広がるように、フォーカス初期位置が設定されている。

ＡＦ補助光が到達して焦点検出が可能になる被写体が近距離の被写体であるため、本実施形態では、フォーカス初期位置を、至近端を含むデフォーカス量検出可能範囲内に設定する例を説明したが、これに限られるものではない。例えば、被写体が存在する確率が高い距離として、焦点距離の定数倍や１ｍ等の被写体距離を予め設定し、その被写体距離を含むようにフォーカス初期位置を算出してもよい。至近端ではなく、焦点距離の定数倍や１ｍ等の被写体距離を設定した場合は、より至近側の被写体に対する焦点検出ができない恐れが生じるが、遠距離側の被写体距離の範囲を焦点検出可能な範囲とすることができる。また、ＡＦ補助光としての閃光補助光の到達距離を設定し、その到達距離を遠距離側の端としてフォーカス初期位置を設定してもよい。これにより、焦点検出を行う被写体距離を限定することができるため、より適切でマージンのあるフォーカス初期位置を設定することができる。

フォーカス初期位置の算出のため、システム制御部５０は、まず、後述する焦点検出情報を取得する。システム制御部５０は、焦点検出情報を用いて焦点検出が可能と想定される検出可能デフォーカス量を算出する。そして、システム制御部５０は、検出可能デフォーカス量と撮像レンズ３００の至近端での被写体距離の情報から、フォーカス初期位置を算出する。

焦点検出情報とは、検出可能デフォーカス量を概算するための焦点検出に関する情報である。具体的には、焦点検出情報は、撮像レンズ３００のＦ値、枠情報、焦点検出を行う焦点検出領域の像高、位相差像信号のコントラストのうちの少なくとも１つに関する情報である。

撮像レンズ３００のＦ値、枠情報および焦点検出領域の像高の情報などから、焦点検出を行う一対の光電変換部間の基線長やＡＦ光束径（焦点検出瞳において位相差像を形成している光束が通過する範囲）が算出される。基線長が長いほど単位デフォーカス量あたりの一対の位相差像信号間のずれ量が大きくなるため、より精度が良い焦点検出を行うことができる。また、ＡＦ光束径が小さいほど、デフォーカスによって位相差像信号がぼけにくくなり、大きくデフォーカスした状態でも一対の位相差像信号間のずれ量の検出が可能になる。なお、ＡＦ光束径が大きいほど基線長は長くなる。

検出可能デフォーカス量は、被写体のコントラストや空間周波数特性等によって異なる。高い空間周波数の情報を多く有し、コントラストが高い被写体に対しては、大きくデフォーカスした状態でも焦点検出が可能となる。被写体のコントラストの情報としては、例えば、位相差像信号における互いに隣接する画素信号の出力差の二乗和を用いればよい。

システム制御部５０は、焦点検出情報と対応する検出可能デフォーカス量の情報をテーブル化して記憶している。図１８は、検出可能デフォーカス量のテーブルの一例を示す図である。検出可能デフォーカス量のテーブルには、ＡＦ光束径と被写体のコントラストに対応する検出可能デフォーカス量が保持されている。システム制御部５０は、焦点検出情報として、例えば、ＡＦ光束径と被写体のコントラストを算出し、図１８に示すテーブルから検出可能デフォーカス量を取得する。なお、フォーカス初期位置を閃光補助光の到達距離に応じて設定する場合、閃光補助光の到達距離をＡＦ光束径に応じて変更してもよい。ＡＦ光束径が小さいほど閃光補助光の到達距離は短くなる。これにより、より適切にフォーカス初期位置を設定することができる。

ステップＳ１６１３において、システム制御部５０は、フォーカスレンズ３１１をステップＳ１６１２で算出したフォーカス初期位置に移動させる。

ステップＳ１６１４において、システム制御部５０は、ＬＥＤ補助光のみの発光が許可されているか否かを判定する。本実施形態では、システム制御部５０が、ＡＦ補助光の発光手段としてのフラッシュ４８とＬＥＤランプ４９の発光を制御する。ＬＥＤ補助光のみが発光許可されている場合（閃光補助光の発光が禁止されている場合）は、ステップＳ１６１５に進む。一方、閃光補助光の発光が許可されている場合には、ステップＳ１６１６に進む。

ステップＳ１６１５において、システム制御部５０は、ＬＥＤランプ４９のみからＬＥＤ補助光を発光させて焦点調節処理（以下、ＬＥＤ焦点調節処理という）を行う。ＬＥＤ焦点調節処理の詳細は、図２２を用いて後述する。ステップＳ１６１６において、システム制御部５０は、ＬＥＤ補助光または閃光補助光を発光させて焦点調節処理（以下、ＬＥＤ／閃光焦点調節処理という）を行う。ＬＥＤ／閃光焦点調節処理の詳細は、図２３を用いて後述する。ステップＳ１６１５でのＬＥＤ焦点調節処理、または、ステップＳ１６１６でのＬＥＤ／閃光焦点調節処理を終えたシステム制御部５０は、焦点調節処理を終了する。

次に、図１９を用いて、図１０のステップＳ１００９で行われる撮像処理について説明する。図１９は、撮像処理を示すフローチャートである。ステップＳ１９０１において、システム制御部５０は、光量調節のために絞り３１２を駆動し、露光時間を制御するシャッタ１２を駆動する。フラッシュ４８を閃光発光させて撮像を行う場合には、システム制御部５０は、その発光のタイミングに合わせてシャッタ１２を駆動する。

ステップＳ１９０２において、システム制御部５０は、撮像素子１４から静止画撮像のための全画素読み出しを行う。ステップＳ１９０３において、システム制御部５０または画像処理部２０は、撮像素子１４から読み出した撮像信号に対して、事前に記憶された欠陥画素の位置情報に基づく欠陥画素補間を行う。欠陥画素には、画素間の出力オフセットやゲインのばらつきが大きい画素や、撮像に使用されなかった画素（前述した焦点検出専用画素等）が含まれる。

ステップＳ１９０４において、システム制御部５０または画像処理部２０は、撮像信号に対して、γ補正、色変換、エッジ強調等の画像処理を行って撮像画像データ（静止画データ）を生成する。ステップＳ１９０５において、システム制御部５０は、撮像画像データをメモリ３０に記録する。

ステップＳ１９０６において、システム制御部５０は、ステップＳ１９０５にて記録した撮像画像データに対応付けて、カメラ１００の特性情報をメモリ３０およびシステム制御部５０内のメモリに記録する。カメラ１００の特性情報とは、例えば、露光時間、現像時の画像処理、撮像素子１４の画素の受光感度分布およびカメラ１００内での撮像光束のケラレに関する情報である。画素の受光感度分布は、マイクロレンズ２０１ｃ、光電変換部２０１ａおよび光電変換部２０１ｂにより決定される。そのため、画素の構造に関する情報（例えば、光電変換部２０１ａおよび光電変換部２０１ｂの大きさやピッチ、マイクロレンズ２０１ｃとの距離等）を画素の受光感度分布の代わりに記録してもよい。また、カメラ１００の特性情報には、カメラ１００と撮像レンズ３００との取り付け面から撮像素子１４までの距離や、製造誤差に関する情報も含まれる。

ステップＳ１９０７において、システム制御部５０は、ステップＳ１９０５にて記録した撮像画像データに対応付けて、撮像レンズ３００の特性情報をメモリ３０とシステム制御部５０内のメモリに記録する。撮像レンズ３００の特性情報とは、例えば、射出瞳、枠情報、撮像時の焦点距離やＦナンバー、撮像光学系の収差および製造誤差に関する情報である。

ステップＳ１９０８において、システム制御部５０は、ステップＳ１９０５にて記録した撮像画像データに関する画像関連情報を、撮像画像データに対応付けて、メモリ３０およびシステム制御部５０内のメモリに記録する。画像関連情報とは、例えば、撮像前の焦点検出動作に関する情報、被写体の移動、焦点検出動作の精度に関する情報である。ステップＳ１９０７の処理を終了したシステム制御部５０は、撮像処理を終了し、図１０のステップＳ１０１０に進む。

次に、図２０のフローチャートを用いて、図１６のステップＳ１６０６で行われるＡＦ補助光の発光要否判定について説明する。図２０は、発光要否判定処理を示すフローチャートである。ステップＳ２００１において、システム制御部５０は、焦点検出領域に関する情報を取得する。具体的には、システム制御部５０は、図１０のＳ１００６において設定された焦点検出領域の配置、位置および画素数等の情報を取得する。ステップＳ２００２において、システム制御部５０は、焦点検出領域の測光情報を取得する。具体的には、システム制御部５０は、焦点検出領域ごとの測光値と、全ての焦点検出領域を包含する領域の測光値の両方を取得する。

ステップＳ２００３において、システム制御部５０は、ＬＥＤ補助光と閃光補助光を発光する際の輝度の閾値（以下、発光閾値という）を設定する。発光閾値の設定の詳細については、図２１を用いて後述する。

ステップＳ２００４において、システム制御部５０は、ステップＳ２００２で得られた測光情報が示す測光値とステップＳ２００３で設定したＬＥＤ補助光の発光閾値とを比較する。比較に用いる測光値は、全ての焦点検出領域を包含する領域の測光値と各焦点検出領域の測光値である。いずれか１つの測光値がＬＥＤ補助光の発光閾値より小さい場合は、ステップＳ２００５に進む。一方、すべての測光値がＬＥＤ補助光の発光閾値以上である場合には、ステップＳ２００６に進む。ステップＳ２００５において、システム制御部５０は、ＬＥＤ発光判定をオン（ＬＥＤ発光許可）に設定する。ステップＳ２００６において、システム制御部５０は、ＬＥＤ発光判定をオフ（ＬＥＤ発光禁止）に設定する。

ステップＳ２００７において、システム制御部５０は、ステップＳ２００２で得られた測光値とステップＳ２００３で設定した閃光補助光の発光閾値とを比較する。比較に用いる測光値は、ステップＳ２００４と同様に、全ての焦点検出領域を包含する領域の測光値と各焦点検出領域の測光値である。いずれか１つの測光値が閃光補助光の発光閾値より小さい場合は、ステップＳ２００８に進む。一方、すべての測光値が閃光補助光の発光閾値以上である場合は、ステップＳ２００９に進む。ステップＳ２００８において、システム制御部５０は、閃光発光判定をオン（閃光発光許可）に設定する。ステップＳ２００９において、システム制御部５０は、閃光発光判定をオフ（閃光発光禁止）に設定する。ステップＳ２００８またはステップＳ２００９を終えたシステム制御部５０は、本処理を終了する。

次に、図２１を用いて、図２０のステップＳ２００３の発光閾値設定について説明する。図２１は、発光閾値設定処理を示すフローチャートである。発光閾値設定処理では、ＬＥＤ補助光および閃光補助光の発光閾値を設定する。ＬＥＤ補助光は、撮像範囲に占める照射範囲は狭いが、常時発光が可能であるために発光しながらの焦点検出を行いやすい。一方、閃光補助光は、照射範囲は広いものの、間欠発光するため焦点検出において多数回発光すると、画像記録用の撮像時の発光量を確保できなくなる恐れがある。そのため、発光閾値設定処理では、システム制御部５０は、ＬＥＤ補助光は発光しやすいが、閃光補助光は発光しにくくなるように発光閾値を設定する。ただし、ＬＥＤ補助光が単色光である場合の焦点検出誤差や、ＬＥＤランプ４９が撮像レンズ３００の近くに配置されることによる撮像レンズ３００によるＬＥＤ補助光のケラレを考慮し、閃光補助光の方が発光しやすくなるように発光閾値を設定してもよい。

ステップＳ２１０１において、システム制御部５０は、レンズ関連情報である絞り値情報をレンズ制御部３４６から取得する。システム制御部５０は、さらに、絞り値に関連する情報である周辺光量落ち特性に関する情報を取得する。ステップＳ２１０２において、システム制御部５０は、レンズ関連情報である焦点距離をレンズ制御部３４６から取得する。ステップＳ２１０３において、システム制御部５０は、レンズ関連情報である現在のフォーカス位置であるフォーカスステートをレンズ制御部３４６から取得する。ステップＳ２１０４において、システム制御部５０は、レンズ関連情報である撮像レンズの射出瞳距離情報をレンズ制御部３４６から取得する。

ステップＳ２１０５において、システム制御部５０は、ステップＳ２１０１～ステップＳ２１０４で取得した情報に基づいて、レンズ関連情報である中央像高の変換係数Ｋ０を取得する。ステップＳ２１０６において、システム制御部５０は、レンズ関連情報である焦点検出領域の像高の変換係数Ｋ１を取得する。焦点検出領域が周辺像高の場合には、変換係数Ｋ１は開口情報から算出された変換係数となる。ステップＳ２１０７において、システム制御部５０は、焦点検出領域の変換係数Ｋ１と中央像高の変換係数Ｋ０の比（Ｋ１／Ｋ０）を算出する。

ステップＳ２１０８において、システム制御部５０は、予めＦ値ごとに設定された中央像高の発光閾値Ｔ０を取得する。内蔵ＬＥＤと閃光補助光で発光閾値が異なる場合には、システム制御部５０はそれぞれの発光閾値を取得する。閃光補助光によるＡＦ補助光は、閃光補助光なしでは焦点検出が不可能な被写体輝度でのみ発光するのが理想的である。また、閃光補助光は発光時間が短いため、閃光補助光使用時は撮像素子１４のフレームレートを高速フレームレート（例えば６０ｆｐｓ）に設定され、撮像素子１４が受光する外光の光量は減少する。そのため、外光の影響が少ない発光輝度でのみ閃光補助光を発光させる必要がある。一方、内蔵ＬＥＤは常時発光のため、蓄積時間を増加させることで内蔵ＬＥＤによる光量をより多く受光できるため、外光の影響がある被写体輝度で発光してもよい。以上から、閃光補助光の発光閾値は、内蔵ＬＥＤの発光閾値より小さい値にするとよい。また、撮像レンズ３００の近くに配置されるＬＥＤ補助光のケラレを考慮して、中央像高または像高を限定した範囲でＬＥＤ補助光の発光閾値を算出してもよい。なお、決められた発光方式の発光閾値のみを取得するようにしてもよい。

ステップＳ２１０９において、焦点検出領域の発光閾値Ｔ１を下記の式（８）で算出する。

Ｔ１＝Ｔ０＋ｌｏｇ_２(Ｋ１／Ｋ０）・・・（８）

システム制御部５０は、式（８）により計算された値を焦点検出領域の発光閾値に設定し、本フローチャートの処理を終了する。

以上説明したように、本実施形態ではレンズ関連情報である変換係数を用いて発光閾値を設定する。変換係数は、像ずれ量をデフォーカス量へ変換する係数であり、変換係数が大きい(基線長が短い)ほどデフォーカス量の誤差が大きくなり、焦点検出精度が低下する。特に周辺像高ではレンズ枠ケラレにより開口形状が変形するため、基線長が短くなり、結果として変換係数が中央に対して大きくなり、焦点検出精度が低下する。本実施形態では焦点検出精度と相関がある変換係数を用いて発光閾値を設定することで、特に周辺像高の発光閾値を適切に設定することが可能となる。

一般に、焦点検出精度が確保できる範囲で、焦点検出が可能となるよう焦点検出処理を行うため、変換係数が大きく焦点検出精度が低下する周辺像高においては、中央像高に対して焦点検出が可能となる範囲が狭くなる。また、焦点検出が可能となる範囲は、被写体のコントラストや明るさなどによって変化する。補助光を発光しない場合、中央像高の方がより暗い環境で輝度の低い被写体の焦点検出が可能となる。

中央像高における焦点検出に合わせて補助光の発光輝度を決定した場合、基線長の差や被写体の明るさ、周辺の光量落ちにより、周辺像高において補助光が必要であるのに、補助光が発光しない場合が生じる。本実施形態では、想定される焦点検出精度に応じて、発光を行う輝度範囲を変更することにより、補助光を用いずに焦点検出を行う範囲と補助光を用いて焦点検出を行う範囲を適切に設定することが可能である。

次に、図２２のフローチャートを用いて、図１６のステップＳ１６１５のＬＥＤ焦点調節処理について説明する。図２２は、ＬＥＤ焦点調節処理を示すフローチャートである。ステップＳ２２０１において、システム制御部５０は、ＬＥＤ補助光を発光させる。ＬＥＤ補助光の発光は、少なくとも後述するステップＳ２２０４にて合焦状態が得られたと判定されるまでは継続させる。

ステップＳ２２０２～ステップＳ２２０６の処理は、それぞれ図１６のステップＳ１６０１～ステップＳ１６０５の処理と同様である。また、ステップＳ２２０７～ステップＳ２２１０の処理は、それぞれ図１６のステップＳ１６０８～ステップＳ１６１１の処理と同様である。

次に、図２３のフローチャートを用いて、図１６のステップＳ１６１６のＬＥＤ／閃光焦点調節処理について説明する。図２３は、ＬＥＤ／閃光焦点調節処理を示すフローチャートである。ステップＳ２３０１において、システム制御部５０は、事前に行われた発光要否判定において閃光補助光のみが発光許可されたか否かを判定する。ＬＥＤ補助光が許可されず、閃光補助光のみが発光許可された場合は、ステップＳ２３０５に進む。一方、ＬＥＤ補助光および閃光補助光の両方が発光許可されている場合は、ステップＳ２３０２に進む。

ステップＳ２３０２において、システム制御部５０は、被写体有無の判定処理を行う。ＬＥＤ補助光は常時発光が可能な反面、照射範囲が狭いことや撮像レンズ３００によるケラレが生じやすいという欠点がある。そのため、被写体の位置がＬＥＤ補助光の到達範囲外である場合、撮像レンズ３００のケラレによりＬＥＤ補助光が被写体に照射されない場合等、ＬＥＤ補助光を活用できない場合がある。被写体有無の判定処理において、システム制御部５０は、ＬＥＤ補助光が有効に機能する被写体が存在するか否かを判定する。この被写体有無の判定処理の詳細については、図２４を用いて後述する。

ステップＳ２３０３において、システム制御部５０は、ステップＳ２３０２においてＬＥＤ補助光が有効に機能する被写体が存在すると判定されたか否かを判定する。ＬＥＤ補助光が有効に機能する被写体が存在する場合は、ステップＳ２３０４進む。一方、ＬＥＤ補助光が有効に機能する被写体が存在しない場合は、ステップＳ２３０５に進む。

ステップＳ２３０４において、システム制御部５０は、図１６のステップＳ１６１５と同様のＬＥＤ補助光焦点調節処理を行う。ステップＳ２３０５において、システム制御部５０は、閃光焦点調節処理を行う。閃光焦点調節処理の詳細については、図１６を用いて後述する。ステップＳ２３０４またはステップＳ２３０５の処理を終えたシステム制御部５０は、ＬＥＤ／閃光焦点調節処理を終了する。

次に、図２４のフローチャートを用いて、図２３のステップＳ２３０２の被写体有無判定処理について説明する。図２４は、被写体有無判定処理を示すフローチャートである。ステップＳ２４０１において、システム制御部５０は、焦点検出領域の測光情報を取得する。ここでは、図１０のステップＳ１００６で設定された焦点検出領域に対応する測光値を取得する。

ステップＳ２４０２において、システム制御部５０は、ＬＥＤランプ４９を制御してＬＥＤ補助光を発光させる。ステップＳ２４０３において、システム制御部５０は、再度、焦点検出領域に対応する測光値を取得する。ステップＳ２４０４において、システム制御部５０は、ＬＥＤランプ４９を消灯し、ＬＥＤ補助光の発光を停止する。

ステップＳ２４０５において、システム制御部５０は、ＬＥＤ補助光の発光前後の測光値の変化量を算出する。具体的には、システム制御部５０は、ステップＳ２４０１で得られたＬＥＤ補助光の発光前の測光値から、ステップＳ２４０３で得られたＬＥＤ発光中の測光値への変化量を算出する。ＬＥＤ補助光により照明可能な被写体が存在する場合には、ＬＥＤ補助光の発光前後で測光値に変化が生ずる。そのため、測光値の変化量を算出することにより、ＬＥＤ補助光が有効に機能する被写体が存在するか否かを判定する。例えば、測光値の変化量が所定の値以上である場合、ＬＥＤ補助光が有効に機能する被写体が存在すると判定する。

また、被写体有無判定の方法として、ＬＥＤ補助光の発光中に焦点検出を行い、焦点検出が可能であれば被写体が存在すると判定する方法も考えられる。しかし、この方法では、被写体に対して大きくデフォーカスしている場合に焦点検出が不可能になり、被写体が存在するにもかかわらず存在しないと判定するおそれがある。したがって、ＬＥＤ補助光の発光前後の測光情報の変化量を用いて被写体有無判定を行うことにより、デフォーカス状態によらず適切な被写体有無判定を行うことができる。

次に、図２５および図２６を用いて、図２３のステップＳ２３０５の閃光焦点調節処理について説明する。図２５は、閃光補助光の発光時における典型的なフォーカスレンズ３１１の駆動方法と閃光補助光の発光タイミングを説明する図である。横軸は時間を、縦軸はフォーカス（レンズ）位置を示す。図２５は、焦点調節の開始位置から合焦位置までフォーカスレンズ３１１を駆動した際のフォーカス位置の変化を示している。黒丸は、閃光補助光を発光したタイミングを示している。

システム制御部５０は、焦点調節の開始位置にフォーカスレンズ３１１を停止させた状態で、閃光補助光を発光させる（Ｆ１）。これは、焦点調節を開始するに当たってデフォーカス量を得るための発光である。フォーカスレンズ３１１を停止させた状態で行う閃光補助光の発光（間欠発光）を、以下の説明においてステップ閃光発光という。また、ステップ閃光発光を伴う焦点検出は、第１の焦点検出処理に相当する。また、本実施形態では、ステップ閃光発光において２回の発光を行う例を説明したが、発光回数はこれに限られるものではない。

Ｆ１の閃光補助光の発光によってデフォーカス量が検出されると、システム制御部５０は、フォーカスレンズ駆動を開始する（時刻Ｔ１）。フォーカスレンズ駆動の開始後、フォーカスレンズ３１１が合焦位置が近づいてきた場合に、システム制御部５０はフォーカスレンズ駆動を継続したまま閃光補助光を発光させる（Ｍ１）。フォーカスレンズ駆動中、常に閃光補助光を発光させると、必要な電力が大きくなる。このため、システム制御部５０は、フォーカスレンズ駆動前に得られたデフォーカス量に基づいて、合焦位置に近い位置にフォーカスレンズ３１１が到達することに応じて発光を開始する。フォーカスレンズ駆動中に行う閃光補助光の発光（間欠発光）を、以下の説明では、レンズ駆動中閃光発光という。また、レンズ駆動中閃光発光を伴って行われる焦点検出は、第２の焦点検出処理に相当する。

システム制御部５０は、レンズ駆動中閃光発光を伴う焦点検出により得られたデフォーカス量に基づく合焦位置にてフォーカスレンズ３１１を停止させる。その後、システム制御部５０は、再度ステップ閃光発光を行い（Ｆ２）、所定の合焦範囲内に停止しているか否かを確認する。以上により、閃光焦点調節処理が終了する。

図２６は、閃光焦点調節処理を示すフローチャートである。ステップＳ２６０１において、システム制御部５０は、ステップ閃光発光の回数のカウント値を初期化（０に設定）する。本実施例では、ステップ閃光発光の回数に上限を設け、不要に電力を消費することを防ぐ。

ステップＳ２６０２では、システム制御部５０は、ステップ閃光発光を行いながら焦点検出（第１の焦点検出処理）を行う。さらに、システム制御部５０は、焦点検出を行いながら、レンズ駆動中閃光発光の光量を設定するための調光を並行して行う。また、システム制御部５０は、後に焦点検出を行う焦点検出領域を選択する。ステップＳ２６０２の詳細については、図２７を用いて後述する。

ステップＳ２６０３では、システム制御部５０は、ステップＳ２６０２で信頼性が高い焦点検出結果が得られたか否かを判定する。システム制御部５０は、焦点検出結果が所定の信頼性より高いか否か判定することで、信頼性が高い焦点検出結果が得られたか否かを判定する。信頼性が高い焦点検出結果が得られなかった場合は、ステップＳ２６０４に進む。一方、信頼性が高い焦点検出結果が得られた場合は、ステップＳ２６０６に進む。

ステップＳ２６０４において、システム制御部５０は、所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えたか否かを判定する。本実施形態では、閃光発光を行うために、フォーカスレンズ３１１をフォーカス初期位置に移動させる。そして、システム制御部５０は、フォーカス初期位置での焦点検出が不可能な場合に、無限遠側にフォーカスレンズ３１１を移動させて停止し、再びステップ閃光発光を伴う焦点検出を行う。ステップ閃光発光を伴う焦点検出の試行回数は任意であり、例えば、デフォーカス量検出可能範囲ごとにステップ閃光発光を行ってもよい。この場合は、ステップ閃光発光回数は２回より多くなる。また、フォーカス初期位置で発光した後、フォーカスレンズ３１１の無限端位置からデフォーカス量検出可能範囲分だけ至近側でステップ閃光発光を行ってもよい。この場合は、焦点検出が不可能な場合のステップ閃光発光回数は最大２回となり、より高速に焦点調節の可否を判断することができる。

ステップＳ２６０４において所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えた場合は、ステップＳ２６２０に進む。ステップＳ２６２０において、システム制御部５０は、焦点調節が不可能と判定して、ステップＳ２１１０と同様に非合焦判定表示を行う。一方、所定の全フォーカス位置でステップ閃光発光を伴う焦点検出を終えていない場合は、ステップＳ２６０５に進む。ステップＳ２６０５において、システム制御部５０は、次のフォーカス位置にフォーカスレンズ駆動を行う。そして、ステップＳ２６０２に戻る。

ステップＳ２６０６において、システム制御部５０は、レンズ駆動中閃光発光の条件を設定する。レンズ駆動中閃光発光の条件とは、発光を開始するデフォーカス量やフォーカス位置（発光開始フォーカス位置）、さらにフォーカスレンズ３１１の駆動速度等である。ステップＳ２６０６の詳細については、図２８を用いて後述する。

ステップＳ２６０７において、システム制御部５０は、ステップＳ２６０６で設定した条件に従ってフォーカスレンズ３１１の駆動を開始する。ステップＳ２６０８において、システム制御部５０は、フォーカスレンズ３１１がステップＳ２６０６で設定した発光開始フォーカス位置を通過したか否かを判定する。フォーカスレンズ３１１が発光開始フォーカス位置をまだ通過していない場合は、システム制御部５０は、フォーカスレンズ駆動を継続した状態でステップＳ２６０８の判定を繰り返す。一方、フォーカスレンズ３１１が発光開始フォーカス位置を通過した場合には、ステップＳ２６０９に進む。

ステップＳ２６０９において、システム制御部５０は、レンズ駆動中閃光発光を伴う焦点検出（第２の焦点検出処理）を行う。この際、システム制御部５０は、画像データ生成のフレームレートに同期して閃光発光を行わせ、ステップＳ２６０２で選択された焦点検出領域から得られる一対の位相差像信号を用いた焦点検出を繰り返し行う。ステップＳ２６０９の詳細については、図２９を用いて後述する。

ステップＳ２６１０において、システム制御部５０は、レンズ駆動中閃光発光の回数が所定回数以下か否かを判定する。レンズ駆動中閃光発光の回数が所定回数より多くなった場合は、ステップＳ２６２０に進み、システム制御部５０は、焦点検出を中断して、非合焦判定表示を行う。発光の回数が所定回数より多くなった場合に焦点検出を中断するのは、フォーカスレンズ３１１の駆動の開始前に検出した被写体を、被写体の移動やユーザのフレーミング等によって見失ったとみなし、不要な発光を防ぐためである。一方、レンズ駆動中閃光発光の回数が所定回数以下である場合は、ステップＳ２６１１に進む。

ステップＳ２６１１において、システム制御部５０は、得られた検出デフォーカス量が所定デフォーカス量以下であるか否かを判定する。検出デフォーカス量が所定デフォーカス量より大きい場合は、ステップＳ２６０９に戻って、処理を継続する。一方、検出デフォーカス量が所定デフォーカス量以下である場合は、ステップＳ２６１２に進む。ステップＳ２６１２において、システム制御部５０は、フォーカスレンズ３１１の駆動を停止させる。

ステップＳ２６１３において、システム制御部５０は、ステップＳ２６０２と同様に、ステップ閃光発光を行いながら（すなわち、フォーカスレンズ３１１の駆動を停止させた状態で間欠発光を行いながら）焦点検出と調光を行う。ステップＳ２６１３において合焦位置の近傍で、再度、調光を行うのは、デフォーカス状態の変化によって飽和した一対の位相差像信号を用いて焦点検出を行うことを回避するためである。特に被写体が細い線を含むような場合に、ボケ状態から合焦状態になるにしたがってボケが小さくなり、一対の位相差像信号の輝度レベルが上がって飽和することがある。飽和した一対の位相差像信号は焦点検出誤差を招くので、合焦位置近傍での調光を行う。

ステップＳ２６１４において、システム制御部５０は、焦点検出の結果、合焦しているか否か判定する。合焦判定では、システム制御部５０は、検出デフォーカス量が合焦判定用閾値より小さいか否かを判定する。検出デフォーカス量が合焦判定用閾値より小さい場合は、合焦していると判定し、ステップＳ２５１５に進む。ステップＳ２６１５において、システム制御部５０は、ステップＳ１６０５と同様に合焦表示を行って本処理を終了する。検出デフォーカス量が合焦判定用閾値以上である場合は、非合焦であると判定し、ステップＳ２６１６に進む。

ステップＳ２６１６において、システム制御部５０は、検出デフォーカス量に基づいてフォーカスレンズ３１１の駆動を行う。駆動が終了し、フォーカスレンズ３１１が停止すると、ステップＳ２６１７に進む。
ステップＳ２６１７において、システム制御部５０は、ステップ閃光発光の回数が所定回数以下であるか否かを判定する。ステップ閃光発光はフォーカスレンズ駆動の開始前にも行っているため、ここではフォーカスレンズ駆動の開始前からの合計回数で判定する。ステップ閃光発光回数が所定回数を超えた場合には、システム制御部５０はステップＳ２６２０に進む。ステップＳ２６２０において、システム制御部５０は、焦点検出を中断して非合焦判定表示を行う。一方、ステップ閃光発光回数が所定回数以下である場合には、ステップＳ２６１８に進む。

ステップＳ２６１８において、システム制御部５０は、事前の調光結果に基づいて発光量を設定した閃光補助光の発光と焦点検出を行う。なお、ステップＳ２６１８では、ステップＳ２６１３からのデフォーカス状態の変化が小さいことが想定されるため、システム制御部５０は改めて調光を行わずに、ステップＳ２６１３で得られた調光結果を用いて焦点検出を行う。これにより、不要な発光を行わずに精度の高い焦点検出を実現することができる。ただし、ステップＳ２６１３で得られたデフォーカス量が大きく、ステップＳ２６１８と大きくデフォーカス状態が異なる場合は、ステップＳ２６１８において改めてステップＳ２６１３と同様の処理を行ってもよい。ステップＳ２６１９において、システム制御部５０は、ステップ閃光発光回数をインクリメントしてステップＳ２６１４に戻る。

次に、図２７を用いて、図２６のステップＳ２６０２で行われる閃光発光を伴う焦点検出と調光処理について説明する。図２７は、閃光発光を伴う焦点検出と調光処理を示すフローチャートである。ステップＳ２７０１において、システム制御部５０は、閃光発光を行わない状態での焦点検出結果を取得する。具体的には、システム制御部５０は、閃光発光を行わない状態で事前に設定された１つ以上の焦点検出領域で焦点検出および焦点検出結果の信頼性判定を行い、信頼性が高い焦点検出結果を記憶する。

ステップＳ２７０２において、システム制御部５０は、第１の発光量での閃光発光による焦点検出を行い、焦点検出を取得する。具体的には、システム制御部５０は、第１の発光量で閃光発光を行わせ、これに同期して撮像素子１４から取得した一対の位相差像信号を用いて焦点検出および焦点検出結果の信頼性判定を行う。そして、システム制御部５０は、信頼性が高い焦点検出結果を選択して記憶する。

ステップＳ２７０３では、システム制御部５０は、第２の発光量での閃光発光による焦点検出を行い、焦点検出を取得する。第２の発光量は、第１の発光量より大きい発光量である。システム制御部５０は、第２の発光量で閃光発光を行わせ、これに同期して撮像素子１４から取得した一対の位相差像信号を用いて焦点検出および焦点検出結果の信頼性判定を行う。そして、システム制御部５０は、信頼性が高い焦点検出結果を選択して記憶する。

ステップＳ２７０４において、システム制御部５０は、ステップＳ２７０１～ステップＳ２７０３で得られた焦点検出結果を用いて、複数の焦点検出領域から焦点調節に用いる焦点検出領域を設定する。具体的には、例えば、最も至近側の被写体の存在を示す焦点検出領域を焦点調節に用いる焦点検出領域として設定する。これは、ユーザが撮像を意図する主被写体は近距離側に存在する可能性が高いためである。ただし、焦点調節に用いる焦点検出領域の選択方法はこれに限らない。例えば、閃光発光量が互いに異なる複数回の焦点検出結果に対して平均化処理を行い、平均化された焦点検出結果を用いて焦点調節に用いる焦点検出領域を設定してもよい。なお、一般に、一対の位相差像信号のコントラストが高い方がデフォーカス量の検出精度が高いが、前述したように一対の位相差像信号が飽和している場合はその限りではない。このため、ステップＳ２７０２およびステップＳ２７０３で得られた一対の位相差像信号の飽和を検出して、飽和した信号から得られた焦点検出結果は用いないようにしてもよい。

ステップＳ２７０５において、システム制御部５０は、調光処理を行い、調光結果を取得する。なお、ステップＳ２７０４で設定した焦点検出領域がステップＳ２７０１で選択した焦点検出結果に対応する焦点検出領域である場合には、システム制御部５０は調光処理を行わない。そして、以後の焦点検出の際には、システム制御部５０はＡＦ補助光を発光させずに焦点検出を行う。一方、ステップＳ２７０４で選択した焦点検出領域が、ステップＳ２７０２もしくはステップＳ２７０３で選択した焦点検出結果に対応する焦点検出領域である場合には、システム制御部５０は調光処理を行う。

さらにシステム制御部５０は、選択した焦点検出領域での閃光発光を行わない状態における測光情報と、選択した焦点検出結果が得られた閃光発光の発光量（第１または第２の発光量）に対応する、選択した焦点検出領域の測光情報とを取得する。そして、これら２つの測光情報の差分から焦点検出を行うのに必要十分な発光量を算出する。

閃光発光を行わない状態における測光値をＢＶ＿ｎとし、閃光発光時の測光値をＢＶ＿ａｆとし、焦点検出を行うのに必要十分な目標測光値をＢＶ＿Ｔとする。この場合、基準となる発光量、すなわち選択した焦点検出結果が得られた閃光発光量に対するゲインＧは、下記の式（９）で算出される。

Ｇ＝（ＢＶ＿Ｔ‐ＢＶ＿ｎ）/（ＢＶ＿ａｆ‐ＢＶ＿ｎ） ・・・（９）

式（９）では、測光値がリニアスケールの場合を示しているが、測光情報は対数スケールである場合も多い。この場合、リニアスケールと対数スケールとの間の変換を行ってゲインＧを算出すればよい。システム制御部５０は、得られたゲインＧと基準となる発光量とから、以後の閃光補助光の発光量を設定する。これにより、適切な発光量を設定することができ、不要な電力消費を抑えたり、一対の位相差像信号が飽和したりすることによる焦点検出精度の低下を抑制したりすることができる。目標測光値ＢＶ＿Ｔは、Ｆ値ごとや撮像素子のＩＳＯ感度、撮像レンズの周辺光量落ち情報を用いて像高ごとに変更してもよい。

ステップＳ２７０６において、システム制御部５０は、ステップ閃光発光回数をインクリメントして、図１０のステップＳ２６０３に進む。

次に、図２８を用いて、図２６のステップＳ２６０６で行われるレンズ駆動中閃光発光の条件設定処理について説明する。図２８は、レンズ駆動中閃光発光の条件設定処理を示すフローチャートである。ステップＳ２８０１において、システム制御部５０は、フォーカスレンズ駆動中に閃光発光を開始するデフォーカス量を設定する。図２５を用いて説明したように、消費電力を低減するために、システム制御部５０は、フォーカスレンズ３１１が合焦位置に近づいてから閃光発光を開始する。その際に、検出可能デフォーカス量の情報を用いる。一対の位相差像信号は、デフォーカス量が大きくなると、ボケによって形状の類似度が低下して焦点検出誤差が発生する。このため、検出可能デフォーカス量の範囲内であっても、デフォーカス量が小さい状態で得た焦点検出結果の方が高精度である。

本実施形態では、検出可能デフォーカス量に対して係数α（例えば、０．５）を乗じた値を、閃光発光を開始するデフォーカス量を示す発光開始デフォーカス量（第１の所定デフォーカス量）として設定する。この際、システム制御部５０は、焦点調節後の画像記録用撮像時の発光量を確保するため、レンズ駆動中閃光発光の開始前からの閃光発光の発光回数が多いほど発光開始デフォーカス量を小さくする。発光開始デフォーカス量は、現在のフォーカス位置情報と合わせて、発光開始フォーカス位置に変換される。

ステップＳ２８０２において、システム制御部５０は、フォーカスレンズ駆動速度（移動速度）を設定する。具体的には、システム制御部５０は、ステップＳ２８０１で設定した発光開始デフォーカス量の範囲で所定回数の閃光発光を行うためのフォーカスレンズ駆動速度を設定する。例えば、一対の位相差像信号のサンプリングレートが６０ｆｐｓで、発光開始デフォーカス量Ｄ（ｍｍ）の範囲内で５回の閃光発光を行うためには、フォーカスレンズ駆動速度をＤ/５×６０（ｍｍ/ｓ）に設定する。この方法により、発光開始デフォーカス量と位相差像信号のサンプリングレートに応じて適切にフォーカスレンズ駆動速度を設定することができる。

ステップＳ２８０３において、システム制御部５０は、事前のステップ閃光発光での調光結果を用いて、レンズ駆動中閃光発光における発光量の調整（設定）または撮像信号に対するゲインの設定を行う。発光量調整とゲイン設定はいずれも一対の位相差像信号に必要なコントラストを発生させるために有効であるが、被写体としての人や動物等の閃光に対する眩しさ、消費電力、一対の位相差像信号のＳ/Ｎを考慮して、適切に発光量調整またはゲイン設定を行う。例えば、一対の位相差像信号により大きいコントラストを生じさせるために、被写体が人の場合はゲイン設定で対応し、人ではない場合は発光量で対応する。

具体的には、システム制御部５０は、フラッシュ４８を互いに異なる発光量でステップ閃光発光させながら複数回の焦点検出を行わせるか、撮像素子から得られる信号に対して互いに異なる複数のゲインを設定することにより複数の焦点検出結果を得る。そして、その後の焦点検出における発光量またはゲインを設定する。また、複数の焦点検出結果に加えて、フラッシュ４８を発光させずに得られた焦点検出結果を用いて発光量またはゲインを設定してもよい。ステップＳ２８０３を終えたシステム制御部５０は、本処理を終了する。

次に、図２９を用いて、図２６のステップＳ２６０９で行われるレンズ駆動中閃光発光および焦点検出について説明する。図２９は、レンズ駆動中閃光発光および焦点検出処理を示すフローチャートである。ステップＳ２９０１において、システム制御部５０は、撮像素子１４を駆動するフレームレートを高速フレームレートに設定する。例えば、低速フレームレートである３０ｆｐｓから高速フレームレートの６０ｆｐｓにする。閃光発光は、発光時間が非常に短いため、撮像素子１４の露光時間を長くする必要がない。撮像素子１４の全画素行が露光されているタイミングに同期して閃光発光を行えばよい。これにより、閃光発光の照射範囲が十分に広ければ、撮像素子１４の全画素領域から得られる一対の位相差像信号のコントラストを確保することができる。

一方、ＡＦ補助光を使用しない場合やＬＥＤ補助光を使用する場合には、撮像素子１４の露光時間が長いほど一対の位相差像信号のコントラストを確保することができる。このため、本実施形態では、ＡＦ補助光を使用しない場合やＬＥＤ補助光を使用する場合のフレームレートに対して、閃光補助光を使用する場合のフレームレートを高速に設定する。これにより、閃光補助光を使用する場合の焦点調節の高速化を実現することができる。

また本実施形態では、フレームレートの高速化をレンズ駆動中閃光発光時のみ行う。すなわち、レンズ駆動中閃光発光時には高速フレームレートを用い、ステップ閃光発光時には低速フレームレートを用いる。ステップ閃光発光時の焦点検出は、上述したように閃光発光を行わない場合の焦点検出結果も用いる。このため、ステップ閃光発光時にフレームレートを高速化すると、閃光発光の前後でフレームレートを変更する必要が生じて３回の焦点検出間のタイムラグが拡大してしまう。本実施形態では、閃光発光を使用しない場合と第１の発光量および第２の発光量での閃光発光を使用する場合の焦点検出結果を比較して選択するため、なるべく同じ条件で焦点検出を行うことが望ましい。このため、本実施形態では、フォーカスレンズ駆動中の閃光発光時のみフレームレートを高速化する。ただし、フレームレートの切り替えに必要な時間が短い場合にはこれに限られず、閃光発光を使用しない場合と閃光発光を使用する場合とで適宜フレームレートを切り替えて、ステップ閃光発光を伴う焦点検出を行うようにしてもよい。

また、レンズ駆動中閃光発光時には、信頼性が高い焦点検出結果が得られていることが前提である。得られたデフォーカス量から算出されるフォーカスレンズ駆動量が小さいと、焦点調節の高速化の効果が低いため、フレームレートの高速化は省略してもよい。また、レンズ駆動中閃光発光時に焦点検出領域が絞り込まれておらず、閃光発光を使用する場合と閃光発光を使用しない場合の両方で信頼性が高い焦点検出結果が得られる場合には、フレームレートを高速化しなくてもよい。これにより、閃光補助光が到達しない遠距離被写体と閃光補助光が到達する近距離被写体とが混在するような撮像シーンでも、適切に焦点調節を行うことができる。

ステップＳ２９０２において、システム制御部５０は、閃光発光および焦点検出を行う。ここでは、事前に設定された発光量での閃光発光を伴う焦点検出により得られた一対の位相差像信号を用いてデフォーカス量を算出する。

ステップＳ２９０３において、システム制御部５０は、算出したデフォーカス量に基づいてフォーカスレンズ駆動量を更新する。レンズ駆動中の閃光発光および焦点検出では、検出されるデフォーカス量が小さいほど検出誤差が小さい。このため、フォーカスレンズ駆動量、言い換えればフォーカスレンズ駆動の目標位置を更新することにより、高精度な焦点調節を行うことができる。ステップＳ２９０３の処理が終了すると、システム制御部５０は、図２６のステップＳ２６１０に進む。

本実施形態では、フォーカスレンズを停止させた状態で間欠発光する閃光補助光を用いて行う焦点検出処理と、フォーカスレンズ駆動を行いながら上記閃光補助光を用いて行う焦点検出処理とを、信頼性が高い焦点検出結果が得られているか否かによって切り替える。これにより、信頼性が高い焦点検出結果が得られていない場合での不要な閃光補助光の発光を抑制しつつ、高速な焦点調節を実現することができる。

本実施形態では、ステップＳ２６０９で取得する焦点検出結果を信頼して焦点調節を行う場合について説明した。しかし、フォーカスレンズ駆動中のあるフォーカス位置（第１の位置）での検出デフォーカス量と、推定デフォーカス量との乖離から信頼性を判定してもよい。推定デフォーカス量は、ステップ閃光発光を伴う焦点検出の結果を用いて、焦点検出をしたフォーカスレンズ位置から第１の位置にフォーカスレンズ駆動した状態に対して推定（算出）される。２つのデフォーカス量の乖離が大きい場合には、フォーカスレンズ駆動の開始前と開始後とで、被写体が大きく移動したり、カメラ１００の向きが大きく変化したりした可能性が考えられる。この場合には、フォーカスレンズ駆動および焦点検出を中断してもよい。これにより、信頼性が保証されていない焦点検出結果を用いた焦点調節を早期に完了させることができる。ユーザは、必要に応じて、再度、焦点調節処理を開始させることで、撮像を意図する被写体に対する焦点調節に要する時間を短縮することができる。

また、ステップＳ２６１０で説明したフォーカスレンズ駆動中の閃光発光の許容回数は、事前のステップ閃光発光回数に応じて可変としてもよい。ステップ閃光発光回数は、消費電力を削減したり焦点調節後の画像記録用撮像時の発光量を確保したりする観点から、フォーカスレンズ駆動中の閃光発光回数を適切に設定すればよい。また、閃光発光回数を多くする場合には、発光開始デフォーカス量を大きくすることにより、フォーカスレンズ駆動中の被写体移動の影響を低減して、より確実に焦点検出を行うことができる。

本実施形態では、予め互いに異なるように決められた発光量で閃光発光を行い、そこで得られた一対の位相差像信号を用いて焦点検出領域の選択やデフォーカス量の算出を行う。また、選択した焦点検出結果が得られた発光量を基準として、それ以後の発光量を調整する調光処理を行う。これにより、焦点検出を行う前に、調光処理を行う必要がないため、迅速な焦点調節を行うことができる。また、ステップ閃光発光時に調光を行うことにより、１回の閃光発光で信頼性が高い焦点検出結果を得ることができる。このため、レンズ駆動中閃光発光やこれ以後のステップ閃光発光の回数を低減することが可能である。

また、本実施形態では、位相差像信号のコントラストの調整を、主として発光量を調整することにより実現する。しかし、これに限られるものではなく、撮像素子１４から読み出す撮像信号のゲイン調整により実現してもよい。発光量による調整では、被写体の反射率や距離等により、より近くて反射率が高い被写体のコントラストの調整に効果が大きく、位相差像信号のＳ/Ｎ比が改善される。一方、ゲイン調整によるコントラストの調整では、焦点検出信号のＳ／Ｎ比は改善されないが、被写体の距離や反射率によらず、より容易にコントラストの調整を行うことができる。

また、本実施形態では、レンズ駆動中閃光発光を行う前に焦点検出領域が決定している場合について説明した。ただし、上述した自動選択モード等、信頼性が高い焦点検出結果が得られたものの焦点検出領域を絞り込まないモードでは、個々の焦点検出領域に対応した発光量の調整は行えない。このため、第１の発光量、第２の発光量および発光無しのいずれかから選択すればよい。例えば、より多くの信頼性が高い焦点検出結果やより近距離の近い被写体の存在を示す焦点検出結果に対応する発光量を選択すればよい。

以上のように、本実施形態によれば、レンズ関連情報を用いて、像高に応じた発光手段の制御を行う撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１４ 撮像素子
４２ ＡＦ部
４８ フラッシュ
４９ ＬＥＤランプ
５０ システム制御部
１０５ 焦点検出部
３１１ フォーカスレンズ

Claims (9)

1. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、
   焦点検出を行う際に被写体を照明する発光手段の発光を制御する制御手段と、を備え、
   前記焦点検出手段は、前記複数の像信号から像ずれ量を算出し、前記像ずれ量と変換係数からデフォーカス量を算出し、
   前記制御手段は、前記焦点検出領域の像高に応じた前記変換係数に関する情報に基づいて、前記発光手段の発光を制御する
   ことを特徴とする撮像装置。
2. 前記変換係数は、前記撮像光学系の絞りに応じて決定されることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、撮像光学系によるケラレに関する情報に基づいて、前記発光手段の発光を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、周辺光量落ち特性に関する情報に基づいて、前記発光手段の発光を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記撮像光学系の開口情報に基づいて、前記発光手段の発光を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、
   焦点検出を行う際に被写体を照明する発光手段の発光を制御する制御手段と、
   測光を行う測光手段を備え、
   前記制御手段は、前記焦点検出領域の像高に応じたレンズ関連情報に基づいて、前記発光手段の発光を制御し、
   前記制御手段は、前記測光手段による測光により取得した前記焦点検出領域の測光値が、前記レンズ関連情報に応じて設定した発光閾値より小さい場合、前記発光手段を発光させることを特徴とする撮像装置。
7. 前記発光手段は、閃光発光を行う第１の光源と、常時発光を行う第２の光源とを含むことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置の制御方法であって、
   撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から焦点検出領域におけるデフォーカス量を検出する焦点検出工程と、
   焦点検出を行う際に被写体を照明する発光手段の発光を制御する制御工程と、を有し、
   前記焦点検出工程においては、前記複数の像信号から像ずれ量を算出し、前記像ずれ量と変換係数からデフォーカス量を算出し、
   前記制御工程においては、前記焦点検出領域の像高に応じた前記変換係数に関する情報に基づいて、前記発光手段の発光を制御する
   ことを特徴とする制御方法。
9. 撮像装置の制御方法であって、
   撮像光学系の互いに異なる瞳領域を通過した光束に対応する複数の像信号から焦点検出領域におけるデフォーカス量を検出する焦点検出工程と、
   焦点検出を行う際に被写体を照明する発光手段の発光を制御する制御工程と、
   測光を行う測光工程と、を有し、
   前記制御工程においては、前記焦点検出領域の像高に応じたレンズ関連情報に基づいて、前記発光手段の発光を制御し、
   前記制御工程においては、前記測光工程による測光により取得された前記焦点検出領域の測光値が、前記レンズ関連情報に応じて設定した発光閾値より小さい場合、前記発光手段を発光させる
   ことを特徴とする制御方法。

Images