JP7019442B2

JP7019442B2 - 撮像装置およびその制御方法

Info

Publication number: JP7019442B2
Application number: JP2018021606A
Authority: JP
Inventors: 優稲垣
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-09
Filing date: 2018-02-09
Publication date: 2022-02-15
Anticipated expiration: 2038-02-09
Also published as: JP2019139043A

Description

本発明は、自動焦点検出を行う撮像装置およびその制御方法に関する。

撮像装置の焦点検出方法には、位相差検出方式やコントラスト検出方式がある。また、撮像素子の画素部が撮像光学系の異なる瞳面の光を受光し、撮像と同時に位相差検出方式の焦点検出を行う技術がある。

特許文献１に開示の装置は、１つのマイクロレンズで集光される光束を、分割されたフォトダイオード（ＰＤ）で光電変換することにより、各ＰＤが撮像レンズの異なる瞳面の光を受光する。各ＰＤの出力の比較により、焦点検出が行われる。特許文献２には、撮像部で撮像された均一な輝度を有する２つの画像をメモリに保存し、補正値の算出の際に２つの画像を読み出して、ゲイン補正値およびオフセット補正値を算出する撮像装置が開示されている。ゲイン補正値およびオフセット補正値を用いることにより、画素ごとの固定パターンノイズを取り除くことができる。

特開２００１－０８３４０７号公報特開２０１１－４４８１３号公報

しかしながら、特許文献１にはノイズを考慮した焦点検出について開示がなく、焦点検出の際の相関演算結果には、画素ごとのノイズに起因するばらつきが発生し得る。そのため、ノイズが多い場合、高精度な焦点検出を行うことが難しい。また特許文献２には、撮像素子の全面に関する補正値を記録する必要があるので、撮像素子全面分に対応するメモリ容量が必要である。また、あらかじめ記憶された補正値を用いて補正が行われるため、ランダムノイズを補正することができない。
本発明の目的は、ノイズの影響を低減した、より高精度な焦点検出が可能な撮像装置を提供することである。

本発明の撮像装置は、撮像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部を有する画素部が配置された撮像素子と、前記複数の光電変換部のうちのいずれかの光電変換部により取得される第１信号と、前記複数の光電変換部による信号から前記第１信号を減算して得られる第２信号を取得する取得手段と、前記第１信号に対する第１基準信号と、前記第２信号に対する第２基準信号を算出し、前記第１信号と前記第１基準信号から第１補正信号を算出するとともに、前記第２信号と前記第２基準信号から第２補正信号を算出する第１の算出手段と、前記第１補正信号または前記第２基準信号により前記第２信号を補正し、前記第２補正信号または前記第１基準信号により前記第１信号を補正し、補正された前記第１信号と前記第２信号との相関値を算出して像ずれ量またはデフォーカス量を算出する第２の算出手段と、を備える。

本発明によれば、ノイズの影響を低減した、より高精度な焦点検出が可能な撮像装置を提供することができる。

本発明の実施形態における撮像装置のブロック図である。撮像素子の画素配列図および読み出し回路の構成図である。位相差検出方式の焦点検出に関する説明図である。位相差検出方式の焦点検出信号の説明図である。焦点検出信号を用いた相関演算の説明図である。本発明の実施形態における焦点検出のフローチャートである。Ａ像とＢ像のランダムノイズと相関値の説明図である。Ａ像とＢ像の逆相関ノイズと相関値の説明図である。信号補正処理のフローチャートである。第１実施形態における信号補正の説明図である。図１０に続く信号補正の説明図である。信号補正の例を示す詳細な説明図である。信号補正の別例を示す詳細な説明図である。第２実施形態における信号補正の説明図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。各実施形態では、レンズ装置を撮像装置の本体部に装着可能なカメラシステムを説明する。ただし、これに限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体部とが一体的に構成された撮像装置にも本発明を適用可能である。また本実施形態はデジタルスチルカメラに限定されることなく、ビデオカメラ等の撮像装置にも適用可能である。

［第１実施形態］
まず、図１を参照して、本実施形態の撮像装置の構成について説明する。図１は、撮像装置１０としてレンズ交換可能な一眼レフタイプのデジタルカメラを例示するブロック図である。撮像装置１０は、交換レンズであるレンズユニット１００と、カメラ本体部１２０とを備える。レンズユニット１００は、図１に点線で示すマウントＭを介して、カメラ本体部１２０に対し、着脱可能に取り付けられる。

レンズユニット１００は、撮像光学系を構成する第１レンズ群１０１、絞り１０２、第２レンズ群１０３、および、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４と、駆動および制御系とを有する。レンズユニット１００は被写体像を形成する撮影レンズ装置である。

第１レンズ群１０１は、レンズユニット１００の前端部（被写体側の端部）に配置され、光軸方向（ＯＡ）に沿って進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとして機能する。絞り１０２および第２レンズ群１０３は、光軸方向（ＯＡ）に沿って一体的に移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向（ＯＡ）に沿って移動可能である。フォーカスレンズ１０４の位置に応じてレンズユニット１００の焦点調節制御、つまりフォーカス制御が行われ、被写体に焦点が合うときの合焦距離が変化する。

ズームアクチュエータ１１１は、ズーム駆動回路１１４により駆動され、第１レンズ群１０１と第２レンズ群１０３を光軸方向に移動させる。これにより、レンズユニット１００の画角を変更するズーム動作が行われる。絞りシャッタアクチュエータ１１２は、絞りシャッタ駆動回路１１５により駆動され、絞り１０２の開口径の変更や開閉動作を行う。フォーカスアクチュエータ１１３は、フォーカス駆動回路１１６により駆動され、フォーカスレンズ１０４を光軸方向に移動させる。これにより、レンズユニット１００のフォーカス制御が行われる。フォーカス駆動回路１１６は、フォーカスレンズ１０４の現在位置（レンズ位置）を検出する位置検出機能を有する。

レンズＭＰＵ（Micro Processing Unit）１１７は、レンズユニット１００に係る全ての演算および制御を行うレンズ制御部である。レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の位置検出情報を取得し、カメラＭＰＵ１２５からの要求に応じてレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向における位置、撮像光学系の可動光学部材が移動していない状態での射出瞳の光軸方向における位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向における位置および直径等の情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの制御指令にしたがってズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。

レンズメモリ１１８は、自動焦点調節（ＡＦ）制御に必要な光学情報を記憶している。カメラＭＰＵ１２５は、例えば内蔵の不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作制御を行う。

カメラ本体部１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、駆動および制御系を有する。第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、および、光学的ローパスフィルタ１２１は、撮像光学系を構成する。光学的ローパスフィルタ１２１は、撮像画像の偽色やモアレを軽減する光学素子である。

撮像素子１２２は撮像部を構成し、レンズユニット１００を介して形成された被写体像（光学像）を光電変換して、撮像信号および焦点検出信号を出力する。撮像素子１２２は、例えばＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサおよびその周辺回路で構成される。撮像素子１２２は瞳分割機能を有し、位相差検出方式の焦点検出（位相差ＡＦ）が可能な瞳分割画素を備える。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号をＡ／Ｄ（アナログ／デジタル）変換し、カメラＭＰＵ１２５と画像処理回路１２４に送信する。

画像処理回路１２４は、撮像素子１２２から出力される画像信号を取得して、γ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理等、デジタルカメラで行われる一般的な画像処理を行う。画像処理回路１２４は取得した画像信号に基づいて、位相差ＡＦ用のデータと、表示用、記録用、およびコントラストＡＦ（ＴＶＡＦ）用の各画像データを生成する。

カメラＭＰＵ１２５は、カメラシステム全体の演算および制御を行う制御中枢部である。カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示部１２６、操作部１２７、メモリ１２８、位相差ＡＦ部１２９、ＴＶＡＦ部１３０を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行し、また、レンズユニット１００に固有の光学情報の取得要求等を発行する。

カメラＭＰＵ１２５は、ＲＯＭ１２５ａ、ＲＡＭ１２５ｂ、ＥＥＰＲＯＭ１２５ｃを内蔵している。ＲＯＭ（Read-Only Memory）１２５ａは、カメラ本体部１２０の動作を制御するプログラムを記憶している。ＲＡＭ１２５ｂ（Random Access Memory）は変数値等のデータを記憶するメモリである。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）１２５ｃは各種のパラメータを記憶する。カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されているプログラムに基づいて焦点検出処理を実行する。焦点検出処理では、撮像光学系の異なる瞳部分領域をそれぞれ通過した光束により形成される光学像を光電変換した一対の像信号を用いて相関演算処理が実行される。

表示部１２６はＬＣＤ（液晶表示装置）等を備え、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作部１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備える。メモリ１２８は、例えば着脱可能なフラッシュメモリであり、撮影画像データ等を記録する。

位相差ＡＦ部１２９は撮像面位相差方式の焦点検出を行う。つまり位相差ＡＦ部１２９は、撮像素子１２２および画像処理回路１２４により得られる焦点検出用の像信号に基づいて、位相差方式で焦点検出処理を行う。具体的には、画像処理回路１２４は、撮像光学系の一対の瞳部分領域を通過する光から形成される一対の像データを焦点検出用データとして生成する。位相差ＡＦ部１２９は、一対の像データの像ずれ量に基づいて焦点ずれ量を検出する。本実施形態では、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく撮像面位相差ＡＦが行われる。位相差ＡＦ部１２９は、取得部１２９ａおよび算出部１２９ｂを有する。これらの動作については後述する。なお、取得部１２９ａまたは算出部１２９ｂについてはカメラＭＰＵ１２５に設けてもよい。

ＴＶＡＦ部１３０は、画像処理回路１２４により生成されるＴＶＡＦ用評価値に基づいて、コントラスト検出方式の焦点検出処理を行う。ＴＶＡＦ用評価値は画像データのコントラスト情報に基づく評価値である。コントラスト検出方式の焦点検出処理では、フォーカスレンズ１０４が移動して、評価値がピーク値となるフォーカスレンズ位置が合焦位置として検出される。

このように撮像装置１０は、撮像面位相差ＡＦとＴＶＡＦとを組み合わせて実行可能である。状況に応じて、撮像面位相差ＡＦとＴＶＡＦを選択的に使用し、または、両方法を組み合わせて使用することができる。位相差ＡＦ部１２９およびＴＶＡＦ部１３０は、各々の焦点検出結果のデータを用いて、フォーカスレンズ１０４の位置を制御するフォーカス制御手段を構成する。

次に図２を参照して、位相差ＡＦ部１２９の動作について説明する。図２（Ａ）は、本実施形態における撮像素子１２２の画素配列図である。横方向をＸ方向とし、縦方向をＹ方向と定義する。図２（Ａ）は、２次元ＣＭＯＳエリアセンサのＹ方向６行およびＸ方向８列の範囲を、レンズユニット１００側から観察した状態を示す。撮像素子１２２には、ベイヤー配列のカラーフィルタが設けられている。奇数行の画素部には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に配置され、偶数行の画素部には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に配置されている。画素部２１１において、オンチップマイクロレンズ２１１ｉを円形枠で示す。オンチップマイクロレンズ２１１ｉの内側に配置された複数の矩形枠は、第１光電変換部２１１ａと第２光電変換部２１１ｂを示す。

撮像素子１２２における全ての画素部２１１はＸ方向に２分割され、その一方の光電変換部（２１１ａまたは２１１ｂ）による光電変換信号、および、２つの光電変換信号の和は、独立して読み出し可能である。以下では、第１光電変換部２１１ａの出力に基づく像をＡ像といい、第２光電変換部２１１ｂの出力に基づく像をＢ像という。光電変換部２１１ａおよび２１１ｂの出力に基づく像をＡ＋Ｂ像という。

カメラＭＰＵ１２５は、Ａ＋Ｂ像に係る光電変換信号から、第１光電変換部２１１ａによる光電変換信号を減算し、Ｂ像に係る光電変換信号を取得する。つまり、第２光電変換部２１１ｂによる光電変換信号に基づくＢ像信号を得ることができる。カメラＭＰＵ１２５は上記一連の処理を行い、第１光電変換部によるＡ像信号を取得し、第２光電変換部によるＢ像信号を取得する。Ａ像信号およびＢ像信号から位相差ＡＦ用のデータを算出することができる。またＡ像信号およびＢ像信号は、３Ｄ（３－Dimensional）画像、つまり立体視画像を構成するための視差を有する画像（視差画像）の生成に用いることができる。この場合、画像生成部は視点の異なる複数の画像からなる視差画像のデータを生成する。また、２つの光電変換部の信号の和から得られるＡ＋Ｂ像のデータは、通常の撮像画像データとして用いることができる。

ここで、位相差ＡＦを行う場合の画素信号について説明する。本実施形態では、図２に示すマイクロレンズ２１１ｉと、２分割された光電変換部２１１ａ，２１１ｂによって、撮像光学系の射出光束を瞳分割する。光電変換部２１１ａ，２１１ｂは瞳分割画素を構成する。同一画素行に配置された所定範囲内の複数の画素部２１１において、第１光電変換部２１１ａの出力をつなぎ合わせて編成した像をＡＦ用Ａ像とする。同様に、第２光電変換部２１１ｂの出力をつなぎ合わせて編成した像をＡＦ用Ｂ像とする。

光電変換部２１１ａ，２１１ｂの出力としては、カラーフィルタの単位配列に含まれる、ベイヤー配列の緑、赤、青、緑の出力を加算して算出された疑似的な輝度（Ｙ）信号が用いられる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像とＢ像を編成してもよい。このように生成されたＡＦ用Ａ像とＡＦ用Ｂ像との相対的な像ずれ量が相関演算により算出される。この像ずれ量に基づいて、所定領域の焦点ずれ量、すなわちデフォーカス量を算出することができる。

本実施形態では、２つの光電変換部のうちの一方の出力、および、両方の光電変換部の出力を撮像素子１２２から読み出す処理が行われる。ＡＦ用Ａ像とＡＦ用Ｂ像の一方は、撮像素子１２２から出力されないが、前述のように、Ａ像出力とＢ像出力の和が出力される。よって、和信号（Ａ＋Ｂ像信号）と一方の出力信号との差分から、他方の信号を取得して焦点検出を行うことができる。なお、撮像素子１２２の構造については公知であるため、その詳細な説明を省略する。

図２（Ｂ）は、撮像素子１２２の読み出し回路の構成図である。読み出し回路は水平走査回路１５１と、垂直走査回路１５３を有する。各画素部の境界部には、水平走査ライン１５２ａ，１５２ｂと、垂直走査ライン１５４ａ，１５４ｂがそれぞれ配線されている。光電変換部２１１ａ，２１１ｂからの各信号は、これらの走査ラインを介して外部に読み出される。

撮像素子１２２は、画素部内の読み出しに加えて、以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称し、高精細の静止画像を取得するためのモードである。第１の読み出しモードでは、全画素の信号が読み出される。一方、第２の読み出しモードは間引き読み出しモードと称し、動画像の記録またはプレビュー画像の表示を行うためのモードである。第２の読み出しモードでは、必要な画素数が全画素数よりも少ない。つまり全画素のうちＸ方向およびＹ方向ともに所定比率で間引いた画素のみが読み出される。また、高速な読み出しが必要である場合に、間引き読み出しモードが用いられる。Ｘ方向の間引き読み出しの際には、信号の加算を行ってＳ／Ｎ（信号対ノイズ）比を改善することができる。また、Ｙ方向の間引き読み出しの際には、間引かれる行の信号出力が無視され、使用されない。通常、第２の読み出しモードで位相差ＡＦまたはＴＶＡＦの処理（自動焦点検出および焦点調節）が行われる。

次に、図３および図４を参照して、位相差検出方式の焦点検出処理について説明する。図３は位相差検出方式の焦点検出処理を説明する模式図である。図４はＡ像信号およびＢ像信号を示すグラフである。

図３を参照して、撮像素子１２２におけるピント（焦点位置）と位相差との関係について説明する。図３（Ａ）は、被写体に焦点が合っている場合、つまり合焦状態におけるレンズユニット１００、被写体３００、光軸３０１、および、撮像素子１２２の位置関係と、光束を示している。図３（Ｂ）は、被写体に焦点が合っていない非合焦状態における各部の位置関係と光束を示している。図３には、図２（Ａ）に示される撮像素子１２２を断面方向から見た場合の状態で示す。

撮像素子１２２の各画素部にはマイクロレンズ２１１ｉが設けられている。フォトダイオードにより構成される光電変換部２１１ａ，２１１ｂは、同一のマイクロレンズ２１１ｉを通過した光を受光する。光電変換部２１１ａ，２１１ｂには、位相差を有する、互いに異なる像の光が入射される。図３では第１光電変換部をＡで表記し、第２光電変換部をＢで表記している。

撮像素子１２２は、１つのマイクロレンズ２１１ｉに対して第１光電変換部および第２光電変換部を有し、多数のマイクロレンズ２１１ｉが２次元状に配列されている。なお本実施形態では、１つのマイクロレンズ２１１ｉに対して２つの光電変換部２１１ａ，２１１ｂが配置されている例を説明するが、これに限定されるものではない。例えば、１つのマイクロレンズに対して、４つの光電変換部を有する構成、つまり上下方向および左右方向のそれぞれに２つのフォトダイオードを配置した構成でもよい。複数のフォトダイオードが、１つのマイクロレンズ２１１ｉを共有して、上下方向または左右方向の少なくとも一方に複数配置される構成であればよい。

図３に示すレンズユニット１００は、第１レンズ群１０１、第２レンズ群１０３、および、フォーカスレンズ１０４を併せて１つのレンズと考えた場合の等価的な撮像レンズである。被写体３００から発した光は、光軸３０１を中心として、レンズユニット１００の各領域を通過し、撮像素子１２２に結像する。ここでは、射出瞳の位置と撮像レンズの中心位置を同一としている。

このような構成は、撮像光学系を第１光電変換部から見た場合と第２光電変換部から見た場合とで、撮像光学系の瞳領域が対称に分割された構成と等価である。換言すると、撮像光学系からの光束が２つの光束に分割された、いわゆる瞳分割の構成となっており、分割された光束が第１および第２光電変換部にそれぞれ入射する。第１および第２光電変換部は、撮像光学系の射出瞳のうち、異なる瞳部分領域を通過する光をそれぞれ受光して光電変換を行い、焦点検出画素として機能する。また、第１および第２光電変換部は、互いの信号を加算（合算または合成）することにより、撮像画素としても機能する。

被写体３００上の特定点からの光束は光束ΦＬａと光束ΦＬｂに分割される。光束ΦＬａは、第１光電変換部２１１ａに対応する第１瞳部分領域を通過して第１光電変換部に入射する。光束ΦＬｂは、第２光電変換部２１１ｂに対応する瞳部分領域を通過して第２光電変換部に入射する。２つの光束ΦＬａとΦＬｂは、被写体３００上の同一点から入射している。そのため、撮像光学系の合焦状態、つまり被写体３００に焦点が合った状態では、図３（Ａ）に示されるように、同一のマイクロレンズ２１１ｉを通過して撮像素子１２２上の１点に到達する。したがって、第１および第２光電変換部からそれぞれ得られる像信号は、互いに一致する。

一方、図３（Ｂ）は、結像位置と撮像素子１２２とが、光軸方向においてＹだけずれている非合焦状態を示す。非合焦状態では、光束ΦＬａ，ΦＬｂの、マイクロレンズ２１１ｉへの入射角の変化分だけ、撮像面において光束ΦＬａ，ΦＬｂの到達位置が、光軸３０１と垂直な方向に互いにずれる。したがって、第１および第２光電変換部からそれぞれ得られる像信号には位相差が生じる。第１光電変換部２１１ａは被写体像を光電変換して第１信号を生成し、第２光電変換部２１１ｂは被写体像を光電変換して第２信号を生成する。被写体像から生成される、位相差を有する第１信号および第２信号は、撮像素子１２２の外部へ出力され、焦点検出に用いられる。

撮像素子１２２は、前述のように、第１信号を焦点検出信号として独立して読み出すとともに、第１光電変換部と第２光電変換部との各信号を加算（合算または合成）した撮像信号を読み出す。第１信号がＡ像信号に対応し、第２信号がＢ像信号に対応する。第１および第２光電変換部の各信号を加算した信号は、加算画像であるＩＭＧ像の信号に対応する。

本実施形態では、１つのマイクロレンズに対して複数の光電変換部が配置され、瞳分割された光束が各光電変換部に入射される構成を示したが、これに限定されない。例えば、焦点検出画素の構成として、マイクロレンズに対して１つのフォトダイオードを有し、遮光層により左右または上下方向にて遮光することで瞳分割を行う構成がある。また、複数の撮像画素の配列の中に一対の焦点検出画素を離散的に配置し、その一対の焦点検出画素からＡ像信号およびＢ像信号を取得する構成がある。

位相差ＡＦ部１２９は、取得部１２９ａが取得したＡ像信号とＢ像信号を用いて焦点検出を行う。図４（Ａ）は、図３（Ａ）に示す合焦状態におけるＡ像信号とＢ像信号の強度分布を示すグラフである。図４（Ａ）にて、横軸は画素位置を表し、縦軸は出力信号の強度を表す。合焦状態にてＡ像信号とＢ像信号とは互いに一致する。

図４（Ｂ）は、図３（Ｂ）に示す非合焦状態におけるＡ像信号とＢ像信号の強度分布を示すグラフである。横軸と縦軸の設定は図４（Ａ）と同じである。非合焦状態にてＡ像とＢ像は、前述した理由により位相差を有し、強度のピーク位置が互いにずれている。図中にずれ量Ｘを示す。位相差ＡＦ部１２９の算出部１２９ｂは、撮像画像のフレームごとにずれ量Ｘを算出し、算出したずれ量Ｘを用いて所定の演算処理を行うことにより、焦点ずれ量、すなわち図３（Ｂ）に示すＹ値を算出する。位相差ＡＦ部１２９は、算出したＹ値をカメラＭＰＵ１２５に出力する。カメラＭＰＵ１２５はＹ値に基づく制御信号を、レンズＭＰＵ１１７を介してフォーカス駆動回路１１６に出力する。

フォーカス駆動回路１１６は、制御信号の示すＹ値に基づいて、フォーカスレンズ１０４の移動量を算出し、フォーカスアクチュエータ１１３に駆動信号を出力する。フォーカスレンズ１０４は、フォーカスアクチュエータ１１３によって、所定の被写体に焦点が合う合焦位置まで移動する。こうして合焦状態が実現される。

図５を参照して、相関演算について説明する。図５は、相関演算の説明図である。図５（Ａ）は、画素の水平方向の位置（水平画素位置）を横軸にとり、水平画素位置に対するＡ像信号およびＢ像信号のレベル（強度）を縦軸にとって、複数のグラフを示す。図５（Ａ）は、Ａ像信号の位置がシフト量の範囲（－Ｓ～＋Ｓ）内でシフトした場合の複数のグラフを示している。ここでは、Ａ像信号を左にシフトさせる場合のシフト量の符号をマイナスとし、Ａ像信号を右にシフトさせる場合のシフト量の符号をプラスとしている。各位置に対応するＡ像信号とＢ像信号との差の絶対値が算出され、各画素位置の絶対値を加算した値が１行分の相関値（相関量または相関データ）として算出される。各行で算出された相関値を、各シフト量において、複数行に亘って加算してもよい。

図５（Ｂ）は、図５（Ａ）の例において、各シフト量に対して算出される相関値を示すグラフである。図５（Ｂ）にて横軸はシフト量を表し、縦軸は相関データを表す。図５（Ａ）に示される例において「シフト量＝Ｘ」は、Ａ像信号とＢ像信号とが互いに重なる焦点位置に対応するシフト量となっている。図５（Ｂ）に示されるように、「シフト量＝Ｘ」の場合に相関値が最小値となる。つまり、相関値が最小値となるシフト量を算出することができる。なお、本実施形態に適用可能な相関値の算出方法は、これに限定されない。Ａ像とＢ像の各データの相関を示す算出方法であれば、如何なる方法でも適用可能である。

図６を参照して焦点検出について説明する。図６は、本実施形態における焦点検出のメインフローチャートである。図６の各ステップに示す処理は、カメラＭＰＵ１２５の指令に基づいて、主に、位相差ＡＦ部１２９、フォーカスアクチュエータ１１３、フォーカス駆動回路１１６、レンズＭＰＵ１１７により実行される。

Ｓ６０１にて位相差ＡＦ部１２９は、撮像素子１２２の有効画素領域の中から焦点検出を行う対象となる焦点検出領域を設定する。続いてＳ６０２で位相差ＡＦ部１２９は焦点検出信号を取得する。つまり、撮像素子１２２から第１光電変換部２１１ａによる第１信号（Ａ像信号）と第２光電変換部２１１ｂによる第２信号（Ｂ像信号）が取得される。Ｓ６０３で位相差ＡＦ部１２９は、Ａ像信号およびＢ像信号のそれぞれに対してシェーディング補正処理（光学補正処理）を行う。位相差検出方式の焦点検出では、Ａ像とＢ像との相関値（信号の一致度）に基づいて焦点状態が検出される。シェーディングの発生によりＡ像信号とＢ像信号との相関が低下する可能性がある。Ａ像とＢ像との相関を改善して焦点検出を良好に行うために、シェーディング補正処理が実行される。

Ｓ６０４で位相差ＡＦ部１２９は、Ａ像信号とＢ像信号のそれぞれに対して信号補正処理を行う。信号補正処理の詳細については、図９を参照して後述する。Ｓ６０５で位相差ＡＦ部１２９は、Ａ像信号とＢ像信号のそれぞれに対してフィルタ処理を行う。一般に位相差検出方式の焦点検出は、デフォーカス量が相対的に大きい状態（大デフォーカス状態）で行われるため、フィルタ処理の通過帯域が低周波帯域を含むようにフィルタが構成される。ただし、必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際、デフォーカス状態に応じて、焦点検出の際のフィルタ処理の通過帯域を高周波帯域側に調整してもよい。

Ｓ６０６で位相差ＡＦ部１２９内の算出部１２９ｂは、フィルタ処理後のＡ像信号とＢ像信号に対して相関演算を行い、信号の一致度を表す相関値（Ａ像とＢ像との相関演算結果）を算出する。Ｓ６０７で算出部１２９ｂは、Ｓ６０６にて算出された相関値に基づいてデフォーカス量を算出する。具体的には、位相差ＡＦ部１２９は、サブピクセル演算により、相関値が最小値となるシフト量に基づいて像ずれ量Ｘを算出する。そして位相差ＡＦ部１２９は、像ずれ量Ｘに対して変換係数を乗算してデフォーカス量を算出する。変換係数は、焦点検出領域の像高と、絞り１０２のＦ値（絞り値）と、レンズユニット１００の射出瞳距離に応じて決定される。以上で、焦点検出処理を終了する。

図７を参照して、Ａ像とＢ像のランダムノイズ、およびランダムノイズを含むＡ像とＢ像から算出される相関値の概念を説明する。図７（Ａ）は、Ａ像とＢ像のランダムノイズの説明図である。Ａ像信号およびＢ像信号はそれぞれ、画素ごとのノイズを含んでいる。図７（Ａ）において、横軸方向に画素位置を表し、縦軸方向に出力信号の強度を表す。Ａ像およびＢ像のそれぞれを分かりやすく示すため、便宜上、Ａ像とＢ像の基準位置を上下方向に互いにずらして表示している。

図７（Ａ）に示される画素ごとのノイズは、Ａ像およびＢ像にランダムで生じるランダムノイズである。同一の画素に関して、Ａ像およびＢ像の出力信号の強度は異なる。そのため、Ａ像とＢ像とで相関関係のないノイズとなる。

図７（Ｂ）は、図７（Ａ）のＡ像およびＢ像の各出力信号の強度に対して算出される相関値をグラフで示している。図７（Ｂ）において、横軸はシフト量を表し、縦軸は相関値（相関データ）を表している。相関値がシフト量の変化に対して不規則に変化し、ばらついていることが分かる。

このように、Ａ像およびＢ像に生じるランダムノイズは、相関値のばらつきの原因となり、複数の極小値および極大値を持ち、像ずれ量Ｘの算出精度を低下させる。そのため、高精度な焦点検出を行うためには、ランダムノイズの低減が必要である。

次に図８を参照して、ＩＭＧ像からＡ像を減算してＢ像に相当する信号を求めたことに起因するノイズ（逆相関ノイズ）に関して説明する。図８は逆相関ノイズおよび相関値の説明図である。図８（Ａ）は、ＩＭＧ像からＡ像を減算してＢ像に相当する信号を求めたことに起因するノイズを示す。横軸方向に画素位置を表し、縦軸方向に出力信号の強度を表す。Ａ像とＢ像をそれぞれ示すため、便宜上、Ａ像とＢ像の基準位置を上下方向にずらして表示している。

加算画像であるＩＭＧ像とＡ像から、Ｂ像を生成して相関演算を行う場合、Ａ像に重畳されるランダムノイズ量の符号が反転されたランダムノイズ量が、Ｂ像に重畳される。Ａ像が極大値となる位置でＢ像は極小値をとり、Ａ像とＢ像とは逆相のノイズとなる。このため、シフト量がゼロである場合のＡ像信号とＢ像信号との一致度は低くなり、シフト量＝０の位置で相関値に大きな極大値が生じる。

図８（Ｂ）は相関値のグラフを示し、横軸はシフト量を表し、縦軸は相関値（相関データ）を表す。シフト量がゼロである場合、他のシフト量と比較して相関量が大きく算出され、シフト量＝０の位置で極大値が生じている。

このように、Ａ像およびＢ像に生じる逆相関ノイズは、相関値に極大値を生じさせ、像ずれ量Ｘの算出精度を低下させる。高精度な焦点検出を行うためには、逆相関ノイズの低減が必要である。そこで本実施形態では、Ａ像およびＢ像に生じるノイズを補正によって低減させ、補正された信号を用いて相関値を算出する。これにより、Ａ像およびＢ像に生じるノイズの影響を除去または低減させ、像ずれ量Ｘの算出精度を低下させることなく、高精度な焦点検出を行うことができる。

図９から図１３を参照して、本実施形態における信号補正（図６のＳ６０４）について説明する。図９は信号補正を説明するフローチャートであり、各ステップに示す処理は、主にカメラＭＰＵ１２５および位相差ＡＦ部１２９により実行される。図１０および図１１は、図９の各ステップでの信号状態の説明図であり、横軸は画素位置を表し、縦軸は信号値を表している。図１２および図１３は、Ａ像とＩＭＧ像の符号および大小関係に関する信号補正の詳細な説明図である。

図９のＳ９０１でカメラＭＰＵ１２５は、図６のＳ６０３にてシェーディング補正された第１信号、つまりＡ像に対応する焦点検出信号を取得する。Ｓ９０２にてカメラＭＰＵ１２５は、シェーディング補正された第２信号、つまりＢ像に対応する焦点検出信号を取得する。Ｓ９０１、Ｓ９０２で取得された焦点検出信号は、被写体信号にノイズが重畳されている状態である。図１０および図１１を参照して具体例を説明する。

図１０（Ａ）はノイズ成分が重畳されていない状態の被写体信号を示す。図１０（Ｂ）はノイズ成分が重畳されたＩＭＧ像信号を示し、図１０（Ｃ）はノイズ成分が重畳されたＡ像信号とＢ像信号をそれぞれ示す。これらは、被写体信号に対して、図７のランダムノイズと、図８の逆相関ノイズが重畳された信号を示す。このように、Ａ像信号およびＢ像信号に、ランダムノイズと逆相関ノイズを多く含む場合、相関演算結果に複数の極小値（極小点）および極大値（極大点）が生じ、高精度な焦点検出を行うことができない。

図９のＳ９０３でカメラＭＰＵ１２５は補正に用いる第１基準信号を算出し、Ｓ９０４で第２基準信号を算出する。第１基準信号、第２基準信号は、図１１（Ａ）に示す通りである。これらの基準信号のレベルは撮像素子の出力の黒レベルであり、メモリ１２８に記憶されている一定値である。本実施形態では、黒レベルを一定値として記憶している例を説明するが、これに限定されることなく、画素ごとの固定パターンノイズを考慮した画素ごとに異なる値をレベル値として記憶してもよい。また、本実施形態では、メモリに記憶されたレベル値を取得して基準信号としているが、黒レベル補正用に取得された画像信号等から黒レベルを算出して基準信号としてもよい。また、取得された焦点検出信号の最小値に所定値（ノイズばらつき量等）を加算した値や、下位の複数の値から求めた平均値や中間値を用いて基準信号を生成してもよい。本実施形態では、Ａ像およびＢ像に対して共通の基準信号を用いるが、Ａ像、Ｂ像それぞれに対して個別の基準信号を算出してもよい。

続いてＳ９０５でカメラＭＰＵ１２５は、Ｓ９０１にて取得した第１信号と、Ｓ９０３にて取得した第１基準信号との差分から第１補正信号を算出する。同様にして、Ｓ９０６でカメラＭＰＵ１２５は、Ｓ９０２にて取得した第２信号と、Ｓ９０４にて取得した第２基準信号の差分から第２補正信号を算出する。図１１（Ｂ）は第１補正信号と第２補正信号を例示する。これらの信号は、図１０（Ｃ）に示す信号から図１１（Ａ）に示す信号を減算した信号である。

Ｓ９０７～Ｓ９１０において第１補正が行われ、Ｓ９１１～Ｓ９１４において第２補正が行われる。第１補正信号、第２補正信号はいずれも、焦点検出信号から基準信号（ノイズのばらつき中心値）を減算した信号である。そのため、補正信号の値が正値の場合には、被写体信号の成分を含んでいる可能性があるが、負値の場合には、ノイズだけであるといえる。つまり、第１補正信号、第２補正信号の値が負値である場合、それらは少なくともノイズ成分であることが判定でき、負のノイズを検出することが可能である。また、Ａ像のノイズはＢ像において反転して重畳されている。そのため、Ａ像で検出された負のノイズはＢ像に正のノイズとして重畳され、Ｂ像で検出された負のノイズはＡ像に正のノイズとして重畳されているといえる。そこで第１補正では、Ａ像で検出された負のノイズ成分をＢ像に加算することでＢ像の正のノイズを除去または低減させる処理が行われる。またＢ像で検出された負のノイズ成分をＡ像に加算することでＡ像の正のノイズを除去または低減させる処理が行われる。

具体的には、Ｓ９０７にてカメラＭＰＵ１２５は、第１補正信号の値を第１の閾値と比較する。第１の閾値は、例えばゼロである。カメラＭＰＵ１２５は第１補正信号の値が負値かどうかを判定し、負値の場合にＳ９０８の処理へ進み、負値でない場合にはＳ９０９へ処理を進める。Ｓ９０８でカメラＭＰＵ１２５は、第２信号に第１補正信号を加算することで第２信号に対する第１補正を行う。そしてＳ９０９に進む。

Ｓ９０９にてカメラＭＰＵ１２５は、第２補正信号の値を第２の閾値と比較する。第２の閾値は、例えばゼロである。カメラＭＰＵ１２５は第２補正信号の値が負値かどうかを判定し、負値の場合にＳ９１０の処理へ進み、負値でない場合にはＳ９１１へ処理を進める。Ｓ９１０でカメラＭＰＵ１２５は、第１信号に第２補正信号を加算することで第１信号に対する第１補正を行う。図１１（Ｃ）は、第１補正後の第１信号（Ａ像）および第２信号（Ｂ像）を例示する。図１０（Ｃ）に示す補正前の第１信号（Ａ像）と第２信号（Ｂ像）と比べて、ノイズが低減できていることがわかる。

さらに、第１補正後の第１信号（Ａ像）と第２信号（Ｂ像）が基準信号（ノイズのばらつき中心値）よりも小さい場合、それらはノイズ成分であると判定できる。そのため、第２補正では、第１信号（Ａ像）と第２信号（Ｂ像）ともに基準信号よりも小さい場合、第１信号および第２信号を基準信号とすることで、ノイズを除去する処理が実行される。

具体的には、Ｓ９１１にてカメラＭＰＵ１２５は、第１信号が第１基準信号（例えば信号値ゼロ）よりも小さいかどうかを判定する。第１信号が第１基準信号よりも小さい場合にはＳ９１２の処理へ進み、第１信号が第１基準信号よりも小さくない場合にはＳ９１３へ処理を進める。Ｓ９１２にてカメラＭＰＵ１２５は、第１信号として第１基準信号を用いることで第１信号に対する第２補正を行う。そしてＳ９１３に進む。

Ｓ９１３にてカメラＭＰＵ１２５は、第２信号が第２基準信号（例えば信号値ゼロ）よりも小さいかどうかを判定する。第２信号が第２基準信号よりも小さい場合にＳ９１４の処理へ進み、第２信号が第２基準信号よりも小さくない場合には信号補正を終了する。Ｓ９１４にてカメラＭＰＵ１２５は、第２信号として第２基準信号を用いることで第２信号に対する第２補正を行う。図１１（Ｄ）は、第２補正後の第１信号（Ａ像）と第２信号（Ｂ像）を例示する。図１１（Ｃ）に示す第１補正後の第１信号（Ａ像）と第２信号（Ｂ像）と比べて、負のノイズが除去できていることがわかる。

図１２および図１３を参照して、Ａ像とＩＭＧ像の符号および大小関係に関し、信号補正を詳細に説明する。ここでは簡単のために、基準信号のレベルをゼロとする場合を例にして説明する。つまりデータ値が正値の場合には、被写体信号の成分を含んでいる可能性があるが、データ値が負値の場合には、それはノイズ成分であるといえる。

図１２および図１３に示す棒グラフはＡ像、Ｂ像、ＩＭＧ像の各データ値を示す。左側から順に、取得されたＡ像、ＩＭＧ像と、Ｂ像生成後のＡ像、Ｂ像と、第１補正後のＡ像、Ｂ像と、第２補正後のＡ像、Ｂ像をそれぞれ表している。また図中に示すＳａ、Ｓｂ（＝Ｓｉｍｇ－Ｓａ）、ＳｉｍｇはそれぞれＡ像、Ｂ像、ＩＭＧ像の被写体信号を表しており、Ｎａ、ＮｉｍｇはそれぞれＡ像、ＩＭＧ像のノイズを表している。

図１２（Ａ）は、Ａ像とＩＭＧ像の符号および大小関係が、０＜Ａ＜ＩＭＧである場合の信号補正の例を示す。図１２（Ａ）では、Ａ像、ＩＭＧ像の各データがいずれも正値であるため、取得されたＡ像とＩＭＧ像は以下の様に表される。
Ａ＝Ｓａ＋Ｎａ
ＩＭＧ＝Ｓｉｍｇ＋Ｎｉｍｇ

Ｂ像のデータは、ＩＭＧ像のデータからＡ像のデータを減算することにより生成される。生成されたＢ像は以下の様に表される。
Ｂ＝ＩＭＧ－Ａ
＝Ｓｉｍｇ＋Ｎｉｍｇ－（Ｓａ＋Ｎａ）
＝Ｓｂ＋Ｎｉｍｇ－Ｎａ

この場合、第１補正に関しては、Ａ像、Ｂ像ともにデータが正値であるため、補正は実施されない。同様に第２補正に関しても、Ａ像、Ｂ像ともにデータに正値であるため、補正は実施されない。このように、０＜Ａ＜ＩＭＧである場合には、Ａ像とＢ像のデータともに被写体信号の成分を含んでいる可能性があるため、補正は実施されない。つまり、各データから被写体信号の成分が除去されることはない。

図１２（Ｂ）は、Ａ像とＩＭＧ像の符号および大小関係が、０＜ＩＭＧ＜Ａである場合の信号補正の例を示す。図１２（Ｂ）では、Ａ像とＩＭＧ像の各データがいずれも正値であるため、取得されたＡ像とＩＭＧ像のデータは以下の様に表される。
Ａ＝Ｓａ＋Ｎａ
ＩＭＧ＝Ｓｉｍｇ＋Ｎｉｍｇ

この場合、第１補正では、Ｂ像のデータが負値であるため、Ａ像に対して第１補正が実施される。また、Ｂ像のデータが負値であることから、Ｂ像の被写体信号Ｓｂ＝０となるので、上式からＳａ＝Ｓｉｍｇとなる。補正後のＡ像は以下の様に表される。
Ａ＝Ｓａ＋Ｎａ＋Ｂ
＝Ｓａ＋Ｎａ＋Ｎｉｍｇ－Ｎａ
＝Ｓａ＋Ｎｉｍｇ

第２補正では、Ｂ像のデータが負値、つまり基準信号より小さいので、Ｂ像に対して第２補正が実施される。補正後のＢ像は以下の様に表される。
Ｂ＝０

このように、０＜ＩＭＧ＜Ａである場合には、被写体信号の成分を含んでいる可能性があるＡ像については当該成分が除去されることはなく、Ａ像のノイズＮａが除去される。つまり、ノイズの削減処理が行われる。

図１２（Ｃ）は、Ａ像とＩＭＧ像の符号および大小関係が、Ａ＜０＜ＩＭＧである場合の信号補正の例を示す。図１２（Ｃ）では、Ａ像のデータが負値であって、ＩＭＧ像のデータが正値である。そのため、取得されたＡ像とＩＭＧ像は以下の様に表される。
Ａ＝Ｎａ（Ｓａ＝０、Ｓｂ＝Ｓｉｍｇ）
ＩＭＧ＝Ｓｉｍｇ＋Ｎｉｍｇ

ＩＭＧ像のデータからＡ像のデータを減算して生成されるＢ像は以下の様に表される。
Ｂ＝ＩＭＧ－Ａ
＝Ｓｉｍｇ＋Ｎｉｍｇ－Ｎａ
＝Ｓｂ＋Ｎｉｍｇ－Ｎａ

この場合、第１補正では、Ａ像のデータが負値であるため、Ｂ像に対して第１補正が実施される。補正後のＢ像は以下の様に表される。
Ｂ＝Ｓｂ＋Ｎｉｍｇ－Ｎａ＋Ａ
＝Ｓｂ＋Ｎｉｍｇ－Ｎａ＋Ｎａ
＝Ｓｂ＋Ｎｉｍｇ

第２補正では、Ａ像のデータが負値、つまり第１基準信号より小さいので、Ａ像に対して第２補正が実施される。補正後のＡ像は以下の様に表される。
Ａ＝０

このように、Ａ＜０＜ＩＭＧである場合には、被写体信号の成分を含んでいる可能性があるＢ像について当該成分が除去されることはなく、Ａ像のノイズＮａが除去される。

図１３（Ａ）は、Ａ像とＩＭＧ像の符号および大小関係が、ＩＭＧ＜０＜Ａである場合の信号補正の例を示す。図１３（Ａ）では、Ａ像のデータが正値であって、ＩＭＧ像のデータが負値であるため、Ｓｉｍｇ＝０である。ＩＭＧ像のデータはＡ像とＢ像の各データの加算により算出されるので、Ｓｉｍｇ＝０の場合には、Ｓａ＝Ｓｂ＝０となる。よって取得されたＡ像とＩＭＧ像は以下の様に表される。
Ａ＝Ｎａ（Ｓａ＝０）
ＩＭＧ＝Ｎｉｍｇ（Ｓｉｍｇ＝０）

ＩＭＧ像のデータからＡ像のデータを減算することにより生成されるＢ像は以下の様に表される。
Ｂ＝ＩＭＧ－Ａ
＝Ｎｉｍｇ－Ｎａ

この場合、第１補正では、Ｂ像のデータが負値であるため、Ａ像に対して第１補正が実施される。補正後のＡ像は以下の様に表される。
Ａ＝Ｎａ＋Ｂ
＝Ｎａ＋Ｎｉｍｇ－Ｎａ
＝Ｎｉｍｇ

第２補正では、Ａ像とＢ像の各データがともに負値、つまり基準信号より小さいので、Ａ像とＢ像に対して第２補正が実施される。補正後のＡ像とＢ像は以下の様に表される。
Ａ＝０
Ｂ＝０

このように、ＩＭＧ＜０＜Ａである場合には、Ａ像、Ｂ像ともに被写体信号の成分を含んでいる可能性がなく、いずれもノイズ成分だけをもつ。よって、ノイズＮａ、Ｎｉｍｇの両方が除去される。

図１３（Ｂ）は、Ａ像とＩＭＧ像の符号および大小関係が、Ａ＜ＩＭＧ＜０である場合の信号補正の例を示す。図１３（Ｂ）では、Ａ像とＩＭＧ像の各データがともに負値であるため、Ｓａ＝Ｓｉｍｇ＝０である。よって、取得されたＡ像とＩＭＧ像は以下の様に表される。
Ａ＝Ｎａ（Ｓａ＝０）
ＩＭＧ＝Ｎｉｍｇ（Ｓｉｍｇ＝０）

この場合、第１補正では、Ａ像のデータが負であるため、Ｂ像に対して第１補正が実施される。補正後のＢ像は以下の様に表される。
Ｂ＝Ｎｉｍｇ－Ｎａ＋Ａ
＝Ｎｉｍｇ－Ｎａ＋Ｎａ
＝Ｎｉｍｇ

このように、Ａ＜ＩＭＧ＜０である場合には、Ａ像、Ｂ像ともに被写体信号の成分を含んでいる可能性がなく、それらはノイズ成分だけをもつ。そのため、ノイズＮａ、Ｎｉｍｇの両方が除去される。

図１３（Ｃ）は、Ａ像とＩＭＧ像の符号および大小関係が、ＩＭＧ＜Ａ＜０である場合の信号補正の例を示す。図１３（Ｃ）では、Ａ像とＩＭＧ像の各データがともに負値であるため、Ｓａ＝Ｓｉｍｇ＝０である。よって、取得されたＡ像、ＩＭＧ像は以下の様に表される。
Ａ＝Ｎａ（Ｓａ＝０）
ＩＭＧ＝Ｎｉｍｇ（Ｓｉｍｇ＝０）

この場合、第１補正では、Ａ像とＢ像のデータがともに負値であるため、Ａ像とＢ像に対して第１補正が実施される。補正後のＡ像とＢ像は以下の様に表される。
Ａ＝Ｎａ＋Ｂ
＝Ｎａ＋（Ｎｉｍｇ－Ｎａ）
＝Ｎｉｍｇ
Ｂ＝Ｎｉｍｇ－Ｎａ＋Ａ
＝Ｎｉｍｇ－Ｎａ＋Ｎａ
＝Ｎｉｍｇ

第２補正では、Ａ像とＢ像の各データがともに負値、つまり基準信号より小さいので、Ａ像とＢ像に対して第２補正が実施される。補正後のＡ像、Ｂ像は以下の様に表される。
Ａ＝０
Ｂ＝０

このように、ＩＭＧ＜Ａ＜０である場合には、Ａ像、Ｂ像ともに被写体信号の成分を含んでいる可能性がなく、それらはノイズ成分だけをもつ。そのため、ノイズＮａ、Ｎｉｍｇの両方が除去される。

図１０（Ｃ）にて説明したように、焦点検出信号にランダムノイズおよび逆相関ノイズが重畳されている場合でも、図９に示す処理を実行することにより、Ａ像とＢ像における被写体信号の成分を除去することなく、ノイズを低減できる。そして、図７（Ｂ）、図８（Ｂ）に示す極小値および極大値の影響が低減された相関演算結果を算出することができる。

本実施形態では、被写体像から得られる信号とは関係のない、Ａ像およびＢ像に生じるランダムノイズおよび逆相関ノイズが焦点検出信号に重畳されている場合、焦点検出信号の補正が行われる。これにより、ノイズの影響が少ない相関値を算出して、適切なピント位置（焦点状態）を検出することができる。その結果、ノイズの影響を低減させた高精度な焦点検出が可能となる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態は、基準信号の算出方法に関して第１実施形態と異なる。よって、本実施形態にて第１実施形態との相違点を説明し、第１実施形態と同様の事項については、それらの詳細な説明を省略する。

図９および図１４を参照して、本実施形態における信号補正（図６のＳ６０４）について説明する。図１４は、本実施形態における信号補正の説明図であり、横軸方向に画素位置を表し、縦軸方向に信号強度を表す。

本実施形態では、図９のＳ９０３，Ｓ９０４において、カメラＭＰＵ１２５が補正に用いる第１基準信号、第２基準信号をそれぞれ算出する。図１４（Ａ）に示す第１基準信号、第２基準信号は、第１信号、第２信号に係る着目画素の周囲に位置する複数の画素（周辺画素）の画素値の中間値として算出される。この中間値は一例であり、周辺画素の画素値の平均値または加重平均値として各基準信号の信号値が算出されてもよい。また本実施形態では、Ａ像信号とＢ像信号に対して個別の基準信号が用いられるが、Ａ像、Ｂ像のそれぞれに対して共通の基準信号を算出して補正してもよい。本実施形態は、焦点検出信号であるＡ像信号とＢ像信号に関する着目画素の周辺画素を用いて基準信号が算出される点において、基準信号が黒レベルから算出される第１実施形態とは異なる。

Ｓ９０５でカメラＭＰＵ１２５は、Ｓ９０１にて取得した第１信号と、Ｓ９０３にて取得した第１基準信号との差分から、第１補正信号を算出する。Ｓ９０６でカメラＭＰＵ１２５は、Ｓ９０２にて取得した第２信号と、Ｓ９０４にて取得した第２基準信号との差分から、第２補正信号を算出する。図１４（Ｂ）に示す第１補正信号、第２補正信号は、図１０（Ｃ）に示す焦点検出信号（Ａ像，Ｂ像）から、図１４（Ａ）に示す第１基準信号、第２基準信号をそれぞれ減算した後の信号である。

Ｓ９０８では、第２信号に第１補正信号を加算することで第２信号に対する第１補正が行われ、またＳ９１０では、第１信号に第２補正信号を加算することで第１信号に対する第１補正が行われる。図１４（Ｃ）は、第１補正後の第１信号（Ａ像）と第２信号（Ｂ像）を示す。図１０（Ｃ）に示す補正前の第１信号（Ａ像）および第２信号（Ｂ像）と比べて、正のノイズ成分が低減できていることがわかる。

Ｓ９１２では、第１信号として第１基準信号を用いることで、第１信号に対する第２補正が行われる。またＳ９１４では、第２信号として第２基準信号を用いることで、第２信号に対する第２補正が行われる。図１４（Ｄ）は、第２補正後の第１信号（Ａ像）と第２信号（Ｂ像）を示す。図１４（Ｃ）に示す第１補正後の第１信号（Ａ像）および第２信号（Ｂ像）と比べて、負のノイズ成分が除去できていることがわかる。

本実施形態は、被写体信号の成分を多く含む画素の信号に対して、ノイズを低減できる点で第１実施形態と異なる。図１０（Ｃ）のように、焦点検出信号にランダムノイズおよび逆相関ノイズが重畳されている場合、焦点検出信号と基準信号とから算出した補正信号の負の値に基づいて、第１補正および第２補正を行うことによってノイズを低減できる。焦点検出信号に対して第１補正および第２補正を行うことで、ノイズが減少した焦点検出信号を得ることができる。図７（Ｂ）、図８（Ｂ）に示す極小値および極大値の影響が低減された相関演算結果を算出可能となる。

１０４フォーカスレンズ
１１７レンズＭＰＵ
１２２撮像素子
１２５カメラＭＰＵ
１２９位相差ＡＦ部
２１１ｉオンチップマイクロレンズ
２１１ａ，２１１ｂ光電変換部

Claims

撮像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部を有する画素部が配置された撮像素子と、
前記複数の光電変換部のうちのいずれかの光電変換部により取得される第１信号と、前記複数の光電変換部による信号から前記第１信号を減算して得られる第２信号を取得する取得手段と、
前記第１信号に対する第１基準信号と、前記第２信号に対する第２基準信号を算出し、前記第１信号と前記第１基準信号から第１補正信号を算出するとともに、前記第２信号と前記第２基準信号から第２補正信号を算出する第１の算出手段と、
前記第１補正信号または前記第２基準信号により前記第２信号を補正し、前記第２補正信号または前記第１基準信号により前記第１信号を補正し、補正された前記第１信号と前記第２信号との相関値を算出して像ずれ量またはデフォーカス量を算出する第２の算出手段と、を備える
ことを特徴とする撮像装置。
前記第１の算出手段は、前記第１信号と前記第１基準信号との差分から前記第１補正信号を算出し、前記第２信号と前記第２基準信号との差分から前記第２補正信号を算出する
ことを特徴とする請求項１に記載の撮像装置。
前記第２の算出手段は、前記第１補正信号の値が第１の閾値より小さい場合、前記第２信号に前記第１補正信号を加算することによって前記第２信号を補正し、前記第２補正信号の値が第２の閾値より小さい場合、前記第１信号に前記第２補正信号を加算することによって前記第１信号を補正する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記第２の算出手段は、前記第１補正信号および前記第２補正信号を用いて前記第２信号および前記第１信号をそれぞれ補正する第１補正を行い、さらに前記第１基準信号および前記第２基準信号を用いて前記第１信号および前記第２信号をそれぞれ補正する第２補正を行う
ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記第２の算出手段は、前記第２補正にて、前記第１信号が前記第１基準信号より小さい場合、前記第１基準信号により前記第１信号を補正し、前記第２信号が前記第２基準信号より小さい場合、前記第２基準信号により前記第２信号を補正する
ことを特徴とする請求項４に記載の撮像装置。
前記第１基準信号と前記第２基準信号は同じレベルの信号である
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記第１基準信号および前記第２基準信号は黒レベルの信号である
ことを特徴とする請求項６に記載の撮像装置。
前記第１の算出手段は、前記第１基準信号および前記第２基準信号を、前記第１信号および前記第２信号からそれぞれ算出する
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記第１基準信号または前記第２基準信号の信号値は、前記第１信号または前記第２信号に係る着目画素の周辺画素の画素値から算出される平均値または加重平均値または中間値である
ことを特徴とする請求項８に記載の撮像装置。
前記デフォーカス量を用いて前記撮像光学系の焦点調節を行う制御手段を備える
ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
補正された前記第１信号および前記第２信号から視差を有する画像データを生成する生成手段を備える
ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
前記撮像素子の画素部は、マイクロレンズと、該マイクロレンズに対応する複数の光電変換部を備える
ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
撮像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部を有する画素部が配置された撮像素子を備える撮像装置にて実行される制御方法であって、
前記複数の光電変換部のうちのいずれかの光電変換部により取得される第１信号と、前記複数の光電変換部による信号から前記第１信号を減算して得られる第２信号を取得する工程と、
前記第１信号に対する第１基準信号と、前記第２信号に対する第２基準信号を算出し、前記第１信号と前記第１基準信号から第１補正信号を算出するとともに、前記第２信号と前記第２基準信号から第２補正信号を算出する工程と、
前記第１補正信号または前記第２基準信号により前記第２信号を補正し、前記第２補正信号または前記第１基準信号により前記第１信号を補正し、補正された前記第１信号と前記第２信号との相関値を算出して像ずれ量またはデフォーカス量を算出する工程と、を有する
ことを特徴とする撮像装置の制御方法。