JP2016099432A - 焦点検出装置及び方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】誤差の少ない高精度な位相差検出が可能な焦点検出装置を提供する。
【解決手段】撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を算出する第１の算出部と、射出瞳の一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を算出する第２の算出部と、第１の位相差と第２の位相差の少なくとも一方を用いて撮影光学系のデフォーカス量を算出する第３の算出部と、第３の算出部による撮影光学系のデフォーカス量の算出において、第１の位相差と第２の位相差の両方を用いて撮影光学系のデフォーカス量を算出するか、第１の位相差と前記第２の位相差のいずれかを用いて撮影光学系のデフォーカス量を算出するかを切り替える切り替え部とを備える。
【選択図】 図６

Description

本発明は、焦点検出装置および方法に関し、特には撮像素子の出力に基づいて位相差検出方式の焦点検出を行う焦点検出装置および方法に関する。

撮影レンズの焦点状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。この装置では、撮像素子を構成する各画素の光電変換部が複数に分割されており、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を通過した光束を受光するように構成されている。この撮影レンズの瞳の異なる領域を通過した光束を受光した光電変換部の１対の出力信号に対して、ずれ量である位相差を算出するための相関演算を行い、その位相差からデフォーカス量を算出することができる。

特許文献２には、同様に瞳分割方式の焦点検出を行うために、撮像素子を構成する画素の一部を焦点検出用画素として構成したものが開示されている。特許文献１に対して、焦点検出用画素の出力は撮影画像として補正する必要が生じるが、焦点検出信号として読み出す信号が少ないため、撮像素子の構成や、その後の演算処理上、安価に構成できるという特徴がある。特許文献２に開示されている焦点検出方式では、瞳分割を行う１対の焦点検出信号は、異なる画素の出力として得られる。

特開２００８−５２００９号公報 特許３５９２１４７号公報

しかしながら、上述の特許文献２に開示された技術では、１対の出力信号の位相差が、誤差を多く含み、精度よく検出できない場合があった。例えば、特許文献２の図２のように焦点検出用画素を配置した場合には、１対の出力信号に対応する被写体の位置が異なる。そのため、１対の出力信号の類似度が低い場合があり、そのような場合には、焦点検出を精度よく行うことができない。

また、特許文献２の図６のように焦点検出用画素を配置した場合には、１対の出力信号の各々のサンプリングピッチが広くなるため、被写体である光学像の周波数特性において高周波帯域の周波数成分を取得することができない。そのため、１対の出力信号には、それぞれに異なる折り返しノイズが発生し、焦点検出誤差が発生してしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、誤差の少ない高精度な位相差検出が可能な焦点検出装置を提供することである。

本発明に係わる焦点検出装置は、撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、前記射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を算出する第１の算出手段と、前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、前記射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を算出する第２の算出手段と、前記第１の位相差と前記第２の位相差の少なくとも一方を用いて前記撮影光学系のデフォーカス量を算出する第３の算出手段と、前記第３の算出手段による前記撮影光学系のデフォーカス量の算出において、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量を算出するか、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量を算出するかを切り替える切り替え手段と、を備えることを特徴とする。

本発明によれば、誤差の少ない高精度な位相差検出が可能な焦点検出装置を提供することが可能となる。

実施形態に係る焦点調節装置を備える撮像装置の一例としてのカメラシステムの機能構成例を示すブロック図。 第１の実施形態における撮像素子の構成例を示す図。 第１の実施形態における光電変換領域と射出瞳との関係を示す図。 実施形態における、焦点検出領域とＡＦ用信号に用いられる画素の関係例を示す図。 実施形態における焦点調節動作を示すフローチャート。 第１の実施形態におけるデフォーカス量の算出方法を示すフローチャート。 第２の実施形態における撮像素子の構成例を示す図。 第２の実施形態における光電変換領域と射出瞳との関係を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、複数の撮影レンズを交換可能なカメラとその撮影レンズからなるカメラシステムであって焦点調節装置（焦点検出装置）を有する撮像装置の構成を示す図である。図１において、本実施形態の焦点調節装置を含むカメラシステムはカメラ１００とこれに交換可能に装着される撮影レンズ３００とを備えて構成される。はじめに、カメラ１００の構成について説明する。

カメラ１００は、複数種類の撮影レンズ３００が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。更には、焦点距離や開放Ｆナンバーが異なる撮影レンズ３００若しくはズーム機能を備える撮影レンズ３００なども装着可能で、同種、異種の撮影レンズにかかわらず交換可能な構成を有する。

このカメラ１００において、撮影レンズ３００を通過した光束は、レンズマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体を光学像として観察しながら撮影できる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０の一部は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部を通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系とラインセンサを有する位相差検出方式ＡＦ機構を採用しており、得られた光学像を電気信号に変換しＡＦ部（オートフォーカス部）４２へ送る。ＡＦ部４２では、この電気信号から位相差検出演算を行い、撮影レンズ３００のデフォーカス量及び方向を求める。この演算結果に基づき、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２（後述する）に対して、焦点調節処理などの制御を行う。本実施形態では、焦点検出結果の補正もＡＦ部４２で行う。

撮影レンズ３００の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮影光束外に退避させる。こうして、撮影レンズ３００を通過してカメラ１００に入射する光束は、露光量を制御するためのシャッター１２を介して、光学像を電気信号に変換する撮像素子１４に入射する。これらの撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示される様な位置に戻る。

撮像素子１４はＣＣＤまたはＣＭＯＳイメージセンサであり、複数の画素が２次元的に配置された構成を有し、被写体の光学像を画素ごとに光電変換して電気信号を出力する。撮像素子１４にて光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御部２２及びシステム制御部５０により制御される。画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画素補間処理、ホワイトバランス処理、色変換処理などの所定の処理を適用する。

本実施形態に係る撮像素子１４は一部の画素が焦点検出用画素として構成されており、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避した状態においても位相差検出方式の焦点検出を可能にしている。撮像素子１４で得られた画像データのうち、焦点検出用信号の生成に用いられる画素のデータは、画像処理部２０で焦点検出用データに変換される。その後、焦点検出用データはシステム制御部５０を介してＡＦ部４２へ送られ、ＡＦ部４２は焦点検出用データに基づいて撮影レンズ３００の焦点調節を行う。

なお、撮像素子１４で撮影した画像データから画像処理部２０でコントラスト評価値を演算し、システム制御部５０が、撮影レンズ３００のフォーカス制御部３４２に対して焦点合わせを行うコントラスト方式のＡＦも可能である。このように、本実施形態のカメラ１００は、ライブビュー表示時や動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避していても、撮像素子１４で得られる画像データから位相差検出方式ＡＦとコントラスト方式ＡＦの両方が可能である。また、本実施形態のカメラ１００は、メインミラー１３０とサブミラー１３１が光路内にあるライブビュー表示を用いない通常の静止画撮影では、焦点検出装置１０５による位相差検出方式ＡＦが可能である。従って、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点調節が可能である。さらに、位相差検出方式ＡＦが可能であるため高速な焦点合わせが可能となっている。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理部２０及びメモリ制御部２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して液晶モニタ等から構成される画像表示部２８に表示される。撮像素子１４で撮影した動画像を画像表示部２８に逐次表示することで、電子ファインダ機能（ライブビュー表示）を実現できる。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用できる。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き戻す。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、自動露出制御（ＡＥ）処理を行う。撮影レンズ３００を通過した光束を、レンズマウント１０６、メインミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部４６は露出条件を決定することができる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理部２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御部５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４はカメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０，６２，６４，６６，６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１である６２は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２である６４は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体２００及び２１０は、メモリカードやハードディスク等である。記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、カメラ１００とのインターフェース２０４，２１４、カメラ１００と接続を行うコネクタ２０６，２１６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりにカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれ、フォーカス制御部３４２はフォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。

本実施形態においては、撮影レンズ３００の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の半径の情報と、撮像素子１４から枠開口までの距離の情報である。絞り３１２は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置によって異なるため、レンズ枠情報はレンズ３１１のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ１００が、焦点検出手段を用いて焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ１００にコネクタ３２２を通じて送られる。

以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

次に、撮像素子１４を用いた位相差検出方式の焦点検出動作について説明する。

図２（Ａ）は本実施形態における撮像素子１４の画素配列の例を模式的に示した図で、ＣＭＯＳイメージセンサに２次元配置された画素群のうち、縦（Ｙ軸方向）６行と横（Ｘ軸方向）８列の範囲を、撮影レンズ３００側から観察した状態を示している。撮像素子１４はベイヤー配列のカラーフィルタを有し、偶数行の画素には左から順に緑（Green）と赤（Red）のカラーフィルタが、奇数行の画素には左から順に青（Blue）と緑（Green）のカラーフィルタが、それぞれ交互に設けられる。ただし、本実施形態の撮像素子１４では、焦点検出用の光電変換部を有する画素については、本来の青のカラーフィルタに代えて緑のカラーフィルタを設けている。なお、以下の説明において、青（または緑、赤）のカラーフィルタが設けられた画素を青画素（または緑画素、赤画素）と呼ぶ場合がある。

また、各画素にはオンチップマイクロレンズ２１１ｉが設けられ、オンチップマイクロレンズ２１１ｉ内の矩形はそれぞれ光電変換部の受光領域を模式的に示している。焦点検出用の光電変換部３１１ａ，３１１ｂは、画素の中心から横方向に偏倚して配置されている。なお、以下の説明において、焦点検出用の光電変換部３１１ａ，３１１ｂが設けられた画素を、焦点検出用画素と呼ぶことがある。また、焦点検出用の光電変換部３１１ａ，３１１ｂは、本来の青（Blue）画素に代えて設けられた緑画素に配置されている。これは、青（Blue）画素の出力が、最も画質に対して影響度が低いためである。なお、本発明は撮像素子が有するカラーフィルタのパターンには依存しない。このように、本実施形態の撮像素子１４は、焦点検出用画素を含め、各画素に１つの光電変換部が設けられているため、１つの画素からは１つの光電変換信号が読み出される。

ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態では４種類の像信号を生成する。後述するように、本実施形態においては、マイクロレンズ２１１ｉと、偏倚位置が異なる光電変換部３１１ａ及び３１１ｂとを用いて撮影光学系（撮影レンズ３００）の射出瞳を分割する。そして、同一画素行（Ｘ軸方向）に配置された画素２１１の出力のうち、複数の光電変換部３１１ａの出力をつなぎ合わせて編成したものをＡ像、複数の光電変換部３１１ｂの出力をつなぎ合わせて編成したものをＢ像とする。図２（Ａ）に示したように、Ａ像およびＢ像は、Ｘ軸方向に２画素ピッチで隣接する複数の青画素位置（の緑画素）から得ることができる。

また、図２（Ａ）の１行目の複数の緑画素である光電変換部３１１ｃは光電変換部３１１ａと図２（Ａ）中のＸ軸方向にそれぞれ隣接しているが、この光電変換部３１１ｃの出力をつなぎあわせて編成したものをＧＡ像とする。また、図２（Ａ）の５行目の複数の緑画素である光電変換部３１１ｃは光電変換部３１１ｂと図２（Ａ）中のＸ軸方向にそれぞれ隣接しているが、この光電変換部３１１ｃの出力をつなぎあわせて編成したものをＧＢ像とする。光電変換部３１１ａ，３１１ｂが、撮影光学系（撮影レンズ３００）の射出瞳の一部の領域を通過した光束に基づく信号を出力するのに対し、光電変換部３１１ｃは、撮影光学系（撮影レンズ３００）の射出瞳の全領域を通過した光束に基づく信号を出力する。このように、Ａ像（光電変換部３１１ａの出力），Ｂ像（光電変換部３１１ｂの出力），ＧＡ像（光電変換部３１１ｃの出力），ＧＢ像（光電変換部３１１ｃの出力）を同色画素群から得ることにより、精度の良い位相差検出が可能である。

なお、Ａ像，Ｂ像，ＧＡ像，ＧＢ像を生成するために用いる画素の位置及び数は、焦点検出領域に応じて定まるものとする。

詳細は後述するが、このように生成されたＡ像とＧＡ像は同じ行の画素から得られた像であるため、Ａ像とＧＡ像の相対的な像ずれ量から、本来求めたいＡ像とＢ像の像ずれ量の１／２が正確に求められる。同様に、Ｂ像とＧＢ像は同じ行の画素から得られた像であるため、Ｂ像とＧＢ像の相対的な像ずれ量から、本来求めたいＡ像とＢ像の像ずれ量の残りの１／２が正確に求められる。そしてこれらを加え合わせて相関演算をすることにより、Ａ像とＢ像の所定領域での焦点ずれ量、すなわちデフォーカス量を検出することができる。本実施形態では、位置が画素の中央から偏倚していない光電変換領域３１１ｃを有する画素（以下の説明では撮影用画素と呼ぶことがある）からは通常の画素信号が得られる。撮影画像を生成する際には、焦点検出用画素に対応する位置の通常の画素信号を、周囲の画素の出力を用いて生成（補完）する。なお、通常の画素信号を生成する際には、対象となる焦点検出用画素の出力を用いてもよいし、用いなくてもよい。

以下、Ａ像（第１の像信号）の生成に用いられる光電変換部３１１ａが設けられた複数の画素を第１の画素群と呼び、Ｂ像（第２の像信号）の生成に用いられる光電変換部３１１ｂが設けられた複数の画素を第２の画素群と呼ぶ。また、ＧＡ像（第３の像信号）の生成に用いられる、光電変換部３１１ｃが設けられた複数の画素を第３の画素群と呼び、ＧＢ像（第４の像信号）の生成に用いられる、光電変換部３１１ｃが設けられた複数の画素を第４の画素群と呼ぶ。

なお、本実施形態では第３の画素群および第４の画素群を第１の画素群および第２の画素群にＸ軸方向で隣接する画素群としている。しかし、第３の画素群および第４の画素群を第１の画素群および第２の画素群にＹ軸方向で隣接する画素群としてもよい。あるいは、他の画素から得られる画素値を用いてＧＡ像およびＧＢ像を生成してもよい。例えば、ＧＡ像を、第１の画素群の各画素について、隣接する複数（例えば４つ）の画素の平均値として算出された画素値から生成してもよい。

図２（Ｂ）は本実施形態の撮像素子１４の読み出し回路の構成例を示す図である。撮像素子１４は水平走査回路１５１と垂直走査回路１５３を有しており、各画素の境界には、水平走査ライン２５２と、垂直走査ライン２５４が配線されている。各光電変換部３１１ａ，３１１ｂ，３１１ｃで生成された信号は、水平走査ライン２５２および垂直走査ライン２５４を介して外部に読み出される。

図３は、撮影レンズ３００の射出瞳面と、撮像素子１４の像面中央近傍に配置された画素２１１の光電変換部３１１ａ，３１１ｂとの共役関係を説明する図である。撮像素子１４内の光電変換部３１１ａ，３１１ｂと撮影レンズ３００の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮影レンズ３００の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。

一方、本実施形態の撮影レンズ３００は変倍機能を有したズームレンズである。ズームレンズには、変倍操作を行なうと、射出瞳の大きさや、像面から射出瞳までの距離（射出瞳距離）が変化するものがある。図３では、撮影レンズ３００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状や、像高に応じた偏心パラメータの最適設計がなされる。

図３において、撮影レンズ３００は、第１レンズ群１０１、第１レンズ群を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、および第３レンズ群を保持する鏡筒部材１０５ｂを有している。また、撮影レンズ３００は、絞り１０２と、絞り開放時の開口径を規定する開口板１０２ａ、および絞り込み時の開口径を調節するための絞り羽根１０２ｂを有している。なお、図３において、撮影レンズ３００を通過する光束の制限部材として作用する１０１ｂ，１０２ａ，１０２ｂ，１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口を撮影レンズ３００の射出瞳と定義し、射出瞳距離Ｚｅｐを有している。

画素２１１の最下層には、光電変換部３１１ａ（図３（Ａ））もしくは光電変換部３１１ｂ（図３（Ｂ））もしくは光電変換部３１１ｃ（不図示）が配置される。光電変換部３１１ａ〜３１１ｃの上層には、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉが設けられる。光電変換部３１１ａ〜３１１ｃは、オンチップマイクロレンズ２１１ｉによって撮影レンズ３００の射出瞳面に投影される。換言すれば、射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部３１１ａ〜３１１ｃの表面に投影される。

図３（Ｃ）は、射出瞳面上における、光電変換部３１１ａ，３１１ｂの投影像ＥＰ１ａ，ＥＰ１ｂを示している。なお、光電変換部３１１ｃに対する投影像ＥＰ１ｃは、ＥＰ１ａとＥＰ１ｂの和におおむね等しい。なお、本実施形態では、投影像ＥＰ１ａを、第１の瞳領域と呼び、投影像ＥＰ１ｂを、第２の瞳領域と呼び、投影像ＥＰ１ｃを、第３の瞳領域と呼ぶ。

図３（Ａ），（Ｂ）では、撮影レンズ３００を通過する光束の最外部をＬで示している。光束の最外部Ｌは絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影レンズ３００でケラレがほぼ発生していない。図３（Ｃ）では、図３（Ａ）および図３（Ｂ）における光束の最外部Ｌが射出面で形成する円ＴＬを示している。光電変換部３１１ａ，３１１ｂの投影像ＥＰ１ａ，ＥＰ１ｂの大部分が円ＴＬの内部に存在することからも、ケラレがほぼ発生していないことがわかる。光束の最外部Ｌは、絞りの開口板１０２ａで規定されるため、ＴＬ＝１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａないしＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部３１１ａ及び３１１ｂの受光量は等しい。このように、本実施形態の撮像素子１４は撮影機能だけではなく、位相差検出方式の焦点検出に用いる信号を生成する装置としての機能も有している。

図４（ａ）は、撮影範囲４００に設定された焦点検出領域４０１の例を示す図である。撮像素子１４が有する画素の出力を用いた焦点検出を行う場合、コントラスト検出方式、位相差検出方式のいずれにおいても、焦点検出領域４０１に対応する撮像素子１４の領域内に含まれる画素の出力を用いる。従って、焦点検出領域４０１は撮像素子１４に設定されているとも言え、以下では説明及び理解を容易にするため、焦点検出領域４０１を撮像素子１４の画素領域として説明する。

ここでは、焦点検出領域４０１内の画素に、図２（Ａ）に示したような規則で光電変換部３１１ａ〜３１１ｃが設けられているものとする。画素の中央から水平（Ｘ軸）方向に偏倚した光電変換部３１１ａ，３１１ｂを有する焦点検出用画素を用いるため、焦点検出領域４０１内の画像の水平方向のコントラスト差によって像信号の位相差を検出する。

ここで検出される位相差は、１対の光束の進行角度の差によって発生し、単位デフォーカス量当たりの位相差は、１対の像信号を生成する光束の射出瞳面上の領域内の重心間隔と比例する。上述の通り、光電変換部３１１ｃに対する投影像ＥＰ１ｃは、投影像ＥＰ１ａとＥＰ１ｂの和に概ね等しい。従って、投影像ＥＰ１ｃの重心位置は、投影像ＥＰ１ａ，ＥＰ１ｂの１対の重心位置の中央に存在する。そのため、光電変換部３１１ａ，３１１ｂから得られる１対の像信号（Ａ像、Ｂ像）の位相差は、光電変換部３１１ａ（３１１ｂ），３１１ｃから得られた１対の像信号（Ａ像（Ｂ像）、ＧＡ像（ＧＢ像））の位相差の約２倍となる。

投影像ＥＰ１ｃはＧＡ像とＧＢ像に共通するため、ＧＡ像を生成する光束とＧＢ像を生成する光束は射出面上での重心位置は等しい。従って、光電変換部３１１ａ，３１１ｃの出力から得られるＡ像とＧＡ像の位相差と、光電変換部３１１ｂ，３１１ｃの出力から得られるＢ像とＧＢ像の位相差の和は、光電変換部３１１ａ，３１１ｂの出力から得られるＡ像とＢ像の位相差と概ね等しくなる。

図４（ｂ）は、焦点検出領域４０１内に含まれる画素のうち、ＡＦ用の像信号の生成に用いられる画素を抜き出し、各画素の出力でどの像信号が生成されるかを示した図である。図４（ｂ）においては、同種の像信号を生成する画素群（第１〜第４の画素群）ごとに、ｉ行上のｊ個目の画素を「像信号の種類」と（ｉ，ｊ）（ただしｉ，ｊは１〜Ｎの整数）で示している。例えば、Ａ像を生成する第１の画素群のうち、１行目で１個目の画素をＡ（１，１）と表す。なお、図４（ｂ）における光電変換部の色分けは、同種の像信号を生成する画素群を分かりやすくするためのものである。

なお、図４（ｂ）では、焦点検出領域４０１内の画素のうち、ＡＦ用信号の生成に用いられる画素が２行２Ｎ列分である場合を示したが、行数、列数はこれに限らない。行数は２行以上であればよく、列数についても一般的に位相差が検出できる範囲で適宜設定すればよい。なお、位相差が検出できない場合や精度が低いと判断される場合に、動的に列数を増やすようにしてもよい。

次に、カメラ１００における焦点調節動作について、図５に示すフローチャートを用いて説明する。なお、図５に示す処理は、メインミラー１３０とサブミラー１３１が光路外へ退避（ミラーアップ）した状態、より具体的にはライブビュー表示時（表示用動画撮影時）もしくは動画記録時（記録用動画撮影時）において実施される処理である。なお、ここでは撮像素子１４の出力を用いた位相差検出方式の自動焦点検出を行うものとして説明するが、上述の通り、コントラスト検出方式の自動焦点検出を行うこともできる。

Ｓ５０１でシステム制御部５０は、ＳＷ１（６２）や操作部７０などの操作により、焦点検出開始指示が入力されたか判別し、入力されていると判別された場合に処理をＳ５０２へ進め、入力されていると判別されなければ待機する。なお、システム制御部５０は、焦点検出開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとして処理をＳ５０２に進めてもよい。

Ｓ５０２でシステム制御部５０は、撮影レンズ３００のレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報を、インターフェース部３８，３３８およびコネクタ１２２，３２２を介してレンズシステム制御部３４６から取得する。

Ｓ５０３でシステム制御部５０は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、ＡＦ用の像信号（Ａ像、Ｂ像、ＧＡ像、ＧＢ像）を生成するように画像処理部２０に指示する。ＡＦ用の像信号はＡＦ部４２へ送られ、焦点検出用画素と撮影用画素とで光電変換部の大きさが異なることによる信号レベルの差を補正する処理などが行われる。

Ｓ５０４でＡＦ部４２は、Ａ像とＧＡ像、Ｂ像とＧＢ像の２対の像信号に対して公知の相関演算などを適用して像のずれ量を算出し、デフォーカス量に変換する。この処理の詳細は、後述する。ＡＦ部４２は、デフォーカス量をシステム制御部５０に出力する。

Ｓ５０５でシステム制御部５０は、Ｓ５０４でＡＦ部４２から得られたデフォーカス量に基づき、撮影レンズ３００のレンズ駆動量を算出する。

Ｓ５０６でシステム制御部５０は、インターフェース部３８，３３８、コネクタ１２２，３２２を介して、レンズ駆動量および駆動方向の情報を撮影レンズ３００のフォーカス制御部３４２に送信する。フォーカス制御部３４２は、受信したレンズ駆動量と駆動方向の情報に基づいて、フォーカスレンズを駆動する。これにより、撮影レンズ３００の焦点調節が行われる。なお、図５の動作は次フレーム以降の動画データが読み出された際にも継続的に実施されてよい。

次に、図５のＳ５０４でＡＦ部４２が行うデフォーカス量の算出処理について、図６に示すフローチャートを用いてさらに説明する。Ｓ５０４１で第１の算出手段としてのＡＦ部４２は、同じ画素行（ｍ行目とする）から生成したＡ像とＧＡ像の相関演算を行う。相関演算に用いる相関量ＣＯＲ１（ｋ）は、例えば下記の式（１）で算出することができる。

式（１）で用いる変数ｋは、相関演算時のシフト量で、−ｋｍａｘ以上ｋｍａｘ以下の整数である。ＡＦ部４２は各シフト量ｋについての相関量ＣＯＲ１（ｋ）を求めた後、Ａ像とＧＡ像の相関が最も高くなるシフト量ｋ、すなわち、相関量ＣＯＲ１が最小となるシフト量ｋの値を求める。なお、相関量ＣＯＲ１（ｋ）の算出時におけるシフト量ｋは整数とするが、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。

本実施形態では、相関量ＣＯＲ１の差分値の符号が変化するシフト量ｄｋを、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋとして算出する。

まず、ＡＦ部４２は、相関量の差分値ＤＣＯＲ１を以下の式（２）に従って算出する。

DCOR1(k)=COR1(k)-COR1(k-1) ...（２）
そして、ＡＦ部４２は、相関量の差分値ＤＣＯＲ１を用いて、差分量の符号が変化するシフト量ｄｋ１を求める。差分量の符号が変化する直前のｋの値をｋ１、符号が変化したｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、ＡＦ部４２はシフト量ｄｋ１を、以下の式（３）に従って算出する。

dk1=k1+ |DCOR1(k1)|／|DCOR1(k1)-DCOR1(k2)| ...（３）
以上のようにして第１の算出手段としてのＡＦ部４２は、Ａ像とＧＡ像の相関量が最大となるシフト量ｄｋ１をサブピクセル単位で算出し、Ｓ５０４１の処理を終える。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。

Ｓ５０４２で第２の算出手段としてのＡＦ部４２は、同じ画素行（ｍ＋１行目）から生成したＢ像とＧＢ像について、Ｓ５０４１と同様の方法で、相関が最大となるシフト量ｄｋ２を算出する。

ステップＳ５０４３では、２つの相関演算結果であるシフト量ｄｋ１、ｄｋ２の信頼性の算出を行う。相関演算結果の信頼性とは、２像の信号の一致度であり、２像の一致度が良好である場合、一般的に相関演算結果の信頼性が高い。そこで、２像の一致度に対して閾値を設け、２つの相関演算結果を得るために用いた像信号の２像の一致度の判定を行う。

ただし、相関演算結果の信頼性を判定するための指標は、２像の一致度に限定されるものではない。例えば、特開２００７−５２０７２号公報に記載されているＳレベルなどを指標として用いてもよい。Ｓレベルは、算出の際に、２像の一致度だけでなく、相関変化量やシャープネスなどを用いている。また、１次コントラスト（隣接出力信号の差の絶対値和）や２次コントラスト（隣接出力信号の二乗和）などを用いてもよい。また、信頼性を判定するための指標としてシフト量と同義であるデフォーカス量を用いたり、デフォーカス量によって上述の２像の一致度などの評価値の閾値を変更したりしてもよい。これは、デフォーカス量が大きくなるにつれて、シフト量の信頼性が低下することによる。また、信頼性を判定するための指標として、被写体の移動や手振れと相関のある値を指標としてもよい。被写体の移動や手振れは、シフト量の信頼性を下げるため、利用することができる。

また、信頼性の判定の方法として、２像の出力信号の飽和状態を用いてもよい。飽和を判定する出力レベルを設定し、飽和と判定される画素信号の数が、所定の閾値より多い画素群を用いて演算された焦点検出結果は信頼性が低いと判定する。

また、２つの相関演算結果であるシフト量ｄｋ１、ｄｋ２の信頼性を判定するに当たり、各々に異なる判定閾値を用いてもよい。焦点検出領域が、撮影範囲内の中心から離れた場所に配置される場合、第１の画素群と第２の画素群の受光する光量は、撮影光学系のケラレにより差が発生する。一般に受光量が少ない画素群から得られた信号はＳ／Ｎが低下し、得られた信号出力を用いて行った相関演算結果の信頼性が低くなる。そのため、光量差の発生する条件となる焦点検出領域の位置、撮影光学系のＦ値、射出瞳の光軸方向位置、光電変換部の投影像の光軸方向の位置などによって、２つの焦点検出結果に対して、異なる閾値を設定すればよい。

次に、ステップＳ５０４４では、２つの相関演算結果ｄｋ１、ｄｋ２の信頼性が共に高いか否かを判定する。共に信頼性が高いと判定された場合、ステップＳ５０４５に進み、２つの相関演算結果の差（ｄｋ１−ｄｋ２）の絶対値が大きいか否かを判定する。ここで行う判定は、２対の信号出力（Ａ像とＧＡ像、Ｂ像とＧＢ像）は、撮影範囲内で異なる位置であるため、異なる距離に存在する被写体に対して焦点検出を行う可能性がある。このような状況では、Ａ像とＧＡ像から得られる相関演算結果ｄｋ１とＢ像とＧＢ像から得られる相関演算結果ｄｋ２は、互いに信頼性は高いが、相関演算結果の差の絶対値が大きくなる場合がある。ステップＳ５０４５では、このような場合に備えて、２つの相関演算結果の差の絶対値が大きいか否かを判定する。

２つの相関演算結果の差が小さい場合は、ステップＳ５０４７に進み、ここまでで算出された２種のシフト量ｄｋ１、ｄｋ２の和ｄｋ＿ｓｕｍを算出し、予め不揮発性メモリ５６に記憶された敏感度を乗じることで、シフト量をデフォーカス量に換算する。デフォーカス量ＤＥＦの算出を終えると、デフォーカス量算出サブルーチンを終了する。

一方で、ステップＳ５０４４で、２つの相関演算結果のうち少なくとも一方が信頼性が低いと判定された場合（Ｓ５０４４でＮｏ）は、ステップＳ５０４６に進む。ステップＳ５０４６では、２つの相関演算結果のうち、片方の相関演算結果の信頼性が高いか否かを判定する。信頼性判定の方法や閾値の設定は、ステップＳ５０４４と同様に行えばよい。ステップＳ５０４６で、片方の相関演算結果の信頼性が高いと判定された場合（Ｓ５０４６でＹｅｓ）とステップＳ５０４５で、２つの相関演算結果の差の絶対値が大きいと判定された場合（Ｓ５０４５でＹｅｓ）には、ステップＳ５０４８に進む。

ステップＳ５０４８では、２つの相関演算結果のうち、信頼性が高いと判定された一方の相関演算結果を用いて、デフォーカス量の算出を行う。相関演算結果として得られるシフト量ｄｋ１は、第１の瞳領域を通過した光束の撮像素子上における重心位置と、第３の瞳領域を通過した光束の撮像素子上における重心位置の差と、概ね比例する。同様に、シフト量ｄｋ２は、第２の瞳領域を通過した光束の撮像素子上における重心位置と第３の瞳領域を通過した光束の撮像素子上における重心位置の差と、概ね比例する。このことと図３で説明した内容から、シフト量ｄｋ１とｄｋ２は、略同程度の大きさとなる。そのため、一方の相関演算結果を用いてデフォーカス量を算出する場合には、シフト量ｄｋ１もしくはシフト量ｄｋ２のいずれかを２倍した後、予め不揮発性メモリ５６に記憶された敏感度を乗じることでシフト量をデフォーカス量に換算する。

一方のシフト量に対して乗じる係数は２倍に限らない。例えば、撮影レンズ３００の射出瞳の光軸方向の位置と撮像素子の光電変換部の投影像の光軸方向の位置が大きく異なる場合には、上述したような２つのシフト量が同程度の大きさとならない。そのような場合には、予め不揮発性メモリ５６に記憶する敏感度として、シフト量ｄｋ１に用いるものとシフト量ｄｋ２に用いるものを２種類用意すればよい。また、１種類の敏感度のみ記憶されている場合でも、２つのシフト量の比に基づいた値を１つのシフト量に乗じることにより、２つのシフト量の和に相当する値を算出すればよい。

相関演算結果を１つのみ用いる場合は、相関演算結果を２つ用いる場合に比べて焦点検出結果の信頼性が下がる。一方で、一般に大きなデフォーカス量を検出する際には、焦点検出誤差も大きい。そのため、相関演算結果として算出されたシフト量の大きさによって、乗じる係数を変更してもよい。相関演算結果を１つのみ用いる場合には、焦点検出の信頼性が下がるため、シフト量が大きい場合には、２倍より小さい値を乗じて、算出されるデフォーカス量を小さめにしてもよい。これにより、焦点調節動作中に、合焦位置を通り過ぎることを防ぐことができ、迅速な焦点調節動作を行うことができる。

また、信号の加算数によって、相関演算結果の信頼性を高めることも考えられる。相関演算結果を１つのみ用いる場合には、２つ用いる場合に比べて、より多くの画素出力を用いて相関演算結果を算出してもよい。図４（ｂ）では、２行２列の画素から得られた信号出力をＡＦ用信号として用いる例を説明したが、より多くの焦点検出用画素が配置されている場合には、ＡＦ用信号として用いる行数を増やし、画素群ごとに出力信号の加算などを行ってもよい。また、時間的に異なるタイミングで得たＡＦ用信号を、加算するなどして相関演算結果の信頼性を高めてもよい。

次に、ステップＳ５０４６で両方の相関演算結果とも信頼性が低いと判定された場合（Ｓ５０４６でＮｏ）には、ステップＳ５０４９に進み、焦点検出不能と判断し、デフォーカス量算出サブルーチンを終了する。

本実施形態では、撮影光学系の射出瞳上の異なる領域を通る光束を光電変換し得られる信号であるＡ像とＢ像を、位相差検出方向と直交する方向に離れて配置している。そのため、Ａ像とＢ像を生成する画素が、被写体である光学像をサンプリングする位置が異なり、２つの像の類似度は保証されない。上述のような２つの信号の位相差を相関量を算出することにより求める場合に、精度よく位相差の検出を行うためには、２つの信号は一致度が高い必要がある。本実施形態では、被写体である光学像上でＡ像と概ね同じ位置をサンプリングできるＧＡ像を用いて、Ａ像とＧＡ像の位相差を算出する。さらに、同様にＢ像と概ね同じ位置をサンプリングできるＧＢ像の位相差を算出する。そして、これら２つの位相差算出結果の和を用いて、Ａ像とＢ像の位相差を高精度に算出することができる。

そして、２つの位相差算出結果の信頼性が高く、結果の差が小さい場合には、２つの位相差算出結果を加えてＡ像とＢ像の位相差を算出するため、Ａ像とＧＡ像の位相差に対して、より大きな位相差を検出することとなる。そのため、位相差検出結果に含まれるノイズの影響を低減し、高精度な位相差検出を行うことができる。

また、どちらか一方の位相差算出結果のみ信頼性が高い場合には、信頼性の高い結果を用いて焦点検出を行う。これにより、焦点検出不能となる頻度を減らすことができる。また、焦点検出に用いる方の位相差算出結果に対して、適切な処理を施すことにより、焦点検出精度を維持した焦点調節を行うことができる。

このように構成することにより、Ａ像の信号を得る画素（第１の画素群）とＢ像の信号を得る画素（第２の画素群）の配置の自由度を上げる、言い換えると、離れた位置に配置することができる。このことは、撮像用の信号を生成する際に補正しやすいＡＦ用画素配置の実現につながり、高画質化を実現することができる。

本実施形態では、Ａ像とＧＡ像から得られる相関量（第１の相関量）を用いて位相差ｄｋ１（第１の位相差）を算出し、Ｂ像とＧＢ像から得られる相関量（第２の相関量）を用いて位相差ｄｋ２（第２の位相差）を算出した。これらの位相差ｄｋ１とｄｋ２の和を用いて、デフォーカス量を算出したが、デフォーカス量の算出方法は、これに限らない。例えば、Ａ像とＧＡ像から得られる相関量（第１の相関量）とＢ像とＧＢ像から得られる相関量（第２の相関量）の和を算出し、２つの相関量の和から、上述と同様に、位相差を算出してもよい。この場合、Ａ像とＢ像から検出される位相差の量は少なくなってしまうが、相関量の差分を大きくすることができるため、シフト量の検出精度が向上する。

また、シフト量からデフォーカス量を算出する際に、位相差ｄｋ１とｄｋ２の和に対して、敏感度を乗じたが、予め不揮発性メモリ５６に位相差ｄｋ１用の敏感度と位相差ｄｋ２用の敏感度を記憶しておいてもよい。敏感度情報の記憶容量は増えるが、より精度のよい焦点検出を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態との主な違いは、撮像素子の画素配列である。第１の実施形態の撮像素子は、撮影用画素と２種類の焦点検出用画素とを配列し、１つの画素が１つの光電変換部を有する構成であった。本発明をこのような撮像素子を用いた撮像装置に適用した場合、焦点検出精度を向上できることは第１の実施形態で説明した。しかし、本発明は全画素に２つの光電変換部を設け、全画素からＡ像とＢ像の出力信号を得ることができる撮像素子を用いる撮像装置にも適用可能である。

なお、第１の実施形態で説明した撮像装置の構成（図１）、焦点検出領域（図４（ａ））、焦点調節動作やデフォーカス量算出処理（図５、図６）に関しては、本実施形態においても共通するため、説明は省略する。

本実施形態における撮像素子１４の構成を、図７〜図８を用いて説明する。なお、図７〜図８において、図２〜図３と同様の構成には同じ参照数字を付して重複する説明を省略する。

図７（ａ）は図２（ａ）と同様に、本実施形態における撮像素子１４に２次元配置された画素群のうち、縦（Ｙ軸方向）６行と横（Ｘ軸方向）８列の範囲を、撮影レンズ３００側から観察した状態を示している。ただし、本実施形態の撮像素子１４では、カラーフィルタの配列はベイヤー配列通りである。つまり、第１の実施形態とは異なり、青の位置の画素にはすべて青のカラーフィルタが設けられている。本実施形態では、同じ画素からＡ（Ｂ）像とＧＡ（ＧＢ）像が得られるため、フィルタの色を変更する必要がない。

本実施形態では、すべての画素２１１は、Ｘ軸方向に２分割された光電変換部２１１ａ，２１１ｂを有し、一方の光電変換領域の出力信号と、両方の光電変換領域の出力信号の和とを別個に読み出し可能に構成されている。そして、他方の光電変換領域の出力信号に相当する信号は、両方の光電変換領域の出力信号の和と一方の光電変換領域の出力信号との差分として得ることができる。分割された光電変換領域の出力信号は、後述する方法で位相差検出方式の焦点検出に用いることができるほか、１対の視差画像から構成される３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像の生成に用いることもできる。一方、両方の光電変換領域の出力信号の和は、通常の撮影用画素の出力信号として用いることができる。

ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態においては、図７（ａ）のマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ及び２１１ｂで、撮影レンズ３００の射出瞳を分割する。そして、焦点検出領域内の同一画素行（Ｘ軸方向）に配置された複数の画素２１１における光電変換部２１１ａの出力をつなぎ合わせて編成したものをＡ像、光電変換部２１１ｂの出力をつなぎ合わせて編成したものをＢ像とする。上述の通り、本実施形態の撮像素子は２つの光電変換領域の一方については出力を直接読み出すことができない。従って、直接読み出しできない光電変換領域の出力信号を必要とする像信号は、２つの光電変換領域の出力信号の和と、直接読み出しできる光電変換領域の出力信号との差分として得ることができる。

また、本実施形態においてＧＡ像とＧＢ像は、Ａ像とＢ像の生成に用いる画素から読み出される、２つの光電変換領域の出力信号の和から生成する。

このように生成したＡ像とＧＡ像の相対的な像ずれ量、Ｂ像とＧＢ像の相対的な像ずれ量を相関演算により検出することで、焦点検出領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。基本的な方法は第１の実施形態で説明したとおりである。

以下、Ａ像（第１の像信号）の生成に用いられる光電変換部２１１ａが設けられた複数の画素を第１の画素群と呼び、Ｂ像（第２の像信号）の生成に用いられる光電変換部２１１ｂが設けられた複数の画素を第２の画素群と呼ぶ。本実施形態では、第１の画素群はＧＡ像（第３の像信号）の生成にも用いられ、第２の画素群はＧＢ像（第４の像信号）の生成にも用いられる。

図７（ｂ）は本実施形態の撮像素子１４における読み出し回路の構成例を示す図である。撮像素子１４は水平走査回路１５１と垂直走査回路１５３を有しており、各画素の境界には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線されている。光電変換部の一方の出力と、両方の加算出力は、これらの走査ラインを介して外部に読み出される。

本実施形態では、奇数行の画素からはＡ像とＧＡ像の出力が読みだされ、偶数行の画素からはＢ像とＧＢ像の出力が読みだされるものとする。

図８は、撮影レンズ３００の射出瞳面と、撮像素子１４の像面中央近傍に配置された画素２１１の光電変換部２１１ａ，２１１ｂとの共役関係を説明する図である。画素２１１内の光電変換部２１１ａ，２１１ｂと撮影レンズ３００の射出瞳面は、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。本実施形態における構成は、各画素が図３（Ａ）および（Ｂ）に示した構成の両方を有している点を除き、第１の実施形態と同様であるため、重複する説明は省略する。

次に、本実施形態における、撮像素子１４の出力を用いた位相差検出方式の焦点検出方法について説明する。本実施形態においても第１の実施形態と同様に、Ａ像とＧＡ像、Ｂ像とＧＢ像の各々の組み合わせについて位相差を検出する。本実施形態では、奇数画素行からは光電変換部２１１ａ，２１１ｂの出力の和であるＧＡ像（撮影信号）と光電変換部２１１ａの出力であるＡ像とを読み出す。また、偶数画素行からは光電変換部２１１ａ，２１１ｂの出力の和であるＧＢ像（撮影信号）と光電変換部２１１ｂの出力であるＢ像とを読み出す。

奇数画素行におけるＢ像と、偶数画素行におけるＡ像はそれぞれ、ＧＡ像とＡ像の差とＧＢ像とＢ像の差として算出することができるが、演算を伴うため、得られる信号のＳ／Ｎは直接読み出した場合よりも低下する。そのため、高精度の位相差検出を行うには、差分として求めた像信号を用いない方がよい。したがって、本実施形態では、読み出しが可能な一方の光電変換部の出力と、両方の光電変換部の出力和とを用いて位相差を検出する。

第１の実施形態の場合と異なり、撮像信号とＡＦ用の片方の像信号は、同じ画素から得られる。そのため、図４（ｃ）に示すように、焦点検出領域４０１内に配置された２行Ｎ列の画素から、Ａ像（Ａ（ｉ，ｊ））、Ｂ像（Ｂ（ｉ，ｊ））、ＧＡ像（ＧＡ（ｉ，ｊ））およびＧＢ像（ＧＢ（ｉ，ｊ））（１≦ｉ≦２、１≦ｊ≦Ｎ）を得ることができる。そして、第１の実施形態と同様にして、Ａ像とＧＡ像、Ｂ像とＧＢ像のそれぞれの組み合わせについて、シフト量ｄｋ１，ｄｋ２を求め、その和ｄｋ＿ｓｕｍに基づいてデフォーカス量を求める。

本実施形態によれば、各画素の光電変換領域が分割されている構成の撮像素子を用いた場合に、各光電変換領域の個別読み出しよりも処理負荷を軽減しながら、精度の良い位相差検出を行うことができ、焦点検出精度を向上させることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４：撮像素子、２０：画像処理部、４２：ＡＦ部、５０：システム制御部、１００：カメラ、３００：撮影レンズ、３４６：レンズシステム制御部

Claims (16)

1. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、前記射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を算出する第１の算出手段と、
   前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、前記射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を算出する第２の算出手段と、
   前記第１の位相差と前記第２の位相差の少なくとも一方を用いて前記撮影光学系のデフォーカス量を算出する第３の算出手段と、
   前記第３の算出手段による前記撮影光学系のデフォーカス量の算出において、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量を算出するか、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量を算出するかを切り替える切り替え手段と、
   を備えることを特徴とする焦点検出装置。
2. 前記第１の位相差と前記第２の位相差の信頼性を判定する判定手段をさらに備え、前記切り替え手段は、前記信頼性に基づいて、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量を算出するか、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量を算出するかを切り替えることを特徴とする請求項１に記載の焦点検出装置。
3. 前記切り替え手段は、前記判定手段により、前記第１の位相差と前記第２の位相差の一方が信頼性が低いと判定された場合に、信頼性が高いと判定された方の位相差を用いて前記撮影光学系のデフォーカス量を算出するように切り替えることを特徴とする請求項２に記載の焦点検出装置。
4. 前記第３の算出手段は、前記第１の位相差と前記第２の位相差のうちの信頼性が高いと判定された方の位相差をほぼ２倍した値を用いて、前記撮影光学系のデフォーカス量を算出することを特徴とする請求項３に記載の焦点検出装置。
5. 前記切り替え手段は、前記判定手段により、前記第１の位相差と前記第２の位相差の両方の信頼性が高いと判定された場合に、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量を算出するように切り替えることを特徴とする請求項２に記載の焦点検出装置。
6. 前記第３の算出手段は、前記第１の位相差と前記第２の位相差を加えた値に基づいて、前記撮影光学系のデフォーカス量を算出することを特徴とする請求項５に記載の焦点検出装置。
7. 前記判定手段は、前記信頼性を判定する閾値を、前記第１の位相差の信頼性を判定する場合と、前記第２の位相差の信頼性を判定する場合とで異ならせることを特徴とする請求項２に記載の焦点検出装置。
8. 前記判定手段は、デフォーカス量の大きさに応じて、前記信頼性を判定する閾値を、前記第１の位相差の信頼性を判定する場合と、前記第２の位相差の信頼性を判定する場合とで異ならせることを特徴とする請求項７に記載の焦点検出装置。
9. 前記判定手段は、焦点検出領域の撮影範囲内の位置に応じて、前記信頼性を判定する閾値を、前記第１の位相差の信頼性を判定する場合と、前記第２の位相差の信頼性を判定する場合とで異ならせることを特徴とする請求項７に記載の焦点検出装置。
10. 前記判定手段は、前記第１の位相差と前記第２の位相差の差が、所定の閾値より大きい場合に、前記第１の位相差と前記第２の位相差の一方の信頼性が低いと判定することを特徴とする請求項２に記載の焦点検出装置。
11. 前記判定手段は、前記第１の像信号と前記第３の像信号の一致度が低い場合に、前記第１の位相差の信頼性が低いと判定し、前記第２の像信号と前記第４の像信号の一致度が低い場合に、前記第２の位相差の信頼性が低いと判定することを特徴とする請求項２に記載の焦点検出装置。
12. 前記撮影光学系のフォーカスレンズを駆動する駆動手段をさらに備え、前記駆動手段は、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量が算出される場合には、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量が算出される場合よりも、前記フォーカスレンズの駆動量を小さくすることを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
13. 前記第１の算出手段は、前記第１の像信号を複数の画素について加算した値と前記第３の像信号を複数の画素について加算した値とに基づいて、前記第１の位相差を算出し、前記第２の算出手段は、前記第２の像信号を複数の画素について加算した値と前記第３の像信号を複数の画素について加算した値とに基づいて、前記第２の位相差を算出し、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量を算出する場合には、前記第１の算出手段と前記第２の算出手段は、加算する前記複数の画素の数を多くすることを特徴とする請求項１乃至１２のいずれか１項に記載の焦点検出装置。
14. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく第１の像信号と、前記射出瞳の全領域を通過した光束に基づく第３の像信号との第１の位相差を算出する第１の算出工程と、
    前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第２の像信号と、前記射出瞳の全領域を通過した光束に基づく第４の像信号との第２の位相差を算出する第２の算出工程と、
    前記第１の位相差と前記第２の位相差の少なくとも一方を用いて前記撮影光学系のデフォーカス量を算出する第３の算出工程と、
    前記第３の算出工程における前記撮影光学系のデフォーカス量の算出において、前記第１の位相差と前記第２の位相差の両方を用いて前記撮影光学系のデフォーカス量を算出するか、前記第１の位相差と前記第２の位相差のいずれかを用いて前記撮影光学系のデフォーカス量を算出するかを切り替える切り替え工程と、
    を有することを特徴とする焦点検出方法。
15. 請求項１４に記載の焦点検出方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の焦点検出方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images