JP6595797B2

JP6595797B2 - 撮像装置およびその制御方法

Info

Publication number: JP6595797B2
Application number: JP2015097704A
Authority: JP
Inventors: 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-05-12
Filing date: 2015-05-12
Publication date: 2019-10-23
Anticipated expiration: 2035-05-12
Also published as: JP2016213757A

Description

本発明は撮像装置およびその制御方法に関し、特には複数のフォトダイオードもしくは光電変換領域を有する画素を有する撮像素子を用いる撮像装置およびその制御方法に関する。

撮像装置の自動焦点検出の方法として、位相差検出方式（位相差ＡＦ）とコントラスト検出方式（コントラストＡＦ）の２つが広く用いられている。従来、位相差ＡＦには専用のＡＦセンサを用いていたが、近年はコントラストＡＦと同様、撮像素子から得られる信号を用いるものも実現されており、像面位相差ＡＦなどと呼ばれている。

特許文献１には、焦点検出用の信号を出力する専用の画素（焦点検出用画素）を離散的に配置することにより、像面位相差ＡＦを実現する撮像素子が開示されている。焦点検出用画素の出力は通常画素（撮像用画素）として利用できないため、欠陥画素と同様に取り扱うのが一般的である。

一般的な撮像装置では撮影スタンバイ時などにおいて撮影から撮影画像の表示までの動作を繰り返し実行するライブビュー表示動作を行い、表示装置をビューファインダー（ＥＶＦ）として機能させている。現在の撮像装置では表示画素数よりも撮像素子の画素数の方がずっと多いため、撮像素子の読み出し時に画素を間引くことで、撮像画像に対する処理の軽減を図る場合がある。画素を間引いて読み出した場合、読み出された画像における１画素の大きさは、間引きしない場合よりも相対的に大きくなるので、焦点検出用画素に起因する画質劣化の影響もまた大きくなる。一方で、縮小画像の画質を考慮して焦点検出用画素を間引くようにすると、ライブビュー表示中には像面位相差ＡＦが実行できなくなる。

そのため、特許文献１では、縮小画素に占める焦点検出用画素の割合が異なる複数の間引き読み出しモードを用意し、撮像装置の動作状態、具体的にはＡＦ動作中か否か、動画記録中か否か、といった条件によって間引き読み出しモードを切り替えている。

特開２０１０−１８１７５１号公報

特許文献１に記載された方法では、優先する用途に適した間引き読み出しモードを設定する構成であるため、優先されない用途については性能の低下が避けられなかった。また、読み出しモードの切り替えや切り替えに伴う露出条件の変更に時間を要するという問題があった。

本発明はこのような従来技術の課題に鑑みなされたものであり、異なる用途のそれぞれに適した信号を撮像素子から取得可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、１つのマイクロレンズに対して４つの光電変換領域を有する画素が２次元的に配置された撮像素子と、撮像素子上に被写体像を形成するための結像光学系と、結像光学系に含まれるフォーカスレンズを駆動するための駆動手段と、撮像素子の画素行のそれぞれの読み出しモードを、４つの光電変換領域の加算出力を読み出す第１モードと、４つの光電変換領域のうち垂直方向に隣接する２つの光電変換領域の加算出力を読み出す第２モードとを含む複数のモードのいずれかに設定する設定手段と、撮像素子の露光および読み出しタイミングを制御する制御手段と、第１モードで読み出された加算出力に基づく表示用画像を表示する表示手段と、を有し、撮像素子は、第２モードに設定された画素行から読み出された出力に基づく基準像信号と参照像信号との相関を表す値を生成する演算手段と、被写体像からＡＦ評価値として用いる高周波成分を抽出する抽出手段と、を含み、設定手段は、表示画像用もしくはスキャンＡＦ用の信号を生成するための画素行については第１モードに、位相差ＡＦ用の信号を生成するための画素行については第２モードに設定する、ことを特徴とする撮像装置によって達成される。

このような構成により本発明によれば、異なる用途のそれぞれに適した信号を撮像素子から取得可能な撮像装置およびその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示す図第１実施形態の撮像素子の模式図第１実施形態における撮影モードの動作を示すフローチャート第１実施形態におけるタイミング制御の例を示す図第１実施形態におけるタイミング制御の例を示す図第１実施形態の位相差ＡＦ処理の詳細を示すフローチャート第１実施形態のスキャンＡＦ処理の動作の説明するための模式図第１実施形態のＲＦＡＦ処理の詳細を示すフローチャート第２実施形態の撮像素子の模式図第２実施形態におけるタイミング制御の例を示す図第３実施形態の撮像素子の模式図第４実施形態における撮影モードの動作を示すフローチャート第４実施形態における撮像素子の回路構成例を示す模式図

以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。なお、以下の実施形態においては、本発明に係る焦点検出装置を撮像装置に適用した例について説明するが、本発明に係る焦点検出装置は、撮像を主目的とする装置への適用に限定されず、撮像機能を有する任意の電子機器に適用可能である。このような電子機器には、例えば携帯電話機、スマートフォン、ゲーム機、パーソナルコンピュータ、電子手帳、タブレット端末、メディアプレーヤ、電子ブックリーダ、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、本発明の第１実施形態に係る焦点検出装置を適用可能な撮像装置の一例としてデジタルカメラの概略構成を示すブロック図である。
デジタルカメラ１において、ズームレンズ２及びフォーカスレンズ３は、撮影光学系（結像光学系）を構成している。絞り４は撮影光学系を透過する光束の量を制御する。ズームレンズ２、フォーカスレンズ３、絞り４は、レンズ鏡筒３８内に配置されている。

撮影光学系を透過した光束は例えばＣＭＯＳイメージセンサである撮像素子５の撮像面上に被写体像を形成する。撮像素子５は２次元配列された画素が有する光電変換部によって被写体像を光電変換し、画素単位の電気信号に変換する。後述するように、本実施形態で用いる撮像素子５は、各画素が複数の光電変換領域（副画素）を有し、光電変換領域ごとの読み出しと、複数の光電変換領域を加算読み出しすることが可能である。撮像回路６は撮像素子５により光電変換された電気信号に各種の画像処理を施すことにより所定の画像信号を生成する。Ａ／Ｄ変換回路７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変換する。

メモリ（ＶＲＡＭ）８はＡ／Ｄ変換回路７が出力するデジタル画像信号を一時的に記憶するバッファメモリとして、また表示画像用のビデオメモリとして用いられる。Ｄ／Ａ変換回路９はメモリ８に記憶された画像信号を読み出してアナログ信号に変換するとともに、再生出力に適する形態の画像信号に変換する。液晶表示装置（ＬＣＤ）１０は、Ｄ／Ａ変換回路９により変換された画像信号を表示する表示装置の一例であり、デジタルカメラ１の各種情報やメニュー画面の表示、撮影画像の表示などに用いられるほか、ＥＶＦとしても機能する。圧縮／伸長回路１１は、メモリ８に一時記憶された画像信号を読み出してデータ量を圧縮する符号化処理を施し、記憶用メモリ１２での記憶に適した形態の画像データを生成する。また、圧縮／伸長回路１１は、記憶用メモリ１２に記憶された符号化画像データを読み出して復号化処理を施し、再生表示に適した画像データを生成する。記憶用メモリ１２は不揮発性メモリであり、例えば着脱可能な半導体メモリカードや小型ハードディスクドライブなど、デジタルカメラの記録媒体として一般的に用いられる任意の記憶媒体を用いることができる。

ＡＥ処理回路１３はＡ／Ｄ変換回路７から出力される画像信号を用いて自動露出制御（ＡＥ）処理を行い、適切な撮影条件を決定する。また、スキャンＡＦ回路１４はＡ／Ｄ変換回路７から出力される画像信号を用いてコントラスト方式の自動焦点検出（ＡＦ）処理を行う。

ＲＦＡＦ（リフォーカスＡＦ）回路３１は、撮像素子５から得られる像面位相差ＡＦ用の基準像信号（Ａ像）に対して参照像信号（Ｂ像）を相対的にシフトしながら両者の和を演算して、仮想撮像面における画像信号（リフォーカス信号）を生成する。そして、ＲＦＡＦ回路３１は、リフォーカス信号についてスキャンＡＦ回路１４で算出されるＡＦ評価値に基づいてコントラスト方式のＡＦ処理を行う。

位相差ＡＦ回路３７は、撮像素子５から得られる像面位相差ＡＦ用の一対の像信号（基準像信号（Ａ像）と参照像信号（Ｂ像））を用いた位相差検出方式のＡＦ処理を行う。この処理には、像信号の修正処理や、位相差検出処理、デフォーカス量算出処理などが含まれる。

ＣＰＵ１５はプログラマブルプロセッサの一例であり、例えばＥＥＰＲＯＭ２５に記憶されたプログラムを実行することによってデジタルカメラ１の各構成要素の動作を制御し、デジタルカメラ１の各種の機能を実現する。タイミングジェネレータ（ＴＧ）１６は図示しないクロック発振器に接続され、ＣＰＵ１５の制御に従って所定のタイミング信号を発生し、センサドライバ１７および撮像回路６に供給する。センサドライバ１７はＴＧ１６からのタイミング信号に基づいて撮像素子５を駆動する。

第１モータ駆動回路１８は、ＣＰＵ１５の制御に基づいて絞り駆動モータ２１を駆動することで絞り４の開口量（絞り値）を変更する。第２モータ駆動回路１９は、ＣＰＵ１５の制御に基づいてフォーカス駆動モータ２２を駆動することでフォーカスレンズ３の位置を変更して、撮影光学系の合焦距離を変更する。また、第３モータ駆動回路２０は、ＣＰＵ１５の制御に基づいてズーム駆動モータ２３を駆動することでズームレンズ２の位置を変更し、撮影光学系の焦点距離（画角）を変更する。

操作スイッチ２４は各種のスイッチ群からなり、例えば、主電源スイッチ、レリーズスイッチ、再生スイッチ、ズームスイッチ、光学式ファインダー（ＯＶＦ）／電子ビューファインダー（ＥＶＦ）切り替えスイッチ等を含む。主電源スイッチは、デジタルカメラ１を起動させ、電源供給を行うためのものである。レリーズスイッチは、第１ストロークでオンするＳＷ１と、第１ストロークより深い第２ストロークでオンするＳＷ２を有する。ＳＷ１のオンは撮影準備動作の開始指示であり、ＡＥ処理、ＡＦ処理を開始させる。そしてＳＷ２のオンは記録用の撮影（本撮影）の開始指示であり、ＡＥ処理で決定した条件による露光動作と、撮影後の記録用画像データの生成処理が実行される。再生スイッチは再生動作を開始させ、ズームスイッチは第３モータ駆動回路２０を通じて撮影光学系のズームレンズ２を移動させる。

ＥＥＰＲＯＭ２５は電気的に書き換え可能な読み出し専用メモリで、ＣＰＵ１５が実行するプログラムや、各種の設定値、ＧＵＩ表示用のデータなどが予め記憶されている。電池２６はデジタルカメラ１の電源である。スイッチング回路２７は、ＣＰＵ１５の制御に従ってフラッシュ発光部２８の発光動作を制御する。表示素子２９は例えばＬＥＤなどであり、合焦時に点灯する素子や、警告時に点灯する素子などが含まれる。スピーカー３０は音声によるガイダンスや警告などに用いられる。

ＡＦ補助光発光部３３は、ＡＦ評価値を取得するための撮影時に発光するＬＥＤ等の光源で構成される。ＡＦ補助光駆動回路３２はＣＰＵ１５の制御に従ってＡＦ補助光発光部３３を駆動する。振れ検出センサ３５は例えば加速度センサであり、デジタルカメラ１の振れを検出する。振れ検出回路３４は振れ検出センサ３５の信号を処理する。顔検出回路３６はＡ／Ｄ変換回路７からの出力を受けて画像中に含まれる、目、眉などの顔を特徴付ける部分を探索し、人物の顔領域の位置や大きさなどを検出する。

このように構成されたデジタルカメラ１の基本動作を以下に説明する。まず、撮影時には、レンズ鏡筒３８に入射した被写体からの光束は、絞り４によってその光量が調整された後、撮像素子５の受光面に結像される。結像された被写体像は、撮像素子５による光電変換処理により電気的な信号に変換され、撮像回路６に出力される。撮像回路６では、入力した信号に対して各種の信号処理（ノイズ低減処理、ガンマ補正処理、色補間処理、ホワイトバランス調整処理など）が施され、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換回路７に出力され、デジタル画像信号（画像データ）に変換された後、メモリ８に一時的に格納される。なお、撮像回路６で適用される信号処理の一部は、Ａ／Ｄ変換後に実行するように構成してもよい。

メモリ８に格納された画像データはＤ／Ａ変換回路９へ出力されアナログ信号に変換され、表示に適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。なお、撮像素子５による光電変換からＬＣＤ１０に画像を表示する処理までを実質的にリアルタイムに繰り返し実行することで、ＬＣＤ１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。なお、ＬＣＤ１０をＥＶＦとして機能させるために表示する画像をスルー画像もしくはライブビュー画像と呼ぶことがある。後述するように、ライブビュー画像を生成する際には、記録用の画像を生成する場合よりも撮像素子５から読み出す画素数を減らすことができる。

メモリ８に格納された画像データは圧縮／伸長回路１１にも出力され、JPEG形式やMPEG形式など、予め定められた形式の符号化処理が適用される。なお、符号化処理によって必ずしもデータ量が圧縮されなくてもよい。圧縮／伸長回路１１はさらに、符号化された画像データに、予め定められた情報を有するヘッダなどを付加し、予め定められたデータフォーマットを有する画像データファイルとして記憶用メモリ１２に記憶する。

操作スイッチ２４のうち再生スイッチが操作されると、記憶用メモリ１２に記憶された画像データファイルから画像データが読み出されて圧縮／伸長回路１１に出力され、復号化処理が適用された後、メモリ８に出力され一時的に記憶される。そして、メモリ８に記憶された画像データはＤ／Ａ変換回路９でアナログ信号に変換された後、ＬＣＤ１０に画像として表示される。

Ａ／Ｄ変換回路７が出力する画像データは、メモリ８とは別にＡＥ処理回路１３、スキャンＡＦ回路１４、位相差ＡＦ回路３７、ＲＦＡＦ回路３１、および顔検出回路３６に対しても出力される。
ＡＥ処理回路１３は、入力された画像データの輝度値を累積加算するなどして、被写体の明るさを検出し、検出された明るさに応じて露出条件（絞り値、露光時間（シャッタースピード）。撮影感度やフラッシュの点灯要否の情報が含まれてもよい）を決定する。露出条件は例えば被写体の明るさと予め定められたプログラム線図とを用いて決定することができる。ＡＥ処理回路１３は、決定した露出条件を表す情報（ＡＥ評価値）をＣＰＵ１５に出力する。

スキャンＡＦ回路１４は、入力された画像データからＡＦ評価値（コントラスト評価値）を求める。スキャンＡＦ回路１４は例えば、ハイパスフィルタ（ＨＰＦ）等を画像データに適用して抽出した高周波成分に、累積加算等の演算処理を行って、高周波帯域における輪郭成分量などに対応する値をＡＦ評価値として算出する。一般的には、スキャンＡＦ回路１４は、指定された焦点検出領域（ＡＦ領域）に対応する画像データについてＡＦ評価値を求める。ＡＦ領域は、画面の中央部分あるいは任意の位置に１箇所設定される場合、互いに隣接する複数の領域に設定される場合、離散的に分布する複数の領域に設定される場合などがある。また、画像中で検出された１つ以上の顔領域にＡＦ領域が設定される場合もある。

スキャンＡＦはＡＦ評価値が最大となるフォーカスレンズ位置を探索することで焦点検出を行う。そのため、ＣＰＵ１５は第２モータ駆動回路を用いてフォーカスレンズ位置を変更しながらスキャンＡＦ回路１４からＡＦ評価値を取得し、ＡＦ評価値が最大となるフォーカスレンズ位置を探索する。

位相差ＡＦ回路３７は、指定されたＡＦ領域に対応する画像データから得られる、１対の位相差ＡＦ用の信号（基準像信号（Ａ像）および参照像信号（Ｂ像））に像修正を適用する。そして、位相差ＡＦ回路３７は、基準像信号（Ａ像）に対して参照像信号（Ｂ像）を相対的にずらしながら相関演算を行い、相関が最も高くなる像ずらし量（２像の位相差）を求める。なお、位相差ＡＦを行う場合には、Ａ像とＢ像が必要となるため、撮像素子５の読み出し方法を通常の撮像画像を読み出す場合と異ならせるが、その点については後述する。ここでは、Ａ／Ｄ変換回路７から、Ａ像とＢ像に対応した別個の画像データ、もしくはＡ像とＢ像が生成できる画像データが供給されるものとする。

なお、位相差ＡＦ用の信号に対する像修正は、Ａ像およびＢ像を生成する画素の位置（具体的には像高）に応じたシェーディング補正や光学歪み補正などである。これは、撮像面位相差ＡＦ方式では、位相差ＡＦ専用のセンサを用いる場合と異なり、光束が画素に入射する前にこれらの補正を行うための部材を設けることができないことによる。

ＣＰＵ１５は、位相差ＡＦ回路３７で求められた２像の位相差からデフォーカス量とデフォーカス方向を求め、求めたデフォーカス量および方向に従って第２モータ駆動回路１９を制御してフォーカスレンズ３を駆動することで焦点検出を行う。

ＲＦＡＦ回路３１は、指定されたＡＦ領域に対応する画像データから得られる、基準像信号（Ａ像）および参照像信号（Ｂ像）について、基準像信号（Ａ像）に対して参照像信号（Ｂ像）を相対的にずらしながらＡ像とＢ像の加算信号を作成する。ＲＦＡＦ回路３１は、加算信号と像ずらし量とを対応付けて例えば回路内の記録領域に記録していく。像ずらし量の異なる加算信号は、フォーカスレンズ位置の異なる画像信号に相当するリフォーカス信号である。そのため、像ずらし量の異なる加算信号をスキャンＡＦ回路１４に順次入力してＡＦ評価値を取得し、像ずらし量とＡＦ評価値とを対応付けてＲＦＡＦ回路３１内の記録領域に記録する。ＣＰＵ１５は、加算信号に対するＡＦ評価値が極大値となる像ずらし量に対応するフォーカスレンズ位置を求め、第２モータ駆動回路１９を制御してフォーカスレンズ３を、求めた位置に駆動することで焦点検出を行う。

なお、スキャンＡＦ処理によって求められたＡＦ評価値が極大となるフォーカスレンズ３の位置や、位相差ＡＦ処理によって求められたデフォーカス量を零とするフォーカスレンズ３の位置で、記録される画像の解像度が最大とならない場合がある。これは、主に撮影レンズの光学特性が原因で生じる誤差である。そのため、本実施形態では、後述するように、スキャンＡＦや位相差ＡＦに基づく合焦位置にフォーカスレンズ３を移動させた後、ＲＦＡＦ処理を実行し、ＡＦ評価値が極大となるフォーカスレンズの位置を探索する。そして、ＣＰＵ１５は、スキャンＡＦや位相差ＡＦに基づく合焦位置を補正したピント補正位置を求め、このピント補正位置を最終的な合焦位置とする。

顔検出回路３６は、画像データに目、眉などの顔を特徴付ける領域の探索処理を適用し、人物の顔領域の有無、顔領域の大きさ、傾き、位置などを求める。これらの検出結果を顔検出回路３６はＣＰＵ１５に出力する。

ＴＧ１６からは所定のタイミング信号がＣＰＵ１５、撮像回路６、センサドライバ１７へ出力されており、ＣＰＵ１５はこのタイミング信号に同期して各種の制御を行う。また撮像回路６は、ＴＧ１６からのタイミング信号に同期して色信号の分離等の各種画像処理を行う。さらにセンサドライバ１７は、ＴＧ１６のタイミング信号に同期して撮像素子５を駆動する。

またＣＰＵ１５は、第１モータ駆動回路１８、第２モータ駆動回路１９、第３モータ駆動回路２０をそれぞれ制御する。これにより、ＣＰＵ１５は、絞り駆動モータ２１、フォーカス駆動モータ２２、ズーム駆動モータ２３を介して、絞り４の開口量、フォーカスレンズ３およびズームレンズ２の位置を制御する。

具体的には、ＣＰＵ１５は、ＡＥ処理回路１３から得られるＡＥ評価値に基づき第１モータ駆動回路１８を制御して絞り駆動モータ２１を駆動し、絞り４の開口量を制御する。また、絞り４がメカニカルシャッタを兼ねている場合、ＣＰＵ１５はその動作も制御する。またＣＰＵ１５はスキャンＡＦ処理時には予め定められたスキャン範囲を、予め定められたステップで、フォーカスレンズ３の位置を順次変更するように第２モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動する。また、ＣＰＵ１５は、第２モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ３をＡＦ処理で得られた補正ピント位置に移動させる。

また操作スイッチ２４のうち不図示のズームスイッチが操作された場合、ＣＰＵ１５は、第３モータ駆動回路２０を制御してズーム駆動モータ２３を駆動制御することによりズームレンズ２を移動し、撮影光学系の変倍動作（ズーム動作）を行う。

図２（ａ），（ｂ）は、撮像素子５の一部における垂直方向の構成および画素配列の例を模式的に示している。
図２（ａ）に示すように、画素２０１の各々には１つのマイクロレンズ２２０と、カラーフィルタ２３０が設けられ、カラーフィルタを透過した特定波長帯の光が第１および第２のフォトダイオード（ＰＤ）２０２Ａ，２０２Ｂに入射する。第１のＰＤ２０２Ａや第２のＰＤ２０２Ｂのように、同一画素内に存在する個々のフォトダイオード（または光電変換領域）を副画素と呼ぶこともある。本実施形態において、カラーフィルタは原色ベイヤ配列を有し、各画素にはＲ（赤），Ｇ（緑），Ｂ（青）のいずれか１つが設けられる。原色ベイヤ配列は、図２（ｂ）に示すように、２×２画素を１単位として斜め方向に２つのＧフィルタを配置し、残りの位置に１つずつのＲおよびＢフィルタを配置する。Ｒフィルタが設けられた画素をＲ画素と呼ぶことがある。他の色についても同様である。従って、同色画素とは、同じ色のカラーフィルタが設けられた画素を意味する。

本実施形態においては、撮像素子５における隣接する２水平画素ライン（画素行）を単位として、位相差ＡＦ用の像信号の生成に用いる画素行と、ライブビュー画像（表示用画像）の生成に用いる画素行とを周期的かつ交互に設定している。
ライブビュー画像の生成に用いる画素行を読み出す場合には、各画素が有する第１および第２のＰＤ２０２Ａ，２０２Ｂの出力を加算して読み出す。また、ＬＣＤ１０の表示領域の画素数に合わせた画像を読み出すため、水平方向の同色画素を複数加算したり、垂直方向ではカラーフィルタの配置が同じ画素行を加算したり、画素行を間引いたりすることができる。一方、位相差ＡＦ信号の生成に用いる画素行を読み出す場合には、各画素が有する第１および第２のＰＤ２０２Ａ，２０２Ｂの出力を別個に読み出す。以下では、基準像信号（Ａ像）が第１のＰＤ２０２Ａから読み出した信号で形成され、参照像信号（Ｂ像）が第２のＰＤ２０２Ｂから読み出した信号で形成されるものとする。

次に図３に示すフローチャートを用いて、デジタルカメラ１の撮影動作について説明する。ここではデジタルカメラ１の主電源スイッチがオン状態であり、かつ撮影（録画）モードで動作しているものとする。
まずＳ１においてＣＰＵ１５（設定手段）は、撮像素子５の駆動モードを、ＬＣＤ１０へのライブビュー表示と位相差ＡＦとの両方を実行するための駆動モード（第１の駆動モード）に設定する。

第１の駆動モードでは、表示画像用の画素行については、各画素２０１における第１および第２のＰＤ２０２Ａ、２０２Ｂの出力を加算し、位相差ＡＦ用の画素行については第１および第２のＰＤ２０２Ａ、２０２Ｂの出力を加算しない。以下では、同一画素内の複数のＰＤの出力を加算することを画素内加算、異なる画素の出力を加算することを画素単位の加算または画素間加算という。また、画素内の全てのフォトダイオードもしくは光電変換領域の加算出力を取得する画素行を第１モードの画素行という。画素内の一部のフォトダイオードもしくは光電変換領域の出力を取得する（画素内加算は行っても行わなくてもよい）画素行を第２モードの画素行ということがある。第１モード、第２モードとも、画素間加算は行っても行わなくてもよい。そして、ＣＰＵ１５は、位相差ＡＦ用の画素行と表示画像用の画素行が２画素ラインごとに入れ替わるように（図２参照）、駆動することを決定する。

Ｓ２でＣＰＵ１５は、第１の駆動モードにおける露光条件、特に露光時間を設定する。
ＣＰＵ１５は、表示画像用の画素行については、被写体の視認に適した露光量と、パンニングや被写体の移動に対する追従性等を考慮して、露光条件を決定する。また、ＣＰＵ１５は、位相差ＡＦ用の画素行については、位相差ＡＦに適した露光量と、被写体の移動や手振れによるＡＦへの影響等を考慮して露光条件を決定する。表示画像用の画素行と位相差ＡＦ用の画素行とではＰＤ出力の加算・非加算の差があるため、ＣＰＵ１５は例えば加算ＰＤ出力数の比に応じた差を有するように露光量を設定する。なお、表示画像用の画素行において、水平方向で同色画素の加算を行う場合には、画素内のＰＤ出力の加算だけでなく、画素単位での加算も考慮して露光量を決定する。露光条件（露光時間）を決定すると、ＣＰＵ１５は撮像素子５の露光および読み出しを行うためにＴＧ１６の動作を制御する。

図４のタイミングチャートを用い、第１の駆動モードにおける露光・読み出し制御動作について説明する。第１の駆動モードでは、表示画像用の画素行は第１モードの画素行とし、位相差ＡＦ用の画素行は第２モードの画素行とする。図４の例は、表示画像用の画素行では画素内の加算のみで、画素単位の加算は行わない場合を示している。このように、表示画像用の画素行と位相差ＡＦ用の画素行とで、露出条件および読み出し方法を異ならせることで、それぞれの用途に適した露出条件や読み出し方法が実現できる。

具体的な制御動作について説明する。なお、図４に示す制御信号は、ＣＰＵ１５（制御手段）の制御に従い、ＴＧ１６からセンサドライバ１７を通じて撮像素子５に入力される。
垂直同期信号に同期して、表示画像用の画素行と位相差ＡＦ用の画素行のそれぞれについて、フレーム内の１行目に対する露光開始信号が入力され、露光が開始される（ｔ０）。表示画像用の画素行に対する露光時間が経過すると（ｔ１）、読み出し信号により１行目の読み出し（ＰＤ出力の加算読み出し）が開始される（ｔ２）。

表示画像用の画素行の２行目については、露光開始信号がｔ０から所定の遅延時間後に入力されて露光が開始される（ｔ０’）。１行目と同様の露光時間が経過したら（ｔ１’）、読み出し信号により２行目の読み出しが開始される（ｔ２’）。所定の遅延時間（ｔ０’−ｔ０）は、各画素行の読み出し期間が重ならないように設定され、読み出し時間以上となるように設定される（ここでは読み出し時間と等しい遅延時間を設定している）。残りの表示画像用の画素行についても同様の露光ならびに読み出し制御を行い、１フレーム分の表示用画素の信号を取得する。１フレーム分の表示用画素の信号が取得されたら、次のフレームの表示用画素の信号の取得を開始する（ｔ０’’’）。

一方、位相差ＡＦ用の画素行については、１行目の露光は表示画像用の画素行と同じタイミング（ｔ０）で開始されるが、信号の加算が行われないため露光時間が長く、ｔ１”に露光が終了する。露光が終了すると、読み出し信号により１行目の読み出しが開始される（ｔ２”）。図４では図を簡単にするためまとめて記載しているが、上述の通り読み出しはＰＤごとに行われる。２行目の露光は、ｔ０から所定の遅延時間後のｔ０”に開始され、１行目と同じ露光時間が経過すると（ｔ０’’’）、読み出し信号により２行目の読み出しが開始される。この所定の遅延時間（ｔ０”−ｔ０）は、位相差ＡＦ用の画素行の読み出し期間が重ならないように設定され、読み出し時間以上となるように設定される（ここでは読み出し時間と等しい遅延時間を設定している）。残りの位相差ＡＦ用の画素行についても同様の露光ならびに読み出し制御を行い、１フレーム分の位相差ＡＦ用画素（ＰＤ２０２Ａ、２０２Ｂ）の信号を取得する。１フレーム分の位相差ＡＦ用の信号が取得されたら、次のフレームの位相差ＡＦ用画素の信号の取得を開始する。

図４に示すように、ライブビュー画像（表示用画像）を得るための露光時間より、位相差ＡＦ用の信号を得るための露光時間の方が長くなるため、位相差ＡＦ用信号の読み出しレートは表示用画像の読み出しレートより遅くなる。また、画素単位の加算（水平方向の同色画素の加算や、垂直方向における画素行の加算）を行う場合、表示用画像の１フレームあたりの画素数はさらに少なくなる。読み出しレートは、露光時間と読み出し画素数により決まるため、表示用画像で画素単位の加算を行う場合は、位相差ＡＦ用信号の読み出しレートと表示用画像の読み出しレートの差は図４よりも大きくなることがある。

省電力化のため、表示用画像を１フレーム分読み出し終えたら、位相差ＡＦ用の信号が１フレーム分読み出されるまで表示画像用の画素行の駆動を停止してもよい。この場合、表示用画像と位相差ＡＦ用の信号の読み出しレートは等しくなる。

図３に戻り、Ｓ３においてＣＰＵ１５は、読み出した１フレーム分の表示用画像をＬＣＤ１０に表示する。より具体的には、表示用画像の信号は撮像回路６によって所定の信号処理を受けた後、Ａ／Ｄ変換回路７でデジタル信号（画像データ）に変換され、メモリ８に一時的に格納される。ＣＰＵ１５はメモリ８に格納された画像データをＤ／Ａ変換回路９へ出力する。Ｄ／Ａ変換回路９は、画像データをＬＣＤ１０に表示する形態の画像信号に変換してＬＣＤ１０に出力する。以上の動作により、撮像素子５の表示画像用の画素行から読み出された信号が、ＬＣＤ１０に画像として表示される。

次いでＳ４においてＣＰＵ１５は、操作スイッチ２４に含まれるレリーズスイッチの状態を確認する。レリーズスイッチのＳＷ１がオン状態であれば、ＣＰＵ１５は処理をＳ５に進めて、位相差ＡＦ処理を行う。この処理については後述する。一方、レリーズスイッチのＳＷ１がオフ状態であれば、ＣＰＵ１５は処理をＳ２に戻し、次のフレームについての処理を行う。

Ｓ５でＣＰＵ１５は、位相差ＡＦ回路３７を用いて、設定されているＡＦ領域に含まれる位相差ＡＦ信号用の画素行から読み出された信号に基づく位相差ＡＦ処理を実行する。そして、Ｓ６でＣＰＵ１５は、位相差ＡＦ回路３７による焦点検出結果だけで合焦可能かどうかを、例えばデフォーカス量の信頼度などに基づいて判断する。位相差ＡＦ回路３７による焦点検出結果だけで合焦可能と判断されれば、ＣＰＵ１５は処理をＳ１１へ進め、位相差ＡＦ処理で検出されたデフォーカス量について補正ピント位置を求める。そしてＣＰＵ１５は、第２モータ駆動回路１９を制御して、フォーカスレンズ３を補正ピント位置に移動させ、処理をＳ１２（ＲＦＡＦ処理）に進める。

一方、Ｓ６において、位相差ＡＦ回路３７による焦点検出結果だけでは合焦可能と判断されない場合、ＣＰＵ１５は処理をＳ７に進め、撮像素子５の駆動モードを、スキャンＡＦと位相差ＡＦを実行するための駆動モード（第２の駆動モード）に設定する。第２の駆動モードでは、スキャンＡＦ用の画素行は第１モードの画素行とし、位相差ＡＦ用の画素行は第２モードの画素行とする。絞りは変更しない。これと同時に撮像素子５の制御タイミングをスキャンＡＦ処理用の制御タイミング（図５）に変更する。

スキャンＡＦ処理を高速化するにはフレームレートを上げる必要があるため、露光時間を短くしなければならない。露光時間を短くした分の信号レベルの低下は、信号の増幅率を上げることで補うことができる。しかし、増幅率が高くなりすぎるとスキャンＡＦの精度に影響するため、増幅率には上限を定めておく。増幅率を上限にしても露光量が不足する場合には、増幅率は上限値のまま、露光時間を伸ばして適正な露光量を確保するが、この場合でも図４と比較すれば露光時間は短くなる。

例えば、増幅率の上限がＥｖ値の５段分に相当するとする。例えば表示用画像に最適な露光時間が３０分の１秒（増幅率０段）である場合にスキャンＡＦ用の露光時間を１２０分の１秒とする場合、増幅率は２段となる。しかし、低照度になり表示用画像に最適な露光時間が３０分の１秒（増幅率４段）になった場合、増幅率は５段が上限のため、スキャンＡＦ用の露光時間は６０分の１秒までしか速くできない。

スキャンＡＦは撮影画像（画素内加算した画像）を用いるため、表示用画像と同様、水平方向および垂直方向で画素単位の加算や間引きを行って画素数を削減し、フレームレートを上げることができる。なおスキャンＡＦ処理中は、スキャンＡＦに用いる撮影画像をライブビュー表示にも用いる。

図５のタイミングチャートは、スキャンＡＦ用の画素行の露光時間と読み出し時間が短くなっていることを除き、図４のタイミングチャートと基本的に同じであるため、説明を省略する。スキャンＡＦ用の画素行の読み出し時間が短くなっているのは、図４における表示用画像よりも水平方向における画素数を削減していることによる。

Ｓ８においてＣＰＵ１５は、スキャンＡＦ回路１４を用いたスキャンＡＦ処理を行う。詳細については後述する。そして、Ｓ９でＣＰＵ１５は、スキャンＡＦ回路１４による焦点検出により、合焦可能と判定されればＳ１０へ、合焦不能と判定されればＳ１３へ処理を進める。

Ｓ１３でＣＰＵ１５は撮像素子５の駆動モードを第１の駆動モードに戻し、制御タイミングも第１の駆動モードに対応したもの（図４）に戻す。またＣＰＵ１５は第２モータ駆動回路１９を通じてフォーカスレンズ３をあらかじめ定められた位置（定点）へ移動させる。定点は例えば、過焦点位置と呼ばれる無限遠を被写界深度の遠側に含む、最も近距離のフォーカスレンズ位置である。

そしてＳ１４においてＣＰＵ１５はＡＦの失敗を報知するためのＡＦＮＧ表示を行う。例えばＣＰＵ１５は、表示素子２９を点滅させるとともに、ＬＣＤ１０に表示するライブビュー画像に黄色の枠を重畳表示させる。ＣＰＵ１５は処理をＳ１５へ進める。

一方、Ｓ９でスキャンＡＦ処理の結果、合焦可能と判断された場合、ＣＰＵ１５は処理をＳ１０に進める。Ｓ１０でＣＰＵ１５は、スキャンＡＦ処理で得られた、ＡＦ評価値が極大となる位置へ、第２モータ駆動回路１９を通じてフォーカスレンズ３を移動させる。また、ＣＰＵ１５は、撮像素子５の駆動モードを第１の駆動モードに戻し、制御タイミングも第１の駆動モードに対応したもの（図４）に戻し、処理をＳ１２に進める。

Ｓ１２でのＲＦＡＦ処理について説明する。
ＲＦＡＦ回路３１は、ＰＤ２０２Ａから読み出される基準像信号（Ａ像）に加算するＰＤ２０２Ｂから読み出される参照像信号（Ｂ像）の画素位置をシフトしながら、Ａ像とＢ像の和を求めて和信号列を生成する。そして、ＲＦＡＦ回路３１は、生成した和信号列と対応する相対的シフト量とを回路内の記録領域に記録していく。ＣＰＵ１５は、和信号列を順次スキャンＡＦ回路１４に供給してＡＦ評価値を取得し、ＡＦ評価値が最大となる相対的シフト量を検出することで、合焦位置を検出する。この処理の詳細については後述する。

ＣＰＵ１５は、ＲＦＡＦ処理で検出された合焦位置にフォーカスレンズ３を移動させた後、処理をＳ１４に進めてＡＦＯＫ表示を行う。例えばＣＰＵ１５は、表示素子２９を連続点灯させるとともに、ＬＣＤ１０に表示するライブビュー画像に緑色の枠を重畳表示させる。ＣＰＵ１５は処理をＳ１５へ進める。

Ｓ１５でＣＰＵ１５は、ＳＷ２がオンかどうかを確認し、ＳＷ２がオンであれば（記録用画像の撮影指示が入力されていれば）処理をＳ１６へ進め、記録用の露光処理を実行する。その後、ＣＰＵ１５は、撮影画像を記録するための処理を実行させる。

（位相差ＡＦ処理）
次に、Ｓ５で実行する位相差ＡＦ処理の詳細を図６のフローチャートを用いて説明する。上述の通り本実施形態では、第１の駆動モードにおいても第２の駆動モードにおいても位相差ＡＦ用の画素行は位相差ＡＦ信号の取得に適した露出条件を設定でき、ライブビュー表示中もスキャンＡＦ実行中も位相差ＡＦを実行することができる。位相差ＡＦ処理に用いる信号は、撮像素子５の駆動モードで位相差ＡＦ用として設定した画素行から得られる、画素内加算を行わずに読み出される信号である。なお、焦点検出領域が定められている場合には、焦点検出領域に含まれる位相差ＡＦ用の画素行から読み出された信号を用いてＡＦ処理を実行する。

Ｓ９０１においてＣＰＵ１５は、Ａ／Ｄ変換回路７より出力される画像データのうち、位相差ＡＦ用の画素行の画像データを取り込むよう位相差ＡＦ回路３７を制御する。位相差ＡＦ回路３７は、例えばＣＰＵ１５から指定された画像データを内部の記憶領域に保存する。

Ｓ９０２で位相差ＡＦ回路３７は、保存した画像データを、読み出した画素の位置に応じて補正する像修正処理を実行する。本実施形態において位相差ＡＦ用の信号は撮像素子５に設けられた画素から取得している。そのため、位相差ＡＦ用のセンサーを設ける場合と異なり、シェーディングやオフセットの補正を行う必要がある。この補正は例えばシェーディングやオフセットを決定するパラメータの組み合わせに応じた補正値を予め用意しておくなど、公知の方法で実現可能であるため、その詳細については省略する。

Ｓ９０３において位相差ＡＦ回路３７は、補正後の画像データから基準像信号と参照像信号を生成する。画素内加算を行わない場合には第１のＰＤ２０２Ａ、第２のＰＤ２０２Ｂの順に各画素から読み出しを行うため、位相差ＡＦ回路３７にもこの順序で画像データが記憶されている。従って、位相差ＡＦ回路３７は、位相差ＡＦ用の信号の生成に用いる画素群について、第１のＰＤ２０２Ａに対応する画像データ群を順に並べて基準像信号（Ａ像）を生成し、第２のＰＤ２０２Ｂに対応する画像データ群を順に並べて参照像信号（Ｂ像）を生成する。位相差ＡＦ回路３７は、生成したＡ像およびＢ像を所定の記録領域に保存する。

Ｓ９０４で位相差ＡＦ回路３７は、相関演算の初期値を設定する。この設定はＣＰＵ１５が行ってもよい。
Ｓ９０５で位相差ＡＦ回路３７は、以下の式（１）に従い相関演算を行い基準像信号a_iと参照像信号b_iの相関値Ｕ_kを求める。

ここで、関数max(a,b)はa,bのうち大きい方を出力し、ｋは像ずらし量（シフト量）、ｊは相関演算を行う画素数であり、初期値はＳ９０４で設定される。

Ｓ９０６においてＣＰＵ１５は相関値Ｕ_kを位相差ＡＦ回路３７から取得する。Ｓ９０７でＣＰＵ１５は、今回の相関値が零であるか、過去にメモリ８に保存した相関値と符号が異なるかを調べる。過去に保存した相関値がないか、保存済みの相関値と今回の相関値が同じ符号であればＣＰＵ１５は処理をＳ９０８に進める。保存済みの相関値と今回の相関値の符号が異なる場合や、今回の相関値が零である場合、ＣＰＵ１５は処理をＳ９１０へ進める。

Ｓ９０８でＣＰＵ１５は、像ずらし量ｋが終端の値になったか否かを調べ、終端の値になっていなければ処理をＳ９２０へ進め、保存済みの相関値をＳ９０６で取得した相関値で置き換えるとともに、像ずらし量ｋを１つ増やし、処理をＳ９０５に戻す。一方、像ずらし量ｋが終端の値になっていたならばＣＰＵ１５は処理をＳ９０９へ進め、位相差ＡＦがＮＧと判定して処理を終了する。

Ｓ９１０でＣＰＵ１５は、相関値が零になる像ずらし量を演算する。
位相差ＡＦ回路３７における相関値の演算における像ずらし量は１画素単位であるため、位相差ＡＦ回路３７において演算された相関値が零になることは稀である。そのため、符号が異なる２つの相関値と、対応する像ずらし量とから、相関値が零となる像ずらし量を１画素未満の単位で求める。

例えば、像ずらし量ｋがｍとｍ＋１との間で相関値Ｕ_kの符号が反転したとすると、直線補間により相関値が零となる像ずらし量δは
δ＝ｍ＋｜Ｕ_ｍ｜／［｜Ｕ_ｍ｜＋｜Ｕ_ｍ+1｜］
となる。ただし、｜ｚ｜はｚの絶対値を意味する。

Ｓ９１１でＣＰＵ１５は、プレディクション量Ｐを像ずらし量δから、
Ｐ＝δ―Δ
と求める。但しΔは合焦時の像ずらし量である。
そして、ＣＰＵ１５は、結合光学系の特性から決まる基線長を用いてプレディクション量Ｐからデフォーカス量ｄ（フォーカスレンズ３の移動量と方向）を
ｄ＝Ｋ・Ｐ
と求め、処理を終了する。
Ｋはプレディクション量からデフォーカス量を求めるための係数で、結像光学系の焦点距離、絞り４の値、像高などのパラメータに依存する値であるため、例えばＥＥＰＲＯＭ２５内にこれらパラメータの組み合わせで参照可能なテーブルの形式で敏感度を予め用意しておく。
このようにして位相差ＡＦによるデフォーカス量を算出する。

（スキャンＡＦ処理）
次に、図３のＳ８で実行するスキャンＡＦ処理の詳細を図５のタイミングチャートと図７とを用いて説明する。なお、以下の説明において、フォーカスレンズ３を所定位置へ駆動しながらＡＦ評価値を取得する動作をスキャンと呼ぶ。また、ＡＦ評価値を取得するフォーカスレンズの位置をスキャンポイント、スキャンポイントの間隔をスキャン間隔、ＡＦ評価値を取得するフォーカスレンズの移動範囲をスキャン範囲と呼ぶ。なお、ＡＦ評価値を取得するための画像信号を取得する領域をＡＦ枠もしくは焦点検出領域と呼ぶ。

スキャンＡＦ処理には定められた露光条件を用いる。露光時間は例えば３２分の１秒を最長とし、撮像素子５の性能等で決まる最小露光時間を最短とする範囲で、絞り４の値および撮像素子５の増幅率を調整して、Ｓ２のＡＥ処理結果を参照し、露光量が適正となる様に決定する。スキャンＡＦ処理中はスキャンＡＦ処理に用いる画像データをライブビュー表示にも用いるため、ライブビュー表示が適正露出にならない可能性があるが、スキャンＡＦ処理を優先する。

上述の通り、スキャンＡＦ処理を行う場合は位相差ＡＦ処理を行う場合よりも読み出しレートを高速にするため、露光時間を短くする。例えばスキャンＡＦ処理時の露光時間は１２８分の１秒、読み出しレートは１２８ＦＰＳ、位相差ＡＦ処理時の露光時間は８分の１秒、読み出しレートは８ＦＰＳである。絞り４の値は位相差ＡＦ処理とスキャンＡＦ処理とで共通である。

露光条件（露光時間）を決定したら、ＣＰＵ１５は、撮像素子５の露光ならびに読み出しタイミングを図５に示したように制御する。
スキャンＡＦ処理（およびライブビュー表示）用の画素行と位相差ＡＦ用の画素行について個別の露出条件を２行毎に設定し、撮像素子５の動作タイミングを異ならせる。従って、スキャンＡＦ処理用の画像信号とライブビュー表示用の画像信号とは露光条件と読み出しレートが等しく、スキャンＡＦ処理（およびライブビュー表示）用の画像信号と位相差ＡＦ用の画像信号とは露光条件および読み出しレートが異なる。

図７は、スキャンＡＦ処理時のフォーカスレンズ位置とＡＦ評価値との関係を模式的に示している。
スキャンＡＦでは、第２の駆動モードで撮像素子５に設定されたスキャンＡＦ用の画素行から読み出された画像信号のうち、ＡＦ枠または焦点検出領域における画像信号からＡＦ評価値を算出する。異なるスキャンポイントについてＡＦ評価値を算出し、ＡＦ評価値が最も高くなるフォーカスレンズ３の位置を探索する、いわゆるコントラストＡＦである。高周波成分の量が多いほど高くなるＡＦ評価値が一般に用いられる。

ＣＰＵ１５は第２モータ駆動回路１９を介してフォーカス駆動モータ２２を制御し、フォーカスレンズ３をスキャン範囲の一端から他端まで、予め定められたスキャンステップで駆動する。ここでは、スキャン範囲を無限遠に相当する位置（図７の「Ａ」）から、各々の撮影モードにおいて設定される至近距離に相当する位置（図７の「Ｂ」）までとする。ＣＰＵ１５は、各スキャンポイントでスキャンＡＦ回路１４が算出するＡＦ評価値を取得し、ＡＦ評価値が最大になるフォーカスレンズ３の位置（図７の「Ｃ」）を検出する。なお、図７のａ１，ａ２，ａ３は合焦位置付近のスキャンポイントを示している。このように、ＡＦ評価値が最大となるフォーカスレンズ３の位置はスキャンポイント単位ではなく、フォーカスレンズ３を移動可能な最小精度で検出する。なお、ＡＦ評価値の信頼度が予め定められた条件を満たさない場合には、ＡＦ評価値が最大になるフォーカスレンズ３の位置を検出する前に、スキャンＡＦ処理では合焦不能と判定する。ＡＦ評価値の信頼性の算出や評価は公知の方法で行うことが可能であるため、詳細は省略する。

（ＲＦＡＦ処理）
次に、図３のＳ１２で実行するＲＦＡＦ処理の詳細を図８のフローチャートを用いて説明する。ＲＦＡＦ処理は、主に結像光学系の光学特性に起因して生じる、スキャンＡＦ処理もしくは位相差ＡＦ処理で得られるフォーカスレンズ３の位置と、光学像の解像度が最大となるフォーカスレンズ３の位置との差を補正するための処理である。Ａ像とＢ像とが視差画像であることを利用し、Ａ像とＢ像とを水平方向に相対的にずらして加算することで仮想結像面における像信号を生成し、ＡＦ評価値に基づいて補正量を検出する。このためＲＦＡＦ処理は、位相差ＡＦ処理（Ｓ５）やスキャンＡＦ処理（Ｓ８）で得られているフォーカスレンズ３の位置の近傍の範囲についてのみ行う。

ＲＦＡＦ処理で用いる信号は、撮像素子５の位相差ＡＦ用の画素行から得られる、画素内加算されていない信号である。
Ｓ１１０１においてＣＰＵ１５は、Ｓ９０３で位相差ＡＦ回路３７が生成した基準像信号（Ａ像）と参照像信号（Ｂ像）とを、位相差ＡＦ回路３７の記録領域から読み出し、ＲＦＡＦ回路３１に供給する。

Ｓ１１０２においてＣＰＵ１５は、ＲＦＡＦ回路３１にＡ像とＢ像の和信号を求める際の初期値を設定する。
Ｓ１１０３でＲＦＡＦ回路３１は、以下の式（２）に従い和信号Addを求める。
Add (j,k)＝a_j+ b_(j+k) （２）
ｋは和信号を求める際の像ずらし量、ｊは和信号を求める画素数であり、Ｓ１１０２で初期値が設定される。
例えば、k=κと初期化され、ｊの範囲が０〜Ｊの場合は、Add (j,k)として、Add (0, κ)〜Add (J, κ)が求められ、その値は
Add (0, κ) ＝a₀ + b_(0+κ)
Add (1, κ) ＝a₁ + b_(1+κ)
・
Add (J, κ) ＝a_j + b_(j+κ)
となる。

Ｓ１１０４でＣＰＵ１５は、ＲＦＡＦ回路３１が算出した和信号AddをスキャンＡＦ回路１４に供給し、ＡＦ評価値を算出させる。そして、ＣＰＵ１５は、スキャンＡＦ回路１４から取得したＡＦ評価値を、ＡＦ評価値Ｔｅｓ(k)として像ずらし量ｋとともに所定の記録領域に保存する。

Ｓ１１０６においてＣＰＵ１５は、像ずらし量ｋが終端の値になったか否かを調べ、終端の値になっていなければＳ１１２０で像ずらし量ｋを１増やしてＳ１１０３の処理を行う。従って、
Add (0, κ+1) ＝a₀ + b_(0+κ+1)
Add (1, κ+1) ＝a₁ + b_(1+κ+1)
・
Add (J, κ+1) ＝a_j + b_(j+κ+1)
が得られる。

以後、像ずらし量ｋが終端の値になったとＳ１１０６で判定されるまで、Ｓ１１０３，Ｓ１１０４，Ｓ１１０５，Ｓ１１０６，Ｓ１１２０の処理を繰り返し行う。

Ｓ１１０６において、像ずらし量ｋが終端の値になったと判定された場合、ＣＰＵ１５は処理をＳ１１０７へ進め、ＡＦ評価値Ｔｅｓ(k)が最大となる像ずらし量ｋdを求める。ＲＦＡＦ処理はスキャンＡＦ処理もしくは位相差ＡＦ処理の結果から得られるフォーカスレンズ３位置の近傍でのみ行われているため、ＡＦ評価値の極大値を求める必要はない。そのため記録領域に記録されているＡＦ評価値の中から最大のものを探索し、対応する像ずらし量を選択すれば良い。なお、ＡＦ評価値が最大値となった点とその前後の点から補間計算により１画素未満の像ずらし量を求めるようにしても良い。

例えばスキャンＡＦ処理においては、撮像素子５からの信号読み出しレートを速くするため、画素内加算に加えて画素間加算を行い、読み出し画素数を減らしている。そのため、スキャンＡＦに用いる縮小画像には、画素間加算を行わずに読み出された画像（例えば記録される画像）に含まれる高周波成分が含まれないことがある。そのため、結像光学系の光学特性によって被写体の空間周波数ごとの結像位置が異なる場合、スキャンＡＦ処理で検出したフォーカスレンズ３の位置が、記録される画像の解像度を最大とする位置とずれることがある。しかし、ＲＦＡＦ処理に用いる画像信号は画素加算されていないため、記録される画像と周波数成分に差が無く、ＲＦＡＦ処理で検出されるフォーカスレンズ３の位置で、記録される画像の解像度が最大となる。

位相差ＡＦ処理でもＲＦＡＦ処理と同様に画素加算を行わない信号を用いるが、相関演算時の演算エラーを回避するためにローパスフィルタを適用して高周波成分を抑制している。そのため、位相差ＡＦ処理に用いる画像信号も、記録される画像では含まれる高周波数成分が含まれないことがあり、検出されたデフォーカス量が０となるフォーカスレンズ位置では、記録される画像の解像度が最大とならないことがある。しかし、ＲＦＡＦ処理に用いる画像信号にはローパスフィルタを適用しないため、ＲＦＡＦ処理で検出されるフォーカスレンズ３の位置で、記録される画像の解像度が最大となる。

ＡＦ評価値が最大となる像ずらし量kdが得られると、ＣＰＵ１５は、フォーカスレンズ位置の補正量（移動量）を、以下の式（３）によって求める。
レンズ移動量［パルス］＝Ｋ・ｋd／フォーカス敏感度／１パルスあたりの移動量（３）
ここで、Ｋはプレディクション量からデフォーカス量を求めるための係数で、結像光学系の焦点距離、絞り値、ＡＦ枠の像高などのパラメータに依存する値である。例えばＥＥＰＲＯＭ２５内にこれらパラメータの組み合わせに対応したＫの値をテーブル形式で記憶しておき、移動量算出時にテーブルを参照して値を取得することができる。フォーカス敏感度は光学的なフォーカスに移動量を機械的なレンズ移動量に変換するための係数であり、結像光学系の焦点距離、フォーカスレンズ位置に依存する値である。フォーカス敏感度も係数Ｋと同様にＥＥＰＲＯＭ２５内にテーブル形式で記憶しておき、移動量算出時に参照して値を取得することができる。

式（３）で得られるレンズ移動量が、主に撮影レンズの光学特性に起因するピント補正量であり、レンズ移動量で補正したフォーカスレンズ３の位置を最終的な合焦位置とする。したがってＳ１１０８においてＣＰＵ１５は、Ｓ１１０７で求めたレンズ移動量に従って、第２モータ駆動回路１９を通じてフォーカスレンズ３を最終的な合焦位置へ移動し、ＲＦＡＦ処理を終了する。

なお、位相差ＡＦ処理、スキャンＡＦ処理、およびＲＦＡＦ処理に用いる画像信号を生成する際、読み出す画素に設けられているカラーフィルタの色の違いによる感度差を補正することができる。具体的には、緑画素の感度を基準として、赤画素と青画素の信号に適用する補正係数を離散的な色温度ごとに用意しておく。補正係数は、赤色フィルタと青色フィルタの緑色フィルタに対する感度比の逆数である。補正係数を記憶していない色温度に対する補正係数は、記憶された補正係数から補間して求めることができる。

なお、露光時間を決定する際の最長露光時間は撮像素子の特性や結像光学系の特性に応じて変化しうる。また、ＡＦ枠（焦点検出領域）が複数設定されている場合、上述した処理を個々のＡＦ枠に対して実行すればよい。

また、本実施形態ではＳＷ１オン直後に読み出される信号を位相差ＡＦ処理に使用したが、図３のＳ３でライブビュー表示を行う際に、同じフレームから取得した位相差ＡＦ用の画素行の信号を記憶するように構成してもよい。この場合、ＳＷ１オンが検出された時点で記憶されている信号を位相差ＡＦ処理に用いることができる。

また、読み出し時に位相差ＡＦ処理を行うＡＦ枠が判明していれば、そのＡＦ枠で位相差ＡＦ処理を行うために必要な領域の画素からだけ位相差ＡＦ処理用の信号を読み出すように構成してもよい。これにより読み出し時間が短縮できる。また、読み出し終了後に撮像素子の駆動を一定期間休止し電力消費を削減しても良い。

以上説明したように本実施形態によれば、複数の光電変換領域を有する画素が複数配置された撮像素子について、画素内の全光電変換領域の加算出力を取得する第１モードの画素行と、画素の一部の光電変換領域の出力を取得する第２モードの画素行とを設定する。そして、第１モードの画素行と第２モードの画素行とで個別に露光条件の設定および読み出し動作の制御を行う。そのため、例えばライブビュー表示と撮像面位相差ＡＦとを並行して実行する場合、ライブビュー表示用の画像と位相差ＡＦ用の信号とで独立した読み出しレートを実現でき、個々の用途に適した信号を取得することができる。

また、第１モードの画素行について画素の加算や間引きを行うことで、第１モードの画素行から得られる画像のフレームレートを、第２モードの画素行から得られる信号に影響を与えることなくさらに向上させることができる。また、第２のモードの画素行から得られる信号を用いて合焦位置の補正を行うことにより、主に結像光学系の光学特性に起因する合焦位置のずれを補正することができ、ＡＦ精度をより向上させることができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、位相差ＡＦ用の画素行を、基準像信号（Ａ像）用の画素行と参照像信号（Ｂ像）用の画素行とに分離する点で第１実施形態と異なる。
本実施形態における撮像素子５の駆動モード（第３の駆動モード）の具体例を図９に示す。第３の駆動モードでも、表示画像用の画素行は第１モードの画素行とし、位相差ＡＦ用の画素行は第２モードの画素行とする。本実施形態では、Ａ像用の画素行、Ｂ像用の画素行、表示画像用の画素行がそれぞれ２行ずつ含まれ、位相差ＡＦ用の画素行４行と、表示画像用の画素行２行が交互かつ周期的に配置された６行を１単位とする。ただし、位相差ＡＦ用の画素行のうちＢ像用の画素行は垂直方向に隣接せず、垂直方向に隣接するＡ像用の画素行の上と下に１行ずつ隣接するように配置される。撮像素子５を含めたデジタルカメラ１の構成は第１実施形態と同じであるため、説明は省略する。

このような画素行の配置により、表示画像用の画素行で水平方向の画素間加算が行われなければ、各画素行から読み出される信号の数が等しくなる。そのため、位相差ＡＦ用の画素行の読み出しレートを上げることができ、位相差ＡＦ処理のレスポンスを向上させることができる。その結果、パンニングへの対応や動いている被写体への追尾性といったＡＦ性能が向上する。

第３の駆動モードにおける露光・読み出し制御動作のタイミングチャートを図１０に示す。本実施形態でも第１実施形態と同様に、表示画像用の画素行では画素内の加算のみで画素単位の加算は行わず、位相差ＡＦ用の画素行についても画素内加算は行わないものとする。
第１実施形態で説明した図４のタイミングチャートとの比較から分かるように、表示画像用の画素行についてのタイミング制御は第１実施形態と同じである。また、位相差ＡＦ用の画像行についても、画素行あたりの読み出し信号数が半分になっていることで読み出し時間が半分になっていることを除き、第１実施形態と同様のタイミング制御でよい。１つ前の画素行と読み出しタイミングが重複しないような遅延を持たせて次の行の露光を開始する点も同じである。なお、Ａ像用の画素行とＢ像用の画素行は同じタイミング制御である。

このように駆動された撮像素子５からの出力信号を用いた動作は第１実施形態と同様に図３に示す手順で行われる。位相差ＡＦ処理、スキャンＡＦ処理、ＲＦＡＦ処理についても第１実施形態と同様の手順で実行する。

本実施形態によれば、第１実施形態の効果に加え、位相差ＡＦ用の画素行の読み出しレートを上げることができるため、レスポンスや追従性など、位相差ＡＦの性能を高めることができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、撮像素子５の各画素が有するフォトダイオード（光電変換領域）の数が第１実施形態より多く、位相差ＡＦ用の信号も画素内加算を行って読み出しうる点で第１実施形態と異なる。

図１１は、本実施形態における撮像素子５の一部の画素配列の例を模式的に示している。本実施形態の撮像素子５は、各画素が垂直方向および水平方向の両方に２つずつ、計４つの、同じ大きさの光電変換領域Ａ〜Ｄを有している。換言すれば、１つのマイクロレンズを４つの光電変換領域が共有している。

表示画像用の信号の読み出しについては、画素内加算の数が２から４になるが、画素内の全てのフォトダイオード（光電変換領域）の出力を加算するという点では第１および第２実施形態と同様であり、表示画像用の画素行は第１モードの画素行である。

一方、位相差ＡＦ用の画素行に関しては、４つのフォトダイオードのうち、水平方向もしくは垂直方向に隣接する２つの出力を加算して読み出したり、斜め方向の１組から読み出したりして基準像信号（Ａ像）と参照像信号（Ｂ像）を得る。したがって、本実施形態でも位相差ＡＦ用の画素行は第２モードの画素行である。Ａ像とＢ像をどのフォトダイオードの出力から得るかを変えることで、位相差ＡＦ処理やＲＦＡＦ処理における像ずらし量の検出する方向を変えることができる。

例えば水平方向の像ずらし量を検出する場合、フォトダイオードＡとＣの出力を加算した信号と、フォトダイオードＢとＤの出力を加算した信号とを読み出すことで、図２の第１および第２のフォトダイオード２０２Ａ，２０２Ｂの出力と同様の信号が得られる。
また、垂直方向の像ずらし量を検出する場合は、フォトダイオードＡとＢの出力を加算した信号と、フォトダイオードＣとＤの出力を加算した信号とを読み出せばよい。
さらに、斜め４５°方向の像ずらし量を検出する場合は、フォトダイオードＡとＤの出力か、フォトダイオードＢとＣの出力を読み出せばよい。この場合には画素内加算は行わない。

位相差ＡＦ処理およびＲＦＡＦ処理で像ずらし量を検出する方向は、例えば図３のＳ３でライブビュー表示のために用いる画像を用いて以下のようにして動的に決定することができる。なお、Ｓ３において位相差ＡＦ用の信号を読み出して用いてもよい。

まず、ＣＰＵ１５はライブビュー表示用の画像をスキャンＡＦ回路１４に入力し、ＡＦ評価値（第１のＡＦ評価値）を算出させる。入力する画像は１フレーム全体でも、一部であってもよい。第１のＡＦ評価値が予め定めた閾値以上であった場合、ＣＰＵ１５は水平方向で像ずらし量を検出すると決定する。閾値以上であった場合は画像の水平方向にコントラストがあり、位相差ＡＦ処理およびＲＦＡＦ処理で水平方向における像ずらし量を精度良く検出できることが期待できる。

一方、第１のＡＦ評価値が閾値未満であった場合は、水平以外の方向の方が精度良く像ずらし量を検出できる可能性があるため、他の方向についても検討する。
まずＣＰＵ１５は、スキャンＡＦ回路１４に入力する画像を水平および垂直方向に等分割し、分割した領域ごとのＡＦ評価値（第２のＡＦ評価値）を算出させる。そして、ＣＰＵ１５は、第２のＡＦ評価値のうち、最大かつ予め定めた閾値以上のものがどの分割領域から得られたかを調べる。なお、ここで用いる閾値は、第１のＡＦ評価値に用いる閾値よりも小さい値とする。
ＣＰＵ１５は、最大のＡＦ評価値が右上もしくは左下の分割領域で得られていれば、フォトダイオードＡとＤの出力を加算せずに用いて位相差ＡＦ処理およびＲＦＡＦ処理を行うことを決定する。
また、ＣＰＵ１５は、最大のＡＦ評価値が左上もしくは右下の分割領域で得られていれば、フォトダイオードＢとＣの出力を加算せずに用いて位相差ＡＦ処理およびＲＦＡＦ処理を行うことを決定する。

第２のＡＦ評価値がいずれも閾値未満だった場合、ＣＰＵ１５は左２つの領域の輝度の積算値（ＹＩ＿Ｌ）、右２つの領域の輝度の積算値（ＹＩ＿Ｒ）、上２つの領域の輝度の積算値（ＹＩ＿Ｕ）、下２つの領域の輝度の積算値（ＹＩ＿Ｂ）を求める。
さらにＣＰＵ１５はＡＢＳ（ＹＩ＿Ｌ−ＹＩ＿Ｒ）とＡＢＳ（ＹＩ＿Ｕ−ＹＩ＿Ｂ）を求め、
ＡＢＳ（ＹＩ＿Ｌ−ＹＩ＿Ｒ）≧ＡＢＳ（ＹＩ＿Ｕ−ＹＩ＿Ｂ）なら水平方向
ＡＢＳ（ＹＩ＿Ｌ−ＹＩ＿Ｒ）＜ＡＢＳ（ＹＩ＿Ｕ−ＹＩ＿Ｂ）なら垂直方向
で像ずらし量を検出することを決定する。ＡＢＳ（）は（）内の絶対値を求める関数である。
なお、像ずらし量の検出方向は、撮影時のカメラの姿勢、顔検出の結果、設定された撮影モードなどに基づいて決定されてもよい。

以上のようにして像ずらし量の検出方向を決定すると、ＣＰＵ１５は、決定した方向に応じたＡＦ用の信号を読み出すようなタイミング制御を行う。
撮像素子５からの信号の読み出し方向は水平方向なので、検出方向が水平方向であれば並び替えは不要であり、読み出された順番に処理を行えば良い。この場合、フォトダイオードＡとＣの出力を加算し基準像信号、フォトダイオードＢとＤの出力を加算し参照像信号画素とする。この画素内加算は撮像素子５内で行われる。タイミング制御は図４に示した第１実施形態と同じであってよい。撮影モード時の動作も第１の実施形態で説明したとおりである。

一方、検出方向が垂直方向もしくは斜め方向の場合、読み出された順番に処理することはできない。そのためＣＰＵ１５は、撮像素子５から読み出された信号のうち、ＡＦ処理に用いる領域内の信号を一時的に記憶する。そして、水平方向で像ずらし量を検出する際の位相差ＡＦ処理やＲＦＡＦ処理と同じ動作で垂直方向や斜め方向の像ずらし量が検出できるように、位相差ＡＦ処理の前に信号を並び替える。ＲＦＡＦ処理は位相差ＡＦ処理で用いたＡ像およびＢ像を流用できるため、並び替えを再度行う必要はない。

タイミング制御は第２実施形態（図１０）と同様に行うことができるが、像ずらし量の検出を垂直方向で行う場合、水平方向の副画素行を１画素行として取り扱う点が異なる。
図１１に、像ずらし量の検出を垂直方向で行う場合の画素行の割り当ての例を示している。図示の通り、副画素行の１行目および３行目を位相差ＡＦ（Ａ像）用の画素行の１行目と２行目とし、副画素行の２行目および４行目を位相差ＡＦ（Ｂ像）用の画素行の１行目と２行目とする。また、副画素行の５行目および６行目は表示画素用の画素行の１行目とし、副画素行の７行目および８行目は表示画素用の画素行の２行目とする。

位相差ＡＦ用の行は水平方向に隣接する副画素（ＡとＢ、ＣとＤ）の加算のみが行われるため、位相差ＡＦ用の画素行（副画素行の１〜４行目）からは、基準像信号（Ａ像）と参照像信号（Ｂ像）とがそれぞれ２行分読み出される。

一方、表示画素用の画素行は画素内の水平方向および垂直方向に隣接する全副画素を加算するので、副画素行の５〜６行目が加算されて１行分（１行目）として、７〜８行目が加算されて１行分（２行目）として読み出される。

そのためＣＰＵ１５は、副画素の８行分（通常の画素行の４行分）を、位相差ＡＦ用の画素行４行と、表示画像用の画素行２行の６行として取り扱うように駆動モードを設定する。その順序は、位相差ＡＦ（Ａ像）用→位相差ＡＦ（Ｂ像）用→位相差ＡＦ（Ａ像）用→位相差ＡＦ（Ｂ像）用→表示画像用→表示画像用となる。
このような駆動モードの設定により、第２実施形態と同様に図１０に示すタイミングで撮像素子５を制御することができる。タイミング制御についての説明は省略する。

上述の通り、位相差ＡＦ処理およびＲＦＡＦ処理を水平方向における像ずらし量の検出時と共通にするため、位相差ＡＦ処理の開始時に信号の並び替えを行う。ＡＦ処理に用いる領域内の信号を全て読み出し、例えば位相差ＡＦ回路３７内の領域に保存したら、像ずらし量の検出方向に応じた並び替えを行う。あるいは、ＣＰＵ１５がメモリ８内で並び替えを行ってから位相差ＡＦ回路３７に供給してもよい。

撮像素子５からは水平方向に読み出され、読み出し順序に従って画素の出力値が保存されている。垂直方向での像ずらし量を検出する場合、ＣＰＵ１５は垂直方向の座標の等しい画素の出力値を抽出し、垂直方向の座標の順序に従って位相差ＡＦ回路３７内の所定の領域に保存する。
並び替えが終了すると、ＣＰＵ１５は位相差ＡＦ回路３７に、位相差ＡＦ処理（図６のＳ９０２以降の処理）を実行するように指示する。処理の内容は第１実施形態と同じでよいため説明を省略する。
ＲＦＡＦ処理については、位相差ＡＦ回路３７に保存された、並び替え後の像信号を流用するため、並び替えは不要であり、第１実施形態と同様に処理を実行する。

斜め方向での像ずらし量を検出する場合には、副画素行の１行目および３行目から位相差ＡＦ（Ａ像）用の信号として副画素ＡまたはＢが読み出され、副画素行の２行目および４行目から位相差ＡＦ（Ｂ像）用の信号として副画素ＣまたはＤが読み出される。タイミング制御は第２実施形態（図１０）と同様に行うことができる。

また、ＣＰＵ１５は、副画素ＡとＤの組み合わせを用いる場合には−４５度の方向で、かつ垂直方向の座標の順序に従って同じ種類の副画素の出力が並ぶように並び替えて位相差ＡＦ回路３７内の所定の領域に保存する。同様に、副画素ＢとＣの組み合わせを用いる場合、ＣＰＵ１５は４５度の方向で、かつ垂直方向の座標の順序に従って同じ種類の副画素の出力が並ぶように並び替えて位相差ＡＦ回路３７内の所定の領域に保存する。

並び替えが終了すると、ＣＰＵ１５は位相差ＡＦ回路３７に、位相差ＡＦ処理（図６のＳ９０２以降の処理）を実行するように指示する。処理の内容は第１実施形態と同じでよいため説明を省略する。
ＲＦＡＦ処理については、位相差ＡＦ回路３７に保存された、並び替え後の像信号を流用するため、並び替えは不要であり、第１実施形態と同様に処理を実行する。

表示画素用の画素行については、位相差ＡＦ処理やＲＦＡＦ処理で像ずらし量を検出する方向に依存せず、画素ごとに全てのフォトダイオード（副画素）の出力を加算して読み出す。あるいは、副画素行の５行目と６行目との加算、７行目と８行目との加算を行い、表示画像用の２行分の信号を読み出してもよい。タイミング制御は第２実施形態（図１０）と同様に行うことができる。

なお、表示画像用の画素行、位相差ＡＦ用の画素行とも、必要に応じて画素間加算を行って画素数を削減することが可能である。

なおスキャンＡＦ処理用の読み出しおよびスキャンＡＦ処理に関しては、画素内加算を行う副画素の数が変わる以外は第１実施形態と同様であってよいため、説明を省略する。
なお、スキャンＡＦ処理においてＡＦ評価値を求める方向を水平方向ではなく垂直方向や斜め方向とする場合には、ＡＦ枠内の画像信号を垂直方向もしくは斜め方向に並び変えてからＡＦ評価値を求めればよい。

本実施形態によれば、第１および第２実施形態と同様の効果が得られるほか、水平方向にコントラストが低い被写体に対しても良好な自動焦点検出を行うことができる。特に、像ずらし量やＡＦ評価値を検出する方向を動的に決定することで、ＡＦ枠内の被写体に適した方向での自動焦点検出を行うことができ、精度の良い自動焦点検出が実現できる。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態は、
・位相差ＡＦ処理及びＲＦＡＦ処理を撮像素子５内の回路で行う点
・ＳＷ１のオンを検出する前の位相差ＡＦ処理で検出された合焦位置へフォーカスレンズ３を移動させた後に、像修正を行った信号でＲＦＡＦ処理を行う点
で第１実施形態と異なる。
撮像素子５に設定する駆動モードやタイミング制御に関しては第１実施形態と同じでよいため、説明を省略する。

図１２に示すフローチャートを用い、本実施形態に係るデジタルカメラ１の撮影モード時の動作について説明する。なお、第１実施形態と同じ処理ステップには同じ参照数字を付し、説明を省略する。
Ｓ１〜Ｓ３は第１実施形態と同様である。
Ｓ１５０４においてＣＰＵ１５は、撮像素子５内の回路を制御して位相差ＡＦ処理を行い、おおよその合焦位置を求める。この時点では高速かつ低消費電力であることが要求されるため、ＣＰＵ１５はＡ像およびＢ像の像修正を行わずにデフォーカス量を検出する。撮像素子５内の回路構成と位相差ＡＦ処理の詳細については後述する。

Ｓ１５０６においてＣＰＵ１５は、検出したデフォーカス量が所定値以下か否かを調べ、所定値以下であればＳ１５０７へ、所定値を超えていればＳ１５１０へ処理を進める。Ｓ１５１０でＣＰＵ１５は、第２モータ駆動回路１９を通じてフォーカスレンズ３をＳ１５０４で検出したデフォーカス量に相当する方向および量駆動し、処理をＳ１５１１へ進める。

Ｓ１５０７でＣＰＵ１５は、撮像素子５内の回路を用いてＲＦＡＦ処理を実行する。ここではＡ像およびＢ像に対する像修正を適用する。撮像素子５内の回路を用いたＲＦＡＦ処理の詳細については後述する。
Ｓ１５０９でＣＰＵ１５はＲＦＡＦ処理結果に基づいてフォーカスレンズ３を合焦位置に移動させた後、合焦フラグをオンにし、処理をＳ１５１１へ進める。

Ｓ１５１１においてＣＰＵ１５は、操作スイッチ２４に含まれるレリーズスイッチの状態を確認する。レリーズスイッチのＳＷ１がオン状態であれば、ＣＰＵ１５は処理をＳ１５１２に進める。一方、レリーズスイッチのＳＷ１がオフ状態であれば、ＣＰＵ１５は処理をＳ２に戻し、次のフレームについての処理を行う。

Ｓ１５１２でＣＰＵ１５は合焦フラグがオンであるかどうかを調べ、合焦フラグがオンであれば、Ｓ１４に処理を進めてＡＦ結果の表示（ここではＡＦＯＫ表示）を行う。一方、Ｓ１５１２で合焦フラグがオフの場合、ＣＰＵ１５は処理をＳ１５１３に進め、位相差ＡＦ処理及びＲＦＡＦ処理、及びその結果に基づいたレンズ駆動を行う。この位相差ＡＦ処理及びＲＦＡＦ処理は撮像素子５内の回路を用いて行う。なおスキャンＡＦは行わないので、センサー駆動モードの変更は行わない。所定値以下のデフォーカス量が検出されるまで位相差ＡＦ処理を実行し、その後、位相差ＡＦ処理で検出されたデフォーカス量に応じたフォーカスレンズ３の位置の近傍でＲＦＡＦ処理を実行する。撮像素子５内の回路を用いた位相差ＡＦ処理およびＲＦＡＦ処理の詳細については後述する。

その後Ｓ１４においてＣＰＵ１５は、ＡＦ処理の結果を表示する。
合焦フラグがオンの場合とＳ１５１３における位相差ＡＦ処理及びＲＦＡＦ処理の結果、合焦可能と判断されれば、ＣＰＵ１５は例えば表示素子２９を点灯させるとともに、ライブビュー画像に緑の枠を重畳表示するなどのＡＦＯＫ表示を行う。
合焦フラグがオフで、Ｓ１５１３における位相差ＡＦ処理またはＲＦＡＦ処理の結果、合焦可能と判断されない場合、ＣＰＵ１５は例えば表示素子２９を点滅させるとともに、ライブビュー画像に黄色の枠を重畳表示するなどのＡＦＮＧ表示を行う。

なお、撮影モード時には例えばライブビュー画像に基づいてシーン変化の有無を判定する処理を並行して実行してもよい。そして、シーン変化したと判定された場合には、Ｓ１５０１から処理をやり直すように構成してもよい。

次に、Ｓ１５０４、Ｓ１５０７、Ｓ１５１３で行う、撮像素子５の回路をＣＰＵ１５が制御することで実施される位相差ＡＦ処理およびＲＦＡＦ処理の詳細について説明する。
図１３は、本実施形態における撮像素子５の回路構成例を示す模式図であり、図１３（ｂ）は図１３（ａ）の一部をより詳細に示している。ここでは、撮像素子５が、図２に示した１画素当たり２つのフォトダイオードを有する構成であるものとする。

マイクロレンズ１６０１を通過した被写体の光束はフォトダイオード１６０２で光電変換される。フォトダイオード１６０２は図で「Ａ」と示した基準像信号（Ａ像）用フォトダイオード（図２の第１のフォトダイオード２０２Ａに相当）と、「Ｂ」と示した参照像信号（Ｂ像）用フォトダイオード（同第２のフォトダイオード２０２Ｂに相当）とを有している。光電変換された信号は転送トランジスタ１６０３を介して、Ａ像は第１転送路１６０４、Ｂ像は第２転送路１６０５へ読み出される。このように別々の転送路に読み出すことで、Ａ像とＢ像の分離（並び替え）が行われる。

第１転送路１６０４に読み出されたＡ像は第１バッファ回路１７０１へ、第２転送路１６０５に読み出されたＢ像は第２バッファ回路１７０２へそれぞれ出力され、一時的に記憶される。ＣＰＵ１５は第１および第２バッファ回路１７０１，１７０２に転送信号を入力し、所望の画素から得られた信号に対する演算を掛算器１７０３（図１３（ｂ））、加算回路１６０８、減算回路１６０９で実行させることができる。

加算回路１６０８の出力信号は撮像素子５内のメモリ１７０７に書き込まれる。メモリ１７０７に書き込まれた信号はＢＰＦ（帯域通過フィルタ）１７０８に入力される。ＢＰＦ１７０８の特性は入力信号（被写体像）の輪郭成分等の高周波成分を抽出するように設定されている。そのためＢＰＦ１７０８の出力は図１のスキャンＡＦ回路１４で得られるＡＦ評価値と同様に用いることができる。

また減算回路１６０９の出力信号は絶対値回路１６１０で絶対値に変換された後、メモリ１７１０へ書き込まれる。メモリ１７１０に書き込まれた信号は加算回路１７１１へ出力され、メモリ１７１２に書き込まれた信号と加算される。加算回路１７１１の出力はメモリ１７１２に書き込まれ、メモリ１７１２に書き込まれた信号は絶対値回路１６１０の出力の積算値となる。
そしてメモリ１７０９、１７１２に記憶された信号は、例えばＤＭＡ転送によりＣＰＵ１５に適宜転送される。

次に、このような構成の撮像素子５の回路を用いて位相差ＡＦ処理を実現する方法について説明する。処理の初めにＣＰＵ１５はメモリ１７１２のクリアなどの初期化処理を行う。また、ＣＰＵ１５は加算回路１６０８には掛算器１７０３から信号を供給しないか、動作を行わないように設定する。また、Ｓ１５０４で行われる位相差ＡＦ処理は、高速の処理を低消費電力で実施する必要があるため、第１および第２バッファ回路１７０１，１７０２にＡ像およびＢ像を読み出した後、像修正はせずに演算処理を行う。ＣＰＵ１５は、掛算器１７０４、１７０５に処理を行わず、入力信号をそのまま出力するように設定する。

撮像素子５で電荷蓄積（露光）が行われ、光電変換出力が第１転送路１６０４、第２転送路１６０５を通じて第１および第２バッファ回路１７０１、１７０２に転送される。
ＣＰＵ１５は、第１バッファ回路１７０１から、フレーム画像の予め定められた領域（ここでは中央の領域とする）から読み出したＡ像が出力されるように設定する。また、ＣＰＵ１５は第２バッファ回路１７０２についても、像ずらし量の初期値（ここでは−Ｎ画素とする）に応じた量だけずれた位置から、Ａ像と同数の画素について出力されるように設定する。

ＣＰＵ１５は、第１および第２バッファ回路１７０１，１７０２から設定に従った読み出しを行い、１画素単位で信号を減算回路１６０９へ供給する。上述の通り、減算回路１６０９は信号の差を算出し、その絶対値がメモリ１７１０に書き込まれる。加算回路１７１１がメモリ１７１２に記憶された値とメモリ１７１０に記憶された値とを加算してメモリ１７１２の値を更新する。初期状態でメモリ１７１２の値はクリアされているので、まずメモリ１７１２には先頭画素同士の差分の絶対値が記憶される。

以下同様にして残りの画素についても差の絶対値の積算処理を行う。差分演算を行う所定数の画素についての処理が終了すると、像ずらし量−Ｎ画素に対応したＡ像とＢ像の差の絶対値の積算値がメモリ１７１２に得られる。

ＣＰＵ１５はこの積算値を取得すると、像ずらし量（最初は−Ｎ画素）と対応付けて例えばメモリ８の所定領域に記憶する。この記憶処理は積算値のＤＭＡ転送終了の割り込み信号に同期して行えばよい。

次いでＣＰＵ１５は、Ｂ像の読み出し開始位置を次の像ずらし量（−Ｎ＋１画素）に対応するように１つずらして設定し、像ずらし量−Ｎ画素の場合と同様の処理によって像ずらし量（−Ｎ＋１画素）に対応したＡ像とＢ像の差の絶対値の積算値を取得する。
以下同様にしてＣＰＵ１５は、所定の範囲（―Ｎから＋Ｎ画素）の像ずらし量に対応したＡ像とＢ像の差の絶対値の積算値を取得する。

そしてＣＰＵ１５は、最小の積算値に対応する像ずらし量δを検出するとともに、プレディクション量からデフォーカス量を求めるための係数（Ｋ値）及び合焦時の像ずらし量Δから、デフォーカス量ｄ（フォーカスレンズの移動量と方向）を
ｄ＝Ｋ値×（δ―Δ）
と求め、デフォーカス量ｄに対応するフォーカスレンズ位置をおおよその合焦位置とする。

Ｓ１５１３において行わる位相差ＡＦ処理も基本的にはここで説明したとおりであるが、掛算器１７０３を用いて像修正を行う点が異なる。像修正の内容は第１実施形態と同様であり、第１実施形態で使用した像修正係数をＣＰＵ１５が掛算器１７０３の係数設定部１７０６、１７０７に設定し、掛算器１７０４、１７０５を入力信号に係数を適用するように設定することで像修正が行われる。

次に、Ｓ１５０７およびＳ１５１３でのＲＦＡＦ処理を実現する方法について説明する。処理の初めにＣＰＵ１５はメモリ１７０９のクリアなどの初期化処理を行う。また、ＣＰＵ１５は減算回路１６０９には掛算器１７０３から信号を供給しないか、動作を行わないように設定する。

撮像素子５で電荷蓄積（露光）が行われ、光電変換出力が第１転送路１６０４、第２転送路１６０５を通じて第１および第２バッファ回路１７０１、１７０２に転送される。
ＣＰＵ１５は、第１バッファ回路１７０１から、フレーム画像の予め定められた領域（ここでは中央の領域とする）から読み出したＡ像が出力されるように設定する。また、ＣＰＵ１５は第２バッファ回路１７０２についても、像ずらし量の初期値（ここでは−Ｎ画素とする）に応じた量だけずれた位置から、Ａ像と同数の画素について出力されるように設定する。また、ＣＰＵ１５は掛算器１７０３で像修正を行うために、掛算器１７０３の係数設定部１７０６および１７０７に像修正係数を設定する。

ＣＰＵ１５は、第１および第２バッファ回路１７０１，１７０２から設定に従った読み出しを行い、１画素単位で信号を掛算器１７０３に供給する。掛算器１７０３では信号に掛算器１７０４，１７０５で像修正係数を適用し、加算回路１６０８へ供給する。
加算回路１６０８は信号の和を算出し、メモリ１７０７に書き込む。ＢＰＦ１７０８はメモリ１７０７に所定画素数分の信号が書き込まれるごとにフィルタ処理を適用し、処理後の信号をメモリ１７０９へ書き込む。Ａ像およびＢ像の和信号列全体に対してＢＰＦ１７０８での処理が終わると、メモリ１７０９からフィルタ処理後の信号がＣＰＵ１５にＤＭＡ転送される。

ＣＰＵ１５は和信号列の所定画素数ごとのＢＰＦ処理結果を取得すると、最大値を検出し、像ずらし量（最初は−Ｎ画素）と対応付けて例えばメモリ８の所定領域に記憶する。この記憶処理は積算値のＤＭＡ転送終了の割り込み信号に同期して行えばよい。

次いでＣＰＵ１５は、Ｂ像の読み出し開始位置を次の像ずらし量（−Ｎ＋１画素）に対応するように１つずらして設定し、像ずらし量−Ｎ画素の場合と同様の処理によって像ずらし量（−Ｎ＋１画素）に対応したＢＰＦ処理結果を取得する。そして、最大値を検出し、像ずらし量（−Ｎ＋１画素）と対応付けて例えばメモリ８の所定領域に記憶する。
以下同様にしてＣＰＵ１５は、所定の範囲（―Ｎから＋Ｎ画素）の像ずらし量に対応したＢＰＦ処理結果を取得し、最大値を記憶する。

そして、ＣＰＵ１５は、メモリ８に記憶したＢＰＦ処理結果の最大値と、対応する像ずらし量Ｋｄを検出するとともに、レンズ駆動量を以下の式（３）によって求める。
レンズ移動量［パルス］＝Ｋ・ｋd／フォーカス敏感度／１パルスあたりの移動量（３）と求める。
ここで、Ｋはプレディクション量からデフォーカス量を求めるための係数で、結像光学系の焦点距離、絞り値、ＡＦ枠の像高などのパラメータに依存する値である。例えばＥＥＰＲＯＭ２５内にこれらパラメータの組み合わせに対応したＫの値をテーブル形式で記憶しておき、移動量算出時にテーブルを参照して値を取得することができる。フォーカス敏感度は光学的なフォーカスに移動量を機械的なレンズ移動量に変換するための係数であり、結像光学系の焦点距離、フォーカスレンズ位置に依存ずる値である。フォーカス敏感度も係数Ｋと同様にＥＥＰＲＯＭ２５内にテーブル形式で記憶しておき、移動量算出時に参照して値を取得することができる。

なお、ここでは理解を容易にするため、第１および第２実施形態と同様の画素構成を有する場合について説明したが、第３実施形態で説明した画素構成であっても同様に適用することができる。

以上説明したように、本実施形態によれば、第１〜第３実施形態における効果に加え、撮像素子がＡＦ処理を実現するための回路を有することにより、ＡＦ処理を常時行うことが可能になり、レリーズタイムラグを短縮することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…デジタルカメラ、３…フォーカスレンズ、５…撮像素子、８…メモリ、１５…ＣＰＵ、１６…タイミングジェネレータ、１７…センサドライバ、１９…第２モータ駆動回路

Claims

１つのマイクロレンズに対して４つの光電変換領域を有する画素が２次元的に配置された撮像素子と、
前記撮像素子上に被写体像を形成するための結像光学系と、
前記結像光学系に含まれるフォーカスレンズを駆動するための駆動手段と、
前記撮像素子の画素行のそれぞれの読み出しモードを、前記４つの光電変換領域の加算出力を読み出す第１モードと、前記４つの光電変換領域のうち垂直方向に隣接する２つの光電変換領域の加算出力を読み出す第２モードとを含む複数のモードのいずれかに設定する設定手段と、
前記撮像素子の露光および読み出しタイミングを制御する制御手段と、
前記第１モードで読み出された加算出力に基づく表示用画像を表示する表示手段と、を有し、
前記撮像素子は、前記第２モードに設定された画素行から読み出された出力に基づく基準像信号と参照像信号との相関を表す値を生成する演算手段と、被写体像からＡＦ評価値として用いる高周波成分を抽出する抽出手段と、を含み、
前記設定手段は、表示画像用もしくはスキャンＡＦ用の信号を生成するための画素行については前記第１モードに、位相差ＡＦ用の信号を生成するための画素行については前記第２モードに設定する、
ことを特徴とする撮像装置。
前記設定手段は、前記第１モードと前記第２モードとを予め定めた周期で交互に設定することを特徴とする請求項１に記載の撮像装置。
前記設定手段は、前記第１モードに設定した画素行と前記第２モードに設定した画素行とで読み出される出力の数が等しくなるように前記設定を行うことを特徴とする請求項１または請求項２に記載の撮像装置。
前記制御手段は、前記第１モードが設定された画素行よりも、前記第２モードが設定された画素行の露光時間を長くすることを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
前記制御手段は、前記第２モードが設定された画素行よりも、前記第１モードが設定された画素行の読み出しレートが早くなるように前記制御を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
前記制御手段は、表示画像用の信号を生成する場合よりスキャンＡＦ用の信号を生成する場合の読み出しレートが早くなるように前記第１モードに設定された画素行の露光時間を制御することを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
前記制御手段は、前記第２モードに設定された画素行では、垂直方向に隣接する２つの光電変換領域の加算出力の代わりに、水平方向に隣接する２つの光電変換領域の加算出力か、斜め方向に隣接する２つの光電変換領域の各々の出力を読み出すように前記制御を行うことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
前記撮像素子の前記演算手段が生成する前記相関を表す値に基づいて結像光学系のデフォーカス量を検出する位相差ＡＦ手段をさらに有することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
前記基準像信号と前記参照像信号とを加算して被写体像であるリフォーカス信号を生成し、前記リフォーカス信号に対して前記抽出手段が抽出した前記高周波成分に基づいて合焦位置を検出するリフォーカスＡＦ手段をさらに有することを特徴とする請求項８記載の撮像装置。
前記リフォーカスＡＦ手段は、前記位相差ＡＦ手段によって検出されたデフォーカス量に応じたフォーカスレンズの位置を基準とした範囲で前記合焦位置を検出することを特徴とする請求項９記載の撮像装置。
ユーザー操作を受付可能な操作手段をさらに備え、
前記位相差ＡＦ手段は前記操作手段の操作に基づいて前記デフォーカス量の検出を行うことを特徴とする、請求項８から請求項１０のいずれか１項に記載の撮像装置。
撮影時に発光するＬＥＤ発光手段と、
電源としての電池とをさらに備えるモバイル機器であることを特徴とする、請求項１から請求項１１のいずれか１項に記載の撮像装置。
１つのマイクロレンズに対して４つの光電変換領域を有する画素が２次元的に配置された撮像素子と、前記撮像素子上に被写体像を形成するための結像光学系と、前記結像光学系に含まれるフォーカスレンズを駆動するための駆動手段と、を有する撮像装置の制御方法であって、
設定手段が、前記撮像素子の画素行のそれぞれの読み出しモードを、前記４つの光電変換領域の加算出力を読み出す第１モードと、前記４つの光電変換領域のうち垂直方向に隣接する２つの光電変換領域の加算出力を読み出す第２モードとを含む複数のモードのいずれかに設定する設定工程と、
制御手段が、前記撮像素子の露光および読み出しタイミングを制御する制御工程と、
表示手段が、前記第１モードで読み出された加算出力に基づく表示用画像を表示する表示工程と、
前記撮像素子が、前記第２モードに設定された画素行から読み出された出力に基づく基準像信号と参照像信号との相関を表す値を生成する演算工程と、
前記撮像素子が、被写体像からＡＦ評価値として用いる高周波成分を抽出する抽出工程と、を有し、
前記設定工程において前記設定手段は、表示画像用もしくはスキャンＡＦ用の信号を生成するための画素行については前記第１モードに、位相差ＡＦ用の信号を生成するための画素行については前記第２モードに設定する、
ことを特徴とする撮像装置の制御方法。