JP5264131B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力を用いてフォーカス制御を行う撮像装置に関する。

撮像装置に用いられている撮像素子を構成する一部の画素の光学特性を他の画素と異ならせて、該一部の画素からの出力に基づいて焦点検出を行う撮像装置が特許文献１にて開示されている。

特許文献１にて開示された撮像装置では、撮像素子の一部に互いに対をなす焦点検出画素を複数配置する。ここで、図６には、画素行列のうち一部の行に焦点検出画素を配置した撮像素子の画素配置例を示す。

図６において、Ｒ，Ｇ，Ｂはそれぞれ、赤フィルタ、緑フィルタ、青フィルタが配置された通常の撮像画素である。また、Ｓ１，Ｓ２は第１及び第２の焦点検出画素であり、撮像画素とは光学特性が異なる。

図７には、第１の焦点検出画素Ｓ１の構造を示す。図７において、第１の焦点検出画素の光入射側には、マイクロレンズ５０１が形成されている。５０２はマイクロレンズ５０１を形成するための平面を構成する平滑層である。

５０３は遮光層であり、第１の焦点検出画素Ｓ１の光電変換領域５０４の中心Ｏに対して一方向に偏心した絞り開口部を有する。

また、図８には、第２の焦点検出画素Ｓ２の構造を示す。図８において、第２の焦点検出画素の光入射側には、マイクロレンズ６０１が形成されている。６０２はマイクロレンズ６０１を形成するための平面を構成する平滑層である。

６０３は遮光層であり、第２の焦点検出画素Ｓ２の光電変換領域６０４の中心Ｏに対して、第１の焦点検出画素Ｓ１に設けられた遮光層５０３とは反対方向に偏心した絞り開口部を有する。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２の遮光層５０３，６０３は、各マイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する。

このような構成によれば、撮像光学系を第１の焦点検出画素Ｓ１から見た場合と第２の焦点検出画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。

図６において、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行には、撮像素子の画素数が多くなるにつれてより近似した２像が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる出力（像信号）は互いに一致する。

これに対し、撮像光学系のピントがずれているならば、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる像信号には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。

図９Ａ及び図９Ｂには、ピント状態と位相差との関係を示す。これらの図においては、両焦点検出画素Ｓ１，Ｓ２を互いに近づけて、それぞれをＡ，Ｂの点として示している。また、撮像画素は省略している。

被写体上の特定点からの光束は、焦点検出画素Ａに対応する分割瞳を通って該焦点検出画素Ａに入射する光束ΦＬａと、焦点検出画素Ｂに対応する分割瞳を通って該焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図９Ａに示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号は互いに一致する。

しかし、図９Ｂに示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号には位相差が生じる。

以上のことを利用して、特許文献１にて開示された撮像装置は撮像素子を用いた位相差検出方式でのフォーカス制御を行う。

また、特許文献２には、撮像素子からの出力を用いた位相差検出方式のフォーカス制御とコントラスト検出方式のフォーカス制御とを行うことが可能な撮像装置において、被写体としての横線と縦線の検出に適したフォーカス制御を行う撮像装置が開示されている。
特開２０００−１５６８２３号公報 特開２００１−３０５４１５号公報

しかしながら、特許文献１にて開示された撮像装置では、デフォーカス量が大きい場合において第１及び第２の焦点検出画素上に形成される２像が互いに非対称となり、位相差つまりはデフォーカス量を正しく求めることが難しくなる。

特許文献２には、位相差検出方式により得られたデフォーカス量の信頼性が低い場合にはコントラスト検出方式でフォーカス制御を行うことが開示されている。ただし、特許文献２には、焦点検出画素を使用して行うコントラスト検出方式のフォーカス制御と、焦点検出画素以外の画素を使用して行うコントラスト検出方式のフォーカス制御との使い分けについては開示されていない。

本発明は、焦点検出画素を用いた位相差検出方式のフォーカス制御に加えて、焦点検出画素を用いたコントラスト検出方式のフォーカス制御と焦点検出画素以外の画素を用いたコントラスト検出方式のフォーカス制御を行うことが可能な撮像装置を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子を有する。そして、制御手段は、撮像光学系のデフォーカス量に応じて、第２の画素群からの出力を用いた位相差検出方式による第１のフォーカス制御を行うか第１の画素群からの出力を用いたコントラスト検出方式による第２のフォーカス制御及び第２の画素群からの出力を用いたコントラスト検出方式による第３のフォーカス制御を行うかを切り換えることを特徴とする。

また、本発明の他の一側面としての撮像装置の制御方法は、撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子を備えた撮像装置に適用される。該制御方法は、第２の画素群からの出力を用いた位相差検出方式による第１のフォーカス制御を行うステップと、第１の画素群からの出力を用いたコントラスト検出方式による第２のフォーカス制御を行うステップと、第２の画素群からの出力を用いたコントラスト検出方式による第３のフォーカス制御を行うステップと、撮像光学系のデフォーカス量に応じて、第１のフォーカス制御を実行するか第２及び第３のフォーカス制御を実行するかを切り換えるステップとを有することを特徴とする。

本発明によれば、位相差検出方式による第１のフォーカス制御に加えて、コントラスト検出方式による第２及び第３のフォーカス制御を行うことで、デフォーカス量や被写体にかかわらず、良好な精度の合焦状態を得ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置としてのデジタルカメラの構成を示す。

カメラ１００は、被写体から光束により被写体像を形成する撮像光学系１０１と、該撮像光学系１０１に含まれるフォーカスレンズ（図示せず）の位置を制御するレンズ制御部１０２と、撮像光学系１０１からの入射光量を調節する絞り１０３とを有する。さらに、カメラ１００は、撮像光学系１０１からの光束によって被写体像がその受光面上に形成されるＣＭＯＳセンサにより構成される光電変換素子としての撮像素子１０４を備えている。

撮像素子１０４は、それぞれＲ，Ｇ，Ｂのうちいずれか１色のカラーフィルタを有し、撮像光学系１０１により形成される被写体像を光電変換する複数の撮像画素により構成される撮像画素群（第１の画素群）１０５を有する。撮像画素群１０５は、被写体画像を生成するために用いられる撮像信号を出力する。また、撮像素子１０４は、撮像光学系１０１の焦点状態の検出（焦点検出）に用いられる一対の像信号を出力する焦点検出画素群（第２の画素群）１０６を有する。

焦点検出画素群１０６は、後述する瞳分割光学系１０７により瞳分割された光束を光電変換する、それぞれ複数の第１及び第２の焦点検出画素を含む。複数の第１の焦点検出画素により第１の位相差センサが構成され、複数の第２の焦点検出画素により第２の位相差センサが構成される。そして、第１の位相差センサは、上記一対の像信号のうち一方の像信号を出力し、第２の位相差センサは、上記一対の像信号のうち他方の像信号を出力する。

さらに、撮像素子１０４は、第１の位相差センサと第２の位相差センサとに、撮像光学系１０１からの光束のうち瞳分割した光束をそれぞれ入射させるための瞳分割光学系１０７を備えている。

ここで、図２には、本実施例に用いられる撮像素子１０４の画素配列を示している。図２において、焦点検出画素群１０６における第１の焦点検出画素をＳ１とし、第２の焦点検出画素をＳ２として示している。

第１及び第２の焦点検出画素Ｓ１，Ｓ２の構造はそれぞれ、図７及び図８に示した構造と同様である。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２に設けられた遮光層が、瞳分割光学系１０７としてのマイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する構造を有している。

図２において、第１の焦点検出画素Ｓ１が離散的に挿入された画素行が第１の位相差センサを構成する。また、第１の位相差センサに対して所定間隔（図２では１画素分の間隔）をあけて配置され、第２の焦点検出画素Ｓ２が離散的に挿入された画素行が第２の位相差センサを構成する。そして、これら第１及び第２の位相差センサを含む１つの焦点検出画素群（第２の画素群）が１つの焦点検出エリアを形成する。図２では、撮像素子１０４の上部と下部にそれぞれ第１の焦点検出エリア及び第２の焦点検出エリアが配置されている。

カメラ１００は、各焦点検出エリアの第１及び第２の位相差センサから出力される一対の像信号の位相差を相関演算を用いて求める焦点検出部（焦点検出手段）１０８を有する。

ここで、「第１及び第２の位相差センサ（言い換えれば焦点検出画素群１０６）から出力される一対の像信号」とは、基本的には、焦点検出画素Ｓ１，Ｓ２の出力信号のみから生成された一対の像信号である。ただし、焦点検出画素群全体の出力信号から一対の像信号を生成してもよい。

焦点検出部１０８は、さらに該位相差に基づいて、その焦点検出エリアに像が形成されている被写体に対する撮像光学系１０１の焦点状態を示すデフォーカス量を算出する。

なお、本実施例では、焦点検出部１０８でデフォーカス量の算出まで行う場合について説明するが、焦点検出部１０８では像信号の位相差を演算し、後述するカメラ制御部１１７で該位相差に基づいてデフォーカス量を算出するようにしてもよい。また、本実施例では、焦点状態をデフォーカス量として説明するが、位相差を焦点状態として扱ってもよい。

このようにして、焦点検出部１０８は、各焦点検出エリアで個別に焦点検出（デフォーカス量の算出）を行う。

焦点検出画素群１０６（第１及び第２の焦点検出画素Ｓ１，Ｓ２）では、図７及び図８からも分かるように、画素ごとに設けられた遮光層によって視野が制限されており、またカラーフィルタが設けられていない。したがって、焦点検出画素群１０６からの像信号のレベルは、撮像画素群１０５のうち焦点検出画素群１０６の近傍に位置する複数の画素（以下、近傍画素群という）から出力される像信号のレベルと異なってしまう。

このため、カメラ１００は、焦点検出画素群１０６からの像信号を近傍画素群の像信号のレベルに近づけるために、焦点検出画素群１０６からの像信号に対するゲインを調整するゲイン調整部１１１を有する。

また、カメラ１００は、近傍画素群（撮像画素群１０５）からの像信号に含まれる特定の周波数成分（高周波成分）の強度を検出する空間周波数検出部（周波数成分検出手段）１０９を有する。該高周波成分は、近傍画素群上（第１の画素群上）に形成される被写体像の空間周波数成分を表す。

さらに、カメラ１００は、判定切換部１１０を有する。判定切換部１１０は、焦点検出画素群１０６を用いて検出された焦点状態に応じて後述する画素補間部１１２で補間処理を行うか否かと、空間周波数検出部１０９により検出された高周波成分の強度に応じて画素補間部１１２で補間処理を行うか否かとを切り換える。

画素補間部（画像生成手段）１１２は、焦点検出画素群１０６に対応する画像データを近傍画素群の出力に基づいて補間して生成する。言い換えれば、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体の中で、焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

「焦点検出画素群１０６に対応する画像データ（部分画像）」は、焦点検出画素群１０６全体をカバーする領域に対する画像データであってもよいし、焦点検出画素Ｓ１，Ｓ２ごとの画像データであってもよい。

また、カメラ１００は、撮像画素群１０５から出力される像信号に対して、ガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化等の画像処理を行う画像処理部１１３を有する。

さらに、カメラ１００は、画像処理部１１３から出力された画像データ（静止画データ）を表示する表示部１１４と、該画像データを半導体メモリや光ディスク等の記録媒体に記録する記録部１１５を有する。また、カメラ１００は、使用者の操作入力を受け付ける操作部１１６と、カメラ１００全体を制御する制御手段としてのカメラ制御部１１７とを有する。

カメラ制御部１１７は、焦点検出部１０８から得られるデフォーカス量に基づいて、合焦を得るためのフォーカスレンズの駆動量を算出する。算出された駆動量はレンズ制御部１０２に出力され、レンズ制御部１０２は該駆動量に基づいてフォーカスレンズを移動させる。

このようにして、カメラ制御部１１７は、図４において丸囲み「１」に示すように、焦点検出画素１０６からの出力（像信号）を用いた位相差検出方式ＡＦ（第１のフォーカス制御：以下、単に位相差ＡＦという）を行い、合焦状態を得ることができる。ただし、この位相差検出方式ＡＦでは、後述するコントラスト検出方式ＡＦで得られる合焦状態に比べて、合焦状態とみなされる範囲が広い。

さらにカメラ１００は、鮮鋭度検出部１１８を有する。鮮鋭度検出部１１８は、撮像画素群１０５又は焦点検出画素群１０６からの撮像信号に含まれる高周波成分を検出（抽出）する。そして、該高周波成分に基づいてフォーカス評価情報（ＡＦ評価値信号）を生成し、カメラ制御部１１７に出力する。フォーカス評価情報は、被写体像のコントラスト状態、言い換えれば、鮮鋭度を表す。

カメラ制御部１１７は、フォーカス評価情報の値が最大となる位置にフォーカスレンズを移動させて合焦状態を得る。これはコントラスト検出方式ＡＦであり、位相差検出方式ＡＦとの組み合わせによって、より高精度かつ高速に合焦状態を得ることができる。

例えば、カメラ制御部１１７は、まず位相差検出方式ＡＦを行い、フォーカスレンズを合焦位置近傍に移動させる。次に、カメラ制御部１１７は、コントラスト検出方式ＡＦを行うことで、フォーカスレンズをより精度の高い合焦位置に移動させる。また、コントラスト検出方式のＡＦは、カメラ１００によって動画を撮像する場合の合焦状態の維持にも有効である。

本実施例では、図４において丸囲み「２」で示すように、撮像画素群１０５からの出力（撮像信号）を用いたコントラスト検出方式ＡＦ（第２のフォーカス制御：以下、撮像画素コントラストＡＦという）を行うことができる。さらに、図４において丸囲み「３」で示すように、焦点検出画素群１０６からの出力（撮像信号）を用いたコントラスト検出方式ＡＦ（第３のフォーカス制御：以下、焦点検出画素コントラストＡＦという）も行うことができる。

なお、焦点検出画素コントラストＡＦを行う場合は、第１及び第２の焦点検出画素Ｓ１，Ｓ２からの出力のうちいずれか一方のみを用いるようにしてもよいし、これらを切り換えて用いるようにしてもよい。

図３には、本実施例のカメラ１００（主としてカメラ制御部１１７）の動作を示す。この動作は、カメラ制御部１１７内の不図示のメモリに格納されたコンピュータプログラムに従って実行される。

カメラ制御部１１７は、操作部１１６からのＡＦ指令信号（例えば、レリーズボタンの半押し操作によって出力される信号）が入力されることにより、ステップＳ３０１から動作を開始する。なお、ここでは、特に説明をしないが、ＡＦ動作と並行して露出演算等の撮像準備動作が行われているものとする。

ステップＳ３０１にて、カメラ制御部１１７は、ＡＦ動作を行う。ここで、ＡＦ動作を行う前のデフォーカス量がそれほど大きくない（小さい）場合は、上述した焦点検出画素群１０６からの出力を用いた位相差検出方式ＡＦにより合焦状態を得ることができる。しかし、ＡＦ動作を行う前のデフォーカス量が大きい場合には、第１及び第２の焦点検出画素（位相差センサ）上に形成される２像が互いに非対称となることで、位相差、つまりはデフォーカス量を正しく求めることが難しくなる。

このため、本実施例では、ステップＳ３０１において、図５のフローチャートに示すＡＦ動作を行う。

図５のステップＳ４０１では、カメラ制御部１１７は、撮像素子１０４における焦点検出画素群１０６での電荷蓄積を開始させる。そして、電荷蓄積の完了後、カメラ制御部１１７は、焦点検出画素群１０６から像信号を焦点検出部１０８に対して出力させる。焦点検出部１０８では、前述したようにデフォーカス量を算出してカメラ制御部１１７に出力する。カメラ制御部１１７は、焦点検出部１０８からデフォーカス量を取得する。

次に、ステップＳ４０２では、カメラ制御部１１７は、取得したデフォーカス量が所定量より大きいか否かを判別する。デフォーカス量が所定値より小さい場合は、ステップＳ４０５に進み、位相差ＡＦ「１」を行う。

一方、デフォーカス量が所定値より大きい場合は、ステップＳ４０３に進み、カメラ制御部１１７は、まず焦点検出画素コントラストＡＦ「３」を行う。そして、ステップＳ４０４に進む。

ステップＳ４０４では、カメラ制御部１１７は、撮像画素コントラストＡＦ「２」を行う。このようにして、デフォーカス量が精度の高い合焦状態とみなすことができる範囲まで小さくなることで、ステップＳ３０２に進む。

なお、焦点検出画素コントラストＡＦ「３」によって十分な精度の合焦状態が得られた場合には、撮像画素コントラストＡＦ「２」を行わなくてもよい。つまり、撮像画素コントラストＡＦ「２」は、焦点検出画素コントラストＡＦ「３」によっても十分な精度の合焦状態が得られない場合に行うようにしてもよい。

このように、本実施例では、デフォーカス量が大きい場合でも、焦点検出画素コントラストＡＦ「３」及び撮像画素コントラストＡＦ「２」を行うことで、焦点検出画素群１０６を有効に利用したコントラストＡＦによって合焦状態を得ることができる。つまり、焦点検出画素群１０６からの出力を用いた位相差ＡＦ、焦点検出画素コントラストＡＦ「３」及び撮像画素コントラストＡＦ「２」を切り換えて行うことで、デフォーカス量にかかわらず良好な合焦状態を得ることができる。

なお、ここではデフォーカス量に応じてＡＦ「１」〜「３」のうち実行するＡＦを切り換える場合について説明したが、被写体に応じて実行するＡＦを切り換えるようにしてもよい。例えば、後述するように被写体の模様が繰り返しパターンである場合は位相差ＡＦが困難な場合があるので、この場合にはコントラストＡＦ「２」，「３」を行うようにしてもよい。

なお、ＡＦ動作によるフォーカスレンズの移動後、被写体像の変化によって露出条件が変化していることが考えられるため、新しいフォーカスレンズ位置にて露出演算を再度行い、その後、ステップＳ３０２に進む。

ステップＳ３０２では、カメラ制御部１１７は、操作部１１６から撮像指令信号（例えば、レリーズボタンの全押し操作によって出力される信号）が入力されたか否かを判定する。撮像指令信号が未入力である場合は、本ステップの判定を繰り返す。一方、撮像指令信号が入力された場合は、ステップＳ３０３に進む。

ステップＳ３０３では、カメラ制御部１１７は、被写体画像を取得する撮像のために、撮像素子１０４に撮像画素群１０５および焦点検出画素群１０６での電荷蓄積を開始させる。蓄積完了後、カメラ制御部１１７は、撮像画素１０５の像信号を空間周波数検出部１０９と画素補間部１１２に出力させ、焦点検出画素群１０６の像信号を焦点検出部１０８とゲイン調整部１１１に出力させる。この出力後、ステップＳ３０４に進む。

ステップＳ３０４では、カメラ制御部１１７は、カウンタを初期化する（ｎ＝１）。カウンタの数値ｎは、撮像素子１０４上に設けられたｎ個の焦点検出エリアの番号に対応する。

ステップＳ３０５では、カメラ制御部１１７及び判定切換部１１０は、第ｎの焦点検出エリアにおいて焦点検出ができたか否かを判定する。焦点検出画素１０６から得られる像信号の位相差に基づいてデフォーカス量を求める場合、繰り返しパターン模様を有する被写体に対しては正しく焦点検出できない場合がある。正しく焦点検出できない場合は、デフォーカス量に応じた画像データ補間の可否の判定ができない。このため、本実施例では、このような場合には、空間周波数検出部１０９で検出された高周波成分の検出結果に応じた画像データ補間の可否判定を行う。これは、高周波成分の強度が高いということは、撮像光学系１０１のデフォーカス量が小さいとみなすことができるからである。

第ｎの焦点検出エリアで焦点検出ができた場合はステップＳ３０６に進み、焦点検出ができなかった場合はステップＳ３１１に進む。

ステップＳ３０６では、カメラ制御部１１７は、第ｎの焦点検出エリアにおけるデフォーカス量を焦点検出部１０８から取得し、該デフォーカス量が所定の閾値（第１の所定値）より小さいか否かを判定する。該判定は、第ｎの焦点検出エリアに形成された被写体像の空間周波数が、この焦点検出エリア（焦点検出画素群１０６）に対応する画像データを生成するための画素補間部１１２による画像データ補間を行うことで良好な全体画像が得られる値か否かの判定でもある。

ここで、多くの場合、デフォーカス量が大きい状態での像信号（被写体像）には高周波成分が少ない（コントラストが低い）。逆に、デフォーカス量が小さい状態（合焦状態に近い状態）での像信号には高周波成分が多い（コントラストが高い）。そして、前述したように、画素補間部１１２による画像データ補間を被写体像の空間周波数が低い状態で行う場合は画像の鮮鋭度の低下が目立たないが、被写体像の空間周波数が高い状態で行うと鮮鋭度の低下が目立つ。

そこで、本実施例では、焦点検出ができた場合は、デフォーカス量の大小に応じて画素補間部１１２による画像データ補間を行うか否かを切り換える。すなわち、デフォーカス量が閾値より小さい場合は画像データ補間を行わずにステップＳ３０７に進み、デフォーカス量が閾値より大きい場合は画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３０７では、カメラ制御部１１７は、第ｎの焦点検出エリア（以下、第ｎの焦点検出画素群１０６という）の平均像信号と近傍画素群の平均像信号とを比較する。そして、これらの信号レベルが同じ又は同じとみなせる範囲まで近づくように、ゲイン調整部１１１に第ｎの焦点検出画素群１０６の像信号にかけるゲインを調整させる。なお、画素群の平均像信号の比較に代えて、像信号のピーク値を比較してもよい。こうしてゲインを調整した後、ステップＳ３０８に進む。

ステップＳ３０８では、カメラ制御部１１７は、ステップＳ３０７でゲイン調整された第ｎの焦点検出画素群１０６の像信号を、撮像画素群１０５の像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの像信号に基づく画像と第ｎの焦点検出画素群１０６からの像信号（ゲイン調整後の像信号）に基づく部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

一方、ステップＳ３０９では、カメラ制御部１１７は、画素補間部１１２に、第ｎの焦点検出画素群１０６の近傍画素群の像信号に基づいて、第ｎの焦点検出画素群１０６に対応する補間用部分画像データを補間演算によって生成させる。すなわち、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体のうち、第ｎの焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

ここで、本実施例では、撮像画素群１０５のカラーフィルタ配置の周期性から、特に焦点検出画素Ｓ１，Ｓ２に対して緑成分の画素信号を補間する必要がある。したがって、図２における近傍画素群のうち焦点検出画素Ｓ１，Ｓ２に斜め方向にて隣接する緑成分の画素の信号に基づいて、焦点検出画素Ｓ１，Ｓ２の位置に相当する画素信号を生成する。補間に用いる周辺画素としては、上述した焦点検出画素Ｓ１，Ｓ２に対して斜め方向に隣接する緑成分の画素に限らない。すなわち、さらに位置が離れた緑成分の画素も用い、信号レベルの位置的変化からエッジ検出を行って、被写体像のエッジ位置を考慮した補間演算を行ってもよい。

補間用部分画像データが生成された後、ステップＳ３１０に進む。

ステップＳ３１０では、カメラ制御部１１７は、ステップＳ３０９で生成された第ｎの焦点検出画素群１０６に対する補間用部分画像データの像信号を、撮像画素群１０５の像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの像信号に基づく画像と第ｎの焦点検出画素群１０６に対する補間用部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

また、ステップＳ３１１では、カメラ制御部１１７は、空間周波数検出部１０９に、第ｎの焦点検出画素群１０６に対する近傍画素群の像信号から高周波成分を検出させる。

そして、ステップＳ３１２では、カメラ制御部１１７は、ステップＳ３１１で検出された高周波成分の強度が所定の閾値（第２の所定値）より高いか否かを判定する。

前述したように、高周波成分の強度が閾値より高い（コントラストが高い）場合は、撮像光学系１０１のデフォーカス量が小さいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より小さい場合と同様に扱う。一方、高周波成分の強度が閾値より低い（コントラストが低い）場合は、撮像光学系１０１のデフォーカス量が大きいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より大きい場合と同様に扱う。

つまり、検出強度が閾値より高い場合は、画像データ補間を行わずにステップＳ３０７に進み、検出強度が閾値より低い場合は、画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３１３では、カメラ制御部１１７は、全て（ｎ個）の焦点検出エリアに対してステップＳ３０５〜Ｓ３１２の処理を完了したか否かを判定する。まだ全ての焦点検出エリアに対して処理が終わっていなければ、ステップＳ３１４に進み、カウンタ値を１増やしてステップＳ３０５に戻る。これにより、次の焦点検出エリアに対する上記処理が行われる。一方、全ての焦点検出エリアに対して上記処理を終えていれば、ステップＳ３１５に進む。

ステップＳ３１５では、カメラ制御部１１７は、画像処理部１１３に、合成画像データに対するガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化を行わせる。画像処理部１１３は、これらの処理が施された画像データを表示部１１４に出力する。表示部１１４は、撮像された画像をユーザに確認させるため、該画像データを表示する。

また、画像処理部１１３は、上記処理が施された画像データを記録部１１５へも出力する。記録部１１５は、該画像データを記録媒体に記録する。

以上のような動作により、撮像素子１０４内に設けられる焦点検出画素の数が多くても、高い鮮鋭度を有する良好な画像を取得することができる。

以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。

本発明の実施例であるデジタルカメラの構成を示すブロック図。 実施例における撮像画素群と焦点検出画素群の配列を示す図。 実施例のカメラの動作を示すフローチャート。 実施例のカメラにおけるＡＦの種類を示す図。 実施例のカメラのＡＦ動作を示すフローチャート。 撮像画素群と焦点検出画素群の配列を示す図。 第１の焦点検出画素の構造を示す図。 第２の焦点検出画素の構造を示す図。 焦点状態（合焦状態）に応じた像信号の位相差を説明するための模式図。 焦点状態（前ピン状態）に応じた像信号の位相差を説明するための模式図。

符号の説明

１００ デジタルカメラ（撮像装置）
１０１ 撮像光学系
１０５ 撮像画素群
１０６ 焦点検出画素群
１０７ 瞳分割光学系
１０９ 空間周波数検出部
１１０ 判定切換部
１１１ ゲイン調整部
１１２ 画素補間部
１１３ 画像処理部
１１７ カメラ制御部
１１８ 鮮鋭度検出部
５０１，６０１ マイクロレンズ
５０３，６０３ 遮光層
５０４，６０４ 光電変換領域

Claims (4)

1. 撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び前記撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子と、
   前記撮像光学系のデフォーカス量に応じて、前記第２の画素群からの出力を用いた位相差検出方式による第１のフォーカス制御を行うか前記第１の画素群からの出力を用いたコントラスト検出方式による第２のフォーカス制御及び第２の画素群からの出力を用いたコントラスト検出方式による第３のフォーカス制御を行うかを切り換える制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記デフォーカス量が前記所定値より小さい場合は前記第１のフォーカス制御を行い、前記デフォーカス量が所定量より大きい場合は前記第２及び第３のフォーカス制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第２及び第３のフォーカス制御を行う場合は、前記第３のフォーカス制御を行った後に前記第２のフォーカス制御を行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び前記撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子を備えた撮像装置の制御方法であって、
   前記第２の画素群からの出力を用いた位相差検出方式による第１のフォーカス制御を行うステップと、
   前記第１の画素群からの出力を用いたコントラスト検出方式による第２のフォーカス制御を行うステップと、
   前記第２の画素群からの出力を用いたコントラスト検出方式による第３のフォーカス制御を行うステップと、
   前記撮像光学系のデフォーカス量に応じて、前記第１のフォーカス制御を実行するか前記第２及び前記第３のフォーカス制御を実行するかを切り換えるステップとを有することを特徴とする撮像装置の制御方法。