JP4908668B2

JP4908668B2 - 焦点検出装置

Info

Publication number: JP4908668B2
Application number: JP2000117510A
Authority: JP
Inventors: 康夫須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-04-19
Filing date: 2000-04-19
Publication date: 2012-04-04
Anticipated expiration: 2020-04-19
Also published as: US20010036361A1; US6597868B2; JP2001305415A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等に用いられる焦点検出装置の改良に関するものである。
【０００２】
【従来の技術】
デジタルカラーカメラでは、レリーズボタンの押下に応動して、ＣＣＤやＣＭＯＳセンサなどの固体撮像素子に被写界の像を所望の時間露光し、これより得られた一つの画面の静止画像を表わす画像信号をデジタル信号に変換して、ＹＣ処理などの所定の処理を施し、所定の形式の画像信号を得る。撮像された画像を表わすデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記録される。記録された画像信号は、随時読み出されて表示または印刷可能な信号に再生され、モニターなどに出力されて表示される。
【０００３】
従来より、このようなデジタルカラーカメラでは、物体像を取り込むための撮像素子を兼用して撮影レンズの焦点検出を行っている。多くの場合、ここにはコントラスト検出方式の焦点検出装置が用いられる。コントラスト検出方式の焦点検出とは、撮像光学系によって形成された物体像の先鋭度を、固体撮像素子の出力を所定の関数で評価することによって求め、この関数値が極大値をとるように撮像レンズの光軸上の位置を調節するものである。評価関数としては、隣接する輝度信号の差の絶対値を焦点検出領域内について加算するものや、隣接する輝度信号の差の２乗を焦点検出領域内について加算するもの、あるいは、Ｒ，Ｇ，Ｂの各画像信号について隣接する信号の差を同様に処理するもの等がある。
【０００４】
また、米国特許第４４１０８０４号に開示されているような、位相差検出方式の焦点検出装置も知られている。位相差検出方式では、一対あるいは二対の受光部を二次元的に配列したマイクロレンズアレイ毎に設け、このマイクロレンズによって受光部を撮像光学系の瞳に投影する構造を持つ。撮像光学系の瞳の異なる部分を通過した２光束を用いて物体像をそれぞれ形成し、二つの物体像間の位置的位相差を撮像素子の出力に基づいて検出して、これを撮像光学系のデフォーカス量に換算するものである。
【０００５】
位相差検出方式の焦点検出では、デフォーカスの方向だけでなく、デフォーカス量そのものを求めることができるので、コントラスト検出方式に比して合焦するまでの時間を大幅に短縮することができるという利点がある。
【０００６】
さらには、特開昭５９−１４６０１０号公報に開示されるように、コントラスト検出方式と位相差検出方式の両方を備えた焦点検出装置も知られている。
【０００７】
なお、位相差検出方式やコントラスト検出方式は、何れも物体の輝度分布を捉えて動作するため、パッシブ型焦点検出と呼ばれ、カメラ側から物体に向けて光を照射して焦点検出を行うアクティブ型焦点検出とは区別されている。
【０００８】
【発明が解決しようとする課題】
パッシブ型焦点検出においては、その動作の可否は物体となる物体の輝度分布次第である。物体の輝度分布は、ランダムに分布する場合や、縦方向のみにある場合、逆に横方向のみにある場合など様々である。例えば、縦縞の模様の服を着た人を撮影するときに、焦点検出点をその服に合わせれば、縞に沿った縦方向の輝度変化はほとんどなく、縞に直交する横方向の輝度は大きく変化する。もちろん、輝度変化がなければパッシブ型焦点検出から有効な出力を得ることはできない。従って、パッシブ型の焦点検出装置において、感度を持つ輝度分布の方向が極めて重要な要素であることが分かる。
【０００９】
先に挙げた米国特許第４４１０８０４号は、縦方向と横方向の輝度分布に感度を持つ位相差検出方式の焦点検出装置の開示例でもある。米国特許第４４１０８０４号では、一つのマイクロレンズに対して二対４つの光電変換部を設けることによって縦横両方の輝度分布に感度を持つ焦点検出を実現している。しかしながら、一つのマイクロレンズに対して４つの光電変換部を設けることは、極めて高度な固体撮像素子の微細化が必須であり、これをデジタルカメラの撮像素子として安価に供給することは困難である。
【００１１】
（発明の目的）
本発明の目的は、異なる二方向の輝度分布に感度を持ち、かつ、物体像を撮像するための撮像素子を兼用することで比較的安価とすると共に、物体により適した焦点検出結果を出力することのできる焦点検出装置を提供しようとするものである。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の焦点検出装置は、二つの光電変換部の信号電荷の加算により、撮影レンズの射出瞳からの光束を受光して該光束に対応する信号を出力する第一の出力モードと、瞳分割された射出瞳の一部から第１および第２の光束を受光して該第１および第２の光束それぞれに対応する信号を出力する第二の出力モードとを切り換え可能な撮像素子と、前記撮像素子から前記第二の出力モードで出力される信号に基づいて前記第１および第２の光束にそれぞれ対応する信号の位相差を検出する第１の焦点検出処理と、前記撮像素子から前記第一の出力モードまたは第二の出力モードで出力される信号に基づいて像のコントラストを検出する第２の焦点検出処理とが可能な信号処理手段とを有し、前記信号処理手段は、前記第１の焦点検出処理をした後、所定の条件を満たさない場合に前記第一の出力モードにおいて画素レベルで加算された信号に基づいて、前記瞳分割の方向と異なる方向のコントラストを検出する前記第２の焦点検出処理を行うことを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００１５】
まず、本発明に用いる撮像光学系について説明する。
【００１６】
図１は、本発明の実施の形態に係る撮像光学系の構成図であって、固体撮像素子を用いるデジタルカラーカメラの光学系である。同図の左手が物体側、右手が像面側となっており、撮像光学系２４を通過した光束によって固体撮像素子のエリアセンサ部６ａ上に物体像を形成する。
【００１７】
図１において、２０１は撮像光学系２４のうち、絞りＳＴよりも物体側にある前方レンズ群、２０２は撮像光学系２４のうち、絞りＳＴよりも像面側にあるレンズ群と光学ローパスフィルタＬＰＦをまとめて示した後方レンズ群である。
【００１８】
絞りＳＴは軸Ｌ２を中心にして回転し、不図示のモータの駆動力によって選択的に４つのポジションをとる。また、絞りＳＴには２０４から２０８で示した５つの開口が設けられ、開口２０４，２０５，２０６は撮像のための開口、開口２０７と２０８は大デフォーカス検出用開口である。
【００１９】
図２は、本発明の実施の形態に係る第一の焦点検出処理と第二の焦点検出処理を行う焦点検出装置を搭載したデジタルカラーカメラの概略構成を示す図である。このカメラは、ＣＣＤあるいはＣＭＯＳセンサなどの固体撮像素子を用いた単板式のデジタルカラーカメラであり、固体撮像素子を連続的または単発的に駆動して動画像または静止画像を表わす画像信号を得る。ここで、固体撮像素子とは、露光した光を各画素毎に電気信号に変換してその光量に応じた電荷をそれぞれ蓄積し、その電荷を読み出すタイプの撮像デバイスである。
【００２０】
図２において、１はカメラ本体、２は内部に結像レンズ３を有した撮影レンズである。撮影レンズ２は、公知のマウントを介してカメラ本体１に電気的、機械的に接続されている。焦点距離の異なる撮影レンズに交換することによって、様々な画角の撮影画面を得ることが可能である。また、撮影レンズ２は不図示の駆動機構を有し、結像レンズ３の一部の要素であるフォーカシングレンズを光軸Ｌ１方向に移動させることによって、物体のピント合わせを行う。
【００２１】
４は光学ローパスフィルタ、５はメカニカルシャッタ、６は固体撮像素子である。光学ローパスフィルタ４は固体撮像素子６上に必要以上に高い空間周波数の物体像が形成されないように結像レンズ３のカットオフ周波数を制限する。また、光学ローパスフィルタ４上には赤外線カットフィルタも形成されている。図１では、結像レンズ３とローパスフィルタ４を合わせて、撮像光学系２４とした。
【００２２】
固体撮像素子６で捉えられた物体像は液晶ディスプレー７上に表示される。固体撮像素子６は、増幅型固体撮像装置の一つであるＣＭＯＳプロセスコンパチブルのセンサ（以下、ＣＭＯＳセンサと記す）である。ＣＭＯＳセンサの特徴の一つに、エリアセンサ部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。この特徴を利用すると、二つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン領域（以下、ＦＤ部と記す）へ転送でき、ＦＤ部に接続した転送ＭＯＳトランジスタのタイミングだけで、二つの光電変換部の信号電荷の加算、非加算を簡単に行うことができる。
【００２３】
固体撮像素子６は、この構造を利用して、撮影レンズの射出瞳全体からの光束を受光する第一の出力モードと、撮影レンズの射出瞳の一部からの光束を受光する第二の出力モードとを切り換え可能とし、撮像の他に、固体撮像素子６の出力を用いて第一の焦点検出処理および第二の焦点検出処理を行う。
【００２４】
詳しくは、第一の出力モードは、撮像と第二の焦点検出処理とファインダ出力に、また、第二の出力モードは、第一および第二の焦点検出処理とファインダ出力に、それぞれ用いられる。画素レベルで信号の加算を行う第一の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることが可能である。
【００２５】
８，９は液晶ディスプレー７を観察するための凹レンズと凸レンズであって、総合的に正のパワーを有する。１０はファインダ光学系の保護を兼ねた眼球照明プリズムであって、ファインダ光路部分は平行平板で構成され、ファインダ光学系の窓部材となっている。これらはファインダ光学系を構成している。凸レンズ９をファインダ光軸Ｌ２に沿って移動させることにより視度を調節し、観察者に適切な液晶ディスプレー７の見え具合を得ることができる。１２および１３は眼球照明プリズム１０からの射出光を特定の面方向に拡散する拡散板である。
【００２６】
眼球照明プリズム１０の側方には、図３に示す発光特性の赤色光を発する複数のＬＥＤが取り付けられており、例えばＬＥＤ１１を発した光は眼球照明プリズム１０の内部を透過し、さらに、拡散板１２を透過してカメラの外部に射出する。これらは観察者の眼部を照明する眼球照明系である。
【００２７】
ＬＥＤ１１の発光中心波長は７２０nmであって、この波長における比視感度はかなり低い。しかし、発光強度の裾が短波長側に延びていることもあって十分に視認可能である。したがって、観察者が意識すれば、ＬＥＤ１１の発光を通して視線検出装置の作動状態を知ることができる。
【００２８】
凹レンズ８，凸レンズ９，眼球照明プリズム１０のファインダ光路の有効部には、ＬＥＤ１１の発光波長を含むように可視域から７６０nm程度の波長に対して増透コートが施されている。これは、眼部の照明がファインダ光学系で反射して再び眼に戻り、赤いゴーストとして見えてしまうのを防ぐことと、視線センサ１８にゴーストが重畳するのを可能な限り防ぐためである。
【００２９】
ファインダ光学系の光路中、液晶ディスプレー７と凹レンズ８の間には、ダイクロイックミラー１４が配置され、ファインダから逆に入ってくる光を上方に分割している。
【００３０】
図４は上記ダイクロイックミラー１４の分光反射率特性であり、６７０nmを半値としたシャープカット特性を示す。したがって、図３に示したＬＥＤ１１の発光波長域の光は反射し、ＬＥＤ１１で照らされた観察者の眼部からの反射光は、眼球照明プリズム１０，凸レンズ９，凹レンズ８を逆に通った後、ダイクロイックミラー１４で上方に反射する。
【００３１】
また、液晶ディスプレー７に表示された画像の６７０nmよりも短波長の成分はダイクロイックミラー１４を透過し、凹レンズ８，凸レンズ９，ファインダ光学系の窓部材である眼球照明プリズム１０を経て射出する。このとき、厳密には６７０nmよりも長波長の成分がカットされているわけであるが、この波長域は比視感度が低いためにファインダ画像に不自然さを生じることはない。
【００３２】
ダイクロイックミラー１４の上方に位置する１５はミラー、１６はプリズム、１７はレンズ、１８は視線センサである。観察者の眼部からの反射光はミラー１５で光路を直角に曲げた後、プリズム１６，レンズ１７を通って視線センサ１８上に観察者の眼部の画像を形成する。眼部の画像を処理することによって、注視点の検出を行っている。１９はメインスイッチ、２０はレリーズボタンである。
【００３３】
図５は、デジタルカラーカメラの電気的構成を示すブロック図である。
【００３４】
まず、カメラの撮像，記録に関する部分から説明する。カメラは、撮像系，画像処理系，記録再生系，制御系を有する。撮像系は、結像レンズ３、メカニカルシャッタ５および固体撮像素子６を含み、画像処理系は、Ａ／Ｄ変換器３０，ＲＧＢ画像処理回路３１およびＹＣ処理回路３２を含む。また、記録再生系は、記録処理回路３３および再生処理回路３４を含み、制御系は、カメラシステム制御回路３５，操作検出回路３６および固体撮像素子駆動回路３７を含む。３８は外部のコンピュータ等に接続して、データの送受信をするための規格化された接続端子である。
【００３５】
撮像系は、物体からの光を結像レンズ３を介して固体撮像素子６の撮像面に結像する光学処理系であり、撮影レンズ２の絞りＳＴと、必要に応じてさらにメカニカルシャッタ５を調節し、適切な光量の物体像を固体撮像素子６に露光する。固体撮像素子６は、長辺方向に３７００画素、短辺方向にそれぞれ２８００画素の合計約１０００万の画素数を有する撮像デバイスが適用されて、画素の前面には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３原色の光学フィルタがモザイク状に配置されている。
【００３６】
固体撮像素子６から読み出された画像信号は、それぞれＡ／Ｄ変換器３０を介して画像処理系に供給される。Ａ／Ｄ変換器３０は、露光した各画素の信号の振幅に応じた、たとえば１０ビットのデジタル信号に変換して出力する信号変換回路であり、以降の画像信号処理はデジタル処理にて実行される。画像処理系は、Ｒ，Ｇ，Ｂのデジタル信号から所望の形式の画像信号を得る信号処理回路であり、Ｒ，Ｇ，Ｂの色信号を輝度信号Ｙおよび色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）にて表わされるＹＣ信号などに変換する。
【００３７】
ＲＧＢ画像処理回路３１は、Ａ／Ｄ変換器３０を介して固体撮像素子６から受けた「３７００×２８００画素」の画像信号を処理する信号処理回路であり、ホワイトバランス回路，ガンマ補正回路，補間演算による高解像度化を行う補間演算回路を有する。
【００３８】
ＹＣ処理回路３２は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する信号処理回路である。高域輝度信号ＹＨを生成する高域輝度信号発生回路，低域輝度信号YLを生成する低域輝度信号発生回路、および、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色差信号発生回路で構成されている。輝度信号Ｙは高域輝度信号ＹＨと低域輝度信号ＹＬを合成することによって形成される。
【００３９】
記録再生系は、メモリへの画像信号の出力と、液晶ディスプレー７への画像信号の出力とを行う処理系であり、記録処理回路３３はメモリへの画像信号の書き込み処理および読み出し処理を行ない、再生処理回路３４はメモリから読み出した画像信号を再生して、液晶ディスプレー７に出力する。
【００４０】
また、記録処理回路３３は、静止画像および動画像を表わすＹＣ信号を所定の圧縮形式にて圧縮し、また、圧縮データを読み出した際に伸張する圧縮伸張回路を内部に有する。圧縮伸張回路は、信号処理のためのフレームメモリなどを含み、このフレームメモリに画像処理系２０からのＹＣ信号をフレーム毎に蓄積して、それぞれ複数のブロック毎に読み出して圧縮符号化する。圧縮符号化は、たとえば、ブロック毎の画像信号を２次元直交変換，正規化およびハフマン符号化することにより行なわれる。
【００４１】
再生処理回路３４は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙをマトリックス変換して、例えばＲＧＢ信号に変換する回路である。再生処理回路３４によって変換された信号は液晶ディスプレー７に出力され、可視画像が表示再生される。
【００４２】
一方、制御系は、レリーズボタン２０等の操作を検出する操作検出回路３６と、その検出信号に応動して各部を制御し、撮像の際のタイミング信号などを生成して出力するカメラシステム制御回路３５と、このカメラシステム制御回路３５の制御の下に固体撮像素子６を駆動する駆動信号を生成する固体撮像素子駆動回路３７とを含む。また、制御系は、外部操作に応動して、撮像系，画像処理系，記録再生系をそれぞれ制御し、例えば、レリーズボタン２０の押下を検出して、固体撮像素子６の駆動、ＲＧＢ画像処理回路３１の動作、記録処理回路３３の圧縮処理などを制御する。
【００４３】
次に、視線検出と焦点調節に関する部分について説明する。
【００４４】
カメラシステム制御回路３５には、さらに視線検出・ＡＦ制御回路４０とレンズシステム制御回路４１が接続されている。これらはカメラシステム制御回路３５を中心にして各々の処理に必要とするデータを相互に通信している。
【００４５】
視線検出・ＡＦ制御回路４０は、ファインダ光学系４２を通して視線センサ１８に投影されたファインダ観察者の眼画像からファインダ視野上の観察者の注視点を検出する。ファインダ光学系４２は、図２に示した凹レンズ８，凸レンズ９および眼球照明プリズム１０で構成されている。
【００４６】
ファインダ視野上の注視点情報からはさらに注視位置の物体像に結像レンズ３のピントを合わせるべく、注視点上に焦点検出点を設定し、この点での結像状態を検出する。デフォーカスが検出されると、これを結像レンズ３の一部の要素であるフォーカシングレンズの駆動量に変換し、カメラシステム制御回路３５を中継してレンズシステム制御回路４１に送信する。
【００４７】
レンズシステム制御回路４１はフォーカシングレンズの駆動量を受信すると、撮影レンズ２の不図示の駆動機構によってフォーカシングレンズを光軸Ｌ１方向に移動させることによって、注視点上の物体にピントを合わせる。また、視線検出・ＡＦ制御回路４０によって、注視点上の物体にピントが合っていることが検出されると、この情報はカメラシステム制御回路３５に伝えられ、カメラシステム制御回路３５による撮像が許可される。このとき、レリーズボタン２０が押下されれば、前述のごとく撮像系，画像処理系，記録再生系による撮像制御が成される。
【００４８】
さて、固体撮像素子６の構成について説明する。
【００４９】
固体撮像素子６は物体像を撮像するための素子であると同時に、焦点検出を行うための信号を得るための素子でもある。焦点検出処理は、位相差検出方式を用いた第一の焦点検出処理と、コントラスト検出方式を用いた第二の焦点検出処理より成る。
【００５０】
図６は、固体撮像素子６内のエリアセンサ部６ａの回路構成図である。同図は、「２列×２行」画素の２次元エリアセンサを示したものであるが、実際は、「２８００列×３７００行」等と画素数を多くし、実用的な解像度を得る。
【００５１】
図６において、３０１および３５１はｐｎフォトダイオードからなる第一，第二光電変換部、３０３および３５３は転送スイッチＭＯＳトランジスタ、３０４はリセット用ＭＯＳトランジスタ、３０５はソースフォロワアンプＭＯＳトランジスタ、３０６は垂直選択スイッチＭＯＳトランジスタ、３０７はソースフォロワの負荷ＭＯＳトランジスタ、３０８は暗出力転送ＭＯＳトランジスタ、３０９は明出力転送ＭＯＳトランジスタ、３１０は暗出力蓄積容量Ｃ_TN、３１１は明出力蓄積容量Ｃ_TS、３１２および３５４は垂直転送ＭＯＳトランジスタ、３１３および３５５は垂直出力線リセットＭＯＳトランジスタ、３１４は差動出力アンプ、３１５は垂直走査部、３１６は水平走査部である。
【００５２】
図７に、受光部（例えば３３０−１１）の断面図を示す。なお、受光部３３０−２１，３３０−１２，３３０−２２等も同一の構造である。
【００５３】
図７において、３１７はＰ型ウェル、３１８，３５８はゲート酸化膜、３２０、３５０はポリＳｉ、３２１はｎ+ ＦＤ部（フローティングディフュージョン領域）である。
【００５４】
３４０と３９０はｎ層であり、完全空乏化できる濃度である。ＦＤ部３２１は転送ＭＯＳトランジスタ３０３，３５３を介して第一光電変換部３０１および第二光電変換部３５１と接続される。制御パルスφＴＸにより発生した電荷をＦＤ部３２１へ完全転送させ、信号の加算，非加算が可能である。なお、同図では、第一光電変換部３０１と第二光電変換部３５１を離して描いたが、実際にはその境界部は極めて小さく、実用上は第一光電変換部３０１と第二光電変換部３５１は接しているとみなして良い。以降、隣接した第一光電変換部と第二光電変換部をひとまとめにして受光部と呼ぶことにする。また、受光部とＭＯＳトランジスタを含む各画素はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。
【００５５】
３２２は特定の波長の光を透過するカラーフィルタ、３２３は撮像光学系３２４からの光束を効率的に第一，第二光電変換部に導くためのマイクロレンズである。各画素において受光部の占める割合はおおよそ数１０％程度であって、結像レンズ３から射出した光束を有効に利用するためには、各受光部毎に集光用のマイクロレンズを設けて、受光部以外に到達しようとする光を受光部に偏向ことが必要となる。
【００５６】
図８は、固体撮像素子前面に設けたマイクロレンズと受光部との位置関係を示す平面図である。
【００５７】
図６を用いて先に説明した受光部３３０−２１，３３０−２２，３３０−１１，３３０−１２は、この図８では、７２−１１，７２−２１，７２−１２，７２−２２として表している。マイクロレンズ７１−１１から７１−４４は受光部の中心と光軸とがおおよそ一致した軸対称型の球面レンズあるいは非球面レンズであって、各々矩形の有効部を持ち、光入射側を凸形状として格子状に密に並べられている。
【００５８】
前述したように１画素はそれぞれ二つの光電変換部を有している。図８に付した、Ｒ，Ｇ，Ｂ（不図示）は赤色，緑色，青色のカラーフィルタを備えた光電変換部であることを、Ｒ，Ｇ，Ｂに続く１あるいは２は、第一光電変換部か第二光電変換部かの区別を表している。例えば、Ｒ１は赤色カラーフィルタを備えた第一光電変換部であり、Ｇ２は緑色カラーフィルタを備えた第二光電変換部を意味する。１画素には、第一光電変換部と第二光電変換部の二つの光電変換部を有するだけなので、高度な固体撮像素子の微細化は不要であり、デジタルカメラの撮像素子として安価に供給することができる。
【００５９】
このエリアセンサ部６ａは、各画素にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルタを交互に配して、４画素が一組となる所謂ベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素をＲやＢの画素よりも多く配置する事で、総合的な像性能を上げている。一般に、この方式の撮像素子では、輝度信号は主にＧから生成し、色信号はＲ，Ｇ，Ｂから生成する。
【００６０】
次に、マイクロレンズの作用について述べる。
【００６１】
マイクロレンズは、画像の位相差を検出する第一の焦点検出処理を行うために必要な要素である。
【００６２】
図９は、エリアセンサ部６ａの断面図である。前述の結像レンズ３は、図９の左側に位置し、該結像レンズ３を射出した光束は、光学ローパスフィルタ４を通って、先ずマイクロレンズ７１−１１，７１−２１，７１−３１，７１−４１に入射する。各マイクロレンズの後方にはカラーフィルタが配置され、ここで所望の波長域のみが選択されて７２−１１〜７２−４１の各受光部に到達する。カラーフィルタは図８を用いて説明したようにベイヤー配列を構成しており、ＲＧＢの３種がある。また、ベイヤー配列であることから、断面に現れるのはこのうちの２種であって、この場合は緑色透過カラーフィルタと赤色透過カラーフィルタである。
【００６３】
各マイクロレンズのパワーは固体撮像素子６の各受光部を結像レンズ３の射出瞳に投影するように設定されている。このとき、各受光部の投影像が結像レンズ３の絞り開放時の射出瞳よりも大きくなるように投影倍率を設定し、受光部に入射する光量と結像レンズ３の絞りＳＴの開口面積との関係をおおよそ線形にすると良い。
【００６４】
固体撮像素子６のエリアセンサ部６ａ全体で考えたとき、エリアセンサ部６ａ上のどの位置であっても第二光電変換部に入射する光束は、マイクロレンズの作用によって結像レンズ３の射出瞳の上半分を通過することとなる。一方、固体撮像素子全体の第一光電変換部に入射する光束は結像レンズ３の光軸Ｌ１を対称軸として上下を反転したものとして考えればよい。
【００６５】
以上のような光学系にあっては、例えば固体撮像素子６よりも手前に物体像が形成されているとき、射出瞳の上側を通る半光束は、図９の固体撮像素子６上で下側にシフトし、射出瞳の下側を通る半光束は上側にシフトする。つまり、結像レンズ３の瞳の半分ずつを通った光束で形成される一対の画像信号は物体像の結像状態に応じて図９の上下方向に相対的位置変化したものとなる。第一の焦点検出処理はこの原理を用いたものであって、エリアセンサ部６ａ上に焦点検出点を設定し、この点の周囲について一対の画像信号の相対的位置変化を調べれば、この位置における結像レンズ３の結像状態を知ることができる。
【００６６】
この構成によれば、第一の焦点検出処理による焦点検出点を撮影画面内のどこにでも置くことが可能である。さらに、焦点検出領域を撮像光学系の瞳の分割方向を長手方向とした長方形にすれば、長く連続した画像信号を用いて相対的位置変化量を検出することとなり、より検出の正確さを増すことができる。
【００６７】
一方、コントラスト検出方式の第二の焦点検出処理は、第一光電変換部の出力からでも、第二光電変換部の出力からでも、さらには、第一光電変換部と第二光電変換部の加算出力からでも、焦点検出出力を得ることができる。像の鮮鋭度を検出するには、簡単には緑色透過カラーフィルタを有する画素に注目して、隣り合う画素出力の差の絶対値を加算し、これを評価量として、フォーカシングレンズの駆動に伴う評価量の変化からその極大値を見つければよい。このような処理によれば、第一の焦点検出処理と同様に焦点検出点を撮影画面内のどこにでも置くことが可能である。
【００６８】
第一の焦点検出を縦方向の輝度分布について行い、第二の焦点検出を少なくとも横方向の輝度分布について行うように構成すれば、第一の焦点検出と第二の焦点検出が感度を持つ輝度分布の方向が直交する。したがって、第一の焦点検出処理の焦点検出領域と第二の焦点検出処理の焦点検出領域を組み合わせれば、縦横どちらの輝度分布でも検知できる焦点検出点となり、しかも、これは撮影画面の任意の位置に配置することが可能である。
【００６９】
また、第一の焦点検出と第二の焦点検出の焦点検出用画像信号を簡単に得るため、固体撮像素子駆動回路３７のコマンドの一つとして出力位置指定コマンドを用意する。エリアセンサ部６ａのうち、図１０に示した焦点検出点６１から６７の何れか、あるいは、これらの組み合わせをコマンドによって指定するように構成すると良好な操作性が得られる。さらには、あらかじめ定められた焦点検出点から選択するのではなく、トラックボールなどのポインティングデバイスを用意することにより、任意に指定するようにしてもよい。なお、焦点検出点６１から６７のそれぞれは、さらに二つの領域から構成されており、焦点検出領域６１ａ，６２ａ，６３ａ，６４ａ，６５ａ，６６ａ，６７ａは第一の焦点検出処理に、焦点検出領域６１ｂ，６２ｂ，６３ｂ，６４ｂ，６５ｂ，６６ｂ，６７ｂは第二の焦点検出処理に用いられる。
【００７０】
ＣＣＤ型の撮像素子は全ての画素の電荷蓄積時間が同じであるが、固体撮像素子６はＣＭＯＳセンサの特長を生かして、画素単位、あるいはライン単位、あるいはブロック単位での読み出しを行う構造をとることが容易にでき、さらに、蓄積時間の始まりと終りを単位毎に異ならせることができる。各焦点検出領域内で適切な信号レベルを得るため、焦点検出領域別に電子シャッタ設定を行って、その指定された特定領域を含むラインについては焦点検出用として電荷蓄積レベルが最適化された画像を出力するように構成する。
【００７１】
固体撮像素子６の電荷蓄積動作について、図６及び図７を用いて説明する。
【００７２】
先ず、ＦＤ部３２１は蓄積中、ブルーミング防止のために制御パルスφＲ０をハイにして電源ＶDDに固定しておく。光子ｈνが照射されるとｐｎフォトダイオード３０１、３５１に電子が蓄積されていき、正孔はＰ型ウェル３１７を通して排出される。
【００７３】
光電変換部３０１とＦＤ部３２１の間には転送ＭＯＳトランジスタ３０３によるエネルギー障壁が、光電変換部３５１とＦＤ部３２１の間には転送ＭＯＳトランジスタ３５３によるエネルギー障壁が、それぞれ形成されている。このため、光電荷蓄積中は電子はｐｎフォトダイオード３０１，３５１に存在する。この後、水平走査部を走査させ、同様に電荷蓄積動作を行えば全光電変換部について電荷の蓄積が成される。
【００７４】
読み出し状態になると転送ＭＯＳトランジスタ３０３と３５３下の障壁をなくし、ｐｎフォトダイオード３０１，３５１の電子をＦＤ部３２１へ完全に転送させる様に出力モードに応じて制御パルスφＴＸ₀₀，φＴＸ_e0を設定する。
【００７５】
第二の出力モードによる、画像の読み出しは次のようなものである。
【００７６】
まず、制御パルスφＲ₀ をＨレベルとしてＦＤ部３２１を電源Ｖ_DDにリセットし、制御パルスφＳ₀ をＨレベルとして暗出力を蓄積容量３１０に蓄積し、次に制御パルスφＴＸ₀₀をＨレベルとして、ｐｎフォトダイオード３０１に蓄積された光電荷をソースフォロワＭＯＳトランジスタ３０５、選択スイッチＭＯＳトランジスタ３０６を介して蓄積容量３１１に転送して、ノイズ成分を差動増幅器３１４によってキャンセルし、第一光電変換部からの第一の画像信号Ｖ_OUT を出力する。
【００７７】
さらに、制御パルスφＲ₀ をＨレベルとしてＦＤ部３２１を電源Ｖ_DDにリセットし、次に制御パルスφＴＸ_e0をＨレベルとして、ｐｎフォトダイオード３５１に蓄積された光電荷をソースフォロワＭＯＳトランジスタ３０５、選択スイッチＭＯＳトランジスタ３０６を介して蓄積容量３１１に転送して、ノイズ成分を差動増幅器３１４によってキャンセルし、第二光電変換部からの第二の画像信号Ｖ_OUT を出力する。
【００７８】
一方、第一の出力モードによる画像信号の読み出しでは、同時に転送ＭＯＳトランジスタ３０３と３５３下の障壁をなくして、二つのｐｎフォトダイオード３０１と３５１の電荷をＦＤ部３２１へ完全に転送させる様に制御パルスφＴＸ₀₀，φＴＸ_e0を設定する。第一光電変換部の電荷と第二光電変換部の電荷を加算した画像信号の読み出しを行うことが可能である。
【００７９】
さて、焦点検出のための信号処理について説明する。
【００８０】
前述のように焦点検出処理は、焦点検出点において縦方向のコントラスト分布と横方向のコントラスト分布の両方に対して感度を持たせるべく、第一の焦点検出処理と第二の焦点検出処理より成る。第一の焦点検出処理のための焦点検出領域と第二の焦点検出処理のための焦点検出領域は直交する長方形状の領域である。
【００８１】
先ず、第一の焦点検出処理は、結像レンズ３の射出瞳を分離した領域を通過した光束による第一の画像信号と、前記結像レンズ３の射出瞳を分離した他の領域を通過した光束による第二の光電変換出力の相対的位置変化を検出する第一の演算手段を用いる。
【００８２】
図１１は、焦点検出点６１のうち第一の焦点検出処理に用いる焦点検出領域６１ａの拡大図である。他の焦点検出領域６２ａ，６３ａ，６４ａ，６５ａ，６６ａ，６７ａも同様の構造である。また、図１２〜図１９は、視線検出・ＡＦ制御部４０に入力された画像のデジタル信号を表す図である。
【００８３】
第一の焦点検出処理での焦点検出用画像信号は、第二の出力モードによって形成された一対の物体像を実質的に同一タイミングで光電変換し、第一の光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号とに分けて独立に出力されたものである。
【００８４】
図１１に示すように、焦点検出領域６１ａは１２個の受光部で構成された画素列を２組備えている。画素列８２は受光部８０−１，８０−２，・・・・，８０−１２で構成され、画素列８３は受光部８１−１，８１−２，・・・・，８１−１２で構成されている。エリアセンサ部６ａのカラーフィルタはベイヤー配列をなしているので、各画素列には２種類のカラーフィルタが交互に配列されることになる。そこで、焦点検出のために、各画素列をカラーフィルタの種類で分類し、さらに、それぞれから、第一光電変換部からの信号と第二光電変換部からの信号とからなる一対の画像信号を生成する。したがって、焦点検出領域６１ａからは全部で４対の画像信号ができる。なお、前述のように一つの焦点検出領域については実質的に一律の蓄積時間とする。
【００８５】
図１２〜図１５は、この４対の画像信号を示している。
【００８６】
図１２は、画素列８２のうち緑色カラーフィルタを備えた受光部８０−１，８０−３，・・・，８０−１１からの画像信号で、そのうち、８４はＧ１で示した第一光電変換部からの第一の画像信号、８５はＧ２で示した第二光電変換部からの第二の画像信号である。
【００８７】
図１３は、画素列８３のうち緑色カラーフィルタを備えた受光部８１−２，８１−４，・・・，８１−１２からの画像信号で、そのうち、８６はＧ１で示した第一光電変換部からの第一の画像信号、８７はＧ２で示した第二光電変換部からの第二の画像信号である。
【００８８】
図１４は、画素列８２のうち赤色カラーフィルタを備えた受光部８０−２，８０−４，・・・，８０−１２からの画像信号で、８８はＲ１で示した第一光電変換部からの第一の画像信号、８９はＲ２で示した第二光電変換部からの第二の画像信号である。
【００８９】
図１５は、画素列８３のうち青色カラーフィルタを備えた受光部８１−１，８１−３，・・・，８１−１１からの画像信号で、９０はＢ１で示した第一光電変換部からの第一の画像信号、９１はＢ２で示した第二光電変換部からの第二の画像信号である。
【００９０】
これらは、撮像光学系２４によって焦点検出領域６１ａ上に成された物体像が、オレンジ色と黄色の濃淡である場合の例で、図１２と図１３に示した緑色のコントラストが高く、図１４に示した赤色は低コントラストであるものの強度は強く、さらに、図１５に示した青色はコントラストも強度も低くなっている。各図は物体像がデフォーカスした状態を示し、図１２及び図１３の矢印Ａ，Ｂで示すように、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号とは相対的に位置がずれていることが分かる。この程度からデフォーカス量を知ることができるため、位相差検出方式と呼ばれている。
【００９１】
また、図１６〜図１９は、物体像にピントがあった状態での信号であり、図１２〜図１５に示した信号が結像レンズ３の移動によって、それぞれ変化する様子を表している。
【００９２】
図１６は、画素列８２のうち緑色カラーフィルタを備えた受光部８０−１，８０−３，・・・，８０−１１からの画像信号で、１８４はＧ１で示した第一光電変換部からの第一の画像信号、１８５はＧ２で示した第二光電変換部からの第二の画像信号である。
【００９３】
図１７は、画素列８３のうち緑色カラーフィルタを備えた受光部８１−２，８１−４，・・・，８１−１２からの画像信号で、１８６はＧ１で示した第一光電変換部からの第一の画像信号、１８７はＧ２で示した第二光電変換部からの第二の画像信号である。
【００９４】
図１８は、画素列８２のうち赤色カラーフィルタを備えた受光部８０−２，８０−４，・・・，８０−１２からの画像信号で、１８８はＲ１で示した第一光電変換部からの第一の画像信号、１８９はＲ２で示した第二光電変換部からの第二の画像信号である。
【００９５】
図１９は、画素列８３のうち青色カラーフィルタを備えた受光部８１−１，８１−３，・・・，８１−１１からの画像信号で、１９０はＢ１で示した第一光電変換部からの第一の画像信号、１９１はＢ２で示した第二光電変換部からの第二の画像信号である。
【００９６】
物体にピントがあった状態では、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号とは位相が一致する。したがって、一対の信号の同一性を判定することで合焦検知を行うことができる。さらには、相関演算を用いた公知の手法、例えば特公平５−８８４４５号に開示されている手法を用いて相対的位置変化量を検出することにより、デフォーカス量を求めることができる。得られたデフォーカス量を結像光学系２４のフォーカシングレンズを駆動すべき量に換算すれば、自動焦点調節が可能である。レンズの駆動量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節が実現できる。
【００９７】
なお、ここでは色分解した信号を用いたが、色分解しない場合はこれらを足しあわせた信号を得ることに相当するために低コントラストになりやすく、この結果、検出不能状態に陥りやすい。これに対して、色分解した信号を用いれば、ここに示したようにＲＧＢすべての信号に高いコントラストが現れるとは限らないが、逆にＲＧＢの何れかには高コントラストな信号が得られ、ほとんどの場合、焦点検出が可能となる。
【００９８】
さらには、固体撮像素子６には光学ローパスフィルタＬＰＦを通過した物体像が入射しているものの、光学系の特性上、焦点検出系のナイキスト周波数「νｎ＝１／（２×２Ｐ）」を上回る高周波成分を全く取り込まないわけではない。したがって、物体のパターンによっては物体像の位相が信号の位相に反映されず、焦点検出結果には若干の誤差が含まれることがある。
【００９９】
像の位相差がない場合には、一対の信号に均等に位相エラーが乗るため、この現象が生じても焦点検出誤差にはならない。すなわち、図１６，図１７にあるような信号では、合焦判定に誤差は生じないが、図１２，図１３にあるような信号では、デフォーカス量検出に誤差が生じるということになる。
【０１００】
図１２及び図１３より分かるように、信号８４，８５に対して、信号８６，８７は物体像のサンプリング位置が半ピッチずれているため、信号８４，８５から算出された焦点検出結果と、信号８６，８７から算出された焦点検出結果を平均して最終的な焦点検出結果を得ることで、焦点検出誤差を低減することができ、上記の不具合を解決することができる。
【０１０１】
同様に、信号８８，８９に対して、信号９０，９１は物体像のサンプリング位置が半ピッチずれているため、信号８８，８９から算出された焦点検出結果と、信号９０，９１から算出された焦点検出結果を平均して最終的な焦点検出結果を得ることで、焦点検出誤差を低減することができる。この場合には赤色と青色に注目した焦点検出結果を平均することになり、結果的に撮像光学系２４の色収差をも平均することになって好ましい。
【０１０２】
また、信号８４，８５から算出された焦点検出結果、信号８６，８７から算出された焦点検出結果、信号８８，８９から算出された焦点検出結果、信号９０，９１から算出された焦点検出結果のうち、信頼性が高いものだけを選択して平均すれば、より高い焦点検出精度を得ることが可能である。例えば、図１４や図１５の場合のように低コントラストな信号では、その焦点検出結果を焦点調節に用いないようにすればよい。
【０１０３】
以上は、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号とは相対的に位置変化した関係にあることを前提に説明してきた。この前提が成り立つのは、比較的デフォーカス量が小さい場合である。
【０１０４】
次に、大デフォーカスへの対応について説明する。
【０１０５】
図１に示した撮像装置において、絞りＳＴには２０４から２０８で示した５つの開口が設けられ、開口２０４，２０５，２０６は撮像のための開口、開口２０７と２０８は大デフォーカス検出用開口である。撮像時は、撮影する物体の輝度に応じて自動的に開口２０４，２０５，２０６のうちの一つが選択される。あるいは、使用者が任意に開口２０４，２０５，２０６のうちの一つを選択するようにしても良い。開口の大きさを小さくするにしたがって、すなわち、開口２０４よりも開口２０５を、開口２０５よりも開口２０６を選択すると、被写界側でピントが合う範囲が深くなるとともに、電子シャッタによる電荷蓄積時間は長くなる。
【０１０６】
固体撮像素子６上に設けられたマイクロレンズは固体撮像素子６の各受光部を撮像光学系２４の射出瞳に投影するが、固体撮像素子６の各受光部に入射する光量と絞りＳＴの開口面積との関係を線形にするために、そのパワーは各受光部の投影像が撮像光学系の絞り開放時の射出瞳よりも大きくなるように設定してある。すなわち、絞りＳＴ上で受光部の投影像と開口とを比較すると、受光部の投影像は最も大きい開口２０４よりもさらに大きい。こうすれば、固体撮像素子への入射光量が絞りの開口面積におおよそ比例し、物体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッタ速度を算出することができる。つまり、入射光量が絞りの開口面積に比例するようになり、ＡＰＥＸ方式の演算が成り立つ。
【０１０７】
開口２０４，２０５，２０６の何れを用いて撮像した場合でも、形成された画像は射出瞳を２分割した半円状の領域を通過した半光束によるものとなる。一般に、物体像は点像と物体の輝度分布のコンボルーションで与えられるが、物体像のデフォーカス量が大きくなると、点像には射出瞳の形が現れてくる。この結果、画像には円を２分割した形のボケが重畳することになる。
【０１０８】
一対の焦点検出用画像信号の形成が平行移動で重なる形状の一対の射出瞳を介して成されていれば、個々の瞳形状がどういうものであっても、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号の関係は相対的位置変化したものになる。ところが、開口２０４，２０５，２０６を使用しているときは、射出瞳を分割した領域の形状は２つの半円形であって互いに裏返しの関係となり、一方の分割領域を平行移動することで他方に重なるわけではない。したがって、画像に重畳するボケ形状も同様に裏返しの関係になり、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号は形状を異ならせながら相対的に位置変化したものになってしまう。この結果、大デフォーカス時には画像の位相差検出がうまく行かず、デフォーカス量検出誤差は大きい。
【０１０９】
また、大デフォーカス時にデフォーカス量検出誤差を大きくする他の要因として、マイクロレンズの製造誤差が挙げられる。前述のように、マイクロレンズは受光部を撮像光学系の射出瞳に投影している。仮に、この投影位置が画素毎にバラバラであると、デフォーカス時の相対的位置変化量が画素毎に異なることになってしまう。この影響はデフォーカス量が大きいほど深刻である。しかしながら、マイクロレンズは非常に微細であるために、実際にはある程度の製造ばらつきを許容せざるを得ない。そこで、大デフォーカス検出時には、大デフォーカス検出用である絞りＳＴの開口２０７と２０８を用いる。開口２０７と２０８で分割された射出瞳上の領域はマイクロレンズによる瞳投影精度の影響を受けない。したがって、マイクロレンズの製造誤差があっても、確定した射出瞳上の分割領域を得ることができる。
【０１１０】
しかも、ここで開口２０７と２０８を例えば楕円や円とすれば、平行移動で重なる同一の形状であるために、第一光電変換部からの第一の画像信号と第二光電変換部からの第二の画像信号の関係は完全に位相のみがシフトしたものとなる。したがって、大デフォーカスであってもデフォーカス量の検出誤差を極めて小さく抑えることが可能である。
【０１１１】
また、開口２０７と２０８の重心の入射高さを開放絞り径の 0.7倍程度に選べば、一般的な球面収差特性を有する撮像光学系について最良解像までのデフォーカス量を収差レベルで正確に検出することができる。なお、撮像光学系２４のズーム動作が行われると、一般には開放Ｆナンバーが変化するが、開放絞りに対する開口２０７と２０８の重心位置の関係は一定の比率を維持するので、開口２０７と２０８の重心の入射高さはズーム位置に拘らず常に開放絞り径の 0.7倍程度になって都合がよい。
【０１１２】
物体にピントがあっている可能性が低い初回の焦点調節動作時には、先ず開口２０７と２０８を使用して、仮に大デフォーカスであってもこれに対応できる焦点調節と物体観察用のファインダ表示を行い、これに続く２回目以降の焦点調節動作では開口２０４，２０５，２０６の何れかを用いて残る焦点調節とファインダ表示を行うとともに、続く撮像に備えるように撮像装置のシーケンスを構成すると良い。
【０１１３】
この撮像装置では、撮像光学系のデフォーカス量を検出するための専用の焦点検出装置を必要としないので、光路分割のためのミラーやプリズムが要らない。したがって、撮像系を小型化することができる。
【０１１４】
次に、第二の焦点検出処理について説明する。
【０１１５】
第二の焦点検出処理では、第一の演算手段が用いた第一，第二の画像信号の相対的位置変化方向とは異なる方向について物体像のコントラストを検出する第二の演算手段を用いる。
【０１１６】
図２０は、図１０に示した焦点検出点６１のうち、第二の焦点検出処理に用いる焦点検出領域６１ｂの拡大図である。他の焦点検出領域６２ｂ，６３ｂ，６４ｂ，６５ｂ，６６ｂ，６７ｂも同様の構造である。
【０１１７】
第二の焦点検出処理での焦点検出用画像信号は、第一の出力モードによって形成された一対の物体像を実質的に同一タイミングで光電変換し、第一の光電変換部と第二光電変換部の電荷を加算して得た画像信号である。第一の出力モードによる焦点検出用画像信号は結像レンズ３の射出瞳全体を通った光束から形成されているため、結像レンズ３の光学収差を考慮した最適ピント位置を検出することが可能である。
【０１１８】
図２０に示すように、焦点検出領域６１ｂは「４行８列」の画素で構成されている。ゼロおよび自然数ｍ、ｎを用い、受光部を配列Ｓ（ｍ、ｎ）で表すこととする。エリアセンサ部６ａのカラーフィルタはベイヤー配列をなしているので、焦点検出領域６１ｂにはＲ，Ｇ，Ｂの３種類のカラーフィルタが配列されることになる。そこで、焦点検出のために、各画素列をカラーフィルタの種類で分類し、各色毎にコントラスト評価値を演算する。
【０１１９】
詳しくは、緑色カラーフィルタを備えた受光部Ｓ（１、０），Ｓ（３、０），Ｓ（５、０），Ｓ（７、０），Ｓ（０、１），Ｓ（２、１），Ｓ（４、１），Ｓ（６、１），Ｓ（１、３），Ｓ（３、３），Ｓ（５、３），Ｓ（７、３），Ｓ（０、３），Ｓ（２、３），Ｓ（４、３），Ｓ（６、３）、赤色カラーフィルターを備えた受光部Ｓ（０、０），Ｓ（２、０），Ｓ（４、０），Ｓ（６、０），Ｓ（０、３），Ｓ（２、３），Ｓ（４、３），Ｓ（６、３）、青色カラーフィルターを備えた受光部Ｓ（１、１），Ｓ（３、１），Ｓ（５、１），Ｓ（７、１），Ｓ（１、３），Ｓ（３、３），Ｓ（５、３）、Ｓ（７、３）について、隣り合う画素出力の差の絶対値の和を算出し、さらにＲ，Ｇ，Ｂ各色の和を求める。
【０１２０】
ところが、焦点検出領域６１ｂの横方向のコントラストをＲ，Ｇ，Ｂ各色について求め、これを加算するということは、一画素おきの画素出力の差の絶対値の和に等しいので、コントラスト評価値Ｃの実際の計算式は、簡単に図２３に示す式（１）で表すことができる。
【０１２１】
図２３に示す式（１）の第一項は横方向について検出を行ったときのコントラスト値、第二項は縦方向について検出を行ったときのコントラスト値である。したがって、コントラストの検出方向を横方向のみとする場合は、図２３に示す式（１）の第一項のみを使用して、図２３に示す式（２）のようにすればよい。
【０１２２】
さらに、以上の説明では、簡単のために一つの焦点検出領域を「４行×８列」の画素で構成したが、さらに多くの画素を使用することによって、コントラストの検出精度を上げることができる。
【０１２３】
このような手法によって、物体像のコントラスト評価値を算出した後は、結像レンズ３のフォーカシングレンズの繰り出し量を制御しながらコントラスト評価値をモニターし、そのピーク位置を探すことによって合焦位置を検出すればよい。
【０１２４】
第二の焦点検出処理では、第一の焦点検出処理で用いた第一，第二の画像信号の相対的位置変化方向とは異なる方向、すなわち物体輝度分布の横方向成分について像のコントラストを検出する。
【０１２５】
次に、図２１及び図２２に示すフローチャートを用いて、カメラの動作を説明する。
【０１２６】
図２１のフローチャートは、カメラシステム制御回路３５内のＲＯＭに書き込まれている制御プログラムである。
【０１２７】
図２１において、制御プログラムがスタートすると、先ず、ステップ＃２０１において、操作検出回路３６を介してメインスイッチ１９がＯＮかどうかを調べる。ＯＦＦであれば、再びステップ＃２０１を繰り返し、ＯＮであれば次のステップ＃２０２に移行する。そして、このステップ＃２０２において、固体撮像素子駆動回路３７を介して固体撮像素子６を駆動し、連続的な表示用画像の取り込みを開始する。続くステップ＃２０３においては、固体撮像素子６により撮像した画像を再生処理回路３４を介して液晶ディスプレー７上に動画像として表示するファインダ表示処理を開始する。
【０１２８】
ステップ＃２０５においては、視線検出・ＡＦ制御回路４０に対して、ファインダ観察者の注視点位置を検出するように指示する。そして、次のステップ＃２０７において、視線検出・ＡＦ制御回路４０に対して、ＡＦ制御サブルーチンを起動するように指示する。続くステップ＃２０８においては、操作検出回路３６を介してレリーズボタン２０がＯＮかどうかを調べる。ＯＦＦであれば、先のステップ＃２０５に戻り、ＯＮであれば次のステップ＃２０９に移行し、ここではレリーズボタン２０が押下されたので、固体撮像素子駆動回路３７を介して固体撮像素子６を第一の出力モードで駆動し、高精細な画像の取り込みを行う。そして、次のステップ＃２１０において、ＲＧＢ画像処理，ＹＣ処理の施されたデータを記録処理回路３３を介して内部のメモリに記録し、一連の制御を終了する。
【０１２９】
図２２のフローチャートは、視線検出・ＡＦ制御回路４０内のＲＯＭに書き込まれている制御プログラムであって、位相差検出方式を用いた第一の焦点検出処理と、コントラスト検出方式を用いた第二の焦点検出処理を含む。
【０１３０】
焦点検出処理の概略は、先ず第一の焦点検出処理による焦点検出を行って、この結果信頼性良くデフォーカス量が検出できれば、このデフォーカス量に基づいた焦点調節を行い、もし、信頼性良くデフォーカス量が検出できなければ、第二の焦点検出処理による焦点検出を試みる、というものである。図２２において、ステップ＃４０３が第一の焦点検出処理、ステップ＃４０８が第二の焦点検出処理である。
【０１３１】
図２２において、ＡＦ制御サブルーチンがスタートすると、先ずステップ＃４０１において、図２１のステップ＃２０５で行った視線検出結果に基づいて注視点上に焦点検出点を指定し、固体撮像素子６上の焦点検出点を取り囲む矩形領域を焦点検出用画像信号を取得すべき領域とし、さらに、焦点検出演算の対象領域とする。ここで、焦点検出点を取り囲む矩形領域は、図１０に示した、６１ａ，６１ｂ等である。
【０１３２】
ステップ＃４０２においては、固体撮像素子６を第一の焦点検出処理に適した射出瞳の一部を用いる第二の出力モードで駆動し、焦点検出用画像信号を取得する。そして、次のステップ＃４０３において、上記ステップ＃４０２にて取得した焦点検出用画像信号を用いて、第一の焦点検出処理による焦点検出演算を行い、第一の演算手段によって結像レンズ３の射出瞳を分割した領域を通過した光束による第一の画像信号と、結像レンズ３の射出瞳を分割した他の領域を通過した光束による第二の光電変換出力との相対的位置変化を算出する。得られたデフォーカス量はフォーカシングレンズの駆動量に変換する。
【０１３３】
ステップ＃４０４においては、上記ステップ＃４０３にて得られた焦点検出演算結果の信頼性を判定する。信頼性判定には、画像のコントラスト，出力レベル，位相をシフトさせたときの一致の度合いなどの少なくとも一つを評価関数として用いる。この評価関数は、特公平５−８８４４５号に開示されているものを用いればよい。信頼性があればステップ＃４０５に移行し、信頼性がなければステップ＃４０７に分岐する。
【０１３４】
ステップ＃４０５へ移行すると、ここでは上記ステップ＃４０４にて得られた焦点検出演算の結果が合焦であるかを判定する。合焦であれば、サブルーチンをリターンし、合焦でなければ、ピント位置を変えるためにステップ＃４０６に移行する。ステップ＃４０６へ移行すると、カメラシステム制御回路３５を介して、レンズシステム制御回路４１にフォーカシングレンズの駆動量を伝達する。これを受けて、レンズシステム制御回路４１はフォーカシングレンズを結像レンズ３の光軸Ｌ１方向に移動させ、焦点調節を行う。焦点調節の結果さらなる焦点調節が必要かを調べるためにステップ＃４０２に戻る。
【０１３５】
次に、上記ステップ＃４０４からステップ＃４０７へ移行した場合について説明する。ステップ＃４０７以降では、先のステップ＃４０４にて第一の焦点検出処理が失敗であったので、少なくとも第一の焦点検出処理とは異なる方向のコントラストに感度を有する第二の焦点検出処理を行う。
【０１３６】
ステップ＃４０７においては、固体撮像素子６を第一の出力モードで駆動し、焦点検出用画像信号を取得する。第二の焦点検出処理を行うためには固体撮像素子６の第一，第二どちらの出力モードの信号であっても良いが、結像レンズ３の射出瞳全体を用いる第一の出力モードの信号を用いる方が高精度な焦点検出が可能である。次のステップ＃４０８においては、上記ステップ＃４０７にて取得した焦点検出用画像信号を用いて、第二の焦点検出処理による焦点検出演算を行い、第二の演算手段によってコントラスト評価値Ｃを算出する。
【０１３７】
次のステップ＃４０９においは、合焦判定を行う。第二の焦点検出処理ではコントラスト評価値Ｃが極大値をとったかどうかを調べるので、データの蓄積のために合焦判定の初回と２回目は無条件に非合焦の判定を下す。過去３回以上のデータが蓄積されると、フォーカシングレンズの繰り出しとコントラスト評価値Ｃの関係に基づいて、コントラスト評価値Ｃの極大値が見つかったかどうかを調べる。ここで、極大値を捉えていれば、コントラスト評価値Ｃの極大値が合焦位置に相当するとして、フォーカシングレンズの繰り出しを極大値が見つかった位置まで戻し、サブルーチンをリターンする。
【０１３８】
一方、コントラスト評価値Ｃの値が単調増加しているか単調減少していれば、非合焦と判定して、ステップ＃４１０に移行する。そして、このステップ＃４１０において、フォーカシングレンズの繰り出しとコントラスト評価値Ｃの関係において、コントラスト評価値Ｃの増加方向の延長上に極大値があると仮定し、次回フォーカシングレンズの駆動すべき方向を設定する。そして、次のステップ＃４１１において、上記ステップ＃４１０にて設定した方向にフォーカシングレンズを駆動する。上記ステップ＃４０８で求めたコントラスト評価値Ｃが小さいときはこの駆動量を大きくし、コントラスト評価値Ｃが大きいときは駆動量を小さくすると、早くコントラスト評価値Ｃの極大値を見つけることができる。次に、コントラスト評価値Ｃを再び評価するためステップ＃４０７に戻る。
【０１３９】
以上の実施の形態によれば、縦方向の輝度分布を持ち、固体撮像素子の出力を用いて位相差検出方式により焦点検出を行う第一の焦点検出処理と、横方向に輝度分布を持ち、固体撮像素子の出力を用いてコントラスト方式により焦点検出を行う第二の焦点検出処理とにより焦点検出を可能とする構成にし、先ず第一の焦点検出処理による焦点検出を行い、この結果信頼性良くデフォーカス量が検出できれば、このデフォーカス量に基づいた焦点調節を行い、もし、信頼性良くデフォーカス量が検出できなければ、第二の焦点検出処理による焦点検出を行うようにしているので、縦横両方の輝度分布に感度を持つパッシブ型焦点検出装置を、物体像を撮像するための撮像素子を兼用する形で実現することができた。
【０１４０】
また、この事により、焦点検出装置にとって苦手な物体パターンを低減することができた。さらび、焦点検出方式の一つに、上記のように位相差検出方式を採用しているため、高いデフォーカス検出能力を実現することができた。この結果、交換レンズ式のシステムカメラ用の焦点検出装置として最適なものとなった。しかも、固体撮像素子の１画素には二つの光電変換部を具備する事で足りるので、高度な微細化は必要く、比較的安価に提供することができた。
【０１４１】
【発明の効果】
以上説明したように、本発明によれば、異なる二方向の輝度分布に感度を持ち、かつ、物体像を撮像するための撮像素子を兼用することで比較的安価とすると共に、物体により適した焦点検出結果を出力することができる。
【０１４２】
また、請求項２に記載の発明によれば、縦横両方の輝度分布に感度を持ち、かつ、物体像を撮像するための撮像素子を兼用することで比較的安価とすると共に、物体により適した焦点検出結果を出力することができる焦点検出装置を提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る撮像光学系の構成図である。
【図２】本発明の実施の一形態に係る視線検出機能を搭載したデジタルカラーカメラの構成図である。
【図３】本発明の実施の一形態においてＬＥＤの発光特性を示す図である。
【図４】本発明の実施の一形態においてダイクロイックミラーの分光反射率特性を示す図である。
【図５】図２のデジタルカラーカメラの電気的構成を示すブロック図である。
【図６】本発明の実施の一形態に係る固体撮像素子内のエリアセンサ部の回路構成図である。
【図７】本発明の実施の一形態に係る受光部の断面図である。
【図８】本発明の実施の一形態に係るマイクロレンズと受光部との位置関係を示す平面図である。
【図９】本発明の実施の一形態に係るエリアセンサ部の断面図である。
【図１０】本発明の実施の一形態に係る撮像領域と焦点検出領域の説明図である。
【図１１】図１０の焦点検出領域６１ａの拡大図である。
【図１２】図１１の画素列８２のうち緑色カラーフィルタを備えた受光部８０−１，８０−３，・・・，８０−１１からの画像信号である。
【図１３】図１１の画素列８３のうち緑色カラーフィルタを備えた受光部８１−２，８１−４，・・・，８１−１２からの画像信号である。
【図１４】図１１の画素列８２のうち赤色カラーフィルタを備えた受光部８０−２，８０−４，・・・，８０−１２からの画像信号である。
【図１５】図１１の画素列８３のうち青色カラーフィルタを備えた受光部８１−１，８１−３，・・・，８１−１１からの画像信号である。
【図１６】図１１の画素列８２のうち緑色カラーフィルタを備えた受光部８０−１，８０−３，・・・，８０−１１からの画像信号である。
【図１７】図１１の画素列８３のうち緑色カラーフィルタを備えた受光部８１−２，８１−４，・・・，８１−１２からの画像信号である。
【図１８】図１１の画素列８２のうち赤色カラーフィルタを備えた受光部８０−２，８０−４，・・・，８０−１２からの画像信号である。
【図１９】図１１の画素列８３のうち青色カラーフィルタを備えた受光部８１−１，８１−３，・・・，８１−１１からの画像信号である。
【図２０】図１０の焦点検出点６１のうち、第二の焦点検出処理に用いる焦点検出領域６１ｂの拡大図である。
【図２１】本発明の実施の一形態に係るデジタルカラーカメラの動作を示すフローチャートである。
【図２２】図２１のＡＦ制御の詳細を示すフローチャートである。
【図２３】本発明の実施の一形態においてコントラスト評価値の実際の計算式を示す図である。
【符号の説明】
３結像レンズ
６固体撮像素子
６ａエリアセンサ部
３０Ａ／Ｄ変換器
３５カメラシステム制御回路
３６操作検出回路
３７固体撮像素子駆動回路
６１〜６７焦点検出点
６１ａ，６１ｂ焦点検出領域

Claims

二つの光電変換部の信号電荷の加算により、撮影レンズの射出瞳からの光束を受光して該光束に対応する信号を出力する第一の出力モードと、瞳分割された射出瞳の一部から第１および第２の光束を受光して該第１および第２の光束それぞれに対応する信号を出力する第二の出力モードとを切り換え可能な撮像素子と、
前記撮像素子から前記第二の出力モードで出力される信号に基づいて前記第１および第２の光束にそれぞれ対応する信号の位相差を検出する第１の焦点検出処理と、前記撮像素子から前記第一の出力モードまたは第二の出力モードで出力される信号に基づいて像のコントラストを検出する第２の焦点検出処理とが可能な信号処理手段とを有し、
前記信号処理手段は、前記第１の焦点検出処理をした後、所定の条件を満たさない場合に前記第一の出力モードにおいて画素レベルで加算された信号に基づいて、前記瞳分割の方向と異なる方向のコントラストを検出する前記第２の焦点検出処理を行うことを特徴とする焦点検出装置。
前記所定の条件を満たしているか否かの判定は、画像信号のコントラスト、出力レベル、各画像信号の位相をシフトさせたときの一致度の度合いの少なくとも一つを評価関数として用いて行うことを特徴とする請求項１に記載の焦点検出装置。
前記撮像素子は複数画素より成り、各画素にそれぞれ二つの光電変換部を有し、該二つの光電変換部より前記第一の出力モードあるいは前記第二の出力モードで信号が出力されることを特徴とする請求項１または２に記載の焦点検出装置。