以下、図を参照して本発明を実施するための最良の形態について説明する。以下では、撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。
−第1の実施の形態−
図1はカメラの横断面図であり、カメラの概略構成を示したものである。デジタルスチルカメラ201は交換レンズ202とカメラボディ203から構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202はレンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う他、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。
ボディ駆動制御装置214はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子212の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ202の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報(デフォーカス量や絞り値など)の送信を行う。
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212によるスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像を記憶する画像ストレージである。
交換レンズ202を通過した光束により、撮像素子212の受光面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212からの画像信号を処理してメモリカード219に格納するとともに、撮像素子212からのスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じて変更する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択したりする。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
図2は撮影画面上の焦点検出位置を示す図であり、後述する焦点検出画素列により焦点検出を行うときに画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この一実施の形態では、矩形の撮影画面100内の中央に焦点検出エリア101が配置される。長方形で示した焦点検出エリア101の長手方向に、複数の焦点検出画素が直線的に配列される。
図3は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の焦点検出エリア101の近傍を拡大して示したものである。撮像素子212は、撮像画素310と焦点検出画素313、314から構成される。撮像画素310は水平および垂直方向に2次元状に正方格子配列されており、一方、焦点検出画素313、314は水平方向に配列されている。
撮像画素310は、図4に示すように、マイクロレンズ10と光電変換部11を備えている。また、焦点検出画素313は、図5(a)に示すように、マイクロレンズ10と光電変換部13を備えている。光電変換部13の形状は、マイクロレンズ10の垂直2等分線に接する左半円である。さらに、焦点検出画素314は、図5(b)に示すように、マイクロレンズ10と光電変換部14を備えている。光電変換部14の形状は、マイクロレンズ10の垂直2等分線に接する右半円である。
光電変換部13,14は、マイクロレンズ10を重ね合わせて表示した場合に左右水平方向に並んでおり、マイクロレンズ10の垂直2等分線に関して対称な形状をしている。焦点検出画素313と焦点検出画素314は、水平方向(光電変換部13と14の並び方向)に交互に配置される。これらの撮像画素310と焦点検出画素313、314の分光感度特性は、図6に示すような特性となっている。
図7は撮像画素310の断面図である。撮像画素310には、撮像用の光電変換部11の前方にマイクロレンズ10が配置されており、マイクロレンズ10により光電変換部11が前方に投影される。光電変換部11は半導体回路基板29上に形成される。
図8(a)は、焦点検出画素313の断面図である。焦点検出画素313には、光電変換部13の前方にマイクロレンズ10が配置されており、マイクロレンズ10により光電変換部13が前方に投影される。光電変換部13は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部13はマイクロレンズ10の光軸の片側に配置される。
図8(b)は、焦点検出画素314の断面図である。焦点検出画素314では、光電変換部14の前方にマイクロレンズ10が配置されており、マイクロレンズ10により光電変換部14が前方に投影される。光電変換部14は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部14はマイクロレンズ10の光軸の片側で、かつ光電変換部13の反対側に配置される。
図9は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図9において、90は、交換レンズ202(図1参照)の予定結像面に配置されたマイクロレンズから前方dの距離に設定された射出瞳である。この距離dは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。91は交換レンズの光軸、10a〜10dはマイクロレンズ、13a、13b、14a、14bは光電変換部、313a、313b、314a、314bは焦点検出画素、73,74、83,84は焦点検出光束である。
また、93は、マイクロレンズ10a、10cにより投影された光電変換部13a、13bの領域であり、この明細書では測距瞳と呼ぶ。図9では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、94は、マイクロレンズ10b、10dにより投影された光電変換部14a、14bの領域であり、この明細書では測距瞳と呼ぶ。図9では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
図9では、隣接する4つの焦点検出画素313a、313b、314a、314bを模式的に例示しているが、その他の焦点検出画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
マイクロレンズ10a〜10dは、交換レンズ202(図1参照)の予定結像面近傍に配置されている。マイクロレンズ10a〜10dは、それらの背後に配置された光電変換部13a、13b、14a、14bの形状をマイクロレンズ10a〜10cから測距瞳距離dだけ離間した射出瞳90上に投影する。その投影形状は、測距瞳93,94を形成する。すなわち、投影距離dにある射出瞳90上で各焦点検出画素の光電変換部の投影形状(測距瞳93,94)が一致するように、各焦点検出画素における光電変換部の投影方向が決定されている。
測距瞳93を通過してマイクロレンズ10aに向う光束73は、マイクロレンズ10a上に像を形成する。光電変換部13aは、形成された像の光強度に対応した信号を出力する。同様に、測距瞳93を通過してマイクロレンズ10cに向う光束83は、マイクロレンズ10c上に像を形成し、光電変換部13bは形成された像の光強度に対応した信号を出力する。
また、測距瞳94を通過してマイクロレンズ10bに向う光束74は、マイクロレンズ10b上に像を形成する。光電変換部14aは、形成された像の光強度に対応した信号を出力する。同様に、測距瞳94を通過してマイクロレンズ10dに向う光束84は、マイクロレンズ10d上に像を形成し、光電変換部14bは形成された像の光強度に対応した信号を出力する。
上述した2種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳93および測距瞳94に対応した出力グループにまとめることによって、測距瞳93および測距瞳94をそれぞれ通過した焦点検出用光束が画素列上に形成する一対の像に対して、像の強度分布に関する情報を得ることができる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。
図10は撮像素子212の回路構成を示す概念図であり、撮像素子212を(水平方向8画素)×(垂直方向4画素)のレイアウトに簡略化して示したものである。本実施の形態の撮像素子212は、CMOSイメージセンサーとして構成される。図10において、垂直方向の上から2行目は焦点検出画素が配置されている行であり、中央の6つの焦点検出画素313、314が複数の焦点検出画素を代表しており、左右の1つずつの撮像画素310が焦点検出画素の左右に配置された複数の撮像画素を代表している。垂直方向の1行目、3行目、4行目は撮像画素310のみが配置された行であり、焦点検出画素が配置された行の上下に配置される複数の撮像画素のみからなる行を代表している。
ラインメモリ320は1行分の画素の画素信号を一時的に保持するバッファである。撮像画素310および焦点検出画素313,314からの画素信号の出力は、垂直走査回路502が発する制御信号(ΦS1〜ΦS4)により行ごとに独立に制御される。制御信号(ΦS1〜ΦS4)により選択された行の画素の画素信号は垂直信号線501へ出力され、ラインメモリ320は垂直信号線501に出力されている同一行の画素信号を垂直走査回路502が発する制御信号ΦH1に基づいてラッチする。ラインメモリ320に保持された画素信号は、水平走査回路503が発する制御信号(ΦV1〜ΦV8)にしたがって順に出力回路330へ転送され、出力回路330で予め設定された増幅度で増幅されて外部へ出力される。なお、ラインメモリ320に保持される画素信号は、制御信号ΦS1〜ΦS4の立ち上がりに同期してリセットされる。
撮像画素310および焦点検出画素313,314は、画素信号がラッチされた後、リセット回路504が発する制御信号(ΦR1〜ΦR4)によりリセットされ、次回の画素信号のための電荷蓄積を開始する。垂直走査回路502およびリセット回路504には動作モード切替のためのMode信号が外部から入力されており、Mode信号のH/Lに応じて制御信号(ΦS1〜ΦS4)の発生パターンを変更する。この発生パターンを変更により、通常の画素信号出力動作(全画素読み出しモード)と画素信号を垂直方向に間引きして出力する動作(垂直間引き読み出しモード)とを切り換える。
水平走査回路503にも動作モード切替のためのMode信号が外部から入力されており、Mode信号のH/Lに応じて制御信号(ΦV1〜ΦV8)の発生周期を調整することにより、通常の画素信号出力動作(全画素読み出しモード)と画素信号を垂直方向に間引きして出力する動作(垂直間引き読み出しモード)の切り換えに対応する。撮像素子212が垂直間引き読み出しモードに設定された場合には、垂直方向で2:1のインターレース走査が行われる。この場合、1フレームの画像情報が2フィールドの画像情報に分割され、奇数行の画素信号から成る奇数フィールドの読み出しと、偶数行の画素信号から成る偶数フィールドの読み出しとが交互に繰り返し実行される。
図10は奇数フィールド読み出しの場合を示したものであり、白抜き矩形で示されている1行目と3行目の撮像画素310の画素信号が読み出される。一方、図11は偶数フィールド読み出しの場合を示したものであり、白抜きの矩形または丸で示す2行目の焦点検出画素313,314および撮像画素310と4行目の撮像画素310の画素信号が読み出される。
図12は、図10、11に示す撮像素子212の撮像画素310と焦点検出画素313,314の詳細な回路図である。これらの画素の光電変換部はフォトダイオードPDで構成される。フォトダイオードPDに蓄積された電荷は、浮遊拡散層(フローティングディフュージョン)FDに蓄積される。フローティングディフュージョンFDは増幅MOSトランジスタAMPのゲートに接続されており、このトランジスタAMPはフローティングディフュージョンFDに蓄積された電荷の量に応じた信号を発生する。
フローティングディフュージョンFDはリセットMOSトランジスタ510を介して電源Vddに接続されており、制御信号ΦRn(ΦR1〜ΦR4)によりリセットMOSトランジスタ510がONすると、フローティングディフュージョンFDおよびフォトダイオードPDに溜まった電荷がクリアされリセット状態となる。トランジスタAMPの出力は行選択MOSトランジスタ512を介して垂直出力線501へ接続されており、制御信号ΦSn(ΦS1〜ΦS4)により行選択MOSトランジスタ512がONすると、トランジスタAMPの出力が垂直信号線501へ出力される。
図13,14は撮像素子212の動作タイミングチャートであり、横軸は時間スケールである。図13は撮像素子212の全画素を読み出す通常動作モードの場合を示したものであり、図14はライブビュー表示の際に用いられる垂直間引き読み出しモードの場合を示したものである。
まず、図13および図10を参照して、通常動作モードについて説明する。外部からローレベルのMode信号Lが入力されると、撮像素子212は通常動作モード(全画素読み出しモード)で動作する。1行目の撮像画素310は垂直走査回路502から発せられる制御信号ΦS1により選択され、選択された撮像画素310の画素信号は垂直信号線501へ出力される。制御信号ΦS1と同期して発せられる制御信号ΦH1により、垂直信号線501に出力された1行目の画素信号はラインメモリ320に一時的に保持される。ラインメモリ320に保持された1行目の撮像画素310の画素信号は、水平走査回路503から順次発せられる制御信号ΦV1〜ΦV8にしたがって出力回路330へ転送され、出力回路330により予め設定された増幅度で増幅されて外部へ出力される。
1行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR1により1行目の撮像画素310がリセットされ、制御信号ΦR1の立ち下がりで1行目の撮像画素310の次の電荷蓄積が開始される。1行目の撮像画素310の画素信号の出力回路330からの出力が終了した時点で、2行目の撮像画素310および焦点検出画素313,314は垂直走査回路502が発する制御信号ΦS2により選択され、選択された撮像画素310および焦点検出画素313,314の画素信号は垂直信号線501へ出力される。以下、1行目の画素の動作と同様に、2行目の撮像画素310および焦点検出画素313,314において画素信号の保持、画素のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。
続いて3行目および4行目の画素に関して、1行目の画素の場合と同様に画素信号の保持、画素リセット、画素信号の出力および次の電荷蓄積の開始が行われる。すべての画素の画素信号の出力が終了したらふたたび1行目へ戻り、上述した動作が周期的に繰り返される。
なお、制御信号ΦR1〜ΦR4のパルス幅を変更することによって、撮像画素310および焦点検出画素313,314の電荷蓄積時間(露光時間)を調整することができる。図13に示すタイミングチャートでは、1行目から4行目の画素の電荷蓄積と画素信号出力を周期的に繰り返す動作例を示したが、これらの動作を単発的に1周期のみ行うこともできる。このような通常動作モード(全画素読み出しモード)は撮影時に実行される。
次に、図14,10,11を参照して、撮像素子212の垂直間引き読み出しモードについて説明する。外部からハイレベルのMode信号Hが入力されると、撮像素子212は垂直間引き読み出しモードで動作する。垂直間引き読み出しモードでは、図10に示す奇数フィールドの読み出しと、図11に示す偶数フィールドの読み出しとが交互に行われる。奇数フィールドにおいては、撮像画素310のみが配置された1行目および3行目がそれぞれ連続的に読み出され、偶数フィールドにおいては、焦点検出画素313,314を含む2行目と撮像画素310のみの4行目がそれぞれ連続的に読み出される。
奇数フィールドにおいては、1行目の撮像画素310は垂直走査回路502から発せられる制御信号ΦS1により選択され、選択された撮像画素310の画素信号が垂直信号線501へ出力される。垂直信号線501に出力された1行目の画素信号は、制御信号ΦS1と同期して発せられる制御信号ΦH1によりラインメモリ320に一時的に保持される。ラインメモリ320に保持された1行目の撮像画素310の画素信号は、水平走査回路603から発せられる制御信号ΦV1〜ΦV8にしたがって出力回路330へ転送され、出力回路330により予め設定された増幅度で増幅されて外部へ出力される。
なお、1行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR1により1行目の撮像画素310がリセットされ、制御信号ΦR1の立ち下がりで1行目の撮像画素310の次の電荷蓄積が開始される。
1行目の撮像画素310の画素信号の出力回路330からの出力が終了した時点で、3行目の撮像画素310は垂直走査回路502から発せられる制御信号ΦS3により選択され、選択された撮像画素310の画素信号は垂直信号線501へ出力される。そして、制御信号ΦS3と同期して発せられる制御信号ΦH1により、垂直信号線501へ出力された3行目の画素信号がラインメモリ320に一時的に保持される。
ラインメモリ320に保持された3行目の撮像画素310の画素信号は、水平走査回路503から発せられる制御信号ΦV1〜V8にしたがって出力回路330に転送され、出力回路330により予め設定された増幅度で増幅されて外部へ出力される。3行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR3により3行目の撮像画素310がリセットされ、制御信号ΦR3の立ち下がりで3行目の撮像画素310の次の電荷蓄積が開始される。
以上で奇数フィールドの画素信号読出し動作が終了すると、引き続いて偶数フィールドの画素信号の読出しに移行する。3行目の撮像画素310の画素信号の出力回路330からの出力が終了した時点で、2行目の撮像画素310および焦点検出画素313,314は垂直走査回路502から発せられる制御信号ΦS2により選択され、選択された撮像画素310および焦点検出画素313,314の画素信号が垂直信号線501へ出力される。垂直信号線501に出力された2行目の撮像画素310および焦点検出画素313,314の画素信号は、制御信号ΦS2と同期して発せられる制御信号ΦH1によりラインメモリ320に一時的に保持される。
ラインメモリ320に保持された2行目の撮像画素310および焦点検出画素313,314の画素信号は、水平走査回路503から発せられる制御信号ΦV1〜ΦV8にしたがって出力回路330に転送され、出力回路330により予め設定された増幅度で増幅されて外部に出力される。2行目の撮像画素310および焦点検出画素313,314の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR2により2行目の撮像画素310および焦点検出画素313,314がリセットされ、制御信号ΦR2の立ち下がりで2行目の撮像画素310および焦点検出画素313,314の次の電荷蓄積が開始される。
2行目の撮像画素310および焦点検出画素313,314の画素信号の出力回路330からの出力が終了した時点で、4行目の撮像画素310が垂直走査回路502から発せられる制御信号ΦS4により選択され、選択された撮像画素310の画素信号が垂直信号線501へ出力される。垂直信号線501に出力された4行目の画素信号は、制御信号ΦS4と同期して発せられる制御信号ΦH1によりラインメモリ320に一時的に保持される。ラインメモリ320に保持された4行目の撮像画素310の画素信号は、水平走査回路503から発せられる制御信号ΦV1〜V8にしたがって出力回路330に転送され、出力回路330により予め設定された増幅度で増幅されて外部に出力される。
4行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504より発せられる制御信号ΦR4により4行目の撮像画素がリセットされ、制御信号ΦR4の立ち下がりで4行目の撮像画素310の次の電荷蓄積が開始される。以上で偶数フィールドの画素信号読出し動作が終了し、再び奇数フィールドの画素信号読出し動作に戻って上記動作が周期的に繰り返される。
図15〜図18は、図1に示したデジタルスチルカメラの動作を示すフローチャートである。ボディ駆動制御装置214は、カメラの電源が投入されると図15のステップS100から電源ON時の動作を開始し、ステップS110で図16に示す垂直間引き読み出しモード(以下では、インターレース読み出しモードと呼ぶ)サブルーチンへジャンプする。
図16は、撮像素子212のインターレース読み出しモードサブルーチンの動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS200から撮像素子212の読み出し動作を開始する。ステップS210で撮像素子212をインターレース読み出しモードに設定し、このモードでの繰り返し撮像動作を開始させる。続くステップS220では、図17に示す画素データ読み出し割り込みの発生を待機する。
図17は、画素データ読み出し割り込み処理を示すフローチャートである。図16のステップS220で画素データ読み出し割り込みが発生すると、ボディ駆動制御装置214は、画素データ読み出し割り込み処理を開始する。撮像素子212は、画素信号を出力する際、1フィールドの最初の画素信号を出力する直前に、ボディ駆動制御装置214に対し画素データ読み出し割り込みを発生する。撮像素子212が、インターレース読み出しモードおいて奇数フィールド、偶数フィールドの順に繰り返し読み出しを行う周期動作を行っている場合には、この割り込みが周期的に発生し、ボディ駆動制御装置214はステップS300から処理を開始する。
ステップS310では、撮像素子212からインターレース読み出しモードで画素データを読み込む。すなわち、奇数フィールドに関する割り込み処理が行われている場合には奇数フィールドの画素データが読み込まれ、偶数フィールドに関する割り込み処理が行われている場合には偶数フィールドの画素信号が読み込まれる。続くステップS320では、ステップS310で読み込んだ画素信号が奇数および偶数のいずれのフィールドであるかに応じて補間処理を行い、補間処理後の画像をEVFとして機能する液晶表示素子216に表示する。
図19は、奇数フィールドと偶数フィールドにおける画素信号の読出し動作を模式的に表した図であり、(a)は奇数フィールドの場合を、(b)は偶数フィールドの場合を示す。図の縦方向および横方向が画素配列の垂直方向および水平方向に対応しており、横方向の実線91は垂直間引きで読み出される行を示し、破線92は垂直間引きで読み出されない行を示している。各行における画素信号読み出しの走査方向は左から右であり、縦方向の行の走査方向は上から下である。また、図19(a)の中央部の太い実線93は、焦点検出画素313,314が配置されている部分を示しており、この行の画素信号は偶数フィールドで読み出される。
図19(a)に示す奇数フィールドの場合、上述したステップS320の処理では、連続した2つの奇数行の同じ列の画素信号を加算平均して、2つの奇数行の中間にある偶数行(破線で示す)の同じ列の画素信号に換算し、その画素信号に基づく画像を液晶表示素子216に表示する。すなわち、奇数フィールドの画像情報を、偶数フィールドで読み出される行の位置における画像情報に換算して表示する。
一方、図19(b)に示す偶数フィールドの場合のステップS320の処理では、焦点検出画素313,314が配置された行の直上および直下の偶数行の同じ列の撮像画素の画素信号を加算平均して、同じ列の焦点検出画素313,314の位置の画素信号を補間により作成する。そして、偶数フィールドの補間画素信号と撮像画素310の画素信号とに基づいて、画像を液晶表示素子216に表示する。
ステップS322では、処理を行っているフィールドが奇数フィールドか偶数フィールドかを判定する。そして、焦点検出画素313,314を含まない奇数フィールドと判定した場合にはステップS370へ進み、偶数フィールドと判定した場合には、ステップS330へと進む。ステップS330では、焦点検出エリア101(図2参照)の一対の焦点検出画素のデータ列(図11に示す例では、白抜き丸で示す焦点検出画素313,314の画素信号の列)に基づいて、後述する像ズレ検出演算処理(相関演算処理)を行い、焦点検出エリア101における像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。
ステップS340では、合焦近傍か否か、すなわち、算出されたデフォーカス量の絶対値が所定値以内であるか否かを判定する。ステップS340において合焦近傍でないと判定された場合には、ステップS350へ進む。ステップS350では、デフォーカス量をレンズ駆動制御装置206へ送信して、交換レンズ202のフォーカシングレンズ210の合焦位置への駆動を更新し、ステップS370へ進む。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置206にスキャン駆動命令を送信し、交換レンズ202のフォーカシングレンズ210を無限から至近までの間でスキャン駆動させ、ステップS370へ進む。
一方、ステップS340において合焦近傍であると判定された場合はステップS360へ進み、レリーズ操作によるシャッターレリーズがなされたか否かを判定する。シャッターレリーズがなされていないと判定された場合にはステップS370へ進み、シャッターレリーズがなされたと判定された場合には、図18に示すレリーズシーケンス動作を実行する。ステップS370では、画素データ読み出し割り込み処理から図16に示すインターレース読み出しモードサブルーチンのステップS220へリターンし、次の周期の画素データ読み出し割り込みの発生を待機する。なお、画素データ読み出し割り込み処理のステップS300〜S360の処理時間は、画素データ読み出し割り込みの発生周期よりも短くなっている。
図18はレリーズシーケンス動作を示すフローチャートである。ステップS460において、撮像素子212を全画素読み出しモードに設定し、全画素読み出しモードで単発的に撮像動作させる。ステップS470では、画素データ読み出し割り込みが発生するのを待機する。画素データ読み出し割り込みが発生したならば、続くステップS480で撮像素子212から出力される画素信号を読み込む。ステップS490では、焦点検出画素313,314の位置の画素信号を焦点検出画素313,314の周囲にある撮像画素310の画素信号で補間して作成する。ステップS500では、撮像画素310の画素信号と上記補間信号を画像データとしてメモリカード219へ格納する。ステップS510では、図16に示すインターレース読み出しモードサブルーチンへジャンプし、ふたたび撮像素子212をインターレース読み出しモードに設定し、インターレース読み出しモードで繰り返し撮像動作を開始させる。
次に、図17のステップS330における像ズレ検出演算処理(相関演算処理)の詳細について説明する。焦点検出画素313,314が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列(A11〜A1M、A21〜A2M:Mはデータ数)に対し、次式(1)に示す相関演算を行い、相関量C(k)を演算する。
C(k)=Σ|A1n・A2n+1+k−A2n+k・A1n+1| …(1)
式(1)において、Σ演算はnについて累積され、nのとる範囲は像ずらし量kに応じてA1n、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
式(1)の演算結果は、図20(a)に示すように、一対のデータの相関が高いシフト量(図20(a)ではk=kj=2)において相関量C(k)が極小になる。この相関量C(k)の値は、相関が高いほど小さくなる。次に、次式(2)〜(5)に示す3点内挿の手法を用い、相関量を連続的とみなした場合の極小値C(x)を与えるシフト量xを求める。
x=kj+D/SLOP …(2)
C(x)= C(kj)−|D| …(3)
D={C(kj-1)−C(kj+1)}/2 …(4)
SLOP=MAX{C(kj+1)−C(kj),C(kj-1)−C(kj)} …(5)
式(2)で算出されたずらし量xの信頼性があるかどうかは、以下のようにして判定される。図20(b)に示すように、一対のデータの相関度が低い場合には、内挿された相関量の極小値C(x)の値が大きくなる。したがって、C(x)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。あるいは、C(x)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(x)を除した値を用い、その値が所定値以上の場合には、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。
あるいは、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。図20(c)に示すように、一対のデータの相関度が低く、シフト範囲kmin〜kmaxの間で相関量C(k)の落ち込みがない場合は、極小値C(x)を求めることができない。このような場合には、焦点検出不能と判定する。
なお、相関演算式としては式(1)に示した演算式に限定されず、光量バランスが崩れていても像ズレ検出精度の維持が可能な相関演算式であればどのような演算式を用いてもよい。
算出されたずらし量xの信頼性があると判定された場合は、次式(6)により像ズレ量shftに換算する。式(6)において、PYは検出ピッチである。そして、式(7)に示すように、式(6)で算出された像ズレ量に所定の変換係数kを乗じてデフォーカス量defへ変換する。
shft=PY・x …(6)
def=k・shft …(7)
上述したように、本実施の形態においては、垂直間引き読み出しモード時における奇数フィールドおよび偶数フィールドの画像情報には、いずれの場合も撮像画素310の画素データが含まれている。そして、図14に示すように、奇数フィールドの画像情報と偶数フィールドの画像情報を交互に表示する。すなわち、撮像素子212から画素信号を垂直方向にインターレース走査で読み出すことにより、各フィールドの画像情報に応じた画像をライブビュー表示することができ、従来のように単に1フィールドの画像情報を繰り返し表示する場合に比べて表示の解像感が向上する。
さらに、撮像画素310の画素信号を含まないフィールドが混在しないので、所定時間あたりの表示の更新回数が増加し、動きのある被写体を撮像して表示する場合にも動きが滑らかに視認される。なお、図19で示したように、奇数フィールドの画像情報を、偶数フィールドで読み出される行の位置における画像情報に換算して表示することで、表示されるフィールドが切り替わった際に表示画像が1行分上下方向に変動するのを防止できる。
また、焦点検出画素313,314の画素信号を含む偶数フィールドの画像情報が2回のフィールド読出しにつき1回の割合で読み出されるので、画質を低下させることなく応答性の高い焦点検出を実現することができる。なお、インターレースの動作は2:1のインターレースに限定されることなく、3:1やそのほかの間引き間隔で行っても良い。
図18のレリーズシーケンスにおいては、レリーズ後に即撮像動作に移行しているが、撮像前に一旦全画素読出し(あるいは部分読出し)を行って連続した焦点検出画素の画素データを読出し、該画素データに基づいて焦点検出および焦点調節を行って厳密な焦点調節を達成した後に撮像動作を行うようにしてもよい。
―第2の実施の形態―
上述した第1の実施の形態のインターレース読み出しモードでは、行を間引く垂直間引き読み出しを行ったが、以下に述べる第2の実施の形態では、列を間引く水平間引き読み出しを行う。本実施の形態では、図21〜23に示すように、1フレームの画像情報を3つのフィールドに分割してインターレース走査する。図21〜23は、各フィールドにおいて読み出される画素を説明する図であり、撮像素子212の回路構成を示す概念図である。なお、図10,11に示す回路構成と同一の構成要素には同一の符号を付した。
撮像素子212はCMOSイメージセンサーとして構成され、図21〜23では、撮像素子212の回路構成を(水平方向9画素)×(垂直方向3画素)のレイアウトに簡略化して説明する。垂直方向の上から2行目は焦点検出画素が配置されている行であり、2列目から7列目の6つの画素が焦点検出画素313、314であり、1列目、8列目及び9列目の画素は撮像画素310である。1行目および3行目に配置された画素は、全て撮像画素310である。ラインメモリ320、垂直信号線501、出力回路330、垂直走査回路502、水平走査回路503およびリセット回路504については、図10,11の場合と同様である。
水平走査回路503には動作モード切替のためのMode信号が外部から入力されており、Mode信号のH/Lに応じて制御信号(ΦV1〜ΦV9)の発生パターンを変更することにより、通常の画素信号出力動作(全画素読み出しモード)と画素信号を水平方向に間引きして出力する動作(水平間引き読み出しモード)とを切り換える。垂直走査回路502およびリセット回路504にも動作モード切替のためのMode信号が外部から入力されており、Mode信号のH/Lに応じて制御信号(ΦS1〜ΦS3、ΦR1〜ΦR3)の発生タイミングを調整することにより、通常の画素信号出力動作(全画素読み出しモード)と画素信号を水平方向に間引きして出力する動作(水平間引き読み出しモード)に対応する。
撮像素子212が水平間引き読み出しモードに設定された場合には、水平方向で3:1の間引きが行われ、1フレームの画像情報が3フィールドの画像情報に分割され、第1フィールド(3の倍数+1の列の画素信号が読み出される)と第2フィールド(3n+2の列の画素信号が読み出される)と第3フィールド(3nの列の画素信号が読み出される)が周期的に繰り返して読み出される。第1フィールドでは(3n+1)の列の画素信号が読み出され、第2フィールドでは(3n+2)の列の画素信号が読み出され、第3フィールドでは3nの列の画素信号が読み出される。なお、nは0または正の整数である。
第1フィールドにおいては、図21に示すように白抜きで示した1,4および7列目に配置された撮像画素310および焦点検出画素313,314の画素信号が読み出される。第2フィールドにおいては、図22に示すように白抜きで示した2,5および8列目の撮像画素310および焦点検出画素313,314の画素信号が読み出される。第3フィールドにおいては、図23に示すように白抜きで示した3,6および9列目の撮像画素310および焦点検出画素313,314の画素信号が読み出される。なお、図21〜23に示した撮像画素31および焦点検出画素313,314の詳細回路構成は、図12に示した回路構成と同一である。
図24,25は、撮像素子212の動作タイミングチャートである。図24は全画素を読み出す通常動作モードの場合を示したものであり、図25はライブビュー表示の際に用いられる水平間引き読み出しモードの場合を示したものである。外部よりMode信号Lが入力されると、撮像素子212は通常動作モードで動作する。なお、通常動作モードの動作は、上述した第1実施形態における通常動作モードと同一なので、ここでは説明を省略する。
次に、図25、図21〜23を参照しながら、撮像素子212の水平間引き読み出しモードについて説明する。外部からMode信号Hが入力されると、撮像素子212は水平間引き読み出しモードで動作する。水平間引き読み出しモードでは、図21に示す第1フィールドの読み出し、図22に示す第2フィールドの読み出し、および図23に示す第3フィールドの読み出しが順に実行される。第1フィールドにおいては、各行の1列目、4列目、7列目の画素の画素信号が読み出され、第2フィールドにおいては、各行の2列目、5列目、8列目の画素の画素信号が読み出され、第3フィールドにおいては、各行の3列目、6列目、9列目の画素の画素信号が読み出される。
第1フィールドの読み出しについて説明する。まず、1行目の撮像画素310は垂直走査回路502から発せられる制御信号ΦS1により選択され、選択された撮像画素310の画素信号が垂直信号線501に出力される。垂直信号線501に出力された1行目の画素信号は、制御信号ΦS1と同期して発せられる制御信号ΦH1によりラインメモリ320に一時的に保持される。ラインメモリ320に保持された1行目の撮像画素310の画素信号は、水平走査回路503から発せられる制御信号ΦV1、ΦV4、ΦV7にしたがって出力回路330に転送され、出力回路330により予め設定された増幅度で増幅されて外部へ出力される。
なお、1行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR1により1行目の撮像画素310がリセットされ、制御信号ΦR1の立ち下がりで1行目の撮像画素310の次の電荷蓄積が開始される。
1行目の撮像画素310の画素信号の出力回路330からの出力が終了した時点で、2行目の撮像画素310および焦点検出画素313,314は垂直走査回路502から発せられる制御信号ΦS2により選択され、選択された撮像画素310および焦点検出画素313,314の画素信号は垂直信号線501へ出力される。そして、制御信号ΦS2と同期して発せられる制御信号ΦH1により、垂直信号線501へ出力された2行目の画素信号がラインメモリ320に一時的に保持される。
ラインメモリ320に保持された2行目の撮像画素310および焦点検出画素313,314の画素信号は、水平走査回路503から発せられる制御信号ΦV1、ΦV4、ΦV7にしたがって出力回路330に転送され、出力回路330で設定された増幅度で増幅された外部に出力される。2行目の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504より発せられる制御信号ΦR2により2行目の撮像画素310および焦点検出画素313,314がリセットされ、制御信号ΦR2の立ち下がりで2行目の撮像画素310および焦点検出画素313,314の次の電荷蓄積が開始される。
2行目の画素信号の出力回路330からの出力が終了した時点で、3行目の撮像画素310は垂直走査回路502から発せられる制御信号ΦS3により選択され、選択された撮像画素310の画素信号が垂直信号線501に出力される。そして、制御信号ΦS3と同期して発せられる制御信号ΦH1により、垂直信号線501に出力された3行目の画素信号はラインメモリ320に一時的に保持される。
ラインメモリ320に保持された3行目の撮像画素310の画素信号は、水平走査回路503から発せられる制御信号ΦV1、ΦV4、ΦV7にしたがって出力回路330に転送され、出力回路330により予め設定された増幅度で増幅された外部に出力される。3行目の撮像画素の画素信号のラインメモリ320への転送が終了した時点で、リセット回路504から発せられる制御信号ΦR3により3行目の撮像画素310がリセットされ、制御信号ΦR3の立ち下がりで3行目の撮像画素310の次の電荷蓄積が開始される。
以上で第1フィールドの画素信号読出し動作が終了すると、引き続いて第2フィールドの画素信号の読出しに移行する。上述した第1フィールドでは、図21に示すように1列目、4列目、7列目に配置された画素の信号が読み出されたが、第2フィールドにおいては、図22の白抜きの画素で示すように、2列目、5列目、8列目に配置された画素の信号が読み出される。すなわち、垂直走査回路502による走査は第1フィールドの場合と同様あって、1行目、2行目、3行目の順に各行に配置された画素の画素信号が読み出され、それぞれラインメモリ320に保持される。そして、ラインメモリ320に保持された各行の画素信号は、水平走査回路503から発せられる制御信号ΦV2、ΦV5、ΦV8にしたがって出力回路330に転送される。
このようにして第2フィールドの読出しが終了すると、引き続いて第3フィールドの画素信号の読出しに移行する。第3フィールドでは、図23に示すように3列目、6列目、9列目に配置された画素の信号が読み出される。すなわち、垂直走査回路502による走査は第1および2フィールドの場合と同様あって、1行目、2行目、3行目の順に各行に配置された画素の画素信号が読み出され、それぞれラインメモリ320に保持される。そして、ラインメモリ320に保持された各行の画素信号は、水平走査回路503から発せられる制御信号ΦV3、ΦV6、ΦV9にしたがって出力回路330に転送される。第3フィールドの画素信号読出し動作が終了すると、再び第1フィールドの画素信号読出し動作に戻って、上記動作が周期的に繰り返される。
図26〜29は、第2の実施の形態におけるデジタルスチルカメラの動作を示すフローチャートである。ボディ駆動制御装置214は、カメラの電源が投入されると図26のステップS600から電源ON時の動作を開始し、ステップS610で図27に示す水平間引き読み出しモードサブルーチンへジャンプする。
図27は、撮像素子212の水平間引き読出しモードサブルーチンの動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS700から撮像素子212の水平間引き読出しモードサブルーチンを開始する。ステップS710では、撮像素子212を水平間引き読出しモードに設定し、該モードでの繰り返し撮像動作を開始させる。続くステップS720では、図28に示す画素データ読み出し割り込みの発生を待機する。
図28は、画素データ読み出し割り込み処理を示すフローチャートである。図26のステップS720で画素データ読み出し割り込みが発生すると、ボディ駆動制御装置214は画素データ読み出し割り込み処理を開始する。撮像素子212は、画素信号を出力する際、1フィールドの画像情報の最初の画素信号を出力する直前に、ボディ駆動制御装置214に対し画素データ読みだし割り込みを発生する。撮像素子212が、第1〜第3フィールドの順に繰り返し読み出しを行う周期動作を行っている場合には、この割り込みが周期的に発生し、ボディ駆動制御装置214はステップS800からの画素データ読み出し割り込み処理を開始する。
ステップS810では、撮像素子212から水平間引き読み出しモードで画素データを読み込む。例えば、第1フィールに関する割り込み処理が行われている場合には、第1フィールドの画素信号が読み込まれる。ステップS820では、ステップS810で読み込んだ画素信号に基づく画像を液晶表示素子216に表示する。その際、第2および第3フィールドに関しては、以下に述べるような補間処理を行って画像を形成する。
図30は補間処理を説明する図であり、各フィールドにおける画素データの読出し動作を模式的に表した図であり、(a)は第1フィールドを、(b)は第2フィールドを、(c)は第3フィールドをそれぞれ示す。なお、それぞれ縦方向および横方向が画素配列の垂直方向および水平方向に対応しており、縦方向の破線は水平間引きで読み出されない列を示し、実線は水平間引きで読み出される列を示している。各行における画素信号読み出しの走査方向(横方向)は左から右であり、縦方向の行の走査方向は上から下である。
図30(a)に示す第1フィールドの場合、画像データの場合、読み出された列の画素信号をそのまま用いて液晶表示素子216に画像を表示する。第1フィールドでは、列A1,A4,A7,A10,A13の画素信号が読み出される。
第2フィールドでは、図30(b)に示すように、列A2,A5,A8,A11,A14の画素信号が読み出される。第2フィールドの場合、連続して読み出された隣り合う列の画素の画素信号を重み加算平均して、それらの列の間に第1フィールドで読み出される列の画素信号を生成し、生成した画素信号に基づく画像を液晶表示素子216に表示する。例えば、列A5の画素信号B5と列A8の信号B8とを重み加算平均して、列A7の画素信号を生成する。そして、そのような処理によって得られた列A1,A4,A7,A10,A13の信号B1,B4,B7,B10,B13に基づく画像を、液晶表示素子216に表示する。
第3フィールドでは、図30(c)に示すように、列A3,A6,A9,A12,A15の画素信号が読み出される。第3フィールドの場合も、連続して読み出された隣り合う列の画素の画素信号を重み加算平均して、それらの列の間に第1フィールドで読み出される列の画素信号を生成し、生成した画素信号に基づく画像を液晶表示素子216に表示する。例えば、列A6の画素信号B6と列A9の信号B9とを重み加算平均して、列A7の画素信号を生成する。そして、そのような処理によって得られた列A1,A4,A7,A10,A13の信号B1,B4,B7,B10,B13に基づく画像を、液晶表示素子216に表示する。
このように第2フィールド、第3フィールドの画像情報を第1フィールドの画像情報に換算して表示することにより、フィールドを切り換えた際に表示画像が左右方向に変動するのを防止することができる。
図28に戻って、ステップS830では、焦点検出エリア101(図2参照)の一対の焦点検出画素のデータ列(図21に示す例では、白抜き丸で示す焦点検出画素313,314の画素信号)に基づいて、後述する像ズレ検出演算処理(相関演算処理)を行い、焦点検出エリア101における像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。なお、焦点検出演算の詳細は第1実施例の説明と同一であり、ここでは説明を省略する。
ステップS840では、合焦近傍か否か、すなわち、算出されたデフォーカス量の絶対値が所定値以内であるか否かを判定する。ステップS840において合焦近傍でないと判定された場合には、ステップS850へ進む。ステップS850では、デフォーカス量をレンズ駆動制御装置206へ送信して、交換レンズ202のフォーカシングレンズ210の合焦位置への駆動を更新し、ステップS870へ進む。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置206へスキャン駆動命令を送信し、交換レンズ202のフォーカシングレンズ210を無限から至近までの間でスキャン駆動させ、ステップS870へ進む。
一方、ステップS840において合焦近傍であると判定された場合はステップS860へ進み、レリーズ操作によるシャッターレリーズがなされたか否かを判定する。シャッターレリーズがなされていないと判定された場合にはステップS870へ進み、シャッターレリーズがなされたと判定された場合には、図29に示すレリーズシーケンス動作を実行する。ステップS870では、画素データ読み出し割り込み処理から図27に示す水平間引き読み出しサブルーチンのステップS720へリターンし、次の周期の画素データ読み出し割り込みの発生を待機する。なお、画素データ読み出し割り込み処理のステップS800〜S860の処理時間は、画素データ読み出し割り込みの発生周期よりも短くなっている。
図29はレリーズシーケンス動作を示すフローチャートである。ステップS960において、撮像素子212を全画素読み出しモードに設定し、全画素読み出しモードで単発的に撮像動作させる。ステップS970では、画素データ読み出し割り込みが発生するのを待機する。画素データ読み出し割り込みが発生したならば、続くステップS980で撮像素子212から出力される画素信号を読み込む。ステップS990では、焦点検出画素313,314の位置の画素信号を焦点検出画素313,314の周囲にある撮像画素310の画素信号で補間して作成する。ステップS1000では、撮像画素310の画素信号と上記補間信号を画像データとしてメモリカード219へ格納する。ステップS1010では、図27に示す水平間引き読み出しモードサブルーチンへジャンプし、ふたたび撮像素子212を水平間引き読み出しモードに設定し、水平間引き読み出しモードで繰り返し撮像動作を開始させる。
なお、上述したレリーズシーケンスにおいては、レリーズ後に即撮像動作に移行しているが、撮像前に一旦全画素読出し(あるいは部分読出し)を行って連続した焦点検出画素の画素データを読出し、該画素データに基づいて焦点検出および焦点調節を行って厳密な焦点調節を達成した後に撮像動作を行うようにしてもよい。
上述した第2の実施の形態では、1フレーム分の画像情報を複数のフィールドに分割した際に、各フィールドに撮像画素310および焦点検出画素313,314が含まれている。そして、画素を水平方向に間引きして複数のフィールドに分割した際に、各フィールドで読み出される列の位置が1画素ずつシフトしているので、1画素ずつずれた画像情報による画像が順に表示されることになり、高品質なライブビュー表示を行うことができる。また、撮像画素310の画素信号を含まないフィールドが混在しないので、所定時間あたりの表示の更新回数が増加し、動きのある被写体を撮像して表示する場合にも動きが滑らかに視認される。なお、画像を表示する際に、図30(a),(b),(c)に示すような補間処理をすることによりフィールドを切り換えた際に画像が左右方向に変動するのを防止することができる。
また、各フィールドの画像情報に焦点検出画素313,314の画素信号がそれぞれ含まれているので、応答性の高い焦点検出を実現することができる。さらに、各フィールドに1画素ずつずれた位置の焦点検出用画素信号が得られるため、固定された位置の焦点検出画素信号を用いて焦点検出を行う場合に比較して、焦点検出精度を向上させることができる。また、第1フィールド、第2フィールド、第3フィールドで得られる焦点検出画素の画素データを、まとめて連続する焦点検出画素の画素データとして焦点検出に用いることにより、焦点検出精度を向上させることができる。
なお、水平方向の間引きは上述した2画素置きに限定されることなく、そのほかの間引き間隔で行ってもよい。ただし、フィールド毎に焦点検出を行えるようにするためには、各フィールドに一対の焦点検出画素313,314が含まれるような間引き間隔とする必要がある。例えば、図21に示すように焦点検出画素313,314が左右方向に交互に並んでいる場合には、2画素置き、4画素置きのように偶数画素置きに間引く。なお、4画素置きに読み出す場合は1フレームを5つのフィールドに分割して読み出すことになる。
―第3の実施の形態―
第3の実施の形態では、撮像素子212にカラータイプの撮像素子を用いている。図31は、カラー撮像素子212の詳細構成を示す正面図であり、図2に示す焦点検出エリア101の近傍を拡大したものである。図3に示す撮像素子212と比較すると、撮像画素310に色フィルタが設けられている点が異なっている。焦点検出画素313,314に関しては、図3に示した撮像素子212と同様の構造である。
各撮像画素310には、図32のR,G,Bで示す分光特性を有する色フィルタのいずれかが設けられている。図31では、赤色のフィルタが設けられた撮像画素310Rには「R」の文字を表記し、緑色のフィルタが設けられた撮像画素310Gには「G」の文字を表記し、青色のフィルタが設けられた撮像画素310Bには「B」の文字を表記した。3種類の撮像画素310R,310G,310Bはベイヤー配列されている。以下ではこれら撮像画素310R,310G,310Bのことを、それぞれ赤画素310R、緑画素310G、青画素310Bと称する。一方、焦点検出画素313、314は、青画素310Bと緑画素310Gが配置されるべき行に水平方向に交互に配列されている。
図31のように赤画素310R、緑画素310G、青画素310Bが配列されている場合には、水平方向および垂直方向のいずれの方向に画素信号を間引きして読み出す場合においても、間引いて読み出した画素信号がベイヤー配列の順番になっていることが望ましい。例えば、行を間引いて読み出す場合には、ベイヤー配列では緑画素310Gおよび青画素310Bを含む行と赤画素310Rおよび緑画素310Gを含む行とが交互に並んでいるので、「1行目、4行目、7行目、…」や、「1行目、6行目、11行目、…」のように偶数行置きに読み出せば良い。また、列を間引いて読み出す場合も同様であり、「1列目、4列目、7列目、…」や、「1列目、6列目、11列目、…」のように偶数列置きに読み出せば良い。さらに、行と列の両方を間引く場合も同様である。
図31に示す撮像素子では、赤画素310R、緑画素310G、青画素310Bをベイヤー配列させたが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列を採用してもよい。また、図30では、焦点検出画素313,314には色フィルタを備えていなかったが、撮像画素310と同色の色フィルタの内の一つ(例えば、緑フィルタ)を備えるようにした場合でも、同様に適用することができる。
なお、上述した実施の形態では、図2に示すように画面中央に1つの焦点検出エリア101を配置したが、撮像素子212における焦点検出エリアの配置は図2に限定されることはなく、図33のように画面中央以外に焦点検出エリア102〜105を配置しても良い。例えば、このような焦点検出エリアの配置を、第1の実施の形態の垂直間引き読出しモードと組み合わせた場合には、奇数フィールドにおいては図34(a)のように焦点検出エリア104および105に属する焦点検出画素の画素信号が読み出され、偶数フィールドにおいては図34(b)のように焦点検出エリア101〜103に属する焦点検出画素の画素信号が読み出される。
すなわち、画面中央および左右に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し210において焦点検出エリア101、102、103に対応する201,202、203で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出され、画面上部に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し211において焦点検出エリア104に対応する204で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出され、画面下部に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し212において焦点検出エリア105に対応する205で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出される。
上述した第1の実施の形態では水平方向に連続読出ししているが、水平方向に間引きして読み出すようにしてもよい。この場合間引きして読み出される画素信号が焦点検出画素313、314の両方を含むように、偶数画素おきの水平間引きを行う。同様に、第2の実施の形態では、垂直方向に連続して読出ししているが、垂直方向に間引きして読み出すようにしてもよい。また、第1の実施の形態と第2の実施の形態とを組み合わせるようにしてもよい。さらに、上述した実施の形態では、水平方向に焦点検出画素が並んでいる場合について説明したが、垂直方向に焦点検出画素が並んでいる場合にも同様に適用することができる。
また、上述した実施の形態では、近傍の画素の信号を加算して出力する画素加算(画素混合)は行われていないが、画素加算を行うようにしてもよい。画素加算を行う場合は、加算時に焦点検出画素313のみ、および、焦点検出画素314のみの画素信号が加算されるように、画素加算に使用する画素配置パターンと焦点検出画素の画素配置パターンとの整合をとっておく必要がある。
さらにまた、上述した実施の形態では、ライブビュー表示の際に垂直および水平間引き読出しを行っているが、動画モードでの撮影時の垂直および水平間引き読出しに適用することにより、動画撮影と焦点検出とを同時に並行して行うようにしてもよい。
焦点検出画素313,314の光電変換部の形状については、図5に示した半円形に限らず、他の形状であっても良い。例えば、楕円や矩形や多角形にすることも可能である。また、図3に示す撮像素子212においては、撮像画素310、焦点検出画素311,314は稠密正方格子配列に配置されているが、稠密六方格子配列であってもよい。
また、本発明が適用される撮像装置としては、交換レンズとカメラボディから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラやビデオカメラにも適用できるし、携帯電話等に内蔵される小型カメラモジュールや監視カメラや車載カメラやロボット用の視覚認識装置等にも適用できる。さらには、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。また、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。
10:マイクロレンズ、13,14:光電変換部、101〜105:焦点検出エリア、202:交換レンズ、206:レンズ駆動制御装置、212:撮像素子、215:液晶表示素子駆動回路、216:液晶表示素子、219:ボディ駆動制御装置、310:撮像画素、313,314:焦点検出画素、330:出力回路、502:垂直走査回路、503:水平走査回路