JP2016111678A - 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】１つの画素について光電変換領域の分割数を抑制しつつ、より多くの視点の視差信号を取得することが可能な撮像素子を提供する。【解決手段】本発明に係る撮像素子は、複数の領域に分割された光電変換領域を有する画素が２次元状に配置された撮像素子であって、画素のうち、第１の方向に分割された光電変換領域のそれぞれが、結像光学系の対応する瞳領域を通過する光束を受光する第１の画素と、画素のうち、第１の方向と異なる第２の方向に分割された光電変換領域のそれぞれが、結像光学系の対応する瞳領域を通過する光束を受光する第２の画素と、を有する。ここで、第１の画素は、第１の方向に分割された光電変換領域から第１の方向に視差を有する信号を出力し、第２の画素は、第２の方向に分割された光電変換領域から第２の方向に視差を有する信号を出力する。【選択図】図３

Description

本発明は、撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法に関する。

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式が知られている。

特許文献１には、１つのマイクロレンズと複数に分割された光電変換領域が１つの画素に対して形成されている撮像素子を用いた撮像装置が開示されている。当該分割された各光電変換領域は、マイクロレンズを介して射出瞳の異なる領域における光束をそれぞれ受光して、瞳分割を実現する。撮像装置は、瞳分割によって得られる視差を有する信号（視差信号）から像ずれ量を求めることで位相差方式の焦点検出を行うことができる。また、特許文献２には、分割された光電変換領域で受光した視差信号を加算することによって撮像信号を生成する技術が開示されている。

特開昭５８−０２４１０５号公報 特開２００１−０８３４０７号公報

しかしながら、より多くの視点の視差信号を撮像素子から取得するには、１つの画素について、光電変換領域の分割数を増やす必要があるが、光電変換領域の総数が増加すれば信号量や消費電力の増大に繋がる課題がある。

本発明は、上述の従来技術の問題点に鑑みてなされたものである。その目的は、１つの画素について光電変換領域の信号の読み出し総数を抑制しつつ、より多くの視点の視差信号を取得することが可能な撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法を提供することである。

この課題を解決するため、例えば本発明の撮像素子は以下の構成を備える。すなわち、複数の領域に分割された光電変換領域を有する画素が２次元状に配置された撮像素子であって、画素のうち、第１の方向に分割された光電変換領域のそれぞれが、結像光学系の対応する瞳領域を通過する光束を受光する第１の画素と、画素のうち、第１の方向と異なる第２の方向に分割された光電変換領域のそれぞれが、結像光学系の対応する瞳領域を通過する光束を受光する第２の画素と、を有し、第１の画素は、第１の方向に分割された光電変換領域から第１の方向に視差を有する信号を出力し、第２の画素は、第２の方向に分割された光電変換領域から第２の方向に視差を有する信号を出力する、ことを特徴とする。

本発明によれば、１つの画素について光電変換領域の信号の読み出し総数を抑制しつつ、より多くの視差信号を取得することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る画素配列を模式的に示す図 実施形態１に係る第１の画素および第２の画素を模式的に示す平面図（ａ）と断面図（ｂ） 実施形態１に係る第１の画素と瞳分割の関係を説明する図 実施形態１に係る第２の画素と瞳分割の関係を説明する図 実施形態１に係る撮像素子と瞳分割の関係を説明する図 実施形態１に係る第１の副画素信号と第２の副画素信号のデフォーカス量と像ずれ量を説明する図 実施形態２に係る画素配列を模式的に示す図 実施形態２に係る第１の画素を模式的に示す平面図（ａ）と断面図（ｂ） 実施形態２に係る第２の画素を模式的に示す平面図（ａ）と断面図（ｂ） 実施形態２に係る第１の画素と瞳分割の関係を説明する図 実施形態２に係る第２の画素と瞳分割の関係を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像素子の一例として、画素ごとにマイクロレンズと複数の光電変換領域を備える撮像素子を本発明に適用した例を説明する。しかし、本発明でいう撮像素子は、画素ごとにマイクロレンズを備える撮像素子に限らず、複数の画素に対して１つのマイクロレンズを備える撮像素子や撮像素子の一部の画素にマイクロレンズと複数の光電変換領域を備える撮像素子にも適用可能である。また、撮像装置の一例として、本発明を適用した撮像素子を備えるデジタルカメラを例に説明する。しかし、本発明の範囲は、デジタルカメラなどの撮像装置に限らず、撮像素子、焦点検出装置ならびに画像処理装置なども含むものである。

（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。図１において、第１レンズ群１０１は、結像光学系の先端に配置されたレンズ群であり、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。第２レンズ群１０３と絞り兼用シャッタ１０２は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作と連動することにより変倍作用（ズーム機能）を実現する。第３レンズ群１０５はフォーカスレンズを含み、光軸方向の進退により、焦点調節を行なう。ローパスフィルタ１０６は、実際にはない色が再現される偽色や干渉縞であるモアレを軽減するための光学素子である。

撮像素子１０７は、２次元状に配置された例えばＣＭＯＳフォトセンサと周辺回路を含み、結像光学系の結像面に配置される。別途後述するように、撮像素子１０７は画素ごとにマイクロレンズと複数の光電変換領域を有し、複数の視差信号を出力することができる。

ズームアクチュエータ１１１は、第１レンズ群１０１ないし第３レンズ群１０５の進退動作を制御するアクチュエータであり、不図示のカム筒を回動することで第１レンズ群１０１等を光軸方向に進退駆動して変倍操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２を制御するアクチュエータであり、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１４は、フォーカスレンズを光軸方向に進退駆動して焦点調節を行なう。

フラッシュ１１５は、撮影時の被写体照明用電子フラッシュであり、例えばキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助装置１１６は、ＡＦ補助光を発光して、所定の開口パターンを有したマスクの像を投光レンズを介して被写界に投影する。ＡＦ補助装置１１６を用いることにより、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させることができる。

制御部１２１は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭ、ＲＡＭ、演算部、Ａ／Ｄコンバータ、Ｄ／Ａコンバータおよび通信インターフェイス回路等を有する。制御部１２１は、ＲＯＭに記憶された所定のプログラムにＲＡＭの作業エリアに展開することによりデジタルカメラ１００の各種回路を制御し、ＡＦ、撮影、画像処理および記録等の全体の動作を実現する。

電子フラッシュ制御回路１２２は、フラッシュ１１５と接続された制御回路であり、制御部１２１の指示に応じて撮影動作に同期してフラッシュ１１５の点灯を制御する。補助光駆動回路１２３は、ＡＦ補助装置１１６と接続された制御回路であり、制御部１２１の指示に応じて焦点検出動作に同期してＡＦ補助装置１１６の点灯を制御する。撮像素子駆動回路１２４は、撮像素子１０７と接続された制御回路であり、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。

画像処理回路１２５は、例えばＡＳＩＣ等の専用プロセッサを含み、撮像素子１０７から読み出された画像データに対してγ変換、カラー補間およびＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動回路１２６は、制御部１２１による焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、フォーカスレンズを光軸方向に進退駆動して焦点調節を行なう。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じた制御量に基づいてズームアクチュエータ１１１を駆動制御する。

表示部１３１は、例えばＬＣＤ等の表示装置を含み、例えばデジタルカメラ１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像および焦点検出時の合焦状態を確認するための画像等を表示する。

操作部１３２は、デジタルカメラ１００を操作するためのボタン、ダイヤルあるいはタッチパネルを含み、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ、表示部１３１等で構成される。

記憶部１３３は例えばＥＥＰＲＯＭ等を含む電気的に消去・記録が可能な記録媒体であり、撮影済み画像を記録する。

（撮像素子１０７の構成）
次に図２を参照して、本実施形態における一例としての撮像素子の画素と副画素の配列を説明する。図２は、２次元状に配置された画素の配列を１２列×１２行の範囲で示している。なお、ｘ軸、ｙ軸およびｚ軸方向はそれぞれデジタルカメラ１００の左右方向、鉛直方向および光軸方向を示しているものとする。

本実施形態における画素群は、例えば２列×２行に配列された４つの画素を１つの単位として構成され、ＲＧＢのいずれかの色の分光感度を有する画素で構成される。例えば、画素群２１０は、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下にそれぞれ配置されるベイヤー配列で構成される。画素群２１０を構成する各画素（第１の画素ともいう）は、２列×１行に配列された副画素２１１と副画素２１２の構成で信号を出力するように構成されている。

また、画素群２２０も画素群２１０と同様に２列×２行に配列された４つの画素を１つの単位として構成される。画素群２２０は、Ｒ（赤）の分光感度を有する画素２２０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２２０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２２０Ｂが右下に配置されて構成される。画素群２２０を構成する各画素（第２の画素ともいう）は、画素群２１０と異なり、１列×２行に配列された副画素２２１と副画素２２２の構成で信号を出力するように構成されている。

図２に示す例では、１２行×１２列における画素の配列において、最も上の行から第１および第２行目には、第１の画素（即ち副画素２１１および副画素２１２の構成で信号を出力するように構成される画素）が配置されている。一方、第３および第４行目には、第２の画素（即ち、副画素２２１および副画素２２２の構成で信号を出力するように構成される画素）が配置されている。本実施形態では、第１の画素および第２の画素の２行を１つの単位として交互に配置している。

１２列×１２行の画素配置の例では、画素群２１０を構成する画素および画素群２２０を構成する画素を面状に配置して、撮像信号（副画素ごとに出力された信号を示すために副画素信号ともいう）を取得する。本実施形態では、第１の画素および第２の画素の存在する周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素となる撮像素子を例に説明する。

本実施形態の撮像素子１０７は、全読み出しモードと、加算間引き読み出しモードの複数の信号読み出しモードを有し、撮影機能に応じて当該モードの切り換えが可能である。静止画撮影や４Ｋ動画撮影等の場合には、加算や間引き読み出しを行わずに、全ての画素の信号を読み出す、全読み出しモードが適用される。一方、ＦＨＤ（フルＨＤ）動画撮影やライブビュー撮影などでは、図２の結線２５１〜２５８で示した加算間引き読み出しモードを利用する。水平方向には結線２５１〜２５４により色重心を等間隔に保つ３画素加算、垂直方向には結線２５５〜２５８により色重心を等間隔に保つ２／３画素加算（３画素間引きと２画素加算の組み合わせ）を行って信号量を抑制した状態で信号を読み出す。

撮像素子１０７は、出力する画像を複数の解像度に対応させるために、垂直方向に並ぶ画素を例えば奇数列ごとにサンプリングして加算、間引きまたはこれらの組み合わせによる読み出しを行う信号取得部（不図示）をさらに備えることができる。なお、撮像素子１０７の画素ごとに副画素の信号を加算する（例えば第１の画素では副画素２１１と副画素２１２の信号とを加算する）ことで、有効画素数Ｎの解像度の撮像信号を生成することができる。

次に撮像素子１０７の内部構造について、図３（ａ）および図３（ｂ）を参照して説明する。

撮像素子１０７を構成する第１の画素の例として画素２１０Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示している。なお、図３（ａ）および図３（ｂ）に示すｘ〜ｚ軸の各方向は図２に示した各方向と対応し、３０７は光軸を、３０８は受光面をそれぞれ示している。

画素２１０Ｇは、図３（ａ）に示すように、水平方向および垂直方向にそれぞれ２つの光電変換領域を有する。図３（ｂ）の断面図に示すように、画素２１０Ｇの受光側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、光電変換部３１０ａから光電変換部３１０ｄが水平方向および垂直方向にそれぞれ２分割された構成でそれぞれ独立して配置される。光電変換部３１０ａと光電変換部３１０ｃの転送ゲートを同時に開閉することで、光電変換部３１０ａと光電変換部３１０ｃを垂直方向に合わせた光電変換部３１１を構成する。また、光電変換部３１０ｂと光電変換部３１０ｄの転送ゲートを同時に開閉することで、光電変換部３１０ｂと光電変換部３１０ｄを垂直方向に合わせた光電変換部３１２を構成する。光電変換部３１１と光電変換部３１２が、それぞれ、副画素２１１と副画素２１２に対応する。

上述した各光電変換部３１０ａ〜３１０ｄは、例えばｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードであるが、適宜イントリンシック層を省略したｐｎ接合フォトダイオードとしてもよい。

また、カラーフィルタ３０６は、マイクロレンズ３０５と、光電変換部３１０ａ〜３１０ｄとの間に形成され、入射した光束のうちＲＧＢのいずれかの波長を通過させる。また、必要に応じて、副画素ごとにカラーフィルタの分光透過率を変えてもよく、カラーフィルタを省略してもよい。

第１の画素（例えば画素２１０Ｇ）が上述した構成を有することにより、当該画素に入射した光束は、マイクロレンズ３０５によって集光されるとともにカラーフィルタ３０６で分光され、光電変換部３１０ａ〜３１０ｄで受光される。光電変換部３１０ａ〜３１０ｄでは、受光量に応じて電子とホールが対で生成されて空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子外部へ排出される。光電変換部３１０ａ〜３１０ｄのｎ型層に蓄積された電子は、不図示の転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。このようにして、光電変換部３１０ａ〜３１０ｄでそれぞれ受光した信号が出力される。

同様に、図２に示した撮像素子の１つの第２の画素２２０Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。第１の画素２１０Ｇと第２の画素２２０Ｇで、画素構造は同一である。

画素２２０Ｇは、図３（ａ）に示すように、水平方向および垂直方向にそれぞれ２つの光電変換領域を有する。図３（ｂ）の断面図に示すように、画素２２０Ｇの受光側（＋Ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、上述した画素２１０Ｇと同様に、画素２２０Ｇは光電変換部３１０ａから光電変換部３１０ｄが水平方向および垂直方向にそれぞれ２分割された構成でそれぞれ独立して配置される。光電変換部３１０ａと光電変換部３１０ｂの転送ゲートを同時に開閉することで、光電変換部３１０ａと光電変換部３１０ｂを水平方向に合わせた光電変換部３２１とする。また、光電変換部３１０ｃと光電変換部３１０ｄの転送ゲートを同時に開閉することで、光電変換部３１０ｃと光電変換部３１０ｄを水平方向に合わせた光電変換部３２２とする。光電変換部３２１と光電変換部３２２が、それぞれ副画素２２１と副画素２２２に対応する。

（画素の構造と瞳分割との対応関係）
さらに、図３（ａ）及び図３（ｂ）に示した第１の画素の構造と瞳分割との対応関係を、図４を参照して説明する。図４は、結像光学系の射出瞳面（上側）と、図３（ａ）に示した第１の画素の構造においてａ−ａ断面を＋ｙ側から見た断面図（下側）を示している。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３（ｂ）に対して反転させている。

副画素２１１の瞳部分領域５１１は、副画素２１１で受光可能な瞳領域を表し、重心が−ｘ方向に偏心している光電変換部３１１の受光面と、マイクロレンズによって概ね共役関係になっている。副画素２１１の瞳部分領域５１１は、瞳面上で＋Ｘ側に重心が偏心している。

一方、副画素２１２の瞳部分領域５１２は、副画素２１２で受光可能な瞳領域を表しており、重心が＋ｘ方向に偏心している光電変換部３１２の受光面と、マイクロレンズによって概ね共役関係になっている。副画素２１２の瞳部分領域５１２は、瞳面上で−Ｘ側に重心が偏心している。なお、瞳領域５００は、光電変換部３１１と光電変換部３１２（副画素２１１と副画素２１２）を全て合わせた際の画素２１０Ｇ全体で受光可能な瞳領域である。

図３（ａ）及び図３（ｂ）に示した第２の画素の構造と瞳分割との対応関係を、図５を参照して説明する。図５は、結像光学系の射出瞳面（上側）と、図３（ａ）に示した第２の画素の構造においてａ−ａ断面を＋ｙ側から見た断面図（下側）を示している。図５においても図４と同様に、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３（ｂ）に対して反転させている。

副画素２２１の瞳部分領域５２１は、副画素２２１で受光可能な瞳領域を表しており、重心が＋ｙ方向に偏心している光電変換部３２１の受光面と、マイクロレンズによって概ね共役関係になっている。副画素２２１の瞳部分領域５２１は、瞳面上で−Ｙ側に重心が偏心している。

同様に、副画素２２２の瞳部分領域５２２は、副画素２２２で受光可能な瞳領域を表しており、重心が−ｙ方向に偏心している光電変換部３２２の受光面と、マイクロレンズによって概ね共役関係になっている。副画素２２２の瞳部分領域５２２は、瞳面上で＋Ｙ側に重心が偏心している。なお、瞳領域５００は、光電変換部３２１と光電変換部３２２（副画素２２１と副画素２２２）を全て合わせた際の画素２２０Ｇ全体で受光可能な瞳領域である。

さらに、撮像素子１０７と瞳分割との対応関係について図６を参照して説明する。異なる瞳部分領域である瞳部分領域５１１と瞳部分領域５１２を通過した光束は、撮像素子１０７の各光電変換部に、それぞれ、異なる角度で入射して、水平方向に分割された副画素２１１と副画素２１２で受光される。同様に、垂直方向に２分割された副画素２２１と副画素２２２は、垂直方向に分割された瞳部分領域５２１および瞳部分領域５２２を通過した光束をそれぞれ受光する。

このように、撮像素子１０７は、水平方向に異なる瞳部分領域を通過する光束を、第１の画素における水平方向に分割された副画素で受光し、垂直方向に異なる瞳部分領域を通過する光束を、第２の画素における垂直方向に分割された副画素で受光する。このため、撮像素子１０７は、垂直方向に視差を有する視差信号と水平方向に視差を有する視差信号とを出力することができる。即ち、各マイクロレンズに対する光電変換部の分割数は２つであるが、４つの視差信号（２×２分割による４視差信号）を取得することができる。

また、撮像素子１０７は、瞳分割の方向が異なる第１の画素を配置する行と、第２の画素を配置する行とが、２行ごとに交互に配列されている。このように各画素を配列することにより、図２に示した水平方向における３画素の加算を、異なる瞳部分領域に対応する４つの副画素ごとに行うことができる。また、図２に示した垂直方向の２／３画素加算（３画素間引きと２画素加算の組み合わせ）を、異なる瞳部分領域に対応する４つの副画素ごとに行うことができる。従って、出力する画像を複数の解像度に対応させるためにサンプリングして加算、間引きまたはこれらの組み合わせを、異なる瞳部分領域に対応する４つの副画素ごとに行うことができる。

（デフォーカス量と像ずれ量の関係）
次に、図７を参照して、撮像素子１０７により取得される２つの副画素信号のデフォーカス量と像ずれ量の関係について説明する。

第１の画素を構成する副画素２１１により出力される第１の副画素信号と副画素２１２により出力される第２の副画素信号において、図７は、第１の副画素信号と第２の副画素信号のデフォーカス量と副画素信号間の像ずれ量を模式的に示している。撮像面６００に撮像素子１０７が配置され、図３（ａ）、図３（ｂ）および図４において示したように結像光学系の射出瞳が瞳部分領域５１１と瞳部分領域５１２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面６００より被写体側にある状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は結像位置が被写体側にある状態（ｄ＜０）となる例を示している。結像位置が被写体側にある状態（ｄ＜０）と結像位置が被写体と反対側にある状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

結像位置が被写体側にある状態（ｄ＜０）では、被写体６０２から放射された光束のうち、瞳部分領域５１１を通過した光束は、一度、撮像面６００から距離｜ｄ｜離れた点に集光する。その後、光束の重心位置Ｇ１１を中心として幅Γ１１に広がり、撮像面６００でボケた像となる。同様に、瞳部分領域５１２を通過した光束は、撮像面６００において光束の重心位置Ｇ１２を中心として幅Γ１２に広がり、ボケた像となる。

ボケた像は、撮像素子１０７に配列された画素を構成する副画素２１１および副画素２１２によって受光され、第１の副画素信号および第２の副画素信号が生成される。即ち、第１の副画素信号には、撮像面６００上の重心位置Ｇ１１で被写体６０２が幅Γ１１にボケた被写体像が記録される。一方、第２の副画素信号には、撮像面６００上の重心位置Ｇ１２で被写体６０２が幅Γ１２にボケた被写体像が記録される。被写体像のボケ幅（例えばΓ１１）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。このため、第１の副画素信号と第２の副画素信号に含まれる被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１１−Ｇ１２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね比例して増加する。結像位置が被写体と反対側にある状態（ｄ＞０）においても、第１の副画素信号と第２の副画素信号間の被写体像の像ずれ方向が結像位置が被写体側にある状態と反対となるが、像ずれ量の大きさ｜ｐ｜は同様となる。

また、第２の画素を構成する副画素２２１により出力される第３の副画素信号と、副画素２２２により出力される第４の副画素信号についても、瞳分割方向が水平方向から垂直方向になることを除いて、同様である。

従って、各副画素信号、または２つの副画素信号を加算した撮像信号のデフォーカス量の大きさが増加することに伴い、第１（第３）の副画素信号と第２（第４）の副画素信号間の像ずれ量の大きさが増加する。

（焦点検出処理）
さらに、本実施形態における撮像素子１０７から出力される副画素信号を用いて焦点検出を行う処理について説明する。本焦点検出処理では、例えば画像処理回路１２５が、撮像素子１０７から出力された副画素信号を用いて位相差方式による焦点検出処理を行う。より具体的には、画像処理回路１２５は、水平方向に瞳分割された第１の副画素信号と第２の副画素信号を用いて第１の焦点検出を行い、垂直方向に瞳分割された第３の副画素信号と第４の副画素信号を用いて第２の焦点検出を行う。

第１の焦点検出において画像処理回路１２５は、まず、水平方向に瞳分割された第１の副画素信号と第２の副画素信号とを相対的にシフトさせて両信号の一致度を表す相関量の算出を繰り返す。そして、算出した相関量が相対的に最も高くなる（即ち量信号が最も良く一致する）シフト量に基づいて第１の像ずれ量を検出する。上述したように、撮像信号のデフォーカス量の大きさと副画素信号間の像ずれ量とが比例する関係にあるため、検出した第１の像ずれ量を第１のデフォーカス量に変換して焦点検出を行う。なお、像ずれ量とデフォーカス量の関係は結像光学系および撮像素子１０７の特性に応じて予め定めた特性として記憶させておき、画像処理回路１２５は記憶させた特性に基づいて第１のデフォーカス量を算出するようにすればよい。

また、第２の焦点検出において画像処理回路１２５は、垂直方向に瞳分割された第３の副画素信号と第４の副画素信号を用いて第２の像ずれ量を検出し、検出した第２の像ずれ量に基づいて第２のデフォーカス量を算出する。

なお、画像処理回路１２５は、第１の焦点検出あるいは第２の焦点検出のみを行うようにしてもよいが、両方の焦点検出処理を行ったうえでより良好な結果が得られた検出処理の結果を用いるようにしてもよい。また、両方の検出処理の結果の平均値等の統計的な結果を用いるようにしてもよい。異なる方向に視差を有する複数の副画素信号の組を用いて焦点検出処理を行うようにすれば、様々な特性をもつ被写体に対してより冗長な焦点検出処理が可能になる。

（視差画像の生成処理）
本実施形態における撮像素子１０７から出力される第１〜第４の副画素信号（方向の異なる視差信号）を用いた視差画像の生成処理について説明する。なお、本処理では、例えば画像処理回路１２５が、撮像素子１０７から出力された副画素信号を用いて視差画像の生成処理を行う。

撮像素子１０７の第１の画素と第２の画素のｘ方向の位置をｉとし、２行ごとに配列された第１の画素と第２の画素のｙ方向の位置をそれぞれｊ１、ｊ２とする。

第１の画素の位置（ｊ１、ｉ）において、結像光学系の瞳部分領域５１１に対応した第１の副画素信号をＨＡ（ｊ１、ｉ）、瞳部分領域５１２に対応した第２の副画素信号をＨＢ（ｊ１、ｉ）とする。ここで、ｊ１およびｉを有効画素の範囲で変化させて信号を読み出せば、副画素信号ＨＡ（ｊ１、ｉ）と副画素信号ＨＢ（ｊ１、ｉ）から、それぞれ、撮像素子１０７の画素行から２行ごとに取得された、水平方向に視差を有する視差画像を生成することができる。

第２の画素の位置（ｊ２、ｉ）においては、結像光学系の瞳部分領域５２１に対応した第３の副画素信号をＶＡ（ｊ２、ｉ）、瞳部分領域５２２に対応した第４の副画素信号をＶＢ（ｊ２、ｉ）とする。ｊ２およびｉを有効画素の範囲で変化させて信号を読み出せば、副画素信号ＶＡ（ｊ２、ｉ）と副画素信号ＶＢ（ｊ２、ｉ）から、それぞれ、撮像素子１０７の画素行から２行ごとに取得された、垂直方向に視差を有する視差画像を生成することができる。

これに対して本実施形態では、水平および垂直方向に視差を有する１組の視差画像を生成する。即ち、副画素信号ＨＡ（ｊ１、ｉ）、副画素信号ＨＢ（ｊ１、ｉ）、副画素信号ＶＡ（ｊ２、ｉ）および副画素信号ＶＢ（ｊ２、ｉ）に基づいて、４つの異なる視点を有する視差画像を生成する。

具体的には、第１の画素の位置（ｊ１、ｉ）における、視差画像Ａ（ｊ１、ｉ）、視差画像Ｂ（ｊ１、ｉ）、視差画像Ｃ（ｊ１、ｉ）および視差画像Ｄ（ｊ１、ｉ）を、それぞれ式（１Ａ）から式（１Ｄ）により生成する。水平および垂直方向に分割した４つの視点を有する視差画像のうち、例えば、左上の視点を持たせた視差画像Ａ（ｊ１、ｉ）の生成を考える。視差画像Ａ（ｊ１、ｉ）は、左側の視点を有する副画素信号ＨＡ（ｊ１、ｉ）と、上側の視点を有する副画素信号とを用いて生成される。このとき、座標（ｊ１、ｉ）は、水平方向に視差を有する副画素信号のみ（即ち第１の画素の副画素信号のみ）を有するため、隣接する第２の画素から読み出される副画素信号を用いて近似的な副画素信号の値を生成する。近似的な値の生成は、以下の式に示すように、例えば、座標（ｊ１−２、ｉ）および座標（ｊ１＋２、ｉ）における副画素信号を平均することによって、座標（ｊ１、ｉ）における上側の視点を有する副画素信号を生成する。このようにすれば、座標（ｊ１、ｉ）においてノイズの少ない信号を生成することができるとともに、容易な方法により高速な演算が可能になる。他の各視点（左下、右上、右下）についても同様の処理を行う。

また、第２の画素の位置（ｊ２、ｉ）における、視差画像Ａ（ｊ２、ｉ）、視差画像Ｂ（ｊ２、ｉ）、視差画像Ｃ（ｊ２、ｉ）および視差画像Ｄ（ｊ２、ｉ）を、式（２Ａ）から式（２Ｄ）により生成する。より具体的には、第２の画素の位置（ｊ２、ｉ）における各視点の画素値の生成においては、水平方向に視差を有する副画素信号が存在しないため、隣接する水平方向に視差を有する副画素信号から得られる近似的な値を用いる。即ち、各視点の画素値の生成は、上下方向に視差を有する副画素信号と、左右方向に視差を有する副画素信号から得られる近似的な信号とを用いて生成される。近似的な信号の生成は、例えば、座標（ｊ２−２、ｉ）および座標（ｊ２＋２、ｉ）における副画素信号ＨＡまたは副画素信号ＨＢを平均することによって行う。

このように第１から第４の副画素信号から、右上、左上、左下および右下に対応する異なる４つの視差画像を生成することができる。

なお、本実施形態における視差画像の生成処理では、撮像素子１０７の有効画素の全ての画素を用いて視差画像を生成する方法を説明したが、一定の周期でサンプリングした画素に対して視差画像を生成するようにしてもよい。このようにすれば、例えばユーザ操作に対応する読出しモードに応じて適切な解像度の視差画像を生成することが可能になる。

以上説明したように本実施形態では、撮像素子１０７が、光電変換領域を水平方向に分割した副画素を有する第１の画素と、垂直方向に分割した副画素を有する第２の画素から信号を読み出すようにした。このようにすることで、光電変換領域の分割数を擬似的に２つにしても、一度の露光で水平方向および垂直方向に視差を有する視差信号を得ることができる。即ち、光電変換領域の分割する方法を異ならせて信号を読み出すことにより、より多くの視点の視差信号を得ることができる。従って、１つの画素について光電変換領域の信号の読み出し総数を抑制しつつ、より多くの視点の視差信号を取得することが可能になる。

また、光電変換領域の分割方法の異なる画素の配置において、分割方法が同一である画素を一方向に隣接して配列し、直交する方向には分割方法の異なる画素が所定の単位で交互に配置するようにした。特に画素がベイヤー配列で構成されるときは、分割方法の異なる第１の画素と第２の画素は２画素ずつ交互に配置するようにした。このようにすることで、視差画像の生成処理において、より視点数の多い視差画像の生成を容易にかつ品質良く行うことが可能になる。

さらに、撮像素子から出力される複数の視差信号は、光強度の空間分布および角度分布情報を有する点でＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと同等といえる。このため、画像処理回路１２５は、取得した視差信号を用いて、撮像面とは異なる仮想結像面における画像を合成し、撮影後に合焦位置を変更したリフォーカス画像を生成するようにしてもよい。より多くの視点の視差信号が得られることによって、ＬＦデータのデータ量を抑制しつつ、より精度の高いリフォーカス画像を生成することが可能になる。

さらに、本実施形態では上述した撮像素子１０７を有する撮像装置における動作を説明したが、これに限られない。例えば、撮像素子１０７を有し、上述した焦点検出処理を行う焦点検出装置に本発明を適用してもよい。また、撮像素子１０７を備えない画像処理装置が、撮像素子１０７から出力された複数の視差信号、即ち副画素信号を例えばＲＡＷ形式のファイル等により別途取得して、上述した視差画像を生成する場合にも本発明を適用可能である。さらに、撮像素子１０７が上述した視差画像の生成処理を行って視差画像を出力してもよい。

（実施形態２）
次に実施形態２について説明する。実施形態１では、各画素の光電変換領域を水平および垂直方向にそれぞれ分割した画素をそれぞれ配置するようにしたが、実施形態２では、各画素の光電変換領域を互いに交差するような方向の異なる斜め方向に分割した２種類の画素を配置する。また、実施形態１では、２つの光電変換領域で１つの副画素を構成したが、本実施形態では１つの光電変換領域が１つの副画素に対応する。このため、本実施形態の撮像素子１０７の各画素の構成は実施形態１と異なるが、その他の構成および処理は実施形態１と同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図８を参照して、本実施形態における一例としての撮像素子の画素と副画素の配列を説明する。図８は、図２と同様に、２次元状に配置された画素の配列を１２列×１２行の範囲で示している。

本実施形態における画素群も、実施形態１において説明した画素群と同様、２列×２行に配列された４つの画素を１つの単位として構成され、ＲＧＢのいずれかの色の分光感度を有する画素で構成される。例えば、画素群２３０は、Ｒ（赤）の分光感度を有する画素２３０Ｒ、Ｇ（緑）の分光感度を有する画素２３０Ｇ、Ｂ（青）の分光感度を有する画素２３０Ｂがそれぞれ配置される。しかし、本実施形態では、画素群２３０を構成する各画素（第３の画素ともいう）は、左上および右下に分割された副画素２３１と副画素２３２を有する。

また、２列×２行の画素で構成される画素群２４０は、画素群２３０と同様に配置されたＲＧＢの各画素を有する。画素群２４０を構成する各画素（第４の画素ともいう）は、右上および左下に分割された副画素２４１と副画素２４２を有する。即ち、第４の画素に係る副画素の分割態様は、第３の画素に係る副画素の分割態様とは、分割する方向が異なり、かつ、交差或いは直交する関係に構成されている。

次に本実施形態に係る撮像素子１０７の内部構造について、図９（ａ）、図９（ｂ）図１０（ａ）及び図１０（ｂ）を参照して説明する。

撮像素子１０７を構成する第３の画素の例として画素２３０Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図９（ａ）に示し、図９（ａ）のａ−ａ断面を−ｙ側から見た断面図を図９（ｂ）に示している。

第３の画素（例えば画素２３０Ｇ）では、左上と右下に２分割された光電変換部３３１と光電変換部３３２が形成される。光電変換部３３１と光電変換部３３２が、それぞれ副画素２３１および副画素２３２に対応する。

同様に、図１０（ａ）および図１０（ｂ）は、第４の画素（例えば画素２４０Ｇ）についての平面図および断面図を示しており、第４の画素では、右上と左下に２分割された光電変換部３４１と光電変換部３４２が形成される。光電変換部３４１と光電変換部３４２が、それぞれ副画素２４１および副画素２４２に対応する。

さらに、本実施形態に係る第３の画素の構造と瞳分割との対応関係を、図１１（ａ）及び図１１（ｂ）を参照して説明する。図１１では、図４と同様の形式に従って、結像光学系の射出瞳面（上側）と図９（ａ）に示した第３の画素のａ−ａ断面を＋ｙ側から見た断面図（下側）を示している。

副画素２３１の瞳部分領域５３１は、副画素２３１で受光可能な瞳領域を表している。副画素２３１の瞳部分領域５３１は、重心が（−ｘ、＋ｙ）方向に偏心している光電変換部３３１の受光面と、マイクロレンズ３０５によって概ね共役関係になっている。副画素２３１の瞳部分領域５３１は、瞳面上で（＋Ｘ、−Ｙ）側に重心が偏心している。

また、副画素２３２の瞳部分領域５３２は、重心が（＋ｘ、−ｙ）方向に偏心している光電変換部３３２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２の副画素２３２で受光可能な瞳領域を表している。副画素２３２の瞳部分領域５３２は、瞳面上で（−Ｘ、＋Ｙ）側に重心が偏心している。なお、瞳領域５００は、光電変換部３３１と光電変換部３３２（第１の副画素２３１と第２の副画素２３２）を全て合わせた際の画素２３０Ｇ全体で受光可能な瞳領域である。

さらに、図１２では、図１０（ａ）及び図１０（ｂ）に示した画素の構造と瞳分割との対応関係を示している。副画素２４１の瞳部分領域５４１は、重心が（−ｘ、―ｙ）方向に偏心している光電変換部３４１の受光面と、マイクロレンズによって概ね共役関係になっており、副画素２４１で受光可能な瞳領域を表している。副画素２４１の瞳部分領域５４１は、瞳面上で（＋Ｘ、＋Ｙ）側に重心が偏心している。

また、副画素２４２の瞳部分領域５４２は、重心が（＋ｘ、＋ｙ）方向に偏心している光電変換部３４２の受光面と、マイクロレンズによって概ね共役関係になっており、副画素２４２で受光可能な瞳領域を表している。副画素２４２の瞳部分領域５４２は、瞳面上で（−Ｘ、―Ｙ）側に重心が偏心している。

このように、本実施形態に係る撮像素子１０７では、異なる瞳部分領域を通過する光束を第３の画素の右斜め上方向に分割された副画素３３１および３３２と、第４の画素の右斜め下方向に分割された副画素３４１および副画素３４２とで受光する。このようにすることで、撮像素子１０７は、右斜め下に視差を有する視差信号と、右斜め上方向に視差を有する視差信号とを出力することができる。即ち、本実施形態では、各マイクロレンズに対する光電変換部の分割数を２つに留めながら、４つの視差信号を取得することができる。なお、実施形態１と同様、画素ごとに２つの副画素（例えば副画素２３１および副画素２３２）の信号を加算することで、有効画素数Ｎの解像度の撮像信号を生成することができる。

また、本実施形態における視差画像の生成処理においては、副画素信号ＨＡ（ｊ１、ｉ）および副画素信号ＨＢ（ｊ１、ｉ）が副画素２３１および副画素２３２に対応し、副画素信号ＶＡ（ｊ２、ｉ）および副画素信号ＶＢ（ｊ２、ｉ）が副画素２４１および副画素２４２に対応するものとして、４つの異なる視点を有する視差画像を生成すればよい。このようにすれば、上下左右の４つの視点を有する視差画像を生成することができる。

なお、本実施形態では各画素の光電変換領域を異なる方法で２分割して４つの視差画像を生成する例を説明した。しかし、各画素の光電変換領域の分割数はこれに限らず、他の分割数にしても本発明を適用することができる。例えば水平方向及び垂直方向に３分割した２種類の画素を配置してもよいし、異なる分割方法で４分割した２種類の画素を配置してもよい。このようにしても、１つの画素について光電変換領域の信号の読み出し総数を抑制しつつ、より多くの視点の視差信号を取得することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７…撮像素子、３１１、３１２、３２１、３２２…光電変換部、３０５…マイクロレンズ、２１０Ｇ、２２０Ｇ…画素

Claims (12)

1. 複数の領域に分割された光電変換領域を有する画素が２次元状に配置された撮像素子であって、
   前記画素のうち、第１の方向に分割された光電変換領域のそれぞれが、結像光学系の対応する瞳領域を通過する光束を受光する第１の画素と、
   前記画素のうち、前記第１の方向と異なる第２の方向に分割された光電変換領域のそれぞれが、前記結像光学系の対応する瞳領域を通過する光束を受光する第２の画素と、を有し、
   前記第１の画素は、前記第１の方向に分割された光電変換領域から第１の方向に視差を有する信号を出力し、
   前記第２の画素は、前記第２の方向に分割された光電変換領域から第２の方向に視差を有する信号を出力する、
   ことを特徴とする撮像素子。
2. 前記第１の方向と前記第２の方向が互いに直交する方向である、
   ことを特徴とする請求項１に記載の撮像素子。
3. 前記第１の方向は、前記光電変換領域を水平方向に分割し、前記第２の方向は、前記光電変換領域を垂直方向に分割する、
   ことを特徴とする請求項１または２に記載の撮像素子。
4. 前記第１の画素および前記第２の画素はそれぞれ行または列を単位として隣接して配置され、前記隣接して配置された方向と垂直な方向には、前記第１の画素および前記第２の画素は所定の画素数を単位として交互に配置される、
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像素子。
5. 前記隣接して配置された方向に、前記隣接して配置された前記第１の画素または前記第２の画素を予め定められた第１の周期でサンプリングし、前記隣接して配置された方向と垂直な方向には、同一の方法で分割された画素を予め定められた第２の周期でサンプリングする信号取得手段をさらに有する、
   ことを特徴とする請求項４に記載の撮像素子。
6. 前記第１の画素と前記第２の画素のそれぞれに対応するマイクロレンズを有する、
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像素子。
7. 前記第１の画素から出力された第１の信号と、前記第２の画素から出力された第２の信号とに基づいて、光電変換領域を分割して得られる視差の数より多い視差を有する視差画像を生成する生成手段をさらに有する、
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
8. 前記画素は、前記第１の方向と前記第２の方向とに分割された光電変換領域を有し、該分割された光電変換領域の少なくともいずれかを用いて前記第１の画素又は前記第２の画素を構成する、ことを特徴とする請求項１から７のいずれか１項に記載の撮像素子。
9. 請求項１から８のいずれか１項に記載の撮像素子を有することを特徴とする撮像装置。
10. 請求項１から６のいずれか１項に記載の撮像素子と、
    前記撮像素子から出力された、前記第１の画素から出力された第１の信号と、前記第２の画素から出力された第２の信号とを含む信号を取得して、前記第１の信号および前記第２の信号の少なくともいずれかに基づいて撮像面と結像位置の距離を表すデフォーカス量を算出する算出手段と、
    前記算出したデフォーカス量に基づいて焦点検出を行う検出手段と、
    を有することを特徴とする焦点検出装置。
11. 請求項１から６のいずれか１項に記載の撮像素子から出力された、前記第１の画素から出力された第１の信号と前記第２の画素から出力された第２の信号とを含む信号を取得する取得手段と、
    前記第１の信号および前記第２の信号に基づいて、前記光電変換領域を分割して得られる視差の数より多い視差を有する視差画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
12. 取得手段が、請求項１から６のいずれか１項に記載の撮像素子から出力された、前記第１の画素から出力された第１の信号と、前記第２の画素から出力された第２の信号とを含む信号を取得する取得工程と、
    生成手段が、前記第１の信号および前記第２の信号に基づいて、前記光電変換領域を分割して得られる視差の数より多い視差を有する視差画像を生成する生成工程と、
    を有することを特徴とする画像処理装置の制御方法。