JP7361514B2

JP7361514B2 - 撮像素子および撮像装置

Info

Publication number: JP7361514B2
Application number: JP2019127887A
Authority: JP
Inventors: 隆史岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2023-10-16
Anticipated expiration: 2039-07-09
Also published as: JP2021013147A

Description

本発明は、撮像素子および撮像装置に関する。

近年、ＳＰＡＤ（Single Photon Avalanche Diode）とよばれる撮像素子の検討がされている。これは、アバランシェフォトダイオード（ＡＰＤ）をガイガーモードで動作させた際に発生するアバランシェ現象を利用して、入射したフォトンの数そのものを計測する、すなわち入射光をデジタル値として扱う撮像素子である。

ＡＰＤをガイガーモードで動作させるとき、例えばＡＰＤに１つのフォトンが入射するとアバランシェ現象によって観測可能なレベルの電流が発生する。この電流をパルスに変換し、そのパルス数をカウントすることで、入射するフォトンの個数を直接計測することが可能となるため、ＲＴＳノイズは発生せず、Ｓ／Ｎの向上が期待されている。このような動作は、フォトンカウンティングと呼ばれている。

フォトンカウンティングでは、入射光をデジタル値として扱うため、１つの画素に１つのＡＤ変換器があることが基本的な条件となっている。いわゆる画素ＡＤと呼ばれる撮像素子のタイプである。ＡＤ変換器は、入射するフォトンの個数をカウントするだけでよいので、アバランシェ現象で発生した電流をパルスに変換するコンパレータとカウンターがあれば実現可能である。

フォトンカウンティングを用いたセンシングデバイスの一例として、特許文献１には複数画素のＳＰＡＤからなる測距用センサが開示されている。

一方、撮像素子中の画素が撮像レンズの異なる瞳面の光を受光するような構成によって、撮像と同時に位相差方式の焦点検出を行う技術がある。例えば特許文献２では、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオード（以下「ＰＤ」という。）を分割することによって、各々のＰＤが撮影レンズの異なる瞳面の光を受光するように構成されている。

それによって、撮影レンズの異なる瞳面を通過した光を受光した各々のＰＤの信号から像ずれ量の検出すなわち位相差検出が行われ、像ずれ量からピントのずれ量（デフォーカス量）を相関演算により求めることにより、焦点状態の検出が行われる。また、撮像レンズの異なる瞳面の光を受光した各々のＰＤの信号を加算することで、鑑賞用の撮影信号を生成することも可能である。

特開２０１４－０８１２５３号公報特開２００１－０８３４０７号公報

フォトンカウンティングに代表される画素ＡＤにおいて位相差情報を得るために複数の光電変換素子を有する構成を実現するために、光電変換素子の数だけＡＤ変換器を設けることが考えられる。しかし、ＡＤ変換器はコンパレータとカウンターだけでも大きな面積を必要とするため、光電変換素子の数だけＡＤ変換器を設けたのでは画素の微細化が阻害されてしまう。したがって、１つの画素に複数の光電変換素子を有する構成においては、１つ画素当たりに１つのＡＤ変換器でも効率的な読み出しを行うことができる構成が必要である。

本発明は、１つの画素に複数の光電変換素子を含む撮像素子における画素の微細化と読み出し速度の向上の両立に有利な技術を提供する。

本発明の一側面によれば、複数の単位画素が行列状に配置された画素部であって、前記複数の単位画素のそれぞれが、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する、画素部と、前記複数の単位画素のそれぞれに対して１つ設けられる、複数のＡＤ変換器と、前記複数のＡＤ変換器を用いて前記複数の単位画素からの読み出しを制御する画素制御部と、を有する撮像素子であって、前記画素制御部は、フレームの画素信号を読み出すために、前記フレームを複数のサブフレームに分割してサブフレームごとに前記複数の単位画素からの読み出し動作を行い、前記複数のサブフレームのうちの複数の第１サブフレームの読み出し動作においては、前記複数の第１サブフレームのそれぞれで得られた前記複数の光電変換素子のうちの１つの光電変換素子からの信号に基づく第１信号を読み出し、前記複数のサブフレームのうちの複数の第２サブフレームの読み出し動作においては、前記複数の第２サブフレームのぞれぞれで得られた前記複数の光電変換素子の全ての光電変換素子からの信号に基づく第２信号を読み出し、前記フレームにおいては、前記複数の第１サブフレームと前記複数の第２サブフレームとが交互に繰り返されるように読み出しを制御し、前記フレームとは異なる他のフレームにおいては、前記複数の第１サブフレームの数よりも前記複数の第２サブフレームの数の方が多くなるように読み出しを制御することを特徴とする撮像素子が提供される。

本発明によれば、１つの画素に複数の光電変換素子を含む撮像素子における画素の微細化と読み出し速度の向上の両立に有利な技術を提供することができる。

実施形態における撮像素子の構成を示す図。実施形態における撮像素子の１画素の構成を示す図。画素の構成及び画素から信号を読み出す回路の構成を示す図である。アバランシェフォトダイオードの動作を模式的に示す図。撮像素子の駆動の例を模式的に示すタイミング図。実施形態における撮像素子の構成を示す図。撮像素子の駆動の例を模式的に示すタイミング図。撮像素子の駆動の例を模式的に示すタイミング図。撮像素子の駆動の例を模式的に示すタイミング図。実施形態に係る撮像装置の構成を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
図１は、実施形態における撮像素子の構成を示す図である。撮像素子１００は、互いに積層されたセンサ基板を形成する第１半導体チップ１０１と、回路基板を形成する第２半導体チップ１０２とを有する。センサ基板をなす第１半導体チップ１０１には、複数の単位画素１０３が行列状に配置された画素アレイ（画素部）が形成される。単位画素１０３の詳細な構成については後述する。回路基板をなす第２半導体チップ１０２は、主制御部１０４、画素制御部１０５、信号処理回路１０６を含みうる。
主制御部１０４は、外部からの動作指示やシリアル通信などを受信し、画素制御部１０５および信号処理回路１０６が動作するためのタイミング信号などを供給する。画素制御部１０５は、第１半導体チップ１０１の複数の単位画素１０３のそれぞれにバンプ等で電気的に接続され、複数の単位画素１０３のそれぞれを駆動する制御信号を出力すると共に、画素からのバッファ出力を受信する。

画素制御部１０５は、複数の単位画素１０３のそれぞれに対して１つ設けられる複数のＡＤ変換器を含みうる。画素制御部１０５は、複数のＡＤ変換器を用いて複数の単位画素１０３からの読み出しを制御する。具体的には、画素制御部１０５には、対応する単位画素毎のカウンターが設けられる。そして、画素制御部１０５は、このカウンターを用いて、入射されたフォトンに応じて出力されるバッファ出力からのパルス数を計測する回路を有する。画素制御部１０５で計測されたカウント値は、信号処理回路１０６によって外部に出力されうる。

図２は、撮像素子１００の１画素（単位画素１０３）の構成を示す図である。単位画素１０３は、１つのマイクロレンズ２０２を有する。また、単位画素１０３は、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する。例えば、単位画素１０３は、アバランシェ状態で動作する、２つのアバランシェフォトダイオード（以下「ＡＰＤ」という。）を有し、図２ではＡＰＤ２０３およびＡＰＤ２０４として示されている。

このように、１つのマイクロレンズ２０２を複数のＡＰＤで共有することで、撮像素子１００に到達する撮影レンズからの光のうち異なる射出瞳を通過する光を分割して受光し、位相差情報を得ることが可能である。単位画素１０３は、図示された構成要素以外にも、後述する複数の構成要素を備えうる。またここでは、単位画素１０３が２つのＡＰＤを有するものとして説明するが、ＡＰＤの数は２つ以上であればいくつであってもよい。

図３は、画素の構成及び画素から信号を読み出す回路の構成を示す図である。実施形態における単位画素１０３は、前述のとおり、２つのＡＰＤ２０３，２０４を有する。ＡＰＤ２０３，２０４は、マイクロレンズ２０２を共用することで、それぞれ撮影レンズからの光のうち異なる射出瞳を通過する光を受光する。
クエンチトランジスタ３０１，３０２は、オンされたときにクエンチ抵抗として動作し、それぞれ、駆動パルスφＱＡ，φＱＢにて駆動する。スイッチ３０３，３０４は、どちらの画素を出力するかを選択するスイッチであり、それぞれ駆動パルスφＴＡ，φＴＢにて駆動する。ＡＤ変換器３１０は、比較器３０５およびカウンター３０６を含みうる。比較器３０５は、パルス整形回路として機能しうる。

ＡＰＤ２０３，２０４、クエンチトランジスタ３０１，３０２、および比較器３０５は、スイッチ３０３，３０４を介して電気的に接続されている。ＡＰＤ２０３，２０４にはそれぞれ、クエンチトランジスタ３０１，３０２を介して、電圧Ｈ_VDDが印加される。電圧Ｈ_VDDは、ＡＰＤ２０３，２０４がガイガーモードで動作する電圧となるよう設定される。

比較器３０５は、ＡＰＤ２０３，２０４の出力電圧Ｖ_APDの一方を第１入力とし、所定の比較電圧Ｖ_compを第２入力とする。それらの比較結果Ｖ_outを“Ｈ”または“Ｌ”として出力することで、比較器３０５はパルス整形回路として機能する。カウンター３０６は、比較器３０５の出力をカウントすることで、ＡＰＤ２０３，２０４の信号がＡＤ変換され、デジタルデータとして記録される。

次に、図４を用いて、画素の具体的な動作を説明する。図４はＡＰＤの動作を模式的に示す図である。ＡＰＤ２０３とＡＰＤ２０４の動作原理は同じなので、ここではＡＰＤ２０３とＡＰＤ２０３の信号を読み出す回路のみで説明を行う。まずは、クエンチトランジスタ３０１をオンし、スイッチ３０３をオンにすることで読み出し待機状態となる。

ＡＰＤ２０３が待機している状態では、ＡＰＤ２０３およびクエンチトランジスタ３０１には電流が流れておらず、Ｖ_APDはＨ_VDDを示す。すなわち、ＡＰＤ２０３が待機している状態では、ＡＰＤ２０３には、フォトン入射により雪崩現象を発生させることが可能な電圧が印加された状態になっている。なお、このとき比較器３０５は“Ｌ”を出力する。

その後、ＡＰＤ２０３にフォトンが入射すると、雪崩現象が発生し、ＡＰＤ２０３およびクエンチトランジスタ３０１に電流が流れ始める。クエンチトランジスタ３０１に電流が流れ始めると、電圧降下が発生し、Ｖ_APDの電圧が低下する。Ｖ_APDが比較電圧Ｖ_compを下回ると、比較器３０５の出力Ｖ_outは“Ｈ”となる。

その後、Ｖ_APDが、雪崩現象を発生させることが不可能な電圧にまで降下すると、雪崩現象は停止する。これにより、Ｖ_APDはＨ_VDDに復帰し、比較器３０５の出力Ｖ_outは“Ｌ”となる。

これらの動作により、フォトンの入射がパルス信号として取り出される。カウンター３０６が比較器３０５のパルス出力をカウントすることで、ＡＰＤ２０３の信号がＡＤ変換され、デジタルデータとして記録される。

ＡＰＤ２０４も同様に動作することによってパルス信号が取り出される。また、比較器３０５は、Ｖ_APDをパルスとして整形できればよいので、単純なインバーター形式でもよい。

実施形態では、複数の単位画素のそれぞれに対して１つのＡＤ変換器が設けられる。すなわち、各画素に対して、ＡＰＤ２０３，２０４の信号を読み出すための、比較器３０５とカウンター３０６が搭載されている。そのため、全画素同時に信号を読み出すことが可能である。しかし、比較器３０５とカウンター３０６は各画素に１つずつであってＡＰＤ２０３，２０４のそれぞれに設けられているわけではないので、ＡＰＤ２０３，２０４の信号を別々の信号として同時に取り出すことはできない。

これに対処する実施形態における読み出し動作を、図５を参照して説明する。図５は、実施形態における撮像素子の駆動を模式的に示すタイミング図である。図面の左から右に向かって時刻が経過する様子を示す。本実施形態において、画素制御部１０５は、１フレームの画素信号を読み出すために、１フレームを複数のサブフレームに時分割してサブフレームごとに複数の単位画素１０３からの読み出し動作を行うように構成される。画素制御部１０５は、サブフレームごとに全画素同時に読み出し、各サブフレームの情報を合成して１フレームの情報として生成する。

図５は、１フレームの情報を読み出すのに、複数のサブフレーム１＿１～１＿１０に分割して１０回の読み出し動作を行う様子を示している。ここで、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９では、ＡＰＤ２０３のみが動作状態となっている。そのために、φＱＡ，φＴＡをハイレベルにすることで、クエンチトランジスタ３０１およびスイッチ３０３をオンにしている。一方、φＱＢ，φＴＢをローレベルにすることで、クエンチトランジスタ３０２およびスイッチ３０４をオフ状態にし、その結果、ＡＰＤ２０３に入射したフォトンの数だけ、カウンター３０６がカウント動作を行う。

一方、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０では、ＡＰＤ２０３およびＡＰＤ２０４の両方が動作状態となっている。そのため、φＱＡ、φＴＡ、φＱＢ、φＴＢの全てをハイレベルにすることで、クエンチトランジスタ３０１，３０２、スイッチ３０３，３０４をオンにしている。このとき、ＡＰＤ２０３，２０４は両方とも動作状態にあるので、ＡＰＤ２０３，２０４の両方に入射したフォトンの信号に対して、カウンター３０６がカウント動作を行う。このように、１フレームの複数のサブフレームへの分割は、φＱＡ、φＴＡ、φＱＢ、φＴＢの駆動周波数を変更することによって行われうる。

ここで、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９で得られたカウント値が全て合成される。そうすると、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９の時間分、ＡＰＤ２０３（第１光電変換素子）に入射したフォトンの信号が得られる。こうして生成された信号を「Ａ信号」（第１信号）という。ただし、１フレームの時間のうち、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９によるＡ信号が得られる期間は、この例では１フレーム中に得られる信号の半分である。そこで、Ａ信号に２倍のゲインをかけると、１フレームの時間で得られる予定だった信号と近い信号が得られる。これを「Ａ２信号」という。

同様に、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０で得られたカウント値が全て合成される。そうすると、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０の時間分、全ての光電変換素子（第２光電変換素子）であるＡＰＤ２０３およびＡＰＤ２０４に入射したフォトンの信号が得られる。こうして生成された信号を「Ａ＋Ｂ信号」（第２信号）という。ただし、１フレームの時間のうち、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０によるＡ＋Ｂ信号が得られる期間は、この例では１フレーム中に得られる信号の半分である。そこで、Ａ＋Ｂ信号に２倍のゲインをかけると、１フレームの時間で得られる予定だった信号と近い信号が得られる。これを「（Ａ＋Ｂ）２信号」という。

ここで、（Ａ＋Ｂ）２信号からＡ２信号を減算することにより、位相信号としての信号が取得される。この信号を「Ｂ２信号」（第３信号）という。（Ａ＋Ｂ）２信号は、１フレームの時間に得られるＡＰＤ２０３，２０４が光電変換した撮影レンズの射出瞳を通過した光の信号に相当するので、撮像信号として表示や記録などのための信号として使用される。一方、Ａ２信号およびＢ２信号はそれぞれ、ＡＰＤ２０３，ＡＰＤ２０４が光電変換した撮影レンズの異なる射出瞳を通過した光の信号なので、Ａ２信号とＢ２信号は位相差情報を有する位相信号である。

Ａ２信号およびＢ２信号から公知の相関演算を行うことで、位相差情報を取り出すことが可能であり、撮影レンズのデフォーカス量を算出することが可能である。Ａ２信号とＢ２信号は、位相差情報を得るために必要な情報であって、表示などには使用されない。そのため、演算に必要な信号さえ得られれば、必ずしも、各サブフレームの信号を合成しなくてもよく、単独のサブフレームの情報で相関演算を行ってもよいし、また、２倍のゲインをかけなくてもよい。

２フレーム目以降も同様に、１フレームの中を分割して読み出し、合成することで、撮像信号と位相信号が得えられる。

本実施形態では、フォトンカウンティング可能なＳＰＡＤ型の撮像素子を用いているので、複数のサブフレームの信号を合成して１フレームを形成しても、合成によるノイズの悪化が、ほぼない。なお、上述した合成動作、差分動作、相関演算などは、信号処理回路１０６で行ってもよいし、後述する撮像素子の外にある信号処理部で行ってもよい。

図５では、１フレームの中を１０個のサブフレームに分割したが、本発明はこれに限定されるものではなく、１フレームを分割して読み出し、撮像信号と位相信号を分割して読み出すことを特徴としている。また、（Ａ＋Ｂ）２信号は１フレーム中の全情報のうち半分の情報を倍にすることで擬似的に１フレーム中の情報として用いている。そのため、１フレームの分割数が少ないと、高速で動く被写体などを撮影したときに、１フレーム中の全情報がある撮像信号に対してのずれが大きくなってしまう。そのため、１フレームは例えば３０個以上のサブフレームに分割するとよい。

また、上述の例においては、Ａ信号、Ａ＋Ｂ信号に乗じるゲインは一例として２としたが、これは、複数のサブフレームのうち複数の第１サブフレームおよび複数の第２サブフレームが占める割合が半分ずつだからである。より一般的に言えば、Ａ信号には、複数のサブフレームのうち複数の第１サブフレームが占める割合に応じたゲインを乗じ、Ａ＋Ｂ信号には、複数のサブフレームのうち複数の第２サブフレームが占める割合に応じたゲインを乗じるとよい。

上述したように、１つの画素に１つのＡＤ変換器を備える構成であっても、すなわち、ＡＤ変換器を光電変換素子の数と同じ数にしなくても、高速な読み出し動作を実現することができる。

＜第２実施形態＞
図６は、第２実施形態に係る撮像素子の構成を示す図である。本実施形態では、アバランシェ動作を行わない一般的なフォトダイオード（以下「ＰＤ」という。）が使用される。ＰＤ６０１，６０２は、ＡＰＤ２０３，２０４と同様に、撮影レンズの異なる射出瞳を通過した光を光電変換する光電変換素子である。転送スイッチ６０３，６０４はそれぞれ、ＰＤ６０１，６０２で発生した電荷を後述するフローティングディフュージョン部（以下「ＦＤ」という。）に転送する。ＦＤ６０５は、電荷を一時的に蓄積するメモリとしての役割を有する。リセットスイッチ６０６は、ＶＤＤによりＦＤ６０５をリセットする。ＡＤ変換器２１０は、比較器２０５およびカウンター２０６を含みうる。

図６の構成でも、ＦＤ６０５が十分に小さければ、入射したフォトンに対する信号読み出しは可能である。そのため、図５に示した駆動と同様に駆動すれば、１つの画素に１つのＡＤ変換器であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することが可能となる。これらは、フォトダイオードが光電変換膜などの光電変換素子に変わっても同様であるので、本発明は光電変換素子の種類を限定するものではない。

また、フォトダイオードの信号が比較器２０５で分離できない微弱電圧であっても、Ｖ_REFを時間的に変化させることで比較器２０５をスロープ型のＡＤ変換器として動作させて、カウンター２０６で信号をカウントすることが可能である。ただし、この場合は、読み出しノイズが発生するため、フォトンをカウントするフォトンカウンティングの形態と異なりサブフレームを合成した際には、ノイズが増えてしまう。ただし、１つの画素に１つのＡＤ変換器であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することは可能である。

＜第３実施形態＞
図７は、第３実施形態に係る撮像素子の駆動を模式的に示すタイミング図である。図７の例において、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９では、ＡＰＤ２０３のみが動作状態となっている。そのために、φＱＡ，φＴＡをハイレベルにすることで、クエンチトランジスタ３０１およびスイッチ３０３をオンにしている。一方、φＱＢ，φＴＢをローレベルにすることで、クエンチトランジスタ３０２およびスイッチ３０４をオフ状態にし、その結果、ＡＰＤ２０３に入射したフォトンの数だけ、カウンター３０６がカウント動作を行う。

一方、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０では、ＡＰＤ２０４のみが動作状態となっている。そのために、φＱＡ，φＴＡをローレベルにすることで、クエンチトランジスタ３０１およびスイッチ３０３をオフにしている。一方、φＱＢ，φＴＢをハイレベルにすることで、クエンチトランジスタ３０２およびスイッチ３０４をオン状態にし、その結果、ＡＰＤ２０４に入射したフォトンの数だけ、カウンター３０６がカウント動作を行う。

ここで、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９で得られたカウント値が全て合成される。そうすると、複数の第１サブフレーム１＿１，１＿３，１＿５，１＿７，１＿９の時間分、ＡＰＤ２０３（第１光電変換素子）に入射したフォトンの信号が得られる。これによりＡ信号（第１信号）が生成される。

同様に、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０で得られたカウント値が全て合成される。そうすると、複数の第２サブフレーム１＿２，１＿４，１＿６，１＿８，１＿１０の時間分、ＡＰＤ２０３とは異なる１つの光電変換素子（第２光電変換素子）であるＡＰＤ２０４に入射したフォトンの信号が得られる。これによりＢ信号（第２信号）が生成される。

このような駆動により、直接、Ａ信号とＢ信号を得ることができる。画素制御部１０５は、Ａ信号とＢ信号とを加算することにより、撮像信号（第４信号）を生成することができる。このような駆動においても、第１実施形態と同様に、１つの画素に１つのＡＤ変換器を備える構成であっても、撮像信号と位相差検出用の信号を分離した信号として個別に取得する読み出し動作を実現することが可能である。

＜第４実施形態＞
図８は、撮像素子の駆動の他の例を模式的に示すタイミング図である。図８において、１フレーム目では、図５と同様に、複数の第１サブフレームに属するサブフレームと複数の第２サブフレームに属するサブフレームとが交互になるように設定される。他方、２フレーム目（他のフレーム）においては、複数の第１サブフレーム（Ａで示されるサブフレーム）より複数の第２サブフレーム（Ａ＋Ｂで示されるサブフレーム）の数が多い。

このように駆動することで、必要な量の位相差情報だけを取り出し、残りのサブフレームはＡ＋Ｂ信号の読み出しに当てることで、Ａ＋Ｂ信号の１フレーム中の信号比率を上げることが可能となる。当然ながら、撮像信号に使用するときのゲインは２倍ではなく、不足するサブフレーム分だけ、ゲインをかければよい。

図９は、撮像素子の駆動の更に他の例を模式的に示すタイミング図である。図９においては、１フレーム目では、図８と同様に、複数の第１サブフレームに属するサブフレームと複数の第２サブフレームに属するサブフレームとが交互になるように設定される。他方、２フレーム目（他のフレーム）は、複数の第２サブフレームのみで構成される。すなわち２フレーム目では、Ａ＋Ｂ信号のみが読み出される。

なお、これは、１フレーム目と２フレーム目とで読み出しを変える例であるが、これに限定されるものではなく、Ａ信号とＡ＋Ｂ信号を独立に取得するフレームとＡ＋Ｂ信号のみを読み出すフレームがあればよい。このように駆動することで、位相差情報が必要なフレームのみで、その情報を取り出すことが可能となり、一方、位相差情報が必要ではない場合は、擬似的な１フレーム情報ではなく、全信号を得ることが可能となる。

図８および図９で説明したＡ信号を読み出すフレームの比率は、被写体輝度や撮影レンズのデフォーカス量に応じて可変にするとよい。このような駆動においても、第１実施形態と同様に、１つの画素に１つのＡＤ変換器を備える構成であっても、撮像信号と位相信号を分離した信号として個別に取得する読み出し動作を実現することが可能である。

次に、図１０に基づいて、上述の撮像素子を、撮像装置であるデジタルカメラに適用した場合の実施形態について説明する。図１０において、撮像素子ユニット１００５は、撮影レンズ１００１で結像された被写体を画像信号として取り込むためのユニットであり、上述の図１の撮像素子は、この撮像素子ユニット１００５に含まれる。撮影レンズ１００１は、被写体の光学像を撮像素子ユニット１００５における撮像素子１００に結像させる。

レンズ駆動装置１００２は、撮影レンズ１００１に対して、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッター１００３は、シャッター駆動装置１００４によって制御される。撮像素子ユニット１００５は、上記したように撮像素子１００を含む他、光学的なローパスフィルターなどを配備している。信号処理部１００６は、撮像素子ユニット１００５より出力された画像信号に対する各種の補正、データ圧縮等を行う。信号処理部１００６はまた、前述のＡ信号やＡ＋Ｂ信号の合成、減算、相関演算等を行うことができる。

タイミング発生部１００７は、撮像素子１００、信号処理部１００６に、各種タイミング信号を出力する。制御部１００９は、撮像装置全体の制御を司る。制御部１００９は、その他の各種演算を行うこともできる。メモリ１００８は、画像データを一時的に記憶する。記録媒体Ｉ／Ｆ１０１０は、記録媒体１０１１に対する記録または読み出しを行うためのインタフェースである。記録媒体１０１１は、画像データを記録する、半導体メモリ等の着脱可能な記録媒体である。表示部１０１２は、各種情報や撮影画像を表示する。

次に、前述の構成における撮影時のデジタルカメラの動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に信号処理部１００６等の撮像系回路の電源がオンされる。その後、不図示のレリーズボタンが押されると、信号処理部１００６は撮像素子からのデータに基づいて相関演算を行う。

制御部１００９は、相関演算の結果に基づいてレンズ駆動装置１００２により撮影レンズ１００１を駆動して合焦しているか否かを判断し、合焦していないと判断したときは、再び撮影レンズ１００１を駆動し相関演算を行う。なお、相関演算は、撮像素子からのデータを用いて信号処理部１００６で行う以外にも、不図示の演算専用の装置で行ってもよい。

そして、合焦が確認された後に撮影動作が開始される。撮影動作が終了すると、信号処理部１００６は、撮像素子１００から出力された画像信号に対して画像処理を行い撮影画像を生成する。撮影画像のデータは、制御部１００９によりメモリ１００８に書き込まれる。信号処理部１００６では、並べ替え処理、加算処理、あるいはそれらの選択処理等も行われる。メモリ１００８に蓄積されたデータは、制御部１００９の制御により記録媒体Ｉ／Ｆ１０１０を介して記録媒体１０１１に記録される。なお、このとき不図示の外部Ｉ／Ｆ部を介して外部装置（コンピュータ等）にデータを転送し、外部装置で画像の加工等を行ってもよい。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像素子、１０４：主制御部、１０５：画素制御部、１０６：信号処理回路

Claims

複数の単位画素が行列状に配置された画素部であって、前記複数の単位画素のそれぞれが、撮影レンズの異なる射出瞳を通過する光を光電変換する複数の光電変換素子を有する、画素部と、
前記複数の単位画素のそれぞれに対して１つ設けられる、複数のＡＤ変換器と、
前記複数のＡＤ変換器を用いて前記複数の単位画素からの読み出しを制御する画素制御部と、
を有する撮像素子であって、
前記画素制御部は、
フレームの画素信号を読み出すために、前記フレームを複数のサブフレームに分割してサブフレームごとに前記複数の単位画素からの読み出し動作を行い、
前記複数のサブフレームのうちの複数の第１サブフレームの読み出し動作においては、前記複数の第１サブフレームのそれぞれで得られた前記複数の光電変換素子のうちの１つの光電変換素子からの信号に基づく第１信号を読み出し、
前記複数のサブフレームのうちの複数の第２サブフレームの読み出し動作においては、前記複数の第２サブフレームのぞれぞれで得られた前記複数の光電変換素子の全ての光電変換素子からの信号に基づく第２信号を読み出し、
前記フレームにおいては、前記複数の第１サブフレームと前記複数の第２サブフレームとが交互に繰り返されるように読み出しを制御し、前記フレームとは異なる他のフレームにおいては、前記複数の第１サブフレームの数よりも前記複数の第２サブフレームの数の方が多くなるように読み出しを制御することを特徴とする撮像素子。
前記複数の光電変換素子のそれぞれは、アバランシェ状態で動作するアバランシェフォトダイオードであることを特徴とする請求項１に記載の撮像素子。
前記複数の光電変換素子のそれぞれは、フォトダイオードであることを特徴とする請求項１に記載の撮像素子。
前記画素制御部は、前記第２信号から前記第１信号を減算することにより、位相信号としての第３信号を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
前記他のフレームは、前記複数の第２サブフレームのみで構成されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
前記画素制御部は、前記複数のサブフレームのうち前記複数の第１サブフレームが占める割合に応じたゲインを前記第１信号に乗じ、前記複数のサブフレームのうち前記複数の第２サブフレームが占める割合に応じたゲインを前記第２信号に乗じることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
前記複数のＡＤ変換器は、前記画素制御部に含まれることを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。
互いに積層された第１半導体チップと第２半導体チップとを有し、
前記画素部は前記第１半導体チップに形成され、前記画素制御部は前記第２半導体チップに形成されている、ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
請求項１乃至８のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された信号に基づいて撮影画像を生成する信号処理部と、
を有することを特徴とする撮像装置。