JP2016213740A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】高照度下においてもダイナミックレンジが広く解像感の高い撮像が可能な撮像装置及び撮像システムを提供する。【解決手段】複数行及び複数列に渡って配された複数の画素を有し、複数の画素には、色情報を出力する第１の画素と、輝度情報を出力する第２の画素と、第２の画素とは異なる感度を有し、輝度情報を出力する第３の画素とが含まれており、それぞれの第１の画素は、第２の画素及び第３の画素によって周囲を囲まれている。【選択図】図４

Description

本発明は、撮像装置及び撮像システムに関する。

固体撮像装置には、カラー映像を得るために特定の波長成分（Ｒ，Ｇ，Ｂ）の光を透過するカラーフィルタ（ＣＦ）が画素毎に設けられている。カラーフィルタの色配列としては、いわゆるベイヤ配列と呼ばれる配列を有するものが多く利用されている。

一方、固体撮像装置の感度を向上するために、輝度の情報を得やすい画素の割合を増やす構成が提案されている。その中でも、可視光域の光を広く透過するホワイト画素（Ｗ画素、Ｗｈｉｔｅ画素、クリア画素等と表記する場合もある）を用いた固体撮像装置は特に高感度であり、Ｓ／Ｎ比の高い画像を得ることができる。

ところが、広波長領域成分を検出するホワイト画素は高感度であるため、Ｒ，Ｇ，Ｂの分光画素に比べて飽和しやすく、高照度下における撮影が困難となる。これは、同じ光量の撮影条件でも飽和しやすくなることによりダイナミックレンジが低減することを意味しており、非分光信号や広波長領域成分信号の検出による高感度化を達成する上での共通の課題である。

この課題に対し、特許文献１には、カラー画素であるＲ画素及びＢ画素と２種類の感度のＷ画素からなるＲＢＷ１Ｗ２配列を有する固体撮像装置が提案されている。撮像面照度に合わせて低感度／高感度の輝度信号を選択することで、高感度で広ダイナミックレンジの画像を撮像でき、高照度下でも撮影が可能となる。

特開２０１２−０７４７６３号公報

特許文献１に記載の固体撮像装置のカラーフィルタは、カラー画素Ｒ、カラー画素Ｂ、高感度のホワイト画素Ｗ１及び低感度のホワイト画素Ｗ２を周期的に配列することにより構成されている。ホワイト画素Ｗ１とホワイト画素Ｗ２の画素数の比は、１：１の関係になっている。実際にカラー画像を形成する際には、カラー画素部分におけるホワイトの情報（輝度情報）を周囲のホワイト画素Ｗ１，Ｗ２の画素値から補間して生成する。そして、補間した画素において、色データと補間した輝度データとの比を求め、周囲のホワイト画素においてはその比を画素値と積算し、その画素の色情報を算出する。

しかしながら、高照度下においてホワイト画素Ｗ１が飽和している状態では、カラー画素に隣接する２つのホワイト画素Ｗ２のみを用いて当該カラー画素の輝度値を補間により算出する必要があった。このため、高照度下においては高精度な補間が構成できずに補間エラーが発生し、モワレが発生することがあった。

本発明の目的は、高照度下においてもダイナミックレンジが広く解像感の高い撮像が可能な撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、複数行及び複数列に渡って配された複数の画素を有する撮像装置であって、前記複数の画素は、色情報を出力する第１の画素と、輝度情報を出力する第２の画素と、前記第２の画素とは異なる感度を有し、輝度情報を出力する第３の画素と、含み、それぞれの前記第１の画素は、前記第２の画素及び前記第３の画素によって周囲を囲まれていることを特徴とする撮像装置が提供される。

また、本発明の他の一観点によれば、複数行及び複数列に渡って配された複数の画素と、前記複数の画素から信号を読み出す読み出し回路部と、を有し、前記複数の画素は、色情報を出力する第１の画素と、輝度情報を出力する第２の画素及び第３の画素と、を含み、それぞれの前記第１の画素は、前記第２の画素及び前記第３の画素によって周囲を囲まれており、前記読み出し回路部は、第１の蓄積期間の後、前記第２の画素から信号を読み出し、前記第１の蓄積期間とは異なる第２の蓄積期間の後、前記第３の画素から信号を読み出すように構成されていることを特徴とする撮像装置が提供される。

本発明によれば、高照度下においてもダイナミックレンジが広く解像感の高い撮像が可能な撮像装置及び撮像システムを実現することができる。

本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子のカラーフィルタ配列を示す模式図である。 従来のカラーフィルタ配列の一例を示す模式図である。 本発明の第１実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。 本発明の第１実施形態による撮像装置の高精度補間部における動作を示す概略図である。 本発明の第１実施形態による撮像装置における光量と信号出力及び解像度との関係を示すグラフである。 従来のカラーフィルタ配列の一例を示す模式図である。 本発明の第２実施形態による撮像装置における撮像素子のカラーフィルタ配列を示す模式図である。 本発明の第２実施形態による撮像装置の高精度補間部における動作を示す概略図である。 本発明の第２実施形態による撮像装置における光量と信号出力及び解像度との関係を示すグラフである。 本発明の第３実施形態による撮像装置における撮像素子の構成例を示す回路図である。 本発明の第３実施形態による撮像装置の駆動方法を示すタイミングチャートである。 本発明の第４実施形態による撮像装置における撮像素子の構成例を示す回路図である。 本発明の第４実施形態による撮像装置の駆動方法を示すタイミングチャートである。 本発明の第５実施形態による撮像システムの構成を示すブロック図である。 実施形態の変形例による撮像装置における撮像素子のカラーフィルタ配列を示す模式図である。

［第１実施形態］
本発明の第１実施形態による撮像装置及びその駆動方法について、図１乃至図９を用いて説明する。

はじめに、本実施形態による撮像装置３０１の概略構成について、図１乃至図４を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、撮像素子１０１の構成例を示すブロック図である。図３は、撮像素子１０１の構成例を示す回路図である。図４は、撮像素子１０１に用いられるカラーフィルタ配列を示す模式図である。

本実施形態による撮像装置３０１は、図１に示すように、撮像素子１０１と、信号処理部１０２とを有している。なお、撮像素子１０１及び信号処理部１０２は、同一チップに設けられていてもよいし、別のチップや装置に設けられていてもよい。

撮像素子１０１は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力するものである。撮像素子１０１は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成される。図１に記載の「ＲＧＢＷ１２配列」は、本実施形態の撮像素子１０１において使用するカラーフィルタ配列を表している。ＲＧＢＷ１２配列の詳細については、後述する。

信号処理部１０２は、撮像素子１０１から出力された信号に対して、後述する信号処理を行うためのものである。信号処理部１０２は、ＲＧＢＷ１２信号処理部１０３と、画像処理システム部１０６とを有している。ＲＧＢＷ１２信号処理部１０３は、前段処理部１０４と、高精度補間部１０５とを有している。

ＲＧＢＷ１２信号処理部１０３は、ＲＧＢＷ１２配列のカラーフィルタ配列を有する撮像素子１０１からの出力信号を処理するためのものである。前段処理部１０４は、撮像素子１０１からの出力信号に対して、信号処理の前処理、すなわち各信号のオフセット補正やゲイン補正等の補正処理を適宜実施する。高精度補間部１０５は、前段処理部１０４からの出力信号に対して、高精度の補間処理を実施する。

画像処理システム部１０６は、ＲＧＢＷ１２信号処理部１０３からの出力を用いて、出力画像を作成する。画像処理システム部１０６は、ＲＧＢのカラー画像を作成する機能ブロックであることから、ＲＧＢ信号処理部と呼ぶこともできる。画像処理システム部１０６では、撮像素子１０１からの出力をカラー画像にするために、デモザイク処理、カラーマトリクス演算、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理等を適宜実施する。これらの処理のうち、解像度情報にとってはデモザイク処理が特に重要であり、ベイヤ配列のＣＦを想定して高度な補間処理がなされる。

次に、本実施形態による撮像装置３０１の撮像素子１０１の構成例について、図２乃至図４を用いて説明する。

撮像素子１０１は、図２に示すように、撮像領域１０と、垂直走査回路２０と、列増幅部４０と、水平走査回路７０と、出力部８０とを有する。

撮像領域１０には、複数の画素１２が複数行及び複数列に渡って配された画素アレイが設けられている。撮像領域１０の画素アレイの各行には、行方向に延在して、駆動信号線１４がそれぞれ配されている。各駆動信号線１４は、行方向に並ぶ画素１２に共通の信号線をなしている。また、撮像領域１０の画素アレイの各列には、列方向に延在して、垂直信号線１６がそれぞれ配されている。各垂直信号線１６は、列方向に並ぶ画素１２に共通の信号線をなしている。

駆動信号線１４は、垂直走査回路２０に接続されている。これにより、垂直走査回路２０から画素１２のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を、それぞれの駆動信号線１４に供給できるようになっている。また、垂直信号線１６は、列増幅部４０が接続されている。列増幅部４０には、水平走査回路７０と、出力部８０とが接続されている。これにより、所定の行の複数の画素１２からの出力信号を列毎に読み出すことができるようになっている。列増幅器４０から出力部８０を介して出力される信号は、撮像素子１０１の外部の信号処理部１０２（図１参照）に入力され、アナログ／デジタル変換、入力データの補正などの処理が行われる。

それぞれの画素１２は、図３に示すように、フォトダイオード（以下、「ＰＤ」と表記する）２２、転送トランジスタ２４、リセットトランジスタ２６、増幅トランジスタ２８、選択トランジスタ３２を有する。ＰＤ２２のアノードは、基準電圧線（ＶＳＳ）に接続されている。ＰＤ２２のカソードは、転送トランジスタ２４のソースに接続されている。転送トランジスタ２４のドレインは、リセットトランジスタ２６のソース及び増幅トランジスタ２８のゲートに接続されている。転送トランジスタ２４のドレイン、リセットトランジスタ２６のソース及び増幅トランジスタ２８のゲートの接続ノードは、フローティングディフュージョン部（以下、「ＦＤ部」と表記する）を構成する。図３には、ＦＤ部の寄生容量を、浮遊拡散容量３０により表している。リセットトランジスタ２６のドレイン及び増幅トランジスタ２８のドレインは、電源電圧線（ＶＤＤ）に接続されている。増幅トランジスタ２８のソースは、選択トランジスタ３２のドレインに接続されている。画素１２の出力ノードＰＤＯＵＴである選択トランジスタ３２のソースは、垂直信号線１６に接続されている。垂直信号線１６には、電流源１８が接続されている。

ＰＤ２２は、光電変換により入射光に基づく電荷を生成し蓄積する光電変換部である。転送トランジスタ２４は、ＰＤ２２から浮遊拡散容量３０への電荷の転送を制御するためのスイッチである。転送トランジスタ２４は、ゲートに入力される信号ＰＴＸにより駆動され、信号ＰＴＸがＨｉｇｈレベル（以下、「Ｈレベル」と表記する）のときにオン状態となる。浮遊拡散容量３０は、ＰＤ２２から転送される電荷を保持可能である。リセットトランジスタ２６は、浮遊拡散層３０の電位を電源電圧ＶＤＤに基づく電位にリセットするためのリセット動作を制御するためのスイッチである。転送トランジスタ２４は、ゲートに入力される信号ＰＲＥＳにより駆動され、信号ＰＲＥＳがＨレベルのときにオン状態となる。増幅トランジスタ２８は、ゲートに接続された、浮遊拡散容量３０に蓄積された信号電荷に基づく信号を増幅して出力するためのものである。増幅トランジスタ２８は、ドレインに電源電圧ＶＤＤが供給され、ソースに選択トランジスタ３２及び垂直信号線１６を介して電流源１８からバイアス電流が供給されることで、ソースフォロワ回路を構成する。選択トランジスタ３２は、増幅トランジスタ２８から垂直信号線１６への信号の出力を制御するためのスイッチである。選択トランジスタ３２は、ゲートに入力される信号ＰＳＥＬにより駆動され、信号ＰＳＥＬがＨレベルのときにオン状態となる。

なお、それぞれの駆動信号線１４は、信号ＰＴＸを供給する信号線と、信号ＰＲＥＳを供給する信号線と、信号ＰＳＥＬを供給する信号線とを含む。信号ＰＴＸ，ＰＲＥＳ，ＰＳＥＬは、駆動信号線１４を介して、垂直走査回路２０から画素１２へと出力される。

列増幅部４０は、図３に示すように、各列に、列増幅器４２、容量Ｃ０，Ｃ１，ＣＴＮ，ＣＴＳ、スイッチ４４，４６，５０，５２，５４、トランジスタ５６，５８を有している。列増幅器４２の反転入力端子は、容量Ｃ０及び信号ＰＬによって駆動されるスイッチ４４を介して、垂直信号線１６に接続されている。列増幅器４２の非反転入力端子は、基準電圧電源ＶＲＥＦに接続されている。列増幅器４２の反転入力端子と出力端子との間には、信号φＣ１によって駆動されるスイッチ４６と容量Ｃ１との直列接続体で構成される第１の帰還路と、信号φＣによって駆動されるスイッチ５０で構成される第２の帰還路とが設けられている。列増幅器４２の出力端子には、また、スイッチ５２を介して容量ＣＴＮ及びトランジスタ５６の一方の主ノードが、スイッチ５４を介して容量ＣＴＳ及びトランジスタ５８の一方の主ノードが、それぞれ接続されている。スイッチ５２，５４は、それぞれ信号φＣＴＮ，φＣＴＳ１によって駆動される。トランジスタ５６の他方の主ノードは、水平出力線６０に接続されている。また、トランジスタ５８の他方の主ノードは、水平出力線６２に接続されている。水平出力線６０，６２は、各列のトランジスタ５６，５８の他方の主ノードにそれぞれ接続されている。

水平走査回路７０は、列増幅部４０のトランジスタ５６，５８の制御ノードに、信号φＨｎを出力する。出力部８０は、出力増幅器８２を有する。出力増幅器８２は、水平出力線６０に出力される信号と水平出力線６２に出力される信号との差分を増幅して出力する。

２次元行列状に配列された各画素１２上には、図４に示すカラーフィルタ配列（以下、「ＣＦ配列」と表記する）で、所定の分光感度特性を有するカラーフィルタがそれぞれ配置されている。図４において、矩形状の領域のそれぞれが、１つの画素１２に対応する。すなわち、図４は、８行×８列の画素アレイに対応したＣＦ配列を示したものである。本実施形態で用いるカラーフィルタは、赤色フィルタＲと、緑色フィルタＧと、青色フィルタＢと、白色フィルタＷ１と、白色フィルタＷ２とを含む。以後の説明では、赤色フィルタＲが設けられた画素１２を「Ｒ画素」、緑色フィルタＧが設けられた画素１２を「Ｇ画素」、青色フィルタＢが設けられた画素１２を「Ｂ画素」と、それぞれ表記する。Ｒ画素、Ｇ画素及びＢ画素は、主に色情報を出力するための画素であり、「カラー画素」或いは「ＲＧＢ画素」と呼ぶこともある。また、白色フィルタＷ１が設けられた画素１２を「Ｗ１画素」、白色フィルタＷ２が設けられた画素１２を「Ｗ２画素」と、それぞれ表記する。Ｗ１画素及びＷ２画素は、主に輝度情報を出力するための画素であり、「ホワイト画素」と呼ぶこともある。

なお、ホワイト画素は、入射光を色分離せず直接検出する画素である。ホワイト画素は、Ｒ画素、Ｇ画素及びＢ画素と比べ、分光感度特性における透過波長域が広く感度が高いことが特徴であり、例えば分光感度特性における透過波長域の波長半値幅は、ホワイト画素が最も広い。典型的には、Ｗ１画素及びＷ２画素の分光感度特性における透過波長域は、Ｒ画素、Ｇ画素及びＢ画素の分高感度特性における透過波長域を包括している。また、Ｗ１画素は第１の輝度信号を検出する画素であり、Ｗ２画素は第２の輝度信号を検出する画素である。Ｗ２画素は、Ｗ１画素よりも可視光に対して低感度化されている。

図４に示すＣＦ配列において、４行×４列のブロックが、最小の繰り返し単位である。この単位ブロックに含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ１画素、Ｗ２画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ１：Ｗ２＝１：２：１：８：４となっている。４行×４列の単位ブロックの中に１２個のホワイト画素を有するＣＦ配列を、本明細書では「ＲＧＢＷ１２配列」と表記する。ＲＧＢＷ１２配列において、カラー画素とホワイト画素との比率、ＲＧＢ：Ｗは１：３であり、特許文献１に記載されたＣＦ配列（図９参照、ＲＧＢ：Ｗ＝１：１）と比較すると、ホワイト画素の比率が３倍である。ＲＧＢＷ１２配列の特徴としては、Ｒ画素、Ｇ画素及びＢ画素のいずれのカラー画素もホワイト画素で囲まれていること、ホワイト画素が全画素に占める割合が３／４であること、が挙げられる。また、Ｗ１画素間の最小間隔と、Ｗ２画素間の最小間隔とは、互いに異なっている。

換言すると、ＲＧＢＷ１２配列は、第１の画素としてカラー画素を有し、第２の画素としてホワイト画素を有しており、第２の画素群の総数が第１の画素群の総数の３倍（２倍以上）である。なお、撮像素子１０１には、有効な画素以外に、オプティカルブラック、ダミー画素、ヌル画素など、画像を形成するための信号を出力しない画素を有する場合もあるが、これらは前述の第１の画素及び第２の画素には含まれない。

ＲＧＢＷ１２配列を用いた場合、カラー画素がホワイト画素のみによって周囲を囲まれているために、カラー画素部のＷの値（輝度値）を補間により算出する際の精度が向上する。カラー画素部の輝度値を高精度で補間できるため、解像度の高い画像を得ることができる。ここで、カラー画素がホワイト画素で周囲を囲まれている、とは、画素を模式的に示した場合に、カラー画素の周囲の辺と頂点で接する総ての隣接画素がホワイト画素であることを示している。つまり、カラー画素の４つの辺と４つの頂点が、それぞれホワイト画素Ｗに接している状態である。例えば、図４においてＧ画素を例に説明すると、Ｇ画素は、４つの辺においてＷ１画素に接し、４つの頂点においてＷ２画素に接している。また、別の観点で見れば、カラー画素から見て、平面視における右方向、左方向、上方向、下方向、右斜め上方向、右斜め下方向、左斜め上方向、左斜め下方向のそれぞれにおいて、ホワイト画素が隣接しているとも言える。さらに言えば、カラー画素に対し、平面視における上、下、右、左のそれぞれの方向にそれぞれ隣接するホワイト画素は、平面視における右斜め上、右斜め下方向、左斜め上方向、左斜め下のそれぞれの方向にそれぞれ隣接するホワイト画素よりも感度が低い。この「感度が低い」とは、ここでは同一光量の光がそれぞれの画素に仮に入射した場合に、ある画素の出力する信号が他の画素が出力する信号に対して振幅が小さいことを指す。詳細は後述する。

カラー画像を取得する際に用いられるＣＦ配列としては、いわゆるベイヤ配列が知られている。ベイヤ配列は、図５に示すように、最小の繰り返し単位である２行×２列の画素ブロックにおいて、一方の対角位置に２つのＧ画素を配置し、他方の対角位置にＲ画素とＢ画素とを配置したものである。このベイヤ配列を用いた単板のエリアセンサにおいてカラー画像を形成する際にも、所定の補間処理が行われる。例えば、Ｒ画素の部分にはＧとＢの情報がない。したがって、Ｒ画素の周囲のＧ画素及びＢ画素の情報をもとに、Ｒ画素部分のＧとＢの値を補間する。ベイヤ配列では、最も数の多い、市松模様状に配置されたＧ画素により、解像度が決まる。

ＲＧＢＷ１２配列では、解像度を決めるホワイト画素の比率が多いため、上述のベイヤ配列や特許文献１に記載のＣＦ配列のように解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも解像度の高い画像を取得することができる。すなわち、解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも、空間周波数の高い（つまりピッチが細かい）情報まで取得することができる。したがって、ホワイト画素がない部分（つまり、カラー画素がある部分）の値を、近傍の８つの画素の平均から求めるだけでも、十分に解像度の高い画像が得られる。

ＣＦの配置は様々取りうるが、単板イメージセンサにおいて解像度をより高くした画像を取得するためには、解像度を主に作り出す画素（ベイヤ配列ではＧ画素）をより多くすることが好ましい。特に、ベイヤ配列では解像度を作り出すＧ画素が市松模様状に配置されており、補間のエラーが生じる場合があった。この点、ＲＧＢＷ１２配列では、より多くの解像度を作り出す画素（ホワイト画素）を有しているため、前記補間エラーを極力小さくすることができる。

また、本実施形態による撮像素子１０１におけるＣＦ配列では、ホワイト画素として、単位ブロック内に、４つのＷ１画素と、Ｗ１画素よりも可視光に対して低感度化された４つのＷ２画素とを設けている。これは、高照度時における補間精度を確保するためである。すなわち、ホワイト画素は、カラー画素と比較して感度が高い一方、高照度時には飽和しやすい特徴がある。感度の異なるホワイト画素を設けることで、一方のホワイト画素（Ｗ１画素）が飽和した場合でも、他方のホワイト画素（Ｗ２画素）が飽和していなければ、このホワイト画素（Ｗ２画素）を用いて補間処理が可能である。特に、図４に示す本実施形態のＣＦ配列では、カラー画素の周りにＷの値を補間する４つのＷ２画素が配置されているため、高い精度で補間処理が可能である。

なお、Ｗ１画素とＷ２画素とで感度を変える方法としては、特に限定されるものではないが、例えば以下の方法が挙げられる。第１の方法は、Ｗ２画素のＰＤ２２の上部に、可視光を吸収して各波長を均等に減衰させる光減衰フィルタ（ＮＤフィルタ：ニュートラル・デンシティー（Neutral Density）フィルタともいう）を配置する方法である。Ｗ１画素及びＷ２画素の上部に、減衰量の異なる光減衰フィルタを配置してもよい。これらの場合、Ｗ１画素のフィルタとＷ２画素のフィルタとは、互いに異なる透過率を有することになる。第２の方法は、Ｗ２画素の浮遊拡散容量３０の容量値を、Ｗ１画素の浮遊拡散容量３０の容量値よりも大きくし、ＰＤ２２からの電荷を電圧に変換する際に電圧値を小さくする方法である。第３の方法は、Ｗ２画素のＰＤ２２上の光入射のための開口部を、Ｗ１画素のＰＤ２２上の光入射のための開口部よりも狭くし、ＰＤ２２に入射する光信号を少なくする方法である。この場合、Ｗ１画素の開口部とＷ２画素の開口部とは、互いに異なる開口率を有することになる。これらの方法を用いてＷ２画素の感度をＷ１画素の感度よりも低減することで、ダイナミックレンジを広くすることが可能になり、高照度下においても高解像度の撮影が可能になる。

次に、本実施形態による撮像装置の駆動方法について、図１乃至図９を用いて説明する。図６は、本実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。図７は、本実施形態による撮像装置の高精度補間部における動作を示す概略図である。図８は、本実施形態による撮像装置における入射光量と信号出力及び解像度との関係を示すグラフである。図５及び図９は、従来のカラーフィルタ配列を示す模式図である。

ＰＤ２２に光が入射すると、光電変換によって電子（電荷）が発生する。転送トランジスタ２４は、ゲートに供給される信号ＰＴＸがＨレベルになるとオン状態となり、ＰＤ２２に発生した電荷を浮遊拡散容量３０に転送する。リセットトランジスタ２６は、ゲートに供給される信号ＰＲＥＳがＨレベルになるとオン状態となり、浮遊拡散容量３０の電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタ２４とリセットトランジスタ２６とを同時にオンにすることで、フォトダイオードＰＤの電位がリセットされる。選択トランジスタ３２は、ゲートに供給される信号ＰＳＥＬがＨレベルになるとオン状態となり、増幅トランジスタ２８がソースフォロワ回路を構成する。これにより、画素１２の出力ノードＰＤＯＵＴには、浮遊拡散容量３０の電位に基づく信号が出力される。

垂直走査回路２０は、画素１２に供給する信号ＰＴＸ、信号ＰＲＥＳ、信号ＰＳＥＬの信号レベルを制御することによって、撮像領域１０の画素１２に対して、行単位での読み出し動作である垂直走査を行う。この垂直走査回路２０による垂直走査によって、リセット電圧に基づく信号と、ＰＤ２２から浮遊拡散容量３０に転送された電荷に基づく信号とが、各画素１２から行単位で順次、垂直信号線１６に出力される。

信号ＰＬがＨレベルとなりスイッチ４４がオンになると、画素１２からの出力信号が容量Ｃ０を介して列増幅器４２の反転入力端子に入力される。信号φＣ１及び信号φＣによりスイッチ４６，５０を適宜制御することにより、列増幅器４２の反転入力端子に入力された信号が、Ｃ０／Ｃ１の容量比で表される利得で増幅されて、列増幅器４２の出力端子から出力される。

画素１２からリセット電圧に基づく信号が出力されるタイミングに応じてスイッチ５２をオンにすることで、この信号（Ｎ信号と表記する場合もある）が容量ＣＴＮにサンプルホールドされる。また、ＰＤ２２から浮遊拡散容量３０に電荷が転送されたときの電圧に基づく信号が出力されるタイミングに応じてスイッチ５４をオンにすることで、この信号（Ｓ信号と表記する場合もある）が容量ＣＴＳにサンプルホールドされる。

水平走査回路７０から列毎に順次、Ｈレベルの信号φＨｎを出力することにより、容量ＣＴＮに保持されたＮ信号と容量ＣＴＳに保持されたＳ信号とが、出力増幅器８２に順次転送される。出力増幅器８２は、入力されたＳ信号とＮ信号の差分を増幅及び出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。

これにより、撮像素子１０１に入力された光信号を、電気信号として読み出すことができる。

撮像素子１０１から出力された画素信号は、信号処理部１０２において、図６に示すフローに従って処理される。

信号処理部１０２に入力された画素信号は、まず、ＲＧＢＷ１２信号処理部１０３の前段処理部１０４に入力される。前段処理部１０４では、入力信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等の補正（前段処理）を適宜実施して、補正後の出力信号Ｄｏｕｔを作成する（ステップＳ１０１）。この処理は、典型的には以下の式で表わされる。
Ｄｏｕｔ＝（Ｄｉｎ−ＯＦＦＳＥＴ）×ＧＡＩＮ

この補正は、さまざまな単位で行うことが可能である。例えば、画素１２毎に補正を行う場合、列増幅器４２毎に補正を行う場合、アナログデジタル変換（ＡＤＣ）部毎に行う場合、出力増幅器８０毎に補正を行う場合、等が挙げられる。補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

前段処理部１０４で処理された出力信号Ｄｏｕｔは、高精度補間部１０５に入力される。高精度補間部１０５では、図６に示すように、データ分離処理（ステップＳ１０２）、補間処理（ステップＳ１０３）及び合成処理（ステップＳ１０４）が順次行われる。ステップＳ１０２のデータ分離処理では、前段処理部１０４により処理されたデータを、解像度用のデータＤｒｅｓと、カラー用のデータＤｃｏｌとに分離する。ステップＳ１０３の補間処理では、解像度用のデータＤｒｅｓに対して補間処理を行う。ステップＳ１０４の合成処理では、補間処理を行った解像度用のデータＤｉｎｔと、ステップＳ１０２で分離したカラー用のデータＤｃｏｌとを合成し、ＲＧＢデータＤｒｇｂを生成する。

高精度補間部１０５における処理について、図７を用いてより具体的に説明する。図７（ａ）は、ＲＧＢＷ１２配列の最小の繰り返し単位である４行×４列の画素ブロックからの出力データを模式的に示したものである。ここでは、この画素ブロックからの出力データが高精度補間部１０５に入力され、ステップＳ１０２〜ステップＳ１０４の処理が行われる場合を例に挙げる。なお、実際には、撮像領域１０を構成する総ての画素１２からの出力データが、同様の手順により処理される。

ステップＳ１０２では、図７（ａ）のデータＤｏｕｔを、ホワイト画素（Ｗ１画素及びＷ２画素）のデータからなる解像度用のデータＤｒｅｓと、カラー画素（Ｒ画素、Ｇ画素、Ｂ画素）のデータからなるカラー用のデータＤｃｏｌとに分離する。分離後の解像度用のデータＤｒｅｓは、図７（ｂ）に示すように、４行×４列の１６個の画素のうち、もともとカラー画素が配置されていた４つの画素１２の画素値（輝度情報に関するデータ）が不明（図中、「？」で表す）の状態になる。また、分離後のカラー用のデータＤｃｏｌは、図７（ｄ）に示すように、４行×４列の１６個の画素から抜き出した２行×２列の４個の画素のデータであり、解像度の低い（空間的に粗い）データとなる。なお、図７（ｄ）中、「Ｇｒ」，「Ｇｂ」は、ともにＧ画素のデータを表している。異なるＧ画素からのデータであることを区別するため、「Ｇｒ」，「Ｇｂ」と表記を変えている。

ステップＳ１０３では、分離した解像度用のデータＤｒｅｓに対して補間処理を行い、画素値が不明な４個の画素（図中、「？」）の画素値を補填する。画素値を補間する方法には、さまざまな方法を採用しうる。例えば、周囲８画素の平均を算出する方法、上下左右の４画素の平均を算出する方法（バイリニア法）等が挙げられる。ここでは、一例として、周囲８画素の平均を算出する方法を述べる。補間の方法の説明の便宜上、図７（ｃ）には、Ｘ座標とＹ座標とを付記している。例えば、ｉＷｂと表記した画素は、（３，３）の座標に位置するＷのデータであるため、ｉＷｂ（３，３）と表記する。なお、図７（ｃ）中、「ｉＷ」は、補間により算出したＷのデータであることを意味し、「ｉＷ」に付記した「ｒ」，「ｇｒ」，「ｇｂ」，「ｂ」は、元々のカラー画素との対応関係を表している。

Ｗ１画素及びＷ２画素の両方ともに飽和していない場合には、Ｗ１画素及びＷ２画素の両方の画素値を使用して補間データを求めることができる。その際、Ｗ１画素に対してＷ２画素は感度が低いため、Ｗ１画素の感度とＷ２画素の感度との比で表される係数Ａ（Ａ＝（Ｗ１画素の感度）／（Ｗ２画素の感度））を、Ｗ２画素のデータに乗算する。例えば、座標（３，３）の画素のデータｉＷｂ（３，３）は、以下のように算出される。

一方、Ｗ２画素は飽和していないがＷ１画素が飽和している場合、Ｗ１画素の画素値は最大値を取りうるが、補間用のデータとしては使用しない。すなわち、座標（３，３）の画素のデータｉＷｂ（３，３）は、Ｗ２画素のデータのみを使用して、以下のように算出される。

ステップＳ１０３では、図７（ｃ）に示した補間後のデータＤｉｎｔと、図７（ｄ）に示したカラー用のデータＤｃｏｌとを合成して、ＲＧＢデータＤｒｇｂを生成する。例えば、Ｒ画素の画素値とｉＷｒの画素値からＲの色比情報を、Ｂ画素の画素値とｉＷｂの画素値からＢの色比情報を、Ｇｒ画素及びＧｂ画素の画素値とｉＷｇｒ及びｉＷｇｂの画素値からＧ画素の色比情報を算出する。そして、このように算出したＲＧＢの色比情報と、各画素の画素値Ｗ１，Ｗ２，ｉＷｒ，ｉＷｂ，ｉＷｇｒ，ｉＷｇｂとを用いて、各画素のＲＧＢデータを算出する。

図８（ａ）は、ホワイト画素（Ｗ１画素及びＷ２画素）における光量［ｌｘ・ｓｅｃ］と信号出力（ガンマ処理後）との関係を示すグラフである。また、図８（ｂ）は、ホワイト画素（Ｗ１画素及びＷ２画素）における光量［ｌｘ・ｓｅｃ］と解像度との関係を示すグラフである。図中、太い実線が、図４に示す本実施形態のＲＧＢＷ１２配列を用いた場合（以下、「実施例１」と呼ぶ）であり、細い実線が、図９に示すＣＦ配列を用いた場合（以下、「比較例」と呼ぶ）である。光量は、周囲の照度［ｌｘ］と露出時間［ｓｅｃ］との積で表され、画素が信号を出力するために蓄積する光の積分値に相当する。ここで、実施例１及び比較例の撮像素子は、いずれも、光量（i）において飽和するＷ１画素と、光量（ii）において飽和するＷ２画素とを有しているものとする。また、これらを加味したガンマ処理を行うことで、両者におけるダイナミックレンジはほぼ同等であるものとする。

入射光量が光量（i）未満、すなわちＷ１画素が飽和するまでは、Ｗ１画素及びＷ２画素のデータから画像を形成することができる。したがって、実施例１のＣＦ配列では、光量（i）未満の場合に使用されるＷ１画素及びＷ２画素の総数が、比較例のＣＦ配列の場合の１２／８倍となる。このため、実施例１のＣＦ配列を用いた場合、比較例のＣＦ配列を用いた場合よりも、解像度は１２／８倍向上する。

入射光量が光量（i）から光量（ii）の間では、Ｗ１画素が飽和してしまうため、Ｗ２画素のデータのみを補間に使用する。実施例１のＣＦ配列及び比較例のＣＦ配列において、Ｗ２画素の数は同数である。ところが、比較例のＣＦ配列では、Ｒ画素４０１の輝度値を周囲のホワイト画素から補間しようとしても、その周囲には、上下に位置するＷ２画素４０２とＷ２画素４０３しか存在しない。また、Ｂ画素４０４の輝度値を周囲のホワイト画素から補間しようとしても、その周囲には、左右に位置するＷ２画素４０５とＷ２画素４０６しか存在しない。このことは、補間できる画素が色画素によって上下、左右に偏ることになり、モワレによる偽色が発生しやすくなることを意味し、解像度を下げる原因になる。この点、実施例１のＣＦ配列では、総ての色画素の周囲に４個のＷ２画素が配置されているため、上下方向及び左右方向の双方において補間の精度を向上することが可能である。

また、実施例１のＣＦ配列のように、上下及び左右に補間用の画素が存在すると、縦方向及び横方向のそれぞれに対して周波数解析を行うことができる。その結果、補間データを算出する際に、「上下の平均」「左右の平均」「４画素の平均」のどの平均を用いると「ノイズ的」「解像度的」に画質に有利か、を判断することができる。これにより、カラー画素部の輝度値（Ｗの値）を適切に補間することができ、良好な解像度を得ることができる。これに対し、比較例のＣＦ配列では、上下のみに補間用の画素が存在する場合は「上下の平均」、左右のみに補間用の画素が存在する場合は「左右の平均」のみの情報を使うしかなく、選択の余地がない。これでは必ずしも適切な補間を行うことはできず、良好な解像度を得ることはできない。

このように、本実施形態によれば、ダイナミックレンジを確保したうえで、色画素部の輝度値の補間精度を向上することができ、解像度を高めることができる。

［第２実施形態］
本発明の第２実施形態による撮像装置及びその駆動方法について、図１０乃至図１２を用いて説明する。図１乃至図９に示す第１実施形態による撮像装置及びその駆動方法と同様の構成要素には同様の符号を付し、説明を省略し或いは簡潔にする。

はじめに、本実施形態による撮像装置３０１の構造について、図１０を用いて説明する。図１０は、本実施形態による撮像装置の撮像素子に用いられるカラーフィルタ配列を示す模式図である。

本実施形態による撮像装置３０１は、撮像素子１０１のＣＦ配列が異なるほかは、第１実施形態による撮像装置と同様である。すなわち、本実施形態による撮像素子１０１のＣＦ配列は、第１実施形態による撮像素子１０１と同じＲＧＢＷ１２配列ではあるが、Ｗ１画素とＷ２画素の比率が逆転している。すなわち、単位領域に含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ１画素、Ｗ２画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ１：Ｗ２＝１：２：１：４：８となっている。本実施形態による撮像素子１０１のＣＦ配列においても、Ｒ画素、Ｇ画素及びＢ画素のいずれのカラー画素もホワイト画素で囲まれており、ホワイト画素が全画素に占める割合が３／４になっている。したがって、第１実施形態の場合と同様、ホワイト画素によって感度を向上できるとともに、カラー画素部のＷの値を補間する際の精度を向上することができる。

次に、本実施形態による撮像装置の駆動方法について、図１１及び図１２を用いて説明する。図１１は、本実施形態による撮像装置の高精度補間部における動作を示す概略図である。図１２は、本実施形態による撮像装置における入射光量と信号出力及び解像度との関係を示すグラフである。なお、本実施形態による撮像装置の駆動方法は、高精度補間部１０５における処理が異なるほかは、第１実施形態による撮像装置の駆動方法と同様である。

図１１（ａ）は、ＲＧＢＷ１２配列の最小の繰り返し単位である４行×４列の画素ブロックからの出力データを模式的に示したものである。ここでは、この画素ブロックからの出力データが高精度補間部１０５に入力され、ステップＳ１０２〜ステップＳ１０４の処理が行われる場合を例に挙げる。なお、実際には、撮像領域１０を構成する総ての画素１２からの出力データが、同様の手順により処理される。

ステップＳ１０２では、図１１（ａ）のデータＤｏｕｔを、ホワイト画素（Ｗ１画素及びＷ２画素）のデータからなる解像度用のデータＤｒｅｓと、カラー画素（Ｒ画素、Ｇ画素、Ｂ画素）のデータからなるカラー用のデータＤｃｏｌとに分離する。分離後の解像度用のデータＤｒｅｓは、図１１（ｂ）に示すように、４行×４列の１６個の画素のうち、もともとカラー画素が配置されていた４つの画素のデータ（画素値）が不明（図中、「？」で表す）の状態になる。また、分離後のカラー用のデータＤｃｏｌは、図１１（ｄ）に示すように、４行×４列の１６個の画素から抜き出した２行×２列の４個の画素のデータであり、解像度の低い（空間的に粗い）データとなる。

ステップＳ１０３では、分離した解像度用のデータＤｒｅｓに対して補間処理を行い、画素値が不明な４個の画素（図中、「？」）の画素値を補填する。画素値を補間する方法には、第１実施形態で説明した種々の方法を適用可能であるが、ここでは一例として、周囲８画素の平均を算出する方法を述べる。補間の方法の説明の便宜上、図１１（ｃ）には、Ｘ座標とＹ座標とを付記している。例えば、ｉＷｂと表記した画素は、（３，３）の座標に位置するＷのデータであるため、ｉＷｂ（３，３）と表記する。なお、図１１（ｃ）中、「ｉＷ」は、補間により算出したＷのデータであることを意味し、「ｉＷ」に付記した「ｒ」，「ｇｒ」，「ｇｂ」，「ｂ」は、元々のカラー画素の色を表している。

Ｗ１画素及びＷ２画素の両方ともに飽和していない場合には、Ｗ１画素及びＷ２画素の両方の画素値を使用して補間データを求めることができる。その際、Ｗ１画素に対してＷ２画素は感度が低いため、Ｗ１画素の感度とＷ２画素の感度との比で表される係数Ａ（Ａ＝（Ｗ１画素の感度）／（Ｗ２画素の感度））を、Ｗ２画素のデータに乗算する。例えば、座標（３，３）の画素のデータｉＷｂ（３，３）は、以下のように算出される。

一方、Ｗ２画素は飽和していないがＷ１画素が飽和している場合、Ｗ１画素の画素値は最大値を取りうるが、補間用のデータとしては使用しない。すなわち、座標（３，３）の画素のデータｉＷｂ（３，３）は、Ｗ２画素のデータのみを使用して、以下のように算出される。

ステップＳ１０３では、図１１（ｃ）に示した補間後のデータＤｉｎｔと、図１１（ｄ）に示したカラー用のデータＤｃｏｌとを合成して、ＲＧＢデータＤｒｇｂを生成する。例えば、Ｒ画素の画素値とｉＷｒの画素値からＲの色比情報を、Ｂ画素の画素値とｉＷｂの画素値からＢの色比情報を、Ｇｒ画素及びＧｂ画素の画素値とｉＷｇｒ及びｉＷｇｂの画素値からＧ画素の色比情報を算出する。そして、このように算出したＲＧＢの色比情報と、各画素の画素値Ｗ１，Ｗ２，ｉＷｒ，ｉＷｂ，ｉＷｇｒ，ｉＷｇｂとを用いて、各画素のＲＧＢデータを算出する。

図１２（ａ）は、ホワイト画素（Ｗ１画素及びＷ２画素）における光量［ｌｘ・ｓｅｃ］と信号出力（ガンマ処理後）との関係を示すグラフである。また、図１２（ｂ）は、ホワイト画素（Ｗ１画素及びＷ２画素）における光量［ｌｘ・ｓｅｃ］と解像度との関係を示すグラフである。図中、太い実線が、図１０に示す本実施形態のＲＧＢＷ１２配列を用いた場合（以下、「実施例２」と呼ぶ）であり、細い実線が、図９に示すＣＦ配列を用いた場合（以下、「比較例」と呼ぶ）である。ここで、実施例２及び比較例の撮像素子は、いずれも、光量（i）において飽和するＷ１画素と、光量（ii）において飽和するＷ２画素とを有しているものとする。また、これらを加味したガンマ処理を行うことで、両者におけるダイナミックレンジはほぼ同等であるものとする。

入射光量が光量（i）未満、すなわちＷ１画素が飽和するまでは、Ｗ１画素及びＷ２画素のデータから画像を形成することができる。したがって、実施例２のＣＦ配列では、光量（ｉ）未満の場合に使用されるＷ１画素及びＷ２画素の総数が、比較例のＣＦ配列の場合の１２／８倍となる。このため、実施例２のＣＦ配列を用いた場合、比較例のＣＦ配列を用いた場合よりも、解像度は１２／８倍向上する。

入射光量が光量（i）から光量（ii）の間では、Ｗ１画素が飽和してしまうため、Ｗ２画素のデータのみを補間に使用する。ここで、実施例２のＣＦ配列におけるＷ２画素の総数は、比較例のＣＦ配列におけるＷ２画素の総数の８／４倍である。また、比較例のＣＦ配列では、Ｒ画素４０１の輝度値を周囲のホワイト画素から補間しようとしても、その周囲には、上下に位置するＷ２画素４０２とＷ２画素４０３しか存在しない。また、Ｂ画素４０４の輝度値を周囲のホワイト画素から補間しようとしても、その周囲には、左右に位置するＷ２画素４０５とＷ２画素４０６しか存在しない。このことは、補間できる画素が色画素によって上下、左右に偏ることになり、モワレによる偽色が発生しやすくなることを意味し、解像度を下げる原因になる。この点、実施例２のＣＦ配列では、色画素の周囲には必ず４個のＷ２画素が存在している。つまり、上下方向及び左右方向の双方において補間の精度を向上することが可能である。

したがって、入射光量が光量（i）から光量（ii）の間において、実施例２のＣＦ配列は、比較例のＣＦ配列の場合よりも８／４倍以上、解像度が高いといえる。

このように、本実施形態によれば、ダイナミックレンジを確保したうえで、色画素部の輝度値の補間精度を向上することができ、解像度を高めることができる。

［第３実施形態］
本発明の第３実施形態による撮像装置及びその駆動方法について、図１３及び図１４を用いて説明する。図１乃至図１２に示す第１及び第２実施形態による撮像装置及びその駆動方法と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

図１３は、本実施形態による撮像装置の撮像素子の構成例を示す回路図である。図１４は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。

第１及び第２実施形態では、Ｗ１画素の構造とＷ２画素の構造を変えることによってＷ２画素の感度をＷ１画素の感度よりも低くしたが、Ｗ１画素とＷ２画素の構造が同じでも駆動方法を変えることによってこれら画素の感度を見かけ上変えることもできる。本実施形態では、Ｗ１画素とＷ２画素の感度が同じ場合に第１及び第２実施形態と同様の効果を実現しうる撮像装置の駆動方法について説明する。

図１３は、本実施形態による撮像装置３０１における撮像素子１０１の第ｎ列と第ｎ＋１列の読み出し回路部の回路構成を示したものである。各列の読み出し回路部の回路構成は、図３に示す第１実施形態による撮像装置３０１の撮像素子１０１の読み出し回路部の回路構成と同様である。図には、第ｎ列の構成要素と第ｎ＋１列の構成要素とを区別するために、第ｎ列の各構成要素の符号の末尾に「ａ」を付記し、第ｎ＋１列の各構成要素の符号の末尾に「ｂ」を付記している。

図１４（ａ）は、読み出し動作及びリセット動作を含めた撮像素子の読み出し回路全体のタイミングチャートを示したものである。図１４（ａ）において、横軸は時間を示し、縦軸は行位置を示している。図１４（ａ）のタイミングチャートでは、第０行から第Ｎ行までのＮ＋１行の画素１２ａ，１２ｂから順次、信号を読み出すことを想定している。なお、画素１２ａがＷ１画素に対応し、画素１２ｂがＷ２画素に対応している。

時刻Ｔ０において、第０行目の画素１２ａ，１２ｂからの読み出し動作が開始し、第０行目の画素１２ａ，１２ｂからの読み出し動作が完了後、第１行目の画素１２ａ，１２ｂからの読み出し動作に移行する。同様にして、第２行目から第Ｎ行目までの読み出し動作を行い、第Ｎ行の画素１２ａ，１２ｂからの読み出し動作が時刻Ｔ３から開始する。また、時刻Ｔ１において、第０行目の画素１２ａのリセット動作が行われる。画素１２ａのリセット動作についても、読み出し動作と同様に行順次で行われ、第Ｎ行の画素１２ａのリセット動作は時刻Ｔ５において行われる。また、時刻Ｔ２において、第０行目の画素１２ｂのリセット動作が行われる。画素１２ｂのリセット動作についても、読み出し動作と同様に行順次で行われ、第Ｎ行の画素１２ｂのリセット動作は時刻Ｔ６において行われる。また、時刻Ｔ４において、次フレームの読み出し動作に移行し、同様の動作が繰り返し行われる。

なお、画素１２ａのリセット動作の完了後から次フレームの読み出し動作の開始までの期間（第０行目では時刻Ｔ１〜時刻Ｔ４）が、画素１２ａの蓄積期間（図中、蓄積期間１）である。また、画素１２ｂのリセット動作の完了後から次フレームの読み出し動作の開始までの期間（第０行目では時刻Ｔ２〜時刻Ｔ４）が、画素１２ｂの蓄積期間（図中、蓄積期間２）である。

次に、画素１２ａ，１２ｂからの読み出し動作について、図１４（ｂ）を用いてより具体的に説明する。なお、図１４（ｂ）のタイミングチャートは、一水平期間内における読み出し動作を示しており、第０行目の画素１２ａ，１２ｂからの読み出し動作においては、図１４（ａ）の時刻Ｔ０から時刻Ｔ１の期間における動作に対応する。

まず、時刻ｔ０において、垂直走査回路２０は、信号ＰＲＥＳをＨレベルとし、リセットトランジスタ２６ａ，２６ｂをオンにする。これにより、ＦＤ部がリセットトランジスタ２６ａ，２６ｂを介して電源電圧（ＶＤＤ）に接続され、画素１２ａの浮遊拡散容量３０ａ及び画素１２ｂの浮遊拡散容量３０ｂの電位がリセットされる。

また、同じく時刻ｔ０において、垂直走査回路２０は、信号ＰＳＥＬをＨレベルとし、選択トランジスタ３２ａ，３２ｂをオンにする。これにより、増幅トランジスタ２８ａは、リセットされている浮遊拡散容量３０ａの電位に基づく信号を、選択トランジスタ３２ａを介して垂直信号線１６ａに出力する。同様に、増幅トランジスタ２８ｂは、リセットされている浮遊拡散容量３０ｂの電位に基づく信号を、選択トランジスタ３２ｂを介して垂直信号線１６ｂに出力する。

また、同じく時刻ｔ０において、信号ＰＬをＨレベルとし、スイッチ４４ａ，４４ｂを導通状態とする。これにより、垂直信号線１６ａが容量Ｃ０ａに接続され、垂直信号線１６ｂが容量Ｃ０ｂに接続される。

また、同じく時刻ｔ０において、信号φＣ１，φＣ，φＣＴＮ，φＣＴＳをＨレベルとし、スイッチ４６ａ，４６ｂ，５０ａ，５０ｂ，５２ａ，５２ｂ，５４ａ，５４ｂを導通状態とする。これにより、容量Ｃ１ａ，Ｃ１ｂ，ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂは、リセット状態となる。容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂの電位は、ＶＲＥＦとなる。

次いで、時刻ｔ１において、信号φＣＴＮ，φＣＴＳをＬレベルとし、スイッチ５２ａ，５２ｂ，５４ａ，５４ｂを非導通状態とする。これにより、容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂのリセットを解除する。

次いで、時刻ｔ２において、垂直走査回路２０は、信号ＰＲＥＳをＬレベルとし、リセットトランジスタ２６ａ，２６ｂをオフにする。これにより、浮遊拡散容量３０ａ，３０ｂの電位のリセットを解除する。浮遊拡散容量３０ａ，３０ｂには、リセットノイズ（ｋＴＣノイズ）が混入した電位が保持される。なお、浮遊拡散容量３０ａ，３０ｂの電位（リセット電位）に基づく画素１２ａ，１２ｂからの出力信号をＮ信号と呼ぶ。

次いで、時刻ｔ３において、信号φＣをＬレベルとし、スイッチ５０ａ，５０ｂを非導通状態とする。これにより、列増幅器４２ａ，４２ｂがＮ信号によってリセットされた状態で、リセットが解除される。これにより、列増幅器４２ａは画素１２ａからの信号を、列増幅器４２ｂは画素１２ｂからの信号を、それぞれＮ信号との差分をＣ０／Ｃ１で決まる利得Ｇ１で増幅して出力する状態となる。また、容量Ｃ０には、Ｎ信号に対応した電位が、電圧ＶＲＥＦによりクランプされる。

次いで、時刻ｔ４において、信号φＣＴＮをＨレベルとし、スイッチ５２ａ，５２ｂを導通状態とする。これにより、列増幅器４２ａの出力端子が容量ＣＴＮａに接続され、列増幅器４２ｂの出力端子が容量ＣＴＮｂに接続される。

次いで、時刻ｔ５において、信号φＣＴＮをＬレベルとし、スイッチ５２ａ，５２ｂを非導通状態とする。これにより、列増幅器４２ａ，４２ｂによってＮ信号を増幅した信号が、容量素子ＣＴＮａ，ＣＴＮｂにそれぞれサンプルホールドされる。なお、この際に、列増幅器４２ａ，４２ｂのオフセットも同時に保持される。

次いで、時刻ｔ６から時刻ｔ７の期間において、垂直走査回路２０は、信号ＰＴＸａ，ＰＴＸｂをＨレベルとし、転送トランジスタ２４ａ，２４ｂをオンにする。これにより、ＰＤ２２ａに蓄積されている電荷が浮遊拡散容量３０ａに転送され、増幅トランジスタ２８ａは、浮遊拡散容量３０ａの電位に基づく信号を、選択トランジスタ３２ａを介して垂直信号線１６ａに出力する。また、ＰＤ２２ｂに蓄積されている電荷が浮遊拡散容量３０ｂに転送され、増幅トランジスタ２８ｂは、浮遊拡散容量３０ｂの電位に基づく信号を、選択トランジスタ３２ｂを介して垂直信号線１６ｂに出力する。増幅トランジスタ２８ａ，２８ｂが出力する信号は、ＰＤ２２ａ，２２ｂに蓄積されていた電荷に基づく信号である。増幅トランジスタ２８ａ，２８ｂが、ＰＤ２２ａ，２２ｂに蓄積されていた電荷に基づいて出力する信号を、光信号（Ｓ信号と表記する場合もある）と呼ぶ。出力された光信号は、第１のＣＤＳ回路にて、浮遊拡散容量３０ａ、浮遊拡散容量３０ｂのリセットノイズに基づくＮ信号が差し引かれる。

次いで、時刻ｔ８から時刻ｔ９の期間において、信号φＣＴＳをＨレベルとし、スイッチ５４ａ，５４ｂを導通状態とする。これにより、列増幅器４２ａが出力する光信号が利得Ｇ１で増幅された信号Ｓ１を、容量ＣＴＳａにサンプルホールドする。また、列増幅器４２ｂが出力する光信号が利得Ｇ１で増幅された信号Ｓ１を、容量ＣＴＳｂにサンプルホールドする。

次いで、時刻ｔ１０において、垂直走査回路２０は、信号ＰＳＥＬをＬレベルにして選択トランジスタ３２ａ，３２ｂをオフにすることで、画素１２ａ，１２ｂを、垂直信号線１６ａ，１６ｂから切り離す。また、信号ＰＬをＬレベルにしてスイッチ４４ａ，４４ｂを非導通状態にすることで、列増幅器４２ａ，４２ｂの入力を切り離す。また、信号φＣ１をＬレベルにしてスイッチ４６ａ，４６ｂを非導通状態とし、列増幅器４２ａ，４２ｂの増幅動作を停止する。

次いで、時刻ｔ１１から時刻ｔ１２の期間において、水平走査回路７０は、列増幅部４０の各列に順次、信号φＨｎを出力する動作、すなわち水平走査を行う。これにより、出力増幅器８２は、容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂに保持した信号に基づく信号を、順次外部に出力する。また、ここで出力増幅器８２の出力信号は、第２のＣＤＳ回路にて、列増幅器４２ａ，４２ｂの利得Ｇ１におけるオフセット成分が差し引かれる。

次に、画素１２ａのリセット動作について、図１４（ｃ）を用いてより具体的に説明する。なお、図１４（ｃ）のタイミングチャートは、一水平期間内におけるリセット動作を示しており、第０行目の画素１２ａのリセット動作においては、図１４（ａ）の時刻Ｔ１のタイミングで実行される。

まず、時刻ｔ２０において、垂直走査回路２０は、信号ＰＲＥＳをＨレベルとし、リセットトランジスタ２６ａをオンにする。これにより、ＦＤ部がリセットトランジスタ２６ａを介して電源電圧（ＶＤＤ）に接続され、浮遊拡散容量３０ａの電位がリセットされる。これにより、ＦＤ部がリセットトランジスタ２６ａ，２６ｂを介して電源電圧（ＶＤＤ）に接続され、画素１２ａの浮遊拡散容量３０ａ及び画素１２ｂの浮遊拡散容量３０ｂの電位がリセットされる。

次いで、時刻ｔ２１から時刻ｔ２２の期間において、垂直走査回路２０は、信号ＰＴＸａをＨレベルとし、転送トランジスタ２４ａをオンにする。これにより、ＰＤ２２ａのカソードが、浮遊拡散容量３０ａと同電位、すなわち電圧ＶＤＤにリセットされる。

次いで、時刻ｔ２３において、垂直走査回路２０は、信号ＰＲＥＳをＬレベルとし、リセットトランジスタ２６ａをオフにする。これにより、リセット状態が解除される。

その他の信号、すなわち、信号ＰＳＥＬ，ＰＬ，φＣ，φＣ１，φＣＴＮ，φＣＴＳ，φＨｎは、時刻ｔ２０から時刻ｔ２３のリセット期間中はＬレベルに維持する。また、信号ＰＴＸｂも、時刻ｔ２０から時刻ｔ２３のリセット期間中はＬレベルに維持し、画素１２ｂのリセット動作は行わない。

画素１２ｂのリセット動作は、第０行目の画素１２ｂのリセット動作においては、図１４（ａ）の時刻Ｔ２のタイミングで実行されるほかは、画素１２ａのリセット動作と同様である。画素１２ｂのリセット動作では、時刻ｔ２１から時刻ｔ２２の期間において、信号ＰＴＸｂをＨレベルとし、信号ＰＴＸａはＬレベルとする。

第１及び第２実施形態で説明したＷ１画素を本実施形態の画素１２ａで構成し、第１及び第２実施形態で説明したＷ２画素を本実施形態の画素１２ｂで構成することにより、第１及び第２実施形態と同様の効果を得ることができる。この場合、Ｗ１画素の感度とＷ２画素の感度との比で表される係数Ａは、蓄積期間１と蓄積期間２との比で表される係数で置き換えればよい。

このように、本実施形態によれば、ダイナミックレンジを確保したうえで、色画素部の輝度値の補間精度を向上することができ、解像度を高めることができる。

［第４実施形態］
本発明の第４実施形態による撮像装置及びその駆動方法について、図１５及び図１６を用いて説明する。図１乃至図１４に示す第１乃至第３実施形態による撮像装置及びその駆動方法と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

図１５は、本実施形態による撮像装置の撮像素子の構成例を示す回路図である。図１６は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。

本実施形態による撮像装置３０１における撮像素子１０１は、図１５に示すように、画素１２ａ，１２ｂの回路構成が異なるほかは、図１３に示す第３実施形態による撮像装置の撮像素子の読み出し回路部の回路構成と同様である。すなわち、本実施形態の撮像素子１０１では、画素１２ａのリセットトランジスタ２６ａと浮遊拡散容量３０ａとの間に、信号Ｃｅｘａで駆動するトランジスタ３４ａが設けられている。また、画素１２ｂのリセットトランジスタ２６ｂと浮遊拡散容量３０ｂとの間に、信号Ｃｅｘｂで駆動するトランジスタ３４ｂが設けられている。トランジスタ３４ａ，３４ｂには、それぞれ容量３６ａ，３６ｂが設けられている。容量３６ａ，３６ｂは、トランジスタ３４ａ，３４ｂがオンになったときに浮遊拡散容量３０ａ，３０ｂにそれぞれ接続されるように構成されている。

図１６（ａ）は、読み出し動作及びリセット動作を含めた撮像素子の読み出し回路全体のタイミングチャートを示したものである。図１６（ａ）において、横軸は時間を示し、縦軸は行位置を示している。図１４（ａ）のタイミングチャートでは、第０行から第Ｎ行までのＮ＋１行の画素１２ａ，１２ｂから順次、信号を読み出すことを想定している。

時刻Ｔ０において、第０行目の画素１２ａ，１２ｂからの読み出し動作が開始し、第０行目の画素１２ａ，１２ｂからの読み出し動作が完了後、第１行目の画素１２ａ，１２ｂからの読み出し動作に移行する。同様にして、第２行目から第Ｎ行目までの読み出し動作を行い、第Ｎ行の画素１２ａ，１２ｂからの読み出し動作が時刻Ｔ２から開始する。また、時刻Ｔ１において、第０行目の画素１２ａ，１２ｂのリセット動作が行われる。画素１２ａ，１２ｂのリセット動作についても、読み出し動作と同様に行順次で行われ、第Ｎ行の画素１２ａのリセット動作は時刻Ｔ４において行われる。また、時刻Ｔ３において、次フレームの読み出し動作に移行し、同様の動作が繰り返し行われる。なお、画素１２ａ，１２ｂのリセット動作の完了後から次フレームの読み出し動作の開始までの期間（第０行目では時刻Ｔ１〜時刻Ｔ３）が、画素１２ａ，１２ｂの蓄積期間である。

次に、画素１２ａ，１２ｂからの読み出し動作について、図１６（ｂ）を用いてより具体的に説明する。なお、図１６（ｂ）のタイミングチャートは、一水平期間内における読み出し動作を示しており、第０行目の画素１２ａ，１２ｂからの読み出し動作においては、図１６（ａ）の時刻Ｔ０から時刻Ｔ１の期間における動作に対応する。

まず、時刻ｔ０において、垂直走査回路２０は、信号ＰＲＥＳをＨレベルとし、リセットトランジスタ２６ａ，２６ｂをオンにする。また、信号Ｃｅｘａ，ＣｅｘｂをＨレベルとし、トランジスタ３４ａ，３４ｂをオンにする。これにより、画素１２ａの浮遊拡散容量３０ａ及び容量３６ａの電位がリセットされる。また、画素１２ｂの浮遊拡散容量３０ｂ及び容量３６ｂの電位がリセットされる。

また、同じく時刻ｔ０において、垂直走査回路２０は、信号ＰＳＥＬをＨレベルとし、選択トランジスタ３２ａ，３２ｂをオンにする。これにより、増幅トランジスタ２８ａは、リセットされている浮遊拡散容量３０ａ及び容量３６ａの電位に基づく信号を、選択トランジスタ３２ａを介して垂直信号線１６ａに出力する。同様に、増幅トランジスタ２８ｂは、リセットされている浮遊拡散容量３０ｂ及び容量３６ｂの電位に基づく信号を、選択トランジスタ３２ｂを介して垂直信号線１６ｂに出力する。

また、同じく時刻ｔ０において、信号ＰＬをＨレベルとし、スイッチ４４ａ，４４ｂを導通状態とする。これにより、垂直信号線１６ａが容量Ｃ０ａに接続され、垂直信号線１６ｂが容量Ｃ０ｂに接続される。

また、同じく時刻ｔ０において、信号φＣ１，φＣ，φＣＴＮ，φＣＴＳをＨレベルとし、スイッチ４６ａ，４６ｂ，５０ａ，５０ｂ，５２ａ，５２ｂ，５４ａ，５４ｂを導通状態とする。これにより、容量Ｃ１ａ，Ｃ１ｂ，ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂは、リセット動作となる。容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂの電位は、ＶＲＥＦとなる。

次いで、時刻ｔ１において、信号φＣＴＮ，φＣＴＳをＬレベルとし、スイッチ５２ａ，５２ｂ，５４ａ，５４ｂを非導通状態とする。これにより、容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂのリセットを解除する。

次いで、時刻ｔ２において、垂直走査回路２０は、信号ＰＲＥＳ及び信号ＣｅｘａをＬレベルとし、リセットトランジスタ２６ａ，２６ｂ及びトランジスタ３４ａをオフにする。画素１２ａでは、信号ＣｅｘａがＬレベルであり、浮遊拡散容量３０ａにリセットノイズ（ｋＴＣノイズ）が混入された電位が保持される。また画素１２ｂでは、信号ＣｅｘｂがＨレベルのため、トランジスタ３４ｂのゲート下の容量３６ｂと浮遊拡散容量３０ｂとの合成容量に、リセットノイズ（ｋＴＣノイズ）が混入した電位が保持される。なお、浮遊拡散容量３０ａの電位に基づく画素１２ａの出力信号、並びに、浮遊拡散容量３０ｂと容量３６ｂとの合成容量の電位に基づく画素１２ｂからの出力信号を、Ｎ信号と呼ぶ。

次いで、時刻ｔ３において、信号φＣをＬレベルとし、スイッチ５０ａ，５０ｂを非導通状態とする。これにより、列増幅器４２ａ，４２ｂがＮ信号によってリセットされた状態で、リセットが解除される。これにより、列増幅器４２ａは画素１２ａからの信号を、列増幅器４２ｂは画素１２ｂからの信号を、それぞれＮ信号との差分をＣ０／Ｃ１で決まる利得Ｇ１で増幅して出力する状態となる。また、容量Ｃ０には、Ｎ信号に対応した電位が、Ｖｒｅｆによりクランプされる。

次いで、時刻ｔ４において、信号φＣＴＮをＨレベルとし、スイッチ５２ａ，５２ｂを導通状態とする。これにより、列増幅器４２ａの出力端子が容量ＣＴＮａに接続され、列増幅器４２ｂの出力端子が容量ＣＴＮｂに接続される。

次いで、時刻ｔ５において、信号φＣＴＮをＬレベルとし、スイッチ５２ａ，５２ｂを非導通状態とする。これにより、列増幅器４２ａ，４２ｂによってＮ信号を増幅した信号が、容量素子ＣＴＮａ，ＣＴＮｂにそれぞれサンプルホールドされる。なお、この際に、列増幅器４２ａ，４２ｂのオフセットも同時に保持される。

次いで、時刻ｔ６から時刻ｔ７の期間において、垂直走査回路２０は、信号ＰＴＸａ，ＰＴＸｂをＨレベルとし、転送トランジスタ２４ａ，２４ｂをオンにする。これにより、ＰＤ２２ａに蓄積されている電荷が浮遊拡散容量３０ａに転送され、増幅トランジスタ２８ａは、浮遊拡散容量３０ａの電位に基づく信号を、選択トランジスタ３２ａを介して垂直信号線１６ａに出力する。また、ＰＤ２２ｂに蓄積されている電荷が浮遊拡散容量３０ｂと容量３６ｂとの合成容量に転送され、増幅トランジスタ２８ｂは、合成容量の電位に基づく信号を、選択トランジスタ３２ｂを介して垂直信号線１６ｂに出力する。増幅トランジスタ２８ａ，２８ｂが出力する信号は、ＰＤ２２ａ，２２ｂに蓄積されていた電荷に基づく信号である。増幅トランジスタ２８ａ，２８ｂが、ＰＤ２２ａ，２２ｂに蓄積されていた電荷に基づいて出力する信号を、光信号と呼ぶ。出力された光信号は、第１のＣＤＳ回路にて、浮遊拡散容量３０ａ及び浮遊拡散容量３０ｂと容量３６ｂとの合成容量のリセットノイズに基づくＮ信号が差し引かれる。

次いで、時刻ｔ８から時刻ｔ９の期間において、信号φＣＴＳをＨレベルとし、スイッチ５４ａ，５４ｂを導通状態とする。これにより、列増幅器４２ａが出力する光信号が利得Ｇ１で増幅された信号Ｓ１を、容量ＣＴＳａでサンプルホールドする。また、列増幅器４２ｂが出力する光信号が利得Ｇ１で増幅された信号Ｓ１を、容量ＣＴＳｂにサンプルホールドする。

次いで、時刻ｔ１０において、垂直走査回路２０は、信号ＰＳＥＬをＬレベルにして選択トランジスタ３２ａ，３２ｂをオフにすることで、画素１２ａ，１２ｂを、垂直信号線１６ａ，１６ｂから切り離す。また、信号ＰＬをＬレベルにしてスイッチ４４ａ，４４ｂを非導通状態にすることで、列増幅器４２ａ，４２ｂの入力を切り離す。また、信号φＣ１をＬレベルにしてスイッチ４６ａ，４６ｂを非導通状態とし、列増幅器４２ａ，４２ｂの増幅動作を停止する。また、信号ＣｅｘｂをＬレベルにしてトランジスタ３４ｂをオフにすることで、次のフレームの読み出し動作の準備を行う。

次いで、時刻ｔ１１から時刻ｔ１２の期間において、水平走査回路７０は、列増幅部４０の各列に順次、信号φＨｎを出力する動作、すなわち水平走査を行う。これにより、出力増幅器８２は、容量ＣＴＮａ，ＣＴＮｂ，ＣＴＳａ，ＣＴＳｂに保持した信号に基づく信号を、順次外部に出力する。また、ここで出力増幅器８２の出力信号は、第２のＣＤＳ回路にて、列増幅器４２ａ，４２ｂの利得Ｇ１におけるオフセット成分が差し引かれる。

次に、画素１２ａ，１２ｂのリセット動作について、図１６（ｃ）を用いてより具体的に説明する。なお、図１６（ｃ）に示すタイミングチャートは、一水平期間におけるリセット動作を示しており、第０行目の画素１２ａ，１２ｂのリセット動作においては、図１６（ａ）の時刻Ｔ１のタイミングで実行される。

まず、時刻ｔ２０において、垂直走査回路２０は、信号ＰＲＥＳをＨレベルとし、リセットトランジスタ２６ａ，２６ｂをオンにする。

次いで、時刻ｔ２１から時刻ｔ２２の期間において、垂直走査回路は、信号Ｃｅｘａ，Ｃｅｘｂ，ＰＴＸａ，ＰＴＸｂをＨレベルとし、トランジスタ３４ａ，３４ｂ及び転送トランジスタ２４ａ，２４ｂをオンにする。これにより、ＰＤ２２ａ，２２ｂのカソード、浮遊拡散容量３０ａ，３０ｂ、容量３６ａ，３６ｂが、電圧ＶＤＤにリセットされる。

次いで、時刻ｔ２３において、垂直走査回路２０は、信号ＰＲＥＳをＬレベルとし、リセットトランジスタ２６ａ，２６ｂをオフにする。これにより、リセット状態が解除される。

その他の信号、すなわち、信号ＰＳＥＬ，ＰＬ，φＣ，φＣ１，φＣＴＮ，φＣＴＳ，φＨｎは、時刻ｔ２０から時刻ｔ２３のリセット期間中はＬレベルに維持する。

図１６（ａ）に示した蓄積時間において、画素１２ａのＰＤ２２ａと、画素１２ｂのＰＤ２２ｂとに、同じ電荷が蓄積される。電荷転送時、画素１２ａにおいては、浮遊拡散容量３０ａに応じた電位に変換される。一方、画素１２ｂにおいては、浮遊拡散容量３０ｂと容量３６ｂとの合成容量に応じた電位に変換される。フォトダイオードに蓄積された電荷を電圧変換する際には、静電容量と電圧の積算値で決まる。したがって、電圧値の大きさは静電容量の大きさに反比例することから、画素１２ａの信号値の方が画素１２ｂの信号値よりも大きくなる。

したがって、第１及び第２実施形態で説明したＷ１画素を本実施形態の画素１２ａで構成し、第１及び第２実施形態で説明したＷ２画素を本実施形態の画素１２ｂで構成することにより、第１及び第２実施形態と同様の効果を得ることができる。

このように、本実施形態によれば、ダイナミックレンジを確保したうえで、色画素部の輝度値の補間精度を向上することができ、解像度を高めることができる。

［第５実施形態］
本発明の第５実施形態による撮像システムについて、図１７を用いて説明する。図１７は、本実施形態による撮像システムの概略構成を示すブロック図である。図１乃至図１６に示す第１乃至第４実施形態による撮像装置と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

本実施形態による撮像システム３００は、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラなどに適用可能である。図１７に、撮像システムの例として、デジタルスチルカメラに第１乃至第４実施形態の撮像装置を適用した場合のブロック図を示す。

撮像システム３００は、被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３及びレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像システムは、撮像装置３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。撮像装置３０１には、第１乃至第４実施形態で説明した撮像装置が用いられる。

出力信号処理部３０５は、デジタル信号処理部を有し、撮像装置３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。撮像装置３０１から出力される信号がアナログ信号である場合、出力信号処理部３０５はアナログ／デジタル変換回路をデジタル信号処理部の前段に備えてもよい。

また、撮像システム３００は、画像データを一時的に記憶するためのバッファメモリ部３０６、記録媒体への記録又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の、着脱可能な、又は撮像システムに内蔵された、記録媒体３０９を有する。さらに、撮像システム３００は、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０８、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像システム３００は、出力信号処理部３０５に、各種タイミング信号を出力するタイミング発生部３１１を有する。なお、タイミング信号などの制御信号は、タイミング発生部３１１ではなく外部から入力されてもよい。すなわち、撮像システム３００は、少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する出力信号処理部３０５とを有すればよい。

このようにして、第１乃至第４実施形態による撮像装置を適用した撮像システム３００を構成することにより、ダイナミックレンジの広い高品質の画像を取得しうる高性能の撮像システムを実現することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、上記実施形態では、ＰＤ２２が生成する信号電荷が電子である撮像素子１０１を例にして説明したが、ＰＤ２２が生成する信号電荷が正孔である撮像素子１０１の場合においても同様に適用することができる。また、上記実施例で示した画素１２及び列増幅部４０の回路構成は、典型的なものであり、適宜変更が可能である。

また、上記実施形態では、カラー画素をＲ画素、Ｇ画素及びＢ画素により構成した例を示したが、カラー画素をＣ画素、Ｍ画素及びＹ画素により構成してもよい。また、必ずしも３種類のカラー画素により構成する必要はなく、任意の複数種類の色画素により構成してもよい。

また、上記第１及び第２実施形態では、Ｗ１画素の感度とＷ２画素の構造を変えることによって、これら画素の感度を変えた例を示した。また、第３及び第４実施形態では、Ｗ１画素及びＷ２画素の構造は同じであるが、これらの駆動方法を変えることによってこれら画素の感度を見かけ上変えた例を示した。しかしながら、これらを適宜組み合わせて、Ｗ１画素の感度とＷ２画素の感度とを変えるように構成してもよい。

また、同じ感度のＷ１画素及びＷ２画素の出力信号に差を設けるために、上記第３実施形態では蓄積時間を変え、上記第４実施形態では電荷量を電圧に変換する際の容量の容量値を変えた。しかしながら、出力信号の差を実現する手段は、これらに限定されるものではない。例えば、図１５の容量Ｃ１ａと容量Ｃ１ｂ（若しくは容量Ｃ０ａと容量Ｃ０ｂ）の大きさを変えることにより、増幅器４２ａと増幅器４２ｂの利得の変えるようにしてもよい。

また、上記第４実施形態では、浮遊拡散容量３０ａ，３０ｂに負荷する容量３６ａ，３６ｂを、リセットトランジスタ２６ａ，２６ｂとＦＤ部との間に設けたが、必ずしもリセットトランジスタ２６ａ，２６ｂとＦＤ部との間に設ける必要はない。例えば、ＦＤ部に、スイッチを介して容量を接続するようにしてもよい。

また、上記第１乃至第４では、撮像素子１０１が格子状の画素配列を有する場合を例にして説明したが、撮像素子１０１の画素配列は、必ずしも格子状である必要はない。例えば、図１８（ａ）に示すようなハニカム構造の画素においても、色画素の周囲をＷ１画素及びＷ２画素により囲むことで、同様の効果を得ることができる。また、図１４（ｂ）に示すように、格子状の画素配置を４５度回転させたクリアビット配列においても、色画素の周囲をＷ１画素及びＷ２画素により囲むことで、同様の効果を得ることができる。

また、第１乃至第４実施形態による撮像装置を適用しうる撮像システムは、図１７に示した構成の撮像システムに限定されるものではない。

本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 撮像領域
１２ 画素
１４ 駆動信号線
１６ 垂直信号線
１８ 電流源
２０ 垂直走査回路
２２ フォトダイオード
２４ 転送トランジスタ
２６ リセットトランジスタ
２８ 増幅トランジスタ
３０ 浮遊拡散容量
３２ 選択トランジスタ
４０ 列増幅部
４２ 列増幅器
４４，４６，５０，５２，５４ スイッチ
５６，５８ トランジスタ
６０，６２ 水平出力線
７０ 水平走査回路
８０ 出力部
８２ 出力増幅器
１０１ 撮像素子
１０２ 信号処理部
１０４ 前段処理部
１０５ 高精度補間部
１０６ 画像処理システム部
３０１ 撮像装置

Claims (16)

1. 複数行及び複数列に渡って配された複数の画素を有する撮像装置であって、
   前記複数の画素は、
   色情報を出力する第１の画素と、
   輝度情報を出力する第２の画素と、
   前記第２の画素とは異なる感度を有し、輝度情報を出力する第３の画素と、含み、
   それぞれの前記第１の画素は、前記第２の画素及び前記第３の画素によって周囲を囲まれている
   ことを特徴とする撮像装置。
2. 前記複数の画素のそれぞれは、光電変換部と、前記光電変換部で生成された信号電荷を保持する容量と、前記容量に保持された前記信号電荷に基づく信号を増幅して出力する増幅部とを有し、
   前記第２の画素の前記容量と、前記第３の画素の前記容量とは、互いに異なる容量値を有する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記第２の画素及び第３の画素のそれぞれは、光電変換部と、前記光電変換部の上に設けられたフィルタとを有し、
   前記第２の画素の前記フィルタと、前記第３の画素のフィルタとは、互いに異なる透過率を有する
   ことを特徴とする請求項１記載の撮像装置。
4. 前記第２の画素及び第３の画素のそれぞれは、光電変換部と、前記光電変換部の上に設けられた光入射のための開口部とを有し、
   前記第２の画素の開口率と、前記第３の画素の開口率とが互いに異なっている
   ことを特徴とする請求項１記載の撮像装置。
5. 複数行及び複数列に渡って配された複数の画素と、
   前記複数の画素から信号を読み出す読み出し回路部と、を有し、
   前記複数の画素は、
   色情報を出力する第１の画素と、
   輝度情報を出力する第２の画素及び第３の画素と、を含み、
   それぞれの前記第１の画素は、前記第２の画素及び前記第３の画素によって周囲を囲まれており、
   前記読み出し回路部は、第１の蓄積期間の後、前記第２の画素から信号を読み出し、前記第１の蓄積期間とは異なる第２の蓄積期間の後、前記第３の画素から信号を読み出すように構成されている
   ことを特徴とする撮像装置。
6. 前記複数の画素のそれぞれは、光電変換部と、前記光電変換部で生成された電荷を保持する容量と、前記容量をリセットするリセット手段と、前記容量に保持された前記電荷に基づく信号を増幅して出力する増幅部とを有し、
   前記読み出し回路部は、前記第２の画素の前記容量と、前記第３の画素の前記容量とを、異なるタイミングでリセットするように構成されている
   ことを特徴とする請求項５記載の固体撮像装置。
7. それぞれの前記第１の画素が辺又は頂点で接する総ての画素が、前記第２の画素又は前記第３の画素である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. それぞれの前記第１の画素の周囲に、前記第１の画素と辺で接する４つの前記第２の画素と、前記第１の画素と頂点で接する４つの前記第３の画素とが配置されている
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第２の画素及び前記第３の画素の総数は、前記第１の画素の総数の２倍以上である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記第２の画素間の最小間隔と、前記第３の画素間の最小間隔とが互いに異なっている
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の画素に隣接する前記第２の画素から出力される前記輝度情報及び／又は前記第１の画素に隣接する前記第３の画素の信号から出力される前記輝度情報に基づき、前記第１の画素の位置における輝度情報を生成する信号処理部を更に有する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 互いに異なる色の前記色情報を出力する複数種類の前記第１の画素を含む
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記第２の画素及び前記第３の画素は、前記複数種類の前記第１の画素が出力する前記色情報に対応する色の波長域を包括した輝度情報を出力する
    ことを特徴とする請求項１２記載の撮像装置。
14. 前記複数種類の前記第１の画素は、Ｒ画素、Ｇ画素、Ｂ画素から構成されている
    ことを特徴とする請求項１２又は１３記載の撮像装置。
15. 前記複数種類の前記第１の画素は、Ｃ画素、Ｍ画素、Ｙ画素から構成されている
    ことを特徴とする請求項１２又は１３記載の撮像装置。
16. 請求項１乃至１５のいずれか１項に記載の撮像装置と、
    前記撮像装置が出力する信号を処理する出力信号処理部と
    を有することを特徴とする撮像システム。

Images