以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS撮像素子をデバイス(固体撮像装置)として使用した場合を例に説明する。また、CMOS撮像素子は、全ての画素がNMOSよりなるものであるとして説明する。ただしこれは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をマトリクス状に複数個配列してなる物理量分布検知半導体装置の全てに、後述する全ての実施形態が同様に適用できる。
<<デジタルスチルカメラの全体構成>>
<デジタルスチルカメラの構成>
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は、本発明に係る半導体装置の一実施形態を備えた電子機器の一実施形態であるカメラシステムを示す概略構成図である。この図1で示すカメラシステムは、半導体装置の一実施形態である固体撮像装置2を撮像手段として使用し、固体撮像素子(デバイス)10の後段に周辺回路を接続し、筐体に収容することで、カラー画像を撮像し得るデジタルスチルカメラ1として適用されるようになっている。なお、デジタルスチルカメラ1は、固体撮像装置2を撮像手段として利用した電子機器の一例である。
図示するように、デジタルスチルカメラ1は、CMOS型の撮像部を主要部とする固体撮像素子10、撮像レンズ50、および固体撮像素子10を駆動する駆動制御部96を有する撮像モジュール3と、撮像モジュール3により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット4とを備えてなるデジタルスチルカメラ1として構成されている。
また、このデジタルスチルカメラ1の処理系統は、大別して、光学系5、信号処理系6、記録系7、表示系8、および制御系9から構成されている。なお、撮像モジュール3および本体ユニット4が、図示しない外装ケースに収容されて、実際の製品(完成品)が仕上がるのは言うまでもない。
撮像モジュール3内の駆動制御部96には、固体撮像素子10を駆動するための各種のパルス信号を生成するタイミング信号生成部40と、このタイミング信号生成部40からのパルス信号を受けて、固体撮像素子10を駆動するためのドライブパルスに変換する走査部42と、固体撮像素子10から出力信号を取り出すための制御信号を生成する制御信号生成部46とが設けられている。なお、タイミング信号生成部40と制御信号生成部46とを纏めてタイミング制御部ともいう。
光学系5は、シャッタ52、被写体の光画像を集光するレンズ54、および光画像の光量を調整する絞り56を有する撮像レンズ50と、集光された光画像を光電変換して電気信号に変換する固体撮像素子10とから構成されている。被写体Zからの光Lは、シャッタ52およびレンズ54を透過し、絞り56により調整されて、適度な明るさで固体撮像素子10に入射する。このとき、レンズ54は、被写体Zからの光Lからなる映像が、固体撮像素子10上で結像されるように焦点位置を調整する。
信号処理系6は、固体撮像素子10の撮像部からのアナログ撮像信号を増幅する増幅アンプや、増幅された撮像信号をサンプリングすることによってノイズを低減させるCDS(Correlated Double Sampling:相関2重サンプリング)機能などを有するプリアンプ部61(後述するカラム領域部に相当)、プリアンプ部61が出力するアナログ信号をデジタル信号に変換するA/D(Analog/Digital)変換部64、A/D変換部64から入力されるデジタル信号に所定の画像処理を施すDSP(Digital Signal Processor)で構成された画像処理部66から構成される。
記録系7は、画像信号を記憶するフラッシュメモリなどのメモリ(記録媒体)72と、画像処理部66が処理した画像信号を符号化してメモリ72に記録し、また、読み出して復号し画像処理部66に供給するCODEC(Compression/Decompression )74とから構成されている。
表示系8は、画像処理部66が処理した画像信号をアナログ化するD/A(Digital/Analog)変換回路82、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する液晶(LCD;Liquid Crystal Display)などよりなるビデオモニタ84、およびアナログ化された画像信号を後段のビデオモニタ84に適合する形式のビデオ信号にエンコードするビデオエンコーダ86から構成されている。
制御系9は、先ず、図示しないドライブ(駆動装置)を制御して磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてデジタルスチルカメラ1の全体を制御するCPU(Central Processing Unit )などよりなる中央制御部92を備える。
また制御系9は、画像処理部66に送られた画像の明るさが適度な明るさを保つようにシャッタ52や絞り56を制御する露出コントローラ94、固体撮像素子10から画像処理部66までの各機能部の動作タイミングを制御するタイミング信号生成部(タイミングジェネレータ;TG)40を具備した駆動制御部96、ユーザがシャッタタイミングやその他のコマンドを入力する操作部98を有する。 中央制御部92は、デジタルスチルカメラ1のバス99に接続された画像処理部66、CODEC74、メモリ72、露出コントローラ94、およびタイミング信号生成部40を制御している。
このデジタルスチルカメラ1では、画像処理部66を中心として、フリッカ補正、γ補正、シェーディング補正、カラーバランスなどの処理をデジタル領域で行なう。また、デジタルスチルカメラ1では、オートフォーカス(AF)、オートホワイトバランス(AWB)、自動露光(AE)などの自動制御装置を備えている。これらの制御は、固体撮像装置2から得られる出力信号を使用して処理する。たとえば、露出コントローラ94は、画像処理部66に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部92により設定され、その制御値に従って絞り56を制御する。
タイミング信号生成部40は、中央制御部92により制御され、固体撮像素子10、プリアンプ部61、A/D変換部64、および画像処理部66の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部98は、ユーザが、デジタルスチルカメラ1を動作させるとき操作される。
撮像モジュール3内の固体撮像素子10と、プリアンプ部61と、A/D変換部64と、駆動制御部96とにより固体撮像装置2が構成される。固体撮像装置2は、固体撮像素子10、プリアンプ部61、A/D変換部64、および駆動制御部96が、1枚の回路基板上に配されたもの、あるいは1つの半導体基板上に形成されたものとして提供されるものであるのがよい。なお、ここで示した構成は一例であって、たとえば、プリアンプ部61やA/D変換部64あるいは駆動制御部96(それぞれ全体でもよいし、その一部でもよい)を、固体撮像素子10を備える半導体チップとは別の回路基板(半導体チップを含む)にて構成するなど、様々な変形が可能である。
たとえば、図示した例は、信号処理系6のプリアンプ部61およびA/D変換部64を撮像モジュール3に内蔵しているが、このような構成に限らず、プリアンプ部61やA/D変換部64を本体ユニット4内に設ける構成を採ることもできる。またD/A変換部を画像処理部66内に設ける構成を採ることもできる。
また、タイミング信号生成部40を撮像モジュール3に内蔵しているが、このような構成に限らず、タイミング信号生成部40を本体ユニット4内に設ける構成を採ることもできる。またタイミング信号生成部40と走査部42と制御信号生成部46とが別体のものとしているが、このような構成に限らず、これらを一体化させたものとしてもよい。こうすることで、よりコンパクトな(小型の)デジタルスチルカメラ1を構成できる。
また、タイミング信号生成部40や走査部42や制御信号生成部46は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、1つの半導体基板上に回路形成されたIC(Integrated Circuit)として提供されるものであるのがよい。さらに好ましくは、固体撮像素子10とともに1つの半導体基板上に回路形成されたものとするのがよい。CMOS型の撮像素子の場合には、このような構成を採ることが非常に容易である。こうすることで、固体撮像装置2をコンパクトにできるだけなく、部材の取扱いが容易になるし、これらを低コストで実現できる。また、デジタルスチルカメラ1の製造が容易になる。
また、使用する固体撮像素子10との関わりの強い部分である、タイミング信号生成部40や走査部42や制御信号生成部46を固体撮像素子10と共通の基板に搭載することで一体化させる、あるいは撮像モジュール3内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。また、これらがモジュールとして一体となっているので、デジタルスチルカメラ1(の完成品)の製造も容易になる。なお、撮像モジュール3は、駆動制御部96を含まずに、固体撮像素子10および光学系5から構成されていてもよい。
また、このような構成に限らず、タイミング信号生成部40を、撮像部110とは別の装置として構成して、撮像部110や走査部42などの周辺回路を含む撮像装置(いわゆる撮像デバイス)と、外部のタイミング信号生成部40とで、固体撮像装置2を構成するようにしてもよい。すなわち、タイミング信号生成部40は、撮像部110や水平走査部42Hなど、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部110や水平走査部42Hなどからなる撮像デバイスとタイミング信号生成部40とにより、固体撮像装置2が構築される。この固体撮像装置2は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
<<固体撮像素子と周辺部>>
<第1および第2実施形態>
図2および図3は、CMOS型の固体撮像素子10を主要部とする固体撮像装置2と周辺部の第1実施形態と第2実施形態を示した概略図である。なお、この図2および図3に示す例では、撮像部110とプリアンプ部61を主要部として固体撮像素子10が構成され、A/D変換部64などはその外部に設けられているものとして示している。
なお、CMOS型の撮像部110やプリアンプ部61が共通の半導体基板上に形成されることで固体撮像素子10が構成される。また、A/D変換部64や信号拡張部310も、固体撮像素子10のカラム以外の領域の同一チップ上に形成されているものとしてもよい。この場合、固体撮像装置2と固体撮像素子10とは事実上同一のものとなる。
固体撮像装置2は、入射光量に応じた信号を出力する受光素子を含む画素が行および列の2次元マトリクス状に配列された撮像部(光電変換領域部)を有し、撮像部の出力側に設けたカラム領域と呼ばれる部分に画素列(垂直列)ごとにコンデンサを設け、各画素から読み出した信号を順次コンデンサに格納し、これを順次出力アンプに読み出すカラム方式を採用したものである。
このようカラム方式の構成の場合、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。以下、具体的に説明する。
図2(A)および図3に示すように、固体撮像装置2は、図2(B)に示す単位画素(P)103が、m行およびn列に、すなわち2次元状に配列された撮像部(画素部)110と、撮像部110の近傍に設けられた駆動制御部96と、カラム回路63を含むプリアンプ部61と、出力アンプ129とを備えている。出力アンプ129は、撮像部110の略全画素分(実質的に有効な全て)について、画素信号を1系統にして撮像信号S0として外部に出力する出力部の機能を備えている。
単位画素103は、図2(B)に示すように、埋込型フォトダイオード(Buried Photo Diode) などからなる電荷生成部132で生成された信号電荷を蓄積する構成要素として、寄生容量を持った拡散層であるフローティングディフュージョン(FD;Floating Diffusion)138を電荷蓄積部として利用する構成を採りつつ、単位画素103に4つのトランジスタ(TRansistor)を有する4トランジスタ型画素構成(以下4TR構成という)のものである。単位画素103の構造として、埋込フォトダイオードを用いることで、暗電流(暗電圧)を低減できる。
4つのトランジスタTRとしては、読出選択用トランジスタ134、リセットトランジスタ136、垂直選択用トランジスタ140、および増幅用トランジスタ142を有しており、これにより、単位画素103は、フローティングディフュージョン138を備えてなる画素信号生成部105が構成されている。なお、この単位画素103の詳細については後で説明する(図14の説明を参照)。
なお、図2(A)では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の単位画素103(−1−1,…,−1−n,−2−1,…,−m−n)が配置される。
駆動制御部96としては、たとえば、水平走査部42Hと垂直走査部42Vと制御信号生成部46とを備える。水平走査部42Hは、図示しないが、水平方向の読出列を規定する(プリアンプ部61内の個々のカラム回路63を選択する)水平デコーダと、水平デコーダにて規定された読出アドレスに従って、各カラム回路63の各信号を水平信号線118に導く水平駆動回路(列選択シフトレジスタ)とを有している。
垂直走査部42Vは、図示しないが、垂直方向の読出行を規定する(撮像部110の行を選択する)垂直デコーダと、垂直デコーダにて規定された読出アドレス上(行方向)の単位画素103に対する制御線にパルスを供給して駆動する垂直駆動回路(行選択シフトレジスタ)とを有している。垂直駆動回路内には、転送駆動バッファ150、リセット駆動バッファ152、選択駆動バッファ154(何れも後述する図14を参照)などが含まれる。
また、駆動制御部96の他の構成要素として、たとえば、水平走査部42H、垂直走査部42V、および各カラム回路63に、所定タイミングのパルス信号を供給するなど、内部に所定タイミングの種々のパルス信号を生成するタイミング信号生成部40(図示せず;図1参照)が設けられている。このタイミング信号生成部40は、たとえば、水平アドレス信号を水平デコーダへ、また垂直アドレス信号を垂直デコーダへ出力し、各デコーダは、それを受けて対応する行もしくは列を選択する。
これらの駆動制御部96の各要素は、撮像部110ととともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体装置の一例である固体撮像素子(撮像デバイス)として構成されるのがよい。撮像部110の各単位画素103は、デバイス全体の基準電圧を規定するマスタ基準電圧としての接地(GND)に接続されている。
各カラム回路63と水平走査部42Hとの間の信号経路上には、各垂直信号線158(−1,−2,…,−n)に対してドレイン端子が接続された負荷MOSトランジスタ171(−1,−2,…,−n)を含む負荷トランジスタ部172が配され、各負荷MOSトランジスタ171を駆動制御する負荷制御部(負荷MOSコントローラ)174が設けられている。各負荷MOSトランジスタ171は、負荷制御部174によって駆動制御されるようになっており、各負荷MOSトランジスタ171のゲート端子には負荷制御部174からバイアス電圧が供給される。
たとえば、単位画素103は、垂直列選択のための、垂直制御線115(−1,−2,…,−m)を介して垂直走査部42Vと、垂直信号線158を介して最終的には各カラム回路63とそれぞれ接続されるようになっている。
なお、垂直制御線115は垂直走査部42Vから画素に入る配線全般を示す。たとえば図2(B)に示す単位画素103における、転送ゲート配線(TX)151およびリセット配線(R)153や、垂直選択線(SV)155が垂直走査部42Vから入る場合には垂直選択線155も含む。水平走査部42Hや垂直走査部42Vは、たとえばデコーダを含んで構成され、タイミング信号生成部40から与えられる駆動パルスに応答してシフト動作(走査)を開始するようになっている。このため、垂直制御線115には、単位画素103を駆動するための種々のパルス信号(たとえば、リセットパルスR、転送制御パルスTX、DRN制御パルスSVなど)が含まれる。
ここで、増幅用トランジスタ142は垂直選択用トランジスタ140を介して各垂直信号線158に接続されており、また垂直信号線158は垂直列ごとに負荷MOSトランジスタ171のドレインに接続され、また各負荷MOSトランジスタ171のゲート端子には、負荷制御部174からの負荷制御信号CTldが共通に入力されており、信号読出し時には、垂直選択用トランジスタ140を介して増幅用トランジスタ142に接続された負荷MOSトランジスタ171によって、予め決められた定電流を流し続けるようになっている。
撮像部110にて得られる画素信号は、垂直信号線158を介して、プリアンプ部61の各カラム回路63(63−1,2,…,n)に渡される。カラム回路63により処理された電圧信号は、水平走査部42Hからの水平選択信号により駆動される水平選択トランジスタ(図示せず)を介して水平信号線118に伝達され、さらに出力アンプ129に入力され、この後、撮像信号S0として外部回路300に供給される。
つまり、カラム型の固体撮像装置2においては、単位画素103からの出力信号(電圧信号)が、垂直信号線158→カラム回路63→水平信号線118→出力アンプ129の順で出力される。その駆動は、1行分の画素出力信号は垂直信号線158を介してパラレルに各カラム回路63に送り、CDS処理後の信号は水平信号線118を介してシリアルに出力するようにする。垂直制御線115は、各行の選択を制御するものである。
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素103に対して行方向および列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
プリアンプ部61内には、垂直信号線158(垂直列)ごとに設けられたカラム処理部62が設けられ、各カラム処理部62は、画素信号検出部210、画素信号増幅部230、スイッチ250、およびカラム回路63を有している。カラム回路63は、垂直信号線158によって読み出された各単位画素103の画素信号を順次蓄積するとともに所定のタイミングで読み出す画素信号取得部の一例であって、たとえばサンプル&ホールド(SH)回路を基本構成要素として有する。このカラム回路63は、制御線43を介して水平走査部42Hから入力される制御信号に基づいて、その動作が制御される。
なお、カラム回路63は、詳しくは後述するが、カラム回路63の前段に配される画素信号増幅部230の構成との組合せによっては、画素信号増幅部230から出力された撮像信号に含まれるノイズを低減させる機能を有するものとするのがよい。たとえば、公知のCDS(Correlated Double Sampling:相関2重サンプリング)構成を採用すればよい。つまり、カラム回路63は、ノイズ抑制部の機能をも備えているものであるのがよい。
また、カラム回路63は、詳しくは後述するが、画素信号増幅部230の構成との組合せによっては、この画素信号増幅部230から出力された撮像信号の直流(DC;Direct Current)成分の変動を抑制する機能を有しているものとするのがよい。つまり、カラム回路63は、本発明に係る出力直流レベル抑制処理部の機能をも備えているものであるのがよい。
プリアンプ部61は、カラム回路63の他に、それぞれ本実施形態の特徴部分である、入力信号の信号レベルを検出する画素信号検出部(C)210(−1,−2,…,−n)と、プログラマブルゲインコントロール(PGA;Programable Gain Amplifier)構成にすることのできる画素信号増幅部230(−1,−2,…,−n)と、スイッチ250(−1,−2,…,−n)とを含む画素信号制御部200を有している。なお、画素信号制御部200は、本発明に係るゲイン決定制御処理部の一例であって、本実施形態においては、画素信号検出部210や画素信号増幅部230の他に、制御信号生成部46を含んで構成され、全体としてPGA回路として動作するようになっている。
ここで、第1および第2実施形態は、カラム領域部(プリアンプ部61)のカラム(垂直列、画素列)ごとに、画素信号Vsig の大きさを独立に(単位画素103ごとに)検出し、さらに、この検知結果に基づいて画素列ごとに独立にゲインを設定する機能を持ち、加えて、ゲイン設定後の画素信号Vout をアナログ信号としてカラム領域部(プリアンプ部61)外に出力する点に特徴を有している。
プリアンプ部61の後段にて、各単位画素103の信号レベルを検知する構成とすることも考えられるが、この場合、アンプの周波数帯域を大きくさせる必要があり、検出回路からのノイズが大きくなる。これに対して、画素列ごとに検出回路を設けることで、アンプ最終段を“1/画素列”の周波数帯域に削減でき、ノイズを削減できる。
画素信号検出部210は、制御線211を介して制御信号生成部46から入力される種々の制御信号に基づいて、その動作が制御される。また画素信号増幅部230は、制御線231を介して制御信号生成部46から入力される種々の制御信号に基づいて、その動作が制御される。スイッチ250は、制御線251を介して制御信号生成部46から入力される制御信号φsに基づいて、その切替動作が制御される。
画素信号検出部210は、撮像部110からの画素信号Vsig を1ラインごとに読み出して電圧判定をし、判定結果を示すMビットで現された分類信号Vsepaを、カラム領域部(プリアンプ部61)内の画素信号増幅部230や、カラム領域部(プリアンプ部61)外の制御信号生成部46に通知することで、自己整合的なゲイン制御を実現可能にする。
また、画素信号検出部210は、分類信号Vsepaを、固体撮像素子10のチップ外にも出力することで、チップ外にて画素信号Vsig の大きさや画素信号増幅部230に設定されるゲインの数値を知ることができるようにし、これによって、チップ外からも画素ごとに検知された分類信号Vsepaを参照したゲイン設定や、ゲイン値に応じた所要の信号処理を行なえるようにする。
カラム領域部(プリアンプ部61)内の画素信号検出部210の検知結果に基づいて画素信号増幅部230に対して所定のゲイン値を設定することで画素信号増幅部230のゲイン制御を行なうのか、それともカラム領域部(プリアンプ部61)外に設けられた制御信号生成部46にてゲイン制御を行なうかは、図示しない中央制御部92(図1参照)によって選択可能に構成されている。
なお、制御信号生成部46にてゲイン制御を行なう場合、制御信号生成部46は、カラム領域部(プリアンプ部61)内の画素信号検出部210の検知結果に基づいて画素信号増幅部230に対して所定のゲイン値を設定する構成としてもよいし、後述する図22に示す構成と同様に、画素信号検出部210の検知結果を参照せずに、たとえばユーザが画像を確認しながら好みのゲイン値を設定する構成としてもよい。
何れにしても、カラム領域部(プリアンプ部61)内の画素信号検出部210の検知結果を参照した構成の場合、カラム領域部に配置している画素信号増幅部230のゲイン設定に画素信号検出部210の検知結果を自己整合的に反映させることで、ゲイン設定を自動化することができる。
なお、画素信号検出部210の検知結果を参照しない場合には、自己整合的にゲイン調整を行なうのではなく、制御信号生成部46による外部制御によって画素信号増幅部230に対するゲイン制御を行なうので、言うまでもなく、画素信号検出部210を設ける必要はない。画素信号検出部210の検知結果を参照しない構成とすれば、カラム領域部をコンパクトにできるし、外部設定で設計の自由度が増す利点を有する。また、制御信号生成部46を必要としない場合には、言うまでもなく、制御信号生成部46を設ける必要はない。
画素信号増幅部230は、その入力側が、スイッチ250を介して垂直信号線158と接続され、その出力側が、カラム回路63と接続されている。画素信号増幅部230は、ゲイン調整によっても、その出力信号Vout の直流レベルが変動しないような構成とすることが望ましい。
画素信号検出部210は、画素信号増幅部230の出力側の信号レベルを検出する図2(A)に示す第1実施形態の構成と、画素信号増幅部230の入力側の信号レベルを検出する図3に示す第2実施形態の構成の、何れをも採り得る。また、画素信号増幅部230の出力側の信号レベルを検出する場合、画素信号増幅部230とカラム回路63(あるいは後述するカラムADC回路280)の間の信号レベルを検知する構成としてもよいし、カラム回路63(あるいは後述するカラムADC回路280)の出力信号レベルを検知する構成としてもよい。これらの点については、後で詳しく説明する。
各垂直列における、画素信号検出部210、画素信号増幅部230、スイッチ250、およびカラム回路63を含んでカラム領域が形成され、各垂直列のカラム領域を纏めてカラム領域部という。カラム領域部は、実質的にプリアンプ部61となる。
このような構成において、画素信号制御部200は、垂直信号線158によって読み出された画素信号のレベルを検出して、各単位画素103の画素信号のゲインを制御して出力するようになる。この画素信号制御部200のような、適応したゲイン調整を行ない出力させる回路を適応ゲインカラム調整回路と呼ぶ。画素信号制御部200の詳細については、後で詳しく説明する。
このような構成の適応ゲインカラム調整回路において、画素信号検出部210は、たとえば、出力線212a(図2(A)では図示を省略)を介して画素信号増幅部230のゲイン設定を制御する。また、画素信号検出部210は、分類信号Vsepaを、出力線212b(図2(A)では図示を省略)を介して制御信号生成部46に通知する。制御信号生成部46は、この通知結果を受けて、画素信号増幅部230のゲイン設定を制御する。
分類信号Vsepaを出力線212aを介して直接に画素信号増幅部230に供給する場合に比べて、制御信号生成部46にて判断処理を加えることで、検出結果に応じつつカラム領域部の外部で画素信号増幅部230に対してのゲイン設定を制御できるようになり、カラム領域部内部のみに比べ、ゲイン設定の自由度が増す。
たとえば、分類信号Vsepaと動作タイミングによっては、出力線212aを介した直接制御の場合、1(2^0),2(2^1),4(2^2),8(2^4)(“^”は2のべき乗を示す)というように、2のべき乗での制御に限定される場合がある。これに対して、制御線212bを介して一旦制御信号生成部46に通知すれば、1〜8倍(もしくはそれ以上)の範囲で段階的に(1ずつ)ゲイン設定することもできる。
たとえば、外部回路300にて1画面全体の平均的な信号量を検知し、中央制御部92を介して、この検知結果(平均信号量)を制御信号生成部46に通知する。制御信号生成部46は、画素信号検出部210から取得した分類信号Vsepaに基づき、画素信号増幅部230に設定するゲイン値を2のべき乗の大きさで決め、この後、中央制御部92から通知された平均信号量で補正した上で(1〜8倍の範囲の何れかの段階で)画素信号増幅部230にゲインを設定する。
また画素信号検出部210は、分類信号Vsepaを、出力線212cを介して、固体撮像素子10のチップ外にも出力する。このとき、出力アンプ129から出力される画素信号増幅部230による増幅後の撮像信号の画素信号と同一の単位画素103についての分類信号Vsepaとを対応付けて出力するようにする。
ここで、「対応付けて出力する」とは、後段の信号処理回路(具体的には信号拡張部310)の入力部において、画素信号と当該画素信号と対応する分類信号Vsepaの両方が、ほぼ同一のタイミングで入力されるように、画素位置の同期を取って出力することを意味する。たとえば、画素信号増幅部230による増幅信号と同一のタイミングでチップ外に出力することに限らず、アナログの撮像信号をA/D変換部64でデジタル化してから信号拡張部310に渡す場合には、このデジタル変換における遅延を考慮するとよい。
分類信号Vsepaと画素信号とが同一タイミングで信号拡張部310に入力されることにより、信号拡張部310における信号処理において、正確な制御を伴った処理が可能となるし、その分、信号処理も簡単になる。
チップ外にて画素信号Vsig の大きさや画素信号増幅部230に設定されるゲインの数値を知るようにする場合、たとえば、画素信号検出部210の検出結果を示すMビットの分類信号Vsepaに基づいて濃度情報もしくは色情報で1画面分をモニタ上に表示することで外部で各画素の信号量やゲイン値の概要を知ることができるようにする。そして、1画面分全体に対するユーザからのゲイン設定の指示を中央制御部92が受け付け、その結果を制御信号生成部46に通知するようにすればよい。
チップ内のみのゲイン制御に比べて、ユーザによる外部設定も可能とすることで、ゲイン設定の自由度が増大する。また、チップ外でも分類信号Vsepaを参照できるので、外部から信号量の大きさに関係なくゲインを制御して画像の明るさを制御する場合に比べて、ユーザによるマニュアル設定でありながら精度のよい制御が可能となる。なお、この場合、制御信号生成部46をもチップ外に配して(たとえば中央制御部92と一体化させる)もよい。こうすることで、チップ面積を少なくすることができる。
固体撮像装置2(固体撮像素子10)の後段には、Nビット(12ビットや14ビットなど)のA/D変換部64と、本実施形態の特徴部分である信号拡張部310とを備えた外部回路300が設けられている。詳しくは後述するが、信号拡張部310は、ノイズキャンセル機能とゲインミスマッチ補正機能とを有している。
信号拡張部310は、画素信号検出部210から入力される分類信号Vsepaと、A/D変換部64でデジタル化されたNビットの撮像信号Vout2とに基づいて、Nビットの撮像信号のデジタルダイナミックレンジを拡大する。このとき、デジタルノイズキャンセル処理とゲインミスマッチ補正処理(本願発明に係るゲイン補正処理の一例)を行なう。
ゲインミスマッチ補正処理は、画素信号増幅部230に画素ごとに異なるゲイン値が設定されることで1面で見たときにゲインの設定ムラが生じるが、このゲインの設定ムラ分を逆に補正することで、1面で見たときに元の状態に戻し、結果として、1面分の信号のダイナミックレンジを拡大することを意味する。
たとえば画素信号増幅部230に設定されるゲイン調整幅がMビット分であれば、N+Mビットのデータにする。このとき、分類信号VsepaのビットMがゲイン調整幅と対応している場合には、入力信号V(i)と分類信号Vsepaとを用いて、Nビットのデータのビット幅を補正することで、たとえば、ビット分解能をNビットからM+Nビット、さらにはM+Nビット以上に拡張する。分類信号Vsepaがたとえば1ビットのデータであっても、その分類信号Vsepaが示すゲイン値が1倍と8倍、つまり、画素信号増幅部230に設定されるゲイン調整が1倍と8倍(3ビット分の調整幅)であれば、入力されたNビットのデータを3ビット分拡張する。この際の分類信号Vsepaとゲイン補正値との対応付けをゲイン補正値生成部316が行なう。
なお、信号拡張部310は、DSPで構成された画像処理部66(図1参照)の一部をなすものである。また、本実施形態では、外部回路300のA/D変換部64や信号拡張部310を、固体撮像装置2(固体撮像素子10)とは別体の回路として設けているが、この外部回路300を、撮像部110ととともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体装置の一例である固体撮像素子(撮像デバイス)として構成してもよい。
<動作原理の説明>
次に、このような構成の固体撮像装置2の動作原理を説明する。先ず、垂直信号線158(−1,−2,…,−n)からは、主に信号電圧Vsig が出力され、画素信号増幅部230に入力されて、所定の増幅率で増幅されて、出力信号Vout として出力される。画素信号検出部210は、画素信号増幅部230の出力側で、出力信号Vout を所定の参照電圧と比較する。もしくは、画素信号増幅部230の入力側で、信号電圧Vsig を所定の参照電圧と比較して分類信号Vsepaを出力する。
<動作タイミング例と検出回路の構成例;その1;第2実施形態の構成に対応>
図4は、図3に示した第2実施形態の構成に対応する固体撮像装置2の1水平期間の動作タイミングを示すタイミングチャートである。また、図5は、図3に示した第2実施形態の構成に対応する画素信号検出部210の構成例を示した図である。
図5に示すように、第2実施形態の画素信号検出部210は、撮像部110の垂直信号線158から出力される画素信号Vsig の大きさを検出し、所定の閾値と比較する画素信号レベル検出部213と、画素信号レベル検出部213の検知結果に基づいて画素信号Vsig の大きさを分類する分類信号Vsepaを生成する分類信号生成部224とを備える。
画素信号レベル検出部213は、スイッチ214,215,216,217,218、コンデンサ219、および比較器220,222を有して構成されている。また、分類信号生成部224は、3つのフリップフロップ回路(FF)226,227,228を有して構成されている。
画素信号レベル検出部213において、比較器220,222の一方の入力ノード220a,222aには、当該画素信号検出部210内の図示しない電圧発生器から、所定の大きさの基準電圧VRが印加される。スイッチ215〜217の一方の端子には、所定の大きさの比較電圧Vrc1 ,Vrc2 ,Vrc3 が入力されるようになっており、それぞれの他方の端子は共通にスイッチ214の出力側およびコンデンサ219と接続されている。
スイッチ218は、比較器220をリセットするように、入力ノード220bと出力との間に設けられている。スイッチ214の入力側には垂直信号線158から画素信号Vinが入力される、画素信号Vinは、このスイッチ214を介してコンデンサ219に渡され、比較器220によって所定の電圧と比較される。比較器220の出力は比較器220の入力ノード222bに入力される。比較器222の出力は、フリップフロップ回路226,227,228のデータ入力端子(D)に共通に入力される。
各スイッチ214〜218には、制御線211を介して制御信号生成部46から、制御信号としての同期クロックφrc1 〜φrc3 やφ4,φ4’が入力される。
また、分類信号生成部224において、フリップフロップ回路226〜228のクロック端子には、制御線211を介して制御信号生成部46から、同期クロックφrc1 〜φrc3 の反転信号である同期クロック/φrc1 〜/φrc3 (図では上バーで示す)が入力され、またラッチ端子(R)には出力パルスRcが入力される。
以下、図4に示したタイミングチャートを参照して、画素信号検出部210の動作を説明する。先ず、画素信号増幅部230を制御する制御信号であるクロックφ1の“H”期間(t10〜t23)に画素信号増幅部230をリセットする。また、φ1=“H”の間に、単位画素103のフローティングディフュージョン138を備えてなる画素信号生成部105のリセットトランジスタ136にリセット配線153からリセットパルスR(i)を入力してリセットする(t10〜t11)。この後、単位画素103からのリセットレベルをサンプルする(t11〜t12)。
その後、転送ゲート配線151から転送制御信号(読出パルス)TX(i)=“H”にして、フォトダイオードなどからなる電荷生成部132の信号をフローティングディフュージョン138へ読み出す(t12〜t13)。このとき、スイッチ250への制御信号φ2は“L”となっているので、画素信号増幅部230はリセットされたままである。
次に、φ1=“H”、φ2=“L”の間に、スイッチ214に対する制御信号φ4を“H”にして画素信号検出部210を動作させ(t14〜t15)、さらに制御信号φrc1 〜φrc3 を順次選択して(t16〜t21)、信号の大きさに見合ったゲインを決定する(t22)。
たとえば、垂直信号線158からスイッチ214を介して入力される画素信号Vsig は、比較器220の入力ノード220bのコンデンサ219に蓄積される(t14〜t15)。一旦蓄積された信号Vsig は、同期クロックφrc1 〜φrc3 に基づくスイッチ215,216,217の動作によって、比較器220,222にて比較電圧Vrc1 ,Vrc2 ,Vrc3 で比較される。そして、各々3回の比較結果Vcompが同期クロック/φrc1 〜/φrc3 に基づいて、フリップフロップ回路226,227,228に書き込まれる。そして、同期クロックφrc3 の比較が修了した時点で、1,2,4,8といった2のべき乗の大きさの何れかから、画素信号増幅部230のゲインが決定する。
本例では、参照電圧を2のべき乗のゲイン設定に対応付けて比較処理と分類処理とを行なっているので、分類信号Vsepaは、2のべき乗の大きさでゲイン設定を行なう画素信号増幅部230に対するゲイン設定値と1対1に対応するようになっている。よって、ビット制御信号G1,G2,G4(あるいは/G1,/G2,/G4も)をゲイン切替えの制御信号にそのまま使うことができ、分類信号Vsepaのビット数Mは、ゲイン調整幅(ビット数)と等しくなる。なお、参照電圧を1つにする、あるいは2のべき乗以外にするなどすると、この対付けができなくなる。
たとえば、参照電圧を8倍のみに対応付けて比較処理と分類処理とを行なうと、分類信号Vsepaとしては1ビットのデータとなるが、そのゲイン調整幅は、8倍であるから3ビット分になり、両者は対応しなくなる。ただしこの場合でも、1倍と8倍の大きさでゲイン設定を行なう画素信号増幅部230と組み合わせると、1ビットの分類信号Vsepaをゲイン設定にそのまま使うことができる。しかしながら、この場合、信号拡張部310におけるゲイン補正時には、分類信号Vsepaの1ビット分だけ補正したのではだめで、この分類信号Vsepaが意味するゲイン分、つまり3ビット分を補正する必要がある(詳細は、後述する図21の説明を参照)。
これによって、垂直信号線158の信号Vsig (正しくは、リセットレベルVrst と画素信号Vsig との差ΔV)の大きさがどの範囲に入るかが分かり、信号Vsig の大きさを分類できる。分類結果である分類信号Vsepaは、出力パルスRcに基づいてフリップフロップ回路226,227,228の正転出力端子Qからビット信号(以下ビット制御信号ともいう)G1,G2,G4として、またその反転出力端子/Q(図では上バーで示す)からビット制御信号/G1,/G2,/G4(図では上バーで示す)として、正極性側および負極性側の何れも3ビット分で出力される。
これらの3ビットのデータで示される分類信号Vsepaは、画素信号増幅部230に供給され、画素信号増幅部230に対するゲイン設定信号として使われる。つまり、フリップフロップ回路226,227,228を有する分類信号生成部224は、生成した分類信号Vsepaに従って画素信号増幅部230のゲイン設定を制御する、本発明に係るゲイン設定制御部の機能をも持つ。
カラムごとに設けた画素信号レベル検出部213および分類信号生成部224の分類結果である分類信号Vsepaを、カラムごとに設けた画素信号増幅部230のゲイン設定にフィードバックすることで、画素信号増幅部230に対するゲイン設定を自動的に行なう。つまり、分類信号生成部224から画素信号増幅部230に分類信号Vsepaを通知して画素信号増幅部230のゲイン設定を行なう構成では、ゲイン設定制御部が、カラム(画素列)ごとに設けられた構成となる。
また、3ビットデータで示される分類信号Vsepaは、制御信号生成部46に供給され、あるいは画素信号増幅部230による増幅後の出力信号とともに、固体撮像素子10のチップ外部に読み出される。制御信号生成部46やチップ外部からも、分類信号Vsepaを参照して、画素信号増幅部230のゲイン設定が可能となる。また、画素ごとにゲイン設定した分を信号拡張部310にてデジタル信号処理で補正することで、1画面内のゲイン設定のばら付きを補正しつつ、デジタルダイナミックレンジを拡張する。
なお、ここでは、分類信号生成部224からの分類信号Vsepaをカラム領域外に出力するようにしているが、画素信号レベル検出部213からの検知結果Vcompそのものを出力し、これをゲイン設定処理や鯨飲補正処理に使うようにしてもよい。
さらに、画素信号増幅部230に対してのゲインを決定する動作が修了した後で、φ1=“L”、φ2=“H”にし、垂直信号線158の画素信号Vsig を画素信号増幅部230で増幅する。この増幅された信号Vout がカラム領域部(プリアンプ部61)の外部に読み出される。このようにすることによって、小信号の画素信号Vsig をアナログ領域で大きく増幅し、高レベルの信号を得ることが可能になる。
なお、ここで増幅された信号Vout を、固体撮像素子10の外部に直接に読み出してもよいし、図2(A)や図3に示すように、画素信号増幅部230の後段にて、カラム回路63によりサンプルホールドして読み出してもよい。カラム回路63として、CDS構成などのノイズ抑制機能や直流変動抑制機能を持つ構成とすれば、小信号の信号をアナログ領域で大きく増幅し、かつ固定パターンノイズやゲイン調整に伴う直流レベル変動に起因したノイズの生じないS/N比の高い信号を得ることが可能になる。
<比較器の構成例>
図6は、図5に示した比較器220,222の構成例を示した図である。この比較器220,222は、差動増幅器を構成要素として備えている。すなわち、図示のように、比較器220,222は、差動増幅動作を行なう1対のトランジスタQ220,Q222のソース端子を定電流源を構成するトランジスタQ226に共通接続するとともに、各トランジスタQ220,Q222のドレイン端子にカスケード接続で1対のトランジスタQ227,Q228を設けて構成されている。トランジスタQ227,Q228のドレイン端子には電源電圧(本例では2.5V)が印加されている。
トランジスタQ222のゲート端子は、図5に示した入力ノード220a,222aに対応し、基準電圧VRが印加される。トランジスタQ220のゲート端子は、図5に示した入力ノード220b,222bに対応する。トランジスタQ226のゲート端子には制御信号生成部46から所定の制御電圧が入力され、これによって定電流源を構成するようになっている。また、トランジスタQ227のゲート端子には、図示しない当該比較器220,222内部の電圧発生器から所定の制御信号が印加されるようになっている。なお、制御信号生成部46からトランジスタQ227のゲート端子に制御信号を印加する構成としてもよい。
このような単純な差動増幅器によって比較器220,222を構成できるので、素子数が少なく、カラム領域の面積を小さくした回路を実現できる。
次に、具体的な数値例を用いて、第2実施形態の画素信号検出部210の動作を説明する。たとえば、画素信号増幅部230の入力側で信号電圧Vsig を所定の参照電圧と比較する第2実施形態の構成の場合(図3参照)、参照電圧は500mV,250mV,125mVである。この値は、垂直信号線158の飽和信号が1Vに対応している。つまり、1Vを125mVの8つの領域に分類する。これらの参照電圧で比較が行なわれるように、画素信号検出部210には、それぞれ500mV,250mV,125mVに対応する所定の大きさの比較電圧Vrc1 ,Vrc2 ,Vrc3 を供給する。
画素信号検出部210(−1,−2,…,n)の比較出力は、以下のような式(1)に示す規則に基づくコード出力(分類信号Vsepa)となる。
たとえばVsig =300mVでは、コード“002”の3ビットのデジタル信号で示される比較出力(分類信号Vsepa)を出力線212cからカラム領域部(プリアンプ部61)の外に出力し、Vsig =100mVでは、コード“000”の3ビットデジタル信号で示される分類信号Vsepaを出力線212cからカラム領域部の外に出力する。
また、画素信号検出部210(−1,−2,…,n)は、上述のような比較出力(分類信号Vsepa)を出力線212bからPGA回路構成の画素信号増幅部230(−1,−2,…,n)にも出力し、また出力線212cから制御信号生成部46にも出力する。
たとえば、Vsig =300mVの場合、画素信号増幅部230は、画素信号検出部210からのコード信号“002”の制御により、ゲインが2倍される。Vsig =100mVの場合は、画素信号増幅部230のゲインは8倍される。すなわち、本例では、入力信号電圧Vsig が画素信号増幅部230によって高い電圧に変換されることになる。たとえば通常照度の信号レベルが高い画素には1倍のゲイン、低照度部の信号レベルが低い画素には8倍のゲインを適応させる。
<動作タイミング例と検出回路の構成例;その2;第1実施形態の構成に対応>
図7は、図2(A)に示した第1実施形態の構成に対応する固体撮像装置2の1水平期間の動作タイミングを示すタイミングチャートである。また、図8は、図2(A)に示した第1実施形態の構成に対応する画素信号検出部210の構成例を示した図である。
次に、具体的な数値例を用いて、第1実施形態の画素信号検出部210の動作を説明する。たとえば、画素信号増幅部230の出力側で信号電圧Vout を所定の参照電圧と比較する第1実施形態の構成において、ゲイン設定を2のべき乗に従って、2,4,8倍の3段階で制御する場合、参照電圧は、500mV,250mV,125mVである。これらの参照電圧で比較が行なわれるように、画素信号検出部210には、それぞれ500mV,250mV,125mVに対応する所定の大きさの比較電圧Vrc1 ,Vrc2 ,Vrc3 を供給する。125+250=375mV、125+500=675mV、500+250=750mV、500+125+250=875mVというように、3つの参照電圧500mV,250mV,125mVを組み合わせることで、2のべき乗に従わないレベルに関しても判定できる。
画素信号検出部210(−1,−2,…,n)の比較出力は、以下のような式(2)に示す規則に基づくコード出力(分類信号Vsepa)となる。
この画素信号検出部210により得られる検知結果に基づいて、画素信号増幅部230に対してゲイン設定する場合、所定のゲインにて検知した信号レベルが画素信号増幅部230の線形範囲外であるときには、画素信号増幅部230に設定可能なゲインのうち、所定のゲインを除く最大ゲインのものを画素信号増幅部230に設定するように制御する。こうすることで、画素信号増幅部230のダイナミックレンジを超えないようにゲイン設定制御を行なうことができる。
従来は小さな信号(この例では100mV)をそのまま用いていたため、S/N比が小さくなり、雑音の大きい画像しか得られなかった。これに対し、第1および第2実施形態の構成に依れば、入力信号が等価的に800mVになるので、S/N比の高い画質を得ることができる。
また、たとえばA/D変換部64のビット数が10ビット、Vsig =100mVの場合、6ビットから7ビットの精度しか出せなかったのが、本実施形態では9ビットから10ビット精度を出すことが可能となる。これは、10ビットのA/D変換部64の性能を13ビットにしたことと等価である。それも、画素信号ごとにPGAゲインを設定できるので、大きなAD(アナログ/デジタル変換)のビットを獲得するのに非常に都合がよい。
さらに、画素信号検出部210の参照電圧を2のべき乗に従って4種類に増加させると、4ビット精度をとれることになり、さらに高いS/N比のアナログ信号を得ることができる。
トランジスタの駆動周波数帯域は小さい領域での小信号のゲイン拡大であるため、最終段の駆動周波数が大きい状態での従来のゲイン拡大に比べて、発生し得る熱雑音は小さくなる利点がある。多画素高速フレームレート撮像時、従来、最終出力段に設置されたアナログ回路の帯域増大でノイズが問題になるが、帯域削減が可能で、従来より低ノイズ化を図ることで、マージンの拡大が可能となる。
また、画素信号増幅部230に設定するゲインを予め段階的な値を決めておく(設定しておく)ことで、回路規模を小さくすることができる。ゲインを無段階に可変させる構成とすることも可能であるが、その分、回路が複雑になる。
加えて、第1および第2実施形態では、出力信号レベルが一定となるようにするフィードバック構成としておらず、所定の条件で決定したゲイン値で画素信号増幅部230を動作させるので、フィードバック構成特有の帰還ノイズ、すなわち帰還ゲインが無限でないことによる、出力を一定にしようとするために常に生じる出力変動の問題が生じない。よって、S/Nの良好な画像が得られる。
また、図2(A)や図3の回路構成から分かるように、各垂直信号線158の信号の大きさを検出する画素信号検出部210を列(カラム)ごとに配置することによって、画素信号増幅部230のゲインを画素ごとに掛けることができる。すなわち、各単位画素103の信号のゲインを最適化するのに、単位画素103ごとに制御回路を配置していたのでは、大きな面積が必要になりコストアップになる。これに対して、本実施形態では、垂直列ごとに画素信号検出部210および画素信号増幅部230を主要部とする画素信号制御部200を設けるようにしたので、全ての単位画素103のゲインを行(水平行)ごとに制御することで、チップ面積の増大を抑圧しながら、実質的に、全ての単位画素103のゲインを制御することができる。
飽和電荷量のばら付きはデバイスごとに異なるので、画面内全てを同一のゲインで拡大すると、拡大結果が画面内での明るい部分は飽和を超え、飽和ムラが画像に現れてしまう。これに対して、第1および第2実施形態では、垂直列ごとに画素信号検出部210および画素信号増幅部230を設けることで、単位画素103ごとに画素信号を制御することができる。これにより、画面内の小信号ピクセル部単位でゲイン制御ができるので、画面内での明るい部分は飽和を超えないように制御でき、デバイスごとに、飽和信号量のばら付きの影響を受けないように適切な処理を行なうことができる。
さらに、画素信号増幅部230の出力側で信号電圧Vout を所定の参照電圧と比較する第1実施形態の構成を採用すれば、画素信号増幅部230にて得られるゲイン調整された出力信号Vout が回路のダイナミックレンジを越えて出力される状況になることを防止することができる。
垂直信号線158の出力自体が飽和していれば以後の回路でも飽和したままであるから、通常照度部分には1倍のゲインにしておき、低照度の小信号部分に、通常照度での信号レベルと同程度、つまり画素信号増幅部230の出力レベルが垂直信号線158の飽和信号量を超過しない範囲でゲインをアップさせる使い方をする。逆に言えば、画素信号増幅部230のダイナミックレンジは、垂直信号線158の飽和信号量と同程度か、それよりも少し大きくする。
ここでたとえば、画素信号検出部210が、画素信号増幅部230の入力側にて比較を行ない比較結果に基づいて画素信号増幅部230のゲイン制御を行なう第2実施形態の構成の場合、固体撮像素子10(特に撮像部110)の飽和信号量が仮に1Vの場合、入力側の検出で0.2Vを検出し、画素信号増幅部230にて10倍で増幅をさせると、画素信号増幅部230の出力電圧Vout は、本来であれば2Vとなる。
第2実施形態では、画素信号増幅部230の出力側を監視していないので、画素信号増幅部230が飽和しているのかいないのかを知り得ない。よって、画素信号増幅部230が、この2Vに耐え得るだけのダイナミックレンジがなければ、撮像素子(デバイス)の飽和を超える問題を呈する。
飽和信号量を超過しないようにする仕組みとして、増幅回路のゲイン設定を、垂直信号線の飽和信号量を超過しない範囲で行なうということも考えられるが、問題の解消としては不十分である。すなわち、画素信号増幅部230のダイナミックレンジを超えないようにするには、デバイス品種の標準的なダイナミックレンジに対して環境やばら付きなどを考慮して予め余裕を持って、画素信号増幅部230の出力が高ゲイン時の増幅によって線形領域から外れることがないように低めのゲイン設定をする必要があり、垂直信号線の飽和信号量を超過しないようにゲイン設定しても、画素信号増幅部230が、垂直信号線の飽和信号量に耐え得ないものであれば意味がなく(通常は耐え得るように設計するが)、結果として、画素信号増幅部230に適したダイナミックレンジの有効活用ができない。
これに対して、第1実施形態では、画素信号増幅部230のゲイン設定を切り替えながら、画素信号増幅部230の後段にて比較処理を行なうようにしているので、ゲイン設定の切替えと出力信号の変化の線形性(リニアリティ/比例性)を確認することで、画素信号増幅部230が飽和している否かをデバイスごとに知ることができる。
よって、設定したゲインでは飽和する場合、そのゲイン設定では増幅させないという判断も行なうことができる。結果として、撮像素子(デバイス)の飽和を超えないように、かつ個々のデバイスのダイナミックレンジの限界ギリギリとなるように、大きなゲイン値でゲイン設定することができる利点を有する。結果として、第2実施形態よりもS/Nの良好な画像を得ることができる。
<第3および第4実施形態>
図9および図10は、CMOS型の固体撮像素子10を主要部とする固体撮像装置2と周辺部の第3実施形態と第4実施形態を示した概略図である。第3実施形態は第1実施形態と対応するものであり、第4実施形態は第2実施形態と対応するものである。なお、この図9および図10に示す例は、撮像部110とプリアンプ部61を主要部として固体撮像装置2が構成され、信号拡張部310も、固体撮像装置2(固体撮像素子10)の同一チップ上に形成されているものとして示している。
上述した第1および第2実施形態では、撮像信号をアナログ出力する構成のCMOSイメージセンサの例を示したが、この第3および第4実施形態では、カラム領域部にAD変換回路を搭載することで、カラムごとに撮像信号をデジタル出力するようにしたものである。すなわち、第3および第4実施形態においては、カラム領域部(プリアンプ部61)のカラムごとに、各画素信号Vsig の大きさを独立に検出し、この信号の大きさに対して独立にゲインを設定する機能を持ち、ゲイン設定後の画素信号Vout をデジタル信号としてカラム領域部(プリアンプ部61)外に出力する点に特徴を有している。以下、第1および第2実施形態との相違点を中心に、具体的に説明する。
第3および第4実施形態の構成においては、垂直列(画素列)に対応したカラム領域ごとに、画素信号検出部210、画素信号増幅部230、およびAD変換機能を有するカラム回路(このような構成を特にカラムADC(Analog to Digital Converter )回路と呼ぶ)280を持ち、それぞれカラム領域でデジタル信号を形成するようにしている。すなわち、第1および第2実施形態におけるカラム回路63を、カラムADC回路280に置き換えた構成としている。画素信号検出部210、画素信号増幅部230、スイッチ250、およびカラムADC回路280とで、垂直列ごとに、カラム処理部62が構成される。
このような構成においては、画素信号検出部210が垂直信号線158の信号レベルを、画素信号増幅部230の出力側(第3実施形態の場合)もしくは入力側(第4実施形態の場合)にて検出する。そして、この結果を、画素信号増幅部230のゲイン設定に反映させることで、画素信号増幅部230のゲインを最適値に設定する。画素信号増幅部230は、設定されたゲイン値で入力信号Vsig を増幅し、後段のカラムADC回路280へ送る。
カラムADC回路280は、垂直列に対応するそれぞれのカラム領域ごとに、アナログの画素信号vsig のノイズや直流変動成分を低減しつつ、たとえばNビットのデジタル信号Vout3に変換する。そして、デジタル化した画素データVout3を一定期間保持し、所定のタイミングで、水平走査部42Hから制御線43を介して入力される水平選択信号CH(i)によるシフト動作によって各単位画素103のデジタル化したNビットの画素信号Vout3を、カラム領域部(プリアンプ部61)外や固体撮像素子10のチップ外へ出力する。
画素信号検出部210は、第1および第2実施形態と同様に、分類信号Vsepaを、出力線212a,212b(図10では図示を省略)を介して画素信号増幅部230や制御信号生成部46に通知するとともに、出力線212cを介してMビットのデータとして、固体撮像素子10のチップ外にも出力する。
このような構成例では、画素信号検出部210がNビットの情報を、カラムADC回路280がMビットの情報を持っている。よって、第3および第4実施形態の構成を用いることによって、第1および第2実施形態と同様に、信号拡張部310にて、N+Mビット相当の情報を得ることができる。すなわち、信号拡張部310は、画素信号検出部210から入力されるMビットの分類信号Vsepaと、カラムADC回路280からのNビットの撮像信号Vout3とに基づいて、第1および第2実施形態と同様に、Nビットの撮像信号をN+Mビットの信号に変換する。
また、カラム回路63をカラムADC回路280に置き換えた構成であり、画素信号検出部210や画素信号増幅部230あるいは制御信号生成部46などの構成は第1や第2実施形態と同様であるので、S/N比の高い画像を得ることができる、ノイズマージンの拡大が可能となる、飽和信号量のばら付きの影響を受けないなど、上記第1および第2実施形態と同様の効果を享受できる。また、第3実施形態の構成では、第1実施形態と同様に、撮像素子(デバイス)の飽和を超えない利点を有する。
<画素信号増幅部の構成例>
図11は、第1および第3実施形態の構成における画素信号増幅部230周辺の一構成例(以下第1の構成例という)と動作を説明する図である。第1の構成例においては、スイッチ242,246を有し、スイッチドキャパシタ方式のノイズキャンセルアンプ(以下カラムアンプともいう)で構成されている。
具体的には、図11(A)に示すように、垂直信号線158からの画素信号Vsig が、容量が7Cのコンデンサ232と容量が1Cのコンデンサ233とを介してOPアンプ(演算増幅器)で構成された増幅回路235に入力されるようにしている。増幅回路235の入出力間は、帰還ゲイン設定用に、容量が1Cのコンデンサ236を設けている。増幅回路235の入力側および入出力間に設けられているコンデンサ232,233,236並びにスイッチ242,246により、本発明に係るゲイン設定部245が構成される。増幅回路235とゲイン設定部245とで、可変増幅回路の一例である画素信号増幅部230が構成され、ゲイン設定部245に対してゲイン設定を制御する制御部と併せて、PGA回路が構成される。
増幅回路235の出力は、カラム回路63に接続されているとともに、画素信号検出部210の入力側にも接続されている。スイッチ246には制御信号φ1が、またスイッチ242には制御信号φ2が、それぞれ制御信号生成部46の制御線231を介して入力される。
なお、入力側のコンデンサ232は、スイッチ242を介して増幅回路235に入力されるようにしている。また、第1の構成例は、スイッチ242を、容量が7Cのコンデンサ232の後段と増幅回路235の入力との間に設けている点に特徴を有する。
増幅回路235の出力はカラム回路63に入力されるとともに、画素信号検出部210にも入力され、画素信号検出部210にて、増幅回路235の出力信号レベルを検査し、その結果を反映させ、最終的な増幅回路235のゲイン設定を行なうようになっている。
このような構成においては、図11(B)に示すように、制御信号φ1でスイッチ246をオンさせてコンデンサ236をリセットして、アンプリセット状態にさせる(t60〜t63)。また、この間に、制御信号φ2でスイッチ242をオンさせてコンデンサ232をリセット状態にさせる(t61〜t62)。
すなわち、先ず、単位画素103からのリセットレベルを、スイッチドキャパシタ回路を用いたノイズキャンセルアンプのコンデンサ232,233で形成される容量8C(7C+1C)にサンプルする(t61〜t62)。その後、制御信号φ2でスイッチ242をオフさせて、入力のコンデンサ232を垂直信号線158から切り離しておく(t62)。
この後、撮像部110の転送ゲート配線151への転送制御パルスTXを“H”にし、電荷生成部132で生成された電荷をフローティングディフュージョン138に転送する。この結果、撮像部110の出力である垂直信号線158には、電荷生成部132が受けた光量に応じた画素信号Vsig が現れる。
そこで、アンプリセット後(t63)、垂直信号線158からの画素信号Vsig を、スイッチドキャパシタ回路を用いたアンプの入力側のコンデンサ233,232にサンプルする。予めリセットレベルをサンプルしているので(t61〜t62)、結果として、増幅回路235は、入力された画素信号Vsig におけるリセットレベルVrst と信号レベルVsig0との差分ΔVに対して所定のゲインで増幅した結果を出力する。
このとき、増幅回路235の入力側に設けている、容量が1Cのコンデンサ233と容量が7Cのコンデンサ232の並列回路において、スイッチ242を制御信号φ2で制御することで、増幅回路235のゲインを8倍(スイッチ242がオンのとき)と1倍(スイッチ242がオフのとき)の何れかに設定することができる。よって、スイッチ242を制御信号φ2で制御する容量調整によって、ゲイン調整を行なうことができる。
たとえば、画素信号検出部210は、制御信号φ2が“L”でスイッチ242がオフの間(t63〜t66)の所定のタイミングで、増幅回路235から出力された1倍のゲインでの出力信号を検知する(t65)。また、画素信号検出部210は、制御信号φ2が“H”でスイッチ242がオンの間(t66〜t68)の所定のタイミングで、増幅回路235から出力された8倍のゲインでの出力信号を検知する(t67)。
画素信号検出部210は、各ゲインでの出力結果の比較処理を行ない、検知結果を示す分類信号Vsepaを1ビットのデータで出力する。たとえば、この1ビットの分類信号Vsepaを画素信号増幅部230に直接に供給して、信号が高い場合は1倍のゲイン、信号が低い場合は8倍のゲインを適応させる。このとき、ゲイン調整を行なって比較した結果、高ゲイン側でも、増幅回路235の出力までのダイナミックレンジが越えない程度と判断されたときに限って、高ゲインに設定した信号を出力させる。飽和していれば、高ゲインに設定しない。撮像素子(デバイス)の飽和を超えないように、かつ個々のデバイスのダイナミックレンジの限界ギリギリとなるように、大きなゲイン値でゲイン設定することができる。
このような構成とすることで、増幅回路235の入出力間の容量切替でゲインを切り替える後述する第4の構成例に比べて、反転パルスで制御するスイッチが不要となる利点を有する。
図12は、第1および第3実施形態の構成における画素信号増幅部230周辺の他の構成例(以下第2の構成例という)と動作を説明する図である。第2構成例においても、スイッチ242,246を有し、スイッチドキャパシタ方式のカラムアンプで構成されている。
この第2の構成例は、図12(A)に示すように、スイッチ242を、容量が7Cのコンデンサ232の前段と垂直信号線158との間に設けている点に特徴を有する。第1例と同様に、増幅回路235の入力側および入出力間に設けられているコンデンサ232,233,236並びにスイッチ242,246により、本発明に係るゲイン設定部245が構成される。動作タイミングとしては、図12(B)に示すように、第1の構成例と同じでよい。
このような構成とすることで、容量が7Cのコンデンサ232の後段にスイッチ242を設けた第1の構成例に比べて、切替対象のコンデンサ232における、垂直信号線158の信号に対するカップリングの影響が発生しない利点を有する。
図13は、第1および第3実施形態の構成における画素信号増幅部230周辺のさらに他の構成例(以下第3の構成例という)と動作を説明する図である。この第3構成例においても、スイッチドキャパシタ方式のカラムアンプで構成しているが、増幅回路235の入力側に配された2つのコンデンサ232,233をともに切替可能に構成するとともに、それぞれの両端に切替え用のスイッチを設けた点に特徴を有する。
すなわち、第3の構成例においては、図13(A)に示すように、容量が7Cのコンデンサ232の入力側に、制御信号φ2_(実質的には制御信号φ2と同じ)で動作するスイッチ242aを設け、その出力側(増幅回路235の入力側)に、制御信号φ2で動作するスイッチ242bを設けている。
また、容量が1Cのコンデンサ233の入力側に、制御信号φ3_(実質的には制御信号φ3と同じ)で動作するスイッチ243aを設け、その出力側(増幅回路235の入力側)に、制御信号φ3で動作するスイッチ243bを設けている。
増幅回路235の入力側および入出力間に設けられているコンデンサ232,233,236並びにスイッチ242a,242b,243a,243b,246により、本発明に係るゲイン設定部245が構成される。
このような構成においては、図13(B)に示すように、制御信号φ1でスイッチ246をオンさせてコンデンサ236をリセットして、アンプリセット状態にさせる(t80〜t83)。また、この間に、制御信号φ2,φ2_,φ3,φ3_でスイッチ242a,242b,243a,243bをオンさせて、それぞれのコンデンサ232,233をリセット状態にさせる。すなわち、単位画素103からのリセットレベルを、スイッチドキャパシタ回路を用いたノイズキャンセルアンプのコンデンサ232,233で形成される容量8C(7C+1C)にサンプルする(t81〜t82)。その後、制御信号φ2,φ2_でスイッチ242a,242bをオフさせて、入力のコンデンサ232を垂直信号線158から切り離しておく(t82)。
アンプリセット後(t83)、スイッチ242a,242b,243a、243bがオンであれば、垂直信号線158からの画素信号Vsig により、入力側のコンデンサ232,233がチャージされ増幅回路235の出力が変化する。
そこで、画素信号増幅部230は、アンプリセット後(t83)、先ず制御信号φ3,φ3_をオンさせたままにしておき(t83〜t86)、垂直信号線158からの画素信号Vsig を、スイッチドキャパシタ回路を用いたノイズキャンセルアンプの入力側のコンデンサ233にサンプルする。予めリセットレベルをサンプルしているので(t81〜t82)、結果として、増幅回路235は、入力された画素信号Vsig におけるリセットレベルVrst と信号レベルVsig0との差分ΔVに対して1倍のゲインで増幅した結果(ΔV)を出力する。画素信号検出部210は、所定のタイミングで、ΔVを1倍のゲインで増幅した画素信号増幅部230の出力信号Vout を検知する(t85)。
この後、制御信号φ3,φ3_でスイッチ243a、243bをオフにすることで、入力のコンデンサ233を垂直信号線158から切り離しておくとともに(t86)、制御信号φ1でスイッチ246をオンさせてアンプをリセット状態にする(t86〜t87)。そして、制御信号φ2,φ2_でスイッチ242a,242bをオンさせて(t87〜t89)、垂直信号線158からの画素信号Vsig を、スイッチドキャパシタ回路を用いたノイズキャンセルアンプの入力側のコンデンサ233にサンプルする。予めリセットレベルをサンプルしているので(t81〜t82)、結果として、増幅回路235は、入力された画素信号Vsig におけるリセットレベルVrst と信号レベルVsig0との差分ΔVに対して8倍のゲインで増幅した結果(8ΔV)を出力する。画素信号検出部210は、所定のタイミングで、ΔVを8倍のゲインで増幅した画素信号増幅部230の出力信号Vout を検知する(t88)。
画素信号検出部210は、各ゲインでの出力結果の比較処理を行ない、検知結果を示す分類信号Vsepaを1ビットのデータで出力する。たとえば、この1ビットの分類信号Vsepaを画素信号増幅部230に直接に供給して、信号が高い場合は1倍のゲイン、信号が低い場合は8倍のゲインを適応させる。ゲイン調整を行なって比較した結果、高ゲイン(本例では8倍)側でも、増幅回路235の出力までのダイナミックレンジが越えない程度と判断されれば、高ゲインに設定した信号を出力させる。飽和していれば、高ゲインに設定しない。こうすることで、増幅回路235が飽和しない範囲で、最適な信号を出力させることができる。
このような第3例の構成とすることで、第2例と同様に、切替対象のコンデンサ232,233における、垂直信号線158の信号に対するカップリングの影響が発生しない利点を有する。
図14は、第2および第4実施形態の構成における画素信号増幅部230周辺の一構成例(以下第4の構成例という)と動作を説明する図である。第4の構成例においても、スイッチドキャパシタ方式のカラムアンプで構成されている。なお、ここでは、単位画素103の一構成例も合わせて示している。また、画素信号検出部210が画素信号増幅部230に対してのゲイン設定を制御する制御部の機能を持ち、画素信号検出部210と、画素信号増幅部230と、ゲイン設定部245により、PGA回路が構成される。
単位画素103は、フローティングディフュージョン138を電荷蓄積部として利用し、4つのトランジスタを有する4TR構成としている。この4TR構成では、フローティングディフュージョン138は増幅用トランジスタ142のゲートに接続されているので、増幅用トランジスタ142はフローティングディフュージョン138の電位(以下FD電位という)に対応した信号を、画素線157を介して読出し信号線の一例である垂直信号線158に出力する。また、垂直信号線158には、負荷MOSトランジスタ171が接続されているのでソースフォロア回路として動作している。
たとえば、画素信号の読出時には、先ず、リセットトランジスタ136で、フローティングディフュージョン138をリセットする。この後、読出選択用トランジスタ(転送トランジスタ)134は、フォトダイオードなどからなる電荷生成部132にて生成された信号電荷をフローティングディフュージョン138に転送する。垂直信号線158には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ140をオンする。すると選択画素のみが垂直信号線158と接続され、垂直信号線158には選択画素の信号が出力される。
この動作によって、ブートストラップ効果のために、フローティングディフュージョン138の電圧が上昇し、出力電圧振幅を大きくすることができる。単位画素103が増幅用トランジスタ142を備えることで、固体撮像装置2(あるいは固体撮像素子10)は、増幅型固体撮像装置として構成される。
なお、単位画素103は、このような4TR構成のものに限らず、たとえば垂直選択用トランジスタ140が増幅用トランジスタ142のドレイン側に接続された4TR構成のものとしてもよい。また、4TR構成のものに限らず、単位画素103部分に3つのトランジスタを有し画素サイズを小さくできる3トランジスタ型画素構成(以下3TR構成という)のものとしてもよい(たとえば特許第2708455号公報参照)。
ここで、第4の構成例においては、垂直信号線158は、画素信号検出部210に接続されるとともに、制御信号φ2で制御されるスイッチ250と容量が8Cのコンデンサ233とを介して増幅回路235に接続される。
増幅回路235の入出力間には、帰還ゲイン設定用に、先ず、容量が1Cのコンデンサ236を設けている。そして、このコンデンサ236と並列に、画素信号検出部210からのビット制御信号G4で制御されるスイッチ247Pを介して容量が1Cのコンデンサ237を、ビット制御信号G2で制御されるスイッチ248Pを介して容量が2Cのコンデンサ238を、ビット制御信号G1で制御されるスイッチ249Pを介して容量が4Cのコンデンサ237を設けている。
スイッチ247Pとコンデンサ237の接続点はビット制御信号/G4で制御されるスイッチ247Nを介して、スイッチ248Pとコンデンサ238の接続点はビット制御信号/G2で制御されるスイッチ248Nを介して、スイッチ249Pとコンデンサ239の接続点はビット制御信号/G1で制御されるスイッチ249Nを介して、それぞれ制御信号生成部46の制御線231から基準電圧Vref2が印加されるようになっている。このような構成により、スイッチ247,248P,249Pを制御することで、容量値をCから8Cまで可変できる。
したがって、カラムアンプ構成の画素信号増幅部230は、コンデンサ233の容量値8Cと、コンデンサ237,238,239の接続状態による容量値C〜8Cとの比によって、1倍から8倍までゲインを可変にすることができる。
垂直信号線158のスイッチ250の入力側から画素信号検出部210に画素信号Vsig が入力され、画素信号検出部210にて、増幅回路235の入力信号レベルを検査し、その結果を反映させて、最終的な増幅回路235のゲイン設定を行なうようになっている。ゲイン設定を制御する制御部と併せて、全体として、プログラマブルゲインコントロール(PGA)構成の増幅回路(PGA回路)が構成される。
このような構成においては、図4に示すように、先ず、制御信号φ1,φ2によりスイッチ250,246をオンさせ(t10〜t12)、単位画素103からのリセットレベルを、スイッチドキャパシタ回路を用いたノイズキャンセルアンプの入力側の容量が8cのコンデンサ233にサンプルする(t11〜t12)。その後、制御信号φ2でスイッチ250をオフさせて、入力のコンデンサ233を垂直信号線158から切り離しておく(t12)。
この後、撮像部110の転送ゲート配線151への転送制御パルスTXを“H”にし、電荷生成部132で生成された電荷をフローティングディフュージョン138に転送する。この結果、撮像部110の出力である垂直信号線158には、電荷生成部132が受けた光量に応じた画素信号Vsig が現れる(t12〜t13)。
そこで、撮像部110から出力された画素信号Vsig を画素信号検出部210に入力し、垂直信号線158の信号レベルを検出する。すなわち、画素信号検出部210は、ビット制御信号G4,G2,G1で対応するスイッチ247P,248P,249Pを制御しながら、垂直信号線158の画素信号Vsig のレベルを対応する所定の閾値と比較する(t14〜t21)。
画素信号検出部210は、この検出結果(比較結果)に基づき、画素信号増幅部230の出力信号Vout が垂直信号線158の飽和信号量を超過しない範囲で、最大値になるように適切なゲインの大きさを決め、画素信号増幅部230に設定する。あるいは、検出結果を制御信号生成部46へ、あるいはチップ外部に出力する。
垂直信号線158の飽和信号量を超過しない範囲でゲイン値を設定しないと、画素信号増幅部230は飽和信号量を超える状態でも増幅しようとするので、その出力は、飽和を超える結果となり、写真として破綻する結果となる。増幅後の信号範囲が、垂直信号線158の飽和信号量範囲を超過しないようにゲイン設定することで、この問題を回避する。
このような手法を採ることによって、画素信号増幅部230で発生し得る入力信号換算雑音量を最小限にすることができる。また、画素信号増幅部230の出力信号Vout を各単位画素103で飽和信号に近くなるように大きくできるので、その後に発生し得る雑音に対して有利となる。
以上、画素信号増幅部230の回路構成例を幾つか示したが、これらは一例を示したに過ぎず、様々な変形が可能である。たとえば、第1〜第3例では、ゲイン切替えを1系統にしていたが、これに限らず、たとえば第4の構成例と同様に、3系統としたり、さらに多くの系統を設けるようにしたりしてもよい。
また、上記第1〜第4の構成例では、スイッチドキャパシタ方式のノイズキャンセルアンプで構成しつつ、容量の分割比でゲインを変化させているが、これに限らず、抵抗分割比でゲインを変化させる構成としてもよい。
なお、上記第1〜第4の構成例で示したように、画素信号増幅部230を、スイッチドキャパシタ方式のノイズキャンセルアンプとすれば、上記説明から分かるように、画素リセット直後の画素信号Vsig のリセットレベルVrst と信号レベルVsig0の差分ΔVを増幅するように動作するので、相関2重サンプリングの効果により、撮像部110の固定パターンノイズ(FPN:Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く(キャンセルする)ことができ、また撮像部110のソースフォロワの1/fノイズを低減することもできる。また、このような構成の画素信号増幅部230は、ゲイン調整によっても、その出力の直流レベルが変動し難い利点がある。つまり、増幅回路235とゲイン設定部245とで構成される上記第1例〜第4例の構成の可変増幅回路(画素信号増幅部230)は、本発明に係る出力直流レベル抑制処理部の機能を備えている。
<ゲイン設定方法;第1例>
図15は、図14に示した画素信号増幅部230におけるゲイン設定方法の第1例を説明する図である。この第1例では、画素信号増幅部230のゲインを、1(2^0),2(2^1),4(2^2),8(2^4)(“^”は2のべき乗を示す)というように、2のべき乗の大きさで制御する。こうすることで、信号拡張部310における信号処理時に、ビットシフトでデジタルダイナミックレンジを制御することができ、回路構成が簡易になる。
この第1例では、飽和信号量が1Vであるものとし、ゲインの最大値も1Vになるように制御する。たとえば、垂直信号線158の出力信号が0〜125mVの場合、ゲインを8倍に設定する。そうすると、入力信号が最大の125mVでも、増幅回路235の出力信号は1Vとなる。つまり、カラム領域部(プリアンプ部61)の外部に出力される場合には1Vで出力される。また、125mV<入力信号≦250mVの場合、画素信号増幅部230のゲインを4倍に設定する。同様に、250mV<入力信号≦500mVの場合、画素信号増幅部230のゲインを2倍に設定する。また、500mV<入力信号≦1Vの場合、画素信号増幅部230のゲインを1倍のままとする。
なお、この第1例では、画素信号増幅部230の最大出力が、垂直信号線158の飽和信号量と等しい1Vとなるように、ゲイン値を2のべき乗の大きさで設定していたが、これに限らず、固体撮像装置の仕様によって画素信号増幅部230の最大出力を任意に設定すればよい。ただし、画素信号増幅部230(特に増幅回路235)のダイナミックレンジの範囲内での設定にする必要があるのは言うまでもない。
このように第1例においては、撮像部110から出力される画素信号Vsig のレベルに応じて増画素信号増幅部230のゲインを設定することによって、信号量が小さい場合にはゲインを高めに設定することで、大レベルの画素信号を外部に出力できるとともに、画素信号増幅部230で発生し得る雑音に対するS/N比を最大限に設定することが可能となる。信号量が小さい場合のS/N比を最大限にできる。これは、高感度の固体撮像装置を実現する上で必要不可欠なものである。
<ゲイン設定方法;第2例>
図16は、図14に示した画素信号増幅部230におけるゲイン設定方法の第2例を説明する図である。この第2例でも、画素信号増幅部230のゲインを2のべき乗の大きさで制御する。
この第2例では、第1例と同様に、飽和信号量が1Vであるが、ゲインの最大値の最大値が800mVになるように制御する点に特徴を有する。固体撮像装置の仕様として、画素信号増幅部230のダイナミックレンジに余裕がない場合に使える手法である。
たとえば、垂直信号線158の出力信号が0〜100mVの場合、ゲインを8倍に設定する。そうすると、入力信号が最大の100mVでも、増幅回路235の出力信号は800mVとなる。つまり、カラム領域部(プリアンプ部61)の外部に出力される場合には800mVで出力される。また、100mV<入力信号≦200mVの場合、画素信号増幅部230のゲインを4倍に設定する。同様に、200mV<入力信号≦400mVの場合、画素信号増幅部230のゲインを2倍に設定する。また、400mV<入力信号≦800mVの場合、画素信号増幅部230のゲインを1倍のままとする。
このように、第2例においても、撮像部110から出力される画素信号Vsig のレベルに応じて増画素信号増幅部230のゲインを設定することによって、信号量が小さい場合のS/N比を最大限にできる。つまり、画素信号増幅部230の影響を受け難くなる。
なお、上記第1例および第2例のゲイン制御では、画素信号増幅部230のゲインを1倍、2倍、4倍、8倍の4種類として、かつ2のべき乗の大きさで制御していたが、たとえば、制御信号生成部46を介してビット制御信号G1,G2,G4をビットデータとして制御すれば、1〜8倍の範囲でより小さなステップで、たとえば1ずつ段階的にゲイン設定することもできる。ただしこの場合、信号拡張部310におけるダイナミックレンジ制御処理時に、ビットシフトでの制御ができないので、演算処理が必要となり、回路構成が複雑になる。また、8倍を超えるもっと大きなゲインに設定することもできる。これらゲイン設定の変化幅は、用途などによって、適宜に決めればよい。
<カラム回路周辺の回路構成例>
図17は、カラム領域部(プリアンプ部61)の画素信号増幅部230の次段に設けられるカラム回路63周辺の回路構成の第1例を示したブロック図である。この第1例は、画素信号検出部210が、画素信号増幅部230の出力側で信号電圧Vout を所定の参照電圧と比較する第1および第3実施形態の構成に対応したものである。
カラム回路63は、垂直信号線158(垂直列)ごとに設けられており、垂直信号線158によって読み出された1行分の単位画素103の画素信号Vsig を画素信号増幅部230を経由して受けて、この画素信号Vsig が画素信号増幅部230にて増幅された画素信号Vout を順次蓄積してから、所定のタイミングで出力アンプ129に出力するサンプル&ホールド回路構成となっている。
たとえば、カラム回路63(−1,−2,…,−n)は、スイッチ272(−1,−2,…,−n)、信号電荷蓄積用のコンデンサ274(−1,−2,…,−n)、および読出回路276(−1,−2,…,−n)を有している。
読出回路286(−1,−2,…,−n)は、その内部に、トランジスタ277,278を有している。トランジスタ277は、ドレイン端子が出力アンプ129の信号帰還線298に他の垂直列と共通に接続されているとともに、ソース端子が画素信号検出部210の入力側に接続されている。画素信号検出部210の出力側は、出力信号線291に他の垂直列と共通に接続されている。画素信号検出部210の検出結果は、出力線212bを介して制御信号生成部46へ、また出力線212cを介して、チップ外部へ出力されるようになっている。一方、この第1の構成例では、出力線212aを介した画素信号増幅部230へのゲイン設定機能は設けられていない。
水平走査部42Hから、それぞれ制御線43(−1,−2,…,−n)を介して、水平サンプルパルスφsがスイッチ272(−1,−2,…,−n)に入力され、また水平選択信号CH(i)がパルス読出回路286のトランジスタ288のゲート端子に入力されている。
カラム回路63の後段に設けられる出力アンプ129は、ソース−ドレイン間で縦続接続された2つのトランジスタ292,293と、同じくソース−ドレイン間で縦続接続された2つのトランジスタ294,295とを有している。
トランジスタ292,293のドレイン−ソース間(両者の最端)は電源と出力信号線291との間に設けられている。また、トランジスタ294のゲート端子は、出力信号線291に接続され、トランジスタ294,295の接続点が信号帰還線298に接続されている。各トランジスタ292,293のゲート端子には所定の制御信号Vbp2 ,Vbp3 が入力されている。また、トランジスタ295のゲート端子には所定の制御信号Vbn5 が入力されている。
このような構成において、所定のタイミングで水平サンプルパルスφsがスイッチ272に入力されると(図7参照)、画素信号増幅部230の出力信号Vout がコンデンサ274に一旦蓄積される。この後、水平走査部42Hからの水平選択信号CH(i)をトランジスタ278に印加して読み出したい列を選択していくことで、コンデンサ274からの画素信号が、読出回路276と外部増幅回路としての出力アンプ129により出力信号線291から出力信号Vout1として読み出される。
このとき、出力信号線291上の画素信号Vout1がトランジスタ294のゲート端子に入力され信号帰還線298を経由してトランジスタ277のドレイン端子に供給される。この動作によって、ブートストラップ効果のために、出力電圧振幅を大きくすることができる。サンプルホールド回路構成により、画素信号増幅部230とカラム回路63とを切り離しているので、ブートストラップ機能が画素信号増幅部230に影響を与えることがない。
図18は、カラム領域部(プリアンプ部61)の画素信号増幅部230の次段に設けられるカラム回路63周辺の回路構成の第2例を示したブロック図である。この第2例も、画素信号検出部210が、画素信号増幅部230の出力側で信号電圧Vout を所定の参照電圧と比較する第1および第3実施形態の構成に対応したものである。
この第2例の構成は、画素信号検出部210の検出結果を出力線212aを介して画素信号増幅部230へ供給することで、検出結果に基づく画素信号増幅部230のゲイン設定機能を実現するように構成している点に特徴を有する。たとえば、ゲイン拡大後の画素信号Vout が画素信号増幅部230の飽和レベルを超えている場合、ゲインを下げるように制御する。
図19は、カラム領域部(プリアンプ部61)の画素信号増幅部230の次段に設けられるカラム回路63周辺の回路構成の第3例を示したブロック図である。この第3例は、画素信号検出部210が、画素信号増幅部230の入力側で信号電圧Vsig を所定の参照電圧と比較する第2および第4実施形態の構成に対応したものである。
第1例の構成に対して画素信号検出部210を取り除いている点が異なるだけであり、トランジスタ278のソース端子が出力信号線291に他の垂直列と共通に接続されている。基本的な動作は、第1例と同様であり、詳しい説明を割愛する。
なお、図17〜図19に示した第1〜第3の構成のカラム回路63は、回路構成がコンパクトではあるものの、画素信号増幅部230におけるゲイン調整時に、その出力に直流レベルの変動があると、信号成分だけでなく、その直流変動分を含んでコンデンサ274に保持され、直流変動分が撮像信号に重畳して出力されるので、このままでは出力直流レベルの変動がノイズとなり得る。よって、このような構成のカラム回路63は、たとえば図11〜図14に示したようなスイッチドキャパシタ方式など、ゲイン調整によってもその出力の直流レベルが変動し難い回路と組み合わせるのがよい。
なお、カラム回路63や出力アンプ129の後段に接続されるA/D変換部64にて、デジタルデータで直流レベル変動を除去するように構成することもできる。また、カラム回路63に、画素信号増幅部230から出力された撮像信号の直流(DC;Direct Current )成分の変動を抑制する機能を持つように構成してもよい。
カラム回路63において出力直流レベルの変動を抑制しておけば、後段のA/D変換部64における入力ダイナミックレンジを広くとることができる。すなわち、後段のA/D変換部64で出力直流レベルの変動を除去する構成とする場合、出力直流レベルの変動を含んでAD変換を行なわなければならず、出力直流レベルの変動分だけ入力ダイナミックレンジが狭くなる。
図20は、カラム領域部(プリアンプ部61)の画素信号増幅部230の次段に設けられる、AD変換機能を有するカラム回路、すなわちカラムADC回路280周辺の回路構成例(以下カラム回路の第4例ともいう)を示したブロック図である。この第4例は、第3および第4実施形態の構成に対応したものである。
カラムADC回路280は、垂直信号線158(垂直列)ごとに並列処理するADコンバータにより、画素の固定パターンノイズを抑圧しながらデジタル信号に変換する。このため、カラムADC回路280は、固定パターンノイズを抑圧するための基準信号をクランプする方式に特徴を有している。
図20(A)に示すように、カラムADC回路280は、画素信号Vsig におけるリセットレベルをカラムADC回路280の中でクランプするために、コンデンサ281、アンプ282、およびスイッチ283からなる第1のクランプ回路と、コンデンサ284、アンプ285、およびスイッチ286からなる第2のクランプ回路とを有する、2段のクランプ回路(ダブルクランプ回路)構成としている。
このダブルクランプ回路の入力側には、垂直信号線158に現れる画素信号Vsig の取り込みを制御するための構成として、スイッチ287,288とコンデンサ289を有している。第2のクランプ回路の出力は、データ保持機能を持つラッチ回路290に入力される。
各スイッチ283,286,287,288には、水平走査部42Hから制御線43を介して制御パルスS1,S2,S3,S4が入力される。また、スイッチ288の一方の入力端子には、図示しない信号発生器から、ランプ波形をしたAD変換用の基準信号(以下ADC基準信号という)が入力される。またラッチ回路290には、図示しないNビットカウンタのカウンタ出力値が入力される。
このような構成において、カラムADC回路280は、水平ブランキング期間に相当する画素信号読出期間(t90〜t99)で、まずリセットパルスRによって(t91〜T92)、単位画素103のリセット信号Vrst が垂直信号線158に出力されるので、カラムADC回路280の2つのクランプ回路を、図20(B)に示す動作タイミングに従って、制御パルスS1,S2により、粗精度クランプおよび高精度クランプを行なう。
すなわち、先ず、スイッチ287をオンして(t93)、アンプ282,286のスイッチ283,286を同時に閉じてから(t94)、スイッチ283を先に開くと(t95)、画素信号Vsig がアンプ282の閾値電圧にスイッチ283のスイッチングのばら付きが加算された電圧に粗精度クランプされる。このとき、スイッチ286は閉じたままなので、その電圧がアンプ285の入力の閾値電圧になる。
この後、スイッチ286を開くと(t96)、アンプ285にも、スイッチングのばら付きを含んでクランプされる。このとき、スイッチ286のスイッチングのばら付き成分はアンプ285の利得で割った分が入力信号Vin側のばら付きに還元され、入力信号Vinから見るとクランプ精度が向上することとなる。
この結果、クランプ回路で発生し得る縦筋状の固定パターンノイズの発生を十分に抑制できる。すなわち、クランプ回路のばら付きがよく抑えられた状態でリセット信号Vrst のクランプが完了する。
次に、転送制御パルスTXが立つことによって画素信号Vsig0が垂直信号線158に現れるので(t97a〜t97b)、スイッチ288を閉じてサンプリングする(t98〜t99)。サンプリングが完了したら、スイッチ287を開いてランプ波形をしたADC基準信号をスイッチ288を介して与える(t99)。
これにより、ランプ波形に応じてやがて入力信号Vinがクランプ回路の閾値電圧を越えてアンプ285の出力が反転する。そのときのNビットカウンタのカウンタ値が画素信号になり、ラッチ回路290に記憶されて、AD変換が完了する。この後、ラッチ回路290に記憶・保持された画素データVout3は、所定のタイミングで、水平走査部42Hから制御線43を介して入力される水平選択信号CH(i)によるシフト動作によって順次カラム領域部(プリアンプ部61)外や固体撮像素子10のチップ外へ出力する。
このような構成のカラムADC回路280に依れば、固定パターンノイズの発生を十分に抑制でき、加えて、画素信号増幅部230から出力された撮像信号の直流成分の変動を抑制することもできる。つまり、カラムADC回路280は、本発明に係る出力直流レベル抑制処理部の機能をも備える構成となる。
<信号拡張部の構成例>
図21は、信号拡張部310の構成例を示した図である。信号拡張部310は、入力されたNビットの信号V(j)に対してノイズ抑制処理を行なうノイズ抑制処理部311と、画素信号増幅部230に設定されたゲイン値を補正するとともに画素信号検出部210から取得したMビットの分類信号Vsepaを参照して、ノイズ抑制処理部311によるノイズ抑制処理後の信号のダイナミックレンジを拡大するゲイン補正処理部315とを備えている。
ノイズ抑制処理部311は、1水平期間のNビットの画素信号V(j)を保持する1Hメモリ312と、画素信号V(j)と1Hメモリ312の出力信号U(j)とを加算(実際には−U(j)が入力されるので減算)する加算器314とを有している。
またゲイン補正処理部315は、画素信号検出部210から入力されたMビットの分類信号Vsepaをゲイン補正値に変換するゲイン補正値生成部316と、ゲイン補正値生成部316の出力信号であるゲイン補正値E(j)と加算器314の出力信号“V(j)−U(j)”との乗算を行なう乗算器318と、加算器314の出力信号“V(j)−U(j)”と乗算器318の出力値Ek(j)とを加算(実際には−Ek(j)が入力されるので減算)する加算器320とを有している。
このような構成において、信号拡張部310が固体撮像素子10の同一チップ上に形成されている場合は、第3および第4実施形態で示したようにカラムごとにカラムADC回路280を設けた構成とするか、もしくは、カラム以外の領域の同一チップ上にA/D変換部64を搭載する。画素信号増幅部230からの出力信号Vout は、オンチップのAD回路によってNビットのデジタル信号に変換されて信号拡張部310に入力される。
信号拡張部310には、先ず、第1や第2実施形態における出力アンプ129の出力信号Vout1がA/D変換部64によってNビットのデジタル信号Vout2に変換され、デジタルデータV(j)として入力される。あるいは、第3や第4実施形態におけるカラムADC回路280の出力データVout3がデジタルデータV(j)として入力される。また、Nビットの画素信号と対応する、画素信号画素信号検出部210によるMビットの分類信号Vsepaが、同一のタイミングでゲイン補正値生成部108に入力される。
そして、1Hメモリ312および加算器314を有するノイズ抑制処理部311は、垂直列ごとに設けられた画素信号検出部210、画素信号増幅部230、およびカラム回路63からなるカラム領域(特に増幅回路235)のアンプ特性ばら付きにより発生し得る固定パターンノイズをデジタル領域でノイズキャンセルする。このとき、高ゲインのカラムアンプは、高分解能のA/D変換部64と組み合わせることで、入力換算で極めて高い分解能が得られ、高精度のノイズキャンセルを行なうことができ、固定パターンノイズを非常に小さくすることができる。
一方、ゲイン補正処理部315において、ゲイン補正値生成部316は、分類信号Vsepaを、ゲイン補正値E(i)に変換する。たとえば、データで表されている分類信号Vsepaが8倍のゲイン値を示していれば、ゲイン補正値E(i)を“8”にする。
この後、乗算器318は、ノイズキャンセルされたNビットデジタル信号“V(j)−U(j)”をゲイン補正値E(i)で除算して補正する。加算器320は、ノイズキャンセルされた“V(j)−U(j)”に対してゲイン補正値Ek(i)で補正を加えることで、N+Mビットのデジタル信号に変換する。
こうすることで、画素信号増幅部230のNビットの増幅信号Vout2,Vout3について、分類信号Vsepaであらわされるゲイン設定値のビット数だけ、信号を取り扱うビット数を増加させる。本例では、分類信号Vsepaは、画素信号増幅部230に対するゲイン設定値と1対1に対応するようにしているので、分類信号Vsepaのビット数Mと、信号V(i)のビット数Nの“和“のビット数にする。
たとえば、信号拡張部310では、固体撮像装置2のべき乗の大きさで制御する場合において最大ゲインが8倍の場合、画素信号増幅部230におけるゲイン設定が1倍のときはN(たとえば14)ビットの信号を8倍し、ゲイン設定が8倍のときはNビットの信号をそのまま出力する。換言すれば、ゲイン設定が8倍のときは3ビット下位側に(またはゲイン設定が1倍のときは3ビット上位側に)ビットシフトすることで、全体として、3ビット分だけデジタルダイナミックレンジを拡張する。
ゲイン補正を加えずに、画素信号増幅部230における高ゲイン側の設定にしたままにしておくと、たとえば低照度部の信号が8倍増幅されるため、そのままでは画面全体としては場所によってゲインが異なる現象(以下ゲインミスマッチという)が生じ信号振幅の逆転が生じる。そこで、8倍増幅された部分をデジタル領域で1/8にするなど、画素信号増幅部230によるゲイン分を補正する。本例のように、ゲイン設定を2のべき乗の大きさで行なうようにすれば、ビットシフト操作でゲインミスマッチの補正ができるので、回路構成が簡易になる。
このような回路アーキテクチャ方式により、小信号出力時のS/Nを改善し、さらにN+Mビットという大きなデジタルダイナミックレンジも持つCMOSイメージセンサを構成することができる。Nビットの信号変化しかできない場合と比べて、M+Nビットでデジタル信号処理ができ、量子化ノイズの削減、さらにダイナミックレンジが拡大する。
これにより、信号拡張部310の後段に設けられる、たとえば、AE(Auto Exposure )処理、フリッカ補正、γ(階調)補正、シェーディング補正、あるいはカラーバランスなどの処理をデジタル領域で行なった場合でも、S/N比の劣化を招くことがなく、容易に高画質な画像を得ることができる。
<第5実施形態>
図22は、CMOS型の固体撮像素子10を主要部とする固体撮像装置2と周辺部の第5実施形態を示した概略図である。この図22は、カラムADC回路280を備えた第3および第4実施形態に対する変形例で示しているが、カラムADC回路280に代えてカラム回路63を備えた第1および第2実施形態に対しても同様に変形可能である。なお、この図22に示す例は、撮像部110とプリアンプ部61を主要部として固体撮像装置2が構成され、プリアンプ部61の後段に配される信号処理部330も、固体撮像装置2(固体撮像素子10)の同一チップ上に形成されているものとして示している。
上記第1〜第4実施形態では、カラム領域部(プリアンプ部61)のカラムごとに、各画素信号Vsig の大きさを独立に検出し、この検出結果を、各カラムに配置されている画素信号増幅部230に直接にフィードバックし、もしくは制御信号生成部46やチップ外部の制御手段を介して間接的にフィードバックすることで、画素信号Vsig の大きさに対して独立にゲインを設定するようにしていた。
これに対して、この第5実施形態では、カラムには画素信号検出部210を設けずに、チップ外部から画素信号増幅部230に対してゲイン設定を行なう点に特徴を有している。この場合、チップ外部で画素信号の大きさを検知して、その検知結果を参照してゲイン設定する構成と、画素信号の大きさを検知せずに、画素信号の大きさに関係なくゲイン設定する構成の何れをも取り得る。以下、第1〜第4実施形態との相違点を中心に、具体的に説明する。
図22に示すように、第1〜第4実施形態では設けられていた画素信号検出部210を取り外している。また、スイッチ250の切替制御は、制御信号生成部46からの制御線251を介してではなく、タイミング信号生成部40からの制御線251を介して行なうようにしている。
プリアンプ部61は、垂直列ごとにつまりカラムごとに、設定されたゲイン値で入力された信号を増幅する機能を持つ画素信号増幅部230とノイズ低減機能や直流変動抑制機能あるいはデータ保持機能を持つカラムADC回路280とを有している。画素信号増幅部230は、制御線231を介して制御信号生成部46から入力される種々の制御信号に基づいて、その動作が制御される。画素信号増幅部230とカラムADC回路280の構成・機能・動作は、上記第1〜第4実施形態において説明したものと同様である。第1および第2実施形態に対しての変形とする場合、カラムADC回路280をカラム回路63に置き換え、画素信号増幅部230と画素信号増幅部230とを備えた構成とすればよい。ここではその図示を割愛する。
垂直列の各画素信号増幅部230は、カラム領域部(プリアンプ部61)の外部に配された制御信号生成部46によって、1行分が、同一の増幅率(ゲイン値)で制御されるようになっている。つまり、上記第1〜第4実施形態のように各画素独立に最適化された増幅率に設定されるのではなく、1行分の画素信号Vsig の大きさは、同じゲイン設定になる。
プリアンプ部61の後段には、カラムADC回路280から入力された撮像信号Vout3に対してノイズキャンセル、ゲインミスマッチ補正処理、デジタルダイナミックレンジ拡大処理などをする信号処理部330が設けられている。
<信号拡張部の構成例>
図23は、第5実施形態の構成における信号処理部330の構成例を示した図である。図23(A)に示す第1例の信号処理部330は、チップ外部で画素信号の大きさを検知して、その検知結果を参照してゲイン設定を制御する構成のものである。すなわち第1例の信号処理部330は、入力された画素信号V(i)(詳しくはVout2またはVout3)に基づいて、1ラインもしくは1画面の信号量の大きさを検出し、所定の閾値と比較する画素信号レベル検出部333と、画素信号レベル検出部333の検知結果に基づいて画素信号Vsig の大きさを分類する分類信号Vsepaを生成する分類信号生成部334とを備える。画素信号レベル検出部333は、入力された画素信号V(i)を1ライン分もしくは1画面(1フレーム)分保持するメモリ335を有している。
画素信号レベル検出部333は、取り込んだ画素信号V(i)を一旦メモリ335に保持し、1ライン分もしくは1画面分の画素データの代表値Vrep を求める。ここで「代表値」は、たとえば平均値、中央値(メジアン値)、最大値と最小値の中間値など、様々なものを取り得る。何れを代表値として用いるかは、システムの使用目的によって切替可能にするのがよい。
なお、単位画素103の信号レベルを画素ごとに精度よく検知する構成とする必要はなく、1ライン分もしくは1画面分の信号レベルの概要を知ればよいので、検出アンプの周波数帯域を大きくする必要はない。また、検出回路をカラム領域部の外部に設けているので、検出回路から画素信号増幅部230へのノイズの問題も生じないし、回路設計の自由度も増す。すなわち、固体撮像素子10と同一のチップ上に画素信号検出部210を設ける場合には、チップ面積やノイズなどを考慮して設計する必要があるが、外部に画素信号レベル検出部333を設けることで、これらの問題を気にしなくてもよいいので、設計の自由度が増す。
画素信号レベル検出部333は、このようにして求めた代表値Vrep を所定の閾値と比較する。分類信号生成部334は、画素信号レベル検出部213の検知結果に基づいて代表値Vrep (すなわち1ライン分もしくは1画面分の画素信号Vsig )の大きさを分類する分類信号Vsepaを生成する。
この後、分類信号生成部334は、その分類信号Vsepaを参照して、制御信号生成部46を介して画素信号増幅部230に対してのゲイン設定を制御する。つまり、分類信号生成部334は、チップ外部で画素信号増幅部230に対してのゲイン設定を制御する、本発明に係るゲイン設定部の機能を持つ。このための回路構成は、上述した図8,図5に示したものと同様のものを用いて、その構成における画素信号Vsig を代表値Vrep に置き換えて処理すればよい。なお、分類信号生成部334の後段に、ゲイン設定制御部338を設け、ゲイン設定制御部336を介して、制御信号生成部46を制御するようにしてもよい。
ここで、ゲインの変更は、代表値Vrep が1ライン分のものである場合は1ライン単位で行なう。たとえば、1ライン全体の信号量がある閾値よりも小さくなった場合、水平ブランキング期間中にゲインの変更を実施する。
また、代表値Vrep が1画面分のものである場合は1フレーム(1画面)単位で行なう。たとえば画面全体の信号量がある閾値よりも小さくなった場合、垂直ブランキング期間中にゲインの変更を実施する。
また第1例の信号処理部330は、入力されたNビットの信号V(j)に対してノイズ抑制処理を行なうノイズ抑制処理部341と、画素信号増幅部230に設定されたゲイン値を補正するとともに画素信号レベル検出部333から取得したMビットの分類信号Vsepaを参照して、ノイズ抑制処理部341によりノイズ抑制された画素信号のダイナミックレンジを拡大するゲイン補正処理部345とを備えている。これらの構成は、図21に示した信号拡張部310の構成と同様のものでよい。
ただし、1ラインごとにゲイン設定値を制御する場合には、1ラインごとにゲイン補正を行なえばよい。また、1画面(1フレーム)ごとにゲイン設定値を制御する場合には、1画面(1フレーム)ごとにゲイン補正を行なえばよい。
一方、図23(B)に示す第2例の信号処理部330は、チップ外部で画素信号の大きさを検知する画素信号レベル検出部333および分類信号生成部334を備えていない。その代わりに、ユーザからの指示を受けて、カラム領域部の外部から制御信号生成部46を介して画素信号増幅部230に対するゲイン設定を制御するゲイン設定制御部338を備えている。
また、第2例の信号処理部330は、入力されたNビットの信号V(j)に対してノイズ抑制処理を行なうノイズ抑制処理部341を備えるとともに、ゲイン補正処理部345はゲイン設定制御部338により設定されたゲイン設定情報を参照してゲイン補正処理を行なう。なお、ゲイン補正処理部345を設けない構成とすることも可能である。ノイズ抑制処理部341やゲイン補正処理部345の構成は、図21に示した信号拡張部310の構成と同様のものでよい。
このような第2の構成においては、ユーザは、画像の明るさを確認しながら、図示しないユーザインタフェースを介してゲイン設定制御部338に希望の明るさやゲインを指示する。この指示を受け付けたゲイン設定制御部338は、ユーザの希望に添うようにゲイン設定を制御する。このような構成に依れば、外部から信号量の大きさに関係なく、ゲインを制御することで画像の明るさを制御できるようになる。
なお、この場合のゲイン制御は、1フレーム(1画面)単位で行なうのが基本であるが、実際には、ユーザがフレームレート相当でゲイン設定を切り替えることは希であるから、通常のカメラにおける、ゲインアップもしくはゲインダウンの処理と同様に考えればよい。よって、この場合、ゲイン補正処理部345は不要と考えてよい。
このように、第5実施形態の構成に依れば、カラム領域部に配置される素子数を削減できる。そのため、チップ面積を小さくすることが可能であり、チップ面積の縮小化に大きな効果がある。また、画素信号検出部が画素信号増幅部230に与えるノイズの問題も生じない。
<ノイズ解析>
図24〜図26は、図11〜図14に示したスイッチドキャパシタ方式のノイズキャンセルアンプ(カラムアンプ:画素信号増幅部230)におけるノイズ解析を説明する図である。ここで、図24は、画素ソースフォロワの熱雑音計算の等価回路におけるノイズ解析を示し、図25は、カラムアンプから発生し得る雑音計算の等価回路におけるノイズ解析を示す。また、図26は、実験結果を示す。
ノイズ解析に当たっては、カラムアンプだけでなく、前段の撮像部110のノイズや後段のカラム回路63やカラムADC回路280さらには出力アンプ129のノイズも考慮する必要がある。
たとえば、カラムアンプにおいて、高ゲインで増幅を行なえば、その後で重畳するランダムノイズ、たとえば出力アンプ129のノイズ、A/D変換部64の量子化ノイズを低減することができる。しかし、撮像部110のソースフォロワ、および、カラムアンプ自体が発生し得るノイズを十分小さくすることができなければ、トータルとしての顕著なノイズ低減の効果は期待できない。
撮像部110のソースフォロワ、カラムアンプおよびその後のカラム回路63やカラムADC回路280に対して熱雑音をノイズ源とした場合のアンプ出力におけるノイズを計算することとする。
単位画素103のソースフォロワ、スイッチドキャパシタカラムアンプ、およびカラム回路63やカラムADC回路280のサンプリング容量を含めた回路おけるノイズ成分は次の5つからなる。
1.画素ソースフォロワをノイズ源とし、カラムアンプでサンプリングされるノイズ(リセットサンプル時)
2.カラムアンプ内のソース接地増幅器をノイズ源とし、カラムアンプでサンプリングされるノイズ(リセットサンプル時)
3.画素ソースフォロワをノイズ源とし、カラム回路63やカラムADC回路280で、直接サンプリングされるノイズ(信号サンプル時)
4.カラムアンプ内のソース接地増幅器をノイズ源とし、カラム回路63やカラムADC回路280で直接サンプリングされるノイズ(信号サンプル時)
5.カラムアンプの帰還容量をリセットするスイッチがノイズ源となり、発生し得るノイズ
図24および図25の等価回路において、1,2の場合においてはアンプの入力までのノイズ電力に対する伝達関数を求め、そのノイズ電荷が出力に転送されるとして計算する。また、2,3の場合は、アンプ出力、すなわちカラム回路63やカラムADC回路280の入力までのノイズ電力に対する伝達関数を計算する。そして、帰還容量のリセットノイズはアンプの入力と出力間の相関項を考慮して計算する。
たとえば、画素ソースフォロワ(SF)の雑音についてみれば、ゲインG=C1/C2を大きくすることで、画素ソースフォロワのノイズを低減できる。すなわち、図24に示すように、アンプ前後にゲイン調整を行なうための容量C2を設定させ、この等価回路から、入力換算のノイズ電力(2乗平均)の近似式が図中に示す式(3)のように得られる。ここで、ゲインGを大きくすると、ノイズ帯域制限効果を大きくできるからである。
また、カラムアンプから発生し得る雑音についてみれば、ゲインG=C1/C2を大きくすることで、カラムアンプのノイズを低減できる。これは、図25に示すように、入力換算のノイズ電力(2乗平均)は図中に示す式(4)で表されるが、ゲインGを大きくすることで、ノイズ帯域制限効果を大きくできるとともに、CiとC2の比によりノイズ源が増幅されるが、ゲインGを大きくすることで、入力換算では小さく見せることができるからである。
このように、上記実施形態で示したようなカラムアンプにてゲイン調整を行なうことで、画素ソースフォロアおよびゲイン調整を行なうカラムアンプから発生し得る熱雑音は入力換算値として削減できることが分かる。
すなわち、カラムに画素信号を適応的に増幅する回路を組み込んでゲインを高くすることによって、入力換算ノイズを減少できる。ノイズ帯域が狭いカラム回路で高ゲインで増幅することは、撮像部110のソースフォロワが発生し得るノイズやカラムアンプ自体が生ずるノイズなどの、支配的なノイズ源で広帯域の出力アンプなどが発生し得るノイズを、入力換算で小さく見せることで、ノイズ低減効果が生じる。
図26は、実際に、上記第1実施形態の構成にてイメージセンサを試作し評価した、ある1フレームにおけるある1ラインのランダムノイズの分布を示している。これは特定の1ラインに注目し固定パターンノイズ成分を計算し、この注目する1ラインの出力データから減算したものである。ランダムノイズσは1倍のゲイン設定では785μVrms、8倍のゲイン設定では2.1mVrmsであり入力換算で263μVrmsとなった。これは、本実施形態を適用しない場合のランダムノイズの数分の1以下に相当する。固定パターンノイズは図示を割愛するが、補正前で1.7mVrms、補正後で50μVrmsとなり、各ノイズがCCD並の良好な特性が得られた。
このように、カラム領域部に、各画素信号の大きさを独立に検出し、この信号の大きさに対して独立にゲインを設定する機能を画素列ごとに設けることにより、ランダムノイズを、従来の数分の1以下に削減できる。固体撮像装置2(固体撮像素子10)からの電圧振幅も大きく、結果としてダイナミックレンジを拡大できた。たとえば、12(14)ビットのA/D変換部64にし、1倍〜8倍でゲイン設定を制御すれば、15(17)ビットの精度を出すことができた。簡単な回路構成、微細画素を用いて、画素ごとのS/N比を向上することや、ダイナミックレンジを拡大することができる。
以上説明したように、本実施形態に依れば、主に以下のような作用効果を得ることができる。
1)カラム方式でありながら、各画素の信号を最適なゲインに増幅して読み出すことができる。画素ごとに独立にゲイン設定することもできる。
2)小信号出力時の画素のS/N比を大幅に改善でき、高感度の固体撮像装置を得ることができる。
4)12(14)ビットのAD変換と、カラム内部で、2のべき乗に従って、通常時に対して(1倍)3段階のゲイン設定(2,4,8倍)を行なうことで、15(17)ビット以上の広ダイナミックレンジを得ることができる。
5)AE、フリッカ補正、γ補正、シェーディング補正、カラーバランスなどの処理をデジタル領域で行なった場合でも、S/N比の劣化を招くことがなく、容易に高画質な画像を得ることができる。
なお、以上の説明は、本発明を単体のCMOSイメージセンサに適用した場合の構成について説明したが、本発明は、上述のような固体撮像装置を搭載したカメラ装置、携帯端末、パソコンなどの、撮像手段を備えた各種電子機器に適用することにより、これら機器の撮像部の高機能化などに貢献できる。
また、本発明は、他の構造の高感度CMOSイメージセンサや、CCDと組み合せたCCD−CMOS混載センサにも適用することができる。
さらに、その他の具体的構成についても本発明の主旨を逸脱しない範囲で種々の変形が可能である。