JP2009239398A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置において、固体撮像素子の蓄積期間を動的に変更することなく、できる限り人間の目の特性に合ったリニアリティの実現と、ダイナミックレンジの拡大を図る。
【解決手段】センサチップ１１は、規格に定められた既存の１フレーム期間より短い露光期間で、１フレーム期間内で複数回画素部から読み出した撮像信号をｎチャンネル並列に出力する。フレームメモリ１３はこの撮像信号を複数フレーム分蓄積する。フレーム加算回路１４はフレームメモリ１３から読み出した複数フレームの信号を加算して、規格の１フレーム分の信号を作成する。これにより、ダイナミックレンジは最大でＮの２乗倍にすることができる。ピクセル信号レベル判定コンパレータ１５は、フレームメモリ１３から読み出した信号レベルを画素毎に判定し、その判定結果に基づいて、フレーム加算回路１４におけるフレーム加算の枚数と重み付け等をフレーム加算回路３２で変更する。
【選択図】図１

Description

本発明は撮像装置に係り、特にダイナミックレンジ改善のためにＣＭＯＳセンサ等の固体撮像素子の多チャンネル読み出しを行う撮像装置に関する。

ＣＭＯＳセンサは、銀塩カメラに比べてダイナミックレンジが狭い。その改善のためにデバイス及びシステムの観点から以下のような各種の提案がなされている。例えば、上記の提案としては、（１）ＣＭＯＳセンサの画素部での保持容量を追加して飽和電荷量を増加させる方法（例えば、特許文献１参照）、（２）ＣＭＯＳセンサのフォトダイオードをリセットするときに対数圧縮を行うことで見かけ上のダイナミックレンジを拡大する方法（例えば、特許文献２参照）、（３）短時間露光と長時間露光を行い、画素内またはチップ出力にて加算を行って、高輝度の時のダイナミックレンジを拡大する方法（例えば、特許文献３〜５参照）、（４）全画素のフレーム読み出しを数回行い、その信号を加算処理等してダイナミックレンジを拡大する方法（例えば、特許文献６参照）などがある。

これら提案を実現することで、基本的にはＣＭＯＳセンサのフォトダイオード（以下、ＰＤとも記す）に蓄積できる電荷量以上のダイナミックレンジを持つことが可能となる。

また、固体撮像素子上に結像される光像に比例した電荷蓄積を複数回に分けて取り出し、合成することでダイナミックレンジの拡大された撮影画像を得ることのできる撮像装置も従来提案されている（例えば、特許文献７参照）。

特開２００６−２１７４１０号公報 特開２０００−０８３１９８号公報 特開２００４−１５９２７４号公報 米国特許第６１７５３８３号明細書 特開２００３−１６９２５９号公報 特開２００３−２５９２３４号公報 特開２００７−０８１９２４号公報

しかしながら、特許文献１〜７の提案には以下に示すような課題や短所があり、改善が求められている。

（１）特許文献１記載の撮像装置により画素部での蓄積を行う場合、通常は蓄積容量を追加する必要があり、スイッチング等のためのトランジスタも必要で、レイアウト上ＰＤ部の面積を減らすことになり、ＰＤ部の飽和電荷量を逆に減少させてしまう。

（２）特許文献１記載の撮像装置のように画素部に容量等保持部を持ってダイナミックレンジを拡大する場合は、露光時間を変更するなどにより高輝度側の信号を圧縮することが多く、リニアなレベルでのダイナミックレンジの拡大は２〜３倍程度しかない。

（３）特許文献２に開示された、ＰＤのリセット時に対数圧縮する方法は、グローバルシャッタを実現することが難しく、また、リニアなレベルでのダイナミックレンジの拡大はできず、更に、構造上ＰＤをリセットする際に生じるノイズ（ＫＴＣノイズ）を抑圧する動作は困難であるという問題がある。つまり、この方法ではＳ／Ｎが悪化する。

（４）特許文献３〜５に記載された、短時間露光と長時間露光とを組み合わせ、画素内又はチップの出力後に加算等の処理にてダイナミックレンジの拡大を行う方法は、画素内での加算は簡便であるが、画素別にコントロールすることは難しく、これを実現するために画素部への配線の本数が増加するとＰＤの面積が減少してしまうという短所がある。また、ダイナミックレンジ拡大時に露光時間の差による不具合があり、特に動画の時に長時間露光と短時間露光の時間差が画質に影響する。更に、この方法は、ＣＭＯＳセンサ特有のローリングシャツタによる歪みが目に付きやすい。

（５）特許文献６に記載された、チップ出力後の信号処理で短時間露光と長時間露光のフレーム出力を加算する方法は、ＣＭＯＳセンサ等の読み出しスピードの問題から高速に読み出す動画等ではあまり使用できない。

（６）また、ダイナミックレンジの拡大を高輝度側を圧縮して実現する方法は、リニアなレベルでのダイナミックレンジは狭く、高輝度側のリニアリティが悪く、階調が充分とれず、画質が悪いことが考えられる。できる限り人間の目の特性に合ったリニアリティを実現することが望ましい。

（７）特許文献７記載の撮像装置は、ダイナミックレンジ（飽和せずに信号を取り出せる光の強さの範囲）を拡大するために、蓄積飽和量又は蓄積期間を変えた画像を合成するため、リニアリティが良くない。

本発明は以上の点に鑑みなされたもので、ＣＭＯＳセンサ等の固体撮像素子で多チャンネル読み出し方法を用いて、撮像素子の蓄積期間を動的に変更することなく、できる限り人間の目の特性に合ったリニアリティの実現とダイナミックレンジの拡大とをなし得る撮像装置を提供することを目的とする。

上記の目的を達成するため、本発明は、各々光電変換手段を備えた画素が複数規則正しく配列された固体撮像素子を用いた撮像装置において、
複数の画素のうち列方向に配列された画素毎に設けられており、規格で定められた既存の１フレーム期間の１／Ｎ倍（Ｎは２以上の整数）の露光期間で露光させた固体撮像素子の列方向に配列された画素のうち同時に読み出された複数の画素からの撮像信号に対して、１水平期間内で複数回相関二重サンプリング動作を行い、その動作後の撮像信号を既存の１フレーム期間内でＮ回、複数の水平信号線に出力する多チャンネル出力手段と、多チャンネル出力手段からＮ回出力された撮像信号を、デジタル信号の画像データに変換後に記憶する第１の記憶手段と、第１の記憶手段から読み出した画像データのうち、各画素の信号毎に加算係数を乗算した後加算合成して、既存の１フレーム期間における画像信号として出力する加算手段と、第１の記憶手段から読み出した画像データの信号レベルを各画素毎に判定し、その信号レベルに応じて加算手段における加算係数を可変制御する加算係数制御手段と、を有することを特徴とする。

この発明では、固体撮像素子内の画素の蓄積期間を動的に変更することなく、第１の記憶手段に蓄積された複数の画像データを加算することでダイナミックレンジを拡大することができる。また、この発明では、複数フレーム間で同一画素の信号が全く変化しない場合と変化する場合で、重み付けを変えることが可能である。

また、上記の目的を達成するため、本発明は、設定したタイミングで固体撮像素子への入射光を遮断した状態における固体撮像素子の全画素から出力された１フレーム分の撮像信号を遮光時画像データとして記憶する第２の記憶手段と、加算手段による加算合成動作の前に、第１の記憶手段から読み出した画像データから、第２の記憶手段から読み出した遮光時画像データを減算し、その減算後の画像データを、加算手段で利用させるために第１の記憶手段に再度記憶させる減算手段と、を更に有することを特徴とする。この発明では、加算手段により加算する第１の記憶手段に記憶した画像データを、加算前に画素毎の特性バラツキによる固定パターンノイズ（ＦＰＮ）を低減したデータとすることができる。

本発明によれば、画素の蓄積期間を動的に変更することなく、できる限り人間の目の特性に合ったリニアリティの実現とダイナミックレンジの拡大ができる。また、本発明によれば、光信号の時間的変動に対して、より自然にダイナミックレンジを変化させることができる。

本発明は、前記した目的を達成するため、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型撮像素子（以下、ＣＭＯＳセンサ）等の固体撮像素子から画素部のフォトダイオード（ＰＤ）で保持できる飽和電荷量より多くの信号を取り出す読み出し方法により、画質の劣化を極力抑え、ダイナミックレンジを拡大するものである。この画質の劣化を極力抑え、ダイナミックレンジを拡大するために、本発明は以下のようにする。

第一に、画素部では出来る限りＰＤの面積が大きくできるように余計な回路や配線等を入れない。ＰＤの面積を大きくすることで、ＰＤで蓄積できる飽和電荷量を増やすことができ、これによりダイナミックレンジとＳ／Ｎが向上する。

第二に、センサチップ外で露光タイミングの異なる信号を加算する場合は、加算するデータに時間的な差が発生するが、ＰＤで飽和しない信号を用いることでダイナミックレンジを拡大する。

第三に、画質上問題となるＳ／Ｎの低下や色調のずれを発生せずに、直線性の良いダイナミックレンジの拡大を行うために、露光時間を短縮し、ＰＤへ蓄積できる電荷量を増加させ、取り出した信号を加算する。

第四に、画素部からの信号読み出しは高速に行う。本発明では、消費電力、プロセスルール（コスト）の点を考慮して、画素部に対して多チャンネル読み出しにより高速読み出しを行う。

そこで、次に、本発明において必須である多チャンネル読み出しについて説明する。多チャンネル読み出しを説明するために、まず、一般的なＣＭＯＳセンサの１チャンネル読み出しについて説明する。図１２は、一般的なＣＭＯＳセンサの１チャンネル読み出し構成を示す。

同図において、ＣＭＯＳセンサ６０は、光電変換手段であるフォトダイオード（ＰＤ）と複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部６１と、画素部６１の任意の画素を選択する垂直駆動部６２及び水平駆動部６４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路（相関二重サンプリング回路）６３と、ＣＤＳ回路６３から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）６５と、を有して構成される。

ＣＤＳ回路６３は、垂直方向（カラム方向）に配列された画素毎に設けられて水平方向の画素数分あり、垂直駆動部６２で選択された水平１ライン分の画素から出力される信号に対して、固定パターンノイズを抑圧する処理を実行し保持した後、その信号を１ライン分連続して読み出す。

図１３（Ａ）〜（Ｊ）は、図１２の各部のタイミングチャートを示す。垂直駆動部６２及び水平駆動部６４をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１３（Ａ）、（Ｆ））を入力する。垂直駆動部６２は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１３（Ｂ）〜（Ｄ））。水平駆動部６４は、垂直駆動部６２の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１３（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１３（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路６３の出力をスイッチ等で選択する。ＣＤＳ回路６３から出力された信号は、ＡＭＰ６５を通して図１３（Ｊ）に示す如き信号とされて出力される。

この水平駆動スタート前にＣＤＳ回路６３にて画素からの信号読み出しと画素リセット後のリセット信号を読み出し、ＣＤＳ動作を行っている。このＣＤＳ動作は、図１３（Ｅ）に模式的に示される。この水平駆動の周期が、出力データレートｆｈである。１チャンネル読み出しの場合は、全画素を読み出すのに必要なスピードは以下の（１）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ等の１水平期間あたりの読み出し以外の時間をｘ［ｓ］とする。

次に、多チャンネル読み出しの例について図１４〜図１７と共に説明する。図１４は、ＣＭＯＳセンサの２チャンネル読み出しの構成例のブロック図、図１６は、ＣＭＯＳセンサの４チャンネル読み出しの構成例のブロック図である。基本的な動作は図１２の１チャンネル読み出しと同様である。

図１４において、ＣＭＯＳセンサ７０は、ＰＤと複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部７１と、画素部７１の任意の画素を選択する水平駆動部７２、７３、及び垂直駆動部７４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路７５及び７６と、ＣＤＳ回路７５、７６から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）７７及び７８と、を有して構成される。

図１４に示す２チャンネル読み出しの場合は、画素部７１の上下にＣＤＳ回路７５と７６とを配置し、画素部７１の出力信号に対してＣＤＳ動作を行う。この場合は１カラム毎に上下にＣＤＳ回路７５、７６を分割配置している。よって、ＣＤＳ回路７５、７６は、それぞれ水平画素数の１／２の回路数となる。

図１５（Ａ）〜（Ｋ）は、図１４の各部のタイミングチャートを示す。垂直駆動部７４及び水平駆動部７２、７３をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１５（Ａ）、（Ｆ））を入力する。垂直駆動部７４は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１５（Ｂ）〜（Ｄ））。水平駆動部７２、７３は、垂直駆動部７４の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１５（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１５（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路７５、７６の出力をスイッチ等で同時に選択する。

すなわち、ＣＤＳ回路７５及び７６は、水平方向２画素からの信号に対して同時に図１５（Ｅ）に模式的に示すようにＣＤＳ動作を行い、そのＣＤＳ動作後の信号を水平駆動部７２、７３で選択して信号出力する。ＣＤＳ回路７５、７６からそれぞれ出力された信号は、ＡＭＰ７７、７８を通して図１５（Ｊ）、（Ｋ）に示す如く信号とされて並列に２チャンネル同時に出力される。

この２チャンネル読み出しでは、水平２画素を同時に処理する事になるので、それぞれのチャンネルの出力データレートｆｈは以下の（２）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ回路の１Ｈ（１水平期間）あたりの読み出し以外の時間をｘ［ｓ］とする。

（２）式と（１）式とを比較すると分かるように、（２）式の方がチャンネルが増えた分、出力データレートを下げる事ができる。

次に、図１６に示す４チャンネル読み出し方法について説明する。図１６において、ＣＭＯＳセンサ８０は、ＰＤと複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部８１と、画素部８１の任意の画素を選択する水平駆動部８２、８３、及び垂直駆動部８４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路８５_１〜８５_４と、ＣＤＳ回路８５_１〜８５_４から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）８６_１〜８６_４と、を有して構成される。

図１６に示す４チャンネル読み出しの場合は、水平４画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を、画素部８１の上下に配置したＣＤＳ回路８５_１〜８５_４でＣＤＳ動作を同時に行い、水平駆動部８２及び８３で４チャンネル出力にする場合である。読み出しを４チャンネルに分けるため、ＣＤＳ回路を４チャンネルに分けているが、ＣＤＳ回路８５_１〜８５_４全体の回路部数は水平画素数分あればよいため、ＣＤＳ回路８５_１〜８５_４のそれぞれの内部の回路部数ｃは水平方向の画素数をｈ個とすると
ｃ＝ｈ／４ （３）
となる。

図１７（Ａ）〜（Ｍ）は、図１６の各部のタイミングチャートを示す。垂直駆動部８４及び水平駆動部８２、８３をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１７（Ａ）、（Ｆ））を入力する。垂直駆動部８４は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１７（Ｂ）〜（Ｄ））。水平駆動部８２、８３は、垂直駆動部８４の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１７（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１７（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路８５_１〜８５_４の出力をスイッチ等で同時に選択する。

すなわち、ＣＤＳ回路８５_１〜８５_４は、Ｐ１〜Ｐ４等の水平方向４画素の出力に対して同時に図１７（Ｅ）に模式的に示すようにＣＤＳ動作を行い、そのＣＤＳ動作後の信号を水平駆動部８２、８３で選択して信号出力する。ＣＤＳ回路８５_１〜８５_４からそれぞれ出力された信号は、ＡＭＰ８６_１〜８６_４を通して図１７（Ｊ）〜（Ｍ）に示す如く信号とされて並列に４チャンネル同時に出力される。

この４チャンネル読み出しでは、水平４画素を同時に処理する事になるので、それぞれのチャンネルの出力データレートｆｈは以下の（４）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ回路の１Ｈあたりの読み出し以外の時間をｘ［ｓ］とする。

（４）式と（１）式、（２）式とを比較すると分かるように、（４）式の方がチャンネルが増えた分、出力データレートを下げる事ができる。

次に、本発明の概略構成について説明する。図１は、本発明になる撮像装置の概略構成図を示す。撮像装置１０は、固体撮像素子であるＣＭＯＳセンサを構成するセンサチップ１１と、センサチップ１１から出力されたアナログ信号である撮像信号に対して所定の信号処理を行うアナログ・フロント・エンド（ＡＦＥ）及びＡ／Ｄ変換器（ＡＤＣ）１２と、複数のフレーム信号をそれぞれ記憶する複数のフレームメモリ１３と、フレームメモリ１３からの信号を加算した後フレームメモリ１３に書き戻すフレーム加算回路１４と、ピクセル信号レベル判定コンパレータ１５と、色復調等カメラシステム１６と、を有して構成されている。

図２はセンサチップ１１の一例の構成のブロック図を示す。センサチップ１１は、光電変換手段であるフォトダイオードと、リセットトランジスタや出力トランジスタなど複数のトランジスタとを有する画素が、複数個２次元マトリクス状に配置された公知の構成の画素部１１１と、画素部１１１のうち上半分の領域の各画素を水平方向に駆動する水平駆動部１１２ａと、画素部１１１のうち下半分の領域の各画素を水平方向に駆動する水平駆動部１１２ｂと、画素部１１１を垂直方向に１ラインずつ順次駆動する垂直駆動部１１３と、画素部１１１に接続された全部で２ｋ（＝ｎ）個のＣＤＳ回路（相関二重サンプリング回路）１１４₁〜１１４_2kと、ＣＤＳ回路１１４₁〜１１４_2kの各出力信号を別々に増幅する全部で２ｋ個の増幅器（ＡＭＰ）１１５₁〜１１５_2ｋと、を有して構成されている。ＣＤＳ回路１１４₁〜１１４_kは、画素部１１１の列方向（カラム方向）に配置された画素毎に接続されており、画素部１１１で発生する固定パターンノイズを抑圧する。このセンサチップ１１は、図２に示すようにｎ個のＡＭＰ１１５₁〜１１５_2ｋのうちのｐ個（２≦ｐ＜ｎ）から信号を並列に出力するｐチャンネル同時読み出しを行う。

次に、この撮像装置の動作について図３のタイミングチャートと共に説明する。図２のセンサチップ１１において、垂直駆動部１１３及び水平駆動部１１２ａ、１１２ｂはシフトレジスタを用いて構成されており、それぞれのシフトレジスタに駆動用スタートパルス（図３（Ａ）、（Ｆ））を入力する。垂直駆動部１１３は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図３（Ｂ）〜（Ｄ））。

水平駆動部１１２ａ、１１２ｂは、垂直駆動部１１３の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図３（Ｆ））を入力し、それを水平画素数分シフトする（図３（Ｇ）、（Ｈ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路１１４_１〜１１４_2kのうちｐ個のＣＤＳ回路毎に出力をスイッチ等で同時に選択する。

すなわち、ＣＤＳ回路１１４_１〜１１４_2kのうち、同時に読み出しを行うｐラインの同じ列方向にあるｐ個の画素からの信号が供給されるｐ個のＣＤＳ回路に対して、図３（Ｅ）に模式的に示すように、１水平期間の初めで１回当たり水平方向ｎ／ｐ画素単位の信号に対してＣＤＳ動作を行い、そのＣＤＳ動作後の信号を保持する。各水平期間毎に上記の動作を繰り返して、水平方向の全ての画素からの信号に対してＣＤＳ動作を行うと、次のｐラインの同じ列方向にあるｐ個の画素からの信号が供給されるｐ個のＣＤＳ回路に対して、上記と同様の動作を行う。

このようにして、垂直方向に対しても全ラインの画素に対してＣＤＳ動作が終わると、ＣＤＳ回路１１４_１〜１１４_2kに保持された信号は、水平駆動部１１２ａ、１１２ｂの選択により出力され、ＡＭＰ１１５_１〜１１５_2kを通して図３（Ｉ）〜（Ｋ）に示す如く信号とされて並列にｎチャンネル同時に出力される。この例の場合の水平駆動画素単位ｊは、次式で表される。

ｊ＝ｎ／ｐ （５）
図１に戻って説明する。センサチップ１１からｎチャンネル出力されたアナログ信号である撮像信号は、ＡＦＥ・ＡＤＣ１２に供給されて所定の信号処理が施された後デジタル信号に変換されて、フレームメモリ１３に供給されて蓄積される。この撮像装置では、これを一般に規定された（通常の）フレーム時間より高速に行い、通常の１フレーム時間内に複数枚のフレーム信号を読み出す。

勿論、読み出すフレーム時間に合わせて、センサチップ１１の画素を構成するＰＤへの露光時間も通常の１フレーム時間より短くする。通常の１フレームに相当する時間でセンサチップ１１から読み出されたフレーム数をＮ枚とすると、このＮ枚のフレームの画像データは、Ｎ個のフレームメモリ１３のそれぞれで蓄積される。

ここで、読み出すフレーム時間に合わせて、上記ＰＤへの露光時間を従来の１／Ｎ倍にすると、上記ＰＤに入射できる光の強度をＮ倍にしても、上記ＰＤに蓄積できる電荷量は同じになる。また、図１の撮像装置では、露光時間を１／Ｎ倍にしてその露光時間内に全ての画素（１フレーム）の信号を出力するため、一般に規定された１フレームの時間で上記ＰＤに蓄積できる電荷量も従来のＮ倍となる。よって、ダイナミックレンジはＮの２乗倍となる。

つまり、撮像装置１０では、従来の露光時間Ｔ１を１／Ｎ倍にしてそれをＮ回（Ｎフレーム）読み出す。勿論、露光と読み出しを並行して行うため、トータルの露光時間Ｔ１内にＮフレームのデータを読み出す事が可能である。これにより、センサチップ１１の画素を構成するＰＤの飽和電荷量がｍ個とすると、このシステム動作時の飽和電荷量Ｍｍａｘは擬似的に次式で表される。

Ｍｍａｘ＝ｍ×Ｎ （６）
ここで、図１に示した撮像装置１０の出力データレートｆｈは、ｎチャンネル出力としているので、次式で表される。ただし、垂直方向の選択ライン数（１Ｈ内でＣＤＳのタイミングがずれている場合）をｐ本、水平方向の画素数をｈ個、垂直方向の画素数をｖ個、１秒間の読み出し枚数をＮ枚とする。またＣＤＳ回路他の１Ｈあたりの読み出し以外の時間をｘ［ｓ］とする。

これにより、チャンネル数を増やせば増やすほどデータレートを下げることができる。このｆｈを従来の値の１０分の１にできればほぼ１０倍のフレームを読み出せることになる。実際は６倍程度のフレームレートにて読み出すことで約２３.３ｄＢのダイナミックレンジの拡大が可能となるため、この程度のフレームレートアップを行うのが現実的である。

再び図１に戻って説明する。フレーム加算回路１４はフレームメモリ１３から読み出した複数の信号を加算して、１フレーム分の信号を作成する。これにより、ダイナミックレンジは最大でＮの２乗倍にすることができる。

ここで、ピクセル信号レベル判定コンパレータ１５は、フレームメモリ１３から読み出した信号レベルを画素毎に判定し、その判定結果に基づいて、フレーム加算回路１４におけるフレーム加算の枚数と重み付け等をフレーム加算回路３２で変更する。これにより、最適なダイナミックレンジでの良質な画像を作成することができる。

すなわち、フレームメモリ１３には、従来の露光時間Ｔ１を１／Ｎ倍にしてそれをＮ回（Ｎフレーム）センサチップ１１から読み出した画像データが蓄積されるため、画素毎に信号レベルを判定して、加算レベル（枚数）を変えることができる。そのため、ピクセル信号レベル判定コンパレータ１５は、フレームメモリ１３から読み出した画像データの信号レベルが小さい場合は、フレーム加算回路１４におけるフレーム加算枚数を増やす事で信号を増加してノイズを抑圧し、また信号レベルが大きい場合はフレーム加算回路１４におけるフレーム加算枚数を減らして、ダイナミックレンジを拡大し、擬似的に圧縮できる。

フレーム加算回路１４におけるフレーム信号加算時の信号レベルＳは、例えばＮ枚のフレーム信号の信号レベルをそれぞれＳ_１、Ｓ_２、・・・、Ｓ_Ｎとし、それらが同一の信号レベルＳxとすると次式で表される。

Ｓ＝Ｓ_１＋Ｓ_２＋・・・＋Ｓ_Ｎ＝Ｓx×Ｎ （８）
一方、Ｎ枚のフレーム信号を加算して得られる加算信号のノイズレベルＮｏは、Ｎ枚のフレーム信号に含まれるノイズをそれぞれＮ_１、Ｎ_２、・・・、Ｎ_Nとし、それらが同一のレベルＮxとし、かつ、各ノイズに相関がないとすると次式で表される。

Ｎｏ＝√（（Ｎ_１）^２＋（Ｎ_２）^２＋・・・＋（Ｎ_N）^２）＝√Ｎ×Ｎx （９）
従って、信号レベルＳはノイズレベルＮｏよりも増加するのでＳ／Ｎ比は改善される。

また、リニアリティを確保したままダイナミックレンジを拡大するためには、加算した後で平均を取ることになる。その場合の信号レベルＳｖａｒは次式のようになる。

Ｓｖａｒ＝（Ｓ_１＋Ｓ_２＋・・・＋Ｓ_Ｎ）／Ｎ （１０）
信号毎に重み付けをして加算する場合の信号レベルＳｗは次式のようになる。

Ｓｗ＝（Ｓ_１×Ａ＋Ｓ_２×Ｂ＋・・・＋Ｓ_N×Ｚ） （１１）
ここで（１２）式中、Ａ，Ｂ，・・・，Ｚは信号に重み付けをする係数である。これらの係数としては、例えば、作成する１フレームの信号を、ダイナミックレンジを上げる前と同じ範囲に入れる場合は「１」以下の数値が入る。（１０）式及び（１１）式のいずれの場合もＳ／Ｎは改善される。

また、加算後のダイナミックレンジの拡大は、加算後の１フレーム信号のダイナミックレンジＳx×Ｎ／（√Ｎ×Ｎx）を、加算前の１フレーム信号のダイナミックレンジＳx／Ｎxで除算することにより得られ、それをｄＢに変換すると、２０×ｌｏｇ（√Ｎ）となる。実際は、露光時間を１／Ｎ倍にしているため、それによるダイナミックレンジの拡大がＮ倍となるため、最終的にはダイナミックレンジの拡大量ＤｕはｄＢに換算すると次式で表される。

Ｄｕ＝２０×ｌｏｇ（Ｎ×√Ｎ） （１２）
これにより、例えば２０ｄＢ程度ダイナミックレンジを上げるためには、４〜５倍高速に読み出す必要がある。この場合、従来の露光時間を短くすることは通常のＣＭＯＳセンサで可能であるが、短くした時間内に全ての画素データを読み出す事は難しいため、上記の多チャンネル読み出しが必須となる。

図１の撮像装置１０では、フレームメモリ１３において画素毎に信号レベルをＮフレーム分保持しているために、画素毎の最適な信号設定が可能となる。例えば、画素の時間的信号変化が分かるため、信号レベルが増加していく場合と減少していく場合とで加算方法や重み付けの値を変えて画質的に良くすることができる。基本的には図１に示すような構成でダイナミックレンジの拡大が可能となる。なお、フレーム加算後の画像データは、色復調カメラシステム１６に供給される。

次に、本発明の一実施の形態について図４〜図６と共に説明する。

図４は、本発明になる撮像装置の一実施の形態のブロック図を示す。本実施の形態の撮像装置２０は、図１のセンサチップ１１に相当する被写体を撮像して撮像信号を出力するグローバルシャッタ機能を備えたＣＭＯＳセンサ２１と、図１のＡＦＥ・ＤＡＣ１２に相当するゲイン・コントロール・アンプ（ＧＣＡ）２２、ＤＣオフセット調整部２３及びＡＤＣ２４と、図１のフレームメモリ１３に相当するフレームメモリ２５と、図１のフレーム加算回路１４に相当する加算器２８及び１フレーム加算係数生成器２９と、図１のピクセル信号レベル判定コンパレータ１５に相当するピクセル信号レベル判定コンパレータ３０とを有する。更に、撮像装置２０は、暗電流等ＦＰＮ補正フレームメモリ２６、減算器２７、及びその他色復調前信号処理部３１を有する。

次に、本実施の形態の動作について図５及び図６のタイミングチャートを併せ参照して説明する。ＣＭＯＳセンサ２１は、前述した読み出し方法により、ＣＭＯＳセンサ２１に結像された画像を走査方向に分割し、この分割されたカラム毎の画像のそれぞれを、規格で定められた既存の１フレーム期間内で、複数回ｎチャンネル並列に読み出したアナログ信号である撮像信号を出力する。この時のＣＭＯＳセンサ２１から出力される撮像信号と、後述するフレームメモリ２５への信号書き込みは、図５に示す通常のタイミングに対してこの例では６倍にあたる図６に示す高速動作を行う。

１チャンネル読み出しの従来装置では、図５（Ａ）に示す垂直同期信号ＶＤのハイレベルのパルスから次のハイレベルのパルスまでの期間が、既存の規格で定められた（通常の）１フレーム期間である。また、この通常の１フレーム期間は、図５（Ｂ）に示すように露光時間である。また、水平１ラインは、図５（Ｃ）、（Ｄ）に示す水平同期信号（ＨＤ）のハイレベルのパルスから次のハイレベルのパルスまでの期間であり、上記の通常の１フレーム期間内に水平ラインの本数分、撮像信号がＣＭＯＳセンサから出力される。

このＨＤのハイレベルのパルスと次のハイレベルまでの水平期間の１ライン毎に、まず図５（Ｅ）に模式的に示すように、ＣＭＯＳセンサ内のＣＤＳ回路によりＣＤＳ動作を行い、その後、水平の画素数分読み出し動作（具体的にはカラムＣＤＳの出力信号を選択するためのシフトレジスタ出力をシフトするなど）を行い、この読み出し動作に合わせてＣＭＯＳセンサ出力に順次カラム毎の信号が出力される。

これに対し、本実施の形態ではＣＭＯＳセンサ２１における、図６（Ａ）、（Ｃ）に示す水平同期信号（ＨＤ）のハイレベルのパルスから次のハイレベルのパルスまでの１水平期間（１Ｈ）を示すＨＤ期間が、図５に示した通常のＨＤの１／６倍に短縮するようにしているので、図６（Ｄ）に示す垂直同期信号ＶＤの１フレーム期間も、通常の１フレーム期間の約１／６倍の期間となる。

一方、読み出し時のＣＤＳ動作時間は、従来装置の１チャンネルの場合と、本実施の形態の撮像装置２０の多チャンネルで高速読み出しを行う場合と基本的には同じである。また、カラム毎の信号出力を読み出す、水平読み出し動作は１チャンネルも多チャンネルトータルとして同じ時間が必要となる。よって、全画素読み出し時間を通常のそれの１／Ｎ倍にするために必要な読み出しチャンネル数は、以下のように計算できる。

従来の撮像装置の通常読み出しの場合の１フレーム時間Ｔｖは次式で表される。

Ｔｖ＝Ｔｃｄｓ×Ｒ＋Ｔｈ×Ｒ＋α （１３）
Ｔｃｄｓ：読み出し時のＣＤＳ動作時間
Ｒ：ＣＭＯＳセンサの水平ライン数
Ｔｈ：水平読み出し時間
α：その他読み出しに必要な時間
本実施の形態の撮像装置２０の多チャンネル読み出しの場合の１フレーム期間Ｔｍｖは、次式で表される。

Ｔｍｖ＝Ｔｃｄｓ×Ｒ＋Ｔｍｈ×Ｒ＋α （１４）
Ｔｍｈ：多チャンネル時の水平読み出し時間
Ｔｖ＝Ｎ×Ｔｍｖ （１５）
Ｎ：多チャンネル高速読み出しの場合に通常時間で読み出される枚数
よって、（１３）式〜（１５）式により次式が得られる。

Ｎ×Ｔｍｖ＝Ｔｃｄｓ×Ｒ＋Ｔｈ×Ｒ＋α
Ｎ×Ｔｍｈ×Ｒ＝Ｔｈ×Ｒ＋（１−Ｎ）×Ｔｃｄｓ×Ｒ＋（１−Ｎ）×α
Ｔｍｈ＝（Th/N）＋（（1-N）×Tcds/N）＋（1-N）×α/(N×R) （１６）
（１６）式で表される時間で水平の読み出しを行う必要があり、それに必要なチャンネル数を持つセンサを構成する必要がある。Ｔｃｄｓとαの時間がＴｍｈに比べて非常に短ければ、ＴｍｈはほぼＴｈ／Ｎとなるため、通常の１フレーム期間でＮ倍のフレームを読み出すためのチャンネル数はＮとなる。しかし、実際には高速読み出しを実行する場合、ＣＤＳ動作時間Ｔｃｄｓやその他読み出しに必要な時間αは無視できない。よって、実際の読み出し時のチャンネル数はフレームレートの倍数Ｎより多くなる。

これにより、本実施の形態では、通常の１フレーム期間で６倍のフレームを読み出すものとすると、図６（Ｂ）に模式的に示すように、多チャンネルのチャンネル数ｎは「９」として、９つのＣＤＳ回路を各ＨＤ期間（通常のＨＤ期間の１／６倍の期間）の最初に動作させている。なお、本実施の形態では、ＣＭＯＳセンサ２１の露光時間は、図６（Ｅ）に示すように、通常の１フレーム期間の約１／６倍の期間としている。

再び図４に戻って説明する。ＧＣＡ２２は、ＣＭＯＳセンサ２１から出力されたｎチャンネル（上記の例では、ｎ＝９）の撮像信号を、後段のＡＤＣ２４に適した信号レベルに増幅する。ＤＣオフセット調整部２３は、ＧＣＡ２２から出力されたｎチャンネルの撮像信号をＡＤＣ２４に最適なオフセットを付加してＡＤＣ２４に供給してＡＤ変換させてデジタル画像データに変換する。

フレームメモリ２５は、ｍフレーム分の蓄積容量を有し、ＡＤＣ２４から出力されたｎチャンネルのデジタル画像データをｍフレーム分蓄積する。一方、暗電流等ＦＰＮ補正用フレームメモリ２６（以下、フレームメモリ２６）は、ＣＭＯＳセンサ２１への入射光を遮断した状態におけるＣＭＯＳセンサ２１の全画素から出力されたｎチャンネル撮像信号が、上記のＧＣＡ２２、ＤＣオフセット調整部２３、ＡＤＣ２４を経由して供給され、その入力画像データの１フレーム分を記憶する。これは、撮像装置２０の立ち上げ時に１回のみ行われる。

減算器２７は、通常の信号読み出し時に、ダイナミックレンジを拡大するための後述するフレーム間の加算処理を行う前に、フレームメモリ２５から出力された画像データから、フレームメモリ２６から出力された遮光時の画像データを減算し、その減算後の画像データをフレームメモリ２５に再度蓄積する。これにより、ダイナミックレンジを拡大するために、フレームメモリ２５から読み出した画像データを用いた後述するフレーム間の加算処理において、ＣＭＯＳセンサ２１の画素毎の特性バラツキによる固定パターンノイズ（ＦＰＮ）が加算されてＳ／Ｎが劣化することを防止する。

次に、加算器２８は、フレームメモリ２５から読み出された減算後の画像データと、１フレーム加算係数生成器２９から読み出された加算係数とを短縮したフレーム単位で乗算後に加算し、加算後の画像データをフレームメモリ２５に再度蓄積する。加算器２８での加算は（１１）式と同様の式で表される（（１１）式では加算数がＮであるが、ここではｍ）。このフレームメモリ２５と、加算器２８と、加算係数生成器２９とを用いたフレーム加算処理によりダイナミックレンジが拡大される。なお、フレームメモリ２５から読み出されたフレーム加算後の画像データは、その他色復調前信号処理部３１により、色復調前の所定の信号処理が施されて出力される。

次に、このフレームメモリ２５に蓄積されたｍ枚の画像データを用いてダイナミックレンジを拡大する方法について更に詳細に説明する。

ＣＭＯＳセンサにおいて、図５に示すような通常読み出しを行った場合の入射光強度に対する出力信号の特性は、図７の通常の露光時間による出力特性Iとなり、光強度Ａにて通常のＰＤ飽和信号レベルIIにて出力信号が飽和する状態となる。この入射光強度０〜ＡまでがＣＭＯＳセンサから信号が出力される範囲で、これがダイナミックレンジとなる。

これに対して、本実施の形態では、図６に示すような多チャンネル読み出しを用いて、通常の１フレームの時間で例えば、６フレーム分のデータを読み出すと共に、露光時間は通常の時間の１／６倍に短縮する。その６フレーム分を単純加算して１フレームの画を作成するとダイナミックレンジは（１２）式に従い、以下のように向上する。

Ｄｕ６＝２０×ｌｏｇ（６×√６）
＝２３.３ ［ｄＢ］ （１７）
その場合の入射光強度に対する出力信号の特性は図７にIIIで示す如くになり、通常の露光時間による出力特性と同じで、通常のＰＤ飽和信号レベルで飽和せず、信号出力はリニアに増加して、その６倍の出力信号を出せることになる。その時の入射光強度はＢとなる。

ところで、普通のカメラシステムでは感度の観点から信号処理回路内を伝達する信号レベルは通常のＰＤ飽和信号レベルを最大値とすることが多い。ダイナミックレンジが例えば６倍に拡大された時に、このダイナミックレンジが拡大された信号を伝達するために、この信号レベルを最大値とするような信号処理回路にすると、通常のＰＤ飽和信号レベル程度では逆に暗い画となり、感度が低下したような印象を受ける。それを回避するためには信号レベルによりゲインを変更する必要があるが、撮像している画の中に非常に明るい部分と暗い部分があると、結果的には感度が低下したような画に見える。

そこで、本実施の形態では、図４のピクセル信号レベル判定コンパレータ３０を用いて、フレームメモリ２５から読み出される画像データの各画素毎に信号レベルを判定し、信号レベルが小さい場合（暗い部分）は、１フレーム加算係数生成器２９におけるフレーム加算係数の値を大にすることで信号レベルを増加してノイズを抑圧し、また信号レベルが大きい場合（明るい部分）は１フレーム加算係数生成器２９におけるフレーム加算係数を小にする（明るい信号ほど１より小さい値にする）ことで、ダイナミックレンジを拡大し、擬似的に圧縮することで、自然な画とする。

例えば、通常の１／６倍の露光時間で得られた６フレームの画像データを、各画素の信号レベルにて上記のように加算係数を可変して重み付けを変更した場合の入射光強度対出力信号レベル特性は図７にIVで示される。これにより、ダイナミックレンジを拡大した自然な画が得られる。

このように、本実施の形態によれば、以下の特長がある。

（１）ＣＭＯＳセンサ２１内の画素の蓄積期間を動的に変更することなく、フレームメモリ２５に蓄積されたｍ枚の画像データを加算することでダイナミックレンジを拡大することができると共に、その画像データの画素毎に加算量、あるいは重み付けを変えるようにしたため、できる限り人間の目の特性に合ったリニアリティを実現でき、ダイナミックレンジを変えた時の画を見易くできる。

（２）複数枚のフレームで加算等も組み合わせて読み出し信号を作成するようにしているため、１フレームの短時間露光データに係数を掛けて信号を作成するよりもＳ／Ｎを向上できる。

（３）ピクセル信号レベル判定コンパレータ３０により、複数フレーム間で同一画素の信号が全く変化しない場合と変化する場合で重み付けを変えることが可能であるため、光信号の時間的変動に対して、より自然にダイナミックレンジを変化させる時に有用である。

図８は、本発明になる撮像装置の一実施例の要部の構成図を示す。同図において、本実施例は、１６チャンネル読み出しの例を示す。本実施例の撮像装置４０は、色フィルタ及び画素部４１を有する。この色フィルタ及び画素部４１は、ＣＭＯＳセンサの画素部の受光面にベイヤ配列の色フィルタが配置された構成である。ベイヤ配列の色フィルタは、図８に模式的に示すように、輝度信号の寄与する割合の高い緑色光を透過させる１画素分の緑色フィルタ部Ｇを１画素ピッチおき毎に市松状に配置し、残りの領域に赤色光を透過させる１画素分の赤色フィルタ部Ｒと、青色光を透過させる１画素分の青色フィルタ部Ｂとを、１画素ピッチおき毎に市松状に配置した構成である。

色フィルタ及び画素部４１は、ベイヤ配列の色フィルタを透過した入射光をＣＭＯＳセンサの画素部に入射して光電変換する。画素部は、図示しない垂直駆動部により、水平２ラインの画素が同時に選択される。また、図８は撮像装置の一部のみしか図示していないが、シフトレジスタ等により構成された水平駆動部４２及び４３により、画素部の水平方向の８画素単位で水平方向の駆動が行われる。この画素部からの出力信号を用いてＣＤＳ回路４４、４５のスイッチ等を選択し、水平信号線４６、４７に信号を読み出す。

ＣＤＳ回路４４、４５は各カラム毎に設けられており、各カラム毎の画素からの信号が供給される構成で、例えば図９に示す回路構成とされている。同図において、画素５５ａ、画素５５ｂ等の垂直方向（カラム方向）に配列された複数の画素に共通に接続された１本の垂直信号線が２分岐され、一方はスイッチＳＷ１を介してオペアンプ５６の非反転入力端子に接続され、他方はスイッチＳＷ２及びコンデンサＣ１を直列に介してオペアンプ５６の反転入力端子に接続されている。ここで、上記画素５５ａと画素５５ｂとは任意の隣接する２本の水平ラインの画素である。また、オペアンプ５６の非反転入力端子は、コンデンサＣ２を介して接地されると共に、スイッチＳＷ５を介して基準電圧ＶＲＥＦが印加される構成とされている。また、オペアンプ５６の反転入力端子はスイッチＳＷ４及びコンデンサＣ３の直列回路とスイッチＳＷ３とを並列に介して入力端子に帰還接続されている。

更に、オペアンプ５６の出力端子は、スイッチＳＷ６を介してバッファアンプ５７の非反転入力端子に接続されている。バッファアンプ５７はボルテージフォロワであり、その非反転入力端子がコンデンサＣ４を介して接地され、またその出力端子が反転入力端子に帰還接続される一方、スイッチＳＷ７を介して水平信号線５８（図８の４６又は４７）に接続されている。

次に、図９のＣＤＳ回路の動作について、図１０のタイミングチャートを併せ参照して説明する。画素５５ａ、５５ｂからの信号電圧は図１０（Ａ）に示すように変化するものとする。図９のスイッチＳＷ１、ＳＷ２、ＳＷ４、ＳＷ３、ＳＷ５、ＳＷ７、ＳＷ６は図１０（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）に示すように、ハイレベルのときにオン、ローレベルのときにオフに制御される。

これにより、スイッチＳＷ１を介して画素５５ａ、５５ｂからの信号電圧がコンデンサＣ２に保持される。一方、スイッチＳＷ２を介して画素リセット時の画素リセット信号がコンデンサＣ１に保持される。また、スイッチＳＷ３、ＳＷ４、ＳＷ５とオペアンプ５６とコンデンサＣ３とにより、画素からの信号電圧と画素リセット信号とが減算される。また、Ｃ点の減算後の信号は、スイッチＳＷ６のオン時にコンデンサＣ４に印加されて保持された後、バッファアンプ５７に供給される。コンデンサＣ４に保持された電圧は、その後の時刻ｔ７で、バッファアンプ５７を通してカラム毎にあるスイッチＳＷ７を図１０（Ｇ）にハイレベルで模式的に示すようにオン状態にすることで水平信号線５８を介して水平読み出し部へ出力される。水平読み出し部では、水平信号線５８に読み出した図１０（Ｉ）に示す信号を並列に処理するための信号線を複数有している。

再び図８に戻って、本実施例の動作を図１１のタイミングチャートを併せ参照して説明する。垂直駆動部（図示せず）及び水平駆動部４２、４３はシフトレジスタを用いて構成されており、それぞれのシフトレジスタに駆動用スタートパルス（図１１（Ａ）、（Ｆ））を入力する。垂直駆動部は、入力垂直駆動用スタートパルスをシフトすることで、水平ラインを２ラインずつ選択する（図１１（Ｂ）〜（Ｄ））。

一方、水平駆動部４２、４３は、入力された水平駆動用スタートパルス（図１１（Ｆ））を水平画素数分シフトする（図１１（Ｇ）〜（Ｉ））。この時２Ｈ同時に垂直駆動部で画素を選択するので画素部４１の２ラインの画素信号を１水平期間に出力できる。水平駆動部４２、４３からのシフト出力パルスは各カラム毎にあるＣＤＳ回路４４、４５のうち８個のＣＤＳ回路毎に出力をスイッチ等で同時に選択する。

すなわち、同時に読み出しを行う２ラインの同じカラム方向にある２個の画素からの信号がそれぞれ供給されるＣＤＳ回路４４、４５は、図１１（Ｅ）に模式的に示すように、１水平期間の初めで１回当たり水平方向８画素からの信号に対してＣＤＳ動作を行い、そのＣＤＳ動作後の信号を保持する。各水平期間毎に上記の動作を繰り返す。

ＣＤＳ回路４４、４５に接続された水平信号線４６、４７は、それぞれ８本ずつあり、それに対応して増幅器（ＡＭＰ）４８、４９も８個ずつ設けられている。８個ずつのＡＭＰ４８、４９は、８本ずつの水平信号線４６、４７からの信号が入力される。８本の水平信号線４６には、ＣＤＳ回路４４を通して図１１（Ｊ）〜（Ｑ）に示す同じライン上にある４つの色フィルタ部Ｇを透過した緑色光を光電変換した４画素からの緑色信号（Ｇ信号）Ｇ１、Ｇ３、Ｇ５、Ｇ７と、上記と同じライン上にある４つの色フィルタ部Ｒを透過した赤色光を光電変換した４画素からの赤色信号（Ｒ信号）Ｒ１、Ｒ２、Ｒ３、Ｒ４とが入力されてＡＭＰ４８に転送される。

一方、８本の水平信号線４７には、ＣＤＳ回路４５を通して図１１（Ｒ）〜（Ｙ）に示す上記の水平信号線４６に出力される画素信号のラインとは隣接するライン上にある４つの色フィルタ部Ｂを透過した青色光を光電変換した４画素からの青色信号（Ｂ信号）Ｂ１、Ｂ２、Ｂ３、Ｂ４と、色フィルタ部Ｂと同じライン上にある４つの色フィルタ部Ｇを透過した緑色光を光電変換した４画素からの緑色信号（Ｇ信号）Ｇ２、Ｇ４、Ｇ６、Ｇ８とが入力されてＡＭＰ４９に転送される。

ＡＭＰ４８で増幅された８信号（Ｇ１、Ｒ１、Ｇ３、Ｒ２、Ｇ５、Ｒ３、Ｇ７、Ｒ４）は、サンプリングホールド（Ｓ／Ｈ）回路５０に供給されて水平方向に隣接する同じ色信号同士がサンプル及びホールドされる。更に、Ｓ／Ｈ回路５０の出力信号は、サンプリングホールド（Ｓ／Ｈ）回路５２に供給されて同じ色信号同士がサンプル及びホールドされ、図１１（Ｚ）に示すＧ信号と、同図（イ）に示すＲ信号とが出力される。

一方、ＡＭＰ４９で増幅された８信号（Ｂ１、Ｇ２、Ｂ２、Ｇ４、Ｂ３、Ｇ６、Ｂ４、Ｇ８）は、サンプリングホールド（Ｓ／Ｈ）回路５１に供給されて水平方向に隣接する同じ色信号同士がサンプル及びホールドされる。更に、Ｓ／Ｈ回路５１から出力された４信号は、サンプリングホールド（Ｓ／Ｈ）回路５３に供給されて同じ色信号同士がサンプル及びホールドされ、図１１（ロ）に示すＧ信号と、同図（ハ）に示すＢ信号とが出力される。

このようにして、ＣＭＯＳセンサはＳ／Ｈ回路５０〜５３で信号の選別を行い、Ｒ、Ｇ、Ｂ信号別の信号出力４チャンネルにまとめて外部へ出力する。これは内部の水平信号線はデータレートを下げるために、１６チャンネルで信号を取り出すが、外部の回路の負担を軽減するために、このように内部で信号をまとめることも可能ということである。勿論１６チャンネルでの信号出力を行うこともできるので、必要に応じて構成を選択することが可能である。

前記の実施の形態及び実施例は、特にビデオ帯域での動画信号を作成する時に有用である。例えば、従来の一般的な民生用のビデオカメラのダイナミックレンジ６０ｄＢを９０ｄＢ以上に上げることが可能であり、撮影環境を広げることに寄与するものである。

本発明の撮像装置の概略構成図である。 図１中のセンサチップ１１の一例の構成を示すブロック図である。 図１の動作説明用タイミングチャートである。 本発明の撮像装置の一実施の形態のブロック図である。 １チャンネル読み出し時のタイミングチャートである。 ４倍高速読み出し時のタイミングチャートである。 ダイナミックレンジ拡大時の特性の説明図である。 本発明の撮像装置の一実施例の要部の構成図である。 ＣＤＳ回路の一例の回路図である。 図９の動作説明用タイミングチャートである。 図８の動作説明用タイミングチャートである。 １チャンネル読み出しのＣＭＯＳセンサ構成例である。 図１２の動作説明用タイミングチャートである。 ２チャンネル読み出しのＣＭＯＳセンサ構成例である。 図１４の動作説明用タイミングチャートである。 ４チャンネル読み出しのＣＭＯＳセンサ構成例である。 図１６の動作説明用タイミングチャートである。

符号の説明

１０、２０、４０ 撮像装置
１１ センサチップ
１２ ＡＦＥ・ＡＤＣ
１３、２５ フレームメモリ
１４ フレーム加算回路
１５、３０ ピクセル信号レベル判定コンパレータ
２１、６０、７０、８０ ＣＭＯＳセンサ
２６ 暗電流等ＦＰＮ補正フレームメモリ
２７ 減算器
２８ 加算器
２９ １フレーム加算係数生成器
４１ 色フィルタ及び画素部
４２、４３、６４、７２、７３、８２、８３、１１２ａ、１１２ｂ 水平駆動部
４４、４５、６３、７５、７６、８５₁〜８５₄、１１４₁〜１１４_2k ＣＤＳ回路
４８、４９、６５、７７、７８、８６₁〜８６₄、１１５₁〜１１５_2k 増幅器（ＡＭＰ）
５０〜５３ サンプリングホールド回路（Ｓ／Ｈ回路）
５５ａ、５５ｂ カラム方向に配列された画素
５６ オペアンプ
５７ バッファアンプ
６１、７１、８１、１１１ 画素部
６２、７４、８４、１１３ 垂直駆動部

Claims (2)

1. 各々光電変換手段を備えた画素が複数規則正しく配列された固体撮像素子を用いた撮像装置において、
   前記複数の画素のうち列方向に配列された前記画素毎に設けられており、規格で定められた既存の１フレーム期間の１／Ｎ倍（Ｎは２以上の整数）の露光期間で露光させた前記固体撮像素子の前記列方向に配列された前記画素のうち同時に読み出された複数の画素からの撮像信号に対して、１水平期間内で複数回相関二重サンプリング動作を行い、その動作後の撮像信号を前記既存の１フレーム期間内でＮ回、複数の水平信号線に出力する多チャンネル出力手段と、
   前記多チャンネル出力手段から前記Ｎ回出力された撮像信号を、デジタル信号の画像データに変換後に記憶する第１の記憶手段と、
   前記第１の記憶手段から読み出した前記画像データのうち、各画素の信号毎に加算係数を乗算した後加算合成して、前記既存の１フレーム期間における画像信号として出力する加算手段と、
   前記第１の記憶手段から読み出した前記画像データの信号レベルを各画素毎に判定し、その信号レベルに応じて前記加算手段における前記加算係数を可変制御する加算係数制御手段と、
   を有することを特徴とする撮像装置。
2. 設定したタイミングで前記固体撮像素子への入射光を遮断した状態における前記固体撮像素子の全画素から出力された１フレーム分の撮像信号を遮光時画像データとして記憶する第２の記憶手段と、
   前記加算手段による加算合成動作の前に、前記第１の記憶手段から読み出した画像データから、前記第２の記憶手段から読み出した前記遮光時画像データを減算し、その減算後の画像データを、前記加算手段で利用させるために前記第１の記憶手段に再度記憶させる減算手段と、
   を更に有することを特徴とする請求項１記載の撮像装置。

Images