JP2009239398A - Imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To achieve linearity matched as much as possible with the characteristics of the eyes of a human and to enlarge a dynamic range without dynamically changing the storage period of a solid-state imaging element in an imaging apparatus. <P>SOLUTION: A sensor chip 11 outputs imaging signals read from a pixel part two or more times within one frame period in parallel to n channels in an exposure period shorter than the existing one frame period set to specification. A frame memory 13 stores the imaging signals for two or more frames. A frame adding circuit 14 adds the signals of the two or more frames read from the frame memory 13 and prepares the signals for one frame of the specification. Thus, the dynamic range can be the square of N at maximum. A pixel signal level determination comparator 15 determines a signal level read from the frame memory 13 by pixel, and changes the number of frame addition and weighting, etc., in the frame adding circuit 14 in a frame adding circuit 32 on the basis of the determination result. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は撮像装置に係り、特にダイナミックレンジ改善のためにＣＭＯＳセンサ等の固体撮像素子の多チャンネル読み出しを行う撮像装置に関する。   The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus that performs multi-channel reading of a solid-state image pickup device such as a CMOS sensor in order to improve a dynamic range.

ＣＭＯＳセンサは、銀塩カメラに比べてダイナミックレンジが狭い。その改善のためにデバイス及びシステムの観点から以下のような各種の提案がなされている。例えば、上記の提案としては、（１）ＣＭＯＳセンサの画素部での保持容量を追加して飽和電荷量を増加させる方法（例えば、特許文献１参照）、（２）ＣＭＯＳセンサのフォトダイオードをリセットするときに対数圧縮を行うことで見かけ上のダイナミックレンジを拡大する方法（例えば、特許文献２参照）、（３）短時間露光と長時間露光を行い、画素内またはチップ出力にて加算を行って、高輝度の時のダイナミックレンジを拡大する方法（例えば、特許文献３〜５参照）、（４）全画素のフレーム読み出しを数回行い、その信号を加算処理等してダイナミックレンジを拡大する方法（例えば、特許文献６参照）などがある。   A CMOS sensor has a narrow dynamic range compared to a silver salt camera. For the improvement, various proposals have been made as follows from the viewpoint of devices and systems. For example, as the above proposal, (1) a method of increasing the saturation charge amount by adding a storage capacitor in the pixel portion of the CMOS sensor (see, for example, Patent Document 1), (2) resetting the photodiode of the CMOS sensor A method of expanding the apparent dynamic range by performing logarithmic compression (for example, see Patent Document 2), (3) performing short-time exposure and long-time exposure, and performing addition within a pixel or chip output Thus, a method of expanding the dynamic range at high brightness (for example, see Patent Documents 3 to 5), (4) The frame is read several times for all pixels, and the dynamic range is expanded by adding the signals. There is a method (for example, see Patent Document 6).

これら提案を実現することで、基本的にはＣＭＯＳセンサのフォトダイオード（以下、ＰＤとも記す）に蓄積できる電荷量以上のダイナミックレンジを持つことが可能となる。   By realizing these proposals, it is basically possible to have a dynamic range that is greater than the amount of charge that can be stored in a photodiode (hereinafter also referred to as PD) of a CMOS sensor.

また、固体撮像素子上に結像される光像に比例した電荷蓄積を複数回に分けて取り出し、合成することでダイナミックレンジの拡大された撮影画像を得ることのできる撮像装置も従来提案されている（例えば、特許文献７参照）。   There has also been proposed an imaging apparatus capable of obtaining a captured image with an expanded dynamic range by taking out and combining charge accumulation proportional to the optical image formed on the solid-state imaging device in a plurality of times. (For example, see Patent Document 7).

特開２００６−２１７４１０号公報JP 2006-217410 A 特開２０００−０８３１９８号公報Japanese Unexamined Patent Publication No. 2000-083198 特開２００４−１５９２７４号公報JP 2004-159274 A 米国特許第６１７５３８３号明細書US Pat. No. 6,175,383 特開２００３−１６９２５９号公報JP 2003-169259 A 特開２００３−２５９２３４号公報JP 2003-259234 A 特開２００７−０８１９２４号公報Japanese Patent Application Laid-Open No. 2007-081924

しかしながら、特許文献１〜７の提案には以下に示すような課題や短所があり、改善が求められている。   However, the proposals in Patent Documents 1 to 7 have the following problems and disadvantages, and improvements are required.

（１）特許文献１記載の撮像装置により画素部での蓄積を行う場合、通常は蓄積容量を追加する必要があり、スイッチング等のためのトランジスタも必要で、レイアウト上ＰＤ部の面積を減らすことになり、ＰＤ部の飽和電荷量を逆に減少させてしまう。   (1) When accumulation in the pixel portion is performed by the imaging device described in Patent Document 1, it is usually necessary to add a storage capacitor, and a transistor for switching or the like is also necessary, and the area of the PD portion is reduced in layout. In other words, the saturation charge amount of the PD portion is decreased.

（２）特許文献１記載の撮像装置のように画素部に容量等保持部を持ってダイナミックレンジを拡大する場合は、露光時間を変更するなどにより高輝度側の信号を圧縮することが多く、リニアなレベルでのダイナミックレンジの拡大は２〜３倍程度しかない。   (2) When the dynamic range is expanded by having a storage unit or the like in the pixel unit as in the imaging device described in Patent Document 1, the signal on the high luminance side is often compressed by changing the exposure time. The expansion of the dynamic range at a linear level is only about 2 to 3 times.

（３）特許文献２に開示された、ＰＤのリセット時に対数圧縮する方法は、グローバルシャッタを実現することが難しく、また、リニアなレベルでのダイナミックレンジの拡大はできず、更に、構造上ＰＤをリセットする際に生じるノイズ（ＫＴＣノイズ）を抑圧する動作は困難であるという問題がある。つまり、この方法ではＳ／Ｎが悪化する。   (3) The method of logarithmically compressing at the time of resetting the PD disclosed in Patent Document 2 makes it difficult to realize a global shutter, and cannot increase the dynamic range at a linear level. There is a problem that it is difficult to suppress the noise (KTC noise) generated when resetting. That is, this method deteriorates the S / N.

（４）特許文献３〜５に記載された、短時間露光と長時間露光とを組み合わせ、画素内又はチップの出力後に加算等の処理にてダイナミックレンジの拡大を行う方法は、画素内での加算は簡便であるが、画素別にコントロールすることは難しく、これを実現するために画素部への配線の本数が増加するとＰＤの面積が減少してしまうという短所がある。また、ダイナミックレンジ拡大時に露光時間の差による不具合があり、特に動画の時に長時間露光と短時間露光の時間差が画質に影響する。更に、この方法は、ＣＭＯＳセンサ特有のローリングシャツタによる歪みが目に付きやすい。   (4) A method for combining a short-time exposure and a long-time exposure described in Patent Documents 3 to 5, and expanding a dynamic range by processing such as addition within a pixel or after output from a chip is performed within the pixel. Although the addition is simple, it is difficult to control pixel by pixel, and there is a disadvantage in that the area of the PD decreases when the number of wirings to the pixel portion increases in order to realize this. Also, there is a problem due to the difference in exposure time when expanding the dynamic range, and the time difference between the long exposure and the short exposure particularly affects the image quality when moving images. Furthermore, in this method, distortion due to the rolling shirter specific to the CMOS sensor is easily noticeable.

（５）特許文献６に記載された、チップ出力後の信号処理で短時間露光と長時間露光のフレーム出力を加算する方法は、ＣＭＯＳセンサ等の読み出しスピードの問題から高速に読み出す動画等ではあまり使用できない。   (5) The method of adding the short-time exposure and the long-time exposure frame output in the signal processing after chip output described in Patent Document 6 is not so much for moving images that are read at high speed due to the problem of the reading speed of a CMOS sensor or the like. I can not use it.

（６）また、ダイナミックレンジの拡大を高輝度側を圧縮して実現する方法は、リニアなレベルでのダイナミックレンジは狭く、高輝度側のリニアリティが悪く、階調が充分とれず、画質が悪いことが考えられる。できる限り人間の目の特性に合ったリニアリティを実現することが望ましい。   (6) In addition, the method for realizing the expansion of the dynamic range by compressing the high luminance side has a narrow dynamic range at a linear level, poor linearity on the high luminance side, insufficient gradation, and poor image quality. It is possible. It is desirable to achieve linearity that matches the characteristics of the human eye as much as possible.

（７）特許文献７記載の撮像装置は、ダイナミックレンジ（飽和せずに信号を取り出せる光の強さの範囲）を拡大するために、蓄積飽和量又は蓄積期間を変えた画像を合成するため、リニアリティが良くない。   (7) The imaging device described in Patent Document 7 synthesizes an image in which the accumulation saturation amount or the accumulation period is changed in order to expand the dynamic range (the range of the intensity of light that can be extracted without saturation). The linearity is not good.

本発明は以上の点に鑑みなされたもので、ＣＭＯＳセンサ等の固体撮像素子で多チャンネル読み出し方法を用いて、撮像素子の蓄積期間を動的に変更することなく、できる限り人間の目の特性に合ったリニアリティの実現とダイナミックレンジの拡大とをなし得る撮像装置を提供することを目的とする。   The present invention has been made in view of the above points, and by using a multi-channel readout method with a solid-state imaging device such as a CMOS sensor, the characteristics of the human eye as much as possible without dynamically changing the accumulation period of the imaging device. It is an object of the present invention to provide an imaging apparatus capable of realizing linearity suitable for the above and expanding the dynamic range.

上記の目的を達成するため、本発明は、各々光電変換手段を備えた画素が複数規則正しく配列された固体撮像素子を用いた撮像装置において、
複数の画素のうち列方向に配列された画素毎に設けられており、規格で定められた既存の１フレーム期間の１／Ｎ倍（Ｎは２以上の整数）の露光期間で露光させた固体撮像素子の列方向に配列された画素のうち同時に読み出された複数の画素からの撮像信号に対して、１水平期間内で複数回相関二重サンプリング動作を行い、その動作後の撮像信号を既存の１フレーム期間内でＮ回、複数の水平信号線に出力する多チャンネル出力手段と、多チャンネル出力手段からＮ回出力された撮像信号を、デジタル信号の画像データに変換後に記憶する第１の記憶手段と、第１の記憶手段から読み出した画像データのうち、各画素の信号毎に加算係数を乗算した後加算合成して、既存の１フレーム期間における画像信号として出力する加算手段と、第１の記憶手段から読み出した画像データの信号レベルを各画素毎に判定し、その信号レベルに応じて加算手段における加算係数を可変制御する加算係数制御手段と、を有することを特徴とする。 In order to achieve the above object, the present invention provides an imaging apparatus using a solid-state imaging device in which a plurality of pixels each having a photoelectric conversion means are regularly arranged.
It is provided for each pixel arranged in the column direction among a plurality of pixels, and is a solid exposed in an exposure period of 1 / N times (N is an integer of 2 or more) of an existing one frame period defined by the standard A correlated double sampling operation is performed a plurality of times within one horizontal period for image signals from a plurality of pixels that are simultaneously read out of pixels arranged in the column direction of the image sensor, and the image signals after the operation are obtained. First, the multi-channel output means for outputting to a plurality of horizontal signal lines N times within an existing frame period, and the imaging signal output N times from the multi-channel output means are stored after being converted into digital signal image data. And adding means for multiplying and adding an addition coefficient for each pixel signal in the image data read out from the first storage means and outputting as an image signal in an existing one frame period; First The signal level of the image data read from the storage means to determine for each pixel, to an addition coefficient control means for variably controlling the addition coefficient in the adding means in response to the signal level, characterized in that it has a.

この発明では、固体撮像素子内の画素の蓄積期間を動的に変更することなく、第１の記憶手段に蓄積された複数の画像データを加算することでダイナミックレンジを拡大することができる。また、この発明では、複数フレーム間で同一画素の信号が全く変化しない場合と変化する場合で、重み付けを変えることが可能である。   In this invention, the dynamic range can be expanded by adding a plurality of image data stored in the first storage means without dynamically changing the storage period of the pixels in the solid-state imaging device. Further, according to the present invention, the weighting can be changed depending on whether the signal of the same pixel does not change at all between a plurality of frames.

また、上記の目的を達成するため、本発明は、設定したタイミングで固体撮像素子への入射光を遮断した状態における固体撮像素子の全画素から出力された１フレーム分の撮像信号を遮光時画像データとして記憶する第２の記憶手段と、加算手段による加算合成動作の前に、第１の記憶手段から読み出した画像データから、第２の記憶手段から読み出した遮光時画像データを減算し、その減算後の画像データを、加算手段で利用させるために第１の記憶手段に再度記憶させる減算手段と、を更に有することを特徴とする。この発明では、加算手段により加算する第１の記憶手段に記憶した画像データを、加算前に画素毎の特性バラツキによる固定パターンノイズ（ＦＰＮ）を低減したデータとすることができる。   Further, in order to achieve the above object, the present invention is configured to capture an image signal for one frame output from all pixels of the solid-state image sensor in a state in which incident light to the solid-state image sensor is blocked at a set timing. Subtracting the light-shielded image data read from the second storage means from the second storage means stored as data and the image data read from the first storage means before the adding and combining operation by the adding means, Subtracting means for storing the subtracted image data again in the first storage means for use by the adding means is further provided. In the present invention, the image data stored in the first storage means to be added by the adding means can be made data with reduced fixed pattern noise (FPN) due to characteristic variation for each pixel before addition.

本発明によれば、画素の蓄積期間を動的に変更することなく、できる限り人間の目の特性に合ったリニアリティの実現とダイナミックレンジの拡大ができる。また、本発明によれば、光信号の時間的変動に対して、より自然にダイナミックレンジを変化させることができる。   According to the present invention, linearity matching the characteristics of the human eye and expansion of the dynamic range can be achieved as much as possible without dynamically changing the pixel accumulation period. Further, according to the present invention, the dynamic range can be changed more naturally with respect to the temporal variation of the optical signal.

本発明は、前記した目的を達成するため、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型撮像素子（以下、ＣＭＯＳセンサ）等の固体撮像素子から画素部のフォトダイオード（ＰＤ）で保持できる飽和電荷量より多くの信号を取り出す読み出し方法により、画質の劣化を極力抑え、ダイナミックレンジを拡大するものである。この画質の劣化を極力抑え、ダイナミックレンジを拡大するために、本発明は以下のようにする。   In order to achieve the above-described object, the present invention is based on a saturation charge amount that can be held by a photodiode (PD) in a pixel portion from a solid-state image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor (hereinafter referred to as a CMOS sensor). A readout method that extracts many signals suppresses deterioration of image quality as much as possible and expands the dynamic range. In order to suppress the deterioration of the image quality as much as possible and expand the dynamic range, the present invention is as follows.

第一に、画素部では出来る限りＰＤの面積が大きくできるように余計な回路や配線等を入れない。ＰＤの面積を大きくすることで、ＰＤで蓄積できる飽和電荷量を増やすことができ、これによりダイナミックレンジとＳ／Ｎが向上する。   First, in the pixel portion, an extra circuit or wiring is not included so that the area of the PD can be increased as much as possible. By increasing the area of the PD, the amount of saturation charge that can be accumulated in the PD can be increased, thereby improving the dynamic range and S / N.

第二に、センサチップ外で露光タイミングの異なる信号を加算する場合は、加算するデータに時間的な差が発生するが、ＰＤで飽和しない信号を用いることでダイナミックレンジを拡大する。   Second, when signals having different exposure timings are added outside the sensor chip, a time difference occurs in the data to be added, but the dynamic range is expanded by using a signal that does not saturate in the PD.

第三に、画質上問題となるＳ／Ｎの低下や色調のずれを発生せずに、直線性の良いダイナミックレンジの拡大を行うために、露光時間を短縮し、ＰＤへ蓄積できる電荷量を増加させ、取り出した信号を加算する。   Thirdly, in order to expand the dynamic range with good linearity without causing a decrease in S / N or color tone, which is a problem in image quality, the exposure time is shortened and the amount of charge that can be accumulated in the PD is reduced. Increase and add the extracted signals.

第四に、画素部からの信号読み出しは高速に行う。本発明では、消費電力、プロセスルール（コスト）の点を考慮して、画素部に対して多チャンネル読み出しにより高速読み出しを行う。   Fourth, signal readout from the pixel unit is performed at high speed. In the present invention, in consideration of power consumption and process rules (cost), high-speed reading is performed on the pixel portion by multi-channel reading.

そこで、次に、本発明において必須である多チャンネル読み出しについて説明する。多チャンネル読み出しを説明するために、まず、一般的なＣＭＯＳセンサの１チャンネル読み出しについて説明する。図１２は、一般的なＣＭＯＳセンサの１チャンネル読み出し構成を示す。   Then, next, multi-channel reading which is essential in the present invention will be described. In order to explain multi-channel reading, first, one-channel reading of a general CMOS sensor will be described. FIG. 12 shows a one-channel readout configuration of a general CMOS sensor.

同図において、ＣＭＯＳセンサ６０は、光電変換手段であるフォトダイオード（ＰＤ）と複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部６１と、画素部６１の任意の画素を選択する垂直駆動部６２及び水平駆動部６４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路（相関二重サンプリング回路）６３と、ＣＤＳ回路６３から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）６５と、を有して構成される。   In the figure, a CMOS sensor 60 includes a pixel unit 61 having a known configuration in which a plurality of pixels each including a photodiode (PD), which is a photoelectric conversion means, and a plurality of transistors are arranged in a two-dimensional matrix, and a pixel unit. A vertical driving unit 62 and a horizontal driving unit 64 for selecting any one of 61 pixels, a CDS circuit (correlated double sampling circuit) 63 to which a signal is supplied for each pixel of the selected horizontal line, and an output from the CDS circuit 63 And an amplifier (AMP) 65 that amplifies the output signal and outputs it for each pixel.

ＣＤＳ回路６３は、垂直方向（カラム方向）に配列された画素毎に設けられて水平方向の画素数分あり、垂直駆動部６２で選択された水平１ライン分の画素から出力される信号に対して、固定パターンノイズを抑圧する処理を実行し保持した後、その信号を１ライン分連続して読み出す。   The CDS circuit 63 is provided for each pixel arranged in the vertical direction (column direction), and has the number of pixels in the horizontal direction. In response to a signal output from the pixels for one horizontal line selected by the vertical driving unit 62 Then, after executing and holding the process of suppressing the fixed pattern noise, the signal is read continuously for one line.

図１３（Ａ）〜（Ｊ）は、図１２の各部のタイミングチャートを示す。垂直駆動部６２及び水平駆動部６４をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１３（Ａ）、（Ｆ））を入力する。垂直駆動部６２は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１３（Ｂ）〜（Ｄ））。水平駆動部６４は、垂直駆動部６２の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１３（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１３（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路６３の出力をスイッチ等で選択する。ＣＤＳ回路６３から出力された信号は、ＡＭＰ６５を通して図１３（Ｊ）に示す如き信号とされて出力される。   13A to 13J are timing charts of the respective units in FIG. The vertical drive unit 62 and the horizontal drive unit 64 are configured using shift registers, and drive start pulses (FIGS. 13A and 13F) are input to the respective shift registers. The vertical drive unit 62 selects the horizontal lines line by line by shifting the input start pulse (FIGS. 13B to 13D). The horizontal driving unit 64 inputs a horizontal driving start pulse (FIG. 13F) when one vertical line is selected by the vertical driving unit 62 (that is, one horizontal period), and the horizontal driving unit 64 outputs it for the number of horizontal pixels (for the number of horizontal columns). ) Shift (FIGS. 13G to 13I). This shift output pulse selects the output of the CDS circuit 63 for each column with a switch or the like. The signal output from the CDS circuit 63 is output as a signal as shown in FIG.

この水平駆動スタート前にＣＤＳ回路６３にて画素からの信号読み出しと画素リセット後のリセット信号を読み出し、ＣＤＳ動作を行っている。このＣＤＳ動作は、図１３（Ｅ）に模式的に示される。この水平駆動の周期が、出力データレートｆｈである。１チャンネル読み出しの場合は、全画素を読み出すのに必要なスピードは以下の（１）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ等の１水平期間あたりの読み出し以外の時間をｘ［ｓ］とする。   Prior to the start of horizontal driving, the CDS circuit 63 reads out signals from the pixels and reset signals after pixel reset to perform CDS operation. This CDS operation is schematically shown in FIG. The horizontal driving cycle is the output data rate fh. In the case of 1-channel reading, the speed required to read all pixels is expressed by the following equation (1). However, the number of pixels in the horizontal direction is h, the number of pixels in the vertical direction is v, and the number of readouts per second is m. Also, let x [s] be the time other than reading per horizontal period such as CDS.

次に、多チャンネル読み出しの例について図１４〜図１７と共に説明する。図１４は、ＣＭＯＳセンサの２チャンネル読み出しの構成例のブロック図、図１６は、ＣＭＯＳセンサの４チャンネル読み出しの構成例のブロック図である。基本的な動作は図１２の１チャンネル読み出しと同様である。

Next, an example of multi-channel reading will be described with reference to FIGS. FIG. 14 is a block diagram of a configuration example of 2-channel readout of the CMOS sensor, and FIG. 16 is a block diagram of a configuration example of 4-channel readout of the CMOS sensor. The basic operation is the same as the one-channel reading in FIG.

図１４において、ＣＭＯＳセンサ７０は、ＰＤと複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部７１と、画素部７１の任意の画素を選択する水平駆動部７２、７３、及び垂直駆動部７４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路７５及び７６と、ＣＤＳ回路７５、７６から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）７７及び７８と、を有して構成される。   In FIG. 14, a CMOS sensor 70 includes a pixel unit 71 having a known configuration in which a plurality of pixels including a PD and a plurality of transistors are arranged in a two-dimensional matrix, and a horizontal for selecting an arbitrary pixel in the pixel unit 71. The drive units 72 and 73, the vertical drive unit 74, the CDS circuits 75 and 76 to which signals are supplied for each pixel of the selected horizontal line, and the signals output from the CDS circuits 75 and 76 are amplified for each pixel. And amplifiers (AMP) 77 and 78 for outputting to the circuit.

図１４に示す２チャンネル読み出しの場合は、画素部７１の上下にＣＤＳ回路７５と７６とを配置し、画素部７１の出力信号に対してＣＤＳ動作を行う。この場合は１カラム毎に上下にＣＤＳ回路７５、７６を分割配置している。よって、ＣＤＳ回路７５、７６は、それぞれ水平画素数の１／２の回路数となる。   In the case of 2-channel reading shown in FIG. 14, CDS circuits 75 and 76 are arranged above and below the pixel portion 71, and a CDS operation is performed on the output signal of the pixel portion 71. In this case, the CDS circuits 75 and 76 are divided and arranged on the upper and lower sides for each column. Therefore, the number of CDS circuits 75 and 76 is half the number of horizontal pixels.

図１５（Ａ）〜（Ｋ）は、図１４の各部のタイミングチャートを示す。垂直駆動部７４及び水平駆動部７２、７３をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１５（Ａ）、（Ｆ））を入力する。垂直駆動部７４は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１５（Ｂ）〜（Ｄ））。水平駆動部７２、７３は、垂直駆動部７４の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１５（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１５（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路７５、７６の出力をスイッチ等で同時に選択する。   FIGS. 15A to 15K are timing charts of the respective units in FIG. The vertical drive unit 74 and the horizontal drive units 72 and 73 are configured using shift registers, and drive start pulses (FIGS. 15A and 15F) are input to the respective shift registers. The vertical drive unit 74 shifts the input start pulse to select the horizontal lines line by line (FIGS. 15B to 15D). The horizontal driving units 72 and 73 input a horizontal driving start pulse (FIG. 15F) when one vertical line is selected by the vertical driving unit 74 (that is, one horizontal period), and the horizontal driving units 72 and 73 are inputted for the number of horizontal pixels (horizontal column). It shifts by several minutes (FIGS. 15G to 15I). This shift output pulse simultaneously selects the outputs of the CDS circuits 75 and 76 for each column with a switch or the like.

すなわち、ＣＤＳ回路７５及び７６は、水平方向２画素からの信号に対して同時に図１５（Ｅ）に模式的に示すようにＣＤＳ動作を行い、そのＣＤＳ動作後の信号を水平駆動部７２、７３で選択して信号出力する。ＣＤＳ回路７５、７６からそれぞれ出力された信号は、ＡＭＰ７７、７８を通して図１５（Ｊ）、（Ｋ）に示す如く信号とされて並列に２チャンネル同時に出力される。   That is, the CDS circuits 75 and 76 simultaneously perform the CDS operation on the signals from the two pixels in the horizontal direction as schematically shown in FIG. 15E, and use the signals after the CDS operation as the horizontal drive units 72 and 73. Select with to output the signal. The signals output from the CDS circuits 75 and 76 are converted into signals as shown in FIGS. 15J and 15K through the AMPs 77 and 78, and two channels are simultaneously output in parallel.

この２チャンネル読み出しでは、水平２画素を同時に処理する事になるので、それぞれのチャンネルの出力データレートｆｈは以下の（２）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ回路の１Ｈ（１水平期間）あたりの読み出し以外の時間をｘ［ｓ］とする。   In this two-channel reading, two horizontal pixels are processed simultaneously, so the output data rate fh of each channel is expressed by the following equation (2). However, the number of pixels in the horizontal direction is h, the number of pixels in the vertical direction is v, and the number of readouts per second is m. Also, let x [s] be a time other than reading per 1H (one horizontal period) of the CDS circuit.

（２）式と（１）式とを比較すると分かるように、（２）式の方がチャンネルが増えた分、出力データレートを下げる事ができる。

As can be seen from the comparison between the formula (2) and the formula (1), the output data rate can be lowered in the formula (2) because the number of channels is increased.

次に、図１６に示す４チャンネル読み出し方法について説明する。図１６において、ＣＭＯＳセンサ８０は、ＰＤと複数のトランジスタとからなる画素が、複数個２次元マトリクス状に配置された公知の構成の画素部８１と、画素部８１の任意の画素を選択する水平駆動部８２、８３、及び垂直駆動部８４と、選択された水平ラインの画素毎に信号が供給されるＣＤＳ回路８５_１〜８５_４と、ＣＤＳ回路８５_１〜８５_４から出力される信号を増幅して画素毎に出力する増幅器（ＡＭＰ）８６_１〜８６_４と、を有して構成される。 Next, the 4-channel reading method shown in FIG. 16 will be described. In FIG. 16, the CMOS sensor 80 includes a pixel unit 81 having a known configuration in which a plurality of pixels including a PD and a plurality of transistors are arranged in a two-dimensional matrix, and a horizontal for selecting an arbitrary pixel in the pixel unit 81. amplifier driving unit 82, 83, and a vertical driving unit 84, a CDS circuit ₈₅ 1 to 85 ₄ which signal is supplied to each pixel of the selected horizontal line, a signal output from the CDS circuit ₈₅ 1 to 85 ₄ configured to include an amplifier _(AMP) 86 1 ~86 ₄ to be output to each pixel, a and.

図１６に示す４チャンネル読み出しの場合は、水平４画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を、画素部８１の上下に配置したＣＤＳ回路８５_１〜８５_４でＣＤＳ動作を同時に行い、水平駆動部８２及び８３で４チャンネル出力にする場合である。読み出しを４チャンネルに分けるため、ＣＤＳ回路を４チャンネルに分けているが、ＣＤＳ回路８５_１〜８５_４全体の回路部数は水平画素数分あればよいため、ＣＤＳ回路８５_１〜８５_４のそれぞれの内部の回路部数ｃは水平方向の画素数をｈ個とすると
ｃ＝ｈ／４ （３）
となる。 In the case of the 4-channel reading shown in FIG. 16, the CDS operation is simultaneously performed by the CDS circuits 85 _{1 to} 85 _{4 in} which the horizontal four pixels P1, P2, P3, and P4 are arranged above and below the pixel unit 81, and the horizontal drive unit 82 and This is a case of 83 for 4-channel output. In order to divide readout into 4 channels, the CDS circuit is divided into 4 channels. However, since the entire number of circuit portions of the CDS circuits 85 _{1 to} 85 ₄ is equal to the number of horizontal pixels, each of the CDS circuits 85 _{1 to} 85 ₄ The number of internal circuit sections c is assumed to be h in the horizontal direction.
c = h / 4 (3)
It becomes.

図１７（Ａ）〜（Ｍ）は、図１６の各部のタイミングチャートを示す。垂直駆動部８４及び水平駆動部８２、８３をシフトレジスタを用いて構成し、それぞれのシフトレジスタに駆動用スタートパルス（図１７（Ａ）、（Ｆ））を入力する。垂直駆動部８４は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図１７（Ｂ）〜（Ｄ））。水平駆動部８２、８３は、垂直駆動部８４の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図１７（Ｆ））を入力し、それを水平画素数分（水平カラム数分）シフトする（図１７（Ｇ）〜（Ｉ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路８５_１〜８５_４の出力をスイッチ等で同時に選択する。 FIGS. 17A to 17M are timing charts of the respective units in FIG. The vertical drive unit 84 and the horizontal drive units 82 and 83 are configured using shift registers, and drive start pulses (FIGS. 17A and 17F) are input to the respective shift registers. The vertical drive unit 84 selects the horizontal lines line by line by shifting the input start pulse (FIGS. 17B to 17D). The horizontal driving units 82 and 83 receive a horizontal driving start pulse (FIG. 17F) when one vertical line is selected by the vertical driving unit 84 (that is, one horizontal period), and the horizontal driving units 82 and 83 input the horizontal driving start pulse (horizontal column). It shifts (several minutes) (FIGS. 17G to 17I). This shift output pulse simultaneously selects the outputs of the CDS circuits 85 _{1 to} 85 ₄ for each column using a switch or the like.

すなわち、ＣＤＳ回路８５_１〜８５_４は、Ｐ１〜Ｐ４等の水平方向４画素の出力に対して同時に図１７（Ｅ）に模式的に示すようにＣＤＳ動作を行い、そのＣＤＳ動作後の信号を水平駆動部８２、８３で選択して信号出力する。ＣＤＳ回路８５_１〜８５_４からそれぞれ出力された信号は、ＡＭＰ８６_１〜８６_４を通して図１７（Ｊ）〜（Ｍ）に示す如く信号とされて並列に４チャンネル同時に出力される。 That is, the CDS circuits 85 _{1 to} 85 ₄ simultaneously perform the CDS operation on the outputs of the four pixels in the horizontal direction such as P1 to P4 as schematically shown in FIG. The signals are selected by the horizontal drive units 82 and 83 and output. Signals respectively outputted from the CDS circuit ₈₅ 1 to 85 ₄ is outputted FIG 17 (J) ~ (M) signal as shown in the are parallel to the four channels simultaneously through AMP86 ₁ ~86 _4.

この４チャンネル読み出しでは、水平４画素を同時に処理する事になるので、それぞれのチャンネルの出力データレートｆｈは以下の（４）式で表される。ただし、水平方向の画素数をｈ個、垂直方向の画素数をｖ個とし、１秒間の読み出し枚数をｍ枚とする。またＣＤＳ回路の１Ｈあたりの読み出し以外の時間をｘ［ｓ］とする。   In this 4-channel reading, four horizontal pixels are processed simultaneously, so the output data rate fh of each channel is expressed by the following equation (4). However, the number of pixels in the horizontal direction is h, the number of pixels in the vertical direction is v, and the number of readouts per second is m. Also, let x [s] be the time other than the reading per 1H of the CDS circuit.

（４）式と（１）式、（２）式とを比較すると分かるように、（４）式の方がチャンネルが増えた分、出力データレートを下げる事ができる。

As can be seen from the comparison between the expression (4), the expression (1), and the expression (2), the output data rate can be lowered in the expression (4) because the number of channels is increased.

次に、本発明の概略構成について説明する。図１は、本発明になる撮像装置の概略構成図を示す。撮像装置１０は、固体撮像素子であるＣＭＯＳセンサを構成するセンサチップ１１と、センサチップ１１から出力されたアナログ信号である撮像信号に対して所定の信号処理を行うアナログ・フロント・エンド（ＡＦＥ）及びＡ／Ｄ変換器（ＡＤＣ）１２と、複数のフレーム信号をそれぞれ記憶する複数のフレームメモリ１３と、フレームメモリ１３からの信号を加算した後フレームメモリ１３に書き戻すフレーム加算回路１４と、ピクセル信号レベル判定コンパレータ１５と、色復調等カメラシステム１６と、を有して構成されている。   Next, a schematic configuration of the present invention will be described. FIG. 1 is a schematic configuration diagram of an imaging apparatus according to the present invention. The imaging device 10 includes a sensor chip 11 that constitutes a CMOS sensor that is a solid-state imaging device, and an analog front end (AFE) that performs predetermined signal processing on an imaging signal that is an analog signal output from the sensor chip 11. And an A / D converter (ADC) 12, a plurality of frame memories 13 for storing a plurality of frame signals, a frame addition circuit 14 for adding the signals from the frame memory 13 and writing them back to the frame memory 13, and a pixel A signal level determination comparator 15 and a camera system 16 such as a color demodulator are provided.

図２はセンサチップ１１の一例の構成のブロック図を示す。センサチップ１１は、光電変換手段であるフォトダイオードと、リセットトランジスタや出力トランジスタなど複数のトランジスタとを有する画素が、複数個２次元マトリクス状に配置された公知の構成の画素部１１１と、画素部１１１のうち上半分の領域の各画素を水平方向に駆動する水平駆動部１１２ａと、画素部１１１のうち下半分の領域の各画素を水平方向に駆動する水平駆動部１１２ｂと、画素部１１１を垂直方向に１ラインずつ順次駆動する垂直駆動部１１３と、画素部１１１に接続された全部で２ｋ（＝ｎ）個のＣＤＳ回路（相関二重サンプリング回路）１１４₁〜１１４_2kと、ＣＤＳ回路１１４₁〜１１４_2kの各出力信号を別々に増幅する全部で２ｋ個の増幅器（ＡＭＰ）１１５₁〜１１５_2ｋと、を有して構成されている。ＣＤＳ回路１１４₁〜１１４_kは、画素部１１１の列方向（カラム方向）に配置された画素毎に接続されており、画素部１１１で発生する固定パターンノイズを抑圧する。このセンサチップ１１は、図２に示すようにｎ個のＡＭＰ１１５₁〜１１５_2ｋのうちのｐ個（２≦ｐ＜ｎ）から信号を並列に出力するｐチャンネル同時読み出しを行う。 FIG. 2 shows a block diagram of an exemplary configuration of the sensor chip 11. The sensor chip 11 includes a pixel unit 111 having a known configuration in which a plurality of pixels each including a photodiode as a photoelectric conversion unit and a plurality of transistors such as a reset transistor and an output transistor are arranged in a two-dimensional matrix, and a pixel unit A horizontal driving unit 112a that drives each pixel in the upper half region of the pixel 111 in the horizontal direction, a horizontal driving unit 112b that drives each pixel in the lower half region of the pixel unit 111 in the horizontal direction, and a pixel unit 111 a vertical driving unit 113 for sequentially driving each line in the vertical direction, in 2k (= n) pieces of the CDS circuit (correlated double sampling circuit) all connected to the pixel portion 111 and 114 ₁ to 114 _2k, CDS circuit 114 It is configured to include the the 2k amplifier (AMP) 115 ₁ ~115 _2k total, the amplifying each output signal of ₁ to 114 _2k separately The CDS circuits 114 _{1 to} 114 _k are connected to each pixel arranged in the column direction (column direction) of the pixel unit 111 and suppress fixed pattern noise generated in the pixel unit 111. As shown in FIG. 2, the sensor chip 11 performs p-channel simultaneous readout for outputting signals in parallel from p (2 ≦ p <n) of n AMPs 115 ₁ to 115 _2k .

次に、この撮像装置の動作について図３のタイミングチャートと共に説明する。図２のセンサチップ１１において、垂直駆動部１１３及び水平駆動部１１２ａ、１１２ｂはシフトレジスタを用いて構成されており、それぞれのシフトレジスタに駆動用スタートパルス（図３（Ａ）、（Ｆ））を入力する。垂直駆動部１１３は、入力スタートパルスをシフトすることで、水平ラインを１ラインずつ選択する（図３（Ｂ）〜（Ｄ））。   Next, the operation of this imaging apparatus will be described with reference to the timing chart of FIG. In the sensor chip 11 of FIG. 2, the vertical drive unit 113 and the horizontal drive units 112a and 112b are configured using shift registers, and drive start pulses (FIGS. 3A and 3F) are supplied to the respective shift registers. Enter. The vertical drive unit 113 selects the horizontal lines line by line by shifting the input start pulse (FIGS. 3B to 3D).

水平駆動部１１２ａ、１１２ｂは、垂直駆動部１１３の１水平ライン選択時（つまり１水平期間）に水平駆動用スタートパルス（図３（Ｆ））を入力し、それを水平画素数分シフトする（図３（Ｇ）、（Ｈ））。このシフト出力パルスは各カラム毎にあるＣＤＳ回路１１４_１〜１１４_2kのうちｐ個のＣＤＳ回路毎に出力をスイッチ等で同時に選択する。 The horizontal driving units 112a and 112b receive a horizontal driving start pulse (FIG. 3F) when one vertical line is selected by the vertical driving unit 113 (that is, one horizontal period), and shift it by the number of horizontal pixels (see FIG. 3F). FIG. 3 (G), (H)). This shift output pulse simultaneously selects an output for every p CDS circuits among the CDS circuits 114 _{1 to} 114 _{2k in} each column by a switch or the like.

すなわち、ＣＤＳ回路１１４_１〜１１４_2kのうち、同時に読み出しを行うｐラインの同じ列方向にあるｐ個の画素からの信号が供給されるｐ個のＣＤＳ回路に対して、図３（Ｅ）に模式的に示すように、１水平期間の初めで１回当たり水平方向ｎ／ｐ画素単位の信号に対してＣＤＳ動作を行い、そのＣＤＳ動作後の信号を保持する。各水平期間毎に上記の動作を繰り返して、水平方向の全ての画素からの信号に対してＣＤＳ動作を行うと、次のｐラインの同じ列方向にあるｐ個の画素からの信号が供給されるｐ個のＣＤＳ回路に対して、上記と同様の動作を行う。 That is, among the CDS circuits 114 _{1 to} 114 _2k , FIG. 3E illustrates the p CDS circuits to which signals from p pixels in the same column direction of the p lines that are simultaneously read are supplied. As schematically shown, a CDS operation is performed on a signal in units of n / p pixels in the horizontal direction at the beginning of one horizontal period, and the signal after the CDS operation is held. When the above operation is repeated for each horizontal period and the CDS operation is performed on signals from all the pixels in the horizontal direction, signals from p pixels in the same column direction of the next p line are supplied. The same operation as described above is performed on the p CDS circuits.

このようにして、垂直方向に対しても全ラインの画素に対してＣＤＳ動作が終わると、ＣＤＳ回路１１４_１〜１１４_2kに保持された信号は、水平駆動部１１２ａ、１１２ｂの選択により出力され、ＡＭＰ１１５_１〜１１５_2kを通して図３（Ｉ）〜（Ｋ）に示す如く信号とされて並列にｎチャンネル同時に出力される。この例の場合の水平駆動画素単位ｊは、次式で表される。 In this way, when the CDS operation is completed for the pixels on all the lines in the vertical direction, the signals held in the CDS circuits 114 _{1 to} 114 _2k are output by the selection of the horizontal driving units 112a and 112b, Through AMPs 115 _{1 to} 115 _2k, signals are output as shown in FIGS. 3I to 3K, and n channels are simultaneously output in parallel. The horizontal drive pixel unit j in this example is represented by the following equation.

ｊ＝ｎ／ｐ （５）
図１に戻って説明する。センサチップ１１からｎチャンネル出力されたアナログ信号である撮像信号は、ＡＦＥ・ＡＤＣ１２に供給されて所定の信号処理が施された後デジタル信号に変換されて、フレームメモリ１３に供給されて蓄積される。この撮像装置では、これを一般に規定された（通常の）フレーム時間より高速に行い、通常の１フレーム時間内に複数枚のフレーム信号を読み出す。 j = n / p (5)
Returning to FIG. An imaging signal that is an analog signal output from the sensor chip 11 as an n channel is supplied to the AFE / ADC 12 and subjected to predetermined signal processing, converted into a digital signal, supplied to the frame memory 13, and stored. . In this imaging apparatus, this is performed at a speed higher than a generally defined (normal) frame time, and a plurality of frame signals are read out within a normal one frame time.

勿論、読み出すフレーム時間に合わせて、センサチップ１１の画素を構成するＰＤへの露光時間も通常の１フレーム時間より短くする。通常の１フレームに相当する時間でセンサチップ１１から読み出されたフレーム数をＮ枚とすると、このＮ枚のフレームの画像データは、Ｎ個のフレームメモリ１３のそれぞれで蓄積される。   Of course, the exposure time for the PD constituting the pixels of the sensor chip 11 is also made shorter than the normal one frame time in accordance with the frame time for reading. Assuming that the number of frames read from the sensor chip 11 in a time corresponding to one normal frame is N, the image data of the N frames is stored in each of the N frame memories 13.

ここで、読み出すフレーム時間に合わせて、上記ＰＤへの露光時間を従来の１／Ｎ倍にすると、上記ＰＤに入射できる光の強度をＮ倍にしても、上記ＰＤに蓄積できる電荷量は同じになる。また、図１の撮像装置では、露光時間を１／Ｎ倍にしてその露光時間内に全ての画素（１フレーム）の信号を出力するため、一般に規定された１フレームの時間で上記ＰＤに蓄積できる電荷量も従来のＮ倍となる。よって、ダイナミックレンジはＮの２乗倍となる。   Here, if the exposure time to the PD is set to 1 / N times the conventional frame time to read out, the amount of charge that can be accumulated in the PD is the same even if the intensity of light that can be incident on the PD is N times. become. Further, in the image pickup apparatus of FIG. 1, since the exposure time is multiplied by 1 / N and the signals of all the pixels (one frame) are output within the exposure time, it is generally stored in the PD in the time of one frame specified. The amount of charge that can be produced is also N times that of the prior art. Therefore, the dynamic range is N squared.

つまり、撮像装置１０では、従来の露光時間Ｔ１を１／Ｎ倍にしてそれをＮ回（Ｎフレーム）読み出す。勿論、露光と読み出しを並行して行うため、トータルの露光時間Ｔ１内にＮフレームのデータを読み出す事が可能である。これにより、センサチップ１１の画素を構成するＰＤの飽和電荷量がｍ個とすると、このシステム動作時の飽和電荷量Ｍｍａｘは擬似的に次式で表される。   That is, in the imaging apparatus 10, the conventional exposure time T1 is multiplied by 1 / N and read out N times (N frames). Of course, since exposure and reading are performed in parallel, it is possible to read N frames of data within the total exposure time T1. As a result, assuming that the saturation charge amount of the PD constituting the pixel of the sensor chip 11 is m, the saturation charge amount Mmax during the system operation is expressed by the following equation in a pseudo manner.

Ｍｍａｘ＝ｍ×Ｎ （６）
ここで、図１に示した撮像装置１０の出力データレートｆｈは、ｎチャンネル出力としているので、次式で表される。ただし、垂直方向の選択ライン数（１Ｈ内でＣＤＳのタイミングがずれている場合）をｐ本、水平方向の画素数をｈ個、垂直方向の画素数をｖ個、１秒間の読み出し枚数をＮ枚とする。またＣＤＳ回路他の１Ｈあたりの読み出し以外の時間をｘ［ｓ］とする。 Mmax = m × N (6)
Here, since the output data rate fh of the imaging apparatus 10 shown in FIG. 1 is an n-channel output, it is expressed by the following equation. However, the number of selected lines in the vertical direction (when the CDS timing is shifted within 1H) is p, the number of pixels in the horizontal direction is h, the number of pixels in the vertical direction is v, and the number of readouts per second is N. A sheet. Also, let x [s] be the time other than the reading per 1H of the CDS circuit and the like.

これにより、チャンネル数を増やせば増やすほどデータレートを下げることができる。このｆｈを従来の値の１０分の１にできればほぼ１０倍のフレームを読み出せることになる。実際は６倍程度のフレームレートにて読み出すことで約２３.３ｄＢのダイナミックレンジの拡大が可能となるため、この程度のフレームレートアップを行うのが現実的である。

Thus, the data rate can be lowered as the number of channels is increased. If this fh can be reduced to 1/10 of the conventional value, almost 10 times as many frames can be read. Actually, since the dynamic range of about 23.3 dB can be expanded by reading at a frame rate of about 6 times, it is practical to increase the frame rate to this extent.

再び図１に戻って説明する。フレーム加算回路１４はフレームメモリ１３から読み出した複数の信号を加算して、１フレーム分の信号を作成する。これにより、ダイナミックレンジは最大でＮの２乗倍にすることができる。   Returning again to FIG. The frame addition circuit 14 adds a plurality of signals read from the frame memory 13 to create a signal for one frame. As a result, the dynamic range can be increased to a square of N at the maximum.

ここで、ピクセル信号レベル判定コンパレータ１５は、フレームメモリ１３から読み出した信号レベルを画素毎に判定し、その判定結果に基づいて、フレーム加算回路１４におけるフレーム加算の枚数と重み付け等をフレーム加算回路３２で変更する。これにより、最適なダイナミックレンジでの良質な画像を作成することができる。   Here, the pixel signal level determination comparator 15 determines the signal level read from the frame memory 13 for each pixel, and based on the determination result, the frame addition circuit 32 determines the number of frames added, the weighting, and the like in the frame addition circuit 14. Change with. This makes it possible to create a high-quality image with an optimal dynamic range.

すなわち、フレームメモリ１３には、従来の露光時間Ｔ１を１／Ｎ倍にしてそれをＮ回（Ｎフレーム）センサチップ１１から読み出した画像データが蓄積されるため、画素毎に信号レベルを判定して、加算レベル（枚数）を変えることができる。そのため、ピクセル信号レベル判定コンパレータ１５は、フレームメモリ１３から読み出した画像データの信号レベルが小さい場合は、フレーム加算回路１４におけるフレーム加算枚数を増やす事で信号を増加してノイズを抑圧し、また信号レベルが大きい場合はフレーム加算回路１４におけるフレーム加算枚数を減らして、ダイナミックレンジを拡大し、擬似的に圧縮できる。   That is, the frame memory 13 stores the image data read from the sensor chip 11 N times (N frames) by multiplying the conventional exposure time T1 by 1 / N, so that the signal level is determined for each pixel. Thus, the addition level (number of sheets) can be changed. Therefore, when the signal level of the image data read out from the frame memory 13 is small, the pixel signal level determination comparator 15 increases the signal by increasing the number of frames added in the frame addition circuit 14 and suppresses noise. When the level is large, the number of frames added in the frame addition circuit 14 can be reduced, the dynamic range can be expanded, and pseudo compression can be performed.

フレーム加算回路１４におけるフレーム信号加算時の信号レベルＳは、例えばＮ枚のフレーム信号の信号レベルをそれぞれＳ_１、Ｓ_２、・・・、Ｓ_Ｎとし、それらが同一の信号レベルＳxとすると次式で表される。 The signal level S at the time of frame signal addition in the frame addition circuit 14 is, for example, when the signal levels of N frame signals are S ₁ , S ₂ ,..., S _N , respectively, and they have the same signal level Sx. It is expressed by a formula.

Ｓ＝Ｓ_１＋Ｓ_２＋・・・＋Ｓ_Ｎ＝Ｓx×Ｎ （８）
一方、Ｎ枚のフレーム信号を加算して得られる加算信号のノイズレベルＮｏは、Ｎ枚のフレーム信号に含まれるノイズをそれぞれＮ_１、Ｎ_２、・・・、Ｎ_Nとし、それらが同一のレベルＮxとし、かつ、各ノイズに相関がないとすると次式で表される。 S = S ₁ + S ₂ +... + S _N = Sx × N (8)
On the other hand, the noise level No of the added signal obtained by adding N frame signals is N ₁ , N ₂ ,..., N _N, and the noises included in the N frame signals are the same. If the level is Nx and there is no correlation between the noises, the following expression is obtained.

Ｎｏ＝√（（Ｎ_１）^２＋（Ｎ_２）^２＋・・・＋（Ｎ_N）^２）＝√Ｎ×Ｎx （９）
従って、信号レベルＳはノイズレベルＮｏよりも増加するのでＳ／Ｎ比は改善される。 No = √ ((N ₁ ) ² + (N ₂ ) ² +... + (N _N ) ² ) = √N × Nx (9)
Therefore, since the signal level S increases from the noise level No, the S / N ratio is improved.

また、リニアリティを確保したままダイナミックレンジを拡大するためには、加算した後で平均を取ることになる。その場合の信号レベルＳｖａｒは次式のようになる。   Further, in order to expand the dynamic range while ensuring linearity, an average is taken after addition. The signal level Svar in that case is given by the following equation.

Ｓｖａｒ＝（Ｓ_１＋Ｓ_２＋・・・＋Ｓ_Ｎ）／Ｎ （１０）
信号毎に重み付けをして加算する場合の信号レベルＳｗは次式のようになる。 Svar = (S ₁ + S ₂ +... + S _N ) / N (10)
The signal level Sw when weighting and adding each signal is given by the following equation.

Ｓｗ＝（Ｓ_１×Ａ＋Ｓ_２×Ｂ＋・・・＋Ｓ_N×Ｚ） （１１）
ここで（１２）式中、Ａ，Ｂ，・・・，Ｚは信号に重み付けをする係数である。これらの係数としては、例えば、作成する１フレームの信号を、ダイナミックレンジを上げる前と同じ範囲に入れる場合は「１」以下の数値が入る。（１０）式及び（１１）式のいずれの場合もＳ／Ｎは改善される。 Sw = (S ₁ × A + S ₂ × B +... + S _N × Z) (11)
In the equation (12), A, B,..., Z are coefficients for weighting the signal. As these coefficients, for example, a numerical value equal to or smaller than “1” is entered when a signal of one frame to be created is included in the same range as before the dynamic range is increased. S / N is improved in both cases of formulas (10) and (11).

また、加算後のダイナミックレンジの拡大は、加算後の１フレーム信号のダイナミックレンジＳx×Ｎ／（√Ｎ×Ｎx）を、加算前の１フレーム信号のダイナミックレンジＳx／Ｎxで除算することにより得られ、それをｄＢに変換すると、２０×ｌｏｇ（√Ｎ）となる。実際は、露光時間を１／Ｎ倍にしているため、それによるダイナミックレンジの拡大がＮ倍となるため、最終的にはダイナミックレンジの拡大量ＤｕはｄＢに換算すると次式で表される。   Further, the expansion of the dynamic range after addition is obtained by dividing the dynamic range Sx × N / (√N × Nx) of one frame signal after addition by the dynamic range Sx / Nx of one frame signal before addition. When converted to dB, 20 × log (√N) is obtained. Actually, since the exposure time is set to 1 / N times, the expansion of the dynamic range thereby becomes N times. Therefore, the amount of expansion of the dynamic range Du is finally expressed by the following equation when converted to dB.

Ｄｕ＝２０×ｌｏｇ（Ｎ×√Ｎ） （１２）
これにより、例えば２０ｄＢ程度ダイナミックレンジを上げるためには、４〜５倍高速に読み出す必要がある。この場合、従来の露光時間を短くすることは通常のＣＭＯＳセンサで可能であるが、短くした時間内に全ての画素データを読み出す事は難しいため、上記の多チャンネル読み出しが必須となる。 Du = 20 × log (N × √N) (12)
Thus, for example, to increase the dynamic range by about 20 dB, it is necessary to read out 4 to 5 times faster. In this case, the conventional exposure time can be shortened with a normal CMOS sensor. However, since it is difficult to read out all pixel data within the shortened time, the above-described multi-channel readout is indispensable.

図１の撮像装置１０では、フレームメモリ１３において画素毎に信号レベルをＮフレーム分保持しているために、画素毎の最適な信号設定が可能となる。例えば、画素の時間的信号変化が分かるため、信号レベルが増加していく場合と減少していく場合とで加算方法や重み付けの値を変えて画質的に良くすることができる。基本的には図１に示すような構成でダイナミックレンジの拡大が可能となる。なお、フレーム加算後の画像データは、色復調カメラシステム１６に供給される。   In the image pickup apparatus 10 of FIG. 1, since the signal level is held for N frames for each pixel in the frame memory 13, optimal signal setting for each pixel is possible. For example, since the temporal signal change of the pixel is known, the addition method and the weighting value can be changed depending on whether the signal level increases or decreases, thereby improving the image quality. Basically, the dynamic range can be expanded with the configuration shown in FIG. The image data after the frame addition is supplied to the color demodulation camera system 16.

次に、本発明の一実施の形態について図４〜図６と共に説明する。   Next, an embodiment of the present invention will be described with reference to FIGS.

図４は、本発明になる撮像装置の一実施の形態のブロック図を示す。本実施の形態の撮像装置２０は、図１のセンサチップ１１に相当する被写体を撮像して撮像信号を出力するグローバルシャッタ機能を備えたＣＭＯＳセンサ２１と、図１のＡＦＥ・ＤＡＣ１２に相当するゲイン・コントロール・アンプ（ＧＣＡ）２２、ＤＣオフセット調整部２３及びＡＤＣ２４と、図１のフレームメモリ１３に相当するフレームメモリ２５と、図１のフレーム加算回路１４に相当する加算器２８及び１フレーム加算係数生成器２９と、図１のピクセル信号レベル判定コンパレータ１５に相当するピクセル信号レベル判定コンパレータ３０とを有する。更に、撮像装置２０は、暗電流等ＦＰＮ補正フレームメモリ２６、減算器２７、及びその他色復調前信号処理部３１を有する。   FIG. 4 shows a block diagram of an embodiment of an imaging apparatus according to the present invention. The imaging apparatus 20 according to the present embodiment captures a subject corresponding to the sensor chip 11 in FIG. 1 and outputs a captured signal, and a CMOS sensor 21 having a global shutter function, and a gain corresponding to the AFE / DAC 12 in FIG. A control amplifier (GCA) 22, a DC offset adjustment unit 23 and an ADC 24, a frame memory 25 corresponding to the frame memory 13 in FIG. 1, and an adder 28 and one frame addition coefficient corresponding to the frame addition circuit 14 in FIG. A generator 29 and a pixel signal level determination comparator 30 corresponding to the pixel signal level determination comparator 15 of FIG. Furthermore, the imaging apparatus 20 includes a dark current etc. FPN correction frame memory 26, a subtractor 27, and other pre-color demodulation signal processing unit 31.

次に、本実施の形態の動作について図５及び図６のタイミングチャートを併せ参照して説明する。ＣＭＯＳセンサ２１は、前述した読み出し方法により、ＣＭＯＳセンサ２１に結像された画像を走査方向に分割し、この分割されたカラム毎の画像のそれぞれを、規格で定められた既存の１フレーム期間内で、複数回ｎチャンネル並列に読み出したアナログ信号である撮像信号を出力する。この時のＣＭＯＳセンサ２１から出力される撮像信号と、後述するフレームメモリ２５への信号書き込みは、図５に示す通常のタイミングに対してこの例では６倍にあたる図６に示す高速動作を行う。   Next, the operation of the present embodiment will be described with reference to the timing charts of FIGS. The CMOS sensor 21 divides the image formed on the CMOS sensor 21 in the scanning direction by the above-described readout method, and each of the divided images for each column is within an existing one frame period defined by the standard. Then, an imaging signal which is an analog signal read out in parallel n times is output a plurality of times. The imaging signal output from the CMOS sensor 21 at this time and the signal writing to the frame memory 25 described later perform the high-speed operation shown in FIG. 6, which is six times the normal timing shown in FIG.

１チャンネル読み出しの従来装置では、図５（Ａ）に示す垂直同期信号ＶＤのハイレベルのパルスから次のハイレベルのパルスまでの期間が、既存の規格で定められた（通常の）１フレーム期間である。また、この通常の１フレーム期間は、図５（Ｂ）に示すように露光時間である。また、水平１ラインは、図５（Ｃ）、（Ｄ）に示す水平同期信号（ＨＤ）のハイレベルのパルスから次のハイレベルのパルスまでの期間であり、上記の通常の１フレーム期間内に水平ラインの本数分、撮像信号がＣＭＯＳセンサから出力される。   In the conventional apparatus for one-channel reading, the period from the high-level pulse of the vertical synchronization signal VD shown in FIG. 5A to the next high-level pulse is a (normal) one frame period defined by the existing standard. It is. The normal one frame period is an exposure time as shown in FIG. One horizontal line is a period from the high level pulse of the horizontal synchronization signal (HD) shown in FIGS. 5C and 5D to the next high level pulse, and is within the normal one frame period. In addition, imaging signals are output from the CMOS sensor for the number of horizontal lines.

このＨＤのハイレベルのパルスと次のハイレベルまでの水平期間の１ライン毎に、まず図５（Ｅ）に模式的に示すように、ＣＭＯＳセンサ内のＣＤＳ回路によりＣＤＳ動作を行い、その後、水平の画素数分読み出し動作（具体的にはカラムＣＤＳの出力信号を選択するためのシフトレジスタ出力をシフトするなど）を行い、この読み出し動作に合わせてＣＭＯＳセンサ出力に順次カラム毎の信号が出力される。   For each line of the HD high level pulse and the horizontal period until the next high level, a CDS operation is first performed by the CDS circuit in the CMOS sensor, as schematically shown in FIG. A readout operation is performed for the number of horizontal pixels (specifically, a shift register output for selecting the output signal of the column CDS is shifted), and a signal for each column is sequentially output to the CMOS sensor output in accordance with the readout operation. Is done.

これに対し、本実施の形態ではＣＭＯＳセンサ２１における、図６（Ａ）、（Ｃ）に示す水平同期信号（ＨＤ）のハイレベルのパルスから次のハイレベルのパルスまでの１水平期間（１Ｈ）を示すＨＤ期間が、図５に示した通常のＨＤの１／６倍に短縮するようにしているので、図６（Ｄ）に示す垂直同期信号ＶＤの１フレーム期間も、通常の１フレーム期間の約１／６倍の期間となる。   In contrast, in the present embodiment, in the CMOS sensor 21, one horizontal period (1H from the high level pulse of the horizontal synchronization signal (HD) shown in FIGS. 6A and 6C to the next high level pulse is shown. ) Is shortened to 1/6 times the normal HD shown in FIG. 5, so that one frame period of the vertical synchronization signal VD shown in FIG. The period is about 1/6 times the period.

一方、読み出し時のＣＤＳ動作時間は、従来装置の１チャンネルの場合と、本実施の形態の撮像装置２０の多チャンネルで高速読み出しを行う場合と基本的には同じである。また、カラム毎の信号出力を読み出す、水平読み出し動作は１チャンネルも多チャンネルトータルとして同じ時間が必要となる。よって、全画素読み出し時間を通常のそれの１／Ｎ倍にするために必要な読み出しチャンネル数は、以下のように計算できる。   On the other hand, the CDS operation time at the time of reading is basically the same as the case of one channel of the conventional device and the case of performing high-speed reading by the multi-channel of the imaging device 20 of the present embodiment. Further, the horizontal read operation for reading the signal output for each column requires the same time for one channel as a multi-channel total. Therefore, the number of readout channels necessary for making the total pixel readout time 1 / N times the normal readout time can be calculated as follows.

従来の撮像装置の通常読み出しの場合の１フレーム時間Ｔｖは次式で表される。   One frame time Tv in the case of normal reading of a conventional imaging apparatus is expressed by the following equation.

Ｔｖ＝Ｔｃｄｓ×Ｒ＋Ｔｈ×Ｒ＋α （１３）
Ｔｃｄｓ：読み出し時のＣＤＳ動作時間
Ｒ：ＣＭＯＳセンサの水平ライン数
Ｔｈ：水平読み出し時間
α：その他読み出しに必要な時間
本実施の形態の撮像装置２０の多チャンネル読み出しの場合の１フレーム期間Ｔｍｖは、次式で表される。 Tv = Tcds × R + Th × R + α (13)
Tcds: CDS operation time during reading
R: Number of horizontal lines of the CMOS sensor
Th: Horizontal readout time
α: Time required for other reading One frame period Tmv in the case of multi-channel reading of the imaging apparatus 20 of the present embodiment is expressed by the following equation.

Ｔｍｖ＝Ｔｃｄｓ×Ｒ＋Ｔｍｈ×Ｒ＋α （１４）
Ｔｍｈ：多チャンネル時の水平読み出し時間
Ｔｖ＝Ｎ×Ｔｍｖ （１５）
Ｎ：多チャンネル高速読み出しの場合に通常時間で読み出される枚数
よって、（１３）式〜（１５）式により次式が得られる。 Tmv = Tcds × R + Tmh × R + α (14)
Tmh: horizontal readout time in multi-channel Tv = N × Tmv (15)
N: In the case of multi-channel high-speed reading, the following equation is obtained from equations (13) to (15) depending on the number of images read in a normal time.

Ｎ×Ｔｍｖ＝Ｔｃｄｓ×Ｒ＋Ｔｈ×Ｒ＋α
Ｎ×Ｔｍｈ×Ｒ＝Ｔｈ×Ｒ＋（１−Ｎ）×Ｔｃｄｓ×Ｒ＋（１−Ｎ）×α
Ｔｍｈ＝（Th/N）＋（（1-N）×Tcds/N）＋（1-N）×α/(N×R) （１６）
（１６）式で表される時間で水平の読み出しを行う必要があり、それに必要なチャンネル数を持つセンサを構成する必要がある。Ｔｃｄｓとαの時間がＴｍｈに比べて非常に短ければ、ＴｍｈはほぼＴｈ／Ｎとなるため、通常の１フレーム期間でＮ倍のフレームを読み出すためのチャンネル数はＮとなる。しかし、実際には高速読み出しを実行する場合、ＣＤＳ動作時間Ｔｃｄｓやその他読み出しに必要な時間αは無視できない。よって、実際の読み出し時のチャンネル数はフレームレートの倍数Ｎより多くなる。 N × Tmv = Tcds × R + Th × R + α
N × Tmh × R = Th × R + (1-N) × Tcds × R + (1-N) × α
Tmh = (Th / N) + ((1-N) × Tcds / N) + (1-N) × α / (N × R) (16)
It is necessary to perform horizontal readout at the time represented by the equation (16), and it is necessary to configure a sensor having the necessary number of channels. If the time of Tcds and α is very short compared to Tmh, Tmh is almost Th / N, and therefore the number of channels for reading N times frames in a normal one frame period is N. However, in actuality, when high-speed reading is performed, the CDS operation time Tcds and other time α required for reading cannot be ignored. Therefore, the actual number of channels at the time of reading is greater than a multiple N of the frame rate.

これにより、本実施の形態では、通常の１フレーム期間で６倍のフレームを読み出すものとすると、図６（Ｂ）に模式的に示すように、多チャンネルのチャンネル数ｎは「９」として、９つのＣＤＳ回路を各ＨＤ期間（通常のＨＤ期間の１／６倍の期間）の最初に動作させている。なお、本実施の形態では、ＣＭＯＳセンサ２１の露光時間は、図６（Ｅ）に示すように、通常の１フレーム期間の約１／６倍の期間としている。   As a result, in this embodiment, when six times as many frames are read out in a normal one frame period, the number n of multi-channels is set to “9” as schematically shown in FIG. Nine CDS circuits are operated at the beginning of each HD period (1/6 times the normal HD period). In the present embodiment, as shown in FIG. 6E, the exposure time of the CMOS sensor 21 is set to a period of about 1/6 times the normal one frame period.

再び図４に戻って説明する。ＧＣＡ２２は、ＣＭＯＳセンサ２１から出力されたｎチャンネル（上記の例では、ｎ＝９）の撮像信号を、後段のＡＤＣ２４に適した信号レベルに増幅する。ＤＣオフセット調整部２３は、ＧＣＡ２２から出力されたｎチャンネルの撮像信号をＡＤＣ２４に最適なオフセットを付加してＡＤＣ２４に供給してＡＤ変換させてデジタル画像データに変換する。   Returning to FIG. 4, the description will be continued. The GCA 22 amplifies the n-channel (n = 9 in the above example) imaging signal output from the CMOS sensor 21 to a signal level suitable for the ADC 24 in the subsequent stage. The DC offset adjustment unit 23 adds an optimum offset to the ADC 24 to the n-channel imaging signal output from the GCA 22, supplies the ADC 24 with the ADC 24, performs AD conversion, and converts the digital image data.

フレームメモリ２５は、ｍフレーム分の蓄積容量を有し、ＡＤＣ２４から出力されたｎチャンネルのデジタル画像データをｍフレーム分蓄積する。一方、暗電流等ＦＰＮ補正用フレームメモリ２６（以下、フレームメモリ２６）は、ＣＭＯＳセンサ２１への入射光を遮断した状態におけるＣＭＯＳセンサ２１の全画素から出力されたｎチャンネル撮像信号が、上記のＧＣＡ２２、ＤＣオフセット調整部２３、ＡＤＣ２４を経由して供給され、その入力画像データの１フレーム分を記憶する。これは、撮像装置２０の立ち上げ時に１回のみ行われる。   The frame memory 25 has a storage capacity for m frames, and stores n-channel digital image data output from the ADC 24 for m frames. On the other hand, the FPN correction frame memory 26 (hereinafter referred to as the frame memory 26), such as dark current, has the n-channel imaging signals output from all the pixels of the CMOS sensor 21 in a state where the incident light to the CMOS sensor 21 is blocked. Supplied via the GCA 22, the DC offset adjustment unit 23, and the ADC 24, one frame of the input image data is stored. This is performed only once when the imaging device 20 is started up.

減算器２７は、通常の信号読み出し時に、ダイナミックレンジを拡大するための後述するフレーム間の加算処理を行う前に、フレームメモリ２５から出力された画像データから、フレームメモリ２６から出力された遮光時の画像データを減算し、その減算後の画像データをフレームメモリ２５に再度蓄積する。これにより、ダイナミックレンジを拡大するために、フレームメモリ２５から読み出した画像データを用いた後述するフレーム間の加算処理において、ＣＭＯＳセンサ２１の画素毎の特性バラツキによる固定パターンノイズ（ＦＰＮ）が加算されてＳ／Ｎが劣化することを防止する。   The subtractor 27 is configured to read out the image data output from the frame memory 25 from the image data output from the frame memory 26 before performing addition processing between frames to be described later for expanding the dynamic range during normal signal reading. Are subtracted, and the image data after the subtraction is stored in the frame memory 25 again. Thereby, in order to expand the dynamic range, fixed pattern noise (FPN) due to characteristic variation for each pixel of the CMOS sensor 21 is added in an addition process between frames described later using image data read from the frame memory 25. S / N is prevented from deteriorating.

次に、加算器２８は、フレームメモリ２５から読み出された減算後の画像データと、１フレーム加算係数生成器２９から読み出された加算係数とを短縮したフレーム単位で乗算後に加算し、加算後の画像データをフレームメモリ２５に再度蓄積する。加算器２８での加算は（１１）式と同様の式で表される（（１１）式では加算数がＮであるが、ここではｍ）。このフレームメモリ２５と、加算器２８と、加算係数生成器２９とを用いたフレーム加算処理によりダイナミックレンジが拡大される。なお、フレームメモリ２５から読み出されたフレーム加算後の画像データは、その他色復調前信号処理部３１により、色復調前の所定の信号処理が施されて出力される。   Next, the adder 28 adds the image data after subtraction read from the frame memory 25 and the addition coefficient read from the one-frame addition coefficient generator 29 after multiplication in a shortened frame unit, and adds The subsequent image data is stored again in the frame memory 25. Addition by the adder 28 is expressed by an expression similar to the expression (11) (in the expression (11), the addition number is N, but here m). The dynamic range is expanded by the frame addition process using the frame memory 25, the adder 28, and the addition coefficient generator 29. The image data after the frame addition read from the frame memory 25 is subjected to predetermined signal processing before color demodulation by the other signal processing unit 31 before color demodulation and is output.

次に、このフレームメモリ２５に蓄積されたｍ枚の画像データを用いてダイナミックレンジを拡大する方法について更に詳細に説明する。   Next, a method for expanding the dynamic range using m pieces of image data stored in the frame memory 25 will be described in more detail.

ＣＭＯＳセンサにおいて、図５に示すような通常読み出しを行った場合の入射光強度に対する出力信号の特性は、図７の通常の露光時間による出力特性Iとなり、光強度Ａにて通常のＰＤ飽和信号レベルIIにて出力信号が飽和する状態となる。この入射光強度０〜ＡまでがＣＭＯＳセンサから信号が出力される範囲で、これがダイナミックレンジとなる。   In the CMOS sensor, the output signal characteristic with respect to the incident light intensity in the case of normal reading as shown in FIG. 5 is the output characteristic I according to the normal exposure time in FIG. At level II, the output signal is saturated. This incident light intensity from 0 to A is the range in which a signal is output from the CMOS sensor, and this is the dynamic range.

これに対して、本実施の形態では、図６に示すような多チャンネル読み出しを用いて、通常の１フレームの時間で例えば、６フレーム分のデータを読み出すと共に、露光時間は通常の時間の１／６倍に短縮する。その６フレーム分を単純加算して１フレームの画を作成するとダイナミックレンジは（１２）式に従い、以下のように向上する。   On the other hand, in the present embodiment, for example, data of 6 frames is read out in a normal time of one frame using multi-channel reading as shown in FIG. 6, and the exposure time is 1 of the normal time. Reduce to / 6 times. When one frame image is created by simply adding the six frames, the dynamic range is improved as follows according to the equation (12).

Ｄｕ６＝２０×ｌｏｇ（６×√６）
＝２３.３ ［ｄＢ］ （１７）
その場合の入射光強度に対する出力信号の特性は図７にIIIで示す如くになり、通常の露光時間による出力特性と同じで、通常のＰＤ飽和信号レベルで飽和せず、信号出力はリニアに増加して、その６倍の出力信号を出せることになる。その時の入射光強度はＢとなる。 Du6 = 20 × log (6 × √6)
= 23.3 [dB] (17)
In this case, the output signal characteristic with respect to the incident light intensity is as shown by III in FIG. 7, which is the same as the output characteristic by the normal exposure time, and does not saturate at the normal PD saturation signal level, and the signal output increases linearly. As a result, an output signal that is six times as large as that can be output. The incident light intensity at that time is B.

ところで、普通のカメラシステムでは感度の観点から信号処理回路内を伝達する信号レベルは通常のＰＤ飽和信号レベルを最大値とすることが多い。ダイナミックレンジが例えば６倍に拡大された時に、このダイナミックレンジが拡大された信号を伝達するために、この信号レベルを最大値とするような信号処理回路にすると、通常のＰＤ飽和信号レベル程度では逆に暗い画となり、感度が低下したような印象を受ける。それを回避するためには信号レベルによりゲインを変更する必要があるが、撮像している画の中に非常に明るい部分と暗い部分があると、結果的には感度が低下したような画に見える。   By the way, in an ordinary camera system, the signal level transmitted through the signal processing circuit is often set to the maximum value of the normal PD saturation signal level from the viewpoint of sensitivity. For example, when a signal processing circuit that maximizes the signal level in order to transmit a signal with an expanded dynamic range when the dynamic range is expanded by, for example, 6 times, a normal PD saturation signal level is required. On the contrary, the image becomes dark and gives the impression that the sensitivity is reduced. To avoid this, it is necessary to change the gain depending on the signal level, but if there are very bright and dark parts in the image being captured, the result will be an image with reduced sensitivity. appear.

そこで、本実施の形態では、図４のピクセル信号レベル判定コンパレータ３０を用いて、フレームメモリ２５から読み出される画像データの各画素毎に信号レベルを判定し、信号レベルが小さい場合（暗い部分）は、１フレーム加算係数生成器２９におけるフレーム加算係数の値を大にすることで信号レベルを増加してノイズを抑圧し、また信号レベルが大きい場合（明るい部分）は１フレーム加算係数生成器２９におけるフレーム加算係数を小にする（明るい信号ほど１より小さい値にする）ことで、ダイナミックレンジを拡大し、擬似的に圧縮することで、自然な画とする。   Therefore, in the present embodiment, the pixel signal level determination comparator 30 in FIG. 4 is used to determine the signal level for each pixel of the image data read from the frame memory 25, and when the signal level is low (dark portion) By increasing the value of the frame addition coefficient in the 1-frame addition coefficient generator 29, the signal level is increased to suppress noise. When the signal level is high (bright part), the 1-frame addition coefficient generator 29 By making the frame addition coefficient small (brighter signals are set to a value smaller than 1), the dynamic range is expanded and pseudo compression is performed to obtain a natural image.

例えば、通常の１／６倍の露光時間で得られた６フレームの画像データを、各画素の信号レベルにて上記のように加算係数を可変して重み付けを変更した場合の入射光強度対出力信号レベル特性は図７にIVで示される。これにより、ダイナミックレンジを拡大した自然な画が得られる。   For example, the incident light intensity vs. output when 6 frames of image data obtained with an exposure time that is 1/6 times the normal is weighted by changing the addition coefficient as described above at the signal level of each pixel. The signal level characteristic is indicated by IV in FIG. As a result, a natural image with an expanded dynamic range can be obtained.

このように、本実施の形態によれば、以下の特長がある。   Thus, according to the present embodiment, there are the following features.

（１）ＣＭＯＳセンサ２１内の画素の蓄積期間を動的に変更することなく、フレームメモリ２５に蓄積されたｍ枚の画像データを加算することでダイナミックレンジを拡大することができると共に、その画像データの画素毎に加算量、あるいは重み付けを変えるようにしたため、できる限り人間の目の特性に合ったリニアリティを実現でき、ダイナミックレンジを変えた時の画を見易くできる。   (1) The dynamic range can be expanded by adding m pieces of image data stored in the frame memory 25 without dynamically changing the storage period of the pixels in the CMOS sensor 21, and the image Since the amount of addition or weighting is changed for each pixel of data, linearity matching the characteristics of the human eye can be realized as much as possible, and the image when the dynamic range is changed can be easily seen.

（２）複数枚のフレームで加算等も組み合わせて読み出し信号を作成するようにしているため、１フレームの短時間露光データに係数を掛けて信号を作成するよりもＳ／Ｎを向上できる。   (2) Since the readout signal is generated by combining additions and the like in a plurality of frames, the S / N can be improved as compared with the case where the signal is generated by multiplying the short-time exposure data of one frame by a coefficient.

（３）ピクセル信号レベル判定コンパレータ３０により、複数フレーム間で同一画素の信号が全く変化しない場合と変化する場合で重み付けを変えることが可能であるため、光信号の時間的変動に対して、より自然にダイナミックレンジを変化させる時に有用である。   (3) Since the pixel signal level determination comparator 30 can change the weighting between the case where the signal of the same pixel does not change at all and the case where the signal changes between a plurality of frames, Useful when changing the dynamic range naturally.

図８は、本発明になる撮像装置の一実施例の要部の構成図を示す。同図において、本実施例は、１６チャンネル読み出しの例を示す。本実施例の撮像装置４０は、色フィルタ及び画素部４１を有する。この色フィルタ及び画素部４１は、ＣＭＯＳセンサの画素部の受光面にベイヤ配列の色フィルタが配置された構成である。ベイヤ配列の色フィルタは、図８に模式的に示すように、輝度信号の寄与する割合の高い緑色光を透過させる１画素分の緑色フィルタ部Ｇを１画素ピッチおき毎に市松状に配置し、残りの領域に赤色光を透過させる１画素分の赤色フィルタ部Ｒと、青色光を透過させる１画素分の青色フィルタ部Ｂとを、１画素ピッチおき毎に市松状に配置した構成である。   FIG. 8 is a block diagram showing the main part of an embodiment of the imaging apparatus according to the present invention. In the figure, the present embodiment shows an example of 16-channel reading. The imaging device 40 of this embodiment includes a color filter and pixel unit 41. The color filter and pixel unit 41 has a configuration in which a Bayer array color filter is arranged on the light receiving surface of the pixel unit of the CMOS sensor. As schematically shown in FIG. 8, the Bayer array color filters are arranged in a checkered pattern with a green filter portion G for one pixel transmitting green light with a high contribution ratio of the luminance signal at every other pixel pitch. The red filter portion R for one pixel that transmits red light and the blue filter portion B for one pixel that transmits blue light are arranged in a checkered pattern every other pixel pitch. .

色フィルタ及び画素部４１は、ベイヤ配列の色フィルタを透過した入射光をＣＭＯＳセンサの画素部に入射して光電変換する。画素部は、図示しない垂直駆動部により、水平２ラインの画素が同時に選択される。また、図８は撮像装置の一部のみしか図示していないが、シフトレジスタ等により構成された水平駆動部４２及び４３により、画素部の水平方向の８画素単位で水平方向の駆動が行われる。この画素部からの出力信号を用いてＣＤＳ回路４４、４５のスイッチ等を選択し、水平信号線４６、４７に信号を読み出す。   The color filter and pixel portion 41 photoelectrically converts incident light that has passed through the Bayer array color filter and enters the pixel portion of the CMOS sensor. In the pixel unit, pixels in two horizontal lines are simultaneously selected by a vertical driving unit (not shown). FIG. 8 shows only a part of the image pickup apparatus, but horizontal driving is performed in units of 8 pixels in the horizontal direction of the pixel unit by the horizontal driving units 42 and 43 configured by a shift register or the like. . The switches of the CDS circuits 44 and 45 are selected using the output signal from the pixel portion, and signals are read out to the horizontal signal lines 46 and 47.

ＣＤＳ回路４４、４５は各カラム毎に設けられており、各カラム毎の画素からの信号が供給される構成で、例えば図９に示す回路構成とされている。同図において、画素５５ａ、画素５５ｂ等の垂直方向（カラム方向）に配列された複数の画素に共通に接続された１本の垂直信号線が２分岐され、一方はスイッチＳＷ１を介してオペアンプ５６の非反転入力端子に接続され、他方はスイッチＳＷ２及びコンデンサＣ１を直列に介してオペアンプ５６の反転入力端子に接続されている。ここで、上記画素５５ａと画素５５ｂとは任意の隣接する２本の水平ラインの画素である。また、オペアンプ５６の非反転入力端子は、コンデンサＣ２を介して接地されると共に、スイッチＳＷ５を介して基準電圧ＶＲＥＦが印加される構成とされている。また、オペアンプ５６の反転入力端子はスイッチＳＷ４及びコンデンサＣ３の直列回路とスイッチＳＷ３とを並列に介して入力端子に帰還接続されている。   The CDS circuits 44 and 45 are provided for each column, and are supplied with signals from the pixels for each column. For example, the circuit configuration shown in FIG. In the figure, one vertical signal line commonly connected to a plurality of pixels arranged in the vertical direction (column direction) such as the pixels 55a and 55b is branched into two, one of which is an operational amplifier 56 via a switch SW1. The other is connected to the inverting input terminal of the operational amplifier 56 through the switch SW2 and the capacitor C1 in series. Here, the pixel 55a and the pixel 55b are pixels on any two adjacent horizontal lines. Further, the non-inverting input terminal of the operational amplifier 56 is grounded via the capacitor C2, and the reference voltage VREF is applied via the switch SW5. Further, the inverting input terminal of the operational amplifier 56 is feedback-connected to the input terminal via the switch SW3 and the series circuit of the switch SW4 and the capacitor C3 in parallel.

更に、オペアンプ５６の出力端子は、スイッチＳＷ６を介してバッファアンプ５７の非反転入力端子に接続されている。バッファアンプ５７はボルテージフォロワであり、その非反転入力端子がコンデンサＣ４を介して接地され、またその出力端子が反転入力端子に帰還接続される一方、スイッチＳＷ７を介して水平信号線５８（図８の４６又は４７）に接続されている。   Further, the output terminal of the operational amplifier 56 is connected to the non-inverting input terminal of the buffer amplifier 57 via the switch SW6. The buffer amplifier 57 is a voltage follower, and its non-inverting input terminal is grounded via a capacitor C4, and its output terminal is feedback-connected to the inverting input terminal, while the horizontal signal line 58 (FIG. 8) is connected via a switch SW7. 46 or 47).

次に、図９のＣＤＳ回路の動作について、図１０のタイミングチャートを併せ参照して説明する。画素５５ａ、５５ｂからの信号電圧は図１０（Ａ）に示すように変化するものとする。図９のスイッチＳＷ１、ＳＷ２、ＳＷ４、ＳＷ３、ＳＷ５、ＳＷ７、ＳＷ６は図１０（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）に示すように、ハイレベルのときにオン、ローレベルのときにオフに制御される。   Next, the operation of the CDS circuit of FIG. 9 will be described with reference to the timing chart of FIG. It is assumed that the signal voltage from the pixels 55a and 55b changes as shown in FIG. The switches SW1, SW2, SW4, SW3, SW5, SW7, SW6 in FIG. 9 are as shown in FIGS. 10 (B), (C), (D), (E), (F), (G), (H). On the other hand, it is controlled to be on when it is high and off when it is low.

これにより、スイッチＳＷ１を介して画素５５ａ、５５ｂからの信号電圧がコンデンサＣ２に保持される。一方、スイッチＳＷ２を介して画素リセット時の画素リセット信号がコンデンサＣ１に保持される。また、スイッチＳＷ３、ＳＷ４、ＳＷ５とオペアンプ５６とコンデンサＣ３とにより、画素からの信号電圧と画素リセット信号とが減算される。また、Ｃ点の減算後の信号は、スイッチＳＷ６のオン時にコンデンサＣ４に印加されて保持された後、バッファアンプ５７に供給される。コンデンサＣ４に保持された電圧は、その後の時刻ｔ７で、バッファアンプ５７を通してカラム毎にあるスイッチＳＷ７を図１０（Ｇ）にハイレベルで模式的に示すようにオン状態にすることで水平信号線５８を介して水平読み出し部へ出力される。水平読み出し部では、水平信号線５８に読み出した図１０（Ｉ）に示す信号を並列に処理するための信号線を複数有している。   As a result, the signal voltage from the pixels 55a and 55b is held in the capacitor C2 via the switch SW1. On the other hand, the pixel reset signal at the time of pixel reset is held in the capacitor C1 via the switch SW2. Further, the signal voltage from the pixel and the pixel reset signal are subtracted by the switches SW3, SW4, SW5, the operational amplifier 56, and the capacitor C3. The signal after the subtraction of the point C is applied to the capacitor C4 and held when the switch SW6 is turned on, and then supplied to the buffer amplifier 57. At time t7, the voltage held in the capacitor C4 is changed to the horizontal signal line by turning on the switch SW7 for each column through the buffer amplifier 57 as schematically shown at a high level in FIG. The data is output to the horizontal reading unit via 58. The horizontal readout section has a plurality of signal lines for processing in parallel the signals shown in FIG. 10 (I) read out on the horizontal signal line 58.

再び図８に戻って、本実施例の動作を図１１のタイミングチャートを併せ参照して説明する。垂直駆動部（図示せず）及び水平駆動部４２、４３はシフトレジスタを用いて構成されており、それぞれのシフトレジスタに駆動用スタートパルス（図１１（Ａ）、（Ｆ））を入力する。垂直駆動部は、入力垂直駆動用スタートパルスをシフトすることで、水平ラインを２ラインずつ選択する（図１１（Ｂ）〜（Ｄ））。   Returning to FIG. 8 again, the operation of the present embodiment will be described with reference to the timing chart of FIG. The vertical drive unit (not shown) and the horizontal drive units 42 and 43 are configured using shift registers, and drive start pulses (FIGS. 11A and 11F) are input to the respective shift registers. The vertical drive unit selects two horizontal lines by shifting the input vertical drive start pulse (FIGS. 11B to 11D).

一方、水平駆動部４２、４３は、入力された水平駆動用スタートパルス（図１１（Ｆ））を水平画素数分シフトする（図１１（Ｇ）〜（Ｉ））。この時２Ｈ同時に垂直駆動部で画素を選択するので画素部４１の２ラインの画素信号を１水平期間に出力できる。水平駆動部４２、４３からのシフト出力パルスは各カラム毎にあるＣＤＳ回路４４、４５のうち８個のＣＤＳ回路毎に出力をスイッチ等で同時に選択する。   On the other hand, the horizontal drive units 42 and 43 shift the input horizontal drive start pulse (FIG. 11F) by the number of horizontal pixels (FIGS. 11G to 11). At this time, since the pixels are selected by the vertical driving unit at the same time for 2H, two lines of pixel signals of the pixel unit 41 can be output in one horizontal period. The shift output pulses from the horizontal drive units 42 and 43 simultaneously select the output for each of the eight CDS circuits among the CDS circuits 44 and 45 for each column using a switch or the like.

すなわち、同時に読み出しを行う２ラインの同じカラム方向にある２個の画素からの信号がそれぞれ供給されるＣＤＳ回路４４、４５は、図１１（Ｅ）に模式的に示すように、１水平期間の初めで１回当たり水平方向８画素からの信号に対してＣＤＳ動作を行い、そのＣＤＳ動作後の信号を保持する。各水平期間毎に上記の動作を繰り返す。   That is, the CDS circuits 44 and 45 to which signals from two pixels in the same column direction of two lines that are simultaneously read out are respectively supplied in one horizontal period as schematically shown in FIG. First, a CDS operation is performed on signals from 8 pixels in the horizontal direction at a time, and a signal after the CDS operation is held. The above operation is repeated for each horizontal period.

ＣＤＳ回路４４、４５に接続された水平信号線４６、４７は、それぞれ８本ずつあり、それに対応して増幅器（ＡＭＰ）４８、４９も８個ずつ設けられている。８個ずつのＡＭＰ４８、４９は、８本ずつの水平信号線４６、４７からの信号が入力される。８本の水平信号線４６には、ＣＤＳ回路４４を通して図１１（Ｊ）〜（Ｑ）に示す同じライン上にある４つの色フィルタ部Ｇを透過した緑色光を光電変換した４画素からの緑色信号（Ｇ信号）Ｇ１、Ｇ３、Ｇ５、Ｇ７と、上記と同じライン上にある４つの色フィルタ部Ｒを透過した赤色光を光電変換した４画素からの赤色信号（Ｒ信号）Ｒ１、Ｒ２、Ｒ３、Ｒ４とが入力されてＡＭＰ４８に転送される。   There are eight horizontal signal lines 46 and 47 connected to the CDS circuits 44 and 45, respectively, and eight amplifiers (AMP) 48 and 49 are also provided correspondingly. Eight AMPs 48 and 49 receive signals from eight horizontal signal lines 46 and 47, respectively. Green light from four pixels obtained by photoelectrically converting green light transmitted through the four color filter portions G on the same line shown in FIGS. 11J to 11Q through the CDS circuit 44 is supplied to the eight horizontal signal lines 46. Red signals (R signals) R1, R2, from four pixels obtained by photoelectric conversion of signals (G signals) G1, G3, G5, G7 and red light transmitted through the four color filter portions R on the same line as above R3 and R4 are input and transferred to the AMP48.

一方、８本の水平信号線４７には、ＣＤＳ回路４５を通して図１１（Ｒ）〜（Ｙ）に示す上記の水平信号線４６に出力される画素信号のラインとは隣接するライン上にある４つの色フィルタ部Ｂを透過した青色光を光電変換した４画素からの青色信号（Ｂ信号）Ｂ１、Ｂ２、Ｂ３、Ｂ４と、色フィルタ部Ｂと同じライン上にある４つの色フィルタ部Ｇを透過した緑色光を光電変換した４画素からの緑色信号（Ｇ信号）Ｇ２、Ｇ４、Ｇ６、Ｇ８とが入力されてＡＭＰ４９に転送される。   On the other hand, the eight horizontal signal lines 47 are on the line adjacent to the line of the pixel signal output to the horizontal signal line 46 shown in FIGS. 11 (R) to (Y) through the CDS circuit 45. Blue signals (B signals) B1, B2, B3, B4 from four pixels obtained by photoelectrically converting blue light transmitted through one color filter unit B, and four color filter units G on the same line as the color filter unit B Green signals (G signals) G2, G4, G6, and G8 from four pixels obtained by photoelectrically converting the transmitted green light are input and transferred to the AMP 49.

ＡＭＰ４８で増幅された８信号（Ｇ１、Ｒ１、Ｇ３、Ｒ２、Ｇ５、Ｒ３、Ｇ７、Ｒ４）は、サンプリングホールド（Ｓ／Ｈ）回路５０に供給されて水平方向に隣接する同じ色信号同士がサンプル及びホールドされる。更に、Ｓ／Ｈ回路５０の出力信号は、サンプリングホールド（Ｓ／Ｈ）回路５２に供給されて同じ色信号同士がサンプル及びホールドされ、図１１（Ｚ）に示すＧ信号と、同図（イ）に示すＲ信号とが出力される。   The eight signals (G1, R1, G3, R2, G5, R3, G7, R4) amplified by the AMP 48 are supplied to the sampling hold (S / H) circuit 50 and the same color signals adjacent in the horizontal direction are sampled. And held. Further, the output signal of the S / H circuit 50 is supplied to the sampling hold (S / H) circuit 52 where the same color signals are sampled and held, and the G signal shown in FIG. R signal shown in FIG.

一方、ＡＭＰ４９で増幅された８信号（Ｂ１、Ｇ２、Ｂ２、Ｇ４、Ｂ３、Ｇ６、Ｂ４、Ｇ８）は、サンプリングホールド（Ｓ／Ｈ）回路５１に供給されて水平方向に隣接する同じ色信号同士がサンプル及びホールドされる。更に、Ｓ／Ｈ回路５１から出力された４信号は、サンプリングホールド（Ｓ／Ｈ）回路５３に供給されて同じ色信号同士がサンプル及びホールドされ、図１１（ロ）に示すＧ信号と、同図（ハ）に示すＢ信号とが出力される。   On the other hand, the eight signals (B1, G2, B2, G4, B3, G6, B4, G8) amplified by the AMP 49 are supplied to the sampling hold (S / H) circuit 51 and are adjacent to each other in the horizontal direction. Are sampled and held. Further, the four signals output from the S / H circuit 51 are supplied to the sampling hold (S / H) circuit 53 where the same color signals are sampled and held, and the same as the G signal shown in FIG. The B signal shown in FIG.

このようにして、ＣＭＯＳセンサはＳ／Ｈ回路５０〜５３で信号の選別を行い、Ｒ、Ｇ、Ｂ信号別の信号出力４チャンネルにまとめて外部へ出力する。これは内部の水平信号線はデータレートを下げるために、１６チャンネルで信号を取り出すが、外部の回路の負担を軽減するために、このように内部で信号をまとめることも可能ということである。勿論１６チャンネルでの信号出力を行うこともできるので、必要に応じて構成を選択することが可能である。   In this manner, the CMOS sensor performs signal selection by the S / H circuits 50 to 53, and outputs them to the signal output channels for the R, G, and B signals together. This is because the internal horizontal signal lines take out signals in 16 channels in order to reduce the data rate, but in order to reduce the burden on the external circuit, it is possible to collect the signals in this way. Of course, it is also possible to output signals in 16 channels, so that the configuration can be selected as necessary.

前記の実施の形態及び実施例は、特にビデオ帯域での動画信号を作成する時に有用である。例えば、従来の一般的な民生用のビデオカメラのダイナミックレンジ６０ｄＢを９０ｄＢ以上に上げることが可能であり、撮影環境を広げることに寄与するものである。   The above-described embodiments and examples are particularly useful when creating a moving image signal in a video band. For example, the dynamic range 60 dB of a conventional general consumer video camera can be increased to 90 dB or more, which contributes to widening the shooting environment.

本発明の撮像装置の概略構成図である。It is a schematic block diagram of the imaging device of this invention. 図１中のセンサチップ１１の一例の構成を示すブロック図である。It is a block diagram which shows the structure of an example of the sensor chip 11 in FIG. 図１の動作説明用タイミングチャートである。2 is a timing chart for explaining the operation of FIG. 1. 本発明の撮像装置の一実施の形態のブロック図である。It is a block diagram of one embodiment of an imaging device of the present invention. １チャンネル読み出し時のタイミングチャートである。It is a timing chart at the time of 1 channel reading. ４倍高速読み出し時のタイミングチャートである。It is a timing chart at the time of 4 times high-speed reading. ダイナミックレンジ拡大時の特性の説明図である。It is explanatory drawing of the characteristic at the time of dynamic range expansion. 本発明の撮像装置の一実施例の要部の構成図である。It is a block diagram of the principal part of one Example of the imaging device of this invention. ＣＤＳ回路の一例の回路図である。It is a circuit diagram of an example of a CDS circuit. 図９の動作説明用タイミングチャートである。10 is a timing chart for explaining the operation of FIG. 9. 図８の動作説明用タイミングチャートである。9 is a timing chart for explaining the operation of FIG. 8. １チャンネル読み出しのＣＭＯＳセンサ構成例である。This is a configuration example of a CMOS sensor for one-channel reading. 図１２の動作説明用タイミングチャートである。13 is a timing chart for explaining the operation of FIG. 12. ２チャンネル読み出しのＣＭＯＳセンサ構成例である。It is an example of a CMOS sensor configuration of 2-channel reading. 図１４の動作説明用タイミングチャートである。FIG. 15 is a timing chart for explaining the operation of FIG. 14. ４チャンネル読み出しのＣＭＯＳセンサ構成例である。It is a 4-channel readout CMOS sensor configuration example. 図１６の動作説明用タイミングチャートである。FIG. 17 is a timing chart for explaining the operation of FIG. 16.

符号の説明Explanation of symbols

１０、２０、４０ 撮像装置
１１ センサチップ
１２ ＡＦＥ・ＡＤＣ
１３、２５ フレームメモリ
１４ フレーム加算回路
１５、３０ ピクセル信号レベル判定コンパレータ
２１、６０、７０、８０ ＣＭＯＳセンサ
２６ 暗電流等ＦＰＮ補正フレームメモリ
２７ 減算器
２８ 加算器
２９ １フレーム加算係数生成器
４１ 色フィルタ及び画素部
４２、４３、６４、７２、７３、８２、８３、１１２ａ、１１２ｂ 水平駆動部
４４、４５、６３、７５、７６、８５₁〜８５₄、１１４₁〜１１４_2k ＣＤＳ回路
４８、４９、６５、７７、７８、８６₁〜８６₄、１１５₁〜１１５_2k 増幅器（ＡＭＰ）
５０〜５３ サンプリングホールド回路（Ｓ／Ｈ回路）
５５ａ、５５ｂ カラム方向に配列された画素
５６ オペアンプ
５７ バッファアンプ
６１、７１、８１、１１１ 画素部
６２、７４、８４、１１３ 垂直駆動部 10, 20, 40 Imaging device 11 Sensor chip 12 AFE / ADC
13, 25 Frame memory 14 Frame addition circuit 15, 30 Pixel signal level determination comparator 21, 60, 70, 80 CMOS sensor 26 Dark current etc. FPN correction frame memory 27 Subtractor 28 Adder 29 1 Frame addition coefficient generator 41 Color filter And pixel portions 42, 43, 64, 72, 73, 82, 83, 112a, 112b horizontal drive portions 44, 45, 63, 75, 76, 85 _{1 to} 85 ₄ , 114 _{1 to} 114 _2k CDS circuits 48, 49, 65, 77, 78, 86 _{1 to} 86 ₄ , 115 _{1 to} 115 _2k amplifier (AMP)
50 to 53 Sampling hold circuit (S / H circuit)
55a, 55b Pixels arranged in the column direction 56 Operational amplifier 57 Buffer amplifier 61, 71, 81, 111 Pixel unit 62, 74, 84, 113 Vertical drive unit

Claims (2)

各々光電変換手段を備えた画素が複数規則正しく配列された固体撮像素子を用いた撮像装置において、
前記複数の画素のうち列方向に配列された前記画素毎に設けられており、規格で定められた既存の１フレーム期間の１／Ｎ倍（Ｎは２以上の整数）の露光期間で露光させた前記固体撮像素子の前記列方向に配列された前記画素のうち同時に読み出された複数の画素からの撮像信号に対して、１水平期間内で複数回相関二重サンプリング動作を行い、その動作後の撮像信号を前記既存の１フレーム期間内でＮ回、複数の水平信号線に出力する多チャンネル出力手段と、
前記多チャンネル出力手段から前記Ｎ回出力された撮像信号を、デジタル信号の画像データに変換後に記憶する第１の記憶手段と、
前記第１の記憶手段から読み出した前記画像データのうち、各画素の信号毎に加算係数を乗算した後加算合成して、前記既存の１フレーム期間における画像信号として出力する加算手段と、
前記第１の記憶手段から読み出した前記画像データの信号レベルを各画素毎に判定し、その信号レベルに応じて前記加算手段における前記加算係数を可変制御する加算係数制御手段と、
を有することを特徴とする撮像装置。 In an imaging device using a solid-state imaging device in which a plurality of pixels each having a photoelectric conversion means are regularly arranged,
It is provided for each of the pixels arranged in the column direction among the plurality of pixels, and is exposed in an exposure period that is 1 / N times (N is an integer of 2 or more) of an existing one frame period defined in the standard. In addition, a correlated double sampling operation is performed a plurality of times within one horizontal period with respect to imaging signals from a plurality of pixels that are simultaneously read out of the pixels arranged in the column direction of the solid-state imaging device. Multi-channel output means for outputting a subsequent imaging signal to a plurality of horizontal signal lines N times within the existing one frame period;
First storage means for storing the imaging signal output N times from the multi-channel output means after conversion into image data of a digital signal;
Addition means for multiplying and adding and adding an addition coefficient for each pixel signal in the image data read out from the first storage means and outputting as an image signal in the existing one frame period;
An addition coefficient control means for determining a signal level of the image data read from the first storage means for each pixel and variably controlling the addition coefficient in the addition means according to the signal level;
An imaging device comprising: 設定したタイミングで前記固体撮像素子への入射光を遮断した状態における前記固体撮像素子の全画素から出力された１フレーム分の撮像信号を遮光時画像データとして記憶する第２の記憶手段と、
前記加算手段による加算合成動作の前に、前記第１の記憶手段から読み出した画像データから、前記第２の記憶手段から読み出した前記遮光時画像データを減算し、その減算後の画像データを、前記加算手段で利用させるために前記第１の記憶手段に再度記憶させる減算手段と、
を更に有することを特徴とする請求項１記載の撮像装置。 Second storage means for storing an image signal for one frame output from all pixels of the solid-state image sensor in a state where incident light to the solid-state image sensor is blocked at a set timing;
Prior to the adding and synthesizing operation by the adding unit, the image data read from the second storage unit is subtracted from the image data read from the first storage unit, and the image data after the subtraction is Subtracting means for storing again in the first storage means for use in the adding means;
The imaging apparatus according to claim 1, further comprising:

Images