JP2000224484A - Noise canceling device and method in cmos image sensor - Google Patents

Abstract

PROBLEM TO BE SOLVED: To improve read time and to cancel the fixed pattern noise of respective pixels by opening a shutter before starting exposure, starting the exposure by VSETB pulses for presetting reset to '1' and ending the exposure by closing the shutter. SOLUTION: The shutter 1012 is opened by a software 1005 on a host personal computer 1002, frame integration pulses FI are turned to a high level, VSETB and VCLRB for clearing reset and performing read are pulsed and the integration of all photocells inside an array is simultaneously started. After exposure time T1, the pulse of frame read FR is continued until FI becomes a low level, then the shutter 1012 is closed and images are read over 1014 lines and then buffered. Further, VSETB are pulsed, the fetch of the next image is started and VCLRB and FR are pulsed again. The integration is performed for the time T1, dark frames are read over 1014 frames, they are subtracted from buffered image frames and noise is canceled.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明はイメージセンサに関
し、より詳細にはＣＭＯＳイメージセンサ用の改良され
た雑音キャンセル方法に関する。The present invention relates to image sensors, and more particularly, to an improved noise cancellation method for a CMOS image sensor.

【０００２】[0002]

【従来の技術】典型的な高解像度ＣＭＯＳセンサとし
て、ＶＬＳＩ Ｖｉｓｉｏｎ社のＶＶ６８５０モノリシ
ックセンサがある。ＶＶ６８５０は１０１６ｘ８０４ピ
クセルアレーイメージセンサを有し、外部ディジタル化
及び記憶のための行毎のピクセルを出力する。露光制御
は、電気機械的シャッタ及びフレームラインバッファリ
ングないし処理により達成される。電気機械的シャッタ
は使用してもしなくてもよい。2. Description of the Related Art A typical high-resolution CMOS sensor is a VV6850 monolithic sensor manufactured by VLSI Vision. The VV6850 has a 1016 x 804 pixel array image sensor and outputs row by row pixels for external digitization and storage. Exposure control is achieved by electromechanical shuttering and frame line buffering or processing. Electromechanical shutters may or may not be used.

【０００３】高品質画像を得るため、画像取り込み中の
雑音を除去しなければならない。特に、固定パターン雑
音（ＦＰＮ）すなわちピクセル間のオフセット変動から
生じる雑音を除去する必要がある。固定パターン雑音が
生じる原因としては、（ａ）トランジスタ閾値オフセッ
トと、（ｂ）暗電流がある。トランジスタ閾値オフセッ
トは、個々のピクセル増幅器、個々の列ソースフォロ
ワ、及び個々の出力チャネルマルチプレクサがそれぞれ
固有のオフセットを有していることから生ずる。この固
有のオフセットはトランジスタの閾値電圧内のプロセス
変動により生ずる。オフセットは露光とは関係なく、温
度及び動作状態に関して比較的安定である。[0003] In order to obtain high quality images, noise during image capture must be removed. In particular, there is a need to remove fixed pattern noise (FPN), ie, noise resulting from offset variations between pixels. The causes of the occurrence of the fixed pattern noise include (a) the transistor threshold offset and (b) the dark current. Transistor threshold offsets result from the individual pixel amplifiers, individual column source followers, and individual output channel multiplexers each having a unique offset. This inherent offset is caused by process variations within the threshold voltage of the transistor. The offset is relatively stable with respect to temperature and operating conditions, independent of exposure.

【０００４】暗電流雑音は、入射光と同様に積分コンデ
ンサを放電するホトダイオード内の固有の漏れから生ず
る。従って、アレーがリセットから解除される度に、暗
電流固定パターン雑音がアレー上に溜まる。暗信号雑音
の量は露光時間に依存し、ピクセル毎に異なる。[0004] Dark current noise results from inherent leakage in the photodiode which discharges the integrating capacitor as well as the incident light. Therefore, every time the array is released from reset, dark current fixed pattern noise accumulates on the array. The amount of dark signal noise depends on the exposure time and varies from pixel to pixel.

【０００５】ＶＶ６８５０モノリシック画像センサのブ
ロック図が図１に示されている。ピクセルアクセスは行
列シフトレジスタにより行われる。ピクセルの各行すな
わちラインは同時に読まれ、サンプルホールド段に記憶
される。次に列が交互に読み出され、４個の出力チャネ
ルを介してＡＶＯ出力状態に多重化される。画像は続い
て外部バッファリング及び処理回路において整理・再構
成される。特に、ＶＶ６８５０は１０１６ｘ８０４ホト
ダイオードアレー１０２を有し、該アレーは制御カウン
タ１０６からの制御入力と、垂直シフトレジスタ１０４
からの入力を受け取るように接続される。ホトダイオー
ドアレー１０２からの出力はサンプルホールド回路１１
８に送られ、さらにビデオ出力段１１０に送られる。サ
ンプルホールド回路１１８はまた、水平シフトレジスタ
１２０からの入力を受け取る。基準電圧ユニット１０
８、シリアルインタフェース１１２、制御レジスタ１１
４、５ビットＤ／Ａコンバータ１１６等のその他の様々
な回路ｍｏ備えられている。ピクセル読み出しは読み出
し垂直及び水平シフトレジスタ１０４、１２０により制
御される。ＶＶ６８５０モノリシックセンサに関する詳
細はＶＶ６８５０Ｖ／Ｖ５８５８製品データシート、改
訂１．１、（１９９８年３月４日）に記載されており、
ＶＬＳＩ Ｖｉｓｉｏｎ社から入手可能である。A block diagram of a VV6850 monolithic image sensor is shown in FIG. Pixel access is performed by a matrix shift register. Each row or line of pixels is read simultaneously and stored in the sample and hold stage. The columns are then alternately read and multiplexed via four output channels to the AVO output state. The image is subsequently organized and reconstructed in external buffering and processing circuitry. In particular, the VV6850 has a 1016x804 photodiode array 102, which has a control input from a control counter 106 and a vertical shift register 104.
Connected to receive input from The output from the photodiode array 102 is a sample-and-hold circuit 11
8 and further to the video output stage 110. The sample and hold circuit 118 also receives an input from the horizontal shift register 120. Reference voltage unit 10
8, serial interface 112, control register 11
Various other circuits mo such as a 4, 5-bit D / A converter 116 are provided. Pixel readout is controlled by readout vertical and horizontal shift registers 104,120. Details regarding the VV6850 monolithic sensor can be found in the VV6850V / V5858 Product Datasheet, Revision 1.1, (March 4, 1998),
Available from VLSI Vision.

【０００６】図２はＶＶ６８５０用のリセット／集積／
読み出し周期を示す。ＶＶ６８５０内でのピクセルのリ
セットと読み出しは行毎に行われ、一行の列増幅器によ
りピクセル電圧の１ライン全体が並列に読み出される。
ピクセルの各ラインに対する周期はリセット垂直及び読
み出し垂直シフトレジスタにより制御される。図２は、
ラインクロックパルスＬＣＫ、ＥＶＥＮクロック、フレ
ーム集積（ＦＩ）パルス、フレーム読み出し（ＦＲ）パ
ルス、及びアナログビデオ出力（ＡＶＯ）のタイミング
を示す。リセット垂直シフトレジスタに沿って進行する
フレーム集積パルスＦＩの長さにより、ピクセル集積時
間または露光が設定される。垂直シフトレジスタに沿っ
た一点においてＦＩがハイレベルになることにより、そ
のラインのピクセルがリセットから開放され、集積期間
が開始される。集積期間の最後に来る２ラインフレーム
読み出しパルスＦＲにより、下から上へと進行する第１
のフィールド読み出しが開始される。ＦＲは読み出し垂
直シフトレジスタに沿って進行しながら、読み出すべき
ラインを制御する。露光制御にシャッタを使用する場合
は、ＦＩは周期の全体にわたってハイレベルに維持され
る。FIG. 2 shows a reset / integration /
Indicates a read cycle. The reset and readout of the pixels in the VV6850 is performed on a row-by-row basis, with one row of column amplifiers reading out an entire line of pixel voltages in parallel.
The period for each line of pixels is controlled by the reset vertical and read vertical shift registers. FIG.
The timings of a line clock pulse LCK, an EVEN clock, a frame integration (FI) pulse, a frame read (FR) pulse, and an analog video output (AVO) are shown. The length of the frame integration pulse FI traveling along the reset vertical shift register sets the pixel integration time or exposure. When FI goes high at a point along the vertical shift register, the pixels on that line are released from reset and the integration period begins. The first two-line frame read pulse FR that comes at the end of the integration period causes the first
Field reading is started. The FR controls the line to be read as it progresses along the read vertical shift register. When using a shutter for exposure control, FI is maintained at a high level throughout the cycle.

【０００７】垂直シフトレジスタはラインクロックパル
スＬＣＫによりフレーム内においてクロックされ、まず
偶数ラインが、続いて奇数ラインが読み出される。これ
は、ＥＶＥＮクロック（ＥＶＥＮ）により制御される。
このクロックはＬＣＫ周波数の半分でなければならな
い。垂直シフトレジスタはさらにＶＣＬＲＢ（リセット
をクリアし、読み出す）、ＶＳＥＴＢ（リセットを１に
プリセットする）、ＣＤＳＲ（行をリセットするが、シ
フトしない）により制御される。ＦＲがハイレベルにな
ることにより開始された読み出しシーケンスは、６個の
黒ラインと、それに続く８個の色特徴化ライン、９９２
個の有効ビデオライン及びさらに８個の色特徴化ライン
である。露光制御はシャッタにより直接、またはＦＩパ
ルス期間を変えることにより達成できる。[0007] The vertical shift register is clocked in the frame by the line clock pulse LCK, and the even lines are read first, followed by the odd lines. This is controlled by the EVEN clock (EVEN).
This clock must be half the LCK frequency. The vertical shift register is further controlled by VCLRB (clear and read reset), VSETB (preset reset to 1), and CDSR (reset row but do not shift). The read sequence initiated by FR going high comprises six black lines followed by eight color characterization lines, 992
8 active video lines and 8 more color characterization lines. Exposure control can be achieved directly by a shutter or by changing the FI pulse period.

【０００８】図３を参照して、固定化パターン雑音（Ｆ
ＰＮ）を補正するための画像取り込み方法を説明する。
この方法は、“画像”露光のほかに、物理的シャッタと
“暗フレーム”露光（シャッタを閉じた状態）を必要と
する。図にはＬＣＫ，ＥＶＥＮ，ＦＩ，ＦＲ，及びＡＶ
Ｏのタイミング、及びシャッタ（ＳＨＵＴＴＥＲ）の開
閉のタイミングが示してある。基本的な画像取り込み周
期はシャッタを閉じた状態で開始する。リセット垂直シ
フトレジスタＦＩへの入力をハイレベルにすることによ
り、アレーはリセットから開放される。カメラを制御す
るシステムは、雑音リセット読み出しと呼ばれる１０１
４個のラインだけ待たなければならない。これは、その
集積波頭が、シャッタの開く前にシフトレジスタを通過
する必要があるからである。ＦＩがハイレベルになる
と、ＦＲもまた２ラインだけハイレベルにされ、ＲＥＡ
Ｄシーケンスｂを開始する。リセットから開放されてす
ぐに読み出した個々のピクセルから得られるリセット画
像は、個々のピクセルの固定パターン雑音（ＦＰＮ）部
分と、このような特定のリセット操作により生ずるラン
ダムリセット雑音の両方を含む。この画像はフレームバ
ッファに記憶される。露光後シャッタが閉じたとき、Ｆ
Ｒを再び２ラインだけハイレベルにして、アレーを再読
み出しし、露光画像データを得なければならない。ここ
でも再び、アレーピクセル全てを読み出すために１０１
４ライン（ｂ）が必要である。ＦＩはＦＲが立ち下がる
とともに立ち上がり、アクティブなピクセルアレーをＲ
ＥＳＥＴに戻す。画像フレームが読み出されると、フレ
ームバッファ内に記憶された適当なピクセルリセット値
が、現在のピクセル値から減算され、結果がフレームメ
モリに書き込まれる。これにより、画像からピクセルリ
セット雑音と、ピクセル間ＤＣオフセットの両方が除去
される。Referring to FIG. 3, fixed pattern noise (F
An image capturing method for correcting (PN) will be described.
This method requires a physical shutter and a "dark frame" exposure (with the shutter closed) in addition to the "image" exposure. The figure shows LCK, EVEN, FI, FR, and AV
The timing of O and the timing of opening and closing the shutter (SHUTTER) are shown. The basic image capturing cycle starts with the shutter closed. By bringing the input to the reset vertical shift register FI high, the array is released from reset. The system that controls the camera has a 101 called noise reset readout.
You have to wait only four lines. This is because the integrated wave front must pass through the shift register before the shutter opens. When FI goes high, FR also goes high for two lines and REA
Start the D sequence b. The reset image obtained from an individual pixel read immediately upon release from reset includes both the fixed pattern noise (FPN) portion of the individual pixel and the random reset noise resulting from such a particular reset operation. This image is stored in the frame buffer. When the shutter is closed after exposure, F
R must be set to the high level again for two lines, and the array must be read again to obtain exposure image data. Again, 101 to read all array pixels
Four lines (b) are required. FI rises as FR falls, causing active pixel array to become R
Return to ESET. When an image frame is read, the appropriate pixel reset value stored in the frame buffer is subtracted from the current pixel value and the result is written to the frame memory. This removes both pixel reset noise and the inter-pixel DC offset from the image.

【０００９】画像の読み出しに比較的長い時間がかかる
ため、ピクセルそれぞれの中の暗電流が画像データ中の
大きな割合を占める。暗電流によりもたらされた固定パ
ターン雑音（ＦＰＮ）を除去するために、暗画像を露光
画像と同じ集積時間により、但しシャッタを閉じた状態
で取り込まなければならない。これもまた、リセット雑
音読み出しｃと画像読み出しｄ、及び画像からのリセッ
ト値の減算を必要とする。露光画像から暗画像を引くこ
とにより暗電流固定パターン雑音を除去し、きれいな画
像を残す。このような固定パターン雑音補正を伴った基
本的な画像取り込みはさらに、複数の暗電流フレームを
とり、それらを平均化し、減算することにより修正ない
し改善できる。しかし、この方法において、露光は操作
の初めから１フレーム分の読み出し時間だけ遅れる。そ
の結果、幾分かのシャッタリリースに対する画像取り込
み遅れが生ずる。さらに、操作全体が比較的時間がかか
る。また、この方法は比較的正確なシャッタ制御（すな
わち、シャッタの開閉を正確な時間において比較的速く
行わなければならない）を要する。また、１０１４個の
ラインを４回読み出す（ａ，ｂ，ｃ，ｄ）必要があり、
時間がかかる。Since it takes a relatively long time to read an image, the dark current in each pixel occupies a large proportion in the image data. To remove fixed pattern noise (FPN) caused by dark current, the dark image must be captured with the same integration time as the exposed image, but with the shutter closed. This also requires reset noise readout c and image readout d, and subtraction of the reset value from the image. The dark current fixed pattern noise is removed by subtracting the dark image from the exposed image, leaving a clear image. Such basic image capture with fixed pattern noise correction can be further modified or improved by taking multiple dark current frames, averaging and subtracting them. However, in this method, the exposure is delayed by one frame readout time from the beginning of the operation. The result is a delay in image capture for some shutter release. Furthermore, the whole operation is relatively time-consuming. Also, this method requires relatively accurate shutter control (that is, the opening and closing of the shutter must be performed relatively quickly at the correct time). Also, it is necessary to read 1014 lines four times (a, b, c, d),
take time.

【００１０】さらには、図４を参照して説明されるよう
に関連ダブルサンプリング法を使用することができる。
図には、ＬＣＫ、ＥＶＥＮ，ＣＤＳＲ，ＣＯＬｓａｍ，
ＦＩ，ＦＲ，ＡＶＯの各パルスのタイミングが示されて
いる。この方法は一時的画像取り込み用に１個のライン
バッファしか使用できず、センサの前に機械的シャッタ
を必ずしも使用できない場合に使用される。アレーは、
リセット垂直シフトレジスタＦＩへの入力をハイレベル
にすることにより、リセットから開放される。カメラを
制御しているシステムは１０１４ラインだけ待って、シ
ャッタの開く、またはさらにＦＩパルスを延ばす前に、
この集積波頭をシフトレジスタを通過させなければなら
ない。センサが適当な時間だけ露光された後、ＦＲを２
ライン分ハイレベルにして、ピクセルアレーを読み出
し、露光画像データを得る。該データはラインバッファ
にライン毎にロードされる。８０４ピクセルのラインの
画像データが読み出されたら、ＣＤＳＲ信号がハイレベ
ルにされて、ＨＳＲを進めることなくピクセルラインを
黒にリセットする。そしてＣＯＬｓａｍにパルスが与え
られて行を再サンプリングし、個々のピクセルが読み出
される度に、この黒オフセット値が、ラインバッファに
記憶された値から減算され、結果が補正画像データとし
て送られる。Furthermore, a related double sampling method can be used as described with reference to FIG.
In the figure, LCK, EVEN, CDSR, COLsam,
The timing of each pulse of FI, FR, and AVO is shown. This method is used when only one line buffer can be used for temporary image capture and a mechanical shutter cannot always be used in front of the sensor. The array
The reset is released from the reset by setting the input to the vertical shift register FI to high level. The system controlling the camera waits 1014 lines before opening the shutter or further extending the FI pulse.
This integrated wave front must pass through a shift register. After the sensor has been exposed for the appropriate amount of time,
The pixel array is read out by setting it to the high level for the line, and the exposure image data is obtained. The data is loaded into the line buffer line by line. When the image data of the 804 pixel line is read, the CDSR signal is set to the high level to reset the pixel line to black without advancing the HSR. Each time COLsam is pulsed to resample the row and each pixel is read, this black offset value is subtracted from the value stored in the line buffer and the result is sent as corrected image data.

【００１１】しかし、関連ダブルサンプリング法はトラ
ンジスタ閾値オフセット雑音をキャンセルするだけで、
暗電流雑音をキャンセルできない。さらに、シャッタを
使用しない場合、重大な動きボケが導入されてしまう。
シャッタを使用した場合でも、露光時間は操作の初めか
ら１個のフレーム読み出し時間分だけ遅れる。However, the related double sampling method only cancels the transistor threshold offset noise,
Cannot cancel dark current noise. Further, without the use of a shutter, significant motion blur is introduced.
Even when a shutter is used, the exposure time is delayed by one frame reading time from the beginning of the operation.

【００１２】[0012]

【発明が解決しようとする課題】本願発明の課題は、改
善された処理時間を有する、改善された固定パターン雑
音キャンセル方法を提供することである。SUMMARY OF THE INVENTION It is an object of the present invention to provide an improved fixed pattern noise cancellation method with improved processing time.

【００１３】[0013]

【課題を解決するための手段】上記公知技術の欠点は本
発明の装置と方法により大部分が解消される。本発明で
は、シャッタ自体の代わりにリセットを使用することに
より画像取り込みの開始をトリガする。従って、シャッ
タは露光開始時間にかなり先立って開くことができる。
特に、ＶＳＥＴＢパルスにより露光時間が開始され、シ
ャッタの閉鎖により露光が終了される。本発明によれば
改善された読み出し時間とＦＰＮキャンセルが得られ
る。さらに、本発明の方法によれば、画像露光を即座に
行うことができ、公知技術よりも正確さの劣るシャッタ
の使用を許容する。SUMMARY OF THE INVENTION The disadvantages of the prior art are largely obviated by the apparatus and method of the present invention. In the present invention, the start of image capture is triggered by using a reset instead of the shutter itself. Therefore, the shutter can be opened much earlier than the exposure start time.
In particular, the exposure time is started by the VSETB pulse, and the exposure is ended by closing the shutter. According to the present invention, improved read time and FPN cancellation are obtained. Further, the method of the present invention allows immediate image exposure, which allows the use of a less accurate shutter than known techniques.

【００１４】特に、本発明の実施例によれば読み出し処
理時間が改善される（ステップ数が４から２）。また、
画像露光は１フレーム読み出し時間分の遅れの後ではな
く、操作開始の直後から行われる。In particular, according to the embodiment of the present invention, the read processing time is improved (the number of steps is from 4 to 2). Also,
The image exposure is performed immediately after the start of the operation, not after the delay of one frame reading time.

【００１５】[0015]

【発明の実施の形態】図５には、本発明に従い雑音低減
を行うモノリシック画像センサを動作させるための装置
の一例が示されている。より詳細には、システム１００
０は、マサチューセッツ州マールボロのＤａｔａ Ｔｒ
ａｎｓｌａｔｉｏｎ Ｉｎｃ．社から入手可能なディジ
タルトランスレーションディジタルフレームグラバカー
ド（ＤＴ３１５７フレームグラバカード１００４）等の
ホストパーソナルコンピュータ（ＰＣ）１００２を有す
る。ホストＰＣ１００２は、Ｘ８６またはペンティアム
ファミリのマイクロプロセッサ等を使用したＩＢＭ互換
機として実現することができる。フレームグラバカード
は装置を制御・モニタするためのソフトウェア１００５
に対する８ビットＩ／Ｏポートを供給する。フレームグ
ラバカードはまた、ホストＰＣ１００２のメモリ（図示
しない）に画像データを記憶するための高速経路をも提
供する。FIG. 5 shows an example of an apparatus for operating a monolithic image sensor for noise reduction according to the present invention. More specifically, the system 100
0 is Data Tr in Marlborough, Mass.
announcement Inc. It has a host personal computer (PC) 1002 such as a digital translation digital frame grabber card (DT3157 frame grabber card 1004) available from the company. The host PC 1002 can be realized as an IBM compatible machine using an X86 or Pentium family microprocessor or the like. The frame grabber card is software 1005 for controlling and monitoring the device.
Provide an 8-bit I / O port for The frame grabber card also provides a high speed path for storing image data in a memory (not shown) of the host PC 1002.

【００１６】ホストＰＣ１００２はカメラユニット１０
０６に接続されている。カメラユニット１００６はＶＶ
５８５８／ＶＶ６８５０センサ１００８とサポート回路
１００８、及びＡ／Ｄコンバータ１０１０とＸｉｌｉｎ
ｘ ＸＣ４００８ＡＤフィールドプログラマブルゲート
アレー（ＦＰＧＡ）１００６を有する。ＲＳ４２２イン
タフェースはグラバカード１００４とカメラユニット１
００６間のインタフェースを行う。カメラユニット１０
０６内にはまた、コンフィギュレーションＥＥＰＲＯＭ
１０２０、周辺ドライバ１０１４、及びシャッタ１０１
２が含まれている。図示と同様の装置１０００はＶｉｓ
ｉｏｎ ＶＶ５８５０／ＶＶ６８５０ディジタル静止カ
メラＯＥＭデベロップメントシステムユーザガイド、改
訂２．０に記載されている。The host PC 1002 is a camera unit 10
06. Camera unit 1006 is VV
5858 / VV6850 sensor 1008 and support circuit 1008, A / D converter 1010 and Xilin
x XC4008AD Field Programmable Gate Array (FPGA) 1006 RS422 interface is for grabber card 1004 and camera unit 1
006. Camera unit 10
06 also contains a configuration EEPROM
1020, peripheral driver 1014, and shutter 101
2 is included. Apparatus 1000 similar to that shown is Vis
ION VV5850 / VV6850 Digital Still Camera OEM Development System User Guide, revision 2.0.

【００１７】さらに、ホストＰＣ上のソフトウェア１０
０５はカメラユニット１００６を制御し、本願発明に従
って画像取り込みとＦＰＮキャンセレーションを行う。Furthermore, software 10 on the host PC
Reference numeral 05 controls the camera unit 1006, and performs image capture and FPN cancellation according to the present invention.

【００１８】図６は本願発明による雑音キャンセル方法
のタイミング図である。リセット雑音読み出しは必要で
ない。図６のタイミング図はＬＣＫ，ＥＶＥＮ，ＦＩシ
ャッタ、ＦＲ，ＶＳＥＴＢ及びＡＶＯパルスを示し、こ
れらパルスは本願発明のソフトウェア１００５により制
御される。大まかに言えば、本願発明の方法はＶＳＥＴ
Ｂ／ＶＣＬＲＢ信号を使用して、すべてのホトセルをリ
セットし、集積または露光を同時に開始させる。シャッ
タ１０１２は集積時間の終わりを制御するために使用さ
れる（ＶＳＥＴＢパルスが露光を開始し、シャッタ１０
１２が閉じると露光が終了される）。ＶＣＬＲＢパルス
は図示されていないが、通常ＶＳＥＴＢパルスと同時
か、又はそれよりわずかに先である。本願発明による雑
音キャンセルでは、読み出し中の２個の連続フレームが
使用される。最初の画像はシャッタ１０１２を開いた状
態で画像フレーム用に撮られ、次の暗フレーム露光がシ
ャッタ１０１２を閉じた状態で撮られる。双方のフレー
ムにおいて、ＶＳＥＴＢ／ＶＣＬＲＢラインを使用して
すべてのホトセルに対して同時に集積を開始させる。従
って、アレー内のすべてのピクセルが同時にＲＥＳＥＴ
から解放される。より詳細には、ＶＣＬＲＢローレベル
信号によりＲＥＡＤとＲＥＳＥＴ垂直シフトレジスタの
値が全てゼロにリセットされ、すべてのピクセルが強制
的にＲＥＳＥＴ状態にされる。ＶＳＥＴＢはローレベル
にされてＲＥＳＥＴシフトレジスタの値を全て１にロー
ドし、ピクセル集積を開始させる。次に、ＦＲが２ライ
ン分だけハイレベルにされてアレー読み出しを開始す
る。いずれのフレームも閾値オフセット値とリセット雑
音を有するが、画像フレームのみが場面からの光を含
む。画像フレームは読み出し後、フレームバッファにお
いてバッファリングされる。次に、暗フレームが読み出
されたら、読み出された雑音フレームがバッファデータ
から引かれ、閾値及び暗電流雑音の両方をキャンセルす
る。従って、読み出しには２つのステップしか必要とし
ない。FIG. 6 is a timing chart of the noise canceling method according to the present invention. No reset noise reading is required. The timing diagram of FIG. 6 shows the LCK, EVEN, FI shutter, FR, VSETB, and AVO pulses, which are controlled by software 1005 of the present invention. Broadly speaking, the method of the present invention is a VSET
The B / VCLRB signal is used to reset all photocells and start integration or exposure simultaneously. A shutter 1012 is used to control the end of the integration time (the VSETB pulse starts the exposure and
Exposure is terminated when 12 is closed). The VCLRB pulse is not shown, but is usually coincident with or slightly ahead of the VSETB pulse. In the noise cancellation according to the present invention, two consecutive frames being read are used. The first image is taken for the image frame with shutter 1012 open, and the next dark frame exposure is taken with shutter 1012 closed. In both frames, the VSETB / VCLRB line is used to initiate integration for all photocells simultaneously. Therefore, all pixels in the array are reset at the same time.
Released from. More specifically, the VCLRB low level signal resets the values of the READ and RESET vertical shift registers to all zeros, forcing all pixels to the RESET state. VSETB is driven low to load the value of the RESET shift register with all ones and start pixel integration. Next, FR is set to the high level for two lines, and array reading is started. Although every frame has a threshold offset value and reset noise, only the image frames contain light from the scene. After reading, the image frame is buffered in the frame buffer. Next, when the dark frame is read, the read noise frame is subtracted from the buffer data to cancel both the threshold and the dark current noise. Therefore, reading requires only two steps.

【００１９】図７において、本願発明の実施例の動作を
説明する流れ図７００が示されている。ステップ７０２
では、制御システム（すなわちホストＰＣ１００２上で
動作するソフトウェア１００５）によりシャッタが開か
れる。次に、ステップ７０４において、ソフトウェア１
００５はＦＩをハイレベルにする。ステップ７０６で、
ＶＳＥＴＢ制御がパルスされ、ステップ７０８でＶＣＬ
ＲＢパルスがパルスされる。これによりアレー内の全て
のホトセルが同時に集積を開始する。その結果、ステッ
プ７１０において時間Ｔ１後にＦＲがパルスされＦＩが
ステップ７１２においてローレベルになるまで集積が開
始される。シャッタ１０１２はその後閉じられ、画像が
ステップ７１６において（１０１４ラインが読み出され
た後）バッファされる。ＦＩはローレベルにされ、ステ
ップ７２０においてＶＳＥＴＢがパルスされて次の画像
取り込みが開始される。ステップ７２２においては、再
びＶＣＬＲＢがパルスされる。ステップ７２４では、Ｆ
Ｒがパルスされて集積がＴ１時間の間行われる。ＦＩは
次にローレベルにされ、暗フレームが１０１４フレーム
にわたって読み出される。最後にステップ７２８におい
て、暗フレームはバッファされた画像フレームから減算
される。Referring to FIG. 7, a flow chart 700 illustrating the operation of an embodiment of the present invention is shown. Step 702
In, the shutter is opened by the control system (that is, the software 1005 operating on the host PC 1002). Next, in step 704, the software 1
005 sets FI to a high level. At step 706,
VSETB control is pulsed and at step 708 VCL
The RB pulse is pulsed. This causes all photocells in the array to start accumulating at the same time. As a result, FR is pulsed after time T1 in step 710 and integration is started until FI goes low in step 712. Shutter 1012 is then closed and the image is buffered at step 716 (after 1014 lines have been read). FI is set to low level, and in step 720, VSETB is pulsed to start capturing the next image. In step 722, VCLRB is pulsed again. In step 724, F
R is pulsed and integration takes place during time T1. FI is then driven low, and dark frames are read over 1014 frames. Finally, at step 728, the dark frame is subtracted from the buffered image frame.

【図面の簡単な説明】[Brief description of the drawings]

【図１】公知技術によるＣＭＯＳ画像センサの一例であ
る。FIG. 1 is an example of a CMOS image sensor according to a known technique.

【図２】図１のＣＭＯＳ画像センサのピクセルを読み出
し及びリセットするためのタイミング図である。FIG. 2 is a timing diagram for reading and resetting pixels of the CMOS image sensor of FIG. 1;

【図３】図１のＣＭＯＳ画像センサにおける、ＦＰＮキ
ャンセルを含むフレームバッファを使用した静止画像取
り込みを示す図である。FIG. 3 is a diagram showing still image capture using a frame buffer including FPN cancellation in the CMOS image sensor of FIG. 1;

【図４】図１のＣＭＯＳ画像センサにおいてラインバッ
ファが１個しか利用できない場合の、関連ダブルサンプ
リング及び画像読み出しのためのタイミング図である。FIG. 4 is a timing diagram for related double sampling and image reading when only one line buffer is available in the CMOS image sensor of FIG. 1;

【図５】本発明の実施例における、ＦＰＮキャンセル法
を使用した装置である。FIG. 5 is an apparatus using an FPN cancellation method in an embodiment of the present invention.

【図６】本発明の実施例における、ＦＰＮ低減を示すタ
イミング図である。FIG. 6 is a timing chart showing FPN reduction in an embodiment of the present invention.

【図７】本発明の実施例の動作の流れ図である。FIG. 7 is a flowchart of the operation of the embodiment of the present invention.

【符号の説明】[Explanation of symbols]

１０２ ホトダイオードアレー １０４ 垂直シフトレジスタ １０６ 制御カウンタ １０８ 基準電圧ユニット １１０ ビデオ出力段 １１２ シリアルインタフェース １１４ 制御レジスタ ＬＣＫ ラインクロックパルス ＦＩ フレーム集積パルス ＦＲ フレーム読み出しパルス ＡＶＯ アナログビデオ出力 ＦＰＮ 固定パターン雑音 １００２ ホストパーソナルコンピュータ １００４ フレームグラバカード １００５ ソフトウェア １０１０ Ａ／Ｄコンバータ １０１２ シャッタ Reference Signs List 102 photodiode array 104 vertical shift register 106 control counter 108 reference voltage unit 110 video output stage 112 serial interface 114 control register LCK line clock pulse FI frame integration pulse FR frame readout pulse AVO analog video output FPN fixed pattern noise 1002 host personal computer 1004 frame Grabber card 1005 Software 1010 A / D converter 1012 Shutter

───────────────────────────────────────────────────── フロントページの続き (71)出願人 399035836 1730 Ｎｏｒｔｈ Ｆｉｒｓｔ Ｓｔｒｅ ｅｔ、Ｓａｎ Ｊｏｓｅ、ＣＡ、ＵＳＡ (72)発明者 タイ−ミン チェン アメリカ合衆国 カリフォルニア サン ホセ ゴールデン ゲート ドライヴ 7146 ──────────────────────────────────────────────────続 き Continued on the front page (71) Applicant 399035836 1730 North First Street, San Jose, CA, USA (72) Inventor Tai Min Chen United States San Jose Golden Gate Drive 7146

Claims (15)

【特許請求の範囲】[Claims] 【請求項１】 固定パターン雑音（ＦＰＮ）をキャンセ
ルするための装置において、 前記装置は装置の動作を制御するためのホストコンピュ
ータと、画像を撮影するためのカメラユニットを有し、 前記カメラユニットは画像センサ（１００２，１００
８）と、シャッタ（１０１２）と、手段（１００５）を
有し、 前記シャッタ（１０１２）は前記画像センサと撮影した
い場面との間に操作可能に配設され、前記手段（１００
５）は前記ホストコンピュータに操作可能に接続され、
前記シャッタを露光が始まる前に開き、また露光を終了
させるために閉じることを特徴とする装置。1. An apparatus for canceling fixed pattern noise (FPN), the apparatus comprising: a host computer for controlling operation of the apparatus; and a camera unit for capturing an image, wherein the camera unit is Image sensor (1002, 100
8), a shutter (1012), and a means (1005), wherein the shutter (1012) is operably disposed between the image sensor and a scene to be photographed.
5) is operably connected to the host computer,
Apparatus characterized in that the shutter is opened before exposure starts and closed to end exposure. 【請求項２】 前記開閉手段が、前記画像センサの全て
のホトセルを同時にリセットする手段（１００５）を有
する、請求項１記載の装置。2. The apparatus according to claim 1, wherein said opening / closing means includes means (1005) for simultaneously resetting all photocells of said image sensor. 【請求項３】 前記リセット手段（１００５）が、全て
のピクセルに対して集積を同時に開始させる手段を有す
る、請求項２記載の装置。3. Apparatus according to claim 2, wherein said resetting means (1005) comprises means for starting integration for all pixels simultaneously. 【請求項４】 前記開閉手段（１００５）が、第１フレ
ームの読み出しの際には前記シャッタが開いており、第
２フレームの読み出しの際には閉じているように制御す
る手段（１００５）を含む、請求項３記載の装置。4. The opening / closing means (1005) controls a means (1005) such that the shutter is open when reading the first frame and closed when reading the second frame. 4. The device of claim 3, comprising. 【請求項５】 前記画像センサがＶＶ６８５０画像セン
サ（１００８）を有する、請求項４記載の装置。5. The apparatus of claim 4, wherein said image sensor comprises a VV6850 image sensor (1008). 【請求項６】 前記リセット手段（１００５）が、前記
リセットを強制的に実行するためにＲＥＡＤ及びＲＥＳ
ＥＴ垂直シフトレジスタをリセットする手段を含む、請
求項５記載の装置。6. The reset means (1005) includes a READ and a RES for forcibly executing the reset.
The apparatus of claim 5, including means for resetting the ET vertical shift register. 【請求項７】 前記実行手段（１００５）が、前記集積
を実行するためにＲＥＳＥＴシフトレジスタをロードす
る手段を含む、請求項６記載の装置。7. The apparatus of claim 6, wherein said executing means (1005) includes means for loading a RESET shift register to perform said integration. 【請求項８】 画像フレームをバッファする手段（１０
０４，１００５）をさらに含む、請求項４記載の装置。8. A means (10) for buffering an image frame.
The device of claim 4, further comprising: (04,1005). 【請求項９】 前記第１フレームから前記第２フレーム
のデータを減算する手段（１００５）を含む、請求項８
記載の装置。9. The method according to claim 8, further comprising: means for subtracting the data of the second frame from the first frame.
The described device. 【請求項１０】 ホトダイオードアレーを含む画像セン
サを有した装置における画像取り込み方法において、 シャッタ（１０１２）を開き、 少なくとも１回リセットを行い全てのピクセルをクリア
し（ＶＳＥＴＢ）、露光を開始するよう制御し（Ｆ
Ｉ）、 前記シャッタ（１０１２）を閉じることにより前記露光
を終了させるステップを有した方法。10. An image capturing method for an apparatus having an image sensor including a photodiode array, wherein a shutter (1012) is opened, reset is performed at least once, all pixels are cleared (VSETB), and exposure is started. (F
I), a method comprising terminating the exposure by closing the shutter (1012). 【請求項１１】 フレーム画像をバッファするステップ
を有した、請求項１０記載の方法。11. The method of claim 10, further comprising the step of buffering the frame image. 【請求項１２】 前記シャッタ（１０１２）が閉じた
時、第２のフレーム画像を得るステップを有した、請求
項１１記載の方法。12. The method of claim 11, further comprising obtaining a second frame image when the shutter (1012) is closed. 【請求項１３】 前記バッファされた第１フレーム画像
から前記第２フレーム画像を減算するステップをさらに
有した、請求項１２記載の方法。13. The method of claim 12, further comprising the step of subtracting said second frame image from said buffered first frame image. 【請求項１４】 固定パターン雑音をキャンセルするた
めの装置において、装置の動作を制御するホストコンピ
ュータと、画像を撮影するためのカメラユニットとを有
し、前記カメラユニットは、 画像センサ（１００２，１００８）と、 前記画像センサにより画像が得られた後フレームを読み
出す手段（１００４，１００５，１００６）と、 前記読み出し手段が前記フレームを読み出した直後、第
２の画像を取り込む手段（１００４，１００５，１００
６）を有することを特徴とする装置。14. An apparatus for canceling fixed pattern noise, comprising: a host computer for controlling the operation of the apparatus; and a camera unit for capturing an image, wherein the camera unit includes an image sensor (1002, 1008). Means for reading a frame after an image is obtained by the image sensor (1004, 1005, 1006); means for taking in a second image immediately after the reading means reads the frame (1004, 1005, 100)
6. An apparatus comprising: 【請求項１５】 前記取り込み手段（１００４，１００
５，１００６）が、前記画像センサの全てのホトセルを
同時にリセットする手段を含む、請求項１４記載の方
法。15. The capturing means (1004, 100
15. The method of claim 14, wherein 5,1006) includes means for simultaneously resetting all photocells of the image sensor.