JP2000224484A - Ｃｍｏｓ画像センサにおける雑音キャンセル装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＣＭＯＳ画像センサにおいて、読み出し時間
を短縮し、ＦＰＮを効率良くキャンセルする。 【解決手段】 画像取り込みの開始をトリガするため
に、シャッタ（１０１２）自体ではなくリセット（ＶＣ
ＬＲＢ、ＶＳＥＴＢ）を使用する。従って、シャッタ
（１０１２）は露光開始時間以前に余裕をもって開くこ
とができる。特に、ＶＳＥＴＢパルスにより露光時間が
開始され、シャッタが閉じることにより露光が終了され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はイメージセンサに関
し、より詳細にはＣＭＯＳイメージセンサ用の改良され
た雑音キャンセル方法に関する。

【０００２】

【従来の技術】典型的な高解像度ＣＭＯＳセンサとし
て、ＶＬＳＩ Ｖｉｓｉｏｎ社のＶＶ６８５０モノリシ
ックセンサがある。ＶＶ６８５０は１０１６ｘ８０４ピ
クセルアレーイメージセンサを有し、外部ディジタル化
及び記憶のための行毎のピクセルを出力する。露光制御
は、電気機械的シャッタ及びフレームラインバッファリ
ングないし処理により達成される。電気機械的シャッタ
は使用してもしなくてもよい。

【０００３】高品質画像を得るため、画像取り込み中の
雑音を除去しなければならない。特に、固定パターン雑
音（ＦＰＮ）すなわちピクセル間のオフセット変動から
生じる雑音を除去する必要がある。固定パターン雑音が
生じる原因としては、（ａ）トランジスタ閾値オフセッ
トと、（ｂ）暗電流がある。トランジスタ閾値オフセッ
トは、個々のピクセル増幅器、個々の列ソースフォロ
ワ、及び個々の出力チャネルマルチプレクサがそれぞれ
固有のオフセットを有していることから生ずる。この固
有のオフセットはトランジスタの閾値電圧内のプロセス
変動により生ずる。オフセットは露光とは関係なく、温
度及び動作状態に関して比較的安定である。

【０００４】暗電流雑音は、入射光と同様に積分コンデ
ンサを放電するホトダイオード内の固有の漏れから生ず
る。従って、アレーがリセットから解除される度に、暗
電流固定パターン雑音がアレー上に溜まる。暗信号雑音
の量は露光時間に依存し、ピクセル毎に異なる。

【０００５】ＶＶ６８５０モノリシック画像センサのブ
ロック図が図１に示されている。ピクセルアクセスは行
列シフトレジスタにより行われる。ピクセルの各行すな
わちラインは同時に読まれ、サンプルホールド段に記憶
される。次に列が交互に読み出され、４個の出力チャネ
ルを介してＡＶＯ出力状態に多重化される。画像は続い
て外部バッファリング及び処理回路において整理・再構
成される。特に、ＶＶ６８５０は１０１６ｘ８０４ホト
ダイオードアレー１０２を有し、該アレーは制御カウン
タ１０６からの制御入力と、垂直シフトレジスタ１０４
からの入力を受け取るように接続される。ホトダイオー
ドアレー１０２からの出力はサンプルホールド回路１１
８に送られ、さらにビデオ出力段１１０に送られる。サ
ンプルホールド回路１１８はまた、水平シフトレジスタ
１２０からの入力を受け取る。基準電圧ユニット１０
８、シリアルインタフェース１１２、制御レジスタ１１
４、５ビットＤ／Ａコンバータ１１６等のその他の様々
な回路ｍｏ備えられている。ピクセル読み出しは読み出
し垂直及び水平シフトレジスタ１０４、１２０により制
御される。ＶＶ６８５０モノリシックセンサに関する詳
細はＶＶ６８５０Ｖ／Ｖ５８５８製品データシート、改
訂１．１、（１９９８年３月４日）に記載されており、
ＶＬＳＩ Ｖｉｓｉｏｎ社から入手可能である。

【０００６】図２はＶＶ６８５０用のリセット／集積／
読み出し周期を示す。ＶＶ６８５０内でのピクセルのリ
セットと読み出しは行毎に行われ、一行の列増幅器によ
りピクセル電圧の１ライン全体が並列に読み出される。
ピクセルの各ラインに対する周期はリセット垂直及び読
み出し垂直シフトレジスタにより制御される。図２は、
ラインクロックパルスＬＣＫ、ＥＶＥＮクロック、フレ
ーム集積（ＦＩ）パルス、フレーム読み出し（ＦＲ）パ
ルス、及びアナログビデオ出力（ＡＶＯ）のタイミング
を示す。リセット垂直シフトレジスタに沿って進行する
フレーム集積パルスＦＩの長さにより、ピクセル集積時
間または露光が設定される。垂直シフトレジスタに沿っ
た一点においてＦＩがハイレベルになることにより、そ
のラインのピクセルがリセットから開放され、集積期間
が開始される。集積期間の最後に来る２ラインフレーム
読み出しパルスＦＲにより、下から上へと進行する第１
のフィールド読み出しが開始される。ＦＲは読み出し垂
直シフトレジスタに沿って進行しながら、読み出すべき
ラインを制御する。露光制御にシャッタを使用する場合
は、ＦＩは周期の全体にわたってハイレベルに維持され
る。

【０００７】垂直シフトレジスタはラインクロックパル
スＬＣＫによりフレーム内においてクロックされ、まず
偶数ラインが、続いて奇数ラインが読み出される。これ
は、ＥＶＥＮクロック（ＥＶＥＮ）により制御される。
このクロックはＬＣＫ周波数の半分でなければならな
い。垂直シフトレジスタはさらにＶＣＬＲＢ（リセット
をクリアし、読み出す）、ＶＳＥＴＢ（リセットを１に
プリセットする）、ＣＤＳＲ（行をリセットするが、シ
フトしない）により制御される。ＦＲがハイレベルにな
ることにより開始された読み出しシーケンスは、６個の
黒ラインと、それに続く８個の色特徴化ライン、９９２
個の有効ビデオライン及びさらに８個の色特徴化ライン
である。露光制御はシャッタにより直接、またはＦＩパ
ルス期間を変えることにより達成できる。

【０００８】図３を参照して、固定化パターン雑音（Ｆ
ＰＮ）を補正するための画像取り込み方法を説明する。
この方法は、“画像”露光のほかに、物理的シャッタと
“暗フレーム”露光（シャッタを閉じた状態）を必要と
する。図にはＬＣＫ，ＥＶＥＮ，ＦＩ，ＦＲ，及びＡＶ
Ｏのタイミング、及びシャッタ（ＳＨＵＴＴＥＲ）の開
閉のタイミングが示してある。基本的な画像取り込み周
期はシャッタを閉じた状態で開始する。リセット垂直シ
フトレジスタＦＩへの入力をハイレベルにすることによ
り、アレーはリセットから開放される。カメラを制御す
るシステムは、雑音リセット読み出しと呼ばれる１０１
４個のラインだけ待たなければならない。これは、その
集積波頭が、シャッタの開く前にシフトレジスタを通過
する必要があるからである。ＦＩがハイレベルになる
と、ＦＲもまた２ラインだけハイレベルにされ、ＲＥＡ
Ｄシーケンスｂを開始する。リセットから開放されてす
ぐに読み出した個々のピクセルから得られるリセット画
像は、個々のピクセルの固定パターン雑音（ＦＰＮ）部
分と、このような特定のリセット操作により生ずるラン
ダムリセット雑音の両方を含む。この画像はフレームバ
ッファに記憶される。露光後シャッタが閉じたとき、Ｆ
Ｒを再び２ラインだけハイレベルにして、アレーを再読
み出しし、露光画像データを得なければならない。ここ
でも再び、アレーピクセル全てを読み出すために１０１
４ライン（ｂ）が必要である。ＦＩはＦＲが立ち下がる
とともに立ち上がり、アクティブなピクセルアレーをＲ
ＥＳＥＴに戻す。画像フレームが読み出されると、フレ
ームバッファ内に記憶された適当なピクセルリセット値
が、現在のピクセル値から減算され、結果がフレームメ
モリに書き込まれる。これにより、画像からピクセルリ
セット雑音と、ピクセル間ＤＣオフセットの両方が除去
される。

【０００９】画像の読み出しに比較的長い時間がかかる
ため、ピクセルそれぞれの中の暗電流が画像データ中の
大きな割合を占める。暗電流によりもたらされた固定パ
ターン雑音（ＦＰＮ）を除去するために、暗画像を露光
画像と同じ集積時間により、但しシャッタを閉じた状態
で取り込まなければならない。これもまた、リセット雑
音読み出しｃと画像読み出しｄ、及び画像からのリセッ
ト値の減算を必要とする。露光画像から暗画像を引くこ
とにより暗電流固定パターン雑音を除去し、きれいな画
像を残す。このような固定パターン雑音補正を伴った基
本的な画像取り込みはさらに、複数の暗電流フレームを
とり、それらを平均化し、減算することにより修正ない
し改善できる。しかし、この方法において、露光は操作
の初めから１フレーム分の読み出し時間だけ遅れる。そ
の結果、幾分かのシャッタリリースに対する画像取り込
み遅れが生ずる。さらに、操作全体が比較的時間がかか
る。また、この方法は比較的正確なシャッタ制御（すな
わち、シャッタの開閉を正確な時間において比較的速く
行わなければならない）を要する。また、１０１４個の
ラインを４回読み出す（ａ，ｂ，ｃ，ｄ）必要があり、
時間がかかる。

【００１０】さらには、図４を参照して説明されるよう
に関連ダブルサンプリング法を使用することができる。
図には、ＬＣＫ、ＥＶＥＮ，ＣＤＳＲ，ＣＯＬｓａｍ，
ＦＩ，ＦＲ，ＡＶＯの各パルスのタイミングが示されて
いる。この方法は一時的画像取り込み用に１個のライン
バッファしか使用できず、センサの前に機械的シャッタ
を必ずしも使用できない場合に使用される。アレーは、
リセット垂直シフトレジスタＦＩへの入力をハイレベル
にすることにより、リセットから開放される。カメラを
制御しているシステムは１０１４ラインだけ待って、シ
ャッタの開く、またはさらにＦＩパルスを延ばす前に、
この集積波頭をシフトレジスタを通過させなければなら
ない。センサが適当な時間だけ露光された後、ＦＲを２
ライン分ハイレベルにして、ピクセルアレーを読み出
し、露光画像データを得る。該データはラインバッファ
にライン毎にロードされる。８０４ピクセルのラインの
画像データが読み出されたら、ＣＤＳＲ信号がハイレベ
ルにされて、ＨＳＲを進めることなくピクセルラインを
黒にリセットする。そしてＣＯＬｓａｍにパルスが与え
られて行を再サンプリングし、個々のピクセルが読み出
される度に、この黒オフセット値が、ラインバッファに
記憶された値から減算され、結果が補正画像データとし
て送られる。

【００１１】しかし、関連ダブルサンプリング法はトラ
ンジスタ閾値オフセット雑音をキャンセルするだけで、
暗電流雑音をキャンセルできない。さらに、シャッタを
使用しない場合、重大な動きボケが導入されてしまう。
シャッタを使用した場合でも、露光時間は操作の初めか
ら１個のフレーム読み出し時間分だけ遅れる。

【００１２】

【発明が解決しようとする課題】本願発明の課題は、改
善された処理時間を有する、改善された固定パターン雑
音キャンセル方法を提供することである。

【００１３】

【課題を解決するための手段】上記公知技術の欠点は本
発明の装置と方法により大部分が解消される。本発明で
は、シャッタ自体の代わりにリセットを使用することに
より画像取り込みの開始をトリガする。従って、シャッ
タは露光開始時間にかなり先立って開くことができる。
特に、ＶＳＥＴＢパルスにより露光時間が開始され、シ
ャッタの閉鎖により露光が終了される。本発明によれば
改善された読み出し時間とＦＰＮキャンセルが得られ
る。さらに、本発明の方法によれば、画像露光を即座に
行うことができ、公知技術よりも正確さの劣るシャッタ
の使用を許容する。

【００１４】特に、本発明の実施例によれば読み出し処
理時間が改善される（ステップ数が４から２）。また、
画像露光は１フレーム読み出し時間分の遅れの後ではな
く、操作開始の直後から行われる。

【００１５】

【発明の実施の形態】図５には、本発明に従い雑音低減
を行うモノリシック画像センサを動作させるための装置
の一例が示されている。より詳細には、システム１００
０は、マサチューセッツ州マールボロのＤａｔａ Ｔｒ
ａｎｓｌａｔｉｏｎ Ｉｎｃ．社から入手可能なディジ
タルトランスレーションディジタルフレームグラバカー
ド（ＤＴ３１５７フレームグラバカード１００４）等の
ホストパーソナルコンピュータ（ＰＣ）１００２を有す
る。ホストＰＣ１００２は、Ｘ８６またはペンティアム
ファミリのマイクロプロセッサ等を使用したＩＢＭ互換
機として実現することができる。フレームグラバカード
は装置を制御・モニタするためのソフトウェア１００５
に対する８ビットＩ／Ｏポートを供給する。フレームグ
ラバカードはまた、ホストＰＣ１００２のメモリ（図示
しない）に画像データを記憶するための高速経路をも提
供する。

【００１６】ホストＰＣ１００２はカメラユニット１０
０６に接続されている。カメラユニット１００６はＶＶ
５８５８／ＶＶ６８５０センサ１００８とサポート回路
１００８、及びＡ／Ｄコンバータ１０１０とＸｉｌｉｎ
ｘ ＸＣ４００８ＡＤフィールドプログラマブルゲート
アレー（ＦＰＧＡ）１００６を有する。ＲＳ４２２イン
タフェースはグラバカード１００４とカメラユニット１
００６間のインタフェースを行う。カメラユニット１０
０６内にはまた、コンフィギュレーションＥＥＰＲＯＭ
１０２０、周辺ドライバ１０１４、及びシャッタ１０１
２が含まれている。図示と同様の装置１０００はＶｉｓ
ｉｏｎ ＶＶ５８５０／ＶＶ６８５０ディジタル静止カ
メラＯＥＭデベロップメントシステムユーザガイド、改
訂２．０に記載されている。

【００１７】さらに、ホストＰＣ上のソフトウェア１０
０５はカメラユニット１００６を制御し、本願発明に従
って画像取り込みとＦＰＮキャンセレーションを行う。

【００１８】図６は本願発明による雑音キャンセル方法
のタイミング図である。リセット雑音読み出しは必要で
ない。図６のタイミング図はＬＣＫ，ＥＶＥＮ，ＦＩシ
ャッタ、ＦＲ，ＶＳＥＴＢ及びＡＶＯパルスを示し、こ
れらパルスは本願発明のソフトウェア１００５により制
御される。大まかに言えば、本願発明の方法はＶＳＥＴ
Ｂ／ＶＣＬＲＢ信号を使用して、すべてのホトセルをリ
セットし、集積または露光を同時に開始させる。シャッ
タ１０１２は集積時間の終わりを制御するために使用さ
れる（ＶＳＥＴＢパルスが露光を開始し、シャッタ１０
１２が閉じると露光が終了される）。ＶＣＬＲＢパルス
は図示されていないが、通常ＶＳＥＴＢパルスと同時
か、又はそれよりわずかに先である。本願発明による雑
音キャンセルでは、読み出し中の２個の連続フレームが
使用される。最初の画像はシャッタ１０１２を開いた状
態で画像フレーム用に撮られ、次の暗フレーム露光がシ
ャッタ１０１２を閉じた状態で撮られる。双方のフレー
ムにおいて、ＶＳＥＴＢ／ＶＣＬＲＢラインを使用して
すべてのホトセルに対して同時に集積を開始させる。従
って、アレー内のすべてのピクセルが同時にＲＥＳＥＴ
から解放される。より詳細には、ＶＣＬＲＢローレベル
信号によりＲＥＡＤとＲＥＳＥＴ垂直シフトレジスタの
値が全てゼロにリセットされ、すべてのピクセルが強制
的にＲＥＳＥＴ状態にされる。ＶＳＥＴＢはローレベル
にされてＲＥＳＥＴシフトレジスタの値を全て１にロー
ドし、ピクセル集積を開始させる。次に、ＦＲが２ライ
ン分だけハイレベルにされてアレー読み出しを開始す
る。いずれのフレームも閾値オフセット値とリセット雑
音を有するが、画像フレームのみが場面からの光を含
む。画像フレームは読み出し後、フレームバッファにお
いてバッファリングされる。次に、暗フレームが読み出
されたら、読み出された雑音フレームがバッファデータ
から引かれ、閾値及び暗電流雑音の両方をキャンセルす
る。従って、読み出しには２つのステップしか必要とし
ない。

【００１９】図７において、本願発明の実施例の動作を
説明する流れ図７００が示されている。ステップ７０２
では、制御システム（すなわちホストＰＣ１００２上で
動作するソフトウェア１００５）によりシャッタが開か
れる。次に、ステップ７０４において、ソフトウェア１
００５はＦＩをハイレベルにする。ステップ７０６で、
ＶＳＥＴＢ制御がパルスされ、ステップ７０８でＶＣＬ
ＲＢパルスがパルスされる。これによりアレー内の全て
のホトセルが同時に集積を開始する。その結果、ステッ
プ７１０において時間Ｔ１後にＦＲがパルスされＦＩが
ステップ７１２においてローレベルになるまで集積が開
始される。シャッタ１０１２はその後閉じられ、画像が
ステップ７１６において（１０１４ラインが読み出され
た後）バッファされる。ＦＩはローレベルにされ、ステ
ップ７２０においてＶＳＥＴＢがパルスされて次の画像
取り込みが開始される。ステップ７２２においては、再
びＶＣＬＲＢがパルスされる。ステップ７２４では、Ｆ
Ｒがパルスされて集積がＴ１時間の間行われる。ＦＩは
次にローレベルにされ、暗フレームが１０１４フレーム
にわたって読み出される。最後にステップ７２８におい
て、暗フレームはバッファされた画像フレームから減算
される。

【図面の簡単な説明】

【図１】公知技術によるＣＭＯＳ画像センサの一例であ
る。

【図２】図１のＣＭＯＳ画像センサのピクセルを読み出
し及びリセットするためのタイミング図である。

【図３】図１のＣＭＯＳ画像センサにおける、ＦＰＮキ
ャンセルを含むフレームバッファを使用した静止画像取
り込みを示す図である。

【図４】図１のＣＭＯＳ画像センサにおいてラインバッ
ファが１個しか利用できない場合の、関連ダブルサンプ
リング及び画像読み出しのためのタイミング図である。

【図５】本発明の実施例における、ＦＰＮキャンセル法
を使用した装置である。

【図６】本発明の実施例における、ＦＰＮ低減を示すタ
イミング図である。

【図７】本発明の実施例の動作の流れ図である。

【符号の説明】

１０２ ホトダイオードアレー １０４ 垂直シフトレジスタ １０６ 制御カウンタ １０８ 基準電圧ユニット １１０ ビデオ出力段 １１２ シリアルインタフェース １１４ 制御レジスタ ＬＣＫ ラインクロックパルス ＦＩ フレーム集積パルス ＦＲ フレーム読み出しパルス ＡＶＯ アナログビデオ出力 ＦＰＮ 固定パターン雑音 １００２ ホストパーソナルコンピュータ １００４ フレームグラバカード １００５ ソフトウェア １０１０ Ａ／Ｄコンバータ １０１２ シャッタ

───────────────────────────────────────────────────── フロントページの続き (71)出願人 399035836 1730 Ｎｏｒｔｈ Ｆｉｒｓｔ Ｓｔｒｅ ｅｔ、Ｓａｎ Ｊｏｓｅ、ＣＡ、ＵＳＡ (72)発明者 タイ−ミン チェン アメリカ合衆国 カリフォルニア サン ホセ ゴールデン ゲート ドライヴ 7146

Claims (15)

【特許請求の範囲】
1. 【請求項１】 固定パターン雑音（ＦＰＮ）をキャンセ
   ルするための装置において、 前記装置は装置の動作を制御するためのホストコンピュ
   ータと、画像を撮影するためのカメラユニットを有し、 前記カメラユニットは画像センサ（１００２，１００
   ８）と、シャッタ（１０１２）と、手段（１００５）を
   有し、 前記シャッタ（１０１２）は前記画像センサと撮影した
   い場面との間に操作可能に配設され、前記手段（１００
   ５）は前記ホストコンピュータに操作可能に接続され、
   前記シャッタを露光が始まる前に開き、また露光を終了
   させるために閉じることを特徴とする装置。
2. 【請求項２】 前記開閉手段が、前記画像センサの全て
   のホトセルを同時にリセットする手段（１００５）を有
   する、請求項１記載の装置。
3. 【請求項３】 前記リセット手段（１００５）が、全て
   のピクセルに対して集積を同時に開始させる手段を有す
   る、請求項２記載の装置。
4. 【請求項４】 前記開閉手段（１００５）が、第１フレ
   ームの読み出しの際には前記シャッタが開いており、第
   ２フレームの読み出しの際には閉じているように制御す
   る手段（１００５）を含む、請求項３記載の装置。
5. 【請求項５】 前記画像センサがＶＶ６８５０画像セン
   サ（１００８）を有する、請求項４記載の装置。
6. 【請求項６】 前記リセット手段（１００５）が、前記
   リセットを強制的に実行するためにＲＥＡＤ及びＲＥＳ
   ＥＴ垂直シフトレジスタをリセットする手段を含む、請
   求項５記載の装置。
7. 【請求項７】 前記実行手段（１００５）が、前記集積
   を実行するためにＲＥＳＥＴシフトレジスタをロードす
   る手段を含む、請求項６記載の装置。
8. 【請求項８】 画像フレームをバッファする手段（１０
   ０４，１００５）をさらに含む、請求項４記載の装置。
9. 【請求項９】 前記第１フレームから前記第２フレーム
   のデータを減算する手段（１００５）を含む、請求項８
   記載の装置。
10. 【請求項１０】 ホトダイオードアレーを含む画像セン
    サを有した装置における画像取り込み方法において、 シャッタ（１０１２）を開き、 少なくとも１回リセットを行い全てのピクセルをクリア
    し（ＶＳＥＴＢ）、露光を開始するよう制御し（Ｆ
    Ｉ）、 前記シャッタ（１０１２）を閉じることにより前記露光
    を終了させるステップを有した方法。
11. 【請求項１１】 フレーム画像をバッファするステップ
    を有した、請求項１０記載の方法。
12. 【請求項１２】 前記シャッタ（１０１２）が閉じた
    時、第２のフレーム画像を得るステップを有した、請求
    項１１記載の方法。
13. 【請求項１３】 前記バッファされた第１フレーム画像
    から前記第２フレーム画像を減算するステップをさらに
    有した、請求項１２記載の方法。
14. 【請求項１４】 固定パターン雑音をキャンセルするた
    めの装置において、装置の動作を制御するホストコンピ
    ュータと、画像を撮影するためのカメラユニットとを有
    し、前記カメラユニットは、 画像センサ（１００２，１００８）と、 前記画像センサにより画像が得られた後フレームを読み
    出す手段（１００４，１００５，１００６）と、 前記読み出し手段が前記フレームを読み出した直後、第
    ２の画像を取り込む手段（１００４，１００５，１００
    ６）を有することを特徴とする装置。
15. 【請求項１５】 前記取り込み手段（１００４，１００
    ５，１００６）が、前記画像センサの全てのホトセルを
    同時にリセットする手段を含む、請求項１４記載の方
    法。