JP4854175B2 - 画像センサにおける効率的な暗電流の減算 - Google Patents

Description

本発明は画像センサの分野に関する。本発明は特に、画像センサの効率的な暗電流の減算に関する。

通常の画像センサは、光に応答して電荷を発生する検知素子のセットを含む。例えば、画像センサの一種に電荷結合素子（ＣＣＤ）アレイがある。通常のＣＣＤアレイは、ＣＣＤ検知素子のアレイと、ＣＣＤ検知素子の電荷レベルをサンプリングする回路とを含む。

ＣＣＤアレイを含む様々な画像センサが、光のない状態でも電荷を蓄積する光検知素子を有する。光のない状態で検知素子に蓄積される電荷は一般に暗電流と呼ばれる。通常、画像センサの暗電流は、光学画像を覆う望ましくない「ダーク」画像を生じる。

画像センサにおける暗電流の影響を除去する従来の方法の１つは、暗電流の減算を行うことである。通常、画像シーンからの光を当てたときの画像センサから１枚の画像を得、また、光を当てていないときの画像センサから１枚の画像を得る。画像センサに光を当てたときに得た画像は画像フレームと呼ばれ得る。画像センサに光を当てていないときに得た画像はダークフレームと呼ばれ得る。ダークフレームは通常、画像フレームから減算されて、暗電流成分のない画像フレームを生じる。

暗電流は通常、温度と露出により変動するため、従来の暗電流の減算方法は通常、画像フレームを得る毎にダークフレームを得る。残念ながら、画像フレームを得る毎にダークフレームを得るためにかかる時間は通常、画像センサを用いて有用な画像を得ることのできる速度を遅くする。

ダークフレームを複数の画像フレームの暗電流の減算に再利用することを可能にする暗電流の減算方法を開示する。ダークフレームは、ダークフレームおよび画像フレームに関連する暗電流レベルの変化を基にスケーリングされることによって再利用される。一実施形態において、暗電流レベルの変化は、光学的に黒である（optically black）検知素子からの電荷サンプルおよび画像センサ内の回路からのダミーサンプルの変化を調べることによって決まる。

本発明の他の特徴および利点は以下の詳細な説明から明らかとなるだろう。

本発明をその特定の例示的な実施形態に関して説明し、適宜図面を参照する。

図１は、本教示による暗電流の減算方法を示す。本方法は例えば、デジタルスチルカメラまたはデジタルビデオカメラ内の画像センサの暗電流の減算を行うために用いることができる。

ステップ１００では、画像センサからダークフレームを得る。ステップ１００は例えば、画像センサを内蔵するカメラのシャッターを閉じて画像センサからサンプルを得ることによって実行することができる。

ステップ１０２では、ステップ１００で得たダークフレームを、画像センサから得た複数の画像フレームの暗電流の減算に再利用する。ステップ１００で得たダークフレームは、ステップ１０２において、画像シーンからの光を当てたときの画像センサから画像フレームを得、次にステップ１０２で得た画像フレームに関連する暗電流レベルとステップ１００で得たダークフレームに関連する暗電流レベルとの間の差を求めることによって再利用することができる。次に、ステップ１００で得たダークフレームを上記差を基にスケーリングした後、これをステップ１０２で得た画像フレームから減算することができる。

ステップ１００で得たダークフレームおよびステップ１０２で得た画像フレームはそれぞれ、画像センサのアクティブ（active）素子のセットの各素子からのサンプルと、画像センサ内の光学的に黒である素子のセットの各素子からのサンプルとを含む。さらに、ステップ１００で得たダークフレームおよびステップ１０２で得た画像フレームはそれぞれ、画像センサの低電荷レベルを表すダミーサンプルのセットを含む。一実施形態において、ダミーサンプルは、画像センサの出力レジスタをオーバークロックすることによって得られる。

一実施形態において、ダークフレームおよび画像フレームに関連する暗電流レベル間の差は、光学的に黒である素子からのサンプルとダミーサンプルとの間の差を求めることによって求められる。

図２は、本教示を取り入れたカメラ１０を示す。カメラ１０は、画像シーンからの光を絞り機構１４およびシャッター機構１６を通して画像センサ１８へと導くレンズ機構１２を含む。画像プロセッサ２２は、制御信号のセット２４により絞り機構１４およびシャッター機構１６を制御する。

画像センサ１８は、画像プロセッサ２２が制御信号のセット２６により制御する露出時間中に、その検知素子に電荷を蓄積する。画像センサ１８は露出時間中、画像センサ１８の暗電流の結果としても、その検知素子に電荷を蓄積する。

画像プロセッサ２２は、制御信号２４および２６により信号を発生し、露出時間を開始させ、露出時間を終了させ、また画像センサ１８からサンプルを読み出す。画像センサ１８から得たサンプルは、出力信号２８によりアナログ／デジタル（Ａ／Ｄ）変換器２０に供給される。Ａ／Ｄ変換器２０は、出力信号２８によって搬送されたサンプルをデジタル化し、対応するデジタル化されたサンプルを画像プロセッサ２２に供給する。

画像プロセッサ２２は、絞り機構１４およびシャッター機構１６、ならびに画像センサ１８を制御して、ステップ１００のダークフレームおよびステップ１０２の画像フレームについてデジタル化されたサンプルを得る。例えばダークフレームは、制御信号２４を用いてシャッター機構１６を閉じ、次に制御信号２６を用いて画像センサ１８からサンプルを得ることによって得ることができる。画像フレームは、制御信号２４を用いて絞り機構１４およびシャッター機構１６により露出を設定し、次に制御信号２６を用いて画像センサ１８からサンプルを得ることによって得ることができる。

一実施形態において、カメラ１０は静止画カメラである。別の実施形態において、カメラ１０はビデオカメラである。画像センサ１８は、ＣＣＤアレイまたは相補型金属酸化膜半導体（ＣＭＯＳ）アレイであり得る。暗電流の減算機能を含む画像プロセッサ２２は、ハードウェアおよび／またはソフトウェアあるいはファームウェアで実施することができる。絞り機構１４およびシャッター機構１６は、カメラに有用ないずれの既知の機構としてよい。

図３は、画像センサ１８内の素子の配置例を示す。この例において、画像センサ１８は、アクティブ素子のセット３２、光学的に黒である素子の２セット３０および３４、および出力レジスタ５０を有するアレイを含む。一実施形態において、アクティブ素子３２はＣＣＤ光検知素子であり、光学的に黒である素子３０および３４は、光を遮断する材料で覆われたＣＣＤ光検知素子である。

出力レジスタ５０は、アクティブ素子３２および光学的に黒である素子３０および３４から電荷サンプルを読み出すために用いられる。画像センサ１８内の回路（図示せず）は、アクティブ素子３２ならびに光学的に黒である素子３０および３４の行を順番に選択する。選択されたアクティブ素子３２の行からの電荷は信号線のセット４２を介して出力レジスタ５０に供給され、選択された光学的に黒である素子３０および３４の行からの電荷は信号線のセット４０および４４を介して出力レジスタ５０に供給される。

出力レジスタ５０において１行分の電荷サンプルが収集されると、画像プロセッサ２２は、制御信号２６を用いてサンプルの行を順次、出力信号２８へクロックアウトする。この例において、１行分のサンプルは、２個の光学的に黒であるサンプル、８個のアクティブサンプルおよび２個の光学的に黒であるサンプルを含む。画像プロセッサ２２は、制御信号２６のクロック信号部分に１２回の変化すなわちエッジを発生してこれらのサンプルを出力信号２８上にシフトアウトすることにより、これらのサンプルを得る。

画像プロセッサ２２は、出力レジスタ５０をオーバークロックすることによって画像センサ１８からダミーサンプルを得る。ダミーサンプルは、ダークフレームを再利用する際に暗電流をスケーリングする目的で、画像センサ１８の低電荷レベルを表す。ダミーサンプルは、画像センサ１８があたかもダークのないダミー素子の領域３６を含んでいるかのように、扱われ得る。例えば、画像プロセッサ２２は、光学的に黒である素子およびアクティブ素子からのサンプルをクロックアウトしたあとで制御信号２６のクロック信号にさらに４回の変化すなわちエッジを発生することによって、１行につき４個のダミーサンプルを得る。

図４は、出力信号２８を介して画像センサ１８から得られるデータフレーム６０を示す。このデータフレーム６０は、ステップ１００で得たダークフレームまたはステップ１０２で得た画像フレームであり得る。データフレーム６０は一連の行サンプル（行１〜ｎ）を含む。ここで、ｎは画像センサ１８内の検知素子の行数である。

各行１〜ｎは、光学的に黒である素子３０からのサンプルのセット（ＯＢ）と、それに続くアクティブ素子３２からのサンプルのセット（ＡＣＴＩＶＥ）と、それに続く光学的に黒である素子３４からのサンプルのセット（ＯＢ）と、それに続く領域３６として表されるものからのダミーサンプルのセット（ＤＵＭＭＹ）を含む。

画像プロセッサ２２は、ダークフレーム中の光学的に黒である素子からのサンプルの平均強度（average intensity）（Ｄ_OB）およびダークフレーム中のダミーサンプルの平均強度（Ｄ_DUMMY）を求める。これらの平均Ｄ_OBおよびＤ_DUMMYは、ダークフレーム中の全サンプルまたはサンプルのサブセットについて計算することができる。

画像プロセッサ２２は、画像フレーム中の光学的に黒である素子からのサンプルの平均強度（Ｉ_OB）および画像フレーム中のダミーサンプルの平均強度（Ｉ_DUMMY）を求める。これらの平均Ｉ_OBおよびＩ_DUMMYは、画像フレーム中の全サンプルまたはサンプルのサブセットについて計算することができる。

ステップ１００で得たダークフレーム中のアクティブ素子３２からのサンプルはＤ_ACTIVE（１，１）〜Ｄ_ACTIVE（ｎ，ｍ）であり、ここでｎはアクティブ素子３２の行数、ｍはアクティブ素子３２の列数である。ステップ１０２で得た画像フレームのアクティブ素子３２からのサンプルはＩ_ACTIVE（１，１）〜Ｉ_ACTIVE（ｎ，ｍ）である。ステップ１００で得たダークフレームは、一実施形態のステップ１０２において、Ｄ_ACTIVE（１，１）〜Ｄ_ACTIVE（ｎ，ｍ）に次のスケーリング係数を掛けることによってスケーリングされる。
（Ｉ_OB−Ｄ_DUMMY）／（Ｄ_OB−Ｄ_DUMMY）

ステップ１０２で暗電流の減算を行う際には、上記のスケーリング係数を用いて得たスケーリングされたダークフレームをＩ_ACTIVE（１，１）〜Ｉ_ACTIVE（ｎ，ｍ）から素子毎に減算する。

格納されているダークフレームから上記の技法を用いてスケーリングされたダークフレームを生成するのにかかる時間は、シャッター機構１６を閉じて新たなダークフレームを得るのにかかる時間よりも短い。このダークフレームの再利用により、カメラ１０における画像フレームのサンプリング速度を速めることが可能になる。ダークフレームは、画像プロセッサ２２に関連付けられたメモリに格納し、後に取得した各画像フレームについて再スケーリングして再利用することができる。

上記の本発明の詳細な説明は、例示のために提示したものであり、包括的であること、あるいは本発明を開示した通りの実施形態に制限することは意図していない。したがって、本発明の範囲は添付の特許請求の範囲によって規定される。

本教示による暗電流の減算方法を示す図である。 本教示を取り入れたカメラを示す図である。 アクティブ素子および光学的に黒である素子ならびにダミー素子の表現を含む画像センサ内の素子の配置例を示す図である。 画像センサの出力信号により得たデータフレームを示す図である。

符号の説明

１８：画像センサ
３０、３４：光学的に黒である素子
３２：アクティブ素子

Claims (16)

1. 画像センサからダークフレームを得るステップと、
   前記画像センサの暗電流レベルの変化に応じて前記ダークフレームをスケーリングすることにより前記ダークフレームを暗電流の減算に再利用するステップと、
   を含み、
   前記ダークフレームを暗電流の減算に再利用するステップは、
   前記画像センサから画像フレームを得るステップと、
   前記画像フレームに関連する暗電流レベルと前記ダークフレームに関連する暗電流レベルとの間の差を求めるステップと、
   前記ダークフレームから前記差を基にスケーリングしたダークフレームを求めるステップと、
   前記スケーリングしたダークフレームを前記画像フレームから減算するステップと、
   を含む、暗電流の減算方法。
2. 前記ダークフレームを得るステップが、
   前記画像センサのアクティブ素子のセットの各素子からダークサンプルを得るステップと、
   前記画像センサの光学的に黒である素子のセットの各素子からダークサンプルを得るステップと、
   前記画像センサの低電荷レベルを表すダミーサンプルのセットを得るステップと、
   を含む、請求項１に記載の方法。
3. 前記ダミーサンプルのセットを得るステップが、前記画像センサの出力レジスタをオーバークロックするステップを含む、請求項２に記載の方法。
4. 前記画像フレームを得るステップが、
   前記アクティブ素子の各々から画像サンプルを得るステップと、
   前記光学的に黒である素子の各々から画像サンプルを得るステップと、
   前記画像センサからダミーサンプルのセットを得るステップと、
   を含む、請求項２に記載の方法。
5. 前記暗電流レベル間の差を求めるステップが、
   前記光学的に黒である素子からの画像サンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求めるステップと、
   前記光学的に黒である素子からのダークサンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求めるステップと、
   を含む、請求項４に記載の方法。
6. 前記光学的に黒である素子からの画像サンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める前記ステップが、
   前記光学的に黒である素子からの画像サンプルの前記サブセットの平均を求めるステップと、
   前記ダークフレームに関連するダミーサンプルの前記サブセットの平均を求めるステップと、
   前記平均間の差を求めるステップと、
   を含む、請求項５に記載の方法。
7. 前記光学的に黒である素子からのダークサンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める前記ステップが、
   前記光学的に黒である素子からのダークサンプルの前記サブセットの平均を求めるステップと、
   前記ダークフレームに関連するダミーサンプルの前記サブセットの平均を求めるステップと、
   前記平均間の差を求めるステップと、
   を含む、請求項５に記載の方法。
8. 前記スケーリングしたダークフレームを求めるステップが、前記ダークフレームに前記サブセット間の差の比を掛けるステップを含む、請求項５に記載の方法。
9. 画像センサからダークフレームを得る手段と、
   前記画像センサの暗電流レベルの変化に応じて前記ダークフレームをスケーリングすることにより、前記ダークフレームを暗電流の減算に再利用する手段と、
   を備え、
   前記ダークフレームを暗電流の減算に再利用する手段は、
   前記画像センサから画像フレームを得る手段と、
   前記画像フレームに関連する暗電流レベルと前記ダークフレームに関連する暗電流レベルとの間の差を求める手段と、
   前記ダークフレームから前記差を基にスケーリングしたダークフレームを求める手段と、
   前記スケーリングしたダークフレームを前記画像フレームから減算する手段と、
   を備えている、暗電流の減算装置。
10. 前記ダークフレームを得る手段が、
    前記画像センサのアクティブ素子のセットの各素子からダークサンプルを得る手段と、
    前記画像センサの光学的に黒である素子のセットの各素子からダークサンプルを得る手段と、
    前記画像センサの低電荷レベルを表すダミーサンプルのセットを得る手段と、
    を備えている、請求項９に記載の装置。
11. 前記ダミーサンプルのセットを得る手段が、前記画像センサの出力レジスタをオーバークロックする手段を備えている、請求項１０に記載の装置。
12. 前記画像フレームを得る手段が、
    前記アクティブ素子の各々から画像サンプルを得る手段と、
    前記光学的に黒である素子の各々から画像サンプルを得る手段と、
    前記画像センサからダミーサンプルのセットを得る手段と、
    を備えている、請求項１０に記載の装置。
13. 前記暗電流レベル間の差を求める手段が、
    前記光学的に黒である素子からの画像サンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める手段と、
    前記光学的に黒である素子からのダークサンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める手段と、
    を備えている、請求項１２に記載の装置。
14. 前記光学的に黒である素子からの画像サンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める前記手段が、
    前記光学的に黒である素子からの画像サンプルの前記サブセットの平均を求める手段と、
    前記ダークフレームに関連するダミーサンプルの前記サブセットの平均を求める手段と、
    前記平均間の差を求める手段と、
    を備えている、請求項１３に記載の装置。
15. 前記光学的に黒である素子からのダークサンプルのサブセットと、前記ダークフレームに関連するダミーサンプルのサブセットとの間の差を求める前記手段が、
    前記光学的に黒である素子からのダークサンプルの前記サブセットの平均を求める手段と、
    前記ダークフレームに関連するダミーサンプルの前記サブセットの平均を求める手段と、
    前記平均間の差を求める手段と、
    を備えている、請求項１３に記載の装置。
16. 前記スケーリングしたダークフレームを求める手段が、前記ダークフレームに前記サブセット間の差の比を掛ける手段を備えている、請求項１３に記載の装置。

Images