JP4555785B2 - 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム - Google Patents

Description

本発明は、固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分の除去を行う固定パターン雑音除去装置並びにこれを備える固体撮像装置及び電子機器に関する。また、本発明は、コンピュータを、固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分の除去を行う固定パターン雑音除去装置として機能させるための固定パターン雑音除去プログラムに関する。

今日、ディジタルスチルカメラやムービーカメラなどの撮影装置が広く普及している。これらの撮影装置には、被写体を撮像する固体撮像素子として、主に、ＣＣＤ（Charge Coupled Device）が備えられている。ＣＣＤでは、通常、撮像信号に変換可能な入射光のダイナミックレンジが狭い。そのため、ＣＣＤによって撮像された画像内に、被写体の白とびや黒つぶれなどが生じるおそれがある。これらの白とびや黒つぶれは、画像の品質を損ねるものであるため、出来る限り生じないようにすることが好ましい。

このような問題を解決するために、対数変換型固体撮像素子が用いられている。対数変換型固体撮像素子では、入射光量を対数変換して撮像信号を出力するため、撮像信号に変換可能な入射光のダイナミックレンジが広くなる。対数変換型固体撮像素子は、一般に、ＭＯＳトランジスタの弱反転領域の電流特性を利用して対数変換を行っている。

しかし、対数変換型固体撮像素子の出力には、対数変換を行うＭＯＳトランジスタ、画素内信号読み出し回路、コラム読み出し回路等の特性がばらつくことに起因する固定パターン雑音が含まれているため、対数変換型固体撮像素子によって撮像された画像の品質が上記固定パターン雑音によって大きく損なわれるという問題がある。

このような問題を改善する方法が、非特許文献１に開示されている。すなわち、非特許文献１は、対数変換型固体撮像素子の出力の定式化を行い、固定パターン雑音の原因をオフセット，ゲイン，暗電流という３つのばらつき要素に分解して示した後、各ばらつき要素の補正方法を開示している。この非特許文献１に開示されている従来の固定パターン雑音除去方法では、暗電流が無視できるほどの大きな光電流がフォトダイオードに発生する２種類の高照度条件と、暗電流のみがフォトダイオードに発生する遮光状態との３種類の条件であらかじめ撮像を行い、その結果を元に、対数変換型固体撮像素子の出力に含まれるオフセット，ゲイン，暗電流の各ばらつき要素の補正を行う。

非特許文献１によると、対数変換型固体撮像素子においては、画素毎のフォトダイオードで発生する光電流ｘと、対数応答出力ｙとの関係は、以下の式（１０１）で表すことができる。

式（１０１）において、ａはオフセット、ｂはゲイン、ｃは暗電流を表す。対数変換型固体撮像素子では、これらのオフセットａ，ゲインｂ，暗電流ｃが、画素毎にばらつくことによって、固定パターン雑音が発生する。非特許文献１で開示されている従来の固定パターン雑音除去方法では、これらのオフセットａ，ゲインｂ，暗電流ｃを画素毎に算出し、式（１０１）に適用して補正を行うことにより、光電流ｘと対数応答出力ｙとの正しい関係を求めている。

非特許文献１で開示されている従来の固定パターン雑音除去方法の詳細について、図４を参照して以下に説明する。図４は、従来の固定パターン雑音除去装置の構成を示すブロック図である。従来の固定パターン雑音除去方法では、実際の撮像動作に先立って、後述する一連のキャリブレーション動作を行う。

キャリブレーション動作では、暗電流が無視できるほどの大きな光電流がフォトダイオードに発生する２種類の高照度条件と、暗電流のみがフォトダイオードに発生する遮光条件との３種類の条件であらかじめ撮像を行う。

第１の条件では、固体撮像素子２の撮像面に、後述する照度Ｌ１の一様光を照射する。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果をフレームメモリ３１に記録する。

第２の条件では、固体撮像素子２の撮像面に、後述する照度Ｌ２の一様光を照射する。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果をフレームメモリ３２に記録する。

第３の条件では、固体撮像素子２の撮像面を遮光状態にする。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果をフレームメモリ３３に記録する。

上述の照度Ｌ１および照度Ｌ２は、固体撮像素子２の撮像面上でこれらの照度となる一様光が固体撮像素子２の撮像面に入射したとき、固体撮像素子２の撮像面上のフォトダイオードに発生する光電流が、フォトダイオードの暗電流と比較して十分大きくなる照度とする。具体的には、光電流と暗電流の比が少なくとも１００倍となる照度とする。また照度Ｌ１は照度Ｌ２と比較して少なくとも１０倍の照度となるように、一様光を調整する。

次に、パラメータ算出部３４において、上述のフレームメモリ３１ないし３３に記録された撮像信号より、式（１０１）のオフセットａ，ゲインｂ，暗電流ｃを、以下に述べる手順で画素毎に算出する。初めにフレームメモリ３１に記録された撮像信号ｙ₁とフレームメモリ３２に記録された撮像信号ｙ₂とから、式（１０２）よりゲインｂを画素毎に算出する。式（１０２）のｘ₁は、固体撮像素子２の撮像面に照度Ｌ１の一様光を照射したときの光電流であって、照度Ｌ１の値によって定まる。また、式（１０２）のｘ₂は、固体撮像素子２の撮像面に照度Ｌ２の一様光を照射したときの光電流であって、照度Ｌ２の値によって定まる。光電流ｘ₁、ｘ₂の値は、測定等により予め得られた、撮像素子毎の照度と光電流の関係を示す直線から求めることができ、予め求めておいた照度Ｌ１と照度Ｌ２に対応する光電流値をパラメータ算出部３４があらかじめ記憶していてもよく、フォトダイオードに発生する光電流あるいは照射光の照度を検出する検出部を固体撮像素子２に設け当該検出部の検出結果を元にパラメータ算出部３４が求めてもよい。上記の方法が困難な場合は、光電流ｘ_１、ｘ_２の代わりに、照度Ｌ１、照度Ｌ２の値を直接用いても良い。この場合、式（１０１）においては、光電流ｘと対数応答出力ｙとの関係ではなく光電流ｘを照度Ｌと置き換えたときの、照度Ｌと対数応答出力ｙとの関係を求めることになる。

次に、フレームメモリ３１に記録された撮像信号ｙ₁から、式（１０３）よりオフセットａを画素毎に算出する。ゲインｂの算出において、光電流の代わりに照度を用いた場合、式（１０３）の光電流ｘ_１を照度Ｌ１に置き換えれば良い。

最後に、フレームメモリ３３に記録された撮像信号ｙ_dから、式（１０４）より暗電流ｃを画素毎に算出する。ゲインｂの算出において、光電流の代わりに照度を用いた場合、式（１０４）においてｃは、暗電流そのものではなく、暗電流値に依存する限界照度を表す。言い換えれば、限界照度の光が各画素のフォトダイオードにおいて発生させ得る光電流値は、当該画素の暗電流値と等しくなる。以降において、光電流の代わりに照度を用いた場合は、ｃを限界照度として扱えば良い。

上述の手順で算出されたオフセットａ，ゲインｂ，暗電流ｃを、夫々フレームメモリ６１、フレームメモリ６２およびフレームメモリ６３に記録する。

上述のキャリブレーション動作により、実際の撮像動作に先立って、暗電流が無視できるほどの大きな光電流がフォトダイオードに発生する２種類の高照度条件と、暗電流のみがフォトダイオードに発生する遮光条件との３種類の条件であらかじめ撮像を行った結果を用いて、オフセットａ，ゲインｂ，暗電流ｃが画素毎に算出され、夫々フレームメモリ６１、フレームメモリ６２およびフレームメモリ６３に記録される。

実際の撮像動作では、フレームメモリ６１、フレームメモリ６２およびフレームメモリ６３に画素毎に夫々記録されたオフセットａ，ゲインｂ，暗電流ｃを用いて、撮像信号の補正を行う。以下では図４を参照して、実際の撮像動作時の撮像信号の補正手順を説明する。オフセット補正部７１は、式（１０１）で表される固体撮像素子２の出力ｙに対し、フレームメモリ６１に記録されたオフセットａを用いて、画素毎に減算処理を行う。その結果、オフセットａと無関係の撮像信号Ｙ₁が得られる（式（１０５）を参照）。

ゲイン補正部７２は、オフセット補正部７１の出力Ｙ₁に対し、フレームメモリ６２に記録されたゲインｂを用いて、画素毎に除算処理を行う。その結果、ゲインｂと無関係の撮像信号Ｙ₂が得られる（式（１０６）を参照）。

暗電流補正部７３は、ゲイン補正部７２の出力Ｙ₂の指数変換信号に対し、フレームメモリ６３に記録された暗電流ｃを用いて、画素毎に減算処理を行う。ここで、暗電流補正部７３の構成を図５に示す。図５の符号７３Ａは線形化部を、符号７３Ｂは減算部をそれぞれ示す。線形化部７３Ａは、指数関数を用いてゲイン補正部７２の出力Ｙ₂の線形化を画素毎に行い、ゲイン補正部７２の出力Ｙ₂の指数変換信号を出力する。減算部７３Ｂは、線形化部７３Ａの出力に対し、フレームメモリ６３に記録された暗電流ｃを用いて、画素毎に減算処理を行う。その結果、暗電流ｃと無関係の撮像信号Ｙ₃が得られる（式（１０７）を参照）。

Bhaskar Choubey, Satoshi Aoyama, Dileepan Joseph, Stephen Otim and Steve Collins, "An Electronic Calibration Scheme for Logarithmic CMOS Pixels, " Proceedings of the IEEE International Symposium on Circuits and Systems, vol. IV, pp. 856-9, May 2004

しかし、固体撮像素子２のフォトダイオードに発生する暗電流は、温度の上昇と共に指数関数的に増大するため、キャリブレーション動作時の固体撮像素子２の温度と、実際の撮像時の固体撮像素子２の温度が、固体撮像素子自身の内部発生熱や、外部からの熱の影響で異なると、フレームメモリ６３に記録された暗電流ｃと、実際の撮像時のフォトダイオードに発生する暗電流とが一致しなくなる。従って、非特許文献１に開示されている固定パターン雑音除去方法を用いて、暗電流に起因する固定パターン雑音成分の除去を行っても、固定パターン雑音は効果的に除去されない。特に低照度条件で、キャリブレーション動作時の固体撮像素子２の温度と、実際の撮像時の固体撮像素子２の温度とが大きく異なると、撮影画面上に暗電流に起因する固定パターン雑音が大きく現れ、撮影画面の品質が大きく損なわれるという問題がある。

本発明は、上記の問題点に鑑み、固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる固定パターン雑音除去装置並びにこれを備える固体撮像装置及び電子機器を提供することを目的とする。また、本発明は、上記の問題点に鑑み、コンピュータを、固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる固定パターン雑音除去装置として機能させるための固定パターン雑音除去プログラムを提供することを目的とする。

上記目的を達成するために本発明に係る固定パターン雑音除去装置は、入射光の光量を対数変換する対数変換型の固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、予め取得した前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第１暗電流と、入射光が無い状態で予め取得した前記固体撮像素子の有効画素の出力信号を元に算出される前記固体撮像素子の有効画素が有する光電素子の暗電流である第２暗電流と、撮像時の前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第３暗電流とを用いて、撮像時の前記固体撮像素子の有効画素の出力信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、前記第１暗電流と前記第２暗電流とをそれぞれ線形形式で記憶する記憶部を備え、前記第３暗電流が線形形式であって、前記第１暗電流と前記第３暗電流との比から温度係数を算出し、前記第２暗電流と前記温度係数との積を、撮像時の前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算するようにしている。これにより、予め出力信号を取得した時の固体撮像素子の温度と実際の撮像時の固体撮像素子の温度とが一致しない場合でも、第１暗電流、第２暗電流、及び第３暗電流を用いることで、 前記固体撮像素子の有効画素が有する光電素子に実際の撮像時に発生する暗電流を予測することができるので、前記固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる。

また、上記目的を達成するために本発明に係る固定パターン雑音除去装置は、入射光の光量を対数変換する対数変換型の固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、予め取得した前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第１暗電流と、入射光が無い状態で予め取得した前記固体撮像素子の有効画素の出力信号を元に算出される前記固体撮像素子の有効画素が有する光電素子の暗電流である第２暗電流と、撮像時の前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第３暗電流とを用いて、撮像時の前記固体撮像素子の有効画素の出力信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、前記第１暗電流と前記第２暗電流とをそれぞれ対数形式で記憶する記憶部を備え、前記第３暗電流が対数形式であって、前記第１暗電流と前記第３暗電流との差から温度係数を算出し、前記第２暗電流と前記温度係数との和を線形化した信号を、撮像時の前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算するようにしている。これにより、予め出力信号を取得した時の固体撮像素子の温度と実際の撮像時の固体撮像素子の温度とが一致しない場合でも、第１暗電流、第２暗電流、及び第３暗電流を用いることで、 前記固体撮像素子の有効画素が有する光電素子に実際の撮像時に発生する暗電流を予測することができるので、前記固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる。

さらに、上記各構成の固定パターン雑音除去装置において、光電素子の暗電流を光電素子の暗電流値に依存する限界照度に置き換え、第１暗電流を第１限界照度に置き換え、第２暗電流を第２限界照度に置き換え、第３暗電流を第３限界照度に置き換えてもよい。また、上記目的を達成するために本発明に係る固体撮像装置は、固体撮像素子と、前記固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する上記各構成の固定パターン雑音除去装置とを備えるようにする。また、上記目的を達成するために本発明に係る電子機器は、上記固体撮像装置を備えるようにする。また、上記目的を達成するために本発明に係る固体パターン雑音除去プログラムは、コンピュータを、上記各構成の固定パターン雑音除去装置として機能させるためのプログラムにする。かかるプログラムを用いることで、専用装置によらずとも本発明に係る固体パターン雑音除去プログラムを実現することができる。

本発明によると、固体撮像素子の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる。

（第１実施形態）
本発明の第１実施形態について図１を参照して以下に説明する。図１は、本発明に係る固体撮像装置の一構成例を示すブロック図である。図１に示す固体撮像装置１は、固体撮像素子２と、補正データ算出部３と、固定パターン雑音除去装置４とを備えている。そして、固定パターン雑音除去装置４は、補正データ記憶部６と、オフセット補正部７１と、ゲイン補正部７２と、暗電流補正部７３とを備えている。固体撮像装置１の出力は、固定パターン雑音除去装置４において固定パターン雑音を除去された後、画像表示装置５上で映像として再生される。

固体撮像素子２は、対数変換型固体撮像素子であり、被写体を撮像する。具体的には、固体撮像素子２は、被写体が発するもしくは反射する光がレンズ等の光学系を介して固体撮像素子面に入射する際の光量を輝度レベルに対数変換する。これにより、固体撮像素子２は、被写体の画像を表す撮像信号を生成し、出力する。固体撮像素子２の撮像面上には、フォトダイオードを有する画素が二次元アレイ状に配置されている。

固体撮像素子２の画素には、遮光画素と有効画素との区別がある。遮光画素と有効画素の差異はフォトダイオードの上部をメタル配線等で覆われているか覆われていないかであり、その他の画素構造は通常同一である。したがって、固体撮像素子２の画素は通常図６Ａに示すようにアレイ状に配置する。図６Ａの画素アレイに配置された遮光画素の撮像信号は、有効画素の撮像信号と同様に、走査を行うことで順次利用可能となる。なお、図６Ａ〜図６Ｄにおいては、各有効画素を斜線の入っていない長方形で示し、各遮光画素を斜線の入っている長方形で示している。

本発明に係る固体撮像装置では、後述するように、有効画素の撮像信号のみならず遮光画素の撮像信号を用いるが、必ずしも全ての遮光画素の撮像信号を用いる必要はない。例えば、他の遮光画素で囲まれているため入射光の影響を受けにくい遮光画素を複数選択し、その選択した遮光画素の撮像信号のみを遮光画素の撮像信号として用いてもよい。

また、図６Ｂに示すように、遮光画素を画素アレイの外部に配置してもよい。遮光画素を画素アレイの外部に配置した場合は、走査を行うことなく、遮光画素の撮像信号を独立に利用できるという利点がある。さらには、図６Ｃや図６Ｄに示すように、画素アレイの外部に配置した遮光画素を、画素アレイ内の画素とは異なるサイズとしてもよい。図６Ｃのように、画素アレイの外部に配置した遮光画素Ｇ_Bを、画素アレイ内の画素より大きいサイズとした場合は、画素内のフォトダイオードの暗電流値が大きくなるため、暗電流ショットノイズの影響が小さくなり、遮光画素Ｇ_Bの撮像信号を用いて温度係数を算出する際に、算出精度が向上するという利点がある。図６Ｄのように、画素アレイの外部に配置した遮光画素Ｇ_Sを、画素アレイ内の画素より小さいサイズとした場合は、遮光画素のチップ占有面積を小さくできるという利点がある。

固体撮像素子２による撮像動作は、主として前述の入射光に応じた撮像信号を生成する有効画素を用いて行われる。本発明に係る固体撮像装置では、有効画素の撮像信号のみならず遮光画素の撮像信号を用いる。以下では、単に撮像信号という場合は、有効画素の撮像信号と遮光画素の撮像信号の両方を指すものとする。

対数変換型固体撮像素子である固体撮像素子２においては、画素毎のフォトダイオードで発生する光電流ｘと、対数応答出力ｙとの関係は、以下の式（１）で表すことができる。なお、式（１）において、ａはオフセット、ｂはゲイン、ｃは暗電流を表す。

補正データ算出部３は固体撮像素子２の撮像信号より、オフセットａ，ゲインｂ，暗電流ｃの各補正データを算出する。補正データ算出部３の動作の詳細については後述する。

補正データ記憶部６は、補正データ算出部３で算出されたオフセットａ，ゲインｂ，暗電流ｃの各補正データを記憶する。この動作については後述する。

オフセット補正部７１は、補正データ記憶部６から読み出されたオフセット補正データを用いて、固体撮像素子２の出力から、オフセットばらつきに起因する固定パターン雑音成分の除去を行う。ゲイン補正部７２は、補正データ記憶部６から読み出されたゲイン補正データを用いて、オフセット補正部７１の出力から、ゲインばらつきに起因する固定パターン雑音成分の除去を行う。暗電流補正部７３は、補正データ記憶部６から読み出された暗電流補正データを用いて、ゲイン補正部７２の出力から、暗電流ばらつきに起因する固定パターン雑音成分の除去を行う。これら各種の固定パターン雑音成分の除去の詳細については後述する。

図１に示す固体撮像装置１は、実際の撮像動作に先立って、後述する一連のキャリブレーション動作を行う。キャリブレーション動作は、補正データ算出部３において実行され、その結果は補正データ記憶部６に記録される。また、キャリブレーション動作は、固体撮像素子２および固定パターン雑音除去装置４の製造後、出荷検査時に、一度行えば良い。このため、補正データ算出部３は、汎用ワークステーション、パーソナルコンピュータ、もしくは出荷検査用のテスター等を用いて実現し、固体撮像装置に外付けする即ち固体撮像装置１の構成要素から外すことが可能である。また、補正データ算出部３を半導体メモリやＬＳＩを用いて実現すれば、補正データ算出部３を固定パターン雑音除去装置４の内部に搭載すること即ち補正データ算出部３を固定パターン雑音除去装置４の構成要素とすることも可能である。

キャリブレーション動作では、暗電流が無視できるほどの大きな光電流がフォトダイオードに発生する２種類の高照度条件と、暗電流のみがフォトダイオードに発生する遮光条件との３種類の条件であらかじめ撮像を行う。

第１の条件では、固体撮像素子２の撮像面に、後述する照度Ｌ１の一様光を照射する。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果を補正データ算出部３内の記憶装置に記録する。

第２の条件では、固体撮像素子２の撮像面に、後述する照度Ｌ２の一様光を照射する。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果を補正データ算出部３内の記憶装置に記録する。

第３の条件では、固体撮像素子２の撮像面を遮光状態にする。この条件における固体撮像素子２の複数フレームに亘る出力を、画素毎に算術平均してランダムノイズ成分を除去し、その結果を補正データ算出部３内の記憶装置に記録する。

ここで、キャリブレーション動作における固体撮像素子２の温度は、撮像中一定かつ素子内部で一様にＴ_calであったとする。また、上述の照度Ｌ１および照度Ｌ２は、固体撮像素子２の撮像面上でこれらの照度となる一様光が固体撮像素子２の撮像面に入射したとき、固体撮像素子２の撮像面上のフォトダイオードに発生する光電流が、フォトダイオードの暗電流と比較して十分大きくなる照度とする。具体的には、光電流と暗電流の比が少なくとも１００倍となる照度とする。また、照度Ｌ１は照度Ｌ２と比較して少なくとも１０倍の照度となるように、一様光を調整する。

次に、補正データ算出部３は、補正データ算出部３内の記憶装置に記録された、上述の各条件における撮像結果より、式（１）のオフセットａ、ゲインｂ、暗電流ｃを、以下に述べる手順で画素毎に算出する。初めに第１の条件における撮像結果ｙ₁と第２の条件における撮像結果ｙ₂とにより、式（２）よりゲインｂを画素毎に算出する。式（２）のｘ₁は、固体撮像素子２の撮像面に照度Ｌ１の一様光を照射したときの光電流であって、照度Ｌ１の値によって定まる。また、式（２）のｘ₂は、固体撮像素子２の撮像面に照度Ｌ２の一様光を照射したときの光電流であって、照度Ｌ２の値によって定まる。なお、遮光画素における光電流ｘ₁、ｘ₂の値は零としている。有効画素における光電流ｘ₁、ｘ₂の値は、測定等により予め得られた、撮像素子毎の照度と光電流の関係を示す直線から求めることができ、予め求めておいた照度Ｌ１と照度Ｌ２に対応する光電流値を補正データ算出部３があらかじめ記憶していてもよく、フォトダイオードに発生する光電流あるいは照射光の照度を検出する検出部を固体撮像素子２に設け当該検出部の検出結果を元にパラメータ算出部３４が求めてもよい。上記の方法が困難な場合は、光電流ｘ_１、ｘ_２の代わりに、照度Ｌ１、照度Ｌ２の値を直接用いても良い。この場合、式（１）においては、光電流ｘと対数応答出力ｙとの関係ではなく光電流ｘを照度Ｌと置き換えたときの、照度Ｌと対数応答出力ｙとの関係を求めることになる。

次に、第１の条件における撮像結果ｙ₁から、式（３）よりオフセットａを画素毎に算出する。ゲインｂの算出において、光電流の代わりに照度を用いた場合、式（３）の光電流ｘ_１を照度Ｌ１に置き換えれば良い。

最後に、第３の条件における撮像結果ｙ_dから、式（４）よりキャリブレーション動作における撮像時の固体撮像素子２の温度Ｔ_calに依存する暗電流ｃ(Ｔ_cal)を算出する。ゲインｂの算出において、光電流の代わりに照度を用いた場合、式（４）においてｃ(Ｔ_cal)は、暗電流そのものではなく、温度Ｔ_calのときの暗電流値に依存する限界照度を表す。言い換えれば、限界照度の光が温度Ｔ_calのときの各画素のフォトダイオードにおいて発生させ得る光電流値は、当該画素の暗電流値と等しくなる。以降において、光電流の代わりに照度を用いた場合は、ｃ(Ｔ_cal)を温度Ｔ_calのときの限界照度として扱えば良い。

上述の手順で算出されたオフセットａ，ゲインｂ，暗電流ｃ(Ｔ_cal)を夫々補正データ記憶部６に記録する。

上述のキャリブレーション動作により、実際の撮像動作に先立って、暗電流が無視できるほどの大きな光電流がフォトダイオードに発生する２種類の高照度条件と、暗電流のみがフォトダイオードに発生する遮光条件との３種類の条件であらかじめ撮像を行った結果を用いて、オフセットａ，ゲインｂ，暗電流ｃ(Ｔ_cal)が画素毎に算出され、夫々補正データ記憶部６に記録される。

実際の撮像動作では、補正データ記憶部６において画素毎に記録されたオフセットａ，ゲインｂ，暗電流ｃ(Ｔ_cal)を用いて、撮像信号の補正を行う。以下では図１を参照して、実際の撮像動作時の撮像信号の補正手順を説明する。

暗電流の温度依存性を考慮すると、対数変換型固体撮像素子である固体撮像素子２においては、画素毎のフォトダイオードで発生する光電流ｘと、実際の撮像動作時の対数応答出力ψとの関係は、以下の式（５）で表すことができる。

式（５）において、ａはオフセット、ｂはゲイン、ｃ(Ｔ_act)は実際の撮像動作時の固体撮像素子２の温度Ｔ_actにおける暗電流を表す。対数変換型固体撮像素子では、これらのオフセットａ，ゲインｂ，暗電流ｃ(Ｔ_act)が、画素毎にばらつくことによって、固定パターン雑音が発生する。

オフセット補正部７１は、実際の撮像動作時の固体撮像素子２の出力ψに対し、補正データ記憶部６に記録されたオフセットａを用いて、画素毎に減算処理を行う。その結果、オフセットａと無関係の撮像信号Ψ₁が得られる（式（６）を参照）。

ゲイン補正部７２は、オフセット補正部７１の出力Ψ₁に対し、補正データ記憶部６に記録されたゲインｂを用いて、画素毎に除算処理を行う。その結果、ゲインｂと無関係の撮像信号Ψ₂が得られる（式（７）を参照）。

上述のようにして、オフセットおよびゲインばらつきの補正が行われた撮像信号Ψ₂のうち、有効画素の撮像信号をΨ_os、遮光画素の撮像信号をΨ_obとすると、これらの撮像信号はそれぞれ式（８）および式（９）で表せる。

式（８）において、ｃ_os(Ｔ_act)は実際の撮像動作時の固体撮像素子２の温度Ｔ_actにおける有効画素の暗電流、ｘ_osは実際の撮像動作時の固体撮像素子２の有効画素の光電流を表す。式（９）において、ｃ_ob(Ｔ_act)は実際の撮像動作時の固体撮像素子２の温度Ｔ_actにおける遮光画素の暗電流を表す。

固体撮像素子２は、有効画素の撮像信号Ψ_osと遮光画素の撮像信号をΨ_obとを時系列で順次出力する。オフセット補正部７１およびゲイン補正部７２は、時系列で出力された有効画素と遮光画素の撮像信号に対しパイプライン処理を行う。従って、ゲイン補正部７２は有効画素の撮像信号Ψ_osおよび遮光画素の撮像信号Ψ_obを時系列で順次出力する。暗電流補正部７３の動作は、ゲイン補正部７２が遮光画素の撮像信号Ψ_obを出力する間に温度係数を算出する第一の期間における動作と、ゲイン補正部７２が有効画素の撮像信号Ψ_osを出力する間に第一の期間で算出された温度係数を用いて暗電流の補正を行う第二の期間における動作とに分けられる。

暗電流補正部７３の一構成例を図２に示す。図２の符号７３Ａは線形化部を、符号７３Ｂは減算部を、符号７３Ｃ，７３Ｄ，７３Ｇ，７３Ｈはスイッチを、符号７３Ｅは除算部を、符号７３Ｆは温度係数記憶部を、符号７３Ｉは乗算部をそれぞれ示す。

初めに、上述の第一の期間における暗電流補正部７３の動作を説明する。ゲイン補正部７２が遮光画素の撮像信号Ψ_obを出力する際、暗電流補正部７３内のスイッチ７３Ｃおよびスイッチ７３Ｄは短絡され、スイッチ７３Ｇおよびスイッチ７３Ｈは開放される。線形化部７３Ａは遮光画素の撮像信号Ψ_obを指数関数で線形化処理を行う。この処理により、線形化部７３Ａは遮光画素の暗電流ｃ_ob(Ｔ_act)を出力する。

除算部７３Ｅは線形化部７３Ａから出力された遮光画素の暗電流ｃ_ob(Ｔ_act)と、補正データ記憶部６に記録された遮光画素の暗電流ｃ_ob(Ｔ_cal)との比を求め、温度係数κとして出力する（式（１０）を参照）。なお、固定パターン雑音除去処理に用いる遮光画素が複数ある場合は、温度係数κが複数求まるので、それらを算術平均するとよい。

一般に絶対温度Ｔにおける暗電流ｃは、式（１１）のように表すことができるため、式（１０）に示す温度係数κは、式（１２）のεを用いると、式（１３）で表すことができる。ここでｑは電荷素量、Ｎは活性化エネルギー、ｋはボルツマン定数を示す。また、Ｉ₀は画素毎に固有の暗電流係数である。

温度係数記憶部７３Ｆは、除算部７３Ｅから出力された温度係数κを記憶する。温度係数記憶部７３Ｆは、上述の第一の期間では温度係数κを乗算部７３Ｉに出力せず、上述の第二の期間では温度係数κを乗算部７３Ｉに出力する。

次に、上述の第二の期間における暗電流補正部７３の動作を説明する。ゲイン補正部７２が有効画素の撮像信号Ψ_osを出力する際、暗電流補正部７３内のスイッチ７３Ｃおよびスイッチ７３Ｄは開放され、スイッチ７３Ｇおよびスイッチ７３Ｈは短絡される。乗算部７３Ｉは、補正データ記憶部６に記録された温度Ｔ_calにおける有効画素の暗電流ｃ_os(Ｔ_cal)と、温度係数記憶部７３Ｆに記憶された温度係数κとの積を算出する。線形化部７３Ａは有効画素の撮像信号Ψ_osを指数関数で線形化処理を行う。減算部７３Ｂは、線形化部７３Ａの出力から乗算部７３Ｉの出力を有効画素毎に減算することで、Ψ₃を出力する（式（１４）を参照）。

式（１４）に式（８）および式（１３）を代入し、さらに式（１１）および式（１２）を代入すると、Ψ₃は式（１５）で表される。ここでI_osは有効画素毎に固有の暗電流係数である。

式（１５）から明らかなように、式（１５）の第１項に示した実際の撮像時の温度Ｔ_ａｃｔにおける有効画素の暗電流は、式（１５）の第３項に示した式（１３）で示す温度係数κとキャリブレーション時の温度Ｔ_ｃａｌにおける有効画素の暗電流ｃ_ｏｓ(Ｔ_ｃａｌ)との積によってキャンセルされる。これにより、暗電流と無関係の撮像信号Ψ_３が得られる。

暗電流補正部７３は、上述の第一の期間と第二の期間との二つの期間を適当な間隔で交互に繰り返すことにより、固体撮像素子２の温度変動による暗電流の時間変動に対して追随対応が可能となる。したがって、固体撮像素子２の温度に関わらず、暗電流に起因する固定パターン雑音成分を効果的に除去することができる。

（第２実施形態）
本発明の第２実施形態について図１を参照して以下に説明する。本発明の第２実施形態は、本発明の第１実施形態に対して、補正データ算出部３の一部の動作並びに暗電流補正部７３の内部構成及び動作が異なるだけであるので、以下ではこれらの相違点に絞って詳細に説明する。

本発明の第１実施形態と同様に、本発明の第２実施形態においても図１に示す固体撮像装置１は、実際の撮像動作に先立って、後述する一連のキャリブレーション動作を行う。キャリブレーション動作は、補正データ算出部３において実行され、その結果は補正データ記憶部６に記録される。

キャリブレーション動作では、本発明の第１実施形態で説明した手順で算出されたオフセットａ，ゲインｂ，暗電流ｃ(Ｔ_cal)の対数値を夫々補正データ記憶部６に記録する。即ち、補正データ算出部３において、式（４）の代わりに式（１６）に示す対数形式で表された暗電流ｌｎ［ｃ(Ｔ_cal)］が算出され、その結果が補正データ記憶部６に記録される。

実際の撮像動作では、補正データ記憶部６において画素毎に記録されたオフセットａ，ゲインｂ，暗電流ｌｎ［ｃ(Ｔ_cal)］を用いて、撮像信号の補正を行う。以下では図１を参照して、実際の撮像動作時の撮像信号の補正手順を説明する。ただし、オフセット補正部７１およびゲイン補正部７２の動作は、本発明の第１実施形態と同様であるので説明を省略する。

本発明の第２実施形態における暗電流補正部７３の一構成例を図３に示す。図３の７３Ａは線形化部を、７３Ｂは減算部を、７３Ｃ，７３Ｄ，７３Ｇ，７３Ｈはスイッチを、７３Ｊは減算部を、７３Ｆは温度係数記憶部を、７３Ｋは加算部をそれぞれ示す。

暗電流補正部７３の動作は、本発明の第１実施形態と同様に、ゲイン補正部７２が遮光画素の撮像信号Ψ_obを出力する間に温度係数を算出する第一の期間における動作と、ゲイン補正部７２が有効画素の撮像信号Ψ_osを出力する間に第一の期間で算出された温度係数を用いて暗電流の補正を行う第二の期間における動作とに分けられる。

初めに、上述の第一の期間における暗電流補正部７３の動作を説明する。ゲイン補正部７２が遮光画素の撮像信号Ψ_obを出力する際、暗電流補正部７３内のスイッチ７３Ｃおよびスイッチ７３Ｄは短絡され、スイッチ７３Ｇおよびスイッチ７３Ｈは開放される。減算部７３Ｊはゲイン補正部７２から出力された対数形式の遮光画素の暗電流ｌｎ［ｃ_ob(Ｔ_act)］と、補正データ記憶部６に記録された対数形式の遮光画素の暗電流ｌｎ［ｃ_ob(Ｔ_cal)］との差を求め、対数形式の温度係数ｌｎ（κ）として出力する（式（１７）を参照）。

一般に絶対温度Ｔにおける暗電流ｃは、式（１１）のように表すことができるため、式（１７）に示す対数形式の温度係数ｌｎ（κ）は、式（１２）のεを用いると、式（１８）で表すことができる。

温度係数記憶部７３Ｆは、減算部７３Ｊから出力された対数形式の温度係数ｌｎ（κ）を記憶する。温度係数記憶部７３Ｆは、上述の第一の期間では対数形式の温度係数ｌｎ（κ）を加算部７３Ｋに出力せず、上述の第二の期間では対数形式の温度係数ｌｎ（κ）を加算部７３Ｋに出力する。

次に、上述の第二の期間における暗電流補正部７３の動作を説明する。ゲイン補正部７２が有効画素の撮像信号Ψ_osを出力する際、暗電流補正部７３内のスイッチ７３Ｃおよびスイッチ７３Ｄは開放され、スイッチ７３Ｇおよびスイッチ７３Ｈは短絡される。加算部７３Ｋは、補正データ記憶部６に記録された温度Ｔ_calにおける対数形式の有効画素の暗電流ｌｎ［ｃ_os(Ｔ_cal)］と、温度係数記憶部７３Ｆに記憶されたｌｎ（κ）との和を算出する。線形化部７３Ａは有効画素の撮像信号Ψ_osと加算部７３Ｋの出力とに対し、夫々指数関数で線形化処理を行う。減算部７３Ｂは、線形化部７３Ａの出力のうち、線形化された有効画素の撮像信号Ψ_osから、線形化された加算部７３Ｋの出力を減算することで、式（１４）に示すΨ₃を出力する。ここで、式（１８）の両辺を指数変換すると式（１３）となる。従って、式（１４）に式（８）および式（１３）を代入し、さらに式（１１）および式（１２）を代入すると、Ψ₃は本発明の第１実施形態と同様の式（１５）で表される。

本発明の第１実施形態と同様、式（１５）から明らかなように、式（１５）の第１項に示した実際の撮像時の温度Ｔ_ａｃｔにおける有効画素の暗電流は、式（１５）の第３項に示した式（１３）で示す温度係数κとキャリブレーション時の温度Ｔ_ｃａｌにおける有効画素の暗電流ｃ_ｏｓ(Ｔ_ｃａｌ)との積によってキャンセルされる。これにより、暗電流と無関係の撮像信号Ψ_３が得られる。

なお、図１に示す固体撮像装置１においては、固体撮像素子２から出力される撮像信号のオフセットばらつき或いはゲインばらつきが、実用上補正の必要が無い程小さいと判断できる場合は、オフセット補正部７１およびゲイン補正部７２は、適宜ブロック構成からそれぞれ独立して省略して良く、その際にも、暗電流起因による固定パターン雑音を良好に除去して、ざらつきの少ない撮像画面を得ることができる。

上述した固定パターン雑音除去装置４内の各ブロックは、いずれも機能ブロックである。したがって、固定パターン雑音除去装置４内の各ブロックを専用回路で構成することによって本発明に係る固定パターン雑音除去装置を実現することができ、コンピュータを上述した固定パターン雑音除去装置４として機能させるための固定パターン雑音除去プログラムを、コンピュータが実行することによっても本発明に係る固定パターン雑音除去装置を実現することができる。

上記固定パターン雑音除去プログラムは、上記固定パターン雑音除去プログラムを格納しているコンピュータ読み取り可能な記録媒体を通じてコンピュータに供給されてもよく、有線または無線の通信路を介してデータを伝送する通信ネットワークを通じてコンピュータに供給されてもよく、あらかじめコンピュータ内のメモリに格納されていてもよい。

なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

例えば、上述した実施形態では固体撮像素子を対数変換型固体撮像素子としたが、対数変換型固体撮像素子以外の固体撮像素子（例えば、線形変換型固体撮像素子が挙げられる。また、ＭＯＳ型のみならずＣＣＤ型も含む。）についても、対数変換型固体撮像素子ほど顕著ではないが、固体撮像素子の温度変動による暗電流の時間変動に関する問題が生じるため、対数変換型固体撮像素子以外の固体撮像素子の出力信号から、暗電流に起因する固定パターン雑音成分の除去を行う固定パターン雑音除去装置にも本発明を適用することができる。

例えば、線形変換型固体撮像素子の出力信号から、暗電流に起因する固定パターン雑音成分の除去を行う固定パターン雑音除去装置に本発明を適用することを考えると、対数変換型固体撮像素子の場合には、暗電流補正において温度係数を算出する際、上述した式（１７）に示す減算処理が行われるのに対して、線形変換型固体撮像素子の場合には当該減算処理の代わりに除算処理が行われることになる。また、対数変換型固体撮像素子の場合には、式（１４）の第２項を計算する際、対数形式の有効画素の暗電流値と対数形式の温度係数との加算処理が行われるのに対して、線形変換型固体撮像素子の場合には当該加算処理の代わりに線形形式の有効画素の暗電流値と線形形式の温度係数との乗算処理が行われることになる。

本発明に係る固定パターン雑音除去装置は、固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分の除去を行う装置として、固体撮像装置に組み込んで利用することができる。また、固体撮像装置は、ディジタルスチルカメラ、ムービーカメラ等の各種電子機器に組み込んで利用することができる。

は、本発明に係る固体撮像装置の一構成例を示すブロック図である。 は、本発明の第１実施形態において、図１に示す固定パターン雑音除去装置が備える暗電流補正部の一構成例を示すブロック図である。 は、本発明の第２実施形態において、図１に示す固定パターン雑音除去装置が備える暗電流補正部の一構成例を示すブロック図である。 は、従来の固定パターン雑音除去装置の構成を示すブロック図である。 は、図４に示す固定パターン雑音除去装置が備える暗電流補正部の構成を示すブロック図である。 は、固体撮像素子の画素配置を示す図である。 は、固体撮像素子の画素配置を示す図である。 は、固体撮像素子の画素配置を示す図である。 は、固体撮像素子の画素配置を示す図である。

符号の説明

１ 固体撮像装置
２ 固体撮像素子
３ 補正データ算出部
４ 固定パターン雑音除去装置
５ 画像表示装置
６ 補正データ記憶部
３１〜３３ フレームメモリ
３４ パラメータ算出部
６１〜６３ フレームメモリ
７１ オフセット補正部
７２ ゲイン補正部
７３ 暗電流補正部
７３Ａ 線形化部
７３Ｂ 減算部
７３Ｃ、７３Ｄ スイッチ
７３Ｅ 除算部
７３Ｆ 温度係数記憶部
７３Ｇ、７３Ｈ スイッチ
７３Ｉ 乗算部
７３Ｊ 減算部
７３Ｋ 加算部

Claims (6)

1. 入射光の光量を対数変換する対数変換型の固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置において、
   予め取得した前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第１暗電流と、
   入射光が無い状態で予め取得した前記固体撮像素子の有効画素の出力信号を元に算出される前記固体撮像素子の有効画素が有する光電素子の暗電流である第２暗電流と、
   撮像時の前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第３暗電流とを用いて、
   撮像時の前記固体撮像素子の有効画素の出力信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、
   前記第１暗電流と前記第２暗電流とをそれぞれ線形形式で記憶する記憶部を備え、
   前記第３暗電流が線形形式であって、
   前記第１暗電流と前記第３暗電流との比から温度係数を算出し、
   前記第２暗電流と前記温度係数との積を、撮像時の前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算することを特徴とする固定パターン雑音除去装置。
2. 入射光の光量を対数変換する対数変換型の固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置において、
   予め取得した前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第１暗電流と、
   入射光が無い状態で予め取得した前記固体撮像素子の有効画素の出力信号を元に算出される前記固体撮像素子の有効画素が有する光電素子の暗電流である第２暗電流と、
   撮像時の前記固体撮像素子の遮光画素の出力信号を元に算出される前記固体撮像素子の遮光画素が有する光電素子の暗電流である第３暗電流とを用いて、
   撮像時の前記固体撮像素子の有効画素の出力信号から暗電流に起因する固定パターン雑音成分を除去する固定パターン雑音除去装置であって、
   前記第１暗電流と前記第２暗電流とをそれぞれ対数形式で記憶する記憶部を備え、
   前記第３暗電流が対数形式であって、
   前記第１暗電流と前記第３暗電流との差から温度係数を算出し、
   前記第２暗電流と前記温度係数との和を線形化した信号を、撮像時の前記固体撮像素子の有効画素の出力信号に基づく信号を線形処理した信号から減算することを特徴とする固定パターン雑音除去装置。
3. 請求項１または請求項２に記載の固定パターン雑音除去装置において、
   光電素子の暗電流を光電素子の暗電流値に依存する限界照度に置き換え、
   第１暗電流を第１限界照度に置き換え、
   第２暗電流を第２限界照度に置き換え、
   第３暗電流を第３限界照度に置き換える固定パターン雑音除去装置。
4. 固体撮像素子と、
   前記固体撮像素子が出力する撮像信号から暗電流に起因する固定パターン雑音成分を除去する請求項１〜３のいずれかに記載の固定パターン雑音除去装置とを備えることを特徴とする固体撮像装置。
5. 請求項４に記載の固体撮像装置を備えることを特徴とする電子機器。
6. コンピュータを、請求項１〜３のいずれかに記載の固定パターン雑音除去装置として機能させるための固定パターン雑音除去プログラム。

Images