JP4544027B2 - 固体撮像装置及び点滅欠陥検出方法 - Google Patents

Description

この発明は、撮像用のデバイスとして固体撮像素子を用いた赤外線カメラ等の固体撮像装置、及び固体撮像素子において発生した点滅欠陥画素を検出するための点滅欠陥検出方法に関する。

固体撮像素子においては、固定欠陥画素とは別に点滅欠陥が存在する。ここで、点滅欠陥画素とは、あるときは正常な輝度のように動作する一方、他のあるときは異常輝度を出力する等、非定常的な振る舞いをする画素のことを示す。
点滅欠陥画素の輝度変動には周期性や規則性がほぼないため、固定欠陥画素検出と同様の方法では検出は難しい。

このような点滅欠陥画素を検出するシステムの一例としては、均一温度被写体を撮像し、輝度変化、ばらつきにより検出する従来技術が知られている。（例えば、特許文献１参照）
特開２００３−２９８９４９（第１図）

しかしながら、上掲の手法では、オフセット補正、感度補正、固定欠陥補正および点滅欠陥補正を実施するためには、固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体を撮像（以下、キャリブレーションという）することが必要である。
特に点滅欠陥検出に関しては、非定常的に異常輝度を呈し、点滅欠陥出現の周期が不定であるため、キャリブレーション時間より長い周期の点滅欠陥画素を検出することができない。
また、長い周期の点滅欠陥を検出するためには、数１００フレームに渡る長時間を要することになり、その時間は本来の被写体を撮像することができない。
さらに点滅欠陥画素は、電源を立ち上げるごとにその発生画素の位置（ｘ、ｙ）が一定でないため、電源投入する度に、長時間にわたるキャリブレーションを実施しなければならない。

本願に記載の発明は、この様な問題点を解決することを課題としてなされたものであり、赤外線カメラ等の固体撮像装置にて使用される固体撮像素子の点滅欠陥画素の検出を、キャリブレーション期間以外でも好適に検出できるようにすることを目的としている。

この発明にかかる固体撮像装置は、２次元的に配置された複数の画素から構成される赤外線固体撮像素子と、各々の前記画素について、前記画素が呈する出力を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、検出対象画素の周辺画素における前記積分画素出力の平均を算出する隣接画素平均値算出手段と、前記検出対象画素の前記積分画素出力の値と、前記検出対象画素の周辺画素における前記積分画素出力の平均の値との差分をとり、前記差分の値が予め設定した判定基準を上回った画素を以って点滅欠陥画素であると特定する周辺画素比較器と、前記周辺画素比較器により特定された点滅欠陥画素を含めた欠陥画素にかかる出力を他の画素の出力から導出した代替値により代替させる欠陥補正手段とを備えるようにした。

点滅欠陥画素検出をキャリブレーション期間中に実施する必要がなくなるため、長時間のキャリブレーションが不要となり、本来の撮像時間に対する影響が少なくなる。
また、長時間周期で点滅している点滅欠陥を検出する場合も、キャリブレーション期間中に検出できる点滅周期も限られていたのに対して、常時検出を実施しているため長時間周期での点滅画素検出にも対応できる。

実施の形態１．
以下、この発明の好適な実施の形態に関し図面に基づき説明する。実施の形態同士で同様の構成には互いに同一の符号を付し、重複説明を省略する。

図１に、この発明の実施の形態１に係る赤外線カメラ１００の構成を示す。

赤外線カメラ１００は、赤外線固体撮像素子（以下、固体撮像素子という）１と、この固体撮像素子１の画角ほぼ全体に亘りほぼ均一な温度を有する被写体（図示せず）を撮像したときの固体撮像素子１からの補正前画素データ１０１を利用して画素間の出力オフセットを補正するオフセット補正手段２と、上記被写体の温度変化による各画素の撮像出力の変化を利用して画素間の感度差を補正する感度補正手段４と、点滅欠陥画素を検出し点滅欠陥画素の位置を特定する点滅欠陥画素検出手段５０と、点滅欠陥画素を含めた欠陥画素に係る出力を他の画素の出力から導出した代替値により代替させて補正する欠陥補正手段６とからなる。

固体撮像素子１を用いる赤外線カメラ１００等の撮像装置では、図１に一例を示すように、（１）オフセット補正、（２）感度補正、（３）欠陥補正等の処理を固体撮像素子１からの補正前画素データ１０１に施す。
被写体から到来する光線のうち主として赤外線領域に属する光線が、赤外線固体撮像素子１により捕らえられる。
固体撮像素子１は二次元的に配置された多数の画素から構成され、各画素にはそれぞれの画素の位置（ｘ、ｙ）を示すアドレスが付されており、各画素はそれぞれ赤外線の受光強度に応じた出力を呈する。
この各画素出力について（１）オフセット補正、（２）感度補正、（３）欠陥補正の順で、補正処理が施される。

まず、画素間には出力値のずれ（出力オフセット）が生じうる。出力オフセットを示すデータを固体撮像素子１の画素配列に従って配列すると、画素間の出力オフセットが画素配列上でどのようなパターンを有しているかがわかる。出力オフセットが画素配列上で有しているパターンをオフセットパターンと呼ぶ。
オフセットパターンは、例えば、赤外線固体撮像素子１の画角のほぼ全体に亘って均一な温度を有する物体を被写体として撮像を行ったときの赤外線固体撮像素子１の出力から得ることができ、製造の初期段階でＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に入れられている。
オフセット補正処理とは、オフセット補正データ３に予め記憶させておいたオフセットパターンに従い、通常使用時における赤外線固体撮像素子１の撮像出力から、画素間の出力オフセットを除去又は抑圧する処理であり、オフセット補正手段２により実行される。
なお、オフセット補正処理に使用されるオフセットパターンを、オフセット補正パターンと呼ぶ。
また、上掲の均一温度被写体を撮像しその結果得られるオフセット補正パターンをオフセット補正データ３に記憶させる処理を、キャリブレーションと呼ぶ。

オフセット補正手段２によりオフセット補正処理を経たオフセット補正後画素撮像出力１０２には、画素間の感度差が残っている。
全画面（全画素）に亘り均一な出力特性を実現するため、オフセット補正手段２を経たオフセット補正後画素撮像出力１０２に感度補正係数ΔＶａｖｅ／ΔＶ（ｘ，ｙ）を乗ずる感度補正処理が、感度補正手段４により実行される。
（ｘ，ｙ）は画素の位置、ΔＶ（ｘ，ｙ）は（ｘ、ｙ）で示される画素における温度による出力変化分即ちオフセット差分値、ΔＶａｖｅはΔＶ（ｘ，ｙ）の全画面平均値である。
なお、ΔＶ（ｘ，ｙ）は、例えば、任意温度Ｔを有する物体を被写体としたときのオフセットパターンと、他の任意温度Ｔ＋ΔＴを有する物体を被写体としたときのオフセットパターンから求めることができる。ΔＶａｖｅは、そのようにして求めたΔＶ（ｘ，ｙ）を全画面（全画素）に亘り平均することにより得ることができ、製造の初期段階でＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に入れられている。

オフセット補正処理及び感度補正処理を経た感度補正後画素撮像出力１０３は、更に、欠陥補正手段６による欠陥補正処理が施される。
欠陥補正処理は、異常輝度出力を呈する画素である欠陥画素について、その画素の出力に代えて代替値を供給して補正する処理である。代替値としては、例えばその欠陥画素を取り巻く周囲の画素の平均出力を用いる。

この欠陥補正処理を行うためには、欠陥画素を検出する必要がある。まず、欠陥画素のうち固定欠陥画素の検出方法について次に説明する。
固定欠陥画素に関しては、画素の位置（ｘ，ｙ）が変化することがない。そこで、感度補正処理で、画素の位置（ｘ，ｙ）毎に求めた感度補正係数ΔＶａｖｅ／ΔＶ（ｘ，ｙ）が所定の閾値を上回っている画素を、異常な感度を有する欠陥画素として検出することができる。欠陥補正データとして検出された欠陥画素の位置（ｘ，ｙ）を製造の初期段階で欠陥補正データ７に記憶しておく。
欠陥補正手段６は、欠陥補正データ７に欠陥画素位置として記憶されている位置（ｘ，ｙ）の画素について、上掲の欠陥補正処理を実行する。

次に、欠陥画素のうち点滅欠陥画素の検出方法について図２、図３を用いて説明する。
図２に、点滅欠陥画素を検出する際における、対象画素とその対象画素周辺の周辺画素のイメージ図を示す。また、図３に実施の形態１にかかる点滅欠陥画素を検出する検出フローを示す。なお、図３中の番号は、図１の番号と同一のものは図１の番号に対応する。

図３のステップＳ１０１において、フレームメモリ積分器８は、出力オフセット補正及び感度補正が施された感度補正後画素撮像出力１０３が書き込まれたフレームメモリにおいて、それぞれの画素の位置（ｘ，ｙ）ごとにデータを読み出して全画面分フレーム積分し、画素位置ごとに積分画素出力Ｖｎ（ｘ，ｙ）１１１を出力する。ここでは一例としてフレーム積分回数ｎをｎ＝１２８回とした。

ステップＳ１０２において、周辺画素平均値算出手段１２は積分画素出力Ｖｎ（ｘ，ｙ）１１１を用いて、固体撮像素子１を構成する画素の画素位置（ｘ，ｙ）に対して、その周辺画素の平均輝度データＶａｖｅ（ｘ、ｙ）１１２を計算する。
ここで、周辺画素とは点滅欠陥画素であるかを調べる対象画素を中心としてその周囲に位置する複数の画素のことである。一例として、図２において対象画素の位置を（ｘi，ｙj）とし、周辺画素を対象画素を中心とした周囲３×３画素とした場合、周辺画素はその周囲のドット部分で示した８画素のことをいう。図２の例では、周辺画素平均値算出手段１２は、対象画素を除いた周囲８画素についてその平均輝度を計算する。

次にステップＳ１０３において、輝度閾値算出手段１３は周辺画素の平均輝度データＶａｖｅ１１２に基づき、対象画素と周辺画素の輝度差が一定の比率内であるかを判定するための判定基準である平均値閾値を計算する。このときの比率を閾値係数εとすると、例えば、周辺画素平均値に対して５０％を閾値とした場合、平均値閾値＝周辺画素の平均輝度データＶａｖｅ１１２×閾値係数ε（ε＝0.5）と算出される。ここで算出した平均値閾値を平均値閾値データ１１３として出力する。

次にＳ１０４において、周辺画素比較器９は、積分画素出力Ｖｎ（ｘ，ｙ）１１１と、周辺画素の平均輝度データ１１２との差分の大きさを、Ｓ１０３で算出した平均値閾値データ１１３と比較する。比較の結果、平均値閾値データ１１３内に属していない出力を呈した画素を以て、点滅欠陥画素として特定する。また、比較の結果、平均値閾値データ１１３内に属している場合は、ステップＳ１０２に戻り次の画素について同様にして判定を行う。

ここで、点滅画素は、原理的に１画素単位で発生する特徴がある。画素周辺の局所的なエリアにおいては、大きな被写体を撮像する場合は、ほぼ同一の輝度であると考えられる。従って、局所エリアにおける１画素単位での異常輝度に対しては点滅欠陥画素と判定できる。
さらに、被写体が１画素単位の小さな被写体を撮像する場合は、時間軸方向にフレーム積分した出力にて判定することにより、本来の被写体であれば、時間とともに画素アドレス位置が変動すると考えられ、特定の画素アドレスのみ異常輝度が発生することは考えにくく、逆に点滅画素の場合は特定の画素アドレスにのみ異常輝度が発生することになるため本来の被写体との判別が可能となる。
したがって、撮像中であってもフレーム積分された局所エリアの画素出力平均値と常に比較することで、点滅欠陥画素の検出が可能となる。

周辺画素比較器９は、点滅欠陥画素として検出された画素の位置（ｘ、ｙ）を表すアドレス１１５を欠陥補正データ７に出力する。

ステップＳ１０５において、周辺画素比較器９が出力した点滅画素アドレス１１５が欠陥補正データ７に追加される。
ステップＳ１０６において、点滅欠陥画素の検出を終了するか否かを判定し、継続の場合はステップＳ１０２に戻る。
ステップＳ１０７において、欠陥補正手段６は、点滅画素アドレス１１５で位置が示される画素の欠陥補正を行う。欠陥補正処理は、異常輝度出力を呈する画素である欠陥画素について、その画素の出力に代えて代替値を供給して補正する処理である。代替値としては、例えばその欠陥画素を取り巻く周囲の画素の平均出力を用いる。

この実施の形態によれば、従来検出困難であった点滅欠陥を長時間のキャリブレーションを実施することなく検出することができる。
また、長い時間間隔で点滅している点滅欠陥を検出する場合も、従来ではキャリブレーション中の撮像フレーム数を多くすることで対応していたのに対して、撮像期間中常時検出しているので、さまざまな周期で変化する点滅欠陥にも対応できる。
更に、点滅のみならず、ゴミの付着等により撮像中に発生した固定欠陥の検出も可能である。

実施の形態２．
図４に、この発明の実施の形態２に係る赤外線カメラの構成を示す。
実施の形態２は、実施の形態１に、周辺画素標準偏差算出手段１１と標準偏差閾値算出手段１４を設けた構成を有している。

周辺画素標準偏差算出手段１１は、積分画素出力Ｖｎ（ｘ，ｙ）１１１を用いてそれぞれの画素の位置（ｘ、ｙ）に対して周辺画素の標準偏差σを求める。
標準偏差閾値算出手段１４は、周辺画素標準偏差算出手段１１で求めた標準偏差σに基づき標準偏差閾値を計算する。

図５に、実施の形態２にかかる点滅欠陥画素を検出する検出フローを示す。実施の形態１で説明した検出フローにおいて、ステップＳ１２０、Ｓ１２１が追加され、また、ステップＳ１０４で行う判定条件が変更されている。図５を用いて、実施の形態２にかかる点滅欠陥画素の検出フローを説明する。なお、実施の形態１と同じステップ番号については、説明を省略する。

ステップＳ１０１において、フレームメモリ積分器８は積分画素出力Ｖｎ（ｘ，ｙ）１１１を周辺画素平均値算出手段１２、周辺画素比較器９及び周辺画素標準偏差算出手段１１に出力する。
ステップＳ１２０において、周辺画素標準偏差算出手段１１は、積分画素出力Ｖｎ（ｘ，ｙ）１１１を用いてそれぞれの画素の位置（ｘ、ｙ）に対して周辺画素の標準偏差σを求め、求めた標準偏差σを周辺画素標準偏差データ１２０として標準偏差閾値算出手段１４に供給する。
ステップＳ１２１において、標準偏差閾値算出手段１４は、周辺画素標準偏差算出手段１１で求めた標準偏差σを用いて、点滅欠陥画素であるか否かを判定する判定基準である標準偏差閾値を算出する。そして、算出した標準偏差閾値を標準偏差閾値データ１２１として周辺画素比較器９に出力する。図３では標準偏差閾値算出手段１４は、標準偏差閾値の一例として、標準偏差閾値＝３×σを算出する。
ステップＳ１２２において、周辺画素比較器９は、まず実施例１と同様に、周辺画素平均値算出手段１２から得られる各画素に対する周辺画素の平均輝度データ１１２と積分画素出力Ｖｎ（ｘ，ｙ）１１１との差分が、ステップＳ１０３において輝度閾値算出手段１３が計算した輝度閾値データ１１３（＝周辺画素の平均輝度データＶａｖｅ１１２×閾値係数ε）内に属しているか判定し、属していない画素を検出する。
さらに、周辺画素比較器９は、輝度閾値データ１１３内に属していない画素の中で、周辺画素平均値算出手段１２から得られる各画素に対する周辺画素の平均輝度データ１１２と積分画素出力Ｖｎ（ｘ，ｙ）１１１との差分が、ステップＳ１２１で算出した標準偏差閾値データ１２１の値の内に属するかを判定し、属していない画素について点滅欠陥画素として検出する。

このように実施の形態２では、輝度出力の絶対値である平均値のみによる判定だけでなく、輝度標準偏差によるばらつきの分布による判定を追加することにより、ノイズの多い画像であっても、より精度が高く点滅画素の検出が可能となる。

実施の形態３．
図６に、この発明の実施の形態３に係る赤外線カメラの構成を示す。
この実施の形態３では、赤外線カメラは判定画素数設定手段１５を新たに設けた構成を有している。

図６の周辺画素比較器９においては、各画素の出力が、輝度閾値および標準偏差閾値の基準範囲内にあるか否かを実施の形態２同様に比較検出する。
連続画素数検出手段１５は周辺画素比較器９から点滅画素アドレスデータ１１５を受ける。連続画素数検出手段１５は点滅画素アドレスデータ１１５で示される点滅欠陥画素の位置に関し、その点滅欠陥画素同士が隣接しているか否かを調べ、隣接している場合は、その隣接している連続数をカウントする。連続画素数検出手段１５は検出された点滅欠陥画素の連続数により、点滅欠陥画素検出の有効、無効の判定を行う。
点滅画素は、原理的にその発生画素数は１画素単位であり、連続して複数画素発生しない。このため、連続画素数検出手段１５は連続ではなく１画素のみ独立で点滅欠陥画素が検出された場合のみを点滅画素の検出結果が有効と判断し、それ以外の複数画素連続して検出された場合は無効と判断する。

このように実施の形態３では、点滅欠陥画素として検出された画素の連続数を調べ、連続ではなく１画素のみ独立で点滅欠陥画素が検出された場合のみを、その検出結果が有効である判断するようにしたので、点滅欠陥画素の検出精度を向上させることができる。

この発明の実施の形態１に係る赤外線カメラの構成を示すブロック図である。 この発明の実施の形態１に係る点滅欠陥画素を検出する際の周辺画素のイメージ図である。 この発明の実施の形態１に係る点滅欠陥画素を検出する検出フロー図である。 この発明の実施の形態２に係る赤外線カメラの構成を示すブロック図である。 この発明の実施の形態２に係る点滅欠陥画素を検出する検出フロー図である。 この発明の実施の形態３に係る赤外線カメラの構成を示すブロック図である。

符号の説明

１ 赤外線固体撮像素子、２ オフセット補正手段、３ オフセット補正データ、４ 感度補正手段、５ 感度補正データ、６ 欠陥補正手段、７ 欠陥補正データ、８ フレームメモリ積分器、９ 周辺画素比較器、１０ タイミングコントロール回路、１１ 周辺画素標準偏差算出手段、１２ 周辺画素平均値算出手段、１３ 輝度閾値算出手段、１４ 標準偏差閾値算出手段、１５ 連続画素数検出手段、２０ レンズ、２１ シャッタ、５０ 点滅欠陥画素検出手段、１００ 赤外線カメラ、１０１ 補正前画素データ、１０２ オフセット補正後画素撮像出力、１０３ 感度補正後画素撮像出力、
１１０ フレームメモリ制御信号、１１１ 積分画素出力Ｖｎ（ｘ，ｙ）、１１２ 周辺画素の平均輝度データ、１１３ 平均値閾値データ、１１４ 比較タイミング信号、１１５ 点滅画素アドレスデータ、１２０ 周辺画素標準偏差データ、１２１ 標準偏差閾値データ。

Claims (6)

1. ２次元的に配置された複数の画素から構成される固体撮像素子と、
   画素位置ごとに前記画素が出力する出力値を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、
   前記各画素の周囲に位置する周辺画素に関して前記積分画素出力の値の平均値を算出する周辺画素平均値算出手段と、
   前記各画素の前記積分画素出力の値と、当該画素に対応して前記周辺画素平均値算出手段が算出する前記平均値との比較結果に基いて点滅欠陥画素を検出する周辺画素比較器とを備えることを特徴とする固体撮像装置。
2. ２次元的に配置された複数の画素から構成される固体撮像素子と、
   画素位置ごとに前記画素が出力する出力値を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、
   前記各画素の周囲に位置する周辺画素に関して前記積分画素出力の値の平均値を算出する周辺画素平均値算出手段と、
   前記平均値に基いて平均値閾値を算出する輝度閾値算出手段と、
   前記各画素の前記積分画素出力の値と当該画素に対応した前記周辺画素における前記平均値との差分をとり、前記差分の値が前記平均値閾値を上回った画素を以って前記画素を点滅欠陥画素であると判定する周辺画素比較器とを備えることを特徴とする固体撮像装置。
3. 前記周辺画素に関して前記積分画素出力の値の標準偏差を算出する周辺画素標準偏差算出手段と、
   前記標準偏差の値を用いて標準偏差閾値を算出する標準偏差閾値算出手段を備え、
   前記周辺画素比較器は、前記各画素の前記積分画素出力の値と当該画素に対応した前記周辺画素における前記積分画素出力の平均の値との差分をとり、前記差分の値が前記標準偏差閾値を上回った画素を以って点滅欠陥画素であると判定することを特徴とする請求項１または請求項２記載の固体撮像装置。
4. 前記周辺画素比較器により前記点滅欠陥画素が１画素のみ独立して検出された場合に前記検出の結果を有効であると判定する連続画素数検出手段を備えたことを特徴とする請求項１〜３のいずれかに記載の固体撮像装置。
5. 前記周辺画素は、前記画素を中央とする縦３列×横３列からなる９個の画素のうち前記画素を除いた８個の画素であることを特徴とする請求項１〜４のいずれかに記載の固体撮像装置。
6. ２次元的に配置された複数の画素から構成される固体撮像素子で、画素位置ごとに前記画素が出力する出力値を複数フレームに亘り積分して積分画素出力を算出するステップと、
   前記各画素の周囲に位置する周辺画素に関して前記積分画素出力の値の平均値を算出するステップと、
   前記各画素の前記積分画素出力の値と、当該画素に対応して前記周辺画素における前記積分画素出力の値の平均の値との差分をとり、前記差分の値が予め設定した判定基準を上回った画素を以って点滅欠陥画素であると判定するステップとを有することを特徴とする点滅欠陥検出方法。

Images