JP2005318337A - 固体撮像素子の欠陥検出補正装置および撮像装置 - Google Patents

Abstract

【課題】 撮影中に固体撮像素子内の欠陥画素からの信号出力レベルを適切に補正する。【解決手段】 欠陥検出回路４１では、注目画素部と周辺画素部との信号出力レベル差が閾値と比較されて欠陥画素が検出され、この信号出力レベル差が閾値から所定範囲内である画素部の位置と、その画素部が所定範囲内または所定範囲外である場合の連続検出回数とが記憶装置４２に保持情報として保持される。補正対象判定回路４３では、記憶装置４２の保持情報から、信号出力レベル差が閾値から所定範囲内である画素部が検出され、その画素部に対して補正を行うきか否かが判定される。欠陥補正回路４４では、欠陥検出回路４１で欠陥画素と検出された画素部に対して補正が行われる。このとき、信号出力レベル差が閾値から所定範囲内である画素に対しては、補正対象判定回路４３の判定結果にしたがって補正の有無が決定される。
【選択図】 図１

Description

本発明は、例えばＣＭＯＳイメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの固体撮像素子内の欠陥画素を検出して補正する固体撮像素子の欠陥検出補正装置および、これを用いた例えばデジタルカメラやビデオカメラなどの撮像装置に関する。

従来、半導体基板上に作製されたＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子は、半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。このような欠陥画素が存在すると、その欠陥画素から出力される信号出力レベルの大きさが、入射される画像光の量に依存せずに特異な信号出力レベルを示す。このため、欠陥画素から出力される出力画像信号によって、被写体を撮像して得られた画像の画質が劣化するという問題が生じる。また、固体撮像素子において、このような欠陥画素は、周囲温度が常温の場合には極めて少なく、周囲温度が高温になるにつれて指数関数的に増大するなど、多様な要因をもって発生することも知られている。

従来のデジタルカメラやビデオカメラなどの撮像装置では、固体撮像素子内に存在する欠陥画素を検出し、その欠陥画素のアドレスデータなど欠陥画素の位置を不揮発性メモリなどの記憶装置に予め記憶させておき、撮影時に、その不揮発性メモリに記憶されている欠陥画素のアドレスデータに基づいて、欠陥画素から出力される信号を補正している。

例えばＣＭＯＳイメージセンサが搭載された撮像装置において、欠陥画素の検出および補正は、例えば以下のようにして行われている。

まず、製造段階において撮像装置のレンズ部が遮光され、ＣＭＯＳイメージセンサに光が入射されない状態で、ＣＭＯＳイメージセンサの各画素部から出力されている出力信号と、被検査画素部（注目画素部）の周辺にある各画素部から出力されている出力信号とが比較される。

次に、これらの各出力信号の出力信号レベルの値の差が所定の閾値を超えると、この特異な信号出力レベルを出力した画素部（欠陥画素）として検出される。この欠陥画素のアドレスデータ（画素位置）は、不揮発性メモリに記憶される。

欠陥画素の検出が終了すると、ＣＭＯＳイメージセンサと、欠陥画素のアドレスデータが記憶された不揮発性メモリとが一対になって撮像装置に内蔵された状態で、製品として出荷される。

ユーザがこの撮像装置を用いて被写体を撮像する場合には、不揮発性メモリに記憶されているＣＭＯＳイメージセンサの欠陥画素のアドレスデータに基づいて、ＣＭＯＳイメージセンサから出力される出力信号（映像信号）のうち、欠陥画素からの出力信号が、欠陥画素の近傍の画素部からの出力信号によって補正される。

しかしながら、このような固体撮像素子の欠陥画素検出方法では、製造段階において撮像装置のレンズ部が遮光されてＣＭＯＳイメージセンサなどに画像光が入射されない状態で欠陥画素の検出が行われ、この欠陥画素のアドレスデータなどを不揮発性メモリに記憶させるため、製造段階で工程数が大幅に増加するという問題がある。

また、工場からＣＭＯＳイメージセンサなどの固体撮像素子が搭載された撮像装置の製品を出荷した後に、静電破壊などによって生じる固体撮像素子の欠陥画素については、補正を行うことができないという問題もある。

このような問題を解決するために、例えば特許文献１には、不揮発性メモリなどの記憶装置を用いることなく、所定の画素部（注目画素部）とその周囲画素部との信号出力レベルの差を欠陥画素検出値として算出し、算出された欠陥画素検出値が予め設定された欠陥検出閾値よりも大きい場合に、所定の画素部を欠陥画素と判定する欠陥検出手段を備えた固体撮像素子の欠陥検出補正装置が開示されている。これを図５に示している。

図５は、従来の固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。

図５に示すように、撮像装置１０は、被写体からの光を所定位置（後述の固体撮像素子２）に結像させるレンズ部１と、入射した被写体光を光電変換するＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどの固体撮像素子２と、固体撮像素子２内の欠陥画素を検出して補正する欠陥検出補正装置３とを有する。

欠陥検出補正装置３は、固体撮像素子２内の欠陥画素を検出する欠陥検出回路３１と、検出した欠陥画素からの出力信号を補正する欠陥補正回路３２と、補正した出力信号をデータ処理するデジタル信号処理回路３３とを有している。

欠陥検出回路３１では、固体撮像素子２からの出力信号がライン遅延器などを介して入力され、注目画素部とその周囲画素部との信号出力レベルの差によって欠陥画素を検出する。

欠陥補正回路３２は、欠陥検出回路３１からの出力信号が入力され、検出された欠陥画素から出力される出力信号がその近傍の複数の画素部から出力される出力信号を用いて補正される。

デジタル信号処理回路３３は、欠陥補正回路３２からの出力信号が入力され、入力された出力信号に種々の信号処理が行われてＹＵＶデジタル信号として出力される。

次に、特許文献２には、所定の画素部（注目画素部）とその周辺の複数の画素部との信号出力レベルとを比較して、そのレベル差が所定値よりも大きい場合にエッジ判定を行い、エッジ判定においてさらに差がある場合に傷欠陥として所定の補正を行うことによって、エッジによる欠陥検出の誤判定を削減することができる固体撮像素子の欠陥検出補正装置が開示されている。
特開２００２−２２３３９１号公報 特開平７−２３２９７号公報

上述したように、製造段階で固体撮像素子内の欠陥画素を検出する方法では、製造段階での工程数が大幅に増加し、製品出荷後に静電破壊などによって生じる固体撮像素子内の欠陥画素に対して補正を行うことができないという問題があった。

また、特許文献１および特許文献２に開示されている方法によって、撮影時にリアルタイムで固体撮像素子の欠陥画素の検出およびその補正を行う場合には、欠陥検出閾値付近に存在する画素部に対して、補正が行われたり、行われなかったりすることになり、画像にちらつきが生じるという問題があった。

本発明は、上記従来の問題を解決するもので、製造段階で工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することが可能で、撮像時にリアルタイムで欠陥画素の検出およびその補正を行う場合に、欠陥検出閾値による画像のちらつきが生じないように、撮影中に固体撮像素子内の欠陥画素からの信号出力レベルを適切に補正することができる固体撮像素子の欠陥検出補正装置および、これを用いた撮像装置を提供することを目的とする。

本発明の固体撮像素子の欠陥検出補正装置は、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差に応じて欠陥画素かどうかを検出すると共に、該レベル差が所定範囲内にあるかどうかを検出する欠陥検出手段と、該レベル差が該所定範囲内にある画素部の画面位置および、該レベル差が該所定範囲内または外にある画素部のフレーム毎の連続検出回数を保持情報として保持する記憶手段と、該保持情報に基づいて、該フレーム毎に一連の該レベル差が該所定範囲内にある場合に、当該レベル差が該所定範囲内にある画素部の一連の信号出力レベルを補正すべきか否かのいずれかに判定する判定手段と、該判定手段による判定結果に基づいて、該一連の信号出力レベルを補正する欠陥補正手段とを有しており、そのことにより上記目的が達成される。

また、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における欠陥検出手段は、前記注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとの差をレベル差検出値として算出し、算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に該注目画素部を欠陥画素と判定すると共に、算出されたレベル差検出値が、該欠陥検出閾値を含む所定範囲内にあるかどうかを検出する。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記記憶手段で保持された連続検出回数に対応した前記一連のレベル差が前記所定範囲内にあるフレーム毎に同一画面位置の画素部に対してその信号出力レベルを補正すべきか否かを判定する。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記注目画素部のレベル差検出値がフレーム毎に連続して前記所定範囲内で推移する場合に、その連続検出期間中の最初の信号出力レベルに対する補正の有無を所定基準とし、該所定基準と同様に、この連続する信号出力レベルに対して順次補正の有無を決定する。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における記憶手段は、前記注目画素部のレベル差検出値が前記所定範囲内にある画素部に対して、予め設定された所定回数以内の回数だけ、該レベル差検出値が所定範囲外となった場合の連続検出回数と、該レベル差検出値が該所定範囲外であると判定された画素部に対する補正の有無の情報とを保持情報として保持し、該レベル差検出値が所定範囲内に再びなったときに、前記判定手段は、該記憶手段に保持された保持情報に応じてその信号出力レベルを補正すべきか否かを判定する。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記レベル差検出値が該所定範囲内の画素部の信号出力レベルを、該レベル差検出値が該所定範囲外になったときの補正の有無と同様に、補正すべきか否かを判定する。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置におけるレベル差は、該注目画素部の周囲の複数画素部から得た信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である。

さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置におけるレベル差は、該注目画素部の周囲の８画素部で最も大きい信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である。

本発明の撮像装置は、被写体光が入射されて電気信号に変換する固体撮像素子と、該固体撮像素子からの出力画像信号を入力とし、該信号出力レベルに基づいて欠陥画素を検出して該欠陥画素からの信号出力レベルを補正する請求項１〜８のいずれかに記載の固体撮像素子の欠陥検出補正装置とを備えており、そのことにより上記目的が達成される。

上記構成により、以下に、本発明の作用について説明する。

本発明にあっては、欠陥検出手段によって、注目画素部の信号出力レベルと、その周囲画素部の信号出力レベルとの差がレベル差検出値として算出され、その算出されたレベル差検出値が予め設定された欠陥検出閾値と比較される。このレベル差検出値が欠陥検出閾値よりも大きい場合に、この注目画素部が欠陥画素と判定される。また、欠陥検出手段によって、その信号出力レベルの差が所定範囲内または外にあるかどうかが検出される。

記憶手段によって、レベル差検出値が欠陥検出閾値を含む所定範囲内にある画素位置および、レベル差検出値が、欠陥検出閾値を含む所定範囲内または所定範囲外にある画素部のフレーム毎の連続検出回数が保持情報として保持される。

判定手段によって、記憶手段に保持されている保持情報、例えば連続検出回数を用いて、欠陥検出閾値を含む所定範囲内にレベル差検出値があるかどうかが検出され、この場合に所定の基準により信号出力レベルを補正すべきか否かが判定される。この所定の基準としては、例えば連続検出期間中の最初の画素部の補正の有無と同様に、連続検出期間中の一連の画素部の補正の有無を決定する。

欠陥補正手段では、欠陥検出手段で検出された欠陥画素の信号出力レベルが補正される。このとき、レベル差検出値が、欠陥検出閾値を含む所定範囲内である画素部については、判定手段によって補正対象であると判定された画素部からの信号出力レベルが補正され、補正すべきであると判定されなかった画素部については補正が行われない。

例えば注目画素部のレベル差検出値が連続して欠陥検出閾値を含む所定範囲内で推移する場合に、欠陥補正手段によって、画像のちらつきを無くすため、連続検出期間中の最初の画素部の補正の有無にしたがって信号出力レベルが補正されるようにしてもよい。

また、記憶手段によって、レベル差検出値が欠陥検出閾値を含む所定範囲内であると判定された画素部に対して、予め設定された所定回数まで欠陥検出閾値を含む所定範囲の外になった場合の連続検出回数が保持されるようにし、次にレベル差検出値が欠陥検出閾値を含む所定範囲内に再びなったときに、判定手段によって判定が行われるようにしてもよい。

さらに、レベル差検出値が前フレームで欠陥検出閾値を含む所定範囲内であり、次フレームで欠陥検出閾値を含む所定範囲内から外れた場合に、記憶手段によって、予め設定された所定回数まで連続検出回数と、レベル差検出値が欠陥検出閾値を含む所定範囲内から外れたと判定されたときの補正の有無が保持情報として保持されるようにし、次にレベル差検出値が欠陥検出閾値を含む所定範囲内に再びなったときに、記憶手段に保持された保持情報が用いられるようにしてもよい。

このように、欠陥検出閾値を含む所定範囲内の画素部が連続する場合に、判定手段によって補正を行うか否かを判定することができるため、撮影時にリアルタイムで固体撮像素子の欠陥画素の検出およびその補正を行う場合に、欠陥検出閾値を含む所定範囲内の画素部が連続しても、補正が行われたり、行われなかったりして画像にちらつきが生じることを防ぐことができる。

以上のように、本発明によれば、欠陥検出閾値を含む所定範囲内にあるレベル差検出値がフレーム毎に連続する画素部の場合に、判定手段によって補正を行うか否かのいずれかに判定するため、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどの固体撮像素子を備えたデジタルカメラまたはビデオカメラなどの撮像装置において、被写体の撮像時にリアルタイムで固体撮像素子内の欠陥画素を検出し、この検出された欠陥画素を補正する場合に、閾値により画像のちらつきが生じないように適切な補正を行うことができる。

また、製造段階において従来のように工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することができる。

以下に、本発明の固体撮像素子の欠陥検出補正装置を備えた撮像装置の実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態である固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。なお、図５の構成部材と同様の作用効果を奏する部材には同一の符号を付している。

図１に示すように、撮像装置１１は、被写体からの画像光を所定位置（固体撮像素子２）に結像させる光学手段としてのレンズ部１と、このレンズ部１で結像された画像光が入射されて電気信号に変換されるＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどの固体撮像素子２と、固体撮像素子２内の欠陥画素を検出して補正する欠陥検出補正装置４とを有する。

欠陥検出補正装置４は、欠陥検出手段としての欠陥検出回路４１と、所定の保持情報を記憶可能とする記憶手段としての記憶装置４２と、補正の有無を判定する判定手段としての補正対象判定回路４３と、欠陥補正を行う欠陥補正手段としての欠陥補正回路４４と、デジタル信号処理回路４５とを有している。

欠陥検出回路４１では、固体撮像素子２から出力信号がライン遅延器などを介して入力され、注目画素部とその周囲画素部との信号出力レベルの差（レベル差検出値）に応じて欠陥画素が検出されると共に、そのレベル差検出値が所定範囲内または外にある画素部かどうかを検出する。更に詳細に説明すると、欠陥検出回路４１は、注目画素部の信号出力レベルとその周囲画素部の信号出力レベルとの差をレベル差検出値として算出し、この算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に注目画素部を欠陥画素と判定すると共に、この算出されたレベル差検出値が欠陥検出閾値を含む所定範囲内または外にある画素部を所定範囲内画素部または所定範囲外画素部として検出する。

記憶装置４２では、レベル差検出値が欠陥検出閾値を含む所定範囲内（または欠陥検出閾値を中心とした所定範囲内）にある画素部（所定範囲内画素部）の画面位置（アドレスデータ）および、レベル差検出値が所定範囲内または外にある各画素部（所定範囲内画素部または所定範囲外画素部）の連続検出回数を保持情報として保持する。

判定手段４３では、記憶装置４２の保持情報に基づいて、フレーム毎に同一画面位置にある一連のレベル差検出値が所定範囲内（欠陥検出閾値を含む）にある画素部に対して、その信号出力レベルを補正すべきか否かを判定する。更に説明すると、判定手段４３は、記憶装置４２から保持情報が入力され、記憶装置４２の保持情報、例えば連続検出回数を用いて、フレーム毎に同一画面位置にある一連のレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部が所定範囲内画素部として検出され、その検出された所定範囲内画素部に対して信号出力レベルを補正すべきか否かが判定される。

欠陥補正回路４４は、欠陥画素の信号出力レベルを補正する際に、所定範囲内画素部に対して、補正対象判定手段４３による判定結果に基づいてその信号出力レベルを補正する。このように、欠陥補正回路４４では、欠陥検出回路４１および補正対象判定回路４３から各出力信号がそれぞれ入力され、欠陥画素から出力される出力信号がその近傍の複数の画素部から出力される出力信号を用いて補正される。このとき、レベル差検出値が欠陥検出閾値を含む所定範囲内である画素部については、補正対象判定回路４３によって補正対象であると判定された画素部から出力される出力信号レベルのみが補正される。

デジタル信号処理回路４５では、欠陥補正回路４４から出力信号が入力され、入力された出力信号に種々の信号処理が行われてＹＵＶデジタル信号として出力される。

上記構成により、以下に、本実施形態の欠陥検出補正装置の概略動作例について、図２のフローチャートを用いて説明する。

図２に示すように、まず、ステップＳ１では、欠陥検出回路４１によって欠陥画素を検出したかどうかが判断される。即ち、欠陥検出回路４１によって、補正対象である注目画素部とその周囲画素部との信号出力レベルの差がレベル差検出値として算出され、予め設定された欠陥検出閾値と比較される。このとき、レベル差検出値が欠陥検出閾値よりも大きい場合に、注目画素は欠陥画素であると判定されて補正対象とされる。また、レベル差検出値が欠陥検出閾値を含む所定範囲内にあるかどうかが判定される。なお、このように、検出データが閾値の所定範囲外にある場合も記憶手段に、ある連続回数格納される可能性があるので、ステップＳ１の欠陥検出において、全てのケース（ＹＥＳ、ＮＯにかかわらず）でステップＳ２の処理に進む。

ステップＳ２では、出力信号レベル差であるレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部の位置および、レベル差検出値が欠陥検出閾値を含む所定範囲内または所定範囲外にある画素部のフレーム毎の連続検出回数が保持情報として記憶装置４２に格納されて保持される。

ステップＳ３では、補正対象判定回路４３によって、欠陥検出回路４１で検出された欠陥画素と記憶装置４２に保持された保持情報とに基づいて、注目画素部のレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部（所定範囲内画素部）に対して補正を行うか否かを判定する。

ステップＳ４では、ステップＳ３で注目画素部が補正対象である場合（補正判定で欠陥補正を行うとき；ＹＥＳ）には、欠陥補正回路４４によってその注目画素部の補正が行われ、また、その注目画素部が補正対象と判定されなかった場合（補正判定で欠陥補正を行わないとき；ＮＯ）には、その注目画素部の補正は行われず、次のステップＳ５の処理に移行する。

ステップＳ５では全ての注目画素部が処理を終了したかどうかが判断される。ステップＳ５で全ての注目画素部の処理が終了した場合（ＹＥＳ）には、この欠陥画素検出補正処理を終了し、全ての注目画素部の処理が終了していない場合（ＮＯ）には、ステップＳ１の処理に戻る。

以下に、本実施形態の欠陥検出補正装置４の更なる具体的動作について、図３および図４を用いて説明する。

図３は、図１に示す固体撮像素子２内のある１画素（注目画素部）について、フレーム毎の注目画素部とその周辺画素部との信号出力レベル差の変化の一例を示すグラフである。なお、図３では、縦軸は注目画素部とその周辺画素部との信号出力レベル差（レベル差検出値）を示し、横軸はフレーム数を示している。ここで、注目画素部と複数の周辺画素部との信号出力レベル差の閾値（欠陥検出閾値）を「３０」とする。また、欠陥検出閾値を中心とした所定範囲を閾値の上下１０パーセントとし、「２７」から「３３」の範囲（欠陥検出閾値）を欠陥検出閾値を中心とした所定範囲内とする。

通常の欠陥検出補正方法では、図３に示すように、ある１画素部のレベル差検出値（注目画素部とその周辺画素部との信号出力レベル差）が欠陥検出閾値の「３０」付近で推移する場合に、レベル差検出値が欠陥検出閾値の「３０」よりも大きい場合には補正が行われ、欠陥検出閾値の「３０」以下の場合には補正が行われない。

したがって、図３の場合には、通常の欠陥検出補正方法では、補正を行う場合と補正を行わない場合とが交互に繰り返されることになる。しかしながら、欠陥検出閾値は、通常、人間の目で観察した場合に目立つように設定されているため、レベル差検出値（注目画素部とその周辺画素部との信号出力レベル差）が欠陥検出閾値付近である画素部（所定範囲内画素部）において、補正が行われたり、補正が行われなかったりすると、撮影時に画像にちらつきを生じるおそれがある。

そこで、本実施形態では、図３の場合のように、ある１画素部のレベル差検出値（注目画素部と周辺画素部との信号出力レベル差）が欠陥検出閾値を中心とした所定範囲内で推移する場合に、画像ちらつきを防止するために、連続期間中の最初の補正の有無にしたがって、信号出力レベルの補正を行うか、行わないかを決定する。

具体的に説明すると、図３では、１フレーム目では、信号出力レベル差が欠陥検出閾値の「３０」以下にあるため、注目画素部の補正は行われないが、信号出力レベル差が欠陥検出閾値を含む所定範囲内にあるので、このときに、その画素位置と、欠陥検出閾値の下１０パーセント以内であることと、欠陥検出閾値の下１０パーセント以内であった回数（連続検出回数）とが記憶装置４２に保持情報として格納されて保持される。

２フレーム目では、信号出力レベル差が欠陥検出閾値の「３０」よりも大きく、欠陥検出回路４１では欠陥画素であると判定されるが、ここでは、信号出力レベル差が欠陥検出閾値の上１０パーセント以内であるため、１フレーム目と同様に、注目画素部の補正は行われない。

後のフレームも同様に処理が行われ、図３の例では１０フレーム目まで信号出力レベル差が欠陥検出閾値を中心とした上下１０パーセント以内であるため、注目画素部の補正は行われない。

このように、欠陥画素の検出補正を行うことによって、レベル差検出値が欠陥検出閾値付近に存在する画素部（所定範囲内画素部）に対して、補正が行われたり、行われなかったりすることによって画像にちらつきが生じることを防ぐことができる。

ここで、上記注目画素部とその周辺の複数の画素部との信号出力レベルの差と比較される欠陥検出閾値、およびこの欠陥検出閾値を中心とした所定範囲は、適宜設定することができる。

図４は、図１に示す固体撮像素子２内のある１画素（注目画素部）について、フレーム毎の注目画素部とその周辺の複数の画素部との信号出力レベル差の他の変化例を示すグラフである。図３では、縦軸は注目画素部と周辺画素部との信号出力レベル差（欠陥画素検出値）を示し、横軸はフレーム数を示している。ここでも、注目画素部と複数の周辺画素部との信号出力レベル差の閾値（欠陥検出閾値）を「３０」とする。また、欠陥検出閾値からの所定範囲を閾値の上下１０パーセントとし、「２７」から「３３」の範囲を、欠陥検出閾値「３０」を中心とした±３の範囲内（所定範囲内）とする。

図４では、ある１画素部のレベル差検出値（注目画素部とその周辺画素部との信号出力レベル差）が、欠陥検出閾値を中心とした所定範囲内で推移した後、欠陥検出閾値以上の所定範囲外で推移し、再び所定範囲内に戻って推移している場合である。

このような場合に、本実施形態では、レベル差検出値が、欠陥検出閾値を中心とした所定範囲内であると判定された画素部に対して、記憶装置４２によって予め設定された所定回数まで欠陥検出閾値以上の所定範囲外にある連続検出回数とそのときの補正の有無が保持情報として保持される。

次に、レベル差検出値が、欠陥検出閾値を中心とした所定範囲内に戻ったときに、記憶装置４２に保持された補正の有無にしたがって、信号出力レベルの補正を行うか、行わないかが決定される。

図４の例で詳細に説明すると、１フレーム目および２フレーム目では、図３の場合と同様に、注目画素部の補正は行われない。このとき、その画素位置と、最初の１フレーム目で欠陥検出閾値の下１０パーセント以内であることと、欠陥検出閾値の上下１０パーセント以内であった回数（連続検出回数）とが記憶装置４２に保持情報として格納されて保持される。

次に、３フレーム目および４フレーム目では、信号出力レベル差が欠陥検出閾値の「３０」よりも大きく、しかも信号出力レベル差が欠陥検出閾値の上１０パーセントよりも更に外で所定範囲外であるため、注目画素部の補正が行われる。このとき、その画素位置と、欠陥検出閾値から所定範囲外であった回数（連続検出回数）と、そのときの補正の有無が記憶装置４２に保持情報として格納されて保持される。

この例では、前のフレームで信号出力レベル差が欠陥検出閾値の「３０」から所定範囲内であり、次のフレームで信号出力レベル差が欠陥検出閾値以上で所定範囲外になった場合に、連続２回（連続検出回数；２回）まで、その画素部の位置と、所定範囲外の連続検出回数と、補正の有無の情報とを記憶装置４２に保持情報として保持できるように設定されている。

５フレーム目では、信号出力レベル差が欠陥検出閾値の「３０」以下で所定範囲内に戻っているため、通常は補正が行われないが、この場合には、信号出力レベル差が欠陥検出閾値の下１０パーセント以内であっても所定範囲内であり、前のフレームで補正されていたことが記憶装置４２に保持されているため、この注目画素部の補正が行われる。

６フレーム目から１０フレーム目までは、信号出力レベル差が欠陥検出閾値の上下１０パーセント以内の所定範囲内にあるため、５フレーム目と同様に、これらの注目画素の補正が行われる。

以上により、本実施形態によれば、欠陥検出回路４１では、注目画素部と周辺画素部との信号出力レベル差が閾値と比較されて欠陥画素が検出され、信号出力レベル差が閾値を含む所定範囲内にあるかどうかが判定される。また、この信号出力レベル差が閾値から所定範囲内である画素部の位置と、その画素部が所定範囲内または所定範囲外である場合の連続検出回数とが記憶装置４２に保持情報として保持される。補正対象判定回路４３では、記憶装置４２の保持情報から、信号出力レベル差が閾値から所定範囲内である画素部が検出され、その画素部に対して補正を行うきか否かが判定される。欠陥補正回路４４では、欠陥検出回路４１で欠陥画素と検出された画素部に対して補正が行われる。このとき、信号出力レベル差が閾値から所定範囲内である画素に対しては、補正対象判定回路４３の判定結果にしたがって補正の有無が決定される。このようにして、欠陥検出補正を行うことによって、レベル差検出値が欠陥検出閾値付近に存在する画素部に対して、補正が行われたり、行われなかったりすることによって画像にちらつきが生じることを防ぐことができる。

なお、上記実施形態では、注目画素部の信号出力レベルと複数の周辺画素部から得た信号出力レベルとのレベル差が欠陥検出閾値以上で所定範囲外にある場合に、その画素部の情報を記憶装置４２に保持可能な回数を２回としたが、これに限らず、３回でも４回でもそれ以上でもよく、この回数は適宜設定することが可能である。

なお、上記実施形態では特に説明しなかったが、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差を算出する場合に、注目画素部の周囲の複数画素部から得た信号出力レベルと、この注目画素部の信号出力レベルとのレベル差として算出すればよい。具体的には、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差は、その注目画素部の周囲８画素部で最も大きい信号出力レベルと、注目画素部の信号出力レベルとのレベル差として算出してもよいし、その注目画素部の周囲８画素部の平均値の信号出力レベルと、その注目画素部の信号出力レベルとの差として算出してもよく、このレベル差は適宜算出することが可能である。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、例えばＣＭＯＳイメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの固体撮像素子内の欠陥画素を検出して補正する固体撮像素子の欠陥検出補正装置および、これを用いた例えばデジタルカメラやビデオカメラなどの撮像装置の分野において、撮像時にリアルタイムで固体撮像素子内の欠陥画素を検出し、検出された欠陥画素を補正する場合に、閾値により画像のちらつきが生じないように適切な補正を行うことが可能である。また、製造段階において工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することが可能である。

本発明は、撮像装置を備えたカメラ付き携帯電話機、カメラ付き携帯型情報端末機など、各種電子情報機器に利用することが可能であり、ちらつきの無い良好な撮像画像を得ることができる。

本発明の一実施形態である固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。 図１の固体撮像素子の欠陥検出補正装置における概略動作例を説明するためのフローチャートである。 図１に示す固体撮像素子内のある１画素（注目画素）について、フレーム毎の注目画素とその周辺の複数の画素との信号出力レベル差の変化の一例を示すグラフである。 図１に示す固体撮像素子内のある１画素（注目画素）について、フレーム毎の注目画素とその周辺の複数の画素との信号出力レベル差の変化の他の一例を示すグラフである。 特許文献１に記載されている従来の固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。

符号の説明

１ レンズ部
２ 固体撮像素子
４ 欠陥検出補正装置
１１ 撮像装置
４１ 欠陥検出回路
４２ 記憶装置
４３ 補正対象判定回路
４４ 欠陥補正回路
４５ デジタル信号処理

Claims (9)

1. 注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差に応じて欠陥画素かどうかを検出すると共に、該レベル差が所定範囲内にあるかどうかを検出する欠陥検出手段と、
   該レベル差が該所定範囲内にある画素部の画面位置および、該レベル差が該所定範囲内または外にある画素部のフレーム毎の連続検出回数を保持情報として保持する記憶手段と、
   該保持情報に基づいて、該フレーム毎に一連の該レベル差が該所定範囲内にある場合に、当該レベル差が該所定範囲内にある画素部の一連の信号出力レベルを補正すべきか否かのいずれかに判定する判定手段と、
   該判定手段による判定結果に基づいて、該一連の信号出力レベルを補正する欠陥補正手段とを有する固体撮像素子の欠陥検出補正装置。
2. 前記欠陥検出手段は、前記注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとの差をレベル差検出値として算出し、算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に該注目画素部を欠陥画素と判定すると共に、算出されたレベル差検出値が、該欠陥検出閾値を含む所定範囲内にあるかどうかを検出する請求項１に記載の固体撮像素子の欠陥検出補正装置。
3. 前記判定手段は、前記記憶手段で保持された連続検出回数に対応した前記一連のレベル差が前記所定範囲内にあるフレーム毎に同一画面位置の画素部に対してその信号出力レベルを補正すべきか否かを判定する請求項１または２に記載の固体撮像素子の欠陥検出補正装置。
4. 前記判定手段は、前記注目画素部のレベル差検出値がフレーム毎に連続して前記所定範囲内で推移する場合に、その連続検出期間中の最初の信号出力レベルに対する補正の有無を所定基準とし、該所定基準と同様に、この連続する信号出力レベルに対して順次補正の有無を決定する請求項１または３に記載の固体撮像素子の欠陥検出補正装置。
5. 前記記憶手段は、前記注目画素部のレベル差検出値が前記所定範囲内にある画素部に対して、予め設定された所定回数以内の回数だけ、該レベル差検出値が所定範囲外となった場合の連続検出回数と、該レベル差検出値が該所定範囲外であると判定された画素部に対する補正の有無の情報とを保持情報として保持し、該レベル差検出値が所定範囲内に再びなったときに、前記判定手段は、該記憶手段に保持された保持情報に応じてその信号出力レベルを補正すべきか否かを判定する請求項１、３および４のいずれかに記載の固体撮像素子の欠陥検出補正装置。
6. 前記判定手段は、前記レベル差検出値が該所定範囲内の画素部の信号出力レベルを、該レベル差検出値が該所定範囲外になったときの補正の有無と同様に、順次補正すべきか否かを判定する請求項５に記載の固体撮像素子の欠陥検出補正装置。
7. 前記レベル差は、該注目画素部の周囲の複数画素部から得た信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である請求項１に記載の固体撮像素子の欠陥検出補正装置。
8. 前記レベル差は、該注目画素部の周囲の８画素部で最も大きい信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である請求項７に記載の固体撮像素子の欠陥検出補正装置。
9. 被写体光が入射されて電気信号に変換する固体撮像素子と、
   該固体撮像素子からの信号出力レベルを入力とし、該信号出力レベルに基づいて欠陥画素を検出して該欠陥画素からの信号出力レベルを補正する請求項１〜８のいずれかに記載の固体撮像素子の欠陥検出補正装置とを備えた撮像装置。

Images