JP2005318337A - 固体撮像素子の欠陥検出補正装置および撮像装置 - Google Patents
固体撮像素子の欠陥検出補正装置および撮像装置 Download PDFInfo
- Publication number
- JP2005318337A JP2005318337A JP2004134906A JP2004134906A JP2005318337A JP 2005318337 A JP2005318337 A JP 2005318337A JP 2004134906 A JP2004134906 A JP 2004134906A JP 2004134906 A JP2004134906 A JP 2004134906A JP 2005318337 A JP2005318337 A JP 2005318337A
- Authority
- JP
- Japan
- Prior art keywords
- signal output
- level difference
- predetermined range
- correction
- pixel portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 撮影中に固体撮像素子内の欠陥画素からの信号出力レベルを適切に補正する。【解決手段】 欠陥検出回路41では、注目画素部と周辺画素部との信号出力レベル差が閾値と比較されて欠陥画素が検出され、この信号出力レベル差が閾値から所定範囲内である画素部の位置と、その画素部が所定範囲内または所定範囲外である場合の連続検出回数とが記憶装置42に保持情報として保持される。補正対象判定回路43では、記憶装置42の保持情報から、信号出力レベル差が閾値から所定範囲内である画素部が検出され、その画素部に対して補正を行うきか否かが判定される。欠陥補正回路44では、欠陥検出回路41で欠陥画素と検出された画素部に対して補正が行われる。このとき、信号出力レベル差が閾値から所定範囲内である画素に対しては、補正対象判定回路43の判定結果にしたがって補正の有無が決定される。
【選択図】 図1
【選択図】 図1
Description
本発明は、例えばCMOSイメージセンサやCCD(Charge Coupled Device)イメージセンサなどの固体撮像素子内の欠陥画素を検出して補正する固体撮像素子の欠陥検出補正装置および、これを用いた例えばデジタルカメラやビデオカメラなどの撮像装置に関する。
従来、半導体基板上に作製されたCMOSイメージセンサやCCDイメージセンサなどの固体撮像素子は、半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。このような欠陥画素が存在すると、その欠陥画素から出力される信号出力レベルの大きさが、入射される画像光の量に依存せずに特異な信号出力レベルを示す。このため、欠陥画素から出力される出力画像信号によって、被写体を撮像して得られた画像の画質が劣化するという問題が生じる。また、固体撮像素子において、このような欠陥画素は、周囲温度が常温の場合には極めて少なく、周囲温度が高温になるにつれて指数関数的に増大するなど、多様な要因をもって発生することも知られている。
従来のデジタルカメラやビデオカメラなどの撮像装置では、固体撮像素子内に存在する欠陥画素を検出し、その欠陥画素のアドレスデータなど欠陥画素の位置を不揮発性メモリなどの記憶装置に予め記憶させておき、撮影時に、その不揮発性メモリに記憶されている欠陥画素のアドレスデータに基づいて、欠陥画素から出力される信号を補正している。
例えばCMOSイメージセンサが搭載された撮像装置において、欠陥画素の検出および補正は、例えば以下のようにして行われている。
まず、製造段階において撮像装置のレンズ部が遮光され、CMOSイメージセンサに光が入射されない状態で、CMOSイメージセンサの各画素部から出力されている出力信号と、被検査画素部(注目画素部)の周辺にある各画素部から出力されている出力信号とが比較される。
次に、これらの各出力信号の出力信号レベルの値の差が所定の閾値を超えると、この特異な信号出力レベルを出力した画素部(欠陥画素)として検出される。この欠陥画素のアドレスデータ(画素位置)は、不揮発性メモリに記憶される。
欠陥画素の検出が終了すると、CMOSイメージセンサと、欠陥画素のアドレスデータが記憶された不揮発性メモリとが一対になって撮像装置に内蔵された状態で、製品として出荷される。
ユーザがこの撮像装置を用いて被写体を撮像する場合には、不揮発性メモリに記憶されているCMOSイメージセンサの欠陥画素のアドレスデータに基づいて、CMOSイメージセンサから出力される出力信号(映像信号)のうち、欠陥画素からの出力信号が、欠陥画素の近傍の画素部からの出力信号によって補正される。
しかしながら、このような固体撮像素子の欠陥画素検出方法では、製造段階において撮像装置のレンズ部が遮光されてCMOSイメージセンサなどに画像光が入射されない状態で欠陥画素の検出が行われ、この欠陥画素のアドレスデータなどを不揮発性メモリに記憶させるため、製造段階で工程数が大幅に増加するという問題がある。
また、工場からCMOSイメージセンサなどの固体撮像素子が搭載された撮像装置の製品を出荷した後に、静電破壊などによって生じる固体撮像素子の欠陥画素については、補正を行うことができないという問題もある。
このような問題を解決するために、例えば特許文献1には、不揮発性メモリなどの記憶装置を用いることなく、所定の画素部(注目画素部)とその周囲画素部との信号出力レベルの差を欠陥画素検出値として算出し、算出された欠陥画素検出値が予め設定された欠陥検出閾値よりも大きい場合に、所定の画素部を欠陥画素と判定する欠陥検出手段を備えた固体撮像素子の欠陥検出補正装置が開示されている。これを図5に示している。
図5は、従来の固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。
図5に示すように、撮像装置10は、被写体からの光を所定位置(後述の固体撮像素子2)に結像させるレンズ部1と、入射した被写体光を光電変換するCMOSイメージセンサまたはCCDイメージセンサなどの固体撮像素子2と、固体撮像素子2内の欠陥画素を検出して補正する欠陥検出補正装置3とを有する。
欠陥検出補正装置3は、固体撮像素子2内の欠陥画素を検出する欠陥検出回路31と、検出した欠陥画素からの出力信号を補正する欠陥補正回路32と、補正した出力信号をデータ処理するデジタル信号処理回路33とを有している。
欠陥検出回路31では、固体撮像素子2からの出力信号がライン遅延器などを介して入力され、注目画素部とその周囲画素部との信号出力レベルの差によって欠陥画素を検出する。
欠陥補正回路32は、欠陥検出回路31からの出力信号が入力され、検出された欠陥画素から出力される出力信号がその近傍の複数の画素部から出力される出力信号を用いて補正される。
デジタル信号処理回路33は、欠陥補正回路32からの出力信号が入力され、入力された出力信号に種々の信号処理が行われてYUVデジタル信号として出力される。
次に、特許文献2には、所定の画素部(注目画素部)とその周辺の複数の画素部との信号出力レベルとを比較して、そのレベル差が所定値よりも大きい場合にエッジ判定を行い、エッジ判定においてさらに差がある場合に傷欠陥として所定の補正を行うことによって、エッジによる欠陥検出の誤判定を削減することができる固体撮像素子の欠陥検出補正装置が開示されている。
特開2002−223391号公報
特開平7−23297号公報
上述したように、製造段階で固体撮像素子内の欠陥画素を検出する方法では、製造段階での工程数が大幅に増加し、製品出荷後に静電破壊などによって生じる固体撮像素子内の欠陥画素に対して補正を行うことができないという問題があった。
また、特許文献1および特許文献2に開示されている方法によって、撮影時にリアルタイムで固体撮像素子の欠陥画素の検出およびその補正を行う場合には、欠陥検出閾値付近に存在する画素部に対して、補正が行われたり、行われなかったりすることになり、画像にちらつきが生じるという問題があった。
本発明は、上記従来の問題を解決するもので、製造段階で工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することが可能で、撮像時にリアルタイムで欠陥画素の検出およびその補正を行う場合に、欠陥検出閾値による画像のちらつきが生じないように、撮影中に固体撮像素子内の欠陥画素からの信号出力レベルを適切に補正することができる固体撮像素子の欠陥検出補正装置および、これを用いた撮像装置を提供することを目的とする。
本発明の固体撮像素子の欠陥検出補正装置は、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差に応じて欠陥画素かどうかを検出すると共に、該レベル差が所定範囲内にあるかどうかを検出する欠陥検出手段と、該レベル差が該所定範囲内にある画素部の画面位置および、該レベル差が該所定範囲内または外にある画素部のフレーム毎の連続検出回数を保持情報として保持する記憶手段と、該保持情報に基づいて、該フレーム毎に一連の該レベル差が該所定範囲内にある場合に、当該レベル差が該所定範囲内にある画素部の一連の信号出力レベルを補正すべきか否かのいずれかに判定する判定手段と、該判定手段による判定結果に基づいて、該一連の信号出力レベルを補正する欠陥補正手段とを有しており、そのことにより上記目的が達成される。
また、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における欠陥検出手段は、前記注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとの差をレベル差検出値として算出し、算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に該注目画素部を欠陥画素と判定すると共に、算出されたレベル差検出値が、該欠陥検出閾値を含む所定範囲内にあるかどうかを検出する。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記記憶手段で保持された連続検出回数に対応した前記一連のレベル差が前記所定範囲内にあるフレーム毎に同一画面位置の画素部に対してその信号出力レベルを補正すべきか否かを判定する。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記注目画素部のレベル差検出値がフレーム毎に連続して前記所定範囲内で推移する場合に、その連続検出期間中の最初の信号出力レベルに対する補正の有無を所定基準とし、該所定基準と同様に、この連続する信号出力レベルに対して順次補正の有無を決定する。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における記憶手段は、前記注目画素部のレベル差検出値が前記所定範囲内にある画素部に対して、予め設定された所定回数以内の回数だけ、該レベル差検出値が所定範囲外となった場合の連続検出回数と、該レベル差検出値が該所定範囲外であると判定された画素部に対する補正の有無の情報とを保持情報として保持し、該レベル差検出値が所定範囲内に再びなったときに、前記判定手段は、該記憶手段に保持された保持情報に応じてその信号出力レベルを補正すべきか否かを判定する。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置における判定手段は、前記レベル差検出値が該所定範囲内の画素部の信号出力レベルを、該レベル差検出値が該所定範囲外になったときの補正の有無と同様に、補正すべきか否かを判定する。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置におけるレベル差は、該注目画素部の周囲の複数画素部から得た信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である。
さらに、好ましくは、本発明の固体撮像素子の欠陥検出補正装置におけるレベル差は、該注目画素部の周囲の8画素部で最も大きい信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である。
本発明の撮像装置は、被写体光が入射されて電気信号に変換する固体撮像素子と、該固体撮像素子からの出力画像信号を入力とし、該信号出力レベルに基づいて欠陥画素を検出して該欠陥画素からの信号出力レベルを補正する請求項1〜8のいずれかに記載の固体撮像素子の欠陥検出補正装置とを備えており、そのことにより上記目的が達成される。
上記構成により、以下に、本発明の作用について説明する。
本発明にあっては、欠陥検出手段によって、注目画素部の信号出力レベルと、その周囲画素部の信号出力レベルとの差がレベル差検出値として算出され、その算出されたレベル差検出値が予め設定された欠陥検出閾値と比較される。このレベル差検出値が欠陥検出閾値よりも大きい場合に、この注目画素部が欠陥画素と判定される。また、欠陥検出手段によって、その信号出力レベルの差が所定範囲内または外にあるかどうかが検出される。
記憶手段によって、レベル差検出値が欠陥検出閾値を含む所定範囲内にある画素位置および、レベル差検出値が、欠陥検出閾値を含む所定範囲内または所定範囲外にある画素部のフレーム毎の連続検出回数が保持情報として保持される。
判定手段によって、記憶手段に保持されている保持情報、例えば連続検出回数を用いて、欠陥検出閾値を含む所定範囲内にレベル差検出値があるかどうかが検出され、この場合に所定の基準により信号出力レベルを補正すべきか否かが判定される。この所定の基準としては、例えば連続検出期間中の最初の画素部の補正の有無と同様に、連続検出期間中の一連の画素部の補正の有無を決定する。
欠陥補正手段では、欠陥検出手段で検出された欠陥画素の信号出力レベルが補正される。このとき、レベル差検出値が、欠陥検出閾値を含む所定範囲内である画素部については、判定手段によって補正対象であると判定された画素部からの信号出力レベルが補正され、補正すべきであると判定されなかった画素部については補正が行われない。
例えば注目画素部のレベル差検出値が連続して欠陥検出閾値を含む所定範囲内で推移する場合に、欠陥補正手段によって、画像のちらつきを無くすため、連続検出期間中の最初の画素部の補正の有無にしたがって信号出力レベルが補正されるようにしてもよい。
また、記憶手段によって、レベル差検出値が欠陥検出閾値を含む所定範囲内であると判定された画素部に対して、予め設定された所定回数まで欠陥検出閾値を含む所定範囲の外になった場合の連続検出回数が保持されるようにし、次にレベル差検出値が欠陥検出閾値を含む所定範囲内に再びなったときに、判定手段によって判定が行われるようにしてもよい。
さらに、レベル差検出値が前フレームで欠陥検出閾値を含む所定範囲内であり、次フレームで欠陥検出閾値を含む所定範囲内から外れた場合に、記憶手段によって、予め設定された所定回数まで連続検出回数と、レベル差検出値が欠陥検出閾値を含む所定範囲内から外れたと判定されたときの補正の有無が保持情報として保持されるようにし、次にレベル差検出値が欠陥検出閾値を含む所定範囲内に再びなったときに、記憶手段に保持された保持情報が用いられるようにしてもよい。
このように、欠陥検出閾値を含む所定範囲内の画素部が連続する場合に、判定手段によって補正を行うか否かを判定することができるため、撮影時にリアルタイムで固体撮像素子の欠陥画素の検出およびその補正を行う場合に、欠陥検出閾値を含む所定範囲内の画素部が連続しても、補正が行われたり、行われなかったりして画像にちらつきが生じることを防ぐことができる。
以上のように、本発明によれば、欠陥検出閾値を含む所定範囲内にあるレベル差検出値がフレーム毎に連続する画素部の場合に、判定手段によって補正を行うか否かのいずれかに判定するため、CMOSイメージセンサまたはCCDイメージセンサなどの固体撮像素子を備えたデジタルカメラまたはビデオカメラなどの撮像装置において、被写体の撮像時にリアルタイムで固体撮像素子内の欠陥画素を検出し、この検出された欠陥画素を補正する場合に、閾値により画像のちらつきが生じないように適切な補正を行うことができる。
また、製造段階において従来のように工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することができる。
以下に、本発明の固体撮像素子の欠陥検出補正装置を備えた撮像装置の実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態である固体撮像素子の欠陥検出補正装置が搭載された撮像装置の概略構成例を示すブロック図である。なお、図5の構成部材と同様の作用効果を奏する部材には同一の符号を付している。
図1に示すように、撮像装置11は、被写体からの画像光を所定位置(固体撮像素子2)に結像させる光学手段としてのレンズ部1と、このレンズ部1で結像された画像光が入射されて電気信号に変換されるCMOSイメージセンサまたはCCDイメージセンサなどの固体撮像素子2と、固体撮像素子2内の欠陥画素を検出して補正する欠陥検出補正装置4とを有する。
欠陥検出補正装置4は、欠陥検出手段としての欠陥検出回路41と、所定の保持情報を記憶可能とする記憶手段としての記憶装置42と、補正の有無を判定する判定手段としての補正対象判定回路43と、欠陥補正を行う欠陥補正手段としての欠陥補正回路44と、デジタル信号処理回路45とを有している。
欠陥検出回路41では、固体撮像素子2から出力信号がライン遅延器などを介して入力され、注目画素部とその周囲画素部との信号出力レベルの差(レベル差検出値)に応じて欠陥画素が検出されると共に、そのレベル差検出値が所定範囲内または外にある画素部かどうかを検出する。更に詳細に説明すると、欠陥検出回路41は、注目画素部の信号出力レベルとその周囲画素部の信号出力レベルとの差をレベル差検出値として算出し、この算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に注目画素部を欠陥画素と判定すると共に、この算出されたレベル差検出値が欠陥検出閾値を含む所定範囲内または外にある画素部を所定範囲内画素部または所定範囲外画素部として検出する。
記憶装置42では、レベル差検出値が欠陥検出閾値を含む所定範囲内(または欠陥検出閾値を中心とした所定範囲内)にある画素部(所定範囲内画素部)の画面位置(アドレスデータ)および、レベル差検出値が所定範囲内または外にある各画素部(所定範囲内画素部または所定範囲外画素部)の連続検出回数を保持情報として保持する。
判定手段43では、記憶装置42の保持情報に基づいて、フレーム毎に同一画面位置にある一連のレベル差検出値が所定範囲内(欠陥検出閾値を含む)にある画素部に対して、その信号出力レベルを補正すべきか否かを判定する。更に説明すると、判定手段43は、記憶装置42から保持情報が入力され、記憶装置42の保持情報、例えば連続検出回数を用いて、フレーム毎に同一画面位置にある一連のレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部が所定範囲内画素部として検出され、その検出された所定範囲内画素部に対して信号出力レベルを補正すべきか否かが判定される。
欠陥補正回路44は、欠陥画素の信号出力レベルを補正する際に、所定範囲内画素部に対して、補正対象判定手段43による判定結果に基づいてその信号出力レベルを補正する。このように、欠陥補正回路44では、欠陥検出回路41および補正対象判定回路43から各出力信号がそれぞれ入力され、欠陥画素から出力される出力信号がその近傍の複数の画素部から出力される出力信号を用いて補正される。このとき、レベル差検出値が欠陥検出閾値を含む所定範囲内である画素部については、補正対象判定回路43によって補正対象であると判定された画素部から出力される出力信号レベルのみが補正される。
デジタル信号処理回路45では、欠陥補正回路44から出力信号が入力され、入力された出力信号に種々の信号処理が行われてYUVデジタル信号として出力される。
上記構成により、以下に、本実施形態の欠陥検出補正装置の概略動作例について、図2のフローチャートを用いて説明する。
図2に示すように、まず、ステップS1では、欠陥検出回路41によって欠陥画素を検出したかどうかが判断される。即ち、欠陥検出回路41によって、補正対象である注目画素部とその周囲画素部との信号出力レベルの差がレベル差検出値として算出され、予め設定された欠陥検出閾値と比較される。このとき、レベル差検出値が欠陥検出閾値よりも大きい場合に、注目画素は欠陥画素であると判定されて補正対象とされる。また、レベル差検出値が欠陥検出閾値を含む所定範囲内にあるかどうかが判定される。なお、このように、検出データが閾値の所定範囲外にある場合も記憶手段に、ある連続回数格納される可能性があるので、ステップS1の欠陥検出において、全てのケース(YES、NOにかかわらず)でステップS2の処理に進む。
ステップS2では、出力信号レベル差であるレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部の位置および、レベル差検出値が欠陥検出閾値を含む所定範囲内または所定範囲外にある画素部のフレーム毎の連続検出回数が保持情報として記憶装置42に格納されて保持される。
ステップS3では、補正対象判定回路43によって、欠陥検出回路41で検出された欠陥画素と記憶装置42に保持された保持情報とに基づいて、注目画素部のレベル差検出値が欠陥検出閾値を含む所定範囲内にある画素部(所定範囲内画素部)に対して補正を行うか否かを判定する。
ステップS4では、ステップS3で注目画素部が補正対象である場合(補正判定で欠陥補正を行うとき;YES)には、欠陥補正回路44によってその注目画素部の補正が行われ、また、その注目画素部が補正対象と判定されなかった場合(補正判定で欠陥補正を行わないとき;NO)には、その注目画素部の補正は行われず、次のステップS5の処理に移行する。
ステップS5では全ての注目画素部が処理を終了したかどうかが判断される。ステップS5で全ての注目画素部の処理が終了した場合(YES)には、この欠陥画素検出補正処理を終了し、全ての注目画素部の処理が終了していない場合(NO)には、ステップS1の処理に戻る。
以下に、本実施形態の欠陥検出補正装置4の更なる具体的動作について、図3および図4を用いて説明する。
図3は、図1に示す固体撮像素子2内のある1画素(注目画素部)について、フレーム毎の注目画素部とその周辺画素部との信号出力レベル差の変化の一例を示すグラフである。なお、図3では、縦軸は注目画素部とその周辺画素部との信号出力レベル差(レベル差検出値)を示し、横軸はフレーム数を示している。ここで、注目画素部と複数の周辺画素部との信号出力レベル差の閾値(欠陥検出閾値)を「30」とする。また、欠陥検出閾値を中心とした所定範囲を閾値の上下10パーセントとし、「27」から「33」の範囲(欠陥検出閾値)を欠陥検出閾値を中心とした所定範囲内とする。
通常の欠陥検出補正方法では、図3に示すように、ある1画素部のレベル差検出値(注目画素部とその周辺画素部との信号出力レベル差)が欠陥検出閾値の「30」付近で推移する場合に、レベル差検出値が欠陥検出閾値の「30」よりも大きい場合には補正が行われ、欠陥検出閾値の「30」以下の場合には補正が行われない。
したがって、図3の場合には、通常の欠陥検出補正方法では、補正を行う場合と補正を行わない場合とが交互に繰り返されることになる。しかしながら、欠陥検出閾値は、通常、人間の目で観察した場合に目立つように設定されているため、レベル差検出値(注目画素部とその周辺画素部との信号出力レベル差)が欠陥検出閾値付近である画素部(所定範囲内画素部)において、補正が行われたり、補正が行われなかったりすると、撮影時に画像にちらつきを生じるおそれがある。
そこで、本実施形態では、図3の場合のように、ある1画素部のレベル差検出値(注目画素部と周辺画素部との信号出力レベル差)が欠陥検出閾値を中心とした所定範囲内で推移する場合に、画像ちらつきを防止するために、連続期間中の最初の補正の有無にしたがって、信号出力レベルの補正を行うか、行わないかを決定する。
具体的に説明すると、図3では、1フレーム目では、信号出力レベル差が欠陥検出閾値の「30」以下にあるため、注目画素部の補正は行われないが、信号出力レベル差が欠陥検出閾値を含む所定範囲内にあるので、このときに、その画素位置と、欠陥検出閾値の下10パーセント以内であることと、欠陥検出閾値の下10パーセント以内であった回数(連続検出回数)とが記憶装置42に保持情報として格納されて保持される。
2フレーム目では、信号出力レベル差が欠陥検出閾値の「30」よりも大きく、欠陥検出回路41では欠陥画素であると判定されるが、ここでは、信号出力レベル差が欠陥検出閾値の上10パーセント以内であるため、1フレーム目と同様に、注目画素部の補正は行われない。
後のフレームも同様に処理が行われ、図3の例では10フレーム目まで信号出力レベル差が欠陥検出閾値を中心とした上下10パーセント以内であるため、注目画素部の補正は行われない。
このように、欠陥画素の検出補正を行うことによって、レベル差検出値が欠陥検出閾値付近に存在する画素部(所定範囲内画素部)に対して、補正が行われたり、行われなかったりすることによって画像にちらつきが生じることを防ぐことができる。
ここで、上記注目画素部とその周辺の複数の画素部との信号出力レベルの差と比較される欠陥検出閾値、およびこの欠陥検出閾値を中心とした所定範囲は、適宜設定することができる。
図4は、図1に示す固体撮像素子2内のある1画素(注目画素部)について、フレーム毎の注目画素部とその周辺の複数の画素部との信号出力レベル差の他の変化例を示すグラフである。図3では、縦軸は注目画素部と周辺画素部との信号出力レベル差(欠陥画素検出値)を示し、横軸はフレーム数を示している。ここでも、注目画素部と複数の周辺画素部との信号出力レベル差の閾値(欠陥検出閾値)を「30」とする。また、欠陥検出閾値からの所定範囲を閾値の上下10パーセントとし、「27」から「33」の範囲を、欠陥検出閾値「30」を中心とした±3の範囲内(所定範囲内)とする。
図4では、ある1画素部のレベル差検出値(注目画素部とその周辺画素部との信号出力レベル差)が、欠陥検出閾値を中心とした所定範囲内で推移した後、欠陥検出閾値以上の所定範囲外で推移し、再び所定範囲内に戻って推移している場合である。
このような場合に、本実施形態では、レベル差検出値が、欠陥検出閾値を中心とした所定範囲内であると判定された画素部に対して、記憶装置42によって予め設定された所定回数まで欠陥検出閾値以上の所定範囲外にある連続検出回数とそのときの補正の有無が保持情報として保持される。
次に、レベル差検出値が、欠陥検出閾値を中心とした所定範囲内に戻ったときに、記憶装置42に保持された補正の有無にしたがって、信号出力レベルの補正を行うか、行わないかが決定される。
図4の例で詳細に説明すると、1フレーム目および2フレーム目では、図3の場合と同様に、注目画素部の補正は行われない。このとき、その画素位置と、最初の1フレーム目で欠陥検出閾値の下10パーセント以内であることと、欠陥検出閾値の上下10パーセント以内であった回数(連続検出回数)とが記憶装置42に保持情報として格納されて保持される。
次に、3フレーム目および4フレーム目では、信号出力レベル差が欠陥検出閾値の「30」よりも大きく、しかも信号出力レベル差が欠陥検出閾値の上10パーセントよりも更に外で所定範囲外であるため、注目画素部の補正が行われる。このとき、その画素位置と、欠陥検出閾値から所定範囲外であった回数(連続検出回数)と、そのときの補正の有無が記憶装置42に保持情報として格納されて保持される。
この例では、前のフレームで信号出力レベル差が欠陥検出閾値の「30」から所定範囲内であり、次のフレームで信号出力レベル差が欠陥検出閾値以上で所定範囲外になった場合に、連続2回(連続検出回数;2回)まで、その画素部の位置と、所定範囲外の連続検出回数と、補正の有無の情報とを記憶装置42に保持情報として保持できるように設定されている。
5フレーム目では、信号出力レベル差が欠陥検出閾値の「30」以下で所定範囲内に戻っているため、通常は補正が行われないが、この場合には、信号出力レベル差が欠陥検出閾値の下10パーセント以内であっても所定範囲内であり、前のフレームで補正されていたことが記憶装置42に保持されているため、この注目画素部の補正が行われる。
6フレーム目から10フレーム目までは、信号出力レベル差が欠陥検出閾値の上下10パーセント以内の所定範囲内にあるため、5フレーム目と同様に、これらの注目画素の補正が行われる。
以上により、本実施形態によれば、欠陥検出回路41では、注目画素部と周辺画素部との信号出力レベル差が閾値と比較されて欠陥画素が検出され、信号出力レベル差が閾値を含む所定範囲内にあるかどうかが判定される。また、この信号出力レベル差が閾値から所定範囲内である画素部の位置と、その画素部が所定範囲内または所定範囲外である場合の連続検出回数とが記憶装置42に保持情報として保持される。補正対象判定回路43では、記憶装置42の保持情報から、信号出力レベル差が閾値から所定範囲内である画素部が検出され、その画素部に対して補正を行うきか否かが判定される。欠陥補正回路44では、欠陥検出回路41で欠陥画素と検出された画素部に対して補正が行われる。このとき、信号出力レベル差が閾値から所定範囲内である画素に対しては、補正対象判定回路43の判定結果にしたがって補正の有無が決定される。このようにして、欠陥検出補正を行うことによって、レベル差検出値が欠陥検出閾値付近に存在する画素部に対して、補正が行われたり、行われなかったりすることによって画像にちらつきが生じることを防ぐことができる。
なお、上記実施形態では、注目画素部の信号出力レベルと複数の周辺画素部から得た信号出力レベルとのレベル差が欠陥検出閾値以上で所定範囲外にある場合に、その画素部の情報を記憶装置42に保持可能な回数を2回としたが、これに限らず、3回でも4回でもそれ以上でもよく、この回数は適宜設定することが可能である。
なお、上記実施形態では特に説明しなかったが、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差を算出する場合に、注目画素部の周囲の複数画素部から得た信号出力レベルと、この注目画素部の信号出力レベルとのレベル差として算出すればよい。具体的には、注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差は、その注目画素部の周囲8画素部で最も大きい信号出力レベルと、注目画素部の信号出力レベルとのレベル差として算出してもよいし、その注目画素部の周囲8画素部の平均値の信号出力レベルと、その注目画素部の信号出力レベルとの差として算出してもよく、このレベル差は適宜算出することが可能である。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明は、例えばCMOSイメージセンサやCCD(Charge Coupled Device)イメージセンサなどの固体撮像素子内の欠陥画素を検出して補正する固体撮像素子の欠陥検出補正装置および、これを用いた例えばデジタルカメラやビデオカメラなどの撮像装置の分野において、撮像時にリアルタイムで固体撮像素子内の欠陥画素を検出し、検出された欠陥画素を補正する場合に、閾値により画像のちらつきが生じないように適切な補正を行うことが可能である。また、製造段階において工程数を増やすことなく、製品出荷後に生じた欠陥画素についても補正することが可能である。
本発明は、撮像装置を備えたカメラ付き携帯電話機、カメラ付き携帯型情報端末機など、各種電子情報機器に利用することが可能であり、ちらつきの無い良好な撮像画像を得ることができる。
1 レンズ部
2 固体撮像素子
4 欠陥検出補正装置
11 撮像装置
41 欠陥検出回路
42 記憶装置
43 補正対象判定回路
44 欠陥補正回路
45 デジタル信号処理
2 固体撮像素子
4 欠陥検出補正装置
11 撮像装置
41 欠陥検出回路
42 記憶装置
43 補正対象判定回路
44 欠陥補正回路
45 デジタル信号処理
Claims (9)
- 注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとのレベル差に応じて欠陥画素かどうかを検出すると共に、該レベル差が所定範囲内にあるかどうかを検出する欠陥検出手段と、
該レベル差が該所定範囲内にある画素部の画面位置および、該レベル差が該所定範囲内または外にある画素部のフレーム毎の連続検出回数を保持情報として保持する記憶手段と、
該保持情報に基づいて、該フレーム毎に一連の該レベル差が該所定範囲内にある場合に、当該レベル差が該所定範囲内にある画素部の一連の信号出力レベルを補正すべきか否かのいずれかに判定する判定手段と、
該判定手段による判定結果に基づいて、該一連の信号出力レベルを補正する欠陥補正手段とを有する固体撮像素子の欠陥検出補正装置。 - 前記欠陥検出手段は、前記注目画素部の信号出力レベルとその周囲画素部に関する信号出力レベルとの差をレベル差検出値として算出し、算出されたレベル差検出値が予め設定された欠陥検出閾値よりも大きい場合に該注目画素部を欠陥画素と判定すると共に、算出されたレベル差検出値が、該欠陥検出閾値を含む所定範囲内にあるかどうかを検出する請求項1に記載の固体撮像素子の欠陥検出補正装置。
- 前記判定手段は、前記記憶手段で保持された連続検出回数に対応した前記一連のレベル差が前記所定範囲内にあるフレーム毎に同一画面位置の画素部に対してその信号出力レベルを補正すべきか否かを判定する請求項1または2に記載の固体撮像素子の欠陥検出補正装置。
- 前記判定手段は、前記注目画素部のレベル差検出値がフレーム毎に連続して前記所定範囲内で推移する場合に、その連続検出期間中の最初の信号出力レベルに対する補正の有無を所定基準とし、該所定基準と同様に、この連続する信号出力レベルに対して順次補正の有無を決定する請求項1または3に記載の固体撮像素子の欠陥検出補正装置。
- 前記記憶手段は、前記注目画素部のレベル差検出値が前記所定範囲内にある画素部に対して、予め設定された所定回数以内の回数だけ、該レベル差検出値が所定範囲外となった場合の連続検出回数と、該レベル差検出値が該所定範囲外であると判定された画素部に対する補正の有無の情報とを保持情報として保持し、該レベル差検出値が所定範囲内に再びなったときに、前記判定手段は、該記憶手段に保持された保持情報に応じてその信号出力レベルを補正すべきか否かを判定する請求項1、3および4のいずれかに記載の固体撮像素子の欠陥検出補正装置。
- 前記判定手段は、前記レベル差検出値が該所定範囲内の画素部の信号出力レベルを、該レベル差検出値が該所定範囲外になったときの補正の有無と同様に、順次補正すべきか否かを判定する請求項5に記載の固体撮像素子の欠陥検出補正装置。
- 前記レベル差は、該注目画素部の周囲の複数画素部から得た信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である請求項1に記載の固体撮像素子の欠陥検出補正装置。
- 前記レベル差は、該注目画素部の周囲の8画素部で最も大きい信号出力レベルと、該注目画素部の信号出力レベルとのレベル差である請求項7に記載の固体撮像素子の欠陥検出補正装置。
- 被写体光が入射されて電気信号に変換する固体撮像素子と、
該固体撮像素子からの信号出力レベルを入力とし、該信号出力レベルに基づいて欠陥画素を検出して該欠陥画素からの信号出力レベルを補正する請求項1〜8のいずれかに記載の固体撮像素子の欠陥検出補正装置とを備えた撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134906A JP2005318337A (ja) | 2004-04-28 | 2004-04-28 | 固体撮像素子の欠陥検出補正装置および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134906A JP2005318337A (ja) | 2004-04-28 | 2004-04-28 | 固体撮像素子の欠陥検出補正装置および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005318337A true JP2005318337A (ja) | 2005-11-10 |
Family
ID=35445297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004134906A Withdrawn JP2005318337A (ja) | 2004-04-28 | 2004-04-28 | 固体撮像素子の欠陥検出補正装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005318337A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232200A (ja) * | 2008-03-24 | 2009-10-08 | Hitachi Kokusai Electric Inc | 撮像素子の画素欠陥補正方法 |
JP2013244250A (ja) * | 2012-05-28 | 2013-12-09 | Fujifilm Corp | 電子内視鏡装置及びその撮像画像補正方法 |
US10536655B2 (en) | 2016-11-24 | 2020-01-14 | Ricoh Company, Ltd. | Photoelectric conversion device, image forming apparatus, photoelectric conversion method, and non-transitory recording medium |
-
2004
- 2004-04-28 JP JP2004134906A patent/JP2005318337A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232200A (ja) * | 2008-03-24 | 2009-10-08 | Hitachi Kokusai Electric Inc | 撮像素子の画素欠陥補正方法 |
JP2013244250A (ja) * | 2012-05-28 | 2013-12-09 | Fujifilm Corp | 電子内視鏡装置及びその撮像画像補正方法 |
US10536655B2 (en) | 2016-11-24 | 2020-01-14 | Ricoh Company, Ltd. | Photoelectric conversion device, image forming apparatus, photoelectric conversion method, and non-transitory recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7876369B2 (en) | Image processing apparatus, image processing method, and program | |
JP4388909B2 (ja) | 画素欠陥補正装置 | |
JP5631325B2 (ja) | 撮像装置の欠陥検出方法及び撮像装置 | |
US8149305B2 (en) | Method and apparatus to detect a dead pixel of an image sensor and method and apparatus to capture an image from an image sensor | |
JP5266957B2 (ja) | 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 | |
CN101764926B (zh) | 缺陷像素检测纠正设备、***及检测纠正缺陷像素的方法 | |
US10536640B2 (en) | Imaging device, operation method, image processing device, and image processing method | |
JP5696026B2 (ja) | 撮像装置、撮像方法および監視システム | |
US8970742B2 (en) | Image processing apparatus and method capable of performing correction process speedily and easily | |
JP2004207896A (ja) | 画素欠陥検出補正装置及び画素欠陥検出補正方法 | |
JP4591046B2 (ja) | 欠陥検出補正回路及び欠陥検出補正方法 | |
JP2011151792A (ja) | 画像処理装置及び方法 | |
JP2005328421A (ja) | 撮像装置および撮像方法 | |
JP4679174B2 (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
JP2020022135A (ja) | 欠陥画素補正装置、撮像装置、欠陥画素補正方法 | |
JP4895107B2 (ja) | 電子機器、情報処理方法、およびプログラム | |
JP4331120B2 (ja) | 欠陥画素検出方法 | |
JP4288954B2 (ja) | 欠陥検出回路及び欠陥検出方法 | |
JP2006166194A (ja) | 画素欠陥検出回路及び画素欠陥検出方法 | |
JP2005318337A (ja) | 固体撮像素子の欠陥検出補正装置および撮像装置 | |
JP2011114473A (ja) | 画素欠陥補正装置 | |
JP2003198946A (ja) | 撮像装置及びその欠陥画素処理方法 | |
JP2007228269A (ja) | 画像信号処理装置及び方法 | |
JP2006345279A (ja) | 固体撮像素子の画素欠陥検出方法 | |
JP2013239772A (ja) | 画像処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |