JP4591046B2 - 欠陥検出補正回路及び欠陥検出補正方法 - Google Patents

Description

本発明は、撮像装置に係り、特にＣＣＤなどの固体撮像素子で画像を撮像した際の白きず欠陥等を検出して補正する欠陥検出補正回路及び欠陥検出補正方法に関する。

従来から、ＣＣＤなどの固定撮像素子では、半導体の結晶欠陥により信号レベルの高い映像信号部分が出力され、周囲の画像よりも輝度が高くなって白色表示が際立つ白きず欠陥と呼ばれる画像表示誤りがあり、このような白きず欠陥を検出して補正することが行われている。

従来の欠陥検出補正では、シャッタークローズによる欠陥検出の方法が用いられてきた。そのため、完全に遮光された状態の中に、白傷の信号があった場合に欠陥とするため、比較的容易に、かなりの精度で欠陥検出を行うことが可能であった。このシャッタークローズによる欠陥検出の方法では、シャッタークローズした状態で欠陥のアドレスをメモリに保持し、検出精度を上げるために何フレームごとかのアドレスの一致をとって補正をかける等の方法が行われている。しかし、多画素化が進む近年の固体撮像素子では、欠陥数の増大、メモリに格納する情報量の増大に伴い、多くのメモリ容量が必要となってしまうため、回路規模の増大、コストの増大につながってしまうという問題を抱えている。また、携帯電話用カメラ、車載カメラ等の低価格なモデルにおいては、シャッターがないため上記手法を適用することができなかった。

そこで、メモリを用いないリアルタイム欠陥検出補正回路が開発されている。これは１フレーム内で、注目画素の周辺画素情報から動的に欠陥を検出し、検出した欠陥を同じフレーム内にて画素補正を行う。この方法で欠陥検出補正を行うと、メモリを持たずに、無限大個までの検出補正が可能となり、またフレームをまたがって欠陥を検出する方法よりもすばやく欠陥を検出して補正することができる。

しかしながら、リアルタイム欠陥検出補正方法では、空間的周波数が高い画像、例えば、解像度チャートなどのような画像を撮影した場合に、周辺画素の入力信号情報によって欠陥か否かを判定しなければならないため、入力画像や、ノイズ等によっては誤った欠陥判定をしてしまうことが非常に多く起こっている。そのため、画像に偽色がついたり、文字を写すと部分的に消えてしまったりするといった、画質を劣化させる場合が生じている。こういったことを防ぐために周辺画素のパターン認識を、より詳細に行う方法が提案されている。
特開平０７−５９０１１号公報

上記した誤った欠陥判定を周辺画素のパターン認識により無くすリアルタイム欠陥検出補正方法では、その欠陥判定の精度を上げるために全てのパターンを網羅する必要があるが、これを行うと、当然、リアルタイム欠陥検出補正回路の回路規模の増大を招いてしまうという問題があった。

本発明は前記事情に鑑み案出されたものであって、本発明の目的は、回路規模を増大させることなく、撮像素子の欠陥画素の誤判定を無くして、精度の高い欠陥判定を行うことができる欠陥検出補正回路及び欠陥検出補正方法を提供することにある。

上記課題を解決するために、本発明の欠陥検出補正回路は、撮像素子により光電変換された画像信号を入力して欠陥検出対象画像信号とその周辺画像信号を生成する周辺画像信号生成手段と、周辺画像信号生成手段からの画像信号情報に基づいて欠陥検出対象画像信号の中の欠陥検出対象画素信号が欠陥画素信号であるか否かを検出する欠陥検出手段と、周辺画像信号生成手段からの画像信号情報に基づいて欠陥検出対象画素信号とその周辺画素信号が所定の条件を満たす画素信号パターンを有するか否かを検出する誤検出パターン検出手段と、画像信号を形成する画素信号を正常レベルの画素信号に置き換えて補正画素信号とする信号補正手段と、誤検出パターン検出手段による所定の条件を満たす画素信号パターンの検出回数を計数する計数手段と、計数手段の計数値と予め設定された閾値を比較する比較手段と、欠陥検出対象画素信号が欠陥画素信号であると検出され、且つ、当該欠陥検出対象画素信号とその周辺画素信号が所定の条件を満たす画素信号パターンを有すると検出された場合は欠陥検出対象画素信号を補正画素信号に置き換えずに出力する制御を行うと共に、計数値が閾値を越えた場合、以降、欠陥検出対象画素信号を出力する制御を行う制御手段とを具備することを特徴とする。

また、上記課題を解決するために、本発明の欠陥検出補正方法は、撮像素子により光電変換されて入力される画像信号に欠陥画素信号があるか否かを検出し、欠陥画素信号があればこれを補正した補正画素信号に置き換えて出力する欠陥検出補正方法であって、欠陥検出対象画素信号とその周辺の画素信号が所定の条件を満たす画素信号パターンを有する場合は、欠陥検出対象画素信号が欠陥画素信号であると検出されても、これを補正画素信号に置き換えずに出力すると共に、所定の条件を満たす画素信号パターンの出現回数を計数し、この計数値が予めあたえられる閾値を越えた場合、以降、欠陥検出対象画素信号を出力することを特徴とする。

このように本発明では、撮像素子により光電変換されて入力される画像信号の中の欠陥検出対象画素の欠陥検出を行った際に、前記欠陥検出対象画素信号とその周辺の画素信号が所定の条件を満たす画素信号パターンを有する誤検出条件に当てはまった場合は、この画素信号を欠陥補正対象から除外することにより、欠陥判定精度を向上させることができる。それ故、従来のように欠陥判定の精度を上げるために全てのパターンを網羅する必要がなくなるため、回路規模を増大させることなく画素欠陥の誤検出を飛躍的に減少させることができ、欠陥判定精度を向上させることができる。

また、誤検出条件である画素信号パターンの出現回数を計数し、その計数値が閾値を越えた場合は撮像対象が特殊画像であると判定して、以降、欠陥補正機能を停止して誤欠陥検出による画像の劣化又は破壊を防止することができる。

本発明によれば、撮像素子により光電変換されて入力される画像信号の中の欠陥検出対象画素の欠陥検出を行った際に、欠陥検出対象画素信号とその周辺の画素信号が誤検出パターン条件に当てはまった場合は、この画素信号を欠陥補正対象から除外することにより、回路規模を増大させることなく、撮像素子の欠陥画素の誤判定を無くして、精度の高い欠陥判定を行うことができる。
また、誤検出パターンの出現回数が閾値を超えた場合は、画素の欠陥検出には適さない特殊画像信号が入力されたと判定し、以降、欠陥補正機能を停止して誤欠陥検出による画像の劣化又は破壊を防止することができる。

回路規模を増大させることなく、撮像素子の欠陥画素の誤判定を無くして、精度の高い欠陥判定を行う目的を、撮像素子により光電変換されて入力される画像信号の中の欠陥検出対象画素の欠陥検出を行った際に、欠陥検出対象画素信号とその周辺の画素信号が誤検出パターン条件に当てはまった場合は、この画素信号を欠陥補正対象から除外することによって実現した。

図１は、本発明の第１の実施の形態に係る欠陥検出補正回路の構成を示したブロック図である。欠陥検出補正回路６０は、ラインメモリ１、欠陥検出部２、誤検出パターン検出部３、補正値生成部４、マルチプレクサ５を有して構成されている。この欠陥検出補正回路６０は固体撮像装置に組み込まれ、固体撮像装置はレンズ２１、撮像素子２２、前処理部２３、Ａ／Ｄ変換部２４、後段の画像処理部２５を有している。

次に本実施の形態の動作について説明する。レンズ２１から入射した光は撮像素子２２で光電変換され、前処理部２３で黒レベル調整やゲイン負荷などが行われる。その後、ＡＤ変換部２４でアナログの画像信号をデジタル画像信号に変換され、撮像素子２２の欠陥検出補正回路６０に入力される。欠陥検出補正回路６０では、入力された画像信号を水平走査期間（Ｈ）遅延させるため、ラインメモリ１に１Ｈ遅延信号と２Ｈ遅延信号の画像信号を一旦保持させ、これら欠陥検出対象画像信号（１Ｈ遅延信号）及び周辺画像信号（遅延のない現在の入力信号及び２Ｈ遅延信号）により欠陥検出対象画像信号（１Ｈ遅延信号）ラインの周辺画素レベルをモニタする。

欠陥検出部２はＡ／Ｄ変換部２４から入力される欠陥検出対象画像ライン及びラインメモリ１に保持されている１Ｈ、２Ｈ遅延信号ラインを用いて、欠陥検出対象（注目）画素（１Ｈ遅延画像ライン中に含まれる）とその周辺画素レベルを比較し、その比較結果に基づいて注目画素が欠陥画素であるかどうかを検出し、検出結果をマルチプレクサ５に出力する。誤検出パターン検出部３は、Ａ／Ｄ変換部２４から入力される欠陥検出対象画像ライン及びラインメモリ１に保持されている１Ｈ、２Ｈ遅延信号ラインを用いて、欠陥検出部２が注目画素を誤検出する誤検出パターンであるかどうかを検出し、その検出結果をマルチプレクサ５に出力する。また、補正値生成部４は欠陥検出対象画像ライン（１Ｈ遅延信号ライン）を入力し、このラインに含まれる白点及び黒点を正常画素の信号レベルで置換した補正画素信号を生成し、これをマルチプレクサ５に出力する。

マルチプレクサ５は１Ｈ遅延信号ライン（欠陥検出対象信号ライン）を入力し、この１Ｈ遅延信号ラインの画素信号をそのまま後段画像処理部２５に出力するか、或いは補正値生成部４からの補正画素信号を後段画像処理部２５に出力するかを、欠陥検出部２及び誤検出パターン検出部３の検出結果により選択する。即ち、画素に欠陥がない場合は欠陥検出対象信号ライン（１Ｈ遅延信号ライン）の画素信号をそのまま後段画像処理部２５に出力する。画素に欠陥があるが、誤検出パターンが検出された場合は欠陥検出対象信号ラインラインの画素信号をそのまま後段画像処理部２５に出力する。画素に欠陥があり且つ、誤検出パターンが検出されない場合は欠陥検出対象信号に代えて補正画像信号を後段画像処理部２５に出力する。

図２は図１に示した撮像素子の欠陥検出補正回路６０の動作を表したフローチャートである。まず、ステップ１０１にて、欠陥検出部２により撮像素子２２の画素の欠陥を検出する処理が行われ、画素の欠陥が検出されるとステップ１０２に進む。また同時に、誤検出パターン検出部３により画素欠陥の検出が誤検出となる画素パターンを検出する処理が行われると共に、補正値生成部４により画素の補正処理が行われる。ステップ１０２では、誤検出パターンが検出されたかどうかを判定し、検出された場合は画素の補正処理をせずに処理を終了する。この補正処理をしないということは、マルチプレクサ５により入力される欠陥検出対象画素信号をそのまま後段に出力することと等価である。一方、誤検出パターンが検出されなかった場合は、ステップ１０３にて画素の補正処理をして処理を終了する。この補正処理するということは、マルチプレクサ５により入力欠陥検出対象画素信号に代えて補正画素信号を後段に出力することと等価である。

次に、誤検出パターン検出部３の処理を行う上での誤検出パターンを含む画像例及びその排除方法について詳述する。図３は、注目する画素（欠陥検出対象画素）と同色のカラーフィルターをもつ、周辺画素の信号レベルの一例を模擬的に示した図である。リアルタイム欠陥検出を行う手法の一つとして、注目画素と、その同色のカラーフィルターをもつ周辺画素との信号の差分が、一定の閾値より上回る、または下回ったときは欠陥であると検出する方法がある。その場合、図３のような画像信号が欠陥検出部２に入ってくると、実際には欠陥ではないのに、周辺画素より著しく信号レベルが低いために、欠陥とみなしてしまう。

そこで、このような誤検出を防ぐための排除パターンを定義した例を示す。パターンの定義の詳細を、図４を用いて説明する。図４（Ａ）のような原色カラーフィルターのセンサに、図４（Ｂ）のような画像が入力された場合、図４（Ａ）の“１”と“８”、“３”と“６”の信号レベルはほぼ等しくなり、“２”、“４”、“５”、“７”の信号レベルは比較的大きく異なったレベルにはならない。しかし、注目画素である“Ｔ”の信号レベルは他の画素よりも著しく小さな値となってしまう。また、図４（Ｃ）の例においても、“２”と“７”、“４”と“５”の信号レベルはほぼ等しくなり、“１”、“３”、“６”、“８”の信号レベルもそれほど大きく異なったレベルにはならないが、“Ｔ”の信号レベルは他の画素と著しく異なる。

このようなある周波数の画像が入力された場合、欠陥として誤検出され（この場合は黒点欠陥とみなされるが、“Ｔ”の信号量が著しく大きい場合も同様に考えられ、こちらは白点欠陥とみなされる。）実際の画素のレベルと大きく異なる周辺画素を用いて補正を行ってしまうため、画像を壊してしまう。

そのため、図４（Ａ）において、“１”の画素と“８”の画素の信号レベルを（１，８）と表すとし、言葉を次のように定義する。
平らである：二つの画素において信号レベルに差が無く、同じ色・輝度の被写体を映していると視覚的に判断される場合。
離れている：二つの画素において信号レベルに差があり、異なる色・輝度の被写体を映していると視覚的に判断される場合。尚、どの程度レベルが異なれば視覚的に異なると判断するかは、当然、設定するパラメータに依り多少異なる。
このとき、
斜め条件
Ａ：( １，８) が平らで( ３，６) が( １，８) から離れている。
Ｂ：( ３、６) が平らで( １、８) が( ３，６) から離れている。
とし、
（１）Ａの時、( ３，６) が( １，８) より大きいもしくは小さい。
（２）Ｂの時、( １，８) が( ３，６) より大きいもしくは小さい。
のとき、欠陥検出対象外とする。

また、同様に図４（Ａ）において、画素配列の縦横方向についても
縦横条件
Ｃ：( ４，５) が平らで( ２，７) が( ４，５) から離れている。
Ｄ：( ２，７) が平らで( ４，５) が( ２，７) から離れている。
とし、
（３）Ｃの時、( ４，５) が( ２，７) より大きいもしくは小さい。
（４）Ｄの時、( ２，７) が( ４，５) より大きいもしくは小さい。
のとき、欠陥検出対象外とする。
つまり、（１）（２）（３）（４）のいずれかが成立する場合は、高周波パターンと認識し、欠陥検出対象から除外することとする。

図５は画素の信号レベルと閾値の関係を示した図である。上で示した除外条件を判定するために、平らであることを判断するための閾値１と、離れていることを判定するための閾値２を用いる。閾値１は実験的に得られる画素ノイズ等の信号レベルを考慮して計算・設定され、同じ色の被写体を映している・輝度差が無いとみなす範囲に幅を持たせるのに用いる。画素のノイズレベルが大きくなる場合は、閾値１が大きくなるようにすることで幅を広げる。逆にノイズが少ない場合は閾値１を小さくし、範囲を狭める。そうすることで、ノイズによる判定ミスを防ぐ。閾値２は、同色フィルターにおいて信号レベルに大きな差があり、コントラストが強く、輝度差が視覚的に大きい・異なる色の被写体を映していると判定するもので、｜画素のとりうる最大又は最小信号レベル−閾値１｜＞｜閾値２｜＞｜閾値１｜の範囲で設定される。

図６はその効果を示した図であり、（Ａ）は排除機能不使用時の解像度チャート画像を示し、（Ｂ）は排除機能使用時の解像度チャートに示す。図から明らかなように、排除機能使用時の解像度チャートは破壊された部分が無い綺麗な画像であることが分かる。

本実施の形態によれば、欠陥検出部２で注目画素の欠陥を誤検出した場合でも、誤検出パターン検出部３で誤検出パターンが検出された場合は注目画素を補正せず、元のまま後段画像処理部２５に出力するため、欠陥検出部２で保持する欠陥判定のための周辺画素パターンをすべて網羅しなくとも、即ち、回路規模の増大無く、誤検出を飛躍的に減少させることができ、精度の良い画素欠陥とそれに伴う画素補正を行うことができる。

また、誤検出パターン検出部３で誤検出パターンを検出することで自動的に被写体に応じた動的な誤検出を行い、それによる欠陥検出、補正制御を行うことができる。

また、リアルタイム欠陥検出の精度を回路規模を大きくすること無く上げられるため、より、機械的なシャッターが無いアプリケーションについてリアルタイム欠陥検出を適用して、工場出荷時の調整を不必要にすることができ、製造コストを抑制することができる。

図７は、本発明の第２の実施の形態に係る撮像装置の欠陥検出補正回路の構成を示したブロック図である。但し、第１の実施の形態と同様の部分には同一符号を付して説明する。欠陥検出補正回路８０は、ラインメモリ１、欠陥検出部２、誤検出パターン検出部３、補正値生成部４、マルチプレクサ５、カウンタ６、比較器７を有して構成されている。この欠陥検出補正回路８０は固体撮像装置に組み込まれ、固体撮像装置はレンズ２１、撮像素子２２、前処理部２３、Ａ／Ｄ変換部２４、後段画像処理部２５を有している。

次に本実施の形態の動作について説明する。欠陥検出補正回路８０の動作は図１に示した欠陥検出補正回路６０とほぼ同じである。異なる点は、誤検出パターン検出部３で検出された誤検出パターンの個数をカウンタ６でカウント（計数）し、カウント値を比較器７に出力する。比較器７は入力されるカウント値が閾値を越えると、それを知らせる信号をマルチプレクサ５に出力すると共に、欠陥検出部２、誤検出パターン検出部３、補正値生成部４の動作を停止する停止信号を出力する。これにより、マルチプレクサ５は以降、欠陥検出対象画像信号をそのまま後段画像処理部２５に出力する。また、欠陥検出部２、誤検出パターン検出部３、補正値生成部４はその動作を停止して省電力とする。

図８は図７に示した欠陥検出補正回路の動作を表したフローチャートである。まず、ステップ２０１にて、比較器７によりカウンタ６のカウント値が閾値を越えているかどうかが判定され、越えている場合には欠陥検出処理を行わず、欠陥検出対象画像信号がそのままマルチプレクサ２５から後段画像処理部２５に入力される。カウンタ６のカウント値が閾値を越えていない場合は、ステップ２０２にて、欠陥検出部２により撮像素子２２の画素の欠陥を検出する処理が行われ、画素の欠陥が検出されるとステップ２０３に進む。また同時に、誤検出パターン検出部３により画素欠陥の検出が誤検出となるパターンを検出する処理が行われると共に、補正値生成部４により画素の補正処理が行われる。

ステップ２０３では、誤検出パターンが検出されたかどうかを判定し、検出された場合はステップ２０５にてカウンタ６のカウント値を＋１インクリメントした後、画素の補正
処理をせずに処理を終了する。この補正処理をしないということは、マルチプレクサ５により欠陥検出対象画素信号をそのまま後段に出力することと等価である。一方、誤検出パターンが検出されなかった場合は、ステップ２０４にて画素の補正処理をして処理を終了する。この補正処理するということは、マルチプレクサ５により欠陥検出対象画素信号に代えて補正画素信号を後段に出力することと等価である。このような処理が撮像装置の動作中行われるため、高周波成分を多く含む特殊な画像を撮影した場合などには、検出される誤検出パターンの数が多いため、カウンタ６のカウント値がすぐに閾値を越えるため、画素の欠陥検出及び補正をしないモードに切り替えられ、撮像画像が間違った補正により破壊されるのを防止することができる。

本実施の形態によれば、画像撮像時に検出される誤検出パターンの数が多い場合は、高周波成分を多く含む特殊な画像を撮影したと判定して、画素の欠陥検出及び補正をしないモードにすることにより、撮像画像が間違った補正により劣化又は破壊されるのを防止することができる。他の効果は第１の実施の形態と同様である。

尚、本発明は上記実施の形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。撮像装素子で撮影した画像を処理する装置であれば、どのような装置にも本発明を適用して同様の効果を得ることができる。

本発明の第１の実施の形態に係る欠陥検出補正回路を搭載した固体撮像装置の構成を示したブロック図である。 図１に示した欠陥検出補正回路の動作処理を説明するフローチャートである。 注目する画素（欠陥検出対象画素）と同色のカラーフィルターをもつ、周辺画素の信号レベルの一例を模擬的に示した図である。 図１に示した欠陥検出部による画素の欠陥誤検出が生じる理由を説明する図である。 図１に示した欠陥検出部が誤検出をする画素パターンの条件を説明するための図である。 図１に示した欠陥検出補正回路で画素欠陥が検出された際に誤検出パターンにより画素補正をするかしないかの制御を行った場合とそうでない場合の画像を比較する図である。 本発明の第２の実施の形態に係る欠陥検出補正回路を搭載した固体撮像装置の構成を示したブロック図である。 図７に示した欠陥検出補正回路の動作処理を説明するフローチャートである。

符号の説明

１……ラインメモリ、２……欠陥検出部、３……誤検出パターン検出部、４……補正値生成部、５……マルチプレクサ、６……カウンタ、７……比較器、２１……レンズ、２２……撮像素子、２３……前処理部、２４……Ａ／Ｄ変換部、２５……後段画像処理部、６０、８０……欠陥検出補正回路。

Claims (4)

1. 撮像素子により光電変換された画像信号を入力して欠陥検出対象画像信号とその周辺画像信号を生成する周辺画像信号生成手段と、
   前記周辺画像信号生成手段からの画像信号情報に基づいて前記欠陥検出対象画像信号の中の欠陥検出対象画素信号が欠陥画素信号であるか否かを検出する欠陥検出手段と、
   前記周辺画像信号生成手段からの画像信号情報に基づいて前記欠陥検出対象画素信号とその周辺画素信号が所定の条件を満たす画素信号パターンを有するか否かを検出する誤検出パターン検出手段と、
   前記画像信号を形成する画素信号を正常レベルの画像信号に置き換えて補正画素信号とする信号補正手段と、
   前記誤検出パターン検出手段による前記所定の条件を満たす画素信号パターンの検出回数を計数する計数手段と、
   前記計数手段の計数値と予め設定された閾値を比較する比較手段と、
   前記欠陥検出対象画素信号が欠陥画素信号であると検出され、且つ、当該欠陥検出対象画素信号とその周辺画素信号が前記所定の条件を満たす画素信号パターンを有すると検出された場合は前記欠陥検出対象画素信号を前記補正画素信号に置き換えずに出力する制御を行うと共に、前記計数値が前記閾値を越えた場合、以降、前記欠陥検出対象画素信号を出力する制御を行う制御手段と
   を具備することを特徴とする欠陥検出補正回路。
2. 前記所定の条件とは、前記欠陥検出対象画素信号とその周辺画素信号の範囲を矩形とすると、２本の対角線上の画素信号がそれぞれ比較的近いレベルを持ち、一方の対角線上の画素信号のレベルがもう一方の対角線上の画素信号のレベルよりも離れている場合、或いは縦横の２本の線上の画素信号がそれぞれ比較的近いレベルを持ち、一方の線上の画素信号のレベルがもう一方の線上の画素信号のレベルよりも離れている場合であることを特徴する請求項１記載の欠陥検出補正回路。
3. 前記計数値が前記閾値を越えた場合、前記画素信号の欠陥検出補正に関わる回路の動作を停止することを特徴とする請求項１記載の欠陥検出補正回路。
4. 撮像素子により光電変換されて入力される画像信号に欠陥画素信号があるか否かを検出し、欠陥画素信号があればこれを補正した補正画素信号に置き換えて出力する欠陥検出補正方法であって、
   欠陥検出対象画素信号とその周辺の画素信号が所定の条件を満たす画素信号パターンを有する場合は、前記欠陥検出対象画素信号が欠陥画素信号であると検出されても、これを前記補正画素信号に置き換えずに出力すると共に、前記所定の条件を満たす画素信号パターンの出現回数を計数し、この計数値が予めあたえられる閾値を越えた場合、以降、前記欠陥検出対象画素信号を出力する
   ことを特徴とする欠陥検出補正方法。

Images