JP4057216B2

JP4057216B2 - Solid-state imaging device and pixel defect detection method

Info

Publication number: JP4057216B2
Application number: JP2000067124A
Authority: JP
Inventors: 正弘小西; 令子北脇; 千明市川; 栄二吉松
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-03-07
Filing date: 2000-03-07
Publication date: 2008-03-05
Anticipated expiration: 2020-03-07
Also published as: JP2001251636A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および画素欠陥検出方法に関し、特に、製造時において検出対象の撮像素子の周囲にある撮像素子の異常も考慮して画素欠陥を検出する、たとえば電子カメラ等に用いて好適なものである。
【０００２】
【従来の技術】
たとえば、電子カメラには被写界の撮像用に固体撮像素子が搭載されている。固体撮像素子には、電荷結合素子（Charge Coupled Device ：以下、CCD という）が多く用いられている。CCD には、欠陥画素が含まれていることがある。CCD 製造メーカは、たとえば、自社にてこの欠陥画素のチェックを行って、欠陥の画素位置をアドレスとしてCCD を搭載する製造機器メーカに情報提供してきている。このような情報提供がある場合、製造機器メーカ側ではこの情報を利用すればよいので、欠陥画素の検出を行わずに済んでいた。
【０００３】
ところで、CCD 製造メーカは、この情報を添付してこない場合が多くなってきている。この場合、製造メーカ側にて欠陥画素の検出を行うことになる。欠陥画素を検出する場合には、たとえば、次に示すような技術が用いられる。特開平5-68209 号公報のCCD ディジタルカメラは、欠陥画素検出部で画素単位で検出を行い、検出した画素のアドレスを欠陥画素アドレス格納部に格納し、そのアドレスに対して欠陥画素補正を行って画素抜けのない画像を表示させている。
【０００４】
また、特開平7-15670 号公報の欠陥補正装置は、欠陥画素の位置を検出するだけでなく、通常のよりも高いレベルの欠陥画素の信号レベルも検出し、そして、所定値以上の信号レベルに対して対象の欠陥画素だけでなく次の画素信号も補正し、完全に巨大な欠陥を補正している。
【０００５】
【発明が解決しようとする課題】
このように欠陥画素の検出し、検出した欠陥画素を補正する方法は各種提案されているが、あらかじめ画素の適正なレベルまたは欠陥画素の上限レベルおよび下限レベルとして指定されている場合、欠陥画素の判別は容易にでき、欠陥検出の誤判別は生じ難かった。
【０００６】
ところが、CCD 製造メーカ側からこの欠陥画素のアドレスだけでなく、上限レベルさえも情報提供しないことが多くなってきた。この状況により、欠陥画素の誤検出が増える虞がある。画素の欠陥検出の誤検出をなくす、すなわち欠陥検出精度を高めようとする場合、たとえば、特開平7-7675号公報の画素欠陥補正装置を用いるとよい。この装置は、（欠陥検出対象の) 画素の突出量の判定に用いるしきい値を周辺の輝度レベルに応じて制御して画素欠陥を検出回路で検出判定し、補正回路に補正信号を出力して画素のレベル補正を行っている。
【０００７】
ところで、画素欠陥の判定基準は、欠陥検出対象の周辺の画素レベルを用いて行っているが、この周辺の画素に異常があった場合、これら画素から算出したしきい値を用いて欠陥画素の検出を行うと、正常な画素から得られるしきい値（正常なレベル範囲）に比べて異常に高かったり低かったりする（すなわち、レベル範囲が異常に幅が広かったり狭かったりしてしまう）。この結果、欠陥検出の対象の画素が、異常な画素であるにもかかわらず正常な画素としたり、逆に正常な画素を異常としたりする欠陥検出の誤判別が生じてしまうことがある。
【０００８】
この他、CCD の全画素領域にメディアンフィルタをかけて欠陥画素検出を行う方法も用いられている。この方法は、検出に時間がかかるという問題点がある。
【０００９】
本発明はこのような従来技術の欠点を解消し、欠陥画素の誤判別をなくし、かつ検出時間の短縮化を図ることのできる固体撮像装置および画素欠陥検出方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界からの入射光を色分解し、撮像して撮像信号に変換し、得られた撮像信号をディジタル信号に変換し、画像を表す画素データにし、この画素データに信号処理を施す固体撮像装置において、この装置は、信号処理が施される前の画素データを格納するとともに、格納した画素データを繰返し読み出せる第１の記憶手段と、色分解に用いた色フィルタセグメントの色配置パターンに応じて欠陥検出の対象の画素データを含む所定の領域内にある同色の画素データを読み出し、この同色の画素データをこの領域内の画素データのレベルの大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲内にあるかどうかに基づきこの画素データの異常を色ごとに検出する周囲異常検出機能ブロックと、この周囲異常検出手段で検出した異常な画素を除いて残った領域内の画素データを用いて欠陥検出の対象の画素データに対して、この画素データの平均値に対するあらかじめ決めた、第２の許容範囲を基準の上限レベルおよび下限レベルとし、この上限レベルおよび下限レベルと欠陥検出の対象の画素データとを比較して欠陥検出を行い、検出した欠陥画素の位置情報を出力する欠陥検出機能ブロックとを含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、第１の記憶手段から同色の画素データを周囲異常検出機能ブロックに供給して、欠陥検出の対象の画素の周辺の所定の領域に位置する画素データが、大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲内にあるかどうかに基づき画素データの異常を色ごとに検出し、欠陥検出機能ブロックで異常のある画素データを除くことによって、誤判別をもたらす虞を排除し、残る画素データを用いて平均値を求め、この平均値を中心に第２の許容範囲内にあって正常かどうかにより欠陥検出の対象の画素に対する欠陥画素の判別を行い、検出した際に欠陥画素の位置（アドレス）を出力して誤判別をなくして、欠陥検出の位置を的確に検出している。
【００１２】
また、本発明は上述の課題を解決するために、被写界からの入射光を撮像して撮像信号に変換し、得られた撮像信号をディジタル信号に変換して、画像を表す画素データにし、この画像データを用いて、所定の画像領域に含まれる画像データのレベル異常を欠陥として検出するとともに、検出した位置の画像データを補正する画素欠陥検出方法において、この方法は、得られた画素データを一時格納する格納工程と、画素データのうち、この対象の画素データを含めて所定の個数が含まれる検出領域から読み出す工程と、この画素データをこの検出領域内の画素データの大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲により第１の上限レベルおよび第１の下限レベルを算出する工程と、算出した第１の上限レベルおよび第１の下限レベルと欠陥検出の対象の周囲に位置する画素データとをそれぞれ比較し、第１の上限レベルおよび第１の下限レベルの範囲内にある画素データを抽出する第１の比較判定工程と、この抽出した画素データを用いて平均値を算出し、この平均値に対するあらかじめ決めた第２の許容範囲により第２の上限レベルおよび第２の下限レベルを算出する工程と、算出した第２の上限レベルおよび第２の下限レベルと前記欠陥検出の対象の画素データとを比較し、欠陥画素かどうかを判定する第２の比較判定工程とを含むことを特徴とする。
【００１３】
本発明の画素欠陥検出方法は、撮像した生の画素データを一時格納し、画像の検出領域における検出対象と検出領域内の画素データを読み出して画素データの大きさの順に並べた中央の順位に対する第１の許容範囲から第１の上限レベルおよび第１の下限レベルを算出して得られたこれらの値と欠陥検出の対象を除く画素データとを比較する。これにより、欠陥検出の対象の周囲に位置する画素データに異常があるかどうかを知ることができる。第１の上限レベルおよび第１の下限レベルの範囲内の正常と判定された画素データだけを用いて平均値を算出する。得られた平均値に対する第２の許容範囲から第２の上限レベルおよび第２の下限レベルを求め、これらのレベル範囲内に欠陥検出の対象の画素データがあるか比較判定することにより、欠陥検出を行っている。このように欠陥検出の前に異常な画素データの検出を行うことにより、検出の誤判定を防止することができ、欠陥のある画素データの位置を的確に検出することができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本発明の固体撮像装置は、第１のメモリから同色の画素データを周囲異常検出機能部に供給して、欠陥検出の対象の画素の周辺の所定の領域に位置する画素データが、大きい順に並べた画素の中央値に対するあらかじめ決めた第１の許容範囲内にあるかどうかに基づき色ごとの異常を検出し、欠陥検出機能部で異常のある画素データを除く、これらの画素データを用いて平均値を求め、この平均値を中心に第２の許容範囲内にあって正常かどうかにより欠陥検出の対象の画素に対する欠陥画素の判別を行い、検出した際に欠陥画素の位置（アドレス）を出力し、補正機能部では、欠陥検出機能部で検出された位置の画素データに対して正常な周辺の画素データを用いて補正を行って、誤判別をなくして欠陥検出の精度を高めることに特徴がある。
【００１６】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１７】
図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、絞り調節機構26、光学ローパスフィルタ28、色分解部CF、撮像部30、前処理部32、A/D 変換部34、メモリ36、欠陥アドレス格納部38、信号処理部40、圧縮／伸張部42、記録再生部44、およびモニタ46が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号発生部22、ドライバ部24を介してこれらの機構を動作させる駆動信号24a が供給される。
【００１８】
操作部14には、図示しないシャッタスイッチやたとえばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して第１のモードと第２のモードのいずれが選択されたかを操作信号14a によりシステム制御部18に出力して報知する。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a とこの ROMの情報を用いて各部の動作を制御する制御信号18a を生成する。
【００２０】
また、システム制御部18には、本発明の特徴である周辺異常検出機能部180 、画素欠陥検出機能部182 および欠陥補正機能部184 が備えられている。この欠陥検出は、特殊なモードで行われる。周辺異常検出機能部180 は、たとえば遮光時にメモリ36からシステムバス16を介して供給される生の画素データ36a のうち、欠陥検出の対象の画素に対し周辺領域に位置する画素データ180aの異常を検出する機能を有する。周辺領域は、色フィルタセグメントの配置に応じた所定の範囲である。
【００２１】
周辺異常検出機能部180 は、読み込んだ画素データから欠陥検出対象の周辺領域だけを考慮し、この周辺領域の画素データ180aの大きい順または小さい順に並べて中央の順位の画素データを中央値として設定し、この中央値に対してあらかじめ指定された許容範囲により異常な画素データのしきい値の上限および下限を設定する。さらに、周辺異常検出機能部180 では、画素データごとにこれら上限および下限と比較して異常の有無を判別する。周辺異常検出機能部180 は、異常検出の結果に応じて画素データ180bを画素欠陥検出機能部182 に供給する。画素データ180bは周辺の正常な画素データおよび検出対象の画素データを含んでいる。
【００２２】
画素欠陥検出機能部182 は、供給された画素データ180bを用いて欠陥検出の対象の画素データに異常があるかどうか判別し、この結果、撮像部30の対応する受光素子の欠陥を検出する機能を有する。画素欠陥検出機能部182 は、画素データ180bのうち、欠陥検出の対象に対する周辺の画素データの平均値を算出する。この平均値に対する許容範囲によって得られる上限および下限の値を基準範囲とする。画素欠陥検出機能部182 は、上限および下限の値と欠陥検出の対象の画素データとをそれぞれ比較して対象の画素データが異常データかどうかを判定する。判定した結果、異常が検出された場合、供給される画素データに対応する撮像部30のアドレスまたはメモリ36のアドレス182aを欠陥アドレス格納部38に出力する。また、画素欠陥検出機能部182 は、異常検出された場合、欠陥検出されたことを知らせる検出信号182bを欠陥補正機能部184 に出力する。
【００２３】
欠陥補正機能部184 は、供給される画素データ180aを用いて画素欠陥検出機能部182 からの検出信号182bに応じて欠陥を補正する機能を有する。欠陥画素データの補正方法は、周辺の画素データで置換したり、欠陥対象を挟んで両端に位置する画素データの平均値で置き換えてもよい。欠陥補正機能部184 にメモリを設けてもよいが、部品節約を考慮した場合、欠陥補正機能部184 は、生の画素データを格納するメモリ36のアドレスのメモリデータをこの補正した画素データで置換するとよい。
【００２４】
システム制御部18は、通常の撮影モードであることを知らせる制御信号18b を欠陥アドレス格納部38に出力している。欠陥アドレス格納部38は、このモードにおいて欠陥位置を知らせる欠陥報知信号18c を出力する。欠陥補正機能部184 には、通常の撮像時、メモリ36から生の画素データおよび欠陥報知信号18c が供給される。欠陥補正機能部184 は、システム制御部18の制御により補正した画素データをメモリ36に供給し、メモリ36の該当箇所の画素データを置換する。
【００２５】
システム制御部18は、生成した制御信号18a を信号発生部20、あらわに制御信号18a の供給を示していないタイミング信号発生部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部40、圧縮／伸張部42、記録再生部44およびモニタ46にも供給する。
【００２６】
信号発生部20は、システム制御部18からの制御に応じてシステムクロック20a を発振器（図示せず）により発生する。信号発生部20は、このシステムクロック20a をタイミング信号発生部22および信号処理部40に供給する。また、システムクロック20a は、たとえば、システムバス16を介してシステム制御部18の動作タイミングとしても供給される。
【００２７】
タイミング信号発生部22は、供給されるシステムクロック20a を制御信号18a に基づいて各部を動作させるタイミング信号22a を生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22a を図１に示すように各部に出力するとともに、ドライバ部24にも供給する。ドライバ部24は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構26および撮像部30にも駆動信号24a をそれぞれ供給する。
【００２８】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構26にもドライバ部24から駆動信号24a が供給される。この駆動信号24a は、前述したシステム制御部18からの制御に応じて行う動作のための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号18a がタイミング信号発生部22に供給された後、絞り調節機構26には、このタイミング信号発生部22からの信号22a に応じた駆動信号24a がドライバ部24から供給される。
【００２９】
撮像部30では光電変換する撮像素子（受光素子）を光学レンズ系12の光軸と直交する平面（撮像面）が形成されるように配置しておく。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ28と一体的に色分解する色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部30では、供給される駆動信号24a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号30A にされ、前処理部32に出力される。撮像部30は、CCD タイプでは信号電荷の読出しモードに応じて画素間引き読出しや全画素読出しが行われる。
【００３０】
前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22からのタイミング信号22a によりクランプするクランプ回路と、タイミング信号22a により信号30A をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してアナログ出力信号32a をA/D 変換部34に送る。A/D 変換部34は、供給されるアナログ信号32a の信号レベルを所定の量子化レベルにより量子化してディジタル信号34a に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22a により変換したディジタル信号34a をシステムバス16を介してメモリ36に出力する。
【００３１】
メモリ36および欠陥アドレス格納部38は、ともに、非破壊型のメモリを含む。メモリ36は、撮像した一画面の画素データを格納するフレームメモリである。メモリ36は、システム制御部18からの制御信号18a をシステムバス16に送り、システムバス16を介して画素データ36a の書込み／読出し制御が行われる。通常の撮像モードにおいて補正後にメモリ36では欠陥画素に相当するアドレスの画素データが欠陥補正した画素データに置換される。この補正完了後、メモリ36は、システムバス16を介して格納する画素データを信号処理部40に出力する。
【００３２】
また、欠陥アドレス格納部38は、予想される最大の欠陥個数の欠陥画素のアドレスを格納するとともに、アドレスカウンタを有している。欠陥アドレス格納部38は、アドレスカウンタと格納されているアドレスの値と同じになったとき、欠陥報知信号18c を出力する。
【００３３】
信号処理部40には、データ補正部40a および色差マトリクス部40b が含まれる。データ補正部40a には、図示しないが色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正回路は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部22からのタイミング信号22a に応じて供給される。データ補正部40a は、この処理した補正データ40A を色差マトリクス部40b に出力する。
【００３４】
色差マトリクス部40b は、メモリ36から供給される画素データを用いて三原色RGB から輝度データおよび２つの色差データを生成する機能がある。
【００３５】
また、信号処理部40には、具体的な説明を省略するが、操作部14のレリーズボタンが半押し状態と、レリーズボタンが全押し状態とでそれぞれ動作させる場合がある。
【００３６】
圧縮／伸張部42は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部42は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部44に供給する。また、圧縮／伸張部42は、色差マトリクス部40b から供給されるデータをシステム制御部18の制御によりスルーさせ、システムバス16を介してモニタ46に供給することもできる。圧縮／伸張部42が伸張処理を行う場合、逆に記録再生部44から読み出したデータをシステムバス16を介して圧縮／伸張部42に取り込んで処理する。ここで、処理されたデータもモニタ46に供給して表示させる。
【００３７】
記録再生部44は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ46は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００３８】
このようにして撮像部30に含まれる欠陥画素を的確に検出するとともに、メディアンフィルタを用いずに処理して時間の短縮を図っている。
【００３９】
次に撮像部30の入射光が入射する側に配する色フィルタCFについて簡単に説明する。色フィルタCFには、得られる画像の色再現性を考慮して各種の配置パターンが提案され、実際に用いられている。いくつか実例を挙げると、図2(A)に示すベイヤ（Bayer ）パターン、図2(B)に示すG ストライプRB市松パターンおよび図３のG ストライプRB完全市松パターン、ならびに受光素子の配置をずらした、いわゆるハニカム配置の図４のG 正方RB市松パターンおよび図５のG 正方RB完全市松パターン等がある。図２ないし図５のR, G, B は、三原色の各色フィルタセグメントの色を示す記号であり、その記号R, G, B の添字は、それぞれの位置を表す行列表示 (i, j）である。
【００４０】
各配置パターンの色に着目して見ると、色ごとに共通するパターンの存在することがわかる。たとえば、ベイヤパターンとG ストライプRB市松パターンは、色R が同じ位置関係にある（図2(A)、図2(B)および図６を参照）。また、図2(A)および図2(B)の配置にした場合、図7(A)のG ストライプRB市松パターンの色B は、色G が縦ストライプに配されていることから、図7(B)のベイヤパターンに比べて一列シフトした位置になる。また、ベイヤパターンは、この場合、G ストライプRB市松パターンの色B に比べて扱う領域が大きい。これらを考慮して画素データを読み出すと、同じパターンとみなせる。
【００４１】
G ストライプRB市松パターンとG ストライプRB完全市松パターンにも色G に対してパターンが完全に一致する（図8(A)を参照）。ベイヤパターンにおける色G は、１ラインごとに一列シフトしている市松パターンである（図8(B)を参照）。したがって、１ラインごとにサンプリングする列をシフトさせて画素データを読み出せばよい。
【００４２】
G ストライプRB完全市松パターンにおける色R と色B の関係は、図9(A)と図9(B)に示す関係である。この両者の関係は、色によって読み出す位置が１ライン異なっている点に着目し、かつ考慮して読み出すようにすると、ほぼ同じ読出しとして扱える。G 正方RB完全市松パターンにおける色R と色B の関係も画素ずらしを考慮すると、図10と図11から明らかなように、読み出す位置を２ラインシフトさせて読み出せばよい。G 正方RB市松パターンの色別パターンは図示しないが色R, Bをそれぞれ、３ライン間隔ごとに読み出す。このように画素ずらしの、いわゆるハニカムパターンの場合、周辺の画素データを含めた領域は、より広い領域になることがわかる。G 正方RB市松パターンとG 正方RB完全市松パターンにおいて、色G は共通パターンである（図12を参照）。
【００４３】
また、別な見方としてベイヤパターンを斜め45°から見ると、G 正方RB完全市松パターンは、このベイヤパターンに類似したパターンとみなすこともできる。このような見方を利用するとさらに読出しパターンを共通化させることができる。
【００４４】
このような各種の色フィルタを色ごとに配置パターンを分類し、若干の改良を加えることにより、画素データの読出しを共通化できることがわかる。
【００４５】
次にディジタルカメラ10における画素欠陥検出の手順について説明する。ディジタルカメラ10は、図13に示すメインフローチャートに応じて動作する。電源投入後、各種のモードに対する初期設定が行われる。この設定により一般的にはモードを撮影モードに移行する。ただし、製造工程等において画素の欠陥を検出する場合、モードは欠陥検出モードにしている。このように各種のモードが設定されることから、電源投入し、設定した後にディジタルカメラ10が撮影モードになっているかどうかを判断している（ステップS10 ）。判断した結果が、撮影モードの場合（YES ）、ステップS12 に進む。また、この結果が撮影モードでなかった場合（NO）、ステップS14 に進む。
【００４６】
ステップS14 では、撮像部30の受光素子に欠陥があるか検出する、欠陥検出モードか判断する。欠陥検出モードを示す、たとえばフラグが検出された場合（YES ）画素欠陥検出処理に移行する（サブルーチンSUB1）。画素欠陥検出処理が、本発明の特徴を有する処理である。また、欠陥検出モードでなかった場合（NO）、電源がオフになったか判断する（ステップS16 ）。電源がオフの状態になっている場合（YES ）、終了に移行して動作を終える。また、電源がオンの状態にある場合（NO）、ステップS10 に戻って、たとえば、他のモード等が指定されるか待機する。
【００４７】
ステップS12 では、ユーザによるシャッタボタンの半押しで測光が行われ、さらにシャッタボタンの全押しで測光に応じて撮像部30で設定された露光が行われる。この露光後、撮像部30では得られた信号が内部を順次転送されて、出力される。出力された信号30A にはたとえば、前処理部32で相関二重サンプリング処理が施されてノイズ除去が行われた後、A/D 変換部34によりディジタル信号34a に変換される。このディジタル信号34a が撮像部30の受光素子に対応した画素データである。
【００４８】
得られた画素データは、システムバス16を介してメモリ36に供給される。メモリ36では、格納した画素データを一時記憶し（ステップS18 ）、この後、たとえば、システム制御部18からの要求に応じて画素データの読出しが行われる。
【００４９】
ところで、この撮影モードを行う前に、あらかじめ撮像部30に対する欠陥検出が行われている。この検出結果は、欠陥のある受光素子のアドレスまたは受光素子に対応するメモリ36のアドレスが欠陥アドレス格納部38に書き込み、記憶されている。メモリ36および欠陥アドレス格納部38は、非破壊型のメモリで、繰返し読み出すことができる。
【００５０】
次にメモリ36に読み込んだ画素データに対して欠陥画素の補正を施す（ステップS20 ）。補正を行うにあたり、システム制御部18は、欠陥アドレス格納部38に制御信号18b を供給して、格納している欠陥画素のアドレスを欠陥画素補正機能部184 に出力する。欠陥画素補正機能部184 では、供給されるアドレスの画素に対して周囲の正常な複数の画素を用いて平均値を求める。また、欠陥のある画素データを周囲の画素データで置換するようにしてもよい。このようにして算出または対応付けした画素データをメモリ36の欠陥アドレスに供給し、書き込んで画素データを置換する。この置換によって、画素データが補正される。
【００５１】
次に欠陥のないように補正された画素データを含む画素データがすべて読み出される（フレーム読出し；ステップS22 ）。読み出した画素データはシステムバス16を介して信号処理部40に供給される。
【００５２】
信号処理部40では、供給される画素データに各種の信号処理が施される( ステップS24 ）。具体的には、たとえば、図１に示すように信号データ補正部40a にて供給される画素データにガンマ補正やホワイトバランス等のデータ補正が施され、色差マトリクス部40b にて補正した画素データ40A が輝度データY および２つの色差データC_r, C_bに変換される。
【００５３】
これらの信号処理を経て輝度データY および２つの色差データC_r, C_bが画像データ40B として圧縮／伸張処理部42に供給される。
【００５４】
圧縮／伸張処理部42では、たとえば、JPEG（Joint Photographic Experts Group）規格での圧縮処理を施すほか、記録再生部44から圧縮したデータを読み出し、このデータに圧縮処理の逆変換、すなわち伸張処理を施している（ステップS26 ）。
【００５５】
ところで、撮像結果を確認するためモニタ46に表示させる場合、あらわに示していないが、信号処理部40からの出力を間引いてモニタ46に供給している。この表示を行いながら、圧縮処理された画像データ42a はシステムバス16を介して記録再生部44に供給される。供給された画像データ42a は記録再生部44のストレージに記録される（ステップS28 ）。
【００５６】
次にステップS16 では、前述したように電源の状態に応じて次の動作手順をどうするか判断している。このようにしてディジタルカメラ10は、撮像を行い、欠陥のない、良好な画像を表示・記録させている。
【００５７】
さらに、欠陥画素の検出手順を示す（図14のサブルーチンSUB1を参照）。ディジタルカメラ10において撮像部30に配設するフィルタがカラーかどうかを判断する（サブステップSS10）。カラーフィルタを用いているとき（YES ）、サブステップSS12に進む。また、ディジタルカメラ10にカラーフィルタでなく、白色光を透過するフィルタのとき（NO）、接続子A を介して図15のサブステップ14に進む。
【００５８】
本実施例では、カラーフィルタCFにベイヤパターンを用いた場合を説明する。カラーフィルタCFは、前述したように各種の配置パターンがあるが、パターンの共通点を考慮すると、欠陥検出処理用のルーチンを共通化できることは言うまでもない。一度にRGB の３つすべてについて検出できないので、色ごとに欠陥検出を行う。
【００５９】
まず、欠陥検出の対象の画素データが緑色かどうか判断する（サブステップSS12）。対象が緑色の場合（YES ）、サブステップSS16に進む。それ以外の色の場合（NO）、サブステップSS18に進む。
【００６０】
メモリ36からベイヤパターンの色(G) を読み出すと、図8(B)に示すパターンになる。ここで、欠陥検出の対象を、G₂₂ にすると、システム制御部18は、この対象の画素データG₂₂ のほか、周辺画素データの異常検出領域50から４つの画素データG₁₁, G₁₃, G₃₁, G₃₃を読み出す。
【００６１】
次に読み出した５つの画素データのなかから、周辺異常検出機能部180 では、たとえば、画素データの大きい順に並べて、中央の位置（順位）にある画素データを中央レベルとする（サブステップSS20）。この場合、３番目に並ぶ画素データである。４つの画素データG₁₁, G₁₃, G₃₁, G₃₃と対象の画素データG₂₂ が、それぞれ100, 102, 110, 104, 108 という値を有していたとすると、中央レベルは104 になる。さらに、サブステップSS20では、この値に対する許容範囲を50% に設定して、許容値の上限（156), 下限(52)を求めている。
【００６２】
次に欠陥検出を行う際の平均値の算出に用いる領域52内の画素データが上述した上限値および下限値の範囲内にあるか比較判定を行う（サブステップSS22）。このとき、さらに外周の画素データG₀₀=200, G₀₂=G₀₄=G₂₀=G₂₄=G₄₀=G₄₂=G₄₄=100という値を有していると、画素データG₀₀=200 が上限値を越えていることがわかる。周辺異常検出機能部180 では、画素データG₀₀ をレベル異常として除外し、出力する。
【００６３】
正常な周辺の画素データが画素欠陥検出機能部182 に供給される。画素欠陥検出機能部182 では、この場合、周辺の画素データとして、検出対象の画素データ以外の画素データ７個を用いて、平均値(G) を算出する（サブステップSS24）。この例では、平均値は100 である。また、画素データは12個用いて平均値を算出してもよい。これに対する許容範囲を10% にすると、欠陥画素の上限および下限は110, 90 である。
【００６４】
算出した平均値(G) に対する上限値および下限値の範囲内に欠陥検出の対象の画素データG₂₂ が含まれているかどうかを比較判定する（サブステップSS26）。G₂₂ の値は、この範囲に入っているので、画素欠陥でないことが判定される。一方、欠陥検出の対象の画素データがこの範囲内から外れた値を有していた場合、画素欠陥とみなしてこの位置に対応するアドレスを欠陥アドレス格納部38に出力する。
【００６５】
また、これまでのように除外した画素データG₀₀ も含めて画素欠陥の検出を行うと、式(1) から
【００６６】
【数１】
｛（200 ＋100 ×7 ）／8 −100 ｝／｛（200 ＋100 ×7 ）／8 ｝×100
＝12（%) ・・・(1)
になる。この結果、対象の画素データが正常であるにもかかわらず、許容範囲を越えた異常データとして誤判定されてしまう。本実施例で示したように、異常な周辺の画素データを除外することによって、的確に、かつ正確に欠陥検出が行えるようになる。
【００６７】
サブステップSS26において、欠陥検出した結果、正常な画素データに対してはあらわに図示していないが何も処理することなく次の処理（サブステップSS32）に移行する。また、欠陥と判定された場合、接続子B を介してその画素データのアドレスを格納し、記憶する（サブステップSS28）。
【００６８】
そして、欠陥補正機能部184 では、格納したアドレスの画素データに対する補正処理を行う（サブステップSS30）。欠陥補正機能部184 には、このとき、周辺異常検出機能部180 に供給されている画素データと同じ領域の画素データが供給されている。異常な画素データを除くとともに、供給されるアドレスまたは欠陥検出信号182bに基づいて正常な周辺の画素データから補正画素データを生成する。生成の方法は、周辺の画素データで置換させる方法や周辺に位置する複数の画素データの平均値で求めてもよい。システム制御部18は、制御信号18a をメモリ36に供給し、データの書換え制御を行う。すなわち、メモリ36の該当アドレスのデータがここで得られた画素データにより書きかえられる。
【００６９】
次にサブステップSS32では、撮像部30の受光素子の領域すべてに対して欠陥検出が完了したかどうかの判断を行う。まだ完了していない場合（NO）、接続子C を介してサブステップSS10に戻る。チェックが完了している場合（YES ）、サブステップSS34に進む。サブステップSS34では、三原色すべてに対する欠陥検出処理が終了したかどうかを判断している。まだ検出していない色がある場合（NO）、上述したようにサブステップSS10に戻る。また、三原色すべて完了した場合（YES ）、リターンに移行してこの欠陥検出処理を終了する。
【００７０】
先に述べたように、サブステップSS18では、欠陥検出の対象の画素データの色が赤(R) かどうかの判断をしている。対象が赤の場合（YES ）、サブステップSS36に進む。また、対象が緑および赤でもない場合（NO）、サブステップSS38に進む。以後、色G の場合と同様の処理を行うことから、使用する画素データの位置について説明し、実際に中央レベルおよび平均値の具体的な例は省略する。
【００７１】
サブステップSS36では、図６に示したパターンで画素データを読み出す。欠陥検出の対象がR₂₃ の場合、領域54の画素データR₀₁, R₀₃, R₀₅, R₂₁, R₂₅, R₄₁, R₄₃, R₄₅を読み出す。中央レベルは、欠陥検出の対象の画素データR₂₃ および画素データR₀₃, R₄₃, R₂₁, R₂₅の４画素の計５画素を用いて並べ換えて中央にある画素データにする（サブステップSS38）。求めた中央レベルに対してしきい値の範囲を算出する。
【００７２】
次に算出したしきい値（上限および下限）と周囲の８つの画素データとを比較判定する（サブステップSS40）。比較判定では、上限および下限の範囲内にある画素データを正常な画素データとして用いる。比較判定によって選ばれた画素データを用いて、平均値(R) を算出する（サブステップSS42）。また、この平均値(R) に対する許容範囲もしきい値として求める。
【００７３】
求めたしきい値と欠陥検出の対象の画素データR₂₃ とを比較判定する（サブステップSS44）。比較判定によって、画素データR₂₃ がしきい値を越えている場合、この画素データのアドレスを出力し、サブステップSS28に進む。以後のサブステップSS28〜SS32までの処理を経て欠陥検出がすべて完了したかを判断している（サブステップSS34）。
【００７４】
三原色の最後に青色に対する欠陥検出を行う（サブステップSS38）。メモリ36から読み出すパターンは赤色のときと同じである。ただし、読み出す位置、すなわちラインが図６の赤色のパターンに比べて１ライン下から読み出す（図7(B)の領域56を参照）。この場合、欠陥検出の対象の画素データは、B₃₂ である。色R のときと同様に、周辺異常検出機能部180 では欠陥検出の対象の画素データB₃₂ および４つの画素データR₁₂, R₅₂, R₃₀, R₃₄を用いて色R と同様の手順で中央レベルを求める（サブステップSS46）。そして、この中央レベルに対するあらかじめ設定された許容範囲に応じて上限および下限を設定する。
【００７５】
求めた上限および下限のレベルとメモリ36から読み出した周囲の８つの画素データB₁₀, B₁₂, B₁₄, B₃₀, B₃₄, B₅₀, B₅₂, B₅₄とを比較判定する（サブステップSS48）。比較判定の結果、正常な範囲の画素データだけを用いる。
【００７６】
画素欠陥検出機能部182 では、選択した正常な範囲の画素データを用いて平均値(B) を算出する（サブステップSS50）。この場合も平均値(B) に対するしきい値を求める。次にここで求めた上限および下限の範囲内に欠陥検出の対象の画素データが入るかどうか比較判定を行う（サブステップSS52）。比較判定によって、画素データB₃₂ がしきい値を越えている場合、この画素データのアドレスを出力し、サブステップSS28に進む。以後のサブステップSS28〜SS32までの処理を経て欠陥検出がすべて完了したかを判断している（サブステップSS34）。
【００７７】
最後に、白黒（モノクロ）の場合の欠陥画素の検出について説明する。この場合、色フィルタを用いていないので、受光素子には白色光(W) が供給される。欠陥検出の対象の画素は、色の区別なく、この対象の画素に対して周囲の画素を用いることができる。したがって、パターンは、対象の画素に対して隙間なく稠密に周囲の画素をとるようにしている（図16の領域58を参照；サブステップSS14）。対象の画素データはW₁₁ にした場合、周囲の８つの画素データW₀₀, W₀₁, W₀₂, W₁₀, W₁₂, W₂₀, W₂₁, W₂₂の計、９個を周辺異常検出機能部180 に読み出す。
【００７８】
次に読み出した周囲の画素データのうち、欠陥検出の対象の画素データW₁₁ および４個の画素データW₀₁, W₂₁, W₁₀, W₁₂を用いて、大きい順に並べて中央レベルを求める。そして、周辺異常検出機能部180 では中央レベルに対する許容範囲を求められる。これにより、異常画素に対する許容レベル（上限および下限）が得られる（サブステップSS54）。
【００７９】
このようにして求めた許容レベルと欠陥検出の対象の周囲の８個の画素データW₀₀, W₀₁, W₀₂, W₁₀, W₁₂, W₂₀, W₂₁, W₂₂とをそれぞれ、比較して異常な画素データの検出を行う（サブステップSS56）。許容レベルを超える異常な画素データが８つの周囲の画素データのなかにあるかどうかを判定する。この判定結果を用いて、異常な画素データを除外して、正常な画素データを周辺異常検出機能部180 から画素欠陥検出機能部182 に供給する。
【００８０】
画素欠陥検出機能部182 では、正常な画素データを用いて平均値(W) を算出する（サブステップSS58）。また、平均値(W) に対する許容レベル（上限および下限）も算出する。
【００８１】
サブステップSS60では、平均値(W) に対する許容レベル（上限および下限）と欠陥検出の対象の画素データとを比較判定する。比較判定によって、画素データW₁₁ がしきい値を越えている場合、この画素データのアドレスを出力し、サブステップSS28に進む。以後のサブステップSS28〜SS32までの処理を経て欠陥検出がすべて完了したかを判断している（サブステップSS34）。
【００８２】
なお、本実施例では色フィルタCFがベイヤパターンの場合の欠陥検出について説明したが、画素欠陥検出はベイヤパターンに限定されるものでなく、前述した各種のパターンにおいても色ごとに中央レベルおよび平均値を求め、欠陥対象の画素を含む所定の領域の画素と求めた中央レベルおよび平均値をそれぞれ比較して欠陥画素を検出することができることは言うまでもない。
【００８３】
また、所定の領域は、本実施例の領域に限定されるものでなく、さらに広い領域の画素データにしてもよい。
【００８４】
以上のように構成することにより、単に欠陥検出の対象の画素データと周囲の画素データによるしきい値とから欠陥検出するだけでは避けられない誤検出を、中央レベルという平均値でない値およびその値の許容範囲に応じて得られる値によって周囲の画素データに含まれる異常な画素データを検出して除外することにより、より正確な画素欠陥の検出を行うことができる。欠陥検出されたアドレスを用いて撮像した画像を補正することにより、良好な画像を記録・表示させることができるようになる。
【００８５】
【発明の効果】
このように本発明の固体撮像装置によれば、第１の記憶手段から同色の画素データを周囲異常検出機能ブロックに供給して、欠陥検出の対象の画素の周辺の所定の領域に位置する画素データが、大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲内にあるかどうかに基づき画素データの異常を色ごとに検出し、欠陥検出機能ブロックで異常のある画素データを除くことによって、誤判別をもたらす虞を排除し、残る画素データを用いて平均値を求め、この平均値を中心に第２の許容範囲内にあって正常かどうかにより欠陥検出の対象の画素に対する欠陥画素の判別を行い、検出した際に欠陥画素の位置（アドレス）を出力して誤判別をなくして、欠陥検出の位置を的確に検出することにより、欠陥画素の検出精度を格段に高めることができ、メディアンフィルタを用いた処理と異なり、欠陥検出時間を短時間で得ることができる。これにより、良好な画像を提供することができる。
【００８６】
また、本発明の画素欠陥検出方法によれば、撮像した生の画素データを一時格納し、画像の検出領域における検出対象と同色の画素データを読み出して画素データの大きさの順に並べた中央の順位に対する第１の許容範囲から第１の上限レベルおよび第１の下限レベルを算出して得られたこれらの値と欠陥検出の対象を除く画素データとを比較して、欠陥検出の対象の周囲に位置する画素データに異常があるかどうかを知ることができ、第１の上限レベルおよび第１の下限レベルの範囲内の正常と判定された画素データだけを用いて平均値を算出する。得られた平均値に対する第２の許容範囲から第２の上限レベルおよび第２の下限レベルを求め、これらのレベル範囲内に欠陥検出の対象の画素データがあるか比較判定して欠陥検出を行って、このように欠陥検出の前に異常な画素データの検出を行うことにより、検出の誤判定を防止でき、欠陥のある画素データの位置を的確に検出することができる。また、メディアンフィルタを用いた処理と異なり、欠陥検出時間を短時間で得ることができる。これにより、良好な画像を提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】色フィルタのベイヤパターンおよびG ストライプRB市松パターンを示す模式図である。
【図３】色フィルタのG ストライプRB完全市松パターンを示す模式図である。
【図４】色フィルタのG 正方RB市松パターンを示す模式図である。
【図５】色フィルタのG 正方RB完全市松パターンを示す模式図である。
【図６】図2(A)のベイヤパターンにおける色R の配置パターンを示す模式図である。
【図７】図２のベイヤパターンにおける色B とG ストライプRB市松パターンにおける色B の配置パターンを示す模式図である。
【図８】図2(B)のG ストライプRB市松または図３のG ストライプRB完全市松パターンと図2(A)のベイヤパターンにおける色G の配置パターンを示す模式図である。
【図９】図３のG ストライプRB完全市松パターンにおける色R と色B の配置パターンを示す模式図である。
【図１０】図５のG 正方RB完全市松パターンにおける色R の配置パターンを示す模式図である。
【図１１】図５のG 正方RB完全市松パターンにおける色R の配置パターンを示す模式図である。
【図１２】図４のG 正方RB市松パターンおよび図５のG 正方RB完全市松パターンに共通な色G の配置パターンを示す模式図である。
【図１３】本発明の固体撮像装置を適用したディジタルカメラの動作を説明するメインフローチャートである。
【図１４】図13に示した画素欠陥検出処理（サブルーチンSUB1）の手順を説明するフローチャートである。
【図１５】図14の画素欠陥検出処理における手順の続きを説明するフローチャートである。
【図１６】色フィルタが白黒対応の場合に欠陥検出の対象に対して読み出される周辺の領域を示す模式図である。
【符号の説明】
10 ディジタルカメラ
16 システムバス
18 システム制御部
30 撮像部
36 メモリ
38 欠陥アドレス格納部
180 周辺異常検出機能部
182 画素欠陥検出機能部
184 欠陥補正機能部
CF 色フィルタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state imaging device and a pixel defect detection method, and particularly suitable for use in, for example, an electronic camera that detects pixel defects in consideration of abnormalities in an image sensor around a target image sensor at the time of manufacture. It is a thing.
[0002]
[Prior art]
For example, an electronic camera is equipped with a solid-state image sensor for imaging an object scene. A charge coupled device (hereinafter, referred to as CCD) is often used as a solid-state imaging device. A CCD may contain defective pixels. CCD manufacturers, for example, check their defective pixels in-house and provide information to manufacturing equipment manufacturers that mount CCDs using the defective pixel location as an address. When such information is provided, the manufacturing equipment manufacturer has only to use this information, so that it is not necessary to detect defective pixels.
[0003]
By the way, CCD manufacturers often do not attach this information. In this case, a defective pixel is detected on the manufacturer side. In the case of detecting defective pixels, for example, the following technique is used. In the CCD digital camera disclosed in Japanese Patent Laid-Open No. 5-68209, the defective pixel detection unit detects the pixel unit, stores the detected pixel address in the defective pixel address storage unit, and performs defective pixel correction on the address. Display an image without missing pixels.
[0004]
Further, the defect correction apparatus disclosed in Japanese Patent Laid-Open No. 7-15670 not only detects the position of a defective pixel, but also detects a signal level of a defective pixel having a higher level than usual, and a signal level equal to or higher than a predetermined value. In contrast, not only the defective pixel of interest but also the next pixel signal is corrected to completely correct a huge defect.
[0005]
[Problems to be solved by the invention]
Various methods have been proposed for detecting a defective pixel and correcting the detected defective pixel. However, if the pixel is designated in advance as an appropriate level of the pixel or an upper limit level and a lower limit level of the defective pixel, Discrimination was easy, and misdetection of defect detection was unlikely to occur.
[0006]
However, CCD manufacturers often do not provide information on not only the defective pixel address but also the upper limit level. This situation may increase false detection of defective pixels. In order to eliminate erroneous detection of pixel defect detection, that is, to improve defect detection accuracy, for example, a pixel defect correction device disclosed in Japanese Patent Laid-Open No. 7-7675 may be used. This device controls the threshold used to determine the amount of protrusion of a pixel (to detect a defect) according to the surrounding luminance level, detects and determines a pixel defect with a detection circuit, and outputs a correction signal to the correction circuit. The pixel level is corrected.
[0007]
By the way, the criterion for determining a pixel defect is based on the peripheral pixel level of the defect detection target. If there is an abnormality in the peripheral pixel, the threshold value calculated from these pixels is used to determine the defective pixel. When detection is performed, the threshold value (normal level range) obtained from normal pixels is abnormally high or low (that is, the level range is abnormally wide or narrow). As a result, a defect detection misjudgment may occur in which the target pixel of defect detection is a normal pixel despite being an abnormal pixel, or conversely, a normal pixel is abnormal.
[0008]
In addition, a method of detecting a defective pixel by applying a median filter to the entire pixel area of the CCD is also used. This method has a problem that it takes time to detect.
[0009]
It is an object of the present invention to provide a solid-state imaging device and a pixel defect detection method capable of eliminating such drawbacks of the prior art, eliminating erroneous determination of defective pixels, and shortening detection time.
[0010]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention color-separates incident light from an object scene, images it, converts it into an imaging signal, converts the obtained imaging signal into a digital signal, and pixel data representing an image In the solid-state imaging device that performs signal processing on the pixel data, the device stores the pixel data before the signal processing is performed, and the first storage unit that can repeatedly read out the stored pixel data; According to the color arrangement pattern of the color filter segment used for the separation, the pixel data of the same color in the predetermined area including the pixel data of the defect detection target is read out, and the pixel data of the same color is read as the level of the pixel data in the area A surrounding abnormality detection function block that detects an abnormality of the pixel data for each color based on whether or not the pixel data is within a first allowable range determined in advance in the order of the size of the center. And the pixel data in the remaining area except for the abnormal pixels detected by the surrounding abnormality detection means, the pixel data for the defect detection target is determined in advance with respect to the average value of the pixel data, A defect in which the second allowable range is set as a reference upper limit level and lower limit level, defect detection is performed by comparing the upper limit level and lower limit level with pixel data to be detected, and position information of the detected defective pixel is output. And a detection function block.
[0011]
The solid-state imaging device of the present invention supplies pixel data of the same color from the first storage means to the surrounding abnormality detection function block, and the pixel data located in a predetermined area around the pixel to be detected by the defect has a size. Are detected in each color based on whether or not they are within the first allowable range determined in advance with respect to the center order, and erroneous pixel data is removed by the defect detection function block. The average value is obtained using the remaining pixel data, and the defective pixel is determined for the pixel subject to defect detection based on whether the average value is within the second allowable range and is normal. When detected, the position (address) of the defective pixel is output to eliminate erroneous determination, and the position of defect detection is accurately detected.
[0012]
Further, in order to solve the above-described problems, the present invention images incident light from an object scene and converts it into an imaging signal, and converts the obtained imaging signal into a digital signal to form pixel data representing an image. A pixel defect detection method for detecting an abnormal level of image data included in a predetermined image area as a defect using the image data and correcting the image data at the detected position. A storage step for temporarily storing data, a step of reading out a predetermined number of pixel data including the target pixel data, and a size of the pixel data in the detection region. The first upper limit level and the first lower limit level are calculated according to a first allowable range that is arranged in order and determined in advance with respect to the center order, and the calculated first upper limit level The first lower limit level and the pixel data located around the defect detection target, respectively, to extract pixel data within the range of the first upper limit level and the first lower limit level. A step of calculating an average value using the extracted pixel data, calculating a second upper limit level and a second lower limit level according to a predetermined second allowable range for the average value, and a calculated first A second comparison and determination step of comparing the upper limit level of 2 and the second lower limit level with the pixel data of the defect detection target and determining whether or not the pixel is a defective pixel.
[0013]
The pixel defect detection method of the present invention temporarily stores captured raw pixel data, reads the detection target in the image detection area and the pixel data in the detection area, and arranges them in the order of the size of the pixel data. These values obtained by calculating the first upper limit level and the first lower limit level from the first allowable range are compared with the pixel data excluding the defect detection target. As a result, it is possible to know whether there is an abnormality in the pixel data located around the defect detection target. The average value is calculated using only pixel data determined to be normal within the range of the first upper limit level and the first lower limit level. By detecting the second upper limit level and the second lower limit level from the second allowable range with respect to the obtained average value, and determining whether there is pixel data to be detected within the level range, defect detection is performed. It is carried out. Thus, by detecting abnormal pixel data before detecting a defect, it is possible to prevent erroneous determination of detection and to accurately detect the position of defective pixel data.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of a solid-state imaging device according to the present invention will be described in detail with reference to the accompanying drawings.
[0015]
The solid-state imaging device according to the present invention supplies pixel data of the same color from the first memory to the ambient abnormality detection function unit, and the pixel data located in a predetermined area around the defect detection target pixel are arranged in descending order. An abnormality for each color is detected based on whether or not it is within a predetermined first allowable range with respect to the median value of the pixels, and the defect detection function unit removes the abnormal pixel data and averages using these pixel data The value is obtained, and the defective pixel is determined with respect to the pixel subject to defect detection depending on whether it is within the second allowable range centered on this average value, and the position (address) of the defective pixel is output when detected. In the correction function unit, the pixel data at the position detected by the defect detection function unit is corrected using normal peripheral pixel data to improve the accuracy of defect detection by eliminating erroneous determination. There .
[0016]
A configuration of a digital still camera 10 according to an embodiment to which the present invention is applied is shown in FIG. Further, illustration and description of portions not directly related to the present invention are omitted. Here, the reference number of the signal is represented by the reference number of the connecting line that appears.
[0017]
The digital still camera 10 in FIG. 1 includes an optical lens system 12, an operation unit 14, a system control unit 18, a signal generation unit 20, a timing signal generation unit 22, a driver unit 24, an aperture adjustment mechanism 26, an optical low-pass filter 28, a color Decomposing unit CF, imaging unit 30, preprocessing unit 32, A / D conversion unit 34, memory 36, defect address storage unit 38, signal processing unit 40, compression / decompression unit 42, recording / reproducing unit 44, and monitor 46 It has been. Each of these parts will be described sequentially. The optical lens system 12 is configured by combining a plurality of optical lenses, for example. Although not shown in the figure, the optical lens system 12 adjusts the position where these optical lenses are arranged, and adjusts the angle of view of the screen according to the operation signal 14a from the operation unit 14, and the distance between the subject and the camera 10. It includes an AF (Automatic Focus) adjustment mechanism that adjusts the focus according to the focus. The operation signal 14a is supplied to the system control unit 18 via the system bus 16. The optical lens system 12 is supplied with a drive signal 24a for operating these mechanisms via a signal generator 20, a timing signal generator 22, and a driver unit 24, which will be described later.
[0018]
The operation unit 14 includes a shutter switch (not shown) and a cursor selection function for selecting items displayed on the monitor screen, for example. In particular, the shutter switch determines whether the first mode or the second mode is selected via the system bus 16 so that the camera 10 is operated at each of a plurality of stages by an operation signal 14a. To be notified.
[0019]
The system control unit 18 includes, for example, a CPU (Central Processing Unit). The system control unit 18 includes a ROM (Read Only Memory) in which the operation procedure of the digital still camera 10 is written. The system control unit 18 generates, for example, a control signal 18a for controlling the operation of each unit using information 14a supplied from the operation unit 14 in accordance with a user operation and information on this ROM.
[0020]
Further, the system control unit 18 includes a peripheral abnormality detection function unit 180, a pixel defect detection function unit 182 and a defect correction function unit 184, which are features of the present invention. This defect detection is performed in a special mode. The peripheral abnormality detection function unit 180 detects, for example, an abnormality in the pixel data 180a located in the peripheral region with respect to a pixel to be detected from defects in the raw pixel data 36a supplied from the memory 36 via the system bus 16 when light is blocked. It has a function to detect. The peripheral area is a predetermined range according to the arrangement of the color filter segments.
[0021]
The peripheral abnormality detection function unit 180 considers only the peripheral area of the defect detection target from the read pixel data, arranges the pixel data 180a of the peripheral area in the order of large or small, and sets the pixel data of the middle rank as the median value. The upper and lower limits of the threshold value of abnormal pixel data are set according to an allowable range specified in advance for the median value. Further, the peripheral abnormality detection function unit 180 compares the upper and lower limits with each pixel data to determine whether there is an abnormality. The peripheral abnormality detection function unit 180 supplies the pixel data 180b to the pixel defect detection function unit 182 according to the result of the abnormality detection. The pixel data 180b includes normal peripheral pixel data and pixel data to be detected.
[0022]
The pixel defect detection function unit 182 uses the supplied pixel data 180b to determine whether or not there is an abnormality in the pixel data subject to defect detection, and as a result, detects a defect in the corresponding light receiving element of the imaging unit 30. Have The pixel defect detection function unit 182 calculates an average value of peripheral pixel data for the defect detection target in the pixel data 180b. The upper and lower limits obtained by the allowable range for this average value are taken as the reference range. The pixel defect detection function unit 182 determines whether the target pixel data is abnormal data by comparing the upper limit and lower limit values with the target pixel data for defect detection. If an abnormality is detected as a result of the determination, the address of the imaging unit 30 or the address 182a of the memory 36 corresponding to the supplied pixel data is output to the defect address storage unit 38. Further, when an abnormality is detected, the pixel defect detection function unit 182 outputs a detection signal 182b notifying that a defect has been detected to the defect correction function unit 184.
[0023]
The defect correction function unit 184 has a function of correcting defects according to the detection signal 182b from the pixel defect detection function unit 182 using the supplied pixel data 180a. As a method for correcting defective pixel data, replacement with peripheral pixel data or an average value of pixel data located at both ends across a defect target may be performed. The defect correction function unit 184 may be provided with a memory. However, in consideration of component saving, the defect correction function unit 184 replaces the memory data at the address of the memory 36 that stores the raw pixel data with the corrected pixel data. Good.
[0024]
The system control unit 18 outputs a control signal 18b for notifying that it is a normal photographing mode to the defect address storage unit 38. The defect address storage unit 38 outputs a defect notification signal 18c for notifying the defect position in this mode. The defect correction function unit 184 is supplied with raw pixel data and a defect notification signal 18c from the memory 36 during normal imaging. The defect correction function unit 184 supplies the pixel data corrected under the control of the system control unit 18 to the memory 36, and replaces the pixel data in the corresponding part of the memory 36.
[0025]
The system control unit 18 includes the generated control signal 18a as a signal generation unit 20, a timing signal generation unit 22, a preprocessing unit 32, and an A / D conversion unit 34 that do not indicate supply of the control signal 18a. The signal is also supplied to the signal processing unit 40, the compression / decompression unit 42, the recording / reproducing unit 44, and the monitor 46 via the bus 16.
[0026]
The signal generator 20 generates a system clock 20a by an oscillator (not shown) according to the control from the system controller 18. The signal generator 20 supplies the system clock 20a to the timing signal generator 22 and the signal processor 40. The system clock 20a is also supplied as the operation timing of the system control unit 18 via the system bus 16, for example.
[0027]
The timing signal generator 22 includes a circuit that generates a timing signal 22a for operating each unit based on the supplied system clock 20a based on the control signal 18a. The timing signal generator 22 outputs the generated timing signal 22a to each unit as shown in FIG. In addition to the zoom adjustment mechanism and AF adjustment mechanism of the optical lens system 12 described above, the driver unit 24 supplies a drive signal 24a to the aperture adjustment mechanism 26 and the imaging unit 30, respectively.
[0028]
The aperture adjustment mechanism 26 is a mechanism that adjusts the incident light beam cross-sectional area (that is, the aperture opening area) so as to supply the imaging unit 30 with the optimal incident light beam in photographing the subject. A drive signal 24 a is also supplied from the driver unit 24 to the aperture adjusting mechanism 26. The drive signal 24a is a signal for an operation performed in accordance with the control from the system control unit 18 described above. In this case, the system control unit 18 calculates the aperture / exposure time as AE (Automatic Exposure) processing based on the signal charge photoelectrically converted by the imaging unit 30 (not shown). After the control signal 18a corresponding to the calculated value is supplied to the timing signal generator 22, the diaphragm adjustment mechanism 26 receives a drive signal 24a corresponding to the signal 22a from the timing signal generator 22 from the driver unit 24. Supplied.
[0029]
In the imaging unit 30, an imaging element (light receiving element) for photoelectric conversion is arranged so that a plane (imaging surface) orthogonal to the optical axis of the optical lens system 12 is formed. Also, on the incident light side of the image sensor, a color filter CF that integrally separates the color is integrated with an optical low-pass filter 28 that limits the spatial frequency of the optical image to a Nyquist frequency or lower corresponding to each image sensor. Established. In this embodiment, imaging is performed using a single-plate color filter. The type and the like of the color filter CF will be described in detail later. A CCD (Charge Coupled Device) or MOS (Metal Oxide Semiconductor) type solid-state imaging device is applied as the imaging device. In the imaging unit 30, the signal charge obtained by photoelectric conversion in accordance with the supplied drive signal 24a is read as a predetermined timing, for example, to the vertical transfer path by a field shift during the electronic shutter off period of the signal reading period. Then, the signal charge obtained by line shifting the vertical transfer path is supplied to the horizontal transfer path, and the signal charge passing through the horizontal transfer path is converted into an analog voltage signal 30A by current / voltage conversion by an output circuit (not shown), and the preprocessor 32 Is output. In the CCD type, the imaging unit 30 performs pixel thinning readout and all pixel readout in accordance with a signal charge readout mode.
[0030]
Although not shown, the preprocessing unit 32 includes a CDS (Correlated Double Sampling: hereinafter referred to as CDS) unit. The CDS unit uses, for example, a CCD type imaging device, and basically clamps various noises generated by the device with a timing signal 22a from the timing signal generation unit 22, and a signal 30A by the timing signal 22a. A sample hold circuit for holding is provided. The CDS unit removes the noise component and sends the analog output signal 32a to the A / D conversion unit. The A / D converter 34 has an A / D converter that quantizes the signal level of the supplied analog signal 32a with a predetermined quantization level and converts it into a digital signal 34a. The A / D converter 34 outputs the digital signal 34a converted by the timing signal 22a such as the conversion clock supplied from the timing signal generator 22 to the memory 36 via the system bus 16.
[0031]
Both the memory 36 and the defective address storage unit 38 include a non-destructive memory. The memory 36 is a frame memory that stores captured pixel data of one screen. The memory 36 sends a control signal 18a from the system control unit 18 to the system bus 16, and the writing / reading control of the pixel data 36a is performed via the system bus 16. After correction in the normal imaging mode, the memory 36 replaces the pixel data at the address corresponding to the defective pixel with the defective pixel data. After completion of the correction, the memory 36 outputs the pixel data to be stored via the system bus 16 to the signal processing unit 40.
[0032]
In addition, the defect address storage unit 38 stores addresses of the maximum number of defective pixels expected and has an address counter. The defective address storage unit 38 outputs a defect notification signal 18c when it becomes the same as the address counter and the stored address value.
[0033]
The signal processing unit 40 includes a data correction unit 40a and a color difference matrix unit 40b. Although not shown, the data correction unit 40a includes a gamma correction circuit that performs color correction, an AWB (Automatic White Balance) circuit that automatically adjusts white balance, and the like. In particular, the gamma correction circuit uses a look-up table that is a collection of a plurality of data sets in which a digital signal supplied to a ROM (Read Only Memory) and correction data output corresponding to the digital signal are combined. In the series of data correction, the data is supplied in accordance with the timing signal 22a from the timing signal generator 22. The data correction unit 40a outputs the processed correction data 40A to the color difference matrix unit 40b.
[0034]
The color difference matrix unit 40b has a function of generating luminance data and two color difference data from the three primary colors RGB using the pixel data supplied from the memory.
[0035]
The signal processing unit 40 may be operated when the release button of the operation unit 14 is half-pressed and when the release button is fully-pressed, although a specific description is omitted.
[0036]
The compression / decompression unit 42 includes, for example, a circuit that performs compression in accordance with the JPEG (Joint Photographic Experts Group) standard using orthogonal transform, and a circuit that decompresses the compressed image to the original data again. The compression / decompression unit 42 supplies the compressed data to the recording / reproducing unit 44 via the system bus 16 during recording under the control of the system control unit 18. The compression / expansion unit 42 can also pass the data supplied from the color difference matrix unit 40b through the control of the system control unit 18 and supply the data to the monitor 46 via the system bus 16. When the compression / decompression unit 42 performs the decompression process, the data read from the recording / reproducing unit 44 is taken into the compression / decompression unit 42 via the system bus 16 and processed. Here, the processed data is also supplied to the monitor 46 for display.
[0037]
The recording / playback unit 44 includes a recording processing unit for recording on a recording medium and a playback processing unit for reading image data recorded from the recording medium (both not shown). Examples of the recording medium include a so-called smart media semiconductor memory, a magnetic disk, and an optical disk. In the case of using a magnetic disk or an optical disk, there is a head for writing the image data together with a modulation unit that modulates the image data. The monitor 46 has a function of displaying luminance data and color difference data or three primary color RGB data supplied via the system bus 16 in accordance with the control of the system control unit 18 in consideration of the size of the screen and adjusting the timing. Have.
[0038]
In this way, defective pixels included in the imaging unit 30 are accurately detected, and processing is performed without using a median filter to reduce time.
[0039]
Next, the color filter CF disposed on the incident light incident side of the imaging unit 30 will be briefly described. Various arrangement patterns have been proposed and actually used for the color filter CF in consideration of the color reproducibility of the obtained image. To give some examples, the Bayer pattern shown in Fig. 2 (A), the G stripe RB checkered pattern shown in Fig. 2 (B) and the G stripe RB complete checkered pattern shown in Fig. 3 and the arrangement of the light receiving elements are shifted. In addition, there are a G square RB checkered pattern in FIG. 4 and a G square RB complete checkered pattern in FIG. 2 to 5, R, G, B are symbols indicating the colors of the three primary color filter segments, and the subscripts of the symbols R, G, B are matrix representations (i, j) representing the respective positions. is there.
[0040]
If attention is paid to the color of each arrangement pattern, it can be seen that a common pattern exists for each color. For example, the Bayer pattern and the G stripe RB checkered pattern have the same positional relationship for the color R (see FIGS. 2A, 2B, and 6). In addition, when the arrangement shown in FIGS. 2 (A) and 2 (B) is used, the color B of the G stripe RB checkered pattern in FIG. 7 (A) is shown in FIG. Compared to the Bayer pattern in (B), the position is shifted by one line. In this case, the Bayer pattern has a larger area to be handled than the color B of the G stripe RB checkered pattern. If pixel data is read in consideration of these, it can be regarded as the same pattern.
[0041]
The G-stripe RB checkerboard pattern and the G-stripe RB perfect checkerboard pattern also completely match the color G (see FIG. 8 (A)). The color G in the Bayer pattern is a checkered pattern shifted by one line for each line (see FIG. 8B). Therefore, pixel data may be read out by shifting the sampling column for each line.
[0042]
The relationship between the color R and the color B in the G-stripe RB complete checkered pattern is the relationship shown in FIG. 9 (A) and FIG. 9 (B). The relationship between the two can be handled as substantially the same reading when the reading position is different by one line and the reading is performed in consideration. In consideration of pixel shift, the relationship between the color R and the color B in the G square RB perfect checkerboard pattern may be read by shifting the reading position by two lines, as is apparent from FIGS. Although the color-specific pattern of the G square RB checkered pattern is not shown, the colors R and B are read out every three lines. In the case of the so-called honeycomb pattern in which the pixels are shifted in this way, it can be seen that the area including the surrounding pixel data is a wider area. The color G is a common pattern in the G square RB checkerboard pattern and the G square RB checkerboard pattern (see FIG. 12).
[0043]
As another view, when the Bayer pattern is viewed at an angle of 45 °, the G square RB perfect checkered pattern can be regarded as a pattern similar to this Bayer pattern. If this view is used, the readout pattern can be further shared.
[0044]
It can be seen that pixel data can be shared by classifying the various color filters for each color and adding a slight improvement.
[0045]
Next, a procedure for detecting a pixel defect in the digital camera 10 will be described. The digital camera 10 operates according to the main flowchart shown in FIG. After the power is turned on, initial settings for various modes are performed. This setting generally shifts the mode to the shooting mode. However, when detecting a pixel defect in a manufacturing process or the like, the mode is set to a defect detection mode. Since various modes are set in this way, it is determined whether or not the digital camera 10 is in the shooting mode after the power is turned on and set (step S10). If the determined result is the shooting mode (YES), the process proceeds to step S12. If the result is not the shooting mode (NO), the process proceeds to step S14.
[0046]
In step S14, it is determined whether the light receiving element of the imaging unit 30 is defective or not. If the flag indicating the defect detection mode is detected, for example (YES), the process proceeds to the pixel defect detection process (subroutine SUB1). The pixel defect detection process is a process having the characteristics of the present invention. If not in the defect detection mode (NO), it is determined whether the power is turned off (step S16). When the power is turned off (YES), the operation is terminated and the operation is finished. If the power is on (NO), the process returns to step S10 and waits for another mode or the like to be designated, for example.
[0047]
In step S12, photometry is performed by half-pressing the shutter button by the user, and exposure set by the imaging unit 30 is performed according to photometry by further pressing the shutter button. After this exposure, the image pickup unit 30 sequentially transfers the obtained signals and outputs them. For example, the output signal 30A is subjected to correlated double sampling processing in the preprocessing unit 32 to remove noise, and then converted into a digital signal 34a by the A / D conversion unit 34. The digital signal 34a is pixel data corresponding to the light receiving element of the imaging unit 30.
[0048]
The obtained pixel data is supplied to the memory 36 via the system bus 16. The memory 36 temporarily stores the stored pixel data (step S18), and thereafter, for example, the pixel data is read in response to a request from the system control unit 18.
[0049]
By the way, defect detection for the image pickup unit 30 is performed in advance before performing this shooting mode. As the detection result, the address of the defective light receiving element or the address of the memory 36 corresponding to the light receiving element is written and stored in the defective address storage unit 38. The memory 36 and the defective address storage unit 38 are non-destructive memories and can be read repeatedly.
[0050]
Next, the defective pixel is corrected for the pixel data read into the memory 36 (step S20). In performing the correction, the system control unit 18 supplies the control signal 18b to the defective address storage unit 38 and outputs the stored defective pixel address to the defective pixel correction function unit 184. The defective pixel correction function unit 184 obtains an average value using a plurality of surrounding normal pixels with respect to the pixel of the supplied address. Further, defective pixel data may be replaced with surrounding pixel data. The pixel data calculated or associated in this way is supplied to the defective address of the memory 36 and written to replace the pixel data. This replacement corrects the pixel data.
[0051]
Next, all the pixel data including the pixel data corrected so as not to be defective is read (frame reading; step S22). The read pixel data is supplied to the signal processing unit 40 via the system bus 16.
[0052]
In the signal processing unit 40, various types of signal processing are performed on the supplied pixel data (step S24). Specifically, for example, as shown in FIG. 1, the pixel data supplied by the signal data correction unit 40a is subjected to data correction such as gamma correction and white balance, and the pixel data 40A corrected by the color difference matrix unit 40b. Is luminance data Y and two color difference data C _r , C _b Is converted to
[0053]
Through these signal processing, luminance data Y and two color difference data C _r , C _b Is supplied to the compression / decompression processor 42 as image data 40B.
[0054]
The compression / decompression processing unit 42 performs, for example, JPEG (Joint Photographic Experts Group) standard compression processing, reads the compressed data from the recording / playback unit 44, and performs inverse conversion of the compression processing, that is, decompression processing on this data. (Step S26).
[0055]
By the way, when displaying on the monitor 46 for confirming the imaging result, although not shown, the output from the signal processing unit 40 is thinned out and supplied to the monitor 46. While performing this display, the compressed image data 42a is supplied to the recording / playback unit 44 via the system bus 16. The supplied image data 42a is recorded in the storage of the recording / reproducing unit 44 (step S28).
[0056]
Next, in step S16, as described above, it is determined how to perform the next operation procedure according to the state of the power source. In this way, the digital camera 10 takes an image and displays and records a good image with no defects.
[0057]
Further, a defective pixel detection procedure is shown (see subroutine SUB1 in FIG. 14). In the digital camera 10, it is determined whether or not the filter disposed in the imaging unit 30 is color (substep SS10). When the color filter is used (YES), the process proceeds to substep SS12. When the digital camera 10 is not a color filter but a filter that transmits white light (NO), the process proceeds to the sub-step 14 in FIG.
[0058]
In this embodiment, a case where a Bayer pattern is used for the color filter CF will be described. The color filter CF has various arrangement patterns as described above, but it goes without saying that a routine for defect detection processing can be made common in consideration of common points of the patterns. Since all three of RGB cannot be detected at once, defect detection is performed for each color.
[0059]
First, it is determined whether or not the pixel data to be subjected to defect detection is green (substep SS12). If the target is green (YES), the process proceeds to substep SS16. In the case of other colors (NO), the process proceeds to sub-step SS18.
[0060]
When the color (G) of the Bayer pattern is read from the memory 36, the pattern shown in FIG. 8 (B) is obtained. Here, the target of defect detection is G _{twenty two} Then, the system control unit 18 sets the target pixel data G _{twenty two} In addition to the four pixel data G from the peripheral pixel data abnormality detection area 50 ₁₁ , G ₁₃ , G ₃₁ , G ₃₃ Is read.
[0061]
Next, among the five pixel data read out, the peripheral abnormality detection function unit 180 arranges the pixel data in the order of the pixel data, for example, and sets the pixel data at the center position (rank) to the center level (substep SS20). In this case, the pixel data is arranged third. 4 pixel data G ₁₁ , G ₁₃ , G ₃₁ , G ₃₃ And target pixel data G _{twenty two} If they have values of 100, 102, 110, 104, and 108, the median level is 104. Further, in sub-step SS20, the allowable range for this value is set to 50%, and the upper limit (156) and lower limit (52) of the allowable value are obtained.
[0062]
Next, a determination is made as to whether or not the pixel data in the region 52 used for calculating the average value when performing defect detection is within the range of the above-described upper limit value and lower limit value (substep SS22). At this time, the outer pixel data G ₀₀ = 200, G ₀₂ = G ₀₄ = G ₂₀ = G _{twenty four} = G ₄₀ = G ₄₂ = G ₄₄ If the value is = 100, the pixel data G ₀₀ It can be seen that = 200 exceeds the upper limit. In the peripheral abnormality detection function unit 180, the pixel data G ₀₀ Is output as a level error.
[0063]
Normal peripheral pixel data is supplied to the pixel defect detection function unit 182. In this case, the pixel defect detection function unit 182 calculates an average value (G) by using seven pieces of pixel data other than the detection target pixel data as peripheral pixel data (sub-step SS24). In this example, the average value is 100. The average value may be calculated using 12 pieces of pixel data. If the tolerance for this is 10%, the upper and lower limits of defective pixels are 110, 90.
[0064]
Pixel data G subject to defect detection within the upper and lower limits of the calculated average value (G) _{twenty two} Is compared (sub-step SS26). G _{twenty two} Since the value of is within this range, it is determined that there is no pixel defect. On the other hand, if the pixel data subject to defect detection has a value outside this range, it is regarded as a pixel defect and an address corresponding to this position is output to the defect address storage unit 38.
[0065]
Also, the pixel data G excluded as before ₀₀ If pixel defects are detected, including
[0066]
[Expression 1]
{(200 + 100 × 7) / 8−100} / {(200 + 100 × 7) / 8} × 100
＝ 12 （%）・・・ (1)
become. As a result, although the target pixel data is normal, it is erroneously determined as abnormal data that exceeds the allowable range. As shown in this embodiment, defect detection can be performed accurately and accurately by excluding abnormal peripheral pixel data.
[0067]
As a result of the defect detection in sub-step SS26, although not shown for normal pixel data, the process proceeds to the next process (sub-step SS32) without any processing. If the defect is determined, the address of the pixel data is stored and stored via the connector B (substep SS28).
[0068]
Then, the defect correction function unit 184 performs correction processing on the pixel data at the stored address (substep SS30). At this time, the defect correction function unit 184 is supplied with pixel data in the same region as the pixel data supplied to the peripheral abnormality detection function unit 180. In addition to removing abnormal pixel data, correction pixel data is generated from normal peripheral pixel data based on the supplied address or defect detection signal 182b. The generation method may be a method of replacing with peripheral pixel data or an average value of a plurality of pixel data located in the periphery. The system control unit 18 supplies the control signal 18a to the memory 36 and performs data rewrite control. That is, the data at the corresponding address in the memory 36 is rewritten with the pixel data obtained here.
[0069]
Next, in sub-step SS32, it is determined whether or not the defect detection has been completed for all the light receiving element regions of the imaging unit 30. If not completed yet (NO), the process returns to the sub-step SS10 via the connector C. When the check is completed (YES), the process proceeds to substep SS34. In sub-step SS34, it is determined whether or not the defect detection process for all three primary colors has been completed. If there is a color that has not been detected yet (NO), the process returns to sub-step SS10 as described above. If all three primary colors have been completed (YES), the process proceeds to return and the defect detection process is terminated.
[0070]
As described above, in sub-step SS18, it is determined whether or not the color of the pixel data to be subjected to defect detection is red (R). If the target is red (YES), the process proceeds to substep SS36. If the target is neither green nor red (NO), the process proceeds to substep SS38. Thereafter, since the same processing as in the case of the color G 1 is performed, the position of the pixel data to be used will be described, and specific examples of the center level and the average value are actually omitted.
[0071]
In sub-step SS36, pixel data is read out with the pattern shown in FIG. Defect detection target is R _{twenty three} The pixel data R in the region 54 ₀₁ , R ₀₃ , R ₀₅ , R _{twenty one} , R _{twenty five} , R ₄₁ , R ₄₃ , R ₄₅ Is read. The center level is the pixel data R for defect detection. _{twenty three} And pixel data R ₀₃ , R ₄₃ , R _{twenty one} , R _{twenty five} These four pixels are rearranged using a total of five pixels to obtain pixel data at the center (sub-step SS38). A threshold range is calculated for the obtained central level.
[0072]
Next, the calculated threshold value (upper limit and lower limit) is compared with the surrounding eight pixel data (substep SS40). In the comparison determination, pixel data within the upper and lower limits is used as normal pixel data. An average value (R) is calculated using the pixel data selected by the comparison determination (substep SS42). Further, an allowable range for this average value (R) is also obtained as a threshold value.
[0073]
Obtained threshold value and pixel data R for defect detection _{twenty three} Are compared (substep SS44). By comparison judgment, pixel data R _{twenty three} If the threshold value exceeds the threshold value, the pixel data address is output, and the process proceeds to sub-step SS28. It is determined whether or not all the defect detections are completed through the subsequent sub-steps SS28 to SS32 (sub-step SS34).
[0074]
Defect detection for blue is performed at the end of the three primary colors (substep SS38). The pattern read from the memory 36 is the same as that for red. However, the position to be read, that is, the line is read from one line lower than the red pattern in FIG. 6 (see region 56 in FIG. 7B). In this case, the pixel data for defect detection is B ₃₂ It is. As in the case of color R, the peripheral abnormality detection function unit 180 uses the pixel data B for defect detection. ₃₂ And 4 pixel data R ₁₂ , R ₅₂ , R ₃₀ , R ₃₄ Is used to find the center level in the same procedure as color R (substep SS46). Then, an upper limit and a lower limit are set according to a preset allowable range for the central level.
[0075]
The obtained upper and lower levels and the surrounding eight pixel data B read from the memory 36 _Ten , B ₁₂ , B ₁₄ , B ₃₀ , B ₃₄ , B ₅₀ , B ₅₂ , B ₅₄ Are compared (substep SS48). As a result of the comparison determination, only pixel data in a normal range is used.
[0076]
The pixel defect detection function unit 182 calculates the average value (B) using the selected normal range of pixel data (sub step SS50). Also in this case, a threshold value for the average value (B) is obtained. Next, it is determined whether or not the pixel data to be detected is within the range between the upper limit and the lower limit determined here (substep SS52). By comparison judgment, pixel data B ₃₂ If the threshold value exceeds the threshold value, the pixel data address is output, and the process proceeds to sub-step SS28. It is determined whether or not all the defect detections are completed through the subsequent sub-steps SS28 to SS32 (sub-step SS34).
[0077]
Finally, detection of defective pixels in the case of black and white (monochrome) will be described. In this case, since no color filter is used, white light (W) is supplied to the light receiving element. As the target pixel for defect detection, surrounding pixels can be used for this target pixel without distinguishing colors. Accordingly, the pattern takes surrounding pixels densely without gaps with respect to the target pixel (see area 58 in FIG. 16; sub-step SS14). The target pixel data is W ₁₁ If it is, the surrounding 8 pixel data W ₀₀ , W ₀₁ , W ₀₂ , W _Ten , W ₁₂ , W ₂₀ , W _{twenty one} , W _{twenty two} 9 are read out to the peripheral abnormality detection function unit 180.
[0078]
Next, the pixel data W for defect detection among the surrounding pixel data read out ₁₁ And 4 pixel data W ₀₁ , W _{twenty one} , W _Ten , W ₁₂ Use the to find the center level in descending order. Then, the peripheral abnormality detection function unit 180 can obtain an allowable range with respect to the central level. Thereby, the permissible level (upper limit and lower limit) for the abnormal pixel is obtained (substep SS54).
[0079]
The permissible level thus determined and the eight pixel data W around the defect detection target. ₀₀ , W ₀₁ , W ₀₂ , W _Ten , W ₁₂ , W ₂₀ , W _{twenty one} , W _{twenty two} Are respectively detected to detect abnormal pixel data (sub-step SS56). It is determined whether there is abnormal pixel data exceeding the allowable level in the eight surrounding pixel data. Using this determination result, abnormal pixel data is excluded, and normal pixel data is supplied from the peripheral abnormality detection function unit 180 to the pixel defect detection function unit 182.
[0080]
The pixel defect detection function unit 182 calculates an average value (W) using normal pixel data (sub step SS58). Also, an allowable level (upper limit and lower limit) for the average value (W) is calculated.
[0081]
In sub-step SS60, the permissible level (upper limit and lower limit) for the average value (W) is compared with the pixel data for defect detection. By comparison judgment, pixel data W ₁₁ If the threshold value exceeds the threshold value, the pixel data address is output, and the process proceeds to sub-step SS28. It is determined whether or not all the defect detections are completed through the subsequent sub-steps SS28 to SS32 (sub-step SS34).
[0082]
In the present embodiment, the defect detection in the case where the color filter CF is a Bayer pattern has been described. However, the pixel defect detection is not limited to the Bayer pattern, and the central level and average for each color in the various patterns described above. It goes without saying that a defective pixel can be detected by obtaining a value and comparing the obtained central level and average value with a pixel in a predetermined region including the defective pixel.
[0083]
The predetermined area is not limited to the area of the present embodiment, and may be pixel data of a wider area.
[0084]
By constructing as described above, false detections that cannot be avoided simply by detecting defects from the pixel data subject to defect detection and the threshold values based on surrounding pixel data are not average values of the central level and their values. By detecting and excluding abnormal pixel data included in surrounding pixel data based on a value obtained according to the permissible range, more accurate pixel defects can be detected. By correcting the captured image using the address where the defect is detected, a good image can be recorded and displayed.
[0085]
【The invention's effect】
As described above, according to the solid-state imaging device of the present invention, the pixel data of the same color is supplied from the first storage unit to the surrounding abnormality detection function block, and the pixel located in the predetermined area around the defect detection target pixel. Abnormality of pixel data is detected for each color based on whether the data is in the first tolerance range determined in advance in the order of size in the middle order, and the defective pixel data is removed by the defect detection function block Therefore, the average value is obtained using the remaining pixel data, and a defect is detected with respect to the defect detection target pixel depending on whether the average value is within the second allowable range and is normal. By detecting the pixel and outputting the position (address) of the defective pixel when it is detected to eliminate erroneous determination and accurately detect the position of the defect detection, the detection accuracy of the defective pixel is markedly improved. Can be increased, unlike the process using a median filter can be obtained in a short time the defect detection time. Thereby, a favorable image can be provided.
[0086]
In addition, according to the pixel defect detection method of the present invention, the captured raw pixel data is temporarily stored, the pixel data of the same color as the detection target in the detection region of the image is read out, and arranged in the order of the size of the pixel data. These values obtained by calculating the first upper limit level and the first lower limit level from the first allowable range for the rank are compared with pixel data excluding the defect detection target, and the periphery of the defect detection target It is possible to know whether or not there is an abnormality in the pixel data located in the area, and the average value is calculated using only the pixel data determined to be normal within the range of the first upper limit level and the first lower limit level. A second upper limit level and a second lower limit level are obtained from the second allowable range with respect to the obtained average value, and defect detection is performed by comparing and determining whether there is pixel data to be detected within the level range. Thus, by detecting abnormal pixel data before detecting a defect in this manner, erroneous determination of detection can be prevented, and the position of defective pixel data can be accurately detected. Further, unlike the process using the median filter, the defect detection time can be obtained in a short time. Thereby, a favorable image can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital camera to which a solid-state imaging device of the present invention is applied.
FIG. 2 is a schematic diagram showing a Bayer pattern of color filters and a G stripe RB checkered pattern.
FIG. 3 is a schematic diagram showing a G-strip RB complete checkered pattern of color filters.
FIG. 4 is a schematic diagram showing a G square RB checkered pattern of color filters.
FIG. 5 is a schematic diagram showing a G square RB complete checkered pattern of color filters.
6 is a schematic diagram showing an arrangement pattern of a color R in the Bayer pattern of FIG.
7 is a schematic diagram showing an arrangement pattern of color B in the Bayer pattern of FIG. 2 and color B in the G stripe RB checkered pattern. FIG.
8 is a schematic diagram showing an arrangement pattern of a color G in the G stripe RB checkered pattern of FIG. 2 (B) or the G stripe RB perfect checkered pattern of FIG. 3 and the Bayer pattern of FIG. 2 (A).
9 is a schematic diagram showing an arrangement pattern of color R and color B in the G stripe RB complete checkered pattern of FIG. 3; FIG.
10 is a schematic diagram showing an arrangement pattern of a color R in the G square RB complete checkered pattern of FIG. 5;
11 is a schematic diagram showing an arrangement pattern of a color R in the G square RB complete checkered pattern of FIG. 5;
12 is a schematic diagram showing an arrangement pattern of a color G common to the G square RB checkered pattern of FIG. 4 and the G square RB complete checkered pattern of FIG. 5;
FIG. 13 is a main flowchart for explaining the operation of a digital camera to which the solid-state imaging device of the present invention is applied.
14 is a flowchart illustrating a procedure of pixel defect detection processing (subroutine SUB1) shown in FIG.
FIG. 15 is a flowchart for explaining the continuation of the procedure in the pixel defect detection process of FIG. 14;
FIG. 16 is a schematic diagram showing a peripheral area read out for a defect detection target when the color filter is monochrome compatible.
[Explanation of symbols]
10 Digital camera
16 System bus
18 System controller
30 Imaging unit
36 memory
38 Defect address storage
180 Peripheral error detection function
182 Pixel defect detection function
184 Defect correction function
CF color filter

Claims

被写界からの入射光を色分解し、撮像して撮像信号に変換し、得られた撮像信号をディジタル信号に変換し、画像を表す画素データにし、該画素データに信号処理を施す固体撮像装置において、該装置は、
前記信号処理が施される前の前記画素データを格納するとともに、格納した画素データを繰返し読み出せる第１の記憶手段と、
前記色分解に用いた色フィルタセグメントの色配置パターンに応じて欠陥検出の対象の画素データを含む所定の領域内にある同色の画素データを読み出し、該同色の画素データを該領域内の画素データのレベルの大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲内にあるかどうかに基づき該画素データの異常を色ごとに検出する周囲異常検出機能ブロックと、
該周囲異常検出手段で検出した異常な画素を除いて残った領域内の画素データを用いて前記欠陥検出の対象の画素データに対して、該画素データの平均値に対するあらかじめ決めた、第２の許容範囲を基準の上限レベルおよび下限レベルとし、該上限レベルおよび下限レベルと前記欠陥検出の対象の画素データとを比較して欠陥検出を行い、検出した欠陥画素の位置情報を出力する欠陥検出機能ブロックとを含むことを特徴とする固体撮像装置。Solid-state imaging that color-separates incident light from the object scene, captures it, converts it into an imaging signal, converts the resulting imaging signal into a digital signal, converts it into pixel data representing an image, and applies signal processing to the pixel data In the device, the device is
A first storage means for storing the pixel data before the signal processing is performed and repeatedly reading the stored pixel data;
According to the color arrangement pattern of the color filter segment used for the color separation, the pixel data of the same color in the predetermined area including the pixel data of the defect detection target is read, and the pixel data of the same color is read out from the pixel data in the area An ambient abnormality detection function block that detects abnormality of the pixel data for each color based on whether or not the pixel data is within a first allowable range determined in advance in the order of the size of the levels,
A second predetermined value for the average value of the pixel data is determined for the pixel data of the defect detection target using the pixel data in the remaining region excluding the abnormal pixels detected by the surrounding abnormality detection means. A defect detection function that sets an allowable range as a reference upper limit level and a lower limit level, compares the upper limit level and the lower limit level with the pixel data of the defect detection target, performs defect detection, and outputs position information of the detected defective pixel A solid-state imaging device comprising a block.

請求項１に記載の装置において、前記欠陥検出機能ブロックは、前記欠陥検出の対象に欠陥が検出された際に、該欠陥画素の画素データの補正を指示する欠陥検出信号および該対象の位置情報を出力し、
さらに、該装置は、
前記欠陥検出信号の供給に応じて該欠陥画素に対する正常な周辺の画素データを用いた補正処理を行う補正機能ブロックと、
前記欠陥画素の位置情報を格納するとともに、格納した位置情報を繰返し読み出せる第２の記憶手段とを含むことを特徴とする固体撮像装置。The apparatus according to claim 1, wherein the defect detection functional block includes a defect detection signal that instructs correction of pixel data of the defective pixel and a position information of the target when a defect is detected in the defect detection target. Output
Furthermore, the device
A correction function block that performs correction processing using normal peripheral pixel data for the defective pixel in response to the supply of the defect detection signal;
A solid-state imaging device comprising: second storage means for storing position information of the defective pixel and capable of repeatedly reading the stored position information.

請求項１に記載の装置において、前記色配置パターンは、ベイヤ、G ストライプRB市松、G ストライプRB完全市松、および前記撮像に用いる受光素子が水平および／または垂直方向にずれて隣接配置する受光素子の距離を水平または垂直方向に見た受光素子間のピッチの半分にし、G を正方格子状にRB市松および RB 完全市松パターンのいずれか一つであることを特徴とする固体撮像装置。2. The device according to claim 1, wherein the color arrangement pattern includes a Bayer, a G-stripe RB checkerboard, a G-stripe RB perfect checkered pattern, and a light receiving element in which the light receiving elements used for the imaging are arranged adjacent to each other in a horizontal and / or vertical direction. The solid-state imaging device is characterized in that the distance is half of the pitch between the light receiving elements when viewed in the horizontal or vertical direction, and G is one of the RB checkered pattern and the RB complete checkered pattern in a square lattice pattern .

被写界からの入射光を撮像して撮像信号に変換し、得られた撮像信号をディジタル信号に変換して、画像を表す画素データにし、該画像データを用いて、所定の画像領域に含まれる画像データのレベル異常を欠陥として検出するとともに、検出した位置の画像データを補正する画素欠陥検出方法において、該方法は、
得られた画素データを一時格納する格納工程と、
前記画素データのうち、該対象の画素データを含めて所定の個数が含まれる検出領域から読み出す工程と、
該画素データを該検出領域内の画素データの大きさの順に並べて中央の順位に対するあらかじめ決めた第１の許容範囲により第１の上限レベルおよび第１の下限レベルを算出する工程と、
算出した第１の上限レベルおよび第１の下限レベルと前記欠陥検出の対象の周囲に位置する画素データとをそれぞれ比較し、第１の上限レベルおよび第１の下限レベルの範囲内にある画素データを抽出する第１の比較判定工程と、
該抽出した画素データを用いて平均値を算出し、該平均値に対するあらかじめ決めた第２の許容範囲により第２の上限レベルおよび第２の下限レベルを算出する工程と、
算出した第２の上限レベルおよび第２の下限レベルと前記欠陥検出の対象の画素データとを比較し、欠陥画素かどうかを判定する第２の比較判定工程とを含むことを特徴とする画素欠陥検出方法。The incident light from the object scene is imaged and converted into an imaging signal, and the obtained imaging signal is converted into a digital signal to form pixel data representing an image, which is included in a predetermined image area using the image data In the pixel defect detection method for detecting an abnormal level of image data to be detected as a defect and correcting the image data at the detected position, the method includes:
A storage step of temporarily storing the obtained pixel data;
A step of reading from a detection region including a predetermined number of the pixel data including the target pixel data;
Arranging the pixel data in the order of the size of the pixel data in the detection area and calculating a first upper limit level and a first lower limit level according to a first allowable range determined in advance with respect to the center order;
The calculated first upper limit level and first lower limit level are respectively compared with the pixel data located around the defect detection target, and the pixel data within the range of the first upper limit level and the first lower limit level. A first comparison and determination step of extracting
Calculating an average value using the extracted pixel data, and calculating a second upper limit level and a second lower limit level according to a predetermined second allowable range for the average value;
A pixel defect comprising: a second comparison and determination step of comparing the calculated second upper limit level and second lower limit level with the pixel data to be detected by the defect and determining whether or not the pixel is a defect pixel. Detection method.

請求項４に記載の方法において、該方法は、前記画素データを検出領域から読み出す前に、前記画素データのうち、欠陥検出の対象の画素データを何色にするか選択する工程を含み、
前記検出領域からの画素データの読み出す際に、該対象の画素データと同色の画素データを読み出すことを特徴とする画素欠陥検出方法。The method according to claim 4, wherein the method includes a step of selecting a color of pixel data of a defect detection target from among the pixel data before reading the pixel data from a detection region,
A pixel defect detection method, wherein when reading pixel data from the detection area, pixel data having the same color as the target pixel data is read.

請求項４に記載の方法において、該方法は、第２の比較判定工程の後、前記対象の画素が欠陥画素と判定された際に、該欠陥画素の位置情報を格納する工程と、
該位置情報に対応する画素データに対して周囲の画素データを用いて補正を行う工程とを含むことを特徴とする画素欠陥検出方法。5. The method according to claim 4, wherein the method stores the position information of the defective pixel when the target pixel is determined to be a defective pixel after the second comparison determination step;
And a step of correcting the pixel data corresponding to the position information by using surrounding pixel data.

請求項４に記載の方法において、該方法は、前記画素データのレベル異常を検出する欠陥検出を行う際に、フィルタがカラーか否かを判断する工程を含み、
カラーか否かの判断に応じてカラー対応処理とモノクロ対応処理とに分けて欠陥検出することを特徴とする画素欠陥検出方法。The method according to claim 4, wherein the method includes a step of determining whether or not a filter is a color when performing defect detection for detecting a level abnormality of the pixel data.
A pixel defect detection method, wherein defect detection is performed separately for color-corresponding processing and monochrome-corresponding processing in accordance with determination of whether or not the color.

請求項４ないし７のいずれか一項に記載の方法において、前記欠陥画素は、通常の撮影時に撮像して得られた画素データに対して、格納している欠陥画素の位置情報を用いて補正を行うことを特徴とする画素欠陥検出方法。8. The method according to claim 4, wherein the defective pixel is corrected by using position information of the stored defective pixel with respect to pixel data obtained by capturing an image during normal photographing. A pixel defect detection method characterized by: