WO2004059988A1 - 画素欠陥検出補正装置及び画素欠陥検出補正方法 - Google Patents

Abstract

本発明の画素欠陥検出補正装置は、補正可能な欠陥画素数が記録装置の容量に制限されず、後発の欠陥も検出補正が出来ることを課題とし、隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データを算出する色差及び輝度算出ブロック1-2、各種データの最大値と最小値を、色差及び輝度から算出した値から検出する各種データ最大値及び最小値検出ブロック1-3、欠陥判別対象画素の色差補間値と輝度補間値を得る色差補間値算出ブロック1-4、輝度補間値算出ブロック1-5、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素欠陥の場合には、欠陥検出方法に応じた補間処理を実行する欠陥判別及び補間処理ブロック1-6、欠陥判別された画素の最終出力値を選択する使用補間値選択ブロック1-7とを備える。

Description

明 細 書

, 画素欠陥検出補正装置及び画素欠陥検出補正方法 技術分野

本発明は、 例えば、 画素欠陥検出補正装置及び画素欠陥検出捕 正方法に関するものである。 背景技術

固体撮像素子の画素欠陥は、 正常信号に対し常に一定量の電荷 が加算される （C C D ( C h a r g e C o u l e d D e v i c e ) の結晶欠陥等に由来する.） 白欠陥と、 正常信号に対し一 定の比率で信号レベルが低下 （ C C Dのォンチップレンズの傷等 に起因する） も しく は、常に 0以下の信号レベルが出力される （ C C Dのフォ トダイオー ドのオープンに起因する） 黒欠陥が挙げら れる。 これらの画素欠陥は、 撮像時に点状の傷となり画質劣化を 引き起こすため、 欠陥検出や補正を信号処理によって実現する手 段が各種提案されている。

従来開示されている撮像素子の画素欠陥検出及び補正装置,では 画素欠陥を調整時に検出し、 その位置をレジスタ等の記憶装置に 格納しておき、 撮像時にその位置を参照し、 対象となる画素の近 傍画素のデータから、 補間値を算出し、 こ の補間値と欠陥画素デ ータを置換して補間を行う ものが一般的である。

例えば、 特許文献' 1 には、 段落番号 〔 0 0 1.8〕 に撮像中に画 素欠陥の捕正を行う と共に欠陥検出を行い、 撮像素子について補 正すべき欠陥の個数が予め定められた設定範囲内に収まるよ う に 欠陥画素の個数に応じて欠陥検出に係る レベル比較の閾値を可変 設定する と共に、 欠陥画素の位置情報と、 欠陥画素が現フ レーム より も前のフ レームにおいても欠陥画素と して検出された場合の 検出フレームの数と、 欠陥画素について直前のフレームにおける 捕正の有無を示す情報とを、 1 つの記憶手段に記憶させる点が開 示されている。

また、 特許文献 2 には、 要約書の 〔構成〕 に固体撮像素子の第 1画素よ り の第 1画素信号とこの第 1画素の周辺の第 2画素よ り の第 2画素信号とのレベル差を検出する レベル差を検出する レべ ル差検出回路と、 こ の レベル差検出回路の出力信号と所定の閾値 とを比較するコ ンパ レータ と、 このコ ンパ レータ の比較转果を複 数フィ ール ド分記憶するメ モ リ とを有し、 こ のメ モ リ の記憶情報 によ り欠陥画素を断定する点が開示されている。

また、 特許文献 3 には、 要約書の 〔構成〕 に C C D素子の出力 信号に基づいて、 C C D素子の各画素のう ち、 特異なレベルの信 号を出力する欠陥画素を検出するシステムコン トローラ、 スィ ッ チ、 検出前処理回路、 検出回路とこれらによって検出された欠陥 画素の位置データを記憶するレジスタ とを有し、 レジスタ に記憶 された位置データを消去する点が開示されている。

また、 特許文献 4には、 要約書の 〔構成〕 に欠陥検査を行う際 に、 C C D固体撮像素子の撮像出力レベルをコ ンパレータにて所 定の検出レベルと比較することによつて欠陥画素を検出し、 この 検出した欠陥画素数をカウンタでカウン ト し、 その検出数が記憶 許容数を超えたとき、 検出レベル設定回路にてコ ンパ レータ の検 出レベルをそれまでよ り も高く穀定するこ とによって欠陥検出感 度を下げ、 再検査を欠陥画素数が許容内に収まるまで繰り返す点 が開示されている。

〔特許文献 1〕

特開 2 0 ひ 2 _ 5 1 2 6 6号公報

〔特許文献 2〕 '

特開平 6 _ 2 8 4 3 4 6号公報 〔特許文献 3〕

特開平 5— 2 6 0 3 8 5号公報

〔特許文献 4〕

特開平 6 — 3 1 5 1 1 2号公報 発明の開示

しかし、 上述した従来の欠陥画素補正方法では、 補正可能な欠 陥画素数は記憶装置の容量に制限され、 捕正可能な画素数を増や すためには記憶装置の容量を増やす必要があり、 検出回路のゲー ト規模の増大を招く という不都合があった。

また、 動作温度の変動等によ り調整時に検出できなかった後発 の欠陥については、 従来の方法では十分な検出及び補正が出来な かったという不 #合があった。

また、 特許文献 1では、 欠陥画素の位置情報と、. 欠陥画素が現 フ レームよ り も前のフ レームにおいても欠陥画素と して検出され た場合の検出フレームの数と、 欠陥画素について直前のフレーム における捕正の有無を示す情報とを、 1 つの記憶手段に記憶させ るため、 捕正可能な欠陥画素数は記録手段の容量に制限され、 捕 正可能な画素数を増やすためには記憶手段の容量を増やす必要が あるという不都合があった。

また、 特許文献 2では、 撮像素子の 1画素.とその周辺の第 2画 素について両者のレベル差を検出して、 これを閾値と比較するこ とで欠陥画素の判断を行った結果を予めメモリ に記憶させておく ため、 補正可能な欠陥画素数はメモリ の容量に制限され、 補正可 能な画素数を増やすためにはメモ リ の容量を増やす必要がある と いう不都合があった。

また、 特許文献 3では、 欠陥画素検出手段によ り：記憶手段に記 憶された位置データに対応する画素が、 所定回数以上にわたって 連続して欠陥画素と検出されなかった場合に位置データを記憶手 段から消去するため、 温度等を含む検出時の条件による影響を排 除するものの、 捕正可能な欠陥画素数は記録手段の容量に制限さ れ、 補正可能な画素数を増やすためには記憶手段の容量を増やす 必要がある という不都合があった。

また、 特許文献 4では、 欠陥画素の数をカウン ト して、 その力 ゥン ト数が記憶許容数を超えたとぎには、 欠陥検出手段における レベル比較の閾値を上げるこ とで検出感度を上げるため、 限られ た記憶手段の容量を有効に用いるものの、 補正可能な欠陥画素数 は記録手段の容量に制限され、 補正可能な画素数を増やすために は記憶手段の容量を増やす必要がある という不都合があった。 そこで、 本発明は、 かかる点に鑑みてなされたものであり、 補 正可能な欠陥画素数が記録装置の容量に制限されず、 かつ、 動作 温度の変動等によ り調整時に検出できなかった後発の欠陥につい ても、 十分な検出及び補正が出来る画素欠陥検出補正装置及び画 素欠陥検出補正方法を提供することを課題とする。

本発明の画素欠陥検出補正装置は、 欠陥検出に必要な隣接画素 及び欠陥判別対象画素の色差の絶対値、 色差及び輝度データ及び 補間値算出対象画素に対するデ タを算出する色差及び輝度算出 手段と、 各種データの最大値と最小値を、 色差及び輝度算出手段 で算出した値から検出する各種データ最大値及び最小値検出手段 と、 補間値算出対象画素に対して、 欠陥判別対象画素の色差補間 値を得る色差捕間値算出手段と、 補間値算出対象画素に対して、 欠陥判別対象画素の輝度補間値を得る輝度補間値算出手段と、 各 種データ最大値及び最小値検出手段、 色差補間値算出手段、 輝度 補間値算出手段からのデータを元に、 複数の欠陥検出方法を用い て、 各欠陥検出方法に対し、 同時に欠陥判別対象画素の欠陥判別 を行い、 画素が欠陥.である と判断した場合には、 欠陥検出方法に 応じた補間値と画素の従来のデータを置換して補間処理を実行す る欠陥判別及び補間処理手段と、 欠陥判別及び補間処理手段で得 られた、 欠陥と して判別された画素の最終出力値を選択する使用 捕間値選択手段とを備え、 撮像中に常時、 画素欠陥の検出及び補 正を行い、複数の欠陥検出方法、補間方法の最適な組合せによ り 、 画像データの画素欠陥の検出及び補正を行う ものである。

従って本発明によれば、 以下の作用をする。

色差及び輝度算出手段は欠陥検出に必要な隣接画素及び欠陥判 別対象画素の色差の絶対値、 色差及び輝度データ及び補間値算出 対象画素に対するデータを算出する。 各種データ最大値及ぴ最小 値検出手段は各種データの最大値と最小値を、 色差及び輝度算出 手段で算出した値から検出する。 色差補間値算出手段は補間値算 出対象画素に対して、 欠陥判別対象画素の色差捕間値を得る。 輝 度補間値算出手段は補間値算出対象画素に対して、 欠陥判別対象 画素の輝度補間値を得る。 欠陥判別及ぴ補間処理手段は各種デー タ最大値及び最小値検出手段、 色差捕間値算出手段、 輝度補間値 算出手段からのデータを元に、 複数の欠陥検出方法を用いて、 各 欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥である と判断した場合には、 欠陥検出方法に応じた補 間値と画素の従来のデータを置換して補間処理を実行する。 使用 捕間値選択手段は欠陥判別及び補間処理手段で得られた、 欠陥と して判別された画素の最終出力値を選択する'。 本発明によれば、 撮像中に常時、 画素欠陥の検出及ぴ捕正を行い、 複数の欠陥検出 方法、 補間方法の最¾な組合せによ り、 画像データの画素欠陥の 検出及び補正を行う。

本発明の画素欠陥検出捕正方法は、. 欠陥検出に必要な隣接画素 及び欠陥判別対象画素の色差の絶対値、 色差及び輝度データ及び 補間値算出対象画素に対するデータを算出する色差及ぴ輝虔算出 ステップと、 各種データの最大値と最小値を、 色差及び輝度算出 ステップで算出した値から検出する各種データ最大値及び最小値 検出ステップと、 補間値算出対象画素に対して、 欠陥判別対象画 素の色差捕間値を得る色差捕間値算出ステップと、 補間値.算出対 象画素に対して、 欠陥判別対象画素の輝度補間値を得る輝度補間 値算出ステップと、 各種データ最大値及び最小値検出ステップ、 色差捕間値算出ステップ、 輝度補間値算出ステップからのデータ を元に、 複数の欠陥検出方法を用いて、 各欠陥検出方法に対し、 同時に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥である と 判断した場合には、 欠陥検出方法に応じた補間値と.画素の従来の データを置換して補間処理を実行する欠陥判別及び補間処理ステ ップと、 欠陥判別及び補間処理ステップで得られた、 欠陥と して 判別された画素の最終出力値を優先度に基づいて選択する使用補 間値選択スデップとを備え、 撮像中に常時、 画素欠陥の検出及び 捕正を行い、 複数の欠陥検出方法、 補間方法の最適な組合せによ り、 画像データの画素欠陥の検出及び補正を行う ものである。 従って本発明によれば、 以下の作用をする。

色差及び輝度算出ステップは欠陥検出に必要な隣接画素及び欠 陥判別対象画素の色差の絶対値、 色差及ぴ輝度データ及び捕間値 算出対象画素に対するデータを算出する。 各種データ最大値及び 最小値検出ステップは各種データの最大値と最小値を、 色差及び 輝度算出ステップで算出した値から検出する。 色差補間値算出ス テツプは補間値算出 ¾·象画素に対して、 欠陥判別対象画素の色差 捕間値を得る。 輝度補間値算出ステップは補間値算出対象画素に 対して、 欠陥判別対象画素の輝度補間値を得る。 欠陥判別及び補 間処理ステップは各種データ最大値及び最小値検出ステップ、 色 差補間値算出ステップ、 輝度補間値算出ステップからのデータを 元に、 複数の欠陥検出方法を用いて、 各欠陥検出方法に対し、 同 時に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥である と判 断した場合には、 欠陥検出方法に応じた補間値と画素の従来のデ ータを置換して補間処理を実行する。 使用捕間値選択ステップは 欠陥判別及ぴ捕閬処理ステップで得られた、 欠陥と して判別され た画素の最終出力値を優先度に基づいて選択する。 '本発明によれ ば、 撮像中に常時、 画素欠陥の検出及び補正を行い、 複数の欠陥 検出方法、 補間方法の最適な組合せによ り、 画像データの画素欠 陥の検出及び捕正を行う。 図面の簡単な説明

図 1 は、 本実施の形態に適用される欠陥検出及び補正制御プロ ックの構成を示す図である。

図 2は、 欠陥検出方法と検出対象画素であり、 図 2 Aは隣接 8 画素間色差絶対値比較、 図 2 Bは隣接 8画素閬比較、 図 2 Cは最 近接 8-画素間比較である。 '

図 3は、 補間値算出対象画素を示す図である。

図' 4.は、 使用補間値選択ブロ ックの動作を示すフローチャー ト である。 発明を実施するための最良の'形態

以下に、 本発明の実施の形態について適宜図面を参照しながら 説明する。

図 1 は本発明の実施の形態に適用される欠陥検出及ぴ補正制 御プロ ックの基本構成の概略を簡単に示したものである。

まず、 本発明の実施の形態に適用される欠陥検出及び補正制御 ブロ ック 1 の構成を説明する。 本発明の実施の形態の中心をなす 画素欠陥検出及び補間制御プロ ック 1 は、 '入力端子 4 を介して画 素欠陥を含む画像入力信号 I を供給する C C D 2などを有する撮 像ブロ ック と、 出力端子 5 を介して補正されたデータを含む画像 出力信号 Oを供給する輝度信号や色信号生成を行うカメ ラ信号処 理ブロ ックの間に位置する。

本発明の実施の形態に適用される欠陥検出及び補正制御ブロ ッ ク 1 は、 欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差 の絶対値、 色差及び輝度データ及び補間値算出対象画素に対する データを算出する色差及び輝度算出ブロ ック （ 1 一 2 ) を有して 構成される。

また、 欠陥検出及ぴ補正制御ブロ ック 1 は、 各種データの最大 値と最小値を、 色差及び輝度算出手段で算出した値から検出する 各種データ最大値及び最小値検出ブロ ック （ 1 — 3 ) を有して構 成される。

また、 欠陥検出及び補正制御ブロ ック 1 は、 補間値算出対象画 素に対して、 欠陥判別対象画素の色差補間値を得る色差補間値算 出プロ ック （ 1 — 4. ) を有して構成される。

また、 欠陥検出及び補正制御ブロ ック 1 は、 捕間値算出対象画 素に対して、 欠陥判別対象画素の輝度補間値を得る輝度補間値算 出ブロ ック （ 1 _ 5 ) を有して構成される。

また、 欠陥検出及び補正制御ブロ ック 1 は、 各種データ最大値 及ぴ最小値検出ブロ ック （ 1 一 3 )、 色差捕間値算出ブロ ック （ 1 _ 4 )、 輝度補間値算出ブロ ック （ 1 _ 5 ) からのデータを元に、 複数の欠陥検出方法を用いて、 各欠陥検出方法に対し、 同時に欠 陥判別対象画素の欠陥判別を行い、 画素が欠陥である と判断した 場合には、 欠陥検出方法に応じた補間値と画素の従来のデータを 置換して補間処理を実行する欠陥判別及び捕間処理ブロ ック ( 1 一 6 ) を有して構成される。

■ また、 欠陥検出及び捕正制御プロ ッグ 1 は、 欠陥判別及び補間 処理ブロ ック （ 1 — 6 ) で得られた、 欠陥と して判別された画素 の最終出力値を選択する使用捕間値選択プロ ック （ 1 — 7 ) とを 有して構成される。

また、 欠陥検出及び捕正制御プロ ック 1 は、 撮像中に常時、 画 素欠陥の検出及び補正を行い、 複数の欠陥検出方法、 捕間方法の 最適な組合せによ り、 画像データの画素欠陥の検出及び補正を行 う よ う に構成されるものである。

なお、 欠陥検出及ぴ補正制御ブロ ック 1 は、 後段の各プロ ック における各画素ごとの処理のために画像入力信号にディ レイ処理 を施すディ レイ生成ブロ ック （ 1 — 1 ) を有して構成される。 ' このよ う に構成される本発明の実施の形態に適用される欠陥検 出及ぴ捕正制御プロ ック 1 は、 以下のよ うな動作をする。

色差及び輝度算出プロ ック （ 1 — 2 ) 及び色差補間値算出ブロ ック （ 1 — 4 )、 輝度補間値算出ブロ ック （ 1 一 5 ) の演算方法を 最適化することで、 補色信号処理系、 原色信号処理系の何れにも 適用でき、 単板式や多板式等の C C Dによる撮像形態にも依存し ないよ う にするこ とができる。 以降、 単板の補色信号処理系への 適応例について述べる。

本発明の実施の形態に適用される欠陥検出及び捕正制御ブロ ッ ク 1 において、 色差及び輝度算出プロ ック （ 1 _ 2 )、 各種データ 最大値及び最小値検出ブロ ック （ 1 一 3 ) 、 色差捕間値算出プロ ック （ 1 一 4 )、 輝度捕間値算出プロ ック （ 1 — 5 )、 欠陥判別及 び補間処理ブロ ッグ （ 1 一 6 ) 、 使用補間値選択ブロ ック. ( 1 - 7 ) は、 以下のよ うな動作をする。 ' .

色差及び輝度算出,ブロ ック （ 1 一 2 ) では、 欠陥検出に必要な 隣接 8画素.及び欠陥判別対象画素の色差の絶対値と して、 図 2 A に示す隣接 8画素色差絶対値比較における '欠陥検出比較対象画素 に対して、 1 A— A， 1 、 I B - B ' 1 、 1 C— C ' j 、 1 D - D ' I ) F - F ' に I G— G ' I 、 I H— H， I 、 i I - I ' | '及 ぴ | E— E' | を算出している。

また、 色差補間値算出ブロ ック （ 1 一 4 ) 及び輝度補間値算出 プロック （ 1 — 5 ) で使用する色差及び輝度データを、 図 3に示 す補間値算出対象画素に対して、 B— B，、 D - D ' 、 E— E'、 F — F ' 、 H - H ' 、 及び B + B，、 D + D ' 、 E + E，、 F十 F ' 、 H+ H' と して算出している。

各種データ最大値及び最小値検出ブロ ック （ 1 — 3 ) では、 欠 陥判別及び補間処理ブロ ック （ 1 — 6 ) で使用する各種データの 最大値と最小値を、 色差及び輝度算出ブロ ック （ 1 — 2 ) で算出 した値から検出する。

欠陥検出方式別に、 図 2 Aに示す隣接 8画素間色差絶対値比較 による欠陥画素検出では、 i A— A， I、 I B— B ' I、 I C一 C ' |、 I D - D * し | F - F ' | 、 I G - G ' | 、 I H - Η' | 、 I I - I ' Iの中から最大値を、 図 2 Βに示す隣接 8画素間比較 による欠陥画素検出では、 A、 B、 C、 D、 F、 G、 H、 I の中 から最大値と最小値を、図 2 Cに示す最近接 8 画素間比較による 欠陥画素検出では、 A"、 B "、 C D " 、 F"、. G" 、 H，，、 I " の 中から最大値と最小値を検出している。

色差補間値算出ブロ ック （ 1 — 4 ) では次の様に補間値を算出 している。 まず、 図 3に示す補間値算出対象画素に対して、 縦方 向の色差の相関係数 K c— v = | ( B - B ') 一 (H - Η') I / 2 と横方向の色差間の相関係数 K c— h - I (D - D') 一 （ F— F，） 1 / 2を求め、 次いで縦 Z横の色差の相関係数 K c„h v = K c _ h / ( K c _ h + K c _ v ) を算出する。 伹し、 K c— h + K c _ v = 0の時には、 K c„h v = 0. 5 とする。 更に、 縦方向の補間値 c— v = (((B - Β ') + (Η - Η')) I 2 ) ΧΚ c„h v及び横方向の捕間値 _C _li = (((D— D) + ( F - F')) / 2 ) X ( 1 - K c v ) を求め、 欠陥判別対象画素 Eの色差 捕間値 E— c— h v = E，+ ( c _ v + c _ h ) を得る。

輝度捕間値算出プロ ック （ 1 _ 5 ) では次の様に補間値を算出 している。 まず、 図 3 に示す補間値算出対象画素に対して、 縦方 向の輝度の相関係数 K y— v = | ( B + B ') 一 (Η + Η') | / 2 と横方向の色差間の相関係数 K y— h = I (D+ D，）一（ F + F，） I / 2を求め、 次いで縦/ 横の色差の相関係数 K y— h v = K y _ / (K y_h + K y _ v ) を算出する。 更に、 縦方向の補間 値 _y_ v = ( ( ( B + B ') + (H + H')) I 2 ) xK y一 h v及ぴ 横方向の補間値 y— h = (((D+ D) + ( F + F，）） ノ 2 ) x ( 1 - K y_h v ) を求め、 欠陥判別対象画素 E の輝度補間値 E— y — h v = E，_ ( y _ v + y _ h ) を得る。

欠陥判別及ぴ捕間処理ブロ ック （ 1 一 6 ) では、 各種データ最 大値及び最小値検出ブロ ック （ 1 一 3 ) 、 色差補間値算出ブロ ッ ク （ 1 — 4 )、 輝度補間値算出ブロ ック （ 1 — 5 ) からのデータを 元に、 3つの欠陥検出方法を用いて、 各欠陥検出方法に対し、 同 時に欠陥判別対象画素 Eの欠陥判別を行い、 画素 Eが欠陥である と判断した場合には、 欠陥検出方法に応じた補間値と画素 Eの従 来のデータを置換して補間処理を実行する。

第 1 の欠陥検出方法 1 は、 図 2 Aに示す隣接 8画素間色差絶対 値比較による欠陥画素検出である。

欠陥判別対象画素を E と した場合、 各種データ最大値及び最小 値検出プロ ック （ 1 一 3 ) で求めた隣接 8 画素間色差絶対値の最 大値に対し、 欠陥判別及ぴ捕間処理プロ ック （ 1 — 6 ) は、 外部 の通信設定部 3からの通信設定によ り外部から任意に設定できる 係数 α; 1 を掛けた値を閾値 T 1 と して求める。

また、 欠陥判別及び補間処理ブロ ック '（ 1 一 6 ) は、 色差補間 値算出ブロ ック （ 1 一 4 )、 輝度補間値算出ブロ ック （ 1 — 5 ) で 算出した欠陥判別対象画素 Eの色差補間値 E— c— h V と輝度補 間値 E— y— h vの差分の絶対値 j E— y— h v - E _ c _ h v

1 を算出する。

加えて欠陥判別対象画素 Eの絶対値に対し、 欠陥判別及び捕間 処理ブロ ック （ 1 一 6 ) は、 外部の通信設定部 3からの通信設定 によ り外部から任意に設定できる係数 ]3 1 を掛けた値を制限値 L と して求める。 これらの演算結果の比較によ り、 次の数 1式の関 係が満たされた場合に、 欠陥判別対象画素 Eを欠陥と して判別す る。

〔数 1〕

I E - E ' I > T1 (条件 1 — 1 ) かつ | E一 y— h v— E— c _ h v I < L (条件 1 一 2 )

本欠陥検出方法は、 隣接画素間の差分である色差を用いるこ と で、 欠陥がよ り強調され、 他の 2つの欠陥検出方法に比べ、 多様 な画像に対して誤検出を抑えて適応することができる。 色差の絶 対値をとるこ とで、 画像の境界領域など、 信号レベルの変化の激 しい所での誤検出を抑制できる。 また、 条件 1 一 2の制限は、 画 像の正常部分では満たされない場合が多く 、 逆に欠陥部分では満 たされるこ とが多いため、正常画素の誤検出を抑制できる。また、 本制限は欠陥直前の画素の誤検出抑制にも効果がある。

本検出方法では最適な補間値と して輝度補間値を採用している c 正常画素を誤検出して捕間処理を行った場合でも画質劣に対する 影響を最小限に抑えることができる。

第 2の欠陥検出方法 2は、 図 2 Bに示す隣接 8画素間比較によ る欠陥画素検出である。

欠陥判別対象画素を E と した場合、 各種データ最大値及び最小 値検出ブロ ック （ 1 — 3 ) で求めた隣接 8画素の最大値に対し、 欠陥判別及び補間処理ブロ ック （ 1 一 6 ) は、 外部の通信設定部 3からの通信設定によ り外部から任意に設定できる係数 _α 2を掛 けた値を閾値 T 2— m a x と して算出する。

同様に、 隣接 8画素の最小値に対し、 欠陥判別及び補間処理プ ロ ック （ 1 — 6 ) は、 外部の通信設定部 3からの通信設定によ り 外部から任意に設定できる係数 γ 2 を掛けた値を閾値 Τ 2— m i n と して求める。 これらの演算結果の比較によ り、 次の数 2式の 関係が満たされた場合に、 欠陥判別対象画素 Eを欠陥と して判別 する。

〔数 2 )

E > T 2 __ m a x (条件 2 — 1 ) または Eく T 2 _ m i n (条件 2 - 2 )

本検出方法は、 他の 2つの欠陥検出方法に比べ、 白黒の縞模様 等コン トラス トの激しい画像に対して、 誤検出を抑制しながら高 い検出効率を得ることができる。 本検出方法では最適な補間値と して色差補間値を採用している。

第 3の欠陥検出方法 3は、 図 2 Cに示す最近接 8画素間比較に よる欠陥画素検出である。

欠陥判別対象画素を Eと した場合、 各種データ最大値及び最小 値検出ブロ ック （ 1 一 3 ) で得た最近接 8画素の最大値に対し、 欠陥判別及び補間処理ブロ ック （ 1 一 6 ) は、 外部の通信設定部 3からの通信設定によ り外部から任意に設定できる係数 α 3 を掛 けた値を閾値 Τ 3— m a X と して算出する。

同様に、 最近接 8画素の最小値に対し、 欠陥判別及び補間処理 ブロ ック （ 1 _ 6 ) は、 外部の通信設定部 3からの通信設定によ り外部から任意に設定できる係数 γ 3 を掛けた値を閾値 Τ 3— m i η と して求める。 これらの演算結果の比較によ り、 次の数 3 式の関係が満たされた場合に、 欠陥判別対象画素 Εを欠陥と して 判別する。

〔数 3〕 E > T 3 _ m a x (条件 3 — 1 ) または E < T 3一 m i n (条件 3 — 2 )

他の 2つの欠陥検出方法で誤検出されやすい、 明るい画像 （光 の反射部やランプ等） では、 色フ ィ ルターの異なる最近接画素で も信号レベルが似ていることが多い。 これに対して欠陥の場合に は、 色フ ィルターの異なる最近接画素と信号レベルに差がある場 合が多い。 よって、 本検出方法によ り、 他の 2つの欠陥検出方法 で、 検出の難しい、 明るい画像部分での欠陥検出感度の向上が期 待できる。 本検出方法では最適な補間値と して輝度補間値を採用 している。

使用補間値選択ブロ ック （ 1 — 7 ) では、 欠陥判別及び補間処 理ブロ ック （ 1 — 6 ) で得られた、 欠陥と して,判別された画素 E の最終出力値を選択する。 前述の様に、 欠陥判別及び補間処理ブ ロ ック （ 1 — 6 ) では、 3つの欠陥検出方法と各々に最適化した 捕間処理を行っていたが、 3つの欠陥検出方法毎に、 誤検出を抑 制し、最大限の欠陥検出効率を維持するのに適した画像が異なる。 そこで、 各欠陥検出方法の特徴から次の様に画素 Eの最終出力値 を選択している。

図 4は、 使用補間値選択ブロ ック （ 1 _ 7 ) の動作を示すフ ロ —チャー トである。

図 4において、 ステップ S 1 で、 第 1 の欠陥検出方法 1 で欠陥 画素と判別したか否かを判断する。 ステップ S 1で第 1 の欠陥検 出方法 1 で欠陥画素と判別した場合、 ステップ S 2で、，他の検出 方法の判別結果によ らず、第 1 の欠陥検出方法 1 の補間値を出力 する。

ステ ップ S 1 で第 1 の欠陥検出方法 1 で欠陥画素でない判別 した場合、 ステ ップ S 3で、 第 2 の欠陥検出方法 2で欠陥画素と 判別したか否かを判断する。 第 2 の欠陥検出方法 2で欠陥画素と 判別した場合、 ステップ S 4で、 第 1 の欠陥検出方法 1 で欠陥と 判別されていなければ、 欠陥検出方法 3 の判別結果に依らず、 第 2の欠陥検出方法 2の補間値を出力する。

ステップ S 3で第 2 の欠陥検出方法 2で欠陥画素でない判別し た場合、 ステップ S 5で、 第 3 の欠陥検出方法 3で欠陥画素と判 別したか否かを判断する。 第 3 の欠陥検出方法 3で欠陥画素と判 別した場合、 ステップ S 6で、 他の 2つの欠陥検出方法で欠陥と 判別きれていない場合のみ、 第 3の欠陥方法 3の補間値を出カす る。

何れの欠陥検出方法でも、 欠陥と判別されなかった場合には、 ステップ S 7 で、 画素 Eの値をそのまま出力する。

上述した本実施の形態によれば、 第 1 に、 画素欠陥検出直後に 捕間処理を行うため、 欠陥画素の位置を記憶するための記憶装置 を必要せず、 欠陥検出と補正を行う領域に制限を受けないよ うに することができる。

第 2に、 欠陥画素に位置を記憶するための記憶装置を必要と し ないため、 低コス トで全画素に対する欠陥補正が実現できる。 第 3に、 撮像時に常時欠陥検出と補間を行うため、 撮像素子の 温度変化等に由来する、 後発的に発生した欠陥の検出及び補正を 行う こ とができる。

第 4に、複数の欠陥検出とそれに適した捕間処理を同時に行い、 欠陥検出方法の特徴に基づいて、 最終的な補間出力値を決定する こ とで、 捕間後の正常画素の誤検出を最小限に'抑制できる。

第 5に、 欠陥検出方法ごとに、 欠陥検出を行う際の閾値を.通信 設定することで、 正常画素の誤検出を最小限に抑え、 欠陥画素の 検出効率を最大限にすることができる。

第 6 に、欠陥検出方法と補間方法の組合せを最適化するこ とで、 正常画素を誤検出して捕閬処理を'行った場合でも画質劣化に対す る影響を最小限に抑えることができる。

第 7に、 欠陥検出時に、 輝度及び色差から算出した補間値の信 号レベルと検出対象画素の信号レベルの関係から検出の制限を設 けることによ り、 誤検出されやすい画像の状態を検知し、 誤検出 を抑制できる。 .

上述した本実施の形態に限ら.ず、 本発明の特許請求の範囲を逸 脱しない限り 、 適宜他の構成をと り う ることは言うまでもない。

この発明の画素欠陥検出補正装置は、 撮像手段によ り撮像され た画像データの画素欠陥の検出及ぴ補正を行う画素欠陥検出補正 装置において、 欠陥検出に必要な隣揆画素及び欠陥判別対象画素 の色差の絶対値、 色差及び輝度データ及び補間値算出対象画素に 対するデータを算出する色差及び輝度算出手段と、 各種データの 最大値と最小値を、 色差及び輝度算出手段で算出した値から検出 する各種データ最大値及び最小値検出手段と、 補間値算出対象画 素に対して、 欠陥判別対象画素の色差補間値を得る色差補間値算 出手段と、 補間値算出対象画素に対して、 欠陥判別対象画素の輝 度補間値を得る輝度補間値算出手段と、 上記各種データ最大値及 び最小値検出手段、 上記色差補間値算出手段、 '上記輝度補間値算 出手段からのデータを元に、 複数の欠陥検出方法を用いて、 各欠 陥検出方法に対し、 同時に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥である と判断した場合には、 欠陥検出方法に応じた捕 間値と画素の従来のデータを置換して補間処理を実行する欠陥判 別及び補間処理手段と、 上記欠陥判別及び補間処理手段で得られ た、 欠陥と して判別された画素の最終出力値を選択する使用補間 値選択手段とを備え、 撮像中に常時、 面素欠陥の検出及び補正を 行い、 複数の欠陥検出方法、 補間方法の最適な組合せによ り.、 画 像データの画素欠陥の検出及び補正を行うので、 画素欠陥検出直 後に捕間処理を行うため、 欠陥画素の位置を記憶するための記憶. 装置を必要せず、 欠陥検出と捕正を行う領域に制限を受けないよ う にするこ とができ、 また、 撮像時に常時欠陥検出と補間を行う ため、 撮像素子の温度変化等に由来する、 後発的に発生した欠陥 の検出及び補正を行う ことができるという効果を奏する。

また、 この発明の画素欠陥検出補正装置は、 上述において、 上 記欠陥判別及び補間処理手段における欠陥判別で、 欠陥判別対象 画素に対する色差補間値および輝度補間値を用いて、 欠陥判別に 制限を与えるので、 欠陥検出時に、 輝度及び色差から算出した補 間値の信号レベルと検出対象画素の信号レベルの関係から検出の 制限を設けるこ とによ り、誤検出されやすい画像の状態を検知し、 誤検出を抑制するこ とができるという効果を奏する。

また、 この発明の画素欠陥検出補正装置は、 上述において、 上 記欠陥判別及び補間処理手段における欠陥判別及び補間処理で、 複数の欠陥検出方法と、 誤検出をした際にも画質劣化を最小限に 抑制できるよ う に其々の欠陥検出方法に最適化した補間方法を用 いて、 同時に各欠陥検出と補間処理を行い、 上記使用補間値選択 手段で、 欠陥検出方法の特徴に基づいて、 最終的な補間出力値を 決定するこ とで、 最終的な補間出力値の選択を行うので、 複数の 欠陥検出とそれに適した補間処理を同時に行い、 欠陥検出方法の 特徴に基づいて、 最終的な補間出力値を決定することで、 補間後 の正常画素の誤検出を最小限に抑制でき、 また、 欠陥検出方法と 補間方法の組合せを最適化するこ とで、 正常画素を誤検出して補 間処理を行った場合でも画質劣化に対する影響を最小限に抑える こ とができる とレ、う効果を奏する。

また、 この発明の画素欠陥検出補正装置は、 上述において、 上 記制限は外部から任意に設定可能であるので、 欠陥検出方法ごと Iこ、 欠陥検出を.行う際の閾値を通信設定することで、 正常画素の 誤検出を最小限に抑え、 欠陥画素の検出効率を最大限にするこ と ができる という効果を奏する。

また、 この発明の画素欠陥検出補正方法は、.撮像手段によ り撮 像された画像データの画素欠陥の検出及ぴ捕正を行う画素欠陥検 出補正方法において、 欠陥検出に必要な隣接画素及び欠陥判別対 象画素の色差の絶対値、 色差及び輝度データ及び補間値算出対象 画素に対するデータを算出する色差信号及び輝度信号算出ステッ プと、 各種データの最大値と最小値を、 色差及び輝度算出ステツ プで算出した値から検出する各種データ最大値及び最小値検出ス テツプと、 補間値算出対象画素に対して、 欠陥判別対象画素の色 差捕間値を得る色差捕間値算出ステップと、 補間値算出対象画素 に対して、 欠陥判別対象画素の輝度補間値を得る輝度捕間値算出 ステップと、 上記各種データ最大値及び最小値検出ステップ、 上 記色差捕間値算出ステップ、 上記輝度捕間値算出ステップからの データを元に、 複数の欠陥検出方法を用いて、 各欠陥検出方法に 対し、 同時に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥で ある と判断した場合には、 欠陥検出方法に応じた捕間値と画素の 従来のデータを置換して捕間処理を実行する欠陥判別及び補間処 理ステップと、. 上記欠陥判別及び補間処理ステップで得られた、 欠陥と して判別された画素の最終出力値を優先度に基づいて選択 する使用捕間値選択ステップとを備え、 撮像中に常時、 画^欠陥 の検出及び補正を行い、 複数の欠陥検出方法、 穡間方法の最適な 組合せによ り、画像データの画素欠陥の検出及び補正を行う ので、 画素欠陥検出直後に捕間処理'を行うため、 欠陥画素の位置を記憶 するための記憶装置を必要せず、 欠陥検出と補正を行う領域に制 限を受けないよ う にすることができ、 まだ、 撮像時に常時欠陥検 出と補間を行うため、 撮像素子の温度変化等に由来する、 後発的 に発生した欠陥の検出及び捕正を行う こ とができ、 また、 優先順 位に基づいて欠陥検出の捕間値を出力するこ と ^:ができる という効 果を奏する。

また、 この発明の画素欠陥検出捕正方法は、 上述において、 上 記使用捕間値選択ステップにおける優先度は、 隣接 8画素色差絶 対値比較、 隣接 8画素比較、 およぴ最近接 8画素比較の順である ので、 隣接 8画素色差絶対値比較、 隣接 8画素比較、 および最近 接 8画素比較の順で欠陥検出の補間値を出力するこ とができる と いう効果を奏する。

Claims

冃 求 の

1 . 撮像手段によ り撮像された画像データの画素欠陥の検出及 ぴ補正を行う画素欠陥検出補正装置において、

欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対 値、 色差及び輝度データ及び補間値算出対象画素に対するデータ を算出する色差及び輝度算出手段と、

各種データの最大値と最小値を、 色差及び輝度算出手段で算出 した値から検出する各種データ最大値及び最小値検出手段と、 補間値算出対象画素に対して、 欠陥判別対象画素の色差補間値 を得る色差補間値算出手段と、

捕間値算出対象画素に対して、 欠陥判別対象画素の輝度補間値 を得る輝度補間値算出手段と、

上記各種データ最大値及び最小値検出手段、 上記色差補間値算 出手段、 上記輝度捕間値算出手段からのデータを元に、 複数の欠 , 陥検出方法を用いて、 各欠陥検出方法に対し、 同時に欠陥判別対 象画素の欠陥判別を行い、画素が欠陥である と判断した場合には、 欠陥検出方法に応じた補間値と画素の従来のデータを置換レて補 間.処理を実行する欠陥判別及び捕間処理手段と、

上記欠陥判別及び捕間処理手段で得られた、 欠陥と して判別さ れた画素の最終出力値'を選択する使用補間値選択手段と、

を備え、 撮像中に常時、 画素欠陥の検出及び補正を行い、 複数 の欠陥検出方法、 補間方法の最適な組合せによ り、 画像データの 画素欠陥の検出及び捕正を行う こ とを特徴とする画素欠陥検出補 正装置。 .

2 . 請求の範囲第 1項に記載した画素欠陥検出補正装置におい て、

上記欠陥判別及ぴ補間処理手段における欠陥判別で、 欠陥判別 対象画素に対する色差補間値および輝度補間値を用いて、 欠陥判 別に制限を与えることを特徴とする画素欠陥検出補正装置。

3 . 請求の範囲第 1項に記載した画素欠陥検出補正装置 おい て、

上記欠陥判別及ぴ補間処理手段における欠陥判別及び補間処理 で、 複数の欠陥検出方法と、 誤検出をした際にも画質劣化を最小 限に抑制できるよ うに其々の欠陥検出方法に最適化した補間方法 を用いて、 同時に各欠陥検出と補間処理を行い、

上記使用補間値選択手段で、 欠陥検出方法の特徴に基づいて、 最終的な捕間出力値を決定することで、 最終的な捕間出力値の選 択を行う

こ とを特徴とする画素欠陥検出補正装置。

4 . 請求の範囲第 2項に記載した画素欠陥検出補正装置におい て、

上記制限は外部から任意に設定可能であることを特徴とする画' 素欠陥検出補正装置。

5 . 撮像手段によ り撮像された画像データの画素欠陥の検出及 ぴ補正を行う画素欠陥検出補正方法において、

欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対 値、 色差及び輝度データ及び捕間値算出対象画素に対するデータ を算出する色差及び輝度算出ステップと、

各種データの最大値と最小値を、 色差及び輝度算出ステップで 算出した値から検出する各種データ最大値及び最小値検出ステツ プと、

補間値算出対象画素に対して、 欠陥判別対象画素の色差補間値 を得る色差補間値算出ステップと、

補間値算出対象画素に対して、 欠陥判別対象画素の輝度補間値 を得る輝度補間値算出ステップと、

上記各種データ最大値及び最小値検出ステップ、 上記色差補間 値算出ステップ、 上記輝度補間値算出ステップからのデータを元 に、 複数の欠陥検出方法を用いて、 各欠陥検出方法に対し、 同時 に欠陥判別対象画素の欠陥判別を行い、 画素が欠陥であると判断 した場合には、 欠陥検出方法に応じた補間値と画素の従来のデー タを置換して補間処理を実行する欠陥判別及び補間処理ステップ と、

上記欠陥判別及び補間処理ステップで得られた、 欠陥と して判 別された画素の最終出力値を優先度に基づいて選択する使用補間 値選択ステップと、

を備え、 撮像中に常時、 画素欠陥の検出及び補正を行い、 複数 の欠陥検出方法、 補間方法の最適な組合せによ り、 画像データの 画素欠陥の検出及び捕正を行う こ とを特徴とする画素欠陥検出補 正方法。

6 . 請求の範囲第 5項記載の画素欠陥検出補正方法において、 上記使用補間値選択ステップにおける優先度は、 隣接 8画素色 差絶対値比較、 隣接 8画素比較、 および最近接 8画素比較の順で あるこ とを特徴とする画素欠陥検出補正方法。