JP2008131273A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画素の欠陥の補正を、より適切に行う。
【解決手段】欠陥検出部１０３において、複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値を画素値とする最大値画像データと、白欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出し、欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択して、欠陥データテーブルに登録する。これにより、欠陥補正部１０１では、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行う。本発明は、例えば、ディジタルスチルカメラ等に適用できる。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、スチルカメラやビデオカメラにおける画素の欠陥の補正を、より適切に行うことができるようにする画像処理装置、画像処理方法、及びプログラムに関する。

例えば、ディジタルスチルカメラやディジタルビデオカメラ等のカメラでは、CCD(Charged Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャに代表される画像センサ（固体撮像素子）によって、画像の撮像、すなわち、光を電気信号に変換する光電変換が行われる。

ところで、画像センサには、画素の欠陥が生じることがあり、画像センサのある画素に欠陥がある場合には、画像センサが出力する画像の画素のうちの、欠陥がある画素の画素値が、本来の値とは異なる値となり、不自然な画像が得られることがある。

ここで、欠陥が生じるのは、「画像センサの画素」であり、画像センサの画素に欠陥があることによって、画像センサの、欠陥がある画素に相当する、画像センサが出力する「画像の画素」の画素値が、本来の値とは異なる値になるのであるが、本明細書等では、説明の便宜上、「画像センサの画素」に欠陥があることを、「画像の画素」に欠陥がある、とも表現する。

カメラにおいて、画素の欠陥に起因して、不自然な画像が得られることを防止するためには、欠陥がある欠陥画素を検出し、その欠陥画素の画素値を補正する必要がある。

欠陥画素を検出する欠陥検出の方法（欠陥検出方法）と、欠陥画素の画素値を補正する欠陥補正の方法（欠陥補正方法）としては、例えば、以下のような方法がある。

すなわち、欠陥検出方法としては、画像センサが撮像した画像（以下、適宜、撮像画像という）の各画素の画素値を、所定の閾値と比較することにより、欠陥画素であるかどうかを判定する方法がある。

また、欠陥補正方法としては、例えば、撮像画像の欠陥画素の周囲の画素の画素値を用い、適切なアルゴリズムにしたがって、補正後の画素値を求める方法や、欠陥画素の欠陥の程度を表す欠陥レベル等を用いて、補正後の画素値を求める方法がある。

ここで、欠陥検出において、撮像画像の画素の画素値と比較する所定の閾値としては、あらかじめ決定された固定の閾値を採用することもできるし、所定の閾値と画素値を比較する画素の周囲（周辺）（近傍）の画素の画素値に基づいて決定される可変の閾値を採用することもできる。

なお、撮像画像の画素の画素値を、所定の閾値と比較することにより、欠陥画素であるかどうかを判定する場合において、所定の閾値として、上述したような周辺の画素の画素値に基づいて決定される可変の閾値を採用することは、例えば、その可変の閾値と画素値を比較する画素を、注目画素として注目すると、注目画素の予測値を、注目画素の周辺の画素の画素値に基づいて決定し、その予測値と注目画素の画素値との差分が、あるマージンの範囲内の値であるかどうかによって、注目画素が欠陥画素であるかどうかの判定を行うことと等価である。

すなわち、例えば、いま、所定の閾値として、注目画素に隣接する１画素の画素値pに、固定の値のマージンCを加算して得られる可変の閾値p+Cを採用することとすると、注目画素の画素値vを、可変の閾値p+Cと比較し、注目画素の画素値vと可変の閾値p+Cとの大小関係によって、注目画素が欠陥画素であるかどうかの判定を行うことは、注目画素に隣接する１画素の画素値pを、注目画素の予測値に決定し、その予測値pと注目画素の画素値vとの差分v-pが、マージンCの範囲内の値であるかどうかによって、注目画素が欠陥画素であるかどうかの判定を行うことと等価である。

欠陥検出では、上述のように、撮像画像の画素の画素値と、所定の閾値とを比較し、その比較結果に基づいて、画素が欠陥画素であるかどうか（画素に欠陥があるかどうか）を判定する。したがって、所定の閾値近辺の画素値を有する欠陥画素については、その画素値の揺らぎによって、欠陥があると判定される場合と、欠陥がないと判定される場合とがある。

そこで、欠陥検出の精度を向上させるために、画像センサによる複数回の撮像によって得られる複数の撮像画像の各位置の画素の画素値を、所定の閾値と比較し、その比較結果に基づいて、欠陥があるかどうかの判定を行い、欠陥があるとの判定がされた回数が所定の基準値（回数）以上の画素を、欠陥画素として検出する方法がある（例えば、特許文献１や２を参照）。

特開平04-115785号公報 特開2005-341244号公報

ところで、画素の欠陥には、常時欠陥と点滅欠陥とがある。常時欠陥がある画素（常時欠陥画素）は、常時、欠陥がある画素として振る舞うが、点滅欠陥がある画素（点滅欠陥画素）は、欠陥がある画素として振る舞うときと、欠陥がない画素として振る舞うときとがある。

上述の、欠陥があるとの判定された回数が所定の基準値以上の画素を、欠陥画素として検出する方法（以下、適宜、回数検出法という）では、点滅欠陥画素を検出し損なうことがある。

すなわち、欠陥がある画素として振る舞う頻度が高い、いわば点滅頻度が高い点滅欠陥画素は、回数検出法では、欠陥があると判定される回数が多くなり、欠陥画素として検出することができる。

しかしながら、欠陥がある画素として振る舞う頻度が少ない、いわば点滅頻度が低い点滅欠陥画素は、回数検出法では、欠陥があると判定される回数が少なくなって、欠陥画素として検出されないことがある。さらに、回数検出法では、上述の基準値の決め方によっても、点滅頻度が低い点滅欠陥画素が、欠陥画素として検出されないことがある。

したがって、回数検出法では、点滅頻度が高く、欠陥レベルの低い点滅欠陥画素と、点滅頻度が低く、欠陥レベルが高い点滅欠陥画素とがあった場合に、点滅頻度が高く、欠陥レベルの低い点滅欠陥画素は、欠陥画素として検出されるが、点滅頻度が低く、欠陥レベルが高い点滅欠陥画素は、欠陥画素として検出されないことになる。

その結果、欠陥画素として検出される、欠陥レベルが低い点滅欠陥画素の画素値は補正されるが、欠陥画素として検出されない、欠陥レベルが高い点滅欠陥画素の画素値は補正されないことになる。

しかしながら、欠陥レベルが高い欠陥画素と、欠陥レベルが低い画素とでは、撮像画像において、欠陥レベルが高い欠陥画素の方が目立ちやすいので、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことが適切である。

本発明は、このような状況に鑑みてなされたものであり、画素の欠陥の補正を、より適切に行うことができるようにするものである。

本発明の一側面の画像処理装置は、画像を撮像する撮像手段が出力する画像を処理する画像処理装置であり、欠陥がある欠陥画素を検出する欠陥検出手段と、前記欠陥検出手段で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正手段とを備え、前記欠陥検出手段が、前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出手段、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出手段とのうちの少なくとも一方と、前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択手段とを有する。

本発明の一側面の画像処理方法、又はプログラムは、画像を撮像する撮像手段が出力する画像を処理する画像処理方法、又は画像処理を、コンピュータに実行させるプログラムであり、欠陥がある欠陥画素を検出する欠陥検出ステップと、前記欠陥検出ステップで検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正ステップとを含み、前記欠陥検出ステップが、前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出ステップ、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出ステップとのうちの少なくとも一方と、前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択ステップとを含む。

以上のような一側面の画像処理装置、画像処理方法、又はプログラムにおいては、欠陥がある欠陥画素が検出され、その欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値が補正される。欠陥画素の検出では、前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出すること、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出することのうちの少なくとも一方が行われる。そして、前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素が選択され、その所定数の欠陥画素の欠陥データが、前記欠陥データテーブルに登録される。

なお、プログラムは、伝送媒体を介して伝送し、又は記録媒体に記録することができる。

本発明の一側面によれば、画素の欠陥の補正を、より適切に行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、
画像を撮像する撮像手段（例えば、図１の画像センサ４）が出力する画像を処理する画像処理装置（例えば、図１のディジタルスチルカメラ）であり、
欠陥がある欠陥画素を検出する欠陥検出手段（例えば、図４の欠陥検出部１０３や、図２８の欠陥検出部３０３）と、
前記欠陥検出手段で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正手段（例えば、図４の欠陥補正部１０１や、図２８の欠陥補正部２０１）と
を備え、
前記欠陥検出手段は、
前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出手段（例えば、図５の白欠陥検出部１２１や、図２９の白欠陥検出部３２１）、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出手段（例えば、図５の黒欠陥検出部１２２や、図２９の黒欠陥検出部３２２）とのうちの少なくとも一方と、
前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択手段（例えば、図５の欠陥画素選択部１２３や、図２９の欠陥画素選択部３２３）と
を有する。

本発明の一側面の画像処理方法、又はプログラムは、
画像を撮像する撮像手段（例えば、図１の画像センサ４）が出力する画像を処理する画像処理方法、又は画像処理をコンピュータに実行させるプログラムであり、
欠陥がある欠陥画素を検出する欠陥検出ステップ（例えば、図１４や図３１の欠陥検出処理）と、
前記欠陥検出ステップで検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正ステップ（例えば、図１７や、図２６、図２７の欠陥補正処理）と
を含み、
前記欠陥検出ステップは、
前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出ステップ（例えば、図１４のステップＳ１１や、図３１のステップＳ１５１）、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出ステップ（例えば、図１４のステップＳ１２や、図３１のステップＳ１５２）とのうちの少なくとも一方と、
前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択ステップ（例えば、図１４のステップＳ１３及びＳ１４や、図３１のステップＳ１５３及びＳ１５４））と
を含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示している。

レンズ部１は、フォーカスやズームの調整その他用のレンズを有し、そこに入射する光を、絞り２及びシャッタ３を介して、画像センサ４上に集光する。

絞り２は、光が通過する開口部分の面積を調整することにより、レンズ部１から画像センサ４に入射する光の光量を調整する。シャッタ３は、画像センサ４に入射する光を遮断することにより、露光時間（露光量）を制御する。なお、シャッタ３を設けずに、絞り２に、シャッタ３の機能をも持たせるようにすることができる。

画像センサ４は、CCDやCMOSイメージャで構成され、画像を撮像し、対応する電気信号を出力する。すなわち、画像センサ４は、TG(Timing Generator)回路５からの駆動パルスにしたがって、そこに入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号に変換する光電変換を行う。そして、画像センサ４において光電変換により得られた画像信号は、フロントエンド部６に供給される。

ここで、画像センサ４の、光を受光する受光面には、例えば、図示せぬ複数の色フィルタが配置されており、画像センサ４は、１画素につき、１色の画素値を有する、例えば、ベイヤ配列の画像信号を出力する。

TG回路５は、水平同期信号及び垂直同期信号に同期して、画像センサ４を駆動する駆動パルスを出力する。また、画像センサ４が、いわゆる電子シャッタの機能を有する場合には、TG回路５は、その電子シャッタの制御も行う。ここで、電子シャッタを高速又は低速で駆動することにより、露光量を制御することができる。

フロントエンド部６は、S/H(Sample/Hold)回路、GC(Gain Control)回路、及びA/D(Analog/Digital)変換回路等で構成され、画像センサ４からの画像信号に対して、前処理を施す。すなわち、フロントエンド部６は、画像センサ４からの画像信号に対して、ノイズの除去等のための相関二重サンプリング処理や、レベルを調整するためのゲインコントロール処理を施し、さらに、その結果得られるアナログの画像信号を、A/D変換して、ディジタル信号の画像データを出力する。フロントエンド部６が出力する画像データは、カメラシステムLSI(Large Scale Integration)７に供給される。

カメラシステムLSI７は、フロントエンド部６からの画像データに対して、欠陥補正や、ディジタルクランプ、ホワイトバランス、ガンマ補正、補間等の各種のカメラ信号処理を施し、RGB(Red, Green, Blue) の各値を、画素値として有する画像データを得て、画像モニタ８に供給する。さらに、カメラシステムLSI７は、RGBの画像データを、輝度信号Yと色差信号Cb,Crの画像データに変換する。

また、カメラシステムLSI７は、画像データを、必要に応じて、JPEG(Joint Photographic Experts Group)方式等にしたがってエンコードし、その結果得られるエンコードデータを、画像メモリ９や外部記憶媒体１０に供給する。

さらに、カメラシステムLSI７は、画像メモリ９や外部記憶媒体１０からエンコードデータを読み出し、画像データにデコードして、画像モニタ８に供給する。

画像モニタ８は、例えば、液晶パネル等で構成され、カメラシステムLSI７から供給される画像データに対応して、画像を表示する。ユーザその他のディジタルスチルカメラを操作する操作者は、画像モニタ８に表示された画像を見ることにより、構図等を確認することができる。

画像メモリ９は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)等の半導体メモリであり、カメラシステムLSI７から供給されるエンコードデータや、カメラシステムLSI７が処理を行う上で必要なデータを、一時記憶する。

外部記憶媒体１０は、図１のディジタルスチルカメラに対して着脱可能な半導体メモリであり、カメラシステムLSI７から供給されるエンコードデータを記憶する。外部記憶媒体１０は、ディジタルスチルカメラから取りはずして、持ち運ぶことができる。

マイクロコンピュータ１１は、ROM(Read Only Memory)１３や不揮発性メモリ１４に記憶されたプログラムを実行することにより、絞り２や、シャッタ３、TG回路５、フロントエンド部６、及びカメラシステムLSI７を制御する。

操作部１２は、画像センサ４において撮像された画像データを、外部記憶媒体１０に記憶するときに操作される図示せぬシャッタボタンや、ズームを調整するときに操作される図示せぬズームボタン、その他の操作者によって操作される各種のボタン等を有し、操作者の操作に対応した操作信号を、マイクロコンピュータ１１に供給する。

ROM１３は、マイクロコンピュータ１１が実行するプログラムや、マイクロコンピュータ１１が各種の処理を行う上で必要なデータを記憶している。

不揮発性メモリ１４は、マイクロコンピュータ１１が実行するプログラムを記憶する。また、不揮発性メモリ１４は、マイクロコンピュータ１１が各種の処理を行う上で必要なデータを記憶する。

図２は、図１のカメラシステムLSI７の構成例を示している。

カメラシステムLSI７は、カメラ信号処理部３１、画像検波部３２、マイクロコンピュータI/F(Interface)３３、メモリI/F３４、メモリコントローラ３５、画像圧縮解凍部３６、及びモニタI/F３７から構成される。なお、カメラシステムLSI７を構成するカメラ信号処理部３１ないしモニタI/F３７のうちの必要なブロックどうしは、データバスや制御バス等のバスを介して、画像データや制御データ等のデータのやりとりをすることができるようになっている。

カメラ信号処理部３１は、画像センサ４からフロントエンド部６を介して供給される画像データの欠陥補正を行う。さらに、カメラ信号処理部３１は、画像データに対して、補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のディジタル信号処理を施し、輝度信号と色差信号（色信号）とを画素値として有する画像データを生成する。

画像検波部３２は、画像センサ４からフロントエンド部６を介して供給される画像データに基づいて、オートフォーカス(AF)、オートエキスポージャ(AE)、及びオートホワイトバランス(AWB)の各種カメラ制御処理において用いられる基準値を得るための検波処理を行う。

マイクロコンピュータI/F３３は、マイクロコンピュータ１１との間のインタフェースとして機能する。カメラシステムLSI７とマイクロコンピュータ１１との間の画像データや制御データのやりとりは、マイクロコンピュータI/F３３を介して行われる。

メモリI/F３４は、画像メモリ９や外部記憶媒体１０との間のインタフェースとして機能する。カメラシステムLSI７と、画像メモリ９又は外部記憶媒体１０それぞれとの間の画像データ（エンコードデータを含む）のやりとりは、メモリI/F３４を介して行われる。

メモリコントローラ３５は、カメラシステムLSI７を構成するブロックどうしの間での画像データのやりとり（画像データが流れるデータバス）を制御する。

画像圧縮解凍部３６は、そこに供給される画像データをエンコード（圧縮）し、エンコードデータを出力する。また、画像圧縮解凍部３６は、そこに供給されるエンコードデータをデコード（伸張）し、画像データを出力する。

モニタI/F３７は、そこに供給される画像データのフォーマットを、画像モニタ８（図１）の表示フォーマットに応じて変換し、そのフォーマットの変換後の画像データを、画像モニタ８に供給する。ここで、画像モニタ８が、例えば、NTSC(National Television System Committee)方式で、画像を表示する場合、モニタI/F３７としては、NTSCエンコーダが採用される。

図３は、図２のカメラ信号処理部３１の構成例を示している。

カメラ信号処理部３１は、欠陥処理部５１とディジタル信号処理部５２とから構成される。

画像センサ４からフロントエンド部６を介してカメラ信号処理部３１に供給される画像データは、欠陥処理部５１に供給される。

欠陥処理部５１は、画像センサ４からの画像データに対して、欠陥画素を検出する欠陥検出処理や、欠陥画素の画素値を補正する欠陥補正処理を、必要に応じて施し、ディジタル信号処理部５２に供給する。

ディジタル信号処理部５２は、欠陥処理部５１からの画像データに対して、補間演算等のディジタル信号処理を施し、その結果得られる、輝度信号と色差信号とを画素値として有する画像データを出力する。

なお、欠陥処理部５１及びディジタル信号処理部５２は、マイクロコンピュータI/F３３を介して、マイクロコンピュータ１１から制御される。

また、操作者が、欠陥検出処理を行うように、操作部１２を操作すると、その操作に対応した操作信号である欠陥検出指示信号が、操作部１２から、マイクロコンピュータ１１及びマイクロコンピュータI/F３３を介して、欠陥処理部５１に供給される。欠陥処理部５１は、マイクロコンピュータI/F３３から欠陥検出指示信号が供給されると、欠陥検出処理を行う。

図４は、図３の欠陥処理部５１の第１の構成例を示している。

図４において、欠陥処理部５１は、欠陥補正部１０１、欠陥データテーブル記憶部１０２、及び欠陥検出部１０３から構成される。

欠陥補正部１０１には、画像センサ４（図１）が出力する画像データ（以下、適宜、撮像画像データという）が、フロントエンド部６を介して供給される。欠陥補正部１０１は、欠陥データテーブル記憶部１０２に記憶された、欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、画像センサ４が出力する画像データの画素の画素値を補正する欠陥補正処理を行い、その欠陥補正処理の結果得られる画像データである補正画像データを、ディジタル信号処理部５２（図３）に供給する。

欠陥データテーブル記憶部１０２は、欠陥検出部１０３で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルを記憶する。

なお、欠陥データテーブル記憶部１０２としては、RAM(Random Access Memory)等の揮発性のメモリ、又は、EEPROM(Electrically Erasable Programmable Read-only Memory)を採用することができる。

但し、欠陥データテーブル記憶部１０２として、揮発性のメモリを採用する場合には、欠陥データテーブルを、例えば、図１の不揮発性メモリ１４に記憶させておき、図１のディジタルスチルカメラの電源がオンにされるたびに、不揮発性メモリ１４から、マイクロコンピュータ１１（図１）及びマイクロコンピュータI/F３３（図２）を介して、カメラ信号処理部３１（図３）を構成する欠陥処理部５１の欠陥データテーブル記憶部１０２に転送して記憶させる必要がある。

ここで、欠陥データテーブルを、図１の不揮発性メモリ１４に記憶させておく場合には、欠陥データテーブルをエンコード（圧縮）して、不揮発性メモリ１４に記憶させ、デコード（伸張）してから、欠陥データテーブル記憶部１０２に転送することができる。欠陥データテーブルのエンコードとデコードとは、例えば、マイクロコンピュータ１１（図１７）で行うことができる。

欠陥検出部１０３には、欠陥画素の検出に用いる画像データである検出対象画像データが供給される。ここで、検出対象画像データとしては、画像センサ４が出力する、欠陥補正処理が施される前の撮像画像データを採用することもできるし、画像センサ４が出力し、欠陥補正部１０１で欠陥補正処理が施された後の補正画像データを採用することもできる。

欠陥検出部１０３は、そこに供給される検出対象画像データを用いて、欠陥画素を検出し、その欠陥画素に関する欠陥データを、欠陥データテーブル記憶部１０２の欠陥データテーブルに登録する欠陥検出処理を行う。

以上のように構成される欠陥処理部５１では、欠陥検出処理と欠陥補正処理とが行われる。

すなわち、操作者が、欠陥検出処理を行うように、図１の操作部１２を操作すると、その操作に対応した操作信号である欠陥検出指示信号が、操作部１２から、マイクロコンピュータ１１に供給される。

マイクロコンピュータ１１は、操作部１２から欠陥検出指示信号が供給されると、動作モードを、通常の画像を撮像する通常モードから、欠陥検出を行う欠陥検出モードにして、TG回路５（図１）を制御することにより、画像センサ４に複数回の撮像を連続して行わせる。

画像センサ４において複数回の撮像が行われることにより、その複数回の撮像によって得られる複数枚の撮像画像データ又は補正画像データが、複数枚の検出対象画像データとして、欠陥検出部１０３に供給される。

また、マイクロコンピュータ１１は、マイクロコンピュータI/F３３（図２）を介して、カメラ信号処理部３１を構成する欠陥処理部５１の欠陥検出部１０３を、欠陥検出処理を行うように制御する。

これにより、欠陥検出部１０３では、欠陥検出処理が行われる。すなわち、欠陥検出部１０３は、画像センサ４において複数回の撮像が行われることにより供給される複数枚の検出対象画像データを用い、欠陥画素を検出し、その欠陥画素に関する欠陥データを、欠陥データテーブル記憶部１０２の欠陥データテーブルに登録する。

欠陥検出部１０３において、欠陥データが欠陥データテーブルに登録された後は、マイクロコンピュータ１１は、動作モードを、欠陥検出モードから、通常モードに戻す。

なお、欠陥データテーブル記憶部１０２の欠陥データテーブルに、既に、欠陥データが登録されている場合、欠陥検出部１０３で新たに得られた欠陥データは、例えば、上書きする形で、欠陥データテーブルに登録される。

動作モードが通常モードである場合において、画像センサ４で撮像が行われ、撮像画像データが、欠陥補正部１０１に供給されると、欠陥補正部１０１は、欠陥補正処理を行う。

すなわち、欠陥補正部１０１は、欠陥データテーブル記憶部１０２に記憶された欠陥データテーブルに基づき、そこに供給される撮像画像データの画素の画素値を、必要に応じて補正し、その補正後の画像データである補正画像データを、ディジタル信号処理部５２（図３）に供給する。

次に、図５は、図４の欠陥検出部１０３の構成例を示している。

欠陥検出部１０３は、白欠陥検出部１２１、黒欠陥検出部１２２、及び欠陥画素選択部１２３から構成される。

白欠陥検出部１２１は、最大値検出部１３０と欠陥画素検出部１３４とから構成され、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、画素値が本来の明るさよりも明るい値となる白欠陥がある欠陥画素（以下、適宜、白欠陥画素ともいう）、及びその欠陥画素の欠陥の程度を表す欠陥レベルを検出する。

すなわち、最大値検出部１３０には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。最大値検出部１３０は、比較部１３１、画素選択部１３２、フレームメモリ１３３から構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最大値を検出する。

具体的には、比較部１３１は、白欠陥検出部１２１に供給される検出対象画像データの画素を、順次、注目画素として、注目画素の画素値と、フレームメモリ１３３に既に記憶されている、注目画素の位置の画素値とを比較し、そのうちの大きい方の画素値を、画素選択部１３２に供給する。

画素選択部１３２には、比較部１３１から画素値が供給される他、白欠陥検出部１２１に供給される検出対象画像データのうちの注目画素の画素値が供給される。画素選択部１３２は、動作モードが欠陥検出モードとなってから供給される複数枚の検出対象画像データのうちの、１枚目の検出対象画像データについては、その検出対象画像データの注目画素の画素値を選択し、フレームメモリ１３３に供給する。

また、画素選択部１３２は、動作モードが欠陥検出モードとなってから供給される複数枚の検出対象画像データのうちの、２枚目以降の検出対象画像データについては、比較部１３１から供給される画素値を選択し、フレームメモリ１３３に供給する。

フレームメモリ１３３は、画素選択部１３２から供給される画素値を、注目画素の位置の画素値として記憶する。

欠陥画素検出部１３４は、フレームメモリ１３３に記憶された画素値と、白欠陥検出用の閾値とを比較することにより、白欠陥検出用の閾値以上の画素値（又は、より大きい画素値）を有する画素を、白欠陥画素として検出する。さらに、欠陥画素検出部１３４は、例えば、白欠陥画素の画素値から、白欠陥検出用の閾値を減算した減算値を、白欠陥画素の欠陥レベルとして求める。そして、欠陥画素検出部１３４は、白欠陥画素の位置を表す情報である欠陥座標と、欠陥レベルとを、その白欠陥画素の欠陥データとして、欠陥画素選択部１２３に供給する。

なお、白欠陥検出部１２１での白欠陥画素の検出には、例えば、シャッタ３（図１）を閉じて、画像センサ４で複数回の撮像を行うことによって得られる複数枚の検出対象画像データが、白欠陥検出用の検出対象画像データとして用いられる。

また、シャッタ３を閉じて、画像センサ４で撮像を行うことによって得られる画像データの各画素の画素値は、その画素が欠陥画素でなければ、黒レベルに相当する値となることから、白欠陥検出用の閾値としては、例えば、黒レベルとはみなすことができない値の最小値を採用することができる。

その他、白欠陥検出用の閾値としては、白欠陥検出用の閾値と画素値を比較する画素の周辺の画素を用いた所定の演算によって得られる値を採用することができる。

黒欠陥検出部１２２は、最小値検出部１４０と欠陥画素検出部１４４とから構成され、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、画素値が本来の明るさよりも暗い値となる黒欠陥がある欠陥画素（以下、適宜、黒欠陥画素ともいう）、及びその欠陥画素の欠陥の程度を表す欠陥レベルを検出する。

すなわち、最小値検出部１４０には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。最小値検出部１４０は、比較部１４１、画素選択部１４２、フレームメモリ１４３から構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最小値を検出する。

具体的には、比較部１４１は、黒欠陥検出部１２２に供給される検出対象画像データの画素を、順次、注目画素として、注目画素の画素値と、フレームメモリ１４３に既に記憶されている、注目画素の位置の画素値とを比較し、そのうちの小さい方の画素値を、画素選択部１４２に供給する。

画素選択部１４２には、比較部１４１から画素値が供給される他、黒欠陥検出部１２２に供給される検出対象画像データの注目画素の画素値が供給される。画素選択部１４２は、動作モードが欠陥検出モードとなってから供給される複数枚の検出対象画像データのうちの、１枚目の検出対象画像データについては、その検出対象画像データのうちの注目画素の画素値を選択し、フレームメモリ１４３に供給する。

また、画素選択部１４２は、動作モードが欠陥検出モードとなってから供給される複数枚の検出対象画像データのうちの、２枚目以降の検出対象画像データについては、比較部１４１から供給される画素値を選択し、フレームメモリ１４３に供給する。

フレームメモリ１４３は、画素選択部１４２から供給される画素値を、注目画素の位置の画素値として記憶する。

欠陥画素検出部１４４は、フレームメモリ１４３に記憶された画素値と、黒欠陥検出用の閾値とを比較することにより、黒欠陥検出用の閾値以下の画素値（又は、より小さい画素値）を有する画素を、黒欠陥画素として検出する。さらに、欠陥画素検出部１４４は、例えば、黒欠陥検出用の閾値から、黒欠陥画素の画素値を減算した減算値を、黒欠陥画素の欠陥レベルとして求める。そして、欠陥画素検出部１４４は、黒欠陥画素の位置を表す情報である欠陥座標と、欠陥レベルとを、その黒欠陥画素の欠陥データとして、欠陥画素選択部１２３に供給する。

なお、黒欠陥検出部１２２での黒欠陥画素の検出には、例えば、シャッタ３（図１）を開いて、白い被写体（例えば、黒欠陥の検出のための白い紙など）の撮像を、画像センサ４で複数回行うことによって得られる複数枚の検出対象画像データが、黒欠陥検出用の検出対象画像データとして用いられる。

また、白い被写体の撮像を、画像センサ４で行うことによって得られる画像データの各画素の画素値は、その画素が欠陥画素でなければ、白レベルに相当する値となることから、黒欠陥検出用の閾値としては、例えば、白レベルとはみなすことができない値の最大値を採用することができる。

その他、黒欠陥検出用の閾値としては、黒欠陥検出用の閾値と画素値を比較する画素の周辺の画素を用いた所定の演算によって得られる値を採用することができる。

欠陥画素選択部１２３には、上述したように、白欠陥検出部１２１と黒欠陥検出部１２２のそれぞれから、欠陥画素の欠陥座標と欠陥レベルとを含む欠陥データが供給される。

欠陥画素選択部１２３は、欠陥データに含まれる欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数Nの欠陥画素を選択し、その所定数Nの欠陥画素の欠陥データを、欠陥データテーブル記憶部１０２に供給して、その欠陥データテーブル記憶部１０２に記憶された欠陥データテーブルに登録する。

ここで、白欠陥検出部１２１と黒欠陥検出部１２２から供給される欠陥データ、つまり、欠陥画素の数が、所定数であるN個に満たない場合には、欠陥画素選択部１２３は、すべての欠陥画素を選択し、そのすべての欠陥画素の欠陥データを、欠陥データテーブルに登録する。

なお、所定数Nは、例えば、欠陥データテーブル記憶部１０２の記憶容量に基づいて決定することができる。

次に、図５の欠陥画素検出部１３４及び１４４が行う欠陥画素（白欠陥画素及び黒欠陥画素）の検出について説明する。

欠陥画素の検出には、固定の閾値が用いられる絶対欠陥検出と、可変の閾値が用いられる相対欠陥検出とがある。

図６を参照し、白欠陥検出用の閾値として、固定の閾値を用いて行われる、白欠陥画素の、絶対欠陥検出について説明する。

図６は、ベイヤ配列の画像データにおいて、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rの画素値を示している。

なお、５画素G_L,R_L,G_C,R_R,G_Rのうちの、画素G_L,G_C,G_Rは、G成分を、画素値として有する画素であり、画素R_L,R_Rは、R成分を、画素値として有する画素である。

白欠陥画素の、絶対欠陥検出では、固定の閾値を白欠陥画素検出用の閾値として、注目画素の画素値と、白欠陥画素検出用の閾値である固定の閾値とが比較され、注目画素の画素値が固定の閾値以上である場合に、注目画素は、白欠陥画素として検出される。

図６では、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、中心に位置する画素G_Cの画素値が、白欠陥画素検出用の閾値である固定の閾値以上になっており、したがって、画素G_Cは、白欠陥画素として検出される。

ここで、白欠陥画素検出用の閾値である固定の閾値としては、例えば、上述したように、黒レベルとはみなすことができない値の最小値を採用することができる。

また、白欠陥画素検出用の閾値である固定の閾値は、例えば、欠陥レベルの度数分布に基づいて決定することができる。

すなわち、図７は、欠陥レベルの度数分布を示している。

例えば、いま、欠陥レベルが高い順の少なくともN'個の欠陥画素の欠陥を補正して得られる画像の画質が、図１のディジタルスチルカメラの仕様として要求されることとすると、例えば、図１のディジタルスチルカメラを製造する工場等では、欠陥レベルの度数分布において、欠陥レベルが高い順に、N'個以上のN個の画素が、欠陥画素として検出されるように、白欠陥画素検出用の閾値として用いられる固定の閾値を決定することができる。

次に、図８を参照し、白欠陥検出用の閾値として、可変の閾値を用いて行われる、白欠陥画素の、相対欠陥検出について説明する。

図８は、図６と同様に、ベイヤ配列の画像データにおいて、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rの画素値を示している。

例えば、いま、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、中心に位置する画素G_Cが、白欠陥検出用の閾値と画素値を比較する注目画素であるとすると、白欠陥画素の、相対欠陥検出では、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、例えば、注目画素G_Cと同一の色成分であるG成分を画素値として有し、注目画素により近い２つの画素G_L及びG_Rの画素値の平均値等が、注目画素G_Cの画素値の予測値として求められる。

さらに、注目画素G_Cの画素値の予測値と、マージンとしての固定値W(>0)とを加算した加算値が、白欠陥画素検出用の閾値である可変の閾値として求められる（決定される）。そして、注目画素G_Cの画素値と、白欠陥画素検出用の閾値である可変の閾値とが比較され、注目画素の画素値が可変の閾値以上である場合に、注目画素は、白欠陥画素として検出される。

図８では、注目画素である画素G_Cの画素値が、白欠陥画素検出用の閾値である可変の閾値以上になっており、したがって、画素G_Cは、白欠陥画素として検出される。

なお、図８では、注目画素の予測値を求めるのに、注目画素の周辺の画素のうちの、注目画素と同一の色成分を画素値として有する画素の画素値を用いることとしたが、注目画素の予測値は、その他、例えば、注目画素と異なる色成分を画素値として有する画素の画素値をも用いて求めることができる。

また、図８では、注目画素を含んで水平方向に並ぶ画素の画素値を用いて、注目画素の予測値を求めることとしたが、注目画素の予測値は、水平方向に並ぶ画素の他、例えば、注目画素を含んで垂直方向に並ぶ画素や、その他の任意の方向にある画素の画素値を用いて求めることができる。

すなわち、図９は、ベイヤ配列の画像データを示している。

例えば、G成分を画素値として有する画素G_mnが注目画素である場合においては、図９に示すように、その注目画素G_mnと同一のG成分を画素値として有する画素であって、注目画素G_mnの周辺にある画素、すなわち、例えば、注目画素G_mnから２画素分だけ上方向の位置にある画素G_m(n-2)、注目画素G_mnから２画素分だけ下方向の位置にある画素G_m(n+2)、注目画素G_mnから２画素分だけ左方向の位置にある画素G_(m-2)n、及び注目画素G_mnから２画素分だけ右方向の位置にある画素G_(m+2)nの４画素の平均値等を、注目画素の予測値とすることができる。

また、注目画素の予測値としては、注目画素の周辺の画素の画素値の単純な平均をとった値ではなく、重み付け平均をとった値を採用することができる。

すなわち、例えば、注目画素を中心として、水平方向に並ぶ幾つかの画素どうしの相関と、垂直方向に並ぶ幾つかの画素どうしの相関とを求め、水平方向に並ぶ幾つかの画素と、垂直方向に並ぶ幾つかの画素とのうちの、相関が大きい方に大きな重み（例えば、１、又は１に近い値）を付すとともに、相関が小さい方に小さな重み（例えば、０、又は０に近い値）を付し、水平方向に並ぶ幾つかの画素と、垂直方向に並ぶ幾つかの画素との画素値の重み付け平均をとった値を、注目画素の予測値として採用することができる。

次に、図１０を参照し、黒欠陥検出用の閾値として、固定の閾値を用いて行われる、黒欠陥画素の、絶対欠陥検出について説明する。

図１０は、図６と同様に、ベイヤ配列の画像データにおいて、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rの画素値を示している。

黒欠陥画素の、絶対欠陥検出では、固定の閾値を黒欠陥画素検出用の閾値として、注目画素の画素値と、黒欠陥画素検出用の閾値である固定の閾値とが比較され、注目画素の画素値が固定の閾値以下である場合に、注目画素は、黒欠陥画素として検出される。

図１０では、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、中心に位置する画素G_Cの画素値が、黒欠陥画素検出用の閾値である固定の閾値以下になっており、したがって、画素G_Cは、黒欠陥画素として検出される。

ここで、黒欠陥画素検出用の閾値である固定の閾値としては、例えば、上述したように、白レベルとはみなすことができない値の最大値を採用することができる。

また、黒欠陥画素検出用の閾値である固定の閾値は、例えば、図７で説明したように、欠陥レベルの度数分布に基づいて決定することができる。

次に、図１１を参照し、黒欠陥検出用の閾値として、可変の閾値を用いて行われる、黒欠陥画素の、相対欠陥検出について説明する。

図１１は、図６と同様に、ベイヤ配列の画像データにおいて、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rの画素値を示している。

例えば、いま、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、中心に位置する画素G_Cが、黒欠陥検出用の閾値と画素値を比較する注目画素であるとすると、黒欠陥画素の、相対欠陥検出では、水平方向に連続して並ぶある５画素G_L,R_L,G_C,R_R,G_Rのうちの、例えば、注目画素G_Cと同一の色成分であるG成分を画素値として有し、注目画素により近い２つの画素G_L及びG_Rの画素値の平均値等が、注目画素G_Cの画素値の予測値として求められる。

さらに、注目画素G_Cの画素値の予測値と、マージンとしての固定値-Bとを加算（B(>0)を減算）した加算値が、黒欠陥画素検出用の閾値である可変の閾値として求められる（決定される）。そして、注目画素の画素値と、黒欠陥画素検出用の閾値である可変の閾値とが比較され、注目画素の画素値が可変の閾値以下である場合に、注目画素は、黒欠陥画素として検出される。

図１１では、注目画素である画素G_Cの画素値が、黒欠陥画素検出用の閾値である可変の閾値以下になっており、したがって、画素G_Cは、黒欠陥画素として検出される。

なお、黒欠陥検出でも、注目画素の予測値は、白欠陥検出で説明したように、注目画素の周辺の画素の画素に基づき、各種の方法で求めることができる。

次に、図１２は、図４の欠陥データテーブル記憶部１０２に記憶される欠陥データテーブルの例を示している。

図１２では、欠陥データテーブルには、欠陥画素の欠陥データとして、欠陥座標と欠陥レベルとが登録される。

次に、図１３は、図４の欠陥補正部１０１の構成例を示している。

図１３において、欠陥補正部１０１は、判定部１６１と補正部１６２とから構成される。

判定部１６１には、フロントエンド部６（図１）から撮像画像データが供給される。ここで、フロントエンド部６から判定部１６１には、撮像画像データの各画素の画素値が、その撮像画像データの各画素に同期して変化する、画素の座標に対応するカウント値とともに供給される。

判定部１６１は、撮像画像データの画素の画素値とともに供給されるカウント値と、欠陥データテーブル記憶部１０２に記憶された欠陥データテーブルの欠陥データとしての欠陥座標とを比較し、カウント値が、欠陥データテーブルのいずれかの欠陥座標と一致すると、そのカウント値とともに画素値が供給された画素（欠陥画素）を、画素値の補正をする補正対象画素として、その補正対象画素の画素値を補正することを指示する補正指示信号を、補正部１６２に供給する。

補正部１６２には、判定部１６１から補正指示信号から供給される他、フロントエンド部６から、判定部１６１に供給されるのと同一の撮像画像データが供給される。

補正部１６２は、そこに画素値が供給される撮像画像データの画素を、順次、注目画素として、注目画素に対して、判定部１６１から補正指示信号が供給されなかった場合、すなわち、注目画素が補正対象画素ではない場合、その注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力する。

また、補正部１６２は、注目画素に対して、判定部１６１から補正指示信号が供給された場合、すなわち、注目画素が補正対象画素である場合、その注目画素、つまり、補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力する。

ここで、補正対象画素の画素値の補正は、例えば、その補正対象画素の周辺の画素から、補正対象画素の画素値の予測値を、例えば、相対欠陥検出で説明したようにして求め、その予測値に画素値を置き換えることによって行うことができる。

その他、例えば、補正対象画素である欠陥画素の欠陥レベルに基づき、その欠陥レベルに応じた値を、補正対象画素の画素値に乗算し、又は、画素値から減算する等の所定の演算を行うことによって、補正対象画素の画素値を補正することもできる。このように、画素値の補正に、欠陥レベルを用いる場合、欠陥レベルは、欠陥データテーブル記憶部１０２から判定部１６１を介して、補正部１６２に供給される。

なお、補正対象画素の画素値を補正する方法としては、上述した方法の他、補正対象画素の画素値を、異常な値から、適正（正常）な値に置換する任意の方法を採用することができる。

次に、図１４のフローチャートを参照して、図５の欠陥検出部１０３で行われる欠陥検出処理について説明する。

図１４の欠陥検出処理は、例えば、図１のディジタルスチルカメラの工場等において、出荷前等に行われる。

図５の欠陥検出部１０３では、ステップＳ１１において、白欠陥検出部１２１が、白欠陥画素を検出する白欠陥検出処理を行い、その結果得られる白欠陥画素の欠陥データを、欠陥画素選択部１２３に供給して、ステップＳ１２に進む。

ステップＳ１２では、黒欠陥検出部１２２が、黒欠陥画素を検出する黒欠陥検出処理を行い、その結果得られる黒欠陥画素の欠陥データを、欠陥画素選択部１２３に供給して、ステップＳ１３に進む。

ステップＳ１３では、欠陥画素選択部１２３は、白欠陥検出部１２１と黒欠陥検出部１２２からの欠陥データに含まれる欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択して、ステップＳ１４に進む。ステップＳ１４では、欠陥画素選択部１２３は、欠陥の程度が大きい上位N個の欠陥画素の欠陥データを、欠陥データテーブル記憶部１０２に供給し、その欠陥データテーブル記憶部１０２に記憶された欠陥データテーブルに登録して、欠陥検出処理を終了する。

次に、図１５のフローチャートを参照して、図５の白欠陥検出部１２１が図１４のステップＳ１１で行う白欠陥検出処理について説明する。

白欠陥検出処理では、ステップＳ２１において、白欠陥検出部１２１のフレームメモリ１３３は、その記憶内容を初期化する。

ここで、白欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。

そして、白欠陥検出部１２１の最大値検出部１３０は、画像センサ４で撮像が行われることにより、白欠陥検出用の検出対象画像データが供給されると、その検出対象画像データを、比較部１３１と画素選択部１３２とに供給する。

比較部１３１は、検出対象画像データが供給されると、ステップＳ２２において、その検出対象画像データの画素を、順次、注目画素として、注目画素の画素値と、フレームメモリ１３３に既に記憶されている、注目画素の位置の画素値とを比較し、そのうちの大きい方の画素値を、画素選択部１３２に供給する。

さらに、ステップＳ２２では、画素選択部１３２は、比較部１３１から供給される画素値を、フレームメモリ１３３に供給し、注目画素の位置に対応するアドレスに、注目画素の位置の画素値として、上書きで記憶させる。

なお、比較部１３１及び画素選択部１３２に供給された検出対象画像データが、画像センサ４で行われる所定の規定回数の撮像のうちの１回目の撮像で得られた検出対象画像データである場合、画素選択部１３２は、ステップＳ２２において、１回目の撮像で得られた検出対象画像データの各画素の画素値を、そのまま、フレームメモリ１３３に供給し、各画素の位置に対応するアドレスに記憶させる。

ステップＳ２２において、検出対象画像データのすべての画素を注目画素として、フレームメモリ１３３の、注目画素の位置に対応するアドレスに、画素値が記憶されると、ステップＳ２３に進み、比較部１３１は、所定の規定回数の撮像が終了したかどうかを判定する。

ステップＳ２３において、所定の規定回数の撮像が終了していないと判定された場合、画像センサ４において、次の撮像が行われ、その撮像で得られた検出対象画像データが、比較部１３１及び画素選択部１３２に供給されるのを待って、ステップＳ２２に戻り、以下、ステップＳ２２及びＳ２３の処理が繰り返される。

ここで、ステップＳ２２及びＳ２３の処理が繰り返されることにより、フレームメモリ１３３には、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値が記憶される。このフレームメモリ１３３に記憶される、複数枚の検出対象画像データの各位置の画素の画素値の最大値を画素値とする画像データを、以下、適宜、最大値画像データという。

ステップＳ２３において、所定の規定回数の撮像が終了したと判定された場合、すなわち、フレームメモリ１３３に最大値画像データが記憶された場合、ステップＳ２４に進み、欠陥画素検出部１３４は、フレームメモリ１３３に記憶された最大値画像データの各画素の画素値と、白欠陥検出用の閾値とを比較することにより、例えば、白欠陥検出用の閾値以上の画素値を有する画素を、白欠陥画素として検出する。

さらに、ステップＳ２４では、欠陥画素検出部１３４は、最大値画像データの画素のうちの、白欠陥画素の画素値から、白欠陥検出用の閾値を減算した減算値を、白欠陥画素の欠陥レベルとして求め、白欠陥画素の位置を表す情報である欠陥座標と、欠陥レベルとを、白欠陥画素の欠陥データとして、欠陥画素選択部１２３に供給して、白欠陥検出処理を終了する。

ここで、図１５の白欠陥検出処理において、最大値画像データの画素の画素値と、白欠陥検出用の閾値とを比較することにより、白欠陥画素を検出する方法としては、絶対欠陥検出、又は相対欠陥検出のうちのいずれをも採用することができる。

次に、図１６のフローチャートを参照して、図５の黒欠陥検出部１２２が図１４のステップＳ１２で行う黒欠陥検出処理について説明する。

黒欠陥検出処理では、ステップＳ３１において、黒欠陥検出部１２２のフレームメモリ１４３は、その記憶内容を初期化する。

ここで、黒欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。

そして、黒欠陥検出部１２２の最小値検出部１４０は、画像センサ４で撮像が行われることにより、黒欠陥検出用の検出対象画像データが供給されると、その検出対象画像データを、比較部１４１と画素選択部１４２とに供給する。

比較部１４１は、検出対象画像データが供給されると、ステップＳ３２において、その検出対象画像データの画素を、順次、注目画素として、注目画素の画素値と、フレームメモリ１４３に既に記憶されている、注目画素の位置の画素値とを比較し、そのうちの小さい方の画素値を、画素選択部１４２に供給する。

さらに、ステップＳ３２では、画素選択部１４２は、比較部１４１から供給される画素値を、フレームメモリ１４３に供給し、注目画素の位置に対応するアドレスに、注目画素の位置の画素値として、上書きで記憶させる。

なお、比較部１４１及び画素選択部１４２に供給された検出対象画像データが、画像センサ４で行われる所定の規定回数の撮像のうちの１回目の撮像で得られた検出対象画像データである場合、画素選択部１４２は、ステップＳ３２において、１回目の撮像で得られた検出対象画像データの各画素の画素値を、そのまま、フレームメモリ１４３に供給し、各画素の位置に対応するアドレスに記憶させる。

ステップＳ３２において、検出対象画像データのすべての画素を注目画素として、フレームメモリ１４３の、注目画素の位置に対応するアドレスに、画素値が記憶されると、ステップＳ３３に進み、比較部１４１は、所定の規定回数の撮像が終了したかどうかを判定する。

ステップＳ３３において、所定の規定回数の撮像が終了していないと判定された場合、画像センサ４において、次の撮像が行われ、その撮像で得られた検出対象画像データが、比較部１４１及び画素選択部１４２に供給されるのを待って、ステップＳ３２に戻り、以下、ステップＳ３２及びＳ３３の処理が繰り返される。

ここで、ステップＳ３２及びＳ３３の処理が繰り返されることにより、フレームメモリ１４３には、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値が記憶される。このフレームメモリ１４３に記憶される、複数枚の検出対象画像データの各位置の画素の画素値の最小値を画素値とする画像データを、以下、適宜、最小値画像データという。

ステップＳ３３において、所定の規定回数の撮像が終了したと判定された場合、すなわち、フレームメモリ１４３に最小値画像データが記憶された場合、ステップＳ３４に進み、欠陥画素検出部１４４は、フレームメモリ１４３に記憶された最小値画像データの各画素の画素値と、黒欠陥検出用の閾値とを比較することにより、例えば、黒欠陥検出用の閾値以下の画素値を有する画素を、黒欠陥画素として検出する。

さらに、ステップＳ３４では、欠陥画素検出部１４４は、最小値画像データの画素のうちの、閾値黒欠陥画素の画素値を、黒欠陥検出用の閾値から減算した減算値を、黒欠陥画素の欠陥レベルとして求め、黒欠陥画素の位置を表す情報である欠陥座標と、欠陥レベルとを、黒欠陥画素の欠陥データとして、欠陥画素選択部１２３に供給して、黒欠陥検出処理を終了する。

ここで、図１６の黒欠陥検出処理において、最小値画像データの画素の画素値と、黒欠陥検出用の閾値とを比較することにより、黒欠陥画素を検出する方法としては、絶対欠陥検出、又は相対欠陥検出のうちのいずれをも採用することができる。

次に、図１７のフローチャートを参照して、図１３の欠陥補正部１０１で行われる欠陥補正処理について説明する。

上述したように、欠陥補正部１０１の判定部１６１と補正部１６２には、フロントエンド部６（図１）から撮像画像データが供給される。

判定部１６１は、フロントエンド部６からの撮像画像データの画素を、順次、注目画素として、ステップＳ５１において、欠陥データテーブル記憶部１０２に記憶された欠陥データテーブルを参照し、注目画素が欠陥画素であるかどうかを判定する。

ステップＳ５１において、注目画素が欠陥画素でないと判定された場合、補正部１６２は、注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力し、ステップＳ５２をスキップして、ステップＳ５３に進む。

また、ステップＳ５１において、注目画素が欠陥画素であると判定された場合、ステップＳ５２に進み、補正部１６２は、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ５３に進む。

ステップＳ５３では、判定部１６１は、注目画素が、撮像画像データの最後の画素であるかどうか、すなわち、撮像画像データの画素に、注目画素としていない画素がないかどうかを判定する。

ステップＳ５３において、撮像画像データの画素に、まだ、注目画素としていない画素があると判定された場合、判定部１６１は、撮像画像データの画素のうちの、まだ、注目画素としていない画素を、新たな注目画素として、ステップＳ５１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ５３において、撮像画像データの画素に、まだ、注目画素としていない画素がないと判定された場合、欠陥補正部１０１は、欠陥補正処理を終了する。

以上のように、図４の欠陥処理部５１では、欠陥検出部１０３において、画像センサ４（図１）による複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値を画素値とする最大値画像データと、白欠陥検出用の閾値とを比較することにより、欠陥画素（白欠陥画素）、及び欠陥レベルを検出し、また、複数枚の検出対象画像データの各位置の画素の画素値の最小値を画素値とする最小値画像データと、黒欠陥検出用の閾値とを比較することにより、欠陥画素（黒欠陥画素）、及び欠陥レベルを検出し、欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択し、欠陥データテーブルに登録するので、欠陥画素の補正（画素の欠陥の補正）を、より適切に行うことができる。

すなわち、前述したように、欠陥レベルが高い欠陥画素と、欠陥レベルが低い画素とでは、欠陥レベルが高い欠陥画素の方が目立ちやすいので、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことが適切である。

欠陥検出部１０３では、欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択し、欠陥データテーブルに登録するので、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことができる。

さらに、欠陥の程度が大きい上位N個の欠陥画素だけの欠陥データを、欠陥データテーブルに登録することにより、欠陥データテーブルを記憶する欠陥データテーブル記憶部１０２としては、記憶容量の小さいRAM等を使用することが可能となり、低コスト化を図ることができる。あるいは、欠陥データテーブルを記憶する欠陥データテーブル記憶部１０２の記憶容量が制限されている場合に、その記憶容量の制限の範囲内で、欠陥の程度が大きい上位N個の欠陥画素の欠陥データを欠陥データテーブルに登録し、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことができる。

また、欠陥検出部１０３では、複数回の撮像によって得られる複数枚の検出対象画像データから得られる最大値画像データ又は最小値画像データと閾値とを比較することにより、欠陥画素を検出し、欠陥レベルが大の（高い）上位N個の欠陥画素を、欠陥データテーブルに登録するので、常時欠陥画素のみならず、点滅欠陥画素をも含む欠陥画素の中で、欠陥レベルが大の上位N個の欠陥画素の画素値の補正を、優先的に行うことができる。

すなわち、前述したように、欠陥画素の種類としては、常時欠陥画素と点滅欠陥画素とがある。欠陥検出部１０３では、複数回の撮像において、一度でも、画素値が白欠陥検出用の閾値以上となった画素、又は黒欠陥検出用の閾値以下となった画素が、欠陥画素として検出されるので、常時欠陥画素の他、ある程度の点滅頻度の点滅欠陥画素を検出することができる。

そして、欠陥検出部１０３では、欠陥画素の種類にかかわらず、欠陥レベルが大の上位N個の欠陥画素が、欠陥データテーブルに登録される。したがって、常時欠陥画素であるか、点滅欠陥画素であるかにかかわらず、欠陥レベルが大の欠陥画素の画素値の補正を、優先的に行うことができる。

ここで、図５では、欠陥検出部１０３に、白欠陥画素を検出する白欠陥検出部１２１と、黒欠陥画素を検出する黒欠陥検出部１２２との両方を設けるようにしたが、欠陥検出部１０３には、白欠陥検出部１２１と黒欠陥検出部１２２とのうちのいずれか一方だけを設けるようにすることができる。但し、白欠陥検出部１２１、又は黒欠陥検出部１２２だけを設ける場合には、それぞれ、白欠陥画素、又は黒欠陥画素を検出することができなくなる。

なお、複数回の撮像によって得られる複数枚の検出対象画像データから得られる最大値画像データと等価な画像データは、露光時間が長い１回の撮像を行うことによって得ることができる。

したがって、点滅欠陥画素のうちの白欠陥画素の検出は、複数回の撮像によって得られる複数枚の検出対象画像データから得られる最大値画像データを、白欠陥検出用の閾値と比較する他、露光時間が長い１回の撮像によって得られる検出対象画像データを、白欠陥検出用の閾値と比較することによっても、最大値画像データを、白欠陥検出用の閾値と比較する場合と同様に行うことができる。

但し、画像センサ４の仕様として定められている最大露光時間が、点滅欠陥画素のうちの白欠陥画素の検出に適切な、十分な長さの露光時間であるとは限らない。画像センサ４の仕様として定められている最大露光時間が、点滅欠陥画素のうちの白欠陥画素の検出に十分な長さの露光時間でない場合には、長い露光時間での撮像を複数回行うことによって得られる複数枚の検出対象画像データから得られる最大値画像データを、白欠陥検出用の閾値と比較することにより、点滅欠陥画素のうちの白欠陥画素の検出の精度を向上させることができる。

なお、点滅頻度の周期が長い点滅欠陥画素を、なるべく見逃さずに検出するためには、最大値画像データ又は最小値画像データを得るための撮像回数を多くすることが望ましい。

次に、図１８は、図３の欠陥処理部５１の第２の構成例を示している。

図１８において、欠陥処理部５１は、欠陥補正部２０１、欠陥データテーブル記憶部２０２、及び欠陥検出部２０３から構成される。

欠陥補正部２０１には、画像センサ４（図１）が出力する撮像画像データが、フロントエンド部６を介して供給される。欠陥補正部２０１は、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルに基づき、そこに供給される撮像画像データの画素の画素値を補正する欠陥補正処理を行い、その欠陥補正処理の結果得られる補正画像データを、ディジタル信号処理部５２（図３）に供給する。

なお、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルの欠陥データには、欠陥画素が常時欠陥画素と点滅欠陥画素とのうちのいずれであるかを表す欠陥の種類（欠陥画素の種類）が含まれている。

そして、欠陥補正部２０１は、撮像画像データの画素のうちの、常時欠陥画素については、常に、画素値を補正する。また、欠陥補正部２０１は、撮像画像データの画素のうちの、点滅欠陥画素については、点滅欠陥画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素が、画素値が異常な欠陥状態にあるかどうかを判定し、点滅欠陥画素が欠陥状態にあると判定した場合にのみ、その点滅欠陥画素の画素値を補正する。

欠陥データテーブル記憶部２０２は、図４の欠陥データテーブル記憶部１０２と同様に構成され、欠陥検出部２０３で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルを記憶する。但し、欠陥データテーブル記憶部２０２が記憶する欠陥データテーブルに登録される欠陥データは、上述したように、欠陥の種類を含んでいる。

欠陥検出部２０３には、図４の欠陥検出部１０３と同様に、欠陥画素の検出に用いる画像データである検出対象画像データが供給される。

欠陥検出部２０３は、そこに供給される検出対象画像データを用いて、欠陥画素を検出し、その欠陥画素に関する欠陥データを、欠陥データテーブル記憶部２０２の欠陥データテーブルに登録する欠陥検出処理を行う。

但し、欠陥検出部２０３は、欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の画素であるかも判定し、その欠陥画素の種類を含む欠陥データを、欠陥データテーブルに登録する。

以上のように構成される欠陥処理部５１では、欠陥検出処理と欠陥補正処理とが行われる。

すなわち、操作者が、欠陥検出処理を行うように、図１の操作部１２を操作すると、その操作に対応した操作信号である欠陥検出指示信号が、操作部１２から、マイクロコンピュータ１１に供給される。

マイクロコンピュータ１１は、操作部１２から欠陥検出指示信号が供給されると、動作モードを、通常モードから、欠陥検出モードにして、TG回路５（図１）を制御することにより、画像センサ４に複数回の撮像を連続して行わせる。

画像センサ４において複数回の撮像が行われることにより、その複数回の撮像によって得られる複数枚の撮像画像データ又は補正画像データが、複数枚の検出対象画像データとして、欠陥検出部２０３に供給される。

また、マイクロコンピュータ１１は、マイクロコンピュータI/F３３（図３）を介して、カメラ信号処理部３１を構成する欠陥処理部５１の欠陥検出部２０３を、欠陥検出処理を行うように制御する。

これにより、欠陥検出部２０３では、欠陥検出処理が行われる。すなわち、欠陥検出部２０３は、画像センサ４において複数回の撮像が行われることにより供給される複数枚の検出対象画像データを用い、欠陥画素を検出し、さらに、欠陥画素の種類を判定して、その種類を含む欠陥データを、欠陥データテーブル記憶部２０２の欠陥データテーブルに登録する。

欠陥検出部２０３において、欠陥データが欠陥データテーブルに登録された後は、マイクロコンピュータ１１は、動作モードを、欠陥検出モードから、通常モードに戻す。

なお、欠陥データテーブル記憶部２０２の欠陥データテーブルに、既に、欠陥データが登録されている場合、欠陥検出部２０３で新たに得られた欠陥データは、例えば、上書きする形で、欠陥データテーブルに登録される。

動作モードが通常モードである場合において、画像センサ４で撮像が行われ、撮像画像データが、欠陥補正部２０１に供給されると、欠陥補正部２０１は、欠陥補正処理を行う。

すなわち、欠陥補正部２０１は、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルに基づき、そこに供給される撮像画像データの画素の画素値を、必要に応じて補正し、その補正後の画像データである補正画像データを、ディジタル信号処理部５２（図３）に供給する。

具体的には、欠陥補正部２０１は、撮像画像データの画素を、順次、注目画素として、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照することにより、注目画素が、欠陥画素であるかどうかを判定する。

注目画素が欠陥画素でない場合、欠陥補正部２０１は、注目画素の画素値を、そのまま、補正画像データの画素値として出力する。

注目画素が欠陥画素である場合、欠陥補正部２０１は、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照することにより、欠陥画素である注目画素が、常時欠陥画素であるか、又は点滅欠陥画素であるかを判定する。

注目画素が常時欠陥画素である場合、欠陥補正部２０１は、注目画素の画素値を、図４の欠陥補正部１０１と同様に補正し、その補正後の画素値を、補正画像データの画素値として出力する。

また、注目画素が点滅欠陥画素である場合、欠陥補正部２０１は、その点滅欠陥画素である注目画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素が、画素値が異常な欠陥状態にあるかどうかを判定する。

すなわち、点滅欠陥画素は、常時欠陥画素とは異なり、欠陥状態にある場合と、欠陥状態ではない場合とがある。

注目画素となっている点滅欠陥画素が欠陥状態にない場合、欠陥補正部２０１は、注目画素の画素値を、そのまま、補正画像データの画素値として出力する。

また、注目画素となっている点滅欠陥画素が欠陥状態にある場合、欠陥補正部２０１は、注目画素の画素値を、図４の欠陥補正部１０１と同様に補正し、その補正後の画素値を、補正画像データの画素値として出力する。

次に、図１９は、図１８の欠陥検出部２０３の構成例を示している。

欠陥検出部２０３は、白欠陥検出部２２１、黒欠陥検出部２２２、及び欠陥画素選択部２２３から構成される。

白欠陥検出部２２１は、最小値検出部２３１、回数カウント部２３２、及び判定部２３６から構成される。白欠陥検出部２２１は、白欠陥画素を検出（判定）し、さらに、白欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類（以下、適宜、欠陥種類という）の画素であるかを判定して、白欠陥画素の判定結果と、欠陥種類の判定結果とを、欠陥画素選択部２２３に供給する。

すなわち、最小値検出部２３１には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。

最小値検出部２３１は、例えば、図５の最小値検出部１４０と同様に構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最小値を検出し、その最小値を画素値とする最小値画像データを、判定部２３６に供給する。

回数カウント部２３２には、最小値検出部２３１に供給されるのと同一の複数枚の検出対象画像データが供給される。

回数カウント部２３２は、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値と、白欠陥検出用の閾値とを比較することにより、白欠陥画素を検出し、さらに、複数枚の検出対象画像データの各位置の画素について、白欠陥画素であると検出された回数（以下、適宜、白欠陥検出回数という）をカウントして、判定部２３６に供給する。

すなわち、回数カウント部２３２は、欠陥画素検出部２３３、加算部２３４、及びフレームメモリ２３５から構成される。

欠陥画素検出部２３３には、検出対象画像データが供給される。欠陥画素検出部２３３は、そこに供給される検出対象画像データの画素を、順次、注目画素として、その注目画素の画素値と白欠陥検出用の閾値とを比較することにより、例えば、白欠陥検出用の閾値以上（より大きい）画素値の注目画素を、白欠陥画素として検出し、その白欠陥画素として検出された注目画素の位置を表す座標を、加算部２３４に供給する。ここで、欠陥画素検出部２３３での白欠陥画素の検出には、絶対欠陥検出、又は相対欠陥検出のうちのいずれをも採用することができる。

加算部２３４は、フレームメモリ２３５のアドレスのうちの、欠陥画素検出部２３３からの注目画素の位置に対応するアドレスから、そこに記憶されている白欠陥検出回数を読み出し、その白欠陥検出回数を１だけインクリメントする。さらに、加算部２３４は、そのインクリメント後の白欠陥検出回数を、フレームメモリ２３５の注目画素の位置に対応するアドレスに、上書きする形で記憶させる。

フレームメモリ２３５は、検出対象画像データの各画素の位置に対応するアドレスに、その位置の画素が白欠陥画素として検出された白欠陥検出回数を記憶する。

判定部２３６は、最小値検出部２３１から供給される最小値画像データ、つまり、画像センサ４での複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値と、フレームメモリ２３５に記憶された白欠陥検出回数とに基づき、検出対象画像データの各位置の画素が、白欠陥画素であるかどうかの判定と、その白欠陥画素の欠陥種類の判定、つまり、白欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の画素であるかの判定を行い、各画素についての判定結果を、欠陥画素選択部２２３に供給する。

黒欠陥検出部２２２は、最大値検出部２４１、回数カウント部２４２、及び判定部２４６から構成される。黒欠陥検出部２２２は、黒欠陥画素を検出（判定）し、さらに、黒欠陥画素の欠陥種類を判定して、黒欠陥画素の判定結果と、欠陥種類の判定結果とを、欠陥画素選択部２２３に供給する。

すなわち、最大値検出部２４１には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。

最大値検出部２４１は、例えば、図５の最大値検出部１３０と同様に構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最大値を検出し、その最大値を画素値とする最大値画像データを、判定部２４６に供給する。

回数カウント部２４２には、最大値検出部２４１に供給されるのと同一の複数枚の検出対象画像データが供給される。

回数カウント部２４２は、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値と、黒欠陥検出用の閾値とを比較することにより、黒欠陥画素を検出し、さらに、複数枚の検出対象画像データの各位置の画素について、黒欠陥画素であると検出された回数（以下、適宜、黒欠陥検出回数という）をカウントして、判定部２４６に供給する。

すなわち、回数カウント部２４２は、欠陥画素検出部２４３、加算部２４４、及びフレームメモリ２４５から構成される。

欠陥画素検出部２４３には、検出対象画像データが供給される。欠陥画素検出部２４３は、そこに供給される検出対象画像データの画素を、順次、注目画素として、その注目画素の画素値と黒欠陥検出用の閾値とを比較することにより、例えば、黒欠陥検出用の閾値以下（より小さい）画素値の注目画素を、黒欠陥画素として検出し、その黒欠陥画素として検出された注目画素の位置を表す座標を、加算部２４４に供給する。ここで、欠陥画素検出部２４３での黒欠陥画素の検出には、絶対欠陥検出、又は相対欠陥検出のうちのいずれをも採用することができる。

加算部２４４は、フレームメモリ２４５のアドレスのうちの、欠陥画素検出部２４３からの注目画素の位置に対応するアドレスから、そこに記憶されている黒欠陥検出回数を読み出し、その黒欠陥検出回数を１だけインクリメントする。さらに、加算部２４４は、そのインクリメント後の黒欠陥検出回数を、フレームメモリ２４５の注目画素の位置に対応するアドレスに、上書きする形で記憶させる。

フレームメモリ２４５は、検出対象画像データの各画素の位置に対応するアドレスに、その位置の画素が黒欠陥画素として検出された黒欠陥検出回数を記憶する。

判定部２４６は、最大値検出部２４１から供給される最大値画像データ、つまり、画像センサ４での複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値と、フレームメモリ２４５に記憶された黒欠陥検出回数とに基づき、検出対象画像データの各位置の画素が、黒欠陥画素であるかどうかの判定と、その黒欠陥画素の欠陥種類の判定、つまり、黒欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の画素であるかの判定を行い、各画素についての判定結果を、欠陥画素選択部２２３に供給する。

欠陥画素選択部２２３には、上述したように、白欠陥検出部２２１と黒欠陥検出部２２２のそれぞれから、検出対象画像データの各画素について、欠陥画素（白欠陥画素と黒欠陥画素）であるかどうかの判定結果と、欠陥種類の判定結果とが供給される。

欠陥画素選択部２３３は、検出対象画像データの各画素についての、欠陥画素であるかどうかの判定結果に基づき、検出対象画像データの画素の中から、欠陥画素を選択する。さらに、欠陥画素選択部２２３は、欠陥画素の欠陥種類の判定結果に基づき、各欠陥画素について、欠陥画素の欠陥座標と欠陥種類とを含む欠陥データを生成し、欠陥データテーブル記憶部２０２に供給して、その欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルに登録する。

次に、図２０を参照して、図１９の判定部２３６での欠陥種類の判定の方法について説明する。

すなわち、図２０は、複数回の撮像として、３回の撮像を行った場合に得られる３枚の検出対象画像データの６つの画素A,B,C,D,E,Fそれぞれの画素値を示している。

図２０上から１番目は、１回目の撮像で得られた１枚目の検出対象画像データの６つの画素AないしFの画素値を示しており、図２０上から２番目は、２回目の撮像で得られた２枚目の検出対象画像データの６つの画素AないしFの画素値を示している。さらに、図２０上から３番目は、３回目の撮像で得られた３枚目の検出対象画像データの６つの画素AないしFの画素値を示している。

図２０では、６つの画素AないしFのうちの、画素B,D,Eの画素値は、１回目ないし３回目の撮像のすべてにおいて、白欠陥検出用の閾値より小さい画素値になっており、画素Cの画素値は、１回目ないし３回目の撮像のすべてにおいて、白欠陥検出用の閾値以上の画素値になっている。なお、図２０の白欠陥検出用の閾値は、固定の閾値TH_Wとなっている。

また、図２０では、６つの画素AないしFのうちの、画素Aの画素値は、１回目ないし３回目の撮像のすべてにおいて、白欠陥検出用の閾値付近の値になっている。すなわち、画素Aの画素値は、白欠陥検出用の閾値付近で揺らいでいる。具体的には、画素Aの画素値は、１回目と３回目の撮像時には、白欠陥検出用の閾値より少しだけ小さい画素値になっており、２回目の撮像時には、白欠陥検出用の閾値より少しだけ大きい画素値になっている。

さらに、図２０では、６つの画素AないしFのうちの、画素Fの画素値は、１回目と３回目の撮像時には、白欠陥検出用の閾値より小さい画素値になっており、２回目の撮像時には、白欠陥検出用の閾値以上の画素値になっている。但し、１回目と３回目の撮像時の画素Fの画素値は、２回目の撮像時の画素Fの画素値が越えている白欠陥検出用の閾値より十分小さい画素値になっている。

複数回の撮像によって得られる画素値が、白欠陥検出用の閾値以上の画素値となることがない画素は、欠陥画素でない画素（以下、適宜、非欠陥画素又は通常画素という）である。したがって、図２０では、白欠陥検出用の閾値以上の画素値となることがない画素B,D,Eは、非欠陥画素である。

一方、複数回の撮像のうちのいずれかの撮像によって得られる画素値が、白欠陥検出用の閾値以上の画素値となることがある画素は、欠陥画素（白欠陥画素）である。したがって、図２０では、２回目の撮像時の画素値が白欠陥検出用の閾値以上になっている画素A及びFと、３回すべての撮像時の画素値が白欠陥検出用の閾値以上になっている画素Cとが、欠陥画素である。

複数回の撮像時のすべての画素値が白欠陥検出用の閾値以上になっている画素Cは、撮像の回数と白欠陥検出回数とが一致し、常時欠陥画素として検出することができる。したがって、欠陥種類の判定をするにあたって、問題となる画素は、ある撮像時の画素値は白欠陥検出用の閾値以上となるが、他の撮像時の画素値は白欠陥検出用の閾値以上とならない画素、すなわち、撮像の回数と白欠陥検出回数とが一致しない画素AとFである。

ここで、画素Aの画素値は、上述したように、１回目と３回目の撮像時には、白欠陥検出用の閾値より少しだけ小さい画素値になっており、２回目の撮像時には、白欠陥検出用の閾値より少しだけ大きい画素値になっている。したがって、画素Aは、画素値が白欠陥検出用の閾値付近で揺らいでいる常時欠陥画素である。

一方、画素Fの画素値は、１回目と３回目の撮像時には、白欠陥検出用の閾値より小さい画素値になっており、２回目の撮像時には、白欠陥検出用の閾値より大きい画素値になっているが、上述したように、１回目と３回目の撮像時の画素値は、２回目の撮像時の画素Fの画素値が越えている白欠陥検出用の閾値より十分小さい画素値になっている。したがって、画素Fは、１回目と３回目の撮像時には、非欠陥画素として振る舞い、２回目の撮像時には、欠陥画素として振る舞っており、点滅欠陥画素である。

以上のような、ある撮像時の画素値は白欠陥検出用の閾値以上となるが、他の撮像時の画素値は白欠陥検出用の閾値以上とならない画素AとFについては、例えば、以下のようにして、欠陥種類の判定を行うことができる。

すなわち、図２０上から４番目は、画素AないしFそれぞれについての、３回の撮像で得られた画素値の最小値を示している。

いま、白欠陥検出用の閾値より十分小さく、例えば、黒レベルであるとみなすことができる、ある画素値TH_Lを、白欠陥画素の種類判定用閾値として採用すると、画素値が白欠陥検出用の閾値付近で揺らぐ画素Aのような常時欠陥画素については、複数回の撮像で得られる画素値が、白欠陥検出用の閾値より十分小さい、白欠陥画素の種類判定用閾値以下（又は、未満）となることはない。

一方、ある撮像時には、非欠陥画素として振る舞い、他の撮像時には、欠陥画素として振る舞う画素Fのような点滅欠陥画素については、非欠陥画素として振る舞っているときの画素値が、白欠陥検出用の閾値より十分小さい、白欠陥画素の種類判定用閾値以下となる。

したがって、ある撮像時の画素値は白欠陥検出用の閾値以上となるが、他の撮像時の画素値は白欠陥検出用の閾値以上とならない画素AとFについては、複数回の撮像で得られる画素値のうちのいずれかが、白欠陥画素の種類判定用閾値以下となるかどうか、つまり、複数回の撮像で得られた画素値のうちの最小値が、白欠陥画素の種類判定用閾値以下となるかどうかによって、点滅欠陥画素であるか、又は常時欠陥画素であるかの欠陥種類の判定を行うことができる。

ここで、図２０上から５番目（下から１番目）は、画素AないしFそれぞれについての、白欠陥検出回数と、最小値が白欠陥画素の種類判定用閾値以下であるかどうかを表すフラグ（以下、適宜、最小値フラグという）とを示している。

図２０上から５番目において、白欠陥検出回数が０回になっている画素B,D,Eは、非欠陥画素であると判定することができる。

また、図２０上から５番目において、白欠陥検出回数が０回でない、１回以上になっている画素A,C,Fは、欠陥画素であると判定することができる。

さらに、白欠陥検出回数が０回でない、１回以上になっている欠陥画素である画素A,C,Fのうちの、最小値フラグが0（最小値フラグの0は、最小値が白欠陥画素の種類判定用閾値以下でないことを表す）になっている画素A及びCは、常時欠陥画素であると判定することができる。

そして、白欠陥検出回数が０回でない、１回以上になっている欠陥画素である画素A,C,Fのうちの、最小値フラグが1（最小値フラグの1は、最小値が白欠陥画素の種類判定用閾値以下であることを表す）になっている画素Fは、点滅欠陥画素であると判定することができる。

なお、黒欠陥画素の欠陥種類の判定も、白欠陥画素の欠陥種類の判定と同様に行うことができる。但し、黒欠陥画素の欠陥種類を判定する場合には、上述の白欠陥画素の欠陥種類を判定する場合と大小関係が逆になる。

次に、図２１は、図１８の欠陥データテーブル記憶部２０２に記憶される欠陥データテーブルの例を示している。

図２１では、欠陥データテーブルには、欠陥画素の欠陥データとして、欠陥座標と欠陥種類とが登録される。

次に、図２２は、図１８の欠陥補正部２０１の構成例を示している。

図２２において、欠陥補正部２０１は、判定部２６１と補正部２６２とから構成される。

判定部２６１には、フロントエンド部６（図１）から撮像画像データが供給される。

判定部２６１は、撮像画像データの画素を、順次、注目画素として、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照することにより、注目画素が、欠陥画素であるかどうかを判定する。

判定部２６１は、注目画素が欠陥画素であると判定した場合、さらに、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照することにより、欠陥画素である注目画素が、常時欠陥画素であるか、又は点滅欠陥画素であるかを判定する。

判定部２６１は、注目画素が常時欠陥画素であると判定した場合、注目画素の画素値の補正を指示する補正指示信号を、補正部２６２に供給する。

また、判定部２６１は、注目画素が点滅欠陥画素であると判定した場合、点滅欠陥画素である注目画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素が、画素値が異常な欠陥状態にあるかどうかを判定する。

判定部２６１は、注目画素が欠陥状態にあると判定した場合、補正指示信号を、補正部２６２に供給する。

補正部２６２には、判定部２６１から補正指示信号から供給される他、フロントエンド部６から、判定部２６１に供給されるのと同一の撮像画像データが供給される。

補正部２６２は、そこに画素値が供給される撮像画像データの画素を、順次、注目画素として、注目画素に対して、判定部２６１から補正指示信号が供給されなかった場合、すなわち、注目画素が補正対象画素ではない場合、その注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力する。

また、補正部２６２は、注目画素に対して、判定部２６１から補正指示信号が供給された場合、すなわち、注目画素が補正対象画素である場合、注目画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力する。

ここで、補正部２６２において、補正対象画素の画素値の補正は、例えば、図１３の補正部１６２と同様にして行うことができる。

次に、図２３のフローチャートを参照して、図１９の欠陥検出部２０３で行われる欠陥検出処理について説明する。

図２３の欠陥検出処理は、例えば、図１のディジタルスチルカメラの工場等において、出荷前等に行われる。

図１９の欠陥検出部２０３では、ステップＳ７１において、白欠陥検出部２２１が、白欠陥画素を検出（判定）する白欠陥検出処理を行い、検出対象画像データの各位置の画素について、非欠陥画素、常時欠陥画素、又は点滅欠陥画素であるかどうかの判定結果を、欠陥画素選択部２２３に供給して、ステップＳ７２に進む。

ステップＳ７２では、黒欠陥検出部２２２が、黒欠陥画素を検出（判定）する黒欠陥検出処理を行い、検出対象画像データの各位置の画素について、非欠陥画素、常時欠陥画素、又は点滅欠陥画素であるかどうかの判定結果を、欠陥画素選択部２２３に供給して、ステップＳ７３に進む。

ステップＳ７３では、欠陥画素選択部２２３は、白欠陥検出部２２１と黒欠陥検出部２２２からの判定結果に基づき、検出対象画像データの各位置の画素の中から、欠陥画素を選択し、欠陥画素について、欠陥座標と欠陥種類とを含む欠陥データを生成して、ステップＳ７４に進む。

ステップＳ７４では、欠陥画素選択部２２３は、欠陥画素の欠陥データを、欠陥データテーブル記憶部２０２に供給し、その欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルに登録して、欠陥検出処理を終了する。

次に、図２４のフローチャートを参照して、図１９の白欠陥検出部２２１が図２３のステップＳ７１で行う白欠陥検出処理について説明する。

白欠陥検出処理では、ステップＳ８１において、白欠陥検出部２２１のフレームメモリ２３５は、その記憶内容である白欠陥検出回数を０回に初期化する。

ここで、白欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。

そして、白欠陥検出部２２１の最小値検出部２３１は、画像センサ４で撮像が行われることにより、白欠陥画素検出用の検出対象画像データが供給されると、ステップＳ８２において、図５の最小値検出部１４０が、図１６のステップＳ３２で行うのと同一の処理を行う。

ここで、ステップＳ８２の処理は、画像センサ４で撮像が行われ、検出対象画像データが最小値検出部２３１に供給されるたびに行われ、その結果、最小値検出部２３１では、図５の最小値検出部１４０と同様に、規定回数の撮像によって得られた複数枚の検出対象画像データの各位置の画素の画素値の最小値が検出される。

ステップＳ８２の処理後は、ステップＳ８３に進み、白欠陥検出部２２１において、回数カウント部２３２の欠陥画素検出部２３３（図１９）は、そこに供給される検出対象画像データの画素を、順次、注目画素として、その注目画素の画素値と白欠陥検出用の閾値とを比較することにより、白欠陥検出用の閾値以上の画素値の注目画素を、白欠陥画素として検出する。すなわち、欠陥画素検出部２３３は、注目画素の画素値が、白欠陥検出用の閾値以上であるかどうかを判定し、注目画素の画素値が、白欠陥検出用の閾値以上である場合には、注目画素が、欠陥画素であると判定する。

欠陥画素検出部２３３は、欠陥画素であると判定した注目画素の位置を表す座標を、加算部２３４に供給して、ステップＳ８３からステップＳ８４に進み、加算部２３４は、フレームメモリ２３５のアドレスのうちの、欠陥画素検出部２３３からの注目画素の位置を表す座標に対応するアドレスから、そこに記憶されている白欠陥検出回数を読み出し、その白欠陥検出回数を１だけインクリメントする。さらに、加算部２３４は、そのインクリメント後の白欠陥検出回数を、フレームメモリ２３５の注目画素の位置に対応するアドレスに、上書きする形で記憶させる。

その後、ステップＳ８４からステップＳ８５に進み、白欠陥検出部２２１は、所定の規定回数の撮像が終了したかどうかを判定する。

ステップＳ８５において、所定の規定回数の撮像が終了していないと判定された場合、画像センサ４において、次の撮像が行われ、その撮像で得られた検出対象画像データが、最小値検出部２３１と、回数カウント部２３２の欠陥画素検出部２３３に供給されるのを待って、ステップＳ８２に戻り、以下、ステップＳ８２ないしＳ８５の処理が繰り返される。

ここで、ステップＳ８２ないしＳ８５の処理が繰り返されることにより、上述したように、最小値検出部２３１は、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値を検出する。

ステップＳ８５において、所定の規定回数の撮像が終了したと判定された場合、すなわち、最小値検出部２３１において、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値が検出されるとともに、フレームメモリ２３５に、その複数枚の検出対象画像データの各位置の画素についての白欠陥検出回数が記憶された場合、最小値検出部２３１で検出された、複数枚の検出対象画像データの各位置の画素の画素値の最小値と、フレームメモリ２３５に記憶された白欠陥検出回数とが、判定部２３６に供給される。

そして、ステップＳ８５からステップＳ８６に進み、判定部２３６は、検出対象画像データの画素を、順次、注目画素として、注目画素の白欠陥検出回数が０回であるかどうかを判定する。

ステップＳ８６において、注目画素の白欠陥検出回数が０回であると判定された場合、ステップＳ８７に進み、判定部２３６は、注目画素が非欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ８６において、注目画素の白欠陥検出回数が０回でないと判定された場合、すなわち、注目画素の白欠陥検出回数が１回以上の回数である場合、ステップＳ８８に進み、判定部２３６は、注目画素の白欠陥検出回数と、撮像の規定回数とが等しいかどうかを判定する。

ステップＳ８８において、注目画素の白欠陥検出回数と、撮像の規定回数とが等しいと判定された場合、ステップＳ８９に進み、判定部２３６は、注目画素が常時欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ８８において、注目画素の白欠陥検出回数と、撮像の規定回数とが等しくないと判定された場合、ステップＳ９０に進み、判定部２３６は、注目画素について、規定回数の撮像で得られた、その規定回数分の画素値のうちの最小値（以下、適宜、注目画素についての最小値という）が、白欠陥画素の種類判定用閾値以下であるかどうかを判定する。

ステップＳ９０において、注目画素についての最小値が、白欠陥画素の種類判定用閾値以下でないと判定された場合、ステップＳ８９に進み、判定部２３６は、上述したように、注目画素が常時欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ９０において、注目画素についての最小値が、白欠陥画素の種類判定用閾値以下であると判定された場合、ステップＳ９１に進み、判定部２３６は、注目画素が点滅欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

次に、図２５のフローチャートを参照して、図１９の黒欠陥検出部２２２が図２３のステップＳ７２で行う黒欠陥検出処理について説明する。

黒欠陥検出処理では、ステップＳ１０１において、黒欠陥検出部２２２のフレームメモリ２４５は、その記憶内容である黒欠陥検出回数を０回に初期化する。

ここで、黒欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。

そして、黒欠陥検出部２２２の最大値検出部２４１は、画像センサ４で撮像が行われることにより、黒欠陥検出用の検出対象画像データが供給されると、ステップＳ１０２において、図５の最大値検出部１３０が、図１５のステップＳ２２で行うのと同一の処理を行う。

ここで、ステップＳ１０２の処理は、画像センサ４で撮像が行われ、検出対象画像データが最大値検出部２４１に供給されるたびに行われ、その結果、最大値検出部２４１では、図５の最大値検出部１３０と同様に、規定回数の撮像によって得られた複数枚の検出対象画像データの各位置の画素の画素値の最大値が検出される。

ステップＳ１０２の処理後は、ステップＳ１０３に進み、黒欠陥検出部２２２において、回数カウント部２４２の欠陥画素検出部２４３（図１９）は、そこに供給される検出対象画像データの画素を、順次、注目画素として、その注目画素の画素値と黒欠陥検出用の閾値とを比較することにより、黒欠陥検出用の閾値以下の画素値の注目画素を、黒欠陥画素として検出する。すなわち、欠陥画素検出部２４３は、注目画素の画素値が、黒欠陥検出用の閾値以下であるかどうかを判定し、注目画素の画素値が、黒欠陥検出用の閾値以下である場合には、注目画素が、欠陥画素であると判定する。

欠陥画素検出部２４３は、欠陥画素であると判定した注目画素の位置を表す座標を、加算部２４４に供給して、ステップＳ１０３からステップＳ１０４に進み、加算部２４４は、フレームメモリ２４５のアドレスのうちの、欠陥画素検出部２４３からの注目画素の位置を表す座標に対応するアドレスから、そこに記憶されている黒欠陥検出回数を読み出し、その黒欠陥検出回数を１だけインクリメントする。さらに、加算部２４４は、そのインクリメント後の黒欠陥検出回数を、フレームメモリ２４５の注目画素の位置に対応するアドレスに、上書きする形で記憶させる。

その後、ステップＳ１０４からステップＳ１０５に進み、黒欠陥検出部２２２は、所定の規定回数の撮像が終了したかどうかを判定する。

ステップＳ１０５において、所定の規定回数の撮像が終了していないと判定された場合、画像センサ４において、次の撮像が行われ、その撮像で得られた検出対象画像データが、最大値検出部２４１と、回数カウント部２４２の欠陥画素検出部２４３に供給されるのを待って、ステップＳ１０２に戻り、以下、ステップＳ１０２ないしＳ１０５の処理が繰り返される。

ここで、ステップＳ１０２ないしＳ１０５の処理が繰り返されることにより、上述したように、最大値検出部２４１は、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値を検出する。

ステップＳ１０５において、所定の規定回数の撮像が終了したと判定された場合、すなわち、最大値検出部２４１において、画像センサ４による所定の規定回数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値が検出されるとともに、フレームメモリ２４５に、その複数枚の検出対象画像データの各位置の画素についての黒欠陥検出回数が記憶された場合、最大値検出部２４１で検出された、複数枚の検出対象画像データの各位置の画素の画素値の最大値と、フレームメモリ２４５に記憶された黒欠陥検出回数とが、判定部２４６に供給される。

そして、ステップＳ１０５からステップＳ１０６に進み、判定部２４６は、検出対象画像データの画素を、順次、注目画素として、注目画素の黒欠陥検出回数が０回であるかどうかを判定する。

ステップＳ１０６において、注目画素の黒欠陥検出回数が０回であると判定された場合、ステップＳ１０７に進み、判定部２４６は、注目画素が非欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ１０６において、注目画素の黒欠陥検出回数が０回でないと判定された場合、すなわち、注目画素の黒欠陥検出回数が１回以上の回数である場合、ステップＳ１０８に進み、判定部２４６は、注目画素の黒欠陥検出回数と、撮像の規定回数とが等しいかどうかを判定する。

ステップＳ１０８において、注目画素の黒欠陥検出回数と、撮像の規定回数とが等しいと判定された場合、ステップＳ１０９に進み、判定部２４６は、注目画素が常時欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ１０８において、注目画素の黒欠陥検出回数と、撮像の規定回数とが等しくないと判定された場合、ステップＳ１１０に進み、判定部２４６は、注目画素について、規定回数の撮像で得られた、その規定回数分の画素値のうちの最大値（以下、適宜、注目画素についての最大値という）が、黒欠陥画素の種類判定用閾値以上である（又は、より大きい）かどうかを判定する。

ここで、黒欠陥画素の種類判定用閾値としては、黒欠陥検出用の閾値より十分大きく、例えば、白レベルであるとみなすことができる、ある画素値を採用することができる。

ステップＳ１１０において、注目画素についての最大値が、黒欠陥画素の種類判定用閾値以上でないと判定された場合、ステップＳ１０９に進み、判定部２４６は、上述したように、注目画素が常時欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

また、ステップＳ１１０において、注目画素についての最大値が、黒欠陥画素の種類判定用閾値以上であると判定された場合、ステップＳ１１１に進み、判定部２４６は、注目画素が点滅欠陥画素であるとの判定結果を、欠陥画素選択部２２３に供給する。

次に、図２６のフローチャートを参照して、図２２の欠陥補正部２０１で行われる欠陥補正処理について説明する。

上述したように、欠陥補正部２０１の判定部２６１と補正部２６２には、フロントエンド部６（図１）から撮像画像データが供給される。

判定部２６１は、フロントエンド部６からの撮像画像データの画素を、順次、注目画素として、ステップＳ１３１において、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照し、注目画素が常時欠陥画素であるかどうかを判定する。

ステップＳ１３１において、注目画素が常時欠陥画素であると判定された場合、ステップＳ１３２に進み、補正部２６２は、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ１３５に進む。

また、ステップＳ１３１において、注目画素が常時欠陥画素でないと判定された場合、ステップＳ１３３に進み、判定部２６１は、欠陥データテーブル記憶部２０２に記憶された欠陥データテーブルを参照し、注目画素が点滅欠陥画素であるかどうかを判定する。

ステップＳ１３３において、注目画素が点滅欠陥画素でないと判定された場合、すなわち、注目画素が非欠陥画素である場合、補正部２６２は、注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力し、ステップＳ１３５に進む。

また、ステップＳ１３３において、注目画素が点滅欠陥画素であると判定された場合、ステップＳ１３４に進み、判定部２６１は、点滅欠陥画素である注目画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素である注目画素が、欠陥状態にあるかどうかを判定する。

ここで、点滅欠陥画素である注目画素が欠陥状態にあるかどうかの判定では、点滅欠陥画素用の閾値として、例えば、相対欠陥検出において用いられる可変の閾値である白欠陥検出用の閾値、又は黒欠陥検出用の閾値を用いることができる。そして、点滅欠陥画素の画素値が、点滅欠陥画素用の閾値としての白欠陥検出用の閾値以上である（より大きい）場合、又は点滅欠陥画素用の閾値としての黒欠陥検出用の閾値以下である（より小さい）場合に、点滅欠陥画素が欠陥状態にあると判定される。

なお、点滅欠陥画素である注目画素が欠陥状態にあるかどうかの判定は、点滅欠陥画素の画素値と、点滅欠陥画素用の閾値としての可変の閾値との比較の結果と、点滅欠陥画素の画素値と、固定の閾値との比較の結果との両方に基づいて行うこともできる。

ステップＳ１３４において、点滅欠陥画素である注目画素が、欠陥状態にないと判定された場合、すなわち、点滅欠陥画素である注目画素が、非欠陥画素として振る舞っている場合、補正部２６２は、注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力し、ステップＳ１３５に進む。

また、ステップＳ１３４において、点滅欠陥画素である注目画素が、欠陥状態にあると判定された場合、すなわち、点滅欠陥画素である注目画素が、欠陥画素として振る舞っている場合、補正部２６２は、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ１３５に進む。

ステップＳ１３５では、判定部２６１は、注目画素が、撮像画像データの最後の画素であるかどうか、すなわち、撮像画像データの画素に、注目画素としていない画素がないかどうかを判定する。

ステップＳ１３５において、撮像画像データの画素に、まだ、注目画素としていない画素があると判定された場合、判定部２６１は、撮像画像データの画素のうちの、まだ、注目画素としていない画素を、新たな注目画素として、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１３５において、撮像画像データの画素に、まだ、注目画素としていない画素がないと判定された場合、欠陥補正部２０１は、欠陥補正処理を終了する。

以上のように、図１８の欠陥処理部５１では、欠陥検出部２０３において、複数回の撮像によって得られた複数枚の検出対象画像データの各位置の画素の画素値が、白欠陥検出用の閾値より大となる白欠陥検出回数をカウントし、その複数枚の検出対象画像データの各位置の画素の画素値の最小値と、白欠陥検出用の閾値より小さい値の白欠陥画素の種類判定用閾値との大小関係、及び白欠陥検出回数に基づいて、白欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の欠陥画素であるかを判定し、また、複数回の撮像によって得られた複数枚の検出対象画像データの各位置の画素の画素値が、黒欠陥検出用の閾値より小となる黒欠陥検出回数をカウントし、その複数枚の検出対象画像データの各位置の画素の画素値の最大値と、黒欠陥検出用の閾値より大きい値の黒欠陥画素の種類判定用閾値との大小関係、及び黒欠陥検出回数に基づいて、黒欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の欠陥画素であるかを判定し、さらに、欠陥データには、欠陥画素の種類（欠陥種類）を含めるようにしたので、欠陥補正部２０１は、欠陥データを参照することにより、撮像画像データの画素が、欠陥画素であるかどうかを認識し、さらに、撮像画像データの画素が、欠陥画素である場合に、その欠陥画素が、常時欠陥画素であるのか、又は点滅欠陥画素であるのかを認識することができる。

また、図１８の欠陥処理部５１では、欠陥補正部２０１において、常時欠陥画素については、常に、画素値を補正し、点滅欠陥画素については、点滅欠陥画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素が、画素値が異常な欠陥状態にあるかどうかを判定し、点滅欠陥画素が欠陥状態にあると判定した場合にのみ、その点滅欠陥画素の画素値を補正するようにしたので、欠陥画素の補正を、より適切に行うことができる。

すなわち、点滅欠陥画素は、非欠陥画素として振る舞う、欠陥状態にない場合と、欠陥画素として振る舞う、欠陥状態にある場合とがある。点滅欠陥画素が欠陥状態にない場合、その点滅欠陥画素の画素値は、異常な値ではないから、その画素値を補正すると、かえって、異常な画素値にしてしまうおそれがある。

そこで、上述したように、欠陥データに、欠陥種類を含め、その欠陥種類に基づき、欠陥画素が、常時欠陥画素であるのか、又は点滅欠陥画素であるのかを認識し、常時欠陥画素については、常に、画素値を補正し、点滅欠陥画素については、欠陥状態にある場合にのみ、画素値を補正することにより、欠陥状態にない点滅欠陥画素の画素値を補正することにより、異常な画素値にしてしまうことを防止することができる。

次に、図２７のフローチャートを参照して、図２２の欠陥補正部２０１で行われる欠陥補正処理の他の例について説明する。

上述したように、欠陥補正部２０１の判定部２６１と補正部２６２には、フロントエンド部６（図１）から撮像画像データが供給される。

判定部２６１は、フロントエンド部６からの撮像画像データの画素を、順次、注目画素とし、以下、ステップＳ１４１ないしＳ１４４において、図２６のステップＳ１３１ないしＳ１３４とそれぞれ同様の処理が行われる。

すなわち、注目画素が常時欠陥画素である場合には、ステップＳ１４２において、補正部２６２が、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ１４６に進む。

また、注目画素が点滅欠陥画素であり、欠陥状態にある場合には、ステップＳ１４４において、補正部２６２が、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ１４６に進む。

さらに、注目画素が点滅欠陥画素であるが、欠陥状態にない場合には、ステップＳ１４４において、補正部２６２が、注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力し、ステップＳ１４６に進む。

一方、注目画素が、常時欠陥画素でもなく、点滅欠陥画素でもない非欠陥画素である場合、すなわち、ステップＳ１４１において、注目画素が常時欠陥画素でないと判定され、さらに、ステップＳ１４３において、注目画素が点滅欠陥画素でないと判定された場合、ステップＳ１４５に進み、判定部２６１は、非欠陥画素である注目画素の画素値と、非欠陥画素用の閾値とを比較することにより、非欠陥画素である注目画素が、欠陥状態にあるかどうかを判定する。

ここで、非欠陥画素である注目画素が欠陥状態にあるかどうかの判定では、非欠陥画素用の閾値として、例えば、相対欠陥検出において用いられる可変の閾値である白欠陥検出用の閾値、又は黒欠陥検出用の閾値を用いることができる。そして、非欠陥画素の画素値が、非欠陥画素用の閾値としての白欠陥検出用の閾値以上である（より大きい）場合、又は非欠陥画素用の閾値としての黒欠陥検出用の閾値以下である（より小さい）場合に、非欠陥画素が欠陥状態にあると判定される。

なお、非欠陥画素である注目画素が欠陥状態にあるかどうかの判定は、非欠陥画素の画素値と、非欠陥画素用の閾値としての可変の閾値との比較の結果と、非欠陥画素の画素値と、固定の閾値との比較の結果との両方に基づいて行うこともできる。

ステップＳ１４５において、非欠陥画素である注目画素が、欠陥状態にないと判定された場合、補正部２６２は、注目画素の画素値を、そのまま、補正画像データの画素の画素値として出力し、ステップＳ１４６に進む。

また、ステップＳ１４５において、非欠陥画素である注目画素が、欠陥状態にあると判定された場合、補正部２６２は、注目画素を、補正対象画素として、その補正対象画素の画素値を補正し、その補正後の画素値を、補正画像データの画素の画素値として出力して、ステップＳ１４６に進む。

ステップＳ１４６では、判定部２６１は、注目画素が、撮像画像データの最後の画素であるかどうか、すなわち、撮像画像データの画素に、注目画素としていない画素がないかどうかを判定する。

ステップＳ１４６において、撮像画像データの画素に、まだ、注目画素としていない画素があると判定された場合、判定部２６１は、撮像画像データの画素のうちの、まだ、注目画素としていない画素を、新たな注目画素として、ステップＳ１４１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１４６において、撮像画像データの画素に、まだ、注目画素としていない画素がないと判定された場合、欠陥補正部２０１は、欠陥補正処理を終了する。

以上のように、欠陥補正部２０１において、点滅欠陥画素だけでなく、非欠陥画素についても、画素値が異常な欠陥状態にあるかどうかを判定し、非欠陥画素が欠陥状態にあると判定した場合にのみ、その非欠陥画素の画素値を補正することにより、欠陥の補正を、より適切に行うことができる。

すなわち、欠陥補正部２０１では、欠陥データテーブルを参照して、撮像画像データの画素が、欠陥画素であるかどうかを判定するため、欠陥データテーブルに欠陥データが登録されていない画素が、欠陥画素でない画素、つまり、非欠陥画素であると判定される。そして、図２６の欠陥補正処理では、非欠陥画素であると判定された非欠陥画素、つまり、欠陥データテーブルに欠陥データが登録されていない画素については、一切、補正が行われない。

しかしながら、欠陥データテーブルに欠陥データが登録された後、後発的に、非欠陥画素に欠陥が生じることがあり得る。そして、そのような後発的な欠陥が生じた画素（以下、適宜、後発的欠陥画素という）の欠陥レベルが高い場合には、欠陥が目立つことになる。

そこで、図２７で説明したように、非欠陥画素については、点滅欠陥画素と同様に、欠陥状態にあるかどうかを判定し、非欠陥画素が欠陥状態にあると判定した場合にのみ、つまり、非欠陥画素が後発的欠陥画素になっている場合にのみ、その非欠陥画素の画素値を補正することにより、後発的に生じた欠陥の補正を行うことができる。これにより、後発的に生じた欠陥にも対処することができる。

なお、点滅欠陥画素や、非欠陥画素のうちの、後発的に点滅欠陥画素となった後発的欠陥画素は、長時間露光での撮像時に欠陥状態になりやすいので、点滅欠陥画素と、非欠陥画素の補正（図２６のステップＳ１３４や、図２７のステップＳ１４４，Ｓ１４５の処理）は、短時間露光での撮像時には行わず、長時間露光での撮像時にのみ行うようにすることができる。この場合、短時間露光での撮像時に、欠陥状態でない点滅欠陥画素や後発的欠陥画素の画素値を誤って補正してしまう可能性を低減することができる。

また、点滅欠陥画素が欠陥状態にあるかどうかを判定するための点滅欠陥画素用の閾値と、非欠陥画素が欠陥状態にあるかどうかを判定するための非欠陥画素用の閾値とは、同一の値とすることもできるし、異なる値とすることもできる。

ここで、点滅欠陥画素は、欠陥検出処理において欠陥画素として検出された画素であるのに対して、非欠陥画素は、後発的に欠陥画素になっているかもしれないが、少なくとも、欠陥検出処理において欠陥画素として検出された画素ではない。したがって、非欠陥画素が欠陥状態にある可能性は、点滅欠陥画素が欠陥状態にある可能性よりも低い。

そこで、非欠陥画素用の閾値としては、非欠陥画素が欠陥状態にあると判定されにくい、いわば厳しい閾値を採用し、点滅欠陥画素用の閾値としては、逆に、点滅欠陥画素が欠陥状態にあると判定されやすい、いわば緩い閾値を採用することができる。

すなわち、非欠陥画素用の閾値としては、例えば、相対欠陥検出において用いられる可変の閾値である白欠陥検出用の閾値より所定の値だけ大きい値、又は黒欠陥検出用の閾値より所定の値だけ小さい値を用いるとともに、点滅欠陥画素用の閾値としては、例えば、相対欠陥検出において用いられる可変の閾値である白欠陥検出用の閾値（若しくは、白欠陥検出用の閾値より所定の値だけ小さい値）、又は黒欠陥検出用の閾値（若しくは、黒欠陥検出用の閾値より所定の値だけ大きい値）を用いることができる。

非欠陥画素用の閾値として、厳しい閾値を採用することにより、非欠陥画素が、欠陥状態にあると誤って判定され、ひいては、本来の画素値（正常な画素値）の非欠陥画素の画素値が、異常な画素値に補正されることにより、ディジタルスチルカメラで撮影された画像の画質が劣化することを防止することができる。

なお、図１９では、欠陥検出部２０３に、白欠陥画素を検出する白欠陥検出部２２１と、黒欠陥画素を検出する黒欠陥検出部２２２との両方を設けるようにしたが、欠陥検出部２０３には、白欠陥検出部２２１と黒欠陥検出部２２２とのうちのいずれか一方だけを設けるようにすることができる。但し、白欠陥検出部２２１、又は黒欠陥検出部２２２だけを設ける場合には、それぞれ、白欠陥画素、又は黒欠陥画素を検出することができなくなる。

次に、図２８は、図３の欠陥処理部５１の第３の構成例を示している。

なお、図中、図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図２８において、欠陥処理部５１は、欠陥補正部２０１、欠陥データテーブル記憶部３０２、及び欠陥検出部３０３から構成される。

欠陥データテーブル記憶部３０２は、図４の欠陥データテーブル記憶部１０２と同様に構成され、欠陥検出部３０３で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルを記憶する。

欠陥検出部３０３には、図４の欠陥検出部１０３と同様に、欠陥画素の検出に用いる画像データである検出対象画像データが供給される。

欠陥検出部３０３は、図４の欠陥検出部１０３、又は図１８の欠陥検出部２０３と同様に、そこに供給される検出対象画像データを用いて、欠陥画素を検出し、その欠陥画素に関する欠陥データを、欠陥データテーブル記憶部３０２の欠陥データテーブルに登録する欠陥検出処理を行う。

以上のように構成される欠陥処理部５１では、欠陥検出処理と欠陥補正処理とが行われる。

すなわち、操作者が、欠陥検出処理を行うように、図１の操作部１２を操作すると、その操作に対応した操作信号である欠陥検出指示信号が、操作部１２から、マイクロコンピュータ１１に供給される。

マイクロコンピュータ１１は、操作部１２から欠陥検出指示信号が供給されると、動作モードを、通常モードから、欠陥検出モードにして、TG回路５（図１）を制御することにより、画像センサ４に複数回の撮像を連続して行わせる。

画像センサ４において複数回の撮像が行われることにより、その複数回の撮像によって得られる複数枚の撮像画像データ又は補正画像データが、複数枚の検出対象画像データとして、欠陥検出部３０３に供給される。

また、マイクロコンピュータ１１は、マイクロコンピュータI/F３３（図３）を介して、カメラ信号処理部３１を構成する欠陥処理部５１の欠陥検出部３０３を、欠陥検出処理を行うように制御する。

これにより、欠陥検出部３０３では、欠陥検出処理が行われる。すなわち、欠陥検出部３０３は、画像センサ４において複数回の撮像が行われることにより供給される複数枚の検出対象画像データを用い、欠陥画素を検出し、欠陥画素の欠陥データを、欠陥データテーブル記憶部３０２の欠陥データテーブルに登録する。

欠陥検出部３０３において、欠陥データが欠陥データテーブルに登録された後は、マイクロコンピュータ１１は、動作モードを、欠陥検出モードから、通常モードに戻す。

なお、欠陥データテーブル記憶部３０２の欠陥データテーブルに、既に、欠陥データが登録されている場合、欠陥検出部３０３で新たに得られた欠陥データは、例えば、上書きする形で、欠陥データテーブルに登録される。

動作モードが通常モードである場合において、画像センサ４で撮像が行われ、撮像画像データが、欠陥補正部２０１に供給されると、欠陥補正部２０１は、図１８等で説明したように、欠陥補正処理を行う。

次に、図２９は、図２８の欠陥検出部３０３の構成例を示している。

欠陥検出部３０３は、白欠陥検出部３２１、黒欠陥検出部３２２、及び欠陥画素検出部３２３から構成される。

白欠陥検出部３２１は、欠陥レベル検出部３３１、最小値検出部３３４、回数カウント部３３５、及び判定部３３６から構成される。白欠陥検出部３２１は、白欠陥画素、及び白欠陥画素の欠陥レベルを検出（判定）し、さらに、白欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類（欠陥種類）の画素であるかを判定して、白欠陥画素の判定結果と、欠陥種類の判定結果とを、欠陥画素検出部３２３に供給する。

すなわち、白欠陥検出部３２１の欠陥レベル検出部３３１、最小値検出部３３４、及び回数カウント部３３５には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。

欠陥レベル検出部３３１は、最大値検出部３３２及び欠陥画素検出部３３３から構成され、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、白欠陥画素、及びその白欠陥画素の欠陥レベルを検出し、その検出結果を、判定部３３６に供給する。

すなわち、最大値検出部３３２は、図５の最大値検出部１３０と同様に構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最大値を検出し、その最大値を画素値とする最大値画像データを、欠陥画素検出部３３３に供給する。

欠陥画素検出部３３３は、図５の欠陥画素検出部１３４と同様に構成され、最大値検出部３３２から供給される最大値画像データの各画素の画素値と、白欠陥検出用の閾値とを比較することにより、図５の欠陥画素検出部１３４と同様にして、白欠陥画素を検出するとともに、白欠陥画素の画素値から、白欠陥検出用の閾値を減算した減算値を、白欠陥画素の欠陥レベルとして求める（検出する）。そして、欠陥画素検出部３３３は、白欠陥画素と欠陥レベルの検出結果を、判定部３３６に供給する。

最小値検出部３３４は、図１９の最小値検出部２３１、つまり、図５の最小値検出部１４０と同様に構成され、図１９の最小値検出部２３１と同様に、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最小値を検出し、その最小値を画素値とする最小値画像データを、判定部３３６に供給する。

回数カウント部３３５は、図１９の回数カウント部２３２と同様に構成され、図１９の回数カウント部２３２と同様に、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値と、白欠陥検出用の閾値とを比較することにより、白欠陥画素を検出し、さらに、複数枚の検出対象画像データの各位置の画素について、白欠陥画素であると検出された回数である白欠陥検出回数をカウントして、判定部３３６に供給する。

判定部３３６は、欠陥レベル検出部３３１（の欠陥画素検出部３３３）からの、白欠陥画素の検出結果に基づき、白欠陥画素を認識する。さらに、判定部３３６は、最小値検出部３３４から供給される最小値画像データ、つまり、画像センサ４での複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値と、回数カウント部３３５からの白欠陥検出回数とに基づき、図１９の判定部２３６と同様に、白欠陥画素の欠陥種類の判定、つまり、白欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の画素であるかの判定を行い、白欠陥画素の欠陥座標、欠陥レベル、及び欠陥種類を含む欠陥データを、欠陥画素選択部３２３に供給する。

黒欠陥検出部３２２は、欠陥レベル検出部３４１、最大値検出部３４４、回数カウント部３４５、及び判定部３４６から構成される。黒欠陥検出部３２２は、黒欠陥画素、及び黒欠陥画素の欠陥レベルを検出（判定）し、さらに、黒欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類（欠陥種類）の画素であるかを判定して、黒欠陥画素の判定結果と、欠陥種類の判定結果とを、欠陥画素検出部３２３に供給する。

すなわち、黒欠陥検出部３２２の欠陥レベル検出部３４１、最大値検出部３４４、及び回数カウント部３４５には、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データが供給される。

欠陥レベル検出部３４１は、最小値検出部３４２及び欠陥画素検出部３４３から構成され、画像センサ４による複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、黒欠陥画素、及びその黒欠陥画素の欠陥レベルを検出し、その検出結果を、判定部３４６に供給する。

すなわち、最小値検出部３４２は、図５の最小値検出部１４０と同様に構成され、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最小値を検出し、その最小値を画素値とする最小値画像データを、欠陥画素検出部３４３に供給する。

欠陥画素検出部３４３は、図５の欠陥画素検出部１４４と同様に構成され、最小値検出部３４２から供給される最小値画像データの各画素の画素値と、黒欠陥検出用の閾値とを比較することにより、図５の欠陥画素検出部１４４と同様にして、黒欠陥画素を検出するとともに、黒欠陥画素の画素値から、黒欠陥検出用の閾値を減算した減算値を、黒欠陥画素の欠陥レベルとして求める（検出する）。そして、欠陥画素検出部３４３は、黒欠陥画素と欠陥レベルの検出結果を、判定部３４６に供給する。

最大値検出部３４４は、図１９の最大値検出部２４１、つまり、図５の最大値検出部１３０と同様に構成され、図１９の最大値検出部２４１と同様に、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値の最大値を検出し、その最大値を画素値とする最大値画像データを、判定部３４６に供給する。

回数カウント部３４５は、図１９の回数カウント部２４２と同様に構成され、図１９の回数カウント部２４２と同様に、そこに供給される複数枚の検出対象画像データの各位置の画素の画素値と、黒欠陥検出用の閾値とを比較することにより、黒欠陥画素を検出し、さらに、複数枚の検出対象画像データの各位置の画素について、黒欠陥画素であると検出された回数である黒欠陥検出回数をカウントして、判定部３４６に供給する。

判定部３４６は、欠陥レベル検出部３４１（の欠陥画素検出部３４３）からの、黒欠陥画素の検出結果に基づき、黒欠陥画素を認識する。さらに、判定部３４６は、最大値検出部３４４から供給される最大値画像データ、つまり、画像センサ４での複数回の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値と、回数カウント部３４５からの黒欠陥検出回数とに基づき、図１９の判定部２４６と同様に、黒欠陥画素の欠陥種類の判定、つまり、黒欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の画素であるかの判定を行い、黒欠陥画素の欠陥座標、欠陥レベル、及び欠陥種類を含む欠陥データを、欠陥画素選択部３２３に供給する。

欠陥画素選択部３２３には、上述したように、白欠陥検出部３２１と黒欠陥検出部３２２のそれぞれから、欠陥画素の欠陥座標、欠陥レベル、及び欠陥種類を含む欠陥データが供給される。

欠陥画素選択部３２３は、欠陥データに含まれる欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数Nの欠陥画素を選択し、その所定数Nの欠陥画素の欠陥データを、欠陥データテーブル記憶部３０２に供給して、その欠陥データテーブル記憶部３０２に記憶された欠陥データテーブルに登録する。

ここで、欠陥画素選択部３２３は、図５の欠陥画素選択部１２３と同様に、白欠陥検出部３２１と黒欠陥検出部３２２から供給される欠陥データ、つまり、欠陥画素の数が、所定数であるN個に満たない場合には、すべての欠陥画素を選択し、そのすべての欠陥画素の欠陥データを、欠陥データテーブルに登録する。

なお、所定数Nは、例えば、欠陥データテーブル記憶部３０２の記憶容量に基づいて決定することができる。

次に、図３０は、図２８の欠陥データテーブル記憶部３０２に記憶される欠陥データテーブルの例を示している。

図３０では、欠陥データテーブルには、欠陥画素の欠陥データとして、欠陥座標、欠陥レベル、及び欠陥種類が登録される。

次に、図３１のフローチャートを参照して、図２９の欠陥検出部３０３で行われる欠陥検出処理について説明する。

図３１の欠陥検出処理は、例えば、図１のディジタルスチルカメラの工場等において、出荷前等に行われる。

図２９の欠陥検出部３０３では、ステップＳ１５１において、白欠陥検出部３２１が、白欠陥画素を検出する白欠陥検出処理を行い、その結果得られる白欠陥画素の欠陥データを、欠陥画素選択部３２３に供給して、ステップＳ１５２に進む。

ステップＳ１５２では、黒欠陥検出部３２２が、黒欠陥画素を検出する黒欠陥検出処理を行い、その結果得られる黒欠陥画素の欠陥データを、欠陥画素選択部３２３に供給して、ステップＳ１５３に進む。

ステップＳ１５３では、欠陥画素選択部３２３は、白欠陥検出部３２１と黒欠陥検出部３２２からの欠陥データに含まれる欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択して、ステップＳ１５４に進む。ステップＳ１５４では、欠陥画素選択部３２３は、欠陥の程度が大きい上位N個の欠陥画素の欠陥データを、欠陥データテーブル記憶部３０２に供給し、その欠陥データテーブル記憶部３０２に記憶された欠陥データテーブルに登録して、欠陥検出処理を終了する。

次に、図３２のフローチャートを参照して、図２９の白欠陥検出部３２１が図３１のステップＳ１５１で行う白欠陥検出処理について説明する。

ここで、白欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。この、規定回数である複数回の撮像によって得られる白欠陥検出用の複数枚の検出対象画像データは、白欠陥検出部３２１の欠陥レベル検出部３３１、最小値検出部３３４、及び回数カウント部３３５に供給される。

そして、ステップＳ１７１において、白欠陥検出部３２１は、複数枚の検出対象画像データを用いて、白欠陥画素、欠陥レベル、最小値画像データ（複数枚の検出対象画像データの各位置の画素の画素値の最小値）、及び白欠陥検出回数を検出する。

すなわち、ステップＳ１７１では、白欠陥検出部３２１において、欠陥レベル検出部３３１の最大値検出部３３２が、図５の最大値検出部１３０が図１５の白欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから最大値画像データを求め、欠陥画素検出部３３３に供給する。

欠陥画素検出部３３３は、図５の欠陥画素検出部１３４が図１５の白欠陥検出処理で行うのと同様にして、最大値画像データに基づいて、白欠陥画素を検出し、さらに、その白欠陥画素の欠陥レベルを検出して、白欠陥画素の欠陥座標とともに、判定部３３６に供給する。

また、ステップＳ１７１では、最小値検出部３３４が、図１９の最小値検出部２３１が図２４の白欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから、最小値画像データを求め、判定部３３６に供給する。

さらに、ステップＳ１７１では、回数カウント部３３５が、図１９の回数カウント部２３２が図２４の白欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから、白欠陥検出回数を求め、判定部３３６に供給する。

その後、ステップＳ１７２からステップＳ１７３に進み、判定部３３６は、最小値検出部３３４からの最小値画像データ、すなわち、複数枚の検出対象画像データの各位置の画素の画素値の最小値と、回数カウント部３３５からの白欠陥検出回数とを用い、図１９の判定部２３６が図２４の白欠陥検出処理で行うのと同様にして、白欠陥画素の欠陥種類を判定して、ステップＳ１７３に進む。

ステップＳ１７３では、判定部３３６は、欠陥レベル検出部３３１からの、白欠陥画素の欠陥座標及び欠陥レベルと、その白欠陥画素の欠陥種類とを含む欠陥データを、欠陥画素選択部３２３に供給し、白欠陥検出処理を終了する。

次に、図３３のフローチャートを参照して、図２９の黒欠陥検出部３２２が図３１のステップＳ１５２で行う黒欠陥検出処理について説明する。

ここで、黒欠陥検出処理では、マイクロコンピュータ１１（図１）が、TG回路５を制御することにより、画像センサ４に、所定の規定回数である複数回の撮像を連続して行わせる。この、規定回数である複数回の撮像によって得られる黒欠陥検出用の複数枚の検出対象画像データは、黒欠陥検出部３２２の欠陥レベル検出部３４１、最大値検出部３４４、及び回数カウント部３４５に供給される。

そして、ステップＳ１８１において、黒欠陥検出部３２２は、複数枚の検出対象画像データを用いて、黒欠陥画素、欠陥レベル、最大値画像データ（複数枚の検出対象画像データの各位置の画素の画素値の最大値）、及び黒欠陥検出回数を検出する。

すなわち、ステップＳ１８１では、黒欠陥検出部３２２において、欠陥レベル検出部３４１の最小値検出部３４２が、図５の最小値検出部１４０が図１６の黒欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから最小値画像データを求め、欠陥画素検出部３４３に供給する。

欠陥画素検出部３４３は、図５の欠陥画素検出部１４４が図１６の黒欠陥検出処理で行うのと同様にして、最小値画像データに基づいて、黒欠陥画素を検出し、さらに、その黒欠陥画素の欠陥レベルを検出して、黒欠陥画素の欠陥座標とともに、判定部３４６に供給する。

また、ステップＳ１８１では、最大値検出部３４４が、図１９の最大値検出部２４１が図２５の黒欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから、最大値画像データを求め、判定部３４６に供給する。

さらに、ステップＳ１８１では、回数カウント部３４５が、図１９の回数カウント部２４２が図２５の黒欠陥検出処理で行うのと同様にして、複数枚の検出対象画像データから、黒欠陥検出回数を求め、判定部３４６に供給する。

その後、ステップＳ１８２からステップＳ１８３に進み、判定部３４６は、最大値検出部３４４からの最大値画像データ、すなわち、複数枚の検出対象画像データの各位置の画素の画素値の最大値と、回数カウント部３４５からの黒欠陥検出回数とを用い、図１９の判定部２３６が図２５の黒欠陥検出処理で行うのと同様にして、黒欠陥画素の欠陥種類を判定して、ステップＳ１８３に進む。

ステップＳ１８３では、判定部３４６は、欠陥レベル検出部３４１からの、黒欠陥画素の欠陥座標及び欠陥レベルと、その黒欠陥画素の欠陥種類とを含む欠陥データを、欠陥画素選択部３２３に供給し、黒欠陥検出処理を終了する。

なお、図２８の欠陥補正部２０１では、上述した図２６又は図２７の欠陥補正処理が行われる。

以上のように、図２８の欠陥処理部５１では、欠陥検出部３０３において、図４の欠陥検出部１０３と同様にして、欠陥画素、及び欠陥レベルを検出し、欠陥レベルに基づき、欠陥の程度が大きい上位N個の欠陥画素を選択して、欠陥データテーブルに登録するので、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことができる。

さらに、欠陥の程度が大きい上位N個の欠陥画素だけの欠陥データを、欠陥データテーブルに登録することにより、欠陥データテーブルを記憶する欠陥データテーブル記憶部３０２として、記憶容量の小さいRAM等を使用することが可能となり、低コスト化を図ることができる。あるいは、欠陥データテーブルを記憶する欠陥データテーブル記憶部３０２の記憶容量が制限されている場合に、その記憶容量の制限の範囲内で、欠陥の程度が大きい上位N個の欠陥画素の欠陥データを欠陥データテーブルに登録し、欠陥レベルが高い欠陥画素の画素値の補正を、優先的に行うことができる。

また、図２８の欠陥処理部５１では、欠陥検出部３０３において、図１８の欠陥検出部２０３と同様に、欠陥画素の欠陥種類を判定し、欠陥データに含めるようにしたので、図１８の場合と同様に、欠陥画素の補正を、その欠陥画素の欠陥種類に応じて、より適切に行うことができる。

ここで、図２９では、欠陥検出部３０３に、白欠陥画素を検出する白欠陥検出部３２１と、黒欠陥画素を検出する黒欠陥検出部３２２との両方を設けるようにしたが、欠陥検出部３０３には、白欠陥検出部３２１と黒欠陥検出部３２２とのうちのいずれか一方だけを設けるようにすることができる。但し、白欠陥検出部３２１、又は黒欠陥検出部３２２だけを設ける場合には、それぞれ、白欠陥画素、又は黒欠陥画素を検出することができなくなる。

次に、上述した欠陥処理部５１（図３）による一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にインストールされる。

図３４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

以上、本発明を、ディジタルスチルカメラに適用した場合について説明したが、本発明は、ディジタルスチルカメラの他、ビデオカメラ、その他、画像を撮像するCCDやCMOSセンサが出力する画像を処理する画像処理装置に適用可能である。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

すなわち、例えば、最小値画像データを求めるブロックや、最大値画像データを求めるブロックは、共用することが可能である。具体的には、例えば、図２９の欠陥検出部３０３において、最大値検出部３３２と３４４とは、最大値画像データを求める１つのブロックで共用し、最小値検出部３３４と３４２とは、最小値画像データを求める１つのブロックで共用することが可能である。

また、データを一時記憶しておくフレームメモリも、１つのフレームメモリで共用することが可能である。具体的には、例えば、図１９の欠陥検出部２０３の白欠陥検出部２２１において、最小値検出部２３１は、図５の最小値画像データを記憶するフレームメモリ１４３に相当するフレームメモリを有し、回数カウント部２３２は、白欠陥検出回数を記憶するフレームメモリ２３５を有するが、これらのフレームメモリ１４３に相当するフレームメモリと、フレームメモリ２３５との２つのフレームメモリは、１つのフレームメモリで共用することが可能である。

さらに、欠陥検出処理は、例えば、上述したように、工場等において、ディジタルスチルカメラの出荷時に行う他、ディジタルスチルカメラの購入者が、所定の操作をしたときに行うようにすることができる。

本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示すブロック図である。 カメラシステムLSI７の構成例を示すブロック図である。 カメラ信号処理部３１の構成例を示すブロック図である。 欠陥処理部５１の第１の構成例を示すブロック図である。 欠陥検出部１０３の構成例を示すブロック図である。 白欠陥画素の絶対欠陥検出を説明する図である。 固定の閾値の決定の方法を説明する図である。 白欠陥画素の相対欠陥検出を説明する図である。 注目画素の画素値の予測値の求め方を説明する図である。 黒欠陥画素の絶対欠陥検出を説明する図である。 黒欠陥画素の相対欠陥検出を説明する図である。 欠陥データテーブルの例を示す図である。 欠陥補正部１０１の構成例を示すブロック図である。 欠陥検出処理を説明するフローチャートである。 白欠陥検出処理を説明するフローチャートである。 黒欠陥検出処理を説明するフローチャートである。 欠陥補正処理を説明するフローチャートである。 欠陥処理部５１の第２の構成例を示すブロック図である。 欠陥検出部２０３の構成例を示すブロック図である。 欠陥種類の判定の方法を説明するための図である。 欠陥データテーブルの例を示す図である。 欠陥補正部２０１の構成例を示すブロック図である。 欠陥検出処理を説明するフローチャートである。 白欠陥検出処理を説明するフローチャートである。 黒欠陥検出処理を説明するフローチャートである。 欠陥補正処理を説明するフローチャートである。 欠陥補正処理を説明するフローチャートである。 欠陥処理部５１の第３の構成例を示すブロック図である。 欠陥検出部３０３の構成例を示すブロック図である。 欠陥データテーブルの例を示す図である。 欠陥検出処理を説明するフローチャートである。 白欠陥検出処理を説明するフローチャートである。 黒欠陥検出処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ レンズ部， ２ 絞り， ３ シャッタ， ４ 画像センサ， ５ TG回路， ６ フロントエンド部， ７ カメラシステムLSI， ８ 画像モニタ， ９ 画像メモリ， １０ 外部記憶媒体， １１ マイクロコンピュータ， １２ 操作部， １３ ROM， １４ 不揮発性メモリ， ３１ カメラ信号処理部， ３２ 画像検波部， ３３ マイクロコンピュータI/F， ３４ メモリI/F， ３５ メモリコントローラ， ３６ 画像圧縮解凍部， ３７ モニタI/F， ５１ 欠陥処理部， ５２ ディジタル信号処理部， １０１ 欠陥補正部， １０２ 欠陥データテーブル記憶部， １０３ 欠陥検出部， １２１ 白欠陥検出部， １２２ 黒欠陥検出部， １２３ 欠陥画素選択部， １３０ 最大値検出部， １３１ 比較部， １３２ 画素選択部， １３３ フレームメモリ， １３４ 欠陥画素検出部， １４０ 最小値検出部， １４１ 比較部， １４２ 画素選択部， １４３ フレームメモリ， １４４ 欠陥画素検出部， １６１ 判定部， １６２ 補正部， ２０１ 欠陥補正部， ２０２ 欠陥データテーブル記憶部， ２０３ 欠陥検出部， ２２１ 白欠陥検出部， ２２２ 黒欠陥検出部， ２２３ 欠陥画素選択部， ２３１ 最小値検出部， ２３２ 回数カウント部， ２３３ 欠陥画素検出部， ２３４ 加算部， ２３５ フレームメモリ， ２３６ 判定部， ２４１ 最大値検出部， ２４２ 回数カウント部， ２４３ 欠陥画素検出部， ２４４ 加算部， ２４５ フレームメモリ， ２４６ 判定部， ２６１ 判定部， ２６２ 補正部， ３０２ 欠陥データテーブル記憶部， ３０３ 欠陥検出部， ３２１ 白欠陥検出部， ３２２ 黒欠陥検出部， ３２３ 欠陥画素選択部， ３３１ 欠陥レベル検出部， ３３２ 最大値検出部， ３３３ 欠陥画素検出部， ３３４ 最小値検出部， ３３５ 回数カウント部， ３３６ 判定部， ３４１ 欠陥レベル検出部， ３４２ 最小値検出部， ３４３ 欠陥画素検出部， ３４４ 最大値検出部， ３４５ 回数カウント部， ３４６ 判定部， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (11)

1. 画像を撮像する撮像手段が出力する画像を処理する画像処理装置において、
   欠陥がある欠陥画素を検出する欠陥検出手段と、
   前記欠陥検出手段で検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正手段と
   を備え、
   前記欠陥検出手段は、
   前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出手段、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出手段とのうちの少なくとも一方と、
   前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択手段と
   を有する
   画像処理装置。
2. 前記白欠陥検出用の閾値は、あらかじめ決定された固定の閾値、又は、前記白欠陥検出用の閾値と画素値を比較する画素の周辺の画素の画素値に基づいて決定される可変の閾値であり、
   前記黒欠陥検出用の閾値は、あらかじめ決定された固定の閾値、又は、前記黒欠陥検出用の閾値と画素値を比較する画素の周辺の画素の画素値に基づいて決定される可変の閾値である
   請求項１に記載の画像処理装置。
3. 前記白欠陥検出手段は、さらに、
   前記複数の画像の各位置の画素の画素値が、白欠陥検出用の閾値より大となる白欠陥検出回数をカウントし、
   前記複数の画像の各位置の画素の画素値の最小値と、白欠陥検出用の閾値より小さい値の所定の閾値との大小関係、及び前記白欠陥検出回数に基づいて、欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の欠陥画素であるかを判定し、
   前記黒欠陥検出手段は、さらに、
   前記複数の画像の各位置の画素の画素値が、黒欠陥検出用の閾値より小となる黒欠陥検出回数をカウントし、
   前記複数の画像の各位置の画素の画素値の最大値と、黒欠陥検出用の閾値より大きい値の所定の閾値との大小関係、及び前記黒欠陥検出回数に基づいて、欠陥画素が、常時欠陥画素と点滅欠陥画素とのうちのいずれの種類の欠陥画素であるかを判定し、
   前記欠陥データは、欠陥画素の種類を含む
   請求項１に記載の画像処理装置。
4. 前記白欠陥検出用の閾値は、あらかじめ決定された固定の閾値、又は、前記白欠陥検出用の閾値と画素値を比較する画素の周辺の画素の画素値に基づいて決定される可変の閾値であり、
   前記黒欠陥検出用の閾値は、あらかじめ決定された固定の閾値、又は、前記黒欠陥検出用の閾値と画素値を比較する画素の周辺の画素の画素値に基づいて決定される可変の閾値である
   請求項３に記載の画像処理装置。
5. 前記欠陥補正手段は、
   前記撮像手段が出力する画像の画素のうちの、常時欠陥画素については、常に、画素値を補正し、
   前記撮像手段が出力する画像の画素のうちの、点滅欠陥画素については、点滅欠陥画素の画素値と、点滅欠陥画素用の閾値とを比較することにより、点滅欠陥画素が、画素値が異常な欠陥状態にあるかどうかを判定し、
   点滅欠陥画素が欠陥状態にあると判定した場合にのみ、その点滅欠陥画素の画素値を補正する
   請求項３に記載の画像処理装置。
6. 前記点滅欠陥検出用の閾値は、前記点滅欠陥検出用の閾値と画素値を比較する点滅欠陥画素の周辺の画素の画素値に基づいて決定される可変の閾値である
   請求項５に記載の画像処理装置。
7. 前記欠陥補正手段は、さらに、
   前記撮像手段が出力する画像の画素のうちの、常時欠陥画素及び点滅欠陥画素以外の画素である非欠陥画素については、非欠陥画素の画素値と、非欠陥画素用の閾値とを比較することにより、非欠陥画素が、欠陥状態にあるかどうかを判定し、
   非欠陥画素が欠陥状態にあると判定した場合にのみ、その非欠陥画素の画素値を補正する
   請求項５に記載の画像処理装置。
8. 前記非欠陥検出用の閾値は、前記非欠陥検出用の閾値と画素値を比較する非欠陥画素の周辺の画素の画素値に基づいて決定される可変の閾値である
   請求項７に記載の画像処理装置。
9. 前記点滅欠陥画素用の閾値と、前記非欠陥画素用の閾値とは、異なる値の閾値である
   請求項７に記載の画像処理装置。
10. 画像を撮像する撮像手段が出力する画像を処理する画像処理方法において、
    欠陥がある欠陥画素を検出する欠陥検出ステップと、
    前記欠陥検出ステップで検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正ステップと
    を含み、
    前記欠陥検出ステップは、
    前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出ステップ、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出ステップとのうちの少なくとも一方と、
    前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択ステップと
    を含む
    画像処理方法。
11. 画像を撮像する撮像手段が出力する画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
    欠陥がある欠陥画素を検出する欠陥検出ステップと、
    前記欠陥検出ステップで検出された欠陥画素に関する欠陥データが登録された欠陥データテーブルに基づき、前記撮像手段が出力する画像の画素の画素値を補正する欠陥補正ステップと
    を含み、
    前記欠陥検出ステップは、
    前記撮像手段による複数回の撮像によって得られる複数の画像の各位置の画素の画素値の最大値と、白欠陥検出用の閾値とを比較することにより、欠陥がある欠陥画素、及び欠陥画素の欠陥の程度を表す欠陥レベルを検出する白欠陥検出ステップ、又は、前記複数の画像の各位置の画素の画素値の最小値と、黒欠陥検出用の閾値とを比較することにより、欠陥画素、及び欠陥レベルを検出する黒欠陥検出ステップとのうちの少なくとも一方と、
    前記欠陥レベルに基づき、欠陥の程度が大きい、複数である所定数の欠陥画素を選択し、その所定数の欠陥画素の欠陥データを、前記欠陥データテーブルに登録する欠陥画素選択ステップと
    を含む
    画像処理を、コンピュータに実行させるプログラム。

Images