JP2007124056A - 画像処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】画質劣化を可及的に回避しつつ画素欠陥補正処理を行ない得る画像処理装置、制御方法、及びプログラムを提供する。
【解決手段】撮像素子を用いて撮像された撮像データを処理する画像処理装置において、欠陥レベルが所定レベルより高い欠陥画素に係る撮像データは、他の画素の撮像データに基づく補間補正処理を行い、欠陥レベルが所定レベルより低い欠陥画素に係る撮像データは、オフセット補正処理又はゲイン補正処理を行なう。
【選択図】図６

Description

本発明は、撮像素子を用いて撮像した画像データを処理する画像処理装置、制御方法、及びプログラムに関し、特に、撮像素子の欠陥画素に対処する技術に関する。

従来、ＣＣＤ、ＣＭＯＳ等により構成されたイメージセンサ（以下、撮像素子と称する）を用いて静止画像や動画像を撮像し、記録及び再生するディジタルカメラ等の画像処理装置が知られている。この種の画像処理装置で使用される撮像素子は、その製造過程等において画素単位で欠陥（キズ）が生じ、光反応はあるものの異常に高レベルの撮像信号を出力する白キズ等の画素が含まれている場合がある。

図９は、このようなキズをもつ画素（以下、キズ画素と称する）を含む撮像素子のキズ分布（ヒストグラム）を例示したものである。図９のヒストグラムでは、Ａ点およびＢ点の画素の領域でキズ画素が多いことがわかる。このＡ点の画素は、通常の撮影条件（例えば常温で電荷蓄積時間１／１２５秒）でもキズ画素としてわかる程の高いキズレベルである。一方、Ｂ点の画素は、通常の撮影条件ではほとんど認識できない程度の低いキズレベルであるが、撮像条件、例えば高温で電荷蓄積時間３０秒といった撮像条件によってキズが目立ってくる程度のキズレベルである。

このようなキズ画素の影響を低減するために、近年の画像処理装置においては、欠陥画素補正処理（以後、キズ補正処理と称する）を行うのが一般的である。このキズ補正処理を行なうためのキズ画素の判別は、主に、次のようにして行なっている。

すなわち、撮像素子を工場から出荷する前に、所定のＩＳＯ感度、温度等の条件の下に標準の電荷蓄積時間で撮像動作を行なった場合の撮像素子の出力を評価し、その評価結果に基づいてキズ画素を判別する方法が採られている。そして、キズ画素を判別した撮像素子を画像処理装置に組み込む際に、キズ画素であると判別された各画素の位置データと、そのキズレベルを記述したキズ画素データファイルを、当該画像処理装置内の所定の不揮発性メモリに記憶するようにしている。

そして、画像処理装置で撮像した撮像データに対するキズ補正処理では、キズ画素に隣接する画素（互いに同色の場合もある）の撮像データを用いてキズ画素に係る撮像データに対する補間演算処理を行うことにより、キズ画素に起因する画質劣化を低減している（例えば、特許文献１，２参照）。

しかしながら、上記のように隣接画素データを用いて補間補正処理を行う場合、キズ画素の近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合には、補正跡が残ってしまい、キズ補正処理による画質劣化を招いてしまう。例えば、高輝度部と暗部がある被写体を撮像する場合に、境界の暗部に対応する位置の画素がキズ画素であるときは、隣接の高輝度部と暗部の平均出力値で補間すると、暗部であるにも拘らず明るめの画素データとして補正されてしまう。

特に、キズレベルの低いキズ画素に関しては、キズが目立ちにくい条件で撮像された撮像データに対してキズ補正処理を行なうと、補正前の画質よりも補正後の画質の方が悪くなる所謂、過補正という状態が発生する。また、画素数の多い撮像素子においては、キズ画素の比率も高くなるため、過補正となる画素が増えてしまう傾向にある。

そこで、過補正の回避策として、補正後の画質劣化が目立つキズ画素であるか否かを判別し、画質劣化が目立たないキズ画素であると判定したキズ画素については、そのキズ画素に係る撮像データに対する補間補正処理を省略する提案がなされている（例えば、特許文献３参照）。

しかし、上記提案では過補正を回避することはできるが、キズ画素に係る撮像データ自体は無補正状態で存在するため、撮像データに対して画像処理を行なった場合等にキズが見えてしまうという問題も残る。

また、オプティカルブラック領域によりキズ画素を判別し、キズ画素と判別された画素の出力データを、オプティカルブラック領域の出力データに基づいてオフセット補正する提案もなされている（例えば、特許文献４参照）。

この提案のキズ補正処理は、補正基準がオプティカルブラック領域の出力データであり、一定方向にキズ画素が発生する線キズに対しては有効である。しかし、点キズや高温での長秒時撮影等でノイズが大きくなる条件下では、暗電流等に起因してオプティカルブラック領域の出力データにズレが生じる場合があり、このズレがオフセット補正に悪影響を及ぼす可能性がある。
特開平１０−４２２０１号公報 特開２００３−３３３４３５号公報 特開２００４−２３６８３号公報 特開２００５−１３６８３４号公報

本発明は、このような背景の下になされたもので、画質劣化を可及的に回避しつつ画素欠陥補正処理を行ない得る画像処理装置、制御方法、及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、前記撮像素子の欠陥画素の位置と欠陥レベルを判定する判定手段と、前記撮像データを前記判定手段での判定結果に基づいて補正する補正手段を備え、前記補正手段は、前記判定手段により欠陥レベルが所定レベルより高いと判定された欠陥画素に係る撮像データは、他の画素に係る撮像データに基づいて補間補正処理を行い、欠陥レベルが所定レベル以下であると判定された欠陥画素に係る撮像データは、当該撮像データの値をオフセットするオフセット補正処理、又は前記撮像素子のゲインを補正するゲイン補正処理を行なうことを特徴とする。

本発明によれば、欠陥レベルが所定レベルより高い欠陥画素に係る撮像データは、他の画素の撮像データに基づく補間補正処理を行い、欠陥レベルが所定レベルより低い欠陥画素に係る撮像データは、オフセット補正処理又はゲイン補正処理を行なっているので、画質劣化を可及的に回避しつつ画素欠陥補正を行ない得る撮像装置、制御方法、及びプログラムを提供することが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。図１は本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。

本画像処理装置は、装置本体としての画像処理装置１００と、画像処理装置１００に対し着脱可能に装着される記録媒体２００，２１０と、画像処理装置１００に対し着脱可能に装着されるレンズユニット３００を備えている。

画像処理装置１００のシャッタ１２は、撮像素子１４への露光量を制御する。撮像素子１４は、被写体の光学像を電気信号に変換する。レンズユニット３００のレンズ３１０に入射した光線は、一眼レフ方式によって、絞り３１２、レンズマウント３０６、及び画像処理装置１００のレンズマウント１０６、ミラー１３０、シャッタ１２を介して、被写体の光学像として撮像素子１４上に結像される。

Ａ／Ｄ変換器１６は、撮像素子１４のアナログ信号出力をディジタル信号に変換する。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するものであり、メモリ制御回路２２及びシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

システム制御回路５０は、その演算結果に基づいてシャッタ制御部４０、測距部４２、測光部４６等を適宜制御することにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデジタルデータは、画像処理回路２０とメモリ制御回路２２を介して、或いはメモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４は、表示用の画像データを記憶する。Ｄ／Ａ変換器２６は、メモリ制御回路２２から出力されたディジタル信号をアナログ信号に変換し、画像表示部２８に出力する。メモリ３０は、撮影した静止画像データや動画像データを格納するためのメモリであり、その記憶容量は、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な容量となっている。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長するものであり、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、その圧縮・伸長に係る画像データをメモリ３０に書き込む。

シャッタ制御部４０は、測光部４６からの測光情報に基づいて、レンズユニット３００の絞り３１２を駆動する絞り駆動機構３４０と連携しながら、シャッタ１２を開閉制御する。測距部４２は、ＡＦ（オートフォーカス）処理を行なう際に利用される。温度計４４は、撮影環境の温度を検出するために備えられている。この温度計４４を撮像素子１４内に設けた場合は、撮像素子１４の暗電流をより正確に予想することが可能となる。測光部４６は、ＡＥ（自動露出）処理を行なう際に利用される。

システム制御回路５０は、画像処理装置１００全体を制御するものであり、メモリ５２に記憶されたプログラムに基づいて後述の各フローチャートに示す処理を実行する。メモリ５２は、上記のプログラムの他、システム制御回路５０の動作用の定数、変数等も記憶している。

表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像を用いて動作状態、メッセージ等を表示出力するＬＣＤ、ＬＥＤ等を備えている。この表示部５４は、画像処理装置１００の操作部７０の近辺の視認し易い位置に単数或いは複数個設置されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。この不揮発性メモリ５６には、各種パラメータ、ＩＳＯ感度などの設定値、設定モード等が記憶される。

また、不揮発性メモリ５６には、キズ画素データファイルも格納されている。このキズ画素データファイルは、撮像素子１４を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間、すなわち露光時間で撮像素子１４を露光し、その撮像素子１４から出力される画像データを画素単位で評価してキズ画素を判定して作成されたものである。このキズ画素データファイルは、各キズ画素に関する位置データ（Ｘ，Ｙ）とキズレベルデータ（レベル１〜５）を纏めたものである。以下、個々のキズ画素の位置データとキズレベルデータとを、キズ画素データと称する。

また、不揮発性メモリ５６には、撮像時に撮像素子１４から実際に出力される画像データを上記のキズ画素データに基づいて補正する場合に使用する補正パターン情報も格納されている。この補正パターン情報は、テーブル化されており、電荷蓄積時間とＩＳＯ感度の組み合わせに応じて、補正の内容をパターン化したものである。この補正パターンテーブルと上記のキズ画像データを用いたキズ補正処理の詳細は、後述する。

モードダイアルスイッチ６０は、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、パノラマ撮影モード等の各種の撮影モードを切り替え設定することができる。

シャッタスイッチ６２は、不図示のシャッタボタンの半押し状態でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作がシステム制御回路５０の制御の下に開始される。

シャッタスイッチ６４は、不図示のシャッタボタンの完全な押下状態でＯＮとなる。シャッタスイッチ６４がＯＮされると、システム制御回路５０の制御の下に一連の処理が開始される。この一連の処理としては、撮像素子１４に対する露光処理、撮像素子１４からのアナログ画像信号のＡ／Ｄ変換処理、Ａ／Ｄ変換に係る画像データに対する画像処理、圧圧縮処理、記録処理等がある。

再生スイッチ６６は、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００，２１０から読み出して画像表示部２８に表示する再生動作を指示するものである。単写／連写スイッチ６８は、シャッタスイッチ６４がＯＮされた場合に１駒の撮影を行って待機状態とする単写モードと、シャッタスイッチ６４がＯＮされている間は連続して撮影を行い続ける連写モードとを設定することができる。ＩＳＯ感度設定スイッチ６９は、撮像素子１４或いは画像処理回路２０におけるゲインの設定を変更することにより、ＩＳＯ感度（撮影感度）を設定することができる。

操作部７０は、各種ボタン、スイッチ、タッチパネル等により構成されている。このボタンとしては、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

電源スイッチ７２は、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、電源スイッチ７２は、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００，２１０等の各種付属装置の電源オン、電源オフの設定も併せて切り替え設定することができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、システム制御回路５０の指示等に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。コネクタ８２，８４は、電源制御部８０と電源８６とを接続する。電源８６は、アルカリ電池、リチウム電池等の一次電池や、ＮｉＣｄ電池、Ｌｉ電池等の二次電池、充電器、ＡＣアダプタ等から構成されている。

インタフェース９０，９４は、メモリカードやハードディスク等の記録媒体２００，２１０とのインタフェースを司る。コネクタ９２，９６は、画像処理装置１００と記録媒体２００、２１０とを接続する。記録媒体着脱検知部９８は、コネクタ９２，９６に記録媒体２００、２１０が装着されているか否かを検知する。

光学ファインダ１０４は、レンズユニット３００のレンズ３１０に入射した光線をミラー１３０，１３２等を介して導入し、光学像として結像表示することができる。この光学ファインダ１０４には、表示部５４の一部の表示機能、例えば、合焦表示、手振れ警告表示、シャッタスピード表示、絞り値表示等の表示機能を有している。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０により画像処理装置１００を他の機器と接続する場合はコネクタとして機能し、無線通信の場合はアンテナとして機能する。インタフェース１２０は、レンズマウント１０６内において、画像処理装置１００をレンズユニット３００と接続するためのインタフェースである。

コネクタ１２２は、画像処理装置１００をレンズユニット３００と電気的に接続する。レンズユニット３００は、交換レンズタイプとして構成されている。レンズマウント３０６は、レンズユニット３００を画像処理装置１００と機械的に結合する。撮影レンズ群３１０は、被写体像を取り込む。絞り３１２は、撮影レンズ群３１０から入る光量を調節する。インタフェース３２０は、レンズマウント３０６内において、レンズユニット３００を画像処理装置１００と接続するためのインタフェースを司る。コネクタ３２２は、レンズユニット３００を画像処理装置１００と電気的に接続する。

絞り制御機構３４０は、画像処理装置１００の測光部４６からの測光情報に基づいてシャッタ１２を制御するシャッタ制御部４０と連携しながら、絞り３１２の開口量を調節する。測距制御機構３４２は、合焦動作を行なうべく撮影レンズ群３１０の所定レンズ位置を変化させる。ズーム制御機構３４４は、変倍動作を行なうべく撮影レンズ群３１０の所定レンズの位置を変化させる。レンズ制御回路３５０は、レンズユニット３００全体を制御する。

次に、画像処理装置１００の主要な動作を図２，３のフローチャートに基づいて説明する。

電池交換等により画像処理装置１００に対して電源が投入されると、システム制御回路５０は、画像処理装置１００の各部において必要な所定の初期設定を行う（ステップＳ１０１）。次に、システム制御回路５０は、電源スイッチ７２がＯＮ／ＯＦＦの何れに設定されているかを判別する（ステップＳ１０２）。電源スイッチ７２がＯＦＦに設定されている場合は、システム制御回路５０は、各表示部の表示を終了状態に変更し、各種のパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により、画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０３）、ステップＳ１０２に戻る。

一方、電源スイッチ７２がＯＮに設定されている場合は、システム制御回路５０は、電源制御部８０により、電池等の電源８６の残容量が画像処理装置１００の動作に問題を来たさない程度に充分であるか否かを判別する（ステップＳ１０４）。その結果、電源８６の残容量が不充分であれば、システム制御回路５０は、表示部５４を用いて所定の警告を行い（ステップＳ１０５）、ステップＳ１０２に戻る。一方、電源８６の残容量が充分であれば、システム制御回路５０は、モードダイアルスイッチ６０により設定されたモードを判別する（ステップＳ１０６）。

その結果、モードダイアルスイッチ６０により撮影モード以外のモードが設定されている場合は、システム制御回路５０は、そのモードに応じた処理を行なって（ステップＳ１０７）、ステップＳ１０２に戻る。一方、モードダイアルスイッチ６０により撮影モードが設定されている場合は、システム制御回路５０は、記録媒体２００，２１０に何らかの問題があるか否かを判別する（ステップＳ１０８）。

その結果、記録媒体２００，２１０に何らかの問題がある場合は、システム制御回路５０は、ステップＳ１０５に進み、表示部５４を用いて所定の警告を行なう。一方、記録媒体２００，２１０に問題がない場合は、システム制御回路５０は、表示部５４を用いて画像処理装置１００の各種設定状態の表示出力や音声出力を行う（ステップＳ１０９）。

次に、システム制御回路５０は、シャッタスイッチ６２のＯＮ／ＯＦＦ状態を判別する（ステップＳ１１０）。シャッタスイッチ６２がＯＦＦの場合は、システム制御回路５０は、ステップＳ１０２に戻る。シャッタスイッチ６２がＯＮの場合は、システム制御回路５０は、測距処理を行って撮影レンズ群３１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する測距・測光処理を行う（ステップＳ１１１）。

次に、システム制御回路５０は、シャッタスイッチ６４のＯＮ／ＯＦＦ状態を判別する（ステップＳ１１２）。シャッタスイッチ６４がＯＦＦの場合は、システム制御回路５０は、シャッタスイッチ６２のＯＮ／ＯＦＦ状態を再度判別する（ステップＳ１１３）。その結果、シャッタスイッチ６２がＯＦＦであれば、システム制御回路５０は、ステップＳ１０２に戻り、シャッタスイッチ６２がＯＮであれば、ステップＳ１１２に戻る。そのステップＳ１１２にて、シャッタスイッチ６４がＯＮされていると判別された場合は、システム制御回路５０は、メモリ３０の画像記憶バッファ領域の残容量が、撮影した新たな画像データを記憶するのに充分であるか否かを判別する（ステップＳ１１４）。その結果、画像記憶バッファ領域の残容量が不充分であれば、システム制御回路５０は、表示部５４を用いて所定の警告を行った後に（ステップＳ１１５）、ステップＳ１０２に戻る。

一方、画像記憶バッファ領域の残容量が充分であれば、システム制御回路５０は、撮像素子１４から撮像信号を読み出して、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２等を介してメモリ３０の画像記憶バッファ領域に書き込む撮影処理を行なう（ステップＳ１１６）。この撮影処理の詳細は、後述する。

次に、システム制御回路５０は、本実施の形態に特有な欠陥画素補正処理（キズ補正処理）を行なう（ステップＳ１１７）。このキズ補正処理の詳細は、後述する。

次に、システム制御回路５０は、メモリ３０の画像記憶バッファ領域上のキズ補正処理後の画像データに対して、画像処理回路２０を用いてＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種の画像処理を行う（ステップＳ１１８）。そして、システム制御回路５０は、キズ補正処理や画像処理が施されたメモリ３０の画像記憶バッファ領域上の画像データに対して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２を用いて行なう（ステップＳ１１９）。

次に、システム制御回路５０は、キズ補正処理、画像処理、及び圧縮処理が施された画像データをメモリ３０の画像記憶バッファ領域から読み出して、メモリカード、コンパクトフラッシュ（登録商標）カード等の記録媒体２００又は２１０に書き込む記録処理を開始する（ステップＳ１２０）。そして、システム制御回路５０は、シャッタスイッチ６２の状態を確認し（ステップＳ１２１）、シャッタスイッチ６２がＯＦＦされ次第、ステップＳ１０２に戻る。

次に、上記ステップＳ１１６における撮影処理の詳細を、図４，５のフローチャートに基づいて説明する。

撮影処理においては、システム制御回路５０は、まず、ミラー１３０を不図示のミラー駆動機構によってミラーアップ位置に移動させる（ステップＳ３０１）。次に、システム制御回路５０は、メモリ５２等に記憶される測光データに基づいて、絞り制御機構３４０によって絞り３１２を所定の絞り値まで駆動させる（ステップＳ３０２）。

次に、システム制御回路５０は、撮像素子１４上の残留電荷をクリアして（ステップＳ３０３）、撮像素子１４での新たな電荷蓄積動作を開始させる（ステップＳ３０４）。そして、システム制御回路５０は、シャッタ制御部４０によってシャッタ１２を開かせることにより（ステップＳ３０５）、撮像素子１４に対する露光を開始させる（ステップＳ３０６）。

次に、システム制御回路５０は、フラッシュ４８が必要であるか否かを判別し（ステップＳ３０７）、フラッシュ４８が必要であれば、フラッシュ４８を発光させる（ステップＳ３０８）。次に、システム制御回路５０は、撮像素子１４に対する露光動作の終了タイミングとなったか否かを測光データに基づいて判別し（ステップＳ３０９）、露光動作の終了タイミングとなった場合は、シャッタ制御部４０によってシャッタ１２を閉じさせる（ステップＳ３１０）。

次に、システム制御回路５０は、レンズユニット３００の絞り制機構３４０によって絞り３１２を開放の絞り値まで駆動すると共に（ステップＳ３１１）、ミラー１３０を不図示のミラー駆動機構によってミラーダウン位置に移動させる（ステップＳ３１２）。そして、システム制御回路５０は、設定した電荷蓄積時間が経過するのを待って（ステップＳ３１３でＹＥＳ）、撮像素子１４での電荷蓄積動作を終了させる（ステップＳ３１４）。

次に、システム制御回路５０は、撮像素子１４から信号電荷を読み出して、Ａ／Ｄ変換器１６にてＡ／Ｄ変換処理、画像処理回路２０にて画像処理を施させ、これら処理が施された撮影画像データをメモリ制御回路２２等を介してメモリ３０に書き込ませる（ステップＳ３１５）。そして、システム制御回路５０は、図３，４のフローにリターンする。

次に、キズ補正処理を詳細に説明する。前述のように、不揮発性メモリ５６には、キズ画素データファイルが記憶されている。このキズ画素データファイルには、撮像素子１４を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間（標準露光時間）で撮像素子１４を露光し、その撮像素子１４から出力される撮像データを画素単位で評価してキズ画素を判定したキズ画素データが纏められている。

また、このキズ画素データは、各キズ画素の位置データ（Ｘ，Ｙ）とキズレベルデータ（レベル１〜５）により構成されている。なお、このレベルデータの大小関係は、レベル１＜レベル２＜レベル３＜レベル４＜レベル５となっている。

しかしながら、白キズの多くは撮像素子１４の露光時間（電荷蓄積時間）に応じてレベルが大きくなる傾向があり、また、同じキズレベルの白キズであっても、設定されたＩＳＯ感度によってキズレベルが変化する。なお、ＩＳＯ感度は、画像処理装置においては、撮像素子１４のゲイン、画像処理回路２０のゲイン等に応じて変化するものである。

そこで、本実施の形態では、前述のように、電荷蓄積時間とＩＳＯ感度の組み合わせに応じて、補正の内容をパターン化した補正パターンテーブルと上記のキズ画像データファイルを用いてキズ補正処理を行なっている。

次に、このキズ補正処理の詳細を、図６〜８のフローチャートに基づいて説明する。

キズ補正処理では、システム制御回路５０は、まず、キズ補正処理を行う際に使用するための補正パターンを選択する（図６のステップＳ４０１）。ここで、図６の他のステップを説明する前に、図６のステップＳ４０１における補正パターン選択処理の詳細を、図７，８のフローチャートに基づいて説明しておく。

補正パターン選択処理では、システム制御回路５０は、まず、不揮発性メモリ５６に格納されているＩＳＯ感度の設定値（例えば、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００）を確認する（ステップＳ５０１）。次に、システム制御回路５０は、シャッタ速度、すなわち撮像素子１４の電荷蓄積時間（ｔ）の設定値を確認する（ステップＳ５０２）。

そして、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）であるか否かを判別する（ステップＳ５０３）。電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）の場合は、システム制御回路５０は、キズが目立ちやすくなる撮影条件であると認定して、補正パターン５を選択する（ステップＳ５０４）。この補正パターン５は、レベルの低いキズレベル１のキズ画素に係る撮像データから、レベルの高いキズレベル５のキズ画素に係る撮像データまでの全てを、補間補正処理の対象とするものである。

この補間補正処理としては、本実施の形態では、キズ補正対象のキズ画素に隣接する同色の画素の撮像データを用いて、キズ補正対象のキズ画素に係る撮像データを補正する点キズ補正処理を行なっている。この点キズ補正処理の具体的な方法としては、キズ画素の出力データを隣接する画素の出力データで置換する方法、或いは周囲の画素の出力データの中央値や平均値で補間する方法等が考えられる。

電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）でない場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つスＩＳＯ感度の設定値が低感度（ＩＳＯ１００）であるか否かを判別する（ステップＳ５０５）。その結果、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）である場合は、システム制御回路５０は、補正パターン１を選択する（ステップＳ５０６）。

この補正パターン１は、レベルが高い（例えば、レベル５）キズ画素に係る撮像データだけを補間補正処理の対象とし、キズレベルが低い（例えば、レベル１〜４）キズ画素に係る撮像データはオフセット補正処理の対象とするものである。このオフセット補正処理は、キズ補正対象のキズ画素に係る撮像データを所定の量だけオフセットするものである。

ステップＳ５０５にて、補正パターン１の上記の撮影条件ではないと判別された場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）であるか否か、又は、電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）であるか否かを判別する（ステップＳ５０７）。

その結果、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）である場合、又は電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）である場合は、システム制御回路５０は、補正パターン２を選択する（ステップＳ５０８）。

この補正パターン２は、補間補正処理を行なうキズレベルを補正パターン１の場合よりも下げ（例えば、キズレベル５とキズレベル４）、他のキズレベル（例えば、キズレベル１〜３）のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。

補正パターン２の上記の撮影条件を満たしていない場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が高感度（ＩＳＯ４００）であるか否か、又は電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）であるか否かを判別する（ステップＳ５０９）。

その結果、ステップＳ５０９の撮影条件を満たしている場合は、システム制御回路５０は、補正パターン３を選択する（ステップＳ５１０）。この補正パターン３は、補間補正処理を行なうキズレベルを補正パターン２の場合よりも下げ（例えば、キズレベル５〜３）、他のキズレベル（例えば、キズレベル１〜２）のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。

補正パターン３の上記の撮影条件を満たしていない場合は、システム制御回路５０は、補正パターン４を選択する（ステップＳ５１１）。この補正パターン４は、補間補正処理を行なうキズレベルを補正パターン３の場合よりも下げ（例えば、キズレベル５〜２）、他のキズレベル（例えば、キズレベル１）のキズ画素に係る撮像データをオフセット補正処理の対象とするものである。

このように、補正パターン選択処理では、電荷蓄積時間とＩＳＯ感度との組み合せのパターンに応じて、補間補正処理とオフセット補正処理の何れの補正処理を行なうかを決定するキズレベルを変更している。

なお、上記の補正パターン選択処理は、実際には、前述のように補正パターンテーブルを用いて行なわれるものである。従って、電荷蓄積時間とＩＳＯ感度の設定値を確認した後は、それら設定値に基づいて補正パターンテーブル上で対応する補正パターンを検索することにより、迅速に補正パターンを選択することが可能となる。

次に、図６のキズ補正処理の説明に戻る。システム制御回路５０は、上記のようにして補正パターンを選択した後（図６のステップＳ４０１）、不揮発性メモリ５６に格納されているキズ画素データファイルの中から、キズレベルの大きい順に１つのキズレベルを指定し、そのキズレベルに係る全てのキズ画素の位置データを読み出す（ステップＳ４０２）。

次に、システム制御回路５０は、ステップＳ４０２にて読み出した位置データの中の１つの位置データを指定し、その位置に係る撮像データをメモリ３０から読み出す（ステップＳ４０３）。この場合の位置データの指定順は、例えば、Ｘ座標値については、「０」から順に着目していき、Ｙ座標値については、Ｘ座標値を固定した状態で「０」から順に指定していく方法、或いは、撮像素子１４での蓄積電荷の転送順に従う方法等が考えられる。

次に、システム制御回路５０は、ステップＳ４０２にて指定したキズレベルが、ステップＳ４０１にて選択した補正パターンにおいてオフセット補正処理の対象となっているか否かを判別する（ステップＳ４０４）。その結果、オフセット補正処理の対象となっていない場合、すなわち、現在指定しているキズレベルが、現在選択している補正パターンにおいて補間補正処理の対象となっている場合は、システム制御回路５０は、現在指定しているキズ画素に隣接する同色の画素の撮影画像データをメモリ３０から読み出す（ステップＳ４０５）。

次に、システム制御回路５０は、読み出した隣接画素の撮像データの値に基づいて、現在指定している位置のキズ画素に係る撮像データを補正する（ステップＳ４０６）。この場合、システム制御回路５０は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びＩＳＯ感度に応じた係数を用いて、キズ画素毎に補間補正量を算出して、補間補正処理を行なっている。

そして、システム制御回路５０は、補正後の撮像データをメモリ３０上の撮像データの指定に係る位置に上書きして（ステップＳ４０９）、ステップＳ４１０に進む。

ステップＳ４０４にて、現在指定しているキズレベルがオフセット補正処理の対象となっていると判別された場合は、システム制御回路５０は、ステップＳ４０３にて読み出した撮像データが所定レベル以上（例えば飽和状態）であるか否かを判別する（ステップＳ４０７）。

その結果、所定レベル以上でなければ、システム制御回路５０は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びＩＳＯ感度に応じた係数を用いて、キズ画素毎にオフセット量を算出し、そのオフセット量に基づいて、現在位置指定しているキズ画素に係る撮像データをオフセット補正する（ステップＳ４０８）。すなわち、オフセット補正を行う際のオフセット量は、補正に係るキズ画素のキズレベルに応じて変更され、各キズ画素間で同一のオフセット量が用いられることはない。

そして、システム制御回路５０は、オフセット補正後の撮像データをメモリ３０上の撮像データの指定に係る位置に上書きして（ステップＳ４０９）、ステップＳ４１０に進む。

一方、ステップＳ４０７にて所定レベル以上、すなわち飽和状態であると判別された場合は、補正処理を行なうことにより各画素間で画素データのレベルが不均一となり、却ってキズが目立ってしまうので、システム制御回路５０は、何ら補正を行なうことなく、ステップＳ４１０に進む。

このステップＳ４１０では、システム制御回路５０は、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了したか否かを判別する。その結果、完了していなければ、システム制御回路５０は、ステップＳ４０３に戻ることにより、次の位置のキズ画素に対して同様の処理を行なう。一方、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了していれば、ステップＳ４０２に戻ることにより、次のキズレベルに係るキズ画素に対して同様の処理を行なう。

このように、本実施の形態では、撮像素子１４のキズ画素のキズレベルをキズ画素データファイルに基づいて判定し、キズレベルが所定レベルより高いキズ画素に係る撮像データは、他の画素の撮像データに基づく補間補正処理を行い、キズレベルが所定レベルより低いキズ画素に係る撮像データは、オフセット補正処理を行なっている。

従って、過補正を回避すると共にキズ画素に係る撮像データを可及的に放逐し、また、オフセット補正処理も適正に行なうことができ、画質劣化を可及的に回避しつつキズ補正処理を行なうことが可能となる。

なお、本発明は、上記の実施の形態に限定されることはない。例えば、上記の実施の形態では、オフセット補正処理を行なう場合、キズ画素のキズレベルに応じてオフセット量を変化させており、キズ画素によってオフセット量が異なっている。しかし、例えば、図９のような、或るキズレベル帯には多数のキズ画素が分布している等の撮像素子に固有のキズ分布の特徴に着目し、所定レベル以下のキズレベルの場合には、撮影条件に応じた固定のオフセット量を各キズ画素に対して共通に用いてオフセット補正処理を行ってもよい。

また、上記の実施の形態では、補間補正処理とオフセット補正処理の何れを行なうかを判別するためのキズレベルを撮影条件に応じて変化させているが、この判別用のキズレベルを固定し（例えば、キズレベル１）、この固定したキズレベル以下のキズ画素に係る撮像データに対してオフセット補正処理を行なうようにしてもよい。

また、オフセット補正処理の代わりに、撮像素子のゲインを変化させるゲイン補正処理を行なうことも可能である。

さらに、上記の実施の形態では、キズレベルの低いキズ画素であっても、その撮像データが所定レベル以上の場合には、オフセット補正処理を行わないようにしており、ここでの所定レベルとは、主に撮像素子の出力、すなわちＲＡＷ画像が飽和状態になるレベルを想定している。しかし、ＲＡＷ画像の飽和に限定することなく、例えばＪＰＥＧ変換に対応した飽和レベルを所定レベルとしても何ら問題はない。換言すれば、画像データを保存等する場合の圧縮方式に応じて、オフセット補正処理を行なうか否かを判別するためのキズレベルを変更してもよい。

また、ＪＰＥＧ画像の飽和レベルとＲＡＷ画像の飽和レベルとでは、レベル的に差があるので、画素出力レベルに応じてオフセット補正を行わない等のシーケンスが複雑化する要因を排除すべく、単純に、所定値以下のキズレベルのキズ画素を全てオフセット補正処理の対象とすることも可能である。

また、電荷蓄積時間、ＩＳＯ感度に基づいて補正パターンを規定することなく、絞り値、シャッタ速度に対応する撮像素子の露光量、ＩＳＯ感度に基づいて補正パターンを規定することも可能である。また、環境温度をも考慮して補正パターンを規定することも可能である。

さらに、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 上記の画像処理装置の主要な動作を示すフローチャートである。 図２の続きのフローチャートである。 撮影動作を示すフローチャートである。 図４の続きのフローチャートである。 キズ補正処理を示すスフローチャートである。 補正パターン選択処理を示すフローチャートである。 図７の続きのフローチャートである。 撮像素子のキズ画素分布例を示す図である。

符号の説明

１４…撮像素子
１２…シャッタ
４０…シャッタ制御部
４４…温度計
５０…システム制御回路
３０，５２…メモリ
５６…不揮発性メモリ
６９…ＩＳＯ感度スイッチ
３１２…絞り

Claims (11)

1. 撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、
   前記撮像素子の欠陥画素の位置と欠陥レベルを判定する判定手段と、
   前記撮像データを前記判定手段での判定結果に基づいて補正する補正手段を備え、
   前記補正手段は、前記判定手段により欠陥レベルが所定レベルより高いと判定された欠陥画素に係る撮像データは、他の画素に係る撮像データに基づいて補間補正処理を行い、欠陥レベルが所定レベル以下であると判定された欠陥画素に係る撮像データは、当該撮像データの値をオフセットするオフセット補正処理、又は前記撮像素子のゲインを補正するゲイン補正処理を行なうことを特徴とする画像処理装置。
2. 前記補正手段は、前記所定レベルを撮像条件に応じて変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件は、環境温度、前記撮像素子の電荷蓄積時間、露光量、ＩＳＯ感度の何れかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、前記判定手段により所定レベル以下の欠陥レベルであると判定された欠陥画素に係る撮像データであっても、該撮像データのレベルが所定値以上の場合には、オフセット補正、又はゲイン補正処理を行わないことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 前記所定値は、前記撮像素子の出力が飽和する値であることを特徴とする請求項４に記載の画像処理装置。
6. 前記所定値は、前記撮像素子を用いて撮像された撮像データを圧縮する場合の圧縮方式に応じた値であることを特徴とする請求項４に記載の画像処理装置。
7. 前記判定手段は、事前に取得された欠陥画素の位置データ及び欠陥レベルデータを記憶した記憶手段を用いて前記撮像素子の欠陥画素の位置と欠陥レベルを判定することを特徴とする請求項１〜６の何れかに記載の画像処理装置。
8. 前記補正手段は、前記オフセット補正処理、又はゲイン補正処理において、欠陥画素の欠陥レベルに応じたオフセット量、又はゲイン変化量を用いることを特徴とする請求項１〜６の何れかに記載の画像処理装置。
9. 前記補正手段は、前記オフセット補正処理、又はゲイン補正処理において、各欠陥画素間で共通のオフセット量、又はゲイン変化量を用いることを特徴とする請求項１〜８の何れかに記載の画像処理装置。
10. 撮像素子を用いて撮像された撮像データを画像処理する画像処理装置の制御方法において、
    前記撮像素子の欠陥画素の位置と欠陥レベルを判定する判定工程と、
    前記撮像データを前記判定工程での判定結果に基づいて補正する補正工程を備え、
    前記補正工程は、前記判定工程により欠陥レベルが所定レベルより高いと判定された欠陥画素に係る撮像データは、他の画素に係る撮像データに基づいて補間補正処理を行い、欠陥レベルが所定レベル以下であると判定された欠陥画素に係る撮像データは、当該撮像データの値をオフセットするオフセット補正処理、又は前記撮像素子のゲインを補正するゲイン補正処理を行うことを特徴とする制御方法。
11. 請求項１０に記載の制御方法を実行するプログラム。

Images