JP5664255B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に固体撮像装置に含まれる欠陥画素から出力される信号を補正して、欠陥画素によってもたらされる画質劣化を抑制する画像処理装置、および画像処理方法、並びにプログラムに関する。

一般に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子には、欠陥画素が生じることが知られている。

すなわち、固体撮像素子において、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を生じ、これに起因する画質劣化を生じることが知られている。これらには、たとえば黒傷欠陥画素や白傷欠陥画素などがある。これら欠陥画素を信号処理によって補正するための方式や回路構成が各種提案されている。

欠陥画素を補正する技術を開示した従来技術には、例えば特許文献１（特開２００９−２９０６５３号公報）、特許文献２（特許第４３４３９８８号）、特許文献３（特許第４３０７３１８号）などがある。

特開２００９−２９０６５３号公報 特許第４３４３９８８号 特許第４３０７３１８号

しかしながら、前述の従来技術において、欠陥画素が連続して発生した場合や、複数の画素で共有している回路（例えば、トランジスタ）部分に欠陥が生じ、複数の画素に欠陥が発生している場合には、テクスチャ方向を正しく求めることができずに、十分に欠陥画素を補正することができなくなるという問題があった。

また、前記の従来技術に開示された補正処理を適用した場合、補正対象となる画素は、欠陥補正に使用する近傍領域のうちの中央画素だけであり、例えば、欠陥補正のために使用した近傍領域を使って後段の信号処理を行う場合、中央画素以外に欠陥が含まれてしまうと、補正されていない欠陥画素の影響が発生し、補正の効果を得ることができない。そのために、前記の従来手法では、一度、全ての画素について欠陥補正を行ってから後段の信号処理を行う必要があり、回路規模の増大や、処理速度の遅延が生じる問題があった。

本発明は、例えばこれらの問題を解決する画像処理装置、および画像処理方法、並びにプログラムを提供する。本発明は、テクスチャの方向判定の際に欠陥の影響を減少させた判定処理を実行し、近傍領域の中に複数の欠陥画素が存在する場合にも欠陥検出と補正を効率的に実行することができる画像処理装置、および画像処理方法、並びにプログラムを提供する。

本発明の第１の側面は、
画像のテクスチャ方向を判定するテクスチャ方向判定部と、
複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する欠陥画素検出部と、
前記テクスチャ方向判定部において判定したテクスチャ方向に等しい画素集合配列方向の差分情報に基づいて検出された欠陥画素位置を補正対象として補正する補正部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記欠陥画素検出部は、画素値の読み出し回路を共有する複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する。

さらに、本発明の画像処理装置の一実施態様において、前記欠陥画素検出部は、同じ配列方向にある隣接する複数配列中、複数の画素集合単位の平均値の差分が小さい平坦領域における複数の画素集合単位の平均値を基準値（ｓａｆｅ＿ｍＷ）として、該基準値との差分値に応じて欠陥画素であるか否かを判定する。

さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ方向判定部は、水平、垂直、右上がり、右下がりの４方向のいずれがテクスチャ方向であるかを判定する処理を実行し、前記欠陥画素検出部は、水平、垂直、右上がり、右下がりの４方向について、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する。

さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ判定部は、注目画素を中心とする近傍領域に含まれる所定方向の画素値に基づく微分値を複数算出し、該複数の微分値をソートし、値の小さいデータのみを複数選択して統計量を算出し、該統計量の比較に基づいてテクスチャ方向を判定する。

さらに、本発明の画像処理装置の一実施態様において、前記補正部は、前記欠陥画素位置の画素値をテクスチャ方向にある近傍画素を参照画素として、該参照画素の画素値に基づいて決定する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記欠陥画素検出部は、前記テクスチャ方向判定部において判定したテクスチャ方向に等しい画素集合配列方向のみを処理対象として、複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
テクスチャ方向判定部が、画像のテクスチャ方向を判定するテクスチャ方向判定ステップと、
欠陥画素検出部が、複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する欠陥画素検出ステップと、
補正部が、前記テクスチャ方向判定部において判定したテクスチャ方向に等しい画素集合配列方向の差分情報に基づいて検出された欠陥画素位置を補正対象として補正する補正ステップを実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
テクスチャ方向判定部に、画像のテクスチャ方向を判定させるテクスチャ方向判定ステップと、
欠陥画素検出部に、複数画素の画素集合単位で画素値平均を算出させ、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出させる欠陥画素検出ステップと、
補正部に、前記テクスチャ方向判定部において判定したテクスチャ方向に等しい画素集合配列方向の差分情報に基づいて検出された欠陥画素位置を補正対象として補正させる補正ステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、撮像画像に発生する欠陥画素の検出と補正を実行する構成が実現される。具体的には、画像のテクスチャ方向を判定し、複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する。テクスチャ方向に等しい画素集合配列方向において検出された欠陥画素を補正対象として補正する。テクスチャ方向に沿った位置で、例えば読み出し回路共有画素集合単位での欠陥画素検出を実行することで効率的な欠陥画素位置の検出が可能となる。

本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像処理部の構成例について説明する図である。 本発明の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の欠陥画素補正処理の実行構成例について説明する図である。 本発明の一実施例に係る画像処理装置の欠陥画素補正処理において実行するテクスチャ方向判定処理について説明する図である。 本発明の一実施例に係る画像処理装置の実行するテクスチャ方向判定処理において実行する水平方向微分値算出処理について説明する図である。 本発明の一実施例に係る画像処理装置の実行するテクスチャ方向判定処理において実行する垂直方向微分値算出処理について説明する図である。 本発明の一実施例に係る画像処理装置の実行するテクスチャ方向判定処理において実行する右上がり方向微分値算出処理について説明する図である。 本発明の一実施例に係る画像処理装置の実行するテクスチャ方向判定処理において実行する右下がり方向微分値算出処理について説明する図である。 本発明の一実施例に係る画像処理装置の欠陥補正手段１１８内の欠陥画素検出手段２０３の実行する処理の詳細について説明する図である。 本発明の一実施例に係る画像処理装置の欠陥補正手段１１８内の欠陥画素検出手段２０３の実行する処理の処理例について説明する図である。 本発明の一実施例に係る画像処理装置の欠陥補正手段１１８内の欠陥画素検出手段２０３の変形例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。ここで説明する実施例は、本発明を内部に実装した撮像装置システムの例である。はじめにシステム全体の構成と動作について説明し、その後、本発明に関連深い処理の部分について詳細に説明する。説明は以下の項目に従って行う。
１．画像処理装置の構成例について
２．本発明に従った画像処理の詳細について
３．欠陥補正手段の構成と処理の詳細について
４．欠陥補正手段内の近傍領域抽出手段の実行する処理の詳細について
５．欠陥補正手段内のテクスチャ方向判定手段の実行する処理の詳細について
６．欠陥補正手段内の欠陥画素検出手段の実行する処理の詳細について
７．欠陥画素補正手段の処理について

［１．画像処理装置の構成例について］
図１は本発明の画像処理装置の一実施例である撮像装置（デジタルビデオカメラ）の全体図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。レンズ等から構成される光学系を通過して例えばＣＭＯＳ等の撮像素子１０１に到達した入射光は、まずＣＭＯＳ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換される。さらに、相関２重サンプリング回路（ＣＤＳ）１０２によってノイズ除去され、Ａ／Ｄコンバータ１０３によるデジタイズ処理によりデジタルデータに変換された後、ＤＳＰ１０４中の画像メモリに一時格納され、ＤＳＰ１０４内で各種の信号処理が行われる。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）１１４が信号処理系を制御するようになっている。

Ａ／Ｄコンバータ１０３は、ＤＳＰ１０４へ一定のレートで画素ストリームを出力し、ＤＳＰ１０４において各種の画像処理を実行した後、画像データはＬＣＤドライバ１１２もしくはＣＯＤＥＣ１０５あるいはその両方に送られる。ＬＣＤドライバ１１２はＤＳＰ１０４から送られる画像データをアナログ信号に変換し、それをＬＣＤ１１３に出力表示させる。このＬＣＤ１１３は例えばカメラのファインダの役割を担っている。また、ＣＯＤＥＣ１０５はＤＳＰ１０４から送られる画像データの符号化を行い、符号化された画像データはメモリ１０６に記録される。

ここで、メモリ１０６は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
ＣＰＵ１１５は、例えば予め記憶部に格納されたプログラムに従って撮影処理、画像処理全般の処理制御を実行する。
入力部１１６はユーザによる操作部である。
以上が本実施例のデジタルビデオカメラのシステム全体の説明である。

図１に示す撮像装置において、本発明に関する処理を実行するのは例えば主にＤＳＰ１０４である。以下、本発明の画像処理について詳細に説明する。なお、以下の実施例では、本発明の画像処理をＤＳＰ１０４において実行するものとして説明するが、本発明の処理は、ＤＳＰ１０４に限らず、その他のハードウェアやソフトウェアを利用した処理として実行可能である。例えばＣＭＯＳ１０１において実行するなど、他の構成要素において実行することも可能である。

［２．本発明に従った画像処理の詳細について］
前述のように、本発明に従った画像処理は、例えばＤＳＰ１０４で実行可能である。
従って、以下において説明する実施例の構成においては、画像処理は、ＤＳＰ１０４内部の演算ユニットが、ＤＳＰ１０４に入力された画像信号のストリームに対して、所定のプログラムコードに従って演算を順次実行することで行う例について説明する。

以下に説明する実施例では、プログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装してハードウェアによって実行することも可能である。

図２は本発明の画像処理を実行する画像処理部の構成例を説明するブロック図である。前述したように、この画像処理部は例えば図１に示すＤＳＰ１０４に構成される。なお、本図において、平行な水平２本線で示される図形（モザイク画像１１７、Ｙ画像１２４、Ｃ画像１２５）はデータあるいはデータを格納するメモリを表し、その他の構成（欠陥補正手段１１８〜ＹＣ変換手段１２３）は画像処理部内で実行する処理や処理手段を示している。

図２に示すように、画像処理部は、欠陥補正手段１１８、ホワイトバランス手段１１９、デモザイク手段１２０、マトリックス手段１２１、ガンマ補正手段１２２、ＹＣ変換手段１２３を有する。モザイク画像１１７は画像処理部への入力画像をあらわし、これはすなわち図１で図示したＡ／Ｄコンバータ１０３によってデジタイズされＤＳＰ１０４へ入力される画像信号である。

モザイク画像１１７は図１に示す撮像素子１０１の各画素にＲ、Ｇ、Ｂのどれかの色に対応する強度信号（画素値）を格納しており、その色配列は、例えば原色系ベイヤー配列である。
Ｙ画像１２４およびＣ画像１２５は画像処理部からの出力画像である。これは図１で示したＤＳＰ１０４から出力されＣＯＤＥＣ１０５へ入力されるＹＣｂＣｒ画像信号に相当する。

図２に示す画像処理部の各手段の実行する処理について説明する。
欠陥補正手段１１８は、図１に示すＡ／Ｄコンバータ１０３から入力するモザイク画像１１７に対して、欠陥画素位置の画素値を正しい値に補正する。
ホワイトバランス手段１１９は、欠陥補正されたモザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける。

デモザイク手段１２０はホワイトバランスの調整がなされたモザイク画像の各画素位置にＲ，Ｇ，Ｂすべての強度をそろえる補間処理をおこなう。デモザイク手段１２０からの出力は、各画素位置にＲ，Ｇ，Ｂの３つの色の画素値が個別に設定された３つの画像となる。

マトリックス手段１２１はあらかじめ係数が設定された３行３列のリニアマトリックスをデモザイク手段１２０の出力の各画素［Ｒ，Ｇ，Ｂ］に適用し、３原色の画素値（強度値［Ｒ＿ｍ，Ｇ＿ｍ，Ｂ＿ｍ］）に変換する。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であるが、本発明は欠陥補正処理に関するものであり、マトリックス処理は欠陥補正処理後に適用されるので、リニアマトリックス係数の具体値は本発明と関係なく設計してかまわない。

マトリックス手段１２１の出力は、色補正されたＲ＿ｍ，Ｇ＿ｍ，Ｂ＿ｍの３つの色に対応する３つの画像となる。マトリックス処理後、ガンマ補正手段１２２が色補正された３チャネル画像に対してガンマ補正をおこなう。
ＹＣ変換手段１２３はガンマ補正された３チャネル画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことでＹ画像１２４およびＣ画像１２５を生成する。

次に、図２に示す画像処理部において実行する処理のシーケンスについて、図３に示すフローチャートを参照して説明する。
画像処理部はまずステップＳ１０１において、撮像素子１０１の出力信号に基づくモザイク画像を取得する。図２に示すモザイク画像１１７である。
次にステップＳ１０２において、欠陥補正手段１１８がモザイク画像に対して欠陥補正処理をおこなう。

次に、ステップＳ１０３において、ホワイトバランス手段１１９が欠陥補正されたモザイク画像に対してホワイトバランス処理をおこなう。
次にステップＳ１０４において、デモザイク手段１２０がホワイトバランス処理が施されたモザイク画像の各画素位置にＲ，Ｇ，Ｂすべての強度（画素値）を設定するデモザイク処理を行う。

次にステップＳ１０５において、マトリックス手段１２１が３チャネル画像の各画素にリニアマトリックスを適用し、ＲＧＢ３チャネル画像を得る。
次にステップＳ１０６において、ガンマ補正手段１２２がマトリックス処理で色補正された３チャネル画像の各画素にガンマ補正をおこなう。
次にステップＳ１０７において、ＹＣ変換手段１２３が、ガンマ補正された３チャネル画像にＹＣ変換をおこないＹ画像１２４およびＣ画像１２５を生成する。
最後にステップＳ１０８において、生成されたＹ画像１２４およびＣ画像１２５を出力する。
以上で画像処理部の動作を終了する。

［３．欠陥補正手段の構成と処理の詳細について］
次に、本発明の本質部分である欠陥補正手段１１８において実行する画像補正処理の詳細について説明する。
図４に欠陥補正手段１１８の内部構成を説明するブロックダイアグラムを示す。
図４に示すように、欠陥補正手段１１８は大きく分けて近傍領域抽出手段２０１、テクスチャ方向判定手段２０２、欠陥画素検出手段２０３、欠陥画素補正手段２０４から構成される。

近傍領域抽出手段２０１は、欠陥補正手段１１８への入力であるモザイク画像１１７、すなわち、図１に示す撮像素子１０１の出力信号に基づくモザイク画像１１７から、注目画素位置周囲の決まった大きさの近傍領域２１１を切り出す。本実施例においては、近傍領域２１１は、注目画素位置を中心とした７ｘ７画素の矩形領域とする。

テクスチャ方向判定手段２０２は７ｘ７画素の矩形領域の中心位置に設定された注目画素位置について、複数の方向の中から、欠陥画素の検出処理を行う方向を決定する。本実施例では、テクスチャ方向判定手段２０２の判定する複数の方向は、
水平方向（Ｈ方向）、
垂直方向（Ｖ方向）、
右上がり斜め方向（Ａ方向）、
右下がり斜め方向（Ｄ方向）、
これらの４方向とする。

欠陥画素検出手段２０３は、テクスチャ方向判定手段２０２が決定した欠陥画素の検出処理を行う方向に従って、欠陥画素の検出を行う。
欠陥画素補正手段２０４は、欠陥画素検出手段２０３が検出した欠陥画素位置の画素値を、近傍領域２１１の画素を用いて補正する。

欠陥補正手段１１８では、このような一連の処理により、欠陥画素の補正を実行する。以下、欠陥補正手段１１８を構成する各処理手段の具体的な処理例について、順次説明する。

［４．欠陥補正手段内の近傍領域抽出手段の実行する処理の詳細について］
まず、欠陥補正手段１１８内の近傍領域抽出手段２０１の実行する処理の詳細について説明する。
近傍領域抽出手段２０１は、注目画素位置近傍の７ｘ７の矩形領域内の画素情報へのアクセスを確保する動作を行う。その具体的な方法としては様々な手法が適用可能である。例えば本発明をソフトウェアとして実現する場合は、注目画素位置を中心とした近傍７ｘ７の矩形領域内の画素値を例えば座標位置と対応づけた配列の形でメモリ上に確保する動作をすればよい。

また、ハードウェアで実現する場合は、通常撮像装置の信号処理系ではセンサからの信号は水平ライン順次の画素強度の１次元系列としてデータを流すように実装することが多く、その場合は通常、１水平ライン分の画素強度（画素値）を保持できるディレイラインを用いて上下に隣接する水平ラインの画素へのアクセスを確保する。
７ｘ７の矩形領域へのアクセスを確保するには、最低個６のディレイラインを用意すればよい。

［５．欠陥補正手段内のテクスチャ方向判定手段の実行する処理の詳細について］
次に、欠陥補正手段１１８内のテクスチャ方向判定手段２０２の実行する処理の詳細について説明する。
図５は、テクスチャ方向判定手段２０２の詳細構成と動作を説明する図である。
テクスチャ方向判定手段２０２は、注目画素の近傍領域（本例では７ｘ７画素領域）の画素値解析を行う以下の微分値算出手段を有している。
（１）水平方向の微分値を算出する水平方向微分値算出手段３１１、
（２）垂直方向の微分値を算出する垂直方向微分値算出手段３１２、
（３）右上がり斜め方向の微分値を算出する右上がり方向微分値算出手段３１３、
（４）右下がり斜め方向の微分値を算出する右下がり方向微分値算出手段３１４、
なお、本実施例では、近傍領域は、注目画素を中心とした７ｘ７画素の領域であり、この近傍領域に対して解析を実行する。

テクスチャ方向判定手段２０２は、さらに前記の４つの各方向に沿って算出された微分値から統計量を算出する統計量算出手段３２１ａ〜３２１ｄと、前記各方向の統計量を比較して、近傍領域２１１のテクスチャの方向を決定する統計量比較手段３３１を有している。

水平方向の微分値を算出する水平方向微分値算出手段３１１の処理について、図を参照して説明する。
図６は、水平方向微分値算出手段３１１の処理を説明する図である。図６には注目画素を中心とした７ｘ７画素の近傍領域を示している。
水平方向をｘ、垂直方向をｙ座標としている。７ｘ７画素の近傍領域の中心、すなわち、（ｘ，ｙ）＝（４，４）が注目画素位置に対応する。

テクスチャ方向判定に用いる画素はＷで示してある。画素位置（ｘ，ｙ）における、水平方向の微分値ｇｒａｄＨ（ｘ，ｙ）は、
ｇｒａｄＨ（ｘ，ｙ）＝ａｂｓ（ｗ（ｘ−１，ｙ）−ｗ（ｘ＋１，ｙ））
上記式に従って求める。
ここで、ａｂｓ（）は、絶対値を求める関数である。
ｗ（ｘ−１，ｙ）は、座標位置（ｘ−１，ｙ）におけるＷの画素値（強度）、
ｗ（ｘ＋１，ｙ）は、座標位置（ｘ＋１，ｙ）におけるＷの画素値（強度）、
である。

水平方向微分値算出手段３１１は、図６中に○で示した画素位置において微分値ｇｒａｄＨを求める。
例えば、（ｘ，ｙ）＝（２，１）の位置の○印の位置では、水平方向両隣のＷの画素値（強度）に基づいて、微分値ｇｒａｄＨを求める。
すなわち、（ｘ，ｙ）＝（１，１）と、（ｘ，ｙ）＝（３，１）の２つのＷ画素の画素値を用いて、微分値ｇｒａｄＨ（２，１）を算出する。
図６に示す○で示した１８個の画素位置において微分値ｇｒａｄＨが求められる。

次に垂直方向の微分値を算出する垂直方向微分値算出手段３１２の処理について説明する。
図７は、垂直方向微分値算出手段３１２の処理を説明する図である。図７には注目画素を中心とした７ｘ７画素の近傍領域を示している。
水平方向をｘ、垂直方向をｙ座標としている。７ｘ７画素の近傍領域の中心、すなわち、（ｘ，ｙ）＝（４，４）が注目画素位置に対応する。

テクスチャ方向判定に用いる画素をＷで図示してある。画素位置（ｘ，ｙ）における、垂直方向の微分値ｇｒａｄＶ（ｘ，ｙ）は、
ｇｒａｄＶ（ｘ，ｙ）＝ａｂｓ（ｗ（ｘ，ｙ−１）−ｗ（ｘ，ｙ＋１））
上記式に従って求める。
ここで、ａｂｓ（）は、絶対値を求める関数である。
ｗ（ｘ，ｙ−１）は、座標位置（ｘ，ｙ−１）におけるＷの画素値（強度）、
ｗ（ｘ，ｙ＋１）は、座標位置（ｘ，ｙ＋１）におけるＷの画素値（強度）、
である。

垂直方向微分値算出手段３１２は、図７中に○で図示した画素位置において微分値ｇｒａｄＶを求める。
例えば、（ｘ，ｙ）＝（１，２）の位置の○印の位置では、垂直方向両隣のＷの画素値（強度）に基づいて、微分値ｇｒａｄＶを求める。
すなわち、（ｘ，ｙ）＝（１，１）と、（ｘ，ｙ）＝（１，３）の２つのＷ画素の画素値を用いて、微分値ｇｒａｄＶ（１，２）を算出する。
図７に示す○で示した１８個の画素位置において微分値ｇｒａｄＶが求められる。

次に右上がり方向の微分値を算出する右上がり方向微分値算出手段３１３の処理について説明する。
図８は、右上がり方向微分値算出手段３１３の処理を説明する図である。図８には注目画素を中心とした７ｘ７画素の近傍領域を示している。
水平方向をｘ、垂直方向をｙ座標としている。７ｘ７画素の近傍領域の中心、すなわち、（ｘ，ｙ）＝（４，４）が注目画素位置に対応する。

テクスチャ方向判定に用いる画素をＷで図示してある。画素位置（ｘ，ｙ）における、右上がり方向の微分値ｇｒａｄＡ（ｘ，ｙ）は、
ｇｒａｄＡ（ｘ，ｙ）＝ａｂｓ（ｗ（ｘ，ｙ）−ｗ（ｘ＋１，ｙ−１））
上記式に従って求める。
ここで、ａｂｓ（）は、絶対値を求める関数である。
ｗ（ｘ，ｙ）は、座標位置（ｘ，ｙ）におけるＷの画素値（強度）、
ｗ（ｘ＋１，ｙ−１）は、座標位置（ｘ＋１，ｙ−１）におけるＷの画素値（強度）、
である。

右上がり方向微分値算出手段３１３は、図８中の点線内に存在するＷ画素位置において微分値ｇｒａｄＡを求める。
例えば、（ｘ，ｙ）＝（１，３）の位置のＷ印の位置では、自画素と、右上方向隣接のＷの画素値（強度）に基づいて、微分値ｇｒａｄＡを求める。
すなわち、（ｘ，ｙ）＝（１，３）と、（ｘ，ｙ）＝（２，２）の２つのＷ画素の画素値を用いて、微分値ｇｒａｄＡ（１，３）を算出する。
図８に示す点線内に存在する１８個のＷ画素位置において微分値ｇｒａｄＡが求められる。

次に右下がり方向の微分値を算出する右下がり方向微分値算出手段３１４の処理について説明する。
図９は、右下がり方向微分値算出手段３１４の処理を説明する図である。図９には注目画素を中心とした７ｘ７画素の近傍領域を示している。
水平方向をｘ、垂直方向をｙ座標としている。７ｘ７画素の近傍領域の中心、すなわち、（ｘ，ｙ）＝（４，４）が注目画素位置に対応する。

テクスチャ方向判定に用いる画素をＷで図示してある。画素位置（ｘ，ｙ）における、右下がり方向の微分値ｇｒａｄＤ（ｘ，ｙ）は、
ｇｒａｄＤ（ｘ，ｙ）＝ａｂｓ（ｗ（ｘ，ｙ）−ｗ（ｘ＋１，ｙ＋１））
上記式に従って求める。
ここで、ａｂｓ（）は、絶対値を求める関数である。
ｗ（ｘ，ｙ）は、座標位置（ｘ，ｙ）におけるＷの画素値（強度）、
ｗ（ｘ＋１，ｙ＋１）は、座標位置（ｘ＋１，ｙ＋１）におけるＷの画素値（強度）、
である。
右下がり方向微分値算出手段３１４は、図９中の点線内に存在するＷ画素位置において微分値ｇｒａｄＤを求める。
例えば、（ｘ，ｙ）＝（１，１）の位置のＷ印の位置では、自画素と、右下方向隣接のＷの画素値（強度）に基づいて、微分値ｇｒａｄＤを求める。
すなわち、（ｘ，ｙ）＝（１，１）と、（ｘ，ｙ）＝（２，２）の２つのＷ画素の画素値を用いて、微分値ｇｒａｄＤ（１，１）を算出する。
図９に示す点線内に存在する１８個のＷ画素位置において微分値ｇｒａｄＤが求められる。

次に、統計量算出手段３２１ａ〜ｄの処理について説明する。
統計量算出手段３２１ａ〜ｄは、前述の
（１）水平方向微分値算出手段３１１、
（２）垂直方向微分値算出手段３１２、
（３）右上がり方向微分値算出手段３１３、
（４）右下がり方向微分値算出手段３１４、
これらの各微分値算出手段において算出された、微分値ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤそれぞれについて、微分値の大きさに基づいてソート（並び替え）を行い、小さい方から順にｎ番目までの微分値を用いて平均値ｍＨｇｒａｄ、ｍＶｇｒａｄ、ｍＡｇｒａｄ、ｍＤｇｒａｄを算出する。

先に、図６〜図９を参照して説明したように、１つの注目画素を中心とした７ｘ７の近傍領域の画素解析によって、以下の微分値を算出している。
（１）水平方向微分値算出手段３１１は１８個の水平方向微分値ｇｒａｄＨ、
（２）垂直方向微分値算出手段３１２は１８個の垂直方向微分値ｇｒａｄＶ、
（３）右上がり方向微分値算出手段３１３は１８個の右上がり方向微分値ｇｒａｄＡ、
（４）右下がり方向微分値算出手段３１４は１８個の右下がり方向微分値ｇｒａｄＤ、

統計量算出手段３２１ａ〜ｄは、これら複数の微分値に基づく統計量として、微分値の大きさに基づいてソート（並び替え）を行い、小さい方から順にｎ番目までの微分値を用いて、それぞれの平均値ｍＨｇｒａｄ、ｍＶｇｒａｄ、ｍＡｇｒａｄ、ｍＤｇｒａｄを算出する。

ここで、ｎはソートされた微分値の長さＮ以下の値である。上記の例ではＮ＝１８である。
ｎの値は近傍領域２１１に存在することが想定される連続欠陥の大きさによって決定される。例えば、近傍画素内に存在する連続欠陥画素が２ｘ２画素であった場合、欠陥の影響を受けて正しく求められない微分値は、最大で４画素であるので、
ｎ＝Ｎ−４を用いれば良い。

次に、統計量比較手段３３１の処理について説明する。
統計量比較手段３３１は、前記の各方向、すなわち水平、垂直、右上がり、右下がり各方向について、統計量算出手段３２１ａ〜ｄで算出された統計量ｍＨｇｒａｄ、
ｍＶｇｒａｄ、ｍＡｇｒａｄ、ｍＤｇｒａｄの比較を行い、最も統計量が小さい方向をテクスチャ方向であると判定する。
例えば、ｍＨｇｒａｄが最も小さい値だった場合、近傍領域２１１のテクスチャ方向は、水平方向であると判定する。
欠陥補正手段１１８内のテクスチャ方向判定手段２０２は、このようにしてテクスチャ方向を判定し、判定情報としてのテクスチャ方向情報（ｄｉｒ）を欠陥画素検出手段２０３に出力する。
なお、テクスチャ方向情報（ｄｉｒ）とは、輝度変化や画素値変化のもっとも小さい方向に対応する。

［６．欠陥補正手段内の欠陥画素検出手段の実行する処理の詳細について］
次に、欠陥補正手段１１８内の欠陥画素検出手段２０３の実行する処理の詳細について図１０を参照して説明する。

図１０は欠陥画素検出手段２０３の実行する処理および構成を説明する図である。
欠陥画素検出手段２０３は、近傍領域２１１（本例では注目画素を中心とした７ｘ７画素の領域）を構成する画素について、画素出力読み出し回路を共有（ＦＤ共有）している複数画素からなる共有画素集合単位で処理を実行する。なお、共有画素集合は読み出し回路を共有する画素の集合である。

共有画素統計量算出手段４１１は、画素出力読み出し回路を共有（ＦＤ共有）している複数画素からなる共有画素集合単位の統計量を算出する。

さらに、共有画素統計量算出手段４１１で算出された統計量を用いて近傍領域２１１における各方向の欠陥画素と推定される画素を検出する以下の手段を有する。すなわち、
（１）水平方向に欠陥検出を行う水平方向欠陥検出手段４２１、
（２）垂直方向に欠陥検出を行う垂直方向欠陥検出手段４２２、
（３）右上がり方向に欠陥検出を行う右あがり方向欠陥検出手段４２３、
（４）右下がり方向に欠陥検出を行う右下がり方向欠陥検出手段４２４、
これらの４方向対応の欠陥検出手段を有する。

さらに、前述のテクスチャ方向判定手段２０２で判定されたテクスチャ方向情報（ｄｉｒ）を入力し、テクスチャ方向情報（ｄｉｒ）に従って、前段の欠陥検出手段４２１〜４２４で欠陥画素として推定された画素から、補正対象とすべき補正対象欠陥画素位置を選択する欠陥画素位置選択手段４３１を有する。

例えば、固体撮像装置の共有画素構成としては、図１１に示される８画素単位の共有画素構成がある。
図１１は、実線で結ばれた８画素を共有画素とする構成例を示している。
すなわち、図１１に示す例は、１つの画素出力読み出し回路を８画素単位で利用した共有画素集合（ＦＤ共有）構成を示している。

図１１に示した共有画素パターンの場合、
注目画素を含む共有画素（８画素）の画素集合をＦＤ０１とする。
注目画素を含む共有画素ＦＤ０１の左、左下、下、右下、右方向の隣合う共有画素を順にＦＤ００、ＦＤ１０、ＦＤ１１、ＦＤ１２、ＦＤ２２で表す。
すなわち、注目画素を中心とした７ｘ７画素領域に、
上段左側から、ＦＤ００，ＦＤ０１，ＦＤ０２、
下段左側から、ＦＤ１０，ＦＤ１１，ＦＤ１２，
これらの８画素単位の共有画素（８画素）の画素集合が設定される。

共有画素集合単位で画素出力読み出し回路が共有されると、その集合中の１つの画素が欠陥である場合、あるいは読み出し回路の不具合等により、出力値が正常値と離れた値に設定される場合がある。例えば図１１に示す画素集合ＦＤ００の構成画素の全てが欠陥画素となる可能性もある。

以下、１つの処理例として、ＦＤ０１とＦＤ１１のいずれかが欠陥である場合の処理例について説明する。
まず、共有画素統計量算出手段４１１は、近傍領域２１１内の共有画素集合単位でＷ画素の画素値平均値を算出する。なお、近傍領域２１１は、本例では注目画素を中心画素とする７ｘ７画素領域である。

例えば、図１１に示す７ｘ７画素からなる画素領域中の、中心の点線で囲まれた画素を含む共有画素集合（ＦＤ０１）に含まれるＷ画素の平均値を（ｍＷ０１）とする。なお、共有画素集合は前述したように読み出し回路を共有する画素の集合である。

同様に、
画素共有集合（ＦＤ００）に含まれるＷ画素の平均値を（ｍＷ００）とする。
画素共有集合（ＦＤ０１）に含まれるＷ画素の平均値を（ｍＷ０１）とする。
画素共有集合（ＦＤ０２）に含まれるＷ画素の平均値を（ｍＷ０２）とする。
画素共有集合（ＦＤ１０）に含まれるＷ画素の平均値を（ｍＷ１０）とする。
画素共有集合（ＦＤ１１）に含まれるＷ画素の平均値を（ｍＷ１１）とする。
画素共有集合（ＦＤ１２）に含まれるＷ画素の平均値を（ｍＷ１２）とする。

なお、上記の共有画素集合単位の平均値（ｍＷ００〜ｍＷ１２）の６個の平均値からなる平均値群を平均値群１とする。
すなわち、平均値群１は、注目画素（図１１に示す７ｘ７画素領域中の中心の点線で囲まれた画素）を含む画素共有集合（ＦＤ０１）と、その左（ＦＤ００）、左下（ＦＤ１０）、下（ＦＤ１１）、右下（ＦＤ１２）、右方向（ＦＤ０２）の隣合う共有画素集合単位の計２ｘ３個の平均値群１である。

この平均値群１は、図１１に示す６個の共有画素集合ＦＤ００〜ＦＤ１２に対応して算出される。この他、注目画素を含む共有画素集合（ＦＤ０１）と、その左（ＦＤ００）、左上（図示なし（ＦＤ００の上））、上（図示なし（ＦＤ０１の上））、右上（図示なし（ＦＤ０２の上））、右方向（ＦＤ０２）の隣合う共有画素集合の計２ｘ３個の平均値群２を利用する構成としてもよい。

平均値群１か、平均値群２のどちらを用いるかは、注目画素の位相と、共有画素のパターンによって決定する。つまり、ＦＤ００を共有しているＷ画素の平均値をｍＷ００で表し、その他のＦＤについても同様に表す。

水平方向欠陥検出手段４２１の処理について説明する。水平方向欠陥検出手段４２１は、まず、前段の共有画素統計量算出手段４１１が算出した共有画素集合単位の２ｘ３個の平均値（ｍＷ００〜ｍＷ１２）に基づいて、以下の共有画素集合単位の水平方向差分値（グラディエント：ｇＨ００〜ｇＨ１１））を算出する。すなわち、
ｇＨ００＝ａｂｓ（ｍＷ００−ｍＷ０１）、
ｇＨ０１＝ａｂｓ（ｍＷ０１−ｍＷ０２）、
ｇＨ１０＝ａｂｓ（ｍＷ１０−ｍＷ１１）、
ｇＨ１１＝ａｂｓ（ｍＷ１１−ｍＷ１２）、
を算出する。
なお、これらの差分値（グラディエント）は一次微分値に相当する。

さらに、水平方向欠陥検出手段４２１は、共有画素集合単位の水平方向差分値（グラディエント：ｇＨ００〜ｇＨ１１））に基づいて、以下の差分平均値を算出する。
上段の水平方向差分値（グラディエント：ｇＨ００，ｇＨ０１）の平均値
ｇＨ０＝（ｇＨ００＋ｇＨ０１）／２、
下段の水平方向差分値（グラディエント：ｇＨ１０，ｇＨ１１）の平均値
ｇＨ１＝（ｇＨ１０＋ｇＨ１１）／２、

さらに、水平方向欠陥検出手段４２１は、
上段の水平方向差分値（グラディエント）の平均値である差分平均値（ｇＨ０＝（ｇＨ００＋ｇＨ０１）／２）と、
下段の水平方向差分値（グラディエント）の平均値である差分平均値（ｇＨ１＝（ｇＨ１０＋ｇＨ１１）／２）と、
これらを比較して、比較結果に応じて、以下のように水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）を算出する。

（ａ）ｇＨ０＜ｇＨ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ００＋ｍＷ０１＋ｍＷ０２）／３、
（ｂ）ｇＨ０＞ｇＨ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ１０＋ｍＷ１１＋ｍＷ１２）／３、
上記（ａ），（ｂ）のいずれかによって、水平方向欠陥検出用平均値ｓａｆｅ＿ｍＷを求める。
この処理は、上段と下段から、より画素値変化の少ない平坦な領域を選択してその平均値を水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）として算出する処理である。

次に、水平方向欠陥検出手段４２１は、
欠陥判定対象の共有画素集合（ＦＤ０１）を含む上段の水平方向差分値（グラディエント）の差分平均値（ｇＨ０）の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ０１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ００−ｓａｆｅ＿ｍＷ）
上記式を満たす場合は、
ＦＤ０１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ０１）を含む上段の水平方向差分値（グラディエント）の差分平均値（ｇＨ０）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ０１）の画素値平均（ｍＷ０１）と水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ０１）の水平方向に隣接する左隣の共有画素集合（ＦＤ００）の画素値平均（ｍＷ００）と水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ０１）が欠陥であると判定する処理である。

さらに、欠陥判定対象の共有画素集合（ＦＤ１１）を含む下段の水平方向差分値（グラディエント）の差分平均値（ｇＨ１）の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ１１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ１０−ｓａｆｅ＿ｍＷ）
である場合は、
ＦＤ１１が欠陥であると判定する。

上記判定処理は、下段の水平方向差分値（グラディエント）の差分平均値（ｇＨ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ１１）の画素値平均（ｍＷ１１）と水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ１１）の左隣の共有画素集合（ＦＤ１０）の画素値平均（ｍＷ１０）と水平方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ１１）が欠陥であると判定する処理である。

次に、垂直方向欠陥検出手段４２２の処理について説明する。
垂直方向欠陥検出手段４２２は、前段の共有画素統計量算出手段４１１が算出した共有画素集合単位の２ｘ３個の平均値（ｍＷ００〜ｍＷ１２）に基づいて、以下の共有画素集合単位の垂直方向差分値（グラディエント：ｇＶ０〜ｇＶ１））を算出する。すなわち、
左列（ＦＤ００，ＦＤ１０）の共有画素集合単位の垂直方向差分値（グラディエント）：ｇＶ０
ｇＶ０＝ａｂｓ（ｍＷ００−ｍＷ１０）、
右列（ＦＤ０１，ＦＤ１１）の共有画素集合単位の垂直方向差分値（グラディエント）：ｇＶ１
ｇＶ１＝ａｂｓ（ｍＷ０１−ｍＷ１１）、
これらを算出する。

さらに、垂直方向欠陥検出手段４２２は、これら２つの共有画素集合単位の垂直方向差分値（グラディエント：ｇＶ０，ｇＶ１）を比較して、比較結果に基づいて、以下の垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）を算出する。

（ａ）ｇＶ０＜ｇＶ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ００＋ｍＷ１０）／２、
（ｂ）ｇＶ０＞ｇＶ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ０１＋ｍＷ１１）／２、
上記（ａ），（ｂ）のいずれかによって、垂直方向欠陥検出用平均値ｓａｆｅ＿ｍＷを求める。
この処理は、２つの隣接する垂直列にある共有画素集合の列、すなわち左列（ＦＤ００，ＦＤ１０）と右列（ＦＤ０１，ＦＤ１１）から、より画素値変化の少ない平坦な領域を選択してその平均値を垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）として算出する処理である。

次に、垂直方向欠陥検出手段４２２は、
欠陥判定対象の共有画素集合（ＦＤ０１）を含む垂直向差分値（グラディエント）ｇＶ１の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ０１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ１１−ｓａｆｅ＿ｍＷ）
上記式を満たす場合は、
ＦＤ０１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ０１）を含む垂直方向の列の垂直方向差分値（グラディエント）（ｇＶ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ０１）の画素値平均（ｍＷ０１）と垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ０１）の垂直方向に隣接する下隣の共有画素集合（ＦＤ１１）の画素値平均（ｍＷ１１）と垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ０１）が欠陥であると判定する処理である。

次に、垂直方向欠陥検出手段４２２は、
欠陥判定対象の共有画素集合（ＦＤ１１）を含む垂直向差分値（グラディエント）ｇＶ１の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ１１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ０１−ｓａｆｅ＿ｍＷ）
である場合は、
ＦＤ１１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ１１）を含む垂直方向の列の垂直方向差分値（グラディエント）（ｇＶ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ１１）の画素値平均（ｍＷ１１）と垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ１１）の垂直方向に隣接する上隣の共有画素集合（ＦＤ０１）の画素値平均（ｍＷ０１）と垂直方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ１１）が欠陥であると判定する処理である。

次に、右上がり方向欠陥検出手段４２３の処理について説明する。
右上がり方向欠陥検出手段４２３は、前段の共有画素統計量算出手段４１１が算出した共有画素集合単位の２ｘ３個の平均値（ｍＷ００〜ｍＷ１２）に基づいて、以下の共有画素集合単位の右上がり方向差分値（グラディエント：ｇＡ０〜ｇＡ１））を算出する。すなわち、
右上がり方向に隣接する（ＦＤ１０，ＦＤ０１）の共有画素集合単位の右上がり方向差分値（グラディエント）：ｇＡ０
ｇＡ０＝ａｂｓ（ｍＷ１０−ｍＷ０１）、
右上がり方向に隣接する（ＦＤ１１，ＦＤ０２）の共有画素集合単位の右上がり方向差分値（グラディエント）：ｇＡ１
ｇＡ１＝ａｂｓ（ｍＷ１１−ｍＷ０２）、
これらを算出する。

さらに、右上がり方向欠陥検出手段４２３は、これら２つの共有画素集合単位の右上がり方向差分値（グラディエント：ｇＡ０，ｇＡ１）を比較して、比較結果に基づいて、以下の右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）を算出する。
（ａ）ｇＡ０＜ｇＡ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ１０＋ｍＷ０１）／２、
（ｂ）ｇＡ０＞ｇＡ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ１１＋ｍＷ０２）／２、
上記（ａ），（ｂ）のいずれかによって、右上がり方向欠陥検出用平均値ｓａｆｅ＿ｍＷを求める。

この処理は、２つの隣接する右上がり方向ライン上の共有画素集合の隣接データ、すなわち（ＦＤ１０，ＦＤ０１）と（ＦＤ１１，ＦＤ０２）から、より画素値変化の少ない平坦な領域を選択してその平均値を右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）として算出する処理である。

次に、右上がり方向欠陥検出手段４２３は、
欠陥判定対象の共有画素集合（ＦＤ０１）を含む右上がり直向差分値（グラディエント）ｇＡ０の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ０１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ１０−ｓａｆｅ＿ｍＷ）
上記式を満たす場合は、
ＦＤ０１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ０１）を含む右上がり方向のライン上の右上がり方向差分値（グラディエント）（ｇＡ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ０１）の画素値平均（ｍＷ０１）と右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ０１）の右上がり上方向ライン上で隣接する左下隣の共有画素集合（ＦＤ１０）の画素値平均（ｍＷ１０）と右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ０１）が欠陥であると判定する処理である。

次に、右上がり方向欠陥検出手段４２３は、
欠陥判定対象の共有画素集合（ＦＤ１１）を含む右上がり方向差分値（グラディエント）ｇＡ１の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ１１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ０２−ｓａｆｅ＿ｍＷ）
である場合は、
ＦＤ１１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ１１）を含む右上がり方向のライン上の右上がり方向差分値（グラディエント）（ｇＡ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ１１）の画素値平均（ｍＷ１１）と右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ１１）の右上がり上方向ライン上で隣接する右上隣の共有画素集合（ＦＤ０２）の画素値平均（ｍＷ０２）と右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ１１）が欠陥であると判定する処理である。

次に、右下がり方向欠陥検出手段４２４の処理について説明する。
右下がり方向欠陥検出手段４２４は、前段の共有画素統計量算出手段４１１が算出した共有画素集合単位の２ｘ３個の平均値（ｍＷ００〜ｍＷ１２）に基づいて、以下の共有画素集合単位の右下がり方向差分値（グラディエント：ｇＤ０〜ｇＤ１））を算出する。すなわち、
右下がりがり方向に隣接する（ＦＤ００，ＦＤ１１）の共有画素集合単位の右下がり方向差分値（グラディエント）：ｇＤ０
ｇＤ０＝ａｂｓ（ｍＷ００−ｍＷ１１）、
右下がり方向に隣接する（ＦＤ０１，ＦＤ１２）の共有画素集合単位の右下がり方向差分値（グラディエント）：ｇＤ１
ｇＤ１＝ａｂｓ（ｍＷ０１−ｍＷ１２）、
これらを算出する。

さらに、右下がり方向欠陥検出手段４２４は、これら２つの共有画素集合単位の右下がり方向差分値（グラディエント：ｇＤ０，ｇＤ１）を比較して、比較結果に基づいて、以下の右下がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）を算出する。
（ａ）ｇＤ０＜ｇＤ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ００＋ｍＷ１１）／２、
（ｂ）ｇＤ０＞ｇＤ１ならば、
ｓａｆｅ＿ｍＷ＝（ｍＷ０１＋ｍＷ１２）／２、
上記（ａ），（ｂ）のいずれかによって、右下がり方向欠陥検出用平均値平均値ｓａｆｅ＿ｍＷを求める。

この処理は、２つの隣接する右下がり方向ライン上の共有画素集合の隣接データ、すなわち（ＦＤ００，ＦＤ１１）と（ＦＤ０１，ＦＤ１２）から、より画素値変化の少ない平坦な領域を選択してその平均値を右下がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）として算出する処理である。

次に、右下がり方向欠陥検出手段４２４は、
欠陥判定対象の共有画素集合（ＦＤ０１）を含む右下がり直向差分値（グラディエント）ｇＤ１の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ０１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ１２−ｓａｆｅ＿ｍＷ）
である場合は、
ＦＤ０１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ０１）を含む右下がり方向のライン上の右下がり方向差分値（グラディエント）（ｇＤ１）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ０１）の画素値平均（ｍＷ０１）と右下がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ０１）の右下がり上方向ライン上で隣接する右下隣の共有画素集合（ＦＤ１２）の画素値平均（ｍＷ１２）と右上がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ０１）が欠陥であると判定する処理である。

次に、右下がり方向欠陥検出手段４２４は、
欠陥判定対象の共有画素集合（ＦＤ１１）を含む右下がり方向差分値（グラディエント）ｇＤ０の値が、予め規定した閾値（ｔｈｒｅｓｈｏｌｄ）以上であり、かつ、下記条件式、
ａｂｓ（ｍＷ１１−ｓａｆｅ＿ｍＷ）＞ａｂｓ（ｍＷ００−ｓａｆｅ＿ｍＷ）
である場合は、
ＦＤ１１が欠陥であると判定する。

上記判定処理は、欠陥判定対象の共有画素集合（ＦＤ１１）を含む右下がり方向のライン上の右下がり方向差分値（グラディエント）（ｇＤ０）が所定の閾値以上であり、かつ、
欠陥判定対象の共有画素集合（ＦＤ１１）の画素値平均（ｍＷ１１）と右下がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分が、共有画素集合（ＦＤ１１）の右下がり上方向ライン上で隣接する左上隣の共有画素集合（ＦＤ００）の画素値平均（ｍＷ００）と右下がり方向欠陥検出用平均値（ｓａｆｅ＿ｍＷ）との差分より大きいときに、欠陥判定対象の共有画素集合（ＦＤ１１）が欠陥であると判定する処理である。

次に、欠陥画素位置選択手段４３１の処理について説明する。
欠陥画素位置選択手段４３１は、前述した各方向の欠陥検出手段４２１〜４２４が検出した画素位置の中から、先に説明したテクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）の検出結果を選択する。

すなわち、
テクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）が、水平方向（Ｈ）である場合、水平方向欠陥検出手段４２１の検出結果を選択する。すなわち、水平方向欠陥検出手段４２１が共有画素集合Ｆｘｙ（例えばＦ０１）を欠陥画素として判定している場合は、この共有画素集合Ｆｘｙを補正対象の欠陥画素として選択する。

また、テクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）が、垂直方向（Ｖ）である場合、垂直方向欠陥検出手段４２２の検出結果を選択する。すなわち、垂直方向欠陥検出手段４２２が共有画素集合Ｆｘｙ（例えばＦ０１）を欠陥画素として判定している場合は、この共有画素集合Ｆｘｙを補正対象の欠陥画素として選択する。

また、テクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）が、右上がり方向（Ａ）である場合、右上がり方向欠陥検出手段４２３の検出結果を選択する。すなわち、右上がり方向欠陥検出手段４２３が共有画素集合Ｆｘｙ（例えばＦ０１）を欠陥画素として判定している場合は、この共有画素集合Ｆｘｙを補正対象の欠陥画素として選択する。

また、テクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）が、右下がり方向（Ｄ）である場合、右下がり方向欠陥検出手段４２４の検出結果を選択する。すなわち、右下がり方向欠陥検出手段４２４が共有画素集合Ｆｘｙ（例えばＦ０１）を欠陥画素として判定している場合は、この共有画素集合Ｆｘｙを補正対象の欠陥画素として選択する。

この欠陥画素位置選択手段４３１の実行する補正対象欠陥画素の選択処理は、各欠陥検出手段４２１〜４２４が欠陥であると推定した欠陥画素から、さらに、テクスチャ方向判定手段２０２が判定したテクスチャ方向（ｄｉｒ）に対応する方向の位置にあるもののみを実際の欠陥である可能性が高いと判定して、これを補正対象として選択する処理である。

この選択処理について説明する。
各欠陥検出手段４２１〜４２４では、各方向に応じて変化の大きい共有画素集合を欠陥画素である可能性があるものとして、これらを欠陥画素として決定している。
しかし、これらの各欠陥検出手段４２１〜４２４が判定した欠陥画素は、補正の必要な欠陥画素でなく真の画素値を出力している場合もある。

欠陥画素位置選択手段４３１は、これらの各欠陥検出手段４２１〜４２４が欠陥画素であると判定した画素から補正すべき欠陥画素を選択する。この選択処理のためにテクスチャ方向情報（ｄｉｒ）を適用する。
テクスチャ方向は、本来、画素値の変化が少ない方向である。
各欠陥検出手段４２１〜４２４では、各方向に応じて変化の大きい共有画素集合を欠陥画素である可能性が高いとして、これらを欠陥画素として決定している。
欠陥画素位置選択手段４３１は、これらの出力からテクスチャ方向に対応するもののみを補正の必要な本当の欠陥画素として選択する。その他は、実際の画素値を出力している可能性が高いと判定して補正対象から除外する。

なお、図１０を参照して説明した欠陥画素検出手段２０３の構成では、
水平方向欠陥検出手段４２１、
垂直方向欠陥検出手段４２２、
右上がり方向欠陥検出手段４２３、
右下がり方向欠陥検出手段４２４、
これらの各検出手段において欠陥画素と推定される画素集合を決定した後、欠陥画素位置選択手段４３１においてテクスチャ方向情報を用いて、各欠陥検出手段４２１〜４２４の出力から１つの出力のみを補正対象として選択する設定としている。

このような設定とせず、例えば、テクスチャ方向情報に従って、各欠陥検出手段４２１〜４２４から、テクスチャ方向と同じ方向の欠陥検出を実行する欠陥検出手段の実を選択的に動作させる設定としてもよい。

例えば図１２に示すように、欠陥画素位置選択手段４３１においてテクスチャ方向情報を用いてスイッチ４３２を制御して各欠陥検出手段４２１〜４２４のどの検出手段を動作させるかを決定して、いずれか１つの検出手段のみを動作させる設定としてもよい。

また、本実施例では、欠陥検出に一次微分値（グラディエント）を用いた例を説明するが、一次微分値（グラディエント）の他、例えば二次微分値（ラプラシアン）を用いた構成としてもよい。

［７．欠陥画素補正手段の処理について］
次に、図４に示す欠陥画素補正手段２０４の処理について説明する。
欠陥画素補正手段２０４は、前述した欠陥画素検出手段２０３が検出した欠陥画素に対する補正を行う。
補正手段は、検出された欠陥画素について、テクスチャ方向判定手段２０２で判定されたテクスチャ方向に基づき、近傍画素を用いて補正画素値を決定する。

補正画素値の決定方法としては、様々な手法、例えば近傍画素の画素値を参照した補正処理が適用可能である。例えばテクスチャ方向に沿って、欠陥画素位置と最も近い位置の画素値と置き換える手法などの補正処理が実行される。また、テクスチャ方向に沿って、共有画素統計量算出手段４１１が算出した２ｘ３個の平均値から選択する処理を適用してもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、撮像画像に発生する欠陥画素の検出と補正を実行する構成が実現される。具体的には、画像のテクスチャ方向を判定し、複数画素の画素集合単位で画素値平均を算出し、画素集合の配列方向に応じた画素値平均の差分情報に基づいて欠陥画素位置を検出する。テクスチャ方向に等しい画素集合配列方向において検出された欠陥画素を補正対象として補正する。テクスチャ方向に沿った位置で、例えば読み出し回路共有画素集合単位での欠陥画素検出を実行することで効率的な欠陥画素位置の検出が可能となる。

１０１ 撮像素子
１０２ 相関２重サンプリング回路（ＣＤＳ）
１０３ Ａ／Ｄコンバータ
１０４ ＤＳＰ
１０５ ＣＯＤＥＣ
１０６ メモリ
１１２ ＬＣＤドライバ
１１３ ＬＣＤ
１１４ タイミングジェネレータ（ＴＧ）
１１５ ＣＰＵ
１１６ 入力部
１１７ モザイク画像
１１８ 欠陥補正手段
１１９ ホワイトバランス手段
１２０ デモザイク手段
１２１ マトリックス手段
１２２ ガンマ補正手段
１２３ ＹＣ変換手段
１２４ Ｙ画像
１２５ Ｃ画像
２０１ 近傍領域抽出手段
２０２ テクスチャ方向判定手段
２０３ 欠陥画素検出手段
２０４ 欠陥画素補正手段
２１１ 近傍領域
３１１ 水平方向微分値算出手段
３１２ 垂直方向微分値算出手段
３１３ 右上がり方向微分値算出手段
３１４ 右下がり方向微分値算出手段
３２１ａ〜ｄ 統計量算出手段
３３１ 統計量比較手段
４１１ 共有画素統計量算出手段
４２１ 水平方向欠陥検出手段
４２２ 垂直方向欠陥検出手段
４２３ 右上がり方向欠陥検出手段
４２４ 右下がり方向欠陥検出手段
４３１ 欠陥画素位置検出手段
４３２ スイッチ

Claims (8)

1. 画像のテクスチャ方向を判定するテクスチャ方向判定部と、
   複数の隣接画素から構成される画素集合に含まれる画素の画素値平均である画素集合平均画素値を算出し、
   複数の画素集合を含む画素集合ブロックにおいて、同一の特定方向で隣接する隣接画素集合間の平均画素値の差分値（グラディエント）を算出し、
   前記画素集合ブロックにおいて、前記特定方向の同一ライン上の隣接画素集合に基づいて算出した複数の差分値（グラディエント）の平均値をライン対応差分平均値（ｇ）として算出し、
   前記画素集合ブロックにおいて、前記特定方向と同一方向の異なるライン単位で算出した複数のライン対応差分平均値（ｇ）中の最小値を欠陥検出用平均値（ｓａｆｅ＿ｍ）として設定し、
   （１）欠陥判定対象となる画素集合ａを含む前記特定方向のライン対応差分平均値（ｇ）が予め規定した閾値以上であること、
   （２）前記画素集合ａの画素集合平均画素値（ｍａ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）、および、
   前記画素集合ａと前記特定方向で隣接する隣接画素集合ｂの画素集合平均画素値（ｍｂ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）、
   これら２つの差分絶対値の間に、
   ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）＞ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）
   上記式が成立すること、
   （３）前記特定方向が、前記テクスチャ方向判定部の判定したテクスチャ方向に一致すること、
   上記（１）〜（３）の条件を全て満たす場合に、前記画素集合ａが欠陥画素を含むと判定する欠陥画素検出部と、
   前記画素集合ａに含まれる画素を補正対象として補正する補正部を有する画像処理装置。
2. 前記欠陥画素検出部は、
   画素値の読み出し回路を共有する複数画素の画素集合単位で画素集合平均画素値の算出および欠陥画素検出を実行する請求項１に記載の画像処理装置。
3. 前記テクスチャ方向判定部は、
   水平、垂直、右上がり、右下がりの４方向のいずれがテクスチャ方向であるかを判定する処理を実行し、
   前記欠陥画素検出部は、
   前記特定方向を水平、垂直、右上がり、右下がりの４方向に設定して、４方向各々について欠陥画素検出処理を実行する請求項１に記載の画像処理装置。
4. 前記テクスチャ方向判定部は、
   注目画素を中心とする近傍領域に含まれる所定方向の画素値に基づく微分値を複数算出し、該複数の微分値をソートし、値の小さいデータのみを複数選択して統計量を算出し、該統計量の比較に基づいてテクスチャ方向を判定する請求項１に記載の画像処理装置。
5. 前記補正部は、
   前記欠陥画素位置の画素値をテクスチャ方向にある近傍画素を参照画素として、該参照画素の画素値に基づいて決定する処理を実行する請求項１に記載の画像処理装置。
6. 前記欠陥画素検出部は、
   前記テクスチャ方向判定部において判定したテクスチャ方向に等しい画素集合配列方向のみを処理対象として、欠陥画素検出処理を実行する請求項１に記載の画像処理装置。
7. 画像処理装置において実行する画像処理方法であり、
   テクスチャ方向判定部が、画像のテクスチャ方向を判定するテクスチャ方向判定ステップと、
   欠陥画素検出部が、
   複数の隣接画素から構成される画素集合に含まれる画素の画素値平均である画素集合平均画素値を算出し、
   複数の画素集合を含む画素集合ブロックにおいて、同一の特定方向で隣接する隣接画素集合間の平均画素値の差分値（グラディエント）を算出し、
   前記画素集合ブロックにおいて、前記特定方向の同一ライン上の隣接画素集合に基づいて算出した複数の差分値（グラディエント）の平均値をライン対応差分平均値（ｇ）として算出し、
   前記画素集合ブロックにおいて、前記特定方向と同一方向の異なるライン単位で算出した複数のライン対応差分平均値（ｇ）中の最小値を欠陥検出用平均値（ｓａｆｅ＿ｍ）として設定し、
   （１）欠陥判定対象となる画素集合ａを含む前記特定方向のライン対応差分平均値（ｇ）が予め規定した閾値以上であること、
   （２）前記画素集合ａの画素集合平均画素値（ｍａ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）、および、
   前記画素集合ａと前記特定方向で隣接する隣接画素集合ｂの画素集合平均画素値（ｍｂ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）、
   これら２つの差分絶対値の間に、
   ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）＞ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）
   上記式が成立すること、
   （３）前記特定方向が、前記テクスチャ方向判定部の判定したテクスチャ方向に一致すること、
   上記（１）〜（３）の条件を全て満たす場合に、前記画素集合ａが欠陥画素を含むと判定する欠陥画素検出ステップと、
   補正部が、前記画素集合ａに含まれる画素を補正対象として補正する補正ステップを実行する画像処理方法。
8. 画像処理装置において画像処理を実行させるプログラムであり、
   テクスチャ方向判定部に、画像のテクスチャ方向を判定させるテクスチャ方向判定ステップと、
   欠陥画素検出部に、
   複数の隣接画素から構成される画素集合に含まれる画素の画素値平均である画素集合平均画素値を算出する処理、
   複数の画素集合を含む画素集合ブロックにおいて、同一の特定方向で隣接する隣接画素集合間の平均画素値の差分値（グラディエント）を算出する処理、
   前記画素集合ブロックにおいて、前記特定方向の同一ライン上の隣接画素集合に基づいて算出した複数の差分値（グラディエント）の平均値をライン対応差分平均値（ｇ）として算出する処理、
   前記画素集合ブロックにおいて、前記特定方向と同一方向の異なるライン単位で算出した複数のライン対応差分平均値（ｇ）中の最小値を欠陥検出用平均値（ｓａｆｅ＿ｍ）として設定する処理、
   （１）欠陥判定対象となる画素集合ａを含む前記特定方向のライン対応差分平均値（ｇ）が予め規定した閾値以上であること、
   （２）前記画素集合ａの画素集合平均画素値（ｍａ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）、および、
   前記画素集合ａと前記特定方向で隣接する隣接画素集合ｂの画素集合平均画素値（ｍｂ）と前記欠陥検出用平均値（ｓａｆｅ＿ｍ）との差分絶対値：ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）、
   これら２つの差分絶対値の間に、
   ａｂｓ（ｍａ−ｓａｆｅ＿ｍ）＞ａｂｓ（ｍｂ−ｓａｆｅ＿ｍ）
   上記式が成立すること、
   （３）前記特定方向が、前記テクスチャ方向判定部の判定したテクスチャ方向に一致すること、
   上記（１）〜（３）の条件を全て満たす場合に、前記画素集合ａが欠陥画素を含むと判定する処理を実行させる欠陥画素検出ステップと、
   補正部に、
   前記画素集合ａに含まれる画素を補正対象として補正させる補正ステップを実行させるプログラム。