JP2015019293A - 固体撮像装置および方法、並びに、電子機器 - Google Patents

Abstract

【課題】高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにする。
【解決手段】異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを備える。
【選択図】図３

Description

本技術は、固体撮像装置および方法、並びに、電子機器に関し、特に、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにする固体撮像装置および方法、並びに、電子機器に関する。

従来より、イメージセンサから出力される画像信号において、欠陥画素に係る画素信号の補正が行われている。

欠陥画素は、通常、極めて大きい値の画素信号を常に出力する白とび（白点欠陥画素）、または、極めて小さい値の画素信号を常に出力する黒つぶれ（黒点欠陥画素）に分類される。そして、このような欠陥画素に係る画素信号の補正処理（欠陥補正処理）は、欠陥画素の周囲の画素の画素信号に基づいて、欠陥画素の画素信号を演算して生成することにより行われる。

また、例えば、ベイヤー配列の画素アレイ内において、欠陥画素の補正のために用いる画素を、欠陥画素と同色の画素から選択する技術も提案されている（例えば、特許文献１参照）。

また、近年、イメージセンサのダイナミックレンジを拡大させる方式が提案されている。例えば、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得る技術も開発されている。このような高ダイナミックレンジ画像の撮像方式には、ＳＶＥ（Spatially Varying Exposure）方式などがある。

特開２０１０−１３０２３８号公報

しかしながら、従来の欠陥画素の補正では、ＳＶＥ方式のイメージセンサにおける欠陥補正処理が考慮されていなかった。

本技術はこのような状況に鑑みて開示するものであり、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにするものである。

本技術の第１の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを備える固体撮像装置である。

前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されているようにすることができる。

前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されているようにすることができる。

前記画素値補正部は、前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正するようにすることができる。

前記処理単位領域の行数は５であるようにすることができる。

前記画素値補正部は、前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部とを備えるようにすることができる。

前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行うようにすることができる。

前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行うようにすることができる。

前記欠陥補正部は、前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正するようにすることができる。

前記欠陥補正部は、前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成するようにすることができる。

前記欠陥補正部は、さらに、前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合するようにすることができる。

前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備えるようにすることができる。

積層型のイメージセンサとして構成され、第１のチップに前記画素アレイが配置され、第２のチップに前記画素値補正部の機能を実現するための回路が形成されるようにすることができる。

本技術の第１の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップを含む固体撮像方法である。

本技術の第２の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置を備える電子機器である。

本技術の第１の側面および第２の側面においては、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値が、他の画素の画素値を用いて補正される。

本技術によれば、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できる。

ＳＶＥ方式における行露光配列を説明する図である。 ＳＶＥ方式における均一露光配列を説明する図である。 本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 欠陥補正処理部の詳細な構成例を示すブロック図である。 行露光配列における処理単位領域の例を示す図である。 行露光配列における図４の平坦判定部の処理を説明する図である。 行露光配列における図４の方向検出部の処理を説明する図である。 処理単位領域が飽和している場合の図４の欠陥補正部の処理を説明する図である。 均一露光配列における処理単位領域の例を示す図である。 均一露光配列における図４の平坦判定部の処理を説明する図である。 均一露光配列の場合、注目画素がＧの画素であったときの図４の平坦判定部の処理を説明する図である。 均一露光配列の場合、処理単位領域が飽和していないときの図４の欠陥補正部の処理を説明する図である。 均一露光配列の場合、処理単位領域が飽和しているときの図４の方向検出部の処理を説明する図である。 均一露光配列の場合、処理単位領域が飽和しているときの図４の欠陥補正部の処理を説明する図である。 補正候補値と注目画素の画素値との混合の方式を説明する図である。 垂直方向に、注目画素と同色で同露光時間の画素を選択するために必要となる画素領域を説明する図である。 行露光配列欠陥補正処理の例を説明するフローチャートである。 非飽和平坦判定処理の例を説明するフローチャートである。 平坦欠陥判定処理の例を説明するフローチャートである。 平坦欠陥補正処理の例を説明するフローチャートである。 方向検出処理の例を説明するフローチャートである。 非平坦欠陥判定処理の例を説明するフローチャートである。 非平坦欠陥補正処理の例を説明するフローチャートである。 飽和欠陥判定処理の例を説明するフローチャートである。 飽和欠陥補正処理の例を説明するフローチャートである。 均一露光配列欠陥補正処理の例を説明するフローチャートである。 飽和平坦判定処理の例を説明するフローチャートである。 飽和非平坦欠陥判定処理の例を説明するフローチャートである。 飽和非平坦欠陥補正処理の例を説明するフローチャートである。 飽和非平坦欠陥補正処理の例を説明するフローチャートである。 飽和非平坦欠陥補正処理の例を説明するフローチャートである。 本技術の一実施形態に係る半導体装置としての固体撮像装置の構成例を示す図である。 本実施形態に係る積層構造のイメージセンサのプロセスフローを説明する図である。 本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１および図２は、ＳＶＥ（Spatially Varying Exposure）方式を採用したイメージセンサの画素アレイの平面図の例を示す図である。ＳＶＥは、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得る技術である。

図１および図２の例では、ハッチングされた画素が短時間露光画素とされ、ハッチングされていない画素が長時間露光画素とされている。

図１と図２の構成では、露光配列が異なっている。すなわち、短時間露光画素の配置と長時間露光画素の配置のパターンが異なっている。

図１の構成の場合、上から２行の画素が短時間露光画素とされ、その下の２行の画素が長時間露光画素とされ、さらにその下の２行の画素が短時間露光画素とされ、さらにその下の２行の画素が長時間露光画素とされている。すなわち、画素アレイ上に同一の露光時間の画素が行単位で規則的に配置されている。図１に示される露光配列は、行別露光配列とも称される。

図２の構成の場合、ベイヤー配列の画素アレイの中で各色の短時間露光画素および長時間露光画素が空間的に均一になるよう配置されている。この例では、短時間露光画素および長時間露光画素のそれぞれが、Ｒ，Ｇ，Ｇ，およびＢの４つの画素から成るＬ字型の一群の画素として規則的に配置されている。図２に示される露光配列は、均一露光配列とも称される。

図３は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。この画像処理装置１０は、ＳＶＥ方式のイメージセンサから出力される画像信号に対応する画像を入力画像とし、高ダイナミックレンジの出力画像を生成して出力するものとされる。

また、画像処理装置１０は、後述するように、積層型のイメージセンサにおいて、いわゆる下チップに実装されるようになされており、ＳＶＥ方式のイメージセンサのセンサチップと一体化されて構成される。

この例では、画像処理装置１０は、欠陥補正処理部２１、ＨＤＲ合成処理部２２、および、階調変換処理部２３を有する構成とされている。

欠陥補正処理部２１は、入力画像の欠陥画素の画素値を補正するブロックとされる。欠陥補正処理部２１は、行別露光配列または均一露光配列で配置された各画素の画素値を必要に応じて補正する。

ＨＤＲ合成処理部２２は、１枚の入力画像（行別露光配列または均一露光配列で配置された各画素から成る画像から、暗い領域用の画像および明るい領域用の画像を生成して合成するブロックとされる。すなわち、ＨＤＲ合成処理部２２は、画像の中の暗い領域を鮮明に表示することができるように長時間露光画素の画素値を用いた暗い領域用の画像と、画像の中の明るい領域を鮮明に表示することができるように短時間露光画素の画素値を用いた明るい領域用の画像とを生成する。そしてこれらの画像が合成される。

階調変換処理部２３は、例えば、ＨＤＲ合成処理部２２によって合成された画像の画素値のビット数を調整する階調変換処理を行うブロックとされる。

次に、欠陥補正処理部２１による処理について詳細に説明する。図４は、欠陥補正処理部２１の詳細な構成例を示すブロック図である。

欠陥補正処理部２１は、イメージセンサの画素アレイの有効領域に配置された各画素をそれぞれ注目画素とし、注目画素が欠陥画素であった場合、注目画素の画素信号を他の画素の画素信号を用いて生成する。この例では、欠陥補正処理部２１は、ゲイン補正部４１、飽和判定部４２、平坦判定部４３、方向検出部４４、欠陥判定部４５、および欠陥補正部４６を有する構成とされている。

詳細は後述するが、ゲイン補正部４１は、主に、ＳＶＥ方式のイメージセンサの画素アレイに長時間露光画素と短時間露光画素とが混在する中で、短時間露光画素の画素値を、長時間露光画素と比較できるようにするためにゲインを乗じる機能ブロックとされる。

飽和判定部４２は、主に、画素アレイの中の所定の領域が強い光を受光するなどして飽和しているか否かを判定する機能ブロックとされる。ＳＶＥ方式のイメージセンサの画素アレイには、長時間露光画素が存在するため、強い光を受光するすると、長時間露光画素の画素値が最大値に達し、受光量に対応する正確な画素値を得られない状態（飽和した状態）となりやすい。

平坦判定部４３は、主に、画素アレイの中の所定の領域で受光した光に対応する画像にテクスチャなどが含まれている（すなわち、画像が平坦ではない）か否かを判定する機能ブロックとされる。

方向検出部４４は、欠陥判定部により、画素アレイの中の所定の領域で受光した光に対応する画像にテクスチャなどが含まれていると判定された場合、テクスチャの方向を検出する機能ブロックとされる。

欠陥判定部４５は、主に、注目画素が欠陥画素であるか否かを判定する機能ブロックである。なお、欠陥画素は、通常、極めて大きい値の画素信号を常に出力する白とび（白点欠陥画素）、または、極めて小さい値の画素信号を常に出力する黒つぶれ（黒点欠陥画素）に分類される。

欠陥補正部４６は、主に、欠陥判定部４５により欠陥画素であると判定された注目画素の画素値を、他の画素の画素値を用いて補正する機能ブロックとされる。

なお、欠陥補正処理部２１は、露光配列が行露光配列である場合と、均一露光配列である場合とで、それぞれ異なる処理を実行するが、ここでは、最初に露光配列が行露光配列である場合の処理について説明する。

［行露光配列の場合の欠陥補正処理部２１の処理］
ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。

すなわち、入力画像の画素値は、ＳＶＥ方式のイメージセンサから出力される画像信号に対応するものなので、短時間露光画素の画素値と長時間露光画素の画素値が混在している。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。換言すれば、ゲイン補正部４１の処理によって、短時間露光画素の画素値と長時間露光画素の画素値が混在する入力画像の画素値が、長時間露光画素の画素値を基準として正規化される。

飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。

図５は、処理単位領域の例を示す図である。この例では、ベイヤー配列の画素アレイにおける２５（＝５×５）個の画素で構成される領域が処理単位領域とされている。図５の例では、注目画素が図中×印で表示されており、この例では、赤色（Ｒ）の長時間露光画素とされている。

飽和判定部４２は、注目画素を中心とする２５個の画素で構成される処理単位領域の中で、画素値が最大値となっている画素の数を特定する。ここで、画素値が最大値となっている画素とは、例えば、画素値を所定のビット数からなるデジタルデータで表現する場合、当該ビット数で表現できる最大値（例えば、８ビットのデジタルデータで表現する場合、２５５）となっている画素を意味する。すなわち、ここでは、単位時間内の受光量が大きすぎて、受光した光の全てを光電変換により電荷として出力し得ない状態を飽和と称している。

飽和判定部４２は、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定する。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。ここで、閾値が３とされているのは、注目画素が白点欠陥画素であった場合を考慮し、注目画素以外の２つの画素の画素値が最大値となっているか否かにより、飽和しているか否かを判定できるようにしたものである。

なお、平坦判定部４３乃至欠陥補正部４６の処理は、飽和判定部４２の判定結果によって異なる。例えば、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、平坦判定部４３による判定および方向検出部４４による方向の検出は行われない。飽和した処理単位領域が、本来テクスチャを含む領域であったか否かを判定するのは困難だからである。

ここでは、最初に飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合の平坦判定部４３乃至欠陥補正部４６の処理の例について説明する。

［行露光配列において当該処理単位領域が飽和していない場合］
平坦判定部４３は、当該処理単位領域が平坦であるか否かを判定する。例えば、当該処理単位領域が画像の中のテクスチャの一部である場合、当該処理単位領域は平坦ではないものと判定される。

平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較して当該注目画素の画素値が大きいかまたは小さいかを判定する。例えば、注目画素がＲの長時間露光画であった場合、図６に示されるように、処理単位領域内において円が付された８個のＲの画素（Ｒ_０乃至Ｒ_７）の最大値または最小値を特定する。注目画素の画素値がＲ_０乃至Ｒ_７の画素値の最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値がＲ_０乃至Ｒ_７の画素値の最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。

平坦判定部４３は、さらに、当該処理単位領域の平均偏差を演算する。例えば、図６の例の場合、平坦判定部４３は、Ｒ_０乃至Ｒ_７の画素値の平均値ａｖｅ＿ａｒｅａを式（１）により演算し、その演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを、式（２）により算出する。

・・・（１）

・・・（２）

そして、平坦判定部４３は、式（２）により算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。

なお、上述したように、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、平坦判定部４３による判定は行われない。

方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。

方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接する同色画素の差分絶対値を１５通り計算する。このとき、図７に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接する同色画素の差分絶対値をそれぞれ１５通り計算する。

図７Ａは、方向検出領域内の水平方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の水平方向の矢印で示されるように、１５組の同色画素が示されている。

図７Ｂは、方向検出領域内の垂直方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の垂直方向の矢印で示されるように、１５組の同色画素が示されている。

図７Ｃは、方向検出領域内の＋４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の＋４５°方向の矢印で示されるように、１５組の同色画素が示されている。

図７Ｄは、方向検出領域内の−４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の−４５°方向の矢印で示されるように、１５組の同色画素が示されている。

次に、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の１５通りの差分絶対値について、下位１１通りを選択する。すなわち、欠陥画素の画素値を用いた差分絶対値は意味をなさないので、欠陥画素の画素値を用いた差分絶対値を除外すべく、上位４通りの差分絶対値が排除される。ここでは、方向検出領域内において、注目画素と他の１つの画素（合計２画素）が欠陥画素であることを考慮して、上位４通りの差分絶対値が排除されている。

そして、方向検出部４４は、各方向における１１通りの差分絶対値の平均値を求める。

ここで、水平方向における１１通りの差分絶対値の平均値、および、垂直方向における１１通りの差分絶対値の平均値は、それぞれ√２倍される。水平方向または垂直方向における隣接する画素間の距離が、＋４５°方向または−４５°方向における隣接する画素間の距離より小さいため、その影響を排除するためである。

さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。

なお、上述したように、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、方向検出部４４による方向の検出は行われない。

欠陥判定部４５は、注目画素が欠陥画素であるか否かを判定する。

欠陥判定部４５は、最初に欠陥判定のための閾値を演算する。なお、欠陥判定部４５は、平坦判定部４３の判定結果に基づいて閾値を演算する。平坦判定部４３により処理単位領域が平坦であると判定された場合、欠陥判定部４５は、式（３）により閾値を演算する。

・・・（３）

なお、式（３）におけるａ、ｂは、パラメータとされ、Ｒ_０乃至Ｒ_７の画素値の平均値ａｖｅ＿ａｒｅａの大きさに応じて変更される。

一方、平坦判定部４３により処理単位領域が平坦ではないと判定された場合、欠陥判定部４５は、式（４）により閾値を演算する。

・・・（４）

なお、式（４）におけるａ、ｂ、ｃは、パラメータとされ、テクスチャの方向の検出に用いた最小値ｇｒａｄの大きさに応じて変更される。

欠陥判定部４５は、処理単位領域が平坦である場合、注目画素が白点欠陥画素候補であるとき、図６のＲ_０乃至Ｒ_７の中の最大値と注目画素の差分絶対値が、上述した閾値以上であるか否かを判定する。Ｒ_０乃至Ｒ_７の中の最大値と注目画素の差分絶対値が、上述した閾値以上である場合、注目画素は白点欠陥画素であると判定され、閾値未満である場合、注目画素は欠陥画素ではないと判定される。

また、欠陥判定部４５は、処理単位領域が平坦である場合、注目画素が黒点欠陥画素候補であるとき、図６のＲ_０乃至Ｒ_７の中の最小値と注目画素の差分絶対値が、上述した閾値以上であるか否かを判定する。Ｒ_０乃至Ｒ_７の中の最大値と注目画素の差分絶対値が、上述した閾値以上である場合、注目画素は黒点欠陥画素であると判定され、閾値未満である場合、注目画素は欠陥画素ではないと判定される。

さらに、欠陥判定部４５は、処理単位領域が平坦でない場合、注目画素の画素値と、処理単位領域内の同色の画素（例えば、図６のＲ_０乃至Ｒ_７）の画素値の平均値との差分が上述した閾値以上であるか否かを判定する。

閾値以上であると判定された場合、注目画素は欠陥画素であると判定され、閾値未満の場合、注目画素は欠陥画素ではないと判定される。さらに、欠陥画素と判定された場合、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいとき、白点欠陥画素とされ、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より小さいとき、白点欠陥画素とされる。

欠陥補正部４６は、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。

例えば、図６において、注目画素が白点欠陥画素であると判定された場合、欠陥補正部４６は、図６のＲ_３またはＲ_４のうちのいずれか大きい方の画素値と置き換える。

また、例えば、図６において、注目画素が黒点欠陥画素であると判定された場合、欠陥補正部４６は、図６のＲ_３またはＲ_４のうちのいずれか小さい方の画素値と置き換える。

さらに、欠陥補正部４６は、当該処理単位領域が平坦でない場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、方向検出部４４により検出されたテクスチャの方向に基づいて、画素値の置き換えを行う。

すなわち、テクスチャの方向が水平方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_３またはＲ_４のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が垂直方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_１またはＲ_６のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。さらに、テクスチャの方向が、＋４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_２またはＲ_５のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が、−４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_０またはＲ_７のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。

なお、図６におけるＲ_０乃至Ｒ_２、Ｒ_５乃至Ｒ_７の画素は、注目画素とは露光時間の異なる画素であるが、上述したように、処理単位領域内の画素値は、ゲイン補正部４１の処理によって、長時間露光画素の画素値を基準として正規化されているので置き換えることができる。

ただし、注目画素が短時間露光画素であった場合、欠陥補正部４６は、テクスチャの方向に基づいて置き換えた画素値に、（短時間露光画素の露光時間/長時間露光画素の露光時間）として求められるゲインを乗じることで、ゲイン補正部４１による補正の影響を排除する。

飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。

［行露光配列において当該処理単位領域が飽和している場合］
一方、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、欠陥判定部４５は、注目画素を中心とする水平方向の９個の画素のダイナミックレンジを演算する。例えば、図８に示される９（１×９）個の画素から成る領域がダイナミックレンジ検出領域として抽出される。なお、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。

そして、欠陥判定部４５は、図８において円が付された画素である注目画素と同色の画素（この例ではＲの画素）について、図中の矢印で示されるように隣接する画素間の画素値の差分絶対値を４通り算出し、それら４通りの差分絶対値の中でのダイナミックレンジを算出する。また、欠陥判定部４５は、注目画素とは異なる色の画素（この例ではＧの画素）の画素値について、ダイナミックレンジを算出する。

この例では、注目画素がＲである場合の例について説明したが、注目画素がＧの画素である場合、注目画素とは異なる色の画素としてＲの画素が選択される。また、注目画素がＢの画素である場合、注目画素とは異なる色の画素としてＧの画素が選択される。

そして、欠陥判定部４５は、図８において円で示される注目画素と同色の画素の画素値の平均値の平方根を求め、必要に応じてパラメータを乗じたり、加算したりすることで、これを欠陥判定のための閾値とする。なお、閾値は、後述するように第１乃至第３の条件のそれぞれ用いるために、パラメータを変化させて３通りの閾値が求められる。

欠陥判定部４５は、次の３つの条件のいずれにも該当する場合、注目画素が白点欠陥画素であると判定する。

第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に大きいものよりも大きく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。

なお、欠陥画素、非欠陥画素、欠陥画素、・・・のように、同色１つとびで欠陥画素が存在する場合を考慮し、１番大きいものとの差分を閾値と比較せずに、２番目に大きいものとの差分を閾値と判定するようになされている。

第２番目の条件は、図８において矢印で示した注目画素と同色の画素についての隣接する画素間の画素値の差分絶対値の中でのダイナミックレンジが閾値よりも大きいことである。

第３番目の条件は、図８に示される注目画素とは異なる色の画素（図８ではＧの画素）の画素値についてのダイナミックレンジが閾値より小さいことである。

上述の第１番目乃至第３番目の条件のいずれにも該当する場合、注目画素は、白点欠陥画素と判定される。

また、欠陥判定部４５は、次の３つの条件のいずれにも該当する場合、注目画素が黒点欠陥画素であると判定する。

第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に小さいものよりも小さく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。

第２番目の条件および第３番目の条件は、白点欠陥画素の場合と同様なので、詳細な説明は省略する。

上述の第１番目乃至第３番目の条件のいずれにも該当する場合、注目画素は、黒点欠陥画素と判定される。

欠陥補正部４６は、注目画素が白点欠陥画素であった場合、注目画素の画素値を、図８において円が付された４つの画素値のうちの２番目に大きい画素値と置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であった場合、注目画素の画素値を、図８において円が付された４つの画素値のうちの２番目に小さい画素値と置き換える。

飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。

このようにして、欠陥補正処理部２１は、欠陥画素の画素値を補正する。

次に、均一露光配列の場合の欠陥補正処理部２１の処理について説明する。均一露光配列の場合、当該処理単位領域が飽和しているときも、平坦判定部４３による判定および方向検出部４４による方向の検出が行われるようにした点で、行露光配列の場合と異なっている。

［均一露光配列の場合の欠陥補正処理部２１の処理］
ゲイン補正部４１は、行露光配列の場合と同様に、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。

飽和判定部４２は、行露光配列の場合と同様に、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。

図９は、均一露光配列の場合の処理単位領域の例を示す図である。この例では、ベイヤー配列の画素アレイにおける２５（＝５×５）個の画素で構成される領域が処理単位領域とされている。図９の例では、注目画素が図中×印で表示されており、この例では、赤色（Ｒ）の長時間露光画素とされている。

飽和判定部４２は、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定する。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。

なお、均一露光配列の場合も、平坦判定部４３乃至欠陥補正部４６の処理は、やはり飽和判定部４２の判定結果によって異なる。

ここでは、最初に飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合の平坦判定部４３乃至欠陥補正部４６の処理の例について説明する。

［均一露光配列において当該処理単位領域が飽和していない場合］
平坦判定部４３は、当該処理単位領域が平坦であるか否かを判定する。例えば、当該処理単位領域が画像の中のテクスチャの一部である場合、当該処理単位領域は平坦ではないものと判定される。

平坦判定部４３は、行露光配列の場合と同様に、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較して当該注目画素の画素値が大きいかまたは小さいかを判定する。例えば、注目画素がＲの長時間露光画であった場合、図１０に示されるように、処理単位領域内において円が付された８個のＲの画素（Ｒ_０乃至Ｒ_７）の最大値または最小値を特定する。注目画素の画素値がＲ_０乃至Ｒ_７の画素値の最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値がＲ_０乃至Ｒ_７の画素値の最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。

平坦判定部４３は、さらに、行露光配列の場合と同様に、当該処理単位領域の平均偏差を演算する。

そして、平坦判定部４３は、算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。

ただし、均一露光配列の場合、注目画素がＧの画素であったときは、処理単位領域において、同色の画素が図１１に示されるように配置されていることになる。すなわち、処理単位領域において、同色の画素が全て同露光時間（この例では、短時間露光画素）となる。

従って、注目画素がＧの画素であったときは、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。このため、均一露光配列の場合、平坦か否かの判定に用いられる閾値として、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が用意される。

方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、行露光配列の場合と同様に、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。

欠陥判定部４５は、当該処理単位領域が平坦である場合、および、当該処理単位領域が平坦でない場合のそれぞれにおいて、行露光配列の場合と同様に、注目画素が欠陥画素であるか否かを判定する。ただし、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。

欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。

均一露光配列の場合、置き換える画素として、注目画素がＲのとき、図１０のＲ_０、Ｒ_２、Ｒ_５、またはＲ_７が用いられ、注目画素がＧのとき、図１２のＧ_０乃至Ｇ_７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。

また、欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦でない場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、方向検出部４４により検出されたテクスチャの方向に基づいて、画素値の置き換えを行う。

飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。

［均一露光配列において当該処理単位領域が飽和している場合］
一方、均一露光配列に係る欠陥画素の補正の処理においては、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合も、平坦判定部４３および方向検出部４４による処理が行われる。

平坦判定部４３は、注目画素がＧの場合、行露光配列のときと同様に、当該処理単位領域が平坦であるか否かを判定する。

一方、注目画素がＲまたはＢの場合、平坦判定部４３は、例えば、図１２において円が付された画素であって、注目画素と同色で同露光時間の４つの画素の画素値うちの最大値または最小値より、注目画素の画素値が大きいかまたは小さいかを判定する。注目画素の画素値が４つの画素の画素値うちの最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値が４つの画素の画素値うちの最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。

なお、図１２には、注目画素がＲの長時間露光画素である場合の例が示されているが、注目画素がＲの短時間露光画素、または、Ｂの長時間露光画素若しくは短時間露光画素である場合も同様である。

平坦判定部４３は、さらに、当該処理単位領域の平均偏差を演算する。例えば、図１０の例の場合、平坦判定部４３は、Ｒ_０、Ｒ_２、Ｒ_５、Ｒ_７の画素値の平均値ａｖｅ＿ａｒｅａを式（５）により演算し、その演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを、式（６）により算出する。

・・・（５）

・・・（６）

そして、平坦判定部４３は、式（６）により算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。

なお、均一露光配列の場合、当該処理単位領域が飽和しているときは、平坦か否かの判定に用いられる閾値として、ＲまたはＢの長時間露光画素用の閾値、ＲまたはＢの短時間露光画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の４種類の閾値が用意される。

方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。

いまの場合、長時間露光画素は飽和していると考えられるので、Ｇの短時間露光画素のみを用いた方向検出が行われる。

方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接するＧの画素の差分絶対値を計算する。このとき、図１３に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接するＧの画素の差分絶対値をそれぞれ計算する。

図１３Ａは、方向検出領域内の水平方向に隣接するＧの画素の差分絶対値の計算の例を示す図であり、同図の水平方向の矢印で示されるように、９組のＧの画素が示されている。

図１３Ｂは、方向検出領域内の垂直方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の垂直方向の矢印で示されるように、８組のＧの画素が示されている。

図１３Ｃは、方向検出領域内の＋４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の＋４５°方向の矢印で示されるように、６組のＧの画素が示されている。

図１３Ｄは、方向検出領域内の−４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の−４５°方向の矢印で示されるように、６組のＧの画素が示されている。

次に、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の複数通りの差分絶対値について、下位４通りを選択する。すなわち、欠陥画素の画素値を用いた差分絶対値は意味をなさないので、欠陥画素の画素値を用いた差分絶対値を除外すべく、上位の差分絶対値が排除される。

そして、方向検出部４４は、各方向における４通りの差分絶対値の平均値を求める。

ここで、水平方向における４通りの差分絶対値の平均値、および、垂直方向における４通りの差分絶対値の平均値は、それぞれ√２倍される。水平方向または垂直方向における隣接する画素間の距離が、＋４５°方向または−４５°方向における隣接する画素間の距離より小さいため、その影響を排除するためである。

さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。

なお、図１３の例において、注目画素がＧの短時間露光画素またはＢの画素の場合は、Ｇの短時間露光画素の数が最も多くなる３５（＝７×５）画素の領域を抽出すると、注目画素の位置がその領域の中心とならない。その場合、注目画素の左に位置する画素を中心とした場合の方向検出結果を流用するものとする。

欠陥判定部４５は、当該処理単位領域が平坦である場合、行露光配列の場合と同様に、注目画素が欠陥画素であるか否かを判定する。ただし、均一露光配列の場合、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が演算される。

また、欠陥判定部４５は、当該処理単位領域が平坦でない場合、次のようにして、注目画素が欠陥画素であるか否かを判定する。

すなわち、欠陥判定部４５は、欠陥判定のための閾値を求める際には、処理単位領域における注目画素と同色で同露光時間の画素の平均値、および、方向検出部４４により検出された方向に対応する平均値（４通りの差分絶対値の平均値）を用いて閾値を演算する。例えば、注目画素がＲまたはＢである場合、欠陥判定部４５は、図１０において白色であり円の付された位置の４つの画素の画素値の平均値の平方根、および、方向検出部４４により検出された方向に対応する平均値を用いて閾値を演算する。一方、注目画素がＧである場合、欠陥判定部４５は、図１１において円の付された位置の８つの画素の画素値の平均値の平方根、および、方向検出部４４により検出された方向に対応する平均値を用いて閾値を演算する。

ただし、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。

そして、注目画素がＲまたはＢである場合、図１０において白色であり円の付された位置の４つの画素の画素値の平均値と、注目画素の画素値との差分が閾値以上の場合、注目画素が欠陥画素と判定される。また、注目画素がＧである場合、図１１において円の付された位置の８つの画素の画素値の平均値と、注目画素の画素値との差分が閾値以上の場合、注目画素が欠陥画素と判定される。

欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。

一方、当該処理単位領域が平坦でない場合、欠陥補正部４６は、注目画素がＧであるか、または、Ｒ若しくはＢであるかによって異なる処理を行う。

注目画素がＧである場合、欠陥補正部４６は、図１１において円の付された位置の８つの画素のうち、方向検出部４４により検出されたテクスチャの方向に基づいて２つの画素を選択する。

すなわち、テクスチャの方向が水平方向の場合、図１１のＧ_３およびＧ_４が選択される。また、テクスチャの方向が垂直方向の場合、図１１のＧ_１およびＧ_６が選択される。さらに、テクスチャの方向が＋４５°方向の場合、図１１のＧ_２およびＧ_５が選択される。また、テクスチャの方向が−４５°方向の場合、Ｇ_０およびＧ_７が選択される。

欠陥補正部４６は、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換える。

注目画素がＲまたはＢである場合、欠陥補正部４６は、例えば、図１４において円が付された位置の８つの画素のうち、方向検出部４４により検出されたテクスチャの方向に基づいて２つの画素を選択する。

すなわち、テクスチャの方向が＋４５°方向の場合、図１４のＲ_２およびＲ_５が選択される。テクスチャの方向が−４５°方向の場合、図１４のＲ_０およびＲ_７が選択される。

テクスチャの方向が水平方向の場合、図１４のＲ３およびＲ４が選択される。なお、均一露光配列の場合、注目画素と水平方向に最も近い同色の画素は、注目画素の露光時間とは異なる露光時間の画素となるため、３５（＝７×５）画素の方向検出領域をさらに拡張した４５（＝９×５）画素の方向検出領域から画素を選択する必要がある。

テクスチャの方向が垂直方向の場合、垂直方向の２つの位置の画素値を線形補間によって求める。すなわち、（Ｒ_０＋Ｒ_２）／２として算出される画素値を有する仮想的な画素、および、（Ｒ_５＋Ｒ_７）／２として算出される画素値を有する仮想的な画素が選択される。均一露光配列の場合、５行分の領域の中に、垂直方向に同色で同露光時間の画素が存在しないからである。

欠陥補正部４６は、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換える。

ただし、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、上述したように仮想的な画素の画素値による置き換えが行われることになるので、欠陥補正部４６は、注目画素の画素値を全て仮想的な画素の画素値によって置き換えるのではなく、部分的に置き換えるようになされている。

注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、欠陥補正部４６は、上述した２つの仮想的な画素の画素値とともに、垂直方向の同色の画素（いまの場合、線形補間により得られた仮想的な画素）の平均値（図１４の場合、(Ｒ_１＋Ｒ_６)／２）を算出する。なお、垂直方向の同色の画素は、注目画素とは露光時間が異なるので、短時間露光時間に係る画素値が、予め、（長時間露光の露光時間/短時間露光の露光時間）で求められるゲインを乗じて補正されるようにする。

次に、仮想的画素の画素値のうち、置き換えの対象となる画素値（補正候補値と称することにする）と、垂直方向の同色の画素の平均値との差分が計算される。そして、この差分の大きさに応じ、補正候補値に注目画素の画素値が混合されるようにする。

図１５は、補正候補値と注目画素の画素値との混合の方式を説明する図である。図１５は、横軸が補正候補値と垂直方向の同色の画素の平均値との差分とされ、縦軸が注目画素の画素値の混合比率とされる。

同図に示されるように、予め閾値Ｘおよび閾値Ｙが設定され、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｘ未満の場合、注目画素の画素値の混合比率は０とされている。また、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｙ以上の場合、注目画素の画素値の混合比率は１とされている。そして、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｘ以上閾値Ｙ未満の場合、注目画素の画素値の混合比率が、補正候補値と垂直方向の同色の画素の平均値との差分の大きさに応じて変化するようになされている。

補正候補値と垂直方向の同色の画素の平均値との差分が大きい場合、処理単位領域の画像がＲまたはＢの画素のナイキスト周波数付近の成分を有していると考えられる。このような場合、隣接画素からの線形補間による仮想的な画素の画素値を用いた補正が行われると、本来ない色が付加されたり、アーティファクトを発生させることがある。

上述のように、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、注目画素の画素値を仮想的な画素の画素値によって部分的に置き換えるようにすることで、色付きやアーティファクトの発生を抑止することが可能となる。

また、本技術では、上述のように、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、注目画素の画素値を仮想的な画素の画素値によって部分的に置き換えるようにしたので、欠陥補正処理において必要となるメモリの容量などを低く抑制することができる。

すなわち、行露光配列または均一露光配列のいずれの露光配列においても、垂直方向に、注目画素と同色で同露光時間の画素を選択するためには、少なくとも９行分の画素領域をメモリなどに記憶させる必要がある。

図１６は、垂直方向に、注目画素と同色で同露光時間の画素を選択するために必要となる画素領域を説明する図である。図１６Ａは、行露光配列の場合の例を示しており、図１６Ｂは均一露光配列の場合の例を示している。図１６Ａおよび図１６Ｂのいずれにおいても、垂直方向に、注目画素と同色で同露光時間の画素を選択するために９行分の画素領域が必要となっている。

これに対して、本技術では、図１４を参照して上述したように、５行分の画素領域があれば、欠陥画素の補正を行うことが可能となる。

次に、図１７のフローチャートを参照して、欠陥補正処理部２１による行露光配列欠陥補正処理の例について説明する。

ステップＳ２１において、ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。

なお、ステップＳ２１以降の処理では、ゲイン補正部４１による補正後の画素値とともに、必要に応じて補正前の画素値も参照できるものとする。

ステップＳ２２において、飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。

このとき、例えば、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定される。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。

ステップＳ２２において、処理単位領域が飽和していないと判定された場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、平坦判定部４３は、図１８を参照して後述する非飽和平坦判定処理を実行する。これにより、当該処理単位領域が平坦であるか否かが判定する。

ここで、図１８のフローチャートを参照して、図１７のステップＳ２３の非飽和平坦判定処理の詳細な例について説明する。

ステップＳ４１において、平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較する。

ステップＳ４２において、平坦判定部４３は、ステップＳ４１の比較の結果、当該注目画素の画素値が最大値より大きいか否かを判定する。ステップＳ４２において、注目画素の画素値が最大値より大きいと判定された場合、処理は、ステップＳ４３に進む。

ステップＳ４３において、当該注目画素は白点欠陥画素候補とされ、所定のフラグなどが設定される。

一方、ステップＳ４２において、当該注目画素の画素値が最大値より大きくないと判定された場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、平坦判定部４３は、ステップＳ４１の比較の結果、当該注目画素の画素値が最小値より小さいか否かを判定する。ステップＳ４４において、注目画素の画素値が最小値より小さいと判定された場合、処理は、ステップＳ４５に進む。

ステップＳ４５において、当該注目画素は黒点欠陥画素候補とされ、所定のフラグなどが設定される。

ステップＳ４４において、当該注目画素の画素値が最小値より小さくないと判定された場合、ステップＳ４５の処理はスキップされる。

ステップＳ４６において、平坦判定部４３は、注目画素と同色の画素の画素値の平均値ａｖｅ＿ａｒｅａを算出する。このとき、例えば、式（１）により、平均値ａｖｅ＿ａｒｅａが算出される。

ステップＳ４７において、平坦判定部４３は、ステップＳ４６の演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを算出する。このとき、例えば、式（２）により、平均偏差ｓｔｄ＿ａｒｅａが算出される。

ステップＳ４８において、平坦判定部４３は、ステップＳ４７の処理で演算された平均偏差ｓｔｄ＿ａｒｅａが、予め設定された閾値以上であるか否かを判定する。

ステップＳ４８において、閾値未満であると判定された場合、処理は、ステップＳ４９に進み、平坦判定部４３は、当該処理単位領域が平坦であると判定する。

ステップＳ４８において、閾値以上であると判定された場合、処理は、ステップＳ５０に進み、平坦判定部４３は、当該処理単位領域が平坦ではないと判定する。

このようにして、非飽和平坦判定処理が実行される。

図１７に戻って、ステップＳ２４において、平坦判定部４３は、ステップＳ２３の判定結果が平坦であったか否かを判定する。平坦であった場合、処理は、ステップＳ２５に進む。

ステップＳ２５において、欠陥判定部４５は、図１９を参照して後述する平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２６において、欠陥補正部４６は、図２０を参照して後述する平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ここで、図１９のフローチャートを参照して、図１７のステップＳ２５の平坦欠陥判定処理の詳細な例について説明する。

ステップＳ６１において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、式（３）により閾値が演算される。

ステップＳ６２において、欠陥判定部４５は、注目画素が白点欠陥画素候補であるか否かを判定し、白点欠陥画素候補であると判定された場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、欠陥判定部４５は、処理単位領域内における注目画素と同色の画素の画素値の最大値と注目画素の画素値との差分が、ステップＳ６１で演算された閾値以上であるか否かを判定する。例えば、図６のＲ_０乃至Ｒ_７の中の最大値と注目画素の差分絶対値が、上述した閾値以上であるか否かが判定される。

ステップＳ６３において、差分が閾値以上であると判定された場合、処理は、ステップＳ６４に進み、注目画素は白点欠陥画素であると判定される。なお、ステップＳ６３で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。

ステップＳ６２において、注目画素が白点欠陥画素候補ではないと判定された場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、欠陥判定部４５は、注目画素が黒点欠陥画素候補であるか否かを判定し、黒点欠陥画素候補であると判定された場合、処理は、ステップＳ６６に進む。なお、ステップＳ６５で黒点欠陥画素候補ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。

ステップＳ６６において、欠陥判定部４５は、処理単位領域内における注目画素と同色の画素の画素値の最小値と注目画素の画素値との差分が、ステップＳ６１で演算された閾値以上であるか否かを判定する。例えば、図６のＲ_０乃至Ｒ_７の中の最小値と注目画素の差分絶対値が、上述した閾値以上であるか否かが判定される。

ステップＳ６６において、差分が閾値以上であると判定された場合、処理は、ステップＳ６７に進み、注目画素は黒点欠陥画素であると判定される。なお、ステップＳ６６で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。

このようにして、平坦欠陥判定処理が実行される。

次に、図２０のフローチャートを参照して、図１７のステップＳ２６の平坦欠陥補正処理の詳細な例について説明する。

ステップＳ８１において、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ８２に進む。

ステップＳ８２において、欠陥補正部４６は、処理単位領域内における注目画素と同色で同露光時間の画素値のうちの大きい方の画素値によって、注目画素の画素値と置き換える。このとき、例えば、注目画素の画素値が、図６のＲ_３またはＲ_４のうちのいずれか大きい方の画素値と置き換えられる。

一方、ステップＳ８１において、白点欠陥画素であると判定された場合、処理は、ステップＳ８３に進む。

ステップＳ８３において、注目画素が黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ８４に進む。

ステップＳ８４において、欠陥補正部４６は、処理単位領域内における注目画素と同色で同露光時間の画素値のうちの小さい方の画素値によって、注目画素の画素値と置き換える。このとき、例えば、注目画素の画素値が、図６のＲ_３またはＲ_４のうちのいずれか小さい方の画素値と置き換えられる。

このようにして、平坦欠陥補正処理が実行される。

図１７に戻って、ステップＳ２４において、平坦ではないと判定された場合、処理は、ステップＳ２７に進む。

ステップＳ２７において、方向検出部４４は、図２１を参照して後述する方向検出処理を実行する。これにより、テクスチャの方向が検出される。

ステップＳ２８において、欠陥判定部４５は、図２２を参照して後述する非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２９において、欠陥補正部４６は、図２３を参照して後述する非平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ここで、図２１のフローチャートを参照して、図１７のステップＳ２７の方向検出処理の詳細な例について説明する。

ステップＳ１０１において、方向検出部４４は、水平方向に隣接する同色画素の差分絶対値を計算する。このとき、方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、例えば、図７Ａの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。

ステップＳ１０２において、方向検出部４４は、垂直方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｂの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。

ステップＳ１０３において、方向検出部４４は、＋４５°方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｃの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。

ステップＳ１０４において、方向検出部４４は、−４５°方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｄの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。

ステップＳ１０５において、方向検出部４４は、各方向の差分絶対値の平均値を算出する。このとき、上述したように、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の１５通りの差分絶対値について、下位１１通りを選択する。そして、方向検出部４４は、各方向における１１通りの差分絶対値の平均値を求める。なお、水平方向における１１通りの差分絶対値の平均値、および、垂直方向における１１通りの差分絶対値の平均値は、それぞれ√２倍される。

ステップＳ１０６において、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。

このようにして方向検出処理が実行される。

次に、図２２のフローチャートを参照して、図１７のステップＳ２８の非平坦欠陥判定処理の詳細な例について説明する。

ステップＳ１２１において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、式（４）により閾値が演算される。

ステップＳ１２２において、欠陥判定部４５は、注目画素の画素値と、処理単位領域内の同色の画素（例えば、図６のＲ_０乃至Ｒ_７）の画素値の平均値との差分が上述した閾値以上であるか否かを判定する。ステップＳ１２２において、閾値以上ではないと判定された場合、注目画素は欠陥画素ではないと判定されたことになる。ステップＳ１２２において、閾値以上であると判定された場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、欠陥判定部４５は、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいか否かを判定する。

ステップＳ１２３において、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいと判定された場合、処理は、ステップＳ１２４に進み、注目画素は白点欠陥画素と判定される。

ステップＳ１２３において、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きくない（小さい）と判定された場合、処理は、ステップＳ１２５に進み、注目画素は黒点欠陥画素と判定される。

このようにして、非平坦欠陥判定処理が実行される。

次に、図２３のフローチャートを参照して、図１７のステップＳ２９の非平坦欠陥補正処理の詳細な例について説明する。

ステップＳ１４１において、欠陥補正部４６は、注目画素が黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ１４２に進む。

ステップＳ１４２において、欠陥補正部４６は、ステップＳ２７の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。

ステップＳ１４３において、欠陥補正部４６は、注目画素の画素値を、ステップＳ１４２の処理で選択された画素の画素値のうち、小さい方の画素値と置き換えることにより補正する。

一方、ステップＳ１４１において、黒点欠陥画素でないと判定された場合、処理は、ステップＳ１４４に進む。

ステップＳ１４４において、欠陥補正部４６は、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ１４５に進む。

ステップＳ１４５において、欠陥補正部４６は、ステップＳ２７の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。

ステップＳ１４６において、欠陥補正部４６は、注目画素の画素値を、ステップＳ１４５の処理で選択された画素の画素値のうち、大きい方の画素値と置き換えることにより補正する。

例えば、テクスチャの方向が水平方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_３またはＲ_４のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が垂直方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_１またはＲ_６のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。さらに、テクスチャの方向が、＋４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_２またはＲ_５のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が、−４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ_０またはＲ_７のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。

ステップＳ１４７において、欠陥補正部４６は、注目画素が短時間露光画素であるか否かを判定し、短時間露光画素であると判定された場合、処理は、ステップＳ１４８に進む。

ステップＳ１４８において、欠陥補正部４６は、ステップＳ１４３またはステップＳ１４６で置き換えた画素値に、（短時間露光画素の露光時間/長時間露光画素の露光時間）として求められるゲインを乗じることで、ゲイン補正部４１による補正の影響を排除する（画素値を逆補正する）。

このようにして、非平坦欠陥補正処理が実行される。

図１７に戻って、ステップＳ２２において、飽和していると判定された場合、処理は、ステップＳ３０に進む。

ステップＳ３０において、欠陥判定部４５は、図２４を参照して後述する飽和欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ３１において、欠陥補正部４６は、図２５を参照して後述する飽和欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ここで、図２４のフローチャートを参照して、図１７のステップＳ３０の飽和欠陥判定処理の詳細な例について説明する。

ステップＳ１６１において、欠陥判定部４５は、注目画素を中心とする水平方向の９個の画素のダイナミックレンジを演算する。

このとき、例えば、図８に示される９（１×９）個の画素から成る領域がダイナミックレンジ検出領域として抽出される。なお、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。そして、欠陥判定部４５は、図８において円が付された画素である注目画素と同色の画素（この例ではＲの画素）について、図中の矢印で示されるように隣接する画素間の画素値の差分絶対値を４通り算出し、それら４通りの差分絶対値の中でのダイナミックレンジを算出する。また、欠陥判定部４５は、注目画素とは異なる色の画素（この例ではＧの画素）の画素値について、ダイナミックレンジを算出する。

ステップＳ１６２において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、図８において円で示される注目画素と同色の画素の画素値の平均値の平方根を求め、必要に応じてパラメータを乗じたり、加算したりすることで、これを欠陥判定のための閾値が求められる。なお、閾値は、第１乃至第３の条件のそれぞれ用いるために、パラメータを変化させて３通りの閾値が求められる。

ステップＳ１６３において、欠陥判定部４５は、注目画素について、白点欠陥の３つの条件のいずれにも該当するか否かを判定する。

すなわち、第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に大きいものよりも大きく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。

なお、欠陥画素、非欠陥画素、欠陥画素のように、同色１つとびで欠陥画素が存在する場合を考慮し、１番大きいものとの差分を閾値と比較せずに、２番目に大きいものとの差分を閾値と判定するようになされている。

第２番目の条件は、図８において矢印で示した注目画素と同色の画素についての隣接する画素間の画素値の差分絶対値の中でのダイナミックレンジが閾値よりも大きいことである。

第３番目の条件は、図８に示される注目画素とは異なる色の画素（図８ではＧの画素）の画素値についてのダイナミックレンジが閾値より小さいことである。

ステップＳ１６３において、上述の第１番目乃至第３番目の条件のいずれにも該当すると判定された場合、処理は、ステップＳ１６４に進み、注目画素は、白点欠陥画素と判定される。

ステップＳ１６３において、白点欠陥の３つの条件のうち、少なくともいずれか１つは該当しないと判定された場合、処理は、ステップＳ１６５に進む。

ステップＳ１６５において、欠陥判定部４５は、注目画素について、黒点欠陥の３つの条件のいずれにも該当するか否かを判定する。

すなわち、第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に小さいものよりも小さく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。

第２番目の条件および第３番目の条件は、白点欠陥画素の場合と同様なので、詳細な説明は省略する。

ステップＳ１６５において、上述の第１番目乃至第３番目の条件のいずれにも該当すると判定された場合、処理は、ステップＳ１６６に進み、注目画素は、黒点欠陥画素と判定される。

ステップＳ１６５において、白点欠陥の３つの条件のうち、少なくともいずれか１つは該当しないと判定された場合、注目画素は欠陥画素ではないと判定されたことになる。

このようにして、飽和欠陥判定処理が実行される。

次に、図２５のフローチャートを参照して、図１７のステップＳ３１の飽和欠陥補正処理の詳細な例について説明する。

ステップＳ１８１において、欠陥補正部４６は、ステップＳ３０の処理の結果、注目画素は黒点欠陥画素と判定されたか否かを判定する。

ステップＳ１８１において、注目画素は黒点欠陥画素であると判定された場合、処理は、ステップＳ１８２に進む。

ステップＳ１８２において、欠陥補正部４６は、注目画素の画素値を、図８において円で示される注目画素と同色の画素の画素値のうち２番目に小さい画素値と置き換える。

一方、ステップＳ１８１において、注目画素は黒点欠陥画素ではないと判定された場合、処理は、ステップＳ１８３に進む。

ステップＳ１８３において、欠陥補正部４６は、ステップＳ３０の処理の結果、注目画素は白点欠陥画素と判定されたか否かを判定する。ステップＳ１８３において、注目画素は白点欠陥画素であると判定された場合、処理は、ステップＳ１８４に進む。

ステップＳ１８４において、欠陥補正部４６は、注目画素の画素値を、図８において円で示される注目画素と同色の画素の画素値のうち２番目に大きい画素値と置き換える。

このようにして、飽和欠陥補正処理が実行される。

以上のようにして、行露光配列欠陥補正処理が実行される。

次に、図２６のフローチャートを参照して、欠陥補正処理部２１による均一露光配列欠陥補正処理の例について説明する。

ステップＳ２０１において、ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。

なお、ステップＳ２０１以降の処理では、ゲイン補正部４１による補正後の画素値とともに、必要に応じて補正前の画素値も参照できるものとする。

ステップＳ２０２において、飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。

このとき、例えば、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定される。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。

ステップＳ２０２において、処理単位領域が飽和していないと判定された場合、処理は、ステップＳ２０３に進む。

ステップＳ２０３において、平坦判定部４３は、図１８を参照して後述する非飽和平坦判定処理を実行する。これにより、当該処理単位領域が平坦であるか否かが判定される。

図２６のステップＳ２０３の処理は、図１７のステップＳ２３の処理と同様の処理なので、詳細な説明は省略する。ただし、ステップＳ２０３では、注目画素がＧの画素であったときは、処理単位領域において、同色の画素が図１１に示されるように配置されていることになる。すなわち、処理単位領域において、同色の画素が全て同露光時間（この例では、短露光時間）となる。

従って、ステップＳ２０３では、注目画素がＧの画素であったときは、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。また、平坦か否かの判定に用いられる閾値として、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が用意される。

ステップＳ２０４において、平坦判定部４３は、ステップＳ２０３の判定結果が平坦であったか否かを判定する。平坦であった場合、処理は、ステップＳ２０５に進む。

ステップＳ２０５において、欠陥判定部４５は、平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２０５の処理は、図１７のステップＳ２５と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０５では、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。

ステップＳ２０６において、欠陥補正部４６は、平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ステップＳ２０６の処理は、図１７のステップＳ２６の処理と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０６では、置き換える画素として、注目画素がＲのとき、図１０のＲ_０、Ｒ_２、Ｒ_５、またはＲ_７が用いられ、注目画素がＧのとき、図１２のＧ_０乃至Ｇ_７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。

一方、ステップＳ２０４において、平坦ではなかったと判定された場合、処理は、ステップＳ２０７に進む。

ステップＳ２０７において、方向検出部４４は、方向検出処理を実行する。これにより、テクスチャの方向が検出される。

ステップＳ２０８において、欠陥判定部４５は、非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２０９において、欠陥補正部４６は、非平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ステップＳ２０７乃至ステップＳ２０９の処理は、図１７のステップＳ２７乃至ステップＳ２９と同様の処理なので詳細な説明は省略する。

一方、ステップＳ２０２において、処理単位領域が飽和していると判定された場合、処理は、ステップＳ２１０に進む。

ステップＳ２１０において、平坦判定部４３は、飽和平坦判定処理を実行する。これにより、これにより、当該処理単位領域が平坦であるか否かが判定される。

ここで、図２７のフローチャートを参照して、図２６のステップＳ２１０の飽和平坦判定処理の詳細な例について説明する。

ステップＳ２２１において、平坦判定部４３は、注目画素がＧの画素であるか否かを判定し、注目画素がＧの画素であると判定された場合、処理は、ステップＳ２２２に進む。

ステップＳ２２２において、平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と、注目画素値とを比較する。

一方、ステップＳ２２１において、注目画素がＧの画素ではない（すなわち、ＲまたはＢの画素である）と判定された場合、処理は、ステップＳ２２３に進む。

ステップＳ２２３において、平坦判定部４３は、例えば、図１２において円が付された画素であって、注目画素と同色で同露光時間の４つの画素の画素値うちの最大値または最小値と、注目画素値とを比較する。

ステップＳ２２４において、平坦判定部４３は、ステップＳ２２１またはステップＳ２２２の比較の結果、当該注目画素の画素値が最大値より大きいか否かを判定する。ステップＳ２２４において、注目画素の画素値が最大値より大きいと判定された場合、処理は、ステップＳ２２５に進む。

ステップＳ２２５において、当該注目画素は白点欠陥画素候補とされ、所定のフラグなどが設定される。

一方、ステップＳ２２４において、ステップＳ４１の比較の結果、当該注目画素の画素値が最大値より大きくないと判定された場合、処理は、ステップＳ２２６に進む。

ステップＳ２２６において、平坦判定部４３は、ステップＳ２２２またはステップＳ２２３の比較の結果、当該注目画素の画素値が最小値より小さいか否かを判定する。ステップＳ２２６において、注目画素の画素値が最小値より小さいと判定された場合、処理は、ステップＳ２２７に進む。

ステップＳ２２７において、当該注目画素は黒点欠陥画素候補とされ、所定のフラグなどが設定される。

ステップＳ２２６において、当該注目画素の画素値が最小値より小さくないと判定された場合、ステップＳ２２７の処理はスキップされる。

ステップＳ２２８において、平坦判定部４３は、注目画素と同色の画素の画素値の平均値ａｖｅ＿ａｒｅａを算出する。このとき、例えば、式（５）により、平均値ａｖｅ＿ａｒｅａが算出される。

ステップＳ２２９において、平坦判定部４３は、ステップＳ２２８の演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを算出する。このとき、例えば、式（６）により、平均偏差ｓｔｄ＿ａｒｅａが算出される。

ステップＳ２３０において、平坦判定部４３は、ステップＳ２２９の処理で演算された平均偏差ｓｔｄ＿ａｒｅａが、予め設定された閾値以上であるか否かを判定する。

なお、ステップＳ２３０では、平坦か否かの判定に用いられる閾値として、ＲまたはＢの長時間露光画素用の閾値、ＲまたはＢの短時間露光画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の４種類の閾値が用意される。

ステップＳ２３０において、閾値未満であると判定された場合、処理は、ステップＳ２３１に進み、平坦判定部４３は、当該処理単位領域が平坦であると判定する。

ステップＳ２３０において、閾値以上であると判定された場合、処理は、ステップＳ２３２に進み、平坦判定部４３は、当該処理単位領域が平坦ではないと判定する。

このようにして、飽和平坦判定処理が実行される。

図２６に戻って、ステップＳ２１１において、平坦判定部４３は、ステップＳ２１０の処理の結果、当該処理単位領域が平坦と判定されたか否かを判定し、平坦と判定された場合、処理は、ステップＳ２１２に進む。

ステップＳ２１２において、欠陥判定部４５は、飽和平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２１２の処理は、図１７のステップＳ２５と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２１２では、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。

ステップＳ２１３において、欠陥補正部４６は、飽和平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ステップＳ２１３の処理は、図１７のステップＳ２６の処理と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０６では、置き換える画素として、注目画素がＲのとき、図１０のＲ_０、Ｒ_２、Ｒ_５、またはＲ_７が用いられ、注目画素がＧのとき、図１２のＧ_０乃至Ｇ_７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。

一方、ステップＳ２１１において、ステップＳ２１０の処理の結果、当該処理単位領域が平坦ではないと判定された場合、処理は、ステップＳ２１４に進む。

ステップＳ２１４において、方向検出部４４は、飽和方向検出処理を実行する。これにより、テクスチャの方向が検出される。

ステップＳ２１４の処理は、図１７のステップＳ２７と同様の処理である。

ただし、ステップＳ２１４では、長時間露光画素は飽和していると考えられるので、Ｇの短時間露光画素のみを用いた方向検出が行われる。

すなわち、方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接するＧの画素の差分絶対値を計算する。このとき、図１３に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接するＧの画素の差分絶対値をそれぞれ計算する。

そして、領域内の欠陥画素の影響を排除するために、各方向の複数通りの差分絶対値について、下位４通りが選択され、各方向における４通りの差分絶対値の平均値が算出される。なお、水平方向における４通りの差分絶対値の平均値、および、垂直方向における４通りの差分絶対値の平均値は、それぞれ√２倍される。

さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。

なお、注目画素がＧの短時間露光画素またはＢの画素の場合は、Ｇの短時間露光画素の数が最も多くなる３５（＝７×５）画素の領域を抽出すると、注目画素の位置がその領域の中心とならない。その場合、注目画素の左に位置する画素を中心とした場合の方向検出結果を流用するものとする。

ステップＳ２１５において、欠陥判定部４５は、図２８を参照して後述する飽和非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。

ステップＳ２１６において、欠陥補正部４６は、図２９乃至図３１を参照して後述する飽和非平坦欠陥判定処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。

ここで、図２８のフローチャートを参照して、図２６のステップＳ２１５の飽和非平坦欠陥判定処理の詳細な例について説明する。

ステップＳ２４１において、欠陥判定部４５は、注目画素の色に応じて、同色で同露光時間の画素の画素値の平均値を算出する。

例えば、注目画素がＲまたはＢである場合、欠陥判定部４５は、図１０において白色であり円の付された位置の４つの画素の画素値の平均値を算出し、注目画素がＧである場合、欠陥判定部４５は、図１１において円の付された位置の８つの画素の画素値の平均値を算出する。

ステップＳ２４２において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、ステップＳ２４１で算出された平均値の平方根、および、ステップＳ２１４の処理で方向検出部４４により検出された方向に対応する平均値（４通りの差分絶対値の平均値）を用いて閾値が演算される。なお、ここでは、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が演算される。

ステップＳ２４３において、欠陥判定部４５は、ステップＳ２４１で算出された平均値と注目画素の画素値との差分絶対値が、ステップＳ２４２で演算された閾値以上であるか否かを判定する。ステップＳ２４３で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。

ステップＳ２４３において、閾値以上であると判定された場合、処理は、ステップＳ２４４に進む。

ステップＳ２４４において、欠陥判定部４５は、注目画素の画素値が、ステップＳ２４１で算出された平均値より大きいか否かを判定する。

ステップＳ２４４において、注目画素の画素値が、ステップＳ２４１で算出された平均値より大きいと判定された場合、処理は、ステップＳ２４５に進み、注目画素は白点欠陥画素と判定される。

一方、ステップＳ２４４において、注目画素の画素値が、ステップＳ２４１で算出された平均値より小さいと判定された場合、処理は、ステップＳ２４６に進み、注目画素は黒点欠陥画素と判定される。

このようにして、飽和非平坦欠陥判定処理が実行される。

次に、図２９乃至図３１のフローチャートを参照して、図２６のステップＳ２１６の飽和非平坦欠陥補正処理の詳細な例について説明する。

ステップＳ２６１において、欠陥補正部４６は、注目画素がＧの画素であるか否かを判定し、Ｇの画素であると判定された場合、処理は、ステップＳ２６２に進む。

ステップＳ２６２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ２６３に進む。

ステップＳ２６３において、欠陥補正部４６は、ステップＳ２１４の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。

ステップＳ２６４において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２６３の処理で選択された画素の画素値のうち、小さい方の画素値と置き換えることにより補正する。

一方、ステップＳ２６２において、黒点欠陥画素でないと判定された場合、処理は、ステップＳ２６５に進む。

ステップＳ２６５において、欠陥補正部４６は、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ２６６に進む。

ステップＳ２６６において、欠陥補正部４６は、ステップＳ２１４の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。

ステップＳ２６７において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２６６の処理で選択された画素の画素値のうち、大きい方の画素値と置き換えることにより補正する。

ステップＳ２６２乃至ステップＳ２６７の処理では、例えば、テクスチャの方向が水平方向の場合、図１１のＧ_３およびＧ_４が選択される。また、テクスチャの方向が垂直方向の場合、図１１のＧ_１およびＧ_６が選択される。さらに、テクスチャの方向が＋４５°方向の場合、図１１のＧ_２およびＧ_５が選択される。また、テクスチャの方向が−４５°方向の場合、Ｇ_０およびＧ_７が選択される。

そして、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換えられる。また、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換えられる。

一方、ステップ２６１において、注目画素がＧの画素ではない（すなわち、注目画素はＲまたはＢの画素）と判定された場合、処理は、図３０のステップＳ２８１に進む。

ステップＳ２８１において、欠陥補正部４６は、ステップＳ２１４の処理で検出されたテクスチャの方向は垂直方向であるか否かを判定し、垂直方向であると判定された場合、処理は、ステップＳ２８２に進む。

ステップＳ２８２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ２８３に進む。

ステップＳ２８３において、欠陥補正部４６は、ステップＳ２１４の処理で検出されたテクスチャの方向に基づいて、注目画素と同色で同露光時間の画素を選択する。

ステップＳ２８４において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２８３の処理で選択された画素のうち、小さい方の画素値によって置き換える。

一方、ステップＳ２８２において、黒点欠陥画素ではないと判定された場合、処理は、ステップＳ２８５に進む。

ステップＳ２８５において、欠陥補正部４６は、注目画素は白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ２８６に進む。

ステップＳ２８６において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２８５の処理で選択された画素のうち、大きい方の画素値によって置き換える。

ステップＳ２８２乃至ステップＳ２８７の処理では、例えば、テクスチャの方向が＋４５°方向の場合、図１５のＲ_２およびＲ_５が選択される。テクスチャの方向が−４５°方向の場合、図１５のＲ_０およびＲ_７が選択される。

テクスチャの方向が水平方向の場合、図１５のＲ３およびＲ４が選択される。なお、均一露光配列の場合、注目画素と水平方向に最も近い同色の画素は、注目画素の露光時間とは異なる露光時間の画素となるため、３５（＝７×５）画素の方向検出領域をさらに拡張した４５（＝９×５）画素の方向検出領域から画素を選択する必要がある。

そして、注目画素が黒点欠陥画素の場合、選択された画素のうち、小さい方の画素値によって置き換えられ、注目画素が白点欠陥画素の場合、選択された画素のうち、大きい方の画素値によって置き換えられる。

一方、ステップＳ２８１において、テクスチャの方向は垂直方向であると判定された場合、処理は、図３１のステップＳ３０１に進む。

ステップＳ３０１において、欠陥補正部４６は、線形補間によって仮想的な画素の画素値を求める。

すなわち、テクスチャの方向が垂直方向の場合、垂直方向の２つの位置の画素値を線形補間によって求める。例えば、図１４の（Ｒ０＋Ｒ２）／２として算出される画素値を有する仮想的な画素値、および、（Ｒ５＋Ｒ７）／２として算出される画素値を有する仮想的な画素値が算出される。均一露光配列の場合、５行分の領域の中に、垂直方向に同色で同露光時間の画素が存在しないからである。

ステップＳ３０２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ３０３に進む。

ステップＳ３０３において、欠陥補正部４６は、ステップＳ３０１の処理で求めた仮想的な画素値のうち、小さい方の画素値を補正候補値とする。

一方、ステップＳ３０２において、黒点欠陥画素ではないと判定された場合、処理は、ステップＳ３０４に進む。

ステップＳ３０４において、欠陥補正部４６は、注目画素は白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ３０５に進む。

ステップＳ３０５において、欠陥補正部４６は、ステップＳ３０１の処理で求めた仮想的な画素値のうち、大きい方の画素値を補正候補値とする。

ステップＳ３０６において、ステップＳ３０３またはステップＳ３０５で得られた補正候補値について、短時間露光時間に係る画素値が、（長時間露光の露光時間/短時間露光の露光時間）で求められるゲインを乗じて補正される。

ステップＳ３０７において、欠陥補正部４６は、垂直方向の注目画素と同色の画素の平均値を求める。例えば、図１４の場合、(Ｒ_１＋Ｒ_６)／２が算出される。なお、Ｒ１とＲ６は、線形補間により求められた仮想的な画素の画素値である。

ステップＳ３０８において、欠陥補正部４６は、ステップＳ３０３またはステップＳ３０５で得られた補正候補値と、ステップＳ３０７で得られた平均値の差分絶対値を求める。

ステップＳ３０９において、欠陥補正部４６は、ステップＳ３０８で得られた差分絶対値に基づいて、補正候補値に注目画素の画素値が混合される際の混合比率を決定する。

このとき、例えば、図１５を参照して上述したように、混合比率が決定される。

ステップＳ３１０において、欠陥補正部４６は、ステップＳ３０９で得られた混合比率に基づいて、補正候補値に注目画素の画素値を混合することによって、注目画素の画素値を補正する。

このようにして、飽和非平坦欠陥補正処理が実行される。

以上のようにして、均一露光配列欠陥補正処理が実行される。

以上においては、本技術を、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得るイメージセンサに適用する例について説明した。しかし、本技術は、ベイヤー配列の画素アレイ内において、画素の位置に応じて受光感度を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得るイメージセンサに適用することも可能である。

また、本技術が適用されるイメージセンサは、必ずしもベイヤー配列の画素アレイを有するイメージセンサに限られるものではない。

図３２は、本技術の一実施形態に係る半導体装置としての固体撮像装置の構成例を示す図である。同図において、同図に示される固体撮像装置１００は、例えば、ＳＶＥ（Spatially Varying Exposure）方式を採用したイメージセンサであって、図１７乃至図３１を参照して上述した処理を実行可能なイメージセンサ１００として構成される。

イメージセンサ１００は、図３２に示されるように、第１チップ（上チップ）１０１と第２チップ（下チップ）１０２の積層構造を有している。このイメージセンサ１００は、後で述べるように、ウェハレベルで貼り合わせ後、ダイシングで切り出した積層構造の固体撮像装置として形成される。

上下２チップの積層構造において、例えば、第１チップ１０１はイメージセンサチップ、第２チップ１０２は第１チップの制御回路および画像処理回路を含むロジックチップとして構成される。

ボンディングパッドＢＰＤおよび入出力回路は第２チップ（下チップ）１０２に形成されており、第１チップ（上チップ）には、第２チップ１０２にワイヤーボンドするための開口部ＯＰＮが形成されている。

図３２のイメージセンサ１００の図中上側であって、第１チップ１０１の中央に行露光配列、または、均一露光配列で、短時間露光画素および長時間露光画素が配置された画素アレイが形成される。

そして、第２チップ（下チップ）１０２には、図３に示される画像処理装置１０の機能を実現するための回路などが形成されている。

図３３は、本実施形態に係る積層構造のイメージセンサのプロセスフローを説明する図である。

図３３Ａに示されるように、上下のチップをそれぞれ最適なプロセスで作製したウェハーを貼りあわせた後に、上チップの裏面を研磨し上チップのウェハー厚を薄くする。第１チップ（上チップ）１０１側にパターニング後、第１チップ１０１側から第２チップ（下チップ）１０２の配線層までの貫通穴を開け、金属で埋めてビア（ＶＩＡ）を形成する。

図３３Ｂに示されるように、このＶＩＡにより上下チップ間の信号線および電源線が電気的に接合される。

そして、図３３Ｃに示されるように、第１チップ（上チップ）１０１側に、カラーフィルタおよびマイクロレンズの加工を行った後に、ダイシングによりチップとして切り出す。

図３４は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。

図３４の撮像装置６００は、レンズ群などからなる光学部６０１、固体撮像装置（撮像デバイス）６０２、およびカメラ信号処理回路であるＤＳＰ回路６０３を備える。また、撮像装置６００は、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７、および電源部６０８も備える。ＤＳＰ回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７および電源部６０８は、バスライン６０９を介して相互に接続されている。

光学部６０１は、被写体からの入射光（像光）を取り込んで固体撮像装置６０２の撮像面上に結像する。固体撮像装置６０２は、光学部６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置６０２として、上述した実施の形態に係るイメージセンサ１００等の固体撮像装置を用いることができる。

表示部６０５は、例えば、液晶パネルや有機ＥＬ(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置６０２で撮像された動画または静止画を表示する。記録部６０６は、固体撮像装置６０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。

操作部６０７は、ユーザによる操作の下に、撮像装置６００が有する様々な機能について操作指令を発する。電源部６０８は、ＤＳＰ回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６および操作部６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部と
を備える固体撮像装置。
（２）
前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されている
（１）に記載の固体撮像装置。
（３）
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている
（１）に記載の固体撮像装置。
（４）
前記画素値補正部は、
前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正する
（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）
前記処理単位領域の行数は５である
（４）に記載の固体撮像装置。
（６）
前記画素値補正部は、
前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、
前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、
前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、
前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部と
を備える（４）に記載の固体撮像装置。
（７）
前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行う
（６）に記載の固体撮像装置。
（８）
前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行う
（７）に記載の固体撮像装置。
（９）
前記欠陥補正部は、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正する
（８）に記載の固体撮像装置。
（１０）
前記欠陥補正部は、
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、
前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成する
（９）に記載の固体撮像装置。
（１１）
前記欠陥補正部は、さらに、
前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合する
（１０）に記載の固体撮像装置。
（１２）
前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備える
（６）に記載の固体撮像装置。
（１３）
積層型のイメージセンサとして構成され、
第１のチップに前記画素アレイが配置され、
第２のチップに前記画素値補正部の機能を実現するための回路が形成される
（１）乃至（１３）のいずれかに記載の固体撮像装置。
（１４）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップ
を含む固体撮像方法。
（１５）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置
を備える電子機器。

１０ 画像処理装置， ２１ 欠陥補正処理部， ２２ ＨＤＲ合成処理部， ２３ 階調変換処理部， ４１ ゲイン補正部， ４２ 飽和判定部， ４３ 平坦判定部， ４４ 方向検出部， ４５ 欠陥判定部， ４６ 欠陥補正部， １００ イメージセンサ， １０１ 第１チップ， １０２ 第２チップ， ６００ 撮像装置， ６０２ 固体撮像装置

Claims (15)

1. 異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
   前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部と
   を備える固体撮像装置。
2. 前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されている
   請求項１に記載の固体撮像装置。
3. 前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている
   請求項１に記載の固体撮像装置。
4. 前記画素値補正部は、
   前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正する
   請求項１に記載の固体撮像装置。
5. 前記処理単位領域の行数は５である
   請求項４に記載の固体撮像装置。
6. 前記画素値補正部は、
   前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、
   前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、
   前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、
   前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、
   前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部と
   を備える請求項４に記載の固体撮像装置。
7. 前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行う
   請求項６に記載の固体撮像装置。
8. 前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行う
   請求項７に記載の固体撮像装置。
9. 前記欠陥補正部は、
   前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正する
   請求項８に記載の固体撮像装置。
10. 前記欠陥補正部は、
    前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、
    前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成する
    請求項９に記載の固体撮像装置。
11. 前記欠陥補正部は、さらに、
    前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合する
    請求項１０に記載の固体撮像装置。
12. 前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備える
    請求項６に記載の固体撮像装置。
13. 積層型のイメージセンサとして構成され、
    第１のチップに前記画素アレイが配置され、
    第２のチップに前記画素値補正部の機能を実現するための回路が形成される
    請求項１に記載の固体撮像装置。
14. 異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップ
    を含む固体撮像方法。
15. 異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
    前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置
    を備える電子機器。

Images