JP2011146893A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】ノイズの影響を受けたカラーフィルターアレイ画像の補間処理を高精度に行う。
【解決手段】イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルター４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置において、前記カラーイメージセンサーにおける撮影条件を取得する撮影条件取得手段９と、前記撮影条件に応じて周波数帯域の分割を変更する帯域分割設定手段８と、前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出する抽出手段８と、前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換する色変換手段８とを備える。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関するものである。

従来、デジタルカメラでは単板イメージセンサーでカラー情報を取得するためにイメージセンサーに、例えばベイヤーパターンによるカラーフィルターアレイを配置し複数の色成分を検出している（例えば、特許文献１参照）。

ＵＳＰ３，９７１，０６５

ところで、カラーフィルターアレイを使った単板カラーイメージセンサーでは各画素毎には一つの色成分しか検出できないため、各画素でＲＧＢの情報を有するカラー画像を作成するために補間処理が必要になる。また、得られる信号にはノイズ成分が含まれ、特に高感度撮影時にはノイズの影響が大きくなる。

本発明の目的は、ノイズの影響を受けたカラーフィルターアレイ画像の補間処理を高精度に行うことができる画像処理装置、撮像装置及び画像処理プログラムを提供することである。

本発明の画像処理装置は、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置において、前記カラーイメージセンサーにおける撮影条件を取得する撮影条件取得手段と、前記撮影条件に応じて周波数帯域の分割を変更する帯域分割設定手段と、前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出する抽出手段と、前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換する色変換手段とを備えること特徴とする。

また、本発明の撮像装置は、本発明の画像処理装置を備えることを特徴とする。

また、本発明の画像処理プログラムは、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置に適用される画像処理プログラムであって、前記カラーイメージセンサーにおける撮影条件を取得するステップと、前記撮影条件に応じて周波数帯域の分割を変更するステップと、前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換するステップとを含むことを特徴とする。

本発明の画像処理装置、撮像装置及び画像処理プログラムによれば、ノイズの影響を受けたカラーフィルターアレイ画像の補間処理を高精度に行うことができる。

実施の形態に係るデジタルカメラの構成を示すブロック図である。 実施の形態に係るカラーフィルターアレイの構成について説明するための図である。 実施の形態に係る画像処理部の構成を示すブロック図である。 画像処理について説明するための図である。 カラーイメージセンサーの分光量子効率を示すグラフである。 カラーイメージセンサーの分光量子効率を示すグラフである。 カラーイメージセンサーの分光量子効率を示すグラフである。 ローパスフィルターのパラメータ各次のフィルター特性を示すグラフである。 ＲａｗデータのＲＧＢ各色の補間誤差を示すグラフである。 色差による補間精度を示すグラフである。 ノイズによる影響を含む補間精度を示すグラフである。 実施の形態に係るカラーフィルターアレイの構成について説明するための図である。 補間精度を色差の次元で評価した結果を示すグラフである。 色差でみた補間後のノイズを示すグラフである。 色差でみた補間誤差を示すグラフである。

以下、図面を参照して本発明の第１の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。図１は、第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、撮影レンズ２を介して入射した被写体光によって、入射面にカラーフィルターアレイ４を有するイメージセンサー６上に被写体像を結像させ、この被写体像をイメージセンサー６で電気信号に変換する。ここでカラーフィルターアレイ４及びイメージセンサー６は、カラーイメージセンサーを構成する。カラーフィルターアレイ４は、例えば図２（ａ）に示すように、４つの画素の中の左上及びその対角である右下の画素に対して緑色（Ｇ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルターをアレイ状に配列したベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）である。なお、この実施の形態では、カラーフィルターアレイ４の代わりに例えば図２（ｂ）に示すような、４つの画素の中の左上の画素に対して緑色（Ｇ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルター、右下の画素に対してエメラルド色（Ｅ）のカラーフィルターをアレイ状に配列した４色カラーフィルターアレイを備えたカラーイメージセンサーを用いる場合もある。詳細は後述する。

イメージセンサー６から出力された電気信号は、画像処理部８に入力される。また、画像処理部８には、撮影条件取得部９において取得したイメージセンサー６における撮影条件、例えば画像のノイズ量、撮影レンズ２の解像度、画像の合焦情報、画像の彩度、イメージセンサー６の分光感度等が入力される。画像処理部８においては、図示しないメモリ等から読み込まれた画像処理プログラムが実行されることにより、撮影条件取得部９から入力された撮影条件に基づいて選択された後述のパラメータを用いて補間等の画像処理が行われる。画像処理部８において画像処理された画像は記録部１０に記録される。

図３は、第１の実施の形態に係る画像処理部８の構成を示すブロック図である。画像処理部８は、ホワイトバランス処理部１２、第１階調処理部１４、補間処理部１６、第１色変換処理部１８、第２階調処理部２０、第２色変換処理部２２、エッジ強調処理部２４及び圧縮処理部２６を備えている。

ホワイトバランス処理部１２においては、無彩色の被写体を撮影した時にカラーイメージセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。この処理は、例えば画像中の最も明るい領域が無彩色だとの仮定の元、その領域のＲＧＢの値が同じになるようなゲインとしても良いし、予めユーザーが撮影光源を設定しその光源に応じたゲインを設定しても良い。また撮影シーンの判定を行い人物の顔領域が肌色になるようなゲインを設定しても良い。ホワイトバランス処理部１２では各画素のＲＧＢにホワイトバランス係数を掛ける。

次に、第１階調処理部１４においては、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。定数γは、γ＝２．２程度が良い。なおγ＝１として実質的に階調処理を行わないようにしても良い。

次に、補間処理部１６においては、ＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ）画像を補間し、各画素にＲＧＢの揃ったカラー画像を生成する。補間の方法としてEric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., vol.12, pp.847,2005やKeigo Hirakawa and Patrick J. Wolfe, “Spatio-Spectral Color Filter Array Design for Optimal Image Recovery,” IEEE Tras. Image Process., vol. 17, pp. 1876, 2008記載の方法のようにＣＦＡ画像を周波数帯域で分割して輝度信号Ｌ，色差信号Ｃ_１，Ｃ_２成分の抽出を行う。ここで、ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、周波数解析を行うと低周波領域にＬ、高周波領域にＣ_１，Ｃ_２の成分が現れる。ここで、Ｌ，Ｃ_１，Ｃ_２はそれぞれ、
Ｌ＝（２Ｇ＋Ｂ＋Ｒ）／４
Ｃ_１＝（２Ｇ−Ｂ−Ｒ）／４
Ｃ_２＝（Ｂ−Ｒ）／４
で表される。

ここで輝度成分ＬはＢａｙｅｒＣＦＡ画像において低周波成分として現れ、色差成分Ｃ_１は（−１／２，−１／２）を中心とする周波数域に変調され、色差成分Ｃ_２は（０，−１／２）、（−１／２，０）を中心とする周波数域に変調されて分布する。このＬ，Ｃ_１，Ｃ_２成分をローパスフィルター、またはバンドパスフィルターを用いて抽出し、ＢａｙｅｒＣＦＡ画像の補間を行うことにより画素毎にＲＧＢの揃ったカラー画像を得ることができる。なお、この実施の形態では、ローパスフィルターを用いてＬ，Ｃ_１，Ｃ_２成分を抽出するローパスフィルター処理（ＬＰＦ処理）を例に挙げて説明する。

まず、ＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，−１／２）の周波数を中心に分布する色差Ｃ_１成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_１（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，０）の周波数を中心に分布する色差Ｃ_２ａ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ａ（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（０，−１／２）の周波数を中心に分布する色差Ｃ_２ｂ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ｂ（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の輝度Ｌ成分を抽出する。Ｃ_１成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_１（ｘ，ｙ）成分とする。また、Ｃ_２ａ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分に戻し、Ｃ’_２ａ（ｘ，ｙ）成分とする。また、Ｃ_２ｂ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_２ｂ（ｘ，ｙ）成分とする。

次に、ＢａｙｅｒＣＦＡ画像からＣ’_１，Ｃ’_２ａ，Ｃ’_２ｂを引いてＬ成分を抽出する（次式参照）。
Ｌ（ｘ，ｙ）= ＣＦＡ（ｘ，ｙ）−Ｃ’_１（ｘ，ｙ）−Ｃ’_２ａ（ｘ，ｙ）−Ｃ’_２ｂ（ｘ，ｙ）

なお、Ｌ成分はＣＦＡ画像に直接ＬＰＦを掛けて抽出しても良い。この場合、色差と輝度は周波数帯域で分離したそれぞれの領域から抽出されているのではなく、一部分重なっている領域が色差と輝度の両方に抽出されることもある。また、ＬＰＦは線形フィルターでなくてもよく、ε-フィルター、σ-フィルターやbilateralフィルターのような画素値の差に依存する非線形フィルターを用いて抽出してもよい。この場合、帯域の違いだけでなく、振幅の違いでも輝度や色差の抽出を行うことができる。

次に、Ｃ_２ａとＣ_２ｂよりＣ_２を求める（数２参照）。

これは輝度成分のパワースペクトルの分布、即ち縦のエッジがある領域か横のエッジがある領域かや、色差成分の分布に応じて例えば

としてαとβを定めてＣ_２を求めても良い。

次に、補完処理部１６により求められた各画素のＬ，Ｃ_１，Ｃ_２の成分を用いて、第１色変換処理部１８において、数４より各画素のＲＧＢの値を求める。

なお、ここではＣＦＡ画像を変調し、ＬＰＦ処理によって色差成分を抽出しているが、ＣＦＡ画像にバンドパスフィルター処理、ハイパスフィルター処理を施して色差成分を抽出し、その後抽出した成分を変調して低周波成分にしてもよい。フィルターの通過帯域は、Ｌ，Ｃ_１，Ｃ_２ａ，Ｃ_２ｂの成分ごとに変えてもよい。また数４の色変換後のＲＧＢのそれぞれの成分に適したフィルターの通過帯域は異なることがあるので、色変換後のＲＧＢのそれぞれを求めるフィルターの通過帯域を設定してもよい。この場合には、３回補完処理が必要になる。また、ここではＢａｙｅｒＣＦＡの補間処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。また、ここでの補間はＬＰＦ処理のみを行っているが、ＣＦＡ画像をフーリエ変換やＤＣＴ変換して輝度色差の帯域を抽出しても良いし、ウェーブレット変換して局所的な空間情報も考慮して輝度色差帯域を抽出しても良い。

次に、第２階調処理部２０において、第１階調処理部１４において行った階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。なお、γ=１の場合はこの処理をスキップできる。

次に、第２色変換処理部２２において、カラーイメージセンサーのＲＧＢデータを出力色空間のＲＧＢデータＲ_０，Ｇ_０，Ｂ_０に変換する（数６参照）。

なお、ｃ_ｉｊはイメージセンサー６の分光感度、光源、出力色空間より定められる定数である。出力色空間の規格としては例えばIEC 61966-2-1 sRGBが挙げられる。そしてさらに出力色空間の定義に従い階調処理が行われる。例えばIEC 61966-2-1 sRGBでは入力画素値ｘに対して出力画素値ｙが

となるような特性で入力ＲＧＢを出力Ｒ'Ｇ'Ｂ'に階調変換を行う。

さらにエッジ強調、圧縮処理のためにＲＧＢからＹＣｂＣｒへ色変換を行っても良い。この色変換は入力がＲ'Ｇ'Ｂ'とすると

となる。

次に、エッジ強調処理部２４により輝度成分Ｙにエッジ強調処理を行う。また、圧縮処理部２６によりＪＰＥＧ、ＪＰＥＧ２０００、ＪＰＥＧ ＸＲ等の圧縮方式で圧縮する。

ここで補間処理部１６において、Ｃ_１，Ｃ_２ａ，Ｃ_２ｂを抽出するのに用いるローパスフィルター（以下、ＬＰＦという。） は撮影被写体や撮影条件、カラーイメージセンサーの特性によって最適化することで高品質な補間画像が得られる。そこで、図４に示す画像処理を考える。即ち、人間の目で見えている被写体の情報に対して撮像素子（カラーイメージセンサ）の分光感度による誤差及び色変換による誤差を加えた画像を画像１、画像１に補間による誤差を加えた画像を画像２、画像２にノイズによる誤差を加えた画像を画像３とし、これらの比較を行うことで最適な補間パラメータを決定することができる。

この実施の形態では、５種類のカラーイメージセンサーＴｙｐｅＣ ３ｃｈ（以下、Ｃ３ｃｈという。）、ＴｙｐｅＮ ３ｃｈ（以下、Ｎ３ｃｈという。）、ＴｙｐｅＣ ４ｃｈ（以下、Ｃ４ｃｈという。）、ＴｙｐｅＮ ４ｃｈ（以下、Ｎ４ｃｈという。）、ＴｙｐｅＮ２ ４ｃｈ（以下、Ｎ_２４ｃｈという。）を用いる。Ｃ３ｃｈ及びＮ３ｃｈは、図２（ａ）に示すようなＢａｙｅｒＣＦＡを備えたカラーイメージセンサーであり、図５（ａ）はＣ３ｃｈ、図５（ｂ）はＮ３ｃｈの分光量子効率を示すグラフである。また、Ｃ４ｃｈ、Ｎ４ｃｈ及びＮ_２４ｃｈは、図２（ｂ）に示すような４色ＣＦＡを備えたカラーイメージセンサーであり、図６（ａ）はＣ４ｃｈ、図６（ｂ）はＮ４ｃｈ、図７はＮ_２４ｃｈの分光量子効率を示すグラフである。

また、図４に示す被写体として、千葉大学三宅研究室標準分光画像（三宅洋一編「分光画像処理入門」東京大学出版会２００６年）である画像Ｐ４ Ｓｔａｎｄａｒｄ Ｉｍａｇｅ（以下、画像Ｐ４という。）を用い、画像Ｐ４の補間をＬＰＦのパラメータを変更しつつ行う。図８は、ＬＰＦのパラメータｆｔｎ０（＝１〜３１）各次のフィルター特性を示すグラフである。ＬＰＦがｆｔｎ０＝１のとき、図８のグラフＡに示すように、ＬＰＦは、約０から約０．２までの周波数帯域を抽出する。同様に、ＬＰＦがｆｔｎ０＝３１のとき、図８のグラフＢに示すように、ＬＰＦは、約０から約０．５までの周波数帯域を抽出する。なお、グラフＣはｆｔｎ０＝３のとき、グラフＤはｆｔｎ０＝５のとき、グラフＥはｆｔｎ０＝７のとき、グラフＦはｆｔｎ０＝９のとき、グラフＧはｆｔｎ０＝１１のとき、グラフＨはｆｔｎ０＝１３のとき、グラフＩはｆｔｎ０＝１５のときのフィルター特性を示している。

まず、Ｒａｗデータの各色成分の補間精度について検討する。具体的には、撮像素子を介し補間処理されたＲａｗデータ（色変換処理がされていない画像データ）と、補間処理及び色変換処理されず、撮像素子を介したのみのＲａｗデータ（補間処理及び色変換処理がされていない画像データ）との差、即ち図４に示す色変換による誤差を考慮しない補間誤差を比較する。図９は、カラーイメージセンサーＣ３ｃｈにおけるＲａｗデータのＲＧＢ各色の補間誤差（ＰＳＮＲ）を示すグラフである。なお、Ｃ３ｃｈ以外のカラーイメージセンサーにおけるＲａｗデータのＲＧＢ各色の補間誤差についてもＣ３ｃｈと同様の傾向を示す。また、表１は、緑（Ｇ）の補間誤差が最も小さくなるｆｔｎ０、及びその時の補間誤差（ＰＳＮＲ）を示している。

表１に示すように、カラーイメージセンサーの特性により最適なＬＰＦ特性は異なる。具体的には、他のカラーイメージセンサーと比較してカラーイメージセンサーＣ３ｃｈにおけるＧの補間誤差が最も小さい。これは、図５（ａ）に示すように、Ｃ３ｃｈの分光量子効率の各色間の重なりが大きいため相関が強く、色差が小さくなるためである。なお、分光量子効率でなく、分光感度においても同様に各色間の重なりが大きいと色差が小さくなる。したがって、カラーイメージセンサーＴｙｐｅＣは、ＴｙｐｅＮと比較してｆｔｎ０が小さく色差の帯域が狭い所で最も補間精度が高くなる。

次に、Ｒａｗデータを色変換した後の各カラーイメージセンサーの補間精度について検討する。例えば、撮像素子を介し色変換処理された画像データ（図４で示す画像１）と、撮像素子を介し補間処理及び色変換処理された画像データ（図４で示す画像２）との差（図４で示す色差ＣＩＥ９４_１−２）を比較する。同様に、図４に示す撮像素子を介さない「人間の目で見えている被写体の情報」と、図４で示す画像１との差（図４で示す色差ＣＩＥ９４_０−１）を比較する。図１０は、カラーイメージセンサーＮ３ｃｈの、色差ＣＩＥ９４（ΔＥ^＊ _９４）による補間精度を示すグラフである。図１０に示すグラフの縦軸である色差ＣＩＥ９４（ΔＥ^＊ _９４） は、その値が小さい程、補間誤差が小さい（補間精度が高い）。なお、Ｎ３ｃｈ以外のカラーイメージセンサーの、色差ＣＩＥ９４_１−２（ΔＥ^＊ _９４）による補間精度についてもＮ３ｃｈと同様の傾向を示す。また、表２は、各カラーイメージセンサーにおいて、色差による補間精度が最大となるｆｔｎ０、及びその時の色差ＣＩＥ９４_１−２を示している。

表２に示すように、カラーイメージセンサーの特性により最適なＬＰＦ特性は異なる。表１ではＣ３ｃｈが最も良い補間精度を有することを示していたが、表２ではＮ３ｃｈが最も良い補間精度を有することを示している。これは、色変換処理により誤差が増幅され、この増幅度合がカラーイメージセンサー毎に異なり、ＴｙｐｅＮが増幅度合の低い特性を有しているためである。なお、デジタル画像は、 Ｒａｗデータの補間誤差（ＰＳＮＲ）より色差（ＣＩＥ９４）で評価する方が適切であるため、以下、色差により補間精度を評価する。

次に、ノイズの影響（図４に示すノイズによる誤差）を考慮した各カラーイメージセンサーの補間精度について検討する。具体的には、光源にＣＩＥ Ｄ６５、ピクセルピッチ４μｍ、ベースラインノイズ０を仮定し、H. Kuniba and R. S. Berns, Journal of Electronic Imaging, vol. 18 (2), 023002 (2009) のモデルを用いて画像（以下、画像Ｐという。）を作成し、図４に示す４種の画像処理を行い、それぞれを比較する。即ち、図４で示す画像１と画像２との差（図４で示す色差ＣＩＥ９４_１−２）、図４で示す画像２と画像３との差（図４で示す色差ＣＩＥ９４_２−３）、図４で示す画像１と画像３との差（図４で示す色差ＣＩＥ９４_１−３）、図４に示す撮像素子を介さない「人間の目で見えている被写体の情報」と画像１との差（図４で示す式差ＣＩＥ９４_０−１）を比較する。

図１１は、カラーイメージセンサーＮ３ｃｈを用い、ＩＳＯ感度１００でのノイズによる影響を含む補間精度（色差ＣＩＥ９４による）を示すグラフである。なお、Ｎ３ｃｈ以外のカラーイメージセンサーにおいてもＮ３ｃｈと同様の傾向を示す。また、表３は、各カラーイメージセンサーにおいて、ノイズなし、ＩＳＯ感度２５，１００，４００，１６００でのノイズの影響を受けた場合における補間精度が最大となるｆｔｎ０、及びその時の色差ＣＩＥ９４_１−３を示している。

表３に示すように、カラーイメージセンサーの特性により最適なＬＰＦ特性は異なる。ノイズの影響を含まない色差ＣＩＥ９４_１−２は、ｆｔｎ０ が大きすぎても小さすぎても大きくなるが、ノイズの影響を含むＣＩＥ９４_２−３は、ｆｔｎ０が大きくなると単調に大きくなり、補間誤差とノイズの影響との両方を考慮した画像の誤差を最小にするｆｔｎ０の値は、ノイズの大きさ（ＩＳＯ感度） によって異なる。即ち、ＩＳＯ感度が高くなる程、画像の誤差を最小にするｆｔｎ０の値は小さくなる。これは、ノイズが色差に与える影響が大きく、画像の誤差を最小にするｆｔｎ０の値を小さくして色差の帯域を狭くすることにより色差が平滑化されノイズの振幅が小さくなるためである。また、画像のノイズ量は、ＩＳＯ感度の大きさにより増加するだけでなく、露光時間の増加により暗電流ノイズが増加するため、増加する場合がある。また、シーン照度の低下によりノイズ量が増加する場合もある。

同様の評価を異なる画像（千葉大学三宅研究室標準分光画像（三宅洋一編「分光画像処理入門」東京大学出版会２００６年）記載の画像Ｐ５ Ｆｒｕｉｔ）に対して行った。各カラーイメージセンサーにおいて、ノイズなし、ＩＳＯ感度２５，１００，４００，１６００でのノイズの影響を受けた場合における補間精度が最大となるｆｔｎ０、及びその時の色差ＣＩＥ９４_１−３を表４に示す。

画像Ｐ５は、合焦している領域が狭く、ｆｔｎ０の値を大きくし、輝度の帯域を狭くしても補間誤差が大きくならない。したがって、画像Ｐのときのｆｔｎ０の値（表３参照）と比較して、画像Ｐ５のときのｆｔｎ０の値は大きくなっている。このように、撮影する被写体によってＬＰＦのパラメータｆｔｎ０を変更することが望ましい。また、被写界深度が浅い場合にはｆｔｎ０の値を大きくし（即ち、色差成分の帯域を広くし）、輝度の帯域を狭くすることが望ましい。なお、被写界深度は、撮影レンズ２の解像度に応じて変化し、例えば撮影レンズ２の焦点距離が長い程、撮影時のＦ値が小さい程、被写体距離が近い程浅くなる。また、被写体に対して合焦している領域にはｆｔｎ０の値を小さくし、輝度の帯域を広くし、被写体に対して合焦していない領域にはｆｔｎ０の値を大きくし、輝度の帯域を狭くすることが望ましい。被写体に対して合焦しているか否かは、オートフォーカスセンサーからの情報や、画素値の標準偏差等に基づいて判別される。また、撮影レンズ２の解像度が低い場合にはｆｔｎ０の値を大きくし、輝度の帯域を広くすることが望ましい。また、ＣＦＡを配置した単版カラーイメージセンサーの前面には通常光学ローパスフィルターが配置され、モアレの発生を抑制するようになっているが、この光学ローパスフィルターの特性によってｆｔｎ０の値を変化させてもよい。例えば、光学ローパスフィルターを使わない場合には解像度の高い画像が得られるので、光学ローパスフィルターを使用した場合より輝度の帯域を広げるとよい。

更に、同様の評価を異なる画像（千葉大学三宅研究室標準分光画像（三宅洋一編「分光画像処理入門」東京大学出版会２００６年）記載の画像Ｐ１ Ｃｈａｒｔ）に対して行った。各カラーイメージセンサーにおいて、ノイズなし、ＩＳＯ感度２５，１００，４００，１６００でのノイズの影響を受けた場合における補間精度が最大となるｆｔｎ０、及びその時の色差ＣＩＥ９４_１−３を表５に示す。

画像Ｐ１は、モノクロの領域が多く、色差の情報が少ないため、画像Ｐのときのｆｔｎ０の値（表３参照）と比較して、画像Ｐ１のときのｆｔｎ０の値は小さくなっている。即ち、輝度の帯域が広くなっている。このように、被写体が無彩色に近い場合等、画像の彩度が低い場合には、ｆｔｎ０の値を小さくし、輝度の帯域を広くすることが望ましい。また、画像を複数の領域に分割し、領域毎に領域内の被写体が無彩色に近いか否かを判別し、輝度の帯域を変化させるようにしてもよい。

第１の実施の形態に係るデジタルカメラによれば、ノイズの影響を受けたＣＦＡ画像の補間処理を高精度に行うことができる。

次に、図面を参照して本発明の第２の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。第２の実施の形態に係るデジタルカメラの構成及び画像処理は、第１の実施の形態に係るデジタルカメラ１の構成及び画像処理と同一であるため、説明を省略する。なお、この実施の形態では、図２（ａ）に示すようなカラーフィルターをアレイ状に配列したカラーフィルターアレイ４の代わりに、例えば図１２（ａ）に示すような、４つの画素の中の左上及び右下の画素に対して青色（Ｂ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して緑色（Ｇ）のカラーフィルターをアレイ状に配列したＢベイヤーカラーフィルターアレイ（Ｂ−ＢａｙｅｒＣＦＡ）を備えたカラーイメージセンサーを用いる場合もある。なお、Ｂ−ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、Ｌ，Ｃ_１，Ｃ_２はそれぞれ、
Ｌ＝（２Ｂ＋Ｇ＋Ｒ）／４
Ｃ_１＝（２Ｂ−Ｇ−Ｒ）／４
Ｃ_２＝（Ｇ−Ｒ）／４
で表される。

また、例えば図１２（ｂ）に示すような、４つの画素の中の左上及び右下の画素に対して赤色（Ｒ）のカラーフィルター、右上の画素に対して緑色（Ｇ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルターをアレイ状に配列したＲベイヤーカラーフィルターアレイ（Ｒ−ＢａｙｅｒＣＦＡ）を備えたカラーイメージセンサーを用いる場合もある。なお、Ｒ−ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、Ｌ，Ｃ_１，Ｃ_２はそれぞれ、
Ｌ＝（２Ｒ＋Ｇ＋Ｂ）／４
Ｃ_１＝（２Ｒ−Ｇ−Ｂ）／４
Ｃ_２＝（Ｂ−Ｇ）／４
で表される。

この実施の形態では、図２（ａ）のグラフに示すような分光量子効率を有するカラーイメージセンサーＣ３ｃｈと、図２（ｂ）のグラフに示すような分光量子効率を有するＮ３ｃｈとを用いる。また、カラーイメージセンサーＣ３ｃｈ及びＮ３ｃｈが備えるカラーフィルターアレイとして、ＢａｙｅｒＣＦＡであるカラーフィルターアレイ４、Ｂ−ＢａｙｅｒＣＦＡ及びＲ−ＢａｙｅｒＣＦＡを入れ替えて使用する。また、図４に示す被写体として画像Ｐ４、光源にＣＩＥ Ｄ６５を使用し、画像Ｐ４の補間をＬＰＦのパラメータｆｔｎ０の値を変更しつつ行う。具体的には、Ｃ_１の帯域に対するｆｔｎ０の値、Ｃ_２の帯域に対するｆｔｎ０の値をそれぞれ独立して変更しつつ画像Ｐ４の補間を行う。

まず、Ｒａｗデータを色変換した後の各カラーイメージセンサーの補間精度について検討する。例えば、撮像素子（カラーイメージセンサー）を介し色変換処理された画像データ（図４で示す画像１）と、撮像素子を介し補間処理及び色変換処理された画像データ（図４で示す画像２）との差（図４で示す色差ＣＩＥ９４_１−２）を比較する。同様に、図４に示す撮像素子を介さない「人間の目で見えている被写体の情報」と、図４で示す画像１との差（図４で示す色差ＣＩＥ９４_０−１）を比較する。図１３は、ＢａｙｅｒＣＦＡを備えたカラーイメージセンサーＮ３ｃｈにおける補間精度を色差の次元で評価した結果を示すグラフである。なお、図１３に示すＥ_１はΔＥ^＊ _９４＝１．６、Ｅ_２はΔＥ^＊ _９４＝１．８、Ｅ_３はΔＥ^＊ _９４＝２．０、Ｅ_４はΔＥ^＊ _９４＝２．２、Ｅ_５はΔＥ^＊ _９４＝２．４のときのグラフである。また、ＢａｙｅｒＣＦＡを備えたカラーイメージセンサーＣ３ｃｈにおいてもＮ３ｃｈと同様の傾向を示す。また、表６は、カラーイメージセンサーＣ３ｃｈ及びＮ３ｃｈのそれぞれがＢａｙｅｒＣＦＡ、Ｂ−ＢａｙｅｒＣＦＡ及びＲ−ＢａｙｅｒＣＦＡのそれぞれを備えた場合において、補間精度が最大となるＣ_１のｆｔｎ０の値とＣ_２のｆｔｎ０の値、及びその時の色差ＣＩＥ９４_１−２を示している。

図１３及び表６に示すように、最適なＣ_１のｆｔｎ０の値は、最適なＣ_２のｆｔｎ０の値より大きい。即ち、Ｃ_１の帯域をＣ_２の帯域より広くすることが望ましい。これは、ＢａｙｅｒＣＦＡのＣ_１、Ｂ−ＢａｙｅｒＣＦＡのＣ_１、Ｒ−ＢａｙｅｒＣＦＡのＣ_１のそれぞれが密度高くサンプリングされている色成分（ＢａｙｅｒＣＦＡではＧ，Ｂ−ＢａｙｅｒＣＦＡではＢ，Ｒ−ＢａｙｅｒＣＦＡではＲ）、即ち高周波成分を含むのに対し、ＢａｙｅｒＣＦＡのＣ_２、Ｂ−ＢａｙｅｒＣＦＡのＣ_２、Ｒ−ＢａｙｅｒＣＦＡのＣ_２のそれぞれが密度高くサンプリングされている色成分を含まないため、Ｃ_１の帯域をＣ_２の帯域より広くすることが望ましい。

また、表６に示すように、カラーイメージセンサーの特性により最適なＬＰＦ特性は異なる。色変換処理される前のＲａｗデータの補間精度はＴｙｐｅＮよりＴｙｐｅＣの方が高いが、表６ではＴｙｐｅＮが最も良い補間精度を有することを示している。これは、色変換処理により誤差が増幅され、この増幅率はＴｙｐｅＣの方がＴｙｐｅＮより大きいためである。ここで、カラーイメージセンサーの出力（Ｒ，Ｇ，Ｂ）は色変換マトリクスを使って、

のように、三刺激値ＸＹＺに変換する。添字ｎのついている値は白色での値になる。カラーイメージセンサーＴｙｐｅＣ及びＴｙｐｅＮの色変換マトリクスＭ_Ｃ及びＭ_Ｎはそれぞれ、

となっており、これから色変換でのノイズ増幅率はＬ^＊，ａ^＊，ｂ^＊（Ｌ^＊ａ^＊ｂ^＊色空間の各座標）毎にＴｙｐｅＣ及びＴｙｐｅＮで、

となる。ＴｙｐｅＣでａ^＊方向のノイズ増幅が特に大きい。また、輝度（Ｙ）への寄与はＧチャンネルが大きく、ＹはＬ^＊，ａ^＊，ｂ^＊のいずれにも寄与するので緑（Ｇ）を精度良く補間出来るＢａｙｅｒＣＦＡの補間誤差が小さいと考えられる。なお、Ｌ^＊，ａ^＊，ｂ^＊は、

で定義されている。Ｒチャンネルのノイズ増幅が大きく、ａ^＊，ｂ^＊の定義に基づくとＺよりもＸの方が視覚にとって重要であろうにもかかわらず、補間誤差はＲ−ＢａｙｅｒＣＦＡの方がＢ−ＢａｙｅｒＣＦＡよりも大きい。これは、Ｒ−ＢａｙｅｒＣＦＡの補間誤差そのものが大きいためであると考えられる。色差で最適なパラメータでのＲＧＢそれぞれのＲａｗデータの補間誤差を表７に示す。

表７に示すように、Ｂ−ＢａｙｅｒＣＦＡのＴｙｐｅＣは、 Ｒ−ＢａｙｅｒＣＦＡの ＴｙｐｅＣより補間精度がＢ，Ｇで良く、Ｒでやや落ちる。ＴｙｐｅＣでは色変換での誤差の増幅の観点からａ^＊の精度が重要である。つまりＸとＹの精度が重要で、これはＲとＧ の精度に関係する。一方、Ｂ−ＢａｙｅｒＣＦＡのＴｙｐｅＮは、Ｒ−ＢａｙｅｒＣＦＡのＴｙｐｅＮに比べ、補間精度がＢで良く、Ｇでやや悪く、Ｒで悪い。ＴｙｐｅＮでは色変換での誤差の増幅の観点からａ^＊とｂ^＊の精度はほぼ同じ程度重要である。これはＲ，Ｇ，Ｂ全ての精度に関係する。このＲＧＢの補間精度と、色変換での誤差の増幅のバランスによって総合的な補間誤差が決定すると考えられる。

次に、Ｒａｗデータにセンサーノイズ (フォトンショットノイズ) が含まれる場合における補間後の画像についてそのノイズの影響を調べた。即ち、ノイズを含まないシミュレーションでの補間後画像と、ノイズを含むシミュレーションでの補間後画像との差を色差で評価した。また、各画素でＲＧＢすべてのチャンネルを取得した場合における画像とノイズを含むシミュレーションでの補間後画像との差も色差で評価した。後者は補間誤差とノイズの両方を評価する事になる。シミュレーションパラメータとして、ピクセルピッチ４μｍ、カラーイメージセンサーはＣ３ｃｈ及びＮ３ｈ、ベースラインノイズ０で、ＩＳＯ感度２５，１００，４００，１６００を用いる。

補間によって変調されたセンサーノイズはｆｔｎ０が大きくなると増加する。ｆｔｎ０が大きくなると補間時の色差成分の帯域が大きくなるため、色差の高周波成分まで復元する。輝度成分より色差成分がセンサーノイズの影響を大きく受け、高周波成分が主である。したがって、補間での色差の帯域を大きくするとセンサーノイズの影響をよりうけやすくなると考えられる。色差の帯域を狭める（ｆｔｎ０を小さくする）と色差が平滑化され、ノイズ低減効果があると思われる。

Macbeth ColorCheckerの平均のＬ^＊ａ^＊ｂ^＊色空間でのノイズ揺らぎは、ＩＳＯ１６００の場合、

であり、ａ^＊成分が大きい。ａ^＊成分は、概ねｒｅｄ−ｇｒｅｅｎの方向であり、ＢａｙｅｒＣＦＡでは、Ｃ_２＝（−Ｒ＋Ｂ）／４よりもＣ_１＝（−Ｒ＋２Ｇ−Ｂ）／４成分にノイズが含まれやすいと考えられる。

図１４は、ＢａｙｅｒＣＦＡを備えたカラーイメージセンサーＮ３ｃｈの、ＩＳＯ感度１００での色差（ＣＩＥ９４_２−３）でみた補間後のノイズを示すグラフである。なお、図１４に示すＥ_１０はΔＥ^＊ _９４＝１．２、Ｅ_１１はΔＥ^＊ _９４＝１．４、Ｅ_１２はΔＥ^＊ _９４＝１．６、Ｅ_１３はΔＥ^＊ _９４＝１．８のときのグラフである。図１４に示すように、Ｃ_１のｆｔｎ０を大きくする（Ｃ_１の帯域を広げる、即ちＣ_１の平滑化を弱める) と、急激にノイズが大きくなる。一方、Ｂ−ＢａｙｅｒＣＦＡでは、Ｃ_２＝（−Ｒ＋Ｇ）／４のため、Ｃ_２のｆｔｎ０を大きくする（Ｃ_２の帯域を広げる、即ちＣ_２の平滑化を弱める) と、急激にノイズが大きくなる。Ｒ−ＢａｙｅｒＣＦＡでは、ノイズ量のＣ_１ とＣ_２の帯域の非対称性はあまり強くない。

ノイズを含むシミュレーションでの補間後画像においては、ＩＳＯ感度が高い程ノイズの影響を強く受けるため、ＩＳＯ感度が高くなるに従い、ｆｔｎ０が小さい方が補間後画像の色差が小さくなる。特に、ＢａｙｅｒＣＦＡでＣ_１のｆｔｎ０が小さいとイメージセンサーのｒｅｄ−ｇｒｅｅｎノイズを平滑化する効果が大きい。図１５は、ＢａｙｅｒＣＦＡを備えたカラーイメージセンサーＮ３ｃｈの、ＩＳＯ感度１００での色差（ＣＩＥ９４_１−３）でみた補間誤差を示すグラフである。なお、図１５に示すＥ_２０はΔＥ^＊ _９４＝２．４、Ｅ_２１はΔＥ^＊ _９４＝２．６、Ｅ_２２はΔＥ^＊ _９４＝２．８、Ｅ_２３はΔＥ^＊ _９４＝３．０、Ｅ_２４はΔＥ^＊ _９４＝３．２、Ｅ_２５はΔＥ^＊ _９４＝３．４のときのグラフである。表８はＢａｙｅｒＣＦＡ、表９はＲ−ＢａｙｅｒＣＦＡ、表１０はＢ−ＢａｙｅｒＣＦＡでのノイズを考慮した最小誤差ΔＥ^＊ _９４ を与えるｆｔｎ０の値とその際のΔＥ^＊ _９４を示している。

ＩＳＯ感度が高くなる程ｆｔｎ０は小さくなり、色差の解像度を低下させた方がよく、ＴｙｐｅＮの方がＴｙｐｅＣよりΔＥ^＊ _９４が小さい。しかしながら、ＩＳＯ１６００では、ＴｙｐｅＣの方がＴｙｐｅＮよりＣＩＥ９４_１−３が小さい。

第２の実施の形態に係るデジタルカメラによれば、ノイズの影響を受けたＣＦＡ画像の補間処理を高精度に行うことができる。

なお、上述の各実施の形態においては、画像処理装置としてデジタルカメラを例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる他の画像処理装置においても本発明を適用することができる。

また、上述の各実施の形態においては、ＢａｙｅｒＣＦＡを用いた補間処理について説明しているが、補色フィルター、ＲＧＢＥの四色フィルター、上述のHirakawa and Wolfe (2008) に挙げられている様々なＣＦＡを用いた補間処理についても本発明を適用することができる。

また、上述の各実施の形態においては、図示しないメモリ等からデジタルカメラ１に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の各実施の形態で用いられている画像処理プログラムは、イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルターアレイ４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置としてのデジタルカメラ１に適用される画像処理プログラムであって、カラーイメージセンサーにおける撮影条件を取得するステップと、撮影条件に応じて周波数帯域の分割を変更するステップと、カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、輝度及び複数の色差成分を用いて所定の色成分に色変換するステップとを実行させている。したがって、上述の各実施の形態で用いられている画像処理プログラムによれば、ノイズの影響を受けたＣＦＡ画像の補間処理を高精度に行うことができる。

第２の実施の形態に係るデジタルカメラを用いて画像Ｐ４を使ってシミュレーション画像を作成した。低感度の画像を見ると、ＴｙｐｅＮの方が補間による偽色の色が薄い。高感度の画像では補間による偽色よりもノイズの影響の方が大きい。また、Ｋｏｄａｋ Ｇｒａｙ ＳｃａｌｅのＹやＣの丸の周りに色づきが見られる。これは、補間パラメータの Ｃ_１のｆｔｎ０とＣ_２のｆｔｎ０が異なることにより、Ｃ_１とＣ_２のぼかし量が異なって色バランスがずれて色が付いていると考えられる。Ｃ_１のｆｔｎ０とＣ_２のｆｔｎ０を独立に設定すると全体的な輝度色差の分離は良くなるが、部分的に見ると偽色発生の原因となる。補間の観点からはチャンネル間の相関を考慮して分光感度を設定して補間パラメータのＣ_１のｆｔｎ０とＣ_２のｆｔｎ０が同じになるようにできればよい。

上述したように、ＣＦＡ画像を入力から出力までの全ての課程を考慮したｅｎｄ−ｔｏ−ｅｎｄの系で評価した。評価指標は色差の次元、即ちapproximately perceptually uniform color spaceで評価した。そして、Ｒａｗデータでの評価は、色変換を考慮していないので適切でないことを示した。また、センサーノイズを含めた評価を行い、再現画質を向上させるためには、ノイズが多くなるに従い、補間時に色差成分の周波数帯域を狭くしていくことが良いことを示した。今回評価したイメージセンサセンサーＢａｙｅｒＣＦＡを備えたｔｙｐｅＣ及びＴｙｐｅＮ、Ｒ−ＢａｙｅｒＣＦＡを備えたＴｙｐｅＣ及びＴｙｐｅＮ、Ｂ−ＢａｙｅｒＣＦＡを備えたＴｙｐｅＣ及びＴｙｐｅＮのなかで補間画質が優れているイメージセンサーは、ＢａｙｅｒＣＦＡを備えたＴｙｐｅＮであると言える。これは、補間誤差、ノイズの色変換での増幅が大きな影響を与えていると考えられる。しかしながら、ＢａｙｅｒＣＦＡでＩＳＯ感度が高くなると、最適補間パラメータにおける理想画像からの色差は 、ＴｙｐｅＮの方が大きくなった。また、緑（Ｇ）を赤（Ｒ）や青（Ｂ）より多くサンプルした方が色差で見た補間誤差は小さくなる。緑（Ｇ）をより高精度で補間することにはＬ^＊ａ^＊ｂ^＊ のいずれにもよい効果を与える。

更に、総合的な画質としては、各イメージセンサーの色再現誤差を考慮しなければならない。また補間における色差の平滑化は色差ノイズ振幅の低減と低周波成分化の両方の影響があるので、総合的な画質はそれらのバランスによって決まる。

実施例１によれば、Ｃ_１とＣ_２の帯域を独立して設定することにより全体的により高い補間精度を得ることができることがわかった。この際、Ｃ_１の方がＣ_２より帯域を広く設定するとよいことがわかった。しかしながら、Ｃ_１とＣ_２の帯域が異なるとそれぞれの色差解像度のミスマッチにより色のエッジの周りに偽色が生じる。

また、色差で評価した場合には、色変換でノイズ増幅の小さいＴｙｐｅＮの方がＴｙｐｅＣより補間誤差が小さくなることがわかった。また、フォトンショットノイズを考慮したとき、色差の高周波成分にノイズが多くなるため、Ｃ_１とＣ_２の帯域を狭く設定することによりノイズ成分が抑制されて画質が良くなることがわかった。また、ｒｅｄ−ｇｒｅｅｎ成分にノイズが多く含まれる（特に、ＴｙｐｅＣの場合） ため、ＢａｙｅｒＣＦＡの場合Ｃ_１の帯域を狭く設定することによりノイズを効果的に抑制することができることがわかった。また、どの色差成分の帯域を狭く設定することにより画質を向上させることができるかについては、ＣＦＡにより決まる色差の成分によることがわかった。特に、ノイズが多くなると、ＴｙｐｅＮの方が補間誤差及びノイズ誤差が多くなった。ＴｙｐｅＮでは、色ノイズは少ないが、輝度ノイズはＴｙｐｅＣより多い。したがって、ＴｙｐｅＮでは、輝度ノイズを大きくしないためにＣ_１、Ｃ_２の帯域をＴｙｐｅＣほどに狭く設定しないほうがよく、これが色差ノイズの低減を妨げているのかもしれない。

以上より、チャンネル間の相関が高いと補間精度は良いが、補間誤差の色変換での増幅が大きくなるので、チャンネル間の相関はあまり大きくないイメージセンサーを用いた方がよいことがわかった。また、色差の帯域はそれが含む色成分のサンプリング密度によって異なる。したがって、ＢａｙｅｒＣＦＡでは、Ｇを含むＣ_１の帯域を広く設定することにより補間精度が高くなる。しかし、Ｃ_１とＣ_２の帯域が異なると色境界周りに偽色が生じた。

また、高感度撮影時には、色差の帯域を狭く設定することにより画質が良くなる。ノイズは概ね赤−緑成分が大きく、ＢａｙｅｒＣＦＡでは、Ｃ_１のノイズの方がＣ_２のノイズより大きくなる。しかし、ＢａｙｅｒＣＦＡの色差成分としては、Ｃ_１の帯域がＣ_２より広い。したがって、所定量以上のノイズを含む場合には、Ｃ_１とＣ_２の帯域をほぼ同じになるように設定するとよい。また、Ｒ−ＢａｙｅｒＣＦＡとＢ−ＢａｙｅｒＣＦＡは偏りがちであり、ＢａｙｅｒＣＦＡが最も優れていることがわかった。

例えば色温度の低い電球のような光源では短波長のエネルギーが小さいため、ＣＦＡ画像で取得されるＲＧＢ成分のうちＢ成分のノイズが多くなる。この場合には、ＢａｙｅｒＣＦＡではＣ_２のノイズが多くなることが予想される。従って、撮影光源に応じてフィルターの通過帯域を設定してもよい。

１…デジタルカメラ、２…撮影レンズ、４…カラーフィルター、６…イメージセンサー、８…画像処理部、９…撮影条件取得部、１０…記録部、１２…ホワイトバランス処理部、１４…第１階調処理部、１６…補間処理部、１８…第１色変換処理部、２０…第２階調処理部、２２…第２色変換処理部、２４…エッジ強調処理部、２６…圧縮処理部。

Claims (14)

1. イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置において、
   前記カラーイメージセンサーにおける撮影条件を取得する撮影条件取得手段と、
   前記撮影条件に応じて周波数帯域の分割を変更する帯域分割設定手段と、
   前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出する抽出手段と、
   前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換する色変換手段と、
   を備えること特徴とする画像処理装置。
2. 前記撮影条件は、画像のノイズ量であり、
   前記帯域分割設定手段は、前記ノイズ量が多い程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項１記載の画像処理装置。
3. 前記ノイズ量は、撮影感度に応じて推定することを特徴とする請求項２記載の画像処理装置。
4. 前記ノイズ量は、露光時間に応じて推定することを特徴とする請求項２記載の画像処理装置。
5. 前記ノイズ量は、シーン照度に応じて推定することを特徴とする請求項２記載の画像処理装置。
6. 前記撮影条件は、撮影レンズの解像度であり、
   前記帯域分割設定手段は、前記解像度が低い程、前記色差成分を抽出する前記周波数帯域を広く設定することを特徴とする請求項１記載の画像処理装置。
7. 前記解像度は、被写界深度に応じて推定することを特徴とする請求項６記載の画像処理装置。
8. 前記撮影条件は、画像の合焦情報であり、
   前記帯域分割設定手段は、前記画像が合焦している程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項１記載の画像処理装置。
9. 前記撮影条件は、画像の彩度であり、
   前記帯域分割設定手段は、前記彩度が低い程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項１記載の画像処理装置。
10. 前記撮影条件は、前記イメージセンサーの分光感度であり、
    前記帯域分割設定手段は、前記分光感度のチャンネル間の重なりが大きい程、前記色差成分を抽出する前記周波数帯域を狭くすることを特徴とする請求項１記載の画像処理装置。
11. 前記撮影条件は、前記カラーイメージセンサーにより検出される各画素における各色成分の情報であり、
    前記帯域分割設定手段は、より多く検出される前記色成分の情報を含む前記色差成分を抽出する前記周波数帯域を広く設定することを特徴とする請求項１記載の画像処理装置。
12. 前記撮影条件は、前記カラーイメージセンサーにより検出される各画素における各色成分の情報及び画像のノイズ量であり、
    前記帯域分割設定手段は、より多く検出される前記色成分の情報を含む前記色差成分を抽出する前記周波数帯域を広く、前記ノイズ量がより多い前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項１記載の画像処理装置。
13. 請求項１〜１２の何れか一項に記載の画像処理装置を含む撮像装置。
14. イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置に適用される画像処理プログラムであって、
    前記カラーイメージセンサーにおける撮影条件を取得するステップと、
    前記撮影条件に応じて周波数帯域の分割を変更するステップと、
    前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、
    前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換するステップと、
    を含むことを特徴とする画像処理プログラム。

Images