JP2005354610A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 イメージセンサから取得される色分離画像から、高解像度でノイズや偽色の少ない高品位なカラー画像を生成する。
【解決手段】 イメージセンサによって得られた色分離画像としての第１の画像を用いて、カラー出力画像を生成する画像処理装置であって、カラー入力画像に基づいて、イメージセンサを用いた撮像をシミュレートすることにより、色分離画像の推定画/対応した第２の情報に変換する変換部Ｓ１４４と、上記入力画像に対して定義される画像ペナルティに基づいて入力画像の修正量を算出するペナルティ算出部Ｓ１４５と、第２の情報と修正量とに基づいて上記入力画像を修正することにより、カラー画像としての第３の画像を生成する修正部Ｓ１４６とを有する。第３の画像を上記入力画像として上記各部での処理を繰り返して生成された第３の画像を出力画像とする。
【選択図】 図１

Description

本発明は、単一のカラーイメージセンサを用いて取得した色分離画像からカラー画像を生成する画像処理装置、方法およびプログラムに関し、さらに詳しくは、ノイズ除去、光学ローパスフィルタ補償および欠損画素補填といった処理を含むデモザイク処理を行うものに関する。

デジタルカメラや小型ビデオカメラ等のカラー撮像装置には、単板式カラーイメージセンサが広く用いられている。単板式カラーイメージセンサは、固体撮像素子の前面に、画素ごとに色透過特性が異なるカラーフィルタを特定配列又はランダム配列で設けたカラーフィルタアレイを備えている。例えば、カラーフィルタアレイには、図４に示すように、Ｒ，Ｇ，Ｂに対応する色透過特性を持つカラーフィルタが、Ｒ：Ｇ：Ｂ＝１：２：１の割合で２×２画素毎に周期的に並べられた原色ベイヤ配列（特許文献１参照）が利用される。

このような単板式カラーイメージセンサの出力画像（ＲＡＷ画像）は、各画素に対し単色の情報しか持たないいわゆる色モザイク画像となるため、カラー撮像装置としては、この色モザイク画像を各画素に対してＲ，Ｇ，Ｂの各色情報（カラー情報）を持つカラー画像に変換するデモザイクプロセスが必要となる。

このデモザイクプロセスとしては、各画素において不足している色の情報を周囲の画素から空間的に補間する方法が広く用いられている。

しかし、例えば前述した原色ベイヤ配列では、Ｇで全画素数の１／２、ＲやＢでは全画素数の１／４しか存在しないため、単純に補間しただけでは実質的な解像度が低下してしまう。

この問題を解決するため、適応的な方向選択的平滑化を利用した補間法として、２方向相関法（特許文献２参照）や８方向エッジ検出法（非特許文献１参照）等が提案されている。

一方、近年では、デジタルカメラの性能として、画素数だけでなく、色再現性やダイナミックレンジを重視する傾向がある。このため、４色以上のカラーフィルタで構成されるカラーフィルタアレイを用いたり（特許文献３参照）や、同じクロミナンスでも透過率に大小を設けることにより６種類以上の色のカラーフィルタで構成されるカラーフィルタアレイを用いたりしている（特許文献４参照）。さらに、色モワレを抑える目的から、カラーフィルタアレイの色配列をランダム或いは２×２画素以上の長周期にする技術も提案されている（特許文献５参照）。

さらに、補間演算を反復して行うことにより原画像に近い復元画像を得る反復復元法において、撮影光学系とイメージセンサとの間に配置される光学ローパスフィルタの複屈折性を考慮して復元画像の周波数帯域を制限することにより、ナイキスト周波数を超える帯域まで復元してしまう不適切な画像復元を回避する方法も提案されている（非特許文献２参照）。
米国特許３，９７１，０６５ 米国特許４，６６３，６５５ 特開２００３−２８４０８４号公報（段落００４０〜００４２、図９等） 特開２００２−２０９２２３号公報（段落００３９〜００４７、図５〜図７等） 特開平９−１６８１５７号公報（段落００１４、図２等） Chang,Ed.et.al.,"Color Filter Array Recovery Using a Threshold−based Variable Number of Gradients" Proceedings of SPIE, January, 1999 小松隆、斉藤隆弘「複屈折式光学ローパスフィルタの特性を考慮したデモザイキングの一検討」２００３年映像情報メディア学会年次大会

しかしながら、これらで提案されているデモザイクプロセスは、同色画素の空間的補間を基本としているため、カラーフィルタの色数を増やすと、特定色の画素数が減少して空間解像度の劣化が問題となる。また、ランダムなカラーフィルタ配列でも、局所的に同色画素が疎な領域が発生するため、同様の問題が起こる。

さらに、同色画素とされる画素間でのカラーフィルタアレイの製造誤差に基づく色透過特性の相違が、ノイズとして表れてしまう。

そこで、本発明は、イメージセンサから取得される色分離画像から、高解像度でノイズや偽色の少ない高品位なカラー画像を生成可能な画像処理装置、方法およびプログラムを提供することを例示的な目的とする。

上記の目的を達成するために、本発明は、互いに異なる色光を光電変換する複数の画素を有するイメージセンサによって得られた、各画素が単色情報を有した色分離画像としての第１の画像を用いて、各画素がカラー情報を有したカラー画像としての出力画像を生成する画像処理装置、方法およびプログラムに関する。

１つの観点としての本発明は、カラー画像としての入力画像に基づいて、イメージセンサを用いた撮像をシミュレートすることにより、色分離画像の推定画像としての第２の画像を生成するシミュレーション部（シミュレーションステップ）と、第２の画像と第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較部（比較ステップ）と、第１の情報をカラー画像に対応した第２の情報に変換する変換部（変換ステップ）と、上記入力画像に対して定義される画像ペナルティに基づいて入力画像の修正量を算出するペナルティ算出部（ペナルティ算出ステップ）と、第２の情報と修正量とに基づいて上記入力画像を修正することにより、カラー画像としての第３の画像を生成する修正部（修正ステップ）とを有する。そして、第３の画像を上記入力画像として、上記各部（各ステップ）での処理を繰り返して生成された第３の画像を出力画像とする。

また、他の観点としての本発明は、カラー画像としての入力画像に基づいて、イメージセンサを用いた撮像を、非線形変換を含めてシミュレートすることにより、色分離画像の推定画像としての第２の画像を生成するシミュレーション部（シミュレーションステップ）と、第２の画像と第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較部（比較ステップ）と、第１の情報をカラー画像に対応した第２の情報に変換する変換部（変換ステップ）と、第２の情報に基づいて上記入力画像を修正することにより、カラー画像としての第３の画像を生成する修正部（修正ステップ）とを有する。そして、第３の画像を上記入力画像として、上記各部（各ステップ）での処理を繰り返して生成された第３の画像を出力画像とする。

本発明によれば、単板式カラーイメージセンサより得られる色分離画像から、高精細かつ偽色の少ない高品位なカラー画像を生成することができる。

ここで、本発明のデモザイク処理は、カラーフィルタの配列や色数に制約を与えることがない。このため、非周期的なカラーフィルタ配置や原色・補色にとらわれない任意のカラーフィルタをイメージセンサに設けることができ、解像度の劣化が少なく、高い色再現性やダイナミックレンジを実現することができる。

また、本発明のデモザイク処理は、ノイズ除去、光学ローパスフィルタ補償および欠損画素補填処理をも包含することができる。この場合、別途これらの処理を行う必要性を低減することができる。

以下、本発明の実施例である画像処理方法の概要を説明する。本実施例では、全画素に関して同一ではない色透過特性を持つカラーフィルタアレイを備えたイメージセンサ（言い換えれば、Ｒ，Ｇ，Ｂ等のカラーフィルタが規則的又は不規則的に配列され、互いに異なる色光を光電変換する複数の画素を有するイメージセンサ）から取得される実測色モザイク画像（色分離画像としての第１の画像）を用いて、各画素がカラー情報を有するカラー画像を生成する画像処理方法について説明する。

該画像処理方法は、入力されるカラー画像（入力画像）に基づいて上記イメージセンサを用いた撮影をシミュレートし、該イメージセンサから取得されるであろう画像を推定色モザイク画像（第２の画像）として生成する画像シミュレートステップと、該画像シミュレートステップより得られる推定色モザイク画像とイメージセンサから得られた実測色モザイク画像とを比較する比較ステップと、該比較結果（第１の情報）をカラー画像空間上に展開（変換）する逆射影ステップとを有する。

また、画像シミュレートステップに入力したカラー画像に対して定義される画像ペナルティ（ここでは該カラー画像の不自然さを定義するペナルティ関数）に基づいて該入力カラー画像の修正量を算出する画像ペナルティ算出ステップと、上記展開された比較結果および修正量に基づいて、画像シミュレートステップに入力したカラー画像を修正するフィードバックステップとを備える。

フィードバックステップで修正されたカラー画像（第３の画像）は、画像シミュレートステップおよび画像ペナルティ算出ステップに入力される。されにこれらシミュレートステップ・比較ステップ・逆射影ステップ・画像ペナルティ算出ステップ・フィードバックステップが反復的に複数回実行された後に、フィードバックステップで修正されたカラー画像を出力画像とする。

ここで、写野（被写体）としてのカラー原画像をｆ＝｛ｆＲ，ｆＧ，ｆＢ｝＝｛ｆＲｘ．ｙ，ｆＧｘ．ｙ，ｆＢｘ．ｙ｝とし、モザイク状にＲＧＢの各カラーフィルタが配置されたカラーフィルタアレイを備えたイメージセンサより実際に取得された色分離画像としての色モザイク画像をｇ＝｛ｇ_ｘ．ｙ｝とする。さらに、量子化やノイズが皆無として観測される理想的な色モザイク画像ｇ’＝｛ｇ’_ｘ．ｙ｝をｇ’≡Ａｆとする。Ａはシステム行列であり、カラー原画像が色モザイク画像となるまでのシステム（結像光学系や光学ローパスフィルタ、カラーフィルタアレイ等による変換）を行列で表現したものである。

なお、このような行列式で表す時、ｆやｇは一次元のベクトル｛ｆ_ｊ｝，｛ｇ_ｉ｝と読み替える。画素数ｘ×ｙをＭとするとき、ｉ＝１，２…Ｍ、ｊ＝１，２…３Ｍであり、ＡはＭ行３Ｍ列の行列となる。一般に、画素数Ｍは数十万から数百万である。

撮影されると推定されるカラー画像としての推定カラー画像をｆ^ｋとすると、画像シミュレートステップでは推定色モザイク画像ｇ’^ｋ＝Ａｆ ^ｋ、比較ステップではｄ^ｋ＝ｇ−ｇ’^ｋ、射影ステップではｅ^ｋ＝Ａ^ｔｄ^ｋ、フィードバックステップではｆ^ｎ＋１＝ｆ^ｎ＋μｅ^ｎの計算をそれぞれ行う。

これにより、
（式１） ｆ^ｎ＋１＝ｆ^ｎ＋μＡ^ｔ（ｇ−Ａｆ^ｎ）
が計算される。これらのステップを反復的に複数回動作させることによりｆ^ｋは収束解ｇ＝Ａｆ^ｋに達することができる。

この式においては、ＡやＡ^ｔによる乗算は行列で計算する必要はない。具体的には、シミュレーションステップにおいては、カラーフィルタの特性を模擬した色応答変換や光学ローパスフィルタの特性を模擬したコンボリューション処理を行えばよい。また、逆射影ステップでは、カラーフィルタの特性を模擬した色応答変換に対応した色分配や、光学ローパスフィルタの特性を模擬したコンボリューションの反転コンボシュ−ション処理を行えばよい。

なお、実際には逐次近似であることから、逆射影ステップの処理は正確にＡ^ｔである必要はなく、傾向が一致していればよい。このため、逆射影ステップの処理も厳密にシミュレートステップに対応している必要はなく、簡略なものとすることができる。

さらに、カラー原画像が色モザイク画像となるまでのシステムが非線形の変換Pを持つことも許される。この非線形変換Pは同一基底空間内で要素毎に作用し、要素の大小関係を逆転させないものである。非線形変換としては、固体撮像素子の出力飽和に対するものや特性曲線に対するものが考えられ、特に出力飽和に対するものでは非線形変換Pを一種の凸包と考えることができる。

このとき理想的な色モザイク画像は、ｇ’=Ａｆに替えてｇ’＝Ｐ（Ａｆ）と考えられるが、逆射影では無視して、
(式２) ｆ^ｋ＋１＝ｆ^ｋ＋μＡ^ｔ｛ｇ−Ｐ（Ａｆ^ｋ）｝
を計算すればよい。もちろん、非線形変換の後に線形変換が更にある場合も考えられ、
ｇ’＝Ｐ_１（Ａ_１Ｐ_２（Ａ_２…Ｐ_ｎ（Ａ_ｎｆ）…））であれば、
（式３） ｆ^ｋ＋１＝ｆ^ｋ＋μ（Ａ_１ Ａ_２…Ａ_ｎ）^ｔ［ｇ−Ｐ_１｛Ａ_１Ｐ_２（Ａ_２…Ｐ_ｎ（Ａ_ｎｆ^ｋ）…）｝］
とする。

なお、上記式はｇ’が期待値ｇのガウス分布に従うとした場合に適するが、観測値ｇが期待値ｇ’のポアソン分布に従う場合には、画像シミュレートステップでは、推定画像ｇ’^ｋ＝Ａｆ^ｋ、比較ステップでは、ｄ^ｋ＝ｇ／ｇ’^ｋ、射影ステップではｅ^ｋ＝Ａ^ｔｄ^ｋ、フィードバックステップでは、ｆ^ｋ＋１＝（１／Ａ^ｔ１×ｅ^ｋ）^μ×ｆ^ｋの計算を行う。

なお、分数記号はベクトルの要素毎の除算、「×」はベクトルの要素毎の乗算、１は要素数Ｍの全１ベクトルを示す。これによって、
（式４） ｆ^ｋ＋１＝（１／Ａ^ｔ１×Ａ^ｔｇ／Ａｆ^ｋ）^μ×ｆ^ｋ
が計算され、同様にｆ^ｋは収束解ｇ＝Ａｆ^ｋに達する。

しかし、実際はこれらの逐次式は安定しない。それは、図１８に示されるように、システム行列Ａによる変換であるｇ’＝Ａｆが、要素数３Ｍのベクトルｆから要素数Ｍのベクトルｇ’への劣変換であり、あるベクトルｇ’を導く解ｆが少なくても２Ｍの自由度を持つためである。例えばシステムがローパスフィルタを含めば、この自由度は高周波領域にあるため、反復を繰り返した後の推定カラー画像ｆ^ｋには高周波ノイズが含まれることになる。

そこで、更に推定カラー画像ｆ^ｋの「不自然さ」をペナルティ関数（画像ペナルティ）Ｕ（ｆ^ｋ）で表すとすると、画像ペナルティ算出ステップでは、画像ペナルティに基づく微小修正量としてのδｆ^ｋ＝∇_ｆＵ（ｆ^ｋ）を、フィードバックステップではｆ^ｋ＋１＝ｆ^ｋ＋μ（ｅ^ｋ−βδｆ^ｋ）を計算する。これによって逐次式、
（式５） ｆ^ｋ＋１＝ｆ^ｋ＋μ（Ａ^ｔ（ｇ−Ａｆ^ｋ）−β∇_ｆＵ（ｆ^ｋ））
が計算され、同様にｆ^ｋは収束解として、
（式６） Ａ^ｔ（ｇ−Ａｆ^ｋ）＝β∇_ｆＵ（ｆ^ｋ）
に達する。

この式において、β＝０であれば、ｇ＝Ａｆ^ｋとなるが、βを正の微小値とすれば、測定誤差ε＝ｇ−Ａｆ^ｋを十分に小さな値としつつ、ペナルティ関数Ｕ（ｆ^ｋ）も過大な値になるのを防げる。測定誤差εは、標準偏差をσとすれば、χ^２分布からε^２〜Ｍσ^２になるべきと考えられる。このため、そのような収束解となるβを選択することにより、リーズナブルな測定誤差ε与えるｇ＝Ａｆ＋εの解の内で、最も小さなペナルティ関数Ｕ（ｆ^ｋ）を与える、つまり最も「自然な」画像となる解ｆ^ｋを得ることができる。（図１９参照）。なお、このペナルティ関数Ｕ（ｆ^ｋ）はベイズの定理における事前確率と対応する。

また、観測値ｇが期待値ｇ’のポアソン分布に従う場合、逐次式は、

となる。

なお、これらの式においても、逐次近似であることから、逆射影の処理は正確にＡ^ｔである必要はなく、傾向が一致していればよいのと同様に、∇_ｆＵ（ｆ^ｋ）も正確にＵ（ｆ^ｋ）の勾配（gradient）である必要はなく、カラー画像空間上のベクトルδｆ^ｋであって、Ｕ（ｆ^ｋ＋δｆ^ｋ）＞Ｕ（ｆ^ｋ）であればよい。

次に、ペナルティ関数Ｕ（ｆ^ｋ）について考察する。画像の一般的性質としては、例えば、濃淡自然画像における隣接画素間の相関が高いことから、隣接画素間の差｜∇_ｘ，ｙｆ｜が大きいほど不自然であると考え、ペナルティ関数を
（式８） Ｕ（ｆ^Ｘ）＝ｋ_ＸΣ_ｘ．ｙ（∇_ｘ，ｙｆ^Ｘ）^２
とすると、
（式９） ∇_{ｆＸＵ（ｆ} ^Ｘ）＝ｋ_ＸΔ_ｘ，ｙｆ^Ｘ
となる。ここで、ｋ_ｘは比例定数であり、Δ_ｘ，ｙｆ^Ｘは画素面上で、カーネルを、

とするコンボリューションＨ＊ｆ^Ｘとも表せる。さらに、

とすれば、
（式１０） ∇_ｆＸＵ（ｆ^Ｘ）＝Ｈ＊ｆ^Ｘ ＝２ｋ_Ｘ（ｆ^Ｘ−Ｓ＊ｆ^Ｘ）
である。このＳによるコンボリューションＳ＊は画像の平滑化を行うことから、この平滑化を一般化すると、
（式１１） δｆ^Ｘ ＝ｋ_Ｘ（ｆ^Ｘ−smooth（ｆ^Ｘ））
が考えられる。smooth（ｆ^Ｘ）には、前述のコンボリューションＳ＊に限らず、

といったより大きな半径をもつカーネルによるコンボリューションや、エッジ保存特性に優れたmedianフィルタやbilateralフィルタ等の各種画像平滑化／ノイズ除去フィルタ、あるいはそれらを組み合わせて用いることができる。

これを単純にカラー画像ｆに拡張すれば、
（式１２）
δｆ＝２ｋ_Ｒ（ｆ^Ｒ−smooth（ｆ^Ｒ）），２ｋ_Ｇ（ｆ^Ｇ−smooth（ｆ^Ｇ）），２ｋ_Ｂ（ｆ^Ｂ−smooth（ｆ^Ｂ））｝
である。

しかし、これは色プレーン毎に独立した計算であり、画像輪郭部での偽色を抑えることはできない。偽色を抑えるには、色プレーン間の相関を考慮する必要があると考えられる。このため、カラー自然画像を検討した結果、クロミナンスを色差Ｃｂ，Ｃｒとすると、隣接画素間のクロミナンス差とは高い相関をもつ一方で、輝度の変化する画像輪郭ではクロミナンスも変化する可能性が高いことを発見した。これより、例えば次のようなペナルティ関数が考えられる。

ここで、ｆ^Ｃはｆ^Ｃｂまたはｆ^Ｃｒ、ｄはΔ_ｘ．ｙｆ^Ｙ＝０のときに、商が無限大になるのを防ぐファッジファクターである。これより、画像ペナルティ（クロミナンスプレーンでのペナルティ）は、

となる。

なお、これを用いるときは、輝度プレーンに対し、（式１１）を適用し、カラー画像の輝度−色差表現（ＹＣｂＣｒ）としてのｆ＝｛ｆ^Ｙ，ｆ^Ｃｂ，ｆ^Ｃｒ｝に対して、

とするとよい。

あるいは色プレーン相関を直に用い、色プレーン間の相関が高い方が自然であると考ると、ペナルティ関数Ｕ（ｆ）は色プレーンの相関に逆相関するものとして、ｆ＝｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝に対し、
（式１６）
Ｕ（ｆ）＝（ｋｘ（∇_ｘ，ｙｆ^Ｒ）^２＋（∇_ｘ，ｙｆ^Ｇ）^２＋（∇_ｘ，ｙｆ^Ｂ）^２）
−ｋｃ（∇_ｘ，ｙｆ^Ｒ×∇_ｘ，ｙｆ^Ｇ＋∇_ｘ，ｙｆ^Ｇ×∇_ｘ，ｙｆ^Ｂ＋∇_ｘ，ｙｆ^Ｂ×∇_ｘ，ｙｆ^Ｒ）
とすることも考えられる。なお、「×」は要素毎の乗算を示す。
これより、画像ペナルティを、

（式１７）
δｆ ＝∇_ｆＵ（ｆ）＝｛２ｋｘΔ_ｘ，ｙｆ^Ｒ−ｋｃ（Δ_ｘ，ｙｆ^Ｇ＋Δ_ｘ，ｙｆ^Ｂ），２ｋｘΔ_ｘ，ｙｆ^Ｇ−ｋｃ（Δ_ｘ，ｙｆ^Ｒ＋Δ_ｘ，ｙｆ^Ｂ），２ｋｘΔ_ｘ，ｙｆ^Ｂ−ｋｃ（Δ_ｘ，ｙｆ^Ｒ＋Δ_ｘ，ｙｆ^Ｇ）｝
とすることもできる。

なお、このペナルティ関数を、色プレーン毎に、
（式１８）
Ｕ（ｆ^Ｒ）
＝∇_ｘ，ｙｆ^Ｒ×（ｋｘ∇_ｘ，ｙｆ^Ｒ−ｋｃ∇_ｘ，ｙｆ^Ｇ−ｋｃ∇_ｘ，ｙｆ^Ｂ）
Ｕ（ｆ^Ｇ）
＝∇_ｘ，ｙｆ^Ｇ×（ｋｘ∇_ｘ，ｙｆ^Ｇ−ｋｃ∇_ｘ，ｙｆ^Ｒ−ｋｃ∇_ｘ，ｙｆ^Ｂ）
Ｕ（ｆ^Ｂ）
＝∇_ｘ，ｙｆ^Ｂ×（ｋｘ∇_ｘ，ｙｆ^Ｂ−ｋｃ∇_ｘ，ｙｆ^Ｒ−ｋｃ∇_ｘ，ｙｆ^Ｇ）
但し、ｋｘ＞２ｋｃ
とすると、画像ペナルティは、これらの和とも考えられる。

なお、いままで挙げた各種の係数ｋは明らかでなく、理論的に決定するのは困難である。そこで一つの方法として、最終的な収束解のｆに対して、計測誤差ｇ−Ａｆがリーズナブルな値（ｇ−Ａｆ）^２〜Ｍσ^２となるよう調整するのがよい。

また、別の考え方として、ペナルティ関数Ｕ（ｆ^ｋ）は負のエントロピーだと言える。画像に対するエントロピーの定式化された計算法は確立されていないが、一つの指標として、適切な画像圧縮方式であれば、生成されるデータは負のエントロピーに準じたサイズになることが知られており、
（式１９） Ｕ（ｆ^ｋ）＝［ｆ^ｋを画像圧縮して生成されたデータサイズ］
とすることもできる。

なお、以上では色を３つの基底で表されるものとしたが、２つあるいは４つ以上の基底表現にも容易に拡張できる。

次に、本発明の実施例１である画像処理装置および該画像処理装置を搭載したカラー撮像装置(デジタルカメラ)１００について説明する。

まず、図２において、カラー撮像装置１００は、結像光学系１１０と、単板カラーイメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、視覚補正部１５０と、圧縮部１６０と、記録部１７０とを有する。なお、図２中に示した元カラー画像（カラー原画像）ｆは写野を示した仮想的なものであり、カラー撮像装置１００の構成要素ではないが、説明のため図２中に記す。

撮影された元カラー画像ｆは、結像光学系１１０を介して単板カラーイメージセンサ１２０上に結像する。

ここで、単板カラーイメージセンサ１２０は、固体撮像素子１２３の前面にカラーフィルタアレイ１２２を備えており、固体撮像素子１２０上に結像した像を、Ｒ，Ｇ，Ｂの各色モザイク画像（色分離画像）としてアナログ電気信号に変換する。更にイメージセンサ１２０は、モワレ抑制のため、画素上に到達した光を２×２画素に振り分ける働きを持つ光学ローパスフィルタ（ＬＰＦ）１２１をカラーフィルタアレイ１２２の直前に備えている。

カラーフィルタアレイ１２２は、広く用いられているベイヤ配列のものであれば、図３のように各画素にＲ，Ｇ，Ｂのうち一色のカラーフィルタが並べられており、画素毎にカラーフィルタに対応した色のみが到達する。これにより、各画素が単色情報のみを有する色モザイク画像が固体撮像素子１２３上に結像する。固体撮像素子１２３は、到達した光（つまりは各色の色モザイク画像）を光電変換し、電気信号としてＡＤ変換部１３０に渡す。

光電変換された色モザイク画像は、信号処理が行えるようＡＤ変換部１３０によってデジタル信号に変換され、この信号化された色モザイク画像ｇ＝｛ｇ_ｘ，ｙ｝に対して後に続く処理が行われる。なお、AD変換された直後の色モザイク画像ｇはＲＡＷデータとも呼ばれる。固体撮像素子１２３の画素数をＭとすると、色モザイク画像ｇは要素数Ｍのベクトルである。

上記処理では、まず、デモザイク部１４０によって、色モザイク画像ｇから推定カラー画像ｆ^ｎへの変換が行われる。この推定カラー画像ｆ^ｎ は未知の元カラー画像ｆをなるべく忠実に再現するのが望ましい。推定カラー画像ｆ^ｎの画素数は色モザイク画像ｇと同一とし、各画素の色を３つのパラメータで表現すれば、推定カラー画像ｆ^ｎは要素数３Ｍのベクトルである。本発明の画像処理方法はこの変換処理に関するものであり、後に詳しく説明する。なお、このデモザイク部１４０による推定カラー画像ｆ^ｎは、像面の輝度をリニアに反映したビットマップ画像である。

次に、視覚補正部１５０による処理が行われる。視覚補正部１５０では主として画像の見栄えを良くするための処理が推定カラー画像に対し行われる。例えば、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正が行われる。

そして、最後に、圧縮部１６０で、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。

これらデモザイク部１４０から圧縮部１６０は別体のデバイスとは限らす、単一のマイクロプロセッサ上にこれらデモザイク部１４０から圧縮部１６０が形成されるようにしてもよい。

こうして処理が行われたデジタル画像信号は記録部１７０にてフラッシュメモリ等の半導体メモリや光ディスク、磁気ディスク等の記録媒体に記録される。

次に、上記デモザイク部１４０の動作について、図１のフローチャートを用いて説明する。デモザイク部１４０での処理は、初期画像生成ステップＳ１４１と、画像シミュレートステップ（シミュレーション部）Ｓ１４２と、比較ステップ（比較部）Ｓ１４３と、逆射影ステップ（変換部）Ｓ１４４と、画像ペナルティ算出ステップ（ペナルティ算出部）Ｓ１４５と、フィードバックステップ（修正部）Ｓ１４６と、収束判定ステップＳ１４７と、出力ステップＳ１４８とにより構成されている。このうち画像シミュレートステップＳ１４２から収束判定ステップＳ１４７までは反復ループを形成しており、複数回繰り返される。

また、デモザイク部１４０は、入力データとしてＡＤ変換部１３０より色モザイク画像ｇを受け取り、画像シミュレートステップＳ１４２および逆射影ステップＳ１４４において参照される固定データとして、システム（結像光学系１１０や光学ローパスフィルタ１２１、カラーフィルタアレイ１２２等による変換）情報を、変数として推定カラー画像ｆ^ｎを保持する。

ここでは、デモザイク部１４０における各動作ステップはコンピュータプログラムによって実行されるが、各ステップを部（セクション）とみなすことにより、デモザイク部１４０は上記各部を有する画像処理装置として機能する。
以下に各ステップの動作を説明する。

まず、初期画像生成ステップＳ１４１では、推定カラー画像ｆ^ｎの初期画像ｆ^０を生成する。ここでは、推定カラー画像ｆ^ｎ は、色モザイク画像と同一の水平・垂直サイズとし、各画素に対しＲＧＢの輝度値を持つビットマップ画像による表現形式ｆ^ｎ＝｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝＝｛ｆ^Ｒ _ｘ．ｙ，ｆ^Ｇ _ｘ．ｙ，ｆ^Ｂ _ｘ．ｙ｝とする。このステップで生成される初期推定カラー画像ｆ^０は、最終生成カラー画像には影響を与えないため、どんなカラー画像でもよく、白一色或いは黒一色とした画像を初期推定カラー画像ｆ^０にしてもよい。しかし、初期推定カラー画像ｆ^０はなるべく未知の元カラー画像fに近い方が後の反復回数を減少させることができるため、bi-linear filteringといった従来技術によるデモザイキングプロセスによって初期推定カラー画像ｆ^０を生成するのが望ましい。

画像シミュレートステップＳ１４２では、推定カラー画像ｆ^ｎに対し、それが元カラー画像ｆであったときに得られるであろう推定色モザイク画像ｇ^ｎを生成する。カラー撮像装置１００では、元カラー画像ｆは色モザイク画像ｇとなるまでに結像光学系１１０、光学ＬＰＦ１２１、カラーフィルタアレイ１２２、撮像素子１２３・ＡＤ変換部１４０による影響を受けるため、これらのシステムが元カラー画像ｆに施す作用を推定カラー画像ｆ^ｎに対しても施す。これらの作用を説明する。
まず、結像光学系１１０では、画像の変形や非点収差が生じる。これらはコンボリューション等の画像空間フィルタとして表される。また、結像光学系１１０に色収差がある場合、ＲＧＢの各色プレーンに異なる画像空間フィルタを施すことにより対処することもできる。

光学ＬＰＦ１２１では、前述のように画素上に到達した光を２×２画素に振り分けるため、画素面上でカーネルが、

であるコンボリューションと考えられ、光学系の収差を無視すれば、カラーフィルタアレイ１２２における各画素に対応したカラーフィルタに入射する色｛ｆ’^Ｒ _ｘ．ｙ，ｆ’^Ｇ _ｘ．ｙ，ｆ’^Ｂ _ｘ．ｙ｝は、

となる。なお、光学系の収差として点拡がり関数（ＰＳＦ）を考えるときは、

となる。

また、カラーフィルタアレイ１２２、固体撮像素子１２３およびＡＤ変換部１４０の影響は、画素ごとに入射した色｛ｆ’^Ｒ _ｘ．ｙ，ｆ’^Ｇ _ｘ．ｙ，ｆ’^Ｂ _ｘ．ｙ｝からＡＤ変換出力値ｇ_ｘ，ｙへの色応答変換として、色応答ベクトルＲ_ｘ．ｙによる内積演算としての

で表現できる。色応答ベクトルＲに添え字ｘ．ｙが付くのは、カラーフィルタアレイが画素毎に異なる色透過特性を持つためである。なお、ここではＡＤ変換による量子化は無視する。

以上の影響は全て線形変換であるため、これらの影響をまとめると、行列式ｇ＝Ａｆと表せる。このＡはシステム行列である。

すなわち、画像シミュレートステップＳ１４２ではｇ^ｎ＝Ａｆ^ｎの計算を行うこととなる。システム行列ＡはＭ×３Ｍという巨大な行列になるため、行列の形式で保持しておくことは非現実的であるが、ｆ^ｎに対して前述のようなコンボリューションと色応答演算の組み合わせとして、

を行うことで推定カラー画像ｆ^ｎから推定色モザイク画像（第２の画像）ｇ^ｎを求められる。なお、色応答ベクトルＲやコンボリューションカーネルＫはシステムに対して固定的な値であり、予めシステム情報データとして持っておく。また、このシステム情報データは、数値表に限らず、Ｋ＊の計算式や、フィルタ配列の規則性なども指す。こうして求められた推定色モザイク画像ｇ^ｎは、比較ステップＳ１４３で利用される。

比較ステップＳ１４３では、画像シミュレートステップＳ１４２で生成された推定色モザイク画像ｇ^ｎと、実際にＡＤ変換部１３０から得られた色モザイク画像ｇとの比較を行い、これらの差ｄ^ｎ＝ｇ−ｇ^ｎを逆射影ステップＳ１４４に渡す。

逆射影ステップＳ１４４では、比較ステップＳ１４３により得られた色モザイク画像空間上の差ｄ^ｎをカラー画像空間上のベクトルｅ^ｎに変換する。これは、画像シミュレートステップＳ１４２で推定カラー画像ｆ^ｎから推定色モザイク画像ｇ^ｎへ行った変換ｇ^ｎ＝Ａｆ^ｎと対になるものであり、色配分計算と反転コンボリューションの組み合わせで計算できる。色配分計算は、前述した色応答ベクトルＲ_ｘ．ｙを用いて、

で計算でき、反転コンボリューションは、前述したコンボリューションカーネルＫを１８０°回転したrot180(K)によるコンボリューションであり、

となる。先のようにコンボリューションカーネルが、

であるならば、

である。

一方、ペナルティ算出ステップＳ１４５では、推定カラー画像ｆ^ｎに対して定義されるペナルティ関数Ｕ（ｆ^ｎ）を増加させる推定カラー画像ｆ^ｎの微小修正量｛δｆ^ｎ｜Ｕ（ｆ^ｎ＋δｆ^ｎ）＞Ｕ（ｆ^ｎ）｝を算出する。本実施例では、

とする。ここでΔ_ｘ．ｙは、ラプラシアンフィルタであり、

である。ファッジファクターdは、（Δ_ｘ．ｙｆ^ｎＹ）^２の典型値とし、例えば中央値とする。また、

とする。median（ｆ^Ｘ）は、単色画像に対するメジアンフィルタ、tは画質調整用のパラメ−タであり、ｔ＝１ではエッジの鋭い推定カラー画像を、ｔ＝０ではよりスム−ズな推定カラー画像を生成する。なお、ｆ^Ｙ，ｆ^Ｃｂ，ｆ^ＣｒはＹＣｂＣｒ色空間における推定カラー画像ｆの色プレーンであり、

とし、δｆ＝｛δｆ^Ｒ，δｆ^Ｇ，δｆ^Ｂ｝は、

とする。

但し、ベイヤ配列のＧ画素がＲ，Ｂ画素の２倍あるという特徴を活かした、異なるＹＣｂＣｒ色空間として、

としてもよい。

フィードバックステップＳ１４６では、逆射影ステップＳ１４４より得られたカラー画像空間上のベクトルｅ^ｎと、ペナルティ算出ステップＳ１４５により得られた微小修正量δｆ^ｎとに基づいて、推定カラー画像ｆ^ｎを、
ｆ^ｎ＋１＝ｆ^ｎ＋μ（ｅ^ｎ−βδｆ^ｎ）
によって修正し、新たな推定カラー画像（第３の画像）ｆ^ｎ＋１を生成する。

上記式中のμは、逐次近似の歩幅を示すパラメ−タであり、本例ではμ＝０．５前後が好適である。また、βは、生成される最終画像（出力画像としての推定カラー画像）ｆ^ｍの「自然」さと色モザイク画像の「忠実」さとのバランスパラメ−タであり、このβが小さいほど色モザイク画像に忠実な最終画像ｆ^ｍが、大きいほどより「自然」な最終画像が得られることになる。ここで「忠実」とは｜ｇ−Ａｆ｜が小さいことであり、「自然」とはＵ（ｆ）が小さいことである。さらに、βは、最終画像ｆ^ｍが、

となるような値が望ましく、本例の微小修正量δｆ^ｎに対しては色モザイク画像ｇに見込まれる測光誤差σに対してβ〜１０σ^２にするのが好適である。但し、βは対数的に作用するのでβ〜σ^２やβ〜１００σ^２でも最終画像に大差はない。

収束判定ステップＳ１４７では、逐次近似の収束を判定し、収束していれば出力ステップＳ１４８に、未収束であれば画像シュミレ−トステップＳ１４２およびペナルティ算出ステップＳ１４５に処理を移す。

収束判定方法としては、フィードバックステップＳ１４５におけるフィードバック量
（ｅ^ｎ−βδｆ^ｎ）^２
が一定の閾値あるいは前回のフィードバック量
（ｅ^ｎ−１−βδｆ^ｎ−１）^２
を上回った場合とするとよい。また、これ以外に、反復が一定の回数に達したり、処理時間が一定の時間に達したりしたことによって収束したと見なしてもよい。

出力ステップＳ１４８では、その時点の推定カラー画像を本デモザイク処理１４０の最終画像とし、視覚補正部１５０に渡す。

このように、ステップＳ１４２からステップＳ１４４よる残差と、ステップＳ１４５によるペナルティ関数による補正を組み合わせて反復適用することにより、複雑な相関検出や方向選択的な適応処理を行うことなく、高精細かつ偽色の少ない高品位なカラー画像ｆ^ｍを生成することができる。

また、本実施例では、ガウス統計モデルに基づいたノイズ除去も行われる上、画素補間によるボケが生じず、光学ＬＰＦの影響を補償するため、視覚補正部１５０でのノイズ除去やエッジ補正を不要とすることができる。

実施例１にて説明したデモザイク処理は、固体撮像素子１２３およびＡＤ変換部１３０で発生するノイズがほぼガウス分布に従うと仮定してモデル化した場合に最適な方法である。これは、ノイズにおいて固体撮像素子１２３の暗電流が支配的な場合に適する。

一方、高感度でローノイズな固体撮像素子とＡＤ変換部の組み合わせでは、ＡＤ変換の出力はフォトンカウントに近付くため、量子的なポアソンノイズが支配的なノイズとなる。本実施例では、このような高感度・ローノイズな固体撮像素子を備えたカラー撮像装置に対して最適なデモザイク処理について説明する。

本実施例のデモサイク処理は、実施例１と同じフローチャートに従って処理を行うが、比較ステップＳ１４３、逆射影ステップＳ１４４およびフィードバックステップＳ１４６の動作が異なり、また初期画像生成ステップＳ１４１に若干の注意が必要である。以下これらについて説明する。

まず、初期画像生成ステップＳ１４１では、推定カラー画像ｆ^ｎの初期画像ｆ^０を生成する。本発明では、推定カラー画像ｆ^ｎの各要素の値は非負値であり、かつ一度０になった要素が正値になることはない。このため、初期画像においても、最終画像で明らかに０である要素以外は正である必要がある。この条件を満たす初期画像としては、例えば、bi-linear filteringによるデモザイク画像或いは白一色の画像が挙げられ、これを初期画像ｆ^０とする。

比較ステップＳ１４３では、画像シミュレートステップＳ１４２で生成された推定色モザイク画像ｇ^ｎと、実際にＡＤ変換部１３０から得られた色モザイク画像ｇとの比較を行い、それらの比であるｄ^ｎ＝ｇ／ｇ^ｎを逆射影ステップＳ１４４に渡す。

逆射影ステップＳ１４４では、比較ステップＳ１４３により得られた色モザイク空間上の比ｄ^ｎをカラー画像空間上のベクトルｅ^ｎに変換する。

フィードバックステップＳ１４６では、逆射影ステップＳ１４４より得られたカラー画像空間上のベクトルｅ^ｎと、ペナルティ算出ステップＳ１４５より得られた微小修正量δｆ^ｎに基づき、推定カラー画像ｆ^ｎを、

に修正して新たな推定カラー画像ｆ^ｎ＋１を得る。なお、Ａ^ｔ１は逆射影の補正係数であり、

で示される。なお、実施例１のように、カラーフィルタアレイ１２２の周期とコンボリューションカーネルの大きさとが等しいときは、補正係数Ａ^ｔ１は全画素とも、色応答ベクトルの平均値である、

となる。

また、画像ペナルティ算出ステップＳ１４５は、実施例１と同様でもよいが、本実施例では異なるペナルティ関数の例として、
Ｕ（ｆ）＝Σ_ｘ．ｙ［（∇_ｘ，ｙｆ^Ｒ）^２＋（∇_ｘ，ｙｆ^Ｇ）^２＋（∇_ｘ，ｙｆ^Ｂ）^２
−ｋｃ｛（∇_ｘ，ｙｆ^Ｒ×∇_ｘ，ｙｆ^Ｇ）＋（∇_ｘ，ｙｆ^Ｇ×∇_ｘ，ｙｆ^Ｂ）＋（∇_ｘ，ｙｆ^Ｂ×∇_ｘ，ｙｆ^Ｒ）｝］
を考え、微小修正量δｆ^ｎ＝∇_ｆｆ^ｎとして、
δｆ^ｎＲ＝Δ_ｘ，ｙｆ^ｎＲ−ｋｃ（Δ_ｘ，ｙｆ^ｎＧ＋Δ_ｘ，ｙｆ^ｎＢ）
δｆ^ｎＧ＝Δ_ｘ，ｙｆ^ｎＧ−ｋｃ（Δ_ｘ，ｙｆ^ｎＲ＋Δ_ｘ，ｙｆ^ｎＢ）
δｆ^ｎＢ＝Δ_ｘ，ｙｆ^ｎＢ−ｋｃ（Δ_ｘ，ｙｆ^ｎＲ＋Δ_ｘ，ｙｆ^ｎＧ）
とする。ここで、０＜ｋｃ≦０．５であり、ｋｃ＝０．２程度が望ましい。また、Δ_ｘ，ｙｆ^Ｘはノイズの影響を受けにくいように、半径を大きく取り、

とする。

他のステップＳ１４２，Ｓ１４７，Ｓ１４８は実施例１と同様である。なお、本実施例のデモザイクプロセスによるノイズ除去を効果的に用いるには、光学ＬＰＦ１２１のコンボリューション半径やβを大きくするのが有効である。これは他の実施例でも同様である。

本発明の実施例１，２とは異なる適用例として、図４に示すようなカラーフィルタ配列を持つカラー撮像装置について説明する。本実施例のカラー撮影装置の構成は実施例１で説明したカラー撮像装置１００と同様であるが、カラーフィルタアレイ１２２の配色が実施例１とは異なる。

本実施例でのカラーフィルタアレイ１２２は、図４に示すように、通常の原色フィルタＲ，Ｇ，Ｂの他に、透過率の低いＧフィルタＤＧを持つ、Ｒ・Ｇ・Ｂ・ＤＧの４色カラーフィルタである。各カラーフィルタに対応する画素のＲＧＢ色空間での色応答ベクトルを、

とする。

また、固体撮像素子１２３およびＡＤ変換部１３０は、画素に強度１以上の光が入射しても、出力飽和（輝度飽和）を起こし、該画素からの出力は１に固定されるものとする。このようなカラー撮像装置においても、デモザイク部１４０のフローチャートは実施例１（図１）と同様である。但し、画像シミュレートステップＳ１４２においては、前述した出力飽和を考慮する。実施例１では、出力飽和を無視し、線形計算ｇ^ｎ＝Ａｆ^ｎを行ったが、本実施例では、出力飽和を模擬する関数としての非線形変換（関数）Ｐを導入し、ｇ^ｎ＝Ｐ（Ａｆ^ｎ）とする。この非線形変換Ｐは、ベクトルの各要素に独立に作用し、

とする。これは凸包の一種である。

なお、他のステップＳ１４１，Ｓ１４４〜Ｓ１４８は実施例１（さらには実施例２）と同じである。

このカラー撮像装置を用いて、｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝＝｛０，２，０｝の強い緑の単色被写体を元カラー画像として撮影したものとする。この場合、従来の原色ベイヤ配列（図３参照）では、Ｇの画素に強度２の光が入射するが、該画素の出力飽和により、該画素からは１の出力値しか得られない。このため、得られる色モザイク画像ｇは、図５のような色モザイク画像ｇ、

になり、この色モザイク画像からは｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝＝｛０，１，０｝の推定カラー画像しか得られない。

しかし、図４のカラーフィルタ配列では、Ｇ画素が出力飽和を起こすものの、ＤＧ画素の入射強度は０．４となり出力飽和を起こさないため、図６に示すような色モザイク画像ｇとして、

が得られる。

実施例１，２（すなわち本発明）のデモザイク処理によれば、このような色モザイク画像に対しても適切に｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝＝｛０，２，０｝の推定カラー画像を得ることができる。これを説明すると、仮に処理途中の推定カラー画像ｆ^ｎが、｛ｆ^ｎＲ，ｆ^ｎＧ，ｆ^ｎＢ｝＝｛０，１，０｝の均一画像であるとき、画像シミュレートステップＳ１４２はＧ画素に対しては１，ＤＧ画素に対しては０．２となる推定色モザイク画像ｇ^ｎを生成する。比較ステップＳ１４３では、これとの比較により、Ｇ画素に対して０、ｇ画素に対して＋０．２となる差ｄ^ｎを生成する。

そして、逆射影ステップＳ１４４で、この差ｄ^ｎを逆射影変換すると、Ｇプレーンが０．０１のカラー画像ベクトル｛ｅ^ｎＲ，ｅ^ｎＧ，ｅ^ｎＢ｝＝｛０，０．０１，０｝が得られる。

また、画像ペナルティ算出ステップＳ１４５では、均一画像に対しては微小修正量δｆ^ｎとして０ベクトルを算出する。

これらを元に、フィードバックステップＳ１４６では、推定カラー画像のＧプレーンを増加させる。次の反復では、推定カラー画像のＧプレーンは１より大きな値となっているが、画像シミュレートステップＳ１４２では、前述した非線形変換Ｐの作用により、Ｇ画素に対しては１となる推定色モザイク画像を生成し、比較ステップＳ１４３でもＧ画素に対して０となる差ｄ^ｎを生成する。このように、飽和画素（この場合はＧ画素）が推定カラー画像ｆ^ｎの値を減少させることはないため、低感度画素（この場合はＤＧ画素）が有効に働き、何度かの反復の後、推定カラー画像（最終画像）ｆ^ｍは｛ｆ^Ｒ，ｆ^Ｇ，ｆ^Ｂ｝＝｛０，２，０｝の画像になる。

このように、感度の大きく異なる画素を持つイメージセンサを備えた撮像装置において、実施例１，２の画像処理方法を適用すれば、固体撮像素子やＡＤ変換部のダイナミックレンジを越えて、高いラチュードを持つカラー画像を生成することができる。さらに本処理では、Ｇ画素とＤＧ画素を混合処理したり、選択的に処理したりしないため、ベイヤ配列の場合に比べて解像度が劣ることもない。

なお、低照度時でも、画像ペナルティ算出ステップＳ１４５の作用により、一定の圧力で平滑化がかかるため、ＤＧ画素におけるノイズが増幅されることはなく、効果的に抑圧される。さらに、この平滑化には、各画素の感度に比例した重みがかるようになっており、統計的にも最適なものとなる。

低感度画素は、必ずしもカラーフィルタによってのみ作られるものではなく、固体撮像素子１２３の構造や電気的な変調により感度を操作することにより作ってもよい。また、図９に示すように、ハーフミラー１８０等の光学的な光線分割手段により、元カラー画像ｆの一点から発した光を複数の画素に異なる比率に配分する構成も考えられる。

このような配分手段として、結像光学系１１０によるゴーストやフレアを考えることもできる。画像シミュレートステップＳ１４２内において、フレアは、図１０に示すように非常にレベルが低いながらも裾が広く拡がったＰＳＦ（点拡がり関数）によるコンボリューションとして表される。また、ゴーストは、図１１に示すように、原画像の輝点に対応した中心から離れた位置（ゴースト像の位置）に微小成分を持つカーネルによるコンボリューションとして表される。

なお、一般にゴーストを表すコンボリューションカーネルは非常に大きく、シフトバリアントであるため、画像の変形や重ね合わせで模擬するのがよい。

このようにして処理すれば、本発明の画像処理方法が出力する推定カラー画像は、色モザイク画像のゴーストやフレア像からそのソースに対して画素飽和値以上の高い強度を与えると共に、ゴーストやフレア像のないものとなる。

さらに、本実施例における異なる元カラー画像の例として、イメージセンサにおいてＲＧＲＧと画素が並ぶ最上行に、図７に棒グラフで示すようなプロファイルを持つ入力がなされたとする。奇数番の棒グラフは、Ｒカラーフィルタが装着された画素への入力、偶数番の棒グラフはＧカラーフィルタが装着された画素への入力である。この場合、ＡＤ変換部１３０からの各画素出力は、図中に点線で示す折れ線Ｒ’，Ｇ’で結ばれた値となる。
ここで、５番と７番のＲ画素の出力は、出力飽和によって１．０に留まる。これに従来手法であるbi-linear フィルタによるデモザイク処理を適用すれば、推定カラー画像のＲバンドは図７の折れ線Ｒ’のような処理結果となり、飽和値以上の照度を得ることはできない。

しかし、本発明のデモザイク処理においては、５番画素や７番画素の近傍では、画像ペナルティ算出ステップＳ１４５の作用により、輝度の曲率や色差の画素間変動を最小化しようとする圧力が働き、Ｒ画素の出力値は１．０を越え、これにより正しい推定カラー画像を得ることができる。

特にこの効果は、画像ハイライトにおける「潰れ」を軽減し、立体感に優れたカラー画像となる。この例はＤＧ画素が関与してないことからも分かるように、低感度画素を持たないカラー撮像装置においても有効であり、画像シミュレートステップＳ１４２が出力飽和を考慮することにより達せられる。

上述した実施例１，２におけるカラー撮像装置では、周期性を持ったカラーフィルタ配列のカラーフィルタアレイ１２２を例に挙げた。しかしながら、本発明のデモザイク処理では、この周期性を一切利用していない。本発明のデモザイク処理における制約は、各画素の色応答ベクトルＲ_ｘ．ｙが既知であることだけであり、非周期的なカラーフィルタ配置や、原色・補色にとらわれない任意の色応答ベクトルの組み合わせであるカラーフィルタアレイを用いることができる。また、色応答ベクトルＲ_ｘ．ｙが非負である必要もなく、波長５２０ｎｍ付近を良く透過するカラーフィルタに対して色応答ベクトルを｛Ｒ^Ｒ，Ｒ^Ｇ，Ｒ^Ｂ｝＝｛−０．１，０．０７，０．０８｝として、人間の眼の赤色に対する負感度を再現することもできる。

この特質を利用すれば、図８に示すように不規則的（ランダム）なカラーフィルタ配置であったり、原色Ｒ・Ｇ・Ｂに加えて補色Ｙｅ・Ｃｙ・Ｍｇや白色（透明フィルタ）Ｗ、青緑（５２０ｎｍ付近）Ｅ等の任意のカラーフィルタを取り入れたりしたカラーフィルタアレイ１２２を利用することができる。この際、白色画素や補色画素は、原色画素に比べて飽和しやすくなるが、この問題は実施例３で示した手法により解決することでき、白色画素や補色画素による暗部での高いＳ／Ｎと原色画素による高い色再現性とを両立させることができる。

また、このように非周期的なカラーフィルタ配置であれば、光学ＬＰＦが無くても色モワレを発生しないため、光学ＬＰＦ１２１を省く構成も可能である。光学ＬＰＦを備えないカラー撮像装置におけるデモザイク処理で結像光学系１１０の収差が無視できるときは、画像シミュレートステップＳ１４２ではコンボリューション処理は必要ない。

この特質の別の利点としては、カラーフィルタアレイの製造時に、塗りムラや隣接画素間での色混合が発生していても、それを色応答ベクトルＲｘ．ｙとして測定し、デモザイク処理中のシステム情報としてカラー撮像装置内のフラッシュメモリ等に記録しておけば、推定カラー画像に塗りムラ等の弊害が表れることがない、ことが挙げられる。同様に、欠損画素については、該欠陥画素の色応答ベクトルを０とすることにより対処することができる。

さらに、特開２００１−１７７７６７号公報にて提案されているような、奇数行・奇数列位置および偶数行偶数列位置にのみ画素を持つ市松サンプリング（ハニカム配列）タイプの固体撮像素子に対しても、奇数行偶数列位置および偶数行奇数列位置の画素を欠損画素と同様に色応答ベクトルを０とすることにより、対応することができる。

これまでの実施例では、推定カラー画像ｆ^ｎをＲＧＢ色表現のビットマップ基底表現｛ｆ^Ｒ _ｘ．ｙ，ｆ^Ｇ _ｘ．ｙ， ｆ^Ｂ _ｘ．ｙ｝としてきたが、推定カラー画像の表現はこの基底表現に限るものでなく、他の基底表現であってもよい。

圧縮部１６０では、図１２のフローチャートに示すように、一般にカラー画像を基底変換した後（Ｓ１６４）、量子化（Ｓ１６５）およびエントロピー符号化（Ｓ１６６）が行われる。例えば、現在広く利用されているＪＰＥＧ画像圧縮方式(ISO/IEC JTC1 10918-1:ITU-T Rec.T.81『Information technology−Digital compression and coding of continuous−tone still images:Requirements and guidelines』1994)では、基底変換としてＹＵＶ色空間への変換、ＹＵＶ４：１：１ダウンサンプリング・ブロックＤＣＴ・量子化テ−ブル乗算が行わた後、量子化され、エントロピー符号化としてハフマン（Huffman）符号化が用いられる。

そこで、本実施例のデモザイク処理では、推定カラー画像ｆ^ｎを、この基底変換後の基底（以下、これを圧縮基底と呼ぶ）で表現し、ペナルティとしてエントロピー符号化後のデータサイズを用いることにする。

このような画像処理を用いるカラー撮像装置の１００’の構成例を図１３に示す

カラー撮像装置１００’は、結像光学系１１０と、単板カラーイメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０’と、圧縮部１６０’と、記録部１７０とを有する。結像光学系１１０、単板カラーイメージセンサ１２０、ＡＤ変換部１３０および記録部１７０は、実施例１と同様のものである。

本実施例では、デモザイク部１４０’からの出力は、既に視覚補正や基底変換が行われたものであるため、実施例１における視覚補正部１５０は有していない。また、圧縮部１６０’は、図１４のフローチャートに示すように、基底変換を行わない。すなわち、視覚補正部や基底変換部はデモザイク部１４０’に組み入れられている。

デモザイク部１４０’の動作を図１５に示すフローチャートを用いて説明する。実施例１におけるデモザイク部１４０のフローチャート（図１参照）に比べると、基底逆変換ステップＳ１４１８と、逆視覚補正ステップＳ１４１９と、視覚補正ステップＳ１４４１と、基底変換ステップＳ１４４２とが新たに加わっている。また、推定カラー画像ｆ^ｎ’は圧縮基底により表現された画像であり、画像ペナルティ算出ステップＳ１４５’は、圧縮基底に対応したものとなる。その他のステップは、実施例１と同様である。

視覚補正ステップＳ１４４１では、実施例１における視覚補正部１５０と同様の処理が行われ、基底変換ステップＳ１４４２では、実施例１における圧縮処理部１６０と同様の処理が行われる。

基底逆変換ステップＳ１４１８では、基底変換ステップＳ１４４２と逆の処理を行う。圧縮基底で表現されている推定カラー画像ｆ^ｎ’を線形ビットマップ基底の表現ｆ^ｎに変換する。これは圧縮画像の復元プロセスの一部であり、ＪＰＥＧ圧縮基底に対しては、量子化テ−ブル除算・ブロックｉＤＣＴ・ＹＵＶ４：４：４アップサンプリング・ＲＧＢ色空間への変換を行えばよい。

また、視覚逆補正ステップＳ１４１９では、視覚補正ステップＳ１４１９の逆処理を行う。例えば、トーンカーブ（ガンマ）補正・彩度強調・エッジ強調に対しては、逆トーンカーブ（逆ガンマ）補正・彩度劣化・ぼかしを行う。

なお、基底逆変換ステップＳ１４１８から画像シミュレートステップＳ１４２までのステップは、明確に分離できるものではなく、複数のステップに分かれている変換を１つにまとめたり、例えばＤＣＴ基底の状態で光学ＬＰＦ１２１を模すというように順序を入れ替えたりすることもできる。これらはまとめて、推定カラー画像ｆ^ｎ’に対し、それが元カラー画像ｆであったときに得られるであろう推定色モザイク画像ｇを生成するという点で、実施例１の画像シミュレートステップＳ１４２の入力画像ｆを圧縮基底に対応するよう拡張したものだといえる。

逆射影ステップＳ１４４から基底変換ステップＳ１４４２に関しても同様に、実施例１の逆射影ステップＳ１４４の出力ベクトルｅ^ｎを圧縮基底に対応するよう拡張したものだといえる。

画像ペナルティ算出ステップＳ１４５’では、推定カラー画像ｆ^ｎ’に対して、圧縮部１６０’によって生成される圧縮データサイズを推定し、これが大きくなるような微少修正量δｆ^ｎ’を算出する。

ＪＰＥＧ画像圧縮のエントロピー符号化はGolomb符号とみなせ、ｆ^ｎ’＝｛ｆ^ｎ’_ｉ｝の各要素ｆ^ｎ’_ｉに対し、log２（｜ｆ’_ｉ｜＋１）の符号長を与えるものと近似される。これより、

とする。なお、

である。

このデモザイク部１４０’により生成され推定カラー画像ｆ^ｎ’は既に圧縮基底で表されており、かつ圧縮部１６０’によって効果的に圧縮される画像となっている。このため、圧縮後の画像データサイズは小さくなり、記録部１７０の容量を削減することができる。一般的にＪＰＥＧ等の自然画像圧縮では、ノイズが多いと圧縮データサイズが大きくなることが知られているが、この推定カラー画像ｆ^ｎ’はノイズが少ないので、圧縮後の画像データサイズは小さくなる。

また、フィードバックステップＳ１４８のバランスパラメータβを変えることにより、画像の「忠実さ」と圧縮データサイズとのバランスを調整することも可能である。

本発明のさらに異なる実施例として、デモザイク部を固体撮像素子と一体化した画像処理装置の構成について説明する。固体撮像素子とは、半導体上に受光部（ＰＤ）が配置されたものであるが、本実施例の固体撮像素子２００は、図１６に示すように、各受光部に処理回路（ＰＥ）を備えており、画素並列的に処理を行う。このような固体撮像素子２００は、人工網膜チップ或いはビジョンチップと呼ばれる。固体撮像素子２００は、通常のＣＭＯＳ型イメージセンサと同様に、各処理回路から値を外部に読み出すためのアドレス回路およびデータ線を備えるほか、図１６中に矢印で示すように、隣接する処理回路間でデータを共有するための結線を備える。

この処理回路の構成を図１７に示す。この処理回路は、画像シミュレーション部３２０、比較部３３０、逆射影部３４０、画像ペナルティ算出部３５０およびフィードバック部３６０の各回路ブロックと、着目画素（自画素、図示せず）に隣接する８画素（以下、周辺８画素という）に接続される端子３１０，３７０と、それらを接続する信号線とから構成される。また、信号線の中で特に画素値を保持する信号線にはＦを付す。本回路においては、推定カラー画像ｆ^ｎは、ＹＣｂＣｒ色空間で表され、各画素の表色値は、各処理回路の３本の信号線Ｆ上のアナログ電圧値で示されているものとする。

端子３１０は、周辺８画素の信号線Ｆに接続され、各信号線は画像シミュレーション部３２０および画像ペナルティ算出部３４０に達する。ここから伸びる太い信号線はそれぞれ、周辺８画素からの８つの信号線を示している。

画像シミュレーション部３２０は、色成分ごとの空間ＬＰＦ部３０２ａと色応答部３２０ｂとに分けられる。空間ＬＰＦ部３０２ａは減衰器と加算器の組み合わせで構成されており、端子３１０からの周辺８画素の表色値および信号線Ｆに乗った自画素の信号値を、

の割合で混合加算する。

色応答部３２０ｂでは、該画素上のカラーフィルタの色透過特性に応じて、Ｙ・Ｃｂ・Ｃｒの各空間ＬＰＦ部３２０ｂの出力を色応答係数により混合加算する。例えばカラーフィルタの色が緑で、色応答ベクトルを

とし、色モザイク画像g_x.yが、

なる色応答を持つとすると、空間ＬＰＦ部３２０ａの減衰器により、Ｙ：Ｃｂ：Ｃｒ＝０．５：０．１７：０．３６の割合で減衰させ、さらにＣｂ，Ｃｒをインバータで反転し、加算増幅器で合成した後、２倍に増幅する。

この減衰器の定数およびインバータの有無は、各画素上のカラーフィルタによって異なり、赤で色応答ベクトルが、

ならば、減衰率はＹ：Ｃｂ：Ｃｒ＝０．５：０：０．７とし、インバータは入らない。なお、色応答係数が０ならば、該色信号の加算器への結線や空間ＬＰＦを省くこともできる。

比較部３３０は、減算器であり、受光部（ＰＤ）から入力される入射光量に比例した電圧と、画像シミュレーション部３２０の出力電圧との差分を逆射影部３４０に出力する。

逆射影部３４０は、比較部３３０からの出力を色応答に応じて配分する。ここに用いられる減衰器およびインバータの組み合わせは、画像シミュレーション部３２０で用いたのと同一の組み合わせとするのが望ましいが、減衰比に関しては、比較部３３０と同一である必要はなく、省略も可能である。ただし、減衰比が比較部３３０と近い方が過渡特性に優れた回路となる。

また、本実施例では、画像シミュレーション部３２０の空間ＬＰＦ部３２０ａに対応する回路を省略しているが、動作に影響はない。

一方、画像ペナルティ算出部３５０は、輝度（Ｙ）信号に関わる線が繋がるmedian回路を持つほか、色成分ごとのlaplacian回路を持つ。median回路は、コンパレータおよびセレクタの組み合わせにより構成されており、端子３１０からの周辺８画素の輝度信号値および信号線Ｆ^Ｙに乗った自画素の輝度信号値の９つの信号値から中央値を出力する。median回路の出力は差分回路に繋がり、さらに信号線Ｆ^Ｙに乗った自画素の輝度信号値との差がフィードバック部３６０に伝えられる。

laplacian回路は、減衰器とインバータおよび加算器の組み合わせにより構成されており、端子３１０からの周辺８画素の信号値および信号線Ｆに乗った自画素の信号値の９つの信号値を、

の割合で混合する。laplacian回路の出力のうち、輝度信号は２乗回路を経て除算回路の除数側に繋がり、色差信号は除算回路の被除数側に繋がって、色差Cb・Crに比例し、かつ輝度Yの２乗値に逆相関する出力がフィードバック部３６０に伝えられる。なお、除数には一定のオフセットdがかかるものとする。

フィードバック部３６０は加算器と増幅器とにより構成されており、加算器では逆射影部３４０からの信号と画像ペナルティ算出部３５０からの信号を１：βの比率で混合し、ｋ（＞＞１）倍に増幅し、信号線Ｆに還流する。

端子３７０からは、信号線Ｆが周辺８画素の端子３１０と不図示の読出回路とに接続される。

このような回路構成により、画素x,yにおける信号線Ｆ上の電圧値ｆ^Ｙ _ｘ．ｙ，ｆ^Ｃｂ _ｘ．ｙ，ｆ^Ｃｒ _ｘ．ｙに対し、

なる電圧が得られる。なお、

である。

この関係式において、ｋ＞＞１で、ｋが十分大きいとすれば、右辺の括弧内の絶対値は極小値になる。すなわち、｛ｆ^Ｙ _ｘ．ｙ，ｆ^Ｃｂ _ｘ．ｙ，ｆ^Ｃｒ _ｘ．ｙ｝として右辺第一項の推定誤差（ＰＤ出力−Ｓｉｍ出力）およびβに係る第二項のペナルティ勾配のバランスが取れた画像が生成される。これは実施例１と同様に、偽色が少なく、ノイズも抑えられた高品位なカラー画像となる。

このように、本実施例によれば、デモザイクされたカラー画像を固体撮像素子２００より直接得ることができる。

なお、本撮像素子を動画撮影に用いる場合は、変化するＰＤ出力に対して瞬時に追従するカラー画像が連続的に得られるため、特に有効である。

上記各実施例では、カラー撮像装置に本発明の画像処理装置を組み込んだ場合について説明したが、カラー撮像装置をＡＤ変換部１３０から出力された色モザイク画像をそのまま記録部１７０にて記録媒体に記録するものとし、該記録された色モザイク画像を別体のコンピュータからなる画像処理装置でカラー画像に変換するようにして本発明を実施することも可能である。この場合、コンピュータには、本発明のデモザイク処理を行う画像プログラムがインストールされる。

画像処理プログラム３００は、図２０に示すように、記録データ読取りステップＳ３１０と、デモザイクステップＳ３２０と、視覚補正ステップＳ３３０と、保存ステップＳ３４０とを備える。

記録データ読取りステップＳ３１０は、コンピュータ（画像処理装置）に接続された単板イメージセンサを備えたカラー撮像装置又は記録媒体から色モザイク画像を読み取り、コンピュータ上のメモリに色モザイク画像ｇとしてコピーする。なお、記録媒体上の色モザイク画像が圧縮あるいは暗号化されている場合は、コピー時に展開、複号しておく。

また、色モザイク画像を記録したカラー撮像装置のイメージセンサにおけるカラーフィルタ配列や、各カラーフィルタの色応答ベクトルＲやコンボリューションカーネルＫは、コンピュータ上のメモリにシステム情報として記述され、このシステム情報はデモザイクステップＳ３２０に送られる。

デモザイクステップＳ３２０は、メモリ上の色モザイク画像ｇおよびシステム情報を参照して、推定カラー画像ｆ^ｎを生成し、視覚補正ステップＳ３３０に渡す。このデモザイクステップでの処理は、実施例１にて説明したデモザイク部１４０での処理と同じである。

視覚補正ステップＳ３３０では、視覚補正処理として、主として画像の見栄えを良くするための処理が推定カラー画像に対し行われる。例えば、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調（アンシャープマスク）といった画像補正が行われる。補正された画像は、保存ステップＳ３４０にて、コンピュータ内のハードディスク等の記録媒体に保存される。この際、必要に応じて圧縮等の処理も行う。

このような画像処理装置（画像処理プログラム）を用いれば、カラー撮像装置にはデモザイク部や視覚補正部を不要とすることができ、カラー撮像装置に搭載するマイクロプロセッサを簡素なものとすることができる。

（まとめ）
以下、上記各実施例での説明をまとめる。上記各実施例にて説明した画像処理方法は、前述した画像処理方法の概要で説明した通りの画像シミュレートステップと、比較ステップと、逆射影ステップと、画像ペナルティ算出ステップと、フィードバックステップとを備える。

これにより、任意の色透過特性および配列を持つカラーフィルタアレイを備えたイメージセンサから取得された色モザイク画像より、適切なカラー画像を生成することができる。

しかも、本画像処理方法によれば、カラーフィルタアレイに対して色透過特性や配列に制約を受けることがないので、カラーフィルタアレイを４色或いはそれ以上の色のカラーフィルタで構成したり、２×２より長い周期性を持つ配列や、ランダムな配列にすることもできる。また、著しく透過率が異なるカラーフィルタによって構成されるカラーフィルタを備えることにより、固体撮像素子やＡＤ変換部によって規定されるダイナミックレンジを大きく越えるカラー画像を生成することも可能となる。

なお、画像シミュレートステップは、カラーフィルタの特性を模擬した色応答変換および光学ＬＰＦの特性を模擬したコンボリューション処理を行う。これらは線形変換であり、行列演算で表すこともできる。

さらに、イメージセンサの出力飽和に相当する凸包変換や、同一基底空間内で要素毎に作用して、要素の大小関係を逆転させない非線形の変換を行うこともできる。

これに対応して、逆射影ステップでは、カラーフィルタの特性を模擬した色応答変換に対応した色分配や光学ＬＰＦの特性を模擬したコンボリューションの反転コンボシューション処理を行う。これらは線形変換であり、行列演算で表すことができ、その行列は画像シミュレートステップで用いられる行列と互いに転置の関係である。

また、比較ステップは、推定色モザイク画像と実測色モザイク画像の差分或いは比を生成し、差分の場合はフィードバックステップで、逆射影ステップの出力に比例する量を推定カラー画像に加算し、比の場合はフィードバックステップで、逆射影ステップの出力に比例する量を推定カラー画像に乗算する。

また、フィードバックステップでは、逆射影ステップより得られる画像（カラー画像空間ベクトル）と画像ペナルティ算出ステップにて算出された微小修正量とに基づいて推定カラー画像を修正するが、この微小修正量は、推定カラー画像に加算したときに画像ペナルティが増加する性質を持った値である。また、画像ペナルティが極値をとる推定カラー画像に対しては、０となる性質も持つ。さらに、この微小修正量は、画像ペナルティの勾配（gradient）であるのが望ましい。

微小修正量の算出を容易にするには、画像ペナルティを画素毎に計算可能な画素ペナルティの和として表したり、マルコフ確率場のように画素のペナルティを該画素とその近傍画素の画素値にのみ依存するようにしたり、色プレーン毎に計算可能な色プレーンペナルティを用いて表したりするのが望ましい。人間の視覚特性を考慮すれば、色プレーンペナルティは、輝度プレーンと複数のクロミナンスプレーンからなり、輝度プレーンとクロミナンスプレーンで異なる式で計算されることになると考えられる。

例えば、「ある色プレーンのペナルティは、その平滑化画像との差の大きさに正相関する」ことが考えられる。特にこれは輝度プレーンに対して有効である。平滑化画像としては、原画像にコンボリューションを与えることにより生成される画像や、メジアンフィルタを施すことにより生成される画像や、あるいはこれらの線形和で得られる画像が挙げられる。この他にも、bilateraフィルタ等の単色画像用として提案されている各種のノイズ除去フィルタを施して平滑化画像とすることもできる。なお、原画像とそれにコンボリューションを与えた画像の差は、原画像の高周波成分とも言い換えることができる。

さらに、偽色を抑えるためには、色プレーンペナルティは該色プレーンと他の色プレーンの相関が反映されることが有効であり、ＲＧＢのような色プレーンでは、「ある色プレーンにおける変化量と異なる色プレーンの変化量の積に逆相関する値の画素毎の和」とすることができる。また、ＹＣｂＣｒのような正負双方の値を取りうるクロミナンスプレーンに対しては、クロミナンスが変化する部分では輝度も変化している傾向があることから、「クロミナンスプレーンの変化量に正相関し、輝度プレーンの変化量に逆相関する値の画素毎の和」をペナルティとすることも有効である。

このような画像処理方法によれば、色モザイク画像に対して適切なカラー画像を生成すると共に、生成カラー画像は画像ペナルティを小さく抑えたものとなり、自然な画像を生成することができる。

また、新たなペナルティ関数を用いずとも、ノイズの多い不自然な画像に対しては自然画像圧縮において生成されるデータサイズが増大することが知られている。このため、この画像圧縮した際に生成されるデータサイズに正相関する値を画像ペナルティとすることができる。

この場合の圧縮方式としては、基底変換をした後にGolomb圧縮等のエントロピー圧縮を行う方式が適している。

本発明の実施例１である画像処理方法の工程を示すフローチャート。 実施例１の画像処理方法を実行するカラー撮像装置の構成を示すブロック図。 カラーフィルタのベイヤ配列を示す図。 他のカラーフィルタ配列を示す図。 色モザイク画像の例を示す図。 他の色モザイク画像の例を示す図。 カラーフィルタのランダム配置を示す図。 イメージセンサの画素への入力プロファイルおよび画素から出力の例を示すグラフ図。 本発明の実施例３であるカラー撮像装置の構成を示すブロック図。 フレアの例を示す図。 ゴーストの例を示す図。 本発明の実施例５であるカラー撮像装置の圧縮部の動作を示すフローチャート。 実施例５であるカラー撮像装置の構成を示すブロック図。 実施例５のカラー撮像装置の圧縮部の動作を示すフローチャート。 実施例５のカラー撮像装置のデモザイク部の動作を示すフローチャート。 本発明の実施例６であるカラー撮像装置に用いられる処理回路一体型イメージセンサの構成を示す模式図。 実施例６の処理回路の構成を示す回路図。 色モザイク画像からカラー画像への変換を示す模式図。 ペナルティ関数を利用した色モザイク画像からカラー画像への変換を示す模式図。 本発明の実施例７である画像処理装置の動作を示すフローチャート。

符号の説明

１００，１００’ カラー撮像装置
１１０ 結像光学系
１２０ イメージセンサ
１２１ 光学ローパスフィルタ
１２２ カラーフィルタ
１２３ 固体撮像素子
３００ 処理回路
３１０，３７０ 端子
３２０ 画像シミュレーション部
３３０ 比較部
３４０ 逆射影部
３５０ 画像ペナルティ算出部
３６０ フィードバック部

Claims (23)

1. 互いに異なる色光を光電変換する複数の画素を有するイメージセンサによって得られた、各画素が単色情報を有した色分離画像としての第１の画像を用いて、各画素がカラー情報を有したカラー画像としての出力画像を生成する画像処理装置であって、
   前記カラー画像としての入力画像に基づいて、前記イメージセンサを用いた撮像をシミュレートすることにより、前記色分離画像の推定画像としての第２の画像を生成するシミュレーション部と、
   前記第２の画像と前記第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較部と、
   前記第１の情報を前記カラー画像に対応した第２の情報に変換する変換部と、
   前記入力画像に対して定義される画像ペナルティに基づいて前記入力画像の修正量を算出するペナルティ算出部と、
   前記第２の情報と前記修正量とに基づいて前記入力画像を修正することにより、前記カラー画像としての第３の画像を生成する修正部とを有し、
   該画像処理装置は、前記第３の画像を前記入力画像として前記各部での処理を繰り返して生成された前記第３の画像を前記出力画像とすることを特徴とする画像処理装置。
2. 互いに異なる色光を光電変換する複数の画素を有するイメージセンサによって得られた、各画素が単色情報を有した色分離画像としての第１の画像を用いて、各画素がカラー情報を有したカラー画像としての出力画像を生成する画像処理装置であって、
   前記カラー画像としての入力画像に基づいて、前記イメージセンサを用いた撮像を、非線形変換を含めてシミュレートすることにより、前記色分離画像の推定画像としての第２の画像を生成するシミュレーション部と、
   前記第２の画像と前記第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較部と、
   前記第１の情報を前記カラー画像に対応した第２の情報に変換する変換部と、
   前記第２の情報に基づいて前記入力画像を修正することにより、前記カラー画像としての第３の画像を生成する修正部とを有し、
   該画像処理装置は、前記第３の画像を前記入力画像として、前記各部での処理を繰り返して生成された前記第３の画像を前記出力画像とすることを特徴とする画像処理装置。
3. 前記第１の画像は、カラーフィルタを通して取得されたものであり、
   前記シミュレーション部は、前記カラーフィルタの特性を模擬した色応答変換を行い、
   前記変換部は、前記色応答変換に対応した色分配を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画像は、光学ローパスフィルタを通して取得されたものであり、
   前記前記シミュレーション部は、前記光学ローパスフィルタの特性を模擬したコンボリューションを行い、
   前記変換部は、前記コンボリューションの結果に対して反転コンボリューションを行うことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記比較部は、前記第３の画像と前記第１の画像との差分を示す前記第１の情報を生成することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記比較部は、前記第３の画像と前記第１の画像との比を示す前記第１の情報を生成することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記シミュレーション部は、線形変換と、同一の基底空間内で要素ごとに作用して該要素の大小関係を逆転させない非線形変換を行うことを特徴とする請求項１に記載の画像処理装置。
8. 前記非線形変換は、同一の基底空間内で要素ごとに作用して該要素の大小関係を逆転させない非線形変換であることを特徴とする請求項２に記載の画像処理装置。
9. 前記修正量は、前記入力画像に加算することにより前記画像ペナルティを増加させる値であることを特徴とする請求項１又は２に記載の画像処理装置。
10. 前記画像ペナルティは、画素ごとに計算可能な画素ペナルティの和として表されることを特徴とする請求項１に記載の画像処理装置。
11. 前記画像ペナルティは、色プレーンごとに計算可能な色プレーンペナルティを用いて表されることを特徴とする請求項１又は２に記載の画像処理装置。
12. 前記色プレーンペナルティは、該色プレーンと他の色プレーンの相関が反映されることを特徴とする請求項１２に記載の画像処理装置。
13. 前記色プレーンペナルティは、該色プレーンにおける変化量と他の色プレーンの変化量との積に逆相関することを特徴とする請求項１３に記載の画像処理装置。
14. 前記色プレーンは、輝度プレーンと複数のクロミナンスプレーンを有し、前記輝度プレーンと前記クロミナンスプレーンで前記色プレーンペナルティの異なる計算が行われることを特徴とする請求項１３に記載の画像処理装置。
15. 前記クロミナンスプレーンのペナルティは、クロミナンスプレーンの変化量に正相関し、輝度プレーンの変化量に逆相関する値の画素ごとの和に比例する項を含むことを特徴とする請求項１５に記載の画像処理装置。
16. 前記画像ペナルティは、少なくとも１つの色プレーンに対して、その平滑化画像との差に正相関する項を含むことを特徴とする請求項１２に記載の画像処理装置。
17. 前記画像ペナルティは、前記第３の画像の高周波成分の量に正相関することを特徴とする請求項１又は２に記載の画像処理装置。
18. 前記画像ペナルティは、前記第３の画像を圧縮した際に生成される画像データのサイズに正相関する値であることを特徴とする請求項１又は２に記載の画像処理装置。
19. イメージセンサと、
    請求項１から１９のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
20. 前記イメージセンサは、
    ４色以上のカラーフィルタが配列されたイメージセンサ、
    複数色のカラーフィルタが２×２より大きな周期で配列されたイメージセンサ、
    又は複数色のカラーフィルタが不規則に配置されたイメージセンサであることを特徴とする請求項２０に記載の撮像装置。
21. 互いに異なる色光を光電変換する複数の画素を有するイメージセンサによって得られた、各画素が単色情報を有した色分離画像である第１の画像を用いて、各画素がカラー情報を有したカラー画像としての出力画像を生成する画像処理方法であって、
    前記カラー画像としての入力画像に基づいて、前記イメージセンサを用いた撮像をシミュレートすることにより、前記色分離画像の推定画像としての第２の画像を生成するシミュレーションステップと、
    前記第２の画像と前記第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較ステップと、
    前記第１の情報を前記カラー画像に対応した第２の情報に変換するステップと、
    前記入力画像に対して定義される画像ペナルティに基づいて前記入力画像の修正量を算出するペナルティ算出ステップと、
    前記第２の情報と前記修正量とに基づいて前記入力画像を修正することにより、前記カラー画像としての第３の画像を生成する修正ステップとを有し、
    前記第３の画像を前記入力画像とし、前記各ステップの処理を繰り返して生成された前記第３の画像を前記出力画像とすることを特徴とする画像処理方法。
22. 互いに異なる色光を光電変換する複数の画素を有するイメージセンサによって得られた、各画素が単色情報を有した色分離画像である第１の画像を用いて、各画素がカラー情報を有したカラー画像としての出力画像を生成する画像処理方法であって、
    前記カラー画像としての入力画像に基づいて、前記イメージセンサを用いた撮像を、非線形変換を含めてシミュレートすることにより、前記色分離画像の推定画像としての第２の画像を生成するシミュレーションステップと、
    前記第２の画像と前記第１の画像とを比較し、該比較結果を示す第１の情報を生成する比較ステップと、
    前記第１の情報を前記カラー画像に対応した第２の情報に変換する変換ステップと、
    前記第２の情報に基づいて前記入力画像を修正することにより、前記カラー画像としての第３の画像を生成する修正ステップとを有し、
    該画像処理装置は、前記第３の画像を前記入力画像とし、前記各ステップの処理を繰り返して生成された前記第３の画像を前記出力画像とすることを特徴とする画像処理方法。
23. 請求項２２又は２３に記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする画像処理プログラム。
    
    

Images