JP5766274B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、高周波領域におけるノイズの影響を低減することの可能な画像処理装置に関するものである。

従来、被写体の高周波領域に発生する偽色を抑圧する方法として、色補間の対象となる着目画素の周囲の画素を用いて着目画素の色補間を行っていた。

図１６に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタが配置されたベイヤー配列の画素から出力された画像信号に対して色補間を行う処理の例を説明する。

この図１６では、Ｒフィルタの水平方向であってＢフィルタの垂直方向に位置するＧフィルタをＧ１フィルタ、Ｒフィルタの垂直方向であってＢフィルタの水平方向に位置するＧフィルタをＧ２フィルタとする。また、Ｇ１、Ｇ２、ＲおよびＢフィルタのそれぞれに対応する画素から出力される信号をＧ１ｓｉｇ、Ｇ２ｓｉｇ、ＲｓｉｇおよびＢｓｉｇとする。

この画像処理装置は、画像信号をＧ１ｓｉｇで構成された画像信号、Ｇ２ｓｉｇで構成された画像信号、Ｒｓｉｇで構成された画像信号、および、Ｂｓｉｇで構成された画像信号に分離し、それぞれの色の画像信号で全ての画素が信号を有するように補間処理を行う。

そして、画像処理装置は、色補間の対象である着目画素の上下に隣接する画素のＧ１ｓｉｇまたはＧ２ｓｉｇの値の相関度と、左右に隣接する画素のＧ１ｓｉｇまたはＧ２ｓｉｇの値の相関度を求める。そして、画像処理装置は、水平方向の相関度のほうが垂直方向の相関度よりも高い場合には、Ｒｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｂ−Ｇとする。反対に、垂直方向の相関度のほうが水平方向の相関度よりも高い場合には、Ｒｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｂ−Ｇとする（特許文献１を参照）。

あるいは、画像処理装置は、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値の差分に応じた重み付け係数を用いて、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値を加算平均した値を色差信号Ｒ−Ｇとする。同様に、Ｂｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値の差分に応じた重み付け係数を用いて、Ｂｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値を加算平均した値を色差信号Ｂ−Ｇとする（特許文献２を参照）。

このように、色補間に用いる画素を適応的に選択して色差信号を生成することで、偽色を減らす処理が行われていた。

また、輝度信号を生成する際も同様に、着目画素の水平方向および垂直方向に位置する画素の相関に応じて、補間に用いる画素を適応的に選択して画像信号を生成することで、モアレを抑圧し画像全体で違和感がないように処理が行われていた（特許文献３を参照）。

特開２００２−３００５９０号公報 特開平０８−０２３５４１号公報 特開２００７−３３６３８４号公報

しかし、上記のような処理であっても、ナイキスト周波数付近の画像信号や折り返しノイズが含まれる画像信号が含まれる領域に対しては、水平方向と垂直方向の相関度を正しく得ることができず、偽色やモアレが残存してしまうことがあった。そのため、偽色やモアレをさらに低減させるための改良の余地が残されていると考えられる。

上記課題を解決するため、本発明は、入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理手段を有する特徴とする画像処理装置とするものである。
同様に上記課題を解決するため、本発明は、入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出手段と、前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理手段を有することを特徴とする画像処理装置とするものである。
同様に上記課題を解決するため、本発明は、入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理手段を有することを特徴とする画像処理装置とするものである。
同様に上記課題を解決するため、本発明は、入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出手段と、前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理手段を有することを特徴とする画像処理装置とするものである。
同様に上記課題を解決するため、本発明は、入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、前記複数の画像信号における前記判別手段による判別の結果に応じて、いずれかの画像信号を選択する、もしくは、いずれかの画像信号の重み付けを他の画像信号の重み付けよりも大きくして前記複数の画像信号を合成することによって、前記着目領域の画像信号として出力する処理手段を有することを特徴とする画像処理装置とするものである。

本発明によれば、高周波領域に発生する偽色やモアレの抑圧効果を向上させることが可能となる画像処理装置を提供することができる。

本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。 ベイヤー配列で構成された撮像素子のうち、３×３の画素からなる一部の領域を示す図である。 本発明の第１の実施形態における色差信号生成回路１０４の構成を示すブロック図である。 色補間回路３００による処理を説明するための図である。 デジタルフィルタの一例を示す図である。 ＬＰＦ３０１〜ＬＰＦ３０４、ＬＰＦ３５１〜ＬＰＦ３５３の周波数特性の一例を示す図である。 グラデーションを有する縦縞の被写体を示す図である。 図７の被写体を撮影して得られた画像信号におけるＧ１ｓｉｇとＧ２ｓｉｇの値を示す図である。 ＣＺＰ（円形ゾーンプレート）を示す図である。 ＣＺＰの中心部から水平に延びた軸上に位置する補間後のＧ１ｓｉｇとＧ２ｓｉｇの値を示す図である。 本発明の第１の実施形態における選択回路３２０による色差信号の選択処理を示すフローチャートである。 本発明の第２の実施形態における色差信号生成回路１０４の構成を示すブロック図である。 本発明の第２の実施形態における選択回路３２０による色差信号の選択処理を示すフローチャートである。 本発明の第３の実施形態における色差信号生成回路１０４の構成を示すブロック図である。 本発明の第３の実施形態における合成回路３８０による色差信号の合成処理を示すフローチャートである。 ベイヤー配列を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。

撮像部１０１は、図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、図１６に示すベイヤー配列の画素の集合で構成されているものとする。

撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換器１０２によってデジタル信号に変換される。Ａ／Ｄ変換器１０２によってデジタル信号に変換された画像信号は、ホワイトバランス（ＷＢ）回路１０３で公知のホワイトバランス調整が行われる。

ホワイトバランス回路１０３から出力された画像信号は、色差信号生成回路１０４、相関度検出回路１１０、および、輝度信号生成回路１１１に入力される。相関度検出回路１１０は、画像信号から画素あるいは領域ごとに垂直方向と水平方向の信号の相関度を検出する。ホワイトバランス回路１０３から出力した画像信号は、相関度検出回路１１０の出力、輝度信号生成回路１１１、輝度ガンマ回路１１２によって、輝度信号処理が行われ、画素あるいは領域ごとに輝度信号Ｙが出力される。

また、色差信号生成回路１０４は、入力された画像信号から画素あるいは領域ごとに色差信号Ｒ−ＧとＢ−Ｇを生成し、出力する。色差信号生成回路１０４から出力された信号は、色変換マトリックス回路１０５で色差信号Ｒ−Ｇ、Ｂ−ＧがＲ−Ｙ、Ｂ−Ｙに変換される。その後、色抑圧回路１０６によって高輝度および低輝度の色差ゲインが抑圧される。色抑圧回路１０６の出力信号は、公知の色ガンマ回路１０７、彩度ゲインを調整する公知のクロマニー（Ｃｈｒｏｍａ ｋｎｅｅ）回路１０８を通り、画素あるいは領域ごとに色差信号ＵＶが出力される。

ここで、輝度信号生成回路１１１で行われる輝度補間処理について説明する。図２は図１６に示すベイヤー配列で構成された撮像素子のうち、３×３の画素からなる一部の領域を示すものである。この輝度補間処理ではＧ１フィルタに対応する画素から出力される信号Ｇ１ｓｉｇと、Ｇ２フィルタに対応する画素から出力される信号Ｇ２ｓｉｇを区別せず、ともにＧｓｉｇとして扱う。

輝度信号生成回路１１１は、まず、Ｇフィルタ（Ｇ１フィルタ、Ｇ２フィルタ）以外に対応する全ての画素、すなわちＲフィルタとＢフィルタに対応する画素について、Ｇｓｉｇを補間する。例えば、図２のＰ１〜Ｐ９は画素を識別するための符号であり、Ｒ、Ｇ１、Ｇ２、Ｂは画素Ｐ１〜Ｐ９がそれぞれ対応する色フィルタを示す。Ｐ５（Ｒｓｉｇ）とは画素Ｐ５におけるＲｓｉｇの値を示し、Ｐ５（Ｇｓｉｇ）とは画素Ｐ５におけるＧｓｉｇの値を示し、Ｐ５（Ｂｓｉｇ）とは画素Ｐ５におけるＢｓｉｇの値を示すものとする。

Ｂフィルタに対応する画素Ｐ５にＧｓｉｇを補間する場合、上下および左右の信号の相関度を検出し、相関度の高い方向を判別する。すなわち、補間対象の画素の上下に位置する画素の信号の差の絶対値、および、補間対象の画素の左右に位置する画素の信号の差の絶対値を求める。

そしてＨｄｉｆｆとＶｄｉｆｆの差をとったものを補間方向判別信号ＭａｔＳｗとする。

このＭａｔＳＷが負であれば水平方向の相関が強いことになり、水平方向の画素信号から補間する。すなわち、画素Ｐ４のＧｓｉｇと画素Ｐ６のＧｓｉｇとの平均値を画素Ｐ５のＧｓｉｇとする。逆に、その差が正であれば垂直方向の画素信号から補間する。すなわち、画素Ｐ２のＧｓｉｇと画素Ｐ８のＧｓｉｇとの平均値を画素Ｐ５のＧｓｉｇとする。同様の方法で、全てのＲフィルタとＢフィルタに対応した画素についてもＧｓｉｇの補間を行う。

次に、補間したＧｓｉｇを用いて、全てのＧフィルタとＢフィルタに対応した画素についてＲｓｉｇの補間を行う。Ｇフィルタに対応した画素（Ｐ２、Ｐ４、Ｐ６、Ｐ８）については、左右または上下に位置するＲフィルタに対応する画素のＲｓｉｇ、およびそれらの画素に対して補間で求められたＧｓｉｇを用いて、Ｒｓｉｇの補間を行う。また、Ｂフィルタに対応した画素については、その画素の周囲に位置するＲフィルタに対応する画素のＲｓｉｇ、およびそれらの画素に対して補間で求められたＧｓｉｇを用いて、以下の式に示すように補間を行う。

また、同様にして、全てのＧフィルタとＲフィルタに対応した画素についてＢｓｉｇの補間も行うことができる。これにより同一画素についてＲｓｉｇ、Ｇｓｉｇ、およびＢｓｉｇを得る。更に、各画素において下記式（７）の演算を行うことで、輝度信号Ｙを求められる。

なお、この式（７）の各項の係数は、適宜変更することが可能である。

次に、色差信号生成回路１０４で行われる色補間処理について説明する。図３は色差信号生成回路１０４の構成を示すブロック図である。この色差信号生成回路１０４は、色補間回路３００、３５０、ローパスフィルタ（ＬＰＦ）３０１〜３０４、３５１〜３５３、色差信号算出回路３１１〜３１４、選択回路３２０、および、偽色判別回路３６０を有している。

ホワイトバランス回路１０３から出力された画像信号は、色補間回路３００に入力される。図４は色補間回路３００による補間処理を説明するための図である。色補間回路３００は、図４に示すように、ベイヤー配列で入力された画像信号を、Ｒ、Ｇ１、Ｇ２、および、Ｂフィルタの色ごとに対応する信号からなる画像信号に分解する。この際、分解した色フィルタに対応していない画素に対しては、信号の値として０を挿入する。

その後、色補間回路５００は、公知のデジタルフィルタを用いてＬＰＦによる補間処理が行われ、全ての画素において信号を有するＲ、Ｇ１、Ｇ２、および、Ｂの各色の画像信号を出力する。

色補間回路３００から出力された各色の画像信号は、遮断周波数の異なるＬＰＦ３０１〜３０４に入力される。図６（ａ）はＬＰＦ３０１〜３０４の周波数特性の一例を示す。ＬＰＦ３０１が図６（ａ）の周波数特性６０１、ＬＰＦ３０２が図６（ａ）の周波数特性６０２、ＬＰＦ３０３が図６（ａ）の周波数特性６０３、ＬＰＦ３０４が図６（ａ）の周波数特性６０４を有する。この図６（ａ）からわかるように、ＬＰＦ３０１、ＬＰＦ３０２、ＬＰＦ３０３、ＬＰＦ３０４の順で遮断周波数が高くなる。すなわち、ＬＰＦ３０１から出力される画像信号Ｓ０１、ＬＰＦ３０２から出力される画像信号Ｓ０２、ＬＰＦ３０３から出力される画像信号Ｓ０３、ＬＰＦ３０４から出力される画像信号Ｓ０４の順で、より高い周波数成分が画像に含まれる。これら画像信号Ｓ０１〜Ｓ０４のそれぞれが、周波数成分が制限されたＲ、Ｇ１、Ｇ２、および、Ｂの各色の画像信号を有している。

画像信号Ｓ０１は色差信号算出回路３１１に、画像信号Ｓ０２は色差信号算出回路３１２に、画像信号Ｓ０３は色差信号算出回路３１３に、画像信号Ｓ０４は色差信号算出回路３１４にそれぞれ入力される。色差信号算出回路３１１〜３１４は、画像信号Ｓ０１〜Ｓ０４に対して上述した方法で色差信号を求める。

つまり、色差信号算出回路３１１は、相関度検出回路１１０で求めた着目画素における垂直方向と水平方向の相関度を参照し、色差信号Ｒ−ＧとＢ−Ｇを生成する。具体的には、色差信号算出回路３１１は、相関度検出回路１１０にて水平方向の相関度のほうが垂直方向の相関度よりも高いと判断された場合には、Ｒｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｂ−Ｇとする。反対に、色差信号算出回路３１１は、相関度検出回路１１０にて垂直方向の相関度のほうが水平方向の相関度よりも高いと判断された場合には、Ｒｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｂ−Ｇとする。

あるいは、色差信号算出回路３１１は、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値の差分に応じた重み付け係数を用いて、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値を加算平均した値を色差信号Ｒ−Ｇとする。同様に、Ｂｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値の差分に応じた重み付け係数を用いて、Ｂｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値を加算平均した値を色差信号Ｂ−Ｇとする。

これらの処理を、色差信号算出回路３１２〜３１４においても行う。

色差信号算出回路３１１〜３１４から求められた色差信号Ｒ−ＧとＢ−Ｇは、それぞれ色差信号Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４として、後述の選択回路３２０に入力される。

次に、偽色判別動作について説明する。ホワイトバランス回路１０３から出力した画像データは、色補間回路３５０に入力される。色補間回路３５０は色補間回路３００と同様に、全ての画素において信号を有するＲ、Ｇ１、Ｇ２、および、Ｂの各色の画像信号を出力する。

ここで、図１６に示すベイヤー配列では、Ｇフィルタに対応した画素の数は、Ｒフィルタに対応した画素の数、Ｂフィルタに対応した画素の数のそれぞれに対して２倍となる。このＧフィルタをＧ１フィルタとＧ２フィルタに分解することで、Ｒ、Ｇ１、Ｇ２、および、Ｂフィルタの画素間隔（サンプリング間隔）が等しくなる。よって、このＧ１およびＧ２の画像信号を用いて折り返しノイズが発生する領域を検出すれば、ＲおよびＢの画像信号において折り返しノイズが発生する領域を特定することが可能となる。

色補間回路３５０から出力された各色の画像信号は、遮断周波数の異なるＬＰＦ３５１〜３５３に入力される。図６（ｂ）はＬＰＦ３５１〜３５３の周波数特性の一例を示す。ＬＰＦ３５１が図６（ｂ）の周波数特性６１１、ＬＰＦ３５２が図６（ｂ）の周波数特性６１２、ＬＰＦ３５３が図６（ｂ）の周波数特性６１３を有する。この図６（ｂ）からわかるように、ＬＰＦ３５１、ＬＰＦ３５２、ＬＰＦ３５３の順で遮断周波数が高くなる。すなわち、ＬＰＦ３５１から出力される画像信号Ｔ０１、ＬＰＦ３５２から出力される画像信号Ｔ０２、ＬＰＦ３５３から出力される画像信号Ｔ０３の順で、より高い周波数成分が画像に含まれる。なお、本実施形態では、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、ＬＰＦ３０３とＬＰＦ３５３の周波数特性がそれぞれ一致するものとする。

ＬＰＦ３５１〜３５３から出力された画像信号Ｔ０１〜Ｔ０３は偽色判別回路３６０に入力される。

ここで、図７および図８を用いて、偽色判別回路３６０が、偽色信号が発生する領域を判別するための方法について説明する。図７はグラデーションを有する縦縞の被写体であり、図８は図７の被写体を撮影して得られた画像信号におけるＧ１ｓｉｇとＧ２ｓｉｇの値を示す。

図８（ａ）〜図８（ｉ）の横軸は、水平方向における画素の位置を示している。図８（ａ）、図８（ｄ）、図８（ｇ）は、ある行におけるＧ１フィルタに対応した画素から得られたＧ１ｓｉｇと、別の行におけるＧ２フィルタに対応した画素から得られたＧ２ｓｉｇを並べて配置したものである。水平方向および垂直方向において、Ｇ１フィルタに対応する画素のサンプリング間隔とＧ２フィルタに対応する画素のサンプリング間隔は等しく、Ｇ１フィルタに対応する画素とＧ２フィルタに対応する画素の空間的位相はこのサンプリング間隔の半分だけずれている。

図７は縦縞であるので、すべての行に対して等しく被写体像が入射するため、これらＧ１ｓｉｇとＧ２ｓｉｇを水平方向における画素の位置に応じて並べると、図７に示す被写体のグラデーションを示す画像信号が得られる。ここで、図８（ａ）では、図Ｂに示す縦縞の周波数が、Ｇ１フィルタおよびＧ２フィルタのナイキスト周波数よりも十分に低いものとする。図８（ｄ）では、図Ｂに示す縦縞の周波数が、図Ａに示す縦縞の周波数よりも高く、Ｇ１フィルタおよびＧ２フィルタのナイキスト周波数よりもやや低いものとする。また、図８（ｇ）では、図Ｂに示す縦縞の周波数が、Ｇ１フィルタおよびＧ２フィルタのナイキスト周波数よりも高いものとする。

図８（ｂ）、図８（ｅ）、図８（ｈ）は、それぞれ図８（ａ）、図８（ｄ）、図８（ｇ）のＧ１ｓｉｇのみを抽出し、Ｇ１フィルタに対応していない画素に対して、周囲のＧ１ｓｉｇを用いてＧ１ｓｉｇの補間を行ったものである。図８（ｃ）、図８（ｆ）、図８（ｉ）は、図８（ａ）、図８（ｄ）、図８（ｇ）のＧ２ｓｉｇのみを抽出し、Ｇ２フィルタに対応していない画素に対して、周囲のＧ２ｓｉｇを用いてＧ２ｓｉｇの補間を行ったものである。

これら図８（ａ）〜図８（ｉ）からわかるように、被写体の空間周波数がＧ１フィルタおよびＧ２フィルタのナイキスト周波数よりも十分に低ければ、補間後のＧ１ｓｉｇとＧ２ｓｉｇの位相のずれは小さくなる。そして、被写体の空間周波数がＧ１フィルタおよびＧ２フィルタのナイキスト周波数に近づくほど、補間後のＧ１ｓｉｇとＧ２ｓｉｇの位相のずれが大きくなり、ナイキスト周波数を超えると、補間後のＧ１ｓｉｇとＧ２ｓｉｇの位相がほぼ反転した状態となる。つまり、補間後のＧ１ｓｉｇとＧ２ｓｉｇの位相の差異を検出することで、高周波領域であるか否か、すなわち、偽色が生じる領域であるか否かを判断することが可能となる。

ここで、偽色判別回路３６０の動作について図９および図１０を用いて説明する。

図９はＣＺＰ（円形ゾーンプレート）を示す図であり、画像の中心を原点とする同心円が幾重にも並び、中心から外側に向かって空間周波数が高くなる。図１０はＣＺＰの中心部から水平に延びた軸上に位置する補間後のＧ１ｓｉｇとＧ２ｓｉｇの値をプロットしたものである。

図１０（ａ）において、曲線１００１は画像信号Ｔ０１の補間後のＧ１ｓｉｇを示し、曲線１００２は画像信号Ｔ０１の補間後のＧ２ｓｉｇを示す。図１０（ｂ）において、曲線１００３は画像信号Ｔ０２の補間後のＧ１ｓｉｇを示し、曲線１００４は画像信号Ｔ０２の補間後のＧ２ｓｉｇを示す。図１０（ｃ）において、曲線１００５は画像信号Ｔ０３の補間後のＧ１ｓｉｇを示し、曲線１００６は画像信号Ｔ０３の補間後のＧ２ｓｉｇを示す。なお、Ｆ０〜Ｆ４はＣＺＰの空間周波数を示しており、画像の中心の空間周波数をＦ０とし、画像の外側に向かうにつれ、Ｆ１、Ｆ２、Ｆ３、Ｆ４の順で徐々に空間周波数が高くなる。

偽色判別回路３６０は、補間後のＧ１ｓｉｇからなる画像信号と補間後のＧ２ｓｉｇからなる画像信号の特性の差を利用して、偽色信号が発生する高周波領域であるか否かを判別する。具体的には、補間後のＧ１ｓｉｇからなる画像信号と補間後のＧ２ｓｉｇからなる画像信号の傾きの位相に着目し、下記の式（８）を満たすときには偽色信号が発生する偽色領域であると判別する。

ここで、ΔＧ１ｈは補間後のＧ１ｓｉｇからなる画像信号における水平方向の傾き、ΔＧ２ｈは補間後のＧ２ｓｉｇからなる画像信号における水平方向の傾きを示す。また、ΔＧ１ｖは補間後のＧ１ｓｉｇからなる画像信号における垂直方向の傾き、ΔＧ２ｖは補間後のＧ２ｓｉｇからなる画像信号における垂直方向の傾きを示す。例えば、水平方向の傾きは図５（ａ）、垂直方向は図５（ｂ）にそれぞれ示すような公知のデジタルフィルタで求めることができる。なお、傾きを求めるフィルタはこれに限られるものではない。

なお、画素単位ではなく、複数の画素からなる着目領域の単位で偽色領域を判別するようにしてもよい。着目領域単位で判別する場合には、その領域に含まれる各画素を用いて求めた画像信号の傾きのうち、式（８）を満たすものの割合が閾値以上である場合に、その領域が偽色領域であると判別するようにしてもよい。なお、以降で着目領域と述べた場合には、複数の画素からなる領域と、単一の画素からなる領域の、いずれも含むものとする。

本実施形態では、図１０（ａ）より、画像信号Ｔ０１においては、図９において空間周波数がＦ１よりも高くなる領域２〜領域４が偽色領域であると判断することができる。また、図１０（ｂ）より、画像信号Ｔ０２においては、図９において空間周波数がＦ２よりも高くなる領域３と領域４が偽色領域であると判断することができる。さらに、図１０（ｃ）より、画像信号Ｔ０３においては、図９において空間周波数がＦ３よりも高くなる領域４が偽色領域であると判断することができる。

選択回路３２０は、画像信号Ｔ０１において偽色領域でないと判断された領域１については、画像信号Ｔ０１と同じ周波数の画像信号から生成された色差信号Ｓ１１を選択する。また、選択回路３２０は、画像信号Ｔ０１において偽色領域であると判断されたが、画像信号Ｔ０２において偽色領域でないと判断された領域２については、画像信号Ｔ０２と同じ周波数の画像信号から生成された色差信号Ｓ１２を選択する。また、選択回路３２０は、画像信号Ｔ０２において偽色領域であると判断されたが、画像信号Ｔ０３において偽色領域でないと判断された領域３については、画像信号Ｔ０３と同じ周波数の画像信号から生成された色差信号Ｓ１３を選択する。そして、選択回路３２０は、画像信号Ｔ０３において偽色領域であると判断された領域４については、画像信号Ｔ０３よりも低い周波数の画像信号から生成された色差信号Ｓ１４を選択する。このようにすることで、選択回路３２０が、画素ごとに偽色を含まない色差信号を選択することが可能となる。

なお、本実施形態では、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、ＬＰＦ３０３とＬＰＦ３５３の周波数特性がそれぞれ一致するものとしたが、これに限られるものではない。

例えば、画像信号Ｓ０１のうち、画像信号Ｔ０１で偽色領域でないと判断された領域において偽色が発生しない確率をより高くするためには、画像信号Ｓ０１に含まれる周波数の上限を、画像信号Ｔ０１に含まれる周波数の上限よりも低くすればよい。つまり、ＬＰＦ３５１の遮断周波数をＬＰＦ３０１の遮断周波数よりもやや高く設定する。同様に、ＬＰＦ３５２の遮断周波数をＬＰＦ３０２の遮断周波数よりも高く、ＬＰＦ３５３の遮断周波数をＬＰＦ３０３の遮断周波数よりもやや高く設定する。ただし、このような場合、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、ＬＰＦ３０３とＬＰＦ３５３の周波数特性をそれぞれ一致させた場合よりも、色解像度が低下する領域が増加する可能性がある。

反対に、色解像度が低下する領域を減らしたいのであれば、ＬＰＦ３０１、ＬＰＦ３０２、ＬＰＦ３０３の遮断周波数を、対応するＬＰＦ３５１、ＬＰＦ３５２、ＬＰＦ３５３の遮断周波数よりもやや低く設定すればよい。ただし、この場合は、例えば画像信号Ｓ０１に画像信号Ｔ０１よりも高い周波数が含まれる可能性があるので、画像信号Ｔ０１では偽色領域でないと判断された領域においても、画像信号Ｓ０１では偽色領域となる可能性が高くなる。

ＬＰＦ３０１〜ＬＰＦ３０３と、これに対応するＬＰＦ３５１〜ＬＰＦ３５３の遮断周波数を一致させるか、あるいは差を設けるかは、どのような画像を生成したいのかによって適応的に変更するようにしてもよい。あるいは、被写体の柄や模様によっては、解像度を低下させることによる影響の程度が異なるため、被写体に応じてこれらのＬＰＦの遮断周波数を適応的に変更するようにしてもよい。

このように、本実施形態では、色差信号生成回路１０４は、遮断周波数の異なるＬＰＦ３０１〜３０４を透過させた複数の画像信号Ｓ０１〜Ｓ０４を生成し、これら複数の画像信号Ｓ０１〜Ｓ０４から階層的に色差信号Ｓ１１〜Ｓ１４生成する。そして、色差信号生成回路１０４は、同様に遮断周波数の異なるＬＰＦ３５１〜３５３を通した複数の画像信号Ｔ０１〜Ｔ０３を生成し、これら階層の異なる画像信号ごとに偽色領域を検出する。選択回路３２０は、偽色領域が画像信号Ｔ０１〜Ｔ０３のうちのどの解像度の画像信号から検出されたかに応じて、色差信号Ｓ１１〜Ｓ１４のいずれかを選択する。そのため、選択回路３２０は、画素あるいは領域ごとに、偽色とならない範囲で最も周波数の高い階層の画像信号から生成された色差信号を選択することが可能となる。

このようにすることで、偽色が発生する領域のみを、偽色を抑圧するために必要な分だけ色解像度を低下させ、偽色が発生しない領域では色解像度を落とす必要がなくなるため、色解像度の向上と偽色の抑圧を優れたバランスで両立させることができる。

図１１は、選択回路３２０による色差信号の選択処理を示すフローチャートである。選択回路３２０は、画素あるいは領域単位でこの選択処理を行う。ここでは、選択回路３２０は画素単位でこの選択処理を行うものとする。

選択回路３２０は、ステップＳ１１０１において、着目画素に対応する画像信号Ｔ０１の画素が偽色判別回路３６０にて偽色領域であると判別されたか否かを判定する。選択回路３２０は、着目画素が偽色領域でないと判別されたのであればステップＳ１１０４に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１１を選択する。

選択回路３２０は、ステップＳ１１０１において、着目画素が偽色領域でないと判別されたのであればステップＳ１１０２に進む。選択回路３２０は、ステップＳ１１０２において、着目画素に対応する画像信号Ｔ０２の画素が偽色判別回路３６０にて偽色領域であると判別されたか否かを判定する。選択回路３２０は、着目画素が偽色領域でないと判別されたのであればステップＳ１１０５に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１２を選択する。

選択回路３２０は、ステップＳ１１０２において、着目画素が偽色領域でないと判別されたのであればステップＳ１１０３に進む。選択回路３２０は、ステップＳ１１０３において、着目画素に対応する画像信号Ｔ０３の画素が偽色判別回路３６０にて偽色領域であると判別されたか否かを判定する。選択回路３２０は、着目画素が偽色領域でないと判別されたのであればステップＳ１１０６に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１３を選択する。

選択回路３２０は、ステップＳ１１０３において、着目画素が偽色領域でないと判別されたのであればステップＳ１１０７に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１４を選択する。

そして、選択回路３２０は出力される画像信号のすべての画素に対して色差信号の選択処理を行い、各画素に対して選択した色差信号Ｓ１１〜Ｓ１４のいずれかに含まれる色差信号Ｒ−Ｇ、Ｂ−Ｇを出力する。そして、この出力された色差信号Ｒ−Ｇ、Ｂ−Ｇが色変換マトリックス回路１０５に入力され、信号Ｒ−Ｙ、Ｂ−Ｙに変換される。

なお、本実施形態では偽色領域であるか否かの判別のために式（８）を使用したが、これに限られるものではない。例えば、ΔＧ１ｈ、ΔＧ１ｖ、ΔＧ２ｈ、および、ΔＧ２ｖの値の大きさに着目し、下記の式（９）〜式（１２）のいずれかを満たす場合に、偽色領域であると判別するようにしてもよい。また、これらの式中の閾値ＴＨを画像信号Ｔ０１〜Ｔ０３において互いに異なる値としてもよい。これらの値を調整することで、偽色領域であると判断する基準を変更し、色解像度の向上と偽色の抑圧のバランスを調整することができる。

また、偽色領域であるか否かの判別のために、水平方向の傾きと垂直方向の傾きに着目したが、これに限られるものではなく、斜め方向の傾きに着目してもよい。

また、偽色領域であるか否かの判別のために、補間後のＧ１ｓｉｇからなる画像信号における傾きと、補間後のＧ２ｓｉｇからなる画像信号における傾きを利用したが、Ｇ１ｓｉｇとＧ２ｓｉｇの値の差を利用してもよい。すなわち、Ｇ１ｓｉｇとＧ２ｓｉｇの値の差が大きければ、位相が大きくずれていると判別することができる。具体的には、上記式（８）〜式（１２）のいずれも満たさずとも、式（１３）に示すように、着目画素におけるＧ１ｓｉｇとＧ２ｓｉｇの差分の絶対値が閾値を超えている場合に、偽色領域であると判別してもよい。

ただし、輝度信号が小さい場合は、Ｇ１ｓｉｇとＧ２ｓｉｇの値がともに小さくなるため、輝度信号生成回路１１１にて生成された対応する画素の輝度信号に応じて、これらの閾値を変更するようにしてもよい。

あるいは、補間後のＧ１ｓｉｇからなる画像信号における傾きと、補間後のＧ２ｓｉｇからなる画像信号における傾きによる判別に加え、Ｇ１ｓｉｇとＧ２ｓｉｇの値の差による判別を組み合わせてもよい。

さらに、これらの判別条件を、画像信号Ｔ０１〜Ｔ０３間で異ならせてもよい。

さらに、着目画素だけでなく、周辺領域に位置する画素の偽色領域の判別結果を考慮して、着目画素が偽色領域であるか否かを判別するようにしてもよい。

また、本実施形態では、４階層の画像信号から色差信号を生成し、３階層の画像信号において偽色領域の判別を行ったが、階層の数はこれに限られるものでない。Ｎ＋１階層の周波数の異なる画像信号から色差信号を生成し、Ｎ階層の周波数の異なる画像信号において偽色領域の判別を行うものであればよい。

また、本実施形態では、色補間回路３００と色補間回路３５０を分離して記載しているが、特性が共通するのであれば一つの回路で兼用しても構わない。同様に、ＬＰＦ３０１〜３０３とＬＰＦ３５１〜３５３についても、特性が共通するのであれば一つの回路で兼用しても構わない。

また、本実施形態では、偽色を抑圧するために、複数階層の周波数の異なる画像信号から生成された色差信号のいずれかを選択する例をあげて説明を行ったが、これに限られるものではない。上記方法と同じ方法によって、Ｎ＋１階層の周波数の異なる画像信号から輝度信号を生成し、Ｎ階層の周波数の異なる画像信号に対し、同じ方法によって偽色領域の代わりにモアレ領域を検出することで、輝度信号によるモアレの抑圧を行うことも可能である。すなわち、本実施形態は、色信号による偽色だけでなく、輝度によるモアレに対しても効果を得ることが可能である。また、画素数を減らすリサイズ処理を行った画像信号を対象として本実施形態の処理を行えば、リサイズ処理によって生じるモアレや偽色の抑圧を行うことも可能である。

このように、本実施形態における画像処理装置は、まず、ベイヤー配列の撮像素子から得られた画像信号から、第１の色フィルタであるＧ１フィルタの画像信号と、第２の色フィルタであるＧ２フィルタの画像信号を抽出し、補間する。このＧ１フィルタとＧ２フィルタは、互いに同じ周期で画素が配置され、かつ、その空間的位相がずれているため、Ｇ１フィルタの補間後の画像信号とＧ２フィルタの補間後の画像信号は、高周波領域では図８や図１０に示すように、その位相が反転する。そのため、画像処理装置は、これらのＧ１フィルタとＧ２フィルタの画像信号の傾き、および、Ｇ１フィルタとＧ２フィルタの画像信号の差分の少なくとも一方から、着目領域（着目画素）が高周波領域であるか否かを判別することが可能である。画像処理装置は、着目画素が高周波領域であると判断された場合には、着目画素が高周波領域であると判断されないレベルまで遮断周波数を低くした画像信号から、色差信号や輝度信号などの所定の信号を生成することで、偽色やモアレを抑圧することが可能となる。

また、画像処理装置は、これら色差信号や輝度信号などの所定の信号を生成することは後段の装置に任せ、着目画素が高周波領域であるか否かの判断結果を示すフラグを、画像信号に設定するようにしても構わない。

（第２の実施形態）
第２の実施形態は、選択回路３２０が色差信号を選択する際に、着目画素がエッジ領域であるか否かという点を判断に加えるという点で第１の実施形態と異なる。第１の実施形態では、選択回路３２０は、偽色判別回路３６０によって偽色領域であると判別されると、より低い周波数の画像信号から生成された色差信号を選択するようにしている。その結果、偽色領域であると判別された領域がエッジ領域であると、エッジ領域の色がにじむように見える可能性がある。

本実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置と同様であるため、説明を省略する。本実施形態では、図１の色差信号生成回路１０４の構成の一部が第１の実施形態と異なる。

図１２は本実施形態における色差信号生成回路１０４の構成を示すブロック図である。本実施形態における色差信号生成回路１０４は、図３に示す色差信号生成回路の構成に対して、ＬＰＦ３５１〜３５３から出力される画像信号Ｔ０１〜Ｔ０３が入力されるエッジ判別回路３７０が追加されている。このエッジ判別回路３７０によるエッジ領域の判別結果は選択回路３２０に入力される。

エッジ判別回路３７０は、ＬＰＦ３５１から出力された画像信号Ｔ０１に含まれるＧ１の画像信号およびＧ２の画像信号から、式（１４）を用いて全ての画素におけるＧｓｉｇを求める。

そして、このＧｓｉｇからなる画像信号の水平方向と垂直方向の傾きに着目し、下記の式（１５）を満たすときにはその着目画素がエッジ領域であると判別し、その判別結果を選択回路３２０に出力する。

ここで、ΔＧｈは補間後のＧｓｉｇからなる画像信号における水平方向の傾き、ΔＧｖは補間後のＧ２ｓｉｇからなる画像信号における水平方向の傾きを示す。これらの傾きは図５（ａ）、垂直方向は図５（ｂ）にそれぞれ示すような公知のデジタルフィルタで求めることができる。なお、傾きを求めるフィルタはこれに限られるものではない。また、画素単位ではなく、複数の画素からなる領域単位でエッジ領域を判別するようにすてもよい。領域単位で判別する場合には、その領域に含まれる各画素を用いて求めた画像信号の傾きのうち、式（１５）を満たすものの割合が閾値以上である場合に、その領域がエッジ領域であると判別するようにしてもよい。

同様に、エッジ判別回路３７０は、ＬＰＦ３５２から出力された画像信号Ｔ０２、ＬＰＦ３５３から出力された画像信号Ｔ０３に対しても、エッジ領域の判別を行う。

なお、ここではエッジ領域の判別方法として、Ｇ１ｓｉｇとＧ２ｓｉｇからＧｓｉｇを用いる例を説明したが、この方法に限られず、Ｒｓｉｇ、Ｇｓｉｇ、および、Ｂｓｉｇから式（７）を用いて生成した輝度信号を用いてもよい。

偽色判別回路３６０は、第１の実施形態と同様の処理にて偽色領域の判別を行い、その判別結果を選択回路３２０に出力する。

図１３は、本実施形態における選択回路３２０による色差信号の選択処理を示すフローチャートである。選択回路３２０は、画素あるいは領域単位でこの選択処理を行う。ここでは、選択回路３２０は画素単位でこの選択処理を行うものとする。

選択回路３２０は、ステップＳ１３０１において、着目画素に対応する画像信号Ｔ０１の画素が、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたか判定する。選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別されたのであれば、ステップＳ１３０４に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１１を選択する。あるいは、選択回路３２０は、エッジ判別回路３７０にてエッジ領域であると判別されたのであれば、ステップＳ１３０４に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１１を選択する。つまり、選択回路３２０は、着目画素が偽色領域であると判別されたとしても、エッジ領域であると判別されたならば、エッジ領域の色のにじみを抑制することを優先するために色差信号Ｓ１１を選択する。

選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたならば、ステップＳ１３０２に進む。選択回路３２０は、ステップＳ１３０２において、着目画素に対応する画像信号Ｔ０２の画素が、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたか判定する。選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別されたのであれば、ステップＳ１３０５に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１２を選択する。あるいは、選択回路３２０は、エッジ判別回路３７０にてエッジ領域であると判別されたのであれば、ステップＳ１３０５に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１２を選択する。つまり、選択回路３２０は、着目画素が偽色領域であると判別されたとしても、エッジ領域であると判別されたならば、エッジ領域の色のにじみを抑制することを優先するため色差信号Ｓ１２を選択する。

選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたならば、ステップＳ１３０３に進む。選択回路３２０は、ステップＳ１３０３において、着目画素に対応する画像信号Ｔ０３の画素が、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたか判定する。選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別されたのであれば、ステップＳ１３０６に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１３を選択する。あるいは、選択回路３２０は、エッジ判別回路３７０にてエッジ領域であると判別されたのであれば、ステップＳ１３０６に進み、着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１３を選択する。つまり、選択回路３２０は、着目画素が偽色領域であると判別されたとしても、エッジ領域であると判別されたならば、エッジ領域の色のにじみを抑制することを優先するため色差信号Ｓ１３を選択する。

反対に、選択回路３２０は、偽色判別回路３６０にて偽色領域であると判別され、かつ、エッジ判別回路３７０でエッジ領域でないと判別されたならば、ステップＳ１３０７に進み、色差信号Ｓ１４を選択する。

このように、本実施形態では、偽色判別回路３６０にて偽色領域であると判別された場合であっても、その領域がエッジ領域である場合には、エッジ領域でないと判断された場合よりも周波数の高い階層の画像信号から生成された色差信号を選択する。

このようにすることで、第１の実施形態の構成で得られた効果に加え、エッジ領域で色がにじんだように見えることを抑制することも可能となる。

（第３の実施形態）
第３の実施形態は、色差信号生成回路１０４が色差信号Ｓ１１〜Ｓ１４のいずれか１つを出力するのではなく、これらの色差信号Ｓ１１〜Ｓ１４を合成した色差信号を出力するという点で第１の実施形態と異なる。

本実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置と同様であるため、説明を省略する。本実施形態では、図１の色差信号生成回路１０４の構成の一部が第１の実施形態と異なる。

図１４は本実施形態における色差信号生成回路１０４の構成を示すブロック図である。本実施形態における色差信号生成回路１０４は、図３に示す選択回路３２０の代わりに合成回路３８０を有している。

図１５は、本実施形態における合成回路３８０による色差信号の合成処理を示すフローチャートである。合成回路３８０は、画素あるいは領域単位でこの選択処理を行う。ここでは、合成回路３８０は画素単位でこの選択処理を行うものとする。この合成回路３８０は、画像信号Ｔ０１〜Ｔ０３のどれで偽色領域が検出されたかに応じて、色差信号Ｓ１１〜Ｓ１４の重み付けを変更して、これら色差信号Ｓ１１〜Ｓ１４を合成して出力する。

合成回路３８０は、ステップＳ１５０１において、着目画素に対応する画像信号Ｔ０１の画素が、偽色判別回路３６０にて偽色領域であると判別されたか判定する。合成回路３８０は、偽色判別回路３６０にて偽色領域でないと判別されたのであれば、ステップＳ１５０４に進み、この着目画素に対応する画素の色差信号Ｓ１１の重み付けを、別の色差信号の重み付けと比較して最大となるように設定する。

合成回路３８０は、ステップＳ１５０１において、偽色判別回路３６０にて偽色領域であると判別されたならば、ステップＳ１５０２に進む。合成回路３８０は、ステップＳ１５０２において、着目画素に対応する画像信号Ｔ０２の画素が、偽色判別回路３６０にて偽色領域であると判別されたか判定する。合成回路３８０は、偽色判別回路３６０にて偽色領域でないと判別されたのであれば、ステップＳ１５０５に進み、この着目画素に対応する画素の色差信号Ｓ１２の重み付けを、他の色差信号の重み付けと比較して最大となるように設定する。

合成回路３８０は、ステップＳ１５０２において、偽色判別回路３６０にて偽色領域であると判別されたならば、ステップＳ１５０３に進む。合成回路３８０は、ステップＳ１５０３において、着目画素に対応する画像信号Ｔ０３の画素が、偽色判別回路３６０にて偽色領域であると判別されたか判定する。合成回路３８０は、偽色判別回路３６０にて偽色領域でないと判別されたのであれば、ステップＳ１５０６に進み、この着目画素に対応する画素の色差信号Ｓ１３の重み付けを、他の色差信号の重み付けと比較して最大となるように設定する。

反対に、合成回路３８０は、偽色判別回路３６０にて偽色領域であると判別されたのであれば、ステップＳ１５０７に進み、この着目画素に対応する画素の色差信号Ｓ１４の重み付けを、他の色差信号の重み付けと比較して最大となるように設定する。

合成回路３８０は、ステップＳ１５０４〜Ｓ１５０７で設定された重み付けにしたがって、色差信号Ｓ１１〜Ｓ１４を下記のいずれかの式にしたがって合成する。

合成回路３８０は、色差信号Ｓ１１の重み付けが最大に設定されている場合は式（１６）を選択する。同様に、合成回路３８０は、色差信号Ｓ１２、Ｓ１３、Ｓ１４の重み付けが最大に設定されている場合は、それぞれ式（１７）、式（１８）、式（１９）を選択する。そして、合成回路３８０は、この合成処理にて得られた色差信号Ｒ−Ｇ、Ｂ−Ｇを色変換マトリックス回路１０５へ出力する。

なお、第２の実施形態と同様に、着目画素がエッジ領域であるか否かを考慮してもよい。つまり、着目画素が偽色領域と判別された場合であっても、着目画素がエッジ領域であると判別されたのであれば、エッジ領域と判別された画像信号の中で最も遮断周波数の高い画像信号から生成された色差信号の重み付けを最大とすればよい。

なお、合成回路３８０は、画像信号Ｔ０１〜Ｔ０３から検出された偽色度に応じて、色差信号Ｓ１１〜Ｓ１４の重み付けを変更するようにしてもよい。偽色度は、補間後のＧ１ｓｉｇおよび補間後のＧ２ｓｉｇから求めたΔＧ１ｈ、ΔＧ１ｖ、ΔＧ２ｈ、ΔＧ２ｖ、および、Ｇ１ｓｉｇとＧ２ｓｉｇの値の差分から求められる。すなわち、合成回路３８０は、補間後のＧ１ｓｉｇおよび補間後のＧ２ｓｉｇの位相のずれが１８０度に近いと推定されるほど、値が大きくなるように偽色度を設定する。そして、合成回路３８０は、画像信号Ｔ０１〜Ｔ０３の偽色度に応じて、色差信号Ｓ１１〜Ｓ１４の重み付けを設定することも可能である。

（他の実施形態）
本発明の目的は次のような方法によっても達成される。即ち、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

更に、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

１０１ 撮像部
１０２ Ａ／Ｄ変換器
１０３ ホワイトバランス（ＷＢ）回路
１０４ 色差信号作成回路
１０５ 色変換マトリックス回路
１０６ 色抑圧回路
１０７ 色ガンマ回路
１０８ クロマニー回路
１１０ 相関度検出器
１１１ 輝度信号生成回路
１１２ 輝度ガンマ回路
３００、３５０ 色補間回路
３０１、３０２、３０３、３０４、３５１、３５２、３５３ ローパスフィルタ（ＬＰＦ）
３１１、３１２、３１３、３１４ 色差信号算出回路
３２０ 選択回路
３６０ 偽色判別回路
３７０ エッジ判別回路
３８０ 合成回路

Claims (19)

1. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、
   前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、
   前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理手段を有することを特徴とする画像処理装置。
2. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、
   前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、
   前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出手段と、
   前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理手段を有することを特徴とする画像処理装置。
3. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、
   前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、
   前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理手段を有することを特徴とする画像処理装置。
4. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、
   前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、
   前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出手段と、
   前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理手段を有することを特徴とする画像処理装置。
5. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力手段と、
   前記出力手段から出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別手段と、
   前記複数の画像信号における前記判別手段による判別の結果に応じて、いずれかの画像信号を選択する、もしくは、いずれかの画像信号の重み付けを他の画像信号の重み付けよりも大きくして前記複数の画像信号を合成することによって、前記着目領域の画像信号として出力する処理手段を有することを特徴とする画像処理装置。
6. 前記画像信号は、複数の色フィルタが所定の配列で配置され、かつ、それぞれの色フィルタに対応した画素が設けられた撮像素子から得られたものであることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記判別手段は、前記着目領域における、前記複数の色フィルタのうちの第１の色フィルタに対応する画像信号の傾きと第２の色フィルタに対応する画像信号の傾き、および、前記第１の色フィルタに対応する画像信号と前記第２の色フィルタの画像信号の差分、の少なくともいずれかに基づいて、前記着目領域が、偽色が発生する領域であるか否かを判別することを特徴とする請求項６に記載の画像処理装置。
8. 前記判別手段は、前記着目領域における、前記複数の色フィルタのうちの前記第１の色フィルタに対応する画像信号の傾きの符号と前記第２の色フィルタに対応する画像信号の傾きの符号が逆である場合に、前記着目領域が、偽色が発生する領域であると判別することを特徴とする請求項７に記載の画像処理装置。
9. 前記判別手段は、前記着目領域における、前記複数の色フィルタのうちの前記第１の色フィルタに対応する画像信号と前記第２の色フィルタに対応する画像信号の差分の絶対値が閾値を超えている場合に、前記着目領域が、偽色が発生する領域であると判別することを特徴とする請求項７に記載の画像処理装置。
10. 前記画像信号を生成した撮像素子は赤、青、および、緑の色フィルタをベイヤー配列で配置したものであることを特徴とする請求項６に記載の画像処理装置。
11. 前記画像信号を生成した撮像素子は赤、青、および、緑の色フィルタをベイヤー配列で配置したものであって、
    前記第１の色フィルタは、前記赤の色フィルタの水平方向に配置され、かつ、前記青の色フィルタの垂直方向に配置された第１の緑の色フィルタであり、前記第２の色フィルタは、前記赤の色フィルタの垂直方向に配置され、かつ、前記青の色フィルタの水平方向に配置された第２の緑の色フィルタであることを特徴とする請求項７乃至９のいずれか一項に記載の画像処理装置。
12. 前記出力手段は、色差信号からなる複数の画像信号を出力することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力工程と、
    前記出力工程において出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別工程と、
    前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理工程を有することを特徴とする画像処理方法。
14. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力工程と、
    前記出力工程において出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別工程と、
    前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出工程と、
    前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号を、前記着目領域の画像信号として出力する処理工程を有することを特徴とする画像処理方法。
15. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力工程と、
    前記出力工程において出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別工程と、
    前記着目領域が偽色が発生する領域であると判別されなかった画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理工程を有することを特徴とする画像処理方法。
16. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力工程と、
    前記出力工程において出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別工程と、
    前記複数の画像信号の着目領域がエッジ領域であるか否かを判別する検出工程と、
    前記着目領域がエッジ領域であると判別された画像信号、および、前記着目領域が偽色が発生する領域でないと判別された画像信号の少なくともいずれかにあたる画像信号のうち、最も高い周波数成分を含む画像信号の重み付けを前記複数の画像信号のうちの別の画像信号よりも大きくして、前記着目領域における前記複数の画像信号を合成する処理工程を有することを特徴とする画像処理方法。
17. 入力された画像信号から、それぞれの画像信号に含まれる周波数成分の少なくとも一部が異なるように、複数の画像信号を出力する出力工程と、
    前記出力工程において出力された前記複数の画像信号の着目領域が、偽色が発生する領域であるか否かを判別する判別工程と、
    前記複数の画像信号における前記判別工程における判別の結果に応じて、いずれかの画像信号を選択する、もしくは、いずれかの画像信号の重み付けを他の画像信号の重み付けよりも大きくして前記複数の画像信号を合成することによって、前記着目領域の画像信号として出力する処理工程を有することを特徴とする画像処理方法。
18. 請求項１３乃至１７のいずれかに記載の画像処理方法を画像処理装置のコンピュータに実行させるためのプログラム。
19. 請求項１８記載のプログラムが格納されたコンピュータにより読み取り可能な記録媒体。