JP6426909B2 - 色情報補完装置およびそのプログラム - Google Patents

Description

本発明は、カラーフィルタを介して撮像された撮像画像において、欠落している各色の色情報を補完する色情報補完装置およびそのプログラムに関する。

通常、デジタルカメラ等で利用される単板式撮像デバイスは、カラーフィルタを介して受光した光を光電変換して画像信号（撮像画像）を取得する。このとき、一般的には、図１４に示すベイヤ（Ｂａｙｅｒ）配列のようなそれぞれの色（例えば、Ｒ，Ｇ，Ｂ）を画素ごとにフィルタリングするカラーフィルタＦ_Ｃが用いられる。

このベイヤ配列のカラーフィルタＦ_Ｃを介して画像を撮像した場合、画素ごとに一色の信号しか得られない。すなわち、カラーフィルタＦ_Ｃを介して撮像した画像信号は、図１４に示すように、Ｇ信号については、カラーフィルタＦ_ＣのＲ，Ｂ位置に対応する画素の色情報が欠けた色信号となる。同様に、Ｒ信号については、カラーフィルタＦ_ＣのＧ，Ｂ位置に対応する画素の色情報が、Ｂ信号については、カラーフィルタＦ_ＣのＲ，Ｇ位置に対応する画素の色情報が、それぞれ欠けた色信号となる。

そのため、このような色信号をカラー画像として表示・処理するためには、欠けている色信号を補完（デモザイキング）する技術が必要となる。
この色信号を補完する技術としては、欠落した画素の色信号（画素値）を、当該画素に近接する欠落していない画素の色信号（画素値）を用いて双線形補完する技術が最も基本的である。

例えば、特許文献１には、補完対象画素の近傍画素の中央値によって、補完対象画素の画素値を求める手法が開示されている。
また、特許文献２には、補完対象画素の画素値を補完する際に、補完対象画素と同色の周辺画素の方向に対する相関度を求め、その相関度に応じた比率で、補完対象画素の画素値を求める手法が開示されている。

特開２００６−２６２１６７号公報 特開２０１０−１０４０１９号公報

特許文献１に記載された手法のように、双線形補完により補完対象画素の画素値を演算する手法では、画素間の画素値が平滑化されることで、空間周波数成分が適切に再現されず、画像にボケが発生してしまうという問題がある。さらに、特許文献１に記載された手法では、各色の中間値によって補完対象画素の画素値を求めるため、合成された色が実際の被写体に存在しない色となる偽色が発生しやすいという問題もある。

また、特許文献２に記載された手法のように、周辺画素の方向に対する相関度に応じて双線形補完を行う手法では、特定の色の相関しか参照していない。そのため、この手法は、カラー画像の色情報全体の方位相関を正確に推定することができず、高品質な画像を再現することができないという問題がある。

本発明は、このような問題に鑑み、カラーフィルタを介して撮像された撮像画像の欠落した色情報を補完する際に、画像の色情報の方位相関と周波数特性とを適切に求めることで、空間周波数成分の再現性を高め、知覚的に自然なカラー画像を生成することが可能な色情報補完装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る色情報補完装置は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、方位別振動成分抽出手段と、方位相関強度算出手段と、方位・帯域別画像補完手段と、方位別エッジ成分抽出手段と、高周波成分加算係数算出手段と、補完画像画素値算出手段と、特定色補完手段と、特定色以外の色情報を対象とした複数の他色補完手段と、を備え、他色補完手段が、差分手段と、差分補完手段と、加算手段と、を備える。

かかる構成において、色情報補完装置は、方位別振動成分抽出手段によって、撮像画像の画素ごとに水平方向および垂直方向の振動成分（空間周波数成分）を抽出することで、撮像画像全体のすべての画素において、方位別の振動成分を抽出する。
そして、色情報補完装置は、方位相関強度算出手段によって、方位別振動成分抽出手段で抽出された振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する。

これによって、色情報補完装置は、特定の色情報だけでなく、撮像画像に含まれている特定色以外の色情報を用いて、撮像画像の画素ごとに、水平方向、垂直方向に対して、どれだけの強度で相関しているのかを特定することができる。例えば、水平方向のみに相関があることが特定された場合、当該画素は、垂直方向の画素とは相関がなく、色情報補完装置は、色情報を補完する場合に水平方向の画素によって当該画素を補完すればよいことになる。

また、色情報補完装置は、方位・帯域別画像補完手段によって、撮像画像の特定色に対する補完対象画素の画素値を、水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する。これによって、色情報補完装置は、補完対象画素において、水平方向だけに低周波成分の相関がある場合の画素値と、水平方向だけに高周波成分の相関がある場合の画素値と、垂直方向だけに低周波成分の相関がある場合の画素値と、垂直方向だけに高周波成分の相関がある場合の画素値とを、それぞれ個別に求めることができる。

また、色情報補完装置は、方位別エッジ成分抽出手段によって、撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する。
そして、色情報補完装置は、高周波成分加算係数算出手段によって、方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、方位・帯域別画像の高周波成分を補正するために、例えば、エッジ成分の大きさが大きいほど係数が大きくなるように予め定めた演算により高周波成分加算係数を算出する。
そして、色情報補完装置は、補完画像画素値算出手段によって、方位・帯域別画像補完手段で補完された方位・帯域別画像の画素値を、方位相関の強度と高周波成分加算係数とに応じて加算して、補完対象画素の画素値を算出する。

この補完対象画素の画素値は、水平方向だけに相関がある場合の画素値と、垂直方向だけに相関がある場合の画素値とを、方位相関の強度に応じて、すなわち、その割合に応じて加算したものであるため、方位相関に対応した振動成分（空間周波数成分）が含まれた値となる。また、補完対象画素の画素値は、エッジ成分が大きい画素については、より加算の割合を多くすることで、エッジ成分の少ない平坦部では、ノイズ増加を抑えることができ、エッジ成分の多い部分では、高い空間周波数を再現することができる。

そして、色情報補完装置は、特定色補完手段によって、撮像画像において、特定色に対する補完対象画素の画素値を、補完画像画素値算出手段で算出された画素値に置き換える。すなわち、色情報補完装置は、撮像画像において、特定色に対する補完対象画素の画素値を、方位相関と帯域特性とに対応した色情報によって補完する。

また、色情報補完装置は、他色補完手段によって、撮像画像から、特定色以外の色を対象として色情報を補完する。
すなわち、色情報補完装置は、他色補完手段の差分手段によって、撮像画像において、対象色の画素ごとに、当該画素の画素値と当該画素に対応する補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する。これによって、差分値は、方位相関と帯域特性とが加味された値となる。
そして、色情報補完装置は、他色補完手段の差分補完手段によって、対象色に対する補完対象画素の周辺画素の差分値から、当該補完対象画素の差分値を補完する。
さらに、色情報補完装置は、他色補完手段の加算手段によって、差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する特定色補完手段で補完された補完対象画素の画素値を加算する。これによって、対象色の画素値が算出されることになる。また、このように生成された対象色の画素値は、特定色の方位相関と帯域特性とに対応したものとなる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、画像の局所的性質（方向性およびエッジ成分）に基づいて、方位および帯域に応じて補完した補完画像の画素ごとに重み付け加算することで、補完対象画素の画素値を求めるため、画像の平坦部における視覚的に目立つ歪の発生を抑えつつ、一方で、画像のエッジ部では、高い空間周波数を再現し、偽色の発生を抑えることができる。
そのため、本発明によれば、カラーフィルタを介して撮像した、色情報が欠落した撮像画像から、色情報を精度よく補完して、視覚的に自然なカラー画像を生成することができる。

本発明の実施形態に係る色情報補完装置の構成を示すブロック構成図である。 図１の方位別振動成分抽出手段の構成を示すブロック構成図である。 （ａ）は、図２の方位別振動成分抽出手段において、水平振動成分を抽出する線形フィルタ、（ｂ）は、垂直振動成分を抽出する線形フィルタの各例を示す図である。 図１の方位相関強度算出手段における演算内容を模式的に説明するための説明図である。 図１の方位・帯域別画像補完手段の構成を示すブロック構成図である。 図５の方位・帯域別画像補完手段において、撮像画像を補完する線形フィルタであって、（ａ）は水平低域フィルタ、（ｂ）は水平高域フィルタ、（ｃ）は垂直低域フィルタ、（ｄ）は垂直高域フィルタの各例を示す図である。 図１の方位別エッジ成分抽出手段の構成を示すブロック構成図である。 図７の方位別エッジ成分抽出手段において、エッジ成分を検出する線形フィルタであって、（ａ）はＥ方向エッジ検出フィルタ、（ｂ）はＮＥ方向検出フィルタ、（ｃ）はＮ方向検出フィルタ、（ｄ）はＮＷ方向検出フィルタ、（ｅ）はＷ方向検出フィルタ、（ｆ）はＳＷ方向検出フィルタ、（ｇ）はＳ方向検出フィルタ、（ｈ）はＳＥ方向検出フィルタの各例を示す図である。 図１の高周波成分加算係数算出手段の構成を示すブロック構成図である。 図１の補完画像画素値算出手段の構成を示すブロック構成図である。 図１のＲ画像生成手段において、Ｂ，Ｇの画素位置の画素を補完する例を説明するための説明図であって、（ａ）は、Ｂ画素位置の画素を補完する例、（ｂ）は、Ｇ画素位置の画素を補完する例を説明するための説明図である。 本発明の実施形態に係る色情報補完装置の動作を示すフローチャートである。 本発明の実施形態に係る色情報補完装置の特徴を説明するための説明図であって、（ａ）はベイヤ配列画像の一部（５画素分）を抜き出した図、（ｂ）は色信号の相関を説明するための図である。 ベイヤ配列のカラーフィルタで撮像した撮像画像における各色の欠落状態を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
［色情報補完装置の構成］
まず、図１を参照して、本発明の実施形態に係る色情報補完装置１の構成について説明する。
図１に示した色情報補完装置１は、カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完するものである。ここでは、カラーフィルタの色配列をベイヤ（Ｂａｙｅｒ）配列とし、各色をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色とする。すなわち、色情報補完装置１は、図１４に示したカラーフィルタＦ_Ｃを介して撮像された画像（ベイヤ配列画像）を入力し、Ｇ信号（Ｇ画像）、Ｒ信号（Ｒ画像）およびＢ信号（Ｂ画像）のそれぞれにおいて欠落している色情報を補完することで、ＲＧＢ画像を生成する。

この色情報補完装置１は、方位別振動成分抽出手段１０と、方位相関強度算出手段２０と、方位・帯域別画像補完手段３０と、方位別エッジ成分抽出手段４０と、高周波成分加算係数算出手段５０と、補完画像画素値算出手段６０と、Ｇ画像生成手段７０と、Ｒ画素抽出手段８０と、Ｂ画素抽出手段８０Ｂと、Ｒ画像生成手段９０と、Ｂ画像生成手段９０Ｂと、ＲＧＢ画像生成手段１００と、を備える。

方位別振動成分抽出手段１０は、入力された撮像画像であるベイヤ配列画像の画素ごとに、水平方向および垂直方向の方位別に振動成分を抽出するものである。なお、振動成分とは、明るさ（輝度）の変動であって、画像の空間周波数成分（交流〔ＡＣ〕成分）である。
ここで、図２を参照（適宜図１参照）して、方位別振動成分抽出手段１０の詳細な構成について説明する。図２に示すように、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１（１１_１，１１_２）と、垂直振動成分抽出手段１２（１２_１，１２_２）と、を備える。

水平振動成分抽出手段１１は、ベイヤ配列画像の画素ごとに、水平方向の振動成分を抽出するものである。この水平振動成分抽出手段１１は、ベイヤ配列画像に、局所的な水平振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、水平振動成分を抽出する。ここで、局所的な線形フィルタとは、入力される撮像画像の色の配置構成で、少なくともすべての色（ベイヤ配列画像の場合、ＲＧＢ）からなる最小構成を含んだ局所領域を覆うフィルタである。

具体的には、水平振動成分抽出手段１１は、図３（ａ）に例示する線形フィルタ（水平振動成分抽出フィルタ）を用いて水平振動成分を抽出する。図３（ａ）の（ａ−１），（ａ−２）に示すように、ここでは、水平方向に空間周波数スケール（フィルタタップ数および対応する空間周波数）の異なる２つのフィルタを用いる。このように、少なくとも２行のフィルタを用いることで、水平振動成分抽出手段１１は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から水平振動成分を抽出することができる。なお、水平振動成分抽出手段１１_１が、図３（ａ）の（ａ−１）のフィルタＦ_Ｈ１を用い、水平振動成分抽出手段１１_２が、図３（ａ）の（ａ−２）のフィルタＦ_Ｈ２を用いることとする。

そして、水平振動成分抽出手段１１_１は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１）を、方位相関強度算出手段２０に出力する。
また、水平振動成分抽出手段１１_２は、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_２）を、方位相関強度算出手段２０に出力する。

垂直振動成分抽出手段１２は、ベイヤ配列画像の画素ごとに、垂直方向の振動成分を抽出するものである。この垂直振動成分抽出手段１２は、水平振動成分抽出手段１１とは抽出する振動成分の方向が異なるだけで、ベイヤ配列画像に、局所的な垂直振動成分をとらえる線形フィルタを適用し、２次元の畳み込み処理を行うことで、垂直振動成分を抽出する。

具体的には、垂直振動成分抽出手段１２は、図３（ｂ）に例示する線形フィルタ（垂直振動成分抽出フィルタ）を用いて垂直振動成分を抽出する。図３（ｂ）の（ｂ−１），（ｂ−２）に示すように、ここでは、垂直方向に空間周波数スケール（フィルタ係数の数）の異なる２つのフィルタを用いる。このように、少なくとも２列のフィルタを用いることで、垂直振動成分抽出手段１２は、ベイヤ配列画像において、ＲＧＢすべての色の配置位置を含んだ局所領域の輝度成分から垂直振動成分を抽出することができる。なお、垂直振動成分抽出手段１２_１が、図３（ｂ）の（ｂ−１）のフィルタＦ_Ｖ１を用い、垂直振動成分抽出手段１２_２が、図３（ｂ）の（ｂ−２）のフィルタＦ_Ｖ２を用いることとする。

そして、垂直振動成分抽出手段１２_１は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１）を、方位相関強度算出手段２０に出力する。
また、垂直振動成分抽出手段１２_２は、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_２）を、方位相関強度算出手段２０に出力する。
なお、ここでは、方位別振動成分抽出手段１０を、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とを２つずつで構成した例を示しているが、それぞれ少なくとも１つ以上あればよい。また、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とは、同数とする。

また、方位別振動成分抽出手段１０は、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備える場合、それぞれの方向において、空間周波数スケールが異なるフィルタを使用することとする。これによって、方位別振動成分抽出手段１０は、複数の異なる解像度で水平および垂直の振動成分を得ることができ、後記する方位相関強度算出手段２０で振動成分の方位相関を求める際の誤差を低減させることができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。

方位相関強度算出手段２０は、方位別振動成分抽出手段１０で抽出された水平振動成分と垂直振動成分との相関に基づいて、ベイヤ配列画像の画素ごとの局所的な方位相関の強度を算出するものである。
すなわち、方位相関強度算出手段２０は、方位相関の強度として、水平振動成分が垂直振動成分より大きければ、垂直方向に相関の度合いが高く、垂直振動成分が水平振動成分より大きければ、水平方向に相関の度合いが高いことを示すパラメータ（方位不均一性パラメータ）を算出する。

具体的には、方位相関強度算出手段２０は、水平振動成分抽出手段１１（図２参照）で抽出された水平振動成分画像Ｈ_ｎ（ここでは、Ｈ_１，Ｈ_２）と、垂直振動成分抽出手段１２（図２参照）で抽出された垂直振動成分画像Ｖ_ｎ（ここでは、Ｖ_１，Ｖ_２）とから、以下の式（１）の演算を行うことで、画素ごとに方位不均一性パラメータλを算出する。

ここで、（ｉ，ｊ）は画像のｉ行ｊ列の画素位置を示す。また、｜Ｈ_ｎ（ｉ，ｊ）｜は水平振動成分画像Ｈ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値、｜Ｖ_ｎ（ｉ，ｊ）｜は垂直振動成分画像Ｖ_ｎの画素位置（ｉ，ｊ）の画素値の絶対値をそれぞれ示す。
また、ｐは方位相関の強度（方位不均一性）を強調するための“０”以上の任意の実数である。このｐは“１”または“２”程度の値を用いることが望ましいが、これらに限定されるものではない。また、Ｎは空間周波数スケールの数であって、本実施形態ではＮ＝２である。この空間周波数スケールの数は、水平振動成分抽出手段１１の数（垂直振動成分抽出手段１２の数も同数）に応じて予め定めたものである。

なお、この式（１）において、“０”による割り算の影響を避けるため、右辺の分母、または、分母および分子に、小さな定数を加算してもよい。あるいは、分母が“０”になる場合は、割り算を行わず、その演算結果を“０．５”としてもよい。
また、ノイズを軽減するために、方位相関強度算出手段２０は、前記式（１）で得られた方位不均一性パラメータλ（ｉ，ｊ）の値を画素値とする画像を空間的に平滑化してもよい。

前記式（１）によって、方位不均一性パラメータλは、水平方向の振動成分のみが抽出された場合はλ＝０、垂直方向の振動成分のみが抽出された場合はλ＝１、水平方向および垂直方向の振動成分が同等の場合はλ＝０．５の値となる。また、方位不均一性パラメータλは、水平方向の方が垂直方向の振動成分よりも小さければ０．５＜λ≦１、逆に大きければ０≦λ＜０．５の範囲の実数値となる。

この方位相関強度算出手段２０は、算出した画素ごとの方位不均一性パラメータλを、補完画像画素値算出手段６０に出力する。なお、ここでは、方位相関強度算出手段２０は、方位相関として水平方向を基準とした方位不均一性パラメータλとともに、方位相関として垂直方向を基準とした方位不均一性パラメータ（１−λ）を、補完画像画素値算出手段６０に出力することとする。

ここで、図４を参照（適宜図１〜図３参照）して、方位相関強度算出手段２０が行う前記式（１）の演算内容を模式的に説明する。なお、図４で、各画像の右側のレベル表示は、各画像の画素値の値を示す。

方位相関強度算出手段２０には、水平振動成分として、水平振動成分抽出手段１１_１でフィルタＦ_Ｈ１によって抽出された水平振動成分画像Ｈ_１と、水平振動成分抽出手段１１_２でフィルタＦ_Ｈ２によって抽出された水平振動成分画像Ｈ_２とが入力される。
また、方位相関強度算出手段２０には、垂直振動成分として、垂直振動成分抽出手段１２_１でフィルタＦ_Ｖ１によって抽出された垂直振動成分画像Ｖ_１と、垂直振動成分抽出手段１２_２でフィルタＦ_Ｖ２によって抽出された垂直振動成分画像Ｖ_２とが入力される。
なお、図４で、水平振動成分画像｜Ｈ_１｜，｜Ｈ_２｜、垂直振動成分画像｜Ｖ_１｜，｜Ｖ_２｜は、それぞれ、水平振動成分画像Ｈ_１，Ｈ_２、垂直振動成分画像Ｖ_１，Ｖ_２の画素ごとに絶対値をとった画像である。

そして、方位相関強度算出手段２０は、水平振動成分画像Ｈ_１と、垂直振動成分画像Ｖ_１とに対して、画素ごとに｛｜Ｖ_１｜／（｜Ｈ_１｜＋｜Ｖ_１｜）｝、あるいは、｛Ｖ_１ ^２／（Ｈ_１ ^２＋Ｖ_１ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_１）の空間分布を示す強度分布画像Λ_１を生成する。
また、方位相関強度算出手段２０は、水平振動成分画像Ｈ_２と、垂直振動成分画像Ｖ_２とに対して、画素ごとに｛｜Ｖ_２｜／（｜Ｈ_２｜＋｜Ｖ_２｜）｝、あるいは、｛Ｖ_２ ^２／（Ｈ_２ ^２＋Ｖ_２ ^２）｝の演算を行うことで、方位相関の強度（方位不均一性パラメータλ_２）の空間分布を示す強度分布画像Λ_２を生成する。
そして、方位相関強度算出手段２０は、強度分布画像Λ_１と強度分布画像Λ_２とを、画素ごとに平均化して、平均化した方位不均一性パラメータλの空間分布を示す強度分布画像Λを生成する。

このように、方位相関強度算出手段２０は、空間周波数スケールごとに、方位不均一性パラメータ（λ_１，λ_２）を算出し、平均化することで、複数の解像度の異なる画像から方位相関を求めることができる。これによって、方位相関強度算出手段２０は、単一の空間周波数スケールのみの場合よりも誤差を軽減し、精度の高い方位相関を得ることができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。

方位・帯域別画像補完手段３０は、入力された撮像画像であるベイヤ配列画像における特定色の画素の画素値を、水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成するものである。なお、ここで、特定色は、当該特定色に対する水平方向の補完対象画素の画素位置と、垂直方向の補完対象画素の画素位置とが一致する色とする。すなわち、ベイヤ配列画像の場合、特定色は、水平方向および垂直方向のそれぞれに１画素おきに配置されたＧ（緑）とする。

ここで、図５を参照（適宜図１参照）して、方位・帯域別画像補完手段３０の詳細な構成について説明する。図５に示すように、方位・帯域別画像補完手段３０は、水平低周波成分補完手段３１と、水平高周波成分補完手段３２と、垂直低周波成分補完手段３３と、垂直高周波成分補完手段３４と、を備える。

水平低周波成分補完手段３１は、ベイヤ配列画像のＲ，Ｂの画素位置において、水平方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、水平低周波成分補完手段３１は、図６（ａ）に示すような、「１／２、０、１／２」を係数とする水平低域フィルタＦ_ＨＬを用いて、水平方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この水平低周波成分補完手段３１は、水平方向にＧを補完した水平低周波成分補完画像Ｇ_ＨＬを、補完画像画素値算出手段６０に出力する。

水平高周波成分補完手段３２は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の画素値と水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、水平高周波成分補完手段３２は、図６（ｂ）に示すような、「−１／４、０、２／４、０、−１／４」を係数とする水平高域フィルタＦ_ＨＨを用いて、水平方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この水平高周波成分補完手段３２は、水平方向にＧを補完した水平高周波成分補完画像Ｇ_ＨＨを、補完画像画素値算出手段６０に出力する。

垂直低周波成分補完手段３３は、ベイヤ配列画像のＲ，Ｂの画素位置において、垂直方向に隣接するＧの画素値を平均化して、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、垂直低周波成分補完手段３３は、図６（ｃ）に示すような、「１／２、０、１／２」を係数とする垂直低域フィルタＦ_ＶＬを用いて、垂直方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この垂直低周波成分補完手段３３は、垂直方向にＧを補完した垂直低周波成分補完画像Ｇ_ＶＬを、補完画像画素値算出手段６０に出力する。

垂直高周波成分補完手段３４は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の画素値と垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完するものである。
より具体的には、垂直高周波成分補完手段３４は、図６（ｄ）に示すような、「−１／４、０、２／４、０、−１／４」を係数とする垂直高域フィルタＦ_ＶＨを用いて、垂直方向にベイヤ配列画像をフィルタリングすることで、Ｒ，Ｂの画素位置においてＧの画素値を補完する。
この垂直高周波成分補完手段３４は、垂直方向にＧを補完した垂直高周波成分補完画像Ｇ_ＶＨを、補完画像画素値算出手段６０に出力する。

なお、方位・帯域別画像補完手段３０が用いるフィルタは、図６（ａ）〜（ｄ）に示した係数やフィルタ長に限定されるものではない。すなわち、低域フィルタ（水平低域フィルタＦ_ＨＬ、垂直低域フィルタＦ_ＶＬ）は、隣接画素の画素値を平滑化する平滑化フィルタであればよく、高域フィルタ（水平高域フィルタＦ_ＨＨ、垂直高域フィルタＦ_ＶＨ）は、画素値の変化を検出するハイパスフィルタであればよい。
図１に戻って、色情報補完装置１の構成について説明を続ける。

方位別エッジ成分抽出手段４０は、入力されたベイヤ配列画像から、水平方向、垂直方向および斜め方向の方位別のエッジ成分を画素ごとに抽出するものである。この方位別エッジ成分抽出手段４０は、８方向（Ｅ方向〔右方向〕、ＮＥ方向〔右上方向〕、Ｎ方向〔上方向〕、ＮＷ方向〔左上方向〕、Ｗ方向〔左方向〕、ＳＷ方向〔左下方向〕、Ｓ方向〔下方向〕、ＳＷ方向〔右下方向〕）に隣接する画素との間に存在するエッジの成分を抽出することとする。

ここで、図７を参照（適宜図１参照）して、方位別エッジ成分抽出手段４０の詳細な構成について説明する。図７に示すように、方位別エッジ成分抽出手段４０は、方位別に、Ｅ方向エッジ成分抽出手段４１と、ＮＥ方向エッジ成分抽出手段４２と、Ｎ方向エッジ成分抽出手段４３と、ＮＷ方向エッジ成分抽出手段４４と、Ｗ方向エッジ成分抽出手段４５と、ＳＷ方向エッジ成分抽出手段４６と、Ｓ方向エッジ成分抽出手段４７と、ＳＥ方向エッジ成分抽出手段４８と、を備える。

Ｅ方向エッジ成分抽出手段４１は、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の周辺８画素の画素値から、Ｅ方向（右方向）のエッジ成分を抽出するものである。
より具体的には、Ｅ方向エッジ成分抽出手段４１は、図８（ａ）に示すような係数のＥ方向エッジ検出フィルタＦ_Ｅを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｅ方向エッジ成分Ｍ_Ｅを抽出する。
このＥ方向エッジ成分抽出手段４１は、抽出したＥ方向エッジ成分Ｍ_Ｅを、高周波成分加算係数算出手段５０に出力する。

また、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８は、Ｅ方向エッジ成分抽出手段４１と同様に、ベイヤ配列画像のＲ，Ｂの画素位置において、当該画素の周辺８画素の画素値から、それぞれの方向（Ｎ方向、ＮＷ方向、Ｗ方向、ＳＷ方向、Ｓ方向、および、ＳＥ方向）に隣接する画素との間に存在するエッジの成分を抽出する。

より具体的には、ＮＥ方向エッジ成分抽出手段４２は図８（ｂ）に示すようなＮＥ方向エッジ検出フィルタＦ_ＮＥを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＮＥ方向エッジ成分Ｍ_ＮＥを抽出する。
また、Ｎ方向エッジ成分抽出手段４３は図８（ｃ）に示すようなＮ方向エッジ検出フィルタＦ_Ｎを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｎ方向エッジ成分Ｍ_Ｎを抽出する。
また、ＮＷ方向エッジ成分抽出手段４４は図８（ｄ）に示すようなＮＷ方向エッジ検出フィルタＦ_ＮＷを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＮＷ方向エッジ成分Ｍ_ＮＷを抽出する。

また、Ｗ方向エッジ成分抽出手段４５は図８（ｅ）に示すようなＷ方向エッジ検出フィルタＦ_Ｗを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｗ方向エッジ成分Ｍ_Ｗを抽出する。
また、ＳＷ方向エッジ成分抽出手段４６は図８（ｆ）に示すようなＳＷ方向エッジ検出フィルタＦ_ＳＷを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＳＷ方向エッジ成分Ｍ_ＳＷを抽出する。
また、Ｓ方向エッジ成分抽出手段４７は図８（ｇ）に示すようなＳ方向エッジ検出フィルタＦ_Ｓを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、Ｓ方向エッジ成分Ｍ_Ｓを抽出する。

また、ＳＥ方向エッジ成分抽出手段４８は図８（ｈ）に示すようなＳＥ方向エッジ検出フィルタＦ_ＳＥを用いて、ベイヤ配列画像をフィルタリングし、絶対値化することで、ＳＥ方向エッジ成分Ｍ_ＳＥを抽出する。
そして、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８は、それぞれ抽出した各方向のエッジ成分（Ｍ_ＮＥ、Ｍ_Ｎ、Ｍ_ＮＷ、Ｍ_Ｗ、Ｍ_ＳＷ、Ｍ_Ｓ、Ｍ_ＳＥ）を、高周波成分加算係数算出手段５０に出力する。

このように、方位別エッジ成分抽出手段４０は、図８（ａ）〜（ｈ）に示した方位別のフィルタを用いることで、ベイヤ配列画像からエッジ成分を抽出することができる。
図１に戻って、色情報補完装置１の構成について説明を続ける。

高周波成分加算係数算出手段５０は、方位別エッジ成分抽出手段４０で抽出された方位別（８方向）のエッジ成分から、ベイヤ配列画像のＲ，Ｂの画素位置におけるＧの画素値を補完する際の高周波成分を補正する係数（高周波成分加算係数ｗ）を算出するものである。

ここで、図９を参照（適宜図１参照）して、高周波成分加算係数算出手段５０の詳細な構成について説明する。図９に示すように、高周波成分加算係数算出手段５０は、最大値検出手段５１と、係数変換手段５２と、を備える。

最大値検出手段５１は、方位別エッジ成分抽出手段４０で抽出されたエッジ成分の最大値を検出するものである。
すなわち、最大値検出手段５１は、以下の式（２）に示すように、方位別エッジ成分抽出手段４０で抽出された各方向のエッジ成分（Ｍ_Ｅ、Ｍ_ＮＥ、Ｍ_Ｎ、Ｍ_ＮＷ、Ｍ_Ｗ、Ｍ_ＳＷ、Ｍ_Ｓ、Ｍ_ＳＥ）について、ベイヤ配列画像の画素位置（ｉ，ｊ）ごとに、エッジ成分の最大値Ｍ_ＭＡＸ（ｉ，ｊ）を求める。なお、（ｉ，ｊ）は画像のｉ行ｊ列の画素位置を示す。

この最大値検出手段５１は、検出したエッジ成分の最大値を、画素ごとに係数変換手段５２に出力する。

係数変換手段５２は、最大値検出手段５１で検出されたエッジ成分の最大値を、高周波成分加算係数に変換するものである。この高周波成分加算係数は、後記する補完画像画素値算出手段６０において、ベイヤ配列画像のＲ，Ｂの画素位置におけるＧの画素値を補完する際に高周波成分を補正するための係数である。
この係数変換手段５２は、エッジ成分の最大値Ｍ_ＭＡＸを、０以上１以下の範囲の実数値の高周波成分加算係数に変換する。ここでは、係数変換手段５２は、予め定めた２つの閾値ｔｈｒ１，ｔｈｒ２を用いて、以下の式（３）に示す変換式によって、ベイヤ配列画像の画素位置（ｉ，ｊ）ごとに、エッジ成分の最大値Ｍ_ＭＡＸ（ｉ，ｊ）を高周波成分加算係数ｗ（ｉ，ｊ）に変換する。

なお、この閾値ｔｈｒ１，ｔｈｒ２は、予め固定的に設定しておく必要はなく、外部から適宜調整可能にすることとしてもよい。また、閾値ｔｈｒ１を“０”に固定し、閾値ｔｈｒ２のみを、０＜ｔｈｒ２≦エッジ成分の取り得る最大値の範囲で調整することとしてもよい。
この係数変換手段５２は、変換した高周波成分加算係数を、画素ごとに補完画像画素値算出手段６０に出力する。
図１に戻って、色情報補完装置１の構成について説明を続ける。

補完画像画素値算出手段６０は、特定色（Ｇ）に対する補完対象画素ごとに、方位・帯域別画像補完手段３０で方位（水平方向/垂直方向）および帯域（低周波成分／高周波成分）別に補完された画像の画素値を、方位相関の強度と高周波成分加算係数とに応じて加算して、方位および帯域に対応した補完画像の画素値を算出するものである。
すなわち、補完画像画素値算出手段６０は、方位・帯域別画像補完手段３０で補完された水平低周波成分補完画像Ｇ_ＨＬ、水平高周波成分補完画像Ｇ_ＨＨ、垂直低周波成分補完画像Ｇ_ＶＬおよび垂直高周波成分補完画像Ｇ_ＶＨを、方位相関強度算出手段２０で算出された方位不均一性パラメータλと、高周波成分加算係数算出手段５０で算出された高周波成分加算係数ｗとに応じて、Ｇに対する補完対象画素ごとの画素値を算出する。

ここで、方位・帯域別画像補完手段３０で補完された各補完画像Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨの画素ｉ行ｊ列の位置における画素値をＧ_ＨＬ（ｉ，ｊ），Ｇ_ＨＨ（ｉ，ｊ），Ｇ_ＶＬ（ｉ，ｊ），Ｇ_ＶＨ（ｉ，ｊ）としたとき、補完画像画素値算出手段６０は、以下の式（４）により、方位相関の強度と高周波成分加算係数とに対応した画素値Ｇ（ｉ，ｊ）を算出する。

この式（４）は、図１０に示す補完画像画素値算出手段６０の詳細な構成により演算することができる。すなわち、λ（ｉ，ｊ）と画素値Ｇ_ＨＬ（ｉ，ｊ）とを乗算する乗算手段６１と、λ（ｉ，ｊ）と画素値Ｇ_ＨＨ（ｉ，ｊ）とを乗算する乗算手段６２と、乗算手段６２の乗算結果と高周波成分加算係数ｗ（ｉ，ｊ）とを乗算する乗算手段６３と、（１−λ（ｉ，ｊ））と画素値Ｇ_ＶＬ（ｉ，ｊ）とを乗算する乗算手段６４と、（１−λ（ｉ，ｊ））と画素値Ｇ_ＶＨ（ｉ，ｊ）とを乗算する乗算手段６５と、乗算手段６５の乗算結果と高周波成分加算係数ｗ（ｉ，ｊ）とを乗算する乗算手段６６と、乗算手段６１，６３，６４，６６のそれぞれの乗算結果を加算する加算手段６７と、を用いて演算することができる。
この補完画像画素値算出手段６０は、Ｇに対する補完対象画素の画素位置と対応付けて、Ｇの画素値を、Ｇ画像生成手段７０と、Ｒ画像生成手段９０と、Ｂ画像生成手段９０Ｂとに出力する。

Ｇ画像生成手段（特定色補完手段）７０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）に対する補完対象画素の画素値を、補完画像画素値算出手段６０で算出された画素値に置き換えて特定色（Ｇ）の色情報を補完するものである。
すなわち、Ｇ画像生成手段７０は、ベイヤ配列画像のＧの画素位置における画素値については、ベイヤ配列画像の画素値をそのまま用いる。また、Ｇ画像生成手段７０は、ベイヤ配列画像のＲ，Ｂの画素位置における画素値については、補完画像画素値算出手段６０で算出されたＧの画素値を用いる。
これによって、Ｇ画像生成手段７０は、ベイヤ配列画像において、Ｇの画素位置以外の画素を、振動成分に応じた方向と、帯域別のエッジ成分とを考慮したＧの画素値で補完することができる。
このＧ画像生成手段７０は、生成したＧ画像をＲＧＢ画像生成手段１００に出力する。

Ｒ画素抽出手段８０は、入力された撮像画像であるベイヤ配列画像において、特定色（Ｇ）以外の画素を抽出するものである。ここでは、Ｒ画素抽出手段８０は、ベイヤ配列画像におけるＲの画素位置に対応する画素の画素値を抽出し、Ｒ画像生成手段９０に出力する。

Ｒ画像生成手段（他色補完手段）９０は、レイヤ配列画像の特定色（Ｇ）以外の色を対象として色情報を補完するものである。なお、Ｒ画像生成手段９０は、Ｒを対象色として、ベイヤ配列画像のＧ，Ｂの画素位置である補完対象画素の色情報を補完する。ここでは、Ｒ画像生成手段９０は、差分手段９１と、差分補完手段９２と、加算手段９３と、を備える。

差分手段９１は、Ｒ画素抽出手段８０で抽出された対象色（Ｒ）の画素ごとに、当該画素の画素値と当該画素に対応する特定色（Ｇ）の画素の画素値との差分値を算出するものである。
すなわち、差分手段９１は、Ｒ画素抽出手段８０で抽出されたベイヤ配列画像のＲ画素位置の画素値から、当該画素位置と同じ、補完画像画素値算出手段６０で算出（補完）されたＧの画素値を減算することで、ＲとＧとの画素値の差分値（Ｒ−Ｇ）を算出する。
この差分手段９１は、算出したＲとＧとの差分値を差分補完手段９２に出力する。

差分補完手段９２は、対象色（Ｒ）に対する補完対象画素において、すでに差分値が算出されている周辺画素の差分値から、当該補完対象画素の差分値を補完するものである。すなわち、差分補完手段９２は、ベイヤ配列画像におけるＲの画素以外のＧ，Ｂの画素位置について（Ｒ−Ｇ）の差分値を推定（算出）する。
この差分補完手段９２は、ベイヤ配列画像におけるＲ画素位置における（Ｒ−Ｇ）差分値と、Ｇ，Ｂ画素位置において補完した（Ｒ−Ｇ）差分値とを、加算手段９３に出力する。

なお、補完対象画素の差分値を、すでに算出されている周辺画素の差分値から補完する手法は、一般的な補完手法を用いればよい。
例えば、差分補完手段９２は、図１１（ａ）に示すように、ベイヤ配列画像のＢ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（５）に示すように、すでに求められているＢ画素位置の左上、左下、右上、右下の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｂ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。

また、差分補完手段９２は、図１１（ｂ）に示すように、ベイヤ配列画像のＧ画素位置を、画素ｉ行ｊ列の位置としたとき、以下の式（６）に示すように、すでに求められているＧ画素位置に対する上下左右の４つの（Ｒ−Ｇ）差分値Δの平均値を求めて、Ｇ画素位置（ｉ，ｊ）における差分値Δ（ｉ，ｊ）を補完する。

加算手段９３は、差分補完手段９２で差分値が補完された画像の画素ごとに、当該画素に対応するＧ画像生成手段７０で生成された特定色（Ｇ）の画像の画素の画素値を加算して、対象色（Ｒ）の画像を生成するものである。
すなわち、加算手段９３は、以下の式（７）に示すように、差分補完手段９２で生成されたベイヤ配列画像の画素ｉ行ｊ列の位置の差分値Δ（ｉ，ｊ）に、Ｇ画像生成手段７０で生成された同じ画素位置の画素値Ｇ（ｉ，ｊ）を加算することで、画素値Ｒ（ｉ，ｊ）を演算し、Ｒ画像を生成する。

この加算手段９３は、前記式（７）により、ベイヤ配列画像の画素ごとに演算してＲ画素値を補完したＲ画像を、ＲＧＢ画像生成手段１００に出力する。
このように、Ｒ画像生成手段９０は、差分手段９１によって、Ｒ画素位置の画素値から、当該画素位置に対応する振動成分に応じた方向と、帯域別のエッジ成分とを考慮したＧ画素値を減算するため、その差分値も、振動成分の方位相関と、エッジ成分とに応じた値となる。そのため、差分補完手段９２によって、Ｒ画素位置以外の画素位置で、周辺の（Ｒ−Ｇ）差分値から補完により推定された当該画素位置の（Ｒ−Ｇ）差分値も、振動成分の方位相関と、エッジ成分とに応じた値となる。
そして、Ｒ画像生成手段９０は、方位相関とエッジ成分とが考慮された（Ｒ−Ｇ）差分値に、同じく方位相関とエッジ成分とが考慮されたＧ画素値を加算手段９３で加算することで、振動成分の方位相関と、エッジ成分とに応じたＲ画素値で構成されるＲ画像を生成することになる。

Ｂ画素抽出手段８０ＢおよびＢ画像生成手段（他色補完手段）９０Ｂは、Ｒ画素抽出手段８０およびＲ画像生成手段９０に対して、処理対象となる対象色を、ＲからＢに換えただけで、構成および処理内容は同一であるため、説明を省略する。

ＲＧＢ画像生成手段１００は、Ｇ画像生成手段７０で生成されたＧ画像と、Ｒ画像生成手段９０で生成されたＲ画像と、Ｂ画像生成手段９０Ｂで生成されたＢ画像とを合成してＲＧＢ画像を生成するものである。
すなわち、ＲＧＢ画像生成手段１００は、Ｒ，Ｇ，Ｂの各画像の同一画素位置に対応する各画素値を、当該画素位置におけるカラー画素値としてカラー画像を生成する。なお、ＲＧＢ（カラー）画像のデータフォーマットは、一般的な画像フォーマットであればよいため、ここでは、説明を省略する。

以上説明したように色情報補完装置１を構成することで、色情報補完装置１は、方位別振動成分抽出手段１０によって、撮像画像（ベイヤ配列画像）として得られたすべての色を対象とした振動成分を抽出することができる。そのため、色情報補完装置１は、方位相関強度算出手段２０によって、すべての色成分を有効に活用して、単一の色成分から方位相関を求める場合に比べて、画像全体の方位相関を精度よく求めることができる。

また、色情報補完装置１は、方位相関強度算出手段２０によって、水平方向および垂直方向において、空間周波数スケールの異なる複数の振動成分を求めることができる。そのため、色情報補完装置１は、方位相関強度算出手段２０で撮像画像の異なる複数の解像度で方位相関を求めることができ、ノイズに強く、また、誤差の少ない精度のよい方位相関を求めることができる。

また、色情報補完装置１は、方位別エッジ成分抽出手段４０によって、エッジ成分を抽出することで画像の平坦部とエッジ部とを検出することができる。そのため、色情報補完装置１は、補完画像画素値算出手段６０によって、画像の平坦部では不要な高周波成分を加算せず、画像のエッジ部では高周波成分を加算することができ、画像の平坦部でのノイズ増加を抑えつつ、エッジ部での高い空間周波数を再現することができる。

このように、色情報補完装置１は、精度の高い方位相関とエッジ成分とによって、色情報を補完するため、偽色の発生を抑えるとともに、空間周波数成分を精度よく再現することができ、知覚的に自然なカラー画像を生成することができる。
なお、色情報補完装置１は、図示を省略したコンピュータを、前記した構成の各手段として機能させるためのプログラム（色情報補完プログラム）で動作させることができる。

［色情報補完装置の動作］
次に、図１２を参照（構成については、適宜図１，図２，図５，図７，図９参照）して、本発明の実施形態に係る色情報補完装置１の動作について説明する。

（方位相関〔方位不均一性〕の推定動作）
まず、色情報補完装置１は、撮像画像（ベイヤ配列画像）を対象として、方位別振動成分抽出手段１０によって、空間周波数スケールの異なるフィルタで、画素ごとに、水平方向および垂直方向のそれぞれについて複数の振動成分を抽出する（ステップＳ１）。

すなわち、色情報補完装置１は、水平振動成分抽出手段１１（１１_１，１１_２）によって、空間周波数スケールの異なるフィルタで、水平振動成分を抽出した画像信号（水平振動成分画像Ｈ_１，Ｈ_２）を生成する。
また、色情報補完装置１は、垂直振動成分抽出手段１２（１２_１，１２_２）によって、空間周波数スケールの異なるフィルタで、垂直振動成分を抽出した画像信号（垂直振動成分画像Ｖ_１，Ｖ_２）を生成する。

そして、色情報補完装置１は、方位相関強度算出手段２０によって、ステップＳ１で生成された、水平方向および垂直方向の画素ごとの複数の振動成分から、前記式（１）により、方位不均一性パラメータλを算出する（ステップＳ２）。
これによって、色情報補完装置１は、撮像画像全体の色情報から、画素ごとに、方位相関の強度を推定することができる。

（高周波成分の重み算出動作）
次に、色情報補完装置１は、方位別エッジ成分抽出手段４０によって、撮像画像（ベイヤ配列画像）の方位別のエッジ成分を画素ごと抽出する（ステップＳ３）。
すなわち、色情報補完装置１は、方位別エッジ成分抽出手段４０のＥ方向エッジ成分抽出手段４１、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８によって、画素ごとに８方向のエッジ成分を抽出する。

そして、色情報補完装置１は、高周波成分加算係数算出手段５０によって、ステップＳ３で抽出された画素ごとのエッジ成分の大きさ（最大値）に基づいて、当該画素における高周波成分の重みを示す高周波成分加算係数ｗを算出する（ステップＳ４）。
すなわち、色情報補完装置１は、高周波成分加算係数算出手段５０の最大値検出手段５１によって、８方向のエッジ成分の最大値を検出し、係数変換手段５２によって、その最大値に応じた０以上１以下の範囲の高周波成分加算係数ｗを算出する。

（特定色〔Ｇ〕画素補完動作）
次に、色情報補完装置１は、方位・帯域別画像補完手段３０によって、撮像画像（ベイヤ配列画像）における特定色（Ｇ）の画素の画素値を、方位（水平方向/垂直方向）および帯域（低周波成分／高周波成分）別に補完する（ステップＳ５）。

すなわち、色情報補完装置１は、水平低周波成分補完手段３１によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、水平方向の他のＧの画素値から平滑化して補完することで、水平低周波成分補完画像Ｇ_ＨＬを生成する。
また、色情報補完装置１は、水平高周波成分補完手段３２によって、Ｒ，Ｂの画素位置において、当該画素の画素値と水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完することで、水平高周波成分補完画像Ｇ_ＨＨを生成する。

また、色情報補完装置１は、垂直低周波成分補完手段３３によって、特定色であるＧに対して補完対象となるＲ，Ｂの画素位置におけるＧの画素値を、垂直方向の他のＧの画素値から平滑化して補完することで、垂直低周波成分補完画像Ｇ_ＶＬを生成する。
また、色情報補完装置１は、垂直高周波成分補完手段３４によって、Ｒ，Ｂの画素位置において、当該画素の画素値と垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出し、当該Ｒ，Ｂの画素位置におけるＧの画素値を補完することで、垂直高周波成分補完画像Ｇ_ＶＨを生成する。

これによって、色情報補完装置１は、Ｇに対する補完対象画素ごとに、Ｇ画素の最も水平方向に相関が強い場合の画素値と、最も水平方向に相関が強い場合の高周波成分の補正値（画素値）と、最も垂直方向に相関が強い場合の画素値と、最も垂直方向に相関が強い場合の高周波成分の補正値（画素値）とを求めることができる。

そして、色情報補完装置１は、補完画像画素値算出手段６０によって、ステップＳ５で生成された各補完画像Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨにおいて、補完対象画素ごとに、前記式（４）により、ステップＳ２で算出された方位相関の強度（方位不均一性パラメータλ）と、ステップＳ４で算出された高周波成分加算係数ｗとに応じて画素値を加算して、補完画像の画素値を算出する（ステップＳ６）。

そして、色情報補完装置１は、Ｇ画像生成手段７０によって、撮像画像（ベイヤ配列画像）において、Ｇに対する補完対象画素の画素値を、ステップＳ６で算出された補完画像の画素値に置き換えることでＧ画像を生成する（ステップＳ７）。

これによって、色情報補完装置１は、ベイヤ配列のＧ画素位置における画素については、ベイヤ配列画像として撮像されたＧ画素の画素値を用い、Ｇに対する補完対象画素については、方位相関の強度と高周波成分加算係数とによって求められたＧの画素値を用いることで、空間周波数成分を精度よく再現したＧ画像を生成することができる。

（対象色〔Ｒ，Ｂ〕画素補完動作）
次に、色情報補完装置１は、以下の動作によって、撮像画像から、Ｒ，Ｂを対象色として、Ｒ画像およびＢ画像を生成する。なお、Ｒ画素とＢ画素の補完動作は、対象色が異なるだけで、同一処理であるため、以降の説明では、Ｒ画素の補完動作を主に説明し、Ｂ画素に対応する内容については適宜括弧内に対応する色や手段を併記することとする。

まず、色情報補完装置１は、Ｒ画素抽出手段８０（Ｂ画素抽出手段８０Ｂ）によって、撮像画像（ベイヤ配列画像）において、Ｒ（Ｂ）の画素位置に対応する画素の画素値を抽出する（ステップＳ８）。

そして、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の差分手段９１によって、ステップＳ８で抽出されたＲ（Ｂ）の画素ごとに、当該画素の画素値と、ステップＳ６で算出された当該画素に対応するＧの画素の画素値との差分値を算出する（ステップＳ９）。

そして、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の差分補完手段９２によって、Ｒ（Ｂ）に対する補完対象画素において、すでに差分値が算出されている同色の周辺画素の差分値から、前記式（５）および式（６）の例で示したように、当該補完対象画素の差分値を補完する（ステップＳ１０）。

さらに、色情報補完装置１は、Ｒ画像生成手段９０（Ｂ画像生成手段９０Ｂ）の加算手段９３によって、ステップＳ１０で差分値が補完された画像の画素ごとに、当該画素に対応するステップＳ７で生成されたＧ画像の画素の画素値を加算して、Ｒ（Ｂ）画像を生成する（ステップＳ１１）。
これによって、色情報補完装置１は、方位相関の強度と高周波成分加算係数とに応じたＧ画素の画素値を利用して、Ｒ（Ｂ）画像を生成することで、空間周波数成分を精度よく再現したＲ（Ｂ）画像を生成することができる。

（ＲＢＧ画像生成動作）
そして、色情報補完装置１は、ＲＧＢ画像生成手段１００によって、ステップＳ７で生成されたＧ画像と、ステップＳ１１で生成されたＲ画像およびＢ画像とを合成してＲＧＢ画像を生成する（ステップＳ１２）。

以上の動作によって、色情報補完装置１は、撮像画像の各画素位置において、欠落している色情報を精度よく補完することができる。
このように、色情報補完装置１は、撮像画像の局所的性質（方向性およびエッジ成分）に基づいて補完した各補完画像を、その局所的性質の重みで重み付け加算することで、最終的な補完値を決定しているため、画像の平坦部における視覚的に目立つ歪みの発生を抑えつつ、画像のエッジ部において、高い空間周波数を再現し、偽色の少ない自然なカラー画像を生成することができる。

以上、本発明の実施形態に係る色情報補完装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、ＲＧＢの３原色の色配列を有するカラーフィルタで撮像された撮像画像を例に説明したが、カラーフィルタはこの３原色に限定されるものではなく、他の３色であっても構わない。

また、ここでは、水平振動成分抽出手段１１を複数（１１_１，１１_２）備え、パラレルに動作させることとしたが、１つの水平振動成分抽出手段１１によって、ベイヤ配列画像単位で、順次シリアルに異なる空間周波数スケールを使用して振動成分を抽出することとしてもよい。また、垂直振動成分抽出手段１２についても同様である。

なお、高速処理を実現するには、水平振動成分抽出手段１１と垂直振動成分抽出手段１２とをそれぞれ複数備えて、パラレル動作させることが好ましい。
また、高速処理を実現するには、Ｅ方向エッジ成分抽出手段４１、ＮＥ方向エッジ成分抽出手段４２、Ｎ方向エッジ成分抽出手段４３、ＮＷ方向エッジ成分抽出手段４４、Ｗ方向エッジ成分抽出手段４５、ＳＷ方向エッジ成分抽出手段４６、Ｓ方向エッジ成分抽出手段４７、および、ＳＥ方向エッジ成分抽出手段４８を、それぞれ複数備えて、パラレル動作させることが好ましい。

［補足説明］
以上説明したように、色情報補完装置１は、方位別および帯域別の４種類の補完画像（Ｇ_ＨＬ，Ｇ_ＨＨ，Ｇ_ＶＬおよびＧ_ＶＨ）を、方位相関の強度（方位不均一性パラメータλ）と、エッジ成分の大きさ（高周波成分加算係数ｗ）とに応じて重み付け加算することで、Ｇ画像の補完を行うことを特徴としている。ここで、方位・帯域別画像補完手段３０の水平高周波成分補完手段３２および垂直高周波成分補完手段３４は、Ｇの補完画像を生成するために、他の色（例えば、Ｒ）の画素値を用いて補完している。
そこで、最後に、図１３を参照（適宜図１参照）して、Ｇの画素値を他の色（Ｒ，Ｂ）で補完する技術的意味を説明するとともに、併せて、方位不均一性パラメータλおよび高周波成分加算係数ｗの技術的意味について説明する。

ここで、図１３（ａ）に示すように、ベイヤ配列画像のＲ画素位置を画素ｉ行ｊ列の位置とし、当該画素位置を補完対象とする水平５画素分に着目する。なお、Ｌ_{（ｉ，ｊ）}は、ｉ行ｊ列の信号レベルを意味する。
Ｇ信号のみの補完処理において、ベイヤ配列のＧのサンプリング周波数より高い周波数成分の復元はできない。そのため、画素位置（ｉ，ｊ）のＧ信号の補完値（以下、Ｇ値）には、Ｇ信号のサンプリング周波数より高い高周波成分の補正値αが必要となる。
ここで、Ｇ値は、以下の式（８）で表すことができる。

ここで、画素位置（ｉ，ｊ）におけるＧ値の真値（ベイヤ配列画像では未知）をＬ_{Ｇ（ｉ，ｊ）}とすると、補正値αは理想的には以下の式（９）で表される。

しかし、Ｇ値の真値Ｌ_{Ｇ（ｉ，ｊ）}は未知であるため、使用することができない。
そこで、図１３（ｂ）に示すように、色信号間（ここでは、Ｇ信号とＲ信号との間）に相関があることを仮定し、以下の式（１０）に示すように、ベイヤ配列画像のＲ信号を用いて、補正値αを近似する。

ここで、βは、Ｇ信号高周波成分とＲ信号高周波成分との変化パラメータ（ゲインパラメータ）で、文献「J.F. Hamilton Jr., J.E. Adams, Adaptive color plan interpolation in single sensor color electronic camera. U.S. Patent, 1997, 5629734. 」、文献「H. Malvar,L.He,R.Cutler,High-qualitylinearinterpolationfor demosaicing of Bayer-patterned color images, Proceedings of ICASSP III (2004)485-488.」にもあるように、一般的にβ＝１／２が用いられる。

しかし、式（１０）に示した補正値αを用いた場合、２つの問題がある。
１つ目の問題は、画像の平坦部では、高周波成分が小さいため、補正値αは、画像のノイズ成分が支配的になり、画質が劣化する場合がある。
通常、撮像画像の信号レベルＬ_{（ｉ，ｊ）}は、以下の式（１１）に示すように、ノイズを含まない信号レベルＬ′_{（ｉ，ｊ）}とノイズレベルＮ_{（ｉ，ｊ）}の和として表される。

この式（１１）を、βを１／２としたときの前記式（１０）に代入すると、以下の式（１２）となる。

この式（１２）の第一項は、ノイズを含まない信号から算出した高周波成分であり、第二項は、ノイズ成分である。
このように、ノイズ成分が含まれた平坦な画像の場合、補正値αは、第二項のノイズ成分が支配的となり、前記式（８）のように、Ｇ値を復元するために加算すると画質を劣化させることになる。

また、２つ目の問題として、補完対象画素である画素位置（ｉ，ｊ）の１画素隣の画素と２画素隣の画素との間に、急峻なエッジ部分が存在した場合、前記式（１０）の近似式が成り立たないため、画質が劣化する場合がある。
例えば、（ｊ＋１）列と（ｊ＋２）列の間に垂直方向の急峻なエッジ部分が存在した場合、Ｌ_{（ｉ，ｊ−１）}とＬ_{（ｉ，ｊ＋１）}とは同等な信号レベルとなるが、Ｌ_{（ｉ，ｊ−２）}およびＬ_{（ｉ，ｊ）}とＬ_{（ｉ，ｊ＋２）}とは信号レベルが大きく異なるため、前記式（９）を前記式（１０）で近似できないことになる。
このように、Ｒ（Ｂも同様）画素位置におけるＧの補完値を求める場合、１画素隣の画素と２画素隣の画素との間に存在するエッジ成分が大きいと、前記式（８）における補正値αを加算することで、逆に画像を劣化させることがある。

一方、補完対象画素（ｉ，ｊ）と１画素隣の画素との間に、急峻なエッジ部分が存在した場合、前記式（１０）の近似式が成り立つ。そこで、補完対象画素と１画素隣の画素との間に存在するエッジ成分に応じて、前記式（８）における補正値αを加算することとする。

ただし、このように垂直方向のエッジが存在する場合、水平方向の画素の画素値でＧの補完値を求めるのではなく、補完対象画素である画素位置（ｉ，ｊ）に対して、垂直方向の画素位置（ｉ−２，ｊ），（ｉ＋２，ｊ）の画素値から補完値を求めればよい。
そこで、色情報補完装置１は、方位相関強度算出手段２０において、方位相関を示す方位不均一性パラメータλを求め、補完画像画素値算出手段６０において、λの値に応じて、水平成分で補完した画像と、垂直方向で補完した画像とを重み付け加算することとしている。

しかし、方位相関強度算出手段２０は、水平方向および垂直方向の相関のみを求めていることから、エッジ成分が斜め方向に存在する場合が考慮されないことになる。
そこで、色情報補完装置１は、さらに、高周波成分加算係数算出手段５０によって、方位別（８方向）のエッジ成分の大きさに応じた高周波成分加算係数ｗを求め、補完画像画素値算出手段６０において、補完画像のうちで、高域フィルタで補完した補完画像（Ｇ_ＨＨおよびＧ_ＶＨ）に対してのみ高周波成分加算係数ｗを乗算することとしている。
これによって、色情報補完装置１は、低域フィルタで補完した補完画像（Ｇ_ＨＬおよびＧ_ＶＬ）に対して、画像の斜め方向のエッジ部や平坦部においては、画像の劣化を抑えつつ、高周波成分を補正することができる。

１ 色情報補完装置
１０ 方位別振動成分抽出手段
１１ 水平振動成分抽出手段
１２ 垂直振動成分抽出手段
２０ 方位相関強度算出手段
３０ 方位・帯域別画像補完手段
３１ 水平低周波成分補完手段
３２ 水平高周波成分補完手段
３３ 垂直低周波成分補完手段
３４ 垂直高周波成分補完手段
４０ 方位別エッジ成分抽出手段
５０ 高周波成分加算係数算出手段
６０ 補完画像画素値算出手段
７０ Ｇ画像生成手段（特定色補完手段）
８０ Ｒ画素抽出手段
８０Ｂ Ｂ画素抽出手段
９０ Ｒ画像生成手段（他色補完手段）
９０Ｂ Ｂ画像生成手段（他色補完手段）
９１ 差分手段
９２ 差分補完手段
９３ 加算手段
１００ ＲＧＢ画像生成手段

Claims (7)

1. カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、
   前記撮像画像の画素ごとに水平方向および垂直方向の方位別に振動成分を抽出する方位別振動成分抽出手段と、
   この方位別振動成分抽出手段で抽出された方位別の振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する方位相関強度算出手段と、
   前記撮像画像の特定色に対する補完対象画素の画素値を水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する方位・帯域別画像補完手段と、
   前記撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する方位別エッジ成分抽出手段と、
   この方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、前記方位・帯域別画像の高周波成分を補正するための高周波成分加算係数を算出する高周波成分加算係数算出手段と、
   前記方位・帯域別画像補完手段で補完された前記方位・帯域別画像の画素値を、前記方位相関の強度と前記高周波成分加算係数とに応じて加算して、前記補完対象画素の画素値を算出する補完画像画素値算出手段と、
   前記撮像画像において、前記特定色に対する補完対象画素の画素値を、前記補完画像画素値算出手段で算出された画素値に置き換えて前記特定色の色情報を補完する特定色補完手段と、
   前記撮像画像から、前記特定色以外の色を対象として色情報を補完する対象色ごとの他色補完手段と、を備え、
   前記方位別振動成分抽出手段は、
   前記撮像画像に対して、線形フィルタを用いて水平方向に畳み込み処理することで、水平方向の振動成分を抽出する水平振動成分抽出手段と、
   前記撮像画像に対して、線形フィルタを用いて垂直方向に畳み込み処理することで、垂直方向の振動成分を抽出する垂直振動成分抽出手段と、を備え、
   前記他色補完手段は、
   前記撮像画像において、前記対象色の画素ごとに、当該画素の画素値と当該画素に対応する前記補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する差分手段と、
   前記対象色に対する補完対象画素の周辺画素の前記差分値から、当該補完対象画素の差分値を補完する差分補完手段と、
   この差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する前記特定色補完手段で補完された補完対象画素の画素値を加算して、前記対象色の画像を生成する加算手段と、
   を備えることを特徴とする色情報補完装置。
2. 前記水平方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記水平振動成分抽出手段を複数備え、
   前記垂直方向に畳み込み処理するための空間周波数スケールが異なる線形フィルタごとに、前記垂直振動成分抽出手段を前記水平振動成分抽出手段と同数備えることを特徴とする請求項１に記載の色情報補完装置。
3. 前記方位・帯域別画像補完手段は、
   前記補完対象画素の水平方向に隣接する画素値を平均化して水平低周波成分補完画像を生成する水平低周波成分補完手段と、
   前記補完対象画素の画素値と当該画素の水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出して水平高周波成分補完画像を生成する水平高周波成分補完手段と、
   前記補完対象画素の垂直方向に隣接する画素値を平均化して垂直低周波成分補完画像を生成する垂直低周波成分補完手段と、
   前記補完対象画素の画素値と当該画素の垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出して垂直高周波成分補完画像を生成する垂直高周波成分補完手段と、
   を備えることを特徴とする請求項１または請求項２に記載の色情報補完装置。
4. カラーフィルタを用いた単板式撮像デバイスで撮像された撮像画像から、各色の欠落した色情報を補完する色情報補完装置であって、
   前記撮像画像の画素ごとに水平方向および垂直方向の方位別に振動成分を抽出する方位別振動成分抽出手段と、
   この方位別振動成分抽出手段で抽出された方位別の振動成分の相関に基づいて、画素ごとの方位相関の強度を算出する方位相関強度算出手段と、
   前記撮像画像の特定色に対する補完対象画素の画素値を水平方向および垂直方向の各方位について低周波成分および高周波成分の帯域別に補完して、方位・帯域別画像を生成する方位・帯域別画像補完手段と、
   前記撮像画像の画素ごとに水平方向、垂直方向および斜め方向の方位別にエッジ成分を抽出する方位別エッジ成分抽出手段と、
   この方位別エッジ成分抽出手段で抽出されたエッジ成分の大きさに基づいて、前記方位・帯域別画像の高周波成分を補正するための高周波成分加算係数を算出する高周波成分加算係数算出手段と、
   前記方位・帯域別画像補完手段で補完された前記方位・帯域別画像の画素値を、前記方位相関の強度と前記高周波成分加算係数とに応じて加算して、前記補完対象画素の画素値を算出する補完画像画素値算出手段と、
   前記撮像画像において、前記特定色に対する補完対象画素の画素値を、前記補完画像画素値算出手段で算出された画素値に置き換えて前記特定色の色情報を補完する特定色補完手段と、
   前記撮像画像から、前記特定色以外の色を対象として色情報を補完する対象色ごとの他色補完手段と、を備え、
   前記方位・帯域別画像補完手段は、
   前記補完対象画素の水平方向に隣接する画素値を平均化して水平低周波成分補完画像を生成する水平低周波成分補完手段と、
   前記補完対象画素の画素値と当該画素の水平方向に２画素離れた位置の画素の画素値とから高周波成分を算出して水平高周波成分補完画像を生成する水平高周波成分補完手段と、
   前記補完対象画素の垂直方向に隣接する画素値を平均化して垂直低周波成分補完画像を生成する垂直低周波成分補完手段と、
   前記補完対象画素の画素値と当該画素の垂直方向に２画素離れた位置の画素の画素値とから高周波成分を算出して垂直高周波成分補完画像を生成する垂直高周波成分補完手段と、を備え、
   前記他色補完手段は、
   前記撮像画像において、前記対象色の画素ごとに、当該画素の画素値と当該画素に対応する前記補完画像画素値算出手段で算出された補完対象画素の画素値との差分値を算出する差分手段と、
   前記対象色に対する補完対象画素の周辺画素の前記差分値から、当該補完対象画素の差分値を補完する差分補完手段と、
   この差分補完手段で差分値が補完された画像の画素ごとに、当該画素に対応する前記特定色補完手段で補完された補完対象画素の画素値を加算して、前記対象色の画像を生成する加算手段と、
   を備えることを特徴とする色情報補完装置。
5. 前記方位別エッジ成分抽出手段は、前記撮像画像の画素ごとに、右方向、右上方向、上方向、左上方向、左方向、左下方向、下方向および右下方向の８方向の方位別に前記エッジ成分を抽出することを特徴とする請求項１から請求項４のいずれか一項に記載の色情報補完装置。
6. 前記撮像画像は、３原色のベイヤ配列のカラーフィルタを用いて撮像された画像であって、前記特定色は緑色、前記対象色は赤色および青色であることを特徴とする請求項１から請求項５のいずれか一項に記載の色情報補完装置。
7. コンピュータを、請求項１から請求項６のいずれか一項に記載の色情報補完装置として機能させるための色情報補完プログラム。