JP6415093B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、カラー画像信号に係る補間技術に関する。

従来、カラー撮像センサにおいては、図１７に示すようなベイヤー配列のカラーフィルタが用いられている。カラーフィルタとしては、赤（Ｒ：Ｒｅｄ）、緑（Ｇ：Ｇｒｅｅｎ）、青（Ｂ：Ｂｌｕｅ）の３原色フィルタや、シアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）、黄（Ｙｅｌｌｏｗ）の３つの補色フィルタが用いられている。

しかし、ベイヤー配列のカラーフィルタでは、各画素において１つの信号しか得られないので、各画素において欠落している他の２色のカラー信号をデモザイキング（補間）する処理が行われる。デモザイキング法としては、バイリニアやバイキュービック補間が知られている。バイリニアやバイキュービック補間では、低周波成分を多く含む画像等では良好な補間結果が得られるが、高周波成分を含む画像には偽解像や偽色（色モアレ）と呼ばれる実際の被写体には存在しない線や色を発生させてしまう。これらの偽解像や偽色は、被写体像が本来有しているエッジ方向とは異なる方向の画素を用いてデモザイキングすることにより発生する。

そこで、被写体像が本来有しているエッジ方向に沿った画素を用いてデモザイキングする方法が提案されている。エッジ方向に沿った画素を用いるデモザイキング法は、２つの方法に大別でき、特許文献１ではエッジ方向を周囲の画素を使用して判別し、エッジを跨ぐような補間をせずエッジに沿うように補間する方法が提案されている。また、特許文献１では、まず方向毎に補間を行って数種類の補間結果を生成し、その後どの方向で補間した結果が適切かを判定し選択する補間方法が提案されている。補間方向の適切性の判断には、補間対象画素を含めた周辺画素からその近辺の均質性を示す評価値を導入し、均質性の高い方向がエッジ方向と判定して選択する補間方法が提案されている。

特開２００８−３５４７０号公報

しかしながら、特許文献１に記載の方法は、撮像センサの画素ピッチと被写体の細かなピッチとが一致するような解像限界付近では、均質性を示す評価値の誤算出による補間ミスを起こして偽解像が発生することが懸念される。本発明は、このような事情に鑑みてなされたものであり、画像信号に対するデモザイキング処理を高精度に行えるようにすることを目的とする。

本発明に係る画像処理装置は、複数色のカラーフィルタを備えた撮像素子により被写体像を反映した光学像を光電変換して得られた、各画素が前記複数色のカラーフィルタのいずれかの色に対応する画像データを有するモザイク画像データに対し、複数の規定方向について、各画素において欠落している色の画像データを補間するために、各画素の周辺の前記規定方向の画素に係る画像データを用いてそれぞれ補間処理を行う第１の補間手段と、前記第１の補間手段により前記補間処理が施された各規定方向の画像データの評価を行う評価手段と、前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、各画素の周辺の画素に係る画像データを用いて方向を持たない補間処理を行う第２の補間手段と、前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、エッジ成分を保存する補間処理を行う第３の補間手段と、前記第３の補間手段により前記補間処理が施された画像データから彩度を検出する彩度検出手段と、前記彩度検出手段により検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか否かを判定する判定手段と、前記判定手段によって偽解像が発生する領域であると判定された画素では、前記第２の補間手段の補間処理によって生成された画像データを選択して補間後の前記複数色の画像データを生成し、前記判定手段によって偽解像が発生する領域ではないと判定された画素では、前記評価手段による評価結果に基づいて、前記第１の補間手段の補間処理によって生成された各規定方向の画像データのいずれかを選択して補間後の前記複数色の画像データを生成する画像生成手段とを有することを特徴とする。

本発明によれば、エッジ成分を保存する補間処理により得られた画像データから検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか判定する。これにより、偽解像が発生する箇所の検出を精度良く行い、デモザイキング処理で発生する偽解像をより適切に補正することができ、画像信号に対するデモザイキング処理を高精度に行うことが可能になる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態におけるデモザイキング部の構成例を示す図である。 図２に示す水平方向補間部及び垂直方向補間部の構成例を示す図である。 方向別補間処理を説明するためのベイヤー配列の画素配置を示す図である。 Ｇｒ・Ｇｂ補間部の処理を説明するための図である。 図２に示す彩度検出用補間部及び方向を持たない補間部の構成例を示す図である。 彩度検出用Ｇ補間部で用いるフィルタ係数の例を示す図である。 方向を持たない補間部の処理を説明するための図である。 図２に示す偽解像領域判定部の構成例を示す図である。 偽解像領域しきい値判定処理の例を示すフローチャートである。 評価値算出処理の例を示すフローチャートである。 評価値算出処理を説明するための３×３画素領域を示す図である。 評価値を算出する際に用いるＬＰＦのフィルタ係数の例を示す図である。 方向選択・画像生成処理の例を示すフローチャートである。 第２の実施の形態における彩度検出用補間部の構成例を示す図である。 彩度検出用ＧＨ補間部、彩度検出用ＧＶ補間部で用いるフィルタ係数の例を示す図である。 ベイヤー配列の画素配置の例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る画像処理装置を有する撮像装置の構成例を示すブロック図である。被写体を反映した光学像（被写体像）は、撮影レンズ１０１を介して撮像素子１０２上に結像されて光電変換される。

撮像素子１０２は、複数色のカラーフィルタを備える単板カラー撮像素子である。カラーフィルタは、例えばそれぞれ６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ赤（Ｒ：Ｒｅｄ）、緑（Ｇ：Ｇｒｅｅｎ）、青（Ｂ：Ｂｌｕｅ）の３原色カラーフィルタからなり、これら３原色の各バンドに対応するカラープレーンを生成する。単板カラー撮像素子では、図１７に示したようにカラーフィルタが画素毎に空間的に配列されており、各画素では単一のカラープレーンにおける光強度を得ることしかできない。このため、撮像素子１０２からは、モザイク画像信号、すなわち各画素において３原色の内の２色が欠落した画像信号が出力される。

Ａ／Ｄ（アナログ−デジタル）変換部１０３は、撮像素子１０２からアナログ電圧として出力されるモザイク画像信号をデジタル画像データに変換する。ホワイトバランス部１０４は、ホワイトバランス処理を行う。具体的には、ホワイトバランス部１０４は、白くあるべき領域のＲ、Ｇ、Ｂが等色になるようにＲ、Ｇ、Ｂの各色にゲインをかける。

デモザイキング部１０５は、３原色の内の２色の画像データが各画素において欠落しているカラーモザイク画像データを補間することによって、すべての画素においてＲ、Ｇ、Ｂの３色のカラー画像データが揃ったカラー画像を生成する。各画素のカラー画像データは、マトリクス変換部１０６でマトリクス変換処理が施され、ガンマ変換部１０７でガンマ補正処理が施されて、基本的なカラー画像データが生成される。この基本的なカラー画像データに対して、色調整部１０８で画像の見栄えを改善するための各種の処理が施される。例えば、色調整部１０８は、ノイズ低減、彩度強調、色相補正、エッジ強調等の各種の色調整処理を行う。圧縮部１０９は、色調整されたカラー画像データをＪＰＥＧ等の方法で圧縮し、記録時のデータサイズを小さくする。

前述した撮像素子１０２から圧縮部１０９までの各機能部の処理動作は、制御部１１１によりバス１１３を介して制御される。制御部１１１は、それらの制御を行う際、メモリ１１２を適宜利用する。圧縮部１０９により圧縮されたデジタル画像データは、制御部１１１の制御の下に記録部１１０によりフラッシュメモリ等の記録媒体に記録される。

次に、デモザイキング部１０５でのデモザイキング処理について、図２を参照して説明する。図２は、本実施形態におけるデモザイキング部１０５の構成例を示す図である。デモザイキング部１０５は、まず注目画素に対してその周辺の画素を用いて、複数の規定方向のそれぞれの規定方向での補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ、Ｇ、Ｂの３原色のカラー画像データを生成する。

具体的には、デモザイキング部１０５は、入力された各画素のベイヤー画像データ２０１に対し、水平方向補間部２０２により、水平方向の周辺画素を用いて欠落色の画素データを補間することで、水平方向補間の各画素のＲ、Ｇ、Ｂ画像データを生成する。ベイヤー画像データ２０１は、３原色の内の２色の画像データが各画素において欠落している画像データである。また、デモザイキング部１０５は、各画素のベイヤー画像データ２０１に対し、垂直方向補間部２０３により、垂直方向の周辺画素を用いて欠落色の画素データを補間することで、垂直方向補間の各画素のＲ、Ｇ、Ｂ画像データを生成する。

次に、デモザイキング部１０５は、水平方向補間部２０２で生成された水平方向補間の各画素のＲ、Ｇ、Ｂ画像データについて、水平方向分散度算出部２０７により画素毎に分散度を算出する。また、デモザイキング部１０５は、垂直方向補間部２０３で生成された垂直方向補間の各画素のＲ、Ｇ、Ｂ画像データについて、垂直方向分散度算出部２０８により画素毎に分散度を算出する。そして、デモザイキング部１０５は、評価値算出部２１０により、水平方向分散度算出部２０７及び垂直方向分散度算出部２０８でそれぞれ算出された水平方向の分散度及び垂直方向の分散度から評価結果としての評価値を算出する。

また、偽解像領域の検出や補正を行うために、デモザイキング部１０５は、Ｇｒ・Ｇｂ補間部２０４、彩度検出用補間部２０５、及び方向を持たない補間部２０６により、それぞれ各色の画素データを補間する。Ｇｒ・Ｇｂ補間部２０４では、Ｇｒ画像データ及びＧｂ画像データが生成され、彩度検出用補間部２０５及び方向を持たない補間部２０６では、Ｒ、Ｇ、Ｂ画像データが生成される。デモザイキング部１０５は、偽解像領域判定部２０９により、Ｇｒ・Ｇｂ補間部２０４及び彩度検出用補間部２０５の各出力画像データに基づいて、偽解像が発生する領域である偽解像領域であるか否かの判定を画素毎に行う。

方向選択・画像生成部２１１は、評価値算出部２１０で算出された水平方向の評価値と垂直方向の評価値とを比較し、水平方向補間及び垂直方向補間のうちの評価値の高い方向を選択する。この選択の際に、方向選択・画像生成部２１１は、偽解像領域判定部２０９において偽解像領域と判定された画素については、方向を持たない補間部を選択する。そして、方向選択・画像生成部２１１は、選択した方向に係る補間処理後のＲ、Ｇ、Ｂ画像データに基づいて補間画像データを生成し、補間後ＲＧＢ画像データ２１２、すなわちデモザイキング・データとして出力する。

図２に示した水平方向補間部２０２及び垂直方向補間部２０３における方向別の補間処理について、図３を参照して説明する。図３は、水平方向補間部２０２及び垂直方向補間部２０３の構成例を示す図である。図３に示すように、水平方向補間部２０２は、水平方向Ｇ補間部２０２ａ及び水平方向ＲＢ補間部２０２ｂを有し、垂直方向補間部２０３は、垂直方向Ｇ補間部２０３ａ及び垂直方向ＲＢ補間部２０３ｂを有する。

水平方向補間部２０２は、まず水平方向Ｇ補間部２０２ａにより、周波数帯域の高いＧデータの補間を行い、次に水平方向ＲＢ補間部２０２ｂにより、Ｒデータ及びＢデータの補間を行い、水平方向補間のＲ、Ｇ、Ｂ画像データ２０２ｃを生成する。同様に、垂直方向補間部２０３は、まず垂直方向Ｇ補間部２０３ａにより、周波数帯域の高いＧデータの補間を行い、次に垂直方向ＲＢ補間部２０３ｂにより、Ｒデータ及びＢデータの補間を行い、垂直方向補間のＲ、Ｇ、Ｂ画像データ２０３ｃを生成する。

次に、具体的な方向別補間処理の方法を図４に基づいて説明する。Ｇデータの補間では、注目画素がＧ色のフィルタに係る画素であれば、当該画素のＧデータをそのまま出力する（式１）。また、Ｇデータの補間では、注目画素がＲ色のフィルタに係る画素及びＢ色のフィルタに係る画素であれば、水平方向においては下記の式２を用いて補間データを算出し、垂直方向においては下記の式３を用いて補間データを算出する。なお、式１、式２、式３におけるＧ３３、Ｇ３４、Ｇ４３、Ｇ４４は、図４に便宜的に示した画素符号に対応している（以下の説明においても同様）。例えばＧ３３が画素Ｒ３３の補間Ｇデータ、Ｇ４４が画素Ｂ４４の補間Ｇデータを示す。

Ｒデータの補間では、注目画素がＲ色のフィルタに係る画素であれば、当該画素のＲデータをそのまま出力する（式４）。また、Ｒデータの補間では、注目画素がＧ色のフィルタに係る画素であれば、下記の式５を用いて補間データを算出する。また、Ｒデータの補間では、注目画素がＢ色のフィルタに係る画素であれば、下記の式６を用いて補間データを算出する。Ｒデータの補間では、水平方向と垂直方向とで同じ数式を用いる。なお、Ｂデータの補間では、Ｒデータの補間と同様の手法を用いる。具体的には、下記の式４〜式６におけるＲをＢに置き換えた数式を用いる。

また、前述したように本実施形態におけるデモザイキング部１０５では、それぞれの規定方向での補間の他に、偽解像の検出や補正を行うための補間を行う。Ｇｒ・Ｇｂ補間部２０４は、入力された各画素のベイヤー画像データ２０１に対し、Ｇｒ画素及びＧｂ画素のそれぞれの画素だけを用いて、Ｇｒ及びＧｂの各補間データを算出する。ここで、Ｇｒ画素はＲ画素の横に隣接するＧ画素を指し、Ｇｂ画素はＢ画素の横に隣接するＧ画素を指す。Ｇｒ・Ｇｂ補間部２０４は、図５に示すようにＧｒ画素、Ｇｂ画素に対応するデータからなる画像データに分解する。この際、分解した色フィルタに対応していない画素に対しては、データ値として０を挿入する。その後、Ｇｒ・Ｇｂ補間部２０４は、ローパスフィルタ（ＬＰＦ）による補間処理を行い、すべての画素においてデータを有するＧｒ及びＧｂの各補間データを算出する。

また、彩度検出用補間部２０５は、入力された各画素のベイヤー画像データ２０１に対し、各画素のＲ、Ｇ、Ｂ画像データを生成する。彩度検出用補間部２０５における補間処理について、図６を参照して説明する。図６は、彩度検出用補間部２０５及び方向を持たない補間部２０６の構成例を示す図である。図６に示すように、彩度検出用補間部２０５は、彩度検出用Ｇ補間部２０５ａ及び彩度検出用ＲＢ補間部２０５ｂを有する。

彩度検出用補間部２０５は、まず彩度検出用Ｇ補間部２０５ａにより、Ｇデータの補間を行い、次に彩度検出用ＲＢ補間部２０５ｂにより、Ｒデータ及びＢデータの補間を行い、彩度検出用のＲ、Ｇ、Ｂ画像データ２０５ｃを生成する。ここで、彩度を算出するための補間が周辺画素の平均を算出する補間方法であると、色ずれや色にじみが起こり、実際とは異なる色になることで、局所領域の彩度判定に誤りを生じさせる可能性がある。そこで、本実施形態では、色ずれや色にじみが起こりにくいように、エッジ部（エッジ成分）を保存するフィルタ係数を使用して彩度を算出することで、偽解像領域判定部２０９において彩度を検出する際の精度を向上させる。

彩度検出用Ｇ補間部２０５ａにおけるＧデータの補間では、注目画素がＧ色のフィルタに係る画素であれば、当該画素のＧデータをそのまま出力する。また、彩度検出用Ｇ補間部２０５ａにおけるＧデータの補間では、注目画素がＲ色のフィルタに係る画素及びＢ色のフィルタに係る画素であれば、図７に示すような２次微分フィルタの係数を用いて下記の式７のように補間データを算出する。図７において、Ｃ画素はＲ画素又はＢ画素である。なお、下記の式７における各項は、図４に便宜的に示した画素符号に対応している。

なお、エッジ成分を保存するようなフィルタ係数であれば、この限りではない。本実施形態では、２次微分フィルタを用いて補間を行っているが、周辺画素から連続性が強いと判断される方向の補間を適応的に行い、エッジを保存するようにしても良い。例えば、図４に示したＲ３３画素については、下記の式８のように上下及び左右の画素のデータ値の差の絶対値を算出し、連続性が強い方向を判断する。

Ｈｄｉｆｆ＜Ｖｄｉｆｆであれば、水平方向の連続性が強いことになり、彩度検出用Ｇ補間部２０５ａは、水平方向の画素の画素データで補間を行う。逆であれば、彩度検出用Ｇ補間部２０５ａは、垂直方向の画素の画素データで補間を行う。
彩度検出用ＲＢ補間部２０５ｂは、前述した式４〜式６を用いた場合と同様にしてＲ及びＢの補間データを算出する。

また、方向を持たない補間部２０６は、入力された各画素のベイヤー画像データ２０１に対し、偽解像判定領域判定部２０９で偽解像領域と判定された画素領域に適用するための各画素のＲ、Ｇ、Ｂ画像データを生成する。方向を持たない補間部２０６における補間処理について、図６を参照して説明する。図６に示したように、方向を持たない補間部２０６は、方向を持たないＧ補間部２０６ａ及び方向を持たないＲＢ補間部２０６ｂを有する。

方向を持たない補間部２０６は、まず方向を持たないＧ補間部２０６ａにより、Ｇｒ・Ｇｂ補間部２０４で行う補間と同様の手法で、すべての画素においてデータを有するＧｒ及びＧｂの各補間データを算出する。さらに、方向を持たない補間部２０６は、方向を持たないＧ補間部２０６ａにより、各画素のＧｒ、Ｇｂ画像データから、図８に示すようにすべての画素においてＧｒデータとＧｂデータの加算平均を行う。これにより、Ｇｒ画素とＧｂ画素のデータ値の差を無くすことができる。この補間結果を偽解像判定領域部２０９で偽解像領域と判定された領域に用いることにより、偽解像を補正できる。

方向を持たない補間部２０６は、次に方向を持たないＲＢ補間部２０６ｂにより、Ｒデータ及びＢデータを補間する。方向を持たないＲＢ補間部２０６ｂは、前述した式４〜式６を用いた場合と同様にしてＲ及びＢの補間データを算出する。以上のようにして、少なくとも異なる２つの方向の画素を用いて補間データを算出し、方向を持たないＲ、Ｇ、Ｂ画像データ２０６ｃを生成する。

図２に示した偽解像領域判定部２０９における偽解像領域の判定処理について、図９及び図１０を参照して説明する。図９は、偽解像領域判定部２０９の構成例を示す図である。図１０は、偽解像領域しきい値判定処理の例を示すフローチャートである。図９に示すように、偽解像領域判定部２０９は、ＧｒＧｂ差分算出部（差分検出部）２０９ａ、彩度算出部２０９ｂ、及び偽解像領域しきい値判定部２０９ｃを有する。

ＧｒＧｂ差分算出部２０９ａは、Ｇｒ・Ｇｂ補間部２０４から出力されたＧｒデータ及びＧｂデータが入力され、画素毎にＧｒデータとＧｂデータとの差分検出を行い、差分の絶対値Ｇ_r-bを下記の式９により算出する。また、彩度算出部２０９ｂは、彩度検出用補間部２０５から出力された彩度検出用のＲ、Ｇ、Ｂ画像データ２０５ｃが入力され、画素毎に下記の式１０を用いて彩度Ｃを算出する。

偽解像領域しきい値判定部２０９ｃは、ＧｒＧｂ差分算出部２０９ａから出力された値Ｇ_r-b及び彩度算出部２０９ｂから出力された彩度Ｃに基づいて、画素毎に偽解像領域であるか否かの判定を行う。偽解像領域しきい値判定部２０９ｃにおける偽解像領域しきい値判定処理を、図１０に示すフローチャートに基づいて説明する。

偽解像領域しきい値判定部２０９ｃは、対象画素について、Ｇｒデータ及びＧｂデータの差分絶対値Ｇ_r-bと定数のしきい値ＴＨａとを比較し、差分絶対値Ｇ_r-bがしきい値ＴＨａより大きいか否かを判別する（Ｓ１００１）。その結果、差分絶対値Ｇ_r-bがしきい値ＴＨａより大きければ、次に、偽解像領域しきい値判定部２０９ｃは、彩度Ｃと定数のしきい値ＴＨｂとを比較し、彩度Ｃがしきい値ＴＨｂより大きいか否かを判別する（Ｓ１００２）。その結果、彩度Ｃがしきい値ＴＨｂより大きければ、偽解像領域しきい値判定部２０９ｃは、対象画素が偽解像領域であると判定する（Ｓ１００３）。偽解像領域しきい値判定部２０９ｃは、画像の全画素について、ステップＳ１００１〜Ｓ１００３の処理を行う。

前述した偽解像領域しきい値判定処理では、Ｇｒデータ及びＧｂデータの差分絶対値Ｇ_r-bと彩度Ｃのそれぞれを定数のしきい値と比較して判定を行うようにしているが、しきい値を輝度や色相等に応じて非線形に変更することも可能である。さらに、これらの変更をユーザが設定できるようにしても良い。

次に、本実施形態における評価値算出処理を、図１１に示すフローチャートに基づいて説明する。図１１は、評価値算出処理の例を示すフローチャートである。
評価値算出処理において、図２に示した水平方向分散度算出部２０７は、各画素について欠落色の画素データを補間した水平方向補間のＲ、Ｇ、Ｂ画像データ２０２ｃを、均等色空間の色信号（値）に変換する（Ｓ１１０１）。本実施形態では、均質性を表す尺度として色差の分散度を算出するために、Ｇ、Ｒ−Ｇ、Ｂ−Ｇの色空間を使用する。ここで、Ｇ、Ｒ−Ｇ、Ｂ−Ｇの色空間ではなく、Ｌ＊ａ＊ｂ＊均等色空間を用いても良いが、Ｌ＊ａ＊ｂ＊値への変換処理は計算量が多いため、Ｌ＊の代わりにＧ信号をそのまま用い、ａ＊、ｂ＊の代わりにＲ−Ｇ、Ｂ−Ｇを色差信号としている。

次に、水平方向分散度算出部２０７は、Ｇ、Ｒ−Ｇ、Ｂ−Ｇの各信号に対してそれぞれ分散度σ_Gh ²、σ_R-Gh ²、σ_B-Gh ²を算出する（Ｓ１１０２）。ここでは、注目画素を中心とした３×３領域の画素を用いて算出するものとするが、５×５領域の画素や７×７領域の画素を用いて算出しても良く、この限りではない。また、領域内の全画素での分散ではなく、水平方向についてＧ信号の分散を算出するのであれば、図１２（Ａ）に示すように、ｈ１１〜ｈ１３、ｈ２１〜ｈ２３、ｈ３１〜ｈ３３の各々３画素を用いて、Ｇ信号の分散σ_G1 ²、σ_G2 ²、σ_G3 ²を算出する。そして、それら分散σ_G1 ²、σ_G2 ²、σ_G3 ²の中で最も大きい分散値σ_Gh ²をＧ信号の分散値とする。Ｒ−Ｇ信号、Ｂ−Ｇ信号の分散についても、図１２（Ｂ）及び図１２（Ｃ）に示すようにＧ信号の分散度算出と同様の処理を行うようにしても良い。

続いて、水平方向分散度算出部２０７は、下記の式１１を用いて水平方向の分散度σ_h ²を算出する（Ｓ１１０３）。水平方向分散度算出部２０７は、水平方向補間のＲ、Ｇ、Ｂ画像データ２０２ｃの全画素について、画素毎に前述したステップＳ１１０１〜Ｓ１１０３の処理を行う。

また、垂直方向分散度算出部２０８は、垂直方向補間のＲ、Ｇ、Ｂ画像データ２０３ｃを用いて、ステップＳ１１０１〜Ｓ１１０３の処理と同様のステップＳ１１０４〜Ｓ１１０６の処理を行い、下記の式１２を用いて垂直方向の分散度σ_v ²を算出する。垂直方向分散度算出部２０８は、垂直方向補間のＲ、Ｇ、Ｂ画像データ２０３ｃの全画素について、画素毎にステップＳ１１０４〜Ｓ１１０６の処理を行う。

次に、評価値算出部２１０は、前述のようにしてそれぞれ算出された水平方向の分散度σ_h ²及び垂直方向の分散度σ_v ²から、下記の式１３を用いて水平方向の評価値Ｃｈ及び垂直方向の評価値Ｃｖを画素毎に算出する。以上の処理により、画素毎に評価値Ｃｈ、Ｃｖが算出され、結果として評価値の２次元プレーンが生成される（Ｓ１１０７）。

ところで、最終的な補間値は評価値によって決定されるため、隣接する画素間で評価値が大きく異なると、トーンジャンプ等の画質劣化の要因となる場合がある。そこで、評価値算出部２１０は、生成した評価値プレーンに対してローパスフィルタ（ＬＰＦ）処理を施す（Ｓ１１０８）。ＬＰＦのフィルタ係数に関しては、図１３（Ａ）に示すようなフィルタ長が３画素の［１，２，１］を用いても、又は図１３（Ｂ）に示すようなフィルタ長が５画素の［１，４，６，４，１］を用いても良いが、縦横の両方向でフィルタをかけることが望ましい。

方向選択・画像生成部２１１は、各画素について、評価値算出部２１０で算出される評価結果としての評価値Ｃｈ、Ｃｖ及び偽解像領域判定部２０９での判定結果に基づいて、水平方向補間、垂直方向補間、方向を持たない補間の何れかの画素データを選択する。これにより、方向選択・画像生成部２１１は、全画素においてそれぞれＲ、Ｇ、Ｂの色成分の画像データが存在するＲＧＢ補間画像データを生成して、補間後ＲＧＢ画像データ２１２（デモザイキング・データ）として出力する。

次に、方向選択・画像生成部２１１における方向選択・画像生成処理について、図１４を参照して説明する。図１４は、方向選択・画像生成処理の例を示すフローチャートである。方向選択・画像生成部２１１は、対象画素について、まず、偽解像領域であると判定されているか否かを判別する（Ｓ１４０１）。その結果、偽解像領域であると判定されていれば、方向選択・画像生成部２１１は、方向を持たない補間部２０６での補間処理で生成された方向を持たないＲ、Ｇ、Ｂ画像データ２０６ｃを選択し、補間後ＲＧＢ画像データ２１２として出力する（Ｓ１４０２）。

一方、偽解像領域であると判定されていなければ、方向選択・画像生成部２１１は、水平方向の評価値Ｃｈと垂直方向の評価値Ｃｖとを比較し、水平方向の評価値Ｃｈが垂直方向の評価値Ｃｖより小さいか否かを判別する（Ｓ１４０３）。その結果、水平方向の評価値Ｃｈが垂直方向の評価値Ｃｖより小さければ、方向選択・画像生成部２１１は、水平方向補間のＲ、Ｇ、Ｂ画像データ２０２ｃを選択し、補間後ＲＧＢ画像データ２１２として出力する（Ｓ１４０４）。一方、水平方向の評価値Ｃｈが垂直方向の評価値Ｃｖより小さくなければ、方向選択・画像生成部２１１は、垂直方向補間のＲ、Ｇ、Ｂ画像データ２０３ｃを選択し、補間後ＲＧＢ画像データ２１２として出力する（Ｓ１４０５）。

第１の実施形態によれば、色ずれや色にじみが起こりにくい、エッジ部を保存する補間処理で生成された彩度検出用のＲ、Ｇ、Ｂ画像データから算出した彩度と、Ｇｒデータ及びＧｂデータの差分とに基づいて、画素毎に偽解像が発生する領域であるか判定する。そして、偽解像が発生する領域と判定された画素については、方向を持たない補間部で生成された補間データを画素データとして選択する。これにより、偽解像が発生する領域（画素）の検出を精度良く行い、デモザイキング処理（色補間処理）で発生する偽解像をより適切に補正することができ、画像信号に対するデモザイキング処理を高精度に行うことが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態では、彩度検出用Ｇ補間部２０５の彩度検出用Ｇ補間部２０５ａにおけるＧデータの補間では、注目画素がＲ色のフィルタに係る画素及びＢ色のフィルタに係る画素である場合、図７に示したような２次微分フィルタの係数を用いていた。これに対し、第２の実施形態では、１次微分フィルタの係数を用いてＧデータを補間する構成としている。第２の実施形態における撮像装置及びデモザイキング部１０５の構成は、第１の実施形態において図１、図２を参照して説明したものとほぼ同様であるので、それらの説明は省略する。第２の実施形態では、彩度検出用補間部２０５の内部構成が第１の実施形態と異なる。

図１５は、第２の実施形態における彩度検出用補間部２０５の構成例を示す図である。図１５に示すように、彩度検出用補間部２０５は、彩度検出用ＧＨ補間部２０５ｄ、彩度検出用ＧＶ補間部２０５ｅ、彩度検出用Ｇ補間合成部２０５ｆ、及び彩度検出用ＲＢ補間部２０５ｂを有する。

第２の実施形態において、彩度検出用ＧＨ補間部２０５ｄにおけるＧデータの補間では、注目画素がＧ色のフィルタに係る画素であれば、当該画素のＧデータをそのまま出力する。彩度検出用ＧＨ補間部２０５ｄにおけるＧデータの補間では、注目画素がＲ色のフィルタに係る画素及びＢ色のフィルタに係る画素であれば、図１６（Ａ）に示すような水平方向の傾きを考慮した１次微分フィルタの係数を用いて下記の式１４のように補間を行う。なお、下記の式１４における各項は、図４に便宜的に示した画素符号に対応している。

また、彩度検出用ＧＶ補間部２０５ｅにおけるＧデータの補間では、Ｒ色のフィルタに係る画素及びＢ色のフィルタに係る画素について、図１６（Ｂ）に示すような垂直方向の傾きを考慮した１次微分フィルタ係数を用いて下記の式１５のように補間を行う。

なお、図１６（Ａ）及び図１６（Ｂ）において、Ｃ画素はＲ画素又はＢ画素である。また、フィルタ係数は、図１６（Ａ）及び図１６（Ｂ）に例示したものに限られるものではない。例えばＲ画素の重みを１以外にしても良い。

彩度検出用Ｇ補間合成部２０５ｆは、彩度検出用ＧＨ補間部２０５ｄにより得られる補間データと、彩度検出用ＧＶ補間部２０５ｅにより得られる補間データを基に、補間されたＲ、Ｂ画素位置のＧデータにおいて加算平均を行う。彩度検出用ＲＢ補間部２０５ｂは、第１の実施形態と同様に式４〜式６を用いた場合と同様にしてＲデータ及びＢデータの補間を行う。以降の実施方法は、第１の実施形態と同じであるため省略する。

第２の実施形態によれば、彩度の検出に用いる補間データの生成では、１次微分フィルタを用いて、エッジ成分を保存している。これにより、第１の実施形態と同様に、色にじみや色ずれが起こりにくく、偽解像が発生する領域（画素）の検出を精度良く行うことができ、デモザイキング処理（色補間処理）で発生する偽解像をより適切に補正することができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０５：デモザイキング部 ２０２：水平方向補間部 ２０３垂直方向補間部 ２０４：Ｇｒ・Ｇｂ補間部 ２０５：彩度検出用補間部 ２０６：方向を持たない補間部 ２０７：水平方向分散度算出部 ２０８：垂直方向分散度算出部 ２０９：偽解像領域判定部 ２０９ａ：ＧｒＧｂ差分算出部 ２０９ｂ：彩度算出部 ２０９ｃ：偽解像領域しきい値判定部 ２１０：評価値算出部 ２１１：方向選択・画像生成部

Claims (12)

1. 複数色のカラーフィルタを備えた撮像素子により被写体像を反映した光学像を光電変換して得られた、各画素が前記複数色のカラーフィルタのいずれかの色に対応する画像データを有するモザイク画像データに対し、複数の規定方向について、各画素において欠落している色の画像データを補間するために、各画素の周辺の前記規定方向の画素に係る画像データを用いてそれぞれ補間処理を行う第１の補間手段と、
   前記第１の補間手段により前記補間処理が施された各規定方向の画像データの評価を行う評価手段と、
   前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、各画素の周辺の画素に係る画像データを用いて方向を持たない補間処理を行う第２の補間手段と、
   前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、エッジ成分を保存する補間処理を行う第３の補間手段と、
   前記第３の補間手段により前記補間処理が施された画像データから彩度を検出する彩度検出手段と、
   前記彩度検出手段により検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか否かを判定する判定手段と、
   前記判定手段によって偽解像が発生する領域であると判定された画素では、前記第２の補間手段の補間処理によって生成された画像データを選択して補間後の前記複数色の画像データを生成し、前記判定手段によって偽解像が発生する領域ではないと判定された画素では、前記評価手段による評価結果に基づいて、前記第１の補間手段の補間処理によって生成された各規定方向の画像データのいずれかを選択して補間後の前記複数色の画像データを生成する画像生成手段とを有することを特徴とする画像処理装置。
2. 前記第２の補間手段は、前記モザイク画像データに対し、ローパスフィルタによる補間処理を行うことを特徴とする請求項１記載の画像処理装置。
3. さらに、画像データの差分を検出する差分検出手段を有し、
   前記モザイク画像データはベイヤー配列の画像データであり、
   前記差分検出手段は、赤に対応する画素の水平方向に位置する緑に対応する画素の画像データと、青に対応する画素の水平方向に位置する緑に対応する画素の画像データの差分を検出し、
   前記判定手段は、前記差分検出手段により検出された差分、及び、前記彩度検出手段により検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか否かを判定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記判定手段は、前記差分検出手段により検出された差分がしきい値を超え、かつ前記彩度検出手段により検出された彩度がしきい値を超えている場合に、偽解像が発生する領域であると判定することを特徴とする請求項３記載の画像処理装置。
5. 前記モザイク画像データに対し、ホワイトバランス処理を施す補正手段を有し、
   前記第１の補間手段、前記第２の補間手段、及び前記第３の補間手段は、前記補正手段によりホワイトバランス処理が施された前記モザイク画像データに対し、前記補間処理を行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記第３の補間手段は、２次微分フィルタを用いて前記補間処理を行うことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記第３の補間手段は、１次微分フィルタを用いて前記補間処理を行うことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
8. 前記第３の補間手段は、周辺の画素を用いて方向の連続性を判断し、前記連続性が強いと判断した方向の画素に係る画像データで前記補間処理を行うことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
9. 前記評価手段は、前記第１の補間手段により前記補間処理が施された画像データから得られるＧ信号、Ｒ−Ｇ信号、及びＢ−Ｇ信号の分散を用いて評価を行うことを特徴とする請求項３記載の画像処理装置。
10. 複数の規定方向には、水平方向及び垂直方向を含むことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 複数色のカラーフィルタを備えた撮像素子により被写体像を反映した光学像を光電変換して得られた、各画素が前記複数色のカラーフィルタのいずれかの色に対応する画像データを有するモザイク画像データに対し、複数の規定方向について、各画素において欠落している色の画像データを補間するために、各画素の周辺の前記規定方向の画素に係る画像データを用いてそれぞれ補間処理を行う第１の補間工程と、
    前記第１の補間工程で前記補間処理が施された各規定方向の画像データの評価を行う評価工程と、
    前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、各画素の周辺の画素に係る画像データを用いて方向を持たない補間処理を行う第２の補間工程と、
    前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、エッジ成分を保存する補間処理を行う第３の補間工程と、
    前記第３の補間工程で前記補間処理が施された画像データから彩度を検出する彩度検出工程と、
    前記彩度検出工程で検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか否かを判定する判定工程と、
    前記判定工程で偽解像が発生する領域であると判定された画素では、前記第２の補間工程での補間処理によって生成された画像データを選択して補間後の前記複数色の画像データを生成し、前記判定工程で偽解像が発生する領域ではないと判定された画素では、前記評価工程での評価結果に基づいて、前記第１の補間工程での補間処理によって生成された各規定方向の画像データのいずれかを選択して補間後の前記複数色の画像データを生成する画像生成工程とを有することを特徴とする画像処理方法。
12. 複数色のカラーフィルタを備えた撮像素子により被写体像を反映した光学像を光電変換して得られた、各画素が前記複数色のカラーフィルタのいずれかの色に対応する画像データを有するモザイク画像データに対し、補間処理を行う補間ステップを有する画像処理方法をコンピュータに実行させるためのプログラムであって、
    前記補間ステップでは、
    複数の規定方向について、各画素において欠落している色の画像データを補間するために、各画素の周辺の前記規定方向の画素に係る画像データを用いてそれぞれ補間処理を行う第１の補間ステップと、
    前記第１の補間ステップで前記補間処理が施された各規定方向の画像データの評価を行う評価ステップと、
    前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、各画素の周辺の画素に係る画像データを用いて方向を持たない補間処理を行う第２の補間ステップと、
    前記モザイク画像データに対し、各画素において欠落している色の画像データを補間するために、エッジ成分を保存する補間処理を行う第３の補間ステップと、
    前記第３の補間ステップで前記補間処理が施された画像データから彩度を検出する彩度検出ステップと、
    前記彩度検出ステップで検出された彩度に基づいて、画素毎に偽解像が発生する領域であるか否かを判定する判定ステップと、
    前記判定ステップで偽解像が発生する領域であると判定された画素では、前記第２の補間ステップでの補間処理によって生成された画像データを選択して補間後の前記複数色の画像データを生成し、前記判定ステップで偽解像が発生する領域ではないと判定された画素では、前記評価ステップでの評価結果に基づいて、前記第１の補間ステップでの補間処理によって生成された各規定方向の画像データのいずれかを選択して補間後の前記複数色の画像データを生成する画像生成ステップとをコンピュータに実行させるプログラム。

Images