JP2015076676A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】従来のノイズ低減の手法では、画像の領域毎にノイズ低減効果にばらつきが生じるという問題がある。【解決手段】画像処理装置が、ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定手段と、前記推定手段で推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定し、前記着目画素に対してノイズ低減処理を行うノイズ低減処理手段と、を備えることを特徴とする。【選択図】図４

Description

本発明は、画像データに含まれるノイズを低減する画像処理技術に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには混入したノイズを低減する必要がある。

従来、ノイズ周波数以下の信号成分を通すローパスフィルタを適用してノイズを低減する手法が知られている。しかしながら、このローパスフィルタを適用してノイズを低減する手法では、エッジ部分がぼけてしまうため高画質な画像を得ることが難しい。そこで、ノイズとエッジに関する情報を何らかの方法で判断し、適応的にノイズ低減を行う方法が数多く提案されている。

一般に、適応的なノイズ低減では、着目画素のノイズを低減するために、着目画素近傍の複数の画素を参照画素として選択し、当該選択した参照画素の適当な加重平均値により着目画素を置き換えている。また、適応的なノイズ低減方法の一つとして、着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素の類似度を求め、この類似度に応じた加重平均値を用いてノイズ低減を実現する方法が提案されている（特許文献１、特許文献２）。

特表２００７−５３６６６２号公報 特開２０１１−３９６７５号公報

しかしながら、特許文献１及び特許文献２の方法では、画像の領域毎にノイズ低減効果にばらつきが生じるという問題がある。例えば、着目画素の近傍に類似画素が多ければノイズ低減効果は高くなるが、少なければ低くなる。また、格子など繰り返しパターンのある領域には効果的であるが、樹木などランダムなテクスチャを持つ領域はぼけやすいという問題がある。これは、ランダムなテクスチャを持つ領域では、着目画素と参照画素との類似度が高い参照画素が減少する一方、類似度が中程度の参照画素が増加し、加重平均処理において小さい重みで多くの画素が加算されるためである。

本発明に係る画像処理装置は、ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定手段と、前記推定手段で推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定し、前記着目画素に対してノイズ低減処理を行うノイズ低減処理手段と、を備えることを特徴とする。

本発明によれば、ノイズ低減処理を適用する着目画素の近傍領域の特性を推定し、推定結果に基づいてノイズ低減処理の内容を決定することによって、好適なノイズ低減画像を得ることが可能になる。

実施例１に係る、画像処理装置のハードウェア構成の一例を示す図である。 参照画素の重みの算出方法を説明する図である。 参照画素の重みの算出方法を説明する図である。 実施例１に係る、画像処理装置の論理構成を示す模式図である。 実施例１における、ノイズ低減画像を生成する処理の流れを示すフローチャートである。 リファレンスヒストグラムの分布の一例を示す図である。 実施例１に係る、着目画素近傍領域の特性を推定する処理の詳細を示すフローチャートである。 実施例１に係る、ノイズ低減処理の詳細を示すフローチャートである。 実施例２に係る、画像処理装置の論理構成を示す模式図である。 類似度ヒストグラムの特徴がどのようにして判定されるのかを示す図である。 実施例２におけるノイズ低減画像を生成するメイン処理の流れを示すフローチャートである。 実施例２に係る、着目画素近傍領域の特性を推定する処理の詳細を示すフローチャートである。 実施例２に係る、ノイズ低減処理の詳細を示すフローチャートである。

（実施例１）
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。

図１において、画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０５、メインバス１０６を備える。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１１１や、マウス、キーボードなどの入力装置１１２、メモリーカードなどの外部メモリ１１３をメインバス１０６に接続する。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０５にユーザインターフェース画面（以下、ＵＩ画面）を表示する。続いて、ＨＤＤ１０３や外部メモリ１１３に格納されている各種データ、撮像装置１１１で撮影された画像データ、入力装置１１２からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。演算結果はモニタ１０５に表示したり、ＨＤＤ１０３、外部メモリ１１３に格納したりする。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズ低減処理の効果が高い領域と低い領域とを判定し、判定結果に基づいてノイズ低減処理で用いる重みを変更する方法について説明する。

まず、本実施例におけるノイズ低減処理の手法である、Non-Local Means法（以下、ＮＬＭ法）について説明しておく。この手法は、ノイズ低減対象となる着目画素を中心とするブロックと、その周辺の参照画素を中心とするブロックとの類似度に基づいて重みを掛け、参照画素の加重平均で注目画素の値を置き換えることでノイズを低減する技術である。いま、加重平均に用いられる参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_newは次の式（１）で求められる。

次に、参照画素の重みｗの算出方法について、図２及び図３を参照して説明する。

図２の（ａ）において、画像２００は、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）で表すものとする。ここで、黒の矩形は着目画素２０１を示し、その画素値はＩ（４、４）であるとする。着目画素２０１を中心とした３×３画素（Ｎ_ｂ＝９）の矩形領域は着目領域２０２を示している。着目画素２０１を含む５×５画素（Ｎ_ｂ＝２５）の矩形領域内にあるグレーの各矩形は参照画素２０３を示している。破線で示す矩形領域は参照画素２０３の参照領域２０４であり、画素値Ｉ（２，２）の参照画素を中心とする３×３画素の領域である。尚、参照領域はすべての参照画素（図２の（ａ）の例では、２５個の参照画素）について存在するが、ここでは画素値がＩ（２，２）の参照画素２０３の参照領域だけを示している。

いま、画素値Ｉ（２、２）の参照画素２０３の重みｗを求めるために、まず、着目領域２０２と参照領域２０４とを比較して類似度を算出する。尚、類似度は任意の方法で求めてよい。例えば、図２の（ｂ）に示すように、着目領域２０２内の画素をｂ_ｓ（ｐ，ｑ）、参照領域２０４内の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_ｂ）とする。そして、着目領域２０２と参照領域２０４の空間的に対応する画素の差を類似度とすると、類似度Ｃ_jは次の式（２）で求められる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域との類似度が高くなる。そこで、類似度に応じて、重みｗを決定する。重みｗは、図３に示す関数のようにＣ_ｊの値が小さいほど重みが大きく、Ｃ_ｊの値が大きいほど重みが小さくなるように決定すればよく、例えば次の式（３）で定まる。

ここで、ｈは重みｗの大きさを制御するパラメータであり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼけることになる。

そして、着目領域２０２と各参照画素の参照領域２０４とを順次比較していくことで、参照画素毎の重みｗが得られる。

尚、本実施例におけるノイズ低減処理は、参照画素の重みが着目領域と参照領域の類似度に基づいて決まる処理であればよく、類似度や重みの算出方法などはここで説明した方法に限られるものではない。

（画像処理装置の論理構成）
図４は、本実施例に係る、画像処理装置１００の論理構成を示す模式図であり、リファレンスヒストグラム生成部４０１、推定部４０２、ノイズ低減処理部４０５から構成される。

リファレンスヒストグラム生成部４０１は、ブロックマッチングパラメータを取得し、ブロックマッチングパラメータに応じた統計的分布に従ってリファレンスヒストグラムを生成する。

推定部４０２は、類似度ヒストグラム生成部４０３とヒストグラム間近似度導出部４０４で構成される。推定部４０２は、ＣＰＵ１０１からの指示に基づいて、着目画素の近傍領域の特性をブロックマッチングパラメータと類似度ヒストグラムを用いて推定する。

類似度ヒストグラム生成部４０３は、入力された画像データ及びブロックマッチングパラメータを用いて、着目画素と当該着目画素に対応する複数の参照画素との類似度を導出し、類似度ヒストグラムを生成する。ここで、画像データはＣＰＵ１０１からの指示に基づき、撮像装置１１１或いはＨＤＤ１０３や外部メモリ１１３から入力される。勿論、撮像装置１１１で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力しても構わない。ブロックマッチングパラメータは、ＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１１３から入力される。また、モニタ１０５上のＵＩ画面を介し、キーボードやマウスなどの入力装置１１２で直接指定して入力してもかまわない。

ヒストグラム間近似度導出部４０４は、類似度ヒストグラム生成部４０３で生成した類似度ヒストグラムと、リファレンスヒストグラム生成部４０１で生成したリファレンスヒストグラムを取得し、２つのヒストグラム間の近似度を導出する。

ノイズ低減処理部４０５は、重み制御パラメータ設定部４０６とＮＬＭ適用部４０７で構成される。

重み制御パラメータ設定部４０６は、推定部４０２で推定した着目画素近傍領域の特性の推定結果に基づいて、着目画素に適用するノイズ低減処理で用いる重みｗを制御するパラメータｈの値を設定する。

ＮＬＭ適用部４０７は、重み制御パラメータ設定部４０７で設定・更新された重み制御パラメータｈを取得して、ＮＬＭ法によるノイズ低減処理を入力画像データに対して適用し、出力画像データを生成する。生成された出力画像データは、ＨＤＤ１０３に出力される。尚、出力先はＨＤＤ１０３に限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１１３に出力してもよい。

次に、図４で説明した画像処理装置１００の論理構成に従ってなされる処理について説明する。図５は、本実施例における、ノイズ低減画像を生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＨＤＤ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ５０１において、画像処理装置１００は、入力画像データを取得する。取得した入力画像データは、推定部４０２及びノイズ低減処理部４０５に送られる。

ステップ５０２において、画像処理装置１００は、ブロックマッチングパラメータを取得する。取得したブロックマッチングパラメータは、リファレンスヒストグラム生成部４０１及び推定部４０２に送られる。ここで、入力されるブロックマッチングパラメータは、前述のＮＬＭ法における着目領域の画素数Ｎ_ｂ及び参照画素数Ｎ_Ｓである。以下では、３×３画素の矩形領域で画素数Ｎ_ｂ＝９を着目領域とし、参照画素数は５×５画素の矩形領域に含まれる画素数Ｎ_Ｓ＝２５であるものとして説明する。

ステップ５０３において、リファレンスヒストグラム生成部４０１は、取得したブロックマッチングパラメータに基づいてリファレンスヒストグラムを生成する。尚、リファレンスヒストグラムは類似度Ｃ_ｊが取り得る値の統計的分布として決定すればよい。例えば、上述の式（２）が、分散１、自由度ｐ×ｑのカイ二乗分布であるとする。この場合、類似度Ｃ_ｊが取り得る値の統計的分布は、自由度ｐ×ｑのカイ二乗分布の確率密度関数として決定することが可能である。図６は、リファレンスヒストグラムの分布の一例を示す図である。図６の（ａ）は自由度９の場合のカイ二乗分布の確率密度関数、同（ｂ）は自由度２５の場合のカイ二乗分布の確率密度関数である。ここで、自由度ｐ×ｑは、ステップ５０２で取得した着目領域の画素数Ｎ_ｂと一致する。つまり、着目画素と、Ｎ_Ｓ個の参照画素それぞれとの類似度Ｃ_ｊが取り得る値の統計的分布からなるリファレンスヒストグラムは、Ｎ_ｂを自由度とするカイ二乗分布の確率密度関数に基づいて決まる。尚、リファレンスヒストグラムは類似度Ｃ_ｊが取り得る値の統計的分布として決定すればよく、これに限られるものではない。

ステップ５０４において、推定部４０２は、着目画素近傍領域の特性を推定する処理を行なう。図７は、本実施例に係る、着目画素近傍領域の特性を推定する処理の詳細を示すフローチャートである。

ステップ７０１において、推定部４０２は、ステップ５０１で取得した入力画像データからノイズ低減処理の対象とする画素（着目画素）を選択する。

ステップ７０２において、類似度ヒストグラム生成部４０３は、選択した着目画素を中心とする３×３画素の着目領域を用いて、５×５画素の各参照画素に対して、ブロックマッチングにより類似度Ｃ_ｊを導出し、類似度ヒストグラムを生成する。仮に、入力画像データのノイズの分散が１であれば、類似度ヒストグラムは上述した図６の（ａ）に近い形状になる。

ステップ７０３において、推定部４０２は、ステップ５０３で生成したリファレンスヒストグラムを取得する。

ステップ７０４において、ヒストグラム間近似度導出部４０４は、ステップ７０３で取得したリファレンスヒストグラムと、ステップ７０２で求めた類似度ヒストグラムとの間の近似度を求める。例えば、ヒストグラムがｎ個の区間に分割されている場合、ヒストグラム間の近似度ｄは、次の式（４）で求めることができる。

ここで、Ｈ_ref[i]はリファレンスヒストグラムのi番目の頻度、Ｈ_calc[i]はステップ７０２で求めた類似度ヒストグラムのi番目の頻度であり、minは２つの要素のうち小さい値を返す関数である。そして、このｄの値が最大（ｄ_max）となるときに２つのヒストグラムが一致することになる。いま、参照画素が５×５画素であるのでｄ_max＝２５である。すなわち、ヒストグラムが一致する場合（例えば、n=2, H_ref[1]=5, H_ref[2]=20, H_calc[1]=5, H_calc[2]=20の場合）の近似度ｄは、以下のようになる。

また、ヒストグラムが一致しない場合（例えば、n=2, H_ref[1]=5, H_ref[2]=20, H_calc[1]=20, H_calc[2]=5の場合）の近似度ｄは、以下のようになる。

このように、ヒストグラムが一致しない場合の近似度ｄの値は、ｄ_maxより小さくなる。尚、ヒストグラム間の近似度の導出方法は上記式（４）を用いる方法に限られるものではなく、相関を求める方法や差分に基づく方法など、任意の方法を用いることが可能である。ヒストグラム間の近似度をどのように導出するのかによって導出結果の評価の仕方は変わり得る（例えば、導出された値が小さいほど近似度が高いと評価される場合もある）が、以下では、上記式（４）を用いて近似度ｄを求める方法を前提に説明を続ける。本実施例の場合、ヒストグラム間の近似度ｄの値が大きいほど、例えば着目画素近傍領域が平坦領域であるなど、その特性は着目画素に類似している可能性が高くなる。一方、ヒストグラム間の近似度ｄの値が小さいほど、例えば着目画素近傍領域に着目画素とは異なるエッジ領域などが含まれるなど、その特性は着目画素と異なる可能性が高くなる。そこで、本実施例では、このようにして導出されたヒストグラム間の近似度ｄを、選択されている着目画素の近傍領域の特性を推定する指標として利用することとする。

ステップ７０５において、推定部４０２は、画像データ内の全画素について処理が終了したかどうかを判定する。未処理の画素があればステップ７０１に戻って処理を継続する。一方、全画素の処理が終了していれば、本処理を抜ける。

以上が、本実施例に係る、着目画素近傍領域の特性を推定する処理の内容である。

図５のフローチャートの説明に戻る。

ステップ５０５において、ノイズ低減処理部４０５は、ステップ５０４で推定された着目画素近傍領域の特性に応じて更新した重み制御パラメータに基づいて、入力画像データに対してＮＬＭ法によるノイズ低減処理を適用する。図８は、本実施例に係る、ノイズ低減処理の詳細を示すフローチャートである。

ステップ８０１において、ノイズ低減処理部４０５は、基準となる重み制御パラメータｈ_baseを設定する。重み制御パラメータｈ_baseの値としては、例えば、標準的なノイズ低減効果が得られるような所定の値とすればよい。

ステップ８０２において、ノイズ低減処理部４０５は、ステップ５０１で取得した入力画像データから、ノイズ低減処理の対象となる画素（着目画素）を選択する。

ステップ８０３において、ノイズ低減処理部４０５は、ステップ５０４で導出した着目画素近傍の領域の推定結果（本実施例では、近似度ｄ）を取得する。

ステップ８０４において、重み制御パラメータ設定部４０６は、取得した推定結果としての近似度ｄに基づいて、ＮＬＭ法によるノイズ低減処理で用いる重み制御パラメータｈの値を更新する。ここで、推定結果（近似度ｄ）の値が大きい場合は、上述のとおり着目画素近傍領域が平坦領域である可能性が高い。そのため、重み制御パラメータｈには高いノイズ低減効果が得られるような値が新たに設定されるようにする。一方、推定結果（近似度ｄ）の値が小さい場合は、上述のとおり着目画素近傍領域にエッジ領域などが含まれる可能性が高い。そのため、重み制御パラメータｈには、より小さな値を設定することでノイズ低減効果を弱めてエッジを保存するようにする。具体的には、基準となるパラメータをｈ_base、変更後のパラメータをｈ_new、推定結果の最大値をｄ_maxとすると、設定すべき重み制御パラメータｈは、次の式（５）によって求めることができる。

ここで、参照画素が５×５画素（ｄ_max＝２５）、ｈ_base＝５、推定結果（近似度ｄ）が大きい場合をｄ＝２５、小さい場合をｄ＝１０とする。上記式（５）に基づいて導出されるｈ_newは、近似度ｄが大きい場合はｈ_new＝５、近似度ｄが小さい場合はｈ_new＝２となる。このように、推定結果としての近似度ｄが大きい場合はｈ_newの値も大きくなり、推定結果としての近似度ｄが小さい場合はｈ_newの値も小さくなる。尚、重み制御パラメータｈの値を決定する方法は上述の例に限られるものではない。例えば、１つ以上の閾値を予め設けておき、当該閾値との大小関係から推定結果としての近似度ｄを分類して、重み制御パラメータｈの値を決定するようにしてもよい。

ステップ８０５において、ＮＬＭ適用部４０７は、ステップ８０４で更新された新たな重み制御パラメータｈ_newに従って上記式（３）によって重みｗを導出し、ステップ８０２で選択された着目画素の置き換え後の画素値Ｉ_newを、上記式（１）を用いて求める。

ステップ８０６において、ノイズ低減処理部４０５は、入力画像データの全画素についてのＮＬＭ法によるノイズ低減処理が終了したかどうかを判定する。未処理の画素があればステップ８０２に戻り、処理を継続する。一方、全画素について処理が終了していれば本処理を抜ける。

以上が、本実施例に係る、ノイズ低減処理の内容である。

図５のフローチャートの説明に戻る。

ステップ５０６において、画像処理装置１００は、ステップ５０５で生成した画像データ（ノイズ低減処理が施された画像データ）を出力する。

なお、本実施例で説明した図５のフローチャートでは、着目画素近傍領域の特性推定処理を入力画像データ内の全画素について行なった後に、ノイズ低減処理を実行しているが、このような方法に限定されるものではない。例えば、着目画素近傍領域の特性推定処理で選択された着目画素についての近傍領域の特性推定が完了した段階で、当該着目画素を対象としたノイズ低減処理を続けて行い、その後、次の着目画素についての近傍領域の特性推定処理に移行するようにしてもよい。

本実施例によれば、着目画素の近傍領域の特性を推定し、当該推定結果に基づいてノイズ低減処理に用いる重み制御パラメータが設定される。これにより好適なノイズ低減効果を得ることが可能になる。

（実施例２）
実施例１は、リファレンスヒストグラムと類似度ヒストグラムの間の近似度を、着目画素近傍領域の特性として推定する態様であった。実施例１の方法では、着目画素とすべての参照画素が類似している場合は精度よく着目画素近傍領域の特性を推定することができる。しかしながら、入力画像データ内に例えば格子などの周期的なパターンが存在する場合は類似度ヒストグラムの形状が変化し、推定可能な着目画素近傍領域の特性が限定される。そこで、類似度ヒストグラムの特徴を判定し、これを利用することで、より詳細に着目画素近傍領域の特性を推定する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

図９は、本実施例に係る、画像処理装置１００の論理構成を示す模式図であり、リファレンスヒストグラム生成部４０１、推定部４０２、ノイズ低減処理部４０５から構成される点は実施例１と同じである。ただし、本実施例に係る推定部４０２にはヒストグラム特徴判定部９０１が追加され、特徴判定情報が入力されるようになっている。特徴判定情報は、ＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から読み込まれる。また、ＵＩ画面を介して、キーボードやマウスなどの入力装置１１２からユーザが直接入力してもよい。

ヒストグラム特徴判定部９０１は、類似度ヒストグラム生成部４０３で着目画素毎に生成される類似度ヒストグラムの特徴を特徴判定情報に従って判定する。ここで、類似度ヒストグラムの特徴としては、前述の類似度Ｃ_ｊが取り得る値の統計的分布におけるピークの位置、ピークの大きさ、ピークの数のいずれか、又はこれらの組み合わせが挙げられる。図１０の（ａ）及び（ｂ）は、類似度ヒストグラムの特徴がどのようにして判定されるのかを示す図であり、実線はリファレンスヒストグラムの分布、点線は類似度ヒストグラムの分布を示している。

図１０の（ａ）は、着目画素の近傍領域が格子パターンである場合の、類似度Ｃ_ｊが取り得る値の分布の一例である。格子パターンのような周期的なパターンが着目画素近傍領域にある場合、類似度ヒストグラムは周期パターンの数に応じて複数のピークを持ち、その内１つのピーク位置がリファレンスヒストグラムにおけるピーク位置と一致するという特徴を持つ。これは、着目画素との類似度が高い画素と低い画素に分かれるためである。従って、類似度ヒストグラムのピークの数を特徴判定情報として与えることで、着目画素の近傍領域が周期パターンであるかどうかを推定することが可能となる。

図１０の（ｂ）は、着目画素の近傍領域がランダムテクスチャである場合の、類似度Ｃ_ｊが取り得る値の分布の一例である。ランダムテクスチャのように特定のパターンを持たない場合、類似度ヒストグラムとリファレンスヒストグラムとではピークの位置が異なり、類似度ヒストグラムの方がピークの大きさも大きくなるという特徴をもつ。これは、着目画素との類似度の高い参照画素が減少するためである。従って、リファレンスヒストグラムのピーク位置及びピークの大きさを特徴判定情報として与えることで、着目画素の近傍領域がランダムテクスチャであるかどうかを推定することが可能となる。

以上のようにして、特徴判定情報を用いて類似度ヒストグラムの特徴を判定し利用することで、着目画素近傍領域の特性をより詳細に推定することが可能になる。尚、類似度ヒストグラムからどのような特徴を導出するかは上述の例に限られるものではなく任意に設定可能である。

次に、図９で説明した画像処理装置１００の論理構成に従ってなされる処理について説明する。図１１は、本実施例におけるノイズ低減画像を生成するメイン処理の流れを示すフローチャートである。実施例１に係る図５のフローチャートとの大きな違いは、特徴判定情報を取得する処理（ステップ１１０４）が追加されている点である。本実施例では、リファレンスヒストグラムが生成された後に、上述の特徴判定情報が取得される。その余の点は実施例１と同じである。すなわち、ステップ１１０１〜１１０３は図５のステップ５０１〜５０３に相当し、ステップ１１０５〜１１０７は図５のステップ５０４〜５０６にそれぞれ対応している。ただし、以下に述べるとおり、着目画素近傍領域の特性推定処理とノイズ低減処理の中身は実施例１と異なっている。

（着目画素近傍領域の特性推定処理）
図１２は、本実施例に係る、着目画素近傍領域の特性を推定する処理の詳細を示すフローチャートである。

ステップ１２０１において、推定部４０２は、ステップ１１０１で取得した入力画像データからノイズ低減処理の対象とする画素（着目画素）を選択する。

ステップ１２０２において、類似度ヒストグラム生成部４０３は、選択した着目画素を中心とする着目領域を用いて、各参照画素に対して、ブロックマッチングにより類似度Ｃ_ｊを導出し、類似度ヒストグラムを生成する。

ステップ１２０３において、推定部４０２は、ステップ１１０３で生成したリファレンスヒストグラムを取得する。

ステップ１２０４において、ヒストグラム間近似度導出部４０４は、ステップ１２０３で取得したリファレンスヒストグラムと、ステップ１２０２で生成された類似度ヒストグラムとの間の近似度を求める。

ステップ１２０５において、ヒストグラム特徴判定部９０１は、ステップ１２０２で求めた類似度ヒストグラムの特徴を、ステップ１１０４で取得した特徴判定情報に従って判定する。

このような処理によって本実施例においては、ステップ１２０４で求めたヒストグラム間の近似度ｄ及びステップ１２０５で判定した類似度ヒストグラムの特徴が、選択中の着目画素の近傍領域の特性と推定されることになる。

ステップ１２０６において、推定部４０２は、入力画像データ内の全画素について処理が終了したかどうかを判定する。未処理の画素があればステップ１２０１に戻って処理を継続する。一方、全画素の処理が終了していれば、本処理を抜ける。

以上が、本実施例に係る、着目画素近傍領域の特性推定処理の内容である。

（ノイズ低減処理）
図１３は、本実施例に係る、ノイズ低減処理の詳細を示すフローチャートである。

ステップ１３０１において、ノイズ低減処理部４０５は、基準となる重み制御パラメータｈ_baseを設定する。

ステップ１３０２において、ノイズ低減処理部４０５は、ステップ１１０１で取得した入力画像データからノイズ低減処理の対象となる画素（着目画素）を選択する。

ステップ１３０３において、ノイズ低減処理部４０５は、ステップ１１０５で導出した着目画素近傍の領域の推定結果（本実施例では、近似度ｄ及び類似度ヒストグラムの特徴）を取得する。

ステップ１３０４において、重み制御パラメータ設定部４０６は、選択中の着目画素についての近傍領域がランダムテクスチャ領域であるかどうかを、取得した類似度ヒストグラムの特徴に基づいて判定する。具体的には、リファレンスヒストグラムと比較してピーク位置のずれが存在していたり、類似度ヒストグラムのピークの方が大きい場合に、ランダムテクスチャ領域であると判定する。着目画素近傍領域がランダムテクスチャ領域であると判定されれば、ステップ１３０５に進む。一方、ランダムテクスチャ領域ではないと判定されれば、ステップ１３０６に進む。

ステップ１３０５において、重み制御パラメータ設定部４０６は、重み制御パラメータｈに、ノイズ低減効果が小さくなるような所定の値（後述のステップ１３０７で設定され得る値よりも小さな値）の重み制御パラメータｈ_sを設定する。これは、ランダムテクスチャ領域では着目画素との類似度が高い参照画素が少ないために画像がぼけるのを軽減するためである。例えば、上述のステップ１３０１で設定される基準となる重み制御パラメータｈ_baseの値が３であれば、その半分の値（3*0.5）である１．５をｈ_sとして設定する。

ステップ１３０６において、重み制御パラメータ設定部４０６は、選択中の着目画素についての近傍領域が周期パターン領域であるかどうかを、取得した類似度ヒストグラムの特徴に基づいて判定する。具体的には、リファレンスヒストグラムと類似度ヒストグラムとでピーク位置が一致していたり、類似度ヒストグラムのピークの数が複数であった場合に、周期パターン領域であると判定する。周期パターン領域であると判定されればステップ１３０８に進み、基準となる重み制御パラメータｈ_baseの下でＮＬＭ法によるノイズ低減処理を行なう。これは、周期パターン領域では着目画素と参照画素との類似度の差が大きくなるため、パラメータｈを更新しなくても好適なノイズ低減結果が得られるためである。一方、周期パターン領域でないと判定されれば、ステップ１３０７に進む。

ステップ１３０７において、重み制御パラメータ設定部４０６は、取得した推定結果としての近似度ｄに基づいて、新たな重み制御パラメータｈ_newの値を前述の式（５）を用いて求め、更新する。前述のとおり、推定結果としての近似度ｄが大きい場合はｈ_newの値も大きくなり、推定結果としての近似度ｄが小さい場合はｈ_newの値も小さくなる。

ステップ１３０８において、ＮＬＭ適用部４０７は、更新された新たな重み制御パラメータｈ_new（又はｈ_base）に従って、前述の式（３）によって重みｗを導出し、選択中の着目画素の置き換え後の画素値Ｉ_newを前述の式（１）を用いて求める。

ステップ１３０９において、ノイズ低減処理部４０５は、入力画像データの全画素についてのＮＬＭ法によるノイズ低減処理が終了したかどうかを判定する。未処理の画素があればステップ１３０１に戻り、処理を継続する。一方、全画素について処理が終了していれば本処理を抜ける。

以上が、本実施例に係る、ノイズ低減処理の内容である。
本実施例によれば、着目画素毎に生成される類似度ヒストグラムの特徴を判定し利用することで、着目画素近傍領域の特性をより詳細に推定することが可能になる。そして、推定結果に基づいてノイズ低減パラメータを更新することによって好適なノイズ低減効果を得ることが可能になる。

（実施例３）
実施例１及び実施例２では、推定結果に応じてＮＬＭ法によるノイズ低減処理の重み制御パラメータの値を適宜変更していた。このような重み制御パラメータの値を変更する手法に代えて、推定結果に応じて異なる手法のノイズ低減処理（例えばガウシアンフィルタやメディアンフィルタを用いたノイズ低減処理）を適用するように構成しても構わない。さらには、実施例２で説明したランダムテクスチャ領域などぼけやすい領域などは、ノイズ低減処理自体を適用しない構成とすることも可能である。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定手段と、
   前記推定手段で推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定し、前記着目画素に対してノイズ低減処理を行うノイズ低減処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記ノイズ低減処理手段は、
   前記推定手段で推定された前記着目画素の近傍領域の特性に応じて、前記重みを制御する制御パラメータを設定するパラメータ設定手段を含み、
   前記パラメータ設定手段で設定された制御パラメータに基づいて前記重みを決定して、前記着目画素に対してノイズ低減処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. ブロックマッチングパラメータに応じた統計的分布に従ってリファレンスとなるヒストグラムを生成するリファレンスヒストグラム生成手段をさらに備え、
   前記推定手段は、
   前記類似度ヒストグラムと前記リファレンスヒストグラムとの間の近似度を導出するヒストグラム間近似度導出手段を含み、当該導出されたヒストグラム間の近似度を、前記着目画素の近傍領域の特性として推定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記パラメータ設定手段は、前記ヒストグラム間近似度導出手段で導出した近似度が高いほどノイズ低減効果が強くなるように、近似度が低いほどノイズ低減効果が弱くなるように、前記制御パラメータを設定することを特徴とする請求項３記載の画像処理装置。
5. 前記推定手段は、
   前記類似度ヒストグラムの特徴を判定する特徴判定手段をさらに備え、
   前記特徴判定手段で判定された類似度ヒストグラムの特徴と、前記ヒストグラム間近似度導出手段で導出されたヒストグラム間の近似度を、前記着目画素の近傍領域の特性として推定する
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記特徴判定手段で判定される前記類似度ヒストグラムの特徴は、ピークの位置、ピークの大きさ、ピークの数のいずれか或いはこれらの組み合わせであることを特徴とする請求項５に記載の画像処理装置。
7. 前記ノイズ低減処理手段は、前記類似度ヒストグラムの特徴に基づいて前記注目画素の近傍領域が周期的なパターンの領域であるかどうかを判定し、周期的なパターンの領域であると判定された場合に、前記推定手段で推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定することなく所定の重みを用いて、前記着目画素に対してノイズ低減処理を行なうことを特徴とする５又は６に記載の画像処理装置。
8. 前記ノイズ低減処理手段は、前記類似度ヒストグラムの特徴に基づいて前記注目画素の近傍領域がランダムテクスチャの領域であるかどうかを判定し、ランダムテクスチャの領域であると判定された場合に、前記推定手段で推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定するときよりもノイズ低減効果が弱くなるような所定の重みを用いて、前記着目画素に対してノイズ低減処理を行なうことを特徴とする５又は６に記載の画像処理装置。
9. 前記ノイズ低減処理は、Non-Local Means法によるノイズ低減処理であることを特徴とする１乃至８のいずれか１項に記載の画像処理装置。
10. ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定手段と、
    前記着目画素に対しノイズ低減処理を行なう手段であって、前記推定手段で推定された前記着目画素の近傍領域の特性に応じて異なる内容のノイズ低減処理を行なう、ノイズ低減処理手段と、
    を備えることを特徴とする画像処理装置。
11. ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定手段と、
    前記着目画素に対しノイズ低減処理を行なう手段であって、前記推定手段で推定された前記着目画素の近傍領域の特性に応じてノイズ低減処理を行なうかどうかを切り替える、ノイズ低減処理手段と、
    を備えることを特徴とする画像処理装置。
12. ノイズ低減処理の対象とする着目画素と当該着目画素に対応する複数の参照画素との類似度のヒストグラムを生成し、当該生成された類似度ヒストグラムに基づいて前記着目画素の近傍領域の特性を推定する推定ステップと、
    前記推定ステップで推定された前記着目画素の近傍領域の特性に基づいて前記複数の参照画素についての重みを決定し、前記着目画素に対してノイズ低減処理を行うノイズ低減処理ステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images