JP7328096B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像された画像を処理する画像処理技術に関する。

近年、デジタルカメラ等の撮像装置に対して、暗所や夜間などの環境下でも高画質な画像を得られる要求が高まりつつある。このような環境下では高感度撮影を行う必要があり、十分なＳＮ比が得られないためにノイズによって画質が低下してしまう。このため、ノイズ低減技術の重要性が認識されてきている。
これに対し、近年、特許文献１や非特許文献１に開示されているように、パッチベースのノイズ低減手法（以降では、「パッチベース手法」と呼ぶ。）が有効であることが広く知られている。パッチベース手法は、画像を局所領域（以降では「パッチ」と呼ぶ。）に分解し、任意の着目パッチに類似したパッチ（以降では「類似パッチ」と呼ぶ。）の集合を用いてノイズ低減処理を行うことで、従来よりも高いノイズ低減性能を得る技術である。

特開２０１３－２６６６９号公報

A. Buades, M. Lebrun, and J.M. Morel. A Non-local Bayesian image denoising algorithm, SIAM Journal on Imaging Science, 2013.

前述のパッチベース手法は、類似パッチを十分な数だけ集めなければ良好なノイズ低減効果が得られない。しかしながら、画質向上のために類似パッチの数を過剰に増やすと、平坦部の色つきやエッジのぼけといった画質弊害が発生する場合があった。

そこで本発明は、良好なノイズ低減効果を得つつ画質弊害の発生を抑制可能にすることを目的とする。

本発明は、画像処理装置であって、入力画像において着目パッチと該着目パッチの近傍の領域とを設定する設定手段と、前記設定された領域のノイズ量に基づいて、前記着目パッチへのノイズ低減処理に用いられる参照パッチとして検出するパッチ数を決定する決定手段と、前記入力画像から前記参照パッチを前記決定されたパッチ数分、探索する探索手段と、前記探索された参照パッチを用いて、前記着目パッチにノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理された複数のパッチ群を合成した画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、良好なノイズ低減効果を得つつ画質弊害の発生を抑制可能となる。

画像処理装置の構成例を示す図である。 画像処理装置の論理構成を示すブロック図である。 実施形態１のパッチ数決定部の論理構成を示すブロック図である。 実施形態１の探索部の論理構成を示すブロック図である。 画像処理装置における画像処理の流れを示すフローチャートである。 実施形態１の類似パッチ数決定処理の流れを示すフローチャートである。 実施形態１の類似パッチ数決定処理の説明に用いる図である。 実施形態２のパッチ数決定部の論理構成を示すブロック図である。 実施形態２の類似パッチ数決定処理の流れを示すフローチャートである。 実施形態３のパッチ数決定部の論理構成を示すブロック図である。 実施形態３の類似パッチ数決定処理の流れを示すフローチャートである。 実施形態４のパッチ数決定部の論理構成を示すブロック図である。 実施形態４の類似パッチ数決定処理の流れを示すフローチャートである。

以下、実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。
図１は、本実施形態の画像処理装置１００の概略構成例を示す図である。
本実施形態の画像処理装置１００は、ＣＰＵ（中央処理ユニット）１０１、ＲＡＭ（ランダムアクセスメモリ）１０２、ＨＤＤ（ハードディスクドライブ）１０３、汎用Ｉ／Ｆインターフェース）１０４、モニタ１０８、およびメインバス１０９等を備えている。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、およびメモリカードなどの外部メモリ１０７を、メインバス１０９に接続する。なお、ＨＤＤ１０３の他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスが用いられてもよい。また画像処理装置１００の構成要素は、これら各構成要素以外にも存在するが、ここでは説明を省略する。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（ＯＳやアプリケーションプログラムなどのコンピュータプログラム）を実行することで、メインバス１０９を介して各構成要素を統括的に制御し、また各種情報処理を行う。以下の説明では、ＣＰＵ１０１が、ＨＤＤ１０３に格納されている各種ソフトウェアのうち、本実施形態に係る画像処理アプリケーションプログラム（以下、画像処理プログラムとする。）を実行することで実現する画像処理について述べる。

ＣＰＵ１０１は、まずＨＤＤ１０３に格納されている画像処理プログラムをＲＡＭ１０２に展開して起動し、モニタ１０８にユーザインターフェース（ＵＩ）画面を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、ＣＰＵ１０１は、画像処理プログラムの処理に従って、ＲＡＭ１０２に格納されているデータに対して各種演算を実行する。そして、ＣＰＵ１０１は、その演算結果をモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データはＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバ等から送信された画像データがＲＡＭ１０２に転送されてもよい。
以下、図１の構成において、ＣＰＵ１０１が画像処理プログラムを実行することで、画像のノイズを低減し、そのノイズ低減後の画像データを出力する処理の詳細について説明する。

＜実施形態１＞
以下、実施形態１に係る画像処理として、画像処理装置１００が、入力画像における局所領域をパッチとして用いてノイズ低減処理を行う例を挙げる。本実施形態の画像処理装置１００は、着目パッチとその周辺の小領域のノイズ量とに基づいて、適応的に類似パッチ数を決定することで、好適な画質を得ることが可能なノイズ低減処理を実現する。

図２は、図１に示した実施形態の画像処理装置１００における論理構成を示したブロック図である。図２に示すように、本実施形態の画像処理装置１００は、入力部２０１、記憶部２０２、処理部２０３、出力部２０４により構成されている。また、処理部２０３は、着目パッチ設定部２０５、小領域設定部２０６、パッチ数決定部２０７、探索部２０８、ノイズ低減部２０９、及び合成部２１０の各機能を有する。これら論理構成の各構成要素は、ＣＰＵ１０１が本実施形態に係る画像処理プログラムを実行することにより形成される。

図２において、入力部２０１は、画像データおよび画像処理パラメータを、画像処理装置１００に入力する。入力されるデータは、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から取得されたデータである。勿論、入力データは、撮像装置１０５で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後に取得されたものでもよい。

記憶部２０２は、入力部２０１により取得された画像データ、画像処理パラメータ、及び画像処理した結果の画像データなどを、図１のＲＡＭ１０２、ＨＤＤ１０３、または外部メモリ１０７などに記憶する。勿論、記憶部２０２は、それら記憶されたデータを読み出すことも可能である。

処理部２０３は、入力部２０１或いは記憶部２０２から画像データと画像処理パラメータを読み込んで画像処理を行う。処理部２０３は、その画像処理結果を記憶部２０２や出力部２０４に出力する。処理部２０３における画像処理の詳細は後述する。

出力部２０４は、処理部２０３による画像処理の結果の画像データや、記憶部２０２に記憶された画像データなどを、モニタ１０８やＨＤＤ１０３などに出力する。なお、出力先はこれに限られるものではなく、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や不図示の外部サーバに出力してもよいし、プリンタなどを接続して出力しても構わない。

また、処理部２０３のパッチ数決定部２０７は、図３に示すようにノイズ量算出部３０１、及びパッチ数算出部３０２の機能を有する。これらの詳細は後述する。
さらに、探索部２０８は、図４に示すように参照パッチ設定部４０１、類似度算出部４０２、パッチ選択部４０３としての機能を有する。これらの詳細は後述する。

以下、本実施形態におけるノイズ低減処理について、図２～図４および図５のフローチャートを参照して説明する。図５に示されるフローチャートの処理は、ＣＰＵ１０１が本実施形態に係る画像処理プログラムを実行することで実現される。
ステップＳ５０１において、入力部２０１は、入力画像データと画像処理パラメータを入力して、記憶部２０２に記憶する。画像処理パラメータには、着目パッチのサイズや小領域のサイズなどが含まれる。

次にステップＳ５０２において、着目パッチ設定部２０５は、処理対象である入力画像データからステップＳ５０１で取得したサイズの着目パッチを設定する。着目パッチ設定部２０５は、入力画像データの中からノイズ低減処理を行うべき全ての画素が包含されるように、順に、着目パッチを設定する。例えば、着目パッチ設定部２０５は、入力画像の全画素に対し、その位置を基準とする既定のサイズおよび形状のパッチを、ラスタ走査で順に着目パッチとして設定していく。なお、処理時間を短縮するために、着目パッチを適切に間引くことも有効である。

次にステップＳ５０３において、小領域設定部２０６は、入力画像データから着目パッチ近傍の小領域を設定する。本実施形態の場合、小領域設定部２０６は、着目パッチを中心とする矩形領域を小領域として設定する。
次にステップＳ５０４において、パッチ数決定部２０７は、小領域のノイズ量に基づいて類似パッチ数を決定する。類似パッチ数の決定手順について、図３に示したパッチ数決定部２０７の構成と図６のフローチャートとを参照して説明する。

ステップＳ６０１において、パッチ数決定部２０７のノイズ量算出部３０１は、小領域内の画素値の分散をノイズ量として算出する。このとき、ノイズ量算出部３０１は、ラプラシアンフィルタのような微分フィルタを用いて小領域内のエッジ画素を検出し、エッジ画素を除いた画素から分散を算出する。ノイズ量の算出方法はこれに限定されず、小領域内のノイズ量を示すことができる指標であれば何でもよい。

次にステップＳ６０２において、パッチ数算出部３０２は、小領域内のノイズ量、着目パッチのサイズ、及び類似パッチを探索するための探索領域のサイズに基づいて、類似パッチ数を算出する。探索領域のサイズは、着目パッチのサイズを基に決定され、例えば着目パッチのｎ倍＋１（本実施形態ではｎ＝５）のサイズとする。探索領域のサイズの算出方法はこれに限定されず、画像処理パラメータとして入力した値を用いてもよい。そして、パッチ数算出部３０２は、３つの要素を算出した後、下記の式（１）により類似パッチ数を算出する。

Ｎ＝β・ｐ・σ² 式（１）

ここで、式（１）中のＮは類似パッチ数、ｐは着目パッチのサイズ、σ²は小領域内のノイズ量、βは図７に示すように予め用意したＬＵＴ（ルックアップテーブル）から探索領域のサイズＺに対応する係数を参照することで求まる。ノイズ量σ²が多いほどノイズを低減するために類似パッチ数Ｎは多くなり、例えば、ｐ＝６、σ²＝４、Ｚ＝３１の場合、Ｎ＝７２となり、ｐ＝６、σ²＝６、Ｚ＝３１の場合、Ｎ＝１０８となる。ただし、後段のノイズ低減処理において、共分散行列を算出するために最低限必要な類似パッチ数を設定する必要があり、この数はｐ²＋１で算出される。なお、計算コストを削減するため、小領域内のノイズ量を動的に算出するのではなく、事前にＩＳＯ感度別に測定したノイズ量を用いてもよい。

図５のフローチャートに説明を戻し、ステップＳ５０５において、探索部２０８は、入力画像から類似パッチを類似パッチ数分、探索する。このため、探索部２０８では、まず図４の参照パッチ設定部４０１が、入力画像データから複数の参照パッチを抽出する。参照パッチは、着目パッチを基準に定められる一定の座標範囲に含まれるパッチであり、着目パッチと同じサイズ、形状である。参照パッチは互いに重複していてもよい。例えば、参照パッチ設定部４０１は、着目パッチを水平方向および垂直方向にＷ画素以内の距離だけずらした位置のパッチを全て参照パッチとする。

次に、類似度算出部４０２は、着目パッチと各参照パッチとの間の類似度を算出する。類似度としては、パッチ内各画素の差分二乗和（ＳＳＤ）や絶対値和（ＳＡＤ）など一般に知られている類似度距離を用いることができる。

そして、パッチ選択部４０３は、類似度に基づき参照パッチの中からＮ個の参照パッチを類似パッチとして選択する。類似パッチを選択する方法としては、例えば類似度距離をソートし、上位Ｎ個のパッチだけを類似パッチとして選択する。

次にステップＳ５０６において、ノイズ低減部２０９は、入力されたパッチ群に対しノイズ低減処理を行う。ノイズ低減処理としては任意のパッチベース手法を用いることができる。本実施形態では、非特許文献１に開示された手法を用いる場合を例にとり説明する。ノイズ低減部２０９は、まず式（２）で表されるように、着目および類似パッチの集合であるパッチ群を表す行列Ｐを生成する。ここで、式（２）中のｘ₀は着目パッチ、ｘ₁～ｘ_Nは類似パッチの画素値を並べた列ベクトルをそれぞれ表す。また、ノイズ低減部２０９は、式（３）で表されるように、行列Ｐの行（水平）方向に平均をとって得られる平均パッチをＮ＋１列繰り返し、行列Ｐ_mを生成する。さらに、式（４）で表されるように、共分散行列Ｃを算出する。そして、ノイズ低減部２０９は、共分散行列Ｃを用いてノイズが低減されたパッチの集合Ｐｄを式（５）に従い算出する。このような演算処理により、入力されたパッチ群の各パッチに対しノイズが低減されたノイズ低減済みパッチ群が生成される。

Ｐ＝［ｘ₀ ｘ₁ … ｘ_N］ 式（２）

Ｃ＝（１／Ｎ）（Ｐ－Ｐ_m）（Ｐ－Ｐ_m）^T 式（４）
なお、式（４）中のＴは行列の転置を表す。

Ｐ_d＝Ｐ－ｖＣ^-1（Ｐ－Ｐ_m） 式（５）
ここで、式（５）中のｖはノイズの分散値を表し、Ｐ_dの各列はＰの各列に対応するパッチに対しノイズが低減されたパッチとなっている。

非特許文献１の手法においては、さらなるノイズ低減効果を得るために、２段階の処理が行われている。このためノイズ低減部２０９は、１段階目の処理として、各着目パッチに対し式（２）～式（５）までの演算処理を行うことによりノイズが低減されたパッチ群を生成し、パッチ統合処理によりノイズが低減された第１の画像を生成する。そしてノイズ低減部２０９は、２段階目の処理として、１段階目で生成された第１のノイズ低減済み画像を入力画像として同様の処理を行うことで、第２のノイズ低減済み画像を生成する。

前述した手法では、式（６）で表されるように、共分散行列の対角成分からｖを差し引いて得られる行列が、ノイズが除去されたパッチ群に対して同様に算出される共分散行列Ｃ₀の良い近似であることが前提となっている。

ここで、式（６）中のＩは単位行列を表す。また、式（５）の近似精度は、類似パッチ数Ｎが増えるほど向上する。より詳細には、式（５）の右辺の各要素のＣ₀に対する誤差は、大数の法則に従い、Ｎ＋１の平方根に逆比例する。このため、Ｎを増やすことは式（４）によるＰｄの推定精度を高め、結果としてノイズ低減性能の向上につながる。

次にステップＳ５０７において、着目パッチ設定部２０５は、未処理の着目パッチがあるか否かを判定する。着目パッチ設定部２０５は、未処理の着目パッチがあると判定した場合にはステップＳ５０２に処理を戻し、そうでない場合はステップＳ５０８へ進む。なお、処理時間を短縮するために、一度類似パッチとして選択されたパッチは以後着目パッチとして選択しない、などの方法を採ってもよい。

ステップＳ５０８に進むと、合成部２１０は、ノイズ低減済みパッチ群を用いてノイズ低減済み画像を生成する。ノイズ低減済みパッチ群は互いに重複しうる。そのため、各画素に対して複数の出力パッチからの画素値を統合した１つの値を決定する必要がある。非特許文献１の手法では、各画素に対して複数の出力パッチからの画素値の平均値を出力しているが、この方法に限定されることはない。

＜実施形態２＞
次に実施形態２について説明する。前述した実施形態１では、着目パッチを含む小領域から算出したノイズ量に基づいて類似パッチ数が決定される。実施形態２では、予めＩＳＯ感度別に測定したノイズ量と小領域のノイズ量とを用いて類似パッチ数を決定する例について説明する。なお、装置構成や処理フローにおいて、前述の実施形態１と同じ部分については図示および説明を省略する。

以下、実施形態２のパッチ数決定部２０７で行われる処理について、図８に示すブロック図と図９に示すフローチャートとを参照して説明する。図８は実施形態２のパッチ数決定部２０７の論理構成を示したブロック図であり、図９は実施形態２の類似パッチ数決定処理の流れを示したフローチャートである。

図８に示すように、実施形態２のパッチ数決定部２０７は、ノイズ量算出部８０１、比率算出部８０２、パッチ数算出部８０３としての機能を有する。なお、ノイズ量算出部８０１は、実施形態１のノイズ量算出部３０１と同じである。

まずステップＳ９０１において、ノイズ量算出部８０１は、小領域内における画素値の分散σ²を算出する。
次にステップＳ９０２において、比率算出部８０２は、分散σ²を、ＩＳＯ感度別に測定したノイズ分散σ₀ ²で割ることにより分散の比率Ｒを算出する。

次にステップＳ９０３において、パッチ数算出部８０３は、小領域内の分散の比率Ｒ、着目パッチのサイズ、及び類似パッチを探索するための探索領域のサイズに基づいて、式（７）により類似パッチ数Ｎを算出する。

Ｎ＝（β・ｐ²）／Ｒ 式（７）

この式（７）は、分散の比率Ｒが小さいほど、類似パッチ数を多くすることを表している。この理由として、分散値の比率Ｒが小さいほど小領域内のテクスチャが乏しい（平坦部）であることを示しており、平坦部ほど類似パッチ数を多くする必要があるからである。

＜実施形態３＞
次に実施形態３について説明する。前述した実施形態１および実施形態２では、着目パッチを含む小領域のノイズ量に基づいて類似パッチ数が決定される。実施形態３では、小領域のノイズ量だけでなく、小領域に含まれる情報を補助情報として用いることで、類似パッチ数を決定する例について説明する。なお、装置構成や処理フローにおいて実施形態１と同じ部分については図示と説明を省略する。

以下、実施形態３のパッチ数決定部２０７で行われる処理について、図１０に示したブロック図と図１１に示すフローチャートを参照して説明する。図１０は実施形態３のパッチ数決定部２０７の論理構成を示したブロック図であり、図１１は実施形態３の類似パッチ数決定処理の流れを示したフローチャートである。

図１０に示すように、実施形態３のパッチ数決定部２０７は、ノイズ量算出部１００１、解析部１００２、およびパッチ数算出部１００３としての機能を有する。なお、ノイズ量算出部１００１は、実施形態１のノイズ量算出部３０１と同じである。

まずステップＳ１１０１において、ノイズ量算出部１００１は、小領域のノイズ量を算出する。算出方法は実施形態１と同じである。
次にステップＳ１１０２において、解析部１００２は、小領域内のエッジ強度を算出する。
次にステップＳ１１０３において、パッチ数算出部１００３は、式（１）にエッジ強度を付加した式（８）よりモデル生成用のパッチ数を算出する。

Ｎ＝（β・ｐ・σ²）／（ｗ・Ｅ） 式（８）

ここで、式（８）中のＥはエッジ強度、ｗは重みを示している。この式（８）により、エッジ強度Ｅが小さいほど類似パッチ数Ｎは多くなる。この理由として、エッジ強度Ｅが小さいほど小領域内のテクスチャが乏しい（平坦部）であることを示しており、平坦部ほど類似パッチ数を多くする必要があるからである。

本実施形態では、エッジ強度を補助情報として用いたが、これに限定されず、エッジの方向、微分値の解析値、フーリエスペクトルの高周波成分の代表値を用いることができる。なお、微分値とは、水平方向ないしは垂直方向の隣接画素との差分値である。また、その解析値として、微分値を並べたベクトルに対するノルムや、水平方向および垂直方向の微分値を並べた行列の特異値分解から得られる特異値を用いることができる。

＜実施形態４＞
次に実施形態４について説明する。実施形態１と実施形態２では小領域のノイズ量に基づいてモデル生成用のパッチ数を決定し、実施形態３では小領域のノイズ量だけでなく補助情報として用いることでモデル生成用のパッチ数を決定する例について説明した。実施形態４では、小領域のノイズ量だけでなく、彩度を補助情報として用いることで類似パッチ数を決定する例について説明する。なお、装置構成や処理フローにおいて実施形態１と同じ部分については図および説明を省略する。

以下、実施形態４の画像処理装置で行われる処理について、図１２に示すブロック図と、図１３に示すフローチャートを参照して説明する。図１２は実施形態４のパッチ数決定部２０７の論理構成を示したブロック図であり、図１３は実施形態４の類似パッチ数決定処理の流れを示したフローチャートである。

図１２に示すように、実施形態４のパッチ数決定部２０７は、ノイズ量算出部１２０１、分離部１２０２、彩度算出部１２０３、パッチ数算出部１２０４としての機能を有する。なお、ノイズ量算出部１２０１は、実施形態１のノイズ量算出部３０１と同じである。

まずステップＳ１３０１において、ノイズ量算出部１２０１は、小領域のノイズ量を算出する。算出方法は実施形態１と同じである。
次にステップＳ１３０２において、分離部１２０２は、小領域における画素毎のＲ（赤）Ｇ（緑）Ｂ（青）信号を輝度信号Ｙと色差信号Ｕ，Ｖに分離する。

次にステップＳ１３０３において、彩度算出部１２０３は、輝度信号Ｙと色差信号Ｕ，Ｖから彩度を画素毎に算出する。
そしてステップＳ１３０４において、パッチ数算出部１２０４は、式（１）に小領域の平均彩度を付加した式（９）により類似パッチ数を算出する。

Ｎ＝ｋ・Ｃ・β・ｐ・σ² 式（９）

ここで、式（９）中のｋは重み、Ｃは小領域の平均彩度を示している。式（９）によれば、彩度が大きいほど類似パッチ数Ｎが多くなる。なお、平均彩度は小領域における全画素の彩度の平均値である。

本実施形態では、小領域の彩度を補助情報として用いたが、着目パッチの彩度を用いてもよい。また、事前に入力画像データのＲＧＢ信号を輝度信号Ｙと色差信号Ｕ，Ｖに分解し、各信号に対して算出した類似パッチ数に基づいてノイズ低減処理を行い、ＲＧＢ信号に戻してもよい。このとき、彩度がある判定値以上（ｔｈ以上）である場合は色差信号Ｕ，Ｖ用の類似パッチ数を輝度信号Ｙ用の類似パッチ数よりも多くする。これは、彩度が高いほど色差信号のノイズ量が多くなり、これを低減するには多くの類似パッチが必要だからである。

以上説明したように、本発明の各実施形態によれば、パッチベース手法によるノイズ低減処理において、類似パッチの数を適切に決定することで好適な画質を得ることが可能となる。

以上、本発明の各実施形態について説明したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の各実施形態の一部を適宜組み合わせることも可能である。

前述した実施形態では、デジタルカメラ等の撮像装置で撮像された入力画像を処理する例を挙げたが、入力画像はデジタルカメラで撮像されたものに限定されない。入力画像は、例えば監視カメラ、カメラ機能を備えたパーソナルコンピュータやタブレット端末、スマートフォン、携帯ゲーム機などの各種情報端末、カムコーダ、車載カメラ、あるいは工業用カメラ等で取得された画像であってもよい。

前述した実施形態に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像処理装置、２０３：処理部、２０５：着目パッチ設定部、２０６：小領域設定部、２０７：パッチ数決定部、２０８：探索部、２０９：ノイズ低減部、２１０：合成部

Claims (11)

1. 画像処理装置であって、
   入力画像において着目パッチと該着目パッチの近傍の領域とを設定する設定手段と、
   前記設定された領域のノイズ量に基づいて、前記着目パッチへのノイズ低減処理に用いられる参照パッチとして検出するパッチ数を決定する決定手段と、
   前記入力画像から前記参照パッチを前記決定されたパッチ数分、探索する探索手段と、
   前記探索された参照パッチを用いて、前記着目パッチにノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理された複数のパッチ群を合成した画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記設定された領域のノイズ量と前記着目パッチのサイズとを基に、前記参照パッチを探索する探索領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記設定された領域のノイズ量と補助情報とを用いて前記参照パッチ数を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補助情報は、前記設定された領域のノイズ量と予め感度別に測定したノイズ量との比率であり、
   前記決定手段は、前記比率が小さいほど前記参照パッチ数を多く決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記補助情報は、前記設定された領域におけるエッジ強度を示す値であり、
   前記決定手段は、前記エッジ強度の値が小さいほど前記参照パッチ数を多く決定することを特徴とする請求項３に記載の画像処理装置。
6. 前記補助情報は、前記設定された領域におけるフーリエスペクトルの高周波成分の代表値であり、
   前記決定手段は、前記代表値が小さいほど前記参照パッチ数を多く決定することを特徴とする請求項３に記載の画像処理装置。
7. 前記補助情報は、前記設定された領域における微分値であり、
   前記決定手段は、前記微分値が小さいほど前記参照パッチ数を多く決定することを特徴とする請求項３に記載の画像処理装置。
8. 前記補助情報は、前記着目パッチまたは前記設定された領域の彩度であり、
   前記決定手段は、前記彩度が大きいほど前記参照パッチ数を多く決定することを特徴とする請求項３に記載の画像処理装置。
9. 前記決定手段は、前記着目パッチまたは前記設定された領域の信号を輝度信号と色差信号とに分解し、前記輝度信号と色差信号に対してノイズ低減処理を実施する場合、前記色差信号から算出した彩度が判定値以上のとき、前記色差信号のノイズ低減処理に用いる前記参照パッチ数を前記輝度信号のノイズ低減処理に用いる前記参照パッチ数よりも多くすることを特徴とする請求項８に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    入力画像において着目パッチと該着目パッチの近傍の領域とを設定する設定工程と、
    前記設定された領域のノイズ量に基づいて、前記着目パッチへのノイズ低減処理に用いられる参照パッチとして検出するパッチ数を決定する決定工程と、
    前記入力画像から前記参照パッチを前記決定されたパッチ数分、探索する探索工程と、
    前記探索された参照パッチを用いて、前記着目パッチにノイズ低減処理を行うノイズ低減工程と、
    前記ノイズ低減処理された複数のパッチ群を合成した画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
11. コンピュータを請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。

Images