JPWO2017216903A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

コントラストを低減させることなくノイズを低減して画質の高い画像を生成することを目的として、本発明に係る画像処理装置（１）は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出部（２）と、画像に対して空間情報を用いたノイズ低減処理を行う第１ノイズ低減部（３）と、画像に対して周波数情報を用いたノイズ低減処理を行う第２ノイズ低減部（４）と、第１処理後画像と第２処理後画像とを合成する画像合成部（５）とを備え、画像合成部（５）が、エッジの強度が所定の閾値より大きい領域において、第１処理後画像の合成比率が第２処理後画像の合成比率より高く、エッジの強度が閾値より小さい領域において、第２処理後画像の合成比率が第１処理後画像の合成比率より高くなる重みを用いて合成する。

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。

取得した画像のエッジの強度に基づいてノイズ低減を行う画像処理方法が知られている（例えば、特許文献１および特許文献２参照。）。この方法は、空間情報として注目画素領域とその近傍画素領域との類似性に基づく重みを利用した非局所平均化処理（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ：ＮＬＭ処理）を使用するものである。また、周波数情報としてエッジ強度に基づいた周波数成分でノイズ低減を行う技術も知られている（例えば、特許文献３参照。）。

特開２０１３−１５０７７８号公報 特開２０１５−２２５６６５号公報 特開２０１４−８１７６４号公報

画像のノイズ低減技術においては、ノイズを低減すると同時に画像内の被写体が本来持ちうるコントラストをできるだけ維持することが求められる。ＮＬＭ処理は、テクスチャパターンが存在しない（すなわち、ノイズを低減してもコントラストに影響しない）平坦部以外に比較的コントラストの大きい部分においてノイズ低減とコントラスト維持とを両立する効果が大きい。
しかしながら、コントラストの小さい部分については、画像で見た場合にノイズ量とコントラストの大きさとの差が小さいため、ノイズを低減しようとするとコントラストが低下し、コントラストを維持しようとするとノイズが残るというトレードオフが起こり、画質を向上することができないという不都合がある。

一方、周波数成分でノイズ低減を行う場合には、周波数の大きさに応じてノイズ低減を行うことが想定される。コントラストの小さい部分に関しても該当する周波数に対してノイズ低減を行うことによりノイズ低減とコントラスト維持を両立する効果がある。
しかしながら、周波数成分では、注目画素領域のみを参照するため、領域内でコントラストの周波数成分とノイズの周波数成分との差が小さければ、上記効果は低い。例えば、ランダムノイズは比較的高周波の成分が多いが、コントラストの大きい部分も比較的高周波成分が多いため、エッジ強度が大きい部分ではノイズが低減されずに残ってしまい、画質を向上することができないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。

本発明の一態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出部と、前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減部と、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減部と、前記第１ノイズ低減部においてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減部においてノイズ低減処理された第２処理後画像とを合成する画像合成部とを備え、該画像合成部が、前記エッジ強度検出部により検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像処理装置である。

本態様によれば、画像取得装置により取得された画像は、エッジ強度検出部、第１ノイズ低減部および第２ノイズ低減部に入力される。エッジ強度検出部においては、入力された画像内のエッジの強度を表すエッジ強度情報が検出され、第１ノイズ低減部においては、空間情報を用いたノイズ低減処理が行われて第１処理後画像が生成され、第２ノイズ低減部においては、周波数情報を用いたノイズ低減処理が行われて第２処理後画像が生成される。

そして、画像合成部において、エッジ強度検出部により検出されたエッジの強度を表す情報に基づいた重みにより、第１処理後画像と第２処理後画像とが合成される。その結果、エッジの強度が所定の閾値より大きい場合には、第１処理後画像が第２処理後画像より高い合成比率で合成され、エッジの強度が所定の閾値より小さい領域では第２処理後画像が第１処理後画像より高い合成比率で合成される。

すなわち、エッジ強度が小さい領域では、周波数情報を用いてノイズ低減処理が行われた第２処理後画像の合成比率を高くし、エッジ強度が大きい領域では、空間情報を用いてノイズ低減処理が行われた第１処理後画像の合成比率を高くすることで、画像のコントラストの大小によらず、ノイズを低減しかつコントラストを維持した高画質の画像を生成することができる。

上記態様においては、前記画像合成部は、第１閾値において、前記第１処理後画像の合成比率よりも前記第２処理後画像の合成比率が高く、前記第１閾値より大きい第２閾値において、前記第２処理後画像の合成比率よりも前記第１処理後画像の合成比率が高く、前記第１閾値と前記第２閾値との間において、前記エッジ強度情報に表される前記エッジの強度が大きくなるに従って前記第１処理後画像の合成比率が漸次高くなり、前記第２処理後画像の合成比率が漸次低くなる重みを用いて合成してもよい。
このようにすることで、ノイズ低減処理によるコントラストへの影響をエッジの強度の大きさに応じて滑らかに変化させることができる。

また、上記態様においては、前記画像合成部は、前記閾値において、前記第１処理後画像の合成比率と前記第２処理後画像の合成比率とが切り替わる重みを用いて合成してもよい。
このようにすることで、簡易な構成により、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができる。

また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の輝度分散であってもよい。
また、上記態様においては、前記エッジ強度検出部が、エッジ検出フィルタを用いて輝度の変化量を検出してもよい。

また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のテクスチャ度であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の周波数成分の分布であってもよい。

また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のコントラスト値であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のボケ量であってもよい。
また、上記態様においては、前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のパターンの平坦性であってもよい。

また、本発明の他の態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減ステップと、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減ステップと、前記第１ノイズ低減ステップにおいてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減ステップにおいてノイズ低減処理された第２処理後画像とを合成する画像合成ステップとを含み、該画像合成ステップが、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像処理方法である。

また、本発明の他の態様は、取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減ステップと、前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減ステップと、前記第１ノイズ低減ステップにおいてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減ステップにおいてノイズ低減処理された第２処理後画像とを、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像合成ステップとをコンピュータに実行させる画像処理プログラムである。

本発明によれば、コントラストを低減させることなくノイズを低減して画質の高い画像を生成することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置を備えたカメラを示すブロック図である。 図１の画像処理装置のエッジ強度算出部を示すブロック図である。 図２のエッジ強度算出部に備えられるノイズモデル減算部において減算されるノイズモデルの一例を示す図である。 図２のエッジ強度算出部に備えられるエッジ強度変換テーブルに記憶されたエッジ強度変換特性の一例を示す図である。 図１の画像処理装置の第１ノイズ低減部を示すブロック図である。 図１の画像処理装置の第２ノイズ低減部を示すブロック図である。 図６の第２ノイズ低減部のコアリング処理を説明する処理前の入力周波数成分と出力周波数成分との関係の一例を示す図である。 図６の第２ノイズ低減部のコアリング処理を説明する処理後の入力周波数成分と出力周波数成分との関係の一例を示す図である。 図１の画像処理装置の画像合成部を示すブロック図である。 図８の画像合成部に備えられる重み算出部において算出されるエッジ強度と重み係数との関係の一例を示す図である。 本発明の一実施形態に係る画像処理方法を説明するフローチャートである。 図８の画像合成部に備えられる重み算出部において算出されるエッジ強度と重み係数との関係の他の例を示す図である。 図１の画像処理装置の画像合成部の変形例を示すブロック図である。

以下、本発明の一実施形態に係る画像処理装置１、画像処理方法および画像処理プログラムについて、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、例えば、カメラ１００に備えられている。

カメラ１００は、被写体からの光を集光する撮影レンズ１１０と、該撮影レンズ１１０により集光された光を撮影する撮像素子１２０と、該撮像素子１２０により取得された画像信号をＲＡＷデータの状態で出力する撮像部１３０と、該撮像部１３０から出力されたＲＡＷデータを前処理する前処理部１４０と、本実施形態に係る画像処理装置１と、後処理部１５０とを備えている。

前処理部１４０は、撮影時の条件、例えば、Ｆ値、焦点距離、ＩＳＯ感度、シャッタスピード等を用いて、ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）補正処理、ＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）補正処理、色情報の補間（デモザイキング）処理等を行い、現像後のＲＧＢ画像を出力するようになっている。
後処理部１５０は、画像処理装置１から出力された画像に歪補正やデータ圧縮処理等を施して最終的な出力画像を生成するようになっている。

本実施形態に係る画像処理装置１は、前処理部１４０から出力された現像後のＲＧＢ画像が入力されるエッジ強度算出部（エッジ強度検出部）２、第１ノイズ低減部３および第２ノイズ低減部４と、第１ノイズ低減部３から出力された第１処理後画像と、第２ノイズ低減部４から出力された第２処理後画像とを合成する画像合成部５とを備えている。

エッジ強度算出部２は、図２に示されるように、入力された現像後のＲＧＢ画像を複数の画素からなる複数のブロックに変換するブロック分割部６と、各ブロックに対してコントラストに関する情報を算出しコントラスト画像を生成するコントラスト算出部７と、該コントラスト算出部７により生成されたコントラスト画像に基づいてエッジ強度変換特性を読み出す変換特性抽出部８と、該変換特性抽出部８により読み出されたエッジ強度変換特性に基づいてコントラスト画像からエッジ強度画像を生成するエッジ強度変換部９とを備えている。

コントラスト算出部７において算出されるコントラストに関する情報としては、例えば、エッジ検出に関するフィルタ（エッジ検出フィルタ）の演算結果が含まれる。具体的には、ラプラシアンフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ、Ｃａｎｎｙフィルタ等の公知のフィルタが用いられればよい。これらのフィルタは、エッジ、すなわち輝度の変化を検出するものであり、輝度の変化量としてエッジの強度を利用する。この場合、輝度の変化量が大きいほどエッジ強度も大きいことになる。

また、他のコントラストに関する情報としては、エッジに依存せずにコントラストを評価するものが含まれる。具体的には、ブロック内の輝度分散、ブロック内のパターンのテクスチャ度、ブロック内の周波数成分の分布、ブロック内の被写体のコントラスト値やボケ量等を挙げることができる。これらの情報は、ブロック内の輝度の変動に基づくものが多く、例えば、輝度分散が大きいほど輝度の変動が大きく、エッジ強度が大きいと考えることができる。同様に、テクスチャ度、周波数分布およびコントラスト値が大きいほどエッジ強度が大きく、ボケ量が小さいほどエッジ強度が大きいと考えることができる。

さらに他のコントラストに関する情報としては、エッジが存在しないことを示す評価値として、パターンの平坦性を表すものを挙げることができる。ブロック内の平坦性が大きいということは、ブロック内に輝度が変化するパターンが存在しないことを表しており、エッジ強度は小さいと考えることができる。

コントラスト算出部７は、上述したコントラストに関する情報を１つ以上用いることにより、各画素がコントラストに関する情報を含んだコントラスト画像を生成するようになっている。
変換特性抽出部８は、ノイズモデル減算部１０と、エッジ強度変換テーブル１１とを備えている。
ノイズモデル減算部１０は、予め画像の輝度に対するノイズ量を測定することで得られたノイズモデルに従うノイズ分をコントラスト算出部７において算出されたコントラスト画像から減算するようになっている。

ノイズモデルの一例を図３に示す。このノイズモデルは、ＩＳＯ感度が大きいほどノイズが多くなっている。また、ＲＧＢ画像として生成された後のノイズモデルがＲＡＷデータから階調特性（γ特性）によって輝度が変換されていることがあり、必ずしもＲＧＢ画素値が大きければノイズ量が多いというわけではなく、図３に示す例では、中間階調もしくはやや暗めの輝度に関してノイズ量が最大となっている。

そして、ノイズモデル減算部１０においてノイズ成分が減算されたコントラスト画像情報は、エッジ強度変換テーブル１１において、コントラスト画像情報からエッジ強度情報に変換するための特性を参照する。テーブル内に記憶されている変換特性の一例を図４に示す。

図４の変換特性は、コントラスト画像情報（画素値）に対するエッジ強度を表している。エッジ強度は、ゼロを最小としている。コントラスト画像情報が下位閾値よりも小さい場合にはエッジが存在しないとみなしてエッジ強度をゼロ（最小）にする。また、コントラスト画像情報が上位閾値よりも大きい場合には、十分なエッジ強度があるものとしてエッジ強度を最大とするようになっている。

図４の特性は、コントラスト画像情報として輝度分布を利用したものを想定している。これに代えて、コントラスト画像情報として定義されている特徴に応じて複数の特性をエッジ強度変換テーブル１１内に保持しておき、コントラスト画像情報の種類または構成に応じて特性を選択して参照することにしてもよい。

エッジ強度変換部９は、コントラスト算出部７において生成されたコントラスト画像を、エッジ強度変換テーブル１１から出力されたエッジ強度変換特性を用いてエッジ強度に変換するようになっている。本実施形態においては、エッジ強度は、図４のエッジ強度変換特性により、コントラスト画像情報が大きいほどエッジ強度が大きくなる。

第１ノイズ低減部３は、図５に示されるように、現像後のＲＧＢ画像を輝度情報と色差情報とに分離する第１輝度色差分離部１２と、該第１輝度色差分離部１２において分離された輝度情報を帯域に分離する第１輝度帯域分離部１３および分離された色差情報を帯域に分離する第１色差帯域分離部１４と、第１輝度帯域分離部１３により分離された帯域別にノイズ低減処理であるＮＬＭ処理を行う帯域別輝度ＮＬＭ処理部１５と、第１色差帯域分離部１４により分離された帯域別にＮＬＭ処理を行う帯域別色差ＮＬＭ処理部１６と、ＮＬＭ処理された帯域別の輝度情報および色差情報を結合してノイズ低減処理が施された第１処理後画像を生成する第１結合部１７とを備えている。

帯域に分離することは、画像の間引きを意味し、例えば、第１の帯域はＲＧＢ画像と同じサイズのもの、第２の帯域はＲＧＢ画像の幅および高さをそれぞれ１／２に縮小したサイズのもの、第３の帯域はＲＧＢ画像の幅および高さをそれぞれ１／４に縮小したサイズのものというように複数の帯域画像を設けることに相当している。

ＮＬＭ処理は、注目する画素を含む領域に対して周辺に存在する領域の類似性を評価することでノイズ低減を行う処理であり、特に、エッジ等のコントラストが大きい部分において優れたノイズ低減性能を有している。
第１結合部１７は、輝度情報および色差情報からＲＧＢ画像に変換するものではなく、以降の合成処理で参照するためのフォーマット（例えば、第１の帯域の輝度ＮＬＭ処理画像、第１の帯域の色差ＮＬＭ処理画像、第２の帯域の輝度ＮＬＭ処理画像等の予め定められた順序のフォーマット）に従う情報に変換するものである。この結合された情報を第１処理後画像とする。

第２ノイズ低減部４は、図６に示されるように、現像後のＲＧＢ画像を輝度情報と色差情報とに分離する第２輝度色差分離部１８と、該第２輝度色差分離部１８において分離された輝度情報を帯域に分離する第２輝度帯域分離部１９および分離された色差情報を帯域に分離する第２色差帯域分離部２０とを備えている。
また、第２ノイズ低減部４は、帯域に分離された輝度情報を帯域別に、離散コサイン変換（ＤＣＴ）を施して周波数成分の輝度情報にする帯域別輝度周波数変換部２１と、帯域に分離された色差情報を帯域別に、離散コサイン変換を施して周波数成分の色差情報にする帯域別色差周波数変換部２２とを備えている。

さらに、第２ノイズ低減部４は、帯域別輝度周波数変換部２１により周波数成分に変換された輝度情報にノイズ低減処理であるＤＣＴ−Ｃｏｒｉｎｇ処理を行う帯域別輝度ＤＣＴ処理部２３と、帯域別色差周波数変換部２２により周波数成分に変換された色差情報にＤＣＴ−Ｃｏｒｉｎｇ処理を行う帯域別色差ＤＣＴ処理部２４と、ＤＣＴ−Ｃｏｒｉｎｇ処理された輝度情報を用いて、帯域別輝度周波数変換部２１により周波数成分に変換された輝度情報にＷｉｅｎｅｒＦｉｌｔｅｒｉｎｇ処理を行う帯域別輝度ＷＦ処理部２５とを備えている。

さらに、第２ノイズ低減部４は、ＤＣＴ−Ｃｏｒｉｎｇ処理された帯域別の輝度情報、ＤＣＴ−Ｃｏｒｉｎｇ処理された色差情報およびＷｉｅｎｅｒＦｉｌｔｅｒｉｎｇ処理された帯域別の輝度情報をそれぞれ周波数逆変換する輝度周波数逆変換部２６，２７および色差周波数逆変換部２８と、これらの逆変換部から出力された画像を結合してノイズ低減処理が施された第２処理後画像を生成する第２結合部２９とを備えている。

帯域別輝度ＤＣＴ処理部２３および帯域別色差ＤＣＴ処理部２４におけるＤＣＴ−Ｃｏｒｉｎｇ処理は、図７Ａに示される所定範囲の周波数成分を図７Ｂに示されるように小さくする処理であり、例えば、閾値−Ｔｈ１からＴｈ１の間において出力周波数成分がゼロとなるようにコアリング処理するものである。但し、出力周波数成分を必ずしもゼロにする必要はなく、例えば、閾値−Ｔｈ１からＴｈ１の間は出力周波数成分の絶対値が小さくかつ入力周波数成分に従って緩やかに変化するような特性であってもよい。
本実施形態においては、ノイズ成分が比較的高い周波数成分で構成されていることに着目して、高周波成分に対してコアリング処理を行ってノイズを除去するようにしている。

帯域別輝度ＷＦ処理部２５は、帯域別輝度周波数変換部２１により周波数成分に変換された輝度情報に対して、特定の帯域に対して、ＤＣＴ−Ｃｏｒｉｎｇ処理された輝度情報をガイドとして、ＷｉｅｎｅｒＦｉｌｔｅｒｉｎｇ処理を行うようになっている。ここで、特定の帯域は比較的高い周波数成分を有する帯域である。ここでは、画像が本来持ちうるパターンを残しつつノイズ成分だけを除去することを狙って、最小二乗誤差の考えに基づくＷｉｅｎｅｒ Ｆｉｌｔｅｒを適用している。

輝度周波数逆変換部２６，２７および色差周波数逆変換部２８は、ＤＣＴ−Ｃｏｒｉｎｇ処理とＷｉｅｎｅｒＦｉｌｔｅｒｉｎｇ処理とが施された帯域の輝度周波数情報およびＤＣＴ−Ｃｏｒｉｎｇ処理のみが施された帯域の輝度および色差周波数情報に対して周波数逆変換を行って実空間の情報に戻すようになっている。帯域別輝度周波数変換部２１および帯域別色差周波数変換部２２においては、周波数変換処理としてＤＣＴ処理が施されたので、輝度周波数逆変換部２６，２７および色差周波数逆変換部２８では逆ＤＣＴ処理が行われるようになっている。

第２結合部２９は、第１結合部１７と同様のフォーマットに従って、輝度周波数逆変換部２６，２７から出力された帯域別輝度周波数ノイズ低減画像と、色差周波数逆変換部２８から出力された帯域別色差周波数ノイズ低減画像とを、単一の情報として結合し、第２処理後画像として出力するようになっている。

次に、画像合成部５について説明する。
画像合成部５は、図８に示されるように、エッジ強度算出部２から出力されたエッジ強度情報に基づいて輝度情報を合成するための合成比率を表す重みを算出する輝度合成重み算出部３０と、エッジ強度情報に基づいて色差情報を合成するための合成比率を表す重みを算出する色差合成重み算出部３１と、算出された重みに基づいて第１処理後画像内の輝度情報と第２処理後画像内の輝度情報とを合成する帯域別輝度合成部３２と、算出された重みに基づいて第１処理後画像内の色差情報と第２処理後画像内の色差情報とを合成する帯域別色差合成部３３と、合成された帯域別の輝度合成画像を帯域合成する輝度帯域合成部３４と、合成された帯域別の色差合成画像を帯域合成する色差帯域合成部３５と、帯域合成された輝度合成画像および色差合成画像からＲＧＢ画像を生成する輝度色差合成部３６とを備えている。

輝度合成重み算出部３０および色差合成重み算出部３１は、エッジ強度算出部２において算出されたエッジ強度情報を用いて、図９に示されるように重み係数を算出するようになっている。
図９は、エッジ強度と重みとの関係を示している。エッジ強度が第１閾値より小さい場合には、空間情報を用いてノイズ低減処理を行った第１処理後画像の合成比率を０％とする重み係数Ｗｓ＝０、周波数情報を用いてノイズ低減処理を行った第２処理後画像の合成比率を１００％とする重み係数Ｗｆ＝１とし、エッジ強度が第１閾値より大きな第２閾値より大きい場合には、第１処理後画像の合成比率を１００％とする重み係数Ｗｓ＝１、第２処理後画像の合成比率を０％とする重み係数Ｗｆ＝０とするようになっている。

また、第１閾値と第２閾値との間では、第１処理後画像の重み係数Ｗｓを漸次増加させ、第２処理後画像の重み係数Ｗｆを漸次低下させ、両重み係数Ｗｓ，ＷＦの和が１となるように設定されている。
すなわち、第１処理後画像と第２処理後画像との合成は次式で表すことができる。
ＮＲＩ＝Ｗｆ×ＮＲｆ＋Ｗｓ×ＮＲｓ
Ｗｆ＋Ｗｓ＝１

ここで、ＮＲｓは第１処理後画像、ＮＲｆは第２処理後画像、ＮＲＩは合成画像を示している。

このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、以下に説明する。
本実施形態に係る画像処理装置１を用いて画像に含まれるノイズ低減処理を行うには、図１０に示されるように、撮像部１３０により取得され前処理部１４０において前処理が施されることにより現像されたＲＧＢ画像からエッジ強度情報が算出され（エッジ強度検出ステップＳ１）、第１ノイズ低減部３において、ＮＬＭ処理が施されることにより第１処理後画像が生成され（第１ノイズ低減ステップＳ２）、第２ノイズ低減部４において、ＤＣＴ−Ｃｏｒｉｎｇ処理およびＷｉｅｎｅｒ Ｆｉｌｔｅｒｉｎｇ処理が施されることにより第２処理後画像が生成される（第２ノイズ低減ステップＳ３）。

そして、ステップＳ１において算出されたエッジ強度情報に基づいて、合成比率を表す重みが決定され、決定された重みに従って第１処理後画像と第２処理後画像とが合成される（画像合成ステップＳ４）。
この場合において、画像に含まれるエッジ強度（コントラストの大小）に基づいて空間情報を用いたノイズ低減画像と、周波数情報を用いたノイズ低減画像とを適応的に利用することができ、それぞれの画像でノイズ低減効果の大きい情報を利用することができる。その結果、被写体が本来持ちうるコントラストの大小に依存することなく、ノイズを低減しかつコントラストを維持した高画質な画像を取得することができるという利点がある。

すなわち、エッジ強度が第１閾値より小さい場合には、エッジがほとんど存在しないため、パターンマッチングのような画像の特徴から算出された空間情報よりも周波数情報の方がノイズ低減性能の点で優れている。この場合には、周波数情報に関する重み係数Ｗｆを最大にし、空間情報に関する重み係数Ｗｓを最小にして、周波数情報のみを使用することにより、ノイズを効果的に低減することができる。

一方、エッジ強度が第２閾値より大きい場合には、強いエッジが存在するため、パターンマッチングのような画像の特徴から算出された空間情報の方が周波数情報よりもノイズ低減性能が優れている。この場合には、周波数情報に関する重み係数Ｗｆを最小にし、空間情報に関する重み係数Ｗｓを最大にして、空間情報のみを使用することにより、ノイズを効果的に低減することができる。

さらに、エッジ強度が第１閾値と第２閾値との間である場合には、エッジ強度が大きくなるに従って空間情報を用いた第１処理後画像の合成比率が高くなるように重み係数Ｗｆ，Ｗｓを設定することにより、空間情報を用いたノイズ低減画像と、周波数情報を用いたノイズ低減画像とを適応的に利用することができる。

なお、本実施形態においては、図９に示されるようにエッジ強度に対する重みを２つの閾値によって変化するように規定したが、図１１に示されるように、単一の閾値によって切り替えることにしてもよい。

また、図１２に示されるように、画像合成部５における帯域別輝度合成部３２において、帯域別の輝度合成重み算出部３０により算出された重み係数に加え、色差合成重み算出部３１により算出された重み係数を用いて合成することにしてもよい。

画像の中には、色を持つエッジ／コントラストの大きい領域が存在することもある。色差情報が大きい（赤や青の原色が強い）ものであっても輝度情報が比較的小さい場合がある。このような場合に、図１２の画像合成部５では、輝度情報が小さい場合にはエッジ強度が小さいため周波数情報を用いた第２処理後画像の重みを大きくした合成が行われる。しかし、コントラストが大きい構造に関する情報の重みが小さくなるため、色エッジ／コントラストが小さくなることがあり得る。

図１２のようにすることで、色エッジ／コントラストが大きい部分は、たとえエッジ情報が弱い場合でも構造を維持する空間情報を用いた第１処理後画像の重みを大きくすることができる。図１２による輝度合成画像は以下の通りである。
ＮＲＩ＝（Ｗｆ（ｙ）−Ｗｆ（ｙ）×Ｗｓ（ｃ））×ＮＲｆ
＋（Ｗｓ（ｙ）＋Ｗｆ（ｙ）×Ｗｓ（ｃ））×ＮＲｓ
Ｗｆ（ｙ）＋Ｗｓ（ｙ）＝１
０≦Ｗｓ（ｃ）≦１

ここで、Ｗｆ（ｙ）およびＷｓ（ｙ）はそれぞれ輝度情報における第１処理後画像および第２処理後画像の重み係数であり、Ｗｓ（ｃ）は色差情報における第１処理後画像の重み係数である。この式によれば、色差情報の第１処理後画像の重み係数が輝度情報の第１重み係数より重視される。重み係数が最小および最大となる場合の合成画像は、表１の通りである。

これによれば、輝度情報における第１処理後画像の重み係数が小さくても、色差情報における第１処理後画像の重み係数が大きければ、輝度情報においても第１処理後画像の重み係数が大きくなる。したがって、輝度情報が小さいが色差情報が大きい、色エッジ／コントラストが大きい画像においては、コントラストが大きい色差情報の重みを用いて輝度情報の合成における重みを補正することができ、適切なノイズ低減を図ることができる。

また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるための画像処理プログラムが記録される。そして、ＣＰＵが記録媒体に記録されている画像処理プログラムを読み出して、画像処理装置１と同様の処理を実現することができる。

また、本実施形態においては、画像処理装置１がカメラ１００に適用される場合について説明したが、これに代えて、顕微鏡、内視鏡等の任意の撮影装置に適用されることにしてもよい。

１ 画像処理装置
２ エッジ強度算出部（エッジ強度検出部）
３ 第１ノイズ低減部
４ 第２ノイズ低減部
５ 画像合成部
Ｓ１ エッジ強度検出ステップ
Ｓ２ 第１ノイズ低減ステップ
Ｓ３ 第２ノイズ低減ステップ
Ｓ４ 画像合成ステップ

Claims (12)

1. 取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出部と、
   前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減部と、
   前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減部と、
   前記第１ノイズ低減部においてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減部においてノイズ低減処理された第２処理後画像とを合成する画像合成部とを備え、
   該画像合成部が、前記エッジ強度検出部により検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像処理装置。
2. 前記画像合成部は、第１閾値において、前記第１処理後画像の合成比率よりも前記第２処理後画像の合成比率が高く、前記第１閾値より大きい第２閾値において、前記第２処理後画像の合成比率よりも前記第１処理後画像の合成比率が高く、前記第１閾値と前記第２閾値との間において、前記エッジ強度情報に表される前記エッジの強度が大きくなるに従って前記第１処理後画像の合成比率が漸次高くなり、前記第２処理後画像の合成比率が漸次低くなる重みを用いて合成する請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記閾値において、前記第１処理後画像の合成比率と前記第２処理後画像の合成比率とが切り替わる重みを用いて合成する請求項１に記載の画像処理装置。
4. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の輝度分散である請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記エッジ強度検出部が、エッジ検出フィルタを用いて輝度の変化量を検出する請求項１から請求項３のいずれかに記載の画像処理装置。
6. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のテクスチャ度である請求項１から請求項３のいずれかに記載の画像処理装置。
7. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内の周波数成分の分布である請求項１から請求項３のいずれかに記載の画像処理装置。
8. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のコントラスト値である請求項１から請求項３のいずれかに記載の画像処理装置。
9. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のボケ量である請求項１から請求項３のいずれかに記載の画像処理装置。
10. 前記エッジの強度を表す情報が、複数の画素からなる画素ブロック内のパターンの平坦性である請求項１から請求項３のいずれかに記載の画像処理装置。
11. 取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、
    前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減ステップと、
    前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減ステップと、
    前記第１ノイズ低減ステップにおいてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減ステップにおいてノイズ低減処理された第２処理後画像とを合成する画像合成ステップとを含み、
    該画像合成ステップが、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像処理方法。
12. 取得された画像におけるエッジの強度を表すエッジ強度情報を検出するエッジ強度検出ステップと、
    前記画像に対して、空間情報を用いたノイズ低減処理を行う第１ノイズ低減ステップと、
    前記画像に対して、周波数情報を用いたノイズ低減処理を行う第２ノイズ低減ステップと、
    前記第１ノイズ低減ステップにおいてノイズ低減処理された第１処理後画像と、前記第２ノイズ低減ステップにおいてノイズ低減処理された第２処理後画像とを、前記エッジ強度検出ステップにより検出された前記エッジ強度情報に表される前記エッジの強度が所定の閾値より大きい領域において、前記第１処理後画像の合成比率が前記第２処理後画像の合成比率より高く、前記エッジの強度が前記閾値より小さい領域において、前記第２処理後画像の合成比率が前記第１処理後画像の合成比率より高くなる重みを用いて合成する画像合成ステップとをコンピュータに実行させる画像処理プログラム。
    

Images