JP2009093323A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】孤立点を効果的に除去しつつエッジ部の保存性を向上させる画像処理装置を提供することを目的とする。
【解決手段】注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定するエッジ判定手段と、前記所定の領域内において前記注目画素と前記周辺画素との画素値の差分を算出する差分算出手段と、前記差分算出手段によって算出された前記差分から前記エッジ判定手段の判定結果に応じて各前記周辺画素に対する重み係数を算出する重み係数算出手段と、前記重み係数算出手段によって算出された前記重み係数を用いて、前記周辺画素の重み付け平均値を算出する加重平均手段と、前記加重平均手段によって算出された前記周辺画素の重み付け平均値、前記注目画素の画素値、および前記エッジ判定手段の判定結果に基づいて前記注目画素の画素値を少なくとも１回補正する補正手段と、を有する。
【選択図】図２

Description

本発明は画像処理に関し、特に画像のノイズを除去する画像処理装置およびプログラムに関するものである。

近年の撮像素子の高画素化に伴い、デジタルカメラ等の撮像装置により得られる画像に重畳されるノイズは増加する傾向にある。このノイズを除去する方法として、従来から様々な手法が考案されてきた。中でも比較的新しい手法として、バイラテラルフィルタというものが提案されている（例えば、特許文献１および特許文献２参照）。

この手法では、図１５（ａ）に示すように、画像の各画素（注目画素）Ｐに対し、その近傍内で相対座標（ｉ，ｊ）にある周辺画素Ｑ_ｉｊの画素値Ｕ_ｉｊと、注目画素Ｐの画素値Ｖとの差分Δ_ｉｊを算出し、さらに、差分Δ_ｉｊおよび注目画素Ｐと周辺画素Ｑ_ｉｊとの距離Ｄ_ｉｊに応じた重みＷ_ｉｊを、以下の（０−１）式によって算出する。
Δ_ｉｊ＝｜Ｖ−Ｕ_ji｜
Ｗ_ｉｊ＝ｅｘｐ（−（Δ_ｉｊ ^２）／σｄ^２）＊ｅｘｐ（−（Ｄ_ｉｊ ^２）／σＤ^２）・・・（０−１）
ここで、｜ｘ｜はｘの絶対値、ｅｘｐ（ｘ）はｘの指数関数を表す。また、σｄ，σＤは所定の定数である。

そして、注目画素Ｐのノイズ低減後の値Ｖ’を、周辺画素の画素値Ｕ_ｉｊを用いて以下の（０−２）式によって算出する。
Ｖ’＝（Σ_ｉｊ（Ｗ_ｉｊ＊Ｕ_ｉｊ））／（Σ_ｉｊＷ_ｉｊ）・・・（０−２）

上記の（０−１）式により計算される重みＷ_ｉｊは、差分Δ_ｉｊまたは距離Ｄ_ｉｊが大きいほど小さくなる。したがって、注目画素Ｐの画素値と近い値を持ち、距離Ｄ_ｉｊが小さい画素ほど（０−２）式の加重平均における寄与が大きくなる。その結果、図１５（ｂ）に示すようなエッジ部においても、重みは図１５（ｃ）のような分布になり、主にエッジに関して同じ側にある画素を用いた平均がとられることになり、エッジをぼかすことなくノイズを低減することができる。
特開２００６−１４１６４号公報 特開平８−１９０６２８号公報

しかしながら、このような周辺画素の加重平均によるノイズ低減法では、特に孤立したノイズが残りやすいという問題があった。
また、ノイズ低減効果を高めることを目的として該処理を繰り返し行うと、エッジ部分のぼけが大きくなるという問題があった。

本発明は、上記問題に鑑みてなされたもので、孤立点を効果的に除去しつつエッジ部の保存性を向上させる画像処理装置およびプログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定するエッジ判定手段と、前記所定の領域内において前記注目画素と前記周辺画素との画素値の差分を算出する差分算出手段と、前記差分算出手段によって算出された前記差分から前記エッジ判定手段の判定結果に応じて各前記周辺画素に対する重み係数を算出する重み係数算出手段と、前記重み係数算出手段によって算出された前記重み係数を用いて、前記周辺画素の重み付け平均値を算出する加重平均手段と、前記加重平均手段によって算出された前記周辺画素の重み付け平均値、前記注目画素の画素値、および前記エッジ判定手段の判定結果に基づいて前記注目画素の画素値を少なくとも１回補正する補正手段と、を有することを特徴とする。

本発明によれば、エッジ判定を行い、その判定結果に応じた重み係数を用いて加重平均を行うことによってノイズ低減を行う。さらに、エッジ判定の結果に応じて注目画素の画素値の補正を行い、補正後の注目画素を用いてノイズ低減処理を少なくとも１回繰り返す。これにより、エッジ部と平坦部において適切なノイズ低減を行うことができるので、平坦部において孤立点が残りにくいようにノイズ低減を行うことができるとともに、エッジ部においてエッジを保存させつつノイズ低減を行うことが可能となる。

本発明に係る画像処理プログラムは、注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定するエッジ判定処理と、前記所定の領域内において前記注目画素と前記周辺画素との画素値の差分を算出する差分算出処理と、前記差分算出処理によって算出された前記差分から前記エッジ判定処理の判定結果に応じて各前記周辺画素に対する重み係数を算出する重み係数算出処理と、前記重み係数算出処理によって算出された前記重み係数を用いて、前記周辺画素の重み付け平均値を算出する加重平均処理と、前記加重平均処理によって算出された前記周辺画素の重み付け平均値、前記注目画素の画素値、および前記エッジ判定処理の判定結果に基づいて前記注目画素の画素値を少なくとも１回補正する補正処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、平坦部において孤立点が残りにくいようにノイズ低減を行うことができるとともに、エッジ部においてエッジを保存させつつノイズ低減を行うことが可能となる。

［第１の実施形態］
以下に、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。
図１に本実施形態に係る画像処理装置を備える撮像装置１００の構成図を示す。
撮像装置１００は、光学系１０１、単板撮像素子１０２、Ａ／Ｄ変換部１０３、補間部１０４、色変換部１０５、輝度階調変換部１０６、色階調変換部１０７、エッジ強調部１０８、色ノイズ低減部１０９、輝度ノイズ低減部１１０、圧縮部１１１、記録部１１２、およびバッファ１１３を備えている。

単板撮像素子１０２は、Ａ／Ｄ変換部１０３、バッファ１１３、および補間部１０４をこの順に経て、色変換部１０５に接続している。色変換部１０５は、輝度階調変換部１０６、エッジ強調部１０８、および輝度ノイズ低減部１１０を経て圧縮部１１１に接続する。また、色階調変換部１０７、および色ノイズ低減部１０９を経て、圧縮部１１１に接続している。圧縮部１１１は記録部１１２に接続している。

ここで、図２に示すように、輝度ノイズ低減部１１０および色ノイズ低減部１０９は、同一の構成を有しており、縮小部（縮小手段）２０１、エッジ抽出部（エッジ判定手段）２０２、重み算出部（重み係数算出手段）２０３、加重平均部（加重平均手段）２０４、バッファＡ２０６、バッファＢ２０７、および補正部（補正手段）２０５を備えている。

エッジ強調部１０８は、輝度ノイズ低減部１１０のバッファＡ２０６と接続し、色階調変換部１０７は色ノイズ低減部１０９のバッファＡ２０６と接続する。エッジ強調部１０８および色階調変換部１０７のいずれにおいても、縮小部２０１はバッファＡ２０６およびエッジ抽出部２０２に、エッジ抽出部２０２は重み算出部２０３に、重み算出部２０３は加重平均部２０４にそれぞれ接続する。また、補正部２０５は、重み算出部２０３、加重平均部２０４、バッファＡ２０６、およびバッファＢ２０７と双方向で接続し、補正部２０５はまた圧縮部１１１にも接続する。

次に、撮像装置１００の作用について説明する。
図示しないシャッタボタンが押下されると、光学系１０１により結像された光学像が単板撮像素子１０２により電気信号に変換され、さらにＡ／Ｄ変換部１０３によりＡ／Ｄ変換されて、各画素に一種類の色成分が得られている状態のデジタル画像としてバッファ１１３に保存される。

補間部１０４は、バッファ１１３に保存された前記デジタル画像の各画素に対し、近傍の所定範囲内にある画素値を読み出し、各画素で欠落している色成分を補う補間処理を行う。なお、ここでの補間処理は公知のものであり、注目画素で欠落している色成分が得られている周囲画素の画素値を加重平均することで、注目画素で欠落している色成分の値を生成する。補間部１０４の処理の結果、各画素で得られたＲＧＢ値は、次に色変換部１０５に出力される。

色変換部１０５は、各画素で得られたＲＧＢ値を３ｘ３マトリックスで調整した後で輝度成分Ｙおよび色差成分Ｃｒ，Ｃｂに変換し、輝度成分を輝度階調変換部１０６に、色差成分を色階調変換部１０７に出力する。

色階調変換部１０７は、色差信号にガンマ処理を行い、処理結果を色ノイズ低減部１０９内のバッファＡ２０６に出力する。一方、輝度階調変換部１０６は、輝度成分にガンマ処理を行い、エッジ強調部１０８に出力する。エッジ強調部１０８は、ガンマ処理された後の輝度成分に対してアンシャープマスクなど公知のエッジ強調処理を施して、輝度ノイズ低減部１１０内のバッファＡ２０６に出力する。

以上の処理が、バッファ１１３に保存された前記デジタル画像の全画素に対して終了すると、色ノイズ低減部１０９内のバッファＡ２０６には、色ノイズ低減前の色差成分Ｃｒを画素値とする画像（以下、「Ｃｒ画像」とする。）、および、色ノイズ低減前の色差成分Ｃｂを画素値とする画像（以下、「Ｃｂ画像」とする。）の二枚の画像が蓄積された状態となる。また、輝度ノイズ低減部１１０内のバッファＡ２０６には、輝度ノイズ低減前の輝度信号Ｙを画素値とする画像（以下、輝度画像と呼ぶ）が蓄積された状態となる。

その後、色ノイズ低減部１０９は、内部のバッファＡ２０６にあるＣｒ画像およびＣｂ画像各々に対して色ノイズ低減処理を施し、色ノイズ低減後の各々の画像を圧縮部１１１に出力する。また、輝度ノイズ低減処理部１１０は、内部のバッファＡ２０６にある輝度画像に対して輝度ノイズ低減処理を行い、輝度ノイズ低減後の輝度画像を同じく圧縮部１１１に出力する。

圧縮部１１１は、色ノイズ低減後のＣｒ画像およびＣｂ画像と、輝度ノイズ低減後の輝度画像を所定の符号化フォーマットに変換・圧縮し、記録部１１２に出力する。記録部１１２は圧縮部１１１により符号化・圧縮されたデータを記録媒体に記録する。

次に、色ノイズ低減部１０９および輝度ノイズ低減部１１０の作用を詳しく説明する。
なお、色ノイズ低減部１０９がバッファＡ２０６内のＣｒ，Ｃｂ画像各々に対して施す処理は、輝度ノイズ低減部１１０がバッファＡ２０６内の輝度画像に対して施す処理と基本的に同じであり、処理パラメータが異なるだけである。したがって、以下、輝度ノイズ低減部１１０の作用を主に説明し、色ノイズ低減部１０９の作用については異なる点についてのみ説明する。

輝度ノイズ低減部１１０では、まず縮小部２０１が、バッファＡ２０６内の輝度画像に公知の縮小処理を施して１／Ｍ倍（Ｍは定数）にし、縮小された輝度画像をエッジ抽出部２０２に出力する。エッジ抽出部２０２では、縮小された輝度画像に対して公知のエッジ抽出処理を行い、縮小画像の各画素（ｘ_ｓ，ｙ_ｓ）の抽出結果Ｅ（ｘ_ｓ，ｙ_ｓ）から、各画素エッジが存在する程度を示すエッジ指標α（ｘ_ｓ，ｙ_ｓ）を、以下の（１）式のように計算し、内部のバッファに保存する。
α（ｘ_ｓ，ｙ_ｓ）＝ｆ（Ｅ（ｘ_ｓ，ｙ_ｓ））・・・（１）

ここで、関数ｆ（ｘ）は、図３に示すように、入力値が所定値以下であれば０、所定値以上であれば１となりその間の値についてはなめらかに遷移する。このように、所定値以下で０とすることで、縮小画像に含まれるノイズの影響を緩和してエッジ指標を設定することができる。

次に、補正部２０５、重み算出部２０３、加重平均部２０４が連携して処理を行う。その際、同じ流れの一連の処理（以下、「連携処理」とする。）が、バッファＡ２０６内の画像のノイズの程度に応じて定められる所定回数分、繰り返し行われる。

各連携処理では、バッファＡ２０６あるいはバッファＢ２０７のどちらかを入力バッファとして画像を読み出し、処理を行って、処理結果を読み出した側とは異なる側のバッファに出力する。つまり、バッファＡ２０６から画像を読み出した場合には処理結果をバッファＢ２０７に、バッファＢ２０７から画像を読み出した場合には処理結果をバッファＡ２０７に出力する。そして、次回の連携処理では、前回の処理結果を出力した側のバッファを入力バッファとして処理を行う、という動作を繰り返す。なお、初回の処理では、バッファＡ２０６を入力バッファとする。

各回の連携処理では、入力バッファ内の画像の注目画素Ｐごとに、以下の処理が行われる。
まず、補正部２０５が、注目画素Ｐの画素値Ｖ、および注目画素Ｐの周囲３ｘ３の近傍画素の画素値Ｕ_ｉｊを読み出し、内部のバッファに保持する。ここで、ｉ，ｊはそれぞれ注目画素Ｐからの相対座標を表し、−１，０，および１のいずれかであって、ｉとｊの両方が同時に０になることはないものとする。

次に、各周辺画素それぞれに対して注目画素との差分Ｄ_ｉｊ＝｜Ｖ−Ｕ_ｉｊ｜を計算し、計算結果Ｄ_ｉｊおよびＰの座標（ｘ，ｙ）を、重み算出部２０３に出力する。

重み算出部２０３は、Ｐの座標（ｘ，ｙ）に対応するエッジ指標α’をエッジ抽出部２０２に保持された縮小画像のエッジ指標α（ｘ_ｓ，ｙ_ｓ）から算出し、それに応じて、入力されたＤ_ｉｊに対する重み係数Ｗ_ｉｊを計算する。

ここで、エッジ指標α’は、例えば図４に示すように、縮小画像内で座標（ｘ／Ｍ，ｙ／Ｍ）を囲む４点（ｘ^＊，ｙ^＊），（ｘ^＊＋１，ｙ^＊），（ｘ^＊，ｙ^＊＋１），（ｘ^＊＋１，ｙ^＊＋１）を決定し、各点のエッジ指標から以下の（２）式のように算出する。
α’＝（１−ｃ_２）＊（１−ｃ_１）＊α（ｘ^＊，ｙ^＊）＋（１−ｃ_１）＊ｃ_２＊α（ｘ^＊，ｙ^＊＋１）＋（１−ｃ_２）＊ｃ_１＊α（ｘ^＊＋１，ｙ^＊）＋ｃ_１＊ｃ_２＊α（ｘ^＊＋１，ｙ^＊＋１）・・・（２）
ｃ_１＝ｘ／Ｍ−ｘ^＊
ｃ_２＝ｙ／Ｍ−ｙ^＊

また、各周辺画素に対する重み係数Ｗ_ｉｊを、以下の（３）式のように計算する。
Ｗ_ｉｊ＝α’＊ｗ_１（Ｄ_ｉｊ）＋（１−α’）＊ｗ_２（Ｄ_ｉｊ）・・・（３）
ここで、ｗ_１（ｘ），ｗ_２（ｘ）は図５（ａ）に例示した重み関数で、ｗ_１（ｘ）は入力値ｘが特定の値より大きくなると急激に０に近づく関数、ｗ_２（ｘ）は入力値ｘに対して緩やかに減少する関数である。なお、（３）式の計算の意味は以下の通りである。

一般に、画像のエッジ部分では、エッジに沿った画素間における画素値の差分は小さく、エッジを横断する画素間における画素値の差分は大きくなる。これに対し、（３）式では、縮小画像においてエッジが検出された部分でｗ_１（ｘ）に近い急峻な特性の重み関数で重み係数を計算することになるため、差分の大きさの違いが重み係数に反映される。その結果、エッジに対して注目画素Ｐと同じ側にある画素（例えば、図６のＳ）に対する重み係数は大きく、エッジを挟んで異なる側にある画素（例えば、図６のＲ）に対する重み係数は小さくなる。

一方、画像の平坦部では、ノイズの影響で差分に揺らぎが生じるが、その程度はエッジ部より小さく、周辺画素に対する差分はある狭い範囲に分布する傾向にある。これに対し、（３）式では縮小画像においてエッジが検出されず平坦と判断された部分でｗ_２（ｘ）に近い特性の重み関数で重み係数を計算することになるため、多少の差分の変動によらず、重み係数は周辺画素間で近い値を取る。

以上述べたように、重み算出部２０３は、エッジの有無に応じて近傍に対する重み係数の変化量が変わるように重みＷ_ｉｊを計算し、加重平均部２０４に出力する。また、座標（ｘ，ｙ）に対するエッジ指標α’を、補正部２０５に出力する。

加重平均部２０４は、重みＷ_ｉｊが入力されると、補正部２０５の内部に保持されている周辺画素の画素値Ｕ_ｉｊを読み出し、加重平均を取ることで平滑化する。そして、平滑化結果Ｖ’を補正部２０５に出力する。
Ｖ’＝（Ｖ＋Σ_ｉｊ（Ｕ_ｉｊ＊Ｗ_ｉｊ））／（１＋Σ_ｉｊＷ_ｉｊ）・・・（４）
ここで、（４）式における和は、−１，０，１のいずれかで同時に０にならないｉ，ｊの組み合わせ全てに対して取るものとする。

補正部２０５は、加重平均部２０５から平滑化結果Ｖ’が入力されると、重み算出部２０３から入力されるエッジ指標α’を用いて、注目画素の新たな画素値Ｖ’’を以下の式で計算する。
Ｖ’’＝Ｖ （Ｎ＞Ｎ’の時）
Ｖ’’＝Ｖ＋β＊（Ｖ’−Ｖ） （Ｎ≦Ｎ’の時）・・・（５）
Ｎ’＝ｃｅｉｌ（Ｎ’’＊ｇ（α’））
β＝ｈ（α’）
そして、入力バッファでない側のバッファの注目画素Ｐに対応する画素位置にＶ’’を出力し、注目画素Ｐに対する連携処理を終える。

ここで、ｇ（ｘ），ｈ（ｘ）は図５（ｂ），（ｃ）に例示する関数であり、いずれも入力値ｘに対し減少する関数である。また、Ｎはこれまでの連携処理の繰り返し回数を表すカウンタで、補正部２０５内部に保持されている。Ｎ’’は連携処理の最大繰り返し回数として予め設定されている。ｃｅｉｌ（ｘ）は入力値ｘ以上の最小の整数を表す。

（５）式の処理の結果、エッジ指標α’が０に近いほどＶ’’は平滑化結果Ｖ’に近くなり、また連携処理の繰り返しに応じて値が更新されていく。一方、エッジ指標α’が１に近いと、Ｖ’’は元々の注目画素Ｐの画素値Ｖに近く、また連携処理を繰り返して行っても値の変化が少なくなっていく。その結果、エッジ部では連携処理を繰り返していっても値があまり平滑化されず、平坦部では連携処理を繰り返えすほど平滑化が進むという効果が得られる。

補正部２０５は、引き続き入力バッファからラスタ順に次の注目画素を選択し、上記一連の処理を繰り返す。入力バッファの全画素に対する処理が終了すると連携処理は終了となり、補正部２０５は内部に保持する繰り返し回数のカウンタＮを１増加させる。
そして、Ｎが予め設定された連携処理の最大繰り返し回数Ｎ’’を上回った場合、最後の連携処理で出力した側のバッファ内の画像を、圧縮部１１１に出力する。

以上が、輝度ノイズ低減部１１０の作用であるが、色ノイズ低減部１０９においてもまずＣｒ画像、次にＣｂ画像に対して同じ処理が行われる。ただし、縮小部２０１における縮小率Ｍ、図３に示すエッジ指標計算時の閾値Ｔ_１，Ｔ_２、図５に示す関数ｗ_１（ｘ），ｗ_２（ｘ），ｇ（ｘ），ｈ（ｘ）の形状、および最大繰り返し回数Ｎ’’は輝度ノイズ低減部１１０とは異なっている。

なお、本実施形態では上記の具体例に限らず様々な変形が可能である。
例えば、本実施の形態では、縮小部２０１により縮小された画像に対してエッジ指標を算出しているが、孤立点をエッジとして検出する確率が低い任意の公知手法により、バッファＡ２０６ 内の画像から直接エッジ指標を算出しても良い。例えば、エッジ検出と平滑化を同時に行うラプラシアン−ガウシアンフィルタなどを用いるのが好ましい。
また、重み算出部２０３での重み算出では、例えば、（３）式に変えて、以下の方法をとってもよい。
Ｗ_ｉｊ＝ｗ_１（Ｄ_ｉｊ＊ｓｃａｌｅ（α’））・・・（６）
ここで、ｗ_１（ｘ）は図５（ａ）に示した関数、ｓｃａｌｅ（ｘ）は図５（ｄ）に示した関数であり、入力値に対する減少関数である。

上記の計算の結果、エッジ指標α’が小さいところではｗ_１（ｘ）の入力値が大きくなり、ｗ_１（ｘ）の形状の結果、Ｄ_ｉｊの値の変動に対して算出される重み係数の変動は小さくなる。逆に、エッジ指標α’が大きいところではＤ_ｉｊの値の変動に対して算出される重み係数の変動が相対的に大きくなり、（３）式と同じ定性的な結果を得ることができる。

また、エッジ抽出部２０２でのエッジ抽出において、（１）式でエッジ抽出結果の所定値以下を０とするかわりに、公知のノイズ低減手法を用いてノイズの影響を減らす工夫を行ってもよい。

さらに、本実施形態はハードウェアによる実装であったが、同じ処理をソフトウェアで実現することも可能である。
図７および図８に示すフローは、ＰＣのＲＡＭ内に設けられたＲＡＷデータバッファに図１のバッファ１１３と同様に、単板状態の画像が記憶されていることを前提にしている。
図７のフローの説明は以下の通りである。
まず、処理途中のバッファは同じくＰＣのＲＡＭ内に取られているとする。
Ｓ１において、ＲＡＷデータバッファの単板状態の画像に補間部１０４と同じ補間処理を施し、結果のカラー（ＲＧＢ）画像をバッファ１に記憶する。
Ｓ２において、バッファ１からカラー画像を読み出し、色変換部１０３と同じ色変換処理を行って、輝度画像をバッファ２に、Ｃｒ画像をバッファ３に、Ｃｂ画像をバッファ４に出力する。
Ｓ３において、バッファ３からＣｒ画像を読み出し、色階調変換部１０７と同じγ処理を施してバッファ３に上書きする。また、バッファ４からＣｂ画像を読み出し、色階調変換部１０７と同じγ処理を施してバッファ４に上書きする。
Ｓ４において、バッファ２から輝度画像を読み出し、輝度階調変換部１０６と同じγ処理を施してバッファ２に上書きする。
Ｓ５において、バッファ２から輝度画像を読み出し、エッジ強調部１０８と同じエッジ強調処理を施してバッファ５に出力する。
Ｓ６において、バッファ３内のＣｒ画像に対して色ノイズ低減部１０９と同じ色ノイズ低減処理を行い、結果をバッファ３に上書きする。
Ｓ７において、バッファ４内のＣｂ画像に対して色ノイズ低減部１０９と同じ色ノイズ低減処理を行い、結果をバッファ４に上書きする。
Ｓ８において、バッファ５内の輝度画像に対して輝度ノイズ低減部１１０と同じ輝度ノイズ低減処理を行い、結果をバッファ５に上書きする。
Ｓ９において、バッファ５内のノイズ低減後輝度画像、バッファ３内のノイズ低減後Ｃｒ画像、バッファ４内のノイズ低減後Ｃｂ画像を読み出し、圧縮部１１１と同じ符号化・圧縮処理を施し、結果をバッファ１に上書きする。
上記の処理の結果、バッファ１内に記録部１１２に記録されるものと同じ画像が得られる。

次に、Ｓ６、Ｓ７、Ｓ８におけるノイズ低減処理のフローについて、図８を用いて説明する。
このフローでは、ＲＡＭ上に別途バッファＡおよびバッファＢを用意する。
Ｓ１１において、入力バッファをバッファＡ，出力バッファをバッファＢとし、バッファＡにノイズ低減対象の画像をコピーする。繰り返し回数を０に初期化する。
Ｓ１２において、バッファＡから画像を読み出し、縮小部２０１と同じ処理で縮小率Ｍの縮小画像を生成。Ｓ１３において、縮小画像からエッジ抽出部２０２と同じ処理でエッジ抽出し、縮小画像に対するエッジ指標αを（１）式で計算する。
Ｓ１４において、補正部２０５と同じ処理で、入力バッファ内でラスタ順に未処理の注目画素Ｐを選択し、その画素値Ｖおよび注目画素Ｐの３ｘ３周辺画素の画素値Ｕ_ｉｊを読み出す。
Ｓ１５において、補正部２０５同様に差分Ｄ_ｉｊを計算し、重み算出部２０３と同様に（２）式でエッジ指標α’，（３）式で重み係数Ｗ_ｉｊを計算する。
Ｓ１６において、加重平均部２０４同様に（４）式で加重平均を取り、平滑化結果Ｖ’を計算する。
Ｓ１７において、補正部２０５同様に、注目画素Ｐの新たな画素値Ｖ’’を（５）式で計算する。また、計算結果を出力バッファのＰに対応する座標位置に記憶する。
Ｓ１８において、入力バッファ内の全画素に対し処理が終了したかを判定し、終了していない場合はＳ１４に戻る。終了している場合Ｓ１９に進む。
Ｓ１９において、繰り返し回数を１増加させる。
Ｓ２０において、繰り返し回数が最大繰り返し回数Ｎ’’を越えたかどうかを判定する。越えた場合はＳ２２に、越えていない場合はＳ２１に進む。
Ｓ２１において、入力バッファと出力バッファを交代し、（バッファＡが入力、バッファＢが出力だった場合、バッファＢが入力、バッファＡが出力とする）処理対象の注目画素Ｐを入力バッファ内の画像の左上隅にリセット。その後Ｓ１４に進む。
Ｓ２２において、出力バッファとなっているバッファから、Ｓ１１でバッファＡに画像をコピーする際のコピー元のメモリアリアに画像をコピーし、ノイズ低減の全処理を終了する。

上述のソフトウェア、ハードウェアの両形態において、入力画像のノイズ量に依存して決定すべき定数として、エッジ指標算出における閾値Ｔ_１、最大繰り返し回数Ｎ’’、および重み付け関数ｗ_１（ｘ），ｗ_２（ｘ）の形状が挙げられる。
なお、これらを、入力画像のノイズレベルに応じて設定することも可能である。例えば、ＩＳＯ感度に応じた単板撮像素子１０２のノイズ特性を予め測定しておき、各ＩＳＯ感度に適切な上記定数を設定してテーブルとして記憶しておけば、撮像時のＩＳＯ感度情報に応じて最適なノイズ低減が可能となる。

以上のように、本実施形態に係る画像処理装置によれば、エッジ判定を行い、その判定結果に応じた重み係数を用いて加重平均を行うことによってノイズ低減を行う。さらに、エッジ判定の結果に応じて注目画素の画素値の補正を行い、補正後の注目画素を用いてノイズ低減処理を少なくとも１回繰り返す。これにより、エッジ部と平坦部において適切なノイズ低減を行うことができるので、平坦部において孤立点が残りにくいようにノイズ低減を行うことができるとともに、エッジ部においてエッジを保存させつつノイズ低減を行うことが可能となる。
また、エッジ判定の債に画像を縮小してエッジ判定を行うことにより、孤立点をエッジとして判定するのを防ぎつつ、効率的にエッジ部と平坦部の判定が可能になる。

また、重み係数の変化量を、エッジと判定された領域では大きくし、平坦と判定された領域では小さくすることによって、平坦部では平滑化能力を向上させ、エッジ部ではエッジ保存性を向上させることができる。

また、エッジ抽出部２０２の判定結果に応じて、注目画素と周辺画素との画素値の差分に対する変化量が小さな重み関数と、前記差分に対する変化量が大きな重み関数とを混合することによって、重み係数の調整をエッジ部と平坦部とで使い分けることが可能となる。

また、エッジ判定結果に応じて、前記差分の大きさを増幅することによって、非常に単純な処理で、重み係数の変化量をエッジ判定に応じて制御することができる。

また、注目画素の画素値を補正する回数を、エッジと判定された領域では少なくし、平坦と判定された領域では多くすることによって、平坦部ほどノイズ低減処理が繰り返されるようになるので、ノイズ低減処理の性能を向上させることが可能となる。

また、一回の補正処理における注目画素の画素値の補正量を、エッジと判定された領域では小さくし、平坦と判定された領域では大きくすることによって、平坦部ほどノイズ低減処理の効果を一回ごとに大きく反映させることができるので、ノイズ低減処理の効率を向上させることが可能となる。

また、重み係数の変化量、注目画素の画素値を補正する回数、および一回の補正処理における注目画素の画素値の補正量のうち少なくとも１つを、入力された画像のノイズレベルに応じて変化させることによって、入力された画像のノイズレベルに応じた処理を行うことが可能となる。

また、エッジ部と平坦部の判定において縮小画像を用いることで、より局所的なノイズに影響されない巨視的な判定を可能にしている。その結果、周辺画素の重み付けによるノイズ低減法の課題を以下のように解決できる。
平坦部と判定された領域で孤立点が残りにくいように重み付けや繰り返し回数が設定され、かつ平坦部の判定が巨視的であるため、孤立点残留の程度を低減することができる。
また、エッジ部において、繰り返し回数と一回の繰り返し当たりの平滑化効果を減少させるため、エッジのなまりも少なくすることができる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図９を用いて説明する。
本実施形態に係る画像処理装置が第１の実施形態と異なる点は、色ノイズ低減部および輝度ノイズ低減部の代わりにノイズ低減部を設けた点である。以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。また、第１の実施形態と同一の機能の部分には同一の番号を付し、説明を省略する。

ノイズ低減部３０１は、第１の実施形態の色ノイズ低減部１０９および輝度ノイズ低減部１１０を統合したものにあたり、色階調変換部１０７およびエッジ強調部１０８および圧縮部１１１に接続する。

図１０に、ノイズ低減部３０１内部の構成図を示す。
ノイズ低減部３０１は、輝度ノイズ低減部３０４、色ノイズ低減部３０５、縮小部（縮小手段）３０２、およびエッジ抽出部（エッジ判定手段）３０３を備えている。輝度ノイズ低減部３０４はエッジ強調部１０８、縮小部３０２、エッジ抽出部３０３、および圧縮部１１１に接続する。また、色ノイズ低減部３０５は色階調変換部１０７、縮小部３０２、エッジ抽出部３０３、および圧縮部１１１に接続する。縮小部３０２は、輝度ノイズ低減部３０４、色ノイズ低減部３０５、およびエッジ抽出部３０３に接続する。

図１１に示すように、輝度ノイズ低減部３０４と色ノイズ低減部３０５は同一の構成を有しており、第１の実施形態の図２の構成から縮小部２０１とエッジ抽出部２０２を除いたものと同じである。接続に関しても、重み算出部２０３がエッジ抽出部３０３と接続し、バッファＡ２０６が縮小部３０２と接続している点を除いて同一である。

上記構成を有する画像処理装置の作用について以下に説明する。
なお、ノイズ低減部３０１以外の作用は、第１の実施形態と同一であるため、ノイズ低減部３０１の作用について説明する。
エッジ強調部１０８および色階調変換部１０７の処理が終了すると、輝度画像が輝度ノイズ低減部３０４内のバッファＡ２０６内に、またＣｒ画像およびＣｂ画像が色ノイズ低減部３０５内のバッファＡ２０６内に蓄積された状態となる。その後、まず縮小部３０２が輝度ノイズ低減部内のバッファＡ２０６にある輝度画像と、色ノイズ低減部３０５内のバッファＡ２０６内にあるＣｒ画像およびＣｂ画像を、同じ縮小率Ｍで縮小し、エッジ抽出部３０３に出力する。

エッジ抽出部３０３では、縮小された輝度画像、Ｃｒ画像、Ｃｂ画像各々に対してエッジ成分Ｅ_ｙ，Ｅ_ｃｒ，Ｅ_ｃｂを抽出し、さらにＥ_ｙ，Ｅ_ｃｒ，Ｅ_ｃｂ各々に対し、（１）式によりエッジ指標α_ｙ、α_ｃｒ、α_ｃｂを算出する。
次に、エッジ指標間の関係から、新たな色差のエッジ指標γ_ｃｒ，γ_ｃｂを以下のように計算する。
γ_ｃｒ＝α_ｃｒ＊ｍａｇ（α_Ｃｒ−α_ｙ）＊ｗｇｔ（α_ｙ）＋（１−ｗｇｔ（α_ｙ））＊α_ｙ
γ_ｃｂ＝α_ｃｂ＊ｍａｇ（α_Ｃｂ−α_ｙ）＊ｗｇｔ（α_ｙ）＋（１−ｗｇｔ（α_ｙ））＊α_ｙ・・・（７）

ここで、ｍａｇ（ｘ）およびｗｇｔ（ｘ）は、それぞれ図１２（ａ），（ｂ）に例示する関数であり、ｍａｇ（ｘ）は正の大きな値に対して１以上、負または正の小さい値に対して１に近づく特性、ｗｇｔ（ｘ）は単調減少の特性を持つ。

上記の式によって計算されたエッジ指標γ_ｃｒは、α_ｃｒがα_ｙよりある程度大きい場合には、関数ｍａｇの効果により、もともとの指標であるα_ｃｒより大きな値となる。その結果、輝度情報よりもむしろ色差情報によって解像感が維持されている場所において、色差画像のエッジがより保持されるようにノイズ低減処理が働くので、結果として解像感を維持することができる。

また、γ_ｃｒは、α_ｙがある程度大きい場合には、α_ｙの値に近づく特性を持つ。この場合、輝度エッジが強い場所において、色差画像のエッジがより保持されるようにノイズ低減処理が働くので、結果としてエッジ部での色にじみを防止することができる。

エッジ抽出部３０３が色差に対するエッジ指標をこのように計算し直した後、輝度ノイズ低減部３０４および色ノイズ低減部３０５は、エッジ抽出部３０３内のエッジ指標を用いて各々の内部バッファＡ２０６にある輝度画像および色差画像をノイズ低減する。この際の作用は、第１の実施形態における輝度ノイズ低減部１１０の作用と同じであるので、説明を省略する。

以上のように、本実施形態に係る画像処理装置によれば、輝度画像のエッジ指標と色差画像のエッジ指標との両方に基づいて、新たに色差画像のエッジ指標を計算するため、輝度エッジに乏しい部分での解像感の低下や輝度エッジが強い部分での色にじみを緩和することができ、より高性能なノイズ低減処理を行うことができる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図１３を用いて説明する。
本実施形態に係る画像処理装置が前述の各実施形態と異なる点は、色ノイズ低減部の内部構成である。以下、本実施形態の画像処理装置について、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。また、前述の各実施形態と同一の部分には同じ番号を付し、説明を省略する。

色ノイズ低減部４０１は、図１３に示すように、同じ構成のノイズ低減ユニット（ノイズ除去手段）Ａ４０２，Ｂ４０３，およびＣ４０４が接続された構成になっている。
各ユニットは、図１４に示す同一の構成を持っており、入力端子Ａ，Ｄおよび出力端子Ｂ，Ｄを備える。ノイズ低減ユニットＡ４０２はＡ端子で色階調変換部１０７、Ｂ端子で圧縮部１１１、Ｃ端子およびＤ端子でそれぞれノイズ低減ユニットＢ４０３のＡ端子およびＢ端子に接続している。ノイズ低減ユニットＢ４０３は、Ａ端子およびＢ端子がそれぞれノイズ低減ユニットＡ４０２のＣ端子およびＤ端子に接続し、Ｃ端子およびＤ端子でそれぞれノイズ低減ユニットＣ４０４のＡ端子およびＢ端子に接続している。ノイズ低減ユニットＣ４０４は、Ａ端子およびＢ端子がそれぞれノイズ低減ユニットＢ４０３のＣ端子およびＤ端子に接続するが、Ｃ端子とＤ端子は相互に接続されている。

図１４に、各ユニットの内部構成を示す。
各ユニットは、縮小部４１０、合成部４１１、エッジ抽出部４１２、および色ノイズ低減部３１５を備えている。バッファ４１３は、端子Ａを介して外部と接続し、バッファ４１４は端子Ｄを介して外部と接続する。縮小部４１０は、バッファ４１３および合成部４１１と接続し、また端子Ｃに画像を出力する。合成部４１１はバッファ４１４、縮小部４１０および色ノイズ低減部３１５と接続している。エッジ抽出部４１２は、バッファ４１４、および色ノイズ低減部３１５に接続する。色ノイズ低減部３１５は、合成部４１１およびエッジ抽出部４１２と接続し、また端子Ｂを介して外部に画像を出力する。

以下に、色ノイズ低減部４０１の作用について述べる。
まず、図１４のノイズ低減ユニットについて説明する。
ノイズ低減ユニットは、端子Ａからノイズ低減の対象となる画像が入力されると、入力された画像をノイズ低減処理しないまま縮小した画像を端子Ｃに出力し、待機状態に入る。その後、端子Ｄから画像が入力されると待機状態を解除し、以前端子Ａから入力された画像にノイズ低減を施したものに相当する画像を、端子Ｂから出力する。ここで、端子Ｄから入力された画像は、以前端子Ｃから出力した画像が何らかの手段でノイズ低減されたものに相当する画像である必要がある。

端子Ａからノイズ低減の対象となる画像Ｚ（Ｃｒ画像、Ｃｂ画像の二枚からなる）が入力されると、Ｚはまずバッファ４１３に蓄積される。次に、縮小部４１０はＺを倍率Ｍで縮小し、端子Ｃに出力する。同時に、Ｚを倍率Ｍで縮小した画像を逆にＭ倍に拡大した画像をＺから減算した残差画像Ｄｚ（Ｃｒ画像，Ｃｂ画像一枚づつ）を計算し、合成部４１１に出力する。合成部４１１は残差画像を保持し、端子Ｄからの入力を待機する。

端子Ｄから画像Ｌ（Ｃｒ画像，Ｃｂ画像の二枚）が入力されると、画像Ｌはまずバッファ４１４に蓄積される。次に、エッジ抽出部４１２は画像ＬのＣｂ画像，Ｃｒ画像各々に対して公知の方法でエッジ検出を行い、第１の実施形態の（１）式に示した方法で、画像Ｌに対するエッジ指標α_ｃｒおよびα_Ｃｂを算出し、内部に保持する。同時に、合成部４１１はＬを倍率Ｍで拡大した画像に内部に保持する残差画像Ｄｚを加算し、新たな画像Ｌ’（Ｃｒ画像とＣｂ画像の二枚）を生成して色ノイズ低減部３１５に出力する。

色ノイズ低減部３１５は、合成部４１１から入力されるＬ’を内部バッファＡ２０６に蓄積する。そして、エッジ指標としてエッジ抽出部４１２内に保持されるエッジ指標αｃｒおよびαｃｂに基づいて、第２の実施形態と同じ処理を行い、処理結果を端子Ｂを介して外部に出力する。

次に、色ノイズ低減部４０１の作用を説明する。
色階調変換部１０７からＣｒ画像Ｃｒ_１およびＣｂ画像Ｃｂ_１が入力されると、ノイズ低減ユニットＡ４０２は、Ｃｒ_１およびＣｂ_１を所定の倍率Ｍで縮小した画像Ｃｒ_２およびＣｂ_２を生成し、端子Ａを介してノイズ低減ユニットＢ４０３に出力して、待機状態に入る。

ノイズ低減ユニットＢ４０３は、Ｃｒ_２およびＣｂ_２を所定の倍率Ｍで縮小した画像Ｃｒ_３およびＣｂ_３を生成し、端子Ａを介してノイズ低減ユニットＣ４０４に出力して、同様に待機状態に入る。

ノイズ低減ユニットＣ４０４は、Ｃｒ_３およびＣｂ_３を所定の倍率Ｍで縮小した画像Ｃｒ_４およびＣｂ_４を端子Ｃから出力するが、端子Ｃはノイズ低減ユニットＣ４０４の端子Ｄに直結しているため、待機状態にはならず、ただちに処理が行われて、Ｃｒ_３およびＣｂ_３がノイズ低減された画像Ｃｒ_３’およびＣｂ_３’が端子Ｂを介してノイズ低減ユニットＢ４０３に出力される。

これにより、ノイズ低減ユニットＢ４０３が待機状態を解除し、Ｃｒ_３’およびＣｂ_３’を用いてＣｒ_２およびＣｂ_２をノイズ低減した結果であるＣｒ_２’およびＣｂ_２’を、端子Ｂを介してノイズ低減ユニットＡ４０２に出力する。

これにより、ノイズ低減ユニットＡ４０２も同様に待機状態を解除し、Ｃｒ_２’およびＣｂ_２’を用いて得られた最終的なＣｒ_１およびＣｂ_１のノイズ低減結果を端子Ｂを介して圧縮部１１１に出力する。

以上のように、本実施形態に係る画像処理装置によれば、縮小画像に対して３段階にノイズ低減がかけられていくため、低周波までノイズが除去された画像が得られる。また、各ノイズユニットで、縮小画像にノイズ低減が施された画像からエッジ検出を行ってエッジ指標を作成しているため、よりノイズの影響を受けることなくエッジ部と平坦部が判定され、処理全体としてのノイズ低減の性能が向上する。
また、エッジ検出時にコアリング処理を行うことによって、簡単な処理でエッジ判定に対するノイズの影響を緩和できる。
また、多重解像度変換によるノイズ低減処理を行うことによって、エッジ判定に対するノイズの影響を大きく緩和できる。

なお、本実施形態では同一のノイズ低減ユニットを三個用いたが、１個のユニットを繰り返し用いる構成も実現可能である。

第１の実施形態に係る撮像装置の構成図である。 図１に示す色ノイズ低減部および輝度ノイズ低減部の構成図である。 エッジ指標算出時の関数の図である。 エッジ指標算出時の補間処理の説明図である。 ノイズ低減処理に用いる関数の図である。 重み関数のエッジ指標に応じた制御の説明図である。 第１の実施形態のソフトウェアフローである。 図７に示すフローにおけるノイズ低減処理のソフトウェアフローである。 第２の実施形態に係る撮像装置の構成図である。 図９に示すノイズ低減部の構成図である。 図１０に示す色ノイズ低減部および輝度ノイズ低減部の構成図である。 輝度のエッジ指標と色差のエッジ指標から色差のエッジ指標を再計算する処理の説明図である。 第３の実施形態に係る撮像装置の構成図である。 図１３に示すノイズ低減ユニットの構成図である。 従来技術の説明図である。

符号の説明

１００，３００ 撮像装置
１０９，３０５，４０１ 色ノイズ低減部
１１０，３０４ 輝度ノイズ低減部
２０１，３０２，４１０ 縮小部
２０２，３０３，４１２ エッジ抽出部
２０３ 重み算出部
２０４ 加重平均部
２０５ 補正部
３０１ ノイズ低減部

Claims (15)

1. 注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定するエッジ判定手段と、
   前記所定の領域内において前記注目画素と前記周辺画素との画素値の差分を算出する差分算出手段と、
   前記差分算出手段によって算出された前記差分から前記エッジ判定手段の判定結果に応じて各前記周辺画素に対する重み係数を算出する重み係数算出手段と、
   前記重み係数算出手段によって算出された前記重み係数を用いて、前記周辺画素の重み付け平均値を算出する加重平均手段と、
   前記加重平均手段によって算出された前記周辺画素の重み付け平均値、前記注目画素の画素値、および前記エッジ判定手段の判定結果に基づいて前記注目画素の画素値を少なくとも１回補正する補正手段と、
   を有する画像処理装置。
2. 前記エッジ判定手段は、入力された画像を縮小して縮小画像を作成する縮小手段を備え、
   前記縮小手段によって作成された前記縮小画像において、注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記重み係数算出手段は、
   前記差分算出手段によって算出された前記差分に対する前記重み係数の変化量を、前記エッジ判定手段によってエッジと判定された領域では大きくし、前記エッジ判定手段によって平坦と判定された領域では小さくする請求項１または２に記載の画像処理装置。
4. 前記重み係数算出手段は、
   前記エッジ判定手段の判定結果に応じて、前記差分に対する変化量が小さな重み関数と、前記差分に対する変化量が大きな重み関数とを混合して前記重み係数を算出する請求項３に記載の画像処理装置。
5. 前記重み係数算出手段は、
   前記エッジ判定手段によってエッジと判定された結果に応じて、前記差分の大きさを増幅して前記重み係数を算出する請求項１または２に記載の画像処理装置。
6. 前記補正手段は、
   前記注目画素の画素値を補正する回数を、前記エッジ判定手段によってエッジと判定された領域では少なくし、前記エッジ判定手段によって平坦と判定された領域では多くする請求項１から５のいずれかに記載の画像処理装置。
7. 前記補正手段は、
   一回の補正処理における前記注目画素の画素値の補正量を、前記エッジ判定手段によってエッジと判定された領域では小さくし、前記エッジ判定手段によって平坦と判定された領域では大きくする請求項１から６のいずれかに記載の画像処理装置。
8. 前記重み係数の変化量、前記注目画素の画素値を補正する回数、および前記一回の補正処理における前記注目画素の画素値の補正量のうち少なくとも１つを、入力された前記画像のノイズレベルに応じて変化させる請求項３から７のいずれかに記載の画像処理装置。
9. 前記エッジ判定手段は、
   輝度エッジの存在を示す輝度エッジ指標と、色差エッジの存在を示す色差エッジ指標とに基づいて、前記所定の領域内にエッジが存在するか否かを判定する請求項１から８のいずれかに記載の画像処理装置。
10. 前記エッジ判定手段は、
    前記色差エッジ指標が所定値以上の場合に、前記所定の領域内にエッジが存在すると判定し、
    前記輝度エッジ指標が第１の閾値以下で、かつ、前記色差エッジ指標が第２の閾値以上の場合に、前記色差エッジ指標を増加させる請求項９に記載の画像処理装置。
11. 前記エッジ判定手段は、
    前記色差エッジ指標が所定値以上の場合に、前記所定の領域内にエッジが存在すると判定し、
    前記輝度エッジ指標が第３の閾値以上の場合に、前記色差エッジ指標を増加させる請求項９または１０に記載の画像処理装置。
12. 前記エッジ判定手段は、
    前記縮小手段によって作成された前記縮小画像のノイズを除去するノイズ除去手段を有する請求項１から１１のいずれかに記載の画像処理装置。
13. 前記ノイズ除去手段は、
    コアリング処理によるノイズ除去を行う請求項１１に記載の画像処理装置。
14. 前記ノイズ除去手段は、入力画像を縮小した画像に対して、前記エッジ判定手段と、前記差分算出手段と、前記重み係数算出手段と、前記加重平均手段と、前記補正手段と、による処理を再度行うことで、該入力された画像のノイズを除去することを特徴とする請求項１２に記載の画像処理装置。
15. 注目画素と該注目画素の周辺画素とで特定される所定の領域内にエッジが存在するか否かを判定するエッジ判定処理と、
    前記所定の領域内において前記注目画素と前記周辺画素との画素値の差分を算出する差分算出処理と、
    前記差分算出処理によって算出された前記差分から前記エッジ判定処理の判定結果に応じて各前記周辺画素に対する重み係数を算出する重み係数算出処理と、
    前記重み係数算出処理によって算出された前記重み係数を用いて、前記周辺画素の重み付け平均値を算出する加重平均処理と、
    前記加重平均処理によって算出された前記周辺画素の重み付け平均値、前記注目画素の画素値、および前記エッジ判定処理の判定結果に基づいて前記注目画素の画素値を少なくとも１回補正する補正処理と、
    をコンピュータに実行させる画像処理プログラム。
    

Images