JP4851196B2 - 画像処理方法及び装置並びに画像処理プログラム - Google Patents

Description

本発明は画像処理方法及び装置並びに画像処理プログラムに関する。

ガウス統計フィルタ（Ｇａｕｓｓｉａｎ Ｓｔａｔｉｓｔｉｃａｌ Ｆｉｌｔｅｒ：ＧＳＦ）は、大きく分けてガウスぼかし関数、アンシャープマスク関数、統計処理によるフィルタリング関数の３つの関数で構成されており、この順番に処理することで高Ｓ／Ｎの画像データが得られる。以下、これらの関数について説明する。
（ａ）ガウスぼかし関数
この関数によって画像全体を滑らかにぼかす（スムージング）ことで、全体に観られるざらついたノイズ成分を除去する。
（ｂ）アンシャープマスク関数
輪郭部やエッジ部を検出して重みをつけて強調する関数で、ガウスぼかし関数で鈍った輪郭やエッジ部を、元データに近い形に再現する。

以上の処理を行なうことで、エッジ部がなまることなく、Ｓ／Ｎが改善されて画質が滑らかになり、アーチファクトが少ない自然な画像が得られる。各関数の詳細な内容やアルゴリズムについては、以下に詳細に説明する。
Ａ．ガウスぼかし関数
ガウスぼかし関数とは、ガウス関数を使用した画像フィルタである。一般的なガウス関数とは以下に示すような関数である。

ここで、（１）式がガウス関数である。Ｎは規格化定数でσ²は分散を示す。分散とはｘの平均値〈ｘ〉からのずれの２乗期待値であり、具体的には（２）式で計算される。図１０に示すように、分散σ²はガウス関数の幅を示し、ｘ＝σの位置でｆ（ｘ）＝０．６０６５となる。σ値が大きければ大きいほど、ｘについて幅を持ったブロードな関数になり、反対にσ値が小さければシャープな関数となる。σは標準偏差である。

ガウス関数を使用して「ぼかす」という意味は、ピクセルを合成する時の重みの中心をピクセルからの距離に応じてガウス関数で決定するという意味である。そこで、（１）式を画像データのピクセルの場合に変換したものが

で表される。この式によって、パラメータとしてガウスぼかし半径をσとして、あるピクセルｐ（ｘ_a,ｙ_b）に注目すると、そこから離れた位置にあるｐ（ｘ_i,ｙ_j）から受ける重みの総積算量を計算することができる。

ここで、規格化定数Ｎ²は

で計算することができる。
（４）式を見ると明らかなように、注目したピクセルｐ（ｘ_a,ｘ_b）を中心として同じ距離にあるピクセルは同じ重みで合成することができ、円形に分布する。具体的に画像データに適用する場合には、（３）式と（４）式にσ＝ｒａｄ（可変入力パラメータ）を代入して、計算するピクセルの範囲は、−３ｒａｄ≦ｉ≦３ｒａｄ,−３ｒａｄ≦ｊ≦３ｒａｄとして計算を行なう。

以上の関数を元画像データのピクセル全体に適用することで、ガウスぼかし処理画像データを得ることができる。なお、元画像データの端部でのガウスぼかし計算は、端部で画像を線対称に展開して得られる鏡像画像データが外側にあるものと仮定して計算することにする。
Ｂ．アンシャープマスク関数
前述したガウスぼかし関数を適用した画像データは、スムージング効果のためにＳ／Ｎが向上する反面、エッジや輪郭がぼける。しかしながら、画像データでは、エッジや輪郭部のシャープネスが重要であるため、それを際だたせるため、処理としてアンシャープマスク関数を適用する。

図１１にアンシャープマスク法の原理説明図を示す。図に示すように、元画像データのエッジが（ａ）のｆ１に示すようにエッジ部が鋭角に立っていたとしても、ガウスぼかし関数を適用するとスムージング効果のために、ｆ２に示すように鈍ってしまう。そこで、アンシャープマスク処理では、元データとスムージングされたデータとの差を求めて、（ｂ）に示すように画像データのエッジ部で正負が逆転しているエッジ強調データを作成する。このデータを、エッジが鈍った画像データに加算することで、エッジや輪郭部のみを際だたせることができる。即ち、（ａ）のｆ２の特性に（ｂ）の特性を加算することにより、エッジ部がシャープな元画像データに近い画像を得ることができる。

以上の処理を、具体的に適用する手順は以下の通りである。
１）元画像データにガウスぼかし関数を適用して画像処理データ１を作る。
２）画像処理データ１に対してガウスぼかし関数を適用して画像処理データ２を作る。
３）元画像データ−画像処理データ２を算出してエッジ強調データである画像処理データ３を作る。
４）画像処理データ２＋画像処理データ３を求めてアンシャープマスク処理データを作る。

以上の４つの処理を行なうことをアンシャープマスク関数と呼び、この関数を適用することで、エッジ・輪郭部のシャープネスを元画像データに近い形で再現することができる。

従来のこの種の技術としては、原画像に対して、シャープネス強調処理を行なう際、ノイズ成分の目立たないビジーな被写体には、シャープネス強調処理を必要十分にかけ、ノイズ成分の目立つビジーでない被写体にはシャープネス強調処理を弱くかける技術が知られている（例えば特許文献１参照）
特開２００３−１０１７８４号公報（段落００１１〜００２７、図１）

ガウスぼかし関数とアンシャープマスク関数を施した後の画像データを見ると、全体に擦りガラスを通して見たようなぼやけた印象となったり、関数特有のアーチファクトのために均一な領域中に模様のようなものが見えたりするという問題があった。

本発明はこのような課題に鑑みてなされたものであって、フィルタ適用後でも元画像に近い印象で再現することができ、Ｓ／Ｎ比が向上し、エッジや輪郭部も鈍らない高質の画像データを得ることができる画像処理方法及び装置並びに画像処理プログラムを提供することを目的としている。

（１）請求項１記載の発明は、個々のピクセルから構成された元画像データＰ_org（ｘ，ｙ）に対しガウスぼかし関数を用いた画像処理を実行し第１の画像処理データを作成するステップと、前記第１の画像処理データに対し元画像データを基にアンシャープマスク画像処理を実行し第２の画像処理データを作成するステップと、前記第１の画像処理データと第２の画像処理データを加算し第３の画像処理データを作成し平均化画像データＰ _fil （ｘ，ｙ）を作成するステップと、前記元画像データＰ _org （ｘ，ｙ）と平均化画像データＰ _fil （ｘ，ｙ）を構成する各ピクセルについて、ｎσを可変入力パラメータとした時、
が成り立つピクセルは前記元画像データＰ_org（ｘ，ｙ）を選択し、成り立たないピクセルは前記平均化画像データＰ_fil（ｘ，ｙ）を選択することにより再構成画像データを生成するステップと、から構成されることを特徴とする。
（２）請求項２記載の発明は、個々のピクセルから構成された元画像データＰ _org （ｘ，ｙ）に対しガウスぼかし関数を用いた画像処理を実行し第１の画像処理データを作成する第１の画像処理データ算出部と、前記第１の画像処理データに対し元画像データを基にアンシャープマスク画像処理を実行し第２の画像処理データを作成する第２の画像処理データ算出部と、前記第１の画像処理データと第２の画像処理データを加算することにより平均化画像データＰ _fil （ｘ，ｙ）を算出する平均化画像データ算出部と、前記元画像データＰ _org （ｘ，ｙ）と平均化画像データＰ _fil （ｘ，ｙ）を構成する各ピクセルについて、ｎσを可変入力パラメータとした時、
が成立するか否かを判断する演算部と、前記演算部によって成立すると判断されたピクセルは前記元画像データＰ _org （ｘ，ｙ）を選択し、成立しないと判断されたピクセルは前記平均化画像データＰ _fil （ｘ，ｙ）を選択することにより再構成画像データを生成する画像生成部と、からなることを特徴とする。

本発明によれば、フィルタ適用後でも元画像に近い印象で再現することができ、Ｓ／Ｎ比が向上し、エッジや輪郭部も鈍らない高質の画像データを得ることができる。

以下、図面を参照して本発明の実施の形態例を詳細に説明する。以下、本発明による統計処理によるフィルタリング関数について説明する。
ガウスぼかし関数とアンシャープマスク関数を施した後の画像データを見ると、前述したように全体に擦りガラスを通して見たようなぼやけた印象となったり、関数特有のアーチファクトのために均一な領域中に模様のようなものが見えたりすることがある。これは元画像データの各ピクセルが本来有しているデータの不規則性やばらつきが、画像処理関数を適用することで消失したためである。

そこで、本発明によるガウス統計フィルタには、画像処理後の個々のピクセルに対して測定時の統計変動分を考慮しても、確からしいデータであれば元画像データの値に置き換えるという関数を導入した。これによって、フィルタ適用後でも元画像データに近い印象で画像を再現することができ、Ｓ／Ｎが向上し、エッジや輪郭部も鈍らない高質の画像データが得られた。

図１に統計処理によるフィルタリング関数の原理を示す。図に示すように、元画像の各ピクセルでは、信号強度は（ａ）に示すように隣接するピクセル間で相関のない離散的なデータとして記録されている。元ピクセルデータをＰ_org（ｘ,ｙ）とする。一方、ガウスぼかし関数とアンシャープマスク関数を適用した画像処理後のデータは、隣接するピクセル間で信号強度が滑らかに変化するデータとなっている。

この時、画像処理後のデータＰ_fil（ｘ,ｙ）は、隣接するピクセルの相関をとって求められているため、各ピクセルの平均値を表していると考えられ、画像処理後の各ピクセルにおける統計変動量を√Ｐ_fil（ｘ,ｙ）とした。今回設計した関数では、その間に可変入力パラメータｎσをかけて統計的しきい値を
ｎσ√Ｐ_fil（ｘ,ｙ） （５）
を定義し、そのピクセルに対応する元ピクセルデータと比較を行なう。その結果、元ピクセルデータの信号強度が統計的しきい値以内に収まっている場合には、元ピクセルデータをそのまま使用し、反対にそれ以外の値の場合には画像処理後のデータＰ_fil（ｘ,ｙ）を使用して、全ピクセルの再構成を行なっている。

つまり、統計処理によるフィルタリング関数とは各ピクセル（ｘ,ｙ）の位置において、

が成り立つ時には（ｘ,ｙ）の位置にＰ_org（ｘ,ｙ）を使用し、成り立たない時にはＰ_fil（ｘ,ｙ）を使用して、画像データを再構成するフィルタである。
ここで、図１について更に説明する。元画像データが（ａ）に示すようにあったものとする。この元ピクセルデータをＰ_orgとする。この列の元ピークセルデータを棒グラフで表すと（ｂ）に示すようなものとなる。信号強度が各ピクセルに応じて異なっていることが判る。図のＰ_filが画像処理後のデータである。これに対して、このＰ_filに対して、その上下に幅を持つ領域を信号強度の統計変動量√Ｐ_fil（ｘ,ｙ）とする。ピクセル位置に応じて、各ピクセルの強度が信号強度の統計変動量内に収まるものと収まらないものとがある。統計変動量内に収まるものは、元のピクセル画像値を用い、収まらない場合には、画像処理後のデータＰ_fil（ｘ,ｙ）を用いる。このようにして、画像処理を行なうことにより、Ｓ／Ｎが除去された好適な画像データを得ることができる。

図２は本発明方法を示すフローチャートである。本発明では、元画像データに加えてパラメータを用いる。本発明で用いるパラメータとしては、ガウス半径ｒａｄ、統計的しきい値ｎσを用いる。先ず、パラメータｒａｄと元画像データを入力して、元画像データに対して第１ガウスぼかし関数を実行する（Ｓ１）。ここで、用いるぼかし関数は、（１）式〜（４）式を用いる。第１のぼかし関数を実行することにより得られたデータを画像処理データ１とする。

次に、得られた画像処理データ１とパラメータｒａｄを用いて第２のぼかし関数を実行する（Ｓ２）。第２のぼかし関数を実行することにより得られたデータを画像データ２とする。次に、画像データ２と元画像データを元に画像演算処理を行ない、双方の画像の差分を求める（Ｓ３）。ここで、画像演算式は、
（元画像データ）−（画像処理データ２）
を用いる。この演算処理により求まったデータを画像データ３とする。この画像データ３はアンシャープマスク処理画像（エッジ強調処理データ）となる（図１１の（ｂ）参照）。次に、この得られれた画像処理データ３と画像処理データ１とを演算処理により加算する（Ｓ４）。即ち、（画像処理データ１）＋（画像処理データ３）を実行する。

この結果得られた画像処理データ４は、輪郭が強調され、Ｓ／Ｎ比が向上した画像となる。次に、ｎσ値と画像処理データ４と元画像データを入力する（Ｓ５）。そして、元画像データが予め決められた統計変動量内であるかどうかチェックする（Ｓ６）。元画像データが予め決められた統計変動量内である場合には、画像データとして元画像データを用いる（Ｓ７）。元画像データが統計変動量外である場合には、画像データとして画像処理データ４を用いる（Ｓ８）。ここで、ステップＳ５からＳ８までの処理が本発明を特徴づける統計処理によるフィルタリング関数処理部分を示している。

このように、本発明によれば、フィルタ適用後でも元画像に近い印象で再現することができ、Ｓ／Ｎ比が向上し、エッジや輪郭部も鈍らない高質の画像データを得ることができる。

次に、ガウス統計フィルタの効果について説明する。本発明で用いるガウス統計フィルタの具体的な効果について、次の項目に従って説明する。
１）イメージのＳ／Ｎが向上する。
２）他のフィルタに比べてエッジがスムーズに再現される。
３）バイキュービック法で解像度を増加してからフィルタを適用しても効果的である。
４）ＳＥＭ像にも適用可能である。
５）ＥＰＭＡマッピング像にも適用可能である。
これらについて例を挙げて説明する。
１）イメージのＳ／Ｎが向上する。

図３はフィルタ適用前後でのＳ／Ｎの比較を示す図である。図は、本発明の一実施例におけるディスプレイ上に表示した表示画面中のメイン画面の一例を中間調画像の写真で示す図である（以下、同じ）。（ａ）は元データ、（ｂ）はガウス統計フィルタ使用後を示す。（ａ）の領域Ａに示すように信号ノイズが削減されて、イメージ全体のＳ／Ｎが向上していることが分かる。また、領域Ｂのように、ある程度信号強度がある領域でも、元データではその強度がばらついているためざらついた感じを受けるが、ガウス統計フィルタ適用後は、（ｂ）に示すように滑らかな画像となる。これは、ガウススムージング効果により、各点の信号強度を円形にガウスぼかし関数を使用してスムージングしているため、見た目に滑らかな画像となるからである。
２）他のフィルタに比べてエッジがスムーズに再現される。

図４はオージェマッピングの元データとその一部分の拡大図を示す。（ａ）は元データ画像、（ｂ）はその一部の枠Ｋの拡大図である。ここでは、９×９ピクセルに対するメジアンフィルタと一般的な平滑化フィルタの２種類とで比較した結果を説明する。図５はフィルタ適用後の画像の比較を示す図である。（ａ）はメジアンフィルタ、（ｂ）はスムージング、（ｃ）はガウス統計フィルタの場合をそれぞれ示す。

メジアンフィルタを適用した場合、（ａ）に示すようにエッジ周辺と信号強度の小さなバックグラウンドノイズ付近で滲んだようなアーチファクトが形成されていることが分かる。９×９スムージングを適用した場合には、（ｂ）に示すように、適用する範囲（９×９）に応じて値が均一化されるため、斜めのエッジ付近で四角グリッドが大きく強調されていることが分かる。また、どちらの場合においても、エッジ周辺ではスムージング効果のために少なからず鈍っているように見える。一方、本発明のガウス統計フィルタを適用した場合は、（ｃ）に示すようにこれらの現象は見られず、エッジ部も鈍ることがなく、スムーズに再現されていることが分かる。
３）バイキュービック法で解像度を増加させてからフィルタを適用した場合
測定時間を短縮するために、マッピングの測定時に低解像度（例えば１２８×１２８）で測定し、実際にデータにする際にバイキュービック法を用いて、解像度を増加させてデータにすることがある。図６は１２８×１２８の画像に対して２５６×２５６にピクセル数を増加させてからガウス統計フィルタを適用した場合を示す図である。（ａ）が元データ、（ｂ）がガウス統計フィルタ適用後の画像データを示す。（ｂ）に示すように、ガウス統計フィルタを適用すれば、Ｓ／Ｎがよくなり、良質な画像が得られる。

実際には、２５６×２５６で測定したデータの方が精密なマッピングを得ることができるが、視野全体を短時間に把握する必要がある場合には、同じマッピング像を得るのに測定時間を１／４に短縮できる可能性があり、有力な方法であるといえる。図７は２５６×２５６の画像に対して、ガウス統計フィルタを適用した場合を示す図である。図６の（ｂ）に示す画像と、図７の（ｂ）に示す画像とを比較して実用上の差異は殆ど現れていない。従って、少ないピクセル数の画像データに対して、ガウス統計フィルタを適用することは、画像品質をそれほど損なうことなく、高速で処理画像を得ることができるという点で効率のよい画像処理方法である。
４）ＳＥＭ像に対しても適用可能である
ＳＥＭ像に対しても、本発明のガウス統計フィルタが適用可能である。しかしながら、ＳＥＭ像の各画素の強度とは、測定時のコントラストとブライトネスの状態で決定されるアナログ信号の相対強度を記録したもので、絶対値に意味がないので、統計変動分を見積もることができない。そのため、ガウス統計フィルタがうまく機能しない。

そこで、実験的に、各画素において周囲９×９の領域に存在する画素値の標準偏差を求めて、ガウス統計フィルタを使用すると、図８に示すようなＳＥＭ像が得られた。（ａ）は元データ、（ｂ）はガウスぼかしフィルタを適用した場合、（ｃ）はガウス統計フィルタを適用した場合を示す。

全体としては、エッジ部で鈍ることなくシャープさを保ったまま、中央の微細構造がよりよく再現されていることが分かる。また、（ｂ）に示す通常のガウスぼかしフィルタ使用では、微細構造がないと思われる均一な領域中に、実際には存在しない小さな粒状のアーチファクトが現れるが、ガウス統計フィルタを用いた場合、（ｃ）に示すように統計的しきい値ｎσの値を制御することで、アーチファクトが現れないような条件に設定できることが分かった。
５）ＥＰＭＡのマッピングデータにも適用可能である
ＥＰＭＡの面分析においてもガウス統計フィルタは、高い効果を示す。実際にカラーマップにガウス統計フィルタ処理を施したデータの例を図９に示す。（ａ）は元データ、（ｂ）はガウス統計フィルタを適用後を示している。ガウス統計フィルタを適用したマッピングデータは、（ｂ）に示すようにＳＥＭ像に近いデータが得られており、ＥＰＭＡのマッピングデータにも適用可能であることが示せた。

本発明は、本発明のステップをコンピュータに記憶させておき、プログラムを実行させることによっても実現することが可能である。
今回設計したガウス統計フィルタは、ガウスぼかし関数とアンシャープマスク関数と統計処理によるフィルタリング関数の３つの関数を組み合わせたものである。このフィルタは、元素マッピング結果等の低Ｓ／Ｎ条件下で得られた画像データであってもノイズを除去してＳ／Ｎのよい画像を得ることができるという機能をもったものである。また、このフィルタを適用することで、１２８×１２８といった低画素のマッピングデータからでも、バイキュービック関数を使用して増加させてフィルタを適用することで、２５６×２５６で測定したデータと同等の画像データを得ることができる。また、本フィルタは、ＥＰＭＡのマッピングデータにも適用可能で、将来的にはＳＥＭ像にも適用可能と考えられる。

統計処理によるフィルタリング関数の原理説明図である。 本発明方法を示すフローチャートである。 フィルタ適用前後でのＳ／Ｎの比較を示す図である。 オージェマッピングの元データとその一部分の拡大図である。 フィルタ適用後の画像の比較を示す図である。 １２８×１２８の画像に対して２５６×２５６にピクセル数を増加させてガウス統計フィルタを適用した場合を示す図である。 ２５６×２５６の画像に対してガウス統計フィルタを適用した場合を示す図である。 ＳＥＭ画像に対してガウス統計フィルタを適用した場合を示す図である。 ＥＰＭＡのマッピングデータにガウス統計フィルタを適用した例を示す図である。 規格化されたガウス関数のグラフを示す図である。 アンシャープマスク法の原理説明図である。

Claims (2)

1. 個々のピクセルから構成された元画像データＰ_org（ｘ，ｙ）に対しガウスぼかし関数を用いた画像処理を実行し第１の画像処理データを作成するステップと、
   前記第１の画像処理データに対し元画像データを基にアンシャープマスク画像処理を実行し第２の画像処理データを作成するステップと、
   前記第１の画像処理データと第２の画像処理データを加算し第３の画像処理データを作成し平均化画像データＰ _fil （ｘ，ｙ）を作成するステップと、
   前記元画像データＰ _org （ｘ，ｙ）と平均化画像データＰ _fil （ｘ，ｙ）を構成する各ピクセルについて、ｎσを可変入力パラメータとした時、
   が成り立つピクセルは前記元画像データＰ_org（ｘ，ｙ）を選択し、成り立たないピクセルは前記平均化画像データＰ_fil（ｘ，ｙ）を選択することにより再構成画像データを生成するステップと、
   から構成されることを特徴とする画像処理方法。
2. 個々のピクセルから構成された元画像データＰ _org （ｘ，ｙ）に対しガウスぼかし関数を用いた画像処理を実行し第１の画像処理データを作成する第１の画像処理データ算出部と、
   前記第１の画像処理データに対し元画像データを基にアンシャープマスク画像処理を実行し第２の画像処理データを作成する第２の画像処理データ算出部と、
   前記第１の画像処理データと第２の画像処理データを加算することにより平均化画像データＰ _fil （ｘ，ｙ）を算出する平均化画像データ算出部と、
   前記元画像データＰ _org （ｘ，ｙ）と平均化画像データＰ _fil （ｘ，ｙ）を構成する各ピクセルについて、ｎσを可変入力パラメータとした時、
   が成立するか否かを判断する演算部と、
   前記演算部によって成立すると判断されたピクセルは前記元画像データＰ _org （ｘ，ｙ）を選択し、成立しないと判断されたピクセルは前記平均化画像データＰ _fil （ｘ，ｙ）を選択することにより再構成画像データを生成する画像生成部と、
   からなることを特徴とする画像処理装置。