JP6369150B2 - アンチエイリアシングエッジを回復するフィルタリング方法及びフィルタリング装置 - Google Patents

Description

本発明は、画像処理技術に関し、特にアンチエイリアシングエッジを回復するフィルタリング方法及び装置に関する。

通常、自然物は平滑なエッジを有するため、カメラで撮影された自然画像はこのような特性を維持している。しかし、画像信号処理では、各種の非線形変換方法（例えば、閾値判定、ガンマ補正、色変換、ヒストグラム均等化、バイラテラルフィルタリング等）がよく用いられ、これらの変換方法は、ノイズ低減又は強化を好適に行っている一方、自身の非線形特性により、画像のエッジにエイリアシングノイズを生じ、ユーザによる画像の評価に影響を及ぼしてしまう。

平滑なエッジを有する画像を得るため、このような非線形変換によるエイリアシングノイズを低減、或いは除去し、自然物の画像のエイリアシングエッジ（anti-aliasing edge）を回復する必要がある。しかし、従来技術では、非線形フィルタリングされた画像に対する処理方法が存在せず、エイリアシングエッジを回復する方法及び装置が存在せず、非線形フィルタリングされた画像は自然なエッジを有していない場合がある。

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により公知されたものではない。

本発明の実施例は、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる、アンチエイリアシングエッジを回復するフィルタリング方法及び装置を提供することを目的とする。

本発明の実施例の一の態様では、アンチエイリアシングエッジを回復するフィルタリング方法であって、非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算するステップと、前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングするステップと、を含む、フィルタリング方法を提供する。

本発明の実施例の他の態様では、アンチエイリアシングエッジを回復するフィルタリング装置であって、非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する分散値計算手段と、前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングする再フィルタリング手段と、を含む、フィルタリング装置を提供する。

本発明の実施例の効果としては、非線形フィルタリングを行った上で、分散値に基づく自己適応な勾配重み付けフィルタリングを用いて、画像を再フィルタリングすることで、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び同等的なものが含まれる。

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

本発明の実施例に係るフィルタリング方法のフローチャートである。 本発明の実施例に係る、現在の画素が画像内のオブジェクトのエッジに位置することを示す図である。 本発明の実施例に係る、現在の画素が画像内の平坦領域に位置することを示す図である。 本発明の実施例に係るフィルタリング方法の他のフローチャートである。 本発明の実施例に係る、現在の画素の再フィルタリングの他の方法のフローチャートである。 本発明の実施例に係る、自己適応なフィルタリングパラメータの設定曲線を示す図である。 本発明の実施例に係る、勾配重み付けフィルタリング方法のフローチャートである。 本発明の実施例に係る、探索点の重みの計算方法のフローチャートである。 本発明の実施例に係るフィルタリング装置の構成を示す図である。 本発明の実施例に係るフィルタリング装置の他の構成を示す図である。 本発明の実施例に係る再フィルタリング部の構成を示す図である。 本発明の実施例に係る勾配重み付けフィルタリング部の構成を示す図である。 本発明の実施例に係る重み計算部の構成を示す図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

＜実施例１＞
本発明の実施例は、アンチエイリアシングエッジ（anti-aliasing edge）を回復するフィルタリング方法を提供する。図１は、本発明の実施例に係るフィルタリング方法のフローチャートである。図１に示すように、該方法は下記のステップを含む。

ステップ１０１：非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する。

ステップ１０２：計算された分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、現在の画素を再フィルタリングする。

本実施例では、非線形フィルタリングされた画像では、非線形変換によりエイリアシングノイズが生じるため、アンチエイリアシングエッジを回復し、画像のエッジを平滑化する必要がある。

ステップ１０１において、現在の画素を囲む領域は現在の画素を中心とする画素領域であってもよく、該画素領域は画素数が５×５、７×７、９×９又は１１×１１の正方形の画素領域であってもよし、行数及び列数が他の値である方形の画素領域であってもよい。なお、本発明はこれに限定されず、実際の状況に応じて具体的な領域を決定してもよい。例えば、この周辺領域は正方形以外の他の形状であってもよく、該周辺領域の行数及び列数は奇数に限定されず、偶数であってもよく、行数及び列数が偶数である場合、該周辺領域は対称的なものではない。

なお、この周辺領域の面積のサイズは、画像の基本的な特性に関連し、例えば、非線形フィルタリングによるオブジェクトのエッジのエイリアシングノイズの範囲が大きいほど、アンチエイリアシングエッジを回復するために周辺領域の面積を大きく設定する必要がある。一方、設定された周辺領域が大き過ぎると、エッジのぼかし範囲が大きくなり、画像があまり鋭くない。よって、該周辺領域の面積は、総合的に考慮し、バランスの取れた選択を行う必要があり、大き過ぎるもの又は小さ過ぎるものは好ましくない。

具体的な実施形態では、現在の画素を囲む領域の分散値は、例えば該周辺領域における画素の分散、標準分散、ヒストグラムなどを計算することで得られ、該分散値は、後続のステップにおいて画像のエッジ領域と平坦領域とを識別するために用いられてもよい。

ステップ１０２において、計算された分散値と所定の第１の閾値とを比較し、現在の画素が画像におけるオブジェクトのエッジに位置するか否かを判断できる。具体的な実施形態では、該第１の閾値は、画像処理の経験、異なる画像類型に応じ設定されてもよく、例えば、主に人物を含む画像と主に風景を含む画像について、異なる第１の閾値を設定してもよい。他の実施形態では、画像のエイリアシングエッジが非線形変換により生じられるため、画像の非線形変換の方式をさらに考慮し、非線形変換の方式に対応する第１の閾値を設定してもよい。

本実施例では、計算された分散値が第１の閾値よりも大きい場合、現在の画素はオブジェクトのエッジに位置する。また、分散値が大きいほど、エッジが鋭い、即ちエッジの両側のオブジェクトの輝度差が大きい。この場合は、現在の画素を再フィルタリングし、画像のアンチエイリアシングエッジを回復する必要がある。

図２は、現在の画素が画像内のオブジェクトのエッジに位置することを示す図である。図２に示すように、現在の画素はオブジェクトのエッジに位置し、この際に、現在の画素を囲む領域内の画素の分散値は所定の第１の閾値よりも大きい。

他の具体的な実施形態では、計算された分散値が第１の閾値以下である場合、現在の画素は平坦領域に位置し、この場合は、現在の画素を処理する必要がない。

図３は、現在の画素が画像内の平坦領域に位置することを示す図である。図３に示すように、現在の画素は画像の平坦領域に位置し、この際に、現在の画素を囲む領域内の画素の分散値は所定の閾値以下である。

図４は、本発明の実施例に係るフィルタリング方法の他のフローチャートである。図４に示すように、該方法は下記のステップを含む。

ステップ４０１：非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する。

ステップ４０２：計算された分散値が所定の第１の閾値よりも大きいか否かを判断し、計算された分散値が所定の第１の閾値よりも大きい場合、ステップ４０３に進み、計算された分散値が所定の第１の閾値以下である場合、ステップ４０４に進む。

ステップ４０３：アンチエイリアシングエッジを回復するように、現在の画素を再フィルタリングする。

ステップ４０４：現在の画素を再フィルタリングしない。

本実施例では、画素ごとにフィルタリングしてもよく、画像の複数の画素に対して上記の処理を行った後、非線形フィルタリングされた画像はアンチエイリアシングエッジを回復できる。

本発明の上記実施例によれば、非線形フィルタリングされた画像に対して、現在の画素の周辺領域の分散値を計算し、該分散値が所定の第１の閾値よりも大きい場合、現在の画素が画像におけるオブジェクトのエッジ領域に位置すると判断し、現在の画素を再フィルタリングする。よって、非線形フィルタリングを行った上で、分散値に基づく自己適応な勾配重み付けフィルタリングを用いて、画像を再フィルタリングすることで、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる。

＜実施例２＞
本発明の実施例はアンチエイリアシングエッジを回復するフィルタリング方法を提供し、実施例１を参照しながら本発明をさらに説明し、実施例１と同様な内容について省略される。

図５は、本発明の実施例に係る、現在の画素の再フィルタリングの他の方法のフローチャートであり、ステップ１０２又はステップ４０３の具体的な内容を示している。本実施例では、図５に示すように、現在の画素を再フィルタリングするステップは、下記のステップを含んでもよい。

ステップ５０１：異なる分散値に応じてフィルタリングパラメータを選択する。該フィルタリングパラメータは、異なる分散値に応じて連続的に設定される。

ステップ５０２：フィルタリングパラメータに基づいて、現在の画素に対して勾配重み付けフィルタリング（gradient weighted filtering）を行う。

ステップ５０１において、計算された分散値が第１の閾値よりも大きく、現在の画素を再フィルタリングした場合、異なる分散値に応じてフィルタリングパラメータを選択してもよい。該フィルタリングパラメータは、異なる分散値に応じて連続的に設定されるため、フィルタリングの結果はより自然である。

一般的には、コントラストが弱いと、エッジのエイリアシングが比較的に深刻であり、コントラストが強いと、エッジのエイリアシングが比較的に少ない。このため、分散値に基づいてフィルタリングパラメータを設定する際に、コントラストの強いエッジのフィルタリング強度に比べて、コントラストの低いエッジのフィルタリング強度を高くしてもよい。これによって、フィルタリングパラメータを自己適応的に設定できる。

図６は、本発明の実施例に係る、自己適応なフィルタリングパラメータの設定曲線を示す図である。図６に示すように、分散値が第１の閾値よりも大きく、且つ第２の閾値以下である場合、第１のパラメータと第２のパラメータとの間の連続的な数値からフィルタリングパラメータを選択し、分散値が第２の閾値よりも大きく、且つ第３の閾値以下である場合、第２のパラメータをフィルタリングパラメータとして選択し、分散値が第３の閾値よりも大きく、且つ第４の閾値以下である場合、第２のパラメータと第３のパラメータとの間の連続的な数値からフィルタリングパラメータを選択し、分散値が第４の閾値よりも大きい場合、第３のパラメータをフィルタリングパラメータとして選択する。第３のパラメータは第１のパラメータよりも小さく、第１のパラメータは第２のパラメータよりも小さい。よって、フィルタリングパラメータを自己適応的に設定でき、分散値に基づいて再フィルタリングのフィルタリング強度を自己適応的に調整できる。

なお、図６は単なる自己適応的なフィルタリングパラメータの１つの態様のみを示し、本発明はこれに限定されず、分散値と、選択されたフィルタリングパラメータとの関係曲線は他の形式であってもよい。また、他の実施形態では、フィルタリングパラメータは固定値であってもよい。

本実施例では、フィルタリングパラメータが決定された後、ステップ５０２において、決定されたフィルタリングパラメータに基づいて現在の画素に対して勾配重み付けフィルタリングを行ってもよい。具体的な実施形態では、従来技術の複数のフィルタリング方式を用いて現在の画素を再フィルタリングしてもよい。

以下は、勾配重み付けフィルタリングを例として、具体的なフィルタリングのプロセスを説明する。勾配重み付けフィルタリングでは、用いられるフィルタリングパラメータはSigmaパラメータであってもよく、Sigmaパラメータによりフィルタリング強度を調整できる。

図７は、本発明の実施例に係る、勾配重み付けフィルタリング方法のフローチャートである。図７に示すように、本実施例の勾配重み付けフィルタリングは下記のステップを含んでもよい。

ステップ７０１：勾配重み付けフィルタリングの、現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定する。

ステップ７０２：フィルタリングパラメータに基づいて、探索ウィンドウにおける全ての探索点の重みを計算する。

ステップ７０３：全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、現在の画素の勾配重み付けフィルタリングの結果を計算する。

ステップ７０１において、探索ウィンドウは現在の画素を中心として設定され、該探索ウィンドウは画素数が５×５、７×７、９×９、１１×１１又は他の画素数の画素領域であってもよい。探索ウィンドウを設定するのは、現在の画素を中心とする周辺領域から現在画素との関連性の高い画素を見つけて、現在の画素に対してアンチエイリアシング平滑化フィルタリングを行うからである。このため、探索ウィンドウが大きいほど、見つかった関連性の高い画素は多く、フィルタリング効果はよい。しかし、ウィンドウが大きいほど、計算量は(n^2)で増加するため、総合的に考慮して、適切なサイズの探索ウィンドウを選択する必要がある。

また、探索ウィンドウの各画素について、該画素を中心とする比較ウィンドウを有してもよい。比較ウィンドウのサイズは、探索ウィンドウのサイズと同じであってもよいし、例えば、画素数が５×５、７×７、９×９、１１×１１又は他の画素数の画素領域であってもよい。しかし、比較ウィンドウは、探索ウィンドウのサイズと異なってもよい。以下は、例えば１５×１５のサイズを有する比較ウィンドウを例として、本発明を説明する。

ステップ７０２において、探索ウィンドウにおける各探索点の重みを探索点ごとに計算する。具体的な実施形態では、探索ウィンドウにおける各探索点について、例えば図８に示される方法を用いて探索点の重みを計算してもよい。探索点について計算された後、探索ウィンドウに計算されていない探索点が存在するか否かを判断してもよい。計算されていない探索点が存在している場合、図８に示される方法で計算し続け、探索ウィンドウにおける全ての探索点が計算された場合、ステップ７０３に進む。

図８は、本発明の実施例に係る、探索点の重みの計算方法のフローチャートである。図８に示すように、該重み計算方法は、下記のステップを含む。

ステップ８０１：探索ウィンドウにおける各探索点について、該探索点と現在の画素との関連性を計算する。

ステップ８０２：探索点と現在の画素との関連性、比較ウィンドウの画素数及びフィルタリングパラメータに基づいて、探索点の重みを決定する。

ステップ８０１において、探索点と現在の画素との関連性を計算する方法において、探索点を中心とする比較ウィンドウと、フィルタリングされる点（現在の画素）を中心とする比較ウィンドウとを画素ごとに減算し、得られた画素の差の絶対値を全て加算する。即ち、下記の式を用いる。

SAD=SUM(ABS(Diff_15x15))
ここで、関連性はSAD値で表示され、Diff_15x15は１５×１５のウィンドウ内の全ての画素を１つずつ減算した差であり、ABSは絶対値を求めることであり、SUMは和を求めることである。具体的な実施形態では、該画素の差は画素の輝度の差であってもよい。

ステップ８０２において、探索点と現在の画素との関連性、比較ウィンドウの画素数及びフィルタリングパラメータに基づいて、探索点の重みを決定してもよい。具体的な実施形態では、例えば下記の式により、探索ウィンドウにおける各探索点の重みWeight(i,j)を計算してもよい。

Weight(i,j)=exp(-SAD/Size/sigma)
ここで、(i,j)は探索点の座標を表し、expは自然対数eを基数として指数を取得することを表し、Sizeは探索ウィンドウ内の画素の数を表し、例えば、１５×１５の比較ウィンドウに含まれる画素の数は１５×１５＝２２５個であり、Sigmaは本実施例の方法により設定された自己適用のフィルタリングパラメータであり、SADは探索点と現在の画素との関連性である。

これによって、図８に示される方法を繰り返して実行することで、探索ウィンドウにおける各探索点について、上記の方法により探索点の重みWeight(i,j)を計算でき、該探索ウィンドウにおける全ての探索点の重みを取得できる。また、同一の探索ウィンドウにおける各探索点について、フィルタリングパラメータSigma及び探索ウィンドウにおける画素の数は共に固定値であるため、各探索点の重みWeight(i,j)は、主に該探索点を中心とする比較ウィンドウと現在の画素を中心とするウィンドウとの関連性に基づいて決定される。

本実施例では、探索点の重みを計算する際に、探索ウィンドウ内の探索点と現在の画素とが重なっている場合がある。この場合は、該探索点と現在の画素との関連性SAD=０となり、計算された該探索点の重みWeight(i,j)=1となる。１という固定値の重みは、探索範囲内の各画素間の真の関連関係を反映できない。

よって、探索ウィンドウにおける全ての探索点の重みが取得された後、全ての探索点の重みの最大値を現在の画素の重みとして設定してもよい。即ち、探索範囲内には、現在の画素の有する重みと同じ重みを有する画素が少なくとも１つ存在するため、アンチエイリアシング平滑化フィルタリングの効果が確保された。

そして、図７に戻り、探索ウィンドウにおける全ての探索点の重みが得られた後、ステップ７０３を実施してもよい、即ち全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、現在の画素の勾配重み付けフィルタリングの結果を計算する。

具体的な実施形態では、下記の式により現在の画素の勾配重み付けフィルタリングの結果Outputを取得してもよい。

Output=SUM(weight(i,j)*Y(i,j))/SUM(weight(i,j))
ここで、Y(i,j)は座標が(i,j)である探索点の輝度値又は色度値であり、weight(i,j)は座標が(i,j)である探索点の重みであり、SUMは和を求めることを表す。

よって、本発明の上記実施例によれば、現在の画素の再フィルタリングを実現できる。なお、以上は勾配フィルタリングを例として本発明を例示的に説明しているが、本発明はこれに限定されない。例えば、当業者は上記の式などを適当に変更又は変形してもよい。

本発明の上記実施例によれば、非線形フィルタリングを行った上で、分散値に基づく自己適応な勾配重み付けフィルタリングを用いて、画像を再フィルタリングすることで、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる。

＜実施例３＞
本発明の実施例はアンチエイリアシングエッジを回復するフィルタリング装置を提供する。実施例１に説明されたフィルタリングと同様であるため、重複する内容について説明が省略される。

図９は、本発明の実施例に係るフィルタリング装置の構成を示す図である。図９に示すように、該フィルタリング装置９００は、分散値計算部９０１及び再フィルタリング部９０２を含む。フィルタリング装置９００の他の構成部は、従来技術を参照してもよいため、ここにその説明が省略される。

分散値計算部９０１は、非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する。再フィルタリング部９０２は、分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、現在の画素を再フィルタリングする。本実施例では、分散値計算部９０１及び再フィルタリング部９０２の具体的な実施方法は、実施例１のステップ１０１、ステップ１０２の実施方法の説明を参照してもよい。

図１０は、本発明の実施例に係るフィルタリング装置の他の構成を示す図である。図１０に示すように、該フィルタリング装置１０００は、上述したように、分散値計算部９０１及び再フィルタリング部９０２を含む。

図１０に示すように、該フィルタリング装置１０００は、分散値判断部１００３をさらに含んでもよい。分散値判断部１００３は、分散値計算部９０１により計算された分散値が所定の第１の閾値よりも大きいか否かを判断する。該分散値が所定の第１の閾値よりも大きいと分散値判断部１００３により判断された場合、再フィルタリング部９０２は、現在の画素を再フィルタリングし、画像のアンチエイリアシングエッジを回復する。

本発明の上記実施例によれば、非線形フィルタリングされた画像に対して、現在の画素の周辺領域の分散値を計算し、該分散値が所定の第１の閾値よりも大きい場合、現在の画素が画像におけるオブジェクトのエッジ領域に位置すると判断し、現在の画素を再フィルタリングする。よって、非線形フィルタリングを行った上で再フィルタリングすることで、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる。

＜実施例４＞
本発明の実施例はアンチエイリアシングエッジを回復するフィルタリング装置を提供し、実施例３を参照しながら本発明をさらに説明する。また、本発明は実施例のフィルタリング方法に対応し、実施例２と重複する内容についての説明が省略される。
図１１は、本発明の実施例に係る再フィルタリング部９０２の構成を示す図である。図１１に示すように、該再フィルタリング部９０２は、フィルタリングパラメータ選択部１１０１及び勾配重み付けフィルタリング部１１０２を含む。
フィルタリングパラメータ選択部１１０１は、異なる分散値に応じてフィルタリングパラメータを選択する。フィルタリングパラメータは、異なる分散値に応じて連続的に設定される。

勾配重み付けフィルタリング部１１０２は、フィルタリングパラメータに基づいて、現在の画素に対して勾配重み付けフィルタリングを行う。

本実施例では、フィルタリングパラメータ選択部１１０１によるフィルタリングパラメータの選択方法は、実施例２に述べた方法と同じである。勾配重み付けフィルタリング部１１０２は、Sigmaパラメータを該フィルタリングパラメータとして用い、Sigmaパラメータによりフィルタリング強度を調整する。

図１２は、本発明の実施例に係る勾配重み付けフィルタリング部１１０２の構成を示す図である。図１２に示すように、勾配重み付けフィルタリング部１１０２は、ウィンドウ設定部１２０１、重み計算部１２０２及びフィルタリング結果計算部１２０３を含む。

ウィンドウ設定部１２０１は、勾配重み付けフィルタリングの、現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定する。

重み計算部１２０２は、フィルタリングパラメータに基づいて、探索ウィンドウにおける全ての探索点の重みを計算する。

フィルタリング結果計算部１２０３は、全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、現在の画素の勾配重み付けフィルタリングの結果を計算する。

本実施例では、勾配重み付けフィルタリング部１１０２の各構成部の具体的な実施方法は、実施例２のステップ７０１〜７０３などの実施方法の説明を参照してもよい。

図１３は、本発明の実施例に係る重み計算部の構成を示す図である。図１３に示すように、重み計算部１２０２は、関連性計算部１３０１及び重み取得部１３０２を含む。

関連性計算部１３０１は、探索ウィンドウにおける各探索点について、該探索点と現在の画素との関連性を計算する。

重み取得部１３０２は、探索点と現在の画素との関連性、比較ウィンドウの画素数及びフィルタリングパラメータに基づいて、探索点の重みを決定する。

本実施例では、重み計算部１２０２の各構成部の具体的な実施方法は、実施例２のステップ８０１〜８０２などの実施方法の説明を参照してもよい。

本発明の上記実施例によれば、非線形フィルタリングを行った上で、分散値に基づく自己適応な勾配重み付けフィルタリングを用いて、画像を再フィルタリングすることで、非線形変換によるエイリアシングノイズを低減でき、自然物の画像のアンチエイリアシングエッジを回復できる。

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムはロジック部により実行される時に、該ロジック部に上述した装置又は構成要件を実現させる、或いは該ロジック部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
アンチエイリアシングエッジ（anti-aliasing edge）を回復するフィルタリング方法であって、
非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算するステップと、
前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングするステップと、を含む、フィルタリング方法。

（付記２）
前記現在の画素を再フィルタリングするステップは、
異なる前記分散値に応じてフィルタリングパラメータを選択するステップと、
前記フィルタリングパラメータに基づいて、前記現在の画素に対して勾配重み付けフィルタリング（gradient weighted filtering）を行うステップと、を含み、
前記フィルタリングパラメータは、異なる前記分散値に応じて連続的に設定される、付記１に記載のフィルタリング方法。

（付記３）
異なる前記分散値に応じてフィルタリングパラメータを選択するステップにおいて、
前記分散値が前記第１の閾値よりも大きく、且つ第２の閾値以下である場合、第１のパラメータと第２のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
前記分散値が前記第２の閾値よりも大きく、且つ第３の閾値以下である場合、前記第２のパラメータを前記フィルタリングパラメータとして選択し、
前記分散値が前記第３の閾値よりも大きく、且つ第４の閾値以下である場合、第２のパラメータと第３のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
前記分散値が前記第４の閾値よりも大きい場合、前記第３のパラメータを前記フィルタリングパラメータとして選択し、
前記第３のパラメータは前記第１のパラメータよりも小さく、前記第１のパラメータは前記第２のパラメータよりも小さい、付記２に記載のフィルタリング方法。

（付記４）
前記フィルタリングパラメータに基づいて前記現在の画素に対して勾配重み付けフィルタリングを行うステップは、
勾配重み付けフィルタリングの、前記現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定するステップと、
前記フィルタリングパラメータに基づいて、前記探索ウィンドウにおける全ての探索点の重みを計算するステップと、
前記全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、前記現在の画素の勾配重み付けフィルタリングの結果を計算するステップと、を含む、付記２に記載のフィルタリング方法。

（付記５）
前記フィルタリングパラメータに基づいて前記探索ウィンドウにおける全ての探索点の重みを計算するステップは、
前記探索ウィンドウにおける各探索点について、該探索点と前記現在の画素との関連性を計算するステップと、
前記探索点と前記現在の画素との関連性、前記比較ウィンドウの画素数及び前記フィルタリングパラメータに基づいて、前記探索点の重みを決定するステップと、を含む、付記４に記載のフィルタリング方法。

（付記６）
前記探索点と前記現在の画素との関連性を計算するステップにおいて、
前記探索点を中心とする比較ウィンドウと前記現在の画素を中心とする比較ウィンドウとを画素ごとに減算し、
得られた画素の差の絶対値を全て加算する、付記５に記載のフィルタリング方法。

（付記７）
前記探索点の重みは、下記の式
Weight(i,j)=exp(-SAD/Size/sigma)
により得られ、
expは自然対数eを基数として指数を取得することを表し、Sizeは探索点を中心とする比較ウィンドウの画素数を表し、Sigmaはフィルタリングパラメータであり、SADは前記探索点と前記現在の画素との関連性である、付記６に記載のフィルタリング方法。

（付記８）
前記探索ウィンドウにおける全ての探索点の重みが取得された後、全ての探索点の重みの最大値を前記現在の画素の重みとして設定するステップ、をさらに含む、付記５に記載のフィルタリング方法。

（付記９）
前記現在の画素の勾配重み付けフィルタリングの結果は、下記の式
Output=SUM(weight(i,j)*Y(i,j))/SUM(weight(i,j))
により得られ、
Y(i,j)は座標が(i,j)である探索点の輝度値又は色度値であり、weight(i,j)は座標が(i,j)である探索点の重みであり、SUMは和を求めることを表す、付記４に記載のフィルタリング方法。

（付記１０）
アンチエイリアシングエッジ（anti-aliasing edge）を回復するフィルタリング装置であって、
非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する分散値計算手段と、
前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングする再フィルタリング手段と、を含む、フィルタリング装置。

（付記１１）
前記再フィルタリング手段は、
異なる前記分散値に応じてフィルタリングパラメータを選択するフィルタリングパラメータ選択手段と、
前記フィルタリングパラメータに基づいて、前記現在の画素に対して勾配重み付けフィルタリング（gradient weighted filtering）を行う勾配重み付けフィルタリング手段と、を含み、
前記フィルタリングパラメータは、異なる前記分散値に応じて連続的に設定される、付記１０に記載のフィルタリング装置。

（付記１２）
前記フィルタリングパラメータ選択手段は、異なる前記分散値に応じてフィルタリングパラメータを選択する際に、
前記分散値が前記第１の閾値よりも大きく、且つ第２の閾値以下である場合、第１のパラメータと第２のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
前記分散値が前記第２の閾値よりも大きく、且つ第３の閾値以下である場合、前記第２のパラメータを前記フィルタリングパラメータとして選択し、
前記分散値が前記第３の閾値よりも大きく、且つ第４の閾値以下である場合、第２のパラメータと第３のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
前記分散値が前記第４の閾値よりも大きい場合、前記第３のパラメータを前記フィルタリングパラメータとして選択し、
前記第３のパラメータは前記第１のパラメータよりも小さく、前記第１のパラメータは前記第２のパラメータよりも小さい、付記１１に記載のフィルタリング装置。

（付記１３）
前記勾配重み付けフィルタリング手段は、
勾配重み付けフィルタリングの、前記現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定するウィンドウ設定手段と、
前記フィルタリングパラメータに基づいて、前記探索ウィンドウにおける全ての探索点の重みを計算する重み計算手段と、
前記全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、前記現在の画素の勾配重み付けフィルタリングの結果を計算するフィルタリング結果計算手段と、を含む、付記１２に記載のフィルタリング装置。

（付記１４）
前記重み計算手段は、
前記探索ウィンドウにおける各探索点について、該探索点と前記現在の画素との関連性を計算する関連性計算手段と、
前記探索点と前記現在の画素との関連性、前記比較ウィンドウの画素数及び前記フィルタリングパラメータに基づいて、前記探索点の重みを決定する重み取得手段と、を含む、付記１３に記載のフィルタリング装置。

（付記１５）
前記重み取得手段は、下記の式
Weight(i,j)=exp(-SAD/Size/sigma)
により探索点の重みを決定し、
expは自然対数eを基数として指数を取得することを表し、Sizeは探索点を中心とする比較ウィンドウの画素数を表し、Sigmaはフィルタリングパラメータであり、SADは前記探索点と前記現在の画素との関連性である、付記１４に記載のフィルタリング装置。

（付記１６）
前記現在の画素の勾配重み付けフィルタリングの結果は、下記の式
Output=SUM(weight(i,j)*Y(i,j))/SUM(weight(i,j))
により得られ、
Y(i,j)は座標が(i,j)である探索点の輝度値又は色度値であり、weight(i,j)は座標が(i,j)である探索点の重みであり、SUMは和を求めることを表す、付記１２に記載のフィルタリング装置。

（付記１７）
画像処理装置においてプログラムを実行する際に、コンピュータに、付記１乃至９のいずれかに記載のアンチエイリアシングエッジを回復するフィルタリング方法を前記画像処理装置において実行させる、コンピュータ読み取り可能なプログラム。

（付記１８）
コンピュータに、付記１乃至９のいずれかに記載のアンチエイリアシングエッジを回復するフィルタリング方法を画像処理装置において実行させるためのコンピュータ読み取り可能なプログラムを記録する、記録媒体。

Claims (6)

1. アンチエイリアシングエッジ（anti-aliasing edge）を回復するフィルタリング方法であって、
   非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算するステップと、
   前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングするステップと、を含み、
   前記現在の画素を再フィルタリングするステップは、
   異なる前記分散値に応じてフィルタリングパラメータを選択するステップと、
   前記フィルタリングパラメータに基づいて、前記現在の画素に対して勾配重み付けフィルタリング（gradient weighted filtering）を行うステップと、を含み、
   前記フィルタリングパラメータは、異なる前記分散値に応じて連続的に設定され、
   前記フィルタリングパラメータに基づいて前記現在の画素に対して勾配重み付けフィルタリングを行うステップは、
   勾配重み付けフィルタリングの、前記現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定するステップと、
   前記フィルタリングパラメータに基づいて、前記探索ウィンドウにおける全ての探索点の重みを計算するステップと、
   前記全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、前記現在の画素の勾配重み付けフィルタリングの結果を計算するステップと、を含む、フィルタリング方法。
2. 異なる前記分散値に応じてフィルタリングパラメータを選択するステップにおいて、
   前記分散値が前記第１の閾値よりも大きく、且つ第２の閾値以下である場合、第１のパラメータと第２のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
   前記分散値が前記第２の閾値よりも大きく、且つ第３の閾値以下である場合、前記第２のパラメータを前記フィルタリングパラメータとして選択し、
   前記分散値が前記第３の閾値よりも大きく、且つ第４の閾値以下である場合、第２のパラメータと第３のパラメータとの間の連続的な数値から前記フィルタリングパラメータを選択し、
   前記分散値が前記第４の閾値よりも大きい場合、前記第３のパラメータを前記フィルタリングパラメータとして選択し、
   前記第３のパラメータは前記第１のパラメータよりも小さく、前記第１のパラメータは前記第２のパラメータよりも小さい、請求項１に記載のフィルタリング方法。
3. 前記フィルタリングパラメータに基づいて前記探索ウィンドウにおける全ての探索点の重みを計算するステップは、
   前記探索ウィンドウにおける各探索点について、該探索点と前記現在の画素との関連性を計算するステップと、
   前記探索点と前記現在の画素との関連性、前記比較ウィンドウの画素数及び前記フィルタリングパラメータに基づいて、前記探索点の重みを決定するステップと、を含む、請求項１に記載のフィルタリング方法。
4. 前記探索点と前記現在の画素との関連性を計算するステップにおいて、
   前記探索点を中心とする比較ウィンドウと前記現在の画素を中心とする比較ウィンドウとを画素ごとに減算し、
   得られた画素の差の絶対値を全て加算する、請求項３に記載のフィルタリング方法。
5. 前記探索ウィンドウにおける全ての探索点の重みが取得された後、全ての探索点の重みの最大値を前記現在の画素の重みとして設定するステップ、をさらに含む、請求項３に記載のフィルタリング方法。
6. アンチエイリアシングエッジ（anti-aliasing edge）を回復するフィルタリング装置であって、
   非線形フィルタリングされた画像について、現在の画素を囲む領域の、画像のエッジを識別するための分散値を計算する分散値計算手段と、
   前記分散値が所定の第１の閾値よりも大きい場合、アンチエイリアシングエッジを回復するように、前記現在の画素を再フィルタリングする再フィルタリング手段と、を含み、
   前記再フィルタリング手段は、
   異なる前記分散値に応じてフィルタリングパラメータを選択するフィルタリングパラメータ選択手段と、
   前記フィルタリングパラメータに基づいて、前記現在の画素に対して勾配重み付けフィルタリング（gradient weighted filtering）を行う勾配重み付けフィルタリング手段と、を含み、
   前記フィルタリングパラメータは、異なる前記分散値に応じて連続的に設定され、
   前記勾配重み付けフィルタリング手段は、
   勾配重み付けフィルタリングの、前記現在の画素を中心とする探索ウィンドウのサイズ、及び比較ウィンドウのサイズを設定するウィンドウ設定手段と、
   前記フィルタリングパラメータに基づいて、前記探索ウィンドウにおける全ての探索点の重みを計算する重み計算手段と、
   前記全ての探索点の重み、及び全ての探索点の色度値又は輝度値に基づいて、前記現在の画素の勾配重み付けフィルタリングの結果を計算するフィルタリング結果計算手段と、を含む、フィルタリング装置。