JP2008153812A - ノイズ除去装置 - Google Patents

Abstract

【課題】圧縮・伸長処理された再生画像に対して、再生画像に悪影響を及ぼすことなくノイズを除去するノイズ除去装置を提供する。
【解決手段】このノイズ除去装置は、直交変換の変換単位ブロックごとに、画像データを直交変換し、直交変換結果から、フィルタ処理対象画素の中心領域に対する直交変換結果を抽出するとともに、フィルタ処理対象画素に対する周辺領域中のすべての画素に対応する直交変換結果を抽出する。前記周辺領域内の全ての直交変換結果から、該周辺領域の属性を判定し、判定結果、最大値および距離を出力し、前記中心領域の直交変換結果を用いて、中心領域の属性を判定し、判定結果および最大値を出力する。そして、前記中心領域の属性判定結果および前記周辺領域の属性判定結果により、フィルタ処理対象画素のフィルタを選択し、フィルタ処理対象画素に対して、選択されたフィルタ処理を施して、ノイズを除去した画素を生成する。
【選択図】図１

Description

本発明は、ノイズ除去装置に関し、圧縮・伸長処理された再生画像に発生するノイズを除去し、画質改善を図るものである。

画像をデジタル信号で記録または伝送する場合、その情報量が多いので圧縮符号化するのが一般的であり、最も普及した圧縮符号化方式としてＤＣＴ（Discrete Cosine Transform）符号化方式が知られている。このＤＣＴ符号化方式は、画像を複数個のブロックに分割し、ブロックごとにＤＣＴにより周波数変換し、その結果得られた直流成分の係数データと、複数個の交流成分の係数データを出現確率に応じてビット長の異なるエントロピー符号、例えばハフマンコードに変換し、視覚的冗長な周波数成分を大幅に削減し情報量を圧縮しようとするものである。

記録または伝送のための圧縮率が、画像の持つ情報量に対して適切な範囲である場合、圧縮により情報量の削減を行なっても画像の劣化を感じさせない。しかしながら、記録または伝送のための圧縮率が低い場合や複雑な画像の場合、濃淡変化の大きな輪郭やエッジ近傍にモスキートノイズと呼ばれる特徴的な劣化が生じる。

上記のようなノイズを除去する方法として、エッジ保存型平滑化フィルタが有効であり、次式（１）に示すεフィルタが知られている（例えば、非特許文献１参照）。

ここで、Ｎは平滑化に用いる画素数を規定する整数、ｃ（ｐ，ｑ）はスケールファクタである。中心画素値をｘ（ｉ，ｊ）とし、その隣接画素値ｘ（ｉ＋ｐ，ｊ＋ｑ）を用いて平滑化してノイズを除去するが、中心画素値と隣接画素値との差の絶対値が閾値εよりも大きい場合、その隣接画素値は平滑化には用いず、中心画素値と隣接画素値との差の絶対値が閾値εよりも小さい場合、平滑化が行われる。
したがって、このフィルタは、輪郭やエッジに相当する大きな濃淡変化部分では、閾値εを超えているため、フィルタがかからず保存され、ノイズによる閾値ε以下の濃淡変化部分ではフィルタにより平滑化されノイズが除去される。

しかし、εフィルタは、ノイズ除去に効果がある一方で、画像中のすべてのブロックに一定の閾値で適応すると、閾値が大きいとノイズ除去効果は高いが、画像本来の微細なテクスチャ部分にボケ感を生じさせ画質を劣化させてしまう。また、閾値が小さいと微細なテクスチャ部分のボケ感は抑制できるが、ノイズ除去の効果は低下してしまう。

そこで、特許文献１のように、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対して、再生画像のエッジ部分に悪影響を及ぼすことなく、エッジ周辺に発生しやすいモスキートノイズを的確に低減する手法が提案されている。

図１４は、この方式の機能構成を示すブロック図であり、同図において、入力端子１１０より入力されたＭＰＥＧビットストリームデータは、ＭＰＥＧデコーダ１２０により復号され、エッジ検出部１３０によって、復号された画像データから２つの画素（エッジ検出対象画素組）と、その周辺画素の画素差分値から、エッジ有無と強度が検出される。
ノイズ低減部１４０は、フィルタ処理対象画素がエッジを構成する画素であるか否かを、エッジ検出部１３０から供給されるエッジ有無検出情報に基づき判断し、エッジを構成する画素と判断した場合には、そのフィルタ処理対象画素に対してフィルタ処理を行わないようにする。

一方、ノイズ低減部１４０は、エッジを構成する画素ではないと判断した場合には、フィルタ処理対象画素とそのフィルタ処理対象画素に最も近い最近隣エッジとの距離、および最近隣エッジの強度を、エッジ有無検出情報およびエッジ強度情報に基づいて求め、求めた距離および強度に応じて、フィルタ処理に用いるエッジ保存型平滑化フィルタ特性を選択し、選択されたフィルタを用いてフィルタ処理を行わせ、出力端子１５０から出力する。

この構成により、ブロック単位符号化により符号化された画像データを復号して得た再生画像データに対し、エッジ周辺に発生しやすいモスキートノイズを、再生画像に悪影響を及ぼすことなく（特にエッジ部分に悪影響を及ぼすことなく）的確に低減できる。
信学論（Ａ），ｖｏｌ．Ｊ６５−Ａ，ｐｐ．２９７−３０４，１９８２年、「ε−分離非線形ディジタルフィルタとその応用」 特開２００５−１１７４４９号公報

しかしながら、前述の特許文献１では、エッジ検出が、２つの画素と周辺画素の画素差分値から検出されているので、比較的大きなエッジ部とフラット部は判別できるが、エッジ部とディテール部を精度良く判別することが難しい。例えば、図１５に示した例で説明する。実画素値を実線で表し、隣接画素との差分の絶対値を破線で表すものとすると、エッジ部での隣接差分の絶対値と、ディテール部分の隣接差分の絶対値との差が少ないので、エッジ部分とディテール部分とを判別しにくくなっている。

また、特許文献１では、隣接エッジまでの距離とそのエッジの大きさだけで、ノイズ除去フィルタの強度を決定しているので、例えば、図１６のような画像の場合、８×８ＤＣＴでは、エッジ近傍（図中破線で示された領域Ｂ）のモスキートノイズは除去できるが、最大７画素離れた所に存在するエッジ（図中Ｃの破線で示した画素）の影響で現れるモスキートノイズ（図中破線で示された領域Ａに生じるモスキートノイズ）は、除去することが難しいと考えられる。
逆に、７画素程度離れた場合まで、ノイズ除去優先の設定にすると、他ブロックのエッジの影響でディテール部分が潰れてしまう恐れがある。

本発明は、上述のような実情を考慮してなされたものであって、圧縮・伸長処理された再生画像に対して、再生画像に悪影響を及ぼすことなくノイズを除去するノイズ除去装置を提供することを目的とする。

上記の課題を解決するために、本発明のノイズ除去装置を、次のような構成とする。

本ノイズ除去装置は、入力した画像データにフィルタ処理を施してノイズを除去するノイズ除去装置において、直交変換の変換単位ブロックごとに、前記画像データを直交変換する直交変換処理部と、前記直交変換処理部で生成された直交変換結果から、フィルタ処理対象画素の中心領域に対する直交変換結果を抽出する中心領域抽出部と、前記直交変換処理部で生成された直交変換結果から、前記フィルタ処理対象画素に対する周辺領域中のすべての画素に対応する直交変換結果を抽出する周辺領域抽出部と、前記周辺領域抽出部によって求めた前記周辺領域内のすべての直交変換結果から、該周辺領域の属性を判定し、判定結果、最大値および距離を出力する周辺領域属性判定部と、前記中心領域の直交変換結果を用いて、中心領域の属性を判定し、判定結果および最大値とを出力する中心領域属性判定部と、前記中心領域属性判定部および前記周辺領域属性判定部からの出力情報により、フィルタ処理対象画素のフィルタを選択するフィルタ選択部と、フィルタ処理対象画素に対して、前記フィルタ選択部で選択されたフィルタ処理を施して、ノイズを除去した画素を生成するフィルタ処理部と、を備えている。

前記直交変換は、４×４アダマール変換、あるいは、離散コサイン変換（DCT：Discrete Cosine Transform）、ウォルシュ・アダマール変換（WHT：Walsh-Hadamard Transform）、離散フーリエ変換（DFT：Discrete Fourier Transform）、離散サイン変換（DST：Discrete Sine Transform）、ハール変換（HT：Haar Transform）、スラント変換（SLT：SLant Transform）、カルーネン／レーベ変換（KLT：Karhunen-Loeve Transform）などを適用することができる。

前記周辺領域の属性判定は、前記周辺領域内のすべての直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以上であれば、エッジが含まれていると判定し、さもなければ、エッジが含まれていないと判定する。

前記中心領域の属性判定は、次のように判定する。
（１）前記中心領域の直交変換結果であるすべての周波数成分の絶対値がフラット閾値より小さいときに、フラット領域であると判定する。このとき、前記フラット閾値は、周辺領域にエッジが含まれていると判定された場合、前記周辺領域属性判定部で求めた最大値および距離によって変動させるものとする。
（２）前記中心領域に対する直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以上のときに、中心領域がエッジ領域であると判定する。
（３）前記中心領域の直交変換結果である周波数成分の絶対値のいずれかがフラット閾値より大きく、かつ、前記中心領域に対する直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以下のときに、中心領域がディテール領域であると判定する。

上記の中心領域の属性判定は、フィルタ処理対象画素が含まれるすべての中心領域候補の直交変換結果の周波数成分の平均値を用いて判定してもよいし、前記中心領域に対する直交変換結果の周波数成分同士の比率を用いて判定してもよい。

前記フィルタ選択部は、次のようにフィルタを選択する。
（１）中心領域や周辺領域にエッジがあった場合、エッジ保存型のフィルタを選択する。
さらに、中心領域や周辺領域の属性に応じて次のフィルタを選択する。
（１−１）中心領域がエッジ領域で、周辺領域にエッジがない場合、中心領域属性判定部で求めた最大値で閾値εを決定するεフィルタを選択する。
（１−２）中心領域がフラット領域で、周辺領域にエッジが含まれる場合、周辺領域属性判定部で求めた最大値で閾値εを決定するεフィルタを選択する。
（１−３）中心領域がディテール領域で、周辺領域にエッジが含まれる場合、前記周辺領域属性判定部で求めた最大値と距離とで閾値εを決定するεフィルタを選択する。
（１−４）中心領域がエッジ領域で、周辺領域にエッジが含まれる場合、前記中心領域属性判定部で求めた最大値と前記周辺領域属性判定部で求めた最大値のうちの大きい最大値で閾値εを決定するεフィルタを選択する。

（２）フラットな領域には、単純なぼかしフィルタを選択する。
（３）中心領域がディテール領域で、周辺領域にエッジが含まれない場合、フィルタを施さないようにする。

また、上述した構成のノイズ除去装置の各部として、コンピュータを機能させるためのプログラムを作成しておき、または、そのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータで実行することによっても上記課題を解決することができる。

本発明によれば、圧縮・伸長処理された再生画像のエッジ周辺に目立つモスキートノイズやフラット部分の撮像系ノイズに対しても、再生画像に悪影響を及ぼすことなく除去することができるので、画質の改善を図ることができる。

以下、図面を参照して本発明のノイズ除去装置に係る好適な実施形態について詳細に説明する。
図１は、本発明のノイズ除去装置に係る実施形態の機能構成を示すブロック図であり、同図において、ノイズ除去装置は、直交変換処理部１２、中心領域抽出部１３、周辺領域抽出部１４、周辺領域属性判定部１５、中心領域属性判定部１６、フィルタ選択部１７、フィルタ処理部１８から構成されている。

ノイズ除去対象となる画像データは、入力端子１１から入力され、直交変換処理部１２およびフィルタ処理部１８へ供給される。
この入力する画像データは、ＹＰｂＰｒ(ＹＣｂＣｒ)やＲＧＢのアナログ信号をＡＤコンバータでデジタル化した信号、デジタル放送をデコードした信号、ＤＶＤプレーヤ等のデジタル映像出力からの信号等であり、以下の説明では、１ラインあたりｎ画素でｍライン入力されるとして、（ｍ，ｎ）行列の画素配列Ｘとして入力されるものとする。

直交変換処理部１２は、入力端子１１から供給された画像データを直交変換する。本実施形態では、直交変換の方式として、式（２）の４×４アダマール変換を用いて説明する。

上記の式（２）の右辺の行列Ｘ_０は、入力した画像データの画素配列Ｘの（４，４）の部分行列であり、左辺の行列Ｆは、４×４アダマール変換の結果を示しており、Ｆ００は直流成分、Ｆ０１，Ｆ０２，Ｆ０３は水平周波数成分、Ｆ１０，Ｆ２０，Ｆ３０は垂直周波数成分、その他のＦ１１〜Ｆ３３は水平・垂直周波数成分を表している（図２参照）。

直交変換処理部１２は、図３に示すように画素配列Ｘから（４，４）の部分行列Ｘ_０を１画素単位でずらして取得し、このすべての部分行列Ｘ_０に対して式（２）を適用して、変換結果を出力する。
この変換結果は、例えば、ずらしの単位である１画素当たり１５個の要素（Ｆ０１，Ｆ０２，Ｆ０３，Ｆ１０，Ｆ１１，Ｆ１２，Ｆ１３，Ｆ２０，Ｆ２１，Ｆ２２，Ｆ２３，Ｆ３０，Ｆ３１，Ｆ３２，Ｆ３３）を出力し、ずらして得た変換単位の画素ブロックに対するアダマール変換結果を順次出力する。

ずらす方向は、図３においては、水平方向に１画素ずつずらして行き（Ａ⇒Ｂ⇒Ｃ⇒…）、１ラインが終了すると、垂直方向へ１画素ずらして２ライン目について同様に水平方向にずらす（Ｄ⇒Ｅ⇒Ｆ⇒…）。これをｎラインになるまで繰り返す。
上述のような４×４の部分配列Ｘ_０を入力された画像データから取り出す方法の一例としては、図４に示すような回路によって行われる。

本実施形態では、ずらす単位を１画素としているが、１画素ずつに限ることはなく、２乃至４としてもよい。一般に、直交変換を行うサイズ（４×４アダマール変換の場合のサイズは４）以内をずらす単位とすることができる。この場合、例えば、図５に示すように部分行列を取り出せなくなったときには、端の画素値を繰り返して使用する。
このように、ずらす単位を増やすことで、処理量は削減できるが、精度は劣化することになるので、処理量と精度とを考慮して、ずらす単位を予め決めるようにする。

尚、本発明のノイズ除去装置では、他の直交変換の方式、例えば、離散コサイン変換（DCT：Discrete Cosine Transform）、ウォルシュ・アダマール変換（WHT：Walsh-Hadamard Transform）、離散フーリエ変換（DFT：Discrete Fourier Transform）、離散サイン変換（DST：Discrete Sine Transform）、ハール変換（HT：Haar Transform）、スラント変換（SLT：SLant Transform）、カルーネン／レーベ変換（KLT：Karhunen-Loeve Transform）などであっても同様に適用することができる。

中心領域抽出部１３は、フィルタ処理対象画素の中心領域に対するアダマール変換結果を、直交変換処理部１２で変換したアダマール変換結果から抽出し、抽出したアダマール変換結果を中心領域属性判定部１６に供給する。この中心領域は、フィルタ処理対象画素が４×４の要素のうちのどの要素位置にあった場合に映像評価がよくなるかをユーザ調整等で予め決定しておく。

例えば、図６（Ａ）に例示したように、フィルタ処理対象画素に対しては、１６個のアダマール変換結果があるが、このフィルタ処理対象画素が４×４の要素のうちのどの要素位置にあった場合に映像評価がよくなるかをユーザ調整等によって位置を決定する。この例では、フィルタ処理対象画素が（Ｂ）に示した位置にあるときの領域を中心領域としている。

周辺領域抽出部１４は、フィルタ処理対象画素に対する周辺領域を設定し、この周辺領域中のすべての画素に対するアダマール変換結果を、直交変換処理部１２で変換したアダマール変換結果から抽出し、周辺領域属性判定部１５へ供給する。ノイズは、単位ブロック内にあるエッジの影響で生じるが、ブロック境界は未知のため、フィルタ処理対象画素が単位ブロック内のどの位置にあっても良いように、映像ソースの圧縮フォーマットの単位ブロックサイズの大きさによって周辺領域が設定される。
例えば、ＭＰＥＧ２の場合、単位ブロックサイズが８×８であるから、最大で７画素離れたところに存在するエッジの影響を考慮して、周辺領域の範囲を決める。

本実施形態では、図７に例示したように、フィルタ処理対象画素から７画素離れている範囲を周辺領域と設定し、図８のように変換単位の画素ブロックをずらすことによってアダマール変換結果をすべて抽出する。

本ノイズ除去装置がＢＤ、ＨＤ ＤＶＤ、ＤＶＤ等のプレーヤ内部に搭載された場合や、デジタルチューナ搭載テレビの内部に搭載された場合、内部デコーダから圧縮フォーマット情報が取得できるので、そのブロックサイズ情報を取得して設定される。
また、アナログ映像信号をＡＤコンバータでデジタル化した映像信号の場合、圧縮フォーマットが分からないため、ユーザ調整で設定するようにする。

周辺領域属性判定部１５は、モスキートノイズがエッジ周辺部に生じることから、周辺領域抽出部１４によって求めたフィルタ処理対象画素に対する周辺領域内のすべてのアダマール変換結果から、周辺領域にエッジが含まれているか否かを判定し、周辺領域におけるエッジの有無、最大値（エッジの大きさ）、距離を中心領域属性判定部１６およびフィルタ選択部１７へ供給する（最大値と距離については後述。）。
この判定は次のようにして行う。

（１）周辺領域にエッジが含まれる。
まず、周辺領域抽出部１４によって求めた周辺領域内の１つのアダマール変換結果のＦ００以外の周波数成分を水平方向（Ｆ０１，Ｆ０２，Ｆ０３）、垂直方向（Ｆ１０，Ｆ２０，Ｆ３０）、水平＋垂直方向（Ｆ１１，Ｆ１２，Ｆ１３，Ｆ２１，Ｆ２２，Ｆ２３，Ｆ３１，Ｆ３２，Ｆ３３）の３種類に分け、それぞれの分類中で周波数成分の絶対値化後の最大値とその最大値のあった周波数成分の位置を求める。
これを、周辺領域内にあるすべてのアダマール変換結果について行い、周辺領域内にある最大値とその最大値のあった周波数成分の位置、フィルタ処理対象画素の要素位置とその最大値のあった周波数成分の要素位置までの距離を求める。

この距離は、√｛（フィルタ処理対象画素の水平要素位置−最大値のあった要素の水平位置）^２＋（フィルタ処理対象画素の垂直要素位置−最大値のあった周波数成分の垂直要素位置）^２｝として計算するか、あるいは、｜フィルタ処理対象画素の水平要素位置−最大値のあった要素の水平位置｜または｜フィルタ処理対象画素の垂直要素位置−最大値のあった周波数成分の垂直要素位置｜のいずれか大きい方を採用する。実現時には、使用できるリソースによりいずれかを選択する。

次に、周辺領域属性判定部１５は、上記のようにして求められた最大値のあった要素がＦ０２、Ｆ２０、Ｆ２２のいずれかであった場合、その最大値がエッジと判定するための閾値以上であれば、モスキートノイズの発生する可能性のあるエッジが含まれていると判定する。
この閾値は、種々の映像ソースを検討してユーザ調整により決定して与えるが、映像データが８ビットで量子化されていた場合には、数十〜数百程度である。
この判定では、４×４アダマール変換の場合、水平方向周波数成分がＦ０２、垂直方向周波数成分がＦ２０、水平＋垂直周波数成分がＦ２２の各成分であるとき、エッジ成分をよく表している周波数成分であることを利用している。

（２）周辺領域にエッジが含まれていない。
上記（１）で求められた最大値のあった要素がＦ０２、Ｆ２０、Ｆ２２以外の要素であった場合、あるいは、最大値がエッジと判定する閾値より小さい場合には、この周辺領域にはエッジが含まれていないと判定する。

図９は、１つのフィルタ処理対象画像に対する周辺領域にエッジがあるか否かを判定する周辺領域属性判定部１５の処理手順を示すフローチャートである。
フィルタ処理対象画素に対する周辺領域内のすべての直交変換（アダマール変換）結果について処理が終了している場合（ステップＳ１／ＹＥＳ）、ステップＳ６へ制御を移す。

一方、フィルタ処理対象画素に対する周辺領域内のすべての直交変換（アダマール変換）結果について処理が終了していない場合（ステップＳ１／ＮＯ）、処理していない直交変換（アダマール変換）結果の中のすべての周波数成分について絶対値化し（ステップＳ２）、Ｆ００以外の周波数成分を水平方向（Ｆ０１、Ｆ０２、Ｆ０３）、垂直方向（Ｆ１０、Ｆ２０、Ｆ３０）、水平＋垂直方向（残りすべて）の３種類に分け、それぞれの分類中の最大値を求める（ステップＳ３）。

分類ごとに前回求めた最大値と今回求めた最大値を比較し、今回求めた最大値の方が大きいときには（ステップＳ４／ＹＥＳ）、分類ごとに今回の最大値とその最大値のあった周波数成分の要素位置、フィルタ処理対象画素の要素位置とその最大値のあった要素位置までの距離を求め（ステップＳ５）、制御をステップＳ１へ戻す。
また、今回求めた最大値の方が小さいときには（ステップＳ４／ＮＯ）、制御をステップＳ１へ戻す。

フィルタ処理対画素に対する象周辺領域内にあるすべての直交変換（アダマール変換）結果について終わったとき（ステップＳ１／ＹＥＳ）、これまでに求められた最大値のあった要素がＦ０２、Ｆ２０、Ｆ２２のいずれかであった場合（ステップＳ６／ＹＥＳ）、周波数成分Ｆ０２、Ｆ２０、Ｆ２２の中の最大値を求めるとともに、この最大値のあった要素の位置と距離とを求め（ステップＳ７）、この最大値がエッジと判定するための閾値以上であれば（ステップＳ８／「最大値＞閾値」）、モスキートノイズの発生する可能性のあるエッジが含まれていると判定する（ステップＳ９）。

一方、これまでに求められた最大値のあった要素がＦ０２、Ｆ２０、Ｆ２２以外の要素であった場合（ステップＳ６／ＮＯ）、あるいは、ステップＳ７で求められた最大値がエッジと判定するための閾値以下であれば（ステップＳ８／「最大値＜閾値」）、エッジが含まれていないと判定する（ステップＳ１０）。
最後に、フィルタ処理対象画素に対する周辺領域におけるエッジの有無、最大値（エッジの大きさ）、距離を出力する（ステップＳ１１）。

中心領域属性判定部１６は、フィルタ処理対象画素に対する中心領域のアダマール変換結果を用いて、このフィルタ処理対象画素が、フラット、ディテール、エッジのどの領域であるかを判定し、中心領域がフラット、ディテール、エッジのどの領域であったか、エッジと判断したときの周波数成分の絶対値化後の最大値とをフィルタ選択部１７へ供給する。
上記中心領域の属性判定は、次のようにして行う。

（１）中心領域がフラットである。
中心領域のアダマール変換結果である、Ｆ００〜Ｆ３３の１６個の周波数成分のうち、直流成分であるＦ００を除いた１５個のすべての周波数成分の絶対値がフラットと判定するための閾値より小さい場合、フラットと判定する。このときの閾値は、種々の映像ソースを検討して決定されるものであり、映像データが８ビットで量子化されていた場合、数十程度である。

また、この閾値は、周辺領域にエッジが含まれていると判定された場合、例えば、周辺領域属性判定部１５で求めた最大値に比例させ、距離に反比例させる等して、その最大値、距離によって変動させる。
新閾値＝ 旧閾値＋（周辺領域の周波数成分の最大値）×（最大値の規格化係数）／
（周辺領域の周波数成分の最大値がある領域までの距離）×（距離の規格化係数）
このような閾値とするのは、本来、フラットであった部分が、モスキートノイズによってディテールと判定されるのを防止するためである。

（２）中心領域がエッジである。
上記（１）でフラットと判定されなかった場合、周辺領域属性判定と同様にＦ００以外の周波数成分を水平方向（Ｆ０１，Ｆ０２，Ｆ０３）、垂直方向（Ｆ１０，Ｆ２０，Ｆ３０）、水平＋垂直方向（Ｆ１１，Ｆ１２，Ｆ１３，Ｆ２１，Ｆ２２，Ｆ２３，Ｆ３１，Ｆ３２，Ｆ３３）の３種類に分類し、３つの分類のそれぞれの中で周波数成分の絶対値化後の最大値とその周波数成分を求め、Ｆ０２、Ｆ２０、Ｆ２２のいずれかに最大値が存在し、その最大値がエッジと判定するための閾値以上のときにエッジと判定する。
この閾値は、種々の映像ソースを検討して決定されるものであるが、映像データが８ビットで量子化されていた場合、数十〜数百程度である。

（３）中心領域がディテールである。
上記の（１）および（２）でいずれでもないと判断されたときには、中心領域がディテールであると判定する。

上記の判定は、処理対象画素が含まれるすべての中心領域候補のアダマール変換（例えば、４×４のアダマール変換を１画素ずつずらした場合、処理対象画素が含まれるアダマール変換は１６セットの中心領域候補が存在する）の変換値の平均値を用いて行ってもよい。例えば、平均値がエッジ判定用の閾値以上のときエッジ、平均値がフラット判定用の閾値以下のときフラット、それ以外のときはディテールと判定する。
あるいは、周波数成分同士の比率を用いて行ってもよい。例えば、水平周波数方向のＦ０１とＦ０２、Ｆ０２とＦ０３の比率を求め、２つ共所定の閾値以上のときエッジ、２つ共所定の閾値以下のときディテール、それ以外のときはフラットと判定する。

図１０は、フィルタ処理対象画像に対する中心領域の領域属性を判定する中心領域属性判定部１６の処理手順を示すフローチャートである。
中心領域のアダマール変換結果である、Ｆ００〜Ｆ３３の１６個の周波数成分のうち、直流成分であるＦ００を除いた１５個のすべての周波数成分の絶対値を求める（ステップＳ２１）。
すべての周波数成分の絶対値がフラットと判定するための閾値より小さい場合（ステップＳ２２／「成分＜閾値」）、フラットと判定し（ステップＳ２３）、ステップＳ２９へ制御を移す。この閾値は、このフィルタ処理対象画素の周辺領域にエッジが含まれていると判定された場合、周辺領域属性判定部１５で求めた最大値、距離によって変動させる。

一方、周波数成分の絶対値のいずれかがフラットと判定するための閾値より大きい場合（ステップＳ２２／「成分＞閾値」）、周辺領域属性判定と同様にＦ００以外の周波数成分を水平方向（Ｆ０１，Ｆ０２，Ｆ０３）、垂直方向（Ｆ１０，Ｆ２０，Ｆ３０）、水平＋垂直方向（Ｆ１１，Ｆ１２，Ｆ１３，Ｆ２１，Ｆ２２，Ｆ２３，Ｆ３１，Ｆ３２，Ｆ３３）の３種類に分類し、３つの分類のそれぞれの中で周波数成分の絶対値化後の最大値とその周波数成分を求める（ステップＳ２４）。
Ｆ０２、Ｆ２０、Ｆ２２のいずれかに最大値が存在し（ステップＳ２５／「ある」）、その最大値がエッジと判定するための閾値以上のときに（ステップＳ２６／ＹＥＳ）、中心領域をエッジ領域と判定する（ステップＳ２７）。

他方、ステップＳ５で最大値の要素の位置がＦ０２，Ｆ２０，Ｆ２２のいずれでもない場合（ステップＳ２５／「ない」）、あるいは、ステップＳ２６で最大値がエッジを判定する閾値よりも小さい場合（ステップＳ２６／ＮＯ）、中心領域がディテールであると判定する（ステップＳ２８）。

最後に、中心領域がフラット領域、ディテール領域、エッジ領域のどの領域であったか、エッジと判断したときの周波数成分の絶対値化後の最大値を出力する（ステップＳ２９）。

フィルタ選択部１７は、中心領域属性判定部１６と周辺領域属性判定部１５からの情報により、中心領域や周辺領域にエッジがあった場合、エッジ保存型のフィルタ（例えば、上述の式（１）で示されるεフィルタ）を選択する。このときのフィルタの強度は、中心領域がどのような領域であるかに応じて決定する。
また、フィルタ選択部１７は、空などの一見、一様に見える所にも撮像系のノイズがあり、それを圧縮・伸張する過程でノイズが発生する場合があるので、そのようなフラットな領域には、単純なぼかしフィルタ（例えば、次の式（３）で示される５タップＬＰＦ（Low Pass Filter））を選択する。

ここで、フィルタの選択は、次のようにして行われる。

（１）中心領域がフラット領域で周辺領域にエッジがない場合は、全領域がフラットと考えられるので、ＬＰＦ処理することで、空などの一見、一様に見える所にあるノイズを除去する。

（２）中心領域がディテール領域で、周辺領域にエッジがない場合、フィルタをＯＦＦとしてディテールを保存する。

（３）中心領域がエッジ領域で、周辺領域にエッジがない場合、中心領域属性判定部１６の最大値で閾値εを決定するεフィルタ（ε２フィルタという）を選択し、エッジ周辺のノイズを除去する。この閾値は、最大値あるいは規格化した最大値をもとに決定される。この最大値の規格化は、種々の映像ソースを検討して予め規格化係数を設定し、この規格化係数を乗じることによって求める。
図１１は、周波数成分の最大値でεフィルタの閾値が決定されるときの特性の一例で、最大値に比例して閾値εが大きくなる。

（４）中心領域がフラット領域で、周辺領域にエッジが含まれる場合、周辺領域属性判定部１５の最大値で閾値εを決定するεフィルタ（ε０フィルタという）を選択し、エッジ周辺のノイズを除去する。この閾値は、最大値あるいは規格化した最大値をもとに決定される（図１１）。この最大値の規格化は、種々の映像ソースを検討して予め規格化係数を設定し、この規格化係数を乗じることによって求める。

（５）中心領域がディテール領域で、周辺領域にエッジが含まれる場合、周辺領域属性判定部１５の最大値と距離で閾値εを決定するεフィルタ（ε１フィルタという）を選択し、エッジ周辺のノイズは除去するが、エッジから離れたところではディテールとして保存するようにする。このときの閾値εは、最大値に比例し、距離に反比例するように決定する。また、この最大値や距離を予め種々の映像ソースを検討することによって設定されたそれぞれの規格化係数を乗じたものを使ってもよい。
図１２は、周波数成分の最大値と、フィルタ処理対象画素からその最大値が存在する領域までの距離でεフィルタの閾値εが決定されるときの特性の一例で、最大値に比例し、距離に反比例するように閾値εが決定される。

（６）中心領域がエッジ領域で、周辺領域にエッジが含まれる場合、中心領域属性判定部１６の最大値と周辺領域属性判定部１５の最大値のうちの大きい方の最大値で閾値εを決定するεフィルタ（ε３フィルタという）を選択し、エッジ周辺のノイズを除去する。この閾値は、最大値あるいは規格化した最大値をもとに決定される（図１１）。この最大値の規格化は、種々の映像ソースを検討して予め規格化係数を設定し、この規格化係数を乗じることによって求める。

フィルタ処理部１８は、フィルタ処理対象画素に対して、フィルタ選択部１７で選択されたフィルタ処理を施して、ノイズを除去した画素を生成し、出力端子１９から出力する。

図１３は、入力端子１１から入力したすべてのフィルタ処理対象画素に対してフィルタ処理を施す本実施形態のノイズ除去装置の処理手順を示すフローチャートである。
ノイズ除去対象となる画像データを入力端子１１から入力し、入力した画像データを直交変換処理部１２で直交変換する（ステップＳ３１）。この直交変換は、変換単位を１画素単位でずらしながら変換単位の画素ブロックを取得して、繰り返し行われる。

入力した画像データのすべての画素についてフィルタ処理が終了した場合（ステップＳ３２／「ない」）、ノイズ除去処理を終了する。
一方、入力した画像データのすべての画素についてフィルタ処理が終了していない場合（ステップＳ３２／「ある」）、処理が完了していない画素（以下、フィルタ処理対象画素という）を選択して、中心領域抽出部１３によって、フィルタ処理対象画素の中心領域に対するアダマール変換結果を、直交変換処理部１２で変換したアダマール変換結果から抽出する（ステップＳ３３）。

周辺領域抽出部１４によって、フィルタ処理対象画素に対する周辺領域を設定し、この周辺領域中のすべての画素に対するアダマール変換結果を、直交変換処理部１２で変換したアダマール変換結果から抽出し（ステップＳ３４）、周辺領域属性判定部１５によって、周辺領域内のすべてのアダマール変換結果から、周辺領域にエッジが含まれている領域が存在するか否かを判定し、周辺領域におけるエッジの有無、最大値（エッジの大きさ）、距離を出力する（ステップＳ３５）。

中心領域属性判定部１６によって、中心領域のアダマール変換結果を用いて、このフィルタ処理対象画素が、フラット、ディテール、エッジのどの領域であるかを判定し、中心領域がフラット、ディテール、エッジのどの領域であったか、エッジと判断したときの周波数成分の絶対値化後の最大値を出力する（ステップＳ３６）。

フィルタ選択部１７によって、ステップＳ３５およびステップＳ３６で出力された情報により、中心領域や周辺領域にエッジがあった場合、エッジ保存型のフィルタを選択し、フラットな領域には、単純なぼかしフィルタを選択する（ステップＳ３７）。
フィルタ処理部１８により、フィルタ処理対象画素に対して、ステップ３７で選択されたフィルタ処理を施して、出力端子１９から出力し、フィルタ処理対象画素を処理済としてステップＳ３２へ戻る（ステップＳ３８）。

以上のように構成することにより、入力した画像データを直交変換し、周波数領域で解析することで、ディテール部分を保存しながら、エッジ周辺に目立つモスキートノイズを除去することが可能である。
加えて、フラット部分にもＬＰＦ処理するので、空などの一見、一様に見えるところにも撮像系ノイズがあり、それを圧縮・伸張する過程で発生するノイズも除去できる。

尚、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。例えば、ノイズ除去装置の各部の機能をコンピュータプログラム化し、このコンピュータプログラムを実行することでも実現される。また、このコンピュータプログラムを着脱可能な記録媒体に記録したり、ネットワークや放送波を介してダウンロードすることにより、移送が簡単になり容易に実施することができる。

本発明のノイズ除去装置に係る機能構成を示すブロック図である。 アダマール変換周波数分布を説明する図である。 １度の直交変換で対象とする画素ブロックを説明する図である。 入力画像データから４×４の画素ブロックを取り出す回路の一例である。 直交変換を行うには画素数がたりないときの補完処理を説明する図である。 フィルタ処理対象画素に対する中心領域を説明する図である。 フィルタ処理対象画素に対する周辺領域を説明する図である。 周辺領域に対するアダマール変換結果の抽出を説明する図である。 周辺領域属性判定部の処理手順を示すフローチャートである。 中心領域属性判定部の処理手順を示すフローチャートである。 最大値で決定するεフィルタの閾値特性の一例である。 最大値と距離で決定するεフィルタの閾値特性の一例である。 本発明のノイズ除去装置の処理手順を示すフローチャートである。 従来のノイズ除去装置の機能構成を示すブロック図である。 従来のノイズ除去装置において、エッジ部とディテール部の判別が難しいことを説明する図である。 従来のノイズ除去装置において、離れた所に存在するエッジの影響で現れるモスキートノイズの除去が難しいことを説明する図である。

符号の説明

１１…入力端子、１２…直交変換処理部、１３…中心領域抽出部、１４…周辺領域抽出部、１５…周辺領域属性判定部、１６…中心領域属性判定部、１７…フィルタ選択部、１８…フィルタ処理部、１９…出力端子、１１０…入力端子、１２０…ＭＰＥＧデコーダ、１３０…エッジ検出、１４０…ノイズ低減部、１５０…出力端子。

Claims (20)

1. 入力した画像データにフィルタ処理を施してノイズを除去するノイズ除去装置において、
   直交変換の変換単位ブロックごとに、前記画像データを直交変換する直交変換処理部と、
   前記直交変換処理部で生成された直交変換結果から、フィルタ処理対象画素の中心領域に対する直交変換結果を抽出する中心領域抽出部と、
   前記直交変換処理部で生成された直交変換結果から、前記フィルタ処理対象画素に対する周辺領域中のすべての画素に対応する直交変換結果を抽出する周辺領域抽出部と、
   前記周辺領域抽出部によって求めた前記周辺領域内のすべての直交変換結果から、該周辺領域の属性を判定し、判定結果、最大値および距離を出力する周辺領域属性判定部と、
   前記中心領域の直交変換結果を用いて、中心領域の属性を判定し、判定結果および最大値とを出力する中心領域属性判定部と、
   前記中心領域属性判定部および前記周辺領域属性判定部からの出力情報により、フィルタ処理対象画素のフィルタを選択するフィルタ選択部と、
   フィルタ処理対象画素に対して、前記フィルタ選択部で選択されたフィルタ処理を施して、ノイズを除去した画素を生成するフィルタ処理部と、を備えることを特徴とするノイズ除去装置。
2. 請求項１に記載のノイズ除去装置において、前記直交変換は、４×４アダマール変換であることを特徴とするノイズ除去装置。
3. 請求項１または２に記載のノイズ除去装置において、前記直交変換処理部は、前記変換単位ブロックを直交変換のサイズ以内の画素数でずらして、直交変換を行うことを特徴とするノイズ除去装置。
4. 請求項１乃至３のいずれかに記載のノイズ除去装置において、前記周辺領域は、入力された画像データの圧縮フォーマットの単位ブロックサイズの大きさによって決定することを特徴とするノイズ除去装置。
5. 請求項１乃至４のいずれかに記載のノイズ除去装置において、前記周辺領域の属性判定は、前記周辺領域内のすべての直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以上であれば、エッジが含まれていると判定し、さもなければ、エッジが含まれていないと判定することを特徴とするノイズ除去装置。
6. 請求項１乃至５のいずれかに記載のノイズ除去装置において、前記中心領域の属性判定は、前記中心領域の直交変換結果であるすべての周波数成分の絶対値がフラット閾値より小さいときに、フラット領域であると判定することを特徴とするノイズ除去装置。
7. 請求項６に記載のノイズ除去装置において、前記フラット閾値は、周辺領域にエッジが含まれていると判定された場合、前記周辺領域属性判定部で求めた最大値および距離によって変動させることを特徴とするノイズ除去装置。
8. 請求項１乃至５のいずれかに記載のノイズ除去装置において、前記中心領域の属性判定は、前記中心領域に対する直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以上のときに、中心領域がエッジ領域であると判定することを特徴とするノイズ除去装置。
9. 請求項１乃至５のいずれかに記載のノイズ除去装置において、前記中心領域の属性判定は、前記中心領域の直交変換結果である周波数成分の絶対値のいずれかがフラット閾値より大きく、かつ、前記中心領域に対する直交変換結果の周波数成分の絶対値の最大値がエッジ閾値以下のときに、中心領域がディテール領域であると判定することを特徴とするノイズ除去装置。
10. 請求項６乃至９のいずれかに記載のノイズ除去装置において、前記中心領域の属性判定は、フィルタ処理対象画素が含まれるすべての中心領域候補の直交変換結果の周波数成分の平均値を用いて判定することを特徴とするノイズ除去装置。
11. 請求項６乃至９のいずれかに記載のノイズ除去装置において、前記中心領域の属性判定は、前記中心領域に対する直交変換結果の周波数成分同士の比率を用いて判定することを特徴とするノイズ除去装置。
12. 請求項１乃至１１のいずれかに記載のノイズ除去装置において、前記フィルタ選択部は、中心領域や周辺領域にエッジがあった場合、エッジ保存型のフィルタを選択することを特徴とするノイズ除去装置。
13. 請求項１２に記載のノイズ除去装置において、前記フィルタ選択部は、中心領域がエッジ領域で、周辺領域にエッジがない場合、中心領域属性判定部で求めた最大値で閾値εを決定するεフィルタを選択することを特徴とするノイズ除去装置。
14. 請求項１２に記載のノイズ除去装置において、中心領域がフラット領域で、周辺領域にエッジが含まれる場合、周辺領域属性判定部で求めた最大値で閾値εを決定するεフィルタを選択することを特徴とするノイズ除去装置。
15. 請求項１２に記載のノイズ除去装置において、中心領域がディテール領域で、周辺領域にエッジが含まれる場合、前記周辺領域属性判定部で求めた最大値と距離とで閾値εを決定するεフィルタを選択することを特徴とするノイズ除去装置。
16. 請求項１２に記載のノイズ除去装置において、中心領域がエッジ領域で、周辺領域にエッジが含まれる場合、前記中心領域属性判定部で求めた最大値と前記周辺領域属性判定部で求めた最大値のうちの大きい最大値で閾値εを決定するεフィルタを選択することを特徴とするノイズ除去装置。
17. 請求項１乃至１１のいずれかに記載のノイズ除去装置において、前記フィルタ選択部は、フラットな領域には、単純なぼかしフィルタを選択することを特徴とするノイズ除去装置。
18. 入力した画像データにフィルタ処理を施してノイズを除去するノイズ除去方法において、
    直交変換の変換単位ブロックごとに、前記画像データを直交変換する直交変換処理ステップと、
    前記直交変換処理ステップで生成された直交変換結果から、フィルタ処理対象画素の中心領域に対する直交変換結果を抽出する中心領域抽出ステップと、
    前記直交変換処理ステップで生成された直交変換結果から、前記フィルタ処理対象画素に対する周辺領域中のすべての画素に対応する直交変換結果を抽出する周辺領域抽出ステップと、
    前記周辺領域抽出ステップによって求めた前記周辺領域内のすべての直交変換結果から、該周辺領域の属性を判定し、判定結果、最大値および距離を出力する周辺領域属性判定ステップと、
    前記中心領域の直交変換結果を用いて、中心領域の属性を判定し、判定結果および最大値とを出力する中心領域属性判定ステップと、
    前記中心領域属性判定ステップおよび前記周辺領域属性判定ステップからの出力情報により、フィルタ処理対象画素のフィルタを選択するフィルタ選択ステップと、
    フィルタ処理対象画素に対して、フィルタ選択部で選択されたフィルタ処理を施して、ノイズを除去した画素を生成するフィルタ処理ステップと、を備えることを特徴とするノイズ除去方法。
19. 請求項１乃至１７のいずれかに記載のノイズ除去装置の各部としてコンピュータを機能させるためのプログラム。
20. コンピュータが読み取り可能な記録媒体であって、請求項１９に記載のプログラムを記録したことを特徴とする記録媒体。

Images