JP5180550B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、フィルタ等によるノイズ除去を行い画像の高画質化を実現する画像処理装置及び画像処理方法に関する。

一般に映像、音声情報をデジタル化して記録・伝送する場合、デジタルデータを圧縮符号化してデータ量を低減し、これを受信・再生する場合は圧縮されたデータを復号化する圧縮符号化技術が用いられる。例えば非特許文献１には、Ｈ．２６４／ＡＶＣ方式という高精細画像向けの高圧縮技術が開示されている。このような圧縮符号化技術によって圧縮された画像には、ブロックノイズ、モスキートノイズと呼ばれる圧縮によって生じるノイズが付加されてしまう。またカメラで撮像した画像においては、様々なノイズが乗っており、これを効果的に除去する必要がある。

これらのノイズを除去するために、次のようなポストフィルタ技術が提案されている。

例えば特許文献１には、画像データの高周波成分を抽出するラプラシアンフィルタと、抽出された高周波成分のうち輪郭部分を表わす高周波成分のみを保存するメディアンフィルタとを備える画像圧縮装置が開示されている。

また特許文献２には、動きの大きい画像のノイズを低減するために、目標ブロックを識別する動き推定手段と、現在のブロックと重みフィルタリング係数により重み付けされた目標ブロックとの画像成分を平均化する動き補償ノイズ低減手段を備えるシステムが開示されている。

特開平０５−３４４３４６号公報 特開平０７−２７４０４４号公報 Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ："Ｔｅｘｔ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ"，ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，（Ｄｅｃｅｍｂｅｒ，２００３）．

上記特許文献１の技術によれば、ノイズを抑制した分だけ本来画像に含まれる輪郭（エッジ）を崩してしまう場合があり、必ずしも高い画質を実現することができない。また上記特許文献２では、動きの大きさを複数フレームにわたって検出し、さらに閾値によってパラメータを決めなければならず、簡単に高画質なフィルタを実現することは難しい。高画質なポストフィルタを実現するためには、時間方向と空間方向の両方に対して画素の連続性を反映することが望ましいが、今まで考慮されていなかった。

従来の空間方向（二次元平面）の処理を行うフィルタでは、平滑化によって被写体のエッジが崩れ、画像の鮮鋭度が落ちてしまうという問題点がある。その際、非等方拡散フィルタを用いることによって比較的高精細な平滑化を行うことは可能であるが、空間方向の処理だけでは十分な精度を実現できない。一方、時間方向の処理を行うフィルタでは、比較的鮮鋭度を保つことはできるが、平滑化の能力が十分でなくノイズを十分除去できないという問題がある。

本発明は、上記課題に鑑みてなされたものであり、その目的は時間方向と空間方向の両方に対して適応的に平滑化処理するポストフィルタを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、入力する画像に対して近接するフレーム間で対応する画素を推定する動き推定部と、動き推定部により推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うフィルタとを備え、フィルタは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。

さらに前記フィルタは、フレーム内近接画素との間でエッジの方向に応じて異なる平滑化処理を行うものであって、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行う。

本発明の画像処理方法は、入力する画像に対して、近接するフレーム間で対応する画素を推定するステップと、推定した時間方向に対応する画素間でそれらの信号強度に応じて異なる平滑化処理を行うステップとを備え、平滑化処理ステップでは、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。

本発明によれば、画像に含まれるノイズを好適に除去し、高画質な画像を得ることができる。

以下、本発明の実施例を図面を参照して説明する。
図１は、本発明による画像処理装置の一実施例を示す構成図である。画像処理装置１００は、画像データを入力する画像入力部１０１と、入力した画像データをフレーム毎に保持するフレームバッファ１０２と、複数のフレームから対応する画素の動き推定を行う動き推定部１０３と、時間方向および空間方向に対して平滑化を行う時空間非等方拡散フィルタ１０４と、処理した画像データを出力する画像出力部１０５を備える。

画像入力部１０１は、入力された画像データをフレームバッファ１０２に渡す。フレームバッファ１０２は画像データをフレーム毎に保持しつつ、これらを動き推定部１０３に渡す。動き推定部１０３は、複数のフレームからブロック単位のマッチング、あるいは画素単位のマッチングを行うことによって、処理対象フレームの各画素について、近接するフレームに対する動きの対応点を推定する。これには通常用いられる動き推定の方法を用いればよい。動き推定には誤差や推定の失敗が発生するが、本実施例における方式では、時空間非等方拡散フィルタ１０４が誤差や推定の失敗の影響を回避するように作用するので問題ない。

次に、時空間非等方拡散フィルタ１０４は、時間方向および空間方向に対して適応的な平滑化処理を行う。処理対象画素に対し、動き推定部１０３で推定した時間方向に対応する画素と、空間方向に隣接する画素との間で、エッジや動きのギャップを反映して画像信号の平滑化処理を行う。すなわち、画素間で信号強度の差が大きいときは弱い平滑化を行い、信号強度の差が小さいときは強い平滑化を行う。この平滑化処理は、スイッチ１０６，１０７を端子ｂ側に接続して、所定回数だけ繰り返すのが好ましい。繰り返しにより平滑化の精度が上がり、画質がより向上する。繰り返しの回数は入力画像の画質に応じて適宜設定する。平滑化処理は、時間方向と空間方向の両方に対して同時に処理を行うことによって、最も画質を向上させることができる。ただし、入力画像によっては、時間方向に対してのみ、あるいは空間方向に対してのみ処理を行っても効果があり、フレームの特徴や画素の特徴に応じて、処理のパターンを切り替えることもできる。画像信号の平滑化処理を行った画像データは、画像出力部１０５から出力される。

このように本実施例の画像処理装置１００では、動き推定部１０３からの動き情報を利用して時間方向および空間方向の平滑化処理を行う時空間非等方拡散フィルタ１０４を備えたことに特徴がある。

なお、画像入力部１０１に入力する画像データに圧縮符号化時の動き情報が含まれている場合には、動き推定部１０３はその動き情報を利用して動き推定を行うこともできる。それにより、回路構成を簡略化することができる。

図２は、本発明による画像処理方法の一例を示すフローチャートである。
ステップ２０１において、画像入力部１０１によって画像データがフレームバッファ１０２に入力する。ステップ２０２において、動き推定部１０３によって動き推定処理を行う。動き推定処理は、複数のフレームからブロック単位のマッチング、あるいは画素単位のマッチングを行うことによって、処理対象フレームの各画素について、近接するフレームに対する動きの対応点を推定する処理である。

ステップ２０３において、時空間非等方拡散フィルタ１０４を用いて、上記推定した動きの対応点を含む時空間領域での平滑化処理を行う。ステップ２０４において、平滑化処理の実行回数を判定する。所定回数に達していない場合は、ステップ２０３の平滑化処理を繰り返す。所定回数に達した場合は、ステップ２０５において、平滑化処理後の画像を画像出力部１０５から出力する。

本実施例の画像処理装置及び画像処理方法においては、複数のフレーム間について動き推定を行い、これによって得られた時間方向の対応点情報を利用して、時空間非等方拡散フィルタによる平滑化を行う。これより、画像が本来持っている物体の形状や物体と背景の境界といったエッジを保存しながら、圧縮によって生じたブロックノイズやモスキートノイズを削減することができ、画像を高精細化し、高画質な出力画像を得ることができる。

ここで、時空間非等方拡散フィルタ１０４について説明する。時空間非等方拡散フィルタ１０４は、時間方向および空間方向に対して非等方拡散フィルタ処理を行うフィルタである。非等方拡散フィルタとは、非等方な熱拡散方程式に基づく偏微分方程式で表される処理を対象画素に施すフィルタであり、その定義式については参考文献１に記述されている。２次元平面に対する非等方拡散フィルタでは、線状のエッジを含む画像において、エッジの接線方向とエッジの垂直方向とで重みの異なる平滑化を行う。すなわち、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うものである。

非等方拡散フィルタの例としては、例えば参考文献２に示されるトータルバリエーションフィルタ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｆｉｌｔｅｒ、以下ＴＶＦと略す）がある。ＴＶＦは、処理対象画素と隣接する画素との絶対値差分（Ｌ１ノルム）を基準として、エッジに適応した平滑化を行うフィルタである。非等方拡散フィルタの他の例としては、Ｐｅｒｏｎａ−Ｍａｌｉｋによって提案された非等方拡散法（Ｐｅｒｏｎａ−Ｍａｌｉｋ Ｄｉｆｆｕｓｉｏｎ；ＰＭＤ）がある。

これらの非等方拡散フィルタは、元々画像の復元等に用いられていたものであり、主に２次元平面内の画素の平滑化に対して適用されていた。本実施例では非等方拡散フィルタを２次元平面内の近傍画素だけでなく、時間方向の近傍画素にも同様に扱うことによって、時空間に適用可能な時空間非等方拡散フィルタに拡張したものである。

〔参考文献１〕辻，徳増，高橋，中嶋：“非等方拡散法に基づく空間平滑化フィルタの構築に関する基礎検討”，電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．６，ｐｐ．１０２４−１０３４，（２００５）．
〔参考文献２〕Ｌ．Ｖｅｓｅ，Ｓ．Ｏｓｈｅｒ：“Ｍｏｄｅｌｉｎｇ Ｔｅｘｔｕｒｅｓ ｗｉｔｈ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｍｉｎｉｍｉｚａｔｉｏｎ ａｎｄ Ｏｓｃｉｌｌａｔｉｎｇ Ｐａｔｔｅｒｎｓ ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”，Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ，１９，ｐｐ．５５３−５７２，（２００３）．

以下、時空間非等方拡散フィルタによる平滑処理動作を説明する。ここでは、ＴＶＦの場合を説明し、そのフィルタ演算は数式１で表される。

ここでαは処理を行う対象画素を示し、β，γはαの近傍の画素を示す。Ｎ（α）はαの近傍の画素の集合である。ｕは画素の信号強度（例えば輝度値）を示し、ｗ（ｕ）は画素間の信号強度（輝度）の差に反比例した関数である。よって、画素間で信号強度ｕの差が大きいときはｗ（ｕ）は小さくなり、信号強度の差が小さいときはｗ（ｕ）は大きくなる。λはフィルタリングの強度を調整するフィッティングパラメータである。ＴＶＦでは、数式１のフィルタを処理対象フレームの全ての画素に対して繰り返し施すことによってフィルタリングを行う。画素の輝度ｕは繰り返し処理された画像のものを用いるが、数式１の第２項については入力画像の画素を用いる。

図３は、ＴＶＦを用いた時空間の平滑化処理の一例を示す図である。
図３において、符号３０１が現フレームにおける処理対象画素αであり、符号３０２が現フレームに含まれる空間方向の近傍画素β、γであり、符号３０３が動き推定による前後フレームに含まれる時間方向の近傍画素β’、γ’である。従来は符号３０２で示す空間方向の近傍画素β、γでの処理であったが、本実施例では符号３０３で示す時間方向の近傍画素β’、γ’への処理を追加している。ここでは処理対象画素αを中心に、空間方向に４個の近傍画素と、時間方向に前後フレームの２個の近傍画素を処理範囲に含めている。

数式１において、平滑処理の重み係数ｈは、画素間の輝度の差に反比例した関数ｗ（ｕ）で決定する。よって、対象画素αと６個の近傍画素（β、γ、β’、γ’）を比較して、両者の輝度に大きな差がある方向、すなわち平面内ではエッジに垂直な方向、時間方向では動きのギャップがある方向に対しては、平滑化の重みを小さくし（弱い平滑処理）、輝度差が小さい方向に対しては平滑化の重みを大きくする（強い平滑処理）。これを繰り返し処理することによって画面の広い範囲に対してエッジや動きのギャップを反映したフィルタリングを実現する。

このように、空間方向だけでなく時間方向にも平滑化の近傍画素を拡張することにより、ブロックノイズやモスキートノイズといった空間方向のノイズだけでなく、画面のフリッカやドリフトノイズといった時間方向のノイズも除去することができる。

本実施例の平滑化処理によれば、画像が本来持っている物体の形状や物体と背景の境界といったエッジや、物体の動きによる対応関係を保存しながら、圧縮によって生じたブロックノイズやモスキートノイズ、フリッカやドリフトノイズを削減することができ、高画質な出力画像を得ることができる。

図４は、時空間非等方拡散フィルタを用いたいくつかの処理パターンの例を説明する。ここでも非等方拡散フィルタとしてＴＶＦを用いている。

（ａ）は空間的な近傍画素を用いた画面内ＴＶＦ４０１の場合（空間処理パターン）、（ｂ）は時間的な動き補償位置（動き推定位置）を近傍画素として用いる動き補償時間ＴＶＦ４０２の場合（時間処理パターン）、（ｃ）は空間的な近傍と動き補償位置の両方を用いた動き補償時空間ＴＶＦ４０３の場合（時空間処理パターン）である。

上記実施例では、（ｃ）の動き補償時空間ＴＶＦ４０３によって時空間で高精度の平滑化を行うことを述べた。時間方向と空間方向の両方に対して同時に処理を行うことによって、最も画質を向上させることができるのは言うまでもない。一方で、（ｂ）の動き補償時間ＴＶＦ４０２の場合でも、非等方拡散フィルタの時間方向への適用ということで、新たな処理機能が可能となる。その場合、例えば（ｂ）に示すように前後それぞれ２フレームを含む計５フレームでの処理が可能となり、時間方向に前後２近傍の処理を繰り返すことによって時間方向の平滑化を行う。

以上の各処理パターン、（ａ）空間方向のみ、（ｂ）時間方向のみ、（ｃ）時間方向と空間方向の両方について、フレームの特徴や画素の特徴に応じて切り替えてもよい。これにより、フレームや画素によって適した処理パターンを選択することで、より効率的に画質を向上させることができる。

以上説明した各実施例は、単独でもまた組み合わせても有効に実施できる。また、時空間領域での平滑化処理に用いる時空間非等方拡散フィルタの具体構成は、実施例で述べたものに限定されず、同様の機能を有するフィルタであれば同様に使用できることは言うまでもない。

本実施例の画像処理装置及び画像処理方法によれば、例えば、高圧縮率で符号化された画質の低い復号画像を復号側で高画質に出力することができる。

さらに、本実施例の画像処理装置及び画像処理方法は、画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラ、ＴＶ、プロジェクタ、各種ディスプレイ、ゲーム機等の各種の映像処理装置に適用することによって、精度の高い映像処理装置を提供することができる。

本発明による画像処理装置の一実施例を示す構成図。 本発明による画像処理方法の一例を示すフローチャート。 ＴＶＦを用いた時空間の平滑化処理の一例を示す図。 時空間非等方拡散フィルタを用いた処理パターンの例。

符号の説明

１００…画像処理装置、１０１…画像入力部、１０２…フレームバッファ、１０３…動き推定部、１０４…時空間非等方拡散フィルタ、１０５…画像出力部。

Claims (6)

1. 処理対象画素に対応する異なるフレーム内の画素を画素単位の動き予測により推定する動き推定部と、
   該動き推定部により推定した異なるフレームの画素及び対象画素があるフレーム内の他の画素の双方を参照して定めた重み付けで平滑化処理を行うフィルタと、を備え、
   該フィルタにより、異なるフレームの画素については、画素間で信号強度との差が大きいときは弱い平滑化を、信号強度の差が小さいときは強い平滑化を行うとともに、フレーム内の画素については、エッジと平行な方向に対しては強い平滑化を、エッジと垂直な方向に対しては弱い平滑化を行う、
   ことを特徴とする画像処理装置。
2. 請求項１において、
   前記フィルタは、前記フレームに対して前記平滑化処理を繰り返し行うことを特徴とする画像処理装置。
3. 請求項１または２において、
   前記フィルタは非等方拡散フィルタであることを特徴とする画像処理装置。
4. 処理対象画素に対応する異なるフレーム内の画素を画素単位の動き予測により推定する動き推定ステップと、
   該動き推定ステップにより推定した異なるフレームの画素及び対象画素があるフレーム内の他の画素の双方を参照して定めた重み付けで平滑化処理を行う平滑化処理ステップと、を備え、
   該平滑化処理ステップにより、異なるフレームの画素については、画素間で信号強度との差が大きいときは弱い平滑化を、信号強度の差が小さいときは強い平滑化を行うとともに、フレーム内の画素については、エッジと平行な方向に対しては強い平滑化を、エッジと垂直な方向に対しては弱い平滑化を行う、
   ことを特徴とする画像処理方法。
5. 請求項４において、
   前記フレームに対して前記平滑化処理を繰り返し行うことを特徴とする画像処理方法。
6. 請求項４または５において、
   前記平滑化処理ステップにおいて、非等方拡散フィルタを用いることを特徴とする画像処理方法。

Images