JP4002599B2

JP4002599B2 - 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置

Info

Publication number: JP4002599B2
Application number: JP2003402327A
Authority: JP
Inventors: 勉正道寺
Original assignee: NIPPON INSTITUTE OF TECHNOLOGY
Current assignee: NIPPON INSTITUTE OF TECHNOLOGY
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2007-11-07
Anticipated expiration: 2023-12-01
Also published as: US20050117807A1; JP2005167520A; US7426313B2

Description

本発明は、ディジタル圧縮画像の復号時に生じるノイズの除去アルゴリズムに関し、特に該アルゴリズムを用いたＪＰＥＧ圧縮復号化方式におけるモスキート・ノイズの削減方法及び装置に関する。

ディジタル画像を圧縮する場合に、ＪＰＥＧ（Joint Photographic Experts Group：ＩＳＯとＩＴＵ・ＴＳの共同組織）圧縮符号化方式が広く一般に用いられている。ＪＰＥＧ圧縮符号化方式には、可逆符号化方式と非可逆符号化方式が用意されているが、高圧縮率を実現できる非可逆符号化方式のＪＰＥＧべースラインアルゴリズムが一般的に使われている。ＪＰＥＧ圧縮画像は、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）と量子化テーブル、そしてハフマン符号化を利用して得られる圧縮画像である。非可逆圧縮方式による画像は、劇的に高い圧縮が得られることと引き換えに、画質の劣化や様々なノイズが発生することがある。

２００１年１月には、ＪＰＥＧ圧縮方式を発展させた規格としてＪＰＥＧ２０００が制定された。ＪＰＥＧ２０００のフォーマットを利用できるソフトやプラグインの整備がＪＰＥＧ圧縮方式に比べ整っていないことから、今のところＪＰＥＧ圧縮方式が広く利用されている。

ＪＰＥＧ２０００の符号化は、図３に示すように、水平方向に二分割され、続いてそれを垂直方向に二分割され、縦横それぞれが１／２に縮小された4つの要素に変換される。この「水平と垂直」の各要素は、「低周波と低周波」、「低周波と高周波」、「高周波と低周波」、「高周波と高周波」というように、視覚的に重要な成分である低周波成分と、さほど重要でない高周波成分との要素に分かれていく。この重要な要素である低周波成分に対し、繰り返し同様の処理を実行していくことにより、階層化された要素が生成される。このとき、要素中の重要性の低い高周波成分を粗く量子化するとデータは圧縮される。ＪＰＥＧ２０００符号化と復号化の流れを図４に示す。

ＪＰＥＧ２０００ではＤＷＴ（Discrete Wavelet Transform：離散ウェーブレット変換）を使用している為、８×８ブロックごとにＤＣＴで処理しているＪＰＥＧに比べてブロックノイズが目立たなく、またモスキート・ノイズについても改善が期待されるが、圧縮を進めると画像の劣化が生じる。劣化は特に画像中のエッジ部分でめざわりな画質劣化が生じていることが多く、輝度値の変化の激しい部分に対してＪＰＥＧ２０００を用いて符号化・復号化を行うとエッジ部分が鈍ってしまう。劣化が顕著にあらわれる画像の例として図５を示す。図５（ａ）の画像をＪＰＥＧ２０００を用いて符号化・復号化した画像が図５（ｂ）である。図５（ａ）、図５（ｂ）のある個所（同一個所）における水平画素の輝度値の変化図を図６（ａ）、図６（ｂ）に示す。輝度値の変化からも明らかなように、エッジ部分での劣化が目立っている。

ＪＰＥＧ圧縮符号化方式で高圧縮処理をした場合に発生する主なノイズには、ブロックノイズ（ＪＰＥＧ２０００ではアルゴリズムの特性上、ブロックノイズは発生しないが、偽輪郭ノイズは発生する）とモスキート・ノイズがあり、いずれも人間にとって目障りなノイズである。これらのノイズのうち、ブロックノイズや偽輪郭ノイズを軽減するアルゴリズムは既に提案しており、この発明は、ＪＰＥＧ／ＪＰＥＧ２０００圧縮方式などを用いて高圧縮を行ったときに発生するノイズのうち、特にモスキート・ノイズを軽減するためのアルゴリズムに関する。

上記モスキート・ノイズは、画像内に鋭い輪郭や孤立点、斜め線などが含まれている場合に発生することが知られている。従来、輪郭を保ったままモスキート・ノイズを除去するには、ε−分離非線形ディジタルフィルタ（以後、εフィルタと呼ぶ）が効果的であることが知られており、同じ発明者は画像の領域ごとにε値を変える可変εフィルタ・アルゴリズム(以後、旧アルゴリズムと呼ぶ)を既に提案している。εフィルタは急峻な変化を保ったまま、設定したε値以内の細かなノイズを除去することができるフィルタである。ε＝０の場合は原画像を全く変化させず、ε＝∞の場合は低域通過フィルタと同じ働きをする。εフィルタの概念図を図１２に示す。

以下、上記旧アルゴリズムについて説明する。
（ａ）Ｓｔｅｐ１：輝度値の分散を用いた画像輪郭部の検出
Ｓｔｅｐ１.1：図８に示すように、劣化の発生条件となる鋭い輪郭を検出するために、画像全体の各画素に対し、注目画素を中心とするＮ×Ｎの画素に対する輝度値の分散を１画素毎に求める。このときに用いる輝度値とは、カラーのＪＰＥＧ／ＪＰＥＧ２０００圧縮復号画像に適用する場合には、ＹＣｂＣｒ表色系の輝度値とする。輝度は各色２５６段階（８ビット）で表現される。

Ｓｔｅｐ１.2：ノイズが鋭い輪郭の周囲に対して発生することを考慮し、Ｓｔｅｐ１で求めた画素毎の分散をもとにＭ×Ｍの範囲に入る画素を一つずつ比較し、図９に示すように範囲内の一番大きな分散値をその点の分散値の代表値とする。
（ｂ）Ｓｔｅｐ２：ノイズ除去フィルタ（可変εフィルタ）の実行
図１０に示すように、Ｓｔｅｐ１で求めたブロック毎の分散値に対応した値をブロック毎のεフィルタのε値と設定し、そのε値でブロック毎にεフィルタを施す。

以上のステップの処理で、輪郭を保ったままＪＰＥＧ／ＪＰＥＧ２０００圧縮方式で発生する輪郭部分のノイズを除去するため、ＪＰＥＧ圧縮方式に対して効果があったεフィルタが基本として用いられている。図７（ａ）では、エッジ部分に輝度値の細かな変動（これがモスキート・ノイズとなって現れる）が現れているが、図７（ｂ）ではきれいに除去されていることが分かる。この、εフィルタは設定されたしきい値の範囲外の入力を0にするフィルタであるため、しきい値の設定が重要である。例えば、しきい値が原画像に含まれる輪郭の境界の信号値の差よりも大きい場合には、劣化による変化分を除去するだけでなく、原画像に含まれる意味のある情報まで平滑化されてしまい、画像の品質が損なわれてしまう。そこで、上記Ｓｔｅｐ１，２に示すように画像の輪郭情報によって、フィルタのε値の調整をし、意味のある情報の平滑化を防いだ。
（ｃ）εフィルタの特性
式（１），式（２）にフィルタの式を示す。

このフィルタは考慮する領域（ｘ_n,m を中心とするＭ×Ｍの領域）の画素が、注目画素ｘ_n,m の値に対して±εの範囲にある画素だけの平均値を取るために、輪郭のような大きな変化を保ったまま設定したε値以下の細かなノイズを除去することができるフィルタとなっている。

また、εについては、ε＝０のときはフィルタとしては働かず注目画素の値をそのまま返し、ε＝∞では低域通過フィルタと同じ作用となる性質がある。分散マトリックスを求めるためのＮ、しきい値マトリックスのＭを求めるために、典型的な輪郭でノイズのおよぶ範囲を検討した。その結果、ほぼその領域をカバーできる条件として、Ｎ＝７、Ｍ＝９と設定した。εの設定は、９×９の分散マトリックスの最大値の０．０１倍と設定している。これにより、典型的な輪郭で生じるノイズは、ほぼ修復できる。

このアルゴリズムは、あらかじめ定めたフィルタ窓（以後、ブロックと呼ぶ）の各画素に対応する輝度値（カラー画像の場合、ＹＣｂＣｒ表色系の輝度値を用いる）情報を用いて、ブロック内の輝度値のばらつきの大きさを輝度値の分散で表現した。しかし、このとき分散の値を補正するための係数（厳密には、画像によって最適な係数の値は異なる。上記の場合、０．０１と設定した。）を計算しなければならないという欠点があった。図１１に５×５サイズのブロックを示す。
特開平７−２３２２７号公報特開平８−６５６７３号公報特開２００１−２９８６２１号公報特開平７−１７７５２２号公報

本発明の課題は、前記従来例の欠点を無くし、εフィルタのアイディアを用いて作成したアルゴリズムを改良し、自動的にノイズ軽減フィルタのパラメータ(ε値)を決定でき、改善対象画像がどの圧縮アルゴリズムによって圧縮されたかに依存しないアルゴリズムを用いた圧縮復元画像におけるモスキート・ノイズの削減方法及び装置を提供することを目的とする。

上述した課題を解決するため、この発明の圧縮画像の復号化におけるモスキート・ノイズの削減方法及び装置は、ディジタル圧縮画像の復号時に生じるモスキート・ノイズの除去アルゴリズムを用いた該圧縮画像の復号化方法において、上記ディジタル圧縮復号化画像をブロック単位に分割し、該ブロック内のディジタル圧縮画像の輝度値情報からブロック内の「ばらつき」の大きさを表す尺度として、本発明では標準偏差又は変動係数（変動係数＝ブロック内の標準偏差／ブロック内の平均値）を提案している。圧縮復元画像の各ブロックから標準偏差又は変動係数を計算し、該計算された標準偏差又は変動係数の値でブロック内を埋めたεマトリックスを求め、該求められたεマトリックスに基づき、注目画素を含むブロックの標準偏差又は変動係数をεフィルタのε値として用い、前記ディジタル圧縮画像を該εフィルタに通すことによりモスキート・ノイズを除去するアルゴリズムを用いることを特徴とする。

また、特に好適には前記ディジタル圧縮画像がＪＰＥＧ圧縮方式による圧縮画像であることを特徴とする。

本発明の提案するアルゴリズムは、前記従来例における補正係数を計算する必要がないため、画質改善対象画像に適したアルゴリズムであり、計算手間の面でも旧アルゴリズムに比べて優れている。

以下、図面を参照し、実施例にもとづき本発明を詳細に説明する。
この発明のアルゴリズムは、次に示す２つのＰｈａｓｅ（「画像情報の収集：ＰｈａｓｅＩ」と「εフィルタ適用：ＰｈａｓｅII」）から成り立っている。

（ＰｈａｓｅＩ）
モスキート・ノイズの発生条件となる鋭い輸郭が存在する領域を発見するために、ブロック単位（実験に使用したサイズは８×８である）で輝度値情報からブロック内の標準偏差又は変動係数（変動係数＝ブロック内の標準偏差／ブロック内の平均値）を計算する。計算された標準偏差又は変動係数の値で、ブロック内を埋めると、ブロック単位でのモザイク模様の行列（これをεマトリックスと呼ぶ）ができる（図１参照）。標準偏差又は変動係数の値が各ブロックでのεフィルタのε値となる。

（ＰｈａｓｅII）
ＰｈａｓｅIIで計算されたεマトリックスを用いて、原画像の各画素に対してεフィルタを適用する。フィルタを適用して、任意ブロック内の輝度値の平均値を出力する。ただし、平均値は任意サイズのブロックに含まれる画素に対して、「プロックの注目画素の輝度値±ε値の範囲に収まる」という条件を満たした値だけを用いて計算される(図２参照)。なお、上記輝度値とは、圧縮画像の画素データを意味する。上記平均値がノイズを除去した復元値として用いられる。カラー画像の場合には、各色成分ごとに実行される。

さらに、詳述すると以下のとおりである。
圧縮復元画像の１ピクセル（画素）ずつに対して、εマトリックスの情報を使って対応する出力値を計算する。出力値を計算するときのブロックサイズは任意で構わないが、通常は５×５、７×７、９×９等を用いる。図２はこのプロセスを示し、ある注目画素ｘ_i,j に対する出力値ｙ_i,j はｘ_i,j の対応するε値（εマトリックスの第ｉ行、第ｊ列の値）を利用してｘ_i,j ±ε値を求め、注目画素を含むブロック内のすべての画素に対する輝度値と比較してｘ_i,j ±ε値の範囲に入る値だけを抜き出し、それらの輝度値の平均値を計算して注目画素に対する出力値ｙ_i,jとする。上述の手順において７×７のブロックサイズの場合を示した図が図１９である。このとき、７×７のブロックサイズ（注目画素をｘ_i,j とする）におけるｘ_i,j に対する出力値ｙ_i,j の計算式は式（３）のとおりである。

ここで、関数Ｔ［ｘ］は、−ε＜ｘ＜εを満たすときＴ［ｘ］＝１、それ以外のときはＴ［ｘ］＝０を返す関数である。
この作業をすべての画素に対して行う。なお、左下や右下の角に当たる画素や、上下左右の辺に位置する画素に対するブロックは、図１９に示す如く、それぞれミラーリング（存在しない領域は同じ値で埋めること）を行うことで同一サイズのブロックを生成する。

（実験結果）
この発明が提案するアルゴリズムを用いて実験した結果を図１３〜図１６に示す。実験に使用したεフィルタのブロックサイズ（ＰｈａｓｅII）は５×５である。

図１３はＪＰＥＧ圧縮復元画像、図１４はεフィルタを適用した画像、図１５は旧アルゴリズムを適用した画像、図１６は本発明のアルゴリズム（以後、新アルゴリズムと呼ぶ）を適用した画像である。

図１７、図１８に別の画像に提案したアルゴリズムを適用した結果を示す。図１７はＪＰＥＧ２０００で圧縮した圧縮復元画像でモスキート・ノイズが強く現れているのが分かる。図１８は、図１７に新アルゴリズムを適用して修復した画像である。

主観評価では、新アルゴリズムを適用した画像の方が、すべて良い評価を得た。
ＰｈａｓｅＩで標準偏差又は変動係数を計算するときに用いた平均値は、算術平均である。この外にも平均には幾何平均、調和平均などがあるが、実験に用いた画像では算術平均を用いた場合の結果が最も良かった。なお、図１６は変動係数を用いた場合の結果である。

上述のように、旧アルゴリズムでは注目画素に対する分散をそれぞれに計算した上で、εマトリックスを作成していたことに加え、ε値を補正するための任意定数が必要であった。これに対し、新アルゴリズムではεマトリックスの作成手順が簡略化されたことに加え、ε値を補正するための任意定数を対象画像の情報のみを用いて算出できるようになった。これにより、計算方法の複雑化を避け、総計算量を減らすことができるばかりでなく、プログラムコード作成面でも有利である。計算量の削減は、画像のサイズが大きくなればなるほど計算コストを下げられることを意味している。

一方、画質改善の面では実験結果から明らかなように、新アルゴリズムは旧アルゴリズムに比べて質感を保ちながらモスキート・ノイズを削減できることが分かった。

本発明の圧縮復元画像におけるモスキート・ノイズの削減方法及び装置は、自動化された可変εフィルタを用いることにより、どの方式で圧縮したかを問わずビットマップ形式の圧縮復元画像に現れるモスキート・ノイズを効率良く取り除くことができる。

そして、特に、伝送容量の限られた媒体を介して画像を圧縮伝送する場合の受信画像の改善に効果があり、計算量が少なく、Ｍｏｔｉｏｎ−ＪＰＥＧ／Ｍｏｔｉｏｎ−ＪＰＥＧ２０００などの動画像に対しても１フレームごとに画像処理を行うことができるため、特に携帯電話でのユーザ間の動画像伝送やユーザへの動画像配信、又個人向けのビデオキャプチャーカードへの組み込みなどに用いることが期待できる。

本発明のεマトリックス作成の説明図である。本発明のεフィルタによる処理の説明図である。ＪＰＥＧ２０００の符号化の説明図である。ＪＰＥＧ２０００の符号化と復号化の流れを示す図である。ＪＰＥＧ２０００による符号化・復号化の例を示す図である。原画像とＪＰＥＧ２０００による圧縮復元画像のエッジ部分の輝度値の変化を示す図である。 εフィルタの特性を示す図である。従来例（旧アルゴリズム）の分散の計算の説明図である。図８において分散値の代表値を求める時の説明図である。従来のεフィルタによる処理の説明図である。５×５のフィルタ窓を示す図である。 εフィルタの効果を示す図である。本発明の圧縮復元画像におけるモスキート・ノイズの削減方法に用いた比較用画像例のＪＰＥＧ２０００による復号化原画像を示す図である。図１３にεフィルタを用いた場合の画像を示す図である。図１３に旧アルゴリズムを用いた場合の画像を示す図である。図１３に本発明のアルゴリズムを用いた場合の画像を示す図である。ＪＰＥＧ２０００によるモスキート・ノイズを含んだ圧縮復元画像を示す図である。図１７に本発明のアルゴリズムを用いた場合の画像を示す図である。左下や右下の角に当たる画素や、上下左右の辺に位置する画素に対するブロックについて行うミラーリングの説明図である。

符号の説明

１標準偏差
２復号化画像
３ εフィルタのマトリックス
４ノイズ削減画像
５ εフィルタ
１０分散の計算
１１分散の最大値
１２ εフィルタ

Claims

ディジタル圧縮画像の復号時に生じるモスキート・ノイズの除去アルゴリズムを用いた該圧縮画像の復号化方法において、
上記ディジタル圧縮復号化画像をブロック単位に分割し、該ブロック内のディジタル圧縮画像の輝度値情報からブロック内の標準偏差又は変動係数を計算し、該計算された標準偏差又は変動係数の値でブロック内を埋めたεマトリックスを求め、該求められたεマトリックスに基づき、注目画素を含むブロックの標準偏差又は変動係数をεフィルタのε値として用い、前記ディジタル圧縮画像を該εフィルタに通すことによりモスキート・ノイズを除去するアルゴリズムを用いることを特徴とする圧縮画像の復号化におけるモスキート・ノイズの削減方法。
前記ディジタル圧縮画像がＪＰＥＧ又はＪＰＥＧ２０００圧縮方式によって得られた圧縮画像であることを特徴とする前記請求項１記載の圧縮画像の復号化におけるモスキート・ノイズの削減方法。
ディジタル圧縮画像の復号時に生じるモスキート・ノイズの除去アルゴリズムを用いた該圧縮画像の復号化装置において、
上記ディジタル圧縮復号化画像をブロック単位に分割し、該ブロック内のディジタル圧縮画像の輝度値情報からブロック内の標準偏差又は変動係数を計算し、該計算された標準偏差の値でブロック内を埋めたεマトリックスを求め、該求められたεマトリックスに基づき注目画素を含むブロックの標準偏差又は変動係数をεフィルタのε値として用い、前記ディジタル圧縮画像を該εフィルタに通すことによりモスキート・ノイズを除去するアルゴリズムを用いることを特徴とする圧縮画像の復号化におけるモスキート・ノイズの削減装置。
前記ディジタル圧縮画像がＪＰＥＧ又はＪＰＥＧ２０００圧縮方式によって得られた圧縮画像であることを特徴とする前記請求項３記載の圧縮画像の復号化におけるモスキート・ノイズの削減装置。