JP4066367B2 - 画像ノイズ除去方法 - Google Patents

Description

本発明は、ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズの画像ノイズ除去方法に関する。

高能率な画像データの圧縮方式としては、直交変換符号化を利用して高圧縮を達成する方法が一般的である。この方法について簡単に説明すると、まず、入力画像信号をブロック化回路により例えば８×８画素のブロックサイズのブロックに分割し、分割されたブロックに対して直交変換回路で直交変換を施して周波数成分信号を生成し、次に、直交変換データを所定の量子化ステップ幅で量子化回路により線形量子化を行い、そして、量子化結果を可変長符号化回路により可変長符号を割り当てて符号化画像信号を生成する。直交変換としては、離散フーリエ変換、ウオルシュ・アダマール変換、カルーネン・レーベ変換、離散コサイン変換（ＤＣＴ）等があるが、ＤＣＴが最も普及した直交変換である。

一方、上記圧縮符号化装置で生成された符号化画像信号から入力画像信号に対応する再生画像信号を生成するための復号化装置では、符号化画像信号に対して可変長復号回路により可変長復号化を行い、次に、逆量子化回路により所定の量子化ステップ幅で逆量子化を行い、そして、逆直交変換により再生画像信号を生成する。

ここで、直交変換及び量子化は非可逆変換であるため、復号化装置により得られた再生画像信号は誤差を含んでおり、特に、量子化・逆量子化による量子化誤差が再生画像の画質劣化の原因となっている。量子化ステップ幅が大きい（即ち圧縮率が高い）ほど量子化誤差は大きくなり、再生画像信号の画質劣化が目立つようになる。こうした直交変換に特有の画質劣化としては、ブロック単位で符号化・復号化されるためにブロック間の境界に不連続性が発生してモザイクの様に見えてしまうブロックノイズや、画像中の輪郭の周りにモヤモヤとして蚊の大群がまとわりついたようなモスキートノイズがある。

そこで、ブロックノイズを除去する方式としては、ブロック間の境界を検出し、そのブロック間の境界における画素に対してフィルタを掛ける等して補正を行うようにする方式が提案されている（特許文献１）。また、モスキートノイズを除去する方法としては、注目画素の近傍例えば±３画素について注目画素との差をとり、その絶対値がしきい値より小さい場合にその差をある重み付けをして注目画素に加えていくフィルタ処理が提案されている（特許文献２）。
特開平１０−１９１３３５号公報 特開平１０−１６４５７６号公報

しかしながら、特許文献１に記載されたブロックノイズ除去方法は、ブロックノイズが発生しているために隣接画素間の画素値に大きな差が生じているブロック間の境界なのか、隣接画素間の画素値に大きな差がある単なる画像中の輪郭なのかを判別することができない場合があり、画像中の輪郭をブロック間の境界と誤ってブロックノイズ除去処理されると、画像中の輪郭がぼやけて画質劣化が生じてしまうおそれがあると考える。

また、特許文献２に記載されたモスキートノイズ除去方法は、単純なフィルタ処理であるために処理時間がかからない点で評価できるが、その単純さゆえに画質劣化を生じることなくモスキートノイズを適切に除去することができず、やはり画像中の輪郭がぼやけて画質劣化が生じてしまうおそれがあると考える。

そして、そもそも、量子化・逆量子化による量子化誤差が存する以上、程度の差があるとしても、再生画像にはブロックノイズとモスキートノイズの両方がそれぞれしかる部位に出現するはずであるにも関わらず、ブロックノイズ除去とモスキートノイズ除去の両方を満足する技術は見当たらない。

そこで、本発明は、上記問題に鑑みてなされたもので、画質劣化を生じることなしにブロックノイズとモスキートノイズの両方を適切に除去することができる画像ノイズ除去方法を提供することを課題とするものである。

上記課題を解決するため、本発明に係る画像ノイズ除去方法は、ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズの画像ノイズ除去方法であって、画像データにおける輝度成分画像データ及び色差成分画像データのそれぞれを符号化・復号化と同じブロックに分割し、輝度成分画像データに対しては、ブロック間の境界におけるそれぞれ画素を注目画素として第１のフィルタ処理を行い、ブロック間の境界を平滑化した第１の輝度成分画像データを作成する工程と、該第１の輝度成分画像データのそれぞれ画素を注目画素として第２のフィルタ処理を行い、全体を平滑化した第２の輝度成分画像データを作成する工程と、第１の輝度成分画像データのそれぞれ画素値を第２の輝度成分画像データのそれぞれ画素値で減算したエッジ画像データを作成する工程と、該エッジ画像データのそれぞれ差分値を所定条件に基づいて補正した補正エッジ画像データを作成する工程と、第２の輝度成分画像データのそれぞれ画素値に補正エッジ画像データのそれぞれ補正値を加算した第３の輝度成分画像データを作成する工程とを備え、色差成分画像データに対しては、該色差成分画像データのそれぞれ画素を注目画素として第３のフィルタ処理を行い、全体を平滑化した第１の色差成分画像データを作成する工程を備えてなることを特徴とする。

上記構成からなる画像ノイズ除去方法によれば、第１の輝度成分画像データを作成する工程が輝度差に起因するブロックノイズ除去処理であり、第３の輝度成分画像データを作成する工程が輝度差に起因するモスキートノイズ除去処理である。そして、第１の色差成分画像データを作成する工程が色差に起因するブロックノイズ除去処理であって且つ色差に起因するモスキートノイズ除去処理である。

先にブロックノイズ除去処理を行うのは、モスキートノイズ除去処理が一種のぼかし処理であるため、先にこのモスキートノイズ除去処理を行うと、ブロックノイズが全体にぼけてしまい、後のブロックノイズ除去処理でブロックノイズだけを狙っての除去が難しくなるからである。

また、モスキートノイズ除去処理において、単に第２の輝度成分画像データを作成する工程にとどまらず、エッジ画像データから作成される補正エッジ画像データを第２の輝度成分画像データと合成して第３の輝度成分画像データを作成するようにしたのは、輝度がぼけた第２の輝度成分画像データに補正エッジ画像データを合成することにより、輝度差が大きな輪郭は大きくぼかすことなく、細かな輝度差のみをぼかすことができるから、即ち、画質劣化を生じることなしにモスキートノイズを除去できるからである。

そして、第３の輝度成分画像データと第１の色差成分画像データとを最終のアウトプットとする。これを再生に用いたり、媒体に記憶させてもよいし、また、ＲＧＢ色変換したものを再生に用いたり、媒体に記憶させてもよい。

また、本発明に係る画像ノイズ除去方法は、前記第１のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差の絶対値が所定のしきい値以内に収まるようにクリッピングした値を用いるようにしてもよい。即ち、第１のフィルタ処理は、ブロック間の境界だけを対象としているため、ぼかし過ぎると、ブロック間の境界がぼけた不自然な（不連続な）ブロックとなって、逆にブロックノイズが強調されてしまう。また、何れかのブロックの境界が明るく、他方のブロックの境界が暗い場合、フィルタ処理によって元の画素値よりも行き過ぎてしまう過補正となってしまう。近傍画素の画素値として上記クリッピングした値を用いるのは、これらの不具合を防止するためである。

また、本発明に係る画像ノイズ除去方法は、前記補正エッジ画像データは、前記エッジ画像データにおける最大差分値と最小差分値とからその差を求め、差が所定のしきい値よりも大きい場合は、０（ゼロ）を下限としてエッジ画像データのそれぞれ差分値をその絶対値が小さくなるように所定の調整値で加減することにより作成されるようにしてもよい。差が所定のしきい値よりも大きい場合、画像中に輝度差の大きな輪郭が存在していて、モスキートノイズが出現している可能性が高いことを意味する。その場合、エッジ画像データのそれぞれ差分値をその絶対値（その点の輝度差）が小さくなるように所定の調整値で減算又は加算する。エッジ画像データの全ての差分値を補正対象とする（即ち、モスキートノイズが発生していない部分まで補正する）のは、ブロック内において補正する部分と補正しない部分とが混在すると、その境界が目立ちやすくなるからである。但し、エッジ画像データの差分値のうち、その絶対値が所定の調整値以下のものについては、過補正とならないように０（ゼロ）とする。

加えて、本発明に係る画像ノイズ除去方法は、前記補正エッジ画像データは、前記差が所定のしきい値以下の場合は、エッジ画像データのそれぞれ差分値に所定の調整値を乗算することにより作成されるようにしてもよい。差がしきい値以下の場合、即ち、画像中にあまり輪郭がない平坦なブロックであるが、モスキートノイズが出現している可能性が全くないわけではないので、その場合も、エッジ画像データのそれぞれ差分値を全て所定の調整値で乗算して全体的に輝度差を縮小する。但し、その縮小率は、差が所定のしきい値よりも大きい場合よりも緩やかにする。

また、本発明に係る画像ノイズ除去方法は、前記第３のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差を計算して作成された差分値データに所定の上限下限テーブルを通して上限値、下限値でクリッピングして作成された補正値データに対して行うのが好ましい。視覚特性上、人の目は輝度に比べて色差に鈍感である。従って、色差成分画像データそのものに対して第３のフィルタ処理を行っても特に問題はないが、色差成分画像データから一旦補正値データを作成し、これに対して第３のフィルタ処理を行うことで、不要な色にじみの発生を好適に抑制することができる。

そして、本発明に係る画像ノイズ除去方法は、前記所定の上限下限テーブルは、所定のしきい値よりも絶対値が小さい入力値に対しては、それを出力値とし、所定のしきい値以上の絶対値を持つ入力値に対しては、入力値と同符号のしきい値を出力値とするものを採用することができる。

以上の如く、本発明に係る画像ノイズ除去方法は、ブロックノイズ除去処理とモスキートノイズ除去処理の両方を行うものである。そして、ブロックノイズ除去処理においては、予め複数のブロックに分割し、ブロック間の境界を平滑化するようにしたため、従来のように画像中の輪郭をブロック間の境界と誤ってブロックノイズ除去処理することがなく、画質劣化を生じることなしにブロックノイズを適切に除去することができる。また、モスキートノイズ除去処理においては、従来のように、単なる輝度ぼかし処理で終わるのではなく、その輝度をぼかした画像データに対して補正を加えることにより、画質劣化を生じることなしにモスキートノイズを適切に除去することができる。従って、画質劣化を生じることなしにブロックノイズとモスキートノイズの両方を適切に除去することができるのである。しかも、本発明に係る画像ノイズ除去方法は、輝度成分画像データ及び色差成分画像データのそれぞれに対して別々の処理を行うものであり、この点、より確実な画像ノイズ除去が期待できる。

まず、本発明の一実施形態に係る画像ノイズ除去方法を実現するための画像処理装置の構成について図１に基づき説明する。画像処理装置は、コンピュータによって構成され、それぞれバス７に接続されたＣＰＵ１、ＲＯＭ２、ワーキングメモリ３、フレームメモリ４、データ入出力装置５及びハードディスク６を備えている。ＲＯＭ２は、画像ノイズ除去プログラムを含むコンピュータプログラムや各種パラメータを記憶し、ワーキングメモリ３は、ＣＰＵ１が制御を行うために必要なメモリであり、バッファやレジスタ等を含む。ＣＰＵ１は、ＲＯＭ２に記憶されたコンピュータプログラムに従って各種演算や処理を行う。

フレームメモリ４は、ＪＰＥＧ方式により圧縮符号化された静止画像を復号化して得られた画像データを記憶するためのメモリである。データ入出力装置５に入力された（Ｒ，Ｇ，Ｂ）画像データは、それぞれ（Ｒ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データ）が一旦別々のフレームメモリ４に記憶された上で画像ノイズ除去処理が行われる。画像ノイズ除去処理が終了すると、（Ｒ，Ｇ，Ｂ）画像データは、データ入出力装置５から外部に出力され、あるいはハードディスク６に記憶される。

図２に示す如く、画像ノイズ除去処理では、まず、ＲＧＢ／ＹＣＣ変換処理（Ｓ１）を行ってから、ブロックノイズ、モスキートノイズの画像ノイズ除去処理（Ｓ２）を行う。ＲＧＢ／ＹＣＣ変換処理では、下記（式１）〜（式３）に基づいて（Ｒ，Ｇ，Ｂ）画像データが（Ｙ，Ｃｒ，Ｃｂ）画像データに色変換されるが、ＹＣＣ色空間に変換するのは、ＪＰＥＧ方式がＹＣＣ色空間で圧縮／伸張を行っており、ブロックノイズやモスキートノイズはこのときに発生するので、同じ色空間で画像ノイズ除去処理する方が補正の精度が高くなるからである。
Ｙ ＝ ( RToY[0][0]*R + RToY[0][1]*G + RToY[0][2]*B ) / 10000
Ｃｒ ＝ ( RToY[1][0]*R + RToY[1][1]*G + RToY[1][2]*B ) / 10000 + 2048
Ｃｂ ＝ ( RToY[2][0]*R + RToY[2][1]*G + RToY[2][2]*B ) / 10000 + 2048
・・・（式１）〜（式３）
RToY[i][j]：YCrCb変換係数
画像ノイズ除去処理（Ｓ２）が完了すると、下記（式４）〜（式６）に基づいてＹＣＣ／ＲＧＢ変換処理（Ｓ３）を行うことにより、（Ｙ，Ｃｒ，Ｃｂ）画像データを（Ｒ，Ｇ，Ｂ）画像データに戻して一連の処理を完了する。
Ｒ ＝ ( YToR[0][0]*Y + YToR[0][1]*(Cr-2048) + YToR[0][2]*(Cb-2048) / 10000
Ｇ ＝ ( YToR[1][0]*Y + YToR[1][1]*(Cr-2048) + YToR[1][2]*(Cb-2048) / 10000
Ｂ ＝ ( YToR[2][0]*Y + YToR[2][1]*(Cr-2048) + YToR[2][2]*(Cb-2048) / 10000
・・・（式４）〜（式６）
YToR[i][j]：YC結合係数
尚、本実施形態においては、処理によるデータ落ちの抑制のため、８Ｂｉｔデータを１２Ｂｉｔに拡張して処理するものとする（但し、８Ｂｉｔデータのままで処理しても構わない）。

図３に示す如く、Ｓ２の画像ノイズ除去処理では、まず、境界付加処理（Ｓ２０）を行ってから、ブロックノイズ除去処理（Ｓ２１）、モスキートノイズ除去処理（Ｓ２２）を行う。境界付加処理は、（Ｙ，Ｃｒ，Ｃｂ）画像データのＹ画像データ（以下、「輝度成分画像データ」という）、Ｃｒ画像データ及びＣｂ画像データ（以下、それぞれ「色差成分画像データ」という）の三つの画像データに対して後述するフィルタ処理を行うに当たり、画像データの境界における画素データを補間するための処理である。

具体的には、Ｓ２０の境界付加処理は、図４（何れかの画像データであって、一つのマス目が画素、数値が画素値を表す）に示す如く、画像データＡ（網掛けされていない部分）の境界Ｓに対し、符号化・復号化に係るブロックＢ（網掛けされていない方の太枠）と同じ大きさのブロックＢ’（網掛けされている方の太枠）をそれぞれ横方向、縦方向に付加し、且つその付加ブロックＢ’，…の画素値を画像データの境界における画素の画素値で埋める処理である。この付加されたブロックＢ’は、ブロックノイズ除去処理（Ｓ２１）、モスキートノイズ除去処理（Ｓ２２）が完了すれば、境界削除処理（Ｓ２３）にて取り除くようにしている。

尚、画像データＡの横方向の長さ（画素数）ＷがブロックＢの横方向の長さ（画素数）の倍数、即ち８の倍数であれば、図５（イ）に示す如く、各行の全体の長さ（画素数）が［Ｗ＋１６］となるように境界付加する一方、８の倍数でなければ、図５（ロ）に示す如く、各行の全体の長さ（画素数）が［Ｗ＋（８−（Ｗ mod ８)）＋１６］となるように境界付加することにより、未完のブロックＢ''に対するデータ補完も行う。

同様に、画像データＡの縦方向の長さ（画素数）ＨがブロックＢの縦方向の長さ（画素数）の倍数、即ち８の倍数であれば、図６（イ）に示す如く、各列の全体の長さ（画素数）が［Ｈ＋１６］となるように境界付加する一方、８の倍数でなければ、図６（ロ）に示す如く、各列の全体の長さ（画素数）が［Ｈ＋（８−（Ｈ mod ８)）＋１６］となるように境界付加することにより、未完のブロックＢ''に対するデータ補完も行う。

Ｓ２１のブロックノイズ除去処理は、輝度成分画像データＹ０に対しては、図７（イ）に示す如く、縦方向のブロックノイズ除去処理（Ｓ３０）を行って輝度成分画像データＹ１を作成した後、横方向のブロックノイズ除去処理（Ｓ３１）を行って輝度成分画像データＹ２（本発明に係る第１の輝度成分画像データ）を作成するもので、一方、色差成分画像データＣｒ０，Ｃｂ０のそれぞれに対しては、図７（ロ）に示す如く、色差の上限下限テーブルの作成処理（Ｓ４０）を行ってから、横方向の色ぼかし処理（Ｓ４１）を行って色差成分画像データＣｒ１，Ｃｂ１を作成した後、縦方向の色ぼかし処理（Ｓ４２）を行って色差成分画像データＣｒ２，Ｃｂ２（本発明に係る第１の色差成分画像データ）を作成するものである。

＜縦方向のブロックノイズ除去処理（Ｓ３０）＞
ブロック間の境界における画素を注目画素として横方向の一次元フィルタを掛けて、輝度成分画像データＹ０からブロック間の境界における横方向の輝度差が無くなった（平滑化された）輝度成分画像データＹ１を作成する。フィルタサイズは、例えば３画素と５画素が設定可能となっており（図８（イ）参照、濃い網掛けＣが注目画素、薄い網掛けＤがフィルタリング範囲、より薄い網掛けＥがフィルタ処理対象画素を表す）、下記（式７）を用いてフィルタ処理（本発明に係る第１のフィルタ処理）する。

このフィルタは、注目画素に対する係数がそれ以外の画素に係数よりも大きい（約１０〜２０倍）マトリクスＦb （例えばＦb ＝（１ ３ １））による重み付けフィルタであり、注目画素Ｃを中心としてマトリクスＦb の係数をフィルタリング範囲内の各画素値（Ｙｉ）に掛けて総和をとると共に、この総和をマトリクスＦb の係数の総和で除算する計算式である。

但し、上記フィルタ処理は、ブロック間の境界だけを対象としているため、ぼかし過ぎると、ブロック間の境界がぼけた不自然な（不連続な）ブロックとなって、逆にブロックノイズが強調されてしまう。また、何れかのブロックの境界が明るく、他方のブロックの境界が暗い場合、フィルタ処理によって元の画素値よりも行き過ぎてしまう過補正となってしまう。そこで、上記（式７）においては、下記（式８）の条件を満たすように（即ち、注目画素Ｃとの画素値の差の絶対値がしきい値ｂ以内に収まるように）クリッピング（ギャップ処理）した値を用いる。
Ｙi[x,y] - ｂ ≦ Ｙi’[x-1,y] ≦ Ｙi[x,y] + ｂ ・・・（式８）

しきい値ｂは、例えば３０であり、そうすると、上記フィルタ処理を行うことにより、ブロック間の境界における画素Ｅの画素値は、図８（イ）から図８（ロ）に変換され、ブロック間の境界における画素値の差（輝度差）が小さくなったことがわかる。

＜横方向のブロックノイズ除去処理（Ｓ３１）＞
ブロック間の境界における画素を注目画素として縦方向の一次元フィルタを掛けて、輝度成分画像データＹ１からブロック間の境界における縦方向の輝度差が無くなった（平滑化された）輝度成分画像データＹ２を作成する。処理内容は、縦方向のブロックノイズ除去処理と実質的に同じである。

しきい値ｂは、例えば３０であり、そうすると、ブロック間の境界における画素の画素値は、図９（イ）から図９（ロ）に変換され、ブロック間の境界における画素値の差（輝度差）が小さくなったことがわかる。

このように、上記二つのブロックノイズ除去処理は、輝度成分画像データＹ０（図８（イ））から最終的に輝度成分画像データＹ２（図９（ロ））を作成し、縦横両方向においてブロック間の境界における輝度差を無くす処理である。視覚特性上、人の目は輝度に対して極めて敏感であり、ブロックノイズは主としてブロック間の境界における輝度差に起因するため、上記二つのブロックノイズ除去処理は、ブロックノイズを除去することができる極めて有効な処理である。但し、ブロックノイズは、輝度差にのみ起因するものではなく、色差にもある程度は起因する。そこで、ブロックノイズを完全に除去するためには、次に説明する色ぼかし処理（Ｓ４１，Ｓ４２）が必要となってくる。

＜色差の上限下限テーブルの作成処理（Ｓ４０）＞
色ぼかし処理においては、比較的大きなフィルタ（これについては後述する）を用いるため、ぼかし過ぎると、色がにじんでしまう。例えば、唇の赤と肌とに跨って大きな色ぼかし処理を行うと、色がにじんでしまう。そのため、色ぼかし処理（Ｓ４１，Ｓ４２）においては、色差の上限下限テーブルを用いるようにしている。

色差の上限下限テーブルは、マスク値を計算するテーブルである（図１０参照）。ｃは、出力色差の上限下限用のしきい値であって、０〜４０９５の範囲を取る。このテーブルによれば、−ｃ〜ｃの範囲に属する入力値は、同じ値が出力され、−ｃよりも小さい入力値は、全て−ｃとなって出力され、ｃよりも大きい入力値は、全てｃとなって出力されるようになっているテーブルである。

＜横方向の色ぼかし処理（Ｓ４１）＞
ブロックの各画素を注目画素として横方向の一次元フィルタを掛けて、色差成分画像データＣｒ０，Ｃｂ０から横方向に色がぼけた（平滑化された）色差成分画像データＣｒ１，Ｃｂ１を作成する。フィルタサイズは、例えば７画素（図１１（イ）参照、太枠Ｃが注目画素を表す）が設定可能となっている。

まず、注目画素Ｃの画素値と近傍画素の画素値の差（−２０４７〜２０４７）を計算して差分値データ（Ａ）を作成し（図１１（ロ））、この差分値データ（Ａ）に上限下限テーブル（しきい値ｃは、例えば１５）を通して上限値、下限値でクリッピングした補正値データ（Ｂ）を作成する（図１１（ハ））。そして、この補正値データ（Ｂ）の注目画素Ｃに該注目画素Ｃの画素値を戻して補正値データ（Ｃ）を作成した（図１１（ニ））上で、下記（式９）を用いてフィルタ処理（本発明に係る第３のフィルタ処理）する（図１１（ホ））。

このフィルタは、係数が等しいマトリクスＦc （Ｆc ＝（１ １ ・・・ １））による移動平均フィルタであり、注目画素Ｃを中心としてマトリクスＦc の係数を補正値データ（Ｃ）の各補正値（Ｃｉ）に掛けて総和をとると共に、この総和をマトリクスＦc の係数の総和（移動平均フィルタなので、係数の総和はフィルタサイズと等しい）で除算する計算式である。このフィルタ処理を各画素毎に行っていく。

＜縦方向の色ぼかし処理（Ｓ４２）＞
ブロックの各画素を注目画素として縦方向の一次元フィルタを掛けて、色差成分画像データＣｒ１，Ｃｂ１から縦方向に色がぼけた（平滑化された）色差成分画像データＣｒ２，Ｃｂ２を作成する。処理内容は、横方向の色ぼかし処理と実質的に同じである。

このように、上記二つの色ぼかし処理は、色差成分画像データＣｒ０，Ｃｂ０（図１１（イ））から最終的に色差成分画像データＣｒ２，Ｃｂ２を作成し、色差の大きな輪郭は残したまま、小さな色差のみをぼかす（つぶす）処理である。即ち、色差の差分に上限下限を設けない場合は、通常の移動平均でのぼかしとなるため、色差の大きな輪郭もぼけてしまうが、上限下限が小さな色差の差分の変動範囲に収まるようにしきい値ｃを設定することにより、周辺にある大きな輪郭による色差の差分を小さな輪郭の色差の差分の変動範囲に置き換えて、色差の大きな輪郭がぼけるのを防いでいる。色差に起因するブロックノイズは、この小さな色差を発生原因とするもので、しかるに、上記二つの色ぼかし処理は、画質劣化を生じることなし（画質劣化を目立たせず）に、色差に起因するブロックノイズを除去することができる有効な処理である。尚、強度調整は、フィルタのフィルタサイズと上限下限テーブルのしきい値とを適宜設定して行う。

Ｓ２２のモスキートノイズ除去処理は、図１２に示す如く、Ｓ２１のブロックノイズ除去処理にて作成された輝度成分画像データＹ２に対して輝度ぼかし処理（Ｓ５０）を行って輝度成分画像データＹ３（第２の輝度成分画像データ）を作成すると共に、輝度成分画像データＹ２からエッジ画像データ作成処理（Ｓ５１）を行ってエッジ画像データＥ１を作成し、次に、エッジ画像データ補正処理（Ｓ５２）を行って補正エッジ画像データＥ２を作成し、最後に、この補正エッジ画像データＥ２と上記輝度成分画像データＹ３との合成処理（Ｓ５３）を行って輝度成分画像データＹ４（第３の輝度成分画像データ）を作成するものである。

＜輝度ぼかし処理（Ｓ５０）＞
ブロックの各画素を注目画素として二次元フィルタを掛けて、輝度成分画像データＹ２から輝度がぼけた（平滑化された）輝度成分画像データＹ３を作成する。フィルタサイズは、例えば３×３画素と５×５画素が設定可能となっており、下記（式１０）を用いてフィルタ処理（本発明に係る第２のフィルタ処理）する。

このフィルタは、係数が等しいマトリクスＦb による移動平均フィルタであり、注目画素Ｃを中心としてマトリクスＦb の係数をフィルタリング範囲内の各画素値（Ｙｉ）に掛けて総和をとると共に、この総和をマトリクスＦb の係数の総和で除算したものと注目画素Ｃの画素値との差を求め、これに［ｄ／１２８］で乗算したものを注目画素Ｃの画素値に加算する計算式である。ｄは、ぼかし強度を調整するための係数（ぼかし強度係数）である。また、ぼかし強度係数ｄを１２８で除算しているのは、高速化の都合上、ぼかし強度係数ｄを予め［１２８／１００］で乗算しているためである。

＜エッジ画像データ作成処理（Ｓ５１）＞
下記（式１１）を用いてブロックＢ単位でエッジ画像データＥ（図１３参照）を作成する。但し、−２０４８〜２０４７にクリッピングする。
Ｅ１ ＝ Ｙ２ − Ｙ３ ・・・（式１１）
即ち、エッジ画像データＥ１は、輝度成分画像データＹ２のそれぞれ画素値を、Ｓ５０の輝度ぼかし処理にて作成された輝度成分画像データＹ３のそれぞれ画素値で減算したものである。

＜エッジ画像データ補正処理（Ｓ５２）＞
まず、エッジ画像データＥ１における最大差分値と最小差分値とから、その差ＳＡを求め、下記（式１２）を用いて補正エッジ画像データＥ２を作成する。

差ＳＡがしきい値ｅよりも大きい場合、画像中に輝度差の大きな輪郭が存在していて、モスキートノイズが出現している可能性が高いことを意味する。その場合の上記（式１２）の考え方は、次の通りである。即ち、モスキートノイズは輝度差が激しい場所に出現するため、エッジ画像データＥ１のそれぞれ差分値をその絶対値（その点の輝度差）が小さくなるようにモスキートノイズの画素エッジ調整値ｆで減算又は加算する。エッジ画像データＥ１の全ての差分値を補正対象とする（即ち、モスキートノイズが発生していない部分まで補正する）のは、ブロック内において補正する部分と補正しない部分とが混在すると、その境界が目立ちやすくなるからである。但し、エッジ画像データＥ１の差分値のうち、その絶対値が画素エッジ調整値ｆ以下のものについては、過補正とならないように０とする。

差ＳＡがしきい値以下の場合、即ち、画像中にあまり輪郭がない平坦なブロックであるが、モスキートノイズが出現している可能性が全くないわけではないので、その場合の上記（式１２）の考え方は、次の通りである。即ち、エッジ画像データＥ１の個々の差分値を全て［１／通常画像の画素エッジ調整値ｇ］で乗算して全体的に輝度差を縮小する。但し、縮小率は、差ＳＡがしきい値よりも大きい場合よりも緩やかとなっている。

しきい値ｅは、例えば１０であり、モスキートノイズの画素エッジ調整値ｆ及び通常画像の画素エッジ調整値ｇは、例えば５であり、そうすると、図１３の場合、差ＳＡは、１７９であるから、左上の角の注目画素（差分値−４）は、補正後は４−５＝−１ → ０となり、その隣の注目画素（差分値−２８）は、補正後は−２８＋５＝−２３となり、・・・右下の角の注目画素（差分値７）は、補正後は７−５＝２となって、全体的に輝度差が縮小された補正エッジ画像Ｅ２が作成される。

＜合成処理（Ｓ５３）＞
下記（式１３）を用いた合成処理を行って輝度成分画像データＹ４を作成する。但し、０〜４０９６にクリッピングする。
Ｙ４ ＝ Ｙ３ ＋ Ｅ２ ・・・（式１３）
即ち、輝度成分画像データＹ４は、輝度成分画像データＹ３のそれぞれ画素値を、Ｓ５２のエッジ画像補正処理にて作成された補正エッジ画像データＥ２のそれぞれ補正値で加算したものである。

このように、上記モスキートノイズ除去処理は、輝度成分画像データＹ２から最終的に輝度成分画像データＹ４を作成し、輝度差が大きな輪郭は大きくぼかすことなく（元々輝度差が大きいため、ぼかしが目立たないということ）、細かな輝度差のみをぼかす（つぶす）処理である。モスキートノイズは、この細かな輝度差を発生原因とするもので、しかるに、上記モスキートノイズ除去処理は、画質劣化を生じることなし（画質劣化を目立たせず）に、モスキートノイズを除去する有効な処理である。

ところで、本実施形態に係る画像ノイズ除去処理は、ブロックノイズ除去処理（Ｓ２１）を先に行い、その次にモスキートノイズ除去処理（Ｓ２２）を行うものである。この理由は、モスキートノイズ除去処理（Ｓ２２）は、ぼかし処理であるため、先にこのモスキートノイズ除去処理（Ｓ２２）を行うと、ブロックノイズが全体にぼけてしまい、ブロックノイズ除去処理（Ｓ２１）において、ブロックノイズだけを狙っての除去が難しくなるためである。従って、ブロックノイズ除去処理（Ｓ２１）の後にモスキートノイズ除去処理（Ｓ２２）を行う必要がある。

尚、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更が可能である。

例えば、上記実施形態においては、Ｓ４１，Ｓ４２の色ぼかし処理は、Ｓ２１のブロックノイズ除去処理における処理としているが、色差の小さな部分をぼかす（つぶす）効果があること上述の如くで、モスキートノイズに対しても有効であるため、Ｓ４０の処理と共に、Ｓ２２のモスキートノイズ除去処理における処理としてもよい。いずれにしても、画像データの色差成分画像データに対してＳ４０〜Ｓ４２の処理を施せば、色差成分画像データにおける画像ノイズは除去されるので、その位置付けに特に意味はない。

また、上記実施形態においては、Ｓ４１，Ｓ４２の色ぼかし処理では、一次元フィルタを用いている。これは、フィルタのフィルタサイズが大きく、処理時間がかからないようにするためであるが、処理時間を問わない、あるいはフィルタサイズが大きくないのであれば、二次元フィルタを用いてもよい。Ｓ３０，Ｓ３１のブロックノイズ除去処理で用いられるフィルタも一次元フィルタに限定されるものではなく、例えば３×３画素の二次元フィルタを用いてもよい。

また、上記実施形態においては、Ｓ３０，Ｓ３１のブロックノイズ除去処理では、重み付けフィルタ、それ以外の処理では、移動平均フィルタを用いているが、これに限定されるものではない。

また、上記実施形態においては、画像ノイズ除去をコンピュータ上で処理するようにしているが、復号化装置に組み込み、復号化処理の中（具体的には、逆直交変換後）で画像ノイズ除去処理を行うようにしてもよい。

また、上記実施形態においては、圧縮画像を復号化する際にＲＧＢ変換処理を含めているため、ＲＧＢ／ＹＣＣ変換処理（Ｓ１）を行うものであった。入力画像がＲＧＢ情報を持つＢＭＰ画像等であれば、このＲＧＢ／ＹＣＣ変換処理が必要となるが、元々ＹＣＣ情報を持つＪＰＥＧ画像であれば、ＲＧＢ／ＹＣＣ変換処理（Ｓ１）及びこれに伴うＹＣＣ／ＲＧＢ変換処理（Ｓ３）が必ずしも必要でないことは言うまでもない。

本実施形態に係る画像処理装置の構成図を示す。 同実施形態に係る画像処理のフローチャートを示す。 図２の画像ノイズ除去処理のフローチャートを示す。 画像データに境界が付加された状態の説明図を示す。 横方向に境界が付加された状態の説明図であって、（イ）は、画像データの幅がブロックの幅の倍数である場合、（ロ）は、画像データの幅がブロックの幅の倍数でない場合、を示す。 縦方向に境界が付加された状態の説明図であって、（イ）は、画像データの高さがブロックの高さの倍数である場合、（ロ）は、画像データの高さがブロックの高さの倍数でない場合、を示す。 図３のブロックノイズ除去処理のフローチャートであって、（イ）は、輝度成分画像データに対するもの、（ロ）は、色差成分画像データに対するもの、を示す。 縦方向のブロックノイズ除去処理の説明図であって、（イ）は、フィルタ処理を行う状態、（ロ）は、縦方向のブロックノイズが除去された状態、を示す。 横方向のブロックノイズ除去処理の説明図であって、（イ）は、フィルタ処理を行う状態、（ロ）は、横方向のブロックノイズが除去された状態、を示す。 図３の色差成分画像データに対するブロックノイズ除去処理に用いられる色差の上限下限テーブルの説明図を示す。 図３の色差成分画像データに対するブロックノイズ除去処理の説明図であって、（イ）は、色差成分画像データ、（ロ）は、差分値データ、（ハ）は、補正値データ、（ニ）も、補正値データ、（ホ）は、注目画素の画素値が置き換わった状態、を示す。 図３のモスキートノイズ除去処理のフローチャートを示す。 図１２のエッジ画像作成処理の説明図を示す。

符号の説明

Ａ…画像データ、Ｂ…ブロック、Ｂ’…付加ブロック、Ｂ''…未完ブロック、Ｃ…注目画素、Ｓ…画像データの境界、Ｙ０〜Ｙ４…輝度成分画像データ、Ｃｒ０〜Ｃｒ２，Ｃｂ０〜Ｃｂ２…色差成分画像データ

Claims (6)

1. ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズの画像ノイズ除去方法であって、
   画像データにおける輝度成分画像データ及び色差成分画像データのそれぞれを符号化・復号化と同じブロックに分割し、
   輝度成分画像データに対しては、ブロック間の境界におけるそれぞれ画素を注目画素として第１のフィルタ処理を行い、ブロック間の境界を平滑化した第１の輝度成分画像データを作成する工程と、
   該第１の輝度成分画像データのそれぞれ画素を注目画素として第２のフィルタ処理を行い、全体を平滑化した第２の輝度成分画像データを作成する工程と、
   第１の輝度成分画像データのそれぞれ画素値を第２の輝度成分画像データのそれぞれ画素値で減算したエッジ画像データを作成する工程と、
   該エッジ画像データのそれぞれ差分値を所定条件に基づいて補正した補正エッジ画像データを作成する工程と、
   第２の輝度成分画像データのそれぞれ画素値に補正エッジ画像データのそれぞれ補正値を加算した第３の輝度成分画像データを作成する工程とを備え、
   色差成分画像データに対しては、該色差成分画像データのそれぞれ画素を注目画素として第３のフィルタ処理を行い、全体を平滑化した第１の色差成分画像データを作成する工程を備えてなることを特徴とする画像ノイズ除去方法。
2. 前記第１のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差の絶対値が所定のしきい値以内に収まるようにクリッピングした値を用いる請求項１記載の画像ノイズ除去方法。
3. 前記補正エッジ画像データは、前記エッジ画像データにおける最大差分値と最小差分値とからその差を求め、差が所定のしきい値よりも大きい場合は、０（ゼロ）を下限としてエッジ画像データのそれぞれ差分値をその絶対値が小さくなるように所定の調整値で加減することにより作成される請求項１又は２記載の画像ノイズ除去方法。
4. 前記補正エッジ画像データは、前記差が所定のしきい値以下の場合は、エッジ画像データのそれぞれ差分値に所定の調整値を乗算することにより作成される請求項３記載の画像ノイズ除去方法。
5. 前記第３のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差を計算して作成された差分値データに所定の上限下限テーブルを通して上限値、下限値でクリッピングして作成された補正値データに対して行う請求項１乃至４の何れかに記載の画像ノイズ除去方法。
6. 前記所定の上限下限テーブルは、所定のしきい値よりも絶対値が小さい入力値に対しては、それを出力値とし、所定のしきい値以上の絶対値を持つ入力値に対しては、入力値と同符号のしきい値を出力値とする請求項５記載の画像ノイズ除去方法。