JP4457346B2 - 画像ノイズ除去方法 - Google Patents

Description

本発明は、ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズ等の画像ノイズ除去方法に関する。

高能率な画像データの圧縮方式としては、直交変換符号化を利用して高圧縮を達成する方法が一般的である。この方法について簡単に説明すると、まず、入力画像信号をブロック化回路により例えば８×８画素のブロックサイズのブロックに分割し、分割されたブロックに対して直交変換回路で直交変換を施して周波数成分信号を生成し、次に、直交変換データを所定の量子化ステップ幅で量子化回路により線形量子化を行い、そして、量子化結果を可変長符号化回路により可変長符号を割り当てて符号化画像信号を生成する。直交変換としては、離散フーリエ変換、ウオルシュ・アダマール変換、カルーネン・レーベ変換、離散コサイン変換（ＤＣＴ）等があるが、ＤＣＴが最も普及した直交変換である。

一方、上記圧縮符号化装置で生成された符号化画像信号から入力画像信号に対応する再生画像信号を生成するための復号化装置では、符号化画像信号に対して可変長復号回路により可変長復号化を行い、次に、逆量子化回路により所定の量子化ステップ幅で逆量子化を行い、そして、逆直交変換により再生画像信号を生成する。

ここで、直交変換及び量子化は非可逆変換であるため、復号化装置により得られた再生画像信号は誤差を含んでおり、特に、量子化・逆量子化による量子化誤差が再生画像の画質劣化の原因となっている。量子化ステップ幅が大きい（即ち圧縮率が高い）ほど量子化誤差は大きくなり、再生画像信号の画質劣化が目立つようになる。こうした直交変換に特有の画質劣化としては、ブロック単位で符号化・復号化されるためにブロック間の境界に不連続性が発生してモザイクの様に見えてしまうブロックノイズや、画像中の輪郭の周りにモヤモヤとして蚊の大群がまとわりついたようなモスキートノイズがある。

これらの画像ノイズは、通常、画像データに対してフィルタ処理を行い、平滑化によって除去される（特許文献１〜５）。但し、この画像ノイズ除去処理は、ある意味、原画像を損なう処理であるため、多かれ少なかれ画質の低下（ぼやけ）という副作用を生じる。そのため、フィルタ処理における画像ノイズの除去の程度は、フィルタ処理による画像ノイズの除去効果とフィルタ処理による画質低下の影響とをバランスさせるように設定するのが一般的である。
特開平８−２０５１５７号公報 特開平９−１８６９９３号公報 特開平１０−１９１３３５号公報 特開平１０−１６４５７６号公報 特開平１１−３１７９４３号公報

ところで、写真処理装置を用いて写真プリントする、あるいはインクジェット記録方式や熱転写記録方式のプリンタを用いて印刷する等、画像を出力媒体に出力するに際しては、いわゆるＬ版、２Ｌ版、４Ｌ版等、種々の出力サイズが適宜選択され、画像データは、その選択された出力サイズに応じて拡大／縮小処理が施される。この拡大／縮小処理は、各画素とその近傍の画素の画素データに対して所定の演算（一種のフィルタ処理）が施されることにより行われるが、画像ノイズ除去処理と拡大／縮小処理は互いに目的が全く異なる独立した処理であるため、従来は両者の兼ね合いを特に考慮してはいなかった。

しかしながら、出力媒体を観察する場合、通常は、出力サイズに応じて観察距離が異なってくる。より詳しく言えば、出力サイズが小さくなるほど、観察距離は近くなり、出力サイズが大きくなるほど、観察距離は遠くなる。例えば、Ｌ版の出力媒体と４Ｌ版の出力媒体とでは、４Ｌ版の出力媒体の方がＬ版の出力媒体よりも離れた位置から鑑賞される。

即ち、上述の如く、出力サイズの如何を問わず一律のフィルタ処理を行う従来の画像ノイズ除去方法（即ち、一定の観察距離を想定した従来の画像ノイズ除去方法）にあっては、小さい出力サイズでは、観察距離が近くなることにより、画像ノイズの除去の程度が強く見える（即ち、画像がほやけて見える）傾向にある一方、大きい出力サイズでは、観察距離が遠くなることにより、画像ノイズの除去の程度が弱く見える（即ち、画像ノイズが十分に除去しきれていないように見える）傾向にあり、同じ画像でありながらも出力サイズが異なれば見え方が異なってくるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたもので、出力媒体を観察する際、その出力サイズの如何を問わず、画像ノイズの除去の程度の見え方が同じとなるような画像ノイズ除去方法を提供することを課題とするものである。

上記課題を解決するため、本発明に係る画像ノイズ除去方法は、ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズ等の画像ノイズを平滑化フィルタを用いたフィルタ処理により除去する画像ノイズ除去方法であって、画像を印画紙、プリンタ用紙等の出力媒体に出力する際の該画像の出力サイズ又は拡大率が大きくなれば、フィルタ処理における画像ノイズの除去の程度が強くなるよう、画像の出力サイズ又は拡大率に応じて、フィルタ処理における画像ノイズの除去の程度を連続的又は段階的に変化させることを特徴とする。

上記構成からなる画像ノイズ除去方法によれば、小さい出力サイズ又は拡大率では、画像ノイズの除去の程度が弱くなるようにフィルタ処理されるが、その分が、観察距離が近くなることによって画像ノイズの除去の程度が強く見えるという視覚的作用で補償されるため、実際には画像ノイズの除去の程度が適正に見えるようになる。一方、大きい出力サイズ又は拡大率では、画像ノイズの除去の程度が強くなるようにフィルタ処理されるが、その分が、観察距離が遠くなることによって画像ノイズの除去の程度が弱く見えるという視覚的作用で抑制されるため、実際には画像ノイズの除去の程度が適正に見えるようになる。

ここで、フィルタ処理における画像ノイズの除去の程度を変化させる方法としては、平滑化フィルタのフィルタ係数を変化させる方法や、平滑化フィルタのフィルタサイズを変化させる方法を採用することができる。即ち、小さい出力サイズ又は拡大率では、フィルタ係数やフィルタサイズを小さくする一方、大きい出力サイズ又は拡大率では、フィルタ係数やフィルタサイズを大きくする。尚、フィルタ係数は、連続的にも段階的にも変化させることができるので、フィルタ処理における画像ノイズの除去の程度を連続的又は段階的に変化させることができるが、フィルタサイズは、整数値しか取らないので段階的にしか変化させることができず、そのため、フィルタ処理における画像ノイズの除去の程度を段階的にのみ変化させることができる。

また、本発明に係る画像ノイズ除去方法は、ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズの画像ノイズ除去方法であって、画像データにおける輝度成分画像データ及び色差成分画像データのそれぞれを符号化・復号化と同じブロックに分割し、輝度成分画像データに対しては、ブロック間の境界におけるそれぞれ画素を注目画素として第１のフィルタ処理を行い、ブロック間の境界を平滑化した第１の輝度成分画像データを作成する工程と、該第１の輝度成分画像データのそれぞれ画素を注目画素として第２のフィルタ処理を行い、全体を平滑化した第２の輝度成分画像データを作成する工程と、第１の輝度成分画像データのそれぞれ画素値を第２の輝度成分画像データのそれぞれ画素値で減算したエッジ画像データを作成する工程と、該エッジ画像データのそれぞれ差分値を所定条件に基づいて補正した補正エッジ画像データを作成する工程と、第２の輝度成分画像データのそれぞれ画素値に補正エッジ画像データのそれぞれ補正値を加算した第３の輝度成分画像データを作成する工程とを備え、色差成分画像データに対しては、該色差成分画像データのそれぞれ画素を注目画素として第３のフィルタ処理を行い、全体を平滑化した第１の色差成分画像データを作成する工程を備えてなり、前記第２のフィルタ処理で用いられる平滑化フィルタのフィルタ係数あるいはフィルタサイズを変化させることにより、第２のフィルタ処理における画像ノイズの除去の程度を変化させることがより好ましい。

上記構成からなる画像ノイズ除去方法によれば、第１の輝度成分画像データを作成する工程が輝度差に起因するブロックノイズ除去処理であり、第３の輝度成分画像データを作成する工程が輝度差に起因するモスキートノイズ除去処理である。そして、第１の色差成分画像データを作成する工程が色差に起因するブロックノイズ除去処理であって且つ色差に起因するモスキートノイズ除去処理である。

先にブロックノイズ除去処理を行うのは、モスキートノイズ除去処理が一種のぼかし処理であるため、先にこのモスキートノイズ除去処理を行うと、ブロックノイズが全体にぼけてしまい、後のブロックノイズ除去処理でブロックノイズだけを狙っての除去が難しくなるからである。

また、モスキートノイズ除去処理において、単に第２の輝度成分画像データを作成する工程にとどまらず、エッジ画像データから作成される補正エッジ画像データを第２の輝度成分画像データと合成して第３の輝度成分画像データを作成するようにしたのは、輝度がぼけた第２の輝度成分画像データに補正エッジ画像データを合成することにより、輝度差が大きな輪郭は大きくぼかすことなく、細かな輝度差のみをぼかすことができるから、即ち、画質劣化を生じることなしにモスキートノイズを除去できるからである。

そして、第３の輝度成分画像データと第１の色差成分画像データとを最終のアウトプットとする。このように、ブロックノイズ除去処理においては、予め複数のブロックに分割し、ブロック間の境界を平滑化するようにしたため、画像中の輪郭をブロック間の境界と誤ってブロックノイズ除去処理することがなく、画質劣化を生じることなしにブロックノイズを適切に除去することができる。また、モスキートノイズ除去処理においては、単なる輝度ぼかし処理で終わるのではなく、その輝度をぼかした画像データに対して補正を加えることにより、画質劣化を生じることなしにモスキートノイズを適切に除去することができる。従って、画質劣化を生じることなしにブロックノイズとモスキートノイズの両方を適切に除去することができるのである。しかも、輝度成分画像データ及び色差成分画像データのそれぞれに対して別々の処理を行うものであり、この点、より確実な画像ノイズ除去が期待できる。また、画像の出力サイズ又は拡大率に応じて、第２のフィルタ処理における画像ノイズの除去の程度を連続的又は段階的に変化させるようにしたので、上述の如く、出力サイズ又は拡大率の如何を問わず、画像ノイズの除去の程度が適正に見えるようになる。

また、本発明に係る画像ノイズ除去方法は、前記第１のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差の絶対値が所定のしきい値以内に収まるようにクリッピングした値を用いるようにしてもよい。即ち、第１のフィルタ処理は、ブロック間の境界だけを対象としているため、ぼかし過ぎると、ブロック間の境界がぼけた不自然な（不連続な）ブロックとなって、逆にブロックノイズが強調されてしまう。また、何れかのブロックの境界が明るく、他方のブロックの境界が暗い場合、フィルタ処理によって元の画素値よりも行き過ぎてしまう過補正となってしまう。近傍画素の画素値として上記クリッピングした値を用いるのは、これらの不具合を防止するためである。

また、本発明に係る画像ノイズ除去方法は、前記補正エッジ画像データは、前記エッジ画像データにおける最大差分値と最小差分値とからその差を求め、差が所定のしきい値よりも大きい場合は、０（ゼロ）を下限としてエッジ画像データのそれぞれ差分値をその絶対値が小さくなるように所定の調整値で加減することにより作成されるようにしてもよい。差が所定のしきい値よりも大きい場合、画像中に輝度差の大きな輪郭が存在していて、モスキートノイズが出現している可能性が高いことを意味する。その場合、エッジ画像データのそれぞれ差分値をその絶対値（その点の輝度差）が小さくなるように所定の調整値で減算又は加算する。エッジ画像データの全ての差分値を補正対象とする（即ち、モスキートノイズが発生していない部分まで補正する）のは、ブロック内において補正する部分と補正しない部分とが混在すると、その境界が目立ちやすくなるからである。但し、エッジ画像データの差分値のうち、その絶対値が所定の調整値以下のものについては、過補正とならないように０（ゼロ）とする。

加えて、本発明に係る画像ノイズ除去方法は、前記補正エッジ画像データは、前記差が所定のしきい値以下の場合は、エッジ画像データのそれぞれ差分値に所定の調整値を乗算することにより作成されるようにしてもよい。差がしきい値以下の場合、即ち、画像中にあまり輪郭がない平坦なブロックであるが、モスキートノイズが出現している可能性が全くないわけではないので、その場合も、エッジ画像データのそれぞれ差分値を全て所定の調整値で乗算して全体的に輝度差を縮小する。但し、その縮小率は、差が所定のしきい値よりも大きい場合よりも緩やかにする。

また、本発明に係る画像ノイズ除去方法は、前記第３のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差を計算して作成された差分値データに所定の上限下限テーブルを通して上限値、下限値でクリッピングして作成された補正値データに対して行うのが好ましい。視覚特性上、人の目は輝度に比べて色差に鈍感である。従って、色差成分画像データそのものに対して第３のフィルタ処理を行っても特に問題はないが、色差成分画像データから一旦補正値データを作成し、これに対して第３のフィルタ処理を行うことで、不要な色にじみの発生を好適に抑制することができる。

そして、本発明に係る画像ノイズ除去方法は、前記所定の上限下限テーブルは、所定のしきい値よりも絶対値が小さい入力値に対しては、それを出力値とし、所定のしきい値以上の絶対値を持つ入力値に対しては、入力値と同符号のしきい値を出力値とするものを採用することができる。

以上の如く、本発明に係る画像ノイズ除去方法は、画像を印画紙、プリンタ用紙等の出力媒体に出力する際の該画像の出力サイズ又は拡大率が大きくなれば、フィルタ処理における画像ノイズの除去の程度が強くなるよう、画像の出力サイズ又は拡大率に応じて、フィルタ処理における画像ノイズの除去の程度を段階的又は連続的に変化させるため、小さい出力サイズ又は拡大率では、フィルタ処理における画像ノイズの除去の程度が弱い分が、観察距離が近くなることによって画像ノイズの除去の程度が強く見えるという視覚的作用で補償される一方、大きい出力サイズ又は拡大率では、フィルタ処理における画像ノイズの除去の程度が強い分が、観察距離が遠くなることによって画像ノイズの除去の程度が弱く見えるという視覚的作用で抑制される結果、出力サイズ又は拡大率の如何を問わず、実際には見え方が同じとなる。

即ち、出力サイズ又は拡大率が異なれば、フィルタ処理における画像ノイズの除去の程度が異なるため、一定の観察距離であれば、画像ノイズの除去の程度の見え方が異なってくるが、実際は出力サイズ又は拡大率によって観察距離が異なってくるため、出力サイズ又は拡大率の如何を問わず、出力画像を見た感じは同じような仕上がりになるのである。

まず、本発明の一実施形態に係る画像ノイズ除去方法を実現するための画像処理装置の構成について図１に基づき説明する。画像処理装置は、コンピュータによって構成され、それぞれバス７に接続されたＣＰＵ１、ＲＯＭ２、ワーキングメモリ３、フレームメモリ４、データ入出力装置５及びハードディスク６を備えている。ＲＯＭ２は、画像ノイズ除去プログラムを含むコンピュータプログラムや各種パラメータを記憶し、ワーキングメモリ３は、ＣＰＵ１が制御を行うために必要なメモリであり、バッファやレジスタ等を含む。ＣＰＵ１は、ＲＯＭ２に記憶されたコンピュータプログラムに従って各種演算や処理を行う。

フレームメモリ４は、ＪＰＥＧ方式により圧縮符号化された静止画像を復号化して得られた画像データを記憶するためのメモリである。データ入出力装置５に入力された（Ｒ，Ｇ，Ｂ）画像データは、それぞれ（Ｒ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データ）が一旦別々のフレームメモリ４に記憶された上で画像ノイズ除去処理が行われる。画像ノイズ除去処理が終了すると、（Ｒ，Ｇ，Ｂ）画像データは、データ入出力装置５から外部に出力され、あるいはハードディスク６に記憶される。

図２に示す如く、画像ノイズ除去処理では、まず、データ入出力装置５を介して記録媒体に記録されている画像データが読み込まれる（Ｓ１）。この記録媒体には、画像データの他に、入力サイズ情報、出力サイズ情報、拡大率情報等を記録したＥｘｉｆ（Exchangeable Image File Format）ファイルが記録されており、これら画像情報も読み込まれる（Ｓ２）。そして、これら画像情報中の出力サイズ情報に基づき、画像ノイズ除去処理で用いられるフィルタのフィルタ係数が決定される（Ｓ３）。

出力サイズとフィルタ係数とは、図３（イ）に示す如く、比例関係にあり、小さい出力サイズでは、フィルタ係数が小さくなり、出力サイズが大きくなるのに伴って、フィルタ係数も大きくなる。尚、出力サイズとフィルタ係数との関係は、それぞれ勾配が異なる三種類（強度１，２，３）が用意されており、フィルタ係数の決定に際して、これらの何れを用いるかは、オペレータが選択可能である。例えば、強度１が選択されることを前提として、Ｌ版の場合はフィルタ係数がｖ₁であり、２Ｌ版の場合はフィルタ係数がｖ₂であり、４Ｌ版の場合はフィルタ係数がｖ₃である。

図２に戻り、読み込まれた画像データに対してＲＧＢ／ＹＣＣ変換処理（Ｓ４）が行われてから、ブロックノイズ、モスキートノイズの画像ノイズ除去処理（Ｓ５）が行われる。Ｓ３で決定されたフィルタ係数は、このＳ５の画像ノイズ除去処理中に反映される。ＲＧＢ／ＹＣＣ変換処理では、下記（式１）〜（式３）に基づいて（Ｒ，Ｇ，Ｂ）画像データが（Ｙ，Ｃｒ，Ｃｂ）画像データに色変換されるが、ＹＣＣ色空間に変換するのは、ＪＰＥＧ方式がＹＣＣ色空間で圧縮／伸張を行っており、ブロックノイズやモスキートノイズはこのときに発生するので、同じ色空間で画像ノイズ除去処理する方が補正の精度が高くなるからである。
Ｙ ＝ ( RToY[0][0]*R + RToY[0][1]*G + RToY[0][2]*B ) / 10000
Ｃｒ ＝ ( RToY[1][0]*R + RToY[1][1]*G + RToY[1][2]*B ) / 10000 + 2048
Ｃｂ ＝ ( RToY[2][0]*R + RToY[2][1]*G + RToY[2][2]*B ) / 10000 + 2048
・・・（式１）〜（式３）
RToY[i][j]：YCrCb変換係数
Ｓ５の画像ノイズ除去処理が完了すると、下記（式４）〜（式６）に基づいてＹＣＣ／ＲＧＢ変換処理（Ｓ６）が行われることにより、（Ｙ，Ｃｒ，Ｃｂ）画像データを（Ｒ，Ｇ，Ｂ）画像データに戻して一連の処理を完了し、しかる後、データ入出力装置５に接続された写真処理装置から画像が出力されたり、あるいはインクジェット記録方式や熱転写記録方式のプリンタから画像が出力される（Ｓ７）。
Ｒ ＝ ( YToR[0][0]*Y + YToR[0][1]*(Cr-2048) + YToR[0][2]*(Cb-2048) / 10000
Ｇ ＝ ( YToR[1][0]*Y + YToR[1][1]*(Cr-2048) + YToR[1][2]*(Cb-2048) / 10000
Ｂ ＝ ( YToR[2][0]*Y + YToR[2][1]*(Cr-2048) + YToR[2][2]*(Cb-2048) / 10000
・・・（式４）〜（式６）
YToR[i][j]：YC結合係数
尚、本実施形態においては、処理によるデータ落ちの抑制のため、８Ｂｉｔデータを１２Ｂｉｔに拡張して処理するものとする（但し、８Ｂｉｔデータのままで処理しても構わない）。

図４に示す如く、Ｓ２の画像ノイズ除去処理では、まず、境界付加処理（Ｓ２０）を行ってから、ブロックノイズ除去処理（Ｓ２１）、モスキートノイズ除去処理（Ｓ２２）を行う。境界付加処理は、（Ｙ，Ｃｒ，Ｃｂ）画像データのＹ画像データ（以下、「輝度成分画像データ」という）、Ｃｒ画像データ及びＣｂ画像データ（以下、それぞれ「色差成分画像データ」という）の三つの画像データに対して後述するフィルタ処理を行うに当たり、画像データの境界における画素データを補間するための処理である。

具体的には、Ｓ２０の境界付加処理は、図５（何れかの画像データであって、一つのマス目が画素、数値が画素値を表す）に示す如く、画像データＡ（網掛けされていない部分）の境界Ｓに対し、符号化・復号化に係るブロックＢ（網掛けされていない方の太枠）と同じ大きさのブロックＢ’（網掛けされている方の太枠）をそれぞれ横方向、縦方向に付加し、且つその付加ブロックＢ’，…の画素値を画像データの境界における画素の画素値で埋める処理である。この付加されたブロックＢ’は、ブロックノイズ除去処理（Ｓ２１）、モスキートノイズ除去処理（Ｓ２２）が完了すれば、境界削除処理（Ｓ２３）にて取り除くようにしている。

尚、画像データＡの横方向の長さ（画素数）ＷがブロックＢの横方向の長さ（画素数）の倍数、即ち８の倍数であれば、図６（イ）に示す如く、各行の全体の長さ（画素数）が［Ｗ＋１６］となるように境界付加する一方、８の倍数でなければ、図６（ロ）に示す如く、各行の全体の長さ（画素数）が［Ｗ＋（８−（Ｗ mod ８)）＋１６］となるように境界付加することにより、未完のブロックＢ''に対するデータ補完も行う。

同様に、画像データＡの縦方向の長さ（画素数）ＨがブロックＢの縦方向の長さ（画素数）の倍数、即ち８の倍数であれば、図７（イ）に示す如く、各列の全体の長さ（画素数）が［Ｈ＋１６］となるように境界付加する一方、８の倍数でなければ、図７（ロ）に示す如く、各列の全体の長さ（画素数）が［Ｈ＋（８−（Ｈ mod ８)）＋１６］となるように境界付加することにより、未完のブロックＢ''に対するデータ補完も行う。

Ｓ２１のブロックノイズ除去処理は、輝度成分画像データＹ０に対しては、図８（イ）に示す如く、縦方向のブロックノイズ除去処理（Ｓ３０）を行って輝度成分画像データＹ１を作成した後、横方向のブロックノイズ除去処理（Ｓ３１）を行って輝度成分画像データＹ２（本発明に係る第１の輝度成分画像データ）を作成するもので、一方、色差成分画像データＣｒ０，Ｃｂ０のそれぞれに対しては、図８（ロ）に示す如く、色差の上限下限テーブルの作成処理（Ｓ４０）を行ってから、横方向の色ぼかし処理（Ｓ４１）を行って色差成分画像データＣｒ１，Ｃｂ１を作成した後、縦方向の色ぼかし処理（Ｓ４２）を行って色差成分画像データＣｒ２，Ｃｂ２（本発明に係る第１の色差成分画像データ）を作成するものである。

＜縦方向のブロックノイズ除去処理（Ｓ３０）＞
ブロック間の境界における画素を注目画素として横方向の一次元フィルタを掛けて、輝度成分画像データＹ０からブロック間の境界における横方向の輝度差が無くなった（平滑化された）輝度成分画像データＹ１を作成する。フィルタサイズは、例えば３画素と５画素が設定可能となっており（図９（イ）参照、濃い網掛けＣが注目画素、薄い網掛けＤがフィルタリング範囲、より薄い網掛けＥがフィルタ処理対象画素を表す）、下記（式７）を用いてフィルタ処理（本発明に係る第１のフィルタ処理）する。

このフィルタは、注目画素に対する係数がそれ以外の画素に係数よりも大きい（約１０〜２０倍）マトリクスＦb （例えばＦb ＝（１ ３ １））による重み付けフィルタであり、注目画素Ｃを中心としてマトリクスＦb の係数をフィルタリング範囲内の各画素値（Ｙｉ）に掛けて総和をとると共に、この総和をマトリクスＦb の係数の総和で除算する計算式である。

但し、上記フィルタ処理は、ブロック間の境界だけを対象としているため、ぼかし過ぎると、ブロック間の境界がぼけた不自然な（不連続な）ブロックとなって、逆にブロックノイズが強調されてしまう。また、何れかのブロックの境界が明るく、他方のブロックの境界が暗い場合、フィルタ処理によって元の画素値よりも行き過ぎてしまう過補正となってしまう。そこで、上記（式７）においては、下記（式８）の条件を満たすように（即ち、注目画素Ｃとの画素値の差の絶対値がしきい値ｂ以内に収まるように）クリッピング（ギャップ処理）した値を用いる。
Ｙi[x,y] - ｂ ≦ Ｙi’[x-1,y] ≦ Ｙi[x,y] + ｂ ・・・（式８）

しきい値ｂは、例えば３０であり、そうすると、上記フィルタ処理を行うことにより、ブロック間の境界における画素Ｅの画素値は、図９（イ）から図９（ロ）に変換され、ブロック間の境界における画素値の差（輝度差）が小さくなったことがわかる。

＜横方向のブロックノイズ除去処理（Ｓ３１）＞
ブロック間の境界における画素を注目画素として縦方向の一次元フィルタを掛けて、輝度成分画像データＹ１からブロック間の境界における縦方向の輝度差が無くなった（平滑化された）輝度成分画像データＹ２を作成する。処理内容は、縦方向のブロックノイズ除去処理と実質的に同じである。

しきい値ｂは、例えば３０であり、そうすると、ブロック間の境界における画素の画素値は、図１０（イ）から図１０（ロ）に変換され、ブロック間の境界における画素値の差（輝度差）が小さくなったことがわかる。

このように、上記二つのブロックノイズ除去処理は、輝度成分画像データＹ０（図９（イ））から最終的に輝度成分画像データＹ２（図１０（ロ））を作成し、縦横両方向においてブロック間の境界における輝度差を無くす処理である。視覚特性上、人の目は輝度に対して極めて敏感であり、ブロックノイズは主としてブロック間の境界における輝度差に起因するため、上記二つのブロックノイズ除去処理は、ブロックノイズを除去することができる極めて有効な処理である。但し、ブロックノイズは、輝度差にのみ起因するものではなく、色差にもある程度は起因する。そこで、ブロックノイズを完全に除去するためには、次に説明する色ぼかし処理（Ｓ４１，Ｓ４２）が必要となってくる。

＜色差の上限下限テーブルの作成処理（Ｓ４０）＞
色ぼかし処理においては、比較的大きなフィルタ（これについては後述する）を用いるため、ぼかし過ぎると、色がにじんでしまう。例えば、唇の赤と肌とに跨って大きな色ぼかし処理を行うと、色がにじんでしまう。そのため、色ぼかし処理（Ｓ４１，Ｓ４２）においては、色差の上限下限テーブルを用いるようにしている。

色差の上限下限テーブルは、マスク値を計算するテーブルである（図１１参照）。ｃは、出力色差の上限下限用のしきい値であって、０〜４０９５の範囲を取る。このテーブルによれば、−ｃ〜ｃの範囲に属する入力値は、同じ値が出力され、−ｃよりも小さい入力値は、全て−ｃとなって出力され、ｃよりも大きい入力値は、全てｃとなって出力されるようになっているテーブルである。

＜横方向の色ぼかし処理（Ｓ４１）＞
ブロックの各画素を注目画素として横方向の一次元フィルタを掛けて、色差成分画像データＣｒ０，Ｃｂ０から横方向に色がぼけた（平滑化された）色差成分画像データＣｒ１，Ｃｂ１を作成する。フィルタサイズは、例えば７画素（図１２（イ）参照、太枠Ｃが注目画素を表す）が設定可能となっている。

まず、注目画素Ｃの画素値と近傍画素の画素値の差（−２０４７〜２０４７）を計算して差分値データ（Ａ）を作成し（図１２（ロ））、この差分値データ（Ａ）に上限下限テーブル（しきい値ｃは、例えば１５）を通して上限値、下限値でクリッピングした補正値データ（Ｂ）を作成する（図１２（ハ））。そして、この補正値データ（Ｂ）の注目画素Ｃに該注目画素Ｃの画素値を戻して補正値データ（Ｃ）を作成した（図１２（ニ））上で、下記（式９）を用いてフィルタ処理（本発明に係る第３のフィルタ処理）する（図１２（ホ））。

このフィルタは、係数が等しいマトリクスＦc （Ｆc ＝（１ １ ・・・ １））による移動平均フィルタであり、注目画素Ｃを中心としてマトリクスＦc の係数を補正値データ（Ｃ）の各補正値（Ｃｉ）に掛けて総和をとると共に、この総和をマトリクスＦc の係数の総和（移動平均フィルタなので、係数の総和はフィルタサイズと等しい）で除算する計算式である。このフィルタ処理を各画素毎に行っていく。

＜縦方向の色ぼかし処理（Ｓ４２）＞
ブロックの各画素を注目画素として縦方向の一次元フィルタを掛けて、色差成分画像データＣｒ１，Ｃｂ１から縦方向に色がぼけた（平滑化された）色差成分画像データＣｒ２，Ｃｂ２を作成する。処理内容は、横方向の色ぼかし処理と実質的に同じである。

このように、上記二つの色ぼかし処理は、色差成分画像データＣｒ０，Ｃｂ０（図１２（イ））から最終的に色差成分画像データＣｒ２，Ｃｂ２を作成し、色差の大きな輪郭は残したまま、小さな色差のみをぼかす（つぶす）処理である。即ち、色差の差分に上限下限を設けない場合は、通常の移動平均でのぼかしとなるため、色差の大きな輪郭もぼけてしまうが、上限下限が小さな色差の差分の変動範囲に収まるようにしきい値ｃを設定することにより、周辺にある大きな輪郭による色差の差分を小さな輪郭の色差の差分の変動範囲に置き換えて、色差の大きな輪郭がぼけるのを防いでいる。色差に起因するブロックノイズは、この小さな色差を発生原因とするもので、しかるに、上記二つの色ぼかし処理は、画質劣化を生じることなし（画質劣化を目立たせず）に、色差に起因するブロックノイズを除去することができる有効な処理である。尚、強度調整は、フィルタのフィルタサイズと上限下限テーブルのしきい値とを適宜設定して行う。

Ｓ２２のモスキートノイズ除去処理は、図１３に示す如く、Ｓ２１のブロックノイズ除去処理にて作成された輝度成分画像データＹ２に対して輝度ぼかし処理（Ｓ５０）を行って輝度成分画像データＹ３（本発明に係る第２の輝度成分画像データ）を作成すると共に、輝度成分画像データＹ２からエッジ画像データ作成処理（Ｓ５１）を行ってエッジ画像データＥ１を作成し、次に、エッジ画像データ補正処理（Ｓ５２）を行って補正エッジ画像データＥ２を作成し、最後に、この補正エッジ画像データＥ２と上記輝度成分画像データＹ３との合成処理（Ｓ５３）を行って輝度成分画像データＹ４（本発明に係る第３の輝度成分画像データ）を作成するものである。

＜輝度ぼかし処理（Ｓ５０）＞
ブロックの各画素を注目画素として二次元フィルタを掛けて、輝度成分画像データＹ２から輝度がぼけた（平滑化された）輝度成分画像データＹ３を作成する。フィルタサイズは、例えば３×３画素と５×５画素が設定可能となっており、下記（式１０）を用いてフィルタ処理（本発明に係る第２のフィルタ処理）する。

このフィルタは、係数が等しいマトリクスＦb による移動平均フィルタであり、注目画素Ｃを中心としてマトリクスＦb の係数をフィルタリング範囲内の各画素値（Ｙｉ）に掛けて総和をとると共に、この総和をマトリクスＦb の係数の総和で除算したものと注目画素Ｃの画素値との差を求め、これに［ｄ／１２８］で乗算したものを注目画素Ｃの画素値に加算する計算式である。ｄは、ぼかし強度を調整するための係数（ぼかし強度係数）であり、これが上記Ｓ３で決定されるフィルタ係数である。即ち、この係数ｄは、上記Ｓ２で取得された画像情報中の出力サイズ情報に基づいて決定される変数である。尚、ぼかし強度係数ｄを１２８で除算しているのは、高速化の都合上、ぼかし強度係数ｄを予め［１２８／１００］で乗算しているためである。

＜エッジ画像データ作成処理（Ｓ５１）＞
下記（式１１）を用いてブロックＢ単位でエッジ画像データＥ（図１４参照）を作成する。但し、−２０４８〜２０４７にクリッピングする。
Ｅ１ ＝ Ｙ２ − Ｙ３ ・・・（式１１）
即ち、エッジ画像データＥ１は、輝度成分画像データＹ２のそれぞれ画素値を、Ｓ５０の輝度ぼかし処理にて作成された輝度成分画像データＹ３のそれぞれ画素値で減算したものである。

＜エッジ画像データ補正処理（Ｓ５２）＞
まず、エッジ画像データＥ１における最大差分値と最小差分値とから、その差ＳＡを求め、下記（式１２）を用いて補正エッジ画像データＥ２を作成する。

差ＳＡがしきい値ｅよりも大きい場合、画像中に輝度差の大きな輪郭が存在していて、モスキートノイズが出現している可能性が高いことを意味する。その場合の上記（式１２）の考え方は、次の通りである。即ち、モスキートノイズは輝度差が激しい場所に出現するため、エッジ画像データＥ１のそれぞれ差分値をその絶対値（その点の輝度差）が小さくなるようにモスキートノイズの画素エッジ調整値ｆで減算又は加算する。エッジ画像データＥ１の全ての差分値を補正対象とする（即ち、モスキートノイズが発生していない部分まで補正する）のは、ブロック内において補正する部分と補正しない部分とが混在すると、その境界が目立ちやすくなるからである。但し、エッジ画像データＥ１の差分値のうち、その絶対値が画素エッジ調整値ｆ以下のものについては、過補正とならないように０とする。

差ＳＡがしきい値以下の場合、即ち、画像中にあまり輪郭がない平坦なブロックであるが、モスキートノイズが出現している可能性が全くないわけではないので、その場合の上記（式１２）の考え方は、次の通りである。即ち、エッジ画像データＥ１の個々の差分値を全て［１／通常画像の画素エッジ調整値ｇ］で乗算して全体的に輝度差を縮小する。但し、縮小率は、差ＳＡがしきい値よりも大きい場合よりも緩やかとなっている。

しきい値ｅは、例えば１０であり、モスキートノイズの画素エッジ調整値ｆ及び通常画像の画素エッジ調整値ｇは、例えば５であり、そうすると、図１４の場合、差ＳＡは、１７９であるから、左上の角の注目画素（差分値−４）は、補正後は４−５＝−１ → ０となり、その隣の注目画素（差分値−２８）は、補正後は−２８＋５＝−２３となり、・・・右下の角の注目画素（差分値７）は、補正後は７−５＝２となって、全体的に輝度差が縮小された補正エッジ画像Ｅ２が作成される。

＜合成処理（Ｓ５３）＞
下記（式１３）を用いた合成処理を行って輝度成分画像データＹ４を作成する。但し、０〜４０９６にクリッピングする。
Ｙ４ ＝ Ｙ３ ＋ Ｅ２ ・・・（式１３）
即ち、輝度成分画像データＹ４は、輝度成分画像データＹ３のそれぞれ画素値を、Ｓ５２のエッジ画像補正処理にて作成された補正エッジ画像データＥ２のそれぞれ補正値で加算したものである。

このように、上記モスキートノイズ除去処理は、輝度成分画像データＹ２から最終的に輝度成分画像データＹ４を作成し、輝度差が大きな輪郭は大きくぼかすことなく（元々輝度差が大きいため、ぼかしが目立たないということ）、細かな輝度差のみをぼかす（つぶす）処理である。モスキートノイズは、この細かな輝度差を発生原因とするもので、しかるに、上記モスキートノイズ除去処理は、画質劣化を生じることなし（画質劣化を目立たせず）に、モスキートノイズを除去する有効な処理である。

ところで、本実施形態に係る画像ノイズ除去処理は、ブロックノイズ除去処理（Ｓ２１）を先に行い、その次にモスキートノイズ除去処理（Ｓ２２）を行うものである。この理由は、モスキートノイズ除去処理（Ｓ２２）は、ぼかし処理であるため、先にこのモスキートノイズ除去処理（Ｓ２２）を行うと、ブロックノイズが全体にぼけてしまい、ブロックノイズ除去処理（Ｓ２１）において、ブロックノイズだけを狙っての除去が難しくなるためである。従って、ブロックノイズ除去処理（Ｓ２１）の後にモスキートノイズ除去処理（Ｓ２２）を行う必要がある。

また、モスキートノイズ除去処理（Ｓ２２）において、画像の出力サイズに応じてぼかし強度を変化させ、小さい出力サイズでは、ぼかし強度を弱くする一方、大きい出力サイズでは、ぼかし強度を強くするようにしている。ぼかし強度を弱くするということは、フィルタ処理における画像ノイズの除去の程度が弱くなるということであり、ぼかし強度を強くするということは、フィルタ処理における画像ノイズの除去の程度が強くなるということであるが、小さい出力サイズでは、観察距離が近くなる傾向にあり、そのため、ぼかし具合が強く見えるという視覚的作用が生じ、この作用によってぼかし強度が弱い分が補償されて、実際にはぼかし具合が適正に見えるようになる。一方、大きい出力サイズでは、観察距離が遠くなる傾向にあり、そのため、ぼかし具合が弱く見えるという視覚的作用が生じ、この作用によってぼかし強度が強い分が抑制されて、実際にはぼかし具合が適正に見えるようになる。従って、一定の観察距離であれば、ぼかし具合の見え方が異なってくるところであるが、実際は画像の出力サイズに応じて観察距離が異なってくるため、出力サイズの如何を問わず出力画像の見た感じは同じような仕上がりにすることができる。

尚、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更が可能である。

例えば、上記実施形態においては、モスキートノイズ除去処理（Ｓ２２）の輝度ぼかし処理（Ｓ５０）で用いられる上記（式１０）の平滑化フィルタのフィルタ係数ｄを変更することにより、フィルタ処理における画像ノイズの除去の程度を変化させるようにしているが、例えば、その（式１０）の平滑化フィルタのフィルタサイズを図３（ロ）に示すように段階的に変更することにより、フィルタ処理における画像ノイズの除去の程度を変化させるようにしてもよい。

また、フィルタ係数やフィルタサイズを変更するのは、モスキートノイズ除去処理（Ｓ２２）の輝度ぼかし処理（Ｓ５０）で用いられるフィルタには限定されず、その他のステップにおけるフィルタ処理で用いられるフィルタであってもよい。但し、画像全体のぼかし具合を支配するのは、主としてモスキートノイズ除去処理（Ｓ２２）の輝度ぼかし処理（Ｓ５０）であるため、上記実施形態であるのがより好ましい。

また、上記実施形態においては、画像ノイズ除去をコンピュータ上で処理するようにしているが、復号化装置に組み込み、復号化処理の中（具体的には、逆直交変換後）で画像ノイズ除去処理を行うようにしてもよい。

また、上記実施形態においては、圧縮画像を復号化する際にＲＧＢ変換処理を含めているため、ＲＧＢ／ＹＣＣ変換処理（Ｓ４）を行うものであった。入力画像がＲＧＢ情報を持つＢＭＰ画像等であれば、このＲＧＢ／ＹＣＣ変換処理が必要となるが、元々ＹＣＣ情報を持つＪＰＥＧ画像であれば、ＲＧＢ／ＹＣＣ変換処理（Ｓ４）及びこれに伴うＹＣＣ／ＲＧＢ変換処理（Ｓ６）が必ずしも必要でないことは言うまでもない。

本実施形態に係る画像処理装置の構成図を示す。 同実施形態に係る画像処理のフローチャートを示す。 同実施形態に係る画像ノイズ除去のためのフィルタ処理で用いられるフィルタと画像の出力サイズとの関係を表すグラフであって、（イ）は、フィルタのフィルタ係数と画像の出力サイズとの関係、（ロ）は、フィルタのフィルタサイズと画像の出力サイズとの関係を示す。 図２の画像ノイズ除去処理のフローチャートを示す。 画像データに境界が付加された状態の説明図を示す。 横方向に境界が付加された状態の説明図であって、（イ）は、画像データの幅がブロックの幅の倍数である場合、（ロ）は、画像データの幅がブロックの幅の倍数でない場合、を示す。 縦方向に境界が付加された状態の説明図であって、（イ）は、画像データの高さがブロックの高さの倍数である場合、（ロ）は、画像データの高さがブロックの高さの倍数でない場合、を示す。 図４のブロックノイズ除去処理のフローチャートであって、（イ）は、輝度成分画像データに対するもの、（ロ）は、色差成分画像データに対するもの、を示す。 図８（イ）の縦方向のブロックノイズ除去処理の説明図であって、（イ）は、フィルタ処理を行う状態、（ロ）は、縦方向のブロックノイズが除去された状態、を示す。 図８（イ）の横方向のブロックノイズ除去処理の説明図であって、（イ）は、フィルタ処理を行う状態、（ロ）は、横方向のブロックノイズが除去された状態、を示す。 図８（ロ）の色差成分画像データに対するブロックノイズ除去処理に用いられる色差の上限下限テーブルの説明図を示す。 図８（ロ）の色差成分画像データに対するブロックノイズ除去処理の説明図であって、（イ）は、色差成分画像データ、（ロ）は、差分値データ、（ハ）は、補正値データ、（ニ）も、補正値データ、（ホ）は、注目画素の画素値が置き換わった状態、を示す。 図４のモスキートノイズ除去処理のフローチャートを示す。 図１３のエッジ画像作成処理の説明図を示す。

符号の説明

Ａ…画像データ、Ｂ…ブロック、Ｂ’…付加ブロック、Ｂ''…未完ブロック、Ｃ…注目画素、Ｓ…画像データの境界、Ｙ０〜Ｙ４…輝度成分画像データ、Ｃｒ０〜Ｃｒ２，Ｃｂ０〜Ｃｂ２…色差成分画像データ

Claims (7)

1. ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズ等の画像ノイズを平滑化フィルタを用いたフィルタ処理により除去する画像ノイズ除去方法であって、
   画像データにおける輝度成分画像データ及び色差成分画像データのそれぞれを符号化・復号化と同じブロックに分割し、
   輝度成分画像データに対しては、ブロック間の境界におけるそれぞれ画素を注目画素として第１のフィルタ処理を行い、ブロック間の境界を平滑化した第１の輝度成分画像データを作成する工程と、
   該第１の輝度成分画像データのそれぞれ画素を注目画素として第２のフィルタ処理を行い、全体を平滑化した第２の輝度成分画像データを作成する工程と、
   第１の輝度成分画像データのそれぞれ画素値を第２の輝度成分画像データのそれぞれ画素値で減算したエッジ画像データを作成する工程と、
   該エッジ画像データのそれぞれ差分値を所定条件に基づいて補正した補正エッジ画像データを作成する工程と、
   第２の輝度成分画像データのそれぞれ画素値に補正エッジ画像データのそれぞれ補正値を加算した第３の輝度成分画像データを作成する工程とを備え、
   色差成分画像データに対しては、該色差成分画像データのそれぞれ画素を注目画素として第３のフィルタ処理を行い、全体を平滑化した第１の色差成分画像データを作成する工程を備えてなり、
   前記第２のフィルタ処理で用いられる平滑化フィルタのフィルタ係数を変化させることにより、画像を印画紙、プリンタ用紙等の出力媒体に出力する際の該画像の出力サイズ又は拡大率が大きくなれば、フィルタ処理における画像ノイズの除去の程度が強くなるよう、画像の出力サイズ又は拡大率に応じて、第２のフィルタ処理における画像ノイズの除去の程度を連続的又は段階的に変化させる画像ノイズ除去方法。
2. ブロック単位で圧縮符号化された画像を復号化するに際して生じるブロックノイズ及びモスキートノイズ等の画像ノイズを平滑化フィルタを用いたフィルタ処理により除去する画像ノイズ除去方法であって、
   画像データにおける輝度成分画像データ及び色差成分画像データのそれぞれを符号化・復号化と同じブロックに分割し、
   輝度成分画像データに対しては、ブロック間の境界におけるそれぞれ画素を注目画素として第１のフィルタ処理を行い、ブロック間の境界を平滑化した第１の輝度成分画像データを作成する工程と、
   該第１の輝度成分画像データのそれぞれ画素を注目画素として第２のフィルタ処理を行い、全体を平滑化した第２の輝度成分画像データを作成する工程と、
   第１の輝度成分画像データのそれぞれ画素値を第２の輝度成分画像データのそれぞれ画素値で減算したエッジ画像データを作成する工程と、
   該エッジ画像データのそれぞれ差分値を所定条件に基づいて補正した補正エッジ画像データを作成する工程と、
   第２の輝度成分画像データのそれぞれ画素値に補正エッジ画像データのそれぞれ補正値を加算した第３の輝度成分画像データを作成する工程とを備え、
   色差成分画像データに対しては、該色差成分画像データのそれぞれ画素を注目画素として第３のフィルタ処理を行い、全体を平滑化した第１の色差成分画像データを作成する工程を備えてなり、
   前記第２のフィルタ処理で用いられる平滑化フィルタのフィルタサイズを変化させることにより、画像を印画紙、プリンタ用紙等の出力媒体に出力する際の該画像の出力サイズ又は拡大率が大きくなれば、フィルタ処理における画像ノイズの除去の程度が強くなるよう、画像の出力サイズ又は拡大率に応じて、第２のフィルタ処理における画像ノイズの除去の程度を連続的又は段階的に変化させる画像ノイズ除去方法。
3. 前記第１のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差の絶対値が所定のしきい値以内に収まるようにクリッピングした値を用いる請求項１又は２に記載の画像ノイズ除去方法。
4. 前記補正エッジ画像データは、前記エッジ画像データにおける最大差分値と最小差分値とからその差を求め、差が所定のしきい値よりも大きい場合は、０（ゼロ）を下限としてエッジ画像データのそれぞれ差分値をその絶対値が小さくなるように所定の調整値で加減することにより作成される請求項１乃至３の何れかに記載の画像ノイズ除去方法。
5. 前記補正エッジ画像データは、前記差が所定のしきい値以下の場合は、エッジ画像データのそれぞれ差分値に所定の調整値を乗算することにより作成される請求項４に記載の画像ノイズ除去方法。
6. 前記第３のフィルタ処理は、注目画素の画素値とフィルタリング範囲内の画素の画素値との差を計算して作成された差分値データに所定の上限下限テーブルを通して上限値、下限値でクリッピングして作成された補正値データに対して行う請求項１乃至５の何れかに記載の画像ノイズ除去方法。
7. 前記所定の上限下限テーブルは、所定のしきい値よりも絶対値が小さい入力値に対しては、それを出力値とし、所定のしきい値以上の絶対値を持つ入力値に対しては、入力値と同符号のしきい値を出力値とする請求項６に記載の画像ノイズ除去方法。

Images