JP5150224B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像アーチファクトを削減するために、ノイズ画素を検出してフィルタリングすることによって画質の向上を実現する装置および方法に関する。本発明は、特に、リンギングアーチファクトを検出して削減する画像処理方法と、その方法により画像処理を行う画像処理装置に関する。

ビデオデータの大半はデジタル圧縮形式で記憶され放送されており、例えばＪＰＥＧやＭＰＥＧ−２／４といった圧縮規格の多くは、データ量を削減するためにブロックごとの離散コサイン変換（ＤＣＴ）や量子化処理を用いている。圧縮処理の間、粗い量子化および係数の切捨ては符号化ノイズを引き起こす。符号化ノイズの１つであるリンギングアーチファクト（リンギング歪またはリンギングノイズともいう）は、画像の比較的低いエネルギー領域における高コントラストのエッジ周辺において発生する。

図３８は、リンギングアーチファクトの一例を示す図である。
例えば図３８に示すように、符号化されてさらに復号化されたピクチャは、山、空および湖を表している。この場合、その山および湖を示すべき画像は、細かい模様のテクスチャとして表現される。リンギングアーチファクトは、例えば山などの画像のエッジ周辺に現れるノイズである。このようなリンギングアーチファクトは、画像の符号化によって高周波成分が除去されることに起因して、復号化された画像に発生する。具体的には、リンギングアーチファクトは、エッジを含むブロック内で全体的に広がって点在するノイズ画素により構成される。このリンギングアーチファクトにより、例えば、山のエッジを含むブロック内において、空の平坦な青色を示すべき画素が白色を示していたり、テクスチャとしての画素値を有すべき画素が、そのテクスチャとは異なる画素値を有していたりする。このように、符号化されてさらに復号化されたピクチャには、リンギングアーチファクトを構成するノイズ画素が含まれる。

リンギングアーチファクト削減方法がいくつか提案されている。特許文献１は、リンギングアーチファクトの削減例を開示している。

図３９は、上記特許文献に開示されている画像処理方法を示す図である。
この従来の方法は、空間上の動き値の算出ステップ（ＡＣＴ）、非自然均一領域の決定ステップ（ＮＮＤ）、グラディエントフィルタステップ（ＧＦ）、リンギングアーチファクトの検出ステップ（ＲＤ）、およびフィルタステップ（ＦＩＬ）を備えている。従来の方法では、画素ごとの動きおよび画素勾配を所定の閾値と比較することによって、リンギングアーチファクトを決定している。
米国特許第６９２０２５２号明細書

従来の方法では、各画素の動きおよびその画素勾配をリンギングアーチファクトの決定に用いている。しかしながら、自然画像においては、物体と背景のテクスチャがリンギングアーチファクトと同一である。テクスチャとリンギングアーチファクトは、通常同一の動きと画素勾配を有している。つまり、従来の方法では、この動きと画素勾配を用いて、テクスチャとリンギングアーチファクトを正確に特定することが出来ない。テクスチャが一度リンギングアーチファクトであると誤って決定されてしまうと、これら誤って決定されたテクスチャはフィルタによって取り除かれてしまう。一方、リンギングアーチファクトは、テクスチャであると誤って決定された場合に、テクスチャとして認識された状態で維持される。さらに、テクスチャおよびリンギングアーチファクトが空間上の同一地点において混合される場合に、誤った画素判定によって、フィルタは、テクスチャも失うがリンギングアーチファクトを取り除く、もしくはリンギングアーチファクトを残したままテクスチャを維持するという処理を行う。

このように、従来の画像処理方法では、リンギングアーチファクトを適切に検出してそのリンギングアーチファクトのみを削減することができないという問題がある。

そこで、本発明では、リンギングアーチファクトを適切に検出してそのリンギングアーチファクトのみを削減することで画質の向上を図る画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理方法は、入力画像からリンギングアーチファクトを削減する画像処理方法であって、入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中から、リンギングアーチファクトを構成するノイズ画素の候補を選択する候補選択ステップと、前記候補選択ステップで選択された候補の色差値が、前記入力画像の一部である比較対象領域に応じた色差範囲に含まれるか否かに基づいて、前記候補がノイズ画素であるか否かを判別する判別ステップと、前記判別ステップでノイズ画素であると判別された当該ノイズ画素に対してフィルタリング処理を施すフィルタリングステップとを含むことを特徴とする。

これにより、候補がノイズ画素であるか否かは、例えば空などの平坦な青色を示す比較対象領域の色差範囲や、山などの細かい模様のテクスチャを示す比較対象領域の色差範囲に、その候補の色差値が含まれるか否かに応じて判別されるため、従来のように動きや画素勾配だけによってノイズ画素であるか否かを判別するよりも、リンギングアーチファクトを構成するノイズ画素を適切に検出することができる。さらに、検出されたノイズ画素に対して、例えばローパスフィルタによるフィルタリング処理が施されるため、上述のテクスチャを維持してリンギングアーチファクトだけを削減することができ、画質の向上を図ることができる。

また、前記画像処理方法は、さらに、入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中からエッジを構成するエッジ画素を特定するエッジ特定ステップを含み、前記候補選択ステップでは、複数の前記候補を選択し、前記判別ステップでは、前記入力画像に含まれる前記複数の候補のうち、前記入力画像の一部である、前記エッジ画素を含む処理対象領域にある候補に対して、ノイズ画素であるか否かの判別を行うことを特徴としてもよい。

リンギングアーチファクトはエッジ周辺で生じるため、本発明のように、エッジを含む処理対象領域にある候補に対して、ノイズ画素であるか否かの判別が行われることにより、無駄な処理を省いて適切にノイズ画素を検出することができる。

また、前記候補選択ステップでは、前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を第１の閾値と比較し、前記第１の閾値以下の絶対値に対応する画素を前記候補に選択し、前記エッジ特定ステップでは、前記複数画素のそれぞれにおける輝度値の勾配の絶対値を前記第１の閾値と比較し、前記第１の閾値以上の絶対値に対応する画素を前記エッジ画素として特定することを特徴としてもよい。

これにより、輝度値の勾配である画素勾配の絶対値が、第１の閾値以上であれば、その絶対値に対応する画素がエッジ画素として特定され、第１の閾値以下であれば、その絶対値に対応する画素が候補として選択されるため、エッジ画素を適切に特定することができるとともに、候補を適切に選択することができる。

また、前記画像処理方法は、さらに、前記入力画像に含まれる複数画素の輝度値に基づいて、前記入力画像の中から前記比較対象領域を決定する領域決定ステップを含むことを特徴としてもよい。例えば、前記領域決定ステップでは、前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を、前記第１の閾値よりも小さい第２の閾値と比較し、前記第２の閾値以下の絶対値に対応する画素が予め定められた数以上連続している平坦化領域を、前記比較対象領域として決定し、前記判別ステップでは、前記候補の色差値が前記平坦化領域に応じた色差範囲に含まれている場合に、前記候補がノイズ画素であると判別する。

これにより、例えば空などの平坦な青色を示す平坦化領域が比較対象領域として決定され、その平坦化領域の色差値に類似している色差値を有しているにも関わらず、平坦化領域の画素勾配の絶対値よりも大きい画素勾配の絶対値を有する画素が、ノイズ画素として検出されるため、ノイズ画素を適切に検出することができる。

また、前記領域決定ステップでは、さらに、前記候補が予め定められた数以上連続しているテクスチャ領域を他の比較対象領域として決定し、前記画像処理方法は、さらに、前記判別ステップで前記候補がノイズ画素でないと判別されたときに、前記候補の色差値が前記テクスチャ領域に応じた色差範囲に含まれていない場合に、前記候補がノイズ画素であると判別する再判別ステップを含むことを特徴としてもよい。

これにより、平坦化領域の色差範囲に基づいて候補がノイズ画素でないと判別されたときにも、その候補が、例えば山の細かな模様などを示すテクスチャ領域の画素勾配の絶対値に類似している画素勾配の絶対値を有しているにも関わらず、テクスチャ領域の色差値と非類似の色差値を有していれば、ノイズ画素として検出されるため、ノイズ画素をより適切に検出することができる。

また、前記領域決定ステップでは、前記候補が予め定められた数以上連続しているテクスチャ領域を前記比較対象領域として決定し、前記判別ステップでは、前記候補の色差値が前記テクスチャ領域に応じた色差範囲に含まれていない場合に、前記候補がノイズ画素であると判別することを特徴としてもよい。

これにより、例えば山の細かな模様などを示すテクスチャ領域が比較対象領域として決定され、そのテクスチャ領域の画素勾配の絶対値に類似している画素勾配の絶対値を有しているにも関わらず、テクスチャ領域の色差値と非類似の色差値を有する画素が、ノイズ画素として検出されるため、ノイズ画素を適切に検出することができる。

また、前記領域決定ステップでは、さらに、前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を、前記第１の閾値よりも小さい第２の閾値と比較し、前記第２の閾値より小さい絶対値に対応する画素が予め定められた数以上連続している平坦化領域を、前記比較対象領域として決定し、前記画像処理方法は、さらに、前記判別ステップで前記候補がノイズ画素であると判別されたときに、前記候補の色差値が前記平坦化領域に応じた色差範囲に含まれている場合に、前記候補がノイズ画素であると判別する再判別ステップを含むことを特徴としてもよい。

これにより、テクスチャ領域の色差範囲に基づいて候補がノイズ画素であると判別されたときであっても、その候補が、例えば空などの平坦な青色を示す平坦化領域の色差値に類似している色差値を有しているにも関わらず、平坦化領域の画素勾配の絶対値よりも大きい画素勾配の絶対値を有していれば、ノイズ画素として検出されるため、ノイズ画素をより適切に検出することができる。

また、前記画像処理方法は、さらに、前記エッジ画素を含む処理対象領域を示すウィンドウを前記入力画像中に設定するウィンドウ設定ステップを含み、前記領域決定ステップでは、前記ウィンドウにより示される処理対象領域の中から前記比較対象領域を決定することを特徴としてもよい。

これにより、入力画像を構成する、画像復号化処理の単位とされた複数のブロックの境界がその入力画像のどこにあるかが分からない場合でも、エッジ画素を含む処理対象領域を示すウィンドウが設定され、その処理対象領域の中から比較対象領域が決定されるため、その処理対象領域からノイズ画素を適切に検出することができる。

また、前記判別ステップでは、前記入力画像を構成する、画像復号化処理の単位とされた複数のブロックのうち、前記エッジ画素を含むブロックを前記処理対象領域として扱い、前記領域決定ステップでは、前記処理対象領域の周辺にあるブロックを前記比較対象領域に決定することを特徴としてもよい。

これにより、入力画像を構成する、画像復号化処理の単位とされた複数のブロックの境界がその入力画像のどこにあるかが分かる場合には、エッジ画素が含むブロックが処理対象領域として扱われ、処理対象領域の周辺にあってエッジ画素を含まないブロックが比較対象領域に決定されるため、上述のようなウィンドウを設定することなく、処理対象領域のブロックにあって比較対象領域のブロックにないノイズ画素を適切に且つ簡単に検出することができる。

なお、本発明は、このような画像処理方法だけでなく、その画像処理方法により画像処理を行う画像処理装置や、集積回路、その画像処理方法により画像処理を画像処理装置に実行させるプログラム、そのプログラムを格納する記録媒体としても実現することができる。

本発明の画像処理方法は、リンギングアーチファクトを適切に検出してそのリンギングアーチファクトのみを削減することで画質の向上を図ることができるという作用効果を奏する。

以下、本発明の実施の形態における画像処理方法および画像処理装置について図面を参照しながら説明する。

人間の知覚経験および物体や背景のテクスチャは、どちらもリンギングアーチファクトの判定に影響を与える。人間の目は、異常なアーチファクトを特定するために、ウィンドウの範囲内で近隣情報を一体化する。物体や背景のテクスチャはリンギングアーチファクトと同様に、画像の局部領域のみを調べる場合は、テクスチャの認識が困難である。

輝度とともに、色差は、テレビ信号の２成分の１つである。色差はさらにＰＡＬビデオ信号のＵおよびＶまたはデジタル信号のＣｂおよびＣｒという２つの成分から構成されている。

本発明では、リンギングアーチファクトを構成するノイズ画素の候補を選択し、その候補がノイズ画素であるか否かを判別するために、その候補の色差成分を用いる。

画素と近接する画素間のグレーレベルの大きな差異は、人間の目でも特定可能なエッジを形成する。よって、グレーレベルを用いて画像中の物体および背景の輪郭を決定し、決定した輪郭に沿ったリンギングアーチファクトを形成するノイズ画素の候補を選択する。

輝度成分を用いて物体や背景のテクスチャの空間的範囲を決定する。近傍領域と色差の類似度が高い画素が人間の目で上記領域の一部に認識される。また、画素は、色差の類似度が高い隣接する物体や背景と高い相関性を有する。色差成分は、リンギングアーチファクトからの重要なテクスチャを伝える有益な情報を提供する。ノイズ画素を決定するために、本発明は、色差成分を用いてリンギングアーチファクトを取り除き、テクスチャを維持する。つまり、画質の向上を実現する。

（実施の形態１）
図１のブロック図及び図２のフローチャートを参照し、画像のリンギングアーチファクトを削減するための画像処理装置について以下に説明する。

図１は、本実施の形態におけるリンギングアーチファクトを削減するための画像処理装置の構成を示す図である。

画像処理装置１００は、画像が符号化および復号化されることによって生成された入力画像データを取得して、その入力画像データに含まれるリンギングアーチファクトを削減し、リンギングアーチファクトが削減された入力画像データを出力画像データとして出力する。なお、本実施の形態では、画像処理装置１００は、例えば、上述の入力画像データをアナログ信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握することなく、リンギングアーチファクトの削減を行う。

このような画像処理装置１００は、検出部１０１、スイッチ１０２、およびフィルタリング部１０３を備える。検出部１０１は、入力画像データを受信し、色差値を調べることによってリンギングアーチファクトを構成するノイズ画素を検出する。スイッチ１０２は検出部１０１に接続する。ノイズ画素が検出されると、スイッチ１０２の端子ａが接続され、フィルタリング部１０３が作動する。検出されない場合は、スイッチ１０２の端子ｂが接続され、フィルタリング部１０３は作動しない。フィルタリング部１０３は、ローパスフィルタを適用して、検出したノイズ画素にフィルタリングを行い、フィルタリングされた画素を出力する。画像処理装置１００は、フィルタリングされた画素とフィルタリングされていない画素とを結合して出力画像データを生成し、その出力画像データを出力する。

図２は、本実施の形態における画像処理装置１００の動作を示すフローチャートである。ステップＳ２０１において、色差値を調べることによってノイズ画素を検出する。ステップＳ２０２では、ノイズ画素を確認することによって、２つのステップに分かれる。ノイズ画素が判定された場合は、ステップＳ２０３へ進み、判定されなかった場合は、ステップＳ２０４へ進む。ステップＳ２０３では、そのノイズ画素にローパスフィルタを適用する。ステップＳ２０４では、フィルタリングされた画素とフィルタリングされていないその他の画素を結合し、出力画像データとして出力する。

図３のブロック図および図４のフローチャートを参照し、検出部１０１について以下説明する。

図３は、リンギングアーチファクトを検出するための検出部１０１の構成図である。
検出部１０１は、候補選択部３０１、スイッチ３０２、および決定部３０３を備える。候補選択部３０１は入力画像データを受信し、ノイズ画素の候補を選択する。スイッチ３０２は候補選択部３０１に接続する。候補が選択されると、スイッチ３０２の端子ｂが接続され、決定部３０３が作動する。選択されない場合は、スイッチ３０２の端子ａが接続され、決定部３０３は作動しない。決定部３０３は、色差値を用いて各候補がノイズ画素であるか否かを判別することにより、複数の候補の中からノイズ画素を決定する。端末ａと決定部３０３の出力はさらに結合される。このように、検出部１０１は、入力画像データからノイズ画素の複数の候補を選択して、その複数の候補の中からリンギングアーチファクトを構成するノイズ画素を決定することにより、リンギングアーチファクトを検出する。

図４は、検出部１０１の動作を示すフローチャートである。ステップＳ４０１において、検出部１０１の候補選択部３０１はノイズ画素の候補を選択する。ステップＳ４０２では、その候補を確認することによって、２つのステップに分かれる。ステップＳ４０２において、候補選択部３０１によってノイズ画素の候補が選択された場合は、さらにノイズ画素を決定するためにステップＳ４０３へ進み、候補が選択されなかった場合は、ステップＳ４０３の処理を行わない。ステップＳ４０３では、決定部３０３は、入力画像データから抽出された色差値を用いて、複数の候補の中からノイズ画素を決定する。

図５から図１０を参照して、本発明の実施の形態１を説明する。
図５は、決定部３０３の詳細な構成を示すブロック図である。

リンギングアーチファクトを検出するための検出部１０１は、上述のように、候補選択部３０１、スイッチ３０２、および決定部３０３を備える。決定部３０３は、比較部５０１と色差算出部５０２とを備える。色差算出部５０２は、候補選択部３０１の処理結果を含む入力画像データを受信し、その入力画像データの示す画像中の所定の領域における色差の範囲を算出する。比較部５０１は、スイッチ３０２の端子ｂに接続して候補選択部３０１から候補の色差値を取得するとともに、色差算出部５０２から色差範囲を受信する。比較部５０１は、ノイズ画素を決定するために、その候補の色差値と色差範囲とを比較する。

図６は、検出部１０１の詳細な動作を示すフローチャートである。ステップＳ４０１およびステップＳ４０２は、図４に示されるステップと同一である。ステップＳ４０３は、ステップＳ６０１、Ｓ６０２およびＳ６０３を含む。検出部１０１は、ステップＳ６０１において、後述する平坦化領域の色差範囲を算出する。ステップＳ６０２では、検出部１０１は、候補の色差値と平坦化領域の色差範囲とを比較する。その候補の色差値が平坦化領域の色差範囲内にある場合は、ステップＳ６０３において、検出部１０１は、その候補がノイズ画素であると判別する。つまり、検出部１０１は、その候補をノイズ画素として分類する。色差値が色差範囲内にない場合は、検出部１０１は、その候補がノイズ画素でないと判別する。つまり、検出部１０１は、その候補に対するステップＳ６０３の処理を飛ばしステップＳ４０３の動作を終了する。以下に上記フローの各動作を詳細に説明する。

図７は、連続して配列する各画素の輝度値を示す図である。
候補選択部３０１は、ステップＳ４０１において、各画素の輝度値を用いてその各画素からノイズ画素の候補を選択する。この図７では、連続して配列する各画素の輝度値は、画像の水平方向に対して左から右に描かれている。ここで、この例はある一空間方向で描写されているが、水平方向、垂直方向のどちらの方向にも適用が可能である。リンギングアーチファクトは物体のエッジ付近に発生する傾向がある。エッジを形成する画素を調べることによって、リンギングアーチファクトを形成するノイズ画素候補の位置を選択することができる。図７を参照し、エッジの一部を形成する画素Ｐ５の輝度値と画素Ｐ６の輝度値との差異Ｄ４は大きく、その画素Ｐ５の輝度値と画素Ｐ４の輝度値との差異Ｄ３は小さい。上記エッジの異なる一部を形成する画素Ｐ６の輝度値と画素Ｐ５の輝度値との差異Ｄ４は大きく、その画素Ｐ６の輝度値と画素Ｐ７の輝度値との差異Ｄ５は小さい。ノイズ画素候補の１つである画素Ｐ２の輝度値と画素Ｐ１の輝度値との差異Ｄ１は小さく、その画素Ｐ２の輝度値と画素Ｐ３の輝度値との差異Ｄ２は小さい。同様に、エッジやリンギングアーチファクトを形成しない平坦化領域についても、輝度値を調べることによって決定することができる。平坦化領域の一部を形成する画素Ｐ９の輝度値は、画素Ｐ８や画素Ｐ１０の輝度値とほとんど差異がない。候補選択部３０１は、画素間の輝度値の差異を調べることで、画素Ｐ１１と画素Ｐ４の位置間と、画素Ｐ７と画素Ｐ１２の位置間とに位置する画素を、ノイズ画素の候補として選択する。さらに、候補選択部３０１は、画素Ｐ１３と画素Ｐ１４の位置間に位置する画素を、平坦化画素として決定する。

図８は、連続して配列する各画素の画素勾配の絶対値を示す図である。
候補選択部３０１は、ステップＳ４０１において、ノイズ画素の候補を選択するときには、実用的な方法として、各画素の画素勾配の絶対値を用いて候補を選択する。つまり、候補選択部３０１は、連続して配列する各画素の輝度値の勾配である画素勾配の絶対値を算出する。なお、図７では、画素勾配の絶対値を、画像の水平方向に対して左から右に示す。ここでは、ある一空間的方向のみを示しているが、水平方向、垂直方向のどちらの方向にも適用が可能である。

候補選択部３０１は、各画素の画素勾配の絶対値と、閾値ＧＨおよび閾値ＧＬとを比較することにより、各画素を、候補、エッジ画素または平坦化画素に分類することにより、ノイズ画素の候補を選択する。画素勾配の閾値ＧＨは画素勾配の閾値ＧＬより高い。画素勾配の絶対値が画素勾配の閾値ＧＨ以上である場合は、候補選択部３０１は、その絶対値に対応する画素をエッジ画素に分類する。画素勾配の絶対値が画素勾配の閾値ＧＨより小さく画素勾配の閾値ＧＬ以上である場合は、候補選択部３０１は、その絶対値に対応する画素をノイズ画素の候補に分類する。画素勾配の絶対値が画素勾配の閾値ＧＬより小さい場合は、候補選択部３０１は、その絶対値に対応する画素を平坦化画素に分類する。

例えば、画素Ｐ５と画素Ｐ６との画素勾配は絶対値Ｇ３に値し、この絶対値Ｇ３は画素勾配の閾値ＧＨより高いので、画素Ｐ５と画素Ｐ６はエッジ画素に分類される。画素Ｐ２の隣接画素との画素勾配は絶対値Ｇ１およびＧ２に値し、これら絶対値Ｇ１およびＧ２は画素勾配の閾値ＧＨより小さく画素勾配の閾値ＧＬ以上であるので、画素Ｐ２はノイズ画素の候補に分類される。さらに、画素Ｐ９の隣接画素との画素勾配は絶対値Ｇ４およびＧ５に値し、これら絶対値Ｇ４およびＧ５は画素勾配の閾値ＧＬより小さいので、画素Ｐ９は平坦化画素に分類される。画素勾配の絶対値を調べることによって、画素Ｐ１１と画素Ｐ４の位置間と、画素Ｐ７と画素Ｐ１２の位置間とに位置する画素が、ノイズ画素の候補として選択される。さらに、画素Ｐ１３と画素Ｐ１４の位置間に位置する画素が平坦化画素として決定される。

なお、候補選択部３０１は、画素勾配の閾値ＧＬより小さい絶対値が所定数だけ連続する場合に限って、その連続する範囲にある画素を平坦化画素に分類してもよい。例えば、１つの絶対値が閾値ＧＬよりも小さく、その絶対値の両隣にある絶対値が閾値ＧＬよりも大きい場合には、候補選択部３０１は、その閾値ＧＬよりも小さい絶対値に対応する画素を平坦化画素に分類せずに、例えばノイズ画素の候補に分類する。

図９および図１０を用いて、図６に示されるステップＳ６０１からステップＳ６０３におけるノイズ画素の決定処理の第１の例を説明する。

図９は、連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。
Ｋ画素ウィンドウはエッジ画素Ｐ３およびＰ４から拡げられ、図９の例の場合、Ｋは１５である。つまり、このＫ画素ウィンドウは、エッジ画素Ｐ４より右側の１５画素と、エッジ画素Ｐ３より左側の１５画素とを含む。

決定部３０３の色差算出部５０２は、入力画像データを受信すると、その入力画像データの示す画像中に含まれるエッジ画素を中心に上述のＫ画素ウィンドウを設定する。そして、色差算出部５０２は、連続する平坦化画素を含む領域を平坦化領域に決定する。つまり、色差算出部５０２は、Ｋ画素ウィンドウ内において、連続する平坦化画素の数が閾値ＦＢ以上である場合、その連続する平坦化画素を含む領域を平坦化領域に決定する。

図９に示す例では、図９の右側に示されているように、色差算出部５０２は、画素Ｐ７と画素Ｐ８との空間上の位置間に画素を有する領域を平坦化領域と決定する。

図１０は、図９に示されるような画素Ｐ１と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２は、入力画像データを受信し、ステップＳ６０１において、平坦化領域の色差の範囲を算出する。各色差成分について、平坦化領域の色差範囲の最大値は、その平坦化領域の色差値の最大値にオフセットＦＨを加算したものに等しい。平坦化領域の色差範囲の最小値は、その平坦化領域の色差値の最小値からオフセットＦＬを減算したものに等しい。図１０に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値をそれぞれｒ１およびｒ２と表し、同様にＣｒ／Ｖの最大値および最小値をそれぞれｒ３およびｒ４と表す。

つまり、色差算出部５０２は、平坦化領域のＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化領域のＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。

比較部５０１は、平坦化領域の色差範囲を受信し、ステップＳ６０２において、候補の色差値と平坦化領域の色差範囲とを比較する。候補の色差値が平坦化領域の色差範囲内にある場合は、比較部５０１は、ステップＳ６０３において、その候補がノイズ画素であると決定する。図１０に示されるように、画素Ｐ１と画素Ｐ２との空間的位置間に位置する候補の色差値は、平坦化領域の色差範囲内にない。画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補の色差値は、平坦化領域の色差範囲内にある。従って、比較部５０１は、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補のみを図１０に示すノイズ画素に分類する。

このように本実施の形態では、例えば空などの平坦な青色を示す平坦化領域の色差範囲に、候補の色差値が含まれていれば、その候補がノイズ画素に決定されるため、従来のように動きや画素勾配だけによってノイズ画素であるか否かを判別するよりも、リンギングアーチファクトを構成するノイズ画素を適切に検出することができる。さらに、検出されたノイズ画素に対して、例えばローパスフィルタによるフィルタリング処理が施されるため、上述のテクスチャを維持してリンギングアーチファクトだけを削減することができ、画質の向上を図ることができる。

（変形例）
本変形例に係る画像処理装置１００は、例えば、上述の入力画像データをデジタル信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握し、そのブロックを利用してリンギングアーチファクトの削減を行う。なお、リンギングアーチファクトは、エッジを含むブロック内にのみ発生する。

図１１および図１２を用いて、図６に示すステップＳ６０１からステップＳ６０３におけるノイズ画素の決定処理の第２の例を説明する。

ＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）といった画像圧縮方法の国際標準規格によると、１つの画像は所定のサイズで複数の二次元ブロックに分割される。例えば、１つのブロックにＮ個のラインとＭ個のサンプル／ラインがあり、ここでＮとＭは４、８、１６の何れかの値をとることができる。

図１１は、連続して配列する各画素の輝度値とブロックとの関係を示す図である。
図１１に示されるように、連続する画素は、圧縮標準規格に基づいて、破線で示される複数のブロックに分割される。ここで、各ブロックは空間一方向における８画素から構成される。

決定部３０３の色差算出部５０２は、平坦化画素のみがブロックに含まれている場合、当該ブロックを平坦化ブロックに決定する。例えば、図１１の右側に示されるように、色差算出部５０２は、画素Ｐ７とＰ８との空間的位置間に位置する画素を有するブロックを、平坦化ブロックに決定する。一方、エッジ画素がブロックに含まれている場合、色差算出部５０２は、当該ブロックをエッジブロックに決定する。例えば、図１１に示されるように、色差算出部５０２は、エッジ画素Ｐ３およびＰ４と、画素Ｐ５と画素Ｐ６との空間上の位置間に位置する候補とを有する１つのブロックを、エッジブロックに決定する。

図１２は、図１１に示されるような画素Ｐ１と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２は、入力画像データを受信し、ステップＳ６０１において、平坦化ブロックの色差の範囲を算出する。平坦化ブロックの色差範囲の算出方法は上記と同一であるため、ここでは説明を省略する。図１２に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ１およびｒ２で表され、Ｃｒ／Ｖの色差範囲の最大値および最小値はそれぞれｒ３およびｒ４で表示される。

つまり、色差算出部５０２は、平坦化ブロックのＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化ブロックのＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。

比較部５０１は、平坦化ブロックの色差範囲を受信し、ステップＳ６０２において、候補の色差値と平坦化ブロックの色差範囲を比較する。ステップＳ６０３において、候補の色差値が平坦化ブロックの色差範囲内にある場合は、比較部５０１は、その候補をノイズ画素に決定する。図１２に示されるように、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補の色差値は、平坦化ブロックの色差範囲内である。従って、比較部５０１は、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補を、図１０に示されるように、ノイズ画素に分類する。

図１３および図１４に示す二次元の例を用いて、図６に示すステップＳ６０１からステップＳ６０３において、本変形例に係る決定部３０３が複数の候補からノイズ画素を決定する処理を説明する。

図１３は、画像とその画像に含まれるブロックおよび画素とを示す図である。
ＭＰＥＧやＪＰＥＧといった画像圧縮の国際標準規格に従って、画像は複数のブロックに分割される。ここでは、９つのブロック１３０１〜１３０９が得られる。各ブロックは８ｘ８画素で構成され、これらの画素は様々な種類のシンボルで表されている。エッジがブロック１３０１、１３０５、および１３０９に渡って引かれている。図１３に示されるように、エッジ画素はエッジに沿って黒丸「●」で表示されている。候補は白丸「○」で表示されている。平坦化画素は菱形「◇」で表示されている。色差算出部５０２は、ブロックが平坦化画素のみを含む場合は、当該ブロックを平坦化ブロックに決定し、ブロックがエッジ画素を含む場合は、当該ブロックをエッジブロックに決定する。

図１４は、色差算出部５０２の決定結果を示す図である。
図１４に示すように、ブロック１３０２、１３０３、および１３０６は平坦化画素だけで構成されているため、平坦化ブロックとして決定される。ブロック１３０１、１３０５および１３０９はエッジ画素を含むため、エッジブロックであると決定される。

エッジブロックであると決定されたブロック１３０５に関し、比較部５０１はブロック１３０５内の候補の色差値を、隣接する平坦化ブロック１３０２、１３０３、および１３０６の色差範囲と比較する。ブロック１３０５内の候補の色差値が平坦化ブロック１３０２、１３０３、および１３０６の色差範囲内にある場合は、比較部５０１は、その候補をノイズ画素に決定する。つまり、図１４に示すように、ブロック１３０５の右上に位置する候補がノイズ画素であると決定され、菱形「◇」で表示されている。

このように本変形例では、リンギングアーチファクトがエッジブロックにのみ生じるため、そのエッジブロックにある候補に対してのみノイズ画素であるか否かの判別を行う。その結果、ノイズ画素であるか否かの判定処理の負担を低減することができるとともに、上記実施の形態のようにウィンドウを設定する必要がなく、簡単にノイズ画素を決定することができる。

（実施の形態２）
図１５から図１８を参照して、本発明の実施の形態２を説明する。なお、実施の形態２における画像処理装置の構成は、実施の形態１の図１、図３および図５に示す構成と同一であり、その説明を省略する。なお、本実施の形態でも、実施の形態１と同様、画像処理装置１００は、例えば、上述の入力画像データをアナログ信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握することなく、リンギングアーチファクトの削減を行う。

図１５は、本実施の形態における検出部１０１の詳細な動作を示すフローチャートである。ステップＳ４０１とステップＳ４０２は、図４に示されるステップと同一である。ステップＳ４０１におけるノイズ画素候補の選択は、実施の形態１に記載の処理と同一である。ここでは、重複説明は省略する。ステップＳ４０３は、ステップＳ１５０１、Ｓ１５０２およびＳ１５０３を含む。検出部１０１は、ステップＳ１５０１において、後述するテクスチャ領域の色差範囲を算出する。ステップＳ１５０２において、検出部１０１は、候補の色差値とテクスチャ領域の色差範囲とを比較する。候補の色差値がテクスチャ領域の色差範囲内にない場合は、ステップＳ１５０３において、検出部１０１は、その候補がノイズ画素であると判別する。つまり、検出部１０１は、その候補をノイズ画素に分類する。色差値が色差範囲内にある場合は、検出部１０１は、その候補がノイズ画素でないと判別する。つまり、検出部１０１は、その候補に対するステップＳ１５０３の処理を飛ばしてステップＳ４０３の動作を終了する。以下に上記フローの各動作を詳細に説明する。

ステップＳ４０１では、検出部１０１の候補選択部３０１は、実施の形態１と同様、図８に示すように、画素勾配の絶対値を用いて、入力画像データに含まれる画素を、ノイズ画素の候補、エッジ画素または平坦化画素に分類することにより、ノイズ候補を選択する。

図１６および図１７を用いて、図１５に示されるステップＳ１５０１からステップＳ１５０３におけるノイズ画素の決定処理の第１の例を説明する。

図１６は、連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。
Ｋ画素ウィンドウはエッジ画素Ｐ３およびＰ４から拡げられ、図１６の例の場合、Ｋは１５である。つまり、このＫ画素ウィンドウは、エッジ画素Ｐ４より右側の１５画素と、エッジ画素Ｐ３より左側の１５画素とを含む。

決定部３０３の色差算出部５０２は、入力画像データを受信すると、その入力画像データの示す画像中に含まれるエッジ画素を中心に上述のＫ画素ウィンドウを設定する。そして、色差算出部５０２は、連続する候補を含む領域をテクスチャ領域に決定する。つまり、色差算出部５０２は、Ｋ画素ウィンドウ内において、連続する候補の数が閾値ＴＢ以上である場合、その連続する候補を含む領域をテクスチャ領域に決定する。

図１６に示す例では、図１６の左側に示されているように、色差算出部５０２は、画素Ｐ１と画素Ｐ２との空間上の位置間に画素を有する領域をテクスチャ領域と決定する。また、テクスチャ領域内の画素はテクスチャ画素に分類される。

図１７は、図１６に示されるような画素Ｐ１と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２は、入力画像データを受信し、ステップＳ１５０１において、テクスチャ領域の色差の範囲を算出する。各色差成分について、テクスチャ領域の色差範囲の最大値は、そのテクスチャ領域における最大の色差値にオフセットＴＨを加算したものに等しい。テクスチャ領域の色差範囲の最小値は、そのテクスチャ領域における色差値の最小値からオフセットＴＬを減算したものに等しい。図１７に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値をそれぞれｒ５およびｒ６と表し、同様にＣｒ／Ｖの最大値および最小値をそれぞれｒ７およびｒ８と表す。

つまり、色差算出部５０２は、テクスチャ領域のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャ領域のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。

比較部５０１は、テクスチャ領域の色差範囲を受信し、ステップＳ１５０２において、候補の色差値とテクスチャ領域の色差範囲とを比較する。候補の色差値がテクスチャ領域の色差範囲内にない場合は、比較部５０１は、ステップＳ１５０３において、その候補がノイズ画素であると決定する。図１７に示されるように、画素Ｐ１と画素Ｐ２との空間的位置間に位置する候補の色差値は、テクスチャ領域の色差範囲内にある。画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補の色差値は、テクスチャ領域の色差範囲内にない。従って、比較部５０１は、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補のみを図１７に示すノイズ画素に分類する。

このように本実施の形態では、例えば山などの細かい模様を示すテクスチャ領域の色差範囲に、候補の色差値が含まれていなければ、その候補がノイズ画素に決定されるため、従来のように動きや画素勾配だけによってノイズ画素であるか否かを判別するよりも、リンギングアーチファクトを構成するノイズ画素を適切に検出することができる。さらに、検出されたノイズ画素に対して、例えばローパスフィルタによるフィルタリング処理が施されるため、上述のテクスチャを維持してリンギングアーチファクトだけを削減することができ、画質の向上を図ることができる。

（変形例）
本変形例に係る画像処理装置１００は、例えば、上述の入力画像データをデジタル信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握し、そのブロックを利用してリンギングアーチファクトの削減を行う。なお、リンギングアーチファクトは、エッジを含むブロック内にのみ発生する。

図１８および図１９を用いて、図１５に示すステップＳ１５０１からステップＳ１５０３におけるノイズ画素の決定処理の第２の例を説明する。

ＭＰＥＧやＪＰＥＧといった画像圧縮方法の国際標準規格によると、１つの画像は所定のサイズで複数の二次元ブロックに分割される。例えば、１つのブロックにＮ個のラインとＭ個のサンプル／ラインがあり、ここでＮとＭは４、８、１６の何れかの値をとることができる。

図１８は、連続して配列する各画素の輝度値とブロックとの関係を示す図である。
図１８に示されるように、連続する画素は、圧縮標準規格に基づいて、破線で示される複数のブロックに分割される。ここで各ブロックは空間一方向における８画素で構成される。

決定部３０３の色差算出部５０２は、ブロックが候補のみを含む場合、当該ブロックをテクスチャブロックに決定する。例えば、図１８の左側に示されるように、色差算出部５０２は、画素Ｐ９からＰ１０までの空間的位置間に位置する画素を有するブロックと、画素Ｐ１と画素Ｐ２との空間的位置間に位置する画素を有するブロックとを、それぞれテクスチャブロック１およびテクスチャブロック２に決定する。一方、ブロックがエッジ画素を含む場合、色差算出部５０２は、当該ブロックをエッジブロックに決定する。例えば、図１８に示されるように、エッジ画素Ｐ３およびＰ４と、画素Ｐ５と画素Ｐ６との空間上の位置間に位置する候補とを有する１つのブロックを、エッジブロックに決定する。

図１９は、図１８に示されるような画素Ｐ９と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２は、入力画像データを受信し、ステップＳ１５０１において、テクスチャブロックの色差の範囲を算出する。テクスチャブロックの色差範囲の算出方法は上記と同一であるため、ここではその説明を省略する。図１８に示されるように、テクスチャブロック１において、Ｃｂ／Ｕの色差範囲の最大値および最小値はそれぞれｒ９およびｒ１０と表示され、Ｃｒ／Ｖの色差範囲の最大値および最小値はそれぞれｒ１１およびｒ１２と表示される。テクスチャブロック２において、Ｃｂ／Ｕの色差範囲の最大値および最小値はそれぞれｒ５およびｒ６と表示され、Ｃｒ／Ｖの色差範囲の最大値および最小値はそれぞれｒ７およびｒ８と表示される。

つまり、色差算出部５０２は、テクスチャブロック１のＣｂ／Ｕの色差範囲として、色差値ｒ１０〜ｒ９を算出し、テクスチャブロック１のＣｒ／Ｖの色差範囲として、色差値ｒ１２〜ｒ１１を算出する。さらに、色差算出部５０２は、テクスチャブロック２のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャブロック２のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。

比較部５０１は、テクスチャブロックの色差範囲を受信し、ステップＳ１５０２において、候補の色差値とテクスチャブロックの色差範囲を比較する。ステップＳ１５０３において、候補の色差値がテクスチャブロックの色差範囲内にない場合は、比較部５０１は、その候補をノイズ画素に決定する。図１９に示されるように、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補の色差値は、テクスチャブロック１，２の色差範囲にない。従って、比較部５０１は、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補を、図１９に示されるように、ノイズ画素に分類する。

図２０および図２１に示す二次元の例を用いて、図１５に示すステップＳ１５０１からステップＳ１５０３において、本変形例に係る決定部３０３が複数の候補からノイズ画素を決定する処理を説明する。

図２０は、画像とその画像に含まれるブロックおよび画素とを示す図である。
ＭＰＥＧやＪＰＥＧといった画像圧縮の国際標準規格に従って、画像は複数のブロックに分割される。ここでは、９つのブロック２００１〜２００９が得られる。各ブロックは８ｘ８画素で構成され、これらの画素は様々な種類のシンボルで表されている。エッジがブロック２００１、２００５、および２００９に渡って引かれている。図２０に示されるように、エッジ画素はエッジに沿って黒丸「●」で表されている。候補は白丸「○」で表されている。平坦化画素は菱形「◇」で表されている。色差算出部５０２は、ブロックが候補のみを含んでいる場合は、当該ブロックをテクスチャブロックに決定し、ブロックがエッジ画素を含んでいる場合は、当該ブロックをエッジブロックに決定する。

図２１は、色差算出部５０２の決定結果を示す図である。
図２１に示すように、ブロック２００７は候補だけで構成されているため、テクスチャブロックとして決定される。ブロック２００１、２００５、および２００９はエッジ画素を含むため、エッジブロックとして決定される。

エッジブロックであると決定されたブロック２００５に関し、比較部５０１はブロック２００５内の候補の色差値を、隣接するテクスチャブロック２００７の色差範囲と比較する。ブロック２００５内の候補の色差値がテクスチャブロック２００７の色差範囲内にない場合は、比較部５０１は、その候補をノイズ画素に決定する。つまり、図２１に示すように、ブロック２００５の右上に位置する候補がノイズ画素であると決定され、菱形「◇」で表示されている。

このように本変形例では、リンギングアーチファクトがエッジブロックにのみ生じるため、そのエッジブロックにある候補に対してのみノイズ画素であるか否かの判別を行う。その結果、ノイズ画素であるか否かの判定処理の負担を低減することができるとともに、上記実施の形態のようにウィンドウを設定する必要がなく、簡単にノイズ画素を決定することができる。

（実施の形態３）
図２２から図２９を参照して、本発明の実施の形態３を説明する。本実施の形態における画像処理装置１００は、実施の形態１における処理と実施の形態２における処理を組み合わせてノイズ画素を決定する。なお、本実施の形態でも、実施の形態１，２と同様、画像処理装置１００は、例えば、上述の入力画像データをアナログ信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握することなく、リンギングアーチファクトの削減を行う。

図２２は、実施の形態３における検出部の構成を示すブロック図である。
本実施の形態における画像処理装置１００は、実施の形態１または２の検出部１０１の代わりに検出部１０１ａを備えている。この検出部１０１ａは、候補選択部３０１、スイッチ３０２、および決定部３０３ａを備える。候補選択部３０１およびスイッチ３０２は、図３に記載の構成要素と同一であり、同一の参照番号で示す。ここでは重複説明は省略する。

本実施の形態における決定部３０３ａは、比較部５０１ａ、色差算出部５０２ａ、およびスイッチ５０３を備える。色差算出部５０２ａは、候補選択部３０１の処理結果を含む入力画像データを受信し、その入力画像データの示す画像中の所定の領域における色差の範囲を算出する。比較部５０１ａは、スイッチ３０２の端子ｂに接続して候補選択部３０１から候補の色差値を取得するとともに、色差算出部５０２ａから色差範囲を受信する。比較部５０１ａは、ノイズ画素を決定するために、その候補の色差値と色差範囲とを比較する。ノイズ画素が決定された場合は、比較部５０１ａがスイッチ５０３の端末ｃに接続され、決定部３０３ａの動作が終了する。ノイズ画素が決定されない場合は、比較部５０１ａがスイッチ５０３の端末ｄに接続され、色差算出部５０２ａの動作が再び行われる。比較部５０１ａは、ノイズ画素を決定するために、その候補の色差値と色差範囲とを比較し、動作を終了するために端末ｃに接続する。

つまり、本実施の形態では、比較部５０１ａは、候補の色差値と色差範囲とを比較することによりその候補がノイズ画素であるか否かを決定し、その候補がノイズ画素であると決定された場合には、スイッチ５０３を介して決定部３０３ａの外部にその決定結果を出力する。一方、比較部５０１ａは、その候補がノイズ画素でないと決定された場合には、スイッチ５０３を介して色差算出部５０２ａに色差範囲の算出をもう一度実行させる。そして、比較部５０１ａは、もう一度、その算出された色差範囲と候補の色差値とを比較することによりその候補がノイズ画素であるか否かを決定し、スイッチ５０３を介して決定部３０３ａの外部にその決定結果を出力する。また、色差算出部５０２ａは、同一の候補に対して色差範囲を繰り返し算出する場合には、その算出ごとに、色差範囲の算出方法を変更する。

図２３は、本実施の形態における検出部１０１ａの詳細な動作を示すフローチャートである。ステップＳ４０１およびステップＳ４０２は、図４に示されるステップと同一である。ステップＳ４０１におけるノイズ画素候補の選択は、実施の形態１で述べられた処理と同一である。ここでは重複説明は省略する。ステップＳ４０３は、ステップＳ２３０１、Ｓ２３０２、Ｓ２３０３、Ｓ２３０４、およびＳ２３０５を含む。検出部１０１ａは、ステップＳ２３０１において、平坦化領域の色差範囲を算出する。ステップＳ２３０２において、検出部１０１ａは、候補の色差値と平坦化領域の色差範囲とを比較する。その候補の色差値が平坦化領域の色差範囲内にある場合は、ステップＳ２３０５において、検出部１０１ａはその候補がノイズ画素であると判別する。つまり、検出部１０１ａは、その候補をノイズ画素に分類する。色差値が色差範囲内にない場合は、検出部１０１ａはステップＳ２３０３の処理を実行する。ステップＳ２３０３において、検出部１０１ａは、テクスチャ領域の色差範囲を算出する。ステップＳ２３０４において、検出部１０１ａは、候補の色差値とテクスチャ領域の色差範囲とを比較する。候補の色差値がテクスチャ領域の色差範囲内にない場合は、ステップＳ２３０５において、検出部１０１ａは、その候補がノイズ画素であると判別する。つまり、検出部１０１ａは、その候補をノイズ画素に分類する。色差値が色差範囲内にある場合は、検出部１０１ａは、その候補がノイズ画素でないと判別する。つまり、検出部１０１ａは、その候補に対するステップＳ２３０５の処理を飛ばしてステップＳ４０３の動作を終了する。

このように、本実施の形態における検出部１０１ａは、平坦化領域の色差範囲を用いた比較を行い、その後に必要に応じて、テクスチャ領域の色差範囲を用いた比較を行うことにより、ノイズ画素を決定する。

以下に上記フローの各動作を詳細に説明する。
ステップＳ４０１では、検出部１０１ａの候補選択部３０１は、実施の形態１と同様、図８に示すように、画素勾配の絶対値を用いて、入力画像データに含まれる画素を、ノイズ画素の候補、エッジ画素または平坦化画素に分類することにより、ノイズ画素の候補を選択する。

図２４および図２５を用いて、図２３に示されるステップＳ２３０１からステップＳ２３０５におけるノイズ画素の決定処理の第１の例を説明する。

図２４は、連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。
Ｋ画素ウィンドウはエッジ画素Ｐ３およびＰ４から拡げられ、図２４の例の場合、Ｋは１５である。

決定部３０３ａの色差算出部５０２ａは、入力画像データを受信すると、その入力画像データの示す画像中に含まれるエッジ画素を中心にＫ画素ウィンドウを設定する。そして、色差算出部５０２ａは、連続する平坦化画素を含む領域を平坦化領域に決定し、連続する候補を含む領域をテクスチャ領域に決定する。つまり、色差算出部５０２ａは、Ｋ画素ウィンドウ内において、連続する平坦化画素の数が閾値ＦＢ以上である場合、その連続する平坦化画素を含む領域を平坦化領域に決定する。さらに、色差算出部５０２ａは、Ｋ画素ウィンドウ内において、連続する候補の数が閾値ＴＢ以上である場合、その連続する候補を含む領域をテクスチャ領域に決定する。

図２４に示す例では、図２４の右側に示されているように、色差算出部５０２ａは、画素Ｐ７と画素Ｐ８との空間上の位置間に画素を有する領域を平坦化領域と決定する。さらに、図２４の左側に示されているように、色差算出部５０２ａは、画素Ｐ１と画素Ｐ２との空間上の位置間に画素を有する領域をテクスチャ領域と決定する。また、テクスチャ領域内の画素はテクスチャ画素に分類される。

図２５は、図２４に示されるような画素Ｐ１と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２ａは、入力画像データを受信し、ステップＳ２３０１において平坦化領域の色差の範囲を算出する。平坦化領域の色差範囲の算出方法は、上記実施の形態１における算出方法と同一であるため、ここではその説明を省略する。図２５に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値をそれぞれｒ１およびｒ２と表し、同様にＣｒ／Ｖの最大値および最小値をそれぞれｒ３およびｒ４と表す。

つまり、色差算出部５０２ａは、平坦化領域のＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化領域のＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。

比較部５０１ａは、平坦化領域の色差範囲を受信し、ステップＳ２３０２において、その候補の色差値と平坦化領域の色差範囲とを比較する。その候補の色差値が平坦化領域の色差範囲内にない場合は、比較部５０１ａはスイッチ５０３の端末ｄに接続し、色差算出部５０２ａを再始動する。つまり、比較部５０１ａは、色差算出部５０２ａに対してテクスチャ領域の色差範囲を算出させる。一方、候補の色差値が平坦化領域の色差範囲内にある場合は、比較部５０１ａは、ステップＳ２３０５において、その候補をノイズ画像に決定する。

ステップＳ２３０３では、色差算出部５０２ａは、入力画像データを受信し、テクスチャ領域の色差の範囲を算出する。テクスチャ領域の色差範囲の算出方法は、上記実施の形態２における算出方法と同一であり、ここではその説明を省略する。図２５に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値をそれぞれｒ５およびｒ６と表し、Ｃｒ／Ｖの色差範囲の最大値および最小値をそれぞれｒ７およびｒ８と表す。

つまり、色差算出部５０２ａは、テクスチャ領域のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャ領域のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。

比較部５０１ａは、テクスチャ領域の色差範囲を受信し、ステップＳ２３０４において、その候補の色差値とテクスチャ領域の色差範囲とを比較する。その候補の色差値がテクスチャ領域の色差範囲内にない場合は、比較部５０１ａは、ステップＳ２３０５において、その候補をノイズ画素に決定する。

図２５に示されるように、候補Ｐ１２およびＰ６の色差値は平坦化領域の色差範囲内にある。よって、比較部５０１ａは候補Ｐ１２およびＰ６をノイズ画素に分類する。一方、候補Ｐ１０とＰ１１の色差値（Ｃｂ／Ｕ）は平坦化領域の色差範囲内にないため、比較部５０１ａは、それらの候補の色差値とテクスチャ領域の色差範囲との比較を行う。候補Ｐ１０およびＰ１１のＣｂ／Ｕ値はテクスチャ領域のＣｂ／Ｕ範囲内にないため、比較部５０１ａは候補Ｐ１０およびＰ１１をノイズ画素に分類する。

このように本実施の形態では、候補の色差値と平坦化領域の色差範囲とを比較して、その候補がノイズ画素でないと判別されるときには、比較の対象をテクスチャ領域の色差範囲に代えて、もう一度、その候補がノイズ画素であるか否かの判別が行われるため、ノイズ画素をより適切に検出することができる。

（変形例）
本変形例に係る画像処理装置１００は、例えば、上述の入力画像データをデジタル信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握し、そのブロックを利用してリンギングアーチファクトの削減を行う。なお、リンギングアーチファクトは、エッジを含むブロック内にのみ発生する。

図２６および図２７を用いて、図２３に示されるステップＳ２３０１からステップＳ２３０５におけるノイズ画素の決定処理の第２の例を説明する。

ＭＰＥＧやＪＰＥＧといった画像圧縮方法の国際標準規格によると、１つの画像は所定のサイズで複数の二次元ブロックに分割される。例えば、１つのブロックにＮ個のラインとＭ個のサンプル／ラインがあり、ここでＮとＭは４、８、１６の何れかの値をとることができる。

図２６は、連続して配列する各画素の輝度値とブロックとの関係を示す図である。
図２６に示されるように、連続する画素は、圧縮標準規格に基づいて、破線で示される複数のブロックに分割される。ここで各ブロックは空間一方向における８画素から構成される。

決定部３０３ａの色差算出部５０２ａは、ブロックに平坦化画素のみが含まれる場合、当該ブロックを平坦化ブロックに決定する。さらに、色差算出部５０２ａは、ブロックに候補のみが含まれる場合、当該ブロックをテクスチャブロックに決定する。例えば、図２６に示されるように、色差算出部５０２ａは、画素Ｐ７とＰ８との空間的位置間に位置する画素を有するブロックを、平坦化ブロックに決定する。さらに、色差算出部５０２ａは、画素Ｐ１３とＰ１４との空間的位置間に位置する画素を有するブロック、および画素Ｐ１とＰ２との空間的位置間に位置する画素を有するブロックを、それぞれテクスチャブロック１およびテクスチャブロック２として決定する。

また、色差算出部５０２ａは、ブロックにエッジ画素が含まれている場合、当該ブロックをエッジブロックに決定する。例えば、図２６に示されるように、色差算出部５０２ａは、エッジ画素Ｐ３およびＰ４と、画素Ｐ５と画素Ｐ６との空間的位置間に位置する候補とを有する１つのブロックを、エッジブロックとして決定する。

図２７は、図２６に示されるような画素Ｐ１３と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。上述と同様、図２７に示すように、平坦化ブロックに関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ１およびｒ２と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ３およびｒ４と表される。テクスチャブロック１に関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ９およびｒ１０と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ１１およびｒ１２と表される。テクスチャブロック２に関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ５およびｒ６と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ７およびｒ８と表される。

つまり、色差算出部５０２ａは、平坦化ブロックのＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化ブロックのＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。また、色差算出部５０２ａは必要に応じて、テクスチャブロック１のＣｂ／Ｕの色差範囲として、色差値ｒ１０〜ｒ９を算出し、テクスチャブロック１のＣｒ／Ｖの色差範囲として、色差値ｒ１２〜ｒ１１を算出する。さらに、色差算出部５０２ａは、テクスチャブロック２のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャブロック２のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。

比較部５０１ａは、ステップＳ２３０１からステップＳ２３０５において、エッジブロックに位置する候補の色差値と、平坦化ブロックの色差範囲とを比較し、さらに必要に応じて、その候補の色差値と、テクスチャブロック１，２の色差範囲とを比較することで、その候補がノイズ画素であるか否かを決定する。

図２７に示されるように、候補Ｐ１２およびＰ６の色差値は、平坦化ブロックの色差範囲内にある。よって、比較部５０１ａは、候補Ｐ１２およびＰ６をノイズ画素に分類する。候補Ｐ１０およびＰ１１の色差値（Ｃｂ／Ｕ）は平坦化ブロックの色差範囲内にないため、比較部５０１ａは、それらの候補の色差値とテクスチャブロック１，２の色差範囲とを比較する。候補Ｐ１０およびＰ１１のＣｂ／Ｕ値はテクスチャブロック１，２のＣｂ／Ｕ範囲内にないため、比較部５０１ａは、候補Ｐ１０およびＰ１１をノイズ画素に分類する。

図２８および図２９に示す二次元の例を用いて、図２３に示すステップＳ２３０１からステップＳ２３０５において、本変形例に係る決定部３０３ａが複数の候補からノイズ画素を決定する処理を説明する。

図２８は、画像とその画像に含まれるブロックおよび画素とを示す図である。
ＭＰＥＧやＪＰＥＧといった画像圧縮の国際標準規格に従って、画像は複数のブロックに分割される。ここでは、９つのブロック２８０１〜２８０９が得られる。各ブロックは８ｘ８画素で構成され、これらの画素は様々な種類のシンボルで表されている。エッジがブロック２８０１、２８０５および２８０９に渡って引かれている。図２８に示されるように、エッジ画素はエッジに沿って黒丸「●」で表されている。候補は白丸「○」で表されている。平坦化画素は菱形「◇」で表されている。色差算出部５０２ａは、ブロックが平坦化画素のみを含む場合は、当該ブロックを平坦化ブロックとして決定し、ブロックが候補のみを含む場合は、当該ブロックをテクスチャブロックとして決定し、ブロックがエッジ画素を含む場合は、当該ブロックをエッジブロックとして決定する。

図２９は、色差算出部５０２ａの決定結果を示す図である。
図２９に示すように、ブロック２８０２、２８０３、および２８０６は平坦化画素のみで構成されているため、平坦化ブロックとして決定される。ブロック２８０７は候補だけで構成されているため、テクスチャブロックとして決定される。ブロック２８０１、２８０５、および２８０９はエッジ画素を含むため、エッジブロックとして決定される。

エッジブロックであると決定されたブロック２８０５に関し、比較部５０１ａはブロック２８０５内の候補の色差値を、隣接する平坦化ブロック２８０２、２８０３、および２８０６の色差範囲と比較する。ブロック２８０５内の候補の色差値が平坦化ブロック２８０２、２８０３、および２８０６の色差範囲内にある場合は、比較部５０１ａは、その候補をノイズ画素に決定する。色差範囲内にない場合は、比較部５０１ａはブロック２８０５内の候補の色差値を、隣接するテクスチャブロック２８０７の色差範囲と比較する。ブロック２８０５内の候補の色差値がテクスチャブロック２８０７の色差範囲内にない場合は、比較部５０１ａは、その候補をノイズ画素に決定する。つまり、図２９に示すように、ブロック２８０５の右上に位置する候補がノイズ画素であると決定され、菱形「◇」で表示されている。

なお、候補の色差値が、平坦化ブロック２８０２、２８０３、および２８０６の色差範囲内になく、テクスチャブロック２８０７の色差範囲内にある場合は、比較部５０１ａは、候補の色差値と上記各ブロックの色差範囲との間の距離を比較してもよい。例えば、候補の色差値と平坦化ブロックの色差範囲との間の距離が、候補の色差値とテクスチャブロックの色差範囲との間の距離より短い場合は、比較部５０１ａはその候補をノイズ画素に分類する。長い場合は、比較部５０１ａはその候補をノイズ画素と決定しない。

このように本変形例においても、リンギングアーチファクトがエッジブロックにのみ生じるため、そのエッジブロックにある候補に対してのみノイズ画素であるか否かの判別を行う。その結果、ノイズ画素であるか否かの判定処理の負担を低減することができるとともに、上記実施の形態のようにウィンドウを設定する必要がなく、簡単にノイズ画素を決定することができる。

（実施の形態４）
図３０から図３６を参照して、本発明の実施の形態４を説明する。

実施の形態４における画像処理装置の構成は、実施の形態３の構成と同一であり、図２２に示す検出部１０１ａを備える。

本実施の形態における検出部１０１ａは、実施の形態３とは異なり、先に候補の色差値とテクスチャ領域の色差範囲とを比較し、その後必要に応じて、その候補の色差値と平坦化領域の色差範囲との比較を行うことにより、ノイズ画素を決定する。なお、本実施の形態でも、実施の形態１，２と同様、画像処理装置１００は、例えば、上述の入力画像データをアナログ信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握することなく、リンギングアーチファクトの削減を行う。

図３０は、本実施の形態における検出部１０１ａの詳細な動作を示すフローチャートである。ステップＳ４０１とステップＳ４０２は図４に示されるステップと同一である。ステップＳ４０１におけるノイズ画素候補の選択は、実施の形態１と同一である。ここでは、重複説明は省略する。ステップＳ４０３は、ステップＳ３００１、Ｓ３００２、Ｓ３００３、Ｓ３００４、およびＳ３００５を含む。検出部１０１ａは、ステップＳ３００１において、テクスチャ領域の色差範囲を算出する。ステップＳ３００２において、検出部１０１ａは、候補の色差値とテクスチャ領域の色差範囲とを比較する。候補の色差値がテクスチャ領域の色差範囲内にある場合は、検出部１０１ａは、その候補がノイズ画素でないと判別してステップＳ４０３の動作を終了し、色差範囲内でない場合は、検出部１０１ａはステップＳ３００３の処理を実行する。ステップＳ３００３において、検出部１０１ａは平坦化領域の色差範囲を算出する。ステップＳ３００４において、検出部１０１ａは候補の色差値と平坦化領域の色差範囲とを比較する。候補の色差値が平坦化領域の色差範囲内にある場合は、ステップＳ３００５において、検出部１０１ａは、その候補がノイズ画素であると判別する。つまり、検出部１０１ａは、その候補をノイズ画素に分類する。色差範囲内にない場合は、検出部１０１ａは、その候補がノイズ画素でないと判別する。つまり、検出部１０１ａは、その候補に対するステップＳ３００５の処理を飛ばしてステップＳ４０３の動作を終了する。

このように、本実施の形態における検出部１０１ａは、テクスチャ領域の色差範囲を用いた比較を行い、その後に必要に応じて、平坦化領域の色差範囲を用いた比較を行うことにより、ノイズ画素を決定する。

以下に上記フローの各動作を詳細に説明する。
ステップＳ４０１では、検出部１０１ａの候補選択部３０１は、実施の形態１と同様、図８に示すように、画素勾配の絶対値を用いて、入力画像データに含まれる画素を、ノイズ画素の候補、エッジ画素または平坦化画素に分類することにより、ノイズ画素の候補を選択する。

図３１および図３２を用いて、図３０に示されるステップＳ３００１からステップＳ３００５におけるノイズ画素の決定処理の第１の例を説明する。

図３１は、連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。
Ｋ画素ウィンドウはエッジ画素Ｐ３およびＰ４から拡げられ、図３１の例の場合、Ｋは１５である。テクスチャ領域と平坦化領域の決定方法は上記決定方法と同一であるため、その重複説明は省略する。図３１に示されているように、色差算出部５０２ａは、画素Ｐ１と画素Ｐ２との空間上の位置間に画素を有する領域をテクスチャ領域と決定し、画素Ｐ７と画素Ｐ８との空間上の位置間に画素を有する領域を平坦化領域と決定する。また、テクスチャ領域内の画素はテクスチャ画素として分類される。

図３２は、図３１に示されるような画素Ｐ１と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。色差算出部５０２ａは、入力画像データを受信し、ステップＳ３００１においてテクスチャ領域の色差の範囲を算出する。テクスチャ領域の色差範囲の算出方法は、上記実施の形態２における算出方法と同一であるため、その重複説明を省略する。図３２に示されているように、Ｃｂ／Ｕの色差範囲の最大値および最小値をそれぞれｒ５およびｒ６と表し、同様にＣｒ／Ｖの最大値および最小値をそれぞれｒ７およびｒ８と表す。

つまり、色差算出部５０２ａは、テクスチャ領域のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャ領域のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。

比較部５０１ａは、テクスチャ領域の色差範囲を受信し、ステップＳ３００２において、その候補の色差値とテクスチャ領域の色差範囲とを比較する。その候補の色差値がテクスチャ領域の色差範囲内にない場合は、比較部５０１ａはスイッチ５０３の端末ｄに接続し、色差算出部５０２ａを再始動する。つまり、比較部５０１ａは、色差算出部５０２ａに対して平坦化領域の色差範囲を算出させる。一方、候補の色差値がテクスチャ領域の色差範囲内にある場合は、比較部５０１ａは、その候補がノイズ画像でないと決定する。

ステップＳ３００３では、色差算出部５０２ａは、入力画像データを受信し、平坦化領域の色差の範囲を算出する。平坦化領域における色差範囲の算出方法は、上記実施の形態１における算出方法と同一であり、ここではその説明を省略する。図３２に示されるように、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ１およびｒ２と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ３およびｒ４と表される。

つまり、色差算出部５０２ａは、平坦化領域のＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化領域のＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。

比較部５０１ａは、平坦化領域の色差範囲を受信し、ステップＳ３００４において、その候補の色差値と平坦化領域の色差範囲とを比較する。その候補の色差値が平坦化領域の色差範囲内にある場合は、比較部５０１ａは、ステップＳ３００５において、当該候補をノイズ画素に決定する。

図３２に示されるように、候補Ｐ５およびＰ９の色差値は、テクスチャ領域の色差範囲内にある。よって、比較部５０１ａは候補Ｐ５およびＰ９がノイズ画素でないと決定する。一方、候補Ｐ６とＰ１２の色差値は、テクスチャ領域の色差範囲内にないため、比較部５０１ａは、それらの候補の色差値と平坦化領域の色差範囲との比較を行う。候補Ｐ６およびＰ１２の色差値は平坦化領域の色差範囲内にあるため、比較部５０１ａは候補Ｐ６およびＰ１２をノイズ画素に分類する。

このように本実施の形態では、候補の色差値とテクスチャ領域の色差範囲とを比較して、その候補がノイズ画素であると判別されるときには、比較の対象を平坦化領域の色差範囲に代えて、もう一度、その候補がノイズ画素であるか否かの判別が行われるため、ノイズ画素をより適切に検出することができる。

（変形例）
本変形例に係る画像処理装置１００は、例えば、上述の入力画像データをデジタル信号として取得し、その入力画像データの示す画像の中で、その画像の符号化および復号化の単位とされたブロックが何処にあるかを把握し、そのブロックを利用してリンギングアーチファクトの削減を行う。なお、リンギングアーチファクトは、エッジを含むブロック内にのみ発生する。

図３３および図３４を用いて、図３０に示されるステップＳ３００１からステップＳ３００５におけるノイズ画素の決定処理の第２の例を説明する。

ＭＰＥＧやＪＰＥＧといった画像圧縮方法の国際標準規格によると、１つの画像は所定のサイズで複数の二次元ブロックに分割される。例えば、１つのブロックにＮ個のラインとＭ個のサンプル／ラインがあり、ここでＮとＭは４、８、１６の何れかの値をとることができる。

図３３は、連続して配列する各画素の輝度値とブロックとの関係を示す図である。
図３３に示されるように、連続する画素は、圧縮標準規格に基づいて、破線で示される複数のブロックに分割される。ここで各ブロックは空間一方向における８画素で構成される。テクスチャブロック、平坦化ブロック、およびエッジブロックの決定方法は、上記実施の形態１〜３の変形例における決定方法と同一であるため、その重複説明は省略する。例えば、図３３に示されるように、色差算出部５０２ａは、画素Ｐ１３とＰ１４との空間的位置間に位置する画素を有するブロックと、画素Ｐ１とＰ２との空間的位置間に位置する画素を有するブロックとを、それぞれテクスチャブロック１およびテクスチャブロック２として決定する。さらに、色差算出部５０２ａは、画素Ｐ７とＰ８との空間的位置間に位置する画素を有するブロックを、平坦化ブロックに決定する。また、色差算出部５０２ａは、エッジ画素Ｐ３およびＰ４と、画素Ｐ５とＰ６との空間的位置間に位置する候補とを有するブロックを、エッジブロックとして決定する。

図３４は、図３３に示されるような画素Ｐ１３と画素Ｐ８との空間的位置間に位置する画素に対応する色差成分であるＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。上述と同様、図３４に示すように、テクスチャブロック１に関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ９およびｒ１０と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ１１およびｒ１２と表される。テクスチャブロック２に関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ５およびｒ６と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ７およびｒ８と表される。平坦化ブロックに関し、Ｃｂ／Ｕの色差範囲の最大値および最小値は、それぞれｒ１およびｒ２と表され、Ｃｒ／Ｖの色差範囲の最大値および最小値は、それぞれｒ３およびｒ４と表される。

つまり、色差算出部５０２ａは、テクスチャブロック１のＣｂ／Ｕの色差範囲として、色差値ｒ１０〜ｒ９を算出し、テクスチャブロック１のＣｒ／Ｖの色差範囲として、色差値ｒ１２〜ｒ１１を算出する。さらに、色差算出部５０２ａは、テクスチャブロック２のＣｂ／Ｕの色差範囲として、色差値ｒ６〜ｒ５を算出し、テクスチャブロック２のＣｒ／Ｖの色差範囲として、色差値ｒ８〜ｒ７を算出する。また、色差算出部５０２ａは必要に応じて、平坦化ブロックのＣｂ／Ｕの色差範囲として、色差値ｒ２〜ｒ１を算出し、平坦化ブロックのＣｒ／Ｖの色差範囲として、色差値ｒ４〜ｒ３を算出する。

比較部５０１ａは、ステップＳ３００１からステップＳ３００５において、エッジブロックに位置する候補の色差値と、テクスチャブロック１，２の色差範囲とを比較し、さらに必要に応じて、その候補の色差値と、平坦化ブロックの色差範囲とを比較することで、その候補がノイズ画素であるか否かを決定する。

図３４に示されるように、画素Ｐ１０とＰ６との空間的位置間に位置する候補の色差値（Ｃｂ／Ｕ）は、テクスチャブロック１，２の色差範囲内にないため、比較部５０１ａは、それらの候補の色差値と平坦化ブロックの色差範囲とを比較する。候補Ｐ１２およびＰ６の色差値のみが平坦化ブロックの色差範囲内にある。よって、比較部５０１ａは、候補Ｐ１２およびＰ６をノイズ画素に分類する。

図３５および図３６に示す二次元の例を用いて、図３０に示すステップＳ３００１からステップＳ３００５において、本変形例に係る決定部３０３ａが複数の候補からノイズ画素を決定する処理を説明する。

図３５は、画像とその画像に含まれるブロックおよび画素とを示す図である。
ＭＰＥＧやＪＰＥＧといった画像圧縮の国際標準規格に従って、画像は複数のブロックに分割される。ここでは、９つのブロック３５０１〜３５０９が得られる。各ブロックは８ｘ８画素で構成され、これらの画素は様々な種類のシンボルで表されている。エッジがブロック３５０１、３５０５および３５０９に渡って引かれている。図３５に示されるように、エッジ画素はエッジに沿って黒丸「●」で表されている。候補は白丸「○」で表されている。平坦化画素は菱形「◇」で表されている。色差算出部５０２ａは、ブロックが候補のみを含む場合は、当該ブロックをテクスチャブロックとして決定し、ブロックが平坦化画素のみを含む場合は、当該ブロックを平坦化ブロックとして決定し、ブロックがエッジ画素を含む場合は、当該ブロックをエッジブロックとして決定する。

図３６は、色差算出部５０２ａの決定結果を示す図である。
図３６に示すように、ブロック３５０７は候補のみで構成されているため、テクスチャブロックとして決定され表示される。ブロック３５０２、３５０３、および３５０６は平坦化画素のみで構成されているため、平坦化ブロックとして決定される。ブロック３５０１、３５０５、および３５０９はエッジ画素を含むため、エッジブロックとして決定される。

エッジブロックであると決定されたブロック３５０５に関し、比較部５０１ａはブロック３５０５内の候補の色差値を、隣接するテクスチャブロック３５０７と比較する。ブロック３５０５内の候補の色差値がテクスチャブロック３５０７の色差範囲内にない場合は、比較部５０１ａは、ブロック３５０５内の候補の色差値を、隣接する平坦化ブロック３５０２、３５０３、および３５０６と比較する。ブロック３５０５内の候補の色差値が平坦化ブロック３５０２、３５０３、および３５０６の色差範囲内にある場合は、比較部５０１ａはその候補をノイズ画素に決定する。つまり、図３６に示すように、ブロック３５０５の右上に位置する候補がノイズ画素であると決定され、菱形「◇」で表されている。

なお、候補の色差値が、テクスチャブロック３５０７の色差範囲内にあるか、平坦化ブロック３５０２、３５０３、および３５０６の色差範囲内にない場合は、比較部５０１ａは、候補の色差値と上記各ブロックの色差範囲との間の距離を比較してもよい。例えば、候補の色差値と平坦化ブロックの色差範囲との間の距離が、候補の色差値とテクスチャブロックの色差範囲との間の距離より短い場合は、比較部５０１ａはその候補をノイズ画素に分類する。長い場合は、比較部５０１ａはその候補をノイズ画素と決定しない。

このように本変形例においても、リンギングアーチファクトがエッジブロックにのみ生じるため、そのエッジブロックにある候補に対してのみノイズ画素であるか否かの判別を行う。その結果、ノイズ画素であるか否かの判定処理の負担を低減することができるとともに、上記実施の形態のようにウィンドウを設定する必要がなく、簡単にノイズ画素を決定することができる。

上述のような本発明の画像処理装置１００は、例えば、テレビ受像機や携帯電話などに組み込まれる。

図３７Ａおよび図３７Ｂは、本発明の画像処理装置１００の外観を示す図である。
例えば、図３７Ａに示すテレビ受像機１０は、本発明の画像処理装置１００と、画像処理装置１００から出力される出力画像データの示す画像、つまりリンギングアーチファクトが削減された画像を表示する表示部１０ａとを備えている。これにより、テレビ受像機１０はテレビ番組などの映像を高画質に表示することができる。同様に、図３７Ｂに示す携帯電話２０は、本発明の画像処理装置１００と、画像処理装置１００から出力される出力画像データの示す画像、つまりリンギングアーチファクトが削減された画像を表示する表示部２０ａとを備えている。これにより、携帯電話２０は、例えば通信回線を介して取得した映像を高画質に表示することができる。

本発明の画像処理装置は、リンギングアーチファクトを適切に検出してそのリンギングアーチファクトのみを削減することで画質の向上を図ることができるという効果を奏し、例えば、テレビ受像機や携帯電話などの映像を表示する装置などに適用することができる。

本発明の実施の形態１におけるリンギングアーチファクトを削減するための画像処理装置を示すブロック図である。 同上の画像処理装置の動作を示すフローチャートである。 同上のリンギングアーチファクトを検出するための検出部の構成を示すブロック図である。 同上の検出部の動作を示すフローチャートである。 同上の決定部の詳細な構成を示すブロック図である。 同上の検出部の詳細な動作を示すフローチャートである。 同上の連続して配列する各画素の輝度値を示す図である。 同上の連続して配列する各画素の画素勾配の絶対値を示す図である。 同上の連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。 同上のＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、連続して配列する各画素の輝度値とブロックとの関係を示す図である。 同上の変形例に係る、Ｃｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、画像とその画像に含まれるブロックおよび画素とを示す図である。 同上の変形例に係る色差算出部の決定結果を示す図である。 本発明の実施の形態２における検出部の詳細な動作を示すフローチャートである。 同上の連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。 同上のＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、連続して配列する各画素の輝度値とブロックとの関係を示す図である。 同上の変形例に係る、Ｃｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、画像とその画像に含まれるブロックおよび画素とを示す図である。 同上の変形例に係る色差算出部の決定結果を示す図である。 本発明の実施の形態３における検出部の構成を示すブロック図である。 同上の検出部の詳細な動作を示すフローチャートである。 同上の連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。 同上のＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、連続して配列する各画素の輝度値とブロックとの関係を示す図である。 同上の変形例に係る、Ｃｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、画像とその画像に含まれるブロックおよび画素とを示す図である。 同上の変形例に係る色差算出部の決定結果を示す図である。 本発明の実施の形態４における検出部の詳細な動作を示すフローチャートである。 同上の連続して配列する各画素の輝度値とウィンドウとの関係を示す図である。 同上のＣｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、連続して配列する各画素の輝度値とブロックとの関係を示す図である。 同上の変形例に係る、Ｃｂ／ＵおよびＣｒ／Ｖの分布を示す図である。 同上の変形例に係る、画像とその画像に含まれるブロックおよび画素とを示す図である。 同上の変形例に係る、色差算出部の決定結果を示す図である。 本発明の画像処理装置を備えたテレビ受像機の外観を示す図である。 本発明の画像処理装置を備えた携帯電話の外観を示す図である。 リンギングアーチファクトの一例を示す図である。 従来の画像処理方法を示す図である。

符号の説明

１００ 画像処理装置
１０１ 検出部
１０２，３０２，５０３ スイッチ
１０３ フィルタリング部
３０１ 候補選択部
３０３，３０３ａ 決定部
５０１，５０１ａ 比較部
５０２，５０２ａ 色差算出部

Claims (15)

1. 入力画像からリンギングアーチファクトを削減する画像処理方法であって、
   入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中から、リンギングアーチファクトを構成するノイズ画素の候補を選択する候補選択ステップと、
   前記候補選択ステップで選択された候補の色差値が、前記入力画像の一部である比較対象領域に応じた色差範囲に含まれるか否かに基づいて、前記候補がノイズ画素であるか否かを判別する判別ステップと、
   前記判別ステップでノイズ画素であると判別された当該ノイズ画素に対してフィルタリング処理を施すフィルタリングステップと
   を含むことを特徴とする画像処理方法。
2. 前記画像処理方法は、さらに、
   入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中からエッジを構成するエッジ画素を特定するエッジ特定ステップを含み、
   前記候補選択ステップでは、複数の前記候補を選択し、
   前記判別ステップでは、
   前記入力画像に含まれる前記複数の候補のうち、前記入力画像の一部である、前記エッジ画素を含む処理対象領域にある候補に対して、ノイズ画素であるか否かの判別を行う
   ことを特徴とする請求項１記載の画像処理方法。
3. 前記候補選択ステップでは、
   前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を第１の閾値と比較し、前記第１の閾値以下の絶対値に対応する画素を前記候補に選択し、
   前記エッジ特定ステップでは、
   前記複数画素のそれぞれにおける輝度値の勾配の絶対値を前記第１の閾値と比較し、前記第１の閾値以上の絶対値に対応する画素を前記エッジ画素として特定する
   ことを特徴とする請求項２記載の画像処理方法。
4. 前記画像処理方法は、さらに、
   前記入力画像に含まれる複数画素の輝度値に基づいて、前記入力画像の中から前記比較対象領域を決定する領域決定ステップを含む
   ことを特徴とする請求項３記載の画像処理方法。
5. 前記領域決定ステップでは、
   前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を、前記第１の閾値よりも小さい第２の閾値と比較し、前記第２の閾値以下の絶対値に対応する画素が予め定められた数以上連続している平坦化領域を、前記比較対象領域として決定し、
   前記判別ステップでは、
   前記候補の色差値が前記平坦化領域に応じた色差範囲に含まれている場合に、前記候補がノイズ画素であると判別する
   ことを特徴とする請求項４記載の画像処理方法。
6. 前記領域決定ステップでは、さらに、
   前記候補が予め定められた数以上連続しているテクスチャ領域を他の比較対象領域として決定し、
   前記画像処理方法は、さらに、
   前記判別ステップで前記候補がノイズ画素でないと判別されたときに、前記候補の色差値が前記テクスチャ領域に応じた色差範囲に含まれていない場合に、前記候補がノイズ画素であると判別する再判別ステップを含む
   ことを特徴とする請求項５記載の画像処理方法。
7. 前記領域決定ステップでは、
   前記候補が予め定められた数以上連続しているテクスチャ領域を前記比較対象領域として決定し、
   前記判別ステップでは、
   前記候補の色差値が前記テクスチャ領域に応じた色差範囲に含まれていない場合に、前記候補がノイズ画素であると判別する
   ことを特徴とする請求項４記載の画像処理方法。
8. 前記領域決定ステップでは、さらに、
   前記入力画像に含まれる空間的に連続する複数画素のそれぞれにおける輝度値の勾配の絶対値を、前記第１の閾値よりも小さい第２の閾値と比較し、前記第２の閾値より小さい絶対値に対応する画素が予め定められた数以上連続している平坦化領域を、他の比較対象領域として決定し、
   前記画像処理方法は、さらに、
   前記判別ステップで前記候補がノイズ画素であると判別されたときに、前記候補の色差値が前記平坦化領域に応じた色差範囲に含まれている場合に、前記候補がノイズ画素であると判別する再判別ステップを含む
   ことを特徴とする請求項７記載の画像処理方法。
9. 前記画像処理方法は、さらに、
   前記エッジ画素を含む処理対象領域を示すウィンドウを前記入力画像中に設定するウィンドウ設定ステップを含み、
   前記領域決定ステップでは、
   前記ウィンドウにより示される処理対象領域の中から前記比較対象領域を決定する
   ことを特徴とする請求項４記載の画像処理方法。
10. 前記判別ステップでは、
    前記入力画像を構成する、画像復号化処理の単位とされた複数のブロックのうち、前記エッジ画素を含むブロックを前記処理対象領域として扱い、
    前記領域決定ステップでは、
    前記処理対象領域の周辺にあるブロックを前記比較対象領域に決定する
    ことを特徴とする請求項４記載の画像処理方法。
11. 前記判別ステップでは、
    前記比較対象領域にある画素の色差値のうち最大の色差値に第１のオフセットが加算された上限値から、前記比較対象領域にある画素の色差値のうち最小の色差値に第２のオフセット値が減算された下限値までを、前記比較対象領域に応じた色差範囲として扱う
    ことを特徴とする請求項１記載の画像処理方法。
12. 入力画像からリンギングアーチファクトを削減する画像処理装置であって、
    入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中から、リンギングアーチファクトを構成するノイズ画素の候補を選択する候補選択手段と、
    前記候補選択手段で選択された候補の色差値が、前記入力画像の一部である比較対象領域に応じた色差範囲に含まれるか否かに基づいて、前記候補がノイズ画素であるか否かを判別する判別手段と、
    前記判別ステップでノイズ画素であると判別された当該ノイズ画素に対してフィルタリング処理を施すフィルタリング手段と
    を備えることを特徴とする画像処理装置。
13. 前記画像処理装置は、さらに、
    前記フィルタリング手段によりフィルタリング処理された入力画像を表示する表示手段を備え、テレビ受像機または携帯電話として構成されている
    ことを特徴とする請求項１２記載の画像処理装置。
14. 入力画像からリンギングアーチファクトを削減する集積回路であって、
    入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中から、リンギングアーチファクトを構成するノイズ画素の候補を選択する候補選択回路と、
    前記候補選択手段で選択された候補の色差値が、前記入力画像の一部である比較対象領域に応じた色差範囲に含まれるか否かに基づいて、前記候補がノイズ画素であるか否かを判別する判別回路と、
    前記判別ステップでノイズ画素であると判別された当該ノイズ画素に対してフィルタリング処理を施すフィルタリング回路と
    を備えることを特徴とする集積回路。
15. 入力画像からリンギングアーチファクトを削減するための、コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、
    入力画像に含まれる複数画素の輝度値を用いて、前記複数画素の中から、リンギングアーチファクトを構成するノイズ画素の候補を選択する候補選択ステップと、
    前記候補選択ステップで選択された候補の色差値が、前記入力画像の一部である比較対象領域に応じた色差範囲に含まれるか否かに基づいて、前記候補がノイズ画素であるか否かを判別する判別ステップと、
    前記判別ステップでノイズ画素であると判別された当該ノイズ画素に対してフィルタリング処理を施すフィルタリングステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images