JP2010514246A - 画像圧縮及び伸張 - Google Patents

Abstract

画像圧縮及び伸張における使用のため、画素のクラスタが定義される。該クラスタを定義するために利用される画像情報は、画素に対する所定の位置における画素値、又は関連する動きベクトル、勾配、テクスチャ等を含み得る。画像の圧縮の間、画素に関連する画像情報が検査され、どのクラスタに属するかが決定される。かくして画素が、該画素の画像情報についてのクラスタに従って分類されることができる。一実施例においては、クラスタの定義は、画像の内容に依存して、動的に選択される。各クラスタについて、フィルタリングのためのフィルタ係数、又は局所的にテクスチャを生成するための統計データのような、後処理動作のための制御パラメータセットが計算される。制御パラメータセットは、画像の内容に依存して選択され、それにより、伸張の後に画像に対して後処理動作が適用されるときに、当該クラスタに属するものとして分類された画素についての画質を改善する。圧縮された画像及び制御パラメータセットは、伸張装置へと送信される。伸張時には、伸張された画像を表す画像情報が検査され、クラスタに従って画素を分類し、選択されたクラスタについての種々の制御パラメータセットが、該画素の位置における後処理を制御するために利用される。

Description

本発明は、画像圧縮及び伸張のための方法及び装置に関する。

ビデオ圧縮（compression）の状況において及び個々の画像に対しての両方で、不可逆画像圧縮の方法が知られている。主な例は、画像データの粗い量子化を含む、種々のＭＰＥＧ及びＪＰＥＧ圧縮／伸張（decompression）規格において定義された方法である。これらの不可逆圧縮方法は、アーティファクト、即ち元の画像と圧縮及び伸張の後に得られる再構築された画像との間の差をもたらす。

これらの差を低減する方法は、S. Wittmann及びT. Wediによる「Post filter SEI message for 4:4:4 coding」（18th meeting of the Joint Video Team (JVT) of ISP/IEC MPEG & ITU-T VCEG（document number JVT S030））と題された刊行物に記載されている。

該刊行物においては、圧縮アーティファクトを低減するために、デコーダ側でデコードされた画像に適用されるべきＦＩＲ（Finite Impulse Response、有限インパルス応答）ポストフィルタのためのフィルタ係数を定義するメッセージを、ＭＰＥＧビデオストリームに追加することが提案されている。ウィーナフィルタリング（Wiener filtering）が利用される。即ち、元の画像とポストフィルタリングされた圧縮画像との間の差についての統計的な尺度が定義され、該尺度の値を最小化するようにフィルタ係数が選択される。認識され得るように、このことは、フィルタ係数の値が、画像の内容に依存することを意味する。フィルタ係数はエンコーダにおいて計算され、ビデオストリームに含められる。デコーダは該ストリームからこれら係数を抽出し、該抽出された係数を用いてポストフィルタリングを適用する。

不運にも、この種のポストフィルタリングは、圧縮アーティファクトの限られた低減しか提供しない。

数ある中でも、目的は、圧縮アーティファクトを低減する方法を提供することにある。

請求項１による伸張装置が提供される。ここで、伸張された画像における複数の画素のそれぞれについて、該画素が、該画素に対するそれぞれのウィンドウ中の画像の内容に基づいて分類される。該分類は、画像と共に送信された複数の制御パラメータのセットから、１つの制御パラメータのセットを選択するために利用される。該選択された制御パラメータのセットは、該画素についての後処理を制御するために利用される。このようにして、画像中の異なる画素において異なる後処理を利用することが可能とされる。異なる特徴のクラスが検出された画素においては、例えば後処理のための異なる制御パラメータのセットが利用されても良い。同様に、異なる方向に勾配が生じている場所においても、後処理のための異なる制御パラメータのセットが利用されても良い。

本発明の枠組内では、「ポストフィルタリング」及び「後処理」は、画像のデコードを完了した後の、即ち完全なデコード処理の後の、フィルタリング及び処理を含む。画像はしばしば、初期デコードの後に、最終的なデコードされた画像を得るためにループ処理が実行されるような、ループ処理を利用してデコードされる。最終的なデコードされた画像は次いでループ外でフィルタリングされる。本発明の斯かる「ループ外の」実施例は、実施例の好適な群を形成する。

本発明の概念内には、ループ内フィルタの適用も含まれる。例えば、非ブロック化フィルタのループ内適用も含まれる。次いで、初期デコードステップの後に、「ポストフィルタリング」がループ内で適用される。本発明の斯かる「ループ内の」実施例もまた、実施例の好適な群を形成する。

実施例においては、制御パラメータのセットは、圧縮された画像と共に画像ストリームへと多重化される。代替として、制御パラメータのセットと圧縮画像とが、別個に伸張装置へと供給されても良く、それにより例えば、伸張装置のユーザが画像を受信して後処理を適用するように契約している場合に、該伸張装置の入力のサブ入力を分離する。

一実施例においては、後処理は、制御パラメータのセットにより定義されたフィルタ係数を用いた、例えば有限インパルス応答フィルタのようなフィルタによるフィルタリングを有する。しかしながら代替として、制御パラメータのセットにより定義された統計的パラメータを用いたテクスチャの局所的な追加のような、他の形態の後処理が利用されても良い。

請求項１８による圧縮装置が提供される。該圧縮装置は、種々のクラスについて制御パラメータを選択し、これらパラメータを圧縮された画像信号へと追加する。一実施例においては、該圧縮装置はまた、画像の内容に依存してクラス定義を選択し、該クラス定義を圧縮された画像信号へと追加する。該クラス定義は例えば、伸張された画像のウィンドウ中の画素値の代表ベクトルを有しても良い。一実施例においては、複数の入力画像について、複数の制御パラメータのセットが共通して計算される。このようにして、異なる画像について、制御パラメータのセットが再利用されることができる。このことは、圧縮された信号のために必要とされる帯域幅を低減させる。制御パラメータのセットは、入力画像と、伸張された画像信号により定義される伸張画像との間の差に依存して選択されても良く、それにより該差を定義する後処理動作を定義する。

これらの及びその他の目的及び有利な態様は、図面を用いて説明される実施例から明らかとなるであろう。

圧縮装置を示す。 伸張装置を示す。 ポストフィルタの実施例を示す。 画素のクラスタリングを示す。 正の効果を示す。 正の効果を示す。 PSNR-Y値の増大をクラスタの数の関数として示す。 伸張装置を示す。 パラメータ推定器１６の図を示す。 後処理器を示す。 圧縮−伸張システムを示す。 圧縮装置を示す。 伸張装置を示す。 圧縮−伸張システムを示す。 勾配が選択基準として利用される実施例を示す。 勾配が選択基準として利用される場合のクラスタ中心の位置を示す。 勾配を選択基準として利用する利点を示す。 階層構造を示す。 非ブロック化関数を用いた更なる実施例を示す。 非ブロック化関数を用いた更なる実施例を示す。 非ブロック化関数を用いた更なる実施例を示す。 サブブロック端ＢＥに隣接する画素ｐ_０及びｑ_０が通常のフィルタリングモードでフィルタリングされるか否かを決定するために利用される条件の例を示す。 ビットレートの低減の尺度を提供する。 更なる実施例を示す。 回転対称を示すパターンを示す。 シフトによる対称性を示すパターンを示す。 反転による対称性を示すパターンを示す。 変換の下で不変性を示すパターンの例を示す。 変換の下で不変性を示すパターンの例を示す。 変換の下で不変性を示すパターンの例を示す。 信号を模式的に示す。

図１は、圧縮装置を示す。該圧縮装置は、ストリーム入力部１０と、圧縮器１２と、伸張器１４と、パラメータ推定器１６と、ストリーム多重化器１８と、圧縮ストリーム出力部１９とを有する。圧縮器１２は、ストリーム入力部１０に結合された入力部と、ストリーム多重化器１８に結合された出力部とを持つ。伸張器１４は、圧縮器１２の出力部に結合された入力部を持つ。パラメータ推定器１６は、ストリーム入力部１０及び伸張器１４の出力部に結合された入力部を持つ。パラメータ推定器１６は、パラメータデータ１７を供給するための、ストリーム多重化器１８に結合された出力部を持つ。ストリーム多重化器１８は、圧縮ストリーム出力部１９に結合された出力部を持つ。

図２は、伸張装置を示す。該伸張装置は、圧縮ストリーム入力部２０と、ストリーム多重分離器２２と、伸張器２４と、ポストフィルタ２６と、伸張出力部２８とを有する。ストリーム多重分離器２２は、圧縮ストリーム入力部２０に結合された入力部と、伸張器２４の入力部及びポストフィルタ２６の制御入力部に結合された出力部とを持つ。ポストフィルタ２６は、伸張器２４の出力部に結合された信号入力部と、圧縮ストリーム出力部に結合された出力部とを持つ。

いずれの図においても、画像圧縮及び伸張に関連する構成要素のみが示されている。例えばオーディオ圧縮及び伸張やデータ管理等のための他の構成要素が存在しても良いことは、理解されるべきである。更に、種々の構成要素が、１つ以上のプログラム可能な処理回路であって、該処理回路が関連する構成要素として動作するようにするプログラムによりプログラムされた処理回路を用いて実装されても良いことは、理解されるべきである。１つのプログラム可能な処理回路が、異なるプログラムの制御の下で異なる構成要素として動作するために利用されても良いし、又は、種々の処理回路が利用されても良い。代替として、構成要素が専用の回路を用いて実装されても良いし、又はプログラムされた回路と専用の回路との混合として実装されても良い。

動作時には、前記圧縮装置は圧縮されたストリームを生成し、該圧縮されたストリームは前記伸張装置へと送られる。いずれの結合の態様が利用されても良い。例えば、該圧縮装置からの圧縮されたストリームは放送されても良いし、いずれかの媒体（図示されていない）を介して１対１送信されて該伸張装置へと供給されても良いし、又は、記憶装置に保存されて該記憶装置から該伸張装置へと送られても良い。勿論、記憶装置と放送又は送信とのいずれかの混合が利用されても良い。

圧縮器１２及び伸張器１２、２４は、画像の圧縮及び対応する伸張を実行する。いずれかのＭＰＥＧ規格により定義されるもののような、いずれの形態の圧縮及び伸張が利用されても良い。ストリーム多重化器１８は、圧縮された画像データを、いずれかの所望のデータと組み合わせて、圧縮されたストリームを生成する。ストリーム多重分離器２２は、該圧縮された画像データを抽出し、該抽出されたデータを伸張器２４へと供給する。伸張器は該画像データを伸張し、該伸張された画像データをポストフィルタ２６へと供給する。ポストフィルタ２６は、該データをフィルタリングし、該フィルタリングされた画像データを出力する。該フィルタリングされた画像データは例えば、画像を画面に描画するために表示装置（図示されていない）を制御するために利用され得る。

圧縮された画像と該画像を後処理するための制御パラメータのセットとが１つの画像信号に組み合わせられるような多重化器１８及び多重分離器２２が示されたが、圧縮された画像と制御パラメータのセットとは、例えばこれらの信号のための別個のサブ出力部とサブ入力部とを圧縮装置及び伸張装置に備えることにより、個別に提供されても良いことは、理解されるべきである。このことは、該信号を伝送する複雑な方法が必要とされるという欠点を持つが、制御パラメータのセットが必要のないときには省略され得る（例えば、圧縮画像が後処理オプションを伴って及び伴わずに契約者に提供される）という利点を持つ。

ポストフィルタリング
パラメータ推定器１６は、ポストフィルタ２６によるポストフィルタリングを制御するためのパラメータを選択する。パラメータ推定器１６は、該選択されたパラメータをストリーム多重化器１８へと供給し、ストリーム多重化器１８は、該パラメータを圧縮されたストリームへと追加する。ストリーム多重分離器２２は、該パラメータを抽出し、該抽出されたパラメータをポストフィルタ２６へと供給する。ポストフィルタ２６は、これらパラメータを、ポストフィルタリングを制御するために利用する。

図３は、ポストフィルタの実施例を示す。本実施例においては、該ポストフィルタは、ウィンドウ収集器３０、クラスタ選択器３２、クラスタ定義メモリ３４、係数メモリ３６、制御インタフェース３８及びＦＩＲフィルタ３９を有する。ウィンドウ収集器３０は、伸張器（図示されていない）の出力部に結合され、ＦＩＲフィルタ３９に結合された出力部を持つ。クラスタ選択器３２は、ウィンドウ収集器３０及びクラスタ定義メモリ３４の出力部に結合された入力部を持つ。クラスタ選択器３２は、ＦＩＲフィルタ３９の係数入力部に結合された出力部を持つ。制御インタフェース３８は、ストリーム多重分離器（図示されていない）から制御データを受信するための入力部と、クラスタ定義メモリ３４及び係数メモリ３６に結合された出力部を持つ。メモリ３４、３６のような図１の種々の要素がポストフィルタ２６の一部として示されたが、これら要素は、ポストフィルタの一部ではなく伸張装置の別個の部分ともみなされ得ることは、理解されるべきである。

動作時には、ウィンドウ収集器３０は、画像中の画素位置の移動するウィンドウ（例えば３×３画素位置ウィンドウ）中の画素位置についての画素値を収集する。ウィンドウ収集器３０は、該ウィンドウについての画素値をＦＩＲフィルタ３９に供給する。ＦＩＲフィルタ３９は、該画素値とフィルタ係数との積の和として、出力画素値を計算する。各積は、該画素値と該位置に関連するフィルタ係数とから、該ウィンドウ中のそれぞれの位置について計算される。該積の和は正規化されても良く、該ウィンドウの位置に対応する画素位置についてのポストフィルタリングされた画素値として出力される。このことが一連のウィンドウ位置について繰り返され、ウィンドウ位置に対する所定の相対位置（例えば３×３ウィンドウの中心点における出力画素位置であるが、他の所定の相対位置が利用されても良い）において、一連の画素位置についての出力画素値を生成する。

クラスタ選択器３２及び係数メモリ３６は、ＦＩＲフィルタ３９により利用される係数を制御する。クラスタ定義メモリ３４中の情報が、それぞれがウィンドウ中の画素値のとり得る組み合わせのセットに対応する、複数のクラスタを定義する。係数メモリ３６は、各クラスタについてのフィルタ係数のそれぞれのセットを保存する。クラスタ選択器３２は、伸張器（図示されていない）により生成された現在のウィンドウ中の画素値の組み合わせを受信し、これら画素値から、クラスタ選択器３２がウィンドウの内容を分類する、即ち、該組み合わせが属するクラスタを決定する。クラスタ選択器３２は、該クラスタの識別子を利用して係数メモリ３６をアドレス指定し、係数メモリ３６に応じて、フィルタ係数の対応するセットをＦＩＲフィルタ３９に供給する。このことは、一連のウィンドウ位置について繰り返される。かくして、各ウィンドウ位置について、ウィンドウ位置の分類（当該ウィンドウ位置について選択されたクラスタ）に従って画素値がフィルタリングされ、それぞれの画素位置について出力画素値を生成する。

一実施例においては、クラスタ定義メモリ３４は、各クラスタについて画素値の代表組み合わせを保存する。本実施例においては、これらクラスタは、これらの代表組み合わせに対する距離により定義される。画素値のいずれの所与の組み合わせも、画素値の代表組み合わせの異なる１つに対して、異なる距離を持つ。所与の組み合わせは、最も短い距離に代表組み合わせを持つクラスタの１つに属する。

本実施例においては、クラスタ選択器３２は、最も短い距離における代表組み合わせを識別することにより分類を実行する。更なる実施例においては、クラスタを定義するために、画素値の輝度成分のみが利用される。従って例えば、３×３ウィンドウが利用される場合、各代表組み合わせは、９個の輝度値
（Ｙ１（ｊ），Ｙ２（ｊ），…，Ｙ９（ｊ））
を有する。

ここで、「ｊ」はクラスタのラベルである。本実施例においては、クラスタ選択器３２は、現在のウィンドウ中の画素位置についての輝度値（Ｌ１、Ｌ２、…、Ｌ９）を受信し、距離：
｜Ｌ１−Ｙ１（ｊ）｜＋｜Ｌ２−Ｙ２（ｊ）｜＋…＋｜Ｌ９−Ｙ９（ｊ）｜
を最小化するクラスタｊを選択する（｜｜は絶対値を表す）。本実施例において、クラスタ選択器３２は、フィルタ係数のセットを選択するためにラベルｊを利用する。

図３ａは、フィルタ係数を見出すために幾つかのキーフレームが場面中に選択される例を示す。クラスタリングのための特徴ベクトルは、以上に説明されたように、画素の周囲の局所的な３×３ウィンドウ中の輝度である。図３ａの上列は元のフレームを示し、下列はデコードされたフレームを示す。幾つかのクラスタの要素が、下列において示されている。これらクラスタは、類似するパターンを持つ領域又は画素を有する。本例においては、２０個のクラスタが利用される。図３ａは、類似するパターンがクラスタへとクラスタリングされることを示す。しばしば、これらクラスタは画像中に分散される。なぜなら、クラスタは、画像に亘って類似するパターンを有するからである。クラスタリングアルゴリズムは、類似するパターンを見出すための種々の方式及び方法に基づいても良い。本例においては、該アルゴリズムは、輝度値に基づく。

図３ｂは、該場面についての正の効果を示す。グラフの形態で、平均ＰＳＮＲ−Ｙ、即ち歪みの尺度が示される。曲線Ａは、デコードされた信号についてのＰＳＮＲ−Ｙ値を示す。曲線Ｂは、クラスタリングの適用及び適応フィルタの適用の後のＰＳＮＲ−Ｙ値を示す。平均ＰＳＮＲ−Ｙは３２．３８ｄＢから３２．８９ｄＢへと上昇し、０．５ｄＢの改善が見られる。

場面変化がおよそフレーム３１５の周囲に存在し、該場面変化の後には前の場面のクラスタリングがもはや最適ではないことが分かる。クラスタ選択及び対応するフィルタ係数を動的に更新するために、劣化の検出が利用されても良い。オフラインの状況においては、起こり得る場面変化が、場面の分割によって予め決定されても良い。

図３ｃは、Ｈ．２６４エンコードされたビデオについてのＰＳＮＲ−Ｙ値の増大を、ビットレートの関数として示す。全てのビットレートにおいて、ＰＳＮＹ−Ｙ値の著しい増大が存在する。

図３ｄは、ＰＳＮＲ−Ｙ値の増大を、クラスタの数の関数として示す。クラスタの好適な数は５以上であり、最も好適には３０未満である。クラスタの数が増大するにつれて計算負荷は増大する一方、付加的な利得は小さくなる。

本例においては、或るビデオ場面について、後処理関数が４０個の浮動小数点数（クラスタ中心及びフィルタ係数）を含む。この情報は更に量子化され、エントロピー符号化されて、ビットコストを更に低減しても良い。同一のデータを用いて後処理され得る、１つの場面に属する画像フレームの量を考慮すると、この余分なコストは実際的な意味において無視されることができ、一方で利点は著しく無視できない程のものとなる。

本実施例は単に例であることは、強調されるべきである。クラスタを定義する他のいずれの方法もが、利用され得る。例えば、ウィンドウ中の異なる位置からの画素値は、距離の計算において異なった態様で重み付けされても良く、又は色成分が異なった態様で重み付けされても良い（例えばクラスタに対して１つの色成分のみを利用することにより）。絶対値の和の代わりに、例えば二乗の和が利用されても良い。

輝度値のセットに対する距離の代わりに、輝度値の組み合わせと輝度値の標準的なベクトルとのスカラー積のセットに対する距離等が利用されても良い。個々のクラスタについての代表ベクトルの代わりに、決定木に沿ってクラスタの群間の選択を制御するために、基準ベクトルの系が利用されても良い。代表ベクトルの代わりにクラスタ間又はクラスタの群間を選択するために、差分ベクトル等が提供されても良い。ここで「ベクトルの分類」は、分類がベクトルの関連する成分を１つのベクトルへと最初にグルーピングすることにより実行されるか、単に成分を考慮することにより実行されるかに関わらず、いずれの斯かるタイプの分類に対しても利用される。「分類」の文脈においては、「ベクトル」なる語は、幾つかの成分が分類のために利用されることを示す。対応して、クラスタ選択器３２は、分類において利用されるクラスタ及び「クラスタベクトル」の成分を選択するための、他の方法を利用しても良い。

隣接する画素位置のウィンドウについて伸張された値Ｙ１、Ｙ２、…によりクラスタが選択される実施例が説明されたが、代替として位置の種々の組み合わせについて信号値が利用されても良いことは、理解されるべきである。例えば、３×３ウィンドウからの個々の画素値の組み合わせの代わりに、画素位置のブロックのセットのそれぞれの１つについての平均画素値の組み合わせが利用されても良い。例えば、斯かるブロックの３×３ウィンドウ中の、８×８画素ブロックである。他の例としては、３×３ウィンドウからの個々の画素値の組み合わせの代わりに、現在の画素位置に対する所定の非隣接位置からのサブサンプリングされた値が、クラスタを選択するために利用されても良い。

更なる例としては、クラスを導出するために以下のステップが利用されても良い：

１．所与の画像情報を構成するデコードされたフレームのサブセットからの各画素の全てのＭ×Ｍ隣接ウィンドウが、当該画像情報から抽出される。各ウィンドウは、輝度から成る特徴ベクトルｘ'により表される。該ベクトルは、各ベクトルから全ての成分の平均を減算することにより正規化されても良い。かくして、画素の周囲の４×４ウィンドウは、全ての軸上に０…２５５の値（２５６色の場合）を持つ１６次元のベクトルにより表される。２５次元ベクトルによれば、５×５ウィンドウとなる等する。

２．特徴ベクトルは、予め定義された数のクラスＮへとサンプリングされ、クラス内分散の合計は、

となる。上式において、合計でＮ個のクラスＣ_ｉ（１≦ｉ≦Ｎ）があり、ｘ'はサンプル１６又は２５次元ベクトルであり（それぞれ４×４、５×５ウィンドウの場合）、μ_ｉ'はクラスＣ_ｉに属する全てのベクトルｘ'の平均ベクトルである。斯かる分類は、反復手法を利用することにより容易に実行され得る。結果として、各クラス又はクラスタの中心、これを示すクラスタ及びクラス、即ち要素の数が、見出される。該中心は、クラスを表すために保存される。各中心に最も近いベクトルは、クラスタ又はクラスの一部を形成する。本例においては二乗の和が利用され、前の例においては絶対値の和が利用される。各例において、合計でＮ個のクラスが利用される。

３．各識別されたクラスについて、フィルタ係数が決定される。デコードされたフレームに対するフィルタの適用は、デコードされた低解像度フレームにおける、各画素についての新たな画素値ｐ''を提供する。ここでｐ''は、画素のＭ×Ｍの隣接画素に基づく。目的は、各クラス中の全てのサンプルについて、予測される値ｐ''と、対応する元の画素値ｐとの間のＭＳＥ（二乗平均誤差）を最小化することである。このことは、多変数線形回帰又はその他の最小二乗法問題を解くための既知の手法を用いて解くことができる、標準的な最小二乗法問題とみなされ得る。

５×５ウィンドウ及び合計で５個のクラスに基づくフィルタを利用して、他の既知の手法に比較して約１ｄＢのＰＳＮＲ−Ｙ値の典型的な改善が見られた。

また、クラスタを選択するために利用されるウィンドウは、ＦＩＲフィルタにおいて利用されるウィンドウと同一である必要はない。画素位置についての選択されたフィルタ係数が当該位置の近くの内容に依存するように、これらのウィンドウが少なくともオーバラップすることが好ましいが、クラスタは、ＦＩＲフィルタにより利用されるウィンドウとオーバラップしないウィンドウに基づいて選択されても良い。

更に、画素値の代わりに（画素値に加えて）、位置を分類するために動きベクトルが利用されても良い。それ自体は知られているように、ビデオストリーム中の画像は、各ブロックについて、画素値がブロックへとコピーされる必要がある他の画像中のブロックの位置を定義する、画素のブロックについての動きベクトルによりエンコードされることができる。一実施例においては、画素位置に対する所定の位置における複数のブロックの動きベクトルが、当該クラスタに画素位置を割り当てるために利用されても良い。このことは、画素値によるクラスタリングと略同じ方法で実行されても良い。

図４は、伸張器２４が、画像伸張器２４０、動きベクトル抽出器２４２、及び基準画像メモリ２４４を有する一実施例を示す。ここで、動きベクトル抽出器２４２は、入力されるビデオ情報から動きベクトルを抽出し、該抽出された動きベクトルを画像伸張器２４０に供給し、基準画像メモリ２４４中のどこから画素のブロックがフェッチされる必要があるかを示す。加えて、該抽出された動きベクトルは、クラスタ選択器３２へと供給され、該クラスタ選択器３２は、種々のクラスタについて動きベクトルの代表ベクトルを持つ画素位置に対する所定の位置におけるブロックについて、「動きベクトルのベクトル」間の動きベクトル差を利用する。勿論、動きベクトルに基づくクラスタ選択はまた、代表ベクトルを用いた差の決定以外の方法によって実行されても良い。また、画像への動きについての動きベクトル及び／又は画像からの動きについてのベクトルが、クラスタリングのために利用されても良いことは、理解されるであろう。更に、好適にはビデオストリームからエンコードされた動きベクトルが利用されても良いが、代替として、ビデオストリーム中の画像の画像内容から所定の方法で決定された動きベクトルが利用されても良いことは、理解されるべきである。

他の実施例においては、選択器３２は、画素値及び動きベクトルの両方を含む代表ベクトルを用いて差を利用しても良く、ここで該差の決定において代表ベクトルの種々の成分について差分重みが利用されても良い。

利用されるクラスタは、ウィンドウ中の画素値のとり得る組み合わせの空間におけるクラスタであり、画素位置のクラスタではない点は、留意されるべきである。実際には、隣接するウィンドウ位置におけるウィンドウについての画素値の組み合わせはしばしば同一のクラスタ選択に帰着することが観測されるが、このことはクラスタを定義するものではない。この形態のポストフィルタリングは、画像領域が殆どが１つの割り当てられたクラスタを持つウィンドウ位置を持つ場合に、当該領域における多くのウィンドウ位置が種々の割り当てられたクラスタを持つ場合であっても、適切に動作する。最後に、問題となるのはフィルタリングされた画素値であって、該画素値を得るために利用されたクラスタではない。

更に、ＦＩＲフィルタ３９が例として利用されたが、他のタイプのフィルタが代わりに利用されても良いことは、理解されるべきである。例えば、非線形フィルタが利用されても良いし、又は出力が１つ以上の隣接する位置についてのフィルタ出力に依存する再帰的フィルタが利用されても良い。また、勿論、例えば３×１のサイズのウィンドウ（水平方向に３個、垂直方向に１個の画素位置）のような、３×３以外のいずれのサイズのウィンドウが利用されても良い。

以上の例においては、画素値や動きベクトル等のような画像を定義する情報が、クラスタを選択するために利用された。加えて、明示的なクラスタ選択情報が、圧縮された画像信号に含められても良い。このことは信号のサイズを増大させるが、分類を単純化する支援となり得る。一実施例においては、斯かる明示的なクラスタ選択信号が、クラスタを選択するために伸張装置によって利用される唯一の情報であっても良い。

ポストフィルタの成分のいずれの便利な実装もが、利用されても良い。一例においては、ポストフィルタは、メモリ中の完全な保存された画像を利用し、ウィンドウ収集器３０が、該メモリから該ウィンドウについての画素値を取得する。他の実施例においては、ウィンドウ収集器３０は単に、該ウィンドウについての画素値を提供するために、単に十分な数の画像ラインから画素値をバッファリングする。差分成分は、１つ以上のプログラム可能な処理回路であって、該処理回路を関連する構成要素として動作させるためのプログラムによりプログラムされた処理回路を用いて実装されても良い。種々のプログラムの制御の下で種々の構成要素を動作させるために１つのプログラム可能な処理回路が利用されても良いし、又は、種々の処理回路が利用されても良い。代替として、これら構成要素は、専用の回路を用いて、又はプログラムされた回路と専用の回路との混合として、実装されても良い。

図示されるように、ポストフィルタ２６及びそれに関連するものは、伸張装置全体のうちの一部である。しかしながら、別個の装置で実装されても良いことは、理解されるべきである。一実施例においては、斯かる装置は、モバイル電話のようなモバイル装置と、より高品質な表示装置（例えばテレビジョンモニタ）との間のインタフェースとして利用され得る。他の実施例においては、伸張装置は、完全された品質のビデオストリームを生成するために、ポストフィルタリングの結果を再圧縮しても良い。

パラメータ推定
図５は、パラメータ推定器１６の図を示す。パラメータ推定器１６は、クラスタリングユニット４０、ウィンドウ収集器４２、係数選択器４４及び出力インタフェース４６を有する。係数選択器４４は、ストリーム入力部１０及び伸張器１４に結合された入力部を持ち、後者はウィンドウ収集器４２を介しており、更にクラスタリングユニット４０に結合された制御入力部を持つ。

動作時には、係数選択器４４は、それぞれのクラスタについてのフィルタ係数のセットを選択する。各クラスタについて、圧縮器１２及び伸張器１４による圧縮及び伸張の結果をポストフィルタリングするために、ストリーム１０からの画素値と、フィルタ係数のセットを用いて得られた画素値との間の差の平均尺度を最小化する係数のセットが選択されても良い。該差の平均尺度は、同じクラスタに割り当てられた画素位置に亘って平均をとられる。例えば平均二乗差分が利用されても良いが、知覚的差分の統計的尺度のような他の尺度が利用されても良い。所与の画素のセットについて平均尺度を最小化する係数のセットを選択するための手法は、それ自体知られている。

クラスタリングユニット４０は、どのクラスタに画素が割り当てられるかを決定する。このことは、伸張装置におけるクラスタ選択に対応する方法で実行されても良い。一実施例においては、クラスタリングユニット４０はまた、クラスタを選択する。いずれのクラスタリング手法が利用されても良い（クラスタリングとは、別個のクラスタを闇雲に探すことのみを意味するのではなく、予め定義されたクラスタへの分類も動作する）。ポストフィルタリングの結果とそれぞれのクラスタ内の元の画素値との間の差を最小化したフィルタ係数のセットと組み合わせて、複数の異なるクラスタを利用することにより、ポストフィルタリングされた画像と元の画像との間の差の全体的な尺度（例えば二乗された差の和）が、単一のフィルタ係数が画像全体に対して用いられたとした場合よりも小さくなることが、確実にされる。このことは、既に任意に選択されているクラスタについての全体的な差分を低減する。しかしながら、幾つかの実施例においては、差分の低減を最適化するようにクラスタが選択される。クラスタの選択は、クラスタについてのフィルタ係数が選択される前に実行されても良いし、又は、フィルタ係数の選択と組み合わせて実行されても良い。

本発明の一般的な概念は、元の画像中にどのような構造が存在していたか、及び、圧縮されたバージョンが画像最適化／学習されたフィルタのセットの特定の１つを適用することによりデコーダ側でどのように改善（例えば、典型的には元の画像により似て見えるようになる、又は一般的にはより高い例えばシャープネスのような画質を持つようになる）され得るか、に基づく。前記フィルタの係数／パラメータが、信号に追加される。これらのフィルタを特定するためには、例えばこれらフィルタの幾つかが適用される画像位置の対のような、限られた追加データが送信される必要があるのみである。

本発明の概念の多くの変形が可能であり、幾つかは以下に説明される。斯かる変形は、Ｈ２６５のような既存の符号化方式を改善し得る。

一般に、全ての生じる構造を幾つかのクラス（例えばエッジ、高周波水平方向テクスチャ、…）に単純に分類し得るが、本発明のより広い概念内においては、該分類を、階層的構造化を含む、より構造化／階層化されたパラメータ的な方法で実行することができ、例えば最初にどのタイプの分類が最も適しているかを見出し、次いで分類を実行するか、又は、再分類する若しくは異なる態様で分類するために、例えばクラスタ及び対応するフィルタ若しくは後処理パラメータの選択が反復的な態様で実行されても良い。

第１のステップにおいて、クラスタが定義されても良く、続いて該クラスタに関連する後処理パラメータを定義する。

この方式は一般に優れた結果をもたらすが、本発明の枠組内では、反復的な処理が適用されても良い。例えば、暫定的なクラスタリングを見出し、該暫定的なクラスタについてのフィルタパラメータのセットを見出し、より適切なクラスタを見出すために該クラスタリングを改良し、フィルタパラメータのセットを改良する、等する。

幾つかのとり得る反復的な処理は、例えば以下のとおりである：
−最初に、クラスタ内の全ての要素が、後処理パラメータの決定のために同一の重みを与えられる。パラメータの初期セット及び対応するクラスタ中心が決定され、元の画素値と後処理の後の画素値との間の平均差についての初期結果をもたらすと、可変の重みが、例えば該クラスタ中心に対する距離尺度に依存する所定の調節可能な方法で、クラスタ内の各要素に割り当てられる。斯かる重みを用いて、フィルタ係数が再計算される。結果が改善される場合には、更なる利得が得られなくなるまで、又は利得の増大が閾値を下回るようになるまで、処理が繰り返される。この方式の単純な実施例は、クラスタ又は後処理パラメータについての計算から、クラスタ内の「異常な」点を除去すること、即ち斯かる要素にゼロの重みを付与することである。
−ここで、以上の実施例においては、クラスタの要素は同じままであるが、係数の計算に対するこれら要素の影響は変更され、代替の方式は、クラスタ中心と同様に決定されたフィルタ係数をも同じに保ちながらも、或るクラスタから別のクラスタへと要素をシフトし、それによりクラスタ間の境界をシフトし、元の画素値と後処理の後の画素値との間の差を再計算することである。改善がある場合には、これら境界は幾分か更にシフトされる。
−クラスタ中心及びクラスタが定義される方法は、クラスタリングアルゴリズムに依存する。以上に、また以下にも説明されるように、クラスタリングの基礎（画素値に基づくもの、動きベクトルに基づくもの、エッジに基づくもの、テクスチャに基づくもの、等）や、クラスタリングが決定される方法（絶対値の和の最小化、又は二乗の和の最小化）が異なる、種々のクラスタリングアルゴリズムが利用可能である。他の実施例は、画素値及び動きベクトル及び／又は更に他の基準のような種々の基準を組み合わせ、斯かる基準の組み合わせを用いて、反復的な処理で、基準の最適な混合及び対応するパラメータのセットが見出されるようにする、クラスタリングアルゴリズムを利用することである。

本発明の枠組内には、例えば係数空間の追跡、Ｐｉｎｐｕｔ／Ｐｃｏｍｐｒｅｓｓｅｄのスペクトル解析のような、エンコード側で最適なフィルタを迅速に見出すことにおける変形が包含される。

一実施例においては、クラスタリングユニット４０は、それぞれの代表組み合わせに対する最も近い距離における部分へと、とり得る組み合わせの空間のパーティションを定義する、画素値の代表組み合わせを識別する、クラスタリング手法を適用する。代表組み合わせは、所定のクラスタ品質基準に基づいて選択される。クラスタ品質基準は例えば、各パーティションにおいて実際に観測される組み合わせの数が、何らかの所定の誤差マージン内であること、又は、各パーティション内において実際に観測される組み合わせの広がりの尺度（例えば中心画素値に対する距離の二乗の和）が閾値を下回ること、であっても良い。例えば、ウィンドウ中に生じる伸張された画素値の組み合わせをグルーピングするためのｋ平均クラスタリングアルゴリズムが利用されても良い。斯かるクラスタを用いることにより、フィルタ係数の各セットが、類似する内容を持つウィンドウに適用されることが確実とされる。このことは、後処理の後の誤差を最小化する。

更なる実施例においては、後処理の後の残余誤差に基づく品質基準を利用するクラスタリング方法が利用される。斯かる実施例の一例においては、クラスタの初期定義が作成され、フィルタ係数のセットが各クラスタについて選択され、種々の画素位置についての残余誤差のサイズが計算される。クラスタについての平均サイズが閾値を上回る場合には、該クラスタが分割され、元のクラスタからの２つの実際に測定された組み合わせを、新たな代表組み合わせとしてとる。同様に、隣接するクラスタにおける誤差の平均サイズが閾値を下回る場合及び／又はこれらクラスタについてのフィルタ係数のセット間の差が閾値を下回る場合には、クラスタが併合されても良い。この手法を何度か繰り返すことにより、クラスタのセットが最適化され得る。このことは、反復処理の更なる例である。

出力インタフェース４６は、クラスタリングユニット４０及び係数選択器４４に結合された入力部を持つ。出力インタフェース４６は、伸張装置への供給のため、ストリーム多重化器１８に、クラスタ及びフィルタ係数を表す情報を供給し、伸張装置においてこれら情報がポストフィルタ２６により利用されることとなる。

ビデオ画像のストリームが圧縮される実施例においては、クラスタ及び係数は、該ストリーム中の各画像について選択される。しかしながら、このことは必須ではない。クラスタ及び係数は、典型的には場面に依存する。場面（又は類似する場面）が一連の画像により描画される場合には、同一のクラスタ及び係数が、これら全ての画像について利用されても良い。他の実施例においては、パラメータ推定器１６は、同一のクラスタ及び係数が利用されることができる画像の群、及びクラスタ及び係数が変化させられたときの信号のみを検出するように構成される。この場合、ポストフィルタ２６は、クラスタ及び係数が変化させられたと信号により通知されるまで、以前に受信したクラスタ定義及びフィルタ係数のセットを保持し、これらをポストフィルタ圧縮画像に適用する。

本実施例においては、パラメータ推定器１６は、各入力される画像について現在のセットを利用してポストフィルタリングの後の残余誤差のサイズを計算し、該サイズが閾値を超えた場合にのみ（任意に、最後のクラスタ及び係数の新たなセットから所定個の画像の後にも）、クラスタ及び係数の新たなセットの計算へと切り換える。他の実施例においては、パラメータ推定器１６は、最初にビデオストリームのセクションを選択し、各セクションについてクラスタ及び係数のセットを計算しても良い。この場合、パラメータ推定器１６は、該セクション中の画像のうちの１つ、又は該セクション中の画像のサブセットのみを処理することにより、クラスタ及び係数を選択しても良い。

代替として、所定の関数に従って画像特性を評価し、該画像特性が所定の閾値よりも小さい分だけ異なる場合に、同一のグループに画像を割り当てることにより、グループが検出されても良い。各新たに受信された画像の画像特性は、受信され、クラスタ及び係数の現在のセットが利用された画像の画像特性と比較され、該画像特性が所定の閾値よりも小さい分だけ異なる場合には、クラスタ及び係数のセットは同一のままとされても良い。

一実施例においては、異なる方法で圧縮された画像及び／又は異なる対象面に対して、クラスタ及び係数の異なるセットが利用されても良い。従って、例えば内符号化された画像（ＭＰＥＧの場合においてはＩフレーム）についてはクラスタ及び係数の第１のセットが定義され、近接する画像及び任意の残りからの予測により符号化された画像（ＭＰＥＧの場合においてはＰフレーム及びＢフレーム）についてはクラスタ及び係数の第２のセットが定義されても良い。他の例として、画像内容が、出力画像を形成するために重畳され得る複数の面についてビデオストリーム中に定義される場合には、異なる面に対してはクラスタ及び係数の異なるセットが利用されても良い。

一実施例においては、これらの画像又は面についてはクラスタのセットが同一であっても良いが、それぞれが異なるタイプのフレームにおける誤差を低減するように選択された異なる係数が利用されても良い。本実施例においては、ポストフィルタ２６は、複数のクラスタ定義及び／又は係数を同時に保存し、該複数から、符号化タイプ（Ｉ又はＢ、Ｐ）及び／又は面に依存して選択する。同様に、パラメータ推定器１６は、符号化タイプ及び／又は面に基づいてクラスタ及び係数を選択する。

一実施例においては、伸張装置は、例えばポストフィルタ２６におけるクラスタ定義メモリ３４及び係数メモリ３６において、クラスタ及び／又は係数の複数のセットを同時に保存するように構成される。該伸張装置は、現在の画像をポストフィルタするための使用のため、セット選択信号に依存して、複数の保存されたセットから、現在のセットを選択する。該セット選択信号は、圧縮装置から供給された選択信号に基づいて、又は画像及び／又は面のタイプに基づいて、ストリーム多重分離器２２から供給されても良い。

更なる実施例においては、圧縮装置は、クラスタ及び／又は係数の対応する複数のセットを保存するように構成される。新たな画像（又は対象面）が受信されると、パラメータ推定器が最初に、該画像がクラスタ及び／又は係数の保存されたセットのうちの１つに割り当てられ得るかをテストする。このことは例えば、該新たな画像を圧縮し、伸張し、クラスタ及び係数の保存されたセットのそれぞれに従ってポストフィルタリングし、結果を元の新たな画像と比較することによって為されても良く、ここで最も小さな差に導くクラスタ及び係数のセットが選択される。該差が所定の閾値を下回る場合、該圧縮装置は、前記伸張装置に対して、クラスタ及び／又は係数の選択されたセットが利用されるべきであることを信号により通知する。しかしながら、代替として、何らかの所定の画像特性に従って該新たな画像を分類し、該選択された画像のクラスに関連するクラスタ及び／又は係数のセットを選択することにより、クラスタ及び／又は係数のセットの選択が実行されても良い。

該新たな画像と、圧縮、それに続く伸張及びクラスタ及び／又は係数の選択されたセットを用いたポストフィルタリングの結果との間の差が閾値を超える場合には、クラスタ及び／又は係数の新たなセットが推定され、該伸張装置へと送信され、メモリ中のクラスタ及び／又は係数の以前のセットを置き換える。ここで該以前のセットは、例えば最も長く利用されていないセット又は最も類似するセット等を利用することにより、圧縮装置から伸張装置への信号における以前のセットを明示的に識別することにより、圧縮装置と伸張装置とで同じ基準に従って選択される。

圧縮装置により示された情報を用いて伸張の後のポストフィルタが制御される例が説明されたが、他の形態の後処理も利用され得ることは理解されるべきである。

図６は、ポストフィルタ２６の代わりに利用され得る、後処理回路の例を示す。該後処理回路においては、（疑似）ランダム信号生成器５０及び加算器５２が追加されている。ランダム信号生成器５０は、係数メモリ３６からの１つ以上の係数の制御の下、（疑似）ランダム信号を生成する。加算器５２は、これらの係数を、伸張された信号に加算する。ランダム信号生成器５０は、該係数の関数として、該ランダム信号の平均及び／又は標準偏差、及び／又は該生成されたランダム信号の空間的相関及び／又はスペクトルエンベロープ及び／又はその他の統計的特性を制御するように構成されても良い。このようにして、局所的に生成されたテクスチャが、伸張された信号に加算される。関連する係数は、元の画像と伸張された圧縮画像との間の差の統計から、圧縮装置のパラメータ推定器において推定される。該推定された関連する係数は、エンコード装置からデコード装置へと送信される。かくして、実際の画素値を表すデータの代わりに、統計的な特性を表す係数が送信される。

このことはテクスチャ生成の一例に過ぎないことは、強調されるべきである。（疑似）ランダム信号生成器５０の代わりに、伸張装置により信号送信された係数の制御の下で生成された局所的に生成された信号を、伸張された画像に対して加算する、又は部分的に置き換えるために、他のタイプの信号生成器が利用されても良い。例えば、ランダム生成器は、画素値を生成するためのランダム的な選択を為すための値のセットを制御するために、又は画素を出力信号へとランダム的にマッピングするための基本テクスチャパターンを制御するために、これら係数を利用しても良い。テクスチャ生成の更なる自由度を提供するため、テクスチャ生成は、画素位置のブロック（例えば８×８画素ブロックを用いて、斯かるブロックの３×３ウィンドウにおいて）のセットのそれぞれ１つについての平均画素値、又は隣接しない画素位置についてのサブサンプリングされた値の組み合わせについての伸張された信号値により係数のセットが選択される実施例と、組み合わせられても良い。

更なる実施例においては、検出されたクラスタの制御の下で選択された係数を用いた、テクスチャ生成とフィルタリングとの組み合わせが利用される。他の実施例においては、クラスタに依存して、ポストフィルタリングのみ又はテクスチャ生成のみが利用される。

ここまで説明された実施例においては、ポストフィルタリングのような後処理が、伸張の結果である最終的な画像に対して適用された。このことは、いずれの形態の圧縮及び伸張が利用され得るという利点を持つ。しかしながら、代替として、後処理が伸張の中間結果に対して適用されても良いことは、理解されるべきである。例えば、伸張の一部として、伸張された周波数係数の逆ＤＣＴ（Discrete Cosine Transform、離散コサイン変換）が利用される場合には、例えば異なる係数を持つ異なる周波数についての係数を乗算することにより、周波数係数に対して後処理が適用されても良い。同様に、テクスチャ情報が、斯かる係数に加算されても良い。

パラメータ推定器及びポストフィルタは、種々のタイプの圧縮器及び伸張器と組み合わせられても良い。一実施例においては、圧縮器は、例えば画素のブロックについてＤＣＴ（Discrete Cosine Transform）係数を計算しこれら係数を量子化する圧縮器、又は画素値を量子化する圧縮器のような、量子化圧縮器である。他の実施例においては、該圧縮器は、画像の空間的解像度を低減させる圧縮器であっても良い。対応して、伸張器は、伸張された画像を再構築するために逆量子化又は補間を適用しても良い。

図７は、解像度スケーリング及び量子化を有する圧縮に対する適用を示す。ここでは、フィルタ係数のセットが、いずれの形態の圧縮のアーティファクトも低減させるために利用される。本図は、圧縮装置６６と、伸張装置６８とを示す。圧縮装置６６においては、圧縮器１２が、解像度スケーラ６０と量子化圧縮器６１とを直列に有する。一実施例においては、量子化圧縮器６１は、画素のブロックについてＤＣＴ（Discrete Cosine Transform）係数を計算し、これら係数を量子化する。解像度スケーラ６０は、アンチエイリアスフィルタ及びサブサンプリングユニットを有しても良い。伸張器は、逆量子化伸張器６３と逆解像度スケーラ６２とを直列に有する。伸張装置６８においては、伸張器は、ポストフィルタ２６の前に、逆量子化伸張器６５と逆解像度スケーラ６４とを直列に有する。

動作時には、解像度スケーラ６０（アンチエイリアスフィルタ及びサブサンプリングユニットを有しても良い）は、画像を圧縮する前に、受信される画像が表される解像度を低減させる。逆解像度スケーラ６２は、元の解像度、又は少なくとも圧縮され次いで伸張された解像度の低減された画像よりも高い解像度の画像を再構築する。

パラメータ推定器１６は、フィルタ係数のセットを選択し、更に任意に、再構築された画像に適用されたときに、これら画像が元の入力画像に対応する画像により近く対応するようにするポストフィルタ処理のためのクラスタを選択する。

伸張装置６８においては、画像が伸張され、次いで解像度がスケールアップされる。スケールアップされた画像は、フィルタ係数の選択されたセットを用いてポストフィルタリングされる。ポストフィルタ２６と逆解像度スケーラ６４とは別個のユニットとして示されたが、これらは一体化されても良く、画素値がアップスケーリングの間にどのように補間されるべきかをフィルタ係数が定義しても良いことは理解されるべきである。

図示された実施例においては、適用可能なクラスタが、スケールアップされた画像の画素値の制御の下で選択されたが、代替として、伸張された、解像度が低減された画像、即ち逆量子化伸張器６５からの画像からの画素値に基づいて、クラスタが選択されても良いことは、理解されるべきである。一実施例においては、このことは、圧縮装置６６及び伸張装置６８の両方において実行される。

一実施例においては、解像度の低減のみが圧縮の形態となるように、量子化圧縮器６１及び逆量子化伸張器６３が省略されても良い。この場合、ポストフィルタ２６は、解像度の低減、及び後続するより高い解像度の画像の再構築によるアーティファクトを低減するためにのみ、利用される。図７において、ポストフィルタ２６は、解像度の低減及び量子化によるアーティファクトを共に低減するために利用される。

更に、図８に示されるように、代替実施例として、圧縮器１２による圧縮によるアーティファクト、及び解像度スケーラ６０による解像度低減によるアーティファクトの補正のための、伸張装置６８におけるサブフィルタとして、別個のポストフィルタ３９ａ、３９ｂが、直列に利用されても良い。本実施例においては、フィルタ係数の別個のセットが、これらの種々のポストフィルタ動作のために提供されても良い。このことは、異なるセットが、異なる関数に対して最適化され得るという利点を持つ。一実施例においては、クラスタの異なるセットが、ポストフィルタ３９ａ、３９ｂのそれぞれについて定義されても良く、これらポストフィルタのためのポストフィルタ係数が該ポストフィルタ３９ａ、３９ｂに対して定義されたクラスタについて提供されても良い。かくして、事実上、第１及び第２のポストフィルタ３９ａ、３９ｂの組み合わせに対するクラスタは、個々のポストフィルタについてのクラスタのサブクラスタリングを定義する。該サブクラスタリングにおける異なるサブクラスタは、フィルタ係数の同一のセットを共有する。代替として、これらサブクラスタが最初に決定され、次いで選択されたポストフィルタについての超クラスタへと連結されても良く、ここで各超クラスタ中のサブクラスタは、選択されたポストフィルタについてのフィルタ係数のセットを共有する。この場合、異なるサブクラスタについてフィルタ係数の別個のセットが送信される必要はなく、伝送帯域幅を節約する。

図９は、斯かる複数のセットを生成するための圧縮装置の更なる実施例を示す。本実施例において、圧縮装置の本実施例においては、更なるパラメータ推定器１６ａ及びポストフィルタ６００が追加されている。ポストフィルタ６００は、逆量子化伸張器６３と逆解像度スケーラ６４との間に結合されている。更なるパラメータ推定器１６ａは、解像度スケーラ６０の出力部及び逆量子化伸張器６３の出力部に結合された入力部と、ポストフィルタ６００及び多重化器１８の制御入力部に結合された出力部とを持つ。

本実施例においては、更なるパラメータ推定器１６ａは、圧縮によるアーティファクトを低減するための制御パラメータのセットを提供するように動作し、一方でパラメータ推定器１６は、主に解像度低減及びアップスケーリングによる残余アーティファクトを低減するための制御パラメータセットを提供するように動作する。更なるパラメータ推定器１６ａは、量子化圧縮器６１による圧縮の前の画像と、逆量子化伸張器６３の後の画像との間の差を低減する、ポストフィルタ処理の制御パラメータのセットを選択する。ポストフィルタ６００は、画像を逆解像度スケーラ６２へと送る前に、伸張された画像に対して、これら制御パラメータセットにより選択されたポストフィルタ処理を適用する。多重化器１８は、伸張装置のポストフィルタによる使用のために、これら制御パラメータセットをストリームに追加する。

解像度スケーラ６０、ポストフィルタ６００、逆解像度スケーラ６２及びパラメータ推定器１６を除く図９の部分は、基本的に図１の圧縮装置と同一であり、ここで伸張器１４の入力が画像入力を形成することに、留意されたい。図示されるように、図９の実施例は、伸張の後の対応するパラメータ推定を伴う、圧縮の付加的な層を追加する。理解されるように、各場合において、圧縮処理動作の前の画像と、及び該圧縮処理動作の逆動作である伸張処理動作の後の画像とを比較することにより、制御パラメータセットを導出するために、パラメータ推定器が利用される。制御パラメータのセットは、局所的な画像の構成の種々のクラスタについて選択される。

図９に示されるように、連続的な圧縮動作が適用される場合には、パラメータ推定は複数回適用されても良く、それぞれが各圧縮動作のためのものであっても良い。圧縮動作がデシメーション（decimation）及び量子化である例が示されたが、他の圧縮動作が利用されても良い。一実施例においては、圧縮動作、又はポストフィルタリング及びパラメータ推定が利用される圧縮動作のうちの１つは、或る基準画像又は複数の基準画像に対する動きベクトルのような基準により表される画像にポストフィルタリングが適用される、予測圧縮であっても良い。

クラスタの選択は、異なるパラメータ推定器により、個別に実行されても良い。この場合、クラスタ定義情報が、制御パラメータの全てのセットについてのストリームに含められることとなる。このことは、該ストリームのための増大された帯域幅使用と引き換えにではあるが、クラスタ選択を最適化することを可能とする。代替実施例においては、パラメータ推定器が、同一のクラスタ選択を共有する。本実施例においては、連続的に適用されるポストフィルタ処理についての制御パラメータの複数のセットについての共有されたクラスタ定義情報を含めることで十分である。このことは、帯域幅使用を低減する。

図１０は、ポストフィルタリングが基準画像に適用される、予測圧縮に対する適用を示す。ここでは、ポストフィルタリングされ伸張された内符号化された画像が、予測的な圧縮及び伸張のための基準として利用される。本図は、それぞれが基準画像のためのメモリ７２、７４を含む、圧縮装置及び伸張装置を示す。該伸張装置は、圧縮器１４の出力部とメモリ７２との間に結合されたポストフィルタ７０を有する。該圧縮装置のメモリ７２は、圧縮器１２の入力部に結合される。パラメータ推定器１６の出力部はポストフィルタ７０の制御入力部に結合され、ここでポストフィルタ７０の機能は、伸張装置のポストフィルタ２６の機能と類似する。動作時には、メモリ７２は、フィルタ係数のセットに従ってポストフィルタリングにより得られる選択された画像を保存し、圧縮器１２が、該保存された画像を利用して、動きベクトルと該保存された画像に関連する任意の残りの情報とにより、他の画像をエンコードする。

同様に、該伸張装置のメモリ７４は、ポストフィルタ２６の出力部及び伸張器２４の入力部からのフィードバックループ中に結合される。動作時には、メモリ７４は選択されたポストフィルタリングされた画像を保存し、伸張器２４が、該保存された画像を利用して、動きベクトルと該保存された画像に関連する任意の残りの情報とによりエンコードされた他の画像をデコードする。このようにして、予測的な圧縮及び伸張における使用のために、改善された基準画像が提供される。予測的な圧縮及び伸張においては、予測される画像は１つの基準画像のみを用いて予測されても良いが、代替としては、複数の基準画像からの予測が利用されても良い。

ここで説明された方法及び装置は、圧縮装置により定義された後処理係数を用いて、少なくとも部分的な伸張の後の後処理により、圧縮アーティファクトを低減することを可能とする。後処理の品質は、伸張された画像の内容の制御の下で選択された、画像中の種々の位置における係数の種々のセットを利用することにより改善される。低品質の画像と高品質の画像とを結びつける種々の用途が可能である。例えば、優れた内蔵カメラを持つモバイル電話で画像を撮影し、副情報と共に低画質で該画像を保存し、次いで該画像を（高画質の）テレビジョン又はＰＣで見るであろう友人に該画像を送信するといった用途である。

画像の異なるサブグループに対して、異なる最適フィルタセットを利用することもできる。例えば、Ｂピクチャは、Ｉ及びＰピクチャとは異なる態様でフィルタリングされる必要があり得る。この場合には、典型的には信号が、例えばＢピクチャ：クラスタ１：係数１，係数２，…；クラスタ２：係数３，係数４，・・・；クラスタＸ；Ｉピクチャ：クラスタＹ：…のようなタグを用いた、クラス及び対応するフィルタリングパラメータをグループ化するための更なる情報を持つこととなる（フィルタは、例えば、内在するフィルタリングされた領域に対して実行するための手順を含むアルゴリズム的な記述のような、種々の方法で規定され得るため、実際のフォーマットはオープンのままとされる）。

構造化されたクラスタリングの他の例は、例えば高い量子化と低い量子化とで又は高い動きと低い動きとで異なるセットのような、圧縮パラメータに対して為され得る。

クラスタリングの選択は、画素値、動きベクトル、及び画素値と動きベクトルとの両方を含む、種々の選択基準により、以上に説明された。本発明は、斯かる例示的な選択／分類基準に限定されるものではない。

例えば、適応フィルタリングのための更に他の分類基準が、更に改善された視覚的な品質を伴いつつ、デコード処理のための著しく低減された計算コストに導き得る。該基準は、エンコード側においても計算コストを低減し、分類のための更に安定した性能を提供する。斯かるフィルタリングは、後処理されたシーケンスの品質に対する改善が、緩やかな変化を伴う領域に主に集中するという洞察に基づくものである。

好適な実施例においては、水平方向の勾配値及び／又は垂直方向の勾配値が計算され、これらが選択処理において利用される。選択器は、該水平方向の勾配値及び／又は垂直方向の勾配値に基づく分類により位置に対して画像情報を分類するように構成される。

例えば、エンコーダ側で場面適応的なクラスタを導出する場合には、クラスタリング統計のための基本的なパターンとして正規化された開口の（例えば５×５）ウィンドウを直接に用いる代わりに、以下のように定義された２つのソーベル（Sobel）エッジフィルタ（水平及び垂直）を用いて各ウィンドウを畳み込むことにより、水平方向の勾配値ｅｘ及び垂直方向の勾配値ｅｙが計算される：
−１ −２ −１ −１ ０ １
０ ０ ０ 及び −２ ０ ２
１ ２ １ −１ ０ １

結果として、各開口は特徴ベクトル｛ｅｘ，ｅｙ｝により表される。次いで、例えばｋ平均法のようなクラスタリングアルゴリズムが、これらクラスタに実行される。図１１は、２つのシーケンスに対する２つの典型的なクラスタリング結果を示す。十字記号はクラスタ中心を示す。これら点は、大量の点に対する結果を示す。

更なる利点は、見出されたように、異なるシーケンスに対してもクラスタ中心が非常に一定である点である。それ故、シーケンスとは独立して幾つかのクラスタプロファイルを定義することが可能である。例えば、図１２において、５クラスタのプロファイル及び２１クラスタのプロファイルの例示的な定義が示されている。これらプロファイルの定義は、幾つかのシーケンスの自己クラスタリングの結果を平均化することにより得られる。これら２次元のグラフにおいて、図１２に示されるように、種々のシーケンスについてｋ平均法により導出されたクラスタ中心が、実際に非常に類似した分布を共有することが分かっている。十字記号はクラスタ中心を示す。このことは、クラスタ中心の予めの定義を可能とする。

クラスタ中心が予め定義され得従って標準化され得るため、ストリームと共にクラスタ中心の位置を送信する必要はもはやない。それ故、場面適応フィルタ（又はより一般的には制御パラメータセット）のみが、例えばストリームと共に副情報として送信される。種々のビデオ（種々の場面特性、エンコード設定等を持つ）の種々の特性を反映するために、フィルタのパラメータのような制御パラメータセットが依然として、エンコードの間に各クラスタについて動的に生成される必要がある点に、留意されたい。

以上の方式を適用することにより、デコーダ側における省力化が明らかである。正しいクラスタの選択はかなり単純化され、（５×５＝２５次元の特徴距離の代わりに）２次元特徴距離のみを含む。更に、予め定義されたクラスタプロファイルを用いる好適な実施例においては、例えば予め定義された２次元ルックアップテーブルＴ：
Ｔ（ｅｘ，ｅｙ）＝クラス−ラベル
により分類が実装され得る。ここで、（ｅｘ，ｅｙ）は画素（ｘ，ｙ）における勾配値であり、Ｔ（ｅｘ，ｅｙ）は所与のプロファイルに対する関連するクラスラベルを直接に与える。それ故、デコーダ側において、クラスタ選択のための計算コストは、略無視できるものとなる。

更なる利点は、より安定した分類結果である。勾配特徴が、元の輝度の開口よりも視覚的に安定した局所パターンの分類を与え、視覚的により魅力的な後処理されたシーケンスに導くことが分かる。

予め定義された勾配ベースのプロファイルを適用する場合には、副情報のための付加的なビットコストは半分に削減される。なぜなら、クラスタ中心情報が送信される必要がないからである。エンコーダ側における計算コストもまた、削減される。なぜなら、自己クラスタリングは計算されず、ＭＳＥ最適化のみが実行されるからである。

デコーダ側において、正しいフィルタの選択は、計算時間の殆どを占める。Ｎ個のクラスタを利用すると仮定すると、フィルタの選択は、フィルタリング自体に比べてＮ倍のコストを必要とする。勾配ベースの方式を適用することにより、フィルタの選択は、ソーベル畳み込みと、正しいクラスタのためのテーブルのルックアップのみを含むこととなる。選択手順は典型的に、フィルタリング処理の計算時間の１／６未満しか要さない。このことは、デコーダ側において、ポストフィルタリングのためのリアルタイム実装を可能とする。

勾配ベースの選択方法を適用することによる視覚的な品質は、画素値ベースの方法に比べて、０．５乃至０．７ｄＢも優れている。一例が図１３に示され、ここではいわゆるシールズ（Shields）シーケンスの切り取りされた例が示されている。勾配情報は生の輝度よりも優れた表現であり、ＸＹ勾配座標における類似性がＭ×Ｍ次元輝度空間におけるＭＳＥメトリックよりもクラスを定義するために適しているという事実により、改善された視覚的な品質は説明され得る。

代替の又は付加的な単純なクラスタリングは、テクスチャに基づいて為され得る。テクスチャはしばしば、例えば以下のような少数のパラメータを用いて単純に検出される：
１．輝度がどのくらい激しく変化するかを特徴付ける、標準偏差。
２．パターンがどのくらい頻繁に上下するかの１つのとり得る尺度である、ランニング累積勾配。
３．平均色。

一方、勾配タイプの選択においては、２次元空間における幾つかのクラスタ中心が定義され（図１１及び１２を参照）、テクスチャクラスタが３次元空間におけるクラスタ中心点により定義され得、ここで３つの軸が例えば標準偏差、ランニング累積勾配及び平均色である。或る点は例えば青い空（標準偏差が小さく、累積勾配が小さく、平均色が青色）に対応し得る。他の点は草原に対応し得る。

本発明による方法及び装置の更に他の実施例においては、階層構造で選択が実行される。

実際の分類手順に先立ち、例えば輝度値、動きベクトル、勾配、テクスチャ、斯かる基準のいずれかの組み合わせの、いずれに基づいて分類が実行されるべきか、といった、選択のための最も適した形態の、最初の粗い分類が実行される。最初の階層的決定が為されると、選択手順が実行される。

該階層的決定は、ファイルのいずれかの部分について、画像について、画像の一部について、画像のシーケンスについて、為されても良い。また、選択基準は、画像データのタイプに依存しても良く、例えばフレームのタイプに依存しても良い。

図１４は、種々のとり得る選択方法が選択された、階層構造を模式的に示す。

入力される画像又は画像の一部のデータは、最初にステップ１１０において、前選択器１１０においてエッジフィルタを掛けられる。該前選択において、パターンが主にエッジキャラクタであるか主にテクスチャであるかの決定が為される。

該画像又は画像の一部が主にエッジキャラクタを持つことを解析が示した場合には、データは最終選択器１１１に送信され、最終選択器１１１において、勾配ｅｘ、ｅｙに基づいて、クラスタ選択及び該クラスタのための制御パラメータのセットの決定が実行される（図１１及び１２を参照）。パターンが主にテクスチャであることを解析が示した場合には、データは最終選択器１１２に送信され、最終選択器１１２において、テクスチャパラメータに基づいて、クラスタ選択及び該クラスタのための制御パラメータのセットの決定が実行される。

図１５ａ乃至１５ｃは、本発明の更に他の実施例を示す。

多くの圧縮手法において、圧縮はブロックベースである。伸張において、ブロックエッジ誤りが生じ得、即ちブロックのエッジが可視となり得る。画像のパーティショニング及びブロックベースの処理は、ブロック化アーティファクトとして知られる誤りに導く。これらのブロック化アーティファクトは、特に低いビットレートにおいて、知覚される画質を劣化させる。非ブロック化フィルタを用いることが、斯かるブロック化誤りを低減する。規格Ｈ．２６４においては、デコーダにおいて非ブロック化フィルタを適用し、デコーダ側でエッジ条件に基づいて分類が実行されることが知られている。該分類は、幾つかのとり得る標準的な所定のブロック化フィルタから１つを選択するために利用される。種々のフィルタ自体が固定化され、デコーダ側におけるフィルタの選択は、エンコーダからの副情報なしに実行されることができる。

図１５ａは、本発明の一実施例を示す。エンコーダ側において、入力信号１５０が圧縮器１５２において圧縮され、圧縮された信号１５１を供給する。該圧縮された信号は、伸張器１５４において伸張される。伸張の後、ブロック中の位置、エッジステップサイズ、及び隣接するブロックの符号化方法のような特徴に基づいて、Ｃ個のクラスタが形成される。これらクラスタのそれぞれについて、ブロック内の位置に依存して、適応フィルタパラメータＦ（Ｃ）を用いる適応フィルタが識別され、該フィルタパラメータＦ（Ｃ）を用いた適応フィルタが利用される。非ブロック化フィルタの出力は、圧縮−伸張−フィルタリングされた画像を元の画像と比較する比較器１５４へと供給される。該比較器は、誤差信号Ｅを供給する。分類（Ｃ）及び種々のクラスについてのフィルタパラメータＦ（Ｃ）は、誤差Ｅを最小化するように適応される。該非ブロック化フィルタは、ループ内で用いられてもループ外で用いられても良く、図１５Ａは該フィルタをループ外で、即ち伸張の完了の後に用いる例を示している。該非ブロック化フィルタは、ループ内で用いられても良い。

図１５ｂ及び１５ｃは、デコーダ側における本発明を説明する。

ＶＬＤは可変長デコーダを意味し、ＩＱは逆量子化を意味し、ＩＤＣＴは逆ＤＣＴを示し、ＤＦは非ブロック化フィルタを意味し、ＭＣは動き補償を表す。フィルタ動作は、データＣ（分類）及びＦ（Ｃ）即ち種々のクラスについてのフィルタパラメータのセットにより支配される。図１５ｂにおいては、処理回路が、非ブロック化フィルタＤＦをループ外で適用するように構成され、図１５ｃにおいては、非ブロック化フィルタＤＦがループ内で適用される。

本実施例の単純な形態は、既知の非ブロック化フィルタと同一の、フィルタを選択するための基準を利用するが、固定フィルタを、適応パラメータを用いるフィルタにより置き換える。この単純な形態においては、デコーダ側における既知の分類決定因子は単純に標準的なものであるが、フィルタパラメータは適応型のものである。

選択手順は例えば、境界強度パラメータを、各４×４輝度サブブロックのエッジに割り当てることにより開始する。該境界強度は、各サブブロック及びその隣接するブロックのモード及び符号化条件（例えば内符号か外符号か、符号化された残余か否か、動きベクトルのサイズ）により専ら決定され、ブロック化アーティファクトにより引き起こされる見込みが高いエッジに対する強いフィルタリングと、ブロック化により影響を受け得るエッジに対する通常のフィルタリングと、コンテンツに関連する見込みが高いエッジに対してフィルタリングを行わないことと、の間で最初の決定を為す。この初期細分割の後、エッジのアクティビティ（即ちエッジの両側における画素値間の絶対差に対する不均衡条件）が、フィルタを適用するか否かを決定する。図１６は、サブブロックエッジＢＥに隣接する画素ｐ_０及びｑ_０が通常のフィルタリングモードでフィルタリングされるか否かを決定するために利用される条件の例を示す。画素ｑ_０は、条件（１）且つ（２）が満たされる場合にのみフィルタリングされる。同様に、ｐ_０は、（１）且つ（３）が満たされる場合にのみフィルタリングされる。既知の方法においては、非ブロック化フィルタからの固定フィルタのセットが選択することができ、これらフィルタは全て同一の構造を持つ。これらフィルタは有限インパルス応答（ＦＩＲ）型の１次元フィルタであり、フィルタリングされる画素に対して最大で２個のタップの変位を持つ。ブロックエッジに対して異なる距離を持つ画素に対しては、異なる固定フィルタが適用される。エッジから更に遠い画素は、ブロック化アーティファクトにより影響を受ける見込みが小さく、それ故より弱いフィルタリングを受ける。このようにして、非ブロック化フィルタは、ブロック変換における相対位置を用いて、統計における変化を非常に基本的な方法で考慮に入れる。フィルタリングは、マクロブロックレベルでその場で実行され、最初に垂直方向のエッジの水平方向のフィルタリングを伴い、水平方向のエッジの垂直方向のフィルタリングに後続される。

どのフィルタを適用するかを決定する手順は分類処理とみなされ得、付加的な情報の必要なくデコーダ側で実行され得る。このことは、分類についての情報が送信される必要がなく、デコーダ側において既知の分類方式が利用され得るという利点を持つ。本発明の手法は要約すると、デコーダ側においてのみ標準的な固定フィルタを用いる代わりに、標準的なフィルタを適応フィルタにより置き換えて、各クラスについてパラメータの最適なセットを確立することである。デコーダ側における分類のための計算要件は変化せず、このことは有利である。

単純な実施例においては、デコーダ側における既知の決定因子は単純にコピーされるが、フィルタパラメータは適応型のものであり、より高度な実施例においては、例えば条件１且つ２を適応型にすることにより、クラス選択のための決定因子もが適応型とされる。

一実施例においては、本方法は、２段階の手順で実装される。第１の段階において、本アルゴリズムは、全てのマクロブロックを処理し、どのタイプのフィルタが各画素に適用されるべきかを決定する。

次の段階において、特定のフィルタにより影響を受ける全ての画素が収集され、最適なフィルタ係数がＭＳＥ（二乗平均誤差）の意味で推定される。この処理は、全てのフィルタについて繰り返される。しかしながら、フィルタリングはその場で実行されるため、好適には基準フレームがその間に更新される。即ち、画素のクラスについてのフィルタの係数が計算されるたびに、フィルタが現在の基準フレームに対して適用され、その後に、次のフィルタについての係数を決定する。

場面適応フィルタがループ内で動作させられる場合には、エンコーダ側とデコーダ側とで、フィルタリング処理の順序が合致することが重要である。一実施例においては、このことは、フィルタを適用する順序を固定することにより達成される。斯かる実装に対する単純な拡張は、エンコーダ側で最適なフィルタリング順序を決定し、ストリームによりフィルタ順序を通知することであり、このとき出力１５７はＦ（Ｃ）、即ちフィルタリング係数及びＳ（Ｆ）即ちフィルタが適用されるべき順序となる。その場でのフィルタリングであるため、フィルタリング動作は交換されず、フィルタリングの順序を変更することは性能を改善しない。ループ内動作の結果としての非線形性を回避するため、最適なフィルタ係数が、フレーム毎に推定される。

ループ内動作の結果としての非線形性を回避するため、最適なフィルタ係数が、フレーム毎に推定される。等価なポストフィルタのループ内動作に比べて、このことは１乃至１．５％の更なるビットレート削減に導く。このことは、フィルタが最終的な画像を改善するのみならず、基準画像をも改善して動き補償のための高い品質を提供するという事実により説明される。ループ内のフィルタリングの他の利点は、ポストフィルタリングが通常任意のものでありながらも、一定のレベルの性能を保証する点である。エッジタイプ及び選択された符号化モードの両方に基づいて固定係数を用いた予め定義されたフィルタのセットから選択を為す非ブロック化アルゴリズムに比べて、これらフィルタのそれぞれに関連する最適係数を推定し、ビデオストリームと共にこれら係数を通知することによる非ブロック化の性能は、５乃至１０％のオーダーであることが分かった。図１７は、ListらによりIEEE transaction on Circuits and Systems for Video Technology 13(7):614-619において提案された分類アルゴリズムを用いる標準的な分類方法を利用する規格Ｈ．２６４の固定ブロック化フィルタに比べた、適応型のアクティブフィルタを利用したビットレートの低減の測定を示す。曲線Ｃ及びＤは、固定されたIndexA及びIndexB（図１６を参照）のそれぞれの選択に関連する。本発明の利点は明らかであり、固定フィルタの代わりに適応型のフィルタ係数を利用することが、ビットレートのかなりの低減に導く。

以上に述べられたように、フィルタが適用される順序を最適化することにより、更なる改善が得られ得る。

分類の適応型の最適化により、例えば適応アクティブフィルタの分類がブロック変換における相対位置に依存するようにすることにより、更なる改善が得られる。図１７は、標準的な固定非ブロック化フィルタの分類基準が本発明のために最適化されず単にコピーされた、一実施例についての結果を示す。ビットレートの削減における非常に著しい効果は、分類及び／又はフィルタ選択基準の更なる最適化による改善の余地が依然としてあることを示唆している。

ブロックベースの分類の以上の実施例は、分類及び／又はフィルタリングが位置（本例においてはブロック内の位置）に依存するのものとされる、より大きな実施例の群のうちの一例である。

前記実施例の群のなかの他の例は、以下のとおりである：
−画像内の位置に依存して分類を実行する。例えば、より多くのクラスが利用され及び／又はより複雑なフィルタが利用される中心領域に比べて、境界の近くにおいては、異なる数のクラス、及び適応フィルタの異なる、より単純なセットが利用される。このことは、送信されるべきデータに対して安全である。
−分類をオブジェクト依存のものとする。例えば、空の領域はより複雑でないフィルタを利用する。一実施例においては、フィルタは、顔のセグメント化された領域（例えば顔の境界における影領域の近く）においてどれだけ中央に位置しているかに対して適応される。又は、草原又はレンガ状パターンにおいては、鮮明化されるべき草原領域全体のなかで、草の葉の先端（更なる鮮明化を必要とし得る）と内部とで異なるフィルタが適用される（更に、デコーダが、例えばレンガ内部からレンガセグメントの端部を再推定することが可能であっても良い）。

全ての実施例において、分類（以上においてクラスタリングとも呼ばれる）がデータに対して実行され、適応フィルタ又はより一般的には後処理が各クラスについて生成され、フィルタ又はより一般的には後処理のパラメータが、エンコーダ側において、変更され、データの対応するクラスに適用され、手順に対して最適化され、元の画像と比較すると、クラスの対応する１つにおける位置についての（圧縮）アーティファクトの低減のものとして、低い又は最小の歪み又はより一般的には品質の尺度における最適値又は増大が得られる。

デコーダは、エンコーダ側で利用される分類を再生成するための情報（暗黙的なものか又は明示的なもの）を与えられ、クラスタ又はクラスのためのフィルタについてのパラメータがデコーダに伝送され、デコーダにおいて利用される。説明されたように、種々の概念（値、エッジ、動き、パターン、位置、及びこれらの概念の組み合わせ）に基づいて、多数の経路が分類のために辿られ得る。分類のための基礎の更に他の例は、局所的な領域についての圧縮の選択に依存して分類を実行することである。ここでもまた、デコーダ側は、どの量子化が利用されたか、ブロックの動きは何か（更には生じ得る予測誤差又は低減された誤差可視性）等といった因子を知っており、またフィルタは、これらのパラメータに依存して異なるものであっても良い（例えば高い量子化に対しては、より非ブロック化に向けてバイアス／最適化され、鮮明化に向けてあまりバイアス／最適化されていないフィルタを用いる）。

更なる実施例は、図１８に示されている。図１８は、画素の周囲の２つのウィンドウＩ及びＩＩを模式的に示す。ウィンドウは特定のパターンを示す。ウィンドウＩＩは、反転されたウィンドウＩと等しいものとみなされる。換言すれば、２つのウィンドウを比較すると、これら２つのウィンドウ間には或るタイプの対称性がある。

本発明のこれらの実施例においては、対称性規則が有利に利用される。

分類ベースのポストフィルタリングの枠組においては、分類はしばしば、画素が該画素の周囲のｎ×ｎウィンドウのようなウィンドウ及び該ウィンドウ内の平均を用いて分類される、自己クラスタリング戦略に基づく。該戦略は、いずれの数のクラスが予め規定されても良いため、非常に柔軟な分類方法である。しかしながら、多くの用途において、帯域幅及び／又は記憶容量の制約のために、利用されることができるクラスの総数が限られる。限られた数のクラスのなかでは、１つ（又はそれ以上）のフレームに生じる局所的な画像パターンの大きな変動を捕捉することは、非常に困難である。この大きな変動を低減するための一方法は、分類及び実際のフィルタリングの前に、画素の周囲のウィンドウを、該ウィンドウの方向に対して正規化することである。これらウィンドウはこのとき１つのクラスを形成し、同一のフィルタを用いてポストフィルタリングされても良い。このようにして、同じ数のクラスが、より多くの種類の画像パターンを表すことができる。回転に加えて、シフト及びミラーリングのような、他のタイプの幾何学的正規化も考えられ得る。

図１９は、９０、１８０又は２７０度の回転を除けば実際には等価である幾つかのパターンを示す。

図２０は、互いの反転されたバージョンである同一の又は類似するパターンを示し、図２１は、互いのシフトされたバージョンであるパターンを示す。本発明が基とする洞察は、分類及び実際のフィルタリングの前に、ウィンドウを該ウィンドウの方向に対して正規化することにより、種々の対称性がこの大きな変動を低減するために利用されるというものである。これらウィンドウはこのとき１つのクラスを形成し、同一のフィルタを用いてポストフィルタリングされても良い。このようにして、同じ数のクラスで、より多くの種類の画像パターンを表すことができる。回転に加えて、図１９におけるように、シフト（図２１）及びミラーリング（図２０）のような、他のタイプの幾何学的正規化も考えられ得る。

斯かる実施例においては、パラメータ推定器は、分類に対して対称性操作を実行するように構成される。

以下、より少ないクラスに帰着する幾何学的に不変な分類をどのように生成できるかを説明するための例を示す。本説明は、以上に説明されたように画素の周囲のｎ×ｎウィンドウを用いたクラスタリング、及び二乗の和を最小化する分類という状況におけるものである。しかしながら、他のタイプの分類方法についても、同様の論理が適用され得ることは、容易に理解され得る。

手順の一例は、以下のとおりである。

ステップ１：圧縮されたフレームからウィンドウのサンプルを収集する。

ステップ２：各ウィンドウサンプルｘについて、３つの回転パターン、４つのミラーリングパターン及びシフトパターンに対応する、変換されたバージョンｘｉを導出する（ａは開口サイズである）。開口サイズａ＝５と仮定すると、このことは、全体でＮ＝３＋４＋８＝１５個の付加的な変換されたパターンが生成される必要があることを意味する。

ステップ３：クラスタリングアルゴリズムにおいて利用される距離メトリックを拡張する。所与のサンプルｘとクラスタ中心ｙとの間の距離が算出されるべき場合には、それぞれのサンプルの変換されたバージョンｘとｙとの間の距離を算出し、次いで最小の距離を選択する。

ステップ４：以上に説明されたような修正ｋ平均法アルゴリズムの結果として、幾何学的に不変なパターンに対して最適である（ＭＳＥの意味で）幾つかのクラスタ（クラス）中心を得る。しかしながら、フィルタ生成の間、クラスタ中心に対する最小の距離に帰着する各サンプルｘの変換されたバージョンが、フィルタ係数を最適化するために利用されることとなる。

導出されたクラスタ（クラス）中心及び対応するフィルタ係数は、後処理のためにデコーダ側へと送信される。デコーダ側において、各画素位置について、分類のための基本的な特徴ベクトルを用いることに加え、幾つかの変数が生成される必要がある（ステップ２におけるように）。ここで該変数のそれぞれは、全ての変数及びクラスタ中心のなかから最小の距離を導出するために、クラスタ（クラス）中心と比較される必要がある。次いで対応するフィルタ係数が選択され、選択された変換された変数に適用される。フィルタリングされた結果は、デコードされたフレームに対して適用されるために、変換されて戻される必要があることに留意されたい。

以上の例は、距離を最小化することを利用することの例に基づいたものであるが、例えば図１１及び１２に模式的に示されたような勾配ベースの分類戦略へと容易に拡張され得る。この場合には、ステップ２の後に、各変換されたパターンの候補について、対応する勾配ベースの特徴ベクトルが算出され、その後にクラスタリングのために利用される必要がある。

提案された方法は、ループ内のフィルタリングにも適用され得ることは、留意されたい。実験結果が見出された。

以上に説明された実施例が、ＳＤ解像度シーケンスを用い、２８乃至３４に設定された量子化パラメータＱＰを用いたＨ．２６４基準ソフトウェア及び実験において実装された。ループ内フィルタリングに対する付加的な特徴の選択肢として、幾何学的に不変なフィルタリングが実装された。各フレームについてＰＳＮＲ利得が測定され、幾何学的な不変性を用いない場合に比べて（同じ数のクラスで）、殆どのフレームについて、０．０３ｄＢ乃至０．０６ｄＢの利得が観測された。幾つかのフレームについては、０．１ｄＢもの改善が達成された。幾何学的な不変性を加えることは付加的なビットレートの増大を必要としないため、幾何学的な不変性は、既存のループ内フィルタリングに対する付加的な拡張を支障なく提供する。

また、実験において、幾つかのフレームについては、幾何学的に不変なフィルタリングの選択肢を可能とすることが、ＰＳＮＲに対して負の効果を与え得ることを認識した。このことはフレーム中のパターンの多様性の欠如の結果であり得、幾何学的な不変性を用いることが品質に有利に寄与しない可能性がある。しかしながら、分類及びループ内フィルタリングはエンコーダ側で実行されるため、斯かる負の改善が生じた場合には、現在のフレームについての幾何学的な不変性の使用をディスエーブルにするようにエンコーダが決定しても良い。このことは、幾何学的な不変性が利用されるか否かを示す付加的な１つの「信号ビット」が、各フレームについて送信される必要があることを意味する。全体のビットレートに比べて、該ビットは明らかに無視できるオーバヘッドであり、平均の改善度は増大する。

全ての変換モード（例えば３つの回転モード、４つのミラーリングモード、及び幾つかのシフトモード）をスイッチオンすることは、ＰＳＮＲに関して最適な性能をもたらさない場合がある。例えばシーケンスHelicopterについては、平均して２つのミラーリングモード（垂直及び水平方向の反転）及びシフトモードが最良の性能をもたらすことを見出した。しかしながら、或るモードをスイッチオンし、他のものをディスエーブルにすることは、シーケンス依存の決定となり得る。斯かる微調整は、幾何学的な不変性を利用するか否かと等価である。

対称性不変変換（反転、シフト、回転）は、パターン不変変換という大きなクラスのサブクラスである。

他の単純なパターン不変動作は、スケーリングである。

変換の下で一定の不変性を示すパターンの他の例は、図２２ａ乃至２２ｃに示されている。

例Ａ：正確ではないが類似した芋虫型の構造。「正確には回転ではない」変換が例えば以下のように実行され得る：ブロック中の画素を暗いものと明るいもの（例えばブロックの平均を超えるもの）とに分類し、類似度をテストするために「鎖配向符号」を利用する。例えば、方向の変化が、同じコンパス方向におけるものであり、画素の方向付けられた列（２対３画素の開始セグメント）のそれぞれについて１画素よりも大きく長さが異なっていない場合には、パターンが類似しているとみなされ、類似するフィルタ（例えば特定の不鮮明カーネルサイズ）を用いて対処される。

例Ｂ：エッジの（グレイ値の）高さをも正規化しても良い（幾つかのフィルタの場合（例えばフィルタがエッジ強度変化を実装する）には、エッジの高さに対してもフィルタを適応させることが賢明となり得るが、これらの場合においては、例えばエッジステップの高さを幾つかのサブクラス（強い、中くらい、小さなエッジ）に分類しても良い）。

例Ｃは、例えば（疑似）周期的なテクスチャを処理ために利用され得る、他の例を与える（例えば、グレイ値を上部に保持しつつ谷を深くする（例えば草の葉の間の暗い領域を深くしても良い）非線形関数を用いる）。

パターンは、特定の高さｈ（最も明るい画素のグレイ値／輝度値／色値（例えば２４０）から最も暗いもの（例えば１０）を減算したもの）及びスロープ：アルファ（頂点間距離Ｄに帰着する）の正弦格子として例示的にモデル化され（該パターンは内在するデータにフィッティングされても良い）、該パターンはブロック中に特定の空間的な方向ベータを持つ（ここでは象徴的に４５度として示されるが、１つの空間次元しか持たないため、グレイ値の断面グラフにおいて同時に示されることができない）。

大きく異ならない値アルファ、ｈ、Ｄを持つ全てのパターンはこのとき、同じテクスチャクラスに分類され得、又はここでもまた、幾つかのサブクラスがとり得る値の範囲と共に作成され（線形に又は非線形に）、次いでパラメータ化されたフィルタがｆ（ｈ，アルファ）により学習させられる。このことは例えば、異なる（ｈ，アルファ）範囲のクラスに亘ってフィルタ係数がどのように異なるかをチェックし、多項式によりモデル化することにより為されても良い。

図２３は、本発明による画像定義信号を模式的に示す。該画像定義信号は、画像の内容を定義する画像情報（本例においては圧縮されたデータＣＤ）と、画像中のそれぞれの位置において前記内容を後処理するための画像処理回路の制御パラメータを定義する複数の制御パラメータセット（本例においてはクラス定義パラメータＣ）と、例えばフィルタ係数のセットのような、各クラスについてのパラメータのセットＦ（Ｃ）と、を有する。

該クラス定義パラメータは、クラスを定義するために選択された経路に依存する種々の形態を持ち得る。該クラス定義パラメータは、クラスが定義される方法（値、エッジ、パターン、ブロックベース、動きベクトル等のいずれによってか）を定義しても良いし、又は、クラスタ中心（図１２を参照）を直接に定義するパラメータを持っても良い。幾つかの実施例においては、該クラス定義パラメータは、例えばエンコーダ及びデコーダにおいてクラスを定義するために固定の方法が利用される場合には、存在しなくとも良い。

各セットについてのパラメータのセットは、フィルタ係数であっても良い。該パラメータセットは、例えば各パラメータの正確な値のように、絶対的な方法で定義されても良いし、又は、例えば以前の値に比べたパラメータのセット内のパラメータの変化のように、相対的な方法で定義されても良い。

実施例において、画像定義信号は、それぞれが別個の分類及びクラスについてのパラメータのセットを持つ、種々の別個の動作についての情報を有しても良い。例えば、ループ内の非ブロック化動作は、デコードループの後の画像における勾配ベースのクラスタリングに基づく更なる処理によって後続されても良い。２つの上述した処理ステップのそれぞれについて、分類及び種々のクラスについての係数のセットについての情報が、画像定義信号中に存在しても良い。分類のそれぞれは異なる原則に基づくものであり、係数も異なり、従って前記情報も異なる。

クラス定義データ及びパラメータのセットは、例えばヘッダとして、フラグによって、又は別個の信号として、のように、いずれの適切な方法で提供されても良い。

本発明は、請求項に記載される。ここで利用される「有する（comprising）」なる語は他の要素又はステップを除外するものではなく、「１つの（ａ又はan）」は複数を除外するものではなく、単一のプロセッサ又はその他のユニットが、請求項に記載された幾つかの手段の機能を実行しても良い。「回路（circuit）」なる語が利用される場合には、該回路の機能を実行するようにプログラムされたプログラム可能な回路を包含する。請求項における参照記号は、請求の範囲を限定するものとして解釈されるべきではない。

要約すると、本発明は以下のように説明される：
画像圧縮及び伸張における使用のため、画素のクラスタが定義される。該クラスタを定義するために利用される画像情報は、画素に対する所定の位置における画素値、又は関連する動きベクトル、勾配、テクスチャ等を含み得る。画像の圧縮の間、画素に関連する画像情報が検査され、どのクラスタに属するかが決定される。かくして画素が、該画素の画像情報についてのクラスタに従って分類されることができる。一実施例においては、クラスタの定義は、画像の内容に依存して、動的に選択される。各クラスタについて、フィルタリングのためのフィルタ係数、又は局所的にテクスチャを生成するための統計データのような、後処理動作のための制御パラメータセットが計算される。制御パラメータセットは、画像の内容に依存して選択され、それにより、伸張の後に画像に対して後処理動作が適用されるときに、当該クラスタに属するものとして分類された画素についての画質を改善する。圧縮された画像及び制御パラメータセットは、伸張装置へと送信される。伸張時には、伸張された画像を表す画像情報が検査され、クラスタに従って画素を分類し、選択されたクラスタについての種々の制御パラメータセットが、該画素の位置における後処理を制御するために利用される。

Claims (46)

1. 伸張装置であって、
   画像の内容を定義する画像情報、及び複数の制御パラメータのセットを受信するための入力部と、
   前記受信された複数の制御パラメータのセットを保存するためのメモリと、
   前記画像情報を少なくとも部分的に伸張するように構成された伸張器と、
   前記画像中の複数の画素のそれぞれについて前記画素を分類し、前記画素についての前記分類に依存して、前記受信された複数の制御パラメータのセットのうちの１つを選択するように構成された選択器と、
   前記画像中の画素に対する後処理を制御するために、前記分類された画素についての前記制御パラメータのセットのうちの前記メモリから前記選択された１つを用いて、前記少なくとも部分的に伸張された画像情報を後処理するように構成された画像処理回路と、
   を有する伸張装置。
2. 前記画像情報と前記制御パラメータのセットとを入力信号から多重分離するように構成された多重分離器を有する、請求項１に記載の伸張装置。
3. 前記多重分離器は、画像のシーケンスを定義する画像情報を前記入力信号から多重分離するように構成され、前記選択器は、前記シーケンス中の複数の画像のそれぞれについて同一の分類パラメータを用いて、同一の複数の制御パラメータのセットから選択するように構成された、請求項２に記載の伸張装置。
4. 前記画像処理回路はフィルタを有し、前記制御パラメータのセットは前記フィルタによる使用のためのフィルタ係数を有する、請求項１に記載の伸張装置。
5. 前記フィルタは非ブロック化フィルタである、請求項４に記載の伸張装置。
6. 前記処理回路は、前記非ブロック化フィルタをループ内で適用するように実装された、請求項５に記載の伸張装置。
7. 前記処理回路は、前記非ブロック化フィルタをループ外で適用するように実装された、請求項５に記載の伸張装置。
8. 前記伸張器は逆解像度スケーラを有し、前記画像処理回路は、前記制御パラメータのセットにより定義されたフィルタ係数を用いて、解像度アップスケーリングフィルタリングを実行するように構成された、請求項４に記載の伸張装置。
9. 前記フィルタはサブフィルタの連続した構成を有し、前記制御パラメータのセットはそれぞれの前記サブフィルタについてのフィルタ係数を有する、請求項４に記載の伸張装置。
10. 前記画像処理回路は、前記制御パラメータのセットにより定義された統計的特性を持つランダム的な又は疑似ランダム的な信号を生成するように構成されたランダム又は疑似ランダム信号生成器を有する、請求項１に記載の伸張装置。
11. 予測的に圧縮された画像の伸張における使用のための基準画像を保存するための基準メモリを有し、前記基準メモリは、前記基準画像としての使用のため後処理された画像を保存するための、画像処理器の出力部に結合された入力部を持つ、請求項１に記載の伸張装置。
12. 前記多重分離器は、クラス定義データを前記入力信号から多重分離するように構成され、前記選択器は、前記クラス定義データにより定義されるクラスに前記内容を分類するように構成された、請求項２に記載の伸張装置。
13. 前記選択器は、それぞれの前記画素に対する所定の相対位置において、前記画像中の画素値を有するベクトルを分類することにより、前記画像中の複数の画素を分類し、前記ベクトルについての分類に依存して、前記受信された複数の制御パラメータのセットの１つを選択するように構成された、請求項１に記載の伸張装置。
14. 前記選択器は、それぞれの前記画素に対する所定の相対位置において、前記画像中の領域におけるビデオストリーム中の前記画像と隣接する画像との間の動きを特徴付ける動きベクトルを有するベクトルを分類することにより、前記画像中の複数の画素を分類し、前記ベクトルについての分類に依存して、前記受信された複数の制御パラメータのセットの１つを選択するように構成された、請求項１に記載の伸張装置。
15. 前記選択器は、前記画素に対するそれぞれのウィンドウにおいて、前記画像のテクスチャ内容を分類することにより、前記画像中の複数の画素を分類し、前記テクスチャについての分類に依存して、前記受信された複数の制御パラメータのセットの１つを選択するように構成された、請求項１に記載の伸張装置。
16. 前記選択器は、水平方向の勾配値及び／又は垂直方向の勾配値に基づく分類により、前記画像中の複数の画素を分類し、前記水平方向及び／又は垂直方向の勾配の分類に依存して、前記受信された複数の制御パラメータのセットの１つを選択するように構成された、請求項１に記載の伸張装置。
17. 圧縮がブロックベースであり、前記選択器は、ブロック内の位置及びエッジアクティビティに対する分類によって、前記画像中の複数の画素位置を分類し、前記ブロック内の位置及びエッジアクティビティの分類に依存して、前記受信された複数の制御パラメータのセットの１つを選択するように構成された、請求項１に記載の伸張装置。
18. 圧縮装置であって、
    入力画像を定義する入力信号を受信するための画像入力部と、
    前記画像入力部に結合された圧縮器入力部、及び圧縮器出力部を持つ、前記画像を少なくとも部分的に圧縮するための入力信号圧縮器と、
    前記画像入力部に結合された入力部を持ち、画素に対するそれぞれのウィンドウ中の前記画像の内容に基づいて前記画像中の前記画素をそれぞれのクラスに分類し、前記圧縮された画像と前記入力画像との間の比較に基づいて、それぞれが前記クラスの対応する１つについてのものである複数の制御パラメータのセットを計算するように構成されたパラメータ推定器と、
    を有し、ここで前記複数の制御パラメータのセットは、前記クラスの対応する１つにおける画素についての圧縮アーティファクトを低減するための後処理動作を定義するものである、圧縮装置。
19. 前記制御パラメータのセットと、前記圧縮器出力部からの圧縮された入力信号とを、多重化された出力信号へと多重化するように構成された多重化器を有する、請求項１８に記載の圧縮装置。
20. 前記パラメータ推定器は、前記入力画像の内容に依存して、前記クラスの定義を選択するように構成された、請求項１８に記載の圧縮装置。
21. 前記クラスの定義は、相対的な画素位置の構成における伸張された画像内容を有するクラスタベクトルを有する、請求項１８に記載の圧縮装置。
22. 前記クラスの定義は、相対的な画素位置の構成についての動きベクトルを有するクラスタベクトルを有する、請求項１８に記載の圧縮装置。
23. 前記クラスの定義は、相対的な画素位置の構成についての水平方向の勾配値及び／又は垂直方向の勾配値を有する、請求項１８に記載の圧縮装置。
24. 前記クラスの定義は、ブロック内の位置及びエッジアクティビティを有し、前記パラメータのセットは、非ブロック化フィルタパラメータのセットである、請求項１８に記載の圧縮装置。
25. 前記パラメータ推定器は、前記分類に対して対称性操作を実行するように構成された、請求項１８に記載の圧縮装置。
26. 前記入力画像を有するビデオシーケンスを圧縮するように構成され、前記パラメータ推定器は、前記ビデオシーケンスからの複数の入力画像に共通して、前記複数の制御パラメータのセットを計算するように構成された、請求項１８に記載の圧縮装置。
27. 前記圧縮器出力部から前記圧縮された画像信号を受信するように構成された伸張器を有し、前記パラメータ推定器は、伸張された画像信号を受信するための、前記伸張器に結合された更なる入力部を持ち、前記パラメータ推定器は、前記入力画像と前記伸張された画像信号により定義される伸張された画像との間の差に依存して前記パラメータのセットを選択するように構成された、請求項１８に記載の圧縮装置。
28. 前記パラメータ推定器は、各画素について分類制御パラメータを選択するように構成され、ここで前記分類制御パラメータは、前記制御パラメータにより定義された前記クラスの対応する１つにおける画素における画像信号伸張器からの伸張された画像に対して後処理が適用されるときに、前記クラスの対応する１つにおける画素に亘って平均化された、前記入力画像と前記伸張された画像との間の差を低減するパラメータである、
    請求項２７に記載の圧縮装置。
29. 前記圧縮器により実行される圧縮は量子化を有する、請求項１８に記載の圧縮装置。
30. 前記圧縮器により実行される圧縮は解像度のダウンスケーリングを有する、請求項１８に記載の圧縮装置。
31. 前記パラメータ推定器は、フィルタ係数のセットを推定するように構成され、ここで前記フィルタ係数のセットは、前記制御パラメータにより定義された前記クラスの対応する１つにおける画素における画像信号伸張器からの伸張された画像のフィルタリングのためのフィルタにおいて利用されるときに、前記クラスの対応する１つにおける画素に亘って平均化された、前記入力画像と前記伸張された画像との間の差を低減するセットである、請求項１８に記載の圧縮装置。
32. 前記フィルタ係数のセットは非ブロック化フィルタ係数である、請求項３１に記載の圧縮装置。
33. 前記フィルタは複数のサブフィルタの連続した構成を有し、フィルタ係数のセットが、前記サブフィルタのそれぞれについてのフィルタ係数を有する、請求項１８に記載の圧縮装置。
34. 前記パラメータ推定器は、複数の前記クラスに共通して、前記サブフィルタの少なくとも１つについての前記フィルタ係数のセットを推定するように構成された、請求項３３に記載の圧縮装置。
35. 前記パラメータ推定器は、前記クラス内の前記圧縮された信号と前記入力画像との間の差の広がりを示す統計的特性を推定し、前記統計的特性を前記制御パラメータのセットで表すように構成された、請求項１８に記載の圧縮装置。
36. 基準画像を保存するための基準メモリを有し、前記圧縮器は、前記基準画像に対する参照によって更なる画像を表すように構成された、前記基準メモリは、前記基準画像として利用するための後処理された画像を保存するため、画像処理器の出力部に結合された入力部を持つ、請求項１８に記載の圧縮装置。
37. 画像を伸張する方法であって、
    画像の内容を定義する画像情報、及び制御パラメータのセットを受信するステップと、
    複数の前記制御パラメータのセットを保存するステップと、
    前記画像情報を少なくとも部分的に伸張するステップと、
    前記画像中の複数の画素のそれぞれを分類するステップと、
    前記画素についての前記分類に依存して、前記複数の制御パラメータのセットのうちの１つを選択するステップと、
    前記画像中の画素に対する後処理を制御するために、前記画像中の前記画素についての前記受信された制御パラメータのセットのうちの前記メモリから前記選択された１つを用いて、前記少なくとも部分的に伸張された画像情報を後処理するステップと、
    を有する方法。
38. プログラム可能なコンピュータにより実行されるときに、前記プログラム可能なコンピュータに請求項３７に記載の方法を実行させる命令によるプログラムを有する、コンピュータプログラム。
39. 画像を圧縮する方法であって、
    入力画像を定義する入力信号を受信するステップと、
    前記入力信号を圧縮するステップと、
    画素に対するそれぞれのウィンドウ中の前記画像の内容に基づいて、前記画像中の前位置をそれぞれのクラスに分類するステップと、
    それぞれが前記クラスの対応する１つについてのものである複数の制御パラメータセットを計算するステップと、
    を有し、ここで前記複数の制御パラメータのセットは、前記クラスの対応する１つにおける画素についての圧縮アーティファクトを低減するための後処理動作を定義するものである方法。
40. プログラム可能なコンピュータにより実行されるときに、前記プログラム可能なコンピュータに請求項３９に記載の方法を実行させる命令によるプログラムを有する、コンピュータプログラム。
41. 画像の内容を定義する画像情報と、
    前記画像中のそれぞれの画素における前記内容を後処理するための画像処理回路の制御パラメータを定義する、複数の制御パラメータのセットと、
    を有する画像定義信号。
42. 前記画像中の画素のクラスを定義するためのクラス定義情報を有し、前記クラスのそれぞれが、前記制御パラメータのセットのそれぞれ１つに対応する、請求項４１に記載の画像定義信号。
43. 前記パラメータのセットはフィルタ係数のセットである、請求項４１に記載の画像定義信号。
44. 前記フィルタ係数のセットは非ブロック化フィルタ係数である、請求項４３に記載の画像定義信号。
45. 前記クラス定義情報は、ｘ勾配及びｙ勾配におけるクラスタ中心座標についての情報を有する、請求項４２に記載の画像定義信号。
46. 前記画像情報は、複数の画像の内容を定義し、前記複数の制御パラメータのセットのうち少なくとも１つが、それぞれの位置における前記複数の画像中の全ての画像を後処理するための画像処理回路のための制御パラメータを定義する、請求項４１に記載の画像定義信号。

Images