JP5700970B2 - 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法 - Google Patents

Description

本発明は画像符号化の分野に関する。より具体的には、本発明は、画像シーケンスを表す符号化データストリームの復号方法と、画像シーケンスの符号化方法とに関する。

図１を参照して、本技術分野では、ブロックに分割された画像のシーケンスを符号化データストリームＦに符号化する方法が知られている。ステップ２０において、カレントブロックＢｃに対して、予測ブロックＢｐｒｅｄを決定する。例えば、ブロックマッチング型の動き推定法により求めた動きデータにより予測ブロックＢｐｒｅｄを決定する。ブロックＢｐｒｅｄの決定は、カレントブロックＢｃが属する画像Ｉｃ以外の画像Ｉｒのブロックから（時間予測すなわちインターモード）、または同じ画像のブロックから（空間予測すなわちイントラモード）行われる。

ステップ２２において、カレントブロックＢｃから予測ブロックＢｐｒｅｄを抽出して、剰余ブロックＢｒｅｓを決定する。例えば、剰余ブロックＢｒｅｓは、カレントブロックＢｃと予測ブロックとの間の画素ごとの差である。

ステップ２６において、剰余ブロックＢｒｅｓを符号化する。一般的に、符号化ステップ２６は、実際に符号化データストリームＦに符号化する前に、剰余ブロックＢｒｅｓを係数ブロックに変換するステップと、次にこの係数ブロックを量子化係数ブロックに量子化するステップとを含む。剰余ブロックＢｒｅｓのＤＣＴ（離散余弦変換）等を用いた変換及び量子化の目的は、剰余ブロックのデータをコンパクトにすること、すなわち剰余ブロックのデータを少数の非ゼロ係数により表すことである。

変換・量子化した剰余ブロック、すなわち量子化係数ブロックを実際に符号化するステップは、量子化係数ブロックの係数の走査順序に従って量子化係数をエントロピー符号化するステップを含む。ジグザグスキャンとして知られる走査順序を図２に示す。

変換・量子化した剰余ブロックＢｒｅｓが十分コンパクトになっていない場合が多いので、かかる符号化方法が符号化コストの点から常に効率的であるとは言えない。そのため、変換・量子化した剰余ブロックＢｒｅｓを符号化するために、エントロピー符号化に多くのビット数が必要となる。

本発明の目的は、先行技術の少なくとも１つの欠点を解消することである。この目的のため、本発明は、ブロックに分割された画像のシーケンスを表す符号化データストリームの復号方法に関する。本復号方法は、カレントブロックについて、下記の段階を含む：
− 前記カレントブロックに関係する前記符号化データストリームの第１部分の復号から剰余データの剰余ブロックを再構成する段階と、
− 予測ブロックを決定する段階と、
− 前記剰余ブロックと前記予測ブロックとを結合して前記カレントブロックを再構成する段階。
本復号方法は、さらに、予測ブロックのコンテンツに基づいてカレントブロックの再構成の前に、剰余ブロックの剰余データを再編成する段階を含む。

一実施形態によると、剰余ブロックを再構成する段階は、次の段階を含む：
− 前記予測ブロックのコンテンツに基づき決定した復号係数ブロックの走査順序に応じて、符号化データストリームの前記第１部分を復号して復号係数ブロックを生成する段階と、
− 復号係数ブロックを逆量子化して逆量子化係数ブロックを生成する段階と、
− 前記逆量子化係数ブロックを変換して剰余ブロックを生成する段階。

本発明の特徴によると、走査順序は次の段階で決定される：
− 予測ブロックにハイパスフィルタを適用する段階と、
− 前記フィルタした予測ブロックのデータを、前記剰余ブロックの剰余データと同様に再編成する段階と、
− 前記フィルタして再編成した予測ブロックを変換して係数ブロックを生成する段階と、
− 前記係数を値の降順にスキャンするように走査順序を決定する段階。

本発明の一態様では、剰余ブロックの剰余データを再編成する段階は次の段階を含む：
− 少なくとも２つの空間的方向について、前記予測データの空間的変化量のエネルギーレベルを計算する段階と、
− 最低エネルギーレベルに対応する空間的方向に基づき剰余データの再編成を決定する段階。

本発明の一特徴によると、空間的変化量のエネルギーレベルは空間的方向ｄについて次式により計算する：
ここで、
− （ｉ，ｊ）はフィルタした予測ブロックＢｐｒｅｄの画素の座標を表し、
− ＊は畳み込み演算であり、
− ｜．｜は標準演算に対応し、
− Ｄ_ｄは空間的方向ｄにより決まる畳み込みマスクに対応する。

本発明の他の一特徴によると、前記剰余ブロックの剰余データを再編成する段階は、少なくとも２つの空間的方向で計算した空間的変化量のエネルギーレベルから追加的エネルギーレベルを計算する段階をさらに含む。

本発明は、ブロックに分割された画像のシーケンスの符号化方法にも関する。本符号化方法は、カレントブロックについて、下記の段階を含む：
− 前記カレントブロックの予測ブロックを決定する段階と、
− 前記カレントブロックから前記予測ブロックを抽出して、剰余データの剰余ブロックを決定する段階と、
− 剰余ブロックを符号化する段階。

本符号化方法は、予測ブロックのコンテンツに基づいて符号化する前に、剰余ブロックの剰余データを再編成する段階を含む。

一実施形態によると、剰余ブロックを符号化する段階は、次の段階を含む：
− 前記剰余ブロックを変換して係数ブロックを生成する段階と、
− 前記係数ブロックを量子化して量子化係数ブロックを生成する段階と、
− 前記予測ブロックのコンテンツに基づいて決定した前記量子化係数ブロックの走査順序により前記量子化係数を符号化する段階。

有利にも、走査順序は次の段階により決定する：
− 予測ブロックにハイパスフィルタを適用する段階と、
− 前記フィルタした予測ブロックのデータを、前記剰余ブロックの剰余データと同様に再編成する段階と、
− 前記フィルタして再編成した予測ブロックを変換して係数ブロックを生成する段階と、
− 前記係数を値の降順にスキャンするように走査順序を決定する段階。

添付した図面を参照して実施形態により本発明を説明する。
従来技術による符号化方法を示す図である。 従来技術によるブロックの走査順序を示す図である。 本発明による復号方法を示す図である。 本発明による復号方法の第１ステップを示す図である。 本発明による復号方法の第２ステップを示す図である。 異なる空間的方向を示す図である。 本発明による復号方法の第２ステップにおけるブロックの再構成を示す図である。 本発明による復号方法の第２ステップにおけるブロックの再構成の変形例を示す図である。 本発明による符号化方法を示す図である。 本発明による符号化方法の第１ステップを示す図である。 本発明により決めたブロックの走査順序を示す図である。 本発明により決めたブロックの走査順序を決定する方法を示す図である。 本発明による符号化装置を示す図である。 本発明による復号装置を示す図である。 本発明による復号方法の第２ステップにおける一空間方向におけるブロックの再構成を示す図である。

本発明は、画像シーケンスを表す符号化データのストリームＦの復号方法と、画像シーケンスの、符号化データのストリームＦへの符号化方法とに関する。画像のシーケンスは複数の一連の画像である。各画像は複数の画素すなわち画像ポイントよりなり、各画素は少なくとも１つの画像データを有する。画像データは、例えば輝度データまたはクロミナンスデータである。

「動きデータ」という用語は最も広い意味で使う。動きデータは、動きベクトルを含み、場合によっては画像シーケンスにおいて基準画像を識別する基準画像インデックスを含む。

「剰余データ」という用語は、他のデータを抽出した後に得られるデータを示す。この用語は「剰余」という用語と同義である。剰余ブロックは剰余データが関連付けられた画素のブロックである。

「変換剰余データ」との用語は、変換を適用済みの剰余データを示す。ＤＣＴ（離散余弦変換）はかかる変換の一例であり、Ｊ．ワイリー＆サンズ社２００３年９月に発行したＩ．Ｅ．リチャードソン著「Ｈ．２６４及びＭＰＥＧ−４ビデオ圧縮」の第３．４．２．２章に記載されている。Ｉ．Ｅ．リチャードソンの本の第３．４．２．３章に記載されたウェーブレット変換やアダマール変換はその他の例である。かかる変換は、剰余輝度データ及び剰余クロミナンスデータなどの画像データのブロックを、「変換データのブロック」に「変換」する。この「変換データのブロック」は「周波数データのブロック」または「係数のブロック」とも呼ぶ。

「予測データ」という用語は、他のデータを予測するために用いるデータを示す。予測ブロックは予測データが関連付けられた画素のブロックである。予測ブロックは、予測するブロックと同じ画像のブロックから得られるか（空間予測すなわち画像内予測）、または異なる画像の一ブロック（一方向予測）または複数のブロック（双方向予測）から得られる（時間予測すなわち画像間予測）。

図３は、ブロックに分割された画像のシーケンスを表す符号化データストリームＦの復号方法を示す。この方法を１つのカレントブロック（current block）Ｂｃへの適用について説明するが、１つの画像の複数のブロックに適用することも可能である。

ステップ１０において、カレントブロックＢｃに関係する、符号化データストリームＦの第１部分を復号して、剰余ブロックＢｒｅｓを再構成する。図４はステップ１０を示す。このステップ１０は、符号化データストリームＦの第１部分をエントロピー復号して、復号係数ブロックＢ_Ｑの走査順序にしたがって復号係数ブロックＢ_Ｑにするステップ１００を含む。またステップ１０は、復号係数のブロックＢ_Ｑを逆量子化して逆量子化係数のブロックＢ_Ｑｉｎｖにするステップ１０２と、逆量子化係数Ｂ_Ｑｉｎｖを逆変換して剰余ブロックＢｒｅｓを求めるステップ１０４とを含む。変形例では、ステップ１０は、復号係数を逆量子化して剰余ブロックＢｒｅｓを求めるステップ１０２のみを含んでいてもよい。

しかし、本発明は、剰余ブロックＢｒｅｓの再構成に用いる方法には限定されない。

一実施形態では、走査順序は一定であり、再構成するどの剰余ブロックＢｒｅｓでも同じである。走査順序は例えばビデオ符号化標準規格で決まっており、その場合には符号化方法と復号方法に応じて既知である。

一実施形態では、走査順序は、例えば、再構成する各剰余ブロックＢｒｅｓに関連する予測ブロックＢｐｒｅｄのコンテンツに応じて、再構成する各剰余ブロックＢｒｅｓに合わせる。実際、予測ブロックＢｐｒｅｄのデータと、剰余ブロックＢｒｅｓのデータとは構造的に似ている。

ステップ１２において、カレントブロックＢｃに対して、予測ブロックＢｐｒｅｄを決定する。例えば、カレントブロックＢｃに関係する、復号データストリームＦの第２部分の復号で得られる動きデータにより、予測ブロックＢｐｒｅｄを決定する。変形例では、テンプレート・マッチング（template matching）タイプの方法により、再構成した動きデータにより、予測ブロックＢｐｒｅｄを決定する。かかる方法は、中国の新センにおけるＩＴＵ−ＴのＶＣＥＧグループの第３３回会合において、２００７年１０月２０日に発行された、ステファンカンプ等著「復号器側における動きベクトルの導出」というタイトルの文書ＶＣＥＧ−ＡＧ１６に記載されている。

ステップ１４において、予測ブロックＢｐｒｅｄのコンテンツに応じて剰余ブロックＢｒｅｓを再編成（reorganise）する。より具体的には、剰余ブロックの剰余データを再編成する。

ステップ１６において、再編成した剰余ブロックＢｒｅｓと予測ブロックＢｐｒｅｄとを結合（merge）して、カレントブロックＢｃを再構成する。例えば、カレントブロックＢｃは、剰余ブロックＢｒｅｓと予測ブロックＢｐｒｅｄとの画素ごとの和である。

ここで、（ｉ，ｊ）は画素の座標である。

変形例では、カレントブロックＢｃは、次式のように、剰余をフィルタしたものと、予測ブロックとの和である：
ここでａ（．）とｂ（．）とは線形フィルタの係数である。（ｋ，ｌ）は、例えば−１から１まで変化する整数である。簡単な例として、ａ（）は次の値をとることができる：
ｂ（）は次の値をとることができる：
図５は、本発明による符号化方法のステップ１４を示す。ステップ１４は、少なくとも２つの空間的方向における空間的変化率（spatial gradients）のエネルギーレベルを計算するステップ１４０と、最低エネルギーレベルＥｍｉｎを決定するステップ１４２と、決定したエネルギーレベルＥｍｉｎに応じて剰余ブロックの剰余データを再編成するステップ１４４とを含む。

第１の実施形態では、ステップ１４０において、図６に示した８つの空間的方向の各々について、空間的変化率のエネルギーレベルを計算する。例えば、空間的変化率のエネルギーレベルを、予測ブロックＢｐｒｅｄに対して、畳み込みマスクにより計算する。一実施形態では、次の畳み込みマスクを用いて、図６に示した８つの空間的方向におけるエネルギーレベルを計算する。畳み込みマスクのインデックスは、その畳み込みマスクが関係する空間的方向のインデックスを表す：
予測ブロックＢｐｒｅｄを各畳み込みマスクでフィルタする。次に、空間的変化率のエネルギーレベルを次式により得られる各フィルタブロックＦ_ｄから計算する：
ここで、
− （ｉ，ｊ）はフィルタした予測ブロックＢｐｒｅｄの画素の座標を表し、
− ｄは異なる空間的方向に対応するインデックスであり、
− ＊は畳み込み演算であり、
− ｜．｜は所定の標準演算子（standard operator）であり、例えばＬ１標準では絶対値に対応し、Ｌ２標準では二乗エレベーション（square elevation）に対応し、
− Ｄ_ｄは空間的方向ｄにより決まるＰｒｅｗｉｔｔタイプの畳み込みマスクに対応する。
エネルギーレベルは輝度データだけで計算してもよいし、クロミナンスデータだけで計算してもよいし、輝度データとクロミナンスデータの両方で計算してもよい。

第１の変形例では、８つのエネルギーレベルＥ１−Ｅ８により、追加的エネルギーレベルＥ０を次式により計算する：
ここで、λは、テストしたすべての方向において空間的変化率のエネルギーレベルが顕著に一様であるときにエネルギーレベルＥ０が最小になるように決定した重み係数である。λの値としては０．１が好適である。

第２の変形例では、集合｛Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５，Ｅ６，Ｅ７，Ｅ８｝のうち少なくとも２つのエネルギーレベルの部分集合を計算する。例えば、エネルギーレベルＥ１，Ｅ２，Ｅ３，Ｅ４のみを計算する。

第２の変形例の一変形例では、上記部分集合のエネルギーレベルから追加的エネルギーレベルＥ０を計算する。例えば、エネルギーレベルＥ１，Ｅ２，Ｅ３，Ｅ４のみを計算した場合、追加的エネルギーレベルを次式で計算する：
好ましくは、λは、テストしたすべての方向においてエネルギーの変化率レベルが顕著に一様である場合にこのエネルギーレベルが最低になるように決定する。λの値としては０．２を用いた。

第２の実施形態では、ステップ１４０において、４つの空間的方向１，２，３，４の各々に対してエネルギーレベルを計算する。エネルギーレベルは次式で計算する：
Ｅ２は水平変化率の絶対値の予測ブロックＢｐｒｅｄにおける和であり、Ｅ１は垂直変化率の絶対値の予測ブロックＢｐｒｅｄにおける和であり、Ｅ３とＥ４は対角変化率の絶対値の予測ブロックＢｐｒｅｄにおける和である。第１の変形例では、追加的エネルギーレベルＥ０を次式で計算する：
ここで、λは重み付け係数である。好ましくは、λは、テストしたすべての方向においてエネルギーの変化率レベルが顕著に一様である場合にこのエネルギーレベルが最低になるように決定する。

この第２の実施形態の第２の変形例では、４つのエネルギーレベルＥ１ないしＥ４から、４つの中間的方向Ｅ５，Ｅ６，Ｅ７，Ｅ８におけるエネルギーレベルを次のように計算する：
この第２の変形例の一変形例では、追加的エネルギーレベルＥ０を次式で計算する：
ここで、λは重み付け係数である。好ましくは、λは、テストしたすべての方向においてエネルギーの変化率レベルが顕著に一様である場合にこのエネルギーレベルが最低になるように決定する。

ステップ１４２において、最低エネルギーレベルＥｍｉｎに対応する空間的方向ｄ_ｏｐｔを決定するために、計算したエネルギーレベルを比較する：
ステップ１４４において、比較結果に応じて剰余ブロック中の剰余データを再編成する。より具体的には、剰余ブロック中の剰余データを、最低エネルギーレベルＥｍｉｎに対応する空間的方向ｄ_ｏｐｔに基づいて再編成する。例えば、サイズが４×４の剰余ブロックの場合、図７に示したように剰余データを再編成する。アルファベットの各文字は剰余ブロックの画素を表す。ステップ１４２で決定した最低エネルギーレベルＥｍｉｎがＥ０，Ｅ１，またはＥ２である場合、Ｂｒｅｓの剰余データは再編成（reorganize）されない。再編成は図１５に示した下記のステップを含む：
− 最低エネルギーレベルＥｍｉｎに対応する空間的方向ｄ_ｏｐｔに対応する、左上隅から出るラインを問題のブロック上に引き、このラインの、ブロックをカットするセグメントが最長となる点まで、このラインを移動させる。
− 次の方法に従って再編成ブロックの行にデータを入れる（fill）：
− セグメントをスキャンして、行き当たる新しい画素を再編成ブロックの次の画素に割り当てる。

− 次に、画素のセグメントを上か下にシフトして、再編成ブロックの前か後のラインにデータを入れる。

他の実施形態では、方向６の場合を図８に示したが、画素の再編成は、最低エネルギーレベルに対応する空間的方向の角度の反対の角度だけソースブロックを回転して、再編成画素を補間することを含む。この角度は水平方向に対して決定する。図８の右側に、濃い網掛けで再編成ブロックＢｒｅｓを示した。図８の右側に示したように、回転したブロックの画素のうち再編成ブロックの画素に主に含まれるものが、再編成ブロックのその画素に割り当てられる。言い換えると、図８の右側に示したように、回転したブロックの画素のうち再編成ブロックの画素の最大部分に重なるものが、その画素に割り当てられる。

図９は、ブロックに分割された画像のシーケンスを符号化データストリームＦに符号化する方法を示す。この方法は、１つのカレントブロックＢｃへの適用について説明するが、１つの画像の複数のブロックに適用することも可能である。

ステップ２０において、カレントブロックＢｃに対して、予測ブロックＢｐｒｅｄを決定する。例えば、ブロックマッチング型の動き推定法により求めた動きデータにより予測ブロックＢｐｒｅｄを決定する。

ステップ２２において、カレントブロックＢｃから予測ブロックＢｐｒｅｄを抽出して、剰余ブロックＢｒｅｓを決定する。例えば、剰余ブロックＢｒｅｓは、カレントブロックＢｃと予測ブロックとの間の画素ごとの差である。

変形例では、剰余ブロックＢｒｅｓは、次式のように、カレントブロックをフィルタしたものと、予測ブロックをフィルタしたものとの差である：
ここで、ａ’（）とｂ’（）は、線形フィルタの係数であり、前述の係数ａ（）とｂ（）とは異なってもよい。（ｋ，ｌ）は、例えば−１から１まで変化する整数である。簡単な例として、ａ’（）は次の値をとることができる：
ｂ’（）は次の値をとることができる：
ステップ２４において、予測ブロックＢｐｒｅｄのコンテンツに応じて剰余ブロックＢｒｅｓを再構成（reorganize）する。より具体的には、剰余ブロックの剰余データを再編成する。この符号化方法のステップ２４は、上記の復号方法のステップ１４と同じである。したがって、図５ないし図８を参照して説明した実施形態及びその変形例は、同様にステップ２４にも当てはまる。

ステップ２６において、剰余ブロックＢｒｅｓを符号化する。図１０はステップ２６を示す。このステップ２６は、剰余ブロックを係数ブロックＴ（Ｂｒｅｓ）に変換するステップ２６０と、係数ブロックＴ（Ｂｒｅｓ）を量子化係数ブロックＱ（Ｔ（Ｂｒｅｓ））に量子化するステップ２６２と、量子化係数ブロックＱ（Ｔ（Ｂｒｅｓ））を符号化データに実際に符号化するステップ２６４とを含む。剰余ブロックＢｒｅｓのＤＣＴ（離散余弦変換）等を用いた変換及び量子化の目的は、剰余ブロックのデータをコンパクトにすること、すなわち剰余ブロックのデータを少数の非ゼロ係数により表すことである。変換・量子化した剰余ブロック、すなわち量子化係数ブロックを実際に符号化するステップは、量子化係数ブロックの係数の走査順序に従って量子化係数をエントロピー符号化するステップを含む。

剰余ブロックの再編成ステップ１４、２４の結果、変換と量子化の効率が高くなる。実際、変換して量子化したブロックのデータはよりコンパクトであり、変換が最も効率的になる水平軸及び垂直軸（一般的には分離して、水平、次に垂直の順序で適用できる）に基づいて優先順序にしたがって編成される。よって、振幅が最大の係数は変換ブロックの上側の行、かつ左側の列にある確率が高くなり、逆に、最小の係数は変換ブロックの右下にある確率が高くなる。

この効果を高めるため、復号方法のステップ１００と符号化方法のステップ２６４とにおける係数の走査順序は、予測ブロックのコンテンツに応じて決定する。実際に、変換は、剰余データを再編成した方法に応じた特性を潜在的に有する。具体的に、ステップ１４２において方向３ないし８の１つが決まった場合、データが図７に示すように水平方向に緊密に結びつく（coherent）ように画素を再編成する。この場合、走査順序は図１１に示すように優先的に垂直走査である。変換により係数が優先的に第１列に集まる（concentrate the coefficients on the first column as priority）からである。他の方向（０，１，２）の場合、標準的なジグザグタイプ走査を用いることができる。

図１２に示した変形例では、剰余ブロックＢｒｅｓと同様に予測ブロックを再編成して走査順序を決定する。

ステップ３０において、予測ブロックＢｐｒｅｄをハイパスフィルタでフィルタする。ハイパスフィルタにより周波数が高い予測ブロックＢｐｒｅｄの画素を見つけることができる。限定的でない例として、Ｂｐｒｅｄにローパスフィルタを適用して（例えば、メジアンフィルタを用いて、または係数［１／２，１，１／２］によって分けられた線形フィルタで、まず水平方向に、次に垂直方向に畳み込みをして）、低周波数の予測ブロックを求める。低周波数の予測ブロックを予測ブロックＢｐｒｅｄから減算し、フィルタ済み予測ブロックＦｉｌｔ（Ｂｐｒｅｄ）を求める。

ステップ３２において、復号方法のステップ１４の剰余ブロックや符号化方法のステップ２４の剰余ブロックと同様に、フィルタ済み予測ブロックＦｉｌｔ（Ｂｐｒｅｄ）を再編成する。

ステップ３４において、再編成したフィルタ済み予測ブロックＦｉｌｔ（Ｂｐｒｅｄ）を、例えばＤＣＴにより変換して、係数ブロックＴ（Ｆｉｌｔ（Ｂｐｒｅｄ））を求める。

ステップ３６において、係数ブロックＴ（Ｆｉｌｔ（Ｂｐｒｅｄ））から走査順序を決定する。例えば、係数ブロックＴ（Ｆｉｌｔ（Ｂｐｒｅｄ））の係数をその値の降順に走査するように、走査順序を決定する。

このように決定した走査順序を復号方法のステップ１００や符号化方法のステップ２６４において適用する。

本発明は、図１３を参照して説明する符号化装置１２と、図１４を参照して説明する復号装置にも関する。図１３と図１４において、図示したモジュールは機能ユニットであり、必ずしも物理的に区別可能なユニットに対応するものではない。例えば、これらのモジュールは全体を、またはその一部を、１つの部品にまとめてもよいし、または同一ソフトウェアの機能としてもよい。逆に、複数の物理的実体により構成されたモジュールがあってもよい。

図１３を参照して、符号化装置１２は画像シーケンスの画像を入力として受け取る。各画像は画素のブロックに分割されており、各画素には少なくとも１つの画像データが関連付けられている。符号化装置１２は、時間的予測をする符号化を実施する。図１２には、時間的予測すなわち「インター（INTER）」符号化による符号化に関する符号化装置１２のモジュールのみが示されている。図示していないがビデオ符号化装置の当業者には知られているその他のモジュールは、「イントラ（INTRA）」符号化を実施するが、これは空間的予測を含むこともあれば、含まないこともある。符号化装置１２は、例えば、カレントブロックＢｃから予測ブロックＢｐｒｅｄを抽出（extract）（例えば画素ごとに減算）して、剰余画像データブロックすなわち剰余ブロックＢｒｅｓを生成する計算モジュール１２００を有する。有利にも、本発明による符号化装置は、予測ブロックＢｐｒｅｄに応じて剰余ブロックＢｒｅｓの剰余データを再編成する再編成モジュール１２０１を有する。再編成モジュール１２０１は、上記の実施形態またはその変形例における符号化方法のステップ２４を実施するように構成されている。また、符号化装置１２は、剰余ブロックＢｒｅｓを変換し、量子化して、量子化係数ブロックを生成するモジュール１２０１も有する。変換Ｔは、例えば離散余弦変換（すなわちＤＣＴ）である。符号化装置１２はさらに、量子化係数ブロックを符号化して、符号化データストリームＦを生成するエントロピー符号化モジュール１２０４を有する。そのため、エントロピー符号化モジュール１２０４は、量子化係数を所定の走査順序に基づき符号化する。この走査順序は例えば一定でもよい。 図１３に破線で示した変形例では、エントロピー符号化モジュール１２０４は、符号化する各ブロックに対して、例えばステップ３０またはステップ３６により、予測ブロックＢｐｒｅｄのコンテンツに応じて走査順序を決定する。符号化装置１２は、モジュール１２０２の逆動作を実行するモジュール１２０６も有する。モジュール１２０６は、逆量子化Ｑ^−１を実行し、その後に逆変換Ｔ^−１を実行する。モジュール１２０６は計算モジュール１２０８に接続されている。計算モジュール１２０８は、モジュール１２０６からのデータブロックと予測ブロックＢｐｒｅｄとを合成（例えば画素ごとに加算）して、再構成データブロックを生成する。生成された再構成データブロックはメモリ１２１０に格納される。符号化装置１２は、ブロックＢｃと、メモリ１２１０に格納された参照画像Ｉｒのブロックとの間の少なくとも１つの動きベクトルを推定する動き推定モジュール１２１２も有する。参照画像は事前に符号化され再構成されたものである。一変形例では、カレントブロックＢｃと元の参照画像Ｉｃとの間の動き推定を行う。この場合には、メモリ１２１０は動き推定モジュール１２１２には接続されない。当業者には周知の方法では、動き推定モジュールは、動きデータに対して、カレントブロックＢｃと、動きデータにより特定される参照画像Ｉｒのブロックとの間について計算した誤差が最小になるように、参照画像Ｉｒを検索する。

決定された動きデータは、動き推定モジュール１２１２から決定モジュール１２１４に送られる。決定モジュール１２１４は、所定の符号化モードの中からブロックＢｃに用いる符号化モードを選択できる。保持されている符号化モードは、例えば、ビットレート歪みタイプの基準を最小化するものである。しかし、本発明は、この選択方法には限定されず、保持されている符号化モードを優先度タイプの基準などの他の基準によって選択することも可能である。決定モジュール１２１４により選択された符号化モードと、時間的予測モードすなわち「インター」モードの場合の動きデータとを予測モジュール１２１６に送る。選択した符号化モードを、及び逆の場合には動きデータを、エントロピー符号化モジュール１２０４に送り、符号化してストリームＦに入れる。予測モジュール１２１６は、決定モジュール１２１４が決定した符号化モードと、場合によっては動き推定モジュール１２１２が決定した動きデータとから予測ブロックＢｐｒｅｄを決定する（画像間予測）。

図１４を参照して、復号モジュール１３は、画像シーケンスを表す符号データストリームＦを入力として受け取る。ストリームＦは、例えばチャネルを介して符号化装置１２により送信されたものである。復号装置１３は、ブロックＢ_Ｑの走査順序に応じて復号係数ブロック（block of decoded coefficients）Ｂ_Ｑを生成するエントロピー復号モジュール１３００を有する。この走査順序は例えば一定でもよい。図１４に破線で示した変形例では、エントロピー復号モジュール１３００は、各ブロックに対して、例えばステップ３０ないしステップ３６により、予測ブロックＢｐｒｅｄのコンテンツに応じて走査順序を決定する。復号装置１３は、符号化モードと、場合によっては動きデータとを復号するようにも構成されている。

復号装置１３は、動きデータ再構成モジュールも有する。第１の実施形態では、動きデータ再構成モジュールは、ストリームＦの動きデータを表す部分を復号するエントロピー復号モジュール１３００である。一変形例では、図１４には図示していないが、動きデータ再構成モジュールは動き推定モジュールである。復号装置１３により動きデータを再構成するこの方法は、「テンプレート・マッチング」として知られている。

復号係数ブロックＢ_Ｑは、モジュール１３０２に送られる。このモジュール１３０２は、逆量子化をし、次に逆変換をして、剰余ブロックＢｒｅｓを再構成（reconstruct）するように構成されている。モジュール１３０２は、符号化装置１２のモジュール１２０６と同様である。モジュール１３０２は、予測ブロックＢｐｒｅｄにより剰余ブロックＢｒｅｓの剰余データを再編成する再編成モジュール１３０３に接続されている。再編成モジュール１３０３は、上記の実施形態またはその変形例における復号方法のステップ１４を実施するように構成されている。再編成モジュール１３０３は符号化装置１２の再編成モジュール１２０１と同様である。モジュール１３０３は計算モジュール１３０４も有する。計算モジュール１３０４は、モジュール１３０６と予測モジュールからのデータブロックと予測ブロックＢｐｒｅｄとを合成（例えば画素ごとに加算）して、再構成カレントブロックＢｃを生成する。生成された再構成カレントブロックＢｃはメモリ１３０６に格納される。復号モジュール１３は、符号化装置１２のモジュール１２１６と同様の予測モジュール１３０８も有する。予測モジュール１３０８は、エントロピー復号モジュール１３００によりカレントブロックに対して復号された符号化モードと、場合によっては動きデータ再構成モジュールにより決定された動きデータとにより、予測ブロックＢｐｒｅｄを決定する。

当然、本発明は上記の実施形態に限定されない。
特に、本技術分野の当業者は、上記の実施形態を適宜変形して、または組み合わせて、その効果を享有することができる。本発明は、エネルギーレベルの計算に用いるフィルタのタイプにはまったく制約されない。実際、エネルギーレベルは、上記の線形フィルタＤ１ないしＤ８ではなく、非線形メジアンタイプのフィルタにより計算することもできる。利用するフィルタは、信号周波数が最低になる空間的方向を決定できるものであればよい。

Claims (10)

1. ブロックに分割された画像シーケンスを表す符号化データストリームの復号方法であって、カレントブロックについて、
   前記カレントブロックに関係する前記符号化データストリームの第１部分の復号データから剰余データの剰余ブロックを再構成するステップと、
   予測データの予測ブロックを決定するステップと、
   前記剰余ブロックと前記予測ブロックとを結合することにより前記カレントブロックを再構成するステップとを含み、
   前記方法は、前記予測ブロックのコンテンツに応じて前記カレントブロックを再構成する前に、前記剰余ブロックの剰余データを再編成するステップを含み、
   前記剰余ブロックの剰余データを再編成するステップは、
   少なくとも２つの空間的方向について、前記予測データの空間的変化量のエネルギーレベルを計算するステップと、
   前記エネルギーレベルの最低エネルギーレベルに対応する空間的方向に基づき剰余データの再編成を決定するステップと、
   を含む復号方法。
2. 前記剰余ブロックを再構成するステップは、
   前記予測ブロックのコンテンツに基づき決定した復号係数ブロックの走査順序に応じて、符号化データストリームの前記第１部分を復号して前記復号係数ブロックを生成するステップと、
   前記復号係数ブロックを逆量子化して逆量子化係数ブロックを生成するステップと、
   前記逆量子化係数ブロックを変換して剰余ブロックを生成するステップとを含む、
   請求項１に記載の復号方法。
3. 前記走査順序は
   前記予測ブロックにハイパスフィルタを適用するステップと、
   前記ハイパスフィルタでフィルタした前記予測ブロックのデータを、前記剰余ブロックの剰余データと同様に再編成するステップと、
   前記ハイパスフィルタでフィルタして再編成した前記予測ブロックを係数ブロックに変換するステップと、
   前記係数を値の降順にスキャンするように前記走査順序を決定するステップとにより決定する、
   請求項２に記載の復号方法。
4. 前記空間的変化量のエネルギーレベルは空間的方向ｄについて
   
   により計算し、ここで、
   （ｉ，ｊ）は前記ハイパスフィルタでフィルタした予測ブロックＢｐｒｅｄの画素の座標を表し、
   ＊は畳み込み演算であり、
   ｜．｜はノルムであり、
   Ｄ_ｄは空間的方向ｄにより決まる畳み込みマスクに対応する、
   請求項１ないし３いずれか一項に記載の復号方法。
5. 前記剰余ブロックの剰余データを再編成するステップは、少なくとも２つの空間的方向で計算した前記空間的変化量のエネルギーレベルから追加的エネルギーレベルを計算するステップをさらに含む、請求項１ないし３いずれか一項に記載の復号方法。
6. ブロックに分割された画像のシーケンスの符号化方法であって、カレントブロックについて、
   前記カレントブロックの予測データの予測ブロックを決定するステップと、
   前記カレントブロックから前記予測ブロックを抽出することにより剰余データの剰余ブロックを決定するステップと、
   前記剰余ブロックを符号化するステップと、を含み
   前記方法は、前記予測ブロックのコンテンツに応じて、符号化の前に、前記剰余ブロックの剰余データを再編成するステップをさらに含み、
   前記剰余ブロックの剰余データを再編成するステップは、
   少なくとも２つの空間的方向について、前記予測データの空間的変化量のエネルギーレベルを計算するステップと、
   前記エネルギーレベルの最低エネルギーレベルに対応する空間的方向に基づき剰余データの再編成を決定するステップと、
   を含む符号化方法。
7. 前記剰余ブロックを符号化するステップは、
   前記剰余ブロックを変換して係数ブロックを生成するステップと、
   前記係数ブロックを量子化して量子化係数ブロックを生成するステップと、
   前記予測ブロックのコンテンツに基づいて決定した前記量子化係数ブロックの走査順序により前記量子化係数を符号化するステップと、を含む、
   請求項６に記載の符号化方法。
8. 前記走査順序は
   前記予測ブロックにハイパスフィルタを適用するステップと、
   前記ハイパスフィルタでフィルタした前記予測ブロックのデータを、前記剰余ブロックの剰余データと同様に再編成するステップと、
   前記ハイパスフィルタでフィルタして再編成した前記予測ブロックを係数ブロックに変換するステップと、
   前記係数を値の降順にスキャンするように前記走査順序を決定するステップとにより決定する、
   請求項７に記載の符号化方法。
9. ブロックに分割された画像シーケンスを表す符号化データストリームを復号するビデオデコーダであって、
   カレントブロックに関係する前記符号化データストリームの第１部分の復号データから剰余データの剰余ブロックを再構成するように構成されたモジュールと、
   予測データの予測ブロックを決定するように構成されたモジュールと、
   前記剰余ブロックと前記予測ブロックとを結合することにより前記カレントブロックを再構成するように構成されたモジュールと、
   前記予測ブロックのコンテンツに応じて前記カレントブロックを再構成する前に、前記剰余ブロックの剰余データを再編成するように構成されたモジュールと
   を有し、
   前記剰余ブロックの剰余データを再編成するように構成されたモジュールは、
   少なくとも２つの空間的方向について、前記予測データの空間的変化量のエネルギーレベルを計算するように構成されたモジュールと、
   前記エネルギーレベルの最低エネルギーレベルに対応する空間的方向に基づき剰余データの再編成を決定するするように構成されたモジュールとを有する、
   ビデオデコーダ。
10. ブロックに分割された画像のシーケンスを符号化するビデオコーダであって、
    カレントブロックの予測データの予測ブロックを決定するように構成されたモジュールと、
    前記カレントブロックから前記予測ブロックを抽出することにより剰余データの剰余ブロックを決定するように構成されたモジュールと、
    前記剰余ブロックを符号化するように構成されたモジュールと、
    前記予測ブロックのコンテンツに応じて、符号化の前に、前記剰余ブロックの剰余データを再編成するように構成されたモジュールとを有し、
    前記剰余ブロックの剰余データを再編成するように構成されたモジュールは、
    少なくとも２つの空間的方向について、前記予測データの空間的変化量のエネルギーレベルを計算するように構成されたモジュールと、
    前記エネルギーレベルの最低エネルギーレベルに対応する空間的方向に基づき剰余データの再編成を決定するように構成されたモジュールとを有する、
    ビデオコーダ。