JP2011504000A

JP2011504000A - ビデオ符号化および復号化の方法

Info

Publication number: JP2011504000A
Application number: JP2010533029A
Authority: JP
Inventors: ビヨンテガールド，ギスレ; フルドセス，アリルド
Original assignee: タンドベルク・テレコム・エイ・エス
Priority date: 2007-11-12
Filing date: 2008-11-12
Publication date: 2011-01-27
Also published as: CN101855909A; US8331454B2; CN101855909B; EP2223528A1; EP2223528A4; EP2223528B1; US20090122861A1; NO20100828L; WO2009064193A1

Abstract

本発明は、ビデオ符号化／復号化に適用し、半正規直交基底ベクトルの集合による動画像の残差画素データ及び変換係数と入出力を行う変換方法を開示する。基底ベクトルは、従来のＤＣＴまたはＫＴＬ行列に由来する。しかし、直交性、ノルム等値性および要素サイズ限定の要件を多少拡大し緩和する。このようにして、本発明は、従来から使用されている整数変換と比較して改良された符号化効率およびより低い計算量を提供する。

Description

本発明はビデオ圧縮システム、特に整数変換機能に関する。

実時間での動画像の伝送は、例えばテレビ会議、ネット会合、ＴＶ放送およびビデオ電話通信の様な幾つかの用途で使用される。

しかしながら、デジタルビデオは典型的には８ビット（１バイト）で画像の各画素を表すことにより描写されるので、動画像の表現には大量の情報を必要とする。この様な圧縮されていないビデオデータは、大きなビット量に帰着し、従来の通信ネットワークおよび伝送線では限られた帯域幅のために実時間で伝送され得ない。

したがって、実時間ビデオ伝送を可能にするには、大幅なデータ圧縮を必要とする。しかしながら、データ圧縮は、画質を損なう可能性がある。それゆえに、帯域幅の限られたデータ接続上で高品質ビデオの実時間伝送を可能にする圧縮技術を開発するために大きな努力がなされてきた。

ビデオ圧縮システムでは、その主な目標は、できるだけ小さな容量でビデオ情報を表現することである。容量は、定数値として又はビット／時間の単位として、ビットにより定義される。いずれの場合においても、主な目標はビット数を減らすことである。

最も一般的なビデオ符号化方法は、ＭＰＥＧ＊およびＨ．２６＊規格で記載されている。ビデオデータは伝送の前に４つの主要なプロセスを経る。すなわち、予測、変換、量子化およびエントロピー符号化である。

該予測プロセスは、伝送されるべきビデオシーケンス内の各画像に必要とされるビットの量を有意に低減する。該シーケンスの他の部分については該シーケンスの部分の類似性を利用する。予測値部分はエンコーダとデコーダの両方に知られているので、その差分のみが伝送されればよい。この差分は、その表現に対して遙かに少ない容量しか要しないのが典型的である。該予測は、主として前に再構成された画像からの画像コンテンツに基づいており、そこでは該コンテンツの位置は動きベクトルにより定義される。該予測プロセスは、正方ブロックサイズ（例えば１６ｘ１６画素）上で行われるのが典型的である。場合によっては、前の画像の画素よりもむしろ同じ画像内の隣接画素に基づく画素の予測が使われる点に注意しておく。これはインター予測に対して、イントラ予測と呼ばれる。

データのブロック（例えば４ｘ４または８ｘ８画素）として表される残差は依然として内部相関を含む。これを利用する周知の方法は、２次元ブロック変換を実行することである。ＩＴＵ勧告Ｈ．２６４は、４ｘ４または８Ｘ８整数変換を使用する。これはｎｘｎ画素をｎｘｎ変換係数に変換し、それらは通常は画素表現より少ないビットで表現され得る。内部相関を有する画素のｎｘｎ配列の変換はおそらく、元のｎｘｎ画素ブロックより遙かに少ない非ゼロ値を有する変換係数のｎｘｎブロックに帰着するだろう。

該変換係数の直接表現は多くの応用にとってなおあまりに高コストである。量子化プロセスは、データ表現の更なる減少のために実行される。それゆえに、該変換係数は、量子化を経る。該変換係数の可能値範囲は、各々が最高及び最低決定値で限られ、固定量子化値を割り当てられた区間値に分けられる。該変換係数は、それゆえ、それぞれの係数が存在する区間と関連した量子化値へと定量化される。最低決定値より低い係数は、ゼロと定
量化される。この量子化プロセスは、再構成されたビデオ・シーケンスが圧縮されていないシーケンスと比較していくらか異なることに帰着することを言及しなければならない。

要約すると、デジタルビデオ画像は、次の過程にさらされている：
画像は、たとえば１６ｘ１６または８ｘ８画素の、画素の正方ブロックに分割される。これは、クロミナンス情報と同様に輝度情報のために実行される。

ブロック内の画素の予測を生成する。これは、既に符号化／復号化された画像の画素に基づく（インター予測と呼ばれる）か、または、同じ画像の既に符号化／復号化された画素に（イントラ予測）基づく場合がある。

符号化される画素と予測画素の間に差分を形成する。これは、多くの場合残差と呼ばれる。

変換係数としての表現に帰着する残差の２次元の変換を実行する。該変換係数は、ＤＣ変換係数およびＡＣ変換係数を含む。

該変換係数の量子化を実行する。これは、ビット生成および再構成された画質を制御するための主要なツールである。

データの１次元の集合に２次元の変換係数データのスキャンを行う。

量子化された変換係数のロスレスエントロピー符号化を実行する。

上記ステップは、エンコーダのための自然順に記載される。デコーダは、ある程度逆の動作を実行して、変換の代わりに逆変換および量子化の代わりに非量子化として「逆の」動作を実行する。

本書内の独立請求項で規定された本発明の特徴がこの方法を特徴づける。

特に、本発明は、変換係数の対応する第２のブロックを生成しているいくつかの基底ベクトルにより形成される変換行列によって、動画像の残差画素値の第1のブロックを変換するためのビデオ符号化の方法を提供し、その中で、変換行列がＤＣＴまたはＫＬＴに由来し、基底ベクトルが直交に近いが必ずしも直交ではなく、該基底ベクトルのノルムが１％未満の偏差を有し、そして、基底ベクトルの要素が３２未満である。本発明は、同様にビデオ復号化のための対応する逆の方法を提供する。

発明の詳細な説明

本発明はバックグラウンドセクションに記述されている符号化プロセスの変換部分に関する。しかるに、変換プロセスのより詳細なレビューが概説される。

大部分の従来のビデオ規格は、符号化側の２次元変換および復号化側の対応する逆変換を経たブロックをベースとした残差を生成し、そして、分離可能な変換が通常用いられる。これは、１次元の変換が最初に一方向（例えば水平）に実行された後に、同じ１次元の変換がその結果の他の方向に使用されることを意味する。それゆえに、１次元変換だけが、定義されて使用されなければならない。

Ｈ．２６１、Ｈ．２６３、Ｈ．２６４規格および対応するＭＰＥＧ規格において、８ポイントの離散コサイン変換（ＤＣＴ）が使用される。信号理論によれば、残差信号の隣接
した画素間の相関が相対的に高い場合、ＤＣＴは最適変換に近い。ＤＣＴは、３桁の精度によって、下記に記載されるように、８つの実数値の基底ベクトルとして規定される：
0.354 0.354 0.354 0.354 0.354 0.354 0.354 0.354
0.490 0.416 0.278 0.098 -0.098 -0.278 -0.416 -0.490
0.462 0.191 -0.191 -0.462 -0.462 -0.191 0.191 0.462
0.416 -0.098 -0.490 -0.278 0.278 0.490 0.098 -0.416
0.354 -0.354 -0.354 0.354 0.354 -0.354 -0.354 0.354
0.278 -0.490 0.098 0.416 -0.416 -0.098 0.490 -0.278
0.191 -0.462 0.462 -0.191 -0.191 0.462 -0.462 0.191
0.098 -0.278 0.416 -0.490 0.490 -0.416 0.278 -0.098

これらの基底ベクトルは正規直交であると言われ、それは各ベクトルがすべての他のベクトルと直交することを意味し、それに加えてノルム、または、各行に沿った二乗の合計が１に等しいことを意味する。

データＴ（ｉ、ｊ）、ｉ、ｊ＝０―７の上記の行列をここで定義する。ｉは列番号を示し、ｊは行番号を示す。更に、８つの変換値Ｆ（ｊ）に変換される８ｘ８ブロックの８つの画素値ｆ（ｉ）の集合があると仮定する。次の関係がそれゆえ適用される：

画素の逆変換または再構成：

前記変換は、それゆえ通常８ｘ８ブロックの８画素値の各集合に予備成形され、それから全ての手順が、同じ変換行列で垂直的にその結果の上に繰り返される。

この変換はよく機能するが、実数表現に基づくことが不利な点である。インプリメンテーションにおいて、これは必然的に多少の誤りに帰着する。この誤りは、実数の異なる内部表現を使用している異なるインプリメンテーションにとって、わずかに異なるものである。これは、異なる再構成手順の間で不整合の原因となる場合がある。前記インプリメンテーションは、さらに相対的に複雑である。

これらの理由により、整数のみにより記述される変換を使用することが望ましい。上記に定義した正規直交条件が、さらに望ましい。整数については、「各行に沿った二乗の合計は１に等しい」という状態を得ることは、不可能である。

それゆえ、すべてのベクトルにとって同じであるノルムの要件を変更することは、より現実的で適しているが、各ベクトルがすべての他のベクトルに直交するという第一要件をなお維持している。

最後に言及した要件を充足している基底ベクトルの実施例は、ウォルシュ・アダマール・ベクトルである。８ポイントのアダマール・ベクトルは、以下の通りである：
１１１１１１１１
１１１１−１−１−１−１
１１−１−１−１−１１１
１１−１−１１１−１−１
１−１−１１１−１−１１
１−１−１１−１１１−１
１−１１−１−１１−１１
１−１１−１１−１１−１

しかしながら、この変換は他の欠点があることがわかっており、それゆえあまり使用されない。

整数変換の要件の改良および拡張された集合は、以下の通りである：
１．ベクトルは、直交である。
２．ベクトルを定義するために使用される数は小さく、典型的には３２未満である。
３．ベクトルの形状は、対応するＤＣＴにできるだけ近い。
４．ノルムまたは各行に沿った二乗の合計は、すべてのベクトルにとって同じである。

すべての要件（特により大きな変換のために）を充足することは、困難である。上記の要件は、それゆえに、優先命令において、記載されると考えることができる。伝統的に、１および２は必須であると考えられ、３は部分的にのみ満たされる場合があるが、４はインプリメンテーションの若干の付加的な計算量が伴って働く場合がある。

Ｈ．２６４の初期開発段階では、次の変換が用いられた：
１３１３１３１３
１７７ −７−１７
１３−１３−１３１３
７−１７１７ −７

このベクトル集合は、上記の要件１、２、３、４を充足する。

最近のＨ．２６４およびＭＰＥＧＡＶＣ規格は、４ポイントおよび８ポイントの整数変換を使用する。

４ポイントの変換に関しては、その基底ベクトルは、以下の通りである：
１１１１
２１−１−２
１−１−１１
１−２２−１

このベクトル集合は、上記の要件１、２および部分的に３を充足する。

８ポイントの変換に関しては、その基底ベクトルは、以下の通りである：
１１１１１１１１
１２１０６３ −３ −６−１０−１２
２１ −１ −２ −２ −１１２
１０ −３−１２ −６６１２３−１０
１ −１ −１１１ −１ −１１
６−１２３１０−１０ −３１２ −６
１ −２２ −１ −１２ −２１
３ −６１０−１２１２−１０６ −３

このベクトル集合は、同様に要件１、２および部分的に３を充足する。

発明者は、さらに符号化効率を改善し及び画質を損なうことのなく計算量を減らしてもなお前記要件を減らすことが可能であると認識した。前記変換のための要件は、上記から以下のように修正される：
１．ベクトルの形状は、できる限り最適変換に近い。符号化される信号の統計に応じて、これは、信号の統計に基づくＤＣＴまたはカルーネン・レーベ（ＫＬＴ）変換である場合がある。
２．ベクトルを定義するために使用される数は小さく、特に３２未満である。
３．ベクトルは、必ずしも直交でない場合があるが、極めて近い。
４．ベクトルのノルムは、必ずしも同じでない場合があるが、極めて近い。

緩和した要件３および４と共に、特に要件に１を改善するための多くの余地がある。発明者は、あたかも３および４が完全に充足されるかのように符号化／復号化動作が実質的には同じであるように、３および４の緩和が十分に小さい場合があると認識した。

本発明は、主として要件１のより優れた充足によってより優れた符号化動作をもたらす僅かに緩和した要件３および４を有する変換ベクトル集合の設計を提供する。基底ベクトルは、対応するＤＣＴまたはＫＬＴに近い形状を有し、同時に、類似しているが必ずしも等しくないノルムを有する。該ノルム間の最大偏差は、１％未満でなければならない。

加えて、基底ベクトルは、直交に近いが、必ずしも直交ではない。

１つの態様においては、ベクトル集合の１以上のペアが直交しない（非直交性）場合、すなわち、ベクトルの１以上のペアのそれぞれのベクトル積がゼロと異なり、そして、非直交性ベクトルペアのそれぞれのベクトル積がＤＣ変換係数を算出するために使用される基底ベクトルのノルムの１％未満である場合、基底ベクトルは、直交に近いが、必ずしも直交ではないと考えられる。ＤＣ変換係数を算出するために使用される基底ベクトルは、通常、基底ベクトル行列の上位の基底ベクトルである。

１つの態様においては、ベクトル集合の１以上のペアが直交しない（非直交性）場合、ベクトルの１以上のペアのそれぞれのベクトル積がＤＣ変換係数を算出するために使用される基底ベクトルのノルムの０．１％より大きいという意味で、基底ベクトルは、直交に近いが、必ずしも直交ではないと考えられる。また、ＤＣ変換係数を算出するために使用される基底ベクトルは、通常、基底ベクトル行列の上位の基底ベクトルである。

更に、変換ベクトルの集合を特定するために使用される数（すなわち、基底ベクトルの要素）は小さく、３２以下である。

１つの態様においては、基底ベクトルの要素は、整数である。

本発明による変換ベクトルの集合にアプローチするための第一段階は、ＤＣＴベクトルに２６＊√２を乗算し、そして最も近い整数に丸めることによって、ＤＣＴベクトルの整数バージョンを作成することである。その結果は、以下の通りであり、各行の右側に二乗の合計を有する：
１３１３１３１３１３１３１３１３１３５２
１８１５１０４ −４−１０−１５−１８１３３０
１７７ −７−１７−１７ −７７１７１３５２
１５ −４−１８−１０１０１８４−１５１３３０
１３−１３−１３１３１３−１３−１３１３１３５２
１０−１８４１５−１５ −４１８−１０１３３０
７−１７１７ −７ −７１７−１７７１３５２
４−１０１５−１８１８−１５１０ −４１３３０

前記二乗の合計は、ノルムがすべてのベクトルにとって同一ではなく、そしてノルム間の偏差が１％より大きいことを示す。

しかしながら、本発明による変換ベクトルの集合にアプローチするための第二段階として、数のわずかな修正が、各ベクトルのノルムを相互により近付け、等ノルムを有すると考えられるのに十分近いようにすることができる。ベクトル間の近似の直交性（直交性を得られたのと同様に考えられるほど十分接近している）は、ＤＣＴに極めて近いベクトルの形状に加えて、さらに数のわずかな修正によって、得ることができる。

発明者は、本発明による適切な変換の実施例として、ベクトルの次の集合を得た（各行の右側の数は、それぞれのベクトルの二乗の合計である）：
１３１３１３１３１３１３１３１３１３５２
１７１６１１３ −３−１１−１６−１７１３５０
１７７ −７−１７−１７ −７７１７１３５２
１６ −３−１７−１１１１１７３−１６１３５０
１３−１３−１３１３１３−１３−１３１３１３５２
１１−１７３１６−１６ −３１７−１１１３５０
７−１７１７ −７ −７１７−１７７１３５２
３−１１１６−１７１７−１６１１ −３１３５０

これからわかるように、最大偏差は１％未満であり、上位の基底ベクトルのノルムからの最大ベクトル積の偏差と同様である。

1つの態様においては、最大偏差は、０％より大きい。

別の態様においては、最大偏差は、０．１％より大きい。

復号化プロセスにおいて、変換係数から残差画素を得るために、ベクトルの逆集合が使用される。すなわち、上記のベクトルの集合の転置が用いられる。

本発明は、いかなる変換サイズにも適用できる。それはまた、ＤＣＴの近似に近いことに限られていない。近似は、ＫＬＴのように他の最適基底ベクトルに対する場合がある。

本発明は、従来から使用されている整数変換と比較してより低い計算量及び改善された符号化効率を有する画像およびビデオ符号化のための整数変換を設計するのに役立つ。

Claims

ＤＣおよびＡＣ変換係数を有する変換係数の対応する第二ブロックを生成しているいくつかの基底ベクトルにより形成される変換行列によって、動画像の残差画素値の第一ブロックを変換するためのビデオ符号化する方法であって、基底ベクトルの数のうちの少なくとも１つが、変換係数の第二ブロックのＤＣ変換係数に対応している方法において、
変換行列が離散コサイン変換（ＤＣＴ）またはカルーネン・レーベ変換（ＫＬＴ）に由来し、基底ベクトルのノルムが＜０％、１％］の範囲の最大偏差を有し、基底ベクトルの要素が３２未満で、基底ベクトルの１以上のペアが非直交性であり、そして、非直交性基底ベクトルの１以上のペアが、変換係数の第二ブロックのＤＣ変換係数に対応する基底ベクトルのノルムの１％未満のベクトル内積を有することを特徴とする方法。
基底ベクトルが、変換係数の対応する第二ブロックを生成する残差画素値の第一ブロックの水平および垂直方向においてそれぞれ使用されることを特徴とする請求項１に記載の方法。
ブロックが、画像の８ｘ８画素の第１正方領域を表すことを特徴とする請求項１または２に記載の方法。
前記基底ベクトルが以下のように定義されることを特徴とする請求項３に記載の方法。
［１３１３１３１３１３１３１３１３］
［１７１６１１３ −３−１１−１６−１７］
［１７７ −７−１７−１７ −７７１７］
［１６ −３−１７−１１１１１７３−１６］
［１３−１３−１３１３１３−１３−１３１３］
［１１−１７３１６−１６ −３１７−１１］
［７−１７１７ −７ −７１７−１７７］
［３−１１１６−１７１７−１６１１ −３］
動画像の残差画素値の対応する第二ブロックを生成しているいくつかの基底ベクトルにより形成される変換行列によって変換係数の第一ブロックを変換するためのビデオ復号化する方法において、
変換行列が離散コサイン変換（ＤＣＴ）またはカルーネン・レーベ変換（ＫＬＴ）に由来し、基底ベクトルが直交に近いが必ずしも直交ではなく、基底ベクトルのノルムが＜０、１％］の範囲の偏差を有し、基底ベクトルの要素が３２未満であることを特徴とする方法。
基底ベクトルが、残差画素値の対応する第二ブロックを生成する変換係数の第一ブロックの水平および垂直方向においてそれぞれ使用されることを特徴とする請求項５に記載の方法。
ブロックが、動画像の８ｘ８画素の第１正方領域を表すことを特徴とする請求項５または６に記載の方法。
前記基底ベクトルが以下のように定義されることを特徴とする請求項７に記載の方法。
［１３１３１３１３１３１３１３１３］^Ｔ
［１７１６１１３ −３−１１−１６−１７］^Ｔ
［１７７ −７−１７−１７ −７７１７］^Ｔ
［１６ −３−１７−１１１１１７３−１６］^Ｔ
［１３−１３−１３１３１３−１３−１３１３］^Ｔ
［１１−１７３１６−１６ −３１７−１１］^Ｔ
［７−１７１７ −７ −７１７−１７７］^Ｔ
［３−１１１６−１７１７−１６１１ −３］^Ｔ
次の基底ベクトルを含む変換行列であって、変換係数の対応する第二ブロックを生成しているいくつかの基底ベクトルにより形成される変換行列によって、動画像の残差画素値の第一ブロックを変換するためのビデオ符号化する方法。
［１３１３１３１３１３１３１３１３］^Ｔ
［１７１６１１３ −３−１１−１６−１７］^Ｔ
［１７７ −７−１７−１７ −７７１７］^Ｔ
［１６ −３−１７−１１１１１７３−１６］^Ｔ
［１３−１３−１３１３１３−１３−１３１３］^Ｔ
［１１−１７３１６−１６ −３１７−１１］^Ｔ
［７−１７１７ −７ −７１７−１７７］^Ｔ
［３−１１１６−１７１７−１６１１ −３］^Ｔ
次の基底ベクトルを含む変換行列であって、動画像の残差画素値の対応する第二ブロックを生成しているいくつかの基底ベクトルにより形成される変換行列によって、変換係数の第一ブロックを変換するためのビデオ復号化する方法。
［１３１３１３１３１３１３１３１３］^Ｔ
［１７１６１１３ −３−１１−１６−１７］^Ｔ
［１７７ −７−１７−１７ −７７１７］^Ｔ
［１６ −３−１７−１１１１１７３−１６］^Ｔ
［１３−１３−１３１３１３−１３−１３１３］^Ｔ
［１１−１７３１６−１６ −３１７−１１］^Ｔ
［７−１７１７ −７ −７１７−１７７］^Ｔ
［３−１１１６−１７１７−１６１１ −３］^Ｔ