JP6707678B2 - 動き補償予測のための方法及び装置 - Google Patents

Description

関連出願

[0001]本特許文書は、全体が参照により本書に組み込まれる、２０１１年６月２４日出願の米国特許仮出願第６５０１１１２号の出願日の利益を、米国特許法第１１９条（ｅ）の下で請求する。

発明の背景

[0002]本発明は、フレーム間予測についての動き補償に関し、より詳細には、低い複雑性及び高い精度を達成する動き補償で使用される分数サンプル（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ）補間に関する。

関連技術の説明

[0003]デジタルビデオは、デジタルビデオシーケンスの１つ１つのフレーム（例えば一連のフレーム）を非圧縮で表すために、大量のデータを必要とする。ほとんどの応用例では、帯域幅の制限により、コンピュータネットワーク全体にわたって非圧縮デジタルビデオを伝送することは不可能である。加えて、非圧縮デジタルビデオは、大量の記憶空間を必要とする。デジタルビデオは、通常、記憶要件を削減し帯域幅要件を削減するために、何らかの方法で符号化される。

[0004]デジタルビデオを符号化するための１つの技法は、フレーム間予測又はインター予測（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ）である。インター予測は、異なるフレーム間の時間冗長性を利用する。時間的に隣接するビデオフレームは、通常、ほぼ同じ状態を維持するピクセルブロックを含む。符号化プロセス中、動きベクトルは、１つのフレーム内のピクセルブロックの動きを、別のフレーム内の同様のピクセルブロックに関係付ける。したがってシステムは、ピクセルブロックを２回符号化する必要がなく、ピクセルブロックを１回符号化し、動きベクトルを与えて他方のピクセルブロックを予測する。

[0005]デジタルビデオを符号化するための別の技法は、フレーム間予測又はイントラ予測である。イントラ予測は、フレーム又はその一部を、他のフレーム内のピクセルを参照せずに符号化する。イントラ予測は、フレーム内のピクセルブロック間の空間冗長性を利用する。空間的に隣接するピクセルブロックは、一般に同様の属性を有するため、隣接ブロック間の空間的相関を参照することにより、符号化プロセスの効率は向上する。この相関は、隣接ブロック内で使用される予測モードに基づくターゲットブロックの予測によって利用され得る。

[0006]インター予測では、受け取られるピクチャが動き推定及び補償に基づいて予測される。ビデオ内の移動オブジェクトは、しばしばフレームからフレームへと現れ、オブジェクトのすべて又は一部が後続のフレーム内で再配置される。こうした再配置にもかかわらず、フレームシーケンス内での相関は高く、冗長性を生じさせる。この時間冗長性は、現行フレーム内のサンプルと参照フレーム内の同じオブジェクトの位置とを比較及び関係付けすることによって削減され得る。特に、動き推定中、現行フレーム又はその区画は、現行フレームよりも時間的に前又は後であり得る参照フレームと比較される。それぞれの参照フレームで設定された検索範囲内のピクセルパターンは、符号化される予定の現行フレーム内のピクセルパターンと最も一致するピクセルパターンを含む参照フレームが見つかるまで、現行フレーム内に示されたピクセルパターンと比較される。この比較結果に基づき、フレーム間変位ベクトル又は動きベクトルが推定される。推定された動きベクトルを使用して、動き補償は現行フレームの予測を導き出す。

[0007]参照ピクチャの解像度を上げるために、整数位置のサンプル、又は単に整数サンプルと呼ばれる、参照ピクチャ内のピクセルに補間を適用することによって、動きベクトルの正確さ及び符号化効率を上げることが可能である。補間とは、整数サンプルの値を使用して、各整数サンプル間に分数サンプルを生成することである。整数サンプル間に分数サンプルがより多く生成されるほど、参照ピクチャの解像度が高くなり、分数サンプル変位をより精密且つ正確に補償することができる。例えば、ピクセルの半分のみの変位である移動オブジェクトの動きを正確に補償するためには、少なくとも２分の１ピクセル（画素）補間が必要である。動き推定及び補償は、いくつかの異なるブロックサイズを使用して実行され得る。個々の動きベクトルは、４ｘ４、４ｘ８、８ｘ４、８ｘ８、８ｘ１６、１６ｘ８、又は１６ｘ１６のピクセルを有する区画について決定され得る。小さな動き補償区画を提供することで、精細な動きの細部を処理する能力が向上する。

[0008]Ｈ．２６４／ＡＶＣは、２ステップ手法を取り、４分の１画素（ｑｕａｒｔｅｒ−ｐｅｌ）解像度までの動き補償を達成する。Ｈ．２６４／ＡＶＣにおいて、第１のステップは、６タップフィルタを使用し、周辺整数サンプルの値から２分の１画素解像度で中間値を生成する。第２のステップでは、整数サンプルの値及び中間値が平均化されるか、又は中間値同士で平均化され、４分の１画素位置で分数サンプルを、又は単に４分の１画素サンプルを生成する。Ｂスライスでは、２つの予測から２つの予測分数サンプルが更に平均化され得る。しかしながら、複数の平均化動作は、連続して行われると丸め誤差を招き、動き補償の正確さ及び効率に悪影響を与えることに留意されたい。Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）の提案Ｄ３２１及びＥ２４２は、双方向平均化に関連付けられた丸め誤差問題に対処している。これらの文書は、２つの予測が加えられた後、双方向平均化の最終ステップで実施するように丸め動作が制限されることを提案している。

[0009]ＪＣＴ−ＶＣ草案Ｅ６０３は、４分の１画素解像度を達成するための８タップフィルタの使用を開示している。Ｅ６０３では、８タップフィルタを最も近い整数サンプルに適用すること、及びフィルタリングされた結果を所定のビット深度まで切り捨てることによって、いくつかの４分の１画素サンプルが導出される。残りの４分の１画素サンプルは２つのプロセスを通じて導出される。第１のプロセスでは、中間値は８タップフィルタを最も近い整数サンプルに垂直方向に適用することによって導出される。第２のプロセスでは、８タップフィルタは中間値に水平方向に適用され、フィルタリングされた結果は所定のビット深度まで切り捨てられる。この２プロセス手法は、第２のプロセスにおける垂直フィルタリング及び水平フィルタリングに関する固定された順序が不要であるため、第２のプロセスにおける垂直フィルタリング及び水平フィルタリングの順序に関する信号を復号器に送信することが不要であることから、有利である。しかしながら、Ｅ６０３で考察された動き補償は、中間値を生成するための追加のフィルタリング動作の定義が必要である。特に高ビット深度のビデオデータの場合、中間値に適用されるフィルタリング動作は費用がかかり、かなり複雑な計算が必要である。

[0010]更に、Ｅ６０３で考察された動き補償では、計算される４分の１画素サンプルの正確さを補償するように中間値を切り捨てることはない。したがって、計算される値のビット単位の精度は、Ｅ６０３で考察される動き補償中、一定ではない。前述の第１のプロセスの終わりに、結果として生じるサンプル値の精度は、８タップフィルタの利得によって決定された量だけ上昇する。８タップフィルタを中間値に適用することにより、精度は、所定の精度まで切り捨てる前に、第１のプロセスと同じ量だけ再度上げられる。したがって、第２のステップの終わりに元のビット深度まで解像度を戻すために、第１のプロセスで必要な解像度の切り捨ての２倍の切り捨てが第２のプロセスで必要である。

前述の従来技術に鑑みて、本発明は、フレーム間予測に新規な動き補償動作を提供する。動き補償は、サンプルに分数サンプル補間を適用して分数サンプルを生成する。本発明による動き補償では、第１の分数サンプル補間がサンプルに第１の方向で適用され、分数サンプルの第１のセットを生成する。第２の分数サンプル補間が分数サンプルの第１のセットに第２の方向で適用され、分数サンプルの第２のセットを生成する。本発明において、分数サンプルの第１のセットは、サンプルの表現の精度とは無関係な精度で表される。

[0011]本発明の態様において、４分の１画素サンプルを生成するために、分数サンプル補間は、以下の係数の３つのセットのうちの１つを有する８タップＦＩＲフィルタを適用する。
［−１、４，−１０，５８，１７，−５，１，０］
［−１，４，−１１，４０，４０，−１１，４，−１］及び
［０，１，−５，１７，５８，−１０，４，−１］

[0012]本発明の態様において、分数サンプル補間は、分数サンプルが所望の精度を有するように、フィルタリングされた結果のそれぞれを切り捨てることを含む。所望の精度は、第１及び第２の分数補間プロセス全体にわたって一定であり得る。

[0013]切り捨てプロセスは、切り捨てられた結果を負の無限大方向に丸めることを含み得る。これは、切り捨てプロセスの前に、フィルタリングされた結果に何れのオフセットも追加しないことによって達成される。

[0014]更に本発明の他の態様において、サンプルは、サンプルの元のビット深度に関係なく、サンプルに対して一定な第２のビット深度までスケーリングされ得る。第２のビット深度は、サンプルを表すために使用可能なビット数に等しく設定することができ、スケーリング係数は、サンプルを表すために使用可能なビット数からサンプルの元のビット深度を引いたものに等しく設定される。

[0015]更に本発明の他の態様において、スケーリングされたサンプルはオフセットが減算される。

[0016]
本発明が実装可能な例示のハードウェアアーキテクチャを示すブロック図である。[0017] 本発明が適用可能なビデオ符号器の一般的概念を示すブロック図である。[0018] 本発明が適用可能なビデオ復号器の一般的概念を示すブロック図である。[0019] 本発明の実施形態に従った符号器の機能モジュールを示すブロック図である。[0020] 本発明の実施形態に従った、ビデオ符号器によって実行される符号化プロセスを示すフローチャートである。[0021] 本発明の実施形態に従った、分数サンプル補間のプロセスを示すフローチャートである。[0022] 分数サンプル補間のためのフィルタリングを示す図である。[0023] 本発明の実施形態に従った、復号器の機能モジュールを示すブロック図である。[0024] 本発明の実施形態に従った、ビデオ復号器によって実行される復号プロセスを示すフローチャートである。

[0025]図１は、本発明が実装可能なコンピュータ１００の例示のハードウェアアーキテクチャを示す。図１に示されるハードウェアアーキテクチャは、本発明の実施形態を実装するビデオ符号器及びビデオ復号器の両方において一般的であり得ることに留意されたい。コンピュータ１００は、プロセッサ１０１、メモリ１０２、記憶デバイス１０５、及び、ローカルインターフェース１０７を介して通信可能に結合された１つ又は複数の入力及び／又は出力（Ｉ／Ｏ）デバイス１０６（又は周辺装置）を含む。ローカルインターフェース１０７は、当分野で知られているように、例えば１つ又は複数のバス或いは他の有線接続又は無線接続であり得るが、これらに限定されない。

[0026]プロセッサ１０１は、特にメモリ１０２に格納されたソフトウェアを実行するための、ハードウェアデバイスである。プロセッサ１０１は、任意の特別注文又は市販のプロセッサ、中央処理ユニット（ＣＰＵ）、コンピュータ１００に関連付けられたいくつかのプロセッサの中の補助プロセッサ、半導体ベースの（マイクロチップ又はチップセットの形の）マイクロプロセッサ、或いは、一般にソフトウェア命令を実行するための任意のデバイスであり得る。

[0027]メモリ１０２は、揮発性メモリ要素（例えばランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等のＲＡＭ））及び不揮発性メモリ要素（例えばＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭ等）のうちの任意の１つ又はそれらの組み合わせを含むことが可能な、コンピュータ読み取り可能媒体を備える。更に、メモリ１０２は、電子、磁気、光、及び／又は他のタイプの記憶媒体を組み込むことができる。コンピュータ読み取り可能媒体は、命令実行のシステム、装置、又はデバイスによるか又はそれらに関連して使用するためのプログラムを格納、通信、伝搬、又は移送する任意の手段であり得る。メモリ１０２は、様々な構成要素が互いに遠隔に位置付けられるが、プロセッサ１０１によるアクセスが可能な、分散アーキテクチャを有し得ることに留意されたい。

[0028]メモリ１０２内のソフトウェア１０３は、１つ又は複数の別々のプログラムを含むことができ、プログラムのそれぞれは、以下で説明するように、コンピュータ１００の論理機能を実装するための実行可能命令の順序付けリストを含む。図１の例では、メモリ１０２内のソフトウェア１０３は、本発明によるコンピュータ１００のビデオ符号化機能又はビデオ復号機能を定義する。加えて、必須ではないが、メモリ１０２はオペレーティングシステム（Ｏ／Ｓ）１０４を含むことが可能である。オペレーティングシステム１０４は、本来、コンピュータプログラムの実行を制御し、スケジューリング、入力出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスを提供する。

[0029]コンピュータ１００の記憶デバイス１０５は、固定記憶デバイス又は移動記憶デバイスを含む、多くの異なるタイプの記憶デバイスのうちの１つであり得る。例として、記憶デバイス１０５は、磁気テープ、ディスク、フラッシュメモリ、揮発性メモリ、又は異なる記憶デバイスであり得る。加えて、記憶デバイス１０５は、セキュアなデジタルメモリカード又は任意の他の取り外し可能記憶デバイス１０５であり得る。

[0030]Ｉ／Ｏデバイス１０６は、例えばタッチスクリーン、キーボード、マウス、スキャナ、マイクロフォン、又は他の入力デバイス等であるがこれらに限定されない、入力デバイスを含み得る。Ｉ／Ｏデバイス１０６は、例えばディスプレイ又は他の出力デバイス等であるがこれらに限定されない、出力デバイスも更に含み得る。Ｉ／Ｏデバイス１０６は、例えば、変調器／復調器（例えば、他のデバイス、システム、又はネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）、無線若しくは他の送受信機、電話インターフェース、ブリッジ、ルータ、或いは入力及び出力として機能する他のデバイス等であるがこれらに限定されない、入力及び出力を介して通信するデバイスを、更に含み得る。

[0031]当業者であれば周知のように、ビデオ圧縮はビデオシーケンス内の冗長情報を除去することによって達成される。多くの異なるビデオ符号化標準が存在し、その例にはＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、及びＨ．２６４／ＡＶＣが含まれる。本発明は、任意の特定のビデオ符号化標準の適用において制限されるものと意図されていないことに留意されたい。しかしながら本発明は、参照により本明細書に組み込まれたＨ．２６４／ＡＶＣ標準の例を使用して、以下で説明される。Ｈ．２６４／ＡＶＣは最新のビデオ符号化標準であり、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、及びＨ．２６３等の以前の符号化標準に比べて著しい性能改善を達成している。

[0032]Ｈ．２６４／ＡＶＣでは、ビデオの各フレーム又はピクチャを幾つかのスライスに分割することができる。次にスライスは、マクロブロックと呼ばれる１６ｘ１６ピクセルのブロックに分割され、このブロックが、８ｘ１６、１６ｘ８、８ｘ８、４ｘ８、８ｘ４、４ｘ４までのピクセルのブロックに、更に分割され得る。Ｈ．２６４／ＡＶＣによってサポートされるスライスには５つのタイプがある。Ｉスライスでは、すべてのマクロブロックがイントラ予測を使用して符号化される。Ｐスライスでは、マクロブロックはイントラ予測又はインター予測を使用して符号化され得る。Ｐスライスは、マクロブロックごとに１つの動き補償予測（ＭＣＰ）信号のみが使用可能である。Ｂスライスでは、マクロブロックはイントラ予測又はインター予測を使用して符号化され得る。予測ごとに２つのＭＣＰ信号が使用可能である。ＳＰスライスは、異なるビデオストリーム間でＰスライスを効率良く切り換えることができる。ＳＩスライスは、ランダムアクセス又は誤り回復についてはＳＰスライスと完全に一致するが、イントラ予測のみを使用する。

[0033]図２は、本発明が適用可能なビデオ符号器の一般的概念を示す。図に示されたブロックは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される機能モジュールを表す。ビデオフレームのピクチャ２００は、ビデオ符号器２０１に送られる。ビデオ符号器はピクチャ２００をマクロブロック２００Ａ単位で扱う。各マクロブロックはいくつかのピクセルのピクチャ２００を含む。各マクロブロックで、変換係数への変換後、変換係数レベルへの量子化が実行される。更に、符号化ステップを、ピクセルデータに対して直接実行するのではなく、ピクセル値とピクセル値予測との間の相違に対して実行するように、イントラ予測又はインター予測が使用されることにより、より容易に圧縮される小さな値が達成される。

[0034]各スライスについて、符号器２０１は、それぞれのスライスのマクロブロックの符号化バージョンを形成するいくつかの構文要素を生成する。変換係数レベル又はスキップされる変換係数レベルを示す有意性マップ等の、変換係数の符号化に関する構文要素内のすべての残余データ要素は、残余データ構文要素と呼ばれる。これらの残余データ構文要素に加えて、符号器２０１によって生成される構文要素は、各マクロブロックがそれぞれどのように符号化され復号されるべきであるかに関する、制御情報を含む制御情報構文要素を含む。言い換えれば、構文要素は２つのカテゴリに分割することができる。第１のカテゴリである制御情報構文要素は、例えばマクロブロックタイプ、サブマクロブロックタイプ、及び、空間と時間の両方のタイプの予測モードに関する情報、並びにスライスベース及びマクロブロックベースの制御情報に関する要素を含む。第２のカテゴリでは、量子化された変換係数のブロック内部でのすべての有意係数の位置を示す有意性マップ、及び、量子化ステップに対応するレベル単位で表される有意係数の値等の、すべての残余データ要素が組み合わせられ、残余データ構文要素となる。

[0035]符号器２０１は、構文要素を符号化し、各スライスに対して算術符号語を生成する、エントロピー符号器を備える。スライスに対して算術符号語を生成する場合、エントロピー符号器は、ビデオ信号ビットストリーム内の構文要素のデータ値間での統計的依存を利用する。符号器２０１は、ピクチャ２００のスライスに関する符号化されたビデオ信号を、図３に示されたビデオ復号器３０１へと出力する。

[0036]図３は、本発明が適用可能なビデオ復号器の一般的概念を示す。ここでも同様に、図に示されたブロックは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される機能モジュールを表す。ビデオ復号器３０１は、復号化されたビデオ信号を受信し、第１にこの信号を構文要素へとエントロピー復号する。復号器３０１は、マクロブロックごとに、その後スライス順に、ピクチャ３００内のピクセルのピクチャサンプル３００Ａを再構成するためにこの構文要素を使用する。

[0037]図４はビデオ符号器２０１の機能モジュールを示し、図４内では全体として参照番号４００で示されている。これらの機能モジュールは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される。入力ビデオピクチャは、クロミナンス（「ｃｈｒｏｍａ」）及び輝度（「ｌｕｍａ」）等の、元の色の構成要素を表すサンプルポイントによって定義される、未処理の（非圧縮の）ビデオイメージのフレーム又はフィールドである。色相、彩度、及び色値等の他の構成要素も可能である。入力ビデオピクチャは、それぞれがピクチャカラーの１６ｘ１６ピクセルのｌｕｍａ構成要素からなる正方形のピクチャ域を表すマクロブロックに分割される。入力ビデオピクチャは、それぞれがピクチャカラーの２つのｃｈｒｏｍａ構成要素それぞれの８ｘ８ピクセルを表すマクロブロックにも区分される。一般的な符号器動作では、入力されるマクロブロックは、インター予測又はイントラ予測を使用して時間的又は空間的に予測され得る。しかしながら、マクロブロック４００がすべてＰスライスタイプのマクロブロックであるか、又はすべてＢスライスタイプのマクロブロックであるか、或いはその両方の混合であるかが、考察のために仮定され、インター予測のみが行われる。

[0038]図４に示されたビデオ符号器４００は、現行ピクチャと現行ピクチャの予測との残余又は相違のみを伝送する。減算器４１０はこれらの残余を、入力信号ＩＳとして符号化されることになる現行ピクチャのブロックを受信すること、及び、受信したブロックから予測信号ＰＳによって示される予測ピクチャのブロックを減算することによって、取得する。図４に示されるように、ビデオ符号器４００は、量子化された変換係数ＱＣを出力するための変換／量子化ユニット４２０を含む。変換／量子化ユニット４２０は残余を空間ドメインから周波数ドメインへと変換し、変換された残余を量子化する。ビデオ符号器４００は、量子化された変換係数ＱＣのエントロピー符号化（可変長符号化）を実行し、ビットストリームＢＳを出力するための、エントロピー符号化ユニット４９０も含む。

[0039]ビデオ符号器４００は、逆量子化／変換ユニット４３０及び加算器４３５を更に含む。逆量子化／変換ユニット４３０は、量子化された変換係数ＱＣを残余信号ＲＳに変換し直し、加算器４３５はこの残余信号ＲＳに予測信号ＰＳを加算して、復号されたピクチャを出力する。非ブロック化フィルタ４３７は復号されたピクチャからブロックアーティファクトを除去し、クリーニング済みの復号されたピクチャを参照メモリ４４０に格納する。

[0040]ビデオ符号器４００は、動き補償／予測ユニット４６０及び動き推定ユニット４７０を更に含む。動き補償／予測ユニット４６０は、参照メモリ４４０から参照ピクチャを読み取り、４分の１画素位置で分数サンプルを生成するために補間を適用する。動き推定ユニット４７０も、参照メモリ４４０から参照ピクチャを読み取り、現行ピクチャと参照ピクチャとを比較することによって、現行ピクチャの動きベクトルＭＶを推定する。動きベクトルＭＶは、動き補償／予測ユニット４６０及びエントロピー符号化ユニット４９０へと出力される。ブロックは、４ｘ４、４ｘ８、８ｘ４、８ｘ８、８ｘ１６、１６ｘ８、又は１６ｘ１６のピクセルを有する区画に分割され得る。動き推定ユニット４７０は、ブロック内のそれぞれの区画について動き推定を実行し、それぞれの区画に関する動きベクトルＭＶを出力する。動き補償／予測ユニット４６０は、参照ピクチャ内のそれぞれの区画を動きベクトルによって示される量だけ、示される方向に移動させ、予測ピクチャを導出して、この予測ピクチャが予測信号ＩＳとして減算器４１０及び加算器４３５に送られる。

[0041]図５は、ビデオ符号器４００によって実行される高レベルの符号化プロセスを示すフローチャートである。ステップ５０２で、動き補償／予測ユニット４６０は予測ブロックを生成する。ステップ５０４で、減算器４１０は予測ピクチャを現行ピクチャから減算し、残余を取得する。ステップ５０６で、変換／量子化ユニット４２０は残余を符号化する。

[0042]図６は、本発明の実施形態に従った、予測信号を生成するために動き補償／予測ユニット４６０によって実行される、動き補償のプロセスを示すフローチャートである。ステップ６０２で、動き補償／予測ユニット４６０は参照メモリ４４０から参照サンプルを読み取る。参照メモリ４４０は複数の参照ピクチャを格納する。Ｈ．２６４／ＡＶＣのセクション８．４．２及びそのサブセクションで考察しているように、参照メモリ４４０内に格納された参照ピクチャから取り出される参照サンプルの位置は、現行ピクチャ内の予測される領域の位置、その領域の動きベクトルＭＶ、及び参照フレームインデックスを用いて決定され得る。

[0043]ステップ６０４で、参照サンプルの精度を上げるために、取り出された参照サンプルがスケーリングされる。スケーリング係数は、参照サンプルのビット深度及び参照サンプルを表すために使用可能なビット数を用いて決定され得る。参照サンプルの表現に使用可能な最大ビット数が１６である場合、サンプルの表現に使用可能なビット数を１４に制限して、動き補償中に発生する可能性のあるデータのオーバーフロー又はアンダーフローを防止するように、参照サンプルを表すために使用可能なビット数を決定することができる。サンプルを表すために使用可能なビット数が１４の場合、８ビット幅の参照サンプルのスケーリング係数は６であり、取り出された参照サンプルは、そのビットを６ビットだけ左にシフトすることによってスケーリングされる。１０ビット幅の参照サンプルのスケーリング係数は４とされ、取り出された参照サンプルは、そのビットを４ビットだけ左にシフトすることによってスケーリングされる。より一般的には、スケーリング係数は「参照サンプルを表すために使用可能なビット数」から「参照サンプルのビット深度」を減じることによって表し得る。ステップ６０４で実行されるスケーリングプロセスは、参照メモリ内に格納される参照サンプルをそのビット深度とは無関係な形で変換し、スケーリングプロセスに続くプロセスは、ビデオデータの元のビット深度とは無関係になるため、有利である。

[0044]オプションで、参照サンプルのスケーリング値からオフセットを減算することができる。例えばスケーリング済み参照サンプルを表すために符号付き１４ビット表現が使用される場合、減算されることになるオフセットの値は８１９２（＝２^１３）となり得、スケーリング済み参照サンプルは−８１９２〜８１９２の範囲内となる。このオフセットを追加することは、サンプルを表すために必要なビット数を減らすために有益である。以下で説明する補間プロセスは符号付きサンプル値を扱うため、すべてのサンプル値の符号付き表現が好ましい。サンプルが１４ビット表現までスケーリングされる上記の例で、オフセットが減算されない場合、オフセットの減算から取得される１４ビット符号付き表現よりも費用のかかる、１５ビットの符号付き表現を使用しなければならなくなる。参照サンプルは、参照メモリ内に格納される際にスケーリング及びオフセットできることに留意されたい。参照サンプルがスケーリング及びオフセットの後に参照メモリに格納される場合、ステップ６０４は不要である。

[0045]スケーリング済み参照サンプルの解像度は、その後、４分の１画素位置で分数サンプルを生成するために分数サンプル補間を使用して引き上げられる。図７は、分数サンプル動き補償のためのフィルタリングを示す図である。図７で、大文字Ａ_ｉ，ｊはスケーリング済み参照サンプルを示す。これらのサンプルは整数サンプルと呼ばれる。ａ_０，０、ｂ_０，０、ｃ_０，０、ｄ_０，０、・・・及びｒ_０，０等の小文字で示された他のサンプルは、４分の１画素位置での分数サンプルである。ステップ６０６で、以下の補間式により、４分の１画素サンプルａ_０，０、ｂ_０，０、又はｃ_０，０が導出される。
ａ_０，０＝（−Ａ_−３，０＋４^＊Ａ_−２，０−１０^＊Ａ_−１，０＋５８^＊Ａ_０，０＋１７^＊Ａ_１，０−５^＊Ａ_２，０＋Ａ_３，０）＞＞６
ｂ_０，０＝（−Ａ_−３，０＋４^＊Ａ_−２，０−１１^＊Ａ_−１，０＋４０^＊Ａ_０，０＋４０^＊Ａ_１，０−１１^＊Ａ_２，０＋４^＊Ａ_３，０−Ａ_４，０）＞＞６
ｃ_０，０＝（Ａ_−２，０−５^＊Ａ_−１，０＋１７^＊Ａ_０，０＋５８^＊Ａ_１，０−１０^＊Ａ_２，０＋４^＊Ａ_３，０−Ａ_４，０）＞＞６
動きベクトルの水平構成要素の分数部は、どのサンプルが導出されるかを決定する。例えば分数部が１／４である場合、ａ_０，０が導出される。

[0046]補間動作のそれぞれが、８タップＦＩＲフィルタを最も近い整数サンプルに適用すること、及びフィルタ利得をオフセットするためにフィルタリングされた結果を切り捨てることを含む。各フィルタの係数の合計が６４（＝２^６）に等しく設定される。したがって、切り捨て動作は、フィルタリングされた結果を６４で割ること、又はフィルタリングされた結果を６だけ右にシフトすることを含む。上記の補間動作で、切り捨てられた結果が負の無限大方向に丸められることに留意されたい。フィルタリングされた結果にオフセットを追加することによって、切り捨てられた結果を最も近い整数方向に丸めることができる。しかしながら、負の無限大方向への丸めは、フィルタリングされた結果にオフセットを追加する必要がないため、有利である。オプションで、動きベクトルの水平構成要素によって指定される分数変位に応じて、１つのフィルタが選択的に適用される異なるタイプのフィルタを提供することができる。水平分数変位がゼロの場合、このステップは省略可能である。８ビット入力を伴う例において、ステップ６０６では６ビットの右シフト動作が存在し、ステップ６０４では６ビットの左シフト動作が存在することにも留意されたい。したがって、出力を変更することなく左シフト及び右シフトの動作が除去されるように、ステップ６０４及び６０６を組み合わせることができる。

[0047]ステップ６０８で、以下の補間式により、分数サンプルｄ_０，０、ｈ_０，０、ｎ_０，０、ｅ_０，０、ｉ_０，０、ｐ_０，０、ｆ_０，０、ｊ_０，０、ｑ_０，０、ｇ_０，０、ｋ_０，０、又はｒ_０，０が導出される。
ｄ_０，０＝（−Ａ_０，−３＋４^＊Ａ_０，−２−１０^＊Ａ_０，−１＋５８^＊Ａ_０，０＋１７^＊Ａ_０，１−５^＊Ａ_０，２＋Ａ_０，３）＞＞６
ｈ_０，０＝（−Ａ_０，−３＋４^＊Ａ_０，−２−１１^＊Ａ_０，−１＋４０^＊Ａ_０，０＋４０^＊Ａ_０，１−１１^＊Ａ_０，２＋４^＊Ａ_０，３−Ａ_０，４）＞＞６
ｎ_０，０＝（Ａ_０，−２−５^＊Ａ_０，−１＋１７^＊Ａ_０，−０＋５８^＊Ａ_０，１−１０^＊Ａ_０，２＋４^＊Ａ_０，３−Ａ_０，４）＞＞６
ｅ_０，０＝（−ａ_０，−３＋４^＊ａ_０，−２−１０^＊ａ_０，−１＋５８^＊ａ_０，０＋１７^＊ａ_０，１−５^＊ａ_０，２＋ａ_０，３）＞＞６
ｉ_０，０＝（−ａ_０，−３＋４^＊ａ_０，−２−１１^＊ａ_０，−１＋４０^＊ａ_０，０＋４０^＊ａ_０，１−１１^＊ａ_０，２＋４^＊ａ_０，３−ａ_０，４）＞＞６
ｐ_０，０＝（ａ_０，−２−５^＊ａ_０，−１＋１７^＊ａ_０，０＋５８^＊ａ_０，１−１０^＊ａ_０，２＋４^＊ａ_０，３−ａ_０，４）＞＞６
ｆ_０，０＝（−ｂ_０，−３＋４^＊ｂ_０，−２−１０^＊ｂ_０，−１＋５８^＊ｂ_０，０＋１７^＊ｂ_０，１−５^＊ｂ_０，２＋ｂ_０，３）＞＞６
ｊ_０，０＝（−ｂ_０，−３＋４^＊ｂ_０，−２−１１^＊ｂ_０，−１＋４０^＊ｂ_０，０＋４０^＊ｂ_０，１−１１^＊ｂ_０，２＋４^＊ｂ_０，３−ｂ_０，４）＞＞６
ｑ_０，０＝（ｂ_０，−２−５^＊ｂ_０，−１＋１７^＊ｂ_０，０＋５８^＊ｂ_０，１−１０^＊ｂ_０，２＋４^＊ｂ_０，３−ｂ_０，４）＞＞６
ｇ_０，０＝（−ｃ_０，−３＋４^＊ｃ_０，−２−１０^＊ｃ_０，−１＋５８^＊ｃ_０，０＋１７^＊ｃ_０，１−５^＊ｃ_０，２＋ｃ_０，３）＞＞６
ｋ_０，０＝（−ｃ_０，−３＋４^＊ｃ_０，−２−１１^＊ｃ_０，−１＋４０^＊ｃ_０，０＋４０^＊ｃ_０，１−１１^＊ｃ_０，２＋４^＊ｃ_０，３−ｃ_０，４）＞＞６
ｒ_０，０＝（ｃ_０，−２−５^＊ｃ_０，−１＋１７^＊ｃ_０，０＋５８^＊ｃ_０，１−１０^＊ｃ_０，２＋４^＊ｃ_０，３−ｃ_０，４）＞＞６
動きベクトルの水平及び垂直の構成要素の分数部は、どのサンプルが導出されるかを決定する。例えば水平分数部が１／４であり、垂直分数部が３／４である場合、ｐ_０，０が導出される。

[0048]上記の補間動作は、８タップＦＩＲフィルタをサンプルＡ_０，ｉ、ａ_０，ｉ、ｂ_０，ｉ、及びｃ_０，ｉに垂直に適用することを含み、ここでｉ＝−３・・４であり、フィルタリングされた結果を６分の１に切り捨てることを更に含む。本発明では、フィルタリングされたあらゆる結果が切り捨てられ、フィルタリングされた結果が、分数サンプルを算出するために切り捨てられていない中間値として使用されることはないことに留意されたい。したがって本発明では、サンプル値の精度は分数サンプル補間全体を通じて一定である。ステップ６０６及びステップ６０８は、どちらもサンプルの表現における精度を変更しない。

[0049]分数サンプル補間の上記実施形態では、垂直及び水平のフィルタリング動作で使用されるフィルタのセットはすべて８タップフィルタである。分数動き補間にはタップ数の異なるフィルタが使用できることに留意されたい。例えばサイズの小さなブロックにはタップの少ないフィルタを使用することが望ましい。タップの少ないフィルタを使用することで、参照メモリから取り出されるサンプル数が削減され、それによってメモリ帯域幅も削減できる。タップの少ないフィルタを使用することで、フィルタリング動作における乗算の回数も削減され、動き補償の効率が向上する。Ｈ．２６４／ＡＶＣは、動き補償のために、マクロブロック又はサブマクロブロックを１つ又は複数の区画に分割することが可能である。Ｈ．２６４／ＡＶＣでは、１６ｘ１６サイズのマクロブロックを、それぞれが４ｘ４、４ｘ８、８ｘ４、８ｘ８、８ｘ１６、又は１６ｘ８のサイズを有する１つ又は複数の区画に分割することができる。したがって、異なる数のタップを備えるフィルタを準備し、区画の幅に従って選択的に適用することができる。例えば、８タップフィルタは８に等しいか又は８よりも大きい幅を有する区画に適用可能であり、４タップフィルタは８よりも小さい幅を有する区画に適用可能である。一実施形態では、こうした４タップフィルタは係数［−４ ３６ ３６ −４］を有する。ＪＣＴ−ＶＣ草案Ｅ６０３は、符号化ユニット（ＣＵ）の概念を紹介している。ＮｘＮのサイズを有するＣＵは、ＮｘＮ、ＮｘＮ／２又はＮ／２ｘＮのサイズを有する１つ又は複数の区画に分割可能である。ＣＵの高さ又は幅がＮ又はＮ／２であるかどうかにかかわらず、異なるタップ数を備えるフィルタを選択的に適用可能である。

[0050]分数サンプル動き補償の上記の実施形態では、垂直分数サンプル補間（ステップ６０８）よりも水平分数サンプル補間（ステップ６０６）が先行する。符号器と復号器との間で予め順序に関する合意がある限り、この順序は交換可能であることに留意されたい。他の実施形態では、順序は符号器から復号器へと信号送信可能である。参照サンプルが８ビット幅の場合、水平及び垂直の補間の順序にかかわらず、順序計算の結果は同じとなる。その場合、符号器と復号器との間で順序に関する事前の合意は必要ない。

[0051]ＪＣＴ−ＶＣ草案Ｅ６０３で考察された動き補償では、中間値が垂直に導出され水平に適用されるか、又は水平に導出され垂直に適用されるかにかかわらず、同じ分数サンプルが導出できる。これは、中間値が垂直に導出され水平に適用されるべきであるか、又は水平に導出され垂直に適用されるべきであるかに関して、符号器と復号器との間で事前の合意が不要であるという意味で、有益である。しかしながら、中間値は本発明におけるよりも高い精度を有し、第２のＦＩＲフィルタをこれらの中間値に適用するコストは本発明の適用コストよりも高い。一般に、コストは精度に比例して上昇する。このコストは、精度が１６ビット等の一般的なワードサイズを超えるソフトウェアでのコストよりもかなり高い可能性がある。こうした場合、精度は次の一般的なワードサイズに適合するよう、更に拡張される。例えば、精度が１７ビットの中間値は３２ビットに拡張されることになる。ＪＣＴ−ＶＣ草案Ｅ６０３で考察されるようなより精度の高い中間値は、多大なコストの影響を有し、予測信号の正確さに関して著しい利点をもたらすことはない。

[0052]前述の本発明の実施形態では、水平及び垂直補間の順序は、符号器と復号器との間で固定される必要がある。しかしながら、水平及び垂直補間の順序を固定しても、符号器及び復号器にいかなるコストも発生させない。そればかりか、順序を固定することにより、動き補償は低い精度で動作可能であり、それでもなお十分に高い精度であって、乗算等の演算コストが引き下げられる。また、順序を固定することにより、分数サンプル補間全体を通じて計算精度が一定になる。したがってフィルタリング計算は、例えばサンプルの１６ビット符号付き範囲及びフィルタ係数の８ビット符号付き範囲等の、サンプルと係数との間のすべての乗算が、固定ビット範囲内で実行可能であるという点で、簡略化され得る。すべての乗算が固定ビット範囲内で実行されるため、フィルタリング動作は、ＳＩＭＤアーキテクチャ上で並行して効率良く実装され得る。

[0053]図６に戻ると、ステップ６１０で、導出されたサンプルに変換が適用される。こうした変換の例が、Ｈ．２６４／ＡＶＣのセクション８．４．２．３及びそのサブセクションで、重み付けされたサンプル予測プロセスとして説明されている。重み付けされたサンプル予測プロセスは、線形補間によって２つのサンプルセットを組み合わせる。変換は、フェードを含むシーンに関する符号化効率を向上させることができる。変換の結果として組み合わされたサンプルの値は、指定された範囲、例えば１６ビット符号付き範囲内に収まるようにクリッピングされ得る。このような変換が不要な場合、ステップ６１０は省略可能であることに留意されたい。

[0054]次に、ステップ６１２で、動き補償について他の予測を生成する必要があるかどうかがチェックされる。例えば、双方向平均化が実行される場合、それらを平均化するために２つの予測を生成する必要がある。他の予測が必要であると決定された場合、プロセスはステップ６０２に戻る。ステップ６１４で、双方向予測を生成するために２つの予測が平均化される。双方向平均化が指示されない場合、ステップ６１４はスキップされる。

[0055]ステップ６１６で、生成された予測は有効な範囲まで縮小（スケーリング）及びクリッピングされる。ステップ６１６で実行される縮小動作は、ステップ６０４で実行されたスケーリング動作を取り消し、ステップ６０４でサンプルの左シフトに使用されたビットと同じ数のビットだけ、生成された予測を右シフトする。右シフト動作の前に丸めオフセットを追加し、縮小された値を最も近い整数方向に丸めることが好ましい。ステップ６０４でサンプルからオフセットが減算される場合、同じオフセットが予測に追加される。予測がクリッピングされる有効範囲は、典型的には｛０．．．２５５｝として定義され、ここで格納される参照サンプルは８ビット幅である。一般に、有効範囲はＭビット幅の参照サンプルについて｛０．．．２^Ｍ−１｝として定義され得る。

[0056]本発明の実際の実装では、図６に示されるようにステップが別々に実行される必要はなく、いくつかのステップは組み合わせることができる。例えば、図６のステップでは別々に実行されたシフト動作を組み合わせることができる。その例として、ステップ６１４で実行された双方向平均化に含まれる右シフト動作と、ステップ６１６で実行された縮小に含まれる右シフト動作とを、組み合わせることができる。更に、例えば分数変位がなく、そのためＦＩＲフィルタリングが不要な場合等、プロセスが簡略化可能な環境に対して、複数の機能又は回路を実装することができる。

[0057]図８はビデオ復号器３０１の機能モジュールを示し、図８では全体として参照番号８００で示されている。これらの機能モジュールは、メモリ１０２内のソフトウェア１０３を実行するプロセッサ１０１によって実現される。図８では、エントロピー復号ユニット８１０が移動ピクチャ符号化装置４００によって出力されたビットストリームＢＳを取得し、ビットストリームのエントロピー復号処理を実行する。次にエントロピー復号ユニット８１０は、量子化された変換係数ＱＣを逆量子化／逆変換ユニット８２０に出力する。エントロピー復号ユニット８１０は、動きベクトルＭＶも動き補償／予測ユニット８６０に出力する。逆量子化／逆変換ユニット８２０は、逆量子化及び逆ＤＣＴ変換の復号処理を量子化された変換係数ＱＣで実行する。次に逆量子化／逆変換ユニット８２０は、残余信号ＲＳを出力する。

[0058]加算器８３０は、動き補償ユニット８６０から取得された予測信号ＰＳに残余信号ＲＳを追加し、復号されたピクチャを非ブロック化フィルタ８４０に出力する。非ブロック化フィルタ８４０は、復号されたピクチャからブロックアーティファクトを消去し、これを参照メモリ８５０に格納する。復号されたピクチャはメモリ８５０から取り出され、出力信号ＯＳとして出力される。

[0059]動き補償／予測ユニット８６０は、参照メモリ８５０に格納された参照ピクチャ内のサンプルを取り出し、図７に示されたような分数サンプル補間を実行する。この動き補償／予測ユニット８６０は、動きベクトルＭＶと分数サンプル補間が実行された参照ピクチャとに基づいて、予測を生成する。このようにして、動き補償／予測ユニット８６０は予測信号ＰＳを加算器８３０に出力する。

[0060]図９は、ビデオ復号器８００によって実行される高レベルの復号プロセスを示すフローチャートである。ステップ９０２で、動き補償／予測ユニット８６０は予測ブロックを生成する。ステップ９０４で、逆量子化／逆変換ユニット８２０は量子化された変換係数ＱＣを復号し、残余信号ＲＳを出力する。ステップ９０６で、加算器８３０は残余信号ＲＳを予測信号ＰＳに追加する。

[0061]当業者であれば、疑いなく前述の説明を読めば本発明の多くの変更及び修正が明らかとなるであろうが、例として表示及び説明された何れの特定の実施形態も、決して限定的であるものとみなされることを意図していないことを理解されよう。したがって、様々な実施形態の細部の参照は、それ自体で本発明に不可欠とみなされる特徴のみを示している特許請求の範囲を限定するものとは意図されない。

Claims (12)

1. フレーム間予測の下で実行される動き補償のためのビデオ復号方法であって、
   参照ピクチャメモリから参照サンプルを取り出すステップと、
   第１の分数サンプル補間を前記取り出された参照サンプルに第１の方向で適用して、分数サンプルの第１のセットを生成するステップと、
   第２の分数サンプル補間を前記分数サンプルの第１のセットに第２の方向で適用して、分数サンプルの第２のセットを生成するステップと、
   を実装するためにビデオ復号器のプロセッサによって実行されるコンピュータ実行可能ステップを含み、
   前記参照サンプルは、第１のビット深度で表され、
   前記分数サンプルの第１のセットは、前記参照サンプルの第１のビット深度とは関係なく、一定である第２のビット深度で表され、
   前記分数サンプル補間が、
   ［−１，４，−１１，４０，４０，−１１，４，−１］
   の係数を有する８タップＦＩＲフィルタを適用して、４分の１画素サンプルを生成し、
   前記第２のビット深度は、前記分数サンプルを表現するために使用可能なビット数に等しく設定され、前記第１のビット深度から前記第２のビット深度への調整処理は、前記分数サンプルを表現するために使用可能なビット数から前記整数サンプルの第１のビット深度を引いたものに等しく設定される係数に基づく、
   方法。
2. 前記分数サンプル補間が、前記分数サンプルが所望の精度を有するように、フィルタリングされた結果のそれぞれを切り捨てるステップを含む、請求項１に記載の方法。
3. 前記第２のビット深度は、前記第１の分数サンプル補間及び前記第２の分数サンプル補間の補間プロセス全体にわたって一定である、請求項２に記載の方法。
4. フィルタリングされた結果のそれぞれを切り捨てるステップが、切り捨てられた結果を負の無限大方向に丸めるステップを含む、請求項３に記載の方法。
5. 前記参照サンプルの前記第１のビット深度は、８または１０である、請求項１〜４のいずれか一項に記載の方法。
6. 前記第２のビット深度は、１４である、請求項１〜５のいずれか一項に記載の方法。
7. フレーム間予測の下で実行される動き補償のためのビデオ復号装置であって、
   参照ピクチャメモリから参照サンプルを取り出す取り出し部と、
   第１の分数サンプル補間を前記取り出された参照サンプルに第１の方向で適用して、分数サンプルの第１のセットを生成する第１分数サンプル補間適用部と、
   第２の分数サンプル補間を前記分数サンプルの第１のセットに第２の方向で適用して、分数サンプルの第２のセットを生成する第２分数サンプル補間適用部と、
   を備え、
   前記参照サンプルは、第１のビット深度で表され、
   前記分数サンプルの第１のセットは、前記参照サンプルの第１のビット深度とは関係なく、一定である第２のビット深度で表され、
   前記分数サンプル補間が、
   ［−１，４，−１１，４０，４０，−１１，４，−１］
   の係数を有する８タップＦＩＲフィルタを適用して、４分の１画素サンプルを生成し、
   前記第２のビット深度は、前記分数サンプルを表現するために使用可能なビット数に等しく設定され、前記第１のビット深度から前記第２のビット深度への調整処理は、前記分数サンプルを表現するために使用可能なビット数から前記整数サンプルの第１のビット深度を引いたものに等しく設定される係数に基づく、
   ビデオ復号装置。
8. 前記分数サンプル補間が、前記分数サンプルが所望の精度を有するように、フィルタリングされた結果のそれぞれを切り捨てることを含む、請求項７に記載のビデオ復号装置。
9. 前記第２のビット深度は、前記第１の分数サンプル補間及び前記第２の分数サンプル補間の補間プロセス全体にわたって一定である、請求項８に記載のビデオ復号装置。
10. フィルタリングされた結果のそれぞれを切り捨てることは、切り捨てられた結果を負の無限大方向に丸めることを含む、請求項８に記載のビデオ復号装置。
11. 前記参照サンプルの前記第１のビット深度は、８または１０である、請求項７〜１０のいずれか一項に記載のビデオ復号装置。
12. 前記第２のビット深度は、１４である、請求項７〜１１のいずれか一項に記載のビデオ復号装置。

Images