JP2022546155A - 解像度適応型ビデオコーディング - Google Patents

Abstract

動き予測中に現在のフレームの動き情報のサイズを変更することによってサポートされる、インターコード化された解像度適応型ビデオコーディングを実装するためのシステムおよび方法が提供され、参照フレームの画像情報を生成するための補間フィルタの、サブピクセル粒度への広範な適用の結果として発生するであろう広範な計算コストおよび計算時間を削減し、ひいては全体としてのデコードの計算コストおよび計算時間を削減する。本明細書で説明される方法およびシステムは、現在のフレームの解像度に対する参照フレームの解像度の比率を決定することと、現在のフレームのブロックの動きベクトルを決定し、現在のフレームのブロックの動きベクトルに対応する少なくとも１つのピクセル座標を計算することと、比率に従って、現在のフレームのブロックの動き情報を参照フレームの解像度に従ってサイズ変更することと、サイズ変更された動き情報に従って、参照フレームの予測ブロックを位置特定することと、続いて、参照フレームのスケーリングされた座標でブロックに補間フィルタを適用することを最小限に抑えるかまたは回避して、予測ブロックのサブピクセル値を生成することと、を含む。

Description

本発明は、解像度適応型ビデオコーディングに関する。

Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）およびＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などの従来のビデオコーディング形式では、シーケンス内のビデオフレームのサイズと解像度は、シーケンスレベルでヘッダーに記録される。したがって、フレーム解像度を変更するには、イントラコード化フレームから始めて、新しいビデオシーケンスを生成する必要があり、これは、インターコード化フレームよりも送信にかなり大きな帯域幅コストを伴う。その結果として、ネットワーク帯域幅が低くなったり、減少したり、抑制されたりしたときは、ダウンサンプリングされた低解像度のビデオをネットワーク経由で適応的に送信することが望ましいが、従来のビデオコーディング形式を使用しながら帯域幅の節約を実現することは、適応的にダウンサンプリングする帯域幅のコストが帯域幅の増加を相殺するため、困難である。

インターコード化フレームを送信しながら解像度の変更をサポートするための研究が行われている。ＡＯＭによって開発されたＡＶ１コーデックの実装では、ｓｗｉｔｃｈ＿ｆｒａｍｅと呼ばれる新しいフレームタイプが提供され、これは、以前のフレームとは異なる解像度で送信される場合がある。ただし、ｓｗｉｔｃｈ＿ｆｒａｍｅの動きベクトルコーディングは前のフレームの動きベクトルを参照できないため、ｓｗｉｔｃｈ＿ｆｒａｍｅの使用には制限がある。このような参照は、従来、帯域幅のコストを削減する別の方法を提供するので、ｓｗｉｔｃｈ＿ｆｒａｍｅを使用すると、帯域幅の増加を相殺するより大きな帯域幅の消費が依然として維持される。

次世代ビデオコーデック仕様ＶＶＣ／Ｈ．２６６の開発では、前のフレームを参照する動きベクトルコーディングをさらにサポートするために、いくつかの新しい動き予測コーディングツールが提供されている。これらの新しいコーディングツールに関して、ビデオシーケンスで解像度の変更を実装するには、新しい手法が必要である。

詳細な説明が添付の図を参照して記述される。図中、参照番号の左端の数字は、この参照番号が最初に出現する図を示す。異なる図で同じ参照番号を使用している場合、類似または同一の項目または機能を示す。

本開示の例示的な実施形態による、ビデオコーディングプロセスの例示的なブロック図を示す。 参照フレームをアップサンプリングすることによる、動き予測の例を示す。 本開示の例示的な実施形態による、解像度適応型ビデオコーディングを実装するビデオコーディング方法のフローチャートを示す。 本開示の例示的な実施形態による、参照フレームのサイズ変更を伴わない動き予測の例を示す。 本開示の例示的な実施形態による、参照フレームのサイズ変更を伴わない動き予測の例を示す。 本開示の例示的な実施形態による、参照フレームのサイズ変更を伴わない動き予測の例を示す。 解像度適応型ビデオコーディングを実装するための、本明細書に記載のプロセスおよび方法を実装するための例示的なシステムを示す。

本明細書で論じられるシステムおよび方法は、ビデオエンコーダにフレーム間適応解像度変更を実装すること、より具体的には、動き予測ビデオコーディング規格に基づいてフレーム間適応解像度変更を可能にするために、フレームの動き情報のサイズ変更を実装することを目的とする。

ＡＶＣ、ＨＥＶＣ、ＶＶＣ、および動き予測を実装する係るビデオコーディング規格と互換性があるように実装された本開示の例示的な実施形態によれば、フレームは、各々が１６ｘ１６ピクセルの寸法を有するマクロブロック（ＭＢ）に細分され得、これがさらにパーティションに細分され得る。ＨＥＶＣ規格と互換性があるように実装された本開示の例示的な実施形態によれば、フレームは、コーディングツリーユニット（ＣＴＵ）に細分され得、その輝度および彩度成分は、コーディングツリーブロック（ＣＴＢ）にさらに細分され得、これがさらにコーディングユニット（ＣＵ）に細分される。他の規格として実装される本開示の例示的な実施形態によれば、フレームは、ＮｘＮピクセルのユニットに細分され得、次いで、サブユニットにさらに細分され得る。細分化されたフレームのこれらの最大のユニットの各々は、本開示の目的のため、概して「ブロック」と呼ばれ得る。

本開示の例示的な実施形態によれば、ブロックは、４ｘ４ピクセルの倍数の寸法を有するパーティションに細分され得る。例えば、ブロックのパーティションは、８ｘ４ピクセル、４ｘ８ピクセル、８ｘ８ピクセル、１６ｘ８ピクセル、または８ｘ１６ピクセルの寸法を有し得る。

本開示の例示的な実施形態によれば、動き予測コーディングフォーマットはデータフォーマットを指すことができ、フレームは、１つ以上の他のフレームの動き情報および予測ユニット（ＰＵ）への１つ以上の参照を含めることによって、フレームの動きベクトル情報および予測情報でエンコードされる。動き情報は、動きベクトルおよび現在のフレームまたは別フレームのブロックへの参照など、フレームまたはそのユニットもしくはサブユニットのブロック構造の動きを説明するデータを指すことができる。ＰＵは、ＭＢまたはＣＴＵなどのフレームの複数のブロック構造の中のブロック構造に対応するユニットまたは複数のサブユニットを指す場合があり、ブロックは、フレームデータに基づいて分割され、確立されたビデオコーデックに従ってコード化される。ＰＵに対応する動き情報は、本明細書に記載されているものを含むがこれらに限定されない、任意の動きベクトルコーディングツールによってエンコードされた動き予測を記述し得る。

同様に、フレームは、１つ以上の変換ユニット（ＴＵ）を含めることによって変換情報でエンコードされ得る。変換情報は、サブブロックに適用され得る、対角反転、垂直反転、または回転などのいくつかの空間変換のうちの１つを表す係数を指し得る。

ＰＵおよびＴＵなどのＣＵのサブブロックは、上述のようなサブブロックの寸法の任意の組み合わせで配置してよい。ＣＵは、ＴＵの階層構造である残差四分木（ＲＱＴ）に細分され得る。ＲＱＴは、各レベルのサブブロック上で、ＲＱＴの各レベルを再帰的に下げる、動き予測および残差コーディングの順序を提供する。

動き予測コーディングによるビデオエンコーダは、ビデオソースから画像を取得し、フレームをコード化して、送信のために出力され得る再構成されたフレームを取得することができる。再構成されたフレームのブロックは、イントラコード化またはインターコード化され得る。

図１は、本開示の例示的な実施形態によるビデオコーディングプロセス１００の例示的なブロック図を示す。

ビデオコーディングプロセス１００において、ビデオソース１０２からの画像は、再構成されたフレームを生成するためにエンコードされ得、再構成されたフレームは、参照フレームバッファ１０４または送信バッファなどの宛先で出力され得る。画像は、コーディングループに入力することができ、これは、画像を第１のインループアップサンプラーまたはダウンサンプラー１０６に入力するステップと、アップサンプリングまたはダウンサンプリングされた画像を生成するステップと、アップサンプリングまたはダウンサンプリングされた画像をビデオエンコーダ１０８に入力するステップと、参照フレームバッファ１０４の前の再構成フレームに基づいて再構成フレームを生成することと、再構成フレームを１つ以上のインループフィルタ１１０に入力するステップと、再構成フレームをループから出力するステップと、を含み得、これは、再構成フレームを第２のアップサンプラーまたはダウンサンプラー１１４に入力することと、アップサンプリングまたはダウンサンプリングされた再構成フレームを生成することと、アップサンプリングまたはダウンサンプリングされた再構成フレームを、参照フレームバッファ１０４に出力するかまたはビットストリームに送信される送信バッファに出力することと、を含み得る。

ビデオデコードプロセス１２０において、コード化されたフレームがビットストリーム１２１などのソースから取得される。本開示の例示的な実施形態によれば、ビットストリーム１２１内の位置Ｎを有する現在のフレームが与えられると、ビットストリーム１２１内の位置Ｎ－１を有する前のフレームは、現在のフレームの解像度より大きいかまたは小さい解像度を有し得、ビットストリーム１２１内の位置Ｎ＋１を有する次のフレームは、現在のフレームの解像度より大きいかまたは小さい解像度を有し得る。現在のフレームは、コーディングループに入力することができ、これは、現在のフレームをビデオデコーダ１２２に入力するステップと、現在のフレームを１つ以上のインループフィルタ１２４に入力するステップと、現在のフレームを第３のインループアップサンプラーまたはダウンサンプラー１２８入力するステップと、アップサンプリングまたはダウンサンプリングされた再構成フレームを生成するステップと、アップサンプリングまたはダウンサンプリングされた再構成フレームを、参照フレームバッファ１０４に出力するステップと、を含み得る。あるいは、現在のフレームをループから出力してもよく、これは、アップサンプリングまたはダウンサンプリングされた再構成されたフレームを表示バッファに出力することを含み得る。

本開示の例示的な実施形態によれば、ビデオエンコーダ１０８およびビデオデコーダ１２２は各々、本明細書に記載されるコーディングフォーマットを含むがこれらに限定されない、動き予測コーディングフォーマットを実装することができる。参照フレームバッファ１０４の前の再構成フレームに基づいて再構成フレームを生成することは、本明細書に記載されるインターコード化された動き予測を含むことができ、前の再構成フレームは、インループのアップサンプラーまたはダウンサンプラー１１４／１２８によって出力された、アップサンプリングまたはダウンサンプリングされた再構成フレームであり得、かつ前の再構成フレームは、本明細書に記載されるインターコード化された動き予測における参照画像として機能する。

本開示の例示的な実施形態によれば、動き予測情報は、予測ブロックを識別する動きベクトルを含み得る。動きベクトルは、現在のブロックと、現在のブロックのコーディングのために参照される予測ブロックとの間の変位を表す変位ベクトルであり得る。変位は、現在のフレーム上で水平方向および垂直方向のピクセルで測定できる。変位ベクトルは、現在のブロックのピクセルと、それぞれのブロック内の同じ位置にある予測ブロックの対応するピクセルとの間の変位を表すことができる。例えば、変位ベクトルは、現在のブロックの左上隅のピクセルから予測ブロックの左上隅のピクセルへの変位を表すことができる。

インターコード化された動き予測は、現在のフレームのブロックおよび現在のフレームの動きベクトルを追加して、予測ブロックを位置特定することができる。例えば、現在のフレームのブロックをデコードしている間、現在のフレームのブロックの左上隅にあるピクセルの座標が与えられると、動きベクトルは、現在のフレームのブロックについて動き情報が導出されるはずである、参照フレームの予測ブロックの座標を示し得る。参照フレームの予測ブロックの座標は、現在のフレームと参照フレームが同じ解像度を有し、これによりピクセルが現在のフレームと参照フレームの間で１対１で対応していると仮定すると、現在のフレームのブロックの座標に動きベクトルを追加することによって位置特定することができる。

さらに、動き予測は、整数ピクセルスケールまたはサブピクセルスケールの精度をサポートする場合がある。例えば、ＨＥＶＣ規格に従って実装される本開示の例示的な実施形態によれば、動き予測は、補間フィルタがフレームに適用されてフレームを４倍で補間するように、クォーターピクセルスケールの精度であり得る。つまり、フレームの２ピクセルごとに、サブピクセル画像情報として３ピクセルが生成される。４倍の補間フィルタは、例えば、７タップの双一次フィルタおよび８タップの離散コサイン変換（ＤＣＴ）ベースの有限インパルス応答（ＦＩＲ）フィルタとして実装され得る。補間は、第１の補間フィルタがフレームに適用されてフレームを２倍に補間するように、補間が半ピクセル精度まで実施される第１の段階で起こり得、次に、補間がクォーターピクセル精度まで実施される第２の段階で起こり得る。サブピクセルスケールへの動き予測精度は、整数ピクセルスケールへの動き予測精度よりも圧縮フレームの品質を向上させ得るが、代償として、補間される各ピクセルの計算コストと計算時間が増加する。

本開示の例示的な実施形態によれば、第１のアップサンプラーまたはダウンサンプラー１０６、第２のアップサンプラーまたはダウンサンプラー１１４、および第３のアップサンプラーまたはダウンサンプラー１２８は、各々が、動き予測コーディングフォーマットでコード化されたフレームの少なくともアップサンプリングまたはダウンサンプリングコード化されたピクセル情報にそれぞれ適したアップサンプリングまたはダウンサンプリングアルゴリズムを実装することができる。第１のアップサンプラーまたはダウンサンプラー１０６、第２のアップサンプラーまたはダウンサンプラー１１４、および第３のアップサンプラーまたはダウンサンプラー１２８は、各々が、動きベクトルなどの動き情報をそれぞれアップスケーリングおよびダウンスケーリングするのにさらに適したアップサンプリングまたはダウンサンプリングアルゴリズムを実装することができる。

したがって、前の再構成されたフレームなど、現在のフレームに対して再構成されたフレームを生成する際の参照画像として機能するフレームは、前のフレームおよび次のフレームの解像度に対する現在のフレームの解像度に従って、アップサンプリングまたはダウンサンプリングすることができる。例えば、現在のフレームが前のフレームと次のフレームのいずれかまたは両方の解像度よりも大きい解像度を有する場合、参照画像として機能するフレームをアップサンプリングすることができる。現在のフレームの解像度が前のフレームと次のフレームのいずれかまたは両方よりも小さい場合、参照画像として機能するフレームをダウンサンプリングすることができる。

図２は、上述のように、参照フレームをアップサンプリングすることによる、動き予測の例２００を示す。現在のフレーム２１０は、参照フレーム２２０の解像度の３倍の解像度を有し、これにより、現在のフレーム２１０は、参照フレーム２２０の各ピクセルに対して９ピクセルを有する。参照フレーム２２０の解像度と現在のフレーム２１０の解像度との比率は、１：３であり得る。座標（３，３）を有する現在のフレーム２１０のブロック２１２（すなわち、ブロック２１２の左上のピクセルがピクセル座標（３，３）を有する）、およびブロック２１２の動きベクトル（１，１）が与えられると、ブロック２１２の座標に動きベクトルを追加することにより座標（４，４）が得られる。したがって、動きベクトルは、（４，４）に座標を有する予測ブロックを示す。

参照フレーム２２０を、アップスケールされた参照フレーム２３０にアップサンプリングすることは、結果として現在のフレーム２１０に１対１で対応するピクセルを有するアップスケールされた参照フレーム２３０をもたらす。したがって、座標（４，４）は、アップスケールされた参照フレーム２３０に直接適用され得、アップスケールされた参照フレーム２３０内の（４，４）の予測ブロック２３２は、現在のフレーム２１０に対する動き予測において使用されてよい。

しかしながら、参照フレーム上でこのような操作を実施することは、ビデオコーディングプロセスおよび／またはビデオデコードプロセス中にかなりの計算コストおよび計算時間が発生し得る。例えば、参照フレームのアップサンプリングでは、補間フィルタを使用して、元の参照フレームのピクセル間に追加のサブピクセル画像情報を生成し、アップサンプリングされた参照フレームの追加のピクセルを埋めて、参照フレームのピクセルが現在のフレームのピクセルに１対１で対応するようにする。画像が、元の画像のすべてのピクセルに対してｘ倍にアップサイズされると、アップサンプリングされた画像の少なくとも追加のｘ－１ピクセル数が空で始まり、補間フィルタで埋める必要がある。ただし、参照フレームへの参照は、概して、現在のフレームの動きベクトルによって指し示される参照フレームの特定の予測ブロックへの参照であるため、参照フレームを利用する動き予測は、補間フィルタによって生成された新しいピクセルの大部分を参照する可能性は低い。したがって、ビデオデコードプロセス中に、参照フレームに補間フィルタを適用すると、最終的にビデオデコードプロセスに寄与しない多くのピクセルの計算を生じさせることがある。

本開示の例示的な実施形態によれば、参照フレームの解像度が現在のフレームの解像度とは異なるとビデオデコーダが判定すると、参照フレームがアップサンプリングまたはダウンサンプリングされる代わりに、ビデオデコーダが代わりに、動きベクトルを含む、現在のフレームの動き情報のサイズを変更し得る。現在のフレームの動き情報のサイズを変更するために、ビデオデコーダは、参照フレームの解像度に対する現在のフレームの解像度の比率を決定することができる。

図３は、本開示の例示的な実施形態による、解像度適応型ビデオコーディングを実施するビデオコーディング方法３００のフローチャートを示す。

ステップ３０２で、ビデオデコーダは、シーケンスからインターコード化された現在のフレームを取得する。現在のフレームは位置Ｎを有し得る。シーケンス内の位置Ｎ－１を有する前のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有し得、シーケンス内の位置Ｎ＋１を有する次のフレームは、現在のフレームの解像度よりも大きいかまたは小さい解像度を有し得る。

ステップ３０４で、ビデオデコーダは、参照フレームバッファから参照フレームを取得する。

ステップ３０６で、ビデオデコーダは、参照フレームの解像度を現在のフレームの解像度と比較し、参照フレームの解像度が現在のフレームの解像度とは異なると判定する。

本開示の例示的な実施形態によれば、現在のフレームの解像度とは異なる解像度を有する参照フレームは、例えば、参照フレームバッファの最新のフレームであり得るが、現在のフレームの解像度とは異なる解像度を有する参照フレームは、参照フレームバッファの最新のフレームではないフレームである場合がある。

ステップ３０８で、ビデオデコーダは、現在のフレームの解像度に対する参照フレームの解像度の比率を決定する。

図４Ａは、本明細書で説明される、参照フレームのサイズ変更なしの動き予測の例４００を示す。図２の図と同様に、現在のフレーム４１０は、参照フレーム４２０の解像度の３倍の解像度を有し、これにより、現在のフレーム４１０は、参照フレーム４２０の各ピクセルに対して９ピクセルを有し、参照フレーム４２０の解像度と現在のフレーム４１０の解像度との比率は、１：３である。

ステップ３１０において、ビデオデコーダは、現在のフレームのブロックの動きベクトルを決定し、現在のフレームのブロックの動きベクトルによって示されるピクセル座標を計算する。

動きベクトルは、動き予測のステップに従って決定することができる。動きベクトルを決定する動き予測を実施するステップは、本明細書では詳細に説明されないが、例えば、現在のフレームのブロックの動き候補リストを導出すること、導出された動き候補リストまたはマージ候補リストから動き候補を選択すること、および現在のフレームのブロックの動きベクトルとして動き候補の動きベクトルを導出することを含み得る。

デコーダは、ビデオエンコーディング規格に従って、最初にデコードされたブロックがフレームの最上部左端のブロックであるラスタスキャン順序など、フレームのブロック間のコード化順序でブロックごとにフレームをデコードすることができる。

図４Ａに示されるように、動きベクトルによって示されるピクセル座標を計算する例４００として、座標（３，３）を有する現在のフレーム４１０のブロック４１２（すなわち、ブロック４１２の左上のピクセルがピクセル座標（３，３）を有する）、およびブロック４１２の動きベクトル（１，１）が与えられると、ブロック４１２の座標に動きベクトルを追加することにより座標（４，４）が得られる。したがって、動きベクトルは、（４，４）に座標を有する予測ブロックを示す。

ステップ３１２で、ビデオデコーダは、比率に従って、現在のフレームのブロックの動き情報を参照フレームの解像度にサイズ変更する。

本開示の例示的な実施形態によれば、動き情報のサイズ変更は、スケーリングされた動きベクトルをスケーリングされたブロック座標に追加した後、結果として生じる座標をスケーリングして、動きベクトルによって示されるスケーリングされた座標を導出することを含み得る。

図４Ａに示されるように、参照フレーム４２０の解像度と現在のフレーム４１０の解像度との比率が１：３であると仮定して、参照フレーム４２０の座標（４，４）に予測ブロックを位置特定すると、不正確な結果が生じるであろう。図４Ａは、現在のフレーム４１０と同じ解像度で仮想参照フレーム４１６によって概説されるこの仮想予測ブロック４１４を示すが、本開示の例示的な実施形態によれば存在しない。代わりに、ビデオデコーダは、比率１：３に基づいて座標（４，４）に１／３の係数を掛けて、座標（４／３，４／３）をもたらし得る。図４Ａは、参照フレーム４２０内にこれらの座標を有する仮想ブロック４１８を示している。

ステップ３１４で、ビデオデコーダは、サイズ変更された動き情報に従って、参照フレームの予測ブロックを位置特定する。

サイズ変更された動き情報だけでは、参照フレームの予測ブロックを位置特定するには不十分な場合がある。特に、動きベクトルによって示されるスケーリングされた座標は、参照フレームの解像度に比例し得るが、参照フレームの整数ピクセル座標に対応しない場合があり、さらに、ビデオデコーダがハーフピクセル動き予測を実装する場合は参照フレームのハーフピクセル座標に対応しない場合があり、さらに、ビデオデコーダがクォーターピクセルの動き予測を実装する場合は参照フレームのクォーターピクセル座標に対応しない場合がある。したがって、ビデオデコーダは、ブロックのスケーリングされた座標を、ビデオデコーダによってサポートされる最も近いピクセルスケールまたはサブピクセルスケールにさらに丸めることができる。

図４Ｂおよび図４Ｃによって示されるように、例えば、動きベクトルによって示される（４／３，４／３）のスケーリングされた座標は、整数ピクセル精度であろうと、ハーフピクセル精度であろうと、またはクォーターピクセル精度であろうと、参照フレーム４２０内のどのピクセル座標にも対応し得ない。したがって、ビデオデコーダがクォーターピクセルの精度をサポートしている場合、ビデオデコーダはスケーリングされた座標をクォーターピクセルの精度に丸めてよく、したがって、（４／３，４／３）は（１．２５，１．２５）に丸められ、予測ブロック４２２を（１．２５，１．２５）に位置特定し得る。ビデオデコーダがクォーターピクセルの精度をサポートしていないがハーフピクセルの精度をサポートしている場合、ビデオデコーダは、スケーリングされた座標をハーフピクセルの精度に丸めてよく、したがって、（４／３，４／３）は（１．５，１．５）に丸められ、予測ブロック（図示せず）を（１．５，１．５）に位置特定し得る。ビデオデコーダがどちらのレベルのサブピクセル精度もサポートしていない場合、ビデオデコーダはスケーリングされた座標を整数ピクセルの精度に丸めてよく、したがって、（４／３，４／３）は（１，１）に丸められ、予測ブロック４２４を（１，１）に位置特定し得る。

スケーリングされた座標がすでにサブピクセル精度である場合、丸めは不要な場合があり、ビデオデコーダは、参照フレームのスケーリングされた座標に直接予測ブロックを位置特定することができる。

本開示の他の例示的な実施形態によれば、スケーリングされた座標がビデオエンコーダによってサポートされる精度のいかなるレベルにも対応しない場合、ビデオデコーダは、それにもかかわらず、スケーリングされた座標を、ビデオデコーダによってサポートされる最高の粒度レベルの精度に丸めない場合がある。代わりに、ビデオデコーダは、スケーリングされた座標を、サポートされている最高レベルよりも低い粒度レベルの精度に丸め得る。

ステップ３１６で、スケーリングされた座標がサブピクセル精度であるか、またはサブピクセル精度に丸められている場合、ビデオデコーダは、参照フレームのスケーリングされた座標のブロックに補間フィルタを適用して、予測ブロックのサブピクセル値を生成する。補間フィルタは、上述のように適用することができ、さらに、スケーリングされた座標がハーフピクセル精度であるか、またはハーフピクセル精度に丸められる場合、上述の補間の第１段階のみが実施されてよく、第２段階はスキップされるため、デコードの計算コストおよび計算時間が削減される。

スケーリングされた座標が整数ピクセル精度であるか、整数ピクセル精度に丸められる場合、ビデオデコーダは参照ブロックのピクセルに補間フィルタを適用する必要はなく、ステップ３１６は、動き予測で直接使用されている参照フレームのスケーリングされた座標のブロックのピクセルをスキップすることができる。補間フィルタの適用を回避することにより、デコードの計算コストおよび計算時間を大幅に削減できる。

同様に、ビデオデコーダが、スケーリングされた座標を、ステップ３１４に関して説明したようにサポートされる最高レベルよりも低い粒度レベルの精度に丸める場合、計算コストおよび計算時間を同様に削減することができる。

続いて、ステップ３１６が実施されるかスキップされるかにかかわらず、ビデオデコーダは、参照フレームおよびその中に位置特定された予測ブロックを参照することによって、現在のブロックをデコードすることができる。デコードされたフレームは、ビットストリームによってサポートされる複数の解像度の異なる解像度に従って、各々が複数の解像度にアップサンプリングまたはダウンサンプリングされてよい。アップサンプリングおよび／またはダウンサンプリングされたデコードされたフレームは、参照フレームバッファおよび表示バッファのうちの少なくとも１つに入力され得る。

図５は、解像度適応型ビデオコーディングを実装するための、上述したプロセスおよび方法を実装するための例示的なシステム５００を示す。

本明細書で説明される技術およびメカニズムは、システム５００の複数のインスタンスによって、ならびに他の任意のコンピューティングデバイス、システム、および／または環境によって実装され得る。図５に示されるシステム５００は、システムの一例に過ぎず、上述のプロセスおよび／または手順を実施するために利用される任意のコンピューティングデバイスの使用範囲または機能に関する制限を示唆することを意図するものではない。実施形態での使用に適し得る他の既知のコンピューティングデバイス、システム、環境、および／または構成として、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、ゲームコンソール、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムもしくはデバイスのうちのいずれかを含む分散コンピューティング環境、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）を使用した実装、および特定用途向け集積回路（「ＡＳＩＣ」）、ならびに／または同様のものが挙げられるが、これらに限定されない。

システム５００は、プロセッサ５０２に通信可能に結合された、１つ以上のプロセッサ５０２およびシステムメモリ５０４を含み得る。プロセッサ５０２は、１つ以上のモジュールおよび／またはプロセスを実行して、プロセッサ５０２に様々な機能を実行させることができる。いくつかの実施形態では、プロセッサ５０２は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、ＣＰＵとＧＰＵの両方、または当技術分野で知られている他の処理装置もしくは構成要素を含み得る。さらに、プロセッサ５０２の各々は、それ自身のローカルメモリを所有することができ、それはまた、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムを格納することができる。

システム５００の正確な構成およびタイプに応じて、システムメモリ５０４は、ＲＡＭなどの揮発性、ＲＯＭなどの不揮発性、フラッシュメモリ、ミニチュアハードドライブ、メモリカード、および同様のもの、またはそれらの何らかの組み合わせであってよい。システムメモリ５０４は、プロセッサ５０２によって実行可能な１つ以上のコンピュータ実行可能モジュール５０６を含み得る。

モジュール５０６は、限定されないが、動き予測モジュール５０８を含んでよく、動き予測モジュール５０８は、フレーム取得サブモジュール５１０、参照フレーム取得サブモジュール５１２、解像度比較サブモジュール５１４、比率決定サブモジュール５１６、動きベクトル決定サブモジュール５１８、動き情報サイズ変更サブモジュール５２０、予測ブロック位置特定サブモジュール５２２、および補間フィルタ適用モジュール５２４を含み得る。

フレーム取得サブモジュール５１０は、図３を参照して前述したように、シーケンスからインターコード化された現在のフレームを取得するように構成され得る。

基準フレーム取得サブモジュール５１２は、図３を参照して前述したように、基準フレームバッファから基準フレームを取得するように構成され得る。

解像度比較サブモジュール５１４は、図３を参照して前述したように、参照画像の解像度を現在のフレームの解像度と比較し、参照フレームの解像度が現在のフレームの解像度とは異なることを判定するように構成され得る。

比率決定サブモジュール５１６は、図３を参照して前述したように、現在のフレームの解像度に対する参照フレームの解像度の比率を決定するように構成され得る。

動き情報決定サブモジュール５１８は、図３を参照して前述したように、現在のフレームのブロックの動きベクトルを決定し、現在のフレームのブロックの動きベクトルによって示されるピクセル座標を計算するように構成され得る。

動き情報サイズ変更サブモジュール５２０は、図３を参照して前述したように、比率に従って、現在のフレームのブロックの動き情報を参照フレームの解像度にサイズ変更するように構成され得る。

予測ブロック位置特定サブモジュール５２２は、図３を参照して前述したように、サイズ変更された動き情報に従って、参照フレームの予測ブロックを位置特定するように構成され得る。

補間フィルタ適用サブモジュール５２４は、図３を参照して前述したように、スケーリングされた座標がサブピクセル精度であるか、またはサブピクセル精度に丸められる場合に、参照フレームでスケーリングされた座標で補間フィルタをブロックに適用し、予測ブロックのサブピクセル値を生成するように構成され得る。

システム５００は、ビデオソースデータおよびビットストリームデータを受信するため、ならびにデコードされたフレームを参照フレームバッファおよび／または表示バッファに出力するための、入力／出力（Ｉ／Ｏ）インターフェース５４０をさらに含み得る。システム５００はまた、システム５００がネットワーク（図示せず）を介して他のデバイス（図示せず）と通信することを可能にするための通信モジュール５５０を含み得る。ネットワークとして、インターネット、有線ネットワークまたは直接有線接続などの有線メディア、ならびに音響、無線周波数（ＲＦ）、赤外線、およびその他の無線メディアなどの無線メディアが挙げられ得る。

上述した方法の一部またはすべての操作は、以下に定義するように、コンピュータ可読記憶媒体に格納されたコンピュータ可読命令を実行することによって実施可能である。本説明および特許請求の範囲で使用される「コンピュータ可読命令」という用語は、ルーチン、アプリケーション、アプリケーションモジュール、プログラムモジュール、プログラム、構成要素、データ構造、アルゴリズムなどを含む。コンピュータ可読命令は、シングルプロセッサまたはマルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースのプログラム可能な家庭用電化製品、それらの組み合わせなどを含む、様々なシステム構成で実装することができる。

コンピュータ可読記憶媒体は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）など）および／または不揮発性メモリ（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリなど）を含み得る。また、コンピュータ可読記憶媒体は、追加のリムーバブル記憶装置および／または非リムーバブル記憶装置も含み、これにはフラッシュメモリ、磁気記憶装置、光学記憶装置、および／またはコンピュータ可読命令、データ構造、プログラムモジュールなどの不揮発性記憶装置を提供し得るテープ記憶装置が挙げられるが、これらに限定されない。

非一時的なコンピュータ可読記憶媒体は、コンピュータ可読媒体の一例である。コンピュータ可読媒体は、少なくとも２つのタイプのコンピュータ可読媒体、すなわち、コンピュータ可読記憶媒体および通信媒体を含む。コンピュータ可読記憶媒体としては、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するための、任意のプロセスまたは技術で実装される、揮発性および不揮発性、リムーバブル媒体および非リムーバブル媒体が挙げられる。コンピュータ可読記憶媒体として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくはその他のメモリ技術、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくはその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、またはコンピューティングデバイスによるアクセスのための情報を格納するために使用され得る他の任意の非伝送媒体が挙げられるが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他の送信メカニズムなどの変調されたデータ信号で具体化することができる。本明細書で採用されるコンピュータ可読記憶媒体は、電波もしくは他の自由伝播電磁波、導波管もしくは他の伝送媒体（光ファイバーケーブルを通る光パルスなど）、またはワイヤーを通って伝播する電気信号を伝播する電磁波などの、一時的な信号自体として解釈されてはならない。

１つ以上の非一時的なコンピュータ可読記憶媒体に格納されたコンピュータ可読命令は、１つ以上のプロセッサによって実行されると、図１～図５を参照して上述した動作を実行することができる。概して、コンピュータ可読命令には、特定の機能を実施するかもしくは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。動作が説明される順序は、制限として解釈されることを意図されておらず、説明された任意の数の動作を任意の順序でおよび／または並行して組み合わせて、プロセスを実行することができる。

上記の技術的解決策により、本開示は、動き予測中に現在のフレームの動き情報のサイズを変更することによってサポートされるインターコード化された解像度適応型ビデオコーディングを提供し、サブピクセル粒度への参照フレームの画像情報を生成するための補間フィルタの広範な適用の結果として発生するであろう広範な計算コストおよび計算時間を削減し、ひいては全体としてのデコードの計算コストおよび計算時間を削減する。本明細書で説明される方法およびシステムは、現在のフレームの解像度に対する参照フレームの解像度の比率を決定することと、現在のフレームのブロックの動きベクトルを決定し、現在のフレームのブロックの動きベクトルによって示されるピクセル座標を計算することと、比率に従って、現在のフレームのブロックの動き情報を参照フレームの解像度にサイズ変更することと、サイズ変更された動き情報に従って、参照フレームの予測ブロックを位置特定することと、続いて、参照フレームのスケーリングされた座標でブロックに補間フィルタを適用することを最小限に抑えまたは回避して、予測ブロックのサブピクセル値を生成することと、を含む。

実施例の項
Ａ．現在のフレームのブロックの動き情報を決定することであって、この動き情報は、ブロックの動きベクトルと、動きベクトルによって示される少なくとも１つのピクセル座標とを含む、決定することと、参照フレームの解像度に従って動き情報のサイズを変更することと、サイズ変更された動き情報に従って、参照フレームの予測ブロックを位置特定することと、位置特定された予測ブロックを参照することにより、現在のブロックで動き予測を実施することと、を含む、方法。
Ｂ．参照フレームの解像度が現在のフレームの解像度とは異なることを判定することと、現在のフレームの解像度に対する参照フレームの解像度の比率を決定することと、をさらに含む、段落Ａで述べている方法。
Ｃ．動きベクトルに対応する少なくとも１つのピクセル座標を決定することは、動きベクトルをブロックの少なくとも１つのピクセル座標に追加することを含む、段落Ｂで述べている方法。
Ｄ．参照フレームの解像度に従って動き情報のサイズを変更することは、現在のフレームの解像度に対する参照フレームの解像度の比率によって、動きベクトルに対応する少なくとも１つのピクセル座標をスケーリングして、動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出することを含む、段落Ｃで述べている方法。
Ｅ．参照フレームの予測ブロックを位置特定することは、少なくとも１つのスケーリングされた座標を各々、整数ピクセルスケール上のそれぞれの最も近い値に丸めることを含む、段落Ｄで述べている方法。
Ｆ．位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、補間フィルタが参照フレームに適用されない、段落Ｆで述べている方法。
Ｇ．参照フレームの予測ブロックを位置特定することは、少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることを含む、段落Ｄで述べている方法。
Ｈ．位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、サブピクセルスケールの精度の補間フィルタが、少なくとも１つのスケーリングされた座標で参照フレームに適用される、段落Ｇで述べている方法。
Ｉ．サブピクセルスケールは、クォーターピクセルスケールより粒度が細かくない、段落Ｈで述べている方法。
Ｊ．フレームのＣＴＢにＳＡＯを適用することを決定することは、フレームのヘッダフラグの値に基づいてＣＴＢにバンドオフセットを適用することを決定することをさらに含む、段落Ｉで述べている方法。
Ｋ．１つ以上のプロセッサと、この１つ以上のプロセッサに通信可能に結合されたメモリとを備えるシステムであって、メモリは、１つ以上のプロセッサによって実行されると関連する動作を実施する、１つ以上のプロセッサによって実行可能なコンピュータ実行可能モジュールを格納し、コンピュータ実行可能モジュールは、現在のフレームのブロックの動き情報を決定するように構成された動き情報決定サブモジュールを含む、動き予測モジュールであって、動き情報は、ブロックの動きベクトルと、動きベクトルに対応する少なくとも１つのピクセル座標と、を含む、動き予測モジュールと、参照フレームの解像度に従って動き情報のサイズを変更するように構成された、動き情報サイズ変更サブモジュールと、サイズ変更された動き情報に従って参照フレームの予測ブロックを位置特定するように構成された、予測ブロック位置特定サブモジュールとを含み、動き予測モジュールは、位置特定された予測ブロックを参照することによって、現在のブロックで動き予測を実施するようにさらに構成されている、システム。
Ｌ．動き予測モジュールが、参照フレームの解像度が現在のフレームの解像度とは異なることを判定するように構成された解像度比較サブモジュールと、現在のフレームの解像度に対する参照フレームの解像度の比率を決定するように構成された比率決定サブモジュールと、をさらに備える、段落Ｋで述べているシステム。
Ｍ．動き情報決定サブモジュールが、動きベクトルをブロックの１つのピクセル座標に追加することによって、動きベクトルに対応する少なくとも１つのピクセル座標を決定するように構成されている、段落Ｌで述べているシステム。
Ｎ．動き情報サイズ変更サブモジュールが、動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出するために、現在のフレームの解像度に対する参照フレームの解像度の比率によって動きベクトルに対応する少なくとも１つのピクセル座標をスケーリングすることにより、参照フレームの解像度に従って動き情報をサイズ変更するように構成されている、段落Ｍで述べているシステム。
Ｏ．予測ブロック位置特定サブモジュールが、少なくとも１つのスケーリングされた座標を各々、整数ピクセルスケール上のそれぞれの最も近い値に丸めることによって参照フレームの予測ブロックを位置特定するように構成されている、段落Ｎで述べているシステム。
Ｐ．動き予測モジュールが、位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、補間フィルタが参照フレームに適用されない、段落Ｏで述べているシステム。
Ｑ．予測ブロック位置特定サブモジュールが、少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることによって参照フレームの予測ブロックを位置特定するように構成されている、段落Ｎで述べているシステム。
Ｒ．動き予測モジュールが、位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、少なくとも１つのスケーリングされた座標で参照フレームにサブピクセルスケールの精度の補間フィルタを適用するように構成されたサブモジュールを適用する、補間フィルタをさらに備える、段落Ｑで述べているシステム。
Ｓ．サブピクセルスケールは、クォーターピクセルスケールよりも粒度が細かくない、段落Ｒで述べているシステム。
Ｔ．１つ以上のプロセッサによって実行可能なコンピュータ可読命令を格納するコンピュータ可読記憶媒体であって、コンピュータ可読命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、現在のフレームのブロックの動き情報を決定することであって、この動き情報がブロックの動きベクトルと動きベクトルに対応する少なくとも１つのピクセル座標とを含む決定することと、参照フレームの解像度に従って動き情報のサイズを変更することと、サイズ変更された動き情報に従って参照フレームの予測ブロックを位置特定することと、位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施することと、を含む動作を実施させる、コンピュータ可読記憶媒体。
Ｕ．上記動作は、参照フレームの解像度が現在のフレームの解像度とは異なることを判定することと、現在のフレームの解像度に対する参照フレームの解像度の比率を決定することと、をさらに含む、段落Ｔで述べているコンピュータ可読記憶媒体。
Ｖ．動きベクトルに対応する少なくとも１つのピクセル座標を決定することは、動きベクトルをブロックの少なくとも１つのピクセル座標に追加することを含む、段落Ｕで述べているコンピュータ可読記憶媒体。
Ｗ．参照フレームの解像度に従って動き情報のサイズを変更することは、現在のフレームの解像度に対する参照フレームの解像度の比率によって、動きベクトルに対応する少なくとも１つのピクセル座標をスケーリングして、動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出することを含む、段落Ｖで述べているコンピュータ可読記憶媒体。
Ｘ．参照フレームの予測ブロックを位置特定することは、少なくとも１つのスケーリングされた座標を各々、整数ピクセルスケール上のそれぞれの最も近い値に丸めることを含む、段落Ｗで述べているコンピュータ可読記憶媒体。
Ｙ．位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、補間フィルタが参照フレームに適用されない、段落Ｘで述べているコンピュータ可読記憶媒体。
Ｚ．参照フレームの予測ブロックを位置特定することは、少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることを含む、段落Ｗで述べているコンピュータ可読記憶媒体。
ＡＡ．位置特定された予測ブロックを参照することによって現在のブロックで動き予測を実施する前に、サブピクセルスケールの精度の補間フィルタが、少なくとも１つのスケーリングされた座標で参照フレームに適用される、段落Ｚで述べているコンピュータ可読記憶媒体。
ＢＢ．サブピクセルスケールは、クォーターピクセルスケールよりも粒度が細かくない、段落ＡＡで述べているコンピュータ可読記憶媒体。

本主題は、構造的特徴および／または方法論的動作に特定の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも説明された特定の特徴または動作に限定されないことを理解されたい。むしろ、特定の特徴および動作は、特許請求の範囲を実装する例示的な形態として開示されている。

Claims (20)

1. 現在のフレームのブロックの動き情報を決定することであって、前記動き情報は、前記ブロックの動きベクトルと、前記動きベクトルに対応する少なくとも１つのピクセル座標とを含む、決定することと、
   参照フレームの解像度に従って、前記動き情報のサイズを変更することと、
   前記サイズ変更された動き情報に従って、前記参照フレームの予測ブロックを位置特定することと、
   前記位置特定された予測ブロックを参照することによって、前記現在のブロックで動き予測を実施することと、を含む、方法。
2. 前記参照フレームの前記解像度が前記現在のフレームの解像度とは異なることを判定することと、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の比率を決定することとをさらに含む、請求項１に記載の方法。
3. 前記動きベクトルに対応する前記少なくとも１つのピクセル座標を決定することは、前記動きベクトルを前記ブロックの少なくとも１つのピクセル座標に追加することを含む、請求項２に記載の方法。
4. 前記参照フレームの解像度に従って前記動き情報のサイズを変更することは、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の前記比率によって、前記動きベクトルに対応する前記少なくとも１つのピクセル座標をスケーリングして、前記動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出することを含む、請求項３に記載の方法。
5. 前記参照フレームの前記予測ブロックを位置特定することは、前記少なくとも１つのスケーリングされた座標を各々、整数ピクセルスケール上のそれぞれの最も近い値に丸めることを含む、請求項４に記載の方法。
6. 前記参照フレームの前記予測ブロックを位置特定することは、少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることを含む、請求項４に記載の方法。
7. 前記位置特定された予測ブロックを参照することによって前記現在のブロックで動き予測を実施する前に、前記サブピクセルスケールの精度の補間フィルタが、前記少なくとも１つのスケーリングされた座標で前記参照フレームに適用される、請求項６に記載の方法。
8. １つ以上のプロセッサと、
   前記１つ以上のプロセッサに通信可能に結合されたメモリと、を備えるシステムであって、前記メモリは、前記１つ以上のプロセッサによって実行されると関連する動作を実施する、前記１つ以上のプロセッサによって実行可能なコンピュータ実行可能モジュールを格納し、前記コンピュータ実行可能モジュールは、
   現在のフレームのブロックの動き情報を決定するように構成された動き情報決定サブモジュールを含む、動き予測モジュールであって、前記動き情報は、前記ブロックの動きベクトルと、前記動きベクトルに対応する少なくとも１つのピクセル座標とを含む、動き予測モジュールと、
   参照フレームの解像度に従って前記動き情報のサイズを変更するように構成された、動き情報サイズ変更サブモジュールと、
   前記サイズ変更された動き情報に従って前記参照フレームの予測ブロックを位置特定するように構成された、予測ブロック位置特定サブモジュールと、を含み、
   前記動き予測モジュールは、前記位置特定された予測ブロックを参照することによって、前記現在のブロックで動き予測を実施するようにさらに構成されている、システム。
9. 前記動き予測モジュールは、前記参照フレームの前記解像度が前記現在のフレームの解像度とは異なることを判定するように構成された、解像度比較サブモジュールと、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の比率を決定するように構成された、比率決定サブモジュールと、をさらに備える、請求項８に記載のシステム。
10. 前記動き情報決定サブモジュールは、前記動きベクトルを前記ブロックの少なくとも１つのピクセル座標に追加することによって、前記動きベクトルに対応する前記少なくとも１つのピクセル座標を決定するように構成されている、請求項９に記載のシステム。
11. 前記動き情報サイズ変更サブモジュールは、前記動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出するために、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の前記比率によって前記動きベクトルに対応する前記少なくとも１つのピクセル座標をスケーリングすることにより、前記参照フレームの解像度に従って前記動き情報のサイズを変更するように構成されている、請求項１０に記載のシステム。
12. 前記予測ブロック位置特定サブモジュールは、前記少なくとも１つのスケーリングされた座標を各々、整数ピクセルスケール上のそれぞれの最も近い値に丸めることによって、前記参照フレームの前記予測ブロックを位置特定するように構成されている、請求項１１に記載のシステム。
13. 前記予測ブロック位置特定サブモジュールは、前記少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることによって、前記参照フレームの前記予測ブロックを位置特定するように構成されている、請求項１１に記載のシステム。
14. 前記動き予測モジュールが、前記位置特定された予測ブロックを参照することによって前記現在のブロックで動き予測を実施する前に、前記少なくとも１つのスケーリングされた座標で、前記参照フレームに前記サブピクセルスケールの精度の補間フィルタを適用するように構成されたサブモジュールを適用する補間フィルタをさらに備える、請求項１３に記載のシステム。
15. １つ以上のプロセッサによって実行可能なコンピュータ可読命令を格納するコンピュータ可読記憶媒体であって、前記コンピュータ可読命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    現在のフレームのブロックの動き情報を決定することであって、前記動き情報は、前記ブロックの動きベクトルと、前記動きベクトルに対応する少なくとも１つのピクセル座標とを含む、決定することと、
    参照フレームの解像度に従って、前記動き情報のサイズを変更することと、
    前記サイズ変更された動き情報に従って、前記参照フレームの予測ブロックを位置特定することと、
    前記位置特定された予測ブロックを参照することによって、前記現在のブロックで動き予測を実施することと、を含む動作を実施させる、コンピュータ可読記憶媒体。
16. 前記動作は、前記参照フレームの前記解像度が前記現在のフレームの解像度とは異なることを判定することと、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の比率を決定することと、をさらに含む、請求項１５に記載のコンピュータ可読記憶媒体。
17. 前記動きベクトルに対応する前記少なくとも１つのピクセル座標を決定することは、前記動きベクトルを前記ブロックの少なくとも１つのピクセル座標に追加することを含む、請求項１６に記載のコンピュータ可読記憶媒体。
18. 前記参照フレームの解像度に従って前記動き情報のサイズを変更することは、前記現在のフレームの前記解像度に対する前記参照フレームの前記解像度の前記比率によって、前記動きベクトルに対応する前記少なくとも１つのピクセル座標をスケーリングして、前記動きベクトルに対応する少なくとも１つのスケーリングされた座標を導出することを含む、請求項１７に記載のコンピュータ可読記憶媒体。
19. 前記参照フレームの前記予測ブロックを位置特定することは、前記少なくとも１つのスケーリングされた座標を各々、サブピクセルスケール上のそれぞれの最も近い値に丸めることを含む、請求項１８に記載のコンピュータ可読記憶媒体。
20. 前記位置特定された予測ブロックを参照することによって前記現在のブロックで動き予測を実施する前に、前記サブピクセルスケールの精度の補間フィルタが、前記少なくとも１つのスケーリングされた座標で前記参照フレームに適用される、請求項１９に記載のコンピュータ可読記憶媒体。

Images