JP7189370B2 - Ｃｕに基づく補間フィルタ選択のシグナリング - Google Patents

Description

本願は、２０２０年３月１１日に提出された米国特許出願第１６/８１５,３５４号「ＳＩＧＮＡＬＩＮＧ ＯＦ ＣＵ ＢＡＳＥＤ ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＦＩＬＴＥＲ ＳＥＬＥＣＴＩＯＮ」の優先権を主張し、当該米国特許出願は、２０１９年３月１２日にて提出された米国仮出願第６２/８１７,５０７号「ＳＩＧＮＡＬＩＮＧ ＯＦ ＣＵ ＢＡＳＥＤ ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＦＩＬＴＥＲ ＳＥＬＥＣＴＩＯＮ」の優先権を主張し、上記の各出願の全内容は本明細書に援用により組み込まれる。

本開示の内容は、一般的に動画符号化に関する実施形態を記載する。

本明細書で提供された背景記載は、本開示の背景を総体的に体現することを目的とする。この背景技術に記載された範囲について、現在署名の発明者の作業、及び提出の際、別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示に対する従来技術として認められない。

動き補償を有するインターピクチャ予測を使用して動画の符号化及び復号化を実行してもよい。非圧縮のデジタル動画は一連のピクチャを含み、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連付けられた色度サンプルの空間次元を有してもよい。当該一連のピクチャは、例えば、１秒当たり６０ピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非正式にはフレームレートとも呼ばれる）を有してもよい。非圧縮の動画には、高いビットレート要件がある。例えば、１サンプルあたり８ビットにおける１０８０ｐ６０ ４：２：０の動画（６０Ｈｚフレームレートでの１９２０×１０８０の輝度サンプルの解像度）は、約１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。１時間のこのような動画は、６００ＧＢを超えるストレージスペースが必要である。

動画符号化及び復号化は、圧縮により入力動画信号における冗長を減少させることを１つの目的とする。幾つかの場合、圧縮は、前記した帯域幅又はストレージスペースに対する要件を、２つ又はより多いオーダーだけ減少させることに寄与することができる。可逆圧縮、非可逆圧縮、及びその組み合わせを採用してもよい。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技術を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と異なる可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいから、再構築された信号は目的のアプリケーションに役立つ。動画の場合、非可逆圧縮は広く利用されている。許容される歪み量はアプリケーションに依存し、例えば、消費者ストリーミング媒体プリケーションのユーザがテレビ貢献アプリケーションのユーザよりも高い歪みを許容する。実現できる圧縮比は、許可／許容可能な歪みが高いほど、圧縮比が高くなることを反映している。

動画エンコーダとデコーダは、例えば、動き補償、変換、量子化、エントロピー符号化などを含む、いくつかの幅広いカテゴリの技術を利用し得る。

動画コーデック技術は、イントラ符号化と呼ばれる技術を含み得る。イントラ符号化の場合、サンプル値は、先に再構築された参照ピクチャからのサンプル、又は他のデータを参照せず示される。いくつかの動画コーデックでは、ピクチャは空間的にサンプルブロックに細分される。全てのサンプルブロックをイントラモードで符号化する場合、当該ピクチャはイントラピクチャであってもよい。イントラピクチャ及びその派生物、例えば、独立したデコーダリフレッシュピクチャは、デコーダの状態をリセットするために使用できるため、符号化された動画ビットストリームと動画セッションにおける第１のピクチャ、又は静止画像として使用されることができる。イントラブロックのサンプルを変換することができ、また、エントロピー符号化を行う前に、変換係数を量子化することができる。イントラ予測は、プレ変換ドメインにおいてサンプル値を最小化する技術であってもよい。幾つかの場合、変換されたＤＣ値が小さくてＡＣ係数が小さいほど、所定の量子化ステップサイズでエントロピー符号化されたブロックを表すために必要なビットが少なくなる。

例えばＭＰＥＧ－２世代の符号化技術から知られている従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかの新動画圧縮技術は、例えば、空間的に隣接し且つ復号化順序で先行するデータブロックを符号化／復号化している期間に取得されたメタデータ及び／又は周辺のサンプルデータから試みる技術を含む。以降、このような技術は「イントラ予測」技術と呼ばれる。なお、少なくともいくつかの場合に、イントラ予測は、参照画像からの参照データを使用しなく、再構築中の現在ピクチャからの参照データのみを使用することに注意されたい。

イントラ予測には多くの異なる形式があり得る。所定の動画符号化技術において１種以上のこのような技術を使用できる場合に、使用される技術はイントラ予測モードで符号化することができる。幾つかの場合に、モードは、サブモード及び／又はパラメータを有してもよく、これらのサブモード及び／又はパラメータは、個別に符号化されたり、モードコードワードに含まれたりしてもよい。所定のモード／サブモード／パラメータの組み合わせにどのコードワードを使用するかは、イントラ予測による符号化効率ゲインに影響を与えるため、コードワードをビットストリームに変換するためのエントロピー符号化技術に影響を与える。

イントラ予測のあるモードはＨ．２６４から導入され、Ｈ．２６５において細分化され、例えば、共同探査モデル（ＪＥＭ）、多用途動画符号化（ＶＶＣ）、ベンチマークセット（ＢＭＳ）などの新符号化技術では、さらに細分化される。既に使用可能なサンプルに属する隣接サンプル値を使用して予測器ブロックを形成してもよい。方向に応じて、隣接サンプルのサンプル値を予測器ブロックにコピーする。使用中の方向の参照は、ビットストリームに符号化されるか、またはその自身は予測されることができる。

図１Ａを参照し、右下に、Ｈ．２６５の３５個の可能な予測器方向（３５個のイントラモードの３３個の角度モードに対応する）から知られている９つの予測器方向のサブセットが描画されている。矢印が集まる点（１０１）は、予測されるサンプルを表す。矢印は、サンプルを予測する方向を表す。例えば、矢印（１０２）は、右上における、水平と４５度の角度をなす１つ又は複数のサンプルからサンプル（１０１）を予測することを指示する。同様に、矢印（１０３）は、サンプル（１０１）の左下における、水平と２２．５度の角度をなす１つ又は複数のサンプルからサンプル（１０１）を予測することを指示する。

引き続き図１Ａを参照し、左上に４×４サンプルの正方形ブロック（１０４）（太い破線で示される）が描画されている。正方形ブロック（１０４）は１６サンプルを含む。各サンプルは、「Ｓ」、Ｙ次元での位置（例えば、行インデックス）及びＸ次元での位置（例えば、列インデックス）がラベリングされる。例えば、サンプルＳ２１は、Ｙ次元での（上からの）２番目のサンプルと、Ｘ次元での（左側からの）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）における、Ｙ次元とＸ次元の両方での４番目のサンプルである。ブロックのサイズは４×４サンプルであるため、Ｓ４４は、右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示される。参照サンプルは、Ｒ、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）がラベリングされる。Ｈ．２６４とＨ．２６５の両方において、予測サンプルは、再構築中のブロックに隣接しているため、負の値を使用する必要がない。

イントラピクチャ予測は、シグナリングされる予測方向に占有する隣接するサンプルから参照サンプル値をコピーすることで行われる。例えば、符号化された動画ビットストリームにシグナリングが含まれ、当該シグナリングは、このブロックに対して矢印（１０２）と一致する予測方向を指示する。つまり、右上における、水平と４５度の角度をなす１つ又は複数の予測サンプルから予測することを想定する。この場合、同じ参照サンプルＲ０５からサンプルＳ４１、Ｓ３２、Ｓ２３及びＳ１４を予測する。そして、参照サンプルＲ０８からサンプルＳ４４を予測する。

いくつかの場合に、特に、方向が４５度で均等に分割できない場合に、参照サンプルを計算するように、複数の参照サンプルの値を例えば補間によって組み合わせてもよい。

動画符号化技術の開発に伴い、可能な方向の数も増えている。Ｈ．２６４（２００３年）において、９つの異なる方向を表し得る。これは、Ｈ．２６５（２０１３年）において３３個に増え、また開示時に、ＪＥＭ／ＶＶＣ／ＢＭＳは６５個ほど多い方向をサポートすることができる。既に実験を行って最も可能性の高い方向を認識し、且つエントロピー符号化における特定の技術が、少ないビット数でそれらの可能な方向を表すために使用され、可能性の低い方向に対する特定のペナルティを受ける。また、隣接する復号化されたブロックで使用される隣接方向から方向自体を予測することがある。

図１Ｂは、経時的に増加する予測方向の数を示すために、ＪＥＭによる６７個のイントラ予測モードを描画する概略図（１０５）である。

符号化された動画ビットストリームにおいて方向を表すイントラ予測方向ビットのマッピングは、動画符号化技術によって異なってもよい。そして、当該マッピングの範囲は、例えば、予測方向→イントラ予測モード→コードワードという単純な直接マッピングから、最確モード及び類似の技術に関する複雑な自己適応スキームへ変化してもよい。ただし、すべての場合に、他の方向よりも統計的に動画コンテンツで発生する可能性の低い特定の方向が存在する可能性がある。動画圧縮の目的は冗長性の削減であるため、良く機能する動画符号化技術において、それらの可能性の低い方向は、可能性の高い方向よりも多いビット数で表される。

動き補償は非可逆圧縮技術であってもよく、そして、先に再構築されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータブロックは、動きベクトル（以降、ＭＶと呼ばれる）が指示する方向に空間的にシフトされた後、新しく再構築されたピクチャ又はピクチャの一部の予測に使用される技術を含み得る。いくつかの場合に、参照ピクチャは、現在に再構築されているピクチャと同じであってもよい。ＭＶは、ＸとＹの２つの次元を有してもよいし、３つの次元を有してもよく、３番目の次元は使用中の参照ピクチャに対する指示である（後者は間接的に時間次元になり得る）。

いくつかの動画圧縮技術において、他のＭＶからサンプルデータの特定の領域に適用するＭＶを予測し、例えば、前記したそれらの再構築された領域に空間的に隣接するサンプルデータの別の領域に関し復号化順序で当該ＭＶの前にあるＭＶから当該ＭＶを予測してもよい。このようにすれば、ＭＶを符号化するために必要なデータの量を大幅に減らすことができ、それによって冗長性がなくなり、圧縮率を向上させる。ＭＶ予測は効果的に機能することができ、例えば、これは、カメラから得られた入力動画信号（ナチュラル動画と呼ばれる）を符号化する場合に、単一のＭＶの適用可能な領域よりも大きい領域が、類似する方向に移動する統計的な可能性があるため、いくつかの場合に、隣接領域のＭＶから導出された類似する動きベクトルを使用して予測することができる。この結果、所定の領域に対して見つけたＭＶは周りのＭＶから予測されたＭＶと類似又は同じであり、また、エントロピー符号化後、ＭＶを直接符号化する場合に使用されるビット数よりも少ないビット数で表してもよい。いくつかの場合に、ＭＶ予測は、元の信号（即ち、サンプルストリーム）から導出された信号（即ち、ＭＶ）の可逆圧縮の例であってもよい。他の場合に、ＭＶ予測自体は非可逆となり、それは、例えば、若干の周りのＭＶから予測器を算出する際の丸め誤差に繋がる。

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ-Ｔ Ｈ．２６５提案書、「High
Efficiency Video Coding」、２０１６年１２月）には、複数のＭＶ予測メカニズムが記載されている。Ｈ．２６５で提供された複数のＭＶ予測メカニズムのうち、本出願は、ハイレベル動きベクトル予測（ＡＭＶＰ）モードとマージモードが記載される。

ＡＭＶＰモードにおいて、現在のブロックの空間的及び時間的隣接ブロックの動き情報は、現在のブロックの動き情報を予測するとともに、予測残差をさらに符号化するために使用できる。図１Ｃと図１Ｄはそれぞれ空間的及び時間的隣接候補の例を示している。二つの候補動きベクトル予測器リストを形成する。第１の候補予測器は、図１Ｃに示すように、現在のブロック（１１１）の左下隅における２つのブロックＡ０（１１２）、Ａ１（１１３）の第１の利用可能な動きベクトルからのものである。第２の候補予測器は現在のブロック（１１１）の上における３つのブロックＢ０（１１４）、Ｂ１（１１５）及びＢ２（１１６）の第１の利用可能な動きベクトルからのものである。チェックした場所から有効な動きベクトルが見つからないと、リストに候補を埋めない。二つの利用可能な的候補が同じな動き情報を有すると、リストに１つの候補のみを保留する。図１Ｄに示すように、リストがいっぱいでないと、即ち、リストに二つの異なる候補がなく、参照ピクチャの共同設置された（ｃｏ-ｌｏｃａｔｅｄ）ブロック（１２１）の右下隅からのＣ０（１２２）の時間的共同設置された動きベクトル（スケーリング後）が別の候補として使用される。Ｃ０（１２２）位置での動き情報が利用できないと、代わりに、参照ピクチャにおける共同設置されたブロックの中心位置Ｃ１（１２３）を使用する。上記の導出では、まだ十分な動きベクトル予測器候補がない場合、ゼロ動きベクトルを使用してリストを埋める。ビットストリームにおいてｍｖｐ_１０_ｆｌａｇ及びｍｖｐ_１１_ｆｌａｇの２つのフラグをシグナリングして、ＭＶ候補リストＬ０及びＬ１のＡＭＶＰインデックス（０又は１）をそれぞれ指示する。

インターピクチャ予測に使用されるマージモードにおいて、マージフラグ（スキップフラグを含む）がＴＲＵＥとしてシグナリングされると、マージインデックスをシグナリングして、マージ候補リスト内のどの候補が現在のブロックの動きベクトルを指示するかを示す。デコーダにおいて、現在のブロックの空間的及び時間的隣接に基づいてマージ候補リストを構成する。図１Ｃに示すように、五つの空間的隣接ブロック（Ａ０からＢ２）から導出された最大４つのＭＶがマージ候補リストに追加される。また、図１Ｄに示すように、参照ピクチャにおける２つの時間共同設置されたブロック（Ｃ０及びＣ１）からの最大１つのＭＶがリストに追加される。他のマージ候補は組み合わせた双方向予測候補とゼロ動きベクトル候補を含む。ブロックの動き情報をマージ候補と見なす前に、冗長チェックを実行して現在のマージ候補リストにおける要素と同じであるかどうかをチェックする。現在のマージ候補リストの各要素と異なる要素を、マージ候補としてマージ候補リストに追加する。ＭａｘＭｅｒｇｅＣａｎｄｓＮｕｍは、候補番号に関するマージ候補リストのサイズとして定義される。ＨＥＶＣにおいて、ＭａｘＭｅｒｇｅＣａｎｄｓＮｕｍはビットストリームにシグナリングされる 。スキップモードを、残差がゼロである特別なマージモードと見なしてもよい。

本開示の各態様は、動画符号化/復号化用方法及び装置を提供する。いくつかの例において、動画復号化装置は処理回路システムを含み、当該処理回路システムは、現在符号化されたピクチャにおける現在のブロックの予測情報を復号化し、当該現在符号化されたピクチャは符号化された動画シーケンスの一部である。予測情報は現在のブロックの分数（ｆｒａｃｔｉｏｎａｌ）動きベクトルを指示する。処理回路システムは現在のブロックのブロック幅とブロック高さのうちの一つが第１の閾値よりも低いかどうかを特定する。現在のブロックのブロック幅とブロック高さのうちの一つが第１の閾値よりも低いと特定された場合に、処理回路システムは、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。第１の補間フィルタはブロックサイズに関係する補間フィルタであり、第２の補間フィルタはブロックサイズに関係しない補間フィルタである。処理回路システムは、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタから選択された一つに基づいて現在のブロックを構築する。

実施形態において、処理回路システムは、現在のブロックのブロック幅とブロック高さの両方が第１の閾値よりも小さいかどうかを特定する。現在のブロックのブロック幅とブロック高さの両方が第１の閾値よりも小さいと特定された場合に、処理回路システムは、現在のブロックに対して整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、処理回路システム現在のブロックのブロック幅が第１の閾値よりも小さいかどうかを特定し、現在のブロック的ブロック高さが第２の閾値よりも小さいかどうかを特定する。現在のブロックのブロック幅が第１の閾値よりも小さいと特定され、且つ現在のブロックのブロック高さが第２の閾値よりも小さいと特定された場合に、処理回路システムは、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

本開示の各態様によれば、処理回路システムは、現在のピクチャのピクチャ解像度に基づいて、現在のブロックに対して整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、処理回路システムは、ピクチャの幅、ピクチャの高さ、現在のピクチャの画素数、フレームレート及び現在のピクチャの充填率のうちの一つに基づいて、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

本開示の各態様によれば、処理回路システムは、予測情報に含まれる１つ又は複数の制御フラグに基づいて、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、１つ又は複数の制御フラグは、シーケンスレベル、ピクチャレベル、タイルレベル、スライスレベル及びブロックレベルのうちの少なくとも１つでシグナリングされる。

本開示の各態様によれば、処理回路システムは、現在のピクチャにおける復号化中である画素領域でのメモリ帯域幅の使用に基づいて、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、処理回路システムは、メモリ帯域幅の使用が目標帯域幅に達する前に、現在のブロックに対して第２の補間フィルタを選択する。メモリ帯域幅の使用が目標帯域幅に達した後、画素領域がまだ復号化中である場合、処理回路システムは、現在のブロックに対して整数動きベクトルと第１の補間フィルタのうちの一つを選択する。

本開示の各態様は、命令が記憶されている非一時的なコンピュータ可読媒体をさらに提供し、当該命令は、動画復号化用のコンピュータによって実行されると、動画符号化用方法のいずれか又は組み合わせをコンピュータに実行させる。

開示された主題のさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。図面において、
イントラ予測モードの例示的なサブセットの模式図である。 例示的なイントラ予測方向の図である。 一例における現在のブロック及びその周りの空間マージ候補の模式図である。 一例における共同設置されたブロック及び時間マージ候補の模式図である。 実施形態による通信システムの簡略化ブロック図の模式図である。 実施形態による通信システムの簡略化ブロック図の模式図である。 実施形態によるデコーダの簡略化ブロック図の模式図である。 実施形態によるエンコーダの簡略化ブロック図の模式図である。 他の実施形態によるエンコーダのブロック図を示す。 他の実施形態によるデコーダのブロック図を示す。 実施形態による現在のブロック及び現在のブロックの参照ブロックを示す。 幾つかの実施形態の例示的なプロセスを概説するフローチャートを示す。 実施形態によるコンピュータシステムの模式図を示す。

図２は、本開示による通信システム（２００）の簡略ブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信する複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１対の端末装置（２１０）と（２２０）を含む。図２に示す例において、第１対の端末装置（２１０）と（２２０）は一方向のデータ伝送を実行する。例えば、端末装置（２１０）は、動画データ（例えば、端末装置（２１０）によってキャプチャされた動画ピクチャストリーム）を符号化して、ネットワーク（２５０）を介して他の端末装置（２２０）に伝送してもよい。符号化された動画データは１つ又は複数の符号化された動画ビットストリームで伝送される。端末装置（２２０）は、ネットワーク（２５０）から符号化された動画データを受信し、符号化されたデータを復号化して、動画ピクチャを復元し、復元された動画データに基づいて、動画ピクチャを表示してもよい。一方向のデータ伝送は、媒体サービスアプリケーションなどでは一般的である。

他の実施形態では、通信システム（２００）は、符号化された動画データの双方向伝送を実行する、第２対の端末装置（２３０）と（２４０）とを含み、当該双方向伝送は、例えば動画会議中に発生する可能性がある。双方向データ伝送については、例において、端末装置（２３０）と（２４０）のそれぞれは、動画データ（例えば、端末装置によってキャプチャされた動画ピクチャストリーム）を符号化して、ネットワーク（２５０）を介して端末装置（２３０）と（２４０）のうちの他方の端末装置に伝送してもよい。端末装置（２２０）と（２４０）のそれぞれは、また、端末装置（２３０）と（２４０）のうちの他方の端末装置によって送信された符号化された動画データを受信し、符号化されたデータを復号化して動画ピクチャを復元し、復元された動画データに基づいて、動画画像をアクセス可能な表示デバイスに表示してもよい。

図２に示す例において、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用の動画会議機器に適用される。ネットワーク（２５０）は端末装置（２１０）、（２２０）、（２３０）及び（２４０）の間で符号化された動画データを伝送する任意の数のネットワークを示し、例えば、有線（結線される）及び／又は無線通信ネットワークを含む。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークは通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。この検討を目的として、ネットワーク（２５０）のアーキテクチャとトポロジーは、以下に本明細書で説明されない限り、本開示の操作にとって重要ではない場合がある。

開示された主題の適用例として、図３は、ストリーミング環境における動画エンコーダとデコーダの配置を示し、開示された主題は、例えば、動画会議、デジタルテレビ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタルメデイアの圧縮動画の保存を含む動画をサポートする他のアプリケーションに同様に適用され得る。

ストリーミングシステムはキャプチャサブシステム（３１３）を含んでもよく、当該キャプチャサブシステムは、例えば非圧縮の動画ピクチャストリーム（３０２）を構築する、例えばデジタルカメラなどの動画ソース（３０１）を含んでもよい。例において、動画ピクチャストリーム（３０２）はデジタルカメラによって撮影されたサンプルを含む。動画ピクチャストリーム（３０２）は、符号化された動画データ（３０４）（又は符号化された動画ビットストリーム）と比べて、データ量が多いことを強調するために太い線として描画され、当該動画ピクチャストリームは、動画ソース（３０１）に結合される動画エンコーダ（３０３）の電子機器（３２０）によって処理されてもよい。動画エンコーダ（３０３）は、以下でより詳細に説明する開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含んでもよい。符号化された動画データ（３０４）（符号化された動画ビットストリーム（３０４））は、動画ピクチャストリーム（３０２）と比べて、データ量が少ないことを強調するために細い線として描画され、符号化された動画データは、将来の使用のために、ストリーミングサーバ（３０５）に記憶され得る。１つ又は複数のストリーミングクライアントサブシステム、例えば、図３におけるクライアントサブシステム（３０６）と（３０８）は、ストリーミングサーバ（３０５）にアクセスして、符号化された動画データ（３０４）のレプリカ（３０７）と（３０９）を検索し得る。クライアントサブシステム（３０６）は、例えば、電子機器（３３０）における動画デコーダ（３１０）を含んでもよい。動画デコーダ（３１０）は、符号化された動画データの着信レプリカ（３０７）を復号化し、ディスプレイ（３１２）（例えば、スクリーン）又は他のレンダリングデバイス（図示せず）でレンダリングできる発信動画ピクチャストリーム（３１１）を作成する。一部のストリーミングシステムにおいて、ある動画符号化／圧縮規格に基づいて、符号化された動画ビットストリーム（３０４）、（３０７）、（３０９）（例えば、動画ビットストリーム）を符号化してもよい。これらの規格の例には、ＩＴＵ-Ｔ Ｈ．２６５提案書を含む。例において、開発中の動画符号化規格は非公式に多用途動画符号化又はＶＶＣと呼ばれる。開示された主題は、ＶＶＣの背景に使用可能である。

なお、電子機器（３２０）と（３３０）は、他の構成要素（図示せず）を含んでもよい。例えば、電子機器（３２０）は動画デコーダ（図示せず）を含んでもよく、電子機器（３３０）は動画エンコーダ（図示せず）を含んでもよい。

図４は、本開示の実施形態による動画デコーダ（４１０）のブロック図を示す。動画デコーダ（４１０）は電子機器（４３０）に含まれてもよい。電子機器（４３０）は受信機（４３１）（例えば、受信回路システム）を含んでもよい。動画デコーダ（４１０）は図３に示す例における動画デコーダ（３１０）の代わりに使用されてもよい。

受信機（４３１）は、動画デコーダ（４１０）によって復号化される１つ又は複数の符号化された動画シーケンスを受信してもよく、同じ実施形態又は別の実施形態において、１回に１つの符号化された動画シーケンスを受信し、各符号化された動画シーケンスの復号化は他の符号化された動画シーケンスから独立している。チャネル（４０１）から符号化された動画シーケンスを受信することができ、当該チャネルは、符号化された動画データを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（４３１）は、他のデータを受信する際に符号化された動画データを受信することができ、他のデータは、例えば、符号化されたオーディオデータ及び／又は補助データストリームであり、前記他のデータは、それぞれの使用エンティティ（図示せず）に転送され得る。受信機（４３１）は、符号化された動画シーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以降、「パーサ」と呼ばれる）との間にバッファメモリ（４１５）を結合し得る。いくつかの応用において、バッファメモリ（４１５）は動画デコーダ（４１０）の一部である。他の応用において、バッファメモリ（４１５）は動画デコーダ（４１０）（図示せず）の外部にあってもよい。他の応用において、動画デコーダ（４１０）の外部には、ネットワークジッタを防止するために、バッファメモリ（図示せず）があってもよく、さらに例えば動画デコーダ（４１０）の内部に、再生タイミングを処理するために、別のバッファメモリ（４１５）があり得る。受信機（４３１）が十分な帯域幅と制御可能性を有する記憶／転送デバイス、又は等同期ネットワークからデータを受信する場合に、バッファメモリ（４１５）は必要とされないか、又は小サイズであればよいといった可能性がある。ベストパケットネットワーク、例えばインターネットで使用するために、バッファメモリ（４１５）が必要である場合があり、当該バッファメモリは相対的に大きく、自己適応サイズを有利に有してもよい。そして、少なくとも部分的にオペレーティングシステム又は動画デコーダ（４１０）の外部における類似している構成要素（図示せず）で実現されてもよい。

動画デコーダ（４１０）は、符号化された動画シーケンスに応じてシンボル（４２１）を再構築するパーサ（４２０）を含み得る。これらのシンボルのカテゴリには、動画デコーダ（４１０）の操作を管理するための情報と、レンダリングデバイス（４１２）（例えば表示スクリーン）のようなレンダリングデバイスを制御するための情報とを含んでもよく、当該レンダリングデバイスは、図４に示すように、電子機器（４３０）の構成部分ではなく、電子機器（４３０）に結合され得る。レンダリングデバイスに使用される制御情報は、補助拡張情報（ＳＥＩメッセージ）又は動画ユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）形式であってもよい。パーサ（４２０）は、受信された符号化された動画シーケンスに対して解析／エントロピー復号化を行うことができる。符号化された動画シーケンスの符号化は、動画符号化技術又は規格に従って行われ、且つ可変長符号化、エルフマン符号化、文脈依存の有無に関わる算術符号化などを含む様々な原理に従って行われてよい。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化された動画シーケンスから、動画デコーダにおける画素のサブグループのうちの少なくとも１つに対するサブグループパラメータセットを抽出してもよい。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサ（４２０）は、また、符号化された動画シーケンスから、例えば、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。

パーサ（４２０）は、バッファメモリ（４１５）から受信された動画シーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（４２１）を構築することができる。

シンボル（４２１）の再構築は、符号化された動画ピクチャ又は他の部分のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因に応じて、複数の異なるユニットに関し得る。どのユニットが関与し、どのように制御するかについて、パーサ（４２０）により符号化された動画シーケンスから解析したサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ（４２０）と以下の複数のユニットとの間におけるサブグループ制御情報の流れについて説明しない。

既に言及された機能ブロックに加えて、動画デコーダ（４１０）は概念的には、以下に説明する複数の機能ユニットに細分化することができる。商業的な制約の下で運行する実際の実現形態では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的のために、概念的には、以下の機能ユニットに細分化されることは適切である。

第１のユニットは、スケーラ／逆変換ユニット（４５１）である。当該スケーラ／逆変換ユニット（４５１）はパーサ（４２０）からシンボル（４２１）である量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む。スケーラ／逆変換ユニット（４５１）は、サンプル値を含むブロックを出力でき、前記サンプル値はアグリゲータ（４５５）に入力され得る。

いくつかの場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、即ち、事前に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの事前に再構築された部分からの予測情報を使用し得るブロックに属してもよい。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供され得る。いくつかの場合に、イントラピクチャ予測ユニット（４５２）は現在のピクチャバッファ（４５８）から抽出された、周囲が既に再構築された情報を使用して、再構築しているブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（４５８）は、例えば、部分的に再構築された現在のピクチャ及び／又は完全に再構築された現在のピクチャをバッファリングする。いくつかの場合に、アグリゲータ（４５５）は各サンプルに基づいて、イントラ予測ユニット（４５２）によって生成される予測情報を、スケーラ／逆変換ユニット（４５１）から提供される出力サンプル情報に追加する。

他の場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルはインター符号化され且つ潜在動き補償であり得るブロックに属してもよい。このような場合に、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測のためのサンプルを取得してもよい。当該ブロックに属するシンボル（４２１）に応じて、取得されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニット（４５３）がサンプルを取得する参照ピクチャメモリ（４５７）におけるアドレスは、動きベクトルによって制御されてもよく、前記動きベクトルは、シンボル（４２１）の形式で動き補償ユニット（４５３）に使用され得、前記シンボルは、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有してもよい。動き補償には、サブサンプルの正確な動きベクトルが使用されている際に参照ピクチャメモリ（４５７）から取得されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において種々のループフィルタリング技術によって処理され得る。動画圧縮技術は、ループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化された動画シーケンス（符号化された動画ビットストリームとも呼ばれる）に含まれ且つパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に使用可能なパラメータによって制御されるが、符号化されたピクチャ又は符号化された動画シーケンスの（復号化順序で）前の部分を復号化している間に得られたメタ情報や事前に再構築されてループフィルタリング処理されたサンプル値に応答してもよい。

ループフィルタユニット（４５６）の出力はサンプルストリームであってもよく、将来のインターピクチャ予測に使用されるために、レンダリングデバイス（４１２）に出力されて参照ピクチャメモリ（４５７）に記憶され得る。

特定の符号化されたピクチャは、完全に再構築されると、参照ピクチャとして将来の予測に使用され得る。例えば、現在のピクチャに対応する符号化されたピクチャは完全に再構築され、且つ符号化されたピクチャが、例えばパーサ（４２０）によって、参照ピクチャとして識別されると、現在のピクチャバッファ（４５８）が参照ピクチャメモリ（４５７）の一部になり得、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャバッファを新たに配分してもよい。

動画デコーダ（４１０）は、例えばＩＴＵ-Ｔ Ｈ．２６５提案書における所定のビデ圧縮技術のような規格に応じて復号化操作を実行してもよい。符号化された動画シーケンスが動画圧縮技術又は規格の構文及び動画圧縮技術又は規格に記録されているプロファイルの両方に準拠する意味で、符号化された動画シーケンスは、使用されているビデ圧縮技術又は規格で指定される構文に準拠することができる。具体的に、プロファイルは、ビデ圧縮技術又は規格で利用可能な全てのツールから、幾つかのツールをプロファイルのみで使用され得るツールとして選択してもよい。コンプライアンスについて、符号化された動画シーケンスの複雑さがビデ圧縮技術又は規格のレベルで限定される範囲内にあることも要求される。いくつかの場合に、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプルレート（例えば１秒あたりのメガサンプルを単位として測定する）、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設定される制限は、仮想参照デコーダ（ＨＲＤ）の仕様及び符号化された動画シーケンスにおけるシグナリングされるＨＲＤバッファの管理するメタデータによってさらに制限されてもよい。

実施形態において、受信機（４３１）は、符号化された動画とともに、追加の（冗長な）データを受信してもよい。追加のデータは符号化された動画シーケンスの一部として含まれてもよい。動画デコーダ（４１０）は、追加のデータを使用してデータを正確に復号化し、及び／又は元の動画データをより正確に再構築してもよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

図５は、本開示の実施形態による動画エンコーダ（５０３）のブロック図を示す。動画エンコーダ（５０３）は電子機器（５２０）に含まれる。電子機器（５２０）はトランスミッタ（５４０）（例えば、伝送回路システム）を含む。動画エンコーダ（５０３）は図３に示す例における動画エンコーダ（３０３）の代わりに使用されてもよい。

動画エンコーダ（５０３）は、動画ソース（５０１）（図５に示す例における電子機器（５２０）の一部ではない）から動画サンプルを受信してもよく、当該動画ソース（５０１）は、動画エンコーダ（５０３）によって符号化されようとする（１つ又は複数の）動画画像をキャプチャすることができる。別の例において、動画ソース（５０１）は、電子機器（５２０）の一部である。

動画ソース（５０１）は、動画エンコーダ（５０３）によって符号化されようとするデジタル動画サンプルストリーム形式であるソース動画シーケンスを提供してもよく、当該デジタル動画サンプルストリームは、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構成（例えば、ＹＣｒＣｂ ４:２:０、ＹＣｒＣｂ ４:４:４）を有してもよい。メディアサービスシステムでは、動画ソース（５０１）は、先に準備された動画を記憶する記憶装置であってもよい。動画会議システムでは、動画ソース（５０１）は、ローカル画像情報を動画シーケンスとしてキャプチャするカメラであってもよい。動画データは、順番に見る際に動きが付与される複数の個別のピクチャとして提供されてもよい。ピクチャ自体は空間画素アレイとして編成されてもよく、なお、使用されているサンプリング構成、色空間などに応じて、各画素は、１つ又は複数のサンプルを含んでもよい。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。

実施形態によれば、動画エンコーダ（５０３）は、リアルタイムで、又はアプリケーションによって要求される他の任意の時間制約の下で、ソース動画シーケンスのピクチャを、符号化された動画シーケンス（５４３）に符号化して圧縮してもよい。適切な符号化速度で実行することはコントローラ（５５０）の機能の１つである。いくつかの実施形態において、コントローラ（５５０）は、以下で説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。明確のために、結合は図示されていない。コントローラ（５５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ（５５０）は、特定のシステム設計に対して最適化された動画エンコーダ（５０３）に属する他の適切な機能を有するように配置されてもよい。

幾つかの実施形態において、動画エンコーダ（５０３）は、符号化ループで動作するように配置されている。非常に簡略化した説明として、例において、符号化ループは、ソースエンコーダ（５３０）（例えば、符号化しようとする入力ピクチャ及び参照ピクチャに基づいてシンボルストリームのようなシンボルを作成することを担当する）と、動画エンコーダ（５０３）に組み込まれた（ローカルの）デコーダ（５３３）とを含んでもよい。デコーダ（５３３）は、（リモート）デコーダがサンプルデータを作成する方法と同様にサンプルを作成するために、シンボルを再構築する（シンボルと符号化された動画ビットストリームとの間の圧縮は開示された主題で考慮される動画圧縮技術では無損失であるため）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（５３４）に入力する。シンボルストリームの復号化によって、デコーダの位置（ローカル又はリモート）に関係がないビットが正確である結果が得られるため、参照ピクチャメモリ（５３４）のコンテンツもローカルエンコーダとリモートエンコーダとの間でビットが正確である。つまり、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして見なす。 このような参照ピクチャの同期性の基本原理（及び、たとえばチャネルエラーのために同期性を維持できない場合は結果として生じるドリフト）は、一部の関連技術でも使用される。

「ローカル」デコーダ（５３３）の動作は、「リモート」デコーダ、例えば動画デコーダ（４１０）の動作と同じであってもよく、以上で図４を参照しながら詳細に説明した。しかしながら、さらに、簡単に図４を参照し、シンボルは、利用可能であり、且つ、エントロピーエンコーダ（５４５）及びパーサ（４２０）はシンボルを、符号化された動画シーケンスに無損失で符号化／復号化できる場合に、バッファメモリ（４１５）及びパーサ（４２０）を含める動画デコーダ（５１０）のエントロピー復号化部分は、ローカルデコーダ（５３３）で完全に実現されない場合がある。

この場合、デコーダに存在する解析／エントロピー復号化以外の任意のデコーダ技術も、必然的に基本的に同じ機能形式で対応するエンコーダに存在することが観察されることができる。そのため、開示された主題は、デコーダの動作に着目する。エンコーダ技術は包括的に説明されたデコーダ技術の逆であるため、エンコーダ技術の説明を簡略化することができる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。

動作中に、いくつかの例において、ソースエンコーダ（５３０）は、動き補償の予測的符号化を実行してもよく、動画シーケンスからの「参照ピクチャ」として指定された１つ又は複数の以前に符号化されたピクチャを参照することで入力ピクチャに対して予測的符号化を行う。このようにして、符号化エンジン（５３２）は入力ピクチャの画素ブロックと参照ピクチャの画素ブロックとの間の差異を符号化してもよく、当該参照ピクチャは、入力ピクチャへの予測参照として選択され得る。

ローカル動画デコーダ（５３３）は、ソースエンコーダ（５３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化された動画データを復号化してもよい。符号化エンジン（５３２）の動作は、有利には非可逆処理であり得る。符号化された動画データが動画デコーダ（図５、図示せず）で復号化され得る場合に、再構築された動画シーケンスは、通常、多少の誤差を伴うソース動画シーケンスのレプリカであり得る。ローカル動画デコーダ（５３３）は、参照ピクチャに対して動画デコーダによって実行され得る復号化処理をコピーし、再構築された参照ピクチャを参照ピクチャメモリ（５３４）に記憶してもよい。このようにして、エンコーダ（５０３）は、再構築された参照ピクチャの共通の内容を有するレプリカを、リモート動画デコーダによって得られる再構築された参照ピクチャとしてローカルに記憶することができる（伝送誤差がない）。

予測器（５３５）は、符号化エンジン（５３２）に対して予測検索を実行することができる。つまり、符号化されようとする新しいピクチャについて、予測器（５３５）は、参照ピクチャメモリ（５３４）において、新しいピクチャの適切な予測参照として使用され得るサンプルデータ（候補参照画素ブロックとする）又は、例えば、参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器（５３５）は、適切な予測参照が見つけられるように、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合に、例えば、予測器（５３５）によって得られた検索結果によって特定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから得られた予測参照を有してもよい。

コントローラ（５５０）は、例えば、動画データを符号化するためのパラメータとサブグループパラメータの設置を含むソースエンコーダ（５３０）の符号化動作を管理することができる。

上記の全ての機能ユニットの出力はエントロピーエンコーダ（５４５）においてエントロピー符号化されてもよい。エントロピーエンコーダ（５４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に基づいて、各機能ユニットによって生成されたシンボルに対して可逆圧縮を行うことによって、シンボルを、符号化された動画シーケンスに変換する。

トランスミッタ（５４０）は、通信チャネル（５６０）を介した伝送の準備をするように、エントロピーエンコーダ（５４５）によって作成された符号化された動画シーケンスをバッファリングすることができ、前記通信チャネルは、符号化された動画データを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。トランスミッタ（５４０）は、動画エンコーダ（５０３）からの符号化された動画データを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）とともにマージしてもよい。

コントローラ（５５０）は、エンコーダ（５０３）の動作を管理することができる。コントローラ（５５０）は、符号化中に、各符号化されたピクチャに、対応するピクチャに適用され得る符号化技術に影響する可能性がある特定の符号化されたピクチャタイプを指定することができる。例えば、通常、ピクチャを、以下のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに符号化及び復号化できるピクチャであってもよい。一部の動画コーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形及び対応する適用と特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも１つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測する。

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測を使用して符号化と復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャと関連するメタデータを使用して単一のブロックを再構築することができる。

ソースピクチャは、一般的に、空間的に複数のサンプルブロックに細分化され（例えば、それぞれ４×４、８×８、４×８又は１６×１６のサンプルブロックである）、ブロックごとに符号化されてもよい。ブロックは、ブロックに適用される相応するピクチャの符号化割り当てによって特定される他の（すでに符号化された）ブロックを参照して予測的に符号化されることができる。例えば、Ｉピクチャのブロックについて、非予測的に符号化してもよく、又は、同じピクチャの符号化されたブロックを参照して予測的に符号化してもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して非予測的に符号化されてもよい。

動画エンコーダ（５０３）は、例えばＩＴＵ-Ｔ Ｈ．２６５提案書の所定の動画符号化技術又は規格に基づいて、符号化操作を実行することができる。動画エンコーダ（５０３）は、その動作中に、入力動画シーケンスにおける時間的及び空間的冗長性を利用した予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化された動画データは、使用されている動画符号化技術又は規格によって指定された構文に準拠し得る。

実施形態において、トランスミッタ（５４０）は、符号化された動画とともに、追加のデータを伝送してもよい。ソースエンコーダ（５３０）は、このようなデータを、符号化された動画シーケンスの一部として含んでもよい。追加のデータは、時間的／空間的／ＳＮＲ拡張層、例えば冗長なピクチャ、スライスのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含んでもよい。

動画は、時系列で複数のソースピクチャ（動画ピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（通常、イントラ予測と簡略化される）は、所定のピクチャにおける空間的関連性を利用し、インターピクチャ予測はピクチャ間の（時間的又は他の）関連性を利用する。例おいて、符号化／復号化中の現在のピクチャと呼ばれる特定のピクチャはブロックに分割される。現在のピクチャにおけるブロックは、動画における、以前に符号化されまだバッファリングされている参照ピクチャにおける参照ブロックと類似している場合に、動きベクトルと呼ばれるベクトルによって現在のピクチャにおけるブロックを符号化してもよい。動きベクトルは参照ピクチャにおける参照ブロックを指し、また、複数の参照ピクチャを使用する場合に、動きベクトルは、参照ピクチャを認識する第３の次元を有してもよい。

幾つかの実施形態において、双方向予測技術は、インターピクチャ予測に使用されてもよい。双方向予測技術によれば、例えば、動画における現在のピクチャよりも復号化順序で先行する（ただし、それぞれ表示順序で過去及び将来にあり得る）第１の参照ピクチャ及び第２の参照ピクチャである２つの参照ピクチャを使用する。第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、第２の参照ピクチャにおける第２の参照ブロックを指す第２の動きベクトルによって、現在のピクチャにおけるブロックを符号化してもよい。第１の参照ブロックと第２の参照ブロックとの組み合わせによって当該ブロックを予測してもよい。

また、マージモード技術は、符号化の効率を向上させるために、インターピクチャ予測に使用することができる。

本開示の幾つかの実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測のような予測はブロックごとに実行される。例えば、ＨＥＶＣ規格に応じて、動画ピクチャシーケンスにおけるピクチャは、圧縮のための符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、例えば、６４×６４画素、３２×３２画素又は１６×１６画素などの同じサイズを持っている。一般に、ＣＴＵは、３つの符号化ツリーブロック（ＣＴＢ）、即ち、１つの輝度ＣＴＢと２つの色度ＣＴＢを含む。各ＣＴＵは、１つ又は複数の符号化ユニット（ＣＵ）に再帰的に四分木で分割されてもよい。例えば、６４×６４画素のＣＴＵを１つの６４×６４画素のＣＵ、又は、４つの３２×３２画素のＣＵ、又は１６個の１６×１６画素のＣＵに分割してもよい。例において、各ＣＵを分析して、当該ＣＵに使用される予測タイプ、例えば、インター予測タイプ又はイントラ予測タイプを特定する。時間的及び／又は空間的予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは輝度予測ブロック（ＰＢ）及び２つの色度ＰＢを含む。実施形態において、符号化（符号化／復号化）中の予測動作は予測ブロックごとに実行される。輝度予測ブロックを予測ブロックとして使用する例において、予測ブロックは画素値（例えば、輝度値）の行列、例えば、８×８画素、１６×１６画素、８×１６画素、１６×８画素などを含む。

図６は、本開示の他の実施形態による動画エンコーダ（６０３）の図を示す。動画エンコーダ（６０３）は、動画ピクチャシーケンスにおける現在の動画ピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化された動画シーケンスの一部である符号化されたピクチャに符号化するように配置されている。例において、動画エンコーダ（６０３）は、図３に示す例における動画エンコーダ（３０３）の代わりに使用される。

ＨＥＶＣの例では、動画エンコーダ（６０３）は、例えば８×８サンプルの予測ブロックなどである処理ブロックに使用されるサンプル値の行列を受信する。動画エンコーダ（６０３）は、例えばレート歪み最適化を使用して、イントラモード、インターモード又は双方向予測モードを使用して最適に前記処理ブロックを符号化するかを特定する。イントラモードで処理ブロックを符号化する場合に、動画エンコーダ（６０３）は、イントラ予測技術を使用して、処理ブロックを、符号化されたピクチャに符号化してもよく、インターモード又は双方向予測モードで処理ブロックを符号化する場合に、動画エンコーダ（６０３）は、インター予測又は双方向予測技術をそれぞれ使用して、処理ブロックを符号化されたピクチャに符号化してもよい。いくつかの動画符号化技術では、マージモードはインターピクチャ予測サブモードであってもよく、なお、予測器の外部の符号化された動きベクトル成分を使用せずに、１つ又は複数の動きベクトル予測器から動きベクトルを取得する。いくつかの他の動画符号化技術では、主題ブロックに適用される動きベクトル成分が存在し得る。例において、動画エンコーダ（６０３）は、例えば、処理ブロックのモードを特定するためのモード特定モジュール（図示せず）などの他のコンポーネントを含む。

図６に示す例において、動画エンコーダ（６０３）は、図６に示すように、一体に結合されたインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）及びエントロピーエンコーダ（６２５）を含む。

インターエンコーダ（６３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、当該ブロックと参照ピクチャにおける１つ又は複数の参照ブロック（例えば、前のピクチャ及び後のピクチャにおけるブロック）とを比較し、インター予測情報（例えば、動きベクトル、マージモード情報、インター符号化技術による冗長情報の説明）を生成し、インター予測情報に基づいて、任意の適切な技術を使用してインター予測結果（例えば、予測ブロック）を算出するように配置されている。いくつかの例では、参照ピクチャは、符号化された動画情報に基づいて復号化された復号化済み参照ピクチャである。

イントラエンコーダ（６２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合に、当該ブロックと、同一ピクチャにおける既に符号化されたブロックとを比較し、変換後に量子化係数を生成し、いくつかの場合に、（例えば、１つ又は複数のイントラ符号化技術に基づくイントラ予測方向情報に応じて）イントラ予測情報も生成するように配置されている。例において、イントラエンコーダ（６２２）は、さらにイントラ予測情報と同一のピクチャにおける参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を算出する。

汎用コントローラ（６２１）は、汎用制御データを特定し、当該汎用制御データに基づいて、動画エンコーダ（６０３）の他のコンポーネントを制御するように配置されている。例において、汎用コントローラ（６２１）は、ブロックのモードを特定し、当該モードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードである場合に、汎用コントローラ（６２１）は、残差計算器（６２３）に使用されるイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御し、モードがインターモードである場合に、汎用コントローラ（６２１）は、残差計算器（６２３）に使用されるインター予測結果を選択するようにスイッチ（６２６）制御するとともに、インター予測情報を選択しインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御する。

残差計算器（６２３）は、受信したブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択した予測結果との差（残差データ）を算出するように配置されている。残差エンコーダ（６２４）は、残差データに基づいて、残差データを符号化することで変換係数を生成するように動作するように配置されている。例において、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように配置されている。次に、変換係数は、量子化処理されて、量子化された変換係数を取得する。各実施形態において、動画エンコーダ（６０３）は残差デコーダ（６２８）をさらに含む。残差デコーダ（６２８）は、逆変換を実行し、復号化された残差データを生成するように配置されている。復号化された残差データは、適宜にイントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって使用されてもよい。例えば、インターエンコーダ（６３０）は、復号化された残差データとインター予測情報に基づいて、復号化されたブロックを生成してもよく、イントラエンコーダ（６２２）は、復号化された残差データとイントラ予測情報に基づいて、復号化されたブロックを生成してもよい。復号化されたブロックを適切に処理して、復号化されたピクチャを生成し、いくつかの例において、前記復号化されたピクチャは、メモリ回路（図示せず）にバッファリングし、参照ピクチャとして使用される。

エントロピーエンコーダ（６２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように配置されている。エントロピーエンコーダ（６２５）は、例えばＨＥＶＣ規格のような適切な規格に従う様々な情報を含むように配置されている。例において、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報をビットストリームに含めるように配置されている。開示された主題によれば、インターモード又は双方向予測モードのマージサブモードでブロックを符号化する場合に残差情報がないことに留意されたい。

図７は、本開示の他の実施形態による動画デコーダ（７１０）の図を示す。動画デコーダ（７１０）は、符号化された動画シーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化することで、再構築されたピクチャを生成するように配置されている。例において、動画デコーダ（７１０）は、図３に示す例における動画デコーダ（３１０）の代わりに使用される。

図７に示す例において、動画デコーダ（７１０）は、図７に示すように、一体に結合されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）及びイントラデコーダ（７７２）を含む。

エントロピーデコーダ（７７１）は、符号化されたピクチャに基づいて、特定のシンボルを再構築するように配置されてもよく、これらのシンボルは、符号化されたピクチャを構成する構文要素を表す。そのようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、イントラモード、インターモード、双方向予測モード、インターモードと双方向予測モードとのマージサブモード又は別のサブモード）、イントラデコーダ（７７２）又はインターデコーダ（７８０）の予測に使用される特定のサンプル又はメタデータとして認識され得る予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化変換係数の形である残差情報などを含んでもよい。例において、予測モードがインター又は双方向予測モードである場合に、インター予測情報をインターデコーダ（７８０）に提供し、予測タイプがイントラ予測タイプである場合に、イントラ予測情報をイントラデコーダ（７７２）に提供する。残差情報は逆量子化され、残差デコーダ（７７３）に提供されてもよい。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように配置されている。

イントラデコーダ（７７２）はイントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように配置されている。

残差デコーダ（７７３）は、逆量子化を実行して逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように配置されている。残差デコーダ（７７３）は、特定の制御情報（量子化パラメータＱＰを含む）も必要とする場合があり、その情報はエントロピーデコーダ（７７１）から提供されてもよい（少量の制御情報に過ぎないため、データパスが図示されていない）。

再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）から出力された残差と予測結果（場合によってインター予測モジュール又はイントラ予測モジュールによって出力される）を組み合わせて、再構築されたブロックを形成するように配置され、再構築されたブロックは再構築されたピクチャの一部であってもよく、再構築されたピクチャは、再構築された動画の一部であってもよい。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。

任意の適切な技術を使用して動画エンコーダ（３０３）、動画エンコーダ（５０３）、動画エンコーダ（６０３）、及び動画デコーダ（３１０）、動画デコーダ（４１０）、動画デコーダ（７１０）を実現し得ることに留意されたい。実施形態において、１つ又は複数の集積回路を使用して動画エンコーダ（３０３）、動画エンコーダ（５０３）、動画エンコーダ（６０３）、及び動画デコーダ（３１０）、動画デコーダ（４１０）、動画デコーダ（７１０）を実現してもよい。他の実施形態において、ソフトウェア命令を実行する１つ又は複数のプロセッサを使用して動画エンコーダ（３０３）、動画エンコーダ（５０３）、動画エンコーダ（６０３）、及び動画デコーダ（３１０）、動画デコーダ（４１０）、動画デコーダ（７１０）を実現してもよい。

インター予測において、参照ピクチャから現在のブロックの参照ブロックを取得する。特定のコーデックの実現では、参照ブロックのロードに時間がかかり、ハードウェア機能によって制限される場合がある。現在のブロックのＭＶがサブ画素精度（たとえば、分数ＭＶ）を持っている場合、現在のブロックを予測するために、コーデックのメモリに追加の画素をロードする必要がある場合がある。 例えば、図８に示すように、８タップ補間フィルタを用いて現在のピクチャ（８０１）内の８ｘ８輝度の現在のブロック（８０２）を予測するために、参照ピクチャ（８０３）内の１５ｘ１５参照ブロック（８０４）をメモリにロードし、メモリから取得する必要がある場合がある。 また、双方向予測モードが適用されている場合及び/又は現在のピクチャに複数の小ブロックが含まれている場合、参照ブロックのロード及び/又は取得に使用されるメモリ帯域幅がさらに高くなる可能性がある。

本開示の各態様は、小ブロックの参照ブロックをロード／取得するために使用されるメモリ帯域幅を削減するための改善技術を含む。

本開示の各態様によれば、現在のブロックのブロック幅又はブロック高さが第１の閾値よりも小さい場合、ブロック幅とブロック高さの両方が第１の閾値よりも小さい場合、又はブロック幅が第１の閾値よりも小さく且つブロック高さが第２の閾値よりも小さい場合に、現在のブロックは「小ブロック」と見なされ得る。

本開示の各態様によれば、現在のブロックが小ブロックと見なされ、現在のブロックが分数のＭＶを有する場合、分数のＭＶは、現在のブロックの予測に使用される前に整数ＭＶに丸めることができる。一実施形態では、各方向（例えば、水平又は垂直）について、分数ＭＶは、この方向に沿って最も近い整数ＭＶに丸めることができる。たとえば、分数ＭＶ（４.６、３.２）は（５、３）に丸められる。別の実施形態では、各方向について、分数ＭＶはゼロに向かって丸めることができる。 たとえば、分数ＭＶ（４.６、３.２）は（４、３）に丸められる。つまり、分数ＭＶ（４.６、３.２）の各方向は、それぞれの整数部分に切り捨てられる。

幾つかの実施形態において、元の丸められていない分数ＭＶをＭＶバッファに格納することができるので、それは、より高い精度で他のブロックの空間的又は時間的ＭＶ予測子として使用することができる。

幾つかの実施形態において、上記の丸め操作は、ブロックサイズ及び色成分の特定の組み合わせ、例えば４ｘ４輝度ブロック、４ｘ８輝度ブロック、８ｘ４輝度ブロック、２ｘ２輝度ブロック、又は４ｘ４輝度ブロックなどにのみ適用されることに留意されたい。

本開示の各態様によれば、現在のブロックが小ブロックと見なされ且つ現在のブロックが分数のＭＶを有する場合、ブロックサイズに関係する補間フィルタは、現在のブロックの予測に使用することができる。 ブロックサイズに関係する補間フィルタの場合、フィルタタップはブロックサイズ（例えば、ブロック幅やブロック高さなど）に依存するため、タップの短いフィルタを小ブロックに使用できる。

実施形態において、ＣＵレベル（例えば、ブロックレベル）でブロックサイズに関係するフィルタを特定することができる。 たとえば、すべてのサブブロックは、サブブロックに基づくモード（たとえば、アフィンモード）でＣＵレベルで特定された同じフィルタを共有する。他の実施形態では、ブロックサイズに関係するフィルタは、非サブブロックモード（例えば、アフィンモードではない）に適用することができる。

実施形態において、ブロックサイズに関係するフィルタは、輝度ブロックのブロック幅及びブロック高さの両方が閾値よりも小さい場合に、輝度ブロックに適用することができる。 例において、閾値は８であってもよい。

実施形態において、ブロックサイズに関係するフィルタは、色度ブロックのブロック幅及びブロック高さの両方が閾値よりも小さい場合に、色度ブロックに適用することができる。 例において、閾値は４であってもよい。

実施形態において、水平補間フィルタ及び垂直補間フィルタは、異なるフィルタタップを有することができる。例において、水平補間フィルタのフィルタタップはブロック幅によって特定でき、垂直補間フィルタのフィルタタップはブロック高さによって特定できる。

実施形態において、水平補間フィルタ及び垂直補間フィルタは、同じフィルタタップ（又は長さ）を有することができる。フィルタタップは、現在のブロックのブロック幅とブロック高さの小さい方で特定できる。たとえば、４ｘ８ブロックの場合、フィルタタップは、ブロックの高さ（８）ではなく、ブロックの幅（４）で特定できる。

実施形態において、ブロックサイズに関係する補間フィルタは、一方向（例えば、垂直方向）にのみ適用することができる。一例では、垂直補間フィルタはブロックサイズに関係するが、水平補間フィルタはブロックサイズに関せず、垂直補間フィルタのフィルタタップはブロックの高さで特定できる。

実施形態において、ブロック幅又はブロック高さが閾値Ｔよりも小さい場合、長さがＮ１の補間フィルタを使用することができる。それ以外の場合は、長さがＮ２の補間フィルタを使用できる。たとえば、Ｔ = ８、Ｎ１ = ４、及びＮ２ = ８である。

実施形態において、ブロック幅又はブロック高さが第１の閾値Ｔ１よりも小さい場合、長さがＮ１の第１の補間フィルタを使用することができる。ブロック幅又はブロック高さが第２の閾値Ｔ２よりも小さく第１の閾値Ｔ１よりも大きい場合、長さがＮ２の第２の補間フィルタを使用することができる。それ以外の場合は、長さがＮ３の第３の補間フィルタを使用できる。たとえば、Ｔ１ = ４、Ｔ２ = ８、Ｎ１ = ２、Ｎ２ = ４、及びＮ３ = ８である。

幾つかの実施形態において、Ｎ個のブロックサイズ閾値がある場合、垂直方向又は水平方向に（Ｎ ＋ １）個の補間フィルタ（Ｎ＞ ２）使用することができる。 実施形態において、３つのブロックサイズ閾値（Ｔ１ ＜Ｔ２ ＜Ｔ３）、すなわち、Ｎ ＝ ３が存在する。 この場合、ブロック幅又はブロック高さがＴ１よりも小さい場合、長さがＮ１の第１の補間フィルタを垂直方向又は水平方向に使用することができる。ブロック幅又はブロック高さがＴ２よりも小さくＴ１よりも大きい場合、長さがＮ２の第２の補間フィルタを使用できる。ブロック幅又はブロック高さがＴ３よりも小さくＴ２よりも大きい場合、長さがＮ３の第３の補間フィルタを使用できる。 それ以外の場合は、長さがＮ４の第４の補間フィルタを使用できる。

実施形態において、同じ規則を、輝度及び色度ブロックの補間フィルタに適用することができる。他の実施形態では、異なる規則を輝度ブロック及び色度ブロックの補間フィルタに適用することができる。 例では、色度ブロックの場合、水平及び垂直補間フィルタは異なるタップを使用できるが、輝度ブロックの水平及び垂直補間フィルタは同じタップを使用できる。

本開示は、また、現在のブロックが小ブロックと見なされ且つ現在のブロックが分数のＭＶを有する場合に、整数ＭＶ、ブロックサイズに関係する補間フィルタ、及びブロックサイズに関係しない補間フィルタのうちの１つを選択する技術を提出する。ブロックサイズに関係しない補間フィルタのフィルタタップは、ＨＥＶＣ又はＶＶＣ規格で使用される補間フィルタなどのブロックサイズに依存しないことに留意されたい。

実施形態において、整数ＭＶ、ブロックサイズに関係する補間フィルタ、又はブロックサイズに関係しない補間フィルタの選択は、現在のピクチャのピクチャ解像度に依存することができる。

実施形態において、以下の条件の少なくとも１つが真である場合に、整数ＭＶ及び／又はブロックサイズに関する補間フィルタを選択して、現在のブロックを予測する：（１）現在のピクチャのピクチャ幅が閾値Ｔ_{ｗｉｄｔｈ}以下である、（２）現在のピクチャのピクチャ高さが閾値Ｔ_{ｈｅｉｇｈｔ}以上である、（３）現在のピクチャの画素数が閾値Ｔ_ａｒｅａ以上である、（４）フレームレートが閾値Ｔ_ｈｚ以上である、（５）充填率（たとえば、１秒あたりの画素数）が閾値Ｔ_{ｔｏｔａｌｐｉｘｅｌ}以上である。それ以外の場合は、ブロックサイズに関係しない補間フィルタを選択して現在のブロックを予測する。

実施形態において、整数ＭＶ、ブロックサイズに関する補間フィルタ、又はブロックサイズに関係しない補間フィルタの選択は、予測情報（例えば、高レベルの構文）に含まれる１つ又は複数の制御フラグに依存することができる。例えば、１つ又は複数の制御フラグは、シーケンスレベル（例えば、シーケンスパラメータセット（ＳＰＳ））、ピクチャレベル（例えば、ピクチャパラメータセット（ＰＰＳ））、タイルグループヘッダ、タイルヘッダ、スライスヘッダー、又はブロックレベルでシグナリングされてもよい。整数ＭＶ、ブロックサイズに関係する補間フィルタ、及びブロックサイズに関係しない補間フィルタのいずれかを、シグナリングされる制御フラグに従って現在のブロックに適用できる。たとえば、１つ又は複数の制御フラグがブロックサイズに関係しない補間フィルタを使用することを指示する場合、ブロックサイズに関係しない補間がシグナリングによって示される小ブロックに適用される。別の例では、１つ又は複数の制御フラグが、ブロックサイズに関係する補間フィルタを使用することを指示する場合、ブロックサイズに関係する補間フィルタが、シグナリングによって示される小ブロックに適用される。

実施形態において、整数ＭＶ、ブロックサイズに関係する補間フィルタ、又はブロックサイズに関係しない補間フィルタの選択は、例えば、現在のピクチャで復号されている画素領域におけるメモリ帯域幅の使用量に依存することができる。たとえば、まず、ブロックサイズに関係しない補間フィルタを画素領域に適用し、カウンタを使用して、ブロックサイズに関係しない補間フィルタを使用して動き補償を行うことで消費されるメモリ帯域幅を計算できる。ブロックサイズに関係する補間フィルタを使用するかどうかは、カウンタに依存する可能性がある。カウンタによって計算された消費メモリ帯域幅が目標帯域幅に達し且つまだ画素領域で復号化プロセスを完了していない場合、ブロックサイズに関係する補間フィルタが、まだ復号化されている残りの画素領域に適用される。いくつかの実施形態では、カウンタは、新しい画素領域について、０にリセットされ得る。画素領域は、符号化ツリーユニット（ＣＴＵ）、ＣＴＵ行、タイル、タイルグループ、波面、及び一定数の画素などであり得る。予測情報において、画素領域の情報、例えば、ＳＰＳ、ＰＰＳなどをシグナリングされてもよい。

図９は、本開示の幾つかの実施形態による例示的なプロセス（９００）を概説するフローチャートを示す。各実施形態において、プロセス（９００）は、処理回路システムによって実行され、処理回路システムは、例えば、端末装置（２１０）、（２２０）、（２３０）及び（２４０）における処理回路システム、動画エンコーダ（３０３）の機能を実行する処理回路システム、動画デコーダ（３１０）の機能を実行する処理回路システム、動画デコーダ（４１０）の機能を実行する処理回路システム、イントラ予測モジュール（４５２）の機能を実行する処理回路システム、動画エンコーダ（５０３）の機能を実行する処理回路システム、予測器（５３５）の機能を実行する処理回路システム、イントラエンコーダ（６２２）の機能を実行する処理回路システム、イントラデコーダ（７７２）の機能を実行する処理回路システムなどである。いくつかの実施形態において、プロセス（９００）はソフトウェア命令によって実現されるため、処理回路システムがソフトウェア命令を実行する場合、処理回路システムはプロセス（９００）を実行する。

プロセス（９００）は、通常、ステップ（Ｓ９０１）から開始し、ステップ（Ｓ９０１）において、プロセス（９００）は、現在のピクチャにおける現在のブロックの予測情報を復号化し、当該現在のピクチャは符号化された動画シーケンスの一部である。予測情報は、現在のブロックに関する分数動きベクトルを指示する。次に、プロセス（９００）はステップ（Ｓ９０２）に進む。

ステップ（Ｓ９０２）において、プロセス（９００）は、現在のブロックのブロック幅とブロック高さのうちの一つが第１の閾値よりも低いかどうかを特定する。現在のブロックのブロック幅とブロック高さのうちの一つが第１の閾値よりも低いと特定された場合に、プロセス（９００）は、ステップ（Ｓ９０３）に進む。

ステップ（Ｓ９０３）において、プロセス（９００）は、現在のブロックに対して整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。第１の補間フィルタはブロックサイズに関係する補間フィルタであり、第２の補間フィルタはブロックサイズに関係しない補間フィルタである。次に、プロセス（９００）はステップ（Ｓ９０４）に進む。

ステップ（Ｓ９０４）において、プロセス（９００）は、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタから選択された一つに基づいて現在のブロックを再構築する。現在のブロックを構築した後に、プロセス（９００）は終了する。

実施形態において、プロセス（９００）は、現在のブロックのブロック幅とブロック高さの両方が第１の閾値よりも小さいかどうかを特定する。現在のブロックのブロック幅とブロック高さの両方が第１の閾値よりも小さいと特定された場合に、プロセス（９００）は、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、プロセス（９００）は、現在のブロックのブロック幅が第１の閾値よりも小さいかどうかを特定し、現在のブロック的ブロック高さが第２の閾値よりも小さいかどうかを特定する。現在のブロックのブロック幅が第１の閾値よりも小さいと特定され現在のブロックのブロック高さが第２の閾値よりも小さいと特定された場合に、プロセス（９００）は、現在のブロックに対して整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、プロセス（９００）は、現在のピクチャのピクチャ解像度に基づいて、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、プロセス（９００）は、ピクチャの幅、ピクチャの高さ、現在のピクチャの画素数、フレームレート及び現在のピクチャの充填率のうちの一つに基づいて、現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。

実施形態において、プロセス（９００）は、予測情報に含まれる１つ又は複数の制御フラグに基づいて現在のブロックに対して、整数動きベクトル、第１の補間フィルタ及び第２の補間フィルタのうちの一つを選択する。１つ又は複数の制御フラグは、シーケンスレベル、ピクチャレベル、タイルレベル、スライスレベル及びブロックレベルのうちの少なくとも１つでシグナリングされる。

実施形態において、プロセス（９００）は、現在の画像で復号されている画素領域のメモリ帯域幅使用量に基づいて、現在のブロックの整数動きベクトル、第１の補間フィルタ、及び第２の補間フィルタのうちの１つを選択する メモリ帯域幅の使用量が目標帯域幅に達する前に、プロセス（９００）は、現在のブロックの第２の補間フィルタを選択する。メモリ帯域幅の使用量がターゲット帯域幅に到達し且つ画素領域がまだデコードされている後、プロセス（９００）は、現在のブロックに対して、整数動きベクトルと第１の補間フィルタのうちの１つを選択する。

上記の技術は、コンピュータ可読命令によってコンピュータソフトウェアとして実現され、１つ又は複数のコンピュータ可読媒体に物理的に記憶される。例えば、図１０は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム（１０００）を示す。

任意の適切なマシンコード又はコンピュータ言語を使用してコンピュータソフトウェアを符号化することができ、機械コード又はコンピュータ言語がアセンブル、コンパイル、リンクなどのメカニズムを介して命令を含むコードを作成することができ、当該命令は、１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコード実行などによって実行されることができる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそのコンポーネントで実行されることができる。

図１０に示すコンピュータシステム（１０００）に関するコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置はコンピュータシステム（１０００）の例示的な実施例に示されるコンポーネントのいずれか又はそれらの組み合わせに関する依存性又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（１０００）は、いくつかのヒューマンマシンインターフェース入力デバイスを含み得る。このようなヒューマンマシンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ又は複数の人間のユーザの入力に応答してもよい。ヒューマンマシンインターフェースデバイスは、例えば、オーディオ（例えば、音声、音楽、環境音）、ピクチャ（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、動画（例えば、２次元動画、ステレオ動画を含む３次元動画）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

ヒューマンマシンインターフェース入力デバイスには、キーボード（１００１）、マウス（１００２）、トラックパッド（１００３）、タッチスクリーン（１０１０）、データグローブ（図示せず）、ジョイスティック（１００５）、マイク（１００６）、スキャナー（１００７）、カメラ（１００８）のうちの１つ又は複数（それぞれが１つのみ図示される）を含んでもよい。

コンピュータシステム（１０００）はさらに、いくつかのヒューマンマシンインターフェース出力デバイスを含んでもよい。このようなヒューマンマシンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１つ又は複数の人間のユーザの感覚を刺激することができる。このようなヒューマンマシンインターフェース出力デバイスには、触覚出力デバイス（例えば、タッチパネル（１０１０）、データグローブ（図示せず）、又はジョイスティック（１００５）による触覚フィードバックデバイスであり、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカー（１００９）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、スクリーン（１０１０）であり、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、例えば、ステレオ画像出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）により２次元の視覚出力又は３次元以上の出力、及びプリンター（図示せず）を出力できる場合がある。これらの視覚出力デバイス（スクリーン（１０１０）など）は、グラフィックアダプタ（１０５０）を介してシステムバス（１０４８）に接続することができる。

コンピュータシステム１０００は、さらに、人間ユーザがアクセス可能な記憶装置及びそれらの関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤを有する又は媒体（１０２１）に類似するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１０２０）の光学媒体、サムドライブ（１０２２）、リムーバブルハードドライブ又はソリッドステートドライブ（１０２３）、例えば、磁気テープやフロッピーディスク（図示せず）のようなレガシー磁気媒体、例えば、セキュリティドングル（図示せず））のような専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づくデバイスなどを含んでもよい。

当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号が含まれていないことを理解すべきである。

コンピュータシステム（１０００）はまた、１つ又は複数の通信ネットワーク（１０５５）へのネットワークインターフェース（１０５４）を含むことができる。 １つ又は複数の通信ネットワーク（１０５５）は、例えば、無線、有線、光であり得る。１つ又は複数の通信ネットワーク（１０５５）は、さらに、ローカル、広域、メトロポリタン、車両及び工業、リアルタイム、遅延耐性などであり得る。１つ又は複数の通信ネットワーク（１０５５）の例には、例えば、イーサネットのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどのセルラーネットワーク、ケーブルテレビ、衛星ＴＶ、及び地上放送ＴＶを含む有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び工業ネットワークなどを含む。 特定のネットワークは、通常、特定の汎用データポート又はペリフェラルバス（１０４９）の外部ネットワークインターフェースアダプタ（たとえば、コンピュータシステムのＵＳＢポート）に接続された必要がある。 他のネットワークは、通常、以下に説明するようにシステムバスに接続することによってコンピュータシステム（１０００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１０００）は他のエンティティと通信できる。このような通信は、単方向、受信のみ（たとえば、テレビ放送）、単方向の送信のみ（たとえば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）、又は双方向、たとえば、ローカル又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムまでである。上記のようにこれらのネットワークとネットワークインターフェースのそれぞれで特定のプロトコルとプロトコルスタックを使用できる。

上記のヒューマンマシンインターフェースデバイス、ヒューマンアクセス可能な記憶装置、及びネットワークインターフェースは、コンピュータシステム（１０００）のコア（１０４０）に取り付けることができる。

コア（１０４０）には、１つ又は複数の中央処理装置（ＣＰＵ）（１０４１）、グラフィックス処理ユニット（ＧＰＵ）（１０４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１０４３）の形の専用なプログラマブル処理ユニット、特定のタスクに使用されるハードウェアアクセラレータ（１０４４）などを含んでもよい。これらのデバイス、読み取り専用メモリ（ＲＯＭ）（１０４５）、ランダムアクセスメモリ（ＲＡＭ）（１０４６）、例えばユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量ストレージ（１０４７）はシステムバス（１０４８）を介して接続されてもよい。一部のコンピュータシステムにおいて、システムバス（１０４８）に１つ又は複数の物理プラグの形でアクセスして、追加のＣＰＵ、ＧＰＵなどにより拡張を実現することができる。周辺機器は、コアのシステムバス（１０４８）に直接的、又は周辺バス（１０４９）を介して接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１０４１）、ＧＰＵ（１０４２）、ＦＰＧＡ（１０４３）、及びアクセラレータ（１０４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行してもよい。当該コンピュータコードは、ＲＯＭ（１０４５）又はＲＡＭ（１０４６）に記憶されてもよい。一時的なデータもＲＡＭ（１０４６）に記憶されてもよく、永続的なデータは、例えば内部大容量記憶装置（１０４７）に記憶されてもよい。バッファメモリにより、記憶装置のうちのいずれかへの高速ストレージと検索を実現することができ、当該バッファメモリは、１つ又は複数のＣＰＵ（１０４１）、ＧＰＵ（１０４２）、大容量記憶装置（１０４７）、ＲＯＭ（１０４５）、ＲＡＭ（１０４６）などと密接に関連することができる。

コンピュータ可読媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードをその上に有してもよい。媒体とコンピュータコードとは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又はそれらは、コンピュータソフトウェアの当業者によって知られ且つ利用可能なタイプのものであってもよい。

例として限定ではなく、アーキテクチャを有するコンピュータシステム（１０００）、特にコア（１０４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ可読媒体に実施されるソフトウェアを実行する結果として提供される機能を提供することができる。このようなコンピュータ可読媒体は、以上に前記したユーザがアクセス可能な大容量記憶装置、及びコア（１０４０）のいくつかの非一時的な性質を有するストレージ例えばコア内部大容量記憶装置（１０４７）又はＲＯＭ（１０４５）に関連する媒体であってもよい。本開示の様々な実施形態を実現するソフトウェアはこのようなデバイスに記憶され、コア（１０４０）によって実行されてもよい。特定のニーズに応じて、コンピュータ可読媒体には１つ又は複数のメモリ又はチップが含まれてもよい。ソフトウェアは、コア（１０４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させ、ソフトウェアによって定義されたプロセスによりＲＡＭ（１０４６）に記憶されるデータ構造を定義し、このようなデータ構造を修正することを含む。さらに又は代わりとして、コンピュータシステムは、ロジックハードワイヤードによって提供される、又は、他の方式で回路（例えば、アクセラレータ（１０４４）に具現化される機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに運行することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行できる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを格納する回路（例えば、集積回路（ＩＣ）など）、実行のための論理を実施する回路、又はその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。

この開示は、いくつかの例示的な実施例を説明したが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の原理を具現化し、従って本開示の精神及び範囲内にある多数のシステム及び方法を当業者が考案できることが認識される。
付録Ａ：頭字語
ＡＭＶＰ：高度動きベクトル予測
ＡＳＩＣ：特定用途向け集積回路
ＢＭＳ：ベンチマークセット
ＢＳ：境界強度
ＢＶ：ブロックベクトル
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＣＤ：コンパクトディスク
ＣＰＲ：現在のピクチャ参照
ＣＰＵ：中央処理ユニット
ＣＲＴ：陰極線管
ＣＴＢ：符号化ツリーブロック
ＣＴＵ：符号化ツリーユニット
ＣＵ：符号化ユニット
ＤＰＢ：デコーダピクチャバッファ
ＤＶＤ：デジタル動画ディスク
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＧＯＰ：ピクチャグループ
ＧＰＵ：グラフィックス処理ユニット
ＧＳＭ：モバイル通信のグローバルシステム
ＨＤＲ：ハイダイナミックレンジ
ＨＥＶＣ：高効率動画符号化
ＨＲＤ：仮想参照デコーダ
ＩＢＣ：イントラブロックコピー
ＩＣ：集積回路
ＪＥＭ：共同探査モデル
ＬＡＮ：ローカルネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＩＣ：ローカル照明補償
ＬＴＥ：長期的な進化
ＭＲ-ＳＡＤ：平均-削除絶対差の合計
ＭＲ-ＳＡＴＤ：平均-削除絶対変換差の合計
ＭＶ：動きベクトル
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：周辺コンポーネント相互接続
ＰＬＤ：プログラマブルロジックデバイス
ＰＰＳ：ピクチャパラメータセット
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読み取り専用メモリ
ＳＣＣ：スクリーンコンテンツ符号化
ＳＤＲ：標準動的範囲
ＳＥＩ：補助拡張情報
ＳＭＶＰ：空間動きベクトル予測器
ＳＮＲ：信号対雑音比
ＳＰＳ：シーケンスパラメータ集
ＳＳＤ：ソリッドステートドライブ
ＴＭＶＰ：時間動きベクトル予測器
ＴＵ：変換ユニット
ＵＳＢ：ユニバーサルシリアルバス
ＶＵＩ：動画ユーザビリティ情報
ＶＶＣ：多用途動画符号化

Claims (11)

1. 動画復号化方法であって、デコーダが、
   現在のピクチャにおける現在のブロックの予測情報を復号化するステップであって、前記現在のピクチャは、符号化された動画シーケンスの一部であり、前記予測情報は、前記現在のブロックに関する分数動きベクトルを指示する、ステップと、
   前記現在のブロックのブロック幅とブロック高さのうちの一つが第１の閾値よりも低いか否かを特定するステップと、
   前記現在のブロックのブロック幅とブロック高さのうちの一つが前記第１の閾値よりも低いと特定された場合に、前記分数動きベクトルを丸めて得られた整数動きベクトル及び第１の補間フィルタのうちの一つを前記現在のブロックのための再構築ツールとして選択し、前記現在のブロックのブロック幅とブロック高さのうちの一つが前記第１の閾値以上である場合に、第２の補間フィルタを前記再構築ツールとして選択するステップであって、前記第１の補間フィルタは、前記ブロックのブロック幅及び／又はブロック高さを含むブロックサイズに関係する補間フィルタであり、前記第２の補間フィルタは、前記ブロックサイズに関係しない補間フィルタである、ステップと、
   選択された前記再構築ツールに基づいて、前記現在のブロックを再構築するステップと、を実行する方法。
2. 前記特定するステップは、前記現在のブロックのブロック幅とブロック高さの両方が前記第１の閾値よりも小さいか否かを特定するステップ、を含み、
   前記選択するステップは、前記現在のブロックのブロック幅とブロック高さの両方が前記第１の閾値よりも低いと特定された場合に、前記整数動きベクトル及び前記第１の補間フィルタのうちの一つを前記再構築ツールとして選択するステップ、を含む請求項１に記載の方法。
3. 前記特定するステップは、前記現在のブロックのブロック幅が前記第１の閾値よりも小さいか否かを特定し、前記現在のブロックのブロック高さが第２の閾値よりも小さいか否かを特定するステップ、を含み、
   前記選択するステップは、前記現在のブロックのブロック幅が前記第１の閾値よりも小さいと特定されており、且つ前記現在のブロックのブロック高さが前記第２の閾値よりも小さいと特定された場合に、前記整数動きベクトル及び前記第１の補間フィルタのうちの一つを前記再構築ツールとして選択するステップ、を含む請求項１に記載の方法。
4. 前記選択するステップは、前記現在のピクチャのピクチャ解像度に基づく請求項１～３の何れか１項に記載の方法。
5. 前記選択するステップは、ピクチャの幅、ピクチャの高さ、前記現在のピクチャの画素数、フレームレート及び前記現在のピクチャの充填率のうちの一つに基づく請求項１～３の何れか１項に記載の方法。
6. 前記選択するステップは、前記予測情報に含まれる１つ又は複数の制御フラグに基づく請求項１に記載の方法。
7. 前記１つ又は複数の制御フラグは、シーケンスレベル、ピクチャレベル、タイルレベル、スライスレベル及びブロックレベルのうちの少なくとも１つでシグナリングされる請求項６に記載の方法。
8. 前記選択するステップは、前記現在のピクチャにおいて復号化中である画素領域でのメモリ帯域幅の使用に基づく請求項１に記載の方法。
9. 前記メモリ帯域幅の使用が目標帯域幅に達する前に、前記第２の補間フィルタを前記再構築ツールとして選択するステップと、
   前記メモリ帯域幅の使用が前記目標帯域幅に達しており、且つ前記画素領域がまだ復号化中である場合、前記整数動きベクトルと前記第１の補間フィルタのうちの一つを前記再構築ツールとして選択するステップと、をさらに含む請求項８に記載の方法。
10. 動画復号化装置であって、処理回路システムを含み、該処理回路システムが、請求項１～９の何れか１項に記載の動画復号化方法を実行する、動画復号化装置。
11. コンピュータプログラムであって、非一時的なコンピュータ可読記憶媒体に記憶され、少なくとも１つのプロセッサに、請求項１～９の何れか１項に記載の動画復号化方法を実行させる、コンピュータプログラム。
    

Images