JP2022548351A - マージ候補リストを構築するための方法 - Google Patents

Abstract

本開示は、映像処理に使用されるマージ候補リストを構築するためのシステム及び方法を提供する。１つの例示的方法は、コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック及び左上の隣接ブロックの順に従って挿入される。この方法は、コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを更に含み得る。

Description

関連出願の相互参照
[001] 本開示は、参照によりその全体が本明細書に援用される、２０１９年９月１９日に出願された米国仮特許出願第６２／９０２，７９０号に対する優先権を主張する。

背景
[002] 映像は、視覚情報を捕捉する静的ピクチャ（又は「フレーム」）の組である。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送前に圧縮し、表示前に解凍することができる。圧縮プロセスは、通常、符号化と呼ばれ、解凍プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するHigh Efficiency Video Coding（ＨＥＶＣ／Ｈ．２６５）規格、Versatile Video Coding（ＶＶＣ／Ｈ．２６６）規格、ＡＶＳ規格等の映像コード化規格が規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。

開示の概要
[003] 本開示の実施形態は、マージ候補リストを構築するための方法を提供する。一部の実施形態によれば、１つの例示的方法は、コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック及び左上の隣接ブロックの順に従って挿入される。

[004] 一部の実施形態によれば、１つの例示的方法は、予め設定された数値限界に基づいてコード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含む。数値限界が２である場合、上の隣接ブロック、左の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入される。数値限界が３である場合、上の隣接ブロック、左の隣接ブロック、上の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入される。

[005] 一部の実施形態によれば、１つの例示的方法は、コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、第１のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組は、第１の構築順序に従って挿入され、及び第２のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組は、第２の構築順序に従って挿入され、第１の構築順序は、第２の構築順序と異なる。

[006] 一部の実施形態によれば、１つの例示的方法は、コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、コード化ブロックが低遅延ピクチャの一部である場合、空間的マージ候補の組は、第１の構築順序に従って挿入され、及びコード化ブロックが非低遅延ピクチャの一部である場合、空間的マージ候補の組は、第２の構築順序に従って挿入され、第１の構築順序は、第２の構築順序と異なる。

図面の簡単な説明
[007] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図中に示す様々な特徴は、縮尺通りに描かれていない。

[008]本開示の幾つかの実施形態による例示的な映像シーケンスの構造を示す。 [009]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な符号化プロセスの概略図を示す。 [010]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な符号化プロセスの概略図を示す。 [011]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な復号プロセスの概略図を示す。 [012]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な復号プロセスの概略図を示す。 [013]本開示の実施形態と合致する、映像を符号化又は復号するための例示的な機器のブロック図を示す。 [014]本開示の実施形態と合致する、空間的マージ候補の例示的な位置を示す。 [015]本開示の実施形態と合致する、時間的マージ候補の例示的な位置を示す。 [016]本開示の実施形態と合致する、時間的マージ候補の例示的なスケーリングを示す。 [017]本開示の実施形態と合致する、merge mode with motion vector difference（ＭＭＶＤ）における距離インデックスと既定のオフセットとの例示的関係を示す。 [018]本開示の実施形態と合致する、空間的マージ候補の例示的な位置を示す。 [019]本開示の実施形態と合致する、ランダムアクセス（ＲＡ）構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [020]本開示の実施形態と合致する、低遅延（ＬＤ）構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [021]本開示の実施形態と合致する、ＲＡ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [022]本開示の実施形態と合致する、ＬＤ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [023]本開示の実施形態と合致する、スライスヘッダの例示的な構文構造を示す。 [024]本開示の実施形態と合致する、シーケンスパラメータセット（ＳＰＳ）の例示的な構文構造を示す。 [025]本開示の実施形態と合致する、ピクチャパラメータセット（ＰＰＳ）の例示的な構文構造を示す。 [026]本開示の実施形態と合致する、ＲＡ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [027]本開示の実施形態と合致する、ＬＤ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [028]本開示の実施形態と合致する、ＲＡ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [029]本開示の実施形態と合致する、ＬＤ構成下のＶＴＭ－６と比較した例示的な実験結果を示す。 [030]本開示の実施形態と合致する、例示的な映像処理方法のフローチャートを示す。

詳細な説明
[031] ここで、その例が添付図面に示される例示的実施形態を詳細に参照する。以下の説明は、添付図面を参照し、添付図面では、他に指示がない限り、異なる図中の同じ数字が同じ又は同様の要素を表す。例示的実施形態についての以下の説明に記載される実装形態は、本開示と合致する全ての実装形態を表すわけではない。代わりに、それらは、単に添付の特許請求の範囲に列挙される、本開示に関係する態様と合致する機器及び方法の例である。本開示の具体的な態様を以下でより詳細に説明する。参照により援用される用語及び／又は定義と矛盾する場合、本明細書で与えられる用語及び定義が優先する。

[032] 上記の通り、映像とは、視覚的情報を記憶するために時系列順に配置されるフレームである。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉装置（例えば、カメラ）を使用することができ、かかるピクチャを時系列順に表示するために、映像再生装置（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末）を使用することができる。更に、一部の応用では、監視、会議又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置（例えば、モニタを有するコンピュータ）にリアルタイムで伝送することができる。

[033] かかる応用が必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に解凍することができる。この圧縮及び解凍は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実装され得る。圧縮のためのモジュールを一般に「符号器」と呼び、解凍のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア又はその組み合わせとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書換可能ゲートアレイ（ＦＰＧＡ）、ディスクリートロジック又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。一部の応用では、コーデックが第１のコード化規格から映像を解凍し、第２のコード化規格を使用して、解凍された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。

[034] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。

[035] 符号化されているピクチャ（「現ピクチャ」と呼ぶ）の有用な情報は、参照ピクチャ（例えば、過去に符号化され、再構築されたピクチャ）に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化又は色変化を含むことができ、そのうちの位置変化が最も重要である。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。

[036] 別のピクチャを参照することなくコード化されるピクチャ（即ちそのようなピクチャが自らの参照ピクチャである）を「Ｉピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャを使用してコード化されるピクチャを「Ｐピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャ及び将来のピクチャの両方を使用してコード化される（即ち参照が「双方向」である）ピクチャを「Ｂピクチャ」と呼ぶ。

[037] 半分の帯域幅を使用してＨＥＶＣ／Ｈ．２６５と同じ主観的品質を実現するために、ＪＶＥＴは、共同探索モデル（ＪＥＭ）参照ソフトウェアを使用して、ＨＥＶＣを上回る技術を開発している。ＪＥＭにコード化の技術が組み込まれたため、ＪＥＭは、ＨＥＶＣよりも大幅に高いコード化性能を実現した。

[038] ＶＶＣ規格は、より優れた圧縮性能を与える更に多くのコード化技術を引き続き含んでいる。ＶＶＣは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ２、Ｈ．２６３等の現代の映像圧縮規格に使用されている同じハイブリッド映像コード化システムに基づく。ＶＶＣでは、新たなマージ候補を含むマージ候補リストを構築することができる。異なるインターモードに対して異なるマージリストのサイズが適用される。本開示の実施形態は、ＶＶＣ内の新たなマージ候補（例えば、ＨＭＶＰ、ペアワイズ平均）及び新たなインターモード（例えば、ＭＭＶＤ、ＴＰＭ）を考慮に入れる。例えば、空間的マージ候補の順序は、改善することができ、空間的マージ候補の数は、調節することができる。更に、空間的マージ候補の構築は、通常モード、ＭＭＶＤモード及びＴＰＭモードに関して固定され、空間的マージ候補の構築は、通常モード、ＭＭＶＤモード及びＴＰＭモードに関して固定される。

[039] 図１は、本開示の幾つかの実施形態による映像シーケンス１００の一例の構造を示す。映像シーケンス１００は、生中継映像又は捕捉され、アーカイブされている映像であり得る。映像１００は、現実の映像、コンピュータによって生成される映像（例えば、コンピュータゲーム映像）又はその組み合わせ（例えば、拡張現実効果を有する現実の映像）であり得る。映像シーケンス１００は、映像捕捉装置（例えば、カメラ）、過去に捕捉された映像を含む映像アーカイブ（例えば、記憶装置内に記憶される映像ファイル）又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。

[040] 図１に示すように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６及び１０８を含むタイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ１０２～１０６は、連続的であり、ピクチャ１０６とピクチャ１０８との間に更に多くのピクチャがある。図１では、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０４及び１０８である。一部の実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャであり得る。ピクチャ１０２～１０６の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を、図１に示す例に限定しないことに留意すべきである。

[041] 典型的には、映像コーデックは、全ピクチャを一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位（「ＢＰＵ」）と呼ぶ。例えば、図１の構造１１０は、映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造の一例を示す。構造１１０では、ピクチャが４×４の基本処理単位に分けられており、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）内の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）内の「コード化ツリー単位」（「ＣＴＵ」）と呼ぶことができる。１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２又はピクセルのあらゆる任意の形状及びサイズ等、基本処理単位は、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率と基本処理単位内で保とうとする詳細度とのバランスに基づいてピクチャについて選択することができる。

[042] 基本処理単位は、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）並びにルマ成分及びクロマ成分が同じサイズを有し得る基本処理単位の関連構文要素を含むことができる。一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、ルマ成分及びクロマ成分が「コード化ツリーブロック」（「ＣＴＢ」）と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。

[043] 映像のコード化は、複数の操作段階を有し、その例を図２Ａ～図２Ｂ及び図３Ａ～図３Ｂで詳述する。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントに更に分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）内の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）内の「コード化単位」（「ＣＵ」）と呼ぶことができる。基本処理副単位は、基本処理単位と同じ又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々な種類の映像データ群（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連構文要素）を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、更なるレベルに対して行われ得ることに留意すべきである。様々な段階が様々な方式を使用して基本処理単位を分割できることにも留意すべきである。

[044] 例えば、（その一例を図２Ｂで詳述する）モード決定段階において、基本処理単位に対して何れの予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣにあるＣＵ）に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。

[045] 別の例では、（その一例を図２Ａ～２Ｂに詳述する）予測段階において、符号器は、基本処理副単位（例えば、ＣＵ）のレベルにおいて予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ内で「予測ブロック」又は「ＰＢ」と呼ばれる）に更に分けることができ、そのレベルにおいて予測操作を行うことができる。

[046] 別の例では、（その一例を図２Ａ～２Ｂに詳述する）変換段階において、符号器は、残差基本処理副単位（例えば、ＣＵ）に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ内で「変換ブロック」又は「ＴＢ」と呼ばれる）に更に分けることができ、そのレベルにおいて変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵについての予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。

[047] 図１の構造１１０では、基本処理単位１１２が３×３の基本処理副単位に更に分けられており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。

[048] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の機能を与えるために、ピクチャを処理のための領域に分けることができ、それにより、ピクチャの領域について、符号化又は復号プロセスがピクチャの他の任意の領域の情報に依存しないようにすることができる。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。更に、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の機能を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは、「スライス」及び「タイル」という２種類の領域を提供する。映像シーケンス１００の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。

[049] 例えば、図１では、構造１１０が３つの領域１１４、１１６及び１１８に分けられており、その境界が構造１１０内の実線として示されている。領域１１４は、４個の基本処理単位を含む。領域１１６及び１１８のそれぞれは、６個の基本処理単位を含む。図１の構造１１０の基本処理単位、基本処理副単位及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。

[050] 図２Ａは、本開示の実施形態と合致する、符号化プロセス２００Ａの一例の概略図を示す。例えば、符号化プロセス２００Ａは、符号器によって実行され得る。図２Ａに示すように、符号器は、プロセス２００Ａに従って映像シーケンス２０２を映像ビットストリーム２２８に符号化することができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時系列順に配置されるピクチャ（「元のピクチャ」と呼ぶ）の組を含み得る。図１の構造１１０と同様に、映像シーケンス２０２のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャに関する基本処理単位のレベルにおいてプロセス２００Ａを実行することができる。例えば、符号器は、プロセス２００Ａを反復的な方法で実行することができ、符号器は、プロセス２００Ａの１回の反復において基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャの領域（例えば、領域１１４～１１８）についてプロセス２００Ａを並列に実行することができる。

[051] 図２Ａでは、符号器は、映像シーケンス２０２の元のピクチャの基本処理単位（「元のＢＰＵ」と呼ぶ）を予測段階２０４にフィードして、予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。符号器は、元のＢＰＵから、予測されたＢＰＵ２０８を減算して、残差ＢＰＵ２１０を生成することができる。符号器は、残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４にフィードして、量子化された変換係数２１６を生成することができる。符号器は、予測データ２０６及び量子化された変換係数２１６をバイナリコード化段階２２６にフィードして、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６及び２２８は、「順方向経路」と呼ぶことができる。プロセス２００Ａ中、符号器は、量子化段階２１４後、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復の予測段階２０４に使用される予測基準２２４を生成することができる。プロセス２００Ａの構成要素２１８、２２０、２２２及び２２４は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。

[052] 符号器は、プロセス２００Ａを反復的に実行して、（順方向経路内で）元のピクチャのそれぞれの元のＢＰＵを符号化し、（再構築経路内で）元のピクチャの次の元のＢＰＵを符号化するための予測された基準２２４を生成することができる。元のピクチャの全ての元のＢＰＵを符号化した後、符号器は、映像シーケンス２０２内の次のピクチャの符号化に進むことができる。

[053] プロセス２００Ａを参照すると、符号器は、映像捕捉装置（例えば、カメラ）によって生成される映像シーケンス２０２を受信することができる。本明細書で使用する「受信（する）」という用語は、データを入力するために受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること又は任意の方法の任意のアクションを指すことができる。

[054] 予測段階２０４では、現在の反復において、符号器が元のＢＰＵ及び予測基準２２４を受信し、予測操作を行って予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。予測基準２２４は、プロセス２００Ａ前の反復の再構築経路から生成され得る。予測段階２０４の目的は、予測データ２０６を抽出することにより、情報の冗長性を減らすことでああり、予測データ２０６は、予測データ２０６及び予測基準２２４から予測されたＢＰＵ２０８として元のＢＰＵを再構築するために使用され得る。

[055] 理想的には、予測されたＢＰＵ２０８は、元のＢＰＵと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測されたＢＰＵ２０８は、概して、元のＢＰＵと僅かに異なる。そのような差を記録するために、符号器は、予測されたＢＰＵ２０８を生成した後、それを元のＢＰＵから減算して残差ＢＰＵ２１０を生成することができる。例えば、符号器は、予測されたＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を元のＢＰＵの対応するピクセルの値から減算することができる。元のＢＰＵの対応するピクセルと、予測されたＢＰＵ２０８との間のかかる減算の結果、残差ＢＰＵ２１０の各ピクセルは、残差値を有し得る。元のＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、品質を著しく損なうことなく元のＢＰＵを再構築するためにそれらを使用することができる。

[056] 残差ＢＰＵ２１０を更に圧縮するために、変換段階２１２において、符号器は、残差ＢＰＵ２１０を２次元「基底パターン」の組に分解することにより、残差ＢＰＵ２１０の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。それぞれの基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、輝度変動周波数）成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ（例えば、線形結合）から再現することができない。換言すれば、分解は、残差ＢＰＵ２１０の変動を周波数領域内に分解することができる。かかる分解は、関数の離散フーリエ変換に類似し、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）に類似し、変換係数は、基底関数に関連する係数に類似する。

[057] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階２１２では、様々な変換アルゴリズムを使用することができる。変換段階２１２における変換は、可逆的である。即ち、符号器は、変換の逆操作（「逆変換」と呼ぶ）によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム（従って同じ基底パターン）を使用することができる。従って、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差ＢＰＵ２１０を再構築することができる。残差ＢＰＵ２１０と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなく残差ＢＰＵ２１０を再構築するために使用され得る。従って、残差ＢＰＵ２１０が更に圧縮される。

[058] 符号器は、量子化段階２１４において変換係数を更に圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数（例えば、輝度変動周波数）を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号の際の著しい品質劣化を引き起こすことなく高周波変動の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化パラメータ」と呼ぶ）で除算し、商をその最近隣数に丸めることにより、量子化された変換係数２１６を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数２１６を無視することができ、それにより変換係数が更に圧縮される。量子化プロセスも可逆的であり、量子化された変換係数２１６は、量子化の逆操作（「逆量子化」と呼ぶ）内で変換係数に再構築することができる。

[059] 符号器は、丸め操作内でかかる除算の剰余を無視するため、量子化段階２１４は、非可逆であり得る。典型的には、量子化段階２１４は、プロセス２００Ａ内で最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数２１６が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。

[060] バイナリコード化段階２２６において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ２０６及び量子化された変換係数２１６を符号化することができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、符号器は、例えば、予測段階２０４で使用される予測モード、予測操作のパラメータ、変換段階２１２の変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報をバイナリコード化段階２２６において符号化することができる。符号器は、バイナリコード化段階２２６の出力データを使用して映像ビットストリーム２２８を生成することができる。一部の実施形態では、映像ビットストリーム２２８をネットワーク伝送のために更にパケット化することができる。

[061] プロセス２００Ａの再構築経路を参照すると、逆量子化段階２１８では、符号器は、量子化された変換係数２１６に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階２２０では、符号器は、再構築された変換係数に基づいて、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復内で使用される予測基準２２４を生成することができる。

[062] 映像シーケンス２０２を符号化するためにプロセス２００Ａの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器がプロセス２００Ａの段階を異なる順序で実行することができる。一部の実施形態では、プロセス２００Ａの１つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａの単一の段階を複数の段階に分けることができる。例えば、変換段階２１２と量子化段階２１４とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａは、追加の段階を含み得る。一部の実施形態では、プロセス２００Ａは、図２Ａ内の１つ又は複数の段階を省くことができる。

[063] 図２Ｂは、本開示の実施形態に合致する、符号化プロセスの別の例２００Ｂの概略図を示す。プロセス２００Ｂは、プロセス２００Ａから修正され得る。例えば、プロセス２００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する符号器によって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定段階２３０を更に含み、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に分ける。プロセス２００Ｂの再構築経路は、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[064] 概して、予測技法は、空間的予測及び時間的予測の２つの種類に分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、現ＢＰＵを予測するために、同じピクチャ内の既にコード化された１つ又は複数の隣接ＢＰＵのピクセルを使用することができる。即ち、空間的予測における予測基準２２４は、隣接ＢＰＵを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、現ＢＰＵを予測するために、既にコード化された１つ又は複数のピクチャの領域を使用することができる。即ち、時間的予測における予測基準２２４は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。

[065] プロセス２００Ｂを参照すると、順方向経路において、符号器は、空間的予測段階２０４２及び時間的予測段階２０４４で予測操作を行う。例えば、空間的予測段階２０４２では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のＢＰＵに関して、予測基準２２４は、同じピクチャ内の（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数の隣接ＢＰＵを含み得る。符号器は、隣接ＢＰＵを外挿することにより、予測されたＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿又は多項式補間等を含み得る。一部の実施形態では、予測されたＢＰＵ２０８のピクセルごとに、対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、元のＢＰＵの上）、水平方向（例えば、元のＢＰＵの左）、対角線方向（例えば、元のＢＰＵの左下、右下、左上又は右上）又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のＢＰＵに対して位置し得る。イントラ予測では、予測データ２０６は、例えば、使用される隣接ＢＰＵの位置（例えば、座標）、使用される隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する使用される隣接ＢＰＵの方向等を含み得る。

[066] 別の例では、時間的予測段階２０４４では、符号器は、インター予測を行うことができる。現ピクチャの元のＢＰＵに関して、予測基準２２４は、（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数のピクチャ（「参照ピクチャ」と呼ぶ）を含み得る。一部の実施形態では、参照ピクチャがＢＰＵごとに符号化され再構築され得る。例えば、符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、再構築されたＢＰＵを生成することができる。同じピクチャの全ての再構築されたＢＰＵが生成されると、符号器は、参照ピクチャとして再構築されたピクチャを生成することができる。符号器は、参照ピクチャの範囲（「探索窓」と呼ぶ）内の一致領域を探すために「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のＢＰＵの位置に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内において、現ピクチャ内の元のＢＰＵと同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のＢＰＵと同様の領域を（例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって）識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のＢＰＵと異なる（例えば、それよりも小さい、等しい、大きい又は異なる形状の）寸法を有し得る。参照ピクチャ及び現ピクチャは、（例えば、図１に示すように）タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のＢＰＵの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。

[067] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ２０６は、例えば、一致領域の位置（例えば、座標）、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。

[068] 予測されたＢＰＵ２０８を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて、予測されたＢＰＵ２０８を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、その中では、符号器は、現ピクチャの元のＢＰＵを予測することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。

[069] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現ピクチャに対して同じ時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０４は、参照ピクチャ（即ちピクチャ１０２）がピクチャ１０４に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現ピクチャに対して両方の時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０６は、参照ピクチャ（即ちピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間的方向にある双方向のインター予測ピクチャである。

[070] プロセス２００Ｂの順方向経路を引き続き参照すると、空間的予測段階２０４２及び時間的予測段階２０４４後、モード決定段階２３０において、符号器は、プロセス２００Ｂの現在の反復のための予測モード（例えば、イントラ予測又はインター予測の１つ）を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測されたＢＰＵ２０８及び予測されたデータ２０６を生成することができる。

[071] プロセス２００Ｂの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準２２４（例えば、現ピクチャ内で符号化され再構築されている現ＢＰＵ）を生成した後、符号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。順方向経路内でインター予測モードが選択されている場合、予測基準２２４（例えば、全てのＢＰＵが符号化され再構築されている現ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードすることができ、ループフィルタ段階２３２では、符号器は、予測基準２２４にループフィルタを適用して、インター予測によって引き起こされる歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ等、符号器は、ループフィルタ段階２３２で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（又は「復号されたピクチャバッファ」）内に記憶することができる。符号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数２１６、予測データ２０６及び他の情報と共にループフィルタのパラメータ（例えば、ループフィルタの強度）をバイナリコード化段階２２６で符号化することができる。

[072] 図３Ａは、本開示の実施形態に合致する、復号プロセス３００Ａの一例の概略図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する解凍プロセスであり得る。一部の実施形態では、プロセス３００Ａは、プロセス２００Ａの再構築経路と同様であり得る。復号器は、プロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号することができる。映像ストリーム３０４は、映像シーケンス２０２と非常に類似し得る。しかし、圧縮及び解凍プロセス（例えば、図２Ａ～図２Ｂの量子化段階２１４）における情報損失により、概して、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～図２Ｂのプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャについて、基本処理単位（ＢＰＵ）のレベルにおいてプロセス３００Ａを実行することができる。例えば、復号器は、プロセス３００Ａを反復的な方法で実行することができ、復号器は、プロセス３００Ａの１回の反復において基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャの領域（例えば、領域１１４～１１８）についてプロセス３００Ａを並列に実行することができる。

[073] 図３Ａでは、復号器は、符号化されたピクチャの基本処理単位（「符号化されたＢＰＵ」と呼ぶ）に関連する映像ビットストリーム２２８の一部をバイナリ復号段階３０２にフィードすることができる。バイナリ復号段階３０２では、復号器は、当該一部を予測データ２０６及び量子化された変換係数２１６に復号することができる。復号器は、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。復号器は、予測データ２０６を予測段階２０４にフィードして、予測されたＢＰＵ２０８を生成することができる。復号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、予測された基準２２４を生成することができる。一部の実施形態では、予測された基準２２４がバッファ（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶され得る。復号器は、プロセス３００Ａの次の反復内で予測操作を行うための予測された基準２２４を予測段階２０４にフィードすることができる。

[074] 復号器は、プロセス３００Ａを反復的に実行して、符号化されたピクチャの各符号化されたＢＰＵを復号し、符号化されたピクチャの次の符号化されたＢＰＵを符号化するための予測された基準２２４を生成することができる。符号化されたピクチャの全ての符号化されたＢＰＵを復号した後、復号器は、表示するためにピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化されたピクチャの復号に進むことができる。

[075] バイナリ復号段階３０２では、復号器は、符号器が使用したバイナリコード化技法（例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆圧縮アルゴリズム）の逆操作を行うことができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報をバイナリ復号段階３０２において復号することができる。一部の実施形態では、映像ビットストリーム２２８がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム２２８をパケット化解除してからそれをバイナリ復号段階３０２にフィードすることができる。

[076] 図３Ｂは、本開示の実施形態に合致する、復号プロセスの別の例３００Ｂの概略図を示す。プロセス３００Ｂは、プロセス３００Ａから修正され得る。例えば、プロセス３００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する復号器によって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に更に分け、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[077] プロセス３００Ｂでは、復号されている符号化されたピクチャ（「現ピクチャ」と呼ぶ）の符号化された基本処理単位（「現ＢＰＵ」と呼ぶ）に関して、復号器によってバイナリ復号段階３０２から復号される予測データ２０６は、現ＢＰＵを符号化するために何れの予測モードが符号器によって使用されたかに応じて様々な種類のデータを含み得る。例えば、現ＢＰＵを符号化するためにイントラ予測が符号器によって使用された場合、予測データ２０６は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。イントラ予測操作のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの位置（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する隣接ＢＰＵの方向等を含み得る。別の例では、現ＢＰＵを符号化するためにインター予測が符号器によって使用された場合、予測データ２０６は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。インター予測操作のパラメータは、例えば、現ＢＰＵに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の１つ又は複数の一致領域の位置（例えば、座標）、一致領域にそれぞれ関連する１つ又は複数の動きベクトル等を含み得る。

[078] 予測モードインジケータに基づき、復号器は、空間的予測段階２０４２で空間的予測（例えば、イントラ予測）を行うか、又は時間的予測段階２０４４で時間的予測（例えば、インター予測）を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、図２Ｂに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測されたＢＰＵ２０８を生成することができる。図３Ａに記載したように、復号器は、予測されたＢＰＵ２０８と、再構築された残差ＢＰＵ２２２とを加えて、予測基準２２４を生成することができる。

[079] プロセス３００Ｂでは、復号器は、プロセス３００Ｂの次の反復内で予測操作を行うための予測された基準２２４を空間的予測段階２０４２又は時間的予測段階２０４４にフィードすることができる。例えば、現ＢＰＵが空間的予測段階２０４２においてイントラ予測を使用して復号される場合、予測基準２２４（例えば、復号された現ＢＰＵ）を生成した後、復号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。現ＢＰＵが時間的予測段階２０４４においてインター予測を使用して復号される場合、予測基準２２４（例えば、全てのＢＰＵが復号されている参照ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードして歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。復号器は、図２Ｂに記載した方法で予測基準２２４にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の将来の符号化ピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶することができる。復号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、現ＢＰＵを符号化するためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタの強度）を更に含むことができる。

[080] 図４Ａは、本開示の実施形態に合致する、映像を符号化又は復号するための機器４００の一例のブロック図である。図４Ａに示すように、機器４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載の命令を実行するとき、機器４００は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ４０２は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ４０２は、任意の数の中央処理装置（「ＣＰＵ」）、グラフィックス処理装置（「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ）コア、プログラム可能論理アレイ（ＰＬＡ）、プログラム可能アレイ論理（ＰＡＬ）、汎用アレイ論理（ＧＡＬ）、複合プログラム可能論理装置（ＣＰＬＤ）、書換可能ゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ４０２は、単一の論理構成要素としてグループ化されるプロセッサの組であり得る。例えば、図４Ａに示すように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ及びプロセッサ４０２ｎを含む複数のプロセッサを含み得る。

[081] 機器４００は、データ（例えば、命令、コンピュータコード、中間データ等の組）を記憶するように構成されるメモリ４０４も含み得る。例えば、図４Ａに示すように、記憶データは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂ内の段階を実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、プログラム命令及び処理用データに（例えば、バス４１０を介して）アクセスし、プログラム命令を実行して処理用データに対する操作又は処理を行うことができる。メモリ４０４は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ４０４は、任意の数のランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード等の任意の組み合わせを含み得る。メモリ４０４は、単一の論理構成要素としてグループ化される（図４Ａには不図示の）メモリ群でもあり得る。

[082] 内蔵バス（例えば、ＣＰＵメモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート）等のバス４１０は、機器４００内の構成要素間でデータを転送する通信装置であり得る。

[083] 曖昧さを招くことなく説明を簡単にするために、本開示では、プロセッサ４０２及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器４００の他の任意の構成要素内に完全に若しくは部分的に組み合わされ得る。

[084] 機器４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等）との有線通信又は無線通信を提供するためのネットワークインタフェース４０６を更に含み得る。一部の実施形態では、ネットワークインタフェース４０６は、任意の数のネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。

[085] 一部の実施形態では、１つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース４０８を任意選択的に機器４００が更に含み得る。図４Ａに示すように、周辺装置は、これのみに限定されないが、カーソル制御装置（例えば、マウス、タッチパッド又はタッチスクリーン）、キーボード、ディスプレイ（例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ）、映像入力装置（例えば、映像アーカイブに結合されるカメラ又は入力インタフェース）等を含み得る。

[086] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂを実行するコーデック）は、機器４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部の又は全ての段階は、メモリ４０４内にロード可能なプログラム命令等の、機器４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部の又は全ての段階は、専用データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ等）等の、機器４００の１つ又は複数のハードウェアモジュールとして実装され得る。

[087] インター予測を使用してコード化されるＣＵでは、前に復号されたピクチャ（即ち参照ピクチャ）内の参照ブロックが予測子として識別される。参照ピクチャ内の参照ブロックと現ピクチャ内のコード化ブロックとの間の相対位置が動きベクトル（ＭＶ）として定められる。現ＣＵの動き情報は、予測子、参照ピクチャインデックス及び対応するＭＶの数によって指定される。動き情報に基づく動き補償によって予測を得た後、予測信号と元の信号との間の残差を変換、量子化及びエントロピーコード化に更にかけてから、出力ビットストリーム内にパックすることができる。

[088] 一部の状況では、現ＣＵの空間的及び時間的に隣接するＣＵの動き情報を使用して、現ＣＵの動き情報を予測することができる。動き情報のコード化ビットを減らすために、マージモードを採用することができる。マージモードでは、空間的又は時間的に隣接するブロックから動き情報が導出され、何れの隣接ブロックから動き情報を導出したかを示すためにマージインデックスをシグナリングすることができる。

[089] ＨＥＶＣでは、以下の候補に基づいてマージ候補リストを構築することができる。

[090] （１）５つの空間的隣接ブロックから導出される最大４つの空間的マージ候補。

[091] （２）時間的コロケーテッドブロックから導出される１つの時間的マージ候補。

[092] （３）結合双予測候補及びゼロ動きベクトル候補を含む追加のマージ候補。

[093] マージ候補リスト内の第１の候補は、空間的近傍である。図４Ｂは、５つの空間的候補の位置を示す。｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝の順序に従って各候補の位置の可用性が検査される。空間的隣接ブロックがイントラ予測されるか、又は位置が現スライス若しくはタイルの外側にある場合、その空間的隣接ブロックは、マージ候補として利用できないと考えることができる。加えて、隣接ブロックからの動きデータが可能な限りユニークであることを確実にするために、幾らかの冗長性検査を行うことができる。冗長性検査に起因する複雑さを減らすために、限られた冗長性検査のみを行うことができ、ユニーク性は、必ずしも保証されない。例えば、｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝の順序を所与とし、Ｂ０は、Ｂ１のみを検査し、Ａ０は、Ａ１のみを検査し、Ｂ２は、Ａ１及びＢ１のみを検査する。

[094] 時間的マージ候補では、利用可能である場合、図４Ｃに示すように、参照ピクチャのコロケーテッドブロックの直接外側の右下位置Ｃ０を使用する。さもなければ、代わりに中心位置Ｃ１を使用することができる。コロケーテッド参照ピクチャに何れの参照ピクチャリストが使用されるかは、スライスヘッダ内でシグナリングされるインデックスによって示され得る。図５に示すように、コロケーテッドブロックのＭＶは、ピクチャ順序カウント（ＰＯＣ）差に基づいてスケーリングしてからマージリスト内に挿入することができる。

[095] マージ候補の最大数Ｃは、スライスヘッダ内で指定され得る。見つかった利用可能なマージ候補の数（時間的候補を含む）がＣを上回る場合、最初のＣ－１の空間的候補及び時間的候補のみが保持される。そうではなく、利用可能なマージ候補の数がＣ未満である場合、数がＣに等しくなるまで追加の候補が生成される。コード化データを構文解析する能力が、利用可能なマージ候補の数に依存しないため、この形態は、構文解析を単純化することができ、構文解析をよりロバストにする。共通実験条件（ＣＴＣ）では、マージ候補の最大数Ｃが５に設定される。

[096] Ｂスライスでは、参照ピクチャリスト０及びリスト１に関する既定の順序に従って利用可能な２つの候補を組み合わせることで、追加のマージ候補が生成される。例えば、生成される第１の候補は、リスト０に関する第１のマージ候補及びリスト１に関する第２のマージ候補を使用する。ＨＥＶＣは、（０，１）、（１，０）、（０，２）、（２，０）、（１，２）、（２，１）、（０，３）、（３，０）、（１，３）、（３，１）、（２，３）及び（３，２）として、既に構築されたマージ候補リスト内で２つの動きベクトルの合計１２個の既定の対を上記の順序で規定し、ここで、（ｉ，ｊ）は、利用可能なマージ候補のインデックスを表す。それらのうち、冗長エントリを除去した後に最大５つの候補を含めることができる。

[097] スライスがＰスライスであるか、又はマージ候補の数が依然としてＣ未満である場合、マージ候補リスト内の残りの任意のエントリを埋めるために、ゼロから参照ピクチャ数マイナス１までの参照インデックスに関連するゼロ動きベクトルが使用される。

[098] ＶＶＣでは、以下の５種類の候補を順に含めることによってマージ候補リストが構築される：
空間的隣接ＣＵからの空間的マージ候補、
コロケーテッドＣＵからの時間的マージ候補、
ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、
ペアワイズ平均候補、及び
ゼロＭＶ。

[099] 空間的マージ候補及び時間的マージ候補の定義は、ＨＥＶＣにあるのと同じである。空間的マージ候補及び時間的マージ候補後、ＨＭＶＰマージ候補がマージリストに追加される。ＨＭＶＰでは、過去にコード化されたブロックの動き情報がテーブル内に記憶され、及び現ＣＵのための動きベクトル予測子として使用される。符号化／復号プロセス中、複数のＨＭＶＰ候補を有するテーブルが維持される。新たなＣＴＵ行に遭遇するとき、テーブルは、リセットされる（空にされる）。非サブブロックのインターコード化されたＣＵがある場合、関連する動き情報は、新たなＨＭＶＰ候補としてテーブルの最後のエントリに追加される。

[0100] ＶＶＣでは、ＨＭＶＰテーブルのサイズを６に設定することができ、即ち最大６つのＨＭＶＰ候補をテーブルに追加することができる。テーブルに新たな動き候補を挿入するとき、制約付きの先入れ先出し（ＦＩＦＯ）規則を利用することができ、テーブル内に同一のＨＭＶＰがあるかどうかを見出すために冗長性検査が最初に適用される。見つかる場合、同一のＨＭＶＰをテーブルから除去し、その後の全てのＨＭＶＰ候補を前に移動することができる。

[0101] マージ候補リストの構築プロセス中、テーブル内の最後の幾つかのＨＭＶＰ候補が順に検査され、時間的動きベクトル予測子（ＴＭＶＰ）候補後にマージ候補リストに挿入される。空間的マージ候補又は時間的マージ候補に対してＨＭＶＰ候補を検査するために、冗長性検査を適用することができる。

[0102] ＨＭＶＰ候補を挿入した後、マージ候補リストが依然として一杯でない場合、ペアワイズ平均候補を追加する。ペアワイズ平均候補は、既存のマージ候補リスト内の候補の既定の対を平均することによって生成される。既定の対は、｛（０，１），（０，２），（１，２），（０，３），（１，３），（２，３）｝として定められ、ここで、数字は、マージ候補リスト内のマージインデックスを表す。平均された動きベクトルが参照ピクチャリストごとに別々に計算される。両方の動きベクトルが１つのリスト内で入手可能である場合、それらの２つの動きベクトルは、異なる参照ピクチャを指す場合でも平均される。１つの動きベクトルのみが入手可能である場合、その利用可能なものを直接使用する。動きベクトルが入手できない場合、そのリストは、無効と見なされる。

[0103] ペアワイズ平均マージ候補を追加した後もマージリストが依然として一杯でない場合、最大マージ候補数に達するまでゼロ動きベクトルが末尾に挿入される。

[0104] ＶＶＣでは、通常マージモードに加えて、マージ候補リストの構築は、merge mode with motion vector difference（ＭＭＶＤ）及び三角形分割モード（ＴＰＭ）にも使用することができる。

[0105] ＭＭＶＤでは、マージ候補がマージ候補リストからまず選択され、シグナリングされる動きベクトル差（ＭＶＤ）情報によって更にリファインされる。ＭＭＶＤマージ候補リストのサイズは、２に設定される。２つのＭＭＶＤ候補の何れがベース動きベクトル（ＭＶ）として使用されるかを指定するために、マージ候補フラグがシグナリングされ得る。ＭＶＤ情報は、距離インデックス及び方向インデックスによってシグナリングされ得る。距離インデックスは、動きの大きさの情報を指定し、ベースＭＶからの既定のオフセットを示す。距離インデックスと既定のオフセットとの関係を図６の例に示す。方向インデックスは、ベースＭＶに加えられるオフセットの符号を指定し、例えば、０は、正符号を示し、１は、負符号を示す。

[0106] ＴＰＭでは、ＣＵは、対角線分割又は逆対角線分割を使用して２つの三角形区画に均等に分けられる。ＣＵ内のそれぞれの三角形区画は、自らの動きを使用してインター予測され得る。それぞれの区画について単予測のみが認められる。即ち、各区画は、１つの動きベクトル及び１つの参照インデックスを有する。双予測と同様に、２つの動き補償予測のみが各ＣＵに必要であることを確実にするために、単予測動き制約が適用される。三角形分割モードが現ＣＵに使用される場合、三角形分割の方向（対角線又は逆対角線）を示すフラグ及び２つのマージインデックス（区画ごとに１つ）が更にシグナリングされ得る。三角形区画のそれぞれを予測した後、適応重みを伴う混合処理を使用して、対角線エッジ又は逆対角線エッジに沿ったサンプル値を調節する。これは、全ＣＵのための予測信号に対応し、通常のインターモードにあるように変換及び量子化プロセスを全ＣＵに適用することができる。マージ候補リストを構築することができる。最大ＴＰＭマージ候補の数がスライスヘッダ内で明確にシグナリングされ、ＣＴＣ内で５に設定され得る。

[0107] ＶＶＣでは、空間的候補、時間的候補、ＨＭＶＰ及びペアワイズ平均候補を含むマージ候補リストが構築される。異なるインターモードに対して異なるマージリストのサイズが適用される。例えば、｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝の順序に従って空間的マージ候補をマージリスト内に挿入することができる。しかし、空間的マージ候補の構築プロセスは、ＨＥＶＣからＶＶＣまで変更されておらず、それは、ＶＶＣ内の新たなマージ候補（例えば、ＨＭＶＰ、ペアワイズ平均）及び新たなインターモード（例えば、ＭＭＶＤ、ＴＰＭ）を考慮に入れていない。これは、現在の空間的マージ候補の様々な欠点につながる。

[0108] 例えば、空間的マージ候補の順序を改善することができる。空間的マージ候補の数を調節することができる。更に、空間的マージ候補の構築は、通常モード、ＭＭＶＤモード及びＴＰＭモードに関して固定され、それは、マージ方法の潜在性を限定する。加えて、空間的マージ候補の構築は、低遅延ピクチャ及び非低遅延ピクチャに関して固定され、それは、柔軟性を下げる。上記の及び他の問題に対処するために、本開示では、様々な解決策を提供する。

[0109] 例えば、一部の実施形態では、空間的マージ候補の順序を変更することができる。空間的マージ候補の新たな順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を適用することができる。空間的隣接ブロックＢ１、Ａ１、Ｂ０、Ａ０及びＢ２の位置を図７に示す。一部の実施形態では、この順序を｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝に変更することができる。

[0110] 新たな順序は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック、及び左上の隣接ブロックに連続して対応し、この順序は、上の近傍と左の近傍とで交互になる。更に、空間的マージ候補の新たな順序は、より高いコード化性能を実現することができる。図８及び図９に示すように、一部の実施形態によれば、提案する方法は、ランダムアクセス（ＲＡ）及び低遅延（ＬＤ）構成下のＶＴＭ－６と比較して平均０．０５％及び０．２１％のコード化利得をそれぞれ得ることができる。

[0111] 一部の実施形態では、空間的マージ候補の数を変更することができる。計算の複雑さとコード化性能との間のより優れたトレードオフを実現するために、本開示の様々な実施形態において、空間的マージ候補の数の減少が提案され適用される。空間的マージ候補の数を２に制限する場合、構築順序｛Ｂ１，Ａ１｝を適用することができる。例えば、入手可能である場合、隣接ブロックＢ１を検査し、マージリスト内に挿入することができる。次いで、入手可能であり、Ｂ１と同じでない場合、隣接ブロックＡ１を検査し、マージリスト内に挿入することができる。空間的マージ候補｛Ｂ１，Ａ１｝を挿入した後、その後のＴＭＶＰ、ＨＭＶＰ及びペアワイズ平均候補をマージリスト内に追加することができる。

[0112] 空間的マージ候補の数を３に制限する場合、構築順序｛Ｂ１，Ａ１，Ｂ０｝を適用することができる。隣接ブロックの検査順序は、Ｂ１－＞Ａ１－＞Ｂ０であり、入手可能であり、冗長でない場合、対応するＭＶをマージリスト内に挿入することができる。

[0113] 空間的マージ候補｛Ｂ１，Ａ１，Ｂ０｝を使用する場合、ＶＴＭ－６と比較した実験結果を図１０及び図１１に示す。図１０及び図１１に示すように、一部の実施形態によれば、提案する技法は、ＲＡ及びＬＤ構成下で０．００％及び０．１０％のコード化利得を実現することができる。

[0114] 更に、一部のＶＶＣ技法では、マージ候補の総数をシグナリングすることができる。本開示の一部の実施形態では、マージ候補リストを構築する際に更なる柔軟性を得るために、空間的マージ候補の数を更にシグナリングすることを提案する。現ピクチャの予測構造を考慮し、空間的マージ候補の数は、様々な値に設定することができる。現ピクチャが非低遅延ピクチャである場合、空間的マージ候補の数を第１の値に設定することができる。非低遅延ピクチャは、表示順序に従って過去及び未来の両方からの参照ピクチャを使用してコード化されるピクチャを指し得る。そうではなく、現ピクチャが低遅延ピクチャである場合、空間的マージ候補の数を第２の値に設定することができる。低遅延ピクチャは、表示順序に従って過去からの参照ピクチャのみを使用してコード化されるピクチャを指し得る。第１の値は、第２の値よりも大きい値とすることができる。第１の値及び第２の値は、ビットストリーム内、例えばスライスヘッダ内で明確にシグナリングされ得る。図１２に一例を示す。

[0115] 構文要素num_spatial_merge_cand_minus2（例えば、図１２の要素１２０１）は、現スライスに使用される空間的マージ候補の数を示すことができる。num_spatial_merge_cand_minus2の値は、０～３（両端値を含む）の範囲内であり得る。num_spatial_merge_cand_minus2の要素がない場合、num_spatial_merge_cand_minus2は、０に等しいと推論することができる。

[0116] 現スライスをコード化するために使用される参照ピクチャに応じて、スライスは、低遅延又は非低遅延として分類することができ、様々な数のマージ候補を使用することができる。num_spatial_merge_cand_minus2の値は、符号器によって適宜設定され、ビットストリーム内で送信され得る。

[0117] 代替的に、スライスヘッダ内で１つの構文要素をシグナリングする代わりに、図１３（例えば、要素１３０１）及び図１４（例えば、要素１４０１）内で示すように、num_spatial_merge_cand_minus2_non_lowdelay及びnum_spatial_merge_cand_minus2_lowdelayの２つの構文要素をピクチャパラメータセット（ＰＰＳ）又はシーケンスパラメータセット（ＳＰＳ）内でシグナリングすることができる。更に、スライスレベルにおいて、スライスの種類に応じて対応する数の空間的マージ候補を使用することができる。

[0118] num_spatial_merge_cand_minus2_non_lowdelay及びnum_spatial_merge_cand_minus2_lowdelayの値は、非低遅延スライス及び低遅延スライスに使用される空間的マージ候補の数をそれぞれ示し得る。num_spatial_merge_cand_minus2_non_lowdelay及びnum_spatial_merge_cand_minus2_lowdelayの値は、０～３（両端値を含む）の範囲内であり得る。num_spatial_merge_cand_minus2_non_lowdelay又はnum_spatial_merge_cand_minus2_lowdelayがない場合、それらは、０に等しいと推論することができる。

[0119] 一部の実施形態では、異なるインターモードに対して空間的マージ候補の別々の構築順序が適用され得る。例えば、｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝及び｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝を含む、空間的マージ候補の２つの構築順序を検討することができる。通常マージモード、ＭＭＶＤモード、及びＴＰＭモードに対して異なる構築順序を採用することができる。一部の実施形態では、｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を通常マージモード及びＴＰＭモードに使用し、｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝をＭＭＶＤモードに使用することを提案する。例示的実施形態の実験結果を図１５及び図１６に示す。提案する方法は、ＲＡ及びＬＤ構成下で平均０．０７％及び０．１６％のコード化利得をそれぞれ実現できることが認められている。

[0120] 本開示に基づき、空間的マージ候補の順序及びマージモードの他の組み合わせを使用できることを当業者であれば理解することができる。例えば、｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を通常マージモードのみに使用することができ、｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝をＭＭＶＤモード及びＴＭＰモードに使用することができる。

[0121] 一部の実施形態では、フレームの種類に基づいて空間的マージ候補の適応構築順序を適用することができる。例えば、低遅延ピクチャ及び非低遅延ピクチャ等の異なる種類のインターコード化ピクチャに対して異なる空間的マージ候補構築方法を適用することができる。一部の実施形態では、低遅延ピクチャに関して、空間的マージ候補の構築順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を、通常マージモード、ＴＰＭモード、及びＭＭＶＤモードに使用することができる。非低遅延ピクチャに関して、空間的マージ候補の構築順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を、通常マージモード及びＴＰＭモードに使用することができ、空間的マージ候補の構築順序｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝をＭＭＶＤモードに使用することができる。例示的実施形態の実験結果を図１７及び図１８に示す。提案する方法は、ＲＡ及びＬＤ構成下で平均０．０８％及び０．２１％のコード化利得をそれぞれ実現できることが認められている。

[0122] 図１９は、本開示の実施形態と合致する例示的な映像処理方法１９００のフローチャートを示す。一部の実施形態では、方法１９００は、符号器、復号器、機器（例えば、図４Ａの機器４００）の１つ又は複数のソフトウェア又はハードウェアコンポーネントによって実行され得る。例えば、プロセッサ（例えば、図４Ａのプロセッサ４０２）は、方法１９００を実行することができる。一部の実施形態では、方法１９００は、コンピュータ（例えば、図４Ａの機器４００）によって実行されるプログラムコード等のコンピュータ実行可能命令を含むコンピュータ可読媒体において具体化されるコンピュータプログラム製品によって実装され得る。

[0123] ステップ８０２では、例えば符号器、復号器、又は機器（例えば、図４Ａの機器４００）の１つ若しくは複数のソフトウェア若しくはハードウェアコンポーネントにより、コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することができる。ＶＶＣでは、空間的マージ候補の順序を改善することができる。空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック、及び左上の隣接ブロックの順に従って挿入することができる。例えば、空間的マージ候補の新たな順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を図７に示す。

[0124] 空間的マージ候補の数は、調節することができる。ステップ８０４では、空間的マージ候補の予め設定された数値限界を決定する。

[0125] ステップ８０６では、数値限界が２である場合、上の隣接ブロック、左の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組を挿入する。空間的マージ候補の数を２に制限する場合、構築順序｛Ｂ１，Ａ１｝を適用することができる。例えば、入手可能である場合、隣接ブロックＢ１を検査し、マージリスト内に挿入することができる。次いで、入手可能であり、Ｂ１と同じでない場合、隣接ブロックＡ１を検査し、マージリスト内に挿入することができる。空間的マージ候補｛Ｂ１，Ａ１｝を挿入した後、その後のＴＭＶＰ、ＨＭＶＰ及びペアワイズ平均候補をマージリスト内に追加することができる。

[0126] ステップ８０８では、数値限界が３である場合、上の隣接ブロック、左の隣接ブロック、上の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組を挿入する。空間的マージ候補の数を３に制限する場合、構築順序｛Ｂ１，Ａ１，Ｂ０｝を適用することができる。隣接ブロックの検査順序は、Ｂ１－＞Ａ１－＞Ｂ０であり、入手可能であり、冗長でない場合、対応するＭＶをマージリスト内に挿入することができる。

[0127] 一部の実施形態では、コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルの少なくとも１つをマージ候補リストに追加することができる。

[0128] ＨＭＶＰでは、過去にコード化されたブロックの動き情報がＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される。符号化／復号プロセス中、複数のＨＭＶＰ候補を有するテーブルが維持される。新たなＣＴＵ行に遭遇するとき、テーブルは、リセットされる（空にされる）。非サブブロックのインターコード化されたコード化単位がある場合、非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される。

[0129] ペアワイズ平均候補は、マージ候補リストが一杯でないことに応じて、マージ候補リスト内の候補の対を平均することによって生成され、及び１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される。

[0130] ペアワイズ平均マージ候補を追加した後もマージリストが依然として一杯でない場合、最大マージ候補数に達するまでゼロ動きベクトルをマージ候補リストの末尾に挿入する。

[0131] ステップ８１０では、例えば符号器又は復号器により、コード化ブロックに対して第１のコード化モードを適用するか又は第２のコード化モードを適用するかを決定する。第１のコード化モードは、第２のコード化モードと異なる。一部の実施形態では、第１のコード化モード及び第２のコード化モードのそれぞれが、通常マージモード、merge mode with motion vector difference（ＭＭＶＤ）、及び三角形分割モード（ＴＰＭ）のうちの１つであり得る。

[0132] ステップ８１２では、第１のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組を第１の構築順序に従って挿入する。例えば、ＭＭＶＤでは、マージ候補がマージ候補リストからまず選択され、シグナリングされる動きベクトル差（ＭＶＤ）情報によってリファインされ、２つのＭＭＶＤ候補の何れがベース動きベクトルとして使用されるかを指定するためにマージ候補フラグがシグナリングされる。ＭＶＤ情報は、距離インデックス及び方向インデックスによってシグナリングされ得る。距離インデックスは、動きの大きさの情報を指定し、ベースＭＶからの既定のオフセットを示す。距離インデックスと既定のオフセットとの関係を図６の例に示す。方向インデックスは、ベースＭＶに加えられるオフセットの符号を指定し、例えば、０は、正符号を示し、１は、負符号を示す。

[0133] ステップ８１４では、第２のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組を第２の構築順序に従って挿入する。例えば、ＴＰＭでは、コード化単位は、対角線分割又は逆対角線分割の少なくとも１つを使用して２つの三角形区画に均等に分けられる。ＣＵ内のそれぞれの三角形区画は、自らの動きを使用してインター予測され得る。それぞれの区画について単予測のみが認められる。即ち、各区画は、１つの動きベクトル及び１つの参照インデックスを有する。

[0134] ステップ８１６では、コード化ブロックが低遅延ピクチャの一部であるか、又は非低遅延ピクチャの一部であるかを決定する。

[0135] ステップ８１８では、コード化ブロックが低遅延ピクチャの一部である場合、空間的マージ候補の組を第３の構築順序に従って挿入する。一部の実施形態では、低遅延ピクチャに関して、空間的マージ候補の構築順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を、通常マージモード、ＴＰＭモード、及びＭＭＶＤモードに使用することができる。

[0136] ステップ８２０では、コード化ブロックが非低遅延ピクチャの一部である場合、空間的マージ候補の組を第４の構築順序に従って挿入する。第３の構築順序は、第４の構築順序と異なる。第３の構築順序及び第４の構築順序は、ＭＭＶＤに使用される。一部の実施形態では、非低遅延ピクチャに関して、空間的マージ候補の構築順序｛Ｂ１，Ａ１，Ｂ０，Ａ０，Ｂ２｝を通常マージモード及びＴＰＭモードに使用することができ、空間的マージ候補の構築順序｛Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２｝をＭＭＶＤモードに使用することができる。

[0137] 本開示と合致して、上記の方法の１つ又は複数を組み合わせて使用するか又は別々に使用することができることを当業者であれば理解するであろう。例えば、空間的マージ候補の減少を採用する技法は、異なるインターモードに対して空間的マージ候補の別々の構築順序を使用する提案した方法と組み合わせて使用することができる。

[0138] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を実行するための装置（開示した符号器及び復号器等）によって実行され得る。一般的な非一時的媒体は、例えば、フロッピ（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくは他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ若しくは他の任意のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、他の任意のメモリチップ若しくはカートリッジ及びそれらのもののネットワーク化されたバージョンを含む。装置は、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース及び／又はメモリを含み得る。

[0139] 本明細書の「第１の」及び「第２の」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。更に、「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか１つの後に続くアイテムがかかるアイテムの網羅的列挙であることを意図していないか、又は列挙するアイテムのみに限定されることを意図していない点で非限定的であることを意図する。

[0140] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、あるデータベースがＡ又はＢを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、あるデータベースがＡ、Ｂ又はＣを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ、若しくはＢ、若しくはＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。

[0141] 上記で説明した実施形態は、ハードウェア若しくはソフトウェア（プログラムコード）又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示した方法を実行することができる。本開示で説明した計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール／ユニットの複数を１つのモジュール／ユニットとして組み合わせることができ、上記のモジュール／ユニットのそれぞれを複数のサブモジュール／サブユニットに更に分割できることも当業者であれば理解するであろう。

[0142] 実施形態は、以下の条項を使用して更に記載することができる：
１．映像処理方法であって、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック、及び左上の隣接ブロックの順に従って挿入される、映像処理方法。
２．コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを更に含む、条項１に記載の方法。
３．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項２に記載の方法。
４．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項２及び３の何れか一項に記載の方法。
５．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項２に記載の方法。
６．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項２に記載の方法。
７．映像処理方法であって、
空間的マージ候補の予め設定された数値限界に基づいてコード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
数値限界が２である場合、上の隣接ブロック、左の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入され、及び
数値限界が３である場合、上の隣接ブロック、左の隣接ブロック、上の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入される、映像処理方法。
８．表示順序に従って過去の参照ピクチャ及び未来の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値に設定され、及び
表示順序に従って過去の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値未満の第２の値に設定される、条項７に記載の方法。
９．マージ候補リスト内に挿入される空間的マージ候補の数をシグナリングすることを更に含む、条項７に記載の方法。
１０．コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを更に含む、条項７～９の何れか一項に記載の方法。
１１．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項１０に記載の方法。
１２．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項１０及び１１の何れか一項に記載の方法。
１３．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項１０に記載の方法。
１４．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項１０に記載の方法。
１５．映像処理方法であって、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
第１のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
第２のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、映像処理方法。
１６．第１のコード化モード及び第２のコード化モードは、通常マージモード、merge mode with motion vector difference（ＭＭＶＤ）、及び三角形分割モード（ＴＰＭ）から選択される２つの異なるモードである、条項１５に記載の方法。
１７．ＭＭＶＤでは、マージ候補は、マージ候補リストからまず選択され、シグナリングされる動きベクトル差（ＭＶＤ）情報によってリファインされ、マージ候補フラグは、２つのＭＭＶＤ候補の何れがベース動きベクトルとして使用されるかを指定するためにシグナリングされる、条項１６に記載の方法。
１８．ＴＰＭでは、コード化単位は、対角線分割又は逆対角線分割の少なくとも１つを使用して２つの三角形区画に均等に分けられる、条項１６に記載の方法。
１９．コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを更に含む、条項１５及び１６の何れか一項に記載の方法。
２０．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項１９に記載の方法。
２１．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項１９及び２０の何れか一項に記載の方法。
２２．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項１９に記載の方法。
２３．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項１９に記載の方法。
２４．映像処理方法であって、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
コード化ブロックが低遅延ピクチャの一部である場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
コード化ブロックが非低遅延ピクチャの一部である場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、映像処理方法。
２５．第１の構築順序及び第２の構築順序は、merge mode with motion vector difference（ＭＭＶＤ）に使用される、条項２４に記載の方法。
２６．コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを更に含む、条項２４に記載の方法。
２７．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項２６に記載の方法。
２８．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項２６及び２７の何れか一項に記載の方法。
２９．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項２６に記載の方法。
３０．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項２６に記載の方法。
３１．映像処理機器であって、
命令の組を記憶するメモリと、
１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを機器に行わせるように、命令の組を実行するように構成され、
空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック、及び左上の隣接ブロックの順に従って挿入される、映像処理機器。
３２．１つ又は複数のプロセッサは、コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを機器に更に行わせるように、命令の組を実行するように構成される、条項３１に記載の機器。
３３．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項３２に記載の機器。
３４．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項３２及び３３の何れか一項に記載の機器。
３５．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項３２に記載の機器。
３６．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項３２に記載の機器。
３７．映像処理機器であって、
命令の組を記憶するメモリと、
１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、
空間的マージ候補の予め設定された数値限界に基づいてコード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを機器に行わせるように、命令の組を実行するように構成され、
数値限界が２である場合、上の隣接ブロック、左の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入され、及び
数値限界が３である場合、上の隣接ブロック、左の隣接ブロック、上の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入される、映像処理機器。
３８．表示順序に従って過去の参照ピクチャ及び未来の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値に設定され、及び
表示順序に従って過去の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値未満の第２の値に設定される、条項３７に記載の機器。
３９．１つ又は複数のプロセッサは、
マージ候補リスト内に挿入される空間的マージ候補の数をシグナリングすることを機器に更に行わせるように、命令の組を実行するように構成される、条項３７に記載の機器。
４０．１つ又は複数のプロセッサは、コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを機器に更に行わせるように、命令の組を実行するように構成される、条項３７～３９の何れか一項に記載の機器。
４１．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項４０に記載の機器。
４２．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項４０及び４１の何れか一項に記載の機器。
４３．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項４０に記載の機器。
４４．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項４０に記載の機器。
４５．映像処理機器であって、
命令の組を記憶するメモリと、
１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを機器に行わせるように、命令の組を実行するように構成され、
第１のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
第２のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、映像処理機器。
４６．第１のコード化モード及び第２のコード化モードは、通常マージモード、merge mode with motion vector difference（ＭＭＶＤ）及び三角形分割モード（ＴＰＭ）から選択される２つの異なるモードである、条項４５に記載の機器。
４７．ＭＭＶＤでは、マージ候補は、マージ候補リストからまず選択され、シグナリングされる動きベクトル差（ＭＶＤ）情報によってリファインされ、マージ候補フラグは、２つのＭＭＶＤ候補の何れがベース動きベクトルとして使用されるかを指定するためにシグナリングされる、条項４６に記載の機器。
４８．ＴＰＭでは、コード化単位は、対角線分割又は逆対角線分割の少なくとも１つを使用して２つの三角形区画に均等に分けられる、条項４５及び４６の何れか一項に記載の機器。
４９．コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加する、条項４６に記載の機器。
５０．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項４９に記載の機器。
５１．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項４９及び５０の何れか一項に記載の機器。
５２．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項４９に記載の機器。
５３．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項４９に記載の機器。
５４．映像処理機器であって、
命令の組を記憶するメモリと、
１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを機器に行わせるように、命令の組を実行するように構成され、
コード化ブロックが低遅延ピクチャの一部である場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
コード化ブロックが非低遅延ピクチャの一部である場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、映像処理機器。
５５．第１の構築順序及び第２の構築順序は、merge mode with motion vector difference（ＭＭＶＤ）に使用される、条項５４に記載の機器。
５６．１つ又は複数のプロセッサは、コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、及びゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することを機器に更に行わせるように、命令の組を実行するように構成される、条項５４に記載の機器。
５７．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項５６に記載の機器。
５８．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項５６及び５７の何れか一項に記載の機器。
５９．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項５６に記載の機器。
６０．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項５６に記載の機器。
６１．命令の組を記憶する非一時的コンピュータ可読媒体であって、命令の組は、映像処理方法をコンピュータに行わせるように、コンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック、及び左上の隣接ブロックの順に従って挿入される、非一時的コンピュータ可読媒体。
６２．命令の組は、コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、又はゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することをコンピュータに更に行わせるように、コンピュータによって実行可能である、条項６１に記載の非一時的コンピュータ可読媒体。
６３．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項６２に記載の非一時的コンピュータ可読媒体。
６４．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項６２及び６３の何れか一項に記載の非一時的コンピュータ可読媒体。
６５．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項６２に記載の非一時的コンピュータ可読媒体。
６６．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項６２に記載の非一時的コンピュータ可読媒体。
６７．命令の組を記憶する非一時的コンピュータ可読媒体であって、命令の組は、映像処理方法をコンピュータに行わせるように、コンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
空間的マージ候補の予め設定された数値限界に基づいてコード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
数値限界が２である場合、上の隣接ブロック、左の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入され、及び
数値限界が３である場合、上の隣接ブロック、左の隣接ブロック、上の隣接ブロックの順序に基づいてマージ候補リスト内に空間的マージ候補の組が挿入される、非一時的コンピュータ可読媒体。
６８．表示順序に従って過去の参照ピクチャ及び未来の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値に設定され、及び
表示順序に従って過去の参照ピクチャを使用して現ピクチャがコード化されていることに応じて、空間的マージ候補の数は、第１の値未満の第２の値に設定される、条項６７に記載の非一時的コンピュータ可読媒体。
６９．命令の組は、マージ候補リスト内に挿入される空間的マージ候補の数をシグナリングすることをコンピュータに更に行わせるように、コンピュータによって実行可能である、条項６７に記載の非一時的コンピュータ可読媒体。
７０．少なくとも１つのプロセッサは、コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、及びゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することをコンピュータに更に行わせるように、命令の組を実行するように構成される、条項６７～６９の何れか一項に記載の非一時的コンピュータ可読媒体。
７１．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項７０に記載の非一時的コンピュータ可読媒体。
７２．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項７０及び７１の何れか一項に記載の非一時的コンピュータ可読媒体。
７３．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項７０に記載の非一時的コンピュータ可読媒体。
７４．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項７０に記載の非一時的コンピュータ可読媒体。
７５．命令の組を記憶する非一時的コンピュータ可読媒体であって、命令の組は、映像処理方法をコンピュータに行わせるように、コンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
第１のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
第２のコード化モードがコード化ブロックに適用される場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、非一時的コンピュータ可読媒体。
７６．第１のコード化モード及び第２のコード化モードは、通常マージモード、merge mode with motion vector difference（ＭＭＶＤ）及び三角形分割モード（ＴＰＭ）から選択される２つの異なるモードである、条項７５に記載の非一時的コンピュータ可読媒体。
７７．ＭＭＶＤでは、マージ候補は、マージ候補リストからまず選択され、シグナリングされる動きベクトル差（ＭＶＤ）情報によってリファインされ、マージ候補フラグは、２つのＭＭＶＤ候補の何れがベース動きベクトルとして使用されるかを指定するためにシグナリングされる、条項７６に記載の非一時的コンピュータ可読媒体。
７８．ＴＰＭでは、コード化単位は、対角線分割又は逆対角線分割の少なくとも１つを使用して２つの三角形区画に均等に分けられる、条項７６に記載の非一時的コンピュータ可読媒体。
７９．コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子、ペアワイズ平均候補、及びゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加する、条項７５及び７６の何れか一項に記載の非一時的コンピュータ可読媒体。
８０．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項７９に記載の非一時的コンピュータ可読媒体。
８１．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項７９及び８０の何れか一項に記載の非一時的コンピュータ可読媒体。
８２．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項７９に記載の非一時的コンピュータ可読媒体。
８３．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項７９に記載の非一時的コンピュータ可読媒体。
８４．命令の組を記憶する非一時的コンピュータ可読媒体であって、命令の組は、映像処理方法をコンピュータに行わせるように、コンピュータの少なくとも１つのプロセッサによって実行可能であり、方法は、
コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
コード化ブロックが低遅延ピクチャの一部である場合、空間的マージ候補の組が第１の構築順序に従って挿入され、及び
コード化ブロックが非低遅延ピクチャの一部である場合、空間的マージ候補の組が第２の構築順序に従って挿入され、
第１の構築順序は、第２の構築順序と異なる、非一時的コンピュータ可読媒体。
８５．第１の構築順序及び第２の構築順序は、merge mode with motion vector difference（ＭＭＶＤ）に使用される、条項８４に記載の非一時的コンピュータ可読媒体。
８６．命令の組は、コロケーテッドコード化単位からの時間的マージ候補、ＦＩＦＯテーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補、及びゼロ動きベクトルのうちの少なくとも１つをマージ候補リストに追加することをコンピュータに更に行わせるために、コンピュータによって実行可能である、条項８４に記載の非一時的コンピュータ可読媒体。
８７．過去にコード化されたブロックの動き情報は、ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための動きベクトル予測子として使用される、条項８６に記載の非一時的コンピュータ可読媒体。
８８．非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補としてＦＩＦＯテーブルの最後のエントリに追加される、条項８６及び８７の何れか一項に記載の非一時的コンピュータ可読媒体。
８９．ペアワイズ平均候補は、マージ候補リスト内の候補の対を平均することによって生成され、及びマージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰがマージ候補リストに追加された後、マージ候補リストに追加される、条項８６に記載の非一時的コンピュータ可読媒体。
９０．ゼロ動きベクトルは、最大マージ候補数に達するまでマージ候補リストの末尾に挿入される、条項８６に記載の非一時的コンピュータ可読媒体。

[0143] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載した実施形態に対する一定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示した本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例示として検討され、本開示の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。

[0144] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を使用したが、それらの用語は、限定目的ではなく、全般的及び説明的な意味で使用されたものに過ぎない。

Claims (18)

1. 映像処理方法であって、
   コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
   前記空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック及び左上の隣接ブロックの順に従って挿入される、映像処理方法。
2. コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補又はゼロ動きベクトルのうちの少なくとも１つを前記マージ候補リストに追加することを更に含む、請求項１に記載の方法。
3. 過去にコード化されたブロックの動き情報は、前記ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための前記動きベクトル予測子として使用される、請求項２に記載の方法。
4. 非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補として前記ＦＩＦＯテーブルの最後のエントリに追加される、請求項３に記載の方法。
5. 前記ペアワイズ平均候補は、前記マージ候補リスト内の候補の対を平均することによって生成され、及び前記マージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰが前記マージ候補リストに追加された後、前記マージ候補リストに追加される、請求項２に記載の方法。
6. 前記ゼロ動きベクトルは、最大マージ候補数に達するまで前記マージ候補リストの末尾に挿入される、請求項２に記載の方法。
7. 映像処理機器であって、
   命令の組を記憶するメモリと、
   １つ又は複数のプロセッサとを含み、前記１つ又は複数のプロセッサは、
   コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを前記機器に行わせるように、前記命令の組を実行するように構成され、
   前記空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック及び左上の隣接ブロックの順に従って挿入される、映像処理機器。
8. 前記１つ又は複数のプロセッサは、
   コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補又はゼロ動きベクトルのうちの少なくとも１つを前記マージ候補リストに追加すること
   を前記機器に更に行わせるように、前記命令の組を実行するように構成される、請求項７に記載の機器。
9. 過去にコード化されたブロックの動き情報は、前記ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための前記動きベクトル予測子として使用される、請求項８に記載の機器。
10. 非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補として前記ＦＩＦＯテーブルの最後のエントリに追加される、請求項９に記載の機器。
11. 前記ペアワイズ平均候補は、前記マージ候補リスト内の候補の対を平均することによって生成され、及び前記マージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰが前記マージ候補リストに追加された後、前記マージ候補リストに追加される、請求項８に記載の機器。
12. 前記ゼロ動きベクトルは、最大マージ候補数に達するまで前記マージ候補リストの末尾に挿入される、請求項８に記載の機器。
13. 命令の組を記憶する非一時的コンピュータ可読媒体であって、前記命令の組は、映像処理方法をコンピュータに行わせるように、前記コンピュータの少なくとも１つのプロセッサによって実行可能であり、前記方法は、
    コード化ブロックのマージ候補リストに空間的マージ候補の組を挿入することを含み、
    前記空間的マージ候補の組は、上の隣接ブロック、左の隣接ブロック、上の隣接ブロック、左の隣接ブロック及び左上の隣接ブロックの順に従って挿入される、非一時的コンピュータ可読媒体。
14. 前記命令の組は、
    コロケーテッドコード化単位からの時間的マージ候補、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースの動きベクトル予測子（ＨＭＶＰ）、ペアワイズ平均候補又はゼロ動きベクトルの少なくとも１つを前記マージ候補リストに追加すること
    を前記コンピュータに更に行わせるように、前記コンピュータによって実行可能である、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 過去にコード化されたブロックの動き情報は、前記ＦＩＦＯテーブル内に記憶され、及び現コード化単位のための前記動きベクトル予測子として使用される、請求項１４に記載の非一時的コンピュータ可読媒体。
16. 非サブブロックのインターコード化されたコード化単位に関連する動き情報は、新たなＨＭＶＰ候補として前記ＦＩＦＯテーブルの最後のエントリに追加される、請求項１５に記載の非一時的コンピュータ可読媒体。
17. 前記ペアワイズ平均候補は、前記マージ候補リスト内の候補の対を平均することによって生成され、及び前記マージ候補リストが一杯でないことに応じて、１つ又は複数のＨＭＶＰが前記マージ候補リストに追加された後、前記マージ候補リストに追加される、請求項１４に記載の非一時的コンピュータ可読媒体。
18. 前記ゼロ動きベクトルは、最大マージ候補数に達するまで前記マージ候補リストの末尾に挿入される、請求項１４に記載の非一時的コンピュータ可読媒体。

Images