JP2021519039A - 動画の符号化並びに復号の方法、装置及びコンピュータプログラム - Google Patents

Abstract

本開示の各態様は、ビデオ復号化のための方法及び装置を提供する。いくつかの例では、ビデオ復号化のための装置は受信回路と処理回路を含む。処理回路は、符号化ビデオビットストリームの一部である現在のピクチャにおけるブロックの予測情報を復号化する。予測情報はインター予測モードを指示する。インター予測モードに応じて、処理回路は、候補動きベクトル予測子の候補リストをランキング順に構築し、前記候補動きベクトル予測子は、前記ブロックの空間的隣接領域における動き情報の統計に基づいてソートされる。そして、処理回路は、ランキング順に従う候補リストに基づき、動きベクトル予測子を決定し、決定された動きベクトル予測子に関連する動き情報に基づき、ブロックのサンプルを再構築する。

Description

本出願は、２０１８年１２月１７日にて提出されたアメリカ特許出願第１６／２２２，６２６号である「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」の優先権を主張し、アメリカ特許出願第１６／２２２，６２６号は２０１８年７月２日にて提出されたアメリカ仮出願第６２／６９３，０５５号「ＭＥＴＨＯＤＳ ＦＯＲ ＲＡＮＫＩＮＧ-ＢＡＳＥＤ ＳＰＡＴＩＡＬ ＭＥＲＧＥ ＣＡＮＤＩＤＡＴＥ ＬＩＳＴ ＦＯＲ ＩＮＴＥＲＰＩＣＴＵＲＥ ＰＲＥＤＩＣＴＩＯＮ」の優先権を主張し、これらの２つのアメリカ特許出願の全内容を参照により本明細書に組み込む。

本開示は、一般に動画の符号化及び復号に関する実施形態を説明する。

本明細書で提供される背景の説明は、全体として、本開示の背景を提示することを目的とする。この背景技術の部分で説明されている作業の程度について、現在名前が付けられている発明者の作業、及び出願時に先行技術として別途に限定されない説明は、本開示に対する従来技術として明示的又は黙示的に認められていない。

動き補償を伴うインターピクチャ予測を使用してビデオの符号化と復号化を実行することができる。非圧縮のデジタルビデオは一連のピクチャを含んでもよく、各ピクチャの空間次元は例えば１９２０×１０８０輝度サンプルと関連する色度サンプルである。当該一連のピクチャは、例えば、１秒あたり６０のピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非公式にはフレームレートとも呼ばれる）を有してもよい。非圧縮のビデオには、高いビットレート要件を有する。例えば、１サンプルあたり８ビットの１０８０ｐ６０４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。１時間のこのようなビデオは、６００ＧＢを超えるストレージスペースが必要である。

ビデオの符号化と復号化の１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことである。圧縮は、以上で言及された帯域幅又はストレージスペースの要件を削減するのに役立つことができ、いくつかの場合に、２桁以上削減される。可逆圧縮、非可逆圧縮、又はそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なレプリカを再構築できる技術を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と異なる可能性があるが、元の信号と再構築された信号の間の歪みは十分に小さいため、再構築された信号は予期のアプリケーションに役立つ。ビデオの場合、非可逆圧縮は広く適用される。許容される歪みの量はアプリケーションに依存し、例えば、特定のコンシューマストリームアプリケーションのユーザーは、テレビ投稿アプリケーションのユーザーよりも高い歪みを許容できる。達成可能な圧縮率は、許可／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

動き補償は非可逆圧縮技術であってもよく、そして、以前に再構築されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータブロックは、動きベクトル（以降、ＭＶと呼ばれる）が指示する方向に空間的にシフトされた後、新しく再構築されたピクチャ又はピクチャの一部の予測に使用される技術を含み得る。いくつかの場合に、参照ピクチャは、現在に再構築されているピクチャと同じであってもよい。ＭＶは、ＸとＹの２つの次元、又は３つの次元を有してもよく、３番目の次元は使用中の参照ピクチャの指示（後者は間接的に時間次元になり得る）。

いくつかのビデオ圧縮技術では、他のＭＶからサンプルデータの特定の領域に適用するＭＶを予測し、例えば、再構築される領域に空間的に隣接するサンプルデータの別の領域に関し復号化順序で当該ＭＶの前にあるＭＶから当該ＭＶを予測してもよい。このようにして、ＭＶを符号化するために必要なデータの量を大幅に減らすことができ、それによって冗長性がなくなり、圧縮が増加する。ＭＶ予測は効果的に機能することができ、例えば、これは、撮影装置からの入力ビデオ信号（ナチュラルビデオと呼ばれる）を符号化する場合に、単一のＭＶの適用可能な領域よりも大きい領域が、類似する方向に移動する統計的な可能性があるためであり、いくつかの場合に、隣接領域のＭＶから導出された類似する動きベクトルを予測に使用することができる。この結果、所定の領域に対して見つけたＭＶは周りのＭＶから予測されたＭＶと類似又は同じであり、また、エントロピー符号化後、ＭＶを直接符号化する場合に使用されるビット数よりも少ないビット数で表すことができる。いくつかの場合に、ＭＶ予測は、元の信号（即ち、サンプルストリーム）から導出された信号（即ち、ＭＶ）の可逆圧縮の例であってもよい。他の場合に、ＭＶ予測自体は非可逆であってもよく、例えば、若干の周りのＭＶから予測器を算出する際の丸め誤差が原因である。

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ-Ｔ Ｈ．２６５勧告書、「高効率ビデオ符号化」、２０１６年１２月）では、複数のＭＶ予測メカニズムを説明した。Ｈ．２６５で提供される複数のＭＶ予測メカニズムでは、本出願は、以下「空間的マージ」と呼ばれる技術を説明している。

図１を参照し、現在のブロック（１０１）は、動き検索プロセス中に符号器によって発見されたサンプルを含み、これにより、空間的にシフトされた同じサイズの前のブロックに基づき予測することができる。ＭＶを直接符号化する代わりに、Ａ０、Ａ１とＢ０、Ｂ１、Ｂ２（１０２から１０６にそれぞれ対応する）として表記される５つの周りのサンプルのいずれかに関連するＭＶを使用して、１つ以上の参照ピクチャに関連するメタデータからＭＶを導出し、例えば、（復号化順序で）最新の参照ピクチャからＭＶを導出してもよい。Ｈ.２６５では、ＭＶ予測は、隣接ブロックも使用しているのと同じ参照ピクチャからの予測器を使用してもよい。

本開示の目的は、動画の符号化並びに復号の方法、装置及びコンピュータプログラムを提供することにある。

本開示の各態様は、ビデオ復号化のための方法及び装置を提供する。いくつかの例では、ビデオ復号化のための装置は受信回路と処理回路を含む。処理回路は符号化されたビデオビットストリームから、現在のピクチャにおけるブロックの予測情報を復号化し、当該予測情報はインター予測モードを指示する。インター予測モードに応じて、処理回路は候補動きベクトル予測子の候補リストをランキング順に構築し、前記候補動きベクトル予測子はブロックの空間的隣接領域における動き情報の統計に基づいてソートされる。そして、処理回路は、ランキング順に従う候補リストに基づき、動きベクトル予測子を決定し、決定された動きベクトル予測値に関連する動き情報に基づき、ブロックのサンプルを再構築する。

本発明の一態様によれば、処理回路は、空間的隣接領域における隣接ブロックをスキャンして、空間的隣接領域における動き情報の統計を収集する。

一実施形態において、処理回路は、空間的隣接領域における最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集する。

他の実施形態において、処理回路は、当該ブロックに隣接する最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集する。

他の実施形態において、処理回路は、ブロックの左隣の列に位置し、且つブロックの下にある第１の最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集し、ブロックの隣接する上の行に位置し、且つブロックの右にある第２の最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集する

他の実施形態において、処理回路は、ブロックの左隣の複数の列に位置し、且つブロックの下にある第１の最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集し、ブロックの隣接する上の複数の行に位置し、且つブロックの右にある第２の最小サイズのブロックをスキャンして、空間的隣接領域における動き情報の統計を収集する。

他の実施形態において、処理回路は、ブロックに隣接するグリッドユニットにおいて代表的な最小サイズのブロックをそれぞれスキャンして、空間的隣接領域における動き情報の統計を収集する。

他の実施形態において、処理回路は、第１のグリッドユニットにおいて第１の代表的な最小サイズのブロックをそれぞれスキャンして、空間的隣接領域における動き情報の統計を収集し、第１のグリッドユニットはブロックの左隣の列に位置し、且つブロックの下にあり、第２のグリッドユニットにおいて第２の代表的な最小サイズのブロックをそれぞれスキャンして、空間的隣接領域における動き情報の統計を収集し、第２のグリッドユニットはブロックの隣接する上の行に位置し、且つブロックの右にある。

他の実施形態において、処理回路は、第１のグリッドユニットにおいて第１の代表的な最小サイズのブロックをそれぞれスキャンして、空間的隣接領域における動き情報の統計結果を収集し、第１のグリッドユニットはブロックの左隣の複数の列に位置し、且つブロックの下にあり、第２のグリッドユニットにおいて第２の代表的な最小サイズのブロックをそれぞれスキャンして、空間的隣接領域における動き情報の統計結果を収集し、前記第２のグリッドユニットはブロックの隣接する上の複数の行に位置し、且つブロックの右にある。

本開示の態様によれば、処理回路は、統計に基づき、空間的隣接領域における動き情報のヒストグラムを構築し、ヒストグラムに基づき、複数の動きベクトル予測子を空間的隣接領域からランキング順にソートする。

一実施形態において、処理回路は、各動きベクトルに対応するビンを使用してヒストグラムを構築する。

他の実施形態において、処理回路は、動きベクトルの範囲に対応するビンを使用してヒストグラムを構築する。

一実施形態において、処理回路は、ランキング順のランキングに基づいて、ソートされた複数の動きベクトル予測子の一部を選択する。

一実施形態において、ブロックが幅の要件と高さの要件の少なくとも１つを満たしている場合、候補動きベクトル予測子の候補リストをランキング順に構築する。

本開示の各態様は、さらに、命令を記憶する非一時的コンピュータ可読媒体を提供し、当該命令は、ビデオを復号化するためにコンピュータによって実行される場合にビデオ符号化のための方法をコンピュータに実行させる。

開示された主題の他の特徴、性質及び様々な利点は以下の詳しい説明及び図面からより明確になる。
Ｈ．２６５による現在のブロック及びその周りの空間的マージ候補の概略図である。 実施形態による通信システム（２００）の簡略ブロック図の概略図である。 実施形態による通信システム（３００）の簡略ブロック図の概略図である。 実施形態による復号器の簡略ブロック図の概略図である。 実施形態による符号器の簡略ブロック図の概略図である。 他の実施形態による符号器のブロック図を示す。 他の実施形態による復号器のブロック図を示す。 いくつかの例における空間的及び時間的候補の例を示す。 本開示の実施形態による現在のブロック（９１０）の潜在的な空間的マージ候補の図を示す。 本開示の他の実施形態による現在のブロック（１０１０）の潜在的なマージ候補の図を示す。 本開示の他の実施形態による現在のブロック（１１１０）の潜在的なマージ候補の図を示す。 本開示の他の実施形態による現在のブロック（１２１０）の潜在的なマージ候補の図を示す。 本開示の他の実施形態による現在のブロック（１３１０）の潜在的なマージ候補の図を示す。 本開示の他の実施形態による現在のブロック（１４１０）の潜在的なマージ候補の図を示す。 本開示の実施形態による処理（１５００）を概説するフローチャートを示す。 実施形態によるコンピュータシステムの概略図である。

図２は、本開示の実施形態による通信システム（２００）の簡略ブロック図を示す。通信システム（２００）は、ネットワーク（２５０）を介して互いに通信する複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１対の端末デバイス（２１０）と（２２０）を含む。図２に示す例において、第１対の端末デバイス（２１０）と（３２０）は一方向のデータ伝送を実行する。例えば、端末デバイス（２１０）は、ビデオデータ（例えば、端末デバイス（２１０）によってキャプチャされたビデオピクチャストリーム）を符号化して、ネットワーク（２５０）を介して他の端末（２２０）に伝送することができる。符号化されたビデオデータは１つ以上の符号化されたビデオビットストリームの形で伝送できる。端末デバイス（２２０）は、ネットワーク（２５０）から符号化されたビデオデータを受信し、符号化されたデータを復号化して、ビデオピクチャを復元し、復元されたビデオデータに基づき、ビデオピクチャを表示してもよい。一方向のデータ伝送は、媒体サービスアプリケーションなどでは一般的である。

他の実施形態では、通信システム（２００）は、例えばビデオ会議中に発生する可能性がある符号化されたビデオデータの双方向伝送を実行する第２対の端末デバイス（２３０）と（２４０）含む。双方向データ伝送について、例において、端末デバイス（２３０）と（２４０）のそれぞれは、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャストリーム）を符号化して、ネットワーク（２５０）を介して端末デバイス（２３０）と（２４０）のうちの他方の端末デバイスに伝送することができる。端末デバイス（２２０）と（２４０）のそれぞれは、また、端末デバイス（２２０）と（２４０）のうちの他方の端末デバイスによって送信された符号化されたビデオデータを受信し、符号化されたデータを復号化してビデオピクチャを復元し、復元されたビデオデータに基づき、ビデオ画像をアクセス可能な表示デバイスに表示してもよい。

図２に示す例において、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用のビデオ会議機器に適用される。ネットワーク（２５０）は端末デバイス（２１０）、（２２０）、（２２０）及び（２４０）の間で符号化されたビデオデータを伝送する任意の数のネットワークを示し、例えば、有線及び／又は無線通信ネットワークを含む。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークは通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本出願で検討される目的からすると、ネットワーク（２５０）のアーキテクチャとトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。

開示された主題の適用例として、図３は、ストリーミング環境におけるビデオ符号器と復号器の配置を示し、開示された主題は、ビデオ会議、デジタルテレビを含むビデオをサポートする他のアプリケーションに等価的に適用され、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタルメデイアに圧縮ビデオなどを記憶してもよい。

ストリーミングシステムはキャプチャサブシステム（３１３）を含んでもよく、当該キャプチャサブシステムは、例えば非圧縮のビデオピクチャストリーム（３０２）を構築するために、例えば、デジタル撮影装置などのビデオソース（３０１）を含んでもよい。例において、ビデオピクチャストリーム（３０２）はデジタル撮影装置によって撮影されたサンプルを含む。ビデオピクチャストリーム（３０２）は、符号化されたビデオデータ（３０４）（又は符号化されたビデオビットストリーム）と比較してデータ量が多いことを強調するために太い線として描かれ、ビデオピクチャストリーム（３０２）は、ビデオソース（３０１）に結合されるビデオ符号器（３０３）の電子機器（３２０）によって処理されることができる。ビデオ符号器（３０３）は、以下でより詳細に説明する開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（３０４）（符号化されたビデオビットストリーム（３０４））は、ビデオピクチャスレリーム（３０２）と比較してデータ量が少ないことを強調するために細い線として描かれ、符号化されたビデオデータ（３０４）（符号化されたビデオビットストリーム（３０４））は、将来の使用のために、ストリーミングサーバ（３０５）に記憶され得る。１つ以上のストリーミングクライアントサブシステム、例えば、図３におけるクライアントサブシステム（３０６）と（３０８）は、ストリーミングサーバ（３０５）にアクセスして、符号化されたビデオデータ（３０３）のレプリカ（３０７）と（３０９）を検索し得る。クライアントサブシステム（３０６）は、例えば、電子機器（３３０）におけるビデオ復号器（３１０）を含んでもよい。ビデオ復号器（３１０）は、符号化されたビデオデータの着信レプリカ（３０７）を復号化し、ディスプレイ（３１２）（例えば、スクリーン）又は他のレンダリングデバイス（図示せず）でレンダリングできる発信ビデオピクチャストリーム（３１１）を作成する。一部のストリーミングシステムでは、あるビデオ符号化／圧縮規格に基づき、符号化されたビデオビットストリーム（３０４）、（３０７）、（３０９）（例えば、ビデオビットストリーム）を符号化してもよい。これらの規格の例には、ＩＴＵ-Ｔ Ｈ．２６５勧告書を含む。一例として、開発中のビデオ符号化規格は非公式に多用途ビデオ符号化又はＶＶＣと呼ばれる。開示された主題は、ＶＶＣのコンテキストに使用されてもよい。

電子機器（３２０）と（３３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子機器（３２０）はビデオ復号器（図示せず）を含んでもよく、電子機器（３３０）はビデオ符号器（図示せず）を含んでもよい。

図４は、本開示の実施形態によるビデオ復号器（４１０）のブロック図である。ビデオ復号器（４１０）は電子機器（４３０）に含まれ得る。電子機器（４３０）は受信器（４３１）（例えば、受信回路）を含み得る。ビデオ復号器（４１０）は図３に示す例におけるビデオ復号器（３１０）の代わりに使用されてもよい。

受信器（４３１）は、ビデオ復号器（４１０）によって復号化される１つ以上の符号化されたビデオシーケンスを受信してもよく、同じ実施例又は別の実施例では、一度に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は他の符号化されたビデオシーケンスから独立している。チャネル（４０１）から符号化されたビデオシーケンスを受信することができ、チャネル（４０１）は、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（４３１）は、符号化されたビデオデータ及び例えば、それぞれの使用エンティティ（図示せず）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームなどの他のデータを受信してもよい。受信機（４３１）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピー復号器／パーサ（４２０）（以降、「パーサ」と呼ばれる）との間に結合され得る。いくつかのアプリケーションでは、バッファメモリ（４１５）はビデオ復号器（４１０）の一部である。他のアプリケーションでは、バッファメモリ（４１５）はビデオ復号器（４１０）（図示せず）の外部にあってもよい。他のいくつかのアプリケーションでは、ビデオ復号器（４１０）の外部には、ネットワークジッタを防止するために、バッファメモリ（図示せず）があってもよく、さらに例えばビデオ復号器（４１０）の内部に、再生タイミングを処理するために、別のバッファメモリ（４１５）があり得る。受信機（４３１）が十分な帯域幅と制御可能性を有する記憶／転送デバイス、又は等時性リアルタイムネットワークからデータを受信する場合に、バッファメモリ（４１５）は必要とされないか、又は小さくなり得る。例えばインターネットなどのベストパケットネットワークで使用するために、バッファメモリ（４１５）が必要となる場合があり、バッファメモリ（４１５）は比較的大きく、自己適応サイズを有利に有することができ、そして、少なくとも部分的にオペレーティングシステム又はビデオ復号器（４１０）の外部にある同様の構成要素（図示せず）で実現されてもよい。

ビデオ復号器（４１０）は、符号化されたビデオシーケンスに基づきシンボル（４２１）を再構築するために、パーサ（４２０）を含み得る。これらのシンボルのカテゴリには、ビデオ復号器（４１０）の動作を管理するための情報と、レンダリングデバイス（４１２）（例えば表示スクリーン）のようなレンダリングデバイスを制御するための情報とを含んでもよく、当該レンダリングデバイス（４１２）は、図４に示すように、電子機器（４３０）の構成部分ではなく、電子機器（４３０）に結合されることができる。（１つ以上の）レンダリングデバイスのための制御情報は、補助拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってもよい。パーサ（４２０）は、受信された符号化されたビデオシーケンスに対して解析／エントロピー復号化を行うことができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に従うことができ、可変長符号化、エルフマン符号化、文脈依存の有無にかかわらない算術符号化などを含む様々な原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメーターに基づいて、符号化されたビデオシーケンスから、ビデオ復号器におけるピクセルのサブグループのうちの少なくとも１つに対するサブグループパラメータセットを抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサ（４２０）は、また、符号化されたビデオシーケンス情報から、例えば、変換係数、量子化器パラメーター値、動きベクトルなどを抽出してもよい。

パーサ（４２０）は、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（４２１）を構築することができる。

符号化されたビデオピクチャ又は他の部分のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因に依存し、シンボル（４２１）の再構築は、複数の異なるユニットに関してもよい。関するユニット及び関与形態は、パーサ（４２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れについて説明しない。

既に言及された機能ブロックに加えて、ビデオ復号器（４１０）は概念的には、以下に説明する複数の機能ユニットに細分化することができる。商業的な制約の下で運行する実際の実現形態では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的のために、概念的には、以下の機能ユニットに細分化されることは適切である。

第１のユニットは、スケーラ／逆変換ユニット（４５１）である。当該スケーラ／逆変換ユニット（４４１）はパーサ（４２０）から（１つ以上の）シンボル（４２１）である量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む。スケーラ／逆変換ユニット（４５１）は、サンプル値を含むブロックを出力でき、これらのブロックはアグリゲータ（４５５）に入力され得る。

いくつかの場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構築された部分からの予測情報を使用できるブロックに属してもよい。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供され得る。いくつかの場合に、イントラピクチャ予測ユニット（４５２）は現在のピクチャバッファ（４５８）から抽出された、周囲が既に再構築された情報を使用して、再構築しているブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（４５８）は、例えば、部分的に再構築された現在のピクチャ及び／又は完全に再構築された現在のピクチャをバッファリングする。いくつかの場合に、アグリゲータ（４５５）は各サンプルに基づいて、イントラ予測ユニット（４５２）によって生成される予測情報を、スケーラ／逆変換ユニット（４５１）から提供される出力サンプル情報に追加する。

他の場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルはインター符号化及び潜在動き補償ブロックに属してもよい。このような場合に、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測のためのサンプルを抽出してもよい。当該ブロックに属するシンボル（４２１）に基づき、抽出されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニット（４５３）がサンプルを抽出するための参照ピクチャメモリ（４５７）におけるアドレスは、動きベクトルによって制御されてもよく、動きベクトルは、シンボル（４２１）の形で動き補償ユニット（４５３）に使用されることができ、シンボル（４２１）は、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有してもよい。動き補償には、サブサンプルの正確な動きベクトルが使用されている際に参照ピクチャメモリ（４５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技術にって処理され得る。ビデオ圧縮技術は、ループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれ且つパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に使用可能なパラメータによって制御され、しかしながら、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化順序で）前の部分を復号化する期間に得られたメタ情報に応じてもよいし、以前に再構築されループフィルタリング処理されたサンプル値に応じてもよい。

ループフィルタユニット（４５６）の出力はサンプルストリームであってもよく、サンプルストリームは、将来のインターピクチャ予測で使用されるために、レンダリングデバイス（４１２）に出力され、参照ピクチャメモリ（４５７）に記憶されることができる。

一部の符号化されたピクチャは、完全に再構築されたら、参照ピクチャとして将来の予測に使用することができる。例えば、現在のピクチャに対応する符号化されたピクチャは完全に再構築され、且つ符号化されたピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（４５８）は参照ピクチャメモリ（４５７）の一部になることができ、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャバッファを再割り当てることができる。

ビデオ復号器（４１０）は、例えばＩＴＵ-Ｔ Ｈ．２６５勧告書における所定のビデ圧縮技術のような規格に基づき復号化動作を実行してもよい。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文及びビデオ圧縮技術又は規格に記録されるプロファイルの両方に準拠する意味で、符号化されたビデオシーケンスは、使用されているビデ圧縮技術又は規格で指定される構文に準拠することができる。具体的に、プロファイルは、ビデ圧縮技術又は規格で利用可能な全てのツールから、あるツールをプロファイルのみで使用され得るツールとして選択してもよい。コンプライアンスについて、符号化されたビデオシーケンスの複雑さがビデ圧縮技術又は規格のレベルで限定される範囲内にあることも要求する。いくつかの場合に、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプルレート（例えば１秒あたりメガサンプルを単位として測定する）、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設置される制限は、仮想参照復号器（ＨＲＤ）の仕様及び符号化されたビデオシーケンスにおける信号で示されるＨＲＤバッファの管理するメタデータによってさらに制限されてもよい。

実施形態において、受信器（４３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは（１つ以上の）符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器（４１０）がデータを正確に復号化し、及び／又は元のビデオデータをより正確に再構築するために使用されてもよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。

図５は、本開示の実施形態によるビデオ符号器（５０３）のブロック図を示す。ビデオ符号器（５０３）は電子機器（５２０）に含まれる。電子機器（５２０）は送信機（５４０）（例えば、送信回路）を含む。ビデオ符号器（５０３）は図３に示す例におけるビデオ符号器（３０３）の代わりに使用される。

ビデオ符号器（５０３）は、ビデオソース（５０１）（図５に示す例における電子機器（５２０）の一部ではない）からビデオサンプルを受信してもよく、当該ビデオソース（５０１）は、ビデオ符号器（５０３）によって符号化されようとする（１つ以上の）ビデオ画像をキャプチャすることができる。別の例では、ビデオソース（５０１）は、電子機器（５２０）の一部である。

ビデオソース（５０１）は、ビデオ符号器（５０３）によって符号化されようとするデジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供してもよく、当該デジタルビデオサンプルストリームは、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構成（例えば、ＹＣｒＣｂ ４:２:０、ＹＣｒＣｂ ４:４:４）を有してもよい。メディアサービスシステムでは、ビデオソース（５０１）は、以前に準備されたビデオを記憶する記憶装置であってもよい。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャする撮影装置であってもよい。ビデオデータは、順番に見る際に動きが付与される複数の個別のピクチャとして提供されてもよい。ピクチャ自体は空間ピクセルアレイとして編成されてもよく、なお、使用されているサンプリング構成、色空間などに依存し、各ピクセルは、１つ以上のサンプルを含んでもよい。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。

実施形態によれば、ビデオ符号器（５０３）は、リアルタイムで、又はアプリケーションによって要求される他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを、符号化されたビデオシーケンス（５４３）に符号化して圧縮してもよい。適切な符号化速度で実行することはコントローラ（５５０）の機能の１つである。いくつかの場合に、コントローラ（５５０）は、以下で説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。簡略化のために、結合は図示されていない。コントローラ（５５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ（５５０）は、あるシステム設計に対して最適化されたビデオ符号器（５０３）に属する他の適切な機能を有するように配置されていることができる。

いくつかの実施例において、ビデオ符号器（５０３）は、符号化ループで動作するように配置されている。非常に簡略化した説明として、例において、符号化ループは、ソース符号器（５３０）（例えば、符号化しようとする入力ピクチャ及び（１つ以上の）参照ピクチャに基づいてシンボルストリームのようなシンボルを作成することを担当する）、ビデオ符号器（５０３）に組み込まれた（ローカルの）復号器（５３３）を含んでもよい。復号器（５３３）は、（リモート）復号器がサンプルデータを作成する方法と同様にサンプルを作成するためのシンボルを再構築する（シンボルと符号化されたビデオビットストリームとの間の圧縮は開示された主題で考慮されるビデオ圧縮技術では無損失であるため）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（５３４）に入力する。シンボルストリームの復号化によって、復号器の位置（ローカル又はリモート）に関係がないビットが正確である結果が得られるため、参照ピクチャメモリ（５３４）のコンテンツもローカル符号器とリモート符号器との間でビットが正確である。つまり、符号器の予測部分が「見る」参照ピクチャサンプルと、復号器が復号化中に予測を使用する際に「見る」サンプル値とは全く同じである。当該参照ピクチャの同期性（及び、例えば、チャネル誤差のため同期性を維持できない場合に生じるドリフト）という基本的な原理は、いくつかの関連技術でも使用される。

「ローカル」復号器（５３３）の動作は、図４を結合しながら以上で詳細に説明した「リモート」復号器（例えばビデオ復号器（４１０））の動作と同じであってもよい。しかし、さらに、簡単に図４を参照し、シンボルは、利用可能であり、且つ、エントロピー符号器（５４５）及びパーサ（４２０）はシンボルを、符号化されたビデオシーケンスに無損失で符号化／復号化できる場合に、バッファメモリ（４１５）及びパーサ（４２０）を含めるビデオ復号器（５１０）のエントロピー復号化部分は、ローカル復号器（５３３）で完全に実現されない場合がある。

この時点で、復号器に存在する解析／エントロピー復号化以外の任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが観察されることができる。そのため、開示された主題は、復号器の動作に着目する。符号器技術は包括的に説明された復号器技術の逆であるため、符号器技術の説明を簡略化することができる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。

動作中に、いくつかの例において、ソース符号器（５３０）は、動き補償予測符号化を実行してもよく、動き補償予測符号化は、ビデオシーケンスからの「参照ピクチャ」として指定された１つ以上の以前に符号化されたピクチャを参照することで入力ピクチャに対して予測符号化を行う。このようにして、符号化エンジン（５３２）は入力ピクチャのピクセルブロックと、入力ピクチャの（１つ以上の）予測参照の（１つ以上の）参照ピクチャとして選択され得るピクセルブロックとの間の差異を符号化してもよい。

ローカルビデオ復号器（５３３）は、ソース符号器（５３０）によって作成されるシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化されたビデオデータを復号化してもよい。符号化エンジン（５３２）の動作は、有利には、可逆処理であり得る。符号化されたビデオデータがビデオ復号器（図５、図示せず）で復号化され得る場合、再構築されたビデオシーケンスは、通常、多少の誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオ復号器（５３３）は、参照ピクチャに対してビデオ復号器によって実行され得る復号化処理を複製し、再構築された参照ピクチャを参照ピクチャバッファ（５３４）に記憶してもよい。このようにして、符号器（５０３）は、再構築された参照ピクチャのレプリカをローカルに記憶することができ、当該レプリカは、リモートビデオ復号器によって得られる再構築された参照ピクチャと共通のコンテンツを有する（伝送誤差がない）。

予測器（５３５）は、符号化エンジン（５３２）に対して予測検索を実行することができる。つまり、符号化されようとする新しいピクチャについて、予測器（５３５）は、参照ピクチャメモリ（５３４）において、新しいピクチャの適切な予測参照として使用され得るサンプルデータ（候補参照ピクセルブロックとする）又は、例えば、参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器（５３５）は、適切な予測参照が見つけられるように、サンプルブロックに基づいて、ピクセルブロックごとに動作することができる。いくつかの場合に、例えば、予測器（５３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから得られた予測参照を有してもよい

コントローラ（５５０）は、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むビデオ符号器（５３０）の符号化動作を管理することができる。

上記の全ての機能ユニットの出力はエントロピー符号器（５４５）においてエントロピー符号化されてもよい。エントロピー符号器（５４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に基づき、各機能ユニットによって生成されたシンボルに対して可逆圧縮を行うことによって、シンボルを、符号化されたビデオシーケンスに変換する。

送信機（５４０）は、通信チャネル（５６０）を介した伝送の準備をするように、エントロピー符号器（５４５）によって作成された符号化されたビデオシーケンスをバッファリングすることができ、前記通信チャネルは、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。送信機（５４０）は、ビデオ符号器（５０３）からの符号化されたビデオデータを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）とともにマージしてもよい。

コントローラ（５５０）は、符号器（５０３）の動作を管理することができる。コントローラ（５５０）は、符号化中に、各符号化されたピクチャに、対応するピクチャに適用され得る符号化技術に影響する可能性がある特定の符号化されたピクチャタイプを指定することができる。例えば、通常、ピクチャを、以下のフレームタイプのうちの１つとして指定することができる。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに符号化及び復号化できるピクチャであってもよい。一部のビデオビデオコーデックは、例えば、独立復号器リフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形及び対応する適用と特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測（多くとも１つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測する）を使用して符号化及び復号化を行うピクチャであってもよい。

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測（多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する）を使用して符号化と復号化を行うピクチャであってもよい。同様に、複数の予測ピクチャは、単一のブロックの再構築に２つを超える参照ピクチャと関連するメタデータを使用できる。

ソースピクチャは一般的に、空間的に複数のサンプルブロックに細分化され（例えば、各ピクチャが４×４、８×８、４×８又は１６×１６のサンプルブロックを持つ）、ブロックごとに符号化してもよい。これらのブロックは、他の（符号化された）ブロックを参照して予測的に符号化されてもよく、当該他のブロックは、ブロックの対応するピクチャに適用される符号化割り当てによって決定される。例えば、Ｉピクチャのブロックについて、非予測的に符号化されてもよく、又は、同じピクチャの符号化されたブロックを参照して予測的に符号化（空間的予測又はイントラ予測）されてもよい。Ｐピクチャのピクセルブロックは、１つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して非予測的に符号化されてもよい。

ビデオ符号器（５０３）は、例えばＩＴＵ-Ｔ Ｈ．２６５勧告書の所定のビデオ符号化技術又は規格に基づき、符号化操作を実行することができる。ビデオ符号器（５０３）は、その動作中に、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用した予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定された構文に準拠し得る。

実施形態において、送信機（５４０）は、符号化されたビデオとともに、追加のデータを伝送してもよい。ソース符号器（５３０）は、このようなデータを、符号化されたビデオシーケンスの一部として含んでもよい。追加のデータは、時間的／空間的／ＳＮＲ拡張層、例えば冗長なピクチャ、スライスのような他の形の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含んでもよい。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（通常、イントラ予測と簡略化される）は、所定のピクチャにおける空間的関連性を利用し、インターピクチャ予測はピクチャ間の（時間的又は他の）関連性を利用する。例おいて、符号化／復号化中の特定のピクチャ（現在のピクチャと呼ばれる）はブロックに分割される。現在のピクチャにおけるブロックは、ビデオにおける、以前に符号化されまだバッファリングされている参照ピクチャにおける参照ブロックと類似している場合に、動きベクトルと呼ばれるベクトルによって現在のピクチャにおけるブロックを符号化してもよい。動きベクトルは参照ピクチャにおける参照ブロックを指し、また、複数の参照ピクチャを使用する場合に、動きベクトルは、参照ピクチャを認識する第３の次元を有してもよい。

いくつかの実施例において、双方向予測技術は、インターピクチャ予測に使用されてもよい。双方向予測技術によれば、例えば、ビデオにおける現在のピクチャよりも復号化順序で先行する（ただし、それぞれ表示順序で過去及び将来にあり得る）第１の参照ピクチャ及び第２の参照ピクチャである２つの参照ピクチャを使用する。第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、第２の参照ピクチャにおける第２の参照ブロックをを指す第２の動きベクトルによって、現在のピクチャにおけるブロックを符号化してもよい。第１の参照ブロックと第２の参照ブロックとの組み合わせによって当該ブロックを予測してもよい。

また、マージモード技術は、符号化の効率を向上させるために、インターピクチャ予測に使用することができる。

本開示のいくつかの実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測のような予測はブロックごとに実行される。例えば、ＨＥＶＣ規格に基づき、ビデオピクチャシーケンスにおけるピクチャは、圧縮のために、符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、例えば、６４×６４ピクセル、３２×３２ピクセル又は１６×１６ピクセルなどの同じサイズを持っている。一般に、ＣＴＵは、３つの符号化ツリーブロック（ＣＴＢ）、即ち、１つの輝度ＣＴＢと２つの色度ＣＴＢを含む。各ＣＴＵは、１つ以上の符号化ユニット（ＣＵ）に再帰的に四分木で分割されてもよい。例えば、６４×６４ピクセルのＣＴＵを１つの６４×６４ピクセルのＣＵ、又は、４つの３２×３２ピクセルのＣＵ、又は１６個の１６×１６ピクセルのＣＵに分割してもよい。例において、各ＣＵを分析して、当該ＣＵに使用される予測タイプ、例えば、インター予測タイプ又はイントラ予測タイプを決定する。時間的及び／又は空間的予測可能性に依存し、ＣＵは１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは輝度予測ブロック（ＰＢ）及び２つの色度ＰＢを含む。実施形態において、符号化（符号化／復号化）中の予測動作は予測ブロックごとに実行される。輝度予測ブロックを予測ブロックとして使用する例において、予測ブロックはピクセル値（例えば、輝度値）の行列、例えば、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどを含む。

図６は、本開示の他の実施形態によるビデオ符号器（６０３）の図を示す。ビデオ符号器（６０３）は、ビデオピクチャシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化されたビデオシーケンスの一部である符号化されたピクチャに符号化するように配置されている。例において、ビデオ符号器（６０３）は、図３に示す例におけるビデオ符号器（３０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオ符号器（６０３）は、例えば８×８サンプルの予測ブロックなどである処理ブロックに使用されるサンプル値の行列を受信する。ビデオ符号器（６０３）は、例えばレート歪み最適化を使用して、イントラモード、インターモード又は双方向予測モードのいずれを使用して好適に前記処理ブロックを符号化するかを決定する。イントラモードで処理ブロックを符号化する場合に、ビデオ符号器（６０３）は、イントラ予測技術を使用して、処理ブロックを、符号化されたピクチャに符号化してもよく、インターモード又は双方向予測モードで処理ブロックを符号化する場合に、ビデオ符号器（６０３）は、インター予測又は双方向予測技術をそれぞれ使用して、処理ブロックを符号化されたピクチャに符号化してもよい。いくつかのビデオ符号化技術では、マージモードはインターピクチャ予測サブモードであってもよく、なお、予測器の外部の符号化された動きベクトル成分を使用せずに、１つ以上の動きベクトル予測子（Motion vector predictor（動きベクトル予測器とも言う））から動きベクトルを取得する。いくつかの他のビデオ符号化技術では、主題ブロックに適用される動きベクトル成分が存在し得る。例において、ビデオ符号器（６０３）は、例えば、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。

図６に示す例において、ビデオ符号器（６０３）は、図６に示すように、一体に結合されたインター符号器（６３０）、イントラ符号器（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差符号器（６２４）、汎用コントローラ（６２１）及びエントロピー符号器（６２５）を含む。

インター符号器（６３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、当該ブロックと参照ピクチャにおける１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャにおけるブロック）とを比較し、インター予測情報（例えば、動きベクトル、マージモード情報、インター符号化技術による冗長情報の説明）を生成し、インター予測情報に基づいて、任意の適切な技術を使用してインター予測結果（例えば、予測ブロック）を算出するように配置されている。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号化された復号化済み参照ピクチャである。

イントラ符号器（６２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合に、当該ブロックと、同じピクチャにおける既に符号化されたブロックとを比較し、変換後に量子化係数を生成し、いくつかの場合に、（例えば、１つ以上のイントラ符号化技術のイントラ予測方向情報に基づき）イントラ予測情報も生成するように配置されている。イントラ符号器（６２２）は、イントラ予測情報と同じピクチャにおける参照ブロックにも基づいてイントラ予測結果（例えば、予測ブロック）を算出する。

汎用コントローラ（６２１）は、汎用制御データを決定し、当該汎用制御データに基づいて、ビデオ符号器（６０３）の他のコンポーネントを制御するように配置されている。例において、汎用コントローラ（６２１）は、ブロックのモードを決定し、当該モードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードである場合に、汎用コントローラ（６２１）は、残差計算器（６２３）の使用のためのイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピー符号器（６２５）を制御し、モードがインターモードである場合に、汎用コントローラ（６２１）は、残差計算器（６２３）の使用のためのインター予測結果を選択するようにスイッチ（６２６）制御するとともに、インター予測情報を選択しインター予測情報をビットストリームに含めるようにエントロピー符号器（６２５）を制御する。

残差計算器（６２３）は、受信したブロックと、イントラ符号器（６２２）又はインター符号器（６３０）から選択した予測結果との差（残差データ）を算出するように配置されている。残差符号器（６２４）は、残差データに基づいて、残差データを符号化することで変換係数を生成するように動作するように配置されている。例において、残差符号器（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように配置されている。次に、変換係数は、量子化処理されて、量子化された変換係数を取得する。各実施形態において、ビデオ符号器（６０３）は残差復号器（６２８）をさらに含む。残差復号器（６２８）は、逆変換を実行し、復号化された残差データを生成するように配置されている。復号化された残差データは、イントラ符号器（６２２）及びインター符号器（６３０）によって適切に使用されてもよい。例えば、インター符号器（６３０）は、復号化された残差データとインター予測情報に基づいて、復号化されたブロックを生成してもよく、イントラ符号器（６２２）は、復号化された残差データとイントラ予測情報に基づいて、復号化されたブロックを生成してもよい。いくつかの例では、復号化されたブロックを適切に処理して、復号化されたピクチャを生成し、前記復号化されたピクチャは、メモリ回路（図示せず）にバッファリングし、参照ピクチャとして使用できる。

エントロピー符号器（６２５）は、符号化されたブロックが含まれるようにビットストリームをフォーマットするように配置されている。エントロピー符号器（６２５）は、例えばＨＥＶＣ規格のような適切な規格に従う様々な情報を含むように配置されている。例において、エントロピー符号器（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報をビットストリームに含めるように配置されている。開示された主題によれば、インターモード又は双方向予測モードのマージサブモードでブロックを符号化する場合に残差情報がないことに留意されたい。

図７は、本開示の他の実施形態によるビデオ復号器（７１０）の図を示す。ビデオ復号器（７１０）は、符号化されたビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化することで、再構築されたピクチャを生成するように配置されている。例において、ビデオ復号器（７１０）は、図３に示す例におけるビデオ復号器（３１０）の代わりに使用される。

図７に示す例において、ビデオ復号器（７１０）は、図７に示すように、一体に結合されたエントロピー復号器（７７１）、インター復号器（７８０）、残差復号器（７７３）、再構築モジュール（７７４）及びイントラ復号器（７７２）を含む。

エントロピー復号器（７７１）は、符号化されたピクチャに基づき、特定のシンボルを再構築するように配置されてもよく、これらのシンボルは、符号化されたピクチャを構成する構文要素を表す。そのようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、イントラモード、インターモード、双方向予測モード、インターモードと双方向予測モードとのマージサブモード又は別のサブモード）、イントラ復号器（７７２）又はインター復号器（７８０）の予測に使用される特定のサンプル又はメタデータとして認識され得る予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化変換係数の形である残差情報などを含んでもよい。例において、予測モードがインター又は双方向予測モードである場合に、インター予測情報をインター復号器（７８０）に提供し、予測タイプがイントラ予測タイプである場合に、イントラ予測情報をイントラ復号器（７７２）に提供する。残差情報は逆量子化され、残差復号器（７７３）に提供されてもよい。

インター復号器（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように配置されている。

イントラ復号器（７７２）はイントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように配置されている。

残差復号器（７７３）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように配置されている。残差復号器（７７３）は、特定の制御情報（量子化パラメータＱＰを含む）も必要とする場合があり、その情報はエントロピー復号器（７７１）から提供されてもよい（データパスは、少量の制御情報のみであるため、図示されていない）。

再構築モジュール（７７４）は、空間領域において、残差復号器（７７３）から出力される残差と（場合によってインター予測モジュール又はイントラ予測モジュールによって出力される）予測結果を組み合わせて、再構築されたブロックを形成するように配置され、再構築されたブロックは再構築されたピクチャの一部であってもよく、再構築されたピクチャは、再構築されたビデオの一部であってもよい。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。

任意の適切な技術を使用してビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、及びビデオ復号器（３１０）、ビデオ復号器（４１０）、ビデオ復号器（７１０）を実現し得ることに留意されたい。実施形態において、１つ以上の集積回路を使用してビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、及びビデオ復号器（３１０）、ビデオ復号器（４１０）、ビデオ復号器（７１０）を実現してもよい。他の実施形態において、ソフトウェア命令を実行する１つ以上のプロセッサーを使用してビデオ符号器（３０３）、ビデオ符号器（５０３）、ビデオ符号器（６０３）、及びビデオ復号器（３１０）、ビデオ復号器（４１０）、ビデオ復号器（７１０）を実現してもよい。

本開示の態様は、インターピクチャ予測のためのランキングに基づく空間的マージ候補リストを構築するための技術を提供する。

一般に、前記差分信号を動きベクトル予測子（例えば、高度な動きベクトル予測又はＡＭＶＰモード）に通知するために、明示的な方法でブロックの動きベクトルを符号化するか、又は、１つの以前に符号化又は生成された動きベクトルに従って完全に指示するために、暗黙的な方法でブロック的動きベクトルを符号化する。後者はマージモードと呼ばれ、その動き情報を使用して現在のブロックを以前に符号化されたブロックにマージすることを意味する。

ＡＭＶＰモードとマージモードの両方は復号化中に候補リストを構築する。

図８は、いくつかの例における空間及び時間的候補の例を示す。

インター予測におけるマージモードについて、候補リストにおけるマージ候補は、主に、現在のブロックからの空間又は時間的隣接ブロックの動き情報をチェックすることで形成される。図８に示す例において、候補ブロックＡｌ、Ｂ１、Ｂ０、Ａ０及びＢ２を順次にチェックする。候補ブロックのいずれかが有効な候補ブロックである場合、例えば、動きベクトルで符号化される場合、有効な候補ブロックの動き情報をマージ候補リストに追加することができる。一部の剪定動作を実行することで、重複する候補が再びリストに追加されないことが確保される。候補ブロックＡ１、Ｂ１、Ｂ０、Ａ０及びＢ２は、現在のブロックのコーナーに隣接しており、コーナー候補と呼ばれる。

空間的候補の後に、時間的候補もリスト（マージ候補リスト）にチェックインされる。いくつかの例では、指定された参照ピクチャにおける現在のブロックの共同位置ブロックを見つける。共同位置ブロックのＣ０位置（現在のブロックの右下隅）にある動き情報は、時間的マージ候補として使用される。当該位置のブロックはインターモードで符号化されないか、又は利用不可である場合に、代わりに、Ｃｌ位置（共同位置ブロックの中心の右下隅の外側にある）を使用する。

ＨＥＶＣにおける高度な動きベクトル予測（ＡＭＶＰ）モードは、空間的及び時間的隣接ブロックの動き情報を使用して現在のブロックの動き情報を予測するとともに、予測残差をさらに符号化することである。空間的及び時間的隣接候補の例も図８に示される。

いくつかの実施形態では、ＡＭＶＰモードにおいて、２候補動きベクトル予測子リストを形成する。例えば、当該リストは、第１の候補予測器と第２の候補予測器を含む。第１の候補予測器は、空間Ａ０、Ａｌの位置の順序で、左端からの１番目の利用可能な動きベクトルからのものである。第２の候補予測器は、空間Ｂ０、Ｂｌ及びＢ２の位置の順序で、上端からの２番目の利用可能な動きベクトルからのものである。チェックされる左端又は上端の位置から有効な動きベクトルが見つからない場合に、リストに候補を埋めない。２つの候補が利用可能で、且つ同じである場合に、リストに１つの候補のみを保留する。リストがいっぱいでない（２つの異なる候補がある）場合、Ｃ０位置からの（スケーリング後の）時間的共同位置の動きベクトルは別の候補として使用される。Ｃ０位置の動き情報が利用不可である場合に、代わりに位置Ｃｌを使用する。

いくつかの例では、まだ十分な動きベクトル予測子候補がない場合、ゼロ動きベクトルを使用してリストを埋める。

関連技術では、マージリスト又はＡＭＶＰ予測器リストにおける候補の順序は、予め定義されたモード、例えば、（１つ以上の）左の候補（例えば、Ａ０及びＡｌ）−＞（１つ以上の）トップの候補（例えば、Ｂ０、Ｂｌ、Ｂ２）−＞（１つ以上の）時間的候補（例えば、Ｃ０及びＣｌ）−＞…に基づく。ただし、空間的／時間的隣接ブロックと現在のブロックとの間の実際の関連性はコンテンツによって変化する。現在のブロックと最も類似した動き情報を有する隣接位置は、常にマージリスト又はＡＭＶＰ予測器リストにおけるトップの候補であるとは限らない。

本開示の一態様は、マージモード又はＡＭＶＰモードにおけるＭＶ予測器リストをさらに改善するための技術を提供する。いくつかの実施形態において、隣接ブロックと現在のブロックとの間の関連性に基づき、ＭＶ候補リストを並べ替える。以下の説明では、マージモードを使用して、ＭＶ候補リストを並べ替えるための技術を説明するが、前記技術はＡＭＶＰモードでも同様に使用できる。

具体的に、いくつかの例では、開示された方法は、評価対象となるマージ候補箇所が何であるかを認識し、マージ候補箇所でのマージ候補の統計を決定することができる。また、開示された方法は評価されたマージ候補の統計のランキングに基づいてマージ候補リストを生成してもよい。

一例において、大きなブロックや長い辺を持つブロックについて、ブロックの長い辺に沿って、より多くの潜在的なマージ候補を得ることができる。また、全ての利用可能な空間的隣接ブロックにおいて、複数の候補が同じ動き情報を持つことができる。本開示の一態様によれば、追加の空間的候補が利用可能である場合に、開示されたマージ候補導出方法は、候補リストに追加の空間的候補（例えば、Ａ０、Ａ１、Ｂ０、Ｂ１及びＢ２以外の空間的候補）を含むことができる。ソートに基づく方法を利用して条件付きで候補リストを構築し剪定することができる。

開示された方法が、マージ候補と見なされる空間的隣接ブロックの範囲を拡張することができる。様々な技術を使用して潜在的なマージ候補を選択してもよい。また、マージ候補リストの構築方法は、特定の条件に基づいて、元のマージ候補リストの構築方法と提案されたランキングに基づくマージ候補リスト構築との間で切り替えることができる。

本開示の実施形態によれば、追加の空間的マージ候補はマージ候補リストに含まれてもよい。例えば、空間的マージ候補Ａ０〜Ａ１及びＢ０〜Ｂ２に加えて、新しい空間的マージ候補は条件付きでマージ候補リストに含まれてもよい。いくつかの例では、空間的マージ候補を追加する前の、空間的マージ候補Ａ０〜Ａ１及びＢ０〜Ｂ２に基づくマージ候補リストは元のマージ候補リストと呼ばれる。

いくつかの実施形態において、ブロックエッジでの空間的マージ候補の統計を取得する。例えば、マージ候補リストを構築する前に、空間的隣接ブロックをスキャンし、全て又は選択された利用可能な空間的マージ候補の統計を収集する。次に、同じ動き情報を持つ隣接ブロックのカウントに基づいて、動き情報のヒストグラムを構築する。

図９は、本開示の実施形態による現在のブロック（９１０）の潜在的な空間的マージ候補の図を示す。いくつかの例では、現在のブロックの左端及び上端に隣接するインター予測情報を含む、最小ブロックサイズを持つ全ての空間的隣接ブロック（例えば、４×４輝度サンプルなどの最小動き補償ブロック）をスキャンする（例えば、動き情報をチェックする）。図９に示す例において、現在のブロック（９１０）の左端に隣接する複数の第１の最小サイズのブロック（例えば、Ｌ１、Ｌ２、Ｌ３、…、Ｌｎ、…として示される）をスキャンする。また、現在のブロック（９１０）の上端に隣接する複数の第２の最小サイズのブロック（例えば、Ｔｌ、Ｔ２、Ｔ３、…、Ｔｍ、…として示される）をスキャンする。さらに、左下の隣接ブロック（例えば、図９ではＬ０として示され、図８のＡ０に対応する）、右上の隣接ブロック（例えば、図９ではＴ０として示され、図８のＢ０に対応する）及び左上の隣接ブロック（例えば、図９ではＴＬとして示され、図８のＢ２に対応する）をスキャンする。図９に示す例において、灰色の領域（９２０）は、スキャンされる最小ブロックサイズを持つ全ての空間的隣接ブロックを含み、なお、いくつかの例では、灰色の領域（９２０）はスキャン範囲（９２０）と呼ばれる。

図１０は、本開示の他の実施形態による現在のブロック（１０１０）の潜在的なマージ候補の図を示す。図１０に示す例において、潜在的なマージ候補は、現在のブロック（１０１０）に隣接する空間的候補であってもよく、また、左下及び右上の位置を超えて拡張されてもよい。いくつかの例では、図１０における灰色の領域は現在のブロック（１０１０）の空間的隣接ブロックのスキャン範囲（１０２０）である。空間的隣接ブロックのスキャン範囲（１０２０）は、現在のブロック（１０１０）に隣接する全ての最小サイズ（例えば、４×４輝度サンプル）のブロック、左下の隣接ブロックの下のＮ個の最小サイズのブロック、及び右上の隣接ブロックの右側のＭ個の最小サイズのブロックを含む。ＭとＮは正の整数であり、そして、同じ整数であってもよいし、異なる整数であってもよい。

図１１は、本開示の他の実施形態による現在のブロック（１１１０）の潜在的なマージ候補の図を示す。図１１に示す例において、潜在的なマージ候補は複数の層の空間的候補を含む。いくつかの例では、図１１における灰色の領域は現在のブロック（１１１０）の空間的隣接ブロックのスキャン範囲（１１２０）である。空間的隣接ブロックのスキャン範囲（１１２０）は最小サイズのブロックの複数の層、例えば、層１、層２及び層３に拡張される。層の順序は、現在のブロック（１１１０）に隣接する層（例えば、層１）から、現在のブロック（１１１０）から最も離れる層（例えば、層３）までである。第１の層（例えば、層１）は、最小ブロックサイズを持つ全ての空間的隣接ブロックを含み、前記空間的隣接ブロックは現在のブロックの左端及び上端に隣接するインター予測情報を含む。また、第１の層（例えば、層１）には、左下の隣接ブロック、右上の隣接ブロック及び左上の隣接ブロックが含まれる。他の各層には、前の層に隣接する全ての最小サイズのブロックが含まれる。例えば、第２の層（例えば、層２）には、第１の層におけるブロックに隣接する全ての最小サイズのブロックが含まれ、第３の層（例えば層３）には、第２の層におけるブロックに隣接する全て最小サイズのブロックが含まれる。

図１２は、本開示の他の実施形態による現在のブロック（１２１０）の潜在的なマージ候補の図を示す。図１２に示す例において、潜在的なマージ候補は複数の層の空間的候補を含む。いくつかの例では、図１２における灰色の領域は、現在のブロック（１２１０）の空間的隣接ブロックのスキャン範囲（１２２０）である。空間的隣接ブロックのスキャン範囲（１２２０）は、最小サイズのブロックの複数の層、例えば層１、層２及び層３に拡張される。層の順序は現在のブロック（１２１０）に隣接する層（例えば、層１）から、現在のブロック（１２１０）から最も離れている層（例えば、層３）までである。第１の層（例えば、層１）には、最小ブロックサイズを持つ全ての空間的隣接ブロックを含み、前記空間的隣接ブロックは、現在のブロックの左端及び上端に隣接するインター予測情報を含む。また、第１の層（例えば、層１）には、左下の隣接ブロックと左下の隣接ブロックの下のＮ個の候補、右上の隣接ブロック及び右上の隣接ブロックの右側のＭ個の候補、及び左上の隣接ブロックが含まれる。他の各層には、前の層に隣接する全ての最小サイズのブロックが含まれる。例えば、第２の層（例えば層２）には、第１の層におけるブロックに隣接する全ての最小サイズのブロックが含まれ、第３の層（例えば層３）には、第２の層におけるブロックに隣接する全ての最小サイズのブロックが含まれる。

図１３は、本開示の他の実施形態による現在のブロック（１３１０）の潜在的なマージ候補の図を示す。スキャン範囲（１３２０）は灰色の領域で示される。グリッドサイズ（例えば、垂直方向の検索グリッドの高さと水平方向の検索グリッドの幅）に基づき、スキャン（検索とも呼ばれる）処理を実行する。グリッドサイズは最小ブロックサイズ以上である。グリッドサイズが最小ブロックサイズに等しい場合に、スキャン処理は、図９及び図１０に示す例と同様であり、これは、スキャン範囲が拡張されるかどうかに依存する。いくつかの例では、グリッドサイズが最小ブロックサイズよりも大きい場合に、グリッドユニットごとに、グリッドユニットに対して最小ブロックサイズの代表的なブロックをマージ候補として選択する。

図１４は、本開示の他の実施形態による現在のブロック（１４１０）の潜在的なマージ候補の図を示す。スキャン範囲（１４２０）は灰色の領域で示される。スキャン範囲（１４２０）は複数の層の空間的隣接ブロックを含む。グリッドサイズ（例えば、垂直方向の検索グリッドの高さと水平方向の検索グリッドの幅）に基づき、スキャン（検索とも呼ばれる）処理を実行する。グリッドサイズはブロックサイズ以上である。グリッドサイズが最小ブロックサイズに等しい場合、スキャン処理は図１１と図１２に示す例と同様であり、これは、スキャン範囲が拡張されるかどうかに依存する。いくつかの例では、グリッドサイズが最小ブロックサイズよりも大きい場合、グリッドユニットごとに、グリッドユニットに対して最小ブロックサイズの代表的なブロックをマージ候補として選択する。

いくつかの実施形態において、グリッドサイズが使用され、且つグリッドサイズの幅又は高さが最小ブロックサイズよりも大きい場合に、最小ブロックサイズを持つマージ候補ブロックは、グリッド内の特定の箇所に位置し得る。実施形態において、グリッドユニットが現在のブロックの左側に位置する場合に、各最小サイズのマージ候補ブロックはグリッドユニットの右下隅に位置する。他の実施形態において、グリッドユニットが現在のブロックの左側に位置する場合に、各最小サイズのマージ候補ブロックはグリッドユニットの右上隅に位置する。

実施形態において、グリッドユニットが現在のブロックの上側に位置する場合に、各最小サイズのマージ候補ブロックはグリッドユニットの左下隅に位置する。他の実施形態において、グリッドユニットが現在のブロックの上側に位置する場合に、各最小サイズのマージ候補ブロックはグリッドユニットの右下隅に位置する。

他の実施形態において、候補ブロックが現在のブロックの左側に位置し、且つ、左下の隣接ブロックの上に位置する場合に（図１３のＡ０のように）、最小サイズのマージ候補ブロックはグリッドユニットの右下隅に位置する。候補ブロックが左下の隣接ブロックと同じ行又は下に位置する場合に（図１３のＡ０で示される）、最小サイズのマージ候補ブロックはグリッドユニットの右上隅に位置する。

他の実施形態において、候補ブロックが現在のブロックの上に位置する場合に、候補ブロックが右上の隣接ブロックの左にあるときに（図１３のＢ０で示される）、最小サイズのマージ候補ブロックはグリッドユニットの右下隅に位置する。候補ブロックが右上の隣接ブロックと同じ列又は右上の隣接ブロックの右に位置する場合に（図１３のＢ０で示される）、最小サイズのマージ候補ブロックはグリッドユニットの左下隅に位置する。

他の実施形態において、隣接する最小サイズのブロックをスキャンするときに、複数の最小ブロックが、同じ動き情報を有する同じ隣接（予測）ブロック（例えば、予測ユニット）に属する場合に、統計では１つのブロックのみをカウントする。

本開示の一態様によれば、現在のブロックのスキャン範囲をスキャンして隣接ブロックの動き情報を取得する。スキャン処理後に、隣接ブロックの動き情報のヒストグラムを生成する。

実施形態において、各個別の的動き情報について、１つのヒストグラム間隔（ビンとも呼ばれる）を利用してヒストグラムを構築する。そのため、例において、ビンの数は個別の動きベクトルの数に対応する。

他の実施形態において、狭い範囲の動き情報について、１つのヒストグラム間隔（ビン（ｂｉｎ）とも呼ばれる）を利用してヒストグラムを構築する。例えば、２つの候補の動きベクトル値が１ピクセル未満のみ異なる場合と、２つの候補が同じと見なすことができ、１つのビンにカウントされる。各ビンにおける動き範囲情報は、この例で使用される値に限定されないことに留意されたい。ヒストグラムを構築するための動き情報範囲に基づくビニング処理は、非可逆的剪定処理としても機能する。

動き情報ヒストグラムを生成するする場合に、ゼロ以外のカウントを持つビンにソート処理を適用する。実施形態において、スキャン範囲における各個別の動き情報のカウントに基づいて、動き情報候補を降順にソートする。他の実施形態において、各個別の動き情報のカウントに基づいて、動き情報候補を昇順にソートする。

本開示の態様によれば、ヒストグラムによる候補のランキングに基づいてマージ候補リストを構築する。いくつかの実施形態において、一旦、候補がソートされると、Ｎ個の第１の候補（Ｎは正の整数であり、且つＮ≦マージ候補の最大数）は、ソートされた順でマージ候補リストに追加されてもよい。

実施形態において、Ｎはマージ候補の最大数に等しい。生成されたマージ候補リストは最終的なマージ候補リストである。

他の実施形態において、Ｎはマージ候補の最大数よりも小さい。他の適切な候補は、マージ候補リストの残りのエントリに追加されてもよい。例えば、時間的マージ候補はマージ候補リストに追加されてもよい。他の例において、例えば、組み合わせられた双方向予測マージ候補又はゼロ値マージ候補の人工マージ候補を、マージ候補リストに追加してもよい。

他の実施形態において、ソートされたリストにおけるＮ個の第１の候補は、候補の総数がマージ候補の最大数に等しくなるまで、例えば、時間的マージ候補、組み合わせられた双方向予測マージ候補及びゼロ値マージ候補である他のマージ候補とともに***されてもよい。

本開示の態様によれば、特定の条件が満たされる場合に、ランキングに基づくマージ候補リストを構築する。特定の条件が満たされない場合に、ビデオ符号化処理は、元のマージ候補リストに切り替えることができる。元のマージ候補リストとランキングに基づくマージ候補リストとの間で行われる特定の条件に基づく切り替えは、元のマージ候補リストとランキングに基づくマージ候補リストとの間の条件付き切り替えと呼ばれる。

条件付き切り替えは、現在のブロックのサイズ（例えば、ブロックの幅、ブロックの高さ）に基づいている。例において、現在のブロックの幅及び高さの両方が閾値（例えば、８ピクセル）よりも小さい場合に（例えば、ＨＥＶＣ規格によって制限される）元のマージ候補リストを構築し、使用する。現在のブロックの幅又は高さが閾値（例えば、８ピクセル）よりも大きい場合に、ランキングに基づくマージ候補リストを構築し、それをビデオ符号化／復号化に使用する。閾値は、この例で使用される値に限定されないことに留意されたい。閾値は、最大ブロックの幅又は高さよりも小さい任意の幅又は高さであってもよい。

実施形態において、ランキングに基づくマージ候補のみを構築し、使用する。

他の実施形態において、元のマージ候補リストを構築するか、又は、ランキングに基づくマージ候補リストを構築するために、条件付き切り替えを使用して、ある条件を満たすかどうかを判定する。

図１５は、本開示の実施形態による処理（１５００）を概説するフローチャートを示す。処理（１５００）は、イントラモードで符号化されるブロックを再構築するために使用されてもよく、これにより、再構築中のブロックに対して予測ブロックを生成する。様々な実施形態において、処理（１５００）は、例えば、端末装置（２１０）、（２２０）、（２３０）及び（２４０）における処理回路、ビデオ符号器（３０３）の機能を実行する処理回路、ビデオ復号器（３１０）の機能を実行する処理回路、ビデオ復号器（４１０）の機能を実行する処理回路、イントラ予測モジュール（４５２）の機能を実行する処理回路、ビデオ符号器（５０３）の機能を実行する処理回路、予測器（５３５）の機能を実行する処理回路、イントラ符号器（６２２）の機能を実行する処理回路、イントラ復号器（７７２）の機能を実行する処理回路などによって実行される。いくつかの実施形態において、処理（１５００）はソフトウェア命令によって実現されるため、処理回路がソフトウェア命令を実行する場合、処理回路は処理（１５００）を実行する。処理は（Ｓ１５０１）から開始し、（Ｓ１５１０）に進む。

（Ｓ１５１０）において、符号化されたビデオビットストリームから現在のピクチャにおけるブロックの予測情報を復号化する。予測情報は、例えば、マージモード、スキップモードなどの、動きベクトル予測子に基づきブロックの動きベクトルを決定するインター予測モードを指示する。

（Ｓ１５２０）において、インター予測モードに応じて候補リストを構築する。候補リストは、ランキング順でソートされた複数の動きベクトル予測子を含む。ブロックの空間的隣接領域における動き情報の統計に基づいて、動きベクトル予測子を、ランキング順にソートし、例えば、図９から図１４に開示されたことを参照する。

（Ｓ１５３０）において、ランキング順に従う候補リストに基づき、動きベクトル予測子を決定する。

（Ｓ１５４０）において、動きベクトル予測子に基づき、ブロックのサンプルを再構築する。次に、処理は、（Ｓ１５９９）に進み、終了する。

上記の技術は、コンピュータ可読命令によってコンピュータソフトウェアとして実現され、１つ以上のコンピュータ可読媒体に物理的に記憶される。例えば、図１６は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム（１６００）を示した。

コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語によって符号化することができ、コンピュータソフトウェアは、アセンブル、コンパイル、リンクなどのメカニズムを介して、命令を含むコードを作成することができ、当該命令は、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコード実行などによって実行されることができる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。

図１６に示すコンピュータシステム（１６００）に使用されるコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置はコンピュータシステム（１６００）の例示的な実施例に示されるコンポーネントのいずれか又はそれらの組み合わせに関する依存性又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（１６００）は、いくつかのヒューマンマシンインタフェース入力デバイスを含み得る。このようなヒューマンマシンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ以上の人間のユーザの入力に応じてもよい。ヒューマンマシンインタフェースデバイスは、ヒューマンマシンインタフェースデバイスは、例えば、オーディオ（例えば、音声、音楽、環境音）、ピクチャ（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、ビデオ（例えば、２次元ビデオ、ステレオビデオを含む３次元ビデオ）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

ヒューマンマシンインタフェース入力デバイスには、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグローブ（図示せず）、ジョイスティック（１６０５）、マイク（１６０６）、スキャナー（１６０７）、撮影装置（１６０８）のうちの１つ以上（それぞれが１つのみ図示される）を含んでもよい。

コンピュータシステム（１６００）はさらに、いくつかのヒューマンマシンインタフェース出力デバイスを含んでもよい。このようなヒューマンマシンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１つ以上の人間のユーザの感覚を刺激することができる。このようなヒューマンマシンインタフェース出力デバイスには、触覚出力デバイス（例えば、タッチスクリーン（１６１０）、データグローブ（図示せず）、又はジョイスティック（１６０５）による触覚フィードバックデバイスであり、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカー（１６０９）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、スクリーン（１６１０）であり、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオ画像出力のような形態で、２次元の視覚出力又は３次元以上の出力を出力できる場合がある）、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）、及びプリンター（図示せず）を含んでもよい。

コンピュータシステム１６００は、人間ユーザがアクセス可能な記憶装置及びそれらの関連する媒体、例えばＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）などの媒体（１６２１）、サムドライブ（１６２２）、リムーバブルハードドライブ又はソリッドステートドライブ（１６２３）、レガシー磁気媒体（例えば、磁気テープやフロッピーディスク（図示せず））、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づくデバイス（例えば、セキュリティドングル（図示せず））などを含んでもよい。

当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号が含まれていないことを理解すべきである。

コンピュータシステム（１６００）は、１つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば、無線ネットワーク、有線ネットワーク、光ネットワークであってもよい。ネットワークは、ローカルネットワーク、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、車載及び工業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例には、例えば、ローカルエリヤネットワーク（例えば、イーサネット、無線ＬＡＮ）、セルラーネットワーク（ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含む）、テレビ有線又は無線ワイドエリアデジタルネットワーク（有線テレビ、衛星テレビ、及び地上波放送テレビを含む）、車載及び工業用ネットワーク（ＣＡＮバス（ＣＡＮＢｕｓ）を含む）などであってもよい。一部のネットワークは一般に、特定の汎用データポート又は周辺バス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポート）に接続される外部ネットワークインタフェースアダプターを必要とし、他のネットワークは一般的に、下記（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）がシステムバスに接続されることで、コンピュータシステム（１６００）のコアに統合される。これらのネットワークのうちのいずれかを介して、コンピュータシステム（１６００）は他のエンティティと通信することができる。このような通信は、一方向受信のみ（例えば、放送テレビ）、一方向送信のみ（例えば、あるＣＡＮバスデバイスへのＣＡＮバス）、又は双方向（例えば、ローカルエリア又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムに達する）あってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。

上記のヒューマンマシンインタフェースデバイス、人間がアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１６００）のコア（１６４０）に取り付けることができる。

コア（１６４０）には、１つ以上の中央処理装置（ＣＰＵ）（１６４１）、グラフィックス処理装置（ＧＰＵ）（１６４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１６４３）の形の専用なプログラマブル処理ユニット、特定のタスクに使用されるハードウェアアクセラレータ（１６４４）などを含んでもよい。これらのデバイスは、読み取り専用メモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（ＲＡＭ）（１６４６）、内部大容量ストレージ（１６４７）（例えばユーザがアクセスできない内部ハードドライブ、ＳＳＤなど）とともに、システムバス（１６４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１６４８）に１つ以上の物理プラグの形でアクセスして、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にすることができる。周辺機器は、コアのシステムバス（１６４８）に直接的、又は周辺バス（１６４９）を介して接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）、及びアクセラレータ（１６４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行してもよい。当該コンピュータコードは、ＲＯＭ（１６４５）又はＲＡＭ（１６４６）に記憶されてもよい。一時的なデータもＲＡＭ（１６４６）に記憶されてもよく、永続的なデータは、例えば内部大容量記憶装置１６４７に記憶されてもよい。バッファメモリを使用することで、記憶装置のうちのいずれかへの高速ストレージと検索を実現することができ、当該バッファメモリは、１つ以上のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量記憶装置（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連することができる。

コンピュータ可読媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードをその上に有してもよい。媒体とコンピュータコードとは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又はそれらは、コンピュータソフトウェアの当業者によって知られ且つ利用可能なタイプのものであってもよい。

限定ではなく例示として、アーキテクチャを有するコンピュータシステム（１６００）、特にコア（１６４０）は、（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形コンピュータ可読媒体に実装されるソフトウェアを実行することで提供される機能を提供することができる。このようなコンピュータ可読媒体は、以上に紹介されたユーザがアクセス可能な大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置（１６４７）又はＲＯＭ（１６４５）などのコア（１６４０）のいくつかの非一時的な記憶装置であってもよい。本開示の様々な実施例を実現するためのソフトウェアはこのようなデバイスに記憶され、コア（１６４０）によって実行されてもよい。特定のニーズに応じて、コンピュータ可読媒体には１つ以上の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア（１６４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書で説明される特定の処理又は特定の処理の特定の部分を実行させ、ＲＡＭ（１６４６）に記憶されるデータ構造を限定することと、及びソフトウェアによって限定された処理に基づきこのようなデータ構造を修正することが含まれる。さらに又は代わりとして、コンピュータシステムは、ロジックハードワイヤードによって提供される、又は、他の方式で回路（例えば、アクセラレータ（１６４４）に具現化される機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに動作することで、本明細書で説明される特定の処理又は特定の処理の特定部分を実行できる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。適切な場合、コンピュータ可読媒体に対する言及には、実行のためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現化する回路、又はそれらの両方が含まれてもよい。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを含む。

この開示は、いくつかの例示的な実施例を説明したが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の原理を具現化し、従って本開示の精神及び範囲内にある多数のシステム及び方法を当業者が考案できることが認識される。

付録Ａ：頭字語
ＪＥＭ：共同探査モデル
ＶＶＣ：多用途ビデオ符号化
ＢＭＳ：基準設置
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補助拡張情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照復号器
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルネットワーク
ＧＳＭ：モバイル通信のグローバルシステム
ＬＴＥ：長期的な進化
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット

Claims (16)

1. デコーダが実行するビデオ復号の方法であって、
   前記デコーダが、
   符号化されたビデオビットストリームから、現在のピクチャにおけるブロックの予測情報を復号するステップであって、前記予測情報がインター予測モードを示すものである、ステップと、
   前記インター予測モードに応じて、候補動きベクトル予測子の候補リストを、前記ブロックの空間的隣接領域における動き情報の統計に基づいてソートされたランキング順に構築するステップと、
   前記ランキング順に従う前記候補リストから、動きベクトル予測子を決定するステップと、
   決定した前記動きベクトル予測子に関連付けられる動き情報に基づき、前記ブロックの少なくとも１つのサンプルを再構築するステップと、
   を含む、方法。
2. 前記デコーダが、前記空間的隣接領域における隣接ブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップをさらに含む、請求項１に記載の方法。
3. 前記デコーダが、前記空間的隣接領域における最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップをさらに含む、請求項２に記載の方法。
4. 前記デコーダが、前記ブロックに隣接する最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップをさらに含む、請求項２に記載の方法。
5. 前記デコーダが、
   前記ブロックの隣接する左の列に位置し、且つ前記ブロックの下にある、第１の最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   前記ブロックの隣接する上の行に位置し、且つ前記ブロックの右にある、第２の最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   をさらに含む、請求項２に記載の方法。
6. 前記デコーダが、
   前記ブロックの隣接する左の複数の列に位置し、且つ前記ブロックの下にある、第１の最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   前記ブロックの隣接する上の複数の行に位置し、且つ前記ブロックの右にある、第２の最小サイズのブロックをスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   をさらに含む、請求項２に記載の方法。
7. 前記デコーダが、前記ブロックに隣接するグリッドユニットにおいて代表的な最小サイズのブロックをそれぞれスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップをさらに含む、請求項２に記載の方法。
8. 前記デコーダが、
   前記ブロックの隣接する左の列に位置し、且つ前記ブロックの下にある第１のグリッドユニットにおいて第１の代表的な最小サイズのブロックをそれぞれスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   前記ブロックの隣接する上の行に位置し、且つ前記ブロックの右にある第２のグリッドユニットにおいて第２の代表的な最小サイズのブロックをそれぞれスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   をさらに含む、請求項２に記載の方法。
9. 前記デコーダが、
   前記ブロックの隣接する左の複数の列に位置し、且つ前記ブロックの下にある第１のグリッドユニットにおいて第１の代表的な最小サイズのブロックをそれぞれスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   前記ブロックの隣接する上の複数の行に位置し、且つ前記ブロックの右にある第２のグリッドユニットにおいて第２の代表的な最小サイズのブロックをそれぞれスキャンし、前記空間的隣接領域における前記動き情報の統計を収集するステップと、
   をさらに含む、請求項２に記載の方法。
10. 前記デコーダが、
    前記統計に基づき、前記空間的隣接領域における前記動き情報のヒストグラムを構築するステップと、
    前記ヒストグラムに基づき、複数の動きベクトル予測子を前記空間的隣接領域から前記ランキング順にソートするステップと、
    をさらに含む、請求項２に記載の方法。
11. 前記デコーダが、各々の動きベクトルに対応するビンにより、前記ヒストグラムを構築するステップをさらに含む、請求項１０に記載の方法。
12. 前記デコーダが、複数の動きベクトルの範囲に対応するビンにより、前記ヒストグラムを構築するステップをさらに含む、請求項１０に記載の方法。
13. 前記デコーダが、ソートされた前記動きベクトル予測子の一部を前記ランキング順に選択するステップをさらに含む、請求項１０に記載の方法。
14. 前記デコーダが、前記ブロックが幅の要件と高さの要件との少なくとも１つを満す場合、前記候補動きベクトル予測子の候補リストを前記ランキング順に構築するステップをさらに含む、請求項１に記載の方法。
15. 処理回路を含む、ビデオ復号のための装置であって、
    前記処理回路は、請求項１乃至１４の何れか一項に記載の方法を実行するように構成される、装置。
16. コンピュータに、請求項１乃至１４の何れか一項に記載の方法を実行させるためのプログラム。

Images