JP2018524906A - イントラブロックコピーモードでの参照ピクチャリスト構成 - Google Patents

Abstract

参照ピクチャリストを構成するように構成された装置は、メモリと、メモリと通信している１つまたは複数のプロセッサとを含む。メモリは、１つまたは複数の参照ピクチャを記憶するように構成される。１つまたは複数のプロセッサは、（ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、第２の数が第１の数以上であるという決定に応答して、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることとを行うように構成される。１つまたは複数のプロセッサは、参照ピクチャリストに基づいて現在ピクチャを符号化または復号し得る。

Description

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関し、詳細には、スクリーンコンテンツコーディングに関する。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ムービングピクチャエキスパートグループ２（ＭＰＥＧ−２）、ＭＰＥＧ−４、万国電信連合−電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0003]高速インターネットアクセスの普及とともに、リモートデスクトップ共有、仮想デスクトップインフラストラクチャ、およびワイヤレスディスプレイなど、新生のビデオ適用（applications）例が、スクリーンコンテンツの高い圧縮効率を必要とする。しかしながら、さらなるイントラビデオコーディングツールおよびインタービデオコーディングツールが、主に自然コンテンツ（natural contents）のために設計された。スクリーンコンテンツは、自然コンテンツと比較して著しく異なる特性（たとえば、シャープエッジ、およびほとんどまたはまったくない雑音）を有し、これが、それらの従来のコーディングツールをさほど十分でないものにしている。

[0004]ビデオコーディングでは、前に復号されたピクチャが、他のピクチャをコーディングするための予測子として使用され得る。そのような前に復号されたピクチャは、参照ピクチャリストに追加され、参照インデックスを使用して参照ピクチャ内で参照され得る。そのような参照ピクチャリストは、インターモードでピクチャ、スライス、またはブロックをコーディングするために使用され得、ここで、時間的に隣接するピクチャが、参照ピクチャに追加され、現在ピクチャ／スライス／ブロックのための予測子として使用され得る。場合によっては、そのような参照ピクチャリストは、イントラブロックコピーモードでピクチャ／スライス／ブロックをコーディングするためにも使用され得、ここで、ピクチャ内の前に再構成されたブロックが、同じピクチャ内の別のブロックをコーディングするために使用され得る。そのような場合、現在ピクチャは、参照ピクチャリストに追加され、参照インデックスを使用して参照され得る。

[0005]いくつかの実装形態では、イントラブロックコピーモードが使用のために有効にされたとき、現在ピクチャは、常に参照ピクチャリストに追加され得る。たとえば、コーダ（たとえば、エンコーダまたはデコーダ）は、現在ピクチャが、インターモードでまたはイントラブロックコピーモードでブロックをコーディングするために使用され得るように、参照ピクチャリスト構成プロセスの最後に、参照ピクチャリスト中の参照ピクチャのうちの１つを現在ピクチャと置き換え得る。しかしながら、場合によっては、現在ピクチャを参照ピクチャリストに自動的に追加することは、イントラブロックコピーモードが使用のために有効にされるときでも、いくつかの（certain）欠点を生じ得る。

[0006]したがって、インターモードおよびイントラブロックコピーモードのための改善された参照ピクチャリスト構成（construction）方法が望まれる。

[0007]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。

[0008]一態様では、参照ピクチャリストを構成する方法は、（ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数（total number）を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、第２の数が第１の数以上であると決定することに応答して、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えること（refraining from）とを備える。

[0009]別の態様では、参照ピクチャリストを構成するための装置は、メモリと、メモリと通信している１つまたは複数のプロセッサとを含む。メモリは、ビデオ１つまたは複数の参照ピクチャを記憶するように構成される。１つまたは複数のプロセッサは、（ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、第２の数が第１の数以上であるという決定に応答して、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることとを行うように構成される。

[0010]別の態様では、非一時的物理的コンピュータストレージは、実行されたとき、装置に、（ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、第２の数が第１の数以上であるという決定に応答して、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることとを行わせるコードを備える。

[0011]別の態様では、参照ピクチャリストを構成するように構成されたビデオコーディングデバイスは、１つまたは複数の参照ピクチャを記憶するための手段と、（ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定するための手段と、第２の数が第１の数以上であるという決定に応答して、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えるための手段とを備える。

[0012]本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0013]本開示で説明する態様による技法を実施し得る別の例示的なビデオ符号化および復号システムを示すブロック図。 [0014]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0015]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0016]本開示で説明する態様による、例示的な参照ピクチャリスト構成プロセスの図。 [0017]本開示の態様による、参照ピクチャリストを構成する（constructing）ための方法を示すフローチャート。

[0018]以下の説明では、いくつかの実施形態に関係するＨ．２６４／アドバンストビデオコーディング（ＡＶＣ）技法について説明し、ＨＥＶＣ規格および関係する技法についても説明する。いくつかの実施形態について、ＨＥＶＣおよび／またはＨ．２６４規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステムおよび方法が任意の好適なビデオコーディング規格に適用可能であり得ることを、当業者は諒解されよう。たとえば、本明細書で開示する実施形態は、以下の規格、すなわち、国際電気通信連合（ＩＴＵ）電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、および範囲拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のうちの１つまたは複数に適用可能であり得る。

[0019]ＨＥＶＣは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。ＨＥＶＣにおける予測のユニットは、いくつかの（certain）前のビデオコーディング規格における予測のユニット（たとえば、マクロブロック）とは異なる。事実上、いくつかの前のビデオコーディング規格において理解されているような（as）マクロブロックの概念は、ＨＥＶＣでは存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを与え得る、４分木方式に基づく階層構造によって置き換えられる。たとえば、ＨＥＶＣ方式内で、３つのタイプのブロック、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、および変換ユニット（ＴＵ：Transform Unit）が定義される。ＣＵは領域分割の基本ユニットを指すことがある。ＣＵはマクロブロックの概念に類似すると見なされ得るが、ＨＥＶＣは、ＣＵの最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割（recursive splitting）を可能にし得る。ＰＵはインター／イントラ予測の基本ユニットと見なされ得、単一のＰＵは、不規則な画像パターンを効果的にコーディングするために、複数の任意の形状区分を含んでいることがある。ＴＵは変換の基本ユニットと見なされ得る。ＴＵは、ＰＵとは無関係に定義され得るが、ＴＵのサイズは、ＴＵが属するＣＵのサイズに制限され得る。３つの異なる概念へのブロック構造のこの分離は、各ユニットがユニットのそれぞれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。
ビデオコーディング規格
[0020]ビデオ画像、ＴＶ画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルを含み得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像エンコーダから画像デコーダに搬送されるべき情報の甚だしい量は、リアルタイム画像送信を実行不可能にするであろう。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧおよびＨ．２６３規格など、いくつかの異なる圧縮方法が開発された。

[0021]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含む。

[0022]さらに、ビデオコーディング規格、すなわち、ＨＥＶＣが、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣ ＭＰＥＧとのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された。ＨＥＶＣ仕様は、「リコメンデーションＩＴＵ−Ｔ Ｈ．２６５」という題名でＩＴＵウェブサイト上で利用可能である。ＨＥＶＣスクリーンコンテンツコーディングのドラフトは、文献番号ＪＣＴＶＣ−Ｗ０１０５−ｖ３においてＪＣＴ−ＶＣドキュメント管理システム上で利用可能である。
初期考慮事項
[0023]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者は諒解されたい。たとえば、本明細書に記載する態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0024]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

[0025]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（たとえば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの異なる要素を指すために使用されるにすぎない。
ビデオコーディングシステム
[0026]図１Ａは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」または「コーダ」という用語は、ビデオエンコーダとビデオデコーダの両方を総称的に指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。ビデオエンコーダおよびビデオデコーダに加えて、本出願で説明する態様は、トランスコーダ（たとえば、ビットストリームを復号し、別のビットストリームを再符号化することができるデバイス）およびミドルボックス（たとえば、ビットストリームを変更、変換、および／または場合によっては操作することができるデバイス）など、他の関係するデバイスに拡張され得る。

[0027]図１Ａに示されているように、ビデオコーディングシステム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。図１Ａの例では、ソースデバイス１２および宛先デバイス１４は、別個のデバイスを構成する。ただし、ソースデバイス１２および宛先デバイス１４は、図１Ｂの例に示されているように、同じデバイス上にあるかまたはそれの一部であり得ることに留意されたい。

[0028]もう一度図１Ａを参照すると、ソースデバイス１２および宛先デバイス１４は、それぞれ、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。様々な実施形態では、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0029]宛先デバイス１４は、復号されるべき符号化ビデオデータをリンク１６を介して受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。図１Ａの例では、リンク１６は、ソースデバイス１２が符号化ビデオデータをリアルタイムで宛先デバイス１４に送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る任意の他の機器を含み得る。

[0030]代替的に、符号化データは出力インターフェース２２から（随意に存在する）ストレージデバイス３１に出力され得る。同様に、符号化データは、たとえば、宛先デバイス１４の入力インターフェース２８によってストレージデバイス３１からアクセスされ得る。ストレージデバイス３１は、ハードドライブ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３１は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイス３１から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先デバイス１４に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイス３１からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。

[0031]本開示の技法はワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信（たとえば、ハイパーテキスト転送プロトコル［ＨＴＴＰ］上での動的適応ストリーミングなど）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0032]図１Ａの例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、図１Ｂの例に示されているように、いわゆる「カメラフォン」または「ビデオフォン」を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。

[0033]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に送信され得る。符号化ビデオデータは、また（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３１上に記憶され得る。図１Ａおよび図１Ｂに示されているビデオエンコーダ２０は、図２示されているビデオエンコーダ２０、または本明細書で説明する他のビデオエンコーダを備え得る。

[0034]図１Ａの例では、宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介しておよび／またはストレージデバイス３１から符号化ビデオデータを受信し得る。リンク１６を介して通信された、またはストレージデバイス３１上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０などのビデオデコーダが使用するための、ビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信された、記憶媒体上に記憶された、またはファイルサーバ記憶された符号化ビデオデータに（with）含まれ得る。図１Ａおよび図１Ｂに示されているビデオデコーダ３０は、図３示されているビデオデコーダ３０、または本明細書で説明する他のビデオデコーダを備え得る。

[0035]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0036]関係する態様では、図１Ｂは例示的なビデオコーディングシステム１０’を示し、ここにおいて、ソースデバイス１２および宛先デバイス１４はデバイス１１上にあるかまたはそれの一部である。デバイス１１は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス１１は、ソースデバイス１２および宛先デバイス１４と動作可能に通信している（随意に存在する）コントローラ／プロセッサデバイス１３を含み得る。図１Ｂのビデオコーディングシステム１０’およびそれの構成要素は、場合によっては図１Ａのビデオコーディングシステム１０およびそれの構成要素と同様である。

[0037]ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣなどのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，ＡＶＣと呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、またはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

[0038]図１Ａおよび図１Ｂの例には示されていないが、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0039]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダの一部として統合され得る。
ビデオコーディングプロセス
[0040]上記で手短に述べたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは１つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと関連データとを含み得る。コード化ピクチャとは、ピクチャのコード化表現である。

[0041]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算を実施し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実施するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）と、ピクチャパラメータセット（ＰＰＳ：picture parameter set）と、適応パラメータセット（ＡＰＳ：adaptation parameter set）と、他のシンタックス構造とを含み得る。ＳＰＳは、ピクチャの０個以上のシーケンスに適用可能なパラメータを含んでいることがある。ＰＰＳは、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳは、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。

[0042]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。ビデオエンコーダ２０は、４分木区分（quadtree partitioning）を使用して、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分し得、したがって「ツリーブロック」という名前がある。

[0043]いくつかの例では、ビデオエンコーダ２０はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のＣＵを含み得る。いくつかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。

[0044]ピクチャに対して符号化演算を実施することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実施し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実施するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。

[0045]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実施し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実施するとき、ビデオエンコーダ２０はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。

[0046]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実施し得る（たとえば、そのツリーブロックを符号化し得る）。たとえば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

[0047]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。

[0048]コード化ツリーブロックを生成するために、ビデオエンコーダ２０は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して４分木区分を再帰的に実施し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分された、ＣＵであり得る。区分されていないＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分されていない、ＣＵであり得る。

[0049]ビットストリーム中の１つまたは複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（たとえば、ＣＵのサイズ）は、８×８ピクセルから、最大６４×６４以上のピクセルをもつツリーブロックのビデオブロックのサイズ（たとえば、ツリーブロックのサイズ）までに及び得る。

[0050]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実施し得る（たとえば、各ＣＵを符号化し得る）。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、区分されたＣＵに対して符号化演算を実施するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、区分されたＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。

[0051]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、および左下のＣＵは符号化されていることがある。所与のＣＵの下および右のＣＵはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接するいくつかのＣＵを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成された情報にアクセスすることができないことがある。

[0052]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵのために１つまたは複数の予測ユニット（ＰＵ：prediction unit）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵについて予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックはサンプルのブロックであり得る。ビデオエンコーダ２０は、ＰＵのための予測ビデオブロックを生成するために、イントラ予測またはインター予測を使用し得る。

[0053]ビデオエンコーダ２０が、ＰＵの予測ビデオブロックを生成するためにイントラ予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいてＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０が、ＣＵのＰＵの予測ビデオブロックを生成するためにイントラ予測を使用する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０が、ＰＵの予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０が、ＣＵのＰＵの予測ビデオブロックを生成するためにインター予測を使用する場合、ＣＵはインター予測されたＣＵである。

[0054]さらに、ビデオエンコーダ２０が、ＰＵのための予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０はＰＵのための動き情報を生成し得る。ＰＵのための動き情報は、ＰＵの１つまたは複数の参照ブロックを示し得る。ＰＵの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはＰＵに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、ＰＵの参照ブロックはＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。

[0055]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵのための残差データを生成し得る。ＣＵのための残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの間の差を示し得る。

[0056]さらに、区分されていないＣＵに対して符号化演算を実施することの一部として、ビデオエンコーダ２０は、ＣＵの残差データを、ＣＵの変換ユニット（ＴＵ）に関連付けられた残差データの１つまたは複数のブロック（たとえば、残差ビデオブロック）に区分するために、ＣＵの残差データに対して再帰的な４分木区分を実施し得る。ＣＵの各ＴＵは異なる残差ビデオブロックに関連付けられ得る。

[0057]ビデオエンコーダ２０は、ＴＵに関連付けられた変換係数ブロック（たとえば、変換係数のブロック）を生成するために、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。

[0058]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実施し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられることがあり、ここで、ｎはｍよりも大きい。

[0059]ビデオエンコーダ２０は、各ＣＵを量子化パラメータ（ＱＰ：quantization parameter）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

[0060]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable-length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。

[0061]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットを含み得る。ＮＡＬユニットの各々は、データを含んでいるバイトとＮＡＬユニット中のデータのタイプの指示を含んでいるシンタックス構造であり得る。たとえば、ＮＡＬユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、ＳＥＩ、アクセスユニット区切り文字（delimiter）、フィラーデータ（filler date）、または別のタイプのデータを表すデータを含んでいることがある。ＮＡＬユニット中のデータは様々なシンタックス構造を含み得る。

[0062]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコード化表現を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、ビデオデコーダ３０は、ビットストリームに対してパース演算を実施し得る。ビデオデコーダ３０がパース演算を実施するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実施されるプロセスとは逆であり得る。

[0063]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。さらに、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実施し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックと残差ビデオブロックとに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。
ビデオエンコーダ
[0064]図２は、本開示で説明する態様による技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ２０は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。

[0065]説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０について説明する。ただし、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図２に示された例はシングルレイヤコーデックのためのものである。しかしながら、いくつかの実施形態では、ビデオエンコーダ２０の一部（some）または全部はマルチレイヤコーデックの処理のために複製され得る。

[0066]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実施し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指すことがある。

[0067]図２の例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、または異なる機能構成要素を含み得る。さらに、動き推定ユニット１２２と動き補償ユニット１２４とは、高度に統合され得るが、図２の例では、説明の目的で別々に表されている。

[0068]ビデオエンコーダ２０はビデオデータを受信し得る。ビデオエンコーダ２０は、様々なソースからビデオデータを受信し得る。たとえば、ビデオエンコーダ２０は、（たとえば、図１Ａまたは図１Ｂに示された）ビデオソース１８、または別のソースからビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算を実施し得る。ピクチャに対して符号化演算を実施することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実施し得る。スライスに対して符号化演算を実施することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実施し得る。

[0069]ツリーブロックに対して符号化演算を実施することの一部として、予測処理ユニット１００は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して４分木区分を実施し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。

[0070]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大６４×６４以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのサンプル寸法、たとえば、１６×１６（16x16）サンプルまたは１６×１６（16 by 16）サンプルを指すために互換的に使用され得る。概して、１６×１６ビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。

[0071]さらに、ツリーブロックに対して符号化演算を実施することの一部として、予測処理ユニット１００は、ツリーブロックのための階層的な４分木データ構造を生成し得る。たとえば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。

[0072]４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのシンタックスデータ（たとえば、シンタックス要素）を含み得る。たとえば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分される（たとえば、分割される）かどうかを示す分割フラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロックのための４分木データ構造に基づくデータを含み得る。

[0073]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実施し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化演算を実施するとき、ビデオエンコーダ２０は、区分されていないＣＵの符号化表現を表すデータを生成する。

[0074]ＣＵに対して符号化演算を実施することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、または同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。いくつかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分を実施し得る。

[0075]インター予測ユニット１２１はＣＵの各ＰＵに対してインター予測を実施し得る。インター予測は時間圧縮を実現し得る。ＰＵに対してインター予測を実施するために、動き推定ユニット１２２はＰＵのための動き情報を生成し得る。動き補償ユニット１２４は、ＣＵに関連付けられたピクチャ以外のピクチャ（たとえば、参照ピクチャ）の復号サンプルと動き情報とに基づき、ＰＵのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

[0076]スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、Ｂスライス中にあるかに応じて、ＣＵのＰＵに対して異なる演算を実施し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵに対してインター予測を実施しない。

[0077]ＰＵがＰスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測に使用され得るサンプルを含んでいる。動き推定ユニット１２２が、Ｐスライス中のＰＵに関して動き推定演算を実施するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット１２２は、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリクスを使用し得る。たとえば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。

[0078]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0079]ＰＵがＢスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」および「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含んでいるピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。

[0080]さらに、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単方向予測または双方向予測を実施し得る。動き推定ユニット１２２が、ＰＵについての単方向予測を実施するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０またはリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０またはリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すのか、リスト１中の参照ピクチャを示すのかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0081]動き推定ユニット１２２が、ＰＵについての双方向予測を実施するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０およびリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報としてＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0082]いくつかの例では、動き推定ユニット１２２は、ＰＵのための動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報をシグナリングし得る。たとえば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示された隣接ＰＵの動きベクトルとの間の差分を示す。ビデオデコーダ３０は、ＰＵの動きベクトルを決定するために、示された隣接ＰＵの動きベクトルと、動きベクトル差分とを使用し得る。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報をシグナリングすることが可能であり得る。

[0083]ＣＵに対して符号化演算を実施することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実施し得る。イントラ予測は空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実施するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実施し得る。

[0084]ＰＵに対してイントラ予測を実施するために、イントラ予測ユニット１２６は、ＰＵのための予測データの複数のセットを生成するために複数のイントラ予測モードを使用し得る。イントラ予測ユニット１２６が、ＰＵのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット１２６は、イントラ予測モードに関連付けられた方向および／または勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、または左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モードを使用し得る。

[0085]予測処理ユニット１００は、ＰＵについての、動き補償ユニット１２４によって生成された予測データ、またはＰＵについての、イントラ予測ユニット１２６によって生成された予測データの中から、ＰＵのための予測データを選択し得る。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみメトリックに基づいて、ＰＵのための予測データを選択する。

[0086]予測処理ユニット１００が、イントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵのための予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。したがって、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。

[0087]上記で説明したように、ビデオエンコーダ２０はレイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＨＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。

[0088]予測処理ユニット１００がＣＵのＰＵのための予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（たとえば、マイナス符号によって示される）によって、ＣＵのための残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。たとえば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

[0089]予測処理ユニット１００は、ＣＵの残差ビデオブロックをサブブロックに区分するために、４分木区分を実施し得る。各分割されていない残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられた残差ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズおよび位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵはＲＱＴのリーフノードに対応し得る。

[0090]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。

[0091]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0092]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。たとえば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対してレートひずみ分析を実施し得る。レートひずみ分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実施することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオエンコーダ２０がツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。ビデオエンコーダ２０は、最小のビットレートおよびひずみメトリックを有するツリーブロックのコード化表現で所与のＱＰ値がＣＵに関連付けられるとき、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。

[0093]逆量子化ユニット１０８および逆変換ユニット１１０は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、変換係数ブロックに逆量子化および逆変換を適用し得る。再構成ユニット１１２は、ＴＵに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ビデオブロックからの対応するサンプルに加算し得る。このようにＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。

[0094]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するためにデブロッキング演算を実施し得る。１つまたは複数のデブロッキング演算を実施した後、フィルタユニット１１３は、ＣＵの再構成されたビデオブロックを復号ピクチャバッファ１１４に記憶し得る。動き推定ユニット１２２および動き補償ユニット１２４は、後続ピクチャのＰＵに対してインター予測を実施するために、再構成されたビデオブロックを含んでいる参照ピクチャを使用し得る。さらに、イントラ予測ユニット１２６は、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実施するために、復号ピクチャバッファ１１４中の再構成されたビデオブロックを使用し得る。

[0095]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信するとき、エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを生成するために、１つまたは複数のエントロピー符号化演算を実施し得る。たとえば、ビデオエンコーダ２０は、ＣＡＶＬＣ演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ）コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実施し得る。エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを含むビットストリームを出力し得る。

[0096]データに対してエントロピー符号化演算を実施することの一部として、エントロピー符号化ユニット１１６はコンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実施している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。

[0097]図３は、本開示で説明する態様による技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ３０は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。

[0098]説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオデコーダ３０について説明する。ただし、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図３に示された例はシングルレイヤコーデックのためのものである。しかしながら、いくつかの実装形態では、ビデオデコーダ３０の一部または全部はマルチレイヤコーデックの処理のために複製され得る。

[0099]図３の例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。いくつかの例では、ビデオデコーダ３０は、図２のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実施し得る。他の例では、ビデオデコーダ３０は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[00100]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信したとき、エントロピー復号ユニット１５０は、ビットストリームに対してパース演算を実施し得る。ビットストリームに対してパース演算を実施した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。パース演算を実施することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、およびフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実施し得る。

[00101]上記で説明したように、ビットストリームは、一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、ビデオパラメータセットＮＡＬユニット、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニットなどを含み得る。ビットストリームに対してパース演算を実施することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬユニットからのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬユニットからのピクチャパラメータセット、ＳＥＩ ＮＡＬユニットからのＳＥＩデータなどを抽出し、エントロピー復号する、パース演算を実施し得る。

[00102]さらに、ビットストリームのＮＡＬユニットはコード化スライスＮＡＬユニットを含み得る。ビットストリームに対してパース演算を実施することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬユニットからコード化スライスを抽出し、エントロピー復号する、パース演算を実施し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、スライスヘッダを再構成するために、コード化されたスライスヘッダ中のシンタックス要素に対して、ＣＡＢＡＣ復号演算などのエントロピー復号演算を実施し得る。

[00103]コード化スライスのＮＡＬユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコード化ＣＵからシンタックス要素を抽出するパース演算を実施し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちのいくつかに対してＣＡＢＡＣ復号演算を実施し得る。

[00104]エントロピー復号ユニット１５０が区分されていないＣＵに対してパース演算を実施した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成演算を実施し得る。区分されていないＣＵに対して再構成演算を実施するために、ビデオデコーダ３０はＣＵの各ＴＵに対して再構成演算を実施し得る。ＣＵの各ＴＵについて再構成演算を実施することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。

[00105]ＴＵに対して再構成演算を実施することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆量子化（inverse quantize）、たとえば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣのために提案された、またはＨ．２６４復号規格によって定義された逆量子化プロセスと同様の方式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。

[00106]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。

[00107]いくつかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実施することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット１６２は、参照ブロックのサブ整数サンプルについての補間値を計算するために、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ビデオブロックを生成するために、その補間フィルタを使用し得る。

[00108]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実施し得る。たとえば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。

[00109]いくつかの事例では、シンタックス要素は、イントラ予測ユニット１６４が、現在ＰＵのイントラ予測モードを決定するために、別のＰＵのイントラ予測モードを使用すべきであることを示し得る。たとえば、現在ＰＵのイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。したがって、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、空間的に隣接するＰＵのビデオブロックに基づいてＰＵの予測データ（たとえば、予測サンプル）を生成するために、イントラ予測モードを使用し得る。

[00110]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＨＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在ブロック（たとえば、エンハンスメントレイヤ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測方式の各々について、以下でより詳細に説明する。

[00111]再構成ユニット１５８は、ＣＵのビデオブロックを再構成するために、適用可能なとき、ＣＵのＴＵに関連付けられた残差ビデオブロックと、ＣＵのＰＵの予測ビデオブロック、たとえば、イントラ予測データまたはインター予測データのいずれかとを使用し得る。したがって、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。

[00112]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実施し得る。フィルタユニット１５９が、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実施した後、ビデオデコーダ３０はＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、後続の動き補償、イントラ予測、および図１Ａまたは図１Ｂのディスプレイデバイス３２などのディスプレイデバイス上での提示のために、参照ピクチャを与え得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６０中のビデオブロックに基づいて、他のＣＵのＰＵに対して（on）イントラ予測演算またはインター予測演算を実施し得る。
イントラブロックコピー（ＩＢＣ：Intra Block Copy）モード
[00113]イントラブロックコピー（ＩＢＣ）モードは、現在ブロック（たとえば、コーディングユニット、予測ユニットなど）が、現在ブロックを含む同じピクチャ内の同様の再構成されたブロックに基づいて予測されることを可能にするコーディングモードである。現在ピクチャ内の予測子ブロックのロケーションを指すブロックベクトルが、ＩＢＣモードでコーディングされる現在ブロックに関して（in connection with）、ビットストリーム中でシグナリングされ得る。
ＩＢＣモードとインターモードとの統一
[00114]いくつかの実装形態では、ＩＢＣモードは、インターモード（たとえば、現在ブロックが、現在ブロックを含む現在ピクチャ以外のピクチャ中の同様の再構成されたブロックに基づいて予測されることを可能にするコーディングモード）と統一される。ＩＢＣモードとインターモードの両方が、予測子ブロックのロケーションを識別するベクトルを伴うので、ＩＢＣモードは、現在ピクチャを含む参照ピクチャリストを使用して実装され得る。たとえば、同じ参照ピクチャリストを使用して、所与のスライスに関連付けられた参照ピクチャリストに現在ピクチャを追加することによって、所与のスライス中のあるブロックが、参照ピクチャリスト中の現在ピクチャを参照することによって、ＩＢＣモードでコーディングされ得、所与のスライス中の別のブロックが、参照ピクチャリスト中の時間ピクチャ（temporal picture）を参照することによって、インターモードでコーディングされ得る。
ＩＢＣモードでの参照ピクチャマーキング
[00115]ＩＢＣモードのいくつかの実装形態では、現在スライスを復号する前に、現在ピクチャは長期参照ピクチャとしてマークされる。次いで、現在ピクチャの復号が完了した後、現在ピクチャは短期参照ピクチャとしてマークされる。
ＩＢＣモードとインターモードとの間の差
[00116]マージモードシグナリングと、高度動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）シグナリングと、ＡＭＶＰ導出と、動きベクトル差分（ＭＶＤ：motion vector difference）コーディングとを含む、ＩＢＣモードに関連付けられたシグナリングおよびコーディング方法は、インターモードに関連付けられたものと同等であり得る。いくつかの実施形態では、インターモードとは異なり、ＩＢＣモードのための動きベクトルが、整数動きベクトルであることを必要とされ得る。いくつかの実施形態では、クロマ成分ではなく、ルーマ成分のみのための動きベクトルが、整数動きベクトルであることを必要とされ得る。代替的に、ルーマ成分ではなく、クロマ成分のみのための動きベクトルが、整数動きベクトルであることを必要とされ得る。

[00117]場合によっては、対応する参照ピクチャを検査することによって、ＩＢＣモードでコーディングされたブロックが従来のインターコード化ブロックと区別され得る。ブロックが参照ピクチャとして現在ピクチャのみを使用する場合、ブロックはＩＢＣモードでコーディングされる。ブロックが、参照ピクチャとして、ブロックを含む現在ピクチャ以外の何らかのピクチャを使用する場合、ブロックはインターモードでコーディングされる。
ＩＢＣモードが可能にされるかどうかのシグナリング
[00118]いくつかの実施形態では、ＩＢＣモードが、ブロックをコーディングするために使用されることを可能にされるかどうかを示すフラグが、ビットストリーム中で（たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダなどの中で）シグナリングされ得る。そのようなフラグは、コーディング（たとえば、符号化または復号）されるべきブロックを含む現在ピクチャが、ブロックをコーディングする（またはそれ自体をコーディングする）ための参照ピクチャとして使用され得るかどうかを示し得る。代替または追加として、そのようなフラグは、現在ピクチャが現在ピクチャの参照ピクチャリストに追加され得るかどうかを示し得る。たとえば、フラグは、「ｃｕｒｒ＿ｐｉｃ＿ａｓ＿ｒｅｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」または「ｃｕｒｒ＿ｐｉｃ＿ｒｅｆ＿ｅｎａｂｌｅ＿ｆｌａｇ」と呼ばれることがある。
参照ピクチャリスト構成
[00119]表１〜表３に、コーディングされるべき現在ブロックを含む現在スライスの参照ピクチャリストを構成するための例示的なプロセスを示す。たとえば、変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒは、現在ピクチャの予測のための参照として使用するために利用可能であるピクチャの総数を示し得る。いくつかの実施形態では、変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒは、現在ピクチャの予測のための参照として使用するために利用可能である固有のピクチャの総数を示す。変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒは以下のように導出され得る。

[00120]変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、Ｍａｘ（ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１，ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒ）に等しく設定され得、ここで、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１は、スライス中で指定された参照ピクチャの数（たとえば、スライス中のブロックによって参照される参照ピクチャの数）を表す。ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１は、所与のスライスのスライスセグメントヘッダ中でシグナリングされ得る。いくつかの実施形態では、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１はＮｕｍＰｉｃＴｏｔａｌＣｕｒｒよりも小さい。代替的に、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１はＮｕｍＰｉｃＴｏｔａｌＣｕｒｒよりも大きくなり得る。変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、スライスのための参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０）を生成するために使用されるべき一時的参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０）のサイズを示し得る。一時的リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０は以下のように構成され得る。

[00121]上記で構成された一時的リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０に基づいて、スライスに関連付けられた参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０は以下のように構成され得る。

[00122]フラグｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０は、参照ピクチャリスト（たとえば、リスト０）が（たとえば、ビットストリーム中でシグナリングされるｌｉｓｔ＿ｅｎｔｒｙ＿ｌ０［］中のインデックス値のリストによって）明示的に指定されるのか、（たとえば、一時的リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０と同じ順序でまたはｌｉｓｔ＿ｅｎｔｒｙ＿ｌ０値以外の値に基づいて）暗黙的に決定されるのかを示し得る。
参照ピクチャリストへの現在ピクチャの追加
[00123]ＩＢＣモードのいくつかの実装形態では、現在ピクチャは、参照ピクチャリスト変更（ＲＰＬＭ：reference picture list modification）が存在しないとき、コーディングされるべき現在ブロックを含むスライスに関連付けられた参照ピクチャリストに強制的に追加される。たとえば、参照ピクチャリスト変更は、参照ピクチャリスト中の参照ピクチャを並べ替えるために使用され得る。表４に、現在ピクチャを参照ピクチャリストに追加するための例示的なプロセスを示す。

最後の要素としての現在ピクチャ
[00124]表２に示されているように、ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０構成プロセスのＷＨＩＬＥループ中で、ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒがｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１よりも小さいとき、同じ参照ピクチャが一時的リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０に複数回追加され得る。そのような場合、ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０構成プロセスのＩＦ節中で追加された現在ピクチャは、少なくとも１回、一時的リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０に追加される。

[00125]図４に、参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０）構成プロセス４００を示す。図４は、現在ピクチャの予測のための参照として使用するために利用可能であるピクチャのリスト４１０、表３で説明したように構成された参照ピクチャリストへの現在ピクチャの追加より前の参照ピクチャリスト４２０、および現在ピクチャが表４に従って構成された参照ピクチャリストに追加された後の参照ピクチャリスト４３０を示す。

[00126]図４の例では、変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒは２に等しく、これは、現在ピクチャの予測のための参照として使用するために利用可能なピクチャの数が２であることを意味する（それは、図４に示されているように、現在ピクチャＣならびに時間ピクチャＴを含み得る）。図４の例では、変数ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１は５に等しく、これは、スライスによって参照されるピクチャの数が５であることを意味する。したがって、図４の例では、ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒとｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１とのうちのより大きいほうである、変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は５に等しい。したがって、参照ピクチャリスト４２０と参照ピクチャリスト４３０とは両方とも、５つのピクチャを含む。
参照ピクチャリスト中の繰返しパターン
[00127]図４の例では、参照ピクチャリスト４２０は｛Ｔ、Ｃ、Ｔ、Ｃ、Ｔ｝を備え、参照ピクチャリスト４３０は｛Ｔ、Ｃ、Ｔ、Ｃ、Ｃ｝を備え、時間ピクチャＴの最後のインスタンスが現在ピクチャＣのインスタンスと置き換えられる。しかしながら、いくつかの実装形態では、参照ピクチャリストが参照ピクチャの繰り返されるシーケンス（たとえば、Ｔ、Ｃ、Ｔ、Ｃ．．．）を含む妥当な理由があり得る。たとえば、参照ピクチャの繰り返されるシーケンスは、重み付け予測のために使用され得る。図４の例では、繰り返されるシーケンスは、参照ピクチャリストの最後に追加された現在ピクチャによって中断させられる。したがって、そのような場合、参照ピクチャリスト中の参照ピクチャを現在ピクチャと自動的に置き換えること（たとえば、参照ピクチャリスト中の最後のピクチャを現在ピクチャと置き換えること）が、参照ピクチャリスト中の参照ピクチャの繰り返されるシーケンスを中断させることになる場合、そうすることを控えることによって、参照ピクチャの繰り返されるシーケンスを中断させることを控えることが望ましいことがある。

[00128]いくつかの実施形態では、現在ピクチャが参照ピクチャリスト中にすでに含まれる場合、コーダは、参照ピクチャを参照ピクチャリスト中の現在ピクチャと置き換えることを控える。たとえば、いくつかの実施形態では、コーダは、現在ピクチャが参照ピクチャリスト中にすでに含まれていない限り（unless）、参照ピクチャリスト中の最後の参照ピクチャを現在ピクチャと置き換える。いくつかの実施形態では、現在ピクチャの予測のための参照として使用するために利用可能なピクチャの総数（たとえば、ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒ）が、スライス中のブロックによって参照されるピクチャの数（たとえば、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１）よりも大きくない（たとえば、それよりも小さいかまたはそれに等しい）場合、コーダは、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換えることを控える。一例では、コーダは、参照ピクチャリストの最後の要素を現在ピクチャに設定することを控える。表５に、現在ピクチャを参照ピクチャリストに追加するための例示的なプロセスを示す。

[00129]いくつかの実施形態では、コーダは、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０がｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１よりも大きいかどうかを決定し、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０がｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１よりも大きくない（たとえば、それよりも小さいかまたはそれに等しい）場合、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換えることを控え得る。いくつかの実施形態では、コーダは、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０がｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１に等しいかどうかを決定し、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０がｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１に等しい場合、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換えることを控え得る。

[00130]いくつかの実施形態では、コーダは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１がＮｕｍＰｉｃＴｏｔａｌＣｕｒｒよりも大きいかどうかを決定し、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１がＮｕｍＰｉｃＴｏｔａｌＣｕｒｒよりも大きい場合、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換えることを控え得る。いくつかの実施形態では、コーダは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１がＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０よりも大きいかどうかを決定し、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１がＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０よりも大きい場合、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換えることを控え得る。
現在ピクチャを参照ピクチャリストに追加するための例示的なプロセス
[00131]図５は、本開示の態様による、現在ブロックを含むスライスに関連付けられた参照ピクチャリストを構成するための方法５００を示すフローチャートである。図５に示されているステップは、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）、ビデオデコーダ（たとえば、ビデオデコーダ３０）、または任意の他の構成要素によって実施され得る。便宜上、方法５００について、ビデオエンコーダ２０、ビデオデコーダ３０、または別の構成要素であり得る、（単にコーダとも呼ばれる）ビデオコーダによって実施されるものとして説明する。

[00132]ブロック５０２において、コーダは、インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定する。いくつかの実施形態では、インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャは、すべての復号されたピクチャを含む。別の実施形態では、参照ピクチャは、復号ピクチャバッファ中のすべての復号されたピクチャを含む。別の実施形態では、参照ピクチャは、現在ピクチャとインターモードでの現在ピクチャ中のブロックを予測する際に使用するために利用可能なすべての参照ピクチャとを含む。また別の実施形態では、参照ピクチャは、（ｉ）（たとえば、ＮｕｍＰｏｃＳｔＣｕｒｒＢｅｆｏｒｅによって示される）現在ピクチャを予測するために利用可能であり、出力順序において現在ピクチャに先行する短期参照ピクチャの総数と、（ｉｉ）（たとえば、ＮｕｍＰｏｃＳｔＣｕｒｒＡｆｔｅｒによって示される）現在ピクチャを予測するために利用可能であり、出力順序において現在ピクチャに後続する（follow）短期参照ピクチャの総数と、（ｉｉｉ）（たとえば、ＮｕｍＰｏｃＬｔＣｕｒｒによって示される）現在ピクチャを予測するために利用可能な長期参照ピクチャの総数と、（ｉｖ）現在ピクチャとを含む。そのような実施形態のうちのいくつかでは、現在ピクチャが総数中に含まれるかどうかは、現在ピクチャが、（たとえば、ｃｕｒｒ＿ｐｉｃ＿ａｓ＿ｒｅｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値によって示される）現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく。いくつかの実施形態では、第１の数は、ＨＥＶＣの変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒによって示され、第２の数は、ＨＥＶＣの変数ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１によって示される。図５には示されていないが、ブロック５０２より前に、コーダは、表１〜表３に示されたプロセスに従って参照ピクチャリストを構成し得る。

[00133]ブロック５０４において、コーダは、第２の数が第１の数以上であるかどうかを決定する。コーダが、第２の数が第１の数以上であると決定した場合、方法５００はブロック５０６に進む。他の場合、方法５００はブロック５０８に進む。

[00134]ブロック５０６において、コーダは、参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控える。いくつかの実施形態では、コーダは、参照ピクチャリストの最後の位置における参照ピクチャを現在ピクチャと置き換えることを控える。別の実施形態では、コーダは、現在ピクチャでない参照ピクチャリストの最後の位置における参照ピクチャを現在ピクチャと置き換えることを控える。

[00135]ブロック５０８において、コーダは、参照ピクチャリスト中の参照ピクチャを現在ピクチャと置き換える。いくつかの実施形態では、コーダは、参照ピクチャリストの最後の位置における参照ピクチャを現在ピクチャと置き換える。別の実施形態では、コーダは、現在ピクチャでない参照ピクチャリストの最後の位置における参照ピクチャを現在ピクチャと置き換える。別の実施形態では、コーダは、参照ピクチャが現在ピクチャであるか否かにかかわらず、参照ピクチャリストの最後の位置における参照ピクチャを現在ピクチャと置き換える。

[00136]図５には示されていないが、コーダは、参照ピクチャリストを使用して現在ピクチャ中の現在ブロックのための予測ブロックを決定し得る。さらに、コーダは、予測ブロックに基づいて現在ブロックを符号化し得る。代替または追加として、コーダは、予測ブロックに基づいて現在ブロックを復号し得る。

[00137]いくつかの実施形態では、コーダは、現在ピクチャ（あるいは現在ピクチャに対応する画像データまたはビデオデータ）をキャプチャするように構成されたカメラをも含む装置中に含まれる。いくつかの実施形態では、コーダは、現在ピクチャ（あるいは現在ピクチャに対応する画像データまたはビデオデータ）を表示するように構成されたディスプレイをも含む装置中に含まれる。
他の参照ピクチャリスト
[00138]この構成参照ピクチャの１つまたは複数の技法について、一例として参照ピクチャリスト０に基づいて本明細書で説明する。ただし、同様の技法が他のタイプの参照ピクチャリストに拡張され得る。たとえば、本開示の技法は、それぞれ、ｌｉｓｔ０またはｌ０をｌｉｓｔ１またはｌ１と置き換えることによって、参照ピクチャリスト１に拡張され得る。
他の考慮事項
[00139]本明細書で開示する情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

[00140]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。

[00141]本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。デバイスまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[00142]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明した技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した技法の実装に好適な他の構造または装置のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアもしくはハードウェア内に提供され得、または複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

[00143]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素またはユニットについて説明したが、それらの構成要素またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

[00144]上記について様々な異なる実施形態に関して説明したが、一実施形態からの特徴または要素は、本開示の教示から逸脱することなく他の実施形態と組み合わせられ得る。ただし、それぞれの実施形態間の特徴の組合せは、必ずしもそれに限定されるとは限らない。本開示の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。

Claims (30)

1. 参照ピクチャリストを構成するための方法であって、前記方法は、
   （ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）前記参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、
   前記第２の数が前記第１の数以上であると決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることと
   を備える、方法。
2. 前記第２の数が前記第１の数以上でないと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えることをさらに備える、請求項１に記載の方法。
3. （ｉ）インターモードで前記現在ピクチャ中のブロックを予測する際に使用するために利用可能な参照ピクチャの総数と、（ｉｉ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定することをさらに備える、請求項１に記載の方法。
4. （ｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに先行する短期参照ピクチャの総数と、（ｉｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに後続する短期参照ピクチャの総数と、（ｉｉｉ）前記現在ピクチャを予測するために利用可能な長期参照ピクチャの総数と、（ｉｖ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定することをさらに備える、請求項１に記載の方法。
5. 前記参照ピクチャリストが、前記参照ピクチャリストの最後の位置以外の位置における前記現在ピクチャを含むと決定することに応答して、前記参照ピクチャリストの前記最後の位置における参照ピクチャを前記現在ピクチャと置き換えることを控えることをさらに備える、請求項１に記載の方法。
6. 前記参照ピクチャリストが、前記現在ピクチャを含む参照ピクチャシーケンスの少なくとも一部分が前記参照ピクチャリスト内で２回以上繰り返されるような、前記参照ピクチャシーケンスを含むと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えることを控えることをさらに備える、請求項１に記載の方法。
7. 前記第１の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒの値によって示される、請求項１に記載の方法。
8. 前記第２の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の値と１との和によって示される、請求項１に記載の方法。
9. 前記第１の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０の値によって示される、請求項１に記載の方法。
10. 前記参照ピクチャリストを使用して前記現在ピクチャ中の現在ブロックのための予測ブロックを決定することをさらに備える、請求項１に記載の方法。
11. 前記予測ブロックに基づいて前記現在ブロックを符号化することをさらに備える、請求項１０に記載の方法。
12. 前記予測ブロックに基づいて前記現在ブロックを復号することをさらに備える、請求項１０に記載の方法。
13. 参照ピクチャリストを構成するように構成された装置であって、前記装置が、
    １つまたは複数の参照ピクチャを記憶するように構成されたメモリと、
    前記メモリと通信している１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサは、
    （ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）前記参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、
    前記第２の数が前記第１の数以上であるという決定に応答して、前記参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることと
    を行うように構成された、
    装置。
14. 前記１つまたは複数のプロセッサは、前記第２の数が前記第１の数以上でないと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えるようにさらに構成された、請求項１３に記載の装置。
15. 前記１つまたは複数のプロセッサは、（ｉ）インターモードで前記現在ピクチャ中のブロックを予測する際に使用するために利用可能な参照ピクチャの総数と、（ｉｉ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定するようにさらに構成された、請求項１３に記載の装置。
16. 前記１つまたは複数のプロセッサは、（ｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに先行する短期参照ピクチャの総数と、（ｉｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに後続する短期参照ピクチャの総数と、（ｉｉｉ）前記現在ピクチャを予測するために利用可能な長期参照ピクチャの総数と、（ｉｖ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定するようにさらに構成された、請求項１３に記載の装置。
17. 前記１つまたは複数のプロセッサは、前記参照ピクチャリストが、前記参照ピクチャリストの最後の位置以外の位置における前記現在ピクチャを含むと決定することに応答して、前記参照ピクチャリストの前記最後の位置における参照ピクチャを前記現在ピクチャと置き換えることを控えるようにさらに構成された、請求項１３に記載の装置。
18. 前記１つまたは複数のプロセッサは、前記参照ピクチャリストが、前記現在ピクチャを含む参照ピクチャシーケンスの少なくとも一部分が前記参照ピクチャリスト内で２回以上繰り返されるような、前記参照ピクチャシーケンスを含むと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えることを控えるようにさらに構成された、請求項１３に記載の装置。
19. 前記第１の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ＮｕｍＰｉｃＴｏｔａｌＣｕｒｒの値によって示される、請求項１３に記載の装置。
20. 前記第２の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の値と１との和によって示される、請求項１３に記載の装置。
21. 前記第１の数が、高効率ビデオコーディング（ＨＥＶＣ）規格における変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０の値によって示される、請求項１３に記載の装置。
22. 前記１つまたは複数のプロセッサが、前記参照ピクチャリストを使用して前記現在ピクチャ中の現在ブロックのための予測ブロックを決定するようにさらに構成された、請求項１３に記載の装置。
23. 前記装置が、前記予測ブロックに基づいて前記現在ブロックを符号化するように構成されたビデオエンコーダと、前記現在ピクチャをキャプチャするように構成されたカメラとを備える、請求項２２に記載の装置。
24. 前記装置が、前記予測ブロックに基づいて前記現在ブロックを復号するように構成されたビデオデコーダと、前記現在ピクチャを表示するように構成されたディスプレイとを備える、請求項２２に記載の装置。
25. 実行されたとき、装置に、
    （ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定することと、
    前記第２の数が前記第１の数以上であるという決定に応答して、前記参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えることと
    を行わせるコードを備える非一時的物理的コンピュータストレージ。
26. 前記コードは、前記装置に、前記第２の数が前記第１の数以上でないと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えることをさらに行わせる、請求項２５に記載の非一時的物理的コンピュータストレージ。
27. 前記コードは、前記装置に、（ｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに先行する短期参照ピクチャの総数と、（ｉｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに後続する短期参照ピクチャの総数と、（ｉｉｉ）前記現在ピクチャを予測するために利用可能な長期参照ピクチャの総数と、（ｉｖ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定することをさらに行わせる、請求項２５に記載の非一時的物理的コンピュータストレージ。
28. 参照ピクチャリストを構成するように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
    １つまたは複数の参照ピクチャを記憶するための手段と、
    （ｉ）インターモードまたはイントラブロックコピーモードのうちの少なくとも１つでの予測のために利用可能な参照ピクチャの総数を表す第１の数と、（ｉｉ）前記参照ピクチャリスト中に含まれるべき参照ピクチャの総数を表す第２の数とを決定するための手段と、
    前記第２の数が前記第１の数以上であるという決定に応答して、前記参照ピクチャリスト中の参照ピクチャを、予測されるべき現在ピクチャと置き換えることを控えるための手段と
    を備える、ビデオコーディングデバイス。
29. 前記第２の数が前記第１の数以上でないと決定することに応答して、前記参照ピクチャリスト中の参照ピクチャを前記現在ピクチャと置き換えるための手段をさらに備える、請求項２８に記載のビデオコーディングデバイス。
30. （ｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに先行する短期参照ピクチャの総数と、（ｉｉ）前記現在ピクチャを予測するために利用可能であり、出力順序において前記現在ピクチャに後続する短期参照ピクチャの総数と、（ｉｉｉ）前記現在ピクチャを予測するために利用可能な長期参照ピクチャの総数と、（ｉｖ）前記現在ピクチャが、前記現在ピクチャ中のブロックを予測するために使用されることを可能にされるかどうかに基づく値との和として前記第１の数を決定するための手段をさらに備える、請求項２８に記載のビデオコーディングデバイス。

Images