JP2016526855A - ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 - Google Patents

ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 Download PDF

Info

Publication number
JP2016526855A
JP2016526855A JP2016525392A JP2016525392A JP2016526855A JP 2016526855 A JP2016526855 A JP 2016526855A JP 2016525392 A JP2016525392 A JP 2016525392A JP 2016525392 A JP2016525392 A JP 2016525392A JP 2016526855 A JP2016526855 A JP 2016526855A
Authority
JP
Japan
Prior art keywords
layer
picture
decoded
pictures
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016525392A
Other languages
English (en)
Other versions
JP2016526855A5 (ja
Inventor
セレジン、バディム
チェン、イン
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016526855A publication Critical patent/JP2016526855A/ja
Publication of JP2016526855A5 publication Critical patent/JP2016526855A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ情報をコーディングするように構成される装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、第１のレイヤおよび第２のレイヤに関連付けられた、ビデオ情報を記憶するように構成される。プロセッサは、第１のレイヤの第１のレイヤピクチャを復号し、復号された第１のレイヤピクチャを復号ピクチャバッファに記憶し、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャがコーディングされるべきかどうかを決定し、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャがコーディングされるべきであると決定することに応答して、復号ピクチャバッファの中に記憶されている１つまたは複数の復号された第１のレイヤピクチャが除去されるべきであるという指示を処理するように構成される。プロセッサはビデオ情報を符号化または復号し得る。

Description

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関し、詳細には、スケーラブルビデオコーディング（ＳＶＣ：scalable video coding）またはマルチビュービデオコーディング（ＭＶＣ：multiview video coding、３ＤＶ）に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているもののような、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間（イントラピクチャ（intra-picture））予測および／または時間（インターピクチャ（inter-picture））予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコーディングされる（intra-coded）（Ｉ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測（spatial prediction）を使用して符号化される。ピクチャのインターコーディングされる（inter-coded）（ＰまたはＢ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャにおける参照サンプルに対する時間予測（temporal prediction）を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0004]空間予測または時間予測により、コーディングされるべきブロックのための予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分（pixel differences）を表す。インターコーディングされるブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングされるブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数（residual transform coefficients）が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成された量子化変換係数（quantized transform coefficients）は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。
[0005]ビデオコーディングにおいて、ビデオストリームを処理するためのビデオアプリケーション（たとえば、ビデオ会議のアプリケーション、動画ストリーミングなど）は、帯域幅の状態に応じて、低解像度モード（たとえば、低解像度ピクチャが処理および表示される）と高解像度モード（たとえば、高解像度ピクチャが処理および表示される）との間で切り替え得る。帯域幅が最初に高解像度ストリーミングをサポートできない場合、アプリケーションは、ビデオストリームを低解像度モードで処理し得、帯域幅が改善されたとき、アプリケーションは、より高品質のビデオを表示できるように高解像度モードへ切り替え得る。
[0006]一般に、コーディングされたピクチャは、他のピクチャをコーディングするために使用され得るように、復号ピクチャバッファ（ＤＰＢ：a decoded picture buffer）の中に記憶され得る。たとえば、ビデオコーダは、後続のピクチャをコーディングするために、ＤＰＢの中に記憶されている前にコーディングされたピクチャのピクセル値または他の情報（たとえば、動き情報）を使用し得る。しかしながら、ＤＰＢはスペースが限られ、すべてのコーディングされたピクチャが、ＤＰＢに記憶され得るとは限らない。したがって、不必要なピクチャをＤＰＢから適時に除去することが、ＤＰＢの管理とメモリの使用量とを改善することができる。
[0007]さらに、高効率ビデオコーディング（ＨＥＶＣ：high efficiency vide coding）のスケーラブル拡張（ＳＨＶＣ：scalable extension of high efficiency vide coding）では、ビデオアプリケーションが低解像度モードから高解像度モードへ切り替えるとき、アプリケーションは、ＤＰＢに記憶されている低解像度ピクチャを管理することをやめることがある（たとえば、ＤＰＢの中に残り得る低解像度ピクチャを一掃し（clear out）得ない）。そのような状況では、低解像度ピクチャが不必要にＤＰＢの中に残り得、ＤＰＢの中に高解像度ピクチャ用の少量のスペースしか残らない。別の例では、高解像度ピクチャのいずれかがコーディングされる前に、ＤＰＢに記憶されている低解像度ピクチャがクリアされることがあり、高解像度ピクチャのコーディングでの使用のためにそれらを利用できなくさせる。そのような状況では、高解像度ピクチャが、一般にインター予測またはレイヤ間予測（inter-layer prediction）よりもコストがかかるイントラ予測を使用してコーディングされなければならないことになるので、コーディング効率は悪化することがある。
[0008]したがって、ＤＰＢに記憶される低解像度ピクチャを、解像度変更があるときに適切に管理することによって、メモリの使用量およびコーディング効率が改善され得る。
[0009]本開示のシステム、方法、およびデバイスは、いくつかの革新的な態様をそれぞれ有し、それらの態様は、どれ１つとして、本明細書に開示される望ましい属性を単独で担うものではない。
[0010]一実施形態では、ビデオ情報をコーディング（たとえば、符号化または復号）するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、第１のレイヤおよび第２のレイヤに関連付けられた、ビデオ情報を記憶するように構成される。プロセッサは、第１のレイヤの第１のレイヤピクチャを復号し、復号された第１のレイヤピクチャを復号ピクチャバッファに記憶し、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャがコーディングされるべきかどうかを決定し、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャがコーディングされるべきであると決定することに応答して、復号ピクチャバッファの中に記憶されている１つまたは複数の復号された第１のレイヤピクチャが除去されるべきであるという指示を処理するように構成される。プロセッサはビデオ情報を符号化または復号し得る。
[0011]一実施形態では、ビデオ情報をコーディング（たとえば、符号化または復号）する方法は、第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、第１のレイヤは、第１のレイヤピクチャを備え、第２のレイヤは、第２のレイヤピクチャを備える、第１のレイヤの第１のレイヤピクチャのうちの１つまたは複数を復号することと、１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、復号ピクチャバッファに記憶されている１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが復号ピクチャバッファから除去されるべきであるという指示を処理することとを備える。
[0012]一実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、装置にプロセスを実行させるコードを備える。このプロセスは、第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、第１のレイヤは、第１のレイヤピクチャを備え、第２のレイヤは、第２のレイヤピクチャを備える、第１のレイヤの第１のレイヤピクチャのうちの１つまたは複数を復号することと、１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、復号ピクチャバッファに記憶されている１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが復号ピクチャバッファから除去されるべきであるという指示を処理することとを含む。
[0013]一実施形態では、ビデオ情報をコーディングするように構成されたビデオコーディングデバイスは、第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶するための手段と、第１のレイヤは、第１のレイヤピクチャを備え、第２のレイヤは、第２のレイヤピクチャを備える、第１のレイヤの第１のレイヤピクチャのうちの１つまたは複数を復号するための手段と、１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶するための手段と、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定するための手段と、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、復号ピクチャバッファに記憶されている１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが復号ピクチャバッファから除去されるべきであるという指示を処理するための手段とを備える。
[0014]本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015]本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化および復号システムを示すブロック図。 [0016]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0017]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0018]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0019]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0020]本開示の一実施形態による、下位レイヤおよび上位レイヤの中の様々なピクチャを示す概略図。 [0021]本開示の一実施形態による、下位レイヤおよび上位レイヤの中の様々なピクチャを示す概略図。 [0022]本開示の一実施形態による、下位レイヤおよび上位レイヤの中の様々なピクチャを示す概略図。 [0023]本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャート。 本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャート。
詳細な説明
[0024]本明細書に記載されるいくつかの実施形態は、ＨＥＶＣ（高効率ビデオコーディング）などのアドバンストビデオコーデックのコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より詳細には、本開示は、ＨＥＶＣのスケーラブルビデオコーディング（ＳＨＶＣ）拡張におけるレイヤ間予測の性能の改善のためのシステムおよび方法に関する。
[0025]以下の説明では、いくつかの実施形態に関係するＨ．２６４／ＡＶＣ技法が記載され、ＨＥＶＣ規格および関係する技法も説明される。ＨＥＶＣ規格および／またはＨ．２６４規格のコンテキストにおいて、いくつかの実施形態が本明細書に記載されるが、本明細書で開示されるシステムおよび方法が任意の適切なビデオコーディング規格に適用可能であり得ることを、当業者なら諒解されよう。たとえば、本明細書で開示される実施形態は、以下の規格、すなわち、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ Ｈ．２６２もしくはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアル、およびそれのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含むＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）のうちの、１つまたは複数に適用可能であり得る。
[0026]ＨＥＶＣは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。ＨＥＶＣにおける予測のユニットは、いくつかの前のビデオコーディング規格におけるユニット（たとえば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、いくつかの前のビデオコーディング規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、他の考えられる利益の中でも高いフレキシビリティを与え得る、４分木方式に基づく階層構造と置き換えられる。たとえば、ＨＥＶＣ方式内で、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ：Prediction Unit）、および変換ユニット（ＴＵ：Transform Unit）という３つのタイプのブロックが定義される。ＣＵは領域分割の基本ユニットを指すことがある。ＣＵはマクロブロックの概念に類似すると見なされ得るが、それは、最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割（recursive splitting）を可能にし得る。ＰＵはインター／イントラ予測の基本ユニットと見なされ得、それは、不規則な画像パターンを効果的にコーディングするために、単一のＰＵ中に複数の任意の形状区分を含み得る。ＴＵは変換の基本ユニットと見なされ得る。ＴＵはＰＵとは無関係に定義され得るが、ＴＵのサイズはＴＵが属するＣＵに制限されることがある。３つの異なる概念へのブロック構造のこの分離は、各々がそれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。
[0027]単に説明の目的で、本明細書で開示するいくつかの実施形態について、２つのレイヤのみ（たとえば、ベースレイヤなどの下位レイヤ、およびエンハンスメントレイヤなどの上位レイヤ）を含む例を用いて説明する。そのような例が複数のベースレイヤおよび／またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。しかしながら、これらの用語は、限定的であることを意味しない。たとえば、以下で説明する技法は、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなど、任意の適切なビデオユニットとともに使用され得る。
ビデオコーディング規格
[0028]ビデオ画像、ＴＶ画像、静止画像、またはビデオレコーダもしくはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像伝送を不可能にさせるほど非常に大きい。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧおよびＨ．２６３規格など、いくつかの異なる圧縮方法が開発された。
[0029]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアルと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。
[0030]さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓらの、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）Ｔｅｘｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｒａｆｔ １０」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。ＨＥＶＣへのマルチビュー拡張、すなわち、ＭＶ−ＨＥＶＣ、およびＳＨＶＣと名付けられたＨＥＶＣへのスケーラブル拡張も、ＪＣＴ−３Ｖ（ＩＴＵ−Ｔ／ＩＳＯ／ＩＥＣジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発）およびＪＣＴ−ＶＣによって、それぞれ開発されている。
[0031]新規のシステム、装置、および方法の様々な態様は、これ以降、添付図面を参照しながら、より十分に説明される。しかしながら、本開示は、多くの異なる形態で実施可能であり、本開示の全体を通して示される任意の特定の構造または機能に限定されるものと解釈されるべきでない。むしろ、本開示が、入念で完全であり、本開示の範囲を当業者に十分に伝達するように、これらの態様が提供される。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される任意の数の態様を使用して装置が実装されてよく、または方法が実施されてもよい。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する任意の態様は、特許請求の範囲の１つまたは複数の要素により実施されてもよいことを理解されたい。
[0032]特定の態様が本明細書で説明されるが、これらの態様の多くの変形および並べ替えは、本開示の範囲内に属する。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利点、使用、または目的に限定されることを意図しない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能なものであり、そのうちのいくつかが図面および好ましい態様の以下の説明において例として示される。詳細な説明および図面は、限定的でなく、本開示の単に例示であり、本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
[0033]添付の図面は、例を示す。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（ordinal words ）（たとえば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの、異なる要素を指すために使用されるにすぎない。
ビデオコーディングシステム
[0034]図１Ａは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0035]図１Ａに示すように、ビデオコーディングシステム１０は、宛先モジュール１４によって後で復号されるべき符号化ビデオデータ（encoded video data）を生成するソースモジュール１２を含む。図１Ａの例では、ソースモジュール１２および宛先モジュール１４は別個のデバイス上にある− 詳細には、ソースモジュール１２はソースデバイスの部分であり、宛先モジュール１４は宛先デバイスの部分である。しかしながら、ソースおよび宛先モジュール１２、１４が、図１Ｂの例に示すように、同じデバイス上にあってもよく、または同じデバイスの部分であってもよいことに留意されたい。
[0036]もう一度図１Ａを参照すると、ソースモジュール１２および宛先モジュール１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースモジュール１２および宛先モジュール１４はワイヤレス通信のために装備され得る。
[0037]宛先モジュール１４は、リンク１６を介して、復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースモジュール１２から宛先モジュール１４に符号化ビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。図１Ａの例では、リンク１６は、ソースモジュール１２が、符号化ビデオデータをリアルタイムで宛先モジュール１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され得、宛先モジュール１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースモジュール１２から宛先モジュール１４への通信を容易にするために有用であり得る、任意の他の機器を含み得る。
[0038]代替的に、符号化データは出力インターフェース２２から、随意の記憶デバイス３１に出力され得る。同様に、符号化データは、入力インターフェース２８によって記憶デバイス３１からアクセスされ得る。記憶デバイス３１は、ハードドライブ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたは局所的にアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス３１は、ソースモジュール１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに相当し得る。宛先モジュール１４は、記憶されているビデオデータに、記憶デバイス３１からストリーミングまたはダウンロードを介してアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することができ、その符号化ビデオデータを宛先モジュール１４に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ（たとえば、ウェブサイトのための）、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、または局所的なディスクドライブを含む。宛先モジュール１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。記憶デバイス３１からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはその両方の組合せであり得る。
[0039]本開示の技法は、ワイヤレスの用途または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信（たとえば、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話などの用途をサポートするために、単方向または双方向のビデオ送信をサポートするように構成され得る。
[0040]図１Ａの例では、ソースモジュール１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースモジュール１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのようなソース、またはそのようなソースの組合せを含み得る。一例として、図１Ｂの例に示すように、ビデオソース１８がビデオカメラである場合、ソースモジュール１２および宛先モジュール１４は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。しかしながら、本開示に記載される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスアプリケーションおよび／または有線アプリケーションに適用され得る。
[0041]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースモジュール１２の出力インターフェース２２を介して、宛先モジュール１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先モジュール１４または他のデバイスによる後のアクセスのために、記憶デバイス３１に記憶され得る。
[0042]図１Ａの例では、宛先モジュール１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先モジュール１４の入力インターフェース２８は、符号化ビデオデータを、リンク１６を介して受信し得る。リンク１６を介して通信され、または記憶デバイス３１上に提供された符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０などのビデオデコーダによる使用のために、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体に記憶されるか、またはファイルサーバに記憶される符号化ビデオデータに含まれ得る。
[0043]ディスプレイデバイス３２は、宛先モジュール１４と一体化されるか、またはその外部にあり得る。いくつかの例では、宛先モジュール１４は、一体型ディスプレイデバイスを含み得、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先モジュール１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータ（decoded video data）をユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0044]関係する態様では、図１Ｂは、例示的なビデオ符号化および復号システム１０’を示し、ここにおいて、ソースおよび宛先モジュール１２、１４は、デバイスまたはユーザデバイス１１上にあり、またはその部分である。デバイス１１は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス１１は、ソースおよび宛先モジュール１２、１４と動作可能に通信している、随意のコントローラ／プロセッサモジュール１３を含み得る。図１Ｂのシステム１０’は、ビデオエンコーダ２０と出力インターフェース２２との間にビデオ処理ユニット２１をさらに含み得る。いくつかの実装形態では、ビデオ処理ユニット２１は、図１Ｂに示すように、別個のユニットであるが、他の実施態様では、ビデオ処理ユニット２１は、ビデオエンコーダ２０および／またはプロセッサ／コントローラモジュール１３の部分として実装され得る。システム１０’は、また、ビデオシーケンスの中で対象のオブジェクト（an object of interest）を追跡することができる、随意のトラッカー２９を含み得る。追跡されるべき対象のオブジェクトは、本開示の１つまたは複数の態様に関して説明する技法によって、セグメント化され得る。関係する態様では、追跡することは、ディスプレイデバイス３２によって単独で、またはトラッカー２９と一緒に実行され得る。図１Ｂのシステム１０’およびそれの構成要素は、図１Ａのシステム１０およびそれの構成要素と場合によっては類似である。
[0045]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ：a HEVC Test Model）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他の独自の規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３を含む。
[0046]図１Ａおよび図１Ｂの例に示されないが、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびオーディオデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0047]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し得、本開示の技法を実行するために、１つまたは複数のプロセッサを使用して、命令をハードウェアで実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
ビデオコーディングプロセス
[0048]上記で簡略に述べられたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは、１つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像（a still image）である。いくつかの事例では、ピクチャは、ビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０は、ビットストリームを生成し得る。ビットストリームは、ビデオデータのコーディングされた表現を形成する、ビットのシーケンスを含み得る。ビットストリームは、コーディングされたピクチャと、関連するデータとを含み得る。コーディングされたピクチャは、ピクチャのコーディングされた表現である。
[0049]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算（encoding operations）を実行し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ２０は、一連のコーディングされたピクチャと関連するデータとを生成し得る。関連するデータは、ビデオパラメータセット（ＶＰＳ：video parameter set）と、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット（ＳＰＳ：sequence parameter set）は、ピクチャの０個以上のシーケンスに適用可能なパラメータを含み得る。ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、０個または複数のピクチャに適用可能なパラメータを含み得る。適応パラメータセット（ＡＰＳ：adaptation parameter set）は、０個または複数のピクチャに適用可能なパラメータを含み得る。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。
[0050]コーディングされたピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々は、ツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣのような従来の規格のマクロブロックに、広い意味で類似し得る。しかしながら、ツリーブロックは、特定のサイズに必ずしも限定されず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。ビデオエンコーダ２０は、ツリーブロックのビデオブロックを、ＣＵに関連付けられるビデオブロックに区分するために、４分木区分を使用し得、したがって、「ツリーブロック」という名前である。
[0051]いくつかの例では、ビデオエンコーダ２０は、ピクチャを複数のスライスに区分し得る。スライスの各々は、整数個のＣＵを含み得る。いくつかの事例では、スライスは、整数個のツリーブロックを備える。他の事例では、スライスの境界は、ツリーブロック内にあり得る。
[0052]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは、「コーディングされたスライス（coded slice）」と呼ばれることがある。
[0053]コーディングされたスライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ２０は、コーディングされたツリーブロックを生成し得る。コーディングされたツリーブロックは、ツリーブロックの符号化されたバージョンを表すデータを備え得る。
[0054]ビデオエンコーダ２０がコーディングされたスライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序（a raster scan order）に従って、スライス中のツリーブロックに対して符号化演算を実行（たとえば、符号化）し得る。たとえば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。
[0055]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成される情報にアクセスできないことがある。
[0056]コーディングされたツリーブロックを生成するために、ビデオエンコーダ２０は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロック上で４分木区分を再帰的に実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し得、サブブロックのうちの１つまたは複数を４つの等しいサイズのサブサブブロック（sub-sub-blocks）に区分し得、以下同様である。区分されたＣＵは、ＣＵのビデオブロックが他のＣＵに関連付けられたビデオブロックに区分されているそのＣＵであり得る。区分されていないＣＵは、ＣＵのビデオブロックが他のＣＵに関連付けられたビデオブロックに区分されていないそのＣＵであり得る。
[0057]ビットストリーム中の１つまたは複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（たとえば、ＣＵのサイズ）は、８×８のピクセルから、最大で６４×６４以上のピクセルを有するツリーブロックのビデオブロックのサイズ（たとえば、ツリーブロックのサイズ）までわたり得る。
[0058]ビデオエンコーダ２０は、ｚ走査順序（a z-scan order）に従って、ツリーブロックの各ＣＵに対して符号化演算を実行（たとえば、符号化）し得る。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、区分されているＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、区分されているＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。
[0059]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、および左下のＣＵは符号化されていることがある。所与のＣＵの下または右のＣＵはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接するいくつかのＣＵを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成される情報にアクセスできないことがある。
[0060]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵに対する１つまたは複数の予測ユニット（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵに対して予測ビデオブロック（a predicted video block）を生成し得る。ＰＵの予測ビデオブロックは、サンプルのブロックであり得る。ビデオエンコーダ２０は、ＰＵのための予測ビデオブロックを生成するために、イントラ予測またはインター予測を使用し得る。
[0061]ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプル（decoded samples）に基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにイントラ予測を使用する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにインター予測を使用する場合、ＣＵはインター予測されたＣＵである。
[0062]さらに、ビデオエンコーダ２０がＰＵのための予測ビデオブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵのための動き情報を生成し得る。ＰＵのための動き情報は、ＰＵの１つまたは複数の参照ブロックを示し得る。ＰＵの各参照ブロックは、参照ピクチャ内のビデオブロックであり得る。参照ピクチャは、ＰＵに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、ＰＵの参照ブロックは、ＰＵの「参照サンプル（reference sample）」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。
[0063]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵに対する残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの差を示し得る。
[0064]さらに、区分されていないＣＵに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ＣＵの残差データを、ＣＵの変換ユニット（ＴＵ）に関連付けられた残差データの１つまたは複数のブロック（たとえば、残差ビデオブロック）に区分するために、ＣＵの残差データに対して再帰的な４分木区分を実行し得る。ＣＵの各ＴＵは、異なる残差ビデオブロックに関連付けられ得る。
[0065]ビデオコーダ２０は、ＴＵに関連付けられた変換係数ブロック（たとえば、変換係数のブロック）を生成するために、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは、変換係数の２次元（２Ｄ）行列であり得る。
[0066]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現する、プロセスを指す。量子化プロセスは、変換係数の一部または全部に関連するビット深度（bit depth）を低減し得る。たとえば、量子化中に、ｎビット変換係数はｍビット変換係数に切り捨てられ得、ここで、ｎはｍよりも大きい。
[0067]ビデオエンコーダ２０は、各ＣＵを、量子化パラメータ（ＱＰ）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。
[0068]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロックの中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コーディング（ＣＡＶＬＣ：content adaptive variable length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。
[0069]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットを含み得る。ＮＡＬユニットの各々は、ＮＡＬユニット中のデータのタイプの指示と、データを含むバイトとを含む、シンタックス構造であり得る。たとえば、ＮＡＬユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コーディングされたスライス、補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）、アクセスユニット区切り文字（an access unit delimiter）、フィラーデータ（filler data）、または別のタイプのデータを表すデータ、を含み得る。ＮＡＬユニット中のデータは、様々なシンタックス構造を含み得る。
[0070]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコーディングされた表現を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、ビデオデコーダ３０は、ビットストリームに対して構文解析動作（a parsing operation）を実行し得る。ビデオデコーダ３０が構文解析動作を実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスの逆であり得る。
[0071]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。さらに、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実行し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックおよび残差ビデオブロックに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。
ビデオエンコーダ
[0072]図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ２０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、予測処理ユニット１００は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。別の実施形態では、ビデオエンコーダ２０は、本開示で説明する技法のいずれかまたはすべてを実行するように構成された随意のレイヤ間予測ユニット１２８を含む。他の実施形態では、レイヤ間予測は、予測処理ユニット１００（たとえば、インター予測ユニット１２１および／またはイントラ予測ユニット１２６）によって実行され得、その場合、レイヤ間予測ユニット１２８は省略され得る。しかしながら、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。
[0073]説明の目的で、本開示は、ＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図２Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図２Ｂに関してさらに説明するように、ビデオエンコーダ２０の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。
[0074]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレーム内またはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを参照し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを参照し得る。
[0075]図２Ａの例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多いか、より少ないか、または異なる機能構成要素を含み得る。さらに、動き推定ユニット１２２および動き補償ユニット１２４は、高度に統合され得るが、図２Ａの例では、説明の目的で別々に表されている。
[0076]ビデオエンコーダ２０は、ビデオデータを受信し得る。ビデオエンコーダ２０は、様々なソースからビデオデータを受信し得る。たとえば、ビデオエンコーダ２０は、ビデオソース１８（たとえば、図１Ａまたは図１Ｂに示す）または別のソースからビデオデータを受信し得る。ビデオデータは、一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算（an encoding operation）を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。
[0077]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して４分木区分（quadtree partitioning）を実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し得、サブブロックのうちの１つまたは複数を４つの等しいサイズのサブサブブロックに区分し得、以下同様である。
[0078]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大で６４×６４サンプル以上のツリーブロックのサイズにまでわたり得る。本開示では、「Ｎ×Ｎ」および「Ｎ ｂｙ Ｎ」は、垂直方向の寸法および水平方向の寸法（dimensions）に関するビデオブロックのサンプルの寸法、たとえば、１６×１６サンプルまたは１６ ｂｙ １６サンプルを指すために、互換的に使用され得る。一般に、１６×１６のビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎのブロックは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値（a nonnegative integer value）を表す。
[0079]さらに、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロック用の階層的な４分木データ構造（a hierarchical quadtree data structure）を生成し得る。たとえば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。
[0080]４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのシンタックスデータ（たとえば、シンタックス要素）を含み得る。たとえば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分（partitioned）（たとえば、分割（split)）されているかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されているかどうかに依存し得る。ビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コーディングされたツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。
[0081]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実行し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化演算を実行すると、ビデオエンコーダ２０は、区分されていないＣＵの符号化された表現を表すデータを生成する。
[0082]ＣＵに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、または同様の対称ＰＵサイズでのインター予測と、をサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮというＰＵサイズに対する非対称区分もサポートし得る。いくつかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分を実行し得る。
[0083]インター予測ユニット１２１は、ＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は、時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２は、ＰＵのための動き情報を生成し得る。動き補償ユニット１２４は、動き情報およびＣＵに関連付けられたピクチャ以外のピクチャ（たとえば、参照ピクチャ）の復号サンプルに基づいてＰＵのための、予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成される予測ビデオブロックは、インター予測ビデオブロック（an inter-predicted video block）と呼ばれることがある。
[0084]スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵがＩスライス中にあるのか、Ｐスライス中にあるのか、それともＢスライス中にあるのかに応じて、ＣＵのＰＵのための異なる演算（different operations）を実行し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。
[0085]ＰＵがＰスライス中にある場合、ＰＵを含むピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含む。動き推定ユニット１２２が、Ｐスライス中のＰＵに関して動き推定演算（motion estimation operation）を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット１２２は、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリックを使用し得る。たとえば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。
[0086]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位（a spatial displacement）を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は、動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、または他の分数のサンプル精度（fractional sample precision）で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0087]ＰＵがＢスライス中にある場合、ＰＵを含むピクチャは、「リスト０」および「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含むピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。
[0088]さらに、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵのための単方向予測または双方向予測を実行し得る。動き推定ユニット１２２が、ＰＵのための単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０またはリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０またはリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すのか、それともリスト１中の参照ピクチャを示すのかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0089]動き推定ユニット１２２が、ＰＵのための双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０およびリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、ＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0090]いくつかの事例では、動き推定ユニット１２２は、ＰＵのための動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報をシグナリングし得る。たとえば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：a motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの差分を示す。ビデオデコーダ３０は、ＰＵの動きベクトルを決定するために、示された隣接ＰＵの動きベクトルと、動きベクトル差分とを使用し得る。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報をシグナリングすることが可能であり得る。
[0091]図７Ａおよび図７Ｂを参照しながら以下でさらに説明するように、予測処理ユニット１００は、図７Ａおよび図７Ｂに示される方法を実行することによって、ＰＵ（または他の参照レイヤおよび／またはエンハンスメントレイヤのブロック（enhancement layer blocks）またはビデオユニット）をコーディング（たとえば、符号化または復号）するように構成され得る。たとえば、（たとえば、動き推定ユニット１２２および／または動き補償ユニット１２４を介した）インター予測ユニット１２１、イントラ予測ユニット１２６、またはレイヤ間予測ユニット１２８は、一緒にまたは別々に、図７Ａおよび図７Ｂに示される方法を実行するように構成され得る。
[0092]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は、空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実行し得る。
[0093]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、ＰＵのための予測データの複数のセットを生成するための、複数のイントラ予測モードを使用し得る。イントラ予測ユニット１２６がＰＵのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット１２６は、イントラ予測モードと関連する方向および／または勾配（gradient）で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、およびツリーブロックについて左から右、上から下の符号化順序（encoding order）を仮定すると、ＰＵの上、右上、左上、または左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モード（33 directional intra prediction modes）を使用し得る。
[0094]予測処理ユニット１００は、動き補償ユニット１２４によってＰＵのために生成された予測データ、またはイントラ予測ユニット１２６によってＰＵのために生成された予測データの中から、ＰＵのための予測データを選択し得る。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみメトリック（rate/distortion metrics）に基づいて、ＰＵのための予測データを選択する。
[0095]予測処理ユニット１００が、イントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵのための予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モード、をシグナリングし得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在のＰＵに対して最確モード（the most probable mode）であり得る。したがって、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すためのシンタックス要素を生成し得る。
[0096]上記で説明したように、ビデオエンコーダ２０は、レイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在のブロック（たとえば、ＥＬ中の現在のブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在のブロックを予測するために、ベースレイヤの中でコロケートされているブロック（co-located blocks）の再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測方式の各々について、以下でより詳細に説明する。
[0097]予測処理ユニット１００がＣＵのＰＵのための予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（たとえば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。たとえば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。
[0098]予測処理ユニット１００は、ＣＵの残差ビデオブロックをサブブロックに区分するために、４分木区分を実行し得る。分割されていない各残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられる残差ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられるビデオブロックのサイズおよび位置に基づいてもよく、または基づかなくてもよい。「残差４分木（residual quad tree）」（ＲＱＴ）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴのリーフノードに対応し得る。
[0099]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向変換（a directional transform）、または概念的に類似の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。
[00100]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。
[00101]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。たとえば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対して、レートひずみ分析を実行し得る。レートひずみ分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコーディングされた表現を生成し得る。ビデオエンコーダ２０が、ツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。最小のビットレートおよびひずみメトリックを有するツリーブロックのコーディングされた表現で所与のＱＰ値がＣＵに関連付けられるとき、ビデオエンコーダ２０は、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。
[00102]逆量子化ユニット１０８および逆変換ユニット１１０は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、逆量子化と逆変換とを変換係数ブロックに適用し得る。再構成ユニット１１２は、ＴＵに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ビデオブロックからの対応するサンプルに追加し得る。このようにＣＵの各ＴＵについてビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。
[00103]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するために、デブロッキング演算を実行し得る。１つまたは複数のデブロッキング演算を実行した後、フィルタユニット１１３は、ＣＵの再構成されたビデオブロックを復号ピクチャバッファ１１４に記憶し得る。動き推定ユニット１２２および動き補償ユニット１２４は、後続のピクチャのＰＵに対してインター予測を実行するために、再構成されたビデオブロックを含む参照ピクチャを使用し得る。さらに、イントラ予測ユニット１２６は、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行するために、復号ピクチャバッファ１１４の中の再構成されたビデオブロックを使用し得る。
[00104]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信するとき、エントロピー符号化ユニット１１６は、エントロピー符号化データを生成するために、１つまたは複数のエントロピー符号化演算を実行し得る。たとえば、ビデオエンコーダ２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ）コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化データを含むビットストリームを出力し得る。
[00105]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン（bin）」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。
マルチレイヤビデオエンコーダ
[00106]図２Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ２１の一例を示すブロック図である。ビデオエンコーダ２１は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ２１は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。
[00107]ビデオエンコーダ２１はビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々はビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａおよび２０Ｂは、ビデオエンコーダ２０としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオエンコーダ２１は、２つのビデオエンコーダ２０Ａと２０Ｂとを含むように示されるが、ビデオエンコーダ２１は、そのように限定されず、任意の数のビデオエンコーダ２０のレイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ２１は、アクセスユニット中の各ピクチャまたはフレームについてビデオエンコーダ２０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのエンコーダレイヤを含むビデオエンコーダによって処理または符号化され得る。いくつかの実施形態では、ビデオエンコーダ２１は、アクセスユニット中のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのような場合では、ビデオエンコーダのレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[00108]ビデオエンコーダ２０Ａおよび２０Ｂに加えて、ビデオエンコーダ２１は、リサンプリングユニット（an resampling unit）９０を含み得る。リサンプリングユニット９０は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングし得るが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット９０は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウント（picture order count）は一定のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあり、および／または随意であり得る。たとえば、場合によっては、予測処理ユニット１００は、アップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングし、スライス境界ルール（slice boundary rules）および／またはラスタ走査ルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整するように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０は、レイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が低減した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。
[00109]リサンプリングユニット９０は、下位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ａ）の復号ピクチャバッファ１１４からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセスユニット中のピクチャを符号化するように構成された、上位レイヤエンコーダ（たとえば、ビデオエンコーダ２０Ｂ）の予測処理ユニット１００に供給され得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから除去された１つのレイヤエンコーダである。他の場合には、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に、１つまたは複数の上位レイヤエンコーダがあり得る。
[00110]場合によっては、リサンプリングユニット９０は、省略またはバイパスされ得る。そのような場合、ビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からのピクチャは、直接、または少なくともリサンプリングユニット９０に供給されずに、ビデオエンコーダ２０Ｂの予測処理ユニット１００に供給され得る。たとえば、ビデオエンコーダ２０Ｂに供給されたビデオデータ、およびビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、いかなるリサンプリングも伴わずにビデオエンコーダ２０Ｂに供給され得る。
[00111]いくつかの実施形態では、ビデオエンコーダ２１は、ビデオエンコーダ２０Ａにビデオデータを供給する前に、ダウンサンプリングユニット９４を使用して下位レイヤエンコーダに供給されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。
[00112]図２Ｂに示すように、ビデオエンコーダ２１は、マルチプレクサ９８、またはｍｕｘをさらに含み得る。ｍｕｘ９８は、ビデオエンコーダ２１からの合成ビットストリーム（a combined bitstream）を出力することができる。合成ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、２つの（または、３つ以上のビデオエンコーダレイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成される。たとえば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ２０Ａおよび２０Ｂの各々からの非１：１比のブロックを出力することによって作成され得る。たとえば、ビデオエンコーダ２０Ａから出力される各ブロックに対して２つのブロックがビデオエンコーダ２０Ｂから出力され得る。いくつかの実施形態では、ｍｕｘ９８からの出力ストリームは、プリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、ソースモジュール１２を含むソースデバイス上のプロセッサからなど、ビデオエンコーダ２１の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオソース１８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション（a paid subscription versus a free subscription））に基づいて、またはビデオエンコーダ２１からの望まれる解像度出力を決定するための任意の他のファクタに基づいて生成され得る。
ビデオデコーダ
[00113]図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ３０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、動き補償ユニット１６２および／またはイントラ予測ユニット１６４は、本開示で説明する技法のうちのいずれかまたはすべてを実行するように構成され得る。一実施形態では、ビデオデコーダ３０は、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたレイヤ間予測ユニット１６６を随意に含み得る。他の実施形態では、レイヤ間予測は、予測処理ユニット１５２（たとえば、動き補償ユニット１６２および／またはイントラ予測ユニット１６４）によって実行され得、その場合、レイヤ間予測ユニット１６６は省略され得る。しかしながら、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。
[00114]説明の目的で、本開示は、ＨＥＶＣコーディングのコンテキストにおいてビデオデコーダ３０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。図３Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図３Ｂに関してさらに説明するように、ビデオデコーダ３０の一部または全部は、マルチレイヤコーデックの処理のために複製され得る。
[00115]図３Ａの例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。いくつかの例では、ビデオデコーダ３０は、図２Ａのビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。他の例では、ビデオデコーダ３０は、より多いか、より少ないか、または異なる機能構成要素を含み得る。
[00116]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは、複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信したとき、エントロピー復号ユニット１５０は、ビットストリームに対して構文解析動作を実行し得る。ビットストリームに対して構文解析動作を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化シンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、およびフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。
[00117]上記で説明したように、ビットストリームは、一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、ビデオパラメータセットＮＡＬユニット、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニットなどを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬユニットからのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬユニットからのピクチャパラメータセット、ＳＥＩ ＮＡＬユニットからのＳＥＩデータなどを抽出しエントロピー復号する、構文解析動作を実行し得る。
[00118]さらに、ビットストリームのＮＡＬユニットは、コーディングされたスライスＮＡＬユニットを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、コーディングされたスライスＮＡＬユニットからコーディングされたスライスを抽出しエントロピー復号する、構文解析動作を実行し得る。コーディングされたスライスの各々は、スライスヘッダと、スライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、スライスヘッダを復元するために、コーディングされたスライスヘッダ中のシンタックス要素に対してＣＡＢＡＣ復号演算などのエントロピー復号演算を実行し得る。
[00119]コーディングされたスライスのＮＡＬユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコーディングされたＣＵからシンタックス要素を抽出する構文解析動作を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちのいくつかに対してＣＡＢＡＣ復号演算を実行し得る。
[00120]エントロピー復号ユニット１５０が、区分されていないＣＵに対して構文解析動作を実行した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成演算を実行し得る。区分されていないＣＵに対して再構成演算を実行するために、ビデオデコーダ３０は、ＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。
[00121]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆量子化（inverse quantize）、たとえば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣのために提案された、またはＨ．２６４復号規格によって定義された逆量子化処理と同様の方法で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。
[00122]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換（an inverse rotational transform）、逆方向変換（an inverse directional transform）、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。
[00123]いくつかの例では、動き補償ユニット１６２は、補間フィルタに基づいて補間を実行することによって、ＰＵの予測ビデオブロックを改良し（refine）得る。サブサンプル精度（sub-sample precision）を有する動き補償のために使用されるべき補間フィルタ用の識別子は、シンタックス要素に含まれ得る。動き補償ユニット１６２は、参照ブロックのサブ整数サンプル（sub-integer samples）についての補間値（interpolated values）を計算するために、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し得、予測ビデオブロックを生成するためにその補間フィルタを使用し得る。
[00124]図７Ａおよび図７Ｂを参照しながら以下でさらに説明するように、予測処理ユニット１５２は、図７Ａおよび図７Ｂに示される方法を実行することによって、ＰＵ（または他の参照レイヤおよび／またはエンハンスメントレイヤのブロックまたはビデオユニット）をコーディング（たとえば、符号化または復号）し得る。たとえば、動き補償ユニット１６２、イントラ予測ユニット１６４、またはレイヤ間予測ユニット１６６は、一緒にまたは別々に、図７Ａおよび図７Ｂに示される方法を実行するように構成され得る。
[00125]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。
[00126]いくつかの事例では、シンタックス要素は、イントラ予測ユニット１６４が現在のＰＵのイントラ予測モードを決定するために別のＰＵのイントラ予測モードを使用するべきであることを、示し得る。たとえば、現在のＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在のＰＵに対して最確モードであり得る。したがって、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、空間的に隣接するＰＵのビデオブロックに基づいてＰＵのための予測データ（たとえば、予測サンプル（predicted samples））を生成するために、イントラ予測モードを使用し得る。
[00127]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在のブロック（たとえば、ＥＬ中の現在のブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在のブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測方式の各々について、以下でより詳細に説明する。
[00128]再構成ユニット１５８は、ＣＵのビデオブロックを再構成するために、ＣＵのＴＵに関連付けられた残差ビデオブロックおよびＣＵのＰＵの予測ビデオブロック、たとえば、適用可能なとき、イントラ予測データまたはインター予測データのいずれか、を使用し得る。したがって、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。
[00129]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。フィルタユニット１５９が、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実行した後、ビデオデコーダ３０は、ＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、次の動き補償、イントラ予測、および図１Ａまたは図１Ｂのディスプレイデバイス３２などのディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６０の中のビデオブロックに基づいて、他のＣＵのＰＵに対して、イントラ予測動作またはインター予測動作を実行し得る。
マルチレイヤデコーダ
[00130]図３Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ３１の一例を示すブロック図である。ビデオデコーダ３１は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ３１は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。
[00131]ビデオデコーダ３１は、ビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々はビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａおよび３０Ｂは、ビデオデコーダ３０としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオデコーダ３１は、２つのビデオデコーダ３０Ａと３０Ｂとを含むように示されるが、ビデオデコーダ３１は、そのように限定されず、任意の数のビデオデコーダ３０のレイヤを含み得る。いくつかの実施形態では、ビデオデコーダ３１は、アクセスユニット中の各ピクチャまたはフレームについてビデオデコーダ３０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つのデコーダレイヤを含むビデオデコーダによって処理または復号され得る。いくつかの実施形態では、ビデオデコーダ３１は、アクセスユニット中のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのような場合では、ビデオデコーダのレイヤのうちのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[00132]ビデオデコーダ３０Ａおよび３０Ｂに加えて、ビデオデコーダ３１は、アップサンプリングユニット９２を含み得る。いくつかの実施形態では、アップサンプリングユニット９２は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは、復号ピクチャバッファ１６０に記憶され得る。いくつかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングし、スライス境界ルールおよび／またはラスタ走査ルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整するように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリングおよび／またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。
[00133]アップサンプリングユニット９２は、下位レイヤデコーダ（たとえば、ビデオデコーダ３０Ａ）の復号ピクチャバッファ１６０からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセスユニット中のピクチャを復号するように構成された、上位レイヤデコーダ（たとえば、ビデオデコーダ３０Ｂ）の予測処理ユニット１５２に供給され得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから除去された１つのレイヤである。他の場合には、図３Ｂのレイヤ０デコーダとレイヤ１デコーダとの間に、１つまたは複数の上位レイヤデコーダがあり得る。
[00134]場合によっては、アップサンプリングユニット９２は、省略またはバイパスされ得る。そのような場合、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接、または少なくともアップサンプリングユニット９２に供給されずに、ビデオデコーダ３０Ｂの予測処理ユニット１５２に供給され得る。たとえば、ビデオデコーダ３０Ｂに供給されたビデオデータ、およびビデオデコーダ３０Ａの復号ピクチャバッファ１６０からの参照ピクチャが、同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングを伴わずにビデオデコーダ３０Ｂに供給され得る。さらに、いくつかの実施形態では、アップサンプリングユニット９２は、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０から受信された参照ピクチャを、アップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。
[00135]図３Ｂに示すように、ビデオデコーダ３１は、デマルチプレクサ９９、またはｄｅｍｕｘをさらに含み得る。ｄｅｍｕｘ９９は、符号化ビデオビットストリームを複数のビットストリームに分割することができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは、異なるビデオデコーダ３０Ａおよび３０Ｂに供給される。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａおよび３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオデコーダの各々（たとえば、図３Ｂの例ではビデオデコーダ３０Ａおよび３０Ｂ）の間で、一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、非１：１比のブロックによって、ビデオデコーダ３０Ａおよび３０Ｂの各々に分割され得る。たとえば、ビデオデコーダ３０Ａに供給される各ブロックに対して２つのブロックがビデオデコーダ３０Ｂに供給され得る。いくつかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割は、プリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先モジュール１４を含む宛先デバイス上のプロセッサからなど、ビデオデコーダ３１の外部のシステムから受信された制御信号に基づいて、ビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオデコーダ３１によって取得可能な解像度を決定するための任意の他のファクタに基づいて生成され得る。
解像度変更
[00136]現在のＨＥＶＣ拡張のドラフトでは、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇと呼ばれるビデオパラメータシーケンス（ＶＰＳ：a video parameter sequence）のシンタックス要素は、次のように定義される。「１に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、アクセスユニットのすべてのＶＣＬ ＮＡＬユニットが同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有すること、または、２つのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値がアクセスユニットのＶＣＬ ＮＡＬユニットによって使用され、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値がより大きいピクチャがＩＲＡＰピクチャであることの、いずれかを示す。０に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が、この勧告｜国際規格の他の部分で規定される制約を越えて制約されることもあり、または制約されないこともあることを示す。」いくつかの実施形態では、本明細書で説明する技法は、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、単に適用され得る。
[00137]一般に、コーディングされたビデオデータは、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに編成され、その各々は、事実上、整数個のバイトを含むパケットである。ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットは、コーディングされたビデオデータの中にあるビデオピクチャのサンプル値を含む。アクセスユニット（ＡＵ）は、同時に表示されるべきピクチャ（たとえば、同じピクチャ順序カウントを有するピクチャ）に関連付けられたＶＣＬ ＮＡＬユニットのセットである。したがって、たとえば、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しい場合、アクセスユニットの中のすべてのピクチャが同じレイヤ（たとえば、現在のレイヤ）に由来すること、またはピクチャが２つの異なるレイヤに属し、上位レイヤの中のピクチャがイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャであることの、いずれかである。アクセスユニットの中に２つのピクチャ、参照レイヤまたは下位レイヤからの一方およびエンハンスメントレイヤからの他方がある場合、上位レイヤからのエンハンスメントレイヤのピクチャはＩＲＡＰピクチャであることになる。一例では、エンハンスメントレイヤのピクチャは、その参照レイヤより高解像度のピクチャを有する。したがって、このフラグ（または、他の類似のフラグ）は、あるレイヤから別のレイヤへの切替えをシグナリングまたは識別するために使用され得る。
解像度変更のアプリケーション
[00138]そのような切替えは、解像度変更（たとえば、低解像度から高解像度への、または高解像度から低解像度への）に付随して起こり得る。上記で説明したように、そのような解像度変更のための１つのアプリケーションは、ビデオデータを処理するビデオアプリケーション（たとえば、ビデオ会議のアプリケーション、動画ストリーミングのアプリケーションなどの）に関し得る。ビデオアプリケーションがビデオストリームを処理するとき、ビデオアプリケーションは、帯域幅の状態に応じて、（たとえば、低解像度ピクチャが処理および表示される）低解像度モードと（たとえば、高解像度ピクチャが処理および表示される）高解像度モードの間で切り替え得る。帯域幅が最初に高解像度ストリーミングをサポートできない場合、アプリケーションは、ビデオストリームを低解像度モードで処理し得、帯域幅が改善されたとき、アプリケーションは、より高品質のビデオを表示できるように高解像度モードへ切り替え得る。
[00139]一実施形態では、解像度変更は、ビデオアプリケーションによって起動され得る。代替的に、ユーザは、解像度変更を起動することに決め得る。解像度変更は、帯域幅の状態などの他のファクタに基づいて、自動的に起こり得る。いくつかの実施形態では、解像度変更が要求または起動された時間と、コーダが解像度の異なるピクチャをコーディングすることへ実際に切り替える時間との間に遅延が存在する。一例では、コーダは、解像度変更が発生すること、および／または解像度変更がいつ起こるのかを、あらかじめ知っている。
異なるレイヤへの切替え
[00140]解像度変更は、２つ以上のビデオレイヤが関係することを必ずしも意味するとは限らない。たとえば、ＨＥＶＣは、単一のレイヤ内の解像度変更を可能にする。しかしながら、そのような場合には、ピクチャの解像度を変更すると、新しいＣＶＳが開始され、コーダ（たとえば、エンコーダまたはデコーダ）は、Ｉフレームから開始する。したがって、コーダは、コーディング効率を改善するために、前にコーディングされたいかなるピクチャにも依拠することができない。解像度変更があるときに異なるレイヤへ切り替えることによって、コーダは、前に復号された下位レイヤのピクチャへのアクセスを依然として有し得、場合によっては上位レイヤの中のピクチャのうちの少なくとも１つをコーディングするためにレイヤ間予測を使用し得、それによって、コーディング効率を改善する。また、（たとえば、全ベースレイヤと全エンハンスメントレイヤとをコーディングすることによって）表示されるべきでない他のピクチャをコーディングすることをやめることによって、コーディング効率は、また、改善される。下位レイヤから上位レイヤへの切替えは、図４を参照しながらさらに説明される。
[00141]図４は、ベースレイヤのピクチャ４０２、４０４、４０６、および４０８、ならびにエンハンスメントレイヤのピクチャ４１２、４１４、４１６、および４１８を示す。この例では、矢印は、この場合には表示順序と同じである復号順序を示す。たとえば、図４に示すピクチャのうちの、ベースレイヤのピクチャ４０２は表示されるべき最初のピクチャであり、エンハンスメントレイヤのピクチャ４１８は表示されるべき最後のピクチャである。ベースレイヤのピクチャ４０８からエンハンスメントレイヤのピクチャ４１２へ矢印が上方へ指し示す切替え点において、ピクチャが同じアクセスユニットに属し、したがって同じ時間に対応するので、２つのピクチャのうちの一方のみが表示される。たとえば、エンハンスメントレイヤのピクチャ４１２のみが表示され、ベースレイヤのピクチャ４０８は表示されない。図４の例では復号順序は表示順序と同じであるが、別の実施形態では、復号順序は表示順序と異なり得る。
[00142]図４に示すように、ベースレイヤのピクチャおよびエンハンスメントレイヤのピクチャは、異なるレイヤに属する。ベースレイヤのピクチャ４０２〜４０８は、前にコーディングされた他のベースレイヤのピクチャを使用してコーディングされ得、エンハンスメントレイヤのピクチャ４１２〜４１８は、前にコーディングされた他のエンハンスメントレイヤのピクチャを使用してコーディングされ得る。さらに、エンハンスメントレイヤのピクチャ４１２は、ベースレイヤのピクチャ４０８を使用して（たとえば、レイヤ間予測を使用して）コーディングされ得る。一実施形態では、エンハンスメントレイヤのピクチャ４１２〜４１８は、ベースレイヤのピクチャ４０２〜４０８の解像度よりも高い解像度を有する。
復号ピクチャバッファ（ＤＰＢ）
[00143]一般に、コーディングされたピクチャは、他のピクチャをコーディングするために使用され得るように、復号ピクチャバッファ（ＤＰＢ）の中に記憶され得る。たとえば、ビデオコーダは、後続のピクチャをコーディングするために、ＤＰＢの中の前にコーディングされたピクチャのピクセル値または他の情報（たとえば、動き情報）を使用し得る。しかしながら、ＤＰＢはスペースが限られ、すべてのコーディングされたピクチャが、ＤＰＢに記憶されＤＰＢの中に無期限に残り続け得るとは限らない。したがって、不必要なピクチャをＤＰＢから適時に除去することが、ＤＰＢの管理とメモリの使用量とを改善することができる。
[00144]上記で説明した例では、解像度変更は、アプリケーション（または、アプリケーションのユーザ）が高解像度モード（または、低解像度モード）へ切り替えることに決めるときに起こり得る。アプリケーションが高解像度モードへ切り替えるとき、アプリケーションは、解像度変更の前にコーディングされた下位レイヤのピクチャよりも、解像度が高い上位レイヤ（たとえば、エンハンスメントレイヤ）のピクチャのコーディングを開始する。高解像度へ切り替えると、前の下位レイヤ（たとえば、解像度がより低いピクチャを有する参照レイヤ）の参照ピクチャは、復号ピクチャバッファ（ＤＰＢ）に依然として記憶され得る。しかしながら、切替えの後にコーディングされるピクチャは上位レイヤ（たとえば、エンハンスメントレイヤ）の中にあるので、そのような参照ピクチャは、もはやビットストリームを復号するために必要であり得ない。一例では、アプリケーションが下位レイヤへ下に切り替え復帰することに決める場合、そのような参照ピクチャのうちの１つまたは複数は、将来の下位レイヤのピクチャをコーディングするために使用され得る。しかしながら、アプリケーションが高解像度モードにとどまり、または下位レイヤ以外のレイヤへ切り替える場合、ＤＰＢの中の下位レイヤのそれらの参照ピクチャのいずれかを保持するためのいかなる理由も存在し得ない。したがって、前の下位レイヤの参照ピクチャをＤＰＢから除去するためのメカニズムは、メモリの使用量を改善するために望まれ得る。
[00145]また、いくつかの実装形態では、たとえアプリケーションが低解像度モードへ切り替え復帰することに決めるとしても、アプリケーションが単に下位レイヤの元の低解像度へ切り替え復帰しているとしても、新しいレイヤＩＤが新しいレイヤに割り当てられ得る。そのような場合には、新しいレイヤに新しいレイヤＩＤが割り当てられるので、たとえ新しいレイヤのピクチャと解像度が同じである１つまたは複数の参照ピクチャがＤＰＢの中に保持されるとしても、それらの参照ピクチャは、新しいレイヤのピクチャをインター予測するために使用され得ない。したがって、コーディング効率を改善するために、アプリケーションが単に前の解像度へ下に（または、上に）切り替え復帰しているとき、新しいレイヤＩＤの使用を防止することが望ましくあり得る。
[00146]さらに、いくつかの実装形態では、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、アプリケーションは、解像度、カラーフォーマット、またはビット深度を変更することなく、レイヤ間で切り替えることができるようにされる。しかしながら、そのような場合には、新しいレイヤへ切り替えることなく同じレイヤにとどまることが、より効率的であり得る。
下位レイヤのピクチャを復号ピクチャバッファから除去すること
[00147]解像度の切替えが実行されるとき（たとえば、図４に示すように）、切替え点において、２つまでの異なるレイヤ、すなわち、下位レイヤ（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの小さい方の値と関連する）および上位レイヤ（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの大きい方の値と関連する）からのピクチャが存在する。切替えが１回よりも多く（たとえば、上または下へ）実行される場合、より多くの関係するピクチャ／レイヤが存在し得る。たとえば、アプリケーションは、あるアクセスユニットの中でレイヤ１からレイヤ２に、後で別のアクセスユニットの中でレイヤ２からレイヤ３へ切り替えることができる。一般に、２つのレイヤは、「切替え元のレイヤ（switching-from layer）」および「切替え先のレイヤ（switched-to layer）」と呼ばれることもある。たとえば、上への切替え点では、下位レイヤは切替え元のレイヤと呼ばれてもよく、上位レイヤは切替え先のレイヤと呼ばれてもよい。
[00148]１つの例示的な実施態様では、下位レイヤから上位レイヤへ切り替えるとき、切替え点におけるアクセスユニット（たとえば、切替え点のＡＵ）は、下位レイヤからのピクチャと上位レイヤからのピクチャの両方を含む。その一方で、上位レイヤから下位レイヤへ切り替えるとき、切替え点のＡＵは、１つのピクチャしか有し得ない。たとえば、切替えは、２つの連続したアクセスユニットにわたって起こり得、連続したアクセスユニットの各々は、１つのピクチャのみを含む。たとえば、アクセスユニットのうちの１つは上位レイヤからのピクチャを含み得、後続のアクセスユニットは下位レイヤからのピクチャを含み得る。そのような構成は、図５を参照しながら以下にさらに説明される。
[00149]本開示では、実施形態は、１つの下位レイヤと１つの上位レイヤとを有する一例を参照しながら、一般的に説明される。しかしながら、本開示の実施形態は、そのような構成に限定されず、またはそのような構成によって限定されず、本明細書で説明する実施形態、方法、および技法は、複数の下位レイヤおよび上位レイヤを有する他の例に拡張され得る。本明細書で示す例は、一般に、１つまたは２つのレイヤを有するＡＵを有するが、提案される方法は、他の構成へ同様に拡張され得る。
[00150]解像度変更が行われるとき、切替え点の後（たとえば、両方のレイヤからのピクチャを含むＡＵの中のピクチャをコーディングした後）、切替え元のレイヤの中のピクチャは、しばしば、もはやインター予測のために必要とされない。一実施形態では、ＤＰＢの中に記憶されている切替え元のレイヤのすべての参照ピクチャ（たとえば、ＤＰＢの中に記憶されている、前に復号された下位レイヤのピクチャ）は、切替え点のＡＵの中の下位レイヤのピクチャを含めて、「参照として使用されない（unused for reference）」ものとして印をつけられる（marked）。いくつかの実装形態では、「参照として使用されない」ものとして印をつけられた任意の参照ピクチャは、それがすでに出力された（たとえば、表示された）場合、または出力されるべきでない場合、ＤＰＢから除去される。この実施形態では、切替え元のレイヤの、出力されるべきでない、またはすでに出力されたすべてのピクチャは、ＤＰＢから除去される。切替え点の後に使用されそうでない下位レイヤのピクチャをＤＰＢから除去することによって、ＤＰＢの管理とメモリの使用量とが改善され得る。
[00151]ベースレイヤのピクチャ４０８とエンハンスメントレイヤのピクチャ４１２とを含むアクセスユニットの中で解像度の切替えが起こる図４の例では、ベースレイヤのピクチャ４０８（たとえば、切替え点におけるベースレイヤのピクチャ）を復号した後、ＤＰＢの中に記憶されている、前に復号されたベースレイヤのピクチャ４０２、４０４、および４０６は、もはやベースレイヤのピクチャをコーディングするために必要でないので（たとえば、解像度の切替えのために）、「参照として使用されない」ものとして印をつけられ得る。さらに、出力されるべきでない、またはすでに出力されたベースレイヤのピクチャは、ＤＰＢから除去され得る。エンハンスメントレイヤのピクチャ４１２（たとえば、切替え点におけるエンハンスメントレイヤのピクチャ）を復号した後、ＤＰＢの中に記憶されている復号されたベースレイヤのピクチャ４０８は、ＤＰＢから除去され得る。別の実施形態では、復号されたピクチャのＤＰＢからのいかなる除去も、エンハンスメントレイヤのピクチャ４１２（たとえば、切替え点のＡＵの中の上位レイヤのピクチャ）をコーディングした後、実行される。ＤＰＢの中のピクチャの除去は、上への切替えのコンテキストにおいて一般に本明細書で説明されるが、類似のＤＰＢの管理技法が、ピクチャの解像度が低減される下への切替えのシナリオに適用され得る。
[00152]一実施形態では、ＤＰＢがクリアされるべきかどうかを示すフラグが、シグナリングされ得る。たとえば、フラグが１に設定される場合、ＤＰＢは、上位レイヤの中の最初のピクチャ（the first picture）をコーディングした後にクリアされ、フラグが０に設定される場合、ＤＰＢはクリアされない。フラグは、スライスヘッダの中でシグナリングされ得る。
将来のコーディングのために下位レイヤのピクチャをＤＰＢの中に保持すること
[00153]一実施形態では、ＤＰＢの中のすべてのピクチャに「参照として使用されない」ものとして印をつけること（marking）、および／または、異なるレイヤへ切り替える際にＤＰＢの中のすべてのピクチャを除去することの代わりに、切替え元のレイヤの少なくとも１つのピクチャは、将来のコーディングでの使用のためにＤＰＢの中に保持される。ＤＰＢの中に保持されるそのようなピクチャは、「待機ピクチャ（waiting pictures）」と呼ばれることがある。低解像度への下への解像度の切替え復帰が存在する場合、これらのピクチャが、１つまたは複数の低解像度のピクチャ（たとえば、上位レイヤから下位レイヤへ下に切り替え復帰した後にコーディングされるべき最初のピクチャ）をコーディングする（たとえば、インター予測を使用して）ために使用され得るように、これらのピクチャはＤＰＢの中に残るようにされる。
[00154]一実施形態では、解像度変更が起こるたびに、切替え元のレイヤの少なくとも１つのピクチャは、将来のコーディングでの使用のためにＤＰＢの中に保持される。たとえば、ＤＰＢの中に保持されるピクチャは、切替え点のＡＵでのピクチャ（たとえば、図４のベースレイヤのピクチャ４０８）であり得る。別の例では、ＤＰＢの中に保持されるピクチャは、時間ＩＤ（a temporal ID）が０のピクチャであり得る。時間ＩＤが０のピクチャは任意の値の時間ＩＤを有する別のピクチャをコーディングするために使用され得るので、時間ＩＤが０のピクチャを保持することは、任意の時間において元のレイヤへ下または上に切り替え復帰するためのフレキシビリティをもたらし得る。一実施形態では、１つのピクチャのみがＤＰＢの中に保持され、すべての他のピクチャは異なるレイヤへ切り替える際に除去される。さらに別の実施形態では、少なくとも１つのピクチャは、時間ＩＤの各値に対してＤＰＢの中に保持される。たとえば、下位レイヤの中のピクチャは、時間ＩＤの値０と、１と、２とを有し得る。そのような場合には、時間ＩＤが０の少なくとも１つの下位レイヤのピクチャ、時間ＩＤが１の少なくとも１つの下位レイヤのピクチャ、および時間ＩＤが２の少なくとも１つの下位レイヤのピクチャが、ＤＰＢの中に保持される。一例では、１つのピクチャが各時間ＩＤに対して保持され、すべての他のピクチャは異なるレイヤへ切り替える際にＤＰＢから除去される。
[00155]一実施形態では、ＤＰＢの中に保持されるピクチャは、ビットストリームの中で明示的にシグナリングされる。たとえば、シグナリングは、参照ピクチャのセットがシグナリングされる方法と類似であり得る。別の実施形態では、ピクチャがＤＰＢの中に保持されるべきかどうかは、切替え先のレイヤのピクチャ（たとえば、切替え点のＡＵでの上位レイヤのピクチャ）のスライスヘッダの中に存在し得、切替えがこのアクセスユニットで行われることを示すためのフラグが、シグナリングされ得る。このフラグは、また、１つまたは複数の待機ピクチャがＤＰＢの中に保持されるべきかどうかを示すための情報がビットストリームの中に存在することを示し得る。たとえば、１つのフラグは、１０個の最後の下位レイヤのピクチャをＤＰＢの中に保持するかどうかを示し得る。たとえば、直近にコーディングされた下位レイヤのピクチャがＤＰＢの中に保持されるべきかどうかを示すフラグが存在し得る。ＤＰＢの中に保持されるピクチャの数は、１、２、３、１０または任意の数であり得る。ＤＰＢの中に保持されるべき下位レイヤのピクチャの数は、コーダによってシグナリングされ得、または知られ得る。将来同じレイヤへの切替え復帰が存在するかどうかを示すためのフラグが、シグナリングされ得る。
[00156]一実施形態では、切替え点のＡＵでの下位レイヤのピクチャが、ＤＰＢの中に保持されているただ一つのピクチャである場合、下位レイヤのピクチャは、「長期の参照として使用される（used for long-term reference）」または「短期の参照として使用される（used for short-term reference）」もののいずれかとして印をつけられる。一実施形態では、任意の下位レイヤのピクチャがＤＰＢの中に保持されているかどうかは、ビデオパラメータセットの中で示される。上記で説明したように、本開示の１つまたは複数の例示的な実施形態は、下位レイヤ（たとえば、低解像度のレイヤ）から上位レイヤ（たとえば、高解像度のレイヤ）への切替えのコンテキストにおいて説明されるが、方法および技法は、解像度が低減される下への切替えのシナリオに修正および／または拡張され得る。
[00157]いくつかの実装形態では、下位レイヤから上位レイヤへの切替えのコンテキストにおいて説明される同じメカニズムが、上位レイヤから下位レイヤへ切り替えるときに適用され得るが、後で上位レイヤへ切り替え復帰するとき、上位レイヤの中のピクチャが、レイヤ間予測を利用することによって同じＡＵの中の下位レイヤのピクチャに基づいてコーディングされ得、ずっと早い時間期間からの上位レイヤのピクチャが不必要であり得、または有用であり得ないので、同じメカニズム（たとえば、上位レイヤへ上に切り替え復帰した後、上位レイヤのピクチャの将来のコーディングで使用され得るように、上位レイヤのピクチャをＤＰＢの中に保持すること）を適用することは必要であり得ない。任意のＥＬピクチャをＤＰＢの中に保持することが望ましくあり得ない別の理由は、切替え点のＡＵでの上位レイヤのピクチャがＩＲＡＰピクチャでなければならないという、切替え点のＡＵにおける制限が存在し得ることである。そのような場合には、切替え点のＡＵでの上位レイヤのピクチャは、インター予測を使用して他のＥＬピクチャから予測され得ない。提案されるメカニズムの一例を、図５に示す。
[00158]図５は、下位レイヤから上位レイヤへの解像度の切替えと、上位レイヤから下位レイヤへの下への別の解像度の切替え復帰とを伴う一例を示す。図５に示すように、ベースレイヤは、ベースレイヤのピクチャ５０２、５０４、５０６、５０８、５２４、５２６、および５２８を含み、エンハンスメントレイヤは、エンハンスメントレイヤのピクチャ５１２、５１４、５１６、および５１８を含む。破線によって示されるベースレイヤのピクチャ５２２は、実際にシグナリングまたはコーディングされ得ない想像上のピクチャで（an imaginary picture）ある。図５の例では、解像度の下への切替えが起こるとき、エンハンスメントレイヤのピクチャ５１８がすでにコーディングされており、表示されるために利用可能となっているので、その低解像度のバージョンをコーディングするための理由は、それが表示されないので存在しない。
[00159]解像度が低解像度へ下に切り替え復帰される図５に示すシナリオでは、時間的な参照ピクチャ（たとえば、ベースレイヤのピクチャ５０８）としての最初の切替えの前に、少なくとも１つのベースレイヤのピクチャをＤＰＢの中に保持することが望ましくあり得る。たとえば、他のベースレイヤのピクチャ（たとえば、５０２、５０４、および５０６）は、上記で説明したように「参照として使用されない」ものとして印をつけられ得る。この場合には、解像度が低解像度へ下に切り替え復帰されるとき、ＤＰＢの中に保持されているベースレイヤのピクチャ５０８は、ベースレイヤのピクチャ５０８からベースレイヤのピクチャ５２４への矢印によって示されるように、ベースレイヤのピクチャ５２４のインター予測のために使用され得る。
[00160]１つの実施形態では、ＤＰＢの中に保持されるべきピクチャは、切替え点のＡＵでのベースレイヤのピクチャでなく、ＤＰＢの中のいくつかの他のベースレイヤのピクチャである。たとえば、ＤＰＢの中に保持されるべきピクチャは、切替え点のＡＵでのベースレイヤのピクチャの直前にコーディングされるピクチャである。別の例では、保持されるべきベースレイヤのピクチャは、ベースレイヤからの任意の他のピクチャであり得る。別の実施形態では、複数のピクチャは、解像度の切替え（または、解像度変更を伴わない単なるレイヤの切替え）の際にＤＰＢの中に保持され得る。さらに別の実施形態では、ＤＰＢの中に保持されるピクチャは、下位レイヤ（たとえば、図５のベースレイヤのピクチャ５２４）への切替え復帰の後、最初の下位レイヤのピクチャと同じ時間ＩＤを有する最も近いピクチャである。たとえば、上への切替えおよび後続の下への切替えがあり、下への切替えの後の最初のベースレイヤのピクチャが１の時間ＩＤを有する場合、ＤＰＢの中で保持されるべきピクチャは、下への切替えの後の最初のベースレイヤのピクチャに時間的に最も近く、１の時間ＩＤを有するピクチャであり得る。別の実施形態では、ＤＰＢの中に保持されるピクチャは、時間ＩＤが０の最も近いピクチャである。別の実施形態では、ＤＰＢの中に保持されるピクチャは、下位レイヤへ切り替え復帰した後の最初の下位レイヤのピクチャに時間的に最も近いピクチャである。
ダミーピクチャ
[00161]レイヤの切替え（たとえば、解像度の切替え）の場合には、切替え点のＡＵに表示順序で直ちに続くアクセスユニットの中に、ダミーピクチャが存在し得る。例示的なダミーピクチャを図６に示す。図６は、ベースレイヤのピクチャ６０２、６０４、６０６、６０８、６２４、６２６、および６２８、エンハンスメントレイヤのピクチャ６１２、６１４、６１６、および６１８、ならびに図５を参照しながら説明された想像上のピクチャ５２２と類似の想像上のピクチャ６２２を示す。さらに、図６は、ベースレイヤのピクチャ６０８とエンハンスメントレイヤのピクチャ６１２とを有する切替え点のＡＵに直ちに続くアクセスユニットの中に、ダミーピクチャ６０９を含む。また、ダミーピクチャ６１９は、エンハンスメントレイヤのピクチャ６１８を有する切替え点のＡＵに直ちに続くアクセスユニットの中に存在する。ダミーピクチャ６０９および６１９は、参照ピクチャの管理を改善するために使用され得る。たとえば、ダミーピクチャは、より早い参照ピクチャのＤＰＢからの除去を達成するために使用され得る。たとえば、ダミーピクチャ６０９は、エンハンスメントレイヤのピクチャ６１２がコーディングされる前に処理され得、ダミーピクチャ６０９に含まれる情報は、ベースレイヤのピクチャ６０２、６０４、６０６がＤＰＢから除去されるべきであることを示し得る。そのような場合には、エンハンスメントレイヤ６１２がコーディングを終了した後までＤＰＢの中に残ることになったベースレイヤのピクチャ６０２、６０４、および６０６は、エンハンスメントレイヤ６１２がコーディングされる前にＤＰＢから除去され得る。
[00162]一実施形態では、ダミーピクチャは、１つまたは複数の参照ピクチャに「参照として使用されない」ものとして印をつけ得、またはどのピクチャが将来の参照のために使用され、したがって、ＤＰＢの中に保持されるべきかを示し得る。一実施態様では、もしあれば、ＤＰＢの中のどのピクチャが将来の参照のために保持されるべきかという指示は、ダミーピクチャに関連付けられた参照ピクチャセット（ＲＰＳ：reference picture set）の中に存在する。たとえば、ダミーピクチャのＲＰＳは、ＤＰＢの中のピクチャのうちの１つまたは複数が、ダミーピクチャをコーディングするために必要とされることを示し得る。そのような場合には、ダミーピクチャをコーディングするために必要であるものとして示されるそれらのピクチャは、ＤＰＢの中に保持されることになる。別の実施態様では、ダミーピクチャに関連付けられた１つまたは複数のシンタックス要素またはフラグは、もしあれば、ＤＰＢの中のどのピクチャが将来の参照のために保持されるべきであるかを示し得る。一実施形態では、ダミーピクチャは、ＤＰＢが完全にクリアされるべきである（たとえば、複数のピクチャのうちのいずれもＤＰＢの中に保持されるべきでない）ことを示す１つまたは複数のシンタックス要素またはフラグを含み得る。
[00163]ダミーピクチャが、上位レイヤの中のピクチャ（たとえば、ダミーピクチャ６０９およびエンハンスメントレイヤのピクチャ６１４の場合には）と同じアクセスユニットの中にある場合、両方のピクチャが非ＩＲＡＰピクチャであることが許される。一実施形態では、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいときにこのシナリオがカバーされるように、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇのセマンティックが修正され得る。より詳細には、切替え点のＡＵでの上位レイヤのピクチャがＩＲＡＰピクチャでなければならないという制約は、ダミーピクチャの使用に関して除去され得る。代替的に、切替え点のＡＵでの上位レイヤのピクチャがＩＲＡＰピクチャでなければならないという制約は、ダミーピクチャの使用にかかわらず除去され得る。ＩＲＡＰの制約の除去は、上位レイヤのピクチャのコーディングに、より多くのフレキシビリティをもたらし、レイヤ間予測に加えてインター予測の使用を可能にする。
[00164]一実施形態では、ダミーピクチャは、ＨＥＶＣワーキングドラフト１０で規定されるように、単一のＶＣＬ ＮＡＬユニットからなり得る。ダミーピクチャは、インター予測の残差を０に等しくしてコーディングされ得、スライスヘッダの中に０に等しいｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇ（たとえば、ダミーピクチャが出力されるべきでないことを示す）を有し得る。代替的に、ダミーピクチャは、全スライスヘッダシンタックスを含むだけであってもよい。代替的に、ダミーピクチャは、スライスヘッダの中にシンタックス要素の部分のみを含んでもよい。たとえば、ダミーピクチャは、ピクチャおよび参照ピクチャセット（ＲＰＳ）のＰＯＣ値を識別するシンタックス要素を含み得る。ダミーピクチャの中のＲＰＳは、どのピクチャが「参照として使用されない」ものとして印をつけられるべきか、またどのピクチャがＤＰＢの中に（たとえば、待機ピクチャとして）保持されるべきかを示し得、したがって、上位レイヤへ切り替えた後、将来の参照のために「短期の参照として使用される」または「長期の参照として使用される」ものとして印をつけられる。
元のレイヤへの切替え復帰
[00165]一実施形態では、アプリケーション（または、ユーザ）が元のレイヤへ切り替え復帰するとき（たとえば、図５および図６に示す例）、元のレイヤのレイヤＩＤ（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値）は、新しいレイヤのために使用される。たとえば、アプリケーションが、下位レイヤから上位レイヤへ切り替えて、前の下位レイヤと同じ解像度のピクチャを含む別の下位レイヤへ切り替えることを後で決める場合、前の下位レイヤのレイヤＩＤは、新しい下位レイヤのために使用される。新しい下位レイヤに前の下位レイヤと同じレイヤＩＤが割り当てられることを強いることによって、インター予測は、ＤＰＢの中に残っている、前の下位レイヤのピクチャを使用して新しい下位レイヤの中のピクチャをコーディングするために使用され得る。
[00166]一実施形態では、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、ＡＵでのすべてのＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの最大値は、空間的な解像度、カラーフォーマット、またはビット深度のうちの少なくとも１つが同様に変更されない限り、コーディングされるビデオシーケンスの中のＡＵにわたって同じに維持される。そうすることによって、アプリケーションは、レイヤの切替えが、解像度変更、カラーフォーマット変更、またはビット深度変更のうちの少なくとも１つによって、確実に付随して起こるようにすることができる。いくつかの実装形態では、解像度、カラーフォーマット、またはビット深度の変更がない限り、単一レイヤの手法（たとえば、異なるレイヤへ切り替えない）を保持することは、コーディング効率および／または計算量の改善を達成するために望ましくあり得る。
例示的なフローチャート
[00167]図７は、本開示の一実施形態による、ビデオ情報をコーディングするための方法７００を示すフローチャートである。図７に示すステップは、エンコーダ（たとえば、図２Ａまたは図２Ｂに示すビデオエンコーダ）、デコーダ（たとえば、図３Ａまたは図３Ｂに示すビデオデコーダ）、または任意の他の構成要素によって実行され得る。便宜上、方法７００について、エンコーダ、デコーダ、または別の構成要素であり得る、コーダによって実行されるものとして説明する。
[00168]方法７００は、ブロック７０１において開始する。ブロック７０５において、コーダは、第１のレイヤに関連付けられたビデオ情報を記憶する。ブロック７１０において、コーダは、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャをコーディングすることを開始するかどうかを決定する。たとえば、コーダは、ある時点の後（after a certain point in time）、いかなる第１のレイヤピクチャもコーディングすることなく、第２のレイヤピクチャのみがコーディングされるべきであることを決定し得る。一実施形態では、コーダは、第２のレイヤピクチャをコーディングすることを開始するための命令または要求を受信し得る。たとえば、ビデオ会議のコンテキストにおいて、ビデオアプリケーションは、帯域幅の状態に基づいて、高解像度のピクチャがユーザに表示され得るように、高解像度モードへ切り替えることに決め得る。別の例では、ビデオアプリケーションのユーザは、高解像度モードへ切り替えることを選び得る。そのような命令をアプリケーションまたはユーザから受信すると、コーダは、高解像度を有する第２のレイヤピクチャをコーディングすることを開始し得る。そのような命令がない場合、またはコーダがベースレイヤのピクチャをコーディングし続けるべきであるとコーダが別のやり方で決定する場合、コーダは、ブロック７１５において第１のレイヤピクチャをコーディングする。
[00169]いったんコーダが、対応する第１のレイヤピクチャを有しない第２のレイヤピクチャがコーディングされるべきであると決定すると、コーダは、ブロック７２０に進み、第２のレイヤに関連付けられたビデオ情報を記憶する。一実施形態では、第２のレイヤに関連付けられたビデオ情報は、ブロック７１０における決定の前にすでにメモリに記憶されていることがある。そのような場合には、コーダは、単にブロック７２５に進むことができる。コーダは、ブロック７２５において第２のレイヤピクチャをコーディングすることを開始する。ブロック７３０において、コーダは、少なくとも１つの第１のレイヤピクチャが復号ピクチャバッファから除去されるべきであるという指示を処理する。一実施形態では、この処理は、少なくとも１つの第１のレイヤピクチャに、参照として使用されないものとして印をつけることを備える。別の実施形態では、この処理は、少なくとも１つの第１のレイヤピクチャが復号ピクチャバッファから除去されるべきであることを示すフラグをシグナリングすることを備える。さらに別の実施形態では、この処理は、少なくとも１つの第１のレイヤピクチャが復号ピクチャバッファから除去されるべきであるという指示を受信することを備える。
[00170]一実施形態では、コーダは、少なくとも１つの第１のレイヤピクチャをＤＰＢから実際に除去し得る。一実施形態では、上記で説明したように、コーダは、復号ピクチャバッファの中のすべての第１のレイヤピクチャを除去し得る。別の実施形態では、コーダは、復号ピクチャバッファの中の１つまたは複数の第１のレイヤピクチャを将来のコーディングでの使用のために保持することと、第１のレイヤピクチャの残りをＤＰＢから除去することとを決め得る。
[00171]図７Ｂに示すように、ブロック７３５において、コーダは、対応する第２のレイヤピクチャを有しない第１のレイヤピクチャをコーディングすることを開始するかどうかを決定する。前に説明したように、アプリケーションまたはユーザは、たとえば、帯域幅の状態に基づいて、低解像度モードへ切り替えるための要求または命令を起動し得る。インターネット接続が遅いとユーザが感じているとき、ユーザは、ピクチャがより滑らかに表示されるように、彼が現在見ているビデオの解像度を低減することを望むことがある。そのような命令がない場合、コーダは、ブロック７４０において、第２のレイヤピクチャをコーディングし続ける。
[00172]いったんコーダが、対応する第２のレイヤピクチャを有しない第１のレイヤピクチャがコーディングされるべきであると決定すると、コーダは、ブロック７４５に進み、第１のレイヤに関連付けられたビデオ情報を記憶する。ブロック７５０において、コーダは、復号ピクチャバッファの中に残っている、前に復号された第１のレイヤピクチャを使用して、第１のレイヤピクチャをコーディングする。たとえば、図５に示すように、第２のレイヤへ切り替える際にＤＰＢの中に保持されたベースレイヤのピクチャ５０８は、ベースレイヤへ下に切り替え復帰した後、ベースレイヤのピクチャ５２４をコーディングするために使用され得る。方法７００は、ブロック７５５において終了する。
[00173]上記で説明したように、図２Ａのビデオエンコーダ２０、図２Ｂのビデオエンコーダ２１、図３Ａのビデオデコーダ３０、または図３Ｂのビデオデコーダ３１の、１つまたは複数の構成要素（たとえば、レイヤ間予測ユニット１２８および／またはレイヤ間予測ユニット１６６）は、第１のレイヤピクチャまたは第２のレイヤピクチャをコーディングするかどうかを決定すること、ピクチャを復号ピクチャバッファから除去すること、および第１のレイヤピクチャおよび第２のレイヤピクチャを様々なコーディング方法を使用してコーディングすることなどの、本開示で説明される技法のいずれかを実施するために使用され得る。
[00174]方法７００では、図７に示すブロックのうちの１つまたは複数は削除される（たとえば、実行されない）ことがあり、および／または方法が実行される順序は入れ替えられることがある。たとえば、第２のレイヤおよび第１のレイヤに関連付けられたビデオ情報を記憶することが、第２のレイヤピクチャおよび第１のレイヤピクチャをコーディングすることを開始するかどうかのそれぞれの決定の後に行われるように図７の例で示されるが、記憶することは、そのような決定の前に行われてもよい。別の例では、コーダは、決してブロック７４５および７５０に到達しないことがあり、第２のレイヤにとどまり得る。別の例では、ＤＰＢは、ブロック７３０において完全にクリアされ得、ブロック７５０は、したがって、省略され得る（ＤＰＢの中に残っている第１のレイヤピクチャが存在しない）。したがって、本開示の実施形態は、図７に示す例に限定されず、または図７に示す例によって限定されず、他の変形が本開示の趣旨から逸脱することなく実施され得る。
[00175]一実施形態では、図７の第１および第２のレイヤは、それぞれ、参照レイヤおよびエンハンスメントレイヤである。別の実施形態では、第１および第２のレイヤは、それぞれ、エンハンスメントレイヤおよび参照レイヤである。
実装実施形態＃１
[00176]一実施形態では、切替え元のレイヤ（たとえば、下位レイヤ）のすべてのピクチャは、「参照として使用されない」ものとして印をつけられ、切替え点のＡＵにおいてＤＰＢから潜在的に除去される。以下の復号プロセスのセクションでは、仕様に追加されるべき新しい部分がイタリック体で示される。
[00177]いつ切替えが起こるかを検出する方法は、上への切替え（たとえば、下位レイヤから上位レイヤへ切り替えること）および下への切替え（たとえば、上位レイヤから下位レイヤへ切り替えること）に対して異なり得る。上への切替えの場合には、切替えの検出は、２つ以上のピクチャが同じアクセスユニットの中に存在するかどうかを確認することによって実行される。下への切替えの場合には、検出は、現在のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄと前のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄとを比較することによって実行され、２つのアクセスユニットは復号順序において連続的に配置されている。いくつかの実装形態では、前のアクセスユニットは、現在のアクセスユニットに復号順序で最も近いアクセスユニットであり得るが、同様に時間ＩＤが０である。
実施形態＃１のための復号プロセス
[00178]このセクションでは、ＨＥＶＣのスケーラブル拡張のドラフトテキストの関連する部分を、それに行われ得る例示的な追加と一緒に提示する。本明細書で説明する実施形態に関するそれらの部分は、イタリック体で示される。
[00179]「８．１節における仕様は、以下の追加とともに適用される。
[00180]現在のピクチャが、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、以下が適用される。
[00181]ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値に応じて、復号プロセスは次のように構築される。
[00182]ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが０に等しい場合、以下の復号プロセスが１回呼び出され、現在のピクチャが出力される。
[00183]そうでない（ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しい）場合、以下の復号プロセスが３回呼び出される。復号プロセスへの入力は、同じ値のｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するコーディングされたピクチャのすべてのＮＡＬユニットである。特定の値のｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するＮＡＬユニットの復号プロセスは、ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄがその特定の値である単色カラーフォーマット（monochrome colour format）を有するＣＶＳのみがビットストリーム中に存在するかのように規定される。３つの復号プロセスの各々の出力は、現在のピクチャの３つのサンプルアレイのうちの１つに割り当てられ、０、１および２に等しいｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するＮＡＬユニットは、それぞれ、ＳL、ＳCbおよびＳCrに割り当てられる。
[00184]注− ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが３に等しいとき、変数ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しいものとして導出される。復号プロセスでは、（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しいとき）この変数の値が評価され、単色ピクチャのものと同じ動作をもたらす。
[00185]復号プロセスは、現在のピクチャＣｕｒｒＰｉｃについて次のように動作する。
[00186]現在のピクチャの復号順序で最初のスライスのスライスセグメントヘッダの復号の場合、Ｆ．８．１．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャの復号を開始するための復号プロセスが呼び出される。
[00187]ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇが１に等しい場合、Ｇ．８．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャのための復号プロセスが呼び出される。
[00188]そうでない場合、ＤｅｐｅｎｄｅｎｃｙＩｄ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０よりも大きいとき、Ｈ．８．１．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャのための復号プロセスが呼び出される。
[00189]現在のピクチャのすべてのスライスが復号された後、Ｆ．８．１．２節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャの復号を終了するための復号プロセスが呼び出される。」
[00190]以下の言語が仕様に追加され得る。
[00191]「現在のピクチャがＩＲＡＰピクチャであり、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しく、現在のピクチャよりも低い値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが同じアクセスユニットの中に存在するとき、ＤＰＢの中のすべての参照ピクチャは「参照として使用されない」ものとして印をつけられ、前の復号されたピクチャ（現在のピクチャと同じアクセスユニットの中にある）および０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する他の復号されたピクチャはＤＰＢから除去される。ＤＰＢの中に残っているそれらのピクチャの各々は、現在のピクチャを除いて、それが出力された後、直ちにＤＰＢから除去される。」
[00192]代替的に、以下の言語が仕様に追加され得る。
[00193]「ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、以下のことが適用される。
[00194]変数ｓｗｉｔｃｈｉｎｇＦｌａｇは０に設定される。
[00195]現在のピクチャがＩＲＡＰピクチャであり、現在のピクチャよりも低い値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが同じアクセスユニットの中に存在するとき、以下のことが適用される。これらの２つのピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は、ｌａｙｅｒＩｄＡおよびｌａｙｅｒＩｄＢとして表され、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡよりも大きく、ｓｗｉｔｃｈｉｎｇＦｌａｇは１に設定され、変数ｌａｙｅｒＩｄＳｗｉｔｃｈはｌａｙｅｒＩｄＡとして設定される。
[00196]現在のアクセスユニット内に１つのピクチャのみが存在し、それのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が前のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値よりも小さいとき、ｓｗｉｔｃｈｉｎｇＦｌａｇは１に設定され、ｌａｙｅｒＩｄＳｗｉｔｃｈは前のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に等しく設定される。
[00197]ｓｗｉｔｃｈｉｎｇＦｌａｇが１に等しいとき、ＤＰＢの中のｌａｙｅｒＩｄＳｗｉｔｃｈに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべての参照ピクチャは「参照として使用されない」ものとして印をつけられ、前の復号されたピクチャおよび０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する他の復号されたピクチャはＤＰＢから除去される。現在のピクチャを除いて、ＤＰＢの中に残っているそれらのピクチャの各々は、それが出力された後、直ちにＤＰＢから除去される。」
実装実施形態＃２
[00198]例示的な実施態様を以下に示すが、同じ着想の他の実施態様は、同様に可能であり、本開示の範囲内として見なされるべきである。本明細書で説明する実施形態に関するそれらの部分は、イタリック体で示される。以下のビデオパラメータセット（ＶＰＳ）シンタックスが使用され得る。
Figure 2016526855
[00199]以下のＶＰＳセマンティックスが使用され得る。「１に等しいｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、ベースレイヤ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄが最小の参照レイヤ）のピクチャからの少なくとも１つのピクチャが、上位レイヤへ切り替えた後、将来の参照のために「参照として使用される」ものとして印をつけられることを規定する。０に等しいｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、すべてのベースレイヤのピクチャが、レイヤの切替えの後、「参照として使用されない」ものとして印をつけられることを規定する。存在しないとき、ｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは０に等しいものと推論される。」
[00200]代替的に、以下のＶＰＳセマンティックスが使用され得る。「１に等しいｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、下位レイヤのピクチャからの少なくとも１つのピクチャが、上位レイヤへ切り替えた後、将来の参照のために「参照として使用される」ものとして印をつけられることを規定する。０に等しいｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、すべてのピクチャが、レイヤの切替えの後、「参照として使用されない」ものとして印をつけられることを規定する。存在しないとき、ｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは０に等しいものと推論される。」
実施形態＃２のための復号プロセス
[00201]このセクションでは、ＨＥＶＣのスケーラブル拡張のドラフトテキストの関連する部分を、それに行われ得る例示的な追加と一緒に提示する。本明細書で説明する実施形態に関するそれらの部分は、イタリック体で示される。
[00202]「８．１節における仕様は、以下の追加とともに適用される。
[00203]現在のピクチャが、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとき、以下が適用される。
[00204]ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値に応じて、復号プロセスは次のように構築される。
[00205]ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが０に等しい場合、以下の復号プロセスが１回呼び出され、現在のピクチャが出力される。
[00206]そうでない（ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しい）場合、以下の復号プロセスが３回呼び出される。復号プロセスへの入力は、同じ値のｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するコーディングされたピクチャのすべてのＮＡＬユニットである。特定の値のｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するＮＡＬユニットの復号プロセスは、ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄがその特定の値である単色カラーフォーマットを有するＣＶＳのみがビットストリーム中に存在するかのように規定される。３つの復号プロセスの各々の出力は、現在のピクチャの３つのサンプルアレイのうちの１つに割り当てられ、０、１および２に等しいｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄを有するＮＡＬユニットは、それぞれ、ＳL、ＳCb、およびＳCrに割り当てられる。
[00207]注− ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが３に等しいとき、変数ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しいものとして導出される。復号プロセスでは、（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが０に等しいとき）この変数の値が評価され、単色ピクチャのものと同じ動作をもたらす。
[00208]復号プロセスは、現在のピクチャＣｕｒｒＰｉｃについて次のように動作する。
[00209]現在のピクチャの復号順序で最初のスライスのスライスセグメントヘッダの復号の場合、Ｆ．８．１．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャの復号を開始するための復号プロセスが呼び出される。
[00210]ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇが１に等しい場合、Ｇ．８．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャのための復号プロセスが呼び出される。
[00211]そうでない場合、ＤｅｐｅｎｄｅｎｃｙＩｄ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０よりも大きいとき、Ｈ．８．１．１節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャのための復号プロセスが呼び出される。
[00212]現在のピクチャのすべてのスライスが復号された後、Ｆ．８．１．２節において規定される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコーディングされたピクチャの復号を終了するための復号プロセスが呼び出される。」
[00213]以下の言語が仕様に追加され得る。
[00214]「ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、以下のことが適用される。
[00215]変数ｓｗｉｔｃｈｉｎｇＦｌａｇは０に設定される。
[00216]現在のピクチャがＩＲＡＰピクチャであり、現在のピクチャよりも低い値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが同じアクセスユニットの中に存在するとき、以下のことが適用される。これらの２つのピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は、ｌａｙｅｒＩｄＡおよびｌａｙｅｒＩｄＢとして表され、ｌａｙｅｒＩｄＢはｌａｙｅｒＩｄＡよりも大きく、ｓｗｉｔｃｈｉｎｇＦｌａｇは１に設定され、変数ｌａｙｅｒＩｄＳｗｉｔｃｈはｌａｙｅｒＩｄＡとして設定され、変数ｋｅｅｐＰｉｃＦｌａｇはｋｅｅｐ＿ｂａｓｅ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇに等しく設定される。
[00217]現在のアクセスユニット内に１つのピクチャのみが存在し、それのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が前のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値よりも小さいとき、ｓｗｉｔｃｈｉｎｇＦｌａｇは１に設定され、ｌａｙｅｒＩｄＳｗｉｔｃｈは前のアクセスユニット中のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に設定され、ｋｅｅｐＰｉｃＦｌａｇは０に等しく設定される。
[00218]ｓｗｉｔｃｈｉｎｇＦｌａｇが１に等しいとき、以下のことが記載された順序で適用される。
[00219]ｋｅｅｐＰｉｃＦｌａｇが１に等しいとき、現在のピクチャのアクセスユニットと同じアクセスユニットの中のピクチャは、「参照として使用される」ものとして印をつけられる。
[00220]ＤＰＢの中のｌａｙｅｒＩｄＳｗｉｔｃｈに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべての他の参照ピクチャは「参照として使用されない」ものとして印をつけられ、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する他の復号されたピクチャはＤＰＢから除去される。現在のピクチャを除いて、ＤＰＢの中に残っているそれらのピクチャの各々、およびｋｅｅｐＰｉｃＦｌａｇが１に等しいときには現在のピクチャと同じアクセスユニットの中の下位レイヤのピクチャは、それが出力された後、直ちにＤＰＢから除去される。」
他の考慮事項
[00221]本明細書で開示された情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。
[00222]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明されている。そのような機能性が、ハードウェアまたはソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の適用例ごとに様々な方法で記載された機能を実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。
[00223]本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのいずれかで実装され得る。モジュールまたは構成要素として記載された任意の特徴は、集積論理デバイス内で一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体などの、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波などの、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[00224]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路もしくはディスクリート論理回路、などの１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、計算デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書に記載された技法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、または複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
[00225]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットが、開示された技法を実行するように構成されるデバイスの機能的態様を強調するために本開示で説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、適切なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[00226]本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
[00226]本発明の様々な実施形態について説明した。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオ情報をコーディングするように構成された装置であって、前記装置は、
第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
前記メモリユニットと通信しているプロセッサとを備え、前記プロセッサは、
前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号し、
前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶し、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定し、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理する
ように構成される、装置。
［Ｃ２］ 前記プロセッサは、
前記１つまたは複数の復号された第１のレイヤピクチャのうちの、どの１つまたは複数が前記復号ピクチャバッファに保持されるべきであるかを示すフラグまたはシンタックス要素をシグナリングまたは受信することと、
前記復号ピクチャバッファに保持されるべきと示されていない前記１つまたは複数の復号された第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
によって前記指示を処理するように構成される、Ｃ１に記載の装置。
［Ｃ３］ 前記フラグまたはシンタックス要素は、前記第２のレイヤピクチャのうちの１つのスライスヘッダに含まれる、Ｃ２に記載の装置。
［Ｃ４］ 前記１つまたは複数の復号された第１のレイヤピクチャの各々を除去することは、前記１つまたは複数の復号された第１のレイヤピクチャの前記各々に、参照として使用されないものとして印をつけることを備える、Ｃ２に記載の装置。
［Ｃ５］ 前記プロセッサは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを実行することによって前記指示を処理するように構成される、Ｃ１に記載の装置。
［Ｃ６］ 前記プロセッサは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが参照として使用されないことを示すことによって、前記指示を処理するように構成される、Ｃ１に記載の装置。
［Ｃ７］ 前記プロセッサは、前記復号ピクチャバッファの中のすべての復号された第１のレイヤピクチャが前記復号ピクチャバッファから除去されるべきであることを示すことによって、前記指示を処理するように構成される、Ｃ１に記載の装置。
［Ｃ８］ 前記プロセッサは、
１つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去し、
対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定し、
新しい第１のレイヤピクチャを、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングする
ようにさらに構成される、Ｃ１に記載の装置。
［Ｃ９］ 前記プロセッサは、
前記第１のレイヤピクチャの各時間ＩＤに対して、１つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去し、
対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定し、
新しい第１のレイヤピクチャを、前記新しい第１のレイヤピクチャと同じ時間ＩＤを有する、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングする
ようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１０］ 前記プロセッサは、
前記復号ピクチャバッファに記憶されている前記第１のレイヤピクチャのうちの１つまたは複数が将来のコーディングのために保持されるべきであるかどうかを示すフラグまたはシンタックス要素を処理することと、
前記フラグまたはシンタックス要素によって将来のコーディングのために保持されるべきであると示されていない前記第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
によって前記指示を処理するように構成される、Ｃ１に記載の装置。
［Ｃ１１］ 前記プロセッサは、
対応する第２のレイヤピクチャを有しない新しいレイヤの新しいレイヤピクチャがコーディングされるべきであると決定し、
前記新しいレイヤピクチャをコーディングするようにさらに構成され、
ここにおいて、前記新しいレイヤピクチャは、前記第１のレイヤピクチャと同じ解像度を有し、前記新しいレイヤは、前記第１のレイヤと同じレイヤＩＤを有する、
Ｃ１に記載の装置。
［Ｃ１２］ 前記プロセッサは、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、表示順序において直近にコーディングされた第１のレイヤピクチャに直ちに続くダミーピクチャを処理し、
前記ダミーピクチャを使用して、前記少なくとも１つの復号された第１のレイヤピクチャが前記ダミーピクチャの前記使用を伴わずに除去されることになった時間期間よりも前に、前記少なくとも１つの復号された第１のレイヤピクチャを除去させる
ようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１３］ 前記装置はエンコーダを備え、ここにおいて、前記プロセッサは、ビットストリームの中の前記ビデオ情報を符号化するようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１４］ 前記装置はデコーダを備え、ここにおいて、前記プロセッサは、ビットストリームの中の前記ビデオ情報を復号するようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１５］ 前記装置は、コンピュータ、ノートブック、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータのうちの１つまたは複数からなるグループから選択されたデバイスを備える、Ｃ１に記載の装置。
［Ｃ１６］ ビデオ情報をコーディングする方法であって、前記方法は、
第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号することと、
前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理することと
を備える方法。
［Ｃ１７］ 前記指示を処理することは、
前記１つまたは複数の復号された第１のレイヤピクチャのうちの、どの１つまたは複数が前記復号ピクチャバッファに保持されるべきであるかを示すフラグまたはシンタックス要素をシグナリングまたは受信することと、
前記復号ピクチャバッファに保持されるべきと示されていない前記１つまたは複数の復号された第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
を備える、Ｃ１６に記載の方法。
［Ｃ１８］ 前記指示を処理することは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを備える、Ｃ１６に記載の方法。
［Ｃ１９］ 対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの前記少なくとも１つは、単一のピクチャを含むアクセスユニットの部分である、Ｃ１６に記載の方法。
［Ｃ２０］ 前記第１のレイヤピクチャは第１の解像度を有し、前記第２のレイヤピクチャは前記第１の解像度よりも高い第２の解像度を有する、Ｃ１６に記載の方法。
［Ｃ２１］ 前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つは、レイヤ間予測を使用して直近に復号された第１のレイヤピクチャに基づいて第２のレイヤピクチャを復号した後、前記復号ピクチャバッファから除去される、Ｃ１６に記載の方法。
［Ｃ２２］ １つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去することと、
対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定することと、
新しい第１のレイヤピクチャを、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングすることと
をさらに備えるＣ１６に記載の方法。
［Ｃ２３］ 前記第１のレイヤピクチャの各時間ＩＤに対して、１つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去することと、
対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定することと、
新しい第１のレイヤピクチャを、前記新しい第１のレイヤピクチャと同じ時間ＩＤを有する、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングすることと
をさらに備えるＣ１６に記載の方法。
［Ｃ２４］ 前記指示を処理することは、
前記復号ピクチャバッファに記憶されている前記第１のレイヤピクチャのうちの１つまたは複数が将来のコーディングのために保持されるべきであるかどうかを示すフラグまたはシンタックス要素を処理することと、
前記フラグまたはシンタックス要素によって将来のコーディングのために保持されるべきであると示されていない前記第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
を備える、Ｃ１６に記載の方法。
［Ｃ２５］ 対応する第２のレイヤピクチャを有しない新しいレイヤの新しいレイヤピクチャがコーディングされるべきであると決定することと、
前記新しいレイヤピクチャをコーディングすることとをさらに備え、
ここにおいて、前記新しいレイヤピクチャは、前記第１のレイヤピクチャと同じ解像度を有し、前記新しいレイヤは、前記第１のレイヤと同じレイヤＩＤを有する、
Ｃ１６に記載の方法。
［Ｃ２６］ 対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、表示順序において直近にコーディングされた第１のレイヤピクチャに直ちに続くダミーピクチャを処理することと、
前記ダミーピクチャを使用して、前記少なくとも１つの復号された第１のレイヤピクチャが前記ダミーピクチャの前記使用を伴わずに除去されることになった時間期間よりも前に、前記少なくとも１つの復号された第１のレイヤピクチャを除去させることと
をさらに備えるＣ１６に記載の方法。
［Ｃ２７］ 実行されると、装置に、
第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号することと、
前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理することと
を備えるプロセスを実行させるコードを備える非一時的コンピュータ可読媒体。
［Ｃ２８］ 前記指示を処理することは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを備える、Ｃ２７に記載のコンピュータ可読媒体。
［Ｃ２９］ ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶するための手段と、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号するための手段と、
前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶するための手段と、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定するための手段と、
対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理するための手段と
を備えるビデオコーディングデバイス。
［Ｃ３０］ 前記指示を処理するための前記手段は、
前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけるための手段、
前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングするための手段、または、
前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信するための手段、
のうちの１つを備える、Ｃ２９に記載のビデオコーディングデバイス。

Claims (30)

  1. ビデオ情報をコーディングするように構成された装置であって、前記装置は、
    第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
    前記メモリユニットと通信しているプロセッサとを備え、前記プロセッサは、
    前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号し、
    前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶し、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定し、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理する
    ように構成される、装置。
  2. 前記プロセッサは、
    前記１つまたは複数の復号された第１のレイヤピクチャのうちの、どの１つまたは複数が前記復号ピクチャバッファに保持されるべきであるかを示すフラグまたはシンタックス要素をシグナリングまたは受信することと、
    前記復号ピクチャバッファに保持されるべきと示されていない前記１つまたは複数の復号された第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
    によって前記指示を処理するように構成される、請求項１に記載の装置。
  3. 前記フラグまたはシンタックス要素は、前記第２のレイヤピクチャのうちの１つのスライスヘッダに含まれる、請求項２に記載の装置。
  4. 前記１つまたは複数の復号された第１のレイヤピクチャの各々を除去することは、前記１つまたは複数の復号された第１のレイヤピクチャの前記各々に、参照として使用されないものとして印をつけることを備える、請求項２に記載の装置。
  5. 前記プロセッサは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを実行することによって前記指示を処理するように構成される、請求項１に記載の装置。
  6. 前記プロセッサは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが参照として使用されないことを示すことによって、前記指示を処理するように構成される、請求項１に記載の装置。
  7. 前記プロセッサは、前記復号ピクチャバッファの中のすべての復号された第１のレイヤピクチャが前記復号ピクチャバッファから除去されるべきであることを示すことによって、前記指示を処理するように構成される、請求項１に記載の装置。
  8. 前記プロセッサは、
    １つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去し、
    対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定し、
    新しい第１のレイヤピクチャを、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングする
    ようにさらに構成される、請求項１に記載の装置。
  9. 前記プロセッサは、
    前記第１のレイヤピクチャの各時間ＩＤに対して、１つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去し、
    対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定し、
    新しい第１のレイヤピクチャを、前記新しい第１のレイヤピクチャと同じ時間ＩＤを有する、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングする
    ようにさらに構成される、請求項１に記載の装置。
  10. 前記プロセッサは、
    前記復号ピクチャバッファに記憶されている前記第１のレイヤピクチャのうちの１つまたは複数が将来のコーディングのために保持されるべきであるかどうかを示すフラグまたはシンタックス要素を処理することと、
    前記フラグまたはシンタックス要素によって将来のコーディングのために保持されるべきであると示されていない前記第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
    によって前記指示を処理するように構成される、請求項１に記載の装置。
  11. 前記プロセッサは、
    対応する第２のレイヤピクチャを有しない新しいレイヤの新しいレイヤピクチャがコーディングされるべきであると決定し、
    前記新しいレイヤピクチャをコーディングするようにさらに構成され、
    ここにおいて、前記新しいレイヤピクチャは、前記第１のレイヤピクチャと同じ解像度を有し、前記新しいレイヤは、前記第１のレイヤと同じレイヤＩＤを有する、
    請求項１に記載の装置。
  12. 前記プロセッサは、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、表示順序において直近にコーディングされた第１のレイヤピクチャに直ちに続くダミーピクチャを処理し、
    前記ダミーピクチャを使用して、前記少なくとも１つの復号された第１のレイヤピクチャが前記ダミーピクチャの前記使用を伴わずに除去されることになった時間期間よりも前に、前記少なくとも１つの復号された第１のレイヤピクチャを除去させる
    ようにさらに構成される、請求項１に記載の装置。
  13. 前記装置はエンコーダを備え、ここにおいて、前記プロセッサは、ビットストリームの中の前記ビデオ情報を符号化するようにさらに構成される、請求項１に記載の装置。
  14. 前記装置はデコーダを備え、ここにおいて、前記プロセッサは、ビットストリームの中の前記ビデオ情報を復号するようにさらに構成される、請求項１に記載の装置。
  15. 前記装置は、コンピュータ、ノートブック、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータのうちの１つまたは複数からなるグループから選択されたデバイスを備える、請求項１に記載の装置。
  16. ビデオ情報をコーディングする方法であって、前記方法は、
    第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
    前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号することと、
    前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理することと
    を備える方法。
  17. 前記指示を処理することは、
    前記１つまたは複数の復号された第１のレイヤピクチャのうちの、どの１つまたは複数が前記復号ピクチャバッファに保持されるべきであるかを示すフラグまたはシンタックス要素をシグナリングまたは受信することと、
    前記復号ピクチャバッファに保持されるべきと示されていない前記１つまたは複数の復号された第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
    を備える、請求項１６に記載の方法。
  18. 前記指示を処理することは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを備える、請求項１６に記載の方法。
  19. 対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの前記少なくとも１つは、単一のピクチャを含むアクセスユニットの部分である、請求項１６に記載の方法。
  20. 前記第１のレイヤピクチャは第１の解像度を有し、前記第２のレイヤピクチャは前記第１の解像度よりも高い第２の解像度を有する、請求項１６に記載の方法。
  21. 前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つは、レイヤ間予測を使用して直近に復号された第１のレイヤピクチャに基づいて第２のレイヤピクチャを復号した後、前記復号ピクチャバッファから除去される、請求項１６に記載の方法。
  22. １つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去することと、
    対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定することと、
    新しい第１のレイヤピクチャを、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングすることと
    をさらに備える請求項１６に記載の方法。
  23. 前記第１のレイヤピクチャの各時間ＩＤに対して、１つを除くすべての第１のレイヤピクチャを前記復号ピクチャバッファから除去することと、
    対応する第２のレイヤピクチャを有しない前記第１のレイヤピクチャがコーディングされるべきであると決定することと、
    新しい第１のレイヤピクチャを、前記新しい第１のレイヤピクチャと同じ時間ＩＤを有する、前記復号ピクチャバッファの中に残っている前記第１のレイヤピクチャを使用してコーディングすることと
    をさらに備える請求項１６に記載の方法。
  24. 前記指示を処理することは、
    前記復号ピクチャバッファに記憶されている前記第１のレイヤピクチャのうちの１つまたは複数が将来のコーディングのために保持されるべきであるかどうかを示すフラグまたはシンタックス要素を処理することと、
    前記フラグまたはシンタックス要素によって将来のコーディングのために保持されるべきであると示されていない前記第１のレイヤピクチャの各々を、前記復号ピクチャバッファから除去することと
    を備える、請求項１６に記載の方法。
  25. 対応する第２のレイヤピクチャを有しない新しいレイヤの新しいレイヤピクチャがコーディングされるべきであると決定することと、
    前記新しいレイヤピクチャをコーディングすることとをさらに備え、
    ここにおいて、前記新しいレイヤピクチャは、前記第１のレイヤピクチャと同じ解像度を有し、前記新しいレイヤは、前記第１のレイヤと同じレイヤＩＤを有する、
    請求項１６に記載の方法。
  26. 対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、表示順序において直近にコーディングされた第１のレイヤピクチャに直ちに続くダミーピクチャを処理することと、
    前記ダミーピクチャを使用して、前記少なくとも１つの復号された第１のレイヤピクチャが前記ダミーピクチャの前記使用を伴わずに除去されることになった時間期間よりも前に、前記少なくとも１つの復号された第１のレイヤピクチャを除去させることと
    をさらに備える請求項１６に記載の方法。
  27. 実行されると、装置に、
    第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶することと、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
    前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号することと、
    前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶することと、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することと、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理することと
    を備えるプロセスを実行させるコードを備える非一時的コンピュータ可読媒体。
  28. 前記指示を処理することは、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけること、前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングすること、または前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信すること、のうちの１つを備える、請求項２７に記載のコンピュータ可読媒体。
  29. ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
    第１のレイヤおよび第２のレイヤのうちの少なくとも１つに関連付けられたビデオ情報を記憶するための手段と、前記第１のレイヤは、第１のレイヤピクチャを備え、前記第２のレイヤは、第２のレイヤピクチャを備える、
    前記第１のレイヤの前記第１のレイヤピクチャのうちの１つまたは複数を復号するための手段と、
    前記１つまたは複数の復号された第１のレイヤピクチャを復号ピクチャバッファに記憶するための手段と、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定するための手段と、
    対応する第１のレイヤピクチャを有しない前記第２のレイヤピクチャのうちの少なくとも１つがコーディングされるべきであると決定することに応答して、前記復号ピクチャバッファに記憶されている前記１つまたは複数の復号された第１のレイヤピクチャのうちの少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を処理するための手段と
    を備えるビデオコーディングデバイス。
  30. 前記指示を処理するための前記手段は、
    前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つに、参照として使用されないものとして印をつけるための手段、
    前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであることを示すフラグまたはシンタックス要素をシグナリングするための手段、または、
    前記１つまたは複数の復号された第１のレイヤピクチャのうちの前記少なくとも１つが前記復号ピクチャバッファから除去されるべきであるという指示を受信するための手段、
    のうちの１つを備える、請求項２９に記載のビデオコーディングデバイス。
JP2016525392A 2013-07-11 2014-07-03 ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 Pending JP2016526855A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361845060P 2013-07-11 2013-07-11
US61/845,060 2013-07-11
US14/322,786 2014-07-02
US14/322,786 US20150016500A1 (en) 2013-07-11 2014-07-02 Device and method for scalable coding of video information
PCT/US2014/045461 WO2015006168A1 (en) 2013-07-11 2014-07-03 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
JP2016526855A true JP2016526855A (ja) 2016-09-05
JP2016526855A5 JP2016526855A5 (ja) 2017-07-20

Family

ID=52277072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525392A Pending JP2016526855A (ja) 2013-07-11 2014-07-03 ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法

Country Status (6)

Country Link
US (1) US20150016500A1 (ja)
EP (1) EP3020189A1 (ja)
JP (1) JP2016526855A (ja)
KR (1) KR20160031498A (ja)
CN (1) CN105519111A (ja)
WO (1) WO2015006168A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055999A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Layer switching in video coding
US20150103924A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US11095939B2 (en) 2016-09-07 2021-08-17 Lg Electronics Inc. Image display device and system thereof
US10484701B1 (en) * 2016-11-08 2019-11-19 Amazon Technologies, Inc. Rendition switch indicator
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
EP3918801A4 (en) * 2019-01-28 2022-06-15 OP Solutions, LLC ONLINE AND OFFLINE CHOICE OF EXTENDED LONG-TERM REFERENCE IMAGE STORAGE
US11785205B2 (en) * 2019-12-24 2023-10-10 Qualcomm Incorporated Shared decoder picture buffer for multiple layers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274694A (ja) * 2002-07-11 2004-09-30 Matsushita Electric Ind Co Ltd 画像符号化方法及び画像復号化方法
WO2008084443A1 (en) * 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的***和方法
PL3131294T3 (pl) * 2011-01-14 2020-11-16 Sun Patent Trust Sposób i urządzenie do predykcji czasowej w skalowalnym kodowaniu wideo
WO2013006114A2 (en) * 2011-07-05 2013-01-10 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274694A (ja) * 2002-07-11 2004-09-30 Matsushita Electric Ind Co Ltd 画像符号化方法及び画像復号化方法
WO2008084443A1 (en) * 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIRAN MISRA 5750 PACIFIC RIM BLVD,CAMAS, WA 98607,USA.: "AHG18/21: Absolute signaling for resolution switching[online]", JCTVC-G JCTVC-G715, JPN6018018643, ISSN: 0003940806 *

Also Published As

Publication number Publication date
CN105519111A (zh) 2016-04-20
US20150016500A1 (en) 2015-01-15
EP3020189A1 (en) 2016-05-18
WO2015006168A1 (en) 2015-01-15
KR20160031498A (ko) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6580576B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP6498706B2 (ja) スケーラブルビデオコード化におけるビットストリーム適合制約
JP6591425B2 (ja) Ｈｅｖｃマルチレイヤ拡張における非ｈｅｖｃベースレイヤのサポート
JP6193494B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP2017525224A (ja) マルチレイヤコーデックにおける表現フォーマット更新
JP6573879B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP2017517185A (ja) マルチレイヤコーディングにおける適合ウィンドウ情報
JP2016539545A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP6608374B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP2017507542A (ja) ビデオコーディングにおけるＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの改善された推論
JP6434044B2 (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
JP2017508336A (ja) マルチレイヤビデオコーディングにおける異なるコーデックのベースレイヤのサポート
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
JP2016526855A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP2017507539A (ja) マルチレイヤコーディングにおいて回復点補足エンハンスメント情報（ｓｅｉ）メッセージと領域リフレッシュ情報ｓｅｉメッセージとをコーディングするための方法
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
JP6312838B2 (ja) マルチレイヤコード化においてレイヤ間参照ピクチャセット（ＲＰＳ）をコード化し、ビットストリーム終端（ＥｏＢ）ネットワークアクセスレイヤ（ＮＡＬ）単位をコード化するための方法
JP2017522793A (ja) マルチレイヤコーデックのためのピクチャ順序カウントリセット
JP2016503982A (ja) 高効率ビデオコード化に基づくビデオ情報のスケーラブルコード化のための機器及び方法
JP6661540B2 (ja) マルチレイヤコード化において参照ピクチャセット（ｒｐｓ）をコード化するための方法
JP2018511238A (ja) 高速レートひずみ最適量子化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181218