JP2016506697A - マルチレイヤビデオコーディングのための多重解像度復号ピクチャバッファ管理 - Google Patents

Abstract

本開示では、異なる解像度をもつ複数の復号レイヤコンポーネントが記憶される必要があるときの復号ピクチャバッファ（ＤＰＢ）管理のための様々な方法および技法について説明する。一例では、ビデオデータをコーディングする方法は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶することと、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される、を備える。

Description

[0001]本出願は、２０１３年１月４日に出願された米国仮特許出願第６１／７４９，１０５号の利益を主張する。

[0002]本開示は、ビデオコーディングのための技法に関し、より詳細には、マルチレイヤビデオコーディングのための技法に関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）によって定義された規格、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。

[0004]Ｈ．２６４／ＡＶＣを含む、上述の規格のうちのいくつかの拡張が、マルチレイヤビデオコーディングのための技法を提供する。マルチレイヤビデオコーディング技法は、スケーラブルビデオコーディング技法と、マルチビュービデオコーディング技法と、マルチビュー＋深度（multi-view plus depth）ビデオコーディング技法とを含み得る。ステレオビデオまたは３次元（「３Ｄ」）ビデオを生成するために、たとえば、マルチビューコーディングのための技法が、（Ｈ．２６４／ＡＶＣに対するスケーラブル拡張である）スケーラブルビデオコーディング（ＳＶＣ：scalable video coding）規格、および（Ｈ．２６４／ＡＶＣに対するマルチビュー拡張になっている）マルチビュービデオコーディング（ＭＶＣ：multi-view video coding）規格とともに、ＡＶＣにおいて使用するために提案されている。

[0005]一般に、ステレオビデオは、２つのビュー、たとえば、左ビューと右ビューとを使用して実現される。３次元ビデオ効果を実現するために、左ビューのピクチャは右ビューのピクチャと実質的に同時に表示され得る。たとえば、ユーザは、左ビューを右ビューからフィルタ処理する偏光パッシブ眼鏡を着用し得る。代替的に、２つのビューのピクチャは高速で連続して示され得、ユーザは、同じ頻度で、ただし位相が９０度シフトして左眼と右眼とを迅速に閉じるアクティブ眼鏡を着用し得る。

[0006]概して、本開示では、マルチレイヤビデオコーディングのための技法について説明する。特に、本開示は、マルチレイヤビデオコーディングのための復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）管理に関する。

[0007]本開示の１つまたは複数の例では、ビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、以下の方法を実行するように構成され得る。

[0008]本開示の一例では、ビデオデータをコーディングする方法は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶することと、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される、を備える。

[0009]本開示の別の例では、ビデオデータをコーディングするように構成された装置は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶することと、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される、を行うように構成されたビデオコーダを備える。

[0010]本開示の別の例では、ビデオデータをコーディングするように構成された装置は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号するための手段と、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶するための手段と、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行するための手段と、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される、を備える。

[0011]別の例では、本開示では、実行されたとき、ビデオデータをコーディングするように構成されたデバイスの１つまたは複数のプロセッサに、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶することと、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される、を行わせる命令を記憶するコンピュータ可読記憶媒体について説明する。

[0012]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

[0013]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0014]例示的なマルチビュー復号順序を示す概念図。 [0015]マルチビューコーディングのための例示的な予測構造を示す概念図。 [0016]例示的なスケーラブルビデオコーディングレイヤを示す概念図。 [0017]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0018]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0019]本開示の第１の例による例示的なＤＰＢを示す概念図。 [0020]本開示の第２の例による例示的なＤＰＢを示す概念図。 [0021]本開示の第３の例による例示的なＤＰＢを示す概念図。 [0022]本開示の第４の例による例示的なＤＰＢを示す概念図。 [0023]本開示の技法による例示的な方法を示すフローチャート。

[0024]概して、本開示では、マルチレイヤビデオコーディングにおける復号ピクチャの管理のための技法について説明し、ここにおいて、異なるレイヤが異なる空間解像度を有し得る。本開示のコンテキストでは、レイヤは、スケーラブルビデオコーディングプロセス（たとえば、Ｈ．２６４／ＳＶＣ、または新生の高効率ビデオコーディング（ＨＥＶＣ）規格のスケーラブル拡張）におけるレイヤ、マルチビューまたは３Ｄビデオコーディングにおけるテクスチャビュー、あるいは３Ｄビデオコーディングにおける深度ビューであり得る。別の例として、レイヤは、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含むシングルビューに対応し得る。したがって、「レイヤ」という用語は、本開示では、概して、ＳＶＣの意味ではレイヤを指し、ＭＶＣの意味ではビューを指すために使用され得る。本開示の技法は、マルチビュー拡張、３Ｄビデオ拡張、ならびにＨＥＶＣおよびＨ．２６４／ＡＶＣのスケーラブル拡張を含む、そのようなビデオコーディングシナリオに適用され得る。

[0025]以下で説明する技法は、深度マップを用いたピクチャの２つ以上のビューのコーディングを含む、アドバンストコーデックに基づく、スケーラブル、マルチビューおよび３Ｄビデオコーディングに適用され得る。ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含む。さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって現在開発されている。ＨＥＶＣの最近のＷＤは、ＪＣＴＶＣ−Ｋ１００３、「High Efficiency Video Coding (HEVC) text specification draft 9」、第１１回会議：上海、中国、２０１２年１０月１０〜１９日に記載されており、２０１２年１２月１７日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v12.zipにおいてダウンロードのために利用可能であり、その内容全体は参照により本明細書に組み込まれる。

[0026]ＨＥＶＣのより最近のドラフトは、ＩＴＵ−Ｔ Ｈ．２６５、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ Ａｕｄｉｏｖｉｓｕａｌ Ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｖｉｄｅｏ、「High Efficiency Video Coding」、２０１３年４月（以下、「ＨＥＶＣ」）に記載されている。ＨＥＶＣは、その全体が参照により本明細書に組み込まれる。ＨＥＶＣに対する様々な拡張が提案されている。１つのそのような拡張はＨＥＶＣ範囲拡張であり、ＨＥＶＣ範囲拡張は、「High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 4」、ＪＣＴＶＣ−Ｎ１００５＿ｖ１、２０１３年４月（以下、「ＪＣＴＶＣ−Ｎ１００５」）に記載されている。「High efficiency video coding (HEVC) scalable extension draft 3」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１４回会議：ウィーン、オーストリア、２０１３年７月２５日〜８月２日と題し、以下でＳＨＥＶＣ ＷＤ３と呼ばれる、スケーラブルＨＥＶＣ（ＳＨＥＶＣ）の最近のワーキングドラフト（ＷＤ）は、http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zipから利用可能であり、その内容全体は参照により本明細書に組み込まれる。

[0027]復号ピクチャバッファ（ＤＰＢ）管理のための現在のソリューションは、同じ解像度をもつ異なるレイヤが記憶される状況のみを対象とする。すなわち、ＤＰＢ管理のための現在の技法は、各レイヤが同数のピクセル（すなわち、解像度）を含むと仮定し、それにより、レイヤが異なる数のピクセルを有するときに非効率が生じる。この欠点に鑑みて、本開示では、異なる解像度をもつ複数の復号レイヤコンポーネントが記憶される必要があるときのＤＰＢ管理のための様々な方法および技法について説明する。

[0028]図１は、本開示で説明するマルチレイヤビデオコーディングにおける復号ピクチャバッファ管理のための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0029]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[0030]代替的に、符号化データは、出力インターフェース２２からストレージデバイス３４に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス３４からアクセスされ得る。ストレージデバイス３４は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３４から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0031]マルチレイヤビデオ復号における復号ピクチャバッファ管理のための本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0032]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。

[0033]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４上に記憶され得る。

[0034]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３４上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０など、ビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。

[0035]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0036]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ：HEVC Test Model）に準拠し得る。特に、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダは、マルチビュー、またはマルチビュー＋深度ビデオコーディングをサポートする、ＨＥＶＣの拡張に従って動作し得る。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいは、Ｈ．２６４／ＳＶＣを含む、そのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。特に、本開示の技法によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、３ＤＶおよび／またはマルチビュー符号化が可能なビデオコーディング規格（たとえば、３Ｄ−ＨＥＶＣ、Ｈ．２６４／ＭＶＣなど）に従って動作し得る。

[0037]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0038]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

[0039]本開示の以下のセクションでは、ＨＥＶＣ規格の背景を与える。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づいていた。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。

[0040]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。

[0041]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、概して、コーディングノードのサイズに対応し、一般に、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。

[0042]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。

[0043]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、予測方向によって示され得る、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。

[0044]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）をも含み得る。予測に続いて、ビデオエンコーダ２０は、ＰＵに従ってコーディングノードによって識別されたビデオブロックから残差値を計算し得る。コーディングノードは、次いで、元のビデオブロックではなく、残差値を参照するように更新される。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するためにＴＵ中で指定された変換および他の変換情報を使用して変換係数に変換され、量子化され、走査され得る。コーディングノードは、これらのシリアル化変換係数を参照するように、もう一度更新され得る。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指す「ビデオブロック」という用語をも使用し得る。

[0045]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：group of picture）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。

[0046]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0047]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。

[0048]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵによって指定された変換が適用される残差データを計算し得る。残差データは、符号化されていないピクチャのピクセルと、ＣＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを形成し、次いで、残差データを変換して、変換係数を生成し得る。

[0049]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。

[0050]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0051]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0052]また、ＨＥＶＣ拡張がＪＣＴ−３ＶおよびＪＣＴ−ＶＣにおいて現在開発中である。ＪＣＴ−３Ｖでは、２つのＨＥＶＣ拡張、マルチビュー拡張（ＭＶ−ＨＥＶＣ）と３Ｄビデオ拡張（３Ｄ−ＨＥＶＣ）とが開発されている。さらに、２つのＡＶＣ拡張、ＭＶＣ＋Ｄと３Ｄ−ＡＶＣとが開発されている。

[0053]進行中の規格の最新のバージョンは次のように記載されている。

− http://phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zipにおいて利用可能である、Ｔ．Ｓｕｚｕｋｉ、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｓ．Ｈａｔｔｏｒｉ、Ｇ．Ｓｕｌｌｉｖａｎ、「MVC Extension for Inclusion of Depth Maps Draft Text 6」、ＪＣＴ３Ｖ−Ｃ１００１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第４回会議。

− http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zipにおいて利用可能である、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｔ．Ｓｕｚｕｋｉ、Ｊ．−Ｒ．Ｏｈｍ、Ｇ．Ｓｕｌｌｉｖａｎ、「3D-AVC Draft Text 8」、ＪＣＴ３Ｖ−Ｆ１００２、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。

− http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zipにおいて利用可能である、ＪＣＴ３Ｖ−Ｆ１００４、「MV-HEVC Draft Text 6」、Ｇ．Ｔｅｃｈ、Ｋ．Ｗｅｇｎｅｒ、Ｙ．Ｃｈｅｎ、Ｍ．Ｈａｎｎｕｋｓｅｌａ、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。

− http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2において利用可能である、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｎｇｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｓｅｈｏｏｎ Ｙｅａ、「3D-HEVC Draft Text 2」、ＪＣＴ３Ｖ−Ｆ１００１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。

[0054]次に、Ｈ．２６４／アドバンストビデオコーディング（ＡＶＣ）規格の拡張のマルチビュービデオコーディング技法について説明する。ただし、本開示の技法は、新生のＨＥＶＣ規格（たとえば、マルチビューＨＥＶＣおよび３Ｄ−ＨＥＶＣ）のためのマルチビューコーディングおよび／または３Ｄコーディングマルチビュー提案をサポートする任意のビデオコーディング規格とともに適用可能であり得る。

[0055]マルチビュービデオコーディング（ＭＶＣ）はＨ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）を図２に示す。復号順序構成は時間優先（time-first）コーディングと呼ばれる。アクセスユニットの復号順序は出力または表示の順序と同じでないことがあることに留意されたい。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８はそれぞれ、１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスについてのすべてのビューのコード化ピクチャを含み得る。たとえば、第１のアクセスユニットは時間インスタンスＴ０についてのビューＳ０〜Ｓ７のすべてを含み得、第２のアクセスユニットは時間インスタンスＴ１についてのビューＳ０〜Ｓ７のすべてを含み得、以下同様である。

[0056]簡潔のために、本開示では、以下の定義を使用し得る。

ビューコンポーネント：単一のアクセスユニット中のビューのコード化表現。ビューがコード化テクスチャ表現とコード化深度表現の両方を含むとき、ビューコンポーネントは、テクスチャビューコンポーネントと深度ビューコンポーネントとを含み得る。

テクスチャビューコンポーネント：単一のアクセスユニット中のビューのテクスチャのコード化表現。

深度ビューコンポーネント：単一のアクセスユニット中のビューの深度のコード化表現。

[0057]上記で説明したように、本開示のコンテキストでは、ビューコンポーネント、テクスチャビューコンポーネント、および深度バイドコンポーネントは一般にレイヤと呼ばれることがある。図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。各セットは２つのピクチャを含み、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントと深度ビューコンポーネントは、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ、その逆も同様である（すなわち、深度ビューコンポーネントはセット中のそれのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、単一のアクセスユニットの同じビューの一部であるテクスチャビューコンポーネントおよび深度ビューコンポーネントと見なされ得る。

[0058]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。たとえば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビューコンポーネントは、それの対応するテクスチャビューコンポーネント中のピクセルの相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビューコンポーネントは、画像コンテンツを搬送するのではなく、テクスチャビューコンポーネント中のピクセルの相対深度の測度を与え得る。

[0059]たとえば、深度ビューコンポーネント中の純白のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより近いことを示し、深度ビューコンポーネント中の純黒のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより遠いことを示す。黒と白との中間にあるグレーの様々な色合いは、様々な深度レベルを示す。たとえば、深度ビューコンポーネント中の濃いグレーのピクセルは、テクスチャビューコンポーネント中のそれの対応するピクセルが、深度ビューコンポーネント中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためにグレースケールのみが必要とされるので、深度ビューコンポーネントの色値がいかなる目的も果たし得ないことから、深度ビューコンポーネントはクロマ成分を含む必要がない。

[0060]深度を識別するためにルーマ値（たとえば、強度値）のみを使用する深度ビューコンポーネントが説明のために与えられ、限定するものと見なされるべきではない。他の例では、テクスチャビューコンポーネント中のピクセルの相対深度を示すために任意の技法が利用され得る。

[0061]マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図３に示す。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にするディスパリティ（disparity）動き補償により、ビュー間予測がサポートされる。

[0062]図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ５」を有する）６つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションを示す。

[0063]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラ（renderer）は、複数のビューをもつ３Ｄビデオコンテンツを予想し得る。

[0064]図３中のピクチャは、各行と各列との交点に示されている。Ｈ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用し得る。

[0065]図３中のピクチャは、対応するピクチャがイントラコーディングされる（すなわち、Ｉピクチャである）か、あるいは一方向に（すなわち、Ｐピクチャとして）または複数の方向に（すなわち、Ｂピクチャとして）インターコーディングされるかを指定する、文字を含むブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。

[0066]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のｂピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビュー間予測は、３Ｄ−ＨＥＶＣ（マルチビュー＋深度）を含むＨＥＶＣの提案されたマルチビュー拡張の機能でもある。

[0067]図３は、ビュー間予測の様々な例を与える。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のｂピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のｂピクチャから予測される。

[0068]いくつかの例では、図３は、テクスチャビューコンポーネントを示すものとして見られ得る。たとえば、図２に示されたＩピクチャ、Ｐピクチャ、Ｂピクチャ、およびｂピクチャは、ビューの各々のためのテクスチャビューコンポーネントと見なされ得る。本開示で説明する技法によれば、図３に示されているテクスチャビューコンポーネントの各々について、対応する深度ビューコンポーネントがある。いくつかの例では、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントについて図３に示されている方式と同様の方式で予測され得る。

[0069]２つのビューのコーディングもＭＶＣによってサポートされ得る。ＭＶＣの利点のうちの１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとり得、ＭＶＣデコーダがそのようなマルチビュー表現を復号し得ることである。したがって、ＭＶＣデコーダをもつどんなレンダラも、３つ以上のビューをもつ３Ｄビデオコンテンツを復号し得る。

[0070]上記で説明したように、ＭＶＣでは、（いくつかの事例では、同じ時間インスタンスをもつことを意味する）同じアクセスユニット中のピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。

[0071]ＭＶＣでは、同じアクセスユニット中の（すなわち、同じ時間インスタンスをもつ）ピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つ中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンスをもつ場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測参照ピクチャは、任意のインター予測参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に置かれ得る。

[0072]図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。これはビュー間予測と呼ばれる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測の参照であるかのように、ビュー間予測が実現される。しかしながら、潜在的なビュー間参照は、（表１に示すように）シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。

[0073]

[0074]ＳＰＳ ＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数がシグナリングされる。ＳＰＳ ＭＶＣ拡張においてシグナリングされるアンカーピクチャについての予測関係は、同じビューの（ＳＰＳ ＭＶＣ拡張においてシグナリングされる）非アンカーピクチャについての予測関係とは異なり得る。

[0075]次のセクションでは、ＨＥＶＣに関するマルチビューおよび３Ｄビデオコーディングについて説明する。特に、本開示の例示的な技法は、各々がテクスチャビューコンポーネントと深度ビューコンポーネントとをもつ、２つ以上のビューをコーディングするときに適用可能である。各ビューについての複数のビデオピクチャはテクスチャビューコンポーネントと呼ばれることがある。各テクスチャビューコンポーネントは、対応する深度ビューコンポーネントを有する。テクスチャビューコンポーネントはビデオコンテンツ（たとえば、ピクセル値のルーマ成分およびクロマ成分）を含み、深度ビューコンポーネントはテクスチャビューコンポーネント内のピクセルの相対深度を示し得る。

[0076]本開示の技法は、テクスチャデータと深度データとをコーディングすることによって３Ｄビデオデータをコーディングすることに関する。概して、「テクスチャ」という用語は、画像のルミナンス（すなわち、輝度または「ルーマ」）値と画像のクロミナンス（すなわち、色または「クロマ」）値とを説明するために使用される。いくつかの例では、テクスチャ画像は、１セットのルミナンスデータと、青色相（Ｃｂ）および赤色相（Ｃｒ）のための２セットのクロミナンスデータとを含み得る。４：２：２または４：２：０などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。すなわち、クロミナンス成分の空間解像度は、対応するルミナンス成分の空間解像度よりも低く、たとえば、ルミナンス解像度の１／２または１／４である。

[0077]深度データは、概して、対応するテクスチャデータの深度値を表す。たとえば、深度画像は、各々が対応するテクスチャデータの深度を表す深度ピクセルのセットを含み得る。深度データは、対応するテクスチャデータの水平ディスパリティを決定するために使用され得る。したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー（たとえば、左眼ビュー）のための第１のテクスチャ画像を表示し、深度値に基づいて決定された水平ディスパリティ値だけ第１の画像のピクセル値をオフセットすることによって、他方のビュー（たとえば、右眼ビュー）のための第２のテクスチャ画像を生成するように第１のテクスチャ画像を変更するために深度データを使用し得る。概して、水平ディスパリティ（または単に「ディスパリティ」）は、第２のビュー中の対応するピクセルに対する第１のビュー中のピクセルの水平空間オフセットを表し、２つのピクセルは、２つのビュー中で表される同じオブジェクトの同じ部分に対応する。

[0078]さらに他の例では、画像について定義されたゼロディスパリティ平面に対して所与のピクセルに関連する深度が定義されるように、画像平面に直交するｚ次元におけるピクセルについて深度データが定義され得る。そのような深度は、ピクセルを表示するための水平ディスパリティを作成するために使用され得、その結果として、ピクセルは、ゼロディスパリティ平面に対するピクセルのｚ次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロディスパリティ平面は、ビデオシーケンスの異なる部分に対して変化し得、ゼロディスパリティ平面に対する深度の量も変化し得る。ゼロディスパリティ平面上に位置するピクセルは、左眼と右眼とに対して同様に定義され得る。ゼロディスパリティ平面の前に位置するピクセルは、ピクセルが画像平面に直交するｚ方向の画像から出てくるように見える知覚を作成するように、（たとえば、水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。ゼロディスパリティ平面の後に位置するピクセルは、深度のわずかな知覚を提示するために、わずかなぼかしとともに表示され得るか、または（たとえば、ゼロディスパリティ平面の前に位置するピクセルの水平ディスパリティとは反対の水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。

[0079]深度ビューコンポーネント中の各ピクセルについて、テクスチャビューコンポーネント中の１つまたは複数の対応するピクセルがあり得る。たとえば、深度ビューコンポーネントの空間解像度とテクスチャビューコンポーネントの空間解像度が同じである場合、深度ビューコンポーネント中の各ピクセルはテクスチャビューコンポーネント中の１つのピクセルに対応する。深度ビューコンポーネントの空間解像度がテクスチャビューコンポーネントの空間解像度よりも小さい場合、深度ビューコンポーネント中の各ピクセルは、テクスチャビューコンポーネント中の複数のピクセルに対応する。深度ビューコンポーネント中のピクセルの値は、テクスチャビュー中の対応する１つまたは複数のピクセルの相対深度を示し得る。

[0080]いくつかの例では、ビデオエンコーダは、ビューの各々についてのテクスチャビューコンポーネントと対応する深度ビューコンポーネントとのビデオデータをシグナリングする。ビデオデコーダは、テクスチャビューコンポーネントと深度ビューコンポーネントとの両方のビデオデータを利用して、表示のためにビューのビデオコンテンツを復号する。次いで、ディスプレイは、マルチビュービデオを表示して、３Ｄビデオを生成する。

[0081]また、ＨＥＶＣのスケーラブル拡張がＪＣＴ−ＶＣによって開発されている。図４は、スケーラブルビデオコーディングの一例を示す概念図である。図４について、Ｈ．２６４／ＡＶＣおよびＳＶＣに関して説明するが、同様のレイヤは、ＨＥＶＣのスケーラブル拡張を含む、他のマルチレイヤビデオコーディング方式を請いながらコーディングされ得ることを理解されたい。図４の例は、同じコーデックを使用してコーディングされるレイヤを示す。他の例では、レイヤは、マルチスタンダードコーデックを使用してコーディングされ得る。たとえば、ベースレイヤは、Ｈ．２６４／ＡＶＣを使用してコーディングされ得るが、エンハンスメントレイヤは、ＨＥＶＣに対するスケーラブル拡張を使用してコーディングされ得る。したがって、以下のＳＶＣへの参照は、概してスケーラブルビデオコーディングに適用され得、Ｈ．２６４／ＳＶＣに限定されない。

[0082]ＳＶＣでは、スケーラビリティは、（ビットレートまたは信号対雑音比（ＳＮＲ）として表される）たとえば、空間、時間、品質を含む３次元において可能になり得る。概して、通常、任意の次元における表現を追加することによって、より良い表現が達成され得る。たとえば、図４の例では、レイヤ０は、７．５Ｈｚのフレームレートと６４キロバイト毎秒（ＫＢＰＳ）のビットレートとを有する１／４共通中間フォーマット（ＱＣＩＦ：Quarter Common Intermediate Format）においてコーディングされる。さらに、レイヤ１は、１５Ｈｚのフレームレートと６４ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ２は、１５Ｈｚのフレームレートと２５６ＫＢＰＳのビットレートとを有するＣＩＦにおいてコーディングされ、レイヤ３は、７．５Ｈｚのフレームレートと５１２ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ４は、３０Ｈｚのフレームレートとメガバイト毎秒（ＭＢＰＳ）のビットレートとを有する４ＣＩＦにおいてコーディングされる。図４に示されているレイヤの特定の数、コンテンツおよび構成は例として与えたものにすぎないことを理解されたい。

[0083]いずれの場合も、ビデオエンコーダ（ビデオエンコーダ２０など）がそのようなスケーラブルな方法でコンテンツを符号化すると、ビデオデコーダ（ビデオデコーダ３０など）は、抽出器ツールを使用して、たとえば、クライアントまたは送信チャネルに依存し得るアプリケーション要件に従って実際の配信されたコンテンツを適応させ得る。

[0084]ＳＶＣでは、最低空間と品質レイヤとを有するピクチャは、通常、Ｈ．２６４／ＡＶＣに適合する。図４の例では、最低空間と品質レイヤとをもつピクチャ（ＱＣＩＦ解像度をもつ、レイヤ０およびレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合し得る。それらの中で、最低時間レベルのピクチャは時間ベースレイヤ（レイヤ０）を形成する。この時間ベースレイヤ（レイヤ０）は、より高い時間レベル（レイヤ１）のピクチャを用いて拡張され得る。

[0085]Ｈ．２６４／ＡＶＣ適合レイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／または品質エンハンスメントレイヤが追加され得る。各空間または品質エンハンスメントレイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。

[0086]レイヤの各々が、たとえば、ビデオデコーダ３０、またはビデオエンコーダ２０の再構成ループによって復号されると、復号レイヤはＤＰＢに記憶される。ＤＰＢは、ピクチャ、および、本開示の例では、マルチレイヤビデオコーディング技法を使用するときのレイヤまたは復号ピクチャを記憶するために使用されるバッファまたはメモリである。ＤＰＢに記憶された復号レイヤは、出力並べ替え、および出力遅延のために、（動き補償、ビュー間予測およびレイヤ間予測を含む）インター予測のための参照として使用され得る。ＨＥＶＣ、および他のビデオコーディング規格では、ＤＰＢの動作は、しばしば、仮想参照デコーダ（ＨＲＤ：hypothetical reference decoder）に関して指定される。ビデオエンコーダ２０およびビデオデコーダ３０は、ＤＰＢに記憶された復号ピクチャを、参照のために使用されない（すなわち、インター予測プロセスのために参照ピクチャを使用されることができない）とマークすることと、（たとえば、ディスプレイデバイス３２への）出力のために復号ピクチャをマークすることと、（バンピングとも呼ばれる）ＤＰＢからの削除のためにピクチャをマークすることとを含む、様々なアクションを実行するためにＤＰＢを管理するように構成され得る。ピクチャは、一般に、それが、インター予測のために参照ピクチャとしてもはや必要とされず、出力のためにｎより長く必要とされるとき、ＤＰＢから削除される（すなわち、バンプされる）。

[0087]スケーラブル、マルチビュー、または３Ｄビデオコーディング技法を使用してコーディングするかにかかわらず、異なるレイヤ、テクスチャビュー、および／または深度ビューは異なる空間解像度を有し得る。すなわち、異なるレイヤまたはビューのコンポーネント（たとえば、ピクチャまたは深度マップに対応する、ビューコンポーネントまたはレイヤコンポーネント）は異なる空間解像度を有し得る。既存のＤＰＢ管理技法では、出力関係動作は、各ビューまたはレイヤについて別個に実行される。これは、各ビューについて、制約または整合が適用され得るが、（１つのレイヤ／ビューの）参照ピクチャの出力または削除のためのマーキングが別個に行われることを意味する。

[0088]一般性の喪失なしに、本開示では、１つのアクセスユニットの復号レイヤ表現または復号テクスチャ／深度ビューコンポーネントをアクセスユニットの復号レイヤコンポーネントとも呼ぶ。異なるレイヤ中で複数の空間解像度を伴うマルチレイヤビデオコーディングでは、特にマルチループ復号が適用されるとき、ここにおいて、さらに少なくとも２つのレイヤが復号プロセス中に完全に再構成され得る、１つまたは複数の復号ピクチャバッファへの異なるレイヤの復号レイヤコンポーネントの記憶が必要とされるであろう。

[0089]ＳＶＣでは、シングルループ復号が適用され、したがって、最上位レイヤのみが完全に再構成され得、各アクセスユニット中の最上位レイヤの復号レイヤコンポーネントのみが記憶される必要があり得る。ＭＶＣのための既存の技法では、複数のループ復号が適用されるが、異なるビューは同じ空間解像度を有する必要がある。したがって、各アクセスユニット中の複数の復号レイヤコンポーネントが記憶される必要があるが、それらはすべて同じ解像度を有する。現在、異なる解像度をもつ複数の復号レイヤコンポーネントが記憶される必要があるときのＤＰＢ管理のための機構がない。

[0090]これらの欠点に鑑みて、本開示では、異なる解像度をもつ複数の復号レイヤコンポーネントが記憶される必要があるときのＤＰＢ管理のための様々な機構および技法について説明する。

[0091]図５は、本開示で説明するＤＰＢ管理のための技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣおよびＨ．２６４／ＡＶＣ、ならびに、そのような規格のスケーラブル拡張、マルチビュー拡張および３Ｄ拡張を含む、ビデオ符号化技法に従ってビデオデータを符号化するように構成され得る。図５の例についてＨＥＶＣに関して説明する。この点について、図５に示されているビデオ符号化ループは、スケーラブルビデオ符号化プロセスの各レイヤ（すなわち、ベースレイヤおよびエンハンスメントレイヤ）に適用されるか、マルチビュービデオコーディングプロセスの各ビューに適用されるか、または３Ｄビデオコーディングプロセスのテクスチャビューと深度ビューの両方に適用され得る。

[0092]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。さらに、ビデオエンコーダ２０は、上記で説明したように、異なるビューまたはレイヤ間でビュー間予測および／またはレイヤ間予測を実行し得る。

[0093]図５の例では、ビデオエンコーダ２０は、予測処理ユニット４１と、ＤＰＢ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動きおよびディスパリティ推定ユニット４２と、動きおよびディスパリティ補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図５に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のループフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。

[0094]図５に示されているように、ビデオエンコーダ２０は、ビデオデータを受信し、データをビデオブロックに区分するように構成され得る。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベル）に基づいて現在ビデオブロックのために、複数のイントラコーディングモードのうちの１つ、あるいは複数のインターコーディングモードまたはビュー間コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。

[0095]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動きおよびディスパリティ推定ユニット４２ならびに動きおよびディスパリティ補償ユニット４４は、時間的予測およびビュー間予測を行うために、１つまたは複数の参照ピクチャ、参照ピクチャレイヤ、および／または参照ビュー中の１つまたは複数の予測ブロックに対して現在ビデオブロックのインター予測コーディングおよび／またはビュー間コーディングを実行する。

[0096]動きおよびディスパリティ推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードおよび／またはビュー間予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスに指定し得る。動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動きおよびディスパリティ推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。動きおよびディスパリティ推定ユニット４２によって実行されるディスパリティ推定は、異なるビュー中のブロックから現在コーディングされているブロックを予測するために使用され得るディスパリティベクトルを生成するプロセスである。

[0097]予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。

[0098]動きおよびディスパリティ推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスまたはビュー間予測スライスにおけるビデオブロックのＰＵのための（動き補償予測のための）動きベクトルおよび／または（ディスパリティ補償予測のための）ディスパリティベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、ＤＰＢ６４に記憶された１つまたは複数の参照ピクチャを識別する。ビュー間予測の場合、参照ピクチャは異なるビュー中にある。動きおよびディスパリティ推定ユニット４２は、計算された動きベクトルおよび／またはディスパリティベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0099]動きおよびディスパリティ補償ユニット４４によって実行される動き補償および／またはディスパリティ補償は、動き推定および／またはディスパリティ推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルおよび／またはディスパリティを受信すると、動きおよびディスパリティ補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルおよび／またはディスパリティベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動きおよびディスパリティ補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[0100]イントラ予測処理ユニット４６は、上記で説明したように、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。

[0101]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット５６に与え得る。エントロピーコーディングユニット５６は、本開示の技法に従って選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る、構成データを含め得る。

[0102]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。

[0103]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

[0104]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングあるいは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。

[0105]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構築する。ビデオエンコーダ２０のこの部分は、再構成ループと呼ばれることがあり、インター予測において参照ピクチャとして使用するために符号化ビデオブロックを効果的に復号する。再構成されたピクチャはＤＰＢ６４に記憶され得る。

[0106]動きおよびディスパリティ補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動きおよびディスパリティ補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって参照ブロックとして使用され得る。以下でより詳細に説明するように、ビデオエンコーダ２０は、異なる解像度でのＤＰＢにおけるビデオデータの複数のレイヤの記憶および管理を可能にする本開示のＤＰＢ管理技法を実行するように構成され得る。

[0107]図６は、本開示で説明するＤＰＢ管理技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図６の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、ＤＰＢ９２とを含む。予測処理ユニット８１は、動きおよびディスパリティ補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図５のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。

[0108]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0109]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、またはＰ）スライスまたはビュー間予測スライスとしてコーディングされたとき、予測処理ユニット８１の動きおよびディスパリティ補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構成し得る。

[0110]動きおよびディスパリティ補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動きおよびディスパリティ補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測またはビュー間予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルおよび／またはディスパリティベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[0111]動きおよびディスパリティ補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

[0112]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0113]動きおよびディスパリティ補償ユニット８２が、動きベクトルおよび／またはディスパリティベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。

[0114]所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶するＤＰＢ９２に記憶される。以下でより詳細に説明するように、ビデオデコーダ３０は、異なる解像度でＤＰＢにおいてビデオデータの複数のレイヤを記憶するときのＤＰＢ管理のための本開示の技法を実行するように構成され得る。ＤＰＢ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での表示のために、復号ビデオを記憶する。

[0115]ビデオコーダ（たとえば、ビデオエンコーダ２０またはビデオデコーダ３０）は、ＤＰＢ管理のための以下の技法の任意の組合せを実行するように構成され得る。概して、以下の技法の各々は以下の特徴を呈する。ビデオエンコーダ２０および／またはビデオデコーダ３０は、複数の復号レイヤコンポーネントを生成するためにビデオデータを（たとえば、ビデオエンコーダ２０のための再構成ループ中で）復号するように構成され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０は、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶するように構成され得る。このコンテキストでは、ＤＰＢの「ユニット」は、いくつかの共通の特性を有する再構成または復号されたビデオデータを含んでいるＤＰＢの別個にアドレス指定可能なエリアである。さらに、ＤＰＢのサブユニットは、それ自体が管理され、別個のＤＰＢのように扱われる、ＤＰＢの別個にアドレス指定可能なエリアと見なされ得る。

[0116]ビデオエンコーダ２０および／またはビデオデコーダ３０は、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行するようにさらに構成され得、ここにおいて、ＤＰＢ管理プロセスは、１つまたは複数のサブユニットの各々について別個に管理される。ＤＰＢ管理プロセスは、サブユニットから復号レイヤコンポーネントを削除することと、サブユニット中の復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を含み得る。このようにして、いくつかの例では、異なる特性（たとえば、空間解像度、レイヤタイプ）を有する復号および／または再構成されたレイヤは別個に管理され得る。

[0117]本開示の例のさらなる例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、アクセスユニット中の第１の復号レイヤコンポーネントに対してＤＰＢ管理プロセスを実行することと、同じアクセスユニット中の他の復号レイヤコンポーネントに対して同じＤＰＢ管理プロセスを実行することとによって、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行するように構成され得る。

[0118] 本開示の一例では、ビデオコーダは、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号または再構成することと、ＤＰＢの単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、復号レイヤコンポーネントをＤＰＢの単一のサブユニットに記憶することとを行うように構成され得る。すなわち、この例では、ＤＰＢは単一のサブユニットのみからなる。

[0119]本開示のこの例では、ＤＰＢの単一のサブユニットは、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を記憶する。いくつかの例では、完全に再構成されたレイヤのための復号レイヤコンポーネントの結合は、テクスチャビューコンポーネントと深度ビューコンポーネントの両方、複数のテクスチャビューコンポーネント、またはベースレイヤおよび１つまたは複数のエンハンスメントレイヤの結合であり得る。アクセスユニットは、復号順序が連続しており、１つのコード化ピクチャを含んでいる、ネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットのセットである。ＤＰＢの単一のサブユニットのサイズは、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定され得る。すなわち、ＤＰＢの単一のサブユニットのサイズは、サブユニットに記憶されたすべての復号レイヤコンポーネントの解像度に基づいて決定され得る。このようにして、ビデオエンコーダ２０および／またはビデオデコーダ３０は、実際にコーディングされているレイヤの解像度に従ってＤＰＢをフレキシブルにサイズ決定するように構成され得る。

[0120]図７は、アクセスユニット内のすべての完全に再構成されたレイヤの復号レイヤコンポーネントの結合を記憶するように構成されたＤＰＢ７００を示す概念図である。サブユニット７１０Ａ〜Ｄの各々は、復号レイヤコンポーネントの結合のための記憶ロケーションを表す。ビデオコーダは、ＤＰＢ７００から復号レイヤコンポーネントを削除するようにさらに構成され得る。本開示のこの例では、ＤＰＢから特定の復号レイヤコンポーネントを削除すること（たとえば、テクスチャビューコンポーネントを削除すること）は、ＤＰＢから復号レイヤコンポーネントに関係する復号アクセスユニット全体をも削除する（たとえば、他のテクスチャビューコンポーネントおよび／または深度ビューコンポーネントをも削除する）。ビデオコーダは、ＤＰＢ中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得る。同様に、この例では、特定の復号レイヤコンポーネント（たとえば、テクスチャビューコンポーネント）を、参照のために使用されないとマークすることは、復号レイヤコンポーネントに関係する復号アクセスユニット全体をも、参照のために使用されないとマークする（たとえば、他のテクスチャビューコンポーネントおよび／または深度ビューコンポーネントをもマークすること）。

[0121]本開示の別の例では、ビデオコーダ（たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０）は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号するように構成され得る。いくつかの事例では、復号レイヤコンポーネントは少なくとも２つの異なる空間解像度を有する。ビデオコーダは、復号レイヤコンポーネントの空間解像度応じて、復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の複数のサブユニットのうちの１つに記憶するようにさらに構成され得る。たとえば、複数のサブユニットの各々は異なる空間解像度に関連する。このようにして、ビデオコーダは、それらの解像度に基づいて、復号レイヤコンポーネント（たとえば、テクスチャビューコンポーネント、深度ビューコンポーネント、ベースレイヤ、エンハンスメントレイヤなど）をいくつかのサブユニットに記憶するように構成され得る。このようにして、各解像度は別個に処理され得る。

[0122]図８は、異なるサブユニットにおいて異なる解像度で復号レイヤコンポーネントを記憶するように構成されたＤＰＢ８００を示す概念図である。サブユニット８１０Ａ〜Ｄの各々は、異なる解像度での復号レイヤコンポーネントのための記憶ロケーションを表す。たとえば、サブユニット８１０Ａ〜Ｄの各々は、異なる解像度１〜４の記憶のために指定される。サブユニット８１０Ａ〜Ｄの各々は、ピクチャに関連する復号レイヤコンポーネントを記憶するように構成された別個のユニットを含んでいる。１つの例示的な説明として、ピクチャのテクスチャビューコンポーネントは、テクスチャビューコンポーネントの解像度に対応するサブユニット（たとえば、サブユニット８１０Ａ）に記憶され得、同じピクチャの深度ビューコンポーネントは、深度ビューコンポーネントの解像度（一般により低い）に対応する異なるサブユニット（たとえば、サブユニット８１０Ｂ）に記憶され得る。

[0123]ビデオコーダは、複数のサブユニット８１０Ａ〜Ｄから復号レイヤコンポーネントを削除するようにさらに構成され得る。本開示のこの例では、復号レイヤコンポーネントの削除は、各サブユニットについて別個に管理される。たとえば、サブユニット８１０Ａからのテクスチャビューコンポーネントの削除は、異なる解像度を有する関連する深度ビューコンポーネント（たとえば、サブユニット８１０Ｂに記憶された関連する深度ビューコンポーネント）を削除しないことになる。同様に、ビデオコーダは、複数のサブユニット中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得、ここにおいて、マークすることは、各サブユニットについて別個に管理される。

[0124]さらなる一例では、ビデオコーダはまた、複数のサブユニット８１０Ａ〜Ｄのうちの１つから復号レイヤコンポーネントを削除するように構成され得、ここにおいて、復号レイヤコンポーネントを削除することは、複数のサブユニット８１０Ａ〜Ｄのうちの１つから復号レイヤコンポーネントに関係する復号アクセスユニット全体をも削除する。ビデオコーダは、複数のサブユニットのうちの１つの中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得、ここにおいて、復号レイヤコンポーネントをマークすることは、復号レイヤコンポーネントに関係する復号アクセスユニット全体をも、参照のために使用されないとマークする。

[0125]図８の例における例示的なサブユニットは空間解像度によって分類されたが、本開示の他の例は異なる分類を使用し得る。たとえば、複数のサブユニットの各々は、異なる空間解像度、クロマサンプリングフォーマット、ビット深度、または空間解像度と、クロマサンプリングフォーマットと、ビット深度との任意の組合せに関連し得る。

[0126]本開示の別の例では、ビデオコーダは、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号するように構成され得る。ビデオコーダは、復号レイヤコンポーネントを複数のサブユニットのうちの１つに記憶するようにさらに構成され得、ここにおいて、複数のサブユニットの各々は、異なる完全に再構成されたレイヤに関連する。たとえば、３Ｄビデオコーディングでは、テクスチャビューコンポーネントを記憶するためにあるサブユニットが使用され得、深度ビューコンポーネントを記憶するために別のサブユニットが使用され得る。テクスチャビューコンポーネントと深度ビューコンポーネントとは、一般に、異なる解像度を有するので、そのような技法は、異なる解像度での復号レイヤの独立管理を可能にする。すなわち、図８の例のように、各サブユニットは別個に管理され得る。

[0127]図９は、異なる復号レイヤコンポーネントを異なるサブユニットに記憶するように構成されたＤＰＢ９００を示す概念図である。サブユニット９１０Ａ〜Ｄの各々は、異なる解像度での異なるタイプの復号レイヤコンポーネントのための記憶ロケーションを表す。たとえば、サブユニット９１０Ａは、テクスチャビューコンポーネントを記憶するために使用され得、サブユニット９１０Ｂは、深度ビューコンポーネントを記憶するために使用され得る。同様に、サブユニット９１０Ｃは、スケーラブルビデオコーディングプロセスにおいてベースレイヤを記憶するために使用され得、サブユニット９１０Ｄは、スケーラブルビデオコーディングプロセスにおいてエンハンスメントレイヤの１つのレベルを記憶するために使用され得る。追加のサブユニットは、エンハンスメントレイヤの追加のレベルまたは追加のテクスチャビューコンポーネントを記憶することように構成され得る。サブユニット９１０Ａ〜Ｄの各々は、ピクチャに関連する復号レイヤコンポーネントを記憶するように構成された別個のユニットを含んでいる。

[0128]ビデオコーダは、複数のサブユニット９１０Ａ〜Ｄから復号レイヤコンポーネントを削除するようにさらに構成され得、ここにおいて、削除することは、各サブユニットについて別個に管理される。ビデオコーダは、複数のサブユニット９１０Ａ〜Ｄ中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得、ここにおいて、マークすることは、各サブユニットについて別個に管理される。ビデオコーダは、複数のサブユニット９１０Ａ〜Ｄのうちの１つから復号レイヤコンポーネントを削除するようにさらに構成され得、ここにおいて、復号レイヤコンポーネントを削除することは、複数のサブユニット９１０Ａ〜Ｄのうちの１つから復号レイヤコンポーネントに関係する復号アクセスユニット全体をも削除する。ビデオコーダは、複数のサブユニット９１０Ａ〜Ｄのうちの１つの中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得、ここにおいて、復号レイヤコンポーネントをマークすることは、復号レイヤコンポーネントに関係する復号アクセスユニット全体をも、参照のために使用されないとマークする。

[0129]本開示の別の例では、ビデオコーダは、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、ＤＰＢの各サブユニットが、最も高い空間解像度を有する復号レイヤコンポーネントに対応するように、復号レイヤコンポーネントを復号ピクチャバッファ（ＤＢＰ）の複数のサブユニットのうちの１つに記憶することとを行うように構成され得る。すなわち、ＤＰＢの各サブユニットのサイズは、最も高い解像度を有する復号レイヤコンポーネントに等しくなるように構成される。ＤＰＢの複数のサブユニットの各々は、復号レイヤコンポーネントの解像度にかかわらず、１つの復号レイヤコンポーネントを記憶し得る。

[0130]図１０は、復号レイヤコンポーネントを記憶するように構成されたＤＰＢ１０００を示す概念図である。サブユニット１０１０Ａ〜Ｄの各々は、復号レイヤコンポーネントのための記憶ロケーションを表し、各サブユニットのサイズは、最も高い解像度を有する復号レイヤコンポーネントの空間解像度に対応する。ビデオコーダは、ＤＰＢ１０００から復号レイヤコンポーネントを削除するようにさらに構成され得、ここにおいて、復号レイヤコンポーネントを削除することは、ＤＰＢ１０００から復号レイヤコンポーネントに関係する復号アクセスユニット全体をも削除する。ビデオコーダは、ＤＰＢ１０００中の復号レイヤコンポーネントを、参照のために使用されないとマークするようにさらに構成され得、ここにおいて、復号レイヤコンポーネントをマークすることは、復号レイヤコンポーネントに関係する復号アクセスユニット全体をも、参照のために使用されないとマークする。

[0131]要約すると、本開示の第１の例では、ＤＰＢの単一のサブユニットが、アクセスユニット内のすべての完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を記憶する。この第１の例は、以下の技法および／または構造のうちの１つまたは複数を含み得る。

− ＤＰＢの単一のサブユニットのサイズは、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定され得る。

− 復号ピクチャの削除は復号アクセスユニット全体の削除を含む。

− 復号ピクチャの「参照のために使用されない」とのマーキングは、復号アクセスユニット全体の「参照のために使用されない」とのマーキングを含む。

[0132]本開示の第２の例では、ＤＰＢは複数のサブユニットを含み得、それらのサブユニットの各々は異なる空間解像度に関連する。各レイヤのための復号レイヤコンポーネントは別個に管理される（マーキングと削除の両方を含む）。さらに、１つの特定のレイヤ中のアクセスユニットのためのＤＰＢ管理プロセスの呼出し中に、同じアクセスユニット中の他のレイヤの復号レイヤコンポーネントは、「参照のために使用されない」とマークされ、それらの復号レイヤコンポーネントのためのサブユニットから削除され得る。代替的に、さらに、各サブユニットは、空間解像度と、クロマサンプリングフォーマットと、ビット深度との異なる組合せに関連し得る。

[0133]本開示の第３の例では、ＤＰＢは、複数のサブユニットを含むように構成され得、それらのサブユニットの各々は、異なる完全に再構成されたレイヤに関連する。各レイヤのための復号レイヤコンポーネントは別個に管理される（マーキングと削除の両方を含む）。さらに、１つの特定のレイヤ中のアクセスユニットのためのＤＰＢ管理プロセスの呼出し中に、同じアクセスユニット中の他のレイヤの復号レイヤコンポーネントは、「参照のために使用されない」とマークされ、それらの復号レイヤコンポーネントのためのサブユニットから削除され得る。

[0134]本開示の第４の例では、ＤＰＢ中の各サブユニットは、最も大きい解像度をもつレイヤの復号レイヤコンポーネントに対応する。各サブユニットは、復号レイヤコンポーネントの解像度にかかわらず、１つの復号レイヤコンポーネントの記憶のために使用される。さらに、１つの特定のレイヤ中のアクセスユニットのためのＤＰＢ管理プロセスの呼出し中に、同じアクセスユニット中の他のレイヤの復号レイヤコンポーネントは、「参照のために使用されない」とマークされ、ＤＰＢから削除され得る。

[0135]図１１は、本開示の技法による例示的な方法を示すフローチャートである。図１１の技法は、たとえば、ＤＰＢ６４およびＤＰＢ９２を含む、ビデオエンコーダ２０および／またはビデオデコーダ３０の１つまたは複数の機能ユニットによって実行され得る。

[0136]本開示の一例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、複数の復号レイヤコンポーネントを生成するためにビデオデータを復号すること（１１００）と、復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットに記憶すること（１１１０）と、１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行すること、ここにおいて、ＤＰＢ管理プロセスが、１つまたは複数のサブユニットの各々について別個に管理される（１１２０）、を行うように構成され得る。本開示の一例では、ＤＰＢ管理プロセスは、サブユニットから復号レイヤコンポーネントを削除することと、サブユニット中の復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える。本開示の別の例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、アクセスユニット中の第１の復号レイヤコンポーネントに対してＤＰＢ管理プロセスを実行することと、同じアクセスユニット中の他の復号レイヤコンポーネントに対して同じＤＰＢ管理プロセスを実行することとを行うようにさらに構成される。

[0137]本開示の一例では、復号レイヤコンポーネントは少なくとも２つの異なる空間解像度を有する。この例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、復号レイヤコンポーネントの空間解像度に基づいて復号レイヤコンポーネントをＤＰＢの１つまたは複数のサブユニットのうちの１つに記憶するようにさらに構成され、ここにおいて、１つまたは複数のサブユニットの各々は異なる空間解像度に関連する。別の例では、１つまたは複数のサブユニットの各々は、空間解像度と、クロマサンプリングフォーマットと、ビット深度との特定の組合せに関連する。

[0138]本開示の別の例では、復号レイヤコンポーネントは少なくとも２つの異なる空間解像度を有し、１つまたは複数のサブユニットの各々は、異なる完全に再構成されたレイヤに関連する。

[0139]本開示の別の例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＤＰＢの各サブユニットが、最も高い空間解像度を有する復号レイヤコンポーネントに対応するように、復号レイヤコンポーネントをＤＰＢのサブユニットのうちの１つまたは複数のうちの１つに記憶するようにさらに構成される。一例では、ＤＰＢの１つまたは複数のサブユニットの各々は１つの復号レイヤコンポーネントを記憶する。

[0140]本開示の別の例では、１つまたは複数のサブユニットは単一のサブユニットを備え、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＤＰＢの単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、復号レイヤコンポーネントをＤＰＢの単一のサブユニットに記憶するようにさらに構成される。別の例では、ＤＰＢの単一のサブユニットのサイズは、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定される。

[0141]本開示の次のセクションでは、本開示の第１の例示的な技法のための（たとえば、スケーラブル、マルチビュー、および３Ｄ拡張を含む、ＨＥＶＣのための）例示的な仮想参照デコーダ（ＨＲＤ）実装形態について説明する。すなわち、以下のセクションは本開示の技法に適用され、それにより、ＤＰＢの単一のサブユニットは、アクセスユニット内のすべての完全に再構成されたレイヤの復号レイヤコンポーネントの結合を記憶する。本明細書において述べる節および従属節は、上記のＨＥＶＣ ＷＤ９の付属書類ＣにおけるＨＲＤ仕様に言及する。

[0142]４．１．１ ＨＲＤ：仮想参照デコーダ（例＃１）
[0143]Ａ．１ 復号ピクチャバッファ（ＤＰＢ）の動作
[0144]この従属節における仕様は、従属節Ｃ．１において指定されているように、選択されたＤＰＢパラメータの各セットに独立して適用される。

[0145]復号ピクチャバッファはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいることがある。初期化より前に、ＤＰＢは空である（ＤＰＢフルネス（fullness）は０に設定される）。この従属節の従属節の以下のステップは、以下に記載する順序で起こる。

[0146]ピクチャ記憶バッファの各々は、アクセスユニットの（スケーラブルコーデックではレイヤ表現、ＭＶ−ＨＥＶＣではすべての復号ビューコンポーネント、または３Ｄ−ＨＥＶＣではすべての復号テクスチャおよび深度ビューコンポーネントとも呼ばれる）すべての復号レイヤコンポーネントを含んでいる。したがって、各復号ピクチャは復号アクセスユニットである。ピクチャ記憶バッファのメモリサイズは、コード化ビデオシーケンス中のすべてのアクセスユニットの間のすべての復号レイヤコンポーネントの記憶のために最大バッファサイズを必要とする復号アクセスユニットに対応する。たとえば、異なるアクセスユニットが異なる数のレイヤコンポーネントを有する場合、最大バッファサイズは、各々がすべてのアクセスユニットの間のレイヤコンポーネントの最大数を有するアクセスユニットの記憶のために必要とされ得る。

[0147]１つまたは複数のレイヤコンポーネントが「参照のために使用される」とマークされた場合のみ、復号ピクチャは「参照のために使用される」とマークされる。

[0148]すべてのレイヤコンポーネントが「参照のために使用されない」とマークされた場合のみ、復号ピクチャは「参照のために使用されない」とマークされる。

[0149]さらに、セクション４．１．３に記載されている制約が適用され得る。

[0150]代替的に：
[0151]ｌａｙｅｒ＿ｉｄの最も高い値をもつレイヤコンポーネントが「参照のために使用される」とマークされた場合のみ、復号ピクチャは「参照のために使用される」とマークされる。

[0152]ｌａｙｅｒ＿ｉｄの最も高い値をもつレイヤコンポーネントが「参照のために使用されない」とマークされた場合のみ、復号ピクチャは「参照のために使用されない」とマークされる。

[0153]さらに、セクション４．１．３に記載されている制約が適用され得る。

[0154]同じアクセスユニットの複数のレイヤコンポーネントが異なるマーキングステータスを有することができる場合、各レイヤコンポーネントのマーキングステータスは、ＨＥＶＣにおける復号ピクチャピクチャマーキングプロセスと同様の方法で、各レイヤコンポーネントのための復号ピクチャマーキングプロセスを適用した後に知られる。

[0155]１つの代替として、複数のレイヤコンポーネントはまた、一緒にマークされ得、この場合、アクセスユニット全体のために、ＨＥＶＣにおける復号ピクチャマーキングプロセスと同様のプロセスが呼び出される。

[0156]すべてのレイヤコンポーネントが、ＩＤＲ＿Ｗ＿ＤＬＰまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャは瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）である。

[0157]すべてのレイヤコンポーネントが、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャは切断リンクアクセス（ＢＬＡ：broken link access）である。

[0158]ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、両端値を含む、１６〜２３の範囲内の値を有するとき（ランダムアクセスピクチャ（ＲＡＰ））、ｓｌｉｃｅ＿ｔｙｐｅは、ベースレイヤのために２に等しくなる（ｌａｙｅｒ＿ｉｄは０に等しい）が、ｌａｙｅｒ＿ｉｄが０よりもより大きい場合、他の値に等しくなり得る。

[0159]Ａ．１．１ ＤＰＢからのピクチャの削除
[0160]現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、（現在ピクチャを含んでいる）アクセスユニットｎの第１の復号ユニットのＣＰＢ削除時間に瞬時に起こり、次のように進む。

[0161]従属節８．３．２において指定されている参照ピクチャセットのための復号プロセスが呼び出される。

[0162]現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャである場合、以下が適用される。

[0163]ＩＤＲピクチャまたはＢＬＡピクチャが、復号される第１のピクチャではなく、現在アクセスユニットのいずれかのレイヤのためのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値が、それぞれ、前のアクセスユニットを復号したときに導出されたｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なるとき、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの実効値にかかわらず、ＨＲＤによって１に等しいと推論される。

[0164]ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが、１に等しいかまたは１に等しいと推論されるとき、ＤＰＢ中のすべてのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされ、ＤＰＢフルネスは０に設定される。

[0165]以下の条件のうちのすべてが真である、ＤＰＢ中のすべてのピクチャｋがＤＰＢから削除される。

− ピクチャｋが「参照のために使用されない」とマークされる、
− ピクチャｋが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するか、またはそれのＤＰＢ出力時間が、現在ピクチャｎの（復号ユニットｍとして示される）第１の復号ユニットのＣＰＢ削除時間以下である、すなわち、ｔｏ，ｄｐｂ（ｋ）≦ｔｒ（ｍ）である。

[0166]ピクチャがＤＰＢから削除されると、ＤＰＢフルネスは１だけ減分される。

[0167]Ａ．１．２ ピクチャ出力
[0168]以下は、アクセスユニットｎのＣＰＢ削除時間、ｔｒ（ｎ）に瞬時に起こる。

[0169]ピクチャｎが１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するとき、それのＤＰＢ出力時間ｔｏ，ｄｐｂ（ｎ）は

によって導出される。上式で、ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ（ｎ）は、アクセスユニットｎに関連するピクチャタイミングＳＥＩメッセージにおいて指定されているｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙの値である。

[0170]現在ピクチャの出力は次のように指定される。

− ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しく、ｔｏ，ｄｐｂ（ｎ）＝ｔｒ（ｎ）である場合、現在ピクチャは出力される。

− そうではなく、ＰｉｃＯｕｔｐｕｔＦｌａｇが０に等しい場合、現在ピクチャは、出力されないが、従属節Ｃ．３．４において指定されているようにＤＰＢに記憶される。

− そうでない場合（ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しく、ｔｏ，ｄｐｂ（ｎ）＞ｔｒ（ｎ）である）、現在ピクチャは、後で出力され、（従属節Ｃ．３．４において指定されているように）ＤＰＢに記憶されることになり、ｔｏ，ｄｐｂ（ｎ）に先行する時間に１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号または推論によって出力されるべきでないことが示されない限り、時間ｔｏ，ｄｐｂ（ｎ）に出力される。

[0171]出力時に、ピクチャは、アクティブシーケンスパラメータセットにおいて指定されている適合クロッピングウィンドウ（conformance cropping window）を使用してクロップされる。

[0172]ピクチャｎが、出力されるピクチャであり、出力されるビットストリームの最後のピクチャではないとき、Ｄｔｏ，ｄｐｂ（ｎ）の値は、

のように定義される。上式で、ｎｎは、出力順序でピクチャｎに続く、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するピクチャを示す。

[0173]Ａ．１．３ 現在復号ピクチャマーキングおよび記憶
[0174]以下は、アクセスユニットｎのＣＰＢ削除時間、ｔｒ（ｎ）に瞬時に起こる。

[0175]現在復号ピクチャは空のピクチャ記憶バッファ中のＤＰＢに記憶され、ＤＰＢフルネスは１だけ増分され、現在ピクチャは、「短期参照のために使用される」とマークされる。

[0176]Ａ．２ ビットストリーム適合
[0177]従属節Ｃ．２における仕様が適用される。

[0178]Ａ．３ デコーダ適合
[0179]Ａ．３．１ 一般
[0180]Ｃ．５．１における仕様は、以下の追加とともに適用される。

[0181]ピクチャ記憶バッファの各々は、アクセスユニットの（スケーラブルコーデックではレイヤ表現、ＭＶ−ＨＥＶＣではすべての復号ビューコンポーネント、または３Ｄ−ＨＥＶＣではすべての復号テクスチャおよび深度ビューコンポーネントとも呼ばれる）すべての復号レイヤコンポーネントを含んでいる。したがって、各復号ピクチャは復号アクセスユニットである。ピクチャ記憶バッファのメモリサイズは、コード化ビデオシーケンス中のすべてのアクセスユニットの間のすべての復号レイヤコンポーネントの記憶のために最大バッファサイズを必要とする復号アクセスユニットに対応する。たとえば、異なるアクセスユニットが異なる数のレイヤコンポーネントを有する場合、最大バッファサイズは、各々がすべてのアクセスユニットの間のレイヤコンポーネントの最大数を有するアクセスユニットの記憶のために必要とされ得る。

[0182]以下は、レイヤコンポーネントのマーキングステータスのための１つの代替の一例である。１つまたは複数のレイヤコンポーネントが「参照のために使用される」とマークされた場合のみ、復号ピクチャは「参照のために使用される」とマークされる。すべてのレイヤコンポーネントが「参照のために使用されない」とマークされた場合のみ、復号ピクチャは「参照のために使用されない」とマークされる。さらに、セクション４．１．３に記載されている制約が適用され得る。

[0183]以下は、レイヤコンポーネントのマーキングステータスのための別の代替の一例である。ｌａｙｅｒ＿ｉｄの最も高い値をもつレイヤコンポーネントが「参照のために使用される」とマークされた場合のみ、復号ピクチャは「参照のために使用される」とマークされる。ｌａｙｅｒ＿ｉｄの最も高い値をもつレイヤコンポーネントが「参照のために使用されない」とマークされた場合のみ、復号ピクチャは「参照のために使用されない」とマークされる。さらに、セクション４．１．３に記載されている制約が適用され得る。

[0184]すべてのレイヤコンポーネントが、ＩＤＲ＿Ｗ＿ＤＬＰまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャはＩＤＲである。

[0185]すべてのレイヤコンポーネントが、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャはＢＬＡである。

[0186]ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、両端値を含む、１６〜２３の範囲内の値を有するとき（ＲＡＰピクチャ）、ｓｌｉｃｅ＿ｔｙｐｅは、ベースレイヤのために２に等しくなる（ｌａｙｅｒ＿ｉｄは０に等しい）が、ｌａｙｅｒ＿ｉｄが０よりもより大きい場合、他の値に等しくなり得る。

[0187]Ａ．３．２ 出力順序ＤＰＢの動作
[0188]復号ピクチャバッファはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいる。ＨＲＤの初期化において、ＤＰＢは空である。以下のステップは、以下に記載する順序で起こる。

[0189]Ａ．３．３ ＤＰＢからのピクチャの出力および削除
[0190]現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、現在ピクチャを含んでいるアクセスユニットの第１の復号ユニットがＣＰＢから削除されるときに瞬時に起こり、次のように進む。

[0191]従属節８．３．２において指定されている参照ピクチャセットのための復号プロセスが呼び出される。

− 現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャである場合、以下が適用される。

１．ＩＤＲピクチャまたはＢＬＡピクチャが、復号される第１のピクチャではなく、現在アクセスユニットの各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値が、それぞれ、前のアクセスユニットのために導出された各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なるとき、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの実効値にかかわらず、ＨＲＤによって１に等しいと推論される。

注−デコーダ実装形態は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の変更に関して、ＨＲＤよりも適切にピクチャまたはＤＰＢサイズ変更を処理することを試みるべきである。

２．ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが、１に等しいかまたは１に等しいと推論されるとき、ＤＰＢ中のすべてのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされる。

３．ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しくなく、１に等しいと推論されないとき、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされ、従属節Ｃ．５．３．１において指定されている「バンピング」プロセスを繰り返し呼び出すことによって、ＤＰＢ中のすべての空でないピクチャ記憶バッファが空にされる。

− そうでない場合（現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャではない）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされる。以下の条件のうちの１つまたは複数が真であるとき、従属節Ｃ．５．３．１において指定されている「バンピング」プロセスは、現在復号ピクチャを記憶するために空のピクチャ記憶バッファがあるまで、繰り返し呼び出される。

１．「出力のために必要とされる」とマークされたＤＰＢ中のピクチャの数は、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きい、
２．ＤＰＢ中のピクチャの数は、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］に等しい。

アクセスユニットの各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］は、現在アクセスユニットによって参照されたシーケンスパラメータセット中でシグナリングされるか、またはアクティブビデオパラメータセット中でシグナリングされるかのいずれかであり得ることに留意されたい。

[0192]Ａ．３．３．１ 「バンピング」プロセス
[0193]「バンピング」プロセスは以下の場合に呼び出される。

− 現在ピクチャはＩＤＲピクチャまたはＢＬＡピクチャであり、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、従属節Ｃ．５．２において指定されているように、１に等しくなく、１に等しいと推論されない。

− 「出力のために必要とされる」とマークされたＤＰＢ中のピクチャの数は、従属節Ｃ．５．２において指定されているように、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＴｅｍｐｏｒａｌＩｄ］よりも大きい。

− 現在ピクチャのＴｅｍｐｏｒａｌＩｄよりも低いかまたはそれに等しいＴｅｍｐｏｒａｌＩｄをもつＤＰＢ中のピクチャの数は、従属節Ｃ．５．２において指定されているように、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＴｅｍｐｏｒａｌＩｄ］に等しい。

[0194]「バンピング」プロセスは以下の順序付きステップからなる。

１．出力のための最初のものであるピクチャは、「出力のために必要とされる」とマークされたＤＰＢ中のすべてのピクチャのうちのＰｉｃＯｒｄｅｒＣｎｔＶａｌの最も小さい値を有するピクチャとして選択される。

２．ピクチャは、ピクチャのためのアクティブシーケンスパラメータセットにおいて指定されたクロッピング矩形を使用してクロップされ、クロップされたピクチャは出力され、ピクチャは「出力のために必要とされない」とマークされる。

３．クロップされ、出力されたピクチャを含んだピクチャ記憶バッファが、「参照のために使用されない」とマークされたピクチャを含んでいる場合、ピクチャ記憶バッファは空にされる。

[0195]Ａ．３．４ ピクチャ復号、マーキングおよび記憶
[0196]以下は、現在ピクチャを含んでいるアクセスユニットｎの最後の復号ユニットがＣＰＢから削除されたときに瞬時に起こる。

[0197]現在ピクチャは、ピクチャの最後の復号ユニットが復号された後に復号されると見なされる。現在復号ピクチャは、ＤＰＢ中の空のピクチャ記憶バッファに記憶され、以下が適用される。

− 現在復号ピクチャが、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する場合、それは「出力のために必要とされる」とマークされる。

− そうでない場合（現在復号ピクチャが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）、それは「出力のために必要とされない」とマークされる。

[0198]現在復号ピクチャは「短期参照のために使用される」とマークされる。

[0199]４．１．２ 付属書類Ａにおける最大ルーマピクチャサイズ：プロファイル、ティアおよびレベル
[0200]表Ａ１において指定されているＭａｘＬｕｍａＰＳは、アクセスユニット中の各レイヤのルーマピクチャサイズ（ＡＵＭａｘＬｕｍａＰＳ）の最大合計に対応し得る。

[0201]代替的に、ＨＥＶＣ基本仕様におけるレベルの同じ値は、拡張を示すために使用され得、ここにおいて、１つのレイヤは同じレベルを必要とする。この場合、以下の２つの態様が適用され得る。

− ＭａｘＬｕｍａＰＳは、マルチビューまたは３ＤＶ拡張における最も高い空間解像度をもつ、スケーラブル拡張またはテクスチャビューにおける最も高いレイヤの最大ルーマピクチャサイズに対応する。

− ＡＵＭａｘＬｕｍａＰＳ／ＭａｘＬｕｍａＰＳに基づいて、および、たとえば、ＤＰＢサイズおよび他のレベル関係制約を導出するときに考慮に入れて、スケーリングファクタが導入され、計算される。

[0202]上述のように、スケーリングファクタは、１つのレイヤコンポーネントの最大サンプル数で除算されたすべてのレイヤコンポーネントのサンプル数の合計として導出され得る。代替的に、スケーリングファクタは、ルーマ成分とクロマ成分の両方のためのクロマサンプリングフォーマットおよびビット深度値を考慮に入れることによって計算され得る。

[0203]スケーリングファクタに関係し得るＤＰＢサイズを定義するために、様々な手法が使用され得る。

[0204]１つの手法では、「ＤＰＢサイズ」は物理メモリサイズを示し、したがって、スケーリングファクタは、記憶され得るピクチャの数をスケールダウンする。

[0205]代替的に、異なる手法では、「ＤＰＢサイズ」は、いくつのＡＵが記憶され得るかを示し、したがって、スケーリングファクタは、（ベースレイヤのみを有することと比較して）物理メモリサイズをスケールアップする。

[0206]４．１．３ レイヤコンポーネント参照ピクチャセットのマーキングステータスのための制約
[0207]代替＃１
[0208]ＨＥＶＣのスケーラブル拡張では、各レイヤの、同じアクセスユニットの復号中に生成されたピクチャを除く、参照ピクチャセットは、次のように制約される。

[0209]ＲＰＳｉとして示された、各レイヤコンポーネントｉのＲＰＳは、ＲＰＳｊのスーパーセットであり、ここにおいて、（同じアクセスユニットの）レイヤコンポーネントｊはより小さいｌａｙｅｒ＿ｉｄを有し、ＲＰＳｊ中に含まれるピクチャ識別情報（ＰＯＣ）はＲＰＳｉ中にも含まれることを意味する。

[0210]代替的に、各レイヤコンポーネントのためのそのＲＰＳは同じであるべきである。この場合、インター予測参照のために、ＲＰＳのＡＵベースのシグナリングのみが必要とされる。ＡＵベースのシグナリングは、ベースレイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。代替的に、ＡＵベースのシグナリングは、各独立レイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。

[0211]参照ピクチャセットは、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒと、ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌと、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅと、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒと、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌとを含むことに留意されたい。

[0212]同様に、ＭＶ−ＨＥＶＣでは、同じアクセスユニットの復号中に生成された参照ピクチャを除く、各ビューコンポーネントの参照ピクチャセットは、次のように制約される。

[0213]ＲＰＳｉとして示された、レイヤコンポーネントｉのＲＰＳは、ＲＰＳｊのスーパーセットであり、ここにおいて、（同じアクセスユニットの）レイヤコンポーネントｊはより小さいｌａｙｅｒ＿ｉｄを有し、ＲＰＳｉ中にあるピクチャ識別情報（ＰＯＣ）はＲＰＳｊ中に含まれないことを意味する。

[0214]代替的に、各レイヤコンポーネントのためのそのＲＰＳは同じであるべきである。この場合、インター予測参照のために、ＲＰＳのＡＵベースのシグナリングのみが必要とされる。ＡＵベースのシグナリングは、ベースレイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。代替的に、ＡＵベースのシグナリングは、各独立レイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。

[0215]３Ｄ−ＨＥＶＣでは、以下の制約する適用され得る。

[0216]ＲＰＳｉとして示された、各テクスチャビューコンポーネントｉのＲＰＳは、ＲＰＳｊのスーパーセットであり、ここにおいて、（同じアクセスユニットの）テクスチャビューコンポーネントｊはより小さいｌａｙｅｒ＿ｉｄを有する。

[0217]ＲＰＳｉとして示された、各深度ビューコンポーネントｉのＲＰＳは、ＲＰＳｊのスーパーセットであり、ここにおいて、（同じアクセスユニットの）深度ビューコンポーネントｊはより小さいｌａｙｅｒ＿ｉｄを有する。

[0218]ＲＰＳｔとして示された、テクスチャビューコンポーネントのＲＰＳは、ＲＰＳｄのスーパーセット、同じビューの深度ビューコンポーネントのＲＰＳである。

[0219]代替的に、ビューコンポーネントがテクスチャであるか深度であるかにかかわらず、ＲＰＳｉとして示された、レイヤコンポーネントｉのＲＰＳは、ＲＰＳｊのスーパーセットであり、ここにおいて、（同じアクセスユニットの）レイヤコンポーネントｊはより小さいｌａｙｅｒ＿ｉｄを有する。

[0220]代替＃２
[0221]同じアクセスユニットのすべてのレイヤコンポーネントは同じＲＰＳを共有する。

[0222]たとえば、各レイヤコンポーネントのためのＲＰＳは同じであるべきである。さらに、代替的に、インター予測参照のために、ＲＰＳのＡＵベースのシグナリングのみが必要とされる。ＡＵベースのシグナリングは、ベースレイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。代替的に、ＡＵベースのシグナリングは、各独立レイヤコンポーネントのみがＲＰＳシンタックス要素を含んでいる方法で行われ得る。

[0223]本開示の次のセクションでは、本開示の第２の例示的な技法のための（たとえば、スケーラブル、マルチビュー、および３Ｄ拡張を含む、ＨＥＶＣのための）別の例示的な仮想参照デコーダ（ＨＲＤ）実装形態について説明する。すなわち、以下のセクションは本開示の技法に適用され、それにより、ＤＰＢは複数のサブＤＰＢからなり、各々は異なる空間解像度に関連し、各レイヤのための復号レイヤコンポーネントは別個に管理される。本明細書において述べる節および従属節は、上記のＨＥＶＣ ＷＤ９の付属書類ＣにおけるＨＲＤ仕様に言及する。

[0224]４．２．１ ＨＲＤ：仮想参照デコーダ（例＃２）
[0225]Ａ．４ 復号ピクチャバッファ（ＤＰＢ）の動作
[0226]この従属節における仕様は、従属節Ｃ．１において指定されているように、選択されたＤＰＢパラメータの各セットに独立して適用される。

[0227]復号ピクチャバッファはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号レイヤコンポーネントを含んでいることがある。

[0228]復号ピクチャバッファは、１つまたは複数のサブ復号ピクチャバッファ（ＳＤＰＢ：sub decoded picture buffer）からなり、各々は異なる空間解像度に関連する。初期化より前に、各ＳＤＰＢは空である（ＳＤＰＢフルネスは０に設定される）。

[0229]この従属節の従属節の以下のステップは、以下に記載する順序で起こり、復号順序で、１つのレイヤについて毎回、繰り返し呼び出され、呼出し中に、「ＤＰＢ」は「ＳＤＰＢ」と置き換えられ、「復号ピクチャ」は「復号レイヤコンポーネント」と置き換えられる。

[0230]すべてのレイヤコンポーネントが、ＩＤＲ＿Ｗ＿ＤＬＰまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャはＩＤＲである。

[0231]すべてのレイヤコンポーネントが、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する場合、ピクチャはＢＬＡである。

[0232]ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、両端値を含む、１６〜２３の範囲内の値を有するとき（ＲＡＰピクチャ）、ｓｌｉｃｅ＿ｔｙｐｅは、ベースレイヤのために２に等しくなる（ｌａｙｅｒ＿ｉｄは０に等しい）が、ｌａｙｅｒ＿ｉｄが０よりもより大きい場合、他の値に等しくなり得る。

[0233]Ａ．４．１ ＤＰＢからのピクチャの削除
[0234]現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、（現在ピクチャを含んでいる）アクセスユニットｎの第１の復号ユニットのＣＰＢ削除時間に瞬時に起こり、次のように進む。

[0235]従属節８．３．２において指定されている参照ピクチャセットのための復号プロセスが呼び出される。

[0236]現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャである場合、以下が適用される。

１．ＩＤＲピクチャまたはＢＬＡピクチャが、復号される第１のピクチャではなく、現在アクセスユニットのいずれかのレイヤのためのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値が、それぞれ、前のアクセスユニットを復号したときに導出されたｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なるとき、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの実効値にかかわらず、ＨＲＤによって１に等しいと推論される。

注−デコーダ実装形態は、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、またはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ｉ］の変更に関して、ＨＲＤよりも適切にピクチャまたはＤＰＢサイズ変更を処理することを試みるべきである。

２．ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが、１に等しいかまたは１に等しいと推論されるとき、ＤＰＢ中のすべてのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされ、ＤＰＢフルネスは０に設定される。

[0237]以下の条件のうちのすべてが真である、ＤＰＢ中のすべてのピクチャｋがＤＰＢから削除される。

− ピクチャｋが「参照のために使用されない」とマークされる、
− ピクチャｋが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するか、またはそれのＤＰＢ出力時間が、現在ピクチャｎの（復号ユニットｍとして示される）第１の復号ユニットのＣＰＢ削除時間以下である、すなわち、ｔｏ，ｄｐｂ（ｋ）≦ｔｒ（ｍ）である。

[0238]ピクチャがＤＰＢから削除されると、ＤＰＢフルネスは１だけ減分される。

[0239]Ａ．４．２ ピクチャ出力
[0240]以下は、アクセスユニットｎのＣＰＢ削除時間、ｔｒ（ｎ）に瞬時に起こる。

[0241]ピクチャｎが１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するとき、それのＤＰＢ出力時間ｔｏ，ｄｐｂ（ｎ）は

によって導出される。上式で、ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ（ｎ）は、アクセスユニットｎに関連するピクチャタイミングＳＥＩメッセージにおいて指定されているｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙの値である。

[0242]現在ピクチャの出力は次のように指定される。

− ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しく、ｔｏ，ｄｐｂ（ｎ）＝ｔｒ（ｎ）である場合、現在ピクチャは出力される。

− そうではなく、ＰｉｃＯｕｔｐｕｔＦｌａｇが０に等しい場合、現在ピクチャは、出力されないが、従属節Ｃ．３．４において指定されているようにＤＰＢに記憶される。

− そうでない場合（ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しく、ｔｏ，ｄｐｂ（ｎ）＞ｔｒ（ｎ）である）、現在ピクチャは、後で出力され、（従属節Ｃ．３．４において指定されているように）ＤＰＢに記憶されることになり、ｔｏ，ｄｐｂ（ｎ）に先行する時間に１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号または推論によって出力されるべきでないことが示されない限り、時間ｔｏ，ｄｐｂ（ｎ）に出力される。

[0243]出力時に、ピクチャは、アクティブシーケンスパラメータセットにおいて指定されている適合クロッピングウィンドウを使用してクロップされる。

[0244]ピクチャｎが、出力されるピクチャであり、出力されるビットストリームの最後のピクチャではないとき、Ｄｔｏ，ｄｐｂ（ｎ）の値は、

のように定義される。上式で、ｎｎは、出力順序でピクチャｎに続く、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するピクチャを示す。

[0245]Ａ．４．３ 現在復号ピクチャマーキングおよび記憶
[0246]以下は、アクセスユニットｎのＣＰＢ削除時間、ｔｒ（ｎ）に瞬時に起こる。

[0247]現在復号ピクチャは空のピクチャ記憶バッファ中のＤＰＢに記憶され、ＤＰＢフルネスは１だけ増分され、現在ピクチャは、「短期参照のために使用される」とマークされる。

[0248]Ａ．５ ビットストリーム適合
[0249]従属節Ｃ．２における仕様が適用される。

[0250]Ａ．６ デコーダ適合
[0251]Ａ．６．１ 一般
[0252]Ｃ．５．１における仕様は、以下の追加とともに適用される。

[0253]復号ピクチャバッファはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号レイヤコンポーネントを含んでいることがある。

[0254]復号ピクチャバッファは、１つまたは複数のサブ復号ピクチャバッファ（ＳＤＰＢ）を含み得、各々は異なる空間解像度に関連する。初期化より前に、各ＳＤＰＢは空である（ＳＤＰＢフルネスは０に設定される）。

[0255]この従属節の従属節の以下のステップは、以下に記載する順序で起こり、復号順序で、１つのレイヤについて毎回、繰り返し呼び出され、呼出し中に、「ＤＰＢ」は「ＳＤＰＢ」と置き換えられ、「復号ピクチャ」は「復号レイヤコンポーネント」と置き換えられる。

[0256]ピクチャが、ＩＤＲ＿Ｗ＿ＤＬＰまたはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するレイヤコンポーネントである場合、それはＩＤＲである。

[0257]ピクチャが、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、またはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するレイヤコンポーネントである場合、それはＢＬＡである。

[0258]ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、両端値を含む、１６〜２３の範囲内の値を有するとき（ＲＡＰピクチャ）、ｓｌｉｃｅ＿ｔｙｐｅは、ベースレイヤのために２に等しくなる（ｌａｙｅｒ＿ｉｄは０に等しい）が、ｌａｙｅｒ＿ｉｄが０よりもより大きい場合、他の値に等しくなり得る。

[0259]Ａ．６．２ 出力順序ＤＰＢの動作
[0260]復号ピクチャバッファはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいる。ＨＲＤの初期化において、ＤＰＢは空である。以下のステップは、以下に記載する順序で起こる。

[0261]Ａ．６．３ ＤＰＢからのピクチャの出力および削除
[0262]現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、現在ピクチャを含んでいるアクセスユニットの第１の復号ユニットがＣＰＢから削除されるときに瞬時に起こり、次のように進む。

[0263]従属節８．３．２において指定されている参照ピクチャセットのための復号プロセスが呼び出される。

− 現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャである場合、以下が適用される。

１．ＩＤＲピクチャまたはＢＬＡピクチャが、復号される第１のピクチャではなく、現在アクセスユニットの各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値が、それぞれ、前のアクセスユニットのために導出された各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なるとき、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの実効値にかかわらず、ＨＲＤによって１に等しいと推論される。

２．ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが、１に等しいかまたは１に等しいと推論されるとき、ＤＰＢ中のすべてのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされる。

３．ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しくなく、１に等しいと推論されないとき、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされ、従属節Ｃ．５．３．１において指定されている「バンピング」プロセスを繰り返し呼び出すことによって、ＤＰＢ中のすべての空でないピクチャ記憶バッファが空にされる。

− そうでない場合（現在ピクチャがＩＤＲピクチャまたはＢＬＡピクチャではない）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされる。以下の条件のうちの１つまたは複数が真であるとき、従属節Ｃ．５．３．１において指定されている「バンピング」プロセスは、現在復号ピクチャを記憶するために空のピクチャ記憶バッファがあるまで、繰り返し呼び出される。

３．「出力のために必要とされる」とマークされたＤＰＢ中のピクチャの数は、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きい、
４．ＤＰＢ中のピクチャの数は、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］に等しい。

アクセスユニットの各レイヤのｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓまたはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＨｉｇｈｅｓｔＴｉｄ］は、現在アクセスユニットによって参照されたシーケンスパラメータセット中でシグナリングされるか、またはアクティブビデオパラメータセット中でシグナリングされるかのいずれかであり得ることに留意されたい。

[0264]Ａ．６．３．１ 「バンピング」プロセス
[0265]「バンピング」プロセスは以下の場合に呼び出される。

− 現在ピクチャはＩＤＲピクチャまたはＢＬＡピクチャであり、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、従属節Ｃ．５．２において指定されているように、１に等しくなく、１に等しいと推論されない。

− 「出力のために必要とされる」とマークされたＤＰＢ中のピクチャの数は、従属節Ｃ．５．２において指定されているように、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＴｅｍｐｏｒａｌＩｄ］よりも大きい。

− 現在ピクチャのＴｅｍｐｏｒａｌＩｄよりも低いかまたはそれに等しいＴｅｍｐｏｒａｌＩｄをもつＤＰＢ中のピクチャの数は、従属節Ｃ．５．２において指定されているように、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ［ＴｅｍｐｏｒａｌＩｄ］に等しい。

[0266]「バンピング」プロセスは以下の順序付きステップのを含み得る。

１．出力のための最初のものであるピクチャは、「出力のために必要とされる」とマークされたＤＰＢ中のすべてのピクチャのうちのＰｉｃＯｒｄｅｒＣｎｔＶａｌの最小値を有するピクチャとして選択される。

２．ピクチャは、ピクチャのためのアクティブシーケンスパラメータセットにおいて指定されたクロッピング矩形を使用してクロップされ、クロップされたピクチャは出力され、ピクチャは、「出力のために必要とされない」とマークされる。

３．クロップされ、出力されたピクチャを含んだピクチャ記憶バッファが、「参照のために使用されない」とマークされたピクチャを含んでいる場合、ピクチャ記憶バッファは空にされる。

[0267]Ａ．６．４ ピクチャ復号、マーキングおよび記憶
[0268]以下は、現在ピクチャを含んでいるアクセスユニットｎの最後の復号ユニットがＣＰＢから削除されたときに瞬時に起こる。

[0269]現在ピクチャは、ピクチャの最後の復号ユニットが復号された後に復号されると見なされる。現在復号ピクチャは、ＤＰＢ中の空のピクチャ記憶バッファに記憶され、以下が適用される。

− 現在復号ピクチャが、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する場合、それは「出力のために必要とされる」とマークされる。

− そうでない場合（現在復号ピクチャが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）、それは「出力のために必要とされない」とマークされる。

[0270]現在復号ピクチャは「短期参照のために使用される」とマークされる。

[0271]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0272]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0273]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0274]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0275]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。

[0275]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータをコーディングする方法であって、
複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
を備える、方法。
［Ｃ２］
前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、Ｃ１に記載の方法。
［Ｃ３］
前記１つまたは複数のサブユニットに対して前記ＤＰＢ管理プロセスを実行することが、
アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
を備える、Ｃ２に記載の方法。
［Ｃ４］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することが、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶することを備え、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、Ｃ１に記載の方法。
［Ｃ５］
前記１つまたは複数のサブユニットの各々が、空間解像度と、クロマサンプリングフォーマットと、ビット深度との特定の組合せに関連する、Ｃ４に記載の方法。
［Ｃ６］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記１つまたは複数のサブユニットの各々が、異なる完全に再構成されたレイヤに関連する、Ｃ１に記載の方法。
［Ｃ７］
前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することは、前記ＤＰＢの各サブユニットが、最も高い空間解像度を有する前記復号レイヤコンポーネントに対応するように、前記復号レイヤコンポーネントを前記ＤＰＢのサブユニットのうちの前記１つまたは複数のうちの１つに記憶することを備える、Ｃ１に記載の方法。
［Ｃ８］
前記ＤＰＢの前記１つまたは複数のサブユニットの各々が１つの復号レイヤコンポーネントを記憶する、Ｃ７に記載の方法。
［Ｃ９］
前記１つオア複数のサブユニットが単一のサブユニットを備え、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することは、前記ＤＰＢの前記単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、前記復号レイヤコンポーネントを前記ＤＰＢの前記単一のサブユニットに記憶することを備える、Ｃ１に記載の方法。
［Ｃ１０］
前記ＤＰＢの前記単一のサブユニットのサイズが、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定される、Ｃ９に記載の方法。
［Ｃ１１］
ビデオデータをコーディングするように構成された装置であって、前記装置が、
複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
を行うように構成されたビデオコーダ
を備える、装置。
［Ｃ１２］
前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、Ｃ１１に記載の装置。
［Ｃ１３］
前記ビデオコーダが、
アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
を行うようにさらに構成された、Ｃ１２に記載の装置。
［Ｃ１４］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記ビデオコーダが、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶するようにさらに構成され、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、Ｃ１１に記載の装置。
［Ｃ１５］
前記１つまたは複数のサブユニットの各々が、空間解像度と、クロマサンプリングフォーマットと、ビット深度との特定の組合せに関連する、Ｃ１４に記載の装置。
［Ｃ１６］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記１つまたは複数のサブユニットの各々が、異なる完全に再構成されたレイヤに関連する、Ｃ１１に記載の装置。
［Ｃ１７］
前記ビデオコーダは、前記ＤＰＢの各サブユニットが、最も高い空間解像度を有する前記復号レイヤコンポーネントに対応するように、前記復号レイヤコンポーネントを前記ＤＰＢのサブユニットのうちの前記１つまたは複数のうちの１つに記憶するようにさらに構成された、Ｃ１１に記載の装置。
［Ｃ１８］
前記ＤＰＢの前記１つまたは複数のサブユニットの各々が１つの復号レイヤコンポーネントを記憶する、Ｃ１７に記載の装置。
［Ｃ１９］
前記１つまたは複数のサブユニットが単一のサブユニットを備え、ここにおいて、前記ビデオコーダは、前記ＤＰＢの前記単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、前記復号レイヤコンポーネントを前記ＤＰＢの前記単一のサブユニットに記憶するようにさらに構成された、Ｃ１１に記載の装置。
［Ｃ２０］
前記ＤＰＢの前記単一のサブユニットのサイズが、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定される、Ｃ１９に記載の装置。
［Ｃ２１］
ビデオデータをコーディングするように構成された装置であって、前記装置が、
複数の復号レイヤコンポーネントを生成するためにビデオデータを復号するための手段と、
前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶するための手段と、
前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行するための手段と、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
を備える、装置。
［Ｃ２２］
前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記１つまたは複数のサブユニットに対して前記ＤＰＢ管理プロセスを実行するための前記手段が、
アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行するための手段と、
前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行するための手段と
を備える、Ｃ２２に記載の装置。
［Ｃ２４］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶するための前記手段が、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶するための手段を備え、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、Ｃ２１に記載の装置。
［Ｃ２５］
実行されたとき、ビデオデータをコーディングするように構成されたデバイスの１つまたは複数のプロセッサに、
複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
を行わせる命令を記憶するコンピュータ可読記憶媒体。
［Ｃ２６］
前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２７］
前記命令が、前記１つまたは複数のプロセッサに、
アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
を行わせる、Ｃ２６に記載のコンピュータ可読記憶媒体。
［Ｃ２８］
前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記命令が、前記１つまたは複数のプロセッサに、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶することをさらに行わせ、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、Ｃ２５に記載のコンピュータ可読記憶媒体。

Claims (28)

1. ビデオデータをコーディングする方法であって、
   複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
   前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
   前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
   を備える、方法。
2. 前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、請求項１に記載の方法。
3. 前記１つまたは複数のサブユニットに対して前記ＤＰＢ管理プロセスを実行することが、
   アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
   前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
   を備える、請求項２に記載の方法。
4. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することが、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶することを備え、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、請求項１に記載の方法。
5. 前記１つまたは複数のサブユニットの各々が、空間解像度と、クロマサンプリングフォーマットと、ビット深度との特定の組合せに関連する、請求項４に記載の方法。
6. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記１つまたは複数のサブユニットの各々が、異なる完全に再構成されたレイヤに関連する、請求項１に記載の方法。
7. 前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することは、前記ＤＰＢの各サブユニットが、その最も高い空間解像度を有する前記復号レイヤコンポーネントに対応するように、前記復号レイヤコンポーネントを前記ＤＰＢのサブユニットのうちの前記１つまたは複数のうちの１つに記憶することを備える、請求項１に記載の方法。
8. 前記ＤＰＢの前記１つまたは複数のサブユニットの各々が１つの復号レイヤコンポーネントを記憶する、請求項７に記載の方法。
9. 前記１つオア複数のサブユニットが単一のサブユニットを備え、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶することは、前記ＤＰＢの前記単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、前記復号レイヤコンポーネントを前記ＤＰＢの前記単一のサブユニットに記憶することを備える、請求項１に記載の方法。
10. 前記ＤＰＢの前記単一のサブユニットのサイズが、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定される、請求項９に記載の方法。
11. ビデオデータをコーディングするように構成された装置であって、前記装置が、
    複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
    前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
    前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
    を行うように構成されたビデオコーダ
    を備える、装置。
12. 前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、請求項１１に記載の装置。
13. 前記ビデオコーダが、
    アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
    前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
    を行うようにさらに構成された、請求項１２に記載の装置。
14. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記ビデオコーダが、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶するようにさらに構成され、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、請求項１１に記載の装置。
15. 前記１つまたは複数のサブユニットの各々が、空間解像度と、クロマサンプリングフォーマットと、ビット深度との特定の組合せに関連する、請求項１４に記載の装置。
16. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記１つまたは複数のサブユニットの各々が、異なる完全に再構成されたレイヤに関連する、請求項１１に記載の装置。
17. 前記ビデオコーダは、前記ＤＰＢの各サブユニットが、最も高い空間解像度を有する前記復号レイヤコンポーネントに対応するように、前記復号レイヤコンポーネントを前記ＤＰＢのサブユニットのうちの前記１つまたは複数のうちの１つに記憶するようにさらに構成された、請求項１１に記載の装置。
18. 前記ＤＰＢの前記１つまたは複数のサブユニットの各々が１つの復号レイヤコンポーネントを記憶する、請求項１７に記載の装置。
19. 前記１つまたは複数のサブユニットが単一のサブユニットを備え、ここにおいて、前記ビデオコーダは、前記ＤＰＢの前記単一のサブユニットが、アクセスユニット内の完全に再構成されたレイヤのための復号レイヤコンポーネントの結合を含んでいるように、前記復号レイヤコンポーネントを前記ＤＰＢの前記単一のサブユニットに記憶するようにさらに構成された、請求項１１に記載の装置。
20. 前記ＤＰＢの前記単一のサブユニットのサイズが、すべての復号レイヤコンポーネント中のすべてのコンポーネントのサンプルの数の合計によって決定される、請求項１９に記載の装置。
21. ビデオデータをコーディングするように構成された装置であって、前記装置が、
    複数の復号レイヤコンポーネントを生成するためにビデオデータを復号するための手段と、
    前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶するための手段と、
    前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行するための手段と、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
    を備える、装置。
22. 前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、請求項２１に記載の装置。
23. 前記１つまたは複数のサブユニットに対して前記ＤＰＢ管理プロセスを実行するための前記手段が、
    アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行するための手段と、
    前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行するための手段と
    を備える、請求項２２に記載の装置。
24. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記復号レイヤコンポーネントを前記ＤＰＢの１つまたは複数のサブユニットに記憶するための前記手段が、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶するための手段を備え、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、請求項２１に記載の装置。
25. 実行されたとき、ビデオデータをコーディングするように構成されたデバイスの１つまたは複数のプロセッサに、
    複数の復号レイヤコンポーネントを生成するためにビデオデータを復号することと、
    前記復号レイヤコンポーネントを復号ピクチャバッファ（ＤＰＢ）の１つまたは複数のサブユニットに記憶することと、
    前記１つまたは複数のサブユニットに対してＤＰＢ管理プロセスを実行することと、ここにおいて、前記ＤＰＢ管理プロセスが、前記１つまたは複数のサブユニットの各々について別個に管理される、
    を行わせる命令を記憶するコンピュータ可読記憶媒体。
26. 前記ＤＰＢ管理プロセスが、前記サブユニットから前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを削除することと、前記サブユニット中の前記複数の復号レイヤコンポーネントのうちの１つの復号レイヤコンポーネントを、参照のために使用されないとマークすることとのうちの１つまたは複数を備える、請求項２５に記載のコンピュータ可読記憶媒体。
27. 前記命令が、前記１つまたは複数のプロセッサに、
    アクセスユニット中の第１の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと、
    前記アクセスユニット中の他の復号レイヤコンポーネントに対して前記ＤＰＢ管理プロセスを実行することと
    を行わせる、請求項２６に記載のコンピュータ可読記憶媒体。
28. 前記復号レイヤコンポーネントが少なくとも２つの異なる空間解像度を有し、ここにおいて、前記命令が、前記１つまたは複数のプロセッサに、前記復号レイヤコンポーネントの前記空間解像度に基づいて前記復号レイヤコンポーネントを前記ＤＰＢの前記１つまたは複数のサブユニットのうちの１つに記憶することをさらに行わせ、ここにおいて、前記１つまたは複数のサブユニットの各々が異なる空間解像度に関連する、請求項２５に記載のコンピュータ可読記憶媒体。