JP7254188B2

JP7254188B2 - 点群符号化のためのパラメータセット設計の方法並びにその装置及びプログラム

Info

Publication number: JP7254188B2
Application number: JP2021540569A
Authority: JP
Inventors: ビョンドゥ・チェ; シャン・リュウ; アーラシュ・ヴォソウギ; セフン・ヤ
Original assignee: テンセント・アメリカ・エルエルシー
Priority date: 2019-03-18
Filing date: 2020-03-13
Publication date: 2023-04-07
Anticipated expiration: 2040-03-13
Also published as: EP3942812A4; EP3942812A1; CN113994686B; CN113994686A; JP2022518894A; US20200304813A1; WO2020190692A1; US10924751B2

Description

関連出願の相互参照
本出願は、米国特許商標庁で、２０１９年３月１８日に出願された米国仮出願第６２／８２０，２００号および２０２０年３月３日に出願された米国出願第１６／８０８，００９号の優先権を米国特許法第１１９条の下で主張し、その全ての内容は参照により本出願に組み込まれるものとする。

本開示は、特に、点群符号化に関する。

点群は、距離、色等の追加情報に関連付けられた３次元点を記述する大きなデータセットを指し得る。また、点群は、高速に作成することができるため、大量のメモリリソースを占有する。場合によっては、点群を記憶するかまたはレート制限された通信チャネルを介して送信する必要がある。したがって、点群の圧縮技術は、リソース消費、帯域幅消費、ネットワークメトリック等の点で有利である。

本開示は、点群のより効率的な符号化および復号を許可する。

本開示の一態様によれば、パラメータセットをアクティブ化して符号化された点群シーケンスの復号を許可する方法は、前記符号化された点群シーケンスに関連付けられたパラメータセットを構文解析するステップと、前記パラメータセットの構文解析に基づいて従属パラメータセットを識別するステップと、前記従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別するステップと、前記従属パラメータセットが前記パッチレベルのパラメータセットであると識別することに基づいて前記パッチレベルのパラメータセットをアクティブ化して、前記符号化された点群シーケンスの前記復号を許可するステップまたは前記従属パラメータセットが前記パッチレベルのパラメータセットでないと識別することに基づいてフレームレベルのパラメータセットをアクティブ化して、前記符号化された点群シーケンスの前記復号を許可するステップと、を含む。

本開示の一態様によれば、パラメータセットをアクティブ化して符号化された点群シーケンスの復号を許可する装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードにより指示されるように動作する少なくとも１つのプロセッサと、を含み、前記プログラムコードが、前記少なくとも１つのプロセッサに、前記符号化された点群シーケンスに関連付けられたパラメータセットを構文解析させるように構成された構文解析コードと、前記少なくとも１つのプロセッサに、前記パラメータセットの構文解析に基づいて従属パラメータセットを識別させ、かつ従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別させるように構成された識別コードと、前記少なくとも１つのプロセッサに、前記従属パラメータセットが前記パッチレベルのパラメータセットであると識別することに基づいて前記パッチレベルのパラメータセットを参照させ、前記従属パラメータセットが前記パッチレベルのパラメータセットでないと識別することに基づいてフレームレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可させるように構成された参照コードと、を含む。

本開示の一態様によれば、命令を記憶する非一時的コンピュータ可読媒体において、前記命令は、装置の１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、符号化された点群シーケンスに関連付けられたパラメータセットを構文解析するステップと、前記パラメータセットの構文解析に基づいて従属パラメータセットを識別するステップと、前記従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別するステップと、前記従属パラメータセットが前記パッチレベルのパラメータセットであると識別することに基づいて前記パッチレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可するステップと、前記従属パラメータセットが前記パッチレベルのパラメータセットでないと識別することに基づいてフレームレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可するステップと、を実行させる１つ以上の命令を含む。

本開示の主題のさらなる特徴、性質および様々な利点は、以下の詳細の説明および添付の図面からより明らかになる。

本開示の一実施形態による例示的なプロセスのフローチャートである。一実施形態による通信システムの簡略化されたブロック図の概略図である。一実施形態による通信システムの簡略化されたブロック図の概略図である。一実施形態によるデコーダの簡略化されたブロック図の概略図である。一実施形態によるエンコーダの簡略化されたブロック図の概略図である。一実施形態によるコンピュータシステムの概略図である。

本開示の実施形態は、特に、Ｖ－ＰＣＣユニット、Ｖ－ＰＣＣビデオデータユニットおよびＶ－ＰＣＣ非ビデオデータユニットの定義、符号化された点群シーケンスのＶ－ＰＣＣユニットにおける、各属性、形状または占有率の符号化ビデオシーケンスのビデオ符号化層（ＶＣＬ）ネットワーク抽象化層（ＮＡＬ）ユニットおよび非ＶＣＬＮＡＬユニットのカプセル化および伝送方法、パラメータセットの順序およびアクティブ化プロセス、パラメータセット拡張メカニズム、およびその他の機能という、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）ハイレベルシンタックス（ＨＬＳ）の改善を提案する。

本開示の一実施形態によれば、Ｖ－ＰＣＣＣＤテキストにおけるシーケンスパラメータセット（ＳＰＳ）は、属性、形状および占有率の符号化されたビデオストリームのＳＰＳと区別するために、Ｖ－ＰＣＣシーケンスパラメータセット（ＶＳＰＳ）と呼ばれ得る。

この開示は、Ｖ－ＰＣＣＨＬＳのためのＶ－ＰＣＣユニットおよびパラメータセット設計を提案する。現在のＶ－ＰＣＣＣＤ研究テキストでは、属性、形状および占有率の前記符号化されたビデオストリームのＶＣＬ－ＮＡＬユニットおよび非ＶＣＬＮＡＬユニット（例えば、シーケンスパラメータセットおよびピクチャパラメータセット）をどのように実行するかと、Ｖ－ＰＣＣの前記パラメータ（例えば、Ｖ－ＰＣＣシーケンスパラメータセット、フレームパラメータセット、ジオメトリパラメータセットおよび占有率パラメータセット）をどのようにアクティブ化および／または参照するかは不明である。

本開示の一実施形態によれば、「Ｖ－ＰＣＣユニット」、「Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）」および「Ｖ－ＰＣＣ非ビデオデータユニット（ＮＤＵ）」という用語は、以下のように使用され得る。「Ｖ－ＰＣＣユニット」は、Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）またはＶ－ＰＣＣ非ビデオデータユニット（ＮＤＵ）を指し得る。「Ｖ－ＰＣＣユニット」は、従うべきデータのタイプとそのデータを含むバイトとの表示を含むシンタックス構造を指し得る。「Ｖ－ＰＣＣ非ビデオデータユニット（ＮＤＵ）」は、パラメータセットまたはメタデータを含むＶ－ＰＣＣユニットを指し得る。「Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）」は、ビデオ符号化規格（例えば、ＡＶＣまたはＨＥＶＣ）によって符号化された、符号化ビデオデータ（例えば、ＶＣＬＮＡＬユニット）を含むＶ－ＰＣＣユニットを指し得る。このように、ＶＤＵとＮＤＵはそれぞれ、ＶＣＬＮＡＬユニットと非ＶＣＬＮＡＬユニットの同様の役割を含む。

本開示は、以下のＶＣＬ／非ＶＣＬＮＡＬユニットのカプセル化および伝送方法を提供する。

ＮＤＵは、Ｖ－ＰＣＣで指定されたパラメータセットとメタデータ、および他のビデオ符号化規格（例えば、ＡＶＣまたはＨＥＶＣ）で指定された非ＶＣＬＮＡＬユニットを伝送する。ＶＤＵは、同じフレームに属する１つ以上のＶＣＬＮＡＬユニットを含み得る。「vpcc_unit_type」が１に等しいＮＤＵは、占有率、ジオメトリまたは属性用の１つ以上のＳＰＳローバイトシーケンスペイロード（ＲＢＳＰ）を含み得る。「vpcc_unit_type」が３に等しいＮＤＵは、占有率、ジオメトリまたは属性用の１つ以上のＰＰＳＲＢＳＰを含み得る。

図１は、本開示の一実施形態による例示的なプロセスのフローチャートである。例えば、図１は、パラメータセットの構文解析およびアクティブ化のフローチャートである。

図１に示されるように、本開示のプロセスは、符号化された点群シーケンスに関連付けられたパラメータセットを構文解析すること（ブロック１１０）を含み得る。図１にさらに示されるように、プロセスは、従属パラメータセットを識別すること（ブロック１２）を含み得る。図１にさらに示されるように、プロセスは、従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別すること（ブロック１３０）を含み得る。従属パラメータセットがパッチレベルのパラメータセット（ブロック１３０－ＹＥＳ）場合、プロセスは、パッチレベルのパラメータセットをアクティブ化すること（ブロック１４０）を含み得る。従属パラメータセットがパッチレベルのパラメータセットでない場合、プロセスは、フレームレベルのパラメータセットをアクティブ化すること（ブロック１５０）を含み得る。

Ｖ－ＰＣＣユニットレベルでは、フレームパラメータセット（ＦＰＳ）は、Ｖ－ＰＣＣユニットレベルでＶＳＰＳ、ＳＰＳ、ＰＰＳ、およびその他のパラメータセットをアクティブ化するために使用するために再利用される。潜在的に、ＦＰＳは、フレームレベルの分割情報（例えば、タイル）を含み得る。フレームパラメータセット（ＦＰＳ）は、Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）によってアクティブ化され、１つ以上のＶＤＵによって参照される。

Ｖ－ＰＣＣユニットレベルでは、Ｖ－ＰＣＣシーケンスパラメータセット（ＶＳＰＳ）は、ＦＰＳによってアクティブ化され、１つ以上のＦＰＳによって参照される。アクティブ化されたＶＳＰＳは、符号化された点群シーケンス（ＣＰＣＳ）全体でアクティブなままである。

Ｖ－ＰＣＣユニットレベルでは、符号化ビデオシーケンス（ＣＶＳ）のピクチャパラメータセット（ＰＰＳ）は、ＦＰＳによってアクティブ化され、同じＣＶＳ内の１つ以上のＦＰＳおよびＶＣＬＮＡＬユニットによって参照される。

Ｖ－ＰＣＣユニットレベルでは、ＣＶＳのシーケンスパラメータセット（ＳＰＳ）は、同じＣＶＳ内のＰＰＳによってアクティブ化され、同じＣＶＳ内の１つ以上のＦＰＳおよびＶＣＬＮＡＬユニットによって参照される。

Ｖ－ＰＣＣユニットレベルでは、必要に応じて、占有パラメータセット（ＯＰＳ）とジオメトリパラメータセット（ＧＰＳ）がＦＰＳによってアクティブ化される。

パッチシーケンスレベルでは、パッチレベルのパラメータセット（例えば、属性パッチパラメータセット、形状パッチパラメータセットなど）およびパッチフレームパラメータは、「patch_frame_layer_unit」によってアクティブ化され、それぞれ1つ以上の「patch_frame_layer_units」によって参照される。

パッチシーケンスレベルでは、ジオメトリフレームパラメータセットは、形状パッチパラメータセットによってアクティブ化され、1つ以上の形状パッチパラメータセットによって参照される。

パッチシーケンスレベルでは、属性フレームパラメータセットは、属性パッチパラメータセットによってアクティブ化され、1つ以上の属性パッチパラメータセットによって参照される。

パッチシーケンスレベルでは、パッチシーケンスパラメータセット（ＰＳＰＳ）は、パッチフレームパラメータ、ジオメトリフレームパラメータ、または属性パッチパラメータセットによってアクティブ化される。アクティブ化されたＰＳＰＳは、符号化された点群シーケンス（ＣＰＣＳ）全体でアクティブなままである。

この項は、Ｖ－ＰＣＣシーケンスパラメータセット（ＶＳＰＳ）、シーケンスパラメータセット（ＳＰＳ）、フレームパラメータセット（ＦＰＳ）、ピクチャパラメータセット（ＰＰＳ）、占有パラメータセット（ＯＰＳ）、ジオメトリパラメータセット（ＧＰＳ）および属性パラメータセット（ＡＰＳ）のアクティブ化プロセスを指定する。

ＶＳＰＳ、ＳＰＳ、ＦＰＳ、ＰＰＳ、ＯＰＳ、ＧＰＳおよびＡＰＳメカニズムは、頻繁に変更されない情報の送信を、符号化ビデオデータの送信から分離する。一部のアプリケーションでは、パラメータは「帯域外」で伝達され得る。

ＦＰＳは、Ｖ－ＰＣＣビデオデータユニットが参照できるパラメータを含み得る。各ＦＰＳは、デコードプロセスの操作の開始時に最初はアクティブではないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＦＰＳがアクティブであると見なされ、任意の特定のＰＰＳをアクティブ化すると、以前にアクティブだったＦＰＳが非アクティブになる。ＦＰＳ（「fps_frame_parameter_set_id」の特定の値を有する）がアクティブでなく、Ｖ－ＰＣＣビデオユニット（「fps_frame_parameter_set_id」値と等しい「vdu_frame_parameter_set_id」の値を使用）によって参照される場合、フレームに対してアクティブされる。このＦＰＳは、別のフレームの別のＦＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＦＰＳと呼ばれる。「fps_frame_parameter_set_id」の特定の値を有するＦＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。符号化フレームのアクティブＦＰＳの「fps_frame_parameter_set_id」の値を含む全てのＦＰＳＮＡＬユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＦＰＳのコンテンツと同じコンテンツを有するものとする。

ＶＳＰＳＲＢＳＰは、１つ以上のＦＰＳが参照できるパラメータを含む。各ＶＳＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＶＳＰＳがアクティブであると見なされ、任意の特定のＶＳＰＳをアクティブ化すると、以前にアクティブだったＶＳＰＳが非アクティブ化される。

ＶＳＰＳ（「vsps_vpcc_seq_parameter_set_id」の特定の値を有する）がまだアクティブでなく、且つＦＰＳ（「fps_vpcc_seq_parameter_set_id」が「vsps_vpcc_seq_parameter_set_id value」と等しい）のアクティブ化によって参照される場合、ＶＳＰＳがアクティブ化される。このＶＳＰＳは、別のＶＳＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＶＳＰＳと呼ばれる。「vsps_vpcc_seq_parameter_set_id」の特定の値を有するＶＳＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、少なくとも１つのＶ－ＰＣＣ非ビデオユニットに含まれるかまたは外部手段を介して提供される。アクティブ化されたＶＳＰＳは、符号化された点群シーケンス（ＣＰＣＳ）全体でアクティブなままである。

「vpcc_unit_type」が３に等しいＶ－ＰＣＣ非ビデオデータユニットは、１つ以上の「pps_pic_parameter_set_ids」と対応する１つ以上のＰＰＳＮＡＬユニットを含む。「pps_pic_parameter_set_id[i]」の値は、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるｉ番目のＰＰＳＮＡＬユニットの値と等しい。ＰＰＳは、１つ以上のＦＰＳで参照できるパラメータを含む。各ＰＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。

最大で、デコードプロセスの操作中の任意の時点で１つのＰＰＳがアクティブであると見なされ、任意の特定のＰＰＳをアクティブ化すると、以前にアクティブだったＰＰＳが非アクティブになる。ＦＰＳがアクティブで、且つ「vpcc_unit_type」が３に等しいＶ－ＰＣＣ非ビデオデータユニットに含まれる「pps_attribute_type[i]」および「pps_attribute_index[i]」の特定の値に関連付けられたｉ番目のＰＰＳがＦＰＳ（ここで、「fps_attribute_type[j]」、「fps_attribute_index[j]」および「fps_pic_parameter_set_id[j]」の値は、「pps_attribute_type[i]」、「pps_attribute_index[i]」および「pps_pic_parameter_set_id[i]」の値と同じである）によって参照される場合、ｉ番目のＰＰＳは、フレームのＶ－ＰＣＣビデオデータユニットに対してアクティブ化される。このＰＰＳは、別のフレームの別のＰＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＰＰＳと呼ばれる。「pps_pic_parameter_set_id」の特定の値を有するＰＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。符号化フレームのアクティブＰＰＳの「pps_pic_parameter_set_id」の値を含む全てのＰＰＳＮＡＬユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＦＰＳのコンテンツと同じコンテンツを有するものとする。

「vpcc_unit_type」が１に等しいＶ－ＰＣＣ非ビデオデータユニットは、１つ以上の「sps_pic_parameter_set_ids」と対応する１つ以上のＳＰＳＮＡＬユニットを含む。「sps_seq_parameter_set_id[i]」の値は、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるｉ番目のＳＰＳＮＡＬユニットの値と等しい。ＳＰＳは、「vpcc_unit_type」が１に等しいＶ－ＰＣＣ非ビデオデータユニットに含まれる１つ以上のＰＰＳによって参照できるパラメータを含む。各ＳＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＳＰＳがアクティブであると見なされ、任意の特定のＳＰＳをアクティブ化すると、以前にアクティブだったＳＰＳが非アクティブ化される。ＳＰＳ（「sps_seq_parameter_set_id」の特定の値を有する）がまだアクティブでなく、且つＰＰＳ（「pps_seq_parameter_set_id」が「sps_seq_parameter_set_id」の値と等しい）のアクティブ化によって参照される場合、ＳＰＳがアクティブ化される。このＳＰＳは、別のＳＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＳＰＳと呼ばれる。「sps_seq_parameter_set_id」の特定の値を有するＳＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、少なくとも１つのＶ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。アクティブ化されたＳＰＳは、符号化された点群シーケンス（ＣＰＣＳ）全体でアクティブなままである。符号化フレームのアクティブＦＰＳの「fps_frame_parameter_set_id」の値を含む全てのＦＰＳＮＡＬユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＦＰＳのコンテンツと同じコンテンツを有するものとする。

ＡＰＳＲＢＳＰは、１つ以上のＦＰＳが参照できるパラメータを含む。各ＡＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＡＰＳがアクティブであると見なされ、任意の特定のＡＰＳをアクティブ化すると、以前にアクティブだったＰＰＳが非アクティブになる。ＦＰＳがアクティブで、且つｖｐｃｃユニットヘッダの「attribute_type」および「attribute_index」の特定の値に関連付けられたＡＰＳが、ＦＰＳ（「fps_attribute_type[j]」、「fps_attribute_index[j]」および「fps_attribute_parameter_set_id[j]」の値は、「attribute_type」、「attribute_index」および「aps_attribute_parameter_set_id」の値と等しい）によって参照される場合、ＡＰＳがアクティブ化される。このＡＰＳは、別のＡＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＡＰＳと呼ばれる。「aps_attribute_parameter_set_id」の特定の値を有するＡＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。符号化フレームのアクティブＡＰＳの「aps_attribute_parameter_set_id」の値を含む全てのＡＰＳＶ－ＰＣＣ非ビデオユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＦＰＳのコンテンツと同じコンテンツを有するものとする。

ＯＰＳＲＢＳＰは、１つ以上のＦＰＳによって参照できるパラメータを含む。各ＯＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＯＰＳがアクティブであると見なされ、任意の特定のＯＰＳをアクティブ化すると、以前にアクティブだったＯＰＳが非アクティブになる。ＦＰＳがアクティブで、且つＯＰＳがＦＰＳ（「fps_occupancy_parameter_set_id」の値が「ops_occupancy_parameter_set_id」の値と等しい）によって参照される場合、ＯＰＳがアクティブ化される。このＯＰＳは、別のＯＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＯＰＳと呼ばれる。「ops_occupancy_parameter_set_id」の特定の値を有するＯＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。符号化フレームのアクティブＰＰＳの「ops_occupancy_parameter_set_id」の値を含む全てのＯＰＳＶ－ＰＣＣ非ビデオユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＦＰＳのコンテンツと同じコンテンツを有するものとする。

ＧＰＳＲＢＳＰは、１つ以上のＦＰＳが参照できるパラメータを含む。各ＧＰＳは、デコードプロセスの操作の開始時に最初はアクティブでないと見なされる。最大で、デコードプロセスの操作中の任意の時点で１つのＧＰＳがアクティブであると見なされ、任意の特定のＯＰＳをアクティブ化すると、以前にアクティブだったＧＰＳが非アクティブになる。ＦＰＳがアクティブで、且つＧＰＳがＦＰＳ（「fps_geometry_parameter_set_id」の値が「gps_geometry_parameter_set_id」の値と等しい場合）によって参照される場合、ＧＰＳがアクティブ化される。このＧＰＳは、別のＧＰＳのアクティブ化によって非アクティブ化されるまで、アクティブＧＰＳと呼ばれる。「gps_geometry_parameter_set_id」の特定の値を有するＧＰＳは、アクティブ化の前にデコードプロセスで利用可能であり、Ｖ－ＰＣＣ非ビデオデータユニットに含まれるかまたは外部手段を介して提供される。符号化フレームのアクティブＧＰＳの「gps_geometry_parameter_set_id」の値を含む全てのＧＰＳＶ－ＰＣＣ非ビデオユニットは、符号化フレームの最後のＶ－ＰＣＣビデオユニットの後にあり、別の符号化フレームの最初のＶ－ＰＣＣビデオユニットの前にある場合を除き、符号化フレームのアクティブＧＰＳのコンテンツと同じコンテンツを有するものとする。

本開示の一実施形態は、ＨＥＶＣのものと同様に、様々なパラメータセットのシンタックスに付加された拡張シンタックスを含む。一実施形態は、以下の表５に示されるように、コーデック依存パラメータを搬送するためのコーデック固有の拡張を含む。

一実施形態によれば、「more_rbsp_data（）」は次のように指定される。パラメータセットにそれ以上のデータがない場合、戻り値「more_rbsp_data（）」はＦＡＬＳＥに等しい。

それ以外の場合、ＲＢＳＰデータは、１に等しい最後の（最下位、右端）ビットを検索する。rbsp_trailing_bits( )のシンタックス構造の最初のビット(rbsp_stop_one_bit)であるこのビットの位置を考えると、rbsp_trailing_bits( )のシンタックス構造の前にＲＢＳＰにさらに多くのデータがある場合、「more_rbsp_data( )」の戻り値はＴＲＵＥと等しくなる。それ以外の場合、more_rbsp_data ( )の戻り値はＦＡＬＳＥと等しい。

図２は、本開示の実施形態による通信システム（２００）の簡略されたブロック図を示している。システム（２００）は、ネットワーク（２５０）を介して相互接続される少なくとも２つの端末（２１０～２２０）を含み得る。データの単方向送信の場合、第１の端末（２１０）は、ネットワーク（２５０）を介して他の端末（２２０）に送信するためにビデオデータをローカル位置で符号化し得る。第２の端末（２２０）は、ネットワーク（２５０）から他の端末の符号化ビデオデータを受信し、符号化されたデータをデコードし、復元されたビデオデータを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。

図２は、例えば、ビデオ会議中に発生し得る符号化ビデオの双方向送信をサポートするように提供される第２の端末のペア（２３０，２４０）を示している。データの双方向送信の場合、各端末（２３０，２４０）は、ネットワーク（２５０）を介して他の端末に送信するためにローカル位置でキャプチャされたビデオデータを符号化し得る。各端末（２３０，２４０）はまた、他の端末によって送信された符号化ビデオデータを受信することができ、符号化されたデータをデコードすることができ、復元されたビデオデータをローカル表示デバイスに表示することができる。

図２において、端末（２１０～２４０）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示されているが、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、および／または専用のビデオ会議設備における用途を見出す。ネットワーク（２５０）は、例えば有線および／または無線通信ネットワークを含む、端末（２１０～２４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（２５０）のアーキテクチャおよびトポロジーは、以下で本明細書において説明されない限り、本開示の操作にとって重要でないかもしれない。

図３は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。

ストリーミングシステムは、例えば、非圧縮ビデオサンプルストリーム（３０２）を作成し得るデジタルカメラなどのビデオソース（３０１）を含むことができるキャプチャサブシステム（３１３）を含み得る。エンコードされたビデオビットストリームと比較して高データ量を強調するために太線で示されたサンプルストリーム（３０２）は、カメラ（３０１）に結合されたエンコーダ（３０３）によって処理されることができる。以下でより詳細に説明されるように、エンコーダ（３０３）は開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコードされたビデオビットストリーム（３０４）は、サンプルストリームと比較して、より低いデータ量を強調するために細線で示され、将来使うためにストリーミングサーバ（３０５）に記憶されることができる。１つ以上のストリーミングクライアント（３０６，３０８）は、ストリーミングサーバ（３０５）にアクセスして、エンコードされたビデオビットストリーム（３０４）のコピー（３０７，３０９）を検索することができる。クライアント（３０６）は、エンコードされたビデオビットストリーム（３０７）の入り方向コピーをデコードし、ディスプレイ（３１２）または他のレンダリングデバイス（示されていない）でレンダリングできる出方向ビデオサンプルストリーム（３１１）を作成するデコーダ（３１０）を含むことができる。一部のストリーミングシステムでは、ビデオビットストリーム（３０４，３０７，３０９）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることができる。これらの規格の例には、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。開発中のビデオ符号化規格は、非公式にＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇまたはＶＶＣとして知られてる。開示された主題は、ＶＶＣの文脈に使用され得る。

図４は、本開示の実施形態によるビデオデコーダ（３１０）の機能ブロック図であり得る。

受信機（４１０）は、デコーダ（３１０）によるデコード対象となる１つ以上のコーデックビデオシーケンスを受信し得る。同一または別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（４１２）から受信されることができる。受信機（４１０）は、それぞれの使用エンティティ（示されていない）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（４１０）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、バッファメモリ（４１５）は、受信機（４１０）とエントロピーデコーダ／パーサ（４２０）（以降、「パーサ」）との間に結合されてもよい。受信機（４１０）が十分な帯域幅および可制御性を有する記憶／転送装置から、または同一同期ネットワークからデータを受信する際に、バッファメモリ（４１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、比較的大きくされることができ、有利には適応サイズであることができるバッファメモリ（４１５）が必要とされることがある。

ビデオデコーダ（３１０）は、エントロピー符号化ビデオシーケンスからシンボル（４２１）を再構築するパーサ（４２０）を含み得る。これらのシンボルのカテゴリには、デコーダ（３１０）の操作を管理するために使用される情報、および、デコーダの不可欠な部分ではないが、図３に示されように、デコーダに結合されることができるディスプレイ（３１２）のようなレンダリングデバイスを制御する潜在的情報が含まれる。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（示されていない）の形態であってよい。パーサ（４２０）は、受信された符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に合わせることができ、可変長符号化、ハフマン符号化、文脈感受性を有するもしくは有さない算術符号化などを含む当業者によく知られる原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。エントロピーデコーダ／パーサは、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

パーサ（４２０）は、シンボル（４２１）を作成するために、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

シンボル（４２１）の再構築は、符号化ビデオピクチャまたはその一部（インターおよびイントラピクチャ、インターおよびイントラブロックなど）のタイプ、および他の要因に応じて、複数の異なるユニットを含み得る。どのユニットが、どのように関与するかは、符号化ビデオシーケンスからパーサ（４２０）によって構文解析されたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

既に述べた機能ブロックに加えて、デコーダ３１０は、以下で説明されるように、概念的にいくつかの機能ユニットに細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

第１のユニットは、スケーラ／逆変換ユニット（４５１）であり得る。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数を、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とともに、シンボル（４２１）としてパーサ（４２０）から受信することができる。これは、アグリゲータ（４５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係し得る。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（４５２）は、現在の（一部再構築された）ピクチャ（４５６）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。アグリゲータ（４５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化されたブロック、および潜在的に動き補償されたブロックに関係し得る。このような場合、動き補償予測ユニット（４５３）は、参照ピクチャバッファ（４５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（４２１）に従って動き補償した後、これらのサンプルは、出力サンプル情報を生成するように、アグリゲータ（４５５）によってスケーラ／逆変換ユニットの出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニットが予測サンプルを取り出す参照ピクチャバッファ内のアドレスは、動きベクトルによって制御されることができ、例えばＸ、Ｙ、および参照ピクチャ成分を有し得るシンボル（４２１）の形態で動き補償予測ユニットに利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャバッファから取り出されたサンプル値の補間、動きベクトル予測メカニズムなどをも含むことができる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５４）において様々なループフィルタリング技術を受けられる。ビデオ圧縮技術は、符号化されたビデオビットストリームに含まれるパラメータによって制御され、パーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５４）に利用可能とされたループ内フィルタ技術を含むことができるが、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応答することができるとともに、予め再構築されループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（４５４）の出力は、レンダリングデバイス（３１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５３４）に記憶されることができるサンプルストリームであり得る。

特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。符号化ピクチャが完全に再構築され、該符号化ピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在参照ピクチャ（４５４）は、参照ピクチャバッファ（４５７）の一部となり得、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャメモリを再割当てすることができる。

ビデオデコーダ４２０は、ＩＴＵ－ＴＲｅｃ．Ｈ．２６５などの規格で文書化され得る所定のビデオ圧縮技術に従って、デコード操作を実行し得る。符号化ビデオシーケンスが、ビデオ圧縮技術ドキュメントまたは規格、特にその中のプロファイルドキュメントに指定されたようにビデオ圧縮技術または規格の構文に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術ドキュメントまたは規格によって指定されるシンタックスに準拠し得る。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のための仮想参照デコーダ（ＨＲＤ）仕様およびメタデータによってさらに制限され得る。

一実施形態では、受信機（４１０）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（４２０）によって使用され得る。追加のデータは、例えば、時間的、空間的、またはＳＮＲエンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

図５は、本開示の実施形態によるエンコーダ（３０３）の機能ブロック図であり得る。

エンコーダ（３０３）は、エンコーダ（３０３）によって符号化されるビデオ画像をキャプチャし得る（エンコーダの一部ではない）ビデオソース（３０１）からビデオサンプルを受信し得る。

ビデオソース（３０１）は、エンコーダ（３０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ４：２：０、ＹＣｒＣｂ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（３０３）は、事前に準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（３０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラを含み得る。ビデオデータは、順番に見たときに動きを与える複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。

一実施形態によれば、エンコーダ（３０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（５４３）に圧縮することができる。適切な符号化速度を実施することは、コントローラ（５５０）の機能の１つである。コントローラは、以下で説明される他の機能ユニットを制御し、これらのユニットに機能的に結合されている。分かりやすくするために、カップリングは示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ（例えば、ピクチャスキップ、量子化器、レート歪み最適化技法のラムダ値）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（５５０）の他の機能が特定のシステム設計に対して最適化されたエンコーダ（３０３）に関係し得るので、当業者はそれらを容易に識別することができる。

一部のビデオエンコーダは、当業者が「符号化ループ」として容易に認識するもので動作する。過度に簡略化した説明として、符号化ループは、（符号化対象となる入力ピクチャおよび参照ピクチャに基づいてシンボルを作成する役割を担う）ビデオエンコーダ（５３０）（以降、「ソースコーダ」）のエンコード部分と、シンボルを再構築して、サンプルデータを作成するエンコーダ（３０３）に埋め込まれた（ローカル）デコーダ（５３３）から構成されることができ、ここで、前記サンプルデータは（リモート）デコーダにより作成してもよい（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリームは、参照ピクチャメモリ（５３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャバッファのコンテンツもローカルエンコーダとリモートエンコーダとの間でビットが正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および、例えば、チャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、当業者によく知られている。

「ローカル」デコーダ（５３３）の動作は、前文で図４に関連して既に詳細に説明された、「リモート」デコーダ（３１０）の動作と同様であり得る。しかしながら、図４も簡単に参照し、シンボルが利用可能であり、エントロピーコーダ（５４５）およびパーサ（４２０）による符号化ビデオシーケンスへのシンボルのエンコード／デコードは可逆であり得るので、デコーダ（３１０）のエントロピーデコード部分（チャネル（４１２）、受信機（４１０）、バッファメモリ（４１５）、およびパーサ（４２０）を含む）は、ローカルデコーダ（５３３）では完全に実施されない場合がある。

この時点で観察できたのは、デコーダに存在する構文解析／エントロピーデコード以外の任意のデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

その操作の一部として、ソースコーダ（５３０）は、「参照フレーム」として指定されたビデオシーケンスからの１つ以上の予め符号化されたフレームを参照して入力フレームを予測的に符号化する動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（５３２）は、入力フレームの画素ブロックと、入力フレームへの予測基準として選択され得る参照フレームの画素ブロックとの間の差異を符号化する。

ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化ビデオデータをデコードし得る。符号化エンジン（５３２）の操作は、有利には非可逆プロセスであり得る。符号化ビデオデータがビデオデコーダ（図５に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（５３３）は、ビデオデコーダによって参照フレームに対して実行され得るデコードプロセスを再現し、再構築された参照フレームを参照ピクチャキャッシュ（５３４）に記憶させることができる。このようにして、エンコーダ（３０３）は、遠端ビデオデコーダによって取得される再構築された参照フレームと共通するコンテンツ（送信エラー無し）を有する再構築された参照フレームのコピーをローカルに記憶し得る。

予測器（５３５）は、符号化エンジン（５３２）の予測検索を実行することができる。すなわち、符号化対象となる新しいフレームについて、予測器（５３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（５３４）で検索することができる。予測器（５３５）は、適切な予測基準を見つけるために、サンプルブロックに対して画素ブロックごとに操作することができる。場合によっては、予測器（５３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（５５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ビデオコーダ（５３０）の符号化操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）においてエントロピー符号化を受けられる。エントロピーコーダは、例えば、ハフマン符号化、可変長符号化、算術符号化など、当業者に知られている技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換することができる。

送信機（５４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（５６０）を介した送信の準備のために、エントロピーコーダ（５４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（５４０）は、ビデオコーダ（５３０）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（５５０）は、エンコーダ（３０３）の操作を管理することができる。符号化中、コントローラ（５５０）は、各符号化ピクチャに特定の符号化されたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、以下のフレームタイプの１つとして割り当てられる。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるフレームを使用せずに符号化およびデコードされ得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュピクチャなど、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化およびデコードされ得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間予測または時間予測を介して非予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間予測または時間予測を介して非予測的に符号化され得る。

ビデオコーダ（５３０）は、ＩＴＵ－ＴＲｅｃ．Ｈ．２６５などの予め設定されたビデオ符号化技術または規格に従って、符号化操作を実行することができる。この操作において、ビデオコーダ（５３０）は、入力ビデオシーケンスにおける時間的および空間的冗長性を利用する予測符号化操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されているビデオ符号化技術または規格によって指定されたシンタックスに準拠する場合がある。

一実施形態では、送信機（５４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ビデオコーダ（５３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長ピクチャやスライスなどの他の形態での冗長データ、補助強化情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含み得る。

図６は、開示された主題の特定の実施形態を実施することに適したコンピュータシステム６００を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、コンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム６００について図６に示されるコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム６００の例示的な実施形態で示されるコンポーネントのうちのいずれか１つまたは組み合わせに関する任意の依存性または必要性を有するとして解釈されるべきではない。

コンピュータシステム６００は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

入力ヒューマンインターフェースデバイスは、キーボード６０１、マウス６０２、トラックパッド６０３、タッチスクリーン６１０、データグローブ６０４、ジョイスティック６０５、マイクロフォン６０６、スキャナ６０７、カメラ６０８（それぞれ１つのみ示されている）のうちの１つ以上を含み得る

コンピュータシステム６００は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン６１０、データグローブ６０４、またはジョイスティック６０５による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ６０９、ヘッドホン（示されていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン６１０（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。

コンピュータシステム６００は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体６２１付きのＣＤ／ＤＶＤＲＯＭ／ＲＷ６２０を含む光学媒体、サムドライブ６２２、リムーバブルハードドライブまたはソリッドステートドライブ６２３、テープやフロッピーディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤ基底のデバイス（示されていない）などをも含むことができる。

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

コンピュータシステム６００は、１つ以上の通信ネットワーク（６５５）へのインターフェースをさらに含むことができる。ネットワーク（６５５）は、例えば、無線、有線、光学的であり得る。ネットワーク（６５５）は、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワーク（６５５）の例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワーク（６５５）は、一般に、特定の汎用データポートまたは周辺バス（６４９）（例えば、コンピュータシステム６００のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプター（６５４）を必要とする。他のものは一般に、以下で説明するようにシステムバスに接続されることにより、コンピューターシステム６００のコアに統合される（例えば、ＰＣコンピューターシステムへのイーサネットインターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワーク（６５５）のいずれかを用いて、コンピュータシステム６００は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワーク（６５５）およびネットワークインターフェース（６５４）のそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェース（６５４）は、コンピュータシステム６００のコア６４０に接続されることができる。

コア６４０は、１つ以上の中央処理装置（ＣＰＵ）６４１、グラフィックスプロセッシングユニット（ＧＰＵ）６４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）６４３の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ６４４などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）６４５、ランダムアクセスメモリ６４６、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置６４７とともに、システムバス６４８を介して接続されてもよい。一部のコンピュータシステムでは、システムバス６４８は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス６４８に直接、または周辺バス６４９またはグラフィックアダプタ６５０を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ６４１、ＧＰＵ６４２、ＦＰＧＡ６４３、およびアクセラレータ６４４は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ６４５またはＲＡＭ６４６に記憶されることができる。推移データはＲＡＭ６４６にも記憶できるが、永続データは、例えば、内部大容量ストレージ６４７に記憶されることができる。１つ以上のＣＰＵ６４１、ＧＰＵ６４２、大容量ストレージ６４７、ＲＯＭ６４５、ＲＡＭ６４６などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャ、特にコア６４０を有するコンピュータシステム６００は、一つまたは複数の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ６４７またはＲＯＭ６４５などの非一時的な性質を持つコア６４０の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア６４０によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア６４０、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ６４６に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ６４４）に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

２００通信システム
２１０～２２０端末
２３０、２４０第２の端末のペア
２５０ネットワーク
３０１ビデオソース（カメラ）
３０２非圧縮ビデオサンプルストリーム
３０３エンコーダ
３０４ビデオビットストリーム
３０５ストリーミングサーバ
３０６、３０８ストリーミングクライアント
３０７、３０９ビデオビットストリームのコピー
３１０デコーダ
３１１出方向ビデオサンプルストリーム
３１２ディスプレイ
３１３キャプチャサブシステム
４１０受信機
４１２チャネル
４１５バッファメモリ
４２０エントロピーデコーダ／パーサ（パーサ）
４２１シンボル
４５１スケーラ／逆変換ユニット
４５２イントラピクチャ予測ユニット
４５３動き補償予測ユニット
４５４ループフィルタユニット
４５５アグリゲータ
４５７参照ピクチャメモリ
５３０ソースコーダ
５３２符号化エンジン
５３３（ローカル）デコーダ
５３４参照ピクチャメモリ
５３５予測器
５４０送信機
５４３符号化ビデオシーケンス
５４５エントロピーコーダ
５５０コントローラ
５６０通信チャネル
６００コンピュータシステム
６０１キーボード
６０２マウス
６０３トラックパッド
６０４データグローブ
６０５ジョイスティック
６０６マイクロフォン
６０７スキャナ
６０８カメラ
６１０タッチスクリーン
６４０コア
６４１中央処理装置（ＣＰＵ）
６４２グラフィックスプロセッシングユニット（ＧＰＵ）
６４３フィールドプログラマブルゲートエリア（ＦＰＧＡ）
６４４ハードウェアアクセラレータ
６４５リードオンリーメモリ（ＲＯＭ）
６４６ランダムアクセスメモリ（ＲＡＭ）
６４７内部大容量記憶装置
６４８システムバス
６４９周辺バス
６５０グラフィックアダプタ
６５４外部ネットワークインターフェースアダプター
６５５通信ネットワーク

Claims

パラメータセットをアクティブ化して符号化された点群シーケンスの復号を許可する方法であって、
前記符号化された点群シーケンスに関連付けられたパラメータセットを構文解析するステップと、
前記パラメータセットの構文解析に基づいて従属パラメータセットを識別するステップと、
前記従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別するステップと、
前記従属パラメータセットが前記パッチレベルのパラメータセットであると識別することに基づいて前記パッチレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可するステップと、
前記従属パラメータセットが前記パッチレベルのパラメータセットでないと識別することに基づいてフレームレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可するステップと、を含む方法。
前記パラメータセットは、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）ユニットに関連付けられている、請求項１に記載の方法。
前記Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣ非ビデオデータユニット（ＮＤＵ）である、請求項２に記載の方法。
前記Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）である、請求項２に記載の方法。
前記パッチレベルのパラメータセットは、属性パッチパラメータセットである、請求項１に記載の方法。
前記パッチレベルのパラメータセットは、形状パッチパラメータセットである、請求項１に記載の方法。
前記パラメータセットは、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）シーケンスパラメータセット（ＶＳＰＳ）に関連付けられている、請求項１に記載の方法。
パラメータセットを参照して符号化された点群シーケンスの復号を許可する装置であって、
プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードにより指示されるように動作する少なくとも１つのプロセッサと、を含み、
前記プログラムコードが、前記少なくとも１つのプロセッサに、
前記符号化された点群シーケンスに関連付けられたパラメータセットを構文解析するステップと、
前記パラメータセットの構文解析に基づいて従属パラメータセットがパッチレベルのパラメータセットであるか否かを識別するステップと、
前記従属パラメータセットが前記パッチレベルのパラメータセットであると識別することに基づいて前記パッチレベルのパラメータセットを参照するステップと、
前記従属パラメータセットが前記パッチレベルのパラメータセットでないと識別することに基づいてフレームレベルのパラメータセットを参照して、前記符号化された点群シーケンスの前記復号を許可するステップと、を実行させるように構成される、装置。
前記パラメータセットは、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）ユニットに関連付けられている、請求項８に記載の装置。
前記Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣ非ビデオデータユニット（ＮＤＵ）である、請求項９に記載の装置。
前記Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣビデオデータユニット（ＶＤＵ）である、請求項９に記載の装置。
前記パッチレベルのパラメータセットは、属性パッチパラメータセットである、請求項８に記載の装置。
前記パッチレベルのパラメータセットは、形状パッチパラメータセットである、請求項８に記載の装置。
コンピュータに請求項１～７のいずれか一項に記載の方法を実現させるコンピュータプログラム。