JP7467646B2 - ３次元コンテンツ処理方法および装置 - Google Patents

３次元コンテンツ処理方法および装置 Download PDF

Info

Publication number
JP7467646B2
JP7467646B2 JP2022546010A JP2022546010A JP7467646B2 JP 7467646 B2 JP7467646 B2 JP 7467646B2 JP 2022546010 A JP2022546010 A JP 2022546010A JP 2022546010 A JP2022546010 A JP 2022546010A JP 7467646 B2 JP7467646 B2 JP 7467646B2
Authority
JP
Japan
Prior art keywords
bitstream
lod
track
data
detail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022546010A
Other languages
English (en)
Other versions
JP2023517463A (ja
Inventor
ヤシアン バイ，
チェン フアン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2023517463A publication Critical patent/JP2023517463A/ja
Application granted granted Critical
Publication of JP7467646B2 publication Critical patent/JP7467646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Surgical Instruments (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本特許文書は、ボリューム視覚的メディア処理および伝送技術を対象とする。
ビデオエンコーディングは、圧縮ツールを使用して、２次元ビデオフレームを記憶またはネットワークを経由して移送するためにより効率的である圧縮されたビットストリーム表現にエンコードする。エンコードするために２次元ビデオフレームを使用する従来的ビデオコーディング技法は、時として、３次元視覚的場面の視覚的情報の表現に関して非効率的である。
本特許文書は、とりわけ、３次元視覚的メディア表現を含むビットストリームをエンコードまたはデコードするための技法を説明する。
一例示的側面において、３次元コンテンツを処理する方法が、開示される。方法は、１つの幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームとして表された３次元（３Ｄ）コンテンツを含むビットストリームの詳細のレベル（ＬｏＤ）情報を解析することと、ＬｏＤ情報に基づいて、所望の詳細のレベルに対応する幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームのうちの少なくとも一部をデコードすることによって、デコードされた情報を生成することと、デコードされた情報を使用して、少なくとも所望の詳細のレベルに対応する３次元場面を再構築することとを含む。ビットストリームは、複数のレベルの３Ｄコンテンツの詳細に従って編成されたフォーマットに準拠する。
別の例示的側面において、３次元コンテンツをエンコードする方法が、開示される。方法は、３次元（３Ｄ）コンテンツを１つ以上の詳細のレベル（ＬｏＤ）に従って編成された幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームを備えているビットストリームにエンコードすることと、ビットストリームに、１つ以上のＬｏＤと、幾何学形状サブビットストリームと、１つ以上の属性ビットストリームとの間の対応を示すＬｏＤ情報を含むこととを含む。
別の例示的側面において、上記の説明される方法のうちの１つ以上を実装するための装置が、開示される。装置は、説明されるエンコーディングまたはデコーディング方法を実装するように構成されたプロセッサを含み得る。
さらに別の例示的側面において、コンピュータプログラム記憶媒体が、開示される。コンピュータプログラム記憶媒体は、その上に記憶されたコードを含む。コードは、プロセッサによって実行されると、説明される方法をプロセッサに実装させる。
これらおよび他の側面が、本書に説明される。
本発明はさらに、例えば、以下を提供する。
（項目１）
３次元コンテンツを処理する方法であって、前記方法は、
１つの幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームとして表された３次元（３Ｄ）コンテンツを含むビットストリームの詳細のレベル（ＬｏＤ）情報を解析することと、
前記ＬｏＤ情報に基づいて、所望の詳細のレベルに対応する前記幾何学形状サブビットストリームおよび前記１つ以上の属性サブビットストリームのうちの少なくとも一部をデコードすることによって、デコードされた情報を生成することと、
前記デコードされた情報を使用して、少なくとも前記所望の詳細のレベルに対応する３次元場面を再構築することと
を含み、
前記ビットストリームは、前記３Ｄコンテンツの複数の詳細のレベルに従って編成されたフォーマットに準拠している、方法。
（項目２）
前記ＬｏＤ情報を解析することは、
前記ビットストリームが空間スケーラビリティサブビットストリームを備えているかどうかを決定すること、
複数の詳細のレベルを含む前記ビットストリームにおける第１の構文構造を識別すること、
第２の構文構造、サブサンプル構造、サンプルエントリ、または記述子を使用して、前記ＬｏＤ情報を識別すること、または、
前記所望の詳細のレベルまたは全部のレベルの組に対応するコンテンツの位置を特定すること
を含む、項目１に記載の方法。
（項目３）
前記ビットストリームにおけるサンプルエントリタイプフィールドを使用して、前記ビットストリームが空間スケーラビリティ機能性をサポートするかどうかを決定することと、前記構造を識別することとを含む、項目２に記載の方法。
（項目４）
複数の詳細のレベルを伴う前記ビットストリームの前記構造は、
全部のレベルの組の前記ビットストリームがサブサンプル構造を伴う１つのトラック内で搬送される構造と、
各レベルの前記ビットストリームがエクストラクタを伴う１つのトラックにある構造と、
１つ以上のレベルの前記ビットストリームがより低いレベルからの冗長データを伴う１つのトラックにある構造と
を備えている、項目３に記載の方法。
（項目５）
前記デコードすることは、前記所望の詳細のレベルに対応する３Ｄコンテンツを含む１つ以上のサブサンプルをデコードすることを含む、項目１に記載の方法。
（項目６）
前記デコードすることは、詳細の全てのレベルに対応する３Ｄコンテンツを含むサブサンプルに関する全ての幾何学形状サブビットストリームをデコードすることを含む、項目１に記載の方法。
（項目７）
前記サブサンプル構造は、前記ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子を備えている、項目２に記載の方法。
（項目８）
前記ＬｏＤ情報を表す前記ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子は、以下の構文要素：ペイロードタイプ、リフティングスケーラビリティを示すフラグ、幾何学形状データユニットのみが含まれるかどうかを示すフラグ、属性データユニットのみが含まれるかどうかを示すフラグ、または属性ペイロードのうちの１つ以上を含む、項目７に記載の方法。
（項目９）
前記サンプルエントリにおけるＬｏＤ値を使用して、前記ビットストリームのＬｏＤの値を識別することを含む、項目２に記載の方法。
（項目１０）
前記デコードすることは、
前記所望の詳細のレベルに対応するトラックにおける前記ビットストリームの第１の部分をデコードすることと、
前記所望の詳細のレベルより低い詳細のレベルを伴う１つ以上の他のトラックにおける前記ビットストリームの第２の部分を識別し、デコードすることと
を含む、項目１に記載の方法。
（項目１１）
エクストラクタおよび第１のトラック参照タイプを使用して、前記所望のレベルより低い詳細のレベルを伴う前記他のトラックを識別することと、
前記エクストラクタを使用して、前記他のトラックに対応するデータを識別することと
を含む、項目１０に記載の方法。
（項目１２）
前記エクストラクタは、
トラック参照タイプに基づいてトラックを１つ以上の他のトラックにリンクする情報を搬送する１つ以上のコンストラクタと、
データを前記参照されるトラックから抽出するための１つ以上の命令と
を含む、項目１１に記載の方法。
（項目１３）
第１のトラックグループタイプを使用して、全部の詳細のレベルに対応するサブストリームを含む１つ以上のトラックを識別することと、
全部の詳細のレベルに対応する前記１つ以上のトラックにおけるデータをデコードすることと
を含む、項目１に記載の方法。
（項目１４）
単一トラックにおける前記所望の詳細のレベルおよび１つ以上のより低いレベルに対応する前記ビットストリームのうちの一部をデコードすることを含む、項目１に記載の方法。
（項目１５）
単一トラックにおける全部の詳細のレベルに対応する前記ビットストリームをデコードすることを含む、項目１に記載の方法。
（項目１６）
ＬｏＤ記述子を使用して、適合組が空間スケーラビリティ機能性をサポートするかどうかを決定することを含む、項目２に記載の方法。
（項目１７）
前記ＬｏＤ記述子におけるＬｏＤ値を使用して、前記適合組におけるＬｏＤを識別することを含む、項目１６に記載の方法。
（項目１８）
単一適合組からの前記所望のＬｏＤおよび１つ以上のより低いレベルに対応する前記ビットストリームのうちの一部をデコードすること、または、
１つの適合組における前記所望のＬｏＤおよび他の適合組におけるより低いレベルを伴うデータに対応する前記ビットストリームのうちの一部を識別し、デコードすること
を含む、項目１に記載の方法。
（項目１９）
全部トラックｉｄを使用して、全部の詳細のレベルに対応するデータを含む１つ以上の適合組を識別することと、
詳細の全てのレベルに対応する１つ以上の適合組において、全部のデータをデコードすることと
を含む、項目１に記載の方法。
（項目２０）
前記ＬｏＤ記述子は、その属性が詳細のレベル情報を規定する構文要素、より低いレベルトラックへの依存を示す構文要素、前記ビットストリームにおける最小の詳細のレベル、前記ビットストリームにおける最大の詳細のレベル、または前記全部トラックｉｄの識別子を示す構文要素のうちの１つ以上を備えている、項目１６－１９に記載の方法。
（項目２１）
前記所望のＬｏＤに対応する前記ビットストリームのうちの一部が、単一トラックカプセル化または複数トラックカプセル化を伴う前記所望のＬｏＤに対応するデータを含む、項目１－２０に記載の方法。
（項目２２）
前記単一トラックカプセル化は、同じトラックにカプセル化された前記１つの幾何学形状ビットストリームと前記１つ以上の属性ビットストリームとを備えている、項目２１に記載の方法。
（項目２３）
前記複数トラックカプセル化は、別個のトラックにカプセル化された前記１つの幾何学形状ビットストリームと前記１つ以上の属性ビットストリームとを備えている、項目２０に記載の方法。
（項目２４）
前記３次元場面を再構築することは、
前記３Ｄコンテンツにおける各点の空間位置および１つ以上の属性値を再構築すること、または、
前記３Ｄコンテンツにおける各点の空間位置および属性値を再構築し、ユーザの視認位置およびビューポートに従って、３Ｄ場面をレンダリングすること
を含む、項目１に記載の方法。
（項目２５）
３次元コンテンツをエンコードする方法であって、前記方法は、
３次元（３Ｄ）コンテンツを１つ以上の詳細のレベル（ＬｏＤ）に従って編成された幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームを備えているビットストリームにエンコードすることと、
前記１つ以上のＬｏＤと、前記幾何学形状サブビットストリームと、前記１つ以上の属性ビットストリームとの間の対応を示すＬｏＤ情報を前記ビットストリームに含むことと
を含む、方法。
（項目２６）
前記ビットストリーム内に、空間スケーラビリティビットストリームの存在の指示をエンコードすることと、
複数の詳細のレベルを含む前記ビットストリームに第１の構文構造を含むことと、
第２の構文構造を使用して、サブサンプル構造、サンプルエントリ、または前記ビットストリームに含まれるＬｏＤベースのコンテンツを示す記述子を含むことと
をさらに含む、項目２５に記載の方法。
（項目２７）
前記ビットストリームにサンプルエントリタイプフィールドを含むことをさらに含み、前記サンプルエントリタイプフィールドは、ビットストリームが空間スケーラビリティ機能性をサポートするかどうかを決定すること、および前記構造を識別することを可能にする、項目２６に記載の方法。
（項目２８）
複数の詳細のレベルを伴う前記ビットストリームの前記構造は、
全部のレベルの組の前記ビットストリームがサブサンプル構造を伴う１つのトラック内で搬送される構造と、
各レベルの前記ビットストリームがエクストラクタを伴う１つのトラックにある構造と、
１つ以上のレベルの前記ビットストリームがより低いレベルからの冗長データを伴う１つのトラックにある構造と
を備えている、項目２７に記載の方法。
（項目２９）
前記サブサンプル構造は、前記ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子を備えている、項目２６に記載の方法。
（項目３０）
前記ＬｏＤ情報を表す前記ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子は、以下の構文要素：ペイロードタイプ、リフティングスケーラビリティを示すフラグ、幾何学形状データユニットのみが含まれるかどうかを示すフラグ、属性データユニットのみが含まれるかどうかを示すフラグ、または属性ペイロードのうちの１つ以上を含む、項目２９に記載の方法。
（項目３１）
前記ビットストリームに、前記ビットストリームのＬｏＤの値を識別する前記サンプルエントリにおけるＬｏＤ値を含むことを含む、項目２６に記載の方法。
（項目３２）
前記ビットストリームに、エクストラクタと第１のトラック参照タイプとを含むことを含み、前記第１のトラック参照タイプは、前記所望の詳細のレベルより低い詳細のレベルを伴う他のトラックおよび前記他のトラックに対応するデータを識別する、項目３１に記載の方法。
（項目３３）
前記エクストラクタは、
トラック参照タイプに基づいてトラックを１つ以上の他のトラックにリンクする情報を搬送する１つ以上のコンストラクタと、
データを前記参照されるトラックから抽出するための１つ以上の命令と
を含む、項目３２に記載の方法。
（項目３４）
前記ビットストリームに、第１のトラックグループタイプを含むことを含み、前記第１のトラックグループタイプは、全部の詳細のレベルに対応するサブストリームを含む１つ以上のトラックを識別する、項目２５に記載の方法。
（項目３５）
適合組が空間スケーラビリティ機能性をサポートするかどうかを示すＬｏＤ記述子を含むことを含む、項目２６に記載の方法。
（項目３６）
前記ＬｏＤ記述子は、前記適合組におけるＬｏＤを識別するＬｏＤ値を含む、項目３５に記載の方法。
（項目３７）
前記所望のＬｏＤに対応する前記ビットストリームのうちの一部が、単一トラックカプセル化または複数トラックカプセル化を伴う前記所望のＬｏＤに対応するデータを含む、項目２５－２６に記載の方法。
（項目３８）
前記単一トラックカプセル化は、同じトラックにカプセル化された前記１つの幾何学形状ビットストリームと前記１つ以上の属性ビットストリームとを備えている、項目３７に記載の方法。
（項目３９）
前記複数トラックカプセル化は、別個のトラックにカプセル化された前記１つの幾何学形状ビットストリームと前記１つ以上の属性ビットストリームとを備えている、項目３７に記載の方法。
（項目４０）
項目１－３９のうちのいずれか１つ以上に記載される方法を実装するように構成されたプロセッサを備えている３次元コンテンツ処理装置。
（項目４１）
コンピュータ読み取り可能な媒体上に記憶されたプログラムコードを備えているコンピュータプログラム製品であって、前記プログラムコードは、プロセッサによって実行されると、項目１－３９のうちのいずれか１つ以上に記載される方法を前記プロセッサに実装させる、コンピュータプログラム製品。
図１は、全てのレベルが単一トラックに表されるスケーラブル幾何学形状ベースの点群圧縮（Ｇ－ＰＣＣ）ビットストリームの例示的構造を示す。
図２は、サブサンプル構造の３つの例を示す。
図３は、全てのレベルが単一トラックに表されるスケーラブルＧ－ＰＣＣビットストリームの別の例示的構造を示す。
図４は、異なるレベルがエクストラクタを伴う別個のトラックに表されるスケーラブルＧ－ＰＣＣビットストリームの構造の例を示す。
図５は、異なるレベルがエクストラクタを伴う別個のトラックに表されるスケーラブルＧ－ＰＣＣビットストリームの別の例示的構造を示す。
図６は、異なるレベルがより低いレベルからの冗長データを伴う別個のトラックに表されるスケーラブルＧ－ＰＣＣビットストリームの構造の例を示す。
図７は、異なるレベルがより低いレベルからの冗長データを伴う別個のトラックに表されるスケーラブルＧ－ＰＣＣビットストリームの別の例示的構造を示す。
図８は、エンコーディング装置の例を示す。
図９は、デコード装置の例を示す。
図１０は、メディア処理システムの例を示す。
図１１Ａは、データ処理の例示的方法に関するフローチャートである。
図１１Ｂは、データ処理の例示的方法に関するフローチャートである。
図１２は、本明細書に説明されるボリューム視覚的メディア処理方法を実装するためのハードウェアプラットフォームのブロック図である。
点群は、点の複数組として定義され、点は、（ｘ，ｙ，ｚ）座標を伴うその３Ｄ位置と、（随意に）属性の組とによって説明される。典型的に、群における各点は、それに結び付けられる同じ数の属性を有する。Ｇ－ＰＣＣ（幾何学形状ベースの点群圧縮）は、車載光検出および測距（ＬｉＤＡＲ）または３次元（３Ｄ）マッピングにおいて使用されるそれら等の低密度動的変動点群のみならず、芸術、科学、文化遺産、および産業用途において使用される高密度静的点群の効率的圧縮方法を表す。Ｇ－ＰＣＣは、３Ｄ空間を立方体の階層構造に分解し、各点をそれが属する立方体のインデックスとしてエンコードすることを含み得る。
Ｇ－ＰＣＣビットストリーム（または単にビットストリームと呼ばれる）が、パラメータ組（例えば、シーケンスパラメータ組、幾何学形状パラメータ組、属性パラメータ組）、幾何学形状スライス、または属性スライスから構成され得る。Ｇ－ＰＣＣビットストリームでは、スライスは、独立してエンコードまたはデコードされ得る点の組として定義される。属性コーディングに関して、リフティングスケーラビリティと名付けられた効率的方法が、サポートされ、所望の詳細のレベル（ＬｏＤ）を伴う点群を構築するために、Ｇ－ＰＣＣビットストリームを部分的にデコードすることを可能にする。ＬｏＤは、例えば、コンテンツの分解能を指し得る。ある場合、所望のＬｏＤは、３Ｄコンテンツの空間部分に依存し得る。ある場合、所望のＬｏＤは、３Ｄコンテンツの時間的特性（例えば、フレームレート）に依存し得る。
本特許文書は、ビットストリームにおける異なる詳細のレベルを伴うＧ－ＰＣＣコンポーネントの関連付けを示すための構造化およびグループ化機構を説明する。本特許文書でさらに説明されるように、説明される技法は、所望のＬｏＤに基づいて点群データの部分的アクセスおよび送達を促進するために、使用されることができる。
（１．Ｇ－ＰＣＣの空間スケーラビリティ機能性）
空間スケーラビリティは、Ｇ－ＰＣＣのための重要な機能性である。空間スケーラビリティは、詳細のレベル（またはオクツリー深度）がオリジナル品質を表すために十分に大きくあるべきであるので、ソース点群が局所領域においてであっても高密度であるとき、特に有用である。空間スケーラビリティにより、視認者は、より少ないデコーダ複雑性および／またはより少ない帯域幅を伴うサムネイルとして、より低い分解能点群にアクセスすることができる。
空間スケーラビリティが必要とされるとき、より低い幾何学形状および対応する属性ビットストリームを調和した方法でデコードすることが望ましい。最新のＧ－ＰＣＣ仕様に規定されるように、属性データが、リフティングスケーラビリティが有効にされたリフティング変換ＬｏＤによってエンコーディングされると、属性デコーディングプロセスは、入力幾何学形状点に関する絞り込まれたオクツリーデコード結果を可能にする。幾何学形状デコーダは、オクツリー深度が所望のＬｏＤに対応するまで、幾何学形状データユニットをデコードし、次いで、デコーディングを停止し得る。絞り込まれた幾何学形状点の入力後、属性デコーダは、入力幾何学形状点に対応する属性データユニットの一部のみをデコードし、デコーディングを停止し得る。その結果、所望のＬｏＤを伴う点群が、部分的にデコーディングされた幾何学形状と、属性データユニットとから構築される。
（２．ＩＳＯＢＭＦＦを使用する、スケーラブルＧ－ＰＣＣビットストリームの搬送）
Ｇ－ＰＣＣビットストリームは、各々が単一コード化構文構造（例えば、幾何学形状ペイロード、属性ペイロード、あるタイプのパラメータ組）を表すタイプ－長さ－値（ＴＬＶ）構造の一続きから成り得る。国際規格化団体ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）を使用するＧ－ＰＣＣビットストリームのための２つのタイプのカプセル化が存在し得る。単一トラックカプセル化、および複数トラックカプセル化。
１）Ｇ－ＰＣＣデータの単一トラックカプセル化
Ｇ－ＰＣＣビットストリームが単一トラック内に記憶されるとき、各Ｇ－ＰＣＣサンプルは、単一点群フレームに対応し、同じプレゼンテーション時間に属する１つ以上のＴＬＶカプセル化構造を含み得る。各ＴＬＶカプセル化構造は、単一タイプのＧ－ＰＣＣペイロード（例えば、幾何学形状スライスまたは属性スライス）を含む。各Ｇ－ＰＣＣサブサンプルは、１つのみのＧ－ＰＣＣ ＴＬＶカプセル化構造を含み得る。
２）Ｇ－ＰＣＣデータの複数トラックカプセル化
Ｇ－ＰＣＣビットストリームが複数のトラック内で搬送されるとき、各幾何学形状または属性サブストリーム（またはサブビットストリーム）は、個々のトラックにマッピングされる。２つのタイプのＧ－ＰＣＣコンポーネントトラックが、存在する：幾何学形状トラック、属性トラック。幾何学形状トラックは、幾何学形状サブストリーム（またはサブビットストリーム）を搬送し、属性トラックは、単一タイプの属性サブストリーム（またはサブビットストリーム）を搬送する。トラック内の各サンプルは、１つのＴＬＶカプセル化構造を含み、１つのＴＬＶカプセル化構造は、単一Ｇ－ＰＣＣコンポーネントデータ（幾何学形状および属性データの両方、または異なる属性データの多重化ではない）を搬送する。
広範囲のデコーディングおよび視認デバイスを使用する顧客に種々のネットワークを横断してサービスを送達するＧ－ＰＣＣデータの利用可能性、性能、および効率における将来の改良のために、Ｇ－ＰＣＣデータの詳細のレベルをシステムレベルで識別することが有益であろう。
本書に説明されるそのような技法は、エンコーダ実施形態が適切に構造化されたビットストリームを発生させることを可能にし、適切に構造化されたビットストリームは、所望のＬｏＤ（例えば、視認者によって、または車両ナビゲーションアプリケーション等の別のアプリによって規定されるようなＬｏＤ）に従って、エンコーディングされた３Ｄ場面の再構築のために必要とされるデータのみを選択するために、デコーダによって容易に解析されることが可能である。
（３．簡潔な議論）
節の見出しは、読みやすさを改良するためのみに本書で使用され、各節内の開示される実施形態および技法の範囲をその節のみに限定しない。ある特徴は、Ｈ．２６４／ＡＶＣ（高度ビデオコーディング）、Ｈ．２６５／ＨＥＶＣ（高効率ビデオコーディング）、およびＭＰＥＧ（動画専門家集団）規格の例を使用して説明される。しかしながら、開示される技法の適用性は、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣのみに限定されない。
本文書では、種々の構文要素が、点群データ処理のために、異なる節において開示される。しかしながら、同じ名称を伴う構文要素は、別様に記述されない限り、異なる節において使用されるものと同じフォーマットおよび構文を有するであろうことを理解されたい。さらに、異なる節の見出しの下、説明される異なる構文要素および構造は、種々の実施形態において、一緒に組み合わされ得る。加えて、具体的な構造が、実装例として説明されるが、構文構造の種々のエントリの順序は、本文書内で別様に記述されない限り、変更され得ることを理解されたい。
一般に、本開示技法に基づく実施形態が、ビデオデータ処理のために使用され得る。いくつかの実施形態では、全方向性ビデオデータが、国際標準化機構（ＩＳＯ）基本メディアファイルフォーマットに基づいて、ファイル内に記憶される。それらのうち、制限付きスキーム情報ボックス、トラック参照ボックス、およびトラックグループボックス等のＩＳＯ基本メディアファイルフォーマットは、動作するためのＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１動画専門家集団（ＭＰＥＧ）ＭＰＥＧ－４． Ｐａｒｔ １２ ＩＳＯ基本メディアファイルフォーマット（ＩＳＯＢＭＦＦ）を指し得る。
ＩＳＯ基本ファイルフォーマットにおける全てのデータが、ボックス内にインストールされる。ＭＰＥＧ４（ＭＰ４）ファイルによって表されるＩＳＯ基本ファイルフォーマットは、いくつかのボックスから成り、それらの各々が、タイプと、長さとを有し、データオブジェクトとして見なされ得る。ボックスは、コンテナボックスと呼ばれる別のボックスを含むことができる。ＭＰ４ファイルは、最初に、ファイルフォーマットのマークアップとして、１つのみの「ｆｔｙｐ」タイプのボックスを有し、そのファイルについてのある情報を含むであろう。１つのみの「ＭＯＯＶ」タイプのボックス（ムービーボックス）が、存在し、それは、コンテナボックスであり、そのサブボックスが、そのメディアに関するメタデータ情報を含む。ＭＰ４ファイルのメディアデータは、「ｍｄａｔ」タイプのメディアボックス（メディアデータボックス）内に含まれ、それも、コンテナボックスであり、それは、（メディアデータが他のファイルを参照するときに）利用可能であることも、そうでないこともあり、メディアデータの構造は、メタデータから成る。
時間指定メタデータトラックは、ＩＳＯ基本メディアファイルフォーマット（ＩＳＯＢＭＦＦ）における機構であり、特定のサンプルに関連付けられる時間指定メタデータを確立する。時間指定メタデータは、メディアデータとの結合が少なく、通常、「説明的」である。
本書では、いくつかの技術的解決策は、ＭＰ４またはＩＳＯＢＭＦＦフォーマット等の従来的な２Ｄビデオフォーマットと適合性があるフォーマットの中への点群データ（ＭＰＥＧのＶ－ＰＣＣデータ等）の３Ｄまたは詳細のレベルの表現を可能にするために提供される。この提案解決策の１つの有利な側面は、新しい機能性の実装のために、従来的な２Ｄビデオ技法および構文を再利用することが可能であることである。
（４．実施形態１：ＬｏＤに基づくＧ－ＰＣＣデータの部分的アクセス）
空間スケーラビリティをサポートするＧ－ＰＣＣ点群データに関して、デコーダは、１つ以上の詳細のレベルに属する、３Ｄ点群データの一部をデコードすることができる。３Ｄ点群データを送達、デコード、および再構築する方法は、以下のステップを含み得る：
１）ファイル解析器は、最初に、Ｇ－ＰＣＣ点群データが、ＭＰＥＧ－Ｄａｓｈ（ハイパーテキストトランスポートプロトコルにわたる動的適応ストリーミング）メディアプレゼンテーション記述（ＭＰＤ）ファイルにおいて、空間漸進的特性に関連する記述子を解析することによって、空間スケーラビリティ機能性をサポートするかどうかを決定する。それは、サンプルエントリのタイプに従って、ビットストリームが漸進的デコーディングおよび再構築をサポートするかどうか、動向を決定するために、ファイルの内部トラックのサンプルエントリを読み取ることもできる。
２）空間スケーラビリティをサポートするビットストリームに関して、ファイル解析器は、点群データストリームまたは点群記憶ファイル内のＬｏＤ関連情報を読み取る。ＭＰＤファイルおよびその中のＬｏＤ関連記述子を解析することによって、ファイル解析器は、適合組および表現が属するレベルを結論付ける。ＬｏＤ値は、ファイル内のサンプルエントリまたはサブサンプル情報を解析することによっても取得され得る。
３）デコーダは、ＬｏＤ値に従って、１つ以上の詳細のレベルに属する部分的Ｇ－ＰＣＣデータを点群データストリームまたは点群記憶ファイルから取得する（幾何学的データ、属性データ、パラメータ組、およびデコーディングのために要求される他のメタデータを含む）。
３）デコーダは、より低い幾何学形状および対応するビットストリーム属性を調和した方法でデコードし、したがって、所望のＬｏＤを伴う３Ｄ点群が、構築される。
（５．実施形態２：サブサンプル構造を伴う１つのトラックにおける全てのレベルのＧ－ＰＣＣデータ）
本実施形態では、スケーラブルＧ－ＰＣＣビットストリームが、ファイル内の単一トラックによって表される。各レベルのＧ－ＰＣＣデータは、サブサンプル構造によってシグナリングされる。
図１は、Ｇ－ＰＣＣトラックによって使用される構文の例を示し、サンプルエントリ部分およびサンプル部分（複数のサンプル部分が、可能）を示す。サンプル部分は、レベル０～レベルＬの複数の詳細のレベルの幾何学形状データユニットと、レベル０～レベルＬに対応する属性データユニットとを含む。
サブサンプルボックス情報におけるｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓは、部分的幾何学形状データユニットに関する詳細のレベル情報と、特定のＬｏＤに対応する属性データユニットの組とを示すように、さらに拡張される。
図２に示されるように、３つの代替サブサンプル構造は、以下のようにリストアップされる：
代替サブサンプル構造１：
構文：
ＳｕｂｓａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドは、下記のように定義される。
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＰａｙｌｏａｄＴｙｐｅ；
ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ２） ｛ ／／ ｇｅｏｍｅｔｒｙ ｐａｙｌｏａｄ
ｂｉｔ（８） ｒｅｓｅｒｖｅｄ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｉｓ＿ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ；
ｉｆ（！ｉｓ＿ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
ｅｌｓｅ
ｂｉｔ（１４） ｒｅｓｅｒｖｅｄ ＝ ０；
｝
｝
ｅｌｓｅ ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ４） ｛ ／／ ａｔｔｒｉｂｕｔｅ ｐａｙｌｏａｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＡｔｔｒＩｄｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｉｓ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ；
ｉｆ（！ｉｓ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
ｅｌｓｅ
ｂｉｔ（１４） ｒｅｓｅｒｖｅｄ ＝ ０；
｝
｝
ｅｌｓｅ
ｂｉｔ（２４） ｒｅｓｅｒｖｅｄ ＝ ０；
ＰａｙｌｏａｄＴｙｐｅは、ＴＬＶカプセル化構造のｔｌｖ＿ｔｙｐｅまたはサブサンプルに含まれるそれの一部を示す。
注記：ＰａｙｌｏａｄＴｙｐｅが、２（幾何学形状データユニット）に等しいとき、１つのＴＬＶ構造の境界は、同じＰａｙｌｏａｄＴｙｐｅを伴う連続的サブサンプルの組の境界として識別されることができる。
ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、サブサンプルにおける属性データまたはサブサンプルにおける幾何学形状データに関連付けられた属性データが、リフティングスケーラビリティが有効にされたリフティング変換を用いて、ＬｏＤによってエンコーディングされるとき、１に等しい。そうでなければ、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、０に等しい。
ｉｓ＿ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒは、サブサンプルが、幾何学形状データユニットヘッダのみを含むとき、１に等しい。Ｉｓ＿ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒは、サブサンプルが、同じＬｏＤ層に属する、幾何学形状データユニットデータの一部を含むとき、０に等しい。
ｉｓ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒは、サブサンプルが、属性データユニットヘッダのみを含むとき、１に等しい。Ｉｓ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒは、サブサンプルが、同じＬｏＤ層に属する、属性データユニットデータの一部を含むとき、０に等しい。
ｌｏｄは、幾何学形状ペイロードまたは属性ペイロードを含むＴＬＶカプセル化構造が、その第１のサブサンプルからこのサブサンプルにデコーディングされるとき、サブサンプルの詳細のレベルの最大値を示す。
ＡｔｔｒＩｄｘは、サブサンプル内に属性ペイロードを含むＴＬＶカプセル化構造のａｓｈ＿ａｔｔｒ＿ｓｐｓ＿ａｔｔｒ＿ｉｄｘを示す。
代替サブサンプル構造２：
構文：
ＳｕｂｓａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドは、下記のように定義される。
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＰａｙｌｏａｄＴｙｐｅ；
ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ２） ｛ ／／ ｇｅｏｍｅｔｒｙ ｐａｙｌｏａｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
｝
ｅｌｓｅ
ｂｉｔ（） ｒｅｓｅｒｖｅｄ；
｝
ｅｌｓｅ ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ４） ｛ ／／ ａｔｔｒｉｂｕｔｅ ｐａｙｌｏａｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＡｔｔｒＩｄｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
｝
ｅｌｓｅ
ｂｉｔ（１４） ｒｅｓｅｒｖｅｄ ＝ ０；
｝
｝
ｅｌｓｅ
ｂｉｔ（２４） ｒｅｓｅｒｖｅｄ ＝ ０；
ＰａｙｌｏａｄＴｙｐｅは、ＴＬＶカプセル化構造のｔｌｖ＿ｔｙｐｅまたはサブサンプルに含まれるそれの一部を示す。
注記： ＰａｙｌｏａｄＴｙｐｅが、２（幾何学形状データユニット）に等しいとき、１つのＴＬＶ構造の境界は、同じＰａｙｌｏａｄＴｙｐｅを伴う連続的サブサンプルの組の境界として識別されることができる。
ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、サブサンプルにおける属性データまたはサブサンプルにおける幾何学形状データに関連付けられた属性データが、リフティングスケーラビリティが有効にされたリフティング変換を用いて、ＬｏＤによってエンコーディングされるとき、１に等しい。そうでなければ、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、０に等しい。
ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔは、サブサンプルが、幾何学形状データユニットヘッダを含むとき、１に等しく、そうでなければ、０に等しい。ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔは、ＬｏＤの値が、サンプル内で最小であるとき、１に等しいものとする。
ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔは、サブサンプルが、属性データユニットヘッダを含むとき、１に等しく、そうでなければ、０に等しい。ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｅｘｉｓｔは、ＬｏＤの値が、サンプル内で最小であるとき、１に等しいものとする。
ｌｏｄは、幾何学形状ペイロードまたは属性ペイロードを含むＴＬＶカプセル化構造が、その第１のサブサンプルからこのサブサンプルにデコードされるとき、サブサンプルの詳細のレベルの最大値を示す。
ＡｔｔｒＩｄｘは、サブサンプル内に属性ペイロードを含むＴＬＶカプセル化構造のａｓｈ＿ａｔｔｒ＿ｓｐｓ＿ａｔｔｒ＿ｉｄｘを示す。
代替サブサンプル構造３：
構文：
ＳｕｂｓａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドは、下記のように定義される。
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＧＰＣＣ＿ｓｕｂ＿ｔｙｐｅ；
ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ２） ｛ ／／ ｇｅｏｍｅｔｒｙ ｐａｙｌｏａｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
｝
ｅｌｓｅ ｉｆ （ＰａｙｌｏａｄＴｙｐｅ ＝＝ ５） ｛ ／／ ａｔｔｒｉｂｕｔｅ ｐａｙｌｏａｄ
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＡｔｔｒＩｄｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１４） ｌｏｄ；
｝
ｅｌｓｅ
ｂｉｔ（２４） ｒｅｓｅｒｖｅｄ ＝ ０；
ＧＰＣＣ＿ｓｕｂ＿ｔｙｐｅは、サブサンプル内のＧ－ＰＣＣデータのタイプを示す。表１は、サポートされるデータタイプのリストを説明する。ＧＰＣＣ＿ｓｕｂ＿ｔｙｐｅ１、２、４、および５が、サブサンプルにおける属性データまたはサブサンプルにおける幾何学形状データに関連付けられた属性データが、リフティングスケーラビリティが有効にされたリフティング変換を用いて、ＬｏＤによってエンコーディングされるとき、使用されるものとすることに留意されたい。
ｌｏｄは、幾何学形状ペイロードまたは属性ペイロードを含むＴＬＶカプセル化構造が、その第１のサブサンプルからこのサブサンプルにデコードされるとき、サブサンプルの詳細のレベルの最大値を示す。
ＡｔｔｒＩｄｘは、サブサンプル内に属性ペイロードを含むＴＬＶカプセル化構造のａｓｈ＿ａｔｔｒ＿ｓｐｓ＿ａｔｔｒ＿ｉｄｘを示す。
（実装１：サブサンプル構造を使用するＧ－ＰＣＣ幾何学形状データおよび属性データの単一トラックカプセル化）
図１に示されるように、本実施形態の一実装は、Ｇ－ＰＣＣ幾何学形状データおよび属性データが、単一トラック内で搬送され、このトラックにおける各サンプルが、全部の詳細のレベルを伴う１つ以上のＧ－ＰＣＣコンポーネントを含むことである。各レベルの分割は、サブサンプル構造においてシグナリングされる。
その場合、ＧＰＣＣトラックは、「ｇｐｅａ」または「ｇｐｅ１」のサンプルエントリタイプを伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用する。タイプ「ｇｐｅ１」のサンプルエントリは、Ｇ－ＰＣＣデータの空間スケーラビリティ機能性を示すためにさらに拡張される。デコーダが、Ｌに等しいそのＬｏＤを伴う点群をデコードおよびレンダリングすべきとき、Ｌ未満のＬｏＤ値を伴うサブサンプルが、取得される。
図１は、サブサンプル構造を使用するＧ－ＰＣＣデータの単一トラックカプセル化を示す。
サンプルエントリ「ｇｐｅａ」
「ｇｐｅａ」サンプルエントリ下、全ての詳細のレベルのＧ－ＰＣＣ幾何学形状データおよび属性データは、単一トラック内に記憶され、各レベルの情報が、サブサンプルにおいてシグナリングされる。
サンプルエントリタイプ： 「ｇｐｅａ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｅａ’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツのためのＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶ カプセル化構造を含むものとする。
ｌｏｄは、トラック内の幾何学形状データおよび属性データの詳細のレベルの最大値を示す。
サンプルエントリ「ｇｐｅ１」
「ｇｐｅ１」サンプルエントリ下、Ｇ－ＰＣＣ幾何学形状データおよび属性データの詳細のレベル情報は、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、１に等しいとき、サブサンプルにおいてシグナリングされるものとする。
サンプルエントリタイプ： 「ｇｐｅ１」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｅ１’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（１５） ｌｏｄ；
ｅｌｓｅ
ｂｉｔ（１５） ｒｅｓｅｒｖｅｄ ＝ ０；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツのためのＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、その中にデコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、サブサンプルにおける属性データまたはサブサンプルにおける幾何学形状データに関連付けられた属性データが、リフティングスケーラビリティが有効にされたリフティング変換を用いて、ＬｏＤによってエンコーディングされるとき、１に等しい。そうでなければ、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、０に等しい。
ｌｏｄは、トラック内の幾何学形状データおよび属性データの詳細のレベルの最大値を示す。
（実装２：サブサンプル構造を使用するＧ－ＰＣＣ幾何学形状データおよび属性データのマルチトラックカプセル化）
図３に示されるように、本実施形態の別の実装は、Ｇ－ＰＣＣ幾何学形状データおよび属性データが、別個のトラック内で搬送され、単一トラック内の各サンプルが、全部の詳細のレベルを伴う単一タイプのＧ－ＰＣＣコンポーネントを含むことである。各レベルの分割は、サブサンプル構造においてシグナリングされる。
その場合、ＧＰＣＣトラックは、「ｇｐｃｌ」または「ｇｐｃ１」のサンプルエントリタイプを伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用し得る。タイプ「ｇｐｃ１」のサンプルエントリは、Ｇ－ＰＣＣデータの空間スケーラビリティ機能性を示すためにさらに拡張される。デコーダが、Ｌに等しいそのＬｏＤを伴う点群をデコードおよびレンダリングすべきとき、０～ＬのＬｏＤ値を伴うサブサンプルが、取得される。
図３は、サブサンプル構造を使用する、Ｇ－ＰＣＣデータのマルチトラックカプセル化の例を示す。
サンプルエントリ「ｇｐｃｌ」
「ｇｐｃａ」サンプルエントリ下、全ての詳細のレベルのＧ－ＰＣＣ幾何学形状データは、単一トラック内に記憶され、各レベルの情報は、サブサンプルにおいてシグナリングされる。さらに、各タイプの属性データは、別個のトラック内に記憶され、ＬｏＤ情報の記憶は、幾何学形状データのそれに類似する。
サンプルエントリタイプ： 「ｇｐｃｌ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｃｌ’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、このトラック内で搬送されるＧ－ＰＣＣコンポーネントのタイプを示す。
ｌｏｄは、トラック内のＧ－ＰＣＣコンポーネントの詳細のレベルの最大値を示す。
サンプルエントリ「ｇｐｃ１」
「ｇｐｃ１」サンプルエントリ下、Ｇ－ＰＣＣ幾何学形状データおよび属性データの詳細のレベル情報が、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、１に等しいとき、サブサンプルにおいてシグナリングされ得る。
サンプルエントリタイプ： 「ｇｐｃ１」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｃ１’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ；
ｉｆ （ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（１５） ｌｏｄ；
ｅｌｓｅ
ｂｉｔ（１５） ｒｅｓｅｒｖｅｄ ＝ ０；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、このトラック内で搬送されるＧ－ＰＣＣコンポーネントのタイプを示す。
ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、サブサンプルにおける属性データまたはサブサンプルにおける幾何学形状データに関連付けられた属性データが、リフティングスケーラビリティが有効にされたリフティング変換を用いて、ＬｏＤによってエンコーディングされるとき、１に等しい。そうでなければ、ｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、０に等しい。
ｌｏｄは、トラック内のＧ－ＰＣＣコンポーネントの詳細のレベルの最大値を示す。
（６．実施形態３：エクストラクタを伴うそれ自身のトラック内のＧ－ＰＣＣデータの各レベルまたはレベルの組）
本実施形態では、スケーラブルＧ－ＰＣＣビットストリームが、ファイル内の１つ以上のトラックによって表される。各トラックは、詳細のレベルのスケーラブルストリームを表す。この場合、より高いレベルのＧ－ＰＣＣデータをデコードするプロセスは、より低いＬｏＤ値を伴うデータを要求する。したがって、異なるトラックは、対応するエクストラクタを使用して、データを論理的に共有し得る。
本実施形態では、１つ以上のトラックの組は、統合されると、エンコーディングされた点群データの全部の組を含む。最低動作点をＬｏＤの最小値を有する詳細のレベルによって表される全ての動作点のうちの１つとする。より高い詳細のレベルを伴うトラックは、タイプ「ｓｃａｌ」（スケーラブル）のトラック参照を用いて、より低いトラックにリンクされ得る。全部のエンコードされた情報は、全部のトラックグループに含まれるトラックが、保持されると、保持されることができる。
エクストラクタ：
ＩＳＯ／ＩＥＣ１４４９６－１５では、エクストラクタは、ネットワーク抽象化層（ＮＡＬ）ユニットデータを他のトラックから参照することによって抽出するトラックのコンパクトな形成を可能にする。同様に、Ｇ－ＰＣＣビットストリーム内のエクストラクタが、幾何学形状データユニットまたは属性データユニットを他のトラックから参照することによって抽出するトラックのコンパクトな形成を可能にするように定義される。エクストラクタが、それを入手するファイル読み取り機によって処理されると、エクストラクタは、それが参照するバイトによって、論理的に置換される。エクストラクタは、別のトラックからデータを抽出するための１つ以上のコンストラクタを含み得、その別のトラックは、タイプ「ｓｃａｌ」のトラック参照を用いて、エクストラクタが常駐しているトラックにリンクされている。エクストラクタは、以下のように、ＴＬＶの構文構造タイプを拡張する。
ＴＬＶタイプ：
エクストラクタの構文：
ｃｌａｓｓ ａｌｉｇｎｅｄ（８） Ｅｘｔｒａｃｔｏｒ （） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｃｏｎｓｔｒｕｃｔｏｒ＿ｃｏｕｎｔ；
ｆｏｒ（ｉ ＝ ０； ｉ ＜ ｃｏｎｓｔｒｕｃｔｏｒ＿ｃｏｕｎｔ； ｉ＋＋ ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ；
ｓｉｇｎｅｄ ｉｎｔ（８） ｓａｍｐｌｅ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄａｔａ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄａｔａ＿ｌｅｎｇｔｈ；
｝
｝
ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅは、以下に続くコンストラクタの数を規定する。
ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘは、データを抽出すべきトラックを見出すために使用するためのタイプ「ｓｃａｌ」のトラック参照のインデックスを規定する。データが抽出されるそのトラックにおけるサンプルは、メディアデコーディングタイムラインにおいて、すなわち、時間／サンプルテーブルのみを使用して、時間的に整列させられるか、または、直前に先行し、Ｅｘｔｒａｃｔｏｒを含むサンプルを伴うｓａｍｐｌｅ＿ｏｆｆｓｅｔによって規定されたオフセットによって調節される。第１のトラック参照は、インデックス値１を有し、すなわち、値０は、取って置かれる。
ｓａｍｐｌｅ＿ｏｆｆｓｅｔは、情報源として使用されるものとするリンクされたトラック内のサンプルの相対的インデックスを与える。サンプル０（０）は、エクストラクタを含むサンプルのデコーディング時間と比較されるデコーディング時間と同じか、または、直前に先行するサンプルである；サンプル１（１）は、次のサンプルであり、サンプル－１（－１）は、前のサンプルである、等。
ｄａｔａ＿ｏｆｆｓｅｔ：コピーすべき参照サンプル内の第１のバイトのオフセット。抽出がそのサンプルにおけるデータの第１のバイトを用いて開始する場合、オフセットは、値０をとる。
ｄａｔａ＿ｌｅｎｇｔｈ：コピーすべきバイトの数。ｄａｔａ＿ｏｆｆｓｅｔ＋ｄａｔａ＿ｌｅｎｇｔｈが、サンプルサイズを上回る場合、ｄａｔａ＿ｏｆｆｓｅｔによってポイントされるバイトからサンプルの終了まで、含まれるバイトは、コピーされる。
（実装１：エクストラクタを伴うＧ－ＰＣＣデータの単一トラックカプセル化）
図４に示されるように、スケーラブルＧ－ＰＣＣビットストリームが、ファイル内の１つ以上のトラックによって表される。各トラックは、スケーラブルストリームの１つのレベルを表す。その場合、Ｇ－ＰＣＣ幾何学形状データおよび属性データが、単一トラック内で搬送されるとき、このトラック内の各サンプルは、ＬｏＤの同じ値を伴う１つ以上のＧ－ＰＣＣコンポーネントを含む。
「ｃｐｔｇ」に等しいｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅを伴うＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘは、このトラックが、同じスケーラブルＧ－ＰＣＣビットストリームのうちの一部であることを示す。全部のエンコードされた情報は、「全部のサブセット」内に含まれるトラックが、保持されると、保持されることができる。
図４は、エクストラクタを伴うＧ－ＰＣＣデータの単一トラックカプセル化の例を示す。
サンプルエントリ「ｇｐｅｓ」
ＧＰＣＣトラックは、サンプルエントリタイプの「ｇｐｅ１」または「ｇｐｅｇ」または「ｇｐｅｓ」を伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用し得る。「ｇｐｅｓ」サンプルエントリ下、全てのパラメータ組（ＩＳＯ／ＩＥＣ２３０９０－９［ＧＰＣＣ］に定義されるような）は、ｓｅｔｕｐＵｎｉｔ内にあり得る。
サンプルエントリタイプ： 「ｇｐｅｓ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｅｓ’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ｌｏｄは、トラック内の幾何学形状データおよび属性データの詳細のレベルの最大値を示す。
トラックグループ「ｃｐｔｇ」
同じ点群データに寄与するトラックは、ｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅ「ｃｐｔｇ」に関するｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ同じ値を有し、１つの点群データからのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄは、任意の他の点群データからのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄと異なる。
構文
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳｃａｌａｂｌｅＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ（’ｃｐｔｇ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ＿ｎｕｍ；
ｆｏｒ（ｉ ＝ ０； ｉ ＜ ｌｏｄ＿ｎｕｍ； ｉ＋＋ ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｅｎｔｒｙ＿ｉｄ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
｝
ｌｏｄ＿ｎｕｍは、全部の組の点群の詳細のレベルの最大値を示す。
ｅｎｔｒｙ＿ｉｄは、レベルのエントリ点のｔｒａｃｋ＿ｉｄ、すなわち、幾何学形状データを伴うトラックを示す。
ｌｏｄは、ｅｎｔｒｙ＿ｉｄに等しいｔｒａｃｋ＿ｉｄを伴うトラックの詳細のレベルの値を示す。
（実装２：エクストラクタを伴うＧ－ＰＣＣデータのマルチトラックカプセル化）
図５に示されるように、スケーラブルＧ－ＰＣＣビットストリームが、ファイル内の１つ以上のトラックによって表される。各トラックは、スケーラブルストリームの１つの動作点を表す。この場合、Ｇ－ＰＣＣ幾何学形状データおよび属性データが複数のトラック内で搬送されるとき、各幾何学形状または属性サブストリームは、ＬｏＤの同じ値を用いて、個々のトラックにマッピングされる。幾何学形状トラックは、幾何学形状サブストリームを搬送し、属性トラックは、単一タイプの属性サブストリームを搬送する。
図５は、エクストラクタを用いた、Ｇ－ＰＣＣデータのマルチトラックカプセル化の例を示す。
サンプルエントリ「ｇｐｃｓ」
ＧＰＣＣトラックは、「ｇｐｅ１」または「ｇｐｅｇ」または「ｇｐｃｓ」のサンプルエントリタイプを伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用し得る。「ｇｐｃｓ」サンプルエントリ下、全てのパラメータ組（ＩＳＯ／ＩＥＣ２３０９０－９［ＧＰＣＣ］において定義されるような）は、ｓｅｔｕｐＵｎｉｔアレイ内にあり得る。
サンプルエントリタイプ： 「ｐｃｓ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｃｓ’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、このトラック内で搬送されるＧ－ＰＣＣコンポーネントのタイプを示す。
ｌｏｄは、トラック内のＧ－ＰＣＣコンポーネントの詳細のレベルの最大値を示す。
構文
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳｃａｌａｂｌｅＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ（’ｃｐｔｇ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ＿ｎｕｍ；
ｆｏｒ（ｉ ＝ ０； ｉ ＜ ｌｏｄ＿ｎｕｍ； ｉ＋＋ ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｅｎｔｒｙ＿ｉｄ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
｝
ｌｏｄ＿ｎｕｍは、全部の組の点群の詳細のレベルの最大値を示す。
ｅｎｔｒｙ＿ｉｄは、あるレベルのエントリ点のｔｒａｃｋ＿ｉｄ、すなわち、幾何学形状データを伴うトラックを示す。
ｌｏｄは、ｅｎｔｒｙ＿ｉｄに等しいｔｒａｃｋ＿ｉｄを伴うトラックの詳細のレベルの値を示す。
（７．実施形態４：より低いレベルからの冗長データを伴うそれ自体のトラック内のＧ－ＰＣＣデータの各レベルまたはレベルの組）
スケーラブルＧ－ＰＣＣビットストリームが、ファイル内の複数のトラックによって表される。各レベルのＧ－ＰＣＣデータは、サブサンプル構造によってシグナリングされる。
本実施形態では、サブサンプル情報は、部分的幾何学形状データユニットと、具体的ＬｏＤに対応する属性データユニットの組とに関する詳細のレベル情報を示すために使用される。
（実装１：冗長レベルを用いたＧ－ＰＣＣデータの単一トラックカプセル化）
図６に示されるように、本実施形態の一実装は、Ｇ－ＰＣＣ幾何学形状データおよび属性データが、単一トラック内で搬送されることである。このトラック内の各サンプルは、このトラックの０から最大ＬｏＤへのＬｏＤ値を伴う１つ以上のＧ－ＰＣＣコンポーネントを含む。各トラック内のＧ－ＰＣＣデータは、独立して、デコーディング可能であり得る。
この場合、ＧＰＣＣトラックは、「ｇｐｅｉ」のサンプルエントリタイプを伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用し得る。
図６は、冗長レベルを伴うＧ－ＰＣＣデータの単一トラックカプセル化の例を示す。
サンプルエントリ「ｇｐｅｉ」
「ｇｐｅｉ」サンプルエントリ下、Ｇ－ＰＣＣ幾何学形状データおよび属性データの各詳細のレベルは、単一トラック内に記憶される。
サンプルエントリタイプ： 「ｇｐｅｉ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（’ｇｐｅｉ’）｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘｃｏｎｆｉｇ；／／ｍａｎｄａｔｏｒｙ
ｕｎｓｉｇｎｅｄｉｎｔ（１６）ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ｌｏｄは、トラック内の幾何学形状データおよび属性データの詳細のレベルの最大値を示す。
（実装２：冗長レベルを用いたＧ－ＰＣＣデータのマルチトラックカプセル化）
図７に示されるように、本実施形態の別の実装は、Ｇ－ＰＣＣ幾何学形状データおよび属性データが、別個のトラック内で搬送され、単一トラック内の各サンプルが、全部の詳細のレベルを伴う単一タイプのＧ－ＰＣＣコンポーネントを含むことである。各レベルの分割は、サブサンプル構造においてシグナリングされる。
この場合、ＧＰＣＣトラックは、「ｇｐｃｉ」のサンプルエントリタイプを伴うＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用するものとする。デコーダが、Ｌに等しいそのＬｏＤを用いて点群をデコードおよびレンダリングするとき、Ｌ未満のＬｏＤ値を伴うサブサンプルが、取得される。
図７は、冗長レベルを用いたＧ－ＰＣＣデータのマルチトラックカプセル化の例を示す。
サンプルエントリ「ｇｐｃｉ」
「ｇｐｃｉ」サンプルエントリ下、詳細の全てのレベルのＧ－ＰＣＣ幾何学形状データは、単一トラック内に記憶され、各レベルの情報は、サブサンプルにおいてシグナリングされる。別個のトラック内に記憶される各タイプの属性データに関して、ＬｏＤ情報の記憶は、幾何学形状データのものに類似する。
サンプルエントリタイプ： 「ｇｐｃｉ」
コンテナ： ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須： 「ｇｐｅ１」、「ｇｐｅｇ」、「ｇｐｃ１」、「ｇｐｃｇ」、「ｇｐｅａ」、「ｇｐｃｌ」、「ｇｐｅｓ」、「ｇｐｃｓ」、「ｇｐｅｉ」、および「ｇｐｃｉ」サンプルエントリのうちの１つは、必須である。
数量： １つ以上のサンプルエントリが、存在し得る。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＳａｍｐｌｅＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｇｐｃｉ’） ｛
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ； ／／ｍａｎｄａｔｏｒｙ
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘ ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｌｏｄ；
｝
ＧＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、幾何学形状ベースの点群コンテンツに関するＧ－ＰＣＣデコーダ構成情報を規定する。ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成記録が存在するサンプルエントリによって参照されるストリームに関して一定であるＧ－ＰＣＣ ＴＬＶカプセル化構造を含むものとする。
ＧＰＣＣＣｏｍｐｏｎｅｎｔＴｙｐｅＢｏｘは、このトラック内で搬送されるＧ－ＰＣＣコンポーネントのタイプを示す。
ｌｏｄは、トラック内のＧ－ＰＣＣコンポーネントの詳細のレベルの最大値を示す。
（８．実施形態５：Ｇ－ＰＣＣデータのＬｏＤ記述子のシグナリング）
単一トラックモード
ＤＡＳＨにおける単一トラックモードは、Ｇ－ＰＣＣ ＩＳＯＢＭＦＦファイルのストリーミングを可能にし、幾何学形状ストリームおよび属性ストリームは、単一トラックとして記憶される。ＤＡＳＨにおける単一トラックモードは、１つ以上の表現を用いて、１つのＡｄａｐｔａｔｉｏｎＳｅｔとして表されるべきである。
マルチトラックモード
幾何学形状または属性ストリームは、別個のＡｄａｐｔａｔｉｏｎＳｅｔとしてＭＰＤファイルにおいて表され得、幾何学形状ストリームを伴うＡｄａｐｔａｔｉｏｎＳｅｔは、Ｇ－ＰＣＣストリームのエントリ点としての役割を果たす。
Ｇ－ＰＣＣストリームが複数の詳細のレベルを有する場合、各レベルは、別個のＡｄａｐｔａｔｉｏｎＳｅｔを使用して、シグナリングされ得、ＬｏＤ関連情報は、ＧＰＣＣＬｏＤＩｎｆｏ記述子によってシグナリングされる。
ＧＰＣＣＬｏＤＩｎｆｏ記述子
点群の空間スケーラビリティおよびＬｏＤ情報を識別するために、ＧＰＣＣＬｏＤＩｎｆｏ記述子が、使用され得る。この記述子を使用することは、現在のストリームサポート空間スケーラビリティを示す。
最大で１つのＧＰＣＣＬｏＤＩｎｆｏ記述子が、マルチトラックモードに関して、点群の幾何学形状ＡｄａｐｔａｔｉｏｎＳｅｔおよび各属性ＡｄａｐｔａｔｉｏｎＳｅｔにおいて、または、単一トラックモードに関して、点群のＡｄａｐｔａｔｉｏｎＳｅｔにおいて、適合組レベルに存在し得る。
ＧＰＣＣＬｏＤＩｎｆｏ記述子は、表１に規定されるような要素および属性を含み得る。
図８は、本書で説明されるフォーマットのうちの１つ以上を使用して、３Ｄコンテンツを表すビットストリームを生成するための少なくとも例示的エンコーダを含む第１の例示的デバイスを図示する略図である。エンコーダは、ビデオエンコーダまたはピクチャエンコーダを含み得る。
入手ユニット１００１は、ビデオおよびピクチャを含む３Ｄ場面を捕捉する。入手ユニット１００１は、自然場面のビデオまたはピクチャを撮影するために、１つ以上のカメラを装備し得る。随意に、入手ユニット１００１は、深度ビデオまたは深度ピクチャを得るためのカメラを用いて実装され得る。随意に、入手ユニット１００１は、赤外線カメラのコンポーネントを含み得る。随意に、入手ユニット１００１は、遠隔感知カメラで構成され得る。入手ユニット１００１は、放射線を使用してオブジェクトを走査することによってビデオまたはピクチャを生成する装置またはデバイスであり得る。
随意に、入手ユニット１００１は、例えば、自動ホワイトバランス、自動焦点化、自動露光、バックライト補償、鮮明化、雑音除去、スティッチング、アップサンプリング／ダウンサンプリング、フレームレート変換、仮想ビュー合成等、前処理をビデオまたはピクチャに対して実施し得る。
入手ユニット１００１はまた、ビデオまたはピクチャを別のデバイスまたは処理ユニットから受信し得る。例えば、入手ユニット１００１は、トランスコーダ内のコンポーネントユニットであることができる。トランスコーダは、１つ以上のデコーディングされた（または部分的にデコーディングされた）ピクチャを入手ユニット１００１にフィードする。別の例は、入手ユニット１００１がそのデバイスへのデータリンクを介してビデオまたはピクチャを別のデバイスから得ることである。
入手ユニット１００１は、ビデオおよびピクチャに加え、他のメディア情報、例えば、オーディオ信号を捕捉するために使用され得ることに留意されたい。入手ユニット１００１は、人工情報、例えば、キャラクタ、テキスト、コンピュータ生成ビデオまたはピクチャ等も受信し得る。
エンコーダ１００２は、例示的エンコーダの実装である。エンコーダ１００２の入力は、入手ユニット１００１によって出力されたビデオまたはピクチャである。エンコーダ１００２は、ビデオまたはピクチャをエンコーディングし、生成された３Ｄ（例えば、Ｇ－ＰＣＣ）ビットストリームを出力する。
記憶装置／送信ユニット１００３は、ビデオまたはピクチャビットストリームをエンコーダ１００２から受信し、システム層処理をビットストリームに対して実施する。例えば、記憶装置／送信ユニット１００３は、トランスポート規格およびメディアファイルフォーマット、例えば、例えば、ＭＰＥＧ－２ ＴＳ、ＩＳＯＢＭＦＦ、ＤＡＳＨ、ＭＭＴ等に従って、ビットストリームをカプセル化する。記憶装置／送信ユニット１００３は、第１の例示的デバイスのメモリまたはディスク内へのカプセル化後、取得されたトランスポートストリームまたはメディアファイルを記憶するか、または、有線または無線ネットワークを介してトランスポートストリームまたはメディアファイルを送信する。
エンコーダ１００２からのビデオまたはピクチャビットストリームに加え、記憶装置／送信ユニット１００３の入力がオーディオ、テキスト、画像、テクスチャ、グラフィック等も含み得ることに留意されたい。記憶装置／送信ユニット１００３は、そのような異なるタイプのメディアビットストリームをカプセル化することによって、トランスポートまたはメディアファイルを生成する。
本実施形態に説明される第１の例示的デバイスは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、メディアサーバ、ポータブルモバイル端末、デジタルカメラ、ブロードキャストデバイス、ＣＤＮ（コンテンツ配信ネットワーク）デバイス、監視カメラ、ビデオ会議デバイス等内でビデオ（またはピクチャ）ビットストリームを生成または処理することが可能なデバイスであることができる。
図９は、本書で開示されるようなフォーマットを有するビットストリームをデコードし、３Ｄ場面を再構築し得る第２の例示的デバイスを図示する略図である。例示的デバイスは、少なくともビデオデコーダまたはピクチャデコーダを含み得る。
受信ユニット１１０１は、ビットストリームを有線または無線ネットワークから取得することによって、電子デバイス内のメモリまたはディスクを読み取ることによって、または、データリンクを介して他のデバイスからのデータをフェッチすることによって、ビデオまたはＧ－ＰＣＣビットストリームを受信する。
受信ユニット１１０１の入力は、ビデオまたはピクチャビットストリームを含む、トランスポートストリームまたはメディアファイルも含み得る。受信ユニット１１０１は、トランスポートまたはメディアファイルフォーマットの仕様に従って、ビデオまたはピクチャビットストリームをトランスポートストリームまたはメディアファイルから抽出する。
受信ユニット１１０１は、ビデオまたはピクチャビットストリームを出力し、デコーダ１１０２に渡す。ビデオまたはピクチャビットストリームに加え、受信ユニット１１０１の出力がオーディオビットストリーム、キャラクタ、テキスト、画像、グラフィック等も含み得ることに留意されたい。受信ユニット１１０１は、出力を第２の例示的デバイス内の対応する処理ユニットに渡す。例えば、受信ユニット１１０１は、出力オーディオビットストリームをこのデバイス内のオーディオデコーダに渡す。
デコーダ１１０２は、例示的デコーダの実装である。エンコーダ１１０２の入力は、受信ユニット１１０１によって出力されたビデオまたはピクチャビットストリームである。デコーダ１１０２は、ビデオまたはピクチャビットストリームをデコーディングし、デコーディングされたビデオまたはピクチャを出力する。
レンダリングユニット１１０３は、デコーディングされたビデオまたはピクチャをデコーダ１１０２から受信する。レンダリングユニット１１０３は、デコーディングされたビデオまたはピクチャを視認者に提示する。レンダリングユニット１１０３は、第２の例示的デバイスのコンポーネント、例えば、画面であり得る。レンダリングユニット１１０３は、第２の例示的デバイス、例えば、プロジェクタ、モニタ、ＴＶセット等へのデータリンクを伴う第２の例示的デバイスと別個のデバイスでもあり得る。随意に、レンダリングユニット１１０３は、例えば、自動ホワイトバランス、自動焦点化、自動露光、バックライト補償、鮮明化、雑音除去、スティッチング、アップサンプリング／ダウンサンプリング、フレームレート変換、仮想ビュー合成等、それを視認者に提示する前に、後処理をデコーディングされたビデオまたはピクチャに対して実施する。
デコーディングされたビデオまたはピクチャに加え、レンダリングユニット１１０３の入力が第２の例示的デバイスの１つ以上のユニットからの他のメディアデータ、例えば、オーディオ、キャラクタ、テキスト、画像、グラフィック等であることができることに留意されたい。レンダリングユニット１１０３の入力は、人工データ、例えば、遠隔教育アプリケーションにおいて注意を誘引するためにスライド上にローカル教師によって描かれるラインおよびマークも含み得る。レンダリングユニット１１０３は、異なるタイプのメディアを一緒に構成し、次いで、構成物を視認者に提示する。
本実施形態に説明される第２の例示的デバイスは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、セットトップボックス、ＴＶセット、ＨＭＤ、モニタ、メディアサーバ、ポータブルモバイル端末、デジタルカメラ、ブロードキャストデバイス、ＣＤＮ（コンテンツ配信ネットワーク）デバイス、監視ビデオ会議デバイス等内でビデオ（またはピクチャ）ビットストリームをデコーディングまたは処理することが可能なデバイスであることができる。
図１０は、図８における第１の例示的デバイスと、図９における第２の例示的デバイスとを含む電子システムを図示する略図である。
サービスデバイス１２０１は、図８における第１の例示的デバイスである。
記憶媒体／トランスポートネットワーク１２０２は、デバイスまたは電子システムの内部メモリリソース、データリンクを介してアクセス可能な外部メモリリソース、有線および／または無線ネットワークから成るデータ伝送ネットワークを含み得る。記憶媒体／トランスポートネットワーク１２０２は、サービスデバイス１２０１内の記憶／送信ユニット１２０３のための記憶リソースまたはデータ伝送ネットワークを提供する。
宛先デバイス１２０３は、図９における第２の例示的デバイスである。宛先デバイス１２０３内の受信ユニット１２０１は、ビデオまたはピクチャビットストリーム、ビデオまたはピクチャビットストリームを含むトランスポートストリーム、またはビデオまたはピクチャビットストリームを含むメディアファイルを記憶媒体／トランスポートネットワーク１２０２から受信する。
本実施形態に説明される電子システムは、ビデオ通信のアプリケーション、例えば、携帯電話、コンピュータ、ＩＰＴＶシステム、ＯＴＴシステム、インターネット上のマルチメディアシステム、デジタルＴＶブロードキャストシステム、ビデオ監視システム、ポータブルモバイル端末、デジタルカメラ、ビデオ会議システム等内でビデオ（またはピクチャ）ビットストリームを生成、記憶またはトランスポート、およびデコードすることが可能なデバイスまたはシステムであることができる。
図１２は、本書に説明されるエンコーダ側またはデコーダ側技法を実装するために使用され得る例示的装置１４００を示す。装置１４００は、エンコーダ側またはデコーダ側技法または両方を実施するように構成され得るプロセッサ１４０２を含む。装置１４００は、プロセッサ実行可能命令を記憶するためのメモリ、およびビデオビットストリームおよび／またはディスプレイデータを記憶するためのメモリ（図示せず）も含み得る。装置１４００は、変換回路、算術コーディング／デコーディング回路、ルックアップ表ベースのデータコーディング技法等、ビデオ処理回路網（図示せず）を含み得る。ビデオ処理回路網は、部分的に、プロセッサ内に、および／または部分的に、グラフィックプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の他の専用回路網内に含まれ得る。３Ｄコンテンツを捕捉またはレンダリングするために使用される周辺機器等の他のハードウェア詳細はまた、簡潔にするために、図１２から省略される。
ボリューム視覚的メディアデータをエンコードまたはデコードする装置は、コンピュータ、ラップトップ、タブレットまたはゲーム用デバイス等のユーザデバイスの一部として、実装され得る。
ビデオをエンコードおよびデコードする技術に関して本書に説明されるこの技術的問題は、好ましくは、以下の解決策のうちの１つ以上を組み込むことによって、いくつかの実施形態によって解決され得る。
１．３次元コンテンツを処理する方法（例えば、図１１Ａ０に示される方法１１５０）であって、１つの幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームとして表された３次元（３Ｄ）コンテンツを含むビットストリームの詳細のレベル（ＬｏＤ）情報を解析すること（１１５２）と、ＬｏＤ情報に基づいて、所望の詳細のレベルに対応する幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームのうちの少なくとも一部をデコードすることによって、デコードされた情報を生成すること（１１５４）と、デコードされた情報を使用して、少なくとも所望の詳細のレベルに対応する３次元場面を再構築すること（１１５６）とを含む。ビットストリームは、複数のレベルの３Ｄコンテンツの詳細に従って編成されたフォーマットに準拠する。いくつかの実施形態では、方法１１５０は、本書で開示されるデコーダ装置によって実装され得る。実施形態１は、どのように方法が、所望のＬｏＤに関連するデータに関するビットストリームに部分的にアクセスすることによって実装され得るかのいくつかの例を提供する。
２．ＬｏＤ情報を解析することは、ビットストリームが空間スケーラビリティサブビットストリームを備えているかどうかを決定すること、複数の詳細のレベルを含むビットストリームにおける第１の構文構造を識別すること、第２の構文構造、サブサンプル構造、サンプルエントリ、または記述子を使用して、ＬｏＤ情報を識別すること、または所望の詳細のレベルまたは全部のレベルの組に対応するコンテンツの位置を特定することを含む、解決策１に記載の方法。種々の実施形態では、これらのタスクのうちの１つ以上のものは、所望のＬｏＤまたは全部のＬｏＤに関連する幾何学形状および／または属性サブストリームまたはサブビットストリームの位置を特定するために実施され得る。
３．ビットストリームが空間スケーラビリティ機能性をサポートするかどうかを決定し、構造を識別するために、ビットストリームにおけるサンプルエントリタイプフィールドを使用することを含む、解決策２に記載の方法。
４．複数の詳細のレベルを伴うビットストリームの構造は、全部のレベルの組のビットストリームがサブサンプル構造を伴う１つのトラック内で搬送される構造と、各レベルのビットストリームがエクストラクタを伴う１つのトラックにある構造と、１つ以上のレベルのビットストリームがより低いレベルからの冗長データを伴う１つのトラックにある構造とを備えている、解決策３に記載の方法。例えば、実施形態２は、Ｇ－ＰＣＣデータがサブサンプル構造を伴う１つのトラック内に含まれるビットストリームフォーマットの例を提供する。
５．デコードすることは、所望の詳細のレベルに対応する３Ｄコンテンツを含む１つ以上のサブサンプルをデコードすることを含む、解決策１に記載の方法。
６．デコードすることは、詳細の全てのレベルに対応する３Ｄコンテンツを含むサブサンプルに関する全ての幾何学形状サブビットストリームをデコードすることを含む、解決策１に記載の方法。
７．サブサンプル構造は、ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子を備えている、解決策２に記載の方法。追加の例は、実施形態２、代替サブサンプル構造１、２、または３、および実装１および２内に提供される。
８．ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子は、以下の構文要素：ペイロードタイプ、リフティングスケーラビリティを示すフラグ、幾何学形状データユニットのみが含まれるかどうかを示すフラグ、属性データユニットのみが含まれるかどうかを示すフラグ、または属性ペイロードのうちの１つ以上を含む、解決策７に記載の方法。
９．サンプルエントリにおけるＬｏＤ値を使用して、ビットストリームのＬｏＤの値を識別することを含む、解決策２に記載の方法。
１０．デコードすることは、所望の詳細のレベルに対応するトラックにおいて、ビットストリームの第１の部分をデコードすることと、所望の詳細のレベルより低い詳細のレベルを伴う１つ以上の他のトラックにおいて、ビットストリームの第２の部分を識別し、デコードすることとを含む、解決策１に記載の方法。例えば、実施形態３は、本解決策のいくつかの追加の詳細を説明する。
１１．エクストラクタおよび第１のトラック参照タイプを使用して、所望のレベルより低い詳細のレベルを伴う他のトラックを識別することと、エクストラクタを使用して、他のトラックに対応するデータを識別することとを含む、解決策１０に記載の方法。
１２．エクストラクタは、トラック参照タイプに基づいてトラックを１つ以上の他のトラックにリンクする情報を搬送する１つ以上のコンストラクタと、データを参照されるトラックから抽出するための１つ以上の命令とを含む、解決策１１に記載の方法。エクストラクタ実装の追加の例は、例えば、実施形態３において説明される。
１３．第１のトラックグループタイプを使用して、全部の詳細のレベルに対応するサブストリームを含む１つ以上のトラックを識別することと、全部の詳細のレベルに対応する１つ以上のトラックにおけるデータをデコードすることとを含む、解決策１に記載の方法。
１４．単一トラックにおいて、所望の詳細のレベルと、１つ以上のより低いレベルとに対応するビットストリームのうちの一部をデコードすることを含む、解決策１に記載の方法。
１５．単一トラックにおける全部の詳細のレベルに対応するビットストリームをデコードすることを含む、解決策１に記載の方法。
１６．適合組が空間スケーラビリティ機能性をサポートするかどうかを決定するように、ＬｏＤ記述子を使用することを含む、解決策２に記載の方法。
１７．ＬｏＤ記述子におけるＬｏＤ値を使用して、適合組におけるＬｏＤを識別することを含む、解決策１６に記載の方法。
１８．所望のＬｏＤおよび１つ以上のより低いレベルに対応するビットストリームのうちの一部を単一適合組からデコードすること、または１つの適合組における所望のＬｏＤに対応するビットストリームのうちの一部と、他の適合組におけるより低いレベルを伴うデータとを識別し、デコードすることを含む、解決策１に記載の方法。追加の詳細は、例えば、実施形態４において説明される。
１９．全部トラックｉｄを使用して、詳細の全てのレベルに対応するデータを含む１つ以上の適合組を識別することと、全部の詳細のレベルに対応する１つ以上の適合組において、全部のデータをデコードすることとを含む、解決策１に記載の方法。
２０．ＬｏＤ記述子は、その属性が詳細のレベル情報を規定する構文要素、より低いレベルトラックへの依存を示す構文要素、ビットストリームにおける最小の詳細のレベル、ビットストリームにおける最大の詳細のレベル、または全部トラックｉｄの識別子を示す構文要素のうちの１つ以上を備えている、解決策１６－１９に記載の方法。
２１．所望のＬｏＤに対応するビットストリームのうちの一部が、単一トラックカプセル化または複数トラックカプセル化を伴う所望のＬｏＤに対応するデータを含む、解決策１－２０に記載の方法。例は、実施形態１－５において説明される。
２２．単一トラックカプセル化は、同じトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、解決策２１に記載の方法。
２３．複数トラックカプセル化は、別個のトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、解決策２０に記載の方法。
２４．３次元場面を再構築することは、３Ｄコンテンツにおける各点の空間位置および１つ以上の属性値を再構築すること、または３Ｄコンテンツにおける各点の空間位置および属性値を再構築し、ユーザの視認位置およびビューポートに従って、３Ｄ場面をレンダリングすることを含む、解決策１に記載の方法。上記の解決策のいくつかの詳細はまた、実施形態４および５において説明される。
２５．３次元コンテンツをエンコードする方法（例えば、図１１Ｂにおいて描写される方法１１７０）であって、３次元（３Ｄ）コンテンツを１つ以上の詳細のレベル（ＬｏＤ）に従って編成された幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームを備えているビットストリームにエンコードすること（１１７２）と、ビットストリーム内に、１つ以上のＬｏＤと、幾何学形状サブビットストリームと、１つ以上の属性ビットストリームとの間の対応を示すＬｏＤ情報を含むこと（１１７４）とを含む、方法。
２６．ビットストリーム内に、空間スケーラビリティビットストリームの存在の指示をエンコードすることと、複数の詳細のレベルを含むビットストリームに第１の構文構造を含むことと、第２の構文構造を使用して、サブサンプル構造、サンプルエントリ、またはビットストリームに含まれるＬｏＤベースのコンテンツを示す記述子を含むこととをさらに含む、解決策２５に記載の方法。
２７．ビットストリームに、ビットストリームが空間スケーラビリティ機能性をサポートするかどうかの決定を可能にし、構造を識別するために、サンプルエントリタイプフィールドを含むことをさらに含む、解決策２６に記載の方法。
２８．複数の詳細のレベルを伴うビットストリームの構造は、全部のレベルの組のビットストリームがサブサンプル構造を伴う１つのトラック内で搬送される構造と、各レベルのビットストリームがエクストラクタを伴う１つのトラックにある構造と、１つ以上のレベルのビットストリームがより低いレベルからの冗長データを伴う１つのトラックにある構造とを備えている、解決策２７に記載の方法。
２９．サブサンプル構造は、ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子を備えている、解決策２６に記載の方法。
３０．ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子は、以下の構文要素：ペイロードタイプ、リフティングスケーラビリティを示すフラグ、幾何学形状データユニットのみが含まれるかどうかを示すフラグ、属性データユニットのみが含まれるかどうかを示すフラグ、または属性ペイロードのうちの１つ以上を含む、解決策２９に記載の方法。
３１．ビットストリームに、ビットストリームのＬｏＤの値を識別するサンプルエントリにおけるＬｏＤ値を含むことを含む、解決策２６に記載の方法。
３２．ビットストリームに、エクストラクタと、所望の詳細のレベルより低い詳細のレベルを伴う他のトラックおよび他のトラックに対応するデータを識別する、第１のトラック参照タイプとを含むことを含む、解決策３１に記載の方法。
３３．エクストラクタは、トラック参照タイプに基づいてトラックを１つ以上の他のトラックにリンクする情報を搬送する１つ以上のコンストラクタと、データを参照されるトラックから抽出するための１つ以上の命令とを含む、解決策３２に記載の方法。
３４．ビットストリームに、全部の詳細のレベルに対応するサブストリームを含む１つ以上のトラックを識別する第１のトラックグループタイプを含むことを含む、解決策２５に記載の方法。
３５．適合組が空間スケーラビリティ機能性をサポートするかどうかを示すＬｏＤ記述子を含むことを含む、解決策２６に記載の方法。
３６．ＬｏＤ記述子は、適合組におけるＬｏＤを識別するＬｏＤ値を含む、解決策３５に記載の方法。
３７．所望のＬｏＤに対応するビットストリームのうちの一部が、単一トラックカプセル化または複数トラックカプセル化を伴う所望のＬｏＤに対応するデータを含む、解決策２５－２６に記載の方法。
３８．単一トラックカプセル化は、同じトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、解決策３７に記載の方法。
３９．複数トラックカプセル化は、別個のトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、解決策３７に記載の方法。
上で説明されるエンコーディング解決策の追加の詳細は、デコーダ解決策に対してさらに説明されるように、実施形態１－５においても開示される。
４０．解決策１－３９のうちのいずれか１つ以上に記載される方法を実装するように構成されたプロセッサを備えている３次元コンテンツ処理装置。
４１．コンピュータ読み取り可能な媒体上に記憶されたプログラムコードを備えているコンピュータプログラム製品であって、プログラムコードは、プロセッサによって実行されると、プロセッサに、解決策１－３９のいずれかうちの１つ以上に記載される方法を実装させる、コンピュータプログラム製品。
本書に説明される開示された実施形態および他の実施形態、モジュール、および機能動作は、デジタル電子回路で、または本書に開示される構造およびそれらの構造均等物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらのうちの１つ以上のものの組み合わせで、実装されることができる。開示および他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ読み取り可能な媒体上でエンコードされるコンピュータプログラム命令の１つ以上のモジュールとして、実装されることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝搬信号を生じさせる組成物、または１つ以上のそれらの組み合わせであり得る。用語「データ処理装置」は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上のそれらの組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に発生される信号、例えば、好適な受信機装置に伝送するために情報をエンコードするように発生される、機械で発生される電気、光学、または電磁信号である。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）が、コンパイラ型またはインタープリタ型言語を含む任意の形態のプログラミング言語で書かれることができ、独立型プログラムとして、またはコンピューティング環境内の使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイル（例えば、マークアップ言語文書内に記憶された１つ以上のスクリプト）の一部内に、当該プログラム専用の単一のファイル内に、または複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの地点に位置し、または複数の地点を横断して分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開されることができる。
本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を発生させることによって機能を実施するように、１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサによって、実施されることができる。プロセスおよび論理フローはまた、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって、実施されることもでき、装置も、それとして実装されることができる。
コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊用途マイクロプロセッサの両方、および任意の種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。概して、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサ、および命令およびデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ読み取り可能な媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊用途論理回路によって補完される、またはそれに組み込まれることができる。
本特許文書は、多くの詳細を含むが、これらは、任意の発明または請求され得るものの範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態との関連で本特許文書に説明されるある特徴も、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態との関連で説明される種々の特徴も、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。さらに、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではい。
いくつかの実装および例のみが、説明され、他の実装、向上、および変形例も、本特許文書に説明および図示されるものに基づいて成されることができる。

Claims (11)

  1. ３次元コンテンツを処理する方法であって、前記方法は、
    １つの幾何学形状サブビットストリームおよび１つ以上の属性サブビットストリームとして表された３次元（３Ｄ）コンテンツを含むビットストリームの詳細のレベル（ＬｏＤ）情報を解析することであって、前記ＬｏＤ情報を解析することは、複数の詳細のレベルを含む前記ビットストリームにおける第１の構文構造を識別することを含む、ことと、
    前記ＬｏＤ情報に基づいて、所望の詳細のレベルに対応する前記幾何学形状サブビットストリームおよび前記１つ以上の属性サブビットストリームのうちの少なくとも一部をデコードすることによって、デコードされた情報を生成することと、
    前記デコードされた情報を使用して、少なくとも前記所望の詳細のレベルに対応する３次元場面を再構築することであって、前記ビットストリームは、前記３Ｄコンテンツの複数の詳細のレベルに従って編成されたフォーマットに準拠している、ことと、
    前記ビットストリームにおけるサンプルエントリタイプフィールドを使用して、前記ビットストリームが空間スケーラビリティ機能性をサポートするかどうかを決定することと、前記第１の構文構造を識別することと
    を含み、
    複数の詳細のレベルを伴う前記ビットストリームの前記第１の構文構造は、
    全部のレベルの組の前記ビットストリームがサブサンプル構造を伴う１つのトラック内で搬送される第１の構造と、
    前記１つのトラック内の各レベルの前記ビットストリームを伴うエクストラクタを含む第２の構造と、
    より低いレベルからの冗長データを伴う前記１つのトラック内の１つ以上のレベルの前記ビットストリームを含む第３の構造と
    を備えている、方法。
  2. 前記ＬｏＤ情報を解析することは、
    前記ビットストリームが空間スケーラビリティサブビットストリームを備えているかどうかを決定すること、
    第２の構文構造、サブサンプル構造、サンプルエントリ、または、記述子を使用して、前記ＬｏＤ情報を識別すること、または、
    前記所望の詳細のレベルまたは全部のレベルの組に対応するコンテンツの位置を特定すること
    を含む、請求項１に記載の方法。
  3. 前記サブサンプル構造は、前記ＬｏＤ情報を表すｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールド拡張子を備えている、請求項２に記載の方法。
  4. 前記方法は、前記サンプルエントリにおけるＬｏＤ値を使用して、前記ビットストリームのＬｏＤの値を識別することを含む、請求項２に記載の方法。
  5. 前記方法は、
    第１のトラックグループタイプを使用して、全部の詳細のレベルに対応するサブストリームを含む１つ以上のトラックを識別することと、
    全部の詳細のレベルに対応する前記１つ以上のトラックにおけるデータをデコードすることと
    を含む、請求項１に記載の方法。
  6. 前記方法は、単一トラックにおける前記所望の詳細のレベルおよび１つ以上のより低いレベルに対応する前記ビットストリームのうちの一部をデコードすることを含む、請求項１に記載の方法。
  7. 前記所望のＬｏＤに対応する前記ビットストリームのうちの一部が、単一トラックカプセル化を伴う前記所望のＬｏＤに対応するデータを含み、
    前記単一トラックカプセル化は、同じトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、請求項１に記載の方法。
  8. 前記所望のＬｏＤに対応する前記ビットストリームのうちの一部が、複数トラックカプセル化を伴う前記所望のＬｏＤに対応するデータを含み、
    前記複数トラックカプセル化は、別個のトラックにカプセル化された１つの幾何学形状ビットストリームと１つ以上の属性ビットストリームとを備えている、請求項１に記載の方法。
  9. 前記３次元場面を再構築することは、
    前記３Ｄコンテンツにおける各点の空間位置および１つ以上の属性値を再構築すること、または、
    前記３Ｄコンテンツにおける各点の空間位置および属性値を再構築し、ユーザの視認位置およびビューポートに従って、３Ｄ場面をレンダリングすること
    を含む、請求項１に記載の方法。
  10. 請求項１～９のうちのいずれか１項に記載の方法を実装するように構成されているプロセッサを備えている３次元コンテンツ処理装置。
  11. プログラムコードが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記プログラムコードは、プロセッサによって実行されると、請求項１～９のうちのいずれか１項に記載の方法を実装することを前記プロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。
JP2022546010A 2020-06-24 2020-06-24 ３次元コンテンツ処理方法および装置 Active JP7467646B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098010 WO2021258325A1 (en) 2020-06-24 2020-06-24 Three-dimensional content processing methods and apparatus

Publications (2)

Publication Number Publication Date
JP2023517463A JP2023517463A (ja) 2023-04-26
JP7467646B2 true JP7467646B2 (ja) 2024-04-15

Family

ID=79282763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546010A Active JP7467646B2 (ja) 2020-06-24 2020-06-24 ３次元コンテンツ処理方法および装置

Country Status (7)

Country Link
US (1) US20220366611A1 (ja)
EP (1) EP4085421A4 (ja)
JP (1) JP7467646B2 (ja)
KR (1) KR20220123280A (ja)
CN (1) CN115039132A (ja)
CA (1) CA3169708A1 (ja)
WO (1) WO2021258325A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230276053A1 (en) * 2020-06-22 2023-08-31 Interdigital Patent Holdings, Inc. Adaptive streaming of geometry-based point clouds
WO2022054744A1 (ja) * 2020-09-08 2022-03-17 ソニーグループ株式会社 情報処理装置および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507799A (ja) 1998-03-17 2002-03-12 ピクサル アニメーション スタディオ コンピューターアニメーションの確率的な詳細レベル
JP2013038775A (ja) 2011-08-10 2013-02-21 Seiko Epson Corp 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
WO2019078000A1 (ja) 2017-10-16 2019-04-25 ソニー株式会社 情報処理装置および方法
WO2020060813A1 (en) 2018-09-18 2020-03-26 Vid Scale, Inc. Methods and apparatus for point cloud compression bitstream format

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396586B2 (en) * 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN113016184B (zh) * 2018-09-14 2023-07-07 华为技术有限公司 点云译码中属性支持的改进
WO2020072665A1 (en) * 2018-10-02 2020-04-09 Futurewei Technologies, Inc. Hierarchical tree attribute coding in point cloud coding
WO2020123469A1 (en) * 2018-12-11 2020-06-18 Futurewei Technologies, Inc. Hierarchical tree attribute coding by median points in point cloud coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507799A (ja) 1998-03-17 2002-03-12 ピクサル アニメーション スタディオ コンピューターアニメーションの確率的な詳細レベル
JP2013038775A (ja) 2011-08-10 2013-02-21 Seiko Epson Corp 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
WO2019078000A1 (ja) 2017-10-16 2019-04-25 ソニー株式会社 情報処理装置および方法
WO2020060813A1 (en) 2018-09-18 2020-03-26 Vid Scale, Inc. Methods and apparatus for point cloud compression bitstream format

Also Published As

Publication number Publication date
KR20220123280A (ko) 2022-09-06
US20220366611A1 (en) 2022-11-17
CN115039132A (zh) 2022-09-09
WO2021258325A1 (en) 2021-12-30
JP2023517463A (ja) 2023-04-26
CA3169708A1 (en) 2021-12-30
EP4085421A4 (en) 2023-01-18
EP4085421A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
TWI712313B (zh) 感興趣區之發信號之系統及方法
JP6743059B2 (ja) カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム
US11765407B2 (en) Method, device, and computer program for transmitting media content
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
US20220366611A1 (en) Three-dimensional content processing methods and apparatus
WO2021093153A1 (en) Point cloud data processing
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
CN111034203A (zh) 处理具有动态逐区封装的全向媒体
US11477489B2 (en) Apparatus, a method and a computer program for video coding and decoding
US20220360819A1 (en) Volumetric media process methods and apparatus
EP4085642A1 (en) Method for real time texture adaptation
JP7467647B2 (ja) ボリュメトリックメディア処理方法および装置
CN115396647A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
US11553258B2 (en) Apparatus, a method and a computer program for video coding and decoding
KR20220160646A (ko) 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스
US12034982B2 (en) Volumetric media process methods and apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150