JP7241018B2 - 没入型ビデオフォーマットのための方法、装置、及びストリーム - Google Patents

Description

１．技術分野
本開示は、没入型ビデオコンテンツの領域に関する。また、本開示は、例えば、モバイル装置又はヘッドマウント型ディスプレイなどのエンドユーザー装置上におけるレンダリングのための、没入型コンテンツを表すデータのフォーマッティングに関連しても理解される。

２．背景
本節は、以下において記述及び／又は特許請求されている本開示の様々な側面に関係しうる技術の様々な側面を読者に対して紹介することを意図している。この説明は、本発明の様々な態様のより良い理解を促進するための背景情報の読者への提供において有用であるものと思われる。従って、これらの記述は、従来技術の承認としてではなく、上述の観点において参照するべきであることを理解されたい。

ヘッドマウント型ディスプレイ（ＨＭＤ：Head-Mounted Display）又はＣＡＶＥなどの表示システムは、ユーザーが没入型ビデオコンテンツ内にブラウジングすることを許容している。没入型ビデオコンテンツは、ＣＧＩ（Computer-Generated Imagery）技法によって取得することができる。このような没入型ビデオコンテンツによれば、それを観察しているユーザーの視点に応じて、但し、非現実的なグラフィック品質により、コンテンツを演算することができる。没入型ビデオコンテンツは、球体又は立方体などの表面上における（例えば、いくつかのカメラによって取得されたビデオなどの）ビデオのマッピングにより、取得することができる。このような没入型ビデオコンテンツは、良好な画像品質を提供するが、特に、フォアグラウンドの、即ち、カメラから近接した、シーンのオブジェクトの場合に、視差に関係する問題が生じる。

没入型ビデオコンテンツの文脈においては、フリービューポイントビデオ（ＦＶＶ：Free-Viewpoint Video）は、マルチビュービデオの表現及びコーディング並びに任意の視点からの後続のリレンダリングのための技法である。没入型コンテンツにおけるユーザー経験を向上させる際には、レンダラに搬送されるデータの量が、非常に重要であり、且つ、問題となりうる。

３．概要
本明細書における「一実施形態（one embodiment）」、「一実施形態（an embodiment）」、「例示用の一実施形態（an example embodiment）」、「特定の一実施形態（a particular embodiment）」に対する参照は、記述されている実施形態が、特定の特徴、構造、又は特性を含みうるが、必ずしも、すべての実施形態が、その特定の特徴、構造、又は特性を含みえないことを通知している。更には、このようなフレーズは、必ずしも同一の実施形態を参照しているものでもない。更には、特定の特徴、構造、又は特性が、一実施形態との関連において記述されている際には、明示的に記述されているかどうかとは無関係に、その他の実施形態との関連において、このような特徴、構造、又は特性に影響を及ぼすことが当業者の知識に含まれているという点にも留意されたい。

本開示は、シーンのオブジェクトを表すデータを有するストリームを生成する方法に関し、方法は、
－３次元ポイントクラウドを３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化することであって、３次元ポイントクラウドは、視点の範囲から観察されるオブジェクトを表している、ことと、
－複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分ごとに、
・３次元部分と関連する２次元パラメータ化であって、少なくとも１つのポイントと関連する幾何学的情報に、且つ、視点の範囲と関連するポーズ情報とに応答している２次元パラメータ化を表すパラメータ及び３次元部分内に含まれている少なくとも１つのポイントと関連するデータに従って、３次元部分と関連する深度マップを判定し、且つ、
・３次元部分内に含まれている少なくとも１つのポイントと関連するパラメータ及びデータに従って、３次元部分と関連する色マップを判定することであって、
前記複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、第１のパッチアトラスの１つのパッチに対応しており、且つ、複数の判定された色マップは、第３のパッチアトラス内において表され、それぞれの色マップは、第２のパッチアトラスの１つのパッチに対応している、ことと、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラスを表すデータ、第２のパッチアトラスを表すデータ、並びに、２次元パラメータ化と第１のパッチアトラス内の対応する深度マップ及び第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有するストリームを生成することと、
を有する。

また、本開示は、シーンのオブジェクトを表すデータを有するストリームを生成するように構成された装置にも関し、装置は、少なくとも１つのプロセッサと関連するメモリを有し、プロセッサは、
－３次元ポイントクラウドを３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化することであって、３次元ポイントクラウドは、視点の範囲から観察されるオブジェクトを表している、ことと、
－複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分ごとに、
・３次元部分と関連する２次元パラメータ化であって、少なくとも１つのポイントと関連する幾何学的情報に、且つ、視点の範囲と関連するポーズ情報に応答している２次元パラメータ化を表すパラメータ及び３次元部分内に含まれている少なくとも１つのポイントと関連するデータに従って、３次元部分と関連する深度マップを判定し、且つ、
・３次元部分内に含まれている少なくとも１つのポイントと関連するパラメータ及びデータに従って、３次元部分と関連する色マップを判定することであって、
複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、第１のパッチアトラスの１つのパッチに対応しており、且つ、複数の判定された色マップは、第２のパッチアトラス内において表され、それぞれの色マップは、第２のパッチアトラスの１つのパッチに対応している、ことと、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラスを表すデータ、第２のパッチアトラスを表すデータ、並びに、２次元パラメータ化と第１のパッチアトラス内の対応する深度マップ及び第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有するストリームを生成することと、
を行うように構成されている。

また、本開示は、シーンのオブジェクトを表すデータを有するストリームを生成するように構成された装置にも関し、装置は、
－３次元ポイントクラウドを３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化する手段であって、３次元ポイントクラウドは、視点の範囲から観察されるオブジェクトを表している、手段と、
－複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分ごとに、
・３次元部分と関連する２次元パラメータ化であって、少なくとも１つのポイントと関連する幾何学的情報に、且つ、視点の範囲と関連するポーズ情報に応答している２次元パラメータ化を表すパラメータ及び３次元部分内に含まれている少なくとも１つのポイントと関連するデータに従って、３次元部分と関連する深度マップ、並びに
・３次元部分内に含まれている少なくとも１つのポイントと関連するパラメータ及びデータに従って、３次元部分と関連する色マップを判定する手段であって、
複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、第１のパッチアトラスの１つのパッチに対応しており、且つ、複数の判定された色マップは、第２のパッチアトラス内において表され、それぞれの色マップは、第２のパッチアトラスの１つのパッチに対応している、手段と、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラスを表すデータ、第２のパッチアトラスを表すデータ、並びに、２次元パラメータ化と第１のパッチアトラス内の対応する深度マップ及び第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有するストリームを生成する手段と、
を有する。

特定の一特性によれば、複数の２次元パラメータ化は、複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連している。

特定の一特性によれば、ストリームは、３次元パッチを識別する情報とそれぞれ第１のパッチアトラス及び第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する。

特定の一特性によれば、前記ポイントクラウドのパーティション化は、時間に伴って変化している。

また、本開示は、シーンのオブジェクトの表すデータを搬送するストリームにも関し、データは、
－視点の範囲から観察されるオブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータであって、３次元部分内に含まれているポイントクラウドのポイントと関連する幾何学的情報に従って、且つ、視点の範囲と関連するポーズ情報に従って、取得されるパラメータと、
－３次元部分の１つとそれぞれが関連する複数の深度マップを有する、且つ、３次元部分内に含まれているポイントクラウドのポイントと関連するパラメータ及びデータから判定された、第１のパッチアトラスを表すデータと、
－３次元部分の１つとそれぞれが関連する複数の色マップを有する、且つ、３次元部分内に含まれているポイントクラウドのポイントと関連するパラメータ及びデータから判定された、第２のパッチアトラスを表すデータと、
－２次元パラメータ化、第１のパッチアトラス内の深度マップ、及び第２のパッチアトラス内の色マップの間のマッピングを表す第１のマッピング情報と、
を有する。

特定の一特性によれば、ストリームは、３次元パッチを識別する情報とそれぞれ第１のパッチアトラス及び第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する。

また、本開示は、オブジェクトを表すデータを搬送するストリームからオブジェクトを表すポイントクラウドを取得する方法にも関し、方法は、
－ストリームから、視点の範囲から観察されるオブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得することと、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の深度マップを有する第１のパッチアトラスを表すデータを取得することと、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の色マップを有する第２のパッチアトラスを表すデータを取得することと、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラス内の関連する深度マップのデータ、第２のパッチアトラス内の関連する色マップのデータ、並びに、ストリームから取得された、且つ、２次元パラメータ化とそれぞれ第１のパッチアトラス及び第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報から、オブジェクトを表すポイントクラウドのポイントと関連するデータを取得することと、
を有する。

また、本開示は、オブジェクトを表すデータを搬送するストリームからオブジェクトを表すポイントクラウドを取得するように構成された装置にも関し、装置は、少なくとも１つのプロセッサと関連するメモリを有しており、プロセッサは、
－ストリームから、視点の範囲から観察されるオブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得し、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の深度マップを有する第１のパッチアトラスを表すデータを取得し、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の色マップを有する第２のパッチアトラスを表すデータを取得し、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラス内の関連する深度マップのデータ、第１のパッチアトラス内の関連する色マップのデータ、並びに、ストリームから取得された、且つ、２次元パラメータ化とそれぞれ第１のパッチアトラス及び第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報から、オブジェクトを表すポイントクラウドのポイントと関連するデータを取得する、
ように構成されている。

また、本開示は、オブジェクトを表すデータを搬送するストリームからオブジェクトを表すポイントクラウドを取得するように構成された装置にも関し、装置は、
－ストリームから、視点の範囲から観察されるオブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得する手段と、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の深度マップを有する第２のパッチアトラスを表すデータを取得する手段と、
－ストリームから、２次元パラメータ化の１つとそれぞれが関連する複数の色マップを有する第２のパッチアトラスを表すデータを取得する手段と、
－２次元パラメータ化を表すパラメータ、第１のパッチアトラス内の関連する深度マップのデータ、第２のパッチアトラス内の関連する色マップのデータ、ストリームから取得された、且つ、２次元パラメータ化とそれぞれ第１のパッチアトラス及び第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報から、オブジェクトを表すポイントクラウドのポイントと関連するデータを取得する手段と、
を有する。

特定の一特性によれば、オブジェクトを表す画像は、ポイントクラウドを表す取得済みのデータに従ってレンダリングされている。

また、本開示は、このプログラムがコンピュータ上において実行された際にシーンのオブジェクトを表すデータを有するストリームを生成する方法のステップを実行するためのプログラムコード命令を有するコンピュータプログラムプロダクトにも関する。

また、本開示は、このプログラムがコンピュータ上において実行された際にオブジェクトを表すデータを搬送するストリームからオブジェクトを表すポイントクラウドを取得する方法のステップを実行するためのプログラムコード命令を有するコンピュータプログラムプロダクトにも関する。

また、本開示は、プロセッサが、少なくとも、このプログラムがコンピュータ上において実行された際にシーンのオブジェクトを表すデータを有するストリームを生成する上述の方法を実行するようにする、命令をその内部において保存された状態で有する（非一時的な）プロセッサ可読媒体にも関する。

また、本開示は、プロセッサが、少なくとも、このプログラムがコンピュータ上において実行された際にオブジェクトを表すデータを搬送するストリームからオブジェクトを表すポイントクラウドを取得する上述の方法を実行するようにする、命令をその内部において保存された状態で有する（非一時的な）プロセッサ可読媒体にも関する。

４．図のリスト
以下の添付図面を参照して実施される以下の説明を参照することにより、本開示について更に十分に理解することができる共に、その他の特定の特徴及び利点について明らかとなろう。

本原理の特定の一実施形態による没入型コンテンツを示す。 本原理の特定の一実施形態による、図１の没入型コンテンツの少なくとも一部分を取得するべく、シーンの［或いは、シーンの一部分の］画像を取得するように構成されたライトフィールド取得装置を示す。 本原理の特定の一実施形態による、図１の没入型コンテンツの少なくとも一部分を取得するべく、シーンの［或いは、シーンの一部分の］画像を取得するように構成されたライトフィールド取得装置を示す。 本原理の特定の一実施形態による、図２Ａ及び図２Ｂの取得装置によって取得されたシーンのオブジェクトの一部分の表現を示す。 本原理の特定の一実施形態による、図３のオブジェクトの表現の３Ｄ部分と関連する２Ｄパラメータ化を示す。 本原理の特定の実施形態による、図４の３Ｄ部分と関連するパッチアトラスを示す。 本原理の特定の実施形態による、図４の３Ｄ部分と関連するパッチアトラスを示す。 本原理の非限定的な一実施形態による、図５及び図６のパッチアトラスの生成を示す。 図３のオブジェクトの３Ｄ表現のパーティション化の非限定的な一例を示す。 図３のオブジェクトの３Ｄ表現のパーティション化の非限定的な一例を示す。 図３のオブジェクトの３Ｄ表現のパーティション化の非限定的な一例を示す。 図３のオブジェクトの３Ｄ表現のパーティション化の非限定的な一例を示す。 本原理の一例による、図１２及び／又は図１３の方法を実装するべく構成された装置のアーキテクチャの一例を示す。 本原理の一例による、通信ネットワーク上において通信する図９の２つのリモート装置を示す。 本原理の一例による、図３のオブジェクトの記述を搬送する信号のシンタックスを示す。 本原理の一例による、図３のオブジェクトを記述するデータのストリームを生成する方法を示す。 本原理の一例による、図３のオブジェクトの画像をレンダリングする方法を示す。

５．実施形態の詳細な説明
以下、その全体を通じて同一の参照符号が同一の要素を参照するべく使用されている図面を参照し、主題について説明する。以下の説明においては、説明を目的として、主題の十分な理解を提供するべく、多数の具体的な詳細事項が記述されている。但し、主題の実施形態が、これらの具体的な詳細事項を伴うことなしに、実施されうることは明らかでありうる。

本説明は、本開示の原理を例示している。従って、当業者は、本明細書において明示的に記述又は図示されてはいない、本開示の原理を実施する、様々な構成を考案しうることを理解されたい。

シーンの１つ又は複数のオブジェクトを表すデータのストリームを生成する方法及び／又は生成されたデータストリームからこの／これらのオブジェクトの画像をレンダリングする方法の特定の実施形態を参照し、本原理について説明することとする。シーンのオブジェクトは、判定された視点の範囲に従って、３次元（３Ｄ）ポイントクラウドによって表現される。ポイントクラウドは、例えば、シーンの画像から取得され、それぞれの画像は、判定された視点の範囲内の異なる視点に従って、シーン又はその一部分を表している。３Ｄポイントクラウドは、３Ｄポイントクラウドの１つ又は複数のポイントをそれぞれが有する複数の３Ｄ基本部分にパーティション化される。２次元（２Ｄ）パラメータ化の組が判定され、それぞれの２Ｄパラメータ化は、パラメータの組によってポイントクラウドの１つの３Ｄ部分を表している。それぞれの３Ｄ部分は、それぞれの２Ｄピクセル表現用のいくつかのパラメータを介して、１つ又は複数の２Ｄピクセル表現によって表される。深度マップ（或いは、高さマップとも呼称される）及び色マップ（或いは、テクスチャマップとも呼称される）が、それぞれの３Ｄ部分と関連する２Ｄパラメータ化のパラメータを使用することにより、それぞれの３Ｄ部分について、判定され、且つ、これと関連付けられる。取得された深度マップは、第１のパッチアトラス内において表され（第１のパッチアトラスの１つのパッチが１つの深度マップに対応している）、且つ、取得された色マップは、第２のパッチアトラス内において表される（第２のパッチアトラスの１つのパッチが１つの色マップに対応している）。２Ｄパラメータ化のパラメータ、第１のパッチアトラスを表すデータ、第２のパッチアトラスを表すデータ、並びに、それぞれの２Ｄパラメータ化をそれぞれ第１の及び第２のパッチアトラス内のその関連する深度マップ及び色マップとリンクしているマッピング情報を組み合わせる及び／又はコーディングすることにより、データストリームが生成される。

デコーダ／被レンダリング側においては、２Ｄパラメータ化のパラメータ及び関連する高さ及びテキスチャマップをストリームからデコーディング／抽出することにより、ポイントクラウドを再構築することができると共に、ポイントクラウドから１つ又は複数のオブジェクトの画像をレンダリングすることができる。

テクスチャ及び高さ情報によってオブジェクトを表すための基準として複数の２Ｄパラメータ化を使用することにより、最適な詳細レベルを有する複雑なトポロジーによってオブジェクトを表すことを可能にしつつ、ポイントクラウドによる表現との比較において、オブジェクトを表すのに必要とされるデータの量の低減が可能となる。

図１は、本原理の特定の且つ非限定的な一実施形態による４πステラジアンのビデオコンテンツの非限定的な例示用の形態における没入型コンテンツ１０の一例を示している。図１は、没入型コンテンツ１０の二次元表現に対応している。没入型コンテンツ１０は、例えば、１つ又は複数のカメラによって取得された実際のシーンに、或いは、実際の且つ仮想的なオブジェクトを有する混合された現実のシーンに、対応しており、仮想的オブジェクトは、例えば、３Ｄレンダリングツールを使用することによって合成されている。没入型コンテンツ１０の一部分１１は、例えば、没入型コンテンツを視覚化するように適合された表示装置上に表示される没入型コンテンツの一部分（ビューポートと呼称される）に対応しており、部分１１のサイズは、例えば、表示装置によって提供される視野に等しい。

没入型コンテンツ１０を視覚化するべく使用される表示装置は、ユーザーの頭部上において着用された、或いは、ヘルメットの一部としての、例えば、ＨＭＤ（ヘッドマウント型ディスプレイ）である。ＨＭＤは、有利には、１つ又は複数の表示画面（例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light-Emitting Diode）又はＬＣＯＳ（Liquid Crystal On Silicon））、並びに、例えば、現実世界の１つ、２つ、又は３つの軸（ピッチ、ヨー、及び／又はロール軸）に従って、ジャイロスコープ又はＩＭＵ（Inertial Measurement Unit）などの、ＨＤＭの位置の変化を計測するべく構成されたセンサを有する。ＨＭＤの計測位置に対応する没入型コンテンツ１０の一部分１１は、有利には、現実世界内のＨＭＤと関連する視点と没入型コンテンツ１０と関連する仮想的カメラの視点の間の関係を確立する特定の関数により、判定される。ＨＭＤの計測位置に従ってＨＭＤの表示画面上において表示されるビデオコンテンツの一部分１１を制御することにより、ＨＭＤを着用するユーザーは、ＨＭＤの表示画面と関連する視野よりも大きな没入型コンテンツ内にブラウジングすることが可能となる。例えば、ＨＭＤによって提供される視野が（例えば、ヨー軸を中心として）１１０°に等しく、且つ、没入型コンテンツが１８０°のコンテンツを提供している場合には、ＨＭＤを着用したユーザーは、ＨＭＤによって提供される視野の外側のビデオコンテンツの部分を観察するべく、自身の頭部を右に又は左に回転させることができる。別の例によれば、没入型システムは、ＣＡＶＥ（Cave Automatic Virtual Environment）システムであり、この場合に、没入型コンテンツは、部屋の壁上に投影される。ＣＡＶＥの壁は、例えば、後方投影画面又はフラットパネルディスプレイから構成されている。従って、ユーザーは、自身の注視を部屋の異なる壁上においてブラウジングすることができる。ＣＡＶＥシステムには、有利には、これらの画像のビデオ処理によってユーザーの注視方向を判定するべく、ユーザーの画像を取得するカメラが提供されている。一変形によれば、ユーザーの注視又はポーズは、ユーザーが赤外線センサを着用した状態において、例えば、赤外線追跡システムなどの追跡システムによって判定されている。別の変形によれば、没入型システムは、触覚表示画面を有するタブレットであり、ユーザーは、１つ又は複数の指が触覚表示画面上に摺動する状態においてコンテンツをスクロールすることにより、コンテンツ内にブラウジングしている。

同様に、没入型コンテンツ１０及び一部分１１は、フォアグラウンドオブジェクト及びバックグラウンドオブジェクトを有することもできる。

当然のことながら、没入型コンテンツ１０は、４πステラジアンのビデオコンテンツに限定されるものではなく、視野１１よりも大きなサイズを有する任意のビデオコンテンツ（或いは、オーディオ－ビジュアルコンテンツ）にも拡張される。没入型コンテンツは、例えば、２π、２．５π、３πステラジアンのコンテンツなどであってよい。

図２Ａ及び図２Ｂは、ライトフィールド取得装置の一例を示している。更に詳しくは、図２Ａ及び図２Ｂは、それぞれ、本原理の２つの特定の実施形態によるカメラアレイ２Ａ、２Ｂ（或いは、カメラアレイとも呼称される）を示している。

カメラアレイ２Ａは、いくつかのマイクロレンズ２０１、２０２～２０ｐを有するレンズ又はマイクロレンズのアレイ２０と、１つ又は複数のセンサアレイ２１と、を有しており、この場合に、ｐは、マイクロレンズの数に対応する整数である。カメラアレイ２Ａは、主レンズを含んでいない。レンズのアレイ２０は、小さな装置であってよく、これは、一般に、マイクロレンズアレイと呼称される。単一のセンサを有するカメラアレイは、主レンズが無限焦点距離を有する、プレノプティックカメラの特殊なケースとして見なすことができる。フォトセンサの数がマイクロレンズの数に等しい、即ち、１つのフォトセンサが１つのマイクロレンズと光学的に関連付けられている、特定の一構成によれば、カメラアレイ２０は、例えば、（図２Ａに示されているような）正方形の構成又は５点形構成、或いは、例えば、円筒形表面上における非平坦構成などの、近接するように離隔した複数の個別のカメラ（例えば、マイクロカメラ）の構成として見なすことができる。

カメラアレイ２Ｂは、レンズ及びフォトセンサアレイをそれぞれが有する個々のカメラの装備に対応している。カメラは、例えば、数センチメートル以下、或いは、５、７、又は１０ｃｍに等しい距離だけ、離隔している。

このようなカメラアレイ２Ａ又は２Ｂによって取得された（所謂ライトフィールド画像を形成する）ライトフィールドデータは、レンズレットアレイとフォトセンサアレイの間の距離がマイクロレンズの焦点距離に等しいプレノプティックカメラに対応しているタイプ１．０の、或いは、さもなければ、（合焦型プレノプティックカメラとも呼称される）タイプ２．０の、プレノプティックカメラなどの、プレノプティックカメラによって取得された未加工の画像を逆多重化又は逆モザイク化することによって取得することができるシーンの複数のビューに、即ち、最終的なビューに、対応している。カメラアレイ２Ｂのカメラは、任意の既知の方法に従って較正されており、即ち、カメラの内在的な且つ外来的なパラメータが既知である。

ライトフィールド取得装置によって取得された異なるビューにより、例えば、ディスパリティに基づいて深度を演算しうるアルゴリズムを使用して没入型コンテンツ又は没入型コンテンツの少なくとも一部分を取得することが可能となる。当然のことながら、没入型コンテンツは、例えば、（MicrosoftのKinectなどの赤外線エミッタ／レシーバ又はレーザーエミッタなどの）深度センサと関連するカメラなどの、ライトフィールド取得装置とは異なる取得装置により、取得することもできる。

図３は、没入型コンテンツによって表されるシーンの、オブジェクト又はその一部分の、２つの異なる表現を示している。図３の例によれば、オブジェクトは、例えば、シーン内において運動する、人物であり、且つ、図３には、頭部に対応するオブジェクトの一部分が示されている。

オブジェクトの一部分の第１の表現３０は、ポイントクラウドである。ポイントクラウドは、例えば、オブジェクトの外部表面又は外部形状などの、オブジェクトを表すポイントの大きな集合体に対応している。ポイントクラウドは、ベクトルに基づいた構造として見なされてもよく、この場合に、それぞれのポイントは、その座標（例えば、３次元座標ＸＹＺ、又は所与の視点からの深度／距離）と、成分とも呼称される、１つ又は複数の属性と、を有する。成分の一例は、例えば、ＲＧＢ（Red、Green、及びBlue）又はＹＵＶ（Ｙは、ルマ成分であり、且つ、ＵＶは、２つのクロミナンス成分である）などの、異なる色空間において表現されうる色成分である。ポイントクラウドは、所与の視点又は視点の範囲から観察されるオブジェクトの表現である。ポイントクラウドは、例えば、
・任意選択により、深度能動型検知装置によって補完された、図２のカメラアレイとしての、カメラの装備によって撮影された現実のオブジェクトのキャプチャから、
・モデル化ツール内の仮想カメラの装備によって撮影された仮想／合成オブジェクトのキャプチャから、
・現実の且つ仮想的なオブジェクトの両方の混合物から、
などの様々な方法により、取得することができる。

第１のケース（現実のオブジェクトのキャプチャから）においては、カメラの組は、異なるビュー（異なる視点）に対応する画像の組又は画像（ビデオ）のシーケンスを生成している。深度情報―それぞれのカメラの中心からオブジェクトの表面までの距離を意味している―は、例えば、赤外線範囲内においては、能動型深度検知装置により、且つ、構造化光分析又は飛行時間に基づいて、或いは、ディスパリティアルゴリズムに基づいて、取得される。いずれのケースにおいても、すべてのカメラは、内在的に且つ外来的に、較正する必要がある。ディスパリティアルゴリズムは、通常は、１次元のラインに沿って実施される、調整済みのカメラ画像のペア上における類似の視覚的特徴のサーチを有しており、ピクセルのカラム差が大きいほど、この特徴の表面は接近する。カメラアレイのケースにおいては、グローバルな深度情報は、複数のカメラペアの利益を享受することにより、複数のピアディスパリティ情報を組み合わせることから取得され、これにより、信号対ノイズ比を改善することができる。

第２のケース（合成オブジェクト）においては、モデル化ツールが、深度情報を直接的に提供している。

オブジェクトの一部分の第２の表現３１が、ポイントクラウド表現３０から取得されてもよく、第２の表現は、表面表現に対応している。その表面を演算するべく、ポイントクラウドを処理することができる。これを目的として、ポイントクラウドの所与のポイントについて、この所与のポイントにおける局所的表面に対する法線を演算するべく、この所与のポイントの隣接するポイントが使用され、この所与のポイントと関連する表面要素は、法線から導出される。このプロセスは、表面を取得するべく、すべてのポイントについて反復される。ポイントクラウドから表面を再構築する方法については、例えば、「“State of the Art in Surface Reconstruction from Point Clouds”, State of the Art Report, 2014」において、Matthew Berger他によって記述されている。一変形によれば、ポイントクラウドの所与のポイントと関連する表面要素は、この所与のポイントにスプラットレンダリングを適用することにより、取得されている。オブジェクトの表面（オブジェクトの陰関数表面又は外部表面とも呼称される）は、ポイントクラウドのポイントと関連するすべてのスプラット（例えば、楕円）をブレンディングすることにより、取得される。

特定の一実施形態においては、ポイントクラウドは、オブジェクトの全体ではなく、オブジェクトの部分的なビューのみを表しており、且つ、これは、例えば、映画のシーンにおけるものなどのように、オブジェクトがレンダリング側において観察されると想定される方式に対応している。例えば、フラットなカメラアレイに対向するキャラクタの撮影は、装備のこの側においてのみ、ポイントクラウドを生成する。キャラクタの背面は、存在さえもせず、オブジェクトは、それ自体で閉じておらず、且つ、従って、このオブジェクトの幾何学的特性は、装備の方向において方向付けされたすべての表面の組である（それぞれの局所的表面の法線と取得装置に戻る光線の間の角度は、例えば、９０°未満である）。

図４は、本原理の特定の一実施形態による、カメラ４００１、４００２、４００３、及び４００４によって取得されたシーンのオブジェクトの表現４０の３Ｄ部分と関連する２Ｄパラメータ化４１、４２、及び４３を示している。カメラ４００１～４００４は、例えば、図２Ｂの装備のカメラのいくつかに対応している。オブジェクトは、図３の例３１におけるように、その表面４０によって表されているが、図３の例３０におけるように、ポイントクラウド自体によって表することもできる。それぞれの２Ｄパラメータ化は、オブジェクトの表現の３Ｄ部分と関連付けられており、それぞれの３Ｄ部分は、ポイントクラウドの１つ又は複数のポイントを有する容積に対応している。それぞれの２Ｄパラメータ化は、前記それぞれの２Ｄパラメータ化と関連する３Ｄ部分内に含まれているポイントクラウドの（取得装置の視点の範囲によって生成される）最大数のポイントをブラウジングするような方式によって取得装置のポーズ情報を考慮することにより、判定される。２Ｄパラメータ化が、関連する３Ｄ部分のポイントの線形透視投影によって取得される際には、判定された視点は、それぞれの２Ｄパラメータ化と関連付けられ、それぞれの視点は、シーンを取得するべく使用された視点の範囲に対応する視点の範囲内に含まれている。２Ｄパラメータ化４１は、視点４０１と関連付けられており、２Ｄパラメータ化４２は、視点４０２と関連付けられており、且つ、２Ｄパラメータ化４３は、視点４０３と関連付けられている。図４において観察されうるように、視点４０１～４０３のポイントのそれぞれは、取得装置の視点の範囲のそれぞれ左限界４００１及び右限界４００４に対応する視点４００１及び４００２の間に配置されている。ポイントクラウドは、限定された且つ判定された視点の範囲から取得され、且つ、ポイントクラウドの３Ｄ部分の２Ｄ表現（即ち、２Ｄパラメータ化）は、すべて、ポイントクラウドを取得するべく使用された視点の限定された且つ判定された範囲内に配置された視点から観察されている。それぞれの２Ｄパラメータ化は、それが関連付けられているポイントクラウドの３Ｄ部分の２Ｄ表現である。同一の３Ｄ部分が、例えば、２個、３個、又はこれよりも大きな数の２Ｄパラメータ化などの、１つ又は複数の２Ｄパラメータ化によって表されてもよい。上述のように、ポイントクラウドの１つの所与の３Ｄ部分と関連する２Ｄパラメータ化は、ポイントクラウドの所与の３Ｄ部分の２つの次元におけるブラウジングに対応しており、これにより、所与の３Ｄ部分のサンプリングが許容され、即ち、この所与の３Ｄ部分のコンテンツ（即ち、ポイント）の２Ｄ表現は、複数のサンプルを有しており、その数は、適用されるサンプリングステップに依存している。２Ｄパラメータ化は、例えば、
－視点と関連するプレーン上へのポイントクラウドの３Ｄ部分のポイントの線形透視投影であり、線形透視投影を表すパラメータは、仮想的カメラの場所、空間的サンプリングステップ、及び２つの次元における視野を有する、
－表面上へのポイントクラウドの３Ｄ部分のポイントの正投影であり、正投影を表すパラメータは、投影表面のジオメトリ（形状、サイズ、及び向き）及び空間的サンプリングステップを有する、
－ここでは、３Ｄから２Ｄへの変換／変形に適用されている、次元低減の数学演算に対応するＬＬＥ（Locally-Linear Embedding）であり、ＬＬＥを表すパラメータは、変換係数を有する、
という方法のいずれか１つを実装することにより、様々な方法によって取得することができる。

２Ｄパラメータ化４１、４２、及び４３は、限られた数のパラメータによって表すことができると共に、例えば、１つ又は複数のパラメトリック方程式によって定義することができる。ポイントクラウドの所与の３Ｄ部分と関連する２Ｄパラメータ化は、所与の３Ｄ部分の幾何学的特性（例えば、所与の３Ｄ部分の極値ポイント及び／又は３Ｄ部分内において配置されたポイントから得られる所与の３Ｄ部分内に含まれているオブジェクトの部分の外部表面の要素と関連する法線情報）及び（例えば、２Ｄパラメータ化を方向付けるための）取得装置のポーズ情報を考慮することにより、判定される。３Ｄ部分の幾何学的特性及びポーズ情報を考慮することにより、３Ｄ部分に対向している空間内において配置されている２Ｄパラメータ化、即ち、取得装置とポイントクラウドとの間に配置されている２Ｄパラメータ化、を取得することが可能となる。

図４において観察されうるように、２Ｄパラメータ化４１、４２、及び４３は、互いにオーバーラップしていてもよく、このオーバーラップは、例えば、２Ｄパラメータ化が関連している３Ｄ部分のオーバーラップに起因したものである。

３Ｄ部分を取得するべく、ポイントクラウドを異なる方法に従ってパーティション化することができる。例えば、ポイントクラウドは、図８Ａ～図８Ｄの例に従ってパーティション化することができる。図８Ａの非限定的な例によれば、ポイントクラウドによって占有されている３Ｄ空間８１（例えば、半球体）は、球面座標（ｒ，θ，φ）に従って、即ち、半球体の半径に対応する距離「ｒ」及び角度「θ」及び「φ」に従って、パーティション化されており、それぞれの次元「ｒ」、「θ」、及び「φ」が、均等にパーティション化されている。一変形によれば、次元「ｒ」、「θ」、及び「φ」のうちの１つ又は複数は、変化してもよく、例えば、３Ｄ部分の深度が、次元「ｒ」に伴って変化しうる。一変形によれば、それぞれの３Ｄ部分のサイズは、ポイントクラウドのポイントを３Ｄ部分内に均一に分散させるように、判定されており、３Ｄポイントのサイズは、ポイントクラウドによって占有されている空間の異なるエリア内のポイントの局所的密度に依存している。図８Ｂの例においては、ポイントクラウドによって占有されている３Ｄ空間８２（例えば、半球体）は、千鳥状の方式により、球面座標（ｒ，θ，φ）に従ってパーティション化されている。図８Ａ及び図８Ｂの例においては、３Ｄ部分は、ビューカメラの錐台容積として見なすことができる。図８Ｃの非限定的な例によれば、ポイントクラウドによって占有されている３Ｄ空間８３（例えば、ポイントクラウドの境界を定めるボックスに対応した平行六面体）は、デカルト座標（ｘ，ｙ，ｚ）に従って、即ち、３Ｄデカルト基準フレームの３つ次元に従って、パーティション化されている。それぞれの３Ｄ部分は、立方体の、或いは、矩形の平行六面体の、形態を有することができる。例えば、ポイントをすべての３Ｄ部分内に均一に分散させるべく、それぞれの３Ｄ部分は、同一のサイズを有していてもよく、或いは、３Ｄ部分は、異なるサイズを有していてもよい。図８Ｄは、平行六面体が、ポイントクラウドによって占有されている３Ｄ空間８４内において千鳥状の方式によって分散している、図８Ｃのパーティション化の一変形を示している。図８Ａ、図８Ｂ、図８Ｃ、及び図８Ｄには示されていない場合にも、ポイントクラウドのパーティション化の結果として得られる３Ｄ部分は、部分的に互いにオーバーラップしていてもよく、これは、ポイントクラウドの空間のいくつかの部分がいくつかの３Ｄ部分に属しうることを意味している。ポイントクラウドのパーティション化は、固定されたものであってもよく、或いは、時間に伴って変化することもできる。例えば、ポイントクラウドのパーティション化は、ＧＯＰ（Group Of Picture）の間において変化することができる。ＭＰＥＧ－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）の文脈において適用される際には、パーティション化は、セグメントの間において変化してもよく、且つ、ＩＳＯＢＭＦＦ規格の枠組みにおいては、このセグメントは、ＩＳＯＢＭＦＦセグメントであってよい。

図５は、本原理の非限定的な例による、フレームｉ、並びに、時間的にフレームｉの後に配置されたフレームｊ、における、ポイントクラウドの３Ｄ部分との間における深度マップ及び色マップの関連付けを示している。オブジェクト５を表す３Ｄポイントクラウド（図５の例における人物）は、グレーのシェードで示されている。オブジェクト５のパーティション化５１は、図８Ａの例、即ち、球面座標によるパーティション化、に対応しており、隣接する３Ｄ部分の間の部分的なオーバーラップを伴っている。わかりやすさを目的として、ポイントクラウド及びそのパーティション化は、θ及びφのみに従って、２Ｄにおいて表されている。パーティション化から結果的に得られる３Ｄ部分は、マトリックス方式において配列された正方形５１００、５１１０、５１ｍｎによって示されており、この場合に、「ｍ」は、行インデックスに対応し、且つ、「ｎ」」は、列インデックスに対応している。例えば、参照符号５１００は、インデックス「０」を有する行に、且つ、インデックス「１」を有する列に、属する正方形を指し示しており、且つ、参照符号数５１１０は、インデックス「１」を有する行に、且つ、インデックス「０」を有する列に、属する正方形を指し示している。１つの深度マップは、ポイントクラウド５のそれぞれの３Ｄ部分と関連付けられている。同じ方式により、１つの色マップも、ポイントクラウド５のそれぞれの３Ｄ部分と関連付けられている。

例えば、３Ｄ部分５１１０などの、所与の３Ｄ部分と関連する深度マップは、所与の３Ｄ部分５１１０と関連する２Ｄパラメータ化のパラメータを使用することにより、取得され、且つ、深度マップ５３２０は、３Ｄ部分５３２０と関連する２Ｄパラメータ化のパラメータを使用することにより、取得される。例えば、２Ｄパラメータ化が、線形透視投影に対応している際には、２Ｄパラメータ化を表すパラメータは、視点の場所（例えば、３Ｄ部分内に含まれているポイントクラウドのポイントと関連する法線から取得することができる）（即ち、仮想的カメラの場所）及び水平方向及び垂直方向の視野である。深度マップ内において保存される深度情報は、例えば、（線形透視投影のケースにおいて）ワールドスペース内のポイントの座標及び視点の座標を知ることにより、線形透視のケースにおける視点又は正投影のケースにおける投影表面に対する垂線から始まり、且つ、３Ｄ部分内に含まれているポイントクラウドのポイントにおいて終わる、光線に沿った、線形透視のケースにおける仮想的カメラの場所又は正投影のケースにおける２Ｄ投影表面と３Ｄ部分内に含まれているポイントクラウドのポイントの間の距離に対応しうる。オブジェクトが、ポイントクラウドのポイントから得られるその陰関数表面によって表されている際には、深度マップ内において保存される距離は、一方においては、光線と２Ｄパラメータ化表面の間の交差点と、他方においては、光線と陰関数表面の間の交差点との間の距離に対応している。深度情報の数は、サンプリングステップサイズに依存する２Ｄパラメータ化表面の分解能に依存しうる。深度マップは、例えば、スプラットレンダリング技法を適用することにより、取得され、即ち、ポイントと関連する深度値は、このポイントと関連する２Ｄパラメータ化表面のサンプル（このサンプルは、例えば、線形透視投影、正投影、又はＬＬＥなどの、使用される２Ｄパラメータ化のタイプに依存している）に、且つ、交差したサンプルの近傍に配置されているサンプル（これらのサンプルは、スプラットを形成している）に、割り当てられる。一変形によれば、深度マップは、光線追跡技法を適用することにより、即ち、２Ｄパラメータ化表面のサンプルから光線を発射することにより、且つ、この所与のサンプルから発射された光線が交差するポイント（或いは、光線に最も近接したポイント）と関連する深度値に対応する深度値を所与のサンプルに割り当てることにより、取得される。

深度情報のコーディングは、第１のパッチアトラス５３内において、深度マップの間において変化することができる。例えば、所与の深度マップ用の深度情報のコーディングは、所与の深度マップと関連する３Ｄ部分用の深度値の範囲に対して、及び／又は、３Ｄ部分内に含まれているポイントの数に対して、適合させることができる。例えば、３Ｄ部分について演算された最小深度値及び最大深度値に応じて、対応する深度マップ内の深度情報のコーディングは、これらの最小及び最大値の間の差に対して適合するように、判定される。差が小さい場合には、深度情報は、例えば、８又は１０ビット上において、コーディングされてもよく、且つ、差が大きい場合には、深度情報は、例えば、１２個、１４個、又はこれらよりも大きな数のビット上において、コーディングされてもよい。深度マップの間においてコーディングを変化させることにより、ビットレートコーディングを最適化することが可能となる。一変形によれば、深度情報は、それぞれの３Ｄマップごとに、最小及び最大深度値の間の差とは無関係に、但し、最小及び最大値を考慮することにより、同一のビット深度（例えば、８、１０、１２、又は１４ビット）において、コーディングされている。このような変形によれば、差が小さい際に、定量化ステップを減少させることが可能となり、その結果、深度情報のコーディングと関連する定量化ノイズを減少させることが可能となる。

同様の方式により、所与の３Ｄ部分と関連する色マップも、所与の３Ｄ部分と関連する２Ｄパラメータ化のパラメータを使用することにより、取得される。所与の３Ｄ部分内に含まれているポイントクラウドのポイントから取得された色情報又は視点から投影された光線が交差するオブジェクトの陰関数表面から取得された色情報は、色マップを形成するべく、２Ｄパラメータ化表面のサンプルと関連付けられる。深度マップと同様に、色マップは、例えば、スプラットレンダリング技法を適用することにより、取得され、即ち、ポイントと関連する色値は、このポイントと関連する２Ｄパラメータ化表面のサンプル（このサンプルは、例えば、線形透視投影、正投影、又はＬＬＥなどの、使用されている２Ｄパラメータ化のタイプに依存している）に、且つ、交差したサンプルの近傍に配置されているサンプル（これらのサンプルは、スプラットを形成している）にも、割り当てられる。一変形によれば、色マップは、光線追跡技法を適用することにより、即ち、２Ｄパラメータ化表面のサンプルから光線を発射することにより、且つ、この所与のサンプルから発射された光線が交差するポイント（或いは、光線に最も近接したポイント）と関連する色値に対応する色値を所与のサンプルに割り当てることにより、取得される。深度情報と同様に、所与の色マップ用の色情報のコーディングは、所与の色マップと関連する３Ｄ部分用の色値の範囲に対して、及び／又は、３Ｄ部分内に含まれているポイントの数に対して、適合させることができる。例えば、３Ｄ部分について演算された最小色値及び最大色値に応じて、対応する色マップ内の色情報のコーディングは、これらの最小及び最大値の間の差に対して適合するように、判定される。差が小さい場合には、色情報は、例えば、８又は１０ビット上において、コーディングされてもよく、且つ、差が大きい場合には、色情報は、例えば、１２個、１４個、又はこれらを上回る数のビット上において、コーディングすることができる。色マップの間においてコーディングを変化させることにより、ビットレートコーディングを最適化することが可能となる。一変形によれば、色情報は、最小及び最大色値の間の差とは無関係により、但し、最小及び最大値を考慮することにより、それぞれの色マップごとに、同一のビット深度（例えば、８、１０、１２、又は１４ビット）において、コーディングされている。このような変形によれば、差が小さい際には、定量化ステップを減少させることが可能となり、その結果、ポイントクラウドによって表されるオブジェクトのＨＤＲ（High Dynamic Range）表現を取得するべく使用されうる、相対的に大きな色のダイナミックレンジ又は相対的に大きなルミナンスレンジが可能となる。

取得された深度マップの組は、例えば、行及び列を有するマトリックスの方式などの、判定された又はランダムな配列に従って、第１のパッチアトラス５３内において配列され、この場合に、第１のパッチアトラス５３の１つのパッチは、１つの深度マップに対応している。例えば、パッチ５３１は、３Ｄ部分５１１０と関連する深度マップである。

同一の方式により、取得された色マップの組も、例えば、第１のパッチアトラス５３内の深度マップと同一の配列に従って、第２のパッチアトラス５４内において配列される。

２Ｄパラメータ化とそれぞれ第１及び第２のパッチアトラス内の関連する深度マップ及び色マップの間の接続を維持するべく、第１のマッピング情報を生成することができる。第１のマッピング情報は、例えば、
｛２Ｄパラメータ化のパラメータ；深度マップＩＤ；色マップＩＤ｝
という形態を有していてもよく、この場合に、深度マップＩＤは、第１のパッチアトラスのパッチのマトリックス内の、深度マップが属する、列インデックスＵ及び行インデックスＶを有する整数値又は値のペアであってよく、色マップＩＤは、第２のパッチアトラスのパッチのマトリックス内の、色マップが属する、列インデックスＵ’及び行インデックスＶ’を有する整数値又は値のペアであってよい。

深度マップ及び色マップが、第１のパッチアトラス及び第２のパッチアトラス内において同一の配列に従って配列される際には、深度マップＩＤ及び色マップＩＤは、同一であり、且つ、第１のマッピング情報は、例えば、
｛２Ｄパラメータ化のパラメータ；深度及び色マップＩＤ｝
という形態を有していてもよく、この場合に、「深度及び色マップＩＤ」は、深度及び色マップの両方と関連する同一の整数を介して、或いは、それぞれ第１のパッチアトラス及び第２のパッチアトラス内の、深度及び色マップが属する、列インデックスＵ及び行インデックスＶの値のペアを介して、第１のパッチアトラス内の深度マップ及び第２のマップトラス内の色マップの両方を識別している。

それぞれの２Ｄパラメータ化及び関連する深度及び色マップごとに、同一のマッピング情報が生成される。このような第１のマッピング情報により、対応する深度及び色マップとの２Ｄパラメータ化の関連付けを確立することによるポイントクラウドの再構築が可能となる。２Ｄパラメータ化が投影である場合には、ポイントクラウドは、関連する深度マップ内に含まれている深度情報及び関連する色マップ内の色情報を逆投影する（インバース投影を実行する）ことにより、再構築することができる。この結果、第１のマッピング情報は、マッピング情報のリストに対応しており、
｛２Ｄパラメータ化のパラメータ；深度及び色マップＩＤ｝ｉ
ここで、ｉ＝１～ｎであり、ｎは、２Ｄパラメータ化の数である。

第１のパッチアトラス５３及び第２のパッチアトラスは、同一の分解能を有する、即ち、Ｋ列及びＬ行を有するマトリックス方式で配列された同一の数のピクセルを有する、画像として見なされてもよく、この場合に、Ｋ及びＬは、整数である。（第１のパッチアトラス５３用の深度マップ又は第２のパッチアトラス５４用の色マップに対応している）それぞれのパッチは、第１のパッチアトラス５３又は第２のパッチアトラスを表す画像のピクセルのサブセットを有する。

任意選択の一変形によれば、第２のマッピング情報が、第１のパッチアトラス５３又は第２のパッチアトラス５４を表す画像のピクセルと関連付けられてもよく、第２のマッピング情報は、有利には、第１のパッチアトラス５３を表す画像及び第２のパッチアトラス５４を表す画像に共通しており、分解能は、両方の画像について同一であり、且つ、同一の２Ｄパラメータ化を参照しているパッチは、第１及び第２のパッチアトラスの両方において同一の配列に従って組織化されている。第２のマッピング情報は、第１のパッチアトラス（或いは、第２のパッチアトラス）を表す画像のそれぞれのピクセル又はピクセルのそれぞれのグループが参照している又は関連付けられている２Ｄパラメータ化を通知している。この目的を実現するべく、識別情報（例えば、それぞれの２Ｄパラメータ化ごとに異なる整数値）が、それぞれの２Ｄパラメータ化と関連付けられている。第２のマッピング情報は、例えば、行及び列において配列されたセルのマップの形態を有していてもよく、それぞれのセルは、画像のピクセル又はピクセルのグループに対応しており、且つ、対応する２Ｄパラメータ化の識別情報を有する。別の例によれば、第２のマッピング情報は、第１／第２のパッチアトラスを表す画像のそれぞれのピクセル又はピクセルのそれぞれのグループごとに、例えば、
｛３Ｄ部分の識別；ピクセル又はピクセルのグループの識別｝
という形態の、リストに対応している。第２のマッピング情報よれば、画像のそれぞれのピクセルごとに生じることになる、それぞれの３Ｄ部分と関連する識別情報の取得を容易化することにより、デコーダ／被レンダリング側における情報のデコーディングを加速させることが可能となる。デコーダの通常の実装形態は、リストのブラウジングを回避しなければならないＧＰＵ（Graphical Processing Unit）上における画像のそれぞれのピクセルごとのこの取得の並行的な実装を必要としている。この任意選択の変形によれば、この第２のマッピング情報は、色及び深度画像よりも低い分解能を通常は有する画像であり、この場合に、それぞれのピクセルは、ピクセル／ポイントが属するそれぞれの３Ｄ部分と関連する識別情報を直接的に付与している。

オブジェクト５のパーティション化は、例えば、ＧＯＰとその他の後続のＧＯＰの間などのように時間に伴って、或いは、オブジェクト５のトポロジーが変化した際に、或いは、ｑ個のフレームごとに、変化してもよく、この場合に、ｑは、１以上の整数である。このようなパーティション化の変動は、フレームｊを伴って、図５に示されている。フレームｊにおけるオブジェクト５のパーティション化５２は、フレームｉにおける同一のオブジェクト５のパーティション化５１と異なっている。図５の例においては、フレームｊにおけるオブジェクト５のトポロジーは、フレームｉにおけるオブジェクト５のトポロジーと異なっている。フレームｊは、例えば、フレームｉを有するＧＯＰに時間的に後続するＧＯＰに属しうる。３Ｄ部分に関連し、２Ｄパラメータ化に対応する深度マップを有する第１のパッチアトラス５５は、フレームｉとの関係において記述されているように、パーティション化の結果として、且つ、３Ｄ部分内に含まれているポイントのジオメトリを表すデータ（例えば、座標）の結果として、得られる３Ｄ部分と関連する２Ｄパラメータ化を表すパラメータを使用することにより、取得される。パーティション化５２の結果として得られる３Ｄ部分の数は、パーティション化５１の結果として得られる３Ｄ部分の数未満であることから、第１のパッチアトラス５５内の深度マップの数は、第１のパッチアトラス５３内に含まれている深度マップの数を下回っている。同一の方式により、３Ｄ部分に関連し、２Ｄパラメータ化に対応する色マップを有する第２のパッチアトラス５６も、フレームｉとの関連において記述されているように、パーティション化５２の結果として、且つ、３Ｄ部分内に含まれているポイントのジオメトリ（例えば、座標）を表すデータの結果として、得られる３Ｄ部分と関連する２Ｄパラメータ化を表すパラメータを使用することにより、取得される。パーティション化５２の結果として得られる３Ｄ部分の数は、パーティション化５１の結果として得られる３Ｄ部分の数未満であることから、第２のパッチアトラス５６内の色マップの数は、第２のパッチアトラス５４内に含まれている深度マップの数を下回っている。

図６は、オブジェクト５を表すポイントクラウドの３Ｄ部分と関連する第１又は第２のパッチアトラスの更なる非限定的な例を示している。図６は、例えば、図５のパーティション化５１に対応するポイントクラウドの第１のパーティション化６１と、同一のポイントクラウドの第２のパーティション化６２と、を示している。第１のパッチアトラス６３が、第１のパーティション化６１から生成され、第１のパッチアトラス６３は、パーティション化６１から結果的に得られる３Ｄ部分と関連する２Ｄパラメータ化から得られた深度マップを有する。第２のパッチアトラス６４が、第１のパーティション化６１から生成され、第２のパッチアトラス６４は、パーティション化６１から結果的に得られる３Ｄ部分と関連する２Ｄパラメータ化から得られる色マップを有する。

第２のパーティション化６２は、第１のパーティション化６１の３Ｄ部分のいくつかが、第２のパーティション化６２の単一の３Ｄ部分内にグループ化されている、という意味において、第１のパーティション化６１とは異なっている。例えば、人物の胴体を表す第１のパーティション化６１の６個の３Ｄ部分が、第２のパーティション化６２内の１つの３Ｄ部分６２２を形成するべく、グループ化されている。同一の方式により、人物の肩及び腕の部分を表す第１のパーティション化６１の４個の３Ｄ部分が、第２のパーティション化６２内の１つの３Ｄ部分６２１を形成するべく、グループ化されている。これらの３Ｄ部分は、例えば、３Ｄ部分内に含まれているポイントクラウドのポイントと関連する幾何学的特性に従ってグループ化されている。例えば、３Ｄ部分は、これらの３Ｄ部分のそれぞれ内に含まれているポイントから得られる陰関数表面が、例えば、互いに近接した法線及び／又は互いに近接した関連する深度値の範囲などの、類似のトポロジーを有している際に、１つにグループ化することができる。

第１のパッチアトラス６５が、第１のパーティション化６２から生成されており、第１のパッチアトラス６５は、第２のパーティション化６２の結果として得られる３Ｄ部分と関連する２Ｄパラメータ化から得られた深度マップを有する。図６に示されているように、第１のパッチアトラス６５内の深度マップの形状及び数は、第１のパッチアトラス６３内の深度マップの形状及び数とは異なっている。３Ｄ部分６２１、６２２の２Ｄパラメータ化と関連する深度マップ６５１、６５２のいくつかは、第１のパッチアトラス６３内の対応する深度マップとの比較において、サイズが異なっている。同一の方式により、第２のパッチアトラス６６も、第２のパーティション化６２から生成され、第２のパッチアトラス６６は、第２のパーティション化６２の結果として得られる３Ｄ部分と関連する２Ｄパラメータ化から得られる色マップを有する。第２のパッチアトラス６６内の色マップの数は、第１のパーティション化６２を取得するための第１のパーティション化６１の３Ｄ部分のグループ化の後に、第２のパッチアトラス６４内の色マップの数を下回っている。このグループ化により、パッチの数と、従って、鋭い境界及び高空間周波数情報の数、の低減が可能となる。これを低減することにより、色及び深度マップの圧縮ビットレートが低下する。

図７は、本原理の非限定的な例による、オブジェクト５を表すポイントクラウドの３Ｄ部分からの第１及び第２のパッチアトラスの生成を示している。

オブジェクト５を表すポイントクラウドが、例えば、５０個、１００個、１０００個、或いは、更に大きな数の３Ｄ部分などの、複数の３Ｄ部分にパーティション化されており、図７には、これらのうちの３つのみ、即ち、３Ｄ部分７１、７２、及び７３、が示されており、３Ｄ部分７１は、人物の頭部の部分を表すポイントクラウドのポイントを有し、３Ｄ部分７２は、人物の腋窩を表すポイントクラウドのポイントを有し、且つ、３Ｄ部分７３は、人物の手を表すポイントクラウドのポイントを有する。それぞれの３Ｄ部分の、或いは、３Ｄ部分の一部分の、１つ又は複数の２Ｄパラメータ化が、２つの次元においてそれぞれの３Ｄ部分を表すように、生成されている。例えば、２Ｄパラメータ化７０１が、３Ｄ部分７１について取得され、２Ｄパラメータ化７０２が、３Ｄ部分７２について取得され、且つ、２つの異なる２Ｄパラメータ化７０３及び７０４が、３Ｄ部分７３について取得されている。２Ｄパラメータ化は、３Ｄ部分の間において変化してもよい。例えば、３Ｄ部分７１と関連する２Ｄパラメータ化７０１は、線形透視投影である一方で、３Ｄ部分７２と関連する２Ｄパラメータ化７０２は、ＬＬＥであり、且つ、３Ｄ部分７３と関連する２Ｄパラメータ化７０３及び７０４は、両方とも、異なる視点による正投影である。２Ｄパラメータ化を取得するべく使用されるすべての視点は、オブジェクト５の画像を取得するべく、且つ、関連するポイントクラウドを取得するべく、使用される取得装置の視点の範囲内に配置されるように、選択されている。一変形によれば、すべての３Ｄ部分と関連するすべての２Ｄパラメータ化は、例えば、線形透視投影又は正投影などの、同一のタイプを有する。一変形によれば、異なる２Ｄパラメータ化が、同一の３Ｄ部分について使用されてもよい。取得された２Ｄパラメータ化と関連する深度マップを収集した第１のパッチアトラス７４が、図５及び図６との関連において説明されているように、生成される。第１のパッチアトラスは、その他の深度マップに加えて、２Ｄパラメータ化７０１と関連する深度マップ７４１、２Ｄパラメータ化７０２と関連する深度マップ７４２、２Ｄパラメータ化７０３と関連する深度マップ７４３、及び２Ｄパラメータ化７０４と関連する深度マップ７４４を有する。取得された２Ｄパラメータ化と関連する色マップを収集した第２のパッチアトラス７５が、図５及び図６との関連において説明されているように、生成される。

それぞれの３Ｄ部分用の２Ｄパラメータ化の選択肢は、例えば、第１及び第２のパッチアトラス内のマップの数を低減するべく、及び／又は、３Ｄから２Ｄ変換プロセスにおいて失われることになる３Ｄ部分のポイントを極小化するべく、例えば、最適化プロセスに基づいている。

それぞれの深度又は色マップは、有利には、第１のパッチアトラス及び第２のパッチアトラスに対するパッキングプロセスを容易化するように、矩形の形状を有する。

それぞれ第１のパッチアトラス及び第２のパッチアトラス内の深度マップ及び色マップは、鋭い視覚的境界において発生する圧縮アーチファクトを除去するべくデコーダ側において破棄される境界によって分離されることになる。例えば、深度／色マップの幅及び高さなどの、ポイントクラウドの再生成のためにデコーダ側において深度及び色マップについて取得するべき正確な情報の部分は、例えば、線形透過又は正投影のケースにおけるピクセルにおいて表現された投影表面の２つの次元におけるスパンを付与するパラメータのような、２Ｄパラメータ化パラメータのいくつかにより、提供される。

一変形によれば、第１のパッチアトラス及び第２のパッチアトラスは、単一のパッチアトラスを形成しており、マッピング情報は、同一の３Ｄ部分と関連する深度マップ及び色マップの取得を可能にする情報を有する。

図１２は、本原理の非限定的な一実施形態による、例えば、（図９との関連において記述されている）装置９において実装されるシーンのオブジェクトを表すデータを有するストリームを生成する方法を示している。

ステップ１２００において、装置９の様々なパラメータが更新されている。具体的には、オブジェクトの表現と関連するデータが、任意の方式により、初期化されている。

動作１２０１において、視点の範囲から観察されるオブジェクトを表す３Ｄポイントクラウドが、例えば、５個、１０個、５０個、１００個、１０００個、又はこれらよりも多くの数の３Ｄ部分などの、複数の３Ｄ部分に、パーティション化されており、これらのそれぞれは、３Ｄポイントクラウドの１つ又は複数のポイントを有する。オブジェクト（或いは、オブジェクトの一部分）を表す３Ｄポイントクラウドのポイントと関連するデータが、取得されており、即ち、例えば、（例えば、インターネット又はローカルエリアネットワークなどのネットワークを介して）装置９のローカルメモリ又はサーバーなどのリモートストレージ装置などのメモリ装置から、受け取られている。別の例によれば、データは、オブジェクトを有するシーンの１つ又は複数のビューを取得するべく使用される１つ又は複数の取得装置から、受け取られている。データは、例えば、色情報（或いは、テキスチャ情報）と、距離情報（例えば、考慮対象のポイントと考慮対象のポイントと関連する視点、即ち、考慮対象のポイントを取得するべく使用される取得装置の視点、の間の距離に対応した深度又は高さ）と、を有する。

動作１２０２において、深度マップの集合体を有する第１のパッチアトラスが、３Ｄポイントクラウドの１つの３Ｄ部分とそれぞれが関連している２Ｄパラメータ化を表すパラメータから、且つ、２Ｄパラメータ化が関連している３Ｄ部分内に含まれているポイントと関連する幾何学的情報から、判定されている。それぞれの深度マップは、第１のパッチアトラスのパッチに対応しており、且つ、ポイントクラウドの１つの３Ｄ部分の１つの２Ｄパラメータ化と関連している。３Ｄ部分と関連する２Ｄパラメータ化は、前記３Ｄ部分内に含まれているポイントと関連する幾何学的データから取得された３Ｄ陰関数表面の２Ｄピクセル／サンプル表現であり、オブジェクトの空間内の２Ｄパラメータ化の場所及び２Ｄパラメータ化と関連する視点は、ポイントクラウドが観察されている視点の範囲と関連するポーズ情報に従っている。２Ｄパラメータ化は、ポイントクラウドによって表されているオブジェクトの表面と視点の範囲の間となるような方式によって配置されており、即ち、２Ｄパラメータ化によって取得される２Ｄ表現は、それが関連付けられている３Ｄ部分と対向している。１つ又は複数の２Ｄパラメータ化が、ポイントクラウドのそれぞれの３Ｄ部分ごとに、且つ、それぞれの３Ｄ部分の一部分についてのみ、生成される。１つの深度マップが、それぞれの生成された２Ｄパラメータ化ごとに生成され、且つ、従って、生成された深度マップは、画像内において収集され、且つ、第１のパッチアトラスの形態の下において配列される。データが、第１のパッチアトラスのピクセルと関連付けられている際には、このデータは、距離又は深度情報に対応している。例えば、２つのパッチの間に配置されているピクセルの場合などのように、第１のパッチアトラスのいくつかのピクセルは、自身と関連する情報を有してはいない。

動作１２０３において、色マップの集合体を有する第２のパッチアトラスが、３Ｄポイントクラウドの１つの３Ｄ部分とそれぞれが関連している２Ｄパラメータ化を表すパラメータから、且つ、２Ｄパラメータ化が関連している３Ｄ部分内に含まれているポイントと関連している幾何学的情報から、判定される。それぞれの色マップは、第２のパッチアトラスの１つのパッチに対応しており、且つ、ポイントクラウドの１つの３Ｄ部分の１つの２Ｄパラメータ化と関連付けられている。１つの色マップが、それぞれの生成された２Ｄパラメータ化ごとに生成され、且つ、従って、生成された色マップは、画像内において収集され、且つ、第２のパッチアトラスの形態の下において配列される。データが第２のパッチアトラスのピクセルと関連付けられている際には、このデータは、色（例えば、赤色、緑色、青色、又はシアン、マゼンタ、黄色、黒色）情報に対応している。例えば、２つのパッチの間に配置されているピクセルの場合などのように、第１のパッチアトラスのいくつかのピクセルは、自身と関連する情報を有してはいない。

第１のパッチアトラスの異なる深度マップ及び第２のパッチアトラスの異なる色マップは、ポイントクラウドの１つの３Ｄ部分に対応するそれぞれの２Ｄパラメータ化と関連付けられている。所与の２Ｄパラメータ化と関連する深度マップ及び色マップは、それぞれ第１のパッチアトラス及び第２のパッチアトラス内において同一の場所（例えば、同一の行、同一の列）において配列される。一変形によれば、所与の２Ｄパラメータ化と関連する深度マップ及び色マップは、それぞれ第１のパッチアトラス及び第２のパッチアトラス内において（例えば、行インデックス及び列インデックスによって表現された）異なる場所において配列されている。

動作１２０４において、第１のパッチアトラスを表すデータ、第２のパッチアトラスを表すデータ、２Ｄパラメータ化を表すパラメータ、及び第１のマッピング情報を有するデータストリームが生成されている。第１のマッピング情報により、２Ｄパラメータ化とそれぞれ第１のパッチアトラス及び第２のパッチアトラス内のその関連する深度マップ及び色マップの間の対応性情報を取得することが可能となる。

図１３は、図１２の方法によって取得されたストリームからオブジェクトを表すポイントクラウドを表すデータを取得する方法を示している。方法は、例えば、本原理の非限定的な一実施形態に従って、（図９との関連において記述されている）装置９内において実装される。

動作１３００において、装置９の様々なパラメータが更新されている。具体的には、オブジェクトの少なくとも１つの部分の表現と関連するデータが、任意の方式により、初期化されている。

動作１３０１において、それぞれの２Ｄパラメータ化を表すパラメータが、データストリームから取得されており、このようなストリームの構造の一例については、図１１との関連において説明する。

動作１３０２において、ステップ１３０１において取得された第２のパラメータ化と関連する深度マップを有する第１のパッチアトラスを表すデータが、データストリームから取得されている。第１のパッチアトラスを表すデータは、例えば、動作１２０２において取得されたデータに対応している。

動作１３０３において、ステップ１３０１において取得された２Ｄパラメータ化と関連する色マップを有する第２のパッチアトラスを表すデータが、データストリームから取得されている。第２のパッチアトラスを表すデータは、例えば、動作１２０３において取得されたデータに対応している。

動作１３０４において、ポイントクラウドのポイントと関連するデータが、動作１３０１において取得された２Ｄパラメータ化のパラメータ、動作１３０２において取得された第１のパッチアトラスのデータ、及びステップ１３０３において取得された第２のパッチアトラスのデータから取得されており、所与の２Ｄパラメータ化と第１のパッチアトラス内のその対応する深度マップ及び第２のパッチアトラス内の対応する色マップの関連付けは、データストリーム内に含まれている第１のマッピング情報から取得されている。ポイントは、２Ｄパラメータ化によって取得された２Ｄ表面のサンプル／ピクセルに対して、２Ｄパラメータ化を取得するべく使用されたものとは逆の動作（例えば、逆投影又は逆ＬＬＥ）を実行することにより、取得される。

任意選択の動作において、２Ｄパラメータ化及び関連する第１のパッチアトラス及び第２のパッチアトラスによって表されているオブジェクトの画像が、ストリーム１１００内に含まれうる位置情報によって制約されている視点から、レンダリングされ、この場合に、位置情報は、例えば、ポイントクラウドが観察されている視点の範囲に対応している。例えば、取得されたポイントクラウドのポイントに対してスプラットレンダリング技法を適用することにより、オブジェクトの外部表面を取得することができる。一変形においては、ストリームが、フレームのシーケンス（即ち、画像）について、オブジェクト又はその一部分を表す情報を有している際には、画像のシーケンスがレンダリングされる。

図９は、図１２及び／又は図１３との関係において説明した方法を実装するように構成されうる装置９の例示用のアーキテクチャを示している。

装置９は、
－例えば、ＤＳＰ（即ち、Digital Signal Processor）である、マイクロプロセッサ９２、
－ＲＯＭ（即ち、Read Only Memory）９３、
－ＲＡＭ（即ち、Random Access Memory）９４、
－ストレージインターフェイス９５、
－アプリケーションからのデータの受信及び送信のためのＩ／Ｏインターフェイス９６、及び、
－例えば、電池などの電源、
という、データ及びアドレスバス９１によって１つにリンクされた要素を有する。

一例によれば、電源は、装置の外部に位置している。言及されているメモリのそれぞれにおいて、本明細書において使用されている「レジスタ」という用語は、小さな容量のエリア（数ビット）に、或いは、非常に大きなエリア（例えば、プログラムの全体、或いは、受け取られた又はデコーディングされた大量のデータ）に、対応しうる。ＲＯＭ９３は、少なくとも、プログラム及びパラメータを有する。ＲＯＭ９３は、本原理に従って技法を実行するべく、アルゴリズム及び命令を保存することができる。スイッチオンされた際に、ＣＰＵ９２は、プログラムをＲＡＭ内にアップロードし、且つ、対応する命令を実行する。

ＲＡＭ９４は、ＣＰＵ９２によって実行される且つ装置９のスイッチオンの後にアップロードされるプログラムをレジスタ内において有し、入力データをレジスタ内において有し、方法の異なる状態における中間データをレジスタ内において有し、且つ、方法の実行のために使用されるその他の変数をレジスタ内において有する。

本明細書において記述されている実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラムプロダクト、データストリーム、又は信号において実装することができる。単一の実装の形態の文脈においてのみ記述されている（例えば、方法又は装置としてのみ記述されている）場合にも、記述されている特徴の実装形態は、その他の形態（例えば、プログラム）において実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。例えば、方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理装置を含む、一般に処理装置を意味する、例えば、プロセッサなどの、装置において実装することができる。また、プロセッサは、例えば、コンピュータ、セル電話機、携帯型／個人用デジタルアシスタント（「ＰＤＡ：Personal Digital Assistant」）、及びエンドユーザーの間の情報の通信を促進するその他の装置などの、通信装置を含む。

エンコーディング又はエンコーダの一例によれば、第１、第２、第３、及び／又は第４のシンタックス要素がソースから取得されている。例えば、ソースは、
－例えば、ビデオメモリ又はＲＡＭ（即ち、Random Access Memory）、フラッシュメモリ、ＲＯＭ（即ち、Read Only Memory）、ハードディスクなどの、ローカルメモリ（９３又は９４）、
－例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気サポートとのインターフェイスなどの、ストレージインターフェイス（９５）、
－例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）、或いは、無線インターフェイス（ＩＥＥＥ８０２．１１インターフェイス又はBluetooth（登録商標）インターフェイスなど）などの、通信インターフェイス（９６）、及び、
－ユーザーがデータを入力することを可能にするグラフィカルユーザーインターフェイスなどのユーザーインターフェイス、
を有する組に属する。

デコーディング又はデコーダの例によれば、第１、第２、及び／又は第３の情報は、宛先に送信され、具体的に、宛先は、
－例えば、ビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスクなどの、ローカルメモリ（９３又は９４）、
－例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気サポートとのインターフェイスなどの、ストレージインターフェイス（９５）、及び、
－例えば、有線インターフェイス（例えば、バスインターフェイス（例えば、ＵＳＢ（即ち、Universal Serial Bus））、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス、ＨＤＭＩ（High Definition Multimedia Interface）インターフェイス）、或いは、無線インターフェイス（ＩＥＥＥ８０２．１１インターフェイス、WiFi（登録商標）又はBluetooth(C)インターフェイスなど）などの、通信インターフェイス（９６）、
を有する組に属する。

エンコーディング又他はエンコーダの例によれば、オブジェクトを表すデータを有するビットストリームが、宛先に送信されている。一例として、ビットストリームは、例えば、ビデオメモリ（９４）又はＲＡＭ（９４）、ハードディスク（９３）などの、ローカル又はリモートメモリ内において保存されている。一変形においては、ビットストリームは、例えば、マスストレージ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気サポートとのインターフェイスなどの、ストレージインターフェイス（９５）に送信され、及び／又は、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、又はブローキャストネットワークに対するインターフェイスなどの、通信インターフェイス（９６）上において送信されている。

デコーディング又はデコーダ又はレンダラの例によれば、ビットストリームは、ソースから取得される。例として、ビットストリームは、例えば、ビデオメモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュメモリ（９３）、又はハードディスク（９３）などの、ローカルメモリから読み取られる。一変形においては、ビットストリームは、例えば、マスストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、又は磁気サポートとのインターフェースなどの、ストレージインターフェイス（９５）から受け取られ、及び／又は、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、又はブロードキャストネットワークに対するインターフェイスなどの、通信インターフェイス（９５）から受け取られている。

例によれば、装置９は、図１２との関係において記述されている方法を実装するように構成されており、且つ、
－モバイル装置と、
－通信装置と、
－ゲーム装置と、
－タブレット（或いは、タブレットコンピュータ）と
－ラップトップと
－スチール写真カメラと、
－ビデオカメラと、
－エンコーディングチップと、
－サーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、又はウェブサーバー）と、
を有する組に属する。

例によれば、装置９は、図１３との関係において記述されているレンダリング方法を実装するように構成されており、且つ、
－モバイル装置と、
－通信装置と、
－ゲーム装置と、
－セットトップボックスと、
－ＴＶセットと、
－タブレット（或いは、タブレットコンピュータ）と、
－ラップトップと、
－（例えば、ＨＭＤなどの）ディスプレイと、
を有する組に属する。

図１０に示されている例によれば、通信ネットワークＮＥＴ１０００上における（装置９のタイプの）２つのリモート装置１００１及び１００２の間の送信の文脈においては、装置１００１は、図１２との関係において記述されているストリームを生成する方法を実装するように構成された手段を有し、且つ、装置１００２は、図１３との関係において記述されている画像をレンダリングする方法を実装するように構成された手段を有する。

一例によれば、ネットワーク１０００は、装置１００１から、装置１００２を含むデコーディング／レンダリング装置に、関連するオーディオ情報と共に、スチール写真又はビデオ写真をブロードキャストするように適合されたＬＡＮ又はＷＬＡＮネットワークである。

図１１は、データがパケットに基づいた送信プロトコル上において送信される際の、このような信号のシンタックスの一実施形態の一例を示している。図１１は、没入型ビデオストリームの例示用の構造１１００を示している。構造は、ストリームを独立的なシンタックス要素として組織化するコンテナを有する。構造は、ストリームのすべてのシンタックス要素に共通するデータの組であるヘッダ部分１１０１を有することができる。例えば、ヘッダ部分は、それぞれのシンタックス要素の特性及び役割を記述する、シンタックス要素に関するメタデータを収容している。また、ヘッダ部分は、第１のマッピング情報と、任意選択により、第２及び第３のマッピング情報と、を有することもできる。構造は、シンタックス要素１１０２、１１０３、１１０４を有するペイロードを有していてもよく、第１のシンタックス要素１１０２は、２Ｄパラメータ化を定義するパラメータに関連しており、第２のシンタックス要素は、第１のパッチアトラスを表すデータに関連しており、且つ、第３のシンタックス要素は、第２のパッチアトラスを表すデータに関連している。第１のパッチアトラスを表すデータは、それぞれの深度マップ内に含まれているピクセルに関する情報（深度マップの幅がピクセルの数を単位として表現され、深度マップの高さがピクセルの数を単位として表現される状態における、例えば、左上隅のピクセルの座標などの、例えば、深度マップの基準ピクセルの座標）を有することができる。第２のパッチアトラスを表すデータは、それぞれの色マップ内に含まれているピクセルに関する情報（深度マップの幅がピクセルの数を単位として表現され、且つ、色マップの高さがピクセルの数を単位として表現される状態において、例えば、左上隅のピクセルの座標などの、例えば、色マップの基準ピクセルの座標）を有することができる。任意選択の一変形によれば、第１のパッチアトラスを表すデータは、それぞれの深度マップ内に含まれている最小及び最大深度値に関する情報を更に有することができる。第２のパッチアトラスを表すデータは、それぞれの色マップ内に含まれている最小及び最大色値に関する情報を更に有することができる。

例示を目的として、ＩＳＯＢＭＦＦファイルフォーマット規格の文脈においては、色マップ、深度マップ、及びメタデータは、通常、色マップ及び深度マップデータ自体がｍｄａｔタイプのメディアデータボックス内において埋め込まれた状態において、ＭＯＯＶタイプのボックスのＩＳＯＢＭＦＦトラック内において参照されることになろう。

当然のことながら、本開示は、上述の実施形態に限定されるものではない。

具体的には、本開示は、ストリームを生成する方法及び装置に限定されるものではなく、シーンのオブジェクトを表すデータを有するパケットをエンコーディング／デコーディングする方法にも、拡張され、且つ、この方法を実装する任意の装置、並びに、特に、少なくとも１つのＣＰＵ及び／又は少なくとも１つのＧＰＵを有する任意の装置にも、拡張される。

また、本開示は、シーンのオブジェクトを表す情報を有するデータストリームからレンダリングされた画像を表示する方法（並びに、このように構成された装置）と、フラットビデオによってオブジェクトをレンダリング及び表示する方法（並びに、このように構成された装置）と、にも関する。

また、本開示は、ストリームを送信及び／又は受信する方法（並びに、このように構成された装置）にも関する。

本明細書において記述されている実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラムプロダクト、データストリーム、又は信号において実装することができる。単一の実装の形態の文脈においてのみ記述されている（例えば、方法又は装置としてのみ記述されている）場合にも、記述されている特徴の実装は、その他の形態（例えば、プログラム）において実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。例えば、方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理装置を含む、一般に処理装置を参照する、例えば、プロセッサなどの、装置において実装することができる。また、プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、携帯型／個人用デジタルアシスタント（「ＰＤＡ」）、及びエンドユーザーの間における情報の通信を促進するその他の装置などの、通信装置を含む。

本明細書において記述されている様々なプロセス及び特徴の実装形態は、特に、例えば、データエンコーディング、データデコーディング、ビュー生成、テクスチャ処理、並びに、画像及び関係するテクスチャ情報及び／又は深度情報のその他の処理と関連する機器又はアプリケーションなどの、様々な異なる機器又はアプリケーションにおいて実施することができる。このような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに対して入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、セル電話機、ＰＤＡ、及びその他の通信装置を含む。明らかとなるように、機器は、可動型であってよく、場合によっては、可動型の車両内において設置することもできる。

これに加えて、方法は、プロセッサによって実行される命令によって実装することができると共に、このような命令（並びに／或いは、実装によって生成されるデータ値）は、例えば、集積回路、ソフトウェアキャリア、或いは、例えば、ハードディスク、コンパクトディスケット（「ＣＤ：Compact Diskette」）、（例えば、デジタルバーサタイルディスク又はデジタルビデオディスクとしばしば呼称されるＤＶＤなどの）光ディスク、ランダムアクセスメモリ（「ＲＡＭ：Randome Access Memory」）、又は読み出し専用メモリ（「ＲＯＭ：Read-Only Memory」）などの、その他のストレージ装置などの、プロセッサ可読媒体上において保存することができる。命令は、プロセッサ可読媒体上において有体の方式で実施されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組合せ中にあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はこれら２つのものの組合せにおいて見出すことができる。従って、プロセッサは、例えば、プロセスを実行するように構成された装置及び（ストレージ装置などの）プロセスを実行する命令を有するプロセッサ可読媒体を含む装置の両方として特徴付けることができる。更には、プロセッサ可読媒体は、命令に加えて、又はこの代わりに、実装によって生成されるデータ値を保存することもできる。

当業者には明らかとなるように、実装形態は、例えば、保存又は送信されうる情報を搬送するようにフォーマッティングされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令又は記述されている実装形態のうちの１つによって生成されたデータを含むことができる。例えば、信号は、記述されている実施形態のシンタックスを書き込む又は読み取るための規則をデータとして搬送するように、或いは、記述されている実施形態によって書き込まれた実際のシンタックス値をデータとして搬送するように、フォーマッティングすることができる。このような信号は、例えば、（例えば、スペクトルの高周波部分を使用する）電磁波として、或いは、ベースバンド信号として、フォーマッティングすることができる。フォーマッティングは、例えば、データストリームをエンコードすることと、エンコーディングされたデータストリームによって搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ又はデジタル情報であってよい。信号は、周知のように、様々な異なる有線又は無線リンク上において送信することができる。信号は、プロセッサ可読媒体上において保存することができる。

以上、いくつかの実装形態について説明した。但し、様々な変更が実施されうることを理解されたい。例えば、異なる実装形態の要素は、その他の実装形態を生成するべく、組み合わせられてもよく、補完されてもよく、変更されてもよく、或いは、除去されてもよい。これに加えて、当業者は、開示されているものは、その他の構造及びプロセスによって置換されてもよく、且つ、その結果得られる実装形態が、開示されている実装形態と少なくとも実質的に同一の結果を実現するべく、少なくとも実質的に同一の方式により、少なくとも実質的に同一の機能を実行することになることを理解するであろう。従って、これらの及びその他の実装形態は、本出願によって想定されている。
［付記１］
シーンのオブジェクトを表すデータを有するストリームを生成する方法であって、
－３次元ポイントクラウド（５）を前記３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分（７１、７２、７３）にパーティション化すること（１２０１）であって、前記３次元ポイントクラウドは、視点の範囲から観察される前記オブジェクトを表している、ことと、
－前記複数の３次元部分（７１、７２、７３）の少なくとも１つの部分のそれぞれの３次元部分ごとに、
・前記３次元部分と関連する２次元パラメータ化（７０１、７０２、７０３、７０４）であって、前記少なくとも１つのポイントと関連する幾何学的情報に、且つ、前記視点の範囲と関連するポーズ情報に応答している２次元パラメータ化（７０１、７０２、７０３、７０４）を表すパラメータ及び前記３次元部分内に含まれている前記少なくとも１つのポイントと関連するデータに従って前記３次元部分と関連する深度マップ（７４１、７４２、７４３、７４４）を判定し、且つ、
・前記３次元部分内に含まれている前記少なくとも１つのポイントと関連する前記パラメータ及びデータに従って、前記３次元部分と関連する色マップを判定することであって、
前記複数の判定された深度マップは、第１のパッチアトラス（７４）内において表され、それぞれの深度マップは、前記第１のパッチアトラスの１つのパッチに対応しており、且つ、前記複数の判定された色マップは、第２のパッチアトラス（７５）内において表され、それぞれの色マップは、前記第２のパッチアトラスの１つのパッチに対応している、ことと、
－前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラスを表すデータ、前記第２のパッチアトラスを表すデータ、並びに、前記２次元パラメータ化と前記第１のパッチアトラス内の対応する深度マップ及び前記第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有する前記ストリーム（１１００）を生成することと、
を有する方法。
［付記２］
シーンのオブジェクトを表すデータを有するストリームを生成するように構成された装置（９）であって、前記装置は、
－３次元ポイントクラウドを前記３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化することであって、前記３次元ポイントクラウドは、視点の範囲から観察される前記オブジェクトを表している、ことと、
－前記複数の３次元部分の少なくとも１つの部分のそれぞれの３次元部分ごとに、
・前記３次元部分と関連する２次元パラメータ化であって、前記少なくとも１つのポイントと関連する幾何学的情報に、且つ、前記視点の範囲と関連するポーズ情報に応答している２次元パラメータ化を表すパラメータ及び前記３次元部分内に含まれている前記少なくとも１つのポイントと関連するデータに従って前記３次元部分と関連している深度マップ、並びに
・前記３次元部分内に含まれている前記少なくとも１つのポイントと関連する前記パラメータ及びデータに従って前記３次元部分と関連している色マップ、
を判定することであって、
前記複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、前記第１のパッチアトラスの１つのパッチに対応しており、且つ、前記複数の判定された色マップは、第２のパッチアトラス内において表され、それぞれの色マップは、前記第２のパッチアトラスの１つのパッチに対応している、ことと、
－前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラスを表すデータ、前記第２のパッチアトラスを表すデータ、並びに、前記２次元パラメータ化と前記第１のパッチアトラス内の対応する深度マップ及び前記第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有する前記ストリームを生成することと、
を行うように構成されている少なくとも１つのプロセッサ（９２）と関連するメモリ（９４）を有する装置。
［付記３］
複数の２次元パラメータ化は、前記複数の３次元部分の少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、付記１に記載の方法又は付記２に記載の装置。
［付記４］
前記ストリームは、前記３次元パッチを識別する情報とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する付記１若しくは３に記載の方法又は付記２若しくは３に記載の装置。
［付記５］
前記ポイントクラウドの前記パーティション化は、時間に伴って変化している付記１、３、若しくは４のいずれか１つに記載の方法又は付記２～４のいずれか１つに記載の装置。
［付記６］
シーンのオブジェクトを表すデータを搬送するストリームであって、
前記データは、
－視点の範囲から観察される前記オブジェクト（５）を表すポイントクラウドの３次元部分（７１、７２、７３）の２次元パラメータ化（７０１、７０２、７０３、７０４）を表すパラメータであって、前記３次元部分内に含まれている前記ポイントクラウドのポイントと関連する幾何学的情報に従って、且つ、前記視点の範囲と関連するポーズ情報に従って、取得されるパラメータと、
－前記３次元部分（７１、７２、７３）のうちの１つとそれぞれが関連付けられた、且つ、前記３次元部分（７１、７２、７３）内に含まれている前記ポイントクラウドの前記ポイントと関連する前記パラメータ及びデータから判定された、複数の深度マップ（７４１、７４２、７４３、７４４）を有する第１のパッチアトラス（７４）を表すデータと、
－前記３次元部分（７１、７２、７３）のうちの１つとそれぞれが関連付けられた、且つ、前記３次元部分（７１、７２、７３）内に含まれている前記ポイントクラウドの前記ポイントと関連する前記パラメータ及びデータから判定された、複数の色マップを有する第２のパッチアトラス（７５）を表すデータと、
－前記２次元パラメータ化、前記第１のパッチアトラス内の前記深度マップ、及び前記第２のパッチアトラス内の前記色マップの間のマッピングを表す第１のマッピング情報と、
を有する、ストリーム。
［付記７］
複数の２次元パラメータ化は、前記複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、付記６に記載のストリーム。
［付記８］
前記ストリームは、前記３次元パッチを識別する情報とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する付記６又は７に記載のストリーム。
［付記９］
オブジェクトを表すデータを搬送するストリームから前記オブジェクトを表すポイントクラウドを取得する方法であって、
－前記ストリームから、視点の範囲から観察される前記オブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得すること（１３０１）と、
－前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の深度マップを有する第１のパッチアトラスを表すデータを取得すること（１３０２）と、
－前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の色マップを有する第２のパッチアトラスを表すデータを取得すること（１３０３）と、
－前記２次元パラメータ化を表す前記パラメータからの前記オブジェクトを表す前記ポイントクラウドのポイントと関連するデータ、前記第１のパッチアトラス内の関連する深度マップのデータ、前記第２のパッチアトラス内の関連する色マップのデータ、並びに、前記ストリームから取得された、且つ、前記２次元パラメータ化とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報を取得すること（１３０４）と、
を有する方法。
［付記１０］
オブジェクトを表すデータを搬送するストリームから前記オブジェクトを表すポイントクラウドを取得するように構成された装置であって、前記装置は、
－前記ストリームから、視点の範囲から観察される前記オブジェクトを表すポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得することと、
－前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の深度マップを有する第１のパッチアトラスを表すデータを取得することと、
－前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の色マップを有する第２のパッチアトラスを表すデータを取得することと、
－前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラス内の関連している深度マップのデータ、前記第２のパッチアトラス内の関連している色マップのデータ、並びに、前記ストリームから取得された、且つ、前記２次元パラメータ化とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報から、前記オブジェクトを表す前記ポイントクラウドのポイントと関連するデータを取得することと、
を行うように構成されている少なくとも１つのプロセッサ（９２）と関連しているメモリ（９４）を有する装置。
［付記１１］
複数の２次元パラメータ化は、前記複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、付記９に記載の方法又は付記１０に記載の装置。
［付記１２］
前記ストリームは、前記３次元部分とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する、付記９若しくは１１に記載の方法又は付記１０若しくは１１に記載の装置。
［付記１３］
前記オブジェクトを表す画像は、前記ポイントクラウドを表す前記取得済みのデータに従ってレンダリングされる、付記９、１１、若しくは１２のいずれか１つに記載の方法又は付記１０～１２のいずれか１つに記載の装置。
［付記１４］
プロセッサが、少なくとも、付記１に記載の前記方法のステップを実行するようにする命令をその内部において保存された状態で有する非一時的なプロセッサ可読媒体。
［付記１５］
プロセッサが、少なくとも、付記９に記載の前記方法のステップを実行するようにする命令をその内部において保存された状態で有する非一時的なプロセッサ可読媒体。

Claims (18)

1. ストリームを生成する方法であって、
   －３次元ポイントクラウドを前記３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化することと、
   －前記３次元部分のそれぞれに対し、
   ・前記少なくとも１つのポイントと関連する幾何学的情報に、且つ、視点の範囲と関連するポーズ情報に応答している２次元パラメータ化を表すパラメータに従って前記３次元部分の深度マップを判定し、且つ、
   ・前記パラメータに従って、前記３次元部分の色マップを判定することであって、
   前記複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、前記第１のパッチアトラスの１つのパッチ
   に対応しており、且つ、前記複数の判定された色マップは、第２のパッチアトラス内において表され、それぞれの色マップは、前記第２のパッチアトラスの１つのパッチに対応している、ことと、
   －前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラスを表すデータ、前記第２のパッチアトラスを表すデータ、並びに、前記２次元パラメータ化と前記第１のパッチアトラス内の対応する深度マップ及び前記第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有する前記ストリームを生成することと、
   を有する方法。
2. ストリームを生成するように構成された装置であって、前記装置は、
   －３次元ポイントクラウドを前記３次元ポイントクラウドの少なくとも１つのポイントをそれぞれが有する複数の３次元部分にパーティション化することと、
   －前記３次元部分のそれぞれに対し、
   ・前記少なくとも１つのポイントと関連する幾何学的情報に、且つ、視点の範囲と関連するポーズ情報に応答している２次元パラメータ化を表すパラメータに従って前記３次元部分の深度マップ、並びに
   ・前記パラメータに従って前記３次元部分の色マップ、
   を判定することであって、
   前記複数の判定された深度マップは、第１のパッチアトラス内において表され、それぞれの深度マップは、前記第１のパッチアトラスの１つのパッチに対応しており、且つ、前記複数の判定された色マップは、第２のパッチアトラス内において表され、それぞれの色マップは、前記第２のパッチアトラスの１つのパッチに対応している、ことと、
   －前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラスを表すデータ、前記第２のパッチアトラスを表すデータ、並びに、前記２次元パラメータ化と前記第１のパッチアトラス内の対応する深度マップ及び前記第２のパッチアトラス内の対応する色マップの間のマッピングを表す第１のマッピング情報を有する前記ストリームを生成することと、
   を行うように構成されているプロセッサと関連するメモリを有する装置。
3. 複数の２次元パラメータ化は、前記複数の３次元部分の少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、請求項１に記載の方法。
4. 前記ストリームは、３次元パッチを識別する情報とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する請求項１若しくは３に記載の方法。
5. 前記３次元ポイントクラウドの前記パーティション化は、時間に伴って変化している請求項１又は３に記載の方法。
6. ストリームから３次元ポイントクラウドを取得する方法であって、
   －前記ストリームから、前記３次元ポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得することと、
   －前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の深度マップを有する第１のパッチアトラスを表すデータを取得することと、
   －前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の色マップを有する第２のパッチアトラスを表すデータを取得することと、
   －前記２次元パラメータ化を表す前記パラメータからの前記３次元ポイントクラウドのポイントと関連するデータ、前記第１のパッチアトラス内の関連する深度マップのデータ、前記第２のパッチアトラス内の関連する色マップのデータ、並びに、前記ストリームから取得された、且つ、前記２次元パラメータ化とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報を取得することと、
   を有する方法。
7. ストリームから３次元ポイントクラウドを取得するように構成された装置であって、前記装置は、
   －前記ストリームから、前記３次元ポイントクラウドの３次元部分の２次元パラメータ化を表すパラメータを取得することと、
   －前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の深度マップを有する第１のパッチアトラスを表すデータを取得することと、
   －前記ストリームから、前記２次元パラメータ化のうちの１つとそれぞれが関連している複数の色マップを有する第２のパッチアトラスを表すデータを取得することと、
   －前記２次元パラメータ化を表す前記パラメータ、前記第１のパッチアトラス内の関連している深度マップのデータ、前記第２のパッチアトラス内の関連している色マップのデータ、並びに、前記ストリームから取得された、且つ、前記２次元パラメータ化とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラス内の対応する深度マップ及び色マップの間のマッピングを表す、第１のマッピング情報から、前記３次元ポイントクラウドのポイントと関連するデータを取得することと、
   を行うように構成されている少なくとも１つのプロセッサと関連しているメモリを有する装置。
8. 複数の２次元パラメータ化は、前記複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、請求項６に記載の方法。
9. 前記ストリームは、前記３次元部分とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する、請求項６又は８に記載の方法。
10. 前記ストリームは、オブジェクトを表すデータを搬送するストリームであり、
    前記オブジェクトを表す画像は、前記３次元ポイントクラウドを表す取得済みのデータに従ってレンダリングされる、請求項６又は８に記載の方法。
11. プロセッサが、少なくとも、請求項１に記載の前記方法のステップを実行するようにする命令をその内部において保存された状態で有する非一時的なプロセッサ可読媒体。
12. プロセッサが、少なくとも、請求項６に記載の前記方法のステップを実行するようにする命令をその内部において保存された状態で有する非一時的なプロセッサ可読媒体。
13. 複数の２次元パラメータ化は、前記複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、請求項２に記載の装置。
14. 前記ストリームは、前記３次元部分とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する、請求項２又は１３に記載の装置。
15. 前記３次元ポイントクラウドのパーティション化は、時間に伴って変化する、請求項２又は１３に記載の装置。
16. 複数の２次元パラメータ化は、前記複数の３次元部分のうちの少なくとも１つの部分のそれぞれの３次元部分と関連付けられている、請求項７に記載の装置。
17. 前記ストリームは、前記３次元部分とそれぞれ前記第１のパッチアトラス及び前記第２のパッチアトラスを表す第１及び第２の画像のピクセルの間のマッピングを表す第２のマッピング情報を更に有する、請求項７又は１６に記載の装置。
18. 前記ストリームは、オブジェクトを表すデータを搬送するストリームであり、
    前記オブジェクトを表す画像は、前記３次元ポイントクラウドを表す取得済みのデータに従ってレンダリングされる、請求項７又は１６に記載の装置。

Images