JP7445601B2 - 奥行きの符号化及び復号化方法及び装置 - Google Patents

Description

１．技術分野
本開示は、３次元（３Ｄ）シーン及びボリュメトリックビデオコンテンツの領域に関する。本開示はまた、３Ｄシーンの奥行きを表すデータの符号化及び／又はフォーマット設定、例えばモバイル機器又はヘッドマウントディスプレイ等のエンドユーザー機器上でのボリュメトリックコンテンツのレンダリングの関連で理解される。

２．背景
本節は、以下に記述及び／又は権利請求する本開示の各種態様に関連し得る当分野の各種態様を読者に紹介することを意図している。ここでの議論は、本発明の各種態様の理解を容易にすべく読者に背景情報を提供するのに役立つと思われる。従って、以下の記述は従来技術の紹介としてではなく上記の観点から読まれたい。

近年、利用可能な広視野コンテンツ（最大３６０°）が成長している。このようなコンテンツは潜在的に、ヘッドマウントディスプレイ、スマート眼鏡、ＰＣ画面、タブレット、スマートフォン等の没入型ディスプレイ装置でコンテンツを見ているユーザーが全体を視認することができない。これは、ユーザーは所与の瞬間ではコンテンツの一部しか見ていないことを意味する。しかし、ユーザーは典型的に、頭部の移動、マウスの移動、タッチスクリーン、音声等の各種手段によりコンテンツ内をナビゲートすることができる。このようなコンテンツを符号化及び復号化することが典型的に望ましい。

３６０°フラットビデオとも呼ばれる没入型ビデオにより、ユーザーは静止視点周辺での頭部の回転により自身の周囲全体を見ることができる。回転では３度の自由度（３ＤｏＦ）しか体感できない。たとえ３ＤｏＦビデオが、例えばヘッドマウントディスプレイ装置（ＨＭＤ）を用いる第１の全方向ビデオ体感には充分であったとしても、例えば視差を体感することにより更なる自由度を期待する視聴者は３ＤｏＦビデオに対して直ちにフラストレーションを感じる場合がある。また、ユーザーは頭部を回転させるだけでなく必ず頭部を３方向に移動させるが、この移動は３ＤｏＦビデオ体感では再現されないため３ＤｏＦは眩暈を引き起こす恐れがある。

広視野コンテンツは特に、３次元コンピュータグラフィック仮想シーン（３ＤＣＧＩシーン）、点群又は没入型ビデオであってもよい。このような没入型ビデオの設計に多くの用語、例えば仮想現実（ＶＲ）（３６０）、パノラマ、４πステラジアン、没入型、全方向又は広視野が用いられる場合がある。

ボリュメトリックビデオ（６度の自由度（６ＤｏＦ）としても知られる）は３ＤｏＦビデオの代替方式である。６ＤｏＦビデオを視聴する場合、ユーザーは頭部の回転に加え、視聴対象コンテンツ内で頭部及び体も移動させることができ、視差及び空間的広がりも体感することができる。そのようなビデオは、没入感及びシーンの奥行きの知覚を向上させると共に頭部が移動する間に一貫した視覚的フィードバックを提供することにより眩暈を防止する。コンテンツは、注目シーンの色及び奥行きの同時記録を可能にする専用センサにより作成される。写真測量技術と組み合わせたカラーカメラのリグの使用がそのような記録を実行する一般的な方法である。

３ＤｏＦビデオがテクスチャ画像（例：緯度／経度投影マッピング又は正距円筒投影マッピングにより符号化された球面ビュー）のマッピング解除から得られる画像のシーケンスを含むのに対し、６ＤｏＦビデオフレームにはいくつかの観点からの情報が埋め込まれている。これらは時系列の３次元撮像から得られる点群と見なすことができる。２種類のボリュメトリックビデオが視聴条件に依存すると考えてよい。第１のもの（すなわち完全な６ＤｏＦ）はビデオコンテンツ内で完全な自由なナビゲーションを可能にするのに対し、第２のもの（別名３ＤｏＦ＋）はユーザーの視聴空間を限られた範囲に限定して頭部の移動及び視差感を制約する。この第２のものは、着席した視聴者の自由なナビゲーションと受動的な視聴条件との間の有益なトレードオフである。

３ＤｏＦビデオは、選択された投影マッピング（例：立方体投影マッピング、正四角錐投影マッピング又は正距円筒投影マッピング）に従い生成された矩形カラー画像のシーケンスとしてストリームに符号化できる。当該符号化は、標準画像及びビデオ処理標準を利用する利点がある。３ＤｏＦ＋及び６ＤｏＦビデオは、点群の色付き点の奥行きを符号化するために追加的なデータを必要とする。ストリーム内のシーンを符号化する場合のボリュメトリックシーンのその種のレンダリング（すなわち３ＤｏＦ又はボリュメトリックレンダリング）は先験的に知られていない。これまで、ストリームはある種の、又は別のレンダリング用に符号化される。直ちに符号化されて３ＤｏＦビデオ又はボリュメトリックビデオ（３ＤｏＦ＋又は６ＤｏＦ）として復号化できるボリュメトリックシーンを表すデータを担持可能なストリーム、及び関連付けられた方法並びに装置は存在しない。

ボリュメトリックビデオの特定のケース以外に、３Ｄシーン又はボリュメトリックコンテンツの奥行き情報の符号化及び復号化は、特に符号化したい奥行き値の範囲が大きく且つ符号化に利用可能なビット奥行きが充分な量の符号化値を提供しない場合に問題になり得る。

３．概要
本明細書における「ある実施形態」、「一実施形態」、「例示的な一実施形態」、「特定の実施形態」への言及は、記述する実施形態が特定の特性、構造、又は特徴を含んでいてよいことを示すが、全ての実施形態が必ずしも特定の特性、構造、又は特徴を含んでいる訳ではない。更に、このような語句は必ずしも同一実施形態を指す訳ではない。更に、特定の特性、構造、又は特徴が一実施形態との関連で記述されている場合、明示的に記述されているか否かに依らず、そのような特性、構造、又は特徴を他の実施形態と共に実現することは当業者の知識の範囲内であることを言明するものである。

本開示は３Ｄシーンの奥行きを表すデータを符号化する方法に関し、本方法は、
－所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値を得るべく当該データを量子化することと、
－当該データを含む画像の第１のピクセルの各ブロックに対して、第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲を表す候補量子化パラメータの第１の集合を、第１の集合が符号化値の個数に従い決定されるように決定することと、
－量子化パラメータの第２の集合を複数の第１の集合の和集合の部分集合として、第２の集合が当該画像の第１のピクセルの複数のブロックに共通の候補量子化パラメータを含むように、且つ第２の集合の１個以上の量子化パラメータが当該画像の第１のピクセルの各ブロックに関連付けられるように決定することと、
－量子化パラメータの第２の集合を符号化することと、
－量子化パラメータの第２の集合に従い量子化済み奥行き値を符号化することを含んでいる。

本開示は、３Ｄシーンの奥行きを表すデータを符号化すべく構成された装置に関し、本装置は、
－所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値を取得するためのデータを量子化し、
－データを含む画像の第１のピクセルの各ブロックに対して、第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲を表す候補量子化パラメータの第１の集合を、第１の集合が符号化値の個数に従い決定されるように決定し、
－量子化パラメータの第２の集合を複数の第１の集合の和集合の部分集合として、第２の集合が当該画像の第１のピクセルの複数のブロックに共通の候補量子化パラメータを含むよう、且つ第２の集合の１個以上の量子化パラメータが当該画像の第１のピクセルの各ブロックに関連付けられるように決定し、
－量子化パラメータの第２の集合を符号化し、
－量子化パラメータの第２の集合に従い量子化済み奥行き値を符号化すべく構成された少なくとも１個のプロセッサに関連付けられたメモリを含んでいる。

本開示は３Ｄシーンを表すデータを符号化すべく構成された装置に関し、本装置は、
－所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値を取得するためのデータを量子化すべく構成された量子化器と、
－データを含む画像の第１のピクセルの各ブロックに対して、第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲を表す候補量子化パラメータの第１の集合を、第１の集合が符号化値の個数に従い決定されるように決定すべく構成された決定器と、
－量子化パラメータの第２の集合を複数の第１の集合の和集合の部分集合として、第２の集合が当該画像の第１のピクセルの複数のブロックに共通の候補量子化パラメータを含むよう、且つ第２の集合の１個以上の量子化パラメータが当該画像の第１のピクセルの各ブロックに関連付けられるように決定すべく構成された決定器と、
－量子化パラメータの第２の集合を符号化すべく構成されたエンコーダと、
－量子化パラメータの第２の集合に従い量子化済み奥行き値を符号化すべく構成されたエンコーダを含んでいる。

本開示は３Ｄシーンを表すデータを符号化すべく構成された装置に関し、本装置は、
－所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値を取得するためのデータを量子化する手段と、
－データを含む画像の第１のピクセルの各ブロックに対して、第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲を表す候補量子化パラメータの第１の集合を、第１の集合が符号化値の個数に従い決定されるように決定する手段と、
－量子化パラメータの第２の集合を複数の第１の集合の和集合の部分集合として、第２の集合が当該画像の第１のピクセルの複数のブロックに共通の候補量子化パラメータを含むよう、且つ第２の集合の１個以上の量子化パラメータが当該画像の第１のピクセルの各ブロックに関連付けられるように決定する手段と、
－量子化パラメータの第２の集合を符号化する手段と、
－量子化パラメータの第２の集合に従い量子化済み奥行き値を符号化する手段を含んでいる。

特定の特徴によれば、量子化パラメータの第２の集合にマッピングする識別子のリストが更に符号化され、量子化パラメータの第２の集合が識別子のリストに従い符号化されている。

特定の特徴によれば、識別子のリストは、各々が第２の集合の１個の量子化パラメータにマッピングされた複数の第１の識別子及び各々が複数の第１の識別子にマッピングされた複数の第２の識別子を含み、量子化パラメータの第２の集合は、当該画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージを符号化することにより符号化されていて、各第２のピクセルは、
・単一の量子化パラメータが第１のピクセルのブロックに関連付けられている場合に、各第２のピクセルに対応する第１のピクセルのブロックに関連付けられた量子化パラメータを識別するリストの第１の識別子、又は
・複数の量子化パラメータが第１のピクセルのブロックに関連付けられている場合に、各第２のピクセルに対応する第１のピクセルのブロックに関連付けられた量子化パラメータを識別するリストの第２の識別子を含んでいる。

別の具体的な特徴によれば、奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従いデータが量子化されている場合、奥行きが深いほど量子化誤差が大きい。

更なる具体的な特徴によれば、第１のピクセルの各ブロックに含まれる量子化済み奥行き値を符号化すべく符号化値の個数が第１のピクセルの各ブロックに割り当てられ、符号化値の個数の第１の部分が第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲の符号化に割り当てられていて、符号化された量子化済み奥行き値の２個の範囲が、符号化値の個数の第２の部分により分離されていて、第２の部分は量子化済み奥行き値の符号化には使用されない。

更なる具体的な特徴によれば、画像は時間的に連続した画像の集団の一部であり、量子化パラメータの第２の集合は時間的に連続した画像の集団の各画像に共通である。

本開示は３Ｄシーンの奥行きを表すデータを復号化する方法に関し、本方法は、
－量子化パラメータの集合を、当該集合の１個以上の量子化パラメータが画像の第１のピクセルの各ブロックに関連付けられていて、当該集合の量子化パラメータの少なくとも一部が画像の第１のピクセルの複数のブロックに共通である状態で復号化することと、
－画像の第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、第１のピクセルの各ブロックに関連付けられた１個以上の量子化パラメータに従い復号化することを含んでいる。

本開示は、３Ｄシーンの奥行きを表すデータを復号化すべく構成された装置に関し、本装置は、
－量子化パラメータの集合を、当該集合の１個以上の量子化パラメータが画像の第１のピクセルの各ブロックに関連付けられていて、当該集合の量子化パラメータの少なくとも一部が画像の第１のピクセルの複数のブロックに共通である状態で復号化し、
－画像の第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、第１のピクセルの各ブロックに関連付けられた１個以上の量子化パラメータに従い復号化すべく構成された少なくとも１個のプロセッサに関連付けられたメモリを含んでいる。

本開示は３Ｄシーンの奥行きを表すデータを復号化すべく構成された装置に関し、本装置は、
－量子化パラメータの集合を、当該集合の１個以上の量子化パラメータが画像の第１のピクセルの各ブロックに関連付けられていて、当該集合の量子化パラメータの少なくとも一部が画像の第１のピクセルの複数のブロックに共通である状態で復号化するデコーダと、
－画像の第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、第１のピクセルの各ブロックに関連付けられた１個以上の量子化パラメータに従い復号化するデコーダを含んでいる。

本開示は３Ｄシーンの奥行きを表すデータを復号化すべく構成された装置に関し、本装置は、
－量子化パラメータの集合を、当該集合の１個以上の量子化パラメータが画像の第１のピクセルの各ブロックに関連付けられていて、当該集合の量子化パラメータの少なくとも一部が画像の第１のピクセルの複数のブロックに共通である状態で復号化する手段と、
－画像の第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、第１のピクセルの各ブロックに関連付けられた１個以上の量子化パラメータに従い復号化する手段を含んでいる。

特定の特徴によれば、量子化パラメータの集合にマッピングする識別子のリストが更に符号化され、量子化パラメータの集合が識別子のリストに従い符号化されている。

具体的な特徴によれば、識別子のリストは、各々が当該集合の１個の量子化パラメータにマッピングされた第１の識別子及び各々が複数の第１の識別子にマッピングされた第２の識別子を含み、量子化パラメータの集合は画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージから復号化されていて、各第２のピクセルは、
・単一の量子化パラメータが第１のピクセルのブロックに関連付けられている場合、各第２のピクセルに対応する第１のピクセルのブロックに関連付けられた量子化パラメータを識別するリストの第１の識別子、又は
・複数の量子化パラメータが第１のピクセルのブロックに関連付けられている場合、各第２のピクセルに対応する第１のピクセルのブロックに関連付けられた量子化パラメータを識別するリストの第２の識別子を含んでいる。

別の特徴によれば、データは奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従い復号化された量子化済み奥行き値から取得され、奥行きが深いほど量子化誤差が大きい。

更なる特徴によれば、画像は時間的に連続した画像の集団の一部であり、量子化パラメータの集合は時間的に連続した画像の集団の各画像に共通である。

本開示はまた、３Ｄシーンの奥行きを表すデータを担持するビットストリームに関し、当該データは、第１の構文要素に、画像のピクセルのブロックに関連付けられた量子化パラメータを表すデータを含み、第２の構文要素に、量子化パラメータに従い符号化された量子化済み奥行き値を表すデータを含んでいる。

本開示はまた、当該プログラムがコンピュータにより実行された際に３Ｄシーンの奥行きを表すデータを符号化又は復号化する方法のステップを実行するプログラムコード命令を含むコンピュータプログラム製品に関する。

本開示はまた、３Ｄシーンの奥行きを表すデータを符号化又は復号化する少なくとも上述の方法をプロセッサに実行させる命令を保存している（非一時的）プロセッサ可読媒体に関する。

４．図面のリスト
添付の図面を参照しながら以下の記述を精査することにより本開示に対する理解が深まり、他の具体的な特徴及び利点に想到されよう。

本原理の非限定的な一実施形態による、３次元（３Ｄ）シーンを表す画像を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの被写体の３次元（３Ｄ）モデル及び当該３Ｄモデルに対応する点群の複数の点を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの複数の点のテクスチャ情報を含む画像を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの複数の点の奥行き情報を含む画像を示す。 本原理の更なる非限定的な一実施形態による、図１の３Ｄシーンの複数の点の奥行き情報を含む画像を示す。 本原理の非限定的な一実施形態による、同時に３ＤｏＦレンダリング互換及び３ＤｏＦ＋レンダリング互換である形式で３Ｄシーンを表すデータの符号化、送信及び復号化の一例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像の奥行き情報の量子化に用いる量子化関数の例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像の奥行き情報の量子化に用いる量子化関数の例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像の奥行き情報の量子化に用いる量子化関数の例を示す。 本原理の非限定的な一実施形態による、人間の視力の概念を示す。 本原理の非限定的な一実施形態による、図４又は５の画像から量子化パラメータを決定する処理の一例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像に関連付けられた量子化パラメータを表す情報を含む画像の一例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像に関連付けられた量子化パラメータに識別子をマッピングする表の一例を示す。 本原理の非限定的な一実施形態による、図４又は５の画像のピクセルの単一ブロックから複数の量子化パラメータを決定する処理の一例を示す。 本原理の二つの非限定的な一実施形態による、図１の３Ｄシーンの量子化済み奥行き値を符号化する方法の複数の例を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの奥行きを表す情報及びデータを担持するビットストリームの構文の一例を示す。 本原理の非限定的な一実施形態による、図９、１２、１３、１６及び／又は２１に関して記述する方法又は処理を実装すべく構成可能な装置のアーキテクチャの一例を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの奥行きを表すデータを符号化する、例えば図１５の装置に実装された方法の一例を示す。 本原理の非限定的な一実施形態による、図１の３Ｄシーンの奥行きを表すデータを復号化する、例えば図１５の装置に実装された方法の一例を示す。

５．実施形態の詳細な説明
以下に、同一参照符号を用いて同一要素を示している図面を参照しながら主題について記述する。以下の記述において、主題を完全に理解いただけるよう説明目的で多くの具体的な詳細事項を開示している。しかし、具体的な詳細事項が無くても主題の実施形態を実施できることは明白であろう。

以下の記述において本開示の原理を示す。従って当業者には、本明細書に明示的に記述又は図示されなくても、開示する原理を実施する各種の構成に想到し得ることが認識されよう。

本開示の非限定的な実施形態によれば、３Ｄシーンの奥行き情報（奥行きをマップとも呼ばれる）を含む１個以上の画像をコンテナ及び／又はビットストリームに符号化する方法及び装置を開示する。３Ｄシーンの奥行き（又は奥行きマップ）の画像をストリームから復号化する方法及び装置も開示する。奥行き情報／奥行きマップの１個以上の画像を符号化ビットストリームの構文の複数の例も開示する。

非限定的な態様によれば、本原理は、３Ｄシーンの奥行き（没入型ビデオとも呼ばれるボリュメトリックコンテンツ又は標準的な３Ｄコンテンツにより表することができる）を表すデータをコンテナ及び／又はビットストリームに符号化する方法（及びそのために構成された装置）の第１の特定の実施形態に関して記述する。

上述の目的を達成すべく、３Ｄシーンの奥行きを表すデータ（例：３Ｄシーンの要素、例えば点に関連付けられた浮動小数点値として表された距離又は奥行き値）が、所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値に量子化される。例えば、８ビットの符号化ビット奥行では２５６（２^８）個の値を有する符号化が可能である一方、量子化済み奥行き値の個数は例えば１６３８４（２^１４）又は６５５３６の（２^１６）に等しくてよい。ビット奥行きを符号化している１０ビットは１０２４（２１０の）値を有する符号化を許す。より多い個数の値で奥行きデータを量子化することで、全範囲にわたり小さいままである量子化ステップにより、広い範囲（例：奥行き又は距離が０～５０メートル又は０～１００メートルの範囲或いは更に広い範囲）の奥行きデータの量子化が可能になり、特にシーンのビューの点に近い被写体（例：前景被写体）における量子化誤差を最小限に抑えられる。

奥行きを表すデータを含む画像はピクセルのブロック（例：８×８又は１６×１６ピクセルのブロック）に分割され、ピクセルの各ブロックに対して候補量子化パラメータの第１の集合が決定される。候補量子化パラメータは、ブロックのピクセルに関連付けられた量子化値の範囲を表す量子化値に対応する（当該量子化値は画像のピクセルに保存されている奥行きデータを量子化することにより得られる）。候補量子化パラメータの第１の集合は、考慮するブロック（例：当該ブロックの場合１０２４個の値）の符号化値の個数を考慮して決定され、候補量子化パラメータは例えば符号化値の個数の制限内で量子化済み奥行き値の範囲を表す開始値として使用できる基準量子化値に対応する。

量子化パラメータの第２の集合は、複数の第１の集合の和集合の部分集合として決定され、すなわち第２の集合は、画像のピクセルの全てのブロックに対して決定される候補量子化パラメータの一部を含んでいる。第２の集合は、画像全体のピクセルの全てのブロックの量子化済み奥行き値の全範囲を表現可能にする最小個数の候補量子化パラメータを検索することにより、すなわちピクセルのいくつかのブロックに共通の候補量子化パラメータが存在する場合にこれらを検索することにより決定される。

量子化パラメータの第２の集合は例えばファイル内に符号化される。

量子化済み奥行き値は次いで、第２の集合の量子化パラメータに従い符号化される。

第１のピクセルのブロックに関連付けられた量子化パラメータに従い量子化済み奥行き値を符号化することで、量子化済み奥行き値の符号化に利用可能なより多くの符号化値が得られ、所定の符号化ビット奥行きが許容する符号化値の集合を各ブロックの量子化済み奥行き値の符号化に利用できる（例：画像全体の符号化に利用可能な１０２４個の符号化値ではなく、画像の各ブロックに利用可能な１０２４個の符号化値）。

１個の画像はピクセルのアレイに対応し、属性（例：奥行き情報及び／又はテクスチャ情報）が画像のピクセルに関連付けられている。

３Ｄシーンの奥行きを表すデータの対応する復号化方法（及びそのために構成された装置）も本原理の非限定的な態様に関して記述する。

図１に、いくつかの表面表現を含む３次元（３Ｄ）シーン１０を表す画像を示す。シーンは任意の適当な技術を用いて得ていてよい。例えば、コンピュータグラフィックインターフェース（ＣＧＩ）ツールを用いて生成されていてよい。色及び奥行き画像取得装置により得られていてよい。このような場合、取得装置（例：カメラ）から見えない被写体の１個以上の部分が図１に関して記述するようなシーンに表れない場合がある。図１に示すシーン例は室内の人物と物体を含んでいる。３Ｄシーン１０は、図１における所定の視点に従い表されている。当該視点は例えば、ユーザーが３Ｄシーンを観察し得る視野空間の一部であってよい。一変型例によれば、利用可能な３Ｄシーンのコンテンツ（奥行き及び／又はテクスチャ情報）は、図１の所定の視点から視認可能なシーン（例：点）の要素だけに対応する。

図２に、被写体２０の３次元（３Ｄ）モデル及び３Ｄモデル２０に対応する点群２１の複数の点を示す。３Ｄモデル２０及び点群２１は例えば、３Ｄシーン１０の被写体、例えば人物の頭部の可能な３Ｄ表現に対応していてよい。モデル２０は３Ｄメッシュ表現であってよく、点群２１の点はメッシュの頂点であってよい。点群２１の点はまた、メッシュの表面上に分散した点であってよい。モデル２０はまた、点群２１を平滑化したバージョンとして表すことができ、モデル２０の表面は点群２１の点を平滑化することにより形成されている。モデル２０はボクセル又はスプライン等、多くの異なる表現で表すことができる。図２は、点群が３Ｄ被写体の表面表現により画定できること、及び３Ｄ被写体の表面表現が点群から生成できることを示している。本明細書で用いるように、３Ｄ被写体の点を（３Ｄシーンの拡張点により）画像に投影することは、当該３Ｄ被写体の任意の画像表現を投影して被写体を形成することと等価である。

点群は、各点が自身の座標（例：３次元座標ＸＹＺ、又は所与の視点からの奥行き／距離）及び成分とも呼ばれる１個以上の属性を有するベクトル型の構造と見なすことができる。成分の一例は、各種の色空間内で表される色成分、例えばＲＧＢ（赤、緑及び青）又はＹＵＶ（Ｙは輝度成分、ＵＶは二つの色度成分）である。点群は、所与の視点、又は視点の範囲から見た被写体の表現である。点群は多くの仕方、例えば
・カメラのリグから撮影され、任意選択的に奥行き能動検出装置により補足された実被写体の撮像から、
・モデリングツールの仮想カメラのリグにより撮影された仮想／合成被写体の撮像から、
・実及び仮想被写体の混合から取得されてよい。

３Ｄシーンのボリュメトリック部分は例えば、点群２１のような１個又は複数の点群により表することができる。

図３に、本原理の非限定的な一実施形態による、３Ｄシーン１０の点のテクスチャ情報（例：ＲＧＢデータ又はＹＵＶデータ）を含む画像３０の一例を示す。

画像３０は、第１の視点から視認可能な３Ｄシーンの要素（点）のテクスチャ情報を含む第１の部分３０１及び１個以上の第２の部分３０２を含んでいる。第１の部分３０１のテクスチャ情報は例えば正距円筒投影マッピングにより取得でき、正距円筒投影マッピングは球面投影マッピングの一例である。図３の例において、第２の部分は第１の部分３０１の左右の境界に配置されているが、第２の部分は異なる仕方で配置されていてよい。第２の部分３０２は、第１の視点から視認可能な部分と相補的な３Ｄシーンの部分のテクスチャ情報を含んでいる。第２の部分は、第１の視点から視認可能な点（第１の部分に保存されているテクスチャ）を３Ｄシーンから除去して、残りの点を同じ第１の視点に従い投影することにより得られる。後者の処理を反復的に繰り返して毎回３Ｄシーンの隠れた部分を得ることができる。一変型例によれば、第２の部分は、第１の視点から視認可能な点（第１の部分に保存されているテクスチャ）を３Ｄシーンから除去して、残りの点を第１の視点とは異なる視点に従い、例えば第１の視点に中心を有する視野空間の１個以上の第２の視点から投影することにより得られる。

第１の部分３０１は、（３Ｄシーンの第１の部分に対応する）第１の大きなテクスチャパッチと見なすことができ、第２の部分３０２は（第１の部分と相補的な３Ｄシーンの第２の部分に対応する）より小さいテクスチャパッチを含んでいる。

図４に、本原理の非限定的な一実施形態による、３Ｄシーン１０の点の奥行き情報を含む画像４０の一例を示す。画像４０は、テクスチャ画像３０に対応する奥行き画像とみなすことができる。

画像４０は、第１の視点から視認可能な３Ｄシーンの要素（点）の奥行き情報を含む第１の部分４０１及び１個以上の第２の部分４０２を含んでいる。画像４０は、画像３０と同様に取得されてよいが、画像３０のテクスチャ情報ではなく３Ｄシーンの複数の点に関連付けられた奥行き情報を含んでいる。

第１の部分４０１は（３Ｄシーンの第１の部分に対応する）第１の大きな奥行きパッチとみなすことができ、第２の部分４０２は（第１の部分と相補的な３Ｄシーンの第２の部分に対応する）より小さいテクスチャパッチを含んでいる。

３Ｄシーンの３ＤｏＦレンダリングの場合、１個の視点、例えば第１の視点だけを考慮する。ユーザーは第１の視点周辺で３個の自由度で頭部を回転させて３Ｄシーンの様々な部分を見ることができるが、ユーザーは第１の視点を移動させることはできない。符号化すべきシーンの点は当該第１の視点から視認可能な点であり、３ＤｏＦレンダリングのためにテクスチャ情報だけを符号化／復号化すればよい。ユーザーは第１の視点を移動させでもアクセスできないため、第１の視点から視認できないシーンの点を符号化する必要がない。

６ＤｏＦレンダリングに関して、ユーザーはシーンのどこにでも視点を移動させることができる。この場合、自身の視点を移動できるユーザーは全ての点に基本的にアクセス可能であるため、ビットストリームのシーンの全ての点（奥行き及びテクスチャ）を符号化することが重要である。符号化段階で、ユーザーがどの視点から３Ｄシーン１０を観察するかを先験的に知る手段は無い。

３ＤｏＦ＋レンダリングに関して、ユーザーは視点周辺の限られた空間内、例えば第１の視点周辺で視点を移動させることができる。例えば、ユーザーは第１の視点に中心を有する空間視野内で自身の視点を移動させることができる。これは視差を体感可能にする。第１の視点により視認可能な３Ｄシーンを表すデータ（すなわち第１の部分３０１及び４０１）を含む、視野空間の任意の点から視認可能なシーンの部分を表すデータはストリーム内に符号化される。視野空間の大きさ及び形状は例えば、符号化ステップで決定及び画定されてビットストリーム内に符号化される。デコーダは当該情報をビットストリームから取得し、レンダラは取得された情報により画定された空間に視野空間を限定する。別の例によれば、レンダラはハードウェア制約に応じて、例えばユーザーの動きを検出するセンサの能力に関して視野空間を決定する。このような場合、符号化フェーズにおいて、レンダラの視野空間内の一点から視認可能な一点がビットストリームに符号化されていない場合、当該点はレンダリングされない。更なる例によれば、３Ｄシーンの全ての点を表すデータ（例：テクスチャ及び／又はジオメトリ）は、レンダリング視野空間を考慮することなくストリームに符号化される。ストリームのサイズを最適化すべく、シーンの点の部分集合、例えばレンダリング視野空間に従い視認可能な点の部分集合だけを符号化してもよい。

図５に、本原理の非限定的な一実施形態による、例えば３Ｄシーンが単一の視点から得られる場合において３Ｄシーン１０の点の奥行き情報を含む画像５０の一例を示す。画像５０は第１のピクセルのアレイに対応し、各第１のピクセルは奥行きを表すデータを含んでいる。画像５０は奥行きマップとも呼ばれる場合がある。データは例えば、各第１のピクセル毎に、画像５０の視点（又は画像５０が投影により得られる場合は投影中心）までの径方向距離ｚを示す浮動小数点値に対応する。奥行きデータは、例えばシーンのＣＧＩ部分について、１個以上の奥行きセンサにより取得されても、又は先験的に知られていてもよい。画像５０に含まれる奥行き範囲［ｚ_ｍｉｎ，ｚ_ｍａｘ］、すなわちシーンの最小奥行き値Ｚ_ｍｉｎと最大奥行き値ｚ_ｍａｘとの間に含まれる奥行き値の範囲は大きく、例えば０～１００メートルであってよい。奥行きデータを図５にグレーの影付きで表し、ピクセル（又は点）が暗いほど視点に近い。

画像５０は、ＧＯＰ（画像集団）と呼ばれるシーンの時間的に連続した画像の集団の一部であってよい。ＧＯＰは例えば、異なる種類の画像、例えばＩ画像（すなわち内部符号化画像）、Ｐ画像（すなわち予測符号化画像）、及び７０８までの「Ｂ」画像（すなわち双方向予測符号画像）を含んでいてよい。画像間に符号化関係が存在する。例えば、Ｉ画像を参照することによりＰ画像を符号化することができ、Ｂ画像はＩ及びＰ画像の参照を用いて符号化することができる。ＧＯＰは期間内画像集団の一部であってよく、すなわち２個のＩ画像間に含まれる一連の画像であって、第１のＩ画像が前記期間内画像集団に属していて期間内画像集団の開始を指すのに対し、（一時的に）第２のＩ画像が前記期間内画像集団ではなく後述の期間内画像集団に属する。

Ｉ画像は、他の全ての画像とは独立に符号化される画像である。各期間内画像集団はこの種の画像から（復号化順に）始まる。

Ｐ画像は、先に復号化された画像に対する運動補償された差分情報を含んでいる。ＭＰＥＧ－１、Ｈ．２６２／ＭＰＥＧ－２等の圧縮標準において、各Ｐ画像は１個の画像だけを参照することができ、当該画像は表示順及び復号化順にＰ画像に先行しなければならず、且つＩ又はＰ画像でなければならない。これらの制約はＨ．２６４／Ｍ ＰＥＧ－４ＡＶＣ及びＨＥＶＣ等のより新しい標準では生じない。

Ｂ画像には、先に復号化された画像に対する運動補償された差分情報を含んでいる。ＭＰＥＧ－１及びＨ．２６２／ＭＰＥＧ－２等の標準において、各Ｂ画像は２個の画像すなわち表示順でＢ画像に先行するもの及びこれに後続するものだけを参照することができ、且つ全ての参照画像はＩ又はＰ画像でなければならない。これらの制約は、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ及びＨＥＶＣ等のより新しい標準では生じない。

画像３０及び４０も画像５０と同様にＧＯＰの各部分であってよい。

図６に、３Ｄシーンを表すデータを、同じく３ＤｏＦ及び３ＤｏＦ＋レンダリングと互換性を有する形式で符号化、送信及び復号化する非限定的な例を示す。

３Ｄシーン６０の画像（又は３Ｄシーンの一連の画像）がエンコーダ６１によりストリーム６２に符号化される。ストリーム６２は、３ＤｏＦレンダリングの３Ｄシーンを表すデータ（例：画像３０の第１の部分のデータ）を担持する構文の第１の要素、及び３ＤｏＦ＋レンダリングの３Ｄシーンを表すデータ（例：画像３０及び画像４０の第２の部分のデータ）を担持する構文の少なくとも第２の要素を含んでいる。

エンコーダ６１は例えば以下のようにエンコーダに準拠している。
・ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ １０９１８－１ ＵＩＴ－Ｔ勧告Ｔ．８１、https://www.itu.int/rec/T-REC-T.81/en、
・ＭＰＥＧ－４ＡＶＣ又はｈ２６４とも称するＡＶＣ。ＵＩＴ－ＴＨ．２６４及びＩＳＯ／ＣＥＩ ＭＰＥＧ－４ Ｐａｒｔ１０（ＩＳＯ／ＣＥＩ １４４９６－１０）http://www.itu.int/rec/T-REC-H.264/en，ＨＥＶＣ（仕様をＩＴＵウェブサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、http://www.itu.int/rec/T-REC-H .265-201612-i/enで見ることができる）
・３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張であって仕様をＩＴＵウェブサイト、Ｔ勧告、Ｈシリーズ、ｈ２６５、http://www.itu.int/rec/T-REC-H.265-201612-l/en annex G and Iで見ることができる）、
・Ｇｏｏｇｌｅが開発してＶＰ９、又は
・Alliance for Open Mediaが開発したＡＶ１（AOMedia Video 1）。

デコーダ６３がソースからストリーム６２を取得する。例えば、ソースは、
－ローカルメモリ、例えばビデオメモリ又はＲＡＭ（ランダムアクセスメモリ（Random Access Memory））、フラッシュメモリ、ＲＯＭ（読出し専用メモリ（Read Only Memory））、ハードディスク、
－ストレージインターフェース、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェース、
－通信インターフェース、例えば有線インターフェース（例：バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はBluetooth（登録商標）インターフェース）、
－ユーザーがデータを入力できるようにするグラフィカルユーザーインターフェース等のユーザーインターフェースを含む集合に属している。

デコーダ６３は、３ＤｏＦレンダリング６４の場合ストリーム６２の構文の第１の要素を復号化する。３ＤｏＦ＋レンダリング６５の場合、デコーダはストリーム６２の構文の第１の要素及び構文の第２の要素を復号化する。

デコーダ６３は、エンコーダ６１に準拠しており、例えば
・ＪＰＥＧ、
・ＡＶＣ、
・ＨＥＶＣ、
・３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張）；
・ＶＰ９、又は
・ＡＶ１
等のデコーダに準拠している。

図７Ａ、７Ｂ及び７Ｃに、本原理の非限定的な一実施形態による、画像４０及び／又は５０の奥行きデータの量子化に用いることができる量子化関数の複数の例を示す。

図７Ａに、画像４０及び／又は５０の第１のピクセルに保存されている奥行きを表すデータの量子化に用いる量子化関数７１の第１の例を示す。横軸は（ｚ_ｍｉｎ＝０～ｚ_ｍａｘ＝５０メートルの範囲の浮動小数点値で表された）奥行きを表し、縦軸は（０～６５５３６の範囲の）量子化済み奥行き値を表す。量子化関数７１ｑ’（ｚ）は例えば次式のような奥行きｚのアフィン変換であり、
ここにＤは符号化ビット奥行きを表し、Ｄは、小さい量子化ステップを可能にする充分に量子化済み奥行き値を得るべく例えば図７Ａの例では１６に等しく、これは特に視点に近い被写体に対して良好な画質で奥行きを表すのに必要である。別の例によれば、Ｄは３２に設定されていてよい。

そのような量子化関数７１により、奥行きｚに依らず量子化誤差は同じである。例えば、１０ビット符号化（３Ｄシーンの奥行き全体、例えば５０メートルにわたり量子化済み奥行きの符号化に１０２４個の値が利用可能）の場合、誤差は特に前景被写体に対して５ｃｍであり、視認可能なアーチファクトを生成することができる。１２ビットの符号化の場合、誤差は０．８ｍｍである。量子化誤差は、ｅ_ｑ＝（ｚ_ｍａｘ－ｚ_ｍｉｎ）／２^Ｄであってよい。

図７Ｂに、画像４０及び／又は５０の第１のピクセルに保存されている奥行きを表すデータの量子化に用いる量子化関数７２の第２の例を示す。横軸は（Ｚ_ｍｉｎ＝０．１～ｚ_ｍａｘ＝５０メートルの範囲の浮動小数点値で表された）奥行きを表し、縦軸は（０～６５５３６の範囲の）量子化済み奥行き値を表す。量子化関数７２ｑ^ｉ（ｚ）は、例えば次式のような奥行き１／ｚの逆アフィン変換である。
ここにＤは符号化ビット奥行きを表し、Ｄは小さい量子化ステップを可能にする充分に量子化済み奥行き値を得るべく例えば図７Ｂの例では１６に等しく、これは特に視点から遠く離れた被写体に対して良好な画質で奥行きを表すのに必要である。別の例によれば、Ｄは３２に設定されていてよい。

そのような量子化関数７２により、量子化誤差は奥行きの小さい値では最小であるが、奥行きの値が大きければ極めて大きい。例えば、１０ビット符号化（３Ｄシーンの奥行き全体、例えば５０メートルにわたり量子化済み奥行きの符号化に１０２４個の値が利用可能）の場合、誤差は特にｚ_ｍａｘで２４メートルであるため、背景被写体に視認可能なアーチファクトが生成される恐れがある。１２ビットの符号化の場合、誤差は３８ｃｍである。量子化誤差は、ｅ_ｑ＝ｚ^２・（ｚ_ｍａｘ－ｚ_ｍｉｎ）／（２^Ｄ・Ｚ_ｍｉｎ・Ｚ_ｍａｘ）であってよい。

量子化関数７１、７２は知覚的に不整合である、すなわち人間の視力を考慮していない。図７Ｃに、画像４０及び／又は５０の第１のピクセルに保存されている奥行きを表すデータの量子化に用いる、量子化関数７３が知覚的に整合している量子化関数７３の第３の例を示す。

量子化関数の知覚的整合性を説明すべく次式のような量子化誤差関数を導く。

後者の量が、所与の奥行きｚで所与の量子化関数ｑ^ｘに対して１に等しい定量化デルタが生じた場合に生起する奥行きの変化量を表す。誤差関数は基本的に、（典型的に圧縮アーチファクトに起因する）誤りのある量子化された入力奥行きから得られた場合の奥行き値の変化の仕方を理解する一助となる。

また、図８に示す人間の視力の概念を導入する。後者は人間の目８１が３Ｄ空間内で２個の異なる点８５、８６を区別できる最小の角度
を表す。当該角度８２から、特定の距離ｚ８３で人間の目が識別できる２点８５、８６間の最小知覚可能距離δ（ｚ）８４を計算することができる。

知覚的整合性を表すパラメータαは次式で定義できる。

知覚的に整合する量子化スキームｑ^ｘは、考慮する奥行きに依らず最小の認知可能な距離に関して量子化
の誤差が一定であることを保証しなければならない。換言すれば次式が得られる。
これはｑ^ｌでもｑ^ｉでもない場合である。対照的に、ｑ^α（ｚ）により定義される量子化関数７３は知覚的に整合している。

上述の量子化関数７３は、以下の逆再帰的なシーケンスｚ_ｉ＋１＝（１＋α）ｚ_ｉ（但しｚ_０＝ｚ_ｍｉｎ）及び関連付けられた逆関数ｚ^α（ｑ）ｚ_ｍｉｎ（１＋ａ）^ｑを示唆する。更に、次式が成立することは明らかである。
これは奥行きｚに依らず（誤差は奥行きに関して線形である）関連付けられた量子化誤差が知覚的に整合していることを保証する。

にもかかわらず、量子化関数７３は量子化関数７１、７２と同様に、ＨＥＶＣエンコーダ等の従来型ビデオエンコーダが課す符号化ビット奥行き（典型的に８又は１０ビット或いは１２ビット）制約を満たさない。図７Ｃに見られるように、５０００個を超える、すなわち２１２個を超える値量子化済み奥行き値がＺ_ｍｉｎ＝０～ｚ_ｍａｘ＝５０メートルの範囲に含まれる奥行き範囲のために必要とされる。

図９に、本原理の非限定的な一実施形態による、画像４０又は５０から量子化パラメータを決定する処理の一例を示す。

第１の動作９０において、奥行きを表すデータ（画像４０、５０の各第１のピクセルに関連付けられた（又は保存されている）奥行き値）を含む画像４０（又は５０）が、第１のピクセルの複数のブロック、例えば第１のピクセルのブロックのアレイを形成する８×８又は１６×１６個の第１のピクセルのブロックに分割される。画像４０（又は５０）は任意選択的に画像９０１の集団の一部であってよい。量子化関数７１、７２又は７３等の同じ量子化関数が画像４０、すなわち画像４０の全てのブロックに適用される。画像４０がＧＯＰ９０１の一部である場合、同じ量子化関数が第１のピクセルの同じ複数のブロック内のＧＯＰの各画像（ＧＯＰの各画像が同様に分割されている）に適用される。図５の処理を、当該処理が単一の画像４０（又は５０）、例えば画像の右上ブロックに実行された場合は１ブロックを参照して記述し、同じ処理が各ブロックに同様に適用される。画像４０がＧＯＰ９０１の一部である場合、図５の処理を、ＧＯＰ９０１の各画像の全ての右上ブロックの和集合を表す１個の時空間ブロック９０２を参照して記述する。ブロック９０２は、ＧＯＰ９０１の各画像の全ての右上ブロックの全ての量子化済み奥行き値を含んでいる。画像４０の第１のピクセルの各ブロックは、当該ブロックが属する行番号「ｉ」及び列番号「ｊ」で表すことができる。ブロック９０２が表す第１のピクセルの複数のブロックは各画像の同じ行及び列番号を有している。

第２の動作９１において、量子化関数７３が画像４０の右上ブロック（又はＧＯＰ９０１の全ての画像の各右上ブロック）の奥行きデータに適用される。奥行きデータは、範囲９１２の限界に対応する最小奥行き値Ｚ_ｍｉｎ及び最大奥行き値Ｚ_ｍａｘを有する奥行き値９１２の範囲で表される。量子化関数７３を範囲９１２に適用することで量子化済み奥行き値９１１の範囲が取得可能になる。

第３の動作９２において、量子化された値９１１の範囲が解析されて一意なブロック毎の量子化器であって量子化済み奥行き値の範囲９１１を表す量子化パラメータに対応する量子化器を決定する。この目的を達成すべく、範囲９１１に対して候補量子化パラメータの集合が決定される。候補量子化パラメータの集合は、量子化済み奥行き値９１１の範囲を表す基準として使用できる複数の量子化済み奥行き値を含んでいる。候補量子化パラメータｑ^ｉ，ｊは、範囲［ｑ^ｉ，ｊ，ｑ^ｉ，ｊ＋Ｎ－１］第１のピクセルの考慮するブロックに対して以前に識別されている量子化済み奥行き値の範囲９１１をカバーするような量子化スケールの特別な値であり、Ｎは画像４０又は５０（或いはＧＯＰ９０１の画像）の奥行きデータの符号化に用いたエンコーダのビット奥行きが許容する符号化値の個数に対応する。一例として、ビット奥行きは１０ビット、Ｎ＝２^１０＝１０２４である。例えば、量子化済み奥行き値の範囲９１１が［３９９０，４７００］であり、Ｚ_ｍｉｎ＝３９９０且つｚ_ｍａｘ＝４７００とする。１０２４に等しいＮ９２１用の値を考慮すると、候補量子化パラメータの集合９２２は値の範囲［３６７６，４６９９］に対応し、３６７６＝Ｚ_ｍａｘ－Ｎである。画像４０（又はＧＯＰ９０１）の第１のピクセルの各ブロックに対し同じ処理を反復して画像４０（又はＧＯＰ９０１）の各ブロックの候補量子化パラメータの第１の集合を取得する。

第４の動作９３において、候補量子化パラメータの第１の集合の部分集合に対応する量子化パラメータの第２の集合が決定される。この目的を達成すべく、候補量子化パラメータの第１の集合内で、第１のピクセルの全てのブロック、すなわち量子化済み奥行き値の全範囲を表すために使用できる候補量子化パラメータの最小個数が決定される。この第２の集合は例えば、貪欲なアルゴリズムを適用して画像全体４０（又はＧＯＰ９０１全体）の最適にサイズ設定された第２の集合を得ることにより取得できる。貪欲なアルゴリズムは各段階で局所的に最適な選択を反復的に行う。一変型例によれば、第２の集合は遺伝的アルゴリズム又は進化的アルゴリズム或いは粒子スウォームアルゴリズムにより得られる。得られた量子化パラメータの第２の集合は例えば、図１０に関して記述する画像１００に保存することができる。

図１０に、本原理の非限定的な一実施形態による、画像４０又は５０（或いは画像４０又は５０を含むＧＯＰ）に関連付けられた量子化パラメータを表す情報を含む画像１００の一例を示す。

画像１００は、行及び列に配置された第２のピクセルのマトリクスに対応する。画像１００の列数は、画像４０の一行に含まれる第１のピクセルの個数をブロックの大きさで除算した値に対応し、行数は画像４０の一列に含まれる第１のピクセルの個数をブロックの大きさで除算した値に対応する。例えば、画像４０の大きさが４０９６×２１６０個の第１のピクセルであり、１ブロックの大きさが８×８個の第１のピクセルである場合、画像１００の列数は５１２、行数は２７０である。第２のピクセルの個数は従って５１２×２７０である。画像１００の各第２のピクセルは、画像４０又は５０（或いはＧＯＰ９０１）の第１のピクセルの対応ブロックに関連付けられている。例えば、左上の第２のピクセル１００_００は画像４０又は５０の第１のピクセル左上ブロックに関連付けられていて、当該左上第２のピクセルの参照番号１００_００の番号００は当該左上第２のピクセルが属する行及び列番号に対応する。第２のピクセルは参照番号１００_００～１００_ｍｎで識別でき、それらの番号は第２のピクセルが関連付けられている第１のピクセルのブロックの番号（画像４０又は５０の第１のピクセルのブロックのアレイの行及び列）に対応する。各第２のピクセルは、前記各第２のピクセルが関連付けられている第１のピクセルのブロックの量子化済み奥行き値の範囲を表すべく動作９３で決定された量子化パラメータを受信する。第２のいくつかのピクセルが同じ量子化パラメータ受信するため（第１のピクセルの少なくとも空間的に隣接するブロックが共通（同一）の第２の量子化パラメータを共有するため）、画像１００を符号化する場合の当該画像１００の圧縮効率は高い。

符号化された画像１００を送信する際のビットレートを低下させるべく、第２の集合の量子化パラメータに識別子をマッピングして、量子化パラメータではなく当該識別子を第２のピクセルに保存する。画像４０又は５０の第１のピクセルのブロックに含まれる量子化済み奥行き値の全範囲を表すのに数１０個の量子化パラメータで充分であることが分かっている。この特定の実施形態によれば、画像１００は第２のピクセル毎に１個の識別子を含んでいてよく、画像１００の１個の第２のピクセルが画像４０又は５０の第１のピクセルの１個のブロックに関連付けられている（又は対応する）ため、当該画像は識別子を第１のピクセルのブロックにマッピング可能にする。識別子と量子化パラメータとのマッピングは例えば、図１１に関して記述する表１１０のようにＬＵＴ（参照表）に保存することができる。

図１１に、本原理の非限定的な一実施形態による、画像４０又は５０に関連付けられた量子化パラメータに識別子をマッピングする表１１０の一例を示す。

表１１０は、第２の集合の量子化パラメータの値にマッピングする識別子「Ｉｄ」のリストを含み、１個の識別子は表の第１の部分１１１の１個の量子化パラメータにマッピングしており、１個の識別子は表１１２の第２の部分における複数の量子化パラメータにマッピングしている。識別子「Ｉｄ」は例えば８ビットに符号化することができ、Ｉｄが整数値０～２５５をなす。

一変型例によれば、表１１０を送信する際のビットレートを低下させるべく、第２の部分１１２の１個の識別子に関連付けられた複数の量子化パラメータの値を、当該量子化パラメータ値がマッピングする第１の部分１１１の識別子で代替する。例えば、識別子１２８は第１の部分識別子１、７、０及び０にマッピングするが、これはＩｄ１２８で識別される量子化パラメータが値１２００及び５０１０であることを意味し、１２００は第１の部分１１１の識別子「１」により識別され、５０１０は識別子「７」により識別されることを意味する。第２の部分１１２は、識別子１１０のリスト又は表の第１の部分１１１を指す。当該変型例によれば、識別子がマッピングする値は例えば３２ビットに符号化されていてよい。

第１の実施形態においては、第１の部分の大きさはエンコーダ及びデコーダが共有する固定値に設定される。例えば表１１０の大きさの半分である。図１１の例において、０～１２７の識別子を表１１０の第１の部分に使用し、１２８～２５５の識別子を表１１０の第２の部分に用いる。第１と第２の部分の比は異なっていてよく、表１１０に保存されている値を適切に復号化すべく第１及び第２の部分をデコーダが検索できるよう当該比率が既知である前提で、第１の部分では例えば識別子の６０％又は８０％であってよい。

別の実施形態において、第１の部分の大きさは、シーン及び図９のステップ９２の結果に依存する変数である。例えば、１個の画像集団（又は１個の期間内画像集団）にわたり、モーダル奥行き解析が上述のように実行されるが、表１１０の第１の部分の識別子の個数は当該ＧＯＰにわたり発見された単一モードの個数に１を加えた値である。モードの総数（単一と組み合わせの合計）が表１１０の大きさ（例：２５６個の値）を超える場合、知的な選択を実行して、例えば、更に２５６個の代表的又はより近いモードを維持することができる。次いで第１の部分の大きさが、当該ＧＯＰにわたり維持された単一モードの個数に１を加えた値に設定される。この大きさの値は、表１００に関連付けられたメタデータに追加された情報であり、従ってデコーダは第１の部分の大きさを検索して表ｌ１０に保存された値を適切に復号化することができる。

図１２に、本原理の非限定的な一実施形態による、画像４０又は５０のピクセルの単一ブロックに対して複数の量子化パラメータを決定する処理の一例を示す。

当該処理は図９に関して記述するものと同様であるが、量子化済み奥行き値の量子化スケールで隣接しない複数の範囲を含む第１のピクセルのブロックに適用される。このケースが出現するのは、第１のピクセルの１個のブロックでカバーされるシーンのコンテンツが異なる奥行きに位置するシーンの複数の被写体又は複数の被写体の一部を含む場合である。ＧＯＰを考慮する場合、ＧＯＰ中に運動が生じる場合に当該ケースが出現し得る。このような場合、第１のピクセルの考慮する１ブロックの量子化済み奥行き値全体を表すのに１個の単一定量化パラメータでは充分でない。

第１の動作１２０は、図９の第１の動作９０、すなわち画像４０（又はＧＯＰの画像）の第１のピクセルの複数のブロックへの分割に対応する。図１２の例によれば、第１のピクセル１２０４の特定のブロックを考慮する。ブロック１２０４はいくつかの領域１２０１、１２０２及び１２０３を含み、各領域は３Ｄシーン１０の被写体の一部に対応し、被写体１２０１～１２０３の各部間の奥行きにギャップがある状態で各部分は異なる奥行きにある。

第２の動作１２１は、図９の第２の動作９１、すなわち画像４０又は複数画像のＧＯＰに、特に図１２の例のブロック１２０４に同じ量子化関数（例：量子化関数７１、７２又は７３）を適用することに対応する。奥行き１２１１、１２１２及び１２１３の３個の範囲の各々がブロック１２０４の各領域１２０１、１２０２及び１２０３の奥行き値／データに対応する。これら３個の範囲は隣接しておらず、これらの範囲の間に距離のギャップが存在すること、すなわち範囲１２１１の下限と範囲１２１２の上限との間にギャップがあり、更に範囲１２１２の上限と範囲１２１３の下限の間に更なるギャップがあることを意味する。これらの奥行きの範囲に量子化関数を適用することで量子化済み奥行き値の３個の対応する範囲が、奥行き値の各範囲１２１１、１２１２及び１２１３毎に１個ずつ、量子化済み奥行き値の範囲のペア間にギャップがある状態で取得可能になる。

第３の動作１２２は、図９の第３の動作９２及び第４の動作９３、すなわち量子化パラメータの決定に対応する。同じ処理が適用されるが、符号化値の個数Ｎの一部だけが量子化済み奥行き値の各範囲用のエンコーダのビット奥行きが許容する。例えば、候補量子化パラメータの集合の決定に用いる符号化値の個数は、ブロック内で検出された奥行き値の範囲の個数でＮを除算した値、すなわち図１２の例では３である。Ｍ^{（ｉ，ｊ）}個の量化子
の組み合わせが第１のピクセルの各ブロックに関連付けられている。その場合、量子化パラメータ（量子化器とも呼ばれる）の定義が図９と比較して僅かに修正される。これは、関連する量子化済み奥行き値の範囲を範囲
がカバーするような量子化されたスケールの値となる。この後者の範囲
は例えば奥行きモードと呼ばれ、
がモードの長さである。エンコーダＮ＝２^Ｄの動的特性は各モード間で調和的に共有され、量化子毎の動的特性は新たな量化子が必要となる都度、すなわち１ブロック内で奥行き値の新たな範囲が検出される都度低下する。図１２の例において、候補量子化パラメータの３個の範囲１２２１、１２２２及び１２２３を、量子化済み奥行き値の各範囲毎に１個決定することができる。第１の範囲１２２１は［９７９，１３１９］ に、第２の範囲１２２２は［２８０９，３１４９］に、第３の範囲１２２３は［４３５９，４６９９］に等しくてよい、候補量子化パラメータの第１の集合の部分集合に対応する量子化パラメータの第２の集合が次いで図９に関して記述する第４の動作９３と同様に決定することができる。

量子化パラメータの例示的な個数（単一の奥行き範囲を含む単一モードブロック及び複数の奥行き範囲を含むマルチモードブロックのケースを含む）は、３Ｄシーン１０の例において、４０に近い（すなわち表１１０の第１の部分１１１に対応する１２８よりも低い）のに対し、マルチモードブロック（すなわち複数の奥行き範囲を有するブロック）に関与している量子化パラメータの異なる組み合わせの個数は例えば３０に近い（同時に表１１０の第２の部分１１２に対応する１２８よりも低い）。更に、マルチモードブロックの場合、関与する量子化パラメータＭ^{（ｉ，ｊ）}の個数は各ブロックで３を超えることは稀である。

各ブロックの異なるモード（すなわち単一モードびマルチモード）を保存して参照するコンパクトな方法は、各要素が３２ビットに符号化されている２５６個の要素（すなわち識別子）を有する図１１の量子化表１１０を考慮することにより達成できる。表内での位置に応じて、各要素は異なる仕方で（要素が第１の部分１１１又は第２の部分１１２のいずれに属するかに応じて）解釈できる。表の前半部分１１１（位置１～１２７、０は空ブロックのために予約済である）に属する場合、関連付けられた値は３２ビットの整数と解釈すべきであり、その値が量子化パラメータ値である。表の後半部分１１２（位置１２８～２５５に対する）に属する場合、３２ビットは最大４個の８ビット整数の組み合わせであって各整数が０～１２７の間に含まれていて表の前半部分の対応する要素を指していると解釈すべきである。表の当該第２の部分１１２は最大４個の量子化器の組み合わせを暗黙的に符号化して、対応する表位置が量子化マップ（すなわち画像１００）により参照されてマルチモードブロックを記述する。量子化マップ１００は、０～２５５（量子化表の大きさ）に含まれる値だけを含み、要素マップ毎に８ビット（すなわち第２のピクセル）により符号化することができる。

マルチモードブロックの場合、ブロック上の関与する量子化器の個数Ｍ^{（ｉ，ｊ）}は、量子化マップ１１１で対応する値の３２ビットに埋め込まれた４×８ビットの整数における非ゼロ値の個数を数えることにより推定することができる。後者の個数に応じて、各々の関連付けられたモード（単一モード及びマルチモード）の長さを直接導くことができる。

図１３に、本原理の非限定的な一実施形態による、画像４０又は５０の量子化済み奥行き値を符号化する方法の複数の例を示す。

第１の動作１３０において、図１２の動作１２０と同様に、量子化関数７１、７２又は７３等の量子化関数を用いて１ブロックの奥行き範囲が量子化される。量子化済み奥行き値の得られた範囲は、二つの異なる方法、すなわち動作１３１、１３２を伴う第１の方法Ａ、及び動作１３３、１３４を伴う第２の方法Ｂに従い符号化することができる。

方法Ａに関して、量子化パラメータは、図１２の動作１２２に関して記述したものと同様の動作１３１で決定される。画像１００及び関連付けられた表１１０が上述のように生成される。

動作１３２において、画像４０の奥行き値の量子化を実行することができる。そのために、（ｉ，ｊ）に位置するブロックの量子化パラメータ
が決定される。量子化パラメータの当該第２の集合を画像１００及び関連付けられた表１１０により暗黙的に記述する。量子化すべき所与の奥行きｚに対して、
を次式のような量子化パラメータと呼ぶ。

従って量子化済み奥行きを次式で表すことができる。
動作１３２に対応する図１３の部分に見られるように、後者の量子化関数は、各奥行き範囲の量子化パラメータを考慮して、各奥行き範囲の量子化に用いる量子化関数ｑ^αの「部分毎の」連結に対応する。しかし、奥行き符号化値は各ブロックに完全な符号化動的特性Ｎを使用可能にする一方、動作１３２のような単純な連結ではいくつかの問題が生じ得る。実際、各部分１３２２、１３２３内にある場合、ｑ^αの特性はビデオ符号化アーチファクトに対する良好な堅牢性を保証するが、各々の連結部分の限界ではあてはまらない。例えば、部分１３２３の下限に対応する部分１３２２の上限１３２１のレベルにおいて、符号化アーチファクトは、量子化された値をある奥行きモード１３２２から別の１３２３に（又は逆向きに）切り替えて復号化側に望ましくない視覚的影響を及ぼす場合がある。例えば、部分１３２３の下限における復号化された量子化済み奥行き値の誤差が１ならば、量子化関数で逆関数の部分１３２３ではなく逆量子化関数の部分１３２２の使用、又はその逆を導く場合がある。

方法Ａの問題を解決すべく方法Ｂを実行することができる。動作１３３において量子化パラメータが決定される。符号化値の個数Ｎを全ての範囲が共有する（図１２の動作１２２で説明したようにＮを範囲の個数で除算する）のではなく、符号化値の一部が予約済であり、当該部分は例えばＤＭＺと呼ばれる。当該部分は、関連付けられた量子化パラメータによる符号化に当該部分の値を使用できないという意味で予約済である。例えば、符号化値の個数Ｎの６．２５％、すなわちＮ＝１０２４の場合６４個の値が予約済である。このような変更は奥行きモード長の計算方法に影響を及ぼす。後者はこれまで
で表されたが、現在は
のように計算する必要がある。従ってこの安全地帯の導入は一方で、奥行き範囲毎に（すなわち量子化パラメータ毎に）割り当てられた符号化値の個数を若干減らすが、他方で各々の符号化された奥行きモード間の限界又は最前線での良好な堅牢さを保証する。この変更により、ブロック毎の量子化関数は僅かに調整されて最終的に次式で表すことができる。
及び

上述のブロック毎の量子化関数の結果を動作１３４に示す。縦軸に、各奥行きモード（又は各奥行き範囲）に関連付けられた量子化パラメータに従い符号化された量子化済み奥行き値を示す。動作１３４から明らかに分かるように、符号化値のＤＭＺのいくつかの部分が量子化済み奥行き値の符号化に使用されておらず、これらの部分は奥行きモード（奥行き範囲）の限度に位置する。符号化された量子化済み奥行き値を復号化する際に、復号化値がＤＭＺ部分に含まれる場合、当該値は単に廃棄されるためアーチファクトの生成が回避される。

図１４に、データがパケット方式の送信プロトコルを介して送信される場合における、３Ｄシーンの奥行きを表すデータを担持するストリームの構文の一実施形態の非限定的な一例を示す。図１４はビデオストリームの例示的な構造１４を示している。構造は、ストリームを構文の独立要素に組織するコンテナからなる。構造は、ストリームの全ての構文要素に共通なデータの集合であるヘッダ部分１４１を含んでいてよい。例えば、ヘッダ部分は、構文要素の各々の性質及び役割を記述した構文要素に関するメタデータを含んでいる。ヘッダ部分はまた、画像４０、５０の符号化に用いる視点の座標及び画像の大きさと解像度に関する情報を含んでいてよい。構造は、構文１４２の第１の要素を含むペイロード及び構文１４３の少なくとも１個の第２の要素を含んでいる。第１の構文要素１４２は、量子化パラメータを表すデータ、例えば画像１００及び任意選択的に表１１０を含んでいる。

１個以上の第２の構文要素１４３はジオメトリ情報、すなわち奥行き情報を含んでいる。１個以上の第２の構文要素１４３は例えば、量子化パラメータに従い符号化された量子化済み奥行き値を含んでいる。

一変型例によれば、１個以上の追加的な第２の構文要素１４３は画像３０のテクスチャを表すデータを含んでいる。

更なる任意選択的変型例によれば、ストリームは更に、以下のパラメータのうち少なくとも１個を、例えばメタデータの形式で含んでいる。
－ＤＭＺ値、
－量子化関数の計算に必要なパラメータ、例えばα及びＺ_ｍｉｎ、
－エンコーダビット奥行きが許容する符号化値の個数Ｎ。

以下のパラメータ又は少なくともその一部（例：量子化関数のＤＭＺ値又はパラメータ）はＧＯＰ毎に一回送信することができる。一変型例によれば、これらのパラメータはデコーダに保存されて送信されない。

説明目的のため、ＩＳＯＢＭＦＦファイル形式標準の関連で、テクスチャパッチ、ジオメトリパッチ及びメタデータは典型的に、テクスチャデータ及びジオメトリデータ自体がｍｄａｔ型の媒体データボックスに埋め込まれているｍｏｏｖ型のボックス内のＩＳＯＢＭＦＦトラックで参照される。

復号化側では、上述のメタデータの集合が取り出されて、受信された奥行きアトラスの各ブロックの非量子化に使用された。より厳密には、各ブロック（ｉ，ｊ）に対して、必要とされる量子化パラメータ（量化子とも呼ばれる）の集合
が量子化表１１０から導かれ、関連付けられたモード長
と共にマッピングする（Ｎ＝２^Ｄ）。ｑを非量子化したい量子化済み奥行きとする。ｋ^Ｚ，０≦ｋ^Ｚ＜Ｍ（ｉ，ｊ）が、
を満たすことに注意されたい。
（先に定義したように
）。
を関連付けられた量子化器とすると、画像４０又は５０の第１のピクセル（ｉ，ｊ）に関連付けられた奥行き値ｚを次式により非量子化することができる。
ｚ^αは量子化関数ｑ^αの逆関数である。

後者の例は、ＤＭＺを実装した方法に対応する。ＤＭＺを実装していない方法の場合、ＤＭＺ＝０として同一の式が成り立つ。

図１５に、図９、１２、１３、１６及び／又は１７との関連で記述する方法を実装すべく構成可能な装置１５のアーキテクチャの一例を示す。装置１５は、図６のエンコーダ６１又はデコーダ６３となるよう構成可能である。

装置１５は、データ及びアドレスバス１５１により紐付けられた以下の要素を含む。
－例えばＤＳＰ（デジタル信号プロセッサ（Digital Signal Processor））であるマイクロプロセッサ１５２（又はＣＰＵ）、
－ＲＯＭ（読出し専用メモリ（Read Only Memory））１５３、
－ＲＡＭ（ランダムアクセスメモリ（Random Access Memory））１５４、
－ストレージインターフェース１５５、
－送信するデータをアプリケーションから受信するためのＩ／Ｏインターフェース１５６、及び
－電源、例えば電池。

一例によれば、電源は装置の外部にある。上述の各メモリにおいて、本明細書で用いる用語「レジスタ」は、小容量（数ビット）の領域又は極めて大きい領域（例：プログラム全体又は受信或いは復号化された大量のデータ）に対応していてよい。ＲＯＭ１５３は少なくとも１個のプログラム及び複数のパラメータを含んでいる。ＲＯＭ１５３は、本原理に従い技術を実行するためのアルゴリズム及び命令を保存することができる。ＣＰＵ１５２はスイッチ投入時にＲＡＭ内のプログラムをアップロードして対応する命令を実行する。

ＲＡＭ１５４はレジスタ内に、装置１５のスイッチ投入後にＣＰＵ１５２により実行されてアップロードされるプログラムを含み、入力データをレジスタ内に、本方法の異なる状態の中間のデータをレジスタ内に、及び本方法の実行に用いる他の変数をレジスタ内に含んでいる。

本明細書に記述する実装方式は例えば、方法又は処理、装置、コンピュータプログラム製品、データストリーム、又は信号において行うことができる。（例：方法又は装置としてのみ議論された）単一の実装方式との関連で議論するに過ぎない場合であっても、議論する特徴の実装方式は他の方式（例：プログラム）に実装することができる。装置は例えば、適当なハードウェア、ソフトウェア、及びファームウェアに実装することができる。本方法は例えば一般に処理装置と呼ばれる例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理素子を含むプロセッサ等の装置に実装することができる。プロセッサはまた、通信機器、例えばコンピュータ、携帯電話、ポータブル／パーソナル携帯情報機器（「ＰＤＡ」）、及びエンドユーザー同士の情報通信を容易にする他の装置を含んでいる。

図６の符号化又はエンコーダ６１の一例によれば、３次元シーンの奥行きデータをソースから取得する。例えば、ソースは以下を含む集合に属する。
－ローカルメモリ、例えばビデオメモリ又はＲＡＭ（ランダムアクセスメモリ（Random Access Memory））、フラッシュメモリ、ＲＯＭ（読出し専用メモリ（Read Only Memory））、ハードディスク、
－ストレージインターフェース、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェース、
－通信インターフェース、例えば有線インターフェース（例：バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース又はBluetooth（登録商標）インターフェース）、
－ユーザーがデータを入力できるようにするグラフィカルユーザーインターフェース等のユーザーインターフェースを含む集合に属している。

図６の復号化又はデコーダ６３の複数の例によれば、ストリームが宛先へ送られ、具体的には、宛先は以下を含む集合に属する。
－ローカルメモリ（１５３又は１５４）、例えばビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク、
－ストレージインターフェース（１５５）、例えば大容量ストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェース、及び
－通信インターフェース（１５６）、例えば有線インターフェース（例えばバスインターフェース（例：ＵＳＢ（ユニバーサルシリアルバス（Universal Serial Bus）））、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、HDMI（登録商標）（高解像度マルチメディアインターフェース（High Definition Multimedia Interface））インターフェース）又は無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、WiFi（登録商標）又はBluetooth（登録商標）インターフェース）。

符号化又はエンコーダの複数の例によれば、３Ｄシーンの奥行きを表すデータを含むビットストリームが宛先へ送られる。一例として、ビットストリームはローカル又はリモートなメモリ、例えばビデオメモリ又はＲＡＭ、ハードディスクに保存される。一変型例において、ビットストリームはストレージインターフェース、例えば大容量ストレージ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェースへ送られる、及び／又は通信インターフェース、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークとのインターフェースを介して送信される。

図６の復号化又はデコーダ或いはレンダラ６３によれば、ソースからビットストリームが取得される。例示的に、ビットストリームはローカルメモリ、例えばビデオメモリ、ＲＡＭ、ＲＯＭ、フラッシュメモリ又はハードディスクから読み込まれる。一変型例において、ビットストリームはストレージインターフェース、例えば大容量ストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気サポートとのインターフェースから、及び／又は通信インターフェース、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークとのインターフェースから受信される。

複数の例によれば、装置１５は図９、１２、１３、１６及び／又は１７との関連で記述する方法を実装すべく構成されていて、以下を含む組に属する。
－モバイル機器、
－通信機器、
－ゲーム機器、
－タブレット（タブレットコンピュータ）、
－ラップトップ、
－静止画カメラ、
－ビデオカメラ、
－符号化チップ、
－サーバ（例：ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ）。

図１６に、本原理の非限定的な一実施形態による、３Ｄシーン、例えば３Ｄシーン１０の奥行きを表すデータを符号化する方法を示す。本方法は例えば、エンコーダ６１及び／又は装置１５に実装することができる。装置１５の異なるパラメータを更新することができる。３Ｄシーンは例えばソースから取得でき、３Ｄシーンの空間内で１個以上の視点を決定することができ、投影マッピングに関連付けられた複数のパラメータを初期化することができる。

第１の動作１６１において、奥行きを表すデータ（例：画像４０又は５０の視点と当該視点から視認可能な３Ｄシーンの複数の点との間の距離）が量子化されて、多数の量子化済み奥行き値を生成する。奥行きの範囲及び量子化関数に応じて、量子化済み奥行き値の個数は多く、例えば５０００超、５００００以上であってよい。量子化済み奥行き値の個数はいずれにせよ、奥行きデータの符号化に用いたエンコーダのビット符号化ビット奥行きが許容する符号化値の個数Ｎよりも多いか又は大幅に多い。一例として、符号化値の個数は２５６個の値（ビット奥行きが８ビット）に等しいか又は１０２４（ビット奥行きが１０ビット）に等しい。奥行きデータの量子化に用いる量子化関数は任意選択的に、奥行き及び人間の視覚を考慮した量子化誤差を有する機能であってよく、奥行きが深いほど量子化誤差が大きい。

第２の動作１６２において、３Ｄシーンの奥行きデータ、又は（例えば所定の視点に従う）３Ｄシーンの奥行きデータの少なくとも一部を含む画像４０又は５０の第１のピクセルの各ブロックに対して候補量子化パラメータの第１の集合が決定される。候補量子化パラメータは、量子化済み奥行き値のある範囲の量子化済み奥行き値を符号化する基準値として使用できる値であり、当該範囲はその下限及び上限Ｚ_ｍｉｎ及びＺ_ｍａｘにより画定される。第１の集合は、基準値として使用できる全ての可能な値を含んでいる。量子化済み奥行き値の範囲の候補量子化パラメータは例えば、当該範囲の値を符号化する際の開始又は初期値に対応していてよい。第１の集合は符号化値の個数Ｎに応じて決定され、すなわち候補量子化パラメータの値に等しい下限及び候補量子化パラメータの前記値に等しい上限＋（Ｎ－１）により画定される範囲が、前記候補量子化パラメータが表す量子化済み奥行きの範囲をカバーする。

第３の動作１６３において、量子化パラメータの第２の集合を動作１６２で得られた第１の集合の部分集合として決定する。量子化パラメータの第２の集合は、画像４０又は５０の全てのブロックの量子化済み奥行き値の全範囲を表すために使用可能な量子化パラメータの最小個数を含んでいる。候補量子化パラメータの選択は、第１の集合同士の共通集合に基づいていてよく、選択される候補量子化パラメータの個数を最小化する。第２の集合の少なくとも一部の同じ量子化パラメータを、第１のピクセルのいくつかのブロックに関連付けて用いてもよく、すなわち量子化済み奥行き値の複数の異なる範囲を表していてよい。

第４の動作１６４において、量子化パラメータの第２の集合が、例えば画像４０又は５０の第１のピクセルの１個のブロックに各々関連付けられている第２のピクセルを含む画像の形式で符号化され、各第２のピクセルは、第１のピクセルの関連付けられたブロックに含まれる量子化済み奥行き値の１個以上の範囲を符号化する際の基準として用いる１個以上の量子化パラメータを含んでいる。一変型例によれば、第２の集合の量子化パラメータは各々一意な識別子により識別され、各第２のピクセルは第１のピクセルの対応するブロックに関連付けられた１個以上の識別子を識別する１個以上の量子化パラメータを含んでいる。当該変型例によれば、識別子のリストを量子化パラメータにマッピングする表もまた符号化される。更なる変型例によれば、当該表は、各々が単一の量子化パラメータにマッピングする第１の識別子の第１のリスト及び各々が複数の第１の識別子にマッピングする第２の識別子の第２のリストを含んでいる。量子化パラメータの第２の集合は有利な特徴として、例えばデフレート圧縮アルゴリズム、又は連長符号化アルゴリズムにより無損失符号化される。表１１０もまた、有利な特徴として無損失符号化されている。

第５の動作１６５において、画像４０又は５０の第１のピクセルの各ブロックの量子化済み奥行き値が、量子化パラメータの第２の集合に従い符号化される。換言すれば、各ブロックの量子化済み奥行き値の各範囲が、第２の集合における自身の関連付けられた量子化パラメータに従い符号化される。量子化済み奥行き値は例えば、符号化されるか、又は所定のフォーマットに従い、例えばＨＥＶＣ／Ｈ２６５：「ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265」に従い、又はＡＶ１に従いコンテナ又はファイルのトラックにフォーマット化される。コンテナは例えばＩＳＯＢＭＦＦ（ISO Base Media File Format, ISO/IEC 14496-12-MPEG-4 Part 12）ファイルに対応する。

一変型例によれば、画像４０又は５０は画像集団（ＧＯＰ）の一部であり、ＧＯＰの奥行きデータの符号化は同じ第２の集合に従い実行される。当該変型例によれば、第２の集合は、ＧＯＰ毎に一回だけ送信されればよい。

更なる変型例によれば、本方法は、符号化された第２の集合及び符号化された量子化済み奥行き値を含むビットストリームの送信を含んでいる。

図１７に、本原理の非限定的な実施形態による、３Ｄシーン、例えば３Ｄシーン１０の奥行きを表すデータを復号化する方法を示す。本方法は例えば、デコーダ６３及び／又は装置１５に実装されていてよい。

第１の動作１７１において、量子化パラメータの集合が、例えば受信されたビットストリームから復号化される。当該集合の１個以上の量子化パラメータが画像４０又は５０の第１のピクセルの各ブロックに関連付けられていて、当該集合の量子化パラメータの少なくとも一部が画像４０又は５０の第１のピクセルの複数のブロックに共通である。

第２の動作１７２において、画像４０又は５０の第１のピクセルに関連付けられた量子化済み奥行き値は、第１のピクセルの各ブロックに関連付けられた１個以上の量子化パラメータにより符号化される。復号化された量子化済み奥行き値の個数は、量子化済み奥行きの符号化に用いたエンコーダの符号化ビット奥行きが許容する符号化値の個数Ｎよりも多い。

当然ながら、本開示は上述の実施形態に限定されない。

特に、本開示は、３Ｄシーンの奥行きを表す符号化／復号化データ用の方法及び装置に限定されず、符号化されたデータを含むビットストリームを生成する方法、及び当該方法を実行する任意の装置、特に少なくとも１個のＣＰＵ及び／又は少なくとも１個のＧＰＵを含む任意の装置に拡張される。

本開示はまた、ビットストリームの復号化されたデータからレンダリングされた画像を表示する方法（及びそのために構成された装置）にも関する。

本開示はまた、ビットストリームを送信及び／又は受信する方法（及びそのために構成された装置）にも関する。

本明細書に記述する実装方式は例えば、方法又は処理、装置、コンピュータプログラム製品、データストリーム、又は信号に実装することができる。単一形式の実装方式だけに関して議論（例えば方法又は装置としてのみ議論）された場合であっても、議論された特徴の実装方式は他の形式（例：プログラム）で実装することができる。ある装置は例えば、適当なハードウェア、ソフトウェア、及びファームウェアに実装することができる。本方法は例えば、一般に処理装置を指す、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含プロセッサ等の装置で実行することができる。プロセッサはまた、通信機器、例えばスマートフォン、タブレット、コンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、及びエンドユーザー同士で情報の通信を可能にする他の装置を含んでいる。

明細書に記述する各種の処理及び特徴の実装は、様々の異なる機材又はアプリケーション、特に、例えばデータ符号化、データ復号化、ビュー生成、テクスチャ処理、画像及び関連テクスチャ情報及び／又は奥行き情報の他の処理に関連付けられた機材又はアプリケーションにおいて実施することができる。そのような機材の例として、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信機器が含まれる。明らかなように、当該機材はモバイル機器であって、移動する乗り物にも取り付け可能である。

また、本方法はプロセッサが実行する命令により実行されてよく、そのような命令（及び／又は実装方式により生成されたデータ値）はプロセッサ可読媒体、例えば集積回路、ソフトウェア担持波又は、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク又はデジタルビデオディスクと呼ばれることが多いＤＶＤ等）、ランダムアクセスメモリ（Random Access Memory）（「ＲＡＭ」）、又は読出し専用メモリ（Read Only Memory）（「ＲＯＭ」）等の他の記憶装置に保存することができる。命令は、プロセッサ可読媒体に明示的に実装されたアプリケーションプログラムの形式をなしていてよい。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらを組み合わせたものであってよい。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はこれら二つの組み合わせに見られる。従って、プロセッサは例えば、処理を実行すべく構成された装置と、処理を実行する命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加え、又は命令に代えて、ある実装方式により生成されたデータ値を保存することができる。

当業者には明らかになるように、複数の実装方式により、例えば保存又は送信可能な情報を担持すべくフォーマット設定される様々な信号を生成できる。情報は例えば、ある方法を実行する命令、又は記述された実装方式の一つにより生成されたデータを含んでいてよい。例えば、記述した実施形態の構文を読み書きする規則をデータとして担持すべく、又は記述する実施形態に書かれた実際の構文値をデータとして担持すべく信号がフォーマット設定されていてよい。そのような信号は例えば、電磁波（例：スペクトルの無線周波数部分を用いて）として、又はベースバンド信号としてフォーマット設定されていてよい。フォーマット設定は例えば、データストリームを符号化して、符号化されたデータストリームと共に担持波を変調することを含んでいてよい。信号が担持する情報は例えば、アナログ又はデジタル情報であってよい。信号は公知のように各種の異なる有線又は無線リンクを介して送信することができる。信号はプロセッサ可読媒体に保存することができる。

多くの実装方式について記述したきた。にもかかわらず、各種の変更を加え得ることが理解されよう。例えば、異なる実装方式の要素を組み合わせ、補完、変更、又は除外して他の実装方式を生成することができる。また、当業者には、他の構造及び処理を開示したもので代替してよく、結果的に得られる実装方式が、実質的に同じ機能を実質的に同じ方式で実行して、開示した実装方式と少なくとも実質的に同じ結果が実現されることを理解されよう。従って、これら及び他の実装方式が本出願により考察される。

Claims (28)

1. ３Ｄシーンの奥行きを表すデータを符号化する方法であって、
   所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値の第１の範囲内で前記データを量子化することと、
   前記データを含む画像の第１のピクセルの各ブロックに対して、候補パラメータの第１の集合を決定することであって、候補パラメータは、符号化値の個数の制限内で量子化済み奥行き値の範囲を表す開始値であり、量子化済み奥行き値が前記範囲に含まれる、ことと、
   パラメータの第２の集合を複数の前記第１の集合の和集合の部分集合として、前記第２の集合が前記画像の第１のピクセルの複数のブロックに共通の候補パラメータを含むように、且つ前記第２の集合の１個以上のパラメータが前記画像の第１のピクセルの各ブロックに関連付けられるように決定することと、
   前記パラメータの第２の集合を符号化することと、
   前記パラメータの第２の集合に従い前記量子化済み奥行き値を符号化することと、を含む方法。
2. 前記パラメータの第２の集合にマッピングする識別子のリストが更に符号化され、前記パラメータの第２の集合が前記識別子のリストに従い符号化されている、請求項１に記載の方法。
3. 前記識別子のリストが、各々が前記第２の集合の１個のパラメータにマッピングされた複数の第１の識別子と、各々が複数の前記第１の識別子にマッピングされた複数の第２の識別子とを含み、前記パラメータの第２の集合が、前記画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージを符号化することにより符号化されていて、各第２のピクセルが、
   単一のパラメータが前記第１のピクセルのブロックに関連付けられている場合に、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第１の識別子、又は
   複数のパラメータが前記第１のピクセルのブロックに関連付けられている場合に、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第２の識別子を含んでいる、請求項２に記載の方法。
4. 前記リストが、前記リスト内の第１の識別子の個数を示す値に関連付けられている、請求項３に記載の方法。
5. 前記データが、奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従い量子化され、奥行きが深いほど量子化誤差が大きい、請求項１～４のいずれか１項に記載の方法。
6. 前記符号化値の個数が、前記第１のピクセルの各ブロックに含まれる前記量子化済み奥行き値を符号化すべく前記第１のピクセルの各ブロックに割り当てられていて、前記符号化値の個数の第１の部分が、前記第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲の符号化に割り当てられていて、符号化された量子化済み奥行き値の２個の範囲が前記符号化値の個数の第２の部分により分離されていて、前記第２の部分が量子化済み奥行き値の符号化に使用されない、請求項１～５のいずれか１項に記載の方法。
7. 前記画像が時間的に連続した画像の集団の一部であり、前記パラメータの第２の集合が、前記時間的に連続した画像の集団の各画像に共通である、請求項１～６のいずれか１項に記載の方法。
8. ３Ｄシーンの奥行きを表すデータを復号化する方法であって、
   パラメータの集合を、前記集合の１個以上のパラメータが画像の第１のピクセルの各ブロックに関連付けられていて、前記集合の前記パラメータの少なくとも一部が前記画像の第１のピクセルの複数のブロックに共通である状態で復号化し、パラメータは、符号化値の個数の制限内で量子化済み奥行き値の範囲を表す開始値である、こと、
   前記画像の前記第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、前記第１のピクセルの各ブロックに関連付けられた前記１個以上のパラメータに従い復号化すること、を含む方法。
9. 前記パラメータの集合にマッピングする識別子のリストが更に復号化され、前記パラメータの集合が前記識別子のリストに従い復号化されている、請求項８に記載の方法。
10. 前記識別子のリストが、各々が前記集合の１個のパラメータにマッピングされた第１の識別子及び各々が複数の前記第１の識別子にマッピングされた第２の識別子を含み、前記パラメータの集合が、前記画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージから復号化されていて、各第２のピクセルが、
    単一のパラメータが前記第１のピクセルのブロックに関連付けられている場合、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第１の識別子、又は
    複数のパラメータが前記第１のピクセルのブロックに関連付けられている場合、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第２の識別子を含んでいる、請求項９に記載の方法。
11. 前記リストが、前記リスト内の第１の識別子の個数を示す値に関連付けられている、請求項１０に記載の方法。
12. 前記データが、奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従い前記復号化された量子化済み奥行き値から取得され、奥行きが深いほど量子化誤差が大きい、請求項８～１１のいずれか１項に記載の方法。
13. 前記画像が、時間的に連続した画像の集団の一部であり、前記パラメータの集合が前記時間的に連続した画像の集団の各画像に共通である、請求項８～１２のいずれか１項に記載の方法。
14. 請求項１～７のいずれか１項に記載の方法をプロセッサに実行させる命令を保存している、非一時的プロセッサ可読媒体。
15. 請求項８～１３のいずれか１項に記載の方法をプロセッサに実行させる命令を保存している、非一時的プロセッサ可読媒体。
16. ３Ｄシーンの奥行きを表すデータを符号化すべく構成された装置であって、
    所定の符号化ビット奥行きが許容する符号化値の個数よりも多い個数の量子化済み奥行き値の第１の範囲内で前記データを量子化することと、
    
    前記データを含む画像の第１のピクセルの各ブロックに対して、候補パラメータの第１の集合を決定することであって、候補パラメータは、符号化値の個数の制限内で量子化済み奥行き値の範囲を表す開始値であり、量子化済み奥行き値が前記範囲に含まれる、ことと、
    パラメータの第２の集合を複数の前記第１の集合の和集合の部分集合として、前記第２の集合が前記画像の第１のピクセルの複数のブロックに共通の候補パラメータを含むように、且つ前記第２の集合の１個以上のパラメータが前記画像の第１のピクセルの各ブロックに関連付けられるように決定することと、
    前記パラメータの第２の集合を符号化することと、
    前記パラメータの第２の集合に従い前記量子化済み奥行き値を符号化することと、
    を行うように構成された少なくとも１個のプロセッサに関連付けられたメモリを含む装置。
17. 前記パラメータの第２の集合にマッピングする識別子のリストが更に符号化され、前記パラメータの第２の集合が前記識別子のリストに従い符号化されている、請求項１６に記載の装置。
18. 前記識別子のリストが、各々が前記第２の集合の１個のパラメータにマッピングされた複数の第１の識別子と、各々が複数の前記第１の識別子にマッピングされた複数の第２の識別子とを含み、前記パラメータの第２の集合が、前記画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージを符号化することにより符号化されていて、各第２のピクセルが、
    単一のパラメータが前記第１のピクセルのブロックに関連付けられている場合に、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第１の識別子、又は
    複数のパラメータが第１のピクセルの前記ブロックに関連付けられている場合に、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第２の識別子を含んでいる、請求項１７に記載の装置。
19. 前記リストが、前記リスト内の第１の識別子の個数を示す値に関連付けられている、請求項１８に記載の装置。
20. 前記データが、奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従い量子化され、奥行きが深いほど量子化誤差が大きい、請求項１６～１９のいずれか１項に記載の装置。
21. 前記符号化値の個数が、前記第１のピクセルの各ブロックに含まれる前記量子化済み奥行き値を符号化すべく前記第１のピクセルの各ブロックに割り当てられていて、前記符号化値の個数の第１の部分が、前記第１のピクセルの各ブロックに含まれる量子化済み奥行き値の各範囲の符号化に割り当てられていて、符号化された量子化済み奥行き値の２個の範囲が前記符号化値の個数の第２の部分により分離されていて、前記第２の部分が量子化済み奥行き値の符号化に使用されない、請求項１６～２０のいずれか１項に記載の装置。
22. 前記画像が時間的に連続した画像の集団の一部であり、前記パラメータの第２の集合が、前記時間的に連続した画像の集団の各画像に共通である、請求項１６～２１のいずれか１項に記載の装置。
23. ３Ｄシーンの奥行きを表すデータを復号化すべく構成された装置であって、
    パラメータの集合を、前記集合の１個以上のパラメータが画像の第１のピクセルの各ブロックに関連付けられていて、前記集合の前記パラメータの少なくとも一部が前記画像の第１のピクセルの複数のブロックに共通である状態で復号化することであって、パラメータは、符号化値の個数の制限内で量子化済み奥行き値の範囲を表す開始値である、ことと、
    前記画像の前記第１のピクセルに含まれる量子化済み奥行き値を、復号化された量子化済み奥行き値の個数が所定の符号化ビット奥行きが許容する符号化値の個数よりも多い状態で、前記第１のピクセルの各ブロックに関連付けられた前記１個以上のパラメータに従い復号化することと、
    を行うように構成された少なくとも１個のプロセッサに関連付けられたメモリを含む装置。
24. 前記パラメータの集合にマッピングする識別子のリストが更に復号化され、前記パラメータの集合が前記識別子のリストに従い復号化されている、請求項２３に記載の装置。
25. 前記識別子のリストが、各々が前記集合の１個のパラメータにマッピングされた第１の識別子及び各々が複数の前記第１の識別子にマッピングされた第２の識別子を含み、前記パラメータの集合が、前記画像の第１のピクセルのブロックの個数に対応する個数の第２のピクセルを含むイメージから復号化されていて、各第２のピクセルは、
    単一のパラメータが前記第１のピクセルのブロックに関連付けられている場合、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第１の識別子、又は
    複数のパラメータが前記第１のピクセルのブロックに関連付けられている場合、前記各第２のピクセルに対応する前記第１のピクセルのブロックに関連付けられた前記パラメータを識別する前記リストの第２の識別子を含んでいる、請求項２４に記載の装置。
26. 前記リストが、前記リスト内の第１の識別子の個数を示す値に関連付けられている、請求項２５に記載の装置。
27. 前記データが、奥行き及び人間の視覚を考慮した量子化誤差を有する量子化関数に従い復号化された量子化済み奥行き値から取得され、奥行きが深いほど量子化誤差が大きい、請求項２２～２６のいずれか１項に記載の装置。
28. 前記画像が時間的に連続した画像の集団の一部であり、前記パラメータの集合が、前記時間的に連続した画像の集団の各画像に共通である、請求項２２～２７のいずれか１項に記載の装置。

Images