JP2023072297A - 情報処理装置および方法 - Google Patents

Abstract

【課題】符号化効率を向上させることができるようにする。
【解決手段】３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、そのポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であるノーマル構造のポイントクラウドを、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がそのクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドに変換し、そのクラスタリング処理により生成されたクラスタ構造のポイントクラウドを符号化する。本開示は、例えば、情報処理装置、電子機器、情報処理方法、情報処理システム、またはプログラム等に適用することができる。
【選択図】図５

Description

本開示は、情報処理装置および方法に関し、特に、符号化効率を向上させることができるようにした情報処理装置および方法に関する。

従来、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを符号化する方法があった（例えば、特許文献１参照）。

国際公開第２０１９／１４２６６６号明細書

しかしながら、ポイントクラウドは、ポイント毎に位置情報および色情報が示されるため、ポイント数が増大するにしたがってそのデータ量も増大する。

本開示は、このような状況に鑑みてなされたものであり、符号化効率を向上させることができるようにするものである。

本技術の一側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ノーマル構造の前記ポイントクラウドをクラスタ構造の前記ポイントクラウドに変換するクラスタリング処理部と、前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する符号化処理部とを備え、前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である情報処理装置である。

本技術の一側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドを、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドに変換し、前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する情報処理方法である。

本技術の他の側面の情報処理装置は、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造がクラスタ構造の前記ポイントクラウドを生成する復号処理部と、前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造がノーマル構造の前記ポイントクラウドに変換する変換処理部とを備え、前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報がクラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である情報処理装置である。

本技術の他の側面の情報処理方法は、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、前記ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドを生成し、生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造が前記ポイントクラウドの各ポイントの前記位置情報および前記色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドに変換する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理が行われることにより、そのポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であるノーマル構造のポイントクラウドが、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がそのクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドに変換され、そのクラスタリング処理により生成されたクラスタ構造のポイントクラウドが符号化される。

本技術の一側面の情報処理装置および方法においては、符号化データが復号されることにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドが生成され、その生成されたクラスタ構造のポイントクラウドが、データ構造が、ポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であるノーマル構造のポイントクラウドに変換される。

符号化装置の主な構成例を示すブロック図である。 ノーマル構造の例を示す図である。 クラスタ構造の例を示す図である。 ブロックの例を示す図である。 ブロック化の例を示す図である。 データ構造の他の例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ポイントクラウドの符号化
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．付記

＜１．ポイントクラウドの符号化＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

特許文献１ ：（上述）

つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。

＜位置情報の色毎のクラスタリング＞
従来、例えば、特許文献１に記載のように、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドを符号化する方法があった。このようなポイントクラウドは、ポイント毎に位置情報および色情報が示されるため、ポイント数が増大するにしたがってそのデータ量も増大する。したがって、そのポイントクラウドの符号化データのデータ量も増大するおそれがあった。

例えば、表示する2D画像の視点位置や視線方向等を任意に設定することができる6DoFコンテンツの3D情報として、このようなポイントクラウドの符号化データをクライアントに提供する場合、表示時の視点位置や視線方向等が自由なため、ポイントクラウドの規模（ポイント数）は、一般的に、より大規模なものとなる（つまり、ポイント数が比較的多い）。つまり、ポイントクラウドの符号化効率のさらなる向上が求められる。

例えば、PLYなどの非圧縮点群フォーマットでは、1点につき位置情報 (x, y, z) と色情報 (r, g, b) 合計 6 パラメータのデータが格納されている。1パラメータにつき4バイト(floatの場合) の情報量を利用している場合、1点につき6パラメータ分の24バイトの情報が必要となる。また、x, y, z はそれぞれ2バイト (0 … 65,535) で、r, g, bはそれぞれ1バイト (0 … 255) で表現したとしても、合計9バイト必要になる。

このようにデータ量が多いデータを符号化しても、伝送する符号化データのデータ量を十分に小さくすることが困難であった。

そこで、ポイントクラウドの位置情報を色毎のクラスタに分類する。

例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ノーマル構造のポイントクラウドをクラスタ構造のポイントクラウドに変換するクラスタリング処理部と、そのクラスタリング処理により生成されたクラスタ構造のポイントクラウドを符号化する符号化処理部とを備えるようにする。なお、上述のノーマル構造は、ポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であり、クラスタ構造は、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造である。

例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であるノーマル構造のポイントクラウドを、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドに変換し、そのクラスタリング処理により生成されたクラスタ構造のポイントクラウドを符号化するようにする。

例えば、情報処理装置において、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造がクラスタ構造のポイントクラウドを生成する復号処理部と、その復号処理部により生成されたクラスタ構造のポイントクラウドを、データ構造がノーマル構造のポイントクラウドに変換する変換処理部とを備えるようにする。なお、上述のノーマル構造は、ポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であり、クラスタ構造は、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造である。

例えば、情報処理方法において、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドを生成し、その生成されたクラスタ構造のポイントクラウドを、データ構造がポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造であるノーマル構造のポイントクラウドに変換するようにする。

以上のようにすることにより、ポイントクラウドの符号化効率を向上させることができる。
＜２．第１の実施の形態＞
＜符号化装置＞
本技術は、例えば、図１に示されるような符号化装置１００に適用してもよい。図１は、本技術を適用した情報処理装置の一実施の形態である符号化装置１００の構成の一例を示すブロック図である。

図１に示される符号化装置１００は、入力されたポイントクラウドのデータを符号化し、符号化データを生成し、その符号化データを出力する。その際、符号化装置１００は、本技術を適用する。つまり、符号化装置１００は、データ構造がノーマル構造のポイントクラウドを取得する。本明細書において、ノーマル構造は、ポイントクラウドの各ポイントの位置情報および色情報がポイント毎に示されるデータ構造のことを示す。また、データ構造がノーマル構造のポイントクラウド（のデータ）をノーマルポイントクラウドとも称する。

そして、符号化装置１００は、そのノーマルポイントクラウドのデータ構造をクラスタ構造に変換する。本明細書において、クラスタ構造は、ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がそのクラスタ毎に示されるデータ構造のことを示す。また、データ構造がクラスタ構造のポイントクラウド（のデータ）をクラスタポイントクラウド、または、高効率ポイントクラウド（HEPC（High Efficiency Point Cloud））とも称する。

符号化装置１００は、変換後のクラスタポイントクラウドを符号化し、符号化データを生成する。上述のように、ノーマルポイントクラウドをクラスタポイントクラウドに変換する（つまり、ポイントクラウドのデータ構造をノーマル構造からクラスタ構造に変換する）ことにより、符号化装置１００は、ポイントクラウドのデータ量を、変換前に比べて低減させることができる。したがって、符号化装置１００は、そのクラスタポイントクラウドを符号化することにより、ノーマルポイントクラウドを符号化する場合よりもデータ量の少ない符号化データを生成し得る。つまり、符号化装置１００は、ノーマルポイントクラウドを符号化する場合よりも符号化効率を向上させることができる。

なお、図１においては、処理部やデータの流れ等の主なものを示しており、図１に示されるものが全てとは限らない。つまり、符号化装置１００において、図１においてブロックとして示されていない処理部が存在したり、図１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１に示されるように符号化装置１００は、クラスタリング処理部１１１、ブロック化処理部１１２、およびHEPC符号化処理部１１３を有する。なお、HEPC符号化処理部１１３は、差分生成処理部１２１および符号化処理部１２２を有する。

＜クラスタリング処理部＞
クラスタリング処理部１１１は、符号化装置１００の外部から供給されるノーマルポイントクラウドを取得する。クラスタリング処理部１１１は、このノーマルポイントクラウドに対してクラスタリング処理を実行し、クラスタポイントクラウドを生成する。

クラスタリング処理は、ある集合を何らかの規則によって分類する処理である。ここでは、ポイントクラウドの各ポイントを色毎のクラスタに分類する処理のことをクラスタリング処理と称する。なお、クラスタリング処理によってグルーピングされた部分集合のことをクラスタと称する。つまり、クラスタリング処理は、各ポイントを色毎に分類し、互いに同色のポイントが属するクラスタを生成する処理である。

つまり、クラスタリング処理部１１１は、ノーマルポイントクラウドに対して上述のようなクラスタリング処理を実行することにより、そのデータ構造をノーマル構造からクラスタ構造に変換する。換言するに、クラスタリング処理部１１１は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ノーマル構造のポイントクラウドをクラスタ構造のポイントクラウドに変換する。

図２にノーマル構造のポイントクラウドの例を示す。図２に示されるように、ノーマルポイントクラウドの場合、ポイントクラウドの各ポイント（P1,P2,P3,・・・）の位置情報[(x,y,z)]と色情報[(r,g,b)]は、ポイント毎に示される。

図３にクラスタ構造のポイントクラウドの例を示す。図３に示されるように、クラスタポイントクラウドの場合、ポイントクラウドの各ポイント（P1,P2,P3,・・・）の位置情報[(x,y,z)]は、色情報[(r,g,b)]毎に分類される。そして、色情報[(r,g,b)]はクラスタ毎に示され、クラスタ内の各ポイント（互いに同色のポイント）は、その位置情報[(x,y,z)]のみが示される。したがって、ポイントクラウドは、クラスタ構造の方がノーマル構造よりもそのデータ量が少ない。つまり、クラスタリング処理部１１１は、クラスタリング処理を実行することにより、ポイントクラウドのデータ量を低減させることができる。

なお、各クラスタの色（パレットカラー）は任意である。ノーマルポイントクラウドと異なる色であってもよい。つまり、クラスタリング処理部１１１は、クラスタリング処理において、各ポイントの色情報を各クラスタの色に変換してもよい。その変換のアルゴリズムは任意である。

クラスタ数（色数）は任意である。例えば、クラスタ数（つまり、クラスタの色情報の数）は、ノーマルポイントクラウドの色情報の数より少なくてもよい。例えば、フルカラーの色情報を持つノーマルポイントクラウドを、クラスタリング処理により、256色（８ビット）のクラスタに分類してもよい。このクラスタ数（色数）を低減させる程、クラスタポイントクラウドのデータ量を低減させることができる。

例えば、(r, g, b) 空間に分布する情報 (1点が1データに相当する) をnのクラスタにクラスタリングする処理 (ただし、nがターゲットとなる色数) と解釈することができる。例えば n = 256 で、全体の点数が1,000,000個である場合、1,000,000のデータを256のクラスタに分類する処理となる。n = 256程度のindex colorは、GIFなどの画像圧縮においても利用されており、減色によって画質が著しく劣化することがない。

なお、クラスタポイントクラウドにおける各クラスタの色情報は、インデックス番号により示されてもよい。その場合、クラスタリング処理部１１１は、例えば、インデックス番号と色情報との対応表をクラスタポイントクラウドに付加してもよい。

クラスタリング処理部１１１は、以上のように生成したクラスタポイントクラウドをブロック化処理部１１２に供給する。

＜ブロック化処理部＞
ブロック化処理部１１２は、クラスタポイントクラウドの位置情報を、所定のデータサイズで表現することができるように、３次元領域全体を所定のサイズのブロックに分割し、そのブロック内の位置情報を用いて、各ポイントの位置情報を表現する。

例えば、図４に示されるように、ブロック化処理部１１２は、バウンディングボックス１５１を複数のブロック１５２に分割する。そして、ブロック化処理部１１２は、そのブロック１５２内における位置情報を用いて、各ポイントの位置情報を表現する。ブロック１５２は、バウンディングボックス１５１に比べて領域が狭いので、そのブロック１５２内の位置情報は、より少ないデータ量で表現することができる。例えば、x, y, z それぞれ1バイトで表現できるサイズに空間をブロック化する。例えば、x, y, z の精度を1 mmとすれば、一辺 256 mm の立方体にブロックを区切れば、それぞれのブロックの中ではx, y, zそれぞれ1バイトで表現できる。こうすることで、そのブロック内では1点が3バイトで表現できるので効率的なデータ記録を実現できる。

つまり、ブロック化処理部１１２は、供給されたクラスタポイントクラウドに対してブロック化処理を実行する。本明細書において、ブロック化処理は、クラスタポイントクラウドの位置情報のデータ構造をブロック構造に変換する処理を示す。また、ブロック構造は、各ポイントの位置情報を、ブロックの位置情報と、ポイント毎に示されるブロック内の位置情報との組み合わせにより示すデータ構造である。

図５にブロック化後のデータ構造の例を示す。図５に示されるように、この場合のポイントクラウドの色情報は、クラスタ毎に指定される。また、位置情報は、ブロック毎に示されるブロックの位置情報と、ポイント毎に示されるブロック内の位置情報との組み合わせにより示される。したがって、１ポイント当たりのデータ量を低減させることができる。

なお、生成するブロックの数は任意である。また、各ブロックの形状は任意である。例えば、各座標方向のブロックサイズが均等であってもよいし均等でなくてもよい。また、全ブロックの形状および大きさが同一でなくてもよい。

また、ポイントが存在しない領域のブロックを省略してもよい。このようにすることにより、不要なブロックの増大を抑制することができるので、同一範囲をより少ないブロック数で表現することができる。つまり、同一ブロック数でより広範囲を表現することができる。ブロック数を低減させることにより、ポイントクラウドのデータ量をより低減させることができる。

また、ブロック化処理部１１２は、このブロック化処理において、ポイントクラウドに対して、ブロック毎にそのブロックに関する情報を付加してもよい。例えば、ブロック化処理部１１２は、そのブロックの識別情報（インデックス番号等）、そのブロックの基準位置の位置情報、そのブロックの範囲を示す情報、内包するポイント数等を、ブロックに関する情報としてポイントクラウドに付加してもよい。

例えば、ポイントクラウドを図６に示されるようなデータ構造とし、[Header]において、全体領域の情報（範囲指定（座標）、ポイント数、色数、ブロック数等）を示してもよい。また、カラーテーブル（インデックス番号とRGB値の表）を[Header]に付加してもよい（[colorTable]）。

さらに[Body]において、[Blockheder]と[Blockbody]をブロック毎に付加してもよい。[Blockheder]においては、カラーインデックス番号、ブロックの全体領域内座標、ブロックサイズ、およびポイント数等が示されてもよい。また、[Blockbody]いおいては、各ポイントのブロック内座標が示されてもよい。

なお、[Blockheder]は、[Header]に[BlockheaderTable]としてまとめて記載してもよい。

ブロック化処理部１１２は、以上のようなブロック化処理によって、位置情報のデータ構造をブロック構造に変換したクラスタポイントクラウドをHEPC符号化処理部１１３（差分生成処理部１２１）に供給する。

＜HEPC符号化処理部＞
HEPC符号化処理部１１３は、高効率ポイントクラウド（HEPC）の符号化に関する処理を行う。

＜差分生成処理部＞
差分生成処理部１２１は、供給されたクラスタポイントクラウドの位置情報について、各ポイントが所定の順に整列された場合において隣接するポイント同士で位置情報の差分を生成する。最初に、差分生成処理部１２１は、供給されたクラスタポイントクラウドの各ポイントを、その位置情報に基づいて１次元に（所定順、できるだけ近傍点同士が近い順となるように）ソートする。このソート順は任意である。例えば、差分生成処理部１２１は、Z軸ソート→Y軸ソート→X軸ソートのように、各ポイントを各軸に沿ってソートしてもよい。また、例えば、差分生成処理部１２１は、各ポイントをモートンコード順にソートしてもよい。

そして、差分生成処理部１２１は、そのソート順において処理対象ポイントの次のポイントを参照ポイントとし、処理対象ポイントの位置情報と参照ポイントの位置情報との差分を算出する。

なお、差分生成処理部１２１は、３次元空間において所定の大きさの範囲内に位置するポイント同士で差分を生成してもよい。つまり、差分生成処理部１２１は、ソート順において処理対象ポイントの次のポイントが処理対象ポイントの近傍点（所定の範囲内の点）である場合、そのポイントを参照ポイントとしてもよい。換言するに、差分生成処理部１２１は、処理対象ポイントの次のポイントが処理対象ポイントから所定の基準以上離れている場合、そのポイントを参照ポイントとしない。つまり、差分生成処理部１２１は、その場合、処理対象ポイントの差分を生成しない。この場合、処理対象ポイントの位置情報は、絶対値（参照ポイントとの差分ではない値）で示される。

このように参照ポイントとする範囲を限定することにより、差分生成処理部１２１は、差分表現のビット数を低減させることができ、データ量の増大を抑制することができる。なお、参照ポイントとする範囲を限定しなくても差分を導出することにより、位置情報の値は小さくなるので符号化効率を向上させることができる。ただし、上述のように参照ポイントとする範囲を限定することにより、さらに符号化効率を向上させることができる。

なお、この範囲の形状や大きさは任意である。各軸座標を差分表現するためのビット数が均等でもよいし、均等でなくてもよい。

また、差分化の方法は任意である。例えば、差分生成処理部１２１が、適用する差分化の方法を、複数の候補の中から選択してもよい。つまり、差分生成処理部１２１は、差分を生成する方法の複数の候補の中から選択した方法を用いて差分を生成してもよい。例えば、差分表現のビット数（全体や軸方向毎）が互いに異なる複数の方法を候補として用意してもよい。差分表現のビット数に応じて差分表現可能な距離が設定される。また、候補の選択方法は任意である。例えば、ユーザ等の外部指定に基づいて選択されてもよい。また、各候補の処理結果より最適なものを選択してもよい。

また、適用した方法を示す情報（インデックス等）をポイントクラウドに付加してもよい。例えば、差分表現の適用の有無を示すフラグ情報や、適用方法を示す情報等をポイントクラウドに付加してもよい。

差分生成処理部１２１は、以上のように、適宜差分を生成すると、その高効率ポイントクラウド（HEPC）を符号化処理部１２２に供給する。

＜符号化処理部＞
符号化処理部１２２は、供給された高効率ポイントクラウド（HEPC）を符号化する。つまり、符号化処理部１２２は、クラスタリング処理により生成されたクラスタポイントクラウドを符号化し、その符号化データを生成する。上述したように、この符号化されるクラスタポイントクラウドは、ブロック化処理部１１２により位置情報がブロック化されてもよいし、差分生成処理部１２１により位置情報が差分に変換されていてもよい。この符号化方法は任意である。

符号化データを生成すると、符号化処理部１２２は、生成したその符号化データを符号化装置１００の外部に出力する。

以上のような構成を有することにより、符号化装置１００は、ポイントクラウドの符号化効率を向上させることができる。

＜符号化処理の流れ＞
この符号化装置１００により実行される符号化処理の流れの例を、図７のフローチャートを参照して説明する。

符号化処理が開始されると、クラスタリング処理部１１１は、ステップＳ１０１において、クラスタリング処理を実行し、ノーマルポイントクラウドの位置情報を色毎に分類する。

ステップＳ１０２において、ブロック化処理部１１２は、ブロック化処理を実行し、ステップＳ１０１において生成されたクラスタポイントクラウドの位置情報をブロック化する。

ステップＳ１０３において、差分生成処理部１２１は、そのクラスタポイントクラウドの位置情報の差分を生成する。

ステップＳ１０４において、符号化処理部１２２は、そのクラスタポイントクラウドを符号化し、符号化データを生成する。

ステップＳ１０５において、符号化処理部１２２は、その符号化データを符号化装置１００の外部に出力する。

ステップＳ１０５の処理が終了すると符号化処理が終了する。

以上のように各処理を実行することにより、符号化装置１００は、ポイントクラウドの符号化効率を向上させることができる。

＜３．第２の実施の形態＞
＜復号装置＞
本技術は、例えば、図８に示されるような復号装置３００に適用してもよい。図８は、本技術を適用した情報処理装置の一実施の形態である復号装置３００の構成の一例を示すブロック図である。

図８に示される復号装置３００は、入力されたクラスタポイントクラウドの符号化データを復号し、クラスタポイントクラウドを生成し、そのクラスタポイントクラウドをノーマルポイントクラウドに変換し、そのノーマルポイントクラウドをレンダリングして表示用2D画像を生成し、表示する。したがって、復号装置３００は、ノーマルポイントクラウドの符号化データを復号する場合よりも符号化効率を向上させることができる。復号装置３００は、例えば、符号化装置１００（図１）により生成されたクラスタポイントクラウドの符号化データを取得し、復号する。

なお、図８においては、処理部やデータの流れ等の主なものを示しており、図８に示されるものが全てとは限らない。つまり、復号装置３００において、図８においてブロックとして示されていない処理部が存在したり、図８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図８に示されるように復号装置３００は、HEPC復号処理部３１１、3D情報生成処理部３１２、および表示処理部３１３を有する。また、HEPC復号処理部３１１は、復号処理部３２１および加算処理部３２２を有する。また、表示処理部３１３は、表示用2D画像生成処理部３３１および表示部３３２を有する。

＜HEPC復号処理部＞
HEPC復号処理部３１１は、復号装置３００に入力された高効率ポイントクラウド（HEPC）の符号化データを取得する。そして、HEPC復号処理部３１１は、その符号化データを復号し、高効率ポイントクラウドを生成する。

＜復号処理部＞
復号処理部３２１は、復号装置３００に入力された高効率ポイントクラウド（HEPC）の符号化データを取得する。そして、復号処理部３２１は、その符号化データを復号し、高効率ポイントクラウド、すなわち、クラスタポイントクラウドを生成（復元）する。換言するに、復号処理部３２１は、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造がクラスタ構造のポイントクラウドを生成する。

この復号方法は、符号化処理部１２２が適用した符号化方法（すなわち、復号対象の符号化データに適用された符号化方法）に対応するものであれば任意である。

なお、この復号処理部３２１により生成されたクラスタポイントクラウドの位置情報は、処理対象ポイントと参照ポイントとの差分を含み得る。復号処理部３２１は、生成したクラスタポイントクラウドを加算処理部３２２に供給する。

＜加算処理部＞
加算処理部３２２は、復号処理部３２１から供給されたクラスタポイントクラウドを取得し、その位置情報に含まれる差分に対する位置情報の加算を行う。換言するに、加算処理部３２２は、復号処理部３２１により生成されたクラスタポイントクラウドにおいて、処理対象ポイントの位置情報が、参照ポイントの位置情報との差分で示される場合、参照ポイントの位置情報を差分に加算することにより、処理対象ポイントの位置情報を生成する。なお、参照ポイントは、上述したように所定のソート順において、処理対象ポイントの次のポイントである。このように、加算処理部３２２は、各ポイントの位置情報を差分表現から絶対値表現に変換する。なお、処理対象ポイントの位置情報が絶対値で表現されている場合、加算処理部３２２は、その処理対象ポイントに対する加算処理を省略する。

なお、上述したように、ソート順において処理対象ポイントの次のポイントが、3次元領域において処理対象ポイントから所定の範囲内に位置する場合のみ、そのポイントを参照ポイントとしてもよい。その場合、加算処理部３２２は、３次元領域において参照ポイントが処理対象ポイントの位置を基準とする所定の範囲の領域内に存在する場合、参照ポイントの位置情報を差分に加算してもよい。

加算処理部３２２は、適宜、加算処理を行い、位置情報を絶対値表現に変換したクラスタポイントクラウドを3D情報生成処理部３１２に供給する。

＜3D情報生成処理部＞
3D情報生成処理部３１２は、加算処理部３２２から供給されたクラスタポイントクラウドのデータ構造を変換し、ノーマルポイントクラウドを生成する。換言するに、3D情報生成処理部３１２は、復号処理部３２１により生成されたクラスタ構造のポイントクラウドを、データ構造がノーマル構造のポイントクラウドに変換する。つまり、3D情報生成処理部３１２は、変換処理部とも言える。

この変換の方法は任意である。例えば、3D情報生成処理部３１２は、各クラスタの色情報を、そのクラスタに属する各ポイントの位置情報に付加し、クラスタ毎に分類された各ポイントの位置情報および色情報を統合する。すなわち、3D情報生成処理部３１２は、クラスタポイントクラウドのクラスタ構造を解消し、ノーマル構造に変換する。換言するに、3D情報生成処理部３１２は、各ポイントの位置情報が、３次元領域全体（例えばバウンディングボックス全体）における位置情報で表現されるようにする。

また、この変換対象のクラスタポイントクラウドは、上述したように、その位置情報がブロック化されていてもよい。換言するに、復号処理部３２１により生成されたクラスタポイントクラウドの位置情報のデータ構造が、各ポイントの位置情報をブロックの位置情報と、ポイント毎に示されるブロック内の位置情報との組み合わせにより示すブロック構造であってもよい。そして、3D情報生成処理部３１２は、その位置情報のデータ構造を、ブロック構造から、各ポイントの位置情報を３次元領域全体における位置情報により示すノーマル構造に変換してもよい。

3D情報生成処理部３１２は、以上のように生成したノーマルポイントクラウドを表示処理部３１３（表示用2D画像生成処理部３３１）に供給する。

＜表示処理部＞
表示処理部３１３は、3D情報生成処理部３１２から供給されるノーマルポイントクラウドの表示に関する処理を行う。

＜表示用2D画像生成処理部＞
表示用2D画像生成処理部３３１は、3D情報生成処理部３１２から供給されるノーマルポイントクラウドをレンダリングし、自由視点の表示用2D画像を生成する。つまり、表示用2D画像生成処理部３３１は、ユーザ等により指定される視点位置および視線方向等の表示用2D画像を生成するように、ノーマルポイントクラウドをレンダリングする。表示用2D画像生成処理部３３１は、生成した表示用2D画像を表示部３３２に供給する。

表示部３３２は、2D画像の表示デバイスを有し、表示用2D画像生成処理部３３１により生成された表示用2D画像をその表示デバイスに表示させる。つまり、ユーザに対してその表示用2D画像が提示される。

以上のように、復号装置３００は、クラスタポイントクラウドの符号化データを復号し、そのクラスタポイントクラウドをノーマルポイントクラウドに変換し、自由視点の2D画像の表示に利用する。したがって、復号装置３００は、ポイントクラウドの符号化効率を向上させることができる。

例えば、100万点程度の点群データを2Mbytes程度に圧縮することができる。また、30万点程度の点群データは800kbytes程度に圧縮できる。この場合、毎秒30フレームとすると約24Mbytesとなり、現実的な帯域で3Dデータを伝送することができる。1点あたりの情報量で評価すると、14から22 bit per point (bpp) 程度となる。

＜復号処理の流れ＞
この復号装置３００により実行される復号処理の流れの例を、図９のフローチャートを参照して説明する。

復号処理が開始されると、復号処理部３２１は、ステップＳ３０１において、符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、そのポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報がクラスタ毎に示されるデータ構造であるクラスタ構造のポイントクラウドを生成する。

ステップＳ３０２において、加算処理部３２２は、ステップＳ３０１において得られたクラスタポイントクラウドに含まれる差分表現の位置情報（差分情報とも称する）に、参照ポイントの位置情報（参照情報とも称する）を加算し、絶対値表現の位置情報を生成する。

ステップＳ３０３において、3D情報生成処理部３１２は、そのクラスタポイントクラウドのデータ構造を変換し、ノーマルポイントクラウドを生成する。換言するに、3D情報生成処理部３１２は、そのクラスタポイントクラウドを、ノーマルポイントクラウドに変換する。その際、3D情報生成処理部３１２は、そのクラスタポイントクラウドの位置情報がブロック構造化されている場合、その位置情報のデータ構造をノーマル構造に変換してもよい。

ステップＳ３０４において、表示用2D画像生成処理部３３１は、ステップＳ３０３の処理により生成されたノーマルポイントクラウドをレンダリングし、表示用2D画像を生成する。

ステップＳ３０５において、表示部３３２は、その表示用2D画像を表示する。

ステップＳ３０５の処理が終了すると復号処理が終了する。

以上のように各処理を実行することにより、復号装置３００は、ポイントクラウドの符号化効率を向上させることができる。

＜４．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図１０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が実行される。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、コンピュータが実行するプログラムは、以下のような特徴を有していてもよい。例えば、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、プログラムを記述するステップの処理が並列に実行されるようにしてもよい。さらに、プログラムを記述するステップの処理が、呼び出されとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。また、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と組み合わせて実行されるようにしてもよい。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ノーマル構造の前記ポイントクラウドをクラスタ構造の前記ポイントクラウドに変換するクラスタリング処理部と、
前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する符号化処理部と
を備え、
前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、
前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である
情報処理装置。
（２） 前記クラスタリング処理部は、前記クラスタリング処理において、前記ポイントの前記色情報を前記クラスタの前記色情報に変換する
（１）に記載の情報処理装置。
（３） 前記クラスタの前記色情報の数は、前記ノーマル構造の前記ポイントクラウドの前記色情報の数より少ない
（２）に記載の情報処理装置。
（４）前記クラスタ構造の前記ポイントクラウドは、各クラスタの前記色情報をインデックス番号により示す
（２）または（３）に記載の情報処理装置。
（５） 前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報のデータ構造をブロック構造に変換するブロック化処理を行うブロック化処理部をさらに備え、
前記ブロック構造は、各ポイントの前記位置情報を、ブロックの位置情報と、前記ポイント毎に示される前記ブロック内の位置情報との組み合わせにより示すデータ構造である
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記ブロック化処理部は、前記ブロック化処理において、前記ブロックに関する情報を前記ブロック毎に付加する
（５）に記載の情報処理装置。
（７） 前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報について、各ポイントが所定の順に整列された場合において隣接するポイント同士で前記位置情報の差分を生成する差分生成処理部をさらに備え、
前記符号化処理部は、前記クラスタ構造の前記ポイントクラウドの前記位置情報として、前記差分生成処理部により生成された前記差分を符号化する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記差分生成処理部は、３次元空間において所定の大きさの範囲内に位置するポイント同士で前記差分を生成する
（７）に記載の情報処理装置。
（９） 前記差分生成処理部は、前記差分を生成する方法の複数の候補の中から選択した方法を用いて前記差分を生成する
（７）または（８）に記載の情報処理装置。
（１０） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドを、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドに変換し、
前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する
情報処理方法。

（１１） 符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造がクラスタ構造の前記ポイントクラウドを生成する復号処理部と、
前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造がノーマル構造の前記ポイントクラウドに変換する変換処理部と
を備え、
前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、
前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報がクラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である
情報処理装置。
（１２） 前記変換処理部は、各クラスタの前記色情報を、前記クラスタに属する各ポイントの前記位置情報に付加し、前記クラスタ毎に分類された各ポイントの前記位置情報および前記色情報を統合する
（１１）に記載の情報処理装置。
（１３） 前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報のデータ構造がブロック構造であり、
前記変換処理部は、前記位置情報の前記データ構造を、前記ブロック構造からノーマル構造に変換し、
前記ブロック構造は、各ポイントの前記位置情報を、ブロックの位置情報と、前記ポイント毎に示される前記ブロック内の位置情報との組み合わせにより示すデータ構造であり、
前記位置情報の前記ノーマル構造は、各ポイントの前記位置情報を３次元領域全体における位置情報により示すデータ構造である
（１１）または（１２）に記載の情報処理装置。
（１４） 前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドにおいて、処理対象ポイントの前記位置情報が、参照ポイントの前記位置情報との差分で示される場合、前記参照ポイントの前記位置情報を前記差分に加算することにより、前記処理対象ポイントの前記位置情報を生成する加算処理部をさらに備える
（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記加算処理部は、３次元領域において前記参照ポイントが前記処理対象ポイントの位置を基準とする所定の範囲の領域内に存在する場合、前記参照ポイントの前記位置情報を前記差分に加算する
（１４）に記載の情報処理装置。
（１６） 符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、前記ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドを生成し、
生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造が前記ポイントクラウドの各ポイントの前記位置情報および前記色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドに変換する
情報処理方法。

１００ 符号化装置， １１１ クラスタリング処理部， １１２ ブロック化処理生成部， １１３ HEPC符号化処理部， １２１ 差分生成処理部， １２２ 符号化処理部， ３００ 復号装置， ３１１ HEPC復号処理部， ３１２ 3D情報生成処理部， ３１３ 表示処理部， ３２１ 復号処理部， ３２２ 加算処理部， ３３１ 表示用2D画像生成処理部， ３３２ 表示部， ９００ コンピュータ

Claims (16)

1. ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、ノーマル構造の前記ポイントクラウドをクラスタ構造の前記ポイントクラウドに変換するクラスタリング処理部と、
   前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する符号化処理部と
   を備え、
   前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、
   前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である
   情報処理装置。
2. 前記クラスタリング処理部は、前記クラスタリング処理において、前記ポイントの前記色情報を前記クラスタの前記色情報に変換する
   請求項１に記載の情報処理装置。
3. 前記クラスタの前記色情報の数は、前記ノーマル構造の前記ポイントクラウドの前記色情報の数より少ない
   請求項２に記載の情報処理装置。
4. 前記クラスタ構造の前記ポイントクラウドは、各クラスタの前記色情報をインデックス番号により示す
   請求項２に記載の情報処理装置。
5. 前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報のデータ構造をブロック構造に変換するブロック化処理を行うブロック化処理部をさらに備え、
   前記ブロック構造は、各ポイントの前記位置情報を、ブロックの位置情報と、前記ポイント毎に示される前記ブロック内の位置情報との組み合わせにより示すデータ構造である
   請求項１に記載の情報処理装置。
6. 前記ブロック化処理部は、前記ブロック化処理において、前記ブロックに関する情報を前記ブロック毎に付加する
   請求項５に記載の情報処理装置。
7. 前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報について、各ポイントが所定の順に整列された場合において隣接するポイント同士で前記位置情報の差分を生成する差分生成処理部をさらに備え、
   前記符号化処理部は、前記クラスタ構造の前記ポイントクラウドの前記位置情報として、前記差分生成処理部により生成された前記差分を符号化する
   請求項１に記載の情報処理装置。
8. 前記差分生成処理部は、３次元空間において所定の大きさの範囲内に位置するポイント同士で前記差分を生成する
   請求項７に記載の情報処理装置。
9. 前記差分生成処理部は、前記差分を生成する方法の複数の候補の中から選択した方法を用いて前記差分を生成する
   請求項７に記載の情報処理装置。
10. ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの各ポイントを色毎のクラスタに分類するクラスタリング処理を行うことにより、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドを、前記ポイントクラウドの各ポイントの前記位置情報が前記クラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドに変換し、
    前記クラスタリング処理により生成された前記クラスタ構造の前記ポイントクラウドを符号化する
    情報処理方法。
11. 符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造がクラスタ構造の前記ポイントクラウドを生成する復号処理部と、
    前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造がノーマル構造の前記ポイントクラウドに変換する変換処理部と
    を備え、
    前記ノーマル構造は、前記ポイントクラウドの各ポイントの位置情報および色情報が前記ポイント毎に示されるデータ構造であり、
    前記クラスタ構造は、前記ポイントクラウドの各ポイントの前記位置情報がクラスタに分類され、各ポイントの前記色情報が前記クラスタ毎に示されるデータ構造である
    情報処理装置。
12. 前記変換処理部は、各クラスタの前記色情報を、前記クラスタに属する各ポイントの前記位置情報に付加し、前記クラスタ毎に分類された各ポイントの前記位置情報および前記色情報を統合する
    請求項１１に記載の情報処理装置。
13. 前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドの前記位置情報のデータ構造がブロック構造であり、
    前記変換処理部は、前記位置情報の前記データ構造を、前記ブロック構造からノーマル構造に変換し、
    前記ブロック構造は、各ポイントの前記位置情報を、ブロックの位置情報と、前記ポイント毎に示される前記ブロック内の位置情報との組み合わせにより示すデータ構造であり、
    前記位置情報の前記ノーマル構造は、各ポイントの前記位置情報を３次元領域全体における位置情報により示すデータ構造である
    請求項１１に記載の情報処理装置。
14. 前記復号処理部により生成された前記クラスタ構造の前記ポイントクラウドにおいて、処理対象ポイントの前記位置情報が、参照ポイントの前記位置情報との差分で示される場合、前記参照ポイントの前記位置情報を前記差分に加算することにより、前記処理対象ポイントの前記位置情報を生成する加算処理部をさらに備える
    請求項１１に記載の情報処理装置。
15. 前記加算処理部は、３次元領域において前記参照ポイントが前記処理対象ポイントの位置を基準とする所定の範囲の領域内に存在する場合、前記参照ポイントの前記位置情報を前記差分に加算する
    請求項１４に記載の情報処理装置。
16. 符号化データを復号することにより、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、データ構造が、前記ポイントクラウドの各ポイントの位置情報がクラスタに分類され、各ポイントの色情報が前記クラスタ毎に示されるデータ構造であるクラスタ構造の前記ポイントクラウドを生成し、
    生成された前記クラスタ構造の前記ポイントクラウドを、前記データ構造が前記ポイントクラウドの各ポイントの前記位置情報および前記色情報が前記ポイント毎に示されるデータ構造であるノーマル構造の前記ポイントクラウドに変換する
    情報処理方法。

Images