JP2022036353A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画質の低減を抑制することができるようにする。【解決手段】３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成し、その生成された各方向についてのパッチが配置されたフレーム画像を符号化する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。【選択図】図２

Description

本開示は、画像処理装置および方法に関し、特に、画質の低減を抑制することができるようにした画像処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。

近年、その他の符号化方法として、例えば、ポイントクラウドの位置情報と属性情報とを小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）をフレーム画像内に配置し、そのフレーム画像を２次元画像用の符号化方法で符号化する方法（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案された（例えば、非特許文献２乃至非特許文献４参照）。

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ," IEEE, 2015 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression" , MPEG m41649, Oct. 2017 K. Mammou,"PCC Test Model Category 2 v0," N17248 MPEG output document, October 2017

しかしながら、このビデオベースドアプローチの場合、ポイントクラウド（小領域）の投影によりポイントの損失（ロス）が発生するおそれがあった。そのため、このビデオベースドアプローチにより生成した符号化データを復号して再構築した３Ｄデータを２次元平面に投影した表示用画像の主観画質が低減するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの表示用２次元画像の画質の低減を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成するパッチ生成部と、前記パッチ生成部により生成された各方向についての前記パッチが配置されたフレーム画像を符号化する符号化部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成し、生成された各方向についての前記パッチが配置されたフレーム画像を符号化する画像処理方法である。

本技術の他の側面の画像処理装置は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号する復号部と、前記復号部により前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する再構築部とを備える画像処理装置である。

本技術の他の側面の画像処理方法は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号し、前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成するパッチ生成部と、前記パッチ生成部により生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する符号化部とを備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成し、生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号する復号部と、前記復号部により前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する再構築部とを備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号し、前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成するパッチ生成部と、前記パッチ生成部により生成された前記パッチが配置されたフレーム画像を符号化する符号化部とを備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成し、生成された前記パッチが配置されたフレーム画像を符号化する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影され、各方向についてのパッチが生成され、その生成された各方向についてのパッチが配置されたフレーム画像が符号化される。

本技術の他の側面の画像処理装置および方法においては、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データが復号され、その符号化データが復号されて得られた各方向についてのパッチが用いられて、点群が再構築される。

本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが２次元平面に投影されてパッチが生成され、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchが生成され、その生成されたパッチが配置されたフレーム画像とMissed Patchとが符号化される。

本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データが復号され、その符号化データが復号されて得られたパッチとMissed Patchとが用いられて、点群が再構築される。

本技術の一側面の画像処理装置および方法においては、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部が、そのコネクションコンポーネントの一部に基づいて更新された投影方向に投影されてパッチが生成され、そのコネクションコンポーネントの他の部分が、そのコネクションコンポーネントの全体に基づいて設定された投影方向に投影されてパッチが生成され、その生成されたパッチが配置されたフレーム画像が符号化される。

投影によるロスの例を説明する図である。 パッチ生成方法の例を説明する図である。 各パッチの生成方法について説明する図である。 各パッチの生成方法について説明する図である。 サブパッチの例を説明する図である。 サブパッチのインターレース処理の例を示す図である。 ３Ｄデータの再構築の様子の例について説明する図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 パッチ分解処理の流れの例を説明するフローチャートである。 パッチ分割処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 部分パッチの例を説明する図である。 部分パッチの例を説明する図である。 部分領域のインターレース処理の例を示す図である。 部分領域の配置例を示す図である。 パッチ分割処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 パッチ分解処理の流れの例を説明するフローチャートである。 パッチ分割処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 閾値判定の様子の例を示す図である。 パッチ分解処理の流れの例を説明するフローチャートである。 分割更新処理の流れの例を説明するフローチャートである。 投影方向更新処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．パッチ生成
２．第１の実施の形態（方法１）
３．第２の実施の形態（方法２）
４．第３の実施の形態（方法３）
５．第４の実施の形態（方法４）
６．付記

＜１．パッチ生成＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）等のデータが存在した。ポイントクラウドはデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。

＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置情報や属性情報を、小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）をフレーム画像内に配置し、そのフレーム画像を２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案された。

このビデオベースドアプローチでは、入力されたポイントクラウド（Point cloud）が複数の小領域に分割され、その小領域毎に各ポイントが２次元平面に投影される（パッチが生成される）。ポイントクラウドは各ポイントの位置情報（Geometry）と属性情報（Texture）とにより構成されるので、この２次元平面への投影は、その位置情報と属性情報のそれぞれについて行われる。

そして、このパッチは、フレーム画像（２次元画像）に配置される。つまり、位置情報のパッチが配置されたフレーム画像（ジオメトリビデオフレーム（Geometry video frame）とも称する）と、属性情報のパッチが配置されたフレーム画像（カラービデオフレーム（Color video frame）とも称する）とが生成される。

なお、ジオメトリビデオフレームでは、ポイントの位置情報は、奥行方向の位置情報（デプス値（Depth））として表現される。つまり、そのフレーム画像の各画素値は、このデプス値を示す。

これらのフレーム画像は、それぞれ、例えばAVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。

＜オキュパンシーマップ＞
このようなビデオベースドアプローチの場合、さらに、オキュパンシーマップを用いることもできる。オキュパンシーマップは、ジオメトリビデオフレームのNxN画素毎に、投影画像（パッチ）の有無を示すマップ情報である。例えば、オキュパンシーマップは、ジオメトリビデオフレームの、パッチが存在する領域（NxN画素）を値「１」で示し、パッチが存在しない領域（NxN画素）を値「０」で示す。

このようなオキュパンシーマップが、ジオメトリビデオフレームやカラービデオフレームとは別のデータとして符号化され、復号側に伝送される。デコーダは、このオキュパンシーマップを参照することにより、パッチが存在する領域であるか否かを把握することができるので、符号化・復号により生じるノイズ等の影響を抑制することができ、より正確に３Ｄデータを復元することができる。例えば、符号化・復号によりデプス値が変化しても、デコーダは、オキュパンシーマップを参照することにより、パッチが存在しない領域のデプス値を無視する（３Ｄデータの位置情報として処理しないようにする）ことができる。

＜投影によるロス＞
しかしながら、このビデオベースドアプローチの場合、ポイントクラウド（小領域）の投影によりポイントの損失（ロス）が発生するおそれがあった。そのため、このビデオベースドアプローチにより生成した符号化データを復号して再構築した３Ｄデータを２次元平面に投影した表示用画像の主観画質が低減するおそれがあった。

投影は小領域毎に行われるため、例えば図１に示される顔１０のように形状が複雑な場合、小領域全体に基づいて設定された投影方向が小領域内の一部に対して適切な方向とならない（好ましい方向でない）ことがあり得る。例えば、一般的には、法線方向に投影されるのが好ましいが、小領域の全てに対して投影方向が法線方向となるとは限らない。３次元形状に対して投影方向が好ましくない角度となると、その投影によりポイントの損失（ロス）が発生する場合がある。

このようにロスが発生すると、このビデオベースドアプローチにより生成した符号化データを復号して再構築した３Ｄデータを２次元平面に投影した表示用画像の主観画質が低減することがあり得る。例えば、図１の場合、顔１０の内、鼻１１の点線円１２で囲まれた部分に周期的な穴（スリット状の穴）が生じている。

＜パッチ生成の改良＞
そこで、このような投影の際のロスによる表示用画像の主観画質の低減を抑制するために、パッチの生成方法を改善する。

例えば、小領域を複数方向に投影するようにしてもよい。例えば、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成し、その生成された各方向についてのパッチが配置されたフレーム画像を符号化する。例えば、画像処理装置において、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネント（小領域）を、複数方向の２次元平面に投影し、各方向についてのパッチを生成するパッチ生成部と、そのパッチ生成部により生成された各方向についてのパッチが配置されたフレーム画像を符号化する符号化部とを備えるようにする。

このようにすることにより、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

例えば、図２の表の方法１のように、メインパッチに対してサブパッチを追加する（多重投影を行う）ようにしてもよい。つまり、コネクションコンポーネント（小領域）全体を所定の方向に投影してメインパッチを生成し、そのコネクションコンポーネント全体をその所定の方向と異なる他の方向に投影してサブパッチを生成するようにしてもよい。

このようにすることにより、小領域を複数方向に投影することができるので、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、このサブパッチは、位置情報についてのみ生成し、属性情報については省略するようにしてもよい。つまり、メインパッチは、コネクションコンポーネント（小領域）の位置情報および属性情報について生成し、サブパッチは、コネクションコンポーネントの位置情報について生成するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、サブパッチをインターレース処理してフレーム画像に配置するようにしてもよい。つまり、生成したサブパッチを行または列毎に複数に分離し、そのサブパッチが行または列毎に複数に分離されて配置されたフレーム画像を符号化するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また例えば、図２の表の方法２のように、パッチに対して部分パッチを追加するようにしてもよい。つまり、コネクションコンポーネント全体を所定の方向に投影してパッチを生成し、そのコネクションコンポーネントの一部をその所定の方向と異なる他の方向に投影して部分パッチを生成するようにしてもよい。

このようにすることにより、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影することができるので、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、この部分パッチは、位置情報についてのみ生成し、属性情報については省略するようにしてもよい。つまり、パッチは、コネクションコンポーネントの位置情報および属性情報について生成し、部分パッチは、コネクションコンポーネントの位置情報について生成するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、この部分パッチに関するオキュパンシーマップは省略するようにしてもよい。つまり、生成されたパッチに関するオキュパンシーマップとは別に、部分パッチを含む領域に関する情報を含む補助パッチ情報を生成するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、部分パッチを含む領域をインターレース処理してフレーム画像に配置するようにしてもよい。つまり、生成した部分パッチを含む領域を行または列毎に複数に分離し、その部分パッチを含む領域が行または列毎に複数に分離されて配置されたフレーム画像を符号化するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、復号側もこのような符号化に対応させる。

例えば、符号化データにおいて小領域が複数方向に投影されているようにしてもよい。例えば、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号し、その符号化データが復号されて得られた各方向についてのパッチを用いて、点群を再構築する。例えば、画像処理装置において、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号する復号部と、その復号部により符号化データが復号されて得られた各方向についてのパッチを用いて、点群を再構築する再構築部とを備えるようにする。

このようにすることにより、符号化の際に小領域を複数方向に投影し、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

例えば、図２の表の方法１のように、メインパッチに対してサブパッチが追加されている（多重投影が行われた）ようにしてもよい。つまり、コネクションコンポーネント全体が所定の方向に投影されて生成されたメインパッチと、そのコネクションコンポーネント全体が所定の方向と異なる他の方向に投影されて生成されたサブパッチとが配置されたフレーム画像の符号化データを復号し、その符号化データが復号されて得られたメインパッチおよびサブパッチを用いて、点群を再構築するようにしてもよい。

このようにすることにより、符号化の際に小領域を複数方向に投影し、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、このサブパッチは、位置情報についてのみ生成され、属性情報については省略されているようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、サブパッチは、インターレース処理されてフレーム画像に配置されているようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また例えば、図２の表の方法２のように、パッチに対して部分パッチが追加されているようにしてもよい。例えば、コネクションコンポーネント全体が所定の方向に投影されて生成されたパッチと、そのコネクションコンポーネントの一部が所定の方向と異なる他の方向に投影されて生成された部分パッチとが配置されたフレーム画像の符号化データを復号し、その符号化データが復号されて得られたパッチおよび部分パッチを用いて、点群を再構築するようにしてもよい。

このようにすることにより、符号化の際に、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影させ、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、この部分パッチは、位置情報についてのみ生成され、属性情報については省略されているようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、この部分パッチに関するオキュパンシーマップは省略されているようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、部分パッチを含む領域がインターレース処理されてフレーム画像に配置されているようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また例えば、図２の表の方法３のように、Missed Patchを適用して投影によりロスする点の情報を符号化するようにしてもよい。例えば、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成し、生成されたパッチが配置されたフレーム画像とMissed Patchとを符号化する。例えば、画像処理装置において、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成するパッチ生成部と、そのパッチ生成部により生成されたパッチが配置されたフレーム画像とMissed Patchとを符号化する符号化部とを備える。

このようにすることにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、このMissed Patchは、位置情報についてのみ生成し、属性情報については省略するようにしてもよい。つまり、コネクションコンポーネントの投影により損失する可能性のある点の位置情報を含むMissed Patchを生成するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

また、復号側もこのような符号化に対応させる。

例えば、符号化データが、投影によりロスする点の情報をMissed Patchとして含むようにしてもよい。例えば、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号し、その符号化データが復号されて得られたパッチとMissed Patchとを用いて、点群を再構築する。例えば、画像処理装置において、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号する復号部と、その復号部により符号化データが復号されて得られたパッチとMissed Patchとを用いて、点群を再構築する再構築部とを備える。

このようにすることにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

また例えば、図２の表の方法４のように、小領域内の部分領域において適応的な投影方向の選択を行うようにしてもよい。例えば、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、そのコネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、そのコネクションコンポーネントの他の部分を、そのコネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成し、その生成されたパッチが配置されたフレーム画像を符号化する。例えば、画像処理装置において、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、そのコネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、そのコネクションコンポーネントの他の部分を、そのコネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成するパッチ生成部と、そのパッチ生成部により生成されたパッチが配置されたフレーム画像を符号化する符号化部とを備える。

このようにすることにより、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、図３の表に示されるように、方法１を実現させるためには、上述のように符号化（Enc）と復号（Dec）の両方において方法１に対応させる必要がある。同様に、方法２を実現させるためには、符号化（Enc）と復号（Dec）の両方において方法２に対応させる必要がある。同様に、方法３を実現させるためには、符号化（Enc）と復号（Dec）の両方において方法３に対応させる必要がある。これに対して、方法４を実現させるためには、符号化（Enc）を方法４に対応させればよい。

また、図３の表に示されるように、方法１乃至方法４のいずれを適用する場合も、投影ロスによる主観画質の低減を抑制することができる。

なお、図３の表に示されるように、方法３は、方法１または方法２と組み合わせて用いることができる。また、方法４は、方法１、方法２、または方法３と組み合わせて用いることができる。さらに、方法４は、方法１および方法３と組み合わせて用いることができる。また、方法４は、方法２および方法３と組み合わせて用いることができる。

なお、方法１および方法２は、ポイントクラウドの各ポイントに対して、排他的に適用することができる。

また、図４の表に示されるように、方法１を適用する場合、サブパッチは、属性情報（Texture Video）について省略することができる。また、方法２を適用する場合、部分パッチは、属性情報について省略することができる。さらに、この部分パッチに関するオキュパンシーマップ（Occupancy Video）は省略することができる。また、方法３を適用する場合、Missed Patchは、属性情報について省略することができる。このようにすることにより、符号化効率の低減を抑制することができる。

＜２．第１の実施の形態＞
＜方法１＞
次に、各方法について説明する。本実施の形態においては、方法１について説明する。方法１の場合、コネクションコンポーネント（小領域の３Ｄデータ（点群））を、メインパッチの投影方向と異なる方向にも投影し、サブパッチを生成する。例えば、図５のＡに示されるようなメインパッチ３１に対応するコネクションコンポーネントを他の方向に投影し、図５のＢに示されるようなサブパッチ３２を生成する。

どのメインパッチに対してサブパッチを生成するかは任意である。例えば、全てのメインパッチについてサブパッチを生成するようにしてもよい。また、所定の条件を満たすメインパッチのみサブパッチを生成するようにしてもよい。この条件は任意である。また、サブパッチの投影方向は、メインパッチの投影方向と異なる方向であればどのような方向であってもよい。また、そのサブパッチの投影方向の決定方法も任意である。１つのメインパッチに対して生成するサブパッチの数は任意である。単数であってもよいし複数であってもよい。各メインパッチに対するサブパッチの数が統一されていてもよいし、統一されていなくてもよい。このサブパッチの数の決定方法は任意である。

例えば、パッチ内（メインパッチ）において、法線が投影方向と異なる点が多い場合、別の投影方向にもパッチ（サブパッチ）を生成するようにしてもよい。例えば、各点の法線ベクトルとメインパッチの投影方向のベクトルとの内積を導出し、その内積が所定の基準より小さい点を候補とし、その候補の数（点の数）が所定の閾値より多いメインパッチについてサブパッチを生成するようにしてもよい。その場合、サブパッチの投影方向は別途求めるようにしてもよいし、予め定められているようにしてもよい。

また例えば、メインパッチに対応する小領域（コネクションコンポーネント）の各点の法線ベクトルと、投影方向の候補となる所定の６方向（例えば上下左右前後）のベクトルとの内積を導出し、その内積に基づいて各方向を評価し、最も評価の高い方向であるメインパッチの投影方向の次に評価の高い方向をサブパッチの投影方向に設定するようにしてもよい。例えば、上述の内積が所定の基準値よりも大きな点を候補とし、６方向のそれぞれについてその候補の数を導出し、その候補の数が、メインパッチの投影方向の次に多い方向をサブパッチの投影方向として設定する（その方向に投影してサブパッチを生成する）ようにしてもよい。

なお、１つのメインパッチに対してサブパッチを複数（例えばＮ個（Ｎは自然数））生成することができる場合、候補の数が多い方から順にＮ方向を、サブパッチの投影方向として設定する（各方向に投影してＮ個のサブパッチを生成する）ようにしてもよい。また、候補の数が所定の閾値より多い方向は全てサブパッチの投影方向として設定する（各方向に投影してサブパッチを生成する）ようにしてもよい。

なお、サブパッチは位置情報（ジオメトリ（geometry））についてのみ生成し、属性情報（アトリビュート（attribute）またはテクスチャ（Texture））については省略する（生成しない）ようにしてもよい。このようにすることにより、サブパッチ生成による符号量の増大（符号化効率の低減）を抑制することができる。その場合、復号の際に、サブパッチの属性情報は、対応するメインパッチの属性情報に基づいて生成する。

サブパッチは、メインパッチと同様にフレーム画像（２次元画像）に配置される。その際に、サブパッチに対してインターレース処理を施し、行または列毎に複数に分離して配置するようにしてもよい。例えば、図６のＡに示されるサブパッチ３２を、奇数列と偶数列とで分離し、図６のＢに示されるような奇数列のサブパッチ３３、および偶数列のサブパッチ３４としてフレーム画像に配置するようにしてもよい。また、例えば、このサブパッチ３２を、奇数行と偶数行とで分離し、図６のＣに示されるような奇数行のサブパッチ３５、および偶数行のサブパッチ３６としてフレーム画像に配置するようにしてもよい。

３Ｄデータであるポイントクラウド（点群）は、一般的に、ボクセル（Voxel）等により、各点の位置情報が量子化されている。そのため、点の配置に規則性が生じ、平面的な部分であっても厳密には点が階段状に並び、表面に細かな凹凸が形成される場合がある。このような点群を投影すると、その投影方向によってはその階段状の配置がパッチに反映され、パッチに高周波成分（周期的な変化）が生じる場合がある。このように高周波成分がのると、符号化効率が低減してしまう可能性がある。上述のようにインターレース処理（奇数行（列）と偶数行（列）の分離）を行うことにより、相関性の高い点毎に分離することができるので、このような符号化効率の低減を抑制することができる。

なお、上述のように分離した各サブパッチを互いに異なるレイヤに配置するようにしてもよい。例えば、図６のＤに示されるように、奇数列のサブパッチ３３（図６のＢ）をレイヤD0に配置し、偶数列のサブパッチ３４（図６のＢ）をレイヤD1に配置するようにしてもよい。また、図６のＥに示されるように、奇数行のサブパッチ３５（図６のＣ）をレイヤD0に配置し、偶数行のサブパッチ３６（図６のＣ）をレイヤD1に配置するようにしてもよい。このようにすることにより、各サブパッチを互いに同一の位置に配置することができるので、サブパッチの配置がより容易になる。また、このサブパッチに対応するオキュパンシーマップを分離後のサブパッチ１つ分とすることができる。

なお、サブパッチに対してこのようにインターレース処理を施した場合、復号の際に、ビデオフレームから抽出したサブパッチ（分割されたサブパッチ）に対してその逆処理（デインターレース処理）を行い、その分割されたサブパッチを統合し、サブパッチ３２（図６のＡ）を生成するようにすればよい。

なお、互いに対応するメインパッチとサブパッチは、対応するコネクションコンポーネントが同一であるものの、その投影方向が互いに異なるので、投影によりロスする点が互いに異なる場合がある。したがって、図７に示されるように、サブパッチ３２の点４１に対応する点４２がメインパッチに存在しない場合がある。上述のように、位置情報についてのみサブパッチを生成する場合、復号の際に、点４１の属性情報は、その点４１に対応する点４２の属性情報を適用する。メインパッチ３１にこの点４２が存在しない場合、メインパッチの近傍点の属性情報を利用して、サブパッチ３２の点４１の属性情報を生成する。

近傍点の定義は任意である。例えば、点４２までの距離が所定の閾値以下の点を近傍点としてもよい（閾値を用いた判定により近傍点を導出するようにしてもよい）。その際、点４２までの距離は、パッチ上で導出するようにしてもよいし、３次元空間上で導出するようにしてもよい。例えば、メインパッチ３１における点４２（点４１に対応する位置（u,v））の近傍点（u'_n,v'_n）としてもよい。また、点４２の３次元空間上の位置（x,y,z）の近傍点（x'_n,y'_n,z'_n）としてもよい。パッチ上で近傍点を導出する方が処理の負荷は小さい。３次元空間上で近傍点を導出する方がより正確に近傍点を導出することができる。なお、近傍点の数は任意である。単数であってもよいし、複数であってもよい。

近傍点の属性情報の利用方法は任意である。例えば、近傍点から点４２までの距離が０の場合（最近傍点と点４２とが略一致する場合）、その最近傍点の属性情報をサブパッチ３２の点４１の属性情報として適用する（コピーする）ようにしてもよい。また、近傍点が複数存在する場合、点４２に最も近い近傍点である最近傍点の属性情報をサブパッチ３２の点４１の属性情報として適用する（コピーする）ようにしてもよい。また、導出された各近傍点の属性情報を用いてサブパッチ３２の点４１の属性情報を導出するようにしてもよい。例えば、各近傍点の属性情報の平均値をサブパッチ３２の点４１の属性情報として適用するようにしてもよい。

＜符号化装置＞
図８は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図８に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。

なお、図８においては、処理部やデータの流れ等の主なものを示しており、図８に示されるものが全てとは限らない。つまり、符号化装置１００において、図８においてブロックとして示されていない処理部が存在したり、図８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図８に示されるように符号化装置１００は、パッチ分解部１１１、パッキング部１１２、補助パッチ情報圧縮部１１３、ビデオ符号化部１１４、ビデオ符号化部１１５、OMap符号化部１１６、およびマルチプレクサ１１７を有する。

パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド）を取得する（矢印１２１）。また、パッチ分解部１１１は、取得したその３Ｄデータを複数の小領域（コネクションコンポーネント）に分解し、その小領域毎に３Ｄデータを２次元平面に投影し、位置情報のパッチや属性情報のパッチを生成する。

パッチ分解部１１１は、生成した各パッチに関する情報をパッキング部１１２に供給する（矢印１２２）。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１３に供給する（矢印１２３）。

パッキング部１１２は、データのパッキングに関する処理を行う。例えば、パッキング部１１２は、パッチ分解部１１１から供給されるパッチに関する情報を取得する（矢印１２２）。また、パッキング部１１２は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部１１２は、ポイントの位置を示す位置情報（Geometry）のパッチをビデオフレームとしてパッキングし、ジオメトリビデオフレーム（Geometry video frame(s)）を生成する。また、パッキング部１１２は、その位置情報に付加される色情報等の属性情報（Texture）のパッチを、ビデオフレームとしてパッキングし、カラービデオフレーム（Color video frame(s)）を生成する。さらに、パッキング部１１２は、パッチの有無を示すオキュパンシーマップを生成する。

パッキング部１１２は、それらを後段の処理部に供給する（矢印１２４）。例えば、パッキング部１１２は、ジオメトリビデオフレームをビデオ符号化部１１４に供給し、カラービデオフレームをビデオ符号化部１１５に供給し、オキュパンシーマップをOMap符号化部１１６に供給する。また、パッキング部１１２は、そのパッキングに関する制御情報をマルチプレクサ１１７に供給する（矢印１２５）。

補助パッチ情報圧縮部１１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１３は、パッチ分解部１１１から供給される補助パッチ情報を取得する（矢印１２３）。補助パッチ情報圧縮部１１３は、取得した補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１３は、得られた補助パッチ情報の符号化データをマルチプレクサ１１７に供給する（矢印１２６）。

ビデオ符号化部１１４は、ジオメトリビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１４は、パッキング部１１２から供給されるジオメトリビデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１４は、その取得したジオメトリビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１４は、その符号化により得られたジオメトリビデオフレームの符号化データをマルチプレクサ１１７に供給する（矢印１２７）。

ビデオ符号化部１１５は、カラービデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１２から供給されるカラービデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１５は、その取得したカラービデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られたカラービデオフレームの符号化データをマルチプレクサ１１７に供給する（矢印１２８）。

OMap符号化部１１６は、オキュパンシーマップのビデオフレームの符号化に関する処理を行う。例えば、OMap符号化部１１６は、パッキング部１１２から供給されるオキュパンシーマップを取得する（矢印１２４）。また、OMap符号化部１１６は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１６は、その符号化により得られたオキュパンシーマップの符号化データをマルチプレクサ１１７に供給する（矢印１２９）。

マルチプレクサ１１７は、多重化に関する処理を行う。例えば、マルチプレクサ１１７は、補助パッチ情報圧縮部１１３から供給される補助パッチ情報の符号化データを取得する（矢印１２６）。また、例えば、マルチプレクサ１１７は、パッキング部１１２から供給されるパッキングに関する制御情報を取得する（矢印１２５）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１４から供給されるジオメトリビデオフレームの符号化データを取得する（矢印１２７）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１５から供給されるカラービデオフレームの符号化データを取得する（矢印１２８）。また、例えば、マルチプレクサ１１７は、OMap符号化部１１６から供給されるオキュパンシーマップの符号化データを取得する（矢印１２９）。

マルチプレクサ１１７は、取得したそれらの情報を多重化して、ビットストリームを生成する。マルチプレクサ１１７は、その生成したビットストリームを符号化装置１００の外部に出力する。

なお、これらの処理部（パッチ分解部１１１乃至マルチプレクサ１１７）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜方法１の適用＞
以上のような符号化装置１００において小領域を複数方向に投影するようにする。例えば、パッチ分解部１１１が、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネント（小領域）を、複数方向の２次元平面に投影し、各方向についてのパッチを生成するようにする。また、ビデオ符号化部１１４（およびビデオ符号化部１１５）が、そのパッチ分解部１１１により生成された各方向についてのパッチが配置されたフレーム画像を符号化するようにする。

このようにすることにより、小領域内の各部分領域を、より好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

さらに、この符号化装置１００において、本実施の形態の＜方法１＞において上述した本技術（方法１）を適用する。例えば、パッチ分解部１１１が、コネクションコンポーネント全体を所定の方向に投影してメインパッチを生成し、そのコネクションコンポーネント全体を所定の方向と異なる他の方向に投影してサブパッチを生成するようにする。

このようにすることにより、小領域を複数方向に投影することができるので、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

もちろん、本実施の形態の＜方法１＞において上述した方法１に関するその他の本技術を符号化装置１００に適用することもできる。その場合、本実施の形態の＜方法１＞において上述したような効果を得ることができる。

＜符号化処理の流れ＞
この場合の符号化装置１００（方法１を適用した符号化装置１００）により実行される処理について説明する。最初に、符号化処理の流れの例を、図９のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、パッチ分解処理を実行し、３Ｄデータをパッチに分解し、各パッチのデータを２次元平面に投影する。

ステップＳ１０２において、補助パッチ情報圧縮部１１３は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。ステップＳ１０３において、パッキング部１１２は、パッチ分解部１１１によりパッチ毎に２次元平面に投影された３Ｄデータをパッキングし、ジオメトリビデオフレームやカラービデオフレームを生成する。また、パッキング部１１２は、オキュパンシーマップを生成する。

ステップＳ１０４において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られたジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。ステップＳ１０５において、ビデオ符号化部１１５は、ステップＳ１０３の処理により得られたカラービデオフレームを、２次元画像用の符号化方法により符号化する。ステップＳ１０６において、OMap符号化部１１６は、ステップＳ１０３の処理により得られたオキュパンシーマップを符号化する。

ステップＳ１０７において、マルチプレクサ１１７は、以上のように生成された各種情報を多重化し、これらの情報を含むビットストリームを生成する。ステップＳ１０８において、マルチプレクサ１１７は、ステップＳ１０７の処理により生成したビットストリームを符号化装置１００の外部に出力する。ステップＳ１０８の処理が終了すると、符号化処理が終了する。

＜パッチ分解処理の流れ＞
次に、図１０のフローチャートを参照して、図９のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。

パッチ分解処理が開始されると、パッチ分解部１１１は、ステップＳ１２１において、ポイントクラウドの各点の法線方向を推定する。ステップＳ１２２において、パッチ分解部１１１は、初期分割処理を行う。例えばパッチ分解部１１１は、各点について投影方向を候補の６方向（例えば上下前後左右）の中から選択し、その投影方向に基づいて各点を分類する。ステップＳ１２３において、パッチ分解部１１１は、分割更新処理を行う。例えばパッチ分解部１１１は、スムース処理等を行うことにより、ステップＳ１２２において行われた各点の分類を必要に応じて更新する。

ステップＳ１２４において、パッチ分解部１１１は、パッチ分割処理を実行し、上述の分類に従って各点を２次元平面に投影し、パッチを生成する。ステップＳ１２５において、パッチ分解部１１１は、パッチを選択する。ステップＳ１２６において、パッチ分解部１１１は、符号化により損失（ロス）する点であるMissed Pointを判定する。ステップＳ１２６の処理が終了すると、パッチ分解処理が終了し、処理は図９に戻る。

＜パッチ分割処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１２４において実行されるパッチ分割処理の流れの例を説明する。

パッチ分割処理が開始されると、パッチ分解部１１１は、ステップＳ１４１において、ポイントクラウドから、互いに同一方向に投影される、互いに隣接する点の集合であるコネクションコンポーネントを生成する。例えば、パッチ分解部１１１は、図１０のステップＳ１２２やステップＳ１２３の処理により分類された、互いに同一方向に投影される点群を、互いに隣接する点群に分割し、コネクションコンポーネントを生成する。

ステップＳ１４２において、パッチ分解部１１１は、生成した各コネクションコンポーネントを、図１０のステップＳ１２２やステップＳ１２３の処理により設定された投影方向の２次元平面に投影し、メインパッチを生成する。

ステップＳ１４３において、パッチ分解部１１１は、生成したメインパッチの内の未処理のメインパッチの内から処理対象とするメインパッチを選択し、その処理対象のメインパッチに対応するコネクションコンポーネントの各点の法線ベクトルと投影方向のベクトルとの内積を導出し、その内積に基づいて候補点を抽出する。ステップＳ１４４において、パッチ分解部１１１は、その候補点の数が所定の閾値より大きい場合、そのメインパッチに対応するサブパッチを生成する。サブパッチの生成方法は任意であり、例えば、本実施の形態の＜方法１＞において上述した各種方法を適用することができる。

ステップＳ１４５において、パッチ分解部１１１は、全てのメインパッチを処理したか否かを判定する。未処理のメインパッチが存在すると判定された場合、処理はステップＳ１４３に戻る。すなわち、パッチ分解部１１１は、各メインパッチについて、ステップＳ１４３乃至ステップＳ１４５の各処理を実行する。そして、ステップＳ１４５において、全てのメインパッチを処理したと判定された場合、パッチ分割処理が終了し、処理は図１０に戻る。

以上のように各処理を実行することにより、小領域を複数方向に投影することができるので、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号装置＞
図１２は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１２に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３Ｄデータを再構築する装置（ビデオベースドアプローチを適用した復号装置）である。この復号装置２００は、図８の符号化装置１００に対応する復号装置であり、符号化装置１００により生成されたビットストリームを復号して３Ｄデータを再構築することができる。

なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、復号装置２００において、図１２においてブロックとして示されていない処理部が存在したり、図１２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１２に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、ビデオ復号部２１３、ビデオ復号部２１４、OMap復号部２１５、アンパッキング部２１６、および３Ｄ再構築部２１７を有する。

デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、ジオメトリビデオフレームの符号化データを抽出し、それをビデオ復号部２１３に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、カラービデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１５に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームからパッキングに関する制御情報を抽出し、それをアンパッキング部２１６に供給する。

補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その符号化データを復号し、補助パッチ情報を生成する。補助パッチ情報復号部２１２は、その補助パッチ情報を３Ｄ再構築部２１７に供給する。

ビデオ復号部２１３は、ジオメトリビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１３は、デマルチプレクサ２１１から供給されるジオメトリビデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１３は、その符号化データを復号し、ジオメトリビデオフレームを生成する。ビデオ復号部２１３は、そのジオメトリビデオフレームを、アンパッキング部２１６に供給する。

ビデオ復号部２１４は、カラービデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給されるカラービデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１４は、その符号化データを復号し、カラービデオフレームを生成する。ビデオ復号部２１４は、そのカラービデオフレームを、アンパッキング部２１６に供給する。

OMap復号部２１５は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１５は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。また、例えば、OMap復号部２１５は、その符号化データを復号し、オキュパンシーマップを生成する。OMap復号部２１５は、そのオキュパンシーマップを、アンパッキング部２１６に供給する。

アンパッキング部２１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１６は、デマルチプレクサ２１１から供給されるパッキングに関する制御情報を取得する。また、アンパッキング部２１６は、ビデオ復号部２１３から供給されるジオメトリビデオフレームを取得する。さらに、アンパッキング部２１６は、ビデオ復号部２１４から供給されるカラービデオフレームを取得する。また、アンパッキング部２１６は、OMap復号部２１５から供給されるオキュパンシーマップを取得する。アンパッキング部２１６は、取得した制御情報やオキュパンシーマップに基づいてジオメトリビデオフレームやカラービデオフレームをアンパッキングし、位置情報や属性情報のパッチ等を抽出する。アンパッキング部２１６は、その位置情報や属性情報のパッチ等を３Ｄ再構築部２１７に供給する。

３Ｄ再構築部２１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１７は、補助パッチ情報復号部２１２から供給される補助パッチ情報や、アンパッキング部２１６から供給される位置情報や属性情報のパッチ等を取得する。また、３Ｄ再構築部２１７は、それらの情報に基づいて、３Ｄデータ（例えばポイントクラウド（Point Cloud））を再構築する。３Ｄ再構築部２１７は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。

この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。

なお、これらの処理部（デマルチプレクサ２１１乃至３Ｄ再構築部２１７）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜方法１の適用＞
以上のような復号装置２００において小領域が複数方向に投影された符号化データを復号するようにする。例えば、ビデオ復号部２１３が、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネント（小領域）が、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号するようにする。また、３Ｄ再構築部２１７が、そのビデオ復号部２１３により符号化データが復号されて得られた同一のコネクションコンポーネントに対応する各方向についてのパッチを用いて、点群（そのコネクションコンポーネント）を再構築するようにする。

このようにすることにより、符号化の際に小領域を複数方向に投影し、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

さらに、この復号装置２００において、本実施の形態の＜方法１＞において上述した本技術（方法１）を適用する。例えば、ビデオ復号部２１３が、コネクションコンポーネント全体が所定の方向に投影されて生成されたメインパッチと、そのコネクションコンポーネント全体がその所定の方向と異なる他の方向に投影されて生成されたサブパッチとが配置されたフレーム画像の符号化データを復号し、３Ｄ再構築部２１７が、ビデオ復号部２１３により符号化データが復号されて得られた同一のコネクションコンポーネントに対応するメインパッチおよびサブパッチを用いて、点群（そのコネクションコンポーネント）を再構築するようにする。

このようにすることにより、符号化の際に小領域を複数方向に投影し、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

もちろん、本実施の形態の＜方法１＞において上述した方法１に関するその他の本技術を復号装置２００に適用することもできる。その場合、本実施の形態の＜方法１＞において上述したような効果を得ることができる。

＜復号処理の流れ＞
この場合の復号装置２００（方法１を適用した復号装置２００）により実行される処理について説明する。最初に、復号処理の流れの例を、図１３のフローチャートを参照して説明する。

復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１の処理によりビットストリームから抽出された補助パッチ情報の符号化データを復号する。

ステップＳ２０３において、ビデオ復号部２１３は、ステップＳ２０１の処理によりビットストリームから抽出されたジオメトリビデオフレームの符号化データを復号する。ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０１の処理によりビットストリームから抽出されたカラービデオフレームの符号化データを復号する。ステップＳ２０５において、OMap復号部２１５は、ステップＳ２０１の処理によりビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。

ステップＳ２０６において、アンパッキング部２１６は、パッキングに関する制御情報やオキュパンシーマップに基づいて、ジオメトリビデオフレームやカラービデオフレームをそれぞれアンパッキングする。

ステップＳ２０７において、３Ｄ再構築部２１７は、ポイントクラウド再構築処理を実行し、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０６において得られた各種情報とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。ステップＳ２０７の処理が終了すると復号処理が終了する。

＜ポイントクラウド再構築処理の流れ＞
次に、図１４のフローチャートを参照して、図１３のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ２２１において、位置情報の未処理のメインパッチを処理対象として選択する。ステップＳ２２２において、３Ｄ再構築部２１７は、その処理対象のメインパッチに対応するサブパッチが存在するか否かを判定する。

処理対象のメインパッチと同一のコネクションコンポーネントに対応するサブパッチが存在すると判定された場合、処理はステップＳ２２３に進む。ステップＳ２２３において、３Ｄ再構築部２１７は、その処理対象のメインパッチとそのメインパッチに対応するサブパッチとに基づいて、コネクションコンポーネントを再構築する。ステップＳ２２３の処理が終了すると、処理はステップＳ２２５に進む。

また、ステップＳ２２２において、処理対象のメインパッチに対応するサブパッチが存在しないと判定された場合、処理はステップＳ２２４に進む。ステップＳ２２４において、３Ｄ再構築部２１７は、その処理対象のメインパッチに基づいて、コネクションコンポーネントを再構築する。ステップＳ２２４の処理が終了すると、処理はステップＳ２２５に進む。

ステップＳ２２５において、３Ｄ再構築部２１７は、処理対象の位置情報のメインパッチに対応する属性情報のメインパッチ（または、処理対象の位置情報のメインパッチに対応する属性情報のメインパッチおよびサブパッチ）に基づいて、再構築したコネクションコンポーネントの各点のテクスチャを再構成する。

ステップＳ２２６において、３Ｄ再構築部２１７は、属性情報のない点が存在するか否かを判定する。ステップＳ２２５の処理により属性情報が付与されなかった点が存在すると判定された場合、処理はステップＳ２２７に進む。

ステップＳ２２７において、３Ｄ再構築部２１７は、位置情報のメインパッチに基づいて、その属性情報のない点の近傍点を探索し、その近傍点の属性情報を用いて、その属性情報のない点の属性情報を生成する（補完する）。この属性情報の補完方法は任意であり、例えば、本実施の形態の＜方法１＞において上述した各種方法を適用することができる。この処理が終了すると、処理はステップＳ２２８に進む。

ステップＳ２２８において、３Ｄ再構築部２１７は、位置情報のメインパッチを全て処理したか否かを判定する。未処理のメインパッチが存在すると判定された場合、処理はステップＳ２２１に戻る。つまり、位置情報の各メインパッチについて、ステップＳ２２１乃至ステップＳ２２８の各処理が適宜実行される。そして、ステップＳ２２８において、全てのメインパッチを処理したと判定された場合、処理はステップＳ２２９に進む。

ステップＳ２２９において、３Ｄ再構築部２１７は、Missed Pointを処理する。

ステップＳ２２９の処理が終了すると、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、符号化の際に小領域を複数方向に投影し、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜３．第２の実施の形態＞
＜方法２＞
本実施の形態においては、方法２について説明する。方法２の場合、コネクションコンポーネント（小領域の３Ｄデータ（点群））全体を所定の方向に投影してパッチを生成する際に、パッチに含まれない可能性の高い点（ロスする可能性の高い点）を包含する、パッチと異なる方向に投影された部分パッチを生成する。

その際、部分パッチは、その投影方向から見て矩形の領域となるように生成してもよい。例えば、図１５の場合、所定の投影方向の２次元平面３０１に投影されたパッチ３１０に対して、部分パッチ３２１が生成されている。この部分パッチ３２１は、パッチ３１０に対応するコネクションコンポーネントの、パッチ３１０に含まれない可能性の高い点（ロスする可能性の高い点）を包含する部分領域を、パッチ３１０の投影方向と異なる投影方向の２次元平面に投影したものである。その際、この部分領域は、部分パッチ３２１が２次元平面おいて矩形領域となるように設定されている。なお、この部分領域は、パッチ３１０の部分領域３１１に対応する。

このように部分パッチ３２１を矩形領域とすることにより、部分パッチ３２１を縦方向の長さ（v_add）、横方向の長さ（u_add）、および座標（x,y）により示すことができる。したがって、部分パッチの範囲を示す情報を補助パッチ情報（Aux Info）として伝送（符号化）することができる。つまり、部分パッチのオキュパンシーマップが不要になるので、符号化効率の低減を抑制することができる。なお、部分パッチの形状は、その範囲を示す情報を補助パッチ情報（Aux Info）として伝送可能な形状であればよく、矩形に限定されない。

このような部分パッチの範囲（部分パッチに対応するコネクションコンポーネントの部分領域の範囲）の設定方法は任意である。例えば、コネクションコンポーネントにおいて各点の法線方向のバラツキが比較的大きい領域（例えばそのバラツキが所定の閾値より大きい領域）を包含するように部分領域を設定する（v_add、u_add、x、yを設定する）ようにしてもよい。例えば、各点の法線ベクトルとパッチの投影方向のベクトルとの内積を導出し、その値のバラツキの大きさに基づいて部分領域を設定するようにしてもよい。また、例えば、その内積が所定の閾値より小さい点を候補として抽出し、その候補点を包含するように部分領域を設定するようにしてもよい。

また、コネクションコンポーネントの、パッチにおいて点のロスが発生しやすい所定の特徴を有する範囲を包含するように、部分領域を設定するようにしてもよい。例えば、図１６に示されるように、パッチの境界において部分パッチを適用するようにしてもよい。図１６の例の場合、パッチ３３１、パッチ３３２、およびパッチ３３３の境界を包含するように、部分パッチ３２１に対応する部分領域３１１が設定されている。

また、その部分領域の投影方向は、パッチの投影方向と異なる方向であればどのような方向であってもよい。また、その部分パッチの投影方向の決定方法も任意である。例えば、上述のように設定した部分領域に包含される各点（の法線方向）に基づいて、その部分領域の投影方向を設定するようにしてもよい。つまり、例えば、上述のように候補点を導出し、その候補点に基づいて投影方向を設定し、その候補点を包含し、かつ、その投影方向の２次元平面において部分パッチが矩形領域となるように部分領域を設定するようにしてもよい。

また、１つのパッチ（１つのコネクションコンポーネント）に対応する部分パッチの数は任意である。単数であってもよいし複数であってもよい。つまり、１つのコネクションコンポーネントにおいて任意の数の部分領域を設定し、部分パッチを生成することができる。各パッチ（コネクションコンポーネント）に対する部分パッチの数が統一されていてもよいし、統一されていなくてもよい。１つのパッチ（１つのコネクションコンポーネント）に対して部分パッチを複数生成する場合、各部分パッチの投影方向は、互いに独立に設定することができる。

なお、部分パッチは位置情報（ジオメトリ（geometry））についてのみ生成し、属性情報（アトリビュート（attribute）またはテクスチャ（Texture））については省略する（生成しない）ようにしてもよい。このようにすることにより、部分パッチ生成による符号量の増大（符号化効率の低減）を抑制することができる。その場合、復号の際に、部分パッチの属性情報は、対応するパッチの属性情報に基づいて生成する。

部分パッチは、パッチと同様にフレーム画像（２次元画像）に配置される。その際に、部分パッチに対してインターレース処理を施し、行または列毎に複数に分離して配置するようにしてもよい。例えば、図１７のＡに示される部分パッチ３２１を、奇数列と偶数列とで分離し、図１７のＢに示されるような奇数列の部分パッチ３４１、および偶数列の部分パッチ３４２としてフレーム画像に配置するようにしてもよい。また、例えば、この部分パッチ３２１を、奇数行と偶数行とで分離し、図１７のＣに示されるような奇数行の部分パッチ３４３、および偶数行の部分パッチ３４４としてフレーム画像に配置するようにしてもよい。

このようにインターレース処理（奇数行（列）と偶数行（列）の分離）を行うことにより、サブパッチの場合と同様に、相関性の高い点毎に分離することができるので、符号化効率の低減を抑制することができる。

なお、上述のように分離した各部分パッチを互いに異なるレイヤに配置するようにしてもよい。例えば、図１７のＤに示されるように、奇数列の部分パッチ３４１（図１７のＢ）をレイヤD0に配置し、偶数列の部分パッチ３４２（図１７のＢ）をレイヤD1に配置するようにしてもよい。また、図１７のＥに示されるように、奇数行の部分パッチ３４３（図１７のＣ）をレイヤD0に配置し、偶数行の部分パッチ３４４（図１７のＣ）をレイヤD1に配置するようにしてもよい。このようにすることにより、サブパッチの場合と同様に、部分パッチの配置がより容易になる。また、この部分パッチに対応するオキュパンシーマップを分離後のサブパッチ１つ分とすることができる。

なお、部分パッチに対してこのようにインターレース処理を施した場合、復号の際に、ビデオフレームから抽出した部分パッチ（分割された部分パッチ）に対してその逆処理（デインターレース処理）を行い、その分割された部分パッチを統合し、部分パッチ３２１（図１７のＡ）を生成するようにすればよい。

なお、上述したように部分パッチに対応するコネクションコンポーネントの部分領域は、パッチにおいてロスする可能性の高い点が包含されるので、部分パッチの点に対応する点が元のパッチに存在しない場合がある。上述のように位置情報についてのみ部分パッチを生成する場合において、このように部分パッチの点に対応する点が元のパッチに存在しないときは、元のパッチの近傍点の属性情報を利用して、部分パッチの点の属性情報を生成する。

近傍点の定義は任意である。例えば、部分パッチの処理対象の点までの距離が所定の閾値以下の点を近傍点としてもよい（閾値を用いた判定により近傍点を導出するようにしてもよい）。その際、その処理対象の点までの距離は、サブパッチの場合と同様に、パッチ上で導出するようにしてもよいし、３次元空間上で導出するようにしてもよい。なお、近傍点の数は任意である。単数であってもよいし、複数であってもよい。

近傍点の属性情報の利用方法は任意である。例えば、近傍点から処理対象の点までの距離が０の場合（最近傍点と処理対処の点とが略一致する場合）、その最近傍点の属性情報を部分パッチの処理対象の点の属性情報として適用する（コピーする）ようにしてもよい。また、近傍点が複数存在する場合、処理対象の点に最も近い近傍点である最近傍点の属性情報を部分パッチの処理対象の点の属性情報として適用する（コピーする）ようにしてもよい。また、導出された各近傍点の属性情報を用いて部分パッチの処理対象の点の属性情報を導出するようにしてもよい。例えば、各近傍点の属性情報の平均値を部分パッチの処理対象の点の属性情報として適用するようにしてもよい。

また、上述したように設定した部分パッチ３２１は、例えば図１８のＡに示されるように、元のパッチ３１０と同様に、位置情報のフレーム画像３５１の所定の位置に配置するようにしてもよい。その場合、図１８のＢに示されるように、オキュパンシーマップ３５２においては、元のパッチ３１０に対応する領域３６１は値「１」に設定されるものの、部分パッチ３２１が配置された領域３６２は値「０」に設定される。つまり、オキュパンシーマップにおいては部分パッチ３２１が存在しないものとして扱われる。この場合、復号の際、補助パッチ情報（Aux Info）に含まれる部分パッチの範囲を示す情報に基づいて、オキュパンシーマップの部分パッチ３２１が配置された領域３６２が、値「１」として処理される。つまり、オキュパンシーマップの、座標（x,y）を起点として、横u_addピクセル、縦v_addピクセルの範囲が値「１」として処理される。

＜符号化装置への方法２の適用＞
本実施の形態の＜方法２＞において上述した本技術（方法２）は、図８の符号化装置１００に適用することができる。例えば、パッチ分解部１１１が、コネクションコンポーネント全体を所定の方向に投影してパッチを生成し、そのコネクションコンポーネントの一部をその所定の方向と異なる他の方向に投影して部分パッチを生成するようにする。

このようにすることにより、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影することができるので、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

もちろん、本実施の形態の＜方法２＞において上述した方法２に関するその他の本技術を符号化装置１００に適用することもできる。その場合、本実施の形態の＜方法２＞において上述したような効果を得ることができる。

＜符号化処理の流れ＞
この場合の符号化装置１００（方法２を適用した符号化装置１００）は、図９のフローチャートを参照して説明した場合と同様の流れで符号化処理を実行する。

＜パッチ分解処理の流れ＞
この場合の符号化装置１００（方法２を適用した符号化装置１００）は、図１０のフローチャートを参照して説明した場合と同様の流れでパッチ分解処理を実行する。

＜パッチ分割処理の流れ＞
次に、図１９のフローチャートを参照して、図１０のステップＳ１２４において実行される、この場合のパッチ分割処理の流れの例を説明する。

パッチ分割処理が開始されると、パッチ分解部１１１は、ステップＳ３０１において、ポイントクラウドから、互いに同一方向に投影される、互いに隣接する点の集合であるコネクションコンポーネントを生成する。例えば、パッチ分解部１１１は、図１０のステップＳ１２２やステップＳ１２３の処理により分類された、互いに同一方向に投影される点群を、互いに隣接する点群に分割し、コネクションコンポーネントを生成する。

ステップＳ３０２において、パッチ分解部１１１は、生成した各コネクションコンポーネントを、図１０のステップＳ１２２やステップＳ１２３の処理により設定された投影方向の２次元平面に投影し、パッチを生成する。

ステップＳ３０３において、パッチ分解部１１１は、生成したパッチの内の未処理のパッチの内から処理対象とするパッチを選択し、その処理対象のパッチに対応するコネクションコンポーネントの各点の法線ベクトルと投影方向のベクトルとの内積を導出し、その内積に基づいて候補点を抽出する。ステップＳ３０４において、パッチ分解部１１１は、その候補点を含む領域およびその投影方向を設定し、部分パッチを生成（追加）する。部分パッチの生成方法は任意であり、例えば、本実施の形態の＜方法２＞において上述した各種方法を適用することができる。

ステップＳ３０５において、パッチ分解部１１１は、全てのパッチを処理したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ３０３に戻る。すなわち、パッチ分解部１１１は、各パッチについて、ステップＳ３０３乃至ステップＳ３０５の各処理を実行する。そして、ステップＳ３０５において、全てのパッチを処理したと判定された場合、パッチ分割処理が終了し、処理は図１０に戻る。

以上のように各処理を実行することにより、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影することができるので、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号装置への方法２の適用＞
本実施の形態の＜方法２＞において上述した本技術（方法２）は、図１２の復号装置２００に適用することができる。例えば、ビデオ復号部２１３が、コネクションコンポーネント全体が所定の方向に投影されて生成されたパッチと、そのコネクションコンポーネントの一部がその所定の方向と異なる他の方向に投影されて生成された部分パッチとが配置されたフレーム画像の符号化データを復号するようにする。また、３Ｄ再構築部２１７が、ビデオ復号部２１３により符号化データが復号されて得られたパッチおよび部分パッチを用いて、点群を再構築するようにする。

このようにすることにより、符号化の際に、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影させ、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号処理の流れ＞
この場合の復号装置２００（方法２を適用した復号装置２００）は、図１３のフローチャートを参照して説明した場合と同様の流れで復号処理を実行する。

＜ポイントクラウド再構築処理の流れ＞
次に、図２０のフローチャートを参照して、図１３のステップＳ２０７において実行される、この場合のポイントクラウド再構築処理の流れの例を説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ３２１において、位置情報の未処理のパッチを処理対象として選択する。ステップＳ３２２において、３Ｄ再構築部２１７は、その処理対象のパッチに対応する部分パッチが存在するか否かを判定する。

処理対象のパッチと同一のコネクションコンポーネントに対応する部分パッチが存在すると判定された場合、処理はステップＳ３２３に進む。ステップＳ３２３において、３Ｄ再構築部２１７は、その処理対象のパッチとそのパッチに対応する部分パッチとに基づいて、コネクションコンポーネントを再構築する。ステップＳ３２３の処理が終了すると、処理はステップＳ３２５に進む。

また、ステップＳ３２２において、処理対象のパッチに対応する部分パッチが存在しないと判定された場合、処理はステップＳ３２４に進む。ステップＳ３２４において、３Ｄ再構築部２１７は、その処理対象のパッチに基づいて、コネクションコンポーネントを再構築する。ステップＳ３２４の処理が終了すると、処理はステップＳ３２５に進む。

ステップＳ３２５において、３Ｄ再構築部２１７は、処理対象の位置情報のパッチに対応する属性情報のパッチ（または、処理対象の位置情報のパッチに対応する属性情報のパッチおよび部分パッチ）に基づいて、再構築したコネクションコンポーネントの各点のテクスチャを再構成する。

ステップＳ３２６において、３Ｄ再構築部２１７は、属性情報のない点が存在するか否かを判定する。ステップＳ３２５の処理により属性情報が付与されなかった点が存在すると判定された場合、処理はステップＳ３２７に進む。

ステップＳ３２７において、３Ｄ再構築部２１７は、位置情報のパッチに基づいて、その属性情報のない点の近傍点を探索し、その近傍点の属性情報を用いて、その属性情報のない点の属性情報を生成する（補完する）。この属性情報の補完方法は任意であり、例えば、本実施の形態の＜方法２＞において上述した各種方法を適用することができる。この処理が終了すると、処理はステップＳ３２８に進む。

ステップＳ３２８において、３Ｄ再構築部２１７は、位置情報のパッチを全て処理したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ３２１に戻る。つまり、位置情報の各パッチについて、ステップＳ３２１乃至ステップＳ３２８の各処理が適宜実行される。そして、ステップＳ３２８において、全てのパッチを処理したと判定された場合、処理はステップＳ３２９に進む。

ステップＳ３２９において、３Ｄ再構築部２１７は、Missed Pointを処理する。ステップＳ３２９の処理が終了すると、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、符号化の際に、小領域内の、小領域全体に対する投影方向が好ましくない部分領域を、その投影方向と異なる方向にも投影させ、その部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させた符号化データを正しく復号することができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜４．第３の実施の形態＞
＜方法３＞
本実施の形態においては、方法３について説明する。方法３の場合、Missed Patchを用いて投影によりロスした点に関する情報を伝送（符号化）する。Missed Patchは、点の位置情報や属性情報を画像情報としてロスレス（可逆）に符号化する技術である。位置情報はEnhancedDeltaDepthCodeで示し、属性情報は、テクスチャ（Texture）のピクセル値で示す。

このようにすることにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、Missed Patchを利用して情報を伝送する点の選択方法は任意である。例えば、ロスする可能性の高い点をMissed Patchを利用して情報を伝送する点として選択するようにしてもよい。例えば、投影方向と点の法線ベクトルが異なる点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。例えば、投影方向と点の法線ベクトルとが所定の閾値よりも大きく異なる点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。

また、このような点に隣接する点（または近傍点）も、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。例えば、このような点から所定の範囲内（例えば所定の閾値以下の距離）の点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。

さらに、３次元構造物体の表面付近に位置する点は、ロスした場合に表示用画像の主観画質の低減に大きく影響するため、このような点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。例えば、SurfaceThicknessの間の点（レイヤD0とレイヤD1との間の点）を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。

また、３次元構造物体の表面付近に位置し、かつ、ロスする可能性の高い点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。例えば、他の投影方向でカバーされる点との差分を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。つまり、ある方向に投影したパッチに含まれるが、他の方向に投影したパッチにおいてロスするような点を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。点の投影方向を例えば６方向（上下前後左右）から選択する場合であっても、それよりも多い１０方向や１８方向について検討し、その結果に基づいて６方向の中からいずれかを選択する場合がある。そのような場合に、１０方向や１８方向のパッチには存在する点（すなわち、３次元構造物体の表面付近に位置する点）と、６方向のパッチには存在しない点（ロスする可能性の高い点）との差分を、Missed Patchを利用して情報を伝送する点として選択するようにしてもよい。

なお、このMissed Patchは、位置情報についてのみ生成し、属性情報については省略するようにしてもよい。このようにすることにより、符号量の増大を抑制する（符号化効率の低減を抑制する）ことができる。

その場合、Missed Patchを用いて伝送（符号化）する点の属性情報は、その近傍点の属性情報を利用して生成する。

近傍点の定義は任意である。例えば、処理対象の点までの距離が所定の閾値以下の点を近傍点としてもよい（閾値を用いた判定により近傍点を導出するようにしてもよい）。その際、その処理対象の点までの距離は、サブパッチの場合と同様に、パッチ上で導出するようにしてもよいし、３次元空間上で導出するようにしてもよい。なお、近傍点の数は任意である。単数であってもよいし、複数であってもよい。

近傍点の属性情報の利用方法は任意である。例えば、近傍点から処理対象の点までの距離が０の場合（最近傍点と処理対処の点とが略一致する場合）、その最近傍点の属性情報を処理対象の点の属性情報として適用する（コピーする）ようにしてもよい。また、近傍点が複数存在する場合、処理対象の点に最も近い近傍点である最近傍点の属性情報を処理対象の点の属性情報として適用する（コピーする）ようにしてもよい。また、導出された各近傍点の属性情報を用いて処理対象の点の属性情報を導出するようにしてもよい。例えば、各近傍点の属性情報の平均値を処理対象の点の属性情報として適用するようにしてもよい。

＜符号化装置への方法３の適用＞
本実施の形態の＜方法３＞において上述した本技術（方法３）は、図８の符号化装置１００に適用することができる。例えば、パッチ分解部１１１が、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成するようにする。また、ビデオ符号化部１１４が、パッチ分解部１１１により生成されたパッチが配置されたフレーム画像とMissed Patchとを符号化するようにする。

このようにすることにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

もちろん、本実施の形態の＜方法３＞において上述した方法３に関するその他の本技術を符号化装置１００に適用することもできる。その場合、本実施の形態の＜方法３＞において上述したような効果を得ることができる。

＜符号化処理の流れ＞
この場合の符号化装置１００（方法３を適用した符号化装置１００）は、図９のフローチャートを参照して説明した場合と同様の流れで符号化処理を実行する。

＜パッチ分解処理の流れ＞
図２１のフローチャートを参照して、この場合の符号化装置１００（方法３を適用した符号化装置１００）により、図９のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。

パッチ分解処理が開始されると、パッチ分解部１１１は、ステップＳ４０１において、ポイントクラウドの各点の法線方向を推定する。ステップＳ４０２において、パッチ分解部１１１は、初期分割処理を行う。例えばパッチ分解部１１１は、各点について投影方向を候補の６方向（例えば上下前後左右）の中から選択し、その投影方向に基づいて各点を分類する。ステップＳ４０３において、パッチ分解部１１１は、分割更新処理を行う。例えばパッチ分解部１１１は、スムース処理等を行うことにより、ステップＳ４０２において行われた各点の分類を必要に応じて更新する。

ステップＳ４０４において、パッチ分解部１１１は、パッチ分割処理を実行し、上述の分類に従って各点を２次元平面に投影し、パッチを生成する。ステップＳ４０５において、パッチ分解部１１１は、パッチを選択する。ステップＳ４０５の処理が終了すると、パッチ分解処理が終了し、処理は図９に戻る。

＜パッチ分割処理の流れ＞
次に、図２２のフローチャートを参照して、図２１のステップＳ４０４において実行されるパッチ分割処理の流れの例を説明する。

パッチ分割処理が開始されると、パッチ分解部１１１は、ステップＳ４２１において、ポイントクラウドから、互いに同一方向に投影される、互いに隣接する点の集合であるコネクションコンポーネントを生成する。例えば、パッチ分解部１１１は、図２１のステップＳ４０２やステップＳ４０３の処理により分類された、互いに同一方向に投影される点群を、互いに隣接する点群に分割し、コネクションコンポーネントを生成する。

ステップＳ４２２において、パッチ分解部１１１は、生成した各コネクションコンポーネントを、図２１のステップＳ４０２やステップＳ４０３の処理により設定された投影方向の２次元平面に投影し、パッチを生成する。

ステップＳ４２３において、パッチ分解部１１１は、生成したパッチの内の未処理のパッチの内から処理対象とするパッチを選択し、その処理対象のパッチについて、Missed Patchに入れる点を判定する。この判定方法は任意であり、例えば、本実施の形態の＜方法３＞において上述した各種方法を適用することができる。

ステップＳ４２４において、パッチ分解部１１１は、ステップＳ４２３の判定結果に基づいて、該当点（すなわち、Missed Patchに入れる点）をMissed Patchに登録する。

ステップＳ４２５において、パッチ分解部１１１は、全てのパッチを処理したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ４２３に戻る。すなわち、パッチ分解部１１１は、各パッチについて、ステップＳ４２３乃至ステップＳ４２５の各処理を実行する。そして、ステップＳ４２５において、全てのパッチを処理したと判定された場合、パッチ分割処理が終了し、処理は図２１に戻る。

以上のように各処理を実行することにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号装置への方法３の適用＞
本実施の形態の＜方法３＞において上述した本技術（方法３）は、図１２の復号装置２００に適用することができる。例えば、ビデオ復号部２１３が、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、そのコネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号するようにする。また、３Ｄ再構築部２１７が、ビデオ復号部２１３により符号化データが復号されて得られたパッチとMissed Patchとを用いて、点群を再構築するようにする。

このようにすることにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号処理の流れ＞
この場合の復号装置２００（方法３を適用した復号装置２００）は、図１３のフローチャートを参照して説明した場合と同様の流れで復号処理を実行する。

＜ポイントクラウド再構築処理の流れ＞
次に、図２３のフローチャートを参照して、図１３のステップＳ２０７において実行される、この場合のポイントクラウド再構築処理の流れの例を説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ４４１において、パッチに基づいてコネクションコンポーネントを再構築する。

ステップＳ４４２において、３Ｄ再構築部２１７は、Missed Patchが存在するか否かを判定する。Missed Patchが存在すると判定された場合、処理はステップＳ４４３に進む。

ステップＳ４４３において、３Ｄ再構築部２１７は、Missed Patchのポイントをコネクションコンポーネントに追加する。ステップＳ４４３の処理が終了すると処理はステップＳ４４４に進む。また、ステップＳ４４２において、Missed Patchが存在しないと判定された場合、ステップＳ４４３の処理がスキップ（省略）されて、処理はステップＳ４４４に進む。

ステップＳ４４４において、３Ｄ再構築部２１７は、処理対象の位置情報のパッチに対応する属性情報のパッチに基づいて、再構築したコネクションコンポーネントの各点のテクスチャを再構成する。

ステップＳ４４５において、３Ｄ再構築部２１７は、属性情報のない点が存在するか否かを判定する。ステップＳ４４４の処理により属性情報が付与されなかった点、すなわち、投影の際にロスしたが、Missed Patchにより補完された点が存在すると判定された場合、処理はステップＳ４４６に進む。

ステップＳ４４６において、３Ｄ再構築部２１７は、位置情報のパッチに基づいて、その属性情報のない点の近傍点を探索し、その近傍点の属性情報を用いて、その属性情報のない点の属性情報を生成する（補完する）。この属性情報の補完方法は任意であり、例えば、本実施の形態の＜方法３＞において上述した各種方法を適用することができる。この処理が終了すると、処理はステップＳ４４７に進む。

ステップＳ４４７において、３Ｄ再構築部２１７は、位置情報のパッチを全て処理したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ４４１に戻る。つまり、位置情報の各パッチについて、ステップＳ４４１乃至ステップＳ４４７の各処理が適宜実行される。そして、ステップＳ４４７において、全てのパッチを処理したと判定された場合、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜５．第４の実施の形態＞
＜方法４＞
本実施の形態においては、方法４について説明する。方法４の場合、小領域の部分領域の投影方向をその部分領域に含まれる点に基づいて適応的に設定する。例えば、最初に投影方向のパラメータλを小さく取ってパッチを作り、ポイント数の変化が閾値以下の投影方向の中から、より面積の小さい投影方向を設定する。

このようにすることにより、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

なお、ポイント数の変化の評価方法は任意である。例えば、コネクションコンポーネントに含まれる点の数に占めるロスする点の数の割合により、ポイント数の変化を評価するようにしてもよい。例えば、投影によりロスする点の数を、コネクションコンポーネントに含まれる点の数と、投影してパッチに残る点の数との差分として導出する。そして、ロスする点の数の割合を、コネクションコンポーネントに含まれる点の数に占めるロスする点の数の割合（ロスする点の数／コネクションコンポーネントに含まれる点の数）として導出する。そして６方向（例えば上下前後左右）のそれぞれについて、このロスする点の数の割合を、例えば図２４に示されるように、閾値を用いて評価する。図２４の例の場合、方向０が閾値を超えている。このように閾値を超えない投影方向の中から、より面積の小さい投影方向を選択する。このようにしてパッチを小さくしていくようにしてもよい。

＜符号化装置への方法４の適用＞
本実施の形態の＜方法４＞において上述した本技術（方法４）は、図８の符号化装置１００に適用することができる。例えば、パッチ分解部１１１が、３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、そのコネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、そのコネクションコンポーネントの他の部分を、そのコネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成するようにする。また、ビデオ符号化部１１４が、パッチ分解部１１１により生成されたパッチが配置されたフレーム画像を符号化するようにする。

このようにすることにより、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

もちろん、本実施の形態の＜方法４＞において上述した方法４に関するその他の本技術を符号化装置１００に適用することもできる。その場合、本実施の形態の＜方法４＞において上述したような効果を得ることができる。

＜符号化処理の流れ＞
この場合の符号化装置１００（方法４を適用した符号化装置１００）は、図９のフローチャートを参照して説明した場合と同様の流れで符号化処理を実行する。

＜パッチ分解処理の流れ＞
図２５のフローチャートを参照して、この場合の符号化装置１００（方法４を適用した符号化装置１００）により、図９のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。

パッチ分解処理が開始されると、パッチ分解部１１１は、ステップＳ５０１において、ポイントクラウドの各点の法線方向を推定する。ステップＳ５０２において、パッチ分解部１１１は、初期分割処理を行う。例えばパッチ分解部１１１は、各点について投影方向を候補の６方向（例えば上下前後左右）の中から選択し、その投影方向に基づいて各点を分類する。ステップＳ５０３において、パッチ分解部１１１は、分割更新処理を行う。

ステップＳ５０４において、パッチ分解部１１１は、上述の分類に従って各点を２次元平面に投影し、パッチを生成する。ステップＳ５０４の処理が終了すると、パッチ分解処理が終了し、処理は図９に戻る。

＜分割更新処理の流れ＞
次に、図２６のフローチャートを参照して、図２５のステップＳ５０３において実行される分割更新処理の流れの例を説明する。

分割更新処理が開始されると、パッチ分解部１１１は、ステップＳ５２１において、スムース処理を行う。ステップＳ５２２において、パッチ分解部１１１は、投影方向更新処理を行い、小領域よりも小さい部分領域毎の投影方向の設定を行う。

ステップＳ５２２の処理が終了すると処理は図２５に戻る。

＜投影方向更新処理の流れ＞
次に、図２７のフローチャートを参照して、図２６のステップＳ５２２において実行される投影方向更新処理の流れの例を説明する。

投影方向更新処理が開始されると、パッチ分解部１１１は、ステップＳ５４１において、コネクションコンポーネントを生成する。

ステップＳ５４２において、パッチ分解部１１１は、投影によるポイント数の変化を評価する。この評価方法は、任意であり、例えば、本実施の形態の＜方法４＞において上述した各種方法を適用することができる。

ステップＳ５４３において、パッチ分解部１１１は、その評価結果に基づいて、ポイント数の変化率が閾値より小さい方向の内、投影面積のより小さい方向に変更する。また、その投影方向に基づいてパッチを再設定する。

ステップＳ５４４において、パッチ分解部１１１は、全てのパッチを処理したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ５４２に戻る。すなわち、パッチ分解部１１１は、各パッチについて、ステップＳ５４２乃至ステップＳ５４４の各処理を実行する。そして、ステップＳ５４４において、全てのパッチを処理したと判定された場合、パッチ分割処理が終了し、処理は図２６に戻る。

以上のように各処理を実行することにより、小領域内の各部分領域をより好ましい方向（すなわち、投影によりロスする点の数がより少ない方向）に投影させることができ、投影によるロスの発生を抑制することができる。したがって、表示用画像の主観画質の低減を抑制することができる。

＜復号＞
本実施の形態の＜方法４＞において上述した本技術（方法４）を適用して符号化を行う場合、そのビットストリームの復号は、従来と同様に行うことができる。その場合、復号装置２００の構成は、図１２を参照して説明した場合と同様でよい。また、復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行すればよい。

＜ポイントクラウド再構築処理の流れ＞
次に、図２８のフローチャートを参照して、図１３のステップＳ２０７において実行される、この場合のポイントクラウド再構築処理の流れの例を説明する。

ポイントクラウド再構築処理が開始されると、３Ｄ再構築部２１７は、ステップＳ５６１において、パッチに基づいてコネクションコンポーネントを再構築する。

ステップＳ５６２において、３Ｄ再構築部２１７は、処理対象の位置情報のパッチに対応する属性情報のパッチに基づいて、再構築したコネクションコンポーネントの各点のテクスチャを再構成する。

ステップＳ５６２の処理が終了すると、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。

このように、本技術（方法４）を適用して符号化を行う場合、容易にビットストリームを復号することができる。

＜６．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２９に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成するパッチ生成部と、
前記パッチ生成部により生成された各方向についての前記パッチが配置されたフレーム画像を符号化する符号化部と
を備える画像処理装置。
（２） 前記パッチ生成部は、前記コネクションコンポーネントの全体を所定の方向に投影してメインパッチを生成し、前記コネクションコンポーネントの全体を前記所定の方向と異なる他の方向に投影してサブパッチを生成する
（１）に記載の画像処理装置。
（３） 前記パッチ生成部は、前記メインパッチを、前記コネクションコンポーネントの位置情報および属性情報について生成し、前記サブパッチを、前記コネクションコンポーネントの位置情報について生成する
（２）に記載の画像処理装置。
（４） 前記パッチ生成部は、生成した前記サブパッチを行または列毎に複数に分離し、
前記符号化部は、前記サブパッチが行または列毎に複数に分離されて配置されたフレーム画像を符号化する
（２）に記載の画像処理装置。
（５） 前記パッチ生成部は、前記コネクションコンポーネントの全体を所定の方向に投影してパッチを生成し、前記コネクションコンポーネントの一部を前記所定の方向と異なる他の方向に投影して部分パッチを生成する
（１）に記載の画像処理装置。
（６） 前記パッチ生成部は、前記パッチを、前記コネクションコンポーネントの位置情報および属性情報について生成し、前記部分パッチを、前記コネクションコンポーネントの位置情報について生成する
（５）に記載の画像処理装置。
（７） 前記パッチ生成部により生成された前記パッチに関するオキュパンシーマップを生成するオキュパンシーマップ生成部と、
前記パッチ生成部により生成された前記部分パッチを含む領域に関する情報を含む補助パッチ情報を生成する補助パッチ情報生成部と
をさらに備える（５）に記載の画像処理装置。
（８） 前記パッチ生成部は、生成した前記部分パッチを含む領域を行または列毎に複数に分離し、
前記符号化部は、前記部分パッチを含む領域が行または列毎に複数に分離されて配置されたフレーム画像を符号化する
（５）に記載の画像処理装置。
（９） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成し、
生成された各方向についての前記パッチが配置されたフレーム画像を符号化する
画像処理方法。

（１０） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号する復号部と、
前記復号部により前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する再構築部と
を備える画像処理装置。
（１１） 前記復号部は、前記コネクションコンポーネントの全体が所定の方向に投影されて生成されたメインパッチと、前記コネクションコンポーネントの全体が前記所定の方向と異なる他の方向に投影されて生成されたサブパッチとが配置された前記フレーム画像の前記符号化データを復号し、
前記再構築部は、前記復号部により前記符号化データが復号されて得られた前記メインパッチおよび前記サブパッチを用いて、前記点群を再構築する
（１０）に記載の画像処理装置。
（１２） 前記復号部は、前記コネクションコンポーネントの全体が所定の方向に投影されて生成されたパッチと、前記コネクションコンポーネントの一部が前記所定の方向と異なる他の方向に投影されて生成された部分パッチとが配置された前記フレーム画像の前記符号化データを復号し、
前記再構築部は、前記復号部により前記符号化データが復号されて得られた前記パッチおよび前記部分パッチを用いて、前記点群を再構築する
（１０）に記載の画像処理装置。
（１３） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号し、
前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する
画像処理方法。

（１４） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、
前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成する
パッチ生成部と、
前記パッチ生成部により生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する符号化部と
を備える画像処理装置。
（１５） 前記パッチ生成部は、前記コネクションコンポーネントの投影により損失する可能性のある点の位置情報を含むMissed Patchを生成する
（１４）に記載の画像処理装置。
（１６） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、
前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成し、
生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する
画像処理方法。

（１７） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号する復号部と、
前記復号部により前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する再構築部と
を備える画像処理装置。
（１８） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号し、
前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する
画像処理方法。

（１９） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成するパッチ生成部と、
前記パッチ生成部により生成された前記パッチが配置されたフレーム画像を符号化する符号化部と
を備える画像処理装置。
（２０） ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成し、
生成された前記パッチが配置されたフレーム画像を符号化する
画像処理方法。

３１ メインパッチ， ３２ サブパッチ， １００ 符号化装置， １１１ パッチ分解部， １１２ パッキング部， １１３ 補助パッチ情報圧縮部， １１４ ビデオ符号化部， １１５ ビデオ符号化部， １１６ OMap符号化部， １１７ マルチプレクサ， ２００ 復号装置， ２１１ デマルチプレクサ， ２１２ 補助パッチ情報復号部， ２１３ ビデオ復号部， ２１４ ビデオ復号部， ２１５ OMap復号部， ２１６ アンパッキング部， ２１７ ３Ｄ再構築部

Claims (20)

1. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成するパッチ生成部と、
   前記パッチ生成部により生成された各方向についての前記パッチが配置されたフレーム画像を符号化する符号化部と
   を備える画像処理装置。
2. 前記パッチ生成部は、前記コネクションコンポーネントの全体を所定の方向に投影してメインパッチを生成し、前記コネクションコンポーネントの全体を前記所定の方向と異なる他の方向に投影してサブパッチを生成する
   請求項１に記載の画像処理装置。
3. 前記パッチ生成部は、前記メインパッチを、前記コネクションコンポーネントの位置情報および属性情報について生成し、前記サブパッチを、前記コネクションコンポーネントの位置情報について生成する
   請求項２に記載の画像処理装置。
4. 前記パッチ生成部は、生成した前記サブパッチを行または列毎に複数に分離し、
   前記符号化部は、前記サブパッチが行または列毎に複数に分離されて配置されたフレーム画像を符号化する
   請求項２に記載の画像処理装置。
5. 前記パッチ生成部は、前記コネクションコンポーネントの全体を所定の方向に投影してパッチを生成し、前記コネクションコンポーネントの一部を前記所定の方向と異なる他の方向に投影して部分パッチを生成する
   請求項１に記載の画像処理装置。
6. 前記パッチ生成部は、前記パッチを、前記コネクションコンポーネントの位置情報および属性情報について生成し、前記部分パッチを、前記コネクションコンポーネントの位置情報について生成する
   請求項５に記載の画像処理装置。
7. 前記パッチ生成部により生成された前記パッチに関するオキュパンシーマップを生成するオキュパンシーマップ生成部と、
   前記パッチ生成部により生成された前記部分パッチを含む領域に関する情報を含む補助パッチ情報を生成する補助パッチ情報生成部と
   をさらに備える請求項５に記載の画像処理装置。
8. 前記パッチ生成部は、生成した前記部分パッチを含む領域を行または列毎に複数に分離し、
   前記符号化部は、前記部分パッチを含む領域が行または列毎に複数に分離されて配置されたフレーム画像を符号化する
   請求項５に記載の画像処理装置。
9. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを、複数方向の２次元平面に投影し、各方向についてのパッチを生成し、
   生成された各方向についての前記パッチが配置されたフレーム画像を符号化する
   画像処理方法。
10. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号する復号部と、
    前記復号部により前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する再構築部と
    を備える画像処理装置。
11. 前記復号部は、前記コネクションコンポーネントの全体が所定の方向に投影されて生成されたメインパッチと、前記コネクションコンポーネントの全体が前記所定の方向と異なる他の方向に投影されて生成されたサブパッチとが配置された前記フレーム画像の前記符号化データを復号し、
    前記再構築部は、前記復号部により前記符号化データが復号されて得られた前記メインパッチおよび前記サブパッチを用いて、前記点群を再構築する
    請求項１０に記載の画像処理装置。
12. 前記復号部は、前記コネクションコンポーネントの全体が所定の方向に投影されて生成されたパッチと、前記コネクションコンポーネントの一部が前記所定の方向と異なる他の方向に投影されて生成された部分パッチとが配置された前記フレーム画像の前記符号化データを復号し、
    前記再構築部は、前記復号部により前記符号化データが復号されて得られた前記パッチおよび前記部分パッチを用いて、前記点群を再構築する
    請求項１０に記載の画像処理装置。
13. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントが、複数方向の２次元平面に投影されて生成された、各方向についてのパッチが配置されたフレーム画像の符号化データを復号し、
    前記符号化データが復号されて得られた各方向についての前記パッチを用いて、前記点群を再構築する
    画像処理方法。
14. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、
    前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成する
    パッチ生成部と、
    前記パッチ生成部により生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する符号化部と
    を備える画像処理装置。
15. 前記パッチ生成部は、前記コネクションコンポーネントの投影により損失する可能性のある点の位置情報を含むMissed Patchを生成する
    請求項１４に記載の画像処理装置。
16. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影してパッチを生成し、
    前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchを生成し、
    生成された前記パッチが配置されたフレーム画像と前記Missed Patchとを符号化する
    画像処理方法。
17. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号する復号部と、
    前記復号部により前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する再構築部と
    を備える画像処理装置。
18. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントを２次元平面に投影したパッチと、前記コネクションコンポーネントの投影により損失する可能性のある点に関する情報を含むMissed Patchとを含む符号化データを復号し、
    前記符号化データが復号されて得られた前記パッチと前記Missed Patchとを用いて、前記点群を再構築する
    画像処理方法。
19. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成するパッチ生成部と、
    前記パッチ生成部により生成された前記パッチが配置されたフレーム画像を符号化する符号化部と
    を備える画像処理装置。
20. ３次元構造を表す点群の、互いに同一方向に投影される互いに隣接する点により構成されるコネクションコンポーネントの一部を、前記コネクションコンポーネントの一部に基づいて更新した投影方向に投影してパッチを生成し、前記コネクションコンポーネントの他の部分を、前記コネクションコンポーネントの全体に基づいて設定した投影方向に投影してパッチを生成し、
    生成された前記パッチが配置されたフレーム画像を符号化する
    画像処理方法。

Images