JP7393679B2 - 復号方法、復号装置およびプログラム - Google Patents

Description

本発明は、復号方法、復号装置およびプログラムに関する。

仮想空間内に３次元物体を表示するコンテンツが広まっている。仮想空間内の３次元物体を表現する方法として点群データが知られている。点群データは、３次元空間上の点の集まりである。点群データそのままではデータ量が大きくなるので、点群データを含む立方体を八分木（ｏｃｔｒｅｅ）構造で符号化することが考えられている。

八分木構造では、点群データをすべて含む立方体を作成し、各辺を２等分して８つの立方体（以下、分割後の立方体をボックスと称する）に分割する。点を含むボックスはさらに８つに分割する。点を含まないボックスは分割しない。立方体を、ボックスそれぞれの点の占有状態（点を含むか否か）に基づいて数値で表現する。点の占有状態を１ビットの数値で表すと立方体は８ビット（０から２５５）の数値で表される。さらに分割されたボックスも８ビットの数値で表される。上の階層（大きい立方体）から順に、８ビットの数値を並べることで点群データを符号化できる。

"Information technology - MPEG-I (Coded Representation of Immersive Media) - Part 9: Geometry-based Point Cloud Compression", ISO/IEC JTC 1/SC 29/WG 11

しかしながら、現実空間における物体の構造を鑑みると、エッジのように、特定の方向には連続して点が存在するが、隣接する領域では連続して点が存在しないような場合が多数存在する。このような場合、点が存在する領域と点が存在しない領域の境界が１つのボックスに含まれることがある。結果として、当該エッジの大きさに対応する分だけ点が存在する座標と存在しない座標の両方を有するボックスが連続して、符号化効率が落ちる可能性がある。

本発明は、上記に鑑みてなされたものであり、点群データの符号化効率を向上することを目的とする。

本発明の一態様の復号方法は、３次元の点群データを含む立方体を第１方向、第２方向、第３方向の順にｎ（ｎは２以上の整数）分割して点の占有状態を符号化した符号化データから前記点群データを復号する復号方法であって、コンピュータが、復号する順番に応じた第１方向、第２方向、第３方向を判定するステップと、前記立方体を前記第１方向にｎ分割したｎ個の第１ブロック群それぞれの点の占有状態を得るステップと、前記第１ブロック群それぞれの点の占有状態に応じて、当該第１ブロック群を前記第２方向にｎ分割したｎ個の第２ブロック群それぞれの点の占有状態を得るステップと、前記第２ブロック群それぞれの点の占有状態に応じて、当該第２ブロック群を前記第３方向にｎ分割したｎ個のブロックそれぞれの点の占有状態を得るステップを実行する。

本発明によれば、点群データの符号化効率を向上することができる。

図１は、点群データを含む立方体を示す図である。 図２は、立方体をｚ軸方向に分割した図である。 図３は、４×４ブロック面をｘ軸方向に分割した図である。 図４は、４×１ブロック列をｙ軸方向に分割した図である。 図５は、本実施形態の復号装置が復号する符号化データの構造の一例を示す図である。 図６は、ヘッダに含まれる復号情報の一例を示す図である。 図７は、本実施形態の復号装置の構成例を示す機能ブロック図である。 図８は、本実施形態の復号装置の処理の流れを示すフローチャートである。 図９は、立方体をｘ軸方向に分割した図である。 図１０は、８×８ブロック面をｙ軸方向に分割した図である。 図１１は、８×１ブロック列をｚ軸方向に分割した図である。 図１２は、点群データの符号化方法の処理の流れを示すフローチャートである。 図１３は、立方体を８×８×８ブロックに分割した図である。 図１４は、点群データの符号化方法の処理の流れを示すフローチャートである。 図１５は、立方体を８分割した図である。 図１６は、２つの立方体を８分割した図である。 図１７は、復号装置のハードウェア構成の一例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。

本実施形態において復号する符号化データは、３次元の点群データを含む立方体を座標軸方向ごとにｎ（ｎは２以上の整数）分割して符号化されたものである。具体的には、本実施形態の符号化データは、立方体をいずれかの座標軸方向にｎ分割した後、分割後の立体（ｎ×ｎブロック面）を分割面と平行ないずれかの座標軸方向にｎ分割し、さらに分割後の立体（ｎ×１ブロック列）をｎ個の立方体（１×１×１ブロックまたはブロック）に分割して得られた各立体（ｎ×ｎブロック面、ｎ×１ブロック列、および１×１×１ブロック）の点の占有状態に基づいて符号化されている。

［符号化データ］
図１～４を参照し、本実施形態の符号化データについて具体例を用いて説明する。

図１に示すように、点を含むブロックがｙ軸方向に並んでいるとする。これらのブロックを含む立方体を分割して符号化する。以下では、分割数ｎを４として説明する。

図２に立方体の分割例を示す。図２の例では、立方体がｚ軸方向に４つの４×４ブロック面に分割されている。４×４ブロック面それぞれの点の占有状態について、点を含む立体を１、点を含まない立体を０で表す。ｚ軸の正の方向を上位ビットとして、立方体を４分割した各立体の点の占有状態を表した数値を並べると、立方体は“０００１”と表される。

４つの４×４ブロック面のうち点を含む４×４ブロック面がさらに分割されて符号化される。図２の例では、一番下の４×４ブロック面のみがさらに分割される。

図３に４×４ブロック面の分割例を示す。図３の例では、４×４ブロック面がｘ軸方向に４つの４×１ブロック列に分割されている。４×１ブロック列それぞれの点の占有状態について、点を含む立体を１、点を含まない立体を０で表す。ｘ軸の正の方向を上位ビットとして、４×４ブロック面を４分割した各立体の点の占有状態を表した数値を並べると、図３の４×４ブロック面は“１０００”と表される。

４つの４×１ブロック列のうち点を含む４×１ブロック列がさらに分割されて符号化される。図３の例では、一番右の４×１ブロック列のみがさらに分割される。

図４に４×１ブロック列の分割例を示す。図４の例では、４×１ブロック列がｙ軸方向に４つのブロックに分割されている。ブロックそれぞれの点の占有状態について、点を含む立体を１、点を含まない立体を０で表す。ｙ軸の正の方向を上位ビットとして、４×１ブロック列を４分割した各立体の点の占有状態を表した数値を並べると、図４の４×１ブロック列は“１１１１”と表される。

各立体を符号化した数値を並べると本実施形態の符号化データが得られる。図１の立方体は“０００１ １０００ １１１１”と１２ビットで表される。このデータに、立方体を分割した順番、つまり復号する順番を示すヘッダが付与される。上記の例では、立方体をｚ軸、ｘ軸、ｙ軸の順に復号することを示すヘッダが付与される。

図５に符号化データの構造の一例を示す。図５の符号化データは、ヘッダ、第１符号化データ、第２符号化データ、および第３符号化データで構成される。ヘッダは、復号方法と復号方向を示す復号情報を含む。図６に復号情報の一例を示す。図６の例では、０は従来の八分木で復号することを表す。１から６は復号方向の順番を表す。例えば、図１～４の例では、ｚ軸、ｘ軸、ｙ軸の順に復号するので、復号情報の値は５となる。なお、図５の符号化データの構成および図６のヘッダは一例であり、これに限るものではない。

第１符号化データは、立方体をｎ分割したｎ×ｎブロック面それぞれの点の占有状態を符号化したデータである。図１～４の例では、立方体をｚ軸方向に４分割して得られた４つのｎ×ｎブロック面それぞれの点の占有状態を符号化した“０００１”が第１符号化データである。

第２符号化データは、点を含むｎ×ｎブロック面それぞれをｎ分割したｎ×１ブロック列それぞれの点の占有状態を符号化したデータである。図１～４の例では、４×４ブロック面をｘ軸方向に４分割して得られた４つのｎ×１ブロック列それぞれの点の占有状態を符号化した“０００１”が第２符号化データである。第２符号化データは、点を含むｎ×ｎブロック面の数分存在する。例えば、２つのｎ×ｎブロック面が点を含む場合、第２符号化データは２つ存在し、所定の順番で並べられる。

第３符号化データは、点を含むｎ×１ブロック列それぞれをｎ分割したブロックそれぞれの点の占有状態を符号化したデータである。図１～４の例では、４×１ブロック列をｙ軸方向に４分割して得られた４つのブロックそれぞれの点の占有状態を符号化した“１１１１”が第３符号化データである。第３符号化データは、点を含むｎ×１ブロック列の数分存在する。複数の第３符号化データは所定の順番で並べられる。

なお、復号情報の値が０の場合、ヘッダに続くデータは、立方体の各辺を２等分して分割した８つの立方体それぞれの点の占有状態である。点の占有状態を０か１の１ビットとすると、１階層分の八分木構造のデータは８ビットの数値で表される。本実施形態の符号化データの分割数ｎを８とすると、第１符号化データ、第２符号化データ、および第３符号化データのいずれも８ビットの数値となるので、八分木構造のデータと親和性が高くなる。

次の階層の各ブロック（図４の各ブロック）が分割できるときは、第３符号化データの後に、点を含む各ブロックを符号化した符号化データを追加する。例えば、図４の各ブロックをさらに分割するときは、ブロック４つ分の符号化データが追加される。各ブロックは図１～４と同様に符号化できる。４つのブロックの符号化データのそれぞれは、ヘッダ、第１符号化データ、第２符号化データ、および第３符号化データで構成される。ブロックごとに、本実施形態の符号化データと八分木構造のデータを使い分けてもよい。

さらに下の階層のブロック（図４の各ブロックを分割して得られるブロック）が分割できるときは、ブロックごとに下の階層のブロックの符号化データを追加してもよいし、階層ごとに符号化データをまとめてもよい。

親の立方体（図１の立方体）と子のブロック（図４の各ブロック）の復号方向が同じ場合は、各ブロックの符号化データにヘッダを付与しなくてもよい。例えば、図４の４つのブロックの符号化データのそれぞれは、第１符号化データ、第２符号化データ、および第３符号化データで構成される。これらの符号化データは、ｚ軸方向、ｘ軸方向、ｙ軸方向の順番で復号する。

同じ階層で復号方向が同じ場合は、階層ごとにヘッダを付与してもよい。例えば、階層の１番目の符号化データのみにヘッダを付与し、残りの符号化データにはヘッダを付与しない。

［復号装置の構成］
図７を参照し、本実施形態の復号装置について説明する。図７に示す復号装置１０は、復号方向判定部１１、第１復号部１２、第２復号部１３、および第３復号部１４を備える。

復号方向判定部１１は、復号する順序に応じた方向を判定する。以下では、復号する順序に応じた方向を第１方向、第２方向、第３方向とする。第１方向、第２方向、第３方向のそれぞれは、ｘ軸方向、ｙ軸方向、ｚ軸方向のいずれかである。

第１復号部１２は、立方体を第１方向にｎ分割したｎ個のｎ×ｎブロック面それぞれの点の占有状態を得る。

第２復号部１３は、ｎ×ｎブロック面の点の占有状態に応じて、点を含むｎ×ｎブロック面を第２方向にｎ分割したｎ個のｎ×１ブロック列それぞれの点の占有状態を得る。

第３復号部１４は、ｎ×１ブロック列の点の占有状態に応じて、点を含むｎ×１ブロック列を第３方向にｎ分割したｎ個のブロックそれぞれの点の占有状態を得る。

ブロックをさらに分割できるときは、点を含むブロックつまり図５の第３符号化データに続く次のブロックの符号化データを復号方向判定部１１に入力する。ブロックが分割できないときは、ブロックの点の占有状態が点群データを示す。

［復号装置の処理］
図８のフローチャートを参照し、復号装置１０の処理の流れについて説明する。

ステップＳ１にて、復号装置１０は、入力した符号化データの復号方法を取得し、ステップＳ２にて、復号方法は従来方法であるか否か判定する。復号方法は、ヘッダを参照することで判定できる。また、復号方向もヘッダから得ることができる。

復号方法が従来方法の場合、ステップＳ３にて、従来方法でヘッダに続くデータを復号する。

符号化データが復号装置１０の復号対象の場合、ステップＳ４にて、第１復号部１２は、第１符号化データから、８×８×８ブロック（立方体）を第１方向に分割した８×８ブロック面の点の占有状態を得る。分割数ｎ（ここではｎ＝８）は、事前に指定されてもよいし、ヘッダで指定されてもよい。

例えば、第１方向がｘ軸のとき、図９に示すように、立方体はｘ軸方向に８つの８×８ブロック面に分割されて符号化されている。８×８ブロック面の点の占有状態を１ビットで表すと、ｘ軸の正の方向を上位ビットとした８ビットの数値（０～２５５）で立方体は符号化されている。

点を含まない８×８ブロック面は、以下のステップＳ５以降の処理対象としない。

ステップＳ５にて、８×８ブロック面のうち点を含む８×８ブロック面について、第２復号部１３は、第２符号化データから、８×８ブロック面を第２方向に分割した８×１ブロック列の点の占有状態を得る。

例えば、第２方向がｙ軸のとき、図１０に示すように、８×８ブロック面はｙ軸方向に８つの８×１ブロック列に分割されて符号化されている。８×１ブロック列の点の占有状態を１ビットで表すと、ｙ軸の正の方向を上位ビットとした８ビットの数値（０～２５５）で８×８ブロック面は符号化されている。

点を含まない８×１ブロック列は、以下のステップＳ６以降の処理対象としない。

ステップＳ６にて、８×１ブロック列のうち点を含む８×１ブロック列について、第３復号部１４は、第３符号化データから、８×１ブロック列を第３方向に分割したブロックの点の占有状態を得る。

例えば、第３方向がｚ軸のとき、図１１に示すように、８×１ブロック列はｚ軸方向に８つのブロックに分割されて符号化されている。ブロックの点の占有状態を１ビットで表すと、ｚ軸の正の方向を上位ビットとした８ビットの数値（０～２５５）で８×１ブロック列は符号化されている。

ステップＳ７にて、ステップＳ６で得られたブロックがさらに分割できるか否かを判定する。従来方法で復号した場合は、ステップＳ３で分割後のブロックがさらに分割できるか否かを判定する。

ブロックがさらに分割できる場合、そのブロックを符号化したデータについて、ステップＳ１からの処理を繰り返す。具体的には、図７の次のブロック以降のデータについてステップＳ１からの処理を繰り返す。

［符号化方法］
本実施形態では、分割後の各立体内の点の占有状態の相関が高くなる方向に立体をｎ分割し、分割後の立体内の点の占有状態に基づいて符号化する。例えば、立体をｎ分割したときに、分割後のｎ個の立体のうち点を含まない立体が多くなるように分割方向を決定する。このとき、ｎ分割可能なｎ×１ブロック列（１×１×ｎ，１×ｎ×１，ｎ×１×１のいずれでもよい）が最小単位（最小の立体）となる。または、点の占有状態の相関が高くなるように、ｎ個のブロックを一方向に並べてｎ×１ブロック列を作成し、各ブロックの点の占有状態に応じてｎ×１ブロック列を符号化する。上の階層では、作成するブロック群内の点の占有状態の相関が高くなる方向に、ｎ個のｎ×１ブロック列を並べて、各ｎ×１ブロック列内の点の占有状態に応じて作成したブロック群を符号化する。さらに上の階層では、点の占有状態の相関が高くなる方向に下の階層のブロック群を並べて符号化する。いずれにおいても、立体を一方向にｎ分割した各立体の点の占有状態に基づいて符号化されるものであり、本実施例としての選択可能な最小単位はｎ×１ブロック列である。ただし、符号化対象の点の占有状態により、実施例としての最小単位よりも大きな単位で符号化される場合も当然ある。以下、分割数ｎを８とした符号化方法について説明する。

図１２のフローチャートを参照し、点群データの符号化方法の一例について説明する。

ステップＳ１１にて、点群データを全て含み、１辺が８のｋ乗のうち最小となる立方体を生成する。分割数ｎは８、階層の数はｋである。

ステップＳ１２にて、図１３に示すように、ｘｙｚ軸方向にそれぞれ８分割する。つまり、立方体を８×８×８個のブロックに分割する。

ステップＳ１３にて、ｘｙｚ軸方向のいずれかのうち、当該空間に点がある、もしくは点が無い相関が最も高くなる方向に８つのブロックをまとめて８×１ブロック列を作成する。例えば、点を含まないブロックだけで構成される８×１ブロック列の数が多くなる方向に、８×１ブロック列を作成する。前出の図１１で示した例では、ｚ軸方向にブロックをまとめて８×１ブロック列を作成した。全てのブロックが同じ方向（図１１の例ではｚ軸方向）にまとめられて、６４個の８×１ブロック列が作成される。

ステップＳ１４にて、ステップＳ１３でブロックをまとめた方向以外のいずれかの方向に８つの８×１ブロック列をまとめて８×８ブロック面を作成する。例えば、点を含まないブロックだけで構成される８×８ブロック面の数が多くなる方向に、８×８ブロック面を作成する。前出の図１０に示した例では、ｙ軸方向に８×１ブロック列をまとめて８×８ブロック面を作成した。全ての８×１ブロック列が同じ方向（図１０の例ではｙ軸方向）にまとめられて、８個の８×８ブロック面が作成される。

８個の８×８ブロック面をまとめると元の立方体となる。

以上の処理により、立方体を分割する方向の順番と分割後の各立体の点の占有状態が決まるので、点群データを含む立方体を符号化できる。

また、ステップＳ１５にて、ブロックがさらに分割できるか否か判定する。分割できるときは、点を含むブロックのそれぞれについて、ステップＳ１２からステップＳ１４の処理を繰り返して下の階層の各ブロックを符号化する。なお、ステップＳ１２からステップＳ１４の処理はｋ回繰り返される。

図１４のフローチャートを参照し、点群データの符号化方法の別の例について説明する。

ステップＳ２１にて、単位ブロックを最小とする。例えば、点群データの１つの点を含む立方体を最小の単位ブロックとする。

ステップＳ２２にて、空間内の点の占有状態の相関が高い方向（ｘ軸方向、ｙ軸方向、ｚ軸方向のいずれか）に、単位ブロックを８個まとめて８×１ブロック列を作成する。

ステップＳ２３にて、含まれるブロック列の相関が高くなる方向（ステップＳ２２の方向と直交する方向）に、８×１ブロック列を８個まとめて８×８ブロック面を作成する。

ステップＳ２４にて、８×８ブロック面を８個まとめて８×８×８ブロックの立方体を作成する。

ステップＳ２５にて、立方体に全ての点群データが含まれているか否か判定する。

立方体に全ての点群データが含まれている場合は、立方体を分割する方向の順番と分割後の各立体の点の占有状態が決まるので、点群データを含む立方体を符号化できる。

立方体に全ての点群データが含まれていない場合は、ステップＳ２６にて、８×８×８ブロックを単位ブロックとして、ステップＳ２２からの処理を繰り返す。

なお、符号化方法は上記のものに限らず、様々な符号化方法を用いることができる。例えば、６通りの全ての順番で符号化し、最も符号化効率のよい順番を採用する。

［八分木との比較］
次に、本実施形態の復号方法を用いて復号する符号化データと八分木で符号化したデータの符号化効率を比較する。

図１５，１６を参照し、図１で示した４つのブロックを含む立方体を八分木で符号化したデータについて説明する。

図１５に示すように、八分木構造では、立方体の各辺を２等分して８つの立方体に分割する。８つの立方体のそれぞれに、位置に応じて０番から７番の番号を付与する。具体的には、図１５の左側の縦に並んだ２つの立方体を下から順に０番と１番とし、奥の縦に並んだ２つの立方体を下から順に２番と３番とし、手前の縦に並んだ２つの立方体を下から順に４番と５番とし、右側の縦に並んだ２つの立方体を下から順に６番と７番とする。立方体それぞれの点の占有状態について、点を含む立方体を１、点を含まない立方体を０で表す。立方体の番号順に、各立方体の点の占有状態を表した数値を下位ビットから並べると、立方体は“０１０１００００”と表される。

図１６に示すように、点を含む４番と６番の立方体のそれぞれは、さらに８つの立方体に分割されて同様に符号化される。４番と６番の立方体のいずれも“０１０１００００”と表される。

立方体を符号化した数値を階層ごとに並べると、“０１０１００００ ０１０１００００ ０１０１００００”と２４ビットで表される。前出のように、本実施形態の符号化データは１２ビットであり、八分木よりも符号量を削減できる可能性がある。

以上説明したように、本実施形態の復号装置１０は、３次元の点群データを含む立方体を第１方向、第２方向、第３方向の順にｎ（ｎは２以上の整数）分割して点の占有状態を符号化した符号化データから点群データを復号する。復号装置１０は、立方体を分割した順番に応じた第１方向、第２方向、第３方向を判定する復号方向判定部１１と、立方体を第１方向にｎ分割したｎ個のｎ×ｎブロック面それぞれの点の占有状態を得る第１復号部１２と、ｎ×ｎブロック面それぞれの点の占有状態に応じて、ｎ×ｎブロック面を第２方向にｎ分割したｎ個のｎ×１ブロック列それぞれの点の占有状態を得る第２復号部１３と、ｎ×１ブロック列それぞれの点の占有状態に応じて、ｎ×１ブロック列を第３方向にｎ分割したｎ個のブロックそれぞれの点の占有状態を得る第３復号部１４を備える。これにより、点群データを八分木構造で表現したときよりも、符号化効率を向上できる場合がある。例えば、床または柱などの３次元物体を表現する際に符号化効率を向上できる。

上記説明した復号装置１０には、例えば、図１７に示すような、中央演算処理装置（ＣＰＵ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、復号装置１０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

１０…復号装置
１１…復号方向判定部
１２…第１復号部
１３…第２復号部
１４…第３復号部

Claims (6)

1. ３次元の点群データを含む立方体を第１方向、第２方向、第３方向の順にｎ（ｎは２以上の整数）分割して点の占有状態を符号化した符号化データから前記点群データを復号する復号方法であって、
   コンピュータが、
   復号する順番に応じた第１方向、第２方向、第３方向を判定するステップと、
   前記立方体を前記第１方向にｎ分割したｎ個の第１ブロック群それぞれの点の占有状態を得るステップと、
   前記第１ブロック群それぞれの点の占有状態に応じて、当該第１ブロック群を前記第２方向にｎ分割したｎ個の第２ブロック群それぞれの点の占有状態を得るステップと、
   前記第２ブロック群それぞれの点の占有状態に応じて、当該第２ブロック群を前記第３方向にｎ分割したｎ個のブロックそれぞれの点の占有状態を得るステップを実行する
   復号方法。
2. 請求項１に記載の復号方法であって、
   ｎは８である
   復号方法。
3. 請求項１または２に記載の復号方法であって、
   前記第３方向にｎ分割したｎ個のブロックのそれぞれを符号化した符号化データを復号する
   復号方法。
4. 請求項３に記載の復号方法であって、
   前記符号化データは、ｎ個のブロックごとに前記復号する順番を判定するための情報を保持する
   復号方法。
5. ３次元の点群データを含む立方体を第１方向、第２方向、第３方向の順にｎ（ｎは２以上の整数）分割して点の占有状態を符号化した符号化データから前記点群データを復号する復号装置であって、
   復号する順番に応じた第１方向、第２方向、第３方向を判定する復号方向判定部と、
   前記立方体を前記第１方向にｎ分割したｎ個の第１ブロック群それぞれの点の占有状態を得る第１復号部と、
   前記第１ブロック群それぞれの点の占有状態に応じて、当該第１ブロック群を前記第２方向にｎ分割したｎ個の第２ブロック群それぞれの点の占有状態を得る第２復号部と、
   前記第２ブロック群それぞれの点の占有状態に応じて、当該第２ブロック群を前記第３方向にｎ分割したｎ個のブロックそれぞれの点の占有状態を得る第３復号部を備える
   復号装置。
6. 請求項１ないし４のいずれかに記載の復号方法をコンピュータに実行させるプログラム。

Images