JP2024518154A - 点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体 - Google Patents
点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体 Download PDFInfo
- Publication number
- JP2024518154A JP2024518154A JP2023567258A JP2023567258A JP2024518154A JP 2024518154 A JP2024518154 A JP 2024518154A JP 2023567258 A JP2023567258 A JP 2023567258A JP 2023567258 A JP2023567258 A JP 2023567258A JP 2024518154 A JP2024518154 A JP 2024518154A
- Authority
- JP
- Japan
- Prior art keywords
- filtering
- point cloud
- reconstructed
- information
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 594
- 238000003860 storage Methods 0.000 title claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 1522
- 230000008569 process Effects 0.000 claims abstract description 404
- 238000013139 quantization Methods 0.000 claims description 84
- 239000013598 vector Substances 0.000 claims description 53
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 80
- 238000010586 diagram Methods 0.000 description 50
- 230000000694 effects Effects 0.000 description 34
- 230000009466 transformation Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000005457 optimization Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 229910003460 diamond Inorganic materials 0.000 description 8
- 239000010432 diamond Substances 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000002411 adverse Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 235000014347 soups Nutrition 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が提供される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定し、フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる(101)。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する(102)。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する(103)。復号器は、フィルタリングされた点群を利用して再構成点群を更新する(104)。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する(201)。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する(202)。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する(203)。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する(204)。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む(205)。
Description
本出願の実施形態は、ビデオ符号化・復号化技術分野に関し、特に、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体に関する。
現在、幾何に基づいた点群圧縮(geometry-based point cloud compression、G-PCC)の符号器フレームワークにおいて、点群の属性情報の符号化は主に色情報の符号化を対象とする。まず、色情報をRGB色空間からYUV色空間に変換する。その後、再構成された幾何情報を利用して点群を再着色することにより、符号化されていない属性情報と再構成された幾何情報とを対応させる。色情報の符号化では、主に予測変換(predicting transform)、リフティング変換(lifing transform)、RAHT(regional adaptive hierarchical transform)という3つの色属性変換の符号化方式を利用して操作を行うことにより、2進ビットストリームを最終的に生成する。
しかしながら、一般的な点群符号化・復号化方法では、予測が十分に精確ではないという課題があり、結果として、再構成点群とオリジナル点群との差が比較的大きく、点群全体の品質に影響を及ぼすため、符号化・復号化効率が低下するようになる。
本出願の実施形態において、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が提供される。それによって、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態の技術案は以下のように実現されることができる。
第一様態において、本出願の実施形態では、点群復号化方法が提供される。当該方法は、復号器に適用され、以下の内容を含む。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
第二様態において、本出願の実施形態では、点群符号化方法が提供される。当該方法は、符号器に適用され、以下の内容を含む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
第三様態において、本出願の実施形態では、符号器が提供される。当該符号器は、第一特定部、構築部、及び符号化部を備える。
第一特定部は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第一特定部は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第四様態において、本出願の実施形態では、符号器が提供される。当該符号器は、第一プロセッサと、第一プロセッサによって実行可能な命令が記憶された第一メモリとを備える。上記命令が実行されると、第一プロセッサは、上記点群符号化方法を実行する。
第五様態において、本出願の実施形態では、復号器が提供される。当該復号器は、復号化部、第二特定部、及び更新部を備える。
復号化部は、ビットストリームを復号化するように構成されている。
第二特定部は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
復号化部は、ビットストリームを復号化するように構成されている。
第二特定部は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
第六様態において、本出願の実施形態では、復号器が提供される。当該復号器は、第二プロセッサと、第二プロセッサによって実行可能な命令が記憶された第二メモリとを備える。上記命令が実行されると、第二プロセッサは、上記点群復号化方法を実行する。
第七様態において、本出願の実施形態では、コンピュータ記憶媒体が提供される。コンピュータ記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが第一プロセッサによって実行されると、上記点群符号化方法を実行し、又は、コンピュータプログラムが第二プロセッサによって実行されると、上記点群復号化方法を実行する。
本出願の実施形態では、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態の特徴及び技術内容をより詳細に理解できるように、以下、図面とともに本出願の実施形態の実現について詳述するが、添付の図面は参照のためのみに用いられ、本出願の実施形態を限定するものではない。
本出願の実施形態では、G-PCCの符号器フレームワークにおいて、入力された3次元画像モデルの点群をスライス(slice)に分割した後、各スライスを独立して符号化する。
図1は、G-PCC符号化のプロセスを示すブロック図である。図1に示されたG-PCC符号化のプロセスは点群符号器に適用される。符号化待ちの点群データに対して、まずスライス分割により、点群データを複数のスライスに分割する。各スライスでは、点群の幾何情報と、各点群に対応する属性情報とが別々に符号化される。幾何符号化のプロセスにおいて、全ての点群が1つの境界ボックス(bounding box)に含まれるように、幾何情報に対して座標変換を行う。その後、主にスケーリング(scaling)の役割を果たす量子化を行う。量子化の丸め処理により、一部の点群の幾何情報が同じになるため、パラメータに基づいて重複点を除去するか否かを決定する。量子化と重複点の除去というプロセスはボクセル化(voxelization)プロセスとも呼ばれる。次に、境界ボックスに対して八分木分割を行う。八分木に基づいた幾何情報の符号化プロセスにおいて、境界ボックスは8つのサブキューブ(sub-cube)に8等分され、非空の(点群における点を含む)サブキューブは、分割によって取得されたリーフノードが1×1×1のユニットキューブ(unit cube)になるまで、引き続き8等分される。リーフノードにおける点に対して算術符号化を行って、2進の幾何ビットストリーム(geometry bitstream)、即ち幾何コードストリーム(geometry code stream)を生成する。トライアングルスープ(triangle soup、trisoup)に基づいた幾何情報の符号化プロセスにおいても、まず、八分木分割が行われる。八分木に基づいた幾何情報の符号化プロセスとは異なり、当該トライスープ(trisoup)に基づいた幾何情報の符号化プロセスでは、点群を辺長が1×1×1のユニットキューブに段階的に分割する必要はなく、点群を辺長がWのブロック(block)に分割した後、分割を停止する。各ブロックにおける点群の分布によって形成された表面に基づいて、その表面とブロックの12の辺で生成される最大で12個の交点(vertex)を取得する。交点に対して算術符号化(交点に基づく表面フィッティング(surface fitting))を行って、2進の幾何ビットストリーム、即ち幾何コードストリームを生成する。交点は幾何再構成の実現にも用いられる。再構成された幾何情報は、点群の属性を符号化するときに使用される。
属性符号化のプロセスにおいて、幾何符号化が完了し、幾何情報が再構成された後、色変換が行われる。即ち、色情報(即ち、属性情報)をRGB色空間からYUV色空間に変換する。その後、再構成された幾何情報を利用して点群を再着色し、符号化されていない属性情報と再構成された幾何情報とを対応させる。属性符号化は主に色情報を対象とする。色情報の符号化プロセスには、主に2つの変換方法がある。1つは、詳細度(level of detail、LOD)分割に依存される、距離に基づいたリフティング変換である。もう1つは、RAHT(regional adaptive hierarchical transform)である。この2つの方法を介して、色情報を空間領域から周波数領域に変換し、変換によって高周波係数及び低周波係数を取得して、最後に係数を量子化する(即ち、量子化係数)。最後、八分木分割及び表面フィッティングを経た幾何符号化データと量子化係数処理属性符号化データとをスライス合成し、各ブロックの交点座標を順に符号化(即ち、算術符号化)して、2進の属性ビットストリーム、即ち、属性コードストリームを生成する。
図2は、G-PCC復号化のプロセスを示すブロック図である。図2に示されたG-PCC復号化のプロセスは点群復号器に適用される。取得された2進ビットストリームに対して、まず、2進ビットストリームにおける幾何ビットストリームと属性ビットストリームとをそれぞれ独立して復号化する。幾何ビットストリームを復号化するとき、算術復号化-八分木合成(octree synthesis)-表面フィッティング-幾何の再構成-逆座標変換を介して、点群の幾何情報を取得する。属性ビットストリームを復号化するとき、算術復号化-逆量子化-LODに基づいたリフティング逆変換(lifting inverse transform)又はRAHTに基づいた逆変換-逆色変換を介して、点群の属性情報を取得する。幾何情報及び属性情報に基づいて、符号化待ちの点群データの3次元画像モデルを復元する。
上記図1に示されたG-PCC符号化のプロセスのブロック図では、LOD分割は主に、点群の属性変換における予測変換及びリフティング変換という2つの方式に用いられる。
点群の幾何再構成の後、LOD分割のプロセスが行われる。このとき、点群の幾何座標情報は直接に取得されることができる。点群における点の間のユークリッド距離に応じて点群を複数のLODに分割し、LODにおける点の色を順次復号化し、ゼロランレングス符号化(Zero-Run Length encoding)技術におけるゼロの数(zero_cnt)の値を計算して残差を復号化する。
図3は、ゼロランレングス符号化を示す概略図である。図3に示されるように、ゼロランレングス符号化方法に基づいて復号化操作を行い、まず、ビットストリームにおける1つ目のzero-cntの値を解析する。zero-cntが0より大きければ、zero_cnt--、この場合、残差が0であることを示し、zero-cntが0に等しければ、この点の属性残差が0ではないことを示す。次に、対応する残差値を復号化し(decoder.decode(values))、復号化された残差を逆量子化して、現在点のpredictedColorに加算して当該点の再構成値を取得し、点群における全ての点の復号化を完了するまで、当該操作を実行し続ける。
即ち、現在点の色再構成値はreconstructedColorであり、現在の予測モードでの色の予測値(predictedColor)と、現在の予測モードでの色の逆量子化残差値(residual)とに基づいて計算される必要があり、即ち、reconstructedColor=predictedColor+residualである。
さらに、現在点をLODにおける後続の点の最近隣点とし、現在点の色再構成値を利用して後続点に対して属性予測を行う。
しかしながら、既存の符号化・復号化フレームワークでは、点群シーケンスに対して基本的な再構成のみを行い、再構成後、再構成点群の色属性の品質をさらに向上させるための一定の処理を行っていない。結果として、再構成点群とオリジナル点群との差が比較的大きく、歪みが大きく、点群全体の品質に影響を及ぼす。
上記課題を解決するために、本出願の実施形態において、点群符号化・復号化方法が提供される。復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
なお、本出願の実施形態に係る点群符号化・復号化方法は、点群符号化フレームワークにおける算術符号化及び算術符号化の後の部分に影響することができ、復号化フレームワークにおける属性再構成の後の部分に影響することができる。
即ち、本出願の実施形態に係る点群符号化方法は、図1に示されるような算術符号化及び算術符号化の後の部分に適用可能であり、それに応じて、本出願の実施形態に係る点群復号化方法は、図2に示されるような属性再構成の後の部分に適用されることもできる。即ち、本出願の実施形態における点群符号化・復号化方法は、ビデオ符号化システムに適用されてもよく、ビデオ復号化システムに適用されてもよく、さらにビデオ符号化システム及びビデオ復号化システムの両方に適用されてもよいが、本出願の実施形態では具体的に限定されない。
以下、本出願の実施形態に係る技術案を、本出願の実施形態における図面とともに明確且つ完全に記述する。
本出願の1つの実施形態において、点群復号器に適用される点群復号化方法が提供され、図4は、点群復号化の実現を示す1つ目のフローチャートである。図4に示されるように、本出願の実施形態において、復号器によって実行される点群復号化方法は、以下のステップを含むことができる。
ステップ101:ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
本出願の実施形態において、復号器は先にビットストリームを復号化することができ、それによって、初期点群に対応するフィルタリングフラグ情報を特定する。
なお、本出願の実施形態において、フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、再構成点群におけるいずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることができる。
なお、本出願の実施形態において、初期点群における1つの点について、当該1つの点を復号化する際に、当該1つの点を初期点群における復号化待ちの点とすることができ、当該1つの点の周囲に複数の復号化済みの点がある。
さらに、本出願の実施形態において、初期点群における1つの点は、1つの幾何情報及び1つの属性情報に対応する。幾何情報は、当該1つの点の空間位置を表し、属性情報は、当該1つの点の再構成属性値を表す。
なお、本出願の実施形態において、属性情報は色情報を含むことができる。具体的に、属性情報は任意の色空間の色情報であってもよく、例えば、属性情報はRGB空間の色情報であってもよく、YUV空間の色情報であってもよく、YCbCr空間の色情報であってもよく、本出願では具体的に限定されない。
さらに、本出願の実施形態において、属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含む。属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含む。属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報は、復号化後の再構成された属性値であってもよい。属性情報は、色情報であってもよく、反射率又は他の属性であってもよく、本出願ではそれについては限定されない。
なお、本出願の実施形態において、復号器は、ビットストリームを復号化することにより、さらに初期点群における点の属性情報の残差値を特定することができる。
さらに、本出願の実施形態において、初期点群における1つの点について、まず、当該1つの点の属性情報に対応する残差値及び予測値を特定することができ、次に、残差値及び予測値を利用して計算することで、当該1つの点の属性情報の再構成値を取得する。
具体的に、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報に対応する予測値を特定する際に、当該1つの点の複数の目標隣接点の幾何情報及び属性情報と当該1つの点の幾何情報とを利用して、現在点の属性情報を予測することにより、対応する予測値を取得することができる。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報の再構成値を特定した後、当該1つの点をLODにおける後続の点の最近隣点とすることができ、それによって、当該1つの点の属性情報の再構成値を利用して、後続点の属性予測を引き続き行う。
さらに、本出願の実施形態において、初期点群における点の属性情報の再構成値を特定した後、初期点群における各点の属性情報の再構成値を利用して、対応する再構成点群を特定することが可能である。
なお、本出願において、初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。初期点群に対応する再構成点群は、属性復号化、属性再構成、幾何オフセット(geometry offset)を経た後に取得される。
即ち、本出願の実施形態において、まず、初期点群における点の属性情報の再構成値を特定し、次に、再構成値に基づいて初期点群に対応する再構成点群を構築することができる。具体的に、ビットストリームを復号化することにより、初期点群における点の属性情報の残差値を特定し、次に、点の残差値及び予測値を利用して、対応する属性情報の再構成値を特定し、さらに、初期点群に対応する再構成点群を構築することができる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、色コンポーネントの識別情報を含むことができる。1つの色コンポーネントの識別情報は、当該1つの色コンポーネントに対してフィルタリング処理を行うか否かを指示するために用いられることができる。
上記から分かるように、フィルタリングフラグ情報は、各色コンポーネントに対応する識別情報に基づいて特定されるため、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができるのみならず、具体的に、いずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることもできる。
なお、本出願において、識別情報の値が第一の値である場合、色コンポーネントに対してフィルタリング処理を行わないことを指示する。識別情報の値が第二の値である場合、色コンポーネントに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、全ての色コンポーネントの識別情報がいずれも第一の値である場合、即ち、全ての色コンポーネントの各々をフィルタリングしないことを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示すると特定することができる。それに応じて、全ての色コンポーネントの識別情報がいずれも第一の値であるというわけではない場合、即ち、少なくとも1つの色コンポーネントをフィルタリングすることを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示すると特定することができる。
例示的に、本出願において、第一の値は0であり、第二の値は1である。又は、第一の値はfalseに設定され、第二の値はtrueに設定される。
ステップ102:フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、初期点群に対応する、フィルタリング処理を行うためのフィルタリング係数をさらに特定することができる。
なお、本出願の実施形態において、フィルタリング係数はウィーナーフィルタリングに用いられることができ、即ち、フィルタリング係数はウィーナーフィルタ(Wiener filter)の係数である。フィルタリング係数は、フィルタリング処理に用いられる最適なフィルタの係数である。
具体的に、ウィーナーフィルタは、最小二乗を最適基準とする線形フィルタである。一定の制約条件では、その出力とある所定関数(通常は所望出力と呼ばれる)との差の二乗が最小となり、数学的な演算によって最終的に1つのテプリッツ式(Toeplitz equation)の求めに変化することができる。ウィーナーフィルタは、最小二乗フィルタ又は最小2乗フィルタとも呼ばれる。
理解できるように、本出願の実施形態において、フィルタリング係数を特定する際に、復号器はビットストリームを復号化することにより、フィルタリング係数を取得することができる。
さらに、本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、復号器は、フィルタリング係数を特定する必要がない。
ステップ103:フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
本出願の実施形態において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、初期点群に対応するフィルタリング係数を特定した後、さらに、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができ、それによって、再構成点群に対応するフィルタリングされた点群を取得することができる。
なお、本出願の実施形態において、点群の各色コンポーネントに対して個別にフィルタリングを行うことができる。例えば、YUV空間の色情報について、Yコンポーネントのフィルタリング係数ベクトル、Uコンポーネントのフィルタリング係数ベクトル、Vコンポーネントのフィルタリング係数ベクトルをそれぞれ特定することができる。これらのフィルタリング係数ベクトルはともに点群のフィルタリング係数を構成する。
さらに、本出願の実施形態において、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う際に、まず、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、フィルタタイプとに応じて、色コンポーネントに対応する第二属性パラメータを特定することができ、次に、色コンポーネントに対応するフィルタリング係数ベクトルと、第二属性パラメータとに基づいて、色コンポーネントに対応する属性情報のフィルタリング値を特定することができ、最終的に、色コンポーネントに対応する属性情報のフィルタリング値に基づいて、フィルタリングされた点群を構築する。
なお、本出願において、属性情報が任意の空間の色情報であれば、例えば、属性情報がYUV空間の色情報であれば、まず、色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)の初期コンポーネント値及び再構成コンポーネント値と、フィルタタイプとに基づいて、色コンポーネントの第一属性パラメータ及び第二属性パラメータを特定することができる。
なお、本出願の実施形態において、第一属性パラメータは、初期点群における点の色コンポーネントの属性値を特定するために用いられ、第二属性パラメータは、再構成点群における点の色コンポーネントの属性値を特定するために用いられる。具体的に、第一属性パラメータは、初期点群における点の、1つの色コンポーネントでの色属性値を表し、第二属性パラメータは、再構成点群における点及びその点のk個の隣接点の、1つの色コンポーネントでの色属性値を表す。
さらに、本出願の実施形態において、フィルタタイプは、フィルタ次数(filter order)、及び/又はフィルタ形状、及び/又はフィルタ次元数(filter dimension)を指示するために用いられることができる。フィルタ形状は菱形、矩形等を含み、フィルタ次元数は1次元及び多次元を含む。
即ち、本出願において、異なるフィルタタイプは、次数が異なるフィルタに対応してもよく、例えば、次数kが16、32、128であるフィルタに対応してもよい。異なるフィルタタイプは、次元数が異なるフィルタに対応してもよく、例えば、1次元フィルタ、2次元フィルタ、多次元フィルタに対応してもよい。また、2次元フィルタ及び多次元フィルタの場合、異なるフィルタタイプは、異なるフィルタ形状を採用することを指示してもよく、例えば、菱形フィルタ、矩形フィルタ等を採用してもよい。
なお、本出願において、1つの色コンポーネントに対して対応の第二属性パラメータの計算を行い、次に、第二属性パラメータと当該1つの色コンポーネントに対応するフィルタリング係数ベクトルとを利用して、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定する。全ての色コンポーネントをトラバースし、且つ各色コンポーネントに対応する属性情報のフィルタリング値を取得した後、各色コンポーネントに対応する属性情報のフィルタリング値に基づいてフィルタリングされた点群を最終的に特定することができる。
理解できるように、本出願の実施形態において、フィルタを利用して再構成点群に対してフィルタリング処理を行う際に、再構成点群及びフィルタリング係数の両方をフィルタに入力することができ、即ち、フィルタの入力がフィルタリング係数及び再構成点群である。それによって、最終的に、当該フィルタリング係数に基づいて再構成点群に対するフィルタリング処理を完了し、対応のフィルタリングされた点群を取得することができる。
なお、本出願において、フィルタリングパラメータは、オリジナル点群及び再構成点群に基づいて取得されるため、フィルタリング係数を再構成点群に用いることで、オリジナル点群を最大限に復元することができる。
具体的に、本出願において、フィルタリング係数に基づいて再構成点群をフィルタリングする際に、色情報における1つの色コンポーネントについて、フィルタリング係数の、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルと、当該1つの色コンポーネントに対応する第二属性パラメータとに基づいて、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定することができる。
例示的に、本出願において、点群シーケンスにおけるYUV空間の色情報を例として、フィルタタイプによって指示されるフィルタ次数がkであると仮定する。点群シーケンスがnであると仮定する。再構成点群における点及びその点のk個の隣接点の、同じ色コンポーネント(例えばYコンポーネント)での色属性値を行列P(n,k)で表し、即ち、P(n,k)は、再構成点群における点の色情報のYコンポーネントの再構成コンポーネント値とフィルタタイプとによって特定される第二属性パラメータである。
例示的に、本出願において、上記数13に基づいて、Yコンポーネントでのフィルタリング係数ベクトルH(k)を対応の第二属性パラメータP(n,k)に用いることで、Yコンポーネントでの属性情報のフィルタリング値R(n)を取得することができる。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでの属性情報のフィルタリング値とVコンポーネントでの属性情報のフィルタリング値とを最終的に特定することができ、さらに、全ての色コンポーネントでの属性情報のフィルタリング値を利用して、再構成点群に対応するフィルタリングされた点群を構築することができる。
ステップ104:フィルタリングされた点群を利用して再構成点群を更新する。
本出願の実施形態において、復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、フィルタリングされた点群を利用して再構成点群を更新することができる。
なお、本出願の実施形態において、再構成点群と比べて、フィルタリング処理を経て取得されるフィルタリングされた点群の品質が著しく向上するため、フィルタリングされた点群を取得した後、フィルタリングされた点群を利用して元の再構成点群を更新することができる。具体的に、フィルタリングされた点群を利用して元の再構成点群をカバーし、全体の符号化・復号化及び品質向上を実現することができる。
さらに、本出願の実施形態において、図5は、点群復号化の実現を示す2つ目のフローチャートである。図5に示されるように、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得することの前に、即ちステップ103の前に、復号器によって実行される点群復号化方法は以下のステップをさらに含むことができる。
ステップ105:ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。
ステップ106:フィルタリング・インデックス・パラメータが再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを特定することができる。フィルタリング・インデックス・パラメータが再構成点群に対してフィルタリング処理を行うことを指示する場合、復号器はさらに復号化して、対応のフィルタリング係数を取得することができる。
なお、本出願の実施形態において、フィルタリング・インデックス・パラメータは、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、フィルタリング処理に用いられるフィルタを特定するために用いられることができる。
例示的に、本出願の実施形態において、フィルタリング・インデックス・パラメータの値が0である場合、再構成点群に対してフィルタリング処理を行わないと特定することができる。フィルタリング・インデックス・パラメータの値が0ではない(例えば、1、2、3等である)場合、再構成点群に対してフィルタリング処理を行うと特定することができる。
さらに、本出願の実施形態において、フィルタリング・インデックス・パラメータを利用してフィルタを特定する際に、フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定することができる。フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである。又は、フィルタリング・インデックス・パラメータの値が2である場合、多次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。即ち、フィルタリング・インデックス・パラメータの値が0であることは、再構成点群に対してフィルタリング処理を行わないことを示す。フィルタリング・インデックス・パラメータの値が0ではない場合、異なる値は、異なるフィルタを利用して再構成点群に対してフィルタリング処理を行うことを示す。
上記から分かるように、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するには、flag(例えば、フィルタリングフラグ情報)を利用してもよく、index(例えば、フィルタリング・インデックス・パラメータ)を利用してもよく、本出願では、フィルタリング処理を行うか否かを特定する具体的な形式が限定されない。
さらに、本出願の実施形態において、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を取得した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数を特定するプロセスを実行しなくてもよく、即ち、フィルタリング係数を復号化しない。又は、ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを取得した後、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数を特定するプロセスを実行しなくてもよく、即ち、フィルタリング係数を復号化しない。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、又は、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、復号器は、フィルタリング処理プロセスをスキップして、元のプログラムに従って点群再構成を行うことができ、即ち再構成点群の更新処理が実行されない。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータという要素を導入してもよく、即ち、量子化パラメータと、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータとを利用して、フィルタリング処理を行うか否かをさらに特定することができる。
具体的に、本出願において、まず、初期点群の量子化パラメータを特定することができ、次に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断することができる。量子化パラメータは、量子化ステップサイズを表すことができる。
理解できるように、本出願において、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのそれぞれに基づいて、フィルタリング処理を行うか否かを特定することができる。量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのいずれもフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。又は、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのうちの少なくとも1つがフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。
選択的に、本出願の実施形態において、量子化パラメータは、フィルタリング処理を行うか否かを特定するために用いられることができるのみならず、色情報のいずれの色コンポーネントに対してフィルタリング処理を行うかをさらに特定するために用いられることもできる。
具体的に、本出願において、量子化パラメータが量子化閾値より大きい場合、再構成点群における点の全ての色コンポーネントのうちの第一色コンポーネントに対してフィルタリング処理を行うと特定することができる。量子化パラメータが量子化閾値以下である場合、再構成点群における点の全ての色コンポーネントのうちの第二色コンポーネントに対してフィルタリング処理を行うと特定することができる。第一色コンポーネントと第二色コンポーネントは異なっている。
例示的に、本出願において、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングすることができ、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングすることができる。
さらに、本出願の実施形態において、復号器はさらに、ビットストリームを復号化することにより、最適なフィルタタイプを指示するための情報と、最適なフィルタタイプに対応するフィルタリング係数とを特定することができる。最適なフィルタタイプは、復号化によってサポートされる少なくとも1つのフィルタタイプのうちの1つであることができる。
上記に応じて、本出願の実施形態において、復号化側には、次数が異なるフィルタが2つ又は複数設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。次に、ビットストリームを復号化することにより、フィルタリング処理に用いられる最適なフィルタタイプに対応する1つのフィルタと、最適なフィルタタイプに対応するフィルタリング係数とを特定する。それによって、当該フィルタとフィルタリング係数とを利用して、再構成点群に対してフィルタリング処理を行うことが可能となり、より高いフィルタリング性能を実現する。
即ち、復号化側では、複数の異なるフィルタを利用して、フィルタリング係数の特定とフィルタリング処理とを別々に行うことができ、最終的に、フィルタリング効果が最も良いフィルタを選択して、当該フィルタに対応する情報と対応するフィルタリング係数とをビットストリームに書き込むことができる。それによって、復号化側では、ビットストリームを復号化することにより、フィルタリング効果が最も良いフィルタの情報とフィルタリング係数とを直接に取得することができ、さらに、当該フィルタを利用してフィルタリング処理を行い、フィルタリング性能及び符号化・復号化効率を向上させることができる。
さらに、本出願の実施形態において、色変換(color transform)の出力が整数であり、変換中に情報のロスがあるため、復号化側では、最後にYUVからRGBへの変換プロセスを行わず、YUV属性の点群シーケンスを直接に出力することができ、復号化の性能及び効果を向上させる。
上述したように、ステップ101からステップ106で提案された点群復号化方法によれば、点群シーケンスの色再構成値の色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)をフィルタリングする際に、復号化側から出力される再構成点群を選択的に品質向上させることができ、ビットストリームのビット数の増加が少なく、圧縮性能を向上させることができる。
なお、本出願に係る点群復号化方法は、任意の点群シーケンスに適用され、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。
さらに、本出願に係る点群復号化方法は、3種の色属性変換(予測変換、リフティング変換、RAHT)の復号化方式の全てに対して操作可能であり、汎用性を有する。また、フィルタリングプロセスは点群の再構成プロセスに影響せず、他の悪影響を及ぼさない。
なお、本出願の実施形態に係るフィルタは、予測ループ内に用いられることができ、即ち、インループフィルタ(inloop filter)として用いられ、点群における後続の点を復号化するための参照として用いられることができる。また、本出願の実施形態に係るフィルタは、予測ループ外に用いられることができ、即ち、ポストフィルタ(post filter)として用いられ、点群における後続の点を復号化するための参照として用いられない。それについては、本出願では具体的に限定されない。
なお、本出願において、本出願の実施形態に係るフィルタがインループフィルタであれば、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
なお、本出願において、本出願の実施形態に係るフィルタが後処理フィルター(post-processing filter)であれば、1つの場合では、フィルタに対応するフィルタリング係数が1つの単独の補助情報データユニット(例えば、補足拡張情報(Supplemental enhancement information、SEI))にある場合、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。それに応じて、復号器が当該SEIを取得していない場合、再構成点群に対してフィルタリング処理を行わない。もう1つの場合では、フィルタに対応するフィルタリング係数と他の情報とが1つの補助情報データユニットにある場合、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)をビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
さらに、本出願の実施形態に係る点群符号化・復号化方法では、再構成点群における1つ又は複数の部分に対してフィルタリング処理を行うように選択することができ、即ち、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータは、再構成点群全体に適用されてもよく、再構成点群におけるある部分に適用されてもよい。
本出願の実施形態において、点群符号化・復号化方法が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。換言すれば、本出願に係る点群符号化・復号化方法において、復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の1つの実施形態において、点群符号器に適用される点群符号化方法が提供される。図6は、点群符号化の実現を示す1つ目のフローチャートである。図6に示されるように、本出願の実施形態において、符号器によって実行される点群符号化方法は、以下のステップを含むことができる。
ステップ201:初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
本出願の実施形態において、まず、初期点群における点の属性情報の再構成値を特定することができ、次に、点の属性情報の再構成値に基づいて初期点群に対応する再構成点群を構築する。
なお、本出願の実施形態において、初期点群における1つの点について、当該1つの点を符号化する際に、当該1つの点を初期点群における符号化待ちの点とすることができ、当該1つの点の周囲に複数の符号化済みの点がある。
さらに、本出願の実施形態において、初期点群における1つの点は、1つの幾何情報及び1つの属性情報に対応する。幾何情報は、当該1つの点の空間位置を表し、属性情報は、当該1つの点の再構成属性値を表す。
なお、本出願の実施形態において、属性情報は色情報を含むことができる。具体的に、属性情報は任意の色空間の色情報であってもよく、例えば、属性情報はRGB空間の色情報であってもよく、YUV空間の色情報であってもよく、YCbCr空間の色情報であってもよく、本出願では具体的に限定されない。
さらに、本出願の実施形態において、属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含む。属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含む。属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報は、符号化された再構成された属性値であってもよい。属性情報は、色情報であってもよく、反射率又は他の属性であってもよく、本出願ではそれについては限定されない。
さらに、本出願の実施形態において、初期点群における1つの点について、まず、当該1つの点の属性情報に対応する残差値及び予測値を特定することができ、次に、残差値及び予測値を利用して計算することで、当該1つの点の属性情報の再構成値を取得する。
具体的に、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報に対応する予測値を特定する際に、当該1つの点の複数の目標隣接点の幾何情報及び属性情報と、当該1つの点の幾何情報とを利用して、現在点の属性情報を予測することにより、対応する予測値を取得することができる。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報の再構成値を特定した後、当該1つの点をLODにおける後続の点の最近隣点とすることができ、それによって、当該1つの点の属性情報の再構成値を利用して、後続点の属性予測を引き続き行う。
さらに、本出願の実施形態において、初期点群における点の属性情報の再構成値を特定した後、初期点群における各点の属性情報の再構成値を利用して、対応する再構成点群を特定することが可能である。
なお、本出願において、初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。初期点群に対応する再構成点群は、属性符号化、属性再構成、幾何オフセットを経た後に取得される。
ステップ202:初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
本出願の実施形態において、初期点群における点の属性情報の再構成値を特定し、且つ、再構成値に基づいて初期点群に対応する再構成点群を構築した後、さらに、初期点群及び対応する再構成点群に基づいて、フィルタリング処理に用いられるフィルタリング係数を特定することができる。フィルタリング係数は、フィルタリング処理のフィルタリング係数であることができる。
なお、本出願の実施形態において、フィルタリング係数はウィーナーフィルタリングに用いられることができ、即ち、フィルタリング係数はウィーナーフィルタの係数である。
具体的に、ウィーナーフィルタは、最小二乗を最適基準とする線形フィルタである。一定の制約条件では、その出力とある所定関数(通常は所望出力と呼ばれる)との差の二乗が最小となり、数学的な演算によって最終的に1つのテプリッツ式の求めに変化することができる。ウィーナーフィルタは、最小二乗フィルタ又は最小2乗フィルタとも呼ばれる。
ウィーナーフィルタリングは、定常ランダムプロセスの相関特性とスペクトル特性とを利用して、ノイズが混在した信号をフィルタリングする方法であり、従来から基本的なフィルタリング方法の1つである。ウィーナーフィルタリングの具体的なアルゴリズムは以下の数1の通りである。
Mはフィルタの長さ又は次数であり、y(n)は出力信号であり、x(n)は1列の(ノイズが混在した)入力信号である。
数1を公式の形式に変換すると、以下の数2のようになる。
所望信号がd(n)であり、既知信号と所望信号との誤差e(n)は以下のように計算されることができる。
ウィーナーフィルタは、最小平均二乗誤差を目的関数とするため、目的関数を次の数4にする。
フィルタリング係数が最適である場合、係数に対する目的関数の導関数が0となる。即ち、以下のようである。
即ち、以下のようである。
さらに、数8のように表記されることができる。
Rxdは入力信号と所望信号の相関行列であり、Rxxは入力信号の自己相関行列である。ウィーナー‐ホプフ方程式(Wiener-Hough equation)によってフィルタリング係数Hを以下のように取得することができる。
さらに、本出願において、属性情報が任意の空間の色情報であれば、例えば、属性情報がYUV空間の色情報であれば、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)の初期コンポーネント値及び再構成コンポーネント値と、フィルタタイプとに基づいて、色コンポーネントの第一属性パラメータ及び第二属性パラメータを特定することができる。さらに、第一属性パラメータ及び第二属性パラメータに基づいて、フィルタリング処理を行うためのフィルタリング係数をさらに特定することができる。
なお、本出願の実施形態において、第一属性パラメータは、初期点群における点の色コンポーネントの属性値を特定するために用いられ、第二属性パラメータは、再構成点群における点の色コンポーネントの属性値を特定するために用いられる。具体的に、第一属性パラメータは、初期点群における点の、1つの色コンポーネントでの色属性値を表し、第二属性パラメータは、再構成点群における点及びその点のk個の隣接点の、1つの色コンポーネントでの色属性値を表す。
さらに、本出願の実施形態において、フィルタタイプは、フィルタ次数、及び/又はフィルタ形状、及び/又はフィルタ次元数を指示するために用いられることができる。フィルタ形状は菱形、矩形等を含み、フィルタ次元数は1次元及び多次元を含む。
即ち、本出願において、異なるフィルタタイプは、次数が異なるフィルタに対応してもよく、例えば、次数kが12、32、128であるフィルタに対応してもよい。異なるフィルタタイプは、次元数が異なるフィルタに対応してもよく、例えば、1次元フィルタ、2次元フィルタ、多次元フィルタに対応してもよい。また、2次元フィルタ及び多次元フィルタの場合、異なるフィルタタイプは、異なるフィルタ形状を採用することを指示してもよく、例えば、菱形フィルタ、矩形フィルタ等を採用してもよい。
具体的に、本出願の実施形態において、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、初期点群における点の色情報の色コンポーネントの初期コンポーネント属性値に基づいて、色コンポーネントの第一属性パラメータを特定し、同時に、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、フィルタ次数と、フィルタタイプとに応じて、色コンポーネントに対応する属性情報行列の第二属性パラメータを特定し、最後に、第一属性パラメータ及び第二属性パラメータに基づいてフィルタリング係数を特定することができる。
なお、本出願において、1つの色コンポーネントに対して対応の第一属性パラメータ及び第二属性パラメータの計算を行い、また、第一属性パラメータ及び第二属性パラメータを利用して、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルを特定する。全ての色コンポーネントをトラバースし、且つ各色コンポーネントのフィルタリング係数ベクトルを取得した後、各色コンポーネントのフィルタリング係数ベクトルに基づいてフィルタリング係数を最終的に特定することができる。
具体的に、本出願の実施形態において、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、色コンポーネントに対応する第一属性パラメータ及び第二属性パラメータに基づいて、色コンポーネントに対応する相互相関パラメータを特定し、同時に、第二属性パラメータに基づいて、色コンポーネントに対応する自己相関パラメータを特定し、次に、相互相関パラメータ及び自己相関パラメータに基づいて、色コンポーネントに対応するフィルタリング係数ベクトルを特定し、最後に、全ての色コンポーネントをトラバースし、全ての色コンポーネントに対応するフィルタリング係数ベクトルを利用して、フィルタリング係数を特定することができる。
例示的に、本出願において、点群シーケンスにおけるYUV空間の色情報を例として、フィルタタイプによって指示されるフィルタ次数がkであると仮定し、即ち、点群における1つの点のk個の隣接点を利用してフィルタリング係数を計算する。点群シーケンスがnであると仮定する。初期点群における点の、1つの色コンポーネント(例えばYコンポーネント)での色属性値をベクトルS(n)で表し、即ち、S(n)は、初期点群における点の色情報のYコンポーネントの初期コンポーネント値を含む第一属性パラメータである。再構成点群における点及びその点のk個の隣接点の、同じ色コンポーネント(例えばYコンポーネント)での色属性値を行列P(n,k)で表し、即ち、P(n,k)は、再構成点群における点の色情報のYコンポーネントの再構成コンポーネント値とフィルタタイプとによって特定される第二属性パラメータである。
さらに、以下の数10に従って、第一属性パラメータS(n)及び第二属性パラメータP(n,k)に基づいて、相互相関パラメータB(k)を計算し取得することができる。
以下の数11に従って、第二属性パラメータP(n,k)に基づいて、自己相関パラメータA(k,k)を計算し取得することができる。
ウィーナー‐ホプフ方程式によれば、Yコンポーネントでのフィルタフィルタリング係数、即ち、Yコンポーネントでのk次フィルタのフィルタリング係数ベクトルH(k)は以下の通りである。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでのフィルタリング係数ベクトルとVコンポーネントでのフィルタリング係数ベクトルとを最終的に特定することができ、さらに、全ての色コンポーネントでのフィルタリング係数ベクトルを利用して、フィルタリング係数を取得することができる。
上記から分かるように、本出願において、初期点群及び対応する再構成点群を利用して、フィルタリング係数を特定する際に、まず、初期点群及び再構成点群における点の色情報に基づいて、各色コンポーネントに対応する第一属性パラメータ及び第二属性パラメータをそれぞれ特定することができ、さらに、各色コンポーネントに対応するフィルタリング係数ベクトルを特定することができ、最後に、全ての色コンポーネントのフィルタリング係数ベクトルに基づいてフィルタリング係数を取得することができる。
ステップ203:フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
本出願の実施形態において、符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定した後、さらに、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得することができる。
さらに、本出願の実施形態において、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う際に、色コンポーネントに対応するフィルタリング係数ベクトルと、第二属性パラメータとに基づいて、色コンポーネントに対応する属性情報のフィルタリング値を特定し、次に、色コンポーネントに対応する属性情報のフィルタリング値に基づいて、フィルタリングされた点群を構築することができる。
理解できるように、本出願の実施形態において、フィルタを利用して再構成点群に対してフィルタリング処理を行う際に、ノイズ含有信号(noisy signal)及び所望信号が必要となる。点群符号化・復号化フレームワークにおいて、再構成点群をノイズ含有信号とし、初期点群を所望信号とすることができる。従って、初期点群と再構成点群との両方をフィルタに入力することができ、即ち、フィルタの入力が初期点群及び再構成点群である。フィルタのフィルタリング係数、即ち、フィルタリング係数を計算した後、さらに、当該フィルタリング係数に基づいて再構成点群に対するフィルタリング処理を完了し、対応のフィルタリングされた点群を取得することができる。
なお、本出願において、フィルタリングパラメータは、オリジナル点群及び再構成点群に基づいて取得されるため、フィルタリング係数を再構成点群に用いることで、オリジナル点群を最大限に復元することができる。
具体的に、本出願において、フィルタリング係数に基づいて再構成点群をフィルタリングする際に、色情報における1つの色コンポーネントについて、フィルタリング係数の、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルと、当該1つの色コンポーネントに対応する第二属性パラメータとに基づいて、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定することができる。
例示的に、本出願において、Yコンポーネントでのフィルタリング係数ベクトルH(k)を対応の第二属性パラメータP(n,k)に用いることで、Yコンポーネントでの属性情報のフィルタリング値R(n)を取得することができる。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでの属性情報のフィルタリング値とVコンポーネントでの属性情報のフィルタリング値とを最終的に特定することができ、さらに、全ての色コンポーネントでの属性情報のフィルタリング値を利用して、再構成点群に対応するフィルタリングされた点群を構築することができる。
ステップ204:再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
本出願の実施形態において、符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定することができる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、再構成点群におけるいずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることができる。
さらに、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する際に、まず、再構成点群における点の色コンポーネントの第一性能パラメータと、フィルタリングされた点群における点の色コンポーネントの第二性能パラメータと、を特定し、次に、第一性能パラメータ及び第二性能パラメータに基づいて、色コンポーネントに対応する識別情報を特定し、最後に、色コンポーネントに対応する識別情報に基づいて、フィルタリングフラグ情報を特定することができる。
理解できるように、本出願の実施形態において、第一性能パラメータ及び第二性能パラメータは、それぞれ、同じ色コンポーネントでの、再構成点群の符号化・復号化性能及びフィルタリングされた点群の符号化・復号化性能を表すことができる。
例示的に、本出願において、第一性能パラメータは、再構成点群における点の1つの色コンポーネントでのピーク信号対雑音比(peak signal-to-noise ratio、PSNR)であることができ、第二性能パラメータは、フィルタリングされた点群における点の1つの色コンポーネントでのPSNRであることができる。
具体的に、本出願の実施形態において、YコンポーネントでのPSNRを例として、第一性能パラメータ及び第二性能パラメータに基づいて、色コンポーネントに対応する識別情報を特定する際に、再構成点群に対応するPSNR1がフィルタリングされた点群に対応するPSNR2より大きければ、即ち、フィルタリングされたYコンポーネントのPSNRが低下すると、フィルタリング効果が良くないと考えられる。そのため、Yコンポーネントに対応する識別情報の値が、Yコンポーネントに対してフィルタリング処理を行わないことを指示するように設定されることができる。それに応じて、再構成点群に対応するPSNR1がフィルタリングされた点群に対応するPSNR2より小さければ、即ち、フィルタリングされたYコンポーネントのPSNRが向上すると、フィルタリング効果が良いと考えられる。そのため、Yコンポーネントに対応する識別情報の値が、Yコンポーネントに対してフィルタリング処理を行うことを指示するように設定されることができる。
さらに、本出願の実施形態において、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントに対応する識別情報とVコンポーネントに対応する識別情報とを最終的に特定することができ、さらに、全ての色コンポーネントに対応する識別情報を利用して、フィルタリングフラグ情報を特定することができる。
上記から分かるように、フィルタリングフラグ情報は、各色コンポーネントに対応する識別情報に基づいて特定されるため、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができるのみならず、具体的に、いずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることもできる。
なお、本出願において、識別情報の値が第一の値である場合、色コンポーネントに対してフィルタリング処理を行わないことを指示する。識別情報の値が第二の値である場合、色コンポーネントに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、全ての色コンポーネントの識別情報がいずれも第一の値である場合、即ち、全ての色コンポーネントの各々をフィルタリングしないことを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示すると特定することができる。それに応じて、全ての色コンポーネントの識別情報がいずれも第一の値であるというわけではない場合、即ち、少なくとも1つの色コンポーネントをフィルタリングすることを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示すると特定することができる。
例示的に、本出願において、第一の値は0であり、第二の値は1である。又は、第一の値はfalseに設定され、第二の値はtrueに設定される。
ステップ205:フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
本出願の実施形態において、符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数をビットストリームに書き込むことができ、また、フィルタリングフラグ情報をビットストリームに書き込むこともできる。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うか否かを指示するためのフィルタリングフラグ情報と、再構成点群に対してフィルタリング処理を行うためのフィルタリングパラメータとを、ビットストリームに書き込み、復号化側に伝送する必要がある。
なお、本出願の実施形態において、符号器はさらに、初期点群における点の属性情報の残差値をビットストリームに書き込み、復号化側に伝送することができる。
さらに、本出願の実施形態において、図7は、点群符号化の実現を示す2つ目のフローチャートである。図7に示されるように、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、即ちステップ203の後、符号器によって実行される点群符号化方法はさらに、以下のステップを含むことができる。
ステップ206:再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。
ステップ207:フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング・インデックス・パラメータ及びフィルタリング係数をビットストリームに書き込む。
本出願の実施形態において、符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数をビットストリームに書き込み、復号化側に伝送することができ、また、フィルタリング・インデックス・パラメータをビットストリームに書き込むこともできる。
なお、本出願の実施形態において、フィルタリング・インデックス・パラメータは、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、フィルタリング処理に用いられるフィルタを特定するために用いられることができる。
理解できるように、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて、フィルタリング・インデックス・パラメータの値を設定することができ、それによって、フィルタリング・インデックス・パラメータを利用して、再構成点群に対してフィルタリング処理を行うか否かを特定することができる。
例示的に、本出願の実施形態において、フィルタリング・インデックス・パラメータの値が0である場合、再構成点群に対してフィルタリング処理を行わないと特定することができる。フィルタリング・インデックス・パラメータの値が0ではない(例えば、1、2、3等である)場合、再構成点群に対してフィルタリング処理を行うと特定することができる。
さらに、本出願の実施形態において、フィルタリング・インデックス・パラメータを利用してフィルタを特定する際に、フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定することができる。フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである。又は、フィルタリング・インデックス・パラメータの値が2である場合、多次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。即ち、フィルタリング・インデックス・パラメータの値が0であることは、再構成点群に対してフィルタリング処理を行わないことを示す。フィルタリング・インデックス・パラメータの値が0ではない場合、異なる値は、異なるフィルタを利用して再構成点群に対してフィルタリング処理を行うことを示す。
上記から分かるように、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するには、flag(例えば、フィルタリングフラグ情報)を利用してもよく、index(例えば、フィルタリング・インデックス・パラメータ)を利用してもよく、本出願では、フィルタリング処理を行うか否かを特定する具体的な形式が限定されない。
さらに、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数をビットストリームに書き込まなくてもよい。又は、再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定した後、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数をビットストリームに書き込まなくてもよい。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリングフラグ情報をビットストリームに書き込まなくてもよい。又は、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング・インデックス・パラメータをビットストリームに書き込まなくてもよい。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータという要素を導入してもよく、即ち、量子化パラメータとを利用して、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータとを利用して、フィルタリング処理を行うか否かをさらに特定することができる。
具体的に、本出願において、まず、初期点群の量子化パラメータを特定することができ、次に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断することができる。量子化パラメータは、量子化ステップサイズを表すことができる。
理解できるように、本出願において、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのそれぞれに基づいて、フィルタリング処理を行うか否かを特定することができる。量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのいずれもフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。又は、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのうちの少なくとも1つがフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。
選択的に、本出願の実施形態において、量子化パラメータは、フィルタリング処理を行うか否かを特定するために用いられることができるのみならず、色情報のいずれの色コンポーネントに対してフィルタリング処理を行うかをさらに特定するために用いられることもできる。
具体的に、本出願において、量子化パラメータが量子化閾値より大きい場合、再構成点群における点の全ての色コンポーネントのうちの第一色コンポーネントに対してフィルタリング処理を行うと特定することができる。量子化パラメータが量子化閾値以下である場合、再構成点群における点の全ての色コンポーネントのうちの第二色コンポーネントに対してフィルタリング処理を行うと特定することができる。第一色コンポーネントと第二色コンポーネントは異なっている。
例示的に、本出願において、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングすることができ、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングすることができる。
さらに、本出願の実施形態において、符号化側には、次数が異なるフィルタが2つ又は複数設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。次に、この2つのフィルタでそれぞれ再構成点群に対してフィルタリング処理を行う。最後の品質向上、稼動時間及びビット数のサイズを総合的に考慮して、より性能の良い1つのフィルタを選択する。当該1つのフィルタに対応する次数及びフィルタリング係数をビットストリームに書き込み、さらに、復号化側で当該1つのフィルタを利用してフィルタリング処理を行うことを指示することができる。
具体的に、本出願において、フィルタリング係数を特定する際に、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、少なくとも1つのフィルタタイプとに基づいて、色コンポーネントに対応する少なくとも1つの第二属性パラメータを構築し、即ち、同じ色コンポーネントの再構成コンポーネント値に基づいて、各フィルタタイプに対応する第二属性パラメータを特定し、さらに、当該色コンポーネントに対応する第一属性パラメータと合わせて、当該色コンポーネントでの各フィルタタイプに対応するフィルタリング係数ベクトルを特定することができ、また、全ての色コンポーネントをトラバースした後、各フィルタタイプに対応するフィルタリング係数を取得することができ、即ち、少なくとも1つのフィルタタイプに対応する少なくとも1組のフィルタリング係数を特定する。1つのフィルタタイプは1組のフィルタリング係数に対応する。
それに応じて、本出願の実施形態において、少なくとも1つのフィルタタイプに対応する少なくとも1組のフィルタリング係数を特定した後、少なくとも1つのフィルタタイプに基づいて、少なくとも1組のフィルタリング係数を利用して、再構成点群に対してそれぞれフィルタリング処理を行い、即ち、異なるフィルタと対応するフィルタリング係数とを利用して再構成点群に対してそれぞれフィルタリング処理を行うことができる。それによって、少なくとも1つのフィルタタイプに対応する少なくとも1つのフィルタリングされた点群を取得することができる。1つのフィルタタイプは1つのフィルタリングされた点群に対応する。
さらに、本出願において、少なくとも1つのフィルタリングされた点群に基づいて、少なくとも1つのフィルタタイプから最適なフィルタタイプを選択し、次に、最適なフィルタタイプを指示するための情報と、最適なフィルタタイプに対応するフィルタリング係数とをビットストリームに書き込むことができる。
即ち、符号化側では、複数の異なるフィルタを利用して、フィルタリング係数の特定とフィルタリング処理とを別々に行うことができ、最終的に、フィルタリング効果が最も良いフィルタを選択して、当該フィルタに対応する情報と対応するフィルタリング係数とをビットストリームに書き込むことができる。それによって、復号化側では、ビットストリームを復号化することにより、フィルタリング効果が最も良いフィルタの情報とフィルタリング係数とを直接に取得することができ、さらに、当該フィルタを利用してフィルタリング処理を行い、フィルタリング性能及び符号化・復号化効率を向上させることができる。
上述したように、ステップ201からステップ207で提案された点群符号化方法によれば、点群シーケンスの色再構成値の色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)をフィルタリングする際に、再構成点群を選択的に品質向上させることができ、ビットストリームのビット数の増加が少なく、圧縮性能を向上させることができる。
なお、本出願に係る点群符号化方法は、任意の点群シーケンスに適用され、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。
さらに、本出願に係る点群符号化方法は、3種の色属性変換(予測変換、リフティング変換、RAHT)の符号化方式の全てに対して操作可能であり、汎用性を有する。また、フィルタリングプロセスは点群の再構成プロセスに影響せず、他の悪影響を及ぼさない。
なお、本出願の実施形態に係るフィルタは、予測ループ内に用いられることができ、即ち、インループフィルタとして用いられ、点群における後続の点を符号化するための参照として用いられることができる。また、本出願の実施形態に係るフィルタは、予測ループ外に用いられることができ、即ち、ポストフィルタとして用いられ、点群における後続の点を符号化するための参照として用いられない。それについては、本出願では具体的に限定されない。
なお、本出願において、本出願の実施形態に係るフィルタがインループフィルタであれば、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
なお、本出願において、本出願の実施形態に係るフィルタが後処理フィルターであれば、1つの場合では、フィルタに対応するフィルタリング係数が1つの単独の補助情報データユニット(例えば、補足拡張情報(SEI))にある場合、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。それに応じて、復号器が当該SEIを取得していない場合、再構成点群に対してフィルタリング処理を行わない。もう1つの場合では、フィルタに対応するフィルタリング係数と他の情報とが1つの補助情報データユニットにある場合、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)をビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
さらに、本出願の実施形態に係る点群符号化・復号化方法では、再構成点群における1つ又は複数の部分に対してフィルタリング処理を行うように選択することができ、即ち、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータは、再構成点群全体に適用されてもよく、再構成点群におけるある部分に適用されてもよい。
本出願の実施形態において、点群符号化方法が開示される。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
上記実施形態に基づいて、本出願の別の実施形態において、属性情報がYUV空間の色情報であり、ウィーナーフィルタを利用したフィルタリング処理を例として、図8は、点群符号化・復号化を示すフローチャートである。図8に示されるように、符号化側では、符号器はまず、ウィーナーフィルタの入力、即ち初期点群及び対応する再構成点群を取得することができる。初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。再構成点群は、初期点群に基づいて、属性符号化、属性再構成、幾何オフセットを経た後に取得される。
理解できるように、本出願の実施形態において、初期点群を符号化する中に、初期点群における点の属性情報の残差値を特定することができ、符号器は残差値をビットストリームに書き込み、復号化側へ伝送することができる。
さらに、点群再構成を完了し、再構成点群を取得した後、ウィーナーフィルタに基づくウィーナーフィルタリングを始める。符号化側では、ウィーナーフィルタの主な役割は、最適なフィルタリング係数を計算し、即ち、フィルタリング係数を計算し、同時に再構成点群に対するフィルタリング処理を完了し、また、ウィーナーフィルタリング後に点群品質が向上したか否かを判断することである。
なお、本出願において、フィルタタイプによって指示されるフィルタ次数k(即ち、フィルタリング中に選択される近隣点の個数k)、及びフィルタリングが必要な色コンポーネントの個数等が、フィルタリングされた点群の品質に影響を及ぼすため、性能と効率とを両立するために、フィルタ次数k=32であると選択することができる。
具体的に、本出願において、ウィーナーフィルタリングアルゴリズムの原理を応用して、当該ウィーナーフィルタのフィルタリング係数を計算することができる。同時に、符号化側では、取得されたフィルタリング係数に基づいて、Y、U、Vという3つの色コンポーネントの各々をフィルタリングすることにより、Y、U、Vという3つの色コンポーネントでのフィルタリング性能を取得することができ、また、Y、U、Vという3つの色コンポーネントに対応するフィルタリングされた属性値に基づいて、対応するフィルタリングされた点群を構築することができる。
図9は、符号化側のフィルタリング処理を示すフローチャートである。図9に示されるように、初期点群及び再構成点群がウィーナーフィルタの入力とされ、初期点群における点及び再構成点群における点に対してそれぞれ、位置情報のアラインメントを行い、属性情報の変換を行う(例えば、属性情報における色情報をRGB空間からYUV空間に変換する)。初期点群における点の色情報及び再構成点群における点の色情報を利用してフィルタリング係数を計算することができる。再構成点群における点の色情報に基づいて自己相関パラメータを計算し、また、初期点群における点の色情報及び再構成点群における点の色情報に基づいて相互相関パラメータを計算することができ、最終的に、自己相関パラメータ及び相互相関パラメータを利用して最適なフィルタリング係数、即ち対応するフィルタリング係数を特定することができる。
なお、本出願において、符号化側では、フィルタリングされた点群を利用して再構成点群をカバーする必要がない。
さらに、本出願の実施形態において、復号器は、フィルタリングされた点群及び再構成点群の色情報の、Y、U、Vという3つの色コンポーネントのそれぞれのPSNR値(性能パラメータ)を計算することができ、それによって、全ての色コンポーネントのPSNR値に基づいて、再構成点群に対してフィルタリング処理を行うか否かを特定し、フィルタリングフラグ情報を特定することができる。
選択的に、本出願において、1つ又は複数の色コンポーネントのPSNR値が向上する場合、例えば、UVという2つの色コンポーネントのPSNR値が向上するが、YコンポーネントのPSNR値が低下する場合、復号器は、Yコンポーネントに対してフィルタリング処理を行わず、UVコンポーネントのみに対してフィルタリング処理を行うと特定することができ、即ち、フィルタリングフラグ情報がUVコンポーネントに対してフィルタリング処理を行うことを指示するよう設けられる。
選択的に、本出願において、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも低下する場合、符号器は、Y、U、Vという3つの色コンポーネントに対してフィルタリング処理を行わないと特定することができ、即ち、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示するよう設けられる。それに応じて、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも向上する場合、符号器は、Y、U、Vという3つの色コンポーネントに対してフィルタリング処理を行うと特定することができ、即ち、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示するよう設けられる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、サイズが1×3である特定アレイ(determination array)であることができ、再構成点群に対してフィルタリング処理を行うか否かを判断するために用いられ、また、復号化側でフィルタリング処理を行う必要がある色コンポーネントを特定するために用いられることができる。フィルタリングフラグ情報は、Y、U、Vという3つの色コンポーネントに対応する3つの識別情報を含むことができ、識別情報の値が0であることは当該色コンポーネントに対してフィルタリング処理を行わないことを表し、識別情報の値が1であることは当該色コンポーネントに対してフィルタリング処理を行うことを表すことができる。
理解できるように、本出願において、3つの色コンポーネントに対応する3つの識別情報がいずれも0である場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する。3つの色コンポーネントに対応する3つの識別情報がいずれも0であるというわけではない場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する。
例えば、フィルタリングフラグ情報は(0,1,1)として表されることができ、Yコンポーネントに対応する識別情報の値は0であり、UVコンポーネントに対応する識別情報の値は1であり、即ち、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うことを指示し、且つ、UVコンポーネントのみに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも向上していない場合、フィルタリング効果が良くなく、品質が低下していると考えられる。従って、復号器は、フィルタリング係数をビットストリームに書き込まなくてもよく、同時に、フィルタリングフラグ情報をビットストリームに書き込まなくてもよく、それによって、復号化側でもウィーナーフィルタリング処理を行わないことを確保する。
復号化側では、復号器は、属性情報の残差値を復号化した後、ビットストリームを復号化することによりフィルタリングフラグ情報を特定することができ、例えば、復号化することにより1×3の特定アレイを取得することができる。
理解できるように、本出願において、当該フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、ウィーナーフィルタリングにより再構成点群の品質を向上させることができ、また、符号化側にフィルタリング係数の伝送があると考えられることができ、復号器は、引き続き復号化して対応するフィルタリング係数を取得することができる。当該フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、ウィーナーフィルタリングによって再構成点群の品質を向上させることができず、また、符号化側にフィルタリング係数の伝送がないと考えられることができ、復号器は、フィルタリング係数を復号化し続けず、ウィーナーフィルタリングをスキップし、元のプログラムに従って点群再構成を行う。
さらに、本出願の実施形態において、復号器は、フィルタリング係数を復号化した後、フィルタリング係数を伝送することができ、点群再構成が完了した後、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う。
図10は、復号化側のフィルタリング処理を示すフローチャートである。図10に示されるように、復号器は、ウィーナーフィルタリング処理中に、再構成点群とフィルタリング係数とを復号化側のウィーナーフィルタの入力とし、再構成点群における点の属性情報の変換を完了した(例えば、属性情報における色情報をRGB空間からYUV空間へ変換した)後、フィルタリング係数を利用してフィルタリング処理を行い、計算によってフィルタリングされた、品質が向上したフィルタリングされた点群を取得することができ、フィルタリングされた点群における点の属性情報の変換(YUV空間からRGB空間への変換)を完了した後、フィルタリングされた点群を出力する。
理解できるように、本出願において、フィルタリングされた点群を取得した後、フィルタリングされた点群を利用して元の再構成点群をカバーし、全体の符号化・復号化全体及び品質向上を実現することができる。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するプロセスにおいて、量子化ステップサイズという特定要素をさらに追加することができる。例えば、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングし、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングする。
なお、本出願の実施形態において、符号化側には、2つ又は複数の異なる(次数が異なり、形状が異なるなど)フィルタが設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。符号器は、この2つのフィルタをそれぞれ利用して、再構成点群をフィルタリングする。最後の品質向上、稼動時間及びビット数のサイズを総合的に考慮して、より性能の良い1つのフィルタを選択する。次に、当該フィルタを指示するための情報と対応するフィルタリングパラメータとをビットストリームに書き込み、復号化側に伝送する。それに応じて、復号化側にも、対応の異なるフィルタが設けられ、復号器は、ビットストリームを復号化することにより、フィルタを指示するための情報と対応するフィルタリングパラメータとを取得する。それによって、より性能の良いフィルタを選択して復号化側でフィルタリングすることができる。
さらに、本出願の実施形態において、色属性変換の出力が整数であり、変換中に情報のロスがあるため、復号化側では、最後にYUVからRGBへの変換を行わず、YUV属性の点群シーケンスを直接に出力する。
なお、本出願の実施形態において、図11は、CYテスト条件でのテスト結果を示す概略図である。図12は、C1テスト条件でのテスト結果を示す概略図である。図11及び図12に示されるように、本出願の実施形態に係る点群符号化・復号化方法が、G-PCC参照ソフトウェアTMC13 V12.0上で実現された後、MPEG(Moving Picture Expert Group)によって要求される一部のテストシーケンス(cat1-A&cat1-B)をCTC CY及びC1テスト条件でテストした。CY条件はロスレス幾何(lossless geometry)、ロス属性(lossy attribute)の符号化方式であり、C1条件はロスレス幾何(lossless geometry)、ほぼロスレス属性(nearlylossless attribute)の符号化方式である。End-to-End BD-AttrRateは、エンドツーエンドの属性値のBD-Rateを示し、BD-Rateは、2つの場合(フィルタリングの有無)のpsnr曲線の差異を反映する。BD-Rateが低下すると、psnrが等しい場合、ビットレートが低下し、性能が向上することを示し、逆に、性能が低下することを示す。即ち、BD-Rateが低下すればするほど、圧縮効果が良くなる。Cat1-A average及びCat1-B averageはそれぞれ、2つのデータセットのそれぞれの点群シーケンスのテスト効果の平均値を表す。LumaはYコンポーネントであり、Chroma CbはUコンポーネントであり、Chroma CrはVコンポーネントであり、Overall averageは全てのシーケンスのテスト効果の平均値である。
上記から分かるように、本出願の実施形態に係る点群符号化・復号化方法は、点群シーケンスにおける色再構成値のYUVコンポーネントに対してウィーナーフィルタリングを行う技術を含み、復号化側から出力される再構成点群を選択的に品質向上させることができ、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。しかも、ビットストリームのビット数が著しく増加することなく、圧縮性能を向上させることができる。同時に、当該技術は、3種の色属性変換(予測変換、リフティング変換、RAHT)の符号化方式の全てに対して操作可能であり、汎用性を有する。また、当該技術は、復号化側の再構成プロセスに影響せず、他の悪影響を及ぼさない。
即ち、一般的な技術課題に対して、本出願の実施形態では、符号化・復号化の色再構成値のYUVコンポーネントに対してウィーナーフィルタリング処理を行い、点群の品質を向上させる技術が提案される。符号化・復号化側のそれぞれには、1つ(又は複数)のウィーナーフィルタが設けられており、符号化側は、計算によりウィーナーフィルタリング係数を取得し、復号化側はフィルタリング係数を読み取り、それによって、点群の再構成値に対して後処理を行うことができ、さらに優れた最適化効果を奏する。
本出願の実施形態において、点群復号化方法が提供される。復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
上記実施形態に基づいて、本出願の別の実施形態において、図13は、符号器の構造を示す1つ目の概略図である。図13に示されるように、本出願の実施形態に係る符号器300は、第一特定部301、構築部302、及び符号化部303を備えることができる。
第一特定部301は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部302は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部301はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部303は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第一特定部301は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部302は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部301はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部303は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
図14は、符号器の構造を示す2つ目の概略図である。図14に示されるように、本出願の実施形態に係る符号器300は、第一プロセッサ304と、第一メモリ305と、第一通信インターフェース306と、第一バス307とをさらに備えることができる。第一メモリ305には、第一プロセッサ304によって実行可能な命令が記憶されており、第一バス307は、第一プロセッサ304と、第一メモリ305と、第一通信インターフェース306とを接続するために用いられる。
さらに、本出願の実施形態において、上記第一プロセッサ304は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築し、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されている。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。上記第一プロセッサ304はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
図15は、復号器の構造を示す1つ目の概略図である。図15に示されるように、本出願の実施形態に係る復号器400は、復号化部401、第二特定部402、及び更新部403を備えることができる。
復号化部401は、ビットストリームを復号化するように構成されている。
第二特定部402は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部402はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部403は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
復号化部401は、ビットストリームを復号化するように構成されている。
第二特定部402は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部402はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部403は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
図16は、復号器の構造を示す2つ目の概略図である。図16に示されるように、本出願の実施形態に係る復号器400は、第二プロセッサ404と、第二メモリ405と、第二通信インターフェース406と、第二バス407とをさらに備えることができる。第二メモリ405には、第二プロセッサ404によって実行可能な命令が記憶されており、第二バス407は、第二プロセッサ404と、第二メモリ405と、第二通信インターフェース406とを接続するために用いられる。
さらに、本出願の実施形態において、上記第二プロセッサ404は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定するように構成されている。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。上記第二プロセッサ404はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
集積ユニットは、独立の製品として販売されたり使用されたりするのではなく、ソフトウェア機能モジュールとして実装される場合に、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本出願の技術的解決策について、本質的な部分、又は従来技術に貢献できた部分、又は当該技術的解決策の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、1つのコンピュータデバイス(パソコン、サーバ、又はネットワークデバイスなどであってもよい)又はプロセッサに本実施形態の方法の全部又は一部のステップを実行させるための複数の命令を含む。前記記憶媒体は、ユニバーサルシリアルバス(universal serial bus、USB)フラッシュディスク、モバイルハードディスク、読み取り専用メモリ(read only memory、ROM)、ランダムアクセスメモリ(random access memory、RAM)、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な各種類の媒体を含む。
本出願の実施形態において、符号器及び復号器が提供される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態において、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体にプログラムが記憶されており、当該プログラムがプロセッサによって実行されると、上記実施形態に記載の方法を実現する。
具体的に、本実施形態における点群符号化方法に対応するプログラム命令が光ディスク、ハードディスク、USBフラッシュディスクなどの記憶媒体に記憶されることができ、記憶媒体における、点群符号化方法に対応するプログラム命令が電子機器によって読み取られ又は実行されると、以下のステップを含む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
具体的に、本実施形態における点群復号化方法に対応するプログラム命令が光ディスク、ハードディスク、USBフラッシュディスクなどの記憶媒体に記憶されることができ、記憶媒体における、点群復号化方法に対応するプログラム命令が電子機器によって読み取られ又は実行されると、以下のステップを含む。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
本出願の実施形態が方法、システム又はコンピュータプロセッサ製品を提供できることは当業者に理解されるべきである。従って、本出願はハードウェア実施形態、ソフトウェア実施形態、又はソフトウェアとハードウェアを結びつける実施形態を有することができる。また、本出願は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体(磁気ディスク記憶装置、光メモリなどを含むがこれらに限定されない)上に具現化されたコンピュータプログラム製品の形態で実施され得る。
本出願は、本出願の実施形態に係る方法、装置(システム)、及びコンピュータプラグラム製品のフローチャート及び/又はブロック図を参照しながら説明される。フローチャート及び/又はブロック図における各プロセス及び/又はブロック、及びフローチャート及び/又はブロック図におけるプロセス及び/又はブロックの組み合わせはコンピュータプログラム命令によって実現され得る。それらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラム可能なデータ処理装置(programmable data processing device)のプロセッサに提供されることで、機械を生成する。これで、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行される命令は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現するに用いられる装置を生じる。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置に特定の方法で実行するように指示することができるコンピュータ可読記憶媒体に記憶されることができる。それによって、当該コンピュータ可読記憶媒体に記憶される命令は命令装置を含む製造品を生じる。当該命令装置は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現する。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードされることができ、コンピュータ又は他のプログラム可能な装置で一連の操作ステップを実行して、コンピュータによって実現されるプロセスを生成する。これで、コンピュータ又は他のプログラム可能な装置で実行される命令は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現するに用いられるステップを提供する。
上記は、本出願の好適な実施形態に過ぎず、本出願の保護範囲を限定するためのものではない。
本出願の実施形態において、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、復号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態は、ビデオ符号化・復号化技術分野に関し、特に、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体に関する。
現在、幾何に基づいた点群圧縮(geometry-based point cloud compression、G-PCC)の符号器フレームワークにおいて、点群の属性情報の符号化は主に色情報の符号化を対象とする。まず、色情報をRGB色空間からYUV色空間に変換する。その後、再構成された幾何情報を利用して点群を再着色することにより、符号化されていない属性情報と再構成された幾何情報とを対応させる。色情報の符号化では、主に予測変換(predicting transform)、リフティング変換(lifing transform)、RAHT(regional adaptive hierarchical transform)という3つの色属性変換の符号化方式を利用して操作を行うことにより、2進ビットストリームを最終的に生成する。
しかしながら、一般的な点群符号化・復号化方法では、予測が十分に精確ではないという課題があり、結果として、再構成点群とオリジナル点群との差が比較的大きく、点群全体の品質に影響を及ぼすため、符号化・復号化効率が低下するようになる。
本出願の実施形態において、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が提供される。それによって、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態の技術案は以下のように実現されることができる。
第一様態において、本出願の実施形態では、点群復号化方法が提供される。当該方法は、復号器に適用され、以下の内容を含む。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
第二様態において、本出願の実施形態では、点群符号化方法が提供される。当該方法は、符号器に適用され、以下の内容を含む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
第三様態において、本出願の実施形態では、符号器が提供される。当該符号器は、第一特定部、構築部、及び符号化部を備える。
第一特定部は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第一特定部は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第四様態において、本出願の実施形態では、符号器が提供される。当該符号器は、第一プロセッサと、第一プロセッサによって実行可能な命令が記憶された第一メモリとを備える。上記命令が実行されると、第一プロセッサは、上記点群符号化方法を実行する。
第五様態において、本出願の実施形態では、復号器が提供される。当該復号器は、復号化部、第二特定部、及び更新部を備える。
復号化部は、ビットストリームを復号化するように構成されている。
第二特定部は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
復号化部は、ビットストリームを復号化するように構成されている。
第二特定部は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
第六様態において、本出願の実施形態では、復号器が提供される。当該復号器は、第二プロセッサと、第二プロセッサによって実行可能な命令が記憶された第二メモリとを備える。上記命令が実行されると、第二プロセッサは、上記点群復号化方法を実行する。
第七様態において、本出願の実施形態では、コンピュータ記憶媒体が提供される。コンピュータ記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが第一プロセッサによって実行されると、上記点群符号化方法を実行し、又は、コンピュータプログラムが第二プロセッサによって実行されると、上記点群復号化方法を実行する。
本出願の実施形態では、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態の特徴及び技術内容をより詳細に理解できるように、以下、図面とともに本出願の実施形態の実現について詳述するが、添付の図面は参照のためのみに用いられ、本出願の実施形態を限定するものではない。
本出願の実施形態では、G-PCCの符号器フレームワークにおいて、入力された3次元画像モデルの点群をスライス(slice)に分割した後、各スライスを独立して符号化する。
図1は、G-PCC符号化のプロセスを示すブロック図である。図1に示されたG-PCC符号化のプロセスは点群符号器に適用される。符号化待ちの点群データに対して、まずスライス分割により、点群データを複数のスライスに分割する。各スライスでは、点群の幾何情報と、各点群に対応する属性情報とが別々に符号化される。幾何符号化のプロセスにおいて、全ての点群が1つの境界ボックス(bounding box)に含まれるように、幾何情報に対して座標変換を行う。その後、主にスケーリング(scaling)の役割を果たす量子化を行う。量子化の丸め処理により、一部の点群の幾何情報が同じになるため、パラメータに基づいて重複点を除去するか否かを決定する。量子化と重複点の除去というプロセスはボクセル化(voxelization)プロセスとも呼ばれる。次に、境界ボックスに対して八分木分割を行う。八分木に基づいた幾何情報の符号化プロセスにおいて、境界ボックスは8つのサブキューブ(sub-cube)に8等分され、非空の(点群における点を含む)サブキューブは、分割によって取得されたリーフノードが1×1×1のユニットキューブ(unit cube)になるまで、引き続き8等分される。リーフノードにおける点に対して算術符号化を行って、2進の幾何ビットストリーム(geometry bitstream)、即ち幾何コードストリーム(geometry code stream)を生成する。トライアングルスープ(triangle soup、trisoup)に基づいた幾何情報の符号化プロセスにおいても、まず、八分木分割が行われる。八分木に基づいた幾何情報の符号化プロセスとは異なり、当該トライスープ(trisoup)に基づいた幾何情報の符号化プロセスでは、点群を辺長が1×1×1のユニットキューブに段階的に分割する必要はなく、点群を辺長がWのブロック(block)に分割した後、分割を停止する。各ブロックにおける点群の分布によって形成された表面に基づいて、その表面とブロックの12の辺で生成される最大で12個の交点(vertex)を取得する。交点に対して算術符号化(交点に基づく表面フィッティング(surface fitting))を行って、2進の幾何ビットストリーム、即ち幾何コードストリームを生成する。交点は幾何再構成の実現にも用いられる。再構成された幾何情報は、点群の属性を符号化するときに使用される。
属性符号化のプロセスにおいて、幾何符号化が完了し、幾何情報が再構成された後、色変換が行われる。即ち、色情報(即ち、属性情報)をRGB色空間からYUV色空間に変換する。その後、再構成された幾何情報を利用して点群を再着色し、符号化されていない属性情報と再構成された幾何情報とを対応させる。属性符号化は主に色情報を対象とする。色情報の符号化プロセスには、主に2つの変換方法がある。1つは、詳細度(level of detail、LOD)分割に依存される、距離に基づいたリフティング変換である。もう1つは、RAHT(regional adaptive hierarchical transform)である。この2つの方法を介して、色情報を空間領域から周波数領域に変換し、変換によって高周波係数及び低周波係数を取得して、最後に係数を量子化する(即ち、量子化係数)。最後、八分木分割及び表面フィッティングを経た幾何符号化データと量子化係数処理属性符号化データとをスライス合成し、各ブロックの交点座標を順に符号化(即ち、算術符号化)して、2進の属性ビットストリーム、即ち、属性コードストリームを生成する。
図2は、G-PCC復号化のプロセスを示すブロック図である。図2に示されたG-PCC復号化のプロセスは点群復号器に適用される。取得された2進ビットストリームに対して、まず、2進ビットストリームにおける幾何ビットストリームと属性ビットストリームとをそれぞれ独立して復号化する。幾何ビットストリームを復号化するとき、算術復号化-八分木合成(octree synthesis)-表面フィッティング-幾何の再構成-逆座標変換を介して、点群の幾何情報を取得する。属性ビットストリームを復号化するとき、算術復号化-逆量子化-LODに基づいたリフティング逆変換(lifting inverse transform)又はRAHTに基づいた逆変換-逆色変換を介して、点群の属性情報を取得する。幾何情報及び属性情報に基づいて、符号化待ちの点群データの3次元画像モデルを復元する。
上記図1に示されたG-PCC符号化のプロセスのブロック図では、LOD分割は主に、点群の属性変換における予測変換及びリフティング変換という2つの方式に用いられる。
点群の幾何再構成の後、LOD分割のプロセスが行われる。このとき、点群の幾何座標情報は直接に取得されることができる。点群における点の間のユークリッド距離に応じて点群を複数のLODに分割し、LODにおける点の色を順次復号化し、ゼロランレングス符号化(Zero-Run Length encoding)技術におけるゼロの数(zero_cnt)の値を計算して残差を復号化する。
図3は、ゼロランレングス符号化を示す概略図である。図3に示されるように、ゼロランレングス符号化方法に基づいて復号化操作を行い、まず、ビットストリームにおける1つ目のzero-cntの値を解析する。zero-cntが0より大きければ、zero_cnt--、この場合、残差が0であることを示し、zero-cntが0に等しければ、この点の属性残差が0ではないことを示す。次に、対応する残差値を復号化し(decoder.decode(values))、復号化された残差を逆量子化して、現在点のpredictedColorに加算して当該点の再構成値を取得し、点群における全ての点の復号化を完了するまで、当該操作を実行し続ける。
即ち、現在点の色再構成値はreconstructedColorであり、現在の予測モードでの色の予測値(predictedColor)と、現在の予測モードでの色の逆量子化残差値(residual)とに基づいて計算される必要があり、即ち、reconstructedColor=predictedColor+residualである。
さらに、現在点をLODにおける後続の点の最近隣点とし、現在点の色再構成値を利用して後続点に対して属性予測を行う。
しかしながら、既存の符号化・復号化フレームワークでは、点群シーケンスに対して基本的な再構成のみを行い、再構成後、再構成点群の色属性の品質をさらに向上させるための一定の処理を行っていない。結果として、再構成点群とオリジナル点群との差が比較的大きく、歪みが大きく、点群全体の品質に影響を及ぼす。
上記課題を解決するために、本出願の実施形態において、点群符号化・復号化方法が提供される。符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
なお、本出願の実施形態に係る点群符号化・復号化方法は、点群符号化フレームワークにおける算術符号化及び算術符号化の後の部分に影響することができ、復号化フレームワークにおける属性再構成の後の部分に影響することができる。
即ち、本出願の実施形態に係る点群符号化方法は、図1に示されるような算術符号化及び算術符号化の後の部分に適用可能であり、それに応じて、本出願の実施形態に係る点群復号化方法は、図2に示されるような属性再構成の後の部分に適用されることもできる。即ち、本出願の実施形態における点群符号化・復号化方法は、ビデオ符号化システムに適用されてもよく、ビデオ復号化システムに適用されてもよく、さらにビデオ符号化システム及びビデオ復号化システムの両方に適用されてもよいが、本出願の実施形態では具体的に限定されない。
以下、本出願の実施形態に係る技術案を、本出願の実施形態における図面とともに明確且つ完全に記述する。
本出願の1つの実施形態において、点群復号器に適用される点群復号化方法が提供され、図4は、点群復号化の実現を示す1つ目のフローチャートである。図4に示されるように、本出願の実施形態において、復号器によって実行される点群復号化方法は、以下のステップを含むことができる。
ステップ101:ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
本出願の実施形態において、復号器は先にビットストリームを復号化することができ、それによって、初期点群に対応するフィルタリングフラグ情報を特定する。
なお、本出願の実施形態において、フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、再構成点群におけるいずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることができる。
なお、本出願の実施形態において、初期点群における1つの点について、当該1つの点を復号化する際に、当該1つの点を初期点群における復号化待ちの点とすることができ、当該1つの点の周囲に複数の復号化済みの点がある。
さらに、本出願の実施形態において、初期点群における1つの点は、1つの幾何情報及び1つの属性情報に対応する。幾何情報は、当該1つの点の空間位置を表し、属性情報は、当該1つの点の再構成属性値を表す。
なお、本出願の実施形態において、属性情報は色情報を含むことができる。具体的に、属性情報は任意の色空間の色情報であってもよく、例えば、属性情報はRGB空間の色情報であってもよく、YUV空間の色情報であってもよく、YCbCr空間の色情報であってもよく、本出願では具体的に限定されない。
さらに、本出願の実施形態において、属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含む。属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含む。属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報は、復号化後の再構成された属性値であってもよい。属性情報は、色情報であってもよく、反射率又は他の属性であってもよく、本出願ではそれについては限定されない。
なお、本出願の実施形態において、復号器は、ビットストリームを復号化することにより、さらに初期点群における点の属性情報の残差値を特定することができる。
さらに、本出願の実施形態において、初期点群における1つの点について、まず、当該1つの点の属性情報に対応する残差値及び予測値を特定することができ、次に、残差値及び予測値を利用して計算することで、当該1つの点の属性情報の再構成値を取得する。
具体的に、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報に対応する予測値を特定する際に、当該1つの点の複数の目標隣接点の幾何情報及び属性情報と当該1つの点の幾何情報とを利用して、現在点の属性情報を予測することにより、対応する予測値を取得することができる。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報の再構成値を特定した後、当該1つの点をLODにおける後続の点の最近隣点とすることができ、それによって、当該1つの点の属性情報の再構成値を利用して、後続点の属性予測を引き続き行う。
さらに、本出願の実施形態において、初期点群における点の属性情報の再構成値を特定した後、初期点群における各点の属性情報の再構成値を利用して、対応する再構成点群を特定することが可能である。
なお、本出願において、初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。初期点群に対応する再構成点群は、属性復号化、属性再構成、幾何オフセット(geometry offset)を経た後に取得される。
即ち、本出願の実施形態において、まず、初期点群における点の属性情報の再構成値を特定し、次に、再構成値に基づいて初期点群に対応する再構成点群を構築することができる。具体的に、ビットストリームを復号化することにより、初期点群における点の属性情報の残差値を特定し、次に、点の残差値及び予測値を利用して、対応する属性情報の再構成値を特定し、さらに、初期点群に対応する再構成点群を構築することができる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、色コンポーネントの識別情報を含むことができる。1つの色コンポーネントの識別情報は、当該1つの色コンポーネントに対してフィルタリング処理を行うか否かを指示するために用いられることができる。
上記から分かるように、フィルタリングフラグ情報は、各色コンポーネントに対応する識別情報に基づいて特定されるため、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができるのみならず、具体的に、いずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることもできる。
なお、本出願において、識別情報の値が第一の値である場合、色コンポーネントに対してフィルタリング処理を行わないことを指示する。識別情報の値が第二の値である場合、色コンポーネントに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、全ての色コンポーネントの識別情報がいずれも第一の値である場合、即ち、全ての色コンポーネントの各々をフィルタリングしないことを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示すると特定することができる。それに応じて、全ての色コンポーネントの識別情報がいずれも第一の値であるというわけではない場合、即ち、少なくとも1つの色コンポーネントをフィルタリングすることを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示すると特定することができる。
例示的に、本出願において、第一の値は0であり、第二の値は1である。又は、第一の値はfalseに設定され、第二の値はtrueに設定される。
ステップ102:フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、初期点群に対応する、フィルタリング処理を行うためのフィルタリング係数をさらに特定することができる。
なお、本出願の実施形態において、フィルタリング係数はウィーナーフィルタリングに用いられることができ、即ち、フィルタリング係数はウィーナーフィルタ(Wiener filter)の係数である。フィルタリング係数は、フィルタリング処理に用いられる最適なフィルタの係数である。
具体的に、ウィーナーフィルタは、最小二乗を最適基準とする線形フィルタである。一定の制約条件では、その出力とある所定関数(通常は所望出力と呼ばれる)との差の二乗が最小となり、数学的な演算によって最終的に1つのテプリッツ式(Toeplitz equation)の求めに変化することができる。ウィーナーフィルタは、最小二乗フィルタ又は最小2乗フィルタとも呼ばれる。
理解できるように、本出願の実施形態において、フィルタリング係数を特定する際に、復号器はビットストリームを復号化することにより、フィルタリング係数を取得することができる。
さらに、本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、復号器は、フィルタリング係数を特定する必要がない。
ステップ103:フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
本出願の実施形態において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、初期点群に対応するフィルタリング係数を特定した後、さらに、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができ、それによって、再構成点群に対応するフィルタリングされた点群を取得することができる。
なお、本出願の実施形態において、点群の各色コンポーネントに対して個別にフィルタリングを行うことができる。例えば、YUV空間の色情報について、Yコンポーネントのフィルタリング係数ベクトル、Uコンポーネントのフィルタリング係数ベクトル、Vコンポーネントのフィルタリング係数ベクトルをそれぞれ特定することができる。これらのフィルタリング係数ベクトルはともに点群のフィルタリング係数を構成する。
さらに、本出願の実施形態において、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う際に、まず、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、フィルタタイプとに応じて、色コンポーネントに対応する第二属性パラメータを特定することができ、次に、色コンポーネントに対応するフィルタリング係数ベクトルと、第二属性パラメータとに基づいて、色コンポーネントに対応する属性情報のフィルタリング値を特定することができ、最終的に、色コンポーネントに対応する属性情報のフィルタリング値に基づいて、フィルタリングされた点群を構築する。
なお、本出願において、属性情報が任意の空間の色情報であれば、例えば、属性情報がYUV空間の色情報であれば、まず、色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)の初期コンポーネント値及び再構成コンポーネント値と、フィルタタイプとに基づいて、色コンポーネントの第一属性パラメータ及び第二属性パラメータを特定することができる。
なお、本出願の実施形態において、第一属性パラメータは、初期点群における点の色コンポーネントの属性値を特定するために用いられ、第二属性パラメータは、再構成点群における点の色コンポーネントの属性値を特定するために用いられる。具体的に、第一属性パラメータは、初期点群における点の、1つの色コンポーネントでの色属性値を表し、第二属性パラメータは、再構成点群における点及びその点のk個の隣接点の、1つの色コンポーネントでの色属性値を表す。
さらに、本出願の実施形態において、フィルタタイプは、フィルタ次数(filter order)、及び/又はフィルタ形状、及び/又はフィルタ次元数(filter dimension)を指示するために用いられることができる。フィルタ形状は菱形、矩形等を含み、フィルタ次元数は1次元及び多次元を含む。
即ち、本出願において、異なるフィルタタイプは、次数が異なるフィルタに対応してもよく、例えば、次数kが16、32、128であるフィルタに対応してもよい。異なるフィルタタイプは、次元数が異なるフィルタに対応してもよく、例えば、1次元フィルタ、2次元フィルタ、多次元フィルタに対応してもよい。また、2次元フィルタ及び多次元フィルタの場合、異なるフィルタタイプは、異なるフィルタ形状を採用することを指示してもよく、例えば、菱形フィルタ、矩形フィルタ等を採用してもよい。
なお、本出願において、1つの色コンポーネントに対して対応の第二属性パラメータの計算を行い、次に、第二属性パラメータと当該1つの色コンポーネントに対応するフィルタリング係数ベクトルとを利用して、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定する。全ての色コンポーネントをトラバースし、且つ各色コンポーネントに対応する属性情報のフィルタリング値を取得した後、各色コンポーネントに対応する属性情報のフィルタリング値に基づいてフィルタリングされた点群を最終的に特定することができる。
理解できるように、本出願の実施形態において、フィルタを利用して再構成点群に対してフィルタリング処理を行う際に、再構成点群及びフィルタリング係数の両方をフィルタに入力することができ、即ち、フィルタの入力がフィルタリング係数及び再構成点群である。それによって、最終的に、当該フィルタリング係数に基づいて再構成点群に対するフィルタリング処理を完了し、対応のフィルタリングされた点群を取得することができる。
なお、本出願において、フィルタリングパラメータは、オリジナル点群及び再構成点群に基づいて取得されるため、フィルタリング係数を再構成点群に用いることで、オリジナル点群を最大限に復元することができる。
具体的に、本出願において、フィルタリング係数に基づいて再構成点群をフィルタリングする際に、色情報における1つの色コンポーネントについて、フィルタリング係数の、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルと、当該1つの色コンポーネントに対応する第二属性パラメータとに基づいて、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定することができる。
例示的に、本出願において、点群シーケンスにおけるYUV空間の色情報を例として、フィルタタイプによって指示されるフィルタ次数がkであると仮定する。点群シーケンスがnであると仮定する。再構成点群における点及びその点のk個の隣接点の、同じ色コンポーネント(例えばYコンポーネント)での色属性値を行列P(n,k)で表し、即ち、P(n,k)は、再構成点群における点の色情報のYコンポーネントの再構成コンポーネント値とフィルタタイプとによって特定される第二属性パラメータである。
例示的に、本出願において、下記数13に基づいて、Yコンポーネントでのフィルタリング係数ベクトルH(k)を対応の第二属性パラメータP(n,k)に用いることで、Yコンポーネントでの属性情報のフィルタリング値R(n)を取得することができる。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでの属性情報のフィルタリング値とVコンポーネントでの属性情報のフィルタリング値とを最終的に特定することができ、さらに、全ての色コンポーネントでの属性情報のフィルタリング値を利用して、再構成点群に対応するフィルタリングされた点群を構築することができる。
ステップ104:フィルタリングされた点群を利用して再構成点群を更新する。
本出願の実施形態において、復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、フィルタリングされた点群を利用して再構成点群を更新することができる。
なお、本出願の実施形態において、再構成点群と比べて、フィルタリング処理を経て取得されるフィルタリングされた点群の品質が著しく向上するため、フィルタリングされた点群を取得した後、フィルタリングされた点群を利用して元の再構成点群を更新することができる。具体的に、フィルタリングされた点群を利用して元の再構成点群をカバーし、全体の符号化・復号化及び品質向上を実現することができる。
さらに、本出願の実施形態において、図5は、点群復号化の実現を示す2つ目のフローチャートである。図5に示されるように、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得することの前に、即ちステップ103の前に、復号器によって実行される点群復号化方法は以下のステップをさらに含むことができる。
ステップ105:ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。
ステップ106:フィルタリング・インデックス・パラメータが再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
本出願の実施形態において、復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを特定することができる。フィルタリング・インデックス・パラメータが再構成点群に対してフィルタリング処理を行うことを指示する場合、復号器はさらに復号化して、対応のフィルタリング係数を取得することができる。
なお、本出願の実施形態において、フィルタリング・インデックス・パラメータは、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、フィルタリング処理に用いられるフィルタを特定するために用いられることができる。
例示的に、本出願の実施形態において、フィルタリング・インデックス・パラメータの値が0である場合、再構成点群に対してフィルタリング処理を行わないと特定することができる。フィルタリング・インデックス・パラメータの値が0ではない(例えば、1、2、3等である)場合、再構成点群に対してフィルタリング処理を行うと特定することができる。
さらに、本出願の実施形態において、フィルタリング・インデックス・パラメータを利用してフィルタを特定する際に、フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定することができる。フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである。又は、フィルタリング・インデックス・パラメータの値が2である場合、多次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。即ち、フィルタリング・インデックス・パラメータの値が0であることは、再構成点群に対してフィルタリング処理を行わないことを示す。フィルタリング・インデックス・パラメータの値が0ではない場合、異なる値は、異なるフィルタを利用して再構成点群に対してフィルタリング処理を行うことを示す。
上記から分かるように、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するには、flag(例えば、フィルタリングフラグ情報)を利用してもよく、index(例えば、フィルタリング・インデックス・パラメータ)を利用してもよく、本出願では、フィルタリング処理を行うか否かを特定する具体的な形式が限定されない。
さらに、本出願の実施形態において、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を取得した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数を特定するプロセスを実行しなくてもよく、即ち、フィルタリング係数を復号化しない。又は、ビットストリームを復号化することにより、初期点群に対応するフィルタリング・インデックス・パラメータを取得した後、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数を特定するプロセスを実行しなくてもよく、即ち、フィルタリング係数を復号化しない。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、又は、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、復号器は、フィルタリング処理プロセスをスキップして、元のプログラムに従って点群再構成を行うことができ、即ち再構成点群の更新処理が実行されない。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータという要素を導入してもよく、即ち、量子化パラメータと、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータとを利用して、フィルタリング処理を行うか否かをさらに特定することができる。
具体的に、本出願において、まず、初期点群の量子化パラメータを特定することができ、次に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断することができる。量子化パラメータは、量子化ステップサイズを表すことができる。
理解できるように、本出願において、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのそれぞれに基づいて、フィルタリング処理を行うか否かを特定することができる。量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのいずれもフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。又は、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのうちの少なくとも1つがフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。
選択的に、本出願の実施形態において、量子化パラメータは、フィルタリング処理を行うか否かを特定するために用いられることができるのみならず、色情報のいずれの色コンポーネントに対してフィルタリング処理を行うかをさらに特定するために用いられることもできる。
具体的に、本出願において、量子化パラメータが量子化閾値より大きい場合、再構成点群における点の全ての色コンポーネントのうちの第一色コンポーネントに対してフィルタリング処理を行うと特定することができる。量子化パラメータが量子化閾値以下である場合、再構成点群における点の全ての色コンポーネントのうちの第二色コンポーネントに対してフィルタリング処理を行うと特定することができる。第一色コンポーネントと第二色コンポーネントは異なっている。
例示的に、本出願において、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングすることができ、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングすることができる。
さらに、本出願の実施形態において、復号器はさらに、ビットストリームを復号化することにより、最適なフィルタタイプを指示するための情報と、最適なフィルタタイプに対応するフィルタリング係数とを特定することができる。最適なフィルタタイプは、復号化によってサポートされる少なくとも1つのフィルタタイプのうちの1つであることができる。
上記に応じて、本出願の実施形態において、復号化側には、次数が異なるフィルタが2つ又は複数設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。次に、ビットストリームを復号化することにより、フィルタリング処理に用いられる最適なフィルタタイプに対応する1つのフィルタと、最適なフィルタタイプに対応するフィルタリング係数とを特定する。それによって、当該フィルタとフィルタリング係数とを利用して、再構成点群に対してフィルタリング処理を行うことが可能となり、より高いフィルタリング性能を実現する。
即ち、符号化側では、複数の異なるフィルタを利用して、フィルタリング係数の特定とフィルタリング処理とを別々に行うことができ、最終的に、フィルタリング効果が最も良いフィルタを選択して、当該フィルタに対応する情報と対応するフィルタリング係数とをビットストリームに書き込むことができる。それによって、復号化側では、ビットストリームを復号化することにより、フィルタリング効果が最も良いフィルタの情報とフィルタリング係数とを直接に取得することができ、さらに、当該フィルタを利用してフィルタリング処理を行い、フィルタリング性能及び符号化・復号化効率を向上させることができる。
さらに、本出願の実施形態において、色変換(color transform)の出力が整数であり、変換中に情報のロスがあるため、復号化側では、最後にYUVからRGBへの変換プロセスを行わず、YUV属性の点群シーケンスを直接に出力することができ、復号化の性能及び効果を向上させる。
上述したように、ステップ101からステップ106で提案された点群復号化方法によれば、点群シーケンスの色再構成値の色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)をフィルタリングする際に、復号化側から出力される再構成点群を選択的に品質向上させることができ、ビットストリームのビット数の増加が少なく、圧縮性能を向上させることができる。
なお、本出願に係る点群復号化方法は、任意の点群シーケンスに適用され、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。
さらに、本出願に係る点群復号化方法は、3種の色属性変換(予測変換、リフティング変換、RAHT)の復号化方式の全てに対して操作可能であり、汎用性を有する。また、フィルタリングプロセスは点群の再構成プロセスに影響せず、他の悪影響を及ぼさない。
なお、本出願の実施形態に係るフィルタは、予測ループ内に用いられることができ、即ち、インループフィルタ(inloop filter)として用いられ、点群における後続の点を復号化するための参照として用いられることができる。また、本出願の実施形態に係るフィルタは、予測ループ外に用いられることができ、即ち、ポストフィルタ(post filter)として用いられ、点群における後続の点を復号化するための参照として用いられない。それについては、本出願では具体的に限定されない。
なお、本出願において、本出願の実施形態に係るフィルタがインループフィルタであれば、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
なお、本出願において、本出願の実施形態に係るフィルタが後処理フィルター(post-processing filter)であれば、1つの場合では、フィルタに対応するフィルタリング係数が1つの単独の補助情報データユニット(例えば、補足拡張情報(Supplemental enhancement information、SEI))にある場合、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。それに応じて、復号器が当該SEIを取得していない場合、再構成点群に対してフィルタリング処理を行わない。もう1つの場合では、フィルタに対応するフィルタリング係数と他の情報とが1つの補助情報データユニットにある場合、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)をビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
さらに、本出願の実施形態に係る点群符号化・復号化方法では、再構成点群における1つ又は複数の部分に対してフィルタリング処理を行うように選択することができ、即ち、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータは、再構成点群全体に適用されてもよく、再構成点群におけるある部分に適用されてもよい。
本出願の実施形態において、点群符号化・復号化方法が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。換言すれば、本出願に係る点群符号化・復号化方法において、符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の1つの実施形態において、点群符号器に適用される点群符号化方法が提供される。図6は、点群符号化の実現を示す1つ目のフローチャートである。図6に示されるように、本出願の実施形態において、符号器によって実行される点群符号化方法は、以下のステップを含むことができる。
ステップ201:初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
本出願の実施形態において、まず、初期点群における点の属性情報の再構成値を特定することができ、次に、点の属性情報の再構成値に基づいて初期点群に対応する再構成点群を構築する。
なお、本出願の実施形態において、初期点群における1つの点について、当該1つの点を符号化する際に、当該1つの点を初期点群における符号化待ちの点とすることができ、当該1つの点の周囲に複数の符号化済みの点がある。
さらに、本出願の実施形態において、初期点群における1つの点は、1つの幾何情報及び1つの属性情報に対応する。幾何情報は、当該1つの点の空間位置を表し、属性情報は、当該1つの点の再構成属性値を表す。
なお、本出願の実施形態において、属性情報は色情報を含むことができる。具体的に、属性情報は任意の色空間の色情報であってもよく、例えば、属性情報はRGB空間の色情報であってもよく、YUV空間の色情報であってもよく、YCbCr空間の色情報であってもよく、本出願では具体的に限定されない。
さらに、本出願の実施形態において、属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含む。属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含む。属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報は、符号化された再構成された属性値であってもよい。属性情報は、色情報であってもよく、反射率又は他の属性であってもよく、本出願ではそれについては限定されない。
さらに、本出願の実施形態において、初期点群における1つの点について、まず、当該1つの点の属性情報に対応する残差値及び予測値を特定することができ、次に、残差値及び予測値を利用して計算することで、当該1つの点の属性情報の再構成値を取得する。
具体的に、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報に対応する予測値を特定する際に、当該1つの点の複数の目標隣接点の幾何情報及び属性情報と、当該1つの点の幾何情報とを利用して、現在点の属性情報を予測することにより、対応する予測値を取得することができる。
理解できるように、本出願の実施形態において、初期点群における1つの点について、当該1つの点の属性情報の再構成値を特定した後、当該1つの点をLODにおける後続の点の最近隣点とすることができ、それによって、当該1つの点の属性情報の再構成値を利用して、後続点の属性予測を引き続き行う。
さらに、本出願の実施形態において、初期点群における点の属性情報の再構成値を特定した後、初期点群における各点の属性情報の再構成値を利用して、対応する再構成点群を特定することが可能である。
なお、本出願において、初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。初期点群に対応する再構成点群は、属性符号化、属性再構成、幾何オフセットを経た後に取得される。
ステップ202:初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
本出願の実施形態において、初期点群における点の属性情報の再構成値を特定し、且つ、再構成値に基づいて初期点群に対応する再構成点群を構築した後、さらに、初期点群及び対応する再構成点群に基づいて、フィルタリング処理に用いられるフィルタリング係数を特定することができる。フィルタリング係数は、フィルタリング処理のフィルタリング係数であることができる。
なお、本出願の実施形態において、フィルタリング係数はウィーナーフィルタリングに用いられることができ、即ち、フィルタリング係数はウィーナーフィルタの係数である。
具体的に、ウィーナーフィルタは、最小二乗を最適基準とする線形フィルタである。一定の制約条件では、その出力とある所定関数(通常は所望出力と呼ばれる)との差の二乗が最小となり、数学的な演算によって最終的に1つのテプリッツ式の求めに変化することができる。ウィーナーフィルタは、最小二乗フィルタ又は最小2乗フィルタとも呼ばれる。
ウィーナーフィルタリングは、定常ランダムプロセスの相関特性とスペクトル特性とを利用して、ノイズが混在した信号をフィルタリングする方法であり、従来から基本的なフィルタリング方法の1つである。ウィーナーフィルタリングの具体的なアルゴリズムは以下の数1の通りである。
Mはフィルタの長さ又は次数であり、y(n)は出力信号であり、x(n)は1列の(ノイズが混在した)入力信号である。
数1を公式の形式に変換すると、以下の数2のようになる。
所望信号がd(n)であり、既知信号と所望信号との誤差e(n)は以下のように計算されることができる。
ウィーナーフィルタは、最小平均二乗誤差を目的関数とするため、目的関数を次の数4にする。
フィルタリング係数が最適である場合、係数に対する目的関数の導関数が0となる。即ち、以下のようである。
即ち、以下のようである。
さらに、数8のように表記されることができる。
Rxdは入力信号と所望信号の相関行列であり、Rxxは入力信号の自己相関行列である。ウィーナー‐ホプフ方程式(Wiener-Hough equation)によってフィルタリング係数Hを以下のように取得することができる。
さらに、本出願において、属性情報が任意の空間の色情報であれば、例えば、属性情報がYUV空間の色情報であれば、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)の初期コンポーネント値及び再構成コンポーネント値と、フィルタタイプとに基づいて、色コンポーネントの第一属性パラメータ及び第二属性パラメータを特定することができる。さらに、第一属性パラメータ及び第二属性パラメータに基づいて、フィルタリング処理を行うためのフィルタリング係数をさらに特定することができる。
なお、本出願の実施形態において、第一属性パラメータは、初期点群における点の色コンポーネントの属性値を特定するために用いられ、第二属性パラメータは、再構成点群における点の色コンポーネントの属性値を特定するために用いられる。具体的に、第一属性パラメータは、初期点群における点の、1つの色コンポーネントでの色属性値を表し、第二属性パラメータは、再構成点群における点及びその点のk個の隣接点の、1つの色コンポーネントでの色属性値を表す。
さらに、本出願の実施形態において、フィルタタイプは、フィルタ次数、及び/又はフィルタ形状、及び/又はフィルタ次元数を指示するために用いられることができる。フィルタ形状は菱形、矩形等を含み、フィルタ次元数は1次元及び多次元を含む。
即ち、本出願において、異なるフィルタタイプは、次数が異なるフィルタに対応してもよく、例えば、次数kが16、32、128であるフィルタに対応してもよい。異なるフィルタタイプは、次元数が異なるフィルタに対応してもよく、例えば、1次元フィルタ、2次元フィルタ、多次元フィルタに対応してもよい。また、2次元フィルタ及び多次元フィルタの場合、異なるフィルタタイプは、異なるフィルタ形状を採用することを指示してもよく、例えば、菱形フィルタ、矩形フィルタ等を採用してもよい。
具体的に、本出願の実施形態において、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、初期点群における点の色情報の色コンポーネントの初期コンポーネント属性値に基づいて、色コンポーネントの第一属性パラメータを特定し、同時に、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、フィルタ次数と、フィルタタイプとに応じて、色コンポーネントに対応する属性情報行列の第二属性パラメータを特定し、最後に、第一属性パラメータ及び第二属性パラメータに基づいてフィルタリング係数を特定することができる。
なお、本出願において、1つの色コンポーネントに対して対応の第一属性パラメータ及び第二属性パラメータの計算を行い、また、第一属性パラメータ及び第二属性パラメータを利用して、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルを特定する。全ての色コンポーネントをトラバースし、且つ各色コンポーネントのフィルタリング係数ベクトルを取得した後、各色コンポーネントのフィルタリング係数ベクトルに基づいてフィルタリング係数を最終的に特定することができる。
具体的に、本出願の実施形態において、初期点群及び再構成点群に基づいてフィルタリング係数を特定する際に、まず、色コンポーネントに対応する第一属性パラメータ及び第二属性パラメータに基づいて、色コンポーネントに対応する相互相関パラメータを特定し、同時に、第二属性パラメータに基づいて、色コンポーネントに対応する自己相関パラメータを特定し、次に、相互相関パラメータ及び自己相関パラメータに基づいて、色コンポーネントに対応するフィルタリング係数ベクトルを特定し、最後に、全ての色コンポーネントをトラバースし、全ての色コンポーネントに対応するフィルタリング係数ベクトルを利用して、フィルタリング係数を特定することができる。
例示的に、本出願において、点群シーケンスにおけるYUV空間の色情報を例として、フィルタタイプによって指示されるフィルタ次数がkであると仮定し、即ち、点群における1つの点のk個の隣接点を利用してフィルタリング係数を計算する。点群シーケンスがnであると仮定する。初期点群における点の、1つの色コンポーネント(例えばYコンポーネント)での色属性値をベクトルS(n)で表し、即ち、S(n)は、初期点群における点の色情報のYコンポーネントの初期コンポーネント値を含む第一属性パラメータである。再構成点群における点及びその点のk個の隣接点の、同じ色コンポーネント(例えばYコンポーネント)での色属性値を行列P(n,k)で表し、即ち、P(n,k)は、再構成点群における点の色情報のYコンポーネントの再構成コンポーネント値とフィルタタイプとによって特定される第二属性パラメータである。
さらに、以下の数10に従って、第一属性パラメータS(n)及び第二属性パラメータP(n,k)に基づいて、相互相関パラメータB(k)を計算し取得することができる。
以下の数11に従って、第二属性パラメータP(n,k)に基づいて、自己相関パラメータA(k,k)を計算し取得することができる。
ウィーナー‐ホプフ方程式によれば、Yコンポーネントでのフィルタフィルタリング係数、即ち、Yコンポーネントでのk次フィルタのフィルタリング係数ベクトルH(k)は以下の通りである。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでのフィルタリング係数ベクトルとVコンポーネントでのフィルタリング係数ベクトルとを最終的に特定することができ、さらに、全ての色コンポーネントでのフィルタリング係数ベクトルを利用して、フィルタリング係数を取得することができる。
上記から分かるように、本出願において、初期点群及び対応する再構成点群を利用して、フィルタリング係数を特定する際に、まず、初期点群及び再構成点群における点の色情報に基づいて、各色コンポーネントに対応する第一属性パラメータ及び第二属性パラメータをそれぞれ特定することができ、さらに、各色コンポーネントに対応するフィルタリング係数ベクトルを特定することができ、最後に、全ての色コンポーネントのフィルタリング係数ベクトルに基づいてフィルタリング係数を取得することができる。
ステップ203:フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
本出願の実施形態において、符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定した後、さらに、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得することができる。
さらに、本出願の実施形態において、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う際に、色コンポーネントに対応するフィルタリング係数ベクトルと、第二属性パラメータとに基づいて、色コンポーネントに対応する属性情報のフィルタリング値を特定し、次に、色コンポーネントに対応する属性情報のフィルタリング値に基づいて、フィルタリングされた点群を構築することができる。
理解できるように、本出願の実施形態において、フィルタを利用して再構成点群に対してフィルタリング処理を行う際に、ノイズ含有信号(noisy signal)及び所望信号が必要となる。点群符号化・復号化フレームワークにおいて、再構成点群をノイズ含有信号とし、初期点群を所望信号とすることができる。従って、初期点群と再構成点群との両方をフィルタに入力することができ、即ち、フィルタの入力が初期点群及び再構成点群である。フィルタのフィルタリング係数、即ち、フィルタリング係数を計算した後、さらに、当該フィルタリング係数に基づいて再構成点群に対するフィルタリング処理を完了し、対応のフィルタリングされた点群を取得することができる。
なお、本出願において、フィルタリングパラメータは、オリジナル点群及び再構成点群に基づいて取得されるため、フィルタリング係数を再構成点群に用いることで、オリジナル点群を最大限に復元することができる。
具体的に、本出願において、フィルタリング係数に基づいて再構成点群をフィルタリングする際に、色情報における1つの色コンポーネントについて、フィルタリング係数の、当該1つの色コンポーネントに対応するフィルタリング係数ベクトルと、当該1つの色コンポーネントに対応する第二属性パラメータとに基づいて、当該1つの色コンポーネントに対応する属性情報のフィルタリング値を特定することができる。
例示的に、本出願において、Yコンポーネントでのフィルタリング係数ベクトルH(k)を対応の第二属性パラメータP(n,k)に用いることで、Yコンポーネントでの属性情報のフィルタリング値R(n)を取得することができる。
次に、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントでの属性情報のフィルタリング値とVコンポーネントでの属性情報のフィルタリング値とを最終的に特定することができ、さらに、全ての色コンポーネントでの属性情報のフィルタリング値を利用して、再構成点群に対応するフィルタリングされた点群を構築することができる。
ステップ204:再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
本出願の実施形態において、符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定することができる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、再構成点群におけるいずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることができる。
さらに、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する際に、まず、再構成点群における点の色コンポーネントの第一性能パラメータと、フィルタリングされた点群における点の色コンポーネントの第二性能パラメータと、を特定し、次に、第一性能パラメータ及び第二性能パラメータに基づいて、色コンポーネントに対応する識別情報を特定し、最後に、色コンポーネントに対応する識別情報に基づいて、フィルタリングフラグ情報を特定することができる。
理解できるように、本出願の実施形態において、第一性能パラメータ及び第二性能パラメータは、それぞれ、同じ色コンポーネントでの、再構成点群の符号化・復号化性能及びフィルタリングされた点群の符号化・復号化性能を表すことができる。
例示的に、本出願において、第一性能パラメータは、再構成点群における点の1つの色コンポーネントでのピーク信号対雑音比(peak signal-to-noise ratio、PSNR)であることができ、第二性能パラメータは、フィルタリングされた点群における点の1つの色コンポーネントでのPSNRであることができる。
具体的に、本出願の実施形態において、YコンポーネントでのPSNRを例として、第一性能パラメータ及び第二性能パラメータに基づいて、色コンポーネントに対応する識別情報を特定する際に、再構成点群に対応するPSNR1がフィルタリングされた点群に対応するPSNR2より大きければ、即ち、フィルタリングされたYコンポーネントのPSNRが低下すると、フィルタリング効果が良くないと考えられる。そのため、Yコンポーネントに対応する識別情報の値が、Yコンポーネントに対してフィルタリング処理を行わないことを指示するように設定されることができる。それに応じて、再構成点群に対応するPSNR1がフィルタリングされた点群に対応するPSNR2より小さければ、即ち、フィルタリングされたYコンポーネントのPSNRが向上すると、フィルタリング効果が良いと考えられる。そのため、Yコンポーネントに対応する識別情報の値が、Yコンポーネントに対してフィルタリング処理を行うことを指示するように設定されることができる。
さらに、本出願の実施形態において、上記方法でUコンポーネント及びVコンポーネントをトラバースし、Uコンポーネントに対応する識別情報とVコンポーネントに対応する識別情報とを最終的に特定することができ、さらに、全ての色コンポーネントに対応する識別情報を利用して、フィルタリングフラグ情報を特定することができる。
上記から分かるように、フィルタリングフラグ情報は、各色コンポーネントに対応する識別情報に基づいて特定されるため、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができるのみならず、具体的に、いずれの色コンポーネントに対してフィルタリング処理を行うかを特定するために用いられることもできる。
なお、本出願において、識別情報の値が第一の値である場合、色コンポーネントに対してフィルタリング処理を行わないことを指示する。識別情報の値が第二の値である場合、色コンポーネントに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、全ての色コンポーネントの識別情報がいずれも第一の値である場合、即ち、全ての色コンポーネントの各々をフィルタリングしないことを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示すると特定することができる。それに応じて、全ての色コンポーネントの識別情報がいずれも第一の値であるというわけではない場合、即ち、少なくとも1つの色コンポーネントをフィルタリングすることを指示する場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示すると特定することができる。
例示的に、本出願において、第一の値は0であり、第二の値は1である。又は、第一の値はfalseに設定され、第二の値はtrueに設定される。
ステップ205:フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
本出願の実施形態において、符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数をビットストリームに書き込むことができ、また、フィルタリングフラグ情報をビットストリームに書き込むこともできる。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うか否かを指示するためのフィルタリングフラグ情報と、再構成点群に対してフィルタリング処理を行うためのフィルタリングパラメータとを、ビットストリームに書き込み、復号化側に伝送する必要がある。
なお、本出願の実施形態において、符号器はさらに、初期点群における点の属性情報の残差値をビットストリームに書き込み、復号化側に伝送することができる。
さらに、本出願の実施形態において、図7は、点群符号化の実現を示す2つ目のフローチャートである。図7に示されるように、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、即ちステップ203の後、符号器によって実行される点群符号化方法はさらに、以下のステップを含むことができる。
ステップ206:再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。
ステップ207:フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング・インデックス・パラメータ及びフィルタリング係数をビットストリームに書き込む。
本出願の実施形態において、符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得した後、さらに、再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定する。フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数をビットストリームに書き込み、復号化側に伝送することができ、また、フィルタリング・インデックス・パラメータをビットストリームに書き込むこともできる。
なお、本出願の実施形態において、フィルタリング・インデックス・パラメータは、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられることができる。具体的に、フィルタリングフラグ情報はさらに、フィルタリング処理に用いられるフィルタを特定するために用いられることができる。
理解できるように、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて、フィルタリング・インデックス・パラメータの値を設定することができ、それによって、フィルタリング・インデックス・パラメータを利用して、再構成点群に対してフィルタリング処理を行うか否かを特定することができる。
例示的に、本出願の実施形態において、フィルタリング・インデックス・パラメータの値が0である場合、再構成点群に対してフィルタリング処理を行わないと特定することができる。フィルタリング・インデックス・パラメータの値が0ではない(例えば、1、2、3等である)場合、再構成点群に対してフィルタリング処理を行うと特定することができる。
さらに、本出願の実施形態において、フィルタリング・インデックス・パラメータを利用してフィルタを特定する際に、フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定することができる。フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである。又は、フィルタリング・インデックス・パラメータの値が2である場合、多次元フィルタを利用して再構成点群に対してフィルタリング処理を行うと特定する。即ち、フィルタリング・インデックス・パラメータの値が0であることは、再構成点群に対してフィルタリング処理を行わないことを示す。フィルタリング・インデックス・パラメータの値が0ではない場合、異なる値は、異なるフィルタを利用して再構成点群に対してフィルタリング処理を行うことを示す。
上記から分かるように、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するには、flag(例えば、フィルタリングフラグ情報)を利用してもよく、index(例えば、フィルタリング・インデックス・パラメータ)を利用してもよく、本出願では、フィルタリング処理を行うか否かを特定する具体的な形式が限定されない。
さらに、本出願の実施形態において、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定した後、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数をビットストリームに書き込まなくてもよい。又は、再構成点群及びフィルタリングされた点群に基づいて、初期点群に対応するフィルタリング・インデックス・パラメータを特定した後、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング係数をビットストリームに書き込まなくてもよい。
理解できるように、本出願において、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリングフラグ情報をビットストリームに書き込まなくてもよい。又は、フィルタリング・インデックス・パラメータの値が再構成点群に対してフィルタリング処理を行わないことを指示する場合、フィルタリング・インデックス・パラメータをビットストリームに書き込まなくてもよい。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータという要素を導入してもよく、即ち、量子化パラメータとを利用して、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータとを利用して、フィルタリング処理を行うか否かをさらに特定することができる。
具体的に、本出願において、まず、初期点群の量子化パラメータを特定することができ、次に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断することができる。量子化パラメータは、量子化ステップサイズを表すことができる。
理解できるように、本出願において、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータに基づいて、再構成点群に対してフィルタリング処理を行うか否かを判断する際に、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのそれぞれに基づいて、フィルタリング処理を行うか否かを特定することができる。量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのいずれもフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。又は、量子化パラメータ、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータのうちの少なくとも1つがフィルタリング処理を行うことを指示する場合、再構成点群に対してフィルタリング処理を行うと判断し、フィルタリングパラメータをビットストリームに書き込むことができる。
選択的に、本出願の実施形態において、量子化パラメータは、フィルタリング処理を行うか否かを特定するために用いられることができるのみならず、色情報のいずれの色コンポーネントに対してフィルタリング処理を行うかをさらに特定するために用いられることもできる。
具体的に、本出願において、量子化パラメータが量子化閾値より大きい場合、再構成点群における点の全ての色コンポーネントのうちの第一色コンポーネントに対してフィルタリング処理を行うと特定することができる。量子化パラメータが量子化閾値以下である場合、再構成点群における点の全ての色コンポーネントのうちの第二色コンポーネントに対してフィルタリング処理を行うと特定することができる。第一色コンポーネントと第二色コンポーネントは異なっている。
例示的に、本出願において、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングすることができ、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングすることができる。
さらに、本出願の実施形態において、符号化側には、次数が異なるフィルタが2つ又は複数設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。次に、この2つのフィルタでそれぞれ再構成点群に対してフィルタリング処理を行う。最後の品質向上、稼動時間及びビット数のサイズを総合的に考慮して、より性能の良い1つのフィルタを選択する。当該1つのフィルタに対応する次数及びフィルタリング係数をビットストリームに書き込み、さらに、復号化側で当該1つのフィルタを利用してフィルタリング処理を行うことを指示することができる。
具体的に、本出願において、フィルタリング係数を特定する際に、再構成点群における点の色情報の色コンポーネントの再構成コンポーネント値と、少なくとも1つのフィルタタイプとに基づいて、色コンポーネントに対応する少なくとも1つの第二属性パラメータを構築し、即ち、同じ色コンポーネントの再構成コンポーネント値に基づいて、各フィルタタイプに対応する第二属性パラメータを特定し、さらに、当該色コンポーネントに対応する第一属性パラメータと合わせて、当該色コンポーネントでの各フィルタタイプに対応するフィルタリング係数ベクトルを特定することができ、また、全ての色コンポーネントをトラバースした後、各フィルタタイプに対応するフィルタリング係数を取得することができ、即ち、少なくとも1つのフィルタタイプに対応する少なくとも1組のフィルタリング係数を特定する。1つのフィルタタイプは1組のフィルタリング係数に対応する。
それに応じて、本出願の実施形態において、少なくとも1つのフィルタタイプに対応する少なくとも1組のフィルタリング係数を特定した後、少なくとも1つのフィルタタイプに基づいて、少なくとも1組のフィルタリング係数を利用して、再構成点群に対してそれぞれフィルタリング処理を行い、即ち、異なるフィルタと対応するフィルタリング係数とを利用して再構成点群に対してそれぞれフィルタリング処理を行うことができる。それによって、少なくとも1つのフィルタタイプに対応する少なくとも1つのフィルタリングされた点群を取得することができる。1つのフィルタタイプは1つのフィルタリングされた点群に対応する。
さらに、本出願において、少なくとも1つのフィルタリングされた点群に基づいて、少なくとも1つのフィルタタイプから最適なフィルタタイプを選択し、次に、最適なフィルタタイプを指示するための情報と、最適なフィルタタイプに対応するフィルタリング係数とをビットストリームに書き込むことができる。
即ち、符号化側では、複数の異なるフィルタを利用して、フィルタリング係数の特定とフィルタリング処理とを別々に行うことができ、最終的に、フィルタリング効果が最も良いフィルタを選択して、当該フィルタに対応する情報と対応するフィルタリング係数とをビットストリームに書き込むことができる。それによって、復号化側では、ビットストリームを復号化することにより、フィルタリング効果が最も良いフィルタの情報とフィルタリング係数とを直接に取得することができ、さらに、当該フィルタを利用してフィルタリング処理を行い、フィルタリング性能及び符号化・復号化効率を向上させることができる。
上述したように、ステップ201からステップ207で提案された点群符号化方法によれば、点群シーケンスの色再構成値の色コンポーネント(例えば、Yコンポーネント、Uコンポーネント、Vコンポーネント)をフィルタリングする際に、再構成点群を選択的に品質向上させることができ、ビットストリームのビット数の増加が少なく、圧縮性能を向上させることができる。
なお、本出願に係る点群符号化方法は、任意の点群シーケンスに適用され、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。
さらに、本出願に係る点群符号化方法は、3種の色属性変換(予測変換、リフティング変換、RAHT)の符号化方式の全てに対して操作可能であり、汎用性を有する。また、フィルタリングプロセスは点群の再構成プロセスに影響せず、他の悪影響を及ぼさない。
なお、本出願の実施形態に係るフィルタは、予測ループ内に用いられることができ、即ち、インループフィルタとして用いられ、点群における後続の点を符号化するための参照として用いられることができる。また、本出願の実施形態に係るフィルタは、予測ループ外に用いられることができ、即ち、ポストフィルタとして用いられ、点群における後続の点を符号化するための参照として用いられない。それについては、本出願では具体的に限定されない。
なお、本出願において、本出願の実施形態に係るフィルタがインループフィルタであれば、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
なお、本出願において、本出願の実施形態に係るフィルタが後処理フィルターであれば、1つの場合では、フィルタに対応するフィルタリング係数が1つの単独の補助情報データユニット(例えば、補足拡張情報(SEI))にある場合、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。それに応じて、復号器が当該SEIを取得していない場合、再構成点群に対してフィルタリング処理を行わない。もう1つの場合では、フィルタに対応するフィルタリング係数と他の情報とが1つの補助情報データユニットにある場合、フィルタリング処理を行うと特定した後、フィルタリング処理を行うことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)をビットストリームに書き込む必要があり、また、フィルタリング係数をビットストリームに書き込む必要もある。それに応じて、フィルタリング処理を行わないと特定した後、フィルタリング処理を行わないことを指示するパラメータ情報(例えば、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータ)を、ビットストリームに書き込まず、また、フィルタリング係数もビットストリームに書き込まないように選択することができる。
さらに、本出願の実施形態に係る点群符号化・復号化方法では、再構成点群における1つ又は複数の部分に対してフィルタリング処理を行うように選択することができ、即ち、フィルタリングフラグ情報及び/又はフィルタリング・インデックス・パラメータは、再構成点群全体に適用されてもよく、再構成点群におけるある部分に適用されてもよい。
本出願の実施形態において、点群符号化方法が開示される。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
上記実施形態に基づいて、本出願の別の実施形態において、属性情報がYUV空間の色情報であり、ウィーナーフィルタを利用したフィルタリング処理を例として、図8は、点群符号化・復号化を示すフローチャートである。図8に示されるように、符号化側では、符号器はまず、ウィーナーフィルタの入力、即ち初期点群及び対応する再構成点群を取得することができる。初期点群は、点群読み取り関数という符号化・復号化プログラムにより直接に取得されることができる。再構成点群は、初期点群に基づいて、属性符号化、属性再構成、幾何オフセットを経た後に取得される。
理解できるように、本出願の実施形態において、初期点群を符号化する中に、初期点群における点の属性情報の残差値を特定することができ、符号器は残差値をビットストリームに書き込み、復号化側へ伝送することができる。
さらに、点群再構成を完了し、再構成点群を取得した後、ウィーナーフィルタに基づくウィーナーフィルタリングを始める。符号化側では、ウィーナーフィルタの主な役割は、最適なフィルタリング係数を計算し、即ち、フィルタリング係数を計算し、同時に再構成点群に対するフィルタリング処理を完了し、また、ウィーナーフィルタリング後に点群品質が向上したか否かを判断することである。
なお、本出願において、フィルタタイプによって指示されるフィルタ次数k(即ち、フィルタリング中に選択される近隣点の個数k)、及びフィルタリングが必要な色コンポーネントの個数等が、フィルタリングされた点群の品質に影響を及ぼすため、性能と効率とを両立するために、フィルタ次数k=32であると選択することができる。
具体的に、本出願において、ウィーナーフィルタリングアルゴリズムの原理を応用して、当該ウィーナーフィルタのフィルタリング係数を計算することができる。同時に、符号化側では、取得されたフィルタリング係数に基づいて、Y、U、Vという3つの色コンポーネントの各々をフィルタリングすることにより、Y、U、Vという3つの色コンポーネントでのフィルタリング性能を取得することができ、また、Y、U、Vという3つの色コンポーネントに対応するフィルタリングされた属性値に基づいて、対応するフィルタリングされた点群を構築することができる。
図9は、符号化側のフィルタリング処理を示すフローチャートである。図9に示されるように、初期点群及び再構成点群がウィーナーフィルタの入力とされ、初期点群における点及び再構成点群における点に対してそれぞれ、位置情報のアラインメントを行い、属性情報の変換を行う(例えば、属性情報における色情報をRGB空間からYUV空間に変換する)。初期点群における点の色情報及び再構成点群における点の色情報を利用してフィルタリング係数を計算することができる。再構成点群における点の色情報に基づいて自己相関パラメータを計算し、また、初期点群における点の色情報及び再構成点群における点の色情報に基づいて相互相関パラメータを計算することができ、最終的に、自己相関パラメータ及び相互相関パラメータを利用して最適なフィルタリング係数、即ち対応するフィルタリング係数を特定することができる。
なお、本出願において、符号化側では、フィルタリングされた点群を利用して再構成点群をカバーする必要がない。
さらに、本出願の実施形態において、復号器は、フィルタリングされた点群及び再構成点群の色情報の、Y、U、Vという3つの色コンポーネントのそれぞれのPSNR値(性能パラメータ)を計算することができ、それによって、全ての色コンポーネントのPSNR値に基づいて、再構成点群に対してフィルタリング処理を行うか否かを特定し、フィルタリングフラグ情報を特定することができる。
選択的に、本出願において、1つ又は複数の色コンポーネントのPSNR値が向上する場合、例えば、UVという2つの色コンポーネントのPSNR値が向上するが、YコンポーネントのPSNR値が低下する場合、復号器は、Yコンポーネントに対してフィルタリング処理を行わず、UVコンポーネントのみに対してフィルタリング処理を行うと特定することができ、即ち、フィルタリングフラグ情報がUVコンポーネントに対してフィルタリング処理を行うことを指示するよう設けられる。
選択的に、本出願において、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも低下する場合、符号器は、Y、U、Vという3つの色コンポーネントに対してフィルタリング処理を行わないと特定することができ、即ち、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示するよう設けられる。それに応じて、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも向上する場合、符号器は、Y、U、Vという3つの色コンポーネントに対してフィルタリング処理を行うと特定することができ、即ち、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示するよう設けられる。
なお、本出願の実施形態において、フィルタリングフラグ情報は、サイズが1×3である特定アレイ(determination array)であることができ、再構成点群に対してフィルタリング処理を行うか否かを判断するために用いられ、また、復号化側でフィルタリング処理を行う必要がある色コンポーネントを特定するために用いられることができる。フィルタリングフラグ情報は、Y、U、Vという3つの色コンポーネントに対応する3つの識別情報を含むことができ、識別情報の値が0であることは当該色コンポーネントに対してフィルタリング処理を行わないことを表し、識別情報の値が1であることは当該色コンポーネントに対してフィルタリング処理を行うことを表すことができる。
理解できるように、本出願において、3つの色コンポーネントに対応する3つの識別情報がいずれも0である場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する。3つの色コンポーネントに対応する3つの識別情報がいずれも0であるというわけではない場合、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する。
例えば、フィルタリングフラグ情報は(0,1,1)として表されることができ、Yコンポーネントに対応する識別情報の値は0であり、UVコンポーネントに対応する識別情報の値は1であり、即ち、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うことを指示し、且つ、UVコンポーネントのみに対してフィルタリング処理を行うことを指示する。
さらに、本出願において、Y、U、Vという3つの色コンポーネントのPSNR値がいずれも向上していない場合、フィルタリング効果が良くなく、品質が低下していると考えられる。従って、符号器は、フィルタリング係数をビットストリームに書き込まなくてもよく、同時に、フィルタリングフラグ情報をビットストリームに書き込まなくてもよく、それによって、復号化側でもウィーナーフィルタリング処理を行わないことを確保する。
復号化側では、復号器は、属性情報の残差値を復号化した後、ビットストリームを復号化することによりフィルタリングフラグ情報を特定することができ、例えば、復号化することにより1×3の特定アレイを取得することができる。
理解できるように、本出願において、当該フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、ウィーナーフィルタリングにより再構成点群の品質を向上させることができ、また、符号化側にフィルタリング係数の伝送があると考えられることができ、復号器は、引き続き復号化して対応するフィルタリング係数を取得することができる。当該フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行わないことを指示する場合、ウィーナーフィルタリングによって再構成点群の品質を向上させることができず、また、符号化側にフィルタリング係数の伝送がないと考えられることができ、復号器は、フィルタリング係数を復号化し続けず、ウィーナーフィルタリングをスキップし、元のプログラムに従って点群再構成を行う。
さらに、本出願の実施形態において、復号器は、フィルタリング係数を復号化した後、フィルタリング係数を伝送することができ、点群再構成が完了した後、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行う。
図10は、復号化側のフィルタリング処理を示すフローチャートである。図10に示されるように、復号器は、ウィーナーフィルタリング処理中に、再構成点群とフィルタリング係数とを復号化側のウィーナーフィルタの入力とし、再構成点群における点の属性情報の変換を完了した(例えば、属性情報における色情報をRGB空間からYUV空間へ変換した)後、フィルタリング係数を利用してフィルタリング処理を行い、計算によってフィルタリングされた、品質が向上したフィルタリングされた点群を取得することができ、フィルタリングされた点群における点の属性情報の変換(YUV空間からRGB空間への変換)を完了した後、フィルタリングされた点群を出力する。
理解できるように、本出願において、フィルタリングされた点群を取得した後、フィルタリングされた点群を利用して元の再構成点群をカバーし、全体の符号化・復号化全体及び品質向上を実現することができる。
さらに、本出願の実施形態において、再構成点群に対してフィルタリング処理を行うか否かを特定するプロセスにおいて、量子化ステップサイズという特定要素をさらに追加することができる。例えば、量子化ステップサイズが大きい場合、変動性が大きいYコンポーネントのみをフィルタリングし、量子化ステップサイズが小さい場合、UVコンポーネントのみをフィルタリングする。
なお、本出願の実施形態において、符号化側には、2つ又は複数の異なる(次数が異なり、形状が異なるなど)フィルタが設けられることができ、例えば、次数k1=l6、k2=128である2つのフィルタが挙げられる。符号器は、この2つのフィルタをそれぞれ利用して、再構成点群をフィルタリングする。最後の品質向上、稼動時間及びビット数のサイズを総合的に考慮して、より性能の良い1つのフィルタを選択する。次に、当該フィルタを指示するための情報と対応するフィルタリングパラメータとをビットストリームに書き込み、復号化側に伝送する。それに応じて、復号化側にも、対応の異なるフィルタが設けられ、復号器は、ビットストリームを復号化することにより、フィルタを指示するための情報と対応するフィルタリングパラメータとを取得する。それによって、より性能の良いフィルタを選択して復号化側でフィルタリングすることができる。
さらに、本出願の実施形態において、色属性変換の出力が整数であり、変換中に情報のロスがあるため、復号化側では、最後にYUVからRGBへの変換を行わず、YUV属性の点群シーケンスを直接に出力する。
なお、本出願の実施形態において、図11は、CYテスト条件でのテスト結果を示す概略図である。図12は、C1テスト条件でのテスト結果を示す概略図である。図11及び図12に示されるように、本出願の実施形態に係る点群符号化・復号化方法が、G-PCC参照ソフトウェアTMC13 V12.0上で実現された後、MPEG(Moving Picture Expert Group)によって要求される一部のテストシーケンス(cat1-A&cat1-B)をCTC CY及びC1テスト条件でテストした。CY条件はロスレス幾何(lossless geometry)、ロス属性(lossy attribute)の符号化方式であり、C1条件はロスレス幾何(lossless geometry)、ほぼロスレス属性(nearlylossless attribute)の符号化方式である。End-to-End BD-AttrRateは、エンドツーエンドの属性値のBD-Rateを示し、BD-Rateは、2つの場合(フィルタリングの有無)のpsnr曲線の差異を反映する。BD-Rateが低下すると、psnrが等しい場合、ビットレートが低下し、性能が向上することを示し、逆に、性能が低下することを示す。即ち、BD-Rateが低下すればするほど、圧縮効果が良くなる。Cat1-A average及びCat1-B averageはそれぞれ、2つのデータセットのそれぞれの点群シーケンスのテスト効果の平均値を表す。LumaはYコンポーネントであり、Chroma CbはUコンポーネントであり、Chroma CrはVコンポーネントであり、Overall averageは全てのシーケンスのテスト効果の平均値である。
上記から分かるように、本出願の実施形態に係る点群符号化・復号化方法は、点群シーケンスにおける色再構成値のYUVコンポーネントに対してウィーナーフィルタリングを行う技術を含み、復号化側から出力される再構成点群を選択的に品質向上させることができ、特に、点の分布が密集したシーケンスとビットレートが低いシーケンスとに対して、より際立った最適化効果がある。しかも、ビットストリームのビット数が著しく増加することなく、圧縮性能を向上させることができる。同時に、当該技術は、3種の色属性変換(予測変換、リフティング変換、RAHT)の符号化方式の全てに対して操作可能であり、汎用性を有する。また、当該技術は、復号化側の再構成プロセスに影響せず、他の悪影響を及ぼさない。
即ち、一般的な技術課題に対して、本出願の実施形態では、符号化・復号化の色再構成値のYUVコンポーネントに対してウィーナーフィルタリング処理を行い、点群の品質を向上させる技術が提案される。符号化・復号化側のそれぞれには、1つ(又は複数)のウィーナーフィルタが設けられており、符号化側は、計算によりウィーナーフィルタリング係数を取得し、復号化側はフィルタリング係数を読み取り、それによって、点群の再構成値に対して後処理を行うことができ、さらに優れた最適化効果を奏する。
本出願の実施形態において、点群復号化方法が提供される。符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
上記実施形態に基づいて、本出願の別の実施形態において、図13は、符号器の構造を示す1つ目の概略図である。図13に示されるように、本出願の実施形態に係る符号器300は、第一特定部301、構築部302、及び符号化部303を備えることができる。
第一特定部301は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部302は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部301はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部303は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
第一特定部301は、初期点群における点の属性情報の再構成値を特定するように構成されている。
構築部302は、再構成値に基づいて初期点群に対応する再構成点群を構築するように構成されている。
第一特定部301はさらに、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
符号化部303は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
図14は、符号器の構造を示す2つ目の概略図である。図14に示されるように、本出願の実施形態に係る符号器300は、第一プロセッサ304と、第一メモリ305と、第一通信インターフェース306と、第一バス307とをさらに備えることができる。第一メモリ305には、第一プロセッサ304によって実行可能な命令が記憶されており、第一バス307は、第一プロセッサ304と、第一メモリ305と、第一通信インターフェース306とを接続するために用いられる。
さらに、本出願の実施形態において、上記第一プロセッサ304は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築し、初期点群及び再構成点群に基づいてフィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定するように構成されている。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。上記第一プロセッサ304はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込むように構成されている。
図15は、復号器の構造を示す1つ目の概略図である。図15に示されるように、本出願の実施形態に係る復号器400は、復号化部401、第二特定部402、及び更新部403を備えることができる。
復号化部401は、ビットストリームを復号化するように構成されている。
第二特定部402は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部402はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部403は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
復号化部401は、ビットストリームを復号化するように構成されている。
第二特定部402は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、フィルタリングフラグ情報は初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、第二特定部402はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得するように構成されている。
更新部403は、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
図16は、復号器の構造を示す2つ目の概略図である。図16に示されるように、本出願の実施形態に係る復号器400は、第二プロセッサ404と、第二メモリ405と、第二通信インターフェース406と、第二バス407とをさらに備えることができる。第二メモリ405には、第二プロセッサ404によって実行可能な命令が記憶されており、第二バス407は、第二プロセッサ404と、第二メモリ405と、第二通信インターフェース406とを接続するために用いられる。
さらに、本出願の実施形態において、上記第二プロセッサ404は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定するように構成されている。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。上記第二プロセッサ404はさらに、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得し、フィルタリングされた点群を利用して再構成点群を更新するように構成されている。
集積ユニットは、独立の製品として販売されたり使用されたりするのではなく、ソフトウェア機能モジュールとして実装される場合に、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本出願の技術的解決策について、本質的な部分、又は従来技術に貢献できた部分、又は当該技術的解決策の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、1つのコンピュータデバイス(パソコン、サーバ、又はネットワークデバイスなどであってもよい)又はプロセッサに本実施形態の方法の全部又は一部のステップを実行させるための複数の命令を含む。前記記憶媒体は、ユニバーサルシリアルバス(universal serial bus、USB)フラッシュディスク、モバイルハードディスク、読み取り専用メモリ(read only memory、ROM)、ランダムアクセスメモリ(random access memory、RAM)、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な各種類の媒体を含む。
本出願の実施形態において、符号器及び復号器が提供される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
本出願の実施形態において、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体にプログラムが記憶されており、当該プログラムがプロセッサによって実行されると、上記実施形態に記載の方法を実現する。
具体的に、本実施形態における点群符号化方法に対応するプログラム命令が光ディスク、ハードディスク、USBフラッシュディスクなどの記憶媒体に記憶されることができ、記憶媒体における、点群符号化方法に対応するプログラム命令が電子機器によって読み取られ又は実行されると、以下のステップを含む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。
初期点群及び再構成点群に基づいてフィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。
具体的に、本実施形態における点群復号化方法に対応するプログラム命令が光ディスク、ハードディスク、USBフラッシュディスクなどの記憶媒体に記憶されることができ、記憶媒体における、点群復号化方法に対応するプログラム命令が電子機器によって読み取られ又は実行されると、以下のステップを含む。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。
フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。
フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。
フィルタリングされた点群を利用して再構成点群を更新する。
本出願の実施形態が方法、システム又はコンピュータプロセッサ製品を提供できることは当業者に理解されるべきである。従って、本出願はハードウェア実施形態、ソフトウェア実施形態、又はソフトウェアとハードウェアを結びつける実施形態を有することができる。また、本出願は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体(磁気ディスク記憶装置、光メモリなどを含むがこれらに限定されない)上に具現化されたコンピュータプログラム製品の形態で実施され得る。
本出願は、本出願の実施形態に係る方法、装置(システム)、及びコンピュータプラグラム製品のフローチャート及び/又はブロック図を参照しながら説明される。フローチャート及び/又はブロック図における各プロセス及び/又はブロック、及びフローチャート及び/又はブロック図におけるプロセス及び/又はブロックの組み合わせはコンピュータプログラム命令によって実現され得る。それらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラム可能なデータ処理装置(programmable data processing device)のプロセッサに提供されることで、機械を生成する。これで、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行される命令は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現するに用いられる装置を生じる。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置に特定の方法で実行するように指示することができるコンピュータ可読記憶媒体に記憶されることができる。それによって、当該コンピュータ可読記憶媒体に記憶される命令は命令装置を含む製造品を生じる。当該命令装置は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現する。
それらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードされることができ、コンピュータ又は他のプログラム可能な装置で一連の操作ステップを実行して、コンピュータによって実現されるプロセスを生成する。これで、コンピュータ又は他のプログラム可能な装置で実行される命令は、フローチャートの一つ又は複数のプロセス、及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能を実現するに用いられるステップを提供する。
上記は、本出願の好適な実施形態に過ぎず、本出願の保護範囲を限定するためのものではない。
本出願の実施形態において、点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体が開示される。復号器は、ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。復号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定する。復号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。復号器は、フィルタリングされた点群を利用して再構成点群を更新する。符号器は、初期点群における点の属性情報の再構成値を特定し、再構成値に基づいて初期点群に対応する再構成点群を構築する。符号器は、初期点群及び再構成点群に基づいてフィルタリング係数を特定する。符号器は、フィルタリング係数を利用して、再構成点群に対応するフィルタリングされた点群を取得する。符号器は、再構成点群及びフィルタリングされた点群に基づいて初期点群に対応するフィルタリングフラグ情報を特定する。フィルタリングフラグ情報は、再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる。符号器は、フィルタリングフラグ情報が再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリングフラグ情報及びフィルタリング係数をビットストリームに書き込む。換言すれば、本出願に係る点群符号化・復号化方法において、符号化側では、初期点群及び再構成点群を利用して、フィルタリング処理を行うためのフィルタリング係数を計算し、また、再構成点群に対してフィルタリング処理を行うと特定した後、フィルタリング係数を復号化側へ伝送する。それに応じて、復号化側は直接に復号化してフィルタリング係数を取得し、フィルタリング係数を利用して再構成点群に対してフィルタリング処理を行うことができる。それによって、再構成点群の最適化を図り、点群の品質を向上させ、符号化・復号化効率を大きく向上させることができる。
Claims (37)
- 復号器に適用される点群復号化方法であって、前記方法は、
ビットストリームを復号化することにより、初期点群に対応するフィルタリングフラグ情報を特定することであって、前記フィルタリングフラグ情報は前記初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる、特定することと、
前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定することと、
前記フィルタリング係数を利用して、前記再構成点群に対応するフィルタリングされた点群を取得することと、
前記フィルタリングされた点群を利用して前記再構成点群を更新することと、を含む、
ことを特徴とする点群復号化方法。 - 前記フィルタリング係数を利用して、前記再構成点群に対応する前記フィルタリングされた点群を取得することの前に、前記方法は、
前記ビットストリームを復号化することにより、前記初期点群に対応するフィルタリング・インデックス・パラメータ、及び前記フィルタリング係数を特定することと、
前記フィルタリング・インデックス・パラメータが前記再構成点群に対してフィルタリング処理を行うことを指示する場合、前記フィルタリング係数を特定することと、をさらに含む、
ことを特徴とする請求項1に記載の方法。 - 前記フィルタリング・インデックス・パラメータの値が0である場合、前記再構成点群に対してフィルタリング処理を行わないと特定し、
前記フィルタリング・インデックス・パラメータの値が0ではない場合、前記再構成点群に対してフィルタリング処理を行うと特定する、
ことを特徴とする請求項2に記載の方法。 - 前記フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して前記再構成点群に対してフィルタリング処理を行うと特定し、
前記フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して前記再構成点群に対してフィルタリング処理を行うと特定し、
前記2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである、
ことを特徴とする請求項3に記載の方法。 - 前記方法は、
前記初期点群における点の属性情報の再構成値を特定し、前記再構成値に基づいて前記初期点群に対応する前記再構成点群を構築すること、をさらに含む、
ことを特徴とする請求項1又は請求項2に記載の方法。 - 前記属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含み、
前記属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含み、
前記属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む、
ことを特徴とする請求項5に記載の方法。 - 前記フィルタリング係数は、前記色コンポーネントに対応するフィルタリング係数ベクトルを含む、
ことを特徴とする請求項6に記載の方法。 - 前記フィルタリング係数を利用して、前記再構成点群に対応する前記フィルタリングされた点群を取得することは、
前記再構成点群における点の色情報の前記色コンポーネントの再構成コンポーネント値と、フィルタタイプとに応じて、前記色コンポーネントに対応する第二属性パラメータを特定することと、
前記色コンポーネントに対応する前記フィルタリング係数ベクトルと、前記第二属性パラメータとに基づいて、前記色コンポーネントに対応する属性情報のフィルタリング値を特定することと、
前記フィルタリング値に基づいて前記フィルタリングされた点群を構築することと、を含む、
ことを特徴とする請求項7に記載の方法。 - 前記フィルタリングフラグ情報は、色コンポーネントの識別情報を含む、
ことを特徴とする請求項1に記載の方法。 - 前記方法は、
前記色コンポーネントの識別情報の値が第一の値である場合、前記色コンポーネントに対してフィルタリング処理を行わないことを指示することと、
前記色コンポーネントの識別情報の値が第二の値である場合、前記色コンポーネントに対してフィルタリング処理を行うことを指示することと、をさらに含む、
ことを特徴とする請求項9に記載の方法。 - 前記方法は、
全ての前記色コンポーネントの識別情報がいずれも前記第一の値である場合、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行わないことを指示すると特定することと、
全ての前記色コンポーネントの識別情報がいずれも前記第一の値であるというわけではない場合、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示すると特定することと、をさらに含む、
ことを特徴とする請求項10に記載の方法。 - 前記第一の値は0であり、前記第二の値は1であり、又は、
前記第一の値はfalseに設定され、前記第二の値はtrueに設定される、
ことを特徴とする請求項10又は請求項11に記載の方法。 - 前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行わないことを指示する場合、前記フィルタリング係数を特定するプロセスを実行せず、又は、
前記フィルタリング・インデックス・パラメータの値が前記再構成点群に対してフィルタリング処理を行わないことを指示する場合、前記フィルタリング係数を特定するプロセスを実行しない、
ことを特徴とする請求項2に記載の方法。 - 前記方法は、
前記初期点群の量子化パラメータを特定することと、
前記量子化パラメータ、前記フィルタリングフラグ情報及び/又は前記フィルタリング・インデックス・パラメータに基づいて、前記再構成点群に対してフィルタリング処理を行うか否かを判断することと、をさらに含む、
ことを特徴とする請求項2に記載の方法。 - 前記方法は、
前記ビットストリームを復号化することにより、最適なフィルタタイプを指示するための情報と、前記最適なフィルタタイプに対応するフィルタリング係数とを特定すること、をさらに含み、
前記最適なフィルタタイプは、少なくとも1つのフィルタタイプのうちの1つである、
ことを特徴とする請求項8に記載の方法。 - 前記フィルタタイプは、フィルタ次数、及び/又はフィルタ形状、及び/又はフィルタ次元数を指示するために用いられる、
ことを特徴とする請求項15に記載の方法。 - 符号器に適用される点群符号化方法であって、前記方法は、
初期点群における点の属性情報の再構成値を特定し、前記再構成値に基づいて前記初期点群に対応する再構成点群を構築することと、
前記初期点群及び前記再構成点群に基づいてフィルタリング係数を特定することと、
前記フィルタリング係数を利用して、前記再構成点群に対応するフィルタリングされた点群を取得することと、
前記再構成点群及び前記フィルタリングされた点群に基づいて前記初期点群に対応するフィルタリングフラグ情報を特定することであって、前記フィルタリングフラグ情報は前記再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられる、特定することと、
前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示する場合、前記フィルタリングフラグ情報及び前記フィルタリング係数をビットストリームに書き込むことと、を含む、
ことを特徴とする点群符号化方法。 - 前記方法は、
前記再構成点群及び前記フィルタリングされた点群に基づいて、前記初期点群に対応するフィルタリング・インデックス・パラメータを特定することと、
前記フィルタリング・インデックス・パラメータの値が前記再構成点群に対してフィルタリング処理を行うことを指示する場合、前記フィルタリング・インデックス・パラメータ及び前記フィルタリング係数を前記ビットストリームに書き込むことと、をさらに含む、
ことを特徴とする請求項17に記載の方法。 - 前記フィルタリング・インデックス・パラメータの値が0である場合、前記再構成点群に対してフィルタリング処理を行わないと特定し、
前記フィルタリング・インデックス・パラメータの値が0ではない場合、前記再構成点群に対してフィルタリング処理を行うと特定する、
ことを特徴とする請求項18に記載の方法。 - 前記フィルタリング・インデックス・パラメータの値が1である場合、1次元フィルタを利用して前記再構成点群に対してフィルタリング処理を行うと特定し、
前記フィルタリング・インデックス・パラメータの値が2である場合、2次元フィルタを利用して前記再構成点群に対してフィルタリング処理を行うと特定し、
前記2次元フィルタは、菱形フィルタ、矩形フィルタのうちのいずれかである、
ことを特徴とする請求項19に記載の方法。 - 前記属性情報がRGB空間の色情報である場合、色コンポーネントはRコンポーネント、Gコンポーネント、Bコンポーネントを含み、
前記属性情報がYUV空間の色情報である場合、色コンポーネントはYコンポーネント、Uコンポーネント、Vコンポーネントを含み、
前記属性情報がYCbCr空間の色情報である場合、色コンポーネントはYコンポーネント、Cbコンポーネント、Crコンポーネントを含む、
ことを特徴とする請求項17又は請求項18に記載の方法。 - 前記初期点群及び前記再構成点群に基づいて前記フィルタリング係数を特定することは、
前記初期点群における点の色情報の前記色コンポーネントの初期コンポーネント値に基づいて、前記色コンポーネントの第一属性パラメータを特定することと、
前記再構成点群における点の色情報の前記色コンポーネントの再構成コンポーネント値と、フィルタタイプとに応じて、前記色コンポーネントの第二属性パラメータを特定することと、
前記第一属性パラメータ及び前記第二属性パラメータに基づいて前記フィルタリング係数を特定することと、を含む、
ことを特徴とする請求項21に記載の方法。 - 前記第一属性パラメータ及び前記第二属性パラメータに基づいて前記フィルタリング係数を特定することは、
前記第一属性パラメータ及び前記第二属性パラメータに基づいて相互相関パラメータを特定することと、
前記第二属性パラメータに基づいて自己相関パラメータを特定することと、
前記相互相関パラメータ及び前記自己相関パラメータに基づいて前記色コンポーネントに対応するフィルタリング係数ベクトルを特定することと、
前記色コンポーネントに対応する前記フィルタリング係数ベクトルを利用して、前記フィルタリング係数を特定することと、を含む、
ことを特徴とする請求項22に記載の方法。 - 前記フィルタリング係数を利用して、前記再構成点群に対応する前記フィルタリングされた点群を取得することは、
前記色コンポーネントに対応する前記フィルタリング係数ベクトルと、前記第二属性パラメータとに基づいて、前記色コンポーネントに対応する属性情報のフィルタリング値を特定することと、
前記色コンポーネントに対応する属性情報のフィルタリング値に基づいて、前記フィルタリングされた点群を構築することと、を含む、
ことを特徴とする請求項23に記載の方法。 - 前記再構成点群及び前記フィルタリングされた点群に基づいて前記初期点群に対応する前記フィルタリングフラグ情報を特定することは、
前記再構成点群における点の前記色コンポーネントの第一性能パラメータと、前記フィルタリングされた点群における点の前記色コンポーネントの第二性能パラメータと、を特定することと、
前記第一性能パラメータ及び前記第二性能パラメータに基づいて、前記色コンポーネントの識別情報を特定することと、
前記色コンポーネントの識別情報に基づいて、前記フィルタリングフラグ情報を特定することと、を含む、
ことを特徴とする請求項21に記載の方法。 - 前記方法は、
前記識別情報の値が第一の値である場合、前記色コンポーネントに対してフィルタリング処理を行わないことを指示することと、
前記識別情報の値が第二の値である場合、前記色コンポーネントに対してフィルタリング処理を行うことを指示することと、をさらに含む、
ことを特徴とする請求項25に記載の方法。 - 前記方法は、
全ての前記色コンポーネントの識別情報がいずれも前記第一の値である場合、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行わないことを指示すると特定することと、
全ての前記色コンポーネントの識別情報がいずれも前記第一の値であるというわけではない場合、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示すると特定することと、をさらに含む、
ことを特徴とする請求項26に記載の方法。 - 前記第一の値は0であり、前記第二の値は1であり、又は、
前記第一の値はfalseに設定され、前記第二の値はtrueに設定される、
ことを特徴とする請求項26又は請求項27に記載の方法。 - 前記方法は、
前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行わないことを指示する場合、前記フィルタリング係数を前記ビットストリームに書き込まないこと、又は、
前記フィルタリング・インデックス・パラメータの値が前記再構成点群に対してフィルタリング処理を行わないことを指示する場合、前記フィルタリング係数を前記ビットストリームに書き込まないこと、をさらに含む、
ことを特徴とする請求項18に記載の方法。 - 前記方法は、
前記初期点群の量子化パラメータを特定することと、
前記量子化パラメータ、前記フィルタリングフラグ情報及び/又は前記フィルタリング・インデックス・パラメータに基づいて、前記再構成点群に対してフィルタリング処理を行うか否かを判断することと、をさらに含む、
ことを特徴とする請求項18に記載の方法。 - 前記方法は、
前記再構成点群における点の色情報の前記色コンポーネントの再構成コンポーネント値と、少なくとも1つのフィルタタイプとに基づいて、前記色コンポーネントに対応する少なくとも1つの第二属性パラメータを構築することにより、前記少なくとも1つのフィルタタイプに対応する少なくとも1組のフィルタリング係数を特定することであって、1つのフィルタタイプは1組のフィルタリング係数に対応する、特定することと、
それに応じて、
前記少なくとも1つのフィルタタイプに基づいて、前記少なくとも1組のフィルタリング係数を利用して、前記再構成点群に対してそれぞれフィルタリング処理を行うことにより、前記少なくとも1つのフィルタタイプに対応する少なくとも1つのフィルタリングされた点群を取得することであって、1つのフィルタタイプは1つのフィルタリングされた点群に対応する、取得することと、
前記少なくとも1つのフィルタリングされた点群に基づいて、前記少なくとも1つのフィルタタイプから最適なフィルタタイプを選択することと、
前記最適なフィルタタイプを指示するための情報と、前記最適なフィルタタイプに対応するフィルタリング係数とを前記ビットストリームに書き込むことと、をさらに含む、
ことを特徴とする請求項22に記載の方法。 - 前記フィルタタイプは、フィルタ次数、及び/又はフィルタ形状、及び/又はフィルタ次元数を指示するために用いられる、
ことを特徴とする請求項31に記載の方法。 - 第一特定部、構築部、及び符号化部を備える符号器であって、
前記第一特定部は、初期点群における点の属性情報の再構成値を特定するように構成されており、
前記構築部は、前記再構成値に基づいて前記初期点群に対応する再構成点群を構築するように構成されており、
前記第一特定部はさらに、前記初期点群及び前記再構成点群に基づいてフィルタリング係数を特定し、前記フィルタリング係数を利用して、前記再構成点群に対応するフィルタリングされた点群を取得し、前記再構成点群及び前記フィルタリングされた点群に基づいて前記初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、前記フィルタリングフラグ情報は前記再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、
前記符号化部は、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示する場合、前記フィルタリングフラグ情報及び前記フィルタリング係数をビットストリームに書き込むように構成されている、
ことを特徴とする符号器。 - 符号器であって、
第一プロセッサと、前記第一プロセッサによって実行可能な命令が記憶された第一メモリとを備え、
前記命令が実行されると、前記第一プロセッサは、請求項17~32のいずれか一項に記載の方法を実行する、
ことを特徴とする符号器。 - 復号化部、第二特定部、及び更新部を備える復号器であって、
前記復号化部は、ビットストリームを復号化するように構成されており、
前記第二特定部は、初期点群に対応するフィルタリングフラグ情報を特定するように構成されており、前記フィルタリングフラグ情報は前記初期点群に対応する再構成点群に対してフィルタリング処理を行うか否かを特定するために用いられ、前記第二特定部はさらに、前記フィルタリングフラグ情報が前記再構成点群に対してフィルタリング処理を行うことを指示する場合、フィルタリング係数を特定し、前記フィルタリング係数を利用して、前記再構成点群に対応するフィルタリングされた点群を取得するように構成されており、
前記更新部は、前記フィルタリングされた点群を利用して前記再構成点群を更新するように構成されている、
ことを特徴とする復号器。 - 復号器であって、
第二プロセッサと、前記第二プロセッサによって実行可能な命令が記憶された第二メモリとを備え、
前記命令が実行されると、前記第二プロセッサは、請求項1~16のいずれか一項に記載の方法を実行する、
ことを特徴とする復号器。 - コンピュータ記憶媒体であって、
前記コンピュータ記憶媒体にコンピュータプログラムが記憶されており、
前記コンピュータプログラムが第一プロセッサによって実行されると、請求項17~32のいずれか一項に記載の方法を実行し、又は、前記コンピュータプログラムが第二プロセッサによって実行されると、請求項1~16のいずれか一項に記載の方法を実行する、
ことを特徴とするコンピュータ記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/091960 WO2022233004A1 (zh) | 2021-05-06 | 2021-05-06 | 点云编解码方法、编码器、解码器及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024518154A true JP2024518154A (ja) | 2024-04-25 |
Family
ID=83932573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023567258A Pending JP2024518154A (ja) | 2021-05-06 | 2021-05-06 | 点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240062427A1 (ja) |
JP (1) | JP2024518154A (ja) |
CN (1) | CN117223031A (ja) |
WO (1) | WO2022233004A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408604A (zh) * | 2016-09-22 | 2017-02-15 | 北京数字绿土科技有限公司 | 一种点云数据的滤波方法及装置 |
CN111327906B (zh) * | 2018-12-13 | 2022-08-09 | 华为技术有限公司 | 点云编解码方法和编解码器 |
US10904579B2 (en) * | 2019-01-09 | 2021-01-26 | Tencent America LLC | Method and apparatus for annealing iterative geometry smoothing |
CN111435551B (zh) * | 2019-01-15 | 2023-01-13 | 华为技术有限公司 | 点云滤波方法、装置及存储介质 |
CN110458772B (zh) * | 2019-07-30 | 2022-11-15 | 五邑大学 | 一种基于图像处理的点云滤波方法、装置和存储介质 |
CN110415342B (zh) * | 2019-08-02 | 2023-04-18 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
-
2021
- 2021-05-06 JP JP2023567258A patent/JP2024518154A/ja active Pending
- 2021-05-06 CN CN202180097447.3A patent/CN117223031A/zh active Pending
- 2021-05-06 WO PCT/CN2021/091960 patent/WO2022233004A1/zh active Application Filing
-
2023
- 2023-10-30 US US18/497,715 patent/US20240062427A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117223031A (zh) | 2023-12-12 |
US20240062427A1 (en) | 2024-02-22 |
WO2022233004A1 (zh) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107005712B (zh) | 使用优化函数执行基于图形的预测的方法和装置 | |
CN104244007B (zh) | 一种图像编码方法和装置及解码方法和装置 | |
CN108028941B (zh) | 用于通过超像素编码和解码数字图像的方法和装置 | |
TWI554088B (zh) | 使用非對稱內插濾波器的內插影像用的方法與裝置 | |
TW202147849A (zh) | 點雲壓縮方法、編碼器、解碼器及儲存媒介 | |
US11790563B2 (en) | Point cloud model reconstruction method, encoder, and decoder | |
TW202315408A (zh) | 以區塊為基礎之預測技術 | |
WO2021062772A1 (zh) | 预测方法、编码器、解码器及计算机存储介质 | |
CN107113426B (zh) | 使用广义图形参数执行基于图形的变换的方法和设备 | |
JP2022544438A (ja) | ループ内フィルタリングの方法及びループ内フィルタリングの装置 | |
CN117136540A (zh) | 残差编码方法及设备、视频编码方法及设备、存储介质 | |
US20220239901A1 (en) | Video picture component prediction method and apparatus, and computer storage medium | |
JP4350504B2 (ja) | メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム | |
Chou et al. | Dynamic polygon clouds: Representation and compression for VR/AR | |
CN112929656B (zh) | 滤波方法、装置及设备 | |
WO2021138788A1 (zh) | 帧内预测方法、装置、编码器、解码器、及存储介质 | |
US20230237704A1 (en) | Point cloud decoding and encoding method, and decoder, encoder and encoding and decoding system | |
WO2021062771A1 (zh) | 颜色分量预测方法、编码器、解码器及计算机存储介质 | |
JP2024518154A (ja) | 点群符号化・復号化方法、符号器、復号器及びコンピュータ記憶媒体 | |
WO2022120594A1 (zh) | 点云编解码方法、编码器、解码器及计算机存储介质 | |
JP7467687B2 (ja) | 符号化・復号方法及び装置 | |
CN112954350B (zh) | 一种基于帧分类的视频后处理优化方法及装置 | |
WO2021189262A1 (zh) | 帧内预测方法、装置、编码器、解码器、及存储介质 | |
KR101362545B1 (ko) | 비디오 시퀀스에서 가변 외형 움직임 추정 | |
WO2017135661A1 (ko) | 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240313 |