CN108632607B - 一种基于多角度自适应帧内预测的点云属性压缩方法 - Google Patents

一种基于多角度自适应帧内预测的点云属性压缩方法 Download PDF

Info

Publication number
CN108632607B
CN108632607B CN201810435402.2A CN201810435402A CN108632607B CN 108632607 B CN108632607 B CN 108632607B CN 201810435402 A CN201810435402 A CN 201810435402A CN 108632607 B CN108632607 B CN 108632607B
Authority
CN
China
Prior art keywords
prediction
block
cloud
prediction mode
encoding block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810435402.2A
Other languages
English (en)
Other versions
CN108632607A (zh
Inventor
李革
邵薏婷
魏红莲
王荣刚
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201810435402.2A priority Critical patent/CN108632607B/zh
Priority to US16/626,912 priority patent/US10939123B2/en
Priority to PCT/CN2018/086791 priority patent/WO2019213986A1/zh
Publication of CN108632607A publication Critical patent/CN108632607A/zh
Application granted granted Critical
Publication of CN108632607B publication Critical patent/CN108632607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云属性信息,提出一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；包括：(1)点云的输入；(2)点云属性的颜色空间转换；(3)采用K‑dimension(KD)树划分点云得到编码块；(4)基于块结构的多角度自适应帧内预测；(5)帧内预测模式决策；(6)变换、均匀量化和熵编码。本发明使用KD树对点云进行编码块的划分，并按照广度优先遍历的顺序对编码块进行编号，根据编号顺序使用具有六种预测模式的点云帧内预测方案对编码块进行逐一处理，由模式决策选出最佳预测模式，再对预测残差进行变换、量化和熵编码处理，以达到点云属性压缩的最佳性能。

Description

一种基于多角度自适应帧内预测的点云属性压缩方法
技术领域
本发明属于点云数据处理技术领域，涉及点云数据压缩方法，尤其涉及一种基于多角度自适应帧内预测的点云属性压缩的方法，我们将这种帧内预测命名为“多角度自适应帧内预测”。
背景技术
随着人们对三维视觉的需求日益增加，三维点云作为现实世界数字化的一种重要表现形式，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、纹理等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。
点云压缩主要分为几何压缩和属性压缩，现有的点云属性压缩框架主要包括以下几种：
一、基于八叉树分解和DCT的方法：该方法先用八叉树对点云进行空间分解得到编码块，然后对树进行深度优先遍历，将遍历的结点颜色值按照蛇形的顺序写入二维的JPEG表，再利用现有的JPEG编码器对获得的点云颜色表进行编码，其中JPEG编码器使用的是DCT。该方法利用现有的编码器，计算复杂度低，但并未充分利用点与点之间的空间相关性，在压缩性能上有待提高；
二、基于八叉树分解和图变换的方法：该方法先用八叉树对点云进行空间分解，划分到特定层次得到变换块；在每个变换块内形成图，将沿着任意坐标轴的距离不超过1的两点用一条边连接起来，边的权重与欧氏距离成反比；再对图中结点的属性信息进行图变换。该方法的压缩性能佳；但运算复杂度较高，其构图方式可能会带来子图问题，影响图变换的效率，仍有改善的空间；
三、基于KD树分解和图变换的方法：该方法先用KD树对点云进行空间分解，划分到一定深度得到变换块，其中每个变换块内所包含的点数大致相同：在变换块内，每两点用一条边连接起来，边的权重与欧氏距离有关，设定的边欧式距离阈值决定图的稀疏度；然后再对图内点的属性信息进行图变换。该方法彻底解决了子图问题，同时在压缩性能方面较前两种方法都有较大的提升，但运算复杂度较高，性能仍待改善。
发明内容
为了克服上述现有技术的不足，在考虑计算复杂度的条件下，进一步改善点云属性的压缩性能，本发明提供一种基于多角度自适应帧内预测的点云属性压缩的方法，通过使用一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能。
此发明提出的六种预测模式基本涵盖了所有可预测方向，提供了一套完备的多角度自适应帧内预测方法。
本发明提供的技术方案是：
一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云数据，使用KD树对点云进行编码块的划分，并按照广度优先遍历的顺序对编码块进行编号，根据编号顺序使用具有六种预测模式的点云帧内预测方案对编码块进行逐一处理，由模式决策选出最佳预测模式，再对预测残差进行变换、量化和熵编码处理，以达到点云属性压缩的最佳性能；包括如下步骤：
1)点云属性的颜色空间转换：读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；
2)采用KD树划分点云得到编码块：根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；
KD树划分的最后一层为叶子节点，所得到的块即为点云的编码块；编码块的上一层为宏块层，每个宏块是两个叶子结点的父节点。按照广度遍历的顺序对所有编码块进行编号，该编号将作为编码块后期处理的顺序；
3)基于块结构的帧内预测：根据编码块的编号顺序依次对编码块进行帧内预测，共六种预测模式。
预测模式一是使用数值128作为当前块b2i的Y亮度分量的预测参考值，U、V色度分量不预测，称为“直流模式”；
预测模式二是用当前块b2i的前一个块b2i-1重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式三是用当前块b2i的前两个块b2i-2重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式四是用当前块b2i的前三个块b2i-3重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式二、模式三、模式四这三种预测模式为KD树叶子节点之间的多角度预测。
预测模式五是使用当前块b2i在KD树上父节点Mbi的前一个父节点Mbi-1作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；
预测模式六是使用当前块b2i在KD树上父节点Mbi的前两个父节点Mbi-2作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；
这两种预测模式为KD树叶子节点与父节点之间跨层次的多角度预测，提供了更灵活的预测方案，有利于编码块内信息冗余的去除。
对第一个编码块b1进行帧内预测时，只能使用预测模式一；对第二个编码块b2进行帧内预测时，可以使用预测模式一和预测模式二；对第三个编码块b3进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三和预测模式五；对第四个编码块b4进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三、预测模式四和预测模式五；对编号k≥5的编码块bk进行帧内预测时，六种预测模式均可采用；
4)帧内预测模式决策：对编码块bk(k≥2)的颜色分量Yk、Uk、Vk预测需要进行模式决策选出最佳的预测模式，而第一个编码块不需要进行模式决策；使用预测残差变换系数的绝对值和SATD(Sum of Absolute Transformed Difference)来估计预测模式的代价，其中使用离散余弦变换DCT(Discrete cosine transform)对预测残差进行变换处理；SATD值越小，代表预测模式代价越小，预测性能越好，具有最小SATD的模式将被选择为当前块的预测模式；
5)点云属性压缩码流的生成：按照编码顺序处理所有编码块，对预测后残差进行DCT变换、均匀量化和熵编码，得到点云属性压缩的最终码流；
上述步骤1)所述的颜色空间转换，其具体过程如下：
(1-1)点云中的点pk具有RGB颜色空间的颜色值为rk、gk、bk，通过颜色空间转换矩阵将RGB转换到YUV颜色空间，颜色值为yk、uk、vk；
(1-2)颜色空间转换的数学表达式为:
上述步骤2)所述的编码块的划分和编号，其具体过程如下：KD树划分时，选择点的分布方差最大的坐标轴作为划分轴，充分考虑了变换块内各点的相关性；同时把划分轴上坐标是中位值的点作为划分点，使变换块内点的数量基本相同。设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个编码块；对所有的编码块按照广度遍历的顺序进行编号
上述步骤3)所述的基于编码块顺序的帧内预测，编码块的预测参考值如表1所示：
表1编码块帧内预测的颜色分量参考值
上述步骤4)中所述的帧内预测的模式决策，其具体过程如下：编码块bk(k≠1)的颜色分量Yk、Uk、Vk的预测参考值分别为Yk_ref、Uk_ref、Vk_ref，预测残差bk(res)由式2计算可得，预测模式的代价SATD由式3计算可得，选择SATD最小的模式作为最佳预测模式：
bk(res)＝(Yk-Yk_ref)+(Uk-Uk_ref)+(Vk-Vk_ref) (式2)
SATD＝sum(abs(DCT(bk(res)))) (式3)。
上述步骤5)中所述的点云属性压缩码流的生成，其具体过程如下：
(5-1)经过上述步骤1)至4)的处理，得到带编号的编码块预测残差和其预测模式信息；对预测残差进行DCT变换和均匀量化，二值化后得到属性信息的码流，再结合编码块的预测模式信息，经过熵编码得到最终的点云属性压缩码流；
(5-2)点云属性信息的码流点云属性信息的码流由压缩头信息和编码块信息两大部分组成。其中，头信息包括量化步长等；编码块信息流以编码块为单位，按照编码块的顺序排列，每个块内包括编码块的预测模式信息和颜色残差信息；
(5-3)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to NoiseRatio)来衡量，其中码率由码字总比特数除以点云的点数可得，单位是bpp(bits perpoint)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
上述方法使用帧内预测减少编码块之间的信息冗余，提供六种预测模式并由模式决策选出最佳模式，再使用传统DCT变换对点云属性进行压缩，计算复杂度低，属性压缩效率高，实现更优的点云压缩性能。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于多角度自适应帧内预测的点云属性压缩方法，具有以下技术优势：
(一)提出一种新的帧内预测方案，支持六种预测模式，有效地降低了编码块之间的属性信息冗余。
(二)处理不同编码块时，通过模式决策选出最佳的预测模式，实现点云压缩的最佳压缩性能。
(三)预测模式中支持直流预测模式、三种KD树叶子节点之间的多角度预测以及两种KD树叶子节点与父节点之间跨层次的多角度预测；这一灵活的预测方案有利于不同特点的编码块内信息冗余的去除。
附图说明
图1是本发明提供方法的流程框图。
图2是点云的KD树划分及编码块编号的示例图。
图3a、b、c、d和e是不同编号的编码块可选预测模式示意图，其中：
图3a：第一个编码块预测模式是模式一；
图3b：第二个编码块可选预测模式为模式一和模式二；
图3c：第三个编码块可选模式为模式一、模式二、模式三和模式五；
图3d：第四个编码块可选模式为模式一、模式二、模式三、模式四和模式五；
图3e：编号大于等于五的所有编码块六种预测模式均可选。
图4是点云属性信息压缩后的码流结构示例图。
图5a、b和c是本发明方法与现有传统方法的压缩性能对比图，其中，
图5a：测试longdress_vox10_1300.ply；
图5b：测试Shiva35.ply；
图5c：测试Queen_frame_0200.ply。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明的一种基于多角度自适应帧内预测的点云属性压缩的方法，针对点云数据，提出一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；图1是本发明方法的流程框图。图4是点云属性信息压缩后的码流结构示例图。
以下针对MPEG点云压缩工作组中的官方点云数据集longdress_vox10_1300.ply、Shiva35.ply和Queen_frame_0200.ply，采用本发明方法进行点云属性压缩，如图1所示，具体实施步骤为：
(1)点云属性的颜色空间转换：读入待处理的点云属性信息，点云中的点pk具有RGB颜色空间的颜色值为rk、gk、bk，通过颜色空间转换矩阵将RGB转换到YUV颜色空间，颜色值为yk、uk、vk，如式1所示：
点云longdress_vox10_1300.ply的第一个点p1的RGB颜色值为(102,94,87)，经过颜色转换矩阵的处理得到YUV颜色值为(54.4128,-2.7926,50.3798)。
点云Shiva35.ply的第一个点p1的RGB颜色值为(125,88,54)，经过颜色转换矩阵的处理得到YUV颜色值为(43.4902,30.9580,50.5518)。
点云Queen_frame_0200.ply的第一个点p1的RGB颜色值为(102,80,71)，经过颜色转换矩阵的处理得到YUV颜色值为(48.0172,9.8702,44.1126)。
(2)采用KD树划分点云得到编码块：KD树实质上是一种二叉树，对该点云进行KD树的划分时，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，在该轴上选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度n，划分完成后的KD树及带编号的编码块如图2所示。最终，树划分后得到2n个编码块，每两个编码块共用一个父节点，例如，编码块b2i-1和编码块b2i的父节点为Mbi.
点云longdress_vox10_1300.ply共有857966个点，KD树划分深度d设为13，经过划分后块内点的数量为104或105。
点云Shiva35.ply共有1010591个点，KD树划分深度d设为13，经过划分后块内点的数量为123或124。
点云Queen_frame_0200.ply共有1000993个点，KD树划分深度d设为13，经过划分后块内点的数量为122或123。
(3)基于块结构的帧内预测3：点云经过步骤(2)的空间划分，将所有的点按照空间位置关系划分成一定数量的编码块，编码块的顺序由树划分的广度遍历顺序决定，再根据编号顺序依次对编码块进行帧内预测。点云longdress_vox10_1300.ply、Shiva35.ply和Queen_frame_0200.ply均有8192个编码块，每个块内的所有点可以看成一个类。
(3-1)对第一个编码块b1进行帧内预测时，使用128作为Y分量的预测参考值；
例如，点云longdress_vox10_1300.ply第一个编码块b1的第一个点RGB颜色值为(131,96,72)，经过颜色转换后YUV颜色值为(52.85,23.99,54.16)，经过颜色预测后残差值为(-75.15,23.99,54.16)。
(3-2)对第二个编码b2进行帧内预测时，预测模式一是使用128作为Y分量的预测参考值；预测模式二是用前一个块b1重构后所有点Y、U、V分量的均值对当前块内点的Yi、Ui、Vi分量进行预测。
(3-3)对第三个编码b3进行帧内预测时，预测模式一是使用128作为Y分量的预测参考值，；预测模式二是用前一个块b2重构后所有点Y、U、V分量的均值对当前块内点的Yi、Ui、Vi分量；预测模式三是用前两个块b1重构后所有点Y、U、V分量的均值对当前块内点的Yi、Ui、Vi分量；预测模式五是使用当前块b3的父节点Mb2的前向宏块Mb1重构后所有点Y、U、V分量的均值作为当前块b3的Yk、Uk、Vk分量预测的参考值；
(3-4)对第四个编码b4进行帧内预测时，预测模式一是使用128作为Y分量的预测参考值，；预测模式二是用前一个块b3重构后所有点Y、U、V分量的均值对Yi、Ui、Vi进行预测；预测模式三是用前两个块bi-1重构后所有点Y、U、V分量的均值对Yk、Uk、Vk进行预测；预测模式四是使用前三个块重构后所有点Y、U、V分量的均值分别对Yk、Uk、Vk进行预测；预测模式五是使用当前块b4的父节点Mb2的前向宏块Mb1重构后所有点Y、U、V分量的均值作为当前块b4的Yk、Uk、Vk分量预测的参考值；
(3-5)对bk(k≥5)编码块进行帧内预测时，预测模式一是使用128作为Y分量的预测参考值，；预测模式二是用前一个块bi重构后所有点Y、U、V分量的均值Yi、Ui、Vi对Yk、Uk、Vk进行预测；预测模式三是用前两个块bi-1重构后所有点Y、U、V分量的均值Yi-1、Ui-1、Vi-1对Yk、Uk、Vk进行预测；预测模式四是使用前三个块重构后所有点Y、U、V分量的均值Yi-2、Ui-2、Vi-2分别对Yk、Uk、Vk进行预测；预测模式五是使用当前块bk父节点的前向宏块重构后所有点Y、U、V分量的均值作为当前块的Yk、Uk、Vk分量预测的参考值；预测模式六是使用使用当前块bk父节点的前向第二个宏块重构后所有点Y、U、V分量的均值作为当前块的Yk、Uk、Vk分量预测的参考值；
(4)帧内预测模式决策：对编码块bk(k≠1)的颜色分量Yk、Uk、Vk预测有多种模式，需要估计每种模式的代价来进行模式决策，选出最佳的预测模式；使用SATD来估计预测模式的代价，其中使用DCT对预测残差进行变换处理，具有最小SATD的模式将被选择为当前块的预测模式。
(5)点云属性压缩码流的生成：针对点云longdress_vox10_1300.ply的8192个编码块、Shiva35.ply的8192个编码块、Queen_frame_0200.ply的8192个编码块，将块内的颜色信息依次经过预测、DCT变换、量化和熵编码处理，再结合预测模式和变换模式的码流信息，按照编码块的顺序写入码流文件中，最终码流文件的结构如图3a、b、c、d和e所示。点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB。
为了验证本发明的一种基于多角度自适应帧内预测的点云属性压缩的方法的效果，我们使用上述3个数据集longdress_vox10_1300.ply、Shiva35.ply、Queen_frame_0200.ply进行实验，在压缩性能上与现有的方法对比结果如图5a、b和c所示。
从图5a、b和c可以看出，在测试的三类典型的点云序列上，本发明的方法在相同码率点下相对未采用预测的方法均有1～3dB的增益，性能优势明显。本方法使用KD树这一简单的划分方式，结合多角度自适应帧内预测这一高效的去冗余方案，压缩性能的优势明显，优点突出。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云属性信息，提出一种新的基于块结构的帧内预测方案，提供六种预测模式以减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；包括如下步骤：
1)点云属性的颜色空间转换：
读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；
2)采用KD树划分点云得到编码块，并按照广度遍历顺序对编码块进行编号：
读入点云的几何信息，根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；
KD树划分的最后一层为叶子节点，所得到的块即为点云的编码块；编码块的上一层为宏块层，每个宏块是两个叶子结点的父节点，按照广度遍历的顺序对所有编码块进行编号，该编号将作为编码块后期处理的顺序；
3)基于编号顺序对点云编码块的属性信息进行多角度自适应帧内预测，有六种预测模式：
预测模式一是使用数值128作为当前块b2i的Y亮度分量的预测参考值，U、V色度分量不预测，称为“直流模式”；
预测模式二是用当前块b2i的前一个块b2i-1重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式三是用当前块b2i的前两个块b2i-2重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式四是用当前块b2i的前三个块b2i-3重构后所有点Y、U、V分量的均值 作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；
预测模式二、模式三、模式四这三种预测模式为KD树叶子节点之间的多角度预测；
预测模式五是使用当前块b2i在KD树上父节点Mbi的前一个父节点Mbi-1作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；
预测模式六是使用当前块b2i在KD树上父节点Mbi的前两个父节点Mbi-2作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；
这两种预测模式为KD树叶子节点与父节点之间跨层次的多角度预测，提供了更灵活的预测方案，有利于编码块内信息冗余的去除；
对第一个编码块b1进行帧内预测时，只能使用预测模式一；对第二个编码块b2进行帧内预测时，可以使用预测模式一和预测模式二；对第三个编码块b3进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三和预测模式五；对第四个编码块b4进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三、预测模式四和预测模式五；对编号k≥5的编码块bk进行帧内预测时，六种预测模式均可采用；
4)帧内预测的模式决策：
对编码块bk(k≥2)的颜色分量Yk、Uk、Vk预测需要进行模式决策选出最佳的预测模式，而第一个编码块不需要进行模式决策；使用预测残差变换系数的绝对值和SATD(Sum ofAbsolute Transformed Difference)来估计预测模式的代价，其中使用离散余弦变换DCT(Discrete cosine transform)对预测残差进行变换处理；SATD值越小，编码该预测残差系数所需码字越少，模式引入的失真越小，代表预测模式代价越小，预测性能越好；所以，具有最小SATD的模式将被选择为当前块的预测模式；
5)点云属性压缩码流的生成：按照编码顺序处理所有编码块，对预测后残差进行DCT变换、均匀量化和熵编码，得到点云属性压缩的最终码流。
2.如权利要求1所述点云属性压缩方法，其特征是，步骤1)中颜色空间转换的具体过程是：点云中的点pk具有RGB颜色空间的颜色值为rk、gk、bk，通过式1转换到YUV颜色空间，颜色值为yk、uk、vk：
3.如权利要求1所述点云属性压缩方法，其特征是，步骤2)中KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个编码块；对所有的编码块按照广度遍历的顺序进行编号
4.如权利要求1所述点云属性压缩方法，其特征是，步骤3)中对编码块进行帧内预测所用的参考值如下表1所示：
表1编码块帧内预测的颜色分量参考值
5.如权利要求1所述点云属性压缩方法，其特征是，步骤4)中编码块bk(k≠1)的颜色分量Yk、Uk、Vk的预测参考值分别为Yk_ref、Uk_ref、Vk_ref，预测残差bk(res)由式2计算可得，预测模式的代价SATD由式3计算可得，具体过程如下：
bk(res)＝(Yk-Yk_ref)+(Uk-Uk_ref)+(Vk-Vk_ref) (式2)
SATD＝sum(abs(DCT(bk(res)))) (式3)。
6.如权利要求1所述点云属性压缩方法，其特征是，步骤5)中具体细节如下：
(5-1)经过步骤1)至4)的处理，得到带编号的编码块预测残差和其预测模式信息；对预测残差进行DCT变换和均匀量化，二值化后得到属性信息的码流，再结合编码块的预测模式信息，经过熵编码得到最终的点云属性压缩码流；
(5-2)点云属性信息的码流点云属性信息的码流由压缩头信息和编码块信息两大部分组成，其中，头信息包括量化步长等；编码块信息流以编码块为单位，按照编码块的顺序排列，每个块内包括编码块的预测模式信息和颜色残差信息；
(5-3)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
CN201810435402.2A 2018-05-09 2018-05-09 一种基于多角度自适应帧内预测的点云属性压缩方法 Active CN108632607B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810435402.2A CN108632607B (zh) 2018-05-09 2018-05-09 一种基于多角度自适应帧内预测的点云属性压缩方法
US16/626,912 US10939123B2 (en) 2018-05-09 2018-05-15 Multi-angle adaptive intra-frame prediction-based point cloud attribute compression method
PCT/CN2018/086791 WO2019213986A1 (zh) 2018-05-09 2018-05-15 一种基于多角度自适应帧内预测的点云属性压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810435402.2A CN108632607B (zh) 2018-05-09 2018-05-09 一种基于多角度自适应帧内预测的点云属性压缩方法

Publications (2)

Publication Number Publication Date
CN108632607A CN108632607A (zh) 2018-10-09
CN108632607B true CN108632607B (zh) 2019-06-21

Family

ID=63696048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810435402.2A Active CN108632607B (zh) 2018-05-09 2018-05-09 一种基于多角度自适应帧内预测的点云属性压缩方法

Country Status (3)

Country Link
US (1) US10939123B2 (zh)
CN (1) CN108632607B (zh)
WO (1) WO2019213986A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021067884A1 (en) * 2019-10-04 2021-04-08 Apple Inc. Block-based predictive coding for point cloud compression

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
BR112020024566A2 (pt) * 2018-06-14 2021-03-09 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
MX2020013273A (es) * 2018-06-15 2021-02-18 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN109302607A (zh) * 2018-10-26 2019-02-01 西安科锐盛创新科技有限公司 基于图像场景的多预测方法及其***
CN111327902B (zh) 2018-12-13 2022-11-22 华为技术有限公司 点云的编解码方法及装置
CN111247798B (zh) * 2019-01-10 2022-03-15 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
CN111479114B (zh) * 2019-01-23 2022-07-22 华为技术有限公司 点云的编解码方法及装置
CN112262578B (zh) * 2019-03-21 2023-07-25 深圳市大疆创新科技有限公司 点云属性编码方法和装置以及点云属性解码方法和装置
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN111866484B (zh) * 2019-04-30 2023-06-20 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
CN111699697B (zh) * 2019-06-14 2023-07-11 深圳市大疆创新科技有限公司 一种用于点云处理、解码的方法、设备及存储介质
JP7330306B2 (ja) 2019-06-30 2023-08-21 オッポ広東移動通信有限公司 変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
WO2021062771A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 颜色分量预测方法、编码器、解码器及计算机存储介质
CN112352431B (zh) * 2019-09-30 2023-01-10 浙江大学 一种数据编码、解码方法、设备及存储介质
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
KR20220123258A (ko) 2020-01-06 2022-09-06 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 방법, 장치, 인코더, 디코더 및 저장 매체
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11710259B2 (en) * 2020-02-10 2023-07-25 Tencent America LLC Predictive tree coding for point cloud coding
JP2023525207A (ja) * 2020-03-24 2023-06-15 オッポ広東移動通信有限公司 イントラ予測方法、装置、エンコーダ、デコーダ、及び記憶媒体
CN111405284B (zh) * 2020-03-30 2022-05-31 北京大学深圳研究生院 一种基于点云密度的属性预测方法及设备
WO2021215811A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
CN111953998B (zh) * 2020-08-16 2022-11-11 西安电子科技大学 基于dct变换的点云属性编码及解码方法、装置及***
CN112153382B (zh) * 2020-09-21 2021-07-20 南华大学 动态3d点云压缩快速cu划分方法、设备及存储介质
CN112256652B (zh) * 2020-10-19 2022-09-16 济南大学 一种三维点云属性压缩方法、***及终端
US11611775B2 (en) * 2021-01-19 2023-03-21 Tencent America LLC Method and apparatus for point cloud coding
CN114913252A (zh) * 2021-02-08 2022-08-16 荣耀终端有限公司 点云数据的预处理方法及点云几何编解码方法、装置
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
EP4071717A1 (en) * 2021-04-08 2022-10-12 Beijing Xiaomi Mobile Software Co., Ltd. Method of encoding point cloud geometry data captured by a spinning sensors head
CN115412716B (zh) * 2021-05-26 2024-06-04 荣耀终端有限公司 一种点云坐标转换残差的编解码方法及装置
CN115474046A (zh) * 2021-06-11 2022-12-13 维沃移动通信有限公司 点云属性信息编码方法、解码方法、装置及相关设备
WO2024051617A1 (en) * 2022-09-09 2024-03-14 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700402A (zh) * 2015-02-06 2015-06-10 北京大学 基于场景三维点云的视觉定位方法及装置
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
WO2017126314A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Corporation Method for compressing point cloud
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114467A (ko) 2009-04-15 2010-10-25 한국전자통신연구원 3차원 컨텐츠 데이터를 인코딩/디코딩하기 위한 방법 및 장치
US10499054B2 (en) * 2017-10-12 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. System and method for inter-frame predictive compression for point clouds
US10789733B2 (en) * 2017-11-22 2020-09-29 Apple Inc. Point cloud compression with multi-layer projection
CN111727460A (zh) * 2018-01-26 2020-09-29 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700402A (zh) * 2015-02-06 2015-06-10 北京大学 基于场景三维点云的视觉定位方法及装置
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
WO2017126314A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Corporation Method for compressing point cloud
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021067884A1 (en) * 2019-10-04 2021-04-08 Apple Inc. Block-based predictive coding for point cloud compression

Also Published As

Publication number Publication date
CN108632607A (zh) 2018-10-09
US10939123B2 (en) 2021-03-02
WO2019213986A1 (zh) 2019-11-14
US20200137399A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN108632607B (zh) 一种基于多角度自适应帧内预测的点云属性压缩方法
CN108322742B (zh) 一种基于帧内预测的点云属性压缩方法
CN108632621B (zh) 一种基于层次划分的点云属性压缩方法
CN108335335B (zh) 一种基于增强图变换的点云属性压缩方法
CN108833927B (zh) 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN110418135B (zh) 一种基于邻居的权重优化的点云帧内预测方法及设备
Liu et al. A comprehensive study and comparison of core technologies for MPEG 3-D point cloud compression
CN110572655B (zh) 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN109889840B (zh) 点云编码和解码的方法、编码设备和解码设备
CN112218079B (zh) 一种基于空间顺序的点云分层方法、点云预测方法及设备
Sun et al. A novel point cloud compression algorithm based on clustering
Huang et al. Octree-Based Progressive Geometry Coding of Point Clouds.
US10552989B2 (en) Point cloud attribute compression method based on KD tree and optimized graph transformation
Shao et al. Attribute compression of 3D point clouds using Laplacian sparsity optimized graph transform
CN102948145B (zh) 基于根据树结构确定的编码单元的视频编码方法和视频编码设备以及基于根据树结构确定的编码单元的视频解码方法和视频解码设备
CN102598663A (zh) 通过使用旋转变换对图像编码和解码的方法和设备
CN106878737A (zh) 高效视频编码中的运动估计加速方法
Mammou et al. Video and subdivision based mesh coding
CN105654119B (zh) 一种字典优化方法
KR20230079188A (ko) 포인트 클라우드 레이어링 방법 및 디코더, 인코더, 저장 매체
Ahn et al. Progressive compression of 3D triangular meshes using topology-based Karhunen-Loève transform
Wei et al. Enhanced intra prediction scheme in point cloud attribute compression
CN108989819A (zh) 各模式采用各自相应色彩空间的数据压缩方法和装置
CN114025146B (zh) 基于场景流网络与时间熵模型的动态点云几何压缩方法
Zhang et al. Fast Mode Decision for Low Complexity Depth Coding in3D-HEVC System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant