CN110363822A - 一种3d点云压缩方法 - Google Patents

Abstract

本发明提供了一种3D点云压缩编码方法，该方法包含一种针对点云的分层聚类算法，用于将点云中的点划分为具有不同属性的类，同一类中的点，各种属性都相似；包含一种将点云映射为二维图像的最优映射算法，从而利用高效的图像编码方法压缩点云数据。本发明将点云映射成规则的二维图像，从而利用图像压缩技术来压缩点云数据，大大提高点云压缩算法的性能和效率。

Description

一种3D点云压缩方法

技术领域

本发明涉及3D媒体压缩编码领域，更具体地，涉及一种3D点云压缩方法。

背景技术

随着三维数据采集设备的快速发展，用3D点云描述三维物体、重现三维场景变得越来越方便快捷。3D点云是一种新的数据格式，用于记录和表示三维物体的表面信息。点云数据是空间中一系列点的集合，这些点包含三维坐标和一个或多个属性信息，如颜色、法向量、反射强度等。与其他三维数据格式相比，点云具有获取方便、处理简单等优势，因此被广泛地应用于各种新兴领域，如增强现实(AR)、自动驾驶和3D打印等。但是，与图像、视频等传统数据形式相比，点云的数据量非常大。一方面，点云数据的维度较高，常用的包含颜色信息的点云是六维数据，如果加入其它属性，维度更高。另一方面，点云所包含的点数也很大。例如，为了真实的描述三维物体，营造沉浸式体验，应用于AR中的点云，其点数通常为百万量级，甚至更高。如此巨大的数据量，给存储、处理和传输都带来了极大的挑战，同时，也限制了点云在对实时性要求较高的领域中的应用。因此，在保障点云数据特征和内在信息的基础上，尽可能地压缩数据量是进一步处理点云数据的必然选择。

目前被广泛应用的点云压缩技术多数是基于八叉树空间分解实现的。利用八叉树结构对点云所在的三维空间进行分解，并用每个子节点所代表空间的中心近似代替其所包含点的位置，根据八叉树结构和相应的包围盒信息可以计算出近似后的点云的几何结构。因此，通过对八叉树结构进行编码即可实现点云压缩。这种方法在一定程度上解决了问题，降低了数据量。但是，该方法不可避免的引入了几何结构的失真，因此不适用于3D打印、文物修复等对精度要求较高或者无损压缩的应用。另外，该方法的压缩率还远远不够，有待提升。

此外，图像压缩经过几十年的发展技术已经非常成熟，许多算法简单高效，如果运用到点云压缩中，将大大提高点云压缩算法的性能和效率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于分层聚类和映射的3D点云压缩方法，从而解决现有方法中压缩率低，难以实现无损压缩等问题。

本发明提供了一种3D点云压缩编码方法，该方法包含一种针对点云的分层聚类算法，用于将点云中的点划分为具有不同属性的类，同一类中的点，各种属性都相似；包含一种将点云(划分后的类)映射为二维图像的最优映射算法，从而利用高效的图像编码方法压缩点云数据，具体地，

一种3D点云压缩编码方法，其特征在于，包括如下步骤：

步骤S1：将点云中的点分成若干类，并使得每个类中的点无论是空间坐标还是颜色属性都很相近；

步骤S2：然后再分别对每个类进行压缩编码。

上述技术方案中，所述步骤S1通过不断将中心点移动到概率密度更高的区域来寻找属于同一类的数据点，其具体包括如下步骤：

步骤S101：输入原始点云数据，在未被标记的点中随机选取一个点作为初始中心点m_n；

步骤S102：以m_n为中心点创建一个类C_i；

步骤S103：搜索所有输入数据点中与m_n之间的距离小于半径r的所有邻域点，将这些点标记为已访问，每个点可被多次访问，并更新每个点被类C_i访问的次数；

步骤S104：计算m_n与所有搜索出的邻域点的加权质心m_n+1，并将中心点更新为m_n+1；

步骤S105：如果m_n+1和m_n之间的距离大于设定的阈值，则返回步骤(3)；否则，迭代收敛，进入下一步；

步骤S106：如果收敛后的中心点与已存在类的中心点的距离小于设定的阈值，则将其与已存在的类合并；

步骤S107：重复以上步骤直到所有点都被标记；

步骤S108：读取每个点被每个类访问的次数，取访问次数最多的类作为该点的类；

步骤S109：输出分类后的点云数据。

上述技术方案中，步骤S2将点云所包含的数据映射成规则的二维图像，然后利用图像编码算法进行压缩编码，设定一个含有m个点的类C_j＝{x₁,x₂,…,x_m}，找到进行zigzag型映射时的排列顺序C′_j＝{x⁽¹⁾,x⁽²⁾,…,x^(m),}，采用遗传算法使得在该顺序下的值最小，每个基因表示类中的一个点，一个包含m个基因的个体表示类的一种排列方式，多个个体构成一个种群，定义种群中个体的适应度为f＝即所有相邻点的距离之和越小，个体的适应度越高，从而有更大概率存活下来。

上述技术方案中，所述遗传算法主要包括以下步骤:

步骤201：输入聚类分割后的一个类，随机排列类中的点，生成n个个体，构成初始种群；

步骤S202：计算每个个体的适应度

步骤S203：淘汰种群中所有适应度小于设定阈值s的个体，并将存活的个体加入下一代种群；

步骤S204：从存活的个体中随机选择两个个体以概率p₁进行杂交，产生新的个体，并加入下一代种群，其中杂交方法为：从第一个个体的前段截取一段随机长度的基因嫁接到第二个个体的前段，再去除与截取部分重复的基因，保证新生成个体的基因互不重复；

步骤S205：以概率p₂对新生成的个体进行基因突变。基因突变方法为：对个体中两个基因进行位置交换；

步骤206：重复步骤S204和S205，直到新一代种群中个体的数目与原始种群的个体数目相等；

步骤S207：重复步骤S202到S206直到种群中适应度最高的个体满足预定条件，输出适应度最高的个体；

步骤208：输出符合最优映射的点序列。

与现有技术相比，本发明具有如下的有益效果：

本发明将点云映射成规则的二维图像，从而利用图像压缩技术来压缩点云数据，大大提高点云压缩算法的性能和效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明所提出的压缩方法的示意图；

图2为分层聚类分割算法的示意图，其中，(a)为输入点云，(b)为第一层分割后的点云，(c)为第二层分割后的点云，(d)和(e)是(b)中的两个类，(f)为(e)经第二层分割后的结果；

图3为映射示意图，其中，(a)为zigzag模式示意，(b)为数据点映射方式。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明的一种3D点云压缩编码方法，其特征在于，包括如下步骤：

步骤S1：将点云中的点分成若干类，并使得每个类中的点无论是空间坐标还是颜色属性都很相近；

步骤S2：然后再分别对每个类进行压缩编码。

其中，步骤S1中采用分层聚类分割。

点云通常包含数以万计甚至百万计的点，而且这些点的空间位置和颜色等属性差异较大，直接压缩计算量较大而且压缩性能较差。若将点云中的点分成若干类，并使得每个类中的点无论是空间坐标还是颜色属性都很相近，然后再分别对每个类进行压缩，就能大大提高点云压缩性能。由于点云具有稀疏性和无序性，三维空间中各个位置的点密度存在差异，因此本发明采用与这种特性相匹配的mean shift算法作为聚类算法。该算法是一种梯度上升算法，通过不断将中心点(mean)移动到概率密度更高的区域来寻找属于同一类的数据点。Mean shift算法的具体步骤如下：

算法输入为：原始点云数据

算法输出为：分类后的点云数据

(1)在未被标记的点中随机选取一个点作为初始中心点m_n；

(2)以m_n为中心点创建一个类C_i；

(3)搜索所有输入数据点中与m_n之间的距离小于半径r的所有邻域点，将这些点标记为已访问，每个点可被多次访问，并更新每个点被类C_i访问的次数；

(4)计算m_n与所有搜索出的邻域点的加权质心m_n+1，并将中心点更新为m_n+1

(5)如果m_n+1和m_n之间的距离大于设定的阈值，则返回步骤(3)；否则，迭代收敛，进入下一步；

(6)如果收敛后的中心点与已存在类的中心点的距离小于设定的阈值，则将其与已存在的类合并；

(7)重复以上步骤直到所有点都被标记；

(8)读取每个点被每个类访问的次数，取访问次数最多的类作为该点的类。

mean shift是一种无监督分类算法，可对输入点云中的每个点进行分类，并且无需指定聚类个数。但是，传统的mean shift算法运用在点云上也存在一定的问题。对于最常用的包含几何信息和颜色信息的点云(X＝{x_i,y,z_i,r_i,g_i,b_i},i＝1,…,n)，如果将meanshift算法扩展到三维空间并对几何信息(XYZ)进行聚类，将会导致分割后的类中，各个点之间空间位置相近，但颜色并不相似。如果将mean shift算法扩展到六维空间(XYZRGB),同时对几何信息和颜色信息进行聚类，将会导致在边界处分类结果很差。为此，本发明提出一种分层聚类结构来解决传统mean shift算法在点云聚类中产生的问题。

以常用的包含几何信息和颜色信息的点云(X＝{x_i,y,z_i,r_i,g_i,b_i},i＝1,…,n)为例，由于待压缩的点云数据只包含几何信息和颜色信息，因此，我们的分层聚类分割算法包含两层结构，在两个不同空间进行mean shift聚类。第一层是在色彩空间对点云进行聚类。在领域搜索时，在整个点云中根据rgb坐标值对所有点进行全局搜索。对于图2(a)所示的原始点云，第一层聚类后的总体结果如图2(b)所示。图2中，(d)和(e)是(b)中的两个类。可以看出，在原始点云中，裙子上两种不同颜色的图案被准确的分到两个不同的类。但是，只有第一层聚类还存在一些问题。例如，在图2(e)中，由于裙子和鞋子颜色相似，因此它们被分到同一类中。显然，它们所表示的点，在几何空间中距离较远，几何坐标值差别较大，要提高压缩率，它们应该被分到不同的类中。因此，我们进行第二层聚类，在几何空间中根据xyz坐标值对第一层产生的每个类进行进一步聚类分割。如图2(f)所示，图2(e)中的裙子和鞋子在第二层聚类后被分开，并且被分成更小的块，以减小后续方法的计算量。第二层聚类之后的结果如图2(c)所示。分层聚类分割后每个类中包含的点不仅空间距离相近，而且颜色相似。

本发明所提出的分层聚类分割方法，并不局限于两层聚类，而是由待分割点云具体包含的属性决定。例如，对于包含几何信息、颜色信息和法向量等三种属性的点云数据，则应该包含三层聚类分割。

图像压缩经过几十年的发展，技术已经相当成熟，许多算法简单高效，如果应用到点云压缩中，将大大提高点云压缩算法的性能和效率。因此，本发明将点云所包含的数据映射成规则的二维图像，然后利用图像编码算法进行压缩编码。

要匹配图像压缩，提高算法的压缩率，点云数据在向平面映射时，要保证这些点在二维空间的相似性，即每个点的值应与其邻域点的值尽可能相近。这样在使用图像压缩算法时才，能保证能获得较好的压缩性能。为进一步简化问题，降低算法的复杂度，本发明采用图3所示的zigzag型映射。按zigzag模式映射，只要保证一维序列中前后点之间的相似性，即可保证映射后二维图像中点的相似性。相比于直接构建二维相似型模型，Zigzag型映射大大简化了问题，降低了算法的复杂度。

点云数据具有不规则性，即使聚类分割之后，类内的点之间各个属性都比较相似，但由于各个点散乱无序，直接映射的压缩效果很差。因此，在映射之前，需要获得每个类中所有点的最优排列顺序，以确保最大化一维序列的相似性，即前后点之间的差值最小。具体地，假设一个含有m个点的类C_j＝{x₁,x₂,…,x_m}，那么，需要找到一种进行zigzag型映射时的排列顺序C′_j＝{x⁽¹⁾,x⁽²⁾,…,x^(m),}，使得在该顺序下的值最小。

本发明采用遗传算法来解决这个问题。在算法中，每个基因表示类中的一个点，一个包含m个基因的个体表示类的一种排列方式，多个个体构成一个种群。定义种群中个体的适应度为即所有相邻点的距离之和越小，个体的适应度越高，从而有更大概率存活下来。具体的算法流程如下：

算法输入为：聚类分割后的一个类(包含m个点)

算法输出为：符合最优映射的点序列

(1)随机排列类中的点，生成n个个体，构成初始种群；

(2)计算每个个体的适应度

(3)淘汰种群中所有适应度小于设定阈值s的个体，并将存活的个体加入下一代种群；

(4)从存活的个体中随机选择两个个体以概率p₁进行杂交，产生新的个体，并加入下一代种群。杂交方法为：从第一个个体的前段截取一段随机长度的基因嫁接到第二个个体的前段，再去除与截取部分重复的基因，保证新生成个体的基因互不重复(基因数量为m)；

(5)以概率p₂对新生成的个体进行基因突变。基因突变方法为：对个体中两个基因进行位置交换；

(6)重复步骤(4)和(5)直到新一代种群中个体的数目与原始种群的个体数目(n)相等；

(7)重复步骤(2)到(6)直到种群中适应度最高的个体满足预定条件，输出适应度最高的个体；

对于分层分割后的每一个类，本发明利用遗传算法获得该类向平面的最优映射方式，然后按照图3(a)所示的zigzag模式将每个点的几何信息(xyz值)和颜色信息(rgb值)等属性按照图3(b)所示分别映射到规则平面，最后用图像压缩算法对映射后的规则图像进行压缩编码。压缩方法的总体流程如图1(以包含几何信息和颜色信息的点云为例)所示。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种3D点云压缩编码方法，其特征在于，包括如下步骤：

步骤S1：将点云中的点分成若干类，并使得每个类中的点无论是空间坐标还是颜色属性都很相近；

步骤S2：然后再分别对每个类进行压缩编码。

2.根据权利要求1所述的一种3D点云压缩编码方法，其特征在于，所述步骤S1通过不断将中心点移动到概率密度更高的区域来寻找属于同一类的数据点，其具体包括如下步骤：

步骤S101：输入原始点云数据，在未被标记的点中随机选取一个点作为初始中心点m_n；

步骤S102：以m_n为中心点创建一个类C_i.

步骤S103：搜索所有输入数据点中与m_n之间的距离小于半径r的所有邻域点，将这些点标记为已访问，每个点可被多次访问，并更新每个点被类C_i访问的次数；

步骤S104：计算m_n与所有搜索出的邻域点的加权质心m_n+1，并将中心点更新为m_n+1；

步骤S105：如果m_n+1和m_n之间的距离大于设定的阈值，则返回步骤(3)；否则，迭代收敛，进入下一步；

步骤S106：如果收敛后的中心点与已存在类的中心点的距离小于设定的阈值，则将其与已存在的类合并；

步骤S107：重复以上步骤直到所有点都被标记；

步骤S108：读取每个点被每个类访问的次数，取访问次数最多的类作为该点的类；

步骤S109：输出分类后的点云数据。

3.根据权利要求1所述的一种3D点云压缩编码方法，其特征在于，步骤S2将点云所包含的数据映射成规则的二维图像，然后利用图像编码算法进行压缩编码，设定一个含有m个点的类C_j＝{x₁，x₂，...，x_m}，找到进行zigzag型映射时的排列顺序C′_j＝{x⁽¹⁾，x⁽²⁾，...，x^(m)，}，采用遗传算法使得在该顺序下的值最小，每个基因表示类中的一个点，一个包含m个基因的个体表示类的一种排列方式，多个个体构成一个种群，定义种群中个体的适应度为即所有相邻点的距离之和越小，个体的适应度越高，从而有更大概率存活下来。

4.根据根据权利要求3所述的一种3D点云压缩编码方法，其特征在于，所述遗传算法主要包括以下步骤：

步骤201：输入聚类分割后的一个类，随机排列类中的点，生成n个个体，构成初始种群；

步骤S202：计算每个个体的适应度

步骤S203：淘汰种群中所有适应度小于设定阈值s的个体，并将存活的个体加入下一代种群；

步骤S204：从存活的个体中随机选择两个个体以概率p₁进行杂交，产生新的个体，并加入下一代种群，其中杂交方法为：从第一个个体的前段截取一段随机长度的基因嫁接到第二个个体的前段，再去除与截取部分重复的基因，保证新生成个体的基因互不重复；

步骤S205：以概率p₂对新生成的个体进行基因突变。基因突变方法为：对个体中两个基因进行位置交换；

步骤206：重复步骤S204和S205，直到新一代种群中个体的数目与原始种群的个体数目相等；

步骤S207：重复步骤S202到S206直到种群中适应度最高的个体满足预定条件，输出适应度最高的个体；

步骤208：输出符合最优映射的点序列。