CN112633350B - 一种基于图卷积的多尺度点云分类实现方法 - Google Patents

Abstract

本发明属于三维点云分类技术领域，公开了一种基于图卷积的多尺度三维点云分类实现方法。其目的是通过提取点云集合不同尺度的边缘特征，获取更加丰富的邻域信息，以此提高点云分类的准确率。具体步骤如下：步骤1，通过改进的KNN邻近算法，获取不同尺度范围内的等间隔采样的k个点，从而构建点云集合不同尺度的M‑KNN图；步骤2，使用M‑KNN图搭建EdgeConv(边缘卷积层)模块，实现点云边缘特征的提取。步骤3，利用边缘卷积层构建多尺度点云分类网络模型，使用ModelNet40数据集对网络进行训练，获取最终的点云分类网络。

Description

一种基于图卷积的多尺度点云分类实现方法

技术领域

本发明属于三维点云分类技术领域，具体涉及到一种基于图卷积的多尺度三维点云分类实现方法。

背景技术

三维点云分类是指从具有三维空间坐标等信息的复杂无序点云中提取人工或自然地理要素的过程。近些年，随着三维激光扫描技术的发展，三维点云数据的采取也变得快速且廉价。在无人驾驶、机器人、室内场景检测和识别等领域都有非常广泛的应用，三维点云分类在计算机视觉领域已然成为研究热点。

传统的点云分类方法是通过人工设计一系列的特征，然后使用合适的分类器对三维点云直接进行分类。这种分类方法在很多特定的场景中获得了不错的分类结果，但是在新的数据集中表现并不是很理想。近些年，深度学习在计算机视觉领域快速发展，并且在二维图像的识别、分类上取得了显著的成就。同时，三维点云分类的研究受此影响也越来越多的开始使用深度学习的方法。

由于点云数据自身的无序性、稀疏性导致它不能像图像这些有序的数据直接应用于卷积神经网络。因此，在2015年Maturana和Scherer提出了VoxNet点云网络模型，对三维点云进行体素化，将二维图像深度学习的方法迁移到三维点云领域中。但是使用该方法需要非常大的计算量和内存占用，因此只适合一些低分辨率的点云场景中。在2017年，斯坦福大学的科研工作者们提出了一种直接适用于点云分类的深度学习模型PointNet，它利用最大池化函数作为对称函数，使得点云中点的顺序不影响它在空间中对整体形状的表示，该模型取得了不错的分类效果。但PointNet并不能捕获点云的局部特征。因此，该团队在后续的工作中又提出了PointNet++模型，它是基于PointNet的思想，加入了抽象层，从而获取到点云的局部特征，分类效果得到进一步的优化。在2018年，Wang等人提出了一种动态图卷积神经网络(Dynamic Graph CNN)，通过引入边缘卷积(EdgeConv)模块来获取到点云数据的局部特征，得到不错的分类效果。然而，该方法只能捕捉到有限邻域内的边缘特征，缺少多尺度特征。因此，要进一步提高三维点云分类性能仍然具有一定的挑战性。

发明内容

本发明的目的在于针对上述已有方法的缺陷，提出一种基于图卷积的多尺度点云分类实现方法，既能捕获点云数据的全局以及局部特征，又能获取到点云数据的多尺度特征，以此进一步提高点云分类的性能。

实现本发明的技术思想是：通过改进KNN邻近算法，将原本获取的每个点的最近邻k个点替换为按照不同尺度范围内的等间隔采样的k个点。然后，借鉴DGCNN网络模型思想，将改进后的算法应用到其中的EdgeConv模块中，利用该模块设计多尺度的三维点云分类网络模型。最后，通过对数据集的训练获取优化后的网络模型。

为了实现上述技术目的，本发明采用如下技术步骤予以实现。

一种基于图卷积的多尺度点云分类实现方法，其特征在于：基于以下定义：

点云集合中点的数目为n，一个具有n个点的D维点云，表示为：

其中X表示一个点云集合，x_i表示每一个点，n表示点云集合中点的数目，D表示点云数据的维度；

使用点云的位置信息，即D＝3；因此，每个点都只包含其三维坐标，即：

X_i＝(x_i,y_i,z_i) (2)

点云的局部结构用一个有向图表示：

G＝(V,E) (5)

其中，V＝{1,...,n}表示图结构的顶点，

表示图结构的边；

包括如下骤：

步骤1，使用ModelNet40数据集作为用于分类的点云数据，该数据中共有12311个CAD模型，对每个模型均匀采样1024个点并将其标准化到单位球体中，然后将采样点的坐标作为输入数据；然后使用基于改进的KNN邻近算法，获取不同尺度范围内的等间隔采样的k个点，从而获得点云集合不同尺度的M-KNN图：

步骤2，使用M-KNN图搭建EdgeConv(边缘卷积层)模块，实现点云边缘特征的提取，具体包括：

步骤2.1、通过M-KNN图构建点云的图结构G；对于点X_i，找到其k个邻近点(用

表示)，其中X_i与邻近点之间的定向边为(i,j_i1),...,(i,j_ik)；定义有向图的边缘特征为：

e_ij＝h_θ(x_i,x_j)＝h_θ(x_i,x_j-x_i) (6)

其中，e_ij表示X_i与X_j之间的边缘特征，x_j-x_i代表邻近点构成的局部块信息；h_θ是由可学习参数θ构成的非线性激活函数，这里使用多层感知器(MLP)对中心点X_i的M-KNN图进行特征提取和学习；

步骤2.2、再用一个最大池化层Maxpool来聚合每个M-KNN图的局域信息，用来完成R^D×R^D→R^D'，即输入具有n个点的D维点云，通过图卷积后输出具有D'维点云特征的n个点；EdgeConv的数学表达式如下：

x_i'＝Maxpool_j:(i,j)∈Eh_θ(x_i,x_j-x_i) (7)

其中，x_i′表示经过最大池化操作后获取到的该点的高维特征；Maxpool表示最大池化操作，E表示图结构的边，h_θ是由可学习参数θ构成的非线性激活函数；步骤3，利用步骤2.2中的边缘卷积层构建多尺度点云分类网络模型，使用ModelNet40数据集对网络进行训练，获取最终的点云分类网络。

在上述的基于图卷积的多尺度点云分类实现方法，改进KNN邻近算法具体包括：

步骤1、对于点X_i＝(x_i,y_i,z_i)，与其相邻的点x_j＝(x_j,y_j,z_j)之间的欧式距离为：

计算每个点到点X_i的距离，再根据距离值对每个点进行排序；

步骤2、在距离点X_i最近的前n/m个点中进行等间隔采样，获取到k个邻近点，k个邻近点用

表示，其中：

1≤m≤n/k,m∈R (4)

m值的大小表示对点云集合不同程度的划分，越小的m值对应获取到的k个邻近点所表征的邻域范围越大，以此来得到不同尺度的邻域信息；

步骤3、对每个点重复步骤2的操作即可获取到点云集合的不同尺度的M-KNN图。

在上述的基于图卷积的多尺度点云分类实现方法，步骤3中搭建的多尺度图卷积点云分类网络模型为提取三种不同尺度边缘特征的网络结构，具体为：

网络的输入格式为三维向量数据：(B×n×3)，其中，B表示批处理的大小(Batchsize)，n表示每个点云数据中点的数量(Number Point)，3表示坐标信息(x，y，z)；

获取最终的点云分类网络的具体步骤包括：

步骤3.1、读取到点云数据后，提取第一尺度边缘特征，此时设置：m＝n/k,k＝20，其中m表示为对点云集合划分的程度，n表示点云集合中点的数量，k表示对邻近点采样的个数；相当于将距离点X_i最近的k个点作为邻近点，边缘卷积内核参数设置为(1×1)，使用4个边缘卷积层(EdgeConv)模块提取边缘特征，卷积通道数分别为：(64,64,64,128)；每次卷积后得到的结果分别命名为：(net1_1,net1_2,net1_3,net1_4)；最终获取到第一尺度边缘特征net1_4的数据格式为：(B×n×128)；

步骤3.2、基于第一尺度获取到的边缘特征，利用获得的net1_2的结果，提取第二尺度特征，此时设置：m＝16,k＝20；即在距离X_i最近的前n/16个点中等间隔采样到k个点，扩大了采样的邻域范围；边缘卷积内核参数设置为(1×1)，使用2个边缘卷积层(EdgeConv)模块提取边缘特征，卷积通道数分别为：(64,128)；每次卷积后得到的结果分别命名为：(net2_1,net2_2)；最终获取到第二尺度边缘特征net2_2的数据格式为：(B×n×128)；

步骤3.3、基于第二尺度获取到的边缘特征，利用获得的net2_1的结果，提取第三尺度特征，此时设置：m＝8,k＝20；进一步扩大了邻域范围；边缘卷积内核参数设置为(1×1)，使用1个边缘卷积(EdgeConv)模块提取边缘特征，卷积通道数为128，卷积后的得到的结果命名为net3_1，获取到第三尺度边缘特征net3_1的数据格式为：(B×n×128)；

步骤3.4、得到net1_4、net2_2、net3_1之后，使用concat操作将(net1_4,net2_2,net3_1)多个尺度的特征融合，然后再添加一个卷积层，卷积内核仍为(1×1)，卷积通道数增加到1024；

步骤3.5、使用MaxPooling获取到点云集合中最大的1024维特征值；之后再引入三层全连接层，通道数分别为：(512,256,c)，其中c表示数据集的类别数，即网络的最终输出为c个类别的语义标签。

在上述的基于图卷积的多尺度点云分类实现方法，所述步骤3中，为了防止网络过拟合，在每两个全连接层中加入dropout层，阈值设置为0.5；网络中所有卷积层的padding方式统一设置为VALID，并且使用了批量标准化(Batch Normalization)来加快网络训练的速度；

网络中所有卷积层以及全连接层都使用Relu函数作为激活函数，表示为：

其中，x表示通过加权求和后得到的特征值；

使用交叉熵损失函数，表示为：

其中：M表示类别的数量；y_ic表示指示变量(0或1)，如果该类别和样本i的类别相同就是1，否则是0；p_ic表示对于观测样本i属于类别c的预测概率。

在上述的基于图卷积的多尺度点云分类实现方法，步骤3中训练网络模型的数据集和训练参数如下：

网络使用了包含40个人造物体类别的ModelNet40数据集进行训练、测试；使用Python2.7，Tensorflow-GPU＝＝1.15搭建网络模型；初始学习率(learning_rate)设置为0.001，动量(momentum)为0.9，批处理大小(batch_size)为32，延迟步长(decay_step)为200000，最大迭代次数(max_epoch)为200。

与现有技术相比，本发明所设计的三维点云分类网络模型，围绕图卷积网络的思想，通过改进的KNN邻近算法，设置了多个可以提取不同尺度邻域特征的边缘卷积层，丰富了点云分类的参考特征，可以进一步提高点云分类的准确率。

附图说明

下面结合附图说明和具体实施方式对发明做进一步说明。

图1是本发明基于改进KNN邻近算法获取到的不同尺度邻近点分布图；

图2是本发明基于M-KNN图构建的EdgeConv(边缘卷积层)模块结构图；

图3是本发明的基于图卷积的多尺度用于点云分类的深度学习网络模型。

具体实施方式

参照图1、图2和图3，说明本发明的基于图卷积的多尺度点云分类实现方法具体实现步骤包括：

步骤1，改进KNN邻近算法，获取不同尺度范围内的等间隔采样的k个点，从而构建点云集合不同尺度的M-KNN图：

一个具有n个点的D维点云，表示为：

其中X表示一个点云集合，x_i表示每一个点，n表示点云集合中点的数目，D表示点云数据的维度。

由于，在本发明中只使用点云的位置信息，即D＝3。因此，每个点都只包含其三维坐标，即：

X_i＝(x_i,y_i,z_i) (2)

根据坐标计算点云集合中点与点之间的欧式距离为：

计算点X_i到每个点的距离，再根据距离值对每个点进行排序。KNN邻近算法是将距离X_i最近的k个点提取出来作为其邻近点。而在本发明中为了获取到点云的多尺度邻域特征，在对k个点的选取上进行了改变。

具体来说是：使用ModelNet40数据集作为用于分类的点云数据，该数据中共有12311个CAD模型，对每个模型均匀采样1024个点并将其标准化到单位球体中，然后将采样点的坐标作为输入数据。已知点云集合中点的数目为n，对于点X_i，通过以上的计算已得知它与每个点的距离并进行了排序，在距离点X_i最近的前n/m个点中进行等间隔采样，获取到k个邻近点。其中：

1≤m≤n/k,m∈R (4)

m值的大小表示对点云集合不同程度的划分，越小的m值对应获取到的k个邻近点所表征的邻域范围越大，以此来得到不同尺度的邻域信息，如图1所示。

对每个点进行以上操作即可获取到点云集合的不同尺度的M-KNN图。

步骤2，使用M-KNN图搭建EdgeConv(边缘卷积层)模块，实现点云边缘特征的提取：

点云的局部结构可以用一个有向图表示：

G＝(V,E) (5)

其中，V＝{1,...,n}表示图结构的顶点，

表示图结构的边。

首先，通过M-KNN图构建点云的图结构G。对于点X_i，找到其k个邻近点(用

表示)，其中X_i与邻近点之间的定向边为(i,j_i1),...,(i,j_ik)。定义有向图的边缘特征为：

e_ij＝h_θ(x_i,x_j)＝h_θ(x_i,x_j-x_i) (6)

其中，e_ij表示X_i与X_j之间的边缘特征，x_j-x_i代表邻近点构成的局部块信息。h_θ是由可学习参数θ构成的非线性激活函数，这里使用多层感知器(MLP)对中心点X_i的M-KNN图进行特征提取和学习。然后再用一个最大池化层Maxpool来聚合每个M-KNN图的局域信息，用来完成R^D×R^D→R^D'，即输入具有n个点的D维点云，通过图卷积后输出具有D'维点云特征的n个点。EdgeConv的数学表达式如下：

x_i'＝Maxpool_j:(i,j)∈Eh_θ(x_i,x_j-x_i) (7)

其中，x_i′表示经过最大池化操作后获取到的该点的高维特征。Maxpool表示最大池化操作，E表示图结构的边，h_θ是由可学习参数θ构成的非线性激活函数。

具体结构如图2所示。

步骤3，利用上述边缘卷积层构建多尺度点云分类网络模型，使用ModelNet40数据集对网络进行训练，获取最终的点云分类网络。

本发明中设计的点云分类网络为可提取三种不同尺度边缘特征的网络结构，具体网络结构如图3所示。网络的输入格式为三维向量数据:(B×n×3)，其中，B表示批处理的大小(Batch size)，n表示每个点云数据中点的数量(NumberPoint)，3表示坐标信息(x，y，z)。

读取到点云数据后，首先提取第一尺度边缘特征，此时设置：m＝n/k,k＝20，其中m表示为对点云集合划分的程度，n表示点云集合中点的数量，k表示对邻近点采样的个数。相当于将距离点X_i最近的k个点作为邻近点，边缘卷积内核参数设置为(1×1)，使用4个边缘卷积层(EdgeConv)模块提取边缘特征，卷积通道数分别为：(64,64,64,128)。每次卷积后的得到的结果分别命名为：(net1_1,net1_2,net1_3,net1_4)。最终获取到第一尺度边缘特征net1_4的数据格式为：(B×n×128)。

基于第一尺度获取到的边缘特征，利用获得的net1_2的结果，提取第二尺度特征，此时设置：m＝16,k＝20。即在距离X_i最近的前n/16个点中等间隔采样到k个点，扩大了采样的邻域范围。边缘卷积内核参数设置为(1×1)，使用2个边缘卷积层(EdgeConv)模块提取边缘特征，卷积通道数分别为：(64,128)。每次卷积后得到的结果分别命名为：(net2_1,net2_2)。最终获取到第二尺度边缘特征net2_2的数据格式为：(B×n×128)。

基于第二尺度获取到的边缘特征，利用获得的net2_1的结果，提取第三尺度特征，此时设置：m＝8,k＝20。进一步扩大了邻域范围。边缘卷积内核参数设置为(1×1)，使用1个边缘卷积(EdgeConv)模块提取边缘特征，卷积通道数为128，卷积后的得到的结果命名为net3_1，获取到第三尺度边缘特征net3_1的数据格式为：(B×n×128)。

得到net1_4、net2_2、net3_1之后，使用concat操作将(net1_4,net2_2,net3_1)多个尺度的特征融合，然后再添加一个卷积层，卷积内核仍为(1×1)，卷积通道数增加到1024。

接下来使用MaxPooling获取到点云集合中最大的1024维特征值。之后再引入三层全连接层，通道数分别为：(512,256,c)，其中c表示数据集的类别数，即网络的最终输出为c个类别的语义标签。

为了防止网络过拟合，在每两个全连接层中加入dropout层，阈值设置为0.5。网络中所有的卷积层的padding方式统一设置为VALID。网络中还使用了批量标准化(BatchNormalization)来加快网络训练的速度。

网络中所有卷积层以及全连接层都使用Relu函数作为激活函数，表示为：

其中，x表示通过加权求和后得到的特征值。

网络使用交叉熵损失函数，表示为：

其中：M表示类别的数量；y_ic表示指示变量(0或1)，如果该类别和样本i的类别相同就是1，否则是0；p_ic表示对于观测样本i属于类别c的预测概率。

网络使用了包含40个人造物体类别的ModelNet40数据集进行训练、测试。使用Python2.7，Tensorflow-GPU＝＝1.15搭建网络模型。初始学习率(learning_rate)设置为0.001，动量(momentum)为0.9，批处理大小(batch_size)为32，延迟步长(decay_step)为200000，最大迭代次数(max_epoch)为200。

Claims (3)

1.一种基于图卷积的多尺度点云分类实现方法，其特征在于，基于以下定义：

点云集合中点的数目为n，一个具有n个点的D维点云，表示为：

其中X表示一个点云集合，x_i表示每一个点，n表示点云集合中点的数目，D表示点云数据的维度；

使用点云的位置信息，即D＝3；因此，每个点都只包含其三维坐标，即：

X_i＝(x_i,y_i,z_i) (2)

点云的局部结构用一个有向图表示：

G＝(V,E) (3)

其中，V＝{1,...,n}表示图结构的顶点，

表示图结构的边；

包括如下步骤：

步骤1，使用ModelNet40数据集作为用于分类的点云数据，该数据中共有12311个CAD模型，对每个模型均匀采样1024个点并将其标准化到单位球体中，然后将采样点的坐标作为输入数据；然后使用基于M-KNN算法，获取不同尺度范围内的等间隔采样的k个点，从而获得点云集合不同尺度的M-KNN图；

步骤2，使用M-KNN图搭建边缘卷积层模块EdgeConv，实现点云边缘特征的提取，具体包括：

步骤2.1、通过M-KNN图构建点云的图结构G；对于点X_i，找到其k个邻近点

其中X_i与邻近点之间的定向边为(i,j_i1),...,(i,j_ik)；定义有向图的边缘特征为：

e_ij＝h_θ(x_i,x_j)＝h_θ(x_i,x_j-x_i) (4)

其中，e_ij表示X_i与X_j之间的边缘特征，x_j-x_i代表邻近点构成的局部块信息；h_θ是由可学习参数θ构成的非线性激活函数，这里使用多层感知器MLP对中心点X_i的M-KNN图进行特征提取和学习；

步骤2.2、再用一个最大池化层Maxpool来聚合每个M-KNN图的局域信息，用来完成R^D×R^D→R^D'，即输入具有n个点的D维点云，通过图卷积后输出具有D'维点云特征的n个点；EdgeConv的数学表达式如下：

x_i'＝Maxpool_j:(i,j)∈Eh_θ(x_i,x_j-x_i) (5)

其中，x_i′表示经过最大池化操作后获取到的该点的高维特征；Maxpool表示最大池化操作，E表示图结构的边，h_θ是由可学习参数θ构成的非线性激活函数；

步骤3，利用步骤2.2中的边缘卷积层构建多尺度点云分类网络模型，使用ModelNet40数据集对网络进行训练，获取最终的点云分类网络；

M-KNN算法具体包括：

步骤1.1、对于点X_i＝(x_i,y_i,z_i)，与其相邻的点x_j＝(x_j,y_j,z_j)之间的欧式距离为：

计算每个点到点X_i的距离，再根据距离值对每个点进行排序；

步骤1.2、在距离点X_i最近的前n/m个点中进行等间隔采样，获取到k个邻近点，k个邻近点用x_ji1,...,x_jik表示，其中：

1≤m≤n/k,m∈R (7)

m值的大小表示对点云集合不同程度的划分，越小的m值对应获取到的k个邻近点所表征的邻域范围越大，以此来得到不同尺度的邻域信息；然后对每个点重复以上操作即可获取到点云集合的不同尺度的M-KNN图；

设计基于图卷积的多尺度点云分类网络模型的结构，其具体内容包括：

步骤3.1、网络的输入格式为三维向量数据：(B×n×3)，其中，B表示批处理的大小Batch size，n表示每个点云数据中点的数量Number Point，3表示坐标信息(x，y，z)；读取到点云数据后，提取第一尺度边缘特征，此时设置：m＝n/k,k＝20，其中m表示为对点云集合划分的程度，n表示点云集合中点的数量，k表示对邻近点采样的个数；相当于将距离点X_i最近的k个点作为邻近点，边缘卷积内核参数设置为(1×1)，使用4个边缘卷积层模块EdgeConv提取边缘特征，卷积通道数分别为：(64,64,64,128)；每次卷积后得到的结果分别命名为：(net1_1,net1_2,net1_3,net1_4)；最终获取到第一尺度边缘特征net1_4的数据格式为：(B×n×128)；

步骤3.2、基于第一尺度获取到的边缘特征，利用获得的net1_2的结果，提取第二尺度特征，此时设置：m＝16,k＝20；即在距离X_i最近的前n/16个点中等间隔采样到k个点，扩大了采样的邻域范围；边缘卷积内核参数设置为(1×1)，使用2个边缘卷积层模块EdgeConv提取边缘特征，卷积通道数分别为：(64,128)；每次卷积后得到的结果分别命名为：(net2_1,net2_2)；最终获取到第二尺度边缘特征net2_2的数据格式为：(B×n×128)；

步骤3.3、基于第二尺度获取到的边缘特征，利用获得的net2_1的结果，提取第三尺度特征，此时设置：m＝8,k＝20；进一步扩大了邻域范围；边缘卷积内核参数设置为(1×1)，使用1个边缘卷积模块EdgeConv提取边缘特征，卷积通道数为128，卷积后的得到的结果命名为net3_1，获取到第三尺度边缘特征net3_1的数据格式为：(B×n×128)；

步骤3.4、得到net1_4、net2_2、net3_1之后，使用concat操作将(net1_4,net2_2,net3_1)多个尺度的特征融合，然后再添加一个卷积层，卷积内核仍为(1×1)，卷积通道数增加到1024；

步骤3.5、使用MaxPooling获取到点云集合中最大的1024维特征值；之后再引入三层全连接层，通道数分别为：(512,256,c)，其中c表示数据集的类别数，即网络的最终输出为c个类别的语义标签。

2.根据权利要求1所述的基于图卷积的多尺度点云分类实现方法，其特征在于，所述步骤3中，为了防止网络过拟合，在每两个全连接层中加入dropout层，阈值设置为0.5；网络中所有卷积层的padding方式统一设置为VALID，并且使用了批量标准化来加快网络训练的速度；

网络中所有卷积层以及全连接层都使用Relu函数作为激活函数，表示为：

其中，x表示通过加权求和后得到的特征值；

使用交叉熵损失函数，表示为：

其中：M表示类别的数量；y_ic表示指示变量为 0或1，如果该类别和样本i的类别相同就是1，否则是0；p_ic表示对于观测样本i属于类别c的预测概率。

3.根据权利要求1所述的基于图卷积的多尺度点云分类实现方法，其特征在于，步骤3中训练网络模型的数据集和训练参数如下：

网络使用了包含40个人造物体类别的ModelNet40数据集进行训练、测试；使用Python2.7，Tensorflow-GPU＝＝1.15搭建网络模型；初始学习率learning_rate 设置为0.001，动量momentum为0.9，批处理大小batch_size为32，延迟步长decay_step为200000，最大迭代次数max_epoch为200。

Images