CN111489358B

CN111489358B - 一种基于深度学习的三维点云语义分割方法

Info

Publication number: CN111489358B
Application number: CN202010190589.1A
Authority: CN
Inventors: 孙志刚; 江湧; 邓世恒; 肖力; 王卓
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2020-03-18
Filing date: 2020-03-18
Publication date: 2022-06-14
Anticipated expiration: 2040-03-18
Also published as: CN111489358A

Abstract

本发明公开一种基于深度学习的三维点云语义分割方法，属于三维点云与模式识别领域。包括：使用三维点云训练集训练语义分割神经网络模型，标签为真实语义类别，语义分割神经网络模型包括：特征提取网络和语义分割网络；特征提取网络用于提取三维点云的全局特征和局部特征；语义分割网络用于融合点云的全局特征和局部特征，输出的特征图对应各点属于各个语义类别的概率；将待测点云输入训练好的语义分割神经网络模型，得到点云的分割结果。本发明使用局部特征提取模块对点云的多个尺度局部特征进行提取，使用通道注意提升模块提升重要特征通道的注意力，抑制不重要特征通道，使用加权重的多类别损失函数优化训练效果，提高了语义分割方法的精度。

Description

一种基于深度学习的三维点云语义分割方法

技术领域

本发明属于三维点云与模式识别领域，更具体地，涉及一种基于深度学习的三维点云语义分割方法。

背景技术

三维点云语义分割是三维场景语义理解和分析的基础，是导航定位、模式识别、无人驾驶等领域中的研究热点。三维点云的语义分割算法主要分为基于传统的特征提取算法和基于深度学习的算法。

基于传统特征提取的三维点云分割算法，通过提取三维点云的边界梯度、法向量、曲面率、纹理等特征，进行聚类和分类，从而进行语义分割，该类算法主要是针对特定任务设计特征进行分割，适用于简单场景下的语义分割，对于复杂的场景，难以找到适合的特征组合。

基于深度学习的三维点云分割算法，分为体素CNN、多视图CNN和点云CNN算法。体素CNN算法需要将点云转为3D网格，再进行类似于二维的三维卷积，因为多了一维，时间和空间的复杂度都太高了；多视图CNN算法是将三维点云映射成多个视角的图像，再使用图像语义分割算法对多个视角进行分割，然后融合到三维点云中，该算法忽视了点云的空间结构，难以扩展到场景理解等任务中；点云CNN算法直接将点云作为输入，不用再经过转换，实现端到端的训练学习。点云CNN算法主要通过训练标记好的三维点云场景，获取语义分割的模型，使用语义分割模型完成语义分割，该类算法的准确率和普适性相对较高，是现在研究的热点，为了进行更准确的语义理解，语义分割的准确性仍然有提升的空间。

由此可见，现有的三维点云语义分割算法在准确性上仍然存在提升的空间。

发明内容

针对现有技术三维点云语义分割算法准确性低的问题，本发明提供了一种基于深度学习的三维点云语义分割方法，旨在提升当前的三维点云语义分割算法准确度的问题。

为实现上述目的，按照本发明的第一方面，提供了一种基于深度学习的三维点云语义分割方法，该方法包括以下步骤：

S1.使用三维点云训练集训练语义分割神经网络模型，训练样本为三维点云，标签为真实的语义类别，所述语义分割神经网络模型包括：特征提取网络和语义分割网络；所述特征提取网络用于提取三维点云的全局特征和局部特征；所述语义分割网络用于融合点云的全局特征和局部特征，输出的特征图对应点云中各点属于各个语义类别的概率；

S2.将待测点云输入训练好的语义分割神经网络模型，得到点云的分割结果。

优选地，特征提取网络将点云作为输入，依次通过MLP(64)、第一局部特征提取模块、第一通道注意力提升模块、第二局部特征提取模块、第二通道注意力提升模块、连接结构、MLP(1024)、最大池化层来提取特征；

局部特征提取模块用于提取点云的多尺度局部特征；

通道注意力提升模块用于提取点云的全局特征和点特征，并将注意力集中在信息量大的特征通道上，抑制不重要的通道特征；

所述连接结构将两个局部特征提取模块输出的局部特征与第二通道注意提升模块输出的点特征进行连接，再经过MLP(1024)和最大池化得到最后特征；

其中，MLP()括号里的数字表示卷积核的个数。

优选地，所述局部特征提取模块包含四个并行分支，每个并行分支提取一个尺度的局部邻域特征，每个分支包括：一个KNN局部邻域搜索、两个多层感知机1*1MLP和一个Softmax函数，所述局部特征提取模块最后对四个并行分支特征进行连接，得到多尺度局部特征。

优选地，所述通道注意力提升模块具体结构如下：

一个1*1MLP(C)，用于提取C维特征；

第一个分支，将C维特征通过一个全局平均池化层、一个全连接层和Sigmoid函数，得到每个特征通道的权重，将权重与C维特征相乘得到通道注意力提升的点特征；

第二个分支，将C维特征通过一个最大池化，得到一个C维全局特征，对全局特征进行复制恢复到原来C维特征的大小，然后与第一个分支得到的权重相乘，得到经过通道注意力提升的全局特征；

其中，MLP()括号里的数字表示卷积核的个数。

优选地，所述语义分割网络语义分割子网络通过连接结构、MLP(512)、MLP(256)、MLP(128)、MLP(c)，得到点云中每个点在每个语义类别的概率，把概率最大的类别作为点的标签，从而实现语义分割，得到分割结果，其中，MLP()括号里的数字表示卷积核的个数。

优选地，训练阶段，计算和更新当前的网络权重参数，加权重的多类别损失函数为：

其中，Loss是损失函数，f_l(x)(x)是Softmax函数，a_l(x)(x)为分割网络输出特征图中对应x点位置属于语义类别l(x)的值，K表示语义类别的数目，w_l(x)(x)表示x点属于语义类别l(x)的权重，N为输入到网络模型中的点集合Ω中点的总个数，N_l(x)表示类别为l(x)的点个数。

为实现上述目的，按照本发明的第二方面，提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明使用局部特征提取模块来提取点云的局部特征。不同尺度下的局部邻域具有不同的有用信息，使用并行多尺度网络结构来提取多尺度的特征，并且充分融合在一起。使用通道注意提升模块来提升重要特征通道的注意力，抑制不重要的特征通道，并且使用加权重的多类别损失函数优化训练效果，使得不同类别的项具备不同的学习权重；减轻了训练过程中网络过拟合到不均衡的类别分布上；对点数占比较小的类别赋予较大的学习权重，对点数占比较大的赋予较小的学习权重，提高点数占比小的类别的关注度，训练的时候通过不断减少Loss的值来提高分割效果。

(2)本发明直接把点云作为输入进行训练，使用神经网络来提取输入点云的全局特征从而解决点云无序性的问题。最后将全局特征和点特征连接起来再经过MLP层得到每个点的分类概率，从而实现三维点云的语义分割。

(3)本发明通过多层卷积操作对点云的特征进行提取和融合，并且使用批量归一化、激活函数进行网络优化，提高训练效果，并且能实时监控训练过程的准确率，损失函数等数据。

(4)本发明对S3DIS数据集进行预处理，包括对数据集中的房间进行切分和采样，使得每个点都具备9个维度的信息，扩充的维度信息有利于提高网络训练的分割精度。

附图说明

图1是本发明实施例提供的一种基于深度学习的三维点云语义分割方法具体实施流程图；

图2是本发明实施例提供的三维语义分割的深度神经网络结构示意图；

图3是本发明实施例提供的深度神经网络中局部特征提取模块结构示意图；

图4是本发明实施例提供的局部特征提取模块中KNN邻域搜索示意图；

图5是本发明实施例提供的深度神经网络中通道注意力提升模块结构示意图；

图6是本发明实施例提供的深度神经网络中卷积层、批归一化层和激活层的连接结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于深度学习的三维点云语义分割方法，包括：

步骤S1.使用三维点云训练集训练语义分割神经网络模型，训练样本为包含实际三维坐标、RGB颜色和归一化坐标信息的点云，标签为真实的语义类别。

对室内三维点云数据集进行切分、采样、位置归一化的预处理，建立训练集和验证集。

室内三维点云数据集Stanford large-scale 3D Indoor Spaces Dataset(S3DIS)包括271个房间的三维点云，将271个房间分为Area1-Area6共六个区域，将Area1～Area5作为训练区域，Area6作为验证区域。对每个房间进行采样和位置归一化，将每一个房间切分为多个1m*1m*height的长方体，当长方体实际点数N>4096，随机进行采样，N≤4096，随机复制样本，确保每个长方体的点数都为4096，然后长方体中每个点相对于所属房间进行位置的归一化：

X^norm＝X/X_{room_max}

Y^norm＝Y/Y_{room_max}

Z^norm＝Z/Z_{room_max}

其中，(X,Y,Z)是点的坐标，X_{room_max}、Y_{room_max}、Z_{room_max}分别对应房间中点在X轴、Y轴、Z轴的最大值，(X^norm,^norm,Z^norm)是归一化后点的坐标。

进一步地，对于数据集中每个点的维度为9，包括：实际三维坐标，RGB颜色值，归一化坐标，即[X,Y,Z,R,G,B,X^norm,Y^norm,Z^norm]。

进一步地，将S3DIS数据集中的点云语义类别分为13类，包括：天花板、地面、墙面、梁、圆柱、窗户、门、桌子、椅子、沙发、书柜、面板、其他。

如图2所示，语义分割神经网络模型由特征提取子网络和语义分割子网络构成。本发明的网络模型添加了多尺度局部特征提取模块来提取点云的多尺度局部特征、通道注意力提升模块来提升重要特征通道的注意力、加权重的多类别损失函数辅助训练，提高了三维语义分割的效果。

特征提取子网络

特征提取子网络主要包含：两个局部特征提取模块、两个通道注意力提升模块、一个连接结构、两个多层感知机1*9MLP(64)和1*1MLP(1024)、一个最大池化层Max Pooling。特征提取子网络将点云直接作为输入，依次通过MLP(64)、局部特征提取模块1、通道注意力提升模块1、局部特征提取模块2、通道注意力提升模块2、连接结构、MLP(1024)、MaxPooling层来提取特征。网络中的N表示输入的点个数，取4096，网络的输入为4096*9，即4096个点，每个点的维度为9。

局部特征提取模块用于提取点云的多尺度局部特征。如图3所示，局部特征提取模块包含四个并行分支，每个并行分支提取一个尺度的局部领域特征，每个分支包括:一个KNN局部邻域搜索，两个多层感知机1*1MLP和一个Softmax函数，该模块最后对四个并行分支特征进行连接,得到多尺度局部特征。KNN(K)表示KNN邻域搜索，括号里的数字表示每个点邻域中包含的点数，局部邻域搜索的示意图如图4所示，一个点特征与局部邻域中每个点特征的边构成局部邻域特征。第一个分支通过一个1*1MLP(O)提取点特征，输出特征维度为O；第二个分支通过KNN(K)搜索点云的K邻域，先通过一个1*1MLP(O)提取特征，然后通过一个1*1MLP(1)和一个Softmax函数提取局部特征中每条边的权重，将MLP(O)的输出与权重进行矩阵相乘得到该局部邻域尺度下的局部特征，输出特征维度为O；第三个分支，通过KNN(2K)搜索点云的2K邻域，后续跟第二个分支一样，输出特征维度为O；第四个分支，通过KNN(3K)搜索点云的3K邻域，后续跟第二个分支一样，输出特征维度为O。最后将四个分支的输出特征进行连接得到多尺度局部特征，输出特征的维度为4*O。在特征提取子网络使用了两个局部特征提取模块，第一个局部特征提取模块中O取64，第二个模块的O取128，并且两个模块中的K都取16，所以局部特征提取模块提取的局部特征具有1、16、32、48一共四个尺度信息。

如图5所示，通道注意力提升模块用于提取点云的高维特征，并将注意力集中在信息量大的特征通道上，抑制那些不重要的通道特征。通道注意力提升模块包含两个分支，并且输出两个特征，一个全局特征和一个点特征。首先，先通过一个1*1MLP(C)提取C维特征；然后从下往上看，第一个分支，将C维特征通过一个全局平均池化层Average Pooling，一个全连接层FC和Sigmoid函数来得到每个特征通道的权重，将权重与C维特征相乘得到通道注意力提升的点特征；第二个分支，将C维特征通过一个最大池化Max Pooling得到一个C维全局特征，对全局特征进行复制恢复到原来C维特征的大小，然后与第一个分支得到的权重相乘，得到经过通道注意力提升的全局特征。在特征提取子网络中使用了两个通道注意力提升模块，第一个通道注意力提升模块中的C取64，输出维度为64的全局特征和点特征；第二个通道注意力提升模块中的C取128，输出维度为128的全局特征和点特征。

特征提取子网络的连接结构将两个局部特征提取模块输出的局部特征与第二个通道注意提升模块输出的点特征进行连接，再经过一个1*1的MLP(1024)和一个MaxPooling得到最后的全局特征。

将点特征和全局特征连接起来，点云的局部特征利用不充分，点与点之间的局部结构信息对于提高语义分割的精度具有帮助。

语义分割子网络

语义分割子网络主要包括：一个连接结构和四个1*1的多层感知机MLP(512)、MLP(256)、MLP(128)、MLP(c)，c为语义类别数13。MLP为多层感知机，四个1*1的MLP(512)、MLP(256)、MLP(128)、MLP(c)表示卷积核为1*1的卷积层，MLP()括号里的数字表示卷积核的个数，也是输出特征的维度。网络中的N表示输入的点个数，取4096。语义分割子网络通过连接结构、MLP(512)、MLP(256)、MLP(128)、MLP(c)来得到分割结果。

语义分割子网络的连接结构将最后的全局特征和来自两个通道注意提升模块的64维和128维的全局特征与多个层次的点特征(特征提取子网络中连接结构输出的896维特征、MLP(1024)输出的1024维特征、Max Pooling输出的1024维的全局特征)进行连接，然后依次通过1*1MLP(512)，1*1MLP(256)，1*1MLP(128)和1*1MLP(c)，c为语义类别数，得到点云中每个点在每个语义类别的分数，把分数最大的类别作为点的标签，从而实现语义分割。

进一步地，如图6所示，语义分割模型中的卷积层和反卷积层在进行卷积或反卷积后进行批量归一化，再使用ReLU激活函数。批归一化层用于解决反向传播时的梯度***或消失，并缓解过拟合，激活层为了增加神经网络模型的非线性，使得神经网络模型可以逼近任何函数。

利用加权重的多类别损失函数基于真实类别进行损失值的计算，得到预测误差，利用预测误差进行反向传播，计算和更新当前的网络权重参数，利用训练集多次网络权重的计算与更新，得到最后的网络权重参数，即得到训练好的三维点云语义分割深度神经网络模型。

所述的加权重的多类别损失函数为：

三维点云语义分割的深度神经网络模型在训练中利用损失函数基于真实类别进行损失值的计算，得到预测误差，利用预测误差进行反向传播，计算和更新当前的网络权重参数，加权重的多类别损失函数为：

其中，Loss是带权重的Softmax交叉熵损失函数，损失函数能够衡量预测值与真实值之间的差异。交叉熵的值越小，模型预测效果就越好。f_l(x)(x)是Softmax函数，a_l(x)(x)为分割网络输出特征图中对应x点位置属于类别l(x)的值，K表示语义类别的数目，Softmax函数使得特征图中每个位置的多分类预测概率和为1。w_l(x)(x)表示x点属于语义类别l(x)的权重，N为数据集中点的总个数，N_l(x)表示类别为l(x)的点个数。w_l权重的含义在于对点数占比较小的类别赋予较大的学习权重，对点数占比较大的赋予较小的学习权重。训练的时候通过不断减少Loss的值来提高分割效果。

训练集由经过预处理的S3DIS数据集中Area1～Area5构成。训练模型的参数配置为：输入的点云点数N＝4096，九通道，包括XYZ坐标信息，RGB颜色信息，位置归一化信息。模型训练时采用adam优化器，初始的学习率是0.001，动量是0.9，批量是24，延迟率是0.5，延迟步长是300000，最大迭代次数为50。在训练过程中对loss、IoU及recall等参数进行监控，每一次迭代结束后，比较此次IoU与历史最大IoU的值，如果大于，保存当前训练模型，并更新历史最大IoU值，所以训练结束后，保存的训练模型为IoU最高的训练模型。

步骤S2.将待测点云输入训练好的三维点云语义分割神经网络模型，得到点云的分割结果。

利用本发明训练好的三维点云语义分割模型进行语义分割时，可以有效地获取点云中每个点的语义类别，提高了语义分割方法的准确度，在S3DIS数据集Area1～Area5上进行训练，在Area6进行验证，精度达到90.14％，mIOU达到72.83％。

在实践应用中，本方法可以更准确地进行三维点云的语义分割，相比于以往方法可以实现更高的精度，并适用于复杂的场景。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度学习的三维点云语义分割方法，其特征在于，该方法包括以下步骤：

S1.使用三维点云训练集训练语义分割神经网络模型，训练样本为三维点云，标签为真实的语义类别，所述语义分割神经网络模型包括：特征提取网络和语义分割网络；

所述特征提取网络，用于提取三维点云的全局特征和局部特征；

所述语义分割网络，用于融合点云的全局特征和局部特征，输出的特征图对应点云中各点属于各个语义类别的概率；

S2.将待测点云输入训练好的语义分割神经网络模型，得到点云的分割结果；

特征提取网络将点云作为输入，依次通过1*9MLP(64)、第一局部特征提取模块、第一通道注意力提升模块、第二局部特征提取模块、第二通道注意力提升模块、连接结构、1*1MLP(1024)、最大池化层来提取特征；其中，

局部特征提取模块，用于提取点云的多尺度局部特征；

通道注意力提升模块，用于提取点云的全局特征和点特征，并将注意力集中在信息量大的特征通道上，抑制不重要的通道特征；

所述连接结构，用于将两个局部特征提取模块输出的局部特征与第二通道注意提升模块输出的点特征进行连接，再经过1*1MLP(1024)和最大池化层得到最后特征；

MLP()括号里的数字表示卷积核的个数。

2.如权利要求1所述的三维点云语义分割方法，其特征在于，所述局部特征提取模块包含四个并行分支，每个分支提取一个尺度的局部邻域特征，

第一个分支，用于通过一个1*1MLP(O)提取点特征，输出特征维度为O；

第二个分支，用于通过KNN(K)搜索点云的K邻域，先通过一个1*1MLP(O)提取特征，然后通过一个1*1MLP(1)和一个Softmax函数提取局部特征中每条边的权重，将MLP(O)的输出与权重进行矩阵相乘得到该局部邻域尺度下的局部特征，输出特征维度为O；

第三个分支，用于通过KNN(2K)搜索点云的2K邻域，后续跟第二个分支一样，输出特征维度为O；

第四个分支，用于通过KNN(3K)搜索点云的3K邻域，后续跟第二个分支一样，输出特征维度为O；

最后将四个分支的输出特征进行连接得到多尺度局部特征，输出特征的维度为4*O的多尺度局部特征。

3.如权利要求1所述的三维点云语义分割方法，其特征在于，所述通道注意力提升模块具体结构如下：

一个1*1MLP(C)，用于提取C维特征；

第一个分支，用于将C维特征通过一个全局平均池化层、一个全连接层和Sigmoid函数，得到每个特征通道的权重，将权重与C维特征相乘得到通道注意力提升的点特征；

第二个分支，用于将C维特征通过一个最大池化，得到一个C维全局特征，对全局特征进行复制恢复到原来C维特征的大小，然后与第一个分支得到的权重相乘，得到经过通道注意力提升的全局特征；

其中，MLP()括号里的数字表示卷积核的个数。

4.如权利要求1至3任一项所述的三维点云语义分割方法，其特征在于，所述语义分割网络语义分割子网络通过连接结构、1*1MLP(512)、1*1MLP(256)、1*1MLP(128)、1*1MLP(c)，得到点云中每个点在每个语义类别的概率，把概率最大的类别作为点的标签，从而实现语义分割，得到分割结果，c表示语义类别数。

5.如权利要求1至3任一项所述的三维点云语义分割方法，其特征在于，训练阶段，计算和更新当前的网络权重参数，加权重的多类别损失函数为：

6.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-5中任一项所述的基于深度学习的三维点云语义分割方法。