CN111027559A - 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 - Google Patents

Abstract

本发明公开了一种基于扩张点卷积空间金字塔池化的点云语义分割方法，首先通过最远点采样算法获得点云子集中心点，并利用KNN算法确定子集范围；然后通过扩张点卷积空间金字塔池化提取各点云子集特征，增大点卷积的感受野，丰富了场景多尺度目标的特征提取；其次采用简单有效的解码模块实现特征解码，提高了稀疏点云的分割精度；最后通过全连接层实现各个点云的标签分类。本发明的点云语义分割方法具有分割精度高、适应场景多样等突出优点。

Description

一种基于扩张点卷积空间金字塔池化的点云语义分割方法

技术领域

本发明属于计算机视觉领域，涉及一种基于扩张点卷积空间金字塔池化的 3D语义分割方法。

背景技术

点云语义分割是3D场景解析技术的主要研究难点和热点之一，如何高效快 速的获取点云局部特征、全局特征以及场景上下文信息就成为亟待解决问题。点 云语义分割通过获取场景点云特征，实现逐点分类，达到场景解析的目的。然而， 场景点云具有无序性、稀疏性和密度不均性，另外场景目标具有多尺度特性，这 些因素都严重影响了点云特征的获取。目前，针对点云语义分割的方案主要有多 视角方案、体素化方案，以及直接处理点云方案。其中，多视角方案利用投影方 式获取点云场景不同视角的图像，并输入传统的2D卷积神经网络；体素化方案 将点云划分为3D网格，并利用3D卷积神经网络提取特征；上述两种方案将不 规则点云转化为规则数据，一定程度避免了点云的局限性，但是丢失场景点云的 部分几何信息，引入了量化误差，且分割精度依赖于传统卷积神经网络的性能。 直接处理点云方案因最大化保留点云信息，受到越来越多的关注。点云语义分割 网络为了获取不同尺度上下文信息，常采用点云多尺度分组方式，容易造成更多 的计算成本。另外，现有点云语义分割网络的局部特征、上下文信息获取能力仍 有待提高。

如何提高局部特征和上下文信息获取能力，以及降低网络计算成本是本领域 的主要急需解决的技术问题。

发明内容

本发明针对上述问题，提出一种基于扩张点卷积空间金字塔池化的点云语义 分割方法。

一种基于扩张点卷积空间金字塔的点云语义分割方法，包括以下步骤：

步骤1：基于ScanNet数据集点云，采用最远点采样算法获取点云子集中心 点；

所述网络的输入点云分别为P{p₁,p₂,p₃…,p_n}，特征为F，使用迭代最远点采 样算法从输入点云中选择出子集P_sub-i{P_i1,P_i2,P_i3,…,P_im}，使得P_ij与子集中其他 点距离最远；

步骤2：基于步骤1中获得的点云子集中心点，利用最近邻算法确定点云子 集的范围；

输入形式为P×(D+C)和P₁×D的矩阵信息，输出形式为P₁×K₁×(D+C) 矩阵信息。其中，P为输入点云个数，P₁为下采样中心点个数，D为各点的D维 坐标信息，C为C维点特征信息，K₁为中心点邻域点的个数；

通过KNN算法搜索出K₁个距离中心点最近的邻域点，并根据各邻域点到中 心点的距离大小对相应邻域点排序编号。K₁个领域点与中心点组成中心点邻域， 也称作局部邻域。

步骤3：利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F₁，并得 到P₁个抽象点；

输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+C″)的矩阵 信息。其中，C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得到的点 特征维度；

步骤4：基于步骤3获得的P₁个抽象点云，进行采样、分组。

该步骤输入形式为P₁×(D+C′)的矩阵信息，输出形式为P₂×K₂×(D+C′)； 其中，P₂为第二次下采样中心点个数，K₂为第二次下采样中心点邻域点个数；基 于P₁个抽象点云，重复步骤1和步骤2操作，得到P₂个下采样中心点，K₂个中心 点领域点，得到P₂个局部邻域；

步骤5：PointNet提取局部领域特征F₂；

输入形式为P₂×K₂×(D+C′)的矩阵，输出形式为P₂×(D+C″)；其中，C″ 为PointNet在局部领域抽象得到的点特征维度；

步骤6：解码P₂个含有F₂特征的抽象点云，得到P₁个含有F₃特征的抽象点云；

输入形式为P₂×(D+C″)的矩阵信息，输出形式为P₁×(D+C″′)；其中， C″′为解码后点云特征维度；

步骤7：解码P₁个含有F₃特征的抽象点云，得到P个含有F₄特征的抽象点云；

输入形式为P₁×(D+C″′)的矩阵信息，输出形式为P₁×(D+C″″)。其中， C″″为解码后点云特征维度；

步骤8：采用全连接层得到各个点云的标签。

该步骤输入形式P×(D+C″″)，输出P×k。其中k为场景点云类别数。

进一步的，改进型扩张点卷积空间金字塔池化提取点云局部邻域特征包括以 下三个步骤：1)改进传统扩张点卷积；2)不同扩张率的改进型扩张点卷积通道 分别提取局部领域特征；3)各通道特征融合相加；4)特征降维；

具体提取过程如下：

1)替换点卷积核函数MLP，改进扩张点卷积；

传统扩张点卷积的连续卷积定义为：

其中，H为连续特征函数，给p_j赋值一个特征值；G为连续核函数，将p_j到p_i距 离映射为核权重；利用蒙特卡罗积分，连续卷积定义转换为：

其中，d为扩张点卷积的扩张率；无穷核函数G(·)用多层感知机代替：

其中，p为邻域点与中心点的相对位置，这里用欧式距离；θ为MLP的一系 列参数。

为了获取更多局部邻域特征，将局部邻域点特征抽象到更高维，得到冗余信 息，因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替：

其中，PN为PointNet网络，θ′为PN一系列参数；

2)各改进型扩张点卷积提取局部邻域特征；

输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+C_i)；其中， C_i为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度；

空间金字塔池化具有i个通道，每个通道携带一个改进型扩张点卷积，扩张 点卷积的扩张率分别为d₁,d₂,…,d_i,则得到i组局部邻域不同尺度内容信息 P₁×(D+C_i)；

3)融合各个改进型扩张点卷积网络提取的特征信息；

输入形式为P₁×(D+C_i)，输出形式为∑P₁×(D+C_i)；其中，i为空间金字 塔池化通道数，也为改进型扩张点卷积个数；通过拼接方法融合不同尺度内容信 息；

4)降维特征信息；

输入形式为输出形式为∑P₁×(D+C_i)，输出形式为P₁×(D+C′)。

随着通道数增加，局部邻域特征数呈i倍增长，增大编码层后端编码计算成 本。因此，对融合的特征信息采用1×1卷积操作，降低特征维度。

相比传统点卷积，改进型扩张点卷积扩大了感受野，获得更多场景上下文信 息，而不增加卷积计算成本。另外，空间金字塔池化能有效编码场景多尺度内容 信息。因此，本发明结合改进型扩张点卷积和空间金字塔池化的优点，保证卷积 计算成本，高效提取局部邻域特征和上下文信息。

进一步的，选用PointNet作为局部邻域点云的特征提取器，PointNet特征提 取器工作原理如下：

给定一组无序局部邻域点{p_l1,p_l1,…,p_ln}，则可定义函数H′将这组点云映射 为一个矢量：

其中，γ和h通常为MLP。

PointNet【文献1】常被用作点云特征提取器，它保证了无序点云的平移不 行性，能将低维点特征抽象为丰富的高维语义特征，提高分割精度。

进一步的，所述步骤6中的解码过程如下：

1)插值上采样：基于P₂个抽象点云，采用插值算法上采样，得到P₁个抽象 点云，其点云特征仍为F₂。该步骤输入P₂×(D+C″)矩阵，输出P₁×(D+C″)；

2)跳链接融合特征：通过跳链接方式，将步骤3中P₁个抽象点云特征F₁与 上采样得到的P₁个抽象点云特征F₂融合相加；该步骤输入P₁×(D+C″)和 P₁×(D+C′)，输出P₁×(D+C″+C′)；

3)解码：基于融合特征的点云，采用Unit PointNet解码；

该步骤输入P₁×(D+C″+C′)，输出P₁×(D+C″′)。

进一步的，所述步骤7中的解码过程如下：

1)插值上采样：输入P₁×(D+C″′)矩阵，输出P×(D+C″′)；

2)跳链接融合特征：输入P×(D+C″′)和P×(D+C)，输出P×(D+C″′+ C)；

3)解码：输入P×(D+C″′+C)，输出P×(D+C″″)。

有益效果

本发明的基于扩张点卷积空间金字塔池化的点云语义分割方法，首先通过 最远点采样算法获得点云子集中心点，并利用KNN算法确定子集范围；然后通 过扩张点卷积空间金字塔池化提取各点云子集特征，增大点卷积的感受野，丰富 了场景多尺度目标的特征提取；其次利用简单有效的解码模块实现特征解码，提 高了稀疏点云的分割精度；最后通过全连接层实现各个点云的标签分类。本发明 的点云语义分割方法具有分割精度高、适应场景多样等突出优点。

本发明可实现直接对无规则、稀疏且密度不均点云的语义分割，具有分割精 度高，计算成本低、适应场景多等优点，有效解决了室内、外场景语义分割技术 中对于点云局部特征、上下文信息获取效率低和计算成本高等问题。

与现有点云语义分割网络相比，本发明的先进性变现在：

1)结合了扩张点卷积和PointNet，提出了一种改进型扩张点卷积，提高了 点云局部特征和上下文信息的获取能力；

2)启发于空间金字塔池化，本发明提出了一种改进型扩张点卷积空间金字 塔池化，有效编码多尺度上下文信息，丰富点云特征，提高了场景语义分割精度。

3)本发明提出了一种融合了扩张点卷积空间金字塔池化的改进型编码层， 将扩张点卷积空间金字塔池化放置于编码层前端，避免点云高维特征丢失，更有 利于场景小目标的分割。

4)本发明提出一种简单而有效的解码层，将编码层的点云高维特征上采样， 并与点云低维特征相加，丰富场景细节特征信息，提高分割精度。

附图说明

图1为本发明整体网络框图图；

图2为传统点卷积、扩张点卷积和改进的扩张点卷积；

图3为扩张点卷积空间金字塔池化；

图4PointNet特征提取器

图5为点云语义分割网络框架。

具体实施方式

以下将结合附图对本发明做进一步详细说明。

本发明所涉及的点云数据可采用室内场景公用数据集ScanNet和室外场景 公用数据集Semantic3D等。其中，ScanNet数据集提供了办公室、公寓、卧室等 多类室内场景，点云数据由RGB-D摄像机采集获得，包含了点的坐标信息、颜 色信息和alpha通道P(x,y,z,,r,g,b,alpha)。Semantic3D数据集提供了农场、广 场、城堡等多类室外场景，点云数据由由静态地面激光扫描仪采集获得，包含了 点的坐标信息、激光反射强度和颜色信息P(x,y,z,intensity,r,g,b)。作为应用实 例，本发明给出了基于ScanNet公用数据集的测试效果。

图1所示，为本发明的流程图，一种基于扩张点卷积空间金字塔的点云语义 分割方法，包括以下步骤：

步骤1：基于ScanNet数据集点云，采用最远点采样算法获取点云子集中心 点；

所述网络的输入点云分别为P{p₁,p₂,p₃…,p_n}，特征为F，使用迭代最远点采 样算法从输入点云中选择出子集P_sub-i{P_i1,P_i2,P_i3,…,P_im}，使得P_ij与子集中其他 点距离最远。在给定相同数量的中心点前提下，相比随机点采样算法，最远点采 样算法覆盖所有输入点云的能力更强。

步骤2：基于步骤1中获得的点云子集中心点，利用最近邻算法(KNN)确 定点云子集的范围；

该步骤输入形式为P×(D+C)和P₁×D的矩阵信息，输出形式为P₁×K₁× (D+C)矩阵信息。其中，P为输入点云个数，P₁为下采样中心点个数，D为各点 的D维坐标信息，C为C维点特征信息，K₁为中心点邻域点的个数。

通过KNN算法搜索出K₁个距离中心点最近的邻域点，并根据各邻域点到中 心点的距离大小对相应邻域点排序编号。K₁个领域点与中心点组成中心点邻域， 也称作局部邻域。

步骤3：利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F₁，并得 到P₁个抽象点；

本步骤输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+C″) 的矩阵信息。其中，C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得 到的点特征维度。

相比传统点卷积，改进型扩张点卷积扩大了感受野，获得更多场景上下文信 息，而不增加卷积计算成本。另外，空间金字塔池化能有效编码场景多尺度内容 信息。因此，本发明结合改进型扩张点卷积和空间金字塔池化的优点，保证卷积 计算成本，高效提取局部邻域特征和上下文信息。改进型扩张点卷积空间金字塔 池化提取点云局部邻域特征主要包括以下三个步骤：1)改进传统扩张点卷积；2) 不同扩张率的改进型扩张点卷积通道分别提取局部领域特征；3)各通道特征融 合相加；4)特征降维。具体提取过程如下：

1)替换点卷积核函数MLP，改进扩张点卷积；

如图2，传统扩张点卷积的连续卷积定义为：

其中，H为连续特征函数，给p_j赋值一个特征值；G为连续核函数，将p_j到p_i距 离映射为核权重；在大多数实际应用中，特征函数F并不是完全已知，利用蒙特 卡罗积分，连续卷积定义可近似转换为：

其中，d为扩张点卷积的扩张率；这里无穷核函数G(·)用多层感知机(MLP)代 替：

其中，p为邻域点与中心点的相对位置，这里用欧式距离；θ为MLP的一系 列参数。

为了获取更多局部邻域特征，将局部邻域点特征抽象到更高维，得到冗余信 息，因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替，PointNet特征提 取器将在步骤5中详细介绍：

其中，PN为PointNet网络，θ′为PN一系列参数。

2)各改进型扩张点卷积提取局部邻域特征；

该步骤的输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+ C_i)。其中，C_i为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度。

如图3所示，空间金字塔池化具有i个通道，每个通道携带一个改进型扩张 点卷积，扩张点卷积的扩张率分别为d₁,d₂,…,d_i,则得到i组局部邻域不同尺度内 容信息P₁×(D+C_i)。

3)融合各个改进型扩张点卷积网络提取的特征信息；

该步骤输入形式为P₁×(D+C_i)，输出形式为∑P₁×(D+C_i)。其中，i为空 间金字塔池化通道数，也为改进型扩张点卷积个数。通过拼接方法融合不同尺度 内容信息。

4)降维特征信息。

该步骤输入形式为输出形式为∑P₁×(D+C_i)，输出形式为P₁×(D+C′)。 随着通道数增加，局部邻域特征数呈i倍增长，增大编码层后端编码计算成本。 因此，对融合的特征信息采用1×1卷积操作，降低特征维度。

步骤4：基于步骤3获得的P₁个抽象点云，进行采样、分组。

该步骤输入形式为P₁×(D+C′)的矩阵信息，输出形式为P₂×K₂×(D+C′)。 其中，P₂为第二次下采样中心点个数，K₂为第二次下采样中心点邻域点个数。基 于P₁个抽象点云，重复步骤1和步骤2操作，得到P₂个下采样中心点，K₂个中心 点领域点，得到P₂个局部邻域。

步骤5：PointNet提取局部领域特征F₂；

该步骤输入形式为P₂×K₂×(D+C′)的矩阵，输出形式为P₂×(D+C″)。 其中，C″为PointNet在局部领域抽象得到的点特征维度。

PointNet【文献1】常被用作点云特征提取器，它保证了无序点云的平移不 行性，能将低维点特征抽象为丰富的高维语义特征，提高分割精度。本发明选用 PointNet作为局部邻域点云的特征提取器，如图4所示，PointNet特征提取器工 作原理如下。

给定一组无序局部邻域点{p_l1,p_l1,…,p_ln}，则可定义函数H′将这组点云映射 为一个矢量：

其中，γ和h通常为MLP。

步骤6：解码P₂个含有F₂特征的抽象点云，得到P₁个含有F₃特征的抽象点云；

该步骤输入形式为P₂×(D+C″)的矩阵信息，输出形式为P₁×(D+C″′)。其中， C″′为解码后点云特征维度。解码层主要包括三个步骤：1)插值上采样：基于P₂个 抽象点云，采用插值算法上采样，得到P₁个抽象点云，其点云特征仍为F₂。该步 骤输入P₂×(D+C″)矩阵，输出P₁×(D+C″)。2)跳链接融合特征：通过跳链 接方式，将步骤3中P₁个抽象点云特征F₁与上采样得到的P₁个抽象点云特征F₂融 合相加。该步骤输入P₁×(D+C″)和P₁×(D+C′)，输出P₁×(D+C″+C′)。3) 解码：基于融合特征的点云，采用Unit PointNet【文献1】解码。该步骤输入P₁×(D+C″+C′)，输出P₁×(D+C″′)。

步骤7：解码P₁个含有F₃特征的抽象点云，得到P个含有F₄特征的抽象点云；

该步骤输入形式为P₁×(D+C″′)的矩阵信息，输出形式为P₁×(D+C″″)。 其中，C″″为解码后点云特征维度。解码过程如步骤6所示，其数据流形式如下： 1)插值上采样：输入P₁×(D+C″′)矩阵，输出P×(D+C″′)。2)跳链接融合 特征：输入P×(D+C″′)和P×(D+C)，输出P×(D+C″′+C)。3)解码：输 入P×(D+C″′+C)，输出P×(D+C″″)。

步骤8：采用全连接层得到各个点云的标签。

该步骤输入形式P×(D+C″″)，输出P×k。其中k为场景点云类别数。

【文献1】Charles R Q,Hao S,Mo K,et al.PointNet:Deep Learning on PointSets for 3D Classification and Segmentation[C]//IEEE Conference on ComputerVision& Pattern Recognition.2017.

Claims (5)

1.一种基于扩张点卷积空间金字塔的点云语义分割方法，其特征在于，包括以下步骤：

步骤1：基于ScanNet数据集点云，采用最远点采样算法获取点云子集中心点；

所述网络的输入点云分别为P{p₁,p₂,p₃…,p_n}，特征为F，使用迭代最远点采样算法从输入点云中选择出子集

使得

与子集中其他点距离最远；

步骤2：基于步骤1中获得的点云子集中心点，利用最近邻算法确定点云子集的范围；

输入形式为P×(D+C)和P₁×D的矩阵信息，输出形式为P₁×K₁×(D+C)矩阵信息。其中，P为输入点云个数，P₁为下采样中心点个数，D为各点的D维坐标信息，C为C维点特征信息，K₁为中心点邻域点的个数；

步骤3：利用改进型扩张点卷积空间金字塔池化提取局部邻域特征F₁，并得到P₁个抽象点；

输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+C″)的矩阵信息。其中，C″为改进型扩张点卷积空间金字塔池化在局部邻域抽象得到的点特征维度；

步骤4：基于步骤3获得的P₁个抽象点云，进行采样、分组。

该步骤输入形式为P₁×(D+C′)的矩阵信息，输出形式为P₂×K₂×(D+C′)；其中，P₂为第二次下采样中心点个数，K₂为第二次下采样中心点邻域点个数；基于P₁个抽象点云，重复步骤1和步骤2操作，得到P₂个下采样中心点，K₂个中心点领域点，得到P₂个局部邻域；

步骤5：PointNet提取局部领域特征F₂；

输入形式为P₂×K₂×(D+C′)的矩阵，输出形式为P₂×(D+C″)；其中，C″为PointNet在局部领域抽象得到的点特征维度；

步骤6：解码P₂个含有F₂特征的抽象点云，得到P₁个含有F₃特征的抽象点云；

输入形式为P₂×(D+C″)的矩阵信息，输出形式为P₁×(D+C″′)；其中，C″′为解码后点云特征维度；

步骤7：解码P₁个含有F₃特征的抽象点云，得到P个含有F₄特征的抽象点云；

输入形式为P₁×(D+C″′)的矩阵信息，输出形式为P₁×(D+C″″)。其中，C″″为解码后点云特征维度；

步骤8：采用全连接层得到各个点云的标签；

输入形式P×(D+C″″)，输出P×k；其中k为场景点云类别数。

2.根据权利要求1所述的方法，其特征在于，改进型扩张点卷积空间金字塔池化提取点云局部邻域特征包括以下三个步骤：1)改进传统扩张点卷积；2)不同扩张率的改进型扩张点卷积通道分别提取局部领域特征；3)各通道特征融合相加；4)特征降维；

具体提取过程如下：

1)替换点卷积核函数MLP，改进扩张点卷积；

传统扩张点卷积的连续卷积定义为：

其中，H为连续特征函数，给p_j赋值一个特征值；G为连续核函数，将p_j到p_i距离映射为核权重；利用蒙特卡罗积分，连续卷积定义转换为：

其中，d为扩张点卷积的扩张率；无穷核函数G(·)用多层感知机代替：

其中，p为邻域点与中心点的相对位置，这里用欧式距离；θ为MLP的一系列参数。

为了获取更多局部邻域特征，将局部邻域点特征抽象到更高维，得到冗余信息，因此改进型扩张点卷积将无穷核函数g(·)用PointNet代替：

其中，PN为PointNet网络，θ′为PN一系列参数；

2)各改进型扩张点卷积提取局部邻域特征；

输入形式为P₁×K₁×(D+C)的矩阵信息，输出形式为P₁×(D+C_i)；其中，C_i为第i个改进型扩张点卷积在局部邻域抽象得到的点特征维度；

空间金字塔池化具有i个通道，每个通道携带一个改进型扩张点卷积，扩张点卷积的扩张率分别为d₁,d₂,…,d_i,则得到i组局部邻域不同尺度内容信息P₁×(D+C_i)；

3)融合各个改进型扩张点卷积网络提取的特征信息；

输入形式为P₁×(D+C_i)，输出形式为∑P₁×(D+C_i)；其中，i为空间金字塔池化通道数，也为改进型扩张点卷积个数；通过拼接方法融合不同尺度内容信息；

4)降维特征信息；

输入形式为输出形式为∑P₁×(D+C_i)，输出形式为P₁×(D+C′)。

3.根据权利要求2所述的方法，其特征在于，选用PointNet作为局部邻域点云的特征提取器，PointNet特征提取器工作原理如下：

给定一组无序局部邻域点{p_l1,p_l1,…,p_ln}，则可定义函数H′将这组点云映射为一个矢量：

其中，γ和h通常为MLP。

4.根据权利要求1所述的方法，其特征在于，所述步骤6中的解码过程如下：

1)插值上采样：基于P₂个抽象点云，采用插值算法上采样，得到P₁个抽象点云，其点云特征仍为F₂。该步骤输入P₂×(D+C″)矩阵，输出P₁×(D+C″)；

2)跳链接融合特征：通过跳链接方式，将步骤3中P₁个抽象点云特征F₁与上采样得到的P₁个抽象点云特征F₂融合相加；该步骤输入P₁×(D+C″)和P₁×(D+C′)，输出P₁×(D+C″+C′)；

3)解码：基于融合特征的点云，采用Unit PointNet解码；

该步骤输入P₁×(D+C″+C′)，输出P₁×(D+C″′)。

5.根据权利要求4所述的方法，其特征在于，所述步骤7中的解码过程如下：

1)插值上采样：输入P₁×(D+C″′)矩阵，输出P×(D+C″′)；

2)跳链接融合特征：输入P×(D+C″′)和P×(D+C)，输出P×(D+C″′+C)；

3)解码：输入P×(D+C″′+C)，输出P×(D+C″″)。

Images