CN113538474B - 基于边缘特征融合的3d点云分割目标检测*** - Google Patents

Abstract

本发明公开了基于边缘特征融合的3D点云分割目标检测***，涉及深度学习3D点云分割技术领域；其采用多层感知机提取边缘特征，将点云保持特征与点云提取特征相融合，生成点云边缘融合特征，增强边缘特征的提取能力，将得到的边缘特征应用于目标检测任务，提升点云分割模型的精度，获得准确的点云目标检测结果，可以很好地应用于无人驾驶、机械手感知等领域。

Description

基于边缘特征融合的3D点云分割目标检测***

技术领域

本发明涉及深度学习3D点云分割技术领域，具体涉及一种基于边缘特征融合的3D点云分割目标检测***。

背景技术

近年来，随着三维激光扫描技术的发展，三维点云数据的采取也变得快速且便捷。在无人驾驶、机器人、室内场景检测和识别等领域都有非常广泛的应用，三维点云在计算机视觉领域已然成为研究热点。目前对场景获取主要依靠传统点云，但计算机自动审查技术不够成熟，现有算法不能实现对点云目标充分认识与理解。深度学习在计算机视觉领域快速发展，并且在二维图像的识别、分类上取得了显著的成就。同时，三维点云分类的研究受此影响也越来越多的开始使用深度学习的方法。

现有的3D点云目标检测算法大多以关键点作为3D检测目标，通过关键点之间的连接关系确定辅助训练模块，实现对3D目标框的精准定位。名称为一种基于关键点的3D目标检测方法，公开号为CN112766100A的发明专利申请，利用3D目标的关键点，通过回归同一个3D目标的点与点之间的连接关系实现框的定位。但是该方法忽略了局部与全局之间的关系导致3D目标检测精度不高。名称为一种基于局部边缘特征增强的点云分类方法及***，公开号为CN112052884A的发明专利申请，通过获取点云体素化数据、点云体素化数据对应的点云在预设邻域内的边缘特征，以及点云体素化数据对应点云对应的体素位置，基于图卷积网络结构和通道注意力机制构建出点云分类模型对特征填充后的点云进行分类，并输出点云分类结果，增加了特征通道之间的相互依赖关系，加强了点云的全局特征表达能力，从而提高了点云分类的效率和预测准确度。但由于要进行点云边缘填充，该方法会加大对小样本模型的识别误差，不利于小样本点云模型目标分类。

发明内容

针对现有技术存在上述问题，本发明提出了一种基于边缘特征融合的3D点云分割目标检测***，其能获得更准确的边缘信息，提高点云目标检测结果的准确性。

为实现上述目的，本申请的技术方案为：基于边缘特征融合的3D点云分割目标检测***，包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块，每个模块均包括多个边缘特征提取单元，所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路，所述点云特征采样层改变从三维图像中获取的点云特征尺寸，所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，所述点云特征提取支路通过提取型多层感知机获得边缘特征，再与一致性的点云特征相融合，使点云边缘融合保持特征内容更具多样性，充分准确表示点云目标特征信息。

进一步的，在所述边缘特征提取单元中为获取点云边缘融合特征，其实施步骤如下：

第1步：将三维图像中原始点云特征向量作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量/>的具体形式为/>

第2步：将所述原始点云特征通过点云特征采样层进行处理，得到尺寸改变后的转换型点云特征/>其表达式如下：

第3步：在点云特征保持支路中，以所述转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达特式，v^σi是点云保持支路中的向量表征表达式，一维卷积操作的具体表达为/>i表示点云特征维度，卷积处理的卷积核大小为1×1，s表示卷积操作的步长，s＝1；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

其中表示提取型多层感知机中的一维卷积操作，卷积核大小为1×1，s代表卷积操作的步长，且s＝1，λ表示每层感知机的偏移量；

第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合特征具体如下：

经过对三维图像中原始点云特征进行上述操作，最终输出点云边缘融合特征/>如下；

由于在每一模块中卷积处理中，一维卷积的卷积核大小和步长为1，最终输出点云边缘融合特征的特征尺寸由点云特征采样层决定，且代表每个单元的的点云特征尺寸，保证了点云特征处理前后的一致性并得到了有效增强，提高了三维图像中点云特征的丰富性。

进一步的，所述扩张提取特征模块包括a个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层以采用5个单元为例，即a∈{1,2,3,4,5}复合而成，为获取点云边缘融合扩张特征，其实施步骤如下：

第1步：将三维图像中原始点云特征向量作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量/>的具体形式为/>

第2步：将所述原始点云特征通过点云特征扩张采样层进行处理，得到尺寸改变后的转换型点云特征/>表达式如下：

第3步：在点云特征保持支路中，以所述转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合扩张特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到a个点云边缘融合扩张特征。以5个单元为例，

经过上述步骤同理可得：

a＝2时，输出结果为

a＝3时，输出结果为

a＝4时，输出结果为

a＝5时，输出结果为

进一步的，所述保持提取特征模块，包括b个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层以采用3个单元为例，即b∈{1,2,3}复合而成，为获取点云边缘融合保持特征，其实施步骤如下：

第1步：将扩张提取特征模块输出的点云边缘融合扩张特征作为输入，读取该特征向量，使用点云特征保持采样层进行特征尺寸保持，得到转换型点云特征具体形式为/>

第2步：在点云特征保持支路中，以转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式。

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合保持特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到b个点云边缘融合保持特征。以3个单元为例，

经过上述步骤同理可得：

b＝2时，输出结果为

b＝3时，输出结果为

进一步的，所述还原提取特征模块包括c个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层以采用4个单元为例，即c∈{1,2,3,4}复合而成，为获取点云边缘融合还原特征，其实施步骤如下：

第1步：将保持提取特征模块输出的点云边缘融合保持特征作为输入，读取该特征向量，使用还原点云特征采样层进行特征尺寸保持，得到转换型点云特征具体形式为/>

第2步：在点云特征保持支路中，以转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合还原特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到c个点云边缘融合还原特征。以4个单元为例，

经过上述步骤同理可得：

c＝2时，输出结果为

c＝3时，输出结果为

c＝4时，输出结果为

本发明由于采用以上技术方案，能够取得如下的技术效果：

(1)适用于通过边缘特征获取点云特征情况

本发明中的三维图像以原始点云特征为输入，在采用多层感知机结构提取点云特征的过程中融合边缘特征信息，得到的点云特征具备原始点云特征和边缘特征的双重表达，增强点云特征的表达能力，适用于通过边缘特征获取点云特征的情况。

(2)适用于点云分割任务

本发明中的三维图像通过边缘特征提取复合结构获取表达能力更强的点云边缘融合保持特征，可以将三维图像中目标的点云特征和点云保持特征相融合，级联后作为目标特征输入，获取准确的点云分割结果。

(3)适用于目标检测任务

本发明可以有效提升三维图像中点云分割模型性能，具有相对简单的目标、动作、属性等因素，可以更好的应用于目标检测任务。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是边缘特征提取单元示意图；

图2是边缘特征提取单元组成的扩张提取特征模块示意图；

图3是边缘特征提取单元组成的保持提取特征模块示意图；

图4是边缘特征提取单元组成的还原提取特征模块示意图：

图5是本***(边缘特征提取复合结构)整体框架示意图；

图6是实施实例1中自动驾驶识别周围环境情况示意图；

图7是实施实例2中铁路场景检测场景情况示意图；

图8是实施实例3中机械手抓取物体情况示意图。

具体实施方式

本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

本实施例提供一种基于边缘特征融合的3D点云分割目标检测***，将三维图像原始点云特征经过边缘特征提取复合结构处理，得到含有表达能力较强的边缘特征信息的点云边缘融合还原特征。该复合结构包括三个模块，分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块，其基本结构为边缘特征提取单元，其包括点云特征采样层、点云特征保持支路和点云特征提取支路。点云特征采样层改变输入点云特征尺寸，点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，点云特征提取支路通过提取型多层感知机提取边缘特征，再与一致性的点云特征相融合，使点云边缘融合特征内容更具多样性，充分准确表示点云目标特征信息。

所述边缘特征提取单元在提取型多层感知机的处理过程中获取隐藏层特征，之后融合点云特征，丰富特征内容的多样性，复用边缘特征提取单元得到扩张提取特征模块、保持提取特征模块和还原提取特征模块，获取具备点云特征和边缘特征相融合表达的特征，增强点云特征的表达能力。将点云特征保持支路得到的点云保持特征和点云特征提取支路得到的点云提取特征相融合后，作为下一单元的输入。在扩张提取特征模块中边缘特征提取单元的采样层为点云特征扩张采样层，保持提取特征模块中边缘特征提取单元的采样层为点云特征保持采样层，还原提取特征模块中边缘特征提取单元的采样层为点云特征还原采样层，分别在各单元中对输入点云特征进行特征尺寸变换。

边缘特征提取复合结构包括上述三个模块，作为点云多层提取特征主要结构，随后输入到最大池化层提取整个结构中最占优势特征，该方法得到的点云特征可以提升点云分割的准确度。

所述边缘特征提取单元，将三维图像的原始点云坐标作为输入，先经过例如KNN等聚类方式预处理的原始点云特征经过点云特征采样层改变或保持点云特征尺寸，输出转换型点云特征R_F，作为点云特征保持支路和点云特征提取支路的输入。点云特征保持支路中输出点云特征保持R_B，点云特征提取支路中经过提取型多层感知机处理后，输出为点云提取特征R_T，将点云保持特征R_B与点云提取特征R_T融合，最终输出为点云边缘融合特征R，具体为：

(1)输入三维图像的原始点云特征即将输入到边缘特征提取单元的特征向量。

(2)三维图像经过处理后输出点云保持特征R_B，具体为：三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征R_F，该转换型点云特征R_F经过尺寸为1的卷积核进行1维卷积处理得到的特征向量。

(3)三维图像经过处理后输出点云提取特征R_T，具体为：三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征R_F，该转换型点云特征R_F经过多层感知机提取特征，输出点云提取特征R_T。

(4)点云特征融合，具体操作是：将点云保持特征R_B与点云提取特征R_T相加融合，得到点云边缘融合保持特征R。

在点云特征保持支路，对原始点云特征进一步处理，在特征尺寸改变、点云特征表示检测目标属性不变的情况下，提升边缘特征的表达能力，同时为点云特征提取支路提供点云原始特征。在点云特征提取支路中，将点云提取特征与点云保持特征相加，丰富特征内容，得到具备较强表达能力的点云特征。

边缘特征提取复合结构包括串联使用的三个模块，分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块，输入为原始点云特征输出为点云边缘融合特征/>具体为：

(1)输入三维图像中的原始点云特征即将输入到边缘特征提取复合结构的特征向量。

(2)扩张提取特征模块中有a个边缘特征提取单元，其中点云特征采样层为点云特征扩张采样层，对输入原始点云特征进行尺寸放大，点云特征扩张采样层的输出是保持提取特征模块中有b个边缘特征提取单元，点云特征采样层为点云特征保持采样层，保持输入点云特征尺寸不变，点云特征保持采样层的输出是/>还原提取特征模块中有c个边缘特征提取单元，点云特征采样层为点云特征还原采样层，对输入原始点云特征进行尺寸还原，点云特征还原采样层的输出是/>

(3)所述三维图像中的点云保持特征R_B，是点云特征保持支路中，转换型点云特征R_F经过1个尺寸为1的卷积核进行1维卷积处理得到的特征向量。具体为扩张提取特征模块中的点云特征保持表示为保持提取特征模块中的点云特征保持表示为还原提取特征模块中的点云特征保持表示为/>

(4)所述三维图像中的点云提取特征R_T，是转换型点云特征通过多层感知机提取其中的特征，等待在点云特征提取支路中进行融合处理，扩张提取特征模块中的点云特征提取表示为保持提取特征模块中的点云特征提取表示为/>还原提取特征模块中的点云特征提取表示为/>

(5)所述三维图像中的点云特征融合，具体操作是：在点云特征提取支路中，将点云保持特征R_B与点云提取特征R_T相加融合，扩张提取特征模块中的点云特征融合表示为保持提取特征模块中的点云特征融合表示为/>还原提取特征模块中的点云特征融合表示为/>

边缘特征提取复合结构，对输入点云特征进行尺寸放大、保持、还原变换得到转换型点云特征。在点云特征保持支路，对转换型点云特征进一步处理，不改变点云特征尺寸地情况下提取点云特征。在点云特征提取支路，将点云提取特征与点云保持特征相加，使生成的点云边缘融合特征内容更具多样性，充分准确表示三维图像中点云目标特征信息。

在扩张提取特征模块中：

(1)当a＝1时，输出点云边缘融合扩张特征尺寸为[n×64]。

(2)当a＝2时，输出点云边缘融合扩张特征尺寸为[n×128]。

(3)当a＝3时，输出点云边缘融合扩张特征尺寸为[n×256]。

(4)当a＝4时，输出点云边缘融合扩张特征尺寸为[n×512]。

(5)当a＝5时，输出点云边缘融合扩张特征尺寸为[n×1024]。

在保持提取特征模块中：

(1)当b＝1时，输出点云边缘融合保持特征尺寸为[n×1024]。

(2)当b＝2时，输出点云边缘融合保持特征尺寸为[n×1024]。

(3)当b＝3时，输出点云边缘融合保持特征尺寸为[n×1024]。

在还原提取特征模块中：

(1)当c＝1时，输出点云边缘融合还原特征尺寸为[n×512]。

(2)当c＝2时，输出点云边缘融合还原特征尺寸为[n×256]。

(3)当c＝3时，输出点云边缘融合还原特征尺寸为[n×128]。

(4)当c＝4时，输出点云边缘融合还原特征尺寸为[n×64]。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (4)

1.基于边缘特征融合的3D点云分割目标检测***，其特征在于，包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块，每个模块均包括多个边缘特征提取单元，所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路，所述点云特征采样层改变从三维图像中获取的点云特征尺寸，所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，所述点云特征提取支路通过提取型多层感知机获得边缘特征，再与一致性的点云特征相融合；

在所述边缘特征提取单元中为获取点云边缘融合特征，其实施步骤如下：

第1步：将三维图像中原始点云特征向量作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量的具体形式为/>

第2步：将所述原始点云特征通过点云特征采样层进行处理，得到尺寸改变后的转换型点云特征/>其表达式如下：

第3步：在点云特征保持支路中，以所述转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达特式，v^σi是点云保持支路中的向量表征表达式，一维卷积操作的具体表达为/>i表示点云特征维度，卷积处理的卷积核大小为1×1，s表示卷积操作的步长，s＝1；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

其中表示提取型多层感知机中的一维卷积操作，卷积核大小为1×1，s代表卷积操作的步长，且s＝1，λ表示每层感知机的偏移量；

第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合特征具体如下：

经过对三维图像中原始点云特征进行上述操作，最终输出点云边缘融合特征如下；

2.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***，其特征在于，所述扩张提取特征模块包括a个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层为获取点云边缘融合扩张特征，其实施步骤如下：

第1步：将三维图像中原始点云特征向量作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量的具体形式为/>

第2步：将所述原始点云特征通过点云特征扩张采样层进行处理，得到尺寸改变后的转换型点云特征/>表达式如下：

第3步：在点云特征保持支路中，以所述转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合扩张特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到a个点云边缘融合扩张特征。

3.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***，其特征在于，所述保持提取特征模块，包括b个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层为获取点云边缘融合保持特征，其实施步骤如下：

第1步：将扩张提取特征模块输出的点云边缘融合扩张特征作为输入，读取该特征向量，使用点云特征保持采样层进行特征尺寸保持，得到转换型点云特征

第2步：在点云特征保持支路中，以转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合保持特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到b个点云边缘融合保持特征。

4.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测***，其特征在于，所述还原提取特征模块包括c个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层为获取点云边缘融合还原特征，其实施步骤如下：

第1步：将保持提取特征模块输出的点云边缘融合保持特征作为输入，读取该特征向量，使用还原点云特征采样层进行特征尺寸保持，得到转换型点云特征

第2步：在点云特征保持支路中，以转换型点云特征作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征/>如下所示：

其中，是点云特征保持支路中的特征向量输入表达式；

同时，在点云特征提取支路中，也以所述转换型点云特征作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征/>如下式所示：

第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合还原特征具体如下：

第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到c个点云边缘融合还原特征。