CN111242041B - 基于伪图像技术的激光雷达三维目标快速检测方法 - Google Patents

Abstract

本发明提供了一种基于伪图像技术的激光雷达三维目标快速检测方法，S1，对原始点云数据中的地面点进行剔除；S2，将三维点云数据转化为具有三维特征信息的二维伪图像数据形式；S3，设定二维卷积神经网络融合特征层，捕获伪图像在三个不同尺度下的特征图；S4，基于伪图像在不同尺度下的特征图，利用SSD检测定位网络实现目标的位置回归和类别识别；S5，设定检测网络的总损失函数；S6，由网络训练，得到基于激光雷达采集点云数据进行三维目标检测的标准三维目标检测网络。本发明减少了大量的计算，保证检测过程速度的同时，准确得到被检测目标的位置、大小和形状等信息。

Description

基于伪图像技术的激光雷达三维目标快速检测方法

技术领域

本发明属于无人驾驶汽车领域，涉及无人驾驶汽车环境感知方法，尤其涉及基于激光雷达的三维目标快速检测方法。

背景技术

基于点云的三维目标检测在无人驾驶技术发展过程中是一个不可或缺的任务。无人驾驶车辆的控制***依赖传感器感知周围环境，包括车辆、行人和交通标识等。无人驾驶车辆通常会配置多种传感器设备以获取更多的信息量。不同的传感器之间可以互补，提供更丰富的信息供无人驾驶车辆的控制***进行感知。激光雷达传感器和摄像头传感器是无人驾驶车辆中最常用同时也是最主要的两种传感器设备。而激光雷达采集生成的点云数据，是目前实现无人驾驶车辆目标识别的主要输入，无论对点云数据进行处理，还是对点云与图像信息进行融合，从而实现三维目标检测，都避不开对点云数据的处理。

目前基于点云数据的三维目标检测技术基本过程是利用体素法，将点云分块，对每块中的点云手工提取特征，然后对已编码的块状点云做三维卷积操作，从而实现对图中目标的分类任务。但是三维卷积操作在大场景中是非常消耗计算量，甚至无法实现。

发明内容

针对现有技术中存在不足，本发明提供了一种基于伪图像技术的激光雷达三维目标快速检测方法，在充分考虑点云局部特征后，将三维点云数据转化为具有三维特征信息的二维伪图像数据形式，减少计算量并最终输出高精度的3D Box参数。

本发明是通过以下技术手段实现上述技术目的的。

基于伪图像技术的激光雷达三维目标快速检测方法，利用二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络，构成激光雷达三维目标快速检测网络，用于快速检测三维目标。

进一步的，所述优化特征学习网络包括采样层、分组层和PointNet层。

更进一步的，所述采样层的输出为采样点集n×D，其中：n为通过最远点采样算法得到的采样点集中的点的个数，D为点的原始特征。

更进一步的，所述分组层的输出为点集n×k×D，其中：k为点云簇中所含的点的个数。

进一步的，所述PointNet层对点云簇进行特征提取，得到点云簇的全局特征，即点云柱的局部特征；将点云簇作为单位输入，迭代一次优化特征提取过程，得到点云柱的全局特征。

更进一步的，，所述优化特征学习网络将点云数据的特征张量(D，N，P)转变为伪图像形式(C，H，W)，其中，C为伪图像的通道数，N为每个点云柱中的点数，P为网格总面积，H为网格的长，W为网格的宽。

进一步的，所述激光雷达三维目标快速检测网络在训练过程中采用的损失函数为：

其中N_POS为网络训练过程中正样本的数量，β_cls、β_loc、β_dir分别为分类损失、回归损失和航向角损失的权重，L_cls、L_loc、L_dir分别为3D Box的分类损失、回归损失和航向角损失。

更进一步的，所述航向角损失由softmax分类损失函数定义。

本发明通过上述技术方案，具有以下有益效果：

(1)本发明通过将三维点云数据转化为带有三维信息的二维伪图像数据形式，解决了现有三维目标检测技术中计算量过大、检测速度过慢的不足，在保证一定检测精度的同时，实现了对三维目标的快速检测。

(2)本发明的优化特征学习网络包括采样层、分组层和PointNet层；采样层利用最远点采样算法在点云柱中采样得到点云簇的中心点；分组层利用kNN算法搜索点云簇中心点附近的点，得到中心点的最近邻点；将中心点及其最近邻点作为一簇点云，即实现了点云的局部划分；PointNet层利用简化的PointNet算法学习点云簇的特征，通过最大池化与迭代操作得到每个点云柱的全局特征；本发明通过设定优化特征学习网络，解决了现有点云数据转化为伪图像技术中存在的不能充分学习点云局部特征的问题，实现了对三维目标局部特征的充分提取，有效提升了检测精度。

(3)本发明的损失函数考虑3D Box的分类损失(L_cls)、回归损失(L_loc)和航向角损失(L_dir)，航向角损失由softmax分类损失函数定义，通过设定包含航向角的损失函数，可以使网络很好地学习到被检测目标的朝向信息。

附图说明

图1是本发明基于伪图像技术的激光雷达三维目标快速检测方法的流程图；

图2是本发明由点云数据生成伪图像的流程图；

图3是本发明优化特征学习网络示意图；

图4是本发明二维卷积神经网络的基本结构图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，基于伪图像技术的激光雷达三维目标快速检测方法，具体包括如下过程：

步骤(1)，点云数据预处理

激光雷达采集自车周围环境，并生成原始点云数据，对原始点云数据进行预处理，利用随机抽样一致性算法(RANSAC)对点云数据进行地面点检测，对于平坦地区，利用随机抽样一致性算法将整个点云数据进行地面点移除；对于不平坦地区，对点云数据先进行分块处理，再对每一区块中的点云数据进行地面点移除。

利用随机抽样一致性算法对地面点进行检测并将其剔除的原理是：在点云空间中不断地随机抽取三个点构建平面方程，若构建的平面中包含足够多的点，则认为此平面是地面，将地面点直接滤除。

步骤(2)，点云数据转化生成伪图像(如图2所示)

步骤(2.1)，首先在预处理好的点云数据俯视图所在的平面上划分网格，然后在z轴方向上进行拉伸，生成一个个的点云柱，铺满整个平面。

步骤(2.2)，对于点云柱中的每一个点提取原始特征D＝(x，y，z，r)，其中x、y、z为每一个点在激光雷达坐标系中的坐标，r为每一个点的反射率。

步骤(2.3)，构造张量(D，N，P)，其中N为每个点云柱中的点数(当N大于设定阈值时，保留该点云柱)，P为网格总面积，H为网格的长，W为网格的宽。

步骤(2.4)，设定优化特征学习网络，依次包括采样层、分组层、PointNet层(如图3所示)

步骤(2.4.1)，设定采样层，采样层的目的为选择点云簇中心

利用最远点采样算法(FPS)对每个点云柱进行采样得到采样点集，最远点采样算法的输入为有标签点集X＝{x₁，x₂，x₃，......，x_n}，其中x_i为代表点云数据的D维向量，输出的采样点集为n′×D，其中n′为通过最远点采样算法得到的采样点集中的点的个数(为现有技术)，采样点集中的点均为点云簇中心。

步骤(2.4.2)，设定分组层，分组层用于在每个点云柱中创建多个点云簇

给定半径，利用K最近邻分类算法(kNN算法)以采样点为中心基准寻找固定的邻近点，取半径分别为0.1、0.2、0.4，对应圈内最大点数为16、32、128；将采样点及其邻近点作为一簇点云；分组层的输入为采样点集n′×D，分组层的输出为点集n′×k×D(每个点云柱的所有点云簇)，其中k为点云簇中所含的点的个数(即采样点及其邻近点)。

步骤(2.4.3)，设定PointNet层，PointNet层用于获得点云柱的全局特征

设定点集n′×k×D作为PointNet层的输入，利用简化的PointNet算法学习该簇点云中每个点的特征。具体为：将一簇点云k×D输入到PointNet特征学习网络中，经过T-Net变换，使点云在空间上对齐，然后通过MLP(多层感知机)将点云映射到64维空间；循环一次上述过程，最终将该簇点云映射为一个k×1024维的特征表示，k×1024维的特征表示即为该簇点云的局部特征表示。然而对三维点云数据来说，1024维的特征表示是冗余的，因此，引入最大池化操作，将1024维的特征表示在所有通道上只保留最大的那一个特征，得到1×1024的特征向量，即为该簇点云的全局特征，同时为整个点云柱的局部特征。

上述利用PointNet算法学习点云簇的全局特征适用于每一簇点云。在学习到点云柱中每个点云簇的全局特征后，将每个点云簇作为一个输入单位，迭代步骤(2.4.1)、步骤(2.4.2)、步骤(2.4.3)，最终得到点云柱的全局特征，即通过迭代，整个优化特征学习网络从点云输入中学习得到C个通道。在整个优化点云特征学习网络提取点云局部特征的过程中，在每个维度上提取得到的点云特征信息都包含着上一维度点云中点的局部特征信息，解决了以往三维目标检测方法中点云局部特征提取不充分，导致检测效果不佳的问题。

步骤(2.5)，展开生成伪图像

点云数据经过步骤(2.4)的优化特征学习网络后，特征张量(D，N，P)转变为(C，N，P)，对N进行最大池化操作，特征张量转化为(C，P)，又因为P＝H×W，于是点云数据展开成一个伪图像形式(C，H，W)，C为伪图像的通道数。

步骤(3)，二维卷积神经网络(CNN)融合特征层(如图4所示)

二维卷积神经网络融合特征层包括下采样层和上采样层。二维卷积神经网络的输入为步骤(2)输出的伪图像数据(C，H，W)，输出为经下采样层和上采样层处理融合后的特征图(6C，H/2，W/2)。

步骤(3.1)，设定下采样层，下采样层用于捕获伪图像在不同尺度下的特征图

下采样层包括三个采样层，每个采样层均包括将卷积层、BatchNorm层、ReLU层。设定卷积层的卷积核的大小为(3×3)；考虑车辆的体积较大，故特征设计不应过于密集，因此为了降低计算量，提高检测效率，将卷积层的卷积步长设定为2。对行人、自行车等较小的三维目标，将卷积层的卷积步长设定为1。

下采样层的第一层卷积输出均为第二层的卷积输入，第二层卷积输出均为第三层的卷积输入；第一层的输入为步骤(2)中输出的伪图像数据(C，H，W)，第一层的而输出为(C，H/2，W/2)，第二层的输出为(2C，H/4，W/4)，第三层的输出为(2C，H/8，W/8)。

伪图像经过下采样层的三次下采样，分别捕获了在三个不同尺度下的特征图。具体结构如图3所示。

步骤(3.2)设定上采样层，上采样层用于将三个尺度下的特征图进行融合

上采样层包括三个并行的采样层，每个采样层均包括反卷积层、BatchNorm层、ReLU层。每个采样层对接下采样层中每个采样层，即下采样层的采样层输出特征图为上采样层的采样层输入。

对应下采样层中每个采样层的卷积核和卷积步长，设定上采样层中采样层的卷积核和卷积步长，得到三个采样层的输出均为(2C，H/2，W/2)。为实现不同尺度下特征图的信息融合，将三个采样层的输出特征图在通道维度上进行拼接，最终得到整个二维卷积神经网络(CNN)融合特征层的输出特征图为(6C，H/2，W/2)。

步骤(4)，基于SSD检测定位网络的目标分类和回归

在步骤(3)中经过上采样与下采样，得到了三个尺度的特征图，不同尺度下的特征图大小不同，感受野不同，对应的SSD先验框大小也不同。因此分别对不同尺度下的特征图使用两组卷积滤波器产生固定的预测集合。具体为：使用一个3×3的卷积核对不同尺度的特征图进行卷积操作，后接Softmax函数作为检测网络的输出激活函数，得到类别得分；使用一个3×3的卷积核对不同尺度的特征图进行卷积操作，后接恒等函数作为回归网络的激活函数，完成检测目标的位置回归。

步骤(5)，设定考虑航向角损失的损失函数

整个目标检测网络利用随机梯度下降法进行训练，使总损失函数L下降至收敛。具体为：在目标检测网络迭代训练过程中依靠计算损失函数对整个检测模型做出惩罚，使检测模型在训练过程中逐步优化。最终学习到可以使检测模型进行实例级别目标检测的权重与参数。

因为普通的角定位损失无法对3DBox的反转起到惩罚，使得网络不能很好的学习到目标的航向角，因此在本发明引入航向角损失，航向角损失由softmax分类损失函数定义，通过设定航向角损失函数，可以使网络很好地学习到被检测目标的朝向信息。本发明损失函数考虑3D Box的分类损失(L_cls)、回归损失(L_loc)和航向角损失(L_dir)。

损失函数表达式为：

其中，N_POS为网络训练过程中正样本的数量，β_cls、β_loc、β_dir分别为分类损失、回归损失和航向角损失的权重。

分类损失表达式为：

L_cls＝-a_α(1-p^α)^γlogp^α

其中，a表示anchor预测，常数α＝0.25，p^α为目标类的概率，常数γ＝2。

回归损失表达式为：

L_loc＝∑_{b∈(X，Y，Z，w，l，h，θ)}SmoothL1(Δb)

其中：

Δθ＝sin(θ^gt-θ^a)，

其中，X、Y、Z为三维目标检测框在激光雷达坐标系中的位置，w、l、h为三维目标检测框的长、宽、高，θ为三维目标检测框朝向角参数；上标gt表示真实标签。

步骤(6)，基于步骤(5)的损失函数，进行网络训练

使用COCO数据集对二维卷积神经网络进行预训练：初始化二维卷积神经网络；利用预训练好的二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络组合形成基于伪图像技术的激光雷达三维目标快速检测网络，利用kitti数据集中的有标签点云数据对整个基于伪图像技术的激光雷达三维目标快速检测网络进行训练，调整学习率等训练参数，使损失函数达到收敛。

经过上述网络训练过程，得到标准的基于伪图像技术的激光雷达三维目标快速检测网络。实际三维目标检测过程可以设定为，经激光雷达采集自车周围环境点云数据，首先经过步骤(1)进行点云数据预处理，然后输入标准的基于伪图像技术的激光雷达三维目标快速检测网络，最终快速准确的得到被检测目标的位置、大小等各种参数。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (2)

1.基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，利用二维卷积神经网络、优化特征学习网络及基于SSD检测定位网络，构成激光雷达三维目标快速检测网络，用于快速检测三维目标；

所述优化特征学习网络包括采样层、分组层和PointNet层；

所述采样层的输出为采样点集n′×D，其中：n′为通过最远点采样算法得到的采样点集中的点的个数，D为点的原始特征；

所述分组层的输出为点集n′×k×D，其中：k为点云簇中所含的点的个数；

所述PointNet层对点云簇进行特征提取，得到点云簇的全局特征，即点云柱的局部特征；将点云簇作为单位输入，迭代一次优化特征提取过程，得到点云柱的全局特征；

所述优化特征学习网络将点云数据的特征张量(D，N，P)转变为伪图像形式(C，H，W)，其中，C为伪图像的通道数，N为每个点云柱中的点数，P为网格总面积，H为网格的长，W为网格的宽；

所述激光雷达三维目标快速检测网络在训练过程中采用的损失函数为：

其中N_POS为网络训练过程中正样本的数量，β_cls、β_loc、β_dir分别为分类损失、回归损失和航向角损失的权重，L_cls、L_loc、L_dir分别为3D Box的分类损失、回归损失和航向角损失。

2.根据权利要求1所述的基于伪图像技术的激光雷达三维目标快速检测方法，其特征在于，所述航向角损失由softmax分类损失函数定义。

Images