CN109948661A - 一种基于多传感器融合的3d车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的3D车辆检测方法，包括：步骤1，通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；步骤2，对激光雷达点云做预处理，根据汽车的高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片；步骤3，在激光雷达点云上生成3D车辆感兴趣区域；步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；步骤5，将上述的3D车辆感兴趣区域分别映射到点云及RGB图像的特征图上；步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的3D定位与检测。

Description

一种基于多传感器融合的3D车辆检测方法

技术领域

本发明属于自动驾驶领域，具体涉及一种基于多传感器融合的车辆3D检测方法。

背景技术

智能车是一个包括感知、决策及控制等技术的复杂***，环境感知对于路径规划和决策控制提供了根本信息，而汽车检测是自主车环境感知***中极其关键的工作，主流的障碍物检测传感器是摄像头和激光雷达，现在基于视觉的车辆检测已经取得了很好的效果，摄像头成本低，能够获得目标的纹理及颜色，因此在智能驾驶方面广为使用，然而摄像头对光照以及阴影部分较敏感，不能提供精确和足够的位置信息，常常导致实时性不高或鲁棒性太差等问题。激光雷达能够获取目标距离和三位信息，探测距离远且不受光照影响，但对目标的纹理及颜色无法确定，所以单一的传感器无法满足自主驾驶的需求。因此采用激光雷达与摄像头进行数据融合以完成车辆检测与跟踪任务，降低车辆检测中对单一传感器检测效果的依赖，并获得较高的3D车辆检测率。

发明内容

本发明的目的是为了更好的对周围车辆进行检测，从而为智能车路径规划和决策提供根本信息，提出一种基于传感器融合的3维(3D)车辆检测方法，能够获得较高的3D车辆检测率。

本发明提出的基于多传感器融合的3D车辆检测方法采用的技术方案包括如下步骤：

一种基于多传感器融合得的3D车辆检测方法，包括如下步骤：

步骤1，通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；

步骤2，对激光雷达点云做预处理，根据汽车的高度，建立以激光雷达垂直向下与地面接触点为原点、车辆行驶方向为X轴正方向、驾驶员左边为Y轴正方向、垂直地面向上为Z轴正方向坐标系，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片；

步骤3，在激光雷达点云上生成3D车辆感兴趣区域；

步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；

步骤5，将上述的3D车辆感兴趣区域分别映射到点云及RGB图像的特征图上；

步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的进行3D定位与检测。

进一步地，步骤2的预处理包括点云鸟瞰图(BEV)的处理方法：

点云的鸟瞰图(BEV)是将点云数据向地面(Z＝0)2D栅格进行投影得到，为了得到更详细的高度信息，以激光雷达位置为中心点，取在BEV左右位置[-40,40]m,前方位置[0,70]m。并根据汽车的实际高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片，对于每个切片向地面(Z＝0)2D栅格进行投影，每个切片对应的高度特征取为投影到该栅格地图点云数据的最大高度值。点云密度M是指每个单元格的点云个数，并使每个栅格的取值归一化：

其中N为单位栅格地图中点云的个数。

进一步地，步骤3的具体步骤为：

在点云上生成3D车辆感兴趣区域，用于目标的分类与定位，以鸟瞰图(BEV)作为输入，在之前会生成一系列的3D候选框，为减少计算量，将空的框移除掉，我们为剩下每个框的内容分配一个二进制的标签，即正标签表示目标车辆、负标签表示背景,通过计算锚框和真实边界框之间的IOU重叠大小，分配正标签给两类锚框:

1)与某个真实边界框有最高的IOU重叠的锚框(小于0.5)，

2)与任意真实边界框大于0.5的IOU交叠的锚框。

并且一个真实边界框可能分配正标签给多个锚框。分配负标签(背景)给与所有真实边界框的IOU都低于0.3的锚框，非正非负的锚框对训练目标没有任何作用，所以我们在后续处理忽略不计。在得到上述的正标签的锚框之后,对其进行初步3D回归优化，假设每个3D预测框用(x,y,z,h,w,d)表示,(x,y,z)表示框的中心点，(h,w,d)表示框的尺寸。在激光雷达坐标系中3D框的质心和尺寸，通过计算前景存在目标区域的边界框与真实边界框之间在中心点及尺寸的不同即(Δx,Δy,Δz,Δh,Δw,Δd),从而为之后映射到特征图上产生的ROI进行区别和初步定位。3D锚框用(x_a,y_a,z_a,h_a,w_a,d_a)表示，3D真实边界框用(x^*,y^*,z^*,h^*,w^*,d^*)表示，t_i表示预测框相对于3D锚框的偏移量，设t_i 6个参数化坐标为t_i＝(t_x,t_y,t_z,t_h,t_w,t_d),表示3D真实边界框相对于3D锚框的偏移量，设个参数化坐标为则有：

t_x＝(x-x_a)/h_a t_y＝(y-ya)/w_a

t_z＝(z-z_a)/d_a t_h＝log(h/h_a)

t_w＝log(w/w_a)t_d＝log(d/d_a)

通过SmoothL1函数用于3Dbox回归:

使用cross-entropy函数计算目标对象损失：其中n是目标区域存在边界框个数。

通过计算3D锚框与3D真实边界框之间的质心与尺寸之间的差异来执行3D框回归，最终输出在点云中3D感兴趣区域。

进一步地，步骤4的具体过程包括：

步骤4.1，假设输入RGB图像或BEV图的大小是H×W×D，在下采样阶段使用VGG-16网络的前三个卷积层，导致输出特征图的分辨率比其相应的输入小8倍，在这个阶段，特征图的输出大小是

步骤4.2，将高层的低分辨率的语义信息(包括激光雷达点云与RGB图像)的特征图进行2x上采样，保证与上采样对应的下采样阶段特征图大小相同，并对特征图3X3卷积融合，从而在特征提取框架的最后一层中得到全分辨率特征图。

进一步地，步骤5、6的具体方法：

将步骤3得到的在激光雷达点云的鸟瞰图(BEV)上得到3D感兴趣区域，根据激光雷达点云与RGB图像之间的坐标关系分别将在雷达点云上获取的感兴趣区域分别映射到雷达点云与RGB图像的特征图上，最终得到在特征图上的对应的框的坐标位置，但由于最终映射在特征图得到的框大小不同，导致不能做融合处理，因此将得到的特征图将固定大小为3X3，然后对在BEV和RGB中映射得到的特征图进行像素平均融合。

1、本发明有益的效果是：本发明使用激光雷达及摄像头对周边环境进行感知，能够充分利用激光雷达采集的数据具有精确深度信息和摄像机能够保留了更详细的语义信息的优势。极大的提高的对周边车辆3D检测的准确度。

2、传统使用单一传感器进行车辆检测的方法，获取的信息有限，同时还受自身性能的影响，本发明可以弥补单一传感器在车辆检测中的不足，提高周边车辆检测的准确度。

3、本发明先对车辆感兴趣目标进行提取，然后对这部分特征图进行像素平均融合处理，极大的减少了计算量，提高车辆检测的实时性。

附图说明

图1是本发明提出的基于多传感器融合的车辆检测方法的流程图；

图2是将点云沿Z轴方向均等的划分成5个高度切片的鸟瞰图(BEV)；

(a)表示沿Z轴[0,0.5]雷达点云图,(b)表示沿Z轴[0.5,1.0]雷达点云图,(c)表示沿Z轴[1.0,1.5]雷达点云图,(d)表示沿Z轴[1.5,2.0]雷达点云图,(e)表示沿Z轴[2.0,2.5]雷达点云图；

图3为点云及RGB图像特征提取框架。

具体实施方式

下面结合附图对本发明作进一步说明。

汽车检测是自主车环境感知***中极其关键的部分，本发明提出了基于多传感器融合的3D车辆检测方法，检测流程图如图1所示，具体如下：

(1)通过激光雷达采集点云数据，及摄像头采集RGB图像信息，并对采集到的点云做预处理，将点云的鸟瞰图(BEV)作为点云数据输入，其是将点云数据向地面(Z＝0)2D栅格进行投影得到，为了得到更详细的高度信息，以激光雷达位置为中心点，取在BEV左右位置[-40,40]m,前方位置[0,70]m。并根据汽车的实际高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片，对于每个切片向地面(Z＝0)2D栅格进行投影，每个切片对应的高度特征取为投影到该栅格地图点云数据的最大高度值。点云密度M是指每个单元格的点云个数，并使每个栅格的取值归一化：

其中N为单位栅格地图中点云的个数。

(2)在点云上生成3D车辆感兴趣区域，用于目标的分类与定位，以鸟瞰图(BEV)作为输入，在之前会生成一系列的3D候选框，为减少计算量，将空的框移除掉，我们为剩下每个框的内容分配一个二进制的标签，是目标车辆或背景,通过计算锚框和真实边界框之间的IOU重叠大小，分配正标签给两类锚框:

①与某个真实边界框有最高的IOU重叠的锚框(小于0.5)；

②与任意真实边界框大于0.5的IOU交叠的锚框。

并且一个真实边界框可能分配正标签给多个锚框。分配负标签(背景)给与所有真实边界框的IOU都低于0.3的锚框，非正非负的锚框对训练目标没有任何作用，在后续处理忽略不计。在得到上述的正标签的锚框之后,对其进行初步3D回归优化，假设每个3D预测框用(x,y,z,h,w,d)表示,(x,y,z)表示框的中心点，(h,w,d)表示框的尺寸。在激光雷达坐标系中3D框的质心和尺寸，通过计算前景ROI与真实别接狂之间在中心点及尺寸的不同即(Δx,Δy,Δz,Δh,Δw,Δd),从而为之后映射到特征图上产生的ROI进行区别和初步定位。3D锚框用(x_a,y_a,z_a,h_a,w_a,d_a)表示，3D真实边界框用(x^*,y^*,z^*,h^*,w^*,d^*)表示，t_i表示预测框相对于3D锚框的偏移量，则其6个参数化坐标为t_i＝(t_x,t_y,t_z,t_h,t_w,t_d),表示3D真实边界框相对于3D锚框的偏移量，则其6个参数化坐标为则有：

t_x＝(x-x_a)/h_a t_y＝(y-y_a)/w_a

t_z＝(z-z_a)/d_a t_h＝log(h/h_a)

t_w＝log(w/w_a) t_d＝log(d/d_a)

通过SmoothL1函数用于3Dbox回归:

使用交叉熵函数计算目标对象损失：

通过计算3D锚框与3D真实边界框之间的质心与尺寸之间的差异来执行3D框回归，最终输出在点云中3D感兴趣区域。

(3)将点云的鸟瞰图(BEV)作为点云数据输入，其是将点云数据向地面(Z＝0)2D栅格进行投影得到，为了得到更详细的高度信息，以激光雷达位置为中心点，取在BEV左右位置[-40,40]m,前方位置[0,70]m。并根据汽车的实际高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片，对于每个切片向地面(Z＝0)2D栅格进行投影，每个切片对应的高度特征取为投影到该栅格地图点云数据的最大高度值。点云密度M是指每个单元格的点云个数，并使每个栅格的取值归一化：

其中N为单位栅格地图中点云的个数。

(4)如图3所示，为了充分利用原始最低层特征图的信息，通过对高层特征上采样和底层信息进行3X3卷积操作融合。以获得丰富的特征信息和高分辨率图像。特征提取器基于VGG-16架构。假设输入RGB图像或BEV图的大小是H×W×D，在下采样阶段使用VGG-16网络的前三个卷积层，导致输出特征图的分辨率比其相应的输入小8倍，因此，在这个阶段，特征图的输出大小是下采样的特征映射由卷积核1X1进行卷积，使其具有一些具有相应的上采样相位特征映射的通道，因此可以执行3X3卷积融合，从而在特征提取框架的最后一层中得到全分辨率特征图。

(5)将在(2)点云中的3D感兴趣区域分别映射到点云及RGB图像的特征图上，且根据BEV与RGB图像的坐标转换关系，得到在特征图上的对应的框的坐标位置。但由于最终映射在特征图得到的框大小不同，导致不能做融合处理，因此将得到的特征图将固定大小为3X3，然后对在BEV和RGB中映射得到的特征图进行融合。最终确定周边车辆的位置及尺寸。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多传感器融合的3D车辆检测方法，其特征在于，包括如下步骤：

步骤1，获得车辆的RGB图像，及获取车辆周围环境的激光雷达点云信息；

步骤2，对激光雷达点云信息做预处理，根据汽车的高度，取Z轴[0，2.5]m，将激光雷达点云沿Z轴方向均等的划分成5个高度切片；

步骤3，在激光雷达点云上生成3D车辆感兴趣区域；

步骤4，分别对处理后的雷达点云和RGB图像进行特征提取并生成相应特征图；

步骤5，将上述的3D车辆感兴趣区域分别映射到雷达点云及RGB图像的特征图上；

步骤6，对步骤5中映射部分特征图进行融合，并最终实现车辆目标的3D定位与检测。

2.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤1中，所述RGB图像通过安装在车辆上的摄像头获取；所述激光雷达点云通过位于车顶的激光雷达对周围环境进行扫描获取。

3.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤2中的预处理方法包括点云鸟瞰图的处理方法，所述点云鸟瞰图是将点云数据向地面(Z＝0)2D栅格进行投影得到。

4.根据权利要求3所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，所述点云鸟瞰图的处理方法为：

以激光雷达位置为中心点，取在点云鸟瞰图的左右位置[-40,40]m，前方位置[0,70]m，根据汽车的实际高度，取Z轴[0，2.5]m，将点云沿Z轴方向均等的划分成5个高度切片，对于每个切片向地面(Z＝0)2D栅格进行投影，每个切片对应的高度特征取为投影到该栅格地图点云数据的最大高度值；点云密度M是指每个单元栅格的点云个数，并使每个栅格的取值归一化：

其中N为单位栅格地图中点云的个数。

5.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤3中在激光雷达点云上生成3D车辆感兴趣区域的具体步骤为：

以点云鸟瞰图作为输入，并在之前已生成一系列的3D候选框，将空的候选框移除掉，为剩下每个候选框的内容分配一个二进制的标签，即正标签表示目标车辆、负标签表示背景，通过计算锚框和真实边界框之间的IOU重叠大小，分配正标签给以下两类锚框：

1)与某个真实边界框有最高小于0.5的IOU重叠的锚框；

2)与任意真实边界框大于0.5的IOU交叠的锚框；

分配负标签给与所有真实边界框的IOU都低于0.3的锚框，其中，非正非负的锚框对训练目标没有任何作用，在后续处理忽略不计；

在得到上述的正标签的锚框之后,对其进行初步3D回归优化，假设每个3D预测框用(x,y,z,h,w,d)表示，(x,y,z)表示框的中心点，(h,w,d)表示框的尺寸；在激光雷达坐标系中，通过计算前景ROI与真实边界框之间在中心点及尺寸的不同，即(Δx,Δy,Δz,Δh,Δw,Δd)，为之后映射到特征图上产生的ROI进行区别和初步定位；3D锚框用(x_a,y_a,z_a,h_a,w_a,d_a)表示，3D真实边界框用(x^*,y^*,z^*,h^*,w^*,d^*)表示，t_i表示预测框相对于3D锚框的偏移量，设其6个参数化坐标为t_i＝(t_x,t_y,t_z,t_h,t_w,t_d)，表示3D真实边界框相对于3D锚框的偏移量，设其6个参数化坐标为则有：

t_x＝(x-x_a)/h_a t_y＝(y-y_a)/w_a

t_z＝(z-z_a)/d_a t_h＝log(h/h_a)

t_w＝log(w/w_a) t_d＝log(d/d_a)

通过SmoothL1函数用于3Dbox回归:

使用cross-entropy函数计算目标对象损失：

其中n是目标区域存在边界框个数。

通过计算3D锚框与3D真实边界框之间的质心与尺寸之间的差异来执行3D框回归，最终输出在点云中3D感兴趣区域。

6.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤4的具体步骤包括：

步骤4.1，假设输入RGB图像或点云鸟瞰图的大小是H×W×D，在下采样阶段使用VGG-16网络的前三个卷积层，导致输出特征图的分辨率比其相应的输入小8倍，在这个阶段，特征图的输出大小设为

步骤4.2，将高层的低分辨率的语义信息的特征图进行2x上采样，保证与上采样对应的下采样阶段特征图大小相同，并对特征图3X3卷积融合，在特征提取框架的最后一层中得到全分辨率特征图；所述语义信息包括激光雷达点云与RGB图像。

7.根据权利要求1所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤5的具体映射方法：根据雷达点云与RGB图像之间对应的坐标关系将在雷达点云上获取的感兴趣3D区域分别映射到雷达点云与RGB图像的特征图上。

8.根据权利要求7所述的一种基于多传感器融合的3D车辆检测方法，其特征在于，步骤6的具体融合方法：将步骤5得到的雷达点云与RGB图像映射得到的特征图进行像素平均融合。