CN109100741B - 一种基于3d激光雷达及图像数据的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于3D激光雷达及图像数据的目标检测方法，该方法利用3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。本发明充分利用了3D激光雷达和相机数据中间的互补性，提高了对场景的目标定位和分类识别的精度和时效性，可用于无人车中的目标实时检测。

Description

一种基于3D激光雷达及图像数据的目标检测方法

技术领域

本发明涉及多传感器信息融合，具体涉及一种基于3D激光雷达点云目标候选区域提取与图像卷积神经网络分类的目标检测方法，用于无人车环境感知的重要组成部分，对提高车辆周围目标的检测精度，保障无人车安全行驶具有重要意义。

背景技术

自动驾驶汽车可以从根本上提高驾驶人群的安全性和舒适性，同时减少汽车对环境的影响。为了开发这样的车辆，感知***是车辆分析理解驾驶环境的不可缺少的部件之一，包括周围障碍物的位置，方向和分类。

3D激光雷达是用于自主车辆感知***的最流行的传感器之一，它具有广泛的视野，精确的深度信息以及目标识别中的远距离和夜视能力。在物体探测任务中，由于激光扫描本质上包含点云的空间坐标，所以3D激光雷达相对于获取探测到的物体的姿态和形状具有一定的优势。然而，随着与扫描中心距离的增加，3D激光雷达点云的分布变得越来越稀疏，这使得3D激光雷达很难在分类中检测到特定的物体。

相机可以为精确分类提供高分辨率图像，近年来在图像识别领域，深度学习方面得到了广泛的研究。这些方法通常首先使用目标候选区域生成方法来生成目标候选区域，如滑动窗法，选择搜索法以及多尺度组合方法，然后使用卷积神经网络模型对候选区域进行特征提取和目标定位识别。这些方法的缺点是需要生成大量的候选区域，实时性很差。此外，相机受照度变化影响，缺乏3D物体的位置，方向和几何结构，导致目标候选区域提取不精确。

发明内容

本发明的目的是提供一种基于3D激光雷达及图像数据的目标检测方法，充分利用3D激光雷达可以直接获取高精度的目标深度和目标的几何特征参数和图像目标分类的优势，实现了优势互补，克服了采用单一传感器进行目标检测存在的精度低，鲁棒性差等问题，最大程度保障了无人车在复杂条件下的安全行驶。

本发明的技术方案如下：

一种基于3D激光雷达及图像数据的目标检测方法，包括以下步骤：

步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；

步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；

步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；

步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。

进一步地，步骤1中对所述的3D点云数据进行预处理，包括：

步骤1.1，将雷达获取的点云数据转换到直角坐标系下

将点云数据的点集P_r转换到直角坐标系下，计算点集中每个扫描点在直角坐标系下的坐标，得到每个扫描点p_i的多参数表示形式：

p_i＝(γ_i,θ_i,φ_i,I_i,x_i,y_i,z_i)

其中γ_i表示扫描点到雷达的径向距离，θ_i,φ_i表示扫描点相对于球面坐标系的水平和垂直角度，I_i表示雷达反射强度，x_i,y_i,z_i为扫描点p_i在直角坐标系下的坐标；

所述的直角坐标系是以雷达的几何中心位置为坐标原点，以雷达的垂直轴线方向为Z轴，以车辆前行方向为Y轴，而X轴由Z轴和Y轴遵循右手定则确定；转换过程如下：

步骤1.2，根据所述的直角坐标进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：

P_f＝{p_i|-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂} (2)

当扫描点p_i的坐标(x_i,y_i,z_i)满足在感兴趣区域边界-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂内时，将该扫描点p_i加入点集P_f，由此得到感兴趣区域扫描点的点集P_f。

进一步地，所述的3D点云数据进行预处理，还包括：

步骤1.3，噪声点的滤除

对于点集P_f中的每一个扫描点p_i，搜索在扫描点p_i半径R内的近邻点，如果p_i的近邻点数量少于M个，则将点p_i标注为噪声点并从点集P_f中移除；遍历点集P_f，找到所有的噪声点并从点集P_f中移除，得到预处理后的点集P。

进一步地，步骤2所述的滤除3D点云数据中的地面点，包括：

步骤2.1，将点集P映射到多维矩阵中，矩阵的行号等于雷达扫描线的条数，矩阵的列数等于一条扫描线包含的点数；点集P中的扫描点p_i的映射到矩阵中所在的行r和列c计算方式如下：

r＝(θ_i+180)/Δθ (3)

c＝φ_i/Δφ (4)

上式中，Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率，θ_i、φ_i分别表示扫描点所在扫描线的水平角度和垂直角度；

步骤2.2，用b_r,c表示矩阵中的第r行c列元素，计算b_r,c中的点p_i的深度值p_depth ⁱ，计算方式如下：

上式中，x_i,y_i分别为b_r,c对应的扫描点p_i在所述直角坐标系中相对于X轴、Y轴的坐标；

步骤2.3，计算矩阵元素b_r,c对应扫描点是地面点的概率P(b_r,c)，如果概率超过阈值，则将b_r,c对应扫描点标记为地面点；

步骤2.4，遍历矩阵中每个元素，按照步骤2.3的方法标记出矩阵中所有的地面点并将地面点从点集P中移除，剩下的非地面点记为点集P_o。

进一步地，步骤2.3中所述的地面点概率P(b_r,c)的计算步骤为：

步骤2.3.1，计算矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度测量差值M_d(b_r-1,c,b_r,c)，计算方法如下：

M_d(b_r-1,c,b_r,c)＝|p_depth ^r,c-p_depth ^r-1,c| (6)

步骤2.3.2，根据雷达点云数据在平面上的分布情况估计出矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度差值E_d(b_r-1,c,b_r,c)，具体计算方法如下：

其中，h表示雷达的安装高度，Δφ表示雷达垂直角度分辨率，φ_r-1和φ_r分别表示雷达第r-1和第r条扫描线的垂直角度，γ_r-1表示元素b_r-1,c对应的扫描点距雷达中心的径向距离值；

步骤2.3.3，则元素b_r,c对应扫描点p_i是地面点的概率P(b_r,c)为：

其中当概率P(b_r,c)大于阈值0.8时，则元素b_r,c对应扫描点p_i标记为地面点。

进一步地，步骤2所述的对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域，包括：

步骤2.5.1，建立第一个聚类C₁，将非地面点集P_o中的第一个扫描点p₁划分到第一个聚类C₁中；

步骤2.5.2，对于点集P_o中其它点p_i∈P_o,(i≠1)，计算离它最近的聚类C_j中的扫描点与它的欧拉距离最小值，如果最小值小于阈值d，则将点p_i划分到聚类C_j(j≤n)中，其中n表示当前聚类数；否则重新创建第n+1个聚类C_n+1，并将p_i划分到C_n+1中，直到点集P_o中所有的扫描点都被划分到聚类中；

步骤2.5.3，用Γ表示聚类集合，对于聚类集合Γ中的每一个聚类C_j，利用聚类C_j所包含的扫描点的空间分布，计算该聚类的最小3D轴对齐矩形边界框，如果边界框的尺寸大于阈值尺寸，则将该聚类标记伪目标区域，否则标记为候选目标区域；

步骤2.5.4，保留所有标记为目标候选区域的边界框作为提取的目标3D感兴趣区域。

进一步地，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域，包括：

以棋盘格标定板为目标，在标定板上标记特征点，同时获取雷达的点云数据和相机的图像数据，然后根据标定板上的特征点在雷达和相机中的坐标对应关系计算出标定参数，即雷达坐标系和相机坐标系之间的旋转矩阵和平移向量；

最后根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D轴对齐矩形边界框作为2D感兴趣区域。

进一步地，步骤4所述的利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别，包括：

所述的深度卷积网络采用VGG16，分别将模型中‘conv3’,’conv4’和‘conv5’这三层卷积层最后输出的特征图首先进行归一化，然后进行结合，使得最终的目标特征具有不同尺度；对结合后的特征进行1×1的卷积操作，得到最后的特征向量输出给该卷积网络最后的两层全连接层以对2D感兴趣区域中的目标进行定位和识别。

进一步地，所述的方法还包括：

步骤5，使用非极大值抑制算法对步骤4的结果进行优化。

一种基于3D激光雷达及图像数据的目标检测***，包括依次连接的数据采集与预处理模块、3D感兴趣区域获取模块、2D感兴趣区域获取模块以及定位和识别模块，其中：

所述的数据采集与预处理模块利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；

所述的3D感兴趣区域获取模块用于滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；

所述的2D感兴趣区域获取模块用于对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；

所述的定位和识别模块用于利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。

本发明与现有技术相比具有以下技术特点：

1.本发明利用3D激光雷达的点云数据提取目标的3D候选区域，然后根据雷达和相机的坐标外标定关系，将点云中的3D候选区域映射到图像空间中，并利用卷积神经网络对候选区域进行特征提取、目标定位与识别。本发明方法能够克服单一传感器目标检测时的精度低，环境依赖性强，鲁棒性差的缺点，可以满足无人车在环境理解时对目标检测的精度，实时性以及环境适应能力的要求。

2.本发明利用3D激光雷达和相机数据之间的互补性为无人驾驶环境中获得高度准确的物***置和分类提供了新思路；通过结合，实现了两个传感器的优势互补，增强了检测算法的鲁棒性。

附图说明

图1是本发明的方法的流程图；

图2的(a)是3D激光雷达采集的点云数据，(b)是点云数据对应的相机图像；

图3是本发明地面点云提取的几何原理图；

图4的(a)为提取的地面点云的示意图；(b)为滤除地面点云后的非地面点云的示意图；

图5是3D感兴趣区域的示意图；

图6是将3D感兴趣区域映射到相机图像中产生的的2D感兴趣区域示意图；

图7是本发明采用的卷积网络模型；

图8是本发明方法实际检测的结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，一下结合具体实施例，如图1所示，所述方法包括一下步骤：

步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理。

在本发明的实施例中，选用的3D激光雷达(以下简称雷达)型号为Velodyne HDL-32E，雷达安装在车辆的顶部；本实施例中，车辆为无人车，安装高度为2.1m；在无人车行驶过程中，通过雷达扫描周围环境以获得3D点云数据，如图2的(a)所示，为通过雷达扫描环境获取的一帧原始点云数据；所述的雷达由一列上的32个单一激光器组成了32条扫描线，以10Hz的频率执行360°度扫描，扫描角度的水平分辨率为0.16°；雷达的垂直角度分辨率为1.33°，涵盖了-30.67°～10.67°的俯仰角。

在本发明的实施例中，用以获取图像数据的相机的型号为Basler acA640-100gc彩色CCD658*492相机。雷达和相机通过外标定进行统一坐标系，并且相机和雷达采用相同的帧率，且同步采集数据，即图像数据中的一帧相机图像对应3D点云数据中的一帧点云数据。

雷达扫描获取的每一帧点云数据是由扫描点的点集P_r构成的，而点集P_r中的每一个扫描点p_i是通过球面坐标描述的：

P_r＝{p_i|γ_i,θ_i,φ_i,I_i}

其中γ_i表示扫描点到雷达的径向距离，θ_i,φ_i表示扫描点相对于球面坐标系的水平和垂直角度，I_i表示雷达反射强度，i表示点集中扫描点的编号。在单次扫描(即雷达扫描一周)中产生大约70,000个点，可以描述所有周围的目标并检测距离超过70米的物体，图2的(a)和(b)是原始的雷达点云数据及其对应的相机图像。为了后续处理，需要计算每个扫描点在直角坐标系中的坐标。

由于雷达扫描产生的数据覆盖范围广，数据大，如果都进行处理无法满足无人车对算法实时性的要求。因此需要保留感兴趣区域的数据，而滤除无效区域的数据。此外，由于雷达由于物理原因返回的数据中存在一些孤立的噪声点，如果不进行滤除可能影响候选算法的精度，可以通过基于点云密度的方法将噪声点滤除。

步骤1中所示的3D点云数据进行预处理包括坐标系的转换、噪声点的滤除，具体包括以下步骤：

步骤1.1，将雷达获取的点云数据转换到直角坐标系下

将点云数据的点集P_r转换到直角坐标系下，计算点集中每个扫描点在直角坐标系下的坐标，得到每个扫描点p_i的多参数表示形式：

p_i＝(γ_i,θ_i,φ_i,I_i,x_i,y_i,z_i)

所述的直角坐标系是以雷达的几何中心位置为坐标原点，以雷达的垂直轴线方向为Z轴，以车辆前行方向为Y轴，而X轴由Z轴和Y轴遵循右手定则确定。转换过程如下：

步骤1.2，根据所述的直角坐标进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：

P_f＝{p_i|-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂} (2)

即，当扫描点p_i的坐标(x_i,y_i,z_i)满足在感兴趣区域边界-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂内时，将该扫描点p_i加入点集P_f，由此得到感兴趣区域扫描点的点集P_f。

本实施例中，无人车的感兴趣区域边界的X取15m，Y取50m，Z₁取-2.1，Z₂取0.5m。

步骤1.3，噪声点的滤除

对于点集P_f中的每一个扫描点p_i，搜索在扫描点p_i半径R内的近邻点，如果p_i的近邻点数量少于M个，则将点p_i标注为噪声点并从点集P_f中移除。

遍历点集P_f，找到所有的噪声点并从点集P_f中移除，得到预处理后的点集P。本实施例中，半径R取0.5m，M取3个。

步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域。

在雷达的点云数据中，所有的目标上的扫描点通过地面点连接在了一起，难以分开，所以需要先筛选出扫描点中的地面点，并滤除地面点以获取非地面点。

步骤2.1，将点集P映射到多维矩阵中，矩阵的行号等于雷达扫描线的条数，矩阵的列数等于一条扫描线包含的点数；本实施例中的雷达扫描线为32条，一条扫描线包含的点为2250个。点集P中的扫描点p_i的映射到矩阵中所在的行r和列c计算方式如下：

r＝(θ_i+180)/Δθ (3)

c＝φ_i/Δφ (4)

上式中，Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率，θ_i、φ_i分别表示扫描点所在扫描线的水平角度和垂直角度。

步骤2.2，用b_r,c表示矩阵中的第r行c列元素，计算b_r,c中的点p_i的深度值p_depth ⁱ，计算方式如下：

上式中，x_i,y_i分别为b_r,c对应的扫描点p_i在所述直角坐标系中相对于X轴、Y轴的坐标。

步骤2.3，计算矩阵元素b_r,c对应扫描点是地面点的概率P(b_r,c)，如果概率超过阈值，则将b_r,c对应扫描点标记为地面点；如图3是本发明地面点云提取的几何原理图。

所述的地面点概率P(b_r,c)的计算步骤为：

步骤2.3.1，计算矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度测量差值M_d(b_r-1,c,b_r,c)，计算方法如下：

M_d(b_r-1,c,b_r,c)＝|p_depth ^r,c-p_depth ^r-1,c| (6)

步骤2.3.2，根据雷达点云数据在平面上的分布情况估计出矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度差值E_d(b_r-1,c,b_r,c)，具体计算方法如下：

其中，h表示雷达的安装高度，Δφ表示雷达垂直角度分辨率，φ_r-1和φ_r分别表示雷达第r-1和第r条扫描线的垂直角度，γ_r-1表示元素b_r-1,c对应的扫描点距雷达中心的径向距离值。

步骤2.3.3，则元素b_r,c对应扫描点p_i是地面点的概率P(b_r,c)为：

其中当概率P(b_r,c)大于阈值0.8时，则元素b_r,c对应扫描点p_i标记为地面点。图4的(b)是滤除地面点云后的非地面点云。

步骤2.4，遍历矩阵中每个元素，按照步骤2.3的方法标记出矩阵中所有的地面点(如图4的(a))并将地面点从点集P中移除，剩下的非地面点记为点集P_o，如图4的(b)所示。

步骤2.5，对非地面点进行空间聚类，以获取目标的几何特征信息，从而获取目标的3D感兴趣区域，具体步骤包括：

步骤2.5.1，建立第一个聚类C₁，将非地面点集P_o中的第一个扫描点p₁划分到第一个聚类C₁中；

步骤2.5.2，对于点集P_o中其它点p_i∈P_o,(i≠1)，计算离它最近的聚类C_j中的扫描点与它的欧拉距离最小值，如果最小值小于阈值d，则将点p_i划分到聚类C_j(j≤n)中，其中n表示当前聚类数；否则重新创建第n+1个聚类C_n+1，并将p_i划分到C_n+1中，直到点集P_o中所有的扫描点都被划分到聚类中；

步骤2.5.3，用Γ表示聚类集合，对于聚类集合Γ中的每一个聚类C_j，利用聚类C_j所包含的扫描点集合的空间分布，计算该聚类的最小3D轴对齐矩形边界框OBB(orientedbounding box)，如果边界框的尺寸大于阈值尺寸，则将该聚类标记伪目标区域，否则标记为候选目标区域；本实施例中阈值尺寸长度为10m，宽度为5m，高度为3m。

步骤2.5.4，保留所有标记为目标候选区域的边界框作为提取的目标3D感兴趣区域，如图5最终保留下的目标的3D感兴趣区域。

步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应(3D感兴趣区域)的2D感兴趣区域。

本步骤的具体方法是以棋盘格标定板为目标，在标定板上标记特征点，同时获取雷达的点云数据和相机的图像数据，然后根据标定板上的特征点在雷达和相机中的坐标对应关系计算出标定参数，即雷达坐标系和相机坐标系之间的旋转矩阵和平移向量；

最后根据标定参数将步骤2获取的目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D轴对齐矩形边界框作为2D感兴趣区域；如图6是将点云映射到相机图像中产生的2D感兴趣区域。

步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。

本方案中采用深度卷积神经网络对相机图像中的2D感兴趣区域进行特征提取、以及对区域中的目标进行边界框回归和识别；通过回归的方式精确定位包围目标位置的边界框，以及对目标进行识别。

为了提高本方法对小目标的检测精度，如图7所示本发明采用的VGG16卷积网络模型，分别将模型中‘conv3’,’conv4’和‘conv5’这三层卷积层最后输出的特征图首先采用L2归一化方法进行归一化，然后进行结合，使得最终的目标特征具有不同尺度；对结合后的特征进行1×1的卷积操作，得到最后的特征向量输出给该卷积网络最后的两层全连接层以对2D感兴趣区域中的目标进行定位和识别，如图8所示的本发明方法检测的结果示意图。

本方案以KITTI公共目标检测训练集中的80％的行人、自行车和车辆样本对该卷积网络进行训练，得到用于检测车辆、行人和自行车的模型参数。在测试时除了使用KITTI目标检测数据集中剩下的训练集中的20％的行人、自行车和车辆样本进行测试，还利用我们利用HDL-32E 3D激光雷达和Balser相机采集的数据进行检测行人、自行车和车辆的测试，得到每个目标的2D矩形边界框的位置、类别，从而实现对目标的定位和识别。

为了进一步优化结果，本方案还包括：步骤5，使用非极大值抑制算法对步骤4的结果进行优化，得到最终的目标边框位置、类别以及目标的距离信息。

为了减少检测的伪目标，提高检测精度，使用非极大值抑制算法去除概率低于0.5的2D矩形边界框，得到最终的目标边框位置和类别以及目标的距离信息。

实验证明，在不同的交通场景内，该方法仍然可以实时有效的检测出无人车前方的每个目标。

Claims (6)

1.一种基于3D激光雷达及图像数据的目标检测方法，包括以下步骤：

步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；

步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；

步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；

步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别；

所述的步骤1中对所述的3D点云数据进行预处理，包括：

步骤1.1，将雷达获取的点云数据转换到直角坐标系下

将点云数据的点集P_r转换到直角坐标系下，计算点集中每个扫描点在直角坐标系下的坐标，得到每个扫描点p_i的多参数表示形式：

p_i＝(γ_i,θ_i,φ_i,I_i,x_i,y_i,z_i)

其中γ_i表示扫描点到雷达的径向距离，θ_i,φ_i表示扫描点相对于球面坐标系的水平和垂直角度，I_i表示雷达反射强度，x_i,y_i,z_i为扫描点p_i在直角坐标系下的坐标；

所述的直角坐标系是以雷达的几何中心位置为坐标原点，以雷达的垂直轴线方向为Z轴，以车辆前行方向为Y轴，而X轴由Z轴和Y轴遵循右手定则确定；转换过程如下：

步骤1.2，根据所述的直角坐标进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：

P_f＝{p_i|-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂} (2)

当扫描点p_i的坐标(x_i,y_i,z_i)满足在感兴趣区域边界-X<x_i<X,Y<y_i<Y,Z₁<z_i<Z₂内时，将该扫描点p_i加入点集P_f，由此得到感兴趣区域扫描点的点集P_f；

所述的3D点云数据进行预处理，还包括：

步骤1.3，噪声点的滤除

对于点集P_f中的每一个扫描点p_i，搜索在扫描点p_i半径R内的近邻点，如果p_i的近邻点数量少于M个，则将点p_i标注为噪声点并从点集P_f中移除；遍历点集P_f，找到所有的噪声点并从点集P_f中移除，得到预处理后的点集P；

所述的步骤2所述的滤除3D点云数据中的地面点，包括：

步骤2.1，将点集P映射到多维矩阵中，矩阵的行号等于雷达扫描线的条数，矩阵的列数等于一条扫描线包含的点数；点集P中的扫描点p_i的映射到矩阵中所在的行r和列c计算方式如下：

r＝(θ_i+180)/Δθ (3)

c＝φ_i/Δφ (4)

上式中，Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率，θ_i、φ_i分别表示扫描点所在扫描线的水平角度和垂直角度；

步骤2.2，用b_r,c表示矩阵中的第r行c列元素，计算b_r,c中的点p_i的深度值p_depth ⁱ，计算方式如下：

上式中，x_i,y_i分别为b_r,c对应的扫描点p_i在所述直角坐标系中相对于X轴、Y轴的坐标；

步骤2.3，计算矩阵元素b_r,c对应扫描点是地面点的概率P(b_r,c)，如果概率超过阈值，则将b_r,c对应扫描点标记为地面点；

步骤2.4，遍历矩阵中每个元素，按照步骤2.3的方法标记出矩阵中所有的地面点并将地面点从点集P中移除，剩下的非地面点记为点集P_o。

2.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤2.3中所述的地面点概率P(b_r,c)的计算步骤为：

步骤2.3.1，计算矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度测量差值M_d(b_r-1,c,b_r,c)，计算方法如下：

M_d(b_r-1,c,b_r,c)＝|p_depth ^r,c-p_depth ^r-1,c| (6)

步骤2.3.2，根据雷达点云数据在平面上的分布情况估计出矩阵同一列的相邻元素b_r-1,c和b_r,c中的点之间的深度差值E_d(b_r-1,c,b_r,c)，具体计算方法如下：

其中，h表示雷达的安装高度，Δφ表示雷达垂直角度分辨率，φ_r-1和φ_r分别表示雷达第r-1和第r条扫描线的垂直角度，γ_r-1表示元素b_r-1,c对应的扫描点距雷达中心的径向距离值；

步骤2.3.3，则元素b_r,c对应扫描点p_i是地面点的概率P(b_r,c)为：

其中当概率P(b_r,c)大于阈值0.8时，则元素b_r,c对应扫描点p_i标记为地面点。

3.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤2所述的对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域，包括：

步骤2.5.1，建立第一个聚类C₁，将非地面点集P_o中的第一个扫描点p₁划分到第一个聚类C₁中；

步骤2.5.2，对于点集P_o中其它点p_i∈P_o,(i≠1)，计算离它最近的聚类C_j中的扫描点与它的欧拉距离最小值，如果最小值小于阈值d，则将点p_i划分到聚类C_j(j≤n)中，其中n表示当前聚类数；否则重新创建第n+1个聚类C_n+1，并将pi划分到C_n+1中，直到点集P_o中所有的扫描点都被划分到聚类中；

步骤2.5.3，用Γ表示聚类集合，对于聚类集合Γ中的每一个聚类C_j，利用聚类C_j所包含的扫描点的空间分布，计算该聚类的最小3D轴对齐矩形边界框，如果边界框的尺寸大于阈值尺寸，则将该聚类标记伪目标区域，否则标记为候选目标区域；

步骤2.5.4，保留所有标记为目标候选区域的边界框作为提取的目标3D感兴趣区域。

4.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤3所述的对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域，包括：

以棋盘格标定板为目标，在标定板上标记特征点，同时获取雷达的点云数据和相机的图像数据，然后根据标定板上的特征点在雷达和相机中的坐标对应关系计算出标定参数，即雷达坐标系和相机坐标系之间的旋转矩阵和平移向量；

最后根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D轴对齐矩形边界框作为2D感兴趣区域。

5.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤4所述的利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别，包括：

所述的深度卷积网络采用VGG16，分别将模型中‘conv3’,’conv4’和‘conv5’这三层卷积层最后输出的特征图首先进行归一化，然后进行结合，使得最终的目标特征具有不同尺度；对结合后的特征进行1×1的卷积操作，得到最后的特征向量输出给该卷积网络最后的两层全连接层以对2D感兴趣区域中的目标进行定位和识别。

6.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，所述的方法还包括：

步骤5，使用非极大值抑制算法对步骤4的结果进行优化。

Images