CN108596081B - 一种基于雷达和摄像机融合的车辆行人探测方法 - Google Patents

Abstract

本发明提供了一种基于雷达和摄像机融合的车辆行人探测方法，首先采用深度学习算法提取摄像机采集图像中感兴趣的区域进行定位和分类，然后将结果和雷达数据进行融合得到探测目标的类别、位置和速度，最后将融合数据和雷达探测到车辆前方重要目标进行补充得到最终的探测结果，包括行人，车辆位置和速度信息。通过区域提议卷积神经网络的深度学习算法，确定摄像机图像中感兴趣的区域同时进行定位，并同步对区域中的目标进行分类，得到目标的类别和位置；通过摄像机和雷达的联合标定技术，将从神经网络获取的目标信息数据和雷达探测到的目标转换到相同坐标中，融合雷达数据和图像数据得到最终的探测结果，提高了探测的准确率。

Description

一种基于雷达和摄像机融合的车辆行人探测方法

技术领域

本发明涉及自动驾驶前方环境感知技术领域，具体涉及一种基于雷达和摄像机融合的行人车辆探测方法。

背景技术

自动驾驶技术是一种集环境感知，动态规划与决策，车辆横向与纵向协同控制的多功能结合技术，其对周围环境感知的实时性、准确性有较高的要求。由于车辆行驶在路况复杂多场景的环境中，环境感知技术通常需要融合多个传感器探测结果来获取车辆周围的场景信息。环境感知技术是自动驾驶的前提和基础，其主要功能是提供周围目标信息，对周围环境中的主要目标：车辆和行人进行准确的识别和定位来确定车辆可安全行驶的区域，通过决策算法确定出车辆行驶轨迹。因此，环境感知中识别和定位本车前方车辆和行人技术是自动驾驶中环境感知的重要内容，对自动驾驶技术具有重要意义。

根据传感器的种类，目标探测方法主要分为基于视觉传感器如摄像机的探测方法和基于毫米波雷达的探测方法。摄像机的探测方法应用广泛，其通过定位识别算法提取需要的目标并进行分类，同时通过对摄像机标定来实现图像坐标和世界坐标的转换得到目标在环境中的真实位置，也可以估计出目标的大概速度但准确率较低。而基于毫米波雷达的探测方法可以准确得到前方视野目标的位置和速度，精度较高但无法识别目标的类别，同时由于雷达对金属目标反射较大，所以对于车辆目标可以准确探测，但对行人等非金属目标探测效果一般。本发明中首先利用摄像机获取前方场景的图像，然后利用卷积神经网络提取前方场景图像中感兴趣的目标区域进行快速处理，得到前方场景中的感兴趣目标在车辆坐标系中的位置，同时对目标进行分类。然后根据雷达在相同区域的探测结果，通过融合视觉探测数据和雷达探测的数据得出最终探测结果，获得了更好的识别结果。

发明内容

本发明提供了一种基于雷达和摄像机融合的车辆行人探测方法，能够充分利用毫米波雷达和摄像机的优点，两种传感器同时探测目标，再通过融合算法融合两种探测器数据结果，实现对前方目标位置、类别和速度的探测，进而来生成车辆行驶的可行域。

一种基于雷达和摄像机融合的车辆行人探测方法，其特征在于识别和定位车辆前方多个目标，包括以下几个步骤:

步骤1：采用摄像机采集前方场景信息，对采集到的图像使用区域提议卷积神经网络算法提取感兴趣的区域，同时对区域中的目标进行分类和定位，得到目标的识别结果：

0，车辆；1，行人；定位坐标(u_X，u_Y)；

步骤2：联合标定雷达和摄像机，利用步骤1中给出的定位坐标(u_X，u_Y)，通过式(1)得到其在雷达极坐标系中的坐标(ρ，θ)，

步骤3：利用步骤2给出的目标在雷达探测坐标系中的坐标，循环计算该坐标与雷达返回的探测结果偏差的最小值，最小值对应的探测目标就是摄像机探测到的目标在雷达坐标系中的探测结果，然后将该探测结果转换回直角坐标系；

步骤4，使用步骤3给出的探测结果，将该探测结果与摄像机在该位置的探测结果进行融合，得到融合的目标坐标和类别；

步骤5，利用雷达获取的前方主要目标，对步骤4中的结果进行综合，得到最终的探测结果。

其中：步骤1中所述区域提议卷积神经网络算法为：

建立两个卷积神经网络，每个网络包含多个卷积层和全连接层，其中一个神经网络为区域提议网络用于提取和定位感兴趣目标的区域；另一个网络用于对区域内目标进行分类，上述两个网络首先在标记好的行人和车辆的图片数据库中进行训练，直到两个神经网络收敛。

在所述步骤3中，使用公式(2)来计算该最小值对应的目标极坐标在直角坐标系的位置(u′_X，u′_Y)。

步骤4中具体融合方法为：

使用步骤3中得到的(u′_X，u′_Y)，计算与步骤1中给出的目标定位结果(u_X，u_Y)的偏差绝对值(Δx，Δy)，通过距离阀值L使用式(3)来确定探测结果的三个状态，L为常数，通过雷达和摄像机的探测精度确定；

其中condition1：两种探测器均探测出目标；根据该目标返回的雷达强度值进行判断：大于0判定探测到的物体是车辆；若小于0则判定是行人；

condition2：摄像机有遮挡，使用雷达数据，同时判定目标为车辆；

condition3：雷达未探测到目标，使用步骤1给出的坐标，判定目标为行人；

当判定结果和识别结果相符时：若是车辆则使用雷达探测结果，若是行人则使用摄像机探测结果；

当判定结果和识别结果不相符时，修正摄像机探测类别，具体为当摄像机判定是行人时，修正为车辆；当摄像机判定是车辆时，修正为行人；

最后输出目标在直角坐标系中X和Y坐标以及类别，以及雷达数据中目标的序列号。

步骤5中使用车辆行驶的速度和航向角获得车辆前方主要目标对应的雷达探测目标序列号，用该序列号检查步骤4中的输出探测结果，若步骤4中结果不包含该探测目标，补充该探测目标到步骤4中结果，输出最终探测结果。

本发明具有如下有益效果：

1)本发明利用摄像机的图像信息得到了目标的位置和类别，然后融合雷达探测的数据，准确获取前方车辆和行人的位置和类别，探测准确性较高。

2)通过使用区域建议卷积神经网络算法，可以得到目标的类别。

3)通过融合算法，融合雷达和视觉数据，提高探测精度并避免雷达对非金属目标识别效果弱，摄像机易受目标被遮挡的不利因素。

附图说明

图1为毫米波雷达和摄像机在车辆坐标系示意图。

图2为毫米波雷达和摄像机数据处理流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于雷达和摄像机融合的车辆行人探测方法，数据处理流程如图2所示:

步骤1，使用摄像机采集前方场景信息，返回800*640的图像，对采集的图像使用区域提议卷积神经网络算法提取感兴趣的区域，提取目标区域的中心点作为定位结果(u_X，u_Y)同时对区域中的目标进行分类，得到前方目标的识别结果(0，车辆；1，行人)，具体方法如下：

采用快速区域提议卷积神经网络算法，建立两个卷积神经网络，每个网络包含多个卷积层和全连接层，其中一个神经网络为区域提议网络用于提取和定位感兴趣目标的区域，另一个网络用于对区域内目标进行分类。两个网络首先在标记好行人和车辆的图片数据库中进行训练到两个神经网络收敛。然后使用训练好的网络来提取图像中感兴趣目标的区域框，并对区域框内目标进行分类，最终输出是网络探测出的目标在图像中的位置和分类结果。通过使用摄像机的内外参数，将图片中目标从图片像素坐标转换到车辆坐标系中得到目标在场景直角坐标系中的位置。

步骤2，如图1所示,联合标定雷达和摄像机，将上一步神经网络给出的定位结果(u_X，u_Y)，通过式(1)计算得到雷达极坐标系中的坐标

步骤3，将上一步的结果(雷达坐标系中坐标集)分别与毫米波雷达探测返回的64个目标结果(雷达返回结果的坐标值)做差值计算，得到偏差绝对值的最小值，进而获得这些目标在雷达返回的64个目标中对应的结果(序列号、坐标值、反射强度)，使用公式(2)来计算得该的目标雷达结果中极坐标在直角坐标系的位置。

步骤4，使用步骤3给出的探测结果，将该探测结果与摄像机在该位置的探测结果进行融合，得到融合的目标坐标和类别。具体方法如下：

使用步骤3中得到的(u′_X，u′_Y)计算与步骤1中给出的目标定位结果(u_X，u_Y)的偏差绝对值(Δx，Δy)，通过距离阀值L使用式(3)来确定探测结果的三个状态。L为常数通过雷达和摄像机的探测精度确定。

其中condition1：两种探测器均探测出目标；condition2：摄像机有遮挡，使用雷达数据(即步骤3返回的结果)，同时判定目标为车辆；condition3：雷达未探测到目标，使用摄像机处理后的数据(即步骤1给出的结果)，判定目标为行人。当为condition1时，根据该目标返回的雷达强度值对目标的类别进一步判断：当雷达强度大于0时判定探测到的目标是车辆；当小于0时判定为行人。上述对目标判定结果和步骤1给出的识别结果相符时：若判定目标为车辆则使用雷达给出目标的定位结果，若判断目标为行人则使用摄像机处理得到的探测定位结果；不相符时，修正摄像机探测类别具体方法为：当摄像机判定是行人时，修正为车辆；当摄像机判定是车辆时，修正为行人。最后输出目标在直角坐标系中坐标以及类别，以及雷达数据中目标的序列号。

步骤5，利用雷达获取的前方主要目标探测结果，补充步骤4中的结果，得到最终的探测结果。具体方法如下：

根据车辆行驶的速度和航向角获得车辆前方主要目标对应的雷达探测目标的序列号，对步骤4中输出探测结果进行综合，即判断步骤4中的结果是否包含雷达的主要目标序列号，若不包含则补充这个目标到结果集，最后输出探测结果包括探测目标位置和类别。

Claims (4)

1.一种基于雷达和摄像机融合的车辆行人探测方法，其特征在于识别和定位车辆前方多个目标，包括以下几个步骤:

步骤1：采用摄像机采集前方场景信息，对采集到的图像使用区域提议卷积神经网络算法提取感兴趣的区域，同时对区域中的目标进行分类和定位，得到目标的识别结果：

0，车辆；1，行人；定位坐标(u_X，u_Y)；

步骤2：联合标定雷达和摄像机，利用步骤1中给出的定位坐标(u_X，u_Y)，通过式(1)得到其在雷达极坐标系中的坐标(ρ，θ)，

步骤3：利用步骤2给出的目标在雷达探测坐标系中的坐标，循环计算该坐标与雷达返回的探测结果偏差的最小值，最小值对应的探测目标就是摄像机探测到的目标在雷达坐标系中的探测结果，然后将该探测结果转换回直角坐标系；

步骤4，使用步骤3给出的探测结果，将该探测结果与摄像机在该位置的探测结果进行融合，得到融合的目标坐标和类别；

步骤5，利用雷达获取前方主要目标，对步骤4中的结果进行综合，得到最终的探测结果；

所述步骤4中的具体融合方法为：

使用步骤3中得到的(u′_X，u′_Y)，计算与步骤1中给出的目标定位结果(u_X，u_Y)的偏差绝对值（Δx，Δy)，通过距离阀值L使用式(3)来确定探测结果的三个状态，L为常数，通过雷达和摄像机的探测精度确定；

其中condition1：两种探测器均探测出目标；根据该目标返回的雷达强度值进行判断：大于0判定探测到的物体是车辆；若小于0则判定是行人；

condition2：摄像机有遮挡，使用雷达数据，同时判定目标为车辆；

condition3：雷达未探测到目标，使用步骤1给出的坐标，判定目标为行人；

当判定结果和识别结果相符时：若是车辆则使用雷达探测结果，若是行人则使用摄像机探测结果；

当判定结果和识别结果不相符时，修正摄像机探测类别，具体为当摄像机判定是行人时，修正为车辆；当摄像机判定是车辆时，修正为行人；

最后输出目标在直角坐标系中X和Y坐标以及类别，以及雷达数据中目标的序列号。

2.如权利要求1中所述的一种基于雷达和摄像机融合的车辆行人探测方法，其特征在于，步骤1中所述区域提议卷积神经网络算法为：

建立两个卷积神经网络，每个网络包含多个卷积层和全连接层，其中一个神经网络为区域提议网络用于提取和定位感兴趣目标的区域；另一个网络用于对区域内目标进行分类，上述两个网络首先在标记好的行人和车辆的图片数据库中进行训练，直到两个神经网络收敛。

3.如权利要求书1中所述的一种基于雷达和摄像机融合的车辆行人探测方法，其特征在于，在所述步骤3中，使用公式(2)来计算该最小值对应的目标极坐标在直角坐标系的位置(u′_X，u′_Y)

。

4.如权利要求书一种基于雷达和摄像机融合的车辆行人探测方法，其特征在于，步骤5中使用车辆行驶的速度和航向角获得车辆前方主要目标对应的雷达探测目标序列号，用该序列号检查步骤4中的输出探测结果，若步骤4中结果不包含该探测目标，补充该探测目标到步骤4中结果，输出最终探测结果。

Images