CN110796102B - 一种车辆目标感知***及方法 - Google Patents

Abstract

本发明公开了一种车辆目标感知***及方法，包括前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头和环视控制器，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头与环视控制器电连接，同时采集行车环境中的图像信息，并实时传输给环视控制器，环视控制器进行处理后，将车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标、车辆航向角组合作为车辆目标信息输出。本发明能实现行驶环境中车辆目标的精细、准确感知，为驾驶决策提供可靠的依据。

Description

一种车辆目标感知***及方法

技术领域

本发明属于汽车智能驾驶领域，具体涉及一种车辆目标感知***及方法。

背景技术

随着汽车智能化的发展，汽车智能化产品正在从传统的高级驾驶辅助***向自动驾驶***发展，应用场景从简单逐渐向复杂升级。例如，车道偏离预警***、自动紧急制动***、定速巡航***、自适应巡航***、有限自动驾驶***等。这些***利用毫米波雷达和摄像头对行驶环境进行感知，主要感知的环境信息有车道线、车辆目标、行人目标信息。其中车辆目标感知信息作为智能驾驶***避撞功能的主要输入信息，对行车安全十分重要。

现有的针对车辆目标的通用感知方法是将车辆目标视为一个整体，利用识别算法在图像中将车辆目标的车辆边界框计算出来，然后根据此边界框估算车辆目标的位置坐标。这种方法只能给一个车辆目标整体的相对位置坐标，无法准确定位车辆目标相对于本车的位置姿态(即无法确定车辆的航向角)，若据此信息进行车辆控制，易引发碰撞风险。

为了确定车辆的航向角，目前采用的方案是根据车辆目标的行驶路径来估算车辆目标的航向角，这种估算出来的航向角，不够精确，不能为驾驶决策(即车辆控制)提供可靠的依据。

发明内容

本发明的目的是提供一种车辆目标感知***及方法，以实现行驶环境中车辆目标的精细、准确感知，为驾驶决策提供可靠的依据。

本发明所述的车辆目标感知***，包括前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头和环视控制器，前鱼眼摄像头安装在前保险杠中心，左鱼眼摄像头安装在左后视镜上，右鱼眼摄像头安装在右后视镜上，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头与环视控制器电连接，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头同时采集行车环境中的图像信息，并实时传输给环视控制器，环视控制器进行处理后输出车辆目标信息。

本发明所述的车辆目标感知方法，采用上述车辆目标感知***，其中，所述环视控制器具有图像预处理模块、检测模块、坐标转换模块、目标融合模块和车辆目标信息输出模块；该车辆目标感知方法具体包括：

环视控制器获取前鱼眼摄像头采集的一路图像信息、左鱼眼摄像头采集的一路图像信息、右鱼眼摄像头采集的一路图像信息；

图像预处理模块先对所述三路图像信息进行预处理，然后将经过预处理后的三路图像信息发送给检测模块；

检测模块先利用已训练好的深度神经网络模型识别该三路图像信息中的车辆、车轮，得到各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框，然后将各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框发送给坐标转换模块；

坐标转换模块先将各个车辆目标的车辆边界框、前车轮边界框、后车轮边界框的像素坐标转化为在车辆横纵向平面坐标系中的坐标，得到与各个车辆目标的车辆ID对应的车辆坐标、前车轮坐标、后车轮坐标，然后将各个车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给目标融合模块；

目标融合模块进行判断、融合，并将融合后的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

车辆目标信息输出模块先利用前车轮坐标、后车轮坐标计算得到车辆航向角，然后将车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标、车辆航向角组合作为车辆目标信息输出。

目标融合模块的作用是融合前鱼眼摄像头、左鱼眼摄像头的视场重叠区域中的车辆目标和前鱼眼摄像头、右鱼眼摄像头的视场重叠区域中的车辆目标，避免出现一个车辆目标被***识别成两个车辆目标。优选的，所述目标融合模块进行判断、融合的具体方式为：

目标融合模块判断前鱼眼摄像头采集的一路图像信息与左鱼眼摄像头采集的一路图像信息中是否同时存在车辆目标，或者前鱼眼摄像头采集的一路图像信息与右鱼眼摄像头采集的一路图像信息中是否同时存在车辆目标；

如果前鱼眼摄像头采集的一路图像信息与左鱼眼摄像头采集的一路图像信息中同时存在车辆目标，则计算前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1，将车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1中的最小值与设定的距离阈值D_阈比较；若该最小值小于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将前鱼眼摄像头采集的一路图像信息或者左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；若该最小值大于或等于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为不同的车辆目标，分别将前鱼眼摄像头采集的一路图像信息和左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

如果前鱼眼摄像头采集的一路图像信息与右鱼眼摄像头采集的一路图像信息中同时存在车辆目标，则计算前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2，将车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2中的最小值与设定的距离阈值D_阈比较；若该最小值小于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将前鱼眼摄像头采集的一路图像信息或者右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；若该最小值大于或等于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标判定为不同的车辆目标，分别将前鱼眼摄像头采集的一路图像信息和右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

否则，直接将前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头采集的三路图像信息中的所有车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块。

本发明具有如下效果：

(1)本发明感知并输出的车辆目标信息包含车辆ID、车辆坐标、前车轮坐标、后车轮坐标、车辆航向角，其实现了行驶环境中车辆目标的精细、准确感知，为驾驶决策提供了可靠的依据。

(2)本发明中车辆航向角是通过感知并经计算得到的，与通过行驶路径估算车辆目标的航向角的方法相比，本发明得到的车辆航向角结果更精确。

(3)本发明的车辆目标信息中的前车轮坐标、后车轮坐标可以用在其他驾驶决策中，作为这些驾驶决策的一个考虑因素。

附图说明

图1为车辆目标感知***的架构图。

图2为车辆目标感知方法流程图。

图3为前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头的车辆目标感兴趣区域。

图4为目标融合模块的判断、融合流程图。

具体实施方式

下面结合附图对本发明作详细说明。

如图1所示的车辆目标感知***，包括前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头和环视控制器，环视控制器具有图像预处理模块、检测模块、坐标转换模块、目标融合模块和车辆目标信息输出模块。前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头都为百万像素的高清鱼眼摄像头。前鱼眼摄像头安装在前保险杠中心，左鱼眼摄像头安装在左后视镜上，右鱼眼摄像头安装在右后视镜上，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头通过数据线与环视控制器电连接，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头同时采集行车环境中的图像信息，并通过数据线实时传输给环视控制器，环视控制器接收并处理图像信号，然后输出车辆目标信息。将环视控制器与CAN总线通讯连接，环视控制器能将车辆目标信息转换为CAN数据格式发送至CAN总线上。

如图2所示，采用上述车辆目标感知***进行车辆目标感知的方法包括：

步骤一、环视控制器获取前鱼眼摄像头采集的一路图像信息、左鱼眼摄像头采集的一路图像信息、右鱼眼摄像头采集的一路图像信息。

步骤二、图像预处理模块先对三路图像信息进行预处理(即进行高斯滤波降噪、边缘畸变较大区域裁剪)，然后将经过预处理后的三路图像信息发送给检测模块。

步骤三、检测模块先利用已训练好的深度神经网络模型识别该三路图像信息中的车辆、车轮，得到各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框，然后将各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框发送给坐标转换模块。深度神经网络模型的训练流程为：首先对已采集的车辆、车轮目标正负样本进行预处理，包括降噪和畸变区裁剪，再输入给深度神经网络模型进行训练。训练深度神经网络模型的方法属于公知的技术方法。

步骤四、坐标转换模块先利用高清鱼眼摄像头的标定参数将各个车辆目标的车辆边界框的像素坐标、前车轮边界框的像素坐标、后车轮边界框的像素坐标转化为其在车辆横纵向平面坐标系中的坐标，得到与各个车辆目标的车辆ID对应的车辆坐标、前车轮坐标、后车轮坐标，然后将各个车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给目标融合模块。通过高清鱼眼摄像头的标定参数可以确定像素坐标(二维坐标系)与车辆的横纵向平面坐标系之间的转化参数；因此，知道高清鱼眼摄像头采集的图像上的某个像素坐标，通过转化参数计算，就能知道该像素点在车辆横纵向平面坐标系中的坐标。坐标转换模块的转换方法属于公知的技术方法。

步骤五、目标融合模块进行判断、融合，并将融合后的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块。如图3所示，前鱼眼摄像头的有效感知区域(即感兴趣区域)为车辆前方长宽为6mx5m的矩形区域，左鱼眼摄像头的有效感知区域为车辆左侧6mx5m的矩形区域，右鱼眼摄像头的有效感知区域为车辆右侧6mx5m的矩形区域；在矩形框重叠区域，各个摄像头输出的车辆目标信息会根据几何约束进行目标融合，避免出现“重影”现象。目标融合模块进行判断、融合的具体方式为：

第一步、判断前鱼眼摄像头采集的一路图像信息与左鱼眼摄像头采集的一路图像信息中是否同时存在车辆目标，如果是，则执行第二步，否则执行第六步；

第二步、计算前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1，然后执行第三步；具体计算公式为：

其中，x、y表示前鱼眼摄像头采集的一路图像信息中的车辆目标的车辆坐标值，x₁、y₁表示前鱼眼摄像头采集的一路图像信息中的车辆目标的前车轮坐标值，x₂、y₂表示前鱼眼摄像头采集的一路图像信息中的车辆目标的后车轮坐标值，x′、y′表示左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆坐标值，x₁′、y₁′表示左鱼眼摄像头采集的一路图像信息中的车辆目标的前车轮坐标值，x₂′、y₂′表示左鱼眼摄像头采集的一路图像信息中的车辆目标的后车轮坐标值；

第三步、选择车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1中的最小值，并判断该最小值是否小于设定的距离阈值D_阈，如果是，则执行第四步，否则执行第五步；

第四步、将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块，然后结束；

第五步、将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为不同的车辆目标，分别将前鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标和左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块，然后结束；

第六步、判断前鱼眼摄像头采集的一路图像信息与右鱼眼摄像头采集的一路图像信息中是否同时存在车辆目标，如果是，则执行第七步，否则执行第十一步；

第七步、计算前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2，然后执行第八步；具体计算公式为：

其中，x、y表示前鱼眼摄像头采集的一路图像信息中的车辆目标的车辆坐标值，x₁、y₁表示前鱼眼摄像头采集的一路图像信息中的车辆目标的前车轮坐标值，x₂、y₂表示前鱼眼摄像头采集的一路图像信息中的车辆目标的后车轮坐标值，x″、y″表示右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆坐标值，x₁″、y₁″表示右鱼眼摄像头采集的一路图像信息中的车辆目标的前车轮坐标值，x₂″、y₂″表示右鱼眼摄像头采集的一路图像信息中的车辆目标的后车轮坐标值；

第八步、选择车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2中的最小值，并判断该最小值是否小于设定的距离阈值D_阈，如果是，则执行第九步，否则执行第十步；

第九步、将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块，然后结束；

第十步、将前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标判定为不同的车辆目标，分别将前鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标和右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块，然后结束；

第十一步、直接将前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头采集的三路图像信息中的所有车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块，然后结束。

步骤六、车辆目标信息输出模块先利用前车轮坐标、后车轮坐标计算得到车辆航向角θ，然后将车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标、车辆航向角组合作为车辆目标信息输出。具体计算公式为：

其中，x1、y1表示某个车辆目标的前车轮坐标值，x2、y2表示某个车辆目标对应的后车轮坐标值。

最后，环视控制器输出车辆目标信息，并将车辆目标信息转换为CAN数据格式发送至CAN总线上。

Claims (1)

1.一种车辆目标感知方法，采用的车辆目标感知***包括前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头和环视控制器，前鱼眼摄像头安装在前保险杠中心，左鱼眼摄像头安装在左后视镜上，右鱼眼摄像头安装在右后视镜上，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头与环视控制器电连接，前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头同时采集行车环境中的图像信息，并实时传输给环视控制器，环视控制器进行处理后输出车辆目标信息；

其特征在于：所述环视控制器具有图像预处理模块、检测模块、坐标转换模块、目标融合模块和车辆目标信息输出模块；所述方法包括：

环视控制器获取前鱼眼摄像头采集的一路图像信息、左鱼眼摄像头采集的一路图像信息、右鱼眼摄像头采集的一路图像信息；

图像预处理模块先对三路图像信息进行预处理，然后将经过预处理后的三路图像信息发送给检测模块；

检测模块先利用已训练好的深度神经网络模型识别该三路图像信息中的车辆、车轮，得到各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框，然后将各个车辆目标的车辆ID、车辆边界框、前车轮边界框、后车轮边界框发送给坐标转换模块；

坐标转换模块先将各个车辆目标的车辆边界框、前车轮边界框、后车轮边界框的像素坐标转化为在车辆横纵向平面坐标系中的坐标，得到与各个车辆目标的车辆ID对应的车辆坐标、前车轮坐标、后车轮坐标，然后将各个车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给目标融合模块；

目标融合模块进行判断、融合，并将融合后的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

车辆目标信息输出模块先利用前车轮坐标、后车轮坐标计算得到车辆航向角，然后将车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标、车辆航向角组合作为车辆目标信息输出；

其中，所述目标融合模块进行判断、融合的具体方式为：

如果前鱼眼摄像头采集的一路图像信息与左鱼眼摄像头采集的一路图像信息中同时存在车辆目标，则计算前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1，将车辆距离D_车辆1、前车轮距离D_前车轮1、后车轮距离D_后车轮1中的最小值与设定的距离阈值D_阈比较；若该最小值小于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与左鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将前鱼眼摄像头采集的一路图像信息或者左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；若该最小值大于或等于设定的距离阈值D_阈，则分别将前鱼眼摄像头采集的一路图像信息和左鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

如果前鱼眼摄像头采集的一路图像信息与右鱼眼摄像头采集的一路图像信息中同时存在车辆目标，则计算前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标对应坐标之间的欧式距离，得到车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2，将车辆距离D_车辆2、前车轮距离D_前车轮2、后车轮距离D_后车轮2中的最小值与设定的距离阈值D_阈比较；若该最小值小于设定的距离阈值D_阈，则将前鱼眼摄像头采集的一路图像信息中的车辆目标与右鱼眼摄像头采集的一路图像信息中的车辆目标判定为同一车辆目标，将前鱼眼摄像头采集的一路图像信息或者右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；若该最小值大于或等于设定的距离阈值D_阈，则分别将前鱼眼摄像头采集的一路图像信息和右鱼眼摄像头采集的一路图像信息中的车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块；

否则，直接将前鱼眼摄像头、左鱼眼摄像头、右鱼眼摄像头采集的三路图像信息中的所有车辆目标的车辆ID、车辆坐标、前车轮坐标、后车轮坐标发送给车辆目标信息输出模块。

Images