CN112835030A - 一种障碍物目标的数据融合方法、装置及智能汽车 - Google Patents

Abstract

本发明实施例涉及辅助驾驶技术领域，公开了一种应用于智能汽车的障碍物目标的数据融合方法及装置，该方法首先通过智能汽车中的毫米波雷达采集包含障碍物目标的第一数据，并通过智能汽车中的前视摄像头采集包含所述障碍物目标的第二数据，其次对所述第一数据和所述第二数据进行预处理，然后将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据，接着从所述融合数据中筛选出所述障碍物目标，最后输出所述障碍物目标的信息，本发明实施例提供的数据融合方法能够将毫米波雷达和前视摄像头采集的数据进行融合匹配后筛选，从而得到精度高、误差小的障碍物目标的信息。

Description

一种障碍物目标的数据融合方法、装置及智能汽车

技术领域

本发明实施例涉及辅助驾驶技术领域，特别涉及一种障碍物目标的数据融合方法、装置及智能汽车。

背景技术

近年随着我国交通领域的大力发展，在满足人们出行需求的同时也带来了一系列安全问题，道路交通事故数量在逐年上升，给人们的人身财产安全造成了巨大的威胁。为了降低事故发生率，辅助驾驶技术甚至自动驾驶技术得到了大力的发展，这些技术的使用可以避免或者减轻由于驾驶员的失误造成的交通事故，保障交通参与的安全。

现有已公开的辅助驾驶技术基本采用毫米波雷达、前视摄像头***或两者相结合的方案。毫米波雷达相比摄像头来说，在纵向探测范围，受天气环境影响程度和对障碍物的测距、测速精度方面更具优势，但是在横向识别，障碍物分类和探测准确性方面不及前视摄像头。相比毫米波雷达，摄像头可以依赖先进的图像处理技术获得障碍物的类别、大小和位置做出更准确的判断，但是容易受到光照条件的影响，因此结合两类传感器的优点，通过数据融合的方法实现两种传感器的优势互补具有重大意义。

在实现本发明实施例过程中，发明人发现以上相关技术中至少存在如下问题：目前主要存在两种技术方案，一种是集中式的方案，即所有的传感器数据都传输至中央处理单元，再由中央处理单元对车辆进行控制；另一种是分布式的方案，即传感器对各自的数据进行处理后直接发送控制指令对车辆进行控制。以上两种技术方案对于激光雷达和摄像头的原始数据的使用，通常仅仅只是用作验证，且摄像头的识别权重通常较大，如出现漏检的情况，会造成识别不到物体的结果，现有的技术方案无法有效利用激光雷达和摄像头所采集的数据，识别精度低、误差大、效果不佳。

发明内容

针对现有技术的上述缺陷，本发明实施例的目的是提供一种误差小且精度高的障碍物目标的数据融合方法、装置及智能汽车。

本发明实施例的目的是通过如下技术方案实现的：

为解决上述技术问题，第一方面，本发明实施例中提供了一种障碍物目标的数据融合方法，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述方法包括：

通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

对所述第一数据和所述第二数据进行预处理；

将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

从所述融合数据中筛选出所述障碍物目标；

输出所述障碍物目标的信息。

在一些实施例中，所述对所述第一数据和所述第二数据进行预处理的步骤，进一步包括：

去除所述第一数据中空白目标的数据；

去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据；

去除所述第一数据中与所述智能汽车对向运动的障碍物数据；

对所述第一数据和所述第二数据中的障碍物目标进行连续性校验，以得到有效的障碍物目标的数据，以得到预处理后的所述第一数据和所述第二数据。

在一些实施例中，所述去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据的步骤，进一步包括：

判断所述不在所述智能汽车的行驶轨迹正前方的障碍物的绝对速度是否为零；

若是，则确定所述不在所述智能汽车的行驶轨迹正前方的障碍物为所述静态障碍物；

去除所述静态障碍物的数据。

在一些实施例中，所述去除所述第一数据中与所述智能汽车对向运动的障碍物数据的步骤，进一步包括：

判断所述智能汽车周围的障碍物的相对速度的绝对值是否大于所述智能汽车的速度；

若是，则确定所述智能汽车周围的障碍物为与所述智能汽车对向运动的障碍物；

去除所述对向运动的障碍物的数据。

在一些实施例中，所述方法还包括：

获取所述前视摄像头的光轴与所述毫米波雷达测量法线之间的夹角偏差数据；

获取所述前视摄像头与所述毫米波雷达在测距上的偏差关系；

根据所述夹角偏差数据和所述偏差关系，对预处理后的所述第一数据和所述第二数据进行数据补偿。

在一些实施例中，所述将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据的步骤，进一步包括：

将预处理后的所述第一数据和所述第二数据转化到同一坐标系上，以得到空间统一的所述第一数据和所述第二数据；

根据所述智能汽车的运动状态和时间差值对空间统一后的所述第一数据和所述第二数据进行插值补偿，以得到时间统一的所述第一数据和所述第二数据；

将时间统一后的所述第一数据和所述第二数据中，目标距离小于预设范围的目标匹配为同一障碍物；

通过线性卡尔曼滤波对所述第二数据中未匹配的目标数据进行更新；

通过扩展卡尔曼滤波对所述第二数据中已匹配的目标数据和/或所述第一数据进行更新。

在一些实施例中，在从所述融合数据中筛选出所述障碍物目标之前，所述方法还包括：

从所述前视摄像头采集的第二数据中提取出车道线数据，并根据所述车道线数据拟合得到车道线方程，

或者，

从所述前视摄像头中直接获取所述车道线方程；

对所述车道线方程进行数据补偿。

在一些实施例中，所述从所述融合数据中筛选出所述障碍物目标的步骤，进一步包括：

根据所述补偿后的车道线方程，获取位于所述智能汽车当前车道、左侧车道和右侧车道内的预设数量个所述障碍物目标。

为解决上述技术问题，第二方面，本发明实施例中提供了一种障碍物目标的数据融合装置，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述方法包括：

采集模块，用于通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

预处理模块，用于对所述第一数据和所述第二数据进行预处理；

融合模块，用于将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

筛选模块，用于从所述融合数据中筛选出所述障碍物目标；

输出模块，用于输出所述障碍物目标的信息。

为解决上述技术问题，第三方面，本发明实施例提供了一种智能汽车，包括：

毫米波雷达；

前视摄像头：

至少一个处理器，且有，

所述至少一个处理器设置在所述毫米波雷达中时，所述至少一个处理器与所述前视摄像头连接，

所述至少一个处理器设置在所述前视摄像头中时，所述至少一个处理器与所述毫米波雷达连接，

所述至少一个处理器单独设置在所述智能汽车中时，所述至少一个处理器分别与所述毫米波雷达和所述前视摄像头连接；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。

为解决上述技术问题，第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上第一方面所述的方法。

为解决上述技术问题，第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上第一方面所述的方法。

与现有技术相比，本发明的有益效果是：区别于现有技术的情况，本发明实施例中提供了一种应用于智能汽车的障碍物目标的数据融合方法及装置，该方法首先通过智能汽车中的毫米波雷达采集包含障碍物目标的第一数据，并通过智能汽车中的前视摄像头采集包含所述障碍物目标的第二数据，其次对所述第一数据和所述第二数据进行预处理，然后将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据，接着从所述融合数据中筛选出所述障碍物目标，最后输出所述障碍物目标的信息，本发明实施例提供的数据融合方法能够将毫米波雷达和前视摄像头采集的数据进行融合匹配后筛选，从而得到精度高、误差小的障碍物目标的信息。

附图说明

一个或多个实施例中通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤，除非有特别申明，附图中的图不构成比例限制。

图1(a)是本发明实施例提供的障碍物目标的数据融合方法的第一种应用环境的示意图；

图1(b)是本发明实施例提供的障碍物目标的数据融合方法的第二种应用环境的示意图；

图1(c)是本发明实施例提供的障碍物目标的数据融合方法的第三种应用环境的示意图；

图1(d)是本发明实施例提供的障碍物目标的数据融合方法的第四种应用环境的示意图；

图2是本发明实施例一提供的一种障碍物目标的数据融合方法的流程示意图；

图3是图2所示数据融合方法中步骤120的一子流程示意图；

图4是图2所示数据融合方法中步骤120的另一子流程示意图；

图5是图2所示数据融合方法中步骤130的一子流程示意图；

图6是本发明实施例一提供的另一种障碍物目标的数据融合方法的流程示意图；

图7是本发明实施例提供的数据融合方法所输出的一种障碍物目标的信息的场景示意图；

图8是本发明实施例二中提供的一种障碍物目标的数据融合装置的结构示意图；

图9(a)是本发明实施例三提供的第一种智能汽车的硬件结构示意图；

图9(b)是本发明实施例三提供的第二种智能汽车的硬件结构示意图；

图9(c)是本发明实施例三提供的第三种智能汽车的硬件结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。

需要说明的是，当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为了解决现有的智能汽车中，无法有效结合激光雷达和摄像头这两类传感器采集的原始数据，导致输出结果精度不佳、误差较大、容易出现漏检的情况，本发明实施例提供了一种应用于智能汽车的障碍物目标的数据融合方法及装置，该方法能够将毫米波雷达和前视摄像头采集的数据进行融合匹配后筛选，从而得到精度高、误差小的障碍物目标的信息。

图1(a)为本发明实施例提供的障碍物目标的数据融合方法的第一种应用环境的示意图，该应用环境为智能汽车10a，该智能汽车10a包括有：毫米波雷达11a、前视摄像头12a、融合控制器13a和运动控制模块14a，所述毫米波雷达11a、所述前视摄像头12a和所述融合控制器13a连接到同一CAN总线CAN1a上，所述融合控制器13a和运动控制模块14a电气连接，所述运动控制模块14a还通过CAN总线CAN2a和CAN3a分别与车辆底盘CAN总线15a和车辆动力CAN总线16a连接。所述融合控制器13a用于处理所述毫米波雷达11a和所述前视摄像头12a采集的数据，所述运动控制模块14a则用于路线规划、控制所述智能汽车10a的移动等运动，本应用场景将能够执行本发明实施例提供的数据融合方法的所述融合控制器13a单独设置，适用于对数据融合方法的算力要求较高的场景。

在如图1(a)所示应用场景中，所述融合控制器13a为执行本发明实施例提供的障碍物目标的数据融合方法的执行主体，所述障碍物目标的数据融合装置同样设置在所述融合控制器13a中，通过所述毫米波雷达11a和所述前视摄像头12a分别采集的数据进入到所述融合控制器13a后，由所述融合控制器13a执行本发明实施例所述的数据融合方法，以筛选出障碍物目标的信息，所述融合控制器13a可以是能够执行所述数据融合方法的芯片、模块、单元、装置、设备等，如微处理器、微控制单元、单片机、控制器等。且有，若还需要接入更多种类的传感器，例如其他类型的激光雷达、环视摄像头、定位***等，可直接将其他传感器通过CAN总线CAN1a直接与所述融合控制器13a连接，各传感器的数据可发送至所述融合控制器13a进行融合处理，以筛选出障碍物目标的信息。

图1(b)为本发明实施例提供的障碍物目标的数据融合方法的第二种应用环境的示意图，该应用环境为智能汽车10b，该智能汽车10b包括有：毫米波雷达11b、前视摄像头12b和决策控制模块13b，所述毫米波雷达11b、所述前视摄像头12b和所述决策控制模块13b连接到同一CAN总线CAN1b上，所述决策控制模块13b还通过CAN总线CAN2b和CAN3b分别与车辆底盘CAN总线15b和车辆动力CAN总线16b连接。所述决策控制模块13b用于处理所述毫米波雷达11b和所述前视摄像头12b采集的数据，以及路线规划、控制所述智能汽车10b的移动等运动，本应用场景将本发明实施例提供的数据融合方法交由智能汽车10b中原有的决策控制模块13b来执行，适用于不想改变现有的智能汽车10b中的***构造的场景。

在如图1(b)所示应用场景中，所述决策控制模块13b为执行本发明实施例提供的障碍物目标的数据融合方法的执行主体，所述障碍物目标的数据融合装置同样设置在所述决策控制模块13b中，通过所述毫米波雷达11b和所述前视摄像头12b分别采集的数据进入到所述决策控制模块13b后，由所述决策控制模块13b执行本发明实施例所述的数据融合方法，以筛选出障碍物目标的信息，所述决策控制模块13b可以是能够执行所述数据融合方法的芯片、模块、单元、装置、设备等，如微处理器、微控制单元、单片机、控制器等。

图1(c)为本发明实施例提供的障碍物目标的数据融合方法的第三种应用环境的示意图，该应用环境为智能汽车10c，该智能汽车10c包括有：毫米波雷达11c、前视摄像头12c、融合模块13c和网关14c，所述融合模块13c设置在所述毫米波雷达11c中，所述毫米波雷达11c、所述前视摄像头12c和所述网关14c连接到同一CAN总线CAN1c上，所述网关14c还通过CAN总线CAN2c和CAN3c分别与车辆底盘CAN总线15c和车辆动力CAN总线16c连接。所述融合模块13c用于处理所述毫米波雷达11c和所述前视摄像头12c采集的数据，本应用场景将能够执行本发明实施例提供的数据融合方法的所述融合模块13c设置在所述毫米波雷达11c中，适用于不改变现有ADAS架构下实现两类传感器的数据融合的场景。

在如图1(c)所示应用场景中，所述融合模块13c为执行本发明实施例提供的障碍物目标的数据融合方法的执行主体，所述障碍物目标的数据融合装置同样设置在所述融合模块13c中，通过所述毫米波雷达11c和所述前视摄像头12c分别采集的数据进入到所述融合模块13c后，由所述融合模块13c执行本发明实施例所述的数据融合方法，以筛选出障碍物目标的信息，所述融合模块13c可以是能够执行所述数据融合方法的芯片、模块、单元等，如微处理器、微控制单元、单片机、控制器等。

图1(d)为本发明实施例提供的障碍物目标的数据融合方法的第四种应用环境的示意图，该应用环境为智能汽车10d，该智能汽车10d包括有：毫米波雷达11d、前视摄像头12d、融合模块13d和网关14d，所述融合模块13d设置在所述前视摄像头12d中，所述毫米波雷达11d、所述前视摄像头12d和所述网关14d连接到同一CAN总线CAN1d上，所述网关14d还通过CAN总线CAN2d和CAN3d分别与车辆底盘CAN总线15d和车辆动力CAN总线16d连接。所述融合模块13d用于处理所述毫米波雷达11d和所述前视摄像头12d采集的数据，本应用场景将能够执行本发明实施例提供的数据融合方法的所述融合模块13d设置在所述前视摄像头12d中，适用于不改变现有ADAS架构下实现两类传感器的数据融合的场景。

在如图1(d)所示应用场景中，所述融合模块13d为执行本发明实施例提供的障碍物目标的数据融合方法的执行主体，所述障碍物目标的数据融合装置同样设置在所述融合模块13d中，通过所述毫米波雷达11d和所述前视摄像头12d分别采集的数据进入到所述融合模块13d后，由所述融合模块13d执行本发明实施例所述的数据融合方法，以筛选出障碍物目标的信息，所述融合模块13d可以是能够执行所述数据融合方法的芯片、模块、单元等，如微处理器、微控制单元、单片机、控制器等。

具体地，下面结合附图，对本发明实施例作进一步阐述。

实施例一

本发明实施例提供了一种障碍物目标的数据融合方法，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述智能汽车可以是如上述应用场景所示的智能汽车10(10a、10b、10c或10d)，请参见图2，其示出了本发明实施例提供的一种障碍物目标的数据融合方法的流程，所述方法包括但不限于以下步骤：

步骤110：通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

在本发明实施例中，首先，需要通过所述毫米波雷达采集第一数据，通过前视摄像头采集第二数据，其中，所述第一数据和所述第二数据应当至少包括障碍物目标，进一步地，还可以包括车道线、指示牌、红绿灯等马路上常见的物体。所述毫米波雷达为工作在毫米波波段探测的雷达，也即是工作在30～300GHz这一频域内的雷达，具有体积小、质量轻、穿透力强和空间分辨率高的特点。所述前视摄像头为设置在所述智能汽车前端，用于采集所述智能汽车前方图像的摄像头，所述摄像头可以是CCD图像传感器、CMOS图像传感器等，还可以是所述智能汽车中原本就搭载有的行车记录仪等。

步骤120：对所述第一数据和所述第二数据进行预处理；

在获取到所述第一数据和所述第二数据后，需要对所述第一数据和所述第二数据进行预处理，以过滤掉所述第一数据和所述第二数据中无效的数据，补偿毫米波雷达和前视摄像头由于设置位置的不同带来的数据偏差，以及所述第一数据和所述第二数据中其他数据如车道线等数据的补偿。

步骤130：将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

在将所述第一数据和所述第二数据进行预处理之后，进一步地，将所述预处理后的第一数据和第二数据进行融合匹配得到融合数据，具体地，由于所述毫米波雷达和所述前视摄像头通常安装在不同的位置上且两种传感器采集数据的响应及反馈时间有差，因此需要对所述第一数据和所述第二数据进行时间和空间上的同步，然后，将第一数据和第二数据中表征为同一障碍物目标的数据进行同一匹配，最后对障碍物进行滤波匹配，以得到融合数据。

步骤140：从所述融合数据中筛选出所述障碍物目标；

在得到所述融合数据后，进一步地，从所述融合数据中筛选出可能会影响所述智能汽车的行进的障碍物目标，所述障碍物目标可以是位于所述智能汽车前方以及左右两侧的车辆，可选地，还可以包括路牌、红绿灯、指示牌等障碍物目标。

步骤150：输出所述障碍物目标的信息。

在确定障碍物目标后，根据所述第一数据和所述第二数据，输出所述障碍物目标的信息，所述障碍物目标的信息包括但不限于：所述障碍物目标的ID、所述障碍物目标的位置坐标、所述障碍物目标的速度、所述障碍物目标的加速度、所述障碍物目标的类别等信息。

进一步地，请一并参见图3，其示出了图2所示数据融合方法中步骤120的一子流程，所述步骤120还包括：

步骤121：去除所述第一数据中空白目标的数据；

在本发明实施例中，在对所述第一数据进行预处理时，由于从实际的测试中发现，毫米波雷达在每个数据更新的周期都会发布64个目标的数据，其中包含空白目标的数据，因此，需要首先去除空白目标的数据，所述空白目标可以是没有目标的数据，可选地，具体地，可以是通过检测在预设探测范围内是否存在障碍物来确定，以及，判断障碍物的距离是否小于预设值来确定，例如，在检测到障碍物的距离小于0.2米时，则认为这是个干扰点，不认为是障碍物，将其确定为空白目标，也即是说，在0.2m<障碍物距离<最大探测距离范围内的障碍物才认为是有效的，并保留有效的障碍物的数据。

步骤122：去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据；

具体地，判断所述不在所述智能汽车的行驶轨迹正前方的障碍物的绝对速度是否为零；若是，则确定所述不在所述智能汽车的行驶轨迹正前方的障碍物为所述静态障碍物；去除所述静态障碍物的数据。在本发明实施例中，在仅考虑到是否安全驾驶的前提下，智能汽车正常行驶过程中，周围的静态障碍物并不会影响到智能汽车的安全驾驶，因此，可以将采集到的所述第一数据中，不在行驶轨迹正前方的静态障碍物的数据去除掉。

步骤123：去除所述第一数据中与所述智能汽车对向运动的障碍物数据；

具体地，判断所述智能汽车周围的障碍物的相对速度的绝对值是否大于所述智能汽车的速度；若是，则确定所述智能汽车周围的障碍物为与所述智能汽车对向运动的障碍物；去除所述对向运动的障碍物的数据。在本发明实施例中，进一步地，由于对向运动的障碍物通常指的是在相反方向的车道上与所述智能汽车以相反方向行驶的车辆，其通常也不会出现***到所述智能汽车前方的情况，因此，在所述第一数据中，还可以相应去除掉与所述智能汽车对向运动的障碍物数据。进一步地，所述步骤123也可以省略，以避免出现相对车道的汽车突然冲向所述智能汽车所在车道影响所述智能汽车的驾驶安全的情况。

步骤124：对所述第一数据和所述第二数据中的障碍物目标进行连续性校验，以得到有效的障碍物目标的数据，以得到预处理后的所述第一数据和所述第二数据。

为了进一步处理不需要的目标，还要对两种传感器(也即是毫米波雷达和前视摄像头)所检测到的目标的数据进行连续周期的检验，在一定时间内都能探测到的目标才是真实的障碍物目标，只出现极少次数的目标可能是虚假目标，因此根据目标出现的连续次数和目标运动参数，如速度，加速度等进行连续性校验，以确定是否为有效的障碍物目标的数据。

需要说明的是，通常前视摄像头最多输出13个障碍物信息，从实际的测试数据中发现，由于前视摄像头并不是每个测量周期都会输出所有的障碍物信息，只是根据实际的测量输出相应数量的目标信息，所以可以认为前视摄像头所检测得到的第二数据中的目标里并不包含空目标，且由于毫米波雷达对目标的速度、位置等数据检测精度较高，前视摄像头的检测角度较小，因此，在第一数据中滤除掉不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据以及与所述智能汽车对向运动的障碍物数据的前提下，所述第二数据不再需要去除上述数据，仅需要对第二数据中的目标进行连续性校验即可。经过上述步骤121-124的预处理后，第一数据和第二数据可以进一步进行数据融合及匹配。

进一步地，请参见图4，在图2和/或图3所示的数据融合方法的基础上，所述方法进一步还包括：

步骤125：获取所述前视摄像头的光轴与所述毫米波雷达测量法线之间的夹角偏差数据；

步骤126：获取所述前视摄像头与所述毫米波雷达在测距上的偏差关系；

步骤127：根据所述夹角偏差数据和所述偏差关系，对预处理后的所述第一数据和所述第二数据进行数据补偿。

在本发明实施例中，由于毫米波雷达和前视摄像头测量方式的特性，毫米波雷达测距的精度较高，前视摄像头的测距精度则较差，为了后续过程能匹配成功，在标定过程中需要明确前视摄像头光轴与毫米波雷达测量法线之间的夹角，该夹角的偏差数据值可以通过对同一个物体的探测结果得出来；同时也要明确前视摄像头与毫米波雷达在测距上的偏差，通过线性方程或者二次方程拟合的方式得到可能的偏差关系，该关系可以通过多次测量数据拟合获取。然后，根据经上述计算得到的所述夹角偏差数据和所述偏差关系对所述第一数据和所述第二数据进行补偿，以减少因两种传感器的安装位置及检测方向的不一致所带来的数据误差。

进一步地，请一并参见图5，其示出了图2所示数据融合方法中步骤130的一子流程，所述步骤130还包括：

步骤131：将预处理后的所述第一数据和所述第二数据转化到同一坐标系上，以得到空间统一的所述第一数据和所述第二数据；

在本发明实施例中，在对所述第一数据和所述第二数据预处理完毕后，即可将所述第一数据和所述第二数据进行融合及匹配，具体地，首先，由于传感器(具体为毫米波雷达和前视摄像头)安装的位置的差异，以及每个传感器自身定义的坐标系差异，会造成整体的空间上有区别，因此，首先需要将毫米波雷达所采集到的第一数据和前视摄像头所采集到的第二数据进行空间同步，其中，空间同步即是将两类传感器的坐标***一到1个坐标系上。

步骤132：根据所述智能汽车的运动状态和时间差值对空间统一后的所述第一数据和所述第二数据进行插值补偿，以得到时间统一的所述第一数据和所述第二数据；

进一步地，由于每个传感器数据输出的时机也不是一致的，有的传感器所采集的数据到达能够执行本发明实施例提供的数据融合方法的处理器的速度较快，有的较慢，同时，采样时间和采样频率也会导致时间上的偏差问题，因此，还需要对所述第一数据和所述第二数据进行时间同步，其中，时间同步即是将传感器输出的数据的时间统一，具体地，可以根据智能汽车的运动状态和时间差值对探测的数据进行插值补偿，达到传感器同步探测的目的。

步骤133：将时间统一后的所述第一数据和所述第二数据中，目标距离小于预设范围的目标匹配为同一障碍物；

在将第一数据和第二数据中的空间和时间都统一之后，由于所述毫米波雷达和前视摄像头有部分视野是重复的，而毫米波雷达和前视摄像头采集的数据是各自单独更新的，因而可能出现同一个障碍物同时出现在第一数据和第二数据中的情况，因此，还需要将毫米波雷达测量的第一数据与前视摄像头测量的第二数据在位置上进行匹配，如果两者的距离小于预设范围，如在矩形区域内，则认为是同一个障碍物，且认为该障碍物真实存在，同时，将毫米波雷达的径向距离、角度、径向速度、横向速度作为该障碍物目标的运动参数，将前视摄像头所给出的类别、车道线等属性信息赋值给当前障碍物目标；如果两者在距离上未完成匹配，则将该目标单独放入障碍物跟踪列表，作为障碍物进行跟踪。

步骤134：通过线性卡尔曼滤波对所述第二数据中未匹配的目标数据进行更新；

步骤135：通过扩展卡尔曼滤波对所述第二数据中已匹配的目标数据和/或所述第一数据进行更新。

进一步地，将上述步骤133中未匹配/确定为同一个障碍物目标的数据通过上述步骤134和步骤135进行进一步建模处理，具体地，对上述的障碍物跟踪列表中的障碍物进行跟踪，对于未完成匹配的数据，使用传感器对目标探测的目标运动参数进行建模。其中，如果是前视摄像头的数据进行更新，则采用线性卡尔曼滤波进行数据更新；如果是已经完成匹配或者是毫米波雷达所上报的目标运动信息则采用扩展卡尔曼滤波算法进行更新，进行建模时模型的状态向量可以是x方向坐标、速度、加速度、y方向坐标、速度、加速度等。

进一步地，请一并参见图6，其示出了图2所示数据融合方法中步骤140的一子流程，在所述步骤140之前，所述方法还包括：

步骤161a：从所述前视摄像头采集的第二数据中提取出车道线数据，并根据所述车道线数据拟合得到车道线方程；

或者，步骤161b：从所述前视摄像头中直接获取所述车道线方程；

步骤162：对所述车道线方程进行数据补偿。

在本发明实施例中，发明人在测试中发现，前视摄像头所检测得到的车道线信息比实际的车道线宽，因此在实际实施过程中，还需要对前视摄像头给出的车道线方程进行补偿，具体地，在车道线方程的常数项上减去一个偏差值，使得车道线方程比实际前视摄像头所检测到的车道线略窄，从而更符合智能汽车所在环境中的实际车道线，以方便后续对障碍物所属车道的判断。此外，所述车道线方程也可以是所述前视摄像头中的处理器在获取到车道线数据后在前视摄像头中拟合计算得到的，此时用于执行所述数据融合方法的处理器直接从所述前视摄像头中获取所述车道线方程即可。

进一步地，请继续参见图6，所述步骤140还包括：

步骤141：根据所述补偿后的车道线方程，获取位于所述智能汽车当前车道、左侧车道和右侧车道内的预设数量个所述障碍物目标。

在本发明实施例中，根据前述得到的障碍物列表和经过修正的前视摄像头车道线方程，可以根据障碍物目标的坐标进一步计算得出障碍物所属的车道，判断障碍物是否处于当前车道、左侧车道、右侧车道3条车道线内，选取预设数量个所述障碍物目标输出。

例如，请参见图7，其示出了一种输出的障碍物目标的情况，所述智能汽车10所在当前车道内的障碍物选择纵向距离最小和纵向距离第二近的共2个障碍物(A1和A2)，左侧和右侧车道分别筛选出纵向距离最近(A3和A4)和横向距离最近(A5和A6)的障碍物，也即是总计共6个障碍物A，然后，输出上述6个障碍物A的信息。进一步地，需要说明是，在实际应用场景中，可以根据实际情况选择所述当前车道、所述左侧车道和所述右侧车道中的其中一个或两个车道进行障碍物目标的数据，各个车道上的障碍物目标的数量也可以根据实际需要进行输出，具体地，可根据实际情况进行设置，不需要拘泥于本发明实施例的限定。

实施例二

本发明实施例提供了一种障碍物目标的数据融合装置，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述智能汽车可以是如上述应用场景所示的智能汽车10(10a、10b、10c或10d)，请参见图8，其示出了本发明实施例提供的一种障碍物目标的数据融合装置的装置，所述障碍物目标的数据融合装置200包括：采集模块210、预处理模块220、融合模块230、筛选模块240和输出模块250。

所述采集模块210，用于通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

所述预处理模块220，用于对所述第一数据和所述第二数据进行预处理；

所述融合模块230，用于将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

所述筛选模块240，用于从所述融合数据中筛选出所述障碍物目标；

所述输出模块250，用于输出所述障碍物目标的信息。

进一步地，所述预处理模块220还用于去除所述第一数据中空白目标的数据；去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据；去除所述第一数据中与所述智能汽车对向运动的障碍物数据；对所述第一数据和所述第二数据中的障碍物目标进行连续性校验，以得到有效的障碍物目标的数据，以得到预处理后的所述第一数据和所述第二数据。

进一步地，所述预处理模块220还用于判断所述不在所述智能汽车的行驶轨迹正前方的障碍物的绝对速度是否为零；若是，则确定所述不在所述智能汽车的行驶轨迹正前方的障碍物为所述静态障碍物；去除所述静态障碍物的数据。

进一步地，所述预处理模块220还用于判断所述智能汽车周围的障碍物的相对速度的绝对值是否大于所述智能汽车的速度；若是，则确定所述智能汽车周围的障碍物为与所述智能汽车对向运动的障碍物；去除所述对向运动的障碍物的数据。

进一步地，所述预处理模块220还用于获取所述前视摄像头的光轴与所述毫米波雷达测量法线之间的夹角偏差数据；获取所述前视摄像头与所述毫米波雷达在测距上的偏差关系；根据所述夹角偏差数据和所述偏差关系，对预处理后的所述第一数据和所述第二数据进行数据补偿。

进一步地，所述融合模块230还用于将预处理后的所述第一数据和所述第二数据转化到同一坐标系上，以得到空间统一的所述第一数据和所述第二数据；根据所述智能汽车的运动状态和时间差值对空间统一后的所述第一数据和所述第二数据进行插值补偿，以得到时间统一的所述第一数据和所述第二数据；将时间统一后的所述第一数据和所述第二数据中，目标距离小于预设范围的目标匹配为同一障碍物；通过线性卡尔曼滤波对所述第二数据中未匹配的目标数据进行更新；通过扩展卡尔曼滤波对所述第二数据中已匹配的目标数据和/或所述第一数据进行更新。

进一步地，所述预处理模块220还用于从所述前视摄像头采集的第二数据中提取出车道线数据，并根据所述车道线数据拟合得到车道线方程，或者，从所述前视摄像头中直接获取所述车道线方程；对所述车道线方程进行数据补偿。

进一步地，所述筛选模块240还用于根据所述补偿后的车道线方程，获取位于所述智能汽车当前车道、左侧车道和右侧车道内的预设数量个所述障碍物目标。

实施例三

本发明实施例还提供了一种智能汽车，请参见图9(a)、图9(b)和图9(c)，其示出了能够执行图2至图6所述障碍物目标的数据融合方法的智能汽车的硬件结构。所述智能汽车10可以是图1(图1(a)图1(b)、图1(c)和图1(d))所示的智能汽车10，所述智能汽车10包括毫米波雷达11、前视摄像头12、处理器17和存储器18。

其中，图9(a)示出了处理器17设置在所述毫米波雷达11中的结构，此时，所述处理器17可以是应用场景图1(c)所示应用场景中的融合模块13c；图9(b)示出了处理器17设置在所述前视摄像头12中，此时，所述处理器17可以是应用场景图1(d)所示应用场景中的融合模块13d；图9(c)示出了处理器17单独设置在所述智能汽车10中时，所述至少一个处理器17分别与所述毫米波雷达11和所述前视摄像头12连接，此时，所述处理器17可以是应用场景图1(a)所示应用场景中的融合控制器13a或者图1(b)所示应用场景中的决策控制模块13b。

所述智能汽车10还包括：至少一个所述处理器17；以及，与所述至少一个处理器17通信连接的所述存储器18，图9(图9(a)、图9(b)和图9(c))中以一个处理器17为例。所述存储器18存储有可被所述至少一个处理器17执行的指令，所述指令被所述至少一个处理器17执行，以使所述至少一个处理器17能够执行上述图2至图6所述的障碍物目标的数据融合方法。所述处理器17和所述存储器18可以通过总线或者其他方式连接，图9(图9(a)、图9(b)和图9(c))中以通过总线连接为例。

存储器18作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的障碍物目标的数据融合方法对应的程序指令/模块，例如，图8所示的各个模块。处理器17通过运行存储在存储器18中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例障碍物目标的数据融合方法。

存储器18可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物目标的数据融合装置的使用所创建的数据等。此外，存储器18可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器18可选包括相对于处理器17远程设置的存储器，这些远程存储器可以通过网络连接至障碍物目标的数据融合装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器18中，当被所述一个或者多个处理器17执行时，执行上述任意方法实施例中的障碍物目标的数据融合方法，例如，执行以上描述的图2至图6的方法步骤，实现图8中的各模块和各单元的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图2至图6的方法步骤，实现图8中的各模块的功能。

本申请实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的障碍物目标的数据融合方法，例如，执行以上描述的图2至图6的方法步骤，实现图8中的各模块的功能。

本发明实施例中提供了一种应用于智能汽车的障碍物目标的数据融合方法及装置，该方法首先通过智能汽车中的毫米波雷达采集包含障碍物目标的第一数据，并通过智能汽车中的前视摄像头采集包含所述障碍物目标的第二数据，其次对所述第一数据和所述第二数据进行预处理，然后将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据，接着从所述融合数据中筛选出所述障碍物目标，最后输出所述障碍物目标的信息，本发明实施例提供的数据融合方法能够将毫米波雷达和前视摄像头采集的数据进行融合匹配后筛选，从而得到精度高、误差小的障碍物目标的信息。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种障碍物目标的数据融合方法，其特征在于，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述方法包括：

通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

对所述第一数据和所述第二数据进行预处理；

将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

从所述融合数据中筛选出所述障碍物目标；

输出所述障碍物目标的信息。

2.根据权利要求1所述的数据融合方法，其特征在于，

所述对所述第一数据和所述第二数据进行预处理的步骤，进一步包括：

去除所述第一数据中空白目标的数据；

去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据；

去除所述第一数据中与所述智能汽车对向运动的障碍物数据；

对所述第一数据和所述第二数据中的障碍物目标进行连续性校验，以得到有效的障碍物目标的数据，以得到预处理后的所述第一数据和所述第二数据。

3.根据权利要求2所述的数据融合方法，其特征在于，

所述去除所述第一数据中不在所述智能汽车的行驶轨迹正前方的静态障碍物的数据的步骤，进一步包括：

判断所述不在所述智能汽车的行驶轨迹正前方的障碍物的绝对速度是否为零；

若是，则确定所述不在所述智能汽车的行驶轨迹正前方的障碍物为所述静态障碍物；

去除所述静态障碍物的数据。

4.根据权利要求2所述的数据融合方法，其特征在于，

所述去除所述第一数据中与所述智能汽车对向运动的障碍物数据的步骤，进一步包括：

判断所述智能汽车周围的障碍物的相对速度的绝对值是否大于所述智能汽车的速度；

若是，则确定所述智能汽车周围的障碍物为与所述智能汽车对向运动的障碍物；

去除所述对向运动的障碍物的数据。

5.根据权利要求2-4任一项所述的数据融合方法，其特征在于，所述方法还包括：

获取所述前视摄像头的光轴与所述毫米波雷达测量法线之间的夹角偏差数据；

获取所述前视摄像头与所述毫米波雷达在测距上的偏差关系；

根据所述夹角偏差数据和所述偏差关系，对预处理后的所述第一数据和所述第二数据进行数据补偿。

6.根据权利要求5所述的数据融合方法，其特征在于，

所述将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据的步骤，进一步包括：

将预处理后的所述第一数据和所述第二数据转化到同一坐标系上，以得到空间统一的所述第一数据和所述第二数据；

根据所述智能汽车的运动状态和时间差值对空间统一后的所述第一数据和所述第二数据进行插值补偿，以得到时间统一的所述第一数据和所述第二数据；

将时间统一后的所述第一数据和所述第二数据中，目标距离小于预设范围的目标匹配为同一障碍物；

通过线性卡尔曼滤波对所述第二数据中未匹配的目标数据进行更新；

通过扩展卡尔曼滤波对所述第二数据中已匹配的目标数据和/或所述第一数据进行更新。

7.根据权利要求6所述的数据融合方法，其特征在于，

在从所述融合数据中筛选出所述障碍物目标之前，所述方法还包括：

从所述前视摄像头采集的第二数据中提取出车道线数据，并根据所述车道线数据拟合得到车道线方程，

或者，

从所述前视摄像头中直接获取所述车道线方程；

对所述车道线方程进行数据补偿。

8.根据权利要求7所述的数据融合方法，其特征在于，

所述从所述融合数据中筛选出所述障碍物目标的步骤，进一步包括：

根据所述补偿后的车道线方程，获取位于所述智能汽车当前车道、左侧车道和右侧车道内的预设数量个所述障碍物目标。

9.一种障碍物目标的数据融合装置，其特征在于，应用于智能汽车，所述智能汽车包括毫米波雷达和前视摄像头，所述方法包括：

采集模块，用于通过所述毫米波雷达采集包含障碍物目标的第一数据，并通过所述前视摄像头采集包含所述障碍物目标的第二数据；

预处理模块，用于对所述第一数据和所述第二数据进行预处理；

融合模块，用于将预处理后的所述第一数据和所述第二数据进行融合匹配，以得到融合数据；

筛选模块，用于从所述融合数据中筛选出所述障碍物目标；

输出模块，用于输出所述障碍物目标的信息。

10.一种智能汽车，其特征在于，包括：

毫米波雷达；

前视摄像头：

至少一个处理器，且有，

所述至少一个处理器设置在所述毫米波雷达中时，所述至少一个处理器与所述前视摄像头连接，

所述至少一个处理器设置在所述前视摄像头中时，所述至少一个处理器与所述毫米波雷达连接，

所述至少一个处理器单独设置在所述智能汽车中时，所述至少一个处理器分别与所述毫米波雷达和所述前视摄像头连接；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任一项所述的方法。

Images