CN113537287A - 多传感器信息融合方法与装置、存储介质、自动驾驶*** - Google Patents

Abstract

本发明公开了一种多传感器信息融合方法与装置、存储介质和自动驾驶***，其中多传感器信息融合方法，该方法包括一下步骤：利用LCM协议从各个传感器数据通道订阅各个传感器的数据；对各个传感器的数据进行处理，确定各个传感器的目标数据；对各个传感器进行标定，以将各个传感器的目标数据统一到同一坐标系下；基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；利用LCM协议将障碍物数据发送给车辆决策模块，以生成车辆控制指令。由此，该方法能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

Description

多传感器信息融合方法与装置、存储介质、自动驾驶***

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种车辆自动驾驶时的多传感器信息融合方法、一种计算机可读存储介质、一种车辆自动驾驶***和一种车辆自动驾驶时的多传感器信息融合装置。

背景技术

自动驾驶车辆在高速公路自动行驶的过程中，由于车速较快，对多传感器融合***的实时性要求很高，目前常用的数据传输方式难以满足***对实时性的要求。并且，多传感器融合***中众多的传感器数据会占用大的带宽，相关技术难以适应高带宽需求。另外，由于在不同范围内不同传感器对各个目标障碍物的检测效果并不相同，随着距离的增大，各个传感器的检测效果也会随着下降，如16线激光雷达在目标信息采集时随着距离的增大会出现目标信息的丢失或对目标进行单一传感器检测时会出现障碍物聚类不完整，多障碍过聚类等现象，从而往往会导致车辆对周围的目标检测的准确度下降并出现延时情况，影响到用户的人身安全。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种车辆自动驾驶时的多传感器信息融合方法，能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

本发明第二目的在于提出一种计算机可读存储介质。

本发明第三目的在于提出一种车辆自动驾驶***。

本发明第四目的在于提出一种车辆自动驾驶时的多传感器信息融合装置。

为达上述目的，本发明第一方面实施例提出了一种车辆自动驾驶时的多传感器信息融合方法，该方法包括一下步骤：利用LCM(Lightweight Communications andMarshalling，轻量级通信和编组)协议从各个传感器数据通道订阅各个传感器的数据；对所述各个传感器的数据进行处理，确定所述各个传感器的目标数据；对所述各个传感器进行标定，以将所述各个传感器的目标数据统一到同一坐标系下；基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；利用所述LCM协议将所述障碍物数据发送给车辆决策模块，以生成车辆控制指令。

根据本发明实施例的车辆自动驾驶时的多传感器信息融合方法，其中，车辆上设置有多个传感器，首先，可以利用LCM协议从各个传感器数据通道中订阅各个传感器所采集到的数据，然后对该数据进行处理以确定各个传感器的目标数据，再对各个传感器进行标定以将各个传感器的目标数据统一到同一个坐标系下，基于预设规则库中的融合准则，对同一个坐标系下各个传感器的目标数据进行融合以确定障碍物数据，最后利用LCM协议将障碍物数据发送给车辆决策模块，以生成车辆控制指令。由此，本发明实施例的车辆自动驾驶时的多传感器信息融合方法能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

另外，根据本发明上述实施例的车辆自动驾驶时的多传感器信息融合方法还可以具有如下附加技术特征：

根据本发明的一个实施例，利用LCM协议从各个传感器数据通道订阅各个传感器的数据，包括以下一种或多种：通过LCM协议接收GPS数据；通过LCM协议接收ESR毫米波雷达解析后的目标数据；通过LCM协议接收4线激光雷达原始数据；通过LCM协议接收16线激光雷达原始数据；通过LCM协议接收车辆状态的数据；通过LCM协议接收相机的目标数据及车道线数据；通过LCM协议接收角雷达解析后的目标数据；通过LCM协议接收地图数据。

根据本发明的一个实施例，对所述各个传感器的数据进行处理，包括：对原始数据进行解析得到点云，并对得到的点云进行分割、聚类、滤波和跟踪，得到障碍物集合目标数据；对接收到的LCM数据包进行数据解析，得到障碍物目标信息。

根据本发明的一个实施例，对所述各个传感器进行标定，包括：将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

根据本发明的一个实施例，基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，包括：基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行判定和筛选，并将满足所述融合准则的单传感器数据放入容器，以将存储在所述容器内的数据作为所述障碍物数据。

为达上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有车辆自动驾驶时的多传感器信息融合程序，该车辆自动驾驶时的多传感器信息融合程序被处理器执行时实现如上述实施例所述的车辆自动驾驶时的多传感器信息融合方法。

本发明实施例的计算机可读存储介质通过存储在其上的车辆自动驾驶时的多传感器信息融合程序，能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

为达上述目的，本发明第三方面实施例提出了一种车辆自动驾驶***，该车辆自动驾驶***包括存储器、处理器及存储在存储器上并可在处理器上运行的车辆自动驾驶时的多传感器信息融合程序，所述处理器执行所述车辆自动驾驶时的多传感器信息融合程序时，实现如上述实施例所述的车辆自动驾驶时的多传感器信息融合方法。

本发明实施例的车辆自动驾驶***包括存储器和处理器，处理器执行存储在存储器上的车辆自动驾驶时的多传感器信息融合程序，能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

为达上述目的，本发明第四方面实施例提出了一种车辆自动驾驶时的多传感器信息融合装置，该装置包括：数据接收模块，所述数据接收模块利用LCM协议从各个传感器数据通道订阅各个传感器的数据；数据处理模块，所述数据处理模块用于对所述各个传感器的数据进行处理，确定所述各个传感器的目标数据；标定模块，所述标定模块用于对所述各个传感器进行标定，以将所述各个传感器的目标数据统一到同一坐标系下；融合模块，所述融合模块基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；数据发送模块，所述数据发送模块利用所述LCM协议将所述障碍物数据发送给车辆决策模块，以生成车辆控制指令。

本发明实施例的多传感器信息融合装置包括数据接收模块、数据处理模块、标定模块、融合模块和数据发送模块，首先，车辆上设置有多个传感器，数据接收模块可以利用LCM协议从车辆上的各个传感器数据通道订阅各个传感器的数据，然后利用数据处理模块对数据接收模块所接收到的各个传感器的数据进行处理，以确定各个传感器的目标数据，再利用标定模块对各个传感器进行标定，使得各个传感器的目标数据统一到同一坐标系下，并基于预设规则库中的融合准则，通过融合模块对同一坐标系下的各个传感器的目标数据进行融合，以确定障碍物数据，最后通过数据发送模块根据LCM协议将障碍物数据发送给车辆决策模块，以生成车辆控制指令。由此，本发明实施例的车辆自动驾驶时的多传感器信息融合装置能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

另外，根据本发明上述实施例的车辆自动驾驶时的多传感器信息融合装置还可以具有如下附加技术特征：

根据本发明的一个实施例，所述数据接收模块具体用于，通过LCM协议接收GPS数据；通过LCM协议接收ESR毫米波雷达解析后的目标数据；通过LCM协议接收4线激光雷达原始数据；通过LCM协议接收16线激光雷达原始数据；通过LCM协议接收车辆状态的数据；通过LCM协议接收相机的目标数据及车道线数据；通过LCM协议接收角雷达解析后的目标数据；通过LCM协议接收地图数据。

根据本发明的一个实施例，所述标定模块具体用于，将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的车辆自动驾驶时的多传感器信息融合方法的流程示意图；

图2是根据本发明一个具体实施例的对传感器的数据进行处理的流程示意图；

图3是根据本发明一个具体实施例的融合准则库的示意图；

图4是本发明实施例的车辆自动驾驶***的结构框图；

图5是本发明实施例的车辆自动驾驶时的多传感器信息融合装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的车辆自动驾驶时的多传感器信息融合方法与装置、计算机可读存储介质、车辆自动驾驶***。

图1是根据本发明一个实施例的车辆自动驾驶时的多传感器信息融合方法的流程示意图

如图1所示，本发明实施例的车辆自动驾驶时的多传感器信息融合方法包括以下步骤：

S10，利用LCM协议从各个传感器数据通道订阅各个传感器的数据。

首先需要说明的是，车辆在自动驾驶的过程中，需要时刻获取车辆周围环境的数据，以得到自动驾驶车辆周围各障碍物准确且稳定的运行状态。在该实施例中，可以通过在车辆上设置各个传感器用于获取车辆周围环境的数据，例如，可以设置的传感器包括但不限于摄像头、雷达、光雷达。

具体地，本实施例通过LCM协议从各个传感器数据通道订阅设置在车辆上的传感器的数据，其中，需要说明的是，LCM是一组用于消息传递和数据编组的库和工具，其目标是为有高带宽和低延迟的实时***提供一种发布/订阅消息的传递模型。

在本发明的一些实施例中，利用LCM协议从各个传感器数据通道订阅各个传感器的数据可以包括以下一种或多种：通过LCM协议接收GPS(Global Positioning System，全球定位***)数据；通过LCM协议接收ESR毫米波雷达解析后的目标数据；通过LCM协议接收4线激光雷达原始数据；通过LCM协议接收16线激光雷达原始数据；通过LCM协议接收车辆状态的数据；通过LCM协议接收相机的目标数据及车道线数据；通过LCM协议接收角雷达解析后的目标数据；通过LCM协议接收地图数据。

可以理解的是，上述利用LCM协议接收的各个数据都是与车辆自动驾驶相关的数据，其中可以包括定位车辆位置信息的GPS数据、分析周围环境障碍物的激光雷达等。当然，还可以接收车辆上设有的其他传感器，在此不作限定。可以理解的是，所接收的车辆的越多种类的数据，则所获取到的障碍物数据和状态则越清晰。

S20，对各个传感器的数据进行处理，确定各个传感器的目标数据。

在通过LCM协议接收到各个传感器的数据之后，则可以对所接收到的数据进行处理以得到各个传感器的目标数据，需要说明的是，对于不同的传感器可以使用对应的不同的数据处理方式进行处理。

在本发明的一些实施例中，对各个传感器的数据进行处理，包括：对原始数据进行解析得到点云，并对得到的点云进行分割、聚类、滤波和跟踪，得到障碍物集合目标数据；对接收到的LCM数据包进行数据解析，得到障碍物目标信息。

具体地，以16线激光雷达原始数据的处理为例进行说明，其中，16线激光雷达原始数据是根据16线激光雷达数据处理模块进行获取，在一个具体实施例中，16线激光雷达数据处理模块可以接收左右两个16线激光雷达的原始数据，然后对接收到的原始数据进行解析以得到点云，同时对得到的点云进行分割、聚类、滤波和跟踪，从而可以得到稳定的障碍物集合。具体参见图2可知，首先判断16线激光雷达数据处理模块中的实时模式标志是否为真，是的话则解析时间戳并得到基础栅格图，否的话则回访模式数据处理再得到基础栅格图。在得到基础栅格图之后，则判断是否需要选定标定选项，需要的话则进行标定再判断车辆信息显示标志是否为真，不需要的话则直接判断车辆信息显示标志是否为真。在判断得到车辆信息显示标志为真时，则在多媒体界面上显示车辆速度和方位角等信息，并以栅格图的方式进行障碍物检测，再进行障碍物跟踪，最后按照要求绘制出障碍物图像并结束。

在一些实施例中，ESR毫米波雷达数据处理模块的主要功能则是通过CAN(Controller Area Network，控制器局域网络)卡获取ESR毫米波雷电原始数据，并通过LCM发送到本地网络，然后对接收到的LCM数据包做数据解析和显示等工作。需要说明的是，LCM接收本地网络ESR数据之前，可以先对设备进行初始化处理，如窗体控件初始化、各接收线程和处理线程初始化等，在设备的初始化过程中需要通过CAN网络进行通信和传输数据，CAN接口功能包括CAN卡的启动、连接、打开、关闭、数据读取等。

由于4线激光雷达、相机和角毫米波雷达输出的是包含噪点数据的障碍物目标信息，在该实施例中将其统称为其它数据处理模块，且都能输出障碍物的位置和速度，因此，这些数据的处理过程是相似的。在得到初步的目标数据之后，需要对这些数据进行滤波，进行数据关联时，对连续关联次数达到6次以上的视为可能的稳定障碍物，对其余未达到关联次数的障碍物进行过滤，对可能稳定的障碍物丢失时，进行跟踪预测，再次进行关联，最终得到稳定的障碍物信息。

S30，对各个传感器进行标定，以将各个传感器的目标数据统一到同一坐标系下。

具体地，为了让自动驾驶车辆所获取到的各个数据融合后能够得到一个准确度较高的数据，在融合之前，需要对各个传感器进行标定，以使得各传感器所检测到的数据具有时间和/或空间一致性。

在本发明的一个实施例中，对各个传感器进行标定可以包括：将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

具体地，在该实施例中，多传感器的联合标定过程可以先将一个传感器的数据标定到车身坐标系下，然后将其他传感器的数据向此传感器的数据进行标定，在对不同传感器之间的目标数据进行关联时，可以将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物数据同步到三维空间中同一位置，实现多传感器的联合标定。举例而言，首先将4线激光雷达检测到的障碍物数据平移到以车辆后轴为中心的车体坐标系下，向右为x轴正方向，向前为y正方向，向上为z轴正方向。然后依次将ESR毫米波雷达检测到的障碍物数据和16线激光雷达检测到的障碍物数据向4线激光雷达检测的障碍物数据进行标定，需要说明的是，在该标定过程中主要完成的是x方向和y方向的障碍物数据的标定。

S40，基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据。

具体地，在对各个传感器完成标定之后，则可以对各传感器的目标数据进行融合，本实施例中可以基于预设的规则库中的融合准则对各个目标数据进行融合处理，以确定障碍物数据。数据融合相比于单传感器***具有扩大空间检测范围、扩大时间检测范围和增强***的可靠性等优势，并且相比于多传感器而未标定的***，能够确保数据的时间空间一致性，提高障碍物数据的可信度。

在本发明的一些实施例中，基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合包括：基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行判定和筛选，并将满足融合准则的单传感器数据放入容器，以将存储在容器内的数据作为障碍物数据。可选地，对于不满足融合准则的单传感器数据则舍弃，或者再对其进行二次验证以确保其不满足融合准则，或者是第一次判定时出错。

更具体地，参见图3可知，融合准则为毫米波雷达的融合准则为准进行陈述，在本车道中，动态毫米波障碍物获得宽度后与纵向相机障碍物匹配，其中，纵向小于7米，横向小于2.3米，则将相机障碍物的宽度付给动态毫米波障碍物；当动态毫米波障碍物的纵向距离小于80米时，如果此时与4线激光雷达融合，纵向距离值小于3.5米，横向距离值小于1.6米，并且此时4线激光雷达的检测结果已经判断为在本车道，则此时动态毫米波障碍物直接加入融合矢量；当动态毫米波的障碍物的纵向距离大于80米时，则此时直接将动态毫米波障碍物加入融合矢量。在右侧车道和左侧车道中，将与相机障碍物匹配纵向相差7米，横向相差2.3米的毫米波障碍物的宽度设置为相机障碍物的宽度；将70米外的动态毫米波障碍物直接加入融合矢量。

S50，利用LCM协议将障碍物数据发送给车辆决策模块，以生成车辆控制指令。

具体地，将经过融合后的障碍物数据利用LCM协议发送至车辆决策模块中，以生成车辆控制指令对车辆进行控制，以保证车辆在自动驾驶过程中能够准确避开障碍物，保证司乘人员的安全。

综上，本发明实施例的车辆自动驾驶时的多传感器信息融合方法能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

进一步地，本发明提出了一种计算机可读存储介质，其上存储有车辆自动驾驶时的多传感器信息融合程序，该车辆自动驾驶时的多传感器信息融合程序被处理器执行时实现如上述实施例中的车辆自动驾驶时的多传感器信息融合方法。

本发明实施例的计算机可读存储介质通过处理器执行存储在其上的车辆自动驾驶时的多传感器信息融合程序，可以实现上述实施例中的车辆自动驾驶时的多传感器信息融合方法，从而能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

图4是本发明实施例的车辆自动驾驶***的结构框图。

进一步地，如图4所示，本发明提出了一种车辆自动驾驶***10，该驾驶***10包括存储器11、处理器12及存储在存储器11上并可在处理器12上运行的车辆自动驾驶时的多传感器信息融合程序，处理器12执行车辆自动驾驶时的多传感器信息融合程序时，实现如上述实施例中的车辆自动驾驶时的多传感器信息融合方法。

本发明实施例的车辆自动驾驶***包括存储器11和处理器12，通过处理器12执行存储在存储器11上的车辆自动驾驶时的多传感器信息融合程序，可以实现上述实施例中的车辆自动驾驶时的多传感器信息融合方法，从而能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

图5是本发明实施例的车辆自动驾驶时的多传感器信息融合装置的结构框图。

进一步地，如图5所示，本发明提出了一种车辆自动驾驶时的多传感器信息融合装置100，该融合装置100包括数据接收模块101、数据处理模块102、标定模块103、融合模块104和数据发送模块105。

其中，数据接收模块101利用LCM协议从各个传感器数据通道订阅各个传感器的数据；数据处理模块102用于对各个传感器的数据进行处理，确定各个传感器的目标数据；标定模块103用于对各个传感器进行标定，以将各个传感器的目标数据统一到同一坐标系下；融合模块104基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；数据发送模块105利用LCM协议将障碍物数据发送给车辆决策模块，以生成车辆控制指令。

首先需要说明的是，车辆在自动驾驶的过程中，需要时刻获取车辆周围环境的数据，以得到自动驾驶车辆周围各障碍物准确且稳定的运行状态。在该实施例中，可以通过在车辆上设置各个传感器用于获取车辆周围环境的数据，例如，可以设置的传感器包括但不限于摄像头、雷达、光雷达。

具体地，本实施例通过数据接收模块101根据LCM协议从各个传感器数据通道订阅设置在车辆上的传感器的数据，其中，需要说明的是，LCM是一组用于消息传递和数据编组的库和工具，其目标是为有高带宽和低延迟的实时***提供一种发布/订阅消息的传递模型。

在本发明的一些实施例中，数据接收模块101具体用于，通过LCM协议接收GPS数据；通过LCM协议接收ESR毫米波雷达解析后的目标数据；通过LCM协议接收4线激光雷达原始数据；通过LCM协议接收16线激光雷达原始数据；通过LCM协议接收车辆状态的数据；通过LCM协议接收相机的目标数据及车道线数据；通过LCM协议接收角雷达解析后的目标数据；通过LCM协议接收地图数据。

在数据接收模块101通过LCM协议接收到各个传感器的数据之后，则可以对数据接收模块101所接收到的数据利用数据处理模块102进行处理以得到各个传感器的目标数据，需要说明的是，对于不同的传感器可以使用对应的不同的数据处理方式进行处理。各传感器的数据处理方式可以参照上述方法实施例中的具体实施方式，在此不再赘述。

为了让自动驾驶车辆所获取到的各个数据融合后能够得到一个准确度较高的数据，在融合之前，可以利用标定模块103对各个传感器进行标定，以使得各传感器所检测到的数据具有时间和/或空间一致性。本发明的一个实施例中，标定模块103具体用于，将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

在标定模块103对各个传感器完成标定之后，则可以利用融合模块104对各传感器的目标数据进行融合，本实施例中可以基于预设的规则库中的融合准则对各个目标数据进行融合处理，以确定障碍物数据。数据融合相比于单传感器***具有扩大空间检测范围、扩大时间检测范围和增强***的可靠性等优势，并且相比于多传感器而未标定的***，能够确保数据的时间空间一致性，提高障碍物数据的可信度。最后利用数据发送模块105将经过融合模块104融合处理后的障碍物数据利用LCM协议发送至车辆决策模块中，以生成车辆控制指令对车辆进行控制，以保证车辆在自动驾驶过程中能够准确避开障碍物，保证司乘人员的安全。

在本发明的一些实施例中，数据处理模块102还用于，对原始数据进行解析得到点云，并对得到的点云进行分割、聚类、滤波和跟踪，得到障碍物集合目标数据；对接收到的LCM数据包进行数据解析，得到障碍物目标信息。

在本发明的一些实施例中，融合模块104还用于，基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行判定和筛选，并将满足融合准则的单传感器数据放入容器，以将存储在容器内的数据作为障碍物数据。

需要说明的是，本发明实施例的其他具体实施方式可以参照上述车辆自动驾驶时的多传感器信息融合方法的具体实施方式，在此不再赘述。

综上，本发明实施例的车辆自动驾驶时的多传感器信息融合装置能够提高对周围目标的检测准确度，满足高速行驶条件下自动驾驶汽车对环境感知***的实时性和准确性要求，同时提高用户的行驶安全。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

在本发明中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆自动驾驶时的多传感器信息融合方法，其特征在于，包括：

利用LCM协议从各个传感器数据通道订阅各个传感器的数据；

对所述各个传感器的数据进行处理，确定所述各个传感器的目标数据；

对所述各个传感器进行标定，以将所述各个传感器的目标数据统一到同一坐标系下；

基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；

利用所述LCM协议将所述障碍物数据发送给车辆决策模块，以生成车辆控制指令。

2.如权利要求1所述的车辆自动驾驶时的多传感器信息融合方法，其特征在于，利用LCM协议从各个传感器数据通道订阅各个传感器的数据，包括以下一种或多种：

通过LCM协议接收GPS数据；

通过LCM协议接收ESR毫米波雷达解析后的目标数据；

通过LCM协议接收4线激光雷达原始数据；

通过LCM协议接收16线激光雷达原始数据；

通过LCM协议接收车辆状态的数据；

通过LCM协议接收相机的目标数据及车道线数据；

通过LCM协议接收角雷达解析后的目标数据；

通过LCM协议接收地图数据。

3.如权利要求2所述的车辆自动驾驶时的多传感器信息融合方法，其特征在于，对所述各个传感器的数据进行处理，包括：

对原始数据进行解析得到点云，并对得到的点云进行分割、聚类、滤波和跟踪，得到障碍物集合目标数据；

对接收到的LCM数据包进行数据解析，得到障碍物目标信息。

4.如权利要求1-3中任一项所述的车辆自动驾驶时的多传感器信息融合方法，其特征在于，对所述各个传感器进行标定，包括：

将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

5.如权利要求1-3中任一项所述的车辆自动驾驶时的多传感器信息融合方法，其特征在于，基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，包括：

基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行判定和筛选，并将满足所述融合准则的单传感器数据放入容器，以将存储在所述容器内的数据作为所述障碍物数据。

6.一种计算机可读存储介质，其特征在于，其上存储有车辆自动驾驶时的多传感器信息融合程序，该车辆自动驾驶时的多传感器信息融合程序被处理器执行时实现如权利要求1-5中任一项所述的车辆自动驾驶时的多传感器信息融合方法。

7.一种车辆自动驾驶***，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的车辆自动驾驶时的多传感器信息融合程序，所述处理器执行所述车辆自动驾驶时的多传感器信息融合程序时，实现如权利要求1-5中任一项所述的车辆自动驾驶时的多传感器信息融合方法。

8.一种车辆自动驾驶时的多传感器信息融合装置，其特征在于，包括：

数据接收模块，所述数据接收模块利用LCM协议从各个传感器数据通道订阅各个传感器的数据；

数据处理模块，所述数据处理模块用于对所述各个传感器的数据进行处理，确定所述各个传感器的目标数据；

标定模块，所述标定模块用于对所述各个传感器进行标定，以将所述各个传感器的目标数据统一到同一坐标系下；

融合模块，所述融合模块基于预设规则库中的融合准则，对同一坐标系下的各个传感器的目标数据进行融合，确定障碍物数据；

数据发送模块，所述数据发送模块利用所述LCM协议将所述障碍物数据发送给车辆决策模块，以生成车辆控制指令。

9.如权利要求8所述的车辆自动驾驶时的多传感器信息融合装置，其特征在于，所述数据接收模块具体用于，

通过LCM协议接收GPS数据；

通过LCM协议接收ESR毫米波雷达解析后的目标数据；

通过LCM协议接收4线激光雷达原始数据；

通过LCM协议接收16线激光雷达原始数据；

通过LCM协议接收车辆状态的数据；

通过LCM协议接收相机的目标数据及车道线数据；

通过LCM协议接收角雷达解析后的目标数据；

通过LCM协议接收地图数据。

10.如权利要求8或9所述的车辆自动驾驶时的多传感器信息融合装置，其特征在于，所述标定模块具体用于，将任意一个传感器的目标数据标定到车身坐标系下，并将其他传感器的目标数据向该传感器的目标数据进行标定，以及在对不同传感器之间的目标数据进行关联时，将同一时刻取得的各传感器数据视为同一时间段内的数据，然后通过空间同步将各个传感器检测到的同一障碍物目标数据同步到三维空间中同一位置。

Images