CN112835029A - 面向无人驾驶的多传感器障碍物探测数据融合方法及*** - Google Patents

Abstract

本发明提供了一种面向无人驾驶的多传感器障碍物探测数据融合方法及***，包括无人驾驶汽车的多个传感器探测目标物体获取所述目标物体的多组数据信息；检测并获取每个所述传感器的可靠度；根据所述权重与所述数据信息计算所述目标物体的位置信息。通过上述技术方案，采用多个传感器探测障碍物体，并引入权重将传感器的可靠度量化，进而将多个传感器探测的数据信息依据权重进行融合，获得障碍物体的准确位置信息，包括坐标与轮廓信息，从而准确的探测到障碍物体并避开，最大程度提高障碍物坐标的准确性。

Description

面向无人驾驶的多传感器障碍物探测数据融合方法及***

技术领域

本发明涉及无人驾驶领域，尤其涉及一种面向无人驾驶的多传感器障碍物探测数据融合方法及***。

背景技术

无人驾驶领域汽车需要对障碍物进行探测从而是汽车能够及时避开障碍物。现有的无人驾驶探测方法中为了提高障碍物探测的准确性，常常采用多个传感器进行探测，并将多个传感器探测的数据信息融合到同一坐标系。但现有探测方法中将多传感器融合到同一坐标系时，会受到很多干扰因素，影响数据融合的准确性，例如当目标物体比较多时，多传感器检测的目标物体匹配到同一坐标系时，会存在很大偏差，容易出现张冠李戴的现象。同时如在雨雪等天气恶劣的情况下以及其他外部因素下，不同传感器的可靠性会降低。

因此，需要一种更准确的面向无人驾驶的多传感器障碍物探测方法。本发明提供一种面向无人驾驶的多传感器障碍物探测数据融合方法及***，采用多个传感器探测障碍物体，并引入权重将传感器的可靠度量化，进而将多个传感器探测的数据信息依据权重进行融合，即便是在雨雪天气都可以获得障碍物体的准确位置信息，包括坐标与轮廓信息，从而准确的探测到障碍物体并避开，最大程度提高障碍物坐标的准确性。

发明内容

为了解决上述问题，本发明的目的在于提供一种面向无人驾驶的多传感器障碍物探测数据融合方法及***，通过多个传感器探测障碍物的坐标位置信息并通过引入权重对传感器探测障碍物的可靠性进行量化，将多个传感器的数据信息进行融合，确定障碍物的准确位置信息，准确探测车辆周边环境以避开障碍物。

具体地，本发明一方面提供一种面向无人驾驶的多传感器障碍物探测数据融合方法，包括以下步骤，无人驾驶汽车的多个传感器探测目标物体获取所述目标物体的多组数据信息；根据每个所述传感器的可靠度计算每一组所述数据信息的权重；根据所述权重与所述数据信息计算所述目标物体的位置信息。

优选地，上述方法中所述多个传感器包括左雷达、右雷达、双目摄像头与激光雷达；所述多组数据信息包括第一数据信息、第二数据信息、第三数据信息、第四数据信息；所述左雷达获取的所述数据信息为所述第一数据信息，所述右雷达获取的所述数据信息为所述第二数据信息，所述双目摄像头获取的所述数据信息为所述第三数据信息，所述激光雷达获取的所述数据信息为所述第四数据信息。

优选地，上述方法中所述左雷达与所述右雷达为毫米波雷达，所述第一数据信息与所述第二数据信息均包括雷达成像数据信息与坐标信息中的一种或多种。

优选地，上述方法中，所述第三数据信息包括所述目标物体的图像、距离、角度及高度信息中的一种或多种。

优选地，上述方法中计算所述数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。

优选地，上述方法中所述传感器的运行状态为故障时，所述传感器对应的所述数据信息的权重为0。

优选地，上述方法中所述传感器根据其对应的所述数据信息与所述位置信息的偏差进行自动标定，调整所述传感器的参数。

本发明另一方面还提供一种面向无人驾驶的多传感器障碍物探测数据融合***，包括探测模块、权重计算模块、融合模块；所述探测模块，包括多个传感器，与所述融合模块通信连接，探测并获取目标物体的多组数据信息，并向所述融合模块传输所述数据信息；所述权重计算模块，与所述融合模块通信连接，根据每个所述传感器的可靠度计算每一组所述数据信息的权重，并将所述权重传输至所述融合模块；所述融合模块，与所述探测模块及所述权重计算模块通信连接，根据所述权重与所述数据信息计算所述目标物体的位置信息。

优选地，上述***中所述探测模块包括左雷达、右雷达、双目摄像头与激光雷达；所述权重计算模块计算所述数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。

优选地，上述***还包括自动标定模块，所述传感器根据其对应的所述数据信息与所述位置信息的偏差进行自动标定，调整所述传感器的参数。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.提高无人驾驶汽车探测障碍物的准确性；

2.在部分传感器故障时，也能通过其他传感器数据信息的融合获得障碍物体的准确信息，准确避开障碍物；

3.提供自动标定功能，传感器可以根据探测数据信息与障碍物准确信息的偏差对参数进行自动标定。

附图说明

图1为符合本发明一优选实施例的面向无人驾驶的多传感器障碍物探测数据融合方法的流程示意图；

图2为符合本发明一优选实施例的面向无人驾驶车辆的结构示意图；

图3为符合本发明另一优选实施例的面向无人驾驶的多传感器障碍物探测数据融合方法的流程示意图。

附图标记：

1-左雷达

2-右雷达

3-双目摄像头

4-激光雷达

5-ECU

6-V-CANFD

7-P-CAN

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

本发明中所指的无人驾驶汽车并非必须为无人驾驶，只要具有自动驾驶功能的汽车均在本发明范围内。

参阅附图1，为符合本发明一优选实施例的面向无人驾驶的多传感器障碍物探测数据融合方法的流程示意图。

S1：无人驾驶汽车的多个传感器探测目标物体获取目标物体的多组数据信息；

无人驾驶汽车通过传感器对目标物体进行探测，本实施例中，无人驾驶汽车具有多个传感器，多个传感器分别对目标物体进行探测，获取目标物体的多组传感器信息。本实施例中的传感器包括各种可以用于障碍探测的传感器，如摄像头、超声波雷达、毫米波雷达或激光雷达等。传感器探测到的数据信息类型或内容与传感器的类型有关，如摄像头探测的数据信息可能包括目标物体图像信息等，雷达探测到的数据信息可能包括目标物体的距离等。为了说明简便，本申请实施例中中障碍物体也称为目标物体。本实施例中多个传感器为至少两个传感器，可以是三个、四个或更多，传感器的种类也不做限制，可以是相同种类，也可以是不同种类传感器，采用不同种类传感器时，传感器之间优势互补协同作用，更有利于提高探测精度。

S2：根据每个传感器的可靠度计算每一组数据信息的权重；

在雨雪等天气恶劣的情况下以及其他外部因素下，不同传感器的可靠性会降低，因此，无人驾驶汽车的多个传感器探测目标物体获取所述目标物体的多组数据信息后，需要获取每个传感器当前的可靠度，通过传感器当前的可靠度计算每一组数据信息的权重。不同传感器探测目标物体可能出现偏差，当前的环境也可能影响传感器的精确度，因此，首先需要获取每个传感器的可靠度。传感器可靠度的影响因素包括传感器自身特性、环境因素以及传感器的运行状态等。如，激光雷达的三维成像效果好，但容易受天气影响，毫米波雷达的三维成像效果不及激光雷达，受天气影响，但影响相对较小，而摄像头受天气的影响非常大，因此天气良好的情况下，激光雷达的权重高于毫米波雷达，天气恶劣时，激光雷达与摄像头的权重均下降。而在某一传感器运行状态不正常时，即发生故障时，其可靠度为0，权重为0。因此，不同传感器的可靠性受多种因素的影响，可以通过算法如深度学习算法对各个传感器在不同情况下的权重进行计算，从而有效将传感器受到多因素干扰的运行的可靠度用权重表示出来。

S3：根据权重与数据信息计算目标物体的位置信息。

获得权重与数据信息后，根据对多个传感器的多组数据信息及其对应的权重进行数据融合，将多个传感器探测的目标信息整合在统一的坐标系上面，建立精确统一坐标系的三维立体图像，计算出目标物体的位置信息，最大程度上提高目标物体坐标的准确性。目标物体的位置信息包括坐标信息以及轮廓信息，即可以精准的获得障碍物体的轮廓及其所在的位置，准确地避开障碍物。

通过此技术方案，采用多传感器协同作用探测目标物体/障碍物，通过引入权重的概念对多个传感器探测目标物体的可靠性进行量化，通过深度学习的方法计算不同传感器在不同场景或环境中的可靠度，进而表示为权重，再结合不同传感器探测的不同数据信息与其对应的权重计算目标物体的准确位置信息，采用此技术方案，将不同传感器在不同场景的可靠度量化出来，融合多个传感器探测到的数据信息，将多个数据信息整合到统一的坐标系中，获得目标物体的准确位置，使无人驾驶汽车精准的避开目标物体。

本发明并不限制于在无人驾驶汽车上使用，只要是需要探测障碍物的场景都可以使用。

基于上述实施例，符合本发明的一优选实施例中，参阅图2，为符合本发明一优选实施例的面向无人驾驶车辆的结构示意图，多个传感器包括左雷达1、右雷达2、双目摄像头3与激光雷达4；多组数据信息包括第一数据信息、第二数据信息、第三数据信息、第四数据信息；左雷达1获取的数据信息为第一数据信息，右雷达2获取的数据信息为第二数据信息，双目摄像头3获取的数据信息为第三数据信息，激光雷达4获取的数据信息为第四数据信息。

左雷达1设置于车辆左前方，探测车辆左前方与正前方区域的障碍物，右雷达2设置于车辆右前方，探测车辆右前方与正前方区域的障碍物，不限制左右雷达的类型，能探测障碍物即可。双目摄像头3设置于车辆中间，可以360度环绕探测目标物体，双目摄像头探测获得的第三数据信息不仅可以包括图像信息，还可以包括根据图像信息计算获取的障碍物与双目摄像头的距离信息、障碍物的高度信息，障碍物与双目摄像头连线与双目摄像头中心轴线的角度，根据这些信息，可以获得障碍物的坐标与轮廓信息。激光雷达设置与车辆中间，获取雷达成像数据信息作为第四数据信息。不论第一数据信息、第二数据信息、第三数据信息以及第四数据信息本身包括成像信息、距离信息或是其他信息，均可结合车身标定参数转化为坐标信息，如，以车最中心为三维坐标系的坐标原点建立三维立体坐标系，则车身任意一点均可用三维坐标表示出来，第一数据信息、第二数据信息、第三数据信息、第四数据信息均可转化为目标物体即障碍物在此坐标系中的坐标信息，包括障碍物上任一点在此坐标系中的坐标信息。

通过深度学习算法对左雷达1、右雷达2、双目摄像头3与激光雷达4在当前环境下的可靠度进行量化，进而计算左雷达1、右雷达2、双目摄像头3与激光雷达4分别对应的第一数据信息、第二数据信息、第三数据信息、第四数据信息的权重。如，在天气恶劣的情况下，由于摄像头受天气的影响，摄像头对目标探测的权重将随天气情况而下降，从而降低摄像头采集信息对目标探测的干扰，当暴雨天气时，双目摄像头3的权重趋近于零，从而有效的降低双目摄像头3在功能失效状态下对目标探测结果的影响。又如，当双目摄像头3、左雷达1、右雷达2、激光雷达4被遮挡时、双目摄像头3受到光线直射时，都会降低传感器的可靠度，导致权重变化。

获得权重后，将上述多个传感器探测到的第一数据信息、第二数据信息、第三数据信息以及第四数据信息进行融合，将多个数据信息整合到统一的坐标系中，获得目标物体的准确位置，进而车辆可以准确避开目标物体即障碍物。

车辆中还包括电子控制单元ECU5进行数据融合，整车数据域通速率可变的汽车通信总线V-CANFD6用于多传感器(左雷达1、右雷达2、双目摄像头3与激光雷达4)与ECU5的数据通信，私有通信总线P-CAN7用于左雷达1与右雷达2的数据通信。

本实施例仅仅是某一方向上的传感器设置，车辆上各个方向均可以如此设置，采用此方法，如车辆后方也可以设置左右雷达，与车辆中间的双目摄像头、激光雷达共同作用，探测车辆后方的目标物体，如加速驶来的后方汽车，探测到此目标物体后，车辆可以进行加速或变道以避免追尾车祸，当然同时也需要探测前方或左右是否有障碍物。

基于上述实施例，符合本发明的一优选实施例中，左雷达1与右雷达2为毫米波雷达，第一数据信息与第二数据信息均包括雷达成像数据信息与坐标信息中的一种或多种。进一步地，第一数据信息与第二数据信息包括雷达成像数据信息与坐标信息，通过雷达成像数据信息与坐标信息，可以计算出目标物体的坐标与轮廓，即可转化为目标物体的长度宽度等各种轮廓数据信息，以及目标物体上任一点相对车辆的位置。

基于上述实施例，符合本发明的一优选实施例中，第三数据信息包括所述目标物体的图像、距离、角度及高度信息中的一种或多种。双目摄像头3探测到目标物体的信息为第三数据信息，双目摄像头3具有测距功能，因此，双目摄像头3探测到的第三数据信息包括目标物体距双目摄像头的距离信息、成像信息，根据距离信息与成像信息，即可计算出目标物体与双目摄像头3连线与双目摄像头3中心轴线的角度，也可计算出目标物体的长度、宽度等轮廓信息，以及目标物体上任一点相对双目摄像头3的位置信息。根据车身标定参数值以及双目摄像头安装在车辆上的位置，即可转化为目标物体上任一点相对车辆的位置以及在统一坐标系中的坐标。

基于上述实施例，符合本发明的一优选实施例中，计算数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。数据信息的权重取决于相应传感器的可靠度，传感器的可靠度与传感器本身的特性、传感器运行的场景以及传感器的运行状态等多种因素均有关。通过深度学习将各种因素对传感器可靠度的影响进行量化进而量化传感器的可靠度，计算相应各数据信息的权重。

基于上述实施例，符合本发明的一优选实施例中，传感器的运行状态为故障时，传感器对应的数据信息的权重为0。传感器的可靠度受传感器特性、传感器运行状态、环境因素等多种因素的影响，当传感器的运行状态为故障时，该传感器必然不能准确探测目标物体，因此，此时，不论其他影响因子如何，其对应的数据信息的权重为0。因此，在进行权重计算时，首先检测传感器的运行状态，若传感器的运行状态为故障，则直接确定该传感器对应的数据信息的权重为0，若传感器运行良好，则通过深度学习算法考虑多种影响因子量化其采集数据信息的可靠性计算得出该数据信息的权重。再根据每个传感器对应数据信息的不同权重值进行数据融合，在三维坐标系中标记目标物体。

参阅图3，为符合本发明另一优选实施例的面向无人驾驶的多传感器障碍物探测数据融合方法的流程示意图。该方法还包括传感器根据其对应的数据信息与位置信息的偏差进行自动标定，调整传感器的参数。经过数据融合获得的目标物体的准确位置信息与单一传感器探测的数据信息可能存在或大或小的偏差，本实施例还具有自动标定的步骤，传感器根据其对应的数据信息与位置信息的偏差进行自动标定，调整传感器的参数，提高该传感器运行的准确性，进而提高传感器探测目标物体的准确性。

此步骤在传感器工作中或传感器应用到新的车辆上时均可实施，优选地，在传感器应用到新的车辆上时实施。如，当传感器如激光雷达和毫米波雷达在应用新的车型上时，由于安装位置和后保材质、形状都会影响雷达性能，所以需要对雷达的性能进行标定，例如，在统一的坐标系下，当对毫米波雷达标定时，对毫米波雷达的权重设置比较低(如果激光未标定，也会将设置比较低的权重)，利用数据融合结果的对毫米波雷达进行参数自动标定，根据检测结果即其对应的数据信息与位置信息的偏差进行自动标定，调节雷达参数值。在此过程中，摄像头传感器会对多个传感器检测到目标时的视频信息进行标记，工程师也可以依此对最终的自动标定的正确性进行评测，有利于雷达最终确定性能更优的参数值。

本发明另一方面还提供一种面向无人驾驶的多传感器障碍物探测数据融合***，包括探测模块、权重计算模块、融合模块；探测模块，包括多个传感器，与融合模块通信连接，探测并获取目标物体的多组数据信息，并向融合模块传输数据信息；权重计算模块，与融合模块通信连接，根据每个传感器的可靠度计算每一组数据信息的权重，并将权重传输至融合模块；融合模块，根据权重与数据信息计算目标物体的位置信息。

基于上述实施例，符合本发明的一优选实施例中，探测模块包括左雷达、右雷达、双目摄像头与激光雷达；权重计算模块计算所述数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。

采用此技术方案，使用毫米波雷达成像、激光雷达成像以及双目摄像头测距的架构，有利于建立精确统一的三维坐标系，减少数据融合过程中的偏差。本发明根据毫米波雷达、激光雷达以及双目摄像头在不同环境和因素影响下，使用卷积神经网路综合考虑多个影响因子的条件下，输出一个可以表示当前该传感器运行状态以及目标探测可靠性的权重值。利用使用毫米波雷达成像，激光雷达成像以及双目摄像头各自可以表示当前该传感器运行状态以及目标探测可靠性的权重值，综合得到一个统一的目标物体信息，并在三维坐标系中进行显示，可以提高目标物体或障碍物探测的准确性，从而在无人驾驶车辆中准确地探测到障碍物并精准避开，保障车辆的安全性。

基于上述实施例，符合本发明的一优选实施例中，还包括自动标定模块，传感器根据其对应的数据信息与位置信息的偏差进行自动标定，调整传感器的参数。

采用此技术方案，在统一的坐标系中，利用数据融合结果对毫米波雷达以及激光雷达的数据参数进行自动标定，根据实际的路面探测结果对雷达参数进行调节，同时摄像头会对多个传感器检测到目标时的视频信息进行标记，有利于工程师对最终的自动标定的正确性进行评测，从而帮助雷达最终确定性能更优的参数值，提高目标物体探测的准确性。

采用本发明的技术方案，通过多个传感器探测障碍物的坐标位置信息并通过引入权重对传感器探测障碍物的可靠性进行量化，将多个传感器的数据信息进行融合，确定障碍物的准确位置信息，准确探测车辆周边环境以避开障碍物。进一步的，结合自动标定可以有效的进一步提高传感器的准确性，提高目标物体探测的准确性进而保证无人驾驶***的安全性能。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种面向无人驾驶的多传感器障碍物探测数据融合方法，其特征在于，包括以下步骤，无人驾驶汽车的多个传感器探测目标物体，获取所述目标物体的多组数据信息；

根据每个所述传感器的可靠度计算每一组所述数据信息的权重；

根据所述权重与所述数据信息计算所述目标物体的位置信息。

2.如权利要求1所述的多传感器障碍物探测数据融合方法，其特征在于，所述多个传感器包括左雷达、右雷达、双目摄像头与激光雷达；

所述多组数据信息包括第一数据信息、第二数据信息、第三数据信息、第四数据信息；

所述左雷达获取的所述数据信息为所述第一数据信息，所述右雷达获取的所述数据信息为所述第二数据信息，所述双目摄像头获取的所述数据信息为所述第三数据信息，所述激光雷达获取的所述数据信息为所述第四数据信息。

3.如权利要求2所述的多传感器障碍物探测数据融合方法，其特征在于，所述左雷达与所述右雷达为毫米波雷达，所述第一数据信息与所述第二数据信息均包括雷达成像数据信息与坐标信息中的一种或多种。

4.如权利要求2所述的多传感器障碍物探测数据融合方法，其特征在于，所述第三数据信息包括所述目标物体的图像、距离、角度及高度信息中的一种或多种。

5.如权利要求1所述的多传感器障碍物探测数据融合方法，其特征在于，计算所述数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。

6.如权利要求5所述的多传感器障碍物探测数据融合方法，其特征在于，所述传感器的运行状态为故障时，所述传感器对应的所述数据信息的权重为0。

7.如权利要求1所述的多传感器障碍物探测数据融合方法，其特征在于，还包括，所述传感器根据其对应的所述数据信息与所述位置信息的偏差进行自动标定，调整所述传感器的参数。

8.一种面向无人驾驶的多传感器障碍物探测数据融合***，其特征在于，包括探测模块、权重计算模块、融合模块；

所述探测模块，包括多个传感器，与所述融合模块通信连接，探测并获取目标物体的多组数据信息，并向所述融合模块传输所述数据信息；

所述权重计算模块，与所述融合模块通信连接，根据每个所述传感器的可靠度计算每一组所述数据信息的权重，并将所述权重传输至所述融合模块；

所述融合模块，与所述探测模块及所述权重计算模块通信连接，根据所述权重与所述数据信息计算所述目标物体的位置信息。

9.如权利要求8所述的多传感器障碍物探测数据融合***，其特征在于，所述探测模块包括左雷达、右雷达、双目摄像头与激光雷达；

所述权重计算模块计算所述数据信息的权重的影响因子包括传感器特性、传感器运行状态、环境因素中的一种或多种。

10.如权利要求8所述的多传感器障碍物探测数据融合***，其特征在于，还包括自动标定模块，所述传感器根据其对应的所述数据信息与所述位置信息的偏差进行自动标定，调整所述传感器的参数。

Images