CN112712717A - 一种信息融合的方法和*** - Google Patents

一种信息融合的方法和*** Download PDF

Info

Publication number
CN112712717A
CN112712717A CN202010196398.6A CN202010196398A CN112712717A CN 112712717 A CN112712717 A CN 112712717A CN 202010196398 A CN202010196398 A CN 202010196398A CN 112712717 A CN112712717 A CN 112712717A
Authority
CN
China
Prior art keywords
information
target
perception
vehicle
sets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010196398.6A
Other languages
English (en)
Other versions
CN112712717B (zh
Inventor
申泽庶
项能武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP20878075.9A priority Critical patent/EP4040423A4/en
Priority to PCT/CN2020/101542 priority patent/WO2021077809A1/zh
Publication of CN112712717A publication Critical patent/CN112712717A/zh
Priority to US17/729,834 priority patent/US20220252420A1/en
Application granted granted Critical
Publication of CN112712717B publication Critical patent/CN112712717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Atmospheric Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种信息融合的方法，涉及智能驾驶领域，该方法应用于智能汽车，包括：获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；当多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对至少两个感知信息集中的第一目标的信息进行融合，获得融合后的第一目标的信息。该方法通过将多源的同一个目标的信息进行融合，使获得的融合后的目标的信息更加准确和有效。

Description

一种信息融合的方法和***
技术领域
本申请涉及智能驾驶(intelligent driving)领域，尤其涉及一种信息融合的方法和***。
背景技术
智能驾驶在减少交通事故、缓解交通拥堵、提高道路利用率等方面有巨大潜力，已成为众多企业的竞争热点。智能驾驶是指汽车能够像人一样智能地感知、判断、推理、决断和记忆，并智能地控制或驾驶汽车。具备智能驾驶能力的汽车称为智能汽车，智能汽车相比于普通汽车而言，其拥有先进的传感器(雷达、摄像机等)、控制器、执行器等装置，使车辆具备环境感知能力，车辆能够自动分析车辆行驶的状态，并智能地作出决策，最终实现替代人来操作汽车的目的。
智能汽车实现智能驾驶的关键技术是：智能汽车要能够较为准确地获取周边环境中的目标的信息，以使得智能汽车可以根据目标的信息确定未来的行驶轨迹和行驶速度等。通常，智能汽车可以通过自身装载的多种传感设备(例如：激光雷达、毫米波雷达、摄像机等)感知到自车周边的其他目标，获得感知信息集，例如：周边的行人、汽车或设施的类型、位置、运动状况等。智能汽车也可以接收到其他设备通过通信链路传输至自车的信息。智能汽车如何将多源的信息进行融合，以获得更为准确和有效的目标的信息是目前急需解决的技术问题。
发明内容
本申请提供了一种信息融合的方法，该方法通过将多源的同一个目标的信息进行融合，使获得的融合后的目标的信息更加准确和有效。
第一方面，本申请提供一种信息融合的方法，该方法应用于智能汽车，包括：获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；当多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对所述至少两个感知信息集中的第一目标的信息进行融合，获得融合后的第一目标的信息。
上述方法通过将多源的第一目标的信息进行融合，使获得的融合后的第一目标的信息更加准确和有效，进一步地提高了智能汽车行驶的安全性。
在第一方面的一种可能的实现中，对至少两个感知信息集中的第一目标的信息进行融合，获得融合后的第一目标的信息，包括：获取每个感知信息集中的第一目标的信息的可信度；根据每个感知信息集中的第一目标的信息的可信度，对至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
在融合时考虑每个感知信息集中的第一目标的可信度，根据可信度进行信息的融合，避免了简单的信息叠加，进一步提高了获得的融合后的第一目标的信息的准确性和有效性。
在第一方面的一种可能的实现中，每个感知信息集中的第一目标的信息的可信度为对应的感知信息集的可信度，该方法还包括：计算上一时刻的每个感知信息集中的目标的信息与上一时刻的融合后的感知信息集中对应的目标的信息的匹配程度；根据所述匹配程度，确定当前时刻的每个感知信息集的可信度。
通过结合上一时刻的感知信息集中的目标的信息的匹配程度，动态确定当前时刻的每个感知信息集的可信度，使得可信度更准确。
在第一方面的一种可能的实现中，每个感知信息集中的第一目标的信息的可信度为对应的感知信息集的可信度，每个感知信息集的可信度由每个感知信息集对应的设备的属性确定。
由于设备固有的属性影响该设备产生的感知信息集的可信度，根据设备的属性确定可信度可以使获得的可信度更符合真实情况。
在第一方面的一种可能的实现中，产生多个感知信息集的设备包括：与智能汽车通信的车辆，与智能汽车通信的路侧设备，和智能汽车。
在第一方面的一种可能的实现中，在对至少两个感知信息集中的第一目标的信息进行融合之前，方法还包括：根据智能汽车的行驶信息确定智能汽车的感兴趣区域ROI；根据ROI筛除每个感知信息集中位置不在所述ROI内的目标的信息。通过筛除不在ROI内的目标的信息，节省了计算资源消耗率，减少了计算时延，进一步地提高了智能汽车行驶和决策的灵敏性。
在第一方面的一种可能的实现中，该方法还包括：当所述多个感知信息集中仅一个感知信息集包括所述第一目标的信息时，查找跟踪列表；若所述跟踪列表中没有记录所述第一目标的历史信息，根据所述第一目标的信息构建预测模型，获得所述第一目标在下一时刻的预测信息；设置所述预测模型的可信度；将所述第一目标的信息、所述可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
在第一方面的一种可能的实现中，该方法还包括：当多个感知信息集中仅有一个感知信息集包括第一目标的信息时，查找跟踪列表；若跟踪列表中记录有第一目标的历史信息，比较第一目标的信息与跟踪列表中记录的第一目标的当前时刻的预测信息，根据比较结果和跟踪列表中记录的预测模型的可信度，获得更新的可信度；根据比较结果调整预测模型的参数，获得调整后的预测模型；根据第一目标的信息和调整后的预测模型，获得第一目标在下一时刻的预测信息；将第一目标的信息、更新的可信度和第一目标在下一时刻的预测信息记录至所述跟踪列表。
在第一方面的一种可能的实现中，该方法还包括：获取地图和所述智能汽车的状态信息；根据融合后的所述第一目标的信息、地图和智能汽车的状态信息构建环境模型；显示所述环境模型。
在第一方面的一种可能的实现中，每个感知信息集为标准化格式的信息集合。标准化格式的信息集合便于其他设备与智能汽车通信，减少处理时延，还可以提高信息的安全性。
在第一方面的一种可能的实现中，获取多个感知信息集包括：接收与智能汽车通信的设备发送的感知信息集；对感知信息集进行鉴权验证，若感知信息集被鉴权为合法，则保留所述感知信息集。通过鉴权可以避免非法设备发送干扰感知信息集，提高了智能汽车行驶的安全性。
第二方面，本申请还提供一种装置，该装置包括：获取单元，用于获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；处理单元，用于当所述多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
在第二方面的一种可能的实现方式中，处理单元具体用于：获取每个感知信息集中的所述第一目标的信息的可信度；根据每个感知信息集中的所述第一目标的信息的可信度，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
在第二方面的一种可能的实现方式中，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，所述处理单元还用于：计算上一时刻的每个感知信息集中的目标的信息与上一时刻的融合后的感知信息集中对应的目标的信息的匹配程度，根据所述匹配程度，确定当前时刻的每个感知信息集的可信度。
在第二方面的一种可能的实现方式中，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，每个感知信息集的可信度由每个感知信息集对应的设备的属性确定。
在第二方面的一种可能的实现方式中，产生所述多个感知信息集的设备包括：与所述智能汽车通信的车辆，与所述智能汽车通信的路侧设备，和所述智能汽车。
在第二方面的一种可能的实现方式中，所述处理单元还用于：根据所述智能汽车的行驶信息确定所述智能汽车的感兴趣区域ROI；根据所述ROI筛除所述每个感知信息集中位置不在所述ROI内的目标的信息。
在第二方面的一种可能的实现方式中，所述处理单元还用于：当所述多个感知信息集中仅一个感知信息集包括所述第一目标的信息时，查找跟踪列表；若所述跟踪列表中没有记录所述第一目标的历史信息，根据所述第一目标的信息构建预测模型，获得所述第一目标在下一时刻的预测信息；设置所述预测模型的可信度；将所述第一目标的信息、所述可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
在第二方面的一种可能的实现方式中，所述处理单元还用于：当所述多个感知信息集中仅有一个感知信息集包括所述第一目标的信息时，查找跟踪列表；若所述跟踪列表中记录有所述第一目标的历史信息，比较所述第一目标的信息与所述跟踪列表中记录的所述第一目标的当前时刻的预测信息，根据比较结果和所述跟踪列表中记录的预测模型的可信度，获得更新的可信度；根据所述比较结果调整所述预测模型的参数，获得调整后的预测模型；根据所述第一目标的信息和所述调整后的预测模型，获得所述第一目标在下一时刻的预测信息；将所述第一目标的信息、所述更新的可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
在第二方面的一种可能的实现方式中，所述处理单元还用于：获取地图和所述智能汽车的状态信息；根据融合后的所述第一目标的信息、地图和所述智能汽车的状态信息构建环境模型；显示所述环境模型。
在第二方面的一种可能的实现方式中，每个感知信息集为标准化格式的信息集合。
在第二方面的一种可能的实现中，处理单元还用于：接收与智能汽车通信的设备发送的感知信息集；对感知信息集进行鉴权验证，若感知信息集被鉴权为合法，则保留所述感知信息集。通过鉴权可以避免非法设备发送干扰感知信息集，提高了智能汽车行驶的安全性。
第三方面，本申请还提供一种车载装置，该车载装置设置于车辆上，该车载装置用于执行第一方面或第一方面的任意一种可能的实现提供的方法。
第四方面，本申请还提供一种设备，包括处理器和存储器，存储器存储程序代码，处理器执行所述程序代码，以使该设备执行第一方面或第一方面的任意一种可能的实现提供的方法。
第五方面，本申请还提供一种车辆，该车辆包括存储单元和处理单元，该车辆的存储单元用于存储一组计算机指令和数据集合，处理单元执行存储单元存储的计算机指令，处理单元读取所述存储单元的数据集合，以使得该车辆执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意一种可能的实现中提供的方法。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard diskdrive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
第七方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
附图说明
图1为本申请实施例提供的一种应用场景的示意图；
图2为本申请实施例提供的一种***架构的示意图；
图3为本申请实施例提供的一种车载计算***102的结构示意图；
图4为本申请实施例提供的一种信息融合的方法流程图；
图5为本申请实施例提供的一种对多个感知信息集中的目标的信息进行处理的方法流程图；
图6为本申请实施例提供的一种对多个感知信息集中的目标的信息进行处理的应用示例图；
图7为本申请实施例提供的一种装置700的结构示意图；
图8为本申请实施例提供的一种设备800的结构示意图。
具体实施方式
为了更清楚地描述本申请实施例的技术方案，下面对一些术语进行解释。
感知(perceptive)：传感器或其他感知设备对自身的周边环境进行探测，获得周边环境中的目标的信息的过程。
传感器***：包括至少一个或者至少一种传感器或感知设备的***。通过传感器***可以获得传感器***周边环境中的目标的信息。
感知信息集：本申请中，感知信息集指由传感器***获得的目标的信息构成的信息集合，或者对传感器***获得的目标的信息进行整合、处理后形成的信息集合。
目标：本申请实施例中的目标是运行在交通道路上的物体或交通道路周边的交通标识、交通设施。运行在交通道路上的物体包括：行人、机动车(智能汽车、普通汽车等)、非机动车等；交通道路周边的交通标识、交通设施包括：建筑区标识、交警手势、限速标识、红绿灯、抓拍摄像头等。目标的信息包括目标的类型、位置、速度、朝向(也称为姿态)、时间、状态等信息中的一种或多种。
周边环境：由于每个车辆或者路侧设备中的传感器***中的每个传感器具有不同的感知区域，本申请中，每个车辆或者路侧设备的周边环境是指该车辆或路侧设备的传感器***中的多个传感器的感知区域构成的并集对应的地理区域。每个车辆或路侧设备的周边环境也可以称为该车辆或路侧设备的感知区域。
信息融合(fusion)：指对来自不同来源的多组信息通过特定方式(例如：融合算法)进行处理，获得一组信息的过程，融合可以包括根据多组源信息获得一组新的信息，也可以包括根据多组源信息确定其中一组源信息，还可以包括根据多组源信息进行拼接获得一组新的包括多组源信息的内容的信息。
智能汽车：具有环境感知、规划决策、辅助驾驶或自动驾驶等功能的汽车，智能汽车还可以与其他设备进行通信。
路侧设备(road side unit，RSU)：指设置在交通道路附近的、具有感知能力和计算能力的设备。路侧设备包括传感器***，可通过传感器***获得对周边环境的感知信息集，路侧设备还可以与其他设备进行通信。
车辆到一切(vehicle to everything，V2X)技术：V2X技术是使车辆和其周围环境中的一切可能与其发生关联的事物建立通信连接的技术。
V2X技术包括使车辆与周围的车辆建立通信连接的车辆到车辆(vehicle tovehicle，V2V)技术、使车辆与周围的交通信号灯、公交站、电线杆、大楼、立交桥、隧道、路障等交通设施建立通信连接的车辆到基础设施(vehicle to infrastructure，V2I)技术、使车辆与行人的智能手机等智能设备建立通信连接的车辆到行人(vehicle to pedestrian，V2P)技术、使车辆与互联网建立通信连接的车辆到互联网(vehicle to network，V2N)技术。V2X技术的实现有多种，例如：1、专用短程通信(dedicated short-rangecommunications，DSRC)技术；2、长期演进技术(long term evolution，LTE)V2X，即基于移动蜂窝网络的V2X通信技术。
智能驾驶是智慧城市和智慧交通的主要趋势。通过采用智能驾驶技术，智能汽车可以自主感知、分析和决策，实现无人驾驶或者智能辅助驾驶。在实际场景中，智能汽车、普通汽车、行人可以共同行驶在交通道路上。在一个时刻，一辆智能汽车的行驶轨迹和速度不仅需要考虑当前时刻的周边环境中的其他车辆或行人的信息，还需要考虑交通道路在当前时刻的交通设施或交通标识，例如：红绿灯状态、限速标识、限行标识等信息。
智能汽车自身的车载传感器可以感知自车周边环境的目标的信息，并利用获得的信息进行行驶轨迹和速度的决策。但是仅依靠自车的传感器获得的周边环境的目标的信息，常常存在信息不全面和不准确的问题。因此，智能汽车还可以接收交通道路上的其他设备的传感器***获得的感知信息集，并将获得的其他设备的感知信息集与自车获得的感知信息集进行融合，获得融合后的感知信息集。
如图1所示，在一种应用场景中，一辆智能汽车100行驶在交通道路上时，其周边的目标包括具备传感能力和通信能力的车辆120(如：也是智能汽车)，这类车可以向该智能汽车发送其自身的信息以及通过自身传感器***获得的感知信息集。周边的目标还包括只具备通信能力但不具备传感能力的车辆140，这类车可以向该智能汽车发送其自身的信息(例如：当前时刻自身的位置、朝向、速度等信息)。周边目标还包括路侧设备160，路侧设备160可以向智能汽车100发送其感知的目标的信息构成的感知信息集以及其自身的信息。周边的目标还包括既不具备通信能力又不具备感知能力的车、行人、障碍物等，这类目标的信息则只能通过其周边的有感知能力的车或者路侧设备160感知获得。如图1所示，智能汽车100、车辆120和路侧设备160的感知范围都是有限的。因此，智能汽车100可以接收周边其他车辆(车辆120或车辆140)通过通信链路发送的感知信息集和/或行驶信息、也可以接收路侧设备160通过通信链路发送的感知信息集，如此可获得较大范围内的所有目标的信息。在一种实施例中，周边车辆或者路侧设备向智能汽车发送感知信息集的方法可采用V2X技术。
智能汽车在获得了多源的感知信息集后，通常多源的感知信息集中会包括传感器***中的多个不同感知设备对同一目标的进行感知获得的感知结果，由于不同的设备感知的范围不同，获得的不同的感知信息集还会包括不同目标的信息，并且，由于不同设备对不同目标或者在不同的范围内的感知能力不同，获得的感知信息集中每个目标的信息的准确率可能存在偏差。因此，智能汽车在接收到多源的感知信息集后，需要对信息进行融合处理，以使得融合后的信息可有效地用于后续规划或决策。相关技术在进行信息融合时，仅仅对多组原始的信息进行简单的叠加处理，所获得的融合后的信息依然不够准确。通过这种方式获得的融合后的信息用于路径规划和控制，无法实现智能汽车的鲁棒驾驶需求。
鉴于上述问题，本申请提供一种信息融合的方法。在描述本申请的具体方法之前，先描述本申请实施例适用的***架构。
如图2所示，智能汽车100包括传感器***101、车载计算***102和通信***103。
传感器***101用于对智能汽车周边环境的目标进行探测和感知，获得周边环境中的目标的信息。传感器***101可以包括多种硬件传感器或者软件传感器或者硬件传感器和软件传感器的组合。例如，传感器***101可以包括摄像机、激光雷达、毫米波雷达、超声波雷达、红外传感器中的任意一种或多种。传感器***101中的每种类型的传感器可以包括一个或者多个。
车载计算***102用于接收传感器***101发送的感知信息集或者获取通信***103发送的感知信息集，对感知信息集进行解析和融合。车载计算***102还用于获取智能汽车100中的其他模块或***发送的信息，例如:获取自车位置、高清地图等信息；车载计算***102还用于根据融合后的信息进行车辆行驶轨迹的规划和产生对智能汽车100的行驶的决策指令，使得智能汽车100可以根据决策指令自动行驶。
通信***103用于与智能汽车100附件的其他具有通信能力的设备进行信息通信，例如：与交通道路上的车辆、周边的路侧设备进行通信。可选的，通信***103还可以与数据中心等进行信息通信。通信***103可以采用多种通信技术与其他设备或***进行通信，例如：***移动通信技术(4G)、第五代移动通信技术(5G)。更具体地，在一些实施例中，通信***103中安装有V2X单元，可采用V2X技术与交通道路上的其他汽车或路侧设备实现更快速、实时的通信。
如图2所示，与智能汽车100可以进行通信的车辆120也是具有感知能力和通信能力的汽车，其包括的结构于智能汽车100包括的结构可以相同，在此不再赘述。与智能汽车100可以进行通信的车辆140是具有通信能力但不具有感知能力的汽车，车辆140包括通信***和车载计算***。与智能汽车100进行通信的路侧设备160包括传感器***161、边缘计算***162和通信***163。
传感器***161用于对路侧设备160周边的目标进行感知，获得多个目标的信息，传感器***161具体可以包括的硬件传感器或软件传感器可以与传感器***101相同，在此不再赘述。
边缘计算***162用于接收传感器***161发送的多个目标的信息，对获得的多个目标的信息进行处理和/或编码，将获得的感知信息集发送至智能汽车100或者其他汽车。其中，上述处理可以包括将传感器***中多个传感器感知到的同一个目标的信息进行融合，获得传感器***的感知区域内的多个目标的融合后的信息，上述编码可以包括对获得的多个目标的融合后的信息以一定的编排顺序进行编码，形成一个有特定顺序的信息集合。
可选的，在另一种实施方式中，路侧设备160中的传感器***161可以对传感器获得的目标的信息进行处理和编码，获得的感知信息集可以由通信***163发送至其他设备。
通信***163与通信***103的功能相同，在此不再赘述。
应理解，上述智能汽车100、车辆120、车辆140、路侧设备160还包括很多其他的***和结构，例如：智能汽车100还包括动力***，本申请不对此作任何限定。
车载计算***102是支撑智能汽车100实现智能驾驶的重要***。车载计算***102可进行多源信息融合、行驶轨迹预测、行驶规划和控制等。车载计算***102具体可以是安装在智能汽车100内的一个车载计算设备或者多个车载计算设备的集合，或者车载计算***102也可以是运行在智能汽车100内的一个或多个车载计算设备上的软件***，再或者车载计算***102还可以是一个软件和硬件结合的***。下面结合图3对车载计算***102的结构进行描述，车载计算***102可以包括：地图管理与车辆定位模块1021、车辆状态监控模块1022、信息融合模块1023和规划控制模块1024。上述各个模块均可以与车载计算***102之外的其他***或者设备进行通信。上述各个模块之间也可以进行互相通信，在一些实施例中，各模块之间的通信关系可如图3中的连接线所示。
地图管理与车辆定位模块1021，用于对存储的地图(如高精地图)进行管理，如对地图进行更新，地图管理与车辆定位模块1021还用于获取自车的实时位置信息，确定自车当前时刻在地图中的位置。可选的，地图管理与车辆定位模块1021还可以根据车辆当前的位置，获取该车辆周边一定区域内的地图的信息，将地图的信息发送至信息融合模块1023，其中，所发送的地图的信息可以包括：该车辆周边一定区域内的道路标识，如道路线、车道线、停车线等。
车辆状态监控模块1022，用于监控自车的行驶速度、航向角、车身传感器的状态等，获得自车的状态信息。车辆状态监控模块1022发送自车的状态信息至信息融合模块1023。
信息融合模块1023，用于执行本申请提供的信息融合方法，信息融合模块1023具体执行的动作将在下文中详细描述。
规划控制模块1024，用于根据信息融合模块1023发送的融合后的信息、以及其他***或模块发送的信息进行自动驾驶或者辅助自动驾驶的路线规划和行驶控制。
值得注意的是，上述各模块均可以通过软件和/或硬件实现。并且，其中的任意一个或多个模块可以独立部署，也可以集成在一起。本申请实施例对此不进行具体限定。
本申请提供一种信息融合的方法，该方法应用于智能汽车，在一些实施例中，该方法可以由前述智能汽车100执行；或者，在另一些实施例中，该方法可以更具体地由智能汽车100中的车载计算***102执行；再或者，在另一些实施例中，该方法可以再具体地由前述信息融合模块1023执行。该方法通过对接收的多种信息进行融合，获得融合后的信息，使得融合后的信息可以更加有效地用于对智能汽车的规划和控制，例如：根据融合后的信息进行行驶轨迹调整、行驶速度调整等。
下面结合图4对一种信息融合的方法实施例进行具体介绍。
S401：接收交通道路上的至少一个车辆或路侧设备发送的感知信息集。
具体地，某一时刻，智能汽车行驶在交通道路上时，可接收来自交通道路上的行驶的车辆发送的感知信息集和/或该交通道路的路侧设备发送的感知信息集(交通道路上的车辆或者路侧设备可以通过V2X技术广播各自获得的感知信息集)。每个感知信息集是一个车辆或者路侧设备中的传感器***获得的信息集合或者是一个车辆或者路侧设备对传感器***获得的其周边环境中的目标的感知结果进行处理后获得的信息集合。每个车辆或路侧设备发送的感知信息集包括该车辆或路侧设备的感知区域内(即该车辆或路侧设备的周边环境)的目标的信息，因此，不同设备或***发送的感知信息集的内容中包括的目标可以相同、部分相同、或者不相同，例如：对于车辆A，其感知区域内的目标包括a、b、c；对于路侧设备B，其感知区域内的目标包括a、d、h；则车辆A发送的感知信息集中包括的是目标a、b、c的信息，路侧设备B发送的感知信息集中包括的是目标a、d、h的信息。因此，车辆A和路侧设备B发送的感知信息集中包括的目标部分相同。可选的，每个车辆或者路侧设备发送的感知信息集中还可以包括该车辆或者路侧设备自身的信息。
感知信息集中包括多种目标的信息，具体可以是多种目标的类型以及每种类型的目标的相关信息，不同类型的目标的相关信息可能相同也可能不同。下面对几种主要类型的目标的相关信息进行举例介绍。应理解，下面的描述仅用于举例，感知信息集中还可以包括更多类型的目标及其相关信息。
1、对于目标的类型为车辆，车辆的相关信息可以包括车辆在全局坐标系下的位置信息(全局坐标系例如：墨卡托方位法(Universal Transverse Mercator，UTM)坐标系、世界大地测量***—1984坐标系(World Geodetic System一1984Coordinate System，WGS-84))、车辆的速度信息、车辆的朝向信息、时间戳信息。可选的，还可以包括车辆的车型、颜色、车牌等特征信息。
2、对于目标的类型为行人，行人的相关信息可以包括行人在全局坐标系下的位置信息、行人的朝向、行人的速度信息。可选的，还可以包括行人的年龄、衣着服饰等特征信息。
3、对于目标的类型为红绿灯、交通标识、路障、交警手势、未分类障碍物等，这些目标的相关信息主要包括目标在全局坐标系下的位置信息以及目标的内容信息，例如：红绿灯的内容信息为当前时刻的红绿灯状态、交通标识的内容信息为该交通标识代表的交通意义、路障的内容信息为道路不可通行或通信不畅。
可选的，上述S401中智能汽车100接收到感知信息集后，还可以对接收的感知信息集进行鉴权，判断接收到的感知信息集的合法性。当确定接收到的感知信息集为不合法信息时，丢弃该信息，或者还可以进一步向安全排查***或者告警***发送消息，以使得智能汽车100进行安全性预防。当确定接收到的感知信息集为合法信息时，继续执行后续步骤。
本申请实施例不限定具体的鉴权方式，可采用业界通用的鉴权方式进行感知信息集的鉴权，例如：采用公钥和私钥进行加密和解密进行鉴权的方法，具体地，智能汽车100可以产生一对公钥和私钥，将公钥发布给合法的周边车辆或者路侧设备，周边车辆或者路侧设备在向智能汽车100发送感知信息集时，对原始的感知信息集采用智能汽车100发布的公钥进行加密，将加密后的感知信息集发送至智能汽车100，智能汽车100通过私钥进行解密鉴权，当通过私钥对获得的感知信息集解密成功时，可认为对接收到的感知信息集鉴权为合法。
对接收到的感知信息集进行鉴权可以大幅度降低智能汽车的安全风险，例如，可以避免恶意发送端向智能汽车发送错误的感知信息集，进而避免智能汽车根据接收到的错误信息做出错误规划或控制而引发的交通事故。另一方面，对接收到的感知信息集进行鉴权还可以避免感知信息集在传输过程中遭遇恶意篡改后智能汽车不可知的问题，大大提高了智能汽车的安全性。
可选的，上述S401中接收的信息还可以是经过标准化格式编码后的信息集合，即；车辆或路侧设备对传感器***获得的多个目标的信息进行融合处理后，将多个目标的融合后的信息采用标准化格式编码方式进行编码，形成感知信息集。标准化格式编码方式可以是交通道路上所有的车辆和路侧设备统一使用的，由此，交通道路上的车辆与车辆之间、车辆与路侧设备之间可以采用统一的信息结构和协议进行通信，提高通信的效率和准确性。进一步地，采用统一的标准化格式编码方式编码后再进行信息传输，也是一种对信息的加密方式，可以避免通信过程中的恶意篡改，也可以避免其他恶意设备发送虚假的感知信息集。标准化格式编码方式可以对感知到的目标的各个类型的信息按照一定顺序进行排列，还可以目标的某个或者多个类型的信息按照一定的数据格式进行表示(例如采用业界已有的或者自定义的编码策略)。
举例说明，对于交通道路上的一个车辆，其通过传感器***获得的N个目标的信息，其中N为大于等于1的正整数，通过标准化格式编码方式进行处理，可以获得感知信息集，在一种实施例中，采用car表示车辆、static_object表示静态物体，pedestrian表示行人，感知信息集包括的N个目标的信息可以如下表所示：
表1
Figure BDA0002417767290000101
应理解，上述表1仅仅是一个示例性的编码后的感知信息集，不具有任何限定作用，根据实际的应用，感知信息集中可以包括每种类型的目标的更为详细的内容，感知信息集也可以采用其他方式进行标准化格式编码。
对于接收到的是经过标准化格式编码后的感知信息集的情况，智能汽车100对该感知信息集中的目标的编码方式具有解析能力，即可以在经过标准化格式编码后的感知信息集中读取所需的目标的信息。
S402：获取自车的感知信息集。
在一个时刻，智能汽车行驶在交通道路上时，其自身的传感器***会通过多种传感器获得对周边环境中的目标的感知结果。自车的车载计算***会接收传感器***发送的多个目标的信息，并对多个目标的信息进行处理，得到自车的感知信息集。
由于智能汽车的传感器***中的不同感知设备有可能会对交通道路上的同一个目标进行感知，每个传感器可以分别获得的关于该目标的一部分或全部的信息，因此，车载计算***会对多个目标的信息进行融合，获得该目标的融合后的信息。例如：在智能汽车的感知区域内存在一个目标X，智能汽车的摄像头可以拍摄到该目标X，智能汽车的雷达传感器也可以感知到该目标X，从摄像头对该目标X拍摄的视频图像中可获得该目标X的位置信息、朝向信息、时间戳信息、类型信息和特征信息，从雷达传感器感知的信号中可以获得该目标X的位置信息、速度信息、朝向信息、时间戳信息。智能汽车的车载计算***可以将摄像头获得的该目标X的信息和雷达传感器感知的该目标X的信息进行融合，具体的融合方式包括：将位置信息、朝向信息、时间戳信息这三种在两个感知设备都获得了的信息通过融合算法(例如：卡尔曼加权、协方差加权等方法)进行融合，获得融合后的位置信息、朝向信息、时间戳信息；将速度信息、类型信息、特征信息这三种仅由雷达传感器或者摄像头拍摄的视频图像获得的信息直接作为该目标的融合后的信息的一部分。
多个目标的融合后的信息经过格式化处理后构成了自车的感知信息集。自车的感知信息集中包括自车的感知区域内的目标的信息。应理解，智能汽车获得的自车的感知信息集可以与通过通信链路获得的其他车辆或路侧设备发送的感知信息集具有相同的格式，例如，都是采用相同的标准化格式编码方式进行编码后形成的感知信息集。
S403：获取智能汽车的行驶信息，根据行驶信息确定智能汽车的感兴趣区域(region of interest，ROI)，根据ROI过滤感知信息集。
智能汽车中的***或模块可以获取到自车的行驶信息，行驶信息是当前时刻自车的位置、状态、性能等信息，或者自车存储的可用于进行智能驾驶的信息。例如：车辆状态监控模块可以获取自车的状态信息，如：行驶速度、航向角、车身传感器的状态，地图管理与车辆定位模块可以获取车辆的位置信息以及车辆存储的高清地图。
应理解，在本申请实施例中，自车表示执行本申请实施例提供的信息融合的方法的智能汽车。
根据行驶信息可以确定自车的ROI，自车的ROI为当前时刻对自车的行驶关联性较强的地理范围。自车的ROI内的目标的位置、状态和行驶轨迹等信息可能会影响自车的行驶决策，例如:决策下一时刻的行驶的方向和行驶的速度等，因此，智能汽车需要获取当前时刻ROI范围内的目标的信息。自车的ROI在每一时刻可以动态地进行调整，在一个时刻的自车的ROI取决于自车所在的位置、上一时刻或者上一时间周期自车的轨迹规划、自车的导航路径信息(例如：变道、左转、右转、上下匝道、掉头、经过十字路口等)中的任意一种或多种信息。根据行驶信息确定自车的ROI的方法可以有多种，本申请不限定具体实现方式，根据行驶信息确定自车的ROI的方式还可以根据自车所在的交通道路不同而不同。以如下两种具体实现方式进行举例：
1、对于智能汽车行驶在高速公路路段时，可以根据智能汽车的行驶速度、位置确定智能汽车周围的一个矩形范围为智能汽车自车的ROI。
例如：获取自车的速度信息V，根据速度信息计算自车的最大刹车距离M，以自车为中心在地图上确定距离自车前向和后向最大刹车距离的两条平行线为自车的ROI的前后边界；以高速公路的最左车道的左边界线为自车的ROI的左边界，以高速公路的最右车道的右边界线为自车的ROI的右边界。由此，根据自车的ROI的前后左右边界线确定自车在当前时刻和当前位置的ROI在地图中的范围。
再例如，在另一种实施方式中，确定当前时刻智能汽车在高速公路上行驶的车速为V，当前智能汽车在车道S-L坐标系下的位置为[S0，L0]，其中，S-L坐标系以智能汽车所在车道的中心线为S轴，以车道的横截线为L轴。m为车道宽，智能汽车每个时刻(或者每个时间周期)规划的轨迹时间窗为t(即每次规划未来t秒内的行驶轨迹)，Ls为自车所在的车道的中心线，L-1为高速公路的左车道中心线，L-1为右车道中心线。则可以根据上述信息确定该智能汽车的ROI矩形区域的横向线为[L-1-m/2，L1+m/2]，该智能汽车的ROI矩形区域的纵向线为[S0-V*t，S0+2V*t]。由此得到了该智能汽车在当前时刻的ROI矩形区域，已知的S-L坐标系下的ROI矩形区域的横向线和纵向线可以根据需要转换成ROI矩形区域在地图的全局坐标系下的位置。
2、根据自车的位置信息和地图确定当前时刻的自车行驶在十字路口，则根据自车的位置信息确定在地图上以自车为中心、半径为100米的圆形区域为自车的ROI。或者，根据自车的位置信息确定地图上包括该路口的所有人行道的区域为自车的ROI。
可选的，在另一种实施方式中，当智能汽车行驶在十字路口时，也可以将当前时刻的智能汽车的ROI确定为一个矩形区域。假设当前时刻智能汽车在高速公路上行驶的车速为V，当前智能汽车在车道S-L坐标系下的位置为[S0，L0]，其中，S-L坐标系以智能汽车所在车道的中心线为S轴，以车道的横截线为L轴。m为车道宽，智能汽车每个时刻(或者每个时间周期)规划的轨迹时间窗为t(即每次规划未来t秒内的行驶轨迹)，Ls为自车所在的车道的中心线，L-1为高速公路的左车道中心线，L-1为右车道中心线。则可以根据上述信息确定该智能汽车的ROI矩形区域的横向线为[L0-2*V*t，L0+2*V*t]，该智能汽车的ROI矩形区域的纵向线为[S0-V*t，S0+2V*t]。由此得到了该智能汽车在当前时刻的ROI矩形区域，已知的S-L坐标系下的ROI矩形区域的横向线和纵向线可以根据需要转换成ROI矩形区域在地图的全局坐标系下的位置。获得的ROI区域可以映射至地图中。
获得了智能汽车在当前时刻的ROI后，可以根据自车的ROI滤除前述步骤S401和S402中获得的感知信息集中的不在智能汽车的ROI内的目标的信息，具体地，将每个感知信息集中的目标按照位置信息映射至ROI区域所在的地图中，将在ROI区域内的目标的信息的集合确定为本申请实施例后续步骤中所使用的感知信息集。
值得注意的是，在本申请提供的信息融合方法的另一些实施例中，也可以不执行上述步骤S403。
应理解，本申请不限定上述步骤S401、S402和S403之间的执行顺序，三个步骤可以按照任意一种顺序执行、也可以任意两个或者三个步骤同时执行。
S404：对多个感知信息集中的目标的信息进行融合。
根据前述步骤S401和S402，智能汽车可以获得周边环境中的一个或多个车辆发送的感知信息集和从自车的传感器***感知获得的感知信息集，在这些感知信息集中可能存在多个感知信息集中均包括同一目标的信息的情况，还可能存在一些目标的信息仅在一个感知信息集中的情况。因此，需要对多个感知信息集中的目标的信息进行不同方式的融合或处理，获得一个融合后的感知信息集，获得的融合后的感知信息集为。
可选的，在另一些实施例中，也可以对执行了前述S403后获得的过滤后的感知信息集中的目标的信息进行融合。智能汽车的ROI内的目标的信息对智能汽车在当前时刻进行决策和轨迹规划具有较大影响，而ROI之外的目标的信息对于智能汽车的影响可忽略不计，因此，在对感知信息集进行过滤，将过滤后的感知信息集中的目标进行融合会节约计算资源和时间，提高智能汽车的灵敏性。
在进行感知信息集融合的过程中，自车可以根据不同的情况对不同的目标分别采用不同的方式进行融合或处理。具体地：当多个感知信息集中包括同一个目标的信息时，智能汽车可以根据该目标所在的感知信息集确定每个感知信息集中的该目标的信息的可信度，根据可信度对多个感知信息集中的目标的信息进行融合，获得该目标的融合后的信息，其中，来自不同设备的感知信息集中的目标的信息的可信度各不相同。当仅有一个感知信息集中存在一个目标，其他感知信息集中均不存在该目标的信息时，判断该目标在历史时刻是否已被跟踪，当该目标在历史时刻未被跟踪到，即智能汽车在当前时刻第一次获得该目标的信息时，则根据该目标的信息构建运动模型，并根据该运动模型预测下一时刻的该目标的信息(例如：位置、速度等)，设置该目标在下一时刻的预测信息的可信度，将该目标的信息、所述可信度和该目标在下一时刻的预测信息记录至跟踪列表；当该目标在历史时刻已被跟踪，根据跟踪列表中该目标的在当前时刻的预测信息(例如位置信息)和当前时刻的感知信息集中的该目标的信息获得比较结果，根据比较结果和跟踪列表中记录的该目标的当前时刻的预测信息的可信度，获得更新的可信度；根据该目标的信息和运动模型，获得目标在下一时刻的预测信息；将目标的信息、更新的可信度和目标在下一时刻的预测信息记录至跟踪列表。跟踪列表中包括的各个目标在当前时刻的融合后的信息(以及不需要融合的信息)构成了当前时刻的一个融合后的感知信息集。应理解，按照本申请的方法，可以在每个时刻获得一个融合后的感知信息集。
下面结合图5以一个示例性的实施方式详细地描述对多个感知信息集中的目标的信息进行融合的过程。应理解，下述描述仅以对一个目标进行处理为例进行展开说明，在实际实施时，应感知信息集中的每个目标进行如下处理。
S4041：获取多个感知信息集，根据感知信息集中的目标的位置信息，将多个感知信息集中的每个感知信息集中的目标映射至地图(可以是全局的高清地图，可以从前述图3中的地图管理与车辆定位模块1021中获得)，经过映射后，每个目标由地图上的一个位置点表示，每个位置点还可以关联该目标的其他信息。
S4042：计算地图中的任意两个目标的综合距离，根据综合距离和预设定的阈值，确定目标之间的关联关系。
具体地，上述任意两个目标的综合距离可以用欧式空间距离和属性距离之和表示。其中，欧式空间距离为根据两个目标在地图上的位置利用欧式距离计算公式计算得到的两个目标之间的欧式距离值，欧式空间距离越大表示两个目标在地图上相距越远。属性距离用于表示两个目标的类型、颜色、姿态等信息之间的相似度，属性距离越大表示两个目标之前的相似度越小。属性距离的计算可以采用目标的类型、颜色、姿态等信息构建的数学模型，也可以采用已训练的深度学习模型，本申请不对此做任何限定。
任意两个目标的综合距离等于任意两个目标之间的欧式空间距离和属性距离之和，综合距离越大表示两个目标为不同传感器***感知到的同一目标的可能性越小。因此，比较任意两个目标的综合距离与预设定的阈值之间的大小关系，当两个目标的综合距离不小于该预设定的阈值时，认为该两个目标为不同目标，该两个目标的信息为不同的传感器***感知到的交通道路上的不同目标的信息；当两个目标的综合距离小于该与设定的阈值时，认为该两个目标的信息为不同传感器***(即不同的车辆或路侧设备)对于实际交通道路上的同一个目标获得的信息，记录该两个目标的信息之间的对应关系，例如：在两个目标的信息中设置相同的一个标识信息。
按照以上方法，可以将智能汽车获得的同一目标在多个感知信息集中的信息进行关联，以便于下一步骤的目标的信息融合。在一种实施例中，同一目标对应的信息具有相同的标识信息，根据目标的信息中的标识信息可以在多个感知信息集中找到同样具有该标识信息的其他一条或者多条信息，这些信息均表示交通道路上的同一目标。
S4043：读取从其他车辆或者路侧设备获得的感知信息集中的目标的信息(为了便于理解，可将读取的目标称为第一目标，将读取的目标的信息称为第一目标的信息)，判断在智能汽车自车获得的感知信息集中是否也存在该第一目标的信息(即判断智能汽车自车是否可以探测到该目标，可根据前述S4042中设置的标识信息进行判断，若是，则执行步骤S4044；若否，则执行步骤S4045。
S4044：当其他车辆或者路侧设备的感知信息集以及智能汽车自车的感知信息集中包括第一目标的信息时，从所有包括第一目标的信息的感知信息集中提取多个第一目标的信息，每个第一目标的信息来源于对应的一个设备产生的感知信息集。根据当前时刻的每个感知信息集中的第一目标的信息的可信度进行该第一目标的信息的融合。例如：根据第一目标的可信度，为提取到的每个第一目标的信息设置权重，根据每个第一目标的信息的权重将多个第一目标的信息进行融合，获得融合后的第一目标的信息。
上述第一目标的信息的可信度表示智能汽车对不同设备获得的第一目标的信息的准确性的信赖程度。通常，智能汽车接收的感知信息集包括三种：从路侧设备获得的感知信息集，从周边车辆获得的感知信息集，以及由智能汽车自车的传感器***获得的感知信息集。
在一些实施例中，可以认为对于来自不同设备的感知信息集，可信度是不同的，对于同一设备获得的感知信息集中的目标的信息可信度是相同的。因此，可以通过确定不同设备的感知信息集的可信度，从而获得目标的信息的可信度。
在某一时刻，每个设备的感知信息集的可信度可以是预设置的，或者是经过动态更新后的。确定每个第一目标的信息的可信度具体为：确定每个第一目标的信息所属的感知信息集的设备，确定当前时刻的该设备获得的感知信息集的可信度，该感知信息集中的第一目标的信息的可信度即为该感知信息集的可信度。根据每个第一目标的信息的可信度可以确定每个第一目标的信息的权重。由此，可以获得第一目标的多个具有各自权重的信息，每个第一目标的信息的权重可以用于对该目标的多个信息进行融合。
值得注意的是，从历史经验来看，智能汽车自车的传感器***获取的感知信息集的可信度最高，由于智能汽车周边环境的路侧设备的传感器***较为稳定，周边环境的路侧设备感知到的感知信息集的可信度相较于周边环境的车辆感知到的感知信息集较高。
智能汽车自车的传感器***获得的感知信息集的可信度可以由We表示，智能汽车周边环境中的车辆获得的感知信息集的可信度可以由Wa表示，智能汽车周边环境中的路侧设备获得的感知信息集的可信度可以由Wr表示。在一些实施例中，不同设备的感知信息集的可信度可以结合前述历史经验进行预设定，例如：预设定的可信度满足如下条件：We＞0.5；Wr＝β*Wa，其中β大于或等于1；∑Wr+∑Wa+We＝1。在满足前述三个条件的基础上，再根据经验可以分别确定Wr、Wa、We的可信度。
可选的，对于初始根据经验确定了不同设备的感知信息集的可信度之后，后续某一时刻的不同设备的感知信息集的可信度还可以根据智能汽车接收到的上一时刻的各个感知信息集中的目标的信息与上一时刻获得的融合后的感知信息集中的目标的信息的匹配程度，以及上一时刻的各个设备的感知信息集的可信度动态地进行确定。
动态确定可信度的一种具体方法是：遍历智能汽车在上一时刻接收到的周边环境中路侧设备的感知信息集，求每个路侧设备的感知信息集中的目标的信息与上一时刻获得的融合后的感知信息集中的目标的信息的交集，获得每个交集中的目标的信息的数量。获得的交集中目标的信息的数量即为该路侧设备感知到的目标的信息与融合后的感知信息集中的目标的匹配成功的个数。
再遍历智能汽车在上一时刻接收到的周边环境中车辆的感知信息集，求每个车辆的感知信息集中的目标的信息与融合后的感知信息集中的目标的信息的交集，获得每个交集中的目标的信息的数量。获得的交集中目标的信息的数量即为该车辆感知到的目标的信息与融合后的感知信息集中的目标的匹配成功的个数。
再计算上一时刻智能汽车自车感知到的感知信息集中的目标的信息与融合后的感知信息集中的目标的信息的交集，获得交集中的目标的信息的数量。获得的交集中目标的信息的数量即为智能汽车感知到的目标的信息与融合后的感知信息集中的目标的匹配成功的个数。
根据上一时刻每个路侧设备的感知信息集的匹配成功的个数、每个周边车辆的感知信息集的匹配成功的个数、智能汽车自车匹配成功的个数，对所有个数进行归一化，使得：∑Wr+∑Wa+We＝1。综合计算当前时刻每个设备对应的感知信息集的可信度。
动态确定可信度的另一种具体方法可以是：遍历智能汽车在上一时刻接收到的所有路侧设备的感知信息集，计算每个路侧设备的感知信息集中的与上一时刻融合后获得的感知信息集中的相同目标的信息的综合距离的平均值，例如：在上一时刻，若智能汽车接收到周边环境的三个路侧设备广播的感知信息集，分别为感知信息集H、感知信息集J、感知信息集K，则首先分别获取三个感知信息集中感知信息集H、J、K中的目标的信息与融合后的感知信息集中对应的相同目标的信息之间的综合距离的平均值，获得该三个感知信息集的综合距离的平均值。获得的综合距离的平均值可以体现每个路侧设备感知的目标的信息与融合后的同一目标的信息之间的差异值。由于融合后的目标的信息被认为是更可信的，若综合距离的平均值越小表示路侧设备感知的目标的信息与融合后的同一目标的信息之间的差异越小，可认为路侧设备获得的目标的信息的可信度较高。
再遍历智能汽车在上一时刻接收到的所有车辆的感知信息集，计算每个车辆的感知信息集中的与上一时刻融合后的感知信息集中感知到的相同目标的信息的综合距离的平均值。
再计算上一时刻智能汽车自车获得的感知信息集中的目标的信息与上一时刻融合后的感知信息集中的同一目标的信息之间的综合距离的平均值。
根据上述获得的周边环境车辆对应的综合距离平均值、周边环境路侧设备对应的综合距离的平均值、以及智能汽车自车对应的综合距离的平均值更新周边环境车辆广播的感知信息集的可信度、周边环境路侧设备广播的感知信息集的可信度和自车的感知信息集的可信度，更新原则为：综合距离平均值越高则对应降低可信度，综合距离平均值越低则对应提高可信度。整体的可信度应满足：∑Wr+∑Wa+We＝1。具体的可信度数据提高和降低的数值可由不同的环境或者历史经验确定，本申请不作限定。
由此，根据上一时刻的各个设备的感知信息集中目标的信息与上一时刻的融合后的感知信息集中的对应相同目标的信息之间的匹配程度，以及上一时刻的各个设备的感知信息集的可信度，获得更新后的各个设备的感知信息集的可信度。更新后的各个设备的感知信息集的可信度可用于对该时刻的获得的各个设备的感知信息集中的目标的信息进行融合。
根据每个第一目标的信息的可信度，可以对每个第一目标的信息进行融合，获得融合后的第一目标的信息。
应理解，在一种实施例中，对第一目标的信息进行信息融合时，可以对第一目标在当前时刻的信息进行空间上的融合，例如：采用加权融合的方式，根据每个第一目标的信息的可信度确定每个第一目标的信息的权重，进而根据权重，加权计算第一目标的一些信息，获得融合后的信息，可以通过加权计算的信息例如：位置信息、朝向信息、速度信息等。而对于一些不能进行加权计算的信息，例如：类型信息、特征信息、内容信息等，则选择权重最大的信息作为融合后的信息。获得的第一目标在当前时刻的融合后的信息可以用于智能汽车的行驶决策和轨迹规划。获得的融合后的第一目标的信息还可以被用于预测该第一目标在当前时刻以后的一段时间的可能的位置、朝向、速度等。获得的融合后的第一目标的信息可以加入至智能汽车的跟踪列表中，智能汽车的跟踪列表中包括智能汽车获得的各个目标在历史时刻以及当前时刻的融合后的信息，和/或各个目标在未来时刻的预测信息。
可选的，在对第一目标的信息进行融合时，还可以通过一些算法对第一目标的信息进行时间和空间上的多层融合。即：根据每个第一目标的信息以及对应的权重获得第一目标在当前时刻以及后续时刻的预测信息。多层融合的方法可以采用现有用于信息融合的算法中的一种或多种，例如:D-S证据理论、最近邻数据关联(nearest neighbor，NN)、卡尔曼滤波(Kalman filtering，KF)、贝叶斯滤波(Bayes filtering)等。本申请不对融合的具体方法进行限定。
通过上述方法获得的融合后的第一目标的信息可以被记录至智能汽车中的跟踪列表。
S4045：当至少一个周边环境中的车辆或路侧设备的感知信息集中包括第一目标的信息，但智能汽车自车的感知信息集中未包括第一目标的信息时，进一步判断是否有多个设备(周边环境的车辆或者路侧设备)的感知信息集中均包括该第一目标的信息，若是，则执行后续步骤S4046；若不是，则执行后续步骤S4047。
S4046：有多个设备(周边环境的车辆或者路侧设备)的感知信息集中均包括该第一目标的信息，则从包括第一目标的信息的感知信息集中提取第一目标的信息，根据每个第一目标的信息所属的感知信息集的可信度在对该第一目标的信息进行融合。
在这种情况下，由于智能汽车自车不能感知到该第一目标的信息，在进行信息融合时该第一目标的信息仅能依赖周边环境中设备发送的包括该第一目标的信息的感知信息集。在进行第一目标的信息的融合时，需要确定包括该第一目标的信息的感知信息集的可信度，包括该第一目标的信息的感知信息集的可信度即为该感知信息集中的该第一目标的信息的可信度。
在一些实施例中，对于包括该第一目标的信息的感知信息集的可信度的确定方法与前述步骤S4044中确定可信度的方法相似，此处不再赘述。可选的，在另一些实施例中，由于智能汽车自车不能检测到第一目标的信息，对于获取到的来自周边环境的车辆或路侧设备的每个第一目标的信息的可信度的初始值设定时，也可以选择智能汽车自车周边的其中一个距该第一目标较近的车辆或者路侧设备作为主设备，即将该设备感知到的该第一目标的可信度设置为最高，将其余的可以感知到该第一目标的信息的设备根据与该第一目标距离，依次进行可信度初始值确定，该第一目标的所有信息的可信度之和为1。
在确定每个第一目标的信息的可信度之后，可以对第一目标的信息进行融合。对于融合的具体方法也可以参照前述步骤S4044中的信息融合的方法，此处不再赘述。
S4047：当仅有一个设备(周边环境的车辆或路侧设备)的感知信息集中包括该第一目标的信息时，则进一步通过查找跟踪列表判断智能汽车是否为首次获得该第一目标的信息，若是(即跟踪列表中没有记录该第一目标的历史信息)，则执行步骤S4048；若否(即跟踪列表中记录有该第一目标的历史信息)，则执行步骤S4049。跟踪列表为智能汽车中记录了智能汽车在历史时刻获得的融合后的目标的历史信息的列表。跟踪列表中可以记录目标在历史时刻的信息、目标的信息的可信度、目标在未来时间(例如：下一时刻)的预测信息。
S4048：智能汽车首次获得该第一目标的信息，则利用该第一目标的信息构建预测模型，预测模型可以为一种运动模型，通过运动模型预测第一目标在下一时刻的预测信息。例如：匀变速运动模型，将第一目标的信息中的第一目标的位置、速度，代入匀变速运动模型，即可预测下一时刻，该第一目标的位置、速度等信息、还可以进一步通过计算得到第一目标的下一时刻的朝向信息等。对于第一目标的类型、特征等信息则无需进行预测，可认为下一时刻与当前时刻获得的类型信息、特征信息相同即可，无需进行预测。还可以为预测模型设置一个可信度。将第一目标当前时刻的信息，以及第一目标在下一时刻的预测信息以及为预测模型设置的可信度记录至跟踪列表。
S4049：智能汽车非首次获得第一目标的信息，即：智能汽车的跟踪列表中包括该第一目标的历史信息时，将获得的当前时刻的第一目标的信息与智能汽车的跟踪列表中记录的根据预测模型预测得到的该第一目标在当前时刻的预测信息进行比较，根据比较结果将预测模型的可信度的值进行更新，并根据比较结果调整预测模型的参数。
具体的可信度更新的方法可以是：计算当前时刻的第一目标的信息与跟踪列表中的该第一目标在当前时刻的预测信息之间的位置偏差，并比较该位置偏差与预设的偏差阈值，当位置偏差大于预设的偏差阈值时，将跟踪列表中记录的该第一目标的可信度调低；当位置偏差小于或等于预设的偏差阈值时，将跟踪列表中记录的该第一目标的可信度调高。具体的可信度调整值可以根据位置偏差与偏差阈值的偏移值进行按比重地调整，也可以根据经验值对可信度进行按一定步长的调整，本申请不对此作特别限定。还可以根据位置偏差调整预测模型的参数值，使得调整后的预测模型的预测准确率更高，具体的调整方法可以根据预测模型的不同而不同，还可以由人工进行适应性调整。
在进行预测模型的参数调整后，可以根据调整后的预测模型以及获得的当前时刻的第一目标的信息，继续预测该第一目标在下一时刻的信息，获得第一目标在下一时刻的预测信息。将当前时刻的第一目标的信息，第一目标在下一时刻的预测信息，以及更新后的可信度记录至跟踪列表。
通过上述方法S4041-S4049，可以将智能汽车从周边路侧设备或者车辆获取的感知信息集中的目标的信息进行融合后记录至智能汽车的跟踪列表。对于仅仅是智能汽车自车感知到的目标的信息(周边其他车辆或者路侧设备的感知信息集中均没有记录到的目标的信息)，智能汽车可以直接将这些目标的信息添加至跟踪列表，无需进行融合，智能汽车也可以根据预测模型对这些目标进行下一时刻的信息的预测，具体方式如前述S4048，此处不再赘述。
通过上述信息融合的方法，可以对被多个设备的传感器***感知到的同一目标获得的多个信息分配不同可信度，进而根据同一目标的每个信息的可信度对同一目标的多个信息进行融合，使得智能汽车可以获得更为准确的目标的融合后的信息。上述方法还记录仅被单个周边车辆或者路侧设备感知到的目标的信息，并通过预测模型对该目标在下一时刻的信息进行预测，不断调整预测模型的参数，使得预测模型更为准确。
可选的，对于上述流程中，路侧设备或者车辆还可以发送设备自身的信息。由于周边路侧设备或者车辆发送的设备自身的信息的准确性较高，在一些实施例中，对于获得的设备发送的设备自身的信息，可以不与其他设备感知到的该设备的信息进行融合，而是直接将设备发送的设备自身的信息作为获得的有关该设备的最准确的信息。
可选的，执行完上述步骤S404后，还可以根据获得的融合后的目标的信息，将目标投射至前述地图管理与车辆定位模块获得的地图中，由此，获得当前时刻的环境模型，环境模型中可以实时地显示当前时刻的目标在地图中的位置以及该目标的类型、特征、内容等信息。可选的，该环境模型还可以显示智能汽车自身在地图中的位置、以及智能汽车ROI内的目标距智能汽车的距离等信息。可选的，该环境模型还可以显示目标在未来时间的可能的信息(例如：位置、速度、朝向等信息)。环境模型可以由显示设备进行显示，环境模型还可以被发送至其他设备或***。
在一些实施例中，由上述步骤S401-S404获得的智能汽车周边环境中的目标的融合后的信息不仅可以包括目标在当前时刻的融合后的信息，还可以包括根据目标在当前时刻的信息预测得到的目标在未来时间(例如：下一时刻、下一时间段内)的目标的信息。智能汽车周边环境中的目标的融合后的信息可以用于对智能汽车未来时间的轨迹规划，规划得到的智能汽车的未来时间的行驶路线不应与目标在未来时刻距离太近或者重合(以免发生碰撞)，规划得到的智能汽车的未来时间的行驶路线还应考虑周边环境中的目标的内容信息，例如：红灯信息。
应理解，上述步骤S401-S404以及S404的详细步骤S4041-S4049是智能汽车行驶在交通道路上的每个时刻均可以执行的，由此，智能汽车可以实时获取周边环境中的目标的信息，便于智能汽车实时地调整自车的行驶。
为了更清楚地说明本申请上述步骤S4041-S4049中描述的对于不同目标执行不同处理的方案，下面结合图6进行示例性地描述。
如图6所示，智能汽车01行驶在当前时刻的交通道路上，其自车的传感器***的感知范围为f01，智能汽车01获得的第一感知信息集中包括目标1、2、3的信息；当前时刻智能汽车01可以接收到车辆02发送的第二感知信息集和路侧设备03发送的第三感知信息集。车辆02的感知范围为f02，发送的第二感知信息集中包括目标3、4的信息；路侧设备03的感知范围为f03，发送的第三感知信息集中包括目标2、5、5的信息。
根据上述流程S4041-S4049的流程，对目标进行信息融合或处理时，不同的目标可以根据上述不同的步骤进行融合或处理。
对于目标1，目标1的信息仅由智能汽车01感知获得，可添加目标1的信息至跟踪列表，进一步地也可以根据预测模型对目标1的下一时刻的信息进行预测，将目标1的下一时刻的预测信息也记录至跟踪列表。
对于目标2，目标2可以由智能汽车01和路侧设备03感知，因此，第一感知信息集和第三感知信息集中均包括目标2的信息，采用前述步骤S4044对目标2的信息进行融合。
对于目标3，目标3可以由智能汽车01和车辆02感知，因此，第一感知信息集和第二感知信息集中均包括目标3的信息，采用前述步骤S4044对目标3的信息进行融合。
对于目标4，目标4仅由车辆02感知，可执行上述步骤S4047-S4049进行处理。
对于目标5，目标5仅由路侧设备03感知，可执行上述步骤S4047-S4049进行处理。
对于目标6，目标5仅由路侧设备03感知，可执行上述步骤S4047-S4049进行处理。
可选的，在另一些实施例中，智能汽车01仅对ROI内的目标进行跟踪记录，如图6所示，目标6未在智能汽车01的ROI内，因此，可以仅对目标1-目标5进行如上述描述的操作即可。
本申请还提供一种如图7所示的装置700，装置700可以用于执行本申请实施例提供的信息融合的方法。装置700包括获取单元701和处理单元702。
获取单元701，用于获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；
处理单元702，用于当所述多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
可选的，处理单元具体用于：获取每个感知信息集中的第一目标的信息的可信度；根据每个感知信息集中的第一目标的信息的可信度，对至少两个感知信息集中的第一目标的信息进行融合，获得融合后的第一目标的信息。
可选的，每个感知信息集中的第一目标的信息的可信度为对应的感知信息集的可信度，处理单元还用于：计算上一时刻的每个感知信息集中的目标的信息与上一时刻的融合后的感知信息集中对应的目标的信息的匹配程度，根据所述匹配程度，确定当前时刻的每个感知信息集的可信度。
可选的，每个感知信息集中的第一目标的信息的可信度为对应的感知信息集的可信度，每个感知信息集的可信度由每个感知信息集对应的设备的属性确定。
可选的，产生多个感知信息集的设备包括：与智能汽车通信的车辆，与智能汽车通信的路侧设备，和智能汽车。
可选的，处理单元还用于：根据智能汽车的行驶信息确定智能汽车的感兴趣区域ROI；根据ROI筛除每个感知信息集中位置不在所述ROI内的目标的信息。
可选的，处理单元还用于：当多个感知信息集中仅一个感知信息集包括第一目标的信息时，查找跟踪列表；若跟踪列表中没有记录第一目标的历史信息，根据第一目标的信息构建预测模型，获得第一目标在下一时刻的预测信息；设置预测模型的可信度；将第一目标的信息、可信度和第一目标在下一时刻的预测信息记录至跟踪列表。
可选的，处理单元还用于：当多个感知信息集中仅有一个感知信息集包括第一目标的信息时，查找跟踪列表；若跟踪列表中记录有第一目标的历史信息，比较第一目标的信息与跟踪列表中记录的第一目标的当前时刻的预测信息，根据比较结果和跟踪列表中记录的预测模型的可信度，获得更新的可信度；根据比较结果调整预测模型的参数，获得调整后的预测模型；根据第一目标的信息和调整后的预测模型，获得第一目标在下一时刻的预测信息；将第一目标的信息、更新的可信度和第一目标在下一时刻的预测信息记录至跟踪列表。
可选的，处理单元还用于：获取地图和智能汽车的状态信息；根据融合后的第一目标的信息、地图和智能汽车的状态信息构建环境模型；显示环境模型。
可选的，每个感知信息集为标准化格式的信息集合。
可选的，处理单元还用于：接收与智能汽车通信的设备发送的感知信息集；对感知信息集进行鉴权验证，若感知信息集被鉴权为合法，则保留所述感知信息集。通过鉴权可以避免非法设备发送干扰感知信息集，提高了智能汽车行驶的安全性。
在另一些更具体的实施例中，本申请实施例提供的装置700中的获取单元701用于执行前述步骤S401和S402描述的内容；处理单元702用于执行前述步骤S403和S404描述的内容。
本申请还提供一种设备800，如图8所示，设备800包括：处理器801、存储器802、通信接口803和内存804，设备800可以是安装在智能汽车中的车载设备。其中，处理器801、存储器802、通信接口803和内存804通过总线805进行通信。该存储器802用于存储指令，该处理器801用于执行该存储器802存储的指令。该存储器802存储程序代码，且处理器801可以调用存储器802中存储的程序代码执行前述实施例中的S401-S404、和/或前述S4041-S4049的操作，和/或实现前述装置700的功能。
应理解，在本申请实施例中，该处理器801可以是CPU，该处理器801还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
可选地，设备800中可以包括多个处理器，示例地，图8中包括处理器801和处理器806。其中，处理器801和处理器806可以是不同类型的处理器，而且，每种处理器中包括一个或多个芯片。
该存储器802可以包括只读存储器和随机存取存储器，并向处理器801提供指令和数据。存储器802还可以包括非易失性随机存取存储器。例如，存储器802还可以存储感知信息集或者跟踪列表。
该存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
该总线804除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线804。可选地，该总线804还可以是车载以太或控制器局域网(controller area network,CAN)总线或其他内部总线。
本申请还提供如前述图3所示的车载计算***102，车载计算***102可以执行上述图4、图5所述的方法实施例，或者可以实现前述图7所示的装置700的功能。
本申请还提供如前述图1或图2中所示的智能汽车100，智能汽车100可以执行上述图4、图5所述的方法实施例，或者可以实现前述图7所示的装置700的功能。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请上述实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请的过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

1.一种信息融合的方法，其特征在于，所述方法应用于智能汽车，包括：
获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；
当所述多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
2.如权利要求1所述的方法，其特征在于，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息，包括：
获取每个感知信息集中的所述第一目标的信息的可信度；
根据每个感知信息集中的所述第一目标的信息的可信度，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
3.如权利要求2所述的方法，其特征在于，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，所述方法还包括：
计算上一时刻的每个感知信息集中的目标的信息与上一时刻的融合后的感知信息集中对应的目标的信息的匹配程度；
根据所述匹配程度，确定当前时刻的每个感知信息集的可信度。
4.如权利要求2所述的方法，其特征在于，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，每个感知信息集的可信度由每个感知信息集对应的设备的属性确定。
5.如权利要求1-4任一项所述的方法，其特征在于，产生所述多个感知信息集的设备包括：与所述智能汽车通信的车辆，与所述智能汽车通信的路侧设备，和所述智能汽车。
6.如权利要求1-5任一项所述的方法，其特征在于，在对所述至少两个感知信息集中的所述第一目标的信息进行融合之前，所述方法还包括：
根据所述智能汽车的行驶信息确定所述智能汽车的感兴趣区域ROI；
根据所述ROI筛除所述每个感知信息集中位置不在所述ROI内的目标的信息。
7.如权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
当所述多个感知信息集中仅一个感知信息集包括所述第一目标的信息时，查找跟踪列表；
若所述跟踪列表中没有记录所述第一目标的历史信息，
根据所述第一目标的信息构建预测模型，获得所述第一目标在下一时刻的预测信息；
设置所述预测模型的可信度；
将所述第一目标的信息、所述可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
8.如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
当所述多个感知信息集中仅有一个感知信息集包括所述第一目标的信息时，查找跟踪列表；
若所述跟踪列表中记录有所述第一目标的历史信息，
比较所述第一目标的信息与所述跟踪列表中记录的所述第一目标的当前时刻的预测信息，根据比较结果和所述跟踪列表中记录的预测模型的可信度，获得更新的可信度；
根据所述比较结果调整所述预测模型的参数，获得调整后的预测模型；
根据所述第一目标的信息和所述调整后的预测模型，获得所述第一目标在下一时刻的预测信息；
将所述第一目标的信息、所述更新的可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
9.如权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
获取地图和所述智能汽车的状态信息；
根据融合后的所述第一目标的信息、地图和所述智能汽车的状态信息构建环境模型；
显示所述环境模型。
10.如权利要求1-9任一项所述的方法，其特征在于，所述每个感知信息集为标准化格式的信息集合。
11.一种装置，其特征在于，包括：
获取单元，用于获取多个感知信息集，其中，每个感知信息集包括至少一个目标的信息，不同感知信息集来源于不同设备的感知***；
处理单元，用于当所述多个感知信息集中的至少两个感知信息集包括第一目标的信息时，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
12.如权利要求11所述的装置，其特征在于，
所述处理单元具体用于：
获取每个感知信息集中的所述第一目标的信息的可信度；
根据每个感知信息集中的所述第一目标的信息的可信度，对所述至少两个感知信息集中的所述第一目标的信息进行融合，获得融合后的所述第一目标的信息。
13.如权利要求12所述的装置，其特征在于，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，所述处理单元还用于：
计算上一时刻的每个感知信息集中的目标的信息与上一时刻的融合后的感知信息集中对应的目标的信息的匹配程度；
根据所述匹配程度，确定当前时刻的每个感知信息集的可信度。
14.如权利要求12所述的装置，其特征在于，每个感知信息集中的所述第一目标的信息的可信度为对应的感知信息集的可信度，每个感知信息集的可信度由每个感知信息集对应的设备的属性确定。
15.如权利要求11-14任一项所述的装置，其特征在于，产生所述多个感知信息集的设备包括：与所述智能汽车通信的车辆，与所述智能汽车通信的路侧设备，和所述智能汽车。
16.如权利要求11-15任一项所述的装置，其特征在于，
所述处理单元还用于：
根据所述智能汽车的行驶信息确定所述智能汽车的感兴趣区域ROI；
根据所述ROI筛除所述每个感知信息集中位置不在所述ROI内的目标的信息。
17.如权利要求11-16任一项所述的装置，其特征在于，
所述处理单元还用于：
当所述多个感知信息集中仅一个感知信息集包括所述第一目标的信息时，查找跟踪列表；
若所述跟踪列表中没有记录所述第一目标的历史信息，
根据所述第一目标的信息构建预测模型，获得所述第一目标在下一时刻的预测信息；
设置所述预测模型的可信度；
将所述第一目标的信息、所述可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
18.如权利要求11-17任一项所述的装置，其特征在于，
所述处理单元还用于：
当所述多个感知信息集中仅有一个感知信息集包括所述第一目标的信息时，查找跟踪列表；
若所述跟踪列表中记录有所述第一目标的历史信息，
比较所述第一目标的信息与所述跟踪列表中记录的所述第一目标的当前时刻的预测信息，根据比较结果和所述跟踪列表中记录的预测模型的可信度，获得更新的可信度；
根据所述比较结果调整所述预测模型的参数，获得调整后的预测模型；
根据所述第一目标的信息和所述调整后的预测模型，获得所述第一目标在下一时刻的预测信息；
将所述第一目标的信息、所述更新的可信度和所述第一目标在下一时刻的预测信息记录至所述跟踪列表。
19.如权利要求11-18任一项所述的装置，其特征在于，
所述处理单元还用于：
获取地图和所述智能汽车的状态信息；
根据融合后的所述第一目标的信息、地图和所述智能汽车的状态信息构建环境模型；
显示所述环境模型。
20.如权利要求11-19任一项所述的装置，其特征在于，所述每个感知信息集为标准化格式的信息集合。
21.一种设备，其特征在于，包括处理器和存储器，所述存储器存储程序代码，所述处理器执行所述程序代码，以使所述设备执行前述权利要求1-10任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行上述权利要求1至10中任一项所述的方法。
23.一种车辆，其特征在于，所述车辆包括存储单元和处理单元，所述车辆的存储单元用于存储一组计算机指令和数据集合，所述处理单元执行所述存储单元存储的计算机指令，所述处理单元读取所述存储单元存储的数据集合，以使得所述车辆执行前述权利要求1-10任一项所述的方法。
CN202010196398.6A 2019-10-26 2020-03-19 一种信息融合的方法、装置和设备 Active CN112712717B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20878075.9A EP4040423A4 (en) 2019-10-26 2020-07-13 INFORMATION FUSION METHOD AND SYSTEM
PCT/CN2020/101542 WO2021077809A1 (zh) 2019-10-26 2020-07-13 一种信息融合的方法和***
US17/729,834 US20220252420A1 (en) 2019-10-26 2022-04-26 Information fusion method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019110268226 2019-10-26
CN201911026822 2019-10-26

Publications (2)

Publication Number Publication Date
CN112712717A true CN112712717A (zh) 2021-04-27
CN112712717B CN112712717B (zh) 2022-09-23

Family

ID=75541183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010196398.6A Active CN112712717B (zh) 2019-10-26 2020-03-19 一种信息融合的方法、装置和设备

Country Status (4)

Country Link
US (1) US20220252420A1 (zh)
EP (1) EP4040423A4 (zh)
CN (1) CN112712717B (zh)
WO (1) WO2021077809A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298006A (zh) * 2021-06-04 2021-08-24 西北工业大学 基于脑机融合认知与决策的异常目标检测新方法
CN113792716A (zh) * 2021-11-16 2021-12-14 北京易华录国际技术有限公司 一种多维数据融合方法
CN114065876A (zh) * 2022-01-11 2022-02-18 华砺智行(武汉)科技有限公司 基于路侧多传感器的数据融合方法、装置、***及介质
CN114184188A (zh) * 2021-11-24 2022-03-15 中汽创智科技有限公司 一种对象定位方法、装置、设备及存储介质
CN114279453A (zh) * 2022-03-04 2022-04-05 智道网联科技(北京)有限公司 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN114926813A (zh) * 2022-05-16 2022-08-19 北京主线科技有限公司 车道线融合方法、装置、设备及存储介质
CN115083152A (zh) * 2022-06-09 2022-09-20 北京主线科技有限公司 一种车辆编队感知***、方法、装置、设备及介质
CN115440044A (zh) * 2022-07-29 2022-12-06 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端
CN115691099A (zh) * 2021-07-30 2023-02-03 华为技术有限公司 感知能力信息生成方法、使用方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140120B (zh) * 2020-01-16 2022-10-18 华为技术有限公司 确定交通指示信息的方法及装置
CN112085960A (zh) * 2020-09-21 2020-12-15 北京百度网讯科技有限公司 车路协同信息处理方法、装置、设备及自动驾驶车辆
CN113240909B (zh) * 2021-06-17 2022-11-29 阿波罗智联(北京)科技有限公司 车辆监测方法、设备、云控平台和车路协同***
CN114530041B (zh) * 2022-02-16 2023-05-02 交通运输部公路科学研究所 一种基于准确率的车路协同融合感知新方法
CN114771553B (zh) * 2022-06-21 2022-09-13 国汽智控(北京)科技有限公司 车辆行驶的控制方法、设备、车辆及存储介质
CN115166748A (zh) * 2022-07-08 2022-10-11 上海埃威航空电子有限公司 一种基于信息融合的飞行目标识别方法
CN115130623B (zh) * 2022-09-01 2022-11-25 浪潮通信信息***有限公司 数据融合方法、装置、电子设备及存储介质
WO2024136279A1 (ko) * 2022-12-23 2024-06-27 엘지전자 주식회사 유니캐스트 또는 그룹캐스트를 기반으로 센서 정보를 수신기 중심의 정보로 가공 및 공유하는 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160356A (zh) * 2015-08-31 2015-12-16 上汽通用汽车有限公司 一种车辆主动安全***传感器数据融合方法及***
CN108573271A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质
CN108764373A (zh) * 2018-06-08 2018-11-06 北京领骏科技有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法
CN109949570A (zh) * 2019-04-30 2019-06-28 汉腾汽车有限公司 一种环境感知***
CN110203204A (zh) * 2019-05-17 2019-09-06 深圳森云智能科技有限公司 一种车辆周边环境感知方法
CN110276972A (zh) * 2019-07-16 2019-09-24 启迪云控(北京)科技有限公司 一种基于车联网的目标物感知方法及***
CN110304063A (zh) * 2019-07-15 2019-10-08 广州小鹏汽车科技有限公司 一种车辆自动变道方法及***、车辆
CN110376583A (zh) * 2018-09-30 2019-10-25 长城汽车股份有限公司 用于车辆传感器的数据融合方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
CN202512237U (zh) * 2012-03-19 2012-10-31 南京理工大学常熟研究院有限公司 红外机动目标跟踪***
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9852554B2 (en) * 2016-03-31 2017-12-26 Harman International Industries, Incorporated Systems and methods for vehicle-to-vehicle communication
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN109635855A (zh) * 2018-11-26 2019-04-16 南京理工大学 基于自编码器模型的多传感器融合跟踪方法
US11069161B2 (en) * 2019-09-30 2021-07-20 Ford Global Technologies, Llc Adaptive sensor fusion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160356A (zh) * 2015-08-31 2015-12-16 上汽通用汽车有限公司 一种车辆主动安全***传感器数据融合方法及***
CN108573271A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 多传感器目标信息融合的优化方法及装置、计算机设备和记录介质
CN108764373A (zh) * 2018-06-08 2018-11-06 北京领骏科技有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法
CN110376583A (zh) * 2018-09-30 2019-10-25 长城汽车股份有限公司 用于车辆传感器的数据融合方法及装置
CN109949570A (zh) * 2019-04-30 2019-06-28 汉腾汽车有限公司 一种环境感知***
CN110203204A (zh) * 2019-05-17 2019-09-06 深圳森云智能科技有限公司 一种车辆周边环境感知方法
CN110304063A (zh) * 2019-07-15 2019-10-08 广州小鹏汽车科技有限公司 一种车辆自动变道方法及***、车辆
CN110276972A (zh) * 2019-07-16 2019-09-24 启迪云控(北京)科技有限公司 一种基于车联网的目标物感知方法及***

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298006B (zh) * 2021-06-04 2024-01-19 西北工业大学 基于脑机融合认知与决策的异常目标检测新方法
CN113298006A (zh) * 2021-06-04 2021-08-24 西北工业大学 基于脑机融合认知与决策的异常目标检测新方法
CN115691099A (zh) * 2021-07-30 2023-02-03 华为技术有限公司 感知能力信息生成方法、使用方法及装置
CN113792716A (zh) * 2021-11-16 2021-12-14 北京易华录国际技术有限公司 一种多维数据融合方法
CN113792716B (zh) * 2021-11-16 2022-02-25 北京安录国际技术有限公司 一种多维数据融合方法
CN114184188A (zh) * 2021-11-24 2022-03-15 中汽创智科技有限公司 一种对象定位方法、装置、设备及存储介质
CN114065876A (zh) * 2022-01-11 2022-02-18 华砺智行(武汉)科技有限公司 基于路侧多传感器的数据融合方法、装置、***及介质
CN114279453B (zh) * 2022-03-04 2022-07-19 智道网联科技(北京)有限公司 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN114279453A (zh) * 2022-03-04 2022-04-05 智道网联科技(北京)有限公司 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN114926813A (zh) * 2022-05-16 2022-08-19 北京主线科技有限公司 车道线融合方法、装置、设备及存储介质
CN114926813B (zh) * 2022-05-16 2023-11-21 北京主线科技有限公司 车道线融合方法、装置、设备及存储介质
CN115083152A (zh) * 2022-06-09 2022-09-20 北京主线科技有限公司 一种车辆编队感知***、方法、装置、设备及介质
CN115440044A (zh) * 2022-07-29 2022-12-06 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端
CN115440044B (zh) * 2022-07-29 2023-10-13 深圳高速公路集团股份有限公司 一种公路多源事件数据融合方法、装置、存储介质及终端

Also Published As

Publication number Publication date
WO2021077809A1 (zh) 2021-04-29
EP4040423A1 (en) 2022-08-10
CN112712717B (zh) 2022-09-23
US20220252420A1 (en) 2022-08-11
EP4040423A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
CN112712717B (zh) 一种信息融合的方法、装置和设备
US11967230B2 (en) System and method for using V2X and sensor data
US10678240B2 (en) Sensor modification based on an annotated environmental model
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
US10431093B2 (en) System and method for collision avoidance
CN112712729B (zh) 预测运动轨迹的方法和***
US11516669B2 (en) Misbehavior detection for vehicle-to-everything messages
WO2021155685A1 (zh) 一种更新地图的方法、装置和设备
US20210403001A1 (en) Systems and methods for generating lane data using vehicle trajectory sampling
US20230139740A1 (en) Remote access application for an autonomous vehicle
US11405786B1 (en) Detecting misbehavior conditions in vehicle-to-everything (V2X) messages
US20220068122A1 (en) Systems and methods to group and move vehicles cooperatively to mitigate anomalous driving behavior
WO2022001618A1 (zh) 一种车辆的车道保持控制方法、装置及***
US11877217B2 (en) Message processing for wireless messages based on value of information
US20230073151A1 (en) Early detection of abnormal driving behavior
WO2023155218A1 (en) A system and a method for reducing false alerts in a road management system
EP4250267A1 (en) Vehicle of interest detection by autonomous vehicles based on amber alerts
US20230419200A1 (en) Decentralized parking fulfillment service
EP3989031B1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
US20210405641A1 (en) Detecting positioning of a sensor system associated with a vehicle
US20230199450A1 (en) Autonomous Vehicle Communication Gateway Architecture
US20240230344A1 (en) Leveraging external data streams to optimize autonomous vehicle fleet operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant