CN115359332A - 基于车路协同的数据融合方法、装置、电子设备及*** - Google Patents

基于车路协同的数据融合方法、装置、电子设备及*** Download PDF

Info

Publication number
CN115359332A
CN115359332A CN202211078748.4A CN202211078748A CN115359332A CN 115359332 A CN115359332 A CN 115359332A CN 202211078748 A CN202211078748 A CN 202211078748A CN 115359332 A CN115359332 A CN 115359332A
Authority
CN
China
Prior art keywords
target
point cloud
vehicle
information
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211078748.4A
Other languages
English (en)
Inventor
余舟
姜波
李南星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haixing Zhijia Technology Co Ltd
Original Assignee
Shenzhen Haixing Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haixing Zhijia Technology Co Ltd filed Critical Shenzhen Haixing Zhijia Technology Co Ltd
Priority to CN202211078748.4A priority Critical patent/CN115359332A/zh
Publication of CN115359332A publication Critical patent/CN115359332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智能交通技术领域，具体涉及基于车路协同的数据融合方法、装置、电子设备及***，该方法包括接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；获取本车在当前检测区域内检测目标的第一点云数据；基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。将路端设备中确定出的预设区域的目标信息与本车在当前检测区域内检测到的第一点云数据进行融合，且在融合时实现在不同场景下采用对应的融合策略，降低了数据融合的计算复杂度。

Description

基于车路协同的数据融合方法、装置、电子设备及***
技术领域
本发明涉及智能驾驶技术领域，具体涉及基于车路协同的数据融合方法、装置、电子设备及***。
背景技术
在智能驾驶技术中，感知融合***作为无人驾驶车辆的“感官”，发挥着举足轻重的作用，通过融合多个传感器信息可以为汽车提供一个探测范围更广、精度更高、稳定性更好、更加有效的周边环境信息。多传感器融合在智能驾驶领域有着广泛应用，例如，对动态和静态目标的检测跟踪、车道线的检测、交通信号灯以及交通标识的识别等。
随着5G技术、道路基础设施的愈发成熟，加快了车联网V2X、车路协同等技术的发展。感知融合也不再局限于单车，通过蜂窝网或WIFI技术可以实现车与车，车与路之间的通信交互，大大扩大了环境感知的范围，实现了信息的最大化共享。繁多冗余的多源信息带来了硬件计算资源需求激增、融合过程复杂耗时长等挑战，因此，如何将路端信息与车端信息进行有效融合是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于车路协同的数据融合方法、装置、电子设备及***，以解决车路协同的数据融合的复杂度问题。
根据第一方面，本发明实施例提供了一种基于车路协同的数据融合方法，包括：
接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；
获取本车在当前检测区域内检测目标的第一点云数据；
基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；
根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
本发明实施例提供的基于车路协同的数据融合方法，将路端设备中确定出的预设区域的目标信息与本车在当前检测区域内检测到的第一点云数据进行融合，且在融合时结合本车的位置与预设区域的位置关系采用对应的融合策略，实现在不同场景下采用对应的融合策略，降低了数据融合的计算复杂度。同时该融合方法一方面能够实现路端设备与车端设备中数据的充分融合，另一方面将路端设备采集到的数据在路端设备侧进行处理后得到目标信息再发送至车端设备进行融合，能够减轻车端设备对于算力的需求，提高了路端设备的重复使用率和车端设备的稳定性。
在一些可选实施方式中，所述根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息，包括：
获取所述目标信息中所述目标的位置；
基于所述目标的位置与所述第一点云数据的位置关系，确定所述目标与所述检测目标的对应关系；
基于所述融合策略以及所述对应关系，对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
本发明实施例提供的基于车路协同的数据融合方法，在将路端设备的目标信息与车端设备的目标检测信息进行融合时，先利用位置关系确定出目标与检测目标的对应关系，基于该对应关系选择对应的融合策略再进行数据融合，能够保证不同场景下对融合数据精度的需求。
在一些可选实施方式中，当所述本车的位置位于所述预设区域内时，所述基于所述融合策略以及所述对应关系，对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息，包括：
利用所述对应关系确定同时被所述路端设备以及本车检测到的目标，以得到同时检测目标对应的第一目标点云数据，所述第一目标点云数据的位置精度高于所述目标信息中的位置精度；
利用所述第一目标点云数据中的点云坐标，计算所述同时检测目标的目标位置；
基于所述目标位置以及所述同时检测目标的速度，确定所述当前检测区域内的目标检测信息，所述目标信息中的速度精度高于所述第一点云数据中的速度精度。
本发明实施例提供的基于车路协同的数据融合方法，在进行数据融合时，始终信任精度较高的数据，将其作为融合后的数据，即，对于同时被路端设备以及本车检测到的目标而言，采用紧融合策略，在进行数据融合时采用精度较高的数据进行数据更新，既保证了低算力，又保证了高精度。
在一些可选实施方式中，当所述本车的位置位于所述预设区域外时，所述根据所述融合策略对所述目标信息与所述检测信息进行融合，确定所述当前检测区域内所述检测目标的目标检测信息，包括：
利用所述对应关系确定被所述路端且未被本车检测到的漏检目标，以得到所述漏检目标的目标信息；
基于所述漏检目标的目标信息以及所述检测目标的第一点云数据，确定所述当前检测区域内的目标检测信息。
本发明实施例提供的基于车路协同的数据融合方法，当本车的位置位于预设区域外时，对于被路端设备检测且未被本车检测到的漏检目标而言，采用松融合策略，仅需要将漏检目标的目标信息告知本车即可，利用路端设备给出的目标信息进行补盲和提醒，减少了数据处理量。
在一些可选实施方式中，所述目标信息的确定方式包括：
获取所述预设区域的图像检测数据以及第二点云数据；
对所述图像检测数据进行目标识别，确定所述预设区域内所述目标对应的感兴趣区域；
基于所述目标对应的感兴趣区域与所述第二点云数据中点云的位置关系，确定所述目标对应的第二目标点云数据；
基于所述第二目标点云数据确定所述目标信息。
本发明实施例提供的基于车路协同的数据融合方法，由于图像检测数据对于目标的确定精度高于点云数据，因此，利用图像检测数据的目标识别结果确定出预设区域内目标对应的感兴趣区域，保证了感兴趣区域确定的可靠性，再将第二点云数据与感兴趣区域进行融合，即在路端设备实现数据的融合得到目标信息，能够减少车端设备的数据处理量，降低车端设备对算力的需求。
在一些可选实施方式中，所述基于所述第二目标点云数据确定所述目标信息，包括：
从所述第二目标点云数据中筛选出与所述目标距离最近的目标点云；
将所述目标点云的位置和速度确定为所述目标的位置和速度。
本发明实施例提供的基于车路协同的数据融合方法，由于点云反射点具有稀疏性和随机性的特征，而且第二点云数据与感兴趣区域之间没有一一对应的映射，因此选择距离最近点的坐标和速度作为目标的坐标和速度，能够保证目标信息的可靠性。
在一些可选实施方式中，所述基于所述第二目标点云数据确定所述目标信息，包括：
对所述第二目标点云数据进行聚类处理，确定目标点云；
将所述目标点云的位置和速度确定为所述目标的位置和速度。
本发明实施例提供的基于车路协同的数据融合方法，采用聚类的方式筛选出目标点云，例如，基于密度聚类或基于图论的聚类方法等，同样能够保证目标信息的可靠性。
根据第二方面，本发明实施例还提供了一种基于车路协同的数据融合装置，包括：
接收模块，用于接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；
获取模块，用于获取本车在当前检测区域内检测目标的第一点云数据；
第一确定模块，用于基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；
第二确定模块，用于根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的基于车路协同的数据融合方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的基于车路协同的数据融合方法。
根据第五方面，本发明实施例提供了一种车路协同***，包括：
路端设备，包括图像采集设备、第一点云采集设备以及第一计算平台，所述第一计算平台用于基于所述图像采集设备采集的图像检测数据以及所述第一点云采集设备采集的第二点云数据进行数据融合，确定目标信息，所述目标信息包括预设区域内目标的位置和速度；
车端设备，包括第二点云采集设备以及第二计算平台，所述第二点云采集设备用于获取本车在当前检测区域内检测目标的第一点云数据，所述第二计算平台与所述第一计算平台连接，用于执行本发明第一方面，或第一方面任一项实施方式中所述的基于车路协同的数据融合方法。
需要说明的是，本发明实施例提供的基于车路协同的数据融合装置、电子设备、计算机可读存储介质以及车路协同***的相应有益效果，请参见上文基于车路协同的数据融合方法的对应有益效果的描述，在此不再赘述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的车路协同***的示意图；
图2是根据本发明实施例的基于车路协同的数据融合示意图；
图3是根据本发明实施例的从激光雷达坐标系转换到地图坐标系的示意图；
图4是根据本发明实施例的基于车路协同的数据融合方法的流程图；
图5是根据本发明实施例的基于车路协同的数据融合方法的流程图；
图6是根据本发明实施例的基于车路协同的数据融合装置的结构框图；
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种车路协同***，包括路端设备以及车端设备。其中，路端设备用于部署在道路上，包括标准化道路和一些特殊场景的非标准化道路，例如，交叉路口、复杂路段、没有明确边界线的车辆行驶轨道等等；车端设备用于部署在车辆上，此处的车辆包括乘用车、商用车、工程机械等。路端设备的具体部署位置根据实际需求进行设置，在此对其并不做任何限制。以同一个交叉路口为例，为了实现对交叉路口进行全方位无死角的数据采集，可以部署多套路端设备，这些路端设备可以共用一个计算平台。
具体地，路端设备包括图像采集设备、第一点云采集设备以及第一计算平台。其中，图像采集设备用于采集图像检测数据，第一点云采集设备用于采集第二点云数据，第一计算平台用于将图像采集数据与第二点云数据进行融合，得到目标信息。其中，该目标信息包括预设区域内目标的位置和速度。继续沿用上述示例，在预设区域内部署多个图像采集设备、多个第一点云采集设备以及多个第一计算平台。其中，图像采集设备、第一点云采集设备以及第一计算平台的数量是根据实际需求进行设置的，在此对其并不做任何限制。例如，多个图像采集设备与多个第一点云采集设备共用一个第一计算平台，即，第一计算平台与多个图像采集设备以及多个第一点云采集设备连接。多个图像采集设备将采集的图像检测数据以及多个第一点云采集设备将采集到的第二点云数据发送至第一计算平台进行数据融合。同时，由于多个图像采集设备以及多个第一点云采集设备在预设区域内部署时，可能存在同一目标被重复采集的情况，因此，在第一计算平台中进行数据融合时还需要进行去重处理。
当然，在一些可选实施方式中，对于车端设备的计算平台而言，也可以把数据融合任务请求远端的云服务器来执行。在云服务器中得到融合结果之后，再下发至车端设备的第二计算平台中。
在一些可选实施方式中，图像采集设备为摄像机camera，第一点云采集设备为毫米波雷达等等。
车端设备包括第二点云采集设备以及第二计算平台，第二点云采集设备用于获取本车在当前检测区域内检测目标的第一点云数据，第二计算平台与第一计算平台连接，用于将第一计算平台的目标信息与第二点云采集设备采集的第一点云数据进行融合，得到当前检测区域内的目标检测信息。其中，第二计算平台可以为车辆中的智能驾驶域控制器、智能座舱域控制器或者中央控制器等，第二点云采集设备为激光雷达等等。
图1示出了车路协同***的一种可选示意图，在交叉路口部署有路端设备10，对于车辆而言部署有车端设备20。其中，图1中仅示出了一套路端设备10，但是本发明的保护范围并不限于此，具体根据实际需求进行设置。例如，在交叉口位置安装路端设备，包括单目摄像头、毫米波雷达、第一计算平台和第一通信设备，此处的第一通信设备包括但不限于5G模组、蓝牙模组或WIFI模组等等，图中只示意了一个单目摄像头和一个毫米波雷达的安装位置，当然，其具体数量取决于能否覆盖交叉口全区域。车端设备包括360度环视激光雷达、第二计算平台以及第二通信设备，图中只示意了激光雷达的安装位置。其中，第二通信设备包括但不限于5G模组、蓝牙模组或WIFI模组等等。
该车路协同***的工作原理为：路端设备10中的图像采集设备以及第一点云数据分别采集预设区域内的图像检测数据以及第二点云数据，第一计算平台对图像检测数据以及第二点云数据进行数据融合，确定预设区域内目标的目标信息。第一计算平台定时或实时将确定出的目标信息发送出去。对于在路端设备10的通信范围内的车辆而言，其能够接收到该目标信息。其中，部署在车辆上的车端设备20中的第二点云采集设备采集当前检测区域内的第一点云数据，并将第一点云数据与目标信息进行数据融合，得到当前检测区域内的目标检测信息。进一步地，车辆在得到目标检测信息之后，就可以利用该目标检测信息对车辆进行控制，从而实现智能控制，或无人驾驶控制。
对于一个交叉路口，会安装多套摄像头与激光雷达组合以覆盖全区域，若存在视场角重叠区域，会出现一个目标被多套组合重复检测的情况，因此后续需进行去重处理。经去重处理之后，路端的所有传感器会输出一个目标信息，每个目标为一个包含坐标和速度信息的目标信息。需要注意的是，该目标信息的坐标值在以毫米波雷达为基准的笛卡尔坐标系下，为了与车端的传感器信息进行融合，需要将该目标信息的坐标值转换到地图坐标系下，其中，地图坐标系是指以园区内的某一个点为原点的笛卡尔坐标系。最后，经过坐标转换后的目标信息通过5G通讯传输给车端。
为了减少车端的传感器配置和计算单元，车端只配备一个环视激光雷达，激光雷达将提供地图坐标系下的目标的三维包围盒3D bounding box和点云，进而与路端提供的3D bounding box进行融合。
图2示出了基于车路协同的数据融合示意图，对于路端设备而言，先将一套雷达radar与图像采集设备camera的数据进行融合，再对所有的路端设备的数据进行融合去重，得到路端设备的目标信息。由于目标信息中的位置信息是在雷达坐标***下的坐标，为了后续与车端设备中的数据进行融合，则需要进行坐标系变换，即，将雷达坐标系下的坐标投影至地图坐标系下。其中，具体的坐标系变换如图3所示。对于车端设备而言，对车端激光雷达lidar的采集数据进行处理，再通过坐标映射将目标投影到地图坐标系中。最后，将车端目标与路端目标进行融合，得到车辆当前检测区域的目标检测信息。
例如，车端激光雷达坐标系向地图坐标系转换的公式如下：
xg＝xv+xssinΨ+yscosΨ
yg＝yv-xscosΨ+yssinΨ
其中，xs、ys是目标在车端激光雷达坐标系下的位置；xg、yg是目标在地图坐标系下的位置；xv、yv是本车在地图坐标系下的位置；Ψ是本车的当前航向角。
在融合过程中始终充分信任某一类传感器给出的最可靠信息，而不使用其它传感器所提供的置信度较低的同类信息。例如毫米波雷达和激光雷达均能够提供目标的速度信息，前者利用多普勒原理可以给出较为精准的目标速度，后者利用时间差分法对速度进行估计，但精度较低，波动较大。因此，在融合速度的过程中只采用毫米波雷达的速度信息，而不采用激光雷达提供的速度信息。
遵循这一原则，路端的摄像头和毫米波雷达先进行特征级的融合，由于摄像头对目标的漏检率和误检率较低，而毫米波雷达在速度估计上具备高精度和高分辨率的优势，因此在路端进行摄像头和毫米波雷达融合时，将完全信任摄像头对目标的检测，即只利用摄像头输出的2D目标框与毫米波雷达的检测结果(包含坐标和速度等信息)进行融合，进而输出更为精准的包含坐标、速度的3D目标框。
由于大多数的多传感器目标融合方案仅仅依靠单车智能，因此需要装备数量更多、种类更多的传感器，同时需要部署性能更好、功耗更高的计算单元，从而增加了单车的成本、***复杂度；同时又降低了设备的重复使用率和***的稳定性。此外，基于单车的感知***探测范围有限，存在探测盲区。针对该问题，本发明实施例提供的车路协同***，将路端设备的目标信息与车端设备的第一点云数据进行融合，提高了路端设备的重复使用率和车端***的稳定性，并可有效补盲。
根据本发明实施例，提供了一种基于车路协同的数据融合方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种基于车路协同的数据融合方法，可用于电子设备，如车辆的第二计算平台、车辆等，图4是根据本发明实施例的基于车路协同的数据融合方法的流程图，如图4所示，该流程包括如下步骤：
S11，接收路端设备发送的预设区域的目标信息。
其中，所述目标信息包括目标的位置和速度。
路端设备部署在预设区域内，对于预设区域的目标信息为路端设备中第一计算平台对图像采集设备与第一点云采集设备进行数据融合后得到的。该目标信息中包括路端设备所检测到预设区域内的目标，以及各个目标的位置和速度。在一些实施方式中，预设区域内的目标是通过对图像采集设备采集到的图像检测数据进行目标识别后得到的，各个目标的位置和速度是通过分析第一点云采集设备采集到的第二点云数据与目标的位置关系后，利用第二点云数据中点云的坐标和速度得到的。在此对目标信息的具体确定方式并不做任何限制，具体根据实际需求进行设置即可。
如上文所述，路端设备在确定出预设区域的目标信息之后，定时或实时发送目标信息。在路端设备的通信范围内的车辆均会接收到该目标信息。相应地，对于车端设备而言，即可接收到预设区域的目标信息。
S12，获取本车在当前检测区域内检测目标的第一点云数据。
需要说明的是，本发明实施例中的目标为路端设备检测到的目标；检测目标为本车采集到的目标，即车端设备检测到的目标。
对于本车而言，由于其所处的位置不一定在预设区域内，因此，本车所采集到的第一点云数据是当前检测区域内检测目标的点云数据。其中，当前检测区域内的检测目标与上文所述的预设区域内的目标可能存在相同的目标，也可能存在不同的目标。例如，预设区域的目标包括目标1、目标2以及目标3，当前检测区域内的检测目标包括目标1、检测目标2以及检测目标3。
部署在本车上的车端设备中的第二点云采集设备采集到点云数据，通过对点云数据进行分析，能够确定出各个检测目标的第一点云数据。例如，第二点云采集设备为激光雷达，通过处理激光雷达的点云信息，得到检测目标，每个检测目标包含三维包围盒，即3Dbounding box(其中包含中心点的坐标、速度和包围盒的长宽高)以及3D bounding box所包含的点云(例如，使用点云的坐标值)等信息。由于获得的3D bounding box的中心点坐标是以激光雷达坐标系为基准，若要与路端的目标进行融合，需要将该中心点坐标从激光雷达坐标系转换到地图坐标系。其中，具体的坐标系转换请参见上文所述。
S13，基于本车的位置与预设区域的位置关系，确定目标信息与第一点云数据的融合策略。
本车的位置可以通过本车部署的定位设备确定出，预设区域的位置可以是路端设备下发至本车的。通过将本车的位置与预设区域的位置进行比较，确定本车是否处于预设区域的范围内。针对本车处于预设区域的范围内，或本车处于预设区域的范围外，分别采用对应的融合策略将目标信息与第一点云数据进行融合。
例如，预设区域为交叉路口区域，对于本车而言需要获得较精确的目标位置以及速度，以及时避让；对于非交叉路口区域，对于本车而言仅需要知晓周边是否存在目标。因此，针对上述两种情况，需要分别采用对应的融合策略。
需要说明的是，对于预设区域的定义是根据实际场景需求进行设置的，并不限于上文所述的交叉路口。
当然，对于非预设区域的路端设备，同样也会输出其处理后的目标信息，以使得接收到目标信息的车辆能够基于该目标信息进行路端设备与车端设备的数据融合，进而实现对车辆进行准确地控制。
S14，根据融合策略对目标信息与第一点云数据进行融合，确定当前检测区域内的目标检测信息。
在上述S13中确定出融合策略之后，电子设备基于该融合策略对目标信息以及第一点云数据进行融合。由于目标信息与第一点云数据中可能存在相同或不同的目标，对于相同的目标，需要确定采用目标信息或第一点云数据中的位置及速度；对于不同的目标，需要进行补盲处理等等。这些处理方式均是取决于其对应的融合策略，而融合策略是根据实际需求进行设置，在此对其并不做任何限制。
本实施例提供的基于车路协同的数据融合方法，将路端设备中确定出的预设区域的目标信息与本车在当前检测区域内检测到的第一点云数据进行融合，且在融合时结合本车的位置与预设区域的位置关系采用对应的融合策略，实现在不同场景下采用对应的融合策略，降低了数据融合的计算复杂度。同时该融合方法一方面能够实现路端设备与车端设备中数据的充分融合，另一方面将路端设备采集到的数据在路端设备侧进行处理后得到目标信息再发送至车端设备进行融合，能够减轻车端设备对于算力的需求，提高了路端设备的重复使用率和车端设备的稳定性。
在一些实施方式中，目标信息的确定方式包括：
(1)获取预设区域的图像检测数据以及第二点云数据。
(2)对图像检测数据进行目标识别，确定预设区域内目标对应的感兴趣区域。
(3)基于目标对应的感兴趣区域与第二点云数据中点云的位置关系，确定目标对应的第二目标点云数据。
(4)基于第二目标点云数据确定目标信息。
预设区域的图像检测数据为路端设备中的图像采集设备采集得到的，第二点云数据为路端设备中的第一点云采集设备采集到的。对于图像检测数据而言，可以对其进行图像分析，确定预设区域内的各个目标对应的感兴趣区域；或者，利用目标识别模型，将图像检测数据输入至该目标识别模型，输出各个目标对应的感兴趣区域，等等。在此对各个目标的感兴趣区域的确定方式并不做任何限制。
感兴趣区域用于表示各个目标对应的区域，第二点云数据中包括所有目标的点云数据，将第二点云数据中点云的位置与感兴趣区域进行位置比较，确定属于感兴趣区域内的点云，从而确定出目标对应的第二目标点云数据。由于在采集第二点云数据时，能够获得各个点云的位置及速度，相应地，第二目标点云数据中包括各个点云的位置及速度。基于此，对各个感兴趣区域对应的第二目标点云数据进行分析，即可确定出感兴趣区域对应目标的位置及速度。
由于图像检测数据对于目标的确定精度高于点云数据，因此，利用图像检测数据的目标识别结果确定出预设区域内目标对应的感兴趣区域，保证了感兴趣区域确定的可靠性，再将第二点云数据与感兴趣区域进行融合，即在路端设备实现数据的融合得到目标信息，能够减少车端设备的数据处理量，降低车端设备对算力的需求。
在一些实施方式中，上述步骤(3)包括：
3.1)从第二目标点云数据中筛选出与目标距离最近的目标点云。
3.2)将目标点云的位置和速度确定为目标的位置和速度。
由于点云反射点具有稀疏性和随机性的特征，而且第二点云数据与感兴趣区域之间没有一一对应的映射，因此选择距离最近点的坐标和速度作为目标的坐标和速度，能够保证目标信息的可靠性。
在另一些实施方式中，上述步骤(3)包括：
3.1)对第二目标点云数据进行聚类处理，确定目标点云。
3.2)将目标点云的位置和速度确定为目标的位置和速度。
采用聚类的方式从第二目标点云数据中找到一个目标点云，利用该目标点云来表征该目标，从而得到目标的位置和速度。采用聚类的方式筛选出目标点云，例如，基于密度聚类或基于图论的聚类方法等，同样能够保证目标信息的可靠性。
作为本实施例的一个具体应用实例，路端设备中的图像采集设备为摄像头，第一点云采集设备为毫米波雷达。基于此，在路端设备确定出目标信息的方式包括：
(1)对摄像头采集的图像检测数据进行处理，得到初步检测，检测结果包含目标在图像上的中心点，二维包围盒(即，2D bounding box)的大小、深度以及分类信息。
(2)遍历步骤(1)中获得的每一个2D bounding box，得到该目标框的大小、深度以及分类信息。
(3)对于每一个目标框，通过平截头体的方式去映射成一个3D的感兴趣区域(ROI)。
(4)遍历所有毫米波雷达点云，对于每一个毫米波雷达检测点，判断该点是否在上述的ROI区域内，若为真则放入点云缓存区。需要注意的是，路端一套摄像头和毫米波雷达组合在安装时已选取了一套统一的坐标系，称之为路端坐标系，即毫米波雷达和摄像头之间无坐标系外参转换，因此，在判断毫米波雷达点云是否在ROI区域内前，无需做坐标系转换。
(5)在遍历完毫米波雷达点云后，找到步骤(4)中点云缓存区中的距离最近的一个点，并以该点的坐标和速度作为该目标的坐标和速度。
(6)遍历完所有的2D bounding box后，会输出一个目标信息，作为该套摄像头和毫米波雷达组合的融合输出结果，该目标列表以摄像头检测为基准，并完全采用毫米波雷达提供的坐标值和速度值。
(7)步骤(6)输出的目标信息是以路端坐标系为基准，若要将该目标列表与车端传感器信息融合，需要将该目标信息中目标的坐标从路端坐标系转换到地图坐标系中。
在本实施例中提供了一种基于车路协同的数据融合方法，可用于电子设备，如车辆的第二计算平台、车辆等，图5是根据本发明实施例的基于车路协同的数据融合方法的流程图，如图5所示，该流程包括如下步骤：
S21，接收路端设备发送的预设区域的目标信息。
其中，所述目标信息包括目标的位置和速度。
详细请参见图4所示实施例的S11，在此不再赘述。
S22，获取本车在当前检测区域内检测目标的第一点云数据。
详细请参见图4所示实施例的S12，在此不再赘述。
S23，基于本车的位置与预设区域的位置关系，确定目标信息与第一点云数据的融合策略。
详细请参见图4所示实施例的S12，在此不再赘述。
S24，根据融合策略对目标信息与第一点云数据进行融合，确定当前检测区域内的目标检测信息。
具体地，上述S24包括：
S241，获取目标信息中目标的位置。
目标信息为路端设备发送，且由本车接收到的。对接收到的目标信息进行分析，即可得到目标信息中目标的位置。
S242，基于目标的位置与第一点云数据表征的位置关系，确定目标与检测目标的对应关系。
第一点云数据是与当前检测区域内的检测目标对应的，而目标是预设区域内的目标，为了确定出目标与检测目标的对应关系，即哪些目标与检测目标是对应的，就需要对目标的位置与第一点云数据表征的位置关系进行分析，确定出目标与检测目标的对应关系。
具体地，对应关系包括表示同时被路端设备以及车端设备检测到的同时检测目标，以及仅被路端设备检测到且未被车端设备检测到的漏检目标等等。如上文所述，对于数据融合而言，始终信任的是精度较高的数据。因此，对于同时检测目标，就需要选择精度较高的数据作为最终确定出的数据。
S243，基于融合策略以及对应关系，对目标信息与第一点云数据进行融合，确定当前检测区域内的目标检测信息。
当本车的位置位于预设区域内时，上述S243包括：
(1)利用对应关系确定同时被路端设备以及本车检测到的目标，以得到同时检测目标对应的第一目标点云数据，所述第一目标点云数据的位置精度高于所述目标信息中的位置精度。
(2)利用第一目标点云数据中的点云坐标，计算同时检测目标的目标位置。
(3)基于目标位置以及同时检测目标的速度，确定当前检测区域内的目标检测信息，所述目标信息中的速度精度高于第一点云数据中的速度精度。
由于第一目标点云数据的位置精度高于目标信息中的位置精度，因此，需要利用第一目标点云数据计算得到目标位置，并利用该目标位置对目标信息中的位置进行更新。具体地，对于同时检测目标而言，从第一点云数据中提取该同时检测目标的第一目标点云数据。对于第一目标点云数据中的各个点云而言，均具有位置信息，可以对其进行平均值计算，确定出同时检测目标的目标位置；也可以是采用其他方式计算，例如，将第一目标点云数据的中心点位置作为同时检测目标的目标位置等等。
由于目标信息中的速度精度高于第一点云数据中的速度精度，因此将目标信息中的速度作为同时检测目标的速度。由此，即可得到同时检测目标的目标位置以及速度，由于同时检测目标也是检测目标中的一个，因此，将检测目标中的同时检测目标的信息更新为目标位置以及上述确定出的速度。对于不属于同时检测目标的其他检测目标而言，无需对其位置以及速度进行调整。经过上述的处理，即可得到当前检测区域内的目标检测信息。
在进行数据融合时，始终信任精度较高的数据，将其作为融合后的数据，即，对于同时被路端设备以及本车检测到的目标而言，采用紧融合策略，在进行数据融合时采用精度较高的数据进行数据更新，既保证了低算力，又保证了高精度。
当本车的位置位于预设区域外时，由于路端设备的通信范围一般是大于预设区域的，因此就会存在车辆能够接收到目标信息，但是本车的位置位于预设区域外的情况。基于此，上述S243包括：
(1)利用对应关系确定被路端且未被本车检测到的漏检目标，以得到漏检目标的目标信息。
(2)基于漏检目标的目标信息以及检测目标的第一点云数据，确定当前检测区域内的目标检测信息。
将被路端设备且未被本车检测到的目标称之为漏检目标，相应地，即可得到漏检目标的目标信息。将漏检目标的目标信息与检测目标的第一点云数据进行拼接，即可得到当前检测区域内的目标检测信息。
当本车的位置位于预设区域外时，对于被路端设备检测且未被本车检测到的漏检目标而言，采用松融合策略，仅需要将漏检目标的目标信息告知本车即可，利用路端设备给出的目标信息进行补盲和提醒，减少了数据处理量。
本实施例提供的基于车路协同的数据融合方法，在将路端设备的目标信息与车端设备的目标检测信息进行融合时，先利用位置关系确定出目标与检测目标的对应关系，基于该对应关系再进行数据融合，能够保证不同场景下对融合数据精度的需求。
作为本实施例的一个具体应用实例，车端设备中的第二点云采集设备为激光雷达。基于此，上述基于车路协同的数据融合方法包括：
(1)处理激光雷达的点云信息，得到检测的目标列表，每个目标包含三维包围盒，即3D bounding box(其中包含中心点的坐标、速度和bounding box的长宽高)以及3Dbounding box所包含的点云等信息。
(2)步骤(1)中获得的3D bounding box的中心点坐标是以激光雷达坐标系为基准，若要与路端的目标列表进行融合，需要将该中心点坐标从激光雷达坐标系转换到地图坐标系。
(3)在该步骤中引入电子围栏和场景切换的概念。电子围栏是指由路端下发的交叉口区域范围，当车辆不在交叉口区域内，即不在电子围栏区域，此时由场景切换模块选择合适的融合策略(松融合)，即进入步骤(7)，因为当不在交叉口区域内时，不需要知道盲区内目标的准确位置，只需要告诉车辆在前方盲区内有目标，以提醒车辆并选择合适的决策策略；当车辆行驶入交叉口区域，则表明进入电子围栏，此时由场景切换模块选择合适的融合策略(紧融合)，即进入步骤(4)-(6)，进入该区域后就需要通过车端和路端的深度融合获得盲区内目标的准确位置，以帮助车辆避开该目标。通过判断是否在电子围栏区域并通过场景切换模块动态更改融合策略，而不是统一采用步骤(4)-(6)所表示的融合策略，可以有效降低计算复杂度。
(4)如前所述，由于在测距精度上激光雷达相比另外两种传感器有着明显的优势，所以在融合中会采用激光雷达点云的坐标值，若要将激光雷达点云和路端目标进行融合，则需要统一坐标系，即需要将激光雷达点云从激光雷达坐标系转换到地图坐标系。
(5)遍历每一个路端目标，对于每一个路端目标遍历激光雷达采集的每一个点云，若点云在目标区域内，则放入点云缓存区。需要说明的是，该目标区域的大小会根据摄像头给分类信息而选取合适的范围值，考虑到激光雷达点云较为稠密的特性，采用所有点云坐标的平均值来表征该目标的坐标值。
(6)如前所述，采用”紧耦合策略“时，在目标检测上完全信任摄像头的检测，在速度上完全信任毫米波雷达提供的速度信息，在测距上完全信任激光雷达点云信息，因此只利用步骤(5)的坐标值更新该目标的坐标值。
(7)在步骤(3)中，若判断为否，则直接进入该步骤，也即“松融合“策略，即单纯利用路端给出的融合结果进行补盲和提醒。
该融合方法在设计上遵循减少计算量、提高精度和有效补盲的原则，此外也有效提高设备的重复使用率和***的稳定性。
在一些实施方式中，该方法还包括：基于目标检测信息对本车进行控制。利用路端设备与车端设备的融合结果，即目标检测信息对本车进行控制，能够提高控制精度，保证智能驾驶的安全性。
在本实施例中还提供了一种基于车路协同的数据融合装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种基于车路协同的数据融合装置，如图6所示，包括：
接收模块41，用于接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；
获取模块42，用于获取本车在当前检测区域内检测目标的第一点云数据；
第一确定模块43，用于基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；
第二确定模块44，用于根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
在一些实施方式中，第二确定模块44包括：
第一获取单元，用于获取所述目标信息中所述目标的位置；
第一确定单元，用于基于所述目标的位置与所述第一点云数据表征的位置关系，确定所述目标与所述检测目标的对应关系；
融合单元，用于基于所述融合策略以及所述对应关系，对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
在一些实施方式中，当所述本车的位置位于所述预设区域内时，融合单元包括：
第一确定子单元，用于利用所述对应关系确定同时被所述路端设备以及本车检测到的目标，以得到同时检测目标对应的第一目标点云数据，所述第一目标点云数据的位置精度高于所述目标信息中的位置精度；
计算子单元，用于利用所述第一目标点云数据中的点云坐标，计算所述同时检测目标的目标位置；
第二确定子单元，用于基于所述目标位置以及所述同时检测目标的速度，确定所述当前检测区域内的目标检测信息，所述目标信息中的速度精度高于所述第一点云数据中的速度精度。
在一些实施方式中，当所述本车的位置位于所述预设区域外时，融合单元包括：
第三确定子单元，用于利用所述对应关系确定被所述路端设备且未被本车检测到的漏检目标，以得到所述漏检目标的目标信息；
第四确定子单元，用于基于所述漏检目标的目标信息以及所述检测目标的第一点云数据，确定所述当前检测区域内的目标检测信息。
在一些实施方式中，所述目标信息的确定模块包括：
第二获取单元，用于获取所述预设区域的图像检测数据以及第二点云数据；
识别单元，用于对所述图像检测数据进行目标识别，确定所述预设区域内所述目标对应的感兴趣区域；
第二确定单元，用于基于所述目标对应的感兴趣区域与所述第二点云数据中点云的位置关系，确定所述目标对应的第二目标点云数据；
第三确定单元，用于基于所述第二目标点云数据确定所述目标信息。
在一些实施方式中，第三确定单元包括：
删选子单元，用于从所述第二目标点云数据中筛选出与所述目标距离最近的目标点云；
第五确定子单元，用于将所述目标点云的位置和速度确定为所述目标的位置和速度；
在一些实施方式中，第三确定单元包括：
聚类子单元，用于对所述第二目标点云数据进行聚类处理，确定目标点云；
第六确定子单元，用于将所述目标点云的位置和速度确定为所述目标的位置和速度。
本实施例中的基于车路协同的数据融合装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图6所示的基于车路协同的数据融合装置。
请参阅图7，图7是本发明可选实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。
其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请任一实施例中所示的基于车路协同的数据融合方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于车路协同的数据融合方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种基于车路协同的数据融合方法，其特征在于，包括：
接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；
获取本车在当前检测区域内检测目标的第一点云数据；
基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；
根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息，包括：
获取所述目标信息中所述目标的位置；
基于所述目标的位置与所述第一点云数据表征的位置关系，确定所述目标与所述检测目标的对应关系；
基于所述融合策略以及所述对应关系，对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
3.根据权利要求2所述的方法，其特征在于，当所述本车的位置位于所述预设区域内时，所述基于所述融合策略以及所述对应关系，对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息，包括：
利用所述对应关系确定同时被所述路端设备以及本车检测到的目标，以得到同时检测目标对应的第一目标点云数据，所述第一目标点云数据的位置精度高于所述目标信息中的位置精度；
利用所述第一目标点云数据中的点云坐标，计算所述同时检测目标的目标位置；
基于所述目标位置以及所述同时检测目标的速度，确定所述当前检测区域内的目标检测信息，所述目标信息中的速度精度高于所述第一点云数据中的速度精度。
4.根据权利要求2所述的方法，其特征在于，当所述本车的位置位于所述预设区域外时，所述根据所述融合策略对所述目标信息与所述检测信息进行融合，确定所述当前检测区域内所述检测目标的目标检测信息，包括：
利用所述对应关系确定被所述路端设备且未被本车检测到的漏检目标，以得到所述漏检目标的目标信息；
基于所述漏检目标的目标信息以及所述检测目标的第一点云数据，确定所述当前检测区域内的目标检测信息。
5.根据权利要求1所述的方法，其特征在于，所述目标信息的确定方式包括：
获取所述预设区域的图像检测数据以及第二点云数据；
对所述图像检测数据进行目标识别，确定所述预设区域内所述目标对应的感兴趣区域；
基于所述目标对应的感兴趣区域与所述第二点云数据中点云的位置关系，确定所述目标对应的第二目标点云数据；
基于所述第二目标点云数据确定所述目标信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二目标点云数据确定所述目标信息，包括：
从所述第二目标点云数据中筛选出与所述目标距离最近的目标点云；
将所述目标点云的位置和速度确定为所述目标的位置和速度。
7.根据权利要求5所述的方法，其特征在于，所述基于所述第二目标点云数据确定所述目标信息，包括：
对所述第二目标点云数据进行聚类处理，确定目标点云；
将所述目标点云的位置和速度确定为所述目标的位置和速度。
8.一种基于车路协同的数据融合装置，其特征在于，包括：
接收模块，用于接收路端设备发送的预设区域的目标信息，所述目标信息包括目标的位置和速度；
获取模块，用于获取本车在当前检测区域内检测目标的第一点云数据；
第一确定模块，用于基于所述本车的位置与所述预设区域的位置关系，确定所述目标信息与所述第一点云数据的融合策略；
第二确定模块，用于根据所述融合策略对所述目标信息与所述第一点云数据进行融合，确定所述当前检测区域内的目标检测信息。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的基于车路协同的数据融合方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的基于车路协同的数据融合方法。
11.一种车路协同***，其特征在于，包括：
路端设备，包括图像采集设备、第一点云采集设备以及第一计算平台，所述第一计算平台用于基于所述图像采集设备采集的图像检测数据以及所述第一点云采集设备采集的第二点云数据进行数据融合，确定目标信息，所述目标信息包括预设区域内目标的位置和速度；
车端设备，包括第二点云采集设备以及第二计算平台，所述第二点云采集设备用于获取本车在当前检测区域内检测目标的第一点云数据，所述第二计算平台与所述第一计算平台连接，用于执行权利要求1-7中任一项所述的基于车路协同的数据融合方法。
CN202211078748.4A 2022-09-05 2022-09-05 基于车路协同的数据融合方法、装置、电子设备及*** Pending CN115359332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211078748.4A CN115359332A (zh) 2022-09-05 2022-09-05 基于车路协同的数据融合方法、装置、电子设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211078748.4A CN115359332A (zh) 2022-09-05 2022-09-05 基于车路协同的数据融合方法、装置、电子设备及***

Publications (1)

Publication Number Publication Date
CN115359332A true CN115359332A (zh) 2022-11-18

Family

ID=84006166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211078748.4A Pending CN115359332A (zh) 2022-09-05 2022-09-05 基于车路协同的数据融合方法、装置、电子设备及***

Country Status (1)

Country Link
CN (1) CN115359332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189436A (zh) * 2023-03-17 2023-05-30 佛山市众合科技有限公司 一种基于大数据的多源数据融合算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189436A (zh) * 2023-03-17 2023-05-30 佛山市众合科技有限公司 一种基于大数据的多源数据融合算法
CN116189436B (zh) * 2023-03-17 2023-12-29 北京罗格数据科技有限公司 一种基于大数据的多源数据融合算法

Similar Documents

Publication Publication Date Title
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
CN113792566B (zh) 一种激光点云的处理方法及相关设备
CN112562314B (zh) 基于深度融合的路端感知方法、装置、路端设备和***
KR101534056B1 (ko) 교통 신호 맵핑 및 검출
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
EP4089659A1 (en) Map updating method, apparatus and device
CN112149550A (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
WO2021096629A1 (en) Geometry-aware instance segmentation in stereo image capture processes
CN112753038B (zh) 识别车辆变道趋势的方法和装置
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
US11403947B2 (en) Systems and methods for identifying available parking spaces using connected vehicles
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114119955A (zh) 一种潜在危险目标检测方法及装置
WO2022078342A1 (zh) 动态占据栅格估计方法及装置
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
CN113734176A (zh) 智能驾驶车辆的环境感知***、方法、车辆及存储介质
US20230394694A1 (en) Methods and apparatus for depth estimation using stereo cameras in a vehicle system
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
US11544899B2 (en) System and method for generating terrain maps
CN113421306A (zh) 定位初始化方法、***及移动工具
US11994622B2 (en) Methods and systems for providing scan data for decision making by a self-driving vehicle
US11682140B1 (en) Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor
CN114078326B (zh) 碰撞检测方法、装置、视觉传感器和存储介质
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination