CN115379408A - 基于场景感知的v2x多传感器融合方法及装置 - Google Patents

基于场景感知的v2x多传感器融合方法及装置 Download PDF

Info

Publication number
CN115379408A
CN115379408A CN202211314591.0A CN202211314591A CN115379408A CN 115379408 A CN115379408 A CN 115379408A CN 202211314591 A CN202211314591 A CN 202211314591A CN 115379408 A CN115379408 A CN 115379408A
Authority
CN
China
Prior art keywords
scene
sensor
vehicle
target detection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211314591.0A
Other languages
English (en)
Other versions
CN115379408B (zh
Inventor
常琳
蒋华涛
杨昊
仲雪君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirun Beijing Technology Co ltd
Original Assignee
Sirun Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirun Beijing Technology Co ltd filed Critical Sirun Beijing Technology Co ltd
Priority to CN202211314591.0A priority Critical patent/CN115379408B/zh
Publication of CN115379408A publication Critical patent/CN115379408A/zh
Application granted granted Critical
Publication of CN115379408B publication Critical patent/CN115379408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于场景感知的V2X多传感器融合方法及装置，所述包括。本发明获取各个传感器采集的传感器数据，对传感器数据进行时间同步，再进行预处理，得到待处理数据；对各个传感器的待处理数据进行两两比较，得到传感器之间的目标检测相关系数；基于目标检测相关系数得到各个传感器的置信度，基于置信度进行场景判断；根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，对相应的传感器采集的数据进行融合，得到融合结果。本申请通过对多个传感器采集的数据进行处理，得到各个传感器的场景判别可以有效地解决不同场景下的多传感器融合问题，使V2X在智能网联汽车中发挥更大的作用。

Description

基于场景感知的V2X多传感器融合方法及装置
技术领域
本发明属于汽车行业技术领域，具体涉及一种基于场景感知的V2X多传感器融合方法及装置。
背景技术
随着汽车行业向智能化、网联化发展的进程越来越快，V2X与单车智能的融合成为必然趋势。现有技术更多是简单地将V2X信息作为单车传感器信息的补充，如公开的专利申请文件CN114419591A中描述了一种基于C-V2X的多传感器信息融合车辆检测方法，主要是在激光雷达和摄像头融合检测的技术上通过车-车通信来补充。或者如公开的专利申请文件CN109922439A中描述了一种多传感器数据的融合方法，只要是对V2X和其他传感器采集的数据进行筛选和优先级排序，以此作为融合结果进行输出。或者如公开的专利申请文件CN113947158A中描述了用于智能车辆的数据融合方法和装置，采用了卡尔曼滤波对融合数据进行处理，以及XGBoost模型解决多传感器数据不确定的问题，未考虑环境对传感器的影响。
综上所述，现有技术方案更多关注单车智能传感器，如激光雷达、摄像头、毫米波雷达等自身的数据融合，V2X信息只是作为一个补充手段，或用于判断感知检测延时，没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于场景感知的V2X多传感器融合方法及装置，以解决现有技术中没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失的问题。
为实现以上目的，本发明采用如下技术方案：一种基于场景感知的V2X多传感器融合方法，包括：
获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
对时间同步后的传感器数据进行预处理，得到待处理数据；
对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
进一步的，所述车载OBU终端用于获取V2X信息，所述V2X信息包括：车辆ID、位置信息、GNSS精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、纬度、高度；
所述车载导航终端用于获取GNSS信息，所述GNSS信息包括：经度、纬度、高度及时间戳；
所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；
所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；
所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
进一步的，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，所述对时间同步后的传感器数据进行预处理，包括：
采用卡尔曼滤波器对V2X信息及GNSS信息进行融合处理，得到目标检测结果；
分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，
采用预训练的CNN神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；
将所有的目标检测结果确定为待处理数据；
其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
进一步的，所述采用卡尔曼滤波器对V2X信息及GNSS信息进行融合处理，包括：
根据车辆自身的车载OBU终端采集的V2X信息，以及获取的其他车辆的车载OBU终端采集的其他车辆的V2X信息，得到V2X目标检测的鸟瞰图；所述鸟瞰图包括自车和其他车辆在鸟瞰图中的位置、车辆的尺寸及相对方位。
进一步的，所述对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数，包括：
根据获取的待处理数据，分别获取车载OBU终端到激光雷达的目标检测相关系数、车载OBU终端到摄像头的目标检测相关系数、车载OBU终端到毫米波雷达的目标检测相关系数、激光雷达到车载OBU终端的目标检测相关系数、激光雷达到毫米波雷达的目标检测相关系数、激光雷达到摄像头目标检测的相关系数、毫米波雷达到车载OBU终端的目标检测相关系数、毫米波雷达到激光雷达目标检测相关系数以及毫米波雷达到摄像头的目标检测相关系数。
进一步的，所述基于所述目标检测相关系数得到各个传感器的置信度，包括：
分别计算各个传感器对其他传感器的目标检测相关系数之和；
对所述各个传感器得到的目标检测相关系数之和进行归一化，得到各个传感器的置信度。
进一步的，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：
如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；
如果摄像头的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值2，激光雷达的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
进一步的，所述根据判断后的场景确定输入的传感器的类型，包括：
如果为晴朗天场景，则输入的传感器的类型包括车载OBU终端、激光雷达、摄像头以及毫米波雷达；
如果为雨天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雾天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雪天场景，则输入的传感器的类型包括车载OBU终端及毫米波雷达；
如果为遮挡场景，则输入的传感器的类型以车载OBU终端为主，根据其他传感器到车载OBU终端的目标检测相关系数大小选择其他传感器；
如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
进一步的，采用GPS卫星终端对所述车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
本申请实施例提供一种基于场景感知的V2X多传感器融合装置，包括：
获取模块，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
处理模块，用于对时间同步后的传感器数据进行预处理，得到待处理数据；
比较模块，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
判断模块，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
融合模块，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于场景感知的V2X多传感器融合方法及装置，将各个传感器采集的传感器数据进行时间同步，得到时间同步后的传感器数据；对各个传感器数据进行预处理，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。本申请可以有效地解决不同场景下的多传感器数据融合问题，使V2X在智能网联汽车中发挥更大的作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于场景感知的V2X多传感器融合方法的步骤示意图；
图2为本发明基于场景感知的V2X多传感器融合方法的流程示意图；
图3为本发明基于场景感知的V2X多传感器融合装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于场景感知的V2X多传感器融合方法及装置。
如图1所示，本申请实施例中提供的基于场景感知的V2X多传感器融合方法，包括：
S101，获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；如图2所示，所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
一些实施例中，所述车载OBU终端用于获取V2X信息，所述V2X信息包括：车辆ID、位置信息、GNSS精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、纬度、高度；
一些实施例中，采用GPS卫星终端对所述车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
所述车载导航终端用于获取GNSS信息，所述GNSS信息包括：经度、纬度、高度及时间戳；
所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；
所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；
所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
需要说明的是，由于不同的传感器具有不同的数据采集周期，因此时间同步对V2X通信的多传感器融合来说非常重要。例如V2X的采集频率是100ms，激光雷达和毫米波雷达的数据更新时间为几十ms不等，摄像头的采集频率是20-30fps。具体实施过程中，以数据采集周期最短的传感器为参考，确定该***数据采集周期T，各个传感器根据自身的数据采集频率进行传感器时间同步，以车载OBU终端的V2X信息为例说明如下：
假设***数据采集周期确定为Tms，由于V2X自身的更新时间为100ms，需要根据V2X的时间戳，按照100/T的时间间隔对V2X数据进行插值，得到以Tms为周期的时间同步后的V2X数据。
对于激光雷达和毫米波雷达来说，可以根据当时的车速进行线性或非线性插值，得到时间同步后的激光雷达和毫米波雷达数据。
对于摄像头来说，可以以当时的车速为依据，采用光流法进行补帧，得到时间同步后的摄像头数据。
S102，对时间同步后的传感器数据进行预处理，得到待处理数据；
首先，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，具体的，
采用卡尔曼滤波器对V2X信息及GNSS信息进行融合处理，得到目标检测结果；
分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，
采用预训练的CNN神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；
将所有的目标检测结果确定为待处理数据；
其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
具体的，本申请采用卡尔曼滤波器对V2X信息与GNSS信息进行融合处理，提高位置、速度等信息的精度。根据车载OBU终端采集的信息，以及通过其他车辆的车载OBU终端得到其他车辆的V2X信息，得到V2X目标检测的鸟瞰图，包含自车和其他车辆在鸟瞰图中的位置，车辆的尺寸，相对方位等。
将激光雷达的点云数据在垂直于高度的方向进行投影，得到激光雷达点云数据的鸟瞰图，将所述鸟瞰图输入至训练CNN神经网络，得到激光雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置、类型、检测置信度等信息。
将毫米波雷达的数据在垂直于高度的方向进行投影，得到毫米波雷达数据的鸟瞰图，将所述鸟瞰图输入至训练CNN神经网络，得到毫米波雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
将摄像头信息采用拟透视变换，得到摄像头的鸟瞰图，将所述鸟瞰图输入至训练CNN神经网络，得到摄像头的目标检测结果；目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
S103，对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
具体的，对各个传感器得到的目标检测结果进行两两比较，得出两两传感器之间的目标检测相关系数，下面以V2X和激光雷达信息为例，假设V2X得到某个目标在V2X鸟瞰图上的bounding box的面积为S V ，激光雷达得到同一个目标在激光雷达鸟瞰图上的面积为S D ，通过以下方式计算V2X目标检测到激光雷达目标检测的相关系数。
Figure 979284DEST_PATH_IMAGE001
（1）
其中，
Figure 121684DEST_PATH_IMAGE002
表示V2X检测得到目标在鸟瞰图中的面积与激光雷达得到目标在鸟瞰图中面积相交部分的面积。同理，可分别得到V2X目标检测到毫米波雷达目标检测，以及V2X目标检测到摄像头目标检测的相关系数。
通过以下公式得到激光雷达到V2X的目标检测相关系数，
Figure 632168DEST_PATH_IMAGE003
（2）
同理，可分别得到激光雷达到毫米波雷达的目标检测相关系数，以及激光雷达到摄像头目标检测的相关系数。
采用同样的方式，可分别得到毫米波雷达到其他三种传感器的目标检测相关系数，以及摄像头到其他三种传感器的目标检测相关系数。
S104，基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
其次，采用加和及归一化的方法，得到各类传感器的置信度分数。具体方法如下：
Figure 176413DEST_PATH_IMAGE004
（3）
其中，
Figure 546608DEST_PATH_IMAGE005
表示V2X目标检测对其他传感器目标检测相关系数之和。以公式（3）的计算方法，分别得到
Figure 612522DEST_PATH_IMAGE006
。其中，
Figure 224900DEST_PATH_IMAGE007
表示激光雷达的目标检测相关系数，
Figure 113398DEST_PATH_IMAGE008
表示毫米波雷达的目标检测相关系数，
Figure 356291DEST_PATH_IMAGE009
表示摄像头的目标检测相关系数。
采用以下方式进行归一化，得到V2X的置信度，其他传感器也是采用相同方式得到各自的置信度。
Figure 971818DEST_PATH_IMAGE010
（4）
最后，以置信度分数为依据，进行场景判断，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：
如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；
如果摄像头的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值2，激光雷达的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
S105，根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
一些实施例中，所述根据判断后的场景确定输入的传感器的类型，包括：
如果为晴朗天场景，则输入的传感器的类型包括车载OBU终端、激光雷达、摄像头以及毫米波雷达；
如果为雨天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雾天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雪天场景，则输入的传感器的类型包括车载OBU终端及毫米波雷达；
如果为遮挡场景，则输入的传感器的类型以车载OBU终端为主，根据其他传感器到车载OBU终端的目标检测相关系数大小选择其他传感器；
如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
可以理解的是，本申请中采用自适应融合算法根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
基于场景感知的V2X多传感器融合方法的工作原理为：首先，将V2X信息、GNSS信息、激光雷达、摄像头、毫米波雷达数据接入中央计算平台进行时间同步，得到时间同步后的V2X数据、激光雷达数据、摄像头数据、毫米波雷达数据；其次，将V2X信息进行卡尔曼滤波处理，提高数据的精度。将激光雷达数据、摄像头数据、毫米波雷达数据分别通过一个CNN神经网络，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。
一些实施例中，如图3所示，本申请实施例提供一种基于场景感知的V2X多传感器融合装置，包括：
获取模块201，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
处理模块202，用于对时间同步后的传感器数据进行预处理，得到待处理数据；
比较模块203，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
判断模块204，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
融合模块205，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
本申请提供的基于场景感知的V2X多传感器融合装置的工作原理为，获取模块201获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块202对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块203对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块204基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；融合模块205根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于场景感知的V2X多传感器融合方法，其特征在于，包括：
获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
对时间同步后的传感器数据进行预处理，得到待处理数据；
对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
2.根据权利要求1所述的方法，其特征在于，
所述车载OBU终端用于获取V2X信息，所述V2X信息包括：车辆ID、位置信息、GNSS精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、纬度、高度；
所述车载导航终端用于获取GNSS信息，所述GNSS信息包括：经度、纬度、高度及时间戳；
所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；
所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；
所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
3.根据权利要求2所述的方法，其特征在于，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，所述对时间同步后的传感器数据进行预处理，包括：
采用卡尔曼滤波器对V2X信息及GNSS信息进行融合处理，得到目标检测结果；
分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，
采用预训练的CNN神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；
将所有的目标检测结果确定为待处理数据；
其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
4.根据权利要求3所述的方法，其特征在于，所述采用卡尔曼滤波器对V2X信息及GNSS信息进行融合处理，包括：
根据车辆自身的车载OBU终端采集的V2X信息，以及获取的其他车辆的车载OBU终端采集的其他车辆的V2X信息，得到V2X目标检测的鸟瞰图；所述鸟瞰图包括自车和其他车辆在鸟瞰图中的位置、车辆的尺寸及相对方位。
5.根据权利要求2所述的方法，其特征在于，所述对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数，包括：
根据获取的待处理数据，分别获取车载OBU终端到激光雷达的目标检测相关系数、车载OBU终端到摄像头的目标检测相关系数、车载OBU终端到毫米波雷达的目标检测相关系数、激光雷达到车载OBU终端的目标检测相关系数、激光雷达到毫米波雷达的目标检测相关系数、激光雷达到摄像头目标检测的相关系数、毫米波雷达到车载OBU终端的目标检测相关系数、毫米波雷达到激光雷达目标检测相关系数以及毫米波雷达到摄像头的目标检测相关系数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标检测相关系数得到各个传感器的置信度，包括：
分别计算各个传感器对其他传感器的目标检测相关系数之和；
对所述各个传感器得到的目标检测相关系数之和进行归一化，得到各个传感器的置信度。
7.根据权利要求6所述的方法，其特征在于，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：
如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3，确定为雨天场景；
如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；
如果摄像头的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值2，激光雷达的置信度与车载OBU终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；
如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
8.根据权利要求7所述的方法，其特征在于，所述根据判断后的场景确定输入的传感器的类型，包括：
如果为晴朗天场景，则输入的传感器的类型包括车载OBU终端、激光雷达、摄像头以及毫米波雷达；
如果为雨天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雾天场景，则输入的传感器的类型包括车载OBU终端、激光雷达以及毫米波雷达；
如果为雪天场景，则输入的传感器的类型包括车载OBU终端及毫米波雷达；
如果为遮挡场景，则输入的传感器的类型以车载OBU终端为主，根据其他传感器到车载OBU终端的目标检测相关系数大小选择其他传感器；
如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
9.根据权利要求1所述的方法，其特征在于，
采用GPS卫星终端对所述车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
10.一种基于场景感知的V2X多传感器融合装置，其特征在于，包括：
获取模块，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载OBU终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；
处理模块，用于对时间同步后的传感器数据进行预处理，得到待处理数据；
比较模块，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；
判断模块，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；
融合模块，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
CN202211314591.0A 2022-10-26 2022-10-26 基于场景感知的v2x多传感器融合方法及装置 Active CN115379408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314591.0A CN115379408B (zh) 2022-10-26 2022-10-26 基于场景感知的v2x多传感器融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314591.0A CN115379408B (zh) 2022-10-26 2022-10-26 基于场景感知的v2x多传感器融合方法及装置

Publications (2)

Publication Number Publication Date
CN115379408A true CN115379408A (zh) 2022-11-22
CN115379408B CN115379408B (zh) 2023-01-13

Family

ID=84074035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314591.0A Active CN115379408B (zh) 2022-10-26 2022-10-26 基于场景感知的v2x多传感器融合方法及装置

Country Status (1)

Country Link
CN (1) CN115379408B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116346862A (zh) * 2023-05-26 2023-06-27 斯润天朗(无锡)科技有限公司 用于智能网联汽车的传感器共享方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及***
CN111142528A (zh) * 2019-12-31 2020-05-12 天津职业技术师范大学(中国职业培训指导教师进修中心) 车用危险场景感知方法、装置和***
US11001231B1 (en) * 2019-02-28 2021-05-11 Ambarella International Lp Using camera data to manage a vehicle parked outside in cold climates
CN113177428A (zh) * 2020-01-27 2021-07-27 通用汽车环球科技运作有限责任公司 用于物体跟踪的实时主动物体融合
CN113657270A (zh) * 2021-08-17 2021-11-16 江苏熙枫智能科技有限公司 一种基于深度学习图像处理技术的无人机追踪方法
CN113734203A (zh) * 2021-09-23 2021-12-03 中汽创智科技有限公司 一种智能驾驶的控制方法、装置、***及存储介质
WO2022166606A1 (zh) * 2021-02-07 2022-08-11 华为技术有限公司 一种目标检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及***
US11001231B1 (en) * 2019-02-28 2021-05-11 Ambarella International Lp Using camera data to manage a vehicle parked outside in cold climates
CN111142528A (zh) * 2019-12-31 2020-05-12 天津职业技术师范大学(中国职业培训指导教师进修中心) 车用危险场景感知方法、装置和***
CN113177428A (zh) * 2020-01-27 2021-07-27 通用汽车环球科技运作有限责任公司 用于物体跟踪的实时主动物体融合
WO2022166606A1 (zh) * 2021-02-07 2022-08-11 华为技术有限公司 一种目标检测方法及装置
CN113657270A (zh) * 2021-08-17 2021-11-16 江苏熙枫智能科技有限公司 一种基于深度学习图像处理技术的无人机追踪方法
CN113734203A (zh) * 2021-09-23 2021-12-03 中汽创智科技有限公司 一种智能驾驶的控制方法、装置、***及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄武陵: "智能车辆环境感知技术与平台构建", 《单片机与嵌入式***应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116346862A (zh) * 2023-05-26 2023-06-27 斯润天朗(无锡)科技有限公司 用于智能网联汽车的传感器共享方法及装置
CN116346862B (zh) * 2023-05-26 2023-10-24 斯润天朗(无锡)科技有限公司 用于智能网联汽车的传感器共享方法及装置

Also Published As

Publication number Publication date
CN115379408B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN110588653B (zh) 自主车辆的控制***、控制方法以及控制器
CN109556615B (zh) 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN108801276B (zh) 高精度地图生成方法及装置
CN112650220B (zh) 一种车辆自动驾驶方法、车载控制器及***
CN111142091B (zh) 一种融合车载信息的自动驾驶***激光雷达在线标定方法
CN111860493A (zh) 一种基于点云数据的目标检测方法及装置
CN106257242A (zh) 用于调节道路边界的单元和方法
CN110745140A (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN113085852A (zh) 自动驾驶车辆的行为预警方法、装置及云端设备
CN110208783B (zh) 基于环境轮廓的智能车辆定位方法
CN112348848A (zh) 一种交通参与者的信息生成方法及***
CN109900490B (zh) 基于自主式和协同式传感器的车辆运动状态检测方法及***
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN114063090A (zh) 一种可移动设备的定位方法、装置及可移动设备
CN115379408B (zh) 基于场景感知的v2x多传感器融合方法及装置
CN113191030A (zh) 一种自动驾驶测试场景构建方法及装置
CN113252022A (zh) 一种地图数据处理方法及装置
CN113252051A (zh) 一种地图构建方法及装置
CN115923839A (zh) 一种车辆路径规划方法
US10380435B2 (en) Image processing apparatus
CN113962301A (zh) 一种多源输入信号融合的路面质量检测方法及***
CN108973995B (zh) 用于辅助驾驶的环境感知数据处理方法、装置及车辆
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
CN116052469A (zh) 一种基于车路协同轨迹预测的车辆碰撞预警方法
US11443147B2 (en) Systems and methods for object detection using stereovision information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant