CN114821507A - 一种用于自动驾驶的多传感器融合车路协同感知方法 - Google Patents

一种用于自动驾驶的多传感器融合车路协同感知方法 Download PDF

Info

Publication number
CN114821507A
CN114821507A CN202210542331.2A CN202210542331A CN114821507A CN 114821507 A CN114821507 A CN 114821507A CN 202210542331 A CN202210542331 A CN 202210542331A CN 114821507 A CN114821507 A CN 114821507A
Authority
CN
China
Prior art keywords
module
vehicle
sensing
point cloud
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210542331.2A
Other languages
English (en)
Inventor
王涛
李梅
郭林燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences Beijing
Original Assignee
China University of Geosciences Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences Beijing filed Critical China University of Geosciences Beijing
Priority to CN202210542331.2A priority Critical patent/CN114821507A/zh
Publication of CN114821507A publication Critical patent/CN114821507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公布了一种用于自动驾驶的多传感器融合车路协同感知方法，包括：数据增强模块，点云感知模块、图像感知模块、多传感器融合模块、V2X实时通信模块、选择性弥补模块、基于SLAM与GPS/INS融合的定位模块。首先通过数据增强模块处理公开数据集；再通过多传感器融合模块将点云感知模块中获得的三维信息与图像感知模块中获得的二维信息融合；借助基于SLAM与GPS/INS融合的定位模块获取车辆的位置信息，帮助自动驾驶车辆在复杂环境下做出准确的判断；与此同时，通过V2X实时通信模块与周围环境中的车或路共享感知信息，并通过选择性弥补模块有效弥补遮挡缺失信息，提高实时通信效率；本发明准确度高、可靠性强，能够有效解决复杂道路下信息缺失、遮挡的问题。

Description

一种用于自动驾驶的多传感器融合车路协同感知方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于点云与图像多模态融合的车路协同感知方法。
背景技术
随着近几年来深度学习理论的不断发展，众多研究领域和产业掀起了一场人工智能变革。其中，自动驾驶技术深受深度学习和计算机视觉发展的影响，其理论已经日趋成熟，正在向产业化落地迈进。自动驾驶***的核心可以概述为感知、规划、控制三个部分，因此其实际上是一个分层的结构，感知、规划、控制模块各自发挥不同的作用并相互影响。在整个自动驾驶***中，感知部分是整个***的先行者，相当于自动驾驶***的眼睛，是自动驾驶***中最重要的部分。
感知是指自动驾驶***从环境中收集信息并从中提取相关知识的能力，定位是对感知结果的后处理，通过定位功能帮助自动驾驶车辆获取其相对于所处环境的位置。为了确保自动驾驶车辆对环境的理解和把握，自动驾驶***的环境感知部分通常需要获取大量的周围环境信息，具体来说包括行人、车辆的位置和速度，以及下一时刻可能的行为、可行驶的区域、对交通规则的理解等。尽管自动驾驶***中的感知定位等问题正逐步得到解决，自动驾驶车辆的感知能力也取得了显著性的突破，但是仍然不具备应变全部突发情况的能力。
现有技术中，仅仅基于激光雷达的智能感知***虽然可以在一些小型快递车、送餐车上得到较好的应用，但是其缺乏对于周围环境的颜色感知，因此不足以应对城市实际道路场景的复杂性。针对这种问题，自动驾驶汽车开始采用点云与图像的多模态融合方法，将点云缺乏颜色信息但含有位置信息的特点与图像含有颜色信息但缺乏位置信息的特点进行优势互补，得到一套更加适应复杂道路的多模态融合感知***。然而传感器在感知过程中受遮挡、光照等因素的影响，难以获取周围环境全部的感知信息，这就会导致自动驾驶车辆在复杂道路上难以做出准确的判断，可能导致事故的发生。
为了克服单车感知的局限性，提高自动驾驶车辆应对复杂道路和突变环境的能力，在新一代的无线通信技术的发展驱动下，车路网络互联协同感知成为自动驾驶技术的新趋势。新一代的无线通信技术将“车-车-路”连接起来，通过无线通信技术互相传递感知信息，将车辆之间的互相遮挡关系转变为共同协作关系，大大增强了对周围环境的感知能力。
尽管车路协同感知技术为通用自动驾驶带来了希望，但是其仍然存在很多局限性；
1)目前大多数的车辆定位均依赖于卫星导航***，但是由于城市道路环境的复杂性，使得定位信号又有极大地不稳定性；
2)普通的点云与图像的多模态融合感知方法受限于数据因素，导致感知精度有待提高；
3)在复杂道路场景中，对周围环境感知能力较差；
4)在自动驾驶车路互联的过程当中，由于多车辆感知数据较大，导致实时传输效率较低，且车辆的行驶速度较快，会产生一定的延迟；
因此，需要提出一种新型的车路协同感知方法，以解决上述缺陷问题。
发明内容
本发明实施例的目的在于提供一种用于自动驾驶的多传感器融合车路协同感知方法，用以解决现有技术中城市道路中环境感知精度较低、车路互联实时通信延迟以及定位精度不高的问题。
为实现上述目的，本发明实施例提供一种：用于自动驾驶的多传感器融合车路协同感知方法，包括：数据增强模块(1)，点云感知模块(2)，图像感知模块(3)，多传感器融合模块(4)，V2X实时通信模块(5)，选择性弥补模块(6)，基于SLAM与GPS/INS融合的定位模块(7)。
针对自动驾驶协同感知中数据不足的问题，我们设计了一种新型的数据增强方法，这种方法的特点在于它不仅仅对单一的点云数据或图像数据进行增强，而是在对点云和图像共同增强的同时，保证点云和图像增强位置的对应关系。为了得到更加复杂的道路环境数据，本发明对OPV2V数据集中的点云数据和图像数据上添加城市道路环境中经常出现的物体，包括，车辆、行人等。为了满足上述在OPV2V数据集中添加点云和图像的要求，我们采用深度相机对已有物体拍照，得到一张RGB图像和一张深度图像。将RGB图像与深度图像进行处理可以得到已有物体的点云模型。最后将上述得到的点云模型与RGB图像随机粘贴到对应的区域，同时模拟遮挡效果，获得较好的仿真数据。对OPV2V中的所有数据随机放置随机数目的点云模型和RGB图像就可以生成一种数据量更大、城市道路环境复杂度更高、保留数据真实度更高的协同感知数据集，我们将这个新生成的数据集称为NEW_OPV2V。利用NEW_OPV2V数据集进行多模态融合所得到的深度感知模型必然会有更高的鲁棒性，会更加适应城市复杂环境道路。
本发明涉及一种更加适合复杂城市道路环境的多模态融合方法，将三维点云目标检测与二维图像的语义分割与目标检测共同融合。
在点云感知模块(2)中，我们采用PointRCNN算法对三维点云数据进行目标检测，它是一种基于原始的点云数据直接进行特征提取和RPN操作的方法，其主要的内容是先利用PointNet++网络实现前景与背景分割，再对所有分为前景的点进行特征提取，使其包含和对应一个3D候选框信息；
在图像感知模块(3)中，主要分为两个部分，分别是图像分割部分和图像检测部分。
在图像分割部分中，本发明采用2D语义分割网络Mask R-CNN获得图像的2D语义特征，主要目的是借助RPN推荐网络和FCN的网络结构，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现较好的分割效果。其主要内容是在Faster R-CNN的基础上添加可一个预测分割的分支，并将RoI Pooling层替换成了RoI Align层；
在图像检测部分中，本发明采用2D目标检测网络CenterNet进行关键点估计来找到中心点，并回归到其他目标属性。其主要内容是区别于CornerNet需要进行两个关键点确定检测框的方法，CenterNet仅仅只需要进行一个关键点即可获取物体的位置，其主要的网络结构分为三个分支，分别是HeatMap、Offset和Height&Width。其中HeatMap用于输出不同类别物体中心点的位置；Offset用于对HeatMap的输出进行精炼，提高定位准确度；Height&Width用于预测以关键点为中心的检测框的宽高。对三个分支分别设置三个不同的损失函数，利用三个损失函数得到CenterNet网络的总损失，进而迭代训练获取目标的位置。
在多传感器融合模块(4)中，主要分为两个部分，分别为基于PointPainting的空间映射融合和基于Transformer的多模态特征融合。
其中基于PointPainting的空间映射融合方法是将2D语义分割网络Mask R-CNN分割之后得到的语义信息映射到三维点云中，实现初步融合，其主要内容是先对激光雷达获取的点云数据在二维层面上进行投影，取点云投影在分割图像中的分割分值加到点云的维度后面，使得点云携带语义信息。
基于Transformer的多模态特征融合方法是利用注意力机制来整合图像和点云数据，捕捉全局的三维场景上下文，并专注于动态智能体和交通灯，实现加强融合。其主要内容是采用一种TransFuser融合机制，将图像和点云的BEV视图作为模型的输入，再利用ResNet处理，产生不同分辨率的中间特征图。之后，使用Transformer将图像和点云特征以多种分辨率结合起来，使整体的TransFuser模块输出一个特征向量，最后将其传递给基于GRU的自回归航路点预测网络。
本发明涉及一种基于SLAM与GPS/INS融合的定位方法，主要包括基于SLAM的地图辅助类定位方法和基于GPS与INS融合的全球定位方法。
其中基于SLAM的地图辅助类定位方法利用激光雷达观测到的环境特征，确定当前车辆的位置以及当前观测目标的位置，通过迭代最近点算法根据以往的先验概率分布和当前的观测值来估计当前位置。
所述的基于GPS与INS融合的全球定位方法，其主要内容是，将GPS设备输出信号包括经度、纬度、高度，经过坐标转换到投影平面坐标得到x、y、z的位置信息，并由此得到平面位置信息。同时对INS设备输出的主要数据包含x、y、z方向的加速度，以及对应旋转角速度信息，进行时间积分，便可以得到x、y、z方向的速度信息vx、vy、vz以及相对位置信息和roll、pitch、yaw等角度信息。最后利用扩展卡尔曼算法处理x、y、z、vx、vy、vz、roll、pitch、yaw这九个状态向量，进行状态向量的数据融合。
本发明所述的基于V2X技术的实时通信模块(5)，以固定时间t0广播车辆周围感知情况，其中该车辆的周围感知情况包括该车辆感知到的周围车辆或行人的位置信息，以及本车辆行驶状态信息和位置轨迹信息；同时接收从其他车辆广播的周围感知情况以及路边感知设备的周围感知情况。
所述V2X通信模块(5)还用于接收多传感器融合模块(4)所感知的目标，并根据目标的类型、数量、纵向距离、横向距离以及本车从基于SLAM与GPS/INS融合的定位模块(7)获取的经位置信息计算出目标的经纬度值，并将计算出的目标的经纬度值填充到协同感知消息中，同时填入的信号还包括给目标分配的ID、本车ID、数据来源、目标数量、目标类型、时间戳和速度，并在消息填充完毕后以固定的周期t1通过V2X通信模块(5)将其广播；同时接收从其他车辆发送的协同感知消息并对其进行解析和处理后发送至选择性弥补模块(6)。
本发明涉及一种用于减少车辆之间共享数据的选择性弥补模块(6)，其特点在于可以有效地处理接收到的实时感知信息，对于来自多车辆的感知信息进行有效筛选，并仅对能有效弥补本车辆感知缺失的信息进行接收，提高实时通信效率。其主要内容在于，根据激光雷达所收集到的点云数据，查找车辆附近区域的缺失信息，并确定缺失区域位置中心，寻找离缺失区域位置中心最近的激光雷达源，从V2X通信模块(5)中选择该激光雷达源所发出的信号，并对接收到的信号通过坐标转换后提取缺失区域的点云信息对本车辆的激光雷达数据进行补全。
附图说明
图1为本发明用于自动驾驶的多传感器融合车路协同感知方法的整体概念图。
图2为数据增强模块的具体流程图。
图3为复杂城市道路环境的路口场景。
图4为城市道路连续转弯场景。
图5为城市道路上下坡场景。
图6为城市道路排队场景。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图，对本发明作进一步详细的说明。
本发明提供了一种用于自动驾驶的多传感器融合车路协同感知方法，用以解决现有技术中城市道路中环境感知精度较低、车路互联实时通信延迟以及定位精度不高的问题。如图1所示，包括数据增强模块(1)，点云感知模块(2)，图像感知模块(3)，多传感器融合模块(4)，V2X实时通信模块(5)，选择性弥补模块(6)，基于SLAM与GPS/INS融合的定位模块(7)。
图1是本发明提供的用于自动驾驶的多传感器融合车路协同感知方法的整体概念图，其具体实施方式包含九个步骤：
步骤一：利用数据增强模块(1)在OPV2V公开数据集上进行数据增强处理，用以得到数据量更大、复杂度更高、覆盖城市道路场景更全的数据集New_OPV2V。
图2是步骤一中对OPV2V数据集实现数据增强的具体流程图，如图2所示，以OPV2V数据集的一组数据为例，在获取OPV2V公开数据集后，我们将整个数据集分为三维点云数据和二维图像数据。对三维点云数据进行语义分割获取三维点云数据中代表“路面”信息的点。
同时，通过深度相机对城市道路中实际出现的物体，包括汽车、自行车、行人等，进行拍照获取该物体的RGB图像和深度图像。通过深度相机的内外参数可以将RGB图像与深度图像进行结合，将深度图像转化为位置信息并附加到RGB图像上，形成点云信息。
进一步，我们将获取的点云信息进行缩放处理后粘贴到OPV2V数据集中点云的路面上，形成新点云数据。
进一步，在增强点云数据中从原点视角出发观察此前粘贴的实际物体点云的遮挡情况，提取未遮挡部分的信息，按照深度相机形成的点云与图像的对应关系，提取出未遮挡部分的RGB图像，并将这部分RGB图像粘贴到OPV2V数据集的二维图像数据中。
最后，将上述方法应用到整个OPV2V公开数据集上便可以得到新的增强数据集New_OPV2V。
步骤二：利用图像感知模块(3)中Mask R-CNN算法对New_OPV2V数据集中的二维图像数据进行语义分割获取每一个像素点的语义分割分数。
Mask R-CNN是在Faster R-CNN的基础上改进而来，Faster R-CNN采用ROIPooling从RPN网络中确定的ROI中的最小特征图，RPN网络会提出若干ROI的坐标，并以(x，y，w，h)表示，然后输入ROI Pooling，输出7x7大小的特征图供分类和定位使用。然而如果ROI网络输出的ROI大小发生改变，便无法保证输入像素和输出像素的一一对应关系。因此将ROI Pooling更换为ROI Align，ROI Align的输出坐标使用双线性插值算法得到，不再进行量化，使得原图中的像素和特征图中的像素是完全对齐的，并提高检测的精度，同时也会有利于实例分割。
步骤三：利用多传感器融合模块(4)中PointPainting算法处理步骤二中的所获得的图像数据的语义信息，获得含有语义信息的点云数据。
在New_OPV2V数据集上每一个点的表述为(x，y，z，r)，其中x，y，z是每个激光雷达点的空间位置，r是反射率。因此可以将New_OPV2V数据集上每一个点通过均匀变换投影到图像上。
进一步，将步骤二中获取的New_OPV2V数据集中的二维图像数据的每一个像素点的语义分割分数附加到投影到图像上的点的信息中，创建含有RGB颜色信息的点云数据。
步骤四：利用点云感知模块(2)中PointRCNN对步骤三中获得的点云数据进行三维点云目标检测。
将步骤三中初步融合的点云数据输入到PointRCNN网络中，分别实现点云的分类与分割任务。在分割任务中，先对点云数据中的每个点赋予一个类别信息，区分点云的前景与背景。
进一步，我们将会处理前景点，并对其进行特征提取，得到一个特征向量，通过对这个特征向量进行解码可以获得一个包含位置信息、尺度信息、朝向信息的3D BBox信息。同时利用Bin-based Box Generation对获取的3D BBox信息进行偏移和微调，获得对应真实场景的3D BBox信息，之后利用NMS剔除冗余的、稠密的检测框，获得较为精简准确的proposal。
进一步，采用Point cloud region pooling和Canonical 3D bounding boxrefinement进行更精确地位置回归；Point cloud region pooling操作对每一个获得proposal增大尺度，并对其内部所有点进行特征提取，包括坐标点(xp,yp,zp)，反射强度rp，预测的前景背景类别mp以及该点对应的特征向量。Canonical 3D bounding boxrefinement操作是在上述特征提取完成之后先进行一个Canonical变换，为每一个proposal建立一个单独的坐标系。接下来将获得的全局的语义特征与局部特征进行堆叠融合后作为精细定位的特征，并进行回归得到精确地proposal。
步骤五：利用图像感知模块(3)中CenterNet对New_OPV2V数据集中的RGB图像数据做二维目标检测。
将步骤二中获取的New_OPV2V数据集中的二维图像数据输入到CenterNet网络中，图像在经过一个Hourglass backbone后可以获得图像的分类特征，再通过HeatMap、Offset和Height&Width三个分支获取分类物体的检测框。
HeatMap对经过Hourglass backbone后获得的图像特征进行回归，输出不同类别物体中心点的位置。我们设图像输入为I∈RW×H×3，输出为
Figure BDA0003650730950000091
其中W和H是输入图片的宽和高，R是输出步长，C是关键点的分类数目。当
Figure BDA0003650730950000092
时代表检测到了关键点，即检测到了目标，当
Figure BDA0003650730950000093
时代表该位置是背景。设图片的真实信息为
Figure BDA0003650730950000094
根据关键点在原图的位置计算出该点在输出特征图上的相对位置为
Figure BDA0003650730950000101
Figure BDA0003650730950000102
其中P为中心点的坐标，然后我们可以用一个高斯核
Figure BDA0003650730950000103
Figure BDA0003650730950000104
来将关键点分布到特征图上，其中σP是与W、H相关的标准差。根据
Figure BDA0003650730950000105
与Y的差别，可以得到HeatMap的损失函数，其损失函数为
Figure BDA0003650730950000106
最终回归出较为准确的中心点。
Offset对HeatMap处理后得到心位置进行精确定位；Height&Width用于预测以关键点为中心的检测框的宽高。计算每一个关键点的局部偏移
Figure BDA0003650730950000107
得到其损失函数为
Figure BDA0003650730950000108
Height&Width用于预测以关键点为中心的检测框的宽高。对三个分支分别设置三个不同的损失函数，利用三个损失函数得到CenterNet网络的总损失，进而迭代训练获取目标的位置。假设物体k的真实坐标为
Figure BDA0003650730950000109
那么它的宽高为
Figure BDA00036507309500001010
只考虑关键点实际落入的区域
Figure BDA00036507309500001011
的输出特征图
Figure BDA00036507309500001012
那么得到Height&Width的损失函数为
Figure BDA00036507309500001013
从而回归出检测框的宽高。
最后，将所有损失函数加权求和得到总损失Ldet＝Lk+λoffLoff+λsizeLsize，实现对二维图像的目标检测。
步骤六：利用多传感器融合模块(4)中的TransFuser融合机制对步骤四与步骤五的多个阶段的特征编码进行融合。
Transformer架构将一个由离散标记组成的序列作为输入，每个标记由一个特征向量表示，特征向量由位置编码补充以包含位置归纳偏差。将输入序列表示为
Figure BDA00036507309500001014
其中N是序列中标记的数量，每个标记由维度为Df的特征向量表示。并使用线性投影来计算一组queries、keys和values，分别用Q、K、V表示。那么Q＝FinMq，K＝FinMk，V＝FinMv，其中
Figure BDA0003650730950000111
是权重矩阵，它使用Q和K之间的缩放点积来计算注意力权重，然后聚合每个query的值
Figure BDA0003650730950000112
Figure BDA0003650730950000113
最后，Transformer使用非线性变换来计算与输入特征Fin具有相同形状的输出特征Fout，即Fout＝MLP(A)+Fin。
Transformer在整个架构中多次应用注意力机制，从而产生L个注意力层。标准Transformer中的每一层都有多个并行的注意力机制，其中生成多个Q、K、V值，并将
Figure BDA0003650730950000114
的结果值连接起来。
我们将每个模态的中间特征图视为一个集合，并将集合的每个元素视为一个标记。图像和点云的BEV视图输入的卷积特征提取器在不同层对场景的不同方面进行编码。因此，我们在整个编码器中以多个尺度融合这些特征。
设单个模态的中间网格结构特征图为维度H×W×C的3D张量，对于两种不同的模态，这些特征堆叠到一起形成维度序列(2×H×W)×C，同时添加一个维度为(2×H×W)×C的可学***均池化从早期编码器块中将更高分辨率的特征图下采样到H＝W＝8的固定分辨率，然后再将它们作为输入传递给Transformer，并使用双线性插值将输出上采样得到原始分辨率在使用现有特征图进行元素求和之前插值。
在多个分辨率下进行密集特征融合后，我们从每个模态的特征提取器中获得了一个维度为8×8×512的特征图，输入分辨率为256×256像素。这些特征图通过平均池化缩小到1×1×512的维度，并展平为512维的特征向量，然后通过元素求和进行组合。这个512维的特征向量便构成了对3D场景的全局上下文进行编码的环境的紧凑表示。然后将其送到航点预测网络进行预测。
步骤七：利用基于SLAM与GPS/INS融合的定位模块(7)获取车辆的位置信息。
一方面，使用SLAM算法进行同步定位和地图构建，将激光雷达产生的点云数据，经过PCL转化为点云地图，并将激光雷达当前扫描到的点云片段与我们之前采集的全局点云地图进行迭代匹配，计算出两组点云之间的姿态，使用迭代最近点算法就可以让当前点云片段在全局点云中找到一个最近的匹配，之后通过所有的匹配来计算均方误差。
另一方面，利用GPS与INS进行融合，将GPS设备输出信号包括经度、纬度、高度，经过坐标转换到投影平面坐标得到x、y、z的位置信息，并由此得到平面位置信息。同时对INS设备输出的主要数据包含x、y、z方向的加速度，以及对应旋转角速度信息，进行时间积分，便可以得到x、y、z方向的速度信息vx、vy、vz以及相对位置信息和roll、pitch、yaw等角度信息。最后利用扩展卡尔曼算法处理x、y、z、vx、vy、vz、roll、pitch、yaw这九个状态向量，进行状态向量的数据融合。
步骤八：利用V2X实时通信模块(5)广播和接收感知和定位信息。
利用V2X通信技术接收Transformer融合后所感知的目标，接收目标的类型、数量、纵向距离、横向距离。并根据基于SLAM与GPS/INS融合的定位模块(7)获取的位置信息计算出目标的经纬度值。
进一步将目标经纬度值、目标分配的ID、本车ID、数据来源、目标数量、目标类型、时间戳和速度进行广播。同时接收其他车辆或者路边设备发送的协同感知消息并对其进行解析和处理后发送至选择性弥补模块(6)。
步骤九：利用选择性弥补模块(6)弥补遮挡缺失信息，并通过V2X实时通信模块(5)进行传输。
根据激光雷达收集到的点云数据，查找本车辆附近区域的缺失信息，并确定缺失区域位置中心，首先寻找离缺失区域位置中心最近的激光雷达源，从V2X通信模块(5)中选择该激光雷达源所发出的信号，对该信号通过坐标转换后提取缺失区域的点云信息对本车辆的激光雷达数据进行补全。
综上所述，本发明提供的一种用于自动驾驶的车路协同感知方法能够更加适应复杂城市道路场景，提高感知精度，下面结合实际场景对本发明解决的问题进行描述。
如图3所示，展示了复杂城市道路环境的路口场景，由于城市路口中车辆较多，图3中自动驾驶小车a的感知被严重遮挡，尤其小车b被大车c全面遮挡住，自动驾驶小车a无法感知到小车b，如果自动驾驶小车a在大车c经过后立马前进，容易与小车b发生碰撞。而采用本发明的感知方法，自动驾驶小车a会接收到来自路边设备A以及其他自动驾驶小车的广播信号，使得自动驾驶小车a能够精确感知小车b的位置，并做出相应的判断。
图4是城市道路连续转弯场景，其中自动驾驶小车a和b相向而行，在转弯处，仅凭借小车自身的感知能力，无法有效感知对方的位置，容易发生车祸。而利用本发明的感知方法，自动驾驶小车a可以通过路边感知设备B提前感知b的位置，做出判断。同时自动驾驶小车b也能通过路边感知设备感知a的位置，提前做出判断，避免碰撞。
图5是城市道路上下坡场景，其中自动驾驶小车a无法提前感知小车b的位置，如果继续前进，容易与小车b发生碰撞。采用本发明所述的感知方法，可以让自动驾驶小车a提前接收到路边感知设备A的感知信息，并做出提前判断，避免车祸发生。
图6是城市道路排队场景，其中自动驾驶小车a在感知到前方静止的小车后，会发出绕左前行的指令，而在没有判断出排队的情况下绕左前行，可能造成城市拥堵。而采用本发明所述的感知方法，自动驾驶小车a可以通过相向而行的自动驾驶小车b判断出前方的排队情况，进而做出更加准确的判断。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，包括：
数据增强模块(1)，点云感知模块(2)，图像感知模块(3)，多传感器融合模块(4)，V2X实时通信模块(5)，选择性弥补模块(6)，基于SLAM与GPS/INS融合的定位模块(7)；
利用数据增强模块(1)在OPV2V公开数据集上进行数据增强处理；
通过多传感器融合模块(4)将点云感知模块(2)中获得的三维点云信息与图像感知模块(3)中获得的二维图像信息进行多模态融合，利用点云与图像的互补特性，更加准确的感知周围环境；
与此同时通过V2X实时通信模块(5)与周围环境中的车或者路共享感知信息；
并通过选择性弥补模块(6)有效弥补遮挡缺失信息，在保证提供有效信息的同时提高实时通信效率；
借助GNSS定位模块(7)获取周围车辆的位置坐标，计算周围车辆的实时运动速度，帮助自动驾驶车辆在复杂环境下做出更加准确的判断。
2.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，数据增强模块(1)在OPV2V公开数据集的基础上采用了一种新型的数据增强方法，主要步骤是利用深度相机拍摄实体车辆和行人生成点云和图像数据，按照点云和图像数据中的对应坐标粘贴到的相应的位置，并去除遮挡，实现在OPV2V数据集中的点云和图像数据联合增强。
3.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，点云感知模块(2)采用3D目标检测网络PointRCNN基于原始的点云数据直接进行特征提取和RPN操作，获取点云的3D特征。
4.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，图像感知模块(3)通过2D语义分割和2D目标检测算法获取图像的2D特征信息，包括：
采用2D语义分割网络Mask R-CNN获得图像的2D语义特征，主要目的是借助RPN推荐网络和FCN的网络结构，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现较好的分割效果；
采用2D目标检测网络CenterNet进行关键点估计来找到中心点，并回归到其他目标属性。
5.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，多传感器融合模块(4)采用预设的融合算法将权利要求3中所述的点云的3D特征和权利要求4中所述的图像的2D语义特征进行融合，包括：
基于PointPainting的空间映射融合，利用PointPainting算法将语义分割之后得到的语义信息映射到三维点云中，实现初步融合；
基于Transformer的多模态特征融合，利用注意力机制来整合图像和点云数据，捕捉全局的三维场景上下文，并专注于动态智能体和交通灯，实现增强融合。
6.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，V2X实时通信模块(5)用于实时广播该车辆周围感知情况，其中该车辆的周围感知情况包括该车辆感知到的周围车辆或行人的位置信息，以及本车辆行驶状态信息和位置轨迹信息；同时接收从其他车辆广播的周围感知情况以及路边感知设备的周围感知情况。
7.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，以及权利要求6所述的V2X实时通信模块(5)，其特征在于，选择性弥补模块(6)可以有效地处理接收到的实时感知信息，对于来自周围车辆的感知信息进行有效筛选，仅对能有效弥补本车辆感知缺失的信息进行接收，提高实时通信效率。
8.根据权利要求1所述的一种用于自动驾驶的多传感器融合车路协同感知方法，其特征在于，基于SLAM与GPS/INS融合的定位模块(7)，主要包括：基于SLAM的地图辅助类定位方法和基于GPS与INS融合的全球定位方法；
基于SLAM的地图辅助类定位方法，利用激光雷达观测到的环境特征，确定当前车辆的位置以及当前观测目标的位置；
基于GPS与INS融合的全球定位方法，将GPS设备输出的主要信号和INS设备输出的主要信号融合，确定车辆的位置信息。
CN202210542331.2A 2022-05-18 2022-05-18 一种用于自动驾驶的多传感器融合车路协同感知方法 Pending CN114821507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210542331.2A CN114821507A (zh) 2022-05-18 2022-05-18 一种用于自动驾驶的多传感器融合车路协同感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210542331.2A CN114821507A (zh) 2022-05-18 2022-05-18 一种用于自动驾驶的多传感器融合车路协同感知方法

Publications (1)

Publication Number Publication Date
CN114821507A true CN114821507A (zh) 2022-07-29

Family

ID=82514834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210542331.2A Pending CN114821507A (zh) 2022-05-18 2022-05-18 一种用于自动驾驶的多传感器融合车路协同感知方法

Country Status (1)

Country Link
CN (1) CN114821507A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115879060A (zh) * 2023-02-14 2023-03-31 北京百度网讯科技有限公司 基于多模态的自动驾驶感知方法、装置、设备和介质
CN116321072A (zh) * 2023-03-13 2023-06-23 阿里云计算有限公司 基于感知失效的数据补偿方法以及装置
CN116561534A (zh) * 2023-07-10 2023-08-08 苏州映赛智能科技有限公司 一种基于自监督学习的提升路侧传感器精度的方法及***
CN116958763A (zh) * 2023-05-04 2023-10-27 浙江大学 特征-结果级融合的车路协同感知方法、介质及电子设备
CN117523547A (zh) * 2024-01-04 2024-02-06 山东省凯麟环保设备股份有限公司 一种三维场景语义感知方法、***、设备与介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115879060A (zh) * 2023-02-14 2023-03-31 北京百度网讯科技有限公司 基于多模态的自动驾驶感知方法、装置、设备和介质
CN116321072A (zh) * 2023-03-13 2023-06-23 阿里云计算有限公司 基于感知失效的数据补偿方法以及装置
CN116321072B (zh) * 2023-03-13 2024-01-23 阿里云计算有限公司 基于感知失效的数据补偿方法以及装置
CN116958763A (zh) * 2023-05-04 2023-10-27 浙江大学 特征-结果级融合的车路协同感知方法、介质及电子设备
CN116958763B (zh) * 2023-05-04 2024-06-18 浙江大学 特征-结果级融合的车路协同感知方法、介质及电子设备
CN116561534A (zh) * 2023-07-10 2023-08-08 苏州映赛智能科技有限公司 一种基于自监督学习的提升路侧传感器精度的方法及***
CN116561534B (zh) * 2023-07-10 2023-10-13 苏州映赛智能科技有限公司 一种基于自监督学习的提升路侧传感器精度的方法及***
CN117523547A (zh) * 2024-01-04 2024-02-06 山东省凯麟环保设备股份有限公司 一种三维场景语义感知方法、***、设备与介质
CN117523547B (zh) * 2024-01-04 2024-03-29 山东省凯麟环保设备股份有限公司 一种三维场景语义感知方法、***、设备与介质

Similar Documents

Publication Publication Date Title
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
JP6548690B2 (ja) シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及***
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和***
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及***
US20220318464A1 (en) Machine Learning Data Augmentation for Simulation
US11798289B2 (en) Streaming object detection and segmentation with polar pillars
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
Ngo et al. Cooperative perception with V2V communication for autonomous vehicles
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN115147535A (zh) 场景的三维重建方法、装置、计算设备和存储介质
Patra et al. A joint 3d-2d based method for free space detection on roads
CN117237919A (zh) 跨模态监督学习下多传感器融合检测的卡车智驾感知方法
CN115965970A (zh) 基于隐式的集合预测实现鸟瞰图语义分割的方法及***
Chen et al. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
Huang et al. Overview of LiDAR point cloud target detection methods based on deep learning
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
US20220371606A1 (en) Streaming object detection and segmentation with polar pillars
Kozonek et al. On the fusion of camera and lidar for 3D object detection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination