CN116977963A - 基于bev视角的自动驾驶多模态协同感知方法及*** - Google Patents

基于bev视角的自动驾驶多模态协同感知方法及*** Download PDF

Info

Publication number
CN116977963A
CN116977963A CN202310943106.4A CN202310943106A CN116977963A CN 116977963 A CN116977963 A CN 116977963A CN 202310943106 A CN202310943106 A CN 202310943106A CN 116977963 A CN116977963 A CN 116977963A
Authority
CN
China
Prior art keywords
bev
point cloud
feature
features
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310943106.4A
Other languages
English (en)
Inventor
王坤峰
陈思涵
王可秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202310943106.4A priority Critical patent/CN116977963A/zh
Publication of CN116977963A publication Critical patent/CN116977963A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于BEV视角的自动驾驶多模态协同感知方法及***，旨在解决自动驾驶多模态数据在融合过程中的协同感知效果差的问题。本发明包括：获取原始点云数据和多视角相机图像数据；对原始点云数据进行体素化并特征提取获得点云BEV特征；提取多视角相机图像数据特征并进行前视特征转换获得图像BEV特征；对原始点云数据对应的稀疏深度图和多视角相机图像数据进行深度补全和视角转换，获得深度BEV特征；对各BEV特征进行特征融合，得到多模态BEV融合特征；通过多任务头对多模态BEV融合特征进行处理得到三维目标检测结果和BEV视角语义分割结果。本发明能够提高自动驾驶多模态数据在融合过程中的协同感知效果。

Description

基于BEV视角的自动驾驶多模态协同感知方法及***
技术领域
本发明属于计算机视觉领域，具体涉及了一种基于BEV视角的自动驾驶多模态协同感知方法及***。
背景技术
自动驾驶感知常用的传感器为视觉相机、激光雷达、毫米波雷达等。视觉相机易受外部环境影响，在光照不佳或恶劣天气条件下的成像效果较差，并且缺乏必要的深度信息，但其高分辨率的数据特性具备满足检测需要的丰富语义。激光雷达可以准确构建目标几何结构，但点云数据较为稀疏，对小目标的表征能力差，难以检测远端小目标。毫米波雷达具备优秀的雨、雾、雪等恶劣天气下工作能力，能够实现高分辨率和精确的探测与测量，并且具有距离测量的能力，但相对于其他传感器，其制造成本较高，且毫米雷达波受多径效应影响，会产生探测结果误差，同时无法提供物体的细节信息。综上，依靠单一传感很难满足自动驾驶***落地应用所需要的全天候场景下获取道路环境信息要求。
实现全天候场景的多模态融合感知具有重要的学术和应用价值。现有的BEV感知方法仍存在一定的局限性，其中一个突出的问题是可用信息的利用不充分，特别是在将多视角图像转换为BEV视角时，没有充分利用点云数据的准确深度信息，这可能导致对环境感知不完整和不准确。此外，目前的BEVFusion方法缺乏端到端多任务网络的实现，这意味着不同任务之间没有充分共享有效信息，缺乏协调和合作。因此，需要进一步改进以解决自动驾驶感知中的多模态特征交互不充分、信息共享利用低效、多任务之间协同不足等问题。本发明通过引入深度补全分支和BEV语义分割任务，有效地增强了自动驾驶***的综合感知能力。深度补全分支能够提供丰富的深度信息，弥补传感器之间信息缺失的问题，从而更好地捕捉场景中的几何结构。同时，BEV语义分割任务可以为感知***提供更加精准全面的语义信息，帮助***对全天候场景进行更细致和全面的理解。
发明内容
为了解决现有技术中的上述问题，即多模态数据融合存在处理速度较慢、实时性差、语义信息丢失、无法考虑权重、难以实现多任务协同处理等问题，本发明提供了一种基于BEV视角的自动驾驶多模态协同感知方法，所述方法包括：
获取原始点云数据和多视角相机图像数据；
将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
在一些优选的实施例中，对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征，包括：
使用所述第一特征增强所述原始点云数据的点云信息，获得增强后的点云特征，记为第二特征；
将所述第二特征划分到体素网络中，并进行筛选和压缩，得到N_voxel个体素网格；其中，N_voxel为体素网格的体素个数；
划分BEV网络，x方向和y方向各划分H_BEV和W_BEV个网格，通过所述点云BEV特征提取网络中的稀疏编码器进行N_voxel个所述体素网格的稀疏卷积特征提取和升维，并将特征中的点云分配至所述BEV网络中，得到维度为[H_BEV,W_BEV,C_L]的点云BEV特征；其中，C_L代表每个BEV网格的特征维度。
在一些优选的实施例中，使用所述第一特征增强所述原始点云数据的点云信息，获得增强后的点云特征，记为第二特征，包括：
基于所述第一特征，通过二维目标检测器生成二维检测框，并将所述第一特征中的稀疏深度图在二维检测框中随机生成深度信息点；
将所述深度信息点反投影至所述原始点云数据的点云空间，并将反投影获得的虚拟点云与所述原始点云数据相加，获得第二特征。
在一些优选的实施例中，通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征，包括：
通过所述图像BEV特征提取网络中的Transformer网络提取所述多视角相机图像数据的特征，获得第三特征；
为所述第三特征中的每个视角中的每个高维特征向量预测D个离散深度值，生成伪点云信息；
将所述伪点云信息中的每个伪点映射至三维空间，获得第四特征；
将所述第四特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量大小为[H_BEV,W_BEV,C_C]的图像BEV特征；其中，C_C是图像BEV特征中的高维点云的维度。
在一些优选的实施例中，通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征，包括：
使用深度补全网络将所述第一特征拆分成图像特征和稀疏深度图特征；
基于Transformer网络构建对所述稀疏深度图特征进行稠密化处理的DCT网络，用DCT网络对所述图像特征和所述稀疏深度图特征进行多次编码解码处理获得稠密的多视角深度图特征，记为第五特征；
使用相机内参矩阵和所述第五特征的深度值将图像坐标(x'，y')转换为相机坐标系下的三维坐标(X_c，Y_c，Z_c)，根据相机外参矩阵将相机坐标系下的原始点云数据转换为世界坐标系下的点云数据，并将世界坐标系下的点云数据与原始点云数据相加，获得第六特征；
将所述第六特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量为[H_BEV,W_BEV,1]的特征；
使用多层感知机对所述张量为[H_BEV,W_BEV,1]的特征升维，获得张量为[H_BEV,W_BEV,C_D]的深度BEV特征；其中，C_D是深度BEV特征中的高维点云的维度。
在一些优选的实施例中，对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征，包括：
对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行缩放点积注意力计算，得到张量为[H_BEV,W_BEV,C_L]的注意力计算结果；
将所述张量为[H_BEV,W_BEV,C_L]的注意力计算结果，与所述点云BEV特征、所述图像BEV特征和所述深度BEV特征在第三个维度上垂直拼接，得到张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征；其中，C_F是C_L、C_C与C_D的和。
在一些优选的实施例中，通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，包括：
将张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征通过线性变换和多层感知机变换为张量大小为[20*H_BEV,20*W_BEV,1]的新BEV网格特征；
使用CNN分类器识别所述新BEV网格特征中每个新BEV网格的所属类别，得到张量大小为[20*H_BEV,20*W_BEV,1]的概率分布；
将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布通过FFN预测器产生预测信息，获得三维目标检测结果；
将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布和所述三维目标检测结果联合，并回归至所述原始点云数据，获得BEV视角语义分割结果。
在一些优选的实施例中，所述三维目标检测结果包括：
预测的物体中心点、预测的物体尺寸(长、宽、高)、预测的物体旋转角度和不同物体的类别概率。
本发明的另一方面，提出了一种基于BEV视角的自动驾驶多模态协同感知***，所述***包括：
数据获取模块，用于获取原始点云数据和多视角相机图像数据；
点云数据映射模块，用于将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
点云特征生成模块，用于对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
图像特征生成模块，用于通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
深度补全模块，用于通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
特征融合模块，用于对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
多任务头处理模块，用于通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；
以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于BEV视角的自动驾驶多模态协同感知方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于BEV视角的自动驾驶多模态协同感知方法。
本发明的有益效果：
(1)本发明基于BEV视角的自动驾驶多模态协同感知方法，通过获取原始点云数据和多视角相机图像数据，并使用多视角相机图像数据增强原始点云数据的方法，实现了原始点云数据和多视角相机图像数据的融合，能够充分利用不同传感器提供的信息，实现了信息的充分利用。
(2)本发明基于BEV视角的自动驾驶多模态协同感知方法，通过原始点云数据进行体素化处理获得体素化点云数据，用点云BEV特征提取网络提取体素化点云数据特征生成点云BEV特征；通过图像BEV特征提取网络提取多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；通过深度补全网络对第一特征中的稀疏深度图和多视角相机图像数据进行深度补全和视角转换，获得深度BEV特征；将数据转化为BEV特征，大幅度减少了数据的维度，提高了数据的计算效率。
(3)本发明基于BEV视角的自动驾驶多模态协同感知方法，通过对原始点云数据和多视角相机图像数据进行一系列处理以及特征转换，得到点云BEV特征、图像BEV特征和深度BEV特征，并将点云BEV特征、图像BEV特征和深度BEV特征融合为多模态BEV融合特征，实现了对多模态数据的协同处理和感知。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于BEV视角的自动驾驶多模态协同感知方法的流程图；
图2是本发明一种实施例的点云BEV特征获取流程图；
图3是本发明一种实施例的获取第二特征的结构框图；
图4是本发明一种实施例的获取点云BEV特征的结构框图；
图5是本发明一种实施例的图像BEV特征获取流程图；
图6是本发明一种实施例的获取图像BEV特征的结构框图；
图7是本发明一种实施例的深度BEV特征获取流程图；
图8是本发明一种实施例的获取多模态BEV特征的模拟图；
图9是本发明一种实施例的生成三维目标检测结果和BEV视角语义分割结果的流程图；
图10是本发明一种实施例的得到三维目标检测结果和BEV视角语义分割结果的结构框图；
图11是本发明一种实施例的三维目标检测结果和语义分割结果的可视化图；
图12是用于实现本申请方法、***、设备实施例的服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明通过原始点云数据进行体素化处理获得体素化点云数据，用点云BEV特征提取网络提取体素化点云数据特征并生成点云BEV特征；通过图像BEV特征提取网络提取多视角相机图像数据特征获得多视角相机图像特征图，对多视角相机图像特征图进行前视特征转换，生成图像BEV特征；并通过深度补全网络对原始点云数据映射获取的稀疏深度图和多视角相机图像数据进行深度补全和视角转换，生成深度BEV特征；将两种感知设备获取的数据转化为统一的BEV形式，大幅度减少了数据的维度，提高了数据的计算效率。通过对原始点云数据和多视角相机图像数据进行一系列处理以及特征转换，得到点云BEV特征、图像BEV特征、深度BEV特征，并将点云BEV特征、图像BEV特征、深度BEV特征融合为多模态BEV融合特征，实现了对多模态数据的协同处理和感知。
本发明提供了一种基于BEV视角的自动驾驶多模态协同感知方法，所述方法包括：
获取原始点云数据和多视角相机图像数据；
将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
为了更清晰地对本发明基于BEV视角的自动驾驶多模态协同感知方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于BEV视角的自动驾驶多模态协同感知方法，各步骤详细描述如下：
步骤S100，获取原始点云数据和多视角相机图像数据。
原始点云数据通过激光雷达获取，激光雷达用3D点云为自动驾驶汽车精确“描绘”出周边环境。原始点云数据包含目标的距离、角度、反射强度等信息，不依赖于外界光照条件或目标本身的辐射特性，可以更好的感知汽车周边道路环境，为感知***提供决策依据。点云中三维目标检测的具体实现形式是通过带有类别标注的3D矩形框将道路目标物体(多类型指定对象：包括但不限于机动车、非机动车、行人、锥形桶等)精准标注出来。
多视角相机图像数据是自动驾驶汽车上多个视角的相机所拍摄的图像数据。
步骤S200，将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图。
第一特征是多视角相机图像数据和点云投影数据信息的叠加，使用YOLO模型处理第一特征中的原始图像，得到目标二维检测框，从点云投影深度信息中统计深度点，之后做虚拟点云的生成。
步骤S300，对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征，如图2所示，包括：
步骤S310，使用所述第一特征增强所述原始点云数据的点云信息，获得增强后的点云特征，记为第二特征，如图3所示，包括：
步骤S311，基于所述第一特征，通过二维目标检测器生成二维检测框，并将所述第一特征中的稀疏深度图在二维检测框中随机生成深度信息点。
图像目标二维检测，是指对相机图像做二维目标检测的过程。通过这一步，能得到检测框，结合原始点云数据到图像的投影，得到检测框中的深度点信息。
其中，相机投影矩阵可以表示为：
P＝K[R|T]
其中，K是相机内部参数矩阵，R是3*3的旋转矩阵，T是3*1的平移向量。
将原始点云数据[X,Y,Z]转换为相机坐标系下的坐标[X',Y',Z']的过程可以表示为：
将相机坐标系下的原始点云数据投影到图像平面上，转换的过程表示为：
图片像素坐标为(u,v)的像素点获取原始点云数据的反射率，图像新增维度为(N,W,H,1)的深度信息，得到第一特征，维度为[N,H,W,4]。
将第一特征输入到二维目标检测器用以生成检测框，根据第一特征中的点云投影数据随机生成虚拟深度信息像素点。针对每个检测框，需要找到该检测框中的点云投影信息。如果该检测框中的深度信息像素较少，就需要进行补充。具体而言，可以根据已有的深度信息，在检测框内随机生成一些新的虚拟深度信息像素点，以确保每个检测框内至少有30个有深度信息的像素点。
步骤S312，将所述深度信息点反投影至所述原始点云数据的点云空间，并将反投影获得的虚拟点云与所述原始点云数据相加，获得第二特征。
反投影公式如下：
其中，fx和fy代表相机内参，D为深度值，x'和y'是图像坐标。
步骤S320，将所述第二特征划分到体素网络中，并进行筛选和压缩，得到N_voxel个体素网格；其中，N_voxel为体素网格的体素个数。
具体的，将原始点云数据体素化处理，体素尺寸为[0.075,0.075,0.2]，表示每个体素在x、y和z方向上的边长。将第二特征划分到体素网格中，经过筛选和压缩，得到N_voxel个体素网格，其中，N_voxel＝1024×1024×41。
步骤S330，划分BEV网络，x方向和y方向各划分H_BEV和W_BEV个网格，通过所述点云BEV特征提取网络中的稀疏编码器进行N_voxel个所述体素网格的稀疏卷积特征提取和升维，并将特征中的点云分配至所述BEV网络中，得到维度为[H_BEV,W_BEV,C_L]的点云BEV特征；其中，C_L代表每个BEV网格的特征维度。
具体的，针对N_voxel个体素网格使用点云BEV特征提取网络中的稀疏编码器，通过稀疏卷积提取特征并升维，得到维度为[H_BEV,W_BEV,C_L]的点云BEV特征，如图4所示，是获得点云BEV特征的结构框图，所有步骤均在S310-S330过程中，本发明在此不再赘述。
本发明先通过使用多视角图像数据增强原始点云数据的点云信息，得到第二特征，实现了点云和图像的融合，能够充分利用不同传感器所提供的信息，提高***的感知能力，并通过对第二特征划分到体素网络中进行筛选压缩以及通过稀疏卷积提取特征，实现了将数据转换为BEV特征，可以大幅减少数据的维度，提高计算效率。
步骤S400，通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征，如图5和图6所示，包括：
步骤S410，通过所述图像BEV特征提取网络中的Transformer网络提取所述多视角相机图像数据的特征，获得第三特征。
步骤S420，为所述第三特征中的每个视角中的每个高维特征向量预测D个离散深度值，生成伪点云信息。
为第三特征中每个特征预测深度，其中，对于第三特征中每个视角中的每个C1维特征向量，为其预测D个离散深度值。得到张量大小为[N_V,H,W,D,C1]的伪点云信息。
步骤S430，将所述伪点云信息中的每个伪点映射至三维空间，获得第四特征。
将伪点云中的每个伪点映射至三维空间，得到张量为[N1,3,C1]的第四特征，其中，N1＝N_V×H×W，3代表(x,y,z)坐标信息。
步骤S440，将所述第四特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量大小为[H_BEV,W_BEV,C_C]的图像BEV特征；其中，C_C是图像BEV特征中的高维点云的维度。
具体的，以车辆为中心，在水平平面上划分BEV网格，x方向和y方向各划分H_BEV和W_BEV个，每个网格的长宽均为0.5米，将第五特征中的N1个高维点云，按坐标信息分配至相应BEV网格中。对于每个BEV网格，根据网格的索引，使用BEV池化操作来聚合该网格内的所有特征。具体而言，对于每个网格，计算该网格内的特征的最大值。得到张量大小为[H_BEV,W_BEV,C_C]的图像BEV特征。
步骤S500，通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征，如图7所示，包括：
步骤S510，使用深度补全网络将所述第一特征拆分成图像特征和稀疏深度图特征。
具体的，将第一特征拆分成张量大小为[N,H,W,3]的图像特征和[N,H,W,1]的稀疏深度图特征，分别记作IC和IL。
步骤S520，基于Transformer网络构建对所述稀疏深度图特征进行稠密化处理的DCT网络，用DCT网络对所述图像特征和所述稀疏深度图特征进行多次编码解码处理获得稠密的多视角深度图特征，记为第五特征。
具体的，DCT网络由三组编码器-解码器模块组成，由DCT网络对图像特征和稀疏深度图特征多次编码解码的过程为：
使用线性变换预处理IC，得到IC1：
IC1＝LinearProjection(IC)
使用层归一化处理特征IC、IL和IC1，使得每个通道内均值为0，标准差为1，得到特征I′C、I′L和I′C1，其中：
I'C＝LN(IC)
I'L＝LN(IL)
I'C1＝LN(IC1)
计算特征I′C、I′L和I′C1的多头注意力，其中，I′C作为值矩阵V，I′L作为查询矩阵Q，I′C1作为关键值矩阵K，其中，多头注意力Z′1计算公式为：
Z'1＝Attention(I'C,I'L,I'C1)+I'C
其中，W是向量I'LI'C T的维度数。
将多头注意力Z'1输入到第一组编码器，得到第一组编码器的输出Z1：
Z1＝MLP(LN(Z'1))+Z'1
将第一组编码器的输出作为第一组解码器的输入，第一组解码器的输出Z2计算公式为：
先计算Z'2：
Z'2＝Attention(LN(Z1),LN(Z1),LN(Z1))+Z1
再计算Z2：
Z2＝MLP(LN(Z'2))+Z'2
将上一组解码器的输出作为值矩阵V，查询矩阵Q和关键值矩阵K不变，计算多头注意力，再将多头注意力计算结果作为下一组编码器的输入，下一组编码器的输出作为该组解码器的输入，其中，编码器的输出计算公式与解码器的输出计算公式与第一组编码器和解码器的计算公式相同。
步骤S530，使用相机内参矩阵和所述第五特征的深度值将图像坐标(x'，y')转换为相机坐标系下的三维坐标(X_c，Y_c，Z_c)，根据相机外参矩阵将相机坐标系下的原始点云数据转换为世界坐标系下的点云数据，并将世界坐标系下的点云数据与原始点云数据相加，获得第六特征；
具体的，上述步骤S530可细化为：
使用相机内参矩阵(fx，fy)和多视角深度图中的深度值(D)将图像坐标(x'，y')转换为相机坐标系下的三维坐标(X_c，Y_c，Z_c)。根据相机外参矩阵(旋转矩阵R和平移向量T)，将相机坐标系下的点云数据转换为世界坐标系下的点云数据(X_w，Y_w，Z_w)。将世界坐标系下的点云数据与原始点云数据相加，获得第六特征点云。将经过深度补全和图像处理后的特征(第五特征)重新映射到原始点云数据所在的点云空间中，从而得到具有更丰富信息的第六特征点云。这个步骤可以帮助将多模态信息融合到点云空间中，以提高感知和分析的准确性和效果。
步骤S540，将所述第六特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量为[H_BEV,W_BEV,1]的特征。
步骤S550，使用多层感知机对所述张量为[H_BEV,W_BEV,1]的特征升维，获得张量为[H_BEV,W_BEV,C_D]的深度BEV特征；其中，C_D是深度BEV特征中的高维点云的维度。
步骤S600，对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征：
步骤S610，对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行缩放点积注意力计算，得到张量为[H_BEV,W_BEV,C_L]的注意力计算结果。
在具体操作过程中，将点云BEV特征、图像BEV特征和深度BEV特征分别记作BEV_L、BEV_C和BEV_D；其中，BEV_L作为值矩阵V，维度为[H_BEV,W_BEV,C_L]；BEV_C作为查询矩阵Q，维度为[H_BEV,W_BEV,C_C]；BEV_D作为关键值矩阵K，维度为[H_BEV,W_BEV,C_D]；对BEV_L、BEV_C和BEV_D进行缩放点积注意力计算，得到张量为[H_BEV,W_BEV,C_L]的注意力计算结果：
(1)对Q和K进行点积操作，然后除以Q特征的维度的平方根，得到注意力权重。
(2)对注意力权重进行归一化处理，使用softmax函数将注意力权重转换为概率分布。
(3)将归一化后的注意力权重与V相乘，得到注意力加权的结果。
步骤S620，将所述张量为[H_BEV,W_BEV,C_L]的注意力计算结果，与所述点云BEV特征、所述图像BEV特征和所述深度BEV特征在第三个维度上垂直拼接，得到张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征；其中，C_F是C_L、C_C与C_D的和。
图8是本发明一种实施例的获取多模态BEV特征的模拟图，本发明在此不再赘述。本发明通过将点云BEV特征、图像BEV特征和深度BEV特征进行缩放点积注意力计算，并将注意力计算结果与点云BEV特征、图像BEV特征和深度BEV特征进行垂直拼接，实现了对多个模态数据的融合与实时感知，提高了***对多个数据的处理和感知的能力。
步骤S700，通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果。
"多任务头"属于任务处理模块，是指本发明基于BEV视角的自动驾驶多模态协同感知的网络架构中的最后几层，负责特定任务的输出，在本发明中，多任务头包括检测头和分割头，用于处理三维目标检测和BEV视角语义分割。
如图9所示，步骤S700包括：
步骤S710，将张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征通过线性变换和多层感知机变换为张量大小为[20*H_BEV,20*W_BEV,1]的新BEV网格特征。
步骤S720，使用CNN分类器识别所述新BEV网格特征中每个新BEV网格的所属类别，得到张量大小为[20*H_BEV,20*W_BEV,1]的概率分布。
步骤S730，将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布通过FFN预测器产生预测信息，获得三维目标检测结果。
三维目标检测结果包括：
预测的物体中心点、预测的物体尺寸(长、宽、高)、预测的物体旋转角度和不同物体的类别概率。
步骤S740，将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布和所述三维目标检测结果联合，并回归至所述原始点云数据，获得BEV视角语义分割结果。
具体的，回归是指将张量大小为[20*H_BEV,20*W_BEV,1]的概率分布和三维目标检测结果的联合预测结果映射到原始点云数据，判断每个点所属的语义类别，通过BEV网格划分，从而得到BEV视角的语义分割结果。
图10是本发明一种实施例的得到三维目标检测结果和BEV视角语义分割结果的结构框图，图11是本发明一种实施例的三维目标检测结果和语义分割结果的可视化图，本发明在此不再赘述。
可参考本发明通过对张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征进行网络类别识别得到概率分布，获取张量大小为[20*H_BEV,20*W_BEV,1]的概率分布，和通过FFN预测器预测得到三维目标检测结果，并对张量大小为[20*H_BEV,20*W_BEV,1]的概率分布和三维目标检测结果进行一系列处理，得到最终的三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果，能够为汽车提供周围环境的深度信息，帮助汽车更好的识别周围环境的特征和变化，这是实现安全高效自动驾驶的重要基础。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于BEV视角的自动驾驶多模态协同感知***，所述***包括：
数据获取模块，用于获取原始点云数据和多视角相机图像数据；
点云数据映射模块，用于将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
点云特征生成模块，用于对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
图像特征生成模块，用于通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
深度补全模块，用于通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
特征融合模块，用于对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
多任务头处理模块，用于通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于BEV视角的自动驾驶多模态协同感知***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；
以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于BEV视角的自动驾驶多模态协同感知方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于BEV视角的自动驾驶多模态协同感知方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
下面参考图12，其示出了用于实现本申请方法、***、设备实施例的服务器的计算机***的结构示意图。图12示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机***包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，所述方法包括：
获取原始点云数据和多视角相机图像数据；
将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
2.根据权利要求1所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征，包括：
使用所述第一特征增强所述原始点云数据的点云信息，获得增强后的点云特征，记为第二特征；
将所述第二特征划分到体素网络中，并进行筛选和压缩，得到N_voxel个体素网格；其中，N_voxel为体素网格的体素个数；
划分BEV网络，x方向和y方向各划分H_BEV和W_BEV个网格，通过所述点云BEV特征提取网络中的稀疏编码器进行N_voxel个所述体素网格的稀疏卷积特征提取和升维，并将特征中的点云分配至所述BEV网络中，得到维度为[H_BEV,W_BEV,C_L]的点云BEV特征；其中，C_L代表每个BEV网格的特征维度。
3.根据权利要求2所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，使用所述第一特征增强所述原始点云数据的点云信息，获得增强后的点云特征，记为第二特征，包括：
基于所述第一特征，通过二维目标检测器生成二维检测框，并将所述第一特征中的稀疏深度图在二维检测框中随机生成深度信息点；
将所述深度信息点反投影至所述原始点云数据的点云空间，并将反投影获得的虚拟点云与所述原始点云数据相加，获得第二特征。
4.根据权利要求2所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征，包括：
通过所述图像BEV特征提取网络中的Transformer网络提取所述多视角相机图像数据的特征，获得第三特征；
为所述第三特征中的每个视角中的每个高维特征向量预测D个离散深度值，生成伪点云信息；
将所述伪点云信息中的每个伪点映射至三维空间，获得第四特征；
将所述第四特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量大小为[H_BEV,W_BEV,C_C]的图像BEV特征；其中，C_C是图像BEV特征中的高维点云的维度。
5.根据权利要求4所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征，包括：
使用深度补全网络将所述第一特征拆分成图像特征和稀疏深度图特征；
基于Transformer网络构建对所述稀疏深度图特征进行稠密化处理的DCT网络，用DCT网络对所述图像特征和所述稀疏深度图特征进行多次编码解码处理获得稠密的多视角深度图特征，记为第五特征；
使用相机内参矩阵和所述第五特征的深度值将图像坐标(x'，y')转换为相机坐标系下的三维坐标(X_c，Y_c，Z_c)，根据相机外参矩阵将相机坐标系下的原始点云数据转换为世界坐标系下的点云数据，并将世界坐标系下的点云数据与原始点云数据相加，获得第六特征；
将所述第六特征中的高维点云分配至所述BEV网络中，对每个网格内的所有特征通过BEV池化操作来聚合，计算每个网格内的特征的最大值，生成张量为[H_BEV,W_BEV,1]的特征；
使用多层感知机对所述张量为[H_BEV,W_BEV,1]的特征升维，获得张量为[H_BEV,W_BEV,C_D]的深度BEV特征；其中，C_D是深度BEV特征中的高维点云的维度。
6.根据权利要求5所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征，包括：
对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行缩放点积注意力计算，得到张量为[H_BEV,W_BEV,C_L]的注意力计算结果；
将所述张量为[H_BEV,W_BEV,C_L]的注意力计算结果，与所述点云BEV特征、所述图像BEV特征和所述深度BEV特征在第三个维度上垂直拼接，得到张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征；其中，C_F是C_L、C_C与C_D的和。
7.根据权利要求6所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，包括：
将张量为[H_BEV,W_BEV,C_F]的多模态融合BEV特征通过线性变换和多层感知机变换为张量大小为[20*H_BEV,20*W_BEV,1]的新BEV网格特征；
使用CNN分类器识别所述新BEV网格特征中每个新BEV网格的所属类别，得到张量大小为[20*H_BEV,20*W_BEV,1]的概率分布；
将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布通过FFN预测器产生预测信息，获得三维目标检测结果；
将所述张量大小为[20*H_BEV,20*W_BEV,1]的概率分布和所述三维目标检测结果联合，并回归至所述原始点云数据，获得BEV视角语义分割结果。
8.根据权利要求7所述的基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，所述三维目标检测结果包括：
预测的物体中心点、预测的物体尺寸、预测的物体旋转角度和不同物体的类别概率。
9.一种基于BEV视角的自动驾驶多模态协同感知***，其特征在于，所述***包括：
数据获取模块，用于获取原始点云数据和多视角相机图像数据；
点云数据映射模块，用于将所述原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；
点云特征生成模块，用于对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；
图像特征生成模块，用于通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；
深度补全模块，用于通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征；
特征融合模块，用于对所述点云BEV特征、所述图像BEV特征和所述深度BEV特征进行特征融合，获得多模态BEV融合特征；
多任务头处理模块，用于通过多任务头进行所述多模态BEV融合特征的目标检测和分割，获得三维目标检测结果和BEV视角语义分割结果，作为自动驾驶多模态协同感知结果；所述多任务头包括检测头和分割头。
10.一种电子设备，其特征在于，包括：
至少一个处理器；
以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-8任一项所述的基于BEV视角的自动驾驶多模态协同感知方法。
CN202310943106.4A 2023-07-28 2023-07-28 基于bev视角的自动驾驶多模态协同感知方法及*** Pending CN116977963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310943106.4A CN116977963A (zh) 2023-07-28 2023-07-28 基于bev视角的自动驾驶多模态协同感知方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310943106.4A CN116977963A (zh) 2023-07-28 2023-07-28 基于bev视角的自动驾驶多模态协同感知方法及***

Publications (1)

Publication Number Publication Date
CN116977963A true CN116977963A (zh) 2023-10-31

Family

ID=88482707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310943106.4A Pending CN116977963A (zh) 2023-07-28 2023-07-28 基于bev视角的自动驾驶多模态协同感知方法及***

Country Status (1)

Country Link
CN (1) CN116977963A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172560A (zh) * 2024-05-15 2024-06-11 电子科技大学 一种融合多模态传感器的鸟瞰图语义分割预测***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172560A (zh) * 2024-05-15 2024-06-11 电子科技大学 一种融合多模态传感器的鸟瞰图语义分割预测***及方法
CN118172560B (zh) * 2024-05-15 2024-07-12 电子科技大学 一种融合多模态传感器的鸟瞰图语义分割预测***及方法

Similar Documents

Publication Publication Date Title
Liao et al. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and 3d
CN111886609B (zh) 用于减少机器学习中的数据存储的***和方法
CN107610084B (zh) 一种对深度图像和激光点云图进行信息融合的方法与设备
WO2023093186A1 (zh) 基于神经辐射场的行人重识别三维数据集构建方法和装置
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、***、装置
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、***及装置
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN114764778A (zh) 一种目标检测方法、目标检测模型训练方法及相关设备
WO2023164845A1 (zh) 三维重建方法、装置、***及存储介质
CN116977963A (zh) 基于bev视角的自动驾驶多模态协同感知方法及***
CN112258568B (zh) 一种高精度地图要素的提取方法及装置
CN115115655A (zh) 目标分割方法、装置、电子设备、存储介质及程序产品
CN114140592A (zh) 高精地图生成方法、装置、设备、介质及自动驾驶车辆
CN112580428A (zh) 一种配电网设计方法及装置
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN113421217A (zh) 可行驶区域检测方法和装置
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN116704307A (zh) 基于图像虚拟点云与激光点云融合的目标检测方法及***
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
Armenakis et al. iCampus: 3D modeling of York University campus
CN113808186A (zh) 训练数据生成方法、装置与电子设备
CN113362458A (zh) 模拟多视角成像的三维模型解译方法、终端及存储介质
CN112434674B (zh) 基于标注框虚拟扩增的微小人脸检测方法、***及设备
CN113362236B (zh) 点云增强方法、点云增强装置、存储介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination