CN117437404A - 一种基于虚拟点云的多模态目标检测方法 - Google Patents

一种基于虚拟点云的多模态目标检测方法 Download PDF

Info

Publication number
CN117437404A
CN117437404A CN202311400412.XA CN202311400412A CN117437404A CN 117437404 A CN117437404 A CN 117437404A CN 202311400412 A CN202311400412 A CN 202311400412A CN 117437404 A CN117437404 A CN 117437404A
Authority
CN
China
Prior art keywords
point cloud
network
target detection
virtual point
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311400412.XA
Other languages
English (en)
Other versions
CN117437404B (zh
Inventor
程腾
倪昊
张强
石琴
王文冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202311400412.XA priority Critical patent/CN117437404B/zh
Publication of CN117437404A publication Critical patent/CN117437404A/zh
Application granted granted Critical
Publication of CN117437404B publication Critical patent/CN117437404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及多模态目标检测技术领域，具体是一种基于虚拟点云的多模态目标检测方法，包括以下检测步骤：将图片输入到神经网络中，对图片进行特征提取，以获得图片的关键点；在虚拟点云构造网络中通过关键点信息构造虚拟点云；将虚拟点云和图片的真实点云进行体素化，获得体素组织；将体素化组织输入到目标检测网络中，获得检测结果；联合更新神经网络、虚拟点云构造网络和目标检测网络中的参数，以获得由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型；将待分类的图片输入到多模态目标检测模型中，以获得该图片的类别，本发明能够有效的提高目标检测的准确性。

Description

一种基于虚拟点云的多模态目标检测方法
技术领域
本发明涉及多模态目标检测技术领域，具体是一种基于虚拟点云的多模态目标检测方法。
背景技术
多模态目标检测是指利用多种不同类型的传感器或数据源，如激光雷达、摄像头、雷达等，融合信息来进行目标检测和定位的一种技术。其目的是提高目标检测的准确性和鲁棒性，同时也使得对复杂场景的理解更全面。
目前，多模态环境感知方法主要有三种：一、利用多个传感器获取各个模态数据，将各个模态数据在感知前进行叠加融合，又称前融合；二、分别针对各个模态数据设计神经网络，利用神经网络提取特征，得到所需要的局部特征与全局特征，并在特征层面对各个模态数据对应的模态特征进行叠加融合，又称特征融合；三、利用各个模态数据的感知结果进行逻辑上的取舍，综合得到最终结果，又称后融合。
在实际的目标检测过程中发现，点云数据较为稀疏，并且点云的位置是无序的，导致在使用上述现有技术时容易出现漏检和误检的问题，极大的影响了目标检测的准确率。
发明内容
为了避免和克服现有技术中存在的技术问题，本发明提供了一种基于虚拟点云的多模态目标检测方法。本发明能够有效的提高目标检测的准确性。
为实现上述目的，本发明提供如下技术方案：
一种基于虚拟点云的多模态目标检测方法，包括以下检测步骤：
S1、将图片输入到神经网络中，对图片进行特征提取，以获得图片的关键点；
S2、在虚拟点云构造网络中通过关键点信息构造虚拟点云；
S3、将虚拟点云和图片的真实点云进行体素化，获得体素组织；
S4、将体素化组织输入到目标检测网络中，获得检测结果；
S5、联合更新神经网络、虚拟点云构造网络和目标检测网络中的参数，以获得由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型；
S6、将待分类的图片输入到多模态目标检测模型中，以获得该图片的类别。
作为本发明再进一步的方案：步骤S1的具体步骤如下：
S21、将图片输入到作为DLA-34网络的神经网络中进行特征提取，获得对应的特征图；
S22、基于CenterNet，获取特征图上各个点云的相机坐标；
S23、通过转换公式将点云的相机坐标转化成相机坐标中XY平面上的投影点；
S24、对各个投影点，通过计算以投影点位置为中心的二维高斯概率分布，进而生成高斯图；
S25、将所有投影点生成的高斯图相加，形成热图；
S26、选取热图中二维高斯概率最大的像素点作为关键点。
作为本发明再进一步的方案：步骤S2的具体步骤如下：
S21、将关键点的高斯图输入到坐标预测网络中，获得高斯图偏移量的预测值；
S22、基于Smoke算法，采用数理统计的方式计算所有关键点深度的均值和方差，并结合高斯图偏移量的预测值，计算得到关键点的三维坐标；
S23、将关键点输入置信度网络中，获取各个关键点对应的置信度；
S24、选择置信度在设定范围内的关键点，并通过这些关键点的深度值，结合相机的内参矩阵，计算得到位于点云空间中设定数量的虚拟点云，以及这些虚拟点云的坐标。
作为本发明再进一步的方案：步骤S3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特征编码；最后将编码后的体素块输入到目标检测网络中，预测该图片的类别。
作为本发明再进一步的方案：联合坐标预测网络中关键点损失函数和目标检测网络中的目标损失函数，构成联合损失函数；通过联合损失函数更新由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型中的参数，以获得最优的多模态目标检测模型。
与现有技术相比，本发明的有益效果是：
1、本发明提出了一种基于虚拟点云的二阶段多模态目标检测方法，即利用图像检测目标信息来构造虚拟点云辅助基于点云的目标检测。该方法首先利用图像检测目标信息构造虚拟点云，增加点云的密集程度，从而提高目标特征的表现。其次，增加点云特征维度以区分真实和虚拟点云，并使用含置信度编码的体素，增强点云的相关性。最后，采用虚拟点云的比例系数设计损失函数，增加图像检测有监督训练，提高二阶段网络训练效率，避免二阶段端到端网络模型存在的模型误差累计问题，有效的提高目标检测***的精度和鲁棒性。
附图说明
图1为本发明的主要检测步骤流程图。
图2为本发明中模型整体结构图。
图3为本发明中体素内虚拟点云构造位置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～图3，本发明实施例中，一种基于虚拟点云的多模态目标检测方法，主要由传感器的多模态数据输入、神经网络、虚拟点云构造网络、目标检测网络和损失联合训练组成。首先将图像送入主干网络DLA-34进行特征提取，再通过回归网络获得一定数量目标3D关键点的坐标预测值和目标置信度；再根据生成的关键点信息，在激光雷达点云中构造相应的虚拟点云，并增加点云特征维度区别虚拟和真实点云，把输出的目标置信度同时纳入特征编码，再与真实点云一起送入基于体素的3D目标检测。同时，为了避免二阶段端到端串联网络存在的模型误差累计问题，采用虚拟点云的比例关系设计损失函数，增加图像检测有监督训练，从而提高了图像处理模块的训练效率。
本发明提出的检测网络还对虚拟点云所在的体素块进行数据扩充，如图3所示。方法如下：根据虚拟点云的位置信息，可以确定其对应的体素块位置，通过验证该位置是否存在体素，进行标记。假如存在就对该位置体素进行标记，方式为在的回波后增加一个置信度数值。如果该位置不存在真实点云，则考虑整个体素块的空间分布，按照均匀分布的策略进行添加。在设计单个体素时，规定了最多取5个点云，由于体素3D目标检测方法在高度方向上的考量不太大，所以选择矩形的切面，并均匀构造四个点，将其与虚拟点一起添加到整个点云数据中。
本发明的主要内容如下：
a.基于图像的关键点检测。将单目图像经过特征提取网络之后得到对应大小的特征图，基于CenterNet的思想，直接预测出目标3D关键点在2D图像上的投影点。将点云数据中3D关键点真值通过相机公式转换到相机平面投影，再编码成一张张2D高斯图。高斯图是一个二维概率分布函数，它将较高的概率值分配给物体中心附近的像素，将较低的概率值分配给离中心较远的像素。对于每个关键点，通过计算以关键点位置为中心的二维高斯概率分布生成高斯图。高斯的标准差通常被设定为一个固定值，这决定了关键点周围的概率值的分布。然后将所有关键点的高斯图相加，生成最终的热图，它代表了每个像素属于某个特定物体类别的可能性。每个热图中概率值最高的像素被视为相应关键点的位置。图像特征图经过一系列网络，预测头输出对高斯图偏移量的预测其中K为相机内参。之后，借鉴SMOKE的思想，先采用数理统计的方式计算3D关键点深度的均值与方差，结合预测头预测出深度的偏移量，从而得到关键点的3D坐标预测值[xp,yp,zp]。
b.构造虚拟点云。络的最终特征图选取出N个置信度最高的关键点；取预测出的深度z，结合相机内参变换矩阵，得到在点云空间中的N个虚拟3D点[xvp,yvp,zvp]；为了防止超出真实点云的前视图范围，对这些虚拟点云进行筛选过滤后得到N'个点，并添加到点云数据中，其反射强度采用整体点云的平均值替代。
c.基于点云体素化的目标检测。后的点云3D目标检测网络采用基于体素特征的形式。其主要思想是将整个3D空间沿着x、y、z三个轴分割成大小相同的体素块。对每个体素块中的点云进行特征编码，充分考虑其全局和局部特征后得到体素特征，再采用3D卷积的方式进行目标检测。
具体实施例：将图片全部调整成统一大小(1280*384*3)，输入网络，首先通过DLA-34主干网络提取特征，得到特征层，特征层再通过预测头和回归头得到3D位置预测所需的参数。其中预测头是通过生成热力图来预测目标的2D中心和类别，回归头回归2D中心转换成3D坐标所需的偏移量等。取热力图中特征值最高的一些点为关键点，采用数理统计的方式计算3D关键点深度的均值与方差，结合预测头预测出深度的偏移量，从而得到关键点的3D坐标预测值。关键点并不都是中心点，一个目标中心点只有一个，关键点包括中心点和周边一些点。这时有了关键点的坐标和热力图关键点的特征值即置信度大小，在根据这些信息构造虚拟点云，结合相机内参变换矩阵，得到在点云空间中的N个虚拟3D点，每个虚拟点增加置信度数据维度，再和真实点云一起送入基于体素的点云3D目标检测网络
使用KITTI数据集对本发明提出的多模态检测模型进行了实验，并将结果与几种仅激光雷达和多模态3D物体检测方法进行了比较。对于车辆检测，本发明提出的网络表现优良，检测精度优于经典3D点云检测网络和某些多传感器信息融合网络，车辆检测精度达到了86.9％。
本发明提出的3D检测网络在无障碍的目标检测中发挥优良，即使他们被遮挡，也可以很好的检测他们。并且远距离目标检测中也具有良好效果，准确性的提高主要由于同时处理了图像和激光点云信息，通过对图像获取关键点来构造虚拟点云，使点云空间中远距离目标的点云不再稀疏，因此对远距离和小物体具有的更好的检测效果。
在网络的训练过程中尝试了不同的方法，包括增加损失偏差权重和直接将两部分损失相加，通过训练收敛过程进行了比较。将偏差权重引入损失函数后，模型的收敛速度明显加快，检测效果也得到了部分提升。这种方法不仅可以更好地平衡两部分损失，还可以更好地表达不同检测模态的重要性，提高了模型性能的表现。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于虚拟点云的多模态目标检测方法，其特征在于，包括以下检测步骤：
S1、将图片输入到神经网络中，对图片进行特征提取，以获得图片的关键点；
S2、在虚拟点云构造网络中通过关键点信息构造虚拟点云；
S3、将虚拟点云和图片的真实点云进行体素化，获得体素组织；
S4、将体素化组织输入到目标检测网络中，获得检测结果；
S5、联合更新神经网络、虚拟点云构造网络和目标检测网络中的参数，以获得由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型；
S6、将待分类的图片输入到多模态目标检测模型中，以获得该图片的类别。
2.根据权利要求1所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S1的具体步骤如下：
S21、将图片输入到作为DLA-34网络的神经网络中进行特征提取，获得对应的特征图；
S22、基于CenterNet，获取特征图上各个点云的相机坐标；
S23、通过转换公式将点云的相机坐标转化成相机坐标中XY平面上的投影点；
S24、对各个投影点，通过计算以投影点位置为中心的二维高斯概率分布，进而生成高斯图；
S25、将所有投影点生成的高斯图相加，形成热图，其中高斯核生成公示如下：
S26、选取热图中二维高斯概率最大的像素点作为关键点。
3.根据权利要求2所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S2的具体步骤如下：
S21、将关键点的高斯图输入到坐标预测网络中，获得高斯图偏移量的预测值；
S22、基于Smoke算法，采用数理统计的方式计算所有关键点深度的均值和方差，并结合高斯图偏移量的预测值，计算得到关键点的三维坐标，其坐标转换公式如下：
zp＝μz+δzσz
S23、将关键点输入置信度网络中，获取各个关键点对应的置信度；
S24、选择置信度在设定范围内的关键点，并通过这些关键点的深度值，结合相机的内参矩阵，计算得到位于点云空间中设定数量的虚拟点云，以及这些虚拟点云的坐标。
4.根据权利要求3所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特征编码；最后将编码后的体素块输入到目标检测网络中，预测该图片的类别。
5.根据权利要求4所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，联合坐标预测网络中关键点损失函数和目标检测网络中的目标损失函数，构成联合损失函数；通过联合损失函数更新由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型中的参数，以获得最优的多模态目标检测模型。记录需要扩充虚拟均匀点云的3D关键点数量，间接反映出单目网络的准确程度，当该数量较少时，给予大的损失权重μvp，从而进一步提高第一部分单目网络的训练效率。所述损失优化计算公式如下：
式中：ΔLossi和ΔLossi-1为本轮和上一轮的损失值，n为已参与训练的训练轮次，N为本轮训练构造的符合3D空间范围的虚拟点云数量，Nmax为关键点网络设定选取3D关键点的数量，β为可调的极小值。
总损失为两部分损失之和，如下。
Loss＝μ1*L1+(1-μ2)*L2
式中：L1为3D关键点的定位损失，L2为最终预测结果的损失。
CN202311400412.XA 2023-10-26 2023-10-26 一种基于虚拟点云的多模态目标检测方法 Active CN117437404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311400412.XA CN117437404B (zh) 2023-10-26 2023-10-26 一种基于虚拟点云的多模态目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311400412.XA CN117437404B (zh) 2023-10-26 2023-10-26 一种基于虚拟点云的多模态目标检测方法

Publications (2)

Publication Number Publication Date
CN117437404A true CN117437404A (zh) 2024-01-23
CN117437404B CN117437404B (zh) 2024-07-19

Family

ID=89549356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311400412.XA Active CN117437404B (zh) 2023-10-26 2023-10-26 一种基于虚拟点云的多模态目标检测方法

Country Status (1)

Country Link
CN (1) CN117437404B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN113205466A (zh) * 2021-05-10 2021-08-03 南京航空航天大学 一种基于隐空间拓扑结构约束的残缺点云补全方法
US20210365712A1 (en) * 2019-01-30 2021-11-25 Baidu Usa Llc Deep learning-based feature extraction for lidar localization of autonomous driving vehicles
CN114359660A (zh) * 2021-12-20 2022-04-15 合肥工业大学 一种适用于模态强弱变化的多模态目标检测方法及***
WO2022141720A1 (zh) * 2020-12-31 2022-07-07 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
US20230080678A1 (en) * 2021-08-26 2023-03-16 The Hong Kong University Of Science And Technology Method and electronic device for performing 3d point cloud object detection using neural network
EP4194807A1 (en) * 2021-12-10 2023-06-14 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision map construction method and apparatus, electronic device, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
US20210365712A1 (en) * 2019-01-30 2021-11-25 Baidu Usa Llc Deep learning-based feature extraction for lidar localization of autonomous driving vehicles
WO2022141720A1 (zh) * 2020-12-31 2022-07-07 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
CN113205466A (zh) * 2021-05-10 2021-08-03 南京航空航天大学 一种基于隐空间拓扑结构约束的残缺点云补全方法
US20230080678A1 (en) * 2021-08-26 2023-03-16 The Hong Kong University Of Science And Technology Method and electronic device for performing 3d point cloud object detection using neural network
EP4194807A1 (en) * 2021-12-10 2023-06-14 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision map construction method and apparatus, electronic device, and storage medium
CN114359660A (zh) * 2021-12-20 2022-04-15 合肥工业大学 一种适用于模态强弱变化的多模态目标检测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZECHEN LIU 等: "SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation", ARXIV:2002.10111V1, 24 February 2020 (2020-02-24), pages 1 - 10 *
王宏任 等: "基于关键点检测二阶段目标检测方法研究", 集成技术, vol. 10, no. 5, 30 September 2021 (2021-09-30), pages 34 - 42 *

Also Published As

Publication number Publication date
CN117437404B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
Yi et al. Segvoxelnet: Exploring semantic context and depth-aware features for 3d vehicle detection from point cloud
CN113052109A (zh) 一种3d目标检测***及其3d目标检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN115512132A (zh) 基于点云数据与多视图图像数据融合的3d目标检测方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN116664856A (zh) 基于点云-图像多交叉混合的三维目标检测方法、***及存储介质
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN115880333A (zh) 一种基于多模态信息融合的三维单目标跟踪方法
Feng et al. Object detection and localization based on binocular vision for autonomous vehicles
CN117315518A (zh) 一种增强现实目标初始注册方法及***
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
CN117437404B (zh) 一种基于虚拟点云的多模态目标检测方法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
Lyu et al. 3DOPFormer: 3D occupancy perception from multi-camera images with directional and distance enhancement
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
Miao et al. 3D Object Detection with Normal-map on Point Clouds.
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及***
CN113239962A (zh) 一种基于单个固定摄像头的交通参与者的识别方法
Yao et al. Occlusion-Aware Plane-Constraints for Monocular 3D Object Detection
Liu et al. Enhancing Point Features with Spatial Information for Point‐Based 3D Object Detection
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及***
CN114549917B (zh) 一种数据表征增强的点云分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant