CN112053374A - 一种基于GIoU的3D目标边界框的估计*** - Google Patents

一种基于GIoU的3D目标边界框的估计*** Download PDF

Info

Publication number
CN112053374A
CN112053374A CN202010805891.3A CN202010805891A CN112053374A CN 112053374 A CN112053374 A CN 112053374A CN 202010805891 A CN202010805891 A CN 202010805891A CN 112053374 A CN112053374 A CN 112053374A
Authority
CN
China
Prior art keywords
giou
bounding box
max
point cloud
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010805891.3A
Other languages
English (en)
Inventor
杨武
孟涟肖
唐盖盖
苘大鹏
吕继光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202010805891.3A priority Critical patent/CN112053374A/zh
Publication of CN112053374A publication Critical patent/CN112053374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉及模式识别技术领域，具体涉及一种基于GIoU的3D目标边界框的估计***，由雷达点云预处理模块、2D图像预处理模块以及基于GIoU的多源融合模块组成。本发明通过雷达点云预处理模块获取点云特征，同时通过2D图像预处理模块获取图像特征，进而通过基于GIoU的多源融合模块对点云特征和图像特征进行融合处理，最终输出3D目标边界框的估计结果。本发明解决了现有的3D目标边界框估计准确度低的问题。本发明可明显提高3D目标的标定准确度，实现了高准确度的3D目标边界框估计效果。

Description

一种基于GIoU的3D目标边界框的估计***
技术领域
本发明属于计算机视觉及模式识别技术领域，具体涉及一种基于GIoU的3D目标边界框的估计***。
背景技术
近年来，无人驾驶逐渐受到各大企业、学者乃至普通大众的关注。目前，实现无人驾驶有两种截然不同的方式：一种是传统企业采用的渐进式方法，即从现有的辅助驾驶***出发，逐步增加自动转向、主动避碰等功能，实现有条件的无人驾驶，最终在成本和相关技术达到一定要求时实现无人驾驶；另一种是以高科技IT企业为代表选择的“一步到位”方式直接达到无人驾驶的最终目标，即没有所谓的人机协同驾驶，因为要保证自动驾驶的绝对安全，就一定不能依赖于人的参与。相对而言，后者选择的技术路线更具挑战性和风险性，因此需要创新的算法和高效、健壮的***来支持。在这种需求下，目标检测与定位就显得尤为重要，因为它相当于赋予了智能无人***更精确地“看清”眼前景象的能力，并为无人***的决策或规划提供了大量有用的信息。3D目标检测是自动驾驶和机器人技术中的一个重要话题，其中检测的准确度是目前3D目标检测技术难点所在。
边界框回归是许多2D/3D计算机视觉任务中最基本的组成部分之一。目标定位、多目标检测、目标跟踪等都依赖于相关的边界框回归。近年来，神经网络技术日益繁荣，其强大的非线性拟合能力非常适用于解决边界框回归问题。利用神经网络来提高应用性能的主要趋势是提出一种更好的框架主干或更好的策略来提取可靠的局部特征。如今，尽管卷积神经网络的最新发展已经实现复杂环境下的2D目标检测，但实际应用场景中，普通2D目标检测并不能提供感知环境所需要的全部信息，仅能提供目标物体在2D图片中的位置和对应类别的置信度，在真实的三维世界中，物体都是有三维形状的，大部分应用都需要有目标物体的长宽高还有偏转角等信息。近年来，学者提出几种3D目标边界框估计方法，但因为其所采用的神经网络模型的损失函数的定义精度不高而造成目标边界框估计结果的准确度较低，因此有效的提高3D目标边界框估计准确度仍然是一个开放的挑战。
发明内容
本发明的目的在于解决现有的3D目标边界框估计准确度低的问题的一种基于GIoU的3D目标边界框的估计***。
本发明的目的通过如下技术方案来实现：包括雷达点云预处理模块、2D图像预处理模块以及基于GIoU的多源融合模块；所述的雷达点云预处理模块将输入的雷达点云数据转换为固定维度的数字特征表示形式，并将雷达点云数据的数字特征传递到基于GIoU的多源融合模块中；所述的2D图像预处理模块将输入的2D图像数据转换为固定维度的数字特征表示形式，并将2D图像数据的数字特征传递到基于GIoU的多源融合模块中；所述的基于GIoU的多源融合模块将雷达点云数据的数字特征和2D图像数据的数字特征融合成3D目标边界框估计结果，具体为预测的3D边界框的8个顶点的坐标BP＝(xP 1,yP 1,zP 1,…,xP 8,yP 8,zP 8)；
所述的基于GIoU的多源融合模块是Dense神经网络模型，以GIoU LOSS作为损失函数；所述的GIoU LOSS计算方法为：
步骤1：输入真实的3D边界框的8个顶点坐标BT＝(xT 1,yT 1,zT 1,…,xT 8,yT 8,zT 8)；
步骤2：计算真实的3D边界框的长度LT、宽度WT和高度HT；计算预测的3D边界框的长度LP、宽度WP和高度HP；
步骤3：选取真实的3D边界框和预测的3D边界框中，中心点距离原点较近的3D边界框，获取该3D边界框的右上角顶点坐标MAX＝(xMAX,yMAX,zMAX)，获取中心点距离原点较远的3D边界框的左下角顶点坐标MIN＝(xMIN,yMIN,zMIN)；
步骤4：选取真实的3D边界框和预测的3D边界框的所有顶点的坐标中，最小的x、y、z值xMIN、yMIN、zMIN以及最大的x、y、z值xMAX、yMAX、zMAX；
步骤5：计算可以包围真实的3D边界框和预测的3D边界框的最小包围框Bc的长度LC、宽度WC和高度HC；
LC＝xMAX-xMIN
WC＝yMAX-yMIN
HC＝zMAX-zMIN
步骤6：计算GIoU的值；
Figure BDA0002629104380000021
Figure BDA0002629104380000022
其中，VT为真实的3D边界框的体积，VT＝LT*WT*HT；VP为预测的3D边界框的体积，VP＝LP*WP*HP；Vc为Bc的体积，Vc＝Lc*Wc*Hc；
步骤7：计算损失函数GIoU LOSS的值；
GIoU LOSS＝1-GIoU。
本发明还可以包括：
所述的Dense神经网络模型包含三层结构；Dense神经网络模型的第一层为输入层，神经元个数与输入特征的维度相同，每个神经元依次对应向量的一个维度的输入并直接传给第二层神经元，输入特征包含雷达点云数据的数字特征和2D图像数据的数字特征；Dense神经网络模型的第二层为Dence层，包含多个Dence的叠加，用于实现输入变量到输出变量的映射；Dense神经网络模型的第三层为输出层，输出层对应3D边界框回归数值。
所述的雷达点云预处理模块是PointNet神经网络模型，PointNet网络率采用对称函数max-pooling实现无序三维点集的置换不变性；所述的2D图像预处理模块是Resnet50神经网络模型，通过使用多个有参层来学习输入输出之间的残差表示。
本发明的有益效果在于：
本发明通过雷达点云预处理模块获取点云特征，同时通过2D图像预处理模块获取图像特征，进而通过基于GIoU的多源融合模块对点云特征和图像特征进行融合处理，最终输出3D目标边界框的估计结果。本发明解决了现有的3D目标边界框估计准确度低的问题。本发明可明显提高3D目标的标定准确度，实现了高准确度的3D目标边界框估计效果。
附图说明
图1是本发明的整体框架示意图。
图2是本发明中基于GIoU的多源融合模块结构示意图。
图3是本发明的总体操作流程图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明公开了一种基于GIoU的3D目标边界框的估计***，由雷达点云预处理模块、2D图像预处理模块以及基于GIoU的多源融合模块组成。通过雷达点云预处理模块获取点云特征，同时通过2D图像预处理模块获取图像特征，进而通过基于GIoU的多源融合模块对点云特征和图像特征进行融合处理，最终输出3D目标边界框的估计结果。本发明解决了现有的3D目标边界框估计准确度低的问题。本发明可明显提高3D目标的标定准确度，实现了高准确度的3D目标边界框估计效果。
一种基于GIoU的3D目标边界框的估计***，包括雷达点云预处理模块、2D图像预处理模块以及基于GIoU的多源融合模块；所述的雷达点云预处理模块将输入的雷达点云数据转换为固定维度的数字特征表示形式，并将雷达点云数据的数字特征传递到基于GIoU的多源融合模块中；所述的2D图像预处理模块将输入的2D图像数据转换为固定维度的数字特征表示形式，并将2D图像数据的数字特征传递到基于GIoU的多源融合模块中；所述的基于GIoU的多源融合模块将雷达点云数据的数字特征和2D图像数据的数字特征融合成3D目标边界框估计结果，具体为预测的3D边界框的8个顶点的坐标BP＝(xP 1,yP 1,zP 1,…,xP 8,yP 8,zP 8)；
所述的基于GIoU的多源融合模块是Dense神经网络模型，以GIoU LOSS作为损失函数；所述的GIoU LOSS计算方法为：
步骤1：输入真实的3D边界框的8个顶点坐标BT＝(xT 1,yT 1,zT 1,…,xT 8,yT 8,zT 8)；
步骤2：计算真实的3D边界框的长度LT、宽度WT和高度HT；计算预测的3D边界框的长度LP、宽度WP和高度HP；
步骤3：选取真实的3D边界框和预测的3D边界框中，中心点距离原点较近的3D边界框，获取该3D边界框的右上角顶点坐标MAX＝(xMAX,yMAX,zMAX)，获取中心点距离原点较远的3D边界框的左下角顶点坐标MIN＝(xMIN,yMIN,zMIN)；
步骤4：选取真实的3D边界框和预测的3D边界框的所有顶点的坐标中，最小的x、y、z值xMIN、yMIN、zMIN以及最大的x、y、Z值xMAX、yMAX、ZMAX；
步骤5：计算可以包围真实的3D边界框和预测的3D边界框的最小包围框Bc的长度LC、宽度WC和高度HC；
LC＝xMAX-xMIN
WC＝yMAX-yMIN
HC＝zMAX-ZNIN
步骤6：计算GIoU的值；
Figure BDA0002629104380000041
Figure BDA0002629104380000042
其中，VT为真实的3D边界框的体积，VT＝LT*WT*HT；VP为预测的3D边界框的体积，VP＝LP*WP*HP；Vc为Bc的体积，Vc＝Lc*Wc*Hc；
步骤7：计算损失函数GIoU LOSS的值；
GIoU LOSS＝1-GIoU。
实施例1：
本发明的技术方案包括以下步骤：
结合图3，本发明的总体流程为：
第一步、搭建基于GIoU的3D目标边界框估计装置。它是由雷达点云预处理模块，2D图像预处理模块，以及基于GIoU的多源融合模块组成。其中雷达点云预处理模块是PointNet神经网络模型，2D图像预处理模块是Resnet50神经网络模型，基于GIoU的多源融合模块是Dense神经网络模型。
雷达点云预处理模块可将点云数据转换为固定维度的数字特征表示形式。
2D图像预处理模块可将点2D图像数据转换为固定维度的数字特征表示形式。
基于GIoU的多源融合模块可将点云数据的数字特征和2D图像数据特征进行融合，最终输出3D目标边界框估计。
作为优选，雷达点云预处理模块的PointNet网络率先采用对称函数(max-pooling)来实现无序三维点集的置换不变性，可以实现高精度的点云数据的融合效果。
作为优选，2D图像预处理模块的Resnet50网络，通过使用多个有参层来学习输入输出之间的残差表示，而非像一般CNN网络那样使用有参层来直接尝试学习输入、输出之间的映射。使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射收敛速度更快，也更有效。
作为优选，基于GIoU的多源融合模块的Dense网络，以GIoU作为损失函数，相对于将常规的均方差，绝对平均误差作为损失函数，可以更为精确的引导网络在训练过程中向提升3D目标边界框估计精度的方向进行学习。
第二步、初始化基于GIoU的3D目标边界框估计装置。方法是：
1)首先将雷达点云数据输入到雷达点云预处理模块获取点云的数字特征表示结果。
2)将2D图像数据输入到2D图像预处理模块获取2D图像的数字特征表示结果。
3)将点云的数字特征表示结果和2D图像的数字特征表示结果合并输入到基于GIoU的多源融合模块。
第三步、基于GIoU的3D目标边界框估计装置接收到源数据文件。方法是：将用于3D目标检测的样本经第二步中的1)、2)得到相应的数字特征表示，而后作为训练好的基于GIoU的多源融合模块输入，模块输出即为3D目标边界框估计结果。
第四步、完成一次3D目标边界框估计。
结合图1，本发明所提的一种基于GIoU的3D目标物体边界框的估计框架包括雷达点云预处理模块，2D图像预处理模块，以及基于GIoU的多源融合模块。
雷达点云预处理模块是PointNet神经网络模型，可将点云数据转换为固定维度的数字特征表示形式。PointNet网络率先采用对称函数(max-pooling)来实现无序三维点集的置换不变性，可以实现高精度的点云数据的融合效果。
2D图像预处理模块是Resnet50神经网络模型，可将点2D图像数据转换为固定维度的数字特征表示形式。通过使用多个有参层来学习输入输出之间的残差表示，而非像一般CNN网络那样使用有参层来直接尝试学习输入、输出之间的映射。使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射收敛速度更快，也更有效。
基于GIoU的多源融合模块是Dense神经网络模型，可将点云数据的数字特征和2D图像数据特征进行融合，最终输出3D目标边界框估计。特别的，该Dense网络以GIoU作为损失函数，相对于将常规的均方差，绝对平均误差作为损失函数，可以更为精确的引导网络在训练过程中向提升3D目标边界框估计精度的方向进行学习。
结合图2，本发明的基于GIoU的多源融合模块包含三层结构，其中，
第一层为输入层，神经元个数与输入特征的维度相同，每个神经元依次对应向量的一个维度的输入并直接传给第2层神经元。输入特征包含点云数字特征和2D图像的数字特征。
第二层为Dence层，包含多个Dence的叠加，用于实现输入变量到输出变量的映射；
第三层为输出层，输出层对应3D边界框回归数值，具体为一个3D边界框的中心点坐标以及长宽高。
在模型训练过程，每次在输出层之后需要计算GIoU损失，可更为精确的引导网络在训练过程中向提升3D目标边界框估计精度的方向进行学习。
其中计算GIOU的伪代码如下：
1)已知两个3D边界框8各顶点的坐标信息：BT＝(xT 1,yT 1,zT 1,…,xT 8,yT 8,zT 8)，BP＝(xP 1,yP 1,zP 1,…,xP 8,yP 8,zP 8),其中BT表示真实边界框，BP表示预测的边界框。
2)计算两个边界框的长、宽、高，得到LT，WT，HT和LP，WP，HP。
3)计算两个边界框的体积，得到VT＝LT*WT*HT和VP＝LP*WP*HP。
4)取BT和BP中中心点靠近原点的边界框的右上角顶点坐标MAX＝(xMAX,yMAX,zMAX)，以及另一个边界框的左下角顶点坐标MIN＝(xMIN,yMIN,zMIN)。
5)计算MIN和MAX对应坐标的差值：XI＝xMIN-xMAX，YI＝yMIN-yMAX，ZI＝zMIN-zMAX。
6)计算BT和BP交集VI＝XI*YI*ZI。若VI≤0，则说明没有交集，令VI＝0。
7)取BT和BP所有点坐标中最小的x，y，z值xMIN，yMIN，zMIN以及最大的x，y，z值xMAX，yMAX，zMAX。
8)计算可以包围BT和BP的最小包围框Bc，其长宽高为：LC＝xMAX-xMIN，WC＝yMAX-yMIN，HC＝ZMAX-zMIN，Bc体积为Vc＝Lc*Wc*Hc。
9)计算
Figure BDA0002629104380000061
GIoU取值范围为[-1,1]。
10)计算GIoU LOSS：GIoU LOSS＝1-GIoU。GIoU LOSS取值范围为[0,2]。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于GIoU的3D目标边界框的估计***，其特征在于：包括雷达点云预处理模块、2D图像预处理模块以及基于GIoU的多源融合模块；所述的雷达点云预处理模块将输入的雷达点云数据转换为固定维度的数字特征表示形式，并将雷达点云数据的数字特征传递到基于GIoU的多源融合模块中；所述的2D图像预处理模块将输入的2D图像数据转换为固定维度的数字特征表示形式，并将2D图像数据的数字特征传递到基于GIoU的多源融合模块中；所述的基于GIoU的多源融合模块将雷达点云数据的数字特征和2D图像数据的数字特征融合成3D目标边界框估计结果，具体为预测的3D边界框的8个顶点的坐标BP＝(xP 1，yP 1，zP 1，…，xP 8，yP 8，zP 8)；
所述的基于GIoU的多源融合模块是Dense神经网络模型，以GIoU LOSS作为损失函数；所述的GIoU LOSS计算方法为：
步骤1：输入真实的3D边界框的8个顶点坐标BT＝(xT 1，yT 1，zT 1，…，xT 8，yT 8，zT 8)；
步骤2：计算真实的3D边界框的长度LT、宽度WT和高度HT；计算预测的3D边界框的长度LP、宽度WP和高度HP；
步骤3：选取真实的3D边界框和预测的3D边界框中，中心点距离原点较近的3D边界框，获取该3D边界框的右上角顶点坐标MAX＝(xMAX，yMAX，zMAX)，获取中心点距离原点较远的3D边界框的左下角顶点坐标MIN＝(xMIN，yMIN，zMIN)；
步骤4：选取真实的3D边界框和预测的3D边界框的所有顶点的坐标中，最小的x、y、z值xMIN、yMIN、zMIN以及最大的x、y、z值xMAX、yMAX、zMAX；
步骤5：计算可以包围真实的3D边界框和预测的3D边界框的最小包围框Bc的长度LC、宽度WC和高度HC；
LC＝xMAX-xMIN
WC＝yMAX-yMIN
HC＝zMAX-zMIN
步骤6：计算GIoU的值；
Figure FDA0002629104370000011
Figure FDA0002629104370000012
其中，VT为真实的3D边界框的体积，VT＝LT*WT*HT；VP为预测的3D边界框的体积，VP＝LP*WP*HP；Vc为Bc的体积，Vc＝Lc*Wc*Hc；
步骤7：计算损失函数GloU LOSS的值；
GIoU LOSS＝1-GIoU。
2.根据权利要求1所述的一种基于GIoU的3D目标边界框的估计***，其特征在于：所述的Dense神经网络模型包含三层结构；Dense神经网络模型的第一层为输入层，神经元个数与输入特征的维度相同，每个神经元依次对应向量的一个维度的输入并直接传给第二层神经元，输入特征包含雷达点云数据的数字特征和2D图像数据的数字特征；Dense神经网络模型的第二层为Dence层，包含多个Dence的叠加，用于实现输入变量到输出变量的映射；Dense神经网络模型的第三层为输出层，输出层对应3D边界框回归数值。
3.根据权利要求1或2所述的一种基于GIoU的3D目标边界框的估计***，其特征在于：所述的雷达点云预处理模块是PointNet神经网络模型，PointNet网络率采用对称函数max-pooling实现无序三维点集的置换不变性；所述的2D图像预处理模块是Resnet50神经网络模型，通过使用多个有参层来学习输入输出之间的残差表示。
CN202010805891.3A 2020-08-12 2020-08-12 一种基于GIoU的3D目标边界框的估计*** Pending CN112053374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010805891.3A CN112053374A (zh) 2020-08-12 2020-08-12 一种基于GIoU的3D目标边界框的估计***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010805891.3A CN112053374A (zh) 2020-08-12 2020-08-12 一种基于GIoU的3D目标边界框的估计***

Publications (1)

Publication Number Publication Date
CN112053374A true CN112053374A (zh) 2020-12-08

Family

ID=73601727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010805891.3A Pending CN112053374A (zh) 2020-08-12 2020-08-12 一种基于GIoU的3D目标边界框的估计***

Country Status (1)

Country Link
CN (1) CN112053374A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
US20200160559A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法
CN111339880A (zh) * 2020-02-19 2020-06-26 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147245A1 (en) * 2017-11-14 2019-05-16 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
US20200160559A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法
CN111339880A (zh) * 2020-02-19 2020-06-26 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN XU等: "3D-GIoU: 3D Generalized Intersection over Union for Object Detection in Point Cloud", 《SENEORS》 *
张爱武等: "道路三维点云多特征卷积神经网络语义分割方法", 《中国激光》 *

Similar Documents

Publication Publication Date Title
CN109597087B (zh) 一种基于点云数据的3d目标检测方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及***
Yu et al. Vehicle detection and localization on bird's eye view elevation images using convolutional neural network
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN103824050A (zh) 一种基于级联回归的人脸关键点定位方法
CN113111978B (zh) 一种基于点云和图像数据的三维目标检测***和方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
GB2612029A (en) Lifted semantic graph embedding for omnidirectional place recognition
Xu et al. Object detection based on fusion of sparse point cloud and image information
Zhang et al. Robust-FusionNet: Deep multimodal sensor fusion for 3-D object detection under severe weather conditions
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
Ge et al. Calibration on camera’s intrinsic parameters based on orthogonal learning neural network and vanishing points
Duan et al. A semantic robotic grasping framework based on multi-task learning in stacking scenes
CN113012191B (zh) 一种基于点云多视角投影图的激光里程计算法
CN114637295A (zh) 一种基于人工势场法与实例分割的机器人智能避障方法
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation
CN117975436A (zh) 基于多模态融合和可变形注意力的三维目标检测方法
CN113436239A (zh) 一种基于深度信息估计的单目图像三维目标检测方法
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN112053374A (zh) 一种基于GIoU的3D目标边界框的估计***
Wirges et al. Self-supervised flow estimation using geometric regularization with applications to camera image and grid map sequences
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
CN115718303A (zh) 一种面向动态环境的相机与固态激光雷达融合重定位方法
Li et al. Comparison of 3D object detection based on LiDAR point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201208

RJ01 Rejection of invention patent application after publication