CN112396655B - 一种基于点云数据的船舶目标6d位姿估计方法 - Google Patents
一种基于点云数据的船舶目标6d位姿估计方法 Download PDFInfo
- Publication number
- CN112396655B CN112396655B CN202011290504.3A CN202011290504A CN112396655B CN 112396655 B CN112396655 B CN 112396655B CN 202011290504 A CN202011290504 A CN 202011290504A CN 112396655 B CN112396655 B CN 112396655B
- Authority
- CN
- China
- Prior art keywords
- point
- target
- dimensional
- proposal
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于点云数据的船舶目标6D位姿估计方法，包括：步骤1：获得海上场景的船舶点云数据集，数据集标签包括目标类别、目标的三维坐标、目标的三维尺寸以及目标的三维位姿；步骤2：构建神经网络，采用PointNet++进行逐点的点云特征提取，得到逐点的高维特征；步骤3：以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成带有角度信息的边界框提案，用于RCNN的输入；步骤4：基于步骤3得到的提案以及前景分割特征和空间特征进行提案的优化以输出最终的分类及3D边框和姿态角度。该方法实现了采用端到端学习的方式进行三维目标的位姿估计效果，提升了位姿估计的实时性。
Description
技术领域
本发明涉及一种基于点云数据的船舶目标6D位姿估计方法，本发明涉及点云领域、海上场景的船舶目标位姿估计、深度学习和神经网络领域。
背景技术
位姿估计在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实以及其它方面都有着极大的应用。目标的位姿估计问题是确定物体在3D空间中的空间位置，以及物体绕坐标轴旋转的角度，其中绕Z轴转动为偏航角(Yaw)，绕Y轴转动为俯仰角(Pitch)，绕X轴转动为横滚角(Roll)。近年来，6D位姿估计的方法可以分为四大类，分别为基于模型对应点的方法、基于模板匹配的方法、基于投票的方法以及基于回归的方法。基于模型对应点的方法主要针对的是纹理丰富的物体，基于模板匹配的方法主要针对弱纹理或无纹理的图像。针对船舶目标的海上场景的特殊性，例如海上水面光照的影响，以及天气的多变影响图像质量。传统的三维姿态估计算法一般只能对单个目标进行检测且耗时较大。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种基于点云数据的船舶目标6D位姿估计方法，通过学习点云信息的特征和6D位姿之间的联系，通过在基于深度学习进行目标检测的基础上进行改进，再进一步回归出目标的6D位姿。
为解决上述技术问题，本发明的一种基于点云数据的船舶目标6D位姿估计方法，包括以下步骤：
步骤1：获得海上场景的船舶点云数据集，数据集标签包括目标类别、目标的三维坐标、目标的三维尺寸以及目标的三维位姿；
步骤2：构建神经网络，采用PointNet++进行逐点的点云特征提取，得到逐点的高维特征；
步骤3：以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成带有角度信息的边界框提案，用于RCNN的输入；
步骤4：基于步骤3得到的提案以及前景分割特征和空间特征进行提案的优化以输出最终的分类及3D边框和姿态角度。
本发明还包括：
1.步骤2中采用PointNet++进行逐点的点云特征提取，得到逐点的高维特征具体为：点集的特征提取由三部分组成，包括Sampling layer、Grouping layer、Pointnetlayer，采样层的采样算法使用迭代最远点采样方法，在输入点云中选择一系列点，由此定义出局部区域的中心，然后构建局部邻域，在给定的距离内寻找点，然后用全连接层进行特征提取，最后做池化操作得到高级特征，将点集上采样到原始点集数量，得到输入点集中逐点的高维特征。
2.步骤3中基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成带有角度信息的边界框提案具体为：对每个点进行二分类，前景和背景得分，再经过一个sigmod函数归一化到0～1，认为得分高于阈值的为前景点，分割前景点并同时从分割点生成带有角度信息的边界框提案，以前景点为中心，总数为N个，在每个点上利用回归值以及设置的平均尺寸生成初始提案，大小为(batch_size*N,9)，9维向量分别为[x,y,z,h,w,l,rx,ry,rz]，即目标的中心位置、长宽高以及分别在xyz方向的旋转角度，再根据分类的得分进行排序，利用非极大值找出每个batch前512个边界框，返回边界框和角度信息以及置信度得分，分割阶段采用交叉熵损失函数作为二分类网络的损失函数，对初始提案的预测，其中x、z和偏航角ry基于bin的损失函数回归计算，尺寸信息(h,w,l)和旋转角(rx,rz)采用平滑L1损失进行计算。
本发明的有益效果：船舶感知环节是智能船舶发展的路径之一，对船舶目标的位置和姿态识别是船舶感知或对船舶跟踪识别不可缺少的环节。在目标检测的基础上加上对船舶目标的姿态估计能够增强感知精度。传统的三维姿态估计算法一般只能对单个目标进行检测且耗时较大，所以本算法采用基于深度学习神经网络，采用学习的方式对先验数据集进行训练，大大提升了算法的实时性，并可以进行复杂场景的位姿估计。该方法实现了采用端到端学习的方式进行三维目标的位姿估计效果，提升了位姿估计的实时性。
附图说明
图1是网络中生成器的结构示意图；
图2为算法位姿估计结果的可视化示意图。
具体实施方式
下面结合附图对本发明具体实施方式做进一步说明。
本发明的目的是这样实现的：
1、获取数据集
通过人工制作获取点云数据集，数据集要求海上场景的船舶点云数据，可以是包含单船、多船、遮挡等情况下的船舶目标。同时每幅场景的点云数据应包含相应的船舶位姿标签，标签的结构包括类别、目标的三维坐标、目标的三维尺寸以及目标的三维位姿即船舶目标相应的偏航角、横滚角以及俯仰角三个角度。
2、构建神经网络
该算法基于3D目标检测网络PointRCNN，3D目标检测算法目标仅仅是对3D边框的输出，在此基础上增加网络角度分支以估计目标的6D位姿。网络主要包含两部分：基于PointNet++的点云特征提取和基于3D目标检测网络PointRCNN的改进。其中PointNet++网络作为主干网络，负责从输入点云数据进行特征提取。
基于PointRCNN的改进的6D位姿估计网络包括两个阶段，第一阶段旨在以自下而上的方案生成3D边界框提案并在此基础上同时得出目标的三维姿态角度，基于边界框生成真实分割掩模，分割前景点并同时从分割点生成少量边界框提案。这样的策略避免了在整个三维空间中使用大量锚框。第二阶段进行规范的带角度的边框优化。在生成边框及角度提案之后，采用点云区域池化操作进行池化来自第一阶段学到的点表示。与直接估计全局边框坐标的方法不同，池化后的点被转换为规范坐标并与点特征以及第一阶段的分割掩模组合完成坐标优化。该策略充分利用了第一阶段的分割和提案子网络提供的信息。
3、6D位姿估计网络主要步骤
(1)3D边框及角度提案的生成
主干网络采用PointNet++进行逐点的点云特征提取。输入为N*3的点云数据，对于每一个N×3的点云输入，点集的特征提取由三部分组成，分别为Sampling layer、Groupinglayer、Pointnet layer。采样层的采样算法使用迭代最远点采样方法iterative farthestpoint sampling(FPS)。在输入点云中选择一系列点，由此定义出局部区域的中心。之后进行构建局部邻域，在给定的距离内寻找点，然后用全连接层进行特征提取，最后做池化操作得到高级特征，将点集上采样回原始点集数量，得到输入点集中逐点的高维特征。
3D场景中的目标是自然分离的，彼此不重叠。所有三维目标的分割掩模都可以通过3D边界框注释直接获得，即3D框内的3D点被视为前景点。经过主干网络处理后的逐点的特征，前景预测分支即对每个点进行分类预测，点云的真实分割掩码由三维边框确定。
在前景预测分支的同时进行3D边框以及三维角度的预测分支，采用全连接层。由于船舶目标的包围边框坐标以及偏航角的尺度变化较大，但横滚角与俯仰角的变化尺度通常较小，对于包围边框的水平方向坐标x,z以及偏航角采用基于Bin的思想回归计算。具体来说将每个前景点的周围区域沿着X轴和Z轴分割成一系列离散的箱子，在这两个方向上采用基于Bin的交叉熵损失分类并进行残差回归而不是直接进行平滑L1损失回归。对于大多数海上场景中，船舶目标的水平方向尺度变化较大，但在竖直方向上的中心坐标尺度变化通常较小，且姿态角度俯仰角与横滚角都在一个非常小的尺度范围内变化，算法采用直接用平滑L1损失进行回归即可以得到船舶的横滚角、俯仰角度和船舶高度位置的准确值。
(2)点云区域池化
在获得三维边界框方案后，根据之前生成的边框以及角度分支来优化框的位置和方向。根据每个三维边框的位置，对每个点及其特征进行池化。稍稍放大后的边界框内的点及其特征将被保留。然后使用分割掩模区分稍微放大框内的前景、背景点。没有内部点的提案将会被消除。
(3)规范3D边界框及角度回归提案优化
池化后的点集及其相关特征都被送入第二阶段子网络，以优化边框的位置、角度和前景目标的可信度。将上述特征进行组合，经过3个PointNet++提出的Sampling layer得到高维特征，然后使用分类和回归分支进行预测输出目标的坐标尺寸以及姿态角度信息。
损失函数如下：
其中基于bin的损失函数
残差损失函数
为：
其中
B为第一阶段的提案集合，Bpos为回归的正提案，probi为置信度，lablei为相应的标签，Fcls为交叉熵损失函数用于计算预测的置信度。
位姿估计(Pose estimation)在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实以及其它方面都有着极大的应用。目标的位姿估计问题是确定物体在3D空间中的空间位置，以及物体绕坐标轴旋转的角度，其中绕Z轴转动为偏航角(Yaw)，绕Y轴转动为俯仰角(Pitch)，绕X轴转动为横滚角(Roll)。
结合图1和图2，本发明步骤如下：
步骤1、准备船舶场景的位姿数据集，数据集标签应包括目标类别、目标的三维坐标、目标的三维尺寸以及目标的三维位姿即船舶目标相应的偏航角、横滚角以及俯仰角三个角度。
步骤2、基于PointNet++的点云特征提取，特征提取部分主要由Set Abstraction子网络构成点集的特征提取由三部分组成，对输入的点云进行排列，基于采样算法迭代最远点采样方法iterative farthest point sampling(FPS)寻找最远点，在输入点云中选择这些一系列最远点后，由此定义出局部区域的中心。之后进行构建局部邻域，在给定的距离内寻找点，然后用全连接层进行特征提取，最后做池化操作得到高级特征，将点集上采样到原始点集数量，得到输入点集中逐点的高维特征将输入点云数据经过主干网络得到逐点的高维特征。
步骤3、RPN阶段，旨在以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，即对每个点进行二分类，前景和背景得分，再经过一个sigmod函数归一化到0～1，认为得分高于阈值的为前景点，分割前景点并同时从分割点生成少量带有角度信息的边界框提案，以前景点(总数为N个)为中心，在每个点上，利用回归值以及设置的平均尺寸，生成初始提案，大小为(batch_size*N,9),9维向量分别为[x,y,z,h,w,l,rx,ry,rz],即目标的中心位置和长宽高以及分别在xyz方向的旋转角度。再根据分类的得分进行排序，利用非极大值找出每个batch前512个边界框，返回边界框和角度信息，以及置信度得分用于RCNN阶段的输入，分割阶段采用交叉熵损失函数作为二分类网络的损失函数，对初始提案的预测，其中x、z和偏航角ry基于bin的损失函数回归计算，尺寸信息(h,w,l)和旋转角(rx,rz)采用平滑L1损失进行计算。
步骤4、RCNN阶段，旨在基于RPN阶段得到的少量提案以及前景分割特征和空间特征进行提案的优化以输出最终的分类及3D边框和姿态角度。根据RPN阶段的提案，计算感兴趣区域ROI与真值之间的IOU，IOU大于0.55是将真值分给预测的提案进行微调。将分割的掩码与点云坐标和高维特征进行连接重组，将合并的特征向量由PointNet++的SetAbstraction子网络得到高级特征，由分类层和回归层网络进行预测，其中分类层为交叉熵损失，回归层为基于bin的损失以及平滑L1损失。
实施例：
1、制作含有目标类别、目标的三维坐标、目标的三维尺寸以及目标的三位姿即船舶目标相应的偏航角、横滚角以及俯仰角三个角度的数据集以供训练。
2、构建神经网络。
主干网络采用PointNet++进行逐点的点云特征提取。点集的特征提取由三部分组成，分别为Sampling layer、Grouping layer、Pointnet layer。采样层的采样算法使用迭代最远点采样方法iterative farthest point sampling(FPS)。在输入点云中选择一系列点，由此定义出局部区域的中心。之后进行构建局部邻域，在给定的距离内寻找点，然后用全连接层进行特征提取，最后做池化操作得到高级特征，将点集上采样到原始点集数量，得到输入点集中逐点的高维特征，输入有n*3到n*128的转换。
3、6D位姿估计网络
整体网络结构如图1所示。经过主干网络处理后的逐点的特征，高维特征经过三个后续结构即前景预测分支、边框回归以及角度回归分支。前景预测分支即对每个点进行分类预测，点云的真实分割掩码由三维边框确定。在前景预测分支的同时进行3D边框以及三维角度的预测分支，采用全连接层。由于船舶目标的包围边框坐标以及偏航角的尺度变化较大，但横滚角与俯仰角的变化尺度通常较小，对于包围边框的水平方向坐标x,z以及偏航角采用基于Bin的思想回归计算。具体来说将每个前景点的周围区域沿着X轴和Z轴分割成一系列离散的箱子，在这两个方向上采用基于Bin的交叉熵损失分类并进行残差回归而不是直接进行平滑L1损失回归。对于大多数海上场景中，船舶目标的水平方向尺度变化较大，但在竖直方向上的中心坐标尺度变化通常较小，且姿态角度俯仰角与横滚角都在一个非常小的尺度范围内变化，算法采用直接用平滑L1损失进行回归即可以得到准确值。
在获得三维边界框方案后，根据之前生成的边框以及角度分支来优化框的位置和方向。根据每个三维边框的位置，对每个点及其特征进行池化。稍稍放大后的边界框内的点及其特征将被保留。然后使用分割掩模区分稍微放大框内的前景、背景点。没有内部点的提案将会被消除。
池化后的点集及其相关特征都被送入第二阶段子网络，以优化边框的位置、角度和前景目标的可信度。将上述特征进行组合，经过3个PointNet++提出的Sampling layer得到高维特征，然后使用分类和回归分支进行预测输出目标的坐标尺寸以及姿态角度信息，对输出信息的可视化结果如图2所示。
损失函数如下：
其中基于bin的损失函数
残差损失函数
为：
其中
B为第一阶段的提案集合，Bpos为回归的正提案，probi为置信度，lablei为相应的标签，Fcls为交叉熵损失函数用于计算预测的置信度。
Claims (2)
1.一种基于点云数据的船舶目标6D位姿估计方法，其特征在于，包括以下步骤：
步骤1：获得海上场景的船舶点云数据集，数据集标签包括目标类别、目标的三维坐标、目标的三维尺寸以及目标的三维位姿；
步骤2：构建神经网络，采用PointNet++进行逐点的点云特征提取，得到逐点的高维特征；
步骤3：以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成带有角度信息的边界框提案，用于RCNN的输入；所述基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成带有角度信息的边界框提案具体为：对每个点进行二分类，前景和背景得分，再经过一个sigmod函数归一化到0～1，认为得分高于阈值的为前景点，分割前景点并同时从分割点生成带有角度信息的边界框提案，以前景点为中心，总数为N个，在每个点上利用回归值以及设置的平均尺寸生成初始提案，大小为(batch_size*N,9)，9维向量分别为[x,y,z,h,w,l,rx,ry,rz]，即目标的中心位置、高宽长以及分别在xyz方向的旋转角度，再根据分类的得分进行排序，利用非极大值找出每个batch前512个边界框，返回边界框和角度信息以及置信度得分，分割阶段采用交叉熵损失函数作为二分类网络的损失函数，对初始提案的预测，其中x、z和偏航角ry基于bin的损失函数回归计算，尺寸信息(h,w,l)和旋转角(rx,rz)采用平滑L1损失进行计算；
步骤4：基于步骤3得到的提案以及前景分割特征和空间特征进行提案的优化以输出最终的分类及3D边框和姿态角度。
2.根据权利要求1所述的一种基于点云数据的船舶目标6D位姿估计方法，其特征在于：步骤2所述采用PointNet++进行逐点的点云特征提取，得到逐点的高维特征具体为：点集的特征提取由三部分组成，包括Sampling layer、Grouping layer、Pointnet layer，采样层的采样算法使用迭代最远点采样方法，在输入点云中选择一系列点，由此定义出局部区域的中心，然后构建局部邻域，在给定的距离内寻找点，然后用全连接层进行特征提取，最后做池化操作得到高级特征，将点集上采样到原始点集数量，得到输入点集中逐点的高维特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011290504.3A CN112396655B (zh) | 2020-11-18 | 2020-11-18 | 一种基于点云数据的船舶目标6d位姿估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011290504.3A CN112396655B (zh) | 2020-11-18 | 2020-11-18 | 一种基于点云数据的船舶目标6d位姿估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396655A CN112396655A (zh) | 2021-02-23 |
| CN112396655B true CN112396655B (zh) | 2023-01-03 |
Family
ID=74606473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011290504.3A Active CN112396655B (zh) | 2020-11-18 | 2020-11-18 | 一种基于点云数据的船舶目标6d位姿估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112396655B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883979A (zh) * | 2021-03-11 | 2021-06-01 | 先临三维科技股份有限公司 | 三维实例分割方法、装置、设备和计算机可读存储介质 |
| CN113298163A (zh) * | 2021-05-31 | 2021-08-24 | 国网湖北省电力有限公司黄石供电公司 | 一种基于LiDAR点云数据的目标识别监测方法 |
| CN114972968A (zh) * | 2022-05-19 | 2022-08-30 | 长春市大众物流装配有限责任公司 | 基于多重神经网络的托盘识别和位姿估计方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
| CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和*** |
| CN110473284A (zh) * | 2019-07-29 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的运动物体三维模型重建方法 |
| CN110533721A (zh) * | 2019-08-27 | 2019-12-03 | 杭州师范大学 | 一种基于增强自编码器的室内目标物体6d姿态估计方法 |
| CN110930454A (zh) * | 2019-11-01 | 2020-03-27 | 北京航空航天大学 | 一种基于边界框外关键点定位的六自由度位姿估计算法 |
| CN110930452A (zh) * | 2019-10-23 | 2020-03-27 | 同济大学 | 一种基于自监督学习与模板匹配的物***姿估计方法 |
| CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
| CN111368733A (zh) * | 2020-03-04 | 2020-07-03 | 电子科技大学 | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 |
| CN111862201A (zh) * | 2020-07-17 | 2020-10-30 | 北京航空航天大学 | 一种基于深度学习的空间非合作目标相对位姿估计方法 |
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644121B (zh) * | 2017-08-18 | 2020-07-31 | 昆明理工大学 | 一种路面材料骨架结构的逆向三维重构与实体建模方法 |
| US10977827B2 (en) * | 2018-03-27 | 2021-04-13 | J. William Mauchly | Multiview estimation of 6D pose |
| US11010592B2 (en) * | 2018-11-15 | 2021-05-18 | Toyota Research Institute, Inc. | System and method for lifting 3D representations from monocular images |
| CN109801337B (zh) * | 2019-01-21 | 2020-10-02 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
| US11030766B2 (en) * | 2019-03-25 | 2021-06-08 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
| CN111080693A (zh) * | 2019-11-22 | 2020-04-28 | 天津大学 | 一种基于YOLOv3的机器人自主分类抓取方法 |
| CN111179324B (zh) * | 2019-12-30 | 2023-05-05 | 同济大学 | 基于颜色和深度信息融合的物体六自由度位姿估计方法 |
| CN111259934B (zh) * | 2020-01-09 | 2023-04-07 | 清华大学深圳国际研究生院 | 一种基于深度学习的堆叠物体6d位姿估计方法和装置 |
| CN111275758B (zh) * | 2020-01-15 | 2024-02-09 | 深圳市微埃智能科技有限公司 | 混合型3d视觉定位方法、装置、计算机设备及存储介质 |
-
2020
- 2020-11-18 CN CN202011290504.3A patent/CN112396655B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
| CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和*** |
| CN110473284A (zh) * | 2019-07-29 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的运动物体三维模型重建方法 |
| CN110533721A (zh) * | 2019-08-27 | 2019-12-03 | 杭州师范大学 | 一种基于增强自编码器的室内目标物体6d姿态估计方法 |
| CN110930452A (zh) * | 2019-10-23 | 2020-03-27 | 同济大学 | 一种基于自监督学习与模板匹配的物***姿估计方法 |
| CN110930454A (zh) * | 2019-11-01 | 2020-03-27 | 北京航空航天大学 | 一种基于边界框外关键点定位的六自由度位姿估计算法 |
| CN111126269A (zh) * | 2019-12-24 | 2020-05-08 | 京东数字科技控股有限公司 | 三维目标检测方法、装置以及存储介质 |
| CN111368733A (zh) * | 2020-03-04 | 2020-07-03 | 电子科技大学 | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 |
| CN111915677A (zh) * | 2020-07-08 | 2020-11-10 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN111862201A (zh) * | 2020-07-17 | 2020-10-30 | 北京航空航天大学 | 一种基于深度学习的空间非合作目标相对位姿估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112396655A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
| CN108648233B (zh) | 一种基于深度学习的目标识别与抓取定位方法 | |
| CN111339903B (zh) | 一种多人人体姿态估计方法 | |
| CN112396655B (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN107742102B (zh) | 一种基于深度传感器的手势识别方法 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
| CN111899172A (zh) | 一种面向遥感应用场景的车辆目标检测方法 | |
| CN112288857A (zh) | 一种基于深度学习的机器人语义地图物体识别方法 | |
| CN112784736B (zh) | 一种多模态特征融合的人物交互行为识别方法 | |
| CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
| CN107527054B (zh) | 基于多视角融合的前景自动提取方法 | |
| Wang et al. | An overview of 3d object detection | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN113705371B (zh) | 一种水上视觉场景分割方法及装置 | |
| CN110334584B (zh) | 一种基于区域全卷积网络的手势识别方法 | |
| CN110533720A (zh) | 基于联合约束的语义slam***及方法 | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| CN110533716A (zh) | 一种基于3d约束的语义slam***及方法 | |
| CN113705579A (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
| Liu et al. | PolishNet-2d and PolishNet-3d: Deep learning-based workpiece recognition | |
| CN114299339A (zh) | 一种基于区域相关性建模的三维点云模型分类方法及*** | |
| CN110348311B (zh) | 一种基于深度学习的道路交叉口识别***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |