CN113393503B - 一种分割驱动形状先验变形的类别级物体6d位姿估计方法 - Google Patents

一种分割驱动形状先验变形的类别级物体6d位姿估计方法 Download PDF

Info

Publication number
CN113393503B
CN113393503B CN202110565820.5A CN202110565820A CN113393503B CN 113393503 B CN113393503 B CN 113393503B CN 202110565820 A CN202110565820 A CN 202110565820A CN 113393503 B CN113393503 B CN 113393503B
Authority
CN
China
Prior art keywords
point
point cloud
loss
deformation
prior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110565820.5A
Other languages
English (en)
Other versions
CN113393503A (zh
Inventor
孙炜
刘崇沛
刘剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110565820.5A priority Critical patent/CN113393503B/zh
Publication of CN113393503A publication Critical patent/CN113393503A/zh
Application granted granted Critical
Publication of CN113393503B publication Critical patent/CN113393503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种分割驱动形状先验变形的类别级物体6D位姿估计方法，包括通过三维相机获取数据，检测出物体包围框和类别标签，利用多模态特征的实例分割网络分割数据得到图像块和点云，将点云零均值化，形状先验通过形状变形网络输出重建物体模型，通过物体模型和物体点云之间的配准获得物体6D位姿估计，本发明使得6D位姿估计在适应性、准确率等性能上得到显著提升。

Description

一种分割驱动形状先验变形的类别级物体6D位姿估计方法
技术领域
本发明属于机器人环境感知技术领域，尤其涉及一种分割驱动形状先验变形的类别级物体6D位姿估计方法。
背景技术
基于计算机视觉的机器人环境感知技术的目标是给机器人提供目标物体的信息，解决物体是什么以及在哪里的问题，该类技术以其适用范围广、高度柔性化的特点已渗透到各个领域，如智能制造、自动驾驶、智能物流等。物体6D 位姿估计，是指估计相机坐标系下物体的6D位姿，即3D位置和3D姿态，也等价于相机坐标系到物体坐标系的旋转和平移变换。6D位姿估计的主要应用有虚拟现实、增强现实、智能机器人。
位姿估计方法根据对物体的泛化能力，分为实例级位姿估计、类别级位姿估计。实例级位姿估计适用于出现在训练集、给定物体模型的物体，它们大致分为三类：基于模板匹配，基于投票的方法和基于对应的方法。模板匹配方法通过手工或深度学习特征描述符将模板与观察到的图像或深度图进行匹配，将模板对应的6D位姿标注作为估计结果。直接从输入图像中回归6D位姿，可以认为是从标注的图像中隐式找到最相似的图像(模板)。基于投票的方法，聚合局部采样的RGB-D图像块产生的6D位姿投票。基于对应的方法依赖于建立2D-3D对应或3D-3D对应，然后通过求解PnP(perspective-n-point)或SVD问题获得6D位姿。
类别级位姿估计可估计某一类物体的位姿，只要该类别物体在训练集中出现过，该类方法的主要挑战是同类物体间的外观变化，包括形状和颜色变化。现有的方法往往是通过RGB特征或RGB-D特征将同一类别的不同物体转换到一个统一的空间。NOCS(归一化物体坐标空间)就是一种对同一类别中不同物体实例的规范表示，通过配准物体点云与NOCS坐标集可求得6D位姿。
现有专利所描述的方法均属于实例级位姿估计的范畴，该类方法只适用于已知物体，对于新物体的检测性能较差，难以用于物体频繁更新的场景。Shape prior是类别级位姿估计方法中具有先进性能的方法，通过估计形状先验的变形这一中间步骤更好的生成NOCS坐标集，但仅利用RGB图像分割物体，不准确的分割限制了该方法的性能
综上所述，现有实例级位姿估计方法存在固有缺陷，泛化性能差，难以用于物体频繁更新的场景，而现有类别级位姿估计方法的性能仍有待提升，本发明公开了一种分割驱动形状先验变形的类别级物体6D位姿的估计方法。
名词解释：
形状先验：数据形式是点云，可以视为某一类物体的形状的平均值，提供了某类物体的几何先验信息。不同的物体形状各异，但同类物体往往在语义和几何结构上表现出相似性，如马克杯通常有一个圆柱杯体加一个手柄。
变形场：使形状先验变形的场域，形式为逐点平移向量的集合。
发明内容
为解决上述问题，本发明提出一种分割驱动形状先验变形的类别级物体6D 位姿估计方法，在物体频繁更新的应用场景下，可实现快速、准确、鲁邦地6D 位姿估计。
为实现上述目的，本发明的技术方案为：
一种分割驱动形状先验变形的类别级物体6D位姿估计方法，包括以下步骤：
S1:通过三维相机获取数据，所述数据包括2D图像和点云，2D图像输入2D 物体检测器得到图像块和类别标签；
S2：将所述图像块、点云和类别标签输入到多模态特征的实例分割网络中分割，得到物体图像块和物体点云；
S3：将物体点云每个点的坐标减去点云中心坐标，将点云中心平移到原点，得到零均值化的物体点云；
S4：引入形状先验，将形状先验、物体图像块和零均值化的物体点云输入形状变形网络得到施加在形状先验上的变形场，形状先验叠加变形场得到重建物体模型；
S5：通过重建物体模型和物体点云之间的配准获得物体6D位姿估计。
进一步的改进，所述2D图像通过包围框裁剪得到图像块。
进一步的改进，所述S2包括如下步骤：
S21：利用颜色嵌入网络提取图像块的颜色特征；所述包围框通过相机参数投影到三维空间裁剪点云得到点云块，利用点云嵌入网络提取点云块的几何特征；
S22：所述颜色特征和几何特征逐点融合，得到融合特征，所述融合特征输入多层感知机并经过最大池化得到全局特征；
S23：融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数最高的二值类别作为结果实现物体分割，得到物体图像块和物体点云；采用二值交叉熵损失函数Lseg作为物体分割的损失函数。
进一步的改进，所述S4包括如下步骤：
S41：形状先验、物体图像块和零均值化的物体点云
Figure BDA0003080657540000031
作为形状变形网络的输入，
S42：物体图像块通过颜色嵌入网络提取颜色特征，零均值化的物体点云
Figure BDA0003080657540000032
通过点云嵌入网络提取几何特征，所述颜色特征和几何特征结合得到实例点特征，形状先验
Figure BDA0003080657540000033
通过多层感知机提取先验点特征，其中Tnor表示零均值化的物体点云、Sc表示形状先验、R表示实数、Nc表示形状先验中点的数量、Nt表示物体点云中点的数量；
S43：所述实例点特征经过多层感知机和平均池化得到实例全局特征，所述先验点特征经过多层感知机和平均池化得到先验全局特征；
S44：所述实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征；
S45：实例融合特征通过连续卷积生成施加在形状先验上的变形场
Figure BDA0003080657540000034
所述变形场
Figure BDA0003080657540000035
施加在形状先验上，得到重建物体模型S＝Sc+O；Sc表示的是形状先验；先验融合特征通过连续卷积生成对应矩阵A，对应矩阵A中的第i行代表Tnor中的第i点与S所有点的软对应关系，物体点云对应的NOCS坐标集P通过A乘S获得：P＝A×S＝A(Sc+O)；
S46：设置若干损失对形状变形网络进行监督。
进一步的改进，所述损失包括重建损失、对应损失和正则化损失。
进一步的改进，所述重建损失是使用重建物体模型S与物体的真实模型Sgt之间的倒角距离来衡量形状差异，用来监督变形场O，重建损失利用如下损失函数得到：
可以利用Lcd＝dcd(S,Sgt)＝dcd(Sc+O,Sgt)
其中
Figure BDA0003080657540000041
Lcd表示的是重建损失、x表示的是S中一个点的坐标、y表示的是Sgt中与x 对应的点的坐标、dcd表示的是倒角距离(Chamfer Distance)。
进一步的改进，对于非对称物体所述对应损失是利用NOCS坐标集通过L1平滑损失函数对对应矩阵A进行监督，所述对应损失的函数式如下：
Figure BDA0003080657540000042
其中u＝(u1,u2,u3)∈P、v＝(v1,v2,v3)∈Pgt
上述Lcorr表示的是对应损失、u表示的是P中一点的坐标、v表示的是Pgt中与u对应的点的坐标、Pgt是P的标注,表示物体点云在NOCS中对应的真实坐标集、ui表示u中的第i个数、vi表示v中的第i个数；
对于对称物体，由于对称物体的不同位姿可能外观相同，这里通过一种映射将歧义的位姿转化为规范位姿，具体映射方式如下：
Figure BDA0003080657540000043
其中
Figure BDA0003080657540000044
是使物体外观一致的旋转变换的集合、I3是3×3的单位矩阵、T表示的是旋转矩阵、E表示的是使物体外观一致的旋转变换。
进一步的改进，所述正则化损失包括交叉熵损失和变形损失。通过交叉熵损失最小化使Ai呈单峰分布，所述交叉熵损失的函数式为：
Figure BDA0003080657540000051
上述的Lentropy表示的是交叉熵损失、i表示行序号、j表示列序号、Ai，j表示对应矩阵A中第i行，第j列的元素、Ai表示对应矩阵A的第i行；并且通过正则化变形场O保证形状先验变形后各部分的语义信息不发生变化，所述变形损失的函数式如下：
Figure BDA0003080657540000052
其中Ldef表示的是变形损失、Nc表示的是形状先验其中点的数量、O表示的是变形场、di表示的是变形场O中第i个向量。
进一步的改进，最终的损失函数为：
L＝Lseg+λ1Lcd+λ2Lcorr+λ3Lentropy+λ4Ldef，
其中λ1、λ2、λ3、λ4是对应的损失权重，根据经验设置λ1＝4.0、λ2＝1.0、λ3＝1e-4、λ4＝0.01。
进一步的改进，所述S5采用基于RANSAC的Umeyama算法配准NOCS 坐标集P与物体点云生成6D位姿。
本发明的优点：本发明有效利用多模态信息，实现了高精度物体分割，点云零均值化降低了形状变形网络对平移的敏感性，使得6D位姿估计在适应性、准确率等性能上得到显著提升。
附图说明
图1为本发明的6D位姿估计方法***框架图；
图2为本发明的物体实例分割网络框架图；
图3为本发明的形状变形网络框架图。
具体实施方式
以下结合附图及实施例对本发明做进一步说明。
实施例1
下面结合图1对本次发明的实现步骤进行具体的描述：
步骤S1：首先，使用三维相机分别获取RGB图像与点云，将RGB图像输入 Mask R-CNN，获得物体包围框和类别标签。
步骤S2：图像块、点云和类别标签作为输入，基于多模态特征的实例分割网络分割出物体，得到物体图像块和物体点云。
步骤S201：利用包围框裁剪出图像块，利用PSPNet提取颜色特征；包围框通过相机参数投影到三维空间裁剪出点云块，利用基于PointNet的网络提取几何特征。两种特征逐点密集融合。
步骤S202：逐点融合特征输入多层感机并经过最大池化得到全局特征；融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数高的作为结果实现物体分割；分割得到物体图像块和物体点云。我们利用二值交叉熵损失Lseg作为监督实例分割的损失函数。
步骤S3：将形状先验、物体图像块和零均值化的物体点云输入到形状变形网络以预测将施加在形状先验上的变形场，变形后的形状先验作为物体模型。
步骤S301：物体点云每个点的坐标减去点云中心坐标，将点云平移到原点附近，完成基于分割的点云零均值化。
步骤S302：物体图像块与零均值化的点云
Figure BDA0003080657540000061
作为输入，类似步骤S201生成实例点特征。形状先验
Figure BDA0003080657540000062
通过多层感知机提取先验点特征。其中Nt，Nc为点的数量。
步骤S303：实例点特征经过多层感知机和平均池化得到实例全局特征。先验全局特征通过类似方法获得。实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征，这里全局特征的交换是关键。
步骤S304：实例融合特征通过1×1卷积核的连续卷积生成将施加在形状先验上的变形场
Figure BDA0003080657540000063
S＝Sc+O是最终重建物体模型。先验融合特征通过类似的方法生成对应矩阵A，A中的第i行代表Tnor中第i点与S所有点的软对应关系，近似一种数值分布。物体点云对应的NOCS坐标集P通过A乘S获得。
P＝A×S＝A(Sc+O)
步骤S305：为训练变形网络，设置以下损失进行监督。
第一是重建损失。使用重建物体模型S与物体的真实模型Sgt之间的倒角距离来衡量形状差异，以监督变形场O。
Lcd＝dcd(S,Sgt)＝dcd(Sc+O,Sgt)
其中
Figure BDA0003080657540000071
第二是对应损失，用于监督对应矩阵A。由于很难获得A的标注，而NOCS坐标集是将对应矩阵应用于重建模型的结果，且可以通过使用真实物体模型及其真实6D姿势轻松获得真实NOCS坐标集。这里使用NOCS坐标集间接地对其进行监督，使用L1平滑损失函数。
Figure BDA0003080657540000072
其中u＝(u1,u2,u3)∈P，v＝(v1,v2,v3)∈Pgt。
上述情况适用于非对称物体。对称物体不同位姿可能外观相同。换句话说，一个外观可能对应多个位姿标签，这不适合监督学习。因此，这里通过一种映射将歧义的位姿转化为规范位姿。具体来说，任意位姿通过下面的映射进行转换。
Figure BDA0003080657540000073
其中
Figure BDA0003080657540000074
是使物体外观一致的旋转的集合，I3是3×3的单位矩阵。对于对称物体，使用该映射来变换真实旋转标注。由于这里通过NOCS坐标集进行监督，因此也将对其进行相应的转换。
第三是正则化损失。NOCS坐标集P中的每个点，最多需要S中的3个点进行表示。这里通过损失函数最小化
Figure BDA0003080657540000075
使Ai呈单峰分布。为了保证形状先验变形后各部分的语义信息不发生变化，如，希望相机形状先验镜头上的点不会出现在相机的其他部位，通过正则化O:
Figure BDA0003080657540000081
以防止大的变形。
最终的损失函数为：L＝Lseg+λ1Lcd+λ2Lcorr+λ3Lentropy+λ4Ldef，其中λ1，λ2，λ3，λ4是对应损失的权重。
步骤S306：通过训练学习，直至损失收敛。取此时的深度学习模型预测物体点云对应的NOCS坐标集P。
步骤S4：采用基于RANSAC的Umeyama算法配准NOCS坐标集P与物体点云生成物体6D位姿。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，包括如下步骤：
S1:通过三维相机获取数据，所述数据包括2D图像和点云，2D图像输入2D物体检测器得到图像块和类别标签；所述2D图像通过包围框裁剪得到图像块；
S2：将所述图像块、点云和类别标签输入到多模态特征的实例分割网络中分割，得到物体图像块和物体点云：
S21：利用颜色嵌入网络提取图像块的颜色特征；所述包围框通过相机参数投影到三维空间裁剪点云得到点云块，利用点云嵌入网络提取点云块的几何特征；
S22：所述颜色特征和几何特征逐点融合，得到融合特征，所述融合特征输入多层感知机并经过最大池化得到全局特征；
S23：融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数最高的二值类别作为结果实现物体分割，得到物体图像块和物体点云；采用二值交叉熵损失函数Lseg作为物体分割的损失函数；
S3：将物体点云每个点的坐标减去点云中心坐标，将点云中心平移到原点，得到零均值化的物体点云；
S4：引入形状先验，将形状先验、物体图像块和零均值化的物体点云输入形状变形网络得到施加在形状先验上的变形场，形状先验叠加变形场得到重建物体模型：
S41：形状先验、物体图像块和零均值化的物体点云
Figure FDA0003581659760000011
作为形状变形网络的输入，
S42：物体图像块通过颜色嵌入网络提取颜色特征，零均值化的物体点云
Figure FDA0003581659760000021
通过点云嵌入网络提取几何特征，所述颜色特征和几何特征结合得到实例点特征，形状先验
Figure FDA0003581659760000022
通过多层感知机提取先验点特征，其中Tnor表示零均值化的物体点云、Sc表示形状先验、R表示实数、Nc表示形状先验中点的数量、Nt表示物体点云中点的数量；
S43：所述实例点特征经过多层感知机和平均池化得到实例全局特征，所述先验点特征经过多层感知机和平均池化得到先验全局特征；
S44：所述实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征；
S45：实例融合特征通过连续卷积生成施加在形状先验上的变形场
Figure FDA0003581659760000023
所述变形场
Figure FDA0003581659760000024
施加在形状先验上，得到重建物体模型S＝Sc+O；Sc表示的是形状先验；先验融合特征通过连续卷积生成对应矩阵A，对应矩阵A中的第i行代表Tnor中的第i点与S所有点的软对应关系，物体点云在NOCS中对应的坐标集P通过A乘S获得：P＝A×S＝A(Sc+O)；
S46：设置若干损失对形状变形网络进行监督；
S5：通过重建物体模型和物体点云之间的配准获得物体6D位姿。
2.如权利要求1所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述损失包括重建损失、对应损失和正则化损失。
3.如权利要求2所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述重建损失是使用重建物体模型S与物体的真实模型Sgt之间的倒角距离来衡量形状差异，用来监督变形场O，重建损失利用如下损失函数得到：
可以利用Lcd＝dcd(S,Sgt)＝dcd(Sc+O,Sgt)
其中
Figure FDA0003581659760000025
Lcd表示的是重建损失、x表示的是S中一个点的坐标、y表示的是Sgt中与x 对应的点的坐标、dcd表示的是倒角距离(Chamfer Distance)。
4.如权利要求3所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，对于非对称物体所述对应损失是利用NOCS坐标集通过L1平滑损失函数对对应矩阵A进行监督，所述对应损失如下：
Figure FDA0003581659760000031
其中u＝(u1,u2,u3)∈P、v＝(v1,v2,v3)∈Pgt
上述Lcorr表示的是对应损失、Pgt是P的标注,表示物体点云在NOCS中对应的真实坐标集、u表示的是P中一点的坐标、v表示的是Pgt中与u对应的点的坐标、ui表示u中的第i个数、vi表示v中的第i个数；
对于对称物体，由于对称物体的不同位姿可能外观相同，这里通过一种映射将歧义的位姿转化为规范位姿，具体映射方式如下：
Figure FDA0003581659760000032
当对称物体完成映射后，再通过平滑损失函数计算对应损失，
其中
Figure FDA0003581659760000033
是使物体外观一致的旋转变换的集合、I3是3×3的单位矩阵、T表示的是旋转矩阵、E表示的是使物体外观一致的旋转变换。
5.如权利要求4所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述正则化损失包括交叉熵损失和变形损失；通过交叉熵损失最小化使Ai呈单峰分布，所述交叉熵损失的函数式为：
Figure FDA0003581659760000034
上述的Lentropy表示的是交叉熵损失、i表示行序号、j表示列序号、Ai，j表示对应矩阵A中第i行，第j列的元素、Ai表示对应矩阵A的第i行；
并且通过正则化变形场O保证形状先验变形后各部分的语义信息不发生变化，所述变形损失的函数式如下：
Figure FDA0003581659760000035
其中Ldef表示的是变形损失、O表示的是变形场、di表示的是变形场O中第i个向量。
6.如权利要求5所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，最终的损失函数为：
L＝Lseg+λ1Lcd+λ2Lcorr+λ3Lentropy+λ4Ldef，其中λ1、λ2、λ3、λ4是对应的损失权重，根据经验设置λ1＝4.0、λ2＝1.0、λ3＝1e-4、λ4＝0.01。
7.如权利要求1所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述S5采用基于RANSAC的Umeyama算法配准NOCS坐标集P与物体点云生成6D位姿。
CN202110565820.5A 2021-05-24 2021-05-24 一种分割驱动形状先验变形的类别级物体6d位姿估计方法 Active CN113393503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110565820.5A CN113393503B (zh) 2021-05-24 2021-05-24 一种分割驱动形状先验变形的类别级物体6d位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565820.5A CN113393503B (zh) 2021-05-24 2021-05-24 一种分割驱动形状先验变形的类别级物体6d位姿估计方法

Publications (2)

Publication Number Publication Date
CN113393503A CN113393503A (zh) 2021-09-14
CN113393503B true CN113393503B (zh) 2022-05-27

Family

ID=77618843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565820.5A Active CN113393503B (zh) 2021-05-24 2021-05-24 一种分割驱动形状先验变形的类别级物体6d位姿估计方法

Country Status (1)

Country Link
CN (1) CN113393503B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332211B (zh) * 2022-01-06 2022-12-13 南京航空航天大学 一种基于边缘重建和密集融合网络的零件位姿计算方法
CN115115700B (zh) * 2022-05-17 2023-04-11 清华大学 物体的姿态估计方法、装置、电子设备及存储介质
CN116245940B (zh) * 2023-02-02 2024-04-05 中国科学院上海微***与信息技术研究所 基于结构差异感知的类别级六自由度物***姿估计方法
CN117576217B (zh) * 2024-01-12 2024-03-26 电子科技大学 一种基于单实例图像重建的物***姿估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN111652085A (zh) * 2020-05-14 2020-09-11 东莞理工学院 基于2d与3d特征结合的物体识别方法
EP3761268A1 (en) * 2019-07-02 2021-01-06 Tata Consultancy Services Limited System and method for integrating objects in monocular slam
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977827B2 (en) * 2018-03-27 2021-04-13 J. William Mauchly Multiview estimation of 6D pose

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
EP3761268A1 (en) * 2019-07-02 2021-01-06 Tata Consultancy Services Limited System and method for integrating objects in monocular slam
CN111652085A (zh) * 2020-05-14 2020-09-11 东莞理工学院 基于2d与3d特征结合的物体识别方法
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
17篇6D姿态估计算法汇总（含论文，代码及解读）;小凡;《极术社区https://aijishu.com/a/1060000000087053》;20200114;全文 *
PointPoseNet: Point Pose Network for Robust 6D Object Pose Estimation;Wei Chen,et al;《2020 IEEE Winter Conference on Applications of Computer Vision (WACV)》;20200514;第2813-2822页 *
RANSAC Optimization for Category-level 6D Object Pose Estimation;Ying Chen,et al;《2020 5th International Conference on Mechanical, Control and Computer Engineering (ICMCCE)》;20210513;第50-56页 *
Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation;Meng Tian,et al;《Computer Vison-ECCV2020》;20201112;第530-546页 *

Also Published As

Publication number Publication date
CN113393503A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113393503B (zh) 一种分割驱动形状先验变形的类别级物体6d位姿估计方法
Labbé et al. Cosypose: Consistent multi-view multi-object 6d pose estimation
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及***
Guerry et al. Snapnet-r: Consistent 3d multi-view semantic labeling for robotics
Engelmann et al. Joint object pose estimation and shape reconstruction in urban street scenes using 3D shape priors
JP6011102B2 (ja) 物体姿勢推定方法
Liu et al. Deep learning based 3D target detection for indoor scenes
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
Grabner et al. Location field descriptors: Single image 3d model retrieval in the wild
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN110895683B (zh) 一种基于Kinect的单视点手势姿势识别方法
Huang et al. Non-local weighted regularization for optical flow estimation
CN112750198A (zh) 一种基于非刚性点云的稠密对应预测方法
Tao et al. Indoor 3D semantic robot VSLAM based on mask regional convolutional neural network
EP4107650A1 (en) Systems and methods for object detection including pose and size estimation
CN112686952A (zh) 一种图像光流计算***、方法及应用
Hou et al. Multi-modal feature fusion for 3D object detection in the production workshop
Kanaujia et al. Part segmentation of visual hull for 3d human pose estimation
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
Guo et al. A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN113487741A (zh) 稠密三维地图更新方法及装置
Wang et al. A novel real-time semantic-assisted LiDAR odometry and mapping system
Zhang et al. Human model adaptation for multiview markerless motion capture
Lin et al. 6D object pose estimation with pairwise compatible geometric features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant