CN115719377A - 一种六自由度位姿估计数据集自动采集*** - Google Patents

一种六自由度位姿估计数据集自动采集*** Download PDF

Info

Publication number
CN115719377A
CN115719377A CN202211482124.9A CN202211482124A CN115719377A CN 115719377 A CN115719377 A CN 115719377A CN 202211482124 A CN202211482124 A CN 202211482124A CN 115719377 A CN115719377 A CN 115719377A
Authority
CN
China
Prior art keywords
point cloud
frame
tree
pose
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211482124.9A
Other languages
English (en)
Inventor
陈鹏
孙翰翔
包倍源
陈海永
刘卫朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202211482124.9A priority Critical patent/CN115719377A/zh
Publication of CN115719377A publication Critical patent/CN115719377A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种六自由度位姿估计数据集自动采集***,包括数据采集平台及数据处理设备;数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列;数据处理设备内安装有数据标注软件算法,用于对目标场景的RGBD图像序列进行处理,对目标物体进行三维重建,得到三维模型,并基于三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。本发明能够自动对深度相机采集到的RGB‑D图像序列中场景物体的位姿信息、分割掩膜信息和物体的三维模型信息进行标注,由此获得的数据集可以供基于深度学习的机器人抓取神经网络模型进行训练和测试。

Description

一种六自由度位姿估计数据集自动采集***
技术领域
本发明涉及机器人技术领域,具体涉及一种六自由度位姿估计数据集自动采集***,适用于面向机器人抓取的深度学习网络模型的训练或测试数据集的标注环节。
背景技术
随着科学技术与工业现代化的快速发展,机器人产业迎来了新的发展机遇,市场占有规模日益增大,大量机器人被应用到分拣、装配、上料等实际生产任务中,在诸多行业中扮演了重要的角色。与传统人工操作相比,机器人具有操作准度高、***稳定性强、投资回报率高等优势。
而随着人工智能技术的快速崛起和智能硬件的不断迭代,计算机视觉与机器人技术日益紧密的联系在一起,机器人能够以相机作为“眼睛”来获取场景的视觉信息,实现与外界环境的交互。
机器人抓取是机器人分拣、装配、上料等作业过程中的关键环节,是实现机器人操作过程自动化、智能化的关键技术。机器人抓取又可以细分为三个子任务,即抓取检测、抓取规划和抓取控制。其中,抓取检测是抓取规划和抓取控制的基础,往往通过相机,特别是深度相机等光学仪器采集抓取场景的图像信息、深度信息,构造抓取场景的三维点云,进而通过算法估计目标物体的位置和姿态,构成抓取描述,引导机器人实现抓取。因此,一类常见的抓取检测方法会将目标物体三维模型与目标物体的实际点云进行配准,从而实现对目标物体的位姿估计。经典的算法包括基于模板匹配的LineMOD算法,基于投票的点对特征算法等。
随着人工智能技术的推广和应用,越来越多基于深度学习的位姿估计算法被应用到机器人无序抓取任务中。例如,基于改进KeypointRCNN模型的机器人抓取方法,基于PVNet的机器人抓取方法等。这些方法往往需要大量的数据来训练网络模型,以获得期望的位姿估计精度。数据集的丰富程度和标注质量会直接影响网络模型的性能。
目前,尽管已经出现了诸如LineMOD、HomebrewedDB、HOPE等专门用于六自由度位姿估计的数据集。但是由于数据集标注需要全部或者部分人工手动完成,因此标注工作费时费力,难以获得量大、面广的数据集标注结果。例如,LineMOD数据集中只为15个物体标注了大约1000个位姿标签和分割掩膜标签,HomebrewedDB数据集只对13个场景中的33个物体进行了标注,HOPE数据集则只对50个场景中的28个玩具物体进行标注。虽然,也有诸如ObjectDataSetTools的开源六自由度物***姿估计数据集制作工具,能够实现位姿估计数据集制作过程的自动化,即由给定的RGB-D图像序列可以自动标注位姿信息、分割掩膜信息和物体三维模型信息,但是该工具只能对单个物体进行标注,并且无法处理复杂场景以及物体间存在的遮挡问题,并且由于在三维重建过程中没有进行法方向一致化处理,因为三维重建结果经常会出现变形、撕裂等现象,大大降低了位姿估计数据集的标注质量。
发明内容
针对背景技术中所提及的技术缺陷,本发明实施例的目的在于实现拍摄场景中物体六自由度位姿数据的自动标注,从而为实现机器人无序抓取奠定基础,其中六自由位姿数据主要包括物体的位姿信息,物体在图像中的分割掩膜信息,以及物体的三维模型信息。
为实现上述目的,本发明实施例提供了一种六自由度位姿估计数据集自动采集***,包括数据采集平台和数据处理设备。其中,所述数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列;
所述数据处理设备内安装有数据标注软件算法,用于对目标场景的RGBD图像序列进行处理,对所述目标物体进行三维重建,得到三维模型,并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信。
作为本发明的一种具体实现方式,所述数据采集平台包括电动转台和机械臂;所述电动转台上放置目标物体,且所述电动转台接收上位机下发的控制指令,并根据所述控制指令进行旋转;所述机械臂的末端安装有所述深度相机,所述深度相机可拍摄目标物体各个角度的RGD图像,以得到所述RGBD图像序列。
进一步地,所述电动转台通过RS-232通信模块接收所述上位机下发的控制指令;所述控制指令包括电动转台的旋转角度和旋转速度。
作为一种具体实现方式,所述电动转台包括步进电机、皮带、亚克力板、底板及圆形滑轨,所述步进电机安装于所述底板,所述皮带安装于所述圆形滑轨上方,所述圆形滑轨通过两根螺柱安装于所述底板上方,所述皮带上方通过两根螺柱安装有所述亚克力板,所述亚克力板上带有ArUoc标记。
作为本发明的一种具体实现方式,所述数据处理设备采用数据标注软件算法对目标场景的RGBD图像序列进行处理,具体包括:
第一步,点云对齐:从RGBD图像序列中找到第k帧图像中m个ArUco标记的4个角点的三维坐标,记作Xk={xki|i=1,2,…,4m},然后确定帧与帧之间Xk的对应关系;根据每一帧图像的Xk及其与其它帧图像的对应关系,利用点云全局配准的算法计算出第k帧点云和第一帧点云的变换矩阵T1k,如果图像序列中共有n帧,则构成点云变换集合T1={T1k|k=1,2,…,n},即第k帧点云经过T1k变换后就可以和第1帧点云对齐;
第二步,三维重建:利用随机采样一致性算法对Xk进行平面拟合,并滤除每一帧点云中位于平面附近的点;根据集合T1中的T1k对第k帧点云进行位置和姿态的变换;对变换后的点云进行三维点云拼接,得到物体完整的点云,并经过点云平滑处理去除噪声,得到重建点云M;使用欧氏聚类分割算法对重建点云M进行分割,获得场景中c个物体的点云O={oi|i=1,2,…,c};
第三步,表面三角化:计算各个物体点云的法向量,并利用基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化;使用泊松表面重建算法对O进行三角化,得到每个物体的三维模型mi,i=1,2,…,c;
第四步,分割信息标注:将物体三维模型mi,i=1,2,…,c中的三角面逐个投影到相机平面,得到物体的分割掩膜序列;
第五步,位姿信息标注:计算各个物体三维模型mi的方向包围盒和包围盒的位姿变换矩阵
Figure BDA0003962126330000041
根据第一帧点云与第k帧点云的位姿变换关系T1k计算出第k帧点云中物体模型mi的六自由度位姿信息
Figure BDA0003962126330000042
其中,表面三角化步骤中,基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化,具体为:
(1)在主成分分析方法中,使用较大的邻域半径对点云进行法向估计,得到粗略的法向量;
(2)选择曲率最小的点作为最小生成树的根节点,并将其标记;
(3)计算所有未标记的点到树的距离,找到距离树最近的点pi,以及距离pi最近的树节点;
(4)将pi作为新的节点加入树中,并连接到距离它最近的树节点上,生成一个新的边,并标记pi
(5)重复步骤3和4,直到点云中所有的点都被加入到最小生成树中;
(6)遍历最小生成树的所有边,计算其两端连接的节点的法向量之间的夹角;如果夹角大于90°则反转后加入节点的法向量,从而得到具有一致方向的粗略法向量;
(7)在主成分分析方法中,使用较小的邻域半径对点云进行法向估计,得到精确的法向量;
(8)计算每个点的精确法向量和粗略法向量之间的夹角,如果夹角大于90°则将精确法向量反向,最终得到具有一致方向的精确法向量。
与现有技术相比,本发明的有益效果在于:仅利用RGB-D相机对放置在数据采集硬件平台上的目标拍摄图像序列,就能够自动获得目标的三维模型信息,六自由度位姿信息和分割掩膜信息,不需要使用3D扫描仪,也不需要人为干预拍摄过程。在生成物体三维模型过程中,本发明使用一种基于树状分层黎曼图的法向传播方法进行法线定向,确保物体表面点云法线方向的一致性,避免了由于法线方向不一致而导致三维模型变形、撕裂等现象,从而能够获得更加准确的三维模型。在此基础上,利用三角化的三维模型进行透视投影,获得更加精确图像分割掩膜信息。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的数据采集平台的示意图;
图2是本发明数据采集的示意图;
图3是本发明数据标注软件算法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
本发明的六自由度位姿估计数据集自动采集***包括数据采集平台(也可称为数据采集硬件平台)和数据处理设备。数据采集硬件平台用于利用深度相机拍摄目标场景的RGBD图像序列。数据采集硬件平台是一个带有ArUco标记的、可以放置待检测物体的电动转台,该电动转台能够通过RS-232通信模块与上位机进行通信。上位机将旋转角度和速度信息以指令形式下发,电动转台根据上位机的指令进行自动旋转。
所述数据处理设备内安装有数据标注软件算法,用于对目标场景的RGBD图像序列进行处理,对所述目标物体进行三维重建,得到三维模型,并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。
如图1所示,本发明提供的数据采集硬件平台为一个电动转台,包括步进电机1、皮带2、亚克力板3、底板4、圆形滑轨5、螺柱6-9、电机线10。亚克力板上带有ArUco标记,并固定在圆形滑轨的一端,另一端连接在皮带轮上,皮带轮通过皮带连接步进电机,步进电机拖动电动转台旋转。硬件***通过RS-232通信模块与上位机进行通信。上位机将旋转角度和速度信息以指令形式下发,电动转台根据上位机的指令进行旋转。使用该硬件平台进行数据集采集的过程(参见图2)是将深度相机安装到机械臂末端,然后将目标物体放置到电动转台上。电动转台转动固定角度后,使用深度相机拍摄一张RGB-D图像。当电动转台转动360°后,深度相机围绕物体拍摄多张RGB-D图像。然后改变机械臂末端位置,从而改变深度相机的拍摄视角,重复前面拍摄过程。经过多次不同视角拍摄后,就可以得到物体各个角度的RGB-D图像。在此基础上,利用本发明提供的数据标注软件算法对物体进行三维模型信息、六自由度位姿信息和图像分割掩膜信息的标注。
再请参考图3,本发明实施例提供的数据标注软件算法主要应用于自动标注目标物体的三维模型信息、六自由度位姿信息和图像分割掩膜信息。该方法的具体步骤是:
S1、点云对齐,通过利用ArUCo标记,实现每一帧点云与第一帧点云对齐;
S2、三维重建,对经过对齐的点云进行拼接,得到场景的完整点云;
S3、表面三角化,使用聚类分割算法对场景点云进行分割,得到场景中各个物体的点云,在此基础上,通过基于树状分层的黎曼图法相传播算法对物体点云进行法向量一致化,再通过使用泊松表面重建算法对物体点云进行三角化,得到物体的三维模型;
S4、标注分割信息,将物体三维模型的三角面逐个投影到相机的成像平面,得到物体的分割掩膜;
S5、获取物体三维模型并标注位姿信息,通过计算物体模型的方向包围盒及其位姿变换矩阵,将物体模型移动到三维坐标系原点并于三根坐标轴对齐,利用图像帧间的位姿变换关系得到每一帧点云中物体的位姿信息。
下面对各部分进行详述:
第一步:点云对齐。
本发明首先通过下面方法找到每帧图像中ArUco标记的角点的三维坐标。ArUco标记是可用于摄像机姿态估计的二进制方形基准标记。它是由宽黑色边框和确定其标识符的内部二进制矩阵组成的正方形标记。本发明在图像序列中检测ArUco标记四个角点在图像中的二维坐标,然后利用RGB图与深度图的像素对应关系,将二维坐标映射到深度图中,从而得到角点的三维坐标。如果共放置b个ArUco标记,则由第k帧图像可以得到角点集合Xk={xi|i=1,2,…,4b}。
假设由RGB-D图像序列获得的点云序列集合为P={Pi|i=1,2,…,n},通过多向配准算法,可以实现P中点云对齐。其过程是:先在P中实现两两点云之间的配准,若将P中的两个点云分别记作Pi和Pj,那么利用随机采样一致性算法对由ArUco标记获得的相应角点坐标集合Xi和Xj进行粗配准,就能够初步得到Pi和Pj粗略的刚体变换矩阵。在此基础上,进一步使用ICP算法对Pi和Pj中的所有三维点进行精配准,得到变换矩阵Tij,使得TijPi与Pj对齐。然后,将Pi作为位姿图的第i个节点,将相邻点云的变换矩阵,{Tij|i=1,2,…,n-1;j=i+1},作为位姿图的里程计边,将不相邻点云的变换矩阵{Tij|i=1,2,…,n-1;j≠i+1}作为位姿图的回环边,构建位姿图,并使用鲁棒性优化算法对位姿图进行优化。在经过优化的位姿图中将第k帧点云对于第1帧点云的变换矩阵取出,即构成变换矩阵集合T1={T1k|k=1,2,…,n},于是第k帧点云经过T1k变换后就可以和第1帧点云对齐。
第二步:三维重建。
利用RANSAC算法,对第k帧RGB-D图像中由ArUco标记获得的三维角点坐标集合Xk进行平面拟合,并滤除点云Pk中属于平面的点,从而在场景点云中只保留物体点云。将由此获得的物体点云序列记为Ps={Psk|k=1,2,...,n},根据T1对Ps中每一帧点云进行变换,使其与第1帧点云对齐,然后通过投票算法来融合变换后的点云,得到物体完整的点云M。使用滑动最小二乘算法来对融合后的点云M进行重采样,消除M中不光滑或者存在漏洞的区域。利用重采样算法还可以通过对周围数据点进行高阶多项式插值重建表面缺失部分,从而解决由多个扫描点造成“双墙”伪数据的问题,使得重建物体三维模型的表面更加平滑。物体表面三维重建的伪代码如下所示。
Figure BDA0003962126330000081
Figure BDA0003962126330000091
第三步:表面三角化
考虑到场景中通常会放置多个物体,因此需要对M中包含的物体进行分割来得到单个物体的点云集合O={oi|i=1,2,…,c}。本发明使用欧氏聚类点云分割算法来实现。
为了重建物体的曲面,对点云O进行三角化,来得到物体的三维模型。本发明使用泊松表面重建算法。泊松表面重建属于隐函数方法实现,其融合了全局和局部方法的优点,采取隐性拟合的方式,通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程,然后对该方程进行等值面提取,从而得到具有几何实体信息的表面模型。泊松表面重建算法需要点云和法线,并且法线需要具有一致性。点云的法线可以通过主成分分析方法进行估计,根据采样点及其邻近点的位置信息对曲面局部形状进行逼近,进而估计点云的法线方向。然而,通过该方法得到的法线方向往往不具备一致性,即某采样点的法向与其邻近点的法线方向会出现相反的情况。由此重建出的三维表面会出现变形、撕裂等现象。为此本发明提出一种基于最小生成树的法向传播方法来对物体法向量进行法向一致化,从而为表面重建算法提供准确一致的法向量。
基于最小生成树的法向传播算法的具体步骤是:
(1)在主成分分析方法中,使用较大的邻域半径对点云进行法向估计,得到粗略的法向量。
(2)选择曲率最小的点作为最小生成树的根节点,并将其标记。
(3)计算所有未标记的点到树的距离,找到距离树最近的点pi,以及距离pi最近的树节点。
(4)将pi作为新的节点加入树中,并连接到距离它最近的树节点上,生成一个新的边,并标记pi
(5)重复步骤3和4,直到点云中所有的点都被加入到最小生成树中。
(6)遍历最小生成树的所有边,计算其两端连接的节点的法向量之间的夹角。如果夹角大于90°则反转后加入节点的法向量,从而得到具有一致方向的粗略法向量。
(7)在主成分分析方法中,使用较小的邻域半径对点云进行法向估计,得到精确的法向量。
(8)计算每个点的精确法向量和粗略法向量之间的夹角,如果夹角大于90°则将精确法向量反向,最终得到具有一致方向的精确法向量。
在此基础上,使用泊松表面重建算法对物体点云集合O={oi|i=1,2,…,c}中的点云oi进行表面重建,即可得到各个物体三维模型mi
第四步:标注分割信息
物体的三维模型由多个三角面组成,在已知相机内参数的情况下可以将这些三角面投影到相机平面上,从而获得物体的分割掩膜。因为RGB图像和深度图已经被对齐,所以RGB图像和深度图具有相同的相机内参数。根据相机小孔成像模型,可以通过式(1)将三角面的顶点投影到二维图像中。
Figure BDA0003962126330000101
式中fx、fy、cx、cy为相机的内参数,X、Y、Z是三维坐标,u、v是三维坐标投影到图像的二维坐标。将三角面的三个顶点分别投影到图像坐标系中,再填充由三个投影点形成的三角形,就能够得到三角面在图像平面上的投影。对物体三维模型中所有的三角面进行投影就能够得到物体在图像中的分割掩膜。
第五步:获取物体三维模型并标注位姿信息。
由于已经获取了每一帧点云和第一帧点云之间的变换矩阵T1={T1k|k=1,2,…,n},并在此基础上将每一帧点云与第一帧点云对齐,因此重建的物体三维模型mi会与第一帧点云中的物体对齐。由mi计算物体模型的方向包围盒及其位姿变换矩阵
Figure BDA0003962126330000102
从而通过Tmi -1变换物体三维模型位姿,使其移动到三维坐标系原点,并且与三根坐标轴对齐。将经过
Figure BDA0003962126330000103
变换的物体三维模型作为最终的标注结果进行保存。
进一步,由第k帧点云与第一帧点云的位姿变换矩阵T1k可以计算出第k帧中物体模型mi的位姿标注信息
Figure BDA0003962126330000111
为:
Figure BDA0003962126330000112
综上可知,数据集自动采集平台的使用过程是:首先将物体放置于电动转台上,围绕物体摆放若干张ArUco标记,然后电动转台开始旋转,每转动一定角度使用深度相机拍摄一张RGBD图像,采集场景的RGBD图像序列。使用软件算法基于RGBD图像对场景中的物体进行三维重建,并标注其分割掩膜信息和位姿信息。
与现有技术相比,本发明的有益效果在于:仅利用RGB-D相机对放置在数据采集硬件平台上的目标拍摄图像序列,就能够自动获得目标的三维模型信息,六自由度位姿信息和分割掩膜信息,不需要使用3D扫描仪,也不需要人为干预拍摄过程。在生成物体三维模型过程中,本发明使用一种基于树状分层黎曼图的法向传播方法进行法线定向,确保物体表面点云法线方向的一致性,避免了由于法线方向不一致而导致三维模型变形、撕裂等现象,从而能够获得更加准确的三维模型。在此基础上,利用三角化的三维模型进行透视投影,获得更加精确图像分割掩膜信息。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种六自由度位姿估计数据集自动采集***,包括数据采集平台及数据处理设备,其特征在于,所述数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列;
所述数据处理设备内安装有数据标注软件算法,用于对目标场景的RGBD图像序列进行处理,对所述目标物体进行三维重建,得到三维模型,并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。
2.如权利要求1所述的自动采集***,其特征在于,所述数据采集平台包括电动转台和机械臂;所述电动转台上放置目标物体,且所述电动转台接收上位机下发的控制指令,并根据所述控制指令进行旋转;所述机械臂的末端安装有所述深度相机,所述深度相机可拍摄目标物体各个角度的RGD图像,以得到所述RGBD图像序列。
3.如权利要求2所述的自动采集***,其特征在于,所述电动转台通过RS-232通信模块接收所述上位机下发的控制指令;所述控制指令包括电动转台的旋转角度和旋转速度。
4.如权利要求2所述的自动采集***,其特征在于,所述电动转台包括步进电机、皮带、亚克力板、底板及圆形滑轨,所述步进电机安装于所述底板,所述皮带安装于所述圆形滑轨上方,所述圆形滑轨通过两根螺柱安装于所述底板上方,所述皮带上方通过两根螺柱安装有所述亚克力板,所述亚克力板上带有ArUoc标记。
5.如权利要求1所述的自动采集***,其特征在于,所述数据处理设备采用数据标注软件算法对目标场景的RGBD图像序列进行处理,具体包括:
第一步,点云对齐:从RGBD图像序列中找到第k帧图像中m个ArUco标记的4个角点的三维坐标,记作Xk={xki|i=1,2,…,4m},然后确定帧与帧之间Xk的对应关系;根据每一帧图像的Xk及其与其它帧图像的对应关系,利用点云全局配准的算法计算出第k帧点云和第一帧点云的变换矩阵T1k,如果图像序列中共有n帧,则构成点云变换集合T1={T1k|k=1,2,…,n},即第k帧点云经过T1k变换后就可以和第1帧点云对齐;
第二步,三维重建:利用随机采样一致性算法对Xk进行平面拟合,并滤除每一帧点云中位于平面附近的点;根据集合T1中的T1k对第k帧点云进行位置和姿态的变换;对变换后的点云进行三维点云拼接,得到物体完整的点云,并经过点云平滑处理去除噪声,得到重建点云M;使用欧氏聚类分割算法对重建点云M进行分割,获得场景中c个物体的点云O={oi|i=1,2,…,c};
第三步,表面三角化:计算各个物体点云的法向量,并利用基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化;使用泊松表面重建算法对O进行三角化,得到每个物体的三维模型mi,i=1,2,…,c;
第四步,分割信息标注:将物体三维模型mi,i=1,2,…,c中的三角面逐个投影到相机平面,得到物体的分割掩膜序列;
第五步,位姿信息标注:计算各个物体三维模型mi的方向包围盒和包围盒的位姿变换矩阵Tmi,根据第一帧点云与第k帧点云的位姿变换关系T1k计算出第k帧点云中物体模型mi的六自由度位姿信息
Figure FDA0003962126320000021
6.如权利要求5所述的自动采集***,其特征在于,表面三角化步骤中,基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化,具体为:
(1)在主成分分析方法中,使用较大的邻域半径对点云进行法向估计,得到粗略的法向量;
(2)选择曲率最小的点作为最小生成树的根节点,并将其标记;
(3)计算所有未标记的点到树的距离,找到距离树最近的点pi,以及距离pi最近的树节点;
(4)将pi作为新的节点加入树中,并连接到距离它最近的树节点上,生成一个新的边,并标记pi
(5)重复步骤3和4,直到点云中所有的点都被加入到最小生成树中;
(6)遍历最小生成树的所有边,计算其两端连接的节点的法向量之间的夹角;
如果夹角大于90°则反转后加入节点的法向量,从而得到具有一致方向的粗略法向量;
(7)在主成分分析方法中,使用较小的邻域半径对点云进行法向估计,得到精确的法向量;
(8)计算每个点的精确法向量和粗略法向量之间的夹角,如果夹角大于90°则将精确法向量反向,最终得到具有一致方向的精确法向量。
CN202211482124.9A 2022-11-24 2022-11-24 一种六自由度位姿估计数据集自动采集*** Pending CN115719377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211482124.9A CN115719377A (zh) 2022-11-24 2022-11-24 一种六自由度位姿估计数据集自动采集***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211482124.9A CN115719377A (zh) 2022-11-24 2022-11-24 一种六自由度位姿估计数据集自动采集***

Publications (1)

Publication Number Publication Date
CN115719377A true CN115719377A (zh) 2023-02-28

Family

ID=85256281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211482124.9A Pending CN115719377A (zh) 2022-11-24 2022-11-24 一种六自由度位姿估计数据集自动采集***

Country Status (1)

Country Link
CN (1) CN115719377A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN117953059A (zh) * 2024-01-31 2024-04-30 武汉科技大学 一种基于rgb-d图像的方形吊装物姿态估计方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN116763295B (zh) * 2023-08-11 2024-02-06 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN117953059A (zh) * 2024-01-31 2024-04-30 武汉科技大学 一种基于rgb-d图像的方形吊装物姿态估计方法

Similar Documents

Publication Publication Date Title
US9436987B2 (en) Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
CN111462135A (zh) 基于视觉slam与二维语义分割的语义建图方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN108416428B (zh) 一种基于卷积神经网络的机器人视觉定位方法
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取***
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
Kim et al. Development of an AR based method for augmentation of 3D CAD data onto a real ship block image
EP0895189B1 (en) Method for recovering radial distortion parameters from a single camera image
Oe et al. Estimating camera position and posture by using feature landmark database
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
Yang et al. CubeSLAM: Monocular 3D object detection and SLAM without prior models
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
CN115719377A (zh) 一种六自由度位姿估计数据集自动采集***
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
JP2001101419A (ja) 画像特徴追跡処理方法、画像特徴追跡処理装置、3次元データ作成方法
Hyeon et al. Automatic spatial template generation for realistic 3d modeling of large-scale indoor spaces
CN116664622A (zh) 一种视觉运动控制方法和装置
CN115641373A (zh) 融合点云和图像的交互式三维测距算法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination