CN113409384B - 一种目标物体的位姿估计方法和***、机器人 - Google Patents

一种目标物体的位姿估计方法和***、机器人 Download PDF

Info

Publication number
CN113409384B
CN113409384B CN202110939214.5A CN202110939214A CN113409384B CN 113409384 B CN113409384 B CN 113409384B CN 202110939214 A CN202110939214 A CN 202110939214A CN 113409384 B CN113409384 B CN 113409384B
Authority
CN
China
Prior art keywords
image
dimensional
target object
loss function
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939214.5A
Other languages
English (en)
Other versions
CN113409384A (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202110939214.5A priority Critical patent/CN113409384B/zh
Publication of CN113409384A publication Critical patent/CN113409384A/zh
Application granted granted Critical
Publication of CN113409384B publication Critical patent/CN113409384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种目标物体的位姿估计方法和***、机器人，其中位姿估计方法包括：获取待处理图像；将待处理图像输入一目标检测网络中以得到目标检测结果图像；将目标检测结果图像输入训练好的视图重建模型中以得到三维重建图像，三维重建图像包括三个通道，用于表示像素对应的三维坐标；根据像素的二维坐标和对应的三维坐标计算变换矩阵；根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿。由于通过训练得到视图重建模型，用于建立图像中像素的二维坐标和对应的三维坐标的映射关系，通过视图重建模型能够得到覆盖目标物体的三维重建图像，得到每个像素对应的三维坐标，可以适应低纹理、具有反光表面或者有部分被遮挡的物体的位姿估计。

Description

一种目标物体的位姿估计方法和***、机器人
技术领域
本发明涉及机器视觉技术领域，具体涉及一种目标物体的位姿估计方法和***、机器人。
背景技术
在机器人领域，自主抓取目标物体是智能机器人的一种关键能力，其中，对于散乱物体的抓取，也一直是实现机器人智能化的关键，机器人抓取散乱物体的能力可以应用于零件的分拣等场景，提高工作效率。但目前的机器人要执行一个复杂的新的抓取任务，需要花上数周时间来重新编程，这让现代制造业生产线的重组变得十分昂贵和缓慢。而且，机器人大多应用于特定的环境，针对特定的已知物体进行抓取操作，对于不确定环境下，不同位姿摆放的未知物体，让机器人自主决定被抓取物体的抓取部位和抓取夹持器的抓取位姿，目前技术还不成熟。如果能实现机器人自主抓取散乱物体，就可以减少机器人示教编程的时间，更好的实现自动化制造的柔性化和智能化，适应目前多品类、小批量的生产需求，满足产品更新换代时制造设备快速更新的需求。而对于散乱物体的姿态识别，是控制机器人进行散乱物体抓取的重要一步。
计算机视觉技术在机器人非结构化场景感知中占据重要的地位。视觉图像是获取真实世界信息的有效手段，利用视觉图像通过视觉感知算法提取操作对象的特征，如物体的位置、角度、姿态等信息，利用这些信息能够使机器人执行对应操作，完成指定作业任务。对于零件的分拣而言，目前已经能够利用视觉传感器获取场景数据，但如何从场景中识别目标物体，并估计其位置和姿态，则是十分关键的问题，这对于机器人抓取位置和抓取路径的计算非常重要。目前，物***姿估计主要有两大类方法：一种是基于传统的点云或者图像分析算法进行估计，一种是基于深度学习，通过学习目标检测和位姿迭代方法进行估计。第一种方法主要根据图像或者三维点云模板信息进行位姿的识别和匹配，缺点是对于每一个物体都需要根据拍摄的图像或者CAD数据创建模板，对于多种零件需要创建多种模板，产品换型周期长。位姿估计主要是进行6D(三维坐标定位和三维方向)位姿估计，通过将从图像中提取的局部特征与物体三维模型中的特征进行匹配，利用二维坐标与三维坐标的对应关系，可以得到物体的6D位姿。但是这些方法不能很好地处理低纹理对象，因为只能提取到很少的局部特征。同样的，现有的基于深度学习的主流位姿估计算法大都依赖于物体表面的颜色、纹理等信息，而工业生产中的零件大多属于低纹理的物体，易受到光照条件的影响，使得从二维图像中反映出来的纹理不一定是三维物体表面真实的纹理，而且当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差，不容易进行特征提取，使得这类算法对于低纹理、具有反光表面的零件识别效果较差。在实际情况中，还常常存在目标物体有部分被遮挡的问题，这也导致难以获取物体表面的局部特征或颜色、纹理等信息。为了处理低纹理物体，有两类方法，第一类方法是估计输入图像中物体像素或关键点的三维坐标，这样就建立了二维坐标与三维坐标的对应关系，从而可以进行6D位姿估计；第二类方法是通过对位姿空间离散化，将6D位姿估计问题转化为位姿分类问题或位姿回归问题。这些方法能够处理低纹理的物体，但难以实现高精度的位姿估计，在分类或回归阶段的小误差就将直接导致位姿不匹配。
发明内容
本申请提供一种目标物体的位姿估计方法和***、机器人和计算机可读存储介质，旨在解决现有位姿估计方法大都依赖于物体表面的颜色、纹理等信息而导致对于低纹理、具有反光表面的物体的位姿估计效果较差的问题。
根据第一方面，一种实施例中提供一种目标物体的位姿估计方法，包括：
获取待处理图像；
将所述待处理图像输入一目标检测网络中以对待处理图像中的目标物体进行检测，得到目标检测结果图像；
将所述目标检测结果图像输入预先训练好的视图重建模型中以得到三维重建图像，所述三维重建图像包括三个通道，用于表示像素对应的三维坐标；
根据像素的二维坐标和对应的三维坐标计算变换矩阵；
根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿。
一种实施例中，所述视图重建模型通过以下方式训练：
获取样本图像和对应的三维坐标标记图像I GT ；
将所述样本图像输入所述目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ；
将所述目标检测结果图像I src 输入所述视图重建模型中以得到三维重建图像I 3D ，所述三维重建图像包括三个通道，用于表示像素对应的预测三维坐标；
根据每个像素对应的预测三维坐标
Figure 863110DEST_PATH_IMAGE001
和三维坐标标记值
Figure DEST_PATH_IMAGE002
计算每个像素的实际重建误差
Figure 807014DEST_PATH_IMAGE003
，利用所有像素的实际重建误差构建第一损失函数，上标i表示第i个像素；
将所述三维重建图像I 3D 和所述三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure DEST_PATH_IMAGE004
，利用所有像素的预测重建误差
Figure 508123DEST_PATH_IMAGE004
和实际重建误差
Figure 106594DEST_PATH_IMAGE005
构建第二损失函数；
利用将所述三维重建图像输入到所述误差回归判别网络得到的结果，和将所述三维坐标标记图像输入到所述误差回归判别网络得到的结果构建第三损失函数；
利用所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和构建总损失函数，根据所述总损失函数利用反向传播算法对所述视图重建模型和所述误差回归判别网络进行训练，得到所述视图重建模型的参数。
一种实施例中，所述第一损失函数为
Figure DEST_PATH_IMAGE006
，
其中，n表示像素的个数，λ为预设的权重值，F表示图像中属于目标物体的像素构成的集合；
对于对称物体，第一损失函数为
Figure 78224DEST_PATH_IMAGE007
，
其中，sym表示对称物体所有对称姿态的集合，p表示第p个对称姿态，R P 表示第p个对称姿态的变换矩阵；
所述第二损失函数函数为
Figure DEST_PATH_IMAGE008
，
所述第三损失函数为
Figure 431845DEST_PATH_IMAGE009
，
其中，J为所述误差回归判别网络的标识，G为所述视图重建模型的标识，G(I src )表示所述三维重建图像，J(G(I src ))表示所述三维重建图像输入到所述误差回归判别网络得到的结果，J(I GT )表示所述三维坐标标记图像输入到所述误差回归判别网络得到的结果；
所述总损失函数为
Figure DEST_PATH_IMAGE010
，
对于对称物体，总损失函数为
Figure DEST_PATH_IMAGE011
，
其中，α和β为预设的权重值。
一种实施例中，所述三维坐标标记图像通过以下方式得到：根据预知的目标物体三维坐标和图像平面二维坐标的变换关系，将目标物体上的点映射为图像平面上的像素，并将目标物体三维坐标归一化，作为图像平面上对应像素的RGB值，从而得到所述三维坐标标记图像。
一种实施例中，所述视图重建模型为自编码器结构，包括编码器和解码器，所述编码器和所述解码器通过一个或多个全连接层连接，所述编码器中若干层的输出和所述解码器中对称的层的输出进行通道拼接。
一种实施例中，所述根据变换矩阵计算得到等效轴角和等效旋转轴，包括：
根据以下公式计算等效轴角：
Figure DEST_PATH_IMAGE012
，
根据以下公式计算等效旋转轴：
Figure 652873DEST_PATH_IMAGE013
，
其中，r 11 、r 12 、r 13 、r 21 、r 22 、r 23 、r 31 、r 32 、r 33 为所述变换矩阵的元素，所述变换矩阵具体为：
Figure DEST_PATH_IMAGE014
。
根据第二方面，一种实施例中提供一种目标物体的位姿估计***，包括：
图像获取模块，用于获取待处理图像；
目标检测网络，与所述图像获取模块连接，用于对所述待处理图像中的目标物体进行检测，得到目标检测结果图像；
视图重建模型，与所述目标检测网络连接，用于对所述目标检测结果图像进行计算以得到三维重建图像，所述三维重建图像包括三个通道，用于表示像素对应的三维坐标；
变换矩阵计算模块，用于根据像素的二维坐标和对应的三维坐标计算变换矩阵；
位姿计算模块，用于根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿。
一种实施例中，所述目标物体的位姿估计***还包括视图模型训练模块，所述视图模型训练模块用于通过以下方式对所述视图重建模型进行训练：
获取样本图像和对应的三维坐标标记图像I GT ；
将所述样本图像输入所述目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ；
将所述目标检测结果图像I src 输入所述视图重建模型中以得到三维重建图像I 3D ，所述三维重建图像包括三个通道，用于表示像素对应的预测三维坐标；
根据每个像素对应的预测三维坐标
Figure 507565DEST_PATH_IMAGE015
和三维坐标标记值
Figure DEST_PATH_IMAGE016
计算每个像素的实际重建误差
Figure DEST_PATH_IMAGE017
，利用所有像素的实际重建误差构建第一损失函数，上标i表示第i个像素；
将所述三维重建图像I 3D 和所述三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure DEST_PATH_IMAGE018
，利用所有像素的预测重建误差
Figure 599280DEST_PATH_IMAGE018
和实际重建误差
Figure DEST_PATH_IMAGE019
构建第二损失函数；
利用将所述三维重建图像输入到所述误差回归判别网络得到的结果，和将所述三维坐标标记图像输入到所述误差回归判别网络得到的结果构建第三损失函数；
利用所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和构建总损失函数，根据所述总损失函数利用反向传播算法对所述视图重建模型和所述误差回归判别网络进行训练，得到所述视图重建模型的参数。
根据第三方面，一种实施例中提供一种机器人，包括：
摄像机，用于拍摄包括目标物体的待处理图像；
机械臂，所述机械臂的末端设有一机械爪，用于根据所述目标物体的位姿抓取所述目标物体；
处理器，与所述摄像机和所述机械臂连接，用于通过所述摄像机获取待处理图像，并通过执行上述第一方面所述的位姿估计方法得到所述目标物体的位姿，并将其发送给所述机械臂以使所述机械臂抓取所述目标物体。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面所述的位姿估计方法。
依据上述实施例的目标物体的位姿估计方法和***、机器人和计算机可读存储介质，由于将三维物体的检测和位姿估计问题，分解为二维图像中的目标检测和三维空间中的位姿估计问题，从而将一个复杂的问题简化为两个简单的问题，同时在位姿估计的过程中，将位姿估计问题分解为两个过程，一个是图像中像素的二维坐标和对应的三维坐标的映射关系的求解，一个是目标物体的位姿的估计，同样将一个复杂的问题简化为两个简单的问题，从而降低了目标物体的位姿估计问题求解的复杂度，提升了运算效率。由于通过训练得到视图重建模型，用于建立图像中像素的二维坐标和对应的三维坐标的映射关系，通过视图重建模型能够得到覆盖目标物体的三维重建图像，得到每个像素对应的三维坐标，可以适应低纹理、具有反光表面或者有部分被遮挡的物体的位姿估计，同时基于像素级的二维坐标和三维坐标的映射关系，进行位姿估计的求解，有利于提高位姿估计的精度。
附图说明
图1为本申请的目标物体的位姿估计方法的原理示意图；
图2为一种实施例中的目标物体的位姿估计方法的流程图；
图3为一种实施例中视图重建模型的结构示意图；
图4为一种实施例中对视图重建模型进行训练的流程图；
图5为一种实施例中误差回归判别网络的结构示意图；
图6为计算相机坐标系和世界坐标系之间的变换关系的原理示意图；
图7为一种实施例中的目标物体的位姿估计***的结构示意图；
图8为一种实施例中的机器人的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
本申请技术方案的思路是建立二维图像坐标和三维坐标之间的映射关系，然后根据映射关系得到图像中每个像素的二维坐标所对应的三维坐标，利用二维坐标和三维坐标的对应关系可以求得世界坐标系和相机坐标系的变换关系，变换关系的求解主要是计算单应性矩阵，在得到单应性矩阵后即可获得旋转和平移量以用于位姿估计，下面进行详细说明。
图1和图2示出了本申请的目标物体的位姿估计方法的总体流程，请参考图2，一种实施例中目标物体的位姿估计方法包括步骤110~150，下面具体说明。
步骤110：获取待处理图像。可以使用相机或者摄像机等成像设备对目标物体所在的场景进行拍摄得到包括有目标物体的待处理图像，用于后续对目标物体进行位姿估计。这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等。
步骤120：将待处理图像输入一目标检测网络中以对待处理图像中的目标物体进行检测，得到目标检测结果图像。
为了对目标物体进行位姿估计，那么就需要先从图像中识别出目标物体，获取目标物体的位置，有针对性地进行处理。本申请中，将三维物体的检测和位姿估计问题，分解为二维图像中的目标检测和三维空间中的位姿估计问题，从而将一个复杂的问题简化为两个简单的问题，降低求解的复杂度。在本步骤中，即是先利用目标检测网络对待处理图像进行目标检测得到目标检测结果图像，获取待处理图像中目标物体的位置和类别，实现二维图像上的目标检测，目标检测网络可以使用现有的目标检测网络结构，如SSD、YOLO、FasterRCNN、Mobile Net等。
步骤130：将目标检测结果图像输入预先训练好的视图重建模型中以得到三维重建图像，三维重建图像包括三个通道，用于表示像素对应的三维坐标。
请参考图1，本申请通过构建和训练视图重建模型来建立二维图像坐标和三维坐标之间的映射关系，视图重建模型根据二维图像重建出其中每个像素对应的三维坐标，输出三通道的三维重建图像来表示像素所对应的三维坐标，这三个通道即对应着空间中三个维度的坐标。利用样本图像和对应的三维坐标标记图像对视图重建模型进行训练来将这种映射关系训练出来，其中三维坐标标记图像是根据样本图像对应的实际三维坐标预先构建的，通过这种训练来使视图重建模型获得稳定的映射关系，使得三维重建结果与实际值的误差尽量最小化，这样对于一个未知的物体，也可以很好地建立其二维图像坐标和三维坐标之间的映射关系。
视图重建模型可以采用卷积神经网络来实现，请参考图3，一种实施例中，视图重建模型可以是自编码器的结构，包括了编码器和解码器，编码器主要包括卷积、池化和激活函数运算，卷积核大小可以采用3x3或者5x5，步长为1；解码器主要包括上采样和卷积运算；编码器和解码器通过一个或多个全连接层连接，且编码器中若干层的输出和解码器中对称的层的输出进行通道拼接，实现多尺度特征图的拼接，既可以适应大物体的感受野，也可以适应小物体的感受野，能够同时对大物体和小物体进行映射关系的建立和位姿估计。可以理解，同一个物体，在不同视角下，其二维图像坐标和三维坐标之间的映射关系是不一样的，因此为了适应不同视角下的映射关系，不能用线性变换进行简单的表示，需要通过高阶函数或变换来表达，因此本实施例中通过使用自编码器结构，以Encoder（编码）和Decoder（解码）方式，通过多次卷积、池化、激活函数、上采样和多尺度特征图的拼接，最后重建出来这种具有适应性的高阶函数或变换。
训练中使用的三维坐标标记图像可以通过将实际三维坐标归一化，转化为图像的三通道颜色空间信息来构建。物体在三维空间中的位置数据可以用三维点云坐标系（x，y， z）来表征，可以将（x，y，z）坐标映射到归一化的空间中，转化为颜色空间信息（R，G，B），如果确定了目标物体三维坐标和图像平面二维坐标的变换关系，那么就可以将目标物体的三维坐标转化到图像上的二维坐标，将对应的颜色空间信息（R，G，B）存储在图像中相应的像素上，就得到了具有目标物体三维坐标信息的二维彩色图像，图像中的R、G、B三个通道和三维坐标的x、y、z一一对应，这个转化过程将目标物体的归一化三维坐标直接映射到颜色空间的RGB值，不需要特征匹配，解决了目标物体低纹理、具有反光表面或者有部分被遮挡的情况下特征提取困难的问题。因此，可以根据预知的目标物体三维坐标和图像平面二维坐标的变换关系，将目标物体上的点映射为图像平面上的像素，然后将目标物体三维坐标归一化，作为图像平面上对应像素的RGB值，从而得到三维坐标标记图像，用于表示目标物体三维坐标的真实值。可以理解，经过训练后，视图重建模型输出的三维重建图像为一彩色图像，其中的RGB值与目标物体的归一化三维坐标对应，从而建立了每个像素的二维坐标和三维坐标之间的对应关系。
在视图重建模型的训练中使用的是RGB-D异源数据，即视图重建模型的输入图像作为RGB信息，三维坐标标记图像由于包括空间中（x，y，z）信息可以作为深度D（Depth）信息。对于异源数据，主要有两种思路来进行特征的提取和利用：第一种是将颜色空间RGB信息和深度D信息分别输入到不同的网络进行处理，分别提取颜色空间特征信息和深度空间特征信息，然后将这两种特征信息进行融合；第二种是先输入RGB信息，获取目标物体的大概位置，然后将根据RGB信息获取的位置作为掩膜信息，引导深度D信息的特征提取。本申请采用第二种思路进行具体实施。
下面对视图重建模型的训练流程进行具体说明，图1和图4示出了对视图重建模型进行训练的总体流程，请参考图4，视图重建模型的训练流程包括步骤131~137，下面具体说明。
步骤131：获取样本图像和对应的三维坐标标记图像I GT 。样本图像可以使用相机或者摄像机等成像设备对不同场景下的目标物体进行拍摄得到。
步骤132：将样本图像输入目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ，获得目标物体的位置。
步骤133：将目标检测结果图像I src 输入视图重建模型中以得到三维重建图像I 3D ，由上文可知三维重建图像包括三个通道，在这里是用于表示像素对应的预测三维坐标。
步骤134：根据每个像素对应的预测三维坐标
Figure DEST_PATH_IMAGE020
和三维坐标标记值
Figure DEST_PATH_IMAGE021
计算每个像素的实际重建误差
Figure DEST_PATH_IMAGE022
，利用所有像素的实际重建误差构建第一损失函数，其中上标i表示第i个像素。第一损失函数表征视图重建模型重建出的三维坐标与实际值的差距，目标检测结果图像I src 中前景部分的像素（即属于目标物体的像素）对训练的影响应该比背景部分的像素大，因此可以设置前景部分的像素和背景部分的像素有不同的权重值，因此第一损失函数可以为
Figure DEST_PATH_IMAGE023
，
其中，n表示像素的个数，λ为预设的权重值，F即为目标物体的掩膜信息，即F表示图像中预先标记为属于目标物体的像素构成的集合。
对于对称物体，第一损失函数为
Figure DEST_PATH_IMAGE024
，
其中sym表示对称物体所有对称姿态的集合，p表示第p个对称姿态，R P 表示第p个对称姿态的变换矩阵。例如一个正方体形物体，其具有三个对称轴，那么就具有三个对称姿态。
步骤135：将三维重建图像I 3D 和三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure 688851DEST_PATH_IMAGE018
，利用所有像素的预测重建误差
Figure 912021DEST_PATH_IMAGE018
和实际重建误差
Figure 711350DEST_PATH_IMAGE019
构建第二损失函数，第二损失函数可以为
Figure 329676DEST_PATH_IMAGE008
。
误差回归判别网络用于评估视图重建模型对三维坐标重建结果的好坏，可以分辨三维重建图像和三维坐标标记图像的差异，它和视图重建模型是一种对抗的关系，在训练过程中，如果视图重建模型的误差变大，那么误差回归判别网络则能够给予反馈使视图重建模型往误差减小的方向变化，提高三维坐标重建的质量。请参考图5，误差回归判别网络可以包括若干卷积-池化层。
步骤136：利用将三维重建图像输入到误差回归判别网络得到的结果，和将三维坐标标记图像输入到误差回归判别网络得到的结果构建第三损失函数，第三损失函数表征误差回归判别网络的分辨能力。这里是分别单独考虑将三维重建图像或三维坐标标记图像输入误差回归判别网络得到的结果，网络的末端可以是一个softmax函数，因此得到的结果可以是一个介于0到1之间的数值。视图重建模型的目标是使输出的三维重建图像逼近三维坐标标记图像，这时误差回归判别网络对这两者分别作为输入得到的结果非常接近，则第三损失函数可以为
Figure DEST_PATH_IMAGE025
，
其中，J为误差回归判别网络的标识，G为视图重建模型的标识，G(I src )表示三维重建图像，J(G(I src ))表示三维重建图像输入到误差回归判别网络得到的结果，J(I GT )表示三维坐标标记图像输入到误差回归判别网络得到的结果。
步骤137：利用第一损失函数、第二损失函数和第三损失函数的加权和构建总损失函数，根据总损失函数利用反向传播算法对视图重建模型和误差回归判别网络进行训练，最终得到视图重建模型的参数。为了使误差回归判别网络能尽量分辨出不同，视图重建模型能尽量重建出与实际值接近的三维坐标重建图像，总损失函数可以为
Figure DEST_PATH_IMAGE026
，
对于对称物体，总损失函数为
Figure DEST_PATH_IMAGE027
，
其中，α和β为预设的权重值。
下面继续介绍步骤140~150。
步骤140：根据像素的二维坐标和对应的三维坐标计算变换矩阵。
经过步骤130的处理后相当于已经获得了图像的二维坐标点（u i ，v i ）所对应的世界坐标系中的三维坐标点（x i ，y i ，z i ），利用二维点和对应的三维点形成的点对可以求得世界坐标系和相机坐标系的变换关系，进一步获得后续计算等效轴角和等效旋转轴的变换矩阵。请参考图6，图像中的二维点
Figure DEST_PATH_IMAGE028
（简称2D点）对应的三维点（简称3D点）为
Figure DEST_PATH_IMAGE029
，世界坐标系和相机坐标系的变换关系可以用旋转矩阵R和平移向量t来表示，记为
Figure DEST_PATH_IMAGE030
。3D点在世界坐标系下的齐次坐标记为
Figure DEST_PATH_IMAGE031
，2D点在图像坐标系下的齐次坐标记为
Figure DEST_PATH_IMAGE032
，已标定的相机的内参数为
Figure DEST_PATH_IMAGE033
。
那么3D点到2D点投影可表示为
Figure DEST_PATH_IMAGE034
，
其中
Figure DEST_PATH_IMAGE035
为缩放系数。按常理
Figure DEST_PATH_IMAGE036
应该有6个自由度，但是旋转矩阵R虽然有9个参数，却只有3个自由度，因为旋转矩阵具有正交约束性。在计算时可以先忽略旋转矩阵R的正交约束，按照
Figure DEST_PATH_IMAGE037
有
Figure DEST_PATH_IMAGE038
12个未知参数计算，则上式可变为
Figure DEST_PATH_IMAGE039
，
展开后得到方程组
Figure DEST_PATH_IMAGE040
，
消去
Figure DEST_PATH_IMAGE041
，写成矩阵形式可得
Figure DEST_PATH_IMAGE042
，
由上述推导可知，1对3D-2D点对可以提供两个方程，当点对数
Figure DEST_PATH_IMAGE043
时，可以得到一个形式为
Figure DEST_PATH_IMAGE044
的方程组，利用SVD分解（SVD，Singular Value Decomposition，奇异值分解）可以求得旋转矩阵R，将旋转矩阵R用作后续计算等效轴角和等效旋转轴的变换矩阵。实际应用中可以通过RANSAC算法来求解变换矩阵，即任意选择N个点对作为初始点对计算变换矩阵，然后进行迭代优化，评估所得到的变换矩阵的误差，直到误差小于设定的阈值为止。
由于在步骤130中得到每个像素的二维坐标和对应的三维坐标，在本步骤中是基于像素级的二维坐标和三维坐标的映射关系计算变换矩阵，从而有利于提高位姿估计的精度。
步骤150：根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿。
所得到的变换矩阵可以表示为
Figure DEST_PATH_IMAGE045
，
那么等效轴角为
Figure DEST_PATH_IMAGE046
，
等效旋转轴为
Figure DEST_PATH_IMAGE047
。
可以理解，在得到等效轴角和等效旋转轴后就估计出了目标物体的位姿，机器人可以据此对目标物体进行抓取。
本申请还提供一种目标物体的位姿估计***，请参考图7，一种实施例中，目标物体的位姿估计***包括图像获取模块11、目标检测网络12、视图重建模型13、变换矩阵计算模块14和位姿计算模块15，下面分别说明。
图像获取模块11用于获取待处理图像，待处理图像可以通过相机或者摄像机等成像设备对目标物体所在的场景进行拍摄得到，用于后续对目标物体进行位姿估计。这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等。
目标检测网络12与图像获取模块11连接，用于对待处理图像中的目标物体进行检测，得到目标检测结果图像，获得目标物体的位置和类别。目标检测网络可以使用现有的目标检测网络结构，如SSD、YOLO、Faster RCNN、Mobile Net等。
视图重建模型13与目标检测网络12连接，用于对目标检测结果图像进行计算以得到三维重建图像，三维重建图像包括三个通道，用于表示像素对应的三维坐标。
视图重建模型13用于建立二维坐标和三维坐标之间的映射关系，根据二维图像重建出其中每个像素对应的三维坐标。视图重建模型13需要经过训练，利用样本图像和对应的三维坐标标记图像对视图重建模型13进行训练来将这种映射关系训练出来，其中三维坐标标记图像是根据样本图像对应的实际三维坐标预先构建的，通过这种训练来使视图重建模型13获得稳定的映射关系，使得三维重建结果与实际值的误差尽量最小化，这样对于一个未知的物体，也可以很好地建立其二维图像坐标和三维坐标之间的映射关系。
视图重建模型13可以采用卷积神经网络来实现，请参考图3，一种实施例中，视图重建模型13可以是自编码器的结构，包括了编码器和解码器，编码器主要包括卷积、池化和激活函数运算，卷积核大小可以是3x3或者5x5，步长为1；解码器主要包括上采样和卷积运算；编码器和解码器通过一个或多个全连接层连接，且编码器中若干层的输出和解码器中对称的层的输出进行通道拼接，实现多尺度特征图的拼接，既可以适应大物体的感受野，也可以适应小物体的感受野，能够同时对大物体和小物体进行映射关系的建立和位姿估计。可以理解，同一个物体，在不同视角下，其二维图像坐标和三维坐标之间的映射关系是不一样的，因此为了适应不同视角下的映射关系，不能用线性变换进行简单的表示，需要通过高阶函数或变换来表达，因此本实施例中通过使用自编码器结构，以Encoder（编码）和Decoder（解码）方式，通过多次卷积、池化、激活函数、上采样和多尺度特征图的拼接，最后重建出来这种具有适应性的高阶函数或变换。
训练中使用的三维坐标标记图像可以通过将实际三维坐标归一化，转化为图像的三通道颜色空间信息来构建。物体在三维空间中的位置数据可以用三维点云坐标系（x，y， z）来表征，可以将（x，y，z）坐标映射到归一化的空间中，转化为颜色空间信息（R，G，B），如果确定了目标物体三维坐标和图像平面二维坐标的变换关系，那么就可以将目标物体的三维坐标转化到图像上的二维坐标，将对应的颜色空间信息（R，G，B）存储在图像中相应的像素上，就得到了具有目标物体三维坐标信息的二维彩色图像，图像中的R、G、B三个通道和三维坐标的x、y、z一一对应，这个转化过程将目标物体的归一化三维坐标直接映射到颜色空间的RGB值，不需要特征匹配，解决了目标物体低纹理、具有反光表面或者有部分被遮挡的情况下特征提取困难的问题。因此，可以根据预知的目标物体三维坐标和图像平面二维坐标的变换关系，将目标物体上的点映射为图像平面上的像素，然后将目标物体三维坐标归一化，作为图像平面上对应像素的RGB值，从而得到三维坐标标记图像，用于表示目标物体三维坐标的真实值。可以理解，经过训练后，视图重建模型13输出的三维重建图像为一彩色图像，其中的RGB值与目标物体的归一化三维坐标对应，从而建立了每个像素的二维坐标和三维坐标之间的对应关系。
目标物体的位姿估计***中还可以包括视图模型训练模块16以对视图重建模型13进行训练，训练的流程主要包括：获取样本图像和对应的三维坐标标记图像I GT ；将样本图像输入目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ，获得目标物体的位置；将目标检测结果图像I src 输入视图重建模型中以得到三维重建图像I 3D ，三维重建图像包括三个通道，在这里是用于表示像素对应的预测三维坐标；根据每个像素对应的预测三维坐标
Figure DEST_PATH_IMAGE049
和三维坐标标记值
Figure DEST_PATH_IMAGE051
计算每个像素的实际重建误差
Figure DEST_PATH_IMAGE053
，利用所有像素的实际重建误差构建第一损失函数，第一损失函数可以为
Figure DEST_PATH_IMAGE055
，
其中，n表示像素的个数，λ为预设的权重值，F即为目标物体的掩膜信息，即F表示图像中预先标记为属于目标物体的像素构成的集合；
对于对称物体，第一损失函数为
Figure DEST_PATH_IMAGE057
；
其中sym表示对称物体所有对称姿态的集合，p表示第p个对称姿态，R P 表示第p个对称姿态的变换矩阵；
将三维重建图像I 3D 和三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure DEST_PATH_IMAGE059
，利用所有像素的预测重建误差
Figure 772902DEST_PATH_IMAGE059
和实际重建误差
Figure DEST_PATH_IMAGE061
构建第二损失函数，请参考图5，误差回归判别网络可以包括若干卷积-池化层，第二损失函数可以为
Figure DEST_PATH_IMAGE063
；
利用将三维重建图像输入到误差回归判别网络得到的结果，和将三维坐标标记图像输入到误差回归判别网络得到的结果构建第三损失函数，这里是分别单独考虑将三维重建图像或三维坐标标记图像输入误差回归判别网络得到的结果，网络的末端可以是一个softmax函数，因此得到的结果可以是一个介于0到1之间的数值，第三损失函数可以为
Figure DEST_PATH_IMAGE065
；
其中，J为误差回归判别网络的标识，G为视图重建模型的标识，G(I src )表示三维重建图像，J(G(I src ))表示三维重建图像输入到误差回归判别网络得到的结果，J(I GT )表示三维坐标标记图像输入到误差回归判别网络得到的结果；
利用第一损失函数、第二损失函数和第三损失函数的加权和构建总损失函数，根据总损失函数利用反向传播算法对视图重建模型和误差回归判别网络进行训练，最终得到视图重建模型的参数，总损失函数可以为
Figure DEST_PATH_IMAGE067
，
对于对称物体，总损失函数为
Figure DEST_PATH_IMAGE069
。
关于视图重建模型13的训练流程的详细说明可以参考上文的步骤130，这里不再赘述。
变换矩阵计算模块14用于根据像素的二维坐标和对应的三维坐标计算变换矩阵。经过试图重建模型13的计算，相当于已经获得了图像的二维坐标点（u i ，v i ）所对应的世界坐标系中的三维坐标点（x i ，y i ，z i ），利用二维点和对应的三维点形成的点对可以求得世界坐标系和相机坐标系的变换关系
Figure 624314DEST_PATH_IMAGE030
，其中R为旋转矩阵，t为平移向量，将旋转矩阵R作为后续计算等效轴角和等效旋转轴的变换矩阵。具体计算方法可以参考上文步骤140，可以通过RANSAC算法来求解变换矩阵，即任意选择N个点对作为初始点对计算变换矩阵，然后进行迭代优化，评估所得到的变换矩阵的误差，直到误差小于设定的阈值为止。世界坐标系和相机坐标系的变换关系可以根据以下公式求解：
Figure DEST_PATH_IMAGE070
，
其中
Figure DEST_PATH_IMAGE071
为3D点在世界坐标系下的齐次坐标，
Figure DEST_PATH_IMAGE072
为2D点在图像坐标系下的齐次坐标，
Figure DEST_PATH_IMAGE073
为已标定的相机的内参数。
Figure DEST_PATH_IMAGE074
有12个未知参数，记为
Figure DEST_PATH_IMAGE075
，则上式可变为
Figure DEST_PATH_IMAGE076
，
展开后得到方程组
Figure 175469DEST_PATH_IMAGE040
，
消去
Figure 648301DEST_PATH_IMAGE035
，写成矩阵形式可得
Figure 311364DEST_PATH_IMAGE042
，
由上述推导可知，1对3D-2D点对可以提供两个方程，当点对数
Figure DEST_PATH_IMAGE077
时，可以得到一个形式为
Figure 837023DEST_PATH_IMAGE044
的方程组，利用SVD分解（SVD，Singular Value Decomposition，奇异值分解）可以求得旋转矩阵R。
位姿计算模块15用于根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿。变换矩阵计算模块14得到的变换矩阵可以表示为
Figure DEST_PATH_IMAGE078
，
那么等效轴角为
Figure DEST_PATH_IMAGE079
，
等效旋转轴为
Figure DEST_PATH_IMAGE081
。
可以理解，在得到等效轴角和等效旋转轴后就估计出了目标物体的位姿，机器人可以据此对目标物体进行抓取。
在上述目标物体的位姿估计方法的基础上，本申请还提供一种机器人，请参考图8，该机器人可以包括摄像机21、处理器22和机械臂23。
摄像机21用于拍摄包括目标物体的待处理图像，这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等。例如图8中摄像机是对物件箱中的目标物体进行拍摄。
处理器22与摄像机21和机械臂23连接，用于通过摄像机21获取待处理图像，并通过执行上述位姿估计方法得到目标物体的位姿参数，并将其发送给机械臂23以使机械臂23抓取目标物体，这里的位姿参数可以是指等效旋转轴和等效轴角。
机械臂23的末端设有一机械爪231，当接收到处理器22发送的目标物体的位姿参数时，机械臂23和机械爪231根据位姿参数运动，对目标物体进行抓取。
依据上述实施例的目标物体的位姿估计方法和***、机器人，由于将三维物体的检测和位姿估计问题，分解为二维图像中的目标检测和三维空间中的位姿估计问题，从而将一个复杂的问题简化为两个简单的问题，同时在位姿估计的过程中，将位姿估计问题分解为两个过程，一个是图像中像素的二维坐标和对应的三维坐标的映射关系的求解，一个是目标物体的位姿的估计，同样将一个复杂的问题简化为两个简单的问题，从而降低了目标物体的位姿估计问题求解的复杂度，提升了运算效率。由于通过训练得到视图重建模型，视图重建模型采用自编码器结构，用于建立图像中像素的二维坐标和对应的三维坐标的映射关系，通过视图重建模型能够得到覆盖目标物体的三维重建图像，得到每个像素对应的三维坐标，可以适应低纹理、具有反光表面或者有部分被遮挡的物体的位姿估计，能够适应外界环境和光照的变化，且视图重建模型采用了多尺度特征图的拼接，能够同时对小物体和大物体进行位姿估计，具有良好的环境适应性和跨域迁移能力。同时基于像素级的二维坐标和三维坐标的映射关系，进行位姿估计的求解，有利于提高位姿估计的精度。
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与***的操作相关联的任何数量的成本函数以不同的方式实现（例如一个或多个步骤可以被删除、修改或结合到其他步骤中）。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备（硬盘、软盘等）、光学存储设备（CD至ROM、DVD、Blu Ray盘等）、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、***、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。

Claims (8)

1.一种目标物体的位姿估计方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入一目标检测网络中以对待处理图像中的目标物体进行检测，得到目标检测结果图像；
将所述目标检测结果图像输入预先训练好的视图重建模型中以得到三维重建图像，所述三维重建图像包括三个通道，用于表示像素对应的三维坐标；
根据像素的二维坐标和对应的三维坐标计算变换矩阵；
根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿；
其中所述视图重建模型通过以下方式训练：
获取样本图像和对应的三维坐标标记图像I GT ；
将所述样本图像输入所述目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ；
将所述目标检测结果图像I src 输入所述视图重建模型中以得到三维重建图像I 3D ，所述三维重建图像包括三个通道，用于表示像素对应的预测三维坐标；
根据每个像素对应的预测三维坐标
Figure 426011DEST_PATH_IMAGE001
和三维坐标标记值
Figure 377786DEST_PATH_IMAGE002
计算每个像素的实际重建误差
Figure 647094DEST_PATH_IMAGE003
，利用所有像素的实际重建误差构建第一损失函数，上标i表示第i个像素；
将所述三维重建图像I 3D 和所述三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure 540969DEST_PATH_IMAGE004
，利用所有像素的预测重建误差
Figure 997358DEST_PATH_IMAGE004
和实际重建误差
Figure 18404DEST_PATH_IMAGE005
构建第二损失函数；
利用将所述三维重建图像输入到所述误差回归判别网络得到的结果，和将所述三维坐标标记图像输入到所述误差回归判别网络得到的结果构建第三损失函数；
利用所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和构建总损失函数，根据所述总损失函数利用反向传播算法对所述视图重建模型和所述误差回归判别网络进行训练，得到所述视图重建模型的参数。
2.如权利要求1所述的位姿估计方法，其特征在于，所述第一损失函数为
Figure 361792DEST_PATH_IMAGE006
，
其中，n表示像素的个数，λ为预设的权重值，F表示图像中属于目标物体的像素构成的集合；
对于对称物体，第一损失函数为
Figure 442880DEST_PATH_IMAGE007
，
其中，sym表示对称物体所有对称姿态的集合，p表示第p个对称姿态，R P 表示第p个对称姿态的变换矩阵；
所述第二损失函数函数为
Figure 386566DEST_PATH_IMAGE008
，
所述第三损失函数为
Figure 460570DEST_PATH_IMAGE009
，
其中，J为所述误差回归判别网络的标识，G为所述视图重建模型的标识，G(I src )表示所述三维重建图像，J(G(I src ))表示所述三维重建图像输入到所述误差回归判别网络得到的结果，J(I GT )表示所述三维坐标标记图像输入到所述误差回归判别网络得到的结果；
所述总损失函数为
Figure 173311DEST_PATH_IMAGE010
，
对于对称物体，总损失函数为
Figure 159721DEST_PATH_IMAGE011
，
其中，α和β为预设的权重值。
3.如权利要求1或2所述的位姿估计方法，其特征在于，所述三维坐标标记图像通过以下方式得到：根据预知的目标物体三维坐标和图像平面二维坐标的变换关系，将目标物体上的点映射为图像平面上的像素，并将目标物体三维坐标归一化，作为图像平面上对应像素的RGB值，从而得到所述三维坐标标记图像。
4.如权利要求1所述的位姿估计方法，其特征在于，所述视图重建模型为自编码器结构，包括编码器和解码器，所述编码器和所述解码器通过一个或多个全连接层连接，所述编码器中若干层的输出和所述解码器中对称的层的输出进行通道拼接。
5.如权利要求1所述的位姿估计方法，其特征在于，所述根据变换矩阵计算得到等效轴角和等效旋转轴，包括：
根据以下公式计算等效轴角：
Figure 590703DEST_PATH_IMAGE012
，
根据以下公式计算等效旋转轴：
Figure 438704DEST_PATH_IMAGE013
，
其中，r 11 、r 12 、r 13 、r 21 、r 22 、r 31 、r 32 、r 33 为所述变换矩阵的元素，所述变换矩阵具体为：
Figure 537110DEST_PATH_IMAGE014
。
6.一种目标物体的位姿估计***，其特征在于，包括：
图像获取模块，用于获取待处理图像；
目标检测网络，与所述图像获取模块连接，用于对所述待处理图像中的目标物体进行检测，得到目标检测结果图像；
视图重建模型，与所述目标检测网络连接，用于对所述目标检测结果图像进行计算以得到三维重建图像，所述三维重建图像包括三个通道，用于表示像素对应的三维坐标；
变换矩阵计算模块，用于根据像素的二维坐标和对应的三维坐标计算变换矩阵；
位姿计算模块，用于根据变换矩阵计算得到等效轴角和等效旋转轴，从而得到目标物体的位姿；
视图模型训练模块，所述视图模型训练模块用于通过以下方式对所述视图重建模型进行训练：
获取样本图像和对应的三维坐标标记图像I GT ；
将所述样本图像输入所述目标检测网络中以对样本图像中的目标物体进行检测，得到目标检测结果图像I src ；
将所述目标检测结果图像I src 输入所述视图重建模型中以得到三维重建图像I 3D ，所述三维重建图像包括三个通道，用于表示像素对应的预测三维坐标；
根据每个像素对应的预测三维坐标
Figure 428843DEST_PATH_IMAGE001
和三维坐标标记值
Figure 596388DEST_PATH_IMAGE015
计算每个像素的实际重建误差
Figure 762927DEST_PATH_IMAGE016
，利用所有像素的实际重建误差构建第一损失函数，上标i表示第i个像素；
将所述三维重建图像I 3D 和所述三维坐标标记图像I GT 一起输入预设的误差回归判别网络中以得到每个像素的预测重建误差
Figure 184681DEST_PATH_IMAGE004
，利用所有像素的预测重建误差
Figure 512894DEST_PATH_IMAGE004
和实际重建误差
Figure 403621DEST_PATH_IMAGE005
构建第二损失函数；
利用将所述三维重建图像输入到所述误差回归判别网络得到的结果，和将所述三维坐标标记图像输入到所述误差回归判别网络得到的结果构建第三损失函数；
利用所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和构建总损失函数，根据所述总损失函数利用反向传播算法对所述视图重建模型和所述误差回归判别网络进行训练，得到所述视图重建模型的参数。
7.一种机器人，其特征在于，包括：
摄像机，用于拍摄包括目标物体的待处理图像；
机械臂，所述机械臂的末端设有一机械爪，用于根据所述目标物体的位姿抓取所述目标物体；
处理器，与所述摄像机和所述机械臂连接，用于通过所述摄像机获取待处理图像，并通过执行如权利要求1至5中任一项所述的位姿估计方法得到所述目标物体的位姿，并将其发送给所述机械臂以使所述机械臂抓取所述目标物体。
8.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至5中任一项所述的位姿估计方法。
CN202110939214.5A 2021-08-17 2021-08-17 一种目标物体的位姿估计方法和***、机器人 Active CN113409384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939214.5A CN113409384B (zh) 2021-08-17 2021-08-17 一种目标物体的位姿估计方法和***、机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939214.5A CN113409384B (zh) 2021-08-17 2021-08-17 一种目标物体的位姿估计方法和***、机器人

Publications (2)

Publication Number Publication Date
CN113409384A CN113409384A (zh) 2021-09-17
CN113409384B true CN113409384B (zh) 2021-11-30

Family

ID=77688522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939214.5A Active CN113409384B (zh) 2021-08-17 2021-08-17 一种目标物体的位姿估计方法和***、机器人

Country Status (1)

Country Link
CN (1) CN113409384B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082089A1 (zh) * 2021-11-10 2023-05-19 中国科学院深圳先进技术研究院 一种三维重建方法、装置、设备及计算机存储介质
CN114373056A (zh) * 2021-12-17 2022-04-19 云南联合视觉科技有限公司 一种三维重建方法、装置、终端设备及存储介质
CN114912287B (zh) * 2022-05-26 2023-07-25 四川大学 基于目标6d位姿估计的机器人自主抓取仿真***及方法
CN115661349B (zh) * 2022-10-26 2023-10-27 中国农业大学 基于样本图像的三维重建方法、***、设备、介质及产品
CN115890738A (zh) * 2022-11-09 2023-04-04 广州市智能软件产业研究院 一种机器人迁移能力评价方法及***
CN116681755B (zh) * 2022-12-29 2024-02-09 广东美的白色家电技术创新中心有限公司 位姿预测方法和装置
CN115690333B (zh) * 2022-12-30 2023-04-28 思看科技(杭州)股份有限公司 一种三维扫描方法及***
CN116494253B (zh) * 2023-06-27 2023-09-19 北京迁移科技有限公司 目标物体抓取位姿获取方法及机器人抓取***
CN117351306B (zh) * 2023-12-04 2024-03-22 齐鲁空天信息研究院 三维点云投影位姿求解器训练方法、确定方法及装置
CN117893610B (zh) * 2024-03-14 2024-05-28 四川大学 基于变焦单目视觉的航空装配机器人姿态测量***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105928493A (zh) * 2016-04-05 2016-09-07 王建立 基于无人机的双目视觉三维测绘***和方法
CN108038902B (zh) * 2017-12-07 2021-08-27 合肥工业大学 一种面向深度相机的高精度三维重建方法和***
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
CN110355755B (zh) * 2018-12-15 2023-05-16 深圳铭杰医疗科技有限公司 机器人手眼***标定方法、装置、设备及存储介质
CN110009722A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN110544297B (zh) * 2019-08-06 2023-06-20 北京工业大学 一种单幅图像的三维模型重建方法
CN111161349B (zh) * 2019-12-12 2023-12-12 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备
CN111589138B (zh) * 2020-05-06 2022-08-02 腾讯科技（深圳）有限公司 动作预测方法、装置、设备及存储介质
CN112767489B (zh) * 2021-01-29 2024-05-14 北京达佳互联信息技术有限公司 一种三维位姿确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113409384A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113409384B (zh) 一种目标物体的位姿估计方法和***、机器人
CN109816725B (zh) 一种基于深度学习的单目相机物***姿估计方法及装置
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN112950667B (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN114863573B (zh) 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
WO2015006224A1 (en) Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN112233181A (zh) 6d位姿识别的方法、装置及计算机存储介质
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
JP4709668B2 (ja) ３次元物体認識システム
WO2021164887A1 (en) 6d pose and shape estimation method
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN109508707B (zh) 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
Billings et al. SilhoNet-fisheye: Adaptation of a ROI based object pose estimation network to monocular fisheye images
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
Chen et al. Progresslabeller: Visual data stream annotation for training object-centric 3d perception
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位***
JP6955081B2 (ja) オブジェクト姿勢を決定するための電子デバイス、システムおよび方法
Pichkalev et al. Face drawing by KUKA 6 axis robot manipulator
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN115578460B (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与***
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Ward et al. A model-based approach to recovering the structure of a plant from images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant