CN112435297B - 目标物***姿确定方法、装置、存储介质及电子设备 - Google Patents

目标物***姿确定方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112435297B
CN112435297B CN202011401984.6A CN202011401984A CN112435297B CN 112435297 B CN112435297 B CN 112435297B CN 202011401984 A CN202011401984 A CN 202011401984A CN 112435297 B CN112435297 B CN 112435297B
Authority
CN
China
Prior art keywords
point
coordinates
target object
determining
seed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011401984.6A
Other languages
English (en)
Other versions
CN112435297A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202011401984.6A priority Critical patent/CN112435297B/zh
Publication of CN112435297A publication Critical patent/CN112435297A/zh
Priority to PCT/CN2021/122454 priority patent/WO2022116678A1/zh
Application granted granted Critical
Publication of CN112435297B publication Critical patent/CN112435297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种目标物***姿确定方法、装置、存储介质及电子设备，以解决相关技术中目标物***姿确定的准确性较低的问题，包括：根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；基于下采样方法，根据所述每一输入点的目标坐标生成种子点；将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。提高了目标物***姿确定的准确性。

Description

目标物***姿确定方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人及计算机视觉技术领域，具体地，涉及一种目标物***姿确定方法、装置、存储介质及电子设备。
背景技术
物体6D位姿(6D Object Pose Estimation)是指拍摄当前图像时刻，相机坐标系相对于原始物体所在的世界系，发生的平移和旋转变换。其中，包括3个位移自由度以及3个旋转自由度。基于物体6D位姿能够对物体进行精确定位，在机器人抓取和增强现实应用领域具有重要意义。
相关技术中，根据特定物体的3D数据，基于3D点云或者基于RGB-D图像，计算该特定物体在相机系下的6D位姿。例如，基于3D点云可以采用随机采样方法，通过随机寻找对应点对，获得空间6D变换，并计算每一次空间6D变换后的误差，进而将空间6D变换后误差最小的点对作为物体6D位姿。又例如，基于3D点云可以采用特征点方法，通过寻找和匹配多个特征点对，获得初始物体6D位姿，在初始物体6D位姿基础上，通过精确匹配算法如最近邻迭代点算法ICP(Iterative Closest Points)得到最终物体6D位姿。而基于RGB-D图像可以借助模板图像信息，通过寻找与当前图像最相似的模板图像，将该模板图像的6D位姿当作当前物体的6D位姿。
发明内容
本公开的目的是提供一种目标物***姿确定方法、装置、存储介质及电子设备，以解决相关技术中目标物***姿确定的准确性较低的问题
为了实现上述目的，本公开实施例的第一方面，提供一种目标物***姿确定方法，所述方法包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；
根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
本公开实施例的第二方面，提供一种目标物***姿确定装置，所述装置包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；
执行模块，用于根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时第一方面中所述方法的步骤。
本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中所述方法的步骤。
通过上述技术方案，至少可以达到以下有益效果：
通过根据目标物体对应的3D点云确定目标物体中每一输入点的目标坐标；基于下采样方法，根据每一输入点的目标坐标生成种子点；将每一种子点的原始坐标输入深度神经网络模型中，以得到每一种子点的中心点坐标以及原位点坐标；根据每一种子点的中心点坐标以及原位点坐标确定目标物体的6D位姿。这样，通过深度神经网络模型将每一个种子点的坐标回归其标准姿态下的坐标，不仅缩短了位姿确定的时长还提高了目标物***姿确定的准确性，从而提升了机器人抓取和增强现实的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种目标物***姿确定方法的流程图。
图2是根据一示例性实施例示出的一种实现图1中步骤S14的流程图。
图3是根据一示例性实施例示出的一种实现图1中步骤S11的流程图。
图4是根据一示例性实施例示出的一种实现图1中步骤S12的流程图。
图5是根据一示例性实施例示出的一种目标物体3D点云确定方法的流程图。
图6是根据一示例性实施例示出的另一种目标物体3D点云确定方法的流程图。
图7是根据一示例性实施例示出的一种目标物***姿确定装置的框图。
图8是根据一示例性实施例示出的一种电子设备800的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必理解为描述特定的顺序或先后次序。同理，术语“S51”、“S61”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。
在介绍本公开提供的目标物***姿确定方法、装置、存储介质及电子设备之前，首先对本公开的应用场景进行介绍。本公开提供的目标物***姿确定方法可以应用于电子设备，该电子设备可以例如是智能手机、PC(Personal Computer个人计算机)等等。
发明人发现，基于随机采样的方法确定目标物***姿，需要不断重复地寻找对应点对以及计算变换误差，位姿确定计算过程繁琐，耗费时间较长，造成人力物力资源浪费，增加了时间成本。而基于几何结构确定抓取特征点，需要目标物体的几何机构显著性较高，若目标物体的几何机构显著性较低，则确定的抓取特征点的准确性降低，可能导致抓取机器人抓取位置确定以及增强现实的准确性较低，因而增加了目标物体损坏的风险。
为解决上述技术问题，本公开提供一种目标物***姿确定方法。图1是根据一示例性实施例示出的一种目标物***姿确定方法的流程图，如图1所示，所述方法包括以下步骤。
S11、根据目标物体对应的3D点云确定目标物体中每一输入点的目标坐标。
S12、基于下采样方法，根据每一输入点的目标坐标生成种子点。
S13、将每一种子点的原始坐标输入深度神经网络模型中，以得到每一种子点的中心点坐标以及原位点坐标。
S14、根据每一种子点的中心点坐标以及原位点坐标确定目标物体的6D位姿。
采用上述技术方案，通过根据目标物体对应的3D点云确定目标物体中每一输入点的目标坐标；基于下采样方法，根据每一输入点的目标坐标生成种子点；将每一种子点的原始坐标输入深度神经网络模型中，以得到每一种子点的中心点坐标以及原位点坐标；根据每一种子点的中心点坐标以及原位点坐标确定目标物体的6D位姿。这样，通过深度神经网络模型将每一个种子点的坐标回归其标准姿态下的坐标，不仅缩短了位姿确定的时长还提高了目标物***姿确定的准确性，从而提升了机器人抓取和增强现实的准确性。并且，不仅可以估计实例级的目标物体的6D位姿，还能够估计类别级的目标物体的6D位姿，进而减少了对模型完全一致性的依赖。
可选地，所述深度神经网络模型通过如下方式生成每一所述种子点的中心点坐标以及原位点坐标：
根据每一所述种子点的原始坐标确定所述每一种子点对应的位移偏差以及旋转偏差；
根据每一所述种子点的原始坐标以及对应的位移偏差确定该种子点的中心点坐标，以及根据每一所述种子点的原始坐标以及对应的旋转偏差确定该种子点的原位点坐标。
可选地，利用三维卷积神经网络模型PointNet++可以得到每一种子点的原始坐标的高维特征，并根据该高维特征可以回归得到该种子点相对于预测目标点的位移偏差以及旋转偏差。
示例地，若第i个种子点的原始坐标为pi，Δqi为第i个样本种子点对应的位移偏差，Δri为第i个样本种子点对应的旋转偏差，则该种子点的中心点坐标qi为pi+Δqi，该种子点的原位点坐标ri为pi+Δri，其中，n的取值与确定的种子点的个数相同。
可选地，参考图2所示出的一种实现图1中步骤S14的流程图，在步骤S14中，所述根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿，包括：
S141、根据种子点的原始坐标构建第一一阶矩阵，并根据种子点的原位点坐标构建第二一阶矩阵。
S142、基于最小二乘法，根据第一一阶矩阵以及第二一阶矩阵确定目标物体对应的旋转矩阵。
S143、根据旋转矩阵得到目标物体的3个旋转自由度。
S144、根据每一种子点的中心点坐标计算平均坐标，并将平均坐标的三个坐标值作为目标物体的3个位移自由度。
S145、根据3个旋转自由度以及3个位移自由度确定目标物体的6D位姿。
具体实施时，根据每一种子点的中心点坐标，聚合得到目标物体的预测中心点坐标，例如，通过计算所有种子点的中心点坐标的和，再求取目标物体的每一种子点中心点坐标的平均值，得到目标物体的预测中心点坐标，即预测中心点坐标
Figure BDA0002812777950000061
其中，qi为第i种子点的中心点坐标。
进一步地，将平均坐标的三个坐标值作为目标物体的3个位移自由度，例如，若得到的预测中心点坐标为(1,2,3)，则目标物体的3个位移自由度为(1,2,3)。
进一步地，根据种子点的原始坐标构建第一一阶矩阵为
Figure BDA0002812777950000071
根据种子点的原位点坐标构建第二一阶矩阵为
Figure BDA0002812777950000072
若令旋转矩阵
Figure BDA0002812777950000073
则有
Figure BDA0002812777950000074
进一步地，使用最小二乘法计算得到X。
进一步地，令目标物体的3个旋转自由度为(α,β,γ)，则α＝atan2(x32,x33)，
Figure BDA0002812777950000075
γ＝atan2(x21,x11)。
可选地，参考图3所示出的一种实现图1中步骤S11的流程图，在步骤S11中，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
S111、根据目标物体对应的3D点云确定目标物体中每一输入点的原始坐标。
S112、根据每一输入点的原始坐标确定3D点云的重心坐标。
S113、针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
S114、根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
具体地，若3D点云的重心坐标为ocenter，则该输入点的目标坐标pnew＝pori-ocenter。
示例地，确定3D点云的重心坐标为(2,3,4)，目标物体的某一输入点的原始坐标(8,7,9)，确定该输入点的原始坐标与重心坐标在第一维度上的偏移值为6，即8-2＝6，确定该输入点的原始坐标与重心坐标在第二维度上的偏移值为4，即7-3＝4，确定该输入点的原始坐标与重心坐标在第三维度上的偏移值为5，即9-4＝5。
进一步地，根据第一维度上的偏移值6、第二维度上的偏移值4以及第三维度上的偏移值5，确定该输入点的目标坐标为(6,4,5)。
采用上述技术方案，由于目标物体的3D点云出现的位置是随机的，通过3D点云的重心坐标，可以归一化3D点云的原始坐标，这样，可以减小目标物体的原始坐标对模型计算的影响。
可选地，所述下采样方法为最远点采样方法，参考图4所示出的一种实现图1中步骤S12的流程图，在步骤S12中，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
S121、根据目标物体中每一输入点的原始坐标确定3D点云的中心点。
S122、选择距离3D点云的中心点欧氏距离最远的输入点作为第一种子点。
S123、以第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
可选地，下采样方法包括随机采样、最远点采样FPS(Farthest Point Sampling)以及基于深度模型采样的方法。
示例地，此处以下采样方法为最远点采样方法为例，选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点，进而选择距离第一种子点欧氏距离最远的输入点作为第二种子点，进而基于第一种子点以及第二种子点，选择欧式距离最远的输入点为第三种子点，即选择距离第一种子点欧氏距离最远以及距离第二种子点欧氏距离最远的输入点作为第三种子点。
进一步地，基于第二种子点以及第三种子点，选择欧式距离最远的输入点为第四种子点，即选择距离第二种子点欧氏距离最远以及距离第三种子点欧氏距离最远的输入点作为第四种子点，以此类推，直到种子点的数量达到1024个。即预设阈值为1024。
采用上述技术方案，由于目标物体的种子点的稠密不均匀，通过下采样方法，可以确定目标物体的种子点，这样，可以减小目标物体的原始坐标密度不同对模型计算的影响。
可选地，所述深度神经网络模型的训练包括：
将样本种子点的坐标信息输入深度神经网络模型，得到所述深度神经网络模型输出的预测位移偏差和预测旋转偏差；
根据所述样本种子点的坐标信息以及所述预测位移偏差确定所述样本种子点的预测中心点坐标，以及根据所述样本种子点的坐标信息以及所述旋转偏差确定所述样本种子点的预测原位点坐标；
通过如下损失函数计算损失量L，并根据所述损失量L更新所述深度神经网络模型的参数：
L＝λ1Lcenter+λ2Linitial；
其中，n为样本种子点的总数量，Lcenter为位移偏移量损失值，Linitial为旋转偏移量损失值，λ1为位移偏移量损失值的预设权重，λ2为旋转偏移量损失值的预设权重，
Figure BDA0002812777950000091
Figure BDA0002812777950000092
Δqi为第i个样本种子点对应的预测位移偏差，Δri为第i个样本种子点对应的预测旋转偏差，
Figure BDA0002812777950000101
为第i个样本种子点的坐标距离中心点坐标的真实偏移量，
Figure BDA0002812777950000102
为第i个样本种子点的坐标距离原位点坐标的真实偏移量。
值得说明的是第i个样本种子点的坐标距离原位点坐标的真实偏移量
Figure BDA0002812777950000103
可以由旋转自由度的真实值与该种子点预测旋转偏差计算得到，第i个样本种子点的坐标距离中心点坐标的真实偏移量
Figure BDA0002812777950000104
可以由位移自由度的真实值与该种子点预测位移偏差计算得到。
可选地，图5是根据一示例性实施例示出的一种目标物体3D点云确定方法的流程图，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
S51、通过图像采集装置采集目标物体的RGB图像。
S52、根据RGB图像，确定目标物体的深度图像，并对RGB图像进行实例分割，得到对应的类别级蒙版区域。
S53、根据类别级蒙版区域、图像采集装置的内部参数以及深度图像，确定目标物体对应的3D点云。
具体实施时，在确定图像采集装置的采集范围内存在目标物体的情况下，例如，在工作台的图像采集装置的采集范围内放置目标物体，图像采集装置采集其采集范围的RGB图像，进而对该RGB图像进行实例分割，例如，利用Mask R-CNN实例分割算法对RGB图像进行实例分割，得到该目标物体所占有的类别级蒙版区域。
进一步地，基于RGB图像与深度图像是对齐的，根据该目标物体的RGB图像，确定该目标物体对应的深度图像，进而可以确定该目标图像的深度图像所占的区域，即该目标图像的图像深度区域。
进一步地，根据类别级蒙版区域以及深度图像区域，结合图像采集装置的噪声抑制参数、纹理还原度参数，确定目标物体对应的3D点云。这样，可以合理地去除图像的背景噪声，提高3D点云确定的准确性。
采用上述技术方案，通过对目标物体的RGB图像进行类别级蒙版区域以及深度图像区域的确定，以及去除背景噪声，可以提高3D点云确定的准确性，进而提高了目标物***姿确定的准确性。
可选地，图6是根据一示例性实施例示出的另一种目标物体3D点云确定方法的流程图，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
S61、根据获取到的目标物体的RGB图像以及目标检测算法，确定目标物体对应的类别级矩形区域。
S62、对类别级矩形区域进行远近裁剪，得到目标物体的截锥体区域点云。
S63、基于语义分割模型对截锥体区域点云进行语义分割，确定目标物体对应的3D点云。
具体实施时，在确定图像采集装置的采集范围内存在目标物体的情况下，通过图像采集装置采集目标物体的RGB图像，并通过单阶段2D目标检测算法YOLOv3，可以识别该目标区域所占的类别级矩形框区域。
进一步地，基于图像采集装置的远近裁剪功能，对该类别级矩形区域进行远近裁剪，得到该目标物体对应的视椎体，基于图像采集装置的截锥体平面，该截锥体平面不过视椎体的顶点且与视锥体的母线相交，对该视椎体进行截锥体操作，得到该目标物体对应的截锥体，并确定该截锥体所占的区域。
进一步地，根据该截锥体所占的区域确定截锥体区域点云，并基于语义分割模型，例如PointNet++模型，对该截锥体区域点云进行语义分割，去除图像的背景噪声，进而确定目标物体对应的3D点云。
采用上述技术方案，通过对目标物体的RGB图像进行类别级矩形框区域以及截锥体所占区域的确定，进而确定截锥体区域点云，并去除图像的背景噪声，可以提高3D点云确定的准确性，进而提高了目标物***姿确定的准确性。
基于相同的发明构思，本公开还提供一种目标物***姿确定装置700，用于执行上述方法实施例提供的目标物***姿确定方法的步骤，该装置700可以以软件、硬件或者两者相结合的方式实现目标物***姿确定方法。图7是根据一示例性实施例示出的一种目标物***姿确定装置的框图，如图7所示，所述装置700包括：确定模块710、生成模块720、输入模块730和执行模块740。
其中，确定模块710，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块720，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块730，用于将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；
执行模块740，用于根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
上述装置通过深度神经网络模型将每一个种子点的坐标回归其标准姿态下的坐标，不仅缩短了位姿确定的时长还提高了目标物***姿确定的准确性，从而提升了机器人抓取和增强现实的准确性。
可选地，所述深度神经网络模型通过如下方式生成每一所述种子点的中心点坐标以及原位点坐标：
根据每一所述种子点的原始坐标确定所述每一种子点对应的位移偏差以及旋转偏差；
根据每一所述种子点的原始坐标以及对应的位移偏差确定该种子点的中心点坐标，以及根据每一所述种子点的原始坐标以及对应的旋转偏差确定该种子点的原位点坐标。
可选地，所述执行模块用于：
根据所述种子点的原始坐标构建第一一阶矩阵，并根据所述种子点的原位点坐标构建第二一阶矩阵；
基于最小二乘法，根据所述第一一阶矩阵以及所述第二一阶矩阵确定所述目标物体对应的旋转矩阵；
根据所述旋转矩阵得到所述目标物体的3个旋转自由度；
根据每一所述种子点的中心点坐标计算平均坐标，并将所述平均坐标的三个坐标值作为所述目标物体的3个位移自由度；
根据所述3个旋转自由度以及所述3个位移自由度确定所述目标物体的6D位姿。
可选地，所述确定模块用于：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
可选地，所述生成模块用于：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
可选地，所述深度神经网络模型的训练包括：
将样本种子点的坐标信息输入深度神经网络模型，得到所述深度神经网络模型输出的预测位移偏差和预测旋转偏差；
根据所述样本种子点的坐标信息以及所述预测位移偏差确定所述样本种子点的预测中心点坐标，以及根据所述样本种子点的坐标信息以及所述旋转偏差确定所述样本种子点的预测原位点坐标；
通过如下损失函数计算损失量L，并根据所述损失量L更新所述深度神经网络模型的参数：
L＝λ1Lcenter+λ2Linitial；
其中，n为样本种子点的总数量，Lcenter为位移偏移量损失值，Linitial为旋转偏移量损失值，λ1为位移偏移量损失值的预设权重，λ2为旋转偏移量损失值的预设权重，
Figure BDA0002812777950000141
Figure BDA0002812777950000142
Δqi为第i个样本种子点对应的预测位移偏差，Δri为第i个样本种子点对应的预测旋转偏差，
Figure BDA0002812777950000143
为第i个样本种子点的坐标距离中心点坐标的真实偏移量，
Figure BDA0002812777950000144
为第i个样本种子点的坐标距离原位点坐标的真实偏移量。
可选地，所述装置还包括采集模块，用于：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
可选地，所述装置还包括获取模块，用于：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，输入模块730和执行模块740，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
本公开实施例还一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本公开实施例还一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一项所述方法的步骤。
图8是根据一示例性实施例示出的一种电子设备800的框图。如图8所示，该电子设备800可以包括：处理器701，存储器702。该电子设备800还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备800的整体操作，以完成上述的目标物***姿确定方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的目标物***姿确定方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的目标物***姿确定方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备800的处理器701执行以完成上述的目标物***姿确定方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
实施例
1、一种目标物***姿确定方法，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；
根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
2、根据实施例1所述的方法，其中，所述深度神经网络模型通过如下方式生成每一所述种子点的中心点坐标以及原位点坐标：
根据每一所述种子点的原始坐标确定所述每一种子点对应的位移偏差以及旋转偏差；
根据每一所述种子点的原始坐标以及对应的位移偏差确定该种子点的中心点坐标，以及根据每一所述种子点的原始坐标以及对应的旋转偏差确定该种子点的原位点坐标。
3、根据实施例1所述的方法，所述根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿，包括：
根据所述种子点的原始坐标构建第一一阶矩阵，并根据所述种子点的原位点坐标构建第二一阶矩阵；
基于最小二乘法，根据所述第一一阶矩阵以及所述第二一阶矩阵确定所述目标物体对应的旋转矩阵；
根据所述旋转矩阵得到所述目标物体的3个旋转自由度；
根据每一所述种子点的中心点坐标计算平均坐标，并将所述平均坐标的三个坐标值作为所述目标物体的3个位移自由度；
根据所述3个旋转自由度以及所述3个位移自由度确定所述目标物体的6D位姿。
4、根据实施例1所述的方法，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
5、根据实施例1所述的方法，所述下采样方法为最远点采样方法，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
6、根据实施例1所述的方法，所述深度神经网络模型的训练包括：
将样本种子点的坐标信息输入深度神经网络模型，得到所述深度神经网络模型输出的预测位移偏差和预测旋转偏差；
根据所述样本种子点的坐标信息以及所述预测位移偏差确定所述样本种子点的预测中心点坐标，以及根据所述样本种子点的坐标信息以及所述旋转偏差确定所述样本种子点的预测原位点坐标；
通过如下损失函数计算损失量L，并根据所述损失量L更新所述深度神经网络模型的参数：
L＝λ1Lcenter+λ2Linitial；
其中，n为样本种子点的总数量，Lcenter为位移偏移量损失值，Linitial为旋转偏移量损失值，λ1为位移偏移量损失值的预设权重，λ2为旋转偏移量损失值的预设权重，
Figure BDA0002812777950000201
Figure BDA0002812777950000202
Δqi为第i个样本种子点对应的预测位移偏差，Δri为第i个样本种子点对应的预测旋转偏差，
Figure BDA0002812777950000203
为第i个样本种子点的坐标距离中心点坐标的真实偏移量，
Figure BDA0002812777950000204
为第i个样本种子点的坐标距离原位点坐标的真实偏移量。
7、根据实施例1至实施例6中任一实施例所述的方法，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
8、根据实施例1至实施例6中任一实施例所述的方法，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
9、一种目标物***姿确定装置，包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标；
执行模块，用于根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
10、根据实施例9所述的装置，所述深度神经网络模型通过如下方式生成每一所述种子点的中心点坐标以及原位点坐标：
根据每一所述种子点的原始坐标确定所述每一种子点对应的位移偏差以及旋转偏差；
根据每一所述种子点的原始坐标以及对应的位移偏差确定该种子点的中心点坐标，以及根据每一所述种子点的原始坐标以及对应的旋转偏差确定该种子点的原位点坐标。
11、根据实施例9所述的装置，所述执行模块用于：
根据所述种子点的原始坐标构建第一一阶矩阵，并根据所述种子点的原位点坐标构建第二一阶矩阵；
基于最小二乘法，根据所述第一一阶矩阵以及所述第二一阶矩阵确定所述目标物体对应的旋转矩阵；
根据所述旋转矩阵得到所述目标物体的3个旋转自由度；
根据每一所述种子点的中心点坐标计算平均坐标，并将所述平均坐标的三个坐标值作为所述目标物体的3个位移自由度；
根据所述3个旋转自由度以及所述3个位移自由度确定所述目标物体的6D位姿。
12、根据实施例9所述的装置，所述确定模块用于：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
13、根据实施例9所述的装置，所述生成模块用于：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
14、根据实施例9所述的装置，所述深度神经网络模型的训练包括：
将样本种子点的坐标信息输入深度神经网络模型，得到所述深度神经网络模型输出的预测位移偏差和预测旋转偏差；
根据所述样本种子点的坐标信息以及所述预测位移偏差确定所述样本种子点的预测中心点坐标，以及根据所述样本种子点的坐标信息以及所述旋转偏差确定所述样本种子点的预测原位点坐标；
通过如下损失函数计算损失量L，并根据所述损失量L更新所述深度神经网络模型的参数：
L＝λ1Lcenter+λ2Linitial；
其中，n为样本种子点的总数量，Lcenter为位移偏移量损失值，Linitial为旋转偏移量损失值，λ1为位移偏移量损失值的预设权重，λ2为旋转偏移量损失值的预设权重，
Figure BDA0002812777950000231
Figure BDA0002812777950000232
Δqi为第i个样本种子点对应的预测位移偏差，Δri为第i个样本种子点对应的预测旋转偏差，
Figure BDA0002812777950000233
为第i个样本种子点的坐标距离中心点坐标的真实偏移量，
Figure BDA0002812777950000234
为第i个样本种子点的坐标距离原位点坐标的真实偏移量。
15、根据实施例9至实施例14中任一实施例所述的装置，所述装置还包括采集模块，用于：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
16、根据实施例9至实施例14中任一实施例所述的装置，所述装置还包括获取模块，用于：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
17、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1至实施例8中任一实施例所述方法的步骤。
18、一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现实施例1至实施例8中任一实施例所述方法的步骤。

Claims (10)

1.一种目标物***姿确定方法，其特征在于，所述方法包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标，其中，所述深度神经网络模型用于确定所述原始坐标对应的位移偏差以及旋转偏差，所述位移偏差用于确定所述中心点坐标，所述旋转偏差用于确定所述原位点坐标；
根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
2.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型通过如下方式生成每一所述种子点的中心点坐标以及原位点坐标：
根据每一所述种子点的原始坐标确定所述每一种子点对应的位移偏差以及旋转偏差；
根据每一所述种子点的原始坐标以及对应的位移偏差确定该种子点的中心点坐标，以及根据每一所述种子点的原始坐标以及对应的旋转偏差确定该种子点的原位点坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿，包括：
根据所述种子点的原始坐标构建第一一阶矩阵，并根据所述种子点的原位点坐标构建第二一阶矩阵；
基于最小二乘法，根据所述第一一阶矩阵以及所述第二一阶矩阵确定所述目标物体对应的旋转矩阵；
根据所述旋转矩阵得到所述目标物体的3个旋转自由度；
根据每一所述种子点的中心点坐标计算平均坐标，并将所述平均坐标的三个坐标值作为所述目标物体的3个位移自由度；
根据所述3个旋转自由度以及所述3个位移自由度确定所述目标物体的6D位姿。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
5.根据权利要求1所述的方法，其特征在于，所述下采样方法为最远点采样方法，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
6.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型的训练包括：
将样本种子点的坐标信息输入深度神经网络模型，得到所述深度神经网络模型输出的预测位移偏差和预测旋转偏差；
根据所述样本种子点的坐标信息以及所述预测位移偏差确定所述样本种子点的预测中心点坐标，以及根据所述样本种子点的坐标信息以及所述旋转偏差确定所述样本种子点的预测原位点坐标；
通过如下损失函数计算损失量L，并根据所述损失量L更新所述深度神经网络模型的参数：
L＝λ1Lcenter+λ2Linitial；
其中，n为样本种子点的总数量，Lcenter为位移偏移量损失值，Linitial为旋转偏移量损失值，λ1为位移偏移量损失值的预设权重，λ2为旋转偏移量损失值的预设权重，
Figure FDA0004053753030000031
Figure FDA0004053753030000032
Δqi为第i个样本种子点对应的预测位移偏差，Δri为第i个样本种子点对应的预测旋转偏差，
Figure FDA0004053753030000033
为第i个样本种子点的坐标距离中心点坐标的真实偏移量，
Figure FDA0004053753030000034
为第i个样本种子点的坐标距离原位点坐标的真实偏移量。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
8.一种目标物***姿确定装置，其特征在于，所述装置包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入深度神经网络模型中，以得到每一所述种子点的中心点坐标以及原位点坐标，其中，所述深度神经网络模型用于确定所述原始坐标对应的位移偏差以及旋转偏差，所述位移偏差用于确定所述中心点坐标，所述旋转偏差用于确定所述原位点坐标；
执行模块，用于根据每一所述种子点的中心点坐标以及原位点坐标确定所述目标物体的6D位姿。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202011401984.6A 2020-12-02 2020-12-02 目标物***姿确定方法、装置、存储介质及电子设备 Active CN112435297B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011401984.6A CN112435297B (zh) 2020-12-02 2020-12-02 目标物***姿确定方法、装置、存储介质及电子设备
PCT/CN2021/122454 WO2022116678A1 (zh) 2020-12-02 2021-09-30 目标物***姿确定方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011401984.6A CN112435297B (zh) 2020-12-02 2020-12-02 目标物***姿确定方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112435297A CN112435297A (zh) 2021-03-02
CN112435297B true CN112435297B (zh) 2023-04-18

Family

ID=74691510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011401984.6A Active CN112435297B (zh) 2020-12-02 2020-12-02 目标物***姿确定方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN112435297B (zh)
WO (1) WO2022116678A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435297B (zh) * 2020-12-02 2023-04-18 达闼机器人股份有限公司 目标物***姿确定方法、装置、存储介质及电子设备
CN116245944B (zh) * 2022-12-29 2024-01-05 南京航空航天大学 一种基于实测数据的舱段自动化对接方法及***
CN116245950B (zh) * 2023-05-11 2023-08-01 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6736362B2 (ja) * 2016-06-03 2020-08-05 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6955783B2 (ja) * 2018-01-10 2021-10-27 達闥機器人有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈａｎｇｈａｉ） Ｒｏｂｏｔｉｃｓ Ｃｏ．， Ｌｔｄ． 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品
US10929654B2 (en) * 2018-03-12 2021-02-23 Nvidia Corporation Three-dimensional (3D) pose estimation from a monocular camera
CN109829947B (zh) * 2019-02-25 2021-11-23 北京旷视科技有限公司 位姿确定方法、托盘装载方法、装置、介质及电子设备
CN110322510B (zh) * 2019-06-27 2021-08-27 电子科技大学 一种利用轮廓信息的6d位姿估计方法
CN110660101B (zh) * 2019-08-19 2022-06-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN111145253B (zh) * 2019-12-12 2023-04-07 深圳先进技术研究院 一种高效的物体6d姿态估计算法
CN111243017B (zh) * 2019-12-24 2024-05-10 广州中国科学院先进技术研究所 基于3d视觉的智能机器人抓取方法
CN111259934B (zh) * 2020-01-09 2023-04-07 清华大学深圳国际研究生院 一种基于深度学习的堆叠物体6d位姿估计方法和装置
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN112435297B (zh) * 2020-12-02 2023-04-18 达闼机器人股份有限公司 目标物***姿确定方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ge Gao.et al."6D Object Pose Regression via Supervised Learning on Point Clouds".《2020 IEEE International Conference on Robotics and Automation (ICRA)》.2020,全文. *
Wei Chen.et al."PointPoseNet: Point Pose Network for Robust 6D Object Pose Estimation".《IEEE》.2020,全文. *

Also Published As

Publication number Publication date
CN112435297A (zh) 2021-03-02
WO2022116678A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
CN112435297B (zh) 目标物***姿确定方法、装置、存储介质及电子设备
CN112720459B (zh) 目标物体抓取方法、装置、存储介质及电子设备
JP7373554B2 (ja) クロスドメイン画像変換
EP3380939B1 (en) Adaptive artificial neural network selection techniques
CN112150551B (zh) 物***姿的获取方法、装置和电子设备
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
US10957062B2 (en) Structure depth-aware weighting in bundle adjustment
US20160063035A1 (en) Method and system for 3d model database retrieval
KR20220051162A (ko) 시각적 포지셔닝 방법, 관련 모델의 훈련 방법 및 관련 장치, 기기
CN112085033A (zh) 一种模板匹配方法、装置、电子设备及存储介质
CN109658346B (zh) 图像修复方法、装置、计算机可读存储介质及电子设备
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
WO2021253789A1 (zh) 重定位效果的评价方法、装置、电子设备和存储介质
JP5820236B2 (ja) 画像処理装置及びその制御方法
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112825199A (zh) 碰撞检测方法、装置、设备及存储介质
CN110807428A (zh) 煤类样品的识别方法、装置、服务器及存储介质
US11886832B2 (en) Operation device and operation method
CN117456236A (zh) 一种3d点云数据零样本分类方法、装置、设备及存储介质
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN109308721B (zh) 图像关键点的定位方法、装置、存储介质及电子设备
CN108917768B (zh) 无人机定位导航方法和***
CN117274525B (zh) 一种虚拟卷尺测量仿真方法及***
CN116108601B (zh) 电力缆线深度几何信息补全方法、检测器、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant