CN113420752A - 基于抓取点检测的三指手势生成方法及*** - Google Patents

基于抓取点检测的三指手势生成方法及*** Download PDF

Info

Publication number
CN113420752A
CN113420752A CN202110700107.7A CN202110700107A CN113420752A CN 113420752 A CN113420752 A CN 113420752A CN 202110700107 A CN202110700107 A CN 202110700107A CN 113420752 A CN113420752 A CN 113420752A
Authority
CN
China
Prior art keywords
gesture
grabbing
gestures
axis
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110700107.7A
Other languages
English (en)
Inventor
李智勇
李俊杰
陈文锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110700107.7A priority Critical patent/CN113420752A/zh
Publication of CN113420752A publication Critical patent/CN113420752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于抓取点检测的三指手势生成方法，包括获取手势图片；获取训练数据集，构建神经网络模型，用于提取手势的特征，并计算手势对应的置信度分数，采用训练数据集，对构建的神经网络模型，进行训练，从而得到训练后的分类网络模型；从点云中选取n个点，计算坐标系，生成候选抓取手势；通过训练好的分类网络模型为手势图片进行质量评估，选出有效手势，并对手势评分，按大到小的方式排序；按照评估分数从有效手势中选出一个或多个高质量的手势。本发明还公开了一种基于所述的基于抓取点检测的三指手势生成方法的***。本发明能根据点云的形状自适应生成多种三指抓取手势；同时抓取性能好，可靠性高，有效性好。

Description

基于抓取点检测的三指手势生成方法及***
技术领域
本发明属于电数据处理领域，具体涉及一种基于抓取点检测的三指手势生成方法及***。
背景技术
如今工业上越来越依赖于自动化装配，机器人在其中起到了重要作用。而抓取手势估计作为视觉引导的机器人抓取中的一大关键任务，至今，抓取手势已被国内外学者进行广泛的研究，相关算法和模型(如DexNet、GG-CNN、DGCM-Net、PointnetGPD和REGNet等)在基准上也有较好的性能表现。这些算法虽然能生成质量较高的抓取手势，但是普遍都是针对工业上常用的二指平行抓取夹子(parallel grippers)，对于三指灵巧手的抓取手势估计研究较少。灵巧手的抓取手势估计除了要估计手的6D姿态，还需要估计指间偏转角和手指弯曲角这二类参数，存在很大难度。
发明内容
本发明的目的之一在于提供一种基于抓取点检测的三指手势生成方法，该方法能自由控制指间偏转角，根据点云形状自适应，生成多种三指抓取手势。本发明的目的之二在于提供一种基于所述的基于抓取点检测的三指手势生成方法的***。
本发明提供的这种基于抓取点检测的三指手势生成方法，包括如下步骤：
S1.获取训练数据集；
S2.构建神经网络模型，用于提取手势的特征，并计算手势对应的置信度；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的神经网络模型，进行训练，得到训练后的分类网络模型；
S4.从点云中选取n个点，计算坐标系，生成候选抓取手势；
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价，选出有效手势，并对手势的有效性进行评分和排序；
S6.按照评价分数从选出若干个有效手势。
步骤S1，训练数据集具体为BigBIRD数据集。
步骤S2，神经网络模型包括Letnet结构，VGG结构或ResNet结构。
步骤S3，具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片，并输入到步骤S2构建的神经网络模型进行训练。
步骤S4，W为机器人的工作空间，物体点云C在机器人的工作空间中，对于生成手势h∈C，当机械手完全张开时，机械手占据的体积用B(h)∈W表示，当机械手手闭合时，机械手扫过的区域用A(h)∈W表示；生成的抓取候选包括如下限制：
限制1为机械手占据的体积不与点云冲突，
Figure BDA0003129463790000021
限制2为机械手闭合的区域至少包含点云的一个点，
Figure BDA0003129463790000022
生成抓取手势，具体包括如下步骤：
A1.确定参考系；
A2.获取预抓取手势；
A3.对预抓取手势进行微调。
步骤A1具体包括，从点云的表面均匀随机选取N个点，以每个点为坐标系原点计算参考坐标系F(p)；以点p为圆心，r为预设半径，所作的圆与点云C有m个交点(xi,yi,zi)，i＝1,2,…,m；求协方差矩阵：
Figure BDA0003129463790000023
其中，(Δxi,Δyi,Δzi)，i＝1,2,...,m的表示如下：
Figure BDA0003129463790000024
其中，
Figure BDA0003129463790000025
为所有点的重心；协方差矩阵的最大特征值对应特征向量为z轴，而y轴通过x轴与z轴叉乘得到。
步骤A2具体包括，拇指平行指向于y轴的负半轴，而中指和食指平行指向于y轴的正半轴；根据物体姿态检测算法得到物体的类别，并调整指间的偏转角得到预抓取手势。
步骤A3具体包括将手势向x负半轴移动，达到满足限制1的临界点；并由y轴与z轴确定平面G，对每一个(y,φ)∈G进行平移，在G平面内旋转手势，满足限制2，并生成抓取手势。
步骤S5，评价采用4层卷积神经网络；4层卷积神经网络包括输入层、卷积层1、最大池化层1、卷积层2、全连接层1和全连接层2；对于给定的候选抓取，使用Encode，将候选抓取编码成一个多通道的图片，作为神经网络的输入，判断输出候选是否有效；若候选抓取有效，则采用本手势；若候选抓取无效，则生成手势失败。
本发明还提供了一种***，该***包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7；三脚架1用于支撑摄像头2，并调整摄像机2的高度及角度；摄像头2用于采集图像数据；平台4用于放置待抓取物体3；机械臂5为用于控制机械手7的位置；控制装置6用于数据处理，控制装置6连接摄像头2并接收图像数据，通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
本发明提供的这种基于抓取点检测的三指手势生成方法及***，能根据点云的形状自适应生成多种三指抓取手势；同时抓取性能好，可靠性高，有效性好。
附图说明
图1为本发明方法的流程示意图。
图2为本发明***的结构示意图。
图3为本发明实施例的对同一物体生成多种抓取手势示意图。
图4为本发明实施例的对不同形状物体生成抓取手势示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种基于抓取点检测的三指手势生成方法，包括如下步骤：
S1.获取训练数据集；
S2.构建神经网络模型，用于提取手势的特征，并计算手势对应的置信度；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的神经网络模型，进行训练，得到训练后的分类网络模型；
S4.从点云中选取n个点，计算坐标系，生成候选抓取手势；
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价，选出有效手势，并对手势的有效性进行评分，按从大到小的顺序排序；
S6.按照评价分数从有效手势中选出分数最高的若干个手势。
步骤S1中，训练数据集具体为BigBIRD数据集。
步骤S2中的神经网络模型为Letnet，VGG或ResNet等结构。
步骤S3具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片，并输入到步骤S2构建的神经网络模型进行训练。
步骤S4具体为生成的抓取候选需要尽可能地分布在物体表面的可抓取部分，包括，W为机器人的工作空间(运动范围)，物体点云C在机器人的工作空间中，即
Figure BDA0003129463790000041
对于生成手势h∈C，当机械手完全张开时，机械手占据的体积用B(h)∈W表示，当机械手手闭合时，机械手扫过的区域用A(h)∈W表示；生成的抓取候选包括如下限制：
限制1为机械手占据的体积不与点云冲突(重叠)，
Figure BDA0003129463790000042
限制2为机械手闭合的区域至少包含点云的一个点，
Figure BDA0003129463790000043
不能满足任意一条限制的候选抓取都为不稳定或质量差的候选抓取；其中，若一个抓取不能满足限制2，则说明抓取表面很可能对于传感器是不可见的，就很难准确评估抓取的质量。
在具体实施过程中，生成候选抓取具体包括算法1，具体的伪代码如下：
输入：物体点云；三指手；平面G；一个正整数N
输出：一组6-DOF候选抓取候选H，
Figure BDA0003129463790000044
Figure BDA0003129463790000045
Figure BDA0003129463790000051
为了满足限制1和限制2，生成抓取手势具体包括如下步骤：
A1.确定参考系；
A2.获取预抓取手势；
A3.对预抓取手势进行微调。
步骤A1具体包括，从点云的表面均匀随机选取N个点，以每个点为坐标系原点计算参考坐标系F(p)；以点p为圆心，r为预设半径，所作的圆与点云C有m个交点(xi,yi,zi)，i＝1,2,...,m；求坐标系的approach轴(x轴)近似于求m个交点所拟合的最小二乘法平面的法向量问题。由于m个交点的协方差矩阵的最小特征值对应的特征向量即为法向量，求协方差矩阵：
Figure BDA0003129463790000052
其中，(Δxi,Δyi,Δzi)，i＝1,2,...,m的表示如下：
Figure BDA0003129463790000053
其中，
Figure BDA0003129463790000054
为所有点的重心，近似于点p的坐标；协方差矩阵的最大特征值对应特征向量为axis轴(z轴)，而binormal轴(y轴)通过x轴与z轴叉乘得到。
步骤A2具体包括，拇指平行指向于y轴的负半轴，而中指和食指平行指向于y轴的正半轴；根据物体姿态检测算法得到物体的类别，并调整指间的偏转角得到预抓取手势。
步骤A3具体包括将手势向x负半轴移动，达到满足限制1的临界点(即此时的x值为最小的)；并由y轴与z轴确定平面G，令|y|＝10，|φ|＝8，对每一个(y,φ)∈G进行平移，在G平面内旋转手势，满足限制2，生成抓取手势。
步骤S5中候选分类是将抓取检测看成一个二分类任务，将抓取检测作为一个二分类任务，使用4层卷积神经网络来解决。网络由2个卷积层、1个最大池化层和2个全连接层组成。对于给定的候选抓取，使用Encode，将候选抓取编码成一个多通道的图片，作为神经网络的输入，判断输出候选是否是一个好的抓取。若候选抓取有效，则采用本手势；若候选抓取无效，则生成手势失败。网络结构和各层神经网络参数如表1所示。
表1网络结构及参数
Figure BDA0003129463790000061
其中，stride为跳格平移。
如图2为本发明***的结构示意图。本发明还提供了一种采用了基于抓取点检测的三指手势生成方法的***，该***包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7；三脚架1用于支撑摄像头2，并调整摄像机2的高度及角度；摄像头2用于采集图像数据，在本实施例中，采用英特尔公司生产的RealsenseD415型号的摄像头；平台4用于放置待抓取物体3；机械臂5为用于控制机械手7的位置；控制装置6用于数据处理，控制装置6连接摄像头2并接收图像数据，通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
本发明***的运行过程如下：
步骤a、摄像机2采集数据，通过现有的6D位姿估计模型如PVN3D、6-PACK、PoseCNN、SSD-6D等，任选一种作为获取物体6D姿态的方法；
步骤b、利用步骤a得到6D姿态，通过步骤S4生成抓取手势；
步骤d、通过步骤S5-S6生成有效手势数据传给机械手，执行抓取动作；
步骤e、机械臂移动，将物体放到指定位置。
在具体实施过程中，本发明可以对同一物体(比如球类)生成多种抓取手势，如球型抓握，对掌捏取等，如图3为本发明实施例的对同一物体生成多种抓取手势示意图。对于不同的形状的物体，如球类，圆柱，立方体等，可以自适应生成多种手势，如图4为本发明实施例的对不同形状物体生成抓取手势示意图。算法具体较强的鲁棒性，能为三指手生成多样的手势，充分发挥其灵巧性与自适应性。
对实际场景中的球类和立方体类物体进行了抓取操作实验，能根据物体的姿态的类别及姿态生成质量较高的抓取手势，三指灵巧手根据生成手势，先调整指间的偏转角，再自适应的弯曲手指并结合力传感器，将物体稳稳的抓起并进行相关的操作。

Claims (10)

1.一种基于抓取点检测的三指手势生成方法，其特征在于包括如下步骤：
S1.获取训练数据集；
S2.构建神经网络模型，用于提取手势的特征，并计算手势对应的置信度；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的神经网络模型，进行训练，得到训练后的分类网络模型；
S4.从点云中选取n个点，计算坐标系，生成候选抓取手势；
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价，选出有效手势，并对手势的有效性进行评分和排序；
S6.按照评价分数从选出若干个有效手势。
2.根据权利要求1所述的基于抓取点检测的三指手势生成方法，其特征在于步骤S1，训练数据集具体为BigBIRD数据集。
3.根据权利要求2所述的基于抓取点检测的三指手势生成方法，其特征在于步骤S2，神经网络模型包括Letnet结构，VGG结构或ResNet结构。
4.根据权利要求3所述的基于抓取点检测的三指手势生成方法，其特征在于步骤S3，具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片，并输入到步骤S2构建的神经网络模型进行训练。
5.根据权利要求4所述的基于抓取点检测的三指手势生成方法，其特征在于步骤S4，W为机器人的工作空间，物体点云C在机器人的工作空间中，对于生成手势h∈C，当机械手完全张开时，机械手占据的体积用B(h)∈W表示，当机械手手闭合时，机械手扫过的区域用A(h)∈W表示；生成的抓取候选包括如下限制：
限制1为机械手占据的体积不与点云冲突，
Figure FDA0003129463780000011
限制2为机械手闭合的区域至少包含点云的一个点，
Figure FDA0003129463780000012
生成抓取手势，具体包括如下步骤：
A1.确定参考系；
A2.获取预抓取手势；
A3.对预抓取手势进行微调。
6.根据权利要求5所述的基于抓取点检测的三指手势生成方法，其特征在于步骤A1具体包括，从点云的表面均匀随机选取N个点，以每个点为坐标系原点计算参考坐标系F(p)；以点p为圆心，r为预设半径，所作的圆与点云C有m个交点(xi,yi,zi)，i＝1,2,...,m；求协方差矩阵：
Figure FDA0003129463780000021
其中，(Δxi,Δyi,Δzi)，i＝1,2,…,m的表示如下：
Figure FDA0003129463780000022
其中，
Figure FDA0003129463780000023
为所有点的重心；协方差矩阵的最大特征值对应特征向量为z轴，而y轴通过x轴与z轴叉乘得到。
7.根据权利要求6所述的基于抓取点检测的三指手势生成方法，其特征在于步骤A2具体包括，拇指平行指向于y轴的负半轴，而中指和食指平行指向于y轴的正半轴；根据物体姿态检测算法得到物体的类别，并调整指间的偏转角得到预抓取手势。
8.根据权利要求7所述的基于抓取点检测的三指手势生成方法，其特征在于步骤A3具体包括将手势向x负半轴移动，达到满足限制1的临界点；并由y轴与z轴确定平面G，对每一个(y,φ)∈G进行平移，在G平面内旋转手势，满足限制2，并生成抓取手势。
9.根据权利要求8所述的基于抓取点检测的三指手势生成方法，其特征在于步骤S5，评价采用4层卷积神经网络；4层卷积神经网络包括输入层、卷积层1、最大池化层1、卷积层2、全连接层1和全连接层2；对于给定的候选抓取，使用Encode，将候选抓取编码成一个多通道的图片，作为神经网络的输入，判断输出候选是否有效；若候选抓取有效，则采用本手势；若候选抓取无效，则生成手势失败。
10.一种基于权利要求1～9之一所述的基于抓取点检测的三指手势生成方法的***，其特征在于包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7；三脚架1用于支撑摄像头2，并调整摄像机2的高度及角度；摄像头2用于采集图像数据；平台4用于放置待抓取物体3；机械臂5为用于控制机械手7的位置；控制装置6用于数据处理，控制装置6连接摄像头2并接收图像数据，通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
CN202110700107.7A 2021-06-23 2021-06-23 基于抓取点检测的三指手势生成方法及*** Pending CN113420752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700107.7A CN113420752A (zh) 2021-06-23 2021-06-23 基于抓取点检测的三指手势生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700107.7A CN113420752A (zh) 2021-06-23 2021-06-23 基于抓取点检测的三指手势生成方法及***

Publications (1)

Publication Number Publication Date
CN113420752A true CN113420752A (zh) 2021-09-21

Family

ID=77717524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700107.7A Pending CN113420752A (zh) 2021-06-23 2021-06-23 基于抓取点检测的三指手势生成方法及***

Country Status (1)

Country Link
CN (1) CN113420752A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643586A (zh) * 2022-05-24 2022-06-21 中国科学技术大学 基于深度神经网络的多指灵巧手抓取手势规划方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
US20190034714A1 (en) * 2016-02-05 2019-01-31 Delphi Technologies, Llc System and method for detecting hand gestures in a 3d space
CN110298886A (zh) * 2019-07-01 2019-10-01 中国科学技术大学 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110796700A (zh) * 2019-10-21 2020-02-14 上海大学 基于卷积神经网络的多物体抓取区域定位方法
CN110889387A (zh) * 2019-12-02 2020-03-17 浙江工业大学 一种基于多轨迹匹配的实时动态手势识别方法
CN112873212A (zh) * 2021-02-25 2021-06-01 深圳市商汤科技有限公司 抓取点检测方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034714A1 (en) * 2016-02-05 2019-01-31 Delphi Technologies, Llc System and method for detecting hand gestures in a 3d space
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
CN110298886A (zh) * 2019-07-01 2019-10-01 中国科学技术大学 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110796700A (zh) * 2019-10-21 2020-02-14 上海大学 基于卷积神经网络的多物体抓取区域定位方法
CN110889387A (zh) * 2019-12-02 2020-03-17 浙江工业大学 一种基于多轨迹匹配的实时动态手势识别方法
CN112873212A (zh) * 2021-02-25 2021-06-01 深圳市商汤科技有限公司 抓取点检测方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S FAN ET AL.: "Research on adaptive grasping with object pose uncertainty by multi-fingered robot hand", 《RESEARCHGATE》 *
顾海巍: "机器人灵巧手的物体触摸识别及自适应抓取研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643586A (zh) * 2022-05-24 2022-06-21 中国科学技术大学 基于深度神经网络的多指灵巧手抓取手势规划方法

Similar Documents

Publication Publication Date Title
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
CN111055279B (zh) 基于触觉与视觉结合的多模态物体抓取方法与***
CN110785268B (zh) 用于语义机器人抓取的机器学习方法和装置
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
US11325252B2 (en) Action prediction networks for robotic grasping
CN108885715B (zh) 用于机器人抓取的深度机器学习方法和装置
CN112297013B (zh) 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110271000B (zh) 一种基于椭圆形面接触的物体抓取方法
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
Ottenhaus et al. Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning
Valarezo Anazco et al. Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network
CN115686193A (zh) 一种增强现实环境下虚拟模型三维手势操纵方法及***
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN113420752A (zh) 基于抓取点检测的三指手势生成方法及***
D'Avella et al. Multimodal grasp planner for hybrid grippers in cluttered scenes
CN114494426A (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
CN114211490B (zh) 一种基于Transformer模型的机械臂抓手位姿预测方法
JP2017202549A (ja) ロボット制御装置、ロボット、及びロボットシステム
CN113436293B (zh) 一种基于条件生成式对抗网络的智能抓取图像生成方法
JP7349423B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
RU2745380C1 (ru) Способ и система захвата объектов с помощью роботизированного устройства
WO2018161305A1 (zh) 抓取质量检测方法及其应用的方法与***
Rolinat et al. Learning to model the grasp space of an underactuated robot gripper using variational autoencoder
CN115256368A (zh) 用于控制机器人的手爪抓取对象的控制装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210921

RJ01 Rejection of invention patent application after publication