CN113420752A - 基于抓取点检测的三指手势生成方法及*** - Google Patents
基于抓取点检测的三指手势生成方法及*** Download PDFInfo
- Publication number
- CN113420752A CN113420752A CN202110700107.7A CN202110700107A CN113420752A CN 113420752 A CN113420752 A CN 113420752A CN 202110700107 A CN202110700107 A CN 202110700107A CN 113420752 A CN113420752 A CN 113420752A
- Authority
- CN
- China
- Prior art keywords
- gesture
- grabbing
- gestures
- axis
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 210000003811 finger Anatomy 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于抓取点检测的三指手势生成方法,包括获取手势图片;获取训练数据集,构建神经网络模型,用于提取手势的特征,并计算手势对应的置信度分数,采用训练数据集,对构建的神经网络模型,进行训练,从而得到训练后的分类网络模型;从点云中选取n个点,计算坐标系,生成候选抓取手势;通过训练好的分类网络模型为手势图片进行质量评估,选出有效手势,并对手势评分,按大到小的方式排序;按照评估分数从有效手势中选出一个或多个高质量的手势。本发明还公开了一种基于所述的基于抓取点检测的三指手势生成方法的***。本发明能根据点云的形状自适应生成多种三指抓取手势;同时抓取性能好,可靠性高,有效性好。
Description
技术领域
本发明属于电数据处理领域,具体涉及一种基于抓取点检测的三指手势生成方法及***。
背景技术
如今工业上越来越依赖于自动化装配,机器人在其中起到了重要作用。而抓取手势估计作为视觉引导的机器人抓取中的一大关键任务,至今,抓取手势已被国内外学者进行广泛的研究,相关算法和模型(如DexNet、GG-CNN、DGCM-Net、PointnetGPD和REGNet等)在基准上也有较好的性能表现。这些算法虽然能生成质量较高的抓取手势,但是普遍都是针对工业上常用的二指平行抓取夹子(parallel grippers),对于三指灵巧手的抓取手势估计研究较少。灵巧手的抓取手势估计除了要估计手的6D姿态,还需要估计指间偏转角和手指弯曲角这二类参数,存在很大难度。
发明内容
本发明的目的之一在于提供一种基于抓取点检测的三指手势生成方法,该方法能自由控制指间偏转角,根据点云形状自适应,生成多种三指抓取手势。本发明的目的之二在于提供一种基于所述的基于抓取点检测的三指手势生成方法的***。
本发明提供的这种基于抓取点检测的三指手势生成方法,包括如下步骤:
S1.获取训练数据集;
S2.构建神经网络模型,用于提取手势的特征,并计算手势对应的置信度;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的神经网络模型,进行训练,得到训练后的分类网络模型;
S4.从点云中选取n个点,计算坐标系,生成候选抓取手势;
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价,选出有效手势,并对手势的有效性进行评分和排序;
S6.按照评价分数从选出若干个有效手势。
步骤S1,训练数据集具体为BigBIRD数据集。
步骤S2,神经网络模型包括Letnet结构,VGG结构或ResNet结构。
步骤S3,具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片,并输入到步骤S2构建的神经网络模型进行训练。
步骤S4,W为机器人的工作空间,物体点云C在机器人的工作空间中,对于生成手势h∈C,当机械手完全张开时,机械手占据的体积用B(h)∈W表示,当机械手手闭合时,机械手扫过的区域用A(h)∈W表示;生成的抓取候选包括如下限制:
生成抓取手势,具体包括如下步骤:
A1.确定参考系;
A2.获取预抓取手势;
A3.对预抓取手势进行微调。
步骤A1具体包括,从点云的表面均匀随机选取N个点,以每个点为坐标系原点计算参考坐标系F(p);以点p为圆心,r为预设半径,所作的圆与点云C有m个交点(xi,yi,zi),i=1,2,…,m;求协方差矩阵:
其中,(Δxi,Δyi,Δzi),i=1,2,...,m的表示如下:
步骤A2具体包括,拇指平行指向于y轴的负半轴,而中指和食指平行指向于y轴的正半轴;根据物体姿态检测算法得到物体的类别,并调整指间的偏转角得到预抓取手势。
步骤A3具体包括将手势向x负半轴移动,达到满足限制1的临界点;并由y轴与z轴确定平面G,对每一个(y,φ)∈G进行平移,在G平面内旋转手势,满足限制2,并生成抓取手势。
步骤S5,评价采用4层卷积神经网络;4层卷积神经网络包括输入层、卷积层1、最大池化层1、卷积层2、全连接层1和全连接层2;对于给定的候选抓取,使用Encode,将候选抓取编码成一个多通道的图片,作为神经网络的输入,判断输出候选是否有效;若候选抓取有效,则采用本手势;若候选抓取无效,则生成手势失败。
本发明还提供了一种***,该***包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7;三脚架1用于支撑摄像头2,并调整摄像机2的高度及角度;摄像头2用于采集图像数据;平台4用于放置待抓取物体3;机械臂5为用于控制机械手7的位置;控制装置6用于数据处理,控制装置6连接摄像头2并接收图像数据,通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
本发明提供的这种基于抓取点检测的三指手势生成方法及***,能根据点云的形状自适应生成多种三指抓取手势;同时抓取性能好,可靠性高,有效性好。
附图说明
图1为本发明方法的流程示意图。
图2为本发明***的结构示意图。
图3为本发明实施例的对同一物体生成多种抓取手势示意图。
图4为本发明实施例的对不同形状物体生成抓取手势示意图。
具体实施方式
如图1为本发明方法的流程示意图:本发明提供的这种基于抓取点检测的三指手势生成方法,包括如下步骤:
S1.获取训练数据集;
S2.构建神经网络模型,用于提取手势的特征,并计算手势对应的置信度;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的神经网络模型,进行训练,得到训练后的分类网络模型;
S4.从点云中选取n个点,计算坐标系,生成候选抓取手势;
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价,选出有效手势,并对手势的有效性进行评分,按从大到小的顺序排序;
S6.按照评价分数从有效手势中选出分数最高的若干个手势。
步骤S1中,训练数据集具体为BigBIRD数据集。
步骤S2中的神经网络模型为Letnet,VGG或ResNet等结构。
步骤S3具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片,并输入到步骤S2构建的神经网络模型进行训练。
步骤S4具体为生成的抓取候选需要尽可能地分布在物体表面的可抓取部分,包括,W为机器人的工作空间(运动范围),物体点云C在机器人的工作空间中,即对于生成手势h∈C,当机械手完全张开时,机械手占据的体积用B(h)∈W表示,当机械手手闭合时,机械手扫过的区域用A(h)∈W表示;生成的抓取候选包括如下限制:
不能满足任意一条限制的候选抓取都为不稳定或质量差的候选抓取;其中,若一个抓取不能满足限制2,则说明抓取表面很可能对于传感器是不可见的,就很难准确评估抓取的质量。
在具体实施过程中,生成候选抓取具体包括算法1,具体的伪代码如下:
输入:物体点云;三指手;平面G;一个正整数N
为了满足限制1和限制2,生成抓取手势具体包括如下步骤:
A1.确定参考系;
A2.获取预抓取手势;
A3.对预抓取手势进行微调。
步骤A1具体包括,从点云的表面均匀随机选取N个点,以每个点为坐标系原点计算参考坐标系F(p);以点p为圆心,r为预设半径,所作的圆与点云C有m个交点(xi,yi,zi),i=1,2,...,m;求坐标系的approach轴(x轴)近似于求m个交点所拟合的最小二乘法平面的法向量问题。由于m个交点的协方差矩阵的最小特征值对应的特征向量即为法向量,求协方差矩阵:
其中,(Δxi,Δyi,Δzi),i=1,2,...,m的表示如下:
步骤A2具体包括,拇指平行指向于y轴的负半轴,而中指和食指平行指向于y轴的正半轴;根据物体姿态检测算法得到物体的类别,并调整指间的偏转角得到预抓取手势。
步骤A3具体包括将手势向x负半轴移动,达到满足限制1的临界点(即此时的x值为最小的);并由y轴与z轴确定平面G,令|y|=10,|φ|=8,对每一个(y,φ)∈G进行平移,在G平面内旋转手势,满足限制2,生成抓取手势。
步骤S5中候选分类是将抓取检测看成一个二分类任务,将抓取检测作为一个二分类任务,使用4层卷积神经网络来解决。网络由2个卷积层、1个最大池化层和2个全连接层组成。对于给定的候选抓取,使用Encode,将候选抓取编码成一个多通道的图片,作为神经网络的输入,判断输出候选是否是一个好的抓取。若候选抓取有效,则采用本手势;若候选抓取无效,则生成手势失败。网络结构和各层神经网络参数如表1所示。
表1网络结构及参数
其中,stride为跳格平移。
如图2为本发明***的结构示意图。本发明还提供了一种采用了基于抓取点检测的三指手势生成方法的***,该***包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7;三脚架1用于支撑摄像头2,并调整摄像机2的高度及角度;摄像头2用于采集图像数据,在本实施例中,采用英特尔公司生产的RealsenseD415型号的摄像头;平台4用于放置待抓取物体3;机械臂5为用于控制机械手7的位置;控制装置6用于数据处理,控制装置6连接摄像头2并接收图像数据,通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
本发明***的运行过程如下:
步骤a、摄像机2采集数据,通过现有的6D位姿估计模型如PVN3D、6-PACK、PoseCNN、SSD-6D等,任选一种作为获取物体6D姿态的方法;
步骤b、利用步骤a得到6D姿态,通过步骤S4生成抓取手势;
步骤d、通过步骤S5-S6生成有效手势数据传给机械手,执行抓取动作;
步骤e、机械臂移动,将物体放到指定位置。
在具体实施过程中,本发明可以对同一物体(比如球类)生成多种抓取手势,如球型抓握,对掌捏取等,如图3为本发明实施例的对同一物体生成多种抓取手势示意图。对于不同的形状的物体,如球类,圆柱,立方体等,可以自适应生成多种手势,如图4为本发明实施例的对不同形状物体生成抓取手势示意图。算法具体较强的鲁棒性,能为三指手生成多样的手势,充分发挥其灵巧性与自适应性。
对实际场景中的球类和立方体类物体进行了抓取操作实验,能根据物体的姿态的类别及姿态生成质量较高的抓取手势,三指灵巧手根据生成手势,先调整指间的偏转角,再自适应的弯曲手指并结合力传感器,将物体稳稳的抓起并进行相关的操作。
Claims (10)
1.一种基于抓取点检测的三指手势生成方法,其特征在于包括如下步骤:
S1.获取训练数据集;
S2.构建神经网络模型,用于提取手势的特征,并计算手势对应的置信度;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的神经网络模型,进行训练,得到训练后的分类网络模型;
S4.从点云中选取n个点,计算坐标系,生成候选抓取手势;
S5.通过步骤S3训练后的分类网络模型为步骤S4中候选抓取手势进行评价,选出有效手势,并对手势的有效性进行评分和排序;
S6.按照评价分数从选出若干个有效手势。
2.根据权利要求1所述的基于抓取点检测的三指手势生成方法,其特征在于步骤S1,训练数据集具体为BigBIRD数据集。
3.根据权利要求2所述的基于抓取点检测的三指手势生成方法,其特征在于步骤S2,神经网络模型包括Letnet结构,VGG结构或ResNet结构。
4.根据权利要求3所述的基于抓取点检测的三指手势生成方法,其特征在于步骤S3,具体包括将步骤S1中的数据采用图像增强算法形成新的训练图片,并输入到步骤S2构建的神经网络模型进行训练。
7.根据权利要求6所述的基于抓取点检测的三指手势生成方法,其特征在于步骤A2具体包括,拇指平行指向于y轴的负半轴,而中指和食指平行指向于y轴的正半轴;根据物体姿态检测算法得到物体的类别,并调整指间的偏转角得到预抓取手势。
8.根据权利要求7所述的基于抓取点检测的三指手势生成方法,其特征在于步骤A3具体包括将手势向x负半轴移动,达到满足限制1的临界点;并由y轴与z轴确定平面G,对每一个(y,φ)∈G进行平移,在G平面内旋转手势,满足限制2,并生成抓取手势。
9.根据权利要求8所述的基于抓取点检测的三指手势生成方法,其特征在于步骤S5,评价采用4层卷积神经网络;4层卷积神经网络包括输入层、卷积层1、最大池化层1、卷积层2、全连接层1和全连接层2;对于给定的候选抓取,使用Encode,将候选抓取编码成一个多通道的图片,作为神经网络的输入,判断输出候选是否有效;若候选抓取有效,则采用本手势;若候选抓取无效,则生成手势失败。
10.一种基于权利要求1~9之一所述的基于抓取点检测的三指手势生成方法的***,其特征在于包括三脚架1、摄像头2、待抓取物体3、平台4、机械臂5、控制装置6和机械手7;三脚架1用于支撑摄像头2,并调整摄像机2的高度及角度;摄像头2用于采集图像数据;平台4用于放置待抓取物体3;机械臂5为用于控制机械手7的位置;控制装置6用于数据处理,控制装置6连接摄像头2并接收图像数据,通过步骤S1-S6处理图像数据并控制机械臂5和机械手7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700107.7A CN113420752A (zh) | 2021-06-23 | 2021-06-23 | 基于抓取点检测的三指手势生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700107.7A CN113420752A (zh) | 2021-06-23 | 2021-06-23 | 基于抓取点检测的三指手势生成方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113420752A true CN113420752A (zh) | 2021-09-21 |
Family
ID=77717524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110700107.7A Pending CN113420752A (zh) | 2021-06-23 | 2021-06-23 | 基于抓取点检测的三指手势生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420752A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114643586A (zh) * | 2022-05-24 | 2022-06-21 | 中国科学技术大学 | 基于深度神经网络的多指灵巧手抓取手势规划方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108010078A (zh) * | 2017-11-29 | 2018-05-08 | 中国科学技术大学 | 一种基于三级卷积神经网络的物体抓取检测方法 |
US20190034714A1 (en) * | 2016-02-05 | 2019-01-31 | Delphi Technologies, Llc | System and method for detecting hand gestures in a 3d space |
CN110298886A (zh) * | 2019-07-01 | 2019-10-01 | 中国科学技术大学 | 一种基于四级卷积神经网络的灵巧手抓取规划方法 |
CN110796700A (zh) * | 2019-10-21 | 2020-02-14 | 上海大学 | 基于卷积神经网络的多物体抓取区域定位方法 |
CN110889387A (zh) * | 2019-12-02 | 2020-03-17 | 浙江工业大学 | 一种基于多轨迹匹配的实时动态手势识别方法 |
CN112873212A (zh) * | 2021-02-25 | 2021-06-01 | 深圳市商汤科技有限公司 | 抓取点检测方法及装置、电子设备和存储介质 |
-
2021
- 2021-06-23 CN CN202110700107.7A patent/CN113420752A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190034714A1 (en) * | 2016-02-05 | 2019-01-31 | Delphi Technologies, Llc | System and method for detecting hand gestures in a 3d space |
CN108010078A (zh) * | 2017-11-29 | 2018-05-08 | 中国科学技术大学 | 一种基于三级卷积神经网络的物体抓取检测方法 |
CN110298886A (zh) * | 2019-07-01 | 2019-10-01 | 中国科学技术大学 | 一种基于四级卷积神经网络的灵巧手抓取规划方法 |
CN110796700A (zh) * | 2019-10-21 | 2020-02-14 | 上海大学 | 基于卷积神经网络的多物体抓取区域定位方法 |
CN110889387A (zh) * | 2019-12-02 | 2020-03-17 | 浙江工业大学 | 一种基于多轨迹匹配的实时动态手势识别方法 |
CN112873212A (zh) * | 2021-02-25 | 2021-06-01 | 深圳市商汤科技有限公司 | 抓取点检测方法及装置、电子设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
S FAN ET AL.: "Research on adaptive grasping with object pose uncertainty by multi-fingered robot hand", 《RESEARCHGATE》 * |
顾海巍: "机器人灵巧手的物体触摸识别及自适应抓取研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114643586A (zh) * | 2022-05-24 | 2022-06-21 | 中国科学技术大学 | 基于深度神经网络的多指灵巧手抓取手势规划方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
CN111055279B (zh) | 基于触觉与视觉结合的多模态物体抓取方法与*** | |
CN110785268B (zh) | 用于语义机器人抓取的机器学习方法和装置 | |
JP6546618B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
US11325252B2 (en) | Action prediction networks for robotic grasping | |
CN108885715B (zh) | 用于机器人抓取的深度机器学习方法和装置 | |
CN112297013B (zh) | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 | |
CN110298886B (zh) | 一种基于四级卷积神经网络的灵巧手抓取规划方法 | |
CN110271000B (zh) | 一种基于椭圆形面接触的物体抓取方法 | |
Tang et al. | Learning collaborative pushing and grasping policies in dense clutter | |
Ottenhaus et al. | Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning | |
Valarezo Anazco et al. | Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network | |
CN115686193A (zh) | 一种增强现实环境下虚拟模型三维手势操纵方法及*** | |
JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
CN113420752A (zh) | 基于抓取点检测的三指手势生成方法及*** | |
D'Avella et al. | Multimodal grasp planner for hybrid grippers in cluttered scenes | |
CN114494426A (zh) | 用于控制机器人来在不同的方位拿起对象的装置和方法 | |
CN114211490B (zh) | 一种基于Transformer模型的机械臂抓手位姿预测方法 | |
JP2017202549A (ja) | ロボット制御装置、ロボット、及びロボットシステム | |
CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 | |
JP7349423B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
RU2745380C1 (ru) | Способ и система захвата объектов с помощью роботизированного устройства | |
WO2018161305A1 (zh) | 抓取质量检测方法及其应用的方法与*** | |
Rolinat et al. | Learning to model the grasp space of an underactuated robot gripper using variational autoencoder | |
CN115256368A (zh) | 用于控制机器人的手爪抓取对象的控制装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210921 |
|
RJ01 | Rejection of invention patent application after publication |