CN109190688A - 一种分拣模型生成方法 - Google Patents

一种分拣模型生成方法 Download PDF

Info

Publication number
CN109190688A
CN109190688A CN201810936779.6A CN201810936779A CN109190688A CN 109190688 A CN109190688 A CN 109190688A CN 201810936779 A CN201810936779 A CN 201810936779A CN 109190688 A CN109190688 A CN 109190688A
Authority
CN
China
Prior art keywords
label
robot
grabbed
crawl
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810936779.6A
Other languages
English (en)
Inventor
刘文海
钱晖
潘震宇
邵全全
马进
王伟明
胡洁
戚进
张涛
周兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fanuc Robotics Co Ltd
Original Assignee
Shanghai Fanuc Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fanuc Robotics Co Ltd filed Critical Shanghai Fanuc Robotics Co Ltd
Priority to CN201810936779.6A priority Critical patent/CN109190688A/zh
Publication of CN109190688A publication Critical patent/CN109190688A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人抓取有标签数据自动生成方法，其属于工业机器人领域的技术，包括：步骤S1，通过所述仿真分拣***获得待抓物体的有抓取标签的仿真图像，所述抓取标签为所述待抓物体的可抓取区域；步骤S2，通过所述机器人分拣***的获得所述待抓物体的真实图像；步骤S3，根据所述仿真图像和所述真实图像训练获得一对抗网络；步骤S4，所述对抗网络根据具有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像。该技术方案的有益效果是：能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。

Description

一种分拣模型生成方法
技术领域
本发明涉及的是一种工业机器人领域的技术，具体是一种机器人抓取有标签数据自动生成方法。
背景技术
深度学习技术在机器人领域有着广泛的应用，但需要大量有标记的图像数据用于深度学习训练。原因在于，在强标签的深度学习技术框架下，有标签数据量越大，质量越好，算法模型就表现的越好。
然而在机器人领域，特别是在机器人抓取领域，缺少像计算机视觉领域的大规模有标签数据集。在这种情况下，极度依赖人工标记抓取区域或者抓取位姿，需要消耗大量人力来标签数据(标签图像)，这不仅降低了深度学习在机器人领域应用的效率，也降低了工业机器人抓取算法的更新速度。
在不依赖数据的传统抓取规划方法中，基于几何驱动的抓取规划大多在仿真环境中针对确定性物体采用力封闭、形封闭等方法计算抓取位置或可抓取姿态。
发明内容
本发明针对现有技术存在的上述不足，提出一种机器人抓取有标签数据自动生成方法，能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。
本发明是通过以下技术方案实现的：
本发明涉及一种机器人抓取有标签数据自动生成方法，其中，预设一机器人分拣***和一与所述机器人分拣***相对应的仿真分拣***，根据所述机器人分拣***和所述仿真分拣***生成多个标签图形，并根据所述标签图形训练一用于分拣物体的分拣模型；
所述标签图像生成方法包括以下步骤：
步骤S1，通过所述仿真分拣***获得待抓物体的有抓取标签的仿真图像，所述抓取标签为所述待抓物体的可抓取区域；
步骤S2，通过所述机器人分拣***获得所述待抓物体的真实图像；
所述步骤S1和所述步骤S2不分先后；
步骤S3，根据所述仿真图像和所述真实图像训练获得一对抗网络；
步骤S4，所述对抗网络根据具有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像。
优选的，该机器人抓取有标签数据自动生成方法，其中，所述机器人分拣***包括：
工业机器人，所述工业机器人的端部设有一可更换抓手；
摄像头，用于获得所述待抓物体的真实图像。
优选的，该机器人抓取有标签数据自动生成方法，其中，所述步骤S1具体包括以下步骤：
步骤S11，获得所述待抓物体的物体模型，并根据所述待抓物体的所述物体模型获得每一所述待抓物体的原始抓取标签；
步骤S12，所述仿真分拣***将所述待抓物体的所述物体模型随机堆放；
步骤S13，所述仿真分拣***根据所述原始抓取标签获得随机堆放的所述待抓物体的所述物体模型的所述抓取标签；
步骤S14，所述仿真分拣***截取包括所述抓取标签的所述待抓物体的仿真图像。
优选的，该机器人抓取有标签数据自动生成方法，其中，所述仿真图像和所述真实图像均为彩色深度图像。
优选的，该机器人抓取有标签数据自动生成方法，其中，在所述步骤S3中，所述对抗网络包括一生成网络和一辨别网络，所述对抗网络的训练过程包括以下步骤：
步骤S31，所述生成网络根据所述仿真图像生成所述标签图像；
步骤S32，将所述标签图像和所述真实图像输入所述辨别网络，获得所述真实图像的识别率；
步骤S33，并判断所述识别率是否落入一预设范围：
若是，则退出；
若否，则修改所述生成网络和所述辨别网络的参数，随后回到步骤S31。
优选的，该机器人抓取有标签数据自动生成方法，其中，所述步骤S12中，所述待抓物体的所述物体模型按照种类和数量随机组合后堆放。
优选的，该机器人抓取有标签数据自动生成方法，其中，所述可更换抓手为吸盘类手抓或手指类手抓。
优选的，该机器人抓取有标签数据自动生成方法，其中，在所述步骤S31中，所述生成网络根据所述仿真图像和一随机噪声生成所述标签图像。
上述技术方案的有益效果是：
本发明能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。
附图说明
图1为本发明的较佳的实施例中，一种仿真分拣***的示意图；
图2为本发明的较佳的实施例中，物体模型示意图；
图3为本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法流程示意图；
图4本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法的仿真图像生成过程示意图；
图5本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法的对抗网络生成过程示意图；
图中：1摄像头、2可更换抓手、3工业机器人、4料框、5剔除区域、6待抓物体、7原始抓取标签。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施例涉及一种机器人抓取有标签数据自动生成方法，本方法基于一机器人分拣***和一与机器人分拣***相对应的仿真分拣***。预设一机器人分拣***和一与所述机器人分拣***相对应的仿真分拣***，根据所述机器人分拣***和所述仿真分拣***生成多个标签图形，并根据所述标签图形训练一用于分拣物体的分拣模型。
所述机器人分拣***包括：
工业机器人3，所述工业机器人3的端部设有一可更换抓手2。
摄像头1，用于获得所述待抓物体6的真实图像。机器人分拣***中的摄像头1为RGB-D摄像头1。
较佳的实施例中，可更换抓手2可以为吸盘类手抓或手指类手抓，吸盘类手抓为气动吸盘，手指类手抓为二指手抓。
如图1所示，与机器人分拣***相对应的仿真分拣***，仿真分拣***包括了以机器人分拣***的各个组成部分为参照建立的仿真模型。
如图2所示，仿真分拣***根据待抓物体6生成待抓物体6的物体模型，待抓物体6的物体模型表面的黑色部分为原始待抓标签，即所述待抓物体6的可抓取区域。
如图3所示，本实施例涉及的机器人抓取有标签数据自动生成方法包括以下步骤：
步骤S1，通过所述仿真分拣***获得待抓物体6的有抓取标签的仿真图像，所述抓取标签为所述待抓物体6的可抓取区域；
如图4所示，所述步骤S1具体包括以下步骤：
步骤S11，获得所述待抓物体6的物体模型，并根据所述物体模型获得每一所述待抓物体6的原始抓取标签7。
物体模型中的原始抓取标签7是通过力封闭以及形封闭准则进行计算获得。
较佳的实施例中，所述物体模型为根据物体的三维点云数据进行聚类获得。
步骤S12，所述仿真分拣***将所述待抓物体6的所述物体模型随机堆放。
所述步骤S12中，所述待抓物体6的所述物体模型按照种类和数量随机组合后堆放。
随机种类和数量的物体模型输入一物理引擎后，得到了堆放的物体模型。待抓物体6堆放于料框4中，在仿真分拣***中同样构建了料框4的模型。
在仿真分拣***中的需要设置视觉参数以及与机器人分拣***中的相似的背景。
步骤S13，所述仿真分拣***根据所述原始抓取标签7获得随机堆放的所述待抓物体6的所述抓取标签。
仿真分拣***中的待抓物体6的物体模型随机堆放，料框4中存在堆叠的待抓物体6。待抓物体6的原值抓取标签的重叠部分即作为剔除区域5，将提取部分去除后形成的为抓取标签。
步骤S14，所述仿真分拣***截取包括所述抓取标签的所述待抓物体6的仿真图像。
在料框4中以机器人分拣***中的摄像头1的拍摄视角来截取堆叠的物体模型的图像，作为仿真图像。
仿真图像为彩色深度图像。
步骤S2，通过所述机器人分拣***的获得所述待抓物体6的真实图像。所述步骤S1和所述步骤S2不分先后。
机器人分拣***，通过真实的摄像头1来拍摄位于料框4中的待抓物体6的真实图像，真实图像为彩色深度图像。
步骤S3，根据所述仿真图像和所述真实图像训练获得一对抗网络。
如图5所示，在所述步骤S3中，所述对抗网络包括一生成网络和一辨别网络，所述对抗网络的训练过程包括以下步骤：
步骤S31，所述生成网络根据所述仿真图像生成所述标签图像。
所述生成网络根据所述仿真图像和一随机噪声生成所述标签图像。
步骤S32，将所述标签图像和所述真实图像输入所述辨别网络，获得所述真实图像的识别率。
步骤S33，并判断所述识别率是否落入一预设范围：
若是，则退出；
若否，则修改所述生成网络和所述辨别网络的参数，随后回到步骤S31。
在步骤S31至步骤S33中，通过生成网络和辨别网络的不断对抗博弈直到收敛，即识别率落入预设范围。
步骤S33中，预设范围优选的为50％或者接近50％的范围，例如45％～55％或者50％～60％，或者其他接近50％的取值范围。
步骤S4，所述对抗网络根据有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像。
通过对抗网络中的生成网络就可以生成大量的标签图像，通过标签图像作为训练集来训练工业机器人3。
本发明的机器人抓取有标签数据自动生成方法，与现有技术相比：
本发明能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种机器人抓取有标签数据自动生成方法，其特征在于，预设一机器人分拣***和一与所述机器人分拣***相对应的仿真分拣***，根据所述机器人分拣***和所述仿真分拣***生成多个标签图形，并根据所述标签图形训练一用于分拣物体的分拣模型；
所述标签图像生成方法包括以下步骤：
步骤S1，通过所述仿真分拣***获得待抓物体的有抓取标签的仿真图像，所述抓取标签为所述待抓物体的可抓取区域；
步骤S2，通过所述机器人分拣***获得所述待抓物体的真实图像；
步骤S3，根据所述仿真图像和所述真实图像训练获得一对抗网络；
步骤S4，所述对抗网络根据具有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像；
所述步骤S1和所述步骤S2不分先后。
2.根据权利要求1所述的机器人抓取有标签数据自动生成方法，其特征在于，所述机器人分拣***包括：
工业机器人，所述工业机器人的端部设有一可更换抓手；
摄像头，用于获得所述待抓物体的真实图像。
3.根据权利要求1所述的机器人抓取有标签数据自动生成方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S11，获得所述待抓物体的物体模型，并根据所述待抓物体的所述物体模型获得每一所述待抓物体的原始抓取标签；
步骤S12，所述仿真分拣***将所述待抓物体的所述物体模型随机堆放；
步骤S13，所述仿真分拣***根据所述原始抓取标签获得随机堆放的所述待抓物体的所述物体模型的所述抓取标签；
步骤S14，所述仿真分拣***截取包括所述抓取标签的所述待抓物体的仿真图像。
4.根据权利要求1所述的机器人抓取有标签数据自动生成方法，其特征在于，所述仿真图像和所述真实图像均为彩色深度图像。
5.根据权利要求1所述的机器人抓取有标签数据自动生成方法，其特征在于，在所述步骤S3中，所述对抗网络包括一生成网络和一辨别网络，所述对抗网络的训练过程包括以下步骤：
步骤S31，所述生成网络根据所述仿真图像生成所述标签图像；
步骤S32，将所述标签图像和所述真实图像输入所述辨别网络，获得所述真实图像的识别率；
步骤S33，并判断所述识别率是否落入一预设范围：
若是，则退出；
若否，则修改所述生成网络和所述辨别网络的参数，随后回到步骤S31。
6.根据权利要求3所述的机器人抓取有标签数据自动生成方法，其特征在于，所述步骤S12中，所述待抓物体的所述物体模型按照种类和数量随机组合后堆放。
7.根据权利要求2所述的机器人抓取有标签数据自动生成方法，其特征在于，所述可更换抓手为吸盘类手抓或手指类手抓。
8.根据权利要求5所述的机器人抓取有标签数据自动生成方法，其特征在于，在所述步骤S31中，所述生成网络根据所述仿真图像和一随机噪声生成所述标签图像。
CN201810936779.6A 2018-08-16 2018-08-16 一种分拣模型生成方法 Pending CN109190688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810936779.6A CN109190688A (zh) 2018-08-16 2018-08-16 一种分拣模型生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810936779.6A CN109190688A (zh) 2018-08-16 2018-08-16 一种分拣模型生成方法

Publications (1)

Publication Number Publication Date
CN109190688A true CN109190688A (zh) 2019-01-11

Family

ID=64918545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810936779.6A Pending CN109190688A (zh) 2018-08-16 2018-08-16 一种分拣模型生成方法

Country Status (1)

Country Link
CN (1) CN109190688A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436293A (zh) * 2021-07-13 2021-09-24 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN107363834A (zh) * 2017-07-20 2017-11-21 电子科技大学 一种基于认知地图的机械臂抓取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102126221A (zh) * 2010-12-23 2011-07-20 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN107363834A (zh) * 2017-07-20 2017-11-21 电子科技大学 一种基于认知地图的机械臂抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KONSTANTINOS BOUSMALIS，ET AL: "《Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping》", 《ARXIV：1709.07857V2》 *
编辑部: "《对抗鉴别式迁移:实现视觉运动策略"从模拟到真实"的迁移》", 《机器人产业》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436293A (zh) * 2021-07-13 2021-09-24 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN113436293B (zh) * 2021-07-13 2022-05-03 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法

Similar Documents

Publication Publication Date Title
Mandikal et al. Dexvip: Learning dexterous grasping with human hand pose priors from video
Chen et al. A system for general in-hand object re-orientation
Cao et al. Suctionnet-1billion: A large-scale benchmark for suction grasping
CN108972494A (zh) 一种仿人机械手抓取控制***及其数据处理方法
CN105598965A (zh) 基于立体视觉的机器人欠驱动手自主抓取方法
CN109597485B (zh) 一种基于双指角域特征的手势交互***及其工作方法
CN110515455B (zh) 一种基于Leap Motion和局域网内协同的虚拟装配方法
CN106909216A (zh) 一种基于Kinect传感器的仿人机械手控制方法
CN114161408A (zh) 用于普通夹持器的抓持学习的高效数据生成
CN109986560A (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN110298886A (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN108196453A (zh) 一种机械臂运动规划群体智能计算方法
CN107067018A (zh) 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法
Ruggiero et al. Nonprehensile manipulation of deformable objects: Achievements and perspectives from the robotic dynamic manipulation project
CN110496377B (zh) 一种基于强化学习的虚拟乒乓球手击球训练方法
CN109968310A (zh) 一种机械臂交互控制方法及***
Harada et al. Stability of soft-finger grasp under gravity
CN110216671A (zh) 一种基于计算机仿真的机械抓手训练方法及***
CN109190688A (zh) 一种分拣模型生成方法
CN108229678A (zh) 网络训练方法、操作控制方法、装置、存储介质和设备
Xia et al. Gibson env v2: Embodied simulation environments for interactive navigation
CN107705660A (zh) 一种远程授课机器人
Fang et al. Rh20t: A comprehensive robotic dataset for learning diverse skills in one-shot
Sun et al. Construction of intelligent visual coal and gangue separation system based on CoppeliaSim
Mosbach et al. Accelerating interactive human-like manipulation learning with gpu-based simulation and high-quality demonstrations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication