CN112989881A - 一种无监督可迁移的3d视觉物体抓取方法 - Google Patents

一种无监督可迁移的3d视觉物体抓取方法 Download PDF

Info

Publication number
CN112989881A
CN112989881A CN201911289276.5A CN201911289276A CN112989881A CN 112989881 A CN112989881 A CN 112989881A CN 201911289276 A CN201911289276 A CN 201911289276A CN 112989881 A CN112989881 A CN 112989881A
Authority
CN
China
Prior art keywords
data set
grabbed
rgbd
grabbing
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911289276.5A
Other languages
English (en)
Inventor
张云飞
王衍军
丁泉
吴双
吕忠源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hui Zhi Xing Chen Technology Co ltd
Original Assignee
Shenzhen Hui Zhi Xing Chen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hui Zhi Xing Chen Technology Co ltd filed Critical Shenzhen Hui Zhi Xing Chen Technology Co ltd
Priority to CN201911289276.5A priority Critical patent/CN112989881A/zh
Publication of CN112989881A publication Critical patent/CN112989881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督可迁移的3D视觉物体抓取方法。***由一个RGBD(彩色+深度)摄像头、一个工业机械臂、和上位机控制***组成。方法包括以下步骤(1)获取常见的混杂待抓取物体的4通道的RGBD图像，人工标出待抓取物体的边缘部分，作为源数据集；(2)获取项目所需的特定混杂待抓取物体，只对一小部分测试集进行边缘标注，其余图像不用标注，作为目标数据集；(3)将源数据集和目标数据集的RGBD图像输入对抗性卷积神经网络,训练网络同时对源数据集和目标数据集的物体边缘进行准确识别；(4)去除深度图中的边缘及背景平面，分割出待抓取物体；(5)根据深度图分割结果，识别待抓取物体中每个点的可抓取概率；(6)选取可抓取概率最大点，计算该点的坐标及法向量，发送给机器人进行抓取。

Description

一种无监督可迁移的3D视觉物体抓取方法
技术领域
本发明涉及一种无监督可迁移的3D视觉物体抓取方法，属于机器人视觉抓取领域。
背景技术
产品生产过程中，混杂物体分拣是非常重要的环节，该环节直接影响产品生产线的生产速度。目前工业中的混杂物体分拣很多还是由分拣工人完成，但是人工分拣存在很多问题，例如重复劳动的疲劳问题及心理问题，长时间工作的效率问题，人工成本问题。在这样的背景下，能够自动识别并分拣混杂物体的机器人便尤为重要。相比于人工分拣，机器人自动分拣的适用范围更广，可以适应工厂特殊环境，工作时间长且稳定可靠。
通过对已公开的文献、专利和工业产品调研发现，机器人自动分拣主要采用视觉抓取的方式，而视觉抓取主要分为两种：基于2D视觉的伺服抓取方式和基于3D视觉的直接抓取方式。基于2D视觉伺服抓取方式是将相机固定于机械臂上，通过对比识别采集到的图像与目标图像的差别，从而判断出机械臂应该改变的位姿，并发送给机械臂进行调整。然而视觉伺服控制机械臂进行混杂分拣的方法还存在以下不足：
1、传统的2D视觉只能测量出物体的2D位置，无法测量出物体的远近，因此很难重建出待抓取物体的具***置，给抓取造成了较大困难。
2、视觉伺服需要进行多次迭代，抓取速度低。
3、2D视觉对光线和纹理比较敏感，容易造成错误识别。
3D机器视觉可以解决上述问题，因为3D相机可以直接测量出目标点的3D位置，从而可以直接作为目标位姿输入给机器人进行抓取。同时，由于3D相机一般有主动投射光源，因此受光线，纹理影响较小，比如3D相机可以在黑夜中进行工作，因此比2D相机的鲁棒性更高。基于3D视觉的直接抓取方式是将相机固定于支架上，采集当前物体的RGBD图像，通过传统的几何算法或者神经网络分割出目标物体，然后计算出目标物体几何中心对应的中心点坐标和法向量，发送给机械臂，从而抓取目标物体。然而传统的几何算法和基于神经网络的物体识别方法还有以下不足：
1、当前深度摄像头分辨率还较低，基于深度图的几何分割方法很难识别贴合紧密的物体，很难达到高精度分割的要求。
2、传统的几何算法泛化能力不足，识别不同的目标物体可能需要设计不同的几何算法。
3、基于神经网络的物体识别方法一般需要标注大量的数据，对每一类新物体都要重新进行数据标注，浪费大量的人力物力。
4、传统的抓取点估计算法一般会计算物体的几何中心，然而这种传统方法只适用于凸几何体，对于包含有凹形的几何体，其几何中心可能会在物体外部。
发明内容
本发明需要解决混杂物体视觉分拣的问题，研制一种无监督，可迁移的3D视觉物体抓取方法，可以用于不同目标物体的混杂分拣。
本发明解决其技术问题所采用的技术方案是：
一种无监督可迁移的3D视觉物体抓取方法包括：(1)可解耦机械臂，(2)可与机械臂结合的RGBD(深度+彩色)摄像头，(3)上位机控制***。
所述的机械臂(1)将与RGBD摄像头(2)结合，得到的RGBD图像输入到上位机控制***中(3)中，根据所设计的无监督可迁移的3D视觉物体识别方法对抓取点中心及法向量进行估计，然后由机械臂(2)进行操纵，从而抓取到目标物体。
所述的无监督可迁移的3D视觉物体抓取方法，其特征在于该方法基于一种对抗性神经网络，以及对于新的目标物体，只用标注少量的测试集(无监督)，便可以对目标物体进行识别抓取(可迁移)。该***不仅适用于单目标物体抓取，也适用于多目标和混杂物体抓取。
所述的无监督可迁移的3D视觉物体抓取方法，其特征在于待抓取物体的识别抓取分为如下几个步骤：
S1，获取常见的混杂待抓取物体的4通道的RGBD图像，人工标出待抓取物体的边缘部分，作为源数据集。获取项目所需的特定混杂待抓取物体，只对一小部分测试集进行边缘标注，其余图像不用标注，作为目标数据集。
S2，将源数据集和目标数据集的RGBD图像输入对抗性卷积神经网络,训练网络同时对源数据集和目标数据集的物体边缘进行准确识别。
S3，将RGBD摄像头固定于机械臂末端或者固定支架上，标定RGBD摄像头与机械臂之间的转换矩阵。将待抓取混杂物体放置于机械臂的运动范围内以及RGBD摄像头的视野范围内。
S4，拍摄待抓取物体的RGBD图像，输入S2中训练好的神经网络进行边缘识别。根据其边缘识别结果，去除深度图中的边缘及背景平面，分割出待抓取物体。
S5，根据深度图分割结果，识别待抓取物体中每个点的可抓取概率。
S6，选取可抓取概率最大点，计算该点的坐标及法向量，发送给机器人进行抓取。
本发明所涉及的无监督可迁移的3D视觉物体抓取方法，泛化能力强，不用对每一种新物体进行大量的数据标注，可以输出物体上每点的抓取概率，从而自动选取最合适的抓取点，因此适用于混杂物体的自动分拣。
附图说明
图1为本发明实施中一种无监督可迁移的3D视觉物体抓取方法的流程图；
图2为无监督可迁移的物体边缘识别的对抗性卷积神经网络图；
图3为抓取概率识别的卷积神经网络图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述。
S1，获取常见的混杂待抓取物体的4通道的RGBD图像，人工标出待抓取物体的边缘部分，作为源数据集{Xs，Ys}。获取项目所需的特定混杂待抓取物体，只对一小部分测试集进行边缘标注，其余图像不用标注，作为目标数据集{Xt}。
S2，将源数据集和目标数据集的RGBD图像输入对抗性卷积神经网络,训练网络同时对源数据集和目标数据集的物体边缘进行准确识别。训练具体步骤如下：
1.输入源数据集的图像xS和标注的边缘图像yS，同时训练图2中的编码网络F和两个解码网络G1和G2来最小化预测的边缘结果与标注的边缘图像之间的差别(损失函数)：
Figure BDA0002318751100000031
其中r，c分别代表图像中的第几行和第几列。I[n＝ys(r，c)]在n等于ys(r，c)时为1，否则为0。n＝1代表该点是边缘。pn代表输入图像xs时，别到的一点y(r，c)时n的概率。
输入目标数据集的图像xt，固定图2中编码网络F的参数，只训练图2中的两个解码网络G1和G2来最大化两个解码网络的预测结果，同时继续最小化步骤1中的损失函数：
Figure BDA0002318751100000041
Figure BDA0002318751100000042
和
Figure BDA0002318751100000043
代表输入图像xs时，G1和G2对同一点y(r，c)分别识别到为n的概率。ξ是一个常数，以平衡两个损失函数间的重要程度。
2.输入目标数据集的图像xt，固定图2中两个解码网络G1和G2的参数，只训练编码网络F的参数来最小化两个解码网络的预测结果：
Figure BDA0002318751100000044
上述步骤中，步骤2和步骤3构成了两个对抗性的目标，最终能够迫使网络学习到数据集无关的边缘，从而在不标注的情况下正确识别目标数据集中物体的边缘。
S3，将RGBD摄像头固定于机械臂末端或者固定支架上，标定RGBD摄像头与机械臂之间的转换矩阵。将待抓取混杂物体放置于机械臂的运动范围内以及RGBD摄像头的视野范围内。
S4，拍摄待抓取物体的RGBD图像，输入S2中训练好的神经网络进行边缘识别。根据其边缘识别结果，去除深度图中的边缘及背景平面，分割出待抓取物体。
S5，根据深度图分割结果，利用图3所示的抓取概率识别网络识别待抓取物体中每个点的可抓取概率。训练该网络时，需要预先标注常见物体的可抓取点，设该点为1，然后其余不可抓取均设为0。抓取概率识别网络会根据物体分割图像拟合标注的抓取点，最终生成一个泛化的物体抓取概率图像。
S6，选取可抓取概率最大点，计算该点的坐标及法向量，发送给机器人进行抓取。

Claims (3)

1.一种无监督可迁移的3D视觉物体抓取***，其特征在于所述***包括(1)可解耦机械臂，(2)可与机械臂结合的RGBD(深度+彩色)摄像头，(3)上位机控制***。所述的机械臂(1)将与RGBD摄像头(2)结合，得到的RGBD图像输入到上位机控制***中(3)中，根据所设计的无监督可迁移的3D视觉物体识别方法对抓取点中心及法向量进行估计，然后由机械臂(2)进行操纵，从而抓取到目标物体。
2.根据权利要求1所述的无监督可迁移的3D视觉物体抓取方法，其特征在于该方法基于一种对抗性神经网络，以及对于新的目标物体，只用标注少量的测试集(无监督)，便可以对目标物体进行识别抓取(可迁移)。该***不仅适用于单目标物体抓取，也适用于多目标和混杂物体抓取。
3.根据权利要求1所述的无监督可迁移的3D视觉物体抓取方法，其特征在于待抓取物体的识别抓取分为如下几个步骤：
S1，获取常见的混杂待抓取物体的4通道的RGBD图像，人工标出待抓取物体的边缘部分，作为源数据集。获取项目所需的特定混杂待抓取物体，只对一小部分测试集进行边缘标注，其余图像不用标注，作为目标数据集。
S2，将源数据集和目标数据集的RGBD图像输入对抗性卷积神经网络,训练网络同时对源数据集和目标数据集的物体边缘进行准确识别。
S3，将RGBD摄像头固定于机械臂末端或者固定支架上，标定RGBD摄像头与机械臂之间的转换矩阵。将待抓取混杂物体放置于机械臂的运动范围内以及RGBD摄像头的视野范围内。
S4，拍摄待抓取物体的RGBD图像，输入S2中训练好的神经网络进行边缘识别。根据其边缘识别结果，去除深度图中的边缘及背景平面，分割出待抓取物体。
S5，根据深度图分割结果，识别待抓取物体中每个点的可抓取概率。
S6，选取可抓取概率最大点，计算该点的坐标及法向量，发送给机器人进行抓取。
CN201911289276.5A 2019-12-16 2019-12-16 一种无监督可迁移的3d视觉物体抓取方法 Pending CN112989881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911289276.5A CN112989881A (zh) 2019-12-16 2019-12-16 一种无监督可迁移的3d视觉物体抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911289276.5A CN112989881A (zh) 2019-12-16 2019-12-16 一种无监督可迁移的3d视觉物体抓取方法

Publications (1)

Publication Number Publication Date
CN112989881A true CN112989881A (zh) 2021-06-18

Family

ID=76342838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911289276.5A Pending CN112989881A (zh) 2019-12-16 2019-12-16 一种无监督可迁移的3d视觉物体抓取方法

Country Status (1)

Country Link
CN (1) CN112989881A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070781A (zh) * 2022-08-24 2022-09-20 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作***
CN116612357A (zh) * 2023-07-11 2023-08-18 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、***和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
US20170252922A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取***及方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
US10289910B1 (en) * 2014-07-10 2019-05-14 Hrl Laboratories, Llc System and method for performing real-time video object recognition utilizing convolutional neural networks
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289910B1 (en) * 2014-07-10 2019-05-14 Hrl Laboratories, Llc System and method for performing real-time video object recognition utilizing convolutional neural networks
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
US20170252922A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108010078A (zh) * 2017-11-29 2018-05-08 中国科学技术大学 一种基于三级卷积神经网络的物体抓取检测方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取***及方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070781A (zh) * 2022-08-24 2022-09-20 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作***
CN115070781B (zh) * 2022-08-24 2022-12-13 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作***
CN116612357A (zh) * 2023-07-11 2023-08-18 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、***和存储介质
CN116612357B (zh) * 2023-07-11 2023-11-24 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、***和存储介质

Similar Documents

Publication Publication Date Title
CN107804514B (zh) 一种基于图像识别的牙刷分拣方法
CN107992881B (zh) 一种机器人动态抓取方法及***
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料***
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN104574389A (zh) 基于彩色机器视觉的电池片色差分选控制方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与***
CN111428815B (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN112926503B (zh) 一种基于矩形拟合的抓取数据集自动生成方法
CN110910350A (zh) 一种用于风电塔筒的螺母松动检测方法
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
CN108305250A (zh) 非结构化机器人视觉检测机械零件的同步识别与定位方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取***
CN111242057A (zh) 产品分拣***、方法、计算机设备和存储介质
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN112847321A (zh) 基于人工智能的工业机器人视觉图像识别***
CN111951218A (zh) 一种混合深度学习模型的口红质检***
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及***
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉***
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
CN113319013A (zh) 一种基于机器视觉的苹果智能分拣的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination