CN109531584A - 一种基于深度学习的机械臂控制方法和装置 - Google Patents

Abstract

本发明公开一种基于深度学***面和深度的三维图像，经过卷积神经网络提取特征输出，将抓取策略用矩形抓取框量化表示：抓取信息包括物体空间位置，坐标姿态，配合抓取部分的尺寸等；同时将所有的备选矩形框进行比较评分排序选出最优项，设计两个不同大小的神经训练网络，用小网络作为第一轮筛选，用大网络将抓取备选策略排序，提高机械臂抓取任务的鲁棒性和准确性。

Description

一种基于深度学习的机械臂控制方法和装置

技术领域

本发明涉及机电控制领域。更具体地，涉及一种基于深度学习的机械臂控制方法和装置。

背景技术

对于机械臂搭载视觉***所进行的学***口钳抓取装置，对于“手眼”配合的平口钳抓取问题来说，可以分为两个子问题：视觉感知和规划抓取。视觉感知模块估计被抓取物体信息，包括位置，姿态，尺寸。规划抓取主要关于机械臂以什么样的轨迹和角度抓取物体。如果保证抓取的物体大小尺寸高度与末端执行器形式，运动行程及工装高度相配合，配合抓取策略的机器学***面视觉就可以给出的物***置，姿态，尺寸等信息，但获得这些信息的机械臂本体能否抓取成功却具有一定的不确定性的。目前来说，抓取问题依然具有挑战性主要是因为被抓物体形状，夹具姿态不确定性，编码器噪声，机械臂各轴耦合以及相机和机械臂末端标定不确定性。

仅仅采用单目RGB相机采集，从标定原理上可以获得平面内坐标，可以配合机械臂本体完成一些简单的任务，如平面定位，固定空间动作等，以及配合末端执行器完成相关任务。对于机械臂搭配视觉***的学***口钳抓取装置，对于“手眼”配合的平口钳抓取问题来说，可以分为两个子问题：视觉感知和规划抓取。视觉感知模块估计被抓取物体信息，包括位置，姿态，尺寸。规划抓取主要关于机械臂以什么样的轨迹和角度抓取物体，但该方法获得整体全视野内的深度信息比较繁琐且对环境适应性和鲁棒性不强。

因此，需要提供一种基于深度学习的机械臂控制方法和装置。

发明内容

本发明的目的在于提供一种基于深度学***面和深度的三维图像，经过卷积神经网络提取特征输出，提高机械臂抓取任务的鲁棒性和准确性。

为达到上述目的，本发明采用下述技术方案：

一种基于深度学习的机械臂控制方法，包括：

采集被抓取物体的图像；

根据采集的图像计算最优抓取流程；

根据最优抓取流程控制机械臂抓取物体。

进一步地，所述采集被抓取物体的图像包括：

采集物体的RGB彩色图像；

采集物体的D空间深度图像。

进一步地，采集图像时将相机与机械臂依次在平面和深度上进行标定实验，确定坐标系及转移矩阵。

进一步地，所述计算最优抓取流程包括：

通过神经网络算法针对每种被抓取物体的图像进行抓取关键信息的标注或特征学习；

设定卷积神经网络算法对所述关键信息的优劣进行评价排序，确定抓取策略。

进一步地，所述抓取策略包括：根据物体的位置、姿态、尺寸信息控制机械臂进行抓取。

进一步地，所述控制机械臂抓取物体包括：控制机械臂进行平移、垂直移动、旋转，且在旋转时包括多个自由度。

本发明还提供一种基于深度学习的机械臂控制装置，包括：

图像采集模块：用于采集被抓取物体的图像；

深度学习训练及计算模块：用于根据采集的图像计算最优抓取流程；

控制模块：用于根据最优抓取流程控制机械臂抓取物体。

进一步地，所述图像采集模块包括：

RGB彩色相机：用于采集物体的RGB彩色图像；

D深度相机：用于采集物体的D空间深度图像。

进一步地，所述深度学习训练及计算模块用于：

通过神经网络算法针对每种被抓取物体的图像进行抓取关键信息的标注或特征学习；

设定卷积神经网络算法对所述关键信息的优劣进行评价排序，确定抓取策略。

进一步地，所述控制模块用于：控制机械臂进行平移、垂直移动、旋转，且在旋转时包括多个自由度。

本发明的有益效果如下：

本发明所述技术方案通过采集平面和深度的三维图像，经过卷积神经网络提取特征输出，将抓取策略用矩形抓取框量化表示：抓取信息包括物体空间位置，坐标姿态，配合抓取部分的尺寸等，用矩形抓取框量化表示；同时将所有的备选矩形框进行比较评分排序选出最优项，设计两个不同大小的神经训练网络，用小网络作为第一轮筛选，用大网络将抓取备选策略排序，提高机械臂抓取任务的鲁棒性和准确性。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1为本发明基于深度学习的机械臂控制方法流程图；

图2为本发明基于深度学习的机械臂控制方法示意图；

图3为本发明基于深度学习的机械臂控制方法示例图；

图4为本发明基于深度学习的机械臂控制装置示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明公开了一种深度学习的机械臂控制方法，在前沿研究中，一般可以通过神经网络算法针对给出图像进行抓取关键信息的人工标注或自定义特征学习，然后设定一定的算法对抓取信息的优劣进行评价排序，最终将最优的抓取信息(包括物***置，姿态，尺寸)提供给机械臂进而执行抓取任务，该算法类似于图像深度学习中的目标检测问题。该方法的主要架构为：先用相机采集全域图像，再经过预处理及分割方法，分类成单个的被抓取件的图像，最后经过已离线训练好的卷积神经网络CNN模型输出，控制机械臂进行抓取。

该方法包括：S1、采集被抓取物体的图像；

S2、根据采集的图像计算最优抓取流程；

S3、根据最优抓取流程控制机械臂抓取物体。

具体的，如图2所示，S1、采集被抓取物体的图像。

在获取物体图像时，主要是获取物体的RGB彩色图像，和照相机与物体的距离的D空间深度图像，在此照相机可选用普通RGB相机，也可选用双目相机，双目相机在测量距离确定位置方面结果更为精确。在采集图像后，对RGB彩色相机及机械臂之间进行标定实验，确定两个平面坐标系之间转移矩阵关系，然后对D深度相机及机械臂之间进行二次标定实验，在深度方向上确定转移矩阵，便于抓取时的二次定位。

S2、根据采集的图像计算最优抓取流程。

预训练时首先利用matlab软件将目标物体的RGB图像转化为灰度图像，再采用经验回放机制，使得照片前后相关度尽可能小以满足神经网络对于输入数据彼此独立的要求，最后通过随机采样来获得输入神经网络的图像；通过深度学习实现数据降维，采用目标Q值网络法来不断调整神经网络的权重矩阵，最终得到收敛的神经网络。

在确定最优抓取流程时，如图3所示，如果保证抓取的物体大小尺寸高度与末端执行器形式，运动行程及工装高度相配合，配合抓取策略的机器学习算法即可完成抓取策略对视觉深度信息敏感度不太高的任务，估计被抓物体姿态抓取的基本思路：

1)生成大量的抓取备选策略；

2)然后评估每一种策略抓取成功的成功率；

3)给定大量抓取训练数据，用一个分类器或回归模型来训练检测图片或点云的某些部分；

4)因为该方法探测抓取与目标本体是独立的，因此也能对新物体生成抓取信息。

其中，第一步中所有的特征选取的设计需要同时保证足够的快速性和鲁棒性来产生优秀的抓取备选策略集，如果依赖人工设计将会十分困难。而深度学习可以提供出解决这一问题的方法，即设计两个不同大小的训练网络，用小网络那个作为第一轮筛选，用大网络那个用来将抓取备选策略排序。利用深度学习中稀疏自编码器来从无标注数据中学习特征，给出比原始数据更好的特征描述。经过卷积神经网络提取特征输出，以在目标识别中广泛应用的Alex-Net网络结构，主要由五个卷积层和两个全连接层组成，卷积层中间***一些归一化和最大池化的操作层，整个网络层的最终输出全连接层有6个神经元，对应抓取矩形框的6个参数，四个参数对应矩形框的高度和宽度，抓取角是两倍旋转对称的，所以用两个额外的参数来表示：两倍角度的正弦和余弦。

抓取策略用矩形框度量的必要条件：

1、抓取角度和地面真实角度在30度之内；

2、预测抓取和地面真值之间的雅卡儿相似性指数高于25％；

其中雅卡儿相似性指数J(A,B)＝|A∩B|/|A∪B|，相对于用点度量的策略，矩形框分辨抓取策略的好坏有更好的分辨效果。

S3、根据最优抓取流程控制机械臂抓取物体。

机械臂本体及控制模块主要包含多自由度机械本体，各关节驱动器及控制计算机。其中，机械臂可进行平移、垂直移动、旋转，机械臂旋转自由度不限于六自由度，对驱动器和控制器各个厂家均可通用，控制计算机给出数字控制指令，通过ETHERNET/CAN总线控制驱动器输出驱动电流，从而驱动各个关节电机运动，各关节上安装力学或位置传感器反馈信号给控制器，***将控制策略通过有线或无线通讯***传送给控制模块来控制机械的运动状态，实现目标物体的准确抓取。

如图4所示，本发明还提供了一种基于深度学习的机械臂控制装置，包括：

图像采集模块1：用于采集被抓取物体的图像；具体包括：

RGB彩色相机11：用于采集物体的RGB彩色图像；

D深度相机12：用于采集物体的D空间深度图像。

深度学习训练及计算模块2：用于根据采集的图像计算最优抓取流程；具体的。通过神经网络算法针对每种被抓取物体的图像进行抓取关键信息的标注或特征学习；设定CNN算法对所述关键信息的优劣进行评价排序，确定抓取策略。

控制模块3：用于根据最优抓取流程控制机械臂抓取物体；具体的，控制机械臂进行平移、垂直移动、旋转，且在旋转时包括多个自由度。

利用上述三个模块之间的相互配合，最终实现了一款通用性强、成本低、结构简单，适用于多种工件的随机抓取方法。本发明原理简单、方便实用、极大的缩减了开发时间，降低了开发成本。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种基于深度学习的机械臂控制方法，其特征在于，包括：

采集被抓取物体的图像；

根据采集的图像计算最优抓取流程；

根据最优抓取流程控制机械臂抓取物体。

2.根据权利要求1所述的方法，其特征在于，所述采集被抓取物体的图像包括：

采集物体的RGB彩色图像；

采集物体的D空间深度图像。

3.根据权利要求2所述的方法，其特征在于，采集图像时将相机与机械臂依次在平面和深度上进行标定实验，确定坐标系及转移矩阵。

4.根据权利要求1所述的方法，其特征在于，所述计算最优抓取流程包括：

通过神经网络算法针对每种被抓取物体的图像进行抓取关键信息的标注或特征学习；

设定卷积神经网络算法对所述关键信息的优劣进行评价排序，确定抓取策略。

5.根据权利要求4所述的方法，其特征在于，所述抓取策略包括：根据物体的位置、姿态、尺寸信息控制机械臂进行抓取。

6.根据权利要求1所述的方法，其特征在于，所述控制机械臂抓取物体包括：控制机械臂进行平移、垂直移动、旋转，且在旋转时包括多个自由度。

7.一种基于深度学习的机械臂控制装置，其特征在于，包括：

图像采集模块：用于采集被抓取物体的图像；

深度学习训练及计算模块：用于根据采集的图像计算最优抓取流程；

控制模块：用于根据最优抓取流程控制机械臂抓取物体。

8.根据权利要求7所述的装置，其特征在于，所述图像采集模块包括：

RGB彩色相机：用于采集物体的RGB彩色图像；

D深度相机：用于采集物体的D空间深度图像。

9.根据权利要求7所述的装置，其特征在于，所述深度学习训练及计算模块用于：

通过神经网络算法针对每种被抓取物体的图像进行抓取关键信息的标注或特征学习；

设定卷积神经网络算法对所述关键信息的优劣进行评价排序，确定抓取策略。

10.根据权利要求7所述的装置，其特征在于，所述控制模块用于：控制机械臂进行平移、垂直移动、旋转，且在旋转时包括多个自由度。