CN115070781B - 一种物体抓取方法及双机械臂协作*** - Google Patents

Abstract

本发明提供了一种物体抓取方法及双机械臂协作***，方法包括：获取机器人的视觉***拍摄的待处理图像；检测所述待处理图像中是否存在目标物体，若是，对所述待处理图像中的所述目标物体进行标注，获得带标注的图像；采用训练好的GGCNN模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，其中，所述GGCNN模型包括多个卷积层和反卷积层；基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示，并根据所述平面抓取表示确定抓取位姿；根据所述抓取位姿控制所述机器人的机械臂动作，抓取目标物体。本发明降低了算法复杂度，节省了计算资源，降低了对设备数据处理能力的要求。

Description

一种物体抓取方法及双机械臂协作***

技术领域

本发明涉及智能控制技术领域，具体而言，涉及一种物体抓取方法及双机械臂协作***。

背景技术

随着人工智能技术的不断发展，机器人在各个行业中的应用越来越广泛。抓取功能是机器人在工业等领域应用的重要功能，例如通过机器人的抓取对物流行业中的快递进行分拣，对流水线上的零件进行装配等。

目前，现有的机器人常通过以下两种方法来抓取物体，一种是通过机器人的视觉***拍摄目标物体，然后通过支持向量机算法和k近邻算法等传统机器视觉算法确定目标物体的抓取位置，进而控制机器人的机械臂抓取目标物体，但是传统机器视觉算法的算法复杂度较高，对处理器等硬件设备的数据处理能力的要求较高，导致硬件成本较高；另一种是，在机器人视觉***的基础上，增设多种传感器来辅助检测目标物体，进而抓取目标物体，这种方式增加了硬件设备，导致成本较高。

发明内容

本发明解决的问题是如何降低控制机器人抓取物体时的硬件成本。

为解决上述问题，本发明提供一种物体抓取方法及双机械臂协作***。

第一方面，本发明提供了一种物体抓取方法，包括：

获取机器人的视觉***拍摄的待处理图像；

检测所述待处理图像中是否存在目标物体，若是，则对所述待处理图像中的所述目标物体进行标注，获得带标注的图像；

采用训练好的GGCNN模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，其中，所述GGCNN模型包括多个卷积层和反卷积层；

基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示，并根据所述平面抓取表示确定抓取位姿；

根据所述抓取位姿控制所述机器人的机械臂动作，以抓取所述目标物体。

可选地，所述获取机器人的视觉***拍摄的待处理图像之前，还包括：对所述视觉***进行相机标定，并对所述机械臂进行手眼标定；

和/或，所述检测所述待处理图像中是否存在目标物体包括：

采用SSD-mobilenet目标检测算法检测所述待处理图像中是否存在所述目标物体。

可选地，所述采用训练好的GGCNN模型对所述带标注的图像进行处理之前，还包括：

获取康奈尔数据集；

对所述康奈尔数据集中的图像进行图像处理，获得处理后的康奈尔数据集，所述图像处理包括随机剪裁、缩放和旋转；

采用所述处理后的康奈尔数据集训练预先建立的GGCNN模型，获得训练好的GGCNN模型。

可选地，所述采用训练好的GGCNN模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图包括：

采用训练好的所述GGCNN模型对所述带标注的图像依次进行卷积处理和反卷积处理，提取所述带标注的图像中标注区域的部分区域，生成新标注区域，其中，所述部分区域与所述目标物体的重心相对应；

将所述新标注区域内各个像素点的置信度设为1，按照正态分布确定所述带标注的图像中除所述新标注区域以外的区域内各个像素点的置信度，根据所有像素点的置信度生成所述抓取置信度图；

根据所述目标物体上不同位置对应的宽度确定所述带标注的图像中各个像素点对应的抓取宽度，根据各个像素点对应的所述抓取宽度生成所述抓取宽度图；

根据所述目标物体上各个位置相对于参考坐标轴的夹角确定所述带标注的图像中各个像素点的抓取角度，根据各个像素点的所述抓取角度生成所述抓取角度图。

可选地，基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示包括：

在所述抓取置信度图中确定置信度最高的像素点所在的目标位置，并确定所述目标位置在图像平面坐标系中的像素坐标；

在所述抓取宽度图中确定所述目标位置对应的抓取宽度，并在所述抓取角度图中确定所述目标位置对应的抓取角度；

根据所述像素坐标、所述置信度、所述抓取宽度和所述抓取角度确定所述平面抓取表示。

可选地，所述根据所述平面抓取表示确定抓取位姿包括：

基于图像平面坐标系到相机坐标系的第一转换矩阵，和相机坐标系到世界坐标系的第二转换矩阵，将所述平面抓取表示转换为所述抓取位姿。

可选地，所述抓取位姿包括所述机械臂末端夹爪的抓取位置，所述根据所述抓取位姿控制所述机器人的机械臂动作包括：

实时获取所述末端夹爪的当前位置；

确定所述当前位置与所述抓取位置之间的空间距离，并根据所述空间距离确定所述末端夹爪的运动速度；

根据所述运动速度实时控制所述机械臂动作。

可选地，所述根据所述空间距离确定所述末端夹爪的运动速度包括：

将所述空间距离与预设的速度尺度相乘，获得所述运动速度；

采用预先确定的速度干扰矩阵对所述运动速度进行修正，获得修正后的运动速度，其中，所述速度干扰矩阵与不同方向上速度信号之间的相似性相关。

第二方面，本发明提供了一种双机械臂协作***，包括控制装置，所述控制装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如第一方面任一项所述的物体抓取方法。

可选地，还包括动作装置和感知装置；

所述动作装置包括机械臂模块和末端夹爪模块，所述末端夹爪模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端夹爪模块分别与所述控制装置电连接；

所述感知装置包括视觉模块和传感器模块，所述视觉模块和所述传感器模块分别安装在所述机械臂模块和/或所述末端夹爪模块上，所述视觉模块和所述传感器模块分别与所述控制装置电连接。

本发明的物体抓取方法及双机械臂协作***的有益效果包括：获取机器人的视觉***拍摄的待处理图像，可采用目标检测算法检测待处理图像中是否存在目标物体，若是，则可通过目标检测算法或其它技术手段标注出待处理图像中的目标物体，获得带标注的图像。采用训练好的GGCNN模型对带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，GGCNN模型只包括卷积层和反卷积层，结构简单，使用的参数量小，降低了对设备数据处理能力的需求，进而能够应用在硬件配置较低的设备上，以降低设备成本。根据抓取角度图、抓取宽度图和抓取置信度图确定平面抓取表示，平面抓取表示指用于表征一次抓取动作的数学形式，根据平面抓取表示确定抓取位姿，根据抓取位姿控制机械臂动作，就可实现对目标物体的抓取，相较于现有技术，不需要另外增设传感器等硬件设备，降低了硬件成本。其中，可根据抓取置信度选择最优的抓取位姿，以提高抓取准确度。

附图说明

图1为本发明实施例提供的一种双机械臂协作***的结构示意图；

图2为本发明实施例提供的动作装置的正视图；

图3为本发明实施例提供的动作装置的三维结构示意图；

图4为本发明另一实施例提供的一种物体抓取方法的流程示意图；

图5为本发明实施例的原标注区域和新标注区域的示意图；

图6为本发明实施例的GGCNN模型的模型结构示意图；

附图标记说明：

10-机械臂；20-夹爪；30-移动平台。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

需要说明的是，本文提供的坐标系XYZ中，X轴正向代表的右方，X轴的反向代表左方，Y轴的正向代表后方，Y轴的反向代表前方，Z轴的正向代表上方，Z轴的反向代表下方。

应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

如图1所示，本发明实施例提供的一种双机械臂协作***，包括动作装置、感知装置和如下所述的控制装置，所述控制装置分别与所述动作装置和所述感知装置电连接。

可选地，如图2和图3所示，所述动作装置包括机械臂模块和末端夹爪模块，所述末端夹爪模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端夹爪模块分别与所述控制装置电连接。

具体地，机械臂模块可包括至少一个机械臂10，机械臂10可采用六轴机械臂和七轴机械臂等，例如可采用型号为UR3的双机械臂，UR3机械臂相比其他协作机械臂而言，其关节处并没有力传感器，这一点可以减少自重及成本；且UR3机械臂的组件可以部分相互取代，这降低了维护的难度与成本。末端夹爪模块可包括多种不同类型的夹爪20，例如型号为AG-95的二指夹爪，型号为DH-3的三指夹爪。末端夹爪模块与机械臂模块的末端可拆卸连接，可根据不同的应用场景选择合适的夹爪，简单便捷。机械臂模块可设置在移动平台30上。

动作装置接收控制装置下发的控制指令以完成对应的动作，并且各个关节处的电机也可实时向控制装置反馈状态。例如当有人或障碍物触碰机械臂10且作用域大于预设阈值时，控制装置将发出制动指令，动作装置接收到制动指令后会立刻停止运动并启动关节锁；当发生以外掉电时，机械臂模块会采取保护动作，末端夹爪模块也会锁定当前状态的位姿与力量值，防止夹取的物品以外掉落。夹爪20还可以采用可更换式的指尖，可以在面对不同尺寸物体时装配不同宽度的指尖，也可以根据夹取物体的表面摩擦特性装配不同材质的指尖。夹爪20的之间默认采用刚性材质，对于玻璃等易碎品可采用柔性指尖，结合感知装置中的力传感器实现对易碎品的抓取。

可选地，所述感知装置包括视觉模块和传感器模块，所述视觉模块和所述传感器模块分别安装在所述机械臂模块和/或所述末端夹爪模块上，所述视觉模块和所述传感器模块分别与所述控制装置电连接。

具体地，感知装置中以视觉模块为主，传感器模块为辅。视觉模块可包括可见光子模块和IR子模块，其中，可见光子模块主要用于日间和户外等具有充足光站的场景，通过其采集的平面彩色图像进行目标检测，实现物体类别的判断；IR子模块则用于夜间或光线不佳的室内环境，主要用于感知深度、保障对运动物体的追踪帧率。

可见光子模块可包括普通彩色摄像头和广角全局摄像头，IR子模块可包括三目深度摄像头和红外夜视摄像头，传感器模块可包括激光雷达距离传感器和腕式6DOF力传感器。腕式6DOF力传感器可安装在机械臂10的腕部，即机械臂10末端与末端夹爪20之间；激光雷达距离传感器可安装在夹爪20的手掌中，即夹爪20手心非指尖的形状不变部分；三目深度摄像头可安装在两机械臂10之间的机架上，俯角向下。

本发明另一实施例提供的一种控制装置，控制装置可包括人机交互模块和中继模块，人机交互模块可包括示教器和计算机，计算机包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如下所述的物体抓取方法。中继模块可包括路由器和NANO开发板。

具体地，人机交互模块用于接收用户输入的控制指令并能以可视化方式展示***实时状态，中级模块用于负责不同硬件部分之间的通讯。计算机用于算法开发及测试，训练的模型成熟且轻量化后可部署至NANO开发板，路由器可以有线网络或无线网络的形式实现不同设备之间的通讯。

如图4所示，本发明实施例提供的一种物体抓取方法，包括：

步骤S100，获取机器人的视觉***拍摄的待处理图像。

具体地，待处理图像可包括普通彩色摄像头拍摄的彩色图像，和三目深度摄像头拍摄的深度图像。

步骤S200，检测所述待处理图像中是否存在目标物体，若是，则对所述待处理图像中的所述目标物体进行标注，获得带标注的图像。

具体地，可通过彩色图像确定是否存在目标物体，然后再在深度图像中标注出目标物体，也可直接在深度图像中判断是否存在目标物体，并在深度图像中标注出目标物体。

步骤S300，采用训练好的GGCNN（Grasp Quality Convolutional NeuralNetwork，抓取质量卷积神经网络）模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，其中，所述GGCNN模型包括多个卷积层和反卷积层。

具体地，GGCNN模型只由卷积层和反卷积层堆叠形成，例如可包括三个卷积层和三个反卷积层，结构精简，使用的参数量小，不需要滑动窗口或边界盒处理，也不依赖对目标进行对应的采样，降低了对设备计算能力的需求。同时，GGCNN模型在开环、闭环以及模拟不精确控制的情况下能实现较高的抓取精确率。

步骤S400，基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示，并根据所述平面抓取表示确定抓取位姿。

具体地，平面抓取表示对于一次抓取通过数学符号进行的形式化表示，抓取位姿表示抓取目标物体时机械臂10的位置和姿态。

步骤S500，根据所述抓取位姿控制所述机器人的机械臂10动作，以抓取所述目标物体。

本实施例中，获取机器人的视觉***拍摄的待处理图像，可采用目标检测算法检测待处理图像中是否存在目标物体，若是，则可通过目标检测算法或其它技术手段标注出待处理图像中的目标物体，获得带标注的图像。采用训练好的GGCNN模型对带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，GGCNN模型只包括卷积层和反卷积层，结构简单，使用的参数量小，降低了对设备数据处理能力的需求，进而能够应用在硬件配置较低的设备上，以降低设备成本。根据抓取角度图、抓取宽度图和抓取置信度图确定平面抓取表示，平面抓取表示指用于表征一次抓取动作的数学形式，根据平面抓取表示确定抓取位姿，根据抓取位姿控制机械臂10动作，就可实现对目标物体的抓取，相较于现有技术，不需要另外增设传感器等硬件设备，降低了硬件成本。其中，可根据抓取置信度选择最优的抓取位姿，以提高抓取准确度。

可选地，所述获取机器人的视觉***拍摄的待处理图像之前，还包括：对所述视觉***进行相机标定，并对所述机械臂10进行手眼标定。

具体地，在双机械臂协作***初次使用时，先进行标定工作，能够提高后续抓取的精度。双机械臂协作***可在人工辅助下完成相机标定和机械臂10手眼标定。

和/或，所述检测所述待处理图像中是否存在目标物体包括：

采用SSD-mobilenet目标检测算法检测所述待处理图像中是否存在所述目标物体。

本可选的实施例中，SSD（single shot multibox detector）目标检测算法采用多尺度特征图用于检测，通过卷积进行检测，运行速度快，且检测精度较高。进一步采用SSD-mobilenet算法，其相较于原始SSD算法，放弃了池化层，直接采用卷积操作时的步长为2进行卷积运算，具有轻量化的效果，能够应用在NANO开发板上，并且检测速度较快。

可选地，所述采用训练好的GGCNN模型对所述带标注的图像进行处理之前，还包括：

获取康奈尔数据集。

具体地，康奈尔数据集是现有的开源数据集，包括多个带标注框的深度图像。

对所述康奈尔数据集中的图像进行图像处理，获得处理后的康奈尔数据集，所述图像处理包括随机剪裁、缩放和旋转。

具体地，可对康奈尔数据集中的多个图像进行随机剪裁、缩放和旋转处理，生成更多的图像，用于训练模型，处理后的每个图像中至少包括1个标注框。

采用所述处理后的康奈尔数据集训练预先建立的GGCNN模型，获得训练好的GGCNN模型。

本可选的实施例中，可预先在其它计算设备上采用康奈尔数据集GGCNN模型，将训练好的GGCNN模型部署到双机械臂协作***的处理设备上，以降低对双机械臂协作***中设备数据处理能力的需求，使得能够应用在硬件配置较低的设备上，扩展了应用范围，能够降低硬件成本。

可选地，如图5所示，所述采用训练好的GGCNN模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图包括：

采用训练好的所述GGCNN模型对所述带标注的图像依次进行卷积处理和反卷积处理，提取所述带标注的图像中标注区域的部分区域，生成新标注区域，其中，所述部分区域与所述目标物体的重心相对应。

具体地，如图6所示，其中左下角方框为原始的带标注的图像，其中三个大矩形均为原标注框，其对应原标注区域，原标注框内的小矩形对应为新标注框，其对应新标注区域。由于大部分目标物体的重心都在物体的几何中部，若抓取物体两端可能会存在抓取不牢固的问题，可通过抓取物体的中部，以提高抓取牢固度。所以可将原标注框对应的标注区域按照长度方向划分为三个子区域，每个子区域的宽度与原标注区域的宽度相同，选择中间子区域作为新标注区域。

将所述新标注区域内各个像素点的置信度设为1，按照正态分布确定所述带标注的图像中除所述新标注区域以外的区域内各个像素点的置信度，根据所有像素点的置信度生成所述抓取置信度图。

具体地，可将新标注区域内各个像素点的置信度设为1，新标注区域以外区域的像素点的置信度设为0，或按照正态分布设置，可将不同置信度的像素点以不同的颜色表示，例如置信度为1的像素点为标准红色，置信度为0的像素点为白色，置信度在（0，1）之间的像素点对应白色到标准红色的渐变色，就可以得到一副关于置信度的图像，通过颜色可以直观反映不同位置的置信度。置信度反映了执行抓取动作的成功概率，置信度越大，表示抓取成功的概率越大。

根据所述目标物体上不同位置对应的宽度确定所述带标注的图像中各个像素点对应的抓取宽度，根据各个像素点对应的所述抓取宽度生成所述抓取宽度图。

具体地，对于新标注区域内的各个像素点，确定各个像素点对应的目标物体宽度，即该像素点所在位置对应的目标物体宽度方向的尺寸，就是该像素点的抓取宽度。对于新标注区域以外的各个像素点，表示为目标物体的两端或目标物体以外的背景区域，因此抓取宽度可设为0。同样地，可根据抓取宽度的不同将各个像素点分别以不同的颜色表示，例如抓取宽度为0的像素点以白色表示，抓取宽度为目标物体最大宽度的像素点为标准黄色，其它抓取宽度在（0，目标物体最大宽度）之间的像素点以白色到标准黄色的渐变色进行表示，就可以得到一副关于抓取宽度的图像，通过颜色可以直观反映不同位置对应的抓取宽度。

根据所述目标物体上各个位置相对于参考坐标轴的夹角确定所述带标注的图像中各个像素点的抓取角度，根据各个像素点的所述抓取角度生成所述抓取角度图。

具体地，参考坐标轴可为预先预设，对于目标物体上一个像素点，可令该像素点所在位置对应的目标物体的宽度方向与参考坐标轴之间的夹角就是该像素点对应的抓取角度，因此新标注区域内各个像素点的抓取角度就是对一个的宽度方向与参考坐标轴之间的夹角，由于不对新标注区域以外的区域进行夹取，因此其像素点的抓取角度可设为0。同样地，可根据抓取角度的不同将各个像素点分别以不同的颜色表示，例如抓取角度为0的像素以白色表示，抓取角度为最大抓取角度的像素点以标准蓝色表示，其它抓取角度在（0，最大抓取角度）之间的像素点以对应的白色到标准蓝色的渐变色进行表示，就可以得到一副关于抓取角度的图像，通过颜色可以直观反映不同位置对应的抓取角度。

需要说明的是，也可以抓取置信度图、抓取角度图和抓取宽度图中各个像素点也可以直接采用数字表示，也可采用表格表示各个像素点的置信度、抓取角度和抓取宽度。

可选地，基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示包括：

在所述抓取置信度图中确定置信度最高的像素点所在的目标位置，并确定所述目标位置在图像平面坐标系中的像素坐标；

在所述抓取宽度图中确定所述目标位置对应的抓取宽度，并在所述抓取角度图中确定所述目标位置对应的抓取角度；

根据所述像素坐标、所述置信度、所述抓取宽度和所述抓取角度确定所述平面抓取表示。

具体地，抓取角度图中的像素点、抓取宽度图中的像素点和抓取置信度图中各个像素点相对应，例如：在抓取置信度图中确定置信度最高的像素点的像素坐标（目标位置）为（x，y），则在抓取宽度图确定像素点（x，y）处的抓取宽度，在抓取角度图中确定像素点（x，y）处的抓取角度，进而确定平面抓取表示，平面抓取表示可表示为

，其中，

表示置信度最高的像素点的像素坐标，

表示抓取角度，

表示抓取宽度，

表示最高置信度。

本可选的实施例中，通过抓取置信度图可快速确定目标物体上抓取成功率最高的目标位置，通过坐标系之间的转换矩阵可将目标位置转换为世界坐标系中的抓取位置，根据该目标位置在抓取宽度图中可快速确定在目标位置抓取目标物体时需要设置的抓取宽度，以及根据该目标位置在抓取角度图中可快速确定在目标位置抓取目标物体时夹爪需要设置的抓取角度，通过抓取位置和抓取姿态的确定，能够提高抓取成功率和抓取效率。

可选地，所述根据所述平面抓取表示确定抓取位姿包括：

基于图像平面坐标系到相机坐标系的第一转换矩阵，和相机坐标系到世界坐标系的第二转换矩阵，将所述平面抓取表示转换为所述抓取位姿。

具体地，由于平面抓取表示是抓取在图像平面坐标系中数学形式，而机械臂10是在机器人坐标系（世界坐标系）中动作，因此需要将平面抓取表示从图像平面坐标系转换至世界坐标系。

可采用以下公式将平面抓取表示转换为世界坐标系中的抓取位姿：

，

其中，

表示抓取位姿，

表示从图像平面坐标系到相机坐标系的第一转换矩阵，

表示从相机坐标系到世界坐标系的第二转换矩阵，

表示平面抓取表示。

，其中，

表示夹爪20的抓取位置，

表示抓取角度，

表示夹爪20的抓取宽度，

表示抓取置信度。

可选地，所述抓取位姿包括所述机械臂10末端夹爪20的抓取位置，所述根据所述抓取位姿控制所述机器人的机械臂动作包括：

实时获取所述末端夹爪20的当前位置；

确定所述当前位置与所述抓取位置之间的空间距离，并根据所述空间距离确定所述末端夹爪20的运动速度；

根据所述运动速度实时控制所述机械臂10动作。

本可选的实施例中，获取末端夹爪20的当前位置实现闭环控制，末端夹爪20的当前位置与抓取位置之间的空间距离越大，则机械臂10的运动速度可越快，提高运动速度；空间距离越小，则机械臂10的运动速度越慢，避免速度机械臂10速度过快与目标物体相撞。

可选地，所述根据所述空间距离确定所述末端夹爪20的运动速度包括：

将所述空间距离与预设的速度尺度相乘，获得所述运动速度。

具体地，可采用如下公式计算运动速度：

，

其中，

表示运动速度，

表示运动尺度，是一个常量，

表示抓取位置，

表示末端夹爪20的当前位置，抓取位置和末端夹爪20的当前位置都是一个六维的向量，包括其在三个坐标轴的分量值和关于三个坐标轴的欧拉角。

采用预先确定的速度干扰矩阵对所述运动速度进行修正，获得修正后的运动速度，其中，所述速度干扰矩阵与不同方向上速度信号之间的相似性相关。

具体地，可采用如下公式对运动速度进行修正：

，

其中，

表示修正后的运动速度，速度干扰矩阵中c是cross-correlation（互相关）的缩写，在信号处理中，互相关（又称互协方差）是两个信号之间相似性的度量。具体地，

表示运动速度在x轴方向上的信号与在y轴方向上的信号之间的互协方差，

表示运动速度在x轴方向上的信号与自身之间的互协方差，

表示运动速度在x轴方向上的信号与在z轴方向上的信号之间的互协方差，

表示运动速度在y轴方向上的信号与在x轴方向上的信号之间的互协方差，

表示运动速度在y轴方向上的信号与自身之间的互协方差，

表示运动速度在y轴方向上的信号与在z轴方向上的信号之间的互协方差，

表示运动速度在z轴方向上的信号与在x轴方向上的信号之间的互协方差，

表示运动速度在z轴方向上的信号与在y轴方向上的信号之间的互协方差，

表示运动速度在z轴方向上的信号与自身之间的互协方差。

每一个c（

、

...

）值在每一次抓取尝试之前都可以通过对于正太分布

来随机取样所得，在这个正态分布中，

的值是人为指定的，可以将

作为分析对比的基准值，之后可依次取

做对比实验。

本发明的控制装置旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

控制装置包括计算单元，其可以根据存储在只读存储器（ROM）中的计算机程序或者从存储单元加载到随机访问存储器（RAM）中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (9)

1.一种物体抓取方法，其特征在于，包括：

获取机器人的视觉***拍摄的待处理图像；

检测所述待处理图像中是否存在目标物体，若是，则对所述待处理图像中的所述目标物体进行标注，获得带标注的图像；

采用训练好的GGCNN模型对所述带标注的图像进行处理，输出抓取角度图、抓取宽度图和抓取置信度图，包括：采用训练好的所述GGCNN模型对所述带标注的图像依次进行卷积处理和反卷积处理，提取所述带标注的图像中标注区域的部分区域，生成新标注区域，其中，所述部分区域与所述目标物体的重心相对应；将所述新标注区域内各个像素点的置信度设为1，按照正态分布确定所述带标注的图像中除所述新标注区域以外的区域内各个像素点的置信度，根据所有像素点的置信度生成所述抓取置信度图；根据所述目标物体上不同位置对应的宽度确定所述带标注的图像中各个像素点对应的抓取宽度，根据各个像素点对应的所述抓取宽度生成所述抓取宽度图；根据所述目标物体上各个位置相对于参考坐标轴的夹角确定所述带标注的图像中各个像素点的抓取角度，根据各个像素点的所述抓取角度生成所述抓取角度图，其中，所述GGCNN模型包括多个卷积层和反卷积层；

基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示，并根据所述平面抓取表示确定抓取位姿；

根据所述抓取位姿控制所述机器人的机械臂动作，以抓取所述目标物体。

2.根据权利要求1所述的物体抓取方法，其特征在于，所述获取机器人的视觉***拍摄的待处理图像之前，还包括：对所述视觉***进行相机标定，并对所述机械臂进行手眼标定；

和/或，所述检测所述待处理图像中是否存在目标物体包括：

采用SSD-mobilenet目标检测算法检测所述待处理图像中是否存在所述目标物体。

3.根据权利要求1所述的物体抓取方法，其特征在于，所述采用训练好的GGCNN模型对所述带标注的图像进行处理之前，还包括：

获取康奈尔数据集；

对所述康奈尔数据集中的图像进行图像处理，获得处理后的康奈尔数据集，所述图像处理包括随机剪裁、缩放和旋转；

采用所述处理后的康奈尔数据集训练预先建立的GGCNN模型，获得训练好的GGCNN模型。

4.根据权利要求1至3任一项所述的物体抓取方法，其特征在于，基于预设规则，根据所述抓取角度图、所述抓取宽度图和所述抓取置信度图确定平面抓取表示包括：

在所述抓取置信度图中确定置信度最高的像素点所在的目标位置，并确定所述目标位置在图像平面坐标系中的像素坐标；

在所述抓取宽度图中确定所述目标位置对应的抓取宽度，并在所述抓取角度图中确定所述目标位置对应的抓取角度；

根据所述像素坐标、所述置信度、所述抓取宽度和所述抓取角度确定所述平面抓取表示。

5.根据权利要求1至3任一项所述的物体抓取方法，其特征在于，所述根据所述平面抓取表示确定抓取位姿包括：

基于图像平面坐标系到相机坐标系的第一转换矩阵，和相机坐标系到世界坐标系的第二转换矩阵，将所述平面抓取表示转换为所述抓取位姿。

6.根据权利要求1至3任一项所述的物体抓取方法，其特征在于，所述抓取位姿包括所述机械臂末端夹爪的抓取位置，所述根据所述抓取位姿控制所述机器人的机械臂动作包括：

实时获取所述末端夹爪的当前位置；

确定所述当前位置与所述抓取位置之间的空间距离，并根据所述空间距离确定所述末端夹爪的运动速度；

根据所述运动速度实时控制所述机械臂动作。

7.根据权利要求6所述的物体抓取方法，其特征在于，所述根据所述空间距离确定所述末端夹爪的运动速度包括：

将所述空间距离与预设的速度尺度相乘，获得所述运动速度；

采用预先确定的速度干扰矩阵对所述运动速度进行修正，获得修正后的运动速度，其中，所述速度干扰矩阵与不同方向上速度信号之间的相似性相关。

8.一种双机械臂协作***，其特征在于，包括控制装置，所述控制装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1至7任一项所述的物体抓取方法。

9.根据权利要求8所述的双机械臂协作***，其特征在于，还包括动作装置和感知装置；

所述动作装置包括机械臂模块和末端夹爪模块，所述末端夹爪模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端夹爪模块分别与所述控制装置电连接；

所述感知装置包括视觉模块和传感器模块，所述视觉模块和所述传感器模块分别安装在所述机械臂模块和/或所述末端夹爪模块上，所述视觉模块和所述传感器模块分别与所述控制装置电连接。

Images