CN115070779A - 机器人抓取控制方法、***及电子设备 - Google Patents

Abstract

本发明提供了一种机器人抓取控制方法、***及电子设备，涉及自动化控制领域，该方法可通过预先设置的待抓取物体的点云模板和抓取信息实现对空间任意位置物体的位置定位及抓取位置生成，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过双目相机与机器人本体的手眼转换矩阵可实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

Description

机器人抓取控制方法、***及电子设备

技术领域

本发明涉及自动化控制领域，尤其是涉及一种机器人抓取控制方法、***及电子设备。

背景技术

在工业生产中，分拣、上料是一种典型的作业场景，其要求将原本杂乱放置的工件有序地归置于指定工位。近年来，人力成本不断提高，以劳动密集型为主的人工作业的生产成本也随之不断增加。人工作业受主观意识影响较大，并且在一些高危作业环境中并不适宜人工作业。同时，环境因素及工人的疲劳度等都是影响生产效率和质量的重要因素。为了弥补人工分拣的弊端，提高生产效率，分拣上料机器人应运而生。

机械臂抓取是分拣上料机器人的核心技术，根据工作方式的不同，机械臂抓取技术主要可分为两大类型：一类是通过对机械臂进行示教固定点及固定路径来完成抓取作业，另一类是通过机器视觉***对工件进行识别定位来完成抓取任务。实际使用过程中，通过机器视觉***完成抓取任务主要基于2D的机器视觉平面目标抓取技术，但此类技术难以满足无序环境下的抓取需求，缺少对抓取环境的感知、分析。

综上所述，现有技术的机器人抓取过程中，还存在抓取精度低、兼容性差的问题。

发明内容

有鉴于此，本发明的目的在于提供一种机器人抓取控制方法、***及电子设备，该方法可通过预先设置的待抓取物体的点云模板和抓取信息实现对空间任意位置物体的位置定位及抓取位置生成，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过双目相机与机器人本体的手眼转换矩阵可实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

第一方面，本发明实施例提供了一种机器人抓取控制方法，该方法应用于机器人抓取***；其中，机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；该方法包括：

将标定板固定在机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，机器人工具坐标系建立在法兰盘的中心处；机器人工具坐标系的Z轴与法兰盘的轴心重合；

利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果；根据第一拍照结果确定双目相机的外参矩阵；

利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；并根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵；

设置待抓取物体的点云模板和抓取位置，并将与待抓取物体相对应的夹爪机构单元替换至标定板处；

将实时采集的待抓取物体的点云信息与点云模板相匹配，利用手眼转换矩阵将完成匹配的待抓取物体进行抓取。

在一些实施方式中，将标定板固定在机器人本体末端的法兰盘上，包括：

选取与法兰盘的安装孔相匹配的安装夹具；安装夹具的顶部设置有加紧机构，安装夹具的底部设置有与安装孔相匹配的固定孔位；

将标定板放置在安装夹具的顶部凹槽中，并利用加紧机构将标定板加紧固定在机器人本体的末端。

在一些实施方式中，利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果，包括：

利用PLC控制器控制法兰盘移动，使得法兰盘上安装的标定板与双目相机处于同一水平位置；

利用PLC控制器控制法兰盘按照预设角度绕着机器人工具坐标系Z轴旋转，旋转时利用工控机控制双目相机对标定板进行拍照，得到标定板的第一拍摄图像；

将旋转后的机器人本体的第一姿态数据以及第一拍摄图像确定为第一拍照结果。

在一些实施方式中，根据第一拍照结果确定双目相机的外参矩阵以及所述机器人工具坐标系与标定板坐标系位置关系，包括：

根据第一拍照结果中包含的所有拍摄图像，确定双目相机的外参矩阵；

通过标定板中预设的特征点，利用最小二乘法拟合圆确定工具坐标系的中心坐标，并根据中心坐标建立机器人工具坐标系与标定板坐标系位置关系。

在一些实施方式中，利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果，包括：

保持机器人工具坐标系的Z轴方向的位置不变，利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，移动完成后利用工控机控制双目相机对标定板进行拍照，得到标定板的第二拍摄图像；

将移动后的机器人本体的第二姿态数据以及第二拍摄图像确定为第二拍照结果。

在一些实施方式中，根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵，包括：

根据第二拍照结果中的第二拍摄图像与第一拍照结果中的第一拍摄图像中的标定板中心坐标，计算得到标定板坐标系与机器人工具坐标系的第一转换矩阵；

根据工具坐标系与基坐标系的坐标关系，计算得到工具坐标系与基坐标系的第二转换矩阵；

根据第一转换矩阵、第二转换矩阵和外参矩阵的乘积结果，确定双目相机与机器人本体的手眼转换矩阵。

在一些实施方式中，点云模板的获取过程通过点云实时采集或三维图纸导入所实现；

夹爪机构单元中设置有夹爪，夹爪包括：电动夹爪、气动夹爪或液动夹爪。

第二方面，本发明实施例提供了一种机器人抓取控制***，该机器人抓取控制***应用于机器人抓取***；机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；机器人抓取控制***包括：

第一初始化模块，用于将标定板固定在机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，机器人工具坐标系建立在法兰盘的中心处；机器人工具坐标系的Z轴与法兰盘的轴心重合；

第一计算模块， 用于利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果；根据第一拍照结果确定双目相机的外参矩阵；

第二计算模块，用于利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；并根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵；

第二初始化模块，用于设置待抓取物体的点云模板和抓取位置，并将与待抓取物体相对应的夹爪机构单元替换至标定板处；

抓取控制模块，用于将实时采集的待抓取物体的点云信息与点云模板相匹配，利用手眼转换矩阵将完成匹配的待抓取物体进行抓取。

第三方面，本发明实施例还提供一种电子设备，包括：处理器和存储器；存储器上存储有计算机程序，计算机程序在被处理器运行时实现上述第一方面任意可能的实施方式中提到的机器人抓取控制方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中，计算机程序被处理器运行时实现上述第一方面任意可能的实施方式中提到的机器人抓取控制方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供了一种机器人抓取控制方法、***及电子设备，该方法应用于机器人抓取***；其中，机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；该方法首先将标定板固定在机器人本体的法兰盘上，机器人工具坐标系建立在机器人末端法连盘中心处，机器人工具坐标系Z轴与末端法兰轴心重合，指向末端的朝向，并以此为基础建立所述标定板坐标系；然后利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果；根据第一拍照结果确定双目相机的外参矩阵以及机器人本体的工具坐标系与标定板坐标系位置关系；再利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；根据第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵；通过设置待抓取物体的点云模板和抓取位置，并将与待抓取物体相对应的夹爪机构单元替换至标定板处；最后将实时采集的待抓取物体的点云信息与点云模板相匹配，利用手眼转换矩阵将完成匹配的待抓取。该方法可通过预先设置的待抓取物体的点云模板和抓取位置实现参数的统一标定，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过机器人本体的手眼转换矩阵实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种机器人抓取控制方法的流程图；

图2为本发明实施例提供的一种机器人抓取控制方法中，将标定板固定在机器人本体的法兰盘的流程图；

图3为本发明实施例提供的一种机器人抓取控制方法中，利用PLC控制器控制法兰盘绕着基坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果的流程图；

图4为本发明实施例提供的一种机器人抓取控制方法中，根据第一拍照结果确定双目相机的外参矩阵以及机器人本体的工具坐标系与标定板坐标系位置关系的流程图；

图5为本发明实施例提供的一种机器人抓取控制方法中，利用PLC控制器控制法兰盘沿着基坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果的流程图；

图6为本发明实施例提供的一种机器人抓取控制方法中，根据第二拍照结果、外参矩阵、工具坐标系和基坐标系确定机器人本体的手眼转换矩阵的流程图；

图7为本发明实施例提供的一种机器人抓取控制方法中抓取物体的实物图；

图8为本发明实施例提供的一种机器人抓取控制方法中抓取物体的点云模板示意图；

图9为本发明实施例提供的一种机器人抓取控制方法中夹爪机构单元的结构示意图；

图10为本发明实施例提供的一种机器人抓取控制***的结构示意图；

图11为本发明实施例提供的另一种机器人抓取控制***的结构示意图；

图12为本发明实施例提供的利用机器人抓取控制***进行工件抓取的流程图；

图13为本发明实施例提供的一种电子设备的结构示意图。

图标：

1010-第一初始化模块；1020-第一计算模块；1030-第二计算模块；1040-第二初始化模块；1050-抓取控制模块；

1110-机器人抓取控制***；1120-机器人抓取***；

101-处理器；102-存储器；103-总线；104-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在工业生产中，分拣、上料是一种典型的作业场景，其要求将原本杂乱放置的工件有序地归置于指定工位。近年来，人力成本不断提高，以劳动密集型为主的人工作业的生产成本也随之不断增加。人工作业受主观意识影响较大，并且在一些高危作业环境中并不适宜人工作业。同时，环境因素及工人的疲劳度等都是影响生产效率和质量的重要因素。为了弥补人工分拣的弊端，提高生产效率，分拣上料机器人应运而生。

机械臂抓取是分拣上料机器人的核心技术。目前，根据工作方式的不同，机械臂抓取技术主要可分为两大类型：一类是通过对机械臂进行示教固定点及固定路径来完成抓取作业，此类工件来料一般通过特定装置（如振动筛选机等）或人工使其以特定姿态置于某一固定位置；另一类是通过机器视觉***对工件进行识别定位来完成抓取任务，抓取点及机械臂的运动路径不固定。其中，基于2D机器视觉的平面目标的抓取技术，在工业生产应用中已非常成熟。这类应用对工件位置要求较为严格，通常是用传统的工装实现定位的，要求工件必须在同一平面分开摆放，没有或者极少重叠，只需定位到工件在平面上的位置，无需考虑其在三维空间中的高度及姿态。但是，在实际的工业生产中，生产环境和作业要求往往极其复杂，经常出现要求从杂乱无章的物料周转箱或料框中逐一抓取工件的情况。此种情况中的目标工件相互重叠、相互遮掩。对于此类应用，基于2D机器视觉的机械臂抓取技术显然无法有效地完成作业任务。而在无序的应用环境则要复杂得多，这意味着机器人无法依靠设定好的程序继续执行工作，而是需要对环境进行感知、分析，进而再做出判断。

鉴于上述分析，现有技术中存在的主要问题如下：

在长期的单一重复性工作中，工人容易产生心理疲劳和身体疲劳，影响生产效率，甚至产生安全事故。

目前的分拣上料机器人只是针对固定点位抓取或者是同一高度上的离散来料抓取，并未实现对整框来料的无序抓取功能，无法实现自动换框功能。

多数场景零件在料筐内姿态多样甚至存在零件颠倒情况，使得无序抓取***性能的进一步提升遇到了瓶颈。

解决上述技术问题的难度在于：在实际应用现场中，同一产线的上料型号并不一致，不同型号物料外形尺寸、重量、可抓取位置、来料状态不一致，会导致长时间不同型号物料调试。很难做到一套程序兼容所有型号。

综上所述，现有技术的机器人抓取过程中，还存在抓取精度低、兼容性差的问题。

基于此，本发明实施例提供了一种机器人抓取控制方法、***及电子设备，该方法可通过预先设置的待抓取物体的点云模板和抓取位置实现参数的统一标定，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过机器人本体的手眼转换矩阵实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种机器人抓取控制方法进行详细介绍。该方法应用于机器人抓取***；其中，机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元。值得一提的是，机器人本体作为机器人抓取***的抓取单元，在抓取过程中提供了骨架作用；双目相机放置在对应的相机固定架上且与机器人本体相对位置固定，用于对放置于检测视野范围内的待测物体进行取图，获得待测物体的点云信息；标定板，使用时安装于机器人末端，用于进行***手眼标定；PLC控制器与工控机相连，用于发送和接收工控机的传输信号，并控制机器人本体运动；工控机分别与双目相机及PLC相连，用于控制双目相机拍照、存储相机所采集的图像并对图像进行处理、发送运动信号给PLC控制机器人本体运动或进行信息的传输。夹爪机构单元安装于机器人末端，可根据需求选择不同类型的夹爪，夹爪机构单元用于物件抓取、料框更换。

具体的，该机器人抓取控制方法的流程图如图1所示，该方法包括：

步骤S101，将标定板固定在机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，机器人工具坐标系建立在法兰盘的中心处；机器人工具坐标系的Z轴与法兰盘的轴心重合。

标定板作为标定核心工具，需要将其固定在机器人本体的法兰盘中。标定板可采用标准棋盘格标定板和标准圆点标定板，也可采用参数已知的特殊设计标定板。

机器人本体的基坐标系可理解为世界坐标系，该坐标系作为基准坐标系用于后续的参数标定过程。

步骤S102，利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果；根据第一拍照结果确定双目相机的外参矩阵。

在PLC控制器的控制下，法兰盘托着标定板绕着机器人工具坐标系的Z轴旋转，旋转的过程中利用工控机控制双目相机对标定板进行拍照，得到包含标定板的照片。拍照过程中可根据双目相机的相关参数确定其外参矩阵和机器人本体的工具坐标系与标定板坐标系位置关系，同时可将机器人本体的姿态数据进行记录，并将其与拍摄的照片一起作为第一行拍照结果。

步骤S103，利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；并根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵。

在机器人工具坐标系下利用PLC控制器控制法兰盘沿着其XY平面方向进行移动，并利用工控机控制双目相机对标定板进行拍照，得到拍摄图像；通过对比拍摄图像与第一拍照结果中拍摄的照片进行对比得到转换坐标系，并根据相机与机器人本体之间存在的工具坐标系、基坐标系、转换坐标系得到最终的转换矩阵，即双目相机与机器人本体的手眼转换矩阵。

步骤S104，设置待抓取物体的点云模板和抓取位置，并将与待抓取物体相对应的夹爪机构单元替换至标定板处。

上述步骤S101至S103为标定的核心步骤，标定完成后需要设置待抓取物体的点云模板以及对应的抓取位置；不同类型的待抓取物体，其点云模板的设置过程均不相同，其对应的抓取位置也并不相同。待抓取物体的点云模板和抓取位置设置完成后，拆卸标定板，并在机器人本体的法兰盘上安装对应的夹爪机构。

步骤S105，设置待抓取物体的点云模板和抓取位置，并将与待抓取物体相对应的夹爪机构单元替换至标定板处。

标定步骤和初始化步骤完成后，利用PLC控制器和工控机控制夹爪机构单元对待抓取物体所在区域进行抓取。抓取过程中通过实时采集待抓取物体的点云信息，与已完成设置的点云模板进行匹配，匹配完成后利用手眼转换矩阵将抓取位置坐标进行转换，最终利用转换后的位置坐标控制机器人本体进行移动，同时控制夹爪机构单元对待抓取物体进行抓取。

通过上述实施例中提供的机器人抓取控制方法可知，该方法可通过预先设置的待抓取物体的点云模板和抓取信息实现对空间任意位置物体的位置定位及抓取位置生成，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过机器人本体的手眼转换矩阵实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

在一些实施方式中，将标定板固定在机器人本体末端的法兰盘上，如图2所示，包括：

步骤S201，选取与法兰盘的安装孔相匹配的安装夹具；安装夹具的顶部设置有加紧机构，安装夹具的底部设置有与安装孔相匹配的固定孔位。

标定板安装夹具为通用夹具，使用时标定板放置于标定板安装夹具凹槽内并由夹紧机构夹紧，安装孔可适配Kuka、ABB、UR、Fanuc等主流机器人法兰盘。

步骤S202，将标定板放置在安装夹具的顶部凹槽中，并利用加紧机构将标定板加紧固定在机器人本体的末端。

加紧固定后的标定板需保证在移动过程中不产生晃动，因此实际加紧固定过程中在不损坏标定板的前提下，可尽可能的增大加持力。

在一些实施方式中，利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果，如图3所示，包括：

步骤S301，利用PLC控制器控制法兰盘移动，使得法兰盘上安装的标定板与双目相机处于同一水平位置。

双目相机固定于机器人本体之外，双目相机安装高度由双目相机最佳视野高度范围和机器人本体的安装高度综合决定。实际场景中，可针对特殊场景来定制相应的视野范围和拍摄物距，利用相关算式进行计算获取。

调整标定板致与双目相机处于同一水平位置的过程中，可设置相应的阈值范围以实现相对水平，例如偏差值低于5°时均认为其处于同一水平位置。

步骤S302，利用PLC控制器控制法兰盘按照预设角度绕着机器人工具坐标系Z轴旋转，旋转时利用工控机控制双目相机对标定板进行拍照，得到标定板的第一拍摄图像。

在PLC控制器的控制下，法兰盘托着标定板绕着机器人工具坐标系Z轴旋转，旋转的过程中利用工控机控制双目相机对标定板进行拍照，拍照过程中需要保证标定板中的特征点面向双目相机，取图时标定板总旋转角度可设置为360°，标定板单次旋转的角度一般大于6°且小于30°；最终获得超过10张拍摄图像。

步骤S303，将旋转后的机器人本体的第一姿态数据以及第一拍摄图像确定为第一拍照结果。

在一些实施方式中，根据第一拍照结果确定双目相机的外参矩阵，如图4所示，包括：

步骤S401，根据所述第一拍照结果中包含的所有拍摄图像，确定所述双目相机的所述外参矩阵。

在PLC控制器的控制下，法兰盘托着标定板绕着机器人工具坐标系本体的Z轴旋转，旋转的过程中利用工控机控制双目相机对标定板进行拍照，其中每旋转固定角度采集一张图像，同时记录每张图像对应的协作机器人位姿，旋转得到m张标定板图像（m＞10），记为图1、图2、图3…图m；并根据获得的图像计算一组外参矩阵 ^cal H _cam 。

步骤S402，根据机器人工具坐标系的中心坐标与标定板坐标系的位置关系，确定双目相机的外参矩阵。

在得到m张图像后，获取这m张标定板图像上m组标定板中心坐标或某一固定标定的特征位置，通过最小二乘法拟合圆计算得到工作坐标系的中心坐标，并根据中心坐标建立工具坐标系与标定板坐标系位置关系。

在一些实施方式中，利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果，如图5所示，包括：

步骤S501，保持机器人工具坐标系的Z轴方向的位置不变，利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，移动完成后利用工控机控制双目相机对标定板进行拍照，得到标定板的第二拍摄图像。

在机器人本体的基坐标系下，保持机器人工具坐标系Z轴方向位置不变，使法兰盘带动标定板沿XY平面某一特定方向移动一定距离，采集一张标定板图像即第二拍摄图像并记为图n，同时记录对应的机器人本体的姿态数据。

步骤S502，将移动后的机器人本体的第二姿态数据以及第二拍摄图像确定为第二拍照结果。

第二拍照结果确定后，通过对比拍摄图像与第一拍照结果中拍摄的照片进行对比得到转换坐标系，并根据相机与机器人本体之间存在的工具坐标系、基坐标系、转换坐标系得到最终的转换矩阵，即机器人本体的手眼转换矩阵。具体的，在一些实施方式中，根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵，如图6所示，包括：

步骤S601，根据第二拍照结果中的第二拍摄图像与第一拍照结果中的第一拍摄图像中的标定板中心坐标，计算得到标定板坐标系与机器人工具坐标系的第一转换矩阵。

根据图m和图n中的标定板中心坐标，计算出标定板坐标系与工具坐标系的转换矩阵 ^tool H _cal 。

步骤S602，根据工具坐标系与基坐标系的坐标关系，计算得到工具坐标系与基坐标系的第二转换矩阵。

根据工具坐标系与基坐标系的坐标转换关系，计算得到机器人工具坐标系与基座标系之间的转换矩阵 ^base H _tool 。

步骤S603，根据第一转换矩阵、第二转换矩阵和外参矩阵的乘积结果，确定双目相机与机器人本体的手眼转换矩阵。

具体的说，外参矩阵是相机与标定板的关系；第一转换矩阵是标定板坐标系与工具坐标系的关系；第二转换矩阵即工具坐标系与基坐标系的关系。由外参矩阵 ^cal H _cam 、相机与根据标定板坐标系与工具坐标系的转换矩阵 ^tool H _cal 、机器人工具坐标系与基座标系之间的转换矩阵 ^base H _tool 进行乘积运算完成手眼标定过程，最终得到手眼转换矩阵 ^base H _cam ，手眼标定计算公式如下：

^base H _cam = ^base H _tool × ^tool H _cal × ^cal H _cam 。

抓取物体实物可包括齿件、轴件以及料框，参见图7所示。点云模板的获取过程通过点云实时采集或三维图纸导入所实现；点云模板的示意图如图8所示，分别对应齿件、轴件以及料框的点云模板。

夹爪机构单元中设置有夹爪，夹爪包括：电动夹爪、气动夹爪或液动夹爪。实际场景中可在夹爪机构单元中设置多个种类的夹爪。具体的，夹爪机构单元的结构示意图如图9所示。这些夹爪机构单元遮盖各类气缸品牌。值得一提的是，轴件和料框夹爪机构相同。

通过上述实施例中提供的机器人抓取控制方法可知，该方法可通过预先设置的待抓取物体的点云模板和抓取信息实现对空间任意位置物体的位置定位及抓取位置生成，设定好相关参数后可实现一键标定；标定板安装件可适配主流品牌机器人法兰盘，并可更换其对应的夹爪机构单元实现不同类型的物体抓取，进一步提升了兼容性；同时通过机器人本体的手眼转换矩阵实现待抓取物体与机器人本体的坐标转换，并结合点云信息对不同类型、不同形态、不同高度位置的待抓取物体进行抓取，有效提高抓取的兼容性。

对应于上述方法实施例，本发明实施例还提供了一种机器人抓取控制***，该机器人抓取控制***应用于机器人抓取***；机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；如图10所示，机器人抓取控制***包括：

第一初始化模块1010，用于将标定板固定在机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，机器人工具坐标系建立在法兰盘的中心处；机器人工具坐标系的Z轴与法兰盘的轴心重合；

第一计算模块1020， 用于利用PLC控制器控制法兰盘绕着机器人工具坐标系的Z轴旋转，并利用工控机控制双目相机对标定板进行拍照得到第一拍照结果；根据第一拍照结果确定双目相机的外参矩阵；

第二计算模块1030，用于利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；并根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵；

第二初始化模块1040，用于利用PLC控制器控制法兰盘沿着机器人工具坐标系的X轴Y轴平面进行移动，并利用工控机控制双目相机对标定板进行拍照得到第二拍照结果；并根据第一拍照结果、第二拍照结果、外参矩阵、机器人工具坐标系和机器人基坐标系确定双目相机与机器人本体的手眼转换矩阵；

抓取控制模块1050，用于将实时采集的待抓取物体的点云信息与点云模板相匹配，利用手眼转换矩阵将完成匹配的待抓取物体进行抓取。

如图11所示，在另一种机器人抓取控制***的结构示意图中可知，该机器人抓取控制***1110可设置在相关机器人控制柜中，并与机器人抓取***1120中的PLC控制器相连接。

在使用上述设备实现机器人抓取控制时，可参照图12所述的方法流程图来实现抓取操作。设备启动后，将上料料车推到指定位置，然后相关传感器检测到位置信号后调用双目相机进行取图。取图完成后首先判断有无塑料膜，如果有塑料膜则将其去除；去除完成后再判断有无干燥剂，如果有干燥剂则将其去除；去除完成后再次调用双目相机进行取图，判断有无工件；如果有，则寻找工件位姿，生成抓取点信息；然后视觉***引导机器人开始抓件，并将零件放在工作台上；通过循环抓件最终完成所有零件的抓取过程。

如果双目相机的取图结果中没有工件，则判断有取图结果中有无料框；如果有，则更换料框，并重新执行塑料膜的判断流程；如果无料框，则控制机器人回到原点，提示上料，并重新执行抓件流程。

本发明实施例提供的机器人抓取控制***，与上述实施例提供的机器人抓取控制方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

本实施例还提供一种电子设备，为该电子设备的结构示意图如图13所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述机器人抓取控制方法。

图13所示的电子设备还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。

其中，存储器102可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例的方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种机器人抓取控制方法，其特征在于，所述方法应用于机器人抓取***；所述机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；所述方法包括：

将所述标定板固定在所述机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，所述机器人工具坐标系建立在所述法兰盘的中心处；所述机器人工具坐标系的Z轴与所述法兰盘的轴心重合；

利用PLC控制器控制所述法兰盘绕着所述机器人工具坐标系的Z轴旋转，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第一拍照结果；根据所述第一拍照结果确定所述双目相机的外参矩阵以及所述机器人本体的工具坐标系与标定板坐标系位置关系；

利用PLC控制器控制所述法兰盘沿着所述机器人工具坐标系的X轴Y轴平面进行移动，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第二拍照结果；并根据所述第一拍照结果、所述第二拍照结果、所述外参矩阵、所述机器人工具坐标系和所述机器人基坐标系确定所述双目相机与机器人本体的手眼转换矩阵；

设置待抓取物体的点云模板和抓取位置，并将与所述待抓取物体相对应的所述夹爪机构单元替换至所述标定板处；

将实时采集的所述待抓取物体的点云信息与所述点云模板相匹配，利用所述手眼转换矩阵将完成匹配的所述待抓取物体进行抓取。

2.根据权利要求1所述的机器人抓取控制方法，其特征在于，将所述标定板固定在所述机器人本体末端的法兰盘上，包括：

选取与所述法兰盘的安装孔相匹配的安装夹具；所述安装夹具的顶部设置有加紧机构，所述安装夹具的底部设置有与所述安装孔相匹配的固定孔位；

将所述标定板放置在所述安装夹具的顶部凹槽中，并利用所述加紧机构将所述标定板加紧固定在所述机器人本体的末端。

3.根据权利要求1所述的机器人抓取控制方法，其特征在于，利用PLC控制器控制所述法兰盘绕着所述机器人工具坐标系的Z轴旋转，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第一拍照结果，包括：

利用所述PLC控制器控制所述法兰盘移动，使得所述法兰盘上安装的所述标定板与所述双目相机处于同一水平位置；

利用所述PLC控制器控制所述法兰盘按照预设角度绕着机器人工具坐标系Z轴旋转，旋转时利用所述工控机控制所述双目相机对所述标定板进行拍照，得到所述标定板的第一拍摄图像；

将旋转后的所述机器人本体的第一姿态数据以及所述第一拍摄图像确定为所述第一拍照结果。

4.根据权利要求3所述的机器人抓取控制方法，其特征在于，根据所述第一拍照结果确定所述双目相机的外参矩阵以及所述机器人工具坐标系与标定板坐标系位置关系，包括：

根据所述第一拍照结果中包含的所有拍摄图像，确定所述双目相机的所述外参矩阵；

通过所述标定板中预设的特征点，利用最小二乘法拟合圆确定所述工具坐标系的中心坐标，并根据所述中心坐标建立所述机器人工具坐标系与标定板坐标系位置关系。

5.根据权利要求3所述的机器人抓取控制方法，其特征在于，利用PLC控制器控制所述法兰盘沿着所述机器人工具坐标系的X轴Y轴平面进行移动，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第二拍照结果，包括：

保持所述机器人工具坐标系的Z轴方向的位置不变，利用所述PLC控制器控制所述法兰盘沿着所述机器人工具坐标系的X轴Y轴平面进行移动，移动完成后利用所述工控机控制所述双目相机对所述标定板进行拍照，得到所述标定板的第二拍摄图像；

将移动后的所述机器人本体的第二姿态数据以及所述第二拍摄图像确定为所述第二拍照结果。

6.根据权利要求5所述的机器人抓取控制方法，其特征在于，根据所述第一拍照结果、所述第二拍照结果、所述外参矩阵、所述机器人工具坐标系和所述机器人基坐标系确定所述双目相机与机器人本体的手眼转换矩阵，包括：

根据所述第二拍照结果中的所述第二拍摄图像与所述第一拍照结果中的所述第一拍摄图像中的标定板中心坐标，计算得到所述标定板坐标系与所述机器人工具坐标系的第一转换矩阵；

根据所述工具坐标系与基坐标系的坐标关系，计算得到所述工具坐标系与所述基坐标系的第二转换矩阵；

根据所述第一转换矩阵、所述第二转换矩阵和所述外参矩阵的乘积结果，确定所述双目相机与机器人本体的手眼转换矩阵。

7.根据权利要求1所述的机器人抓取控制方法，其特征在于，所述点云模板的获取过程通过点云实时采集或三维图纸导入所实现；

所述夹爪机构单元中设置有夹爪；所述夹爪包括：电动夹爪、气动夹爪或液动夹爪。

8.一种机器人抓取控制***，其特征在于，所述机器人抓取控制***应用于机器人抓取***；所述机器人抓取***至少包括：机器人本体、双目相机、标定板、PLC控制器、工控机和夹爪机构单元；所述机器人抓取控制***包括：

第一初始化模块，用于将所述标定板固定在所述机器人本体末端的法兰盘上，并根据预设的机器人工具坐标系建立标定板坐标系；其中，所述机器人工具坐标系建立在所述法兰盘的中心处；所述机器人工具坐标系的Z轴与所述法兰盘的轴心重合；

第一计算模块， 用利用PLC控制器控制所述法兰盘绕着所述机器人工具坐标系的Z轴旋转，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第一拍照结果；根据所述第一拍照结果确定所述双目相机的外参矩阵；

第二计算模块，用于利用PLC控制器控制所述法兰盘沿着所述机器人工具坐标系的X轴Y轴平面进行移动，并利用所述工控机控制所述双目相机对所述标定板进行拍照得到第二拍照结果；并根据所述第一拍照结果、所述第二拍照结果、所述外参矩阵、所述机器人工具坐标系和所述机器人基坐标系确定所述双目相机与机器人本体的手眼转换矩阵；

第二初始化模块，用于设置待抓取物体的点云模板和抓取位置，并将与所述待抓取物体相对应的所述夹爪机构单元替换至所述标定板处；

抓取控制模块，用于将实时采集的所述待抓取物体的点云信息与所述点云模板相匹配，利用所述手眼转换矩阵将完成匹配的所述待抓取物体进行抓取。

9.一种电子设备，其特征在于，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时实现如权利要求1至7任一项所述的机器人抓取控制方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现上述权利要求1至7任一项所述的机器人抓取控制方法的步骤。

Images