CN109015640B - 抓取方法、***、计算机装置及可读存储介质 - Google Patents

Abstract

本发明提供一种抓取方法及装置、计算机装置及可读存储介质，包括根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件，当所述两抓取点满足所述力封闭条件时，将所述两抓取点作为可行抓取点对；计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对。本发明基于力封闭原则和摩擦约束条件提出了一种筛选具有最大抓取概率的可行抓取点算法，实现了从众多的符合约束条件的可行抓取点组合中，筛选出一对具有最大成功抓取概率的接触点作为实际抓取执行的数据点，能够显著提高一次性抓取的成功率，降低成本。

Description

抓取方法、***、计算机装置及可读存储介质

技术领域

本发明涉及机器人领域，尤其涉及一种基于机器人的抓取方法、***、计算机装置及可读存储介质。

背景技术

本部分旨在为权利要求书及具体实施方式中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着互联网和移动互联网的日益普及，电子商务已经成为与人们生活息息相关的领域。而现代物流行业是电子商务能够成功运营的基础条件，它使得商品在网店与消费之间快速有效流动，提高了企业产品的销售状况，节约了消费者的购物成本与消费成本。物流分拣环节是整个物流行业必不可少的一部分，每天面对成千上万的需要配送的商品，需要及时准确的进行分拣，使得每件物品都能被送到正确的流水线、包装点等。而装配有灵活机械手的机械臂抓取***是用于实现分拣功能的有效工具。但是越是自由度多的机械手，价格也成倍的增加，另外也更加不容易精确控制，无形中增加了物流的分拣成本。毫无疑问，能够完成抓取任务的机械手至少需要两个手指。但是二指机械手相对于三指机械手或者其他更多指机械手而言，抓取的稳定性相对较低。因此，如何使用最少的机械手(即两指机械手)实现稳定的机械臂抓取，这对节约生产成本和提高物流企业的行业竞争力具有至关重要的作用。

一般的，在使用较广泛的机械手都是三指机械手，因为三指机械手在抓取的目标物体时会存在三个接触点，只要使得被抓取的目标物体的质心位于三角形内部，满足力封闭原则，就实现稳定的抓取任务。但是通用的三指机械手造价一般都在十几万元人民币，大大增加了生产成本。市面上也有用3D打印技术制作的非金属材质的三指机械手，但是这种机械手的制作精度不高，自身的硬度不够，难以适用于大密度的抓取对象。

一般的，工业生产当中都是通过摄像机获取待抓取的目标物体信息之后，都会提出各种约束条件来筛选出符合约束的数据点作为具体抓取操作的接触点，然后通过逆运动学解算，得到末端位置的坐标和对应的控制指令，最常用的机械臂控制方法是PID控制，到达期望位置后完成抓取任务。PID控制的核心是调节控制器的比例项、积分项和微分项的参数。

然而，对于某一待抓取的目标物体而言，在相关约束条件下，存在很多组数据都满足所提的约束条件。这时就给控制器带来问题，如何选择一组可行的抓取点并且能够尽可能的保证抓取成功率是关键问题，在以往的技术中都对这类问题没有很好的处理方式。

发明内容

鉴于上述，本发明提供一种抓取方法、***、计算机装置及可读存储介质，以有利于提高抓取的成功率。

一种抓取方法，应用于机器人，包括：

根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件，当所述两抓取点满足所述力封闭条件时，将所述两抓取点作为可行抓取点对；

计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对。

进一步地，在所述抓取方法中，所述计算每一可行抓取点对的抓取概率包括：

获取每一可行抓取点对包含的抓取点所对应的抓取质量；

获取所述抓取点所对应的法向量的正态分布概率；

根据所述抓取质量及所述正态分布概率来得到所述抓取概率。

进一步地，在所述抓取方法中，所述机器人包括二指机械手，所述根据约束条件获取对应目标物体的一个或多个可行抓取点对还包括：

判断两抓取点之间的距离是否不小于所述二指机械手的最大张开距离；

当两抓取点之间的距离小于所述二指机械手的最大张开距离时将所述两抓取点为可行抓取点对；或/及

判断所述二指机械手是否斜向抓取目标物体；

当所述二指机械手不是斜向抓取目标物体时将所述两抓取点为可行抓取点对；或/及

判断所述二指机械手在靠近目标物体过程中是否会提前接触待抓取物体；

当所述二指机械手在靠近目标物体过程中不会提前接触待抓取物体时将所述两抓取点为可行抓取点对。

进一步地，在所述抓取方法中，所述计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对包括：

获取对应所述目标物体的质心位置；

根据六维力传感器获取对应抓取点的接触力及接触力矩，并根据接触力及接触力矩得到对应的六维力旋量；

判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束；

当所述六维力旋量所对应的力旋量空间满足对应的摩擦约束，根据所述力旋量空间组成的凸多面体计算所述凸多面体所对应的凸包的体积；

计算所述目标物体的质心位置到所述凸多面体表面的最小距离，并将所述最小距离作为所述凸包的最大内切球半径，其中所述最大内切球半径为所述抓取质量；

判断所述力旋量空间的原点是否在所述凸包的内部；

当所述力旋量空间的原点在所述凸包的内部时，计算所述抓取质量所对应的接触点与所述接触点的法向量的正态分布概率之积，以得到所述抓取概率。

进一步地，在所述抓取方法中，所述判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束包括：

当接触模型为带摩擦点接触模型时，判断所述力旋量空间是否满足第一摩擦约束条件；

当所述接触模型为软手指模型时，判断所述力旋量空间是否满足第二摩擦约束条件。

进一步地，所述抓取方法还包括：

根据最大抓取概率所对应的所述可行抓取点对生成运动指令，其中所述运动指令包括第一控制指令及第二控制指令；

执行所述第一控制指令，以控制所述机器人的机械臂的动作；

执行所述第二控制指令，以控制所述机器人的机械手的动作。

进一步地，在所述抓取方法中，所述根据约束条件获取对应目标物体的一个或多个可行抓取点对之前还包括：

对3D深度相机进行标定设置；

对所述3D深度相机所拍摄到的目标物体的拍摄图像执行过滤操作，以滤除所述拍摄图像中背景干扰信息。

一种抓取***，包括：

获取单元，用于根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件，当所述两抓取点满足所述力封闭条件时，将所述两抓取点作为可行抓取点对；

抓取概率单元，用于计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对。

一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述的抓取方法的步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的抓取方法的步骤。

上述抓取方法、***、计算机装置及可读存储介质基于力封闭原则和摩擦约束条件提出了一种筛选具有最大抓取概率的可行抓取点算法，实现了从众多的符合约束条件的可行抓取点组合中，筛选出一对具有最大成功抓取概率的接触点作为实际抓取执行的数据点，能够显著提高一次性抓取的成功率，降低成本。另外，上述抓取方法、***、计算机装置及可读存储介质还基于筛选出的具有最大抓取概率的可行抓取点对来生成时序性的控制指令，以先后控制机械臂及机械手的动作，如此有利于对机械手的精确控制。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明抓取方法的第一较佳实施方式的流程图；

图2是图1中步骤102的较佳实施方式的流程图；

图3是本发明抓取方法第二较佳实施方式的流程图；

图4是本发明抓取方法应用的环境的示意图；

图5是本发明抓取***应用于计算机装置的较佳实施方式的示意图；

图6是本发明抓取***较佳实施方式的方框图。

主要元件符号说明

主控计算机 1

六维力传感器 2

3D深度相机 3

支架 4

机械手 5

目标物体 6

机械臂 7

储物平台 8

抓取*** 417

处理器 401

显示屏 403

存储器 405

输入输出接口 407

网络接口 409

获取单元 600

过滤单元 602

计算单元 604

可行抓取点对单元 606

抓取概率单元 608

控制单元 610

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

图1是本发明第一实施方式的抓取方法的流程图，应说明的是，本实施方式的所述抓取方法并不限于图1所示的流程图中的步骤及顺序。根据不同的需求，所示流程图中的步骤可以增加、移除、或者改变顺序。

所述抓取方法可应用于机器人，其中，所述机器人可包括机械臂、机械手及力传感器，所述机械臂可包括第一控制部分，所述第一控制部分可用于配置所述机械臂的基本参数，如配置所述机械臂的各转动关节之间的相对位置关系及如何运行到指定位置(如机械臂从初始位置开始靠近待抓取的目标物体的过程)等；所述机械手可包括第二控制部分，所述第二控制部分可控制所述机械手的姿态、抓取力的大小等。

较佳地，所述机械臂可为六自由度机械臂，所述机械手可为二指机械手，所述机械手可具有最大张开距离。可以理解地，所述二指机械手可具有第一抓取点及第二抓取点，所述最大张开距离可为所述第一抓取点与所述第二抓取点之间连线的最大距离。因此，当所述机械手通过所述第一抓取点及第二抓取点抓取的目标物体时，可在所述的目标物体上形成两个抓取点。所述力传感器可设置于所述机械手上，可用于监测所述机械手在闭合时的力的大小(即接触力的值)。

步骤100，根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件；若是，将所述两抓取点作为可行抓取点对。

可以理解地，所述机械手可在所述目标物体上执行抓取动作，每执行一次抓取动作时，所述机械手与所述目标物体接触时存在两抓取点，如所述第一抓取点及第二抓取点。因而，可通过两抓取点来模拟所述机械手的第一抓取点及第二抓取点，并可判断两抓取点是否满足所述约束条件，在所述两抓取点满足所述约束条件时，表示此次抓取动作可将所述目标物体抓取，如此，可将所述两抓取点作为所述抓取点对。可以理解地，所述两抓取点可通过随机采样算法从对应所述目标物体的点云中抽取，其中所述目标物体的点云可包含若干数据点，所述目标物体的点云可由3D深度相机拍摄的图像重建得到。在其他实施方式中，所述目标物体的点云数据可由其他方式获取，如通过三维激光扫描仪进行数据采集获取点云数据，或是通过三维模型来计算获取点云数据。

可以理解地，所述约束条件包含判断所述两抓取点是否满足力封闭条件。所述力封闭的判断条件可包括：基于力旋量空间、基于接触力空间、或是基于力旋量空间及接触力空间的对偶空间。

较佳地，对于基于接触力空间，所述力封闭条件要求在抓取时能够平衡所有的外力和外力矩，即所有的外力和外力矩矢量和为零。也就是说，只要在进行抓取任务时能够实现外力和为零，外力矩和也为零，就能判定此次能够成功抓取。本实施方式中，两抓取点所对应的接触点处的抓取力与对应接触力之间的抓取映射关系可表示为抓取矩阵。因此，判断所述两抓取点对是否满足力封闭条件时可通过判断所述两抓取点所对应的抓取矩阵是否是行满秩矩阵。当所述两抓取点对所对应的抓取矩阵是行满秩矩阵时，即可判断所述两抓取点满足力封闭条件，如此表示所述两抓取点可成功抓取所述目标物体。此时，可将所述两抓取点作为所述可行抓取点对。当所述两抓取点对所对应的抓取矩阵不满足行满秩矩阵时，表示所述两抓取点可能无法成功抓取的目标物体，此时，可将所述两抓取点去除。

可以理解地，所述约束条件还可包括：两抓取点之间的距离是否小于二指机械手的最大张开距离、二指机械手是否是斜向抓取、二指机械手在靠近目标物体过程中是否会提前接触目标物体中的一个或多个。

较佳地，当两抓取点之间的距离不小于所述二指机械手的最大张开距离时，可能会导致抓取所述目标物体失败，此时，亦可将所述两抓取点对去除；当两抓取点之间的距离小于所述二指机械手的最大张开距离时，表示可成功抓取所述目标物体，此时，亦可保留所述两抓取点为可行抓取点对。

较佳地，当所述二指机械手斜向抓取目标物体时，如抓取的方向和两个接触点的法向不位于同一平面内，可能会导致抓取所述目标物体失败，此时，亦可将所述两抓取点去除；当所述二指机械手不是斜向抓取目标物体时，如抓取的方向和两个接触点的法向都位于同一平面内，表示可成功抓取所述目标物体，此时，亦可保留所述两抓取点为可行抓取点对。

较佳地，在闭合之前，当二指机械手在靠近目标物体过程中会提前接触待抓取物体时，可能会造成目标物体的翻转、滚动，致使目标点发生变化，造成抓取失败，此时，亦可将所述两抓取点去除；当二指机械手在靠近目标物体过程中不会提前接触待抓取物体时，表示可成功抓取所述目标物体，此时，亦可保留所述两抓取点为可行抓取点对。

步骤102，计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对。

本实施方式中，可根据获取抓取点的抓取质量与对应的法向量的正态分布概率来得到所述抓取概率，进而可选择具有最大抓取所对应的可行抓取点对。可以理解地，在得到若干抓取点的抓取概率时，可将所述的若干抓取点的抓取概率进行排序，如按照抓取概率从大到小进行地排序，如第一位置的抓取概率大于第二位置的抓取概率，如此，可获取位于第一位置上的抓取点所对应的可行抓取点对。

请一并参阅图2，所述步骤102的较佳实施方式可包括：

步骤200，获取对应所述目标物体的质心位置。

本实施方式中，可通过3D深度相机对所述目标物体进行拍摄，以获取包含RBG信息及深度信息的拍摄图像。之后可通过对所述拍摄图像进行处理可获取对应所述目标物体的质心位置。

步骤202，根据六维力传感器获取对应抓取点的接触力及接触力矩，并根据接触力及接触力矩得到对应的六维力旋量。

可以理解地，所述机器人可应用于不同的接触模型，所述接触模型包括带摩擦点接触模型和软手指模型，所述带摩擦点接触模型中接触力可分解成法向力和两个切向力分量，软手指模型中接触力可分解成法向力、两个切向力分量及关于接触法向量的扭矩。因此，可通过设置于机械手上的六维力传感器来获取对应抓取点的接触力及接触力矩，还可根据接触力及接触力矩得到对应的六维力旋量。

步骤204，判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束；若是，执行步骤208；若否，执行步骤206。

本实施方式中，所述摩擦约束包含对应不同接触模型的摩擦约束。例如，所述带摩擦点接触模型可对应第一摩擦约束条件，所述软手指模型可对应第二摩擦约束条件，其中，所述第一摩擦约束条件可表示两切向力分量的平方和开根号后不大于法向力与静摩擦系数之积，且法向力大于零；所述第二摩擦约束条件可表示为两切向力分量的平方和开根号后不大于法向力与静摩擦系数之积，法向力大于零，且法向量的扭矩的绝对值不大于法向力与力矩摩擦系数之积。本实施方式中，所述带摩擦点接触模型可用多面棱锥近似替代摩擦锥进行摩擦力的计算。

可以理解地，可判断所述六维力旋量所对应的力旋量空间是否对应接触模型的满足摩擦约束。例如，当所述接触模型为带摩擦点接触模型时，可判断所述力旋量空间是否满足所述第一摩擦约束条件；当所述接触模型为软手指模型时，可判断所述力旋量空间是否满足所述第二摩擦约束条件。

步骤206，设置抓取质量Q为-1，并执行步骤216。

当所述力旋量空间没有满足对应的摩擦约束时，可将对应的所述接触点的抓取质量设置为-1。

步骤208，根据所述力旋量空间组成的凸多面体计算所述凸多面体所对应的凸包的体积。

可以理解地，所述凸包的体积计算可包括：将力旋量各个分向量(二维平面的XY方向两个力和一个接触力矩)依次连接，即组成了由力旋量空间组成的凸多面体(是一个四面体)，而后按照凸多面体的体积计算公式即可求得。

步骤210，计算对应所述目标物体的参考坐标系原点到所述凸多面体表面的最小距离，并将所述最小距离作为所述凸包的最大内切球半径，其中所述最大内切球半径为所述抓取质量。

可以理解地，所述参考坐标系原点可以是所述目标物体的质心位置。因此，可通过计算的凸包体积与该凸包对应的最大内切球半径大小的比值可以用来量化所述抓取点对的抓取能力。

步骤212，判断所述力旋量空间的原点是否在所述凸包的内部；若是，执行步骤216；若否，执行步骤214。

步骤214，当所述力旋量空间的原点不在所述凸包的内部时，设置所述抓取质量Q为-Q，并执行步骤216。即设置所述抓取质量为所述力旋量空间的原点到所述凸多面体表面的最小距离的相反数。

步骤216，计算所述抓取质量Q所对应的接触点与所述接触点的法向量的正态分布概率之积，以得到抓取概率。

可以理解地，接触点的法向量的正态分布概率是建立在目标物体的点云数据是呈正态分布的前提下。目标物体表面的数据点和相应的法向量原本都可以通过3D深度相机获得，由于客观存在的误差因素，使得测量所得的数据点坐标和法向量指向与真实情况有所偏差，在本发明中，通过设定一个期望的协方差和均值为零的正态分布函数，对测量的数据点坐标和法向量增加随机的正态分布误差修正值，来弥补由于各种原因造成的真实情况与实际情况的偏差，其中，计算目标物体表面点云中各个数据点相对质心位置的相对距离，之后，可用这个相对距离作为各数据点正态分布的协方差大小。所对应的概率值即为所述接触点的法向量的正态分布概率。

可以理解地，在上述步骤中，所述抓取质量的值可包括三类：-1、-Q及Q，其中Q为力旋量空间的原点到所述凸多面体表面的最小距离。因此，通过计算所述抓取质量与接触点的法向量的正态分布概率之积即可得到所述抓取概率，进而可获取每一可行抓取点对的抓取概率，并可筛选出具有最大抓取概率所对应的可行抓取点对。

上述抓取方法基于力封闭原则和摩擦约束条件提出了一种筛选具有最大抓取概率的可行抓取点算法，实现了从众多的符合约束条件的可行抓取点组合中，筛选出一对具有最大成功抓取概率的接触点作为实际抓取执行的数据点，能够显著提高一次性抓取的成功率，降低成本。

请一并参阅图3，本发明抓取方法的第二较佳实施方式可包括：

步骤300，对3D深度相机进行标定设置。

可以理解地，所述3D深度相机可对放置于储物平台上的目标物体进行拍摄，以得到对应的拍摄图像。为了实现较精确定位，可对3D深度相机进行摄像头的标定，例如，可运用张正友棋盘标定法来实现获得从世界坐标系向像素坐标系的转换矩阵。

步骤302，对所述3D深度相机所拍摄到的目标物体的拍摄图像执行过滤操作，以滤除所述拍摄图像中背景干扰信息。

可以理解地，在实际的目标物体的识别过程中，可能会存在背景的干扰，因此还需要先进行背景干扰因素的滤除。由于所述目标物体设置于所述储物平台上，即所述目标物体与所述3D深度相机之间的距离存在一定的范围内，当拍摄图像中距离信息不在这个范围内时，可判断所述拍摄图像对应的为背景干扰信息。因此，可设定关于目标物体深度信息的最大阈值和最小阈值来实现目标物体与背景干扰因素的深度分割。较佳地，可判断所述拍摄图像中是否存在深度信息不在所述最大阈值和最小阈值内的像素，当存在深度信息不在所述最大阈值和最小阈值时，可将对应的像素滤除。如此，通过所述过滤操作后可获得仅含有待抓取物体的拍摄图像。

较佳地，在上述步骤200中，可根据所述转换矩阵来计算所述目标物体的质心位置。例如，对于质量均匀分布的目标物体而言，可根据所述转换矩阵计算所述目标物体的三维坐标，并可计算出所述目标物体的所有三维点的平均坐标，所述平均坐标即可为所述目标物体的质心位置。

步骤304，根据所述拍摄图像获取一个或多个可行抓取点对，并筛选出具有最大抓取概率所对应的可行抓取点对。

可以理解地，步骤100及步骤102已实现了所述步骤304的功能，故在此不在赘述。

步骤306，根据筛选的所述可行抓取点对生成运动指令，其中所述运动指令包括第一控制指令及第二控制指令。

可以理解地，当所述可行抓取点对已筛选出时，可生成对应的动作指令，以控制所述机械臂及机械手的动作。

请一并参阅图4，目标物体6可设置于储物平台8上，3D深度相机3可对所述目标物体6进行拍摄，以得到所述拍摄图像，其中所述3D深度相机3可设置于支架4上；所述拍摄图像可通过传输至主控计算机1内，由所述主控计算机1对所述拍摄图像进行处理。所述主控计算机1可连接于机器人，所述机器人可包括机械臂7及机械手5，所述机械臂7的一端可固定在一位置上，另一端可连接于所述机械手5，其中所述机械手5上可设置有六维力传感器2，所述六维力传感器2可输出对应的接触力。例如，所述主控计算机还可根据筛选得到的可行抓取点对产生所述第一控制指令及第二控制指令。

步骤308，执行所述第一控制指令，以控制机械臂的动作，并执行所述第二控制指令，以控制机械手的动作。

可以理解地，所述主控计算机1生成所述第一控制指令后可由所述机械臂7来执行，以控制所述机械臂7的动作，如所述机械臂7可移动至第一位置；所述主控计算机1生成所述第二控制指令后可由所述机械手5来执行，以控制所述机械手5的动作，如控制所述机械手5的闭合动作等。本实施方式中，所述第一控制指令及第二控制指令可为时序指令，即当所述第一控制指令执行完成后再执行所述第二控制指令。例如，所述机械臂的控制器通过接收主控制计算机发出的第一运动指令(其中所述第一运动指令是根据目标物体的空间位置减去已测定的机械臂末端二指机械手之间的尺寸，得到机械臂末端的空间位置，再经逆运动学解算得到要完成抓取任务，生成机械臂末端需要移动到空间位置及其对应的各关节应转动的角度指令)，运动到指定位置。当六自由度机械臂运动到指定位置后，所述主控制计算机向机械手发出指令，使得机械手运动到特定位置后，通过开合动作完成抓取。

上述抓取方法基于筛选出的具有最大抓取概率的可行抓取点对来生成时序性的控制指令，以先后控制机械臂及机械手的动作，如此有利于对机械手的精确控制。

图5是本发明一实施方式的计算机装置的示例性的结构示意图。本实施例提供的计算机装置1包括存储器405、输入输出接口407、显示屏403、网络接口409及通过总线411与所述存储器405、输入输出接口407、网络接口409与显示屏403进行数据交换的处理器401。其中，所述输入输出接口407可连接于鼠标及/或键盘(图未示)。本发明所称的模块是完成一特定功能的程序段，比程序更适合于描述软件在处理器中的执行过程。

所称处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器401是所述计算机装置1的控制中心，利用各种接口和线路连接整个计算机装置1的各个部分。

所述存储器405可用于存储所述计算机程序和/或模块，所述处理器401通过运行或执行存储在所述存储器405内的计算机程序和/或模块，以及调用存储在存储器405内的数据，实现所述计算机装置1的各种功能。所述存储器405可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如图形界面显示功能等)等；存储数据区可存储根据计算机装置的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器405可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例中，所述显示屏403可为具有触摸功能的显示屏，进而为用户的操作提供便利。所述存储器405可存储有若干程序代码，以被所述处理器401执行，进而实现所述抓取***417的功能。

请一并参阅图6，本发明的抓取***417可以包括一个或多个模块/单元，所述一个或多个模块可以被存储在移动终端的存储器中并可以被配置成由一个或多个处理器(本实施方式为一个处理器)执行，以完成本发明。例如，如图6所示，所述抓取***417可以包括获取单元600、过滤单元602、计算单元604、可行抓取点对单元606、抓取概率单元608及控制单元610。本发明所称的模块可以是完成一特定功能的程序段，比程序更适合于描述软件在处理器中的执行过程。

需要说明的是，对应上述抓取方法的各实施方式，抓取***417可以包括图6中所示的各功能模块中的一部分或全部，各模块的功能将在以下具体介绍。以上抓取方法的各实施方式中相同的名词相关名词及其具体的解释说明也可以适用于以下对各模块的功能介绍。为节省篇幅及避免重复起见，在此就不再赘述。

所述获取单元600用于获取3D深度3相机输出的拍摄图像，其中，所述拍摄图像由所述3D深度相机3对所述目标物体进行拍摄，所述拍摄图像包含了RBG信息及深度信息。本实施方式中，所述3D深度相机3可对放置于储物平台8上的目标物体6进行拍摄，以得到对应的拍摄图像。为了实现较精确定位，可对3D深度相机3进行摄像头的标定，例如，可运用张正友棋盘标定法来实现获得从世界坐标系向像素坐标系的转换矩阵。

所述过滤单元602用于对所述拍摄图像执行过滤操作，以滤除所述拍摄图像中背景干扰信息。可以理解地，在实际的目标物体的识别过程中，可能会存在背景的干扰，因此还需要先进行背景干扰因素的滤除。由于所述目标物体设置于所述储物平台上，即所述目标物体与所述3D深度相机之间的距离存在一定的范围内，当拍摄图像中距离信息不在这个范围内时，可判断所述拍摄图像对应的为背景干扰信息。因此，所述过滤单元602还可设定关于目标物体深度信息的最大阈值和最小阈值来实现目标物体与背景干扰因素的深度分割。较佳地，所述过滤单元602可判断所述拍摄图像中是否存在深度信息不在所述最大阈值和最小阈值内的像素，当存在深度信息不在所述最大阈值和最小阈值时，所述过滤单元602可将对应的像素滤除。如此，通过所述过滤操作后可获得仅含有待抓取物体的拍摄图像。

所述计算单元604，用于根据所述转换矩阵来计算所述目标物体的质心位置。例如，对于质量均匀分布的目标物体而言，可根据所述转换矩阵计算所述目标物体的三维坐标，并可计算出所述目标物体的所有三维点的平均坐标，所述平均坐标即可为所述目标物体的质心位置。

所述可行抓取点对单元606用于根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件；若是，所述可行抓取点对单元606将所述两抓取点作为可行抓取点对。

可以理解地，所述机械手可在所述目标物体上执行抓取动作，每执行一次抓取动作时，所述机械手与所述目标物体接触时存在两抓取点，如所述第一抓取点及第二抓取点。因而，所述可行抓取点对单元606可通过两抓取点来模拟所述机械手的第一抓取点及第二抓取点，并可判断两抓取点是否满足所述约束条件，在所述两抓取点满足所述约束条件时，表示此次抓取动作可将所述目标物体抓取，如此，可将所述两抓取点作为所述抓取点对。可以理解地，所述两抓取点可通过随机采样算法从对应所述目标物体的点云中抽取，其中所述目标物体的点云可包含若干数据点，所述目标物体的点云可由3D深度相机拍摄的图像重建得到。在其他实施方式中，所述目标物体的点云数据可由其他方式获取，如通过三维激光扫描仪进行数据采集获取点云数据，或是通过三维模型来计算获取点云数据。

可以理解地，所述约束条件包含判断所述两抓取点是否满足力封闭条件。所述力封闭的判断条件可包括：基于力旋量空间、基于接触力空间、或是基于力旋量空间及接触力空间的对偶空间。

较佳地，对于基于接触力空间，所述力封闭条件要求在抓取时能够平衡所有的外力和外力矩，即所有的外力和外力矩矢量和为零。也就是说，只要在进行抓取任务时能够实现外力和为零，外力矩和也为零，就能判定此次能够成功抓取。本实施方式中，两抓取点所对应的接触点处的抓取力与对应接触力之间的抓取映射关系可表示为抓取矩阵。因此，所述可行抓取点对单元606可判断所述两抓取点对是否满足力封闭条件时可通过判断所述两抓取点所对应的抓取矩阵是否是行满秩矩阵。当所述两抓取点对所对应的抓取矩阵是行满秩矩阵时，即可判断所述两抓取点满足力封闭条件，如此表示所述两抓取点可成功抓取所述目标物体。此时，所述可行抓取点对单元606可将所述两抓取点作为所述可行抓取点对。当所述两抓取点对所对应的抓取矩阵不满足行满秩矩阵时，表示所述两抓取点可能无法成功抓取的目标物体，此时，所述可行抓取点对单元606可将所述两抓取点去除。

可以理解地，所述约束条件还可包括：两抓取点之间的距离是否小于二指机械手的最大张开距离；二指机械手是否是斜向抓取；二指机械手在靠近目标物体过程中是否会提前接触目标物体。

较佳地，当两抓取点之间的距离不小于所述二指机械手的最大张开距离时，可能会导致抓取所述目标物体失败，此时，所述可行抓取点对单元606亦可将所述两抓取点对去除；当两抓取点之间的距离小于所述二指机械手的最大张开距离时，表示可成功抓取所述目标物体，此时，所述可行抓取点对单元606亦可保留所述两抓取点为可行抓取点对。

较佳地，当所述二指机械手斜向抓取目标物体时，如抓取的方向和两个接触点的法向不位于同一平面内，可能会导致抓取所述目标物体失败，此时，所述可行抓取点对单元606亦可将所述两抓取点去除；当所述二指机械手不是斜向抓取目标物体时，如抓取的方向和两个接触点的法向都位于同一平面内，表示可成功抓取所述目标物体，此时，所述可行抓取点对单元606亦可保留所述两抓取点为可行抓取点对。

较佳地，在闭合之前，当二指机械手在靠近目标物体过程中会提前接触待抓取物体时，可能会造成目标物体的翻转、滚动，致使目标点发生变化，造成抓取失败，此时，所述可行抓取点对单元606亦可将所述两抓取点去除；当二指机械手在靠近目标物体过程中不会提前接触待抓取物体时，表示可成功抓取所述目标物体，此时，所述可行抓取点对单元606亦可保留所述两抓取点为可行抓取点对。

所述抓取概率单元608用于计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对。

可以理解地，所述抓取概率单元608可获取对应所述目标物体的质心位置。

本实施方式中，所述抓取概率单元608可通过3D深度相机对所述目标物体进行拍摄，以获取包含RBG信息及深度信息的拍摄图像。之后可通过对所述拍摄图像进行处理可获取对应所述目标物体的质心位置。所述抓取概率单元608可根据张正友棋盘标定法来实现获得从世界坐标系向像素坐标系的转换矩阵，并可根据所述转换矩阵来计算所述目标物体的质心位置。例如，对于质量均匀分布的目标物体而言，可根据所述转换矩阵计算所述目标物体的三维坐标，并可计算出所述目标物体的所有三维点的平均坐标，所述平均坐标即可为所述目标物体的质心位置。

所述抓取概率单元608还可根据六维力传感器获取对应抓取点的接触力及接触力矩，并根据接触力及接触力矩得到对应的六维力旋量。

可以理解地，所述机器人可应用于不同的接触模型，所述接触模型包括带摩擦点接触模型和软手指模型，所述带摩擦点接触模型中接触力可分解成法向力和两个切向力分量，软手指模型中接触力可分解成法向力、两个切向力分量及关于接触法向量的扭矩。因此，所述抓取概率单元608可通过设置于机械手上的六维力传感器来获取对应抓取点的接触力及接触力矩，还可根据接触力及接触力矩得到对应的六维力旋量。

所述抓取概率单元608可判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束；若是，所述抓取概率单元608可根据所述力旋量空间组成的凸多面体计算所述凸多面体所对应的凸包的体积；若否，所述抓取概率单元608可设置抓取质量Q为-1。

本实施方式中，所述摩擦约束包含对应不同接触模型的摩擦约束。例如，所述带摩擦点接触模型可对应第一摩擦约束条件，所述软手指模型可对应第二摩擦约束条件，其中，所述第一摩擦约束条件可表示两切向力分量的平方和开根号后不大于法向力与静摩擦系数之积，且法向力大于零；所述第二摩擦约束条件可表示为两切向力分量的平方和开根号后不大于法向力与静摩擦系数之积，法向力大于零，且法向量的扭矩的绝对值不大于法向力与力矩摩擦系数之积。本实施方式中，所述带摩擦点接触模型可用多面棱锥近似替代摩擦锥进行摩擦力的计算。

可以理解地，所述抓取概率单元608可判断所述六维力旋量所对应的力旋量空间是否对应接触模型的满足摩擦约束。例如，当所述接触模型为带摩擦点接触模型时，可判断所述力旋量空间是否满足所述第一摩擦约束条件；当所述接触模型为软手指模型时，可判断所述力旋量空间是否满足所述第二摩擦约束条件。

所述抓取概率单元608还可计算对应所述目标物体的参考坐标系原点到所述凸多面体表面的最小距离，并将所述最小距离作为所述凸包的最大内切球半径，其中所述最大内切球半径为所述抓取质量。可以理解地，所述参考坐标系原点可以是所述目标物体的质心位置。因此，所述抓取概率单元608可通过计算的凸包体积与该凸包对应的最大内切球半径大小的比值可以用来量化所述抓取点对的抓取能力。在一实施方式中，可将凸包体积与该凸包对应的最大内切球半径大小的比值在预设范围内时可保留所述抓取点对，否则，可将所述抓取点对去除。

所述抓取概率单元608还可判断所述力旋量空间的原点是否在所述凸包的内部；若是，所述抓取概率单元608可计算所述抓取质量Q所对应的接触点与所述接触点的法向量的正态分布概率之积；若否，所述抓取概率单元608可设置所述抓取质量Q为-Q。即设置所述抓取质量为所述力旋量空间的原点到所述凸多面体表面的最小距离的相反数。

可以理解地，接触点的法向量的正态分布概率是建立在目标物体的点云数据是呈正态分布的前提下。目标物体表面的数据点和相应的法向量原本都可以通过3D深度相机获得，由于客观存在的误差因素，使得测量所得的数据点坐标和法向量指向与真实情况有所偏差，在本发明中，通过设定一个期望的协方差和均值为零的正态分布函数，对测量的数据点坐标和法向量增加随机的正态分布误差修正值，来弥补由于各种原因造成的真实情况与实际情况的偏差，其中，计算目标物体表面点云中各个数据点相对质心位置的相对距离，之后，可用这个相对距离作为各数据点正态分布的协方差大小。所对应的概率值即为所述该接触点的法向量的正态分布概率。

在一实施方式中，所述抓取概率单元608可对所述一个或多个的可行抓取点对所对应的抓取概率进行排序，如按照抓取概率从大到小进行地排序，如第一位置的抓取概率大于第二位置的抓取概率，如此，所述抓取概率单元608可获取位于第一位置上的抓取点所对应的可行抓取点对。

所述控制单元610可根据筛选的所述可行抓取点对生成运动指令，其中所述运动指令包括第一控制指令及第二控制指令，其中所述第一控制指令用于控制机械臂的动作，所述第二控制指令用于控制机械手的动作。

所述控制单元610生成所述第一控制指令后可由所述机械臂7来执行，以控制所述机械臂7的动作，如所述机械臂7可移动至第一位置；所述控制单元610生成所述第二控制指令后可由所述机械手5来执行，以控制所述机械手5的动作，如控制所述机械手5的闭合动作等。本实施方式中，所述第一控制指令及第二控制指令可为时序指令，即当所述第一控制指令执行完成后再执行所述第二控制指令。例如，所述机械臂的控制器通过接收主控制计算机发出的第一运动指令(其中所述第一运动指令是根据目标物体的空间位置减去已测定的机械臂末端二指机械手之间的尺寸，得到机械臂末端的空间位置，再经逆运动学解算得到要完成抓取任务，生成机械臂末端需要移动到空间位置及其对应的各关节应转动的角度指令)，运动到指定位置。当六自由度机械臂运动到指定位置后，所述主控制计算机向机械手发出指令，使得机械手运动到特定位置后，通过开合动作完成抓取。

上述抓取***基于力封闭原则和摩擦约束条件提出了一种筛选具有最大抓取概率的可行抓取点算法，实现了从众多的符合约束条件的可行抓取点组合中，筛选出一对具有最大成功抓取概率的接触点作为实际抓取执行的数据点，能够显著提高一次性抓取的成功率，降低成本。另外，上述抓取***还基于筛选出的具有最大抓取概率的可行抓取点对来生成时序性的控制指令，以先后控制机械臂及机械手的动作，如此有利于对机械手的精确控制。

本发明所述计算机装置1集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述各实施方式的音量控制方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各实施方式的音量控制方法中的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***、装置或移动终端装置权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。

Claims (9)

1.一种抓取方法，应用于机器人，其特征在于，所述方法包括：

根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件，当所述两抓取点满足所述力封闭条件时，将所述两抓取点作为可行抓取点对；

计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对，其中所述计算每一可行抓取点对的抓取概率，并选择具有最大抓取概率所对应的可行抓取点对包括：

获取对应所述目标物体的质心位置；

根据六维力传感器获取对应抓取点的接触力及接触力矩，并根据接触力及接触力矩得到对应的六维力旋量；

判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束；

当所述六维力旋量所对应的力旋量空间满足对应的摩擦约束，根据所述力旋量空间组成的凸多面体计算所述凸多面体所对应的凸包的体积；

计算所述目标物体的质心位置到所述凸多面体表面的最小距离，并将所述最小距离作为所述凸包的最大内切球半径，其中所述最大内切球半径为抓取质量；

判断所述力旋量空间的原点是否在所述凸包的内部；

当所述力旋量空间的原点在所述凸包的内部时，计算所述抓取质量所对应的接触点与所述接触点的法向量的正态分布概率之积，以得到所述抓取概率。

2.如权利要求1所述的抓取方法，其特征在于，所述计算每一可行抓取点对的抓取概率包括：

获取每一可行抓取点对包含的抓取点所对应的抓取质量；

获取所述抓取点所对应的法向量的正态分布概率；

根据所述抓取质量及所述正态分布概率得到所述抓取概率。

3.如权利要求1所述的抓取方法，所述机器人包括二指机械手，其特征在于，所述根据约束条件获取对应目标物体的一个或多个可行抓取点对还包括：

判断两抓取点之间的距离是否不小于所述二指机械手的最大张开距离；

当两抓取点之间的距离小于所述二指机械手的最大张开距离时将所述两抓取点为可行抓取点对；或/及

判断所述二指机械手是否斜向抓取目标物体；

当所述二指机械手不是斜向抓取目标物体时将所述两抓取点为可行抓取点对；或/及

判断所述二指机械手在靠近目标物体过程中是否会提前接触待抓取物体；

当所述二指机械手在靠近目标物体过程中不会提前接触待抓取物体时将所述两抓取点为可行抓取点对。

4.如权利要求1所述的抓取方法，其特征在于，所述判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束包括：

当接触模型为带摩擦点接触模型时，判断所述力旋量空间是否满足第一摩擦约束条件；

当所述接触模型为软手指模型时，判断所述力旋量空间是否满足第二摩擦约束条件。

5.如权利要求1所述的抓取方法，其特征在于，所述抓取方法还包括：

根据最大抓取概率所对应的所述可行抓取点对生成运动指令，其中所述运动指令包括第一控制指令及第二控制指令；

执行所述第一控制指令，以控制所述机器人的机械臂的动作；

执行所述第二控制指令，以控制所述机器人的机械手的动作。

6.如权利要求5所述的抓取方法，其特征在于，所述根据约束条件获取对应目标物体的一个或多个可行抓取点对之前还包括：

对3D深度相机进行标定设置；

对所述3D深度相机所拍摄到的目标物体的拍摄图像执行过滤操作，以滤除所述拍摄图像中背景干扰信息。

7.一种抓取***，其特征在于，所述***包括：

获取单元，用于根据约束条件获取对应目标物体的一个或多个可行抓取点对，其中所述约束条件包含判断两抓取点是否满足力封闭条件，当所述两抓取点满足所述力封闭条件时，将所述两抓取点作为可行抓取点对；

抓取概率单元，用于获取对应所述目标物体的质心位置；

根据六维力传感器获取对应抓取点的接触力及接触力矩，并根据接触力及接触力矩得到对应的六维力旋量；

判断所述六维力旋量所对应的力旋量空间是否满足对应的摩擦约束；

当所述六维力旋量所对应的力旋量空间满足对应的摩擦约束，根据所述力旋量空间组成的凸多面体计算所述凸多面体所对应的凸包的体积；

计算所述目标物体的质心位置到所述凸多面体表面的最小距离，并将所述最小距离作为所述凸包的最大内切球半径，其中所述最大内切球半径为抓取质量；

判断所述力旋量空间的原点是否在所述凸包的内部；

当所述力旋量空间的原点在所述凸包的内部时，计算所述抓取质量所对应的接触点与所述接触点的法向量的正态分布概率之积，以得到所述抓取概率。

8.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任意一项所述的抓取方法的步骤。

9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的抓取方法的步骤。

Images