CN116188559A - 图像数据处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像数据处理方法、装置、电子设备和存储介质。本申请的图像数据处理方法，包括：获取至少一个待抓取物品的可抓取区域的掩膜；对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：C＝1‑S₁/S₂；其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。与传统的计算方法相比，本发明的方法能够给出具体的压叠值，然而并不判断物体的压叠情况，处理速度较快，并且该压叠值还可以在其它方面使用。

Description

图像数据处理方法、装置、电子设备和存储介质

技术领域

本申请涉及机械手臂或夹具的自动控制、程序控制B25J领域，更具体而言，特别涉及图像数据处理方法、装置、电子设备和存储介质。

背景技术

机器人具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。随着工业自动化和计算机技术的发展，机器人开始进入大量生产和实际应用阶段。在工业场景中，工业机器人已经有很普遍的应用，能够代替人类执行一些重复性或者具有危险的工作。传统的工业机器人设计，关注的重点在于机器人硬件的设计和制造，机器人本身不够“智能”。在工业现场使用机器人时，技术人员需要提前对整个工业现场的硬件设备，流水线，物料位置和机器人的任务路径等进行规划，例如，如果要对物品进行分拣搬运，现场工作人员需要先将不同种类的物品分拣出，并整齐地摆放于具有统一规格的物料框中，在使用机器人作业前，需要先将流水线，料框，搬运位置等确定好，并依据确定好的信息为机器人设置固定的运动路径，固定的抓取位置，固定的旋转角度，固定的的夹具等。

作为对上述传统机器人技术的改进，已经开发了基于机器人视觉的智能型程控机器人，然而目前的“智能”还比较简单，主要实现方式是通过相机等视觉采集装置获取与任务相关的图像数据，基于图像数据获得3D点云信息，再基于点云信息对机器人的作业进行规划，包括运动速度，运动轨迹等信息，从而控制机器人执行任务。然而现有的机器人控制方案碰到复杂的任务时，效果并不好。例如，在商超，物流等场景中，针对众多堆叠在一起的物品进行处理，这需要机械臂从散乱，无序场景中，借助视觉设备依次定位及识别物体所在位置，并使用吸盘、夹具或其它仿生器械拾取物体，被拾取的物体，通过机械臂运动，轨迹规划等操作将物体按照一定规则摆放至相应位置。在这样的工业场景下，使用机器人执行抓取存在很多困难，例如，场景中待抓取物品数量过多，光线不均匀，导致部分物品的点云质量较差，影响抓取的效果；物品种类多，且摆放不整齐，朝向五花八门，导致在抓取每个物品时，抓取点都不同，难以确定夹具的抓取位置；物品堆叠放置，容易产生抓取某个物品时带飞其它物品的情况。在这样的工业场景下，影响物品抓取难易程度的因素较多，传统的抓取排序方法效果也不够好；除此以外，当抓取算法设计得较为复杂时，也为现场工作人员带来了更多的障碍，当出现问题时，现场工作人员很难搞清楚为什么出现这种问题，以及怎么调整才能解决问题，往往需要机器人提供商派出专家进行协助。

发明内容

鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本发明基于待抓取物品的可抓取区域的掩膜，并结合压叠检测，位姿预测，抓取排序等步骤来控制夹具执行对待抓取物品的抓取，对于堆放了多个待抓取物品的密集场景，能够准确地识别每个待抓取物品的抓取方式，并按照特定的顺序有序地抓取全部待抓取物品，与现有的抓取方案相比，可有效避免在密集场景下抓取时，带飞其它物品等情况，提高了抓取的准确率；其次，本发明的抓取排序方法，依据待抓取物品的可抓取区域的掩膜的多个特征进行综合排序，相对于传统的方法，提高了排序的准确度，并且由于并非针对整个物品的特征进行处理，因此即便考虑了多个因素，也不会显著降低运算的速度；再次，本发明中提出了一种仅基于待抓取物品的可抓取区域的图形特征的物品压叠程度计算方法，与传统的计算方法相比，本发明的方法能够给出具体的压叠值，然而并不判断物体的压叠情况，也不给出物体是否被压叠的结论，虽然无法准确地、定性地反映压叠能否影响对该物品的抓取，然而本方法处理速度较快，并且定量地输出待抓取物品的压叠值，该压叠值还可以在其它方面使用，特别适合对运算速度有要求的场景或者依据多个特征进行综合排序的场景；最后，本发明还提出了一种将与本发明的抓取控制方法相关联的参数及图像数据可视化地展示给用户的方法，使得用户在对机器人运行原理不了解的情况下，能够直观地确定机器人执行抓取过程中的各项参数，理解机器人为什么会以某种方式执行任务，并进而确定如何对机器人的参数进行调整以使得机器人能够按照自己的需要运行。

本申请权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本申请提供一种图像数据处理方法、装置、电子设备和存储介质。

本申请的实施方式的图像数据处理方法，包括：

获取至少一个待抓取物品的可抓取区域的掩膜；

对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

在某些实施方式中，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

在某些实施方式中，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

在某些实施方式中，所述生成该物品的可抓取区域的掩膜的外接矩形包括：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

本申请的实施方式的图像数据处理装置，包括：

掩膜获取模块，用于获取至少一个待抓取物品的可抓取区域的掩膜；

掩膜面积计算模块，用于对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

外接矩形处理模块，用于对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

压叠程度计算模块，用于对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

在某些实施方式中，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

在某些实施方式中，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

在某些实施方式中，所述外接矩形处理模块还用于：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

本申请的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式的图像数据处理方法。

本申请的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的图像数据处理方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的抓取控制方法的流程示意图；

图2是本申请某些实施方式的料框参数的示意图；

图3是本申请某些实施方式的掩膜预处理的示意图；

图4a和图4b是本申请某些实施方式的根据物品尺寸和物品长短为物品分段的示意图；

图5是本申请某些实施方式的抓取顺序确定方法的流程示意图；

图6是本申请某些实施方式的物品对角程度的示意图；

图7是本申请某些实施方式的物品压叠程度计算方法的流程示意图；

图8是本申请某些实施方式的物品掩膜压叠情况的示意图；

图9是本申请某些实施方式的待抓取物品位姿对抓取的影响的示意图；

图10是本申请某些实施方式的抓取参数可视化方法的流程示意图；

图11a和图11b是本申请某些实施方式的可视化菜单及选择高度及吸盘大小可视化后，展示给用户的可视化图像的示意图；

图12是本申请某些实施方式的抓取控制装置的结构示意图；

图13是本申请某些实施方式的抓取顺序确定装置的结构示意图；

图14是本申请某些实施方式的物品压叠程度计算装置的结构示意图；

图15是本申请某些实施方式的抓取参数可视化装置的结构示意图；

图16是本申请某些实施方式的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在具体实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明可以用于基于视觉识别的工业机器人控制场景中。一个典型的基于视觉识别的工业机器人控制场景包括用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作***或软件。用于采集图像的装置可以包括2D或3D的智能/非智能工业相机，依据不同的功能和应用场景，可以包括面阵相机、线阵相机、黑白相机、彩色相机、CCD相机、CMOS相机、模拟相机、数字相机、可见光相机、红外相机、紫外相机等；生产线可以包括包装生产线、分拣生产线、物流生产线、加工生产线等需要使用机器人的生产线；工业场景中使用的用于执行任务的机器人部件可以是仿生机器人，例如人型机器人或者狗型机器人，也可以是传统的工业机器人，例如机械臂等；工业机器人可以是操作型机器人，程控型机器人，示教再现型机器人，数控型机器人，感觉控制型机器人，适应控制型机器人，学***口钳及分度头等。又如，按夹具所用夹紧动力源，可将夹具分为手动夹紧夹具、气动夹紧夹具、液压夹紧夹具、气液联动夹紧夹具、电磁夹具、真空夹具等，或者其它能够拾取物品的仿生器械。用于采集图像的装置，用于生产线的硬件及生产线PLC等控制装置，用于执行任务的机器人部件，以及用于对这些装置进行控制的操作***或软件之间可基于TCP协议、HTTP协议、GRPC协议(Google Remote Procedure Call Protocol，谷歌远程过程调用协议)进行通信，以传递各种控制指令或命令。操作***或软件可以设置于任意的电子设备中，典型的此类电子设备包括工业计算机，个人计算机，笔记本电脑，平板电脑，手机等，电子设备可以通过有线或无线的方式与其它设备或***进行通信。此外，本发明中出现的抓取指的是广义的能够控制住物品以改变物品的位置的任意的抓取动作，而并非局限于狭义的以“抓”的方式抓取物品，换句话说，诸如吸取，抬起，套紧等方式对物品的抓取，也属于本发明抓取的范围。本发明中待抓取物品可以是纸箱、纸盒、塑料软包(包括但不限于零食包装、牛奶利乐枕包装、牛奶塑料包装等等)、药妆瓶、药妆品、和/或不规则的玩具等物品等等，这些待抓取物品可以放置在地面、托盘、传送带和/或物料筐内。

图1示出了根据本发明一个实施例的抓取控制方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤S100，获取包括一个或多个待抓取物品的图像数据的步骤；

步骤S110，对所述图像数据进行处理，生成一个或多个待抓取物品的可抓取区域的掩膜，并对所述掩膜进行预处理的步骤；

步骤S120，检测一个或多个待抓取物品是否存在压叠情况的步骤；

步骤S130，对一个或多个待抓取物品所在的位置及其姿态进行估计的步骤；

步骤S140，根据待抓取物品的属性，为待抓取物品配置夹具的步骤；

步骤S150，基于所述一个或多个待抓取物品的抓取特征，确定使用夹具抓取所述一个或多个待抓取物品的顺序的步骤。

首先，应当理解的是，本实施例通过上述步骤而不是上述具有特定顺序的步骤，使得本发明能够用于在任意的工业场景中执行任意物品的抓取，并获得良好的抓取效果。换句话说，虽然本实施例中给上述步骤进行了编号，使得方法看上去应当按照编号的顺序执行，然而多个上述步骤之间实际上并没有严格的前后顺序，因而在实际工业场景中，不按照上述特定的顺序执行也能够达到相同的效果。因此，本发明并不严格限定上述步骤的执行顺序，只要方案中包括了上述步骤，都在本发明的保护范围之内。

对于步骤S100，本发明可以适用于包括一个或多个待抓取物品的工业场景中，使用夹具依次对全部待抓取物品进行抓取，并将抓取到的物品排放置特定位置。本实施例中不限定图像数据的类型以及获取方式。作为一个示例，获取的图像数据可以包括点云或者RGB彩色图，可以通过3D工业相机获取点云信息，3D工业相机一般装配有两个镜头，分别从不同的角度捕捉待抓取物品组，经过处理后能够实现物体的三维图像的展示。将待抓取物品组置于视觉传感器的下方，两个镜头同时拍摄，根据所得到的两个图像的相对姿态参数，使用通用的双目立体视觉算法计算出待涂胶玻璃的各点的X、Y、Z坐标值及各点的坐标朝向，进而转变为待抓取物品组的点云数据。具体实施时，也可以使用激光探测器、LED等可见光探测器、红外探测器以及雷达探测器等元件生成点云，本发明对具体实现方式不作限定。

通过以上方式获取的点云数据是三维的数据，为了滤除对抓取影响较小的维度对应的数据，减小数据处理量进而加速数据处理速度，提高效率，可将获取的三维的待抓取物品组点云数据正投影映射到二维平面上。

作为一个示例，也可以生成该正投影对应的深度图。可以沿垂直于物品的深度方向获取与三维物品区域相对应的二维彩色图以及对应于二维彩色图的深度图。其中，二维彩色图对应于与预设深度方向垂直的平面区域的图像；对应于二维彩色图的深度图中的各个像素点与二维彩色图中的各个像素点一一对应，且各个像素点的取值为该像素点的深度值。

待抓取物品通常会堆在箱子中搬运至现场，这种堆积物品的箱子通常称之为料框，在执行抓取时，机械臂或者夹具在运动过程中可能碰到料框，因此料框以及料框中的物品的摆放位置对抓取有重要的影响。作为一个较佳的实施例，可以获取料框的各项参数。如图2所示，可以对料框数据进行处理，提取或生成对抓取有影响的辅助参数，这样的参数包括：料框的高度，料框的宽度，料框的长度，以及对料框的宽度和长度进行分割后获得的网格。应当理解，高度，宽度和长度都是确定的数值，而网格的分割方式及数量则是本领域技术人员根据所使用的夹具，抓取方式以及待抓取物品的特征等实际情况自行分割的，使用网格能够方便地对待抓取物品的位置进行标定。料框数据可以是预设的，或者通过相机采集的。

对于步骤S110，物品的可抓取区域是指物品表面上能够被夹具抓取的部位，在工业场景中，待抓取物品可能以整齐，有序的方式放置，此时，每个物品的可抓取区域基本相同，确定可抓取区域的方式也较为简单；也可能以混乱和无序的方式堆在一起，此时每个物品的可抓取区域都是随机的，需要以复杂的方式确定可抓取区域。本实施例不限定具体的使用场景以及确定可抓取区域的具体方法，只要能够获取可抓取区域即可。

一种可行的确定可抓取区域并生成掩膜的实施方式可以是，首先，在获取了包括一个或多个待抓取物品的图像数据后，对该图像数据进行处理，以识别出图像中的每一个像素点，例如对于一个256*256的图像来说，应当识别出256*256＝65536个像素点；之后基于这些像素点中的每一个像素点的特征对整个图像中所包括的全部像素点进行分类，其中，像素点的特征主要是指像素点的RGB值，在实际的应用场景中，为了方便为特征分类，也可以将RGB彩色图处理为灰度图，利用灰度值进行分类。对于像素点的分类，可以预先确定需要将像素点分成哪几类，例如，拍摄获得的RGB图像中包括一大堆饮料罐，食品盒以及料框，因此如果目的是生成其中饮料罐，食品盒以及料框的掩膜，则预先确定的分类可以是饮料罐，食品盒和料框。我们可以为这三种不同的分类设置一个标识，标识可以是数字，例如饮料罐为1，食品盒为2，料框为3，也可以是颜色，例如饮料罐为红色，食品盒为蓝色，料框为绿色，以此分类并进行处理后，最终获得的图像中会以1或者红色标识饮料罐，2或者蓝色标识食品盒，3或者绿色标识料框。本实施例中要生成的是物品的可抓取区域的掩膜，因此仅为可抓取区域分类，例如蓝色，以此方式处理后的图像中的蓝色区域即为待抓取物品的可抓取区域的掩膜；接下来为每个分类创建图像输出的通道，该通道的作用是将输入图像中的所有与分类有关的特征提取出来作为输出。例如，我们为可抓取区域这个类创建图像输出的通道后，将采集到的RGB彩色图像输入该通道，则可以从该通道的输出中获取提取了可抓取区域的特征的图像。最后，我们将处理获得的可抓取区域的特征图像与原始RGB图像进行组合，即可生成标识有可抓取区域掩膜的合成图像数据。

以此方式生成的掩膜有时是不合适的，例如，有些掩膜的大小和形状不方便进行后续的处理；再如，有些区域虽然生成了掩膜，然而夹具在掩膜的位置并不能执行抓取。不合适的掩膜会对后续的处理过程带来很大的影响，因此需要对生成的掩膜进行预处理后再供其它步骤使用。如图3所示，对掩膜的预处理可以包括：1、对掩膜进行膨胀处理，以填补掩膜图像的缺失、不规则等缺陷。例如，对于掩膜上的每一个像素点，可以把该点周围一定数量的点，例如8-25个点，设为与该点颜色相同。该步骤相当于把每个像素点的周围都进行填充，因此假如物品掩膜存在缺失，该操作会将缺失部分全部填充，如此处理之后，物品掩膜就会变得完整，不存在缺失，同时掩膜整体上也会因为膨胀而略为变“胖”，适当的膨胀有助于后续进一步的图像处理操作；2、判断掩码的面积是否满足预定的条件，如果不满足，则剔除该掩膜。首先较小的掩膜区域很可能是错误的，因为图像数据的连续性，一个可抓取区域通常会包括众多数量的具有类似特征的像素点，离散的小像素点形成的掩膜区域可能并非真正的可抓取区域；其次，机器人末端执行机构，即夹具，在执行抓取任务时，其落脚位置需要有一定的面积，如果可抓取区域的面积过小，夹具根本无法在该区域落脚，也就无法抓取物品，因此过于小的掩膜是没有意义的。前述预定的条件，可以根据夹具的大小以及噪点的大小等条件自行设定，其值可以为一个确定的大小，或包含的像素点的数量，或者一比例，例如，可以将预定的条件设为0.1％，即掩膜面积与整体图像面积的比例小于0.1％时，即认为该掩膜不可用，进而将其从图像中剔除；3、判断掩码中的点云个数是否少于预设的最少点云个数。点云个数反映了相机采集质量的好坏，如果某个可抓取区域中点云个数过少，说明对于该区域的拍摄是不够准确的。点云可以用于控制夹具执行抓取，数量过少可能对夹具的控制过程产生影响。因此，可以设置某个掩膜区域中最少应当包括的点云的个数，例如：10个，当某个可抓取区域中覆盖的点云个数少于10个时，则将掩膜从图像数据中剔除或者为可抓取区域随机添加点云，直到达到10个为止。

对于步骤S120，本发明可用于大量待抓取物品堆积的场景下执行抓取，在这种场景下，某个可抓取区域所属的物体可能存在被压叠的情况，在这种情况下，可能导致异常抓取的情形，这种情形包括物体带飞(抓下层物体带飞上层物体)和double picking(一次性抓多个物体)等，最终常常导致物体损坏或者飞出料筐。为了避免这种异常抓取情况，需要检测一个或多个待抓取物品是否存在压叠情况。本发明对具体的检测方式不做限定。根据实际使用场景的需要，可以预先设定压叠检测的最大数量，例如，可以设定压叠检测的最大数量为10个，当检测出的压叠物品的数量超出10个时，只会选用前10作为输出。这样可以有效提高运算速率。

对于步骤S130，待抓取物品的位姿是指待抓取物品所在的位置以及待抓取物品的姿态，待抓取物品的姿态可以包括平放，直放，或是斜放，以及放置角度和旋转角度等。待抓取物品的位姿直接影响了抓取的难易程度。在一种实施方式中，确定待抓取物品的姿态时还要确定待抓取物品与料框的位置关系，以及朝向关系，用于对物体抓取策略进行排序。根据实际使用场景的需要，可以对输出的位姿的最大数量进行限定，例如，可以限制机器人输出抓取位姿个数为5，在这种设置下，仅输出5个待抓取物品的位姿。

对于步骤S140，物品的属性也可以是待抓取物品掩膜的图像属性，待抓取物品掩膜的图像属性是指，待抓取物品的掩膜以图形展示时，所具有的可视化的图像上的特征。物品的属性可以包括待抓取物品的大小(也可以使用物品掩膜的大小)，高度(也可以使用物品掩膜的长度)，形状等。在一种可选的实施方式中，可以基于物品的属性对所有待抓取物品分段。假设属性是物品的大小，分段界限为20mm和40mm，如图4a所示，经过分段后，大小在0-20mm之间的物品可以归类为小型物品，21mm-40mm之间的可以归类为中型物品，40mm以上的可以归类为大型物品。分段之后即可以根据物品的分段情况配置夹具，例如当物品被分段为小型物品时，则为其配置抓手夹具；当物品被分段为中型物品时，则为其配置普通吸盘夹具；当物品被分段为大型物品时，则为其配置强力吸盘夹具；也可以如图4b所示，按照物品的高度对所有待抓取物品进行分段，分段界限为80mm，小于80mm的为低物品，大于80mm的为高物品，并依据分类配置不同的夹具。应当理解，本发明中，不同的夹具并非仅包括不同种类的夹具，如果两个夹具种类相同，但是尺寸不同，这样的两个夹具也属于不同夹具，例如，当待抓取物品被分段归类为小型物品，中型物品和大型物品时，可以均为他们配置吸盘夹具，其中，小型物品配置的是小型吸盘夹具，中型物品配置的是中型吸盘夹具，而大型物品则配置大型吸盘夹具。

对于步骤S150，在大量待抓取物品堆积的抓取场景下，随机抓取物品很容易导致抓不上，物品损坏，物品带飞等情况，应当按照一定的顺序执行抓取。现有的抓取排序方法通常基于物品的点云的特征进行排序，当点云数据不佳时，方案无法执行，而工厂场景中影响点云的情况又非常常见，例如光照条件不好，或者待抓取物品是玻璃等物品时，因此适用性不够好。此外，现有的排序方案通常只会考虑待抓取物品的一到两个特征，并基于简单的排序逻辑执行排序，由于考虑的因素不够全面，排序结果往往不够准确，或者现场工作人员发现排序不够准确时，也没有办法通过调整参数使得抓取顺序符合自己期望的结果，从而使得随后基于该顺序进行抓取时产生不良的抓取效果。为了解决上述问题，本发明提出了一种基于物品的可抓取区域的多项特征综合确定全部待抓取物品的抓取顺序的方法，提高了排序准确率和调整抓取顺序的自由度，也不会显著提高运算速度，并且方案的适用性也很强，是本发明的重点之一。

图5示出了根据本发明一个实施例的对图像数据进行处理以确定抓取顺序的方法的流程示意图。如图5所示，该方法包括：

步骤S200，获取至少一个待抓取物品的可抓取区域的掩膜；

步骤S210，针对至少一个待抓取物品中的每个待抓取物品，获取其可抓取区域的掩膜的至少一个特征值；

步骤S220，针对获取的所述至少一个特征值中的每一个，执行归一化处理，获得至少一个归一化特征值；

步骤S230，基于每个待抓取物品的至少一个归一化特征值以及预设的权值，计算该待抓取物品的抓取优先值，使得在对至少一个待抓取物品进行抓取时，能够根据该抓取优先值控制抓取的顺序。

对于步骤S200，可以采用步骤S110中的可抓取区域掩膜获取方法进行掩膜的获取，此处不再赘述。

对于步骤S210，获取了可抓取区域的掩膜后，还需要获取掩膜的与抓取相关的特征。发明人在研究过程中，发现掩膜的以下几个特征最可能影响抓取：掩膜高度，夹具大小，点云在掩膜内的个数，掩膜对角程度，掩膜压叠程度，掩膜大小，位姿方向。根据实际应用场景的需要，可以任选上述一个或多个特征的组合来确定抓取顺序。特别地，在这些特征中掩膜高度，掩膜大小，掩膜压叠程度以及位姿方向这四个特征对抓取的影响最大。作为一个优选的实施例，可以综合考虑上述特征中的全部特征以确定抓取的顺序。以下对每个特征的含义，对抓取的影响及其获取方法进行说明：

掩膜高度

掩膜高度是指某个待抓取物品的可抓取区域掩膜的高度，也可以是Z坐标值。掩膜高度反映了物体可抓面的高低，由于待抓取的物品有多个，且堆叠放置在一起，优先抓取上层的物品一来能够防止因下层物品被压住而导致上层物品被带飞的问题，二来能够避免把高层物品击落，影响对低层物品的抓取，并且位于高层的物品显然要比位于低层的物品更好抓。掩膜的高度可以通过深度图或者掩膜所在位置的点云来获取，在一个实施方式中，可以先获取包括一个或多个待抓取物品的点云，点云是预设坐标系下的点的数据集，为了方便计算高度值，可以在待抓取物品的正上方使用相机进行拍摄。之后基于掩膜区域，获取包括在掩膜区域的点云。计算掩膜所代表的可抓取区域的位姿关键点以及位姿关键点的深度值，物品对象的三维位姿信息用于描述待抓取对象在三维世界的姿态。位姿关键点是指：能够反映可抓取区域的三维位置特征的位姿点。可以通过以下方式计算：

首先，获取掩膜区域的各个数据点的三维位置坐标，根据各个数据点的三维位置坐标所对应的预设运算结果，确定掩膜所对应的可抓取区域的位姿关键点的位置信息。例如，假设掩膜区域的点云中包含100个数据点，分别获取100个数据点的三维位置坐标，计算100个数据点的三维位置坐标的平均值，将平均值所对应的数据点作为掩膜区域所对应的可抓取区域的位姿关键点。当然，上述的预设运算方式除求平均值之外，还可以为求重心、求最大值或最小值等，本发明对此不作限定。然后，找出100个数据点中变化量最小的方向以及变化量最大的方向。其中，将变化量最小的方向作为Z轴方向(即与相机拍摄方向一致的深度方向)，将变化量最大的方向作为X轴方向，并通过右手坐标系确定Y轴方向，从而确定位姿关键点的位置信息的三维状态信息，以反映位姿关键点在三维空间中的方向特征。

最后，计算各个掩膜区域所对应的物品可抓取区域的位姿关键点以及位姿关键点的深度值。其中，位姿关键点的深度值为物品可抓取区域对应于深度坐标轴的坐标值，其中，深度坐标轴根据相机拍照方向、重力方向或可抓取区域所在平面的垂直线所在的方向设定。相应的，深度值用于反映可抓取区域处于该深度坐标轴的位置。具体实施时，深度坐标轴的原点以及方向可以由本领域技术人员灵活设定，本发明对深度坐标轴的原点设置方式不作限定。例如，当深度坐标轴根据相机拍照方向设置时，深度坐标轴的原点可以为相机所在的位置，深度坐标轴的方向为从相机指向物品的方向，因此，各个可抓取区域的掩膜的深度值对应于可抓取区域到相机的距离的相反数，即距离相机越远，则掩膜的深度值越低，将深度值作为掩膜高度特征值。

夹具大小

夹具大小指的是为某个待抓取物品配置的夹具的大小。由于物品的可抓取区域在物体表面，因此使用夹具夹取物品，实质上就是控制夹具在可抓取区域执行抓取操作，故夹具大小可也可以算作物品的可抓取区域的掩膜的特征。夹具大小对抓取的影响主要体现在夹具是否可能误碰与夹具不对应的物品。例如，如果使用了大尺寸的吸盘，那么与使用小尺寸的吸盘相比，在堆放的物体较多时进行抓取，该大尺寸吸盘在抓取的过程中更容易碰撞到其它物品，导致吸盘晃动或者物***置的变化，进而可能导致抓取失败。实际的工业场景中，每套***使用什么样的夹具可能都是预先确定好的，也就是说，夹具的大小在实际抓取之前可能已经确定了，因此本实施方式中的夹具大小可以基于配置的夹具，以及预先建立并保存的夹具与其尺寸之间的映射关系，来获取。

点云在掩膜内的个数

点云在掩膜内的个数就是指某个待抓取物品的可抓取区域的掩膜所覆盖的点云的个数。点云个数反映了相机采集质量的好坏，如果某个可抓取区域中点云个数过少，可能是因为光线反射，也可能是因为有遮挡，说明对于该区域的拍摄是不够准确的，可能对夹具的控制过程产生影响。因此可以将掩膜内的点云个数较多的物品的抓取优先级定得较高，优先执行抓取。点云个数可以通过计算可抓取区域掩膜覆盖的点云的数量进行获取。

掩膜对角程度

如图6所示，掩膜对角程度指的是掩膜的对角连线的倾斜程度。掩膜对角程度高的待抓取物品会比较“胖”，抓取相对容易一些；而掩膜对角程度低的待抓取物品则比较“瘦”，抓取相对困难一些。如图7所示，为了计算掩膜对角程度，可以先计算掩膜的最小外接矩形，外接矩形的角点即为掩膜的角点。将两个互为对角的角点连线，连线与外接矩形的一边(例如图6中与X平行的那一边)夹角α的角度x°即可反映出对角的程度，作为一个较佳的实施方式，掩膜对角程度可以取值为|45°-x°|。

掩膜压叠程度

掩膜压叠程度是指某个待抓取物品的可抓取区域的掩膜被其它物品压叠的程度。通常的压叠检测只确定某个物品是否被压叠，而本实施例中的掩膜压叠程度，则是需要计算出一个确定的值，即“压叠程度值”。具体的压叠程度值能够用于对所有待抓取物品进行排序，压叠程度值低的物品抓取优先值高，而一般的压叠检测并不会量化压叠程度。此外，传统的压叠检测要确定压叠物体是否影响抓取，这需要识别出待抓取物品的类型(有些物品压叠影响抓取，有些物品即便被压叠也不碍事)，抓取点，具体压叠的位置(压叠物体在边缘的话，即便压叠较多，也不影响抓取，如果在中间的话，即便只压了一点，也可能会把压叠物体带飞)等。这类方法虽然准确度高，但是运算速度较慢，在某些对错误率要求较低但是对速度要求较高的工业场景中，并不适用。发明人开发了一种基于待抓取区域掩膜的图形特征以及压叠物品的图形特征确定待抓取物品压叠程度的方法，本发明的方法能够输出一个确定的压叠程度值，可供其它方面使用，并且本发明仅通过图形特征确定压叠程度，特别适用于对运算速度要求较高的工业场景，是本发明的重点之一。

图7示出了根据本发明一个实施例的确定待抓取物品的可抓取区域的掩膜压叠程度的方法的流程示意图。如图7所示，该方法包括：

步骤S300，获取至少一个待抓取物品的可抓取区域的掩膜；

步骤S310，对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

步骤S320，对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

步骤S330，对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂。

对于步骤S300，可以采用步骤S110中的可抓取区域掩膜获取方法进行掩膜的获取，此处不再赘述。

对于步骤S310，如图8所示，假设有一个待抓取物品，他的可抓取区域的掩膜本来是方形的，但是因为有一个方形的物品压叠在可抓取区域之上，当相机从正上方拍摄时，检测出来的掩膜是U型的。为了计算方形物品对待抓取物品的压叠程度，可以先计算该U型区域的面积。在一种实施方式中，可以采用几何学的方法计算面积，例如可以将U型区域分割为三个矩形区域，并计算每个矩形区域的面积后求和。作为一个较佳的实施方式，也可以基于可抓取区域掩膜包含的像素点来计算掩膜的面积，在这种实施方式中，首先，将全部像素点赋予一个相同的值，例如：0。然后，从左到右，从上到下逐个扫描整个图像中的所有像素点，若某个像素点具有掩膜的特征(例如颜色)，则继续依次判断该点的右上，正上，左上及左前点是否都不具有掩膜的特征，是则标号加1(此时，掩膜中的第一个点被赋值为1)，否则编号不变，若该点不具有掩膜的特征，则跳过。如果当前点的右上点及左前点为不同标记，且正上点和左上点不具有掩膜的特征，则当前点标记同右上点置相同的值，把所有标记与左前点相同的像素值都标记成与右上点同样的值。按照此方法遍历图像中的所有像素点，并进行标记。以此方式标记的点均为掩膜中包含的像素点，计算像素点的数量，基于每个像素点的面积及像素点的数量计算掩膜的面积。第二种方法通用性较好，可以用于计算任意形状的图像的面积。使用第二种方法计算面积时，也可以直接使用可抓取区域的掩膜包括的像素点的总数作为掩膜的面积。

对于步骤S320，可以使用任意的外接矩形算法对掩膜求取外接矩形。作为一种具体的实施方式，可以先计算掩膜中每个像素点的X坐标值和Y坐标值，分别选取最小的X值，最小的Y值，最大的X值以及最大的Y值；接着，将4个值组合为点的坐标，即最小的X值和最小的Y值组成坐标(X_min,Y_min)，最大的X值和Y值组成坐标(X_max,Y_max)，最小的X值和最大的Y值组成坐标(X_min,Y_max)，以及最大的X值和最小的Y值组成坐标(X_max,Y_min)。以点(X_min,Y_min)，(X_max,Y_max)，(X_min,Y_max)，(X_max,Y_min)分别作为外接矩形的4个角点并连线后，即获得了该外接矩形。接着计算该外接矩形的面积，计算方法类似步骤S310中计算掩膜面积的方法，此处不再赘述。

对于步骤S330，通过步骤S310获得待抓取物品的可抓取区域的掩膜的面积S₁以及通过步骤S320获得该物品的可抓取区域的掩膜的外接矩形的面积S₂后，可以计算S₁与S₂的比值，并用常数1减去该比值，即可得到掩膜压叠程度值，注意S₁与S₂应当具有相同的量纲，即如果以像素点数量作为掩膜的面积，则外接矩形的面积也应当以像素点的数量计量。

应当理解，本发明中的计算掩膜压叠程度的方法可以单独使用以确定抓取顺序，也可以与本发明中其它的特征联合使用计算抓取顺序。由于本发明综合考虑了多项对抓取有影响的特征，因此对每个特征的计算速度要求较高，而对某些单项特征的准确度要求较低，因此上述计算掩膜压叠程度的方法特别适合用在本发明的确定抓取顺序的方法中，从而与其它特征联合起来确定抓取顺序。此外，本实施例的压叠程度计算方法实际上并不考虑压叠是否影响抓取，因此，优选地，可以先执行类似本发明步骤S130中的压叠检测处理，剔除掉由于压叠而导致无法抓取的物品之后，针对剩下的物品，采用本实施例的方法计算每个物品的压叠程度。

掩膜大小

可抓取区域的掩膜大小可以为掩膜的面积，掩膜面积大表示待抓取物品的可抓取区域大，则夹具更容易抓取；相反如果可抓取区域小，则夹具抓取更困难。掩膜的面积可以采用与步骤S310类似的方法进行计算，此处不再赘述。

位姿方向

多个待抓取物品堆置于物料框中，每个物品都具有独特的位姿，甚至在每一次抓取之后物品的位姿也会改变。物品的位姿，特别是物品的可抓取区域的位姿，决定了夹具应当在何种位置，以何种姿势执行物品的抓取。现有的抓取方法并不会特别考虑物品的朝向问题，因而也没有基于物品的朝向而确定抓取物品的顺序，然而物品的朝向(或可抓取区域的朝向)，对抓取效果是有影响的，如图9所示，如果某个物品的可抓取区域正对着料框口时，该物品显然会比较好抓，假如物品的可抓取区域偏向料框壁时，则抓取难度比较大，特别是如果物品位于料框边缘附近时，朝向对抓取难度的影响尤为明显。可以通过图像学的方式或者将图像数据输入神经网络的方式，计算物品的位置及朝向，并基于物品在该位置及朝向下抓取的难易程度，计算物品的位姿特征值，可以理解，抓取越难，则位姿特征值越低。

对于步骤S220，通过以上方式获得的各个特征值的量纲可能不同，例如：掩膜高度值可能是一个长度值，例如-182mm；点云在掩膜内的个数值则是像素点的数量，例如：100个；掩膜对角程度值是一个角度值，例如：45°。不同量纲的数值无法直接放在一起进行计算，需要先对每个特征的取值进行归一化处理。归一化能够将不同的量纲归类到统一的区间中，例如，可以统一将各个特征的特征值归一化至[0,10]这个区间内。在一个具体的实施方式中，假设某个待抓取物品的掩膜高度值为-100mm，另一个待抓取物品的掩膜高度值为-120mm，则可以将-100mm归一化为8，而-120mm归一化为6，即归一化之后的两个待抓取物品的掩膜高度值分别为8和6；再如，某个待抓取物品的掩膜对角程度值为30°，另一个待抓取物品的掩膜对角程度值为15°，则可以将30°归一化为6，15°归一化为3，则归一化之后的两个待抓取物品的掩膜对角程度值分别为7和4。

对于步骤S230，在获得了各个特征的归一化特征值后，可以为每个特征预先设定权值，并基于每个特征的特征值及对应的权值计算每个待抓取物品的优先值P。优先值可以按照下述公式

进行计算，其中P为某个待抓取物品的优先值，n为特征数量，ω_i为第i个特征的权值，X_i为第i个特征的特征值。例如，某次抓取任务需要抓取两个待抓取物品，并且使用了掩膜高度，夹具大小，点云在掩膜内的个数，掩膜对角程度，掩膜压叠程度，掩膜大小，位姿方向作为特征值，在确定抓取顺序前，预先为各个特征设定权值，例如掩膜高度权值为3，夹具大小权值为1，点云在掩膜内的个数权值为2，掩膜对角程度权值为0，掩膜压叠程度权值为1，掩膜大小权值为2，位姿方向权值为3。接着，获取第一个待抓取物品的各项归一化特征值，例如为：掩膜高度值5，夹具大小值6，点云在掩膜内的个数值4，掩膜对角程度值为9，掩膜压叠程度值为6，掩膜大小值为3，位姿方向值为2，则根据公式计算可得第一个待抓取物品的优先值P₁＝3*5+1*6+2*4+0*9+1*6+2*3+3*2＝47。然后，获取第二个待抓取物品的各项归一化特征值，例如为：掩膜高度值3，夹具大小值5，点云在掩膜内的个数值2，掩膜对角程度值为2，掩膜压叠程度值为5，掩膜大小值为6，位姿方向值为5，则根据公式计算可得第一个待抓取物品的优先值P₂＝3*3+1*5+2*2+0*2+1*5+2*6+3*5＝50。由于P₂>P₁，即第二个待抓取物品的抓取优先值高于第一个待抓取物品的优先值，因此，在执行该抓取任务时，将先使用夹具抓取第二个待抓取物品，抓取完毕后，再抓取第一个待抓取物品。

在实际工业场景中，一般会让现场的工作人员为具体的抓取任务设置机器人的各项参数，然而现场工作人员对抓取的原理不熟悉，因此在发现出现问题时，并不清楚问题出现在哪，也不清楚如何修改设置以解决该问题。例如，当抓取多个堆叠在一起的待抓取物品时，出现将物品带飞出框的情形，现场工作人员判断原因出在夹具越过了上层的物品直接抓取了下层的物品，但是他并不能确定为什么机器人会认为下层物品的优先值更高，也不清楚如何设置权值改变机器人的抓取顺序。为了解决该问题，发明人开发出了一套将抓取过程中涉及的图形和参数按照现场工作人员的需要而以可视化的方式展现给现场工作人员进行操作的方法，这也是本发明的重点之一。

图10示出了根据本发明一个实施例的将抓取过程中的图形和参数可视化的方法的流程示意图。如图10所示，该方法包括：

步骤S400，获取包括一个或多个待抓取物品的图像数据；

步骤S410，将所述图像数据以及可操作控件输出以形成交互界面，所述控件可供用户操作以选择抓取辅助图像并向用户展示选择的抓取辅助图像；

步骤S420，响应于用户对所述控件的操作，获取与用户所选择的抓取辅助图像相对应的抓取辅助数据；

步骤S430，基于获取的所述抓取辅助数据，生成抓取辅助图层；

步骤S440，将所述抓取辅助图层与包括一个或多个待抓取物品的图像数据组合以生成用户选择的抓取辅助图像。

对于步骤S400，可以采用与步骤S100类似的方式获取包括一个或多个待抓取物品的图像数据，此处不再赘诉。

对于步骤S410，可以将拍摄到的图片以及控件输出至显示器上，展示给用户。用户与机器人之间的交互可以采用触摸操作，语音操作，或传统操作设备的方式，例如鼠标，键盘等，进行操作，本发明对此不作限制。交互界面是人和计算机***进行信息交换的通道，用户通过交互界面向计算机***输入信息、进行操作，计算机则通过交互界面向用户提供信息，以供阅读、分析和判断，每一个交互界面包含该交互界面提供的信息展示界面以及可由用户操作的控件。用于控制可视化的控件可以整体上与图像展示在一个交互界面上，也可以与图像分成两个界面，并在图像界面上提供转到控件界面的接口，以及在空间界面上提供转到图像界面的接口，当用户操作该接口时，转至控件界面或图像界面。如图11a所示，控件界面可以选择与可视化相关的操作，包括：开启可视化的操作，显示压叠物体轮廓的操作以及可视化属性的操作。其中可视化属性可以包括前述任一实施例中输出的任意参数，图11a中可供选择的可视化属性包括：ALL、按位姿高度显示、按吸盘大小显示、按压叠程度显示、按透明程度显示、按位姿朝向显示。其中ALL指的是总体的评分值，其值可以是步骤S230中输出的优先值。不难看出，其中的位姿朝向，吸盘大小，以及压叠程度都是在确定物品抓取顺序的方案中输出的值。

对于步骤S420，用户可以根据自己的需要选取感兴趣的值。例如，当用户发现机器人没有按照自己预想的顺序抓取时，可以选择ALL控件以展示各个待抓取物品的抓取优先值以确定实际抓取顺序与自己期望的抓取顺序的差异之处，之后再单独选择特定的可视化属性，以确定究竟是哪些属性影响了抓取顺序。当用户选择了某个可视化选项后，***会查找并调用相应的数据。作为一个较佳的实施方式，***响应于用户的选择会获取用户选择的参数以及可抓取区域的掩膜共同作为辅助数据使用，例如，当用户选择了“按吸盘大小显示”，则***会同时调用步骤S110的执行过程中生成的可抓取区域的掩膜以及步骤S210的执行过程中获取的吸盘大小的值；类似地，当用户选择了“按位姿高度显示”后，则会调用步骤S110的执行过程中生成的可抓取区域的掩膜以及步骤S210的执行过程中获取的掩膜高度特征值。

对于步骤S430，将步骤S420中调用的数据组合生成可供用户查看的可视化图层，以用户选择了“按位姿高度显示”，“按吸盘大小显示”并且抓取辅助数据也包括可抓取区域的掩膜为例：当用户选择了“按位姿高度显示”后，则调用原始图像中的各个待抓取物品的掩膜，以及每个待抓取物品的掩膜高度特征值，并生成将掩膜高度特征值放置在对应的掩膜旁边的图层；当用户选择了“按吸盘大小显示”后，则调用原始图像中的各个待抓取物品的掩膜，以及每个待抓取物品的吸盘大小特征值，并生成将吸盘大小特征值放置在对应的掩膜旁边的图层；

对于步骤S440，将步骤S430生成的抓取辅助图层与原始拍摄的图像数据合成，并以可视化的方式展示给用户。可以对步骤S430中生成的图层进行处理，调整图层的颜色，透明度以及对比度等属性，然后按照从左到右，从上到下的顺序，依次将辅助图像图层中所有的像素点与原始图像数据中所有的像素点组合在一起，从而生成合成后的图像数据。如图11b所示，合成后的图像展示了各个待抓取物品的图像，以及覆盖在待抓取物品之上的可抓取区域的掩膜，以及在掩膜旁展示的用户选择的“位姿高度”值或者“吸盘大小”值。

另外，需要说明的是，虽然本发明的每个实施例都具有特定的特征组合，然而，这些特征在实施例之间的进一步组合和交叉组合也是可行的。

根据上述实施例，首先，本发明基于待抓取物品的可抓取区域的掩膜，并结合压叠检测，位姿预测，抓取排序等步骤来控制夹具执行对待抓取物品的抓取，对于堆放了多个待抓取物品的密集场景，能够准确地识别每个待抓取物品的抓取方式，并按照特定的顺序有序地抓取全部待抓取物品，与现有的抓取方案相比，可有效避免在密集场景下抓取时，带飞其它物品等情况，提高了抓取的准确率；其次，本发明的抓取排序方法，依据待抓取物品的可抓取区域的掩膜的多个特征进行综合排序，相对于传统的方法，提高了排序的准确度，并且由于并非针对整个物品的特征进行处理，因此即便考虑了多个因素，也不会显著降低运算的速度；第三，本发明中提出了一种仅基于待抓取物品的可抓取区域的图形特征的物品压叠程度计算方法，与传统的计算方法相比，本发明的方法运算速度快，且能够给出具体的压叠值而并非判断物品是否被压叠，虽然准确度较低，但是计算简单快速，并且输出的压叠值本身还可以在其它方面使用，特别适合对运算速度有要求的场景或者依据多个特征进行综合排序的场景；第四，本发明还提出了一种将与本发明的抓取控制方法相关联的参数及图像数据可视化地展示给用户的方法，使得用户在对机器人运行原理不了解的情况下，能够直观地确定机器人执行抓取过程中的各项参数，确定机器人抓取的依据，并进而确定如何对机器人的各项参数进行调整，解决了传统的抓取方案中，用户只能凭着自己的猜测进行参数调整的问题。

图12示出了根据本发明又一个实施例的抓取控制装置，该装置包括：

图像数据获取模块500，用于获取包括一个或多个待抓取物品的图像数据，即用于实现步骤S100；

掩膜预测模块510，用于对所述图像数据进行处理，生成一个或多个待抓取物品的可抓取区域的掩膜，并对所述掩膜进行预处理，即用于实现步骤S110；

压叠检测模块520，用于检测一个或多个待抓取物品是否存在压叠情况，即用于实现步骤S120；

位姿估计模块530，用于对一个或多个待抓取物品所在的位置及其姿态进行估计，即用于实现步骤S130；

夹具配置模块540，用于根据待抓取物品的属性，为待抓取物品配置夹具，使得在抓取待抓取物品时能够使用适于抓取待抓取物品的夹具执行抓取，即用于实现步骤S140；

抓取排序模块550，用于基于所述一个或多个待抓取物品的抓取特征，确定使用夹具抓取所述一个或多个待抓取物品的顺序的步骤，使得夹具能够按照所确定的顺序抓取物品，即用于实现步骤S150。

可选的，还可以包括料框参数获取模块，用于对料框数据进行处理以获得料框的参数。待抓取物品通常会堆在箱子中搬运至现场，这种堆积物品的箱子通常称之为料框，在执行抓取时，机械臂或者夹具在运动过程中可能碰到料框，因此料框以及料框中的物品的摆放位置对抓取有重要的影响。作为一个较佳的实施例，可以获取料框的各项参数。如图2所示，可以对料框数据进行处理，提取或生成对抓取有影响的辅助参数，这样的参数包括：料框的高度，料框的宽度，料框的长度，以及对料框的宽度和长度进行分割后获得的网格。应当理解，高度，宽度和长度都是确定的数值，而网格的分割方式及数量则是本领域技术人员根据所使用的夹具，抓取方式以及待抓取物品的特征等实际情况自行分割的，使用网格能够方便地对待抓取物品的位置进行标定。料框数据可以是预设的，或者通过相机采集的。

图13示出了根据本发明又一个实施例的抓取控制装置，该装置包括：

掩膜获取模块600，用于获取至少一个待抓取物品的可抓取区域的掩膜，即用于实现步骤S200；

特征值获取模块610，用于针对至少一个待抓取物品中的每个待抓取物品，获取其可抓取区域的掩膜的至少一个特征的特征值，即用于实现步骤S210；

特征值归一化模块620，用于针对获取的所述至少一个特征的特征值中的每一个，执行归一化处理，获得至少一个归一化特征值，即用于实现步骤S220；

优先值计算模块630，用于基于每个待抓取物品的至少一个归一化特征值以及预设的权值，计算该待抓取物品的抓取优先值，使得在对至少一个待抓取物品进行抓取时，能够根据该抓取优先值控制抓取的顺序，即用于实现步骤S230。

图14示出了根据本发明又一个实施例的图像数据处理装置，该装置包括：

掩膜获取模块700，用于获取至少一个待抓取物品的可抓取区域的掩膜，即用于实现步骤S300；

掩膜面积计算模块710，用于对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁，即用于实现步骤S310；

外接矩形处理模块720，用于对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂，即用于实现步骤S320；

压叠程度计算模块730，用于对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂，即用于实现步骤S330。

图15示出了根据本发明又一个实施例的图像数据处理装置，该装置包括：

图像数据获取模块800，用于获取包括一个或多个待抓取物品的图像数据，即用于实现步骤S400；

交互界面展示模块810，用于将所述图像数据以及可操作控件输出以形成交互界面，所述控件可供用户操作以选择抓取辅助图像并向用户展示选择的抓取辅助图像，即用于实现步骤S410；

辅助数据获取模块820，用于响应于用户对所述控件的操作，获取与用户所选择的抓取辅助图像相对应的抓取辅助数据，即用于实现步骤S420；

辅助图层生成模块830，用于基于获取的所述抓取辅助数据，生成抓取辅助图层，即用于实现步骤S430；

辅助图像生成模块840，用于将所述抓取辅助图层与包括一个或多个待抓取物品的图像数据组合以生成用户选择的抓取辅助图像，即用于实现步骤S440。

应当理解，在上述由图12-图15所示的装置实施例中，仅描述了模块的主要功能，各个模块的全部功能与方法实施例中相应步骤相对应，各个模块的工作原理同样可以参照方法实施例中相应步骤的描述。例如，上述实施例中辅助图像生成模块840用于实现步骤S440的方法，表明用于描述和解释步骤S440的内容也是用于描述和解释辅助图像生成模块840的功能的内容。另外，虽然上述实施例中限定了功能模块的功能与方法的对应关系，然而本领域技术人员能够理解，功能模块的功能并不局限于上述对应关系，即特定的功能模块还能够实现其他方法步骤或方法步骤的一部分。例如，上述实施例描述了辅助图像生成模块840用于实现步骤S440的方法，然而根据实际情况的需要，辅助图像生成模块840也可以用于实现步骤S400、S410、S420或S430的方法或方法的一部分。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施方式的方法。需要指出的是，本申请实施方式的计算机可读存储介质存储的计算机程序可以被电子设备的处理器执行，此外，计算机可读存储介质可以是内置在电子设备中的存储介质，也可以是能够插拔地插接在电子设备的存储介质，因此，本申请实施方式的计算机可读存储介质具有较高的灵活性和可靠性。

图16示出了根据本发明实施例的一种电子设备的结构示意图，电子设备可以是汽车中配置的控制***/电子***、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等，本发明具体实施例并不对电子设备的具体实现做限定。

如图16所示，该电子设备可以包括：处理器(processor)1202、通信接口(Communications Interface)1204、存储器(memory)1206、以及通信总线1208。

其中：

处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。

通信接口1204，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器1202，用于执行程序1210，具体可以执行上述方法实施例中的相关步骤。

具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。

处理器1202可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1206，用于存放程序1210。存储器1206可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1210可以通过通信接口1204从网络上被下载及安装，和/或从可拆卸介质被安装。在该程序被处理器1202执行时，可以使得处理器1202执行上述方法实施例中的各项操作。

概括地说，本发明的发明内容包括：

一种抓取控制方法，所述控制方法至少包括以下步骤：

获取包括一个或多个待抓取物品的图像数据的步骤；

对所述图像数据进行处理，生成一个或多个待抓取物品的可抓取区域的掩膜，并对所述掩膜进行预处理的步骤；

检测一个或多个待抓取物品是否存在压叠情况的步骤；

对一个或多个待抓取物品所在的位置及其姿态进行估计的步骤；

根据待抓取物品的属性，为待抓取物品配置夹具的步骤，使得在抓取待抓取物品时能够使用适于抓取待抓取物品的夹具执行抓取；

基于所述一个或多个待抓取物品的抓取特征，确定使用夹具抓取所述一个或多个待抓取物品的顺序的步骤，使得夹具能够按照所确定的顺序抓取物品。

可选的，所述方法还包括对料框数据进行处理以获得料框的参数的步骤。

可选的，所述对所述掩膜进行预处理包括：掩膜膨胀、基于预设的掩膜最小面积对掩膜进行的预处理、和/或基于预设的掩膜中最少点云个数对掩膜进行的预处理。

可选的，所述检测一个或多个待抓取物品是否存在压叠情况的步骤还包括：根据预先设定的压叠检测的最大数量，输出压叠检测的结果。

可选的，所述对一个或多个待抓取物品所在的位置及其姿态进行估计的步骤还包括：根据预先设定的最大估计数量，输出估计的结果。

可选的，所述物品的属性包括物品掩膜的图像属性。

一种抓取控制装置，包括：

图像数据获取模块，用于获取包括一个或多个待抓取物品的图像数据；

掩膜预测模块，用于对所述图像数据进行处理，生成一个或多个待抓取物品的可抓取区域的掩膜，并对所述掩膜进行预处理；

压叠检测模块，用于检测一个或多个待抓取物品是否存在压叠情况；

位姿估计模块，用于对一个或多个待抓取物品所在的位置及其姿态进行估计；

夹具配置模块，用于根据待抓取物品的属性，为待抓取物品配置夹具，使得在抓取待抓取物品时能够使用适于抓取待抓取物品的夹具执行抓取；

抓取排序模块，用于基于所述一个或多个待抓取物品的抓取特征，确定使用夹具抓取所述一个或多个待抓取物品的顺序的步骤，使得夹具能够按照所确定的顺序抓取物品。

可选的，该装置还包括：料框参数获取模块，用于对料框数据进行处理以获得料框的参数。

可选的，所述对所述掩膜进行预处理包括：掩膜膨胀、基于预设的掩膜最小面积对掩膜进行的预处理、和/或基于预设的掩膜中最少点云个数对掩膜进行的预处理。

可选的，所述压叠检测模块还用于：根据预先设定的压叠检测的最大数量，输出压叠检测的结果。

可选的，所述位姿估计模块还用于：根据预先设定的最大估计数量，输出估计的结果。

可选的，所述物品的属性包括物品掩膜的图像属性。

一种抓取控制方法，包括：

获取至少一个待抓取物品的可抓取区域的掩膜；

针对至少一个待抓取物品中的每个待抓取物品，获取其可抓取区域的掩膜的至少一个特征的特征值；

针对获取的所述至少一个特征的特征值中的每一个，执行归一化处理，获得至少一个归一化特征值；

基于每个待抓取物品的至少一个归一化特征值以及预设的权值，计算该待抓取物品的抓取优先值，使得在对至少一个待抓取物品进行抓取时，能够根据该抓取优先值控制抓取的顺序。

可选的，所述可抓取区域的掩膜的特征包括：掩膜高度，夹具大小，点云在掩膜内的个数，掩膜对角程度，掩膜压叠程度，掩膜大小和/或位姿方向。

可选的，基于可抓取区域的深度值计算可抓取区域的掩膜的掩膜高度特征值。

可选的，基于预设的夹具与夹具大小之间的映射关系，确定夹具大小。

可选的，基于掩膜的外接矩形的对角线与外接矩形一边的夹角，确定掩膜对角程度。

可选的，按照下述公式计算优先值：

其中，P为待抓取物品的优先值，n为特征数量，ω_i为第i个特征的权值，X_i为第i个特征的特征值。

一种抓取控制装置，包括：

掩膜获取模块，用于获取至少一个待抓取物品的可抓取区域的掩膜；

特征值获取模块，用于针对至少一个待抓取物品中的每个待抓取物品，获取其可抓取区域的掩膜的至少一个特征的特征值；

特征值归一化模块，用于针对获取的所述至少一个特征的特征值中的每一个，执行归一化处理，获得至少一个归一化特征值；

优先值计算模块，用于基于每个待抓取物品的至少一个归一化特征值以及预设的权值，计算该待抓取物品的抓取优先值，使得在对至少一个待抓取物品进行抓取时，能够根据该抓取优先值控制抓取的顺序。

可选的，所述可抓取区域的掩膜的特征包括：掩膜高度，夹具大小，点云在掩膜内的个数，掩膜对角程度，掩膜压叠程度，掩膜大小和/或位姿方向。

可选的，基于可抓取区域的深度值计算可抓取区域的掩膜的掩膜高度特征值。

可选的，基于预设的夹具与夹具大小之间的映射关系，确定夹具大小。

可选的，基于掩膜的外接矩形的对角线与外接矩形一边的夹角，确定掩膜对角程度。

可选的，所述优先值计算模块按照下述公式计算优先值：

其中，P为待抓取物品的优先值，n为特征数量，ω_i为第i个特征的权值，X_i为第i个特征的特征值。

一种图像数据处理方法，包括：

获取至少一个待抓取物品的可抓取区域的掩膜；

对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

可选的，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

可选的，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

可选的，所述生成该物品的可抓取区域的掩膜的外接矩形包括：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

一种图像数据处理装置，包括：

掩膜获取模块，用于获取至少一个待抓取物品的可抓取区域的掩膜；

掩膜面积计算模块，用于对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

外接矩形处理模块，用于对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

压叠程度计算模块，用于对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

可选的，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

可选的，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

可选的，所述外接矩形处理模块还用于：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

一种图像数据处理方法，包括：

获取包括一个或多个待抓取物品的图像数据；

将所述图像数据以及可操作控件输出以形成交互界面，所述控件可供用户操作以选择抓取辅助图像并向用户展示选择的抓取辅助图像；

响应于用户对所述控件的操作，获取与用户所选择的抓取辅助图像相对应的抓取辅助数据；

基于获取的所述抓取辅助数据，生成抓取辅助图层；

将所述抓取辅助图层与包括一个或多个待抓取物品的图像数据组合以生成用户选择的抓取辅助图像。

可选的，所述图像数据与可操作控件在同一个交互界面内。

可选的，所述图像数据与可操作控件在不同交互界面内。

可选的，所述不同交互界面响应于用户的操作而进行切换。

可选的，所述抓取辅助数据包括：与用户所选的抓取辅助图像相关联的数值以及所述待抓取物品的可抓取区域的掩膜。

可选的，所述将所述抓取辅助图层与包括一个或多个待抓取物品的图像数据组合包括：调整所述抓取辅助图层的颜色、透明度和/或对比度之后，再将调整后的抓取辅助图层与包括一个或多个待抓取物品的图像数据组合。

一种图像数据处理装置，包括：

图像数据获取模块，用于获取包括一个或多个待抓取物品的图像数据；

交互界面展示模块，用于将所述图像数据以及可操作控件输出以形成交互界面，所述控件可供用户操作以选择抓取辅助图像并向用户展示选择的抓取辅助图像；

辅助数据获取模块，用于响应于用户对所述控件的操作，获取与用户所选择的抓取辅助图像相对应的抓取辅助数据；

辅助图层生成模块，用于基于获取的所述抓取辅助数据，生成抓取辅助图层；

辅助图像生成模块，用于将所述抓取辅助图层与包括一个或多个待抓取物品的图像数据组合以生成用户选择的抓取辅助图像。

可选的，所述图像数据与可操作控件在同一个交互界面内。

可选的，所述图像数据与可操作控件在不同交互界面内。

可选的，所述不同交互界面响应于用户的操作而进行切换。

可选的，所述抓取辅助数据包括：与用户所选的抓取辅助图像相关联的数值以及所述待抓取物品的可抓取区域的掩膜。

可选的，所述辅助图像生成模块还用于：调整所述抓取辅助图层的颜色、透明度和/或对比度之后，再将调整后的抓取辅助图层与包括一个或多个待抓取物品的图像数据组合。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理模块的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种图像数据处理方法，其特征在于，包括：

获取至少一个待抓取物品的可抓取区域的掩膜；

对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

2.根据权利要求1所述的图像数据处理方法，其特征在于，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

3.根据权利要求1所述的图像数据处理方法，其特征在于，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

4.根据权利要求1所述的图像数据处理方法，其特征在于，所述生成该物品的可抓取区域的掩膜的外接矩形包括：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

5.一种图像数据处理装置，其特征在于，包括：

掩膜获取模块，用于获取至少一个待抓取物品的可抓取区域的掩膜；

掩膜面积计算模块，用于对于每个待抓取物品，计算该物品的可抓取区域的掩膜的面积S₁；

外接矩形处理模块，用于对于每个待抓取物品，生成该物品的可抓取区域的掩膜的外接矩形并计算所述外接矩形的面积S₂；

压叠程度计算模块，用于对于每个待抓取物品，通过以下公式计算待抓取物品的掩膜压叠程度C：

C＝1-S₁/S₂；

其中，所述掩膜压叠程度C能够用于确定待抓取物品的抓取顺序以控制夹具对待抓取物品进行抓取操作。

6.根据权利要求5所述的图像数据处理装置，其特征在于，基于几何学的方法计算所述掩膜的面积和/或外接矩形的面积。

7.根据权利要求5所述的图像数据处理装置，其特征在于，基于所述掩膜包含的像素点计算所述掩膜的面积，和/或基于所述外接矩形包含的像素点计算所述外接矩形的面积。

8.根据权利要求5所述的图像数据处理装置，其特征在于，所述外接矩形处理模块还用于：获取所述掩膜的每一个像素点的X坐标值和Y坐标值，基于其中最小的X值，最小的Y值，最大的X值以及最大的Y值计算所述外接矩形。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的图像数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的图像数据处理方法。

Images