CN108290286A - 用于教导工业机器人拾取零件的方法 - Google Patents

Abstract

一种用于教导工业机器人(3)拾取零件(120，122)的方法包括以下步骤：将参考零件(7)放置在拾取表面(2)上；提供包括与参考零件(7)有关的信息的参考图像；将工业机器人(3)的抓取工具(5)相对于参考零件(7)放置，以使抓取工具(5)相对于参考零件(7)处于抓握配置；以及存储抓握配置。参考图像是来自下方的2D图像。当参考零件(7)搁置在已知平面上时，从下方获取的2D图像足以用于定义该参考零件的位置。

Description

用于教导工业机器人拾取零件的方法

技术领域

本发明涉及工业机器人的零件拾取应用。

背景技术

在自动化工业***中，工业机器人被用于从拾取表面拾取零件。这样的***包括：包括用于接纳待拾取零件的拾取表面的零件馈送器、布置成定位分布在拾取表面上的零件的视觉***、以及持有抓取工具的工业机器人，抓取工具被配置成从拾取表面抓握零件。拾取表面例如是传送带的表面。存在使用不同原理并且适用于不同特定任务的很多馈送设备。一种类型的零件馈送器是其中随机取向的零件被馈送到拾取表面上的类型的零件馈送器。

为了将零件定位在拾取表面上，***通常配备有包括一个或多个传感器(诸如相机)和照明***的视觉***。视觉***通常用于确定零件在拾取表面上的位置，并且确定哪些零件被正确定位以便能够由机器人拾取。在本公开的上下文中，术语“位置”或“相对位置”应当被认为还相应地包括取向和相对取向。

在现有技术中，视觉***利用直接安装在拾取表面的上方的相机。相机获取分散在拾取表面上的零件的图像，并且这些图像用于将持有抓取工具的机器人引导至待拾取零件。

从US 4876728已知一种基于微处理器的视觉***，其包括头顶相机和布置在传送带上方的两个头顶光源，该***与机器人***接口连接。

从US 6,002,125已知将光敏传感器布置在透明拾取表面下方，光源位于拾取表面上方，以用于确定传送带上相对于传感器移动的零件的位置。传感器安装在固定安装的透明玻璃板的下侧，传送带在该透明玻璃板上方滑动。光敏传感器被布置成记录由零件在光源与传感器之间经过而生成的光辐射。

视觉***包括用于分析由传感器获取的图像并且提取待拾取零件的坐标的视觉算法。在针对新零件进行教导期间，必须调整视觉算法以达到良好的性能。这种调整可以分为三个主要步骤：

第1步：视觉***的校准。在校准期间，确定相机参考系中的坐标与机器人参考系中的坐标之间的对应关系。

第2步：教导待抓取零件。该步骤包括零件及其特征的定义、以及零件识别算法的训练。

第3步：抓握配置的定义。该步骤包括指定拾取零件的方式，即确定相对于零件的位置，抓取工具应当处于该位置来抓握零件。

使用机器人的零件拾取***的问题在于，视觉***的教导很困难并且耗时。如今，用于教导视觉算法的工具需要一系列的输入以得到好的教导并且提供可靠的结果。通常，用户需要具有良好的知识以处理相关视觉软件。通常需要几天才能将视觉***手动教导给特定应用并且获取可靠的行为。

由Carlos Martinez、Heping Chen和Remus Boca于2015年发表的文章“Automated3D vision guided bin picking process for randomly located industrial parts”(第3172至3177页)公开了一种随机3D容器(bin)拾取***，其将视觉***与机器人***集成。视觉***标识候选零件的位置，并且机器人***确认候选零件之一是否可拾取。如果零件被标识为可拾取，则机器人将拾取这个零件。视觉***包括安装在抓取工具上的3D相机，并且从零件的所捕获的3D图像中标识零件位置。标识出的零件位置被发送到机器人控制器，以控制机器人拾取零件的动作。3D相机被校准以在相机参考系与机器人参考系之间建立关系。必须确定相机参考系与机器人参考系之间的关系，以便计算用于机器人拾取零件的零件位置。由于容器(bin)内有很多不同的零件，因此视觉***必须区分一个零件和另一零件。因此，视觉***必须经过零件识别训练。用于零件识别和抓取点的零件特征在视觉***中通过使用将被拾取的零件的3D图像进行训练。通过处理零件的3D图像来得到边缘信息。在标识零件之后，定义零件的3D模型。该3D模型将在运行时被用于计算零件的准确位置。

当视觉***已经得到零件的3D模型时，使用相同的3D模型为零件定义多个抓握点。抓握点通过标记抓取工具将接近并且拾取零件的区域而被定义。在运行时，视觉***将针对在运行时得到的3D图像中的抓握点通过检查在所标记的区域中没有另一零件来确认抓握点。对于每个抓取点，用户必须利用抓取工具将机器人轻推至被用于创建3D模型的零件，并且将这个位置保存作为主位置。位置将参考零件而进行保存，其在运行时将被平移并且定向到机器人参考系。

发明内容

本发明的一个目的是提供用于教导工业机器人拾取零件的改进的方法，该方法简单并且快速。

该目的通过根据所附权利要求1的方法和通过根据权利要求13的设备来实现。

本发明基于这样的认识，即通过假定所有可拾取零件搁置在已知平面上，从下方获取的2D图像足以用于定义可拾取零件的位置。

根据本发明的第一方面，提供了用于教导工业机器人拾取零件的方法。方法包括以下步骤：将参考零件放置在拾取表面上；提供包括与参考零件有关的信息的参考图像；将工业机器人的抓取工具相对于参考零件放置，以使抓取工具相对于参考零件处于抓握配置；以及存储抓握配置。参考图像是来自下方的2D图像。

根据本发明的一个实施例，参考图像借助于图像扫描仪来获取。

根据本发明的一个实施例，拾取表面是平面的。

根据本发明的一个实施例，参考图像仅包含与参考零件的抵靠拾取表面的那些部分有关的信息。

根据本发明的一个实施例，方法还包括以下步骤：基于参考图像来确定参考零件的至少一个识别特征；以及存储至少一个识别特征。

根据本发明的一个实施例，参考零件的所述至少一个识别特征至少是参考零件的轮廓的一部分。

根据本发明的一个实施例，方法还包括以下步骤：从下方获取没有任何零件的拾取表面的表面图像；存储表面图像；通过使用表面图像来检测与参考图像中的识别特征相对应的像素；以及基于检测到的像素来检测零件。

根据本发明的一个实施例，所述表面图像通过与参考图像相同的装置来获取。

根据本发明的一个实施例，所述参考图像还包括与处于抓握配置的抓取工具有关的信息，并且方法还包括基于参考图像来确定和存储针对参考零件的拾取区的步骤。

根据本发明的一个实施例，方法还包括以下步骤：获取包括与位于拾取表面上的至少一个零件有关的信息的零件图像；检测零件图像中的至少一个零件；基于零件图像来确定至少一个零件在拾取表面上的位置；以及基于所确定的位置和抓握配置来计算针对抓取工具的抓握位置。

根据本发明的一个实施例，所述零件图像通过与参考图像相同的装置来获取。

根据本发明的一个实施例，方法还包括以下步骤：通过基于零件图像验证拾取表面上没有其他零件或其他障碍物在待拾取零件的拾取区内来检查零件是否能够由抓取工具获得。

根据本发明的第二方面，提供了零件拾取***，其包括：拾取表面；在拾取表面下方的图像设备，用于提供包括与拾取表面上的参考零件有关的信息的参考图像；以及抓取工具，用于抓握参考零件。零件拾取***还包括被配置成计算抓取工具和参考零件的相对位置的数据处理单元。

附图说明

将参考附图更详细地解释本发明，在附图中：

图1示出其中可以应用根据本发明的方法的零件拾取***，

图2以横截面示意性地示出图1的零件拾取***中的图像扫描仪的示例，

图3示出根据本发明的一个实施例的方法的流程图，

图4示出处于抓握配置的参考零件和抓取工具，

图5示出图4的处于抓握配置的参考零件和抓取工具的2D图像，以及

图6示出两个零件和相应的拾取区。

具体实施方式

参照图1，零件拾取***包括零件馈送器1和工业机器人3，零件馈送器1包括用于接纳待拾取零件120、122的拾取表面2，工业机器人3具有被配置成从拾取表面2抓握零件120、122(参见图6)的抓取工具5。机器人3包括也表示为机械手4的机械结构和用于控制机械手4的移动的控制单元6。机械手4具有围绕多条轴相对于彼此可移动的多个臂。轴的移动由安装在相应轴上的电动机来驱动。轴的速度和加速度由控制单元6控制。轴配备有诸如角度测量设备的位置传感器以提供位置反馈信号。来自位置传感器的反馈信号被传送到控制单元6。抓取工具5的位置例如由针对工具定义的工具中心点(TCP)的位置给出。TCP被定义在6个自由度中：三个位置坐标(x，y，z)和三个角度坐标(θ1，θ2，θ3)。TCP的位置由机器人3的轴的位置给出，并且可以基于来自机器人3的位置传感器的信号来计算。

零件拾取***还包括图像扫描仪12，图像扫描仪12位于拾取表面2下方并且被布置成提供零件图像，即分布在拾取表面2上的零件120、122的2D图像。拾取表面2是平面的、水平的和透明的玻璃板11的上表面。图像扫描仪12设置在玻璃板11下方，并且被布置为相对于玻璃板11能够线性移动，以允许扫描位于拾取表面2上的零件120、122。扫描仪例如是CCD扫描仪或CIS(接触式图像传感器)扫描仪。零件拾取***还可以包括被配置成接收用户命令的用户接口14。用户接口14例如是触摸屏和/或键盘、或者任何其他已知的适当的用户接口14。

在本公开的上下文中，术语“图像”应当被认为不仅覆盖了物体的可见图示，而且还覆盖这样的可见图示可以被生成所基于的任何信息。例如，图像扫描仪12提供零件120、122的可见图示可以被生成所基于的数字信息。然而，为了本发明的目的，可能不需要生成可见图示，而是数字信息的处理可能就足够了。此外，图像的提供可以基于除了可见光之外的其他物理现象。玻璃板11由此可以由任何适当的平面板来代替，任何适当的平面板可以是透明的或不透明的。

图2示意性地示出了图1的零件馈送器1的横截面。图像扫描仪12包括一个或多个图像传感器16和至少一个光源18，两者都位于玻璃板11下方。零件馈送器1还包括被配置成控制图像扫描仪12的数据处理单元20。数据处理单元20包括用于控制图像扫描仪12并且用于提供图像处理功能的必要的硬件和软件。数据处理单元20可以包括处理器、存储器和通信硬件。用户接口14连接至数据处理单元20，并且数据处理单元20被配置成从用户接口14接收用户命令。机器人操作员可以经由用户接口14指令图像扫描仪12开始扫描，并且数据处理单元20被配置成在接收到来自用户接口14的指令时发送命令到图像扫描仪12以开始扫描。

数据处理单元20被配置成从图像扫描仪12接收零件图像，并且基于零件图像来确定零件120、122在拾取表面2上的位置。数据处理单元20和机器人控制器6被配置成彼此通信。数据处理单元20将包括待拾取零件120、122的位置的关于待拾取零件120、122的信息发送到机器人控制器6。数据处理单元20还包括视觉算法。视觉算法例如被实现为由数据处理单元20执行的软件模块。视觉算法被分成两部分，即教导部分和识别部分。数据处理单元20的教导部分包括被配置成教导机器人3如何抓握参考零件7的教导模块24。教导模块24还被配置成定义如何识别参考零件7。识别部分包括零件识别模块22，零件识别模块22被配置成识别分布在拾取表面2上的零件120、122并且基于由图像扫描仪12获取的零件图像来确定零件120、122的位置。零件识别模块22在零件拾取***的操作期间被执行。教导模块24被预先执行，以便教导***如何标识待拾取零件120、122以及如何抓握零件120、122。

术语“抓握配置”用于指代仅在抓握发生之前抓取工具5和参考零件7的期望的相对位置。教导模块24被配置成根据命令来存储抓握位置(即当处于抓握配置时抓取工具5在机器人参考系中的绝对位置)，抓握位置由机器人3的位置传感器给出。教导模块24还被配置成指令图像扫描仪12提供参考图像(即位于拾取表面2上的参考零件7的2D图像)并且基于参考图像来确定和存储参考零件7的位置。从抓取工具5和参考零件7的存储位置，可以计算抓握配置。教导模块24还被配置成基于参考图像来确定参考零件7的至少一个识别特征，并且存储识别特征。

图3示出了视觉算法的教导部分的示例的流程图。在教导可以开始之前，必须校准视觉***以在图像参考系与机器人参考系之间建立关系，即确定图像的坐标***和机器人3的坐标***之间的关系。校准可以以很多不同的方式进行。它可以例如基于识别在机器人参考系中位置已知的抓取工具5中的已知对象，或者基于识别在拾取表面2上的已知位置上的由机器人3留下的参考零件7。

在教导期间，使用参考零件7。参考零件7与待拾取零件120、122相同，并且其以某个姿势被放置在拾取表面2上，零件120、122在该姿势下是可拾取的。如果存在若干这样的姿势，则可以利用参考零件7的若干姿势来实施教导。从下方的处于每个姿势的参考零件7的外观由此与从下方的(处于相同姿势的)待拾取零件120、122的外观相对应。教导方法包括将参考零件7和抓取工具5放置处于抓握配置。例如，该步骤可以通过首先将参考零件7放置在拾取表面2上并且然后将抓取工具5移动成抓握配置而被完成。备选地，这可以通过首先将抓取工具5放置处于抓握位置、在拾取表面2上或上方并且然后将参考零件7放置在拾取表面2上以使抓取工具5相对于参考零件7处于抓握配置而被完成。

参照图3和图4，框32，首先将参考零件7放置在拾取表面2上。框34，将抓取工具5放置处于抓握配置。例如，如果抓取工具5包括两个抓取指状件5a、5b，则抓取指状件5a、5b在抓握配置中被分离，以允许参考零件7位于抓取指状件5a、5b之间。抓取工具5不一定位于拾取表面2上，而是也可以位于拾取表面2上方。当操作员将抓取工具5移动成抓握配置时，他可以使用导入功能、轻推机器人3或其他办法。在抓握配置中，抓取工具5准备好抓握参考零件7。以这种方式，操作员可以选择机器人3拾取零件120、122的方式。

在下一步骤中，框36，基于位置传感器输出来确定和存储抓取工具5的抓握位置。TCP在机器人参考系中被确定。计算出的TCP例如被传送到数据处理单元20并且由其存储。框38，从拾取表面2下方获取参考图像。参考图像必须包括参考零件7。参考图像还可以包括抓取工具5。然而，参考图像并非一定包括抓取工具5。框40，基于参考图像来确定参考零件7的位置。这可以使用通用图像处理算法来完成。框42，基于所确定的抓取工具5的位置和所确定的参考零件7的位置来计算抓握配置。抓握配置被存储并且可以在零件拾取***的操作期间被使用，以用于使用所确定的待拾取零件120、122的位置和所存储的抓握配置来计算相应的抓取工具5的抓握位置。

参照图3和5，在下一步骤中，视觉***被教导以基于参考图像来识别待拾取零件120、122。框44，基于参考图像来确定参考零件7的至少一个识别特征。识别特征例如是参考零件7的轮廓81或参考零件7的轮廓81的一部分。存储针对参考零件7所确定的(一个或多个)识别特征。

在下一步骤中，方法包括：基于组合图像82(即，参考零件7和抓取工具5的2D图像)，框72，来确定针对参考零件7的拾取区90。拾取区90是相对于零件120、122定义的区域，不允许其他零件120、122或其他障碍物定位到该区域中以便抓取工具5能够拾取零件120、122。拾取区域的尺寸和形状取决于待拾取零件120、122的尺寸和形状以及抓取工具5的尺寸和形状。通过从组合图像82中确定处于抓握配置的参考零件7和抓取工具5的轮廓81，可以确定用于抓取工具5所需要的参考零件7周围的区域，即确定拾取区90。拾取区90被存储，并且在零件拾取***的操作期间，待拾取零件120、122的位置以及相应的拾取区90被确定。

图3的步骤34之后的步骤可以通过执行教导模块24自动进行。

图6示出了第一零件120和第二零件122以及针对第一零件120和第二零件122定义的第一拾取区130和第二拾取区132的示例。由于第二零件122位于第一拾取区130中，第一零件120是不可拾取的。然而，由于在第二拾取区132中不存在其他零件120、122或其他障碍物，第二零件122是可拾取的。

在零件拾取***的操作期间，***可以自动获取表面图像，即简单的2D图像，而没有任何零件120、122在拾取表面2上，以便捕捉光线状况的任何变化。获取的表面图像将在稍后有助于检测与置于拾取表面2上的零件120、122相对应的像素。

本发明不限于所公开的实施例，而是可以在以下权利要求的范围内进行变化和修改。例如，方法中的步骤可以以不同的顺序实施。扫描仪单元可以由一个或多个相机或图像传感器16来代替。抓取器5可以具有任何适当的配置，并且代替指状件，可以包括例如抽吸工具。

Claims (13)

1.一种用于教导工业机器人(3)拾取零件(120，122)的方法，所述方法包括以下步骤：

-将参考零件(7)放置在拾取表面(2)上；

-提供包括与所述参考零件(7)有关的信息的参考图像；

-将所述工业机器人(3)的抓取工具(5)相对于所述参考零件(7)放置，以使所述抓取工具(5)相对于所述参考零件(7)处于抓握配置；以及

-存储所述抓握配置，

其特征在于所述参考图像是来自下方的2D图像。

2.根据权利要求1所述的方法，其中所述参考图像借助于图像扫描仪(12)来获取。

3.根据前述权利要求中任一项所述的方法，其中所述拾取表面(2)是平面的。

4.根据前述权利要求中任一项所述的方法，其中所述参考图像仅包含与所述参考零件(7)的抵靠所述拾取表面(2)的那些部分有关的信息。

5.根据前述权利要求中任一项所述的方法，其中所述方法还包括以下步骤：

-基于所述参考图像来确定所述参考零件(7)的至少一个识别特征；以及

-存储所述至少一个识别特征。

6.根据权利要求5所述的方法，其中所述参考零件(7)的所述至少一个识别特征至少是所述参考零件(7)的轮廓(81)的一部分。

7.根据前述权利要求中任一项所述的方法，其中所述方法还包括以下步骤：

-从下方获取没有任何零件(120，122)的所述拾取表面(2)的表面图像；

-存储所述表面图像；

-通过使用所述表面图像来检测与所述参考图像中的所述识别特征相对应的像素；以及

-基于所检测到的像素来检测所述零件(120，122)。

8.根据权利要求7所述的方法，其中所述表面图像通过与所述参考图像相同的装置来获取。

9.根据前述权利要求中任一项所述的方法，其中所述参考图像还包括与处于所述抓握配置的所述抓取工具(5)有关的信息，并且所述方法还包括基于所述参考图像来确定和存储针对所述参考零件(7)的拾取区(90)的步骤。

10.根据前述权利要求中任一项所述的方法，其中所述方法还包括以下步骤：

-获取包括与位于所述拾取表面(2)上的至少一个零件(120，122)有关的信息的零件图像；

-检测所述零件图像中的所述至少一个零件(120，122)；

-基于所述零件图像来确定所述至少一个零件(120，122)在所述拾取表面(2)上的位置；以及

-基于所确定的位置和所述抓握配置来计算针对所述抓取工具(5)的抓握位置。

11.根据权利要求10所述的方法，其中所述零件图像通过与所述参考图像相同的装置来获取。

12.根据权利要求9和10所述的方法，其中所述方法还包括以下步骤：通过基于所述零件图像验证所述拾取表面(2)上没有其他零件(120，122)或其他障碍物在待拾取的所述零件(120，122)的拾取区(130，132)内来检查所述零件(120，122)是否能够由所述抓取工具(5)获得。

13.一种零件拾取***，包括：

拾取表面(2)，

在所述拾取表面(2)下方的图像设备(12)，用于提供包括与所述拾取表面(2)上的参考零件(7)有关的信息的参考图像，以及

抓取工具(5)，用于抓握所述参考零件(7)，

其特征在于所述零件拾取***还包括被配置成计算所述抓取工具(5)和所述参考零件(7)的相对位置的数据处理单元(20)。