CN109249390B

CN109249390B - 机器人***

Info

Publication number: CN109249390B
Application number: CN201810744084.8A
Authority: CN
Inventors: 大场雅文
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-07-12
Filing date: 2018-07-09
Publication date: 2021-04-23
Anticipated expiration: 2038-07-09
Also published as: DE102018116413A1; US10521871B2; CN109249390A; US20190015973A1

Abstract

本发明提供一种机器人***(1)，其具备：搬运装置(2)，其搬运对象(O)；机器人(3)，其对搬运的对象(O)进行处理；视觉传感器(4)，其获取由搬运装置(2)搬运来的对象(O)的视觉信息；高周期处理部，其以第一周期处理由视觉传感器(4)获取的视觉信息，检测出由搬运装置(2)搬运的对象(O)的搬运速度以及位置中的至少一方；低周期处理部，其以比第一周期长的第二周期处理由视觉传感器(4)获取的视觉信息，检测出对象(O)的位置；以及控制部(6)，其基于由高周期处理部检测出的对象(O)的搬运速度以及位置中的至少一方、以及由低周期处理部检测出的对象(O)的位置，控制机器人。

Description

机器人***

技术领域

本发明涉及机器人***。

背景技术

以往，已知一种机器人***，其对由输送机搬运来的物品、附加于输送机上的标记进行摄影，并根据得到的图像检测出由输送机搬运的物品的移动速度，与物品的移动同步地控制机器人手的位置，从而利用机器人手把持所移动的物品(例如，参照专利文献1。)。

另外，已知另一种机器人***，其利用与来自编码器的信号同步地由视觉传感器获取的图像，识别输送机上的工件，并将机器人的前端的手定位于识别出的工件上进行处理，其中，所述编码器检测出输送机的搬运路径上的移动量(例如，参照专利文献2。)。

现有技术文献

专利文献

专利文献1：日本特开2009-28818号公报

专利文献2：日本特开2012-192466号公报

发明内容

发明要解决的问题

然而，若要以匹敌编码器的分辨率，根据由视觉传感器获取的图像而检测出输送机的移动量，则需要以1ms左右的高周期检测出物品的位置，并且若要高精度地识别由输送机搬运来的物品的形状、姿态，则为了模式匹配等的负荷较大的处理而需要庞大的计算，存在不能以高周期进行处理的不良情况。

本发明是鉴于上述情况而做出的，其目的在于提供一种机器人***，其基于由视觉传感器检测出的视觉信息，进行由搬运装置搬运的对象的搬运速度以及位置中的至少一方的检测、和对象的位置的高精度的检测，并对由搬运装置搬运的对象，能够利用机器人实施适当的作业。

用于解决问题的方案

为了达到上述目的，本发明提供以下方案。

本发明的一个方案提供一种机器人***，其具备：搬运装置，其搬运对象；机器人，其对由所述搬运装置搬运的所述对象进行处理；视觉传感器，其获取由所述搬运装置搬运来的所述对象的视觉信息；高周期处理部，其以第一周期处理由该视觉传感器获取的所述视觉信息，检测出由所述搬运装置搬运的所述对象的搬运速度以及位置中的至少一方；低周期处理部，其以比所述第一周期长的第二周期处理由所述视觉传感器获取的所述视觉信息，检测出所述对象的位置；以及控制部，其基于由所述高周期处理部检测出的所述对象的所述搬运速度以及所述位置中的至少一方、以及由所述低周期处理部检测出的所述对象的位置，控制所述机器人。

根据本方案，若由搬运装置向一个方向搬运来多个对象，则由视觉传感器获取对象的视觉信息，所获取的多个视觉信息发送到高周期处理部以及低周期处理部。在高周期处理部中，通过以第一周期处理由视觉传感器获取的视觉信息，从而以高周期的第一周期检测出能够根据比较小的处理负荷计算出的对象的搬运速度以及位置中的至少一方。由此，能够以与编码器相同的分辨率检测出物品的搬运速度以及位置中的至少一方。

另一方面，在低周期处理部中，由于以比第一周期长的第二周期处理视觉信息，因此能够实施需要庞大的计算的处理，能够高精度地检测出对象的位置。

由此，能够基于由高周期处理部检测出的对象的搬运速度以及位置中的至少一方，使机器人移动，使机器人追随由搬运装置搬运的对象，基于由低周期处理部检测出的对象的位置，利用机器人对由搬运装置搬运的对象高精度地进行处理。

另外，在上述方案中，所述高周期处理部还可以以所述第一周期处理由所述视觉传感器获取的所述视觉信息的一部分。

通过如此，能够减少由高周期处理部处理的视觉信息的信息量，容易以高周期检测出对象的移动速度以及位置中的至少一方。

在上述方案中，所述视觉传感器还可以获取所述搬运装置上的所述对象的图像作为所述视觉信息。

通过如此，能够处理由视觉传感器在不同的时刻获取的对象的图像而以第一周期检测出对象的搬运速度，能够以第二周期对由视觉传感器获取的对象的图像实施模式匹配等需要庞大的计算的处理，从而检测出高精度的对象的位置。

另外，在上述方案中，所述搬运装置还可以具备能够以与所述对象相同的速度移动的标记。

通过如此，即使在搬运装置不搬运对象的状态下，通过获取根据搬运装置移动的标记的视觉信息，从而也能够高精度地检测出对象的搬运速度。

另外，在上述方案中，所述高周期处理部还可以检测出所述对象的所述搬运速度以及粗略的位置及姿态。

通过如此，高周期处理部除了检测出对象的搬运速度之外，还检测出粗略的位置以及姿态。高周期处理部由于以高周期处理视觉信息，因此难以检测出高精度的位置以及姿态，但能够检测出粗略的位置以及姿态，能够作为用于对对象进行处理的机器人的初始动作的信息而使用，并提高动作效率。

另外，在上述方案中，所述机器人还可以在追赶由所述搬运装置搬运的所述对象的同时进行作业。

通过如此，能够利用由高周期处理部检测出的对象的搬运速度，以追随所搬运的对象的方式使机器人移动，利用由低周期处理部高精度地检测出的对象的位置，无误差地从搬运装置取出所搬运的对象。

另外，在上述方案中，所述视觉传感器还可以根据来自外部的触发，输出就在接收该触发之前或之后的所述视觉信息。

通过如此，能够根据来自视觉传感器的外部的高周期处理部、低周期处理部或其他设备的触发，根据需要而输出视觉信息，并用于高精度的位置、姿态的检测、视觉传感器的调整、执行状态的确认等。

发明效果

根据本发明，起到如下效果：能够基于由视觉传感器检测出的视觉信息，进行由搬运装置搬运的对象的搬运速度以及位置中的至少一方的检测、和对象的位置的高精度的检测，利用机器人对由搬运装置搬运的对象实施适当的作业。

附图说明

图1是表示本发明的一个实施方式的机器人***的整体结构图。

图2是表示图1的机器人***的框图。

图3是表示由图1的机器人***的摄像机获取的图像的时间变化和搬运速度的图。

图4是表示在图1的机器人***中在相同视场内摄影多个物品的情况的与图3相同的图。

图5是表示图1的机器人***的第一变形例的整体结构图。

图6是表示图1的机器人***的第二变形例的整体结构图。

图7是表示图1的机器人***的第三变形例的整体结构图。

附图标记说明：

1：机器人***

2：输送机(搬运装置)

3：机器人

4：二维摄像机(视觉传感器)

6：控制部

9：高周期处理部

10：低周期处理部

O、a1、a2、a3：物品

具体实施方式

以下参照附图对本发明的一个实施方式的机器人***1进行说明。

如图1所示，本实施方式的机器人***1具备：输送机(搬运装置)2，其搬运作为对象的物品O；机器人3，其设置于输送机2的附近；二维摄像机(视觉传感器)4，其朝下设置于比机器人3还靠近搬运方向的上游侧的输送机2的上方；图像处理部5，其处理由二维摄像机4获取的图像；以及控制部6，其基于由图像处理部5处理的结果而控制机器人3。

输送机2例如是带式输送机，并具备搭载物品O而向一个方向搬运的带7。带7由马达(省略图示)进行驱动。

机器人3可以是平放型或吊挂型等任意的形式，例如在手腕前端具备能够把持物品O的机器人手8。

二维摄像机4具有固定于输送机2上的搬运方向的一部分的区域上的视场，并获取在输送机2上搬运来的物品O的二维图像。二维摄像机4例如以1ms的高周期(第一周期)获取二维图像(视觉信息)并输出到图像处理部5，并且根据从外部输入的触发而输出二维图像。

如图2所示，图像处理部5具备：高周期处理部9，其对以第一周期获取的二维图像的一部分进行图像处理；以及低周期处理部10，其对以比第一周期长的第二周期获取的二维图像进行图像处理。

高周期处理部9计算出以第一周期发送来的各二维图像内所包含的物品O的重心位置，基于在不同的时刻获取的二维图像内的物品O的重心位置的位移，计算出由输送机2搬运的物品O的搬运速度。

低周期处理部10对从二维摄像机4输出的二维图像实施模式匹配等的图像处理，并检测出包含于二维图像内的物品O的位置以及姿态。

控制部6基于由输送机2搬运的物品O的搬运速度、以及在低周期处理部10中检测出的物品O的位置及姿态，生成控制机器人3的驱动信号(驱动指令)，其中，由输送机2搬运的物品O的搬运速度是，基于在不同的时刻获取的图像，并根据在高周期处理部9中识别出的相同物品O的位置而计算。

例如，控制部6，从由低周期处理部10检测出物品O的位置以及姿态的时刻开始，利用由高周期处理部9计算出的由输送机2搬运的物品O的搬运速度，每1ms依次累计输送机2的移动量而求出物品O的当前位置，将与物品O的当前位置相应的驱动信号输出到机器人3。

若暂时未识别出物品O的情况下，则利用前一个由输送机2搬运的物品O的搬运速度，计算出输送机2的移动量。

控制部6按照预先示教的动作程序使机器人3进行动作，并且基于在高周期处理部9中计算出的搬运速度，实施追随输送机2上的物品O的跟踪，根据在低周期处理部10中检测出的物品O的位置以及姿态而变更机器人手8的姿态，使机器人手8把持利用输送机2移动的物品O，使其进行从输送机2拿起的处理。

更具体而言，如图3所示，高周期处理部9例如在隔开第一周期的时间间隔Δt而在不同的时刻t1、t2、t3在相同视场中获取了三张图像时，进行处理负荷较小的简单的图像处理(例如，重心位置检测处理、斑点检测处理)而检测出物品O的位置，并且计算被检测出的物品O的重心的坐标位置d1、d2、d3。图中，速度V是物品O的搬运速度。

而且，高周期处理部9，将在时间轴方向上邻接而获取的图像内的具有配置于与搬运方向正交的方向的相同坐标上的重心的物品，识别为相同物品O，通过将各物品O的重心的搬运方向的坐标值的差分除以摄影的时间间隔Δt，从而计算出搬运速度。在对相同物品O多次计算出搬运速度时，将其平均值或根据最小二乘法等拟合的值作为搬运速度而输出。

在该情况下，高周期处理部9在以第一周期反复进行的物品O的重心位置检测处理中，划分包含任一个物品O的部分区域，不是对从二维摄像机4发送来的图像整体，而是只对由部分区域限制的图像的一部分进行图像处理，依次检测出重心位置。当然也能够使用图像整体。在该情况下，处理的负荷大于使用图像的一部分时的负荷。

另一方面，低周期处理部10对从二维摄像机4发送来的图像，进行负荷处理较大的图像处理(例如，根据物品O的轮廓通过模式匹配而检测出物品O的位置以及姿态的处理)，并将检测出的物品O的位置以及姿态输出到控制部6。

以下对如此构成的本实施方式的机器人***1的作用进行说明。

根据本实施方式的机器人***1，若由输送机2搬运来物品O，则由二维摄像机4以第一周期对物品O进行摄影。通过摄影而获取的图像，依次发送到图像处理部5的高周期处理部9，并且根据从低周期处理部10以第二周期输出的触发，就在接收触发之前(或之后)的图像还发送到低周期处理部10。

在高周期处理部9中，通过对从二维摄像机4发送来的各图像，实施处理负荷比较小的图像处理，从而识别物品O，根据物品O的周围的部分图像，检测出物品O的重心的坐标位置d1、d2、d3。然后，如图3所示，基于根据隔开预定时间间隔Δt而在不同的时刻t1、t2、t3获取的图像检测出的相同物品O的重心的坐标位置d1、d2、d3，以第一周期计算出由输送机2搬运的物品O的搬运速度，并输入到控制部6。由于二维摄像机4与机器人3分离预定的距离而配置，因此在将该距离除以搬运速度的时间之后，物品O移动到机器人3的动作范围内。

另外，在低周期处理部10中，通过对根据触发而从二维摄像机4发送来的各图像，以比第一周期长的第二周期，实施模式匹配等负荷处理较大的图像处理，从而根据整体图像高精度地检测出物品O的位置以及姿态，并输入到控制部6。

控制部6，通过在物品O存在于图像内的任一时刻识别物品O的位置以及姿态，从而设定跟踪坐标系TF，通过以第一周期(例如，1ms)的单位根据由输送机2搬运的物品O的搬运速度求出输送机2的移动量并将此进行累计，从而计算出从识别出物品O的时刻至当前时刻的物品O的重心位置的移动量。然后，通过将以该移动量作为成分的坐标转换矩阵乘以跟踪坐标系TF，从而计算出当前的跟踪坐标系TF'。

TF'＝T×TF

然后，控制部6以计算出的跟踪控制系TF'作为基准，使机器人手8追随由输送机2搬运的物品O而移动，并且根据识别出的物品O的位置以及姿态而设定机器人手8的位置以及姿态，能够把持物品O并从输送机2拿起。

在该情况下，由于在以使机器人手8追随输送机2上的物品O的方式驱动机器人3时，由二维摄像机4对后续的物品O进行摄影，由高周期处理部9计算出新的搬运速度，因此控制部6利用新计算出的搬运速度控制机器人3。由此，即使由输送机2搬运的搬运速度发生变动，也能够准确地拿起物品O。

如此，根据本实施方式的机器人***1，对能够通过处理负荷比较小的处理来检测的物品O的移动速度，能够以与编码器相等的分辨率且利用高周期的第一周期进行检测，能够使其高精度地进行针对搬运的物品O的机器人3的跟踪动作。另外，对需要处理负荷比较大的处理的物品O的位置以及姿态的检测，通过利用比第一周期长的第二周期来实施，从而能够高精度检测，具有如下优点：能够将机器人手8的姿态调整为与物品O的姿态高精度一致，使其更切实地进行把持。

而且，通过如此，利用单一的二维摄像机4检测出物品O的移动速度、位置、以及姿态，因此具有能够降低成本的优点。

另外，在高周期处理部9中为了检测物品O的移动速度而使用从二维摄像机4发送来的图像的一部分，从而能够进一步减轻处理负荷，还能够容易进行高周期的处理。

其结果，如图2中用括号所示，在高周期处理部9中还能够检测出物品O的粗略的位置以及姿态。例如是物品O的长轴方向、斑点的粗略的形状等。而且，即使对如此检测出的物品O的粗略的位置以及姿态，也输入到控制部6中，从而控制部6无需等待从低周期处理部10以第二周期发送来的物品O的高精度的位置以及姿态的信息，而是基于从高周期处理部9以第一周期发送来的物品O的粗略的位置以及姿态的信息，能够使机器人3开始进行动作，具有能够更容易进行跟踪的优点。

作为从二维摄像机4发送来的图像的一部分，利用了包含物品O的部分区域，但取而代之，还可以从由二维摄像机4发送来的图像中间隔剔除像素，从而减少信息量。

另外，在本实施方式中，作为获取视觉信息的视觉传感器而举例说明了二维摄像机4，但不限于此，还可以利用三维摄像机、以及其他视觉传感器。

另外，在本实施方式中，根据由输送机2搬运来的物品O的位置的变化，计算出输送机2的搬运速度，但取而代之，也可以在输送机2的表面以适当的间隔设置标记，识别由二维摄像机4获取的图像内所包含的标记，从而根据标记的位置的变化而计算出搬运速度。

在该情况下，由于标记与物品O相比更切实地不断地供给到二维摄像机4的视场内，因此有助于计算移动速度。

另外，在本实施方式中，对在图像内检测出单一的物品O的情况进行了说明，但取而代之，如图4所示，还能够适用于在二维摄像机4的视场内同时配置多个物品a1、a2、a3的情况。

即，在图像内识别出多个物品a1、a2、a3的情况下，也可以对各物品a1、a2、a3，识别与在不同的时刻获取的图像内的物品a1、a2、a3的相同性，对基于识别出的相同物品a1、a2、a3之间的移动距离而分别计算出的速度V1、V2、V3进行平均，从而计算出搬运速度。

在该情况下，相同物品a1、a2、a3之间的移动距离，利用根据隔开预定时间间隔Δt在不同的时刻t1、t2、t3获取的图像而计算出的相同物品a1、a2、a3的重心的坐标位置d11、d12、d13、d22、d23、d24、d33、d34的差分而求出。

另外，在本实施方式中，举例说明了将处理从二维摄像机4输出的图像的图像处理部5分体设置的情况，但取而代之，如图5所示，也可以关于高周期处理部9配置于二维摄像机4内，关于低周期处理部10配置于控制部6内。

通过将高周期处理部9装入到二维摄像机4内，从而防止通信延迟的发生，能够更切实地以高周期检测出由输送机2搬运的物品O的搬运速度。由于低周期处理部10不需要高速的处理，因此优选装入到控制部6。在控制部6的控制周期比高周期处理部9的第一周期长的情况下，优选以用控制部6的控制周期汇总的单位从高周期处理部9发送物品O的重心位置信息。例如，在第一周期为1ms、控制部6的控制周期为8ms的情况下，以8ms的周期将高周期处理部9的8ms量的八个重心位置信息一次性发送到控制部6即可。

另外，在本实施方式中，举例说明了控制单一的机器人3的情况。但取而代之，如图6所示，也可以沿着输送机2的搬运方向配置多台机器人3，它们的控制部6与上一级的单元控制装置11连接。

在用多台机器人3对由相同的输送机2搬运来的物品O进行作业的情况下，能够对基于用一个二维摄像机4摄影的图像而计算出的输送机2的搬运速度，在一处进行管理。

在由各机器人3的控制部6管理输送机2的搬运速度的情况下，需要使控制部6之间进行同步，存在由于通信延迟等的影响而产生误差的可能性，但通过由单元控制装置11进行管理，从而能够防止这种不良情况的发生。

另外，举例说明了如下例子，即为了进一步抑制通信延迟的影响，关于高周期处理部9配置于二维摄像机4内，关于低周期处理部10配置于单元控制装置11，但不限于此。例如，即使关于高周期处理部9，也可以配置于单元控制装置11内。

另外，在本实施方式中，举例说明了把持由输送机2搬运的物品O并拿起的情况，但取而代之，还可以适用于对搬运的物品O实施其他任意的处理的情况。

另外，如图7所示，也可以根据需要而从控制部6向二维摄像机4输出触发，二维摄像机4根据触发而将图像输出到控制部6，在控制部6中，通过显示在显示部12，从而能够确认图像。

此外，也可以基于如上所述由高周期处理部9以高周期检测出的物品O的位置，由控制部6依次计算出输送机2上的物品O的位置，将与通过计算而得到的物品O的位置相应的驱动信号输出到机器人3中。另外，也可以基于如此通过计算而得到的物品O的位置，进行追随输送机2上的物品O的所述跟踪。即使在该情况下，也能达到与所述相同的效果。

另外，二维摄像机4还可以安装于机器人3的前端部。在该情况下，在控制部6中，作为用于控制机器人3的坐标系的基准坐标系与二维摄像机4的位置以及姿态(传感器坐标系)相对应。由此，即使机器人3的前端部的位置发生变化，控制部6也能够知道二维摄像机4的位置以及姿态，由此能够将基于用二维摄像机4得到的图像的物品O的位置以及姿态的检测结果，高精度地转换为从基准坐标系观察的物体O的位置以及姿态。

在二维摄像机4如此安装于机器人3的前端部的情况下，在二维摄像机4的视场内存在由机器人3追随的物品O、以及该物品O的附近的物品O等。即使在该情况下，也能够由高周期处理部9以高周期检测出物品O的位置，因此能够达到与所述相同的效果。

另外，二维摄像机4也可以利用框架、支架等固定于机器人3的附近，在二维摄像机4的视场内存在由机器人3追随的物品O、以及该物品O的附近的物品O等。在该情况下，在控制部6中，机器人3的基准坐标系与二维摄像机4的位置以及姿态(传感器坐标系)相对应，控制部6能够将基于用二维摄像机4得到的图像的物品O的位置以及姿态的检测结果，高精度地转换为从基准坐标系观察的物体O的位置以及姿态。即使在该情况下，也能够由高周期处理部9以高周期检测出物品O的位置，因此能够达到与所述相同的效果。

此外，所述实施方式具有用于检测物品O的单一的二维摄像机4，但还可以设置用于进行物品O的检查、到达检测等的其他二维摄像机，即使存在多个用于检测物品O的二维摄像机4，也能够进行所述高周期处理以及所述低周期处理。

另外，代替输送机2，还能够由使物品O不仅沿X轴方向移动而且还沿Y轴方向移动的搬运装置来搬运物品O。此外，X轴以及Y轴沿水平方向延伸，X轴与Y轴正交。即使在该情况下，高周期处理部9也能够以高周期检测出物品O的位置，另外，高周期处理部9能够以高周期计算出物品O的X轴方向的搬运速度以及Y轴方向的搬运速度，因此能够达到与所述相同的作用效果。此外，搬运装置使物品O沿Z轴方向移动的情况也相同。

另外，还可以代替输送机2而利用其他机器人来搬运物品O。并且，在搬运的物品O是汽车的车身等的情况下，物品O还可以由发动机、车轮等搬运。另外，还可以利用物品O由于重力而滑落、滚落、或落下的滑槽而搬运物品O。在这些情况下，其他机器人、发动机、车轮、以及滑槽等作为搬运装置而发挥功能。

Claims

1.一种机器人***，其特征在于，具备：

搬运装置，其搬运对象；

机器人，其对由所述搬运装置搬运的所述对象进行处理；

视觉传感器，其获取由所述搬运装置搬运来的所述对象的视觉信息；

短周期处理部，其以第一周期处理由该视觉传感器获取的所述视觉信息，检测出由所述搬运装置搬运的所述对象的搬运速度以及位置中的至少一方；

长周期处理部，其以比所述第一周期长的第二周期处理由所述视觉传感器获取的所述视觉信息，检测出所述对象的位置及姿态；以及

控制部，其控制所述机器人，

在所述长周期处理部检测出所述对象的所述位置及所述姿态之前，所述短周期处理部以所述第一周期处理所述视觉信息，检测出比由所述长周期处理部检测出的所述对象的所述位置更粗略的所述对象的位置、和比由所述长周期处理部检测出的所述对象的所述姿态更粗略的所述对象的姿态，

所述控制部基于由所述短周期处理部检测出的所述对象的所述粗略的位置以及所述粗略的姿态开始所述机器人的动作，

所述机器人的所述动作开始后，基于由所述短周期处理部检测出的所述对象的所述搬运速度以及所述位置中的至少一方、以及由所述长周期处理部检测出的所述对象的所述位置及所述姿态控制所述机器人。

2.根据权利要求1所述的机器人***，其特征在于，

所述短周期处理部以所述第一周期处理由所述视觉传感器获取的所述视觉信息的一部分。

3.根据权利要求1或2所述的机器人***，其特征在于，

所述视觉传感器获取所述搬运装置上的所述对象的图像作为所述视觉信息。

4.根据权利要求1或2所述的机器人***，其特征在于，

所述搬运装置具备以与所述对象相同的速度移动的标记。

5.根据权利要求1或2所述的机器人***，其特征在于，

所述机器人在追赶由所述搬运装置搬运的所述对象的同时进行作业。

6.根据权利要求1或2所述的机器人***，其特征在于，

所述视觉传感器根据来自外部的触发，输出就在接收该触发之前或之后的所述视觉信息。