CN102189548B

CN102189548B - 具有视觉传感器的机器人***

Info

Publication number: CN102189548B
Application number: CN201110035381.3A
Authority: CN
Inventors: 伴一训; 藁科文和; 山田慎; 并木勇太
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2010-03-05
Filing date: 2011-01-31
Publication date: 2014-06-18
Anticipated expiration: 2031-01-31
Also published as: JP4837116B2; JP2011201007A; US8326460B2; DE102011009814A1; US20110218675A1; CN102189548A; DE102011009814B4

Abstract

本发明提供一种具有视觉传感器的机器人***，其包括：计算工件相对于视觉传感器的位置信息的处理部；用于机器人控制部以及处理部参照当前时刻的时钟；把规定周期的第一时刻和在第一时刻的机械臂前端部的位置信息作为组按顺序进行存储的第一存储部；存储视觉传感器测量工件的第二时刻的第二存储部；根据第一时刻中的、在第二时刻之前和之后的至少两个第一时刻、以及与该各个第一时刻对应的机械臂前端部的位置信息，计算视觉传感器测量工件时的机械臂前端部的位置信息的机械臂前端部位置计算部；根据机械臂前端部以及工件的位置信息计算被抓持的工件相对于机械臂前端部的位置信息的工件位置计算部。

Description

具有视觉传感器的机器人***

技术领域

本发明涉及使用视觉传感器检测的工件的位置信息使机器人进行作业的机器人***。

背景技术

为了使用机器人正确地执行工件的处理或者加工等作业，需要正确地认识放置工件的位置以及机器人抓持的工件的抓持偏差。因此，近年来使用视觉传感器来进行工件的位置以及工件的抓持偏差的视觉识别。

在把照相机安装在机器人机械臂前端部，测量在工作台等上配置的工件的位置时，实施工件的位置识别。另外，在用固定照相机测量机器人抓持的工件的位置时，执行工件的抓持偏差的识别。

这样在照相机或者工件中的一方通过机器人的动作而在可移动的状态下计算工件的位置时，需要拍摄图像的瞬间的机器人的位置信息。其理由是，即使在拍摄位于相同位置的工件的情况下，当安装有照相机的机器人或者抓持工件的机器人的位置变化时，图像内的工件的位置也变化。

在日本专利第2889011号中，公开了使用拍摄时的机器人的位置信息来计算图像内的工件的位置的方法。但是，在实际应用在日本专利第2889011号中公开的技术时，为了得到拍摄瞬间的正确的机器人位置信息，在拍摄工件时需要使机器人暂时静止。

在拍摄工件时使机器人暂时静止的情况下，需要机器人的减速时间、用于拍摄和取得机器人位置的静止时间、再加速时间等，存在生产节拍时间增加的问题。为了解决这样的问题，希望不使机器人静止地拍摄工件的图像，取得拍摄工件的瞬间的机器人位置。

这里，进行拍摄的时刻和取得机器人位置的时刻之间的偏差可能成为问题。例如，在机器人以2000mm/sec进行移动，拍摄的时刻和取得机器人位置的时刻偏差1msec时，机器人在这些时刻之间移动2mm。因此，工件的图像中包含的工件的位置信息产生机器人如上述那样移动的误差。

另外，当设照相机和工件间的距离为1m时，在拍摄的时刻和取得机器人位置的时刻之间的1msec中机器人的姿势变化0.1度的情况下，还发生1000mm×tan(0.1)＝1.75mm的测量误差。于是，该测量误差也包含在工件的位置信息中。

一般机器人控制装置以一定周期例如伺服电动机的控制周期读取该伺服电动机的编码器的角度信息等，来识别机器人的位置信息。因此，通过视觉传感器测量的工件的位置信息的精度依赖于该更新周期。

在WO 2009/077118A1中，公开了通过安装在机器人上的照相机在机器人移动过程中拍摄工件来修正工件的位置的***。但是，在WO 2009/077118A1中，没有公开取得拍摄瞬间的正确的机器人位置的具体方法。

并且，在日本专利第4174342号中，公开了在机器人搬运工件时拍摄工件来修正抓持误差的方法。但是，没有考虑由于机器人位置的更新周期引起的机器人位置的误差。

在日本特开2008-183690号公报中，公开了对于以较短的周期更新机器人的位置信息的伺服电动机的控制***，在拍摄瞬间发送触发信号，取得该控制***保持的机器人位置信息的方法。即使在这样的情况下，机器人位置信息的精度也依赖于伺服电动机的控制***的控制周期。另外，在日本特开2008-183690号公报中公开的方法也包含需要专用的触发信号线和触发输入输出部的问题。

发明内容

本发明是鉴于这样的事情而提出的，其目的在于提供一种机器人***，其不用暂时停止机器人以及不使用专用的硬件，能够取得拍摄瞬间的正确的机器人位置。

为实现上述目的，根据第一方式，提供一种机器人***，其具有机器人、控制该机器人的机器人控制部、和以视觉方式测量工件的视觉传感器，所述工件或者所述视觉传感器中的一方在由所述机器人的机械臂前端部抓持或固定的同时，能够通过所述机器人的机械臂的动作而移动，并且所述工件或者所述视觉传感器中的另一方被放置在离开所述机器人的位置，在该机器人***中具备：视觉传感器信息处理部，控制所述视觉传感器，并且根据通过该视觉传感器测量到的所述工件的信息，计算所述工件相对于所述视觉传感器的位置信息；时钟，用于所述机器人控制部以及所述视觉传感器信息处理部参照当前时刻；机器人位置时刻用存储部，把一定周期或者不定周期的第一时刻和在该第一时刻的所述机械臂前端部的位置信息作为组按顺序进行存储；图像拍摄时刻用存储部，存储所述视觉传感器测量所述工件的第二时刻；机械臂前端部位置计算部，根据在所述机器人位置时刻用存储部中存储的第一时刻中的、在所述图像拍摄时刻用存储部中存储的所述第二时刻之前和之后的至少两个第一时刻、以及与这些第一时刻中的各个第一时刻对应的所述机械臂前端部的位置信息，计算所述视觉传感器测量所述工件时的所述机械臂前端部的位置信息；以及工件位置计算部，根据通过该机械臂前端部位置计算部计算出的所述机械臂前端部的位置信息和通过所述视觉传感器信息处理部计算出的所述工件的位置信息，计算所述被抓持的工件相对于所述机械臂前端部的位置信息、或者被放置在离开所述机器人的位置的工件相对于所述机器人的位置信息。

根据第二方式，在第一方式中，所述视觉传感器在所述机器人的所述机械臂前端部正在移动时测量所述工件。

根据第三方式，在第一或者第二方式中，还具有修正部，根据通过所述工件位置计算部计算出的、所述被抓持的工件相对于所述机器人的所述机械臂前端部的位置信息、或者被放置在离开所述机器人的位置的工件相对于所述机器人的位置信息，修正所述机器人的动作。

根据第四方式，在第一方式中，所述工件或所述视觉传感器中的一方在由所述机器人的机械臂前端部抓持或者固定的同时，能够通过所述机器人的机械臂的动作而移动，所述视觉传感器在所述机器人的所述机械臂前端部正在移动时，在该机械臂前端部位于互相不同的位置的时刻，多次拍摄所述工件来进行立体测量，所述工件位置计算部根据所述视觉传感器的所述立体测量的结果，计算所述被抓持的工件相对于所述机械臂前端部的三维位置或者被放置在离开所述机器人的位置的工件相对于所述机器人的三维位置。

根据第五方式，在第一方式中，还具有安装在所述视觉传感器上的激光缝隙投光器，所述视觉传感器在所述机器人的所述机械臂前端部正在移动时通过在不同的位置多次拍摄被投射了激光的所述工件的一部分的三维位置来取得距离图像，所述工件位置计算部根据所述距离图像计算工件的三维形状或/和三维位置。

即在第一方式中，利用在拍摄时刻前后的各个时刻的机械臂前端部的位置计算工件的位置。因此，能够通过比对于每个一定周期或者不定周期识别的机械臂前端部的位置信息高的精度，取得视觉传感器拍摄图像的瞬间的机器人的位置信息。结果，能够通过比现有技术高的精度计算工件的位置。这点如第二发明那样，在机器人正在动作的情况下特别有利。

另外，因为即使在机器人静止时机器人控制装置也进行伺服电动机的控制，所以机器人的机械臂前端部的位置姿势仅稍微变化。因此，即使在机器人静止的状态下视觉传感器拍摄工件时，也能够比现有方法更加正确地取得机器人的位置信息，提高通过视觉传感器得到的工件的位置测量精度。

并且，在第一方式中，能够不使用专用的触发信号线和触发输入输出部地取得拍摄瞬间的机器人位置信息。即，能够免除用于追加专用的触发信号线和触发输入输出部等的费用，并且能够减低它们的故障风险。另外，这提供对于使用者来说使用简便的***。

即在第三方式中，能够根据由视觉传感器识别的工件的位置使机器人移动到更恰当的目的位置。

即在第四方式中，通过立体测量，能够更加正确地求出机器人抓持的工件对于该机器人的机械臂前端部的三维位置或者被放置在离开机器人的位置上的工件对于该机器人的三维位置。

在第五方式中，能够使用距离图像更加正确地求出工件的三维形状或/和三维位置。

通过参照附图详细说明本发明的优选方式，本发明的这些以及其他的目的、特征以及优点将更加明确。

附图说明

图1是表示本发明的第一实施方式的机器人***的整体结构的图。

图2是表示本发明的第二实施方式的机器人***的整体结构的图。

图3是第一实施方式的机器人***的功能框图。

图4是表示在本发明的机器人***中包含的机器人控制部以及图像处理部的动作的流程图。

图5是表示实施立体测量的实施方式的机器人***的整体结构的图。

图6是表示具有激光缝隙投光器的实施方式的机器人***的整体结构的图。

图7是另外的实施方式的机器人***的功能框图。

图8是另外的实施方式的机器人***的功能框图。

具体实施方式

以下参照附图说明本发明的实施方式。在以下的附图中，对同样的部件附以相同的参照符号。为容易理解，适当变更了这些附图的比例尺。

图1是表示本发明的第一实施方式的机器人***的整体结构的图。图1表示的机器人***10主要包括机器人11、和控制该机器人11的机器人控制装置12。在机器人11的机械臂前端部安装了机械手14。该机械手14抓持工作台16上的工件15。放置在工作台16上的工件15没有定位，工件15的位置不定。

如图1所示，在机器人11的机械臂前端部上，经由托架18装配了照相机13。使用作为视觉传感器的照相机13测量放置在工作台16上的工件15的位置W1。根据测量的工件15的位置信息，机器人11移动到应该抓持工件15的位置。

机器人11是公知的典型的机器人操纵装置(以下称为机器人)，只要能够到达进行作业的位置姿势，对其结构没有限制。根据工件15的形状、材质、重量等选择在机器人11的机械臂的机械臂前端部上安装的机械手14。因此，机械手14可以有吸引式以及夹盘式。在图1中作为例子表示了夹盘方式的机械手14。

在图1中如箭头X1所示，对机器人11进行编程，使其从动作开始位置P1经过拍摄位置Q1移动到工件抓持位置P2，然后在工件抓持位置P2抓持工件15。因为如上所述工件15的位置W1不定，所以机器人11根据使用照相机13求得的工件15的位置W1’，移动到与位置W1’对应的工件抓持位置P2’，在工件抓持位置P2’抓持工件15。

这里，在工件15的位置W1、W1’和机器人11的工件抓持位置P2、P2’之间存在用下式(1)表示的关系。位置W1、P2等在本申请说明书中使用的表示位置的记号是4×4的同次变换矩阵。

公式1：

W1’·W1^-1＝P2’·P2^-1 …(1)

机器人11也可以在箭头X1中的拍摄位置Q1暂时停止，但是在第一实施方式中说明机器人11不在箭头X1表示的轨道上停止地进行移动的情况。

设机器人11被示教的程序在拍摄位置Q1进行拍摄，但是在具有软件的处理延迟等的情况下，在从拍摄位置Q1少许偏移的拍摄位置Q1’进行拍摄。不需要拍摄位置Q1’与原来的拍摄位置Q1完全一致。但是在拍摄位置Q1、Q1’的双方中，需要工件15进入照相机13的视野内。其理由是，即使在拍摄位置Q1偏移到拍摄位置Q1’的情况下，通过后述的方法求出拍摄瞬间的机器人11的位置信息Q1’，能够根据该位置信息Q1’正确地求出工件15的位置W1’。

设为通过在拍摄位置Q1的校准，预先求出用于把进行图像处理而求得的检测数据变换为机器人的坐标系的校准数据，将其存储在机器人控制装置12中。因此，后述的工件位置计算部42能够根据在拍摄位置Q1’拍摄到的图像和拍摄位置Q1’的位置信息计算在机器人坐标系中的工件的位置W1’。

该计算方法在日本专利第2889011号中公开而公知。因此，省略计算方法的详细的说明，以下简洁地记述。首先，对于在拍摄位置Q1’拍摄到的图像进行预定的图像处理，检测图像内的工件15，求出该检测数据。然后，根据求得的检测数据和预先求得的校准数据，求出虚拟的工件位置。其后，根据虚拟的工件的位置和视觉传感器13的移动量即从进行了校准的位置Q1向进行了拍摄的位置Q1’的移动量，求出工件15的正确的位置W1’。

然后，根据下式(2)求出机器人11应该进行抓持的工件抓持位置P2’。

公式2：

P2’＝W1’·W1^-1·P2 …(2)

在此，图3是第一实施方式的机器人***的功能框图。机器人控制装置12是数字计算机，包括机器人控制部31、图像处理部32、机器人位置及时刻用存储部33、图像拍摄时刻用存储部34、和时钟35，它们通过总线互相连接。如图3所示，机器人控制部31与机器人11连接，图像处理部32与照相机13连接。

机器人控制部31以及图像处理部32两者都能够访问时钟35，取得时刻。机器人位置及时刻用存储部33把机器人11的位置和取得该位置时从时钟35得到的时刻作为组，按照机器人位置更新周期按顺序进行存储。并且，图像拍摄时刻用存储部34把照相机13拍摄瞬间的时刻和此时的图像作为组来存储。可以设定机器人位置及时刻用存储部33以及图像拍摄时刻用存储部34，仅存储最新的多组信息，还可以存储机器人动作时的全部组的信息。

并且，如图3所示，机器人控制部31包含机械臂前端部位置计算部41，其根据在机器人位置及时刻用存储部33中存储的时刻中的、在图像拍摄时刻用存储部34中存储的时刻之前和之后的至少一个时刻、以及与这些时刻中的各个时刻对应的机器人11的机械臂前端部的位置，计算照相机13测量工件15时的机械臂前端部的位置信息。

并且，机器人控制部31包含工件位置计算部42，其根据机械臂前端部位置计算部41计算出的机械臂前端部的位置信息和图像处理部32计算出的工件15的位置信息，计算被抓持的工件15相对于机械臂前端部的位置信息、或者被放置在离开机器人11的位置上的工件15相对于机器人11的位置信息。

并且，在机器人控制部31中包含的修正部43根据工件位置计算部42计算出的、被抓持的工件15相对于机器人11的机械臂前端部的位置信息、或者被放置在离开机器人11的位置上的工件15相对于机器人11的位置信息，修正机器人11的动作。为了此目的，修正部43能够根据上述的位置信息修正机器人11的程序。

图4是表示在本发明的机器人***中包含的机器人控制部31以及图像处理部32的动作的流程图。以下根据图3以及图4说明求出拍摄瞬间的机器人的位置Q1’的方法。

首先，在步骤S1，机器人控制部31把从时钟35取得的时刻和与该时刻对应的机器人11的机械臂前端部的位置作为组，按照机器人位置更新周期按顺序存储在机器人位置及时刻用存储部33中。有时把机器人11的机械臂前端部的位置简单称为“机器人位置”。

例如，在机器人11是垂直六轴多关节机器人的情况下，作为机器人位置信息可以存储机器人的各轴的角度(J1～J6)。下面，为了容易说明的目的，把进行存储的时刻和机器人位置分别设为Tx、Px＝(Jx1～Jx6)。机器人位置更新周期可以是恒定周期，也可以是不定周期。

接着，在步骤S2，机器人控制部31确认机器人11是否到达在其动作程序中预先记载的拍摄位置Q1。在机器人11到达的情况下前进到步骤S3。在未到达的情况下，在待机一定时间后返回步骤S1，在机器人11到达拍摄位置Q1前重复处理。

在图4表示的实施例中，机器人11是否到达拍摄位置Q1的确认通过机器人控制部31监视机器人11的位置来进行。但是，还可以预先测量从机器人开始动作后到到达拍摄位置Q1需要的所需时间，把机器人11开始动作后的时刻(可从时钟35取得)与所需时间进行比较，来判断机器人11是否到达了拍摄位置Q1。或者也可以在机器人开始动作后经过了上述所需时间时，自动前进到步骤S3。

接着，在步骤S3，机器人控制部31对图像处理部32输出图像处理开始命令。当输出了图像处理开始命令时，图像处理部32的处理开始。

在步骤S4，图像处理部32向照相机13发送拍摄指令，并且把从时钟35取得的时刻作为拍摄时刻Ts存储在图像拍摄时刻用存储部34中。接着，在步骤S5中，在等待照相机13对于工件15的拍摄结束后，使拍摄到的图像与在步骤S4中已存储的拍摄时刻Ts成为组，存储在图像拍摄时刻用存储部34中。

接着在步骤S6，图像处理部32对在步骤S5中拍摄到的图像进行预定的图像处理，检测在图像中映出的工件15，求出其检测数据，并且根据求出的检测数据和预先求出的校准数据，求出虚拟的工件的位置信息。

机器人控制部31在步骤S3结束后前进到步骤S7。在步骤S7，机器人控制部31在下一机器人位置更新周期中，把新的时刻和机器人位置作为组，同样地存储在机器人位置及时刻用存储部33中。为了容易说明的目的，把在步骤S7中存储的时刻和机器人位置分别设为Ty、Py＝(Jy1～Jy6)。

接着在步骤S8，机器人控制部31确认拍摄时刻是否存储在图像拍摄时刻用存储部34中。在存储有拍摄时刻的情况下前进到步骤S9。在未存储的情况下，在待机一定时间后返回步骤S7，在存储拍摄时刻之前重复该确认处理。

接着在步骤S9，机器人控制部31的机械臂前端部位置计算部41根据在图像拍摄时刻用存储部34中存储的拍摄时刻Ts、和在机器人位置及时刻用存储部33中存储的机器人的位置和时刻的组Tx、Px、Ty、Py，计算拍摄瞬间的机器人位置Q1’＝(Js1～Js6)。这里，请留意Tx是比Ts早的时刻，Ty是比Ts晚的时刻。

机械臂前端部位置计算部41例如使用一次插补根据下式(3)计算拍摄瞬间的机器人位置Q1’。

公式3：

Jsi＝(Jyi-Jxi)×(Ts-Tx)÷(Ty-Yx)+Jxi

(i＝1～6) …(3)

拍摄瞬间的机器人位置Q1’＝(Js1～Js6)是各轴位置，但是如果对其进行正向变换(forward transformation)，则可以求出正交位置。

在第一实施方式中，通过使用一次式对机器人的各轴位置进行内插插补，计算拍摄瞬间的机器人位置Q1’，但是也可以通过其他方法计算机器人位置Q1’。例如也可以通过外插插补进行插补计算。另外如上所述，可以在机器人11的各轴位置进行插补，也可以在变换为正交位置后进行插补。此外，在采用了第一实施方式那样的一次插补的情况下，只要有两组机器人位置以及时刻即足够。

可以根据机器人11的控制***的特性选择采用何种插补公式。例如在进行使用二次式的插补的情况下，能够减小存在机器人11的速度变化时的近似误差。但是，在采用二次插补时，需要三组的机器人位置以及时刻。此时，可以使用拍摄时刻Ts之前的两个Tx和拍摄时刻Ts之后的一个Ty，另外也可以使用拍摄时刻Ts之前的一个Tx和拍摄时刻Ts之后的两个Ty。

其后，如上所述，工件位置计算部42根据如上所述通过机械臂前端部位置计算部41计算出的机械臂前端部的位置信息和通过图像处理部32计算出的工件15的虚拟的位置信息，计算被放置在离开机器人11的位置上的工件15相对于机器人11的位置信息。

图2是表示本发明的第二实施方式的机器人***的整体结构的图。在图2中，照相机13被固定在两个工作台16、17之间的预定位置。换言之，照相机13被配置在离开机器人11的远方的位置。在第二实施方式中，机器人11把工件15从一个工作台16搬运到另一个工作台17。

如上所述，因为工作台16上的工件15的位置不定，所以可能机器人11包含偏差地抓持工件15。在第二实施方式中，照相机13用于在搬运工件15的途中测量抓持偏差量。

在图2中如箭头X2所示，对机器人11进行编程，使其在工作台16上的动作开始位置P1抓持工件15，经过拍摄位置Q1，移动到工作台17上的位置P2，把工件15放置到工作台17上。如上所述，假定机器人11被示教的程序在拍摄位置Q1进行拍摄，但是在具有软件的处理延迟等情况下，成为在从拍摄位置Q1少许偏移的拍摄位置Q1’进行拍摄。

在第二实施方式中，为修正通过机械手14对工件15的抓取偏差，测量工件15相对于机器人11的机械臂前端部的相对位置。当把机器人11位于位置Q1’时测量到的工件15在世界坐标系中的位置作为W1’时，工件位置计算部42根据下式(4)计算工件15相对于机器人11的机械臂前端部的相对的位置V1’。

V1’＝Q1’^-1·W1’ …(4)

然后，关于在示教位置P2时抓持的工件15，当把工件15相对于机器人11的机械臂前端部的相对位置作为V1时，工件位置计算部42根据下式(5)计算应该释放在位置Q1’拍摄的工件15的位置P2’。

P2’＝P2·V1·V1’^-1 …(5)

在上述的实施方式中，作为视觉传感器使用一个二维照相机13。但是，也可以使用三维传感器求出工件15的三维位置姿势。三维传感器以及构成三维传感器的照相机，可以使用彩色照相机，也可以使用单色照相机。下面说明作为视觉传感器使用三维传感器的实施例。

在某个实施例中，可以使用使用了多个照相机13的立体方式的三维视觉传感器。另外，图5是表示实施立体测量的实施方式的机器人***的整体结构的图。在使用用于求出在机器人11动作时拍摄瞬间的机器人位置的上述方法的情况下，如图5所示，还可以根据使用单一的照相机13在机器人动作过程中连续拍摄工件15得到的从不同位置(Q1、…、Qn)拍摄到的工件15的多个图像，实施立体测量。在进行图5所示的测量的情况下，求出被抓持的工件15相对于机器人11的机械臂前端部的三维位置。另外，虽然未图示，但是在图1所示的结构中，当根据从不同的位置(Q1、…、Qn)拍摄的工件15的多个图像进行立体测量时，求出工件15相对于机器人11的三维位置。

图6是表示具有激光缝隙投光器的实施方式的机器人***的整体结构的图。在图6中，使用由照相机13、和通过托架18在照相机13上安装的激光缝隙投光器19组成的三维视觉传感器。该三维视觉传感器能够进行被投射了激光的部位的三维位置的测量、和关于在几何学上规定的形状的工件的位置姿势的测量。这样的三维视觉传感器是公知的器件，这里不详细涉及。为了用该传感器进行测量，需要取得通常的照相机图像和激光图像。另外，在机器人动作中取得多个图像的情况下，因为拍摄各图像的机器人位置不同，所以需要考虑这些机器人位置来进行计算。

还能够连续地求出被投射了激光的部位的三维位置，把取得的多次的三维位置信息汇总为一般称为距离图像的形式，根据距离图像，得到工件15的三维形状。此时也使用上述方法，使用被投射激光的图像拍摄瞬间的机器人位置来计算三维位置信息。可以根据这样得到的工件15的三维形状，求出工件15的三维位置姿势。

图7是另外的实施方式的机器人***的功能框图。在图7中，主要表示了与机器人11连接的机器人控制装置12a、和与照相机13(视觉传感器)连接的图像处理装置12b。如图7所示，在机器人控制装置12a中包括互相连接的机器人控制部31、机器人位置及时刻存储部33和时钟35a。

同样，在图像处理装置12b中包括互相连接的图像处理部32、图像拍摄时刻用存储部34和时钟35b。请注意这些时钟35a、35b互相同步。因此，机器人控制装置12a以及图像处理装置12b从时钟35a、35b分别独自取得的时刻互相相等。

如图所示，机器人控制装置12a以及图像处理装置12b通过通信接口36例如有线LAN或者无线LAN等互相连接。这里，有可能在通信接口36的处理中产生延迟。但是，因为在图像拍摄时刻用存储部34中能够与时刻关联地存储图像，所以能够从机器人位置及时刻用存储部33搜索与图像拍摄时刻用存储部34中存储的时刻接近的两个以上的时刻，根据该时刻求出需要的机器人位置。

图8是另外的实施方式的机器人***的功能框图。在图8中主要表示了与机器人11连接的机器人控制装置12、和包含图像处理部32的照相机13。如图8所示，在机器人控制装置12a中包含互相连接的机器人控制部31、机器人位置及时刻用存储部33和时钟35a。

在照相机13中包含互相连接的图像处理部32、图像拍摄时刻用存储部34和时钟35b。同样地，使时钟35a、35b互相同步，另外，机器人控制装置12以及照相机13通过通信接口36互相连接。可知在从图5到图8表示的实施方式中，能够得到和上述相同的效果。

虽然通过优选实施方式表示说明了本发明，但是本领域的技术人员应该理解，可以在不离开本发明的精神和范围的情况下，对其进行上述以及其他各种修改、省略和添加。

Claims

1.一种机器人***(10)，其具有机器人(11)、控制该机器人(11)的机器人控制部(31)、和以视觉方式测量工件(15)的视觉传感器(13)，所述工件(15)或者所述视觉传感器(13)中的一方在由所述机器人(11)的机械臂前端部抓持或固定的同时，能够通过所述机器人(11)的机械臂的动作而移动，并且所述工件(15)或者所述视觉传感器(13)中的另一方被放置在离开所述机器人(11)的位置，在所述机械臂前端部正在移动的过程中测量所述工件，该机器人***的特征在于，

所述机器人***具备：

图像处理部，控制所述视觉传感器(13)，并且根据通过该视觉传感器(13)拍摄到的所述工件(15)的图像的信息，计算所述工件(15)在所述图像上的位置信息；

时钟(35)，用于所述机器人控制部(31)以及所述图像处理部参照当前时刻；

机器人位置时刻用存储部(33)，把一定周期或者不定周期的第一时刻和在该第一时刻的所述机械臂前端部的位置信息作为组按顺序进行存储；

图像拍摄时刻用存储部(34)，存储所述视觉传感器(13)拍摄所述工件(15)的作为与所述第一时刻不同的任意时刻的第二时刻；

机械臂前端部位置计算部(41)，根据在所述机器人位置时刻用存储部(33)中存储的第一时刻中的、在所述图像拍摄时刻用存储部(34)中存储的所述第二时刻之前和之后的至少两个第一时刻、以及与这些第一时刻中的各个第一时刻对应的所述机械臂前端部的位置信息，计算所述视觉传感器(13)拍摄所述工件(15)的第二时刻的所述机械臂前端部的位置信息；以及

工件位置计算部(42)，根据通过该机械臂前端部位置计算部(41)计算出的第二时刻的所述机械臂前端部的位置信息和通过所述图像处理部计算出的所述第二时刻的所述工件(15)在所述图像上的位置信息以及预先求出的用于把图像处理后的结果变换为机器人坐标系中的值的校准数据，计算所述被抓持的工件(15)相对于所述机械臂前端部的位置信息、或者被放置在离开所述机器人(11)的位置的工件(15)相对于所述机器人(11)的位置信息。

2.根据权利要求1所述的机器人***，其特征在于，

还具有修正部(43)，根据通过所述工件位置计算部(42)计算出的、所述被抓持的工件(15)相对于所述机器人(11)的所述机械臂前端部的位置信息、或者被放置在离开所述机器人(11)的位置的工件(15)相对于所述机器人(11)的位置信息，修正所述机器人(11)的动作。

3.根据权利要求1所述的机器人***，其特征在于，

所述工件(15)或所述视觉传感器(13)中的一方在由所述机器人(11)的机械臂前端部抓持或者固定的同时，能够通过所述机器人(11)的机械臂的动作而移动，

所述视觉传感器(13)在所述机器人(11)的所述机械臂前端部正在移动时，在该机械臂前端部位于互相不同的位置的时刻，多次拍摄所述工件(15)来进行立体测量，

所述工件位置计算部(42)根据所述视觉传感器(13)的所述立体测量的结果，计算所述被抓持的工件(15)相对于所述机械臂前端部的三维位置或者被放置在离开所述机器人(11)的位置的工件(15)相对于所述机器人(11)的三维位置。

4.根据权利要求1所述的机器人***，其特征在于，

还具有安装在所述视觉传感器(13)上的激光缝隙投光器(19)，

所述视觉传感器(13)在所述机器人(11)的所述机械臂前端部正在移动时通过在不同的位置多次拍摄被投射了激光的所述工件(15)的一部分的三维位置来取得距离图像，

所述工件位置计算部(42)根据所述距离图像计算工件(15)的三维形状或／和三维位置。