CN111470309B - 跟随机器人及作业机器人*** - Google Patents

Abstract

本发明提供一种跟随机器人及作业机器人***，跟随机器人(10)包括：手臂(10a)；一个或多个视觉传感器(50)，其设置于手臂(10a)；存储部，其存储有至少与跟随对象的位置和姿势相关的第一特征量以作为目标数据，所述目标数据用于使设置于手臂(10a)的视觉传感器(50)跟随跟随对象；特征量检测单元，其使用由视觉传感器(50)获得的图像检测至少与跟随对象的位置和姿势相关的第二特征量；移动量计算单元，其基于第二特征量与第一特征量之间的差异计算出手臂(10a)的移动指令；以及移动指令单元，其基于移动指令使手臂(10a)移动。

Description

跟随机器人及作业机器人***

技术领域

本发明涉及一种跟随机器人及作业机器人***。

背景技术

以往，已知一种生产线，其具备机器人、搬运物品的搬运装置、沿搬运装置设置的导轨、以及使机器人沿导轨移动的移动装置(例如参照专利文献1)。在该生产线中，在通过搬运装置搬运物品时，机器人进行物品的缺陷检查及研磨。另外，在进行缺陷检查及研磨时，移动装置使机器人以与搬运装置对物品的搬运速度相同的速度沿导轨移动。

另外，已知一种使机器人的前端部的位置和姿势准确地匹配不移动的目标位置的技术(例如参照专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开平08-72764号公报

专利文献2：日本特开2017-170599号公报

发明内容

发明所要解决的问题

在所述生产线中，仅进行缺陷检查及研磨。另一方面，例如在进行机器人与物品可能相互干扰的作业时，需要采取防止机器人、搬运装置、物品等损坏的对策。然而，由于存在由搬运装置移动的物品发生振动等的无法预测的行为的可能性，因此难以防止上述损坏。

鉴于上述的实际情况，期望提供一种能够使机器人的工具准确地跟随物品的跟随机器人及作业机器人***。

用于解决问题的手段

本发明的第一方面为一种跟随机器人，包括：可动的手臂；一个或多个视觉传感器，其设置于所述手臂；存储部，其存储有至少与所述跟随对象的位置和姿势相关的第一特征量以作为目标数据，所述目标数据用于使设置于所述手臂的所述视觉传感器跟随跟随对象；特征量检测单元，其使用由所述视觉传感器获得的图像检测至少与所述跟随对象的当前的位置和姿势相关的第二特征量；移动量计算单元，其基于所述第二特征量与所述第一特征量的差异计算出所述手臂的移动指令；以及移动指令单元，其基于所述移动指令使所述手臂移动，所述移动量计算单元和所述移动指令单元在使所述视觉传感器跟随所述跟随对象的期间，重复所述移动指令的计算和基于所述移动指令的所述手臂的移动，所述移动指令为减少或消除作为所述第二特征量的所述跟随对象的姿势与作为所述第一特征量的所述跟随对象的姿势之间的差异的指令。

本发明的第二方面为一种作业机器人***，包括：搬运装置，其对物品进行搬运；以及所述跟随机器人，在所述跟随机器人的所述视觉传感器跟随所述跟随对象的状态下，所述跟随机器人对所述物品进行预定的作业、或一边使用使所述跟随机器人的所述视觉传感器跟随所述跟随对象的所述移动指令的信息或用于该移动指令的计算的信息，一边由其他机器人即作业机器人对所述物品进行所述预定的作业。

附图说明

图1为一个实施方式的作业机器人***的示意构成图。

图2为本实施方式的作业机器人***的控制装置的框图。

图3为通过本实施方式的作业机器人***的视觉传感器拍摄到的图像数据的示例。

图4为表示本实施方式的作业机器人***的控制部的操作的流程图。

图5为本实施方式的变形例的作业机器人***的示意构成图。

具体实施方式

以下，参照附图对本发明的一个实施方式所涉及的作业机器人***1进行说明。

如图1所示，本实施方式的作业机器人***1包括：搬运装置2，其用于搬运作为作业对象的物品100；机器人(跟随机器人)10，其对由搬运装置2搬运的物品100的作业对象部101进行预定的作业；控制装置20，其用于控制机器人10；作为检测部的检测装置40；以及视觉传感器50，其安装于机器人10。

检测装置40对物品100被搬运到预定位置的情况进行检测。作为检测装置40，可以使用具有这种功能的任何装置。在本实施方式中，检测装置40是光电传感器，但也可以通过视觉传感器50来检测物品100被搬运到预定位置的情况。

物品100并不限定于特定的种类。在本实施方式中，作为一个示例，物品100为车身。搬运装置2通过电机2a驱动多根辊3中的数根辊以搬运物品100，在本实施方式中，搬运装置2向图1中的右侧搬运物品100。

作业对象部101是物品100的机器人10进行预定的作业的部分。在本实施方式中，作为预定的作业，机器人10的机械手(工具)30提起部件110，机器人10将部件110的安装部111安装于作业对象部101。由此，例如，从部件110的安装部111向下方延伸的轴111a与设置于物品100的作业对象部101的孔101a嵌合。

需要说明的是，机器人10在物品100被搬运装置2移动的状态下将部件110的安装部111安装于作业对象部101。

机器人10并不限定于特定的种类，但本实施方式的机器人10的可动的手臂10a包括分别驱动多个可动部的多个伺服电机11(参照图2)。各伺服电机11具有用于检测其工作位置的工作位置检测装置，作为一个示例，工作位置检测装置为编码器。工作位置检测装置的检测值被发送至控制装置20。

手臂10a的前端部安装有机械手30。本实施方式的机械手30通过多个爪的把持来支承部件110，但也可以使用利用磁力、空气的吸引等来支承部件110的机械手。

机械手30具有对爪进行驱动的伺服电机31(参照图2)。伺服电机31具有用于检测其工作位置的工作位置检测装置，作为一个示例，工作位置检测装置为编码器。工作位置检测装置的检测值被发送至控制装置20。

此外，作为各伺服电机11、31，可以使用旋转电机、直动电机等各种类型的伺服电机。

在机器人10的前端部安装有力传感器(力检测部)32。力传感器32例如对图3所示的X轴方向、Y轴方向、Z轴方向、以及绕X轴、绕Y轴、绕Z轴的力或力矩(Moment)进行测量。力传感器32可以是任意的传感器，只要其能够检测施加于机械手30或被机械手30把持的部件110的力的方向和该力的力度即可。因此，在本实施方式中，力传感器32设置于机器人10与机械手30之间，但力传感器32也可以设置于机械手30的内部。

在手臂10a的前端部安装有视觉传感器50。作为一个示例，视觉传感器50通过框架50a而安装于机器人10的手腕凸缘部。在本实施方式中，视觉传感器50为二维摄像机。本实施方式的视觉传感器50以相对于作业对象部101的位置和姿势不变的跟随对象102进入视角的预定范围的方式，依次获取如图3所示的图像数据。

在本实施方式中，跟随对象102为图3中斜线所示的上表面部分，但也可以使用相对于作业对象部101的位置和姿势不变的其他部分。

此外，视觉传感器50也可以安装于机械手30等工具。另外，视觉传感器50还可以安装于相对于机械手30等的工具的位置和姿势不变的机器人10的其他部位。

视觉传感器50依次向控制装置20发送图像数据。图像数据为能够确定跟随对象102的位置和姿势的数据。图像数据也可以由控制装置20以外的检测器进行处理，并在该处理后基于数据来确定跟随对象102的位置和姿势。

跟随对象102是物品100上的具有预定的形状的部分或设有预定的标记的部分等。在这些情况下，图像数据为能够在图像上判断出所述部分的位置和姿势的数据。

在以图像为基础的一例中，当在视觉传感器50中跟随对象102被配置于图像数据(检测范围)的目标位置、姿势、尺寸时，安装于手臂10a的机械手30的位置和姿势成为对物品100进行预定的作业所需的位置和姿势。在以位置为基础的示例中，在安装于手臂10a的机械手30的位置和姿势与视觉传感器50的位置和姿势通过校准而建立关联的情况下，控制装置20基于图像数据识别机器人10的坐标系中的跟随对象102的位置和姿势，控制装置20能够使设置于手臂10a的机械手30移动为进行所述预定的作业所需的位置和姿势。在本实施方式中，所需的位置和姿势为能够使部件110的安装部111的轴111a与设置于物品100的作业对象部101的孔101a成为嵌合的状态的位置和姿势。此外，也可能出现物品100在搬运装置2上摆动的情况。例如，在搬运装置2的多根辊3未配置于完全的平面上的情况下，物品100发生摆动。在物品100较大的情况下，可能出现物品100的下端侧的轻微摆动导致作业对象部101的较大摆动的情况。因此，设置于手臂10a的机械手30的姿势调整很重要。

在以图像为基础的一例中，在控制装置20中预先建立视觉传感器50的图像数据上的跟随对象102的位置、姿势、尺寸的变化、与机器人10的坐标系的位置和姿势的变化之间的关联。

如图2所示，控制装置20包括：具有CPU、RAM等的控制部21；显示装置22；具有非易失性存储器、ROM等的存储部23；与机器人10的伺服电机11分别对应的多个伺服控制器24；与机械手30的伺服电机31对应的伺服控制器25；以及与控制装置20连接的输入部26。在一个示例中，输入部26为由操作者携带的操作面板等的输入装置。输入部26也可以与控制装置20进行无线通信。

存储部23中存储有***程序23a，***程序23a承担控制装置20的基本功能。另外，存储部23中存储有动作程序23b。另外，存储部23中还存储有跟随控制程序(移动指令单元)23c、力控制程序23d、特征量检测程序(特征量检测单元)23e、以及移动量计算程序(移动量计算单元)23f。

控制部21基于这些程序将用于进行对物品100的预定的作业的移动指令发送给各伺服控制器24、25。由此，机器人10和机械手30对物品100进行预定的作业。参照图4的流程图对此时的控制部21的动作进行说明。

首先，当通过检测装置40检测到物品100时(步骤S1-1)，控制部21开始基于动作程序23b向机器人10和机械手30发送作业前移动指令(步骤S1-2)。由此，机器人10使机械手30所把持的部件110的轴111a接近作业对象部101的孔101a。此时，控制部21也可以使用搬运装置2的搬运速度、物品100内的作业对象部101的位置的数据等。另外，在后述的步骤S1-4之后，基于动作程序23b使部件110的轴111a与物品100的孔101a嵌合。此外，在步骤S1-1中，也可以代替检测装置40而通过视觉传感器50来检测物品100。

通过步骤S1-2中的机器人10的控制，部件110到达用于进行预定的作业(嵌合)的准备位置和姿势。由此，当跟随对象102存在于视觉传感器50的视角(检测范围)内或视角的预定范围内时(步骤S1-3)，控制部21开始基于跟随控制程序23c、特征量检测程序23e、以及移动量计算程序23f的控制(步骤S1-4)。在步骤S1-4中，例如进行以下的控制。需要说明的是，在以下的控制中，至少基于视觉传感器50的图像数据检测跟随对象102的位置和姿势，控制部21基于检测到的位置和姿势使安装于手臂10a的视觉传感器50的位置和姿势跟随跟随对象102。在此，由于视觉传感器50相对于机械手30的位置和姿势是固定的，因而机器人10的机械手30以跟随对象102始终配置于视觉传感器50的图像数据的目标位置和姿势的方式跟随物品100。

如上所述的控制例如通过以下的控制来实现。

在该控制中，跟随对象102在图像数据中应配置的目标位置、目标姿势以及目标尺寸作为第一特征量而存储于存储部23。目标尺寸例如为以特征为轮廓的情况下的轮廓的大小。

控制部21基于特征量检测程序23e在由视觉传感器50依次获取的图像数据上检测跟随对象102的位置、姿势以及尺寸以作为第二特征量。

例如，控制部21一边对存储部23存储的跟随对象102的模型进行投影变换，一边进行投影变换后的模型与图像数据上的跟随对象102的匹配搜索，从而检测跟随对象102的位置和姿势。该模型也可以使用CAD数据等来创建，也可以根据实际的对象来创建。由于作业对象部101与跟随对象102之间的相对位置和相对姿势是固定的，因而控制部21能够基于跟随对象102的位置和姿势而获得手臂10a的前端部与跟随对象102的之间的相对位置和相对姿势。

控制部21基于移动量计算程序23f计算出用于使图像数据内的跟随对象102的位置、姿势、以及尺寸与第一特征量一致的移动指令。

计算出的移动指令用于消除或减少图像数据内的跟随对象102的位置、姿势、以及尺寸与第一特征量之间的差异。计算出的移动指令例如使安装于手臂10a的机械手30的位置沿X轴方向、Y轴方向、以及Z轴方向变化，使机械手30的姿势绕X轴、绕Y轴、绕Z轴变化。

此外，在所述控制中，控制部21还可以基于由手臂10a的机械特性确定的参数来调整计算出的移动指令。所述机械性质例如包括：手臂10a的整体或一部分的刚性、各可动部的刚性、机械手30的重量、部件110的重量、以及手臂10a因机械手30和部件110的重量等而承受的力矩等。另外，由于手臂10a的挠曲量、方向等会根据手臂10a的可动部即关节的角度而变化，因而所述机械性质还包括手臂10a的各可动部的状态。

也就是说，在通过移动指令使手臂10a的姿势变化的情况下，根据该姿势变化，手臂10a因机械手30和部件110的重量等而承受的力矩、手臂10a的各可动部的状态等发生变化。因此，在考虑这些机械特性的情况下调整移动指令时，能够使机械手30更准确地跟随物品100。

控制部21可以使用连续的多个图像数据来获取第二特征量的变化趋势。例如，当视觉传感器50的图像数据上的跟随对象102的位置、姿势、以及尺寸逐渐接近作为目标数据的第一特征量时，可以从连续的多个图像数据中捕捉到视觉传感器50相对于跟随对象102的相对位置和相对姿势的变化趋势。

在所述相对位置和所述相对姿势有变化趋势的情况下，控制部21也可以基于移动量计算程序23f，使用基于所述趋势的前馈控制来调整移动指令。例如，也可以根据移动量的变化求出平均速度，并赋予其基本速度以作为前馈控制。在使用前馈控制将与对象之间的相对速度保持为某种程度恒定的状态下，可以对偏移量进行反馈控制。如果不使用前馈，则图像的特征彼此一致时，可能会产生机器人的移动速度为0的瞬间。在这种情况下，虽然存在减速、加速频发的可能性，但可以通过使用前馈控制来防止这样的减速、加速。此外，优选对要进行前馈的补正数据实施移动平均等的公知的过滤处理、平滑处理等。由此，当捕捉到由外部干扰引起的物品100的位置和姿势的变化、由搬运装置2的精度引起的物品100的摆动、过扩(Overshoot)的可能性、电噪声等时，控制部21能够适当地应对由外部干扰引起的变化或由搬运装置2的精度引起的摆动、降低过扩、去除电噪声等。

此外，赋予给前馈控制的基本速度等的输入值，也可以是用户基于由外部的计测器测量的数值而任意输入的值。

另外，也可以创建考虑了减速器的挠曲(扭转)的机器人模型，通过估计并反馈手臂的振动来减轻手臂的振动。

另外，控制部21也可以使用所述相对位置和所述相对姿势的变化趋势等对第二特征量的检测结果进行插值。因此，即使在第二特征量的获取周期与视觉传感器50的拍摄周期同样变长的情况下，也能够通过进行检测结果的插值，从而实现获取周期间的第二特征量的估计、将来的第二特征量的估计等。

通过上述控制，控制部21使手臂10a的机械手30跟随作业对象部101。由此，部件110的安装部111的轴111a的位置和姿势与作业对象部101的孔101a的位置和姿势一致。

在此，如上所述，在控制装置20中，视觉传感器50的图像数据上的跟随对象102的位置、姿势、以及尺寸的变化与机器人10的坐标系的位置和姿势的变化之间建立关联。因此，在视觉传感器50跟随跟随对象102时，机器人10的坐标系沿搬运装置2的搬运方向移动，使得坐标系的位置和姿势与由搬运装置2搬运的物品100的移动一致。在这种情况下，虽然物品100的作业对象部101被搬运装置2移动，但当从控制部21观察时，可以看到作业对象部101在坐标系中几乎是停止的。

在进行如上所述的控制的状态下，控制部21开始基于力控制程序23d的力控制(步骤S1-5)。作为力控制，可以使用公知的力控制。在本实施方式中，机器人10使部件110向远离力传感器32所检测的力的方向移动。该移动量由控制部21根据力传感器32的检测值来确定。

例如，在由机械手30把持的部件110的轴111a与物品100的孔101a开始嵌合的情况下，当力传感器32检测到与搬运装置2的搬运方向相反的方向的力时，控制部21使部件110向与搬运方向相反的方向略微移动以远离检测到的力。

接下来，在基于视觉传感器50的图像数据而依次检测到的第二特征量超过预定的基准而发生变动时(步骤S1-6)，控制部21进行第一异常应对操作(步骤S1-7)。超过预定的基准的变动包括：图像数据内的跟随对象102的较大移动、或者比图像数据内的跟随对象102的预定速度更快的移动等。在电力供应不稳的情况下，电机2a的旋转速度可能出现急剧下降等，电机2a的旋转速度也可能大幅波动。在这些情况下，跟随对象102相对于手臂10a的前端部的位置会超过所述预定的基准而发生变动。

作为第一异常应对操作，控制部21进行如下操作：缩短力控制的控制周期的操作或提高灵敏度的操作、停止嵌合进度的操作、中止嵌合作业的操作、向与嵌合方向相反的方向退避的操作、停止搬运的操作、或者将这些组合起来的操作等。当缩短力控制的控制周期或提高灵敏度时，能够相对于施加于部件110的力而使机器人10更加灵活地移动。在本实施方式中，控制部21进行如下操作：中止嵌合作业的操作、向与嵌合方向相反的方向退避的操作、停止搬运装置或者将这些组合起来的操作等。

另外，控制部21在力传感器32的检测值超过预定的基准值时(步骤S1-8)，进行第二异常应对操作(步骤S1-9)。当力传感器32的检测值超过预定的基准值时，对部件110、物品100等施加有异常的力的可能性较高。因此，作为第二异常应对操作，控制部21进行如下操作：停止机器人10的操作、使机器人10向远离力传感器32检测到的力的方向移动的操作、停止搬运装置的操作、向与嵌合方向相反的方向退避的操作、停止搬运的操作、或者将这些组合起来的操作等。在本实施方式中，控制部21进行使机器人10停止的操作。

另一方面，控制部21判断嵌合作业是否完成(例如，判断Z方向的行进距离是否超过预定值)(步骤S1-10)，在嵌合作业完成的情况下，向手臂10a和机械手30发送预定的移动指令、操作指令(步骤S1-11)。由此，机械手30释放部件110并离开部件110，并通过手臂10a将机械手30移动至待机位置或存放有下一个部件110的场所。

此外，在上述实施方式中，控制部21也可以基于特征量检测程序23e在图像数据内的第一范围内进行检测第二特征量的广范围检测处理，之后，在获取的图像数据内的第二范围内进行窄范围检测处理。窄范围检测处理是指在比第一范围窄的第二范围内检测第二特征量的处理。例如，在第一特征量与第二特征量的差异较大时进行广范围检测处理，在第一特征量与第二特征量的差异成为预定值以下时进行窄范围检测处理。由此，在第一特征量与第二特征量的差异较小时，能够实现处理速度及处理精度的提高等。

控制部21也可以与该处理不同时或同时地基于特征量检测程序23e，将图像数据内包含检测到的跟随对象102的区域设定为第二特征量的检测范围。例如，对检测到的与跟随对象102的轮廓相接的外接长方形进行设定并将外接长方形扩大至预定的倍率，从而能够对检测范围进行设定。并且，也可以根据图像数据内的跟随对象102的大小(尺寸)、视觉传感器50与跟随对象102的距离等来变更所述倍率。例如，当视觉传感器50与跟随对象102接近时，图像数据内的跟随对象102的图像上的移动量变大，因此增大所述倍率。由此，跟随对象102的位置和姿势的检测变得高效而准确。

另外，如图5所示，也可以将作为工具的机械手30安装于其他的机器人即作业机器人60。在该情况下，通过控制装置70控制作业机器人60的手臂60a和机械手30。在一个示例中，控制装置70具有与控制装置20相同的结构，手臂60a也具有与手臂10a相同的结构。在控制装置70中，视觉传感器50的坐标系的位置、方向与机器人60的坐标系的位置、方向之间建立关联。在控制部21使视觉传感器50跟随跟随对象102的状态下，控制装置70在机器人60的坐标系中使机器人60动作。由于机器人60的坐标系的位置和姿势根据视觉传感器50的坐标系的位置和姿势而变化，因而控制装置70能够基于机器人60的坐标系，利用设定的动作程序23b进行作业。

在该情况下，当如上述那样控制装置20使视觉传感器50的位置和姿势跟随跟随对象102时，可以基于该移动指令的信息、第二检测量与第一检测量之间的差异的信息等，使机器人60的坐标系的位置和姿势跟随作业对象部101。因此，在机器人60基于动作程序23b进行使部件110的轴111a与物品100的孔101a嵌合的作业时，机器人60的机械手30跟随物品100。

此外，控制装置20和控制装置70也可以与生产管理***等上位控制***连接，通过上位控制***进行控制装置20与控制装置70之间的所述信息的传送。

此外，也可以代替机器人60而使用如下机器人：具有在搬运装置20的上方沿搬运装置20设置的导轨、以及以可移动的方式安装于导轨的可动臂的机器人。在该情况下，可动臂的前端部安装有视觉传感器50，可动臂例如可以绕X轴、绕Y轴变更其前端部和视觉传感器50的姿势。优选可动臂能够使其前端部和视觉传感器50的位置沿Y轴方向移动，但可动臂也可以不使其前端部和视觉传感器50的位置沿Y轴方向自由移动。

即使在该情况下，也能够使安装于可动臂的视觉传感器50的位置和姿势跟随跟随对象102。另外，即使在可动手臂的前端部不沿Y轴方向自由移动的情况下，也能够基于第二特征量和第一特征量的差异，使安装于可动臂的视觉传感器50的X轴方向的位置和绕X轴、绕Y轴的姿势跟随跟随对象102。如果能够实现该跟随，则即使出现跟随对象102在图像数据中沿Y轴方向移动的情况，也能够检测其移动量并获得与上述相同的作用效果。

此外，作为第二特征量，也可以追加检测跟随对象102的形状等。在该情况下，存储部23存储有与跟随对象102的形状等相关的第一特征量。由于跟随对象102的形状根据手臂10a与跟随对象102之间的距离、角度而相应地变化，因而能够更准确地进行跟随控制。

此外，还能够使用多个视觉传感器50，使多个视觉传感器50分别跟随多个跟随对象102。在该情况下，当跟随对象102配置于由多个视觉传感器50获取的多个图像数据中的各个预定位置时，可以判断安装于手臂10a的机械手30是否相对于物品100的作业对象部101而配置于预定的位置和姿势。

如上所述，本实施方式的机器人10包括：一个或多个视觉传感器50，其设置于手臂10a；以及存储部23，其第一特征量存储为用于使设置于手臂10a的视觉传感器50跟随跟随对象102的目标数据。然后，在本实施方式中，使用由视觉传感器50获得的图像检测至少与跟随对象102的当前的位置和姿势相关的第二特征量。然后，基于第二特征量与第一特征量之间的差异计算出手臂10a的移动指令。然后，在使视觉传感器50跟随跟随对象102的期间，重复移动指令的计算和基于移动指令的手臂的移动。因此，能够使机械手30相对于由搬运装置2搬运的物品100的相对位置和相对姿势逐渐接近目标数据。这对于使机器人10的手臂10a的动作准确地跟随由搬运装置2搬运的物品100是有用的。

另外，在本实施方式中，作为第一特征量具有跟随对象102的模型。在物品100的特征部分为跟随对象102的情况下，控制部21通过进行由视觉传感器50获得的图像数据中的特征部分与投影变换后的模型之间的匹配搜索，从而获得图像数据中的特征部分的位置和姿势(第二特征量)。该构成对于使视觉传感器50相对于由搬运装置2搬运的物品100的跟随对象102的相对位置和相对姿势准确地接近目标数据是有用的。此外，特征部分也可以是设置于物品100的表面的图形。

另外，在本实施方式中，至少使用前馈控制来调整移动指令。在该构成中，通过前馈控制执行考虑了由搬运装置2产生的物品100的移动趋势等的控制，这对于使视觉传感器50相对于物品100的跟随对象102的相对位置和相对姿势迅速且准确地接近目标数据是有用的。

另外，在本实施方式中，在进行第二特征量的检测之前，控制部21使用由视觉传感器50或其他传感器40获得的数据，计算出用于使跟随对象102进入视觉传感器50的检测范围内的作业前移动指令。因此，在进行手臂10a的跟随控制之前，视觉传感器50在短时间内配置于跟随所需的位置。

另外，本实施方式的作业机器人***包括搬运装置2和机器人10，机器人10在设置于机器人10的视觉传感器50跟随跟随对象102的状态下对物品100进行预定的作业。或者，本实施方式的作业机器人***一边使用使设置于机器人10的视觉传感器50跟随跟随对象102的移动指令的信息或用于该移动指令的计算的信息，一边使作业机器人60对物品100进行预定的作业。在使用作业机器人60的情况下，能够在远离视觉传感器50的场所对物品100进行预定的作业。此外，也可以为，多个作业机器人60使用所述信息对物品100进行预定的作业。

另外，本实施方式的作业机器人***还具有力传感器32，所述力传感器32对被机器人10支承的部件110或机械手30与物品100接触而产生的力、或被作业机器人60支承的部件110或机械手30与物品100接触而产生的力进行检测。另外，机器人10或作业机器人60的控制装置20、70在预定的作业被进行时，一边使用力传感器32的检测值，一边使设置于机器人10或作业机器人60的机械手30跟随所述物品。

由于力传感器32的检测值也被用于跟随控制，因而能够进一步提高跟随控制的精度。在此，虽然存在不易使机械手30相对于物品100的相对姿势与力传感器32的检测值之间建立关联的情况，但由于在本实施方式中该相对姿势被修正，因而能够有效地提高跟随控制的精度。

另外，本实施方式的作业机器人***在第二特征量超过预定的基准而发生变动时，使进行预定的作业的机器人10或作业机器人60的控制装置20、70以及搬运装置2中的至少一方进行异常应对操作。由此，能够有效地防止进行跟随控制时的机器人10、60、物品100、以及部件110的损坏。

另外，在本实施方式的作业机器人***中，跟随对象102为物品100的一部分。在该构成中，物品100中的跟随对象102的位置是固定的，这对于进一步提高跟随控制的精度是有用的。

另外，也可以为，加工工具被支承于机器人10或作业机器人60的前端部，机器人10或作业机器人60对被搬运装置2搬运的物品100进行加工以进行预定的作业。在该情况下，加工工具为钻头、铣刀、钻孔攻丝复合刀具、毛刺去除工具、其他工具等。即使在该情况下，通过在步骤S1-2中使加工工具接近作业对象部101，并进行所述的跟随控制，根据加工工具与作业对象部101的接触来进行力控制等，从而可达到与上述相同的效果。另外，加工工具也可以是焊接枪、焊炬等。

另外，作为搬运装置2，还可以使用沿着弯曲的路线搬运物品100的搬运装置，也可以使用沿着曲折的路线搬运物品100的搬运装置。即使在这些情况下，控制部21也可以使用视觉传感器50的检测结果使得机器人10或作业机器人60的前端部跟随作业对象部101。另外，当在步骤S1-6中作业对象部101相对于机器人10的位置超过预定的基准而发生变动时，控制部21可以在步骤S1-7中进行第一异常对应操作。因此，即使在使用所述搬运装置的情况下，也可以达到与上述相同的效果。

另外，也可以代替搬运装置2而通过其他机器人、AGV(Automated GuidedVehicle)来移动物品100。即使在该情况下，也可以达到与上述相同的作用效果。并且，在物品100为汽车、汽车的框架等的情况下，进行预定的作业的物品100也可以通过其发动机、车轮等进行移动。在这些情况下，其他机器人、发动机、车轮等作为搬运装置而发挥功能。

另外，也可以代替搬运装置2而通过使物品100在重力作用下滑落、滚落、或掉落的喷枪来搬运物品100。在该情况下，通过振动产生装置使倾斜的喷枪振动，由此还能够使喷枪上的物品100的移动更加顺畅。在这些情况下，喷枪、振动产生装置等作为搬运装置而发挥功能，利用安装于机器人30的工具取出通过喷枪而进行移动的物品100。

在本实施方式中，在机器人10或作业机器人60的前端部安装有力传感器32。另一方面，也可以在搬运装置2与物品100之间、物品100的内部等配置力传感器32。即使在该情况下，也能够进行基于力传感器32的检测值的力控制，达到与上述相同的效果。

另外，视觉传感器50也可以安装于机器人10或作业机器人60的手腕凸缘部以外的部分。

此外，视觉传感器50也可以是立体摄像机。在该情况下，可以通过一对摄像机获得跟随对象102的距离图像数据，并使用与该图像数据对应的立体的模型来确定跟随对象102的位置和姿势。

在本实施方式中，视觉传感器50所跟随的对象与机器人10的作业对象不同，但视觉传感器50所跟随的对象与机器人10的作业对象也可以相同。例如，在容许机器人10的工具与作业对象之间的微小位置偏移的情况下、或者在从视觉传感器50能够一直观察到在工具进行操作时要跟随的对象等的情况下，能够使所跟随的对象与作业对象相同。

此外，在上述实施方式中，将视觉传感器50的图像数据上的跟随对象102的位置、姿势、以及尺寸配置于目标位置，由此将作为工具的机械手30的位置和姿势配置于对物品100进行预定的作业所需的位置和姿势。与此相对，也可以将视觉传感器50的图像数据上的跟随对象102的位置和姿势配置于目标位置，由此将安装于机器人10的工具的位置和姿势配置于进行预定的作业所需的位置和姿势。例如，在进行激光焊接、激光加工、密封剂涂布等的工具与物品的距离几乎不发生变化的作业时、或者在工具与物品的距离即使发生变化也能够进行作业时等，也可以不使用作为第一特征量的尺寸的信息以及作为第二特征量的尺寸的信息。

附图标记说明

1：作业机器人***

2：搬运装置

2a：电机

3：辊

10：机器人(跟随机器人)

11：伺服电机

20：控制装置

21：控制部

22：显示装置

23：存储部

23a：***程序

23b：动作程序

23c：跟随控制程序(移动指令单元)

23d：力控制程序

23e：特征量检测程序(特征量检测单元)

23f：移动量计算程序(移动量计算单元)

24：伺服控制器

25：伺服控制器

26：输入部

30：机械手

31：伺服电机

32：力传感器(力检测部)

40：检测装置

50：视觉传感器

100：物品

101：作业对象部

101a：孔

102：跟随对象

110：部件

111：安装部

111a：轴

Claims (11)

1.一种跟随机器人，其特征在于，包括：

可动的手臂；

一个或多个视觉传感器，其设置于所述手臂；

存储部，其存储有至少与跟随对象的位置和姿势相关的第一特征量以作为目标数据，所述目标数据用于使设置于所述手臂的所述视觉传感器跟随所述跟随对象；

特征量检测单元，其使用由所述视觉传感器获得的图像检测至少与所述跟随对象的当前的位置和姿势相关的第二特征量；

移动量计算单元，其基于所述第二特征量与所述第一特征量之间的差异计算出所述手臂的移动指令；以及

移动指令单元，其基于所述移动指令使所述手臂移动，

所述移动量计算单元一边对作为所述第一特征量的所述跟随对象的模型进行投影变换，一边对投影变换后的所述模型和作为所述第二特征量的所述图像中的所述跟随对象进行匹配搜索，检测作为所述第二特征量的所述跟随对象的位置和姿势，

所述移动量计算单元和所述移动指令单元在使所述视觉传感器跟随所述跟随对象的期间，重复所述移动指令的计算和基于所述移动指令的所述手臂的移动，

所述移动指令为减少或消除作为所述第二特征量的所述跟随对象的姿势与作为所述第一特征量的所述跟随对象的姿势之间的差异的指令。

2.根据权利要求1所述的跟随机器人，其特征在于，

所述移动量计算单元至少使用前馈控制来调整所述移动指令。

3.根据权利要求1所述的跟随机器人，其特征在于，

所述移动量计算单元基于根据所述手臂的机械特性而确定的参数来调整所述移动指令。

4.根据权利要求2所述的跟随机器人，其特征在于，

所述移动量计算单元基于根据所述手臂的机械特性而确定的参数来调整所述移动指令。

5.根据权利要求1至4中任一项所述的跟随机器人，其特征在于，

在进行所述第二特征量的检测之前，控制部使用由所述视觉传感器或其他传感器获得的数据，计算出用于使所述跟随对象进入所述视觉传感器的检测范围中的预定的范围内或进入所述检测范围内的作业前移动指令，

在使所述手臂跟随所述跟随对象的跟随动作之前，所述移动指令单元基于所述作业前移动指令使所述手臂移动。

6.根据权利要求1至4中任一项所述的跟随机器人，其特征在于，

所述特征量检测单元在由所述视觉传感器获得的图像内的第一范围内进行检测所述第二特征量的广范围检测处理，之后，在比由所述视觉传感器获得的图像内的所述第一范围窄的第二范围内进行检测所述第二特征量的窄范围检测处理。

7. 一种作业机器人***，其特征在于，包括：

搬运装置，其对物品进行搬运；以及

跟随机器人，

所述跟随机器人包括：

可动的手臂；

一个或多个视觉传感器，其设置于所述手臂；

存储部，其存储有至少与跟随对象的位置和姿势相关的第一特征量以作为目标数据，所述目标数据用于使设置于所述手臂的所述视觉传感器跟随所述跟随对象；

特征量检测单元，其使用由所述视觉传感器获得的图像检测至少与所述跟随对象的当前的位置和姿势相关的第二特征量；

移动量计算单元，其基于所述第二特征量与所述第一特征量之间的差异计算出所述手臂的移动指令；以及

移动指令单元，其基于所述移动指令使所述手臂移动，

所述移动量计算单元一边对作为所述第一特征量的所述跟随对象的模型进行投影变换，一边对投影变换后的所述模型和作为所述第二特征量的所述图像中的所述跟随对象进行匹配搜索，检测作为所述第二特征量的所述跟随对象的位置和姿势，

所述移动量计算单元和所述移动指令单元在使所述视觉传感器跟随所述跟随对象的期间，重复所述移动指令的计算和基于所述移动指令的所述手臂的移动，

所述移动指令为减少或消除作为所述第二特征量的所述跟随对象的姿势与作为所述第一特征量的所述跟随对象的姿势之间的差异的指令，

在所述跟随机器人的所述视觉传感器跟随所述跟随对象的状态下，一边使用使所述跟随机器人的所述视觉传感器跟随所述跟随对象的所述移动指令的信息或用于该移动指令的计算的信息，一边由其他机器人即作业机器人对所述物品进行预定的作业。

8.根据权利要求7所述的作业机器人***，其特征在于，

还包括力检测部，所述力检测部对如下的力进行检测：被进行所述预定的作业的所述跟随机器人支承的部件或工具与所述物品接触而产生的力、或被所述作业机器人支承的部件或工具与所述物品接触而产生的力，

进行所述预定的作业的所述跟随机器人或所述作业机器人的控制装置在使用所述力检测部的检测值的所述预定的作业被进行时，使所述跟随机器人或所述作业机器人跟随所述物品。

9.根据权利要求7所述的作业机器人***，其特征在于，

在所述第二特征量超过预定的基准而发生变动时，进行所述预定的作业的所述跟随机器人或所述作业机器人的控制装置、以及所述搬运装置中的至少一方进行异常应对操作。

10.根据权利要求8所述的作业机器人***，其特征在于，

在所述第二特征量超过预定的基准而发生变动时，进行所述预定的作业的所述跟随机器人或所述作业机器人的控制装置、以及所述搬运装置中的至少一方进行异常应对操作。

11.根据权利要求7至10中任一项所述的作业机器人***，其特征在于，

所述跟随对象为所述物品的一部分。

Images