CN104827472A - 控制装置、机器人、机器人***以及控制方法 - Google Patents

Abstract

一种控制装置，其包含：接受部，其接受第一动作信息、和与第一动作信息不同的第二动作信息；以及处理部，其使用在机器人从第一姿势移向与第一姿势不同的第二姿势的期间多次拍摄被拍摄物而得的多个拍摄图像，来使机器人执行基于第一动作信息以及第二动作信息的动作。

Description

控制装置、机器人、机器人***以及控制方法

本申请是申请号为201410593480.7，申请日为2014年10月29日，发明名称为“控制装置、机器人、机器人***以及控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及控制装置、机器人、机器人***以及控制方法等。

背景技术

作为能够与多品种少量生产对应的生产装置，组装机器人备受关注。作为使该组装机器人进行的作业，例如，有将如电容器那样的存在多个脚的零件***电子基板的作业。在***存在有多个脚的零件的作业的情况下，需要决定以怎样的顺序将那些脚***。

作为***多个脚的顺序的决定方法，例如在专利文献1公开有如下方法，即、针对第一工件的各嵌合脚取得允许变形量的数据，从而基于该允许变形量的数据决定将第一工件的嵌合脚***第二工件的嵌合孔的顺序。

专利文献1：日本特开2013-154446号公报

然而，专利文献1中未记载使工件移动至组装位置的方法。为了将嵌合脚***嵌合孔需要将嵌合脚与嵌合孔靠近，因此怎样使工件移动至***位置成为课题。

例如，在第二工件未被配置于准确决定的位置的情况下，仅使第一工件移动至已决定了的位置无法移动至***位置。或者，在如电容器那样***的脚的长度不同的情况下等，以使该长度不同的脚相对于孔而成为怎样的位置关系的方式使电容器移动成为课题。

发明内容

本发明的第一方式涉及控制装置，其包含：接受部，其接受第一动作信息、和与上述第一动作信息不同的第二动作信息；以及处理部，其使用在机器人从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物而得的多个拍摄图像，来使上述机器人执行基于上述第一动作信息以及上述第二动作信息的动作。

根据本发明的第一方式，使用在机器人的姿势转变的期间多次拍摄而得的拍摄图像来控制机器人的动作。此时，第一动作信息、和与第一动作信息不同的第二动作信息被接受，基于该被接受的第一动作信息以及第二动作信息来控制机器人的动作。由此，在使被作业物移动至目标位置时能够使机器人进行两个不同的动作，从而能够更加可靠地使被作业物移动至目标位置。

另外，在本发明的第一方式中，也可以上述第一动作信息与上述第二动作信息是优先度不同的信息，上述第二动作信息比上述第一动作信息优先度低。

这样，能够在使被作业物移动至目标位置时使机器人执行优先度不同的两个动作。即，通过实现基于优先度高的第一动作信息的动作、并且尽可能实现基于第二动作信息的动作，能够使被作业物相对于目标位置更适当地配置。

另外在本发明的第一方式中，也可以上述第一动作信息是使被作业物的第一部位与第一目标一致的动作的信息，上述第二动作信息是使上述被作业物的部位或者上述机器人的部位亦即第二部位与第二目标靠近的动作的信息。

这样，进行使被作业物的第一部位与第一目标一致的动作，作为与此不同的动作，能够使被作业物的部位或者机器人的部位亦即第二部位靠近第二目标。由此，使第一部位与目标一致，并且能够使第二部位移动至更适当的位置。

另外，在本发明的第一方式中，上述处理部也可以通过进行使与上述第一部位对应的第一特征量同与上述第一目标对应的第一目标特征量一致的处理、以及使与上述第二部位对应的第二特征量靠近与上述第二目标对应的第二目标特征量的处理，使上述机器人执行基于上述第一动作信息以及上述第二动作信息的动作。

这样，通过使第一特征量与第一目标特征量一致的处理，能够使机器人执行基于第一动作信息的动作，通过使第二特征量与第二目标特征量一致的处理，能够使机器人执行基于与第一动作信息不同的第二动作信息的动作。

另外，在本发明的第一方式中，也可以上述第一特征量以及上述第二特征量是基于上述多个图像的图像特征量，上述第二部位是与上述第一部位不同的上述被作业物的部位，上述第一目标特征量以及上述第二目标特征量是基于参照图像的图像特征量。

这样，能够基于图像特征量，使机器人执行使被作业物的第一部位与第一目标一致的动作、和与该动作不同的使被作业物的第二部位与第二目标一致的动作。

另外，在本发明的第一方式中，也可以上述第一特征量是基于上述多个图像的图像特征量，上述第一目标特征量是基于参照图像的图像特征量，上述第二部位是上述机器人的末端执行器，上述第二特征量是上述末端执行器的姿势，上述第二目标特征量是在开始基于上述第一动作信息以及上述第二动作信息的动作时的上述末端执行器的姿势。

这样，能够基于图像特征量使机器人执行使被作业物的第一部位与第一目标一致的动作。另外，作为与此不同的动作，能够通过将末端执行器的姿势作为特征量使用，来使机器人执行使末端执行器的姿势靠近动作开始时的姿势的动作。

另外，在本发明的第一方式中，也可以上述第一特征量是基于上述多个图像的图像特征量，上述第一目标特征量是基于参照图像的图像特征量，上述第二部位是与上述第一部位不同的上述被作业物的部位，上述第二特征量是通过基于上述第一动作信息的动作来对上述第二部位的图像特征量变化的量进行推定的推定变化量，上述第二目标特征量使上述推定变化量成为零。

这样，能够基于图像特征量使机器人执行使被作业物的第一部位与第一目标一致的动作。另外，作为与此不同的动作，能够基于第二部位的图像特征量的推定变化量使机器人执行使被作业物的第二部位靠近第二目标的优先度低的动作。

另外，在本发明的第一方式中，上述接受部也可以在用于输入上述第一动作信息以及上述第二动作信息的显示画面显示于显示部的情况下，接受用户通过上述显示画面输入的上述第一动作信息以及上述第二动作信息。

这样，用户能够根据显示画面输入第一动作信息以及第二动作信息，并基于该输入的信息使机器人进行动作，从而能够使机器人执行用户所希望的两个不同的动作。

另外，在本发明的第一方式中，也可以在上述显示画面显示有第一被作业物的图像和第二被作业物的图像，上述第一动作信息是通过在上述第一被作业物的图像中指定第一部位、并在上述第二被作业物的图像中指定使上述第一部位一致的第一目标而被输入的信息，上述第二动作信息是通过在上述第一被作业物的图像中指定第二部位、并在上述第二被作业物的图像中指定靠近上述第二部位的第二目标而被输入的信息。

这样，将被作业物作为图像显示，从而相对于其图像指示动作信息亦即部位、目标即可，因此能够提供视觉上易于明白的用户界面。

另外，在本发明的第一方式中，也可以在上述显示画面显示有用于输入上述第一动作信息的第一选项、和用于输入上述第二动作信息的第二选项，上述第一动作信息以及上述第二动作信息是通过从上述第一选项与上述第二选项中选择用户所希望的动作而被输入的信息。

这样，将动作作为选项而显示，因此能够指示例如末端执行器的姿势、被作业物的部位的虚拟的动作等、仅用特征点、目标点无法表示的动作。

另外，在本发明的第一方式中，上述处理部也可以以使基于上述第一动作信息的动作比基于上述优先度低的上述第二动作信息的动作优先的方式使上述机器人执行。

这样，处理部执行通过第一动作信息以及第二动作信息指示的任务，从而在通过执行该任务而使机器人进行动作的结果中，针对优先度高的第一动作信息，能够以更高程度实现该指示内容。

另外，在本发明的第一方式中，也可以上述第一动作信息是以比上述机器人的末端执行器的位置以及姿势的自由度少的自由度进行的动作的信息，上述第二动作信息是以基于上述第一动作信息的动作的上述末端执行器的位置以及姿势的冗长自由度进行的动作的信息。

这样，能够使机器人以比机器人的末端执行器的位置以及姿势的自由度少的自由度执行基于第一动作信息的动作，并能够使机器人以该动作的末端执行器的位置以及姿势的冗长自由度执行基于第二动作信息的动作。

另外，在本发明的第一方式中，上述处理部也可以通过使比上述机器人的末端执行器的位置以及姿势的自由度少的自由度的图像特征量与目标特征量一致的处理、以及使规定基于上述第二动作信息的动作的评价函数最大化的处理，使上述机器人执行基于上述第一动作信息以及上述第二动作信息的动作。

这样，通过使比末端执行器的位置以及姿势的自由度少的自由度的图像特征量与目标特征量一致的处理，能够使机器人执行基于第一动作信息的动作，通过使评价函数最大化的处理，能够使机器人执行基于第二动作信息的动作。

另外，本发明的第一方式中，也可以上述处理部通过ΔX＝λJ^#(Sg－S)+(I－J^#J)ξkp对上述末端执行器的位置以及姿势X的变化ΔX进行控制，S是基于上述多个拍摄图像的图像特征量，Sg是基于参照图像的目标特征量，ξ是上述评价函数的X的微分，J是将X与S建立关系的雅可比矩阵式，J^#是J的伪逆矩阵，I是单位矩阵，λ、kp是控制增益。

这样，通过第一项λJ^#(Sg－S)，能够实现使比末端执行器的位置以及姿势的自由度少的自由度的图像特征量与目标特征量一致的处理，通过第二项(I－J^#J)ξkp，能够实现使规定基于第二动作信息的动作的评价函数最大化的处理。

另外，在本发明的第一方式中，也可以基于上述第一动作信息以及上述第二动作信息的动作包含规定的作业，上述规定的作业包含组装作业、嵌合作业、***作业中的任一个作业。

这样，作为基于第一动作信息以及第二动作信息的动作，例如能够使机器人进行组装作业、嵌合作业、***作业等规定的作业。

另外，在本发明的第一方式中，上述处理部也可以通过使用了上述多个拍摄图像的视觉伺服控制，使机器人执行基于上述第一动作信息以及上述第二动作信息的动作。

这样，通过基于从拍摄图像抽出的特征量而对机器人进行反馈控制的视觉伺服控制，能够使机器人执行基于第一动作信息以及第二动作信息的动作。

本发明的第二方式涉及机器人，其接受第一动作信息、和与上述第一动作信息不同的第二动作信息，接受从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像，使用上述多个拍摄图像，进行基于上述第一动作信息以及上述第二动作信息的动作。

本发明的第三年方式涉及机器人***，其包含：接受部，其接受第一动作信息、和与上述第一动作信息不同的第二动作信息；拍摄部，其在从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物；以及机器人，其使用由上述拍摄部拍摄的多个拍摄图像，进行基于上述第一动作信息以及上述第二动作信息的动作。

本发明的第四方式涉及控制方法，其包含：接受第一动作信息、和与上述第一动作信息不同的第二动作信息；以及使用在机器人从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像，使上述机器人进行基于上述第一动作信息以及上述第二动作信息的动作。

本发明的第五方式涉及使机器人组装包含第一主体部、第一部位以及第二部位的第一被作业物、与包含第一孔部和第二孔部的第二被作业物的控制装置，上述控制装置包含：使用在上述机器人从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像，使上述机器执行使上述第一被作业物的上述第一部位与上述第二被作业物的上述第一孔部靠近的第一动作、和使上述第一被作业物的上述第二部位与上述第二被作业物的上述第二孔部靠近的第二动作的处理部。

根据本发明的第五方式，使用在机器人的姿势转变的期间拍摄的多个拍摄图像控制机器人，从而能够使第一被作业物的第一部位与第二被作业物的上述第一孔部靠近，并使能够第一被作业物的第二部位与第二被作业物的上述第二孔部靠近。由此，能够在将被作业物移动至目标位置时使机器人执行两个动作，从而能够更加可靠地将被作业物移动至目标位置。

另外，在本发明的第五方式中，上述机器人也可以在上述第一部位的长度比上述第二部位的长度长的情况下，使上述第一动作比上述第二动作先进行。

这样，使第一动作比第二动作先进行，从而能够以适于被作业物的形状的顺序组装第一被作业物和第二被作业物。即，在使第一被作业物靠近第二被作业物时，能够先使到达孔部的长的部位先靠近孔部，其后使到达孔部的短的部位靠近孔部。

另外，在本发明的第五方式中，上述机器人也可以使上述第一部位变形而进行上述第二动作。

这样，使先***的第一部位在第二动作变形，从而能够使第二部位准确地靠近第二孔部。由此，在其后的动作中，仅通过使第二部位朝***方向移动，便能够朝第二孔部***。

另外，在本发明的第五方式中，也可以上述第一被作业物是电容器，上述第一部位以及上述第二部位是上述电容器的端子。

这样，能够将电容器作为第一被作业物，将电容器的端子***第二被作业物的第一孔部和第二孔部，从而组装电容器与第二被作业物。

另外，在本发明的第五方式中，也可以上述第二被作业物是电子基板，上述第一孔部以及上述第二孔部是用于安装上述端子的孔。

这样，能够将电子基板作为第二被作业物，将电容器的端子***电子基板的孔，从而组装电容器与电子基板。

另外，在本发明的第五方式中，上述处理部也可以在上述第一动作与上述第二动作之间，使上述机器人执行使上述第一部位朝上述第一孔部***的动作。

这样，能够通过第一动作使长的第一部位靠近第一孔部，其后将第一部位***第一孔部，其后将短的第二部位靠近第二孔部。这样，能够使机器人比第二动作先执行第一动作。

另外，在本发明的第五方式中，上述处理部也可以在使上述机器人执行了上述第二动作后，使上述机器人执行使上述第二部位朝上述第二孔部***的动作。

这样，能够使短的第二部位靠近第二孔部，其后将第二部位朝第二孔部***。这样，将第一部位***第一孔部，并将第二部位***第二孔部，从而能够组装第一被作业物与第二被作业物。

另外，在本发明的第五方式中，上述处理部也可以通过使用了上述多个拍摄图像的视觉伺服控制，使上述机器人执行上述第一动作以及上述第二动作，通过位置控制，使上述机器人执行将上述第一部位朝上述第一孔部***的动作、和将上述第二部位朝上述第二孔部***的动作。

视觉伺服通过图像控制相对的位置关系，因此即使在例如部位与孔部的相对的位置关系不相同的情况下，也能够将被作业物的部位准确地靠近孔部。在被作业物的部位靠近孔部后，***方向已决定，因此使用位置控制能够***。

另外，在本发明的第五方式中，上述处理部也可以在上述第二动作中，进一步使上述机器人执行将上述第一部位朝上述第一孔部***的动作，在使上述机器人进行了上述第二动作后，使上述机器人执行将上述第二部位朝上述第二孔部***的动作。

在第一部位比第二部位长的情况下，若在通过第一动作使第一部位靠近了第一孔部的状态下，进行使第二部位靠近第二孔部的第二动作，则能够自然地将第一部位***第一孔部。利用此情况，能够在第二动作中同时进行第一部位的***，从而能够使作业步骤简单化。

另外，在本发明的第五方式中，上述处理部也可以通过使用了上述多个拍摄图像的视觉伺服控制，使上述机器人执行上述第一动作以及上述第二动作，通过位置控制，使上述机器人执行将上述第二部位朝上述第二孔部***的动作。

视觉伺服通过图像控制相对的位置关系，因此能够使被作业物的部位准确地靠近孔部。在第二部位靠近了第二孔部后，***方向已决定，因此使用位置控制能够***。

另外，在本发明的第五方式中，上述机器人也可以在上述第一部位的长度与上述第二部位的长度相同的情况下，同时进行上述第一动作与上述第二动作。

这样，同时进行第一动作与第二动作，从而在第一部位与第二部位的长度相同的被作业物中，能够高效地进行作业。例如，通过一次视觉伺服使第一部位与第二部位靠近第一孔部与第二孔部，因此能够减少作业的步骤数而使组装作业简单化。

另外，在本发明的第五方式中，也可以上述第一被作业物是电阻元件，上述第一部位以及上述第二部位是上述电阻元件的端子。

这样，将电阻元件作为第一被作业物，将电阻元件的端子***第二被作业物的第一孔部和第二孔部，从而能够组装电阻元件和第二被作业物。

另外，在本发明的第五方式中，也可以上述第二被作业物是电子基板，上述第一孔部以及上述第二孔部是用于安装上述端子的孔。

这样，将电子基板作为第二被作业物，将电阻元件的端子***电子基板的孔，从而能够组装电阻元件与电子基板。

另外，在本发明的第五方式中，上述处理部也可以在使上述机器人进行了上述第一动作以及上述第二动作后，使上述机器人执行进行上述第一部位朝上述第一孔部的***以及上述第二部位朝上述第二孔部的***的动作。

这样，使长度相同的第一部位与第二部位靠近第一孔部与第二孔部，其后能够将第一部位与第二部位朝第一孔部与第二孔部***。这样，能够组装第一被作业物与第二被作业物。

另外，在本发明的第五方式中，上述处理部也可以通过使用了上述多个拍摄图像的视觉伺服控制，使上述机器人执行上述第一动作以及上述第二动作，并通过位置控制，使上述机器人执行进行上述第一部位朝上述第一孔部的***以及上述第二部位朝上述第二孔部的***的动作。

视觉伺服通过图像控制相对的位置关系，因此能够使被作业物的部位准确地靠近孔部。在第一部位与第二部位靠近第一孔部与第二孔部之后，***方向已决定，因此使用位置控制能够***。

本发明的第六方式涉及将包含第一主体部、第一部位以及第二部位的第一被作业物、与包含第一孔部和第二孔部的第二被作业物组装的机器人，上述机器人接受在从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像，并使用上述多个拍摄图像，进行使上述第一被作业物的上述第一部位与上述第二被作业物的上述第一孔部靠近的第一动作、和使上述第一被作业物的上述第二部位与上述第二被作业物的上述第二孔部靠近的第二动作。

本发明的第七方式涉及将包含第一主体部、第一部位以及第二部位的第一被作业物与包含第一孔部和第二孔部的第二被作业物组装的机器人***，上述机器人***包含：拍摄部，其在从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物；以及机器人，其使用由上述拍摄部拍摄的多个拍摄图像，进行使上述第一被作业物的上述第一部位与上述第二被作业物的上述第一孔部靠近的第一动作、和使上述第一被作业物的上述第二部位与上述第二被作业物的上述第二孔部靠近的第二动作。

本发明的第八方式涉及使机器人组装包含第一主体部、第一部位以及第二部位的第一被作业物、与包含第一孔部和第二孔部的第二被作业物的控制方法，上述控制方法包含如下步骤：接受在上述机器人从第一姿势移向与上述第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像；以及使用上述多个拍摄图像，使上述机器人执行使上述第一被作业物的上述第一部位与上述第二被作业物的上述第一孔部靠近的第一动作、和使上述第一被作业物的上述第二部位与上述第二被作业物的上述第二孔部靠近的第二动作。

如以上那样，根据本发明的几个方式，能够提供能够更加可靠地使被作业物移动至目标位置的控制装置、机器人、机器人***以及控制方法等。

附图说明

图1(A)是控制装置的第一构成例以及第三构成例。图1(B)是控制装置的第二构成例。

图2是控制处理的第一流程图。

图3是视觉伺服的配置构成例。

图4是视觉伺服的第一控制方法的拍摄图像。

图5是视觉伺服的第一控制方法的参照图像。

图6是视觉伺服的第二控制方法的拍摄图像。

图7是视觉伺服的第二控制方法的参照图像。

图8是视觉伺服的第二控制方法的说明图。

图9(A)是视觉伺服的第三控制方法的参照图像。图9(B)是视觉伺服的第三控制方法的说明图。

图10是视觉伺服的第四控制方法的拍摄图像。

图11是视觉伺服的第四控制方法的说明图。

图12是显示画面的第一例。

图13是显示画面的第二例。

图14是控制处理的第二流程图。

图15是控制处理的第三流程图。

图16(A)、图16(B)是机器人的构成例。

图17是经由网络来控制机器人的机器人控制***的构成例。

图18是基于特征的视觉伺服的流程图。

具体实施方式

以下，对本发明的优选的实施方式详细地进行说明。此外，以下进行说明的本实施方式并未不当地限定权利要求的范围所记载的本发明的内容，本实施方式所说明的结构的全部并不局限于作为本发明的解决手段所必需的。

1.控制装置

图1(A)表示通过本实施方式的控制方法控制机器人的控制装置的第一构成例。

参照图1(A)，对控制装置100的第一构成例进行说明。作为第一构成例的控制装置100包括接受部110和处理部120。

接受部110接受第一动作信息、和与第一动作信息不同的第二动作信息。例如，接受部110接受用户输入的第一动作信息与第二动作信息。或者，控制装置100也可以包含对第一动作信息和第二动作信息进行存储的未图示的存储部(例如RAM、硬盘驱动器、ROM等)，接受部110也可以接受从该存储部读出的信息。在该情况下，接受部110例如是存储控制器。

处理部120在机器人300从第一姿势向与第一姿势不同的第二姿势转移之间，使用将被拍摄物多次拍摄的多个拍摄图像，进行使机器人300执行基于第一动作信息以及第二动作信息的动作的处理。具体而言，拍摄部200按时间序列拍摄图像，处理部120通过使用了按该时间序列拍摄的图像的视觉伺服控制机器人300，使机器人300执行基于第一动作信息以及第二动作信息的动作。处理部120通过例如CPU、GPU等实现。

在图1(B)中，作为接受由用户输入的动作信息的情况下的例子，表示控制装置的第二构成例。

参照图1(B)，对控制装置100的第二构成例进行说明。作为第二构成例的控制装置100包括接受部110、处理部120和显示控制部140。

显示控制部140进行使显示部130显示用于输入第一动作信息与第二动作信息的显示画面的控制。显示画面例如图12、图13后述。用户看见显示画面并且，经由操作部210输入第一动作信息与第二动作信息。接受部110接受该输入的信息。接受部110是例如连接操作部210与控制装置100的接口。

控制装置100例如，使机器人300执行图2所后述的电容器20的组装作业。在该作业中，将首先电容器20的长引线30***电子基板50的第一孔60(步骤S4)。此时，需要将长引线30准确地靠近第一孔60(步骤S3)，因此第一动作信息是使长引线30与第一孔60一致的指示信息。在本实施方式中，使用视觉伺服(广义上使用了通过拍摄部拍摄的多个拍摄图像的机器人控制)在图像上使长引线30与第一孔60靠近，因此即使电子基板50并未每次配置于已决定的位置，也能够使长引线30与第一孔60一致。

然而，仅通过第一动作信息仅使长引线30与第一孔60一致，因此无法决定短引线40相对于第二孔70而来到怎样的位置。在短引线40成为自由的位置的情况下，机器人300的臂欲采取不自然的姿势、做不到的姿势，或使在将短引线40***第二孔70时使短引线40与孔一致的作业变困难等。于是，将尽量使短引线40靠近第二孔70的指示信息作为与第一动作信息不同的第二动作信息来接受。由此，能够保证使长引线30与第一孔60一致的条件，并且同时能够使短引线40靠近第二孔70，从而能够消除上述的问题点。

更具体而言，第一动作信息与第二动作信息是优先度不同的信息。而且，第二动作信息与第一动作信息相比优先度更低。若将图2的步骤S3作为例子，优先度高的动作是将电容器20的长引线30***电子基板50的第一孔60的动作。优先度低的动作是尽量使短引线40靠近第二孔70的动作。

这样，通过使用优先度不同的动作信息，以使机器人300根据第二动作信息所指示的指示内容并且使比第二动作信息优先度更高的第一动作信息所指示的指示内容优先实现的方式使控制装置100能够进行视觉伺服控制。由此，在机器人300所进行的作业中，能够使第一被作业物与第二被作业物移动至适于该作业的位置关系。例如，在上述的电容器20的例子中，即使在***电容器20的电子基板50未被配置于准确决定了的位置的情况下、如电容器20那样***的脚的长度不同的情况下，也能够更加可靠地使电容器20移动至适当的***位置。

此处，第一动作信息与第二动作信息不限定于上述。即，对于接受部110而言，作为第一动作信息而接受使被作业物的第一部位与第一目标一致的动作的信息，作为第二动作信息而接受使被作业物的部位或者机器人的部位亦即第二部位与第二目标靠近的动作的信息。只要是这样的信息，在本实施方式中能够使用各种动作信息。

例如，在图2的步骤S5中，在使短引线40与第二孔70一致的情况下，使被作业物亦即电容器20的短引线40(第一部位)与第二孔70的位置(第一目标)一致的动作是优先度高的第一动作。而且，如图9(B)所示，尽量不使机器人300的手部10(第二部位)的姿势R从视觉伺服开始时的姿势Rg(第二目标)改变的动作是优先度低的第二动作。尽量不使手部10的姿势R从姿势Rg改变是指尽量靠近第二目标亦即姿势Rg。

或者，第一动作与上述相同，但如图11所示，也可以使在使短引线40朝向第二孔70移动时长引线30(第二部位)的变形最小的动作作为第二动作。第二目标是被第一孔6约束了的长引线30的位置。假设在长引线30未被第一孔60约束的情况下，对使短引线40移动时的长引线30的虚拟的移动量(图像特征量的变化ΔSlc)进行推定，以使该虚拟的移动量成为最小的方式进行视觉伺服。长引线30的虚拟的移动量成为最小是指尽量靠近被第一孔60约束了的长引线30的位置。

通过接受以上那样的动作信息，使被作业物的第一部位与第一目标一致，在其动作实现的范围内能够尽可能地使被作业物的部位或者机器人的部位亦即第二部位靠近第二目标。由此，基于两个不同的动作信息能够使被作业物适当地移动。即，能够实现优先度高的第一目标，并且能够使第二部位配置于更加适当的位置。

此处，使第一部位与第一目标一致是指使第一部位与第一目标(第一目标附近)配合。例如，在图2的步骤S3中，通过使长引线30的前端与第一孔60的入口配合(即、一致)，能够使第一部位与第一目标一致。此外，也可以对电子基板50进行把持，并使第一孔60的入口与长引线30的前端配合，从而使第一部位与第一目标一致。

另外，使第二部位与第二目标靠近是指缩短第二部位与第二目标之间的距离。例如，在图2的步骤S3中，通过使短引线40的前端朝向第二孔70的上方的位置移动(即、靠近)，使短引线40的前端与第二孔之间的距离靠近。此外，也可以对电子基板50进行把持，并使第二孔70的上方的位置朝向短引线40的前端移动，从而使短引线40的前端与第二孔之间的距离靠近。

此外，被作业物的部位不限定于如电容器20的引线那样的线状的部位。例如，也可以是从被作业物的主体部突出的突起、工具的作用于部件的部位(例如驱动器的前端)、夹具的与部件抵接的部位等。或者相反地，也可以是在被作业物的主体部开的孔部、通过工具所进行作业的部件(例如螺纹)、抵接有夹具的部件等。该情况下，手部把持孔部、部件，从而相对于突起、工具、夹具靠近。

上述那样的基于动作信息的机器人300的动作能够如以下那样实现。即，处理部120进行使与第一部位对应的第一特征量同与第一目标对应的第一目标特征量一致的处理、和使与第二部位对应的第二特征量同与第二目标对应的第二目标特征量靠近的处理。

以使长引线30与第一孔60一致的视觉伺服为例子进行说明。如图6所示，第一特征量是长引线30的图像特征量Sl1、Sl2，第二特征量是短引线40的图像特征量Ss1、Ss2。如图7所示，第一目标特征量是长引线30与第一孔60一致时的长引线30的图像特征量Slg1、Slg2，第二目标特征量是长引线30与第一孔60一致时的短引线40的图像特征量Ssg1、Ssg2。处理部120使这些特征量与目标特征量一致，或者靠近，从而能够使机器人300执行两个不同的动作。

上述那样的特征量与目标特征量由接受部110所接受的第一动作信息与第二动作信息决定。例如，如图12那样直接地指定部位与目标点，从而指示与它们对应的特征量与目标特征量。或者，如图13那样，也可以对欲使机器人300执行的动作进行指定，从而间接地决定该动作所必需的特征量与目标特征量。使怎样的动作与怎样的特征量和目标特征量预先存储于例如预先控制装置100即可。

如上述那样，第一动作信息与第二动作信息优先度不同。该优先度的不同意味着处理部120以与基于优先度低的第二动作信息的动作相比使基于第一动作信息的动作优先的方式使机器人300执行。

即，处理部120执行由动作信息指示的任务，在通过执行该任务而使机器人300动作的结果中，优先度高的动作信息是指其指示内容以更高的程度实现。例如，在上述的长引线30的***作业中，执行使长引线30与第一孔60一致的第一任务、和使短引线40靠近第二孔70的第二任务。在该情况下，短引线40仅靠近第二孔70而未与其一致，即使第二任务是低的完成度，也使长引线30与第一孔60一致，第一任务以高的完成度实现。

若更具体地对优先度的不同的动作信息进行说明，则第一动作信息是以比机器人300的末端执行器的位置以及姿势的自由度少的自由度进行的动作的信息。另外，第二动作信息是以基于第一动作信息的动作的末端执行器的位置以及姿势的冗长自由度进行的动作的信息。

例如，如图5所示，在长引线30的前端与第一孔60一致、长引线30的方向与***方向一致时，留下有以长引线30作为轴的旋转方向RF的自由度。即，能够使长引线30与第一孔60一致的动作能够以五个自由度进行。手部10的自由度是位置以及姿势的六个自由度，因此也称为比手部10的自由度少的自由度。旋转方向RF是手部10的冗长自由度，且使用第二动作信息控制在该旋转方向RF的电容器20的旋转。该动作成为使短引线40靠近第二孔70的动作。被以长引线30为轴的旋转限制，因此如图6所示在短引线40弯曲那样的情况下，短引线40不局限于与第二孔70一致。即，以冗长自由度进行的第二动作与第一动作相比优先度低。

并且，参照图1(A)，对控制装置100的第三构成例进行说明。作为第三构成例的控制装置100包括接受部110和处理部120。

控制装置100使机器人300组装包含第一主体部和第一部位的第一被作业物、与包含第一孔部与第二孔部的第二被作业物。

具体而言，接受部110接受在不同时刻在机器人300从第一姿势移向与第一姿势不同的第二姿势的期间多次拍摄被拍摄物的多个拍摄图像。接受部110例如是连接拍摄部200与控制装置100的接口。即，拍摄部200按时间序列拍摄被拍摄物，该时间序列的多个拍摄图像经由接口而输入控制装置100。

处理部120使用接受部110所接受的多个拍摄图像，使机器人300执行使第一被作业物的第一部位与第二被作业物的第一孔部靠近的第一动作、和使第一被作业物的第二部位与第二被作业物的第二孔部靠近的第二动作。具体而言，通过使用了按时间序列的拍摄图像的视觉伺服对机器人300进行控制，使机器人300执行第一动作以及第二动作。处理部120通过例如CPU、GPU实现。

例如，在图2所示的电容器20的组装作业中，第一被作业物是电容器20，第二被作业物是电子基板50。电容器20包含主体部25、第一部位亦即长引线30、以及第二部位亦即短引线40。在电子基板50设置有第一孔部亦即第一孔60、第二孔部亦即第二孔70。

在图2的流程中，通过第一视觉伺服(步骤S3)、第二位置控制(步骤S4)以及第二视觉伺服(步骤S5)，进行使长引线30靠近第一孔60的动作、和使短引线40靠近第二孔70的动作。即，第一动作与第二动作也可以不需要通过连续的一次视觉伺服实现，而是通过包含多次视觉伺服的一系列的控制来实现。在图2的流程中，虽在视觉伺服之间***位置控制，但使引线靠近孔的动作通过视觉伺服来实现。

另外，也可以如图14的流程那样控制。在该流程中，通过第一视觉伺服(步骤S23)与第二视觉伺服(步骤S24)，进行使长引线30靠近第一孔60的动作、和使短引线40靠近第二孔70的动作。这样，也可以不包含位置控制，而通过两次连续的视觉伺服来进行第一动作以及第二动作。

在图15将后述的电阻元件80的组装作业中，第一被作业物是电阻元件80，第二被作业物是电子基板50。电阻元件80包含主体部85、第一部位亦即第一引线35、第二部位亦即第二引线45。在电子基板50设置有第一孔部亦即第三孔65、和第二孔部亦即第四孔75。

在图15的流程中，通过视觉伺服(步骤S43)，进行使第一引线35靠近第三孔65的动作、和使第二引线45靠近第四孔75的动作。这样，也可以在一次视觉伺服中同时进行第一动作和第二动作。

如以上那样，根据本实施方式，通过视觉伺服，使第一被作业物的第一部位与第二被作业物的第一孔部靠近，从而能够使第一被作业物的第二部位与第二被作业物的第二孔部靠近。例如，即使在***电容器20的电子基板50未配置于正确决定的位置的情况下，也由于在视觉伺服中通过图像把握位置关系，因此能够使电容器20移动至适当的***位置。这样，通过使用视觉伺服，能够使机器人300进行的作业中使第一被作业物与第二被作业物移动至适于该作业的位置关系。

此处，使部位与孔部靠近是指缩短部位与孔部之间的距离。例如，在图2的步骤S3中，通过使长引线30的前端朝向第一孔60的入口移动(即、靠近)，缩短部位与孔部之间的距离。此外，也可以把持电子基板50，并使第一孔60的入口朝向长引线30的前端移动，从而缩短部位与孔部之间的距离。

此外，被作业物的部位不限定于如电容器20的引线那样的线状的部位。例如，也可以是从被作业物的主体部突出的凸部(突起)等。另外，被作业物的孔部不限定于如***引线的孔那样的细的贯通孔。例如，也可以是孔部未贯通被作业物的孔、嵌合有凸部的凹部。

在上述的电容器20的组装作业中，两条引线的长度不同。这样，在第一部位的长度比第二部位的长度更长的情况下，处理部120使机器人300执行比第二动作先执行第一动作。

在例如图2的流程中，通过第一视觉伺服(步骤S3)使长引线30靠近第一孔60，再通过第二位置控制(步骤S4)将长引线30***第一孔60，然后通过第二视觉伺服(步骤S5)使短引线40靠近第二孔70。

或者在图14的流程中，通过第一视觉伺服(步骤S23)使长引线30靠近第一孔60，通过第二视觉伺服(步骤S24)将长引线30***第一孔60，并且使短引线40靠近第二孔70。

这样，通过按顺序设置第一动作与第二动作，能够以适于被作业物的形状的顺序组装被作业物。即，在使第一被作业物靠近第二被作业物时，使先到达孔部的长一方的部位先靠近孔部，在将该部位***孔部之后(或者***同时)，能够使后到达孔部的短的一方的部位靠近孔部。由此，通过顺畅且可靠地进行组装作业。

此处，部位的长度是指将部位***孔部的方向的部位的长度。例如，引线从主体部的底面延伸，引线的长度是从主体部的底面至引线的前端的长度。这与在将引线***孔的方向(即、沿着引线的方向)的引线的长度相当。

在上述的电阻元件80的组装作业中，两条引线的长度相同。这样，在第一部位的长度与第二部位的长度相同的情况下，处理部120使机器人300同时执行第一动作和第二动作。

例如在图15的流程中，通过一次视觉伺服(步骤S43)同时使第一引线35靠近第三孔65，并使第二引线45靠近第四孔75。此外，同时并不意味着靠近孔的时间是同时的，而是意味着在一次视觉伺服中对两个动作进行控制。即，即使靠近孔的时机不同，作为视觉伺服的结果而使两条引线分别靠近孔即可。

这样，通过不按顺序设置第一动作与第二动作，而是同时进行，在与引线的长度相等的电阻元件那样的被作业物中，能够高效地进行作业。例如，如图15的流程那样，两条引线在一次视觉伺服靠近孔，能够减少作业的步骤数而使电阻元件的***作业简单化。

此处，长度相同不仅包括完全相等的情况，也包括大致相同的情况。例如，在使两条引线的前端与两个孔配合时，只要引线相对于电子基板50几乎垂直，便能够将引线***孔。这样，在使两个部位同时靠近孔部的情况下，只要是对其后的***不产生妨碍的程度的长度的不同是允许的。

2.第一控制处理流程

接下来，以将电容器20组装于电子基板50的情况为例，对控制处理的详细情况进行说明。图2表示控制处理的第一流程图。此外，图2中对各步骤的概要进行说明，各步骤的详细情况将后述。

如图2所示，电容器20由积蓄电荷的部分亦即主体部25、电容器20的正极端子亦即长引线30(第一部位)、以及电容器20的负极端子亦即短引线40(第二部位)构成。另外，在电子基板50设置有第一孔60(第一孔部)与第二孔70(第二孔部)。使长引线30、短引线40分别***第一孔60、第二孔70，利用钎焊等安装，从而组装电容器20与电子基板50。

若开始控制处理，首先手部10把持主体部25(步骤S1)。接下来，通过第一位置控制使电容器20朝视觉伺服的开始点移动(步骤S2)。步骤S2以下省略手部10的图示。

此处，位置控制是使手部10等末端执行器的位置以及姿势从起点移动至终点的控制。在步骤S1中，起点是使把持动作结束时的手部10的位置以及姿势，终点是视觉伺服的开始点的末端执行器的位置以及姿势。生成从起点至终点的轨道，并基于该轨道对臂的关节角、关节角速度进行控制，从而使末端执行器沿着轨道移动。

接下来，通过第一视觉伺服，使长引线30的特征点TPa与目标点GPa一致，并且使短引线40的特征点TPb尽量靠近第二目标点GPb(步骤S3)。特征点与目标点通过引线的前端的位置以及引线的方向指定。在图2中，将优先度高的动作的特征点と目标点用×标记表示，将优先度低的动作的特征点与目标点用○标记表示。目标点GPa是第一孔60的入口或者正上方，目标点GPb是第二孔70的上方。目标点GPa、GPb在距电子基板50的高度上，仅长引线30与短引线40的长度之差不同。

这样，第一部位亦即长引线30与第一孔部亦即第一孔60一致。此处，第一部位与第一孔部一致是指使第一部位与第一孔部(第一孔部附近)配合。此外，如步骤S3那样，可以使长引线30的前端与第一孔60的入口配合(即、使它们一致)，从而使第一部位与第一孔部一致，也可以把持电子基板50，使第一孔60的入口与长引线30的前端配合，从而使第一部位与第一孔部一致。

接下来，通过第二位置控制使电容器20向下方(***方向)移动，从而将长引线30***第一孔60(步骤S4)。这里，仅使之移动短引线40未达到第二孔70的距离。

为了将引线***孔，需要将引线准确地靠近孔。因此，处理部120通过视觉伺服使机器人300执行靠近孔的动作。另外，引线与孔的相对的位置关系不局限于总是相同，因此视觉伺服适用。在引线的***作业中决定移动方向，因此处理部120能够使用位置控制而使机器人300执行***动作。与使用图像而进行反馈的视觉伺服相比，能够直接地控制机器人，因此有利于作业时间的缩短。

接下来，通过第二视觉伺服使短引线40的特征点TPc与目标点GPc一致(步骤S5)。目标点GPc是第二孔70的正上方。在长引线30、短引线40从主体部25倾斜地出来的情况下、长引线30、短引线40弯曲的情况下，伴随着短引线40的特征点TPc移动至目标点GPc，长引线30变形。该变形由于长引线30被第一孔60约束(***)而产生，例如是与主体部25连接的根部弯曲的变形。

这样，处理部120使机器人300执行使先***的长引线30在第二动作中变形的动作，从而能够进行其后进行的短引线40的***。即，在视觉伺服中利用图像识别引线与孔，因此能够使引线的前端与孔正确地配合，该动作通过使长引线30变形来实现。通过短引线40的前端与第二孔70的正上方准确地一致，其后仅使电容器20向下方移动便能够将短引线40***第二孔70。

接下来，通过第三位置控制使电容器20向下方(***方向)移动，从而将短引线40***第二孔70(步骤S6)。这里，使之移动至组装结束的位置，例如使长引线30、短引线40能够与第一孔60、第二孔70钎焊的位置。

如步骤S4说明的那样，使需要精度的引线与孔一致的动作在通过视觉伺服预先进行，其后能够在决定移动方向的***作业使用位置控制。

上述那样的处理流程基于与该处理流程对应的作业方案使处理部120执行。例如，作业方案存储于控制装置100的未图示的存储部。处理部120从其存储部取得作业方案，将该作业方案变换为具体的控制处理(例如马达的控制信息等)，对机器人进行控制。作业方案是指用于使机器人执行作业的方案(程序)，例如通过组合多个子程序构成。或者，处理部120也可以通过生成作业方案来取得。例如，用户仅将所希望的目标状态(例如利用图12、图13的输入画面)输入，从而处理部120生成实现该目标状态的作业方案。

此外，在上述的流程中，对利用手部10把持电容器20，将其电容器20组装于设置于作业台上的夹具等的电子基板50的情况下为例进行了说明，但也可以利用手部10把持电子基板50，从而将该电子基板50组装于设置于作业台上的夹具的电容器20。

3.视觉伺服的第一控制方法(基本处理)

在使长引线30与第一孔60一致的情况下为例，对视觉伺服的第一控制方法进行说明。此外，视觉伺服的第一控制方法是视觉伺服的基本的控制处理。

此外，以下以照相机(拍摄部)为两台的情况为例进行说明，但照相机也可以是一台或者三台以上。

如图3所示，视觉伺服中通过第一照相机CM1与第二照相机CM2拍摄被拍摄物，使用其拍摄图像对臂320的关节角、手部10的位置以及姿势进行控制。被拍摄物是第一被作业物亦即电容器20、和第二被作业物亦即电子基板50。照相机CM1、CM2按时间序列进行拍摄(例如动画拍摄)，控制装置100使用在各时刻的拍摄图像对臂320、手部10进行反馈控制。反馈控制的流程在图16将后述。

图4是照相机CM1、CM2的拍摄图像。根据照相机CM1的拍摄图像检测出下式(1)所示的图像特征量，根据照相机CM2的拍摄图像检测出下式(2)所示的图像特征量。图像特征量的检测通过图像识别进行。

式1

s_l1＝[s_xl1 s_yl1 s_θl1]^T    (1)

式2

s_l2＝[s_xl2 s_yl2 s_θl2]^T    (2)

若用(x，y)表示图像上的位置，Sl1＝(Sxl1，Syl1)、Sl2＝(Sxl2，Syl2)是长引线30的前端的在拍摄图像上的位置，在图4中用△标记表示。(x，y)例如是直角坐标，x例如是水平扫描方向，y例如与垂直扫描方向对应。Sθl1、Sθl2是长引线30的在拍摄图像上的角度，图4中用标注于△标记的箭头表示。在图像上的角度例如是x轴与长引线30所成的角度，在本实施方式中是直角。此外，上附的“T”表示矢量或者矩阵的转置。

照相机CM1、CM2的图像特征量Sl1、Sl2与三维的作业空间中确定出长引线30的位置以及姿势对应。此时，以长引线30为轴的旋转(图5的RF)是自由的，因此长引线30的位置以及姿势是五个自由度。因此，长引线30的图像特征量Sl成为下式(3)。

式3

s_l＝[s_xl1 s_yl1 s_θl1 s_xl2 s_θl2]^T    (3)

例如，在照相机CM1、CM2在作业空间中设置于相同的高度的情况下，Syl1＝Syl2，因此能够如上式(3)那样选择图像特征量Sl。此外，矢量的要素的选择方法不限定于上式(3)，能够根据照相机的配置等适当地变更。

图5表示参照图像的例子。在视觉伺服中，在拍摄图像上使被作业物移动至目标，成为该目标的是参照图像。通过拍摄图像与参照图像的特征量之差能够推定被作业物的位置，由此进行反馈控制。

根据照相机CM1的参照图像检测出下式(4)所示的图像特征量，根据照相机CM2的参照图像检测出下式(5)所示的图像特征量。

式4

s_lg1＝[s_xlg1 s_ylg1 s_θlg1]^T    (4)

式5

s_lg2＝[s_xlg2 s_ylg2 s_θlg2]^T    (5)

(Sxlg1，Sylg1)、(Sxlg2，Sylg2)是长引线30的前端的在参照图像上的位置，Sθlg1、Sθlg2是长引线30的在参照图像上的角度。

根据参照图像的特征量Slg1、Slg2，使图像特征量Sl的目标值Slg成为下式(6)。

式6

s_lg＝[s_xlg1 s_ylg1 s_θlg1 s_xlg2 s_θlg2]^T    (6)

在本实施方式中，根据照相机CM1、CM2的拍摄图像对第一孔60与第二孔70进行图像识别，与该识别的第一孔60与第二孔70的位置对应而设定目标值Slg。即，在本实施方式中拍摄图像成为参照图像。

此外，参照图像也可以是区别于拍摄图像的图像，例如也可以是根据CAD模型数据生成的图像。另外，可以根据预先存储的参照图像检测图像特征量，也可以存储预先检测的图像特征量。

根据上式(3)的图像特征量Sl与上式(6)的目标图像特征量Slg，如下式(7)、(8)那样求出目标关节角的变化Δθg。通过该控制法则，使用时间序列的拍摄图像来依次决定目标关节角的变化Δθg，仅与该变化Δθg的部分对应使关节角变动，从而能够以消除实图像的特征量Sl与目标图像特征量Slg之差的方式进行控制。

式7

ΔX＝λJ_il ^#(s_lg-s_l)    (7)

式8

Δθ_g＝J_a ^#ΔX    (8)

在上式(7)中，X如下式(9)所示，是作业空间的手部10的位置(x，y，z)以及姿势(R1，R2，R3)。姿势(R1，R2，R3)例如是横滚角、俯仰角、偏航角。Λ是控制增益。Jil如下式(10)所示，是作业空间的被作业物的位置以及姿势与长引线30的图像特征量Sl之间的雅可比矩阵式。Jil^#是Jil的伪逆矩阵。

式9

X＝[x y z R₁ R₂ R₃]^T    (9)

式10

$J_{\mathrm{il}}=\left[\begin{array}{cccccc}\frac{\∂s_{\mathrm{xl}1}}{\∂x}& \frac{\∂s_{\mathrm{xl}1}}{\∂y}& \frac{\∂s_{\mathrm{xl}1}}{\∂z}& \frac{\∂s_{\mathrm{xl}1}}{\∂R_1}& \frac{\∂s_{\mathrm{xl}1}}{\∂R_2}& \frac{\∂s_{\mathrm{xl}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{yl}1}}{\∂x}& \frac{\∂s_{\mathrm{yl}1}}{\∂y}& \frac{\∂s_{\mathrm{yl}1}}{\∂z}& \frac{\∂s_{\mathrm{yl}1}}{\∂R_1}& \frac{\∂s_{\mathrm{yl}1}}{\∂R_2}& \frac{\∂s_{\mathrm{yl}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{\θl}1}}{\∂x}& \frac{\∂s_{\mathrm{\θl}1}}{\∂y}& \frac{\∂s_{\mathrm{\θl}1}}{\∂z}& \frac{\∂s_{\mathrm{\θl}1}}{\∂R_1}& \frac{\∂s_{\mathrm{\θl}1}}{\∂R_2}& \frac{\∂s_{\mathrm{\θl}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{xl}2}}{\∂x}& \frac{\∂s_{\mathrm{xl}2}}{\∂y}& \frac{\∂s_{\mathrm{xl}2}}{\∂z}& \frac{\∂s_{\mathrm{xl}2}}{\∂R_1}& \frac{\∂s_{\mathrm{xl}2}}{\∂R_2}& \frac{\∂s_{\mathrm{xl}2}}{\∂R_3}\\ \frac{\∂s_{\mathrm{\θl}2}}{\∂x}& \frac{\∂s_{\mathrm{\θl}2}}{\∂y}& \frac{\∂s_{\mathrm{\θl}2}}{\∂z}& \frac{\∂s_{\mathrm{\θl}2}}{\∂R_1}& \frac{\∂s_{\mathrm{\θl}2}}{\∂R_2}& \frac{\∂s_{\mathrm{\θl}2}}{\∂R_3}\end{array}\right]---\left(10\right)$

在上式(8)中，θg是下式(11)所示目标关节角的矢量。下式(11)是使用六个自由度臂的情况下的例子。Ja如下式(12)所示，是臂的关节角与作业空间的被作业物的位置以及姿势之间的雅可比矩阵式。Ja^#是Ja的伪逆矩阵。

式11

θ_g＝[θ_g1 θ_g2 θ_g3 θ_g4 θ_g5 θ_g6]^T    (11)

式12

$J_a=\left[\begin{array}{cccccc}\frac{\∂x}{\∂{\mathrm{\θ}}_1}& \frac{\∂x}{\∂{\mathrm{\θ}}_2}& \frac{\∂x}{\∂{\mathrm{\θ}}_3}& \frac{\∂x}{\∂{\mathrm{\θ}}_4}& \frac{\∂x}{\∂{\mathrm{\θ}}_5}& \frac{\∂x}{\∂{\mathrm{\θ}}_6}\\ \frac{\∂y}{\∂{\mathrm{\θ}}_1}& \frac{\∂y}{\∂{\mathrm{\θ}}_2}& \frac{\∂y}{\∂{\mathrm{\θ}}_3}& \frac{\∂y}{\∂{\mathrm{\θ}}_4}& \frac{\∂y}{\∂{\mathrm{\θ}}_5}& \frac{\∂y}{\∂{\mathrm{\θ}}_6}\\ \frac{\∂z}{\∂{\mathrm{\θ}}_1}& \frac{\∂z}{\∂{\mathrm{\θ}}_2}& \frac{\∂z}{\∂{\mathrm{\θ}}_3}& \frac{\∂z}{\∂{\mathrm{\θ}}_4}& \frac{\∂z}{\∂{\mathrm{\θ}}_5}& \frac{\∂z}{\∂{\mathrm{\θ}}_6}\\ \frac{\∂R_1}{\∂{\mathrm{\θ}}_1}& \frac{\∂R_1}{\∂{\mathrm{\θ}}_2}& \frac{\∂R_1}{\∂{\mathrm{\θ}}_3}& \frac{\∂R_1}{\∂{\mathrm{\θ}}_4}& \frac{\∂R_1}{\∂{\mathrm{\θ}}_5}& \frac{\∂R_1}{\∂{\mathrm{\θ}}_6}\\ \frac{\∂R_2}{\∂{\mathrm{\θ}}_1}& \frac{\∂R_2}{\∂{\mathrm{\θ}}_2}& \frac{\∂R_2}{\∂{\mathrm{\θ}}_3}& \frac{\∂R_2}{\∂{\mathrm{\θ}}_4}& \frac{\∂R_2}{\∂{\mathrm{\θ}}_5}& \frac{\∂R_2}{\∂{\mathrm{\θ}}_6}\\ \frac{\∂R_3}{\∂{\mathrm{\θ}}_1}& \frac{\∂R_3}{\∂{\mathrm{\θ}}_2}& \frac{\∂R_3}{\∂{\mathrm{\θ}}_3}& \frac{\∂R_3}{\∂{\mathrm{\θ}}_4}& \frac{\∂R_3}{\∂{\mathrm{\θ}}_5}& \frac{\∂R_3}{\∂{\mathrm{\θ}}_6}\end{array}\right]---\left(12\right)$

雅可比矩阵式Jil通过预先测定使手部10的位置以及姿势X微小变化时的图像特征量Sl的变化能够求出。在该情况下，预先存储预先求出的雅可比矩阵式即可。或者，也可以使雅可比矩阵式Jil工作并且使用推定的方法来计算。雅可比矩阵式Ja能够从机器人的关节角与连杆长的几何关系计算出。

作为求得伪逆矩阵(一般化逆矩阵)的方法例如以下的两种方法。第一方法是将A作为m×n的矩阵而求出方阵A^TA的逆矩阵的方法，通过下式(13)求出伪逆矩阵A^#。

式13

A^#＝(A^TA)^-1A^T    (13)

第二方法是利用奇异值分解的方法。任意的m×n的矩阵A能够分解为下式(14)的形式。

式14

A＝UΣV^T    (14)

U是m维的标准正交基，V是n维的标准正交基，Σ成为对角项具有奇异值的矩阵。此外，U是作为列向量而具有方阵AA^T的m个的特征向量的矩阵，V是作为列向量而具有方阵A^TA的n个特征向量的矩阵，Σ能够换言为在对角项具有U与V所共享的特征值的平方根的矩阵。

作为具有与上式(14)的A的逆矩阵相同的性质的矩阵能够考虑下式(15)的A^#。

式15

A^#＝VΣ^-1U^T    (15)

在本实施方式中，在上述的第一、第二方法中，通过使A＝Jil或者A＝Ja，能够求出逆雅可比矩阵式。

通过以上的第一控制方法，能够使长引线30的前端与目标点一致。另外，若使用短引线40的图像特征量与目标图像特征量(例如图10所示的Ss、Ssg)而进行相同的处理，则能够使短引线40的前端与目标点一致。

4.视觉伺服的第二控制方法

接下来，视觉伺服的第二控制方法进行说明。该方法能够用于图2的步骤S3所说明的第一视觉伺服。

在第一控制方法所使用的上式(7)、(8)的控制法则中，在以长引线30为中心的旋转方向(图5的RF)，没有对手部10的动作制约。因此，能够使长引线30与第一孔60一致，但在旋转方向，短引线40配置为怎样的角度还未决定。对于组装电容器20而言，需要将两条引线***孔，因此优选短引线40的配置也在某种程度上被制约。另外，若没有旋转方向的制约，则旋转角度超出机器人300所能够实现的范围，若考虑到存在成为无法实现的动作的可能性，则优选短引线40的配置在一定程度上被制约。

因此，在图2的步骤S3所说明的第一视觉伺服中，通过在控制法则加上对旋转方向的冗长自由度进行控制的项来制约旋转方向的动作。具体而言，使用下式(16)、(17)的控制法则。

式16

ΔX＝λJ_il ^#(s_lg-s_l)+(I-J_il ^#J_il)ξk_p    (16)

式17

Δθ_g＝J_a ^#ΔX    (17)

上式(16)的第一项如上式(7)所说明的那样。第二项的I是单位矩阵。Kp是标量(控制增益)。ξ是基于下式(18)、(19)所示评价函数q(X)的矢量。

式18

ξ＝[ξ₁ ξ₂ ξ₃ ξ₄ ξ₅ ξ₆]^T    (18)

式19

${\mathrm{\ξ}}_i=\frac{\∂\left(q\left(X\right)\right)}{\∂X_i}---\left(19\right)$

在上式(19)中ξi是ξ的第i项的要素。Xi是上式(9)的X的第i项的要素。评价函数q(x)利用短引线40的图像特征量Ss，Ssg而通过下式(20)定义。Ssi、Ssgi是Ss，Ssg的第i项的要素。

式20

$q\left(X\right)=-\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{(s_{\mathrm{sgi}}-s_{\mathrm{si}})}^2---\left(20\right)$

对短引线40的图像特征量Ss、Ssg进行说明。图6表示第一视觉伺服的拍摄图像，图7表示第一视觉伺服的参照图像。短引线40的目标点是长引线30的特征点与第一孔60一致时的短引线40的前端的位置以及短引线40的方向。此时，长引线30以及短引线40没有弯曲。即，短引线40的目标点是沿着短引线40的***方向从第二孔70向上方离开的点。

与长引线30的情况相同，根据各照相机的拍摄图像求出图像特征量Ss1、Ss2，并使用它们求出下式(21)所示的短引线40的图像特征量Ss。短引线40的图像特征量的目标值Ssg是下式(22)。

式21

s_s＝[s_xs1 s_ys1 s_θs1 s_xs2 s_θs2]^T    (21)

式22

s_sg＝[s_xsg1 s_ysg1 s_θsg1 s_xsg2 s_θsg2]^T    (22)

上式(19)的ξ能够如以下那样求得。即，被作业物的位置以及姿势与短引线40的图像特征量Ss之间的雅可比矩阵式Jis是下式(23)。

式23

$J_{\mathrm{is}}=\left[\begin{array}{cccccc}\frac{\∂s_{\mathrm{xs}1}}{\∂x}& \frac{\∂s_{\mathrm{xs}1}}{\∂y}& \frac{\∂s_{\mathrm{xs}1}}{\∂z}& \frac{\∂s_{\mathrm{xs}1}}{\∂R_1}& \frac{\∂s_{\mathrm{xs}1}}{\∂R_2}& \frac{\∂s_{\mathrm{xs}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{ys}1}}{\∂x}& \frac{\∂s_{\mathrm{ys}1}}{\∂y}& \frac{\∂s_{\mathrm{ys}1}}{\∂z}& \frac{\∂s_{\mathrm{ys}1}}{\∂R_1}& \frac{\∂s_{\mathrm{ys}1}}{\∂R_2}& \frac{\∂s_{\mathrm{ys}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{\θs}1}}{\∂x}& \frac{\∂s_{\mathrm{\θs}1}}{\∂y}& \frac{\∂s_{\mathrm{\θs}1}}{\∂z}& \frac{\∂s_{\mathrm{\θs}1}}{\∂R_1}& \frac{\∂s_{\mathrm{\θs}1}}{\∂R_2}& \frac{\∂s_{\mathrm{\θs}1}}{\∂R_3}\\ \frac{\∂s_{\mathrm{xs}2}}{\∂x}& \frac{\∂s_{\mathrm{xs}2}}{\∂y}& \frac{\∂s_{\mathrm{xs}2}}{\∂z}& \frac{\∂s_{\mathrm{xs}2}}{\∂R_1}& \frac{\∂s_{\mathrm{xs}2}}{\∂R_2}& \frac{\∂s_{\mathrm{xs}2}}{\∂R_3}\\ \frac{\∂s_{\mathrm{\θs}2}}{\∂x}& \frac{\∂s_{\mathrm{\θs}2}}{\∂y}& \frac{\∂s_{\mathrm{\θs}2}}{\∂z}& \frac{\∂s_{\mathrm{\θs}2}}{\∂R_1}& \frac{\∂s_{\mathrm{\θs}2}}{\∂R_2}& \frac{\∂s_{\mathrm{\θs}2}}{\∂R_3}\end{array}\right]---\left(23\right)$

ξi能够如下式(24)那样变形，因此能够使用雅可比矩阵式Jis如下式(25)那样表示ξ。

式24

式25

ξ＝2J_is ^T(s_sg-s_s)    (25)

雅可比矩阵式Jis通过预先测定使手部10的位置以及姿势X微小变化时的图像特征量Ss的变化，能够求出。或者，也可以使雅可比矩阵式Jis工作并且使用推定的方法计算。

上式(16)的第二项以使上式(20)的评价函数q(X)最大化的方式进行动作。即，以使(Ssg－Ss)的各要素的平方和最小化的方式控制机器人。通过该控制，能够实现使短引线40的图像特征量Ss靠近目标图像特征量Ssg的动作。

此处，上式(16)的第二项构成为不使长引线30的图像特征量Sl变化。即，由第二项产生的手部10的位置以及姿势的变化不使长引线30移动。如上述那样，在上式(16)的第一项中通过五个自由度控制长引线30，但针对这五个自由度，第二项不控制。对于六个自由度的手部10的位置以及姿势，存在剩余一个自由度的冗长自由度，第二项在该冗长自由度的范围控制手部10。

如以上那样，通过上式(16)的第一项，能够实现使长引线30与第一孔60一致的优先度高的第一动作。而且，通过第二项，对以长引线30为轴的旋转方向的角度进行控制，从而能够实现使短引线40尽量靠近第二孔70的优先度低的第二动作。

如图8所示，在引线弯曲的情况下，在长引线30与第一孔60一致时短引线40并未朝向正下方，因此在以长引线30作为轴的旋转的情况下，短引线40的图像特征量Ss与目标图像特征量Ssg不一致。即，使短引线40与第二孔70一致的动作的完成度同使长引线30与第一孔60一致的动作的完成度相比更低，那成为优先度的不同。即使短引线40与第二孔70不完全一致，但因为尽量靠近，因此能够从靠近短引线40的目标的状态向下一个作业(将短引线40***第二孔70的作业)转变。

然后，作为冗长自由度的控制的比较例，考虑相对于末端执行器的位置以及姿势的六个自由度而控制七个自由度的关节的臂的情况。在该比较例中，决定末端执行器的位置以及姿势时，决定怎样控制臂的关节的冗长自由度。即，末端执行器的位置以及姿势通过控制来决定，也伴随与此来决定被作业物的位置以及姿势。

另一方面，在本实施方式中，长引线30的图像特征量Sl的自由度比末端执行器的六个自由度低。即，在末端执行器的位置以及姿势产生冗长自由度，使用该冗长自由度对怎样使电容器20靠近电子基板50进行控制。特别是，通过使用末端执行器的冗长自由度能够对动作赋予优先度，能够同时进行一定欲实现的动作、和尽可能欲实现的动作。

5.视觉伺服的第三控制方法

接下来，对视觉伺服的第三控制方法进行说明。该方法能够应用于图2的步骤S5所说明的第二视觉伺服。

图9(A)表示第二视觉伺服的参照图像。在第二视觉伺服中目标为，长引线30局部***第一孔60，使短引线40的前端与第二孔70一致。即，短引线40的目标点是第二孔70的正上方。

在第二视觉伺服中，上述动作成为优先度高的第一动作。优先度低的第二动作尽量不使手部10的姿势变化。具体而言，如图9(B)所示，将在开始第二视觉伺服的时刻的手部10的姿势Rg作为目标。使姿势Rg成为下式(26)。

式26

R_g＝[R_1o R_2o R_3o]^T    (26)

将评价函数q(X)定义为下式(27)。若将评价函数q(X)代入上式(19)，则求出下式(28)的ξi。

式27

q(X)＝-((R_1o-R₁)²+(R_2o-R₂)²+(R_2o-R₂)²)    (27)

式28

ξ_i＝[0 0 0 2(R_1o-R₁) 2(R_2o-R₂) 2(R_3o-R₃)^T    (28)

使用上式(28)的ξ，使控制法则成为下式(29)、(30)。

式29

ΔX＝-λJ_is ^#(s_s-s_sg)+(I-J_is ^#J_is)ξk_p    (29)

式30

Δθ_g＝J_a ^#ΔX    (30)

Jis^#是上式(23)的雅可比矩阵式Jis的伪逆矩阵。ξ以外的其他参数如上述那样。

上式(29)的第二项以使手部10的姿势R＝[R1，R2，R3]^T与目标姿势Rg之差的平方和成为最小的方式(以使评价函数q(X)最大化的方式)进行动作。即，以尽量不从第二视觉伺服开始时刻的姿势Rg变化的方式控制手部10的姿势R。

上式(29)的第一项实现使短引线40与第二孔70一致的第一动作。在第一动作中，存在以短引线40为轴的旋转方向的冗长自由度，使用该冗长自由度，实现尽量不使手部10的姿势R变化的第二动作。

假设未制约手部10的姿势，则使短引线40进行动作时在冗长自由度的范围，手部10能够采取自由的姿势。例如存在手部10向长引线30从第一孔60离开的方向移动的可能性。若这样，则长引线30被第一孔60约束，因此长引线30产生大变形，从而妨碍其后的***作业。上式(29)的第二项极力回避这样的手部10的大的动作，从而能够尽可能抑制长引线30的变形。

此外，上述的方法也能够应用于第一视觉伺服。即，也可以在使长引线30与第一孔60一致时，以尽可能不使手部10的姿势R变化的方式进行控制，从而使短引线40的位置更加适当。

6.视觉伺服的第四控制方法

接下来，对视觉伺服的第四控制方法进行说明。该方法能够用于图2的步骤S5所说明的第二视觉伺服。

图10表示照相机CM1、CM2的拍摄图像。优先度高的第一动作与第三控制方法相同，是使短引线40的图像特征量Ss与目标图像特征量Ssg一致的动作。优先度低的第二动作与第三控制方法不同，尽量不使长引线30的前端进行动作。

图11表示第二动作的说明图。长引线30的前端***第一孔60，从照相机CM1、CM2看不见，因此以使假定为长引线30未被孔约束的情况下的、长引线30前端的移动成为最小的方式进行控制。

控制法则的算式与上式(29)、(30)相同。评价函数q(X)以如下方式进行定义。即，通过第一动作(上式(29)的第一项)进行动作的假设的手部10的位置以及姿势的变化量ΔXc成为下式(31)。

式31

ΔX_c＝λJ_is ^#(s_sg-s_s)    (31)

通过下式(32)对手部的位置以及姿势仅以变化量ΔXc进行变化时的、假定为未***第一孔60的长引线30的图像特征量Sl的变化量ΔSlc进行推定。

式32

Δs_lc＝J_ilΔX_c    (32)

根据推定变化量ΔSlc将评价函数q(X)定义为下式(33)。ΔSlci是ΔSlc的第i项的要素。

式33

$q\left(X\right)=-\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\mathrm{\Δ}{s_{\mathrm{lci}}}^2---\left(33\right)$

若在上式(19)代入评价函数q(X)，则ξ如下式(34)那样求出。

式34

$\begin{array}{c}\mathrm{\ξ}=2J{J_{\mathrm{il}}}^T\mathrm{\Δ}{s}_{\mathrm{lc}}\\ =2{J_{\mathrm{il}}}^T{J}_{\mathrm{il}}\mathrm{\Δ}{X}_c\end{array}---\left(34\right)$

在使用了上述的ξ的情况下，上式(29)的第二项以使变化量ΔSlc的各要素的平方和最小的方式(以使评价函数q(X)最大化的方式)进行动作。即，以使伴随着短引线40的移动的虚拟的长引线30的移动从第二视觉伺服开始时刻尽量不发生的方式进行控制。在该控制中，使用上式(29)的第一项所具有的冗长自由度。

假设未进行冗长自由度的控制而使短引线40进行动作，则无法决定在以短引线40为轴的旋转方向，长引线30以怎样的角度配置。长引线30被第一孔60约束，因此若向从第一孔60离开的方向旋转则长引线30产生大变形，妨碍其后的***作业。使用了上式(33)的评价函数的情况的上式(29)的第二项极力回避这样的手部10的大的动作，从而能够尽可能地抑制长引线30的变形。

7.动作信息的输入方法

上述的优先度不同的动作基于动作信息的指示内容来决定。例如，控制装置100包含显示控制部和第二接受部，显示控制部使显示部显示输入画面，在该输入画面经由操作部用户输入动作信息，第二接受部接受该动作信息。或者，也可以控制装置100包含存储部和第二接受部，在存储部存储有动作信息，第二接受部接受从该存储部读出的动作信息。

图12表示用于输入第一动作信息以及、比第一动作信息优先度更低的第二动作信息的显示画面的第一例。显示画面例如在图16(A)、图16(B)所示的机器人的显示部130显示有显示控制部140。

在显示画面设定有用于输入优先度高的第一动作信息的区域IM1、和用于输入优先度低的第二动作信息的区域IM2。在区域IM1、IM2显示有第一被作业物亦即电容器的图像OB1、和第二被作业物亦即电子基板的图像OB2。

用户在区域IM1，相对于电容器的图像OB1在长引线的前端标注标识TP1，相对于电子基板的图像OB2，在欲***长引线的孔标注标识GP1。由此，将高优先度任务的控制部位(第一部位)与目标点(第一目标)指定为第一动作信息。

另外，用户在区域IM2，相对于电容器的图像OB1在短引线的前端标注标识TP2，相对于电子基板的图像OB2，在欲***短引线的孔的上方标注标识GP2。例如，显示实现了高优先度任务的情况下的电容器的图像OB1’，在该图像OB1’的短引线的前端标注标识GP2。由此，将低优先度任务的控制部位(第二部位)与目标点(第二目标)指定为第二动作信息。

根据如以上那样的显示画面，将被作业物作为图像显示，相对于该图像指示特征点、目标点即可，因此能够提供视觉上容易明白的用户界面。而且，接受部110将经由显示画面输入的指定信息作为第一动作信息以及第二动作信息接受，从而处理部120基于该信息能够控制机器人300。即，处理部120能够相对于第一动作选择图像特征量Sl和目标图像特征量Slg，并能够相对于第二动作选择图像特征量Ss和目标图像特征量Sg。而且，能够使用这些特征量来通过视觉伺服使机器人执行优先度的不同的第一动作以及第二动作。

图13表示用于输入第一动作信息以及、比第一动作信息优先度更低的第二动作信息的显示画面的第二例。

在显示画面上显示有用于输入优先度高的第一动作信息的第一选项OP1、和用于输入优先度低的第二动作信息的第二选项OP2。选项OP1包含用于进一步选择控制对象的选项OPA、和用于选择该控制对象的控制目标的选项OPB。

选项OPA能够选择第一被作业物亦即电容器的部位(短引线、长引线)。另外，选项OPB能够选择第二被作业物亦即电子基板的孔(第一孔、第二孔、···)。用户从这些中将所希望的控制对象(第一部位)和控制目标(第一目标)作为第一动作信息而选择。

选项OP2能够选择以怎样的方式控制(第二目标)怎样的控制对象(第二部位)。例如，将末端执行器的姿势作为控制对象，并使该姿势尽量不变化而进行动作，或者，将由选项OPA选择的控制对象与相反的引线(图13中长引线)作为控制对象，并假想地尽量不使该引线进行动作等。用户从这些中，将所希望的动作做为第二动作信息选择。

根据图13的显示画面，将动作作为选项而显示，因此能够指示手部的姿势、引线的假想的动作等、仅通过特征点、目标点无法表示的动作。例如，在图2的步骤S5所说明的第二视觉伺服中，这样的指示方法适用。而且，接受部110将经由显示画面而被输入的选择信息作为第一动作信息以及第二动作信息接受，从而处理部120能够基于该信息而控制机器人300。即，处理部120能够相对于第一动作而选择图像特征量Ss和目标图像特征量Ssg，并能够相对于第二动作而选择姿势R(或者ΔSlc)和目标姿势Rg(或者ΔSlc＝0)。而且，能够使用这些特征量而通过视觉伺服使机器人执行优先度不同的第一动作以及第二动作。

此外，以上以将电容器组装于电子基板的作业为例进行了说明，但本实施方式也能够用于这以外的作业。即，优先度不同的第一动作以及第二动作能够包含规定的作业，该规定的作业包含例如组装作业、嵌合作业、***作业等中的任一个作业。

例如在嵌合作业中，将第一零件的凸部(突起)与第二零件的凹部(孔部)嵌合。在凸部以非对称的形式在特定的方向与凹部嵌合那样的情况下，第一动作是使凸部向凹部的正上方移动的动作，第二动作是使凸部的朝向与同凹部嵌合的朝向一致的动作。在组装作业中，能够假定例如通过驱动器使螺钉转动的作业。在该情况下，第一动作是使驱动器向螺钉的正上方移动的动作，第二动作是使以驱动器的轴为轴的旋转方向的朝向与驱动器前端同螺钉头部嵌合的朝向一致的动作。

8.第二控制处理流程

图14表示处理部120使机器人300动作的控制处理的第二流程图。在该流程中，与图2说明的流程不同，在视觉伺服之间不包含位置控制。

具体而言，首先手部10把持主体部25(步骤S21)。接下来，通过第一位置控制使电容器20朝视觉伺服的开始点移动(步骤S22)。

接下来，通过第一视觉伺服，进行使长引线30的特征点TPa与目标点GPa一致的第一动作(步骤S23)。也可以与图2的步骤S3相同，增加使短引线40的前端靠近目标点的优先度低的动作。

接下来，通过第二视觉伺服进行使短引线40的特征点TPc与目标点GPc一致的第二动作(步骤S24)。此时，伴随着使短引线40的特征点TPc线靠近目标点GPc，将长引线30***第一孔60。另外，在长引线30、短引线40弯曲的情况下等，使长引线30变形。也可以与图2的步骤S5相同，增加尽量不使手部10的姿势变化的动作、使长引线30的图像特征量的推定变化量为最小的动作来作为优先度低的动作。

接下来，通过第二位置控制使电容器20向下方(***方向)移动，从而将短引线40***第二孔70(步骤S25)。

如图2的步骤S4中说明的那样，处理部120使用视觉伺服使机器人300动作，从而能够使引线的前端准确地靠近孔。另外，在将短引线40***第二孔70的动作中，已决定移动方向，因此处理部120能够使用位置控制而使机器人300进行动作，从而与使用视觉伺服的情况相比作业时间缩短。

在引线的长度不同的情况下，若使短引线40在视觉伺服中靠近第二孔70，则能够自然地将长引线30***第一孔60。利用此情况，能够在第二视觉伺服中同时进行长引线30的***，能够使作业步骤简单化。

9.第三控制处理流程

图15表示处理部120使机器人300动作的控制处理的第三流程图。在该流程中，作为两条引线的长度相同(包括大致相同)的情况下的例子，对电阻元件80的组装作业进行说明。

如图15所示，电阻元件80由产生电阻的部分亦即主体部85、电阻元件80的第一端子亦即第一引线35(第一部位)、以及电阻元件80的第二端子亦即第二引线45(第二部位)构成。另外，在电子基板50设置有第三孔65(第一孔部)和第四孔75(第二孔部)。将第一引线35、第二引线45分别***第三孔65、第四孔75，通过钎焊等安装，从而组装电阻元件80与电子基板50。

若开始控制处理，则首先手部10把持主体部85(步骤S41)。接下来，通过第一位置控制使电阻元件80朝视觉伺服的开始点移动(步骤S42)。

接下来，通过视觉伺服，进行使第一引线35的特征点TPd与目标点GPd一致的第一动作、和使第二引线45的特征点TPe与目标点GPe一致的第二动作(步骤S43)。该视觉伺服例如也可以使用上述的基本处理(视觉伺服的第一控制方法)。

接下来，通过第二位置控制使电阻元件80向下方(***方向)移动，从而将第一引线35***第三孔65，并且将第二引线45***第四孔75(步骤S44)。

如图2的步骤S4所说明的那样，处理部120使用视觉伺服使机器人300动作，从而能够使引线的前端准确地靠近孔。另外，在将短引线40***第二孔70的动作中，以决定移动方向，因此处理部120能够使用位置控制而使机器人300进行动作，从而与使用视觉伺服的情况相比作业时间缩短。

在两条引线的长度相同的情况下，在使两条引线与孔一致时引线相对于电子基板50不倾斜。利用此情况，能够在一次视觉伺服中同时使两条引线与孔一致，在其后的步骤中能够将两条引线***孔。通过图像进行的反馈控制的视觉伺服一次结束，因此作业时间缩短。

10.机器人

接下来，图16(A)以及图16(B)表示本实施方式的控制装置100(机器人控制***)所适用的机器人300的构成例。在图16(A)以及图16(B)的任一个情况，机器人300都具有臂320和末端执行器310。

末端执行器310是指为了把持、抬起、吊起、吸附工件(作业对象物)、或对工件实施加工，而安装于臂320的末端的部件。末端执行器310例如可以是手部(把持部)，可以是吊钩，也可以是吸盘等。并且，也可以相对于一个臂320而设置多个末端执行器。此外，臂320是机器人300的零件，且是包含一个以上关节的可动零件。

例如，在图16(A)的机器人中，机器人300与控制装置100独立地构成。此时，控制装置100的局部或者全部的功能通过例如PC(Personal Computer)实现。此外，将包括机器人300、和与该机器人300独立地构成的要素(例如控制装置100、图1的拍摄部200等)的***称为机器人***。

另外，本实施方式的机器人不限定于图16(A)的结构，也可以如图16(B)那样机器人主体305与控制装置100一体地构成。即，机器人300也可以包括控制装置100。

具体而言如图16(B)所示的那样，机器人300也可以具有机器人主体305以及支持机器人主体的基座单元部，且在该基座单元部储存有控制装置100。机器人主体305具有臂320以及末端执行器310。图16(B)的机器人300在基座单元部设置有车轮等，从而使机器人300整体成为能够移动的结构。

在图16(A)、图16(B)的控制装置100设置有显示部130。控制装置100在该显示部130显示图12、图13所说明的显示画面。在图16(A)中，显示部130是PC的显示装置。在图16(B)中，在基座单元部设置有显示部130。或者，也可以构成为外附于基座单元部并能够连接显示部130。

此外，图16(A)是单臂型的例子，机器人300也可以如图16(B)所示是双臂型等多臂型的机器人。另外，机器人300也可以通过人工移动，也可以设置使车轮驱动的马达，并利用控制装置100控制该马达，从而使机器人300移动。另外，控制装置100不局限于图16(B)那样在设置于机器人300的下方的基座单元部设置。

另外，如图17所示，控制装置100的功能也可以经由包括有线以及无线的至少一方的网络400，通过与机器人300通信连接的服务器500来实现。

或者在本实施方式中，也可以使服务器500侧的控制装置进行本发明的控制装置的处理的一部分。此时，通过与设置于机器人300侧的控制装置的分散处理，实现该处理。此外，机器人300侧的控制装置例如通过设置于机器人300的终端装置330(控制部)来实现。

而且，在这种情况下，服务器500侧的控制装置进行本发明的控制装置的各处理中的、分配给服务器500的控制装置的处理。另一方面，设置于机器人300的控制装置进行本发明的控制装置的各处理中的、分配给机器人300的控制装置的处理。此外，本发明的控制装置的各处理可以是分配给服务器500侧的处理，也可以是分配给机器人300侧的处理。

由此，例如比终端装置330处理能力高的服务器500能够进行处理量多地处理等。并且，例如服务器500能够一并控制各机器人300的动作，例如容易地使多个机器人300协调动作。

另外，近年增加了制造多种类少数量的部件的情况。而且，在对制造的部件的种类进行变更的情况下，需要对机器人所进行的动作进行变更。若为图17所示那样的结构，则即使不重新针对多个机器人300的各机器人进行指示作业，服务器500也能够一并地对机器人300进行的动作进行变更等。

并且，若为图17所示那样的结构，则与相对于各机器人300设置一个控制装置100的情况相比，能够大幅度减少进行控制装置100的软件升级时的麻烦程度。

11.基于特征的视觉伺服

此处对视觉伺服的概要、和基于特征的视觉伺服的处理流程进行说明。

视觉伺服是通过将目标物的位置的变化作为视觉信息而测量，并将其作为反馈信息使用来追踪目标物的伺服***的一种。视觉伺服通过朝伺服***的输入信息(控制量)而大致区分为基于位置的视觉伺服与基于特征的视觉伺服两种。在基于位置的视觉伺服中，物体的位置信息、姿势信息成为朝伺服***的输入信息，在基于特征的视觉伺服中，图像的特征量成为朝伺服***的输入信息。其他也存在将基于位置与基于特征混合的方法。这些视觉伺服在以参照图像与拍摄图像为基础求出朝伺服***的输入信息的这一点上共用。本发明所使用的视觉伺服是基于特征的视觉伺服。

图18表示基于特征的视觉伺服的流程图。该处理流程由处理部120执行。首先设定参照图像(步骤S100)。此处，参照图像也被称为目标图像、目的图像，且是成为视觉伺服的控制目标的图像，称为表示机器人300的目标状态的图像。即，参照图像是表示机器人300的目标位置、目标姿势的图像、或是表示机器人300位于目标位置的状态的图像。

接下来，通过拍摄部200拍摄作业空间，并获得拍摄图像(步骤S101)。拍摄图像表示作业空间的现在的状态，在拍摄图像内映出机器人300、工件的情况下，表示机器人300、工件的现在的状态。此外，因拍摄部200的性能而产生处理延迟，但这里即使在产生处理延迟的情况下，作为在拍摄图像上映出现在的状态来处理。

此外，优选在使用基于特征的视觉伺服的情况下，在设定参照图像时进行参照图像的特征抽出，并预先计算特征量。或者，也可以将抽出了参照图像的特征的参照图像信息预先存储于存储部。

接下来，抽出拍摄图像的特征(步骤S102)。此外，参照图像的特征抽出优选在参照图像设定时预先进行，但也可以在本步骤中进行。在特征抽出中，作为朝视觉伺服***的输入信息(控制量)，求出图像的特征量。

而且，基于图像的特征量，对参照图像与拍摄图像是否一致进行比较(步骤S103)。在判定为图像一致的情况下(步骤S104)，结束视觉伺服。另一方面，在判定为图像不一致的情况下(步骤S104)，生成控制指令(步骤S105)，并对机器人300送出控制指令(步骤S106)。

此处，控制指令(控制信号)是指包含用于控制机器人300的信息的指令(信号)。例如，作为控制指令存在速度指令等。另外，速度指令是指作为用于控制机器人300的各部分的信息，给予机器人300的臂的末端等的移动速度、旋转速度的指令的方法。

在基于特征的视觉伺服中，在控制量收敛于目标值之前反复以上的处理。即，通过步骤S106的控制指令使机器人300的姿势变化，在步骤S101中，拍摄该姿势的拍摄图像。基于像这样一边使姿势变化一边拍摄的多个拍摄图像，处理部120从视觉伺服开始时的姿势亦即第一姿势至视觉伺服结束时的姿势亦即第二姿势对机器人300进行控制。

此外，本实施方式的控制装置以及机器人等也可以通过程序来实现其处理的一部分或者大部分。此时，CPU等处理器执行程序，从而实现本实施方式的控制装置以及机器人等。具体而言，将存储于信息存储介质的程序读出，CPU等处理器执行该被读出的程序。此处，信息存储介质(能够由计算机读取的介质)是储存程序、数据等的介质，其功能通过光盘(DVD、CD等)、HDD(硬盘驱动器)、或存储器(卡型存储器，ROM等)等能够实现。而且，CPU等的处理器基于存储于信息存储介质的程序(数据)进行本实施方式的各种处理。即，在信息存储介质存储有用于使计算机(具备操作部、处理部、存储部、输出部的装置)作为本实施方式的各部分而发挥功能的程序(用于使计算机执行各部分的处理的程序)。

此外，如上述那样对本实施方式详细地进行了说明，但能够存在未从本发明的新事项以及效果实际脱离的多的变形是本领域技术人员能够容易理解的。因此，这样的变形例也全部包含于本发明的范围。例如，在说明书或者附图中，至少一次、更广义或者同义的不同用语共同记载的用语在说明书或者附图的任意位置，也能够置换为其不同用语。另外，本实施方式以及变形例的全部的组合也包含于本发明的范围。另外，处理部、接受部、控制装置、机器人的结构·动作、视觉伺服的控制方法、机器人的控制方法等也不限定于本实施方式中说明的内容，而能够有各种变形实施。

符号的说明

10…手部；20…电容器；25…主体部；30…长引线；35…第一引线；40…短引线；45…第二引线；50…电子基板；60…第一孔；65…第三孔；70…第二孔；75…第四孔；80…电阻元件；85…主体部；100…控制装置；110…接受部；120…处理部；130…显示部；140…显示控制部；200…拍摄部；210…操作部；300…机器人；305…机器人主体；310…末端执行器；320…臂；330…终端装置；400…网络；500…服务器；CM1…第一照相机；CM2…第二照相机；OB1…电容器的图像；OB2…电子基板的图像；OP1…第一选项；OP2…第二选项；R…手部的姿势；RF…旋转方向；Rg…手部的目标姿势；Sl1、Sl2…长引线的图像特征量；Slg1、Slg2…长引线的目标图像特征量；Ss1、Ss2…短引线的图像特征量；Ssg1、Ssg2…短引线的图像特征量；ΔXc…手部的位置以及姿势的变化量；ΔSlc…长引线的图像特征量的推定变化量。

Claims (18)

1.一种控制装置，其特征在于，

所述控制装置使机器人组装包含第一主体部、第一部位和第二部位的第一被作业物、以及包含第一孔部和第二孔部的第二被作业物，

所述控制装置包含处理部，所述处理部使用在所述机器人从第一姿势移向与所述第一姿势不同的第二姿势的期间多次拍摄被拍摄物而得到的多个拍摄图像，使所述机器人进行将所述第一被作业物的所述第一部位与所述第二被作业物的所述第一孔部靠近的第一动作、和将所述第一被作业物的所述第二部位与所述第二被作业物的所述第二孔部靠近的第二动作。

2.根据权利要求1所述的控制装置，其特征在于，

所述机器人在所述第一部位的长度比所述第二部位的长度长的情况下，使所述第一动作比所述第二动作先进行。

3.根据权利要求2所述的控制装置，其特征在于，

所述机器人使所述第一部位变形来进行所述第二动作。

4.根据权利要求2所述的控制装置，其特征在于，

所述第一被作业物是电容器，

所述第一部位以及所述第二部位是所述电容器的端子。

5.根据权利要求4所述的控制装置，其特征在于，

所述第二被作业物是电子基板，

所述第一孔部以及所述第二孔部是用于安装所述端子的孔。

6.根据权利要求2所述的控制装置，其特征在于，

所述处理部在所述第一动作与所述第二动作之间，使所述机器人进行将所述第一部位朝所述第一孔部***的动作。

7.根据权利要求6所述的控制装置，其特征在于，

所述处理部在使所述机器人进行了所述第二动作后，使所述机器人进行将所述第二部位朝所述第二孔部***的动作。

8.根据权利要求7所述的控制装置，其特征在于，

所述处理部通过使用了所述多个拍摄图像的视觉伺服控制，使所述机器人进行所述第一动作以及所述第二动作，

所述处理部通过位置控制，使所述机器人进行将所述第一部位朝所述第一孔部***的动作和将所述第二部位朝所述第二孔部***的动作。

9.根据权利要求2所述的控制装置，其特征在于，

在所述第二动作中，所述处理部还使所述机器人进行将所述第一部位朝所述第一孔部***的动作，

在使所述机器人进行了所述第二动作后，述处理部使所述机器人进行将所述第二部位朝所述第二孔部***的动作。

10.根据权利要求9所述的控制装置，其特征在于，

所述处理部通过使用了所述多个拍摄图像的视觉伺服控制，使所述机器人进行所述第一动作以及所述第二动作，

所述处理部通过位置控制，使所述机器人进行将所述第二部位朝所述第二孔部***的动作。

11.根据权利要求1所述的控制装置，其特征在于，

在所述第一部位的长度与所述第二部位的长度相同的情况下，所述机器人同时进行所述第一动作和所述第二动作。

12.根据权利要求11所述的控制装置，其特征在于，

所述第一被作业物是电阻元件，

所述第一部位以及所述第二部位是所述电阻元件的端子。

13.根据权利要求12所述的控制装置，其特征在于，

所述第二被作业物是电子基板，

所述第一孔部以及所述第二孔部是用于安装所述端子的孔。

14.根据权利要求11至13中任意一项所述的控制装置，其特征在于，

所述处理部在使所述机器人进行了所述第一动作以及所述第二动作后，使所述机器人执行进行所述第一部位朝所述第一孔部的***以及所述第二部位朝所述第二孔部的***的动作。

15.根据权利要求14所述的控制装置，其特征在于，

所述处理部通过使用了所述多个拍摄图像的视觉伺服控制，使所述机器人进行所述第一动作以及所述第二动作，

所述处理部通过位置控制，使所述机器人执行进行所述第一部位朝所述第一孔部的***以及所述第二部位朝所述第二孔部的***的动作。

16.一种机器人，所述机器人将包含第一主体部、第一部位和第二部位的第一被作业物、以及包含第一孔部和第二孔部的第二被作业物组装，所述机器人的特征在于，

接受在从第一姿势移向与所述第一姿势不同的第二姿势的期间多次拍摄被拍摄物而得到的多个拍摄图像，

使用所述多个拍摄图像，进行将所述第一被作业物的所述第一部位与所述第二被作业物的所述第一孔部靠近的第一动作、和将所述第一被作业物的所述第二部位与所述第二被作业物的所述第二孔部靠近的第二动作。

17.一种机器人***，所述机器人***将包含第一主体部、第一部位和第二部位的第一被作业物、以及包含第一孔部和第二孔部的第二被作业物组装，所述机器人***的其特征在于，包含：

拍摄部，其在从第一姿势移向与所述第一姿势不同的第二姿势的期间多次拍摄被拍摄物；以及

机器人，其使用由所述拍摄部拍摄得到的多个拍摄图像，进行将所述第一被作业物的所述第一部位与所述第二被作业物的所述第一孔部靠近的第一动作、和将所述第一被作业物的所述第二部位与所述第二被作业物的所述第二孔部靠近的第二动作。

18.一种控制方法，所述控制方法使机器人组装包含第一主体部、第一部位和第二部位的第一被作业物、以及包含第一孔部和第二孔部的第二被作业物，所述控制方法的特征在于，包含如下步骤：

接受在所述机器人从第一姿势移向与所述第一姿势不同的第二姿势的期间多次拍摄被拍摄物而得到的多个拍摄图像的步骤；以及

使用所述多个拍摄图像，使所述机器人进行将所述第一被作业物的所述第一部位与所述第二被作业物的所述第一孔部靠近的第一动作、和将所述第一被作业物的所述第二部位与所述第二被作业物的所述第二孔部靠近的第二动作。