CN105729467A - 图像处理设备、图像处理***、图像处理方法和计算机程序 - Google Patents

Abstract

本发明公开了一种图像处理设备、图像处理***和图像处理方法。其中，将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置。获取第一坐标值，该值是已根据移动命令移动的末端执行器的各位置坐标，并且在末端执行器已移动到的每个移动目的地处捕获目标的图像。基于在每个移动目的地处捕获的目标的图像检测作为目标的位置坐标的第二坐标值，并且基于第一坐标值和第二坐标值来计算两种坐标之间的转换规则。

Description

图像处理设备、图像处理***、图像处理方法和计算机程序

技术领域

本发明涉及能够以高精度执行校准而无需创建复杂的机器人运动控制程序的图像处理设备、图像处理***、图像处理方法和计算机程序。

背景技术

已开发了大量如下的控制***：由成像装置捕获机器人的工作区域的图像，检测所捕获的图像中的工件的位置，并且基于所捕获的图像来计算所检测的工件的位置信息，从而以高精度控制机器人的运动。

例如，未审查日本专利公布第H4-134501号公开了一种机器人控制器，其基于包括有成像装置的传感器所检测的信息来控制机器人运动。另外，未审查日本专利公布第H9-091022号公开了一种机器人控制器，其传送在外部计算机中编译的加载模块(机器人运动控制程序)，以控制机器人运动。

如这样描述的一样，为了控制复杂的运动，传统的机器人控制***需要将在图像处理设备内显示的坐标系中计算出的位置坐标转换为机器人控制器允许末端执行器进行运动所采取的坐标系中的位置坐标。用以计算用于执行坐标转换的转换公式的处理被称为校准。本文中的末端执行器是指例如可以抓住并牢固地固定工件的机器人手臂的端部。

在执行校准时，例如，在机器人的末端执行器抓住工件并已移动至多个预定位置的情况下，将机器人的位置坐标与成像装置所捕获的工件的图像上的基于所捕获的图像而检测到的位置坐标进行比较，以使得能够计算转换公式。

为了正确地执行校准，机器人控制器将末端执行器移动至适当位置，并且将成像指令信号传送至该移动目的地中的图像处理设备，并将末端执行器移动至下一位置。用户需要创建用于重复上述操作的顺序机器人运动控制程序。

另外，用户还需要执行用于接收成像指令信号的处理以在图像处理设备中检测工件的位置。即，用户需要同时擅于设定机器人运动控制程序和设定图像处理设备，这已经成为花费大量时间来启动整个***的间接原因。

此外，机器人控制器在控制机器人的运动时起到主要作用，甚至控制包括成像装置的传感器的运动。因此，在不熟悉机器人运动控制程序的情况下，用户难以使得机器人进行期望的运动，并且也无法准确地执行校准，这成为了难题。

发明内容

鉴于上述状况而作出了本发明。本发明的目的在于提供能够以高精度执行校准而无需创建复杂的机器人操作控制程序的图像处理设备、图像处理***、图像处理方法和计算机程序。

为了实现上述目的，根据一个实施例的图像处理设备是包括通信装置和成像装置的图像处理设备。所述通信装置能够与控制机器人运动的机器人控制器进行数据通信。所述成像装置对目标的图像进行捕获，所述目标为机器人的操作目标。所述图像处理设备包括命令传送单元、移动坐标获取单元、成像控制单元、图像检测单元和校准执行单元。命令传送单元将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置。移动坐标获取单元获取第一坐标值，第一坐标值是已根据移动命令移动的末端执行器的各位置坐标。成像控制单元控制成像装置的操作以便在末端执行器已移动到的每个移动目的地处捕获目标的图像。图像检测单元基于在每个移动目的地处捕获的目标的图像来检测第二坐标值，第二坐标值为所述目标的位置坐标。校准执行单元基于所获取的多个第一坐标值以及所检测的多个第二坐标值来计算两种坐标之间的转换规则。

另外，在根据另一实施例的图像处理设备中，优选地，在第一方面，命令传送单元将至少包括移动指令和移动目的地的位置坐标的移动命令传送至机器人控制器。

另外，在第一方面或第二方面，根据又一实施例的图像处理设备优选地包括：坐标检测单元，其用于检测作为所成像的目标的位置坐标的第二坐标值；以及坐标转换单元，其用于基于转换规则将所检测的第二坐标值转换为第一坐标值。

另外，在第三方面，根据又一实施例的图像处理设备优选地包括：显示单元，其用于显示所捕获的目标的图像；以及位置指定接受单元，其用于接受所显示的目标的图像上的位置的指定。在该设备中，优选的是，坐标转换单元基于转换规则将已接受指定的位置处的第二坐标值转换为第一坐标值。

另外，在根据又一实施例的图像处理设备中，在第一至第四方面中的任一方面，优选的是，基于转换规则将移动坐标获取单元所获取的第一坐标值转换为第二坐标值，并且所转换的值叠加并显示在所显示的目标的捕获图像上。

接下来，为了实现上述目的，根据又一实施例的图像处理***是包括机器人控制器和图像处理设备的图像处理***。机器人控制器控制机器人的运动。图像处理设备包括连接至机器人控制器以与其进行数据通信的通信装置以及捕获作为机器人操作目标的目标的图像的成像装置。在该***中，图像处理设备包括命令传送单元、移动坐标获取单元、成像控制单元、图像检测单元和校准执行单元。命令传送单元将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置。移动坐标获取单元获取第一坐标值，第一坐标值是已根据来自机器人控制器的移动命令移动的末端执行器的各位置坐标。成像控制单元控制成像装置的操作以便在末端执行器已移动到的每个移动目的地处捕获目标的图像。图像检测单元基于在每个移动目的地处捕获的目标的图像来检测第二坐标值，第二坐标值为目标的位置坐标。校准执行单元基于所获取的多个第一坐标值以及所检测的多个第二坐标值来计算这两种坐标之间的转换规则。

另外，在根据另一实施例的图像处理***中，在第六方面，优选地是，命令传送单元将至少包括移动指令和移动目的地的位置坐标的移动命令传送至机器人控制器。

另外，在根据又一实施例的图像处理***中，在第六或第七方面，优选的是，图像处理设备包括：坐标检测单元，其用于检测作为所成像的目标的位置坐标的第二坐标值；以及坐标转换单元，其用于基于转换规则将所检测的第二坐标值转换为第一坐标值。

另外，在根据又一实施例的图像处理***中，在第八方面，优选的是，所述图像处理设备包括：显示单元，其用于显示所捕获的目标的图像；以及位置指定接受单元，其用于接受所显示的目标的图像上的位置的指定。在该***中，优选的是，基于转换规则将已接受指定的位置处的第二坐标值转换为第一坐标值。

另外，在根据又一实施例的图像处理***中，在第六至第九方面中的任一方面，优选的是，图像处理设备基于转换规则将移动坐标获取单元获取的第一坐标值转换为第二坐标值，并且将所转换的值叠加并显示在所显示的目标的捕获图像上。

另外，在根据又一实施例的图像处理***中，在第六至第十方面中的任一方面，优选的是，机器人控制器包括程序转换单元，其用于对移动命令进行解释并将所解释的命令转换为对末端执行器的移动命令。

另外，在根据又一实施例的图像处理***中，在第十一方面，优选的是，程序转换单元针对每种类型的机器人而提供，并且根据机器人的类型将移动命令转换为对末端执行器的移动命令。

接下来，为了实现上述目的，根据又一实施例的图像处理方法是可以由图像处理***执行的图像处理方法，该图像处理***包括机器人控制器和图像处理设备。机器人控制器控制机器人的运动。图像处理设备包括连接至机器人控制器以与其进行数据通信的通信装置以及捕获作为机器人操作目标的目标的图像的成像装置。所述图像处理方法包括以下步骤：将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置；获取第一坐标值，所述第一坐标值是已根据移动命令移动的末端执行器的各位置坐标；控制成像装置的操作以便在末端执行器已移动到的每个移动目的地处捕获目标的图像；基于所捕获的图像来检测目标的第二坐标值；以及基于所获取的多个第一坐标值以及所检测的多个第二坐标值来计算这两种坐标之间的转换规则。

接下来，为了实现上述目的，根据又一实施例的计算机程序是可以由包括通信装置和成像装置的图像处理设备执行的计算机程序。该通信装置能够与控制机器人的运动的机器人控制器进行数据通信。成像装置对作为机器人操作目标的目标的图像进行捕获。所述程序使得图像处理设备起到命令传送单元、移动坐标获取单元、成像控制单元、图像检测单元和校准执行单元的作用。命令传送单元将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置。移动坐标获取单元获取第一坐标值，第一坐标值是已根据移动命令移动的末端执行器的各位置坐标。成像控制单元控制成像装置的操作以便在末端执行器已移动到的每个移动目的地处捕获目标的图像。图像检测单元基于在每个移动目的地处捕获的目标的图像来检测第二坐标值。校准执行单元基于所获取的多个第一坐标值以及所检测的多个第二坐标值来计算这两种坐标之间的转换规则。

在第一方面、第六方面、第十三发明和第十四方面，在图像处理设备中，将使得末端执行器移动至多个预定位置的移动命令传送至机器人控制器从而改变成为成像目标的目标相对于成像装置的相对位置，并且获取第一坐标值，该值是已根据移动命令移动的末端执行器的各位置坐标。在末端执行器已移动到的每个移动目的地处捕获目标的图像。基于在每个移动目的地处捕获的目标的图像来检测作为目标的位置坐标的第二坐标值。基于所获取的多个第一坐标值和所检测的多个第二坐标值，计算这两种坐标之间的转换规则。因此，图像处理设备可以将用于控制机器人的运动的移动命令传送至机器人控制器，从而使得用户无需理解随机器人的类型而变化的机器语言。因而，可以获得机器人控制器识别的位置坐标(第一坐标值)与根据所捕获的目标的图像检测的位置坐标(第二坐标值)之间的转换规则，从而以高精度控制机器人的运动。

在第二方面和第七方面，将至少包括移动指令和移动目的地的位置坐标的移动命令传送至机器人控制器，从而使得用户无需在即使机器人的类型变化时理解每种机器语言。因而，可以获得机器人控制器识别的位置坐标(第一坐标值)与根据所捕获的目标的图像检测的位置坐标(第二坐标值)之间的转换规则，从而以高精度控制机器人的运动。

在第三方面和第八方面，在图像处理设备中，检测作为所捕获的目标的位置坐标的第二坐标值，并且基于转换规则将所检测的第二坐标值转换为第一坐标值。因此，甚至对图像处理设备做出的移动指示也使得机器人能够准确移动至预期位置。

在第四方面和第九方面，在图像处理设备中，显示所捕获的目标的图像，接受对所显示的目标的图像上的位置的指定，并且图像处理设备基于转换规则将在指定接受位置处的第二坐标值转换为第一坐标值。因此，可以在图像上指示机器人的移动目的地，以将机器人移动至根据所接受的指示的位置。

在第五方面和第十方面，在图像处理设备中，基于转换规则将所获取的第一坐标值转换为第二坐标值，并且将所转换的值叠加并显示在所显示的目标的图像上。这使得能够检查移动后的机器人在所显示的目标的图像上的位置。

在第十一方面，机器人控制器解释移动命令并将所解释的命令转换为对末端执行器的移动命令。这使得用户无需理解针对每种类型的机器人的机器语言，并且能够控制机器人的运动。

在第十二方面，程序转换单元针对每种类型的机器人提供，并且根据机器人的类型将移动命令转换为对末端执行器的移动命令。因而，可以将根据要使用的机器人的类型的转换程序安装到机器人控制器中，以根据机器人的类型将移动命令转换为对末端执行器的移动命令。

根据本发明，图像处理设备可以将用以控制机器人的运动的移动命令传送至机器人控制器，从而使得用户无需理解随着机器人的类型而变化的机器语言。因而，可以获得机器人控制器识别的位置坐标(第一坐标值)与根据所捕获的目标的图像检测的位置坐标(第二坐标值)之间的转换规则，从而以高精度控制机器人的运动。

附图说明

图1是示出根据本发明的第一实施例的图像处理***的配置的示意图；

图2是示出根据本发明的第一实施例的图像处理***中的图像处理设备的配置示例的框图；

图3是示出用于传统校准的处理过程的流程图；

图4是根据本发明的第一实施例的图像处理设备的功能框图；

图5是示出用于校准根据本发明的第一实施例的图像处理***的处理过程的流程图；

图6是根据本发明的第一实施例的图像处理设备的起始位置设定画面的说明图；

图7是根据本发明的第一实施例的图像处理设备的检测工具设定画面的说明图；

图8是根据本发明的第一实施例的图像处理设备的移动模式设定画面的说明图；

图9是根据本发明的第一实施例的图像处理设备的移动模式设定画面的说明图；

图10是在使用轮廓检测工具的情况下根据本发明的第一实施例的图像处理设备的检测条件设定画面的说明图；

图11是在使用轮廓检测工具的情况下根据本发明的第一实施例的图像处理设备的检测条件设定画面的说明图；

图12是在使用阴影检测工具的情况下根据本发明的第一实施例的图像处理设备的检测条件设定画面的说明图；

图13是在使用阴影检测工具的情况下根据本发明的第一实施例的图像处理设备的检测条件设定画面的说明图；

图14是根据本发明的第一实施例的图像处理设备的移动目的地选择画面的说明图；

图15是根据本发明的第一实施例的图像处理设备的移动目的地选择画面的另一说明图；

图16是根据本发明的第一实施例的机器人控制器的功能框图；

图17是示出根据本发明的第一实施例的用于机器人控制器的转换程序的处理过程的流程图；

图18是根据本发明的第一实施例的用于机器人控制器的转换程序的说明图；

图19是示出根据本发明的第一实施例的离手(off-hand)型图像处理***的配置的示意图；

图20A和图20B是示出根据本发明的第一实施例的离手型图像处理设备上的成像位置的示意图；

图21是示出根据本发明的第一实施例的手边(on-hand)型图像处理***的配置的示意图；

图22A和图22B是示出根据本发明的第一实施例的手边型图像处理设备上的成像位置的示意图；

图23A和图23B是示出根据本发明的第一实施例的图像处理设备的处理过程中的差别的流程图；

图24是用于说明在根据本发明的第二实施例的图像处理***中执行拾取的示意图；

图25是示出用于在根据本发明的第二实施例的图像处理***中进行拾取的处理过程的流程图；

图26是在根据本发明的第二实施例的图像处理***中的工件位置检测画面的说明图；

图27是在根据本发明的第二实施例的图像处理***中的工件移动画面的说明图；

图28是根据本发明的第二实施例的图像处理***中的校准结果选择画面的示意图；

图29A至图29C是用于说明根据本发明的第二实施例的图像处理***的主位置登记处理的示意图；

图30是根据本发明的第二实施例的图像处理设备的主位置登记画面的说明图；

图31是根据本发明第二实施例的图像处理设备的程序生成画面的说明图；

图32是根据本发明的第二实施例的用于机器人控制器的程序的说明图；

图33是根据本发明的第三实施例的图像处理设备的程序生成画面的说明图；

图34A至图34C是用于说明根据本发明的第三实施例的图像处理***在测试操作期间的运动的示意图；

图35是示出根据本发明的第三实施例的图像处理***在测试操作期间的处理过程的流程图；以及

图36是示出用于根据本发明的实施例的图像处理***的三维校准的处理过程的流程图。

具体实施方式

以下，将参照附图来描述根据本发明的实施例的图像处理***。

(第一实施例)

图1是示出根据本发明的第一实施例的图像处理***的配置的示意图。

如图1所示，根据第一实施例的图像处理***包括用于移动目标(工件)6的操纵器(机器人)1、用于控制操纵器1的运动的机器人控制器2、图像处理设备3和成像装置4。能够抓住或释放目标6的末端执行器5设置在操纵器1的末端处。机器人控制器2还控制末端执行器5的打开和关闭运动。

成像装置4是例如彩色CCD摄像器，并且捕获作为移动目标的工件6的图像。基于所捕获的图像执行稍后提及的校准使得工件6的实际位置坐标(末端执行器5的移动位置的坐标)与在屏幕上显示的图像上的位置坐标能够关联起来。

操纵器1由三个臂部组成，并且借助于两个臂部之间形成的角度以及臂部的支点的旋转而将末端执行器5移动至期望位置。

图2是示出根据本发明的第一实施例的图像处理***中的图像处理设备3的配置示例的框图。根据本发明的第一实施例的图像处理设备3至少包括由CPU(中央处理单元)等构成的控制部31、存储器32、存储单元33、输入-输出接口34、显示接口35、通信接口36和用于连接上述硬件的内部总线37。

控制部31通过内部总线37与如上所述的图像处理设备3的每个硬件连接。在控制上述每个硬件的操作的同时，控制部31根据存储在存储单元33中的计算机程序来执行各种软件功能。存储器32由诸如SRAM或SDRAM的易失性存储器组成。在执行计算机程序时，将加载模块获取至存储器32，以存储在执行计算机程序时生成的临时数据等。

存储单元33由内置于其中的固定式存储装置(硬盘)、诸如SRAM的易失性存储器、诸如ROM的非易失性存储器等组成。存储在存储单元33中的计算机程序从在其中记录程序和数据的信息的便携式记录介质(例如，DVD或CD-ROM)下载，或者通过通信接口36下载。在执行时间，将计算机程序从存储单元33获取到存储器32以待执行。

通信接口(通信装置)36连接至内部总线37。通过利用诸如互联网、LAN或WAN的外部网络进行连接，通信接口36可以将数据传送至外部计算机等以及从外部计算机等接收数据。

输入-输出接口34连接至诸如键盘38和鼠标39的数据输入介质，并且接受数据的输入。另外，显示接口35连接至诸如CRT监视器或LCD的显示装置40，并且显示预定图像。

操纵器1的运动至此已由存储在机器人控制器2中的顺序运动控制程序进行控制。在该情况下，需要执行操纵器1的末端执行器5的实际位置坐标与图像处理设备3上显示的图像上的位置坐标之间的校准。

在该校准中，针对多个位置坐标中的每一个来计算操纵器1的末端执行器5的实际位置坐标与图像处理设备3上显示的图像上的位置坐标之间的转换公式。用于坐标转换的方法不受具体限制，并且例如，将仿射变换用于该转换。

[数学公式1]

$\left.\begin{array}{c}\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right)\×\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\\ x^{\′}=ax+by+c\\ y^{\′}=dx+ey+f\end{array}\right\}\mathrm{...}$ (公式1)

如在(公式1)中所示，基于操纵器1的末端执行器5的实际位置坐标(x',y')和图像处理设备3上显示的图像上的位置坐标(x,y)，获得具有六个自由度的转换公式的系数a、b、c、d、e、f。当对应的位置坐标的数量超过六个时，使用最小二乘法。

图3是示出用于传统校准的处理过程的流程图。如图3所示，在操纵器1抓住设置有标记以成为成像目标的工件6作为校准目标时，机器人控制器2将末端执行器5移动至校准位置(步骤S301)。

机器人控制器2获取移动后的末端执行器5的位置坐标(x',y')(步骤S302)，并且将测量命令和获取到的位置坐标(x',y')传送至图像处理设备3(步骤S303)。图像处理设备3从机器人控制器2接收测量命令和获取到的位置坐标(x',y')(步骤S304)，并且捕获末端执行器5的运动区域的图像(步骤S305)。

图像处理设备3显示末端执行器5的运动区域的图像，并且检测所显示的图像上的位置坐标(x,y)(步骤S306)。机器人控制器2确定是否已针对所有用于校准的位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S307)。当机器人控制器2确定尚未针对所有位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S307：否)时，机器人控制器2发布下一移动命令(步骤S308)，并且将处理返回至步骤S301,以重复上述处理。

当机器人控制器2确定已针对所有位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S307：是)时，图像处理设备3根据(公式1)来计算转换公式(步骤S309)。具体地，获得六个系数a、b、c、d、e、f。

然而，传统校准需要对于每种类型的操纵器1而言唯一的顺序控制程序。因此，应该针对每种类型使用单独的控制程序来执行校准。相应地，图像处理设备3执行主要校准。

图4是根据本发明的第一实施例的图像处理设备3的功能框图。图像处理设备3的命令传送部301将用于将末端执行器5移动至多个预定位置的移动命令传送至机器人控制器2，以改变成为成像目标的目标相对于成像装置4的相对位置。

命令传送部301将移动命令传送至机器人控制器2，该命令至少包括移动指令和移动目的地的位置坐标。机器人控制器2将末端执行器5移动至包括在移动命令中的位置坐标。

移动坐标获取部302从机器人控制器2获取各个第一坐标值(x',y')，第一坐标值为根据移动命令移动的末端执行器5的每个位置坐标。这可以调整所移动的末端执行器5的位置坐标与所捕获的目标6的图像上的位置坐标之间的移位。

应注意，在移动坐标获取部302中获取的第一坐标值(x',y')是从机器人控制器2获取的、位于末端执行器5已根据来自图像处理设备3的移动命令移动到的每个位置处的坐标值。然而，可将在图像处理设备3中预先设定的操纵器(机器人)1的目标移动坐标作为第一坐标值使用。

成像控制部303控制成像装置4的操作以捕获位于末端执行器5已移动到的每个移动目的地处的目标的图像。因而，执行控制以在从机器人控制器2获取的移动目的地处捕获与作为末端执行器5的位置坐标的第一坐标值(x',y')相对应的区域的图像，从而使得能够基于所捕获的图像来检测作为目标6的实际位置坐标的第二坐标值(x,y)。

图像检测部304基于在每个移动目的地处捕获的目标6的图像来检测作为目标的位置坐标的第二坐标值(x,y)。基于获取到的多个第一坐标值(x',y')和检测到的多个第二坐标值(x,y)，校准执行部309计算两种坐标之间的转换规则。具体地，将坐标值代入(公式1)，以获得系数a、b、c、d、e、f。

图5是示出用于校准根据本发明的第一实施例的图像处理***的处理过程的流程图。如图5所示，当操纵器1抓住设置有标记以成为成像目标的工件6作为校准目标时，图像处理设备3设定校准的起始位置(步骤S501)。图6是根据本发明的第一实施例的图像处理设备3的起始位置设定画面的说明图。

如图6所示，所捕获的目标6的图像显示在图像显示区域65中。当从各个校准执行按钮之中选择起始位置设定按钮61时，弹出起始位置设定画面66，并且设定起始位置。在这种情况下，选择点动(jog)操作按钮67使得操纵器1的末端执行器5能够移动至预定位置。因此，可以在检查移动目的地时设定校准的起始位置。

应注意，可以在设定移动模式之前设定检测工具。图7是根据本发明的第一实施例的图像处理设备3的检测工具设定画面的说明图。

如图7所示，当从各个校准执行按钮之中选择检测工具设定按钮62时，显示检测工具选择区域71。用户在查看图像显示区域65中显示的图像的同时选择检测工具选择区域71中的检测工具。在图7的示例中，已选择轮廓检测工具。除此之外，例如，可选择阴影检测工具。

返回至图5，图像处理设备3设定操纵器1的末端执行器5的移动模式(步骤S502)。图8和图9是根据本发明的第一实施例的图像处理设备3的移动模式设定画面的说明图。

如图8所示，当从各个校准执行按钮之中选择校准按钮63时，弹出移动模式设定画面81。当这里选择了移动模式设定按钮82时，如图9所示，弹出细节设定画面83。

在细节设定画面83上，设定在执行校准时的检测模式。例如，接受九种(3×3)设定、25种(5×5)设定或其他设定。设定预定移动距离，从而设定如在细节设定画面83的下部所显示的移动模式。

返回至图5，图像处理设备3将移动命令传送至机器人控制器2(步骤S503)。机器人控制器2接收移动命令(步骤S504)，并且根据操纵器1的类型来解释移动命令(步骤S505)。即，利用可激活操纵器1的机器语言将所述命令翻译成加载模块。

机器人控制器2将末端执行器5移动至移动命令所指定的位置(步骤S506)。机器人控制器2获取所移动的末端执行器5的移动目的地的位置坐标(x',y')(步骤S507)，并且将所获取的位置坐标(x',y')传送至图像处理设备3(步骤S508)。

图像处理设备3从机器人控制器2接收所获取的位置坐标(x',y')(步骤S509)，并且捕获末端执行器5的运动区域的图像(步骤S510)。图像处理设备3显示运动区域的图像，并且检测所显示的图像上的位置坐标(x,y)(步骤S511)。

应该注意，通过使用设定的检测工具来从所显示的图像中设定要对其在该图像上的位置进行检测的位置坐标(x,y)。例如，当已选择轮廓检测工具作为检测工具时，需要指定要检测的轮廓区域。

图10和图11是在使用轮廓检测工具的情况下根据本发明的第一实施例的图像处理设备3的检测条件设定画面的说明图。如图10所示，所选择的“轮廓检测工具”显示在工具显示区域101中。然后，在图案编辑区域102中设定轮廓图案的形状。在图10的示例中，已将其设定为矩形区域。

然后，对于在图像显示区域65中显示的目标，在使用鼠标等执行拖动操作时设定用于检测轮廓图案的检测区域103。在图10的示例中，该区域被设定成包围目标，但该设定不具体限于这样的设定。

当设定了检测区域103时，如图11所示，在检测条件设定画面104上设定检测条件。检测条件的示例包括作为目标的容许倾斜范围的“角度范围”、表示待检测项目的数量的“检测项目数量”以及表示执行检测的相似度的“相关值下限”。

另外，可选择阴影检测工具作为检测工具。即使已选择阴影检测工具，也需要设定要检测的区域。

图12和图13是在使用阴影检测工具的情况下根据本发明的第一实施例的图像处理设备3的检测条件设定画面的说明图。如图12所示，所选择的“阴影检测工具”显示在工具显示区域101中。然后，在图案编辑区域102中设定轮廓图案的形状。在图12的示例中，已将其设定为矩形区域。

然后，对于图像显示区域65中所显示的目标，在使用鼠标等执行拖动操作时设定用于检测轮廓图案的检测区域103。在图12的示例中，该区域已被设定成包围目标，但该设定不具体限于这样的设定。

当设定了检测区域103时，如图13所示，在检测条件设定区域131中设定检测条件。检测条件的示例包括作为目标的容许倾斜范围的“角度范围”、表示待检测项目的数量的“检测项目数量”以及表示执行检测的相似度的“相关值下限”，并且除此之外，还可以设定检测灵敏度(搜索灵敏度)或检测精度(搜索精度)。这是因为假定了在形状相同时阴影差别等不同的情况。

返回至图5，图像处理设备3确定是否已针对所有用于校准的位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S512)。当图像处理设备3确定尚未针对所有位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S512：否)时，图像处理设备3发布下一移动命令(步骤S513)，并且将处理返回至步骤S503，以重复上述处理。

当图像处理设备3确定已针对所有位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S512：是)时，图像处理设备3根据(公式1)来计算转换公式(步骤S514)。具体地，获得六个系数a、b、c、d、e、f。

应注意，不特别限定于通过移动命令来指定移动目的地的方法。例如，可以是预先存储多个移动目的地并从其中选择一个移动目的地的方法。图14是根据本发明的第一实施例的图像处理设备3的移动目的地选择画面的说明图。如图14所示，已存储的移动目的地的备选项显示在移动目的地选择区域141中。用户从这些备选项中选择一个移动目的地。

另外，可以在显示画面上指定位置。图15是根据本发明的第一实施例的图像处理设备3的移动目的地选择画面的另一说明图。在图15的示例中，不存在移动目的地选择区域141。在简单地显示所捕获图像的图像显示区域65中，当前位置显示有“十字”标记151。用户通过鼠标等的点击操作来将位置“十字”标记152指定为移动目的地。

在这种情况下，假设通过执行校准来指定(公式1)中的系数a、b、c、d、e、f，则需要设置图4中的坐标检测部305、坐标转换部306、显示部307和位置指定接受部308。

坐标检测部305基于所捕获的目标6的图像来检测作为目标6的实际位置坐标的第二坐标值(x,y)。然后，坐标转换部306基于转换规则将检测到的第二坐标值(x,y)转换为第一坐标值(x',y')。

显示部307显示所捕获的目标6的图像，并且位置指定接受部308接受所显示的目标6的图像上的位置的指定。这使得可以检测在已接受指定的位置处的第二坐标值。因此，可以在查看所显示的图像的同时向操纵器1的末端执行器5发布正确的移动命令。

另外，移动之后的位置坐标可叠加并显示在所显示的目标6的图像上。即，基于计算出的转换规则将移动坐标获取部302所获取的第一坐标值转换为第二坐标值。转换后的值叠加并显示在所显示的目标6的图像上。

此外，机器人控制器2需要根据控制运动的操纵器(机器人)1的类型来转换移动命令。图16是根据本发明的第一实施例的机器人控制器2的功能框图。

如图16所示，机器人控制器2设置有程序转换部201。程序转换部201针对每种类型的操纵器(机器人)1而设置，并且根据操纵器1的类型将移动命令转换为针对末端执行器5的移动命令。因此，可以根据要在机器人控制器2中使用的操纵器1的类型来安装转换程序，从而根据操纵器1的类型将移动命令转换为针对末端执行器5的移动命令。

图17是示出根据本发明的第一实施例的用于机器人控制器2的转换程序的处理过程的流程图。如图17所示，机器人控制器2建立与图形处理设备3的数据通信(步骤S1701)，并且确定是否接收到移动命令(步骤S1702)。

当确定尚未接收到移动命令(步骤S1702：否)时，机器人控制器2进入接收待机状态。当确定已接收到移动命令(步骤S1702：是)时，机器人控制器2对第一移动命令进行解释(步骤S1703)。

机器人控制器2根据所解释的移动命令的内容来转换移动命令，并移动操纵器1的末端执行器5(步骤S1704)。机器人控制器2确定是否已解释所有移动命令(步骤S1705)。

当确定尚未解释某个移动命令(步骤S1705：否)时，机器人控制器2对下一移动命令进行解释(步骤S1706)，并且将处理返回至步骤S1704，以重复上述处理。当确定已解释所有移动命令(步骤S1705：是)时，机器人控制器2结束处理。

图18是根据本发明的第一实施例的用于机器人控制器2的转换程序的说明图。如图18所示，源代码1801是用于建立与图像处理设备3的数据通信的命令。

源代码1802是用于从图像处理设备3接收移动命令的命令。源代码1803是用于解释移动命令的命令。利用图18所示的源代码，例如当接收到移动命令[MV,100,200,300]时，检测指令码[MV]并且存储(100,200,300)作为移动目的地的位置。按照该方式准备为移动命令的数据结构而定制的转换程序，这样能够从外部接受移动命令。

另外，移动命令的数据结构通常根据机器人制造商而变化。因此，预先针对每个机器人制造商准备转换程序，并且将待应用的根据机器人制造商的转换程序安装到机器人控制器2中。因而，机器人控制器2可以根据机器人的类型将从图像处理设备3传送的共同格式的移动命令转换为针对末端执行器5的移动命令。

应注意，在上述示例中，移动命令被写为字符串并通过以太网(注册商标)的非协议通信传送。然而，例如在机器人控制器2的公共存储器中，命令被分配给地址AAA，而命令参数被分配给地址BBB，从而在不使用字符串的情况下允许通过交换数字数据来形成命令***。当从图像处理设备3接收到数值形式的移动命令时，地址AAA被对应于移动命令“MV”的数字号码重写并且地址BBB被“100，200，300”替换，这些内容随后作为移动命令发布至操纵器1。

自然地，可使用除此之外的协议通信，诸如以太网(注册商标)的协议通信、PLC-Link、CC-Link或PROFINET。

另外，在上述的第一实施例中，假设成像装置4与操纵器1分离地设置(下文中，称为“离手(off-hand)型”)。图19是示出根据本发明的第一实施例的离手型图像处理***的配置的示意图。

在图19中，当操纵器1抓住设置有标记60以成为成像目标的的工件(目标)6作为校准目标时，移动末端执行器5并且由成像装置4执行图像的捕获。

图20A和图20B是示出根据本发明的第一实施例的离手型的图像处理设备3上的成像位置的示意图。图20A示出了末端执行器5的移动顺序，并且末端执行器5从原点(0,0)以规则间隔逆时针移动。图20B示出了标记60的图像被成像装置4捕获的顺序。由于成像装置4固定地且与操纵器1分离地设置，因此成像装置4从原点(0,0)逆时针地以规则间隔捕获图像，如在图20A中一样。

成像装置4可一体地安装在操纵器1的末端执行器5上。在这种情况下，成像装置4与末端执行器5一体地移动(下文中，称为手边(on-hand)型)。图21是示出根据本发明的第一实施例的手边型图像处理***的配置的示意图。

在图21中，成像装置4与操纵器1的末端执行器5一体地设置，因此，用于成为成像目标的标记60设置在这样的区域中，即，成像装置4可以捕获该区域的图像。然后，在移动末端执行器5时由成像装置4捕获图像。

图22A和图22B是示出根据本发明的第一实施例的手边型的图像处理设备3上的成像位置的示意图。图22A示出了末端执行器5的移动顺序，并且末端执行器5从原点(0,0)以规则间隔逆时针移动。图22B示出了标记60的图像被成像装置4捕获的顺序。由于成像装置4与操纵器1一体地移动，因此成像装置4从原点(0,0)以规则间隔捕获图像，从而使得该顺序变为与图22A的顺序呈点对称。即，在具有通过将移动距离乘以“-1”而获得的值的位置处捕获图像。

图23A和图23B是示出根据本发明的第一实施例的图像处理设备3的处理过程中的差别的流程图。图23A示出了离手型的处理过程的流程图，图23B示出了手边型的处理过程的流程图。

首先，在离手型中，如图23A所示，在操纵器1抓住设置有标记60以成为成像目标的工件6(步骤S2301)时，图像处理设备3获取移动目的地的位置坐标(x',y')(步骤S2302)，并且捕获末端执行器5的运动区域的图像(步骤S2303)。图像处理设备3显示运动区域的图像，并且检测所显示的图像上的位置坐标(x,y)(步骤S2304)。

图像处理设备3确定是否已针对所有用于校准的位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S2305)。当图像处理设备3确定尚未针对所有位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S2305：否)时，图像处理设备3发布下一移动命令(步骤S2306)并将处理返回至步骤S2302，以重复上述处理。

当图像处理设备3确定已针对所有位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S2305：是)时，图像处理设备3根据(公式1)计算转换公式(步骤S2307)。具体地，获得六个系数a、b、c、d、e、f。

接下来，在手边型中，如图23B所示，在成像装置4正下方设定要成为成像目标的标记60(步骤S2311)时，图像处理设备3获取移动目的地的位置坐标(x',y')(步骤S2312)，并且捕获末端执行器5的运动区域的图像(步骤S2313)。图像处理设备3显示运动区域的图像，并且检测所显示的图像上的位置坐标(x,y)(步骤S2314)。

图像处理设备3确定是否已针对所有用于校准的位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S2315)。当图像处理设备3确定尚未针对所有位置坐标(x',y')检测图像上的位置坐标(x,y)(步骤S2315：否)时，图像处理设备3发布下一移动命令(步骤S2316)，并将处理返回至步骤S2312，以重复上述处理。

当图像处理设备3确定已针对所有位置坐标(x',y')检测了图像上的位置坐标(x,y)(步骤S2315：是)时，图像处理设备3将位置坐标(x,y)乘以“-1”(步骤S2317)，以根据(公式1)计算转换公式(步骤S2318)。具体地，获得六个系数a、b、c、d、e、f。

如上所述，根据第一实施例，图像处理设备3可以将用于控制操纵器(机器人)1中的末端执行器5的运动的移动命令传送至机器人控制器2，从而使得用户无需理解随操纵器(机器人)1的类型而变化的机器语言。因而，可以获得由机器人控制器2识别的位置坐标(第一坐标值)与从所捕获的目标(工件)6的图像检测到的位置坐标(第二坐标值)之间的转换规则，以便以高精度控制操纵器1的运动。

(第二实施例)

根据本发明的第二实施例的图像处理***的配置和图像处理设备3的配置与第一实施例的图像处理***的配置和图像处理设备的配置类似。因此，具有相同功能的构成部分设置有相同的附图标记，从而省略其详细描述。第二实施例与第一实施例不同之处在于，通过使用校准结果来执行工件(目标)6的拾取。

图24是用于说明在根据本发明的第二实施例的图像处理***中执行拾取的示意图。如图24所示，在根据第二实施例的图像处理***中，工件6从拾取位置241移动至放置位置242。具体地，当成像装置4捕获在拾取位置241处的工件6的图像时，工件6由操纵器1的末端执行器5抓住，移动至放置位置242，然后被释放。

图25是示出用于在根据本发明的第二实施例的图像处理***中进行拾取的处理过程的流程图。如图25所示，机器人控制器2将操纵器1的末端执行器5移动到成像区域之外以避免操纵器1的末端执行器5妨碍成像装置4捕获作为成像目标的工件6的图像的状况(步骤S2501)。

机器人控制器2将成像命令传送至图像处理设备3(步骤S2502)。成像处理设备3接收成像命令(步骤S2503)，并且捕获工件6的图像(步骤S2504)。图像处理设备3显示工件6的图像，检测工件6在所显示的图像上的位置坐标(x,y)(步骤S2505)，并且通过使用先前通过校准而获得的转换公式将它们转换为位置坐标(x',y')(步骤S2506)。

图26是根据本发明的第二实施例的图像处理***中的针对工件6的位置检测画面的说明图。如图26所示，所捕获的工件6的图像显示在图像显示区域65中。

十字标记261表示工件6的图像已显示的位置坐标，十字标记262表示工件6的移动目的地。

图27是根据本发明的第二实施例的图像处理***中的针对工件6的移动画面的说明图。在图27的示例中，由于已捕获末端执行器5的图像，因此工件6隐藏在末端执行器5后面而未显示在该图像中。

然而，十字标记261和十字标记262显示为叠加在图像上，十字标记261表示工件6的图像已显示的位置坐标，十字标记262表示工件6的移动目的地。因此，即使在未显示工件6本身的图像时，仍然可以移动末端执行器5以使画面进入如图26所示的显示状态，然后可以指定移动目的地。

应注意，可以预先存储多个校准结果，并且可以选择这些结果中的任意一个。图28是根据本发明的第二实施例的图像处理***中的校准结果选择画面的说明图。

如图28所示，当通过鼠标操作等点击校准数据显示按钮282时，所存储的校准结果显示在下拉菜单281中。即，由于存储了具有针对每次校准而指定的系数的(公式1)的转换规则，因此以可选择的方式显示所存储的转换规则。

用户从下单菜单281中选择一个校准结果。因此，能够以高精度控制操纵器1的运动。

返回至图25，图像处理设备3将转换后的实际位置坐标(x',y')传送至机器人控制器2(步骤S2507)。机器人控制器2接收位置坐标(x',y')(步骤S2508)，并且将末端执行器5移动至拾取位置241以抓住工件6(步骤S2509)。机器人控制器2使末端执行器5抓住工件6(步骤S2510)。

机器人控制器2使末端执行器5在抓住工件6的同时移动至放置位置242(步骤S2511)，并且释放工件6(步骤S2512)。另外，可以自动生成用于除步骤S2510和步骤S2512中的处理以外的处理的运动程序。

另外，优选地是，预先将操纵器1的末端执行器5的位置与图像上的位置匹配。这是为了根据已基于目标6的图像检测到的图像上的位置坐标(x,y)以高精度获得实际位置坐标(x',y')。

图29A至图29C是用于说明根据本发明的第二实施例的图像处理***的主位置登记处理的示意图。首先，如图29A所示，末端执行器5抓住工件6，并且存储在抓住状态下的位置坐标(x',y')。

接下来，如图29B所示，机器人控制器2使得在抓住工件6的状态下的末端执行器5在正下方位置移动，并释放工件6。如图29C所示，在释放工件6之后，使末端执行器5在该工件正上方移动，并且成像装置4捕获工件6的图像。当操纵器1的末端执行器5包括在成像装置4捕获的图像中时，即，当末端执行器5妨碍捕获工件6的图像时，移动末端执行器5以使其不在所捕获的图像中，然后成像装置4捕获图像。所捕获的图像存储到图像处理设备3的存储单元33中。

如上所述，抓住工件6的位置的图像和位置坐标(x',y')彼此相关联地存储，从而允许控制运动，使得即使在末端执行器5的位置与工件6的位置之间发生了移位时，仍然可以将末端执行器5移动至末端执行器5可抓住工件6的位置。

图30是根据本发明的第二实施例的图像处理设备3的主位置登记画面的说明图。如图30所示，在末端执行器5抓住工件6情况下，成像装置4获取末端执行器5的中心位置TCP的坐标值和偏离中心位置TCP的位置坐标的坐标值。末端执行器5的中心位置TCP的坐标值和偏离中心位置TCP的位置坐标的坐标值显示在坐标显示区域3001中。

然后，通过鼠标等对移动按钮3002执行点击操作，以使得操纵器1的末端执行器5能够容易地返回至所登记的末端执行器5的中心位置TCP。

可以自动生成用于控制操纵器1的运动并在机器人控制器2中执行的程序。图31是根据本发明的第二实施例的图像处理设备3的程序生成画面的说明图。

在图31中，在顺序选择区域311中，从下拉菜单中选择要通过生成的程序执行的处理。另外，在制造商选择区域312中选择已制造了要成为生成的程序控制的目标的操纵器(机器人)1的制造商。这是因为对于生成的程序的指定根据制造商而变化。

在已完成所有设定的情况下，通过鼠标等对程序输出按钮313执行点击操作，以生成针对机器人控制器2的程序。图32是根据本发明的第二实施例的针对机器人控制器2的程序的说明图。

如图32所示，源代码321是用于建立与图像处理设备3的数据通信的命令。源代码322是用于收回成像装置4的命令。源代码323是针对图像处理设备3的坐标值获取命令。

源代码324是用于从图像处理设备3接收坐标值的命令。源代码325是用于将所接收到的位置坐标转换为操纵器1的实际位置坐标的命令。

源代码326是用于将操纵器1的末端执行器5移动至输出位置的命令。源代码327是注释字段，通过用户自己在其中描述源代码，可以生成更详细的程序。源代码328是用于取消与图像处理设备3的数据通信的命令。

应注意，在上述示例中，移动命令被写为字符串并通过以太网(注册商标)的非协议通信传送。然而，例如在机器人控制器2的公共存储器中，命令被分配给地址AAA，而命令参数被分配给地址BBB，从而在不使用字符串的情况下允许通过交换数字数据来形成命令***。当从图像处理设备3接收数值形式的移动命令时，地址AAA被对应于移动命令“MV”的数字号码重写并且地址BBB被“100,200,300”替代，这些地址随后作为移动命令发布至操纵器1。

自然地，可以使用除此之外的协议通信，诸如以太网(注册商标)的协议通信、PLC-Link、CC-Link或PROFINET。

如上所述，根据第二实施例，可以将移动命令和用于控制操纵器1的末端执行器5运动的运动命令从图像处理设备3传送至机器人控制器2，从而无需理解根据操纵器(机器人)1的类型而变化的机器语言，并且能够以高精度控制操纵器1的运动。

(第三实施例)

根据本发明的第三实施例的图像处理***的配置和图像处理设备3的配置与第一实施例和第二实施例中的类似。因此，具有相同功能的构成部分设置有相同的附图标记，并且从而省略其详细描述。第三实施例不同于第一实施例和第二实施例之处在于，通过使用校准结果来执行测试操作。

如在第二实施例中一样，自动生成用于执行操纵器1的测试操作并在机器人控制器2中执行的程序。图33是根据本发明的第三实施例的图像处理设备3的程序生成画面的说明图。

在图33中，在顺序选择区域331中，从下拉菜单中选择要通过生成的程序执行的处理。另外，在制造商选择区域332中选择已制造要成为由生成的程序进行控制的目标的操纵器(机器人)1的制造商。这是因为对生成的程序的指定随制造商而变化。

在图33的示例中，进行指定以生成程序，其用于控制移动至登记位置坐标(在图33中，“POS000”用作标识符)的运动、发布表示用于开始捕获图像的定时的成像触发以及移动至用于抓住工件6的位置。在完成全部指定时，通过鼠标操作等点击程序输出按钮333，以生成针对机器人控制器2的程序。

图34A至图34C中示出了在测试操作期间的运动。图34A至图34C是用于说明根据本发明的第三实施例的图像处理***中在测试操作期间的运动的示意图。

首先，如图34A所示，为了能够捕获工件6的图像，根据第三实施例的图像处理***将操纵器1的末端执行器5移动至与放置工件6的位置不同的位置“POS000”。在这种状态下，如图34B所示，根据成像触发来捕获工件6的图像。最后，如图34C所示，将操纵器1的末端执行器5移动至放置工件6的位置(检测位置)，以抓住工件6。

图35是示出根据本发明的第三实施例的图像处理***在测试操作期间的处理过程的流程图。如图35所示，图像处理设备3将用于移动至预定位置(在图33的示例中为“POS000”)的命令传送至机器人控制器2(步骤S3501)。

机器人控制器2从图像处理设备3接收移动命令(步骤S3502)，并且根据操纵器1的类型对移动命令进行解释(步骤S3503)。即，利用可激活操纵器1的机器语言将命令翻译成加载模块。

机器人控制器2将末端执行器5移动至由移动命令指定的位置(在图33的示例中为“POS000”)(步骤S3504)，并且将成像命令传送至图像处理设备3(S3505)。

图像处理设备3接收成像命令(步骤S3506)，并且捕获末端执行器5的运动区域的图像(步骤S3507)。图像处理设备3显示末端执行器5的运动区域的图像，检测工件6在所显示的图像上的各个位置坐标(x,y)(步骤S3508)，并通过使用先前通过校准而获得的转换公式来将它们转换为位置坐标(x',y')(步骤S3509)。

图像处理设备3将送至位置坐标(x',y')的移动命令传送至机器人控制器2(步骤S3510)。机器人控制器2接收移动命令(步骤S3511)，并且将末端执行器5移动至所转换的位置坐标(x',y')(步骤S3512)。

如上所述，根据第三实施例，可以将移动命令和用于控制操纵器1的末端执行器5运动的运动命令从图像处理设备3传送至机器人控制器2，从而无需理解根据操纵器(机器人)1的类型而变化的机器语言，并且能够执行对操纵器1的测试操作以检查其是否正确地进行运动。

另外，本发明不限于上述实施例，并且可以进行各种改变、修改等，只要在本发明的本质的范围内即可。例如，使用运动控制器来替代机器人控制器2可以扩大应用范围。

另外，虽然描述了使用二维仿射变换来进行校准的示例，但是自然可使用三维仿射变换。在这种情况下，仿射变换的转换公式如在(公式2)。

[数学公式2]

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right)=\left(\begin{array}{cccc}{a}_{xx}& a_{yx}& a_{zz}& b_x\\ a_{zy}& a_{yy}& a_{zy}& b_y\\ a_{zz}& a_{yz}& a_{zz}& b_z\\ 0& 0& 0& 1\end{array}\right)\×\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)...$ (公式2)

具体地，通过多个成像装置4捕获保持在空间内的工件6的图像，从而获得作为工件6在图像上的位置坐标的坐标值(x,y,z)与作为实际位置坐标的空间坐标值(x',y',z')之间的转换公式的每个系数。

图36是示出用于根据本发明的实施例的图像处理***的三维校准的处理过程的流程图。如图36所示，图像处理设备3将移动命令传送至机器人控制器2(步骤S3601)。机器人控制器2接收移动命令(步骤S3602)，并且根据操纵器1的类型对移动命令进行解释(步骤S3603)。即，利用可激活操纵器1的机器语言将命令翻译成加载模块。

机器人控制器2将末端执行器5移动至由移动命令指定的位置(步骤S3604)。机器人控制器2获取移动后的末端执行器5的移动目的地的位置坐标(x',y',z')(步骤S3605)，并且将所获取的位置坐标(x',y',z')传送至图像处理设备3(步骤S3606)。

图像处理设备3从机器人控制器2接收所获取的位置坐标(x',y',z')(步骤S3607)，并且捕获末端执行器5的运动区域的图像(步骤S3608)。图像处理设备3显示运动区域的图像，并且检测所显示的图像上的位置坐标(x,y,z)(步骤S3609)。

图像处理设备3确定是否已针对所有用于校准的位置坐标(x',y',z')检测图像上的位置坐标(x,y,z)(步骤S3610)。当图像处理设备3确定尚未针对所有位置坐标(x',y',z')检测图像上的位置坐标(x,y,z)(步骤S3610：否)时，图像处理设备3发布下一移动命令(步骤3611)并将处理返回至步骤S3601，以重复上述处理。

当图像处理设备3确定已针对所有位置坐标(x',y',z')检测了图像上的位置坐标(x,y,z)(步骤S3610：是)时，图像处理设备3根据(公式2)计算转换公式(步骤S3612)。具体地，获得十二个系数a_xx至a_zz、b_x、b_y和b_z。

Claims (13)

1.一种图像处理设备，包括：

通信装置，其能够与对机器人的运动进行控制的机器人控制器进行数据通信；

对目标的图像进行捕获的成像装置，所述目标为所述机器人的操作目标；

命令传送单元，其用于将使得末端执行器移动至多个预定位置的移动命令传送至所述机器人控制器，从而改变成为成像目标的所述目标相对于所述成像装置的相对位置；

移动坐标获取单元，其用于获取第一坐标值，所述第一坐标值是已根据所述移动命令移动的所述末端执行器的各位置坐标；

成像控制单元，其用于控制所述成像装置的操作以便在所述末端执行器已移动到的每个移动目的地处捕获所述目标的图像；

图像检测单元，其用于基于在每个移动目的地处捕获的所述目标的图像来检测第二坐标值，所述第二坐标值为所述目标的位置坐标；以及

校准执行单元，其用于基于所获取的多个第一坐标值与所检测的多个第二坐标值来计算这两种坐标之间的转换规则。

2.根据权利要求1所述的图像处理设备，其中，所述命令传送单元将至少包括移动指令和所述移动目的地的位置坐标的所述移动命令传送至所述机器人控制器。

3.根据权利要求1所述的图像处理设备，包括：

坐标检测单元，其用于检测作为所成像的目标的位置坐标的第二坐标值；以及

坐标转换单元，其用于基于所述转换规则将所检测的第二坐标值转换为所述第一坐标值。

4.根据权利要求3所述的图像处理设备，包括：

显示单元，其用于显示所捕获的所述目标的图像；以及

位置指定接受单元，其用于接受所显示的所述目标的图像上的位置的指定，

其中，所述坐标转换单元基于所述转换规则将所接受的指定位置处的所述第二坐标值转换为所述第一坐标值。

5.根据权利要求1所述的图像处理设备，其中，基于所述转换规则将所述移动坐标获取单元获取的所述第一坐标值转换为所述第二坐标值，并且所转换的值叠加并显示在所显示的所述目标的图像上。

6.一种图像处理***，包括：

机器人控制器，其控制机器人的运动；以及

图像处理设备，其包括通信装置和成像装置，所述通信装置连接至所述机器人控制器以与所述机器人控制器进行数据通信，所述成像装置对目标的图像进行捕获，所述目标为所述机器人的操作目标，

其中，所述图像处理设备包括：

命令传送单元，其用于将使得末端执行器移动至多个预定位置的移动命令传送至所述机器人控制器，从而改变成为成像目标的所述目标相对于所述成像装置的相对位置；

移动坐标获取单元，其用于获取第一坐标值，所述第一坐标值是已根据所述移动命令移动的所述末端执行器的各位置坐标；

成像控制单元，其用于控制所述成像装置的操作以便在所述末端执行器已移动到的每个移动目的地处捕获所述目标的图像；

图像检测单元，其用于基于在每个移动目的地处捕获的所述目标的图像来检测第二坐标值，所述第二坐标值为所述目标的位置坐标；以及

校准执行单元，其用于基于所获取的多个第一坐标值与所检测的多个第二坐标值来计算这两种坐标之间的转换规则。

7.根据权利要求6所述的图像处理***，其中，所述命令传送单元将至少包括移动指令和所述移动目的地的位置坐标的所述移动命令传送至所述机器人控制器。

8.根据权利要求6所述的图像处理***，其中，

所述图像处理设备包括：

坐标检测单元，其用于检测作为所成像的目标的位置坐标的所述第二坐标值；以及

坐标转换单元，其用于基于所述转换规则将所检测的第二坐标值转换为所述第一坐标值。

9.根据权利要求8所述的图像处理***，其中，

所述图像处理设备包括：

显示单元，其用于显示所捕获的所述目标的图像；以及

位置指定接受单元，其用于接受所显示的所述目标的图像上的位置的指定，并且

其中，所述图像处理设备基于所述转换规则将在指定接受位置处的所述第二坐标值转换为所述第一坐标值。

10.根据权利要求6所述的图像处理***，其中，所述图像处理设备基于所述转换规则将所述移动坐标获取单元获取的所述第一坐标值转换为所述第二坐标值，并且将所转换的值叠加并显示在所显示的所述目标的图像上。

11.根据权利要求6所述的图像处理***，其中，所述机器人控制器包括程序转换单元，其用于解释所述移动命令并将所解释的命令转换为对所述末端执行器的移动命令。

12.根据权利要求11所述的图像处理***，其中，所述程序转换单元针对每种类型的机器人而提供，并且根据所述机器人的类型将所述移动命令转换为对所述末端执行器的移动命令。

13.一种能够由图像处理***执行的图像处理方法，所述图像处理***包括：

机器人控制器，其控制机器人的运动；以及

图像处理设备，其包括通信装置和成像装置，所述通信装置连接至所述机器人控制器以与所述机器人控制器进行数据通信，所述成像装置对目标的图像进行捕获，所述目标为所述机器人的操作目标，

所述图像处理方法包括以下步骤：

将使得末端执行器移动至多个预定位置的移动命令传送至所述机器人控制器，从而改变成为成像目标的所述目标相对于所述成像装置的相对位置；

获取第一坐标值，所述第一坐标值是已根据所述移动命令移动的所述末端执行器的各位置坐标；

控制所述成像装置的操作以便在所述末端执行器已移动到的每个移动目的地处捕获所述目标的图像；

基于在每个移动目的地处捕获的所述目标的图像来检测第二坐标值，所述第二坐标值为所述目标的位置坐标；以及

基于所获取的多个第一坐标值与所检测的多个第二坐标值来计算这两种坐标之间的转换规则。