CN111225143B - 图像处理装置及其控制方法以及程序存储介质 - Google Patents

Abstract

本发明涉及一种图像处理装置及其控制方法以及程序存储介质。根据本发明的图像处理装置包括：第一获取单元，用于获取拍摄图像；显示控制单元，用于在显示装置上显示设置画面，使得用户能够设置第一获取单元所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及第二获取单元，用于获取表示基于预定图像处理的结果来控制操作的作业装置的可移动范围的可移动范围信息。显示控制单元基于第二获取单元所获取到的可移动范围信息来控制设置画面的显示，以使用户在图像中识别作业装置不能操作的范围。

Description

图像处理装置及其控制方法以及程序存储介质

技术领域

本发明涉及用于支持与诸如机器人等的作业装置协同操作的图像处理装置的图像处理设置的技术。

背景技术

已知有使用摄像装置和机器人装置进行产品的生产、质量检查和运输等的***。在这样的***中，控制把持机构、机器人臂、致动器和运输机构等以处理物体(在下文中，称为“工件”)。例如，通过使摄像装置对工件进行摄像、进行图像处理以测量位置和检查工件、并且基于测量和检查的结果改变用于机器人装置的控制指示或校正机器人装置的操作，***可以进行各种操作。

与机器人装置协同操作的图像处理装置也被称为机器人视觉，并且在许多情况下用于通过使用拍摄图像来检测工件是否存在以及测量工件的位置和姿势等的目的。为了工业目的，例如，进行图案匹配和边缘检测等作为用于校正机器人的操作的图像处理。在这样的图像处理中，为了缩短处理时间，可以仅将图像中的一部分区域指定为图像处理的对象(在下文中，称为“图像处理区域”)。在图像处理中计算出的与工件的位置和姿势等有关的数据从照相机坐标系中的数据转换成机器人坐标系中的数据，并且用于控制机器人的诸如拾取操作等的操作。

日本特开2016-120567公开了用于通过控制机器人的图像处理装置和摄像装置来将数据的坐标系从照相机坐标系转换成机器人坐标系的方法。根据这样的方法，可以在不需要用户创建复杂的机器人操作控制程序的情况下将在拍摄图像中检测到的与工件的位置和姿势有关的数据转换成机器人坐标系中的数据。

顺便提及，由于机器人的可移动范围受限，因此在将图像处理中测量的表示工件位置的数据转换成机器人坐标系中的数据之后，并不总是能够执行下一机器人操作(诸如把持工件等)。例如，即使摄像装置可以对工件进行摄像、识别图像中的工件、并且测量工件的位置和姿势，在工件的位置和姿势在机器人的可移动范围外的情况下，机器人也不能移动到该位置。

发明内容

本发明提供用于与作业装置协同操作并且可以支持图像处理区域的设置、因而高效地进行设置处理的图像处理装置。

根据本发明的实施例，提供了一种图像处理装置，包括：第一获取单元，用于获取拍摄图像；显示控制单元，用于在显示装置上显示设置画面，使得用户能够设置所述第一获取单元所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；作业装置，其操作是基于所述预定图像处理的结果来控制的。以及第二获取单元，用于获取表示作业装置的可移动范围的可移动范围信息，其中，所述显示控制单元基于所述第二获取单元所获取到的所述可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围。

根据本发明的实施例，提供了一种图像处理装置，包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：第一获取单元，用于获取拍摄图像；显示控制单元，用于在显示装置上显示设置画面，使得用户能够设置所述第一获取单元所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及第二获取单元，用于获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，其中，所述显示控制单元基于所述第二获取单元所获取到的所述可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围。

根据本发明的实施例，提供了一种图像处理装置的控制方法，所述控制方法包括：获取拍摄图像；在显示装置上显示设置画面，使得用户能够设置所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，其中，基于所获取到的可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围。

根据本发明的实施例，提供了一种存储有计算机程序的非暂时性存储介质，所述计算机程序用于使计算机执行图像处理装置的控制方法，所述控制方法包括：获取拍摄图像；在显示装置上显示设置画面，使得用户能够设置所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，其中，基于所获取到的可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围。

根据本发明的图像处理装置，可以在与作业装置协同操作中支持图像处理区域的设置，从而能够高效地进行设置处理。

根据下面参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是包括根据实施例的图像处理装置的***的整体结构图。

图2是主要示出根据实施例的图像处理装置的框图。

图3是示出根据实施例的流程图创建画面的示例的图。

图4是示出根据实施例的用于支持图像处理区域的设置的画面的示例的图。

图5是根据实施例的用于获取机器人的可移动范围的处理的流程图。

图6是根据实施例的用于获取处于特定姿势的机器人的可移动范围的处理的流程图。

图7是根据实施例的用于基于以恒定间隔采样的像素获取机器人的可移动范围的处理的流程图。

图8A至8C是用于说明根据实施例的用于对像素进行采样的方法和用于获取机器人的可移动范围的方法的图。

图9A至9C是示出根据实施例的使用侧倾角、俯仰角和横摆角的转动处理的图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。尽管实施例示出用于控制机器人并使机器人进行操作的***的示例，但是实施例可以应用于设置有诸如操纵器和运输装置等的作业装置的各种***。

图1是包括图像处理装置的***的整体结构图。机器人控制装置101响应于来自外部装置的控制指示，控制机器人的各个轴和安装到机器人的工具。在本实施例中，机器人102包括所谓的臂部和安装到该臂的前端的工具部。作为工具部，将以用于把持工件的手作为示例进行说明。此外，尽管假设根据本实施例的机器人控制装置101从图像处理装置103接收控制指示，但是可能的***结构和指示形式不限于此。此外，尽管在一些情况下机器人控制装置101和图像处理装置103可以容纳在与机器人102所用的壳体相同的壳体中，但是将在机器人控制装置101和图像处理装置103是分离的装置的假设下描述实施例。

图像处理装置103基于预定摄像参数的设置来控制由摄像装置104进行的摄像操作，对拍摄图像进行处理，并且输出根据任意过程的处理的结果。尽管以摄像装置104被安装到机器人102的这种形式示出了摄像装置104，但是摄像装置104可以以分离的方式安装。

通过图像处理装置103向机器人控制装置101发送控制指示来开始***的操作。如果接收到控制指示，则机器人控制装置101控制机器人102，使得机器人102以可以对工作台105上的工件106进行摄像的方式改变机器人102的姿势(在下文中，称为摄像姿势)。如果机器人102的姿势改变为摄像姿势，则图像处理装置103使用摄像装置104对工件106进行摄像。接着，图像处理装置103使用拍摄图像的数据进行图像处理，并且测量工件106的位置和姿势。此时，图像处理装置103可以根据需要区分工件106的类型并且进行与工件106的质量是否存在任何问题有关的检查。如果处理完成，则图像处理装置103将测量出的位置和姿势的数据从照相机坐标系中的数据转换成机器人坐标系中的数据，并将该数据发送至机器人控制装置101。

如果从图像处理装置103接收到数据，则机器人控制装置101生成机器人102的可移动范围107内(虚线的框内)的操作的轨迹数据，并使机器人102基于轨迹数据而操作。此外，机器人控制装置101进行用于利用机器人102的手(末端执行器)把持工件106的控制。随后，机器人控制装置101使机器人102移动到放置台109上的指定位置，并且进行用于解除利用手对工件的把持的控制，由此使工件106移动。除此之外，可能存在继续将利用手把持的工件组装到其它工件的操作的情况。

在如图1所示摄像装置104安装到机器人102的情况下，将机器人102改变为摄像姿势，调整摄像装置104的摄像参数，然后进行摄像。用户预先向机器人102示教工作台105上方的位置作为用于摄像的示教点，并且之后示教点用于重复进行摄像和图像处理。

示教点和与示教点相对应的摄像参数被存储在图像处理装置103中，并且摄像参数被用于进行以下摄像。代替摄像参数，图像处理装置103可以存储用于决定摄像参数的方法(固定值的利用、自动曝光和自动焦点调整等)。关于示教点的数据被存储在机器人102、机器人控制装置101或图像处理装置103等中。此外，用于图像处理的摄像参数被存储在图像处理装置103中。

图2是主要示出图像处理装置103的框图。图像处理装置103经由多个接口单元203连接到机器人控制装置101和摄像装置104。输入/输出显示装置201和操作输入装置202是经由接口单元203连接到图像处理装置103的用户接口装置。各个装置经由设置在图像处理装置103的内部总线上的各个接口单元203彼此连接。各个接口单元203包括用于进行基于适合于连接对象的通信标准的通信的网络接口单元和串行通信接口单元等。

输入/输出显示装置201包括用于显示图像的诸如阴极射线管(CRT)或液晶面板等的显示装置。操作输入装置202包括键盘、指点装置、触摸面板、输入操作控制器或手势输入装置等。

图像处理装置103可以根据需要设置有用于摄像装置104进行摄像的照明装置218。照明装置218包括诸如卤素灯或发光二极管等的光源，并且经由接口单元203连接到图像处理装置103。此外，可以将图中未示出的外部存储装置连接到图像处理装置103以扩展存储容量。

机器人控制装置101经由网络或线缆等连接到图像处理装置103。机器人控制装置101生成机器人102的操作的轨迹数据，并且具有与机器人102的可移动范围107有关的信息。

图像处理装置103具有包括用作图像处理的控制主体的中央处理单元(CPU)或图像处理处理器等的算术运算单元204。作为CPU，可以使用通用微处理器。算术运算单元204经由内部总线(数据总线、地址总线或其它控制线等)连接到存储单元205。

存储单元205可以包括例如ROM、RAM、或者外部存储装置的文件区域或虚拟存储区域。ROM是“只读存储器”的缩写，并且RAM是“随机存取存储器”的缩写。存储单元205具有处理数据保存区域206和程序存储区域。处理数据保存区域206包括存储单元205中的RAM区域或者外部存储装置中的文件区域或虚拟存储区域等。处理数据保存区域206用作用于存储图像处理所用的设置参数等的存储区域以及用于处理数据的临时存储。

存储单元205的程序存储区域存储用于执行根据本实施例的图像处理的图像处理程序207。图像处理程序207是用于响应于通过操作输入装置202进行的各种操作来改变图像处理的设置并执行预定图像处理的程序。此外，可以将与改变的详情有关的数据保存在处理数据保存区域206中，以及从处理数据保存区域206中删除该数据。

图像处理程序207包括用于实现各种功能的软件模块。例如，图像处理模块208是用于实现图像处理的程序的主体部分。对于由图像处理模块208进行的图像处理，使用图像处理库209。图像处理库209在存储单元205中实现为例如以静态或动态方式链接的库。图像处理设置模块210决定图像处理程序207的行为。响应于通过操作输入装置202进行的各种操作，进行图像处理设置。

此外，图像处理程序207包括用于实现以下功能的输入/输出(I/O)子例程。图像处理程序207包括例如外部装置控制子例程211、保存数据生成子例程212和用于接收来自机器人控制装置101的控制指示的指示接收子例程213。此外，图像处理程序207包括使用RAM区域和算术运算单元204的高速缓存区域等的临时存储子例程214、以及显示画面生成子例程215。保存数据输出子例程216是用于读取和输出处理数据保存区域206中保存的数据的程序。操作接收子例程217是用于从操作输入装置202接收操作指示的程序。将各个功能以形成为以静态或动态方式链接的库的应用(实用)程序或子例程的形式安装在存储单元205中。

图像处理装置103的算术运算单元204中设置的CPU通过执行图像处理程序207来进行摄像装置104的控制和图像处理。操作输入装置202基于操作接收子例程217的控制执行用于接收用户的操作指示的处理，并且基于指示接收子例程213的控制执行用于从机器人控制装置101接收控制指示的处理。算术运算单元204响应于操作指示或控制指示调用图像处理程序207的各个功能模块或库，进行算术运算，并将与图像处理的结果有关的数据发送到机器人控制装置101。此外，算术运算单元204可以将与图像处理的结果有关的数据发送到外部存储装置，并且进行日志记录。此外，图像处理程序207进行将预先存储的画面结构与画面上的图像处理的结果进行合成并在输入/输出显示装置201上显示合成结果的处理。

图3是示出用于创建图像处理程序207的流程图创建画面的示例的图。在输入/输出显示装置201上显示该画面。假设根据用户使用图像处理装置103所创建的流程图来执行根据本实施例的图像处理程序207。

作为另一实施例，存在用户使用图1中未示出的图像处理程序创建装置来创建图像处理程序207的实施例。在这种情况下，将所创建的图像处理程序207传送到图像处理装置103的存储单元205并存储在存储单元205中。

此外，也可以采用如下实施例：针对各个功能或目的预先准备模板图像处理流程图的组合，并且通过选择并封装适当的图像处理流程图来创建图像处理程序207。在这种情况下，用户可以在图形用户界面(GUI)上选择期望的功能并调整参数等。

部分列表301是流程图中包括的各个处理部分的列表。用户可以指定由矩形框表示的各种处理和由菱形框表示的条件分支处理。例如，用户可以使用操作输入装置202从部分列表301指定期望的处理部分。然后，用户通过利用指点装置等进行拖放操作在流程图区域302中布置所指定的处理部分，然后通过利用线连接所布置的多个处理部分来完成流程图。

流程图303是使用多个处理部分来描述使机器人102从工作台105拾取工件106并将工件106放置在放置台109上的处理的示例。根据流程图303，在开始处理之后，作为移动机器人304，进行用于使机器人102移动到工作台105的上方的姿势控制。拍摄图像305是用于对工件106进行摄像的处理。随后的处理部分即计算工件位置306是用于计算工件106的位置和相位的计算处理。机器人校正移动307是用于根据在计算工件位置306中计算出的工件106的位置和相位来使机器人102的手在工件的位置上方移动或转动作为机器人102的校正控制的处理。

随后的处理部分即移动机器人307是用于使机器人102移动到可以利用机器人102的手把持和拾取工件106的位置，例如工件106的正上方的位置。控制机器人手308是用于通过控制手的打开和关闭来拾取工件106的处理。

随后的处理部分即移动机器人309是用于将机器人移动到放置台109上方的处理。移动机器人310是用于将机器人102的手朝向放置台109降低的处理。这里，移动机器人309和310可以作为一个处理部分被整体进行。该情况下的处理部分是用于使手经由放置台109上方的位置移动到放置台109的机器人移动部分。

在控制机器人手311中，执行通过控制打开和关闭手来放置工件106的处理。下一步骤即移动机器人312是用于使机器人102移动到初始位置的处理。通过结束控制机器人手311，流程图中所示的一系列处理结束。

在图3中，处理部分304至312和317的框中所显示的文字不必与流程图的部分列表301中的文字相同。例如，处理部分309可以被显示为“移动到放置台上方”，而处理部分310可以被显示为“移动到放置台”。如果用户双击流程图303中所示的任何处理部分，则处理进入用于显示用于设置处理部分的详细处理的设置画面(在下文中，称为详细设置画面)的处理。用户可以参照详细设置画面来调整图像处理参数和图像处理区域。此外，如果用户在OK按钮313上进行点击操作，则图像处理装置103创建用于执行流程图303中描述的处理的图像处理程序207，并将图像处理程序207保存在存储单元205中。

当创建流程图时，机器人102需要移动到与工件106的位置和姿势相对应的各种位置，从而检查是否可以执行这些操作。然而，图像处理中设置的图像处理区域不总是与机器人102的可移动范围一致。因此，需要用于将图像处理区域容纳在机器人102的可移动范围中的设置。将参考图4至9C详细描述用于设置这样的图像处理区域的设置支持功能。

图4示出处理部分是图3中的计算工件位置306的情况下的详细设置画面的示例。详细设置画面用作用于支持图像处理区域的设置的用户界面。将描述通过在计算工件位置306中使用图案匹配的图像处理方法来识别工件的位置和姿势的示例。

当用户登记设置图像时使用图4中的选择单元401。如果用户操作选择单元401，则预先保存在图像处理装置103的存储单元205中的图像的文件名称和字符串“照相机图像”被显示为列表形式的选项。如果用户从列表中选择期望的图像，则将所选择的图像登记为设置图像。此外，在用户选择“照相机图像”的情况下，利用在所使用的照相机402中登记的照相机(图4中的照相机1)进行摄像。

图像显示区域407是用于支持设置的显示区域。如果登记了作为设置图像的拍摄图像，则在图像显示区域407中显示设置图像。此时，图像处理装置103进行用于获取与机器人的可移动范围107有关的数据并且以叠加方式显示数据和设置图像的处理。稍后将参考图5至8C来描述用于获取机器人的可移动范围107的方法。尽管在图4的示例中用虚线显示机器人的可移动范围107，但显示方法不限于此，并且例如，可以以透明方式或利用颜色或以闪烁方式显示区域的内部或外部。

图像显示区域407下方的复选框412是用于设置在获取机器人的可移动范围107时是否指定手姿势的复选框(如果复选框被选中，则这意味着手姿势将被“指定”)。在除非机器人102处于特定的手姿势否则不能进行诸如工件106的把持等的操作的情况下，用户将复选框412改变为选中状态。以这样的方式，可以通过设置输入单元411设置手姿势的侧倾角、俯仰角和横摆角。在下文中，将参考图9A至9C具体描述这些角度。

首先，假设机器人坐标系是XYZ坐标系。X、Y和Z表示三维正交坐标系中的各个坐标轴。此外，将由侧倾角、俯仰角和横摆角表示的转动坐标添加到作为基准的机器人坐标系中。通过平行移动这些坐标轴使得机器人102的手的附着面的中心与原点相对应而获得的工具坐标系被定义为X’Y’Z’坐标系。侧倾角、俯仰角和横摆角分别被示出为φ、θ和ψ。

图9A示出以侧倾角φ转动，图9B示出以俯仰角θ转动，并且图9C示出以横摆角ψ转动。以这样的顺序执行转动。此时，假设手的位置和姿势在工具坐标系中是固定的。可以使用欧拉角等来表示手姿势。

作为通过设置输入单元411指定手姿势的方法，可以例示出用于直接输入数值的方法以及用于设置用以向上向下计数的操作按钮并通过用户按下操作按钮来调整手姿势的方法等。

使用通过设置输入单元411指定的值来获取与机器人的可移动范围107有关的数据，并且以叠加方式将该数据显示在图像显示区域407中。每当改变针对手姿势的设置项时，更新与机器人的可移动范围107有关的数据。在通过设置输入单元411将针对手姿势的设置项保持为空白的情况下，关于设置项维持当前转动角度。

接着，将描述用于设置图像显示区域407中的图像处理区域108的用户处理。

区域形状403是具有旋钮控件的框，并且用户利用区域形状403进行选择操作。对于区域形状，可以呈现诸如矩形、圆形、椭圆形和环形等的形状作为选项。可选地，可以通过组合这些形状来设置区域形状，或者可以将使用指点装置等创建的自由形状设置为区域形状。图4的示例示出已经设置了矩形图像处理区域108的情况。

设置输入部404接收针对矩形的左上侧的x坐标和y坐标以及针对矩形的右下侧的x坐标和y坐标的输入，作为针对矩形区域的设置项。在图4的示例中，使用原点位于拍摄图像的左上方、水平方向作为x轴方向、并且垂直方向作为y轴方向的图像坐标系。作为用于指定针对矩形区域的设置项的方法，可以例示用于直接输入数值的方法以及用于设置用以向上向下计数的操作按钮并通过用户按下操作按钮来调整形状的方法等。图像处理区域108以叠加方式显示在图像显示区域407中，并且每当选择区域形状403的结果或者通过设置输入单元404设置的设置值改变时，更新显示。

用户可以在检查图像显示区域407中显示的设置图像和机器人的可移动范围107的同时设置期望的图像处理区域108。即，仅需要指定图像处理区域108使得图像处理区域108被包括在机器人的可移动范围107中。

此外，在通过用户的操作将图像处理区域108设置为不包括在机器人的可移动范围107中的情况下，可以在设置画面上显示预定通知。

另外，尽管上面已经描述了通过用户的直接操作在任意位置指定图像处理区域108的示例，但是可以采用其它方法。例如，可以例示用于直接使用机器人的可移动范围107作为图像处理区域108的方法和用于将图像处理区域108限制在机器人的可移动范围107内的方法。根据后一方法，例如，表示图像处理区域108的边界的框被限制在可移动范围107内。根据这些方法，可以避免由于用户的错误操作而导致图像处理区域108突出到机器人的可移动范围107之外。

接着，将描述在图像处理区域108上执行的图案匹配设置过程。

选择单元405用于设置用于图案匹配的图案。基于诸如工件的强度梯度、对比度浓度以及位置和相位信息等的特征信息来生成图案，并且将该图案预先保存在图像处理装置103的存储单元205中。如果用户通过操作选择单元405来设置期望的图案，则在图案显示区域406中显示用于匹配的图案。此时，可以设置诸如匹配阈值等的参数作为设置项。

操作按钮408是测试执行按钮，并且如果用户按下操作按钮408，则使用由所使用的照相机402选择的照相机(图4中的照相机1)来进行摄像。尽管在仅摄像装置104是使用照相机的情况下，可以预先选择摄像装置104，但是在多个照相机可用的情况下，需要指定要使用的照相机。

在由摄像装置104获取到的图像中，对指定图像处理区域108进行图案匹配处理，并且测量工件106的位置和姿势等。此后，如果用户操作OK按钮409，则将与已经设置的图像处理区域108的设置值以及图案匹配的设置值等有关的数据与图像处理装置103的存储单元205中所保存的图像处理程序207等相关联。当执行程序时以及当再次显示设置画面时，读取并使用该数据。另一方面，如果用户按下取消按钮410，则将与在图4的详细设置画面中改变的图像处理区域108的设置值以及图案匹配的设置值等有关的数据在没有被保存的情况下丢弃。

图5是用于说明获取机器人的可移动范围107的处理的流程图。在图5的示例中，假设使用拍摄图像中的所有像素来获取机器人的可移动范围107。通过图像处理装置103和机器人控制装置101的CPU执行程序来实现以下处理。

在S601中，指定用于获取机器人的可移动范围107的设置图像。设置图像是在图4的图像显示区域407中显示的图像。

在S602中，对在S601指定的设置图像中的所有像素进行用于获取图像坐标系中的二维坐标数据的处理。

在S603中，图像处理装置103进行用于将图像坐标系转换成机器人坐标系的处理。根据在S602中获取到的图像坐标系中的二维坐标数据，计算关于工具坐标系的数据，即X’轴、Y’轴和Z’轴上的各个坐标值。例如，假设获取二维拍摄图像数据的摄像装置。预先定义拍摄图像中的像素的数量与测量平面中(工作台105上)的像素的实际距离之间的对应关系以及测量平面与摄像装置的摄像位置之间的对应关系，并且进行用于将图像坐标系转换成工具坐标系的处理。可选地，在能够获取三维坐标数据以及颜色信息或对比度浓度信息的摄像装置的情况下，代替根据平面信息的坐标转换，进行用于基于三维拍摄图像中的各个像素与三维坐标之间的对应关系向工具坐标系转换的处理。

此外，可以进行从工具坐标系向机器人坐标系的三维坐标转换。在该转换中，使用与机器人坐标系中的手的位置以及臂的姿势等有关的信息进行矩阵算术运算。

在S604中，执行用于判断机器人102是否可以移动到S603中获得的机器人坐标系中的三维坐标位置的处理。使用机器人控制装置101中的移动检查命令等来执行判断处理。移动检查命令是在图像处理装置103向机器人控制装置101询问机器人102是否可以移动到指定坐标的情况下所使用的命令。

另外，在机器人控制装置101没有容纳移动检查命令的情况下，图像处理装置103使用移动命令向机器人控制装置101提供移动指示，并且检查机器人102是否可以移动到指定的三维坐标。此后，进行用于停止机器人102的移动并使机器人102返回到原始位置和姿势的处理。

另外，在可以使用表示机器人的可移动范围107的3D模型的***的情况下，可以预先读取关于3D模型的数据，并且参照所读取的数据来判断机器人102是否可以移动到机器人坐标系中指定的坐标位置。可以使用图像处理装置103的操作输入装置202通过机器人102的型号编号或型号名称来参照关于3D模型的数据。尽管关于3D模型的数据被保存在机器人控制装置101的存储单元或图像处理装置103的存储单元205中，但是也可以通过从网络上的存储器等检索来参照该数据。

此外，可以提供用于输入机器人102的各个轴的可移动范围并生成虚拟3D模型的功能。

在S605中，在图像显示区域407中显示图4所示的机器人的可移动范围107。即，对于在S604中判断的可移动范围107中的所有点(像素位置)，以叠加方式在S601中指定的图像上显示机器人的可移动范围107的图像。

图6是用于说明用于基于通过图4所示的设置输入单元411的输入值来获取机器人的可移动范围107的处理的流程图。

在用户在图4的复选框412中放置复选标记并且通过设置输入单元411设置侧倾角、俯仰角和横摆角的情况下，执行以下处理。

在期望使机器人102在手处于使用通过设置输入单元411所设置的设置值的期望位置和期望姿势的状态下进行操作的情况下，可以获取处于该位置和该姿势的机器人的可移动范围107。

由于S701至S703中的处理是与图5中的S601至S603中的处理相同的处理，因此将省略对这些处理的描述。

在S704中，进行用于判断机器人是否能够以通过设置输入单元411指定的手姿势移动到S703中所获得的机器人坐标系中的三维坐标位置的处理。在S705中，基于S704中的判断处理的结果，在图像显示区域407中以叠加方式显示与机器人可以移动到的位置相对应的所有像素，从而向用户呈现机器人的可移动范围107。

参考图7和图8A至8C，将描述进一步高效地获取与机器人的可移动范围107有关的数据的方法。

图7是用于说明使用以恒定间隔从图像采样的像素来高效地获取机器人的可移动范围107的处理的流程图。由于图7所示的S801和S804中的处理是与图5中的S601和S603中的处理相同的处理，因此将省略对这些处理的详细描述，并且仅描述不同之处。

图8A至8C是用于说明像素的采样和机器人的可移动范围的获取的图。

在图7中，在S801中进行与上述S601中的处理相同的处理。

接着，在S802中，对在S801中指定的图像进行以恒定间隔对像素进行采样的处理。图8A是示出在作为对象的12×16[像素]图像中每两个像素被采样的示例的示意图。用黑色表示的像素表示采样像素(在下文中，称为对象像素)。

在S803中，从在S802中获取到的对象像素来获取图像坐标系中的二维坐标数据。

在S804中，进行与上述S603中的处理相同的处理。

接着，在S805中，与S604或S704同样地判断机器人是否可以移动到机器人坐标系中的三维坐标位置。图8B是用斜线阴影示出在图8A中用黑色表示的像素组中的在S805中被判断为在机器人的可移动范围107内的像素的示意图。

在图8B中，未被采样的像素位于由斜线表示的像素的周边。在S806中，未被采样的像素为关注像素。然后，判断关注像素的周边像素是否在机器人的可移动范围107内。图8C是示出判断结果的示意图。如果关注像素在机器人的可移动范围107内，则判断为周边像素在可移动范围107内，或者如果关注像素在机器人的可移动范围107外，则判断为周边像素在可移动范围107外。如图8C所示，获取包括关注像素的周边像素的范围作为机器人的可移动范围107。

在图7的S807中，执行在图像显示区域407中以叠加方式显示S806中获得的机器人的可移动范围107的处理。

以这种方式，通过采样减少对象像素的数量，缩短了用于获取与机器人的可移动范围107有关的数据的时间。例如，如果如图8A至8C所示对每两个像素应用采样，则与处理所有像素的情况相比，处理时间可以减少到约1/4。此外，用于对关注像素的周边进行插值的方法不限于图8A至8C中的示例，并且可以进行诸如样条插值或局部多项式近似等的其它方法。

此外，存在通过搜索机器人的可移动范围107的边界来高效地获取机器人的可移动范围107的方法。根据该方法，首先指定用于获取机器人的可移动范围107的图像。图像处理装置103执行在该图像中包含的像素的各行上从左侧到右侧搜索与机器人的可移动范围107的边界相对应的像素的处理。如果找到了与边界相对应的像素，则结束对该像素的行的处理。以同样的方式，还从各行的右侧到左侧、从各列的上侧到下侧、以及从下侧到上侧搜索与机器人的可移动范围107的边界相对应的像素。图像处理装置103通过基于搜索到的像素的位置对多个边界进行合成来计算机器人的可移动范围107。除此之外，还例示了用于通过图像处理装置103搜索机器人的可移动范围107的边界的一部分、然后从其周边像素搜索机器人的可移动范围107的边界来获取机器人的可移动范围107的方法等。可选地，可以使用用于从图像以恒定间隔对像素进行采样、然后对像素进行机器人的可移动范围107的边界的搜索的方法。

在本实施例中，当通过用于支持图像处理区域108的设置的处理设置了图像处理区域108时，用户可以检查机器人的可移动范围107。因此，用户可以在容易地识别机器人的可移动范围107的同时高效地设置图像处理区域108。此时，通过将图像处理区域108限制在机器人的可移动范围107内，可以避免图像处理区域108被设置在机器人的可移动范围107外。即，根据本实施例，可以通过使机器人的可移动范围107可视化，来防止在基于图像测量的结果校正机器人的移动时提供可移动范围外的作业指示，从而高效地设置图像处理区域。

在本实施例中，作为用于获取机器人的可移动范围107的方法之一，描述了在判断对象像素是否位于机器人的可移动范围107内时将图像内的所有像素假设为对象的方法。

另外，在本实施例中已经描述了用于对像素进行采样的方法和用于搜索机器人的可移动范围107的边界的方法。通过采用这些方法，可以更高效地获取与机器人的可移动范围107有关的数据。

另外，作为用于判断机器人坐标系中的任意坐标是否在机器人的可移动范围107内的方法，除了使用机器人102的移动检查命令的方法之外，还存在参照3D模型的方法。在机器人具有3D模型或用于配置3D模型的数据的情况下，不必针对各个坐标执行移动检查命令等。因此，可以根据机器人控制装置101的响应性能来高效地获取与机器人的可移动范围107有关的数据。

另外，在图4所示的设置画面中也可以设置是否考虑机器人的可移动范围的设置项。在不考虑机器人的可移动范围的设置的情况下，不显示机器人的可移动范围107。

根据本实施例，可以通过将与机器人的可移动范围有关的信息和拍摄图像一起呈现给用户来支持图像处理区域的设置。因此，用户可以在检查可视化的机器人的可移动范围的同时高效地在机器人的可移动范围内设置图像处理区域。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

Claims (16)

1.一种图像处理装置，包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：

第一获取单元，用于获取拍摄图像；

显示控制单元，用于在显示装置上显示设置画面，使得用户能够设置所述第一获取单元所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及

第二获取单元，用于获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，

其中，所述显示控制单元基于所述第二获取单元所获取到的所述可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围，以及

其中，所述显示控制单元进行控制，使得所述作业装置的可移动范围与所述第一获取单元所获取到的拍摄图像一起显示在所述设置画面上。

2.根据权利要求1所述的图像处理装置，其中，所述第二获取单元通过使用移动命令或移动检查命令来检查所述作业装置是否能够移动到指定位置。

3.根据权利要求1所述的图像处理装置，其中，所述第二获取单元参照表示与所述作业装置的型号类型相对应的可移动范围的3D模型来获取所述可移动范围信息。

4.根据权利要求1所述的图像处理装置，其中，在与所述作业装置的姿势有关的信息被指定的情况下，所述第二获取单元获取处于指定姿势的所述作业装置的可移动范围信息。

5.根据权利要求1所述的图像处理装置，其中，所述第一获取单元获取三维拍摄图像的数据，并且所述第二获取单元判断所述作业装置是否能够移动到三维坐标中的位置。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，所述拍摄图像是由安装到所述作业装置的摄像装置拍摄到的。

7.根据权利要求1所述的图像处理装置，其中，所述显示控制单元进行控制，使得以叠加方式显示所述第一获取单元所获取到的拍摄图像和所述作业装置的可移动范围。

8.根据权利要求1至5中任一项所述的图像处理装置，其中，所述显示控制单元进行控制，使得在所述设置画面上显示用于设置所述图像处理区域的形状的项。

9.根据权利要求1至5中任一项所述的图像处理装置，其中，所述显示控制单元进行控制，使得将能够被设置为所述图像处理区域的区域限制在所述作业装置的可移动范围内。

10.根据权利要求1至5中任一项所述的图像处理装置，其中，所述显示控制单元进行控制，使得在所述作业装置的可移动范围外的区域被设置为所述图像处理区域的情况下输出通知。

11.根据权利要求1至5中任一项所述的图像处理装置，其中，所述作业装置包括臂单元和安装到所述臂单元的工具单元。

12.根据权利要求11所述的图像处理装置，其中，所述拍摄图像是由安装到所述臂单元或所述工具单元的摄像装置拍摄到的。

13.根据权利要求11所述的图像处理装置，其中，所述显示控制单元显示用于在所述图像处理区域的设置中指定所述工具单元的姿势的项。

14.根据权利要求11所述的图像处理装置，其中，所述显示控制单元显示用于在所述图像处理区域的设置中选择是否考虑所述工具单元的姿势的项。

15.一种图像处理装置的控制方法，所述控制方法包括：

获取拍摄图像；

在显示装置上显示设置画面，使得用户能够设置所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及

获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，

其中，基于所获取到的可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围，以及

其中，进行控制，使得所述作业装置的可移动范围与所述拍摄图像一起显示在所述设置画面上。

16.一种存储有计算机程序的非暂时性存储介质，所述计算机程序用于使计算机执行图像处理装置的控制方法，所述控制方法包括：

获取拍摄图像；

在显示装置上显示设置画面，使得用户能够设置所获取到的图像中的作为进行预定图像处理的区域的图像处理区域；以及

获取表示作业装置的可移动范围的可移动范围信息，其中，所述作业装置的操作是基于所述预定图像处理的结果来控制的，

其中，基于所获取到的可移动范围信息来控制所述设置画面的显示，以使用户在所述图像中识别所述作业装置不能操作的范围，以及

其中，进行控制，使得所述作业装置的可移动范围与所述拍摄图像一起显示在所述设置画面上。

Images