CN109719719A - 信息处理装置及机器人臂控制*** - Google Patents

Abstract

本发明的实施方式涉及能够继续物品的保持作业而不停止机器人臂的动作的信息处理装置及机器人臂控制***。根据实施方式，向机器人臂供给信息的信息处理装置具备通信接口和控制部，该机器人臂具有吸附于放置在规定范围中的物品并保持物品的保持机构、及使保持机构移动的臂机构。控制部基于摄像机对规定范围进行拍摄得到的图像，计算使保持机构吸附于物品的吸附点，将表示计算出的吸附点的信息供给到机器人臂。另外，在控制部未能进行基于图像对吸附点的计算的情况下，所述控制部从操作者操作的操作终端取得表示图像上的显现出所述物品的区域的区域信息，基于区域信息再次计算吸附点，将表示再次计算出的吸附点的信息供给到机器人臂。

Description

信息处理装置及机器人臂控制***

本申请基于2017年10月30日提交的日本专利申请2017-209394，并要求该申请的优先权。本申请通过引用该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及信息处理装置及机器人臂控制***。

背景技术

在输送包裹等物品(货物)的分拣***中，需要进行按照输送目的地分拣所收集的货物的作业。例如，具备机器人臂的分拣***已经实用化，所述机器人臂具有通过吸附于物品来保持物品的保持机构、以及使保持机构移动的臂机构。

在具备如上所述的机器人臂的分拣***中，基于图像来识别物品的形状等，并基于识别结果来确定表示使保持机构吸附于物品的位置的吸附点。但是，在识别有误的情况下，分拣***有可能产生无法确定吸附点或者即便使保持机构向吸附点移动也无法吸附于物品等问题。在这种情况下，需要停止机器人臂的动作，由操作者对物品的位置进行调整。

发明内容

本发明所要解决的技术问题在于，提供能够继续物品的保持作业而不停止机器人臂的动作的信息处理装置及机器人臂控制***。

根据实施方式，向机器人臂供给信息的信息处理装置具备通信接口和控制部，所述机器人臂具有吸附于放置在规定范围中的物品并保持所述物品的保持机构、以及使所述保持机构移动的臂机构。控制部基于摄像机对所述规定范围进行拍摄得到的图像，计算使所述保持机构吸附于所述物品的吸附点，并将表示计算出的所述吸附点的信息供给到所述机器人臂。另外，在控制部未能进行基于所述图像对所述吸附点的计算的情况下，所述控制部从操作者操作的操作终端取得表示所述图像上的显现出所述物品的区域的区域信息，基于所述区域信息再次计算所述吸附点，并将表示再次计算出的所述吸附点的信息供给到所述机器人臂。

根据上述结构的信息处理装置，能够继续物品的保持作业而不停止机器人臂的动作。

附图说明

图1是用于说明一个实施方式的分拣***的结构例的说明图。

图2是用于说明一个实施方式的信息处理装置的结构例的说明图。

图3是用于说明一个实施方式的操作终端的结构例的说明图。

图4是用于说明一个实施方式的机器人臂的动作的流程图。

图5是用于说明一个实施方式的信息处理装置的动作的流程图。

图6是用于说明一个实施方式的信息处理装置的动作的流程图。

图7是用于说明一个实施方式的信息处理装置的动作的流程图。

图8是用于说明从摄像机供给的图像的例子的说明图。

图9是用于说明掩膜图像的例子的说明图。

图10是用于说明掩膜图像的其他例子的说明图。

图11是用于说明一个实施方式的操作终端的动作的流程图。

图12是用于说明一个实施方式的操作终端的动作的流程图。

图13是用于说明操作者的操作结果的例子的图。

图14是用于说明操作者的操作结果的例子的图。

图15是用于说明操作者的操作结果的例子的图。

具体实施方式

下面，参照附图，对实施方式进行说明。

图1是用于说明分拣***1的概略结构例的说明图。

分拣***1是将搭载于筐车2的分拣对象即物品3分拣到规定的分拣目的地的***。分拣目的地例如为传送带4。此外，分拣目的地不限于传送带4，也可以为分拣用的筐，也可以是作业台等。

分拣***1具备机器人臂11、信息处理装置12以及操作终端13。另外，分拣***1进一步具备摄像机14。机器人臂11、信息处理装置12、操作终端13以及摄像机14被构成为能够通过网络15相互通信。

首先，对机器人臂11的结构进行说明。

机器人臂11是从筐车2中提起物品3并将物品供给到分拣目的地的装置。机器人臂11具备保持机构21、臂机构22、接触传感器23、压力传感器24以及控制器25。

保持机构21是对物品3进行保持的机构。保持机构21例如具备吸附于物品3的至少一个以上的吸附垫。吸附垫具备与物品3的表面接触并且与由控制器25控制的真空泵(未图示)连通的垫部。

臂机构22是使保持机构21移动的机构。臂机构22具备多个臂以及连接多个臂的间接机构。间接机构通过在由控制器25控制的致动器(未图示)的作用下可动，对臂进行驱动。

接触传感器23是检测对保持机构12施加的应力的传感器。接触传感器23例如检测对保持机构21从铅垂方向施加的应力。接触传感器23将检测结果发送至控制器25。具体而言，接触传感器23在检测到对保持结构21从铅垂方向施加的应力的情况下，将启动(ON)信号供给到控制器25。

压力传感器24是检测保持机构21的吸附垫内的压力的传感器。压力传感器24例如检测连接保持机构21的吸附垫与真空泵的连接部的压力。压力传感器将检测结果发送至控制器。具体而言，压力传感器24在检测到保持机构21的吸附垫内的压力为负压的情况下，将启动信号供给到控制器25。

控制器25控制保持机构21以及臂机构22的动作。控制器25例如具备存储器(未图示)和计算元件(未图示)，所述计算元件通过执行存储在存储器中的程序来控制保持机构21以及臂机构22的动作。另外，控制器25也可以被构成为定序器(sequencer)。

接下来，对摄像机14的结构进行说明。

摄像机14具备镜头以及将通过镜头成像的光转换成图像的摄像元件。摄像机14的镜头以能够对搭载有被机器人臂11提起的物品3的筐车2内进行摄像的方式被调整视角。例如，摄像机14的镜头被配置成，机器人臂11的保持机构21能够吸附于物品3的范围落在视角内。摄像机14将对筐车2内进行拍摄从而生成的图像经由网络15供给到信息处理装置12。此外，摄像机也可以使用能够对至物品3的距离的信息进行测量的例如3D摄像机。

接下来，对信息处理装置12的结构进行说明。

图2是用于说明信息处理装置12的结构例的说明图。

信息处理装置12是向机器人臂11供给坐标信息的装置。坐标信息是与铅垂方向正交的面(水平面)上的坐标，是表示使机器人臂11的保持机构21的吸附垫吸附于物品3的位置即吸附点的信息。即，信息处理装置12向机器人臂11指示吸附点。例如，信息处理装置12由个人计算机(PC)等的能够进行数据处理以及数据保存的装置构成。

信息处理装置12具备通信接口31以及控制部32。

通信接口31是用于与信息处理装置12以外的其他设备进行通信的接口。通信接口31具备与用于经由网络15和机器人臂11、操作终端13以及摄像机14进行通信的通信规格等相对应的端子以及电路。通信接口31基于控制部32的控制，与机器人臂11、操作终端13以及摄像机14等通信。

控制部32是执行各种处理的处理部。控制部32具备处理器33以及存储器34。

处理器33是执行计算处理的计算元件。处理器33例如被构成为CPU。处理器33基于存储在存储器34中的程序进行各种处理。

存储器34是存储程序以及数据的存储装置。存储器34例如具备读取专用的非易失性存储器即ROM、暂时存储数据的RAM、以及存储数据的储存器中的任一个或多个。

接下来，对操作终端13的结构进行说明。

图3是用于说明操作终端13的结构例的说明图。

操作终端13是向信息处理装置12供给基于操作的信息的装置。操作终端13具备通信接口41、控制部42以及触摸面板43。

通信接口41是用于与操作终端13以外的其他设备进行通信的接口。通信接口41具备与用于经由网络15和机器人臂11、信息处理装置12以及摄像机14进行通信的通信规格等相对应的端子以及电路。通信接口41基于控制部42的控制，与机器人臂11、信息处理装置12以及摄像机14等进行通信。

控制部42是执行各种处理的处理部。控制部42具备处理器44以及存储器45。

处理器44是执行计算处理的计算元件。处理器44例如被构成为CPU。处理器44基于存储在存储器45中的程序进行各种处理。

存储器45是存储程序以及数据的存储装置。存储器45例如具备读取专用的非易失性存储器即ROM、暂时存储数据的RAM、以及存储数据的储存器中的任一个或多个。

触摸面板34是进行画面显示以及基于操作生成操作信号的装置。触摸面板43具备构成为一体的显示器46以及触摸传感器47。操作终端13也可以被构成为取代触摸面板43，具备显示画面的显示器以及基于操作生成操作信号的操作部。操作部可以为鼠标、轨迹球、键盘、触控板等任何的装置。

显示器46基于从控制部42或者未图示的图形控制器供给的显示用数据(画面数据)来显示画面。

触摸传感器47生成表示在显示于显示器46的画面上对操作终端13进行操作的操作者所触摸的位置的操作信号。

接下来，对机器人臂11的动作进行说明。

图4是用于说明机器人臂11的动作的流程图。

机器人臂11的控制器25使臂移动到摄像机14的镜头的视角外(即摄影范围外)(步骤S11)。例如，控制器25通过使臂机构22的间接机构在致动器的作用下可动，驱动臂机构22，使臂机构22以及保持机构21移动至摄影范围外。此外，摄像机14在臂机构22以及保持机构21移动到摄像范围外的时间点取得图像并发送至信息处理装置12。

控制器25在使臂机构22以及保持机构21移动到摄像范围外时，等待从信息处理装置12供给坐标信息(步骤S12)。

控制器25在从信息处理装置12被供给坐标信息的情况下(步骤S12，“是”)，基于坐标信息移动保持机构21的吸附垫(步骤S13)。例如，控制器25以使保持机构21的吸附垫移动至坐标信息所表示的吸附点的方式控制臂机构22。更加具体而言，控制器25以使坐标信息所表示的吸附点与保持机构21的吸附垫上的基准点重合的方式控制臂机构22。吸附垫的基准点例如可以是吸附垫的中心(重心)，也可以是吸附垫上的任意的点。

控制器25以使保持机构21在吸附点下降的方式控制臂机构22(步骤S14)。

控制器25判断接触传感器23的检测结果(接触检测结果)是否为启动(ON)(步骤S15)。控制器25基于接触传感器23的检测结果，判断保持机构21的吸附垫是否与物品3的表面相接触。例如，控制器25在从接触传感器23接收到启动信号的情况下，判断为保持机构21的吸附垫与物品3的表面接触。即，控制器25判断吸附垫是否与物品3相接触。

控制器25在未从接触传感器23接收到启动信号的情况下(步骤S15，“否”)，判断是否为最大行程(步骤S16)。控制器25在无法通过臂机构22使保持装置21进一步下降的情况下，判断为达到最大行程。

控制器25在判断为不是最大行程的情况下(步骤S16，“否”)，转移到步骤S14的处理，以再次使保持机构21下降的方式控制臂机构22。由此，控制器25使保持机构21发挥效果直至吸附垫与物品3的表面接触为止。

控制器25在判断为是最大行程的情况下(步骤S16，“是”)，将表示吸附垫未接触到物品3的接触检测错误发送至信息处理装置12(步骤S17)，并转移到步骤S11的处理。即，控制器25在使保持机构21在由信息处理装置12指示的吸附点处下降至最大行程而保持机构21的吸附垫仍未接触物品3的表面时，将接触检测错误发送至信息处理装置12。进一步，控制器25使臂机构22以及保持机构21移动至摄像机14的视角外，成为等待接收下一个坐标信息的状态。

另外，控制器25在步骤S15中从接触传感器23接收到启动信号的情况下(步骤S15，“是”)，通过保持机构21执行吸附处理(步骤S18)。控制器25通过使连接到保持机构21的吸附垫上的真空泵动作，执行使吸附垫吸附于物品3的表面的吸附处理。例如，控制器25在保持机构21的吸附垫与物品相接触的状态下通过真空泵使吸附垫内变为真空状态，由此使吸附垫吸附于物品3的表面。

控制器25基于压力传感器24的检测结果(压力检测结果)，判断保持机构21的吸附垫内的压力是否为负压(步骤S19)。即，控制器25基于压力传感器24的检测结果，判断保持机构21的吸附垫是否吸附于物品3的表面。例如，控制器25在从压力传感器24接收到启动信号的情况下，判断为保持机构21的吸附垫内成为真空状态，吸附垫吸附于物品3的表面。

控制器25在判断为保持机构21的吸附垫内的压力不是负压的情况下(步骤S19，“否”)，将表示吸附垫未吸附于物品3的压力检测错误发送至信息处理装置12(步骤S20)，转移到步骤S11的处理。即，控制器25在保持机构21的吸附垫与物品3的表面相接触的状态下执行吸附处理而吸附垫仍未吸附于物品3的表面时，将压力检测错误发送至信息处理装置12。进一步，控制器25使臂机构22以及保持机构21移动至摄像机14的视角外，成为等待接收下一个坐标信息的状态。此外，控制器25也可以被构成为，对保持机构21的吸附垫是否吸附于物品3的表面持续判定规定时间，在规定时间的期间内未从压力传感器24接收到启动信号的情况下，将压力检测错误发送至信息处理装置12。

控制器25在判断为保持机构21的吸附垫内的压力是负压的情况下(步骤S19，“是”)，控制器25以使保持着物品3的保持机构21上升的方式控制臂机构22(步骤S21)。

控制器25在使保持机构21上升至规定高度时，以使保持机构21移动到与分拣目的地所对应的传送带4相对应的位置的方式，控制臂机构22(步骤S22)。

控制器25在使保持机构21移动至与分拣目的地所对应的传送带4相对应的位置时，以从吸附垫释放物品3的方式控制保持机构21(步骤S23)，将表示一个物品的分拣已完成的完成通知发送至信息处理装置12，并转移到步骤S11的处理。由此，从吸附垫释放的物品3被投入到分拣目的地的传送带4。进一步，控制器25使臂机构22以及保持机构21移动至摄像机14的视角外，成为等待接收下一个坐标信息的状态。

此外，机器人臂11的控制器25在从信息处理装置12被供给结束指示的情况下，使臂机构22以及保持机构21移动至规定位置，使图4的处理结束。

接下来，对信息处理装置12的动作进行说明。

图5至图7是用于说明信息处理装置12的动作的流程图。

信息处理装置12的控制部32等待从摄像机14供给图像(步骤S31)。如上所述，摄像机14向信息处理装置12供给搭载有被机器人臂11提起的物品3的筐车2内的图像。

图8是用于说明从摄像机14供给的图像的例子的说明图。如图8所示，在从摄像机14供给的图像中显现有搭载在筐车2内的多个物品3。另外，由于多个物品3被重叠地搭载在筐车2内，因此局部被其他物品3遮掩的物品3也被拍摄到。

控制部32从摄像机14接收到图像时(步骤S31，“是”)，对接收到的图像实施图像处理(步骤S32)。例如，控制部32基于从摄像机14接收到的图像(整体图像)生成掩膜图像。

图9是用于说明掩膜图像的例子的说明图。掩膜图像是提取(或选择)整体图像的一部分得到的图像。例如，控制部32基于通过对至物品3的距离进行计测的未图示的距离传感器取得的距离信息，生成提取出与筐车2内存在于最高位置的面相对应的区域51的掩膜图像。

控制部32基于实施了图像处理的图像(掩膜图像)，识别要进行分拣的对象的物品3的形状(步骤S33)。例如，控制部32将掩膜图像的轮廓识别为物品3的形状。控制部32将图像上被物品3的形状轮廓包围的面、即图9中的区域51识别为通过吸附垫进行吸附处理的面(吸附面)。此外，控制部32也可以被构成为，不进行步骤S32的图像处理，而通过从整体图像中检测特定的形状或者直线等，来识别要进行分拣的对象的物品3的形状。

控制部32基于物品3的形状的识别结果，判断是否存在能够分拣的物品(步骤S34)。例如，控制部32能够在步骤S33中识别吸附面，并且，在吸附面的尺寸比预先设定的尺寸大的情况下，判断为存在能够分拣的物品。另外，控制部32能够在步骤S33中识别吸附面，并且，在吸附面的尺寸比预先设定的尺寸小的情况下，判断为不存在能够分拣的物品。另外，控制部32在步骤S33中未能识别吸附面的情况下，判定为不存在能够分拣的物品。

控制部32在判断为存在能够分拣的物品的情况下(步骤S34，“是”)，计算吸附点的坐标(步骤S35)。例如，控制部32基于在步骤S33中识别出的吸附面，计算吸附点的坐标。具体而言，控制部32将吸附面的中心(或重心)的坐标计算为吸附点的坐标。

控制部32生成表示吸附点的坐标的坐标信息，并将坐标信息发送至机器人臂11(步骤S36)。

控制部32判断是否从机器人臂11接收到完成通知(步骤S37)。控制部32在判断为从机器人臂11接收到完成通知的情况下(步骤S37，“是”)，转移到步骤S31的处理，基于从摄像机14供给的图像，进行下一个物品3的吸附点的计算。

另外，控制部32在判断为未从机器人臂11接收到完成通知的情况下(步骤S37，“否”)，判断是否从机器人臂11接收到接触检测错误(步骤S38)。

控制部32在判断为未从机器人臂11接收到接触检测错误的情况下(步骤S38，“否”)，判断是否从机器人臂11接收到压力检测错误(步骤S39)。

控制部32在判断为未从机器人臂11接收到压力检测错误的情况下(步骤S39，“否”)，转移到步骤S37的处理，等待从机器人臂11供给完成通知、接触检测错误以及压力检测错误中的任一通知。

另外，控制部32在步骤S34中判断为不存在能够分拣的物品的情况下(步骤S34，“否”)，或者在步骤S38中判断为从机器人臂11接收到接触检测错误的情况下(步骤S38，“是”)，转移到图6所示的步骤S41的处理。

假设在筐车2内不存在物品3、物品3存在于摄像机14的死角、或者无法正确识别物品3的形状的情况下，控制部32判断为不存在能够分拣的物品。例如，如图10所示，在物品3的吸附面52的识别有误，并且在计算出的吸附点53不存在物品3的情况下，机器人臂11即便使保持机构21下降至最大行程，也无法使吸附垫接触物品3的表面。假设在这种情况下控制部32从机器人臂11接收到接触检测错误。在这种情况下，需要将图像发送至操作终端13，使操作终端13的操作者确认图像，并基于操作者的操作确定吸附点。因此，控制部32将从摄像机14接收到的图像和请求选择区域的信息发送至操作终端13(步骤S41)。控制部32例如也可以被构成为，将对从摄像机14取得的图像实施图像处理后的图像供给到操作终端13。另外，控制部32也可以被构成为，将通过摄像机14再次进行拍摄而取得的图像供给到操作终端13。

在操作终端13中，进行将在后面说明的区域输入处理，并生成表示图像上的区域(特定区域)的信息即区域信息。操作终端13将生成的区域信息发送至信息处理装置12。

控制部32判断是否从操作终端13接收到区域信息(步骤S42)。控制部32待机，直至从操作终端13接收到区域信息为止。

控制部32在判断为从操作终端13接收到区域信息的情况下(步骤S42，“是”)，基于区域信息，计算吸附点的坐标(步骤S43)。例如，控制部32基于区域信息所表示的图像上的特定区域，计算吸附点的坐标。具体而言，控制部32将特定区域的中心(或者重心)的坐标计算为吸附点的坐标。

控制部32生成表示在步骤S43中计算出的吸附点的坐标的坐标信息，将坐标信息发送至机器人臂11(步骤S44)，并转移到图5的步骤S37的处理。由此，在判断为不存在能够分拣的物品的情况下，或者在与吸附点相对应的位置处吸附垫与物品3不接触的情况下，能够根据基于操作者的操作确定的区域再次计算吸附点的坐标。由此，信息处理装置12在发生识别不良的情况下，也能够确定正确的吸附点而不停止机器人臂11的动作。

另外，控制部32在步骤S39中判断为从机器人臂11接收到压力检测错误的情况下(步骤S39，“是”)，转移到图7所示的步骤S51的处理。

在保持机构21的吸附垫与物品3的表面相接触的状态下吸附垫与物品3之间存在间隙时，即使执行了吸附处理，压力传感器也不会检测出负压，而从机器人臂11通知压力检测错误。例如，假设在物品3的表面上存在凹凸的情况下，吸附垫与物品3之间产生间隙。在这种情况下，需要将图像发送至操作终端13，使操作终端13的操作者确认图像，使操作者选择物品3上的容易吸附的位置。因此，控制部32将从摄像机14接收到的图像和请求选择吸附点的信息发送至操作终端13(步骤S51)。控制部32例如也可以被构成为，将从摄像机14取得的对图像实施图像处理之后的图像供给到操作终端13。另外，控制部32也可以被构成为，将通过摄像机14再次进行拍摄而取得的图像供给到操作终端13。

在操作终端13中，进行将在后面说明的吸附点输入处理，并生成表示图像上的某个坐标(吸附点)的信息即吸附点信息。操作终端13将生成的吸附点信息发送至信息处理装置12。

控制部32判断是否从操作终端13接收到吸附点信息(步骤S52)。控制部32待机，直至从操作终端13接收到吸附点信息为止。

控制部32在判断为从操作终端13接收到吸附点信息的情况下(步骤S52，“是”)，基于吸附点信息来确定吸附点的坐标(步骤S53)。例如，控制部32将吸附点信息所表示的坐标确定为吸附点的坐标。

控制部32生成表示在步骤S53中计算出的吸附点的坐标的坐标信息，将坐标信息发送至机器人臂11(步骤S54)，转移到图5的步骤S37的处理。由此，在通过吸附处理未使吸附垫吸附于物品3的情况下，能够基于操作者的操作再次计算吸附点。由此，信息处理装置12在物品3的表面上存在不适合吸附的区域的情况下，也能够确定正确的吸附点，而不停止机器人臂11的动作。

此外，信息处理装置12的控制部32在从操作终端13被供给结束指示的情况下，向机器人臂11供给结束指示，使图5至图7的处理结束。

另外，控制部32也可以被构成为，尽管通过图6的步骤S41至步骤S44的处理或者图7的步骤S51至步骤S55的处理，将坐标信息再次发送至机器人臂11，但是在图5的步骤S37中判断为未从机器人臂11接收到完成通知时，通知错误，而不转移到步骤S38和步骤S37的处理。例如，控制部32向操作终端13发送表示保持失败的旨意的画面并进行显示。另外，例如，也可以是，控制部32从连接到分拣***1的网络15的显示装置或者扬声器等向操作者通知保持失败。

接下来，对操作终端13的动作进行说明。

图11以及图12是用于说明操作终端13的动作的流程图。

操作终端13的控制部42等待从信息处理装置12供给图像(步骤S61)。

控制部42在从信息处理装置12被供给图像时(步骤S61，“是”)，判断是被请求了选择区域还是被请求了选择吸附点(步骤S62)。例如，控制部42在从信息处理装置12发送了图像以及请求选择区域的信息的情况下，判断为被请求了选择区域。另外，例如，控制部42在从信息处理装置12发送了图像以及请求选择吸附点的信息的情况下，判断为被请求了选择吸附点。

控制部42在判断为被请求了选择区域的情况下，进行区域输入处理。在这种情况下，控制部42首先将供给的图像显示在显示器46上(步骤S63)。

控制部42将督促输入区域的信息显示在显示器46上(步骤S64)。操作者通过对触摸面板43进行描绘任意区域的操作来输入区域。另外，也可以是，控制部42进一步将用于使机器人臂11的动作停止(结束)的显示即按钮(结束按钮)显示在显示器46上，而不进行区域输入。

例如，督促输入区域的信息为督促描绘要分拣的物品3的轮廓的信息。在这种情况下，操作者通过进行描绘显示在触摸面板43的显示器46上的物品3的轮廓的操作来输入区域。

图13是用于说明操作者进行描绘显示在触摸面板43的显示器46上的物品3的轮廓的结果的图。控制部42基于操作者进行描绘物品3的轮廓的操作时的触摸传感器47的触摸位置的轨迹，确定图像上的区域54。信息处理装置12能够基于该区域54计算吸附点55。

另外，例如，督促输入区域的信息也可以是督促在要进行分拣的物品3上描绘能够吸附的区域的信息。在这种情况下，操作者通过在显示于触摸面板43的显示器46上的物品3上进行描绘判断为能够吸附的任意区域的轮廓的操作来输入区域。

图14是用于说明操作者进行描绘显示于触摸面板43的显示器46上的物品3的、判断为能够吸附的任意区域的轮廓的操作的结果的图。控制部42基于操作者进行描绘区域的轮廓的操作时的触摸传感器47的触摸位置的轨迹，确定图像上的区域56。信息处理装置12能够基于该区域56来计算吸附点57。

控制部42判断是否进行了输入区域的操作(步骤S65)。例如，控制部42在进行了步骤S63以及步骤S64的显示的状态下对触摸传感器47进行了包围任意区域的输入操作时，判断是否输入区域的操作被进行并且如图13或者图14所示的区域被确定。

控制部42在判断为输入区域的操作被进行并且区域被确定的情况下(步骤S65，“是”)，生成表示在图像上确定的区域的坐标的区域信息(步骤S66)。区域信息例如可以是基于触摸传感器47的触摸位置的轨迹生成的矢量数据，也可以是与区域的位置相对应的栅格数据。

控制部42将生成的区域信息发送至信息处理装置12(步骤S67)，并使处理结束。

另外，控制部42在步骤S65中判断为未进行输入区域的操作的情况下(步骤S65，“否”)，判断是否使机器人臂11的动作结束(步骤S68)。例如，控制部42在未进行输入区域的操作的状态下经过了规定时间时，判断为使机器人臂11的动作结束。另外，例如，也可以是，控制部42在显示于触摸面板43上的结束按钮被选择了的情况下，判断为使机器人臂11的动作结束。

控制部42在判断为不使机器人臂11的动作结束的情况下(步骤S68，“否”)，转移到步骤S64的处理，并判断是否再次输入了区域。

另外，控制部42在判断为使机器人臂11的动作结束的情况下(步骤S68，“是”)，向信息处理装置12供给结束指示(步骤S69)，使图11的处理结束。

另外，控制部42在判断为在步骤S62中被请求了选择吸附点的情况下，进行吸附点输入处理。在这种情况下，控制部42首先将供给的图像显示在显示器46上(步骤S71)。

控制部42将督促输入吸附点的信息显示在显示器46上(步骤S72)。操作者通过对触摸面板43进行触摸任意吸附点的操作来输入吸附点。另外，也可以是，控制部42进一步将用于使机器人臂11的动作停止(结束)的显示即按钮(结束按钮)显示在显示器46上，而不进行吸附点的输入。

例如，督促输入吸附点的信息是督促在要分拣的物品3的表面上选择认为能够通过吸附垫吸附的位置的信息。在这种情况下，操作者通过从图像中识别显示于触摸面板43的显示器46上的物品3的表面的状态并触摸画面上的任意位置，来输入吸附点。

图15是用于说明操作者进行选择显示于触摸面板43的显示器46上的物品3的表面的吸附点的操作的结果的图。控制部42基于触摸传感器47的触摸位置，确定图像上的吸附点58。

控制部42判断是否进行了输入吸附点的操作(步骤S73)。例如，控制部42在进行了步骤S71及步骤S72的显示的状态下对触摸传感器47进行了触摸操作时，判断为如图15所示的吸附点被确定。

控制部42在判断为吸附点被确定的情况下(步骤S73，“是”)，生成表示在图像上确定的吸附点的坐标的吸附点信息(步骤S74)。吸附点信息例如为与触摸传感器47的触摸位置相对应的坐标的数据。

控制部42将生成的吸附点信息发送至信息处理装置12(步骤S75)，并使处理结束。

机器人臂11的控制器25在接收到从信息处理装置12供给的吸附点信息(坐标信息)的情况下，以使保持机构21移动到保持机构21的吸附垫上的基准点与吸附点信息所表示的吸附点重合的位置的方式，控制臂机构22。进一步，控制器25使保持机构21下降，判断保持机构21的吸附垫是否与物品3的表面相接触。控制器25在保持机构21的吸附垫与物品3的表面相接触的情况下，通过保持机构21执行吸附处理，使吸附垫吸附于物品3的表面。

另外，控制部42在步骤S73中判断为吸附点未被确定的情况下(步骤S73，“否”)，判断是否使机器人臂11的动作结束(步骤S76)。例如，控制部42在未进行输入吸附点的操作的状态下经过了规定时间时，判断为使机器人臂11的动作结束。另外，例如，也可以是，控制部42在显示于触摸面板43上的结束按钮被选择了的情况下，判断为使机器人臂11的动作结束。

控制部42在判断为不使机器人臂11的动作结束的情况下(步骤S76，“否”)，转移到步骤S73的处理，判断是否再次输入了吸附点。

另外，控制部42在判断为使机器人臂11的动作结束的情况下(步骤S76，“是”)，向信息处理装置12供给结束指示(步骤S77)，使图12的处理结束。

如上所述，信息处理装置12进行图像识别的结果，判断为不存在能够分拣的物品的情况下，或者在与吸附点相对应的位置处吸附垫与物品3未接触的情况下，将请求区域输入的信息和图像供给到操作者操作的操作终端13。操作终端13通过触摸面板43显示图像，督促操作者输入区域。由此，操作者通过触摸面板43输入与物品3的表面相对应的区域。信息处理装置12基于操作者输入的区域，再次计算吸附点的坐标并供给到机器人臂11。其结果，信息处理装置12在发生识别不良的情况下，也能够通过再次计算出的吸附点继续机器人臂11的动作。

操作终端13在操作者进行了描绘物品3的轮廓的操作的情况下，能够在图像上确定与物品3的吸附面相对应的区域。由此，操作终端13在信息处理装置12的图像处理中未能正确地识别吸附面时，也能够向信息处理装置12教示正确的吸附面。

另外，例如，假设在物品3的表面存在不适合吸附的区域的情况，操作者除该区域以外进行描绘区域的操作。在这种情况下，操作终端13能够避开物品3的表面的不适合吸附的区域来确定区域。由此，操作终端13能够向信息处理装置12教示机器人臂11容易吸附的区域。

另外，如上所述，信息处理装置12在吸附处理失败的情况下，将请求吸附点输入的信息和图像供给到操作者操作的操作终端13。操作终端13通过触摸面板43显示图像，督促操作者输入吸附点。由此，操作者通过触摸面板43输入在物品3的表面使吸附垫吸附的位置。信息处理装置12将与操作者输入的吸附点相对应的坐标作为坐标信息供给到机器人臂11。其结果，信息处理装置12在吸附处理失败的情况下，也能够使用操作者输入的吸附点继续机器人臂11的动作。

此外，在上述实施方式中，对机器人臂11的保持机构21被构成为通过使吸附垫吸附于物品3的表面来保持物品3进行了说明，但并不限于该结构。机器人臂11的保持机构21也可以被构成为，通过以两个以上的接触点夹住物品3来保持物品3。在这种情况下，上述吸附点被替换为两个以上的接触点。此外，接触点不同于吸附点，必须为物品3的轮廓上的点。在这种情况下，操作者通过利用操作终端13描绘图像上的物品3的轮廓来输入物品3的轮廓。操作终端13通过向信息处理装置12教示表示物品3的轮廓的信息，使信息处理装置12再次计算接触点。另外，也可以是，操作者通过操作终端13输入图像上的物品3的轮廓上的两个以上的接触点。操作终端13通过向信息处理装置12教示表示能够保持物品3的接触点的信息，继续由机器人臂11进行的分拣。

以上，虽然对本发明的几个实施方式进行了说明，但是这些实施方式是作为例子提出的，并非旨在限定发明的保护范围。这些新颖的实施方式能够以其他各种方式实施，在不背离发明主旨的范围内，可以进行各种省略、替换、变更。这些实施方式或其变型包含在发明的范围或主旨内，并且包含在权利要求书所记载的发明和其等同的范围内。

Claims (8)

1.一种信息处理装置，向机器人臂供给信息，所述机器人臂具有吸附于放置在规定范围中的物品并保持所述物品的保持机构、以及使所述保持机构移动的臂机构，所述信息处理装置具备：

通信接口，所述通信接口进行通信；以及

控制部，所述控制部基于摄像机对所述规定范围进行拍摄得到的图像，计算使所述保持机构吸附于所述物品的吸附点，将表示计算出的所述吸附点的信息供给到所述机器人臂；

所述控制部在未能进行基于所述图像对所述吸附点的计算的情况下，从操作者操作的操作终端取得表示所述图像上的显现出所述物品的区域的区域信息，基于所述区域信息再次计算所述吸附点，将表示再次计算出的所述吸附点的信息供给到所述机器人臂。

2.根据权利要求1所述的信息处理装置，其中，

所述控制部在所述机器人臂的所述保持机构未在所述吸附点处与所述物品相接触的情况下，从所述操作终端取得表示所述图像上的显现出所述物品的区域的区域信息，基于所述区域信息再次计算所述吸附点。

3.根据权利要求2所述的信息处理装置，其中，

所述区域信息是表示所述图像上的所述物品的轮廓的信息。

4.根据权利要求2所述的信息处理装置，其中，

所述区域信息是表示所述图像上的所述物品上的任意区域的信息。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，

所述控制部将所述区域信息所表示的区域的中心确定为所述吸附点。

6.根据权利要求1所述的信息处理装置，其中，

所述控制部在所述机器人臂的所述保持机构在所述吸附点处与所述物品相接触的状态下未能吸附于所述物品时，从所述操作终端取得表示在所述物品上能够吸附的点的吸附点信息，将所述吸附点信息所表示的吸附点供给到所述机器人臂。

7.根据权利要求2所述的信息处理装置，其中，

所述控制部在所述机器人臂的所述保持机构未能在再次计算出的所述吸附点处保持所述物品的情况下，通知未能保持所述物品的旨意。

8.一种机器人臂控制***，具备机器人臂以及向所述机器人臂供给信息的信息处理装置，其中，

所述机器人臂具备：

保持机构，吸附于放置在规定范围中的物品并保持所述物品；以及

臂机构，使所述保持机构移动；

所述信息处理装置具备控制部，所述控制部基于摄像机对所述规定范围进行拍摄得到的图像，计算使所述保持机构吸附于所述物品的吸附点，将表示计算出的所述吸附点的信息供给到所述机器人臂；

所述控制部在未能进行基于所述图像对所述吸附点的计算的情况下，从操作者操作的操作终端取得表示所述图像上的显现出所述物品的区域的区域信息，基于所述区域信息再次计算所述吸附点，将表示再次计算出的所述吸附点的信息供给到所述机器人臂。