CN106808473A

CN106808473A - 信息处理装置及信息处理方法

Info

Publication number: CN106808473A
Application number: CN201611086224.4A
Authority: CN
Inventors: 吉井裕人
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-11-30
Filing date: 2016-11-28
Publication date: 2017-06-09
Also published as: JP6744709B2; US10363664B2; JP2017100216A; US20170154430A1

Abstract

本发明提供一种信息处理装置及信息处理方法。所述信息处理装置获取多个物体的图像，基于所述图像来获取物体的位置和姿势，并且基于所述位置和姿势以及设置的方向来决定物体的把持顺序。

Description

信息处理装置及信息处理方法

技术领域

本发明涉及把持物体的技术。

背景技术

迄今为止，已经使用了如下的机器人拾取***：使用机器人从将部件成堆装载的状态自动拾取部件。在这种机器人拾取***中，利用在托盘上方配设的照相机拍摄作为目标物体的多个部件被随机布置在托盘中的状态的图像，或者利用三维测量装置测量该状态。由图像拍摄的结果或测量的结果来确定要把持的部件的位置和姿势，并且利用机器人手来把持要把持的部件。

在上述的情况下，通常优先选择位于托板中的高位置处的部件作为把持候选，并且利用机器人手来把持部件，以使机器人手在尽可能不与其他物体碰撞的情况下进行操作。另外，日本特开2012-135820号公报公开了如下方法：当该部件比其他部件高出超过预定阈值的量时，通过使部件移位而不是把持部件，来可靠地把持位于最高位置处的部件。

然而，现有技术中的技术具有以下问题。前提是拾取***中的“高位置的方向”和“与重力方向相反的方向”一致。基于该前提来布置照相机或测量装置，并且进行诸如对确定优先把持哪个物体的把持顺序的确定等的信息处理。在这种情形下，存在确定把持顺序所基于的方向不一定和“与重力方向相反的方向”一致的情况，并且现有技术中的拾取***无法解决这种情况。

为了解决上述问题，本发明提供了一种决定从任意方向对多个物体进行把持的把持顺序的技术。

发明内容

本发明提供一种信息处理装置，所述信息处理装置包括：获取多个物体的图像的单元；获取单元，其基于所述图像来获取物体的位置和姿势；以及决定单元，其基于所述位置和姿势以及设置的方向，来决定物体的把持顺序。

根据说明书，能够决定从任意方向对多个物体进行把持的把持顺序。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是由拾取***进行的处理的流程图。

图2是例示信息处理装置的示例性硬件构造的框图。

图3例示了示例性拾取***。

图4例示了另一示例性拾取***。

图5例示了摄像装置的摄像范围的示例。

图6A和图6B是用于描述检查步骤的图。

图7A至图7F是用于描述确定步骤的图。

图8是用于描述设置步骤的图。

图9A至图9C是用于描述根据第二实施例的如何设置优先方向的图。

图10A和图10B是用于描述根据第三实施例的如何设置优先方向的图。

具体实施方式

这里，将参照附图描述本发明的实施例。下面描述的实施例是当具体实施本发明时的示例，并且是权利要求中描述的组成部分的具体示例。

[第一实施例]

现在，将以图3中例示的把持(拾取)物体的拾取***为例，来描述现有技术中的问题。参照图3，附图标记301表示摄像装置，附图标记302表示机器人(机器人臂)，附图标记303表示托盘，附图标记304表示物体，附图标记305表示摄像装置301的Z方向以及附图标记306表示机器人302的Z方向。在以下描述中，Z方向是指XYZ坐标系中的Z轴正方向。具体而言，Z方向305是摄像装置301的坐标系中的Z轴正方向，并且Z方向306是机器人302的坐标系中的Z轴正方向。

如上所述，对确定要优先把持哪个物体的把持顺序进行确定所基于的方向(把持优先方向)可以不同于垂直向下方向。例如，把持优先方向可以是基于托盘303与机器人302之间的位置关系的图3中例示的方向307。方向307与托盘303的开口方向(即，托盘303的底面的法线向量的方向)、摄像装置301的Z方向305以及机器人302的Z方向306中的任何一者都不平行。摄像装置被布置为使得把持优先方向与正常拾取***中的摄像装置的Z方向平行。然而，由于***的约束条件(例如机器人的可移动范围)，存在摄像装置无法被布置在任意方向上的任意位置处的情况。图3中例示的示例对应于这种情况，并且现有技术中的拾取***具有如下问题：拾取***无法指定期望的把持优先方向。

此外，迄今为止，已经使用了具有如下功能的机器人拾取***：选择托盘中的“高位置”，检测和识别所选择的位置中的物体，并且利用机器人把持检测到的物体。该功能还隐含地基于现有技术中的摄像装置或测量装置的Z方向305来进行。因此，现有技术中的拾取***具有如下问题：无法基于与摄像装置301的Z方向305无关的方向(例如图3中例示的方向)来选择“高位置”作为物体检测和识别区域。

此外，迄今为止，已经使用了具有在把持物体时检查把持姿势的角度的功能的机器人拾取***。同样在该功能中，隐含地基于现有技术中的重力方向来计算角度。因此，现有技术中的拾取***具有如下问题：无法基于与重力方向无关的方向(例如图3中例示的方向)来检查把持姿势的角度。

此外，迄今为止，已经使用了具有交叠检查功能的机器人拾取***。利用交叠检查功能，计算物体的交叠并且不把持具有超过预定量的交叠程度的物体。该功能隐含地基于现有技术中的摄像装置或测量装置的Z方向305。因此，现有技术中的拾取***具有如下问题：无法基于与摄像装置的Z方向305无关的方向(例如图3中例示的方向)来检查交叠。

为了解决上述问题，根据第一实施例的信息处理装置获取多个物体的图像，基于图像获取物体的位置和姿势，并且基于位置和姿势以及设置的方向确定把持物体的顺序。现在，将描述这种信息处理装置的示例。首先，将参照图2中例示的框图来描述根据第一实施例的信息处理装置的示例性硬件构造。

参照图2，中央处理单元(CPU)201使用只读存储器(ROM)202和随机存取存储器(RAM)203中存储的计算机程序和数据来进行处理，以控制整个信息处理装置的操作并且进行或控制由信息处理装置进行的下述的各个处理。

在ROM 202中存储引导程序、设置数据等。RAM 203具有存储从ROM 202和二次存储单元204加载的计算机程序和数据、从输入-输出(I/O)设备209供给的数据等的区域。此外，RAM 203具有由CPU 201用来进行各种处理的工作区域。如上所述，RAM 203能够适当地提供各种区域。

二次存储单元204是诸如硬盘驱动器等的大容量信息储存器。在二次存储单元204中存储操作***(OS)211和使CPU 201进行后述的各种处理(如由信息处理装置进行的处理)的计算机程序和数据。该计算机程序包括模块213、应用212等。数据包括数据214。另外，在下面的描述中处理为已知信息的信息也被存储在二次存储单元204中。二次存储单元204中存储的计算机程序和数据在CPU 201的控制下被适当地加载到RAM 203中以被CPU 201处理。

显示器206由例如阴极射线管(CRT)屏或液晶屏构成。使用图像和/或字符将由CPU201进行的处理的结果显示在显示器206中。代替显示器206，可以使用将由CPU 201进行的处理的结果投影为图像和/或字符的装置(例如投影仪)。

键盘207和鼠标208用作信息处理装置的操作者能够将各种指令输入到CPU 201中的用户界面。代替或除了显示器206、键盘207和鼠标208以外，可以配设触摸面板屏。可以利用触摸面板屏来接受用户的输入，并且可以在触摸面板屏上显示由CPU 201进行的处理的结果。

I/O设备209包括向信息处理装置供给各种信息的设备和从信息处理装置向外部装置供给各种信息的设备。在第一实施例中，I/O设备209至少包括能够获取包括物体的图像的设备。例如，拍摄二维图像的摄像装置和拍摄距离图像的设备(例如，诸如飞行时间(time-of-flight，TOF)传感器等的三维输入设备)适用于这种设备，在所述二维图像中，各个像素的像素值代表辉度值，在所述距离图像中，各个像素的像素值代表距设备的距离测量范围中的各个位置的三维距离。

另外，例如，可以将两个立体照相机应用到I/O设备209。在这种情况下，两个立体照相机中的各个拍摄包括物体的图像，并且CPU 201使用由两个立体照相机中的各个拍摄的图像，利用三角测量法来计算距拍摄的图像的空间中的各个位置的三维距离。以上述方式生成距离图像。

此外，例如，可以应用一个图案光投影仪和一个或更多个摄像装置作为I/O设备209。在这种情况下，图案光投影仪将投影图案(例如，通过空间编码生成的图像或通过在相移法中使用的空间三角函数生成的图像)投影在物体上。摄像装置拍摄投影有投影图案的物体的图像，并且CPU 201应用使用图像的已知技术以测量距物体的距离。以上述方式生成距离图像。为了实现相同的目的，可以采用如下方法：利用图案光投影仪将随机点图案投影在物体上，并且利用两个摄像装置来拍摄物体的图像。为了实现相同的目的，可以采用使用激光狭缝光的光学切割法。

I/O设备209还包括将由信息处理装置通过下述的各个处理而获取的各种信息(例如，物体的属性和位置)，发送到用于把持物体的外部设备(例如机器人)的设备。在第一实施例中假设用于把持物体的机器人(机器人臂)连接到I/O设备209中包括的设备。机器人臂在信息处理装置的控制下改变自身的位置和姿势并且把持物体。

CPU 201、ROM 202、RAM 203、二次存储单元204、显示器206、键盘207、鼠标208以及I/O设备209连接到总线205。

例如，个人计算机(PC)或诸如智能电话或平板终端设备等的移动终端设备适用于具有图2中例示的构造的设备。可以经由网络在内置设备、数字照相机或分布式***上实现图2中例示的构造。

现在，将参照图3和图4来描述各自包括具有上述构造的信息处理装置的物体拾取***。虽然在图3和图4中未例示信息处理装置以进行描述，但是在图3中，摄像装置301对应于I/O设备209并且机器人302连接到I/O设备209。在图4中，摄像装置402对应于I/O设备209，并且机器人404连接到I/O设备209。

首先，将描述图3中例示的拾取***。参照图3，摄像装置301是I/O设备209的示例，并且被安装为使得摄像方向是垂直向下方向(重力方向)。在这种情况下，在基于摄像装置301的坐标系中，Z方向305是垂直向下方向。

机器人302连接到信息处理装置，并且由信息处理装置控制机器人302的操作。例如，机器人302在信息处理装置的控制下改变自身的位置和姿势，以把持装载在托盘303中的物体304中的任何一个。在基于机器人302的坐标系中，Z方向306是垂直向上方向。

多个物体304被成堆装载在托盘303中，并且托盘303被安装为从地面倾斜(在图3的示例中以顺时针方向的角度倾斜)。以倾斜的方式安装托盘303产生如下情形：机器人302能够容易地把持装载在托盘303中的物体。此时，虽然所装载的物体的表面从水平面倾斜，但是所装载的物体的表面的倾斜角度小于托盘303的底面的倾斜角度。这是因为，虽然物体由于重力的影响而向下(在图3中向右)移位至一定程度，但是由于物体之间的摩擦，与液体不同，物体不会完全从托盘303流下。当成堆装载的物体(例如图3中例示的物体)要被机器人302从表层的物体起依次把持时，优选地将与托盘303的底面的法线方向不同的方向307设置为在确定优先把持哪个物体时的基准方向。

接下来，将描述图4中例示的拾取***。参照图4，摄像装置402是I/O设备209的示例，并且被安装到天花板401使得将摄像方向被设置为垂直向下方向(重力方向)。在这种情况下，在基于摄像装置402的坐标系中，Z方向403是垂直向下方向。

机器人404如同摄像装置402那样被安装到天花板401。另外，机器人404连接到信息处理装置，并且由信息处理装置来控制机器人404的操作。例如，机器人404在信息处理装置的控制下改变自身的位置和姿势，以把持和拾取装载在托盘中的物体405中的任何一个。机器人404将拾取的物体405放置在对物体405进行处理的工作台407上。在图4中，将已经被拾取的物体408放置在工作台407上。

多个物体405被成堆装载在托盘中。装置406将新的物体供给到托盘。当在图4中例示的装载状态下成堆装载的物体要被机器人404从表层的物体起依次把持时，优选地在“从更靠近表层并且更靠近工作台407的物体起依次把持物体”的条件下把持物体。因此，优选将与托盘的底面的法线方向不同的方向409设置为在确定优先把持哪个物体时的基准方向。

设计图3和图4中例示的如上所述的拾取***，实现了前所未有的便利。具体而言，虽然在现有技术中需要准备具有到达托盘的角部的长臂的大型机器人，但是设计图3中例示的拾取***使得能够利用较小的机器人来组装拾取***。虽然在现有技术中在补充物体时需要停止***以更换托盘，但是设计图4中例示的拾取***使得能够连续地继续拾取而不停止***并更换托盘。然而，由于在现有技术的物体识别技术中，隐含地将把持优先方向设置为垂直方向，因此不可能实现灵活的***操作(例如图3和图4中例示的操作)。在第一实施例中，能够灵活地设置把持优先方向，从而实现图3和图4中例示的灵活的***设计。

现在，将参照图1中例示的流程图，描述由拾取***进行的、使机器人(包括图3中的机器人302和图4中的机器人404)把持成堆装载在托盘中的物体当中的一个物体的处理。图1是描述***的操作的数据流程图。图1中的数据流程图包括由实线包围的步骤和由虚线包围的数据。

<测量步骤101>

在测量步骤101中，I/O设备209拍摄成堆装载在托盘中的物体的全部或部分的图像、或测量物体的全部或部分，并且输出图像拍摄或测量的结果作为测量信息102。如上所述，测量信息102是例如各个像素的像素值代表辉度值的二维图像、各个像素的像素值代表距设备的距离测量范围中的各个位置的三维距离的距离图像、由立体照相机拍摄的图像、或投影有投影图案的物体的图像。换言之，测量信息102对于识别物体的位置和姿势是必需的。

<设置步骤103>

在设置步骤103中，用户利用键盘207或鼠标208来设置把持时的优先方向104，并且CPU 201获取所设置的优先方向104。在图3中的示例中，CPU 201获取方向307作为优先方向104。在图4的示例中，CPU 201获取方向409作为优先方向104。设置步骤103的定时不限于在测量步骤101之后的定时，只要CPU 201在下面描述的决定步骤105之前进行设置步骤103即可。

<决定步骤105>

在决定步骤105中，CPU 201使用测量信息102和优先方向104，决定“包括从优先方向104侧观看最靠近信息处理装置的物体上的点的周边区域”作为识别区域106。在装载的物体中识别要把持的物体时，期望预先确定进行物体识别的区域。

在图4的示例中，当沿垂直方向考虑距地面上一个点的距离时(当距离基于垂直方向时)，距地面最远的物体上的一个点是由白色圆圈表示的点410。与此相对照，当沿方向409考虑距地面上一个点的距离时(当距离基于方向409时)，距地面上一个点最远的物体上的一个点是由白色圆圈表示的点411。因此，在这种情况下，设置包括点411的周边区域作为第一实施例中的识别区域106。例如，当摄像装置402具有图5中例示的摄像范围时，设置包括点411的周边区域503作为识别区域106。结果，如图5中例示，识别区域106被设置在机器人404附近的位置处，该位置相对于成堆装载的物体的中心稍微位于右侧。虽然在图5中周边区域503的形状是矩形，但是周边区域503的形状不限于矩形。周边区域503的形状可以是将矩形投影在平面上所得的梯形、椭圆形或由一般闭合曲线包围的区域。当摄像范围或测量范围的大部分被大量物体覆盖时，可以将识别区域106设置为整个摄像范围或整个测量范围。在下面描述的识别步骤107中，在识别区域106中进行物体的识别(包括对物体的位置和姿势的识别)。

使用例如以下方法来设置识别区域106。如上所述，使用测量信息102使得能够获取I/O设备209的摄像范围或测量范围中的各个点(各个三维点)的三维坐标(将I/O设备209设置为原点的坐标系中的三维坐标)。因此，将各个点的三维坐标投影在方向向量是优先方向104的直线上。识别所投影的点的三维坐标当中的、位于在优先方向104(图4中的右上方向)上的端部处的三维坐标上的点，并且设置包括所识别的点的周边区域作为识别区域106。可以在相对于优先方向104存在物体的区域中创建示意高度图(法线在优先方向104上的平面上的图)，并且可以在示意高度图中的最高区域中提供识别区域106。

<识别步骤107>

在识别步骤107中，CPU 201使用测量信息102来对识别区域106中的物体(包括对物体的位置和姿势的识别)进行识别，并且创建针对识别区域106中存在的各个物体登记物体的所识别的位置和姿势的列表108。由于使用测量信息102来识别物体的位置和姿势的技术是已知的，因此在此省略对该技术的描述。物体的位置是指代表物体的点的三维坐标。例如，物体的位置可以是物体的质心位置的三维坐标或设计物体时的计算机辅助设计(computer-aided design，CAD)原点的三维坐标。

<排序步骤109>

在排序步骤109中，CPU 201以从优先方向104侧的物体的位置和姿势至与优先方向104相反侧的物体的位置和姿势进行布置的方式，对列表108中登记的各物体的位置和姿势进行排序，并且生成经过排序的列表110。例如，将列表108中登记的各个三维坐标投影在方向向量是优先方向104的直线上。然后，对列表108中的各物体的位置和姿势进行排序，使得从所投影的三维坐标位于在优先方向104上的端部的物体的位置和姿势、至所投影的三维坐标位于在与优先方向104相反的方向上的端部的物体的位置和姿势，来布置各物体的位置和姿势。

<检查步骤112>

在检查步骤112中，CPU 201检查机器人是否能够把持具有列表110中登记的各个位置和姿势的物体。与物体和机器人相对应的各种检查方法是可用的。现在，将参照图6A和图6B描述示例性检查方法。

吸附手603安装到机器人臂602的端部，并且如图6A中所示，物体601被吸附手603吸附以被移动。将原点604设置在臂602的远端(凸缘)处，并且定义从原点604朝吸附手603的远端延伸的向量605。

假设在识别步骤107中以图6B中例示的方式来识别物体606和物体607。当指定物体的位置和姿势时，将机器人把持具有位置和姿势的物体所需的信息(例如，机器人臂的位置和姿势)预先存储在信息处理装置中的二次存储单元204中，作为把持指令信息111。因此，在识别物体606的位置和姿势时，CPU 201识别用于使用把持指令信息111利用吸附手603来吸附具有位置和姿势的物体606的臂602的位置和姿势。这同样适用于物体607。在图6B中示出了基于所识别的物体606的位置和姿势以及把持指令信息111而获取的臂602的位置和姿势，以及基于所识别的物体607的位置和姿势以及把持指令信息111而获取的臂602的位置和姿势。在基于从垂直向上方向对物体进行把持的现有技术的***中，认为这两个物体具有相同的把持难度。与此相对照，当如在图3中将机器人布置在图中的右侧时，机器人能够容易地使臂延伸到的物体是物体607，而不是物体606。考虑到臂的可移动范围，对物体606的把持可能是不可用的。

因此，在图6B的示例中，为了确定物体606是否能够被吸附手603吸附，CPU 201计算向量608与优先方向610的内积的绝对值，并且确定绝对值是否高于或等于正阈值。向量608代表基于所识别的物体606的位置和姿势以及把持指令信息111计算出的臂602的姿势分量(向量608延伸到臂的远端)。如果绝对值高于或等于正阈值，则CPU 201确定物体606能够被吸附手603吸附(臂602的位置和姿势能够被控制为使得吸附手603吸附物体606)。如果绝对值低于正阈值，则CPU 201确定物体606无法被吸附手603吸附(臂602的位置和姿势无法被控制为使得吸附手603吸附物体606)。类似地，为了确定物体607是否能够被吸附手603吸附，CPU 201计算向量609与优先方向610的内积的绝对值，并且确定绝对值是否高于或等于正阈值。向量609代表基于所识别的物体607的位置和姿势以及把持指令信息111计算出的臂602的姿势分量(向量609延伸到臂的远端)。如果绝对值高于或等于正阈值，则CPU 201确定物体607能够被吸附手603吸附(臂602的位置和姿势能够被控制为使得吸附手603吸附物体607)。如果绝对值低于正阈值，则CPU 201确定物体607无法被吸附手603吸附(臂602的位置和姿势不能被控制为使得吸附手603吸附物体607)。

以利用图6A和图6B中例示的吸附手对物体进行把持为例，在上述描述中描述了确定各个所识别的物体是否能够被把持的处理。然而，把持物体的方法(把持单元)不限于此，因此，确定各个所识别的物体是否能够被把持的处理不限于上述方法。例如，可以采用利用开闭手来拾取物体的构造，或者可以采用使用磁体的物体把持构造。

与优先方向104计算内积的向量不限于从凸缘延伸到吸附手的远端的向量。例如，当把持物体的末端执行器不是图6A中例示的吸附手时，与优先方向104计算内积的向量是除了从凸缘延伸到吸附手的远端的向量以外的其他向量。一般而言，与优先方向104计算内积的向量可以是任何向量，只要该向量在使臂延伸以进行把持的方向上即可。

CPU 201以上述方式检查机器人是否能够把持具有在列表110中登记的各个位置和姿势的物体，并且从列表110中删除把持被确定为不可用的物体的位置和姿势。换言之，CPU 201确定从要保持的物体中排除的物体，并且从列表110中删除所确定的物体。从列表110中删除把持被确定为不可用的物体的位置和姿势得到列表113。因此，如果不存在把持被确定为不可用的任何物体，则列表113与列表110相同。

<确定步骤114>

在确定步骤114中，CPU 201计算位置和姿势被登记在列表113中的各个物体与其他物体之间的交叠程度，并且基于交叠程度的计算结果来确定物体是否能够被机器人把持。现在，将参照图7A至图7F描述确定步骤。虽然在图7A至图7F中所有物体都是板状物体，但是物体不限于板状物体并且可以具有其他形状。

图7A、图7C和图7E例示了如下状态：物体701的一部分与物体702的一部分交叠，物体703的一部分与物体704的一部分交叠，并且从上方观看物体701至物体704的装载状态。图7B、图7D、图7F分别是当从侧面观看图7A、图7C和图7E中的状态时的截面图。从图3中的摄像装置301和图4中的摄像装置402观察图7A中例示的状态。现在将考虑物体的交叠部分。

在现有技术中，如图7D中例示，在垂直方向上考虑物体之间的交叠。因此，由部分705来例示物体701与物体702之间的交叠，由部分706来例示物体703与物体704之间的交叠。物体701与物体702之间的交叠部分的面积、与物体703与物体704之间的交叠部分的面积几乎相等。因此，当识别物体701和物体703时，对物体701进行把持的容易度被确定为类似于对物体703进行把持的容易度。

与此相对照，在第一实施例中，在优先方向104上考虑物体之间的交叠。例如，当如图7F中所示，优先方向104是方向709时，如图7E中所示，由部分707来例示在方向709上的物体701与物体702之间的交叠。如图7E中所示，由部分708来例示在方向709上的物体703与物体704之间的交叠。如上所述，当考虑在方向709上的物体之间的交叠时，物体701与物体702之间的交叠部分的面积不同于物体703与物体704之间的交叠部分的面积，并且部分708的面积大于部分707的面积(部分708的面积＞部分707的面积)。因此，当识别物体701和物体703时，对物体701的把持比对物体703的把持容易得多。

在确定步骤114中，例如，在图7A至图7F的情况下，将所识别的物体(物体701和物体703)的模型布置在物体的所识别的位置和姿势中，并且获取当使布置的模型在方向709上经历平移时生成的柱状三维区域。然后，获取该三维区域中的与其他物体(分别是物体702和物体704)的区域交叠的区域(分别是部分707和部分708)。如果针对所识别的物体计算的三维区域中的交叠区域的面积大于或等于正阈值，则确定对物体的把持是不可用的，如果针对所识别的物体计算的三维区域中的交叠区域的面积小于正阈值，则确定对物体的把持是可用的。确定步骤114可以不基于面积与阈值之间的比较。如果交叠区域与所识别的物体的面积的比高于或等于阈值，则可以确定对物体的把持是不可用的，如果交叠区域与所识别的物体的面积的比小于阈值，则可以确定对物体的把持是可用的。

在确定步骤114中可以使用其他方法来进行确定，只要实现相同的目的即可。例如，当在与优先方向相反的方向上对物体上的三维点(从测量信息102获取)进行投影时与所识别的物体碰撞的三维点的数量，可以被处理为“交叠区域的面积”。

CPU 201删除列表113中登记的物体的位置和姿势当中的、把持被确定为不可用的物体的位置和姿势，以创建新的列表115。换言之，CPU 201确定从要把持的物体中排除的物体，并且从列表113中删除所确定的物体。

CPU 201使用列表115中登记的物体的位置和姿势来生成用于控制机器人臂的位置和姿势的控制信号，以使机器人把持物体，并且将控制信号经由I/O设备209供给到机器人。如上所述，由于物体的位置和姿势从更靠近优先方向104侧的物体至更靠近优先方向104相反侧的物体，被依次登记在列表115中，因此机器人对更靠近优先方向104侧的物体依次进行把持。

现在，将参照图8描述上述的设置步骤103。图8例示了由用户用来设置优先方向104的示例性图形用户界面(GUI)。图8中的GUI被显示在显示器206中。由CPU 201进行响应于GUI上的用户操作对GUI的显示以及处理的控制。

在区域801中配设有单选按钮。单选按钮被用来对定义优选方向104的方向向量分量选择视觉坐标系或机器人坐标系。视觉坐标系基于I/O设备209(图3中的摄像装置301和图4中的摄像装置402)，并且Z轴正方向通常是图3中的Z方向305和图4中的Z方向403。机器人坐标系基于机器人(图3中的机器人302和图4中的机器人404)。响应于由用户利用键盘207或鼠标208对上部的单选按钮的选中来选择视觉坐标系，并且响应于由用户利用键盘207或鼠标208对下部的单选按钮的选中来选择机器人坐标系。在图8中的示例中选中上部的单选按钮。

在区域802中配设有框。框被用来输入定义优先方向104的方向向量的x分量、y分量和z分量。在图8中的示例中，输入“1”作为x分量，输入“0”作为y分量，并且输入“0”作为z分量。由于以上述方式设置的各个分量在响应于区域801中的任一个单选按钮的选择而设置的坐标系中，因此需要适当地转换坐标系以使用例如世界坐标系。世界坐标系是使用物理空间中的一个点作为原点并且在原点处彼此成直角的三个轴是x轴、y轴和z轴的坐标系。

在用户利用键盘207或鼠标208指示确定(OK)按钮803时，在区域806中显示具有输入到区域802中的各框中的分量的方向向量(即，代表优先方向104的物体808)。在区域806中还显示代表托盘的物体807。依据当前设置的视点的位置和姿势，在区域806中显示虚拟空间中的图像，在该虚拟空间中的图像中，布置有托盘的物体807和优先方向104的物体808。物体808具有包括表示向量的方向的圆盘和附接到圆盘的针物体(向量从针的根部延伸到针的尖端)的形状。物体808的姿势处于将在区域801中指定的坐标系中的“在区域802中指定的分量”转换成与物体807相同的坐标系中的分量所得的方向。

用户能够例如通过利用键盘207或鼠标208在区域806中进行拖动操作来自由地改变视点的位置和姿势。区域806中的显示随着视点的位置和姿势的改变而变化。代表优先方向104的物体的形状不限于上述形状。代表优先方向104的方法不限于使用物体的代表方法。虽然在图8中通过显示托盘的物体807和优先方向104的物体808来代表三维坐标中的位置关系，但是可以显示测量的三维点和代表向量的三维图形。

在用户利用键盘207或鼠标208指示取消按钮804时，CPU 201丢弃在GUI中设置的内容。当没有设置优先方向时，可以使用预先设置的并且被存储在二次存储单元204中的默认优先方向104。

响应于用户利用键盘207或鼠标208指示确定按钮803或取消按钮804，CPU 201从显示器206清除图8中的GUI。

[第二实施例]

现在，将在下面的描述中着重于与第一实施例的不同之处，并且除非具体地描述，否则第二实施例与第一实施例相同。第二实施例与第一实施例的不同之处在于设置优先方向104的方法。现在，将参照图9A至图9C描述第二实施例中的设置优先方向104的方法。如在图8中，使用托盘的物体901和代表优先方向104的物体902用于图9A至图9C中的描述。

图9A例示了利用机器人来指示优先方向的起点903和终点904的示例。通常，机器人臂的远端(凸缘)移动到起点以进行指示，然后移动到终点以进行指示，或者机器人臂的远端(凸缘)移动到终点以进行指示，然后移动到起点以进行指示。当通过教导来指定机器人的把持操作时，使用该协议以进行指示是有用的。每次移动机器人臂以指示优先方向104的起点或终点时，CPU 201从机器人获取所指示的位置，并且将从所指示的起点的位置至所指示的终点的位置的向量，设置为优先方向104的方向向量。

与此相对照，如图3中所示，当指定物体的表层的平面以设置把持时的优先方向时，使用图9B和图9C中例示的方法是有用的。在图9B中的示例中，利用机器人臂指示了三维空间中的三个点(点905至点907)。在获取这三个点的三维位置时，CPU 201获取由这三个点构成的平面的法线作为代表优先方向的向量。向量的方向由三个点的指示顺序来确定，并且预先确定是使用右手坐标系还是使用左手坐标系。指定向量的方向的另一示例性方法是指定定义平面的三个点(点905至点907)和离开平面的一个点908的方法(如图9C中例示的方法)。在这种情况下，从由三个点构成的平面到点908的方向是法线的方向。

在上述的设置步骤103中，进行使用机器人臂指示位置并且基于所指示的位置指定优先方向的上述方法。可以使用其他各种方法来利用机器人臂确定优先方向104。

[第三实施例]

现在，将在下面的描述中着重于与第一实施例的不同之处，并且除非具体地描述，否则第三实施例与第一实施例相同。第三实施例与第一实施例的不同之处在于设置优先方向104的方法。现在，将参照图10A和图10B描述第三实施例中的设置优先方向104的方法。

假设利用I/O设备209拍摄图10A中例示的图像。图10A中的图像包括装载在托盘1001中的物体1002。在图10B中例示了当拍摄图10A中例示的图像时托盘的横截面。如上面在图3中的设置状态的描述中所述的，虽然装载的物体的表面从水平面倾斜，但是装载的物体的倾斜角度小于托盘的底面的倾斜角度。在这种情形下，由物体的表面形成的示意平面的法线方向适合用于把持时的优先方向。在第三实施例中提供了容易设置平面和法线方向的方法。

首先，在显示器206中显示图10A中的图像，并且用户利用键盘207或鼠标208指定部分区域。在图10A中的示例中，指定由附图标记1003表示的矩形区域。然后，使用与矩形区域1003中的各像素相对应的三维点的三维坐标，通过使用例如最小二乘法的平面拟合，来获取由与矩形区域1003中的各像素相对应的三维点构成的示意平面1004。将示意平面1004的法线1005设置为把持时的优先方向。虽然在图10A和图10B中由用户指定的部分区域是矩形区域，但是由用户指定的部分区域不限于矩形区域。可以使用由椭圆或自由曲线包围的部分作为部分区域。可以适当地组合第一实施例至第三实施例以及它们的变型例的一部分或全部用于使用，或者可以选择性地使用第一实施例至第三实施例以及它们的变型例。

虽然在上述实施例中描述了对成堆装载的物体中的任何一个进行把持的示例，但是本发明的应用不限于上述实施例。例如，本发明适用于要对托盘中的布置在阈值上的物体进行把持的情况，或要对正被悬挂的物体(像悬挂器)进行把持的情况。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的***或装置的计算机，来实现本发明的实施例，并且，可以利用通过由***或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims

1.一种信息处理装置，所述信息处理装置包括：

被构造为获取多个物体的图像的单元；

获取单元，其被构造为基于所述图像来获取物体的位置和姿势；以及

决定单元，其被构造为基于所述位置和姿势以及设置的方向，来决定物体的把持顺序。

2.根据权利要求1所述的信息处理装置，

其中，所述决定单元决定所述把持顺序，使得优先把持更靠近所述方向侧的物体。

3.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

区域确定单元，其被构造为确定所述图像中的、所述获取单元获取位置和姿势所针对的目标区域。

4.根据权利要求1所述的信息处理装置，

其中，所述获取单元获取所述多个物体的位置和姿势，并且登记关于获取所述位置和姿势所针对的所述多个物体的信息。

5.根据权利要求4所述的信息处理装置，所述信息处理装置还包括：

确定单元，其被构造为确定是否能够进行利用把持单元对各个登记的物体进行把持。

6.根据权利要求5所述的信息处理装置，

其中，所述确定单元基于在所述把持单元把持物体的状态下的所述把持单元的姿势以及所述方向，来进行所述确定。

7.根据权利要求5所述的信息处理装置，

其中，所述确定单元基于所述方向来计算物体之间的交叠程度，并且基于所述交叠程度来进行所述确定。

8.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

设置单元，其被构造为设置所述方向。

9.根据权利要求8所述的信息处理装置，

其中，所述设置单元根据用户的操作来设置所述方向。

10.根据权利要求8所述的信息处理装置，

其中，所述设置单元将基于把持物体的把持单元所指示的位置而定义的方向设置为所述方向。

11.根据权利要求8所述的信息处理装置，

其中，所述设置单元基于所述图像的一部分中包括的物体的平面上的三维点来设置所述方向。

12.一种由信息处理装置进行的信息处理方法，所述信息处理方法包括：

由所述信息处理装置中的获取图像的单元，来获取多个物体的图像；

由所述信息处理装置中的获取单元，基于所述图像来获取物体的位置和姿势；以及

由所述信息处理装置中的决定单元，基于所述位置和姿势以及设置的方向，来决定物体的把持顺序。