CN104876021B - 物品排列装置、物品排列方法以及物品转运*** - Google Patents

Abstract

提供物品排列装置、物品排列方法以及物品转运***，物品排列装置使以不规则配置的状态放置的多个物品排列成规则配置，具备：机器人；视觉传感器，获取以不规则配置的状态放置的多个物品各自的位置信息；排列图案生成部，使用位置信息以分别表示物品的位置的多个图案要素中的任一第一图案要素与以不规则配置的状态放置的多个物品中的任一基准物品的位置对准的方式生成以预先决定的规则配置具有图案要素的排列图案；拿起动作生成部，使用位置信息生成用于机器人拿起除基准物品以外的物品的拿起动作；排列动作生成部，生成用于机器人将拿起的物品按照排列图案相对于基准物品排列来放置的排列动作；机器人控制部，控制机器人的拿起动作和排列动作。

Description

物品排列装置、物品排列方法以及物品转运***

技术领域

本发明涉及一种使用机器人排列物品的物品排列装置以及物品排列方法。本发明还涉及一种具备物品排列装置的物品转运***。

背景技术

已知如下一种***：利用视觉传感器来检测以不规则配置的状态放置的多个物品，机器人基于所检测到的物品的位置信息拿起各个物品并转运到其它场所。

例如日本特开2013-000860号公报(JP2013-000860A)公开了以下结构：在由多台机器人分担地拣选通过输送带以不规则配置的状态搬运的多个工件的拣选***(Picking System)中，将照相机的图像区域分割为多个分割区域，使预先与各分割区域相对应的机器人执行对存在于各个分割区域的工件的转运动作。另外，日本特开2013-000861号公报(JP2013-000861A)公开了以下结构：在由多台机器人分担地拣选通过输送带以不规则配置的状态搬运的多个工件的拣选***中，检测照相机的图像中的各个工件的方向属于预先决定的多个角度范围的哪一个，使预先与各角度范围相对应的机器人执行对各个工件的转运动作。

另外，日本专利第5288908号公报(JP5288908B)公开了一种物品排列***，该物品排列***使用多台机器人使以不规则配置的状态供给的多个物品排列成以相同姿势将各自对应的表面朝向相同方向的规则配置。JP5288908B中记载有具有应用于物品排列***的特征性结构的机器人手。

发明内容

在由机器人拿起以不规则配置的状态放置的多个物品并转运到其它场所的技术中，期望提高将多个物品以相互之间排列的规则配置的状态转运到其它场所时的转运作业效率。另外，在由机器人使以不规则配置的状态放置的多个物品排列成规则配置的技术中，期望能够使用通用性构造的机器人，并且提高排列作业效率。

本发明的一个方式是一种物品排列装置，使以不规则配置的状态放置的多个物品排列成规则配置，该物品排列装置具备：机器人，其把持物品；视觉传感器，其获取以不规则配置的状态放置的多个物品各自的位置信息；排列图案生成部，其使用位置信息，以分别表示物品的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品中的任一个基准物品的位置对准的方式，生成以预先决定的规则配置具有这些图案要素的排列图案；拿起动作生成部，其使用位置信息来生成用于机器人拿起除基准物品以外的物品的机器人的拿起动作；排列动作生成部，其生成用于机器人将所拿起的物品按照排列图案相对于基准物品排列来放置的机器人的排列动作；以及机器人控制部，其对机器人的拿起动作和排列动作进行控制。

根据一个方式所涉及的物品排列装置，将以不规则配置的状态放置的多个物品中的任一个视作基准物品来在现场生成排列图案，机器人按照该排列图案以不使基准物品移动而将其它物品相对于基准物品排列来放置的方式进行动作，由此能够使多个物品排列成规则配置。因而，在以将一个物品从不规则配置重新放置成规则配置的作业为机器人的单位作业时，能够排列比单位作业的次数多一个的个数的物品，由此，能够提高作为单位作业的集合的排列作业的效率。另外，只要能够把持物品来执行拿起动作和排列动作，则能够使用通用性构造的机器人。其它方式所涉及的物品排列方法也起到同等的效果。

上述的物品排列装置能够还具备干扰判定部，该干扰判定部使用多个物品各自的形状信息和位置信息来预测并判定在能够配置于所生成的排列图案中的除第一图案要素以外的第二图案要素处的物品与包括基准物品在内的其它物品之间是否产生干扰。在该结构中，拿起动作生成部能够考虑干扰判定部的判定来生成拿起动作，排列动作生成部能够考虑干扰判定部的判定来生成排列动作。

在物品排列装置还具备干扰判定部的结构中，判定在机器人的上述的单位作业中是否存在物品之间的干扰，使机器人执行能够高效地解除干扰的拿起动作和排列动作，因此能够提高作为单位作业的集合的排列作业的效率。

本发明的其它方式是一种物品转运***，该物品转运***具备：上述的物品排列装置；搬运装置，其将多个物品以相互之间排列的规则配置的状态进行搬运；以及转运机器人，其将通过物品排列装置排列成规则配置的多个物品一并把持来转运到搬运装置。

根据其它方式所涉及的物品转运***，转运机器人能够将通过物品排列装置排列成规则配置的规定个数的物品以保持排列的状态一并把持来转运到搬运装置。在要求搬运装置将多个物品以相互之间排列的规则配置的状态进行搬运的***结构中，转运机器人本身无需具有物品的排列功能，因此能够提高转运作业的效率。另外，只要能够配备能够一并把持已排列的规定个数的物品的手，则能够使用通用性构造的转运机器人。

本发明的另一方式是一种物品排列方法，利用机器人使以不规则配置的状态放置的多个物品排列成规则配置，该物品排列方法如下：获取以不规则配置的状态放置的多个物品各自的位置信息；使用位置信息，以分别表示物品的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品中的任一个基准物品的位置对准的方式，生成以预先决定的规则配置具有这些图案要素的排列图案；使用位置信息来生成用于机器人拿起除基准物品以外的物品的机器人的拿起动作；生成用于机器人将所拿起的物品按照排列图案相对于基准物品排列来放置的机器人的排列动作；以及对机器人的拿起动作和排列动作进行控制，来使包括基准物品在内的多个物品排列成规则配置。

附图说明

本发明的目的、特征以及优点通过与附图相关联的以下的实施方式的说明会变得更进一步明确。在该附图中，

图1是表示一个方式所涉及的物品排列装置的结构的功能框图，

图2是示意性地表示排列图案的一例的图，

图3是表示按照排列图案排列的物品的一例的图，

图4是表示对图案要素进行定义的排列样式的一例的表格，

图5A是表示其它例的排列样式的图，

图5B是表示其它例的排列图案的图，

图5C是表示按照其它例的排列图案排列的物品的图，

图6A是表示另一例的排列样式的图，

图6B是表示按照另一例的排列图案排列的物品的图，

图7是表示物品的一例的图，

图8A和图8B是表示按照排列图案排列的物品的其它例的图，

图9是示意性地表示物品排列装置的一个实施方式的图，

图10是表示控制装置的硬件结构的一例的框图，

图11是表示控制装置的硬件结构的其它例的框图，

图12是图9的实施方式中的控制装置的功能框图，

图13是示意性地表示图9的实施方式中的排列图案生成过程的图，

图14是示意性地表示图9的实施方式中的排列图案生成过程的图，

图15是示意性地表示图9的实施方式中的排列图案生成过程的图，

图16是示意性地表示图9的实施方式中的排列图案生成过程的图，

图17是示意性地表示图9的实施方式中的排列图案生成过程的图，

图18是示意性地表示图9的实施方式中的排列图案生成过程的图，

图19是示意性地表示图9的实施方式中的排列图案生成过程的图，

图20是示意性地表示图9的实施方式中的排列图案生成过程的图，

图21是说明控制装置的排列图案生成处理的流程图，

图22是说明控制装置的排列图案生成处理的流程图，

图23是说明控制装置的排列图案生成处理的流程图，

图24是示意性地表示其它方式所涉及的物品转运***的一个实施方式的图，

图25是图24的实施方式中的控制装置的功能框图，

图26是说明控制装置的物品转运处理的流程图，

图27是表示另一方式所涉及的物品转运***的结构的功能框图，

图28是表示其它方式所涉及的物品排列装置的结构的功能框图，

图29A是表示另一例的排列样式的图，

图29B是表示从上方观察按照另一例的排列图案排列的物品的状态的图，以及

图29C是表示从侧方观察图29B的物品的状态的图。

具体实施方式

下面，参照附图来说明本发明的实施方式。在所有附图中对于对应的结构要素标注共同的参照标记。

图1以功能框图表示本发明的一个方式所涉及的物品排列装置10的结构。物品排列装置10是由机器人12使以不规则配置的状态放置的多个物品M排列成规则配置的装置。

物品排列装置10构成为具备：机器人12，其把持物品M；视觉传感器14，其获取以不规则配置的状态放置的多个物品M各自的位置信息Dp；排列图案生成部16，其使用位置信息Dp，以分别表示物品M的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置对准的方式，虚拟地生成以预先决定的规则配置具有这些图案要素的排列图案P；干扰判定部18，其使用多个物品各自的形状信息Ds和位置信息Dp，来预测并判定在能够配置于所生成的排列图案P中的除第一图案要素以外的第二图案要素处的物品Mb与包括基准物品Ma在内的其它物品M之间是否产生干扰；拿起动作生成部20，其考虑干扰判定部18的判定，使用位置信息Dp生成用于机器人12拿起除基准物品Ma以外的物品Mb的机器人12的拿起动作；排列动作生成部22，其考虑干扰判定部18的判定来生成用于机器人12将所拿起的物品Mb按照排列图案P相对于基准物品Ma排列来放置的机器人12的排列动作；以及机器人控制部24，其对机器人12的拿起动作和排列动作进行控制。

物品M能够具有各种各样的形状和尺寸。关于以不规则配置的状态放置的多个物品M，既可以是具有各种各样的形状、尺寸的物品混合存在，也可以是所有物品均具有相同形状和相同尺寸。不规则配置是指完全没有意图排列成特定的形态而随意地放置的配置，是指如下的配置：在从正上方观察多个物品M时的二维扩展(例如视觉传感器14所获取的图像)中各个物品M呈现多样的位置、姿势。与此相对，物品排列装置10所实现的规则配置是指如下的配置：在上述二维扩展中多个物品M按照直线状、曲线状、锯齿状、环状等特定的规则排列。在规则配置中，各个物品M的姿势(即方向)既可以相同也可以不同，而且相邻的物品M的间隔既可以相同也可以不同。

机器人12能够具备从多关节型、龙门式(gantry type)、并联连杆型(parallellink type)等公知的各种机构部适当地选择的机构部。如后所述，机器人12无需具有专用于物品排列装置10所实施的物品排列作业的结构，能够具有包括手等末端执行器(end effector)在内的通用性结构。

视觉传感器14构成为具备CCD照相机等摄像部以及作为专用的图像处理装置或后述的控制装置的一个功能的图像处理部。关于视觉传感器14，摄像部在自己的视场内从正上方(即俯视地)拍摄以不规则配置的状态放置的多个物品M，图像处理部适当地对该摄像数据进行图像处理，由此检测物品M的存在，并且获取各个物品M在预先决定的二维的照相机坐标系中的位置(坐标值)和姿势(旋转角度)的信息。视觉传感器14所获取的位置信息Dp包含物品M的位置及姿势的信息，但是例如机器人12配备有不限定物品M的把持位置的吸附型手、且排列成规则配置的多个物品M呈现多样的姿势的结构那样，也有时位置信息Dp可以不包含物品M的姿势的信息。另外，视觉传感器14也能够从摄像数据获取各个物品M的二维外形的信息(即形状信息Ds)。视觉传感器14所获取到的位置信息Dp和形状信息Ds能够作为图像而显示在未图示的监视器上。

排列图案生成部16、干扰判定部18、拿起动作生成部20、排列动作生成部22以及机器人控制部24分别构成为后述的控制装置的一个功能。对于各部的功能，在后述的实施方式中也进一步详细地说明。

图2示意性地表示由排列图案生成部16生成的排列图案P的一例。图示的例子的排列图案P以预先决定的规则配置(图中沿横向排列成直线状的配置)具有分别表示物品M的位置的多个(3个)图案要素P1、图案要素P2以及图案要素P3。以“+”的标记来图示了各图案要素P1、P2、P3以助于理解，但是图案要素P1、P2、P3本身是不需要具有形状的。此外，排列图案P能够具有两个或四个以上的图案要素，还能够具有按照曲线状、锯齿状、环状等其它规则排列的图案要素。

排列图案生成部16能够基于排列样式来生成排列图案P，该排列样式以预先决定的图案坐标系中的坐标值对多个图案要素分别进行了定义。在图2的例子中，准备了以下的排列样式：在照相机坐标系的任意的位置处设定的图案坐标系26中，分别以坐标值(X1，Y1)、(X2，Y1)、(X3，Y1)对图案要素P1、P2、P3进行了定义。基于该排列样式，排列图案生成部16在要使多个物品M排列成规则配置来放置的现场，虚拟地生成具有排列成直线状的图案要素P1、P2、P3的排列图案P。机器人12按照所生成的排列图案P进行动作，使得将以不规则配置的状态放置的多个物品M重新放置成相互之间排列成直线状的规则配置。此时在物品排列装置10中，将以不规则配置的状态放置的多个物品M中的任一个视作基准物品Ma(图1)，机器人12以如下方式进行动作：不使该基准物品Ma移动，而将其它物品Mb(图1)相对于基准物品Ma排列来放置。

图3表示按照图2的排列图案P排列成规则配置的物品M的一例。在该例子中，具有相同的矩形的二维外形的三个物品M以使各自的几何中心点与排列图案P的三个图案要素P1、P2、P3的位置一致的方式进行配置。在物品排列装置10中，首先从以不规则配置的状态放置的多个物品M选定基准物品Ma，使排列样式(图2)中定义的多个图案要素中的一个第一图案要素(在图中为左端的图案要素P1)与该基准物品Ma的位置对准，由此，排列样式中定义的其它第二图案要素(在图中为中央和右端的图案要素P2、P3)相对于第一图案要素(P1)排列成直线状，从而生成排列图案P。机器人12按照该排列图案P来与第二图案要素(P2、P3)对准地放置其它物品Mb。由此，三个物品M按照排列图案P排列成规则配置。

在图3的例子中，通过使各物品M(Ma、Mb)的二维外形的几何中心点与各图案要素P1、P2、P3的位置一致，来实现物品M的排列。但是并不限于此，也能够以作为在物品M的形状中相互对应的部位为条件，使几何中心点以外的任意的部位(例如矩形的一个顶点)与图案要素的位置一致来排列物品M。关于使物品M的哪个部位与图案要素的位置一致，例如能够由操作员来设定并提供给排列动作生成部22(即输入到后述的控制装置)。

在使多个物品M排列成规则配置时不考虑各物品M的姿势的结构中，排列图案P所具有的多个图案要素P1、P2、P3只要如上所述那样仅表示物品M的位置即可。与此相对，在使多个物品M排列成规则配置时考虑各物品M的姿势的结构中，排列图案P所具有的多个图案要素P1、P2、P3分别表示物品M的位置及姿势这两者。在该情况下，排列样式以图案坐标系26中的坐标值(X，Y)和相对旋转角度R对各图案要素P1、P2、P3进行定义。

图4以表格示出对图2的图案要素P1、P2、P3进行定义的排列样式的一例。在图4所示的排列样式中，以坐标值(X，Y)((X1，Y1)、(X2，Y1)、(X3，Y1))和相对旋转角度R(0°、0°、0°)对各图案要素P1、P2、P3进行了定义。关于相对旋转角度R，以图案要素P1为基准(即0°)来对其它图案要素P2、P3的角度进行了定义。具有该排列样式中定义的图案要素P1、P2、P3的排列图案P用于机器人12使三个物品M以均朝向0°方向(例如图案坐标系26的Y轴的正方向)的同一姿势排列成直线状(图案坐标系26的X轴方向)(参照图3)。此外，关于对各图案要素P1、P2、P3进行定义的坐标值(X，Y)和相对旋转角度R，能够按照想要实现的物品M的排列形态来例如由操作员提供给排列图案生成部16(即输入到后述的控制装置)。

参照图5A～图6B来说明排列图案P的其它例。

图5A～图5C中说明的排列图案P具有用于机器人12使四个物品M以相互之间各旋转90°的姿势排列成矩阵状的结构。如图5A所示，用于生成排列图案P的排列样式在图案坐标系26中分别以坐标值(X1，Y1)、(X2，Y1)、(X2，Y2)、(X1，Y2)对图案要素P1、P2、P3、P4进行定义，另一方面，关于相对旋转角度R(°)，以图案要素P1为基准(0°)来分别以-90°、180°、90°对其它图案要素P2、P3、P4进行定义。图5B将具有这样定义的图案要素P1、P2、P3、P4的排列图案P与图案坐标系26的坐标轴一起进行图示。机器人12按照图5B的排列图案P，将以不规则配置的状态放置的四个物品M重新放置成如图5C所示那样以相互之间各旋转90°的姿势排列成矩阵状的规则配置。在图示的例子中，通过使物品M的二维外形中的几何中心点与图案要素P1、P2、P3、P4的位置一致，四个物品M被放置成规则配置。

图6A～图6B中说明的排列图案P具有用于机器人12使六个物品M以相互之间各旋转60°的姿势排列成环状的结构。如图6A所示，用于生成排列图案P的排列样式在图案坐标系26中分别以坐标值(0，0)、(0，0)、(0，0)、(0，0)、(0，0)、(0，0)对图案要素P1、P2、P3、P4、P5、P6进行定义，另一方面，关于相对旋转角度R(°)，以图案要素P1为基准(0°)来分别以-60°、-120°、180°、120°、60°对其它图案要素P2、P3、P4、P5、P6进行了定义。图6B将具有这样定义的图案要素P1、P2、P3、P4、P5、P6的排列图案P与图案坐标系26的坐标轴一起示出。在该例子中，所有图案要素P1、P2、P3、P4、P5、P6均图示于图案坐标系26的原点。机器人12按照图6B的排列图案P，将以不规则配置的状态放置的六个物品M重新放置成如图6B所示那样以相互之间各旋转60°的姿势排列成环状的规则配置。在图示的例子中，通过使物品M的二维外形(扇形)中的一个顶点与图案要素P1、P2、P3、P4、P5、P6的位置一致，六个物品M被放置成规则配置。

在图5A～图6B的例子中，也使排列样式中定义的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置(在指定图案要素的相对旋转角度R的情况下为位置及姿势)对准，由此，排列样式中定义的其它第二图案要素相对于第一图案要素排列成规则配置(矩阵状、环状)，从而生成排列图案P。机器人12按照该排列图案P来与第二图案要素对准地放置其它物品Mb。由此，多个物品M按照排列图案P排列成规则配置(矩阵状、环状)。

排列样式中使用的图案坐标系26能够以任意的姿势设定在任意的位置。对各个图案要素进行定义的坐标值(X，Y)和相对旋转角度R为与图案坐标系26的位置及姿势相应的值。在物品排列装置10中，在要使多个物品M排列成规则配置来放置的现场，以已放置的基准物品Ma为基准来如前所述那样生成排列图案P，由此获取该现场中的排列图案P的图案坐标系的位置及姿势。通过将排列样式中使用的图案坐标系26转换为所生成的排列图案P的图案坐标系，来决定现场中的图案要素(因而物品M)的现实的(或者机器人坐标系中的)位置(在指定相对旋转角度R的情况下为位置及姿势)。

干扰判定部18使用物品M的形状信息Ds和视觉传感器14所获取到的物品M的位置信息Dp，来预测并判定在能够配置于排列图案P中的前述的第二图案要素处的物品Mb与包括基准物品Ma在内的其它物品M之间是否产生干扰。形状信息Ds既可以是为了检测物品M而预先提供给视觉传感器14的已知信息，或者也可以是由视觉传感器14从实际的摄像数据获取到的信息。在此，干扰表示在将两个物品M放置于现场时在这些物品M之间发生重叠的状况，例如能够设为干扰不包括两个物品M的侧面之间静态接触的状况。或者，也可以设为干扰包括这种静态接触。作为形状信息Ds，在物品M的二维外形是圆形、矩形等简单形状的情况下，能够直接采用现实的形状的信息。在物品M的二维外形不是这种简单形状的情况下，将现实的形状置换为简单形状后设为形状信息Ds。

图7表示物品M的二维外形的一例。在图示的例子中，物品M具有箭头状的外形。在该情况下，干扰判定部18所使用的形状信息Ds可以是现实的箭头状的外形的信息，但是例如也能够设为与现实的箭头状的外形外接的外接矩形M′(以虚线示出)的信息。干扰判定部18能够使用外接矩形M′来代替现实的箭头状的外形以判定是否存在物品M的干扰。作为外接形状，只要是能够使干扰的判定变得容易的形状，就能够采用圆形、三角形等其它各种各样的简单形状。

在以不规则配置的状态放置的所有物品M均为相同形状的情况下，能够预先设定形状信息Ds中使用的外接形状的尺寸。在图7的例子中，能够预先由操作员来设定外接矩形M′的宽度w和高度h并提供给干扰判定部18(即输入到后述的控制装置)。或者，也能够基于视觉传感器14所具有的物品M的现实的外形的信息，来由视觉传感器14的图像处理部求出外接形状(形状信息Ds)。在以不规则配置的状态放置的物品M具有多样的形状的情况下，视觉传感器14基于物品M的现实的外形来获取外接形状。

通过将外接形状用作形状信息Ds，能够比较容易地进行例如图8A～图8B所示那样的复杂形状的物品M的干扰判定。另外，当使用外接形状时，不仅能够使干扰判定变得容易，还能够使机器人12按照排列图案P排列复杂形状的物品M的动作变得容易。在对如图8A～图8B所示那样的复杂形状的物品M进行处理的情况下，例如能够由视觉传感器14的图像处理部对物品M的现实的外形的信息进行公知的Blob分析，由此求出最优的外接形状。此外，物品M的现实形状与外接形状的差异越小，则越能够提高干扰判定的可靠度和排列作业的效率(成品率)。

图8A表示以下的状态：具有互不相同的复杂形状的二维外形的三个物品M按照图2所示的排列图案P排列成考虑了姿势的规则配置。在该结构中，视觉传感器14基于各个物品M的现实的外形来获取各个物品M各自的外接矩形M′(以虚线示出)，干扰判定部18将外接矩形M′的信息用作形状信息Ds来判定是否存在物品M的干扰。对于被判定为不产生干扰的物品M，机器人12以前述的过程使该物品M按照在现场生成的排列图案P排列成规则配置来放置。此时，在图8A的例子中，各个物品M的外接矩形M′的几何中心点被配置成与排列图案P的三个图案要素P1、P2、P3的位置一致，并且各个物品M的外接矩形M′的长轴被配置成与对所对应的图案要素P1、P2、P3指定的相对旋转角度R(0°)一致。

图8B表示以下的状态：具有互不相同的椭圆形的二维外形的三个物品M按照图2所示的排列图案P排列成不考虑姿势的规则配置。在该结构中，视觉传感器14基于各个物品M的现实的外形来获取各个物品M各自的外接圆形M″(以虚线示出)，干扰判定部18将外接圆形M″的信息用作形状信息Ds来判定是否存在物品M的干扰。对于被判定为不产生干扰的物品M，机器人12以前述的过程使该物品M按照在现场生成的排列图案P排列成规则配置来放置。此时，在图8B的例子中，各个物品M的外接圆形M″的几何中心点被配置成与排列图案P的三个图案要素P1、P2、P3的位置一致。由于该规则配置不考虑姿势，因此图案要素P1、P2、P3未被指定相对旋转角度R。此外，在规则配置考虑姿势的结构中，若将圆用作外接形状则无法再现图案要素所表示的姿势(相对旋转角度R)，因此将矩形等除圆以外的简单形状用作外接形状。与此相对，在规则配置不考虑姿势的结构中，通过将圆用作外接形状，能够与物品M的姿势无关地判定是否存在干扰。

排列图案生成部16在现场生成排列图案P时，能够在考虑干扰判定部18的判定的基础上选择以不规则配置的状态放置的多个物品M中的任一个作为基准物品Ma。例如，在选定基准物品Ma时，首先选择以不规则配置的状态放置的多个物品M中的几个作为基准候选，将这些基准候选逐个地依次假定为基准物品Ma，来进行上述的干扰判定。然后，在找到能够不产生物品M的干扰地生成排列图案P的基准候选的阶段，能够将该基准候选作为正式的基准物品Ma来生成排列图案P。

拿起动作生成部20使用视觉传感器14所获取到的物品M的位置信息Dp来生成用于机器人12拿起以不规则配置的状态放置的多个物品M中的除基准物品Ma以外的物品Mb的拿起动作。此时，拿起动作生成部20能够通过考虑干扰判定部18的判定结果来生成实现高效的排列作业的拿起动作。

排列动作生成部22生成用于机器人12将所拿起的物品Mb按照排列图案P相对于基准物品Ma排列来放置的排列动作。此时，排列动作生成部22能够通过考虑干扰判定部18的判定结果来生成实现高效的排列作业的排列动作。

例如，在现场生成图2所示的排列图案P并使物品M排列成图3所示的形态的结构中，以相对于物品Ma(与图案要素P1对准)在不产生物品之间的干扰的位置处配置其它图案要素P2、P3为前提来生成排列图案P。在物品M以不规则配置的状态放置的状态下，例如在图案要素P2的位置处存在预测会产生干扰的物品Mb的情况下，机器人12最先拿起该物品Mb，由此能够解除所预测的干扰，之后，与不产生物品之间的干扰的图案要素P2或P3对准地放置该物品Mb，由此能够高效地执行排列作业。这样，在干扰判定部18判定为产生物品M的干扰时，拿起动作生成部20能够生成拿起动作，使得比以不规则配置的状态放置的多个物品M中的不产生干扰的物品M更先拿起以不规则配置的状态放置的多个物品M中的产生干扰的物品M。

机器人控制部24对拿起动作生成部20所生成的拿起动作和排列动作生成部22所生成的排列动作进行控制，使机器人12如上所述那样适当地动作，由此能够使包括基准物品Ma在内的多个物品M高效地排列成规则配置。

根据具有上述结构的物品排列装置10，将以不规则配置的状态放置的多个物品M中的任一个视作基准物品Ma来在现场生成排列图案P，机器人12按照该排列图案P以不使基准物品Ma移动而将其它物品Mb相对于基准物品Ma排列来放置的方式进行动作，由此能够使多个物品M排列成规则配置。因而，在以将一个物品M从不规则配置重新放置成规则配置的作业为机器人12的单位作业时，能够排列比单位作业的次数多一个的个数的物品M。在该单位作业中，判定是否存在物品之间的干扰，来使机器人12执行能够高效地解除干扰的拿起动作和排列动作，因此能够提高作为单位作业的集合的排列作业的效率。另外，只要能够把持物品M来执行拿起动作和排列动作，则能够使用包括手等末端执行器在内的通用性构造的机器人12。

上述的物品排列装置10的结构能够描述为本发明的其它方式的物品排列方法。该物品排列方法利用机器人12使以不规则配置的状态放置的多个物品M排列成规则配置，具有以下步骤：获取以不规则配置的状态放置的多个物品M各自的位置信息Dp；使用位置信息Dp，以分别表示物品M的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置对准的方式，虚拟地生成以预先决定的规则配置具有这些图案要素的排列图案P；使用多个物品各自的形状信息Ds和位置信息Dp，来预测并判定在能够配置于所生成的排列图案P中的除第一图案要素以外的第二图案要素处的物品Mb与包括基准物品Ma在内的其它物品M之间是否产生干扰；考虑干扰的判定，来使用位置信息Dp生成用于机器人12拿起除基准物品Ma以外的物品M的机器人12的拿起动作；考虑干扰的判定来生成用于机器人12将所拿起的物品Mb按照排列图案P相对于基准物品Ma排列来放置的机器人12的排列动作；以及对机器人12的拿起动作和排列动作进行控制，来使包括基准物品Ma在内的多个物品M排列成规则配置。

图9表示具备前述的物品排列装置10的基本结构的基于一个实施方式的物品排列装置30。图10和图11表示物品排列装置30所具有的控制装置的硬件结构的例子。图12是物品排列装置30所具有的控制装置的功能框图。下面，对与物品排列装置10的结构要素对应的结构要素，标注共同的标记并省略其详细的说明。物品排列装置10所起到的前述的效果通过物品排列装置30的以下的说明会变得更明确。

物品排列装置30除了物品排列装置10的结构要素以外，还具备搬运物品M的输送带32以及获取输送带32的搬运动作信息Dm的输送带传感器34。输送带32具有能够将多个物品M支承并向一个方向(图中为箭头α方向)搬运的公知的输送构件以及连续或断续地驱动输送构件的公知的驱动机构。输送带传感器34能够具有例如能够对输送带32的输送构件或驱动机构的位置、速度进行检测的编码器。

机器人12配置于输送带32的侧方的规定位置，由多关节型等的机构部在预先决定的作业区域对从输送带32的输送方向上游侧输送的物品M执行拿起动作和排列动作。视觉传感器14的摄像部36(以下称为照相机36)设置于机器人12的上游侧的规定位置，从输送带32的正上方对存在于预先决定的视场38的物品M和输送带32进行拍摄。

物品排列装置30具备控制机器人12的控制装置40。如图10所例示的那样，控制装置40具有机器人控制器42和视觉传感器14的图像处理部44。机器人控制器42具备由执行排列图案生成部16、干扰判定部18、拿起动作生成部20以及排列动作生成部22(图1)的功能的微处理器构成的CPU 46。CPU 46上经由总线58分别连接有ROM 48、RAM 50、SRAM 52、数字信号处理器(DSP)用数据存储器54以及数字信号处理器(DSP)56。ROM 48中保存有对包括排列图案生成部16、干扰判定部18、拿起动作生成部20以及排列动作生成部22(图1)的功能的***整体进行控制的程序，RAM 50中临时保存有由CPU 46处理的数据。SRAM 52中保存有用于机器人12的动作程序、设定数据。DSP 56是用于对输送带传感器34的输出信号进行处理的处理器，DSP用数据存储器54保存DSP 56的处理数据、设定参数。DSP 56具有以下功能：按照CPU 46的命令来在任意的时间点探测输送带传感器34的输出，并写入到DSP用数据存储器54的规定区域中。

另外，机器人控制器42具有用于控制机器人12的轴控制部60。轴控制部60具有机器人控制部24(图1)的功能，经由伺服电路62而与机器人12连接。由此，控制装置40能够对机器人12的拿起动作和排列动作进行控制。并且，机器人控制器42具备通信接口64、I/O接口66，能够经由它们而与其它控制装置、外部的***设备进行通信。

图像处理部44具备由微处理器构成的CPU 68。CPU 68上经由总线80分别连接有ROM 70、RAM 72、用于连接设置于控制装置40的外部的监视器74的监视器接口76以及用于连接照相机36的照相机接口78。照相机36所拍摄到的图像经由照相机接口78保存在RAM 72中。RAM 72中保存的数据由CPU 68来进行分析，从而作为物品M的位置、姿势的信息(位置信息Dp)被图像处理部44所获取。图像处理部44也能够从RAM 72中保存的摄像数据获取物品M的形状信息Ds。ROM 70中保存有图像处理部44中的分析程序。图像处理部44的CPU 68经由控制装置40的总线82而与机器人控制器42的CPU 46连接。另外，图像处理部44的CPU 68能够经由机器人控制器42的CPU 46来访问SRAM 52以保存各种设定信息，或者访问DSP用数据存储器54来读取输送带传感器34的信息。

也能够以机器人控制器42的CPU 46、ROM 48以及RAM 50来代替图像处理部44的CPU 68、ROM 70以及RAM 72。图11例示了具有这种简化的硬件结构的控制装置40。

在物品排列装置30中，视觉传感器14(图1)获取以不规则配置的状态搭载于输送带32的多个物品M的位置信息Dp。排列图案生成部16(图1)将以不规则配置的状态搭载于输送带32的多个物品M中的一个作为基准物品Ma(图1)，使用搬运动作信息Dm和位置信息Dp来在输送带32上虚拟地生成排列图案P(图1)。干扰判定部18(图1)针对搭载于输送带32的物品M执行前述的干扰判定。拿起动作生成部20(图1)使用搬运动作信息Dm和位置信息Dp，考虑干扰判定部18的判定来生成用于从输送带32拿起除基准物品Ma以外的物品Mb(图1)的机器人12的拿起动作。排列动作生成部22(图1)使用搬运动作信息Dm，考虑干扰判定部18的判定来生成用于将从输送带32拿起的物品Mb按照排列图案P放置在输送带32上的机器人12的排列动作。

拿起动作生成部20和排列动作生成部22能够在输送带32将物品M搬运到任意的位置后停止的状态下生成机器人12的拿起动作和排列动作。在该结构中，机器人控制部24(图1)对于处于停止的输送带32，对前述的机器人12的拿起动作和排列动作进行控制，来使包括基准物品Ma在内的多个物品M排列成规则配置。

或者，拿起动作生成部20和排列动作生成部22能够在输送带32正在以规定速度搬运物品M的期间，作为追随输送带32的动作来生成机器人12的拿起动作和排列动作。在该结构中，机器人控制部24(图1)对前述的机器人12的拿起动作和排列动作进行控制使得前述的机器人12的拿起动作和排列动作追随输送带32的搬运动作，来使包括基准物品Ma在内的多个物品M在搬运动作中的输送带32上排列成规则配置。

干扰判定部18能够预测并判定前述的能够配置于第二图案要素处的物品Mb是否产生超出预先设定的作业区域的情况。在该情况下，排列动作生成部22不仅能够考虑是否存在干扰、还能够考虑物品Mb是否超出预先设定的作业区域来生成机器人12的排列动作。关于物品Mb是否超出预先设定的作业区域的判定，例如能够通过以下处理来执行：事先将该作业区域设定成与输送带32相等，视觉传感器14的图像处理部44预先具有输送带32的位置(例如图9中上方和下方的外缘的位置)的信息，与物品M的位置信息Dp和形状信息Ds相对照。

如图9所示，在物品排列装置30中，机器人12具备相互独立地动作的第一机构部12A(以下称为第一机器人12A)和第二机构部12B(以下称为第二机器人12B)。第二机器人12B设置于第一机器人12A的下游侧。与此对应地，包括机器人控制部24(轴控制部60)的控制装置40具备控制第一机器人12A的第一控制装置40A和控制第二机器人12B的第二控制装置40B。第一控制装置40A与第二控制装置40B能够通过网络集线器84和有线的通信线缆86来相互通信数据。此外，通信手段并不限定于有线的通信线缆86。第一控制装置40A和第二控制装置40B的硬件结构遵循图10和图11所示的控制装置40的硬件结构。但是，第二控制装置40B由于不连接照相机36而不具备图像处理部44。

输送带传感器34所获取到的搬运动作信息Dm被输入到第一控制装置40A。第一控制装置40A能够通过通信向第二控制装置40B发送被输入的搬运动作信息Dm、图像处理部44所获取到的位置信息Dp以及图像处理部44所具有的形状信息Ds(已知信息或获取信息)。连接于第一控制装置40A的第一机器人12A和连接于第二控制装置40B的第二机器人12B按照使用搬运动作信息Dm、位置信息Dp以及形状信息Ds进行的各个动作生成和干扰判定的结果，来拿起在输送带32上从上游搬运的物品M，并将该物品M在输送带32上再放置成规则配置。此时，第一控制装置40A和第二控制装置40B(即控制装置40)能够通过数据通信来根据预先决定的作业比例使第一机器人12A执行前述的拿起动作和排列动作并且使第二机器人12B执行前述的拿起动作和排列动作。此外，能够预先由任一个控制装置40A、40B来设定用于决定以规则配置的状态放置的物品M的个数、位置以及姿势的前述的排列样式。在其它控制装置40A、40B中能够通过通信来参照由任一个控制装置40A、40B设定的排列样式。

图12以功能框图示出控制装置40(第一控制装置40A和第二控制装置40B)中的对与物品M和排列图案P有关的信息进行处理的处理的单位。图中的箭头表示与物品M和排列图案P有关的信息的流动。

如图12所示，第一控制装置40A和第二控制装置40B分别具有排列样式设定部88A和排列样式设定部88B。能够在这些排列样式设定部88A、88B的任一个中设定前述的排列样式。操作员能够一边参照监视器74(图10)、一边输入排列样式所定义的图案要素的坐标值(X，Y)、相对旋转角度R。将由任一个控制装置40A、40B的排列样式设定部88A、88B定义的排列样式的图案要素的数据通过通信发送到其它控制装置40A、40B的排列样式设定部88A、88B，由此在其它排列样式设定部88A、88B中也对排列样式的图案要素进行定义。

第一控制装置40A的物品检测部90在从输送带传感器34(图9)接收到表示输送带32(图9)移动了预先决定的距离的搬运动作信息Dm时，开始视觉传感器14(图1)对物品M的检测处理。或者，也可以在从光电管传感器等外部传感器(未图示)接收到某种触发信号的输入时，物品检测部90开始物品M的检测处理。作为物品M的检测方法，能够采用以下方法等公知的方法：如归一化互相关法那样，从照相机36(图9)所拍摄到的图像检测与预先登记的模型图像一致的图像；如广义霍夫变换那样，从预先登记的模型图像提取对象物的轮廓，基于该轮廓的信息来求出照相机36所拍摄到的图像上的对象物的位置或位置姿势。

物品检测部90当成功检测到物品M时，将物品M的位置信息Dp和形状信息Ds、以及在照相机36拍摄物品M的瞬间由输送带传感器34获取的搬运动作信息Dm等信息传输到第一控制装置40A的信息管理部92A。信息管理部92A在从物品检测部90接收到上述的信息之后，如果不存在当前排列中的排列图案P，则委托第一控制装置40A的排列图案决定部94(具有图1的排列图案生成部16和干扰判定部18的功能)生成排列图案P。在排列图案决定部94中能够参照从物品检测部90发送到信息管理部92A的信息。

第一控制装置40A还具备作业内容设定部96A和作业执行部98A(具有图1的拿起动作生成部20和排列动作生成部22的功能)。第二控制装置40B同样地具备信息管理部92B、作业内容设定部96B以及作业执行部98B(具有图1的拿起动作生成部20和排列动作生成部22的功能)。

接着，参照图12和图13～图20来说明第一控制装置40A的排列图案决定部94所执行的物品M的排列图案生成过程的一例。在图示的例子中，设在输送带32上生成图2所示的排列图案P，使物品M在输送带32上排列成图3所示的形态。另外，在图示的例子中，设物品M具有图7所示的箭头状的二维外形，并设在干扰判定和生成排列动作时使用其外接矩形M′(以实线示出)。此外，在图13～图20中，以“+”的标记来图示排列图案P所具有的图案要素P1、P2、P3，以“×”的标记来图各物品M的外接矩形M′的几何中心点。在图示的例子中，通过使各物品M的外接矩形M′的几何中心点与各图案要素P1、P2、P3的位置一致，来实现物品M的排列。

首先，从通过输送带32以不规则配置的状态输送的多个物品M选择作为前述的基准物品Ma的候选的基准候选。基准候选的个数能够设定为1以上的任意数，但是在基准候选的个数被设定成比排列样式中确定的物品M的排列个数多的情况下，即使是能够生成排列图案P的状况，如果在机器人作业区域内未凑齐设定个数的基准候选则也不能开始排列作业。因而，期望的是基准候选的个数为物品M的排列个数以下。在图13～图20的例子中，选择了与图4的排列样式中确定的物品M的排列个数(三个)相同数量的基准候选M1、基准候选M2以及基准候选M3。此外，也能够构成为以下结构：将基准候选的个数设定得比物品M的排列个数多，在机器人作业区域内未凑齐设定个数的基准候选的状况超过了规定时间时，作为例外，选择在该时间点存在于机器人12的上游的物品M作为基准候选。

在图13～图20的例子中，从输送带32的下游侧起按顺序选择了基准候选M1、M2、M3。选择基准候选的顺序是任意的，但是通过从下游侧起按顺序进行选择，能够削减未能排列就向下游搬运的物品M的个数。另外，例如假设从上游搬运来与排列个数一致的物品M的状况，此时输送带32上的空闲区域在位于最下游的物品M的更下游侧最大的可能性高。因而，在图13～图20的例子中，从基准候选M1、M2、M3中的最下游的基准候选M1起按顺序验证是否能够设为基准物品Ma。

图13表示将最下游的基准候选M1假定为基准物品Ma的情况。基准物品Ma是在排列作业中不移动的物品，因此首先验证是否能够不移动最下游的基准候选M1而使其它物品Mb(图3)相对于基准候选M1排列。在该情况下，根据将基准候选M1置于排列图案P的中央或某一端，能够设想出其它物品Mb的三种放置方法。也就是说，在基准候选M1的周围，能够设想出为了实现排列图案P而放置其它物品Mb的四处区域G1、区域G2、区域G3以及区域G4，作为放置其它物品Mb的区域的组合，能够设想出(G1、G2)、(G2、G3)、(G3、G4)这三种。在图13的例子中，区域G1、G2是由于物品M超出输送带32而物理上不能放置物品Mb的区域。因而，只要验证是否能够将物品M放置于区域G3、G4即可。

为了将物品Mb放置于区域G3、G4，要求区域G3、G4是完全空闲的区域。在已有其它物品Mb至少局部地与区域G3、G4重叠的情况下，需要使这种物品Mb先移动来使该区域为完全空闲的区域。在图13的例子中，基准候选M2的一部分与移动目的地区域G3、G4这两者重叠，后续的候选外的物品M4的一部分与区域G4重叠。因而，只要先拿起基准候选M2来放置于区域G3、之后拿起物品M4来放置于区域G4，就能够完成物品M的排列。若想要不拿起基准候选M2而先将物品M4移动到区域G4，则会在物品M4与基准候选M2之间产生干扰。另一个基准候选M3位于比物品M4更靠下游侧的位置，但是若想要不拿起物品M4而先将基准候选M3移动到区域G4，则会在基准候选M3与物品M4之间产生干扰。为了避免该干扰地完成物品M的排列，需要比基准候选M3更先拿起成为干扰原因的物品M4。

图14表示以下的状态：基于排列图案决定部94(干扰判定部18)的上述的验证结果，将基准候选M1作为基准物品Ma来生成排列图案P，机器人12按照排列图案P使其它物品Mb相对于基准物品Ma排列。

图15表示已完成排列的三个物品M的物品组MS以及其后续的输送带32上的不规则配置的多个物品M。下一个排列图案P的生成例如能够在之前的物品组MS的排列完成时开始。与前述的过程同样地，将物品组MS除外，从下游侧起按顺序选择三个基准候选M1(之前的排列作业中的基准候选M3)、基准候选M2以及基准候选M3，验证能够将哪个基准候选作为基准物品Ma。

图16表示将最下游的基准候选M1假定为基准物品Ma的情况。如图所示，在将基准候选M1作为基准物品Ma的情况下，为了实现排列图案P而放置其它物品Mb的两处区域G1和区域G2均与已完成排列(即不能再移动)的物品组MS的物品M局部地重叠，因此可以理解在这些区域G1、G2中不能放置其它物品Mb，无法生成排列图案P。因而，不能将基准候选M1作为基准物品Ma。

图17表示将基准候选M2假定为基准物品Ma的情况。如图所示，在将基准候选M2作为基准物品Ma的情况下，为了实现排列图案P而放置其它物品Mb的四处区域G1、区域G2、区域G3以及区域G4均与两个以上的其它物品M局部地重叠，因此可以理解在这些区域G1、G2、G3、G4中不能放置其它物品Mb，无法生成排列图案P。因而，不能将基准候选M2作为基准物品Ma。

图18表示将基准候选M3假定为基准物品Ma的情况。如图所示，在将基准候选M3作为基准物品Ma的情况下，为了实现排列图案P而放置其它物品Mb的四处区域G1、区域G2、区域G3以及区域G4除了区域G3以外与两个以上的其它物品M局部地重叠或者超出输送带32，因此可以理解在这些区域G1、G2、G3、G4中无法生成排列图案P。因而，不能将基准候选M3作为基准物品Ma。

这样，在图15所示的状态下基准候选M1～M3中的任一个都不能作为基准物品Ma，因此从更上游的物品M中选择其它基准候选来进行同样的验证。在该情况下，变得难以将基准候选M1～M3放置成按照排列图案P的规则配置，排列作业效率(成品率)降低。为了应对这种状况，物品排列装置30能够具有以下的结构。

在物品排列装置30中，构成为：在考虑排列图案决定部94(干扰判定部18)的干扰判定的结果是机器人12无法将其它物品M按照排列图案P相对于基准物品Ma(在上述的例子中是未能成为基准物品Ma的基准候选M1～M3中的任一个)放置时，拿起动作生成部20(图1)使用位置信息Dp来生成用于机器人12拿起包括基准物品Ma在内的多个物品M(在上述的例子中是基准候选M1～M3)的机器人12的例外拿起动作，排列图案生成部16(图1)在空闲区域S(图19)虚拟地生成包括与多个图案要素分别对应的多个代替图案要素的代替排列图案PA(图19)，该空闲区域S是被预测为在能够配置于多个代替图案要素处的多个物品M(在上述的例子中是候选M1～M3)与其它物品M之间不产生干扰的区域，排列动作生成部22(图1)生成用于机器人12将所拿起的多个物品M按照代替排列图案PA相互之间排列来放置在空闲区域S的机器人12的例外排列动作。

在上述结构中，视觉传感器14(图1)能够获取空闲区域S的位置信息和形状信息，排列图案生成部16能够使用视觉传感器14所获取到的空闲区域S的位置信息和形状信息来生成代替排列图案PA。或者，也能够构成为以下结构：空闲区域S被预先决定为不放置不规则配置的物品M的区域，排列图案生成部16使用预先给出的空闲区域S的位置信息和形状信息来生成代替排列图案PA。

参照图19和图20来说明机器人12的上述的例外动作的一例。在图19所示的状态(与图15的状态相同)下，例如在输送带32的图中上方形成有不存在物品M的空闲区域S。能够基于视觉传感器14(物品检测部90)所具有的物品M的位置信息Dp和形状信息Ds、信息管理部92A所具有的机器人12的排列作业历史记录来容易地识别出该空闲区域S。例如，将输送带32上的机器人12的作业区域分割成格子状，对各个格子进行编码，来制作以如下方式二值化的映射图：以落到存在物品M的场所处的格子为0，以落到不存在物品M的场所处的格子为1。在该映射图中，在值1的格子的集合中寻找能够将与将排列成排列图案P的物品M的整体合并后的外形相当的形状包含在内的地方，如果找到则能够将该地方作为空闲区域S。

图19表示在空闲区域S生成的代替排列图案PA。图20表示以下的状态：按照代替排列图案PA将包括基准物品Ma(正确地说是未能成为基准物品Ma的基准候选M1～M3中的任一个)在内的三个物品M(基准候选M1～M3)排列成规则配置来放置在空闲区域S。

在如图19和图20中以虚线(虚拟线)L划分表示的那样空闲区域S被预先决定为不放置不规则配置的物品M的区域的结构中，设定成在前述的并非例外作业的通常的排列作业中也不使物品M排列到空闲区域S，由此能够确保空闲区域S以备例外作业。由此，在产生了如图15所示的状况的情况下能够立即在空闲区域S生成代替排列图案PA。

再次参照图12来说明控制装置40A、40B的各种处理。排列图案决定部94将通过上述过程在输送带32上生成的排列图案P的图案坐标系的位置及姿势的信息、以及按照排列图案P从不规则配置重新放置成规则配置的多个物品M及这些物品M的移动顺序的信息发送到信息管理部92A。在使用代替排列图案PA的情况下，排列图案决定部94将通过上述过程在输送带32上生成的代替排列图案PA的图案坐标系的位置及姿势的信息、按照代替排列图案PA从不规则配置重新放置成规则配置的多个物品M及这些物品M的移动顺序的信息、以及在生成代替排列图案PA的位置信息和代替排列图案PA的瞬间由输送带传感器34获取的搬运动作信息发送到信息管理部92A。信息管理部92A根据从排列图案决定部94接收到的图案坐标系的位置及姿势的信息以及预先由排列样式设定部88A设定的排列样式中的各个图案要素的位置或位置及姿势的信息，来求出各个图案要素在排列图案P中的位置或位置及姿势。

在上述实施方式中，对图案要素在排列图案P中的位置或位置及姿势、以及按照排列图案P从不规则配置重新放置成规则配置的物品的位置或位置及姿势赋予在照相机36中定义的照相机坐标系的值。在该结构中，通过预先求出照相机坐标系与作为机器人12的动作基准的机器人坐标系之间的相对位置关系，能够通过公知的坐标转换计算来将照相机坐标系的值转换为机器人坐标系中的值。另外，如果在第一控制装置40A和第二控制装置40B中共用机器人坐标系，则能够在第一机器人12A和第二机器人12B中共同使用图案要素在排列图案P中的位置或位置及姿势、以及按照排列图案P重新放置的物品M的位置或位置及姿势的信息。例如，一旦视觉传感器14获取到物品M的位置或位置及姿势的信息，则第一控制装置40A和第二控制装置40B就能够控制各自所连接的第一机器人12A和第二机器人12B来使其执行物品M的拿起动作和排列动作。以该目的，信息管理部92A能够将图案要素在排列图案P中的位置或位置及姿势以及按照排列图案P重新放置的物品M的位置或位置及姿势的信息传输到第二控制装置40B的信息管理部92B。

第一机器人12A和第二机器人12B的作业比例等作业内容能够由第一控制装置40A和第二控制装置40B中的任一个的作业内容设定部96A、96B来预先设定，并能够在这些作业内容设定部96A、96B中共用。例如，在第一机器人12A与第二机器人12B的作业比例被设定为1:1的情况下，在图13～图20的事例中，第一机器人12A和第二机器人12B以如下方式交替地执行排列作业：第一机器人12A拿起基准候选M2来放置于区域G3，并且拿起候选外的物品M4来放置于区域G4，来完成按照排列图案P的物品排列，第二机器人12B完成按照下一个排列图案P的物品排列。也就是说，在该情况下，由一台机器人12来专门负责按照一个排列图案P的物品排列的完成。

图21表示第一控制装置40A的排列图案决定部94依次决定排列图案P并输出到信息管理部92A的处理流程。在步骤S200中，排列图案决定部94从以不规则配置的状态放置的多个物品M中选择N个基准候选。如前所述那样N是1以上的任意的值。接着，例如从最下游的基准候选起按顺序附加1、2、…、N的编号，如下所述那样从第一个基准候选起按顺序验证是否能够成为基准物品Ma。即，在步骤S201中，设定表示对基准候选附加的编号的变量k并将该变量k设为1。在步骤S202中，判断k是否超过了预先设定的基准候选的数量(＝N)。在k超过了N的情况下，判断为不存在能够成为基准物品Ma的基准候选，在输送带32上的空闲区域S生成代替排列图案PA(步骤S207)，输出代替排列图案PA，由此结束处理(步骤S205)。在k未超过N的情况下，选择与k的值对应的基准候选(步骤S203)，临时生成在将该基准候选作为基准物品Ma时能够生成的几个排列图案P，并验证是否能够避免物品之间的干扰地完成按照这些排列图案P的排列(步骤S204)。如果找到能够进行这种排列作业的排列图案P，则输出该排列图案P，由此结束处理(步骤S205)。

图22表示第一控制装置40A的信息管理部92A选择接下来要处理的物品M的信息并对作业执行部98A输出该物品M的信息的处理流程。在步骤S300中，信息管理部92A从排列图案决定部94接收接下来要进行排列作业的排列图案P的信息以及按照该排列图案P要移动的物品M及其移动顺序的信息。信息管理部92A记录有通过了第一机器人12A的作业区域的物品M的数量(通过物品数)、在这些物品M中第一机器人12A已进行过排列作业的物品M的数量(作业物品数)、以及通过物品数中的由于被设为基准物品Ma而未移动的物品M的数量(不动物品数)。在作业内容设定部96A中，预先设定有第一机器人12A与第二机器人12B的作业比例。信息管理部92A关注按照接下来的排列图案P最先移动的物品M，将作业物品数相对于通过物品数与不动物品数之差(通过物品数-不动物品数)的比例和预先决定的作业比例进行比较。

在此，当以由一台机器人12完成按照一个排列图案P的物品排列为前提时，在第一机器人12A未移动按照下一个排列图案P要最先移动的关注物品M的情况下，在排列图案决定部94所决定的物品移动顺序中应该在关注物品M之后移动的物品M也不会被第一机器人12A移动。因此，在进行上述比较时，将使实际通过了第一机器人12A的作业区域的物品M的数量与为了下一个排列图案P而需要移动的物品Mb的数量相加所得的数量当作通过物品数。在比较的结果是判断为未超过作业比例的情况下，选择关注物品M作为第一机器人12A的移动对象物品，直到完成按照排列图案P的物品排列为止由第一机器人12A进行排列作业。另一方面，在判断为即使第一机器人12A不移动关注物品M也会超过作业比例的情况下，不将关注物品M选作第一机器人12A的移动对象物品。在第一机器人12A完成按照排列图案P的物品排列后，关注接下来应该移动的物品M，再次进行上述的比较。

例如，在第一机器人12A和第二机器人12B的作业比例被设定为1:0的情况下，在内部(即作为信息管理部92A的处理)将作业物品数相对于通过物品数与不动物品数之差的比例设为1:1，其结果，第一机器人12A将排列作业进行到其动作能力的极限。然后，第二机器人12B对超出了第一机器人12A的动作能力的物品M以及属于与该物品M相同的排列图案P且移动顺序在该物品M之后的物品M进行排列作业。另外，在第一机器人12A和第二机器人12B的作业比例被设定为1:1的情况下，在内部将作业物品数相对于通过物品数与不动物品数之差的比例设为2:1，其结果，第一机器人12A与第二机器人12B以相同的比例进行排列作业。

在步骤S301中，信息管理部92A将所选择的物品M的信息与对应的图案要素的信息一起输出到作业执行部98A。作业执行部98A对第一机器人12A进行控制，使其将所选择的物品M移动到对应的图案要素的位置。在移动完成的时间点，设置作业完成标志来作为该排列图案P的图案要素的信息。

图23表示信息管理部92A与图22所示的处理相分别地定期地执行的处理流程。在步骤S402中，信息管理部92A基于视觉传感器14拍摄到物品M的瞬间的输送带传感器34的值(搬运动作信息Dm)与当前的输送带传感器34的值(搬运动作信息Dm)之差，对物品M的当前位置进行更新。在步骤S403中判断为物品M的当前位置超出到预先决定的第一机器人12A的作业区域之外的情况下，在步骤S404中，将该物品M的位置或位置及姿势的信息以及拍摄时的输送带传感器34的值从信息管理部92A传输到第二控制装置40B的信息管理部92B。对所有物品M(m个)依次执行这些处理(步骤S400、S401、S405)。

信息管理部92A同样地对所生成的排列图案P的各图案要素的当前位置进行更新(步骤S408)。在步骤S409中判断为所生成的排列图案P的最上游侧的图案要素超出到预先决定的第一机器人12A的作业区域之外的情况下，在步骤S410中，将该排列图案P的所有图案要素的位置或位置及姿势的信息、拍摄该排列图案P中的基准物品Ma时的输送带传感器34的值、该排列图案P的图案要素的物品移动顺序、使各图案要素与物品M相对应的信息、以及作业完成标志从信息管理部92A传输到第二控制装置40B的信息管理部92B。对所有排列图案P(p个)依次执行这些处理(步骤S406、S407、S411)。第二控制装置40B的信息管理部92B在从第一控制装置40A的信息管理部92A接收到这些信息之后，进行遵循信息管理部92A的处理的处理。

在机器人12(第一机器人12A、第二机器人12B)将以不规则配置的状态放置在输送带32上的多个物品M在输送带32上排列成规则配置的技术中，具有上述结构的物品排列装置30起到与针对物品排列装置10叙述的效果同等的效果。另外，物品排列装置30构成为机器人12(第一机器人12A、第二机器人12B)追随输送带32的搬运动作来进行动作，由此不扩大机器人12(第一机器人12A、第二机器人12B)的作业区域就能够提高物品M的排列作业效率。但是并不限定于此，也能够在输送带32停止的状态下机器人12(第一机器人12A、第二机器人12B)执行物品M的拿起动作和排列动作的至少一方。此外，物品排列装置30所具有的机器人12及其控制装置40的台数不限定于两台，也可以是一台或三台以上。

图24表示本发明的其它方式所涉及的物品转运***100的一个实施方式。物品转运***100具备前述的物品排列装置30。下面，对与物品排列装置30的结构要素对应的结构要素，标注共同的标记并省略其详细的说明。

物品转运***100具备：物品排列装置30；搬运装置102，其将多个物品M以相互之间排列的规则配置的状态进行搬运；以及转运机器人104，其将通过物品排列装置30排列成规则配置的多个物品M一并把持来转运到搬运装置102。物品转运***100还具备控制转运机器人104的控制装置106。控制装置106与物品排列装置30的第一控制装置40A及第二控制装置40B能够通过网络集线器84和有线的通信线缆86相互通信数据。

搬运装置102能够构成为具有如下部分的输送带：公知的输送构件，其能够将用于载置排列成规则配置的多个物品M的托盘108支承并向一个方向(图中为箭头β方向)搬运；以及公知的驱动机构，其连续或断续地驱动输送构件。在图示实施方式中，搬运装置102的物品搬运方向β是与物品排列装置30所具有的输送带32的物品搬运方向α正交的方向。搬运装置102上附设有能够检测输送构件或驱动机构的位置、速度的输送带传感器(例如编码器)110。输送带传感器110所获取到的搬运装置102的搬运动作信息被输入到控制装置106。控制装置106能够与第一控制装置40A和第二控制装置40B进行通信来获知第一机器人12A和第二机器人12B将物品M排列到输送带32上的何处。另外，控制装置106能够通过与第一控制装置40A进行通信来获知输送带传感器34的值。根据这些信息，与控制装置106连接的转运机器人104一边追随输送带32、一边将在输送带32上排列的物品M一并把持。在把持之后，转运机器人104使用输送带传感器110所获取到的搬运动作信息，一边追随搬运装置102、一边将一并把持的物品M放置在例如由附设于搬运装置102的光电管传感器112探测到的托盘108上。在图示的例子中，设托盘108上能够载置六个物品M，转运机器人104配备有能够把持六个物品M的手(未图示)。该手具有能够同时一并把持三个物品M的结构。转运机器人104在将在输送带32上排列的以三个为一组的物品M(物品组MS)把持两组之后，将这些物品组MS放置于托盘108。

只要将转运机器人104所能够把持的物品M的总个数设定为排列成规则配置的物品M的个数的自然数倍，转运机器人104就能够通过进行与该倍数相当的次数的把持动作来以一次转运动作将一个以上的物品组MS转运到搬运装置102。但是并不限定于此，转运机器人104只要能够把持排列成规则配置的物品M的个数以上的个数的物品M即可。例如，在转运机器人104能够把持排列个数加一个的物品M的情况下，转运机器人104能够在进行将在输送带32上排列的一组物品组MS一并把持的把持动作以及将在输送带32上排列的另一组物品组MS中的一个物品M把持的把持动作之后，将排列个数加一个的物品M转运到搬运装置102。

控制装置106具有遵循前述的控制装置12的硬件结构(图10或图11)的硬件结构。但是，控制装置106由于不连接照相机36而不具备图像处理部44。控制装置106还经由I/O接口66而与光电管传感器112连接，能够从光电管传感器112接收信息。

图25以功能框图示出第一控制装置40A、第二控制装置40B以及控制装置106中的对与物品M和排列图案P有关的信息进行处理的处理的单位。图中的箭头表示与物品M、载置物品M的托盘以及排列图案P有关的信息的流动。

如图25所示，控制装置106具有与第一控制装置40A和第二控制装置40B的排列样式设定部88A、88B、信息管理部92A、92B、作业内容设定部96A、96B以及作业执行部98A、98B分别对应的排列样式设定部88C、信息管理部92C、作业内容设定部96C以及作业执行部98C。能够在排列样式设定部88A、88B、88C的任一个中设定前述的排列样式。将由任一个排列样式设定部88A、88B、88C定义的排列样式的图案要素的数据通过通信发送到其它排列样式设定部88A、88B、88C，由此在其它排列样式设定部88A、88B、88C中也对排列样式的图案要素进行定义。

控制装置106还具有执行搬运装置102上的托盘108的检测动作的托盘检测部114。转运机器人104进行以下动作：在将两组已排列的物品M连续地把持之后，一并放置于由托盘检测部114检测到的托盘108。托盘检测部114以来自光电管传感器112的输入为触发来探测托盘108。当探测到托盘108时，托盘检测部114将探测到的瞬间的搬运装置102的输送带传感器110的值的信息传输到信息管理部92C。信息管理部92C使光电管传感器112的位置、搬运装置102的行进方向与转运机器人104的机器人坐标系预先关联，由此能够使用从托盘检测部114接收到的探测托盘的瞬间的输送带传感器110的值来在机器人坐标系中识别出托盘108的位置。另外，信息管理部92C能够从第二控制装置40B的信息管理部92B得到排列图案P的图案要素的位置或位置及姿势的值。转运机器人104能够使用这些信息来执行上述的物品M的一并把持和转运动作。

关于转运机器人104从输送带32拿起几组已排列的物品M来放置于搬运装置102上的托盘108等的转运机器人104的作业内容，能够由作业内容设定部96C来预先设定。或者，也能够由第一控制装置40A和第二控制装置40B中的任一个的作业内容设定部96A、96B来设定转运机器人104的作业内容并在作业内容设定部96A、96B、96C中共用。

图26表示控制装置106的信息管理部92C从第二控制装置40B的信息管理部92B接收到信息时的处理流程。在步骤S500中，信息管理部92C从第二控制装置40B的信息管理部92B接收物品M的位置或位置及姿势的信息、拍摄物品时的输送带传感器34的值、排列图案P的各图案要素的位置或位置及姿势的信息、该排列图案P的图案要素的物品移动顺序、使各图案要素与物品M相对应的信息、拍摄该排列图案P中的基准物品Ma时的输送带传感器34的值、以及作业完成标志。在步骤S501中，信息管理部92C将对所有图案要素都设置了作业完成标志的已完成的排列图案P的代表性的(例如图3的图案要素P1的)位置或位置及姿势的信息发送到作业执行部98C。作业执行部98C基于从信息管理部92C接收到的信息，将按照已完成的排列图案P排列的物品M一并把持。在作业内容设定部96C中，预先指定有将几组物品组MS连续地一并把持，作业执行部98C重复进行所指定的次数的一并把持。转运机器人104将一并把持的物品M一并放置于托盘检测部114所检测到的托盘108。

根据具有上述结构的物品转运***100，转运机器人104能够将通过物品排列装置30在输送带32上排列成规则配置的规定(即排列样式中决定的)个数的物品M以排列的物品组MS的状态一并把持来移动到搬运装置102。在要求搬运装置102将多个物品M以相互之间排列的规则配置的状态进行搬运的***结构中，转运机器人104本身无需具有物品M的排列功能，因此能够提高转运作业的效率。另外，只要能够配备能够一并把持已排列的规定个数的物品M的手，则能够使用通用性构造的转运机器人104。

另一方面，物品转运***100所装备的第一机器人12A和第二机器人12B专门执行前述的物品排列作业，不需要具有将排列成规则配置的物品M转运到搬运装置102的功能。因而，能够将第一机器人12A和第二机器人12B的作业区域限定为用于物品排列的作业区域，从而能够将比转运机器人104小型的机器人用作第一机器人12A和第二机器人12B。

另外，物品转运***100具备专用于物品排列的机器人12(第一机器人12A和第二机器人12B)和专用于物品转运的转运机器人104，因此能够自由地设定输送带32与搬运装置102之间的相对配置。例如在由多个机器人分担地执行从输送带32向搬运装置102的物品转运作业的结构中，期望是以下结构：将输送带32与搬运装置102并排配置，多个机器人在两者之间执行转运作业。与此相对，在物品转运***100中，即使如图所示那样输送带32与搬运装置102具有向相互正交的方向搬运物品的配置关系，转运机器人104也能够顺畅地执行物品转运作业。

另外，构成为转运机器人104追随输送带32和搬运装置102各自的搬运动作来进行动作，由此不扩大转运机器人104的作业区域就能够提高物品M的转运作业效率。但是并不限定于此，也能够在输送带32或搬运装置102停止的状态下转运机器人104执行物品M的转运作业。另外，物品转运***100也能够具备不具有输送带的物品排列装置来代替具有输送带32的物品排列装置30。此外，物品转运***100所具有的转运机器人104及其控制装置106的台数不限定于一台，也可以是两台以上。

这样，根据物品转运***100，通过转运机器人104的通用化和物品排列用的机器人12的小型化，能够削减***构建成本，而且能够提高输送带、机器人等***结构要素的相对配置的设计自由度。

在具备执行一般的物品排列作业的物品排列装置来代替物品排列装置30的***结构中，也同样能够起到物品转运***100所起到的上述效果。作为执行一般的物品排列作业的物品排列装置，例如能够采用将图19和图20所示的空闲区域S的代替排列图案PA作为平时的排列图案P来执行物品排列作业的物品排列装置。在该物品排列作业中，不需要选定基准物品Ma的作业，将以不规则配置的状态放置在输送带32上的多个物品M全部依次移动到空闲区域S，排列成按照平时的排列图案P的规则配置。这种物品转运***的一个实施方式能够具备图27所示的下述结构。

一种物品转运***200，在使以不规则配置的状态放置的多个物品M排列成规则配置之后转运该多个物品M，该物品转运***200具备：

输送带202，其搬运物品M；

输送带传感器204，其获取输送带202的搬运动作信息Dm；

排列机器人206，其使以不规则配置的状态放置在输送带202上的多个物品M在输送带202上进行排列；

视觉传感器208，其获取以不规则配置的状态放置在输送带202上的多个物品M各自的位置信息Dp；

排列图案生成部210，其使用位置信息Dp和搬运动作信息Dm来在输送带202上生成以预先决定的规则配置具有分别表示物品M的位置的多个图案要素的排列图案P；

拿起动作生成部212，其使用位置信息Dp和搬运动作信息Dm来生成用于排列机器人206从输送带202拿起物品M的排列机器人206的拿起动作；

排列动作生成部214，其使用搬运动作信息Dm来生成用于排列机器人206将从输送带202拿起的物品M按照排列图案P放置在输送带202上的排列机器人206的排列动作；

排列机器人控制部216，其对排列机器人206的拿起动作和排列动作进行控制；

搬运装置218，其将多个物品M以相互之间排列的规则配置的状态进行搬运；

转运机器人220，其将通过排列机器人206在输送带202上排列成规则配置的多个物品M一并把持来转运到搬运装置218；

一并把持动作生成部222(与图25的作业内容设定部96C相当)，其使用排列机器人控制部216的排列动作控制信息Dc来生成用于转运机器人220将在输送带202上排列成规则配置的多个物品M一并把持来从输送带202拿起的转运机器人220的一并把持动作；以及

转运机器人控制部224，其对转运机器人220的一并把持动作进行控制。

图28以功能框图示出本发明的其它方式所涉及的物品排列装置120的结构。物品排列装置120是由机器人12使以不规则配置的状态放置的多个物品M排列成规则配置的装置。物品排列装置120的特别之处在于能够使多个物品M排列成相互重叠的三维的规则配置以代替前述的物品排列装置10所实现的二维的规则配置，以该目的，不具有干扰判定部18。物品排列装置120除了不具有干扰判定部18以外，具有与物品排列装置10实质上相同的结构。下面，对与物品排列装置10的结构要素对应的结构要素，标注共同的标记并省略其详细的说明。

物品排列装置120构成为具备：机器人12，其把持物品M；视觉传感器14，其获取以不规则配置的状态放置的多个物品M各自的位置信息Dp；排列图案生成部16，其使用位置信息Dp，以分别表示物品M的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置对准的方式，虚拟地生成以预先决定的规则配置具有这些图案要素的排列图案P；拿起动作生成部20，其使用位置信息Dp来生成用于机器人12拿起除基准物品Ma以外的物品Mb的机器人12的拿起动作；排列动作生成部22，其生成用于机器人12将所拿起的物品Mb按照排列图案P相对于基准物品Ma排列来放置的机器人12的排列动作；以及机器人控制部24，其对机器人12的拿起动作和排列动作进行控制。

物品M能够具有各种各样的形状和尺寸。关于以不规则配置的状态放置的多个物品M，既可以是具有各种各样的形状、尺寸的物品混合存在，也可以是所有物品均具有相同形状和相同尺寸。不规则配置是指完全没有意图排列成特定的形态而随意地放置的配置，是指如下的配置：在从正上方观察多个物品M时的二维扩展(例如视觉传感器14所获取的图像)中各个物品M呈现多样的位置、姿势。与此相对，物品排列装置120所实现的规则配置是指如下的配置：相对于上述二维扩展，多个物品M按照第三维(即高度方向)中的特定的规则而相互重叠。在规则配置中，各个物品M的姿势(即方向)既可以相同也可以不同。

物品排列装置120的排列图案生成部16与物品排列装置10的排列图案生成部16同样地，能够基于排列样式来生成排列图案P，该排列样式以预先决定的图案坐标系中的坐标值对多个图案要素分别进行了定义。机器人12按照所生成的排列图案P进行动作，使得将以不规则配置的状态放置的多个物品M重新放置成相互重叠的规则配置。此时在物品排列装置120中，将以不规则配置的状态放置的多个物品M中的任一个视作基准物品Ma(图28)，机器人12以如下方式进行动作：不使该基准物品Ma移动，而将其它物品Mb(图28)排列成相对于基准物品Ma重叠的状态来放置。

图29A～图29C示意性地表示物品排列装置120的排列图案生成部16所生成的排列图案P的一例。图29A～图29C中说明的排列图案P具有用于机器人12将三个物品M以相同的姿势排列成堆积成三层的状态的结构。如图29A所示，在用于生成排列图案P的排列样式中，在三维的图案坐标系26′中分别以坐标值(0，0，0)、(0，0，Z1)、(0，0，Z2)和相对旋转角度R(0°、0°、0°)对图案要素P1、P2、P3进行了定义。图29B将具有这样定义的图案要素P1、P2、P3的排列图案P与图案坐标系26′的坐标轴X和坐标轴Y一起示出。另外，图29C将具有这样定义的图案要素P1、P2、P3的排列图案P与图案坐标系26′的坐标轴X和坐标轴Z一起示出。机器人12按照图29B～图29C的排列图案P将以不规则配置的状态放置的三个物品M重新放置成如图29B～图29C所示那样以相互同心且相同的姿势堆积的规则配置。在图示的例子中，通过使物品M的二维外形(圆形)中的几何中心点与图案要素P1、P2、P3的位置一致，来将三个物品M放置成规则配置。

在物品排列装置120中，也能够构成为在使多个物品M排列成规则配置时不考虑各物品M的姿势的结构。在该结构中，对于排列图案生成部16所生成的排列图案P，在排列样式中不设定各图案要素的相对旋转角度R。

在图29A～图29C的例子中，也使排列样式中定义的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置(在指定图案要素的相对旋转角度R的情况下为位置及姿势)对准，由此，排列样式中定义的其它第二图案要素相对于第一图案要素排列成规则配置(堆积状态)，从而生成排列图案P。机器人12按照该排列图案P来与第二图案要素对准地放置其它物品Mb。由此，多个物品M按照排列图案P排列成规则配置(堆积状态)。

排列样式中使用的图案坐标系26′能够以任意的姿势设定在任意的位置。对各个图案要素进行定义的坐标值(X，Y，Z)和相对旋转角度R为与图案坐标系26′的位置及姿势相应的值。在物品排列装置120中，在要使多个物品M排列成规则配置来放置的现场，以已放置的基准物品Ma为基准来如前所述那样生成排列图案P，由此获取该现场中的排列图案P的图案坐标系的位置及姿势。通过将排列样式中使用的图案坐标系26′转换为所生成的排列图案P的图案坐标系，来决定现场中的图案要素(因而物品M)的现实的(或者机器人坐标系中的)位置(在指定相对旋转角度R的情况下为位置及姿势)。

在物品排列装置120中，排列图案生成部16在现场生成排列图案P时，能够不考虑物品M之间的干扰地适当选择以不规则配置的状态放置的多个物品M中的任一个作为基准物品Ma。另外，在物品排列装置120中，拿起动作生成部20能够不考虑物品M之间的干扰地生成拿起动作，使得机器人12从以不规则配置的状态放置的多个物品M中适当地选择并拿起除基准物品Ma以外的任意的物品Mb。另外，在物品排列装置120中，排列动作生成部22能够不考虑物品M之间的干扰地生成排列动作，使得机器人12将所拿起的物品Mb相对于基准物品Ma以适当的顺序堆积。在物品排列装置120中，机器人控制部24对拿起动作生成部20所生成的拿起动作和排列动作生成部22所生成的排列动作进行控制，使机器人12适当地动作，由此能够使包括基准物品Ma在内的多个物品M高效地排列成规则配置。

根据具有上述结构的物品排列装置120，将以不规则配置的状态放置的多个物品M中的任一个视作基准物品Ma来在现场生成排列图案P，机器人12按照该排列图案P以不使基准物品Ma移动而将其它物品Mb相对于基准物品Ma排列来放置的方式进行动作，由此能够使多个物品M排列成规则配置。因而，在以将一个物品M从不规则配置重新放置成规则配置的作业为机器人12的单位作业时，能够排列比单位作业的次数多一个的个数的物品M，由此，能够提高作为单位作业的集合的排列作业的效率。另外，只要能够把持物品M来执行拿起动作和排列动作，则能够使用包括手等末端执行器在内的通用性构造的机器人12。

上述的物品排列装置120的结构能够描述为基于本发明的其它方式的物品排列方法。该物品排列方法利用机器人12使以不规则配置的状态放置的多个物品M排列成规则配置，具有以下步骤：获取以不规则配置的状态放置的多个物品M各自的位置信息Dp；使用位置信息Dp，以分别表示物品M的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品M中的任一个基准物品Ma的位置对准的方式，虚拟地生成以预先决定的规则配置具有这些图案要素的排列图案P；使用位置信息Dp来生成用于机器人12拿起除基准物品Ma以外的物品M的机器人12的拿起动作；生成用于机器人12将所拿起的物品Mb按照排列图案P相对于基准物品Ma排列来放置的机器人12的排列动作；以及对机器人12的拿起动作和排列动作进行控制，来使包括基准物品Ma在内的多个物品M排列成规则配置。

图9所示的物品排列装置30能够具有物品排列装置120的基本结构来代替物品排列装置10的基本结构。在该情况下，物品排列装置30所具备的控制装置40(第一控制装置40A和第二控制装置40B)除了不具有干扰判定部18的功能以外，能够具有遵循图10和图11所示的硬件结构的硬件结构以及遵循图12的功能框图的功能。具有物品排列装置120的基本结构的物品排列装置30是由相互独立地动作的第一机器人12A和第二机器人12B将以不规则配置的状态放置在输送带32上的多个物品M在输送带32上排列成相互堆积的规则配置的装置。

另外，图24所示的物品转运***100能够具备具有物品排列装置120的基本结构的物品排列装置30。在该物品转运***100中，由转运机器人104将通过物品排列装置30在输送带32上排列成相互堆积的规则配置的规定(即排列样式中决定的)个数的物品M以堆积的物品组的状态一并把持来转运到搬运装置102。

以上，说明了本发明的实施方式，但是能够不脱离前述的权利要求书的公开范围地进行各种修正和变更，本领域技术人员会理解这一点。例如，物品排列装置所具有的机器人及其控制装置的台数、物品转运***所具有的转运机器人及其控制装置的台数并不限定于上述实施方式的台数。

Claims (15)

1.一种物品排列装置，使以不规则配置的状态放置的多个物品排列成规则配置，该物品排列装置具备：

机器人，其把持物品；

视觉传感器，其获取以不规则配置的状态放置的多个物品各自的位置信息；

排列图案生成部，其使用上述位置信息，以分别表示物品的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品中的任一个基准物品的位置对准的方式，生成以预先决定的规则配置具有所述多个图案要素的排列图案；

拿起动作生成部，其使用上述位置信息来生成用于上述机器人拿起除上述基准物品以外的物品的上述机器人的拿起动作；

排列动作生成部，其生成用于上述机器人将所拿起的物品按照上述排列图案相对于上述基准物品排列来放置的上述机器人的排列动作；以及

机器人控制部，其对上述机器人的上述拿起动作和上述排列动作进行控制。

2.根据权利要求1所述的物品排列装置，其特征在于，

还具备搬运物品的输送带以及获取该输送带的搬运动作信息的输送带传感器，

上述视觉传感器获取以不规则配置的状态搭载于上述输送带的多个物品的上述位置信息，

上述排列图案生成部将以不规则配置的状态搭载于上述输送带的多个物品中的一个作为上述基准物品，来在上述输送带上生成上述排列图案，

上述拿起动作生成部使用上述搬运动作信息和上述位置信息来生成用于从上述输送带拿起除上述基准物品以外的物品的上述拿起动作，

上述排列动作生成部使用上述搬运动作信息来生成用于将从上述输送带拿起的物品按照上述排列图案放置在上述输送带上的上述排列动作。

3.根据权利要求2所述的物品排列装置，其特征在于，

上述机器人控制部对上述拿起动作和上述排列动作进行控制使得上述拿起动作和上述排列动作追随上述输送带的搬运动作。

4.根据权利要求1～3中的任一项所述的物品排列装置，其特征在于，

还具备干扰判定部，该干扰判定部使用多个物品各自的形状信息和上述位置信息来预测并判定在能够配置于所生成的上述排列图案中的除上述第一图案要素以外的第二图案要素处的物品与包括上述基准物品在内的其它物品之间是否产生干扰，

上述拿起动作生成部考虑上述干扰判定部的判定来生成上述拿起动作，

上述排列动作生成部考虑上述干扰判定部的判定来生成上述排列动作。

5.根据权利要求4所述的物品排列装置，其特征在于，

上述干扰判定部还预测并判定能够配置于上述第二图案要素处的物品是否产生超出预先设定的作业区域的情况。

6.根据权利要求4所述的物品排列装置，其特征在于，

在上述干扰判定部判定为产生上述干扰时，上述拿起动作生成部生成上述拿起动作，使得比以不规则配置的状态放置的多个物品中的不产生上述干扰的物品更先拿起以不规则配置的状态放置的多个物品中的产生上述干扰的物品。

7.根据权利要求4所述的物品排列装置，其特征在于，

上述排列图案生成部考虑上述干扰判定部的判定，来选择以不规则配置的状态放置的多个物品中的任一个作为上述基准物品。

8.根据权利要求4所述的物品排列装置，其特征在于，

在考虑了上述干扰判定部的判定后得到的结果是上述机器人无法将其它物品按照上述排列图案相对于上述基准物品放置时，

上述拿起动作生成部使用上述位置信息来生成用于上述机器人拿起包括上述基准物品在内的多个物品的上述机器人的例外拿起动作，

上述排列图案生成部在空闲区域生成包括与上述多个图案要素分别对应的多个代替图案要素的代替排列图案，该空闲区域是被预测为在能够配置于该多个代替图案要素处的多个物品与其它物品之间不产生干扰的区域，

上述排列动作生成部生成用于上述机器人将所拿起的多个物品按照上述代替排列图案相互之间排列来放置在上述空闲区域的上述机器人的例外排列动作。

9.根据权利要求1～3中的任一项所述的物品排列装置，其特征在于，

上述排列图案生成部基于排列样式来生成上述排列图案，该排列样式以预先决定的图案坐标系中的坐标值对上述多个图案要素分别进行了定义。

10.根据权利要求9所述的物品排列装置，其特征在于，

上述多个图案要素还分别表示多个物品的姿势，上述排列样式以上述图案坐标系中的上述坐标值和相对旋转角度对上述多个图案要素分别进行了定义。

11.根据权利要求1～3中的任一项所述的物品排列装置，其特征在于，

上述机器人具备相互独立地进行动作的第一机构部和第二机构部，

上述机器人控制部根据预先决定的作业比例来使上述第一机构部执行上述拿起动作和上述排列动作并且使上述第二机构部执行上述拿起动作和上述排列动作。

12.一种物品转运***，具备：

根据权利要求1～11中的任一项所述的物品排列装置；

搬运装置，其将多个物品以相互之间排列的规则配置的状态进行搬运；以及

转运机器人，其将通过上述物品排列装置排列成规则配置的多个物品一并把持来转运到上述搬运装置。

13.一种物品排列方法，利用机器人使以不规则配置的状态放置的多个物品排列成规则配置，该物品排列方法如下：

获取以不规则配置的状态放置的多个物品各自的位置信息；

使用上述位置信息，以分别表示物品的位置的多个图案要素中的任一个第一图案要素与以不规则配置的状态放置的多个物品中的任一个基准物品的位置对准的方式，生成以预先决定的规则配置具有所述多个图案要素的排列图案；

使用上述位置信息来生成用于上述机器人拿起除上述基准物品以外的物品的上述机器人的拿起动作；

生成用于上述机器人将所拿起的物品按照上述排列图案相对于上述基准物品排列来放置的上述机器人的排列动作；以及

对上述机器人的上述拿起动作和上述排列动作进行控制，来使包括上述基准物品在内的多个物品排列成规则配置。

14.根据权利要求13所述的物品排列方法，其特征在于，

上述机器人一边追随输送带的搬运动作、一边将以不规则配置的状态搭载于上述输送带的多个物品单独地拿起并在上述输送带上排列成规则配置。

15.根据权利要求13或14所述的物品排列方法，其特征在于，

还包括：使用多个物品各自的形状信息和上述位置信息来预测并判定在能够配置于所生成的上述排列图案中的除上述第一图案要素以外的第二图案要素处的物品与包括上述基准物品在内的其它物品之间是否产生干扰，

考虑上述干扰的判定来生成上述拿起动作，考虑上述干扰的判定来生成上述排列动作。