CN111434470A

CN111434470A - 机器人***的控制装置以及控制方法

Info

Publication number: CN111434470A
Application number: CN202010031189.6A
Authority: CN
Inventors: 荒瀬勇; 天道悟之; 鲁仙·出杏光
Original assignee: Mujin Inc
Current assignee: Mujin Inc
Priority date: 2019-01-14
Filing date: 2020-01-13
Publication date: 2020-07-21
Also published as: US11046518B2; CN111730603A; US20200223634A1; DE102020100610A1; US11905116B2; US20210339955A1; CN111730603B

Abstract

本公开提供可实现单元之间高度协作的机器人***的控制装置以及控制方法等。该控制装置为用于控制机器人***的装置，该机器人***包含用于将操作对象收纳于货架或者从货架取出的操作机器人以及搬运机器人，该装置具备：数据获取部，在向货架收纳或者取出操作对象之前，获取包含关于操作对象和货架的信息的第一数据；数据存储部；以及机器人控制部，在向货架收纳或者取出操作对象之前，选定货架并搬运至访问位置，并且创建或获取用于向货架收纳或者取出操作对象的控制序列，指令搬运机器人执行用于将货架搬运至访问位置的任务，并指令操作机器人执行用于向货架收纳或者取出操作对象的任务。

Description

机器人***的控制装置以及控制方法

技术领域

本公开总体涉及机器人***，特别是涉及对物品等操作对象进行操作的机器人***的控制装置、控制方法、物流***、程序以及存储介质。

背景技术

当前，大多机器人(例如，构成为自动/独立执行物理动作的机器)由于不断提升的性能以及降低的成本而被广泛应用于很多领域。例如，机器人在制造、组装、捆包、传送、搬运、输送等中能够用于执行操纵、移动对象等各种作业。在执行作业中，机器人能够重复进行人类的动作，由此，能够代替或者减少人类进行的危险或者重复的作业。

作为使用这种机器人的***(机器人***)，例如，专利文献1中提出了一种用于使物品从入库到出库实现自动化以及省力化的自动物流***，具备：搬运容器储存机构，暂时储存搬运容器；以及物品自动送出机构，基于出库信息，将搬运容器内的物品自动集约在出厂用容器内。

现有技术文献

专利文献

专利文献1：日本特开2018-167950号公报

发明内容

但是，不管技术进步与否，机器人在大多情况下都缺乏用于执行较大和/或较复杂任务而为了再现人类参与作业所需的精细度。因此，机器人***下的自动化以及高性能化尚未充分，存在很多难以替代人类参与的作业，以及物理上虽然能够以机器人替代，但从效率化方面考虑更期待自动化的作业等。因此，仍然需要管理机器人之间的各种动作和/或对话，用于进一步促进机器人***的自动化以及高性能化的技术改良。因此，本公开的目的在于，例如，提供实现包含机器人的单元之间的高度协作的机器人***的控制装置以及控制方法等。

本发明为了解决上述课题，采用以下结构。

[1]即，本公开所涉及的控制装置是用于控制机器人***的装置，该机器人***包含：用于将操作对象收纳于货架(rack)和/或从货架取出操作对象而对操作对象进行操作的操作机器人，例如，用于通过抓取机器人、拆箱机器人、拣件机器人等的机器人臂以及末端执行器等对操作对象进行操作的机器人；以及，搬运机器人，搬运所述货架。并且，控制装置具备：(1)数据获取部，在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述货架的信息的第一数据；(2)数据存储部，存储所述第一数据；以及(3)机器人控制部，在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于选定所述货架并搬运至访问位置，并且将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象，以及基于所述控制序列，指令所述搬运机器人执行用于将所述货架搬运至所述访问位置的任务，并且指令所述操作机器人执行用于将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象的任务。

其中，“操作对象”表示机器人***所具备的操作机器人所操作的对象物，例如，包含一个以上的物品(商品)、载置或者收纳它们的瓶、集装箱、箱等容器，该容器可以是封装的，也可以是封装打开的，另外，可以是容器的局部(例如上面)打开(所谓“上部开口”的容器)。另外，在其他实施方式以及实施例中，“操作对象”还可以是包含搁架、托板、传送带、其他暂时放置场所等的概念。另外，机器人***具备的搬运机器人所搬运的“货架”是指具有一个搁板以上并在其搁板上保持至少一个以上操作对象的器具。另外，“关于操作对象的信息”以及“关于货架的信息”分别表示与操作对象的识别信息相关联的信息以及与货架的识别信息相关联的信息。另外，“货架”的“访问位置”是指操作机器人能够访问货架的位置。另外，“控制序列”表示控制用于使机器人***所具备的一个以上单元执行各个任务时预先设定的动作顺序(操作机器人或搬运机器人分别是“单元”的一种)。另外，「～之前」表示该时刻以及该时刻之前，「～之后」表示该时刻以及该时刻之后。

根据上述结构，在将操作对象收纳于货架之前和/或将操作对象从货架取出之前，把握操作对象以及货架各自相关的信息，基于包含这些信息的第一数据创建的控制序列来执行任务。由此，能够高效顺畅地进行将操作对象收纳于货架的操作、和/或将操作对象从货架取出的操作。另外，此时，能够实现机器人***中的单元之间的协作，特别是，能够实现操作机器人与搬运机器人之间的高度协作，由此，能够实现机器人***的高性能化。

[2]在上述结构中，可以构成为：所述数据获取部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之后，获取包含关于所述操作对象的信息以及关于所述货架的信息的第二数据，所述数据存储部存储所述第二数据。

根据上述结构，能够在操作对象收纳于货架之后、和/或操作对象从货架取出之后，把握操作对象以及货架各自相关的信息。由此，能够可靠把握并追踪收纳操作对象之后、和/或取出操作对象之后的货架的状态或者状况。

[3]在上述结构中，可以构成为：所述机器人控制部基于所述第二数据，以所述货架中的所述操作对象的配置集约的方式，创建或者获取所述控制序列。

根据上述结构，能够根据操作对象收纳于货架之后、和/或从货架取出之后的操作对象以及货架各自相关的第二数据，把握货架的空置信息。由此，作为下一个阶段，能够在将操作对象收纳(填充)于货架和/或将操作对象从货架取出时高效地选定货架。其结果，能够提高货架中的操作对象的收纳效率，防止货架上的浪费空间零散化(散件整理)。另外，能够抑制产生这种浪费空间，并且，能够更加容易进行操作对象以及货架的位置信息的统一管理。

[4]在上述结构中，可以构成为：所述机器人控制部在所述货架到达所述访问位置之前，指令所述操作机器人执行所述控制序列中的至少一部分操作。

根据上述结构，在搬运机器人将货架向访问位置搬运的期间(即，货架到达访问位置之前)，操作机器人能够“先行”执行将操作对象收纳或者取出的动作。其结果，能够进一步实现缩短作业时间并实现高度协作。

[5]在上述结构中，可以构成为：所述数据获取部获取所述搬运机器人与所述货架的相对位置信息，所述机器人控制部基于所述相对位置信息，校正所述访问位置中的所述货架的位置信息，基于该经校正的位置信息，创建或者获取所述控制序列。

根据上述结构，操作机器人访问货架时，即使在将货架以及搬运机器人中的任一个作为动作的位置基准的情况下，也能够校正货架与保持该货架的搬运机器人的位置偏差。由此，能够更加准确地通过操作机器人执行将操作对象收纳于货架的操作或者将操作对象从货架取出的操作中的任一种，能够进一步提高作业精度以及作业效率。

[6]在上述结构中，可以构成为：所述货架构成为沿横向收纳和/或取出所述操作对象，并且在所述货架的端部设置有所述操作对象的防掉落用具，所述操作机器人沿横向把持所述操作对象(例如，可以使用拆箱夹具等。拆箱是指例如从集装箱卸货的作业)，所述机器人控制部以所述操作对象越过所述防掉落用具进行移动的方式创建或者获取所述控制序列。此外，“货架的端部”是指货架的搁板上面的周缘或者周缘附近的整周或者整周的一部分，或者表示在物品等操作对象载置于搁板上的状态下，操作对象的至少一部分与防掉落用具的至少一部分彼此干扰的位置。

根据上述结构，通过设置于货架的搁板的防掉落用具，可以抑制载置于搁板上的操作对象向货架外掉落。另外，操作对象沿横向***作机器人把持，在该状态下沿横向在货架上进行收纳和/或取出。由此，即使在货架具有多个搁板构成为多段的情况下，也能够易于相对于货架进行操作对象的收纳和/或取出。另外，此时，操作机器人以避让防掉落用具(越过)的方式移动操作对象，因此，能够顺畅且可靠地相对于货架进行操作对象的收纳以及取出。

[7]在上述结构中，可以构成为：所述数据存储部将所述货架中的多个所述操作对象的位置信息(配置信息)以操作对象为单位或者以所述货架的搁板为单位进行存储，并作为二维信息或者三维信息进行存储。

根据上述结构，能够将货架的搁板上载置的操作对象的位置以操作对象为单位或者以搁板为单位(在该情况下，也可以称为层(layer)单位)进行把握。另外，能够将多个操作对象的配置以相同搁板或者不同搁板作为平面信息或者立体信息进行统一管理。由此，例如，通过确定一个操作对象，能够统一确定收纳于货架的相同搁板上的操作对象，或者收纳于该货架的操作对象。其结果，例如，可降低库存管理及盘货时的作业工时，从而提高作业效率。

[8]在上述结构中，还可以构成为：所述机器人***还具备对收纳有所述操作对象的所述货架进行拍摄的传感器，所述机器人控制部以所述传感器能够检测所述操作对象的识别信息(表示识别信息的识别码或者识别标签)的方式，创建或者获取用于将所述操作对象收纳于所述货架的所述控制序列。

根据上述结构，即使在操作对象收纳于货架的状态下，也能够通过传感器检测该操作对象的识别信息。在该情况下，如果将操作对象的识别信息至少粘贴在侧面，则由于能够从搁板的外侧识别的方式露出该识别信息，通过例如照相机等传感器进行拍摄，易于识别操作对象上粘贴的识别信息(表示识别信息的识别码或者识别标签)。由此，在操作对象收纳于货架的状态下，能够简单进行操作对象的识别以及确定。此时，如上述[7]所述，如果将货架中的多个操作对象的位置信息作为二维信息或者三维信息进行存储，则通过确定一个操作对象，就能够以搁板为单位或者以货架为单位，统一简单地确定该货架中收纳的操作对象。其结果，能够进一步提高库存管理、盘货时的作业效率。

[9]在该情况下，更具体地说，所述机器人***还具备对收纳有所述操作对象的所述货架进行拍摄的传感器，所述传感器在保持了所述货架的所述搬运机器人处于静止的状态下或者保持了所述货架的所述搬运机器人处于移动的状态下拍摄所述货架。

[10]在上述结构中，可以构成为：所述机器人控制部在结束将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，判断为完成了将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象。

根据上述结构，在将操作对象收纳于货架、和/或从货架取出操作对象结束之前的阶段，能够判定完成这些收纳操作以及取出操作。由此，能够顺畅且在适当的时刻开始作为下个阶段执行的任务，抑制发生作业延迟，能够进一步实现单元之间的高度协作。

[11]在上述结构中，可以构成为：所述数据获取部获取关于所述操作对象的信息和/或关于所述货架的信息的实测值或者推定值。由此，能够通过例如照相机等传感器进行实测并确认、或者不进行实测而基于例如主数据推定存在于货架内/外的操作对象的位置、货架的位置、操作对象上粘贴的识别信息的位置。

[12]另外，本公开所涉及的物流***具备上述各结构的控制装置、以及包含所述操作机器人以及所述搬运机器人的机器人***。

[13]在上述结构中，可以构成为：所述控制装置识别所述机器人***以及与该机器人***相关联的区域，计算基于所述控制序列的任务(包含单位任务、组合多个单位任务而成的任务)，所述任务包含所述机器人***进行的与所述货架的搬运和所述操作对象的操作相关联的任务、以及在邻接和/或重合的区域内由所述机器人***交叉执行的多个任务。

[14]另外，本公开的程序构成为用于使计算机作为上述各结构的控制装置发挥功能的程序。

[15]另外，本公开的存储介质构成为存储有上述程序的非暂时性计算机可读取存储介质。

[16]另外，本公开的控制方法是机器人***的控制方法，所述机器人***包含：用于将操作对象收纳于货架和/或从货架取出操作对象而对操作对象进行操作的操作机器人；以及搬运所述货架的搬运机器人，所述控制方法通过使用具有数据获取部、数据存储部以及机器人控制部的控制装置来执行。而且，(1)所述数据获取部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述货架的信息的第一数据，(2)所述数据存储部存储所述第一数据，(3)所述机器人控制部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于选定所述货架并搬运至访问位置，并且将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象，以及基于所述控制序列，指令所述搬运机器人执行用于将所述货架搬运至所述访问位置的任务，并且指令所述操作机器人执行用于将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象的任务。

附图说明

图1是表示本公开的一实施方式中的机器人***动作的示例性作业顺序的简要流程图。

图2(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性搬运机器人的外观的立体图。

图3是简要表示本公开的一个以上实施方式中的示例性操作机器人的外观的立体图。

图4(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性操作机器人的外观的立体图。

图5是表示本公开的一实施方式中的机器人***的硬件结构以及功能结构的一个例子的框图。

图6是表示本公开的一实施方式中的由机器人***执行的作业流程的一个例子、以及机器人***所具备的控制装置的功能结构的一个例子的正面图(一部分功能结构图)。

图7是表示本公开的实施方式中的用于使机器人***动作从而执行第一任务的顺序的一个例子的流程图。

图8是表示本公开的实施方式中的用于使机器人***动作从而执行第二任务的顺序的一个例子的流程图。

图9A是表示本公开的一实施方式中的机器人***动作的示例环境的简要俯视图。

图9B是表示本公开的一实施方式中的机器人***动作的示例环境的一部分的简要俯视图，是表示图9A中的分类区域及其周围状态的图。

图10A是表示本公开的一实施方式中的机器人***动作的其他示例环境的简要俯视图。

图10B是表示本公开的一实施方式中的机器人***动作的其他示例环境的简要俯视图，是表示图10A的分类区域及其周围状态的图。

附图标记说明

11、12…搬运机器人；13、14…操作机器人；15…货架；16…操作对象、容器；40…车辆；100、200、500、600…机器人***；101…保管区域；102…搬运区域；103…分类区域；131、141…末端执行器；132、142…机器人臂；152…防掉落用具；502…处理器；504…存储设备；506…通信设备；508…输入-输出设备；510…显示器；512…运转设备；514…移送电动机；516…传感器；522…拍摄传感器；524…位置传感器；526…接触传感器；552…主数据；554…对象追踪数据；601…访问位置；602…移载位置；610…控制装置；612…数据获取部；614…数据存储部；616…机器人控制部；OL…移载位置；P1…第一路径；P2…第二路径；SL…停止位置。

具体实施方式

根据本公开，提供将多个单元(例如，各种机器人、各种设备、与它们一体或者单独设置的控制装置等)高度统合的机器人***、其控制装置，以及具备它们的物流***，以及用于它们的方法等。即，本公开的实施方式的机器人***例如是能够自主执行一个以上任务的统合***。

其中，“任务”可包含例如机器人等访问操作对象的任务、用于将这些操作对象从某个场所向其他场所移动、收纳、保管、取出、整理等任务、将这些操作对象分类成多组的任务、对操作对象进行拍摄、观察、管理的任务等。

另外，“任务”还可以包含物流***中的操作对象的入库(收货、搬运、堆垛(堆积)、卸垛(卸货)、储存等)、操作对象的补充(开封、填充、补充等)、以及操作对象的出库(取出、拾取、捆包、堆积、堆垛等)中执行的多个任务的组合。进而，为了进行例如操作对象的排列变换、调换、替换等，“任务”可包括在指定位置把持或者提升操作对象、按照指定路径移动操作对象、以及在指定位置释放、放下、载置操作对象。

进而，本公开中的机器人***例如能够通过操作机器人以及搬运机器人等多个单元访问操作对象，由此，机器人***能够以自动化方式应对操作对象的入库流程、补充流程、以及出库流程等作业。进而，本公开中的机器人***能够将操作对象适当分类(分组化)并将它们移动或配置到目的位置或指定场所，访问这些操作对象，进行在该场所或者至其他场所的再配置、再分类等，能够根据操作对象的特性，将它们排列变换或者替换。在该情况下，机器人***能够读取操作对象的一个以上的特定位置或表面上粘贴的一个以上的识别信息(例如，条形码或者快速响应(QR)码(注册商标)等)，通过需要时参照主数据，能够识别和/或确定操作对象，获取与该操作对象相关联的信息。

进而，本公开中的机器人***可以具备用于识别操作对象的位置以及状态(例如朝向等姿势)和/或操作对象的周围环境的拍摄传感器等传感器。拍摄传感器能够获取机器人***的各单元执行任务中的作业位置(例如操作对象的拾取位置、放下位置、路径中途的位置等)的图像、以及各位置处的操作对象的图像。另外，本公开中的机器人***能够按照规定的顺序(例如，从操作对象的顶部到底、从外侧边缘开始、从内测开始)对操作对象的图像进行处理。此时，通过例如基于操作对象的图像中相邻的像素的颜色、亮度、这些值的变化等，识别或者分类操作对象的外形、环境，从而能够适当判断操作对象的状态、状况。

本公开中的机器人***能够获取并执行用于执行对操作对象进行访问并操作的任务、以及用于对操作对象进行搬运、移动、载置、收纳等的任务等的控制序列。所述控制序列中可以包含用于驱动各单元的运转机构的基本控制序列的组合。机器人***例如通过运动规划、深度学习等机械学习等创建或者获取用于执行各种任务的控制序列。

其中，例如，在典型的物流***使用的现有机器人***中，在执行操作对象的入库、补充、出库相关的任务时，无法在多个单元之间充分进行高度的相互作用，在连续执行的不同任务之间，操作者的支援大多是不可缺少的。另外，例如，在现有的机器人***中，虽然自身能够对应订货并访问例如操作对象，但很多情况下需要操作者分类或者排序该订购商品。进而，在现有的机器人***中，例如，在变更进行操作对象的操作的单元、或者变更操作对象的操作顺序的情况下，很多情况下难以通过单元之间自主对话对这些进行变更。特别是，在包含需要操作者介入、支援的任务的作业包含所需单元的情况下，自主或者自动变更控制序列是非常困难的。

另外，在现有的机器人***中，作为基本控制序列，执行诸如在某个位置把持操作对象、在该状态下向另外的某个位置移动并释放的任务。但是，仅通过这样的基本操作，并不能充分提高操作对象的收纳效率、各单元实施的作业效率，特别是从提高操作对象的收纳效率方面考虑，有时需要操作者介入、支援(调整、重新调整、补充完整、***停止等)。

对此，以下示例的各方面的本公开中的机器人***不同于现有方式，为了执行任务，可以调整和控制单独的单元(例如，操纵和搬运机器人等)之间的相互作用，从而实现不同单元之间的协作。由此，能够削减以往需要的操作者的介入、支援，提高操作对象的收纳效率、作业效率以及经济性。

另外，本公开中的机器人***针对各单元，可靠地识别动作区域、动作路径、操作对象的位置、状态、或者它们的组合，能够交叉且圆滑地执行不同的单元所执行的任务。另外，此时，能够基于操作对象的形状信息、识别信息、位置信息等，最优化操作对象的收纳效率，因此，能够进一步提高空间的利用效率。因此，在本公开中的机器人***中，能够基于对不同单元的任务进行排序的一个以上的算法、用于控制单元之间的相互作用的一个以上的协议、以及关于操作对象状态的信息，创建或获取能够对各单元实现高度的协同动作的合适的控制序列并对其执行。

以下，参照附图对本公开的一例所涉及的实施方式进行说明。然而，以下描述的实施方式仅是示例性的，并且不旨在排除以下未明确描述的各种变形和技术的应用。即，本公开的一个例子能够在不脱离其主旨的范围内进行各种变形来实施。另外，在以下的附图的记载中，对相同或类似的部分标注相同或类似的符号，附图是示意性的，未必与实际的尺寸、比例等一致。并且，在附图相互之间有时也包含相互的尺寸关系、比例不同的部分。另外，以下说明的实施方式是本公开的一部分实施方式，当然不是全部实施方式。进而，基于本公开的实施方式，本领域技术人员在不需要创造性行为的情况下获得的任何其他实施例都包含在本公开的保护范围内。

另外，在每个实施方式中，可以在没有这些具体细节的情况下实施本说明书中导入的技术。进而，特定功能或常规等周知的功能将被省略详细说明，以避免不必要地使本公开难以理解。此外，出于清楚的目的，对于众所周知并且通常与机器人***和子***相关联的结构或过程，有时也省略了详细说明。本文中的“实施方式(an embodiment)”、“一个实施方式(one embodiment)”等参照是指所记载的特定特征、结构、材料或特性被包括在本公开的至少一个实施方式中。因此，本说明书中这样的用语表述不一定全部参照相同的实施方式。另一方面，这样的参照不一定是相互排斥的。进而，在一个以上的实施方式中，特定特征、结构、材料或特性可以任何合适的方式组合。应当理解，图示的各种实施方式仅是说明性表示，并且不一定按实际比例表示。

另外，本公开中的许多实施方式或方面包括由可编程计算机(computer)或控制装置(controller)执行的过程、步骤、例程、块等，可以是计算机可执行或者控制装置可执行的命令形式。该相关领域的本领域技术人员应该理解，本公开的技术可以在除了各实施方式中示出的那些之外的计算机或控制装置的***中实施。本说明书记载的技术可以在被编程、构成或构建为执行以下描述的计算机可执行的一个以上命令的专用计算机或数据处理器中实施。

因此，如本说明书中通常使用的用语“计算机”和“控制装置”包括任何数据处理器，并且包括互联网装置和手持设备(包括掌上型计算机、可穿戴计算机、蜂窝或移动电话、多处理器***、基于处理器或可编程的家用电器、网络计算机、微型计算机等)。由计算机和控制装置处理的信息可以提供至任何合适的显示介质，包括例如液晶显示器(LCD)。

用于执行计算机或控制装置可执行作业的命令可存储在任何合适的计算机可读非暂时性存储介质中，包括硬件、固件、或硬件和固件的组合。此外，每个命令可被包括在任何合适的存储器设备中，包括例如闪存驱动器和/或其它合适的介质。

“耦合(coupled)”、“连接(connected)”以及同种用语有时用于记载构成组件之间的结构关系。但是，这些用语并不意味着相互同义。具体地，在特定的实施方式中，“连接(connected)”可以用于表示两个以上的元件彼此直接接触。除非上下文另有明确规定，用语“耦合(coupled)”可用于表示两个以上的元件彼此直接或间接接触(在它们之间存在其他中间元件)、或两个以上的元件彼此协动或相互作用(以使例如与信号的发送/接收或函数调用相关的等存在因果关系)、或表示这二者。

[应用例]

图1是表示本公开的一实施方式中的包含机器人***的物流***实现的示例性作业顺序的简要流程图。该作业顺序包含：入库流程P10，例如，操作对象(本实施方式中，例如，收纳有物品的纸箱)等容器接收到物流中心等；补充流程P20，例如，将载置于托板等的操作对象补充到例如货架等进行保管；以及出库流程P30，从补充并保管于货架的操作对象中拾取订购物品进行出库。

在入库流程P10中，首先在步骤S101，将车辆等运入的操作对象收货，例如，使用拆箱机器人进行卸货。在步骤S102中，例如，使用分拣***，通过传送机等将操作对象搬运至中转用托板的待机位置。然后，在步骤S103，将搬运到的操作对象通过例如堆垛机器人堆积到合适的托板上。

在补充流程P20中，在步骤S104，使用例如托板式AGV(构成为搭载或者提升托板进行移动的自动搬运车)，将搭载有操作对象的托板搬运至用于开封操作对象的位置，通过例如卸垛机器人从托板上卸货。在步骤S105中，例如使用上部切割机，以将操作对象的上面打开的方式，将上面部分切割(上部开口)进行开封，通过传送机等将该操作对象搬运至保管用货架的待机位置。然后，在步骤S106，通过例如抓取机器人，将操作对象收纳于货架的适当位置，例如使用货架式AGV(构成为搭载或者提升货架进行移动的自动搬运车)，搬运到货架的保管位置，以适当的状态保管。

在出库流程P30中，在存在物品订购的情况下，在步骤S107，使用例如货架式AGV将收纳有该订购物品的操作对象的货架搬运至取出位置，例如通过抓取机器人，将目标操作对象从货架中取出。在步骤S108中，例如使用拣件机器人，从操作对象中拾取订购物品，载移至出货用容器等。然后，在步骤S109，例如使用包装机器对出货用容器等进行捆包，在步骤S110中，例如在适当的推车、车辆等中堆积已捆包的出货用容器进行出库(出货)。

这样，本公开的一实施方式中的机器人***作为属于构成为在不同场所之间执行用于移动操作对象的操作的移送/分类单元的操作机器人，可包含拆箱机器人、堆垛机器人、卸垛机器人、抓取机器人、拣件机器人、包装机器等。另外，本公开的一实施方式中的机器人***作为属于输送单元的搬运机器人，可以包含分拣***、托板式AGV、货架式AGV等。

在此，图2(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性搬运机器人11、12的外观的立体图。搬运机器人11、12可包含构成为将货架在规定位置之间进行搬运的货架式AGV等移动式/带车轮的机器人。例如，搬运机器人11、12具有能够在货架的下方和/或货架之间移动的外形尺寸。另外，搬运机器人11、12可包含构成为将货架从地面(搬运路径的平面)提升的提升机构。

搬运机器人11、12能够通过各种机构进行引导操纵(导航)。例如，搬运机器人11、12可基于来自本公开的实施方式中的机器人***的控制装置的指令，例如跟随作为地面标识(例如，涂装、胶带粘贴)实施的规定路径自行行驶。另外，搬运机器人11、12能够通过映射/定位机构(例如航位推测***、基于激光的***、和/或基于无线通信信号的***)计算当前位置，基于该当前位置，沿指定的路径以及路线移动。并且，搬运机器人12在搬运货架自身的基础上，还可以具有向货架收纳操作对象、和/或取出货架中收纳的操作对象的功能。

此外，本公开的实施方式中的机器人***例如能够通过独立设备或者作为其他单元一部分的控制装置将作为搬运对象的货架的目标位置、该货架的保持位置、该货架的识别信息、路径、动作计划、或者它们的组合发送给搬运机器人11、12。搬运机器人11、12可基于通信指令信息，例如执行向作为搬运对象的货架的保持位置移动、将该货架提升、将该货架向指定位置搬运、和/或将该货架配置在指定位置的任务。进而，搬运机器人11、12能够通过将作为搬运对象的货架例如返回至原始保持位置或者不同的保管位置，从而执行或者完成任务。

图3以及图4分别为简要表示本公开的一个以上实施方式中的示例性操作机器人13、14的外观的立体图以及侧面图。操作机器人13、14例如可以包含构成为将操作对象16(参照图4)在规定位置之间进行移送的机器人。例如，操作机器人13、14具有能够将操作对象通过减压吸附或者真空吸附进行把持的把持工具(夹具)等末端执行器131、141、以及安装于它们的前端部的机器人臂132、142的构造部件。由此，操作机器人13、14能够将操作对象沿横向把持。另外，操作机器人13、14可以固定设置于规定位置，也可以设置为可移动。并且，操作机器人14的末端执行器141还可以具有像所谓的拆箱夹具这种用于将操作对象16从下方支撑(保持)的板状引导件等。由此，提高夹持操作对象16时的承重性以及把持性，如图4所示，也易于应对车辆40等输送的大型的操作对象。

操作机器人13、14例如能够基于来自本公开的实施方式中的机器人***的控制装置的指令来进行驱动。另外，操作机器人13、14能够计算操作对象的当前位置，能够基于该当前位置，沿指定的路径以及路线对操作对象进行操作。本公开的实施方式中的机器人***例如能够通过独立设备或者作为其他单元的一部分的控制装置，将操作对象的目标位置以及抓取位置、该操作对象的识别信息、路径、动作计划或者它们的组合发送给操作机器人13、14。操作机器人13、14能够基于通信指令信息，例如执行下述任务：使末端执行器131、141向操作对象的把持位置移动，把持并提升该操作对象，向指定位置移送，和/或配置在指定位置。

[结构例]

图5是表示本公开的一实施方式中的机器人***的硬件结构以及功能结构的一个例子的框图。例如，机器人***500可具备处理器502、存储设备504、通信设备506、输入-输出设备508、运转设备512、移送电动机514、传感器516、或者它们的组合等电子/电气机器。机器人***500可以分别具备这些元件以及设备的一个以上。

此外，这些元件和设备可以经由有线连接和/或无线连接彼此耦合。例如，机器人***500可以包括总线，诸如***总线、***组件互连(PCI)总线或PCI-Express总线、超传输(HyperTransport)或工业标准配置(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。

为了提供设备之间的有线连接，机器人***500还可以包括例如桥、适配器、控制装置或其它信号相关的设备。无线连接可以基于例如蜂窝通信协议(例如3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如保真度无线通信环境(WIFI))、点对点或设备到设备通信协议(例如蓝牙、Near-Field通信(NFC)等)、物联网(IoT)协议(例如NB-IoT、LTE-M等)和/或其他无线通信协议。

处理器502可以包括数据处理器(例如中央处理单元(CPU)、专用计算机和/或车载服务器)，其配置为执行存储在存储设备504(例如计算机存储器)中的命令(例如软件命令)。处理器502可以执行程序命令以对其他设备进行控制/交互，从而使机器人***500执行任务中的各种动作、作业和/或操作。

存储设备504可以包括具有存储在其上的程序命令(例如软件)的非暂时性计算机可读存储介质。存储设备504的一些示例包括易失性存储器(例如高速缓存和/或随机存取存储器(RAM))、非易失性存储器(例如闪存和/或磁盘驱动器)、便携式存储器驱动器、云存储设备等。

在一些实施方式中，存储设备504还存储处理结果、规定数据、规定阈值、规定参数等，并且可适当地访问这些数据。例如，存储设备504可以存储主数据552，主数据552包括与可以由机器人***500操纵的操作象相关联的信息数据。

主数据552包括与机器人***500的操作对象相关的尺寸、形状(例如，可能状态相关的计算机生成的模板、用于识别处于不同状态的操作对象的计算机生成的模型等)、配色、图像，标识信息(例如条形码、快速响应(QR)码(注册商标)、徽标等、设置它们的预期位置等)、预期重量或它们的组合。另外，主数据552可以包括每个操作对象的质量中心(重心)的位置、根据一个以上的动作/动向所期望的传感器测量值(例如力、扭矩、压力、接触基准值、与它们相关的各种测量值)或者它们的组合等的对象及与其操作相关的关联信息。

另外，例如，存储设备504可以存储机器人***500实施的与操作对象的追踪相关的对象追踪数据554。对象追踪数据554可以包含扫描或者操作的操作对象的日志。另外，对象追踪数据554可以包含一个以上位置(例如，指定的拾取位置或者放下位置、和/或传送带上的位置)处的操作对象的图像数据(例如提供照片、点云、实况视频等)、一个以上位置处的操作对象的位置和/或状态(朝向等)。

通信设备506可以包括被配置为通过网络与外部设备或远程设备进行通信的电路。例如，通信设备506可以包括接收机、发射机、协调器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信设备506可以被配置为响应于一个以上的通信协议(例如，互联网协议(IP)，无线通信协议等)来发送、接收和/或处理电信号。机器人***500可以使用通信设备506在机器人***500的单元之间交换信息和/或为了数据收集、分析、报告、故障排除等目的，与机器人***500的外部***/设备交换信息。

输入-输出设备508可以包括被配置为与操作者进行信息通信和/或从操作者接收信息的用户界面设备。例如，输入-输出设备508可以包括与操作者进行信息通信的显示器510和/或其他输出设备，诸如扬声器、触觉电路或触觉反馈设备等。另外，输入-输出设备508还包括控制或接收设备，例如键盘、鼠标、触摸屏、麦克风、用户界面(UI)传感器(例如，用于接收运动命令的照相机)、可穿戴输入设备等。机器人***500可以使用输入-输出设备508执行在机器人***500上执行的任务、动作、作业、操作或它们的组合时，与操作者对话。

机器人***500的适当的单元可以包含末端执行器以及构成为操纵末端执行器的机器人臂等(例如参照图3以及图4)，末端执行器构成为用于动作(例如，旋转和/或平移)而通过关节(接头)连接的构造部件执行例如把持(夹持)、旋转(转动)、焊接等。另外，机器人***500在关节或其周围，可以包含构成为驱动或者操纵(例如，移位和/或定向)所述构造部件的运转设备512(例如电动机、致动器、线、人造肌、电活性聚合物等)、以及构成为从某个位置向其他位置移送单元的移送电动机514。

机器人***500可包含用于获取用于驱动或操纵所述构造部件、和/或用于实施各单元的移送作业等所用的信息的传感器516。传感器516可包含构成为检测或者测定机器人***500的一个以上物理特性(例如，一个以上关节、构造部件的状态、条件、位置等)和/或周围环境的特性的各种设备。作为上述传感器516，除了加速度计、陀螺仪、力传感器、应变仪、力矩传感器等，还可以包含拍摄传感器522、位置传感器524、接触传感器526等。

传感器516作为一个以上的拍摄传感器522，可包含被配置为检测周围环境的例如可见和/或红外照相机、二维和/或三维成像照相机(2D视觉和/或3D视觉)、激光雷达或雷达等测距设备。拍摄传感器522例如应用于自动检查、机器人引导或另一机器人时，能够生成用于控制每个单元和控制装置所用的数字图像和/或点群(点云)等显示数据。

机器人***500为了操作操作对象，能够获取并分析指定区域(例如，包含该操作对象的把持位置、拾取位置、放下位置、其他作业位置等的区域)的图像，识别各位置。例如，拍摄传感器522可包含构成为生成指定区域的图像数据、距离数据的上述照相机、测距设备等。机器人***500能够基于获取的图像和/或测距数据，例如判定操作对象的把持位置、拾取位置、放下位置、其他作业位置等。此外，作业中，为了在输送/接收时获取操作对象的日志，可以包含扫描该操作对象。在该情况下，拍摄传感器522在操作对象的输送期间，可以包含扫描操作对象的识别信息的一个以上扫描仪(例如，条形码扫描仪和/或QR码扫描仪(注册商标))。

另外，传感器516作为位置传感器524，例如可以包含构成为检测上述构造部件(例如，机器人臂和/或末端执行器)、和/或机器人***500的各单元中的关节位置的例如位置编码器、电位器等。机器人***500在执行任务中的作业期间，为了追踪构造部件和/或关节的位置和/或状态(朝向等)，可以使用位置传感器524。

进而，传感器516作为接触传感器526，可以包含构成为检测多个物理构造或者表面之间的直接接触相关的特性的例如压力传感器、力传感器、应变仪、压阻式/压电性传感器、电容性传感器、弹性电阻式传感器、其他触觉传感器等。接触传感器526能够测定操作对象上的末端执行器的例如把持(夹持)操作对应的特性。由此，接触传感器526构成为能够检测操作对象与把持工具(夹具)的接触或者安装程度对应的物理量，输出定量化的测量值(例如力、力矩、压力、接触基准值、它们相关的各种测定值等)。此外，接触基准值包含末端执行器对操作对象施加的力相关的一个以上力或者力矩的读取值。

此外，在以上说明以及以下说明中，机器人***500以仓库、物流***中的例子进行说明，但不限于此，为了实施制造、组装、捆包、保健、和/或其他类型的自动化作业，也可以构成为以其他环境/其他目的执行各种任务。另外，机器人***500可以包含未图示的操作器、服务机器人、模块式机器人等其他单元。另外，机器人***500例如可以包含在仓库或者分配/输送枢纽内运转且将操作对象从笼车或者托板向传送机或者其他托板移送的各种卸货/堆货机器人、分拣***、用于将操作对象开封的开封机器人、上部切割机、将操作对象从一个集装箱移动至其他集装箱的集装箱切换机器人、用于对操作对象进行捆包的捆包机器人、包装机器或者它们的组合。

[动作例]

图6是表示本公开的一实施方式中的机器人***所执行的作业流程的一个例子以及机器人***所具备的控制装置的功能结构的一个例子的正视图(一部分功能结构图)。本实施方式的机器人***600例如设置在作为物流***的入库、补充、保管以及出库据点的仓库等，作为调整控制机器人***600中的各单元的动作的装置，可以包含控制装置610。另外，机器人***600可优选是图1所示的补充流程P20中的将操作对象收纳于货架以及出库流程P30中从货架取出操作对象的***。

控制装置610如上所述，构成为独立设备或者其他单元的一部分，能够调整以及控制搬运机器人11、12(图6中作为搬运机器人11示例。下同。)、操作机器人13、14(图6中作为操作机器人13示例。下同。)这些单元执行的任务中的动作。更具体来讲，控制装置610与搬运机器人11、操作机器人13以及包含拍摄传感器522的传感器516连接，另外，根据需要，未图示的仓库管理***(WMS：Warehouse Management System)、其他上层***以及/或者外部***彼此相连接。

另外，控制装置610包含数据获取部612、数据存储部614以及机器人控制部616，根据与图5的对比可以理解，控制装置610主要由处理器502、存储设备504以及通信设备506构成。特别是，处理器502可以作为数据获取部612以及机器人控制部616发挥作用，存储设备504可以作为数据存储部614发挥作用。机器人***600可以构成为执行用于向货架15收纳操作对象16的第一任务、和/或用于从货架15取出操作对象16的第二任务。

[第一任务：向货架15收纳操作对象16]

在第一任务中，以下所示的任务A1至A5可以按照适当的顺序、适当的时序组合执行。

A1：将保管区域101中保管的货架15通过搬运机器人11，从该保管位置向分类区域103的访问位置601(停止位置SL)搬运。

A2：将暂时放置于分类区域103的例如传送机上的移载位置602(移载位置OL)上的操作对象16通过操作机器人13例如沿横向吸引把持(也可以在操作机器人14处从下方支撑。下同。)。

A3：将把持的操作对象16从移载位置602移动至访问位置601。

A4：将该操作对象16收纳(补充)到静止的搬运机器人11所保持的货架15上的空置的指定位置。

A5：将补充有操作对象16的货架15通过搬运机器人11，从访问位置601返回至保管区域101中的保管位置。

这里，图7为表示本公开的实施方式所涉及的用于使机器人***运转从而执行第一任务的流程的一个例子的流程图。首先，在框701，数据获取部612获取例如执行任务A1之前的包含关于操作对象16的信息以及关于各货架15的信息的第一数据，数据存储部614将该第一数据与操作对象16以及货架15相关联进行存储。

例如，数据获取部612将暂时放置在分类区域103的移载位置602上的操作对象16通过3D视觉等的拍摄传感器522进行拍摄，基于将其图像数据处理的结果以及需要时的主数据552，可以获取识别信息、位置信息、形状信息、重量、质量中心等的关于操作对象16的信息。或者，可以根据主数据552中的操作对象16以及货架15的追踪信息，推定或者确定关于操作对象16以及货架15的信息。此外，作为识别/追踪操作对象16的方法，可以应用例如本申请人递交的日本特愿2019-118678、日本特愿2019-080213、美国专利申请16/258120等记载的方法。或者，数据获取部612能够从WMS等上层***获取这些关于操作对象16的信息，在该情况下，在将操作对象16配置在移载位置602之前，可以预先获取关于操作对象16的信息。

然后，在框702，机器人控制部616基于关于操作对象16的信息、以及关于保管区域101中保管的各货架15的信息，确定用于收纳操作对象16的货架15。在该情况下，基于操作对象16的形状信息、货架15内的空置信息(未收纳操作对象16的空间信息)、现在开始收纳的操作对象16的SKU(Stock Keeping Unit)、货架15已收纳的操作对象16的SKU等，例如为了尽可能将操作对象16以SKU为单位进行集约，并且提高仓库整体的收纳效率，选择合适的货架15的候补。进而，可以考虑向分类区域103的搬运路径等，确定一个以上最佳的货架15。

然后，在框703，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含用于指定搬运机器人11将确定的一个以上货架15从其保管区域101向分类区域103的访问位置601搬运、以及各搬运机器人11搬运货架15的搬运路径。机器人控制部616基于该控制序列，指令指定的搬运机器人11执行将货架15向访问位置601搬运的任务A1。

与任务A1同时，或者，在任务A1前后，在框704，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列用于基于操作对象16的信息，将暂时放置在移载位置602的该操作对象16通过操作机器人13例如沿横向吸引把持，从移载位置602向访问位置601移动。机器人控制部616基于该控制序列，指令操作机器人13执行用于操作机器人13将操作对象16把持以及向访问位置601移动的任务A2、A3。

不特别限定执行这些任务A2、A3的时序，例如，机器人控制部616可以在货架15到达访问位置601前，指令操作机器人13执行上述控制序列中的至少一部分操作。在该情况下，可以在货架15到达访问位置601前，操作机器人13完成操作对象16的把持以及向访问位置601的移动，在货架15到达后，直接执行将操作对象16收纳于货架15的任务A4。

然后，在框705，控制装置610根据需要，通过3D视觉等拍摄传感器522，拍摄访问位置601处的操作对象16以及货架15，通过处理该图像数据，确认操作对象16以及货架15的状态以及状况。在框705，机器人控制部616还可以基于关于操作对象16的信息以及关于货架15的信息(特别是，货架15的空置状况)，例如通过机械学习创建或获取控制序列，该控制序列包含指定用于收纳操作对象16的货架15的搁板上的位置、操作对象16向该位置的移动路径。机器人控制部616基于该控制序列，指令操作机器人13执行用于将操作对象16放在静止的搬运机器人11所保持的货架15上的空置的指定位置的任务A4。

此时，机器人控制部616可以例如将停止在访问位置601的搬运机器人11所保持的货架15的任意位置作为操作机器人13访问货架15时的基准坐标。该货架15的静止位置可以以保持货架15的搬运机器人11停止的访问位置601为基准进行计算，但是，搬运机器人11上的货架15位置有时会相对于基准位置发生偏移。因此，控制装置610可以根据访问位置601的货架15的图像数据，计算搬运机器人11以及货架15的位置，数据获取部612获取该搬运机器人11与货架15的相对位置信息。并且，优选地，机器人控制部616基于该两者的相对位置信息，校正访问位置601中的货架15的位置信息，基于该校正的货架15的位置信息，例如通过机械学习等创建或获取用于任务A4的控制序列。

另外，货架15可以构成为将搁板设置为多段，操作对象16沿横向收纳在搁板上或者从搁板上取出，另外，在货架15的各搁板的端部设置有例如呈凸状的防掉落用具152。因此，机器人控制部616能够例如通过机械学***)把持的状态下，以移动的操作对象16与防掉落用具152不干扰的方式越过防掉落用具152进行移动的路径。

这样，在完成将操作对象16收纳(补充)于货架15之后，在框706，机器人控制部616例如通过机械学习创建或获取控制序列，该控制序列包含将补充了操作对象16的货架15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置的搬运路径。机器人控制部616基于该控制序列，指令搬运机器人11执行用于将货架15搬运以及返回至保管区域101的任务A5。

在结束以上向货架15收纳操作对象16的第一任务之后，在框707，数据获取部612获取包含收纳有操作对象16的货架15的相关信息以及该货架15中的操作对象16的收纳位置的信息的第二数据，数据存储部614将该第二数据与操作对象16以及货架15相关联进行存储。

机器人控制部616在下次此后实施的将操作对象16收纳(补充)于货架15作业时，基于该第二数据，创建或获取控制序列，该控制序列使得货架15中的操作对象16的配置集约，或者说，以尽可能不存在空置空间的方式紧密保管操作对象16。另外，在该情况下，还可以基于操作对象16的特性来创建或获取控制序列，该控制序列例如使得对具有相同SKU的操作对象16进行集合，或者对形状尺寸相同或者近似的操作对象16进行集约并保管。这样获取的货架15中的操作对象16的收纳状况相关的第二数据根据每个操作对象16并且每次操作对象16的收纳作业进行更新，能够适当用于后面所述的第二任务(从货架15取出操作对象16)中。

进而，数据存储部614基于这样获取的第二数据，将货架15中的多个操作对象16的位置(配置)信息以操作对象16或者货架15的搁板(layer)为单位进行存储，另外，可以以相同搁板单位作为二维信息或者遍及多个搁板作为三维信息进行存储。

另外，操作对象16可以在其侧面具有识别码或者识别标签作为识别信息。这样，即使是操作对象16收纳于货架15的状态，通过配置状态，也能够从货架15的外侧可识别地露出操作对象16的识别信息。并且，通过拍摄传感器522等确认该操作对象16的识别信息，即使是保持于操作对象16收纳于货架15的状态，也能够简单识别确定操作对象16。在该情况下，如上所述，如果将货架15中的多个操作对象16的位置信息作为二维信息或者三维信息进行存储，则通过确定一个操作对象16，就能够以搁板或者货架15为单位简单确定该货架15中收纳的操作对象16。此外，拍摄传感器522可以构成为：在保持货架15的搬运机器人11静止的状态或者保持货架15的搬运机器人11移动的状态，即在货架15静止或者移动状态中的任一状态下，均拍摄货架15。

另外，机器人控制部616可构成为：在向货架15收纳操作对象16的收纳作业(任务A4)实际结束之前，判断为结束向货架15收纳操作对象16。例如，通过操作机器人13的末端执行器的运转状态，或者拍摄传感器522追踪操作对象16的移动，在操作对象16的全部或者大部分移动至货架15的搁板上时，或者，在操作对象16的一部分与搁板接触时等，能够判断为完成了操作对象16的收纳。

机器人***600可以实施第一任务(向货架15收纳操作对象16)以及以适当顺序、时序组合执行以下所示的单位任务B1至B5的第二任务(从货架15取出操作对象16)。

[第二任务：从货架15取出操作对象16]

在第二任务中，以下所示的任务B1至B5可以按照适当的顺序、适当的时序组合执行。

B1：将保管区域101所保管的、例如收纳有出货订购的操作对象16的货架15通过搬运机器人11从其保管位置搬运至分类区域103中的访问位置601(停止位置SL)。

B2：将静止于访问位置601的搬运机器人11所保持的货架15上的操作对象16通过操作机器人13例如沿横向吸引并进行把持。

B3：将把持的操作对象16从访问位置601移动至移载位置602。

B4：将该操作对象16暂时放置在移载位置602。

B5：将已取出操作对象16的货架15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置。

这里，图8为表示本公开的实施方式中的用于使机器人***运转从而执行第二任务的流程的一个例子的流程图。首先，在框801，数据获取部612获取包含例如执行任务B1前的关于操作对象16的信息以及关于各货架15的信息的第一数据，数据存储部614将该第一数据与操作对象16以及货架15相关联进行存储。

例如，在接受操作对象16的出货订购的情况下，数据获取部612可以基于数据存储部614中存储的第二数据、需要时的主数据552，获取识别信息、位置信息、形状信息、重量、质量中心等关于操作对象16的信息、以及收纳有该操作对象16的货架15的识别信息以及保管位置信息。然后，在框802，机器人控制部616基于这些关于操作对象16的信息、以及关于保管区域101中保管的各货架15的信息，选定用于取出操作对象16的货架15，考虑向分类区域103的搬运路径等，确定一个以上最合适的货架15。

然后，在框803，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含指定搬运机器人11将确定的一个以上货架15从该保管区域101搬运至分类区域103的访问位置601、以及各搬运机器人11的货架15的搬运路径。机器人控制部616基于该控制序列，指令指定的搬运机器人11执行用于将货架15搬运至访问位置601的任务B1。

在操作机器人13的末端执行器没有位于访问位置601的情况下，与任务B1同时，或者在任务B1前后，机器人控制部616指令操作机器人13执行将操作机器人13的末端执行器向访问位置601移动的任务。在该情况下，通过在货架15到达访问位置601之前，结束操作机器人13的移动，从而在货架15到达后，能够直接执行将操作对象16从货架15取出的任务B2。

当搬运机器人11到达访问位置601时，在框804，控制装置610通过3D视觉等拍摄传感器522，拍摄访问位置601的操作对象16以及货架15，通过对该图像数据进行处理，确认操作对象16以及货架15的状态以及状况。在框804，进而，机器人控制部616基于操作对象16相关的信息以及关于货架15的信息(特别是，货架15的收纳状况)，例如通过机械学习等创建或获取控制序列，该控制序列包含指定操作对象16在货架15中的位置以及向该位置移动的末端执行器的移动路径，用于拾取该操作对象16并从访问位置601向移载位置602移动。机器人控制部616基于该控制序列，指令操作机器人13执行用于将访问位置601静止的搬运机器人11所保持的货架15上的操作对象16把持以及向移载位置602移动的任务B2、B3。

此时，与第一任务同样，控制装置610可以根据访问位置601中的货架15的图像数据，计算搬运机器人11与货架15的位置，数据获取部612获取该搬运机器人11与货架15的相对位置信息。进而，优选地，机器人控制部616基于该两者的相对位置信息，校正访问位置601中的货架15的位置信息，基于该经校正的货架15的位置信息，例如通过机械学习创建或获取用于任务B2的控制序列。另外，机器人控制部616以移动的操作对象16与防掉落用具152不干扰的方式，例如通过机械学习等创建或获取包含越过防掉落用具152进行移动的路径的控制序列。

然后，在框805，控制装置610根据需要，通过3D视觉等的拍摄传感器522，拍摄移载位置602处保持的操作对象16、以及移载位置602(例如传送机上，最终位置等)，通过对该图像数据进行处理，确认操作对象16以及移载位置602上的状态以及状况。在框805，进一步，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含移载操作对象16的指定位置以及操作对象16向该指定位置的移动路径。机器人控制部616基于该控制序列，指令操作机器人13执行用于向移载位置602中的指定位置放下操作对象16的任务B4。此外，在将操作对象16直接移载至移载位置602处准备的出货用容器等的情况下，通过拍摄传感器522，确认货用容器内的空置状况，可以提高收纳效率。

这样，在完成从货架15取出操作对象16之后，在框806，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含将取出了操作对象16的货架15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置的搬运路径。机器人控制部616基于该控制序列，指令搬运机器人11执行用于将货架15搬运至保管区域101的任务B5。

在以上的从货架15取出操作对象16的第二任务结束之后，在框807，数据获取部612获取包含取出了操作对象16的货架15相关的信息、以及该货架15中收纳的其他操作对象16的收纳位置的信息的第二数据，数据存储部614将该第二数据与操作对象16以及货架15相关联进行存储。由此，货架15中的操作对象16的收纳状况相关的第二数据按照每个操作对象16以及操作对象16的每次取出作业进行更新。另外，数据存储部614基于第二数据，将货架15中的多个操作对象16的位置信息以操作对象16为单位或者以货架15的搁板为单位进行存储，另外，作为二维信息或者三维信息进行存储与第一任务的情况相同。

另外，与第一任务的情况同样，如果操作对象16在侧面具有识别信息，则即使是操作对象16收纳于货架15的状态，根据配置状态，也能够通过拍摄传感器522确认操作对象16的识别信息，即使是保持于操作对象16收纳于货架15的状态，通过实测，也能够简单识别操作对象16。进而，拍摄传感器522可以构成为：在保持有货架15的搬运机器人11处于静止的状态、或者保持有货架15的搬运机器人11处于移动的状态下，拍摄货架15。

另外，机器人控制部616也可以构成为在从货架15取出操作对象16的取出作业(任务B2)实际结束前，判断为完成从货架15取出操作对象16。例如，通过操作机器人13的末端执行器的运转状态，或者通过由拍摄传感器522追踪操作对象16的移动，在操作对象16的全部或者大部分移动至货架15的外部时，或者在操作对象16的全部或者一部分从搁板离开时，能够判断为完成了操作对象16的取出。

根据上述构成的机器人***500、600的控制装置610以及控制方法，在操将作对象16收纳于货架15之前，或者，将操作对象16从货架15取出之前，把握操作对象16以及货架15各自的相关信息，执行基于控制序列的任务(第一以及第二任务)，该控制序列是基于包含这些信息的第一数据例如通过机械学习创建或获取的。由此，能够高效顺畅地实施将操作对象16收纳于货架15的操作、或者将操作对象16从货架15取出的操作。另外，此时，能够实现机器人***500、600中的单元之间(例如，搬运机器人11与操作机器人13)的高度协作，由此，能够实现机器人***500、600的高性能化。

[其他应用例1]

图9A是表示本公开的一实施方式中的机器人***动作的示例环境的简要俯视图。机器人***100也与机器人***600同样，例如可设置在作为物流***的入库、补充、保管、以及出库据点的仓库等。另外，机器人***100可构成为实施或者执行由一个以上任务、和/或适当任务多个组合而成的任务。这些任务可优选由包含一个以上单元(例如，各种机器人、各种设备、与它们一体设置或者单独设置的控制装置等)的机器人***100实施或者执行。另外，机器人***100能够应用于图1所示的出库流程P30中的从操作对象向出货用容器移载订购物品的情况。

如图9A所示，机器人***100包含作为输送单元的一个以上搬运机器人11、12(例如，构成为从货架式AGV以及货架取出容器，或者向货架堆积、配置在规定位置的AGV)、作为构成为在不同场所之间移动操作对象的移送/分类单元的一个以上操作机器人13(例如拣件机器人)、以及它们的控制装置(图9A中未图示)。

机器人***100所执行的任务为了实现规定的目的，可以构成为各单元将各个任务按照适当顺序组合，另外，也可以构成为各单元适当选择各种不同的任务来执行。在机器人***100中，各单元在保管区域101中可以执行一个以上的任务，用于访问在收纳于货架15、容器16的状态下分散配置的各种不同物品和/或基于规定的入库顺序、捆包顺序、或者物品的特性所分类的各种不同物品。

搬运机器人11例如能够执行将收纳有订购物品的容器16被堆积的货架15在保管区域101与搬运区域102之间移送的任务。另一方面，搬运机器人12能够将收纳有订购物品的容器16从搬运的货架15中取出(拾取)。另外，搬运机器人12能够执行将该容器16在搬运区域102与分类区域103(用于将物品分组的区域：图9A中容器16的停止位置SL)之间移送的任务。另一方面，操作机器人13执行将订购物品从分类区域103的容器16中拾取，向移载位置OL(例如，捆包订购物品的集装箱、箱、承载它们的传送机、暂时放置场所等)和/或其他出货用容器等移动的任务。

在执行任务时，例如，在出现出货订购时、对保管的物品进行排列变换时、进行物品的补充等时，机器人***100能够识别各单元和/或分组化的单元组运转的不同区域。例如，机器人***100能够识别搬运机器人11运转的保管区域101、搬运机器人12运转的搬运区域102、搬运机器人12和/或操作机器人13运转的分类区域103。此外，搬运机器人11、12以及操作机器人13运转的区域不限于此，例如，可以构成为：根据适当的控制序列，搬运机器人11也进一步在搬运区域102运转，搬运机器人12也进一步在保管区域101运转。

另外，各单元运转的区域可以彼此相邻，也可以部分重合。例如，保管区域101可以与搬运区域102邻接，另外，搬运区域102可以与分类区域103部分重合。在该情况下，搬运机器人11、12例如如图9A所示，通过访问搬运区域102内的货架15，从而能够在各自的区域内运转。其结果，机器人***100能够减少不同类型的单元彼此间潜在的冲突可能性和/或彼此成为障碍物的可能性。此外，操作机器人13可以固定配置在规定位置，在该情况下，搬运机器人12不会与其他单元冲突，不会在移动中引起堵塞，易于进入分类区域103内。

另外，机器人***100为了引导操纵搬运机器人11、12等输送单元，可以利用合适的路径。例如，机器人***100可以使用用于操纵一个以上搬运机器人11的第一路径P1和/或用于操纵一个以上搬运机器人12的第二路径P2。此外，第一路径P1与第二路径P2例如如图9A所示，可以以彼此不重合的方式，隔开距离或者空间地分离设定，但不限于此。

另外，在第一路径P1以及第二路径P2中可以实施搬运机器人11、12等输送单元自行移动时可参照的地面标识(例如，涂装、胶带粘贴等)。由此，机器人***100识别地面标识的形状/位置，指示输送单元进行路径计算、和/或位置(例如，输送对象的拾取位置和/或放下位置)的排序等时，可以使用该识别后的信息。进而，第一路径P1以及第二路径P2可以包含一系列的链接(例如货架15之间的路径)、以及节点(例如，路径的交叉位置，或者变更移动方向时的指定位置)。

另外，机器人***100可以计算搬运机器人11、12等输送单元在输送对象的拾取位置与放下位置之间移动时高效且不干扰其他单元的路径。这些输送单元能够使用例如位置/导航***，计算该路径内的当前位置，基于该当前位置，沿指定的路径以及路线移动。

此外，机器人***100如上所述，可以将任务设定为由多个单元执行的一连串任务，能够将这些多个单元基于各自任务的特性，以最优化执行统合任务的方式，调整以及控制各单元，例如，可以进行如下调整，即规定多个单元所需的范围的动作、或者规定遍及多个指定区域的动作的范围。

例如，与出货订购相对应，为了履行该订货，可以设定并执行以下任务：确定保管区域101中的订购物品的保管位置，例如，收纳有该物品的货架15，或者收纳有该订购物品的容器16被堆积的货架15；将该货架15移送至搬运区域102；从该货架15中将该容器16移送到分类区域103；将该订购物品从该容器16中移载至目标位置，例如出货用容器和/或传送机；将该容器16返回至货架15；将该货架15返回至保管区域101；或者，可以将这些任务适当地进行组合并执行。

另外，与物品的入库、补充相对应，为了确定可利用的保管位置，例如按照需要预测可以设定执行以下任务：作为物品的保管位置，确定可收纳该物品的容器16、以及可收纳该容器16的货架15；使容器16入库或者收纳补充物品；将入库或者补充了物品的容器16堆积于货架15；将该货架15移送至规定对应保管位置；或者，将这些任务适当地进行组合并执行。

另外，机器人***100为了操纵各单元，例如，可以生成用于使各单元内的运转装置动作的指令(命令)、设定条件、动作计划、位置、识别信息、路径、当前的单元位置、状态以及行进信息、或者它们的组合。生成的信息能够在各单元之间通信，另外，在控制装置以及各单元之间，能够共享该生成的各种信息并执行任务。

图9B是表示本公开的一实施方式中的机器人***动作的示例环境的一部分的简要俯视图，为表示图9A中的分类区域103及其周围状态的图。分类区域103对应操作机器人13将物品从容器16中拾取并移载至传送机上等的移载位置OL、和/或进行容器16内的物品的再配置等的区域。分类区域103可以包含例如搬运机器人12移动至操作机器人13的附近位置并停止的一个以上的停止位置SL。各停止位置SL对应操作机器人13执行操作物品的任务期间，一个以上搬运机器人12分别静止的基准位置。另外，各停止位置SL可以包含设置在操作机器人13的例如机器人臂的前端部的末端执行器(例如，把持工具(阻尼器、拆箱夹具等)、机械手等)能够访问搬运机器人12上的容器16的位置。

另外，机器人***100可以包含构成为拍摄一个以上位置的拍摄传感器(图9A以及图9B中未图示)。作为拍摄传感器，例如可以列举构成为拍摄分类区域103内(例如，停止位置SL处的搬运机器人12上、和/或移载位置OL)的容器16的二维/三维照相机(2D/3D视觉)、激光雷达、雷达等。机器人***100可以为了各种目的对由拍摄传感器获取的图像数据进行处理并使用。

例如，机器人***100为了识别物品，为了确定物品或者多个物品的组合，为了把持物品，并为了识别物品的位置、状态(朝向等)，可以对图像数据进行处理并使用。并且，机器人***100可以使用图像数据，计算容器16中收纳的物品的数量、容器16内物品的填充状态或者空置状态这些关于容器16的状态。此外，容器16的内部状态可以通过物品的数量和/或容器16内收纳的物品的高度等进行判断。

这里，作为更具体的一个例子，例如，在包含四种不同的物品的订货的情况下，机器人***100的控制装置向分别拾取收纳有各订购物品的四个容器16的四台不同的搬运机器人12发送基于与各自动作对应的控制序列的指令。拾取并搬运与四种订购商品对应的容器16的四台搬运机器人12例如如图9B所示，能够在分类区域103内的停止位置SL中一个位置静止。这样，容器16到达分类区域103，如图9A以及图9B所示，搬运机器人12如果静止在停止位置SL，则各容器16作为物品支出用或者物品接收用集装箱发挥作用。

然后，机器人***100能够操纵操作机器人13，从各容器16中例如拾取订购物品，将他们移载到与订货对应的出货用容器、移送用传送机上。进而，机器人***100可以包含构成为将出货用容器配置在例如堆货隔间等出库场所的一个以上单元(例如，传送机、集装箱密封机器人、堆货机器人、发货车辆等：未图示)。

此外，在以上的关于机器人***100的说明中，主要说明执行关于物品的出库(出货)的任务的状态，但是，在执行物品的入库、补充相关的任务的情况下，基本上是例如通过机械学习等创建或获取与以上说明相反的顺序使机器人***100动作的控制序列，基于该控制序列执行任务从而进行应对。

[其他应用例2]

图10A以及图10B是表示本公开的一实施方式中的机器人***动作的其他示例环境的简要俯视图，图10B是表示图10A中的分类区域103及其周围状态的图。本实施方式中的机器人***200除了不是将物品收纳于容器16并将该容器16收纳于货架，而是将物品直接收纳于货架15的搁板上的***以外，具有与图9A以及图9B所示的机器人***100同样的结构。如上所述，机器人***200能够以本公开的检查对象为物品自身作为一个例子，在图1所示的补充流程P20以及出库流程P30中，在操作对象是物品自身的情况下，能够向货架直接收纳物品，并从货架直接取出物品。

即，机器人***200可以不具备作为机器人***100中的输送单元的搬运机器人12，其结果，访问保管区域101并拾取货架15的搬运机器人11可以按照第一路径P1移动，将货架15搬运至分类区域103，在操作机器人13附近的停止位置SL静止。这样，货架15到达分类区域103，如图10A以及图10B所示，搬运机器人11在停止位置SL静止时，各货架15作为物品支出用或者物品接收用集装箱而发挥作用。

然后，机器人***200能够操纵操作机器人13，从各货架15例如拾取订购物品，将他们移载至与订货对应的出货用容器等。进而，机器人***200可以具有构成为将出货用容器等配置在例如堆货隔间等出库场所的一个以上单元(例如，传送机、集装箱封装机器人、堆货机器人，发货车辆等：未图示)。

根据这样构成并控制的机器人***200，能够省略机器人***100中的搬运机器人12、搬运区域102以及第二路径P2，因此，能够有益于节省空间和提高作业效率。此外，在上述机器人***200相关的说明中，主要说明了执行物品的出库(出货)相关的任务的状态，但是，在执行物品的入库、补充相关的任务时，例如通过机械学习创建或获取以与上述说明相反的顺序使机器人***200动作的控制序列，基于该控制序列执行任务，从而进行应对。

以上，对作为本公开的一例的实施方式进行了详细说明，但上述的说明在所有方面只不过是表示本公开的一例，是为了容易理解本发明的，并不用于限定解释本发明。另外，当然在不脱离本发明的范围的情况下能够进行各种改良、变形，实施方式所具备的各要素及其配置、材料、条件、形状以及尺寸等并不限定于例示的内容、特定的内容，能够适当变更。

换言之，本公开中的实施方式并不排除其它构成，并且不将本公开限制于上述实施方式。在本公开的范围内能够实现与本公开中的上述实施方式等同的各种变形方式。例如，通过本公开范围内的替代实施方式，可以以不同的顺序执行流程、步骤、例程或框的实施顺序，另外，在本公开的范围内，可以删除、移动、添加、细分、组合和/或变形一些流程、步骤、例程或框。此外，这些流程、步骤、例程或框中的每一个有时以各种不同的方式来执行。进而，即使在上述实施方式中连续实施这些流程、步骤、例程或框，这些过程、步骤、例程或框有时也可以并行地实施，或者有时在不同的时间内不连续地实施。进而，本说明书所示的特定数量有时可为不同的值或不同的范围。

此外，对于上述实施方式，作为本公开的具体实施例，不限于可设想的"最佳模式"，有时可以以许多替代方式实施。进而，上述实施方式的细节有时在其特定实施方面中可以显著变化，但它们仍可包含在本公开的技术中。在此基础上，在描述本公开的特定特征或方面时使用的特定用语不限于本公开中与该用语相关联的特定的特性、特征或方面或具体实施方式，因此，本发明除了由权利要求书限定的内容以外，不限于特定含义。此外，虽然本发明由任意数量的权利要求的方式限定，但在本公开的范围内，当然能够设想各种方式。

此外，本申请基于2019年1月14日申请的美国专利申请号62/792348，在此引用其记载内容。

Claims

1.一种控制装置，为机器人***的控制装置，所述机器人***包含：用于将操作对象收纳于货架和/或从货架取出操作对象而对操作对象进行操作的操作机器人；以及搬运所述货架的搬运机器人，

所述控制装置具备：

数据获取部，在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述货架的信息的第一数据；

数据存储部，存储所述第一数据；以及

机器人控制部，在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于选定所述货架并搬运至访问位置，并且将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象，以及基于所述控制序列，指令所述搬运机器人执行用于将所述货架搬运至所述访问位置的任务，并且指令所述操作机器人执行用于将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象的任务。

2.根据权利要求1所述的控制装置，其中，

所述数据获取部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之后，获取包含关于所述操作对象的信息以及关于所述货架的信息的第二数据，

所述数据存储部存储所述第二数据。

3.根据权利要求2所述的控制装置，其中，

所述机器人控制部基于所述第二数据，以所述货架中的所述操作对象的配置集约的方式，创建或者获取所述控制序列。

4.根据权利要求1至3中任一项所述的控制装置，其中，

所述机器人控制部在所述货架到达所述访问位置之前，指令所述操作机器人执行所述控制序列中的至少一部分操作。

5.根据权利要求1至4中任一项所述的控制装置，其中，

所述数据获取部获取所述搬运机器人与所述货架的相对位置信息，

所述机器人控制部基于所述相对位置信息，校正所述访问位置中的所述货架的位置信息，基于该经校正的位置信息，创建或者获取所述控制序列。

6.根据权利要求1至5中任一项所述的控制装置，其中，

所述货架构成为沿横向收纳和/或取出所述操作对象，并且在所述货架的端部设置有所述操作对象的防掉落用具，

所述操作机器人沿横向把持所述操作对象，

所述机器人控制部以所述操作对象越过所述防掉落用具进行移动的方式创建或者获取所述控制序列。

7.根据权利要求1至6中任一项所述的控制装置，其中，

所述数据存储部将所述货架中的多个所述操作对象的位置信息以操作对象为单位或者以所述货架的搁板为单位进行存储，并作为二维信息或者三维信息进行存储。

8.根据权利要求1至7中任一项所述的控制装置，其中，

所述机器人***还具备对收纳有所述操作对象的所述货架进行拍摄的传感器，

所述机器人控制部以所述传感器能够检测所述操作对象的识别信息的方式，创建或者获取用于将所述操作对象收纳于所述货架的所述控制序列。

9.根据权利要求1至8中任一项所述的控制装置，其中，

所述传感器在保持了所述货架的所述搬运机器人处于静止的状态下或者保持了所述货架的所述搬运机器人处于移动的状态下拍摄所述货架。

10.根据权利要求1至9中任一项所述的控制装置，其中，

所述机器人控制部在结束将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，判断为完成了将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象。

11.根据权利要求1至10中任一项所述的控制装置，其中，

所述数据获取部获取关于所述操作对象的信息和/或关于所述货架的信息的实测值或者推定值。

12.一种物流***，具备：

权利要求1至11中任一项所述的控制装置；以及

包含所述操作机器人以及所述搬运机器人的机器人***。

13.根据权利要求12所述的物流***，其中，

所述控制装置识别所述机器人***以及与该机器人***相关联的区域，计算基于所述控制序列的任务，

所述任务包含所述机器人***进行的与所述货架的搬运和所述操作对象的操作相关联的任务、以及在邻接和/或重合的区域内由所述机器人***交叉执行的多个任务。

14.一种程序，所述程序用于使计算机作为权利要求1至11中任一项所述的控制装置发挥功能。

15.一种非暂时性计算机可读取存储介质，所述非暂时性计算机可读取存储介质存储有权利要求14所述的程序。

16.一种控制方法，为机器人***的控制方法，所述机器人***包含：用于将操作对象收纳于货架和/或从货架取出操作对象而对操作对象进行操作的操作机器人；以及搬运所述货架的搬运机器人，

所述控制方法通过使用具有数据获取部、数据存储部以及机器人控制部的控制装置来执行，

所述数据获取部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述货架的信息的第一数据，

所述数据存储部存储所述第一数据，

所述机器人控制部在将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于选定所述货架并搬运至访问位置，并且将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象，以及基于所述控制序列，指令所述搬运机器人执行用于将所述货架搬运至所述访问位置的任务，并且指令所述操作机器人执行用于将所述操作对象收纳于所述货架和/或从所述货架取出所述操作对象的任务。