CN111843996A - 多机械臂装置及其控制方法 - Google Patents

Abstract

本发明提供了一种用于多机械臂分拣的控制方法，多个机械臂用于抓取和分拣沿传送带移动的物体，方法包括：提供包括待分配任务的任务列表和包括处于空闲状态的机械臂的机械臂列表，每个待分配任务包括传送带上的物体的抓取位姿；从任务列表中选择待分配任务；确定待分配任务是否位于机械臂列表中第一个机械臂的抓取范围内；如待分配任务位于机械臂的抓取范围内，确定机械臂与其他机械臂是否有碰撞；如无碰撞，将待分配任务分配给所述机械臂并从机械臂列表删除所述机械臂，如有碰撞，选择所述机械臂列表中的下一个机械臂，确定其与其他机械臂是否有碰撞；以及根据物体的抓取位姿产生用于所述机械臂执行的轨迹文件。

Description

多机械臂装置及其控制方法

技术领域

本发明涉及机器人技术领域，具体涉及一种用于多机械臂装置的 控制方法、多机械臂装置和分拣***。

背景技术

电商行业的蓬勃发展给物流带来了压力和挑战。在物流中心，大 量快递包裹沿着传送带高速运动，等待被分拣，位于传送带两侧的机 械臂自动高效地完成分拣任务。

现有的分拣***通常在沿传送带布置若干个机械臂，用摄像头采 集传送带图像，识别待分拣物体和生成分拣任务，将这些分拣任务分 配给下游的可用机械臂执行分拣。遗憾的是，这种分拣***存在以下 问题：为了避免机械臂之间的碰撞，机械臂只能分隔布置，因此机械 臂布局密度受限，***吞吐量低；另外，这种分拣***容错能力差， 在任务分配后，如果物体意外偏移或其他原因导致机械臂抓取失败无 法进行补救。

发明内容

有鉴于此，本发明提供了一种用于多机械臂装置的控制方法、多 机械臂装置、分拣***、计算机可读介质，其能够解决或至少缓解上 述技术问题。

根据本发明的第一方面，提供了一种用于多机械臂分拣的控制方 法，所述多个机械臂用于抓取和分拣沿传送带移动的物体，所述方法 包括：

提供包括待分配任务的任务列表和包括处于空闲状态的机械臂 的机械臂列表，每个待分配任务包括传送带上的物体的抓取位姿；

从所述任务列表中选择待分配任务；

确定所述待分配任务是否位于所述机械臂列表中第一个机械臂 的抓取范围内；

如所述待分配任务位于机械臂的抓取范围内，确定所述机械臂与 其他机械臂是否有碰撞；

如无碰撞，将所述待分配任务分配给所述机械臂并从所述机械臂 列表删除所述机械臂，如有碰撞，选择所述机械臂列表中的下一个机 械臂，确定其与其他机械臂是否有碰撞；以及

根据所述物体的抓取位姿产生用于所述机械臂执行的轨迹文件。

在一个实施例中，所述控制方法还可以包括：拍摄传送带上的物 体的图像，并产生物体的抓取位姿，所述抓取位姿包括拍摄图像时间 戳、传送带速度、抓取位置的空间坐标和末端姿态；以及添加所述抓 取位姿到所述任务列表，作为待分配任务。

在一个实施例中，所述控制方法还可以包括：拍摄传送带上的物 体的图像，得到物体的彩色和深度图像信息；转换所述彩色和深度图 像信息，得到点云信息；聚类所述点云信息，以识别出要被抓取的物 体及抓取位置；对聚类后的点云信息进行平面拟合，得到物体的平面 法向量；根据平面法向量计算出机械臂抓取的末端姿态；以及产生物 体的抓取位姿，所述抓取位姿包括拍摄图像时间戳、传送带速度、抓 取位置的空间坐标和末端姿态。

在一个实施例中，所述确定所述待分配任务是否在机械臂的抓取 范围内，具体可以包括：至少部分地基于当前时间和所述待分配任务 的抓取位姿确定所述待分配任务是否在机械臂的抓取范围内。

在一个实施例中，所述确定所述机械臂与其他机械臂是否有碰撞， 具体可以包括：至少部分地基于其他机械臂的状态和所述抓取位姿， 确定所述机械臂与其他机械臂是否有碰撞。

在一个实施例中，如所述抓取位姿中的抓取位置在所述机械臂与 其他机械臂重叠的抓放范围内，且其他机械臂中的至少一个机械臂的 状态表明该至少一个其他机械臂正在该重叠的抓取范围内工作，确定 有碰撞。

在一个实施例中，在所述待分配任务被分配给所述机械臂之后， 所述控制方法还可以包括：根据所述物体的抓取位姿计算所述机械臂 的逆运动学和无碰撞轨迹；并且输出相应的轨迹文件到所述机械臂。

在一个实施例中，所述控制方法还可以包括：记录每个机械臂的 工作状态，当机械臂处于初始化状态时，将所述机械臂作为空闲的机 械臂上报到所述机械臂列表。

在一个实施例中，所述任务列表和所述机械臂列表可以按照时间 先后顺序排列。

在一个实施例中，所述控制方法还可以包括：如确定所述待分配 任务不在当前机械臂的抓取范围内或者在遍历完所述机械臂列表后， 丢弃所述待分配任务。

根据本发明的第二方面，提供了一种多机械臂装置，包括多个机 械臂和对应的多个机械臂执行模块、控制单元，所述多个机械臂用于 抓取和分拣沿传送带移动的物体，

所述控制单元被配置为包括任务分配模块，所述任务分配模块用 于

提供包括待分配任务的任务列表和包括处于空闲状态的机械臂 的机械臂列表，每个待分配任务包括位于传送带上的物体的抓取位姿；

从所述任务列表中选择待分配任务；

确定所述待分配任务是否位于所述机械臂列表中第一个机械臂 的抓取范围内；

如所述待分配任务位于抓取范围内，确定所述机械臂与其他机械 臂是否有碰撞；

如无碰撞，将所述待分配任务分配给所述机械臂执行模块并从所 述机械臂列表删除所述机械臂，如有碰撞，选择机械臂列表中的下一 个机械臂，确定其与其他机械臂是否有碰撞；以及

根据所述物体的抓取位姿产生用于所述机械臂执行的轨迹文件，

所述机械臂执行模块用于执行所述轨迹文件，使得所述机械臂抓 取物体。

在一个实施例，所述多机械臂装置还可以包括图像捕捉单元，用 于拍摄传送带上的物体的图像，所述控制模块还可以被配置包括任务 产生模块，所述任务产生模块用于根据图像产生物体的抓取位姿，所 述抓取位姿包括拍摄图像时间戳、传送带速度、抓取位置的空间坐标 和末端姿态；以及添加所述抓取位姿到所述任务列表，作为待分配任 务。

在一个实施例中，所述图像捕捉单元可以用于拍摄传送带上的物 体的图像，得到物体的彩色和深度图像信息；所述任务产生单元可以 用于转换所述彩色和深度图像信息，得到点云信息；聚类所述点云信 息，以识别出要被抓取的物体及抓取位置；对聚类后的点云信息进行 平面拟合，得到物体的平面法向量；根据平面法向量计算出机械臂抓 取的末端姿态；以及产生物体的抓取位姿，所述抓取位姿包括拍摄图 像时间戳、传送带速度、抓取位置的空间坐标和末端姿态。

在一个实施例中，所述任务分配模块还可以用于：至少部分地基 于当前时间和所述待分配任务的抓取位姿确定所述待分配任务是否在 机械臂的抓取范围内。

在一个实施例中，所述任务分配模块还可以用于：至少部分地基 于其他机械臂的状态和所述抓取位姿，确定所述机械臂与其他机械臂 是否有碰撞。

在一个实施例中，所述任务分配模块还可以用于：如所述抓取位 姿中的抓取位置在所述机械臂与其他机械臂重叠的抓放范围内，且其 他机械臂中的至少一个机械臂的状态表明该至少一个其他机械臂正在 该重叠的抓取范围内工作，确定有碰撞。

在一个实施例中，所述任务分配模块还用于：在所述待分配任务 被分配给所述机械臂之后，根据所述物体的抓取位姿计算所述机械臂 的逆运动学和无碰撞轨迹；并且输出相应的轨迹文件到所述机械臂。

在一个实施例中，多个机械臂执行模块还可以用于记录每个机械 臂的工作状态，当机械臂处于初始化状态时，将所述机械臂作为空闲 的机械臂上报到所述机械臂列表。

在一个实施例中，所述任务列表和所述机械臂列表按照时间先后 顺序排列。

在一个实施例中，所述任务分配模块还可以用于：如确定所述待 分配任务不在当前机械臂的抓取范围内或者在遍历完所述机械臂列表 后，丢弃所述待分配任务。

根据本发明的第三方面，提供了一种分拣***，所述分拣***包 括如多个上述第二方面所述的多机械臂装置，所述多个多机械臂装置 沿分拣流水线布置。

根据本发明的第四方面，提供了一种计算机可读介质，其上存储 有可执行指令，该指令被处理器执行时使处理器执行如上述第一方面 所述的控制方法。

本发明提供了一种多机械臂的控制方法，在分配抓取任务时进行 碰撞检测，考虑该机械臂与其他机械臂发生碰撞的风险。根据本发明， 可以按照使用者的实际需求布置机械臂，不用考虑工作区域干涉，增 加了机械臂的布置密度、灵活性和自由度。

本发明还实现了工作站模块化和工作站定制化，可以显著提高分 拣***的灵活性，用户能够根据吞吐量需求选配布置适当数量的工作 站和/或选配单个工作站内的机械臂数量及其布局，避免了机械臂资源 的浪费，提高了分拣效率，降低了生产成本。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地 从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发 明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的 结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面 将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描 述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加 清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实 际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1A示出了现有的一种用于分拣传送带上的物体的分拣***。

图1B示出了如图1所示的分拣***的机械臂工作范围的示意图。

图2示出了根据本发明实施例的一种分拣***的示意图。

图3示出了本发明实施例的多机械臂装置的任务产生方法的示意 流程图。

图4示出了根据本发明实施例的多机械臂装置的任务分配和执行 的示意框图。

图5示出了根据本发明实施例的用于多机械臂分拣的任务分配方 法的示意流程图。

图6示出了根据本发明实施例的用于多机械臂装置的防碰撞检测 方法的示意流程图。

图7A示出了根据本发明实施例的多机械臂装置的一种机械臂布 局配置。

图7B示出了根据本发明实施例的多机械臂装置的另一种机械臂 布局配置。

图7C示出了根据本发明实施例的多机械臂装置又一种机械臂布 局配置。

图8示出了根据本发明实施例的用于多机械臂分拣的控制方法的 示意流程图。

图9示出了用于实现本发明实施例的电子设备的结构示意图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些 描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明 中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的 概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本 发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多 个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的 术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部 件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人 员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解 释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于 刻板的方式来解释。

图1A示出了现有的一种用于分拣传送带上的物体的分拣***。 分拣***100包括传送带110(如图所示，从右向左移动)、沿着传送 带110分隔布置的多个机械臂120-1至120-5(图1仅示出了5个机 械臂，实施时数量不限于此)，这些机械臂可以依据分配给它们的任务， 抓取传送带110上的物体150，放到相应的放置位置130处。

机械臂120-1至120-5接收到的任务可以来源于固定在龙门架上 的摄像头140捕捉到的图像。摄像头140定期或持续捕捉下方传送带 上的物体的图像，识别出图像中的需要被分拣的各个物体150，形成 分拣任务分配给机械臂。机械臂120执行接收到的分拣任务，将物体 150抓取和放置到放置位置130处。

在分拣***100中，为了避免机械臂之间的碰撞，机械臂只能分 隔布置，如图1B所示。图1B示出了如图1所示的分拣***100的机 械臂工作范围的示意图，其中以每个机械臂的底座为圆心，机械臂的 工作臂长R为半径，形成各自的工作范围160-1、160-2、160-3和160-4。 可以看出，这种布局方式绝对避免了机械臂之间的可能碰撞，但是机 械臂布局密度低、灵活性差，无法满足高速传送带的高吞吐量要求。

进一步地，分拣***100中的任务分配方式较为简单，如果任一 机械臂处于空闲状态，并且任务中的物体在该机械臂工作范围内(考 虑拍摄时间戳、当前时间、机械臂从收到任务到移动到指定抓取位置 的时间间隔、传送带速度等，这些是本领域技术人员的已知技术)，就 可以将该任务分配到相应的机械臂。这种任务分配方式存在的问题是， 分配抓取任务和执行抓取任务之间的时间间隔较长，对于传送带下游 距离摄像头较远的机械臂来说，这种情况更为明显。带来的问题是， 物体在传送过程中发生意外移动(比如，机械臂碰撞、物体滚动、震 动等因素)、或者机械臂本身出现异常的概率变大，导致抓取任务失败；而且，对于分拣***100来说，分配后的任务一旦失败，相应的物体 不会被任何机械臂抓取，无法进行补救。因此，现有的分拣***100 存在吞吐量低、容错性能差的问题。

为解决或至少缓解上述技术问题，本发明提出了一种用于多机械 臂分拣的控制方法、多机械臂装置和分拣***。在该分拣***中，沿 分拣流水线布置多个多机械臂装置，每个多机械臂装置实施本发明提 供多机械臂分拣的控制方法。具体地，多机械臂装置形成为单独的工 作站，多个工作站依次分布在分拣流水线上，各自作业：每个工作站 拍摄传送带图像，产生抓取任务，分配给工作站内的多个机械臂完成 抓取任务。由此，不必要求工作站完成所有的分拣任务，未被抓取的 物体(例如，任务未能分配或抓取失败等因素造成)可以被传送到下 游，由其他工作站完成抓取。

就每个多机械臂装置而言，可以在其中定制化配置适当数量的机 械臂，机械臂以更高的密度和自由度布置在工作站内，允许机械臂之 间存在重叠的工作范围。因而本发明提供了一种多机械臂的控制方法， 在分配抓取任务时进行碰撞检测，考虑该机械臂与其他机械臂发生碰 撞的风险。根据本发明，可以按照使用者的实际需求布置机械臂，不 用考虑工作区域干涉，增加了机械臂的布置密度、灵活性和自由度。

本发明实现了工作站模块化和工作站定制化，可以显著提高分拣 ***的灵活性，用户能够根据吞吐量需求选配布置适当数量的工作站 和/或选配单个工作站内的机械臂数量，避免了机械臂资源的浪费，提 高了分拣效率，降低了生产成本。

图2示出了根据本发明实施例的一种分拣***的示意图。如图所 示，传送带从右向左移动，上面散落有若干待分拣物体。根据本发明 实施例的分拣***200包括沿着传送带布置的多个多机械臂分拣装置 210至240(以下简称为多机械臂装置)。多机械臂装置210至240作 为工作站，独立执行分拣任务，如下文所详细描述的，拍摄图像和产 生抓取任务、分配抓取任务，执行抓取任务。尽管图2示出了分拣系 统200包括4个多机械臂装置，但本领域技术人员应理解，分拣*** 可以包括根据需要布置的任意数量的多机械臂装置。

如图所示，多机械臂装置210布置在传送带最上游，面临处理的 任务量最高。根据本发明实施例，多机械臂装置210不必抓取其识别 出的所有抓取任务，只要尽可能使其机械臂处于工作状态即可。经过 装置210处理后，下游的多机械臂装置220需要处理的任务减少。类 似地，多机械臂装置220也不必完成其识别出的所有抓取任务，依次 类推。由于每个多机械臂装置都是独立工作的，即独立拍摄图像和产 生任务、分配任务、执行任务，因此分拣***200的容错性能可以明 显提高。以下详细描述多机械臂装置的任务产生、分配和执行的更多 细节。

图3示出了本发明实施例的多机械臂装置的任务产生方法的示意 流程图。

任务产生方法300包括：在步骤310，捕捉图像。例如，在一个 实施例中，使用固定在龙门架上且位于传送带上游的摄像头来拍摄传 送带上的物体图像。摄像头垂直正对传送带，定期或持续捕捉图像。 例如，摄像头可以是深度相机，采集物体的彩色和深度图像信息(如 RGB-D图像)。

在步骤320，转换为点云数据。在一个实施例中，可以将采集到 彩色和深度图像信息转换为点云数据。具体地，可以包括如下步骤： RGB-D图像中的RGB图片信息提供了像素坐标系下的x，y坐标，而深 度图直接提供了相机坐标系下的Z坐标，也就是相机与点的距离。根 据RGB-D图像的信息和相机的内参，可以计算出任何一个像素点在相 机坐标系下的坐标。根据RGB-D图像的信息和相机的内参与外参，可 以计算出任何一个像素点在世界坐标系下的坐标。

相机视野范围内，相机坐标系下的障碍物点的坐标，就是点云传 感器数据，也就是相机坐标系下的点云数据。点云传感器数据可以根 据RGB-D图像提供的坐标与相机内参算出来。所有世界坐标系下的障 碍物点的坐标，就是点云地图数据，也就是世界坐标系下的点云数据。 因此，点云地图数据可以根据RGB-D图像提供的坐标与相机内参和外 参算出来。

在步骤330，聚类点云数据。在产生点云数据后，对点云数据进 行聚类，以便识别出传送带上的物体，例如得到物体的轮廓信息。聚 类算法可以是任何已知算法，例如，K-means、基于密度和空间分布的 聚类、决策树、深度学习网络等。在一个实施例中，可以根据物体的 轮廓信息计算出物体的形心坐标，然后通过相机标定的内参和外参将 其转为世界坐标系的XYZ坐标，作为待抓取物体的位姿。

在步骤340，平面拟合。除了世界坐标系的XYZ坐标，还需要确 定机械臂的抓取部件的末端姿态。因此，针对聚类后识别出的物体进 行平面拟合，得到每个平面的法向量。

在步骤350，计算抓取的末端姿态。根据计算出的平面法向量， 计算出机械臂的抓取部件的末端姿态。在一个实施例中，机械臂的抓 取部件可以是吸盘，相应的末端姿态可以包括吸盘的俯仰(pitch)、偏 航(yaw)、横滚(roll)参数。

在步骤360，添加任务到任务列表。基于以上形成抓取任务，抓 取任务可以包括物体的抓取位姿。在一个实施例中，抓取位姿可以包 括世界坐标系的XYZ坐标、抓取的末端姿态、传送带速度、拍摄图像 的时间戳信息等。这里，任务列表中的每个任务表示一个待抓取物体， 任务将被控制单元中的任务分配模块分配给合适的机械臂来执行。以 下详细描述。

图4示出了根据本发明实施例的多机械臂装置的任务分配和执行 的示意框图。根据本发明实施例，任务分配和执行可以由控制单元410 和多个机械臂420共同完成。

控制单元410被配置为包括任务产生模块411、任务分配模块412 以及用于任务分配调度的任务列表413、机械臂列表414、防碰撞控制 模块415。在一个实施例，任务产生模块411可以从图像捕捉单元430 (例如，图1和图2所示的摄像头)接收捕捉到的RGB-D图像。任务 产生模块411可以被配置为实施如图3所示的任务产生方法300，这 里不再重复。

任务产生模块411可以将产生的任务添加到任务列表413。任务 列表413包括将要分配的关于待抓取物体的任务，可以按照时间先后 顺序排序。如上所述，每个任务包括物体的抓取位姿，抓取位姿包括 世界坐标系的XYZ坐标、抓取的末端姿态、传送带速度、拍摄图像的 时间戳信息等。

任务分配模块412从任务列表413中选择任务，根据机械臂列表 414，将所选择的任务分配给合适的机械臂420执行。在一个实施例中， 任务分配模块可以从任务列表413中选择排在最前面的第一个任务 (任务#1)，根据下文将详细描述的分配算法，将该任务分配给合适的 机械臂执行。在一个实施例中，任务分配模块412访问防碰撞控制模 块415中的防碰撞关联表和机械臂状态表，以便确定是否将该任务分 配给机械臂列表414中的某一机械臂。防碰撞关联表记录与该机械臂 有可能发生碰撞的其他机械臂，机械臂状态表则记录所有机械臂的当 前状态。例如，如果可能发生碰撞的其他机械臂中至少一个正处于抓 取任务状态下，则确定有碰撞，不分配任务给该机械臂。在一个实施 例中，防碰撞关联表可以记录与重叠的机械臂工作范围相关联的所有 相关机械臂信息，因此，还需要依据抓取位置确定是否分配该任务给 机械臂。在确定分配的机械臂之后，任务分配模块412针对该机械臂 计算出相应的轨迹文件，发送到该机械臂来执行。

机械臂列表414记录当前处于空闲状态的机械臂，在一个实施例 中，机械臂列表414中的机械臂是按照被添加到列表中的时间排序。 如图所示，机械臂#2是当前列表中的最早上报空闲状态的机械臂，可 以优先将任务分配给该机械臂(不意味着一定能分配成功)。

图4示出了三个机械臂420，本领域技术人员应理解，每个多机 械臂装置的机械臂数量不限于此。每个机械臂420包括机械臂执行模 块421和机械臂本体422。机械臂执行模块421用于执行被分发的任 务。在一个实施例中，机械臂执行模块421可以用于实施如下步骤： 接收轨迹文件，轨迹文件指示该机械臂本体422的移动路径、抓取姿 态等；指示机械臂本体执行轨迹文件，如果执行无异常，则在任务完 成后将该机械臂的空闲状态上报到机械臂列表414，例如，机械臂被 添加到队列尾部；如果执行有异常，例如未抓取到物体或掉线，则将 机械臂本体重新初始化，并把更新后的状态发送到机械臂列表。

在一个实施例中，机械臂执行模块421可以维持机械臂状态信息， 机械臂状态信息可以指示机械臂的当前任务信息，包括抓取位置、机 械臂当前状态，例如，抓取、放置、回程、空闲等，并实时发送到防 碰撞控制模块415的机械臂状态表。每当机械臂完成任务或在任务失 败时回到初始化状态时，机械臂状态被置为“空闲”，这时机械臂执行 模块421将“空闲”状态上报到控制单元410，记录到机械臂列表414。 机械臂状态信息还将用于控制任务分配，下文将详述。

图5示出了根据本发明实施例的用于多机械臂分拣的任务分配方 法的示意流程图。任务分配方法500可以由如图4所示的任务分配模 块412实施。

控制方法500包括步骤510，选择一个待分配任务。在一个实施 例中，任务分配模块从任务列表中选择第一个任务，获取与该任务相 关的抓取位姿，抓取位姿包括物体的世界坐标系中的坐标、抓取的末 端姿态、传送带速度、拍摄图像的时间戳信息等。

在步骤520，选择机械臂列表中的机械臂。机械臂列表中处于空 闲状态的机械臂可以按照时间顺序排序，在一个实施例中，任务分配 模块选择第一个机械臂开始遍历。

在步骤530，判断待分配任务是否在当前机械臂的工作范围内。 在一个实施例中，基于当前时间和待分配任务的抓取位姿确定所述待 分配任务是否在机械臂的抓取范围内。具体地，根据当前时间、传送 带速度、物体在世界坐标系中的坐标、以及拍摄图像的时间戳，跟踪 物体，计算出物体是否还在机械臂的抓取范围内。例如，如果跟踪计 算出物体的当前位置在抓取位姿的上游(含机械臂收到抓取指令到抓 取物体所需要的响应时间内的位移)，确定物体在机械臂的抓取范围内。 如果不在工作范围内，回到步骤520，选择机械臂列表中的下一个机 械臂，并重复步骤530。备选地，若多机械臂装置中的多机械臂的沿传送带方向的工作范围实质相同(比如，如图7A所示，两个机械臂相 对布置)，可以在确定物体不在工作范围内时，直接丢弃该任务，回到 步骤510，选择下一个任务(如图中虚线所示)。

接下来，在步骤540，判断该机械臂是否与其他机械臂有碰撞。 如果抓取位置位于多个机械臂的重叠的工作区域，则有可能发生碰撞。 为了充分保证机械臂的工作效率，需要在避免碰撞的前提下，尽可能 地将任务分配到机械臂。在一个实施例中，可以根据物体的抓取位置 及其所属区域、其他机器臂的工作状态，确定该机械臂是否与其他机 械臂有碰撞，下文将结合图4、图6、图7A-7C详细描述。

返回图5，如果与其他机械臂无碰撞，前进到步骤560，任务分 配模块可以计算和输出轨迹文件，轨迹文件可以被机械臂执行模块 421执行。在一个实施例中，计算轨迹文件包括解逆运动学和解算无 碰撞(collision-free)轨迹。需要注意都是，该解算无碰撞轨迹指 的是，该机械臂与周围世界环境所有物体的无碰撞解算，用于产生机 械臂可执行的轨迹文件，其区别于本发明的步骤540的无碰撞检测。

如果与其他机械臂有碰撞，前进到步骤550，判断该机械臂是否 为机械臂列表中的最后一个机械臂，如果是，则执行步骤570，删除 该任务，如果否，回到步骤520，选择下一个机械臂。应理解，当机 械臂列表中的所有机械臂都无法被分配任务时，该任务中的物体不会 被当前多机械臂装置抓取和分拣，而会随传送带传输到下游，从而可 以由下游的多机械臂装置分拣。

以下结合图4、图6、图7A-7C详细描述根据本发明实施例的多 机械臂装置的防碰撞检测的机制。参照图4，防碰撞控制模块415的 防碰撞关联表存储有与重叠的工作区域相关联的多个机械臂编号，如

表1所示。

重叠工作区域	区域范围定义	相关机械臂
			A	(X,Y,Z)的表达式1	#1，#2
B	(X,Y,Z)的表达式2	#1，#2，#3

表1

表1示出了示例性的多机械臂装置的防碰撞关联表，包括：重叠 工作区域、该区域范围定义，其可以用抓取位置的世界坐标系坐标的 表达式来表示，以及与该重叠区域相关联的机械臂编号，即能够在该 区域内执行抓取任务的机械臂。

另外，每个机械臂420在其工作状态发生变化时，将其状态更新 到防碰撞控制模块415的机械臂状态表。可以参照防碰撞关联表和机 械臂状态表确定是否有碰撞。例如，首先确定抓取位置是否在重叠的 工作区域内，以及机械臂的当前状态是否是“抓取”。表2示出了示例 性的机械臂状态表。

机械臂ID	抓取位置	区域	当前状态
				#1	(X1,Y1,Z1)	共享区域A	放置
#2	(X2,Y2,Z2)	共享区域B	抓取

表2

表2示出了多机械臂装置中的机械臂的工作状态，包括机械臂ID、 抓取位置、该抓取位置所处区域、当前状态。例如，表1中的机械臂 #1正在执行中的任务的抓取位置的坐标是(X1,Y1,Z1)，该抓取位置 属于共享区域A，当前状态是“放置”；机械臂#2正在执行中的任务的 抓取位置的坐标是(X2,Y2,Z2)，该抓取位置属于共享区域B，当前 状态是“抓取”。机械臂的工作状态可以包括“抓取”、“放置”、“回程”、 “空闲”等。应理解，机械臂的“抓取”状态表明机械臂在传送带上 方操作，这时机械臂有可能与其他机械臂碰撞；其他状态下，机械臂 不会发生碰撞。换句话说，仅当抓取位置处于所述的重叠区域中，并 且至少一个其他机械臂处于“抓取”状态时，确定可能发生碰撞。

图6示出了根据本发明实施例的用于多机械臂装置的防碰撞检测 方法的示意流程图。防碰撞检测方法600包括：在步骤610，任务分 配模块从任务的抓取位姿中提取抓取位置，抓取位置可以包括物体的 世界坐标系的坐标。

在步骤620，判断抓取位置是否在重叠的工作区域内。在一个实 施例中，任务分配模块可以计算抓取位置是否被包括在多个机械臂的 重叠的工作区域内，例如，根据抓取位置的世界坐标系的坐标的X、Y、 Z值来计算，下文参照图7A-7C详细描述示例性的重叠工作区域。

如果不在重叠的工作区域内，可以前进到步骤660，确定机械臂 与其他机械臂无碰撞；如果在重叠的工作区域内，前进到步骤630。

在步骤630，查询与该工作区域相关联的其他机械臂的工作状态。 在一个实施例中，任务分配模块可以访问防碰撞控制模块415的防碰 撞关联表和机械臂状态表来确定其他机械臂的工作状态。这里，需要 确定其他机械臂的当前任务的抓取位置是否落入该重叠的区域，以及 其他机械臂的状态是否是“抓取”。在一个实施例中，机械臂执行模块 421实时更新机械臂状态到防碰撞控制模块415的机械臂状态表，用 于碰撞检测。

在步骤640，判断是否存在正在该区域工作的机械臂。应理解， 如果存在至少一个机械臂的当前抓取任务和待分配任务的抓取位置属 于相同的重叠区域，且该至少一个机械臂的状态是“抓取”(这意味着 机械臂位于传送带上方，存在碰撞风险)，则确定为有碰撞，即前进到 步骤650，否则前进到步骤660，确定无碰撞。

根据本发明实施例的防碰撞方法能够根据机械臂的工作状态，尤 其是机械臂是否在传送带区域操作，更为精确地确定多个机械臂之间 的空间、时间重合，检测碰撞风险。

图7A示出了根据本发明实施例的多机械臂装置的一种机械臂布 局。传送带位于直线71和72之间，多机械臂装置包括相对布置在传 送带两侧的两个机械臂，机械臂1的工作范围是线71和73之间的区 域，机械臂2的工作范围是线72和74之间的区域。因而，重叠的工 作区域是73和74之间的区域。

图7B示出了根据本发明实施例的多机械臂装置的另一种机械臂 布局配置。多机械臂装置包括三个机械臂，其中两个(机械臂1和机 械臂2)位于传送带一侧，另一个(机械臂3)位于相对侧，大致为三 角形布局。类似地，机械臂1和机械臂2具有重叠区域A，机械臂1和机械臂3具有重叠区域B，机械臂2和机械臂3具有重叠区域C。

图7C示出了根据本发明实施例的多机械臂装置又一种机械臂布 局配置。多机械臂装置包括四个机械臂，大致矩形布置，传送带的每 侧布置两个机械臂。关于机械臂1，机械臂1和机械臂2具有重叠区 域A，机械臂1和机械臂3具有重叠区域B，机械臂1和机械臂4无重 叠区域。类似地，还可以确定任何机械臂与其他机械臂的重叠区域。

图7A至7C仅示例性示出了多种机械臂布局及其可能的重叠区域， 本领域技术人员应理解，多机械臂装置的机械臂数量和空间布局可以 被定制，产生相应的重叠区域，并记载到防碰撞控制模块的防碰撞关 联表。

因此，使用者可以根据需求配置多机械臂装置中的机械臂数量和 布局，并形成机械臂之间的重叠工作区域，以便用于机械臂之间的碰 撞检测，而不用考虑工作区域干涉，增加了机械臂布置的灵活性和自 由度。这样，在同样长度的流水线下，可以不考虑机械臂工作空间互 相干涉，从而可以布置更多的机械臂，提高分拣***的吞吐量和工作 效率。

图8示出了根据本发明实施例的用于多机械臂分拣的控制方法， 多个机械臂用于抓取和分拣沿传送带移动的物体。控制方法800可以 由图4所示的控制单元执行，控制方法800包括：

在步骤810，提供包括待分配任务的任务列表和包括处于空闲状 态的机械臂的机械臂列表，每个待分配任务包括传送带上的物体的抓 取位姿；

在步骤820，从所述任务列表中选择待分配任务；

在步骤830，确定所述待分配任务是否位于所述机械臂列表中第 一个机械臂的抓取范围内；

在步骤840，如所述待分配任务位于机械臂的抓取范围内，确定 所述机械臂与其他机械臂是否有碰撞；

在步骤850，如无碰撞，将所述待分配任务分配给所述机械臂并 从所述机械臂列表删除所述机械臂；

在步骤860，如有碰撞，选择所述机械臂列表中的下一个机械臂， 确定其与其他机械臂是否有碰撞；以及

在步骤870，根据所述物体的抓取位姿产生用于所述机械臂执行 的轨迹文件。

在一个实施例中，方法800还可以包括：拍摄传送带上的物体的 图像，并产生物体的抓取位姿，所述抓取位姿包括拍摄图像时间戳、 传送带速度、抓取位置的空间坐标和末端姿态；以及添加所述抓取位 姿到所述任务列表，作为待分配任务。方法800还可以包括：拍摄传 送带上的物体的图像，得到物体的彩色和深度图像信息；转换所述彩 色和深度图像信息，得到点云信息；聚类所述点云信息，以识别出要 被抓取的物体及抓取位置；对聚类后的点云信息进行平面拟合，得到 物体的平面法向量；根据平面法向量计算出机械臂抓取的末端姿态； 以及产生物体的抓取位姿，所述抓取位姿包括拍摄图像时间戳、传送 带速度、抓取位置的空间坐标和末端姿态。

在一个实施例中，步骤830可以包括：至少部分地基于当前时间 和所述待分配任务的抓取位姿确定所述待分配任务是否在机械臂的抓 取范围内。

在一个实施例中，步骤840可以包括：至少部分地基于其他机械 臂的状态和所述抓取位姿，确定所述机械臂与其他机械臂是否有碰撞。 进一步地，如所述抓取位姿中的抓取位置在所述机械臂与其他机械臂 重叠的抓放范围内，且其他机械臂中的至少一个机械臂的状态表明该 至少一个其他机械臂正在该重叠的抓取范围内工作，确定有碰撞。

在一个实施例中，在所述待分配任务被分配给所述机械臂之后， 所述控制方法800还可以包括：根据所述物体的抓取位姿计算所述机 械臂的逆运动学和无碰撞轨迹；并且输出相应的轨迹文件到所述机械 臂。

在一个实施例中，控制方法800还可以包括：记录每个机械臂的 工作状态，当机械臂处于初始化状态时，将所述机械臂作为空闲的机 械臂上报到所述机械臂列表。

在一个实施例中，其中，任务列表和所述机械臂列表按照时间先 后顺序排列。

在一个实施例中，如确定所述待分配任务不在当前机械臂的抓取 范围内或者在遍历完所述机械臂列表后，丢弃所述待分配任务。

图9示出了用于实现本发明实施例的电子设备的结构示意图。如 图9所示，电子设备900包括中央处理单元(CPU)901，其可以根据 存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随 机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在 RAM 903中，还存储有电子设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O) 接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906； 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输 出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制 解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特 网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。 可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根 据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需 要被安装入存储部分908。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以 被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程 序产品，包括承载指令的在计算机可读介质，在这样的实施例中，该 指令可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介 质911被安装。在该指令被中央处理单元(CPU)901执行时，执行本 发明中描述的各个方法步骤。

尽管已经描述了示例实施例，但是对于本领域技术人员来说显而 易见的是，在不脱离本发明构思的精神和范围的情况下，可以进行各 种改变和修改。因此，应当理解，上述示例实施例不是限制性的，而 是说明性的。

Claims (12)

1.一种多机械臂装置，包括多个机械臂和对应的多个机械臂执行模块、控制单元，所述多个机械臂用于抓取和分拣沿传送带移动的物体，

所述控制单元被配置为包括任务分配模块，所述任务分配模块用于

提供包括待分配任务的任务列表和包括处于空闲状态的机械臂的机械臂列表，每个待分配任务包括位于传送带上的物体的抓取位姿；

从所述任务列表中选择待分配任务；

确定所述待分配任务是否位于所述机械臂列表中第一个机械臂的抓取范围内；

如所述待分配任务位于抓取范围内，确定所述机械臂与其他机械臂是否有碰撞；

如无碰撞，将所述待分配任务分配给所述机械臂执行模块并从所述机械臂列表删除所述机械臂，如有碰撞，选择机械臂列表中的下一个机械臂，确定其与其他机械臂是否有碰撞；以及

根据所述物体的抓取位姿产生用于所述机械臂执行的轨迹文件，

所述机械臂执行模块用于执行所述轨迹文件，使得所述机械臂抓取物体。

2.如权利要求1所述的装置，还包括图像捕捉单元，用于拍摄传送带上的物体的图像，

所述控制单元还被配置为包括任务产生模块，所述任务产生模块用于根据图像产生物体的抓取位姿，所述抓取位姿包括拍摄图像时间戳、传送带速度、抓取位置的空间坐标和末端姿态；以及添加所述抓取位姿到所述任务列表，作为待分配任务。

3.如权利要求2所述的装置，其中

所述图像捕捉单元用于拍摄传送带上的物体的图像，得到物体的彩色和深度图像信息；

所述任务产生模块用于

转换所述彩色和深度图像信息，得到点云信息；

聚类所述点云信息，以识别出要被抓取的物体及抓取位置；

对聚类后的点云信息进行平面拟合，得到物体的平面法向量；

根据平面法向量计算出机械臂抓取的末端姿态；以及

产生物体的抓取位姿，所述抓取位姿包括拍摄图像时间戳、传送带速度、抓取位置的空间坐标和末端姿态。

4.如权利要求1或2所述的装置，所述任务分配模块还用于

至少部分地基于当前时间和所述待分配任务的抓取位姿确定所述待分配任务是否在机械臂的抓取范围内。

5.如权利要求1或2所述的装置，所述任务分配模块还用于

至少部分地基于其他机械臂的状态和所述抓取位姿，确定所述机械臂与其他机械臂是否有碰撞。

6.如权利要求4所述的装置，所述任务分配模块还用于：如所述抓取位姿中的抓取位置在所述机械臂与其他机械臂重叠的抓放范围内，且其他机械臂中的至少一个机械臂的状态表明该至少一个其他机械臂正在该重叠的抓取范围内工作，确定有碰撞。

7.如权利要求1所述的装置，所述任务分配模块还用于：在所述待分配任务被分配给所述机械臂之后，根据所述物体的抓取位姿计算所述机械臂的逆运动学和无碰撞轨迹；并且输出相应的轨迹文件到所述机械臂。

8.如权利要求1所述的装置，多个机械臂执行模块还用于记录每个机械臂的工作状态，当机械臂处于初始化状态时，将所述机械臂作为空闲的机械臂上报到所述机械臂列表。

9.如权利要求1所述的装置，所述任务分配模块还用于：

如确定所述待分配任务不在当前机械臂的抓取范围内或者在遍历完所述机械臂列表后，丢弃所述待分配任务。

10.一种分拣***，包括如多个如权利要求1至9项中任一项所述的多机械臂装置，所述多个多机械臂装置沿分拣流水线布置。

11.一种用于多机械臂装置的控制方法，所述多个机械臂用于抓取和分拣沿传送带移动的物体，所述控制方法包括：

提供包括待分配任务的任务列表和包括处于空闲状态的机械臂的机械臂列表，每个待分配任务包括传送带上的物体的抓取位姿；

从所述任务列表中选择待分配任务；

确定所述待分配任务是否位于所述机械臂列表中第一个机械臂的抓取范围内；

如所述待分配任务位于机械臂的抓取范围内，确定所述机械臂与其他机械臂是否有碰撞；

如无碰撞，将所述待分配任务分配给所述机械臂并从所述机械臂列表删除所述机械臂，如有碰撞，选择所述机械臂列表中的下一个机械臂，确定其与其他机械臂是否有碰撞；以及

根据所述物体的抓取位姿产生用于所述机械臂执行的轨迹文件。

12.一种计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求11所述的控制方法。

Images