CN113433941A - 一种基于多模态知识图谱的低层级机器人任务规划方法 - Google Patents

Abstract

本发明公开了一种基于多模态知识图谱的低层级机器人任务规划方法，结合多模态知识图谱将高层级动作序列进一步分解为低层级动作序列，该方法包括：高层级的任务规划和结合多模态知识图谱的低层级的任务规划。本发明通过构建具有更强的知识表达能力的多模态图谱，对机器人任务规划中难以描述的操作细节使用图文结合的表示方法，将高层级任务进一步分解，从而更好地解决复杂任务下的规划问题，进而提升机器人任务执行的成功率。

Description

一种基于多模态知识图谱的低层级机器人任务规划方法

技术领域

本发明属于机器人技术领域，具体涉及一种基于多模态知识图谱的低层级机器人任务规划方法。

背景技术

机器人任务规划是机器人领域的重要研究方向之一，低层级任务规划是将复杂任务分解成若干个机器人可以直接执行的操作层面的原子任务，并生成机器人可执行的操作序列。

目前大多采用硬件编码或者通过逻辑描述语言的方式去预定义好机器人执行任务过程的动作和状态，这类方法灵活性上具有局限性，无法应对复杂或者难以描述的任务动作。

有研究工作将知识图谱中语义知识应用在任务规划中，然而机器人在执行任务时，所感知及处理的信息是多模态的，对于低层级任务分解仅仅只结合文本的语义知识显然不够，需充分利用环境、机器人本体、常识等多模态知识，进而更细粒度的对低层级任务进行规划分解。

发明内容

为克服上述问题，本发明提供一种基于多模态知识图谱的低层级任务规划方法。通过结合被执行对象的多模态图谱中的知识来丰富对象及其操作的细节知识，从而实现低层级任务的规划。

本发明采用如下技术方案，具体包括以下步骤：

一种基于多模态知识图谱的低层级机器人任务规划方法，包括以下步骤：

步骤一，高层级的任务规划：对任务进行粗粒度分解，生成高层级动作执行序列。

步骤二，低层级的任务规划：若步骤一生成的高层级动作序列中存在操作对象，则查询多模态知识图谱，进一步将该执行序列分解，形成可直接操作的低层级的动作执行序列。

其中，所述多模态知识图谱通过如下方法构建：

(a)收集包含物体对象、环境、机器人本体相关的多模态知识，包括文本、图片、视频；

(b)从视频中提取机器人位姿参数，操作轨迹和抓取点图像，并将所述抓取点图像中的抓取点高亮突出处理；

(c)采用三元组的表示形式，将实体节点对应的属性节点以图片、文字、视频等形式存储，从多个模态来表示一个实体信息，构建多模态的知识图谱。

进一步地，所述步骤一，高层级的任务规划具体为：

编写任务描述文件，根据所要执行的任务匹配对应的描述文件，将描述文件输入对应的规划器生成粗粒度的任务规划结果。

进一步地，所述步骤(c)中，物体对象的属性节点包括：物体对象的特征、抓取点、操作轨迹、向量表示、位姿、环境信息等。其中，抓取点中存储有抓取点图像、抓取点高亮突出处理的抓取点图像、和抓取点高亮突出处理的抓取点图像的向量；所述操作轨迹中存储有视频和提取的操作轨迹。

进一步地，所述步骤三，低层级的任务规划具体包括如下子步骤：

(2.1)解析步骤一生成的高层级动作序列，判别每个动作序列是移动型还是操作型。

(2.2)对于有物体对象的操作型动作序列，根据机器人的视觉检测结果结合目标物体对象的特征和/或向量表示查询多模态的知识图谱，得到目标物体对象的抓取点、操作轨迹、位姿知识，感知目标物体对象周围的信息，并根据目标物体对象的抓取点、位姿知识生成调整位姿的执行序列；再根据物体对象的操作轨迹生成细粒度的操作序列，得到低层级的任务规划结果。

进一步地，所述根据机器人的视觉检测结果结合目标物体对象的特征和/或向量表示查询多模态的知识图谱，得到目标物体对象的抓取点，具体为：

机器人通过摄像头感知到场景中目标物体对象时，对目标物体对象做目标检测识别，根据目标检测识别结果查询到多模态的知识图谱中对应的物体对象节点，根据物体对象节点中抓取点的向量，计算其和机器人捕捉的目标物体对象特征向量的相似度获取目标物体对象的抓取点，然后再根据物体对象节点中位姿参数的坐标和朝向生成调整实际机器人位姿的执行序列。最后根据物体对象节点中轨迹的空间坐标和参数生成轨迹的操作序列。

本发明的有益效果在于：本发明提供了一种基于多模态知识图谱的低层级任务规划方法，该方法可用于生成机器人操作层级的任务规划结果。该方法通过充分利用多模态多方位信息来构建多模态知识图谱，结合多模态图谱的查询推理将高层级的机器人任务规划结果进一步分解为低层级的任务规划结果，从而生成可直接执行的操作级的动作序列。

附图说明

图1为基于多模态知识图谱的低层级任务规划流程图。

图2为多模态图谱的知识结构图。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。

本发明通过充分利用多模态多方位信息来构建多模态知识图谱，结合多模态图谱的查询推理将高层级的机器人任务规划结果进一步分解为低层级的任务规划结果，从而生成可直接执行的操作级的动作序列。具体地，其中多模态知识图谱构建方法如下：

基于三元组的知识表示方法，将物体，物体所处环境，机器人本体等相关的多模态知识，包括文本、图片、视频等，存储在图数据库中，形成多模态知识图谱。多模态主要针对的是物体或者被执行对象，因为涉及具体的末端操作，除了收集传统知识图谱所需的文本信息如物体或者被执行对象的功能特性、属性、描述信息，环境的描述信息以及机器人本体的部件属性特征、功能等之外，还需要收集包含物体或者被执行对象的图片、操作视频等，并利用图像处理技术从操作视频中提取出抓取点图像(抓取点采用高亮突出)，机器人位姿参数，操作轨迹等，利用word2vec技术生成对象的向量表示(embedding)，最后采用三元组的表达方式存入图数据库中，如图2所示，物体对象的属性节点具体包括：环境信息、特征、抓取点、操作轨迹、位姿等。其中，抓取点中存储有抓取点图像、抓取点高亮突出处理的抓取点图像、和抓取点高亮突出处理的抓取点图像的向量；所述操作轨迹中存储有视频和提取的操作轨迹。通常地，图片或者视频存储于其他数据库，知识图谱中存储对应的链接或路径。

图1所示为基于多模态知识图谱的低层级任务规划流程图，具体包括以下步骤：

第一步，高层级的任务规划。基于PDDL描述语言，对任务进行粗粒度的分解，生成高层级的动作执行序列。具体过程首先根据给定的任务，利用语义理解技术理解所要执行的任务，然后从事先定义的任务库中匹配与该任务相关的域文件和问题文件，并将这两个文件输入到PDDL规划器中，从而得到高层级的动作执行序列。

第二步，低层级的任务规划。根据高层级分解后的动作序列结果，针对结果序列中有操作对象的，则根据机器人的视觉检测结果结合物体对象的特征和/或向量表示查询多模态的知识图谱，获得操作时的抓取点、操作轨迹、位姿参数等，进一步将该执行序列分解，从而形成可直接操作的低层级的动作执行序列，包括：

根据物体对象的抓取点、位姿知识判定是否需要调整位姿并生成调整位姿的执行序列；再根据物体对象的操作轨迹生成操作序列。

机器人通过摄像头感知到场景中目标物体对象时，对目标物体对象做目标检测识别，根据目标检测识别结果查询到多模态的知识图谱中对应的物体对象节点，根据物体对象节点中抓取点的向量，计算其和机器人捕捉的目标物体对象特征向量的相似度获取目标物体对象的抓取点，然后再根据物体对象节点中位姿参数的坐标和朝向生成调整实际机器人位姿的执行序列。最后根据物体对象节点中轨迹的空间坐标和参数生成轨迹的操作序列。

下面结合一具体实施例对本发明作进一步说明：

实施例

以机器人倒水为例，通过高层级任务分解生成以下粗粒度的操作序列：

1.找水杯

2.拿水杯

3.找饮水机

4.接水

5.送水

其中，步骤1、3、5为移动型的动作序列，无需进行低层级的任务规划，而步骤2、4为包含有物体对象的操作型动作序列需要再结合多模态知识图谱的查询和推理得到以下细粒度的操作序列，步骤1-5的完整执行序列如下：

①在执行步骤1时，机器人首先会查询知识库得到水杯所处环境即可能放置的位置，然后根据知识库中的环境信息结合地图信息查询并筛选出最合理的路线，计算出合理的路径，移动到水杯处；

②机器人通过感知水杯周围的信息并结合本发明的多模态知识图谱中水杯的抓取点的向量，计算其和机器人捕捉的水杯特征向量的相似度获取实际水杯的抓取点，再根据位姿参数的坐标和朝向等知识计算出实际位姿状态，生成调整位姿的执行序列，再根据物体对象节点中轨迹的空间坐标和参数知识计算出合适的操作轨迹生成操作序列，接着执行步骤2完成拿水杯的过程；

③执行步骤3时，与步骤1类似，机器人先查询饮水机所处环境即可能位置信息，然后移动至饮水机处；

④机器人根据当前感知到的饮水机，查询本发明的多模态知识图谱中类似的饮水机，如前所述，先根据查询的饮水机的接水开关抓取点的向量，计算其和机器人捕捉的饮水机特征向量的相似度获取实际接水开关的抓取点，然后根据特征查询饮水机中接水水杯放置位置，再根据知识图谱中饮水机对象节点中所存的位姿(坐标和朝向)等知识计算出实际位姿状态，生成调整位姿的执行序列，再根据物体对象节点中轨迹的空间坐标和参数知识计算出合适的操作轨迹生成操作序列，完成接水操作；

⑤根据任务中所要送水目标所在的位置，根据知识库中的环境信息结合地图信息查询并筛选出最合理的路线，计算出合理的路径，机器人移动到目标附近，完成送水操作。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (5)

1.一种基于多模态知识图谱的低层级机器人任务规划方法，其特征在于，包括以下步骤：

步骤一，高层级的任务规划：对任务进行粗粒度分解，生成高层级动作执行序列。

步骤二，低层级的任务规划：若步骤一生成的高层级动作序列中存在操作对象，则查询多模态知识图谱，进一步将该执行序列分解，形成可直接操作的低层级的动作执行序列。

其中，所述多模态知识图谱通过如下方法构建：

(a)收集包含物体对象、环境、机器人本体相关的多模态知识，包括文本、图片、视频；

(b)从视频中提取机器人位姿参数，操作轨迹和抓取点图像，并将所述抓取点图像中的抓取点高亮突出处理；

(c)采用三元组的表示形式，将实体节点对应的属性节点以图片、文字、视频等形式存储，从多个模态来表示一个实体信息，构建多模态的知识图谱。

2.根据权利要求1所述的方法，其特征在于，所述步骤一，高层级的任务规划具体为：

编写任务描述文件，根据所要执行的任务匹配对应的描述文件，将描述文件输入对应的规划器生成粗粒度的任务规划结果。

3.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，物体对象的属性节点包括：物体对象的特征、抓取点、操作轨迹、向量表示、位姿、环境信息等。其中，抓取点中存储有抓取点图像、抓取点高亮突出处理的抓取点图像、和抓取点高亮突出处理的抓取点图像的向量；所述操作轨迹中存储有视频和提取的操作轨迹。

4.根据权利要求3所述的方法，其特征在于，所述步骤三，低层级的任务规划具体包括如下子步骤：

(2.1)解析步骤一生成的高层级动作序列，判别每个动作序列是移动型还是操作型。

(2.2)对于有物体对象的操作型动作序列，根据机器人的视觉检测结果结合目标物体对象的特征和/或向量表示查询多模态的知识图谱，得到目标物体对象的抓取点、操作轨迹、位姿知识，感知目标物体对象周围的信息，并根据目标物体对象的抓取点、位姿知识生成调整位姿的执行序列；再根据物体对象的操作轨迹生成细粒度的操作序列，得到低层级的任务规划结果。

5.根据权利要求4所述的方法，其特征在于，所述根据机器人的视觉检测结果结合目标物体对象的特征和/或向量表示查询多模态的知识图谱，得到目标物体对象的抓取点，具体为：

机器人通过摄像头感知到场景中目标物体对象时，对目标物体对象做目标检测识别，根据目标检测识别结果查询到多模态的知识图谱中对应的物体对象节点，根据物体对象节点中抓取点的向量，计算其和机器人捕捉的目标物体对象特征向量的相似度获取目标物体对象的抓取点，然后再根据物体对象节点中位姿参数的坐标和朝向生成调整实际机器人位姿的执行序列。最后根据物体对象节点中轨迹的空间坐标和参数生成轨迹的操作序列。

Images