CN113010631B - 一种基于知识引擎的机器人与环境交互方法 - Google Patents

Abstract

本发明公开了一种基于知识引擎的机器人与环境交互方法，解决了仍未能实现机器人根据特定任务进行特定设计和规划的问题，其技术方案要点是建立知识获取机制、搭建由点和边组成的知识图、建立知识解释机制、进行知识存储、建立知识推理机制、建立机器人查询库，通过查询语言得到实现任务起点到任务终点的可行路径，本发明的一种基于知识引擎的机器人与环境交互方法，可大大提升机器人知识获取的广度和深度，降低了不同数据的处理难度，能快速进行查询和执行当前任务，更加实用。

Description

一种基于知识引擎的机器人与环境交互方法

技术领域

本发明涉及机器人与环境交互技术，特别涉及一种基于知识引擎的机器人与环境交互方法。

背景技术

随着许多机器人大规模知识***的建立与应用，如谷歌知识图、IBMWatson、***等，机器人的应用越来越普遍，解决任务的方式也越来越多，如数据挖掘、自然语言处理、图像处理和语音处理等，但是这些知识***大多只是用于解决日常问题，是以人为本的为解决人类如何使用机器人的问题而设计的知识库，并未完全实现机器人根据特定的任务进行特定的设计和规划，这对于人类来说更加有价值。

当机器人在应对特定的任务时，如将某个特定的物品转移到特定的地方，需要知道各种细节信息，才能执行自然语言理解、感知、规划和控制。此时机器人需要获取基于物体实体知识的语言符号，以及物品放置在特定位置的知识，还有抓取推测和操纵物体的适当规划。而在不同的任务和场景中，去有效地处理这种联合知识，仍然是一个悬而未决的问题。

发明内容

本发明的目的是提供一种基于知识引擎的机器人与环境交互方法，可大大提升机器人知识获取的广度和深度，降低了不同数据的处理难度，能快速进行查询和执行当前任务，更加实用。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于知识引擎的机器人与环境交互方法，包括有以下步骤：

S1、建立知识获取机制；

S2、搭建由点和边组成的知识图，将机器人获取的知识按照逻辑、时间或空间顺序进行连接，形成知识网图；

S3、建立知识解释机制，对各个知识来源的不同形式数据进行统一管理；

S4、进行知识存储，以数据存储集群的方式存储不同形式的数据；

S5、建立知识推理机制，对知识图进行修改和重建；

S6、建立机器人查询库，通过查询语言得到实现任务起点到任务终点的可行路径。

作为优选，步骤S1中知识获取具体包括有：

建立关于人类行为的图像视频数据集，基于深度学习语义分割原理对人体动作进行行为分析预测；

通过基于计算机视觉原理的增强现实技术及行为预测算法，在可穿戴透视显示器上进行行为预测并提供多个用于确定行为意图以构成知识图节点的选项；

与多个网络知识源进行授权请求及连接以获取互联网知识。

作为优选，步骤S2中知识图的搭建具体包括有：

用节点表示任意对象，用边表示两个节点之间的任务关系，通过节点和边组成知识图；

节点表示的对象包括有人、物体、音频、视频、数据集；

边包括有单向边和双向边；单向边表示对时间顺序、空间顺序有要求的任务；双向边表示需要进行数据交互的任务。

作为优选，步骤S3中知识解释具体为：

将机器人所获取的知识可按照逻辑、空间或时间顺序进行连接，形成知识网图；

以元数据方式对知识进行管理，以存储从不同源获取的不同形式的数据；

添加逆指针指向各种源中的知识基础。

作为优选，步骤S4知识存储具体为：通过建立数据存储集群进行存储数据；存储数据包括有各种知识、用户的众包反馈、其他机器学习算法参数；将大型媒体信息包括图片、视频、3D点云置放于分布式存储***中。

基于数据存储集群，建立以数据存储集群作为唯一信任源的图形数据库。

作为优选，步骤S5知识推理机制具体为：

将最近更新的知识点采用分布式队列***进行管理；

管理的知识点可被消耗，用于填充图形数据库；

根据不同来源获取的知识其置信度的差异，将置信度高的新知识***现有图中，可通过增删或拆分进行知识图的更新。

作为优选，步骤S6查询具体为：

采用图检索函数，从知识图中通过遍历从任务起点到任务终点的所有路径，找到完成任务的路径；

根据该路径上所包含的所有知识点和边，实现指定任务；

所述图检索函数支持对所有路径按照指定条件进行排序。

综上所述，本发明具有以下有益效果：

通过本方法，可以允许机器人基于各种知识源来学习和分享相关知识表达，允许机器人能够在执行感知、规划和控制的同时，与互联网和现有知识库中的相关知识、自然语言和视觉数据等进行互动，建立起自身的知识图，并在不断的学习中，查询、推理、改进和完善该知识图，大大提升了机器人知识获取的广度和和深度，降低了对不同数据进行处理时的难度，多种离线和在线的知识库以及实时感知能力大大提升了机器人所能执行任务的种类的难度，且所构建的知识查询机制，使得机器人能快速查询并使用相关知识完成当前任务，具有较强的实用性。

附图说明

图1为知识引擎的建立和查询流程图；

图2为知识引擎结构示意图；

图3为机器人执行端茶杯实例知识图的示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

根据一个或多个实施例，公开了一种基于知识引擎的机器人与环境交互方法，如图1所示，包括有以下步骤：

S1、建立知识获取机制。

S2、搭建由点和边组成的知识图，将机器人获取的知识按照逻辑、时间或空间顺序进行连接，形成知识网图。

S3、建立知识解释机制，对各个知识来源的不同形式数据进行统一管理。

S4、进行知识存储，以数据存储集群的方式存储不同形式的数据；

S5、建立知识推理机制，对知识图进行修改和重建。

S6、建立机器人查询库，通过查询语言得到实现任务起点到任务终点的可行路径。

为表述清楚，如图2及图3所示，现结合以命令机器人将茶杯从桌子上端到人手上的任务作为具体实例，对本发明的方案进行详细地陈述和介绍：

第一步，建立知识获取机制。首先，可以建立关于人类行为的图像视频数据集，基于深度学习语义分割原理，结合人体关节自由度划分等技术，对人体动作进行行为分析预测；进一步，可以通过基于计算机视觉原理的增强现实(AR)技术及行为预测算法，对视觉传感器感知范围内的物体进行采集和识别，通过对人体行为的分析，在可穿戴透视显示器上进行行为预测，且提供多个选项来确定行为意图，用以构成知识图的节点；同时，可以与多个网络知识源进行授权请求与连接，实现对互联网知识的获取。多种知识获取机制可保证知识来源的多样性。

第二步，搭建知识图。知识图由节点和边组成，将机器人所获取的知识按照逻辑、时间或空间顺序进行连接，形成知识网图。用节点表示任意对象，用边表示两个节点之间的任务关系，或者从一个点到另一个点需要执行的操作，通过节点和边组成知识图；节点表示的对象包括有人、物体、音频、视频、数据集；边包括有单向边和双向边；单向边主要用于表示对时间顺序、空间顺序有要求的任务；双向边主要涉及表示需要进行数据交互的任务。

该实例中需要提前将人、茶杯和抓取动作的节点加入知识图，而边则表示了节点之间的关系，即机器人可以抓取茶杯，人可以接收机器人抓取的东西。

第三步，建立知识解释机制。由于从不同的源获取到的知识结构可能是不一样的，因此，为了能存储不同形式的数据，以元数据的方式来对知识进行统一管理。将机器人所获取的知识可按照逻辑、空间或时间顺序进行连接，形成知识网图。同时，为了避免当来自于各个源的知识基础发生变化时对知识图产生较大影响，添加了逆指针来指向各种源中的知识基础，以便溯源和更新。

在本实施例中机器人包括有感知模块和规划模块，包含了物体识别，机器人运动规划参数等数据。为了避免当来自于各个源的知识基础发生变化时对知识图产生较大影响，添加了逆指针来指向所涉及到源中的基础知识。

第四步，进行知识存储。建立了一个数据存储集群，用来存储不同形式的数据，包括有各种知识、用户的众包反馈和其他机器学习算法的参数。将大型媒体信息包括图片、视频、3D点云置放于分布式存储***中。基于数据存储集群，建立以数据存储集群作为唯一信任源的图形数据库，图形数据库以数据存储集群为唯一信任源，这样可以方便在知识发生错误或遇到恶意知识的情况下，可以快速重建该图形数据库。

在本实例中，将人和茶杯的图片信息置放在分布式存储***中并加入到图形数据库中，该库以数据存储集群为唯一信任源，这样可以方便在茶杯的形状、茶杯的可抓取性等知识发生错误或遇到恶意知识的情况下，可以快速重建该图形数据库。

第五步，建立知识推理机制，通过知识推理修改知识图。不同来源获取的知识，其置信度可能不同，根据不同来源获取的知识其置信度的差异，将置信度高的新知识***现有图中，具体可通过增删或拆分等进行知识图的更新，实现知识图的更新。将最近更新的知识点采用分布式队列***进行管理。管理的知识点可以被推理算法、图形生成器和机器学习插件所消耗，用于填充图形数据库。这些插件以及其他应用于整个图形操作的学习算法构成了学习推理的框架。

如本实例中，把关于机器人路径规划的更优的参数更新到原知识图中，可删除原来知识图中机器人到达人的路径规划参数，并将新的参数增加到原来的位置。

第六步，建立机器人查询库并进行检索。该查询库支持图检索函数，采用图检索函数，从知识图中通过遍历从任务起点到任务终点的所有路径，找到完成任务的路径；根据该路径上所包含的所有知识点和边，实现指定任务；且该图检索函数支持对所有路径按照指定条件进行排序。

本实例中，通过图检索函数可以得到从所有从桌子上的茶杯到人的可行路径，即完成该实施例中目标任务的所有路径，根据该路径上所包含的所有的知识点和边，实现将茶杯从桌子上端到人所在处的任务。具体的查询语句可表示为：

Paths＝fetch({name：’Human’})→[r*]→({name：’Cup’})

其中，()内代表的是节点，[]内代表的是边，fetch是查询该路径的函数名。

若有需要，可以对所有可行路径按照知识点的置信度进行排序，以选择最佳的路径。具体查询语句可以表示为：

SortBy(λP→BeliefP)paths

其中，SortBy是排序函数名，函数会将所有可行路径按照置信度从高到低进行排序并返回。

建立一个可学习可共享的机器人知识引擎，并建立完善的知识获取机制，包括本地获取机制和网络获取机制；基于已获取知识建立知识图；对符号、自然语言、触觉感官、机器人运动轨迹、视觉特征等不同模式的数据进行处理，实现了对不同模式数据处理的统一性；在机器人执行任务时，将机器人实时感知、来自互联网的知识和多种现有的机器人知识库同时加以利用，基于知识图对任务进行规划；构建了机器人与知识引擎之间的交互机制，以实现机器人的任务理解、环境感知和任务规划。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (3)

1.一种基于知识引擎的机器人与环境交互方法，其特征是，包括有以下步骤：

S1、建立知识获取机制；具体包括有：

建立关于人类行为的图像视频数据集，基于深度学习语义分割原理对人体动作进行行为分析预测；

通过基于计算机视觉原理的增强现实技术及行为预测算法，在可穿戴透视显示器上进行行为预测并提供多个用于确定行为意图以构成知识图节点的选项；

与多个网络知识源进行授权请求及连接以获取互联网知识；

S2、搭建由点和边组成的知识图，将机器人获取的知识按照逻辑、时间或空间顺序进行连接，形成知识网图；具体包括有：

用节点表示任意对象，用边表示两个节点之间的任务关系，通过节点和边组成知识图；

节点表示的对象包括有人、物体、音频、视频、数据集；

边包括有单向边和双向边；单向边表示对时间顺序、空间顺序有要求的任务；双向边表示需要进行数据交互的任务；

S3、建立知识解释机制，对各个知识来源的不同形式数据进行统一管理；知识解释具体为：

将机器人所获取的知识可按照逻辑、空间或时间顺序进行连接，形成知识网图；

以元数据方式对知识进行管理，以存储从不同源获取的不同形式的数据；

添加逆指针指向各种源中的知识基础；

S4、进行知识存储，以数据存储集群的方式存储不同形式的数据；

S5、建立知识推理机制，对知识图进行修改和重建；

S6、建立机器人查询库，通过查询语言得到实现任务起点到任务终点的可行路径；具体为：

采用图检索函数，从知识图中通过遍历从任务起点到任务终点的所有路径，找到完成任务的路径；

根据该路径上所包含的所有知识点和边，实现指定任务；

所述图检索函数支持对所有路径按照指定条件进行排序。

2.根据权利要求1所述的基于知识引擎的机器人与环境交互方法，其特征是，步骤S4知识存储具体为：通过建立数据存储集群进行存储数据；存储数据包括有各种知识、用户的众包反馈、其他机器学习算法参数；将大型媒体信息包括图片、视频、3D点云置放于分布式存储***中。

基于数据存储集群，建立以数据存储集群作为唯一信任源的图形数据库。

3.根据权利要求2所述的基于知识引擎的机器人与环境交互方法，其特征是，步骤S5知识推理机制具体为：

将最近更新的知识点采用分布式队列***进行管理；

管理的知识点可被消耗，用于填充图形数据库；

根据不同来源获取的知识其置信度的差异，将置信度高的新知识***现有图中，可通过增删或拆分进行知识图的更新。

Images