CN111191047A

CN111191047A - 一种面向人机协作拆卸任务的知识图谱构建方法

Info

Publication number: CN111191047A
Application number: CN201911422134.1A
Authority: CN
Inventors: 刘佳宜; 丁祎文; 徐文君; 刘志浩; 田思思; 周祖德
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-05-22

Abstract

本发明提供了一种面向人机协作拆卸任务的知识图谱构建方法，通过建立人机协作拆卸任务的模型、采集数据、知识抽取、知识融合、知识加工和知识更新，即通过构建人机协作拆卸知识表示模型，从人机协作拆卸环境中收集相关拆卸数据，并基于人机协作拆卸知识表示模型，从原始数据中提取出组织化的拆卸知识，存储形成知识库，构建了一个人机协作拆卸领域的知识图谱。实现了便于操作人员有效地收集和管理碎片化的人机协作拆卸任务的知识，方便快捷地与工业机器人进行人机交互的功能；本发明通过图形可视化技术将形成的知识图谱可视化，便于操作人员查询和执行人机协作拆卸任务。

Description

一种面向人机协作拆卸任务的知识图谱构建方法

技术领域

本发明属于知识图谱构建技术领域，具体涉及一种面向人机协作拆卸任务的知识图谱构建方法。

背景技术

知识图谱这一概念由谷歌公司提出，并被集成运用到谷歌搜索和推荐服务中。知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体-关系-实体”三元组；知识图谱属于人工智能研究领域中知识工程的范畴，同时结合了自然语言处理与深度学习、语义网、本体推理、大数据分析和知识表示学习等技术。互联网等新兴技术的发展是知识图谱发展的新机遇，在信息***的时代下，互联网提供了大量的多源异构的数据和信息，知识图谱是许多智能信息***的基础，比如搜索、推荐和数据分析***。知识图谱通过其知识组织形式可以有效地收集和管理碎片化知识，有着强大的描述逻辑能力和表达能力。

在工业生产制造环境下，面对复杂的拆卸环境，拆卸操作人员需要具备大量的专业知识和技能才能有效地与工业机器人执行协作拆卸任务。操作人员需要更方便快捷地与机器人进行人机交互，以获取相关的人机协作拆卸知识。

发明内容

本发明要解决的技术问题是：提供一种面向人机协作拆卸任务的知识图谱构建方法，用于管理人机协作拆卸任务的知识。

本发明为解决上述技术问题所采取的技术方案为：一种面向人机协作拆卸任务的知识图谱构建方法，包括以下步骤：

S1：通过确定人机协作拆卸任务的知识所涉及的领域为人机协作拆卸领域，划分知识的类别包括待拆产品、拆卸方案和过程数据，确定不同类别的属性和关系，构建人机协作拆卸任务的知识表示模型；

S2：采集用于构建知识图谱的人机协作拆卸任务相关的原始数据，原始数据从人机协作拆卸环境中收集；

S3：根据知识表示模型从采集到的数据中抽取细粒度的人机协作拆卸任务的知识，并保存为知识图谱；细粒度的人机协作拆卸任务的知识包括实体、实体间的关系、实体的属性和关系的属性；实体是知识图谱的核心信息单元，包括待拆产品的信息、拆卸方案的数据、操作人员的工作状态、工业机器人的运行状态和传感器数据；

S4：通过训练知识图谱的实体获取实体的向量，计算实体的向量的相似度消除重复的同义知识，完成知识图谱的知识融合和实体对齐；

S5：采用基于本体的逻辑推理对知识图谱进行一致性检测，推理出新的实体，消除有歧义的错误知识；

S6：将新的实体加入知识图谱存储到知识库中，执行步骤S3进行迭代，实现知识图谱的更新。

按上述方案，步骤S1中，待拆产品包括产品的规格、类别、组成部分和特征；拆卸方案包括人机协作拆卸任务的规划、配套资源和拆卸流程，拆卸流程包括操作人员的拆卸步骤和工业机器人的拆卸步骤；过程数据为在人机协作拆卸任务的执行过程中产生的数据，包括安装在人机协作拆卸环境中的传感器的数据、工业机器人的运行数据和拆卸指标数据。

进一步的，步骤S1中，还包括以下步骤：创建人机协作拆卸任务的知识表示模型的实例。

进一步的，步骤S2中，根据原始数据的多源异构性，将原始数据的类型分为非结构化数据、半结构化数据和结构化数据；针对原始数据的不同类型，采取不同的采集策略，具体为：对非结构化数据采取基于自然语言处理的实体抽取的方法从文本中采集数据；对半结构化数据采取基于模板的方法从网页中采集数据；对结构化数据采取数据库关系映射的方法从数据库中采集数据。

进一步的，步骤S3中，具体步骤为：

S31：设知识图谱为G，一系列独立的知识节点为V，知识节点之间的关系为E，节点标签和关系类型为T，节点和关系的属性、包括属性键和属性值为P；则将从数据源中提取的细粒度的人机协作拆卸任务的知识按照节点、关系、节点标签、关系类型、节点属性、关系属性组织在一起，定义为四元组

G＝＜V,E,T,P＞。

进一步的，步骤S3中，还包括以下步骤：

S32：将细粒度的人机协作拆卸任务的知识以三元组的形式存储在图数据库中形成知识库；一条三元组包括主语、谓词和宾语，其中主语和宾语分别为两个被描述的实体资源，谓词是主语的属性或者用于连接宾语或另一个属性的一条关系；

S33：设图数据库的查询操作为一个查询子图，查询子图中的一个变量代表图中的一个节点，where语句代表节点之间的某条边；若满足查询条件，则节点之间的边存在，两个节点连通；若不满足查询条件，则节点之间的边不存在，两个节点不连通。

进一步的，步骤S4中，具体步骤为：

S41：以双向LSTM网络作为语言模型，采用ELMo词向量模型训练知识图谱中的实体，获取相同实体在不同语境或特定句子下的向量表示A和B；

S42：设A_i和B_i分别为向量A和B的各自分量，其中i分别表示向量A和B 的第i个分量，总共有n个分量；则计算词向量A和B之间的余弦相似度sim(A， B)为

S43：根据相似度sim(A，B)进行实体融合和对齐，消除重复的同义知识。

进一步的，步骤S5中，具体步骤为：

S51：通过OWL本体语言，采用基于本体的描述逻辑，通过规则或本体在知识图谱中进行推理操作，推理出新的实体；

S52：采用基于本体的描述逻辑推理对知识图谱中的实体进行逻辑一致性检测，检查出不符合逻辑的有歧义的错误知识并消除。

按上述方案，还包括以下步骤：

S7：采用计算机图形可视化技术将构建好的知识图谱可视化，并提供人机协作拆卸任务的知识管理服务。

进一步的，步骤S7中，知识图谱可视化采用B/S架构，包括前端可视化模块、知识服务模块和后端数据存储模块；前端可视化模块采用D3.js框架构建，用于对知识图谱数据在Web页面上进行包括节点、关系和各种属性的可视化展现；知识服务模块采用SpringWeb框架构建，用于管理Web资源、配置应用对象，和为用户提供知识服务入口；后端数据存储模块采用图数据库存储知识图谱数据，用于对数据进行包括增加、删除、修改和查寻的操作。

本发明的有益效果为：

1.本发明的一种面向人机协作拆卸任务的知识图谱构建方法通过构建人机协作拆卸任务相关知识表示模型；收集人机协作拆卸相关的数据；根据知识表示模型，对采集的拆卸数据进行拆卸知识获取，得到相关的实体和关系，形成三元组；利用图数据库存储获取的拆卸知识；采用本体和知识相似度计算进行拆卸知识的融合和推理，完成实体对齐和一致性检测任务，保证知识的可靠性；将形成的知识图谱可视化，提供拆卸知识管理服务；实现了管理人机协作拆卸任务的知识的功能，方便操作人员执行人机协作拆卸任务，为人机协作拆卸提供了一种新的人机交互方式。

3.本发明提出的知识图谱构建方法采用的人机协作拆卸知识表示模型，可以有效地获取人机协作拆卸相关知识，表示能力强，可以处理较为复杂的关联知识，具有可解释性，并且支持知识推理。

2.本发明将形成的知识图谱可视化，方便操作人员执行人机协作拆卸任务。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的构建人机协作拆卸任务的知识表示模型的流程图。

图3是本发明实施例的人机协作拆卸任务的知识类别划分图。

图4是本发明实施例的多元异构数据源的采集策略图。

图5是本发明实施例的抽取细粒度的人机协作拆卸任务的知识的流程图。

图6是本发明实施例的知识融合的流程图。

图7是本发明实施例的知识加工的流程图。

图8是本发明实施例的知识图谱可视化的模块图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的一种面向人机协作拆卸任务的知识图谱构建方法，包括以下步骤：

S1：构建知识图谱首先要定义知识，知识是人类总结、归纳和思考而获取的事实、概念或者规则的集合，因此构建知识图谱的第一步就是构建知识表示模型；知识表示模型满足以下要求：定义客观实体的标示、定义一系列用于描述客观事物的概念和类别、支持推理的表示基础、可用于高效计算的数据结构；接近于人类认知，是人可理解的语言；参见图2，通过确定人机协作拆卸任务的知识所涉及的领域和范围为人机协作拆卸领域，划分知识的类别包括待拆产品、拆卸方案和过程数据，确定不同类别的属性和关系约束，以及创建人机协作拆卸任务的知识表示模型的相关实例；最终构建人机协作拆卸任务的知识表示模型；本实施例采用OWL本体语言构建知识表示模型，OWL以描述逻辑为基础，提供了描述客观世界事实的基本框架，可以表示各种复杂类，有属性约束和基数约束，使得其可以表示更为复杂的本体知识；

步骤S1中待拆产品的类的层次结构参见图3，步骤S1中待拆产品包括产品的规格、类别、组成部分和特征；拆卸方案包括人机协作拆卸任务的规划、配套资源和拆卸流程，拆卸流程包括操作人员的拆卸步骤和工业机器人的拆卸步骤；过程数据为在人机协作拆卸任务的执行过程中产生的数据，包括安装在人机协作拆卸环境中的传感器的数据、工业机器人的运行数据和拆卸指标数据；针对构建的知识表示模型中的具体类别，进一步定义更为精细化的属性以及属性关系约束，并创建相关实例；通过这些属性设定更加精细地为知识图谱构建下一步如数据采集和知识获取做准备；一个好的知识表示模型可以保证知识获取的准确度。

S2：采集用于构建知识图谱的人机协作拆卸任务相关的原始数据，原始数据从人机协作拆卸环境中收集；参见图4，根据原始数据的多源异构性，将原始数据的类型分为非结构化数据、半结构化数据和结构化数据；针对原始数据的不同类型，采取不同的采集策略，具体为：对文本类型的非结构化数据采取基于自然语言处理的实体抽取的方法从文本中采集数据；对xml和json格式的半结构化数据，采取基于模板的方法，针对数据源设计特定的模式从网页中抽取数据；对存储在数据库里的结构化数据，采用数据库关系映射的方式从不同的数据库表中收集数据。

S3：根据知识表示模型从采集到的数据中抽取细粒度的人机协作拆卸任务的知识，并保存为知识图谱；细粒度的人机协作拆卸任务的知识是以知识图谱的形式组织的，知识图谱是一个大规模的语义网，其中包含了大量的实体、实体间的关系、实体的属性和关系的属性；实体是知识图谱的核心信息单元，包括待拆产品的信息、拆卸方案的数据、操作人员的工作状态、工业机器人的运行状态和传感器数据；一段知识的语义可以被表示为其包含的实体以及这些实体之间的交互和关系；知识获取就包括从各种数据，比如文本、网页、产品页面、技术论坛等中获取实体的过程，以及使用不同的策略和不同的技术，包括深度学习方法、统计方法、数据挖掘方法，提取出符合知识表示模型的实体，如拆卸产品信息、工业机器人运行状态、拆卸方案和传感器数据等。

参见图5，步骤S3的具体步骤为：

G＝＜V,E,T,P＞；

S32：将细粒度的人机协作拆卸任务的知识以三元组的形式存储在图数据库中形成知识库；知识图谱中每个实体，加上属性和关系都有着特定的标识符用于区别和定位；每个实体资源，实体资源的属性以及属性值，或者其他资源的一条关系，可以组成一条三元组；一条三元组包括主语、谓词和宾语，其中主语和宾语分别为两个被描述的实体资源，谓词是主语的属性或者用于连接宾语或另一个属性的一条关系；

S4：在知识图谱中由于数据源的不同，收集提取的知识之间就会存在差异，出现大量的重复冗余知识，影响知识图谱的质量以及后续知识更新工作；通过训练知识图谱的实体获取实体的向量，计算实体的向量的相似度消除重复的同义知识，完成知识图谱的知识融合和实体对齐；本实施例采用余弦相似度来衡量实体的相似程度，根据相似度进行实体融合和对齐，消除重复的同义知识；

参见图6，步骤S4的具体步骤为：

S41：采用ELMo词向量模型训练知识图谱中的实体，获取对应的词向量； ELMo模型是一个动态词向量模型，其采用双向LSTM网络作为语言模型，高层的LSTM可以学习到词语中语境相关的特征信息，而低层LSTM可以捕捉到句子中语法方面的特征信息；两者结合在一起可以学习到相同实体在不同语境或者特定句子下的表示，从而实现语义消歧和实体对齐；设相同实体在不同语境或特定句子下的向量表示为A和B；

S5：本实施例采用本体推理实现知识一致性检测，消除冗余知识；基于本体的描述逻辑推理通过一些规则或者本体从知识图谱中进行推理操作，推理出新的实体；同时基于本体的描述逻辑推理也对知识图谱中存在的实体进行逻辑一致性检测，检查出不符合逻辑的错误的冗余知识；

参见图7，步骤S5的具体步骤为：

S6：将新的实体加入知识图谱存储到知识库中，执行步骤S3进行迭代，实现知识图谱的更新；

S7：采用计算机图形可视化技术将构建好的知识图谱可视化，提供人机协作拆卸任务的知识管理服务，方便用户快速有效地浏览、检索、管理和评估人机协作拆卸知识，提高了知识的复用程度；参见图8，知识图谱可视化采用互联网的 B/S架构，包括前端可视化模块、知识服务模块和后端数据存储模块；前端可视化模块采用D3.js图形可视化框架对知识图谱数据在Web页面上进行可视化展现，用于对知识图谱数据在Web页面上进行包括节点、关系和各种属性的可视化展现，为用户提供一个可视化页面方便浏览、检索和管理知识图谱；知识服务模块采用Spring Web框架构建，用于管理Web资源、配置应用对象，和为用户提供知识服务入口，通过对用户的需求进行解析，并转化为相对应的数据库查询语言，并将其通过前端接口传输到后端数据存储模块进行执行；后端数据存储模块采用图数据库存储知识图谱数据，用于对数据进行包括增加、删除、修改和查寻的操作，并将各种操作封装为RESTful API供前端调用。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims

1.一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S1中，

待拆产品包括产品的规格、类别、组成部分和特征；

拆卸方案包括人机协作拆卸任务的规划、配套资源和拆卸流程，拆卸流程包括操作人员的拆卸步骤和工业机器人的拆卸步骤；

过程数据为在人机协作拆卸任务的执行过程中产生的数据，包括安装在人机协作拆卸环境中的传感器的数据、工业机器人的运行数据和拆卸指标数据。

3.根据权利要求2所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S1中，还包括以下步骤：创建人机协作拆卸任务的知识表示模型的实例。

4.根据权利要求3所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S2中，根据原始数据的多源异构性，将原始数据的类型分为非结构化数据、半结构化数据和结构化数据；针对原始数据的不同类型，采取不同的采集策略，具体为：对非结构化数据采取基于自然语言处理的实体抽取的方法从文本中采集数据；对半结构化数据采取基于模板的方法从网页中采集数据；对结构化数据采取数据库关系映射的方法从数据库中采集数据。

5.根据权利要求4所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S3中，具体步骤为：

G＝＜V,E,T,P＞。

6.根据权利要求5所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S3中，还包括以下步骤：

7.根据权利要求6所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S4中，具体步骤为：

S42：设A_i和B_i分别为向量A和B的各自分量，其中i分别表示向量A和B的第i个分量，总共有n个分量；则计算词向量A和B之间的余弦相似度sim(A，B)为

8.根据权利要求7所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S5中，具体步骤为：

9.根据权利要求1所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：还包括以下步骤：

10.根据权利要求9所述的一种面向人机协作拆卸任务的知识图谱构建方法，其特征在于：所述的步骤S7中，知识图谱可视化采用B/S架构，包括前端可视化模块、知识服务模块和后端数据存储模块；

前端可视化模块采用D3.js框架构建，用于对知识图谱数据在Web页面上进行包括节点、关系和各种属性的可视化展现；

知识服务模块采用Spring Web框架构建，用于管理Web资源、配置应用对象，和为用户提供知识服务入口；

后端数据存储模块采用图数据库存储知识图谱数据，用于对数据进行包括增加、删除、修改和查寻的操作。