CN113283027B - 一种基于知识图谱和图神经网络的机械故障诊断方法 - Google Patents
一种基于知识图谱和图神经网络的机械故障诊断方法 Download PDFInfo
- Publication number
- CN113283027B CN113283027B CN202110550088.4A CN202110550088A CN113283027B CN 113283027 B CN113283027 B CN 113283027B CN 202110550088 A CN202110550088 A CN 202110550088A CN 113283027 B CN113283027 B CN 113283027B
- Authority
- CN
- China
- Prior art keywords
- fault
- node
- graph
- attention
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 230000008569 process Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000013480 data collection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于知识图谱以及图神经网络的机械故障诊断方法,包括:采集机械故障工单;对故障工单进行文本清洗,创建结构化的故障文本数据;创建可训练的故障节点特征数据、关系三元组数据以及图数据;构建机械故障知识图谱,并进行可视化展示;构建图注意力神经网络模型,并训练网络;获取机械故障知识图谱节点的特征表示,通过降维算法将节点特征表示降到二维,得到节点特征在二维平面上的分布,最终得到故障节点的分类,以此实现故障诊断。本发明利用图神经网络训练机械故障知识图谱,从智能决策层面做出诊断,可大大提高故障诊断的准确率。
Description
技术领域
本发明涉及基于知识的故障诊断技术领域,尤其涉及一种基于知识图谱和图神经网络的机械故障诊断方法。
背景技术
故障诊断技术就其分类而言,大致可分为三类:基于解析模型的方法、基于信号处理的方法和基于知识的智能故障诊断方法。其中,伴随着计算机技术的飞速进步,基于知识的智能故障诊断技术也在逐渐发展,但其技术仍不够成熟。在工业应用上,基于知识的智能故障诊断技术仍然缺少可行的工程方法。现有的基于知识的智能故障诊断方法大多是将知识工程、专家***、模糊控制、神经网络等人工智能技术简单地应用于故障检测与诊断技术中。然而,就智能决策层面而言,这些方法还有一些不足之处:其一,基于知识的故障诊断技术需要大量专家经验和专家知识,这会导致成本急剧增加;其二,知识数据库的建立极其依赖人工,消耗大量的人力物力,不利于解放劳动力以及自动化部署;其三,很容易忽略知识本身丰富的语义以及知识之间的巨大的潜在联系。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种基于知识图谱和图神经网络的机械故障诊断方法,针对在工业上已有的专家经验和故障诊断知识分布零散的情况下,为了弥补现有诊断方法难以利用知识之间隐藏的丰富的关系问题,将知识图谱引入到故障诊断领域,并引入图神经网络对故障知识图谱进行知识推理,从而实现挖掘机运行故障的智能诊断决策,解决挖掘机在运行时零部件的故障诊断与智能决策问题。
为解决上述问题,本发明采用以下技术方案。
步骤1、数据处理阶段:
步骤1.1、清洗故障工单文本数据。以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据,并且去除多余的标点符号以及辅助说明信息,其次去除对故障实体文本数据、故障关系三元组文本数据的解释说明,最终得到清洗完成的机械故障工单数据。
步骤1.2、创建结构化的故障文本数据。根据故障实体间的对应关系筛选故障三元组,具体形式为:(头实体,关系,尾实体),简记为:(h,r,t)。
步骤1.3、创建训练数据集、验证数据集、测试数据集。将清洗完的故障工单文本按照单个汉字做成一个字典,对每个故障实体按照汉字字典进行编码,编码向量作为其特征表示。为训练数据集,其中/>为训练集中第i个故障实体的特征向量,/>为训练集中第i个故障实体的one-hot标签向量,ns为训练集中故障实体的个数。/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量,nv为验证集中实体的个数。为测试数据集,其中/>为测试集中第i个故障实体的特征向量,nt为测试集中实体的个数。验证集和测试集都不含有标签数据。
步骤2、图谱展示阶段:
步骤2.1、构建故障知识图谱。基于Python和py2neo库创建机械故障知识图谱,并向机械故障知识图谱中***故障实体以及故障实体间的语义关系,最终形成一张完整的机械故障知识图谱。
步骤2.2、可视化展示。通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。
步骤3、模型训练阶段:
步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型。该模型属于图卷积神经网络的变种,此模型基于聚合函数进行建模,并且提出了以注意力体制为核心运算的注意力层。创建模型时指定了图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数。
该模型由堆叠多头图注意力层来实现。图注意力层的结构图由图5a以及图5b所示。图注意力层是一种将数据的特征向量x={x1,x2,…,xN},xi∈RF(xi,i=1,2,…,N为节点更新前的特征向量,N为节点数,F为节点更新前的维度)经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′={x′1,x′2,…,x′N},x′i∈RF′(x′i,i=1,2,…,N为节点更新后的特征向量,N为节点数,F′为节点更新后的维度)的神经网络层,其核心便是计算注意力系数。
(i)注意力系数
为了将输入的故障节点的特征向量转换到更高维的特征向量空间中,通过已初始化的矩阵W(W∈RF′×F)定义一个映射b:RF′×RF→R,再由自注意力机制(self-attention)计算得到两个故障节点之间的权重关系
eij=b(Wxi,Wxj) (1)
其中,eij是两个故障节点之间的权重关系,b是映射向量,W是第i个和第j故障节点共享的线性变换矩阵,xi是当前关注的故障节点,xj是故障节点xi的邻居故障节点。
加入LeakyReLU函数再使用softmax进行正则化处理,就可以得到故障节点i的注意力系数:
其中,αij是两个故障节点之间的权重系数,Ni为第i个故障节点的邻居节点,exp(x)表示为数学运算ex,||为向量拼接操作,bT是映射向量的转置,xk为第k个故障节点的邻居节点。
将所求的注意力模型特征加权求和,可得:
其中,σ是非线性转换操作,x′i是更新后的第i个故障节点的特征向量。
(ii)多头图注意力层
为了使自注意力机制更加稳定,可以引入多头图注意力机制(multi-headattention)。多头的含义是指分别对每个故障节点i调用K次相互独立的注意力运算(可以进行平均优化),然后将输出结果拼接在一起得到一个总的向量:
其中,||为拼接操作,K为相互独立的注意力运算次数,σ是非线性转换操作,为第k次的注意力系数,Wk为第k组的线性变换矩阵。
步骤3.2、在训练集上训练图注意力神经网络模型,并在验证集验证模型的准确性,在测试集测试模型可靠性。将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练,对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数,使用Adam优化器优化,不断调整训练参数,使损失值不断减小。通过对比训练集中正确预测的节点个数占比得到正确率。验证集数据不参与反向传播训练,只得到其正确率。最后通过测试集/>测试模型效果。
步骤4、效果展示阶段:
步骤4.1、获取训练后的故障节点特征表示。将训练完的故障实体向量取出保存,作为故障实体新的特征表示。
步骤4.2、降维展示:通过TSNE降维算法将故障节点特征表示降至二维,得到故障实体特征在二维平面上的分布,并画出此分布的散点图,最终可以得到故障节点分类。
与现有技术相比,本发明具有以下优点和有益效果:
1.本发明将知识图谱引入到故障诊断领域,并且提供一种基于图神经网络进行知识推理的机械故障诊断方法,此方法能够实现机械运行故障的智能诊断决策,解决机械在运行时零部件的故障诊断与智能决策问题,从而提高故障诊断准确率。
2.本发明依据机械故障数据文件模板自动抽取故障实体以及故障三元组,并且自动构建机械故障知识数据库,实现不依赖大量人工的自动化部署,可大大减少人力物力的消耗,解放劳动力。
3.本发明集中储存了大量的有关机械运行故障的专家经验和专家知识,深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系,在技术上提供了智能诊断决策,辅助操作员快速定位故障以及提供处理故障的方法,并且不会增加额外的数据收集成本。
附图说明
图1为本发明的一种实施例的方法流程图。
图2为本发明的一种实施例的故障知识图谱展示图。
图3为本发明的一种实施例的方法流程结构图。
图4a-图4b为本发明的一种实施例的故障节点分类展示图。其中,图4a为本发明的一种实施例的训练前故障节点分类展示图,图4b为本发明的一种实施例的训练后故障节点分类展示图。
图5a-图5b为本发明的一种实施例的图注意力层结构图。其中,图5a为本发明的一种实施例的计算注意力系数结构图,图5b为本发明的一种实施例的注意力层及多头注意力结构图。
具体实施方式
本发明的一种基于知识图谱以及图神经网络的机械故障诊断方法,在建立机械故障知识图谱的基础上利用图神经网络进行知识推理,从而解决机械的故障诊断问题。此方法利用图神经网络训练机械故障知识图谱,从智能决策层面做出诊断,能提高故障诊断的准确率。本发明方法包括:采集机械故障工单;对故障工单进行文本清洗,创建结构化的故障文本数据;创建可训练的故障节点特征数据、关系三元组数据以及图数据;构建机械故障知识图谱,并进行可视化展示;构建图注意力神经网络模型,并训练网络;获取机械故障知识图谱节点的特征表示,通过降维算法将节点特征表示降到二维,可得到节点特征在二维平面上的分布,最终可以得到故障节点的分类,以此实现故障诊断。
下面结合附图对本发明作进一步详细描述。
图1为本发明的一种实施例的方法流程图。如图1所示,本发明提供一种基于知识图谱和图神经网络的机械故障诊断方法,该方法包括以下步骤:
步骤1为数据处理阶段,如图3的故障数据处理模块所示,其中包括:采集机械故障工单,并对故障工单文件进行文本清洗,只保留其中故障实体以及故障关系的语义信息;创建结构化的文本数据,包括前置条件、故障原因、故障现象、故障程度、故障部位、维修方法以及辅助实体;创建可训练的故障节点特征数据、关系三元组数据以及图数据。
步骤2为图谱展示阶段,如图3的建立故障知识图谱模块所示:基于Python和py2neo库构建机械故障知识图谱,并通过Neo4j图数据库进行可视化展示;
步骤3为模型训练阶段,如图3的图神经网络模型模块所示:构建图注意力神经网络模型,在训练集上训练网络,在验证集上验证网络模型的准确性,在测试集上测试模型可靠性。
步骤4为效果展示阶段,如图3的结果展示模块所示:获取机械故障知识图谱的节点特征表示,通过TSNE降维算法将节点特征表示降到二维,可以得到节点特征在二维平面上的分布,最终可以得到故障节点分类。
具体的,所述步骤1数据处理阶段,包括:
步骤1.1、清洗故障工单文本数据。以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据,并且去除多余的标点符号以及辅助说明信息,其次去除对故障实体文本数据、故障关系三元组文本数据的解释说明,最终得到清洗完成的机械故障工单数据。
步骤1.2、创建结构化的故障文本数据。根据故障实体间的对应关系筛选故障三元组,具体形式为:(头实体,关系,尾实体),简记为:(h,r,t)。
步骤1.3、创建训练数据集、验证数据集、测试数据集。将清洗完的故障工单文本按照单个汉字做成一个字典,对每个故障实体按照汉字字典进行编码,编码向量作为其特征表示。为训练数据集,其中/>为训练集中第i个故障实体的特征向量,/>为训练集中第i个故障实体的one-hot标签向量,ns为训练集中故障实体的个数。/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量,nv为验证集中实体的个数。为测试数据集,其中/>为测试集中第i个故障实体的特征向量,nt为测试集中实体的个数。验证集和测试集都不含有标签数据。
具体的,所述步骤2图谱展示阶段,包括:
步骤2.1、构建故障知识图谱。基于Python和py2neo库创建机械故障知识图谱,并向机械故障知识图谱中***故障实体以及故障实体间的语义关系,最终形成一张完整的机械故障知识图谱。
步骤2.2、可视化展示。通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。
具体的,所述步骤3模型训练阶段,包括:
步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型。该模型属于图卷积神经网络的变种,此模型基于聚合函数进行建模,并且提出了以注意力体制为核心运算的注意力层。创建模型时指定了图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数。
该模型由堆叠多头图注意力层来实现。图注意力层的结构图由图5a以及图5b所示。图注意力层是一种将数据的特征向量x={x1,x2,…,xN},xi∈RF(xi,i=1,2,…,N为节点更新前的特征向量,N为节点数,F为节点更新前的维度)经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′={x′1,x′2,…,x′N},x′i∈RF′(x′i,i=1,2,…,N为节点更新后的特征向量,N为节点数,F′为节点更新后的维度)的神经网络层,其核心便是计算注意力系数。
(i)注意力系数
为了将输入的故障节点的特征向量转换到更高维的特征向量空间中,通过已初始化的矩阵W(W∈RF′×F)定义一个映射b:RF′×RF→R,再由自注意力机制(self-attention)计算得到两个故障节点之间的权重关系
eij=b(Wxi,Wxj) (1)
其中,eij是两个故障节点之间的权重关系,b是映射向量,W是第i个和第j故障节点共享的线性变换矩阵,xi是当前关注的故障节点,xj是故障节点xi的邻居故障节点。
加入LeakyReLU函数再使用softmax进行正则化处理,就可以得到故障节点i的注意力系数:
其中,αij是两个故障节点之间的权重系数,Ni为第i个故障节点的邻居节点,exp(x)表示为数学运算ex,||为向量拼接操作,bT是映射向量的转置,xk为第k个故障节点的邻居节点。
将所求的注意力模型特征加权求和,可得:
其中,σ是非线性转换操作,x′i是更新后的第i个故障节点的特征向量。
(ii)多头图注意力层
为了使自注意力机制更加稳定,可以引入多头图注意力机制(multi-headattention)。多头的含义是指分别对每个故障节点i调用K次相互独立的注意力运算(可以进行平均优化),然后将输出结果拼接在一起得到一个总的向量:
其中,||为拼接操作,K为相互独立的注意力运算次数,σ是非线性转换操作,为第k次的注意力系数,Wk为第k组的线性变换矩阵。
步骤3.2、在训练集上训练图注意力神经网络模型,并在验证集验证模型的准确性,在测试集测试模型可靠性。将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练,对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数,使用Adam优化器优化,不断调整训练参数,使损失值不断减小。通过对比训练集中正确预测的节点个数占比得到正确率。验证集数据不参与反向传播训练,只得到其正确率。最后通过测试集/>测试模型效果。
具体的,所述步骤4效果展示阶段,包括:
步骤4.1、获取训练后的故障节点特征表示。将训练完的故障实体向量取出保存,作为故障实体新的特征表示。
步骤4.2、降维展示:通过TSNE降维算法将故障节点特征表示降至二维,得到故障实体特征在二维平面上的分布,并画出此分布的散点图,最终可以得到故障节点分类。
本发明提出的基于知识图谱和图神经网络的机械故障诊断方法,可以用来实现机械运行故障的智能诊断决策,解决机械在运行时零部件的故障诊断与智能决策问题。
1.本发明将知识图谱引入到故障诊断领域,在建立机械故障知识图谱的基础上利用图注意力神经网络进行知识推理,从而解决机械的故障诊断问题。此方法利用图注意力神经网络训练机械故障知识图谱,从智能决策层面做出诊断,能提高故障诊断准确率。
2.本发明可以依据机械故障数据文件模板自动抽取故障实体以及故障三元组,并且自动构建机械故障知识数据库,实现不依赖大量人工的自动化部署,能尽可能的减少人力物力的消耗,解放劳动力。
3.本发明集中储存了大量的有关机械运行故障的专家经验和专家知识,深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系,在技术上提供了智能诊断决策,辅助操作员快速定位故障以及提供处理故障的方法,并且不会增加额外的数据收集成本。
本发明在国产某型号挖掘机知识数据上进行了验证,本发明采用了3层图注意力层的图注意力神经网络。
本发明验证结果如下表所示:
训练准确率 | 验证准确率 | 测试准确率 |
0.9093 | 0.7600 | 0.7840 |
本发明验证结果图如图4a和图4b所示,结合上表和结果图可以看出该模型能很好的预测出挖掘机故障节点类别,本发明实现了挖掘机运行故障的智能诊断决策,解决了挖掘机在运行时零部件的故障诊断与智能决策问题,提高了故障诊断准确率。同时,本发明深入挖掘了故障知识本身丰富的语义以及故障知识之间的巨大的潜在联系,在技术上提供了智能诊断决策,辅助操作员快速定位故障以及提供处理故障的方法。本发明也依据挖掘机故障数据文件模板自动抽取故障实体以及故障三元组,并且自动构建挖掘机故障知识数据库,实现了不依赖大量人工的自动化部署,能尽可能的减少了人力物力的消耗,解放了劳动力。
Claims (4)
1.一种基于知识图谱和图神经网络的机械故障诊断方法,其特征在于,包括以下步骤:
步骤1、数据处理阶段:采集机械故障工单,并对故障工单文件进行文本清洗,只保留其中故障实体以及故障关系的语义信息;创建结构化的文本数据,包括前置条件、故障原因、故障现象、故障程度、故障部位、维修方法以及辅助实体;创建可训练的故障节点特征数据、关系三元组数据以及图数据;
步骤2、图谱展示阶段:基于Python和py2neo库构建机械故障知识图谱,并通过Neo4j图数据库进行可视化展示;
步骤3、模型训练阶段:构建图注意力神经网络模型,在训练集上训练网络,在验证集上验证网络模型的准确性,在测试集上测试模型可靠性;
步骤4、效果展示阶段:获取机械故障知识图谱的节点特征表示,通过TSNE降维算法将节点特征表示降到二维,获得节点特征在二维平面上的分布,最终得到故障节点分类;
所述步骤3模型训练阶段,具体包括:
步骤3.1、基于PyTorch深度学习框架构建图注意力神经网络模型:该模型属于图卷积神经网络的变种,此模型基于聚合函数进行建模,并且提出以注意力体制为核心运算的注意力层;创建模型时指定图注意力神经网络模型的深度、各层的节点数、学习率、注意力头数以及迭代次数;
所述的图注意力神经网络模型由堆叠多头图注意力层来实现;图注意力层是一种将数据的特征向量x={x1,x2,…,xN},xi∈RF经过一个以注意力为核心的聚合操作输出得到一个新的特征向量x′={x′1,x′2,…,x′N},x′i∈RF′的神经网络层,其核心便是计算注意力系数;其中,xi,i=1,2,…,N为节点更新前的特征向量,N为节点数,F为节点更新前的维度;x′i,i=1,2,…,N为节点更新后的特征向量,N为节点数,F′为节点更新后的维度;
步骤3.2、在训练集上训练图注意力神经网络模型,并在验证集验证模型的准确性,在测试集测试模型可靠性:将训练集数据和验证集数据/>同时送入图注意力神经网络模型进行训练,对于每个故障节点i得到其预测标签/>设置交叉熵函数为损失函数,使用Adam优化器优化,不断调整训练参数,使损失值不断减小;通过对比训练集中正确预测的节点个数占比得到正确率;验证集数据不参与反向传播训练,只得到其正确率;最后通过测试集/>测试模型效果;
所述的注意力系数的计算过程包括:
为了将输入的故障节点的特征向量转换到更高维的特征向量空间中,通过已初始化的矩阵W(W∈RF′×F)定义一个映射b:RF′×RF→R,再由自注意力机制计算得到两个故障节点之间的权重关系
eij=b(Wxi,Wxj) (1)
其中,eij是两个故障节点之间的权重关系,b是映射向量,W是第i个和第j故障节点共享的线性变换矩阵,xi是当前关注的故障节点,xj是故障节点xi的邻居故障节点;
加入LeakyReLU函数再使用softmax进行正则化处理,得到故障节点i的注意力系数:
其中,αij是两个故障节点之间的权重系数,Ni为第i个故障节点的邻居节点,exp(x)表示为数学运算ex,||为向量拼接操作,bT是映射向量的转置,xk为第k个故障节点的邻居节点;
将所求的注意力模型特征加权求和,得到:
其中,σ是非线性转换操作,xi′是更新后的第i个故障节点的特征向量;
所述的多头图注意力层是指:
为了使自注意力机制更加稳定,引入多头图注意力机制;多头是指分别对每个故障节点i调用K次相互独立的注意力运算,进行平均优化;然后将输出结果拼接在一起得到一个总的向量:
其中,||为拼接操作,K为相互独立的注意力运算次数,σ是非线性转换操作,为第k次的注意力系数,Wk为第k组的线性变换矩阵。
2.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法,其特征在于,所述步骤1数据处理阶段,具体包括:
步骤1.1、清洗故障工单文本数据:以正则表达式抽取故障工单文本里的故障实体文本数据、故障关系三元组文本数据,并且去除多余的标点符号以及辅助说明信息;去除对故障实体文本数据、故障关系三元组文本数据的解释说明,最终得到清洗完成的机械故障工单数据;
步骤1.2、创建结构化的故障文本数据:根据故障实体间的对应关系筛选故障三元组,具体形式为:头实体,关系,尾实体,简记为:h,r,t;
步骤1.3、创建训练数据集、验证数据集、测试数据集:将清洗完的故障工单文本按照单个汉字做成一个字典,对每个故障实体按照汉字字典进行编码,编码向量作为其特征表示;为训练数据集,其中/>为训练集中第i个故障实体的特征向量,/>为训练集中第i个故障实体的one-hot标签向量,ns为训练集中故障实体的个数;/>为验证数据集,其中/>为验证集中第i个故障实体的特征向量,nv为验证集中实体的个数;为测试数据集,其中/>为测试集中第i个故障实体的特征向量,nt为测试集中实体的个数;验证集和测试集均不含有标签数据。
3.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法,其特征在于,所述步骤2图谱展示阶段,具体包括:
步骤2.1、构建故障知识图谱:基于Python和py2neo库创建机械故障知识图谱,并向机械故障知识图谱中***故障实体以及故障实体间的语义关系,最终形成一张完整的机械故障知识图谱;
步骤2.2、可视化展示:通过Neo4j图数据库进行可视化展示,并且能够通过Python脚本实现各种故障数据的增减查找的图搜索算法。
4.根据权利要求1所述的一种基于知识图谱和图神经网络的机械故障诊断方法,其特征在于,所述步骤4效果展示阶段,具体包括:
步骤4.1、获取训练后的故障节点特征表示:将训练完的故障实体向量取出保存,作为故障实体新的特征表示;
步骤4.2、降维展示:通过TSNE降维算法将故障节点特征表示降至二维,得到故障实体特征在二维平面上的分布,并画出此分布的散点图,最终得到故障节点分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550088.4A CN113283027B (zh) | 2021-05-20 | 2021-05-20 | 一种基于知识图谱和图神经网络的机械故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550088.4A CN113283027B (zh) | 2021-05-20 | 2021-05-20 | 一种基于知识图谱和图神经网络的机械故障诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113283027A CN113283027A (zh) | 2021-08-20 |
CN113283027B true CN113283027B (zh) | 2024-04-02 |
Family
ID=77280284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110550088.4A Active CN113283027B (zh) | 2021-05-20 | 2021-05-20 | 一种基于知识图谱和图神经网络的机械故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113283027B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113806478A (zh) * | 2021-08-30 | 2021-12-17 | 南京航空航天大学 | 一种基于图神经网络的挖掘机故障辅助决策方法 |
CN113761225A (zh) * | 2021-09-09 | 2021-12-07 | 昆明理工大学 | 一种融合知识图谱与多元神经网络模型的汽车发动机故障预测方法 |
CN113886120B (zh) * | 2021-09-28 | 2024-02-27 | 济南浪潮数据技术有限公司 | 一种服务器故障诊断方法、装置、设备及可读存储介质 |
CN114580108B (zh) * | 2022-03-10 | 2023-09-05 | 兰州理工大学 | 一种基于图神经网络的氧气顶吹转炉小样本故障诊断方法 |
CN114757097B (zh) * | 2022-04-07 | 2023-09-26 | 国网河北省电力有限公司邯郸供电分公司 | 一种线路故障诊断方法及装置 |
CN114785674A (zh) * | 2022-04-27 | 2022-07-22 | 中国电信股份有限公司 | 故障定位方法及装置、计算机可存储介质 |
CN115544265A (zh) * | 2022-09-13 | 2022-12-30 | 南京航空航天大学 | 一种基于轴承故障知识图谱的轴承故障诊断方法 |
CN115456109B (zh) * | 2022-09-30 | 2023-11-24 | 中国电力科学研究院有限公司 | 电网故障元件辨识方法、***、计算机设备及存储介质 |
CN116611523B (zh) * | 2023-07-18 | 2023-09-26 | 山东师范大学 | 涡轮风扇发动机的可解释故障预测方法及*** |
CN116893924B (zh) * | 2023-09-11 | 2023-12-01 | 江西南昌济生制药有限责任公司 | 设备故障处理方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019090878A1 (zh) * | 2017-11-09 | 2019-05-16 | 合肥工业大学 | 基于向量值正则核函数逼近的模拟电路故障诊断方法 |
CN110033101A (zh) * | 2019-03-07 | 2019-07-19 | 华中科技大学 | 基于融合特征的知识图谱的水电机组故障诊断方法和*** |
CN112269901A (zh) * | 2020-09-14 | 2021-01-26 | 合肥中科类脑智能技术有限公司 | 一种基于知识图谱的故障判别推理方法 |
CN112307218A (zh) * | 2020-10-21 | 2021-02-02 | 浙江大学 | 基于知识图谱的智能电厂典型设备故障诊断知识库构建方法 |
CN112580831A (zh) * | 2020-11-19 | 2021-03-30 | 国网江苏省电力有限公司信息通信分公司 | 一种基于知识图谱的电力通信网智能辅助运维方法及*** |
-
2021
- 2021-05-20 CN CN202110550088.4A patent/CN113283027B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019090878A1 (zh) * | 2017-11-09 | 2019-05-16 | 合肥工业大学 | 基于向量值正则核函数逼近的模拟电路故障诊断方法 |
CN110033101A (zh) * | 2019-03-07 | 2019-07-19 | 华中科技大学 | 基于融合特征的知识图谱的水电机组故障诊断方法和*** |
CN112269901A (zh) * | 2020-09-14 | 2021-01-26 | 合肥中科类脑智能技术有限公司 | 一种基于知识图谱的故障判别推理方法 |
CN112307218A (zh) * | 2020-10-21 | 2021-02-02 | 浙江大学 | 基于知识图谱的智能电厂典型设备故障诊断知识库构建方法 |
CN112580831A (zh) * | 2020-11-19 | 2021-03-30 | 国网江苏省电力有限公司信息通信分公司 | 一种基于知识图谱的电力通信网智能辅助运维方法及*** |
Non-Patent Citations (2)
Title |
---|
基于改进LSTM的高速列车牵引***微小渐变故障诊断;冒泽慧 等;中国科学;20210518;第51卷(第6期);全文 * |
基于神经网络的柴油发动机的故障诊断;宋娟 等;工业控制计算机;20181125(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113283027A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113283027B (zh) | 一种基于知识图谱和图神经网络的机械故障诊断方法 | |
CN111337768B (zh) | 变压器油中溶解气体的深度并行故障诊断方法及*** | |
CN112149316B (zh) | 基于改进的cnn模型的航空发动机剩余寿命预测方法 | |
CN105930277B (zh) | 一种基于缺陷报告分析的缺陷源代码定位方法 | |
CN110070183A (zh) | 一种弱标注数据的神经网络模型训练方法及装置 | |
CN110929847A (zh) | 一种基于深度卷积神经网络的换流变压器故障诊断方法 | |
CN110647830B (zh) | 基于卷积神经网络和高斯混合模型的轴承故障诊断方法 | |
CN111475655B (zh) | 一种基于配电网知识图谱的电力调度文本实体链接方法 | |
CN111709244B (zh) | 一种用于矛盾纠纷事件因果关系识别的深度学习方法 | |
CN112685504B (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
CN110321555A (zh) | 一种基于循环神经网络模型的电网信号分类方法 | |
CN114898121A (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
CN114241191A (zh) | 一种基于跨模态自注意力的无候选框指代表达理解方法 | |
CN112507720A (zh) | 基于因果语义关系传递的图卷积网络根因识别方法 | |
CN112559741B (zh) | 核电设备缺陷记录文本分类方法、***、介质及电子设备 | |
CN117743595A (zh) | 一种基于图神经网络的电力监控事件识别与智能分析方法 | |
CN117852541A (zh) | 一种实体关系三元组抽取方法、***及计算机设备 | |
CN113378581A (zh) | 一种基于多元概念注意力模型的知识追踪方法及*** | |
CN111737993B (zh) | 一种配电网设备的故障缺陷文本提取设备健康状态方法 | |
CN117592563A (zh) | 一种领域知识增强的电力大模型训调方法 | |
CN116007937A (zh) | 一种机械设备传动部件智能故障诊断方法及装置 | |
CN115391519A (zh) | 一种基于nlp技术的企业自动打标签模型生成方法、***、设备以及存储介质 | |
CN114254199A (zh) | 基于二分图投影和node2vec的课程推荐方法 | |
CN114625831A (zh) | 一种面向智能电网负荷辨识的分类评价反馈方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |