CN113239143B - 融合电网故障案例库的输变电设备故障处理方法及*** - Google Patents

融合电网故障案例库的输变电设备故障处理方法及*** Download PDF

Info

Publication number
CN113239143B
CN113239143B CN202110467599.XA CN202110467599A CN113239143B CN 113239143 B CN113239143 B CN 113239143B CN 202110467599 A CN202110467599 A CN 202110467599A CN 113239143 B CN113239143 B CN 113239143B
Authority
CN
China
Prior art keywords
fault
text
semantic
information
power grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110467599.XA
Other languages
English (en)
Other versions
CN113239143A (zh
Inventor
秦佳峰
杨祎
白德盟
郑文杰
林颖
李程启
刘萌
辜超
吕学宾
周超
李龙龙
李�杰
王建
孙景文
贾然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110467599.XA priority Critical patent/CN113239143B/zh
Publication of CN113239143A publication Critical patent/CN113239143A/zh
Application granted granted Critical
Publication of CN113239143B publication Critical patent/CN113239143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于设备故障处理领域，提供了一种融合电网故障案例库的输变电设备故障处理方法及***。其中，该方法包括将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端。

Description

融合电网故障案例库的输变电设备故障处理方法及***
技术领域
本发明属于设备故障处理领域，尤其涉及一种融合电网故障案例库的输变电设备故障处理方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，在医疗、电信、金融等历史文本数据积累多的领域中，自然语言处理技术已经显示出对行业发展进步的推动作用。随着智能电网的不断成熟及泛在电力物联网工作的推进，自然语言处理技术在电力行业的应用需求也在不断扩大。伴随着电网业务的持续发展，电网业务相关的文本数据的规模不断增大，形式不断丰富，呈现数据海量化、多元化特征。其中，电网输变电设备故障文本是电网故障检修工作中的现场检修经验的积累，其中包含了设备故障及检修的详细内容，具有很高的专业价值。
目前一些自然语言处理技术已经在中文电网文本领域得到一些应用，包括：基于文本分类技术对缺陷文本的等级进行分类、基于关键字匹配查询文本等等。这些应用虽然各有所长，但发明人发现，设备故障信息具有复杂且多样性的特点，目前存在着单个技术应用面窄、对文本数据挖掘不深以及没有针对电网设备故障分析场景等问题。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种融合电网故障案例库的输变电设备故障处理方法及***，其以故障案例库为基础，结合领域数据库和电网标准库，能够充分利用电网相关的文本知识，可以针对设备故障现象，提供可能的故障原因，及时制定针对性的电网输变电设备故障检测维修方案，给出相关电网标准，能够解决电网输变电设备故障诊断知识获取难的问题。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种融合电网故障案例库的输变电设备故障处理方法。
一种融合电网故障案例库的输变电设备故障处理方法，其包括：
将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；
利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；
将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端。
作为一种实施方式，所述结构化故障案例库是根据从电网故障文本中提取设备故障信息构建而成。
作为一种实施方式，在构建结构化故障案例库的过程中，使用图卷积词嵌入的文本分类模型对电网故障文本的故障类别进行分类，丰富案例库属性。
作为一种实施方式，在构建结构化故障案例库的过程中，采用统一属性模板提取设备故障信息。
作为一种实施方式，所述多层语义和自注意力的文本匹配模型在编码层和句级语义交互层进行创新，编码层由卷积神经网络CNN和自注意力机制的网络结构构成，句级语义交互层能够利用注意力从句子角度进行文本语义交互。
作为一种实施方式，计算筛选出的故障案例与电网标准库的关键字匹配度的过程为：
基于设定数量相似的故障案例进行统计，记录不同关键字的权重，得到带权重的关键字列表；
计算当前关键字列表和电网标准的关键字的匹配度。
作为一种实施方式，所述电网领域数据库是基于爬虫技术获取电网故障问答对数据而构建。
本发明的第二个方面提供一种融合电网故障案例库的输变电设备故障处理***。
一种融合电网故障案例库的输变电设备故障处理***，其包括：
故障案例筛选模块，其用于将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；
电网标准筛选模块，其用于利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；
故障信息及维修方案获取模块，其用于将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明通过图卷积结构捕捉词语的全局信息，根据当前输入的样本捕捉样本内部局部信息，利用注意力机制融合长距离语义信息，实现了结合词语全局信息和局部信息的新结构，突破了神经网络受限于当前样本无法捕捉到全局信息的问题并在多个数据集上的结果显示了模型达到不错的效果，在没使用额外词向量的情况仍然下比多数模型的效果更好。
(2)本发明提出了基于多层语义和自注意力的文本匹配模型。模型中采用结合自注意力机制和卷积神经网络的模型结构作为编码器，有效的将局部特征和上下文特征统一，解决了卷积神经网络只能关注局部特征问题。同时为更好的进行文本对的匹配，提出了交互式的多层语义结构，更好的进行句子级的交互。
(3)本发明提出了自适应权重的关键字算法针对故障现象筛选出相关电网标准，这种算法能够将关键字的出现次数纳入考虑范围，并根据词频的大小分配权重。
(4)本发明使用爬虫技术从网络中爬取故障分析数据，并通过去噪音、筛选等方法处理，利用处理后的故障分析问答对数据进行电网故障领域数据集构建，帮助本发明提供具有易理解性的故障分析。
(5)本发明以故障案例库为基础，结合领域数据库、电网标准库和电网领域数据集，能够充分利用电网相关的文本知识，可以针对设备故障现象，提供可能的故障原因，及时制定针对性的电网输变电设备故障检测维修方案，给出相关电网标准，提供具有易理解性的故障分析。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的融合电网故障案例库的输变电设备故障处理方法流程图；
图2是本发明实施例的文本结构化的完整流程；
图3是本发明实施例的文本分类算法的网络结构；
图4是本发明实施例的文本匹配算法的网络结构；
图5是本发明实施例的标准的topk实验结果；
图6是本发明实施例的编码器结构图；
图7是本发明实施例的***架构图；
图8是本发明实施例的故障分类流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
结合图1和图7，本实施例的一种融合电网故障案例库的输变电设备故障处理方法，其具体包括如下步骤：
步骤S101：将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例。
在具体实施中，所述结构化故障案例库是根据从电网故障文本中提取设备故障信息构建而成。
结构化故障案例库主要通过电网设备故障文本数据信息抽取技术实现故障案例库的构建，目的是通过对非结构化文本数据的分析和处理，抽取出对电网设备故障、缺陷描述有意义的信息，形成结构化的数据，方便后续的故障分析等操作。
考虑到电网故障文本描述的多样性，需要采用人工构建统一的属性模板来进行属性提取，属性的类型主要分为数值型属性、词组型属性和句子描述型属性，具体流程如图2所示。
1)数值型属性
2)非数值型属性
非数值型属性主要是指文本形式的属性，主要有两种表现形式：一种是基于词组形式的属性，一种是基于句子形式的属性。
对于词组形式的属性，包括季节、设备产地、设备商家等属性，此外，关键字也是以词组为表达形式。针对这种类型主要是命名实体识别技术结合词表匹配的方法，命名实体识别技术采用Bert-LSTM-CRF模型，对文本中的实体进行识别，并结合常见地名、季节等词表提取属性。对于关键字属性主要通过TF-IDF方法进行提取。
对于句子形式的属性，包括故障描述、检修过程等属性。首先通过关键字匹配技术，提取对应的描述，然后对于故障描述信息，利用关键字结合命名实体识别的方法找到故障现象的描述，作为结构化属性，具体效果如表1。接着对于检修过程，在进行分句的基础上使用BERT分类模型，对每句的检修方法进行分类，将分好的类别作为检修流程属性，具体如表2。
表1故障现象提取效果示例
Figure BDA0003044741960000071
Figure BDA0003044741960000081
表2检修方法效果示例
Figure BDA0003044741960000082
在构建结构化故障案例库的过程中，使用图卷积词嵌入的文本分类模型对电网故障文本的故障类别进行分类，丰富案例库属性。
如图3所示，利用文本分类算法对故障文本的故障类别进行分类，并将分类的结果作为当前故障案例的故障类别属性。针对故障文本的故障类别，本发明提出基于图卷积词嵌入的文本分类算法来进行分类任务，具体流程如图8所示。传统的分类算法能够学习当前文本的句法信息和上下文信息，忽略语料库中的非连续的全局词共现信息和长距离语义信息等全局信息。本实施例提出的算法能够将当前文本的句法信息和上下文信息和全局信息相融合，突破了神经网络受限于当前样本无法捕捉到全局信息的问题，并且因为图结构特点，算法能够在较少标注的训练集上有着较好的表现。
该算法首先在全部语料上构建一个简单网络，词语节点间的边是基于词共现方法得到的权重，文本节点和词语节点的边是基于TF-IDF获得的权重，利用图卷积神经网络捕捉词语的全局共现信息并结合当前上下文得到具有全局信息和局部信息的词向量表示，然后利用RNN的捕捉时间序列的特点捕捉文本的时序特征，再利用CNN捕捉词语间的局部特征，最后利用注意力机制有效的融合网络中的长距离语义信息和文本的上下文信息实现文本分类，下面主要介绍词嵌入层的构建和语义融合层。
词嵌入层构建：
词嵌入层主要在基于语料库构建的拓扑图上进行实现。在构建的拓扑图的过程中，采用TF-IDF(term frequency-inverse document frequency)方法计算文档节点和单词节点的权重，与基于词频计算权重的方法相比，TF-IDF方法能够很好的反映文档节点和单词节点的关系。为了很好的利用全局词共现信息，本文采用滑动固定窗口方法来获取语料库中的全局词共现信息。对于词节点i和词节点j的权重Aij，我们采用如下公式进行计算。
Figure BDA0003044741960000091
其中f(i，j)表示两个单词的共现分数，具体计算公式如下：
Figure BDA0003044741960000092
Figure BDA0003044741960000101
其中CW(i，j)表示滑动窗口内词i和词j同时出现的数量，CW表示语料库中滑动窗口的总数。利用上面的公式，能够得到图的邻接矩阵A，且通过邻接矩阵A能够得到图的度矩阵D，其中Dii＝∑jAij。
在由单词和文档节点构建的拓扑图中，词节点可以将节点信息传递给相邻的单词节点和文档节点，文档节点可以将节点信息传递给相邻的单词节点。通过从相邻节点传输信息，字节点信息包含全局词共现信息，而文档节点包含远程语义信息。因此，我们将两层的GCN网络应用到拓扑图中来提取图中的节点信息，同时节点的初始信息采用one-hot形式，将初始的节点特征矩阵X设置为单位矩阵，具体计算公式如下：
Figure BDA0003044741960000102
其中
Figure BDA0003044741960000103
可以表示为
Figure BDA0003044741960000104
是经过归一化后的对称邻接矩阵，W1和W0表示参数矩阵，ReLU为ReLU激活函数。
对于得到的节点特征，因为词节点HW中包含了词的全局共现信息，将词节点特征作为输入数据的词向量表示。而文本节点HD中包含了长距离语义信息，在后续的处理中，通过注意力机制将其融合到文本的语义表示中。
因此，对于一个n个词的输入序列
Figure BDA0003044741960000105
经过图卷积embedding后，文本序列状态向量为
Figure BDA0003044741960000106
其中
Figure BDA0003044741960000107
k表示图卷积的节点特征维度。
本文还将大规模语料库中预训练方法得到的词向量融入到当前词嵌入层，帮助，采用连接的方法将词向量进行融合，具体公式如下
Figure BDA0003044741960000111
其中，
Figure BDA0003044741960000112
表示单词i在预训练词向量中的表示，
Figure BDA0003044741960000113
表示单词i的词向量表示，
Figure BDA0003044741960000114
表示单词经过图卷积词嵌入层后的词向量表示，此时的文本向量为
Figure BDA0003044741960000115
语义融合层：
本文在语义融合层中利用注意力机制来帮模型更能好的融合文本的上下文语义信息和长距离语义信息。在图卷积词嵌入层中，通过文本和单词之间的关系可以得到文本的高阶向量表示zg，其中包含了文本的长距离语义信息，而通过CNN编码层能够得到的当前文本的高阶向量表示zc，其中包含了文本的上下文信息。为了将两个文本向量中的信息更好融合到一起，尽可能提供文本分类所需的正确信息，引入句子级的注意力机制来帮助信息融合，具体结构图如图所示。
在进行语义融合的过程中，以包含文本上下文信息的向量作为主体，利用注意力机制从长距离语义向量中提取重要的信息来进行语义融合。首先通过矩阵变换将上下文语义向量和长距离语义向量映射到相同的空间内，然后利用Sigmoid函数计算两个向量之间的相关度，最后使用这个相关度得到文本的最后语义向量。具体实现公式如下：
zs1＝W1zc+b1
zs2＝W2zg+b2
Figure BDA0003044741960000116
Figure BDA0003044741960000117
其中，W1，W2，W3是参数矩阵，σ表示Sigmoid函数，b1，b2，b3表示偏置参数，
Figure BDA0003044741960000121
表示拼接操作，zs是当前文本最后的语义表示向量。
实验结果：
本实施例对所提出的模型与其他模型在多个数据集上进行了实验，实验结果表明本实施例所提出的模型比其他模型获得了更好的推荐效果。我们在5个广泛使用的文本分类数据集上评估我们模型的效果，其中包括：Movie Review(MR)，R52，Trec6，Trec50，AG。这些数据集可以被分为两种文本分类内容：情感分类和主题分类。MR是关于电影评论的数据集，其中每条评论只包含一条文本，全部数据共包含两种情感标签，我们采用被划分好的训练集和测试集。Trec6是关于问题的数据集，包含6中不同问题类型的数据，训练集中含有5452条样本，测试集中包含500条样本。Trec50和Trec6包含相同的文本，但是拥有更为细粒度的标签。R52是Reuters-21578数据集的子集，包含52中不同标签，训练集中包含6532条样本，测试集中包含2568条样本。AG是AG-News数据集中的子集，共包含4种不同的新闻标签。训练集中包含7200条样本，其中每个标签1800条，测试集中包含4180条样本，其中每个标签1045条样本。对于这些数据集的训练集，我们把它们分成训练集和验证集，其中训练集占80％，验证集占20％，实验采用ACC作为评判标准。实验结果如表3所示：
表3模型在测试集上的效果(％)
Figure BDA0003044741960000122
Figure BDA0003044741960000131
将本实施例的模型称为GENET，实验结果显示我们的模型在多个数据集上的效果达到最优。
在本实施例中，多层语义和自注意力的文本匹配模型包括编码层和句级语义交互层，编码层由卷积神经网络CNN和自注意力机制的网络结构构成。
多数基于神经网络的文本分类模型主要通过单词粒度的语义交互的方法进行实现，忽略了句子层次的语义交互方法。本实施例提出的多层语义和自注意力的文本匹配算法采用了多级方式进行语义间的交互，在采用单词粒度的语义交互的基础上，结合注意力机制，提出了句子级的语义交互方法，使得模型能充分的进行文本间的交互任务。此外，算法采用融合卷积神经网络CNN和自注意力机制的网络结构作为编码器，能够在学习文本的局部信息的同时还可以学习上下文信息，有效的弥补CNN只能学习局部信息，无法学习上下文信息的缺点。下面主要介绍模型的编码层和句级语义交互层。
编码层主要通过编码器对文本语句进行语义信息提取。在深度学习领域中，卷积神经网络是常见的编码器，能够较好的对文本的局部信息进行学习，但是不能学习文本的上下文信息。循环神经网络也常用于文本匹配任务中，能够较好的学习上下文信息，但是受限于网络结构训练速度较慢，容易出现长距离依赖丢失问题，同时缺少对文本的局部信息的提取。本文在卷积神经网络的基础，提出了通过增强版残差连接方法结合自注意力机制的网络结构作为编码器，网络结构主要由三部分组成：卷积神经网络层、自注意力层和增强残差连接，具体结构如图6所示。
编码器中的卷积神经网络层采用填充(padding)的方法进行卷积，这个卷积方法能够保证数据的输入维度不产生变化。当输入数据表示为X∈Rl×k，其中1表示为数据长度，k表示词向量的维度，输出数据可以通过下面公式进行计算：
H＝CNNpadding(X)
其中H∈Rl×m表示经过卷积后的输出，m表示卷积核的个数。
自注意力不同于其他注意力需要额外引入任务向量来进行注意力权重的分配，而是以自身为数据输入，将序列内部的每个元素的自身作为任务向量，来实现对序列中其他向量的注意力权重分配。自注意力机制可以实现对上下文信息有效的获取，输入的文本序列经过CNN层的编码转化为H＝{h1，h2，h3，…，hn-1，hn}，其中ht∈Rm，自注意力层的输出可以通过下面公式进行计算：
sij＝score(hi，hj)
aij＝softmax(sij)
Figure BDA0003044741960000141
其中vi∈Rk，表示基于当前元素向量得到的上下文向量，sij和aij分别表示当前元素向量和其他元素向量的匹配度分数和注意力权重。
增强版残差连接用来连接CNN层的输出和注意力层的输出，能够实现在获取文本的局部特征的同时较好的学习文本的上下文信息，具体计算公式如下：
Figure BDA0003044741960000142
其中ui表示编码器的输出序列元素，hi和vi分别是卷积层和注意力层的输出。
在本文的文本匹配模型的具体搭建过程中，编码器采用多层结构来实现对输入数据的信息提取，结构图中的N表示n层编码器。
句级语义交互层：
首先，在进行语义交互之前，本文提出了一个基础语义向量的概念，这个向量表示对当前文本的基本信息，使用这个向量进行后续的语义交互操作。基础语义向量可以通过池化操作从文本序列中提取，具体公式如下：
Figure BDA0003044741960000151
Figure BDA0003044741960000152
其中maxpool表示最大池化函数，
Figure BDA0003044741960000153
和
Figure BDA0003044741960000154
是两个文本的文本序列，abase和bbase表示两个文本的基础语义向量。
然后，利用注意力机制和上下文向量对文本序列进行多语义提取，每个上下文向量表示不同种语义提取方式，使用的上下文向量可以表示为[c1，c2，...，cm]，m表示上下文向量的个数，经过随机初始化可以得到。通过注意力机制可以得到上下文向量和文本序列的权重，具体计算公式如下：
Figure BDA0003044741960000155
Figure BDA0003044741960000156
其中
Figure BDA0003044741960000157
表示通过上下文向量ci的得到的注意力权重，softmax表示Softmax计算函数。利用得到的注意力权重可以计算出两个文本的语义向量
Figure BDA0003044741960000158
和
Figure BDA0003044741960000159
具体计算公式如下：
Figure BDA00030447419600001510
Figure BDA00030447419600001511
其中j表示文本序列中向量的编号。
接着，使用前文提到的基础语义向量进行两个文本间的语义交互。计算当前基础语义向量和另-个文本的多个语义向量的权重，利用权重和文本序列进行加权求和操作，可以得到句子级的交互向量，具体计算公式如下：
Figure BDA0003044741960000161
Figure BDA0003044741960000162
Figure BDA0003044741960000163
Figure BDA0003044741960000164
其中ya和yb表示通过基础语义向量abase和bbase得到的交互向量。
最后，将基础语义信息和句子级的语义交互信息进行融合作为当前文本的语义信息。信息融合的方式采用拼接方法，希望能够较好的同时保证两种信息存在，减少信息的损失，具体公式如下：
Figure BDA0003044741960000165
Figure BDA0003044741960000166
其中
Figure BDA0003044741960000167
表示拼接操作，
Figure BDA0003044741960000168
和
Figure BDA0003044741960000169
表示两个文本的融合语义向量。
本实施例的多层语义和自注意力的文本匹配模型与其他模型在多个数据集上进行了实验，实验结果表明本发明所提出的模型比其他模型获得了更好的效果。我们在常用的文本匹配数据集SNLI、Scitail和Quora上评估我们模型的效果。Quora数据集中包含了400000个问题对，任务目标需要判断两个问题是否含义同一。SNLI是用于自然语言推理的基准数据集，该数据中包含了57万对注释语句，含有包含、中立，矛盾3中标签，Scitail也是用于自然语言推理的数据集。对于这些数据集的训练集，我们把它们分成训练集和验证集，其中训练集占80％，验证集占20％，实验采用ACC作为评判标准。实验结果如表4所。
表4模型的实验结果(％)
模型 SNLI Quora Scitail
BiMPM 86.9 88.2 70.6
SAN 88.6 89.4 77.5
CSRAN 88.7 89.2 86.7
MwAN 88.3 89.1 83.3
DIIN 88.0 89.1 84.4
MSNET(ours) 88.8 90.15 87.1
本实施例还对比了项目中实际应用的数据集上的模型效果，具体结果如表5。可以看到本文提出的算法远高于其他模型的效果。
表5模型在应用数据集的实验结果(％)
模型 实验结果(Acc)
BiMPM 87.2
SAN 88.5
CSRAN 88.9
MwAN 87.8
DIIN 88.1
MSNET(ours) 90.2
步骤S102：利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准。
在具体实施中，故障案例库中包含了案例的关键字属性，同样，电网标准库中每个标准有着自己的关键字。使用自适应权重的关键字匹配技术，对故障分析中得到的故障案例和标准中的关键字进行匹配，将相关度topk的标准作为返回的结果。
如图4所示，计算筛选出的故障案例与电网标准库的关键字匹配度的过程为：
基于设定数量相似的故障案例进行统计，记录不同关键字的权重，得到带权重的关键字列表。
其中，传统的关键字匹配技术，仅仅考虑了出现与否，忽略了出现频率越高的关键字权重越高。本文提出的关键字匹配算法能够较好的解决这一问题。假设前面得到的k个故障案例，首先对k个故障案例进行统计，记录不同关键字的权重，权重计算如下：
wi＝ni/nall
其中ni表示第i个关键字出现的次数，nall表示关键字全部出现的次数。经过权重的计算后，可以得到带权重的关键字列表
计算当前关键字列表和电网标准的关键字的匹配度，其计算公式如下：
Figure BDA0003044741960000181
其中m表示匹配度，wi表示共同关键字的权重。
对于k的具体设置，我们在测试集上进行实验，分别考虑了结果的准确率和覆盖率，最后选择了k为4，具体情况如图5所示。
步骤S103：将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端。
其中，电网领域数据库是使用爬虫技术爬取互联网上的故障相关的问答对信息，问答对数据的来源包括社区问答网站、百科网站等，将爬取到的数据进行噪声过滤并进行相关筛选来构建的，其中，包括了上万条的问答对数据，这些数据中的问题部分都是关于电网设备故障的相关问题，由于这些数据来源于社区问答等网站，主要负责疑惑的解答，因此，问答对数据集中包含的信息相比故障文本中的信息更具有易理解性，帮助从不同角度对故障信息进行分析。
实施例二
本实施例提供了一种融合电网故障案例库的输变电设备故障处理***，其包括：
故障案例筛选模块，其用于将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；
电网标准筛选模块，其用于利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；
故障信息及维修方案获取模块，其用于将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端。
此处需要说明的是，本实施例的融合电网故障案例库的输变电设备故障处理***中的各模块，与实施例一中的融合电网故障案例库的输变电设备故障处理方法中的各个步骤具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合电网故障案例库的输变电设备故障处理方法，其特征在于，包括：
将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；
利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；
将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端；
所述多层语义和自注意力的文本匹配模型包括编码层和句级语义交互层，编码层由卷积神经网络CNN和自注意力机制的网络结构构成；
句级语义交互层首先通过池化操作从文本序列中提取基础语义向量，所述基础语义向量表示对当前文本的基本信息；然后，利用注意力机制和上下文向量对文本序列进行多语义提取，每个上下文向量表示不同种语义提取方式，通过注意力机制得到上下文向量和文本序列的权重；接着，使用所述基础语义向量进行两个文本间的语义交互，计算当前基础语义向量和另一个文本的多个语义向量的权重，利用权重和文本序列进行加权求和操作，得到句子级的交互向量；最后，将基础语义信息和句子级的语义交互信息进行融合作为当前文本的语义信息；
编码层通过编码器对文本语句进行语义信息提取，在卷积神经网络的基础上，通过增强版残差连接方法结合自注意力机制的网络结构作为编码器；
在构建结构化故障案例库的过程中，使用图卷积词嵌入的文本分类模型对电网故障文本的故障类别进行分类，首先在全部语料上构建一个简单网络，词语节点间的边是基于词共现方法得到的权重，文本节点和词语节点的边是基于TF-IDF获得的权重，利用图卷积神经网络捕捉词语的全局共现信息并结合当前上下文得到具有全局信息和局部信息的词向量表示，然后利用RNN的捕捉时间序列的特点捕捉文本的时序特征，再利用CNN捕捉词语间的局部特征，最后利用注意力机制有效的融合网络中的长距离语义信息和文本的上下文信息实现文本分类。
2.如权利要求1所述的融合电网故障案例库的输变电设备故障处理方法，其特征在于，所述结构化故障案例库是根据从电网故障文本中提取设备故障信息构建而成。
3.如权利要求2所述的融合电网故障案例库的输变电设备故障处理方法，其特征在于，在构建结构化故障案例库的过程中，采用统一属性模板提取设备故障信息。
4.如权利要求1所述的融合电网故障案例库的输变电设备故障处理方法，其特征在于，计算筛选出的故障案例与电网标准库的关键字匹配度的过程为：
基于设定数量相似的故障案例进行统计，记录不同关键字的权重，得到带权重的关键字列表；
计算当前关键字列表和电网标准的关键字的匹配度。
5.如权利要求1所述的融合电网故障案例库的输变电设备故障处理方法，其特征在于，所述电网领域数据库是基于爬虫技术获取电网故障问答对数据而构建。
6.一种融合电网故障案例库的输变电设备故障处理***，其特征在于，包括：
故障案例筛选模块，其用于将故障现象文本输入至多层语义和自注意力的文本匹配模型，基于结构化故障案例库，得到设定数量相似的故障案例；
电网标准筛选模块，其用于利用自适应权重的关键字匹配算法，计算筛选出的故障案例与电网标准库的关键字匹配度，根据匹配度筛选出超过设定匹配度阈值的电网标准；
故障信息及维修方案获取模块，其用于将故障现象文本及筛选的电网标准输入至多层语义和自注意力的文本匹配模型，基于电网领域数据库得到设备故障信息及故障维修方案，推送至客户端；
所述多层语义和自注意力的文本匹配模型包括编码层和句级语义交互层，编码层由卷积神经网络CNN和自注意力机制的网络结构构成；
句级语义交互层首先通过池化操作从文本序列中提取基础语义向量，所述基础语义向量表示对当前文本的基本信息；然后，利用注意力机制和上下文向量对文本序列进行多语义提取，每个上下文向量表示不同种语义提取方式，通过注意力机制得到上下文向量和文本序列的权重；接着，使用所述基础语义向量进行两个文本间的语义交互，计算当前基础语义向量和另一个文本的多个语义向量的权重，利用权重和文本序列进行加权求和操作，得到句子级的交互向量；最后，将基础语义信息和句子级的语义交互信息进行融合作为当前文本的语义信息；
编码层通过编码器对文本语句进行语义信息提取，在卷积神经网络的基础上，通过增强版残差连接方法结合自注意力机制的网络结构作为编码器；
在构建结构化故障案例库的过程中，使用图卷积词嵌入的文本分类模型对电网故障文本的故障类别进行分类，首先在全部语料上构建一个简单网络，词语节点间的边是基于词共现方法得到的权重，文本节点和词语节点的边是基于TF-IDF获得的权重，利用图卷积神经网络捕捉词语的全局共现信息并结合当前上下文得到具有全局信息和局部信息的词向量表示，然后利用RNN的捕捉时间序列的特点捕捉文本的时序特征，再利用CNN捕捉词语间的局部特征，最后利用注意力机制有效的融合网络中的长距离语义信息和文本的上下文信息实现文本分类。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的融合电网故障案例库的输变电设备故障处理方法中的步骤。
CN202110467599.XA 2021-04-28 2021-04-28 融合电网故障案例库的输变电设备故障处理方法及*** Active CN113239143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467599.XA CN113239143B (zh) 2021-04-28 2021-04-28 融合电网故障案例库的输变电设备故障处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467599.XA CN113239143B (zh) 2021-04-28 2021-04-28 融合电网故障案例库的输变电设备故障处理方法及***

Publications (2)

Publication Number Publication Date
CN113239143A CN113239143A (zh) 2021-08-10
CN113239143B true CN113239143B (zh) 2022-09-30

Family

ID=77129770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467599.XA Active CN113239143B (zh) 2021-04-28 2021-04-28 融合电网故障案例库的输变电设备故障处理方法及***

Country Status (1)

Country Link
CN (1) CN113239143B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779996B (zh) * 2021-08-31 2023-10-10 中国中医科学院中医药信息研究所 基于BiLSTM模型的标准实体文本确定方法、装置及存储介质
CN116914921A (zh) * 2023-06-16 2023-10-20 国网江苏省电力有限公司南京供电分公司 一种电网运行状态确定方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902153A (zh) * 2019-04-02 2019-06-18 杭州安脉盛智能技术有限公司 基于自然语言处理和案例推理的设备故障诊断方法及***
CN110765240A (zh) * 2019-10-31 2020-02-07 中国科学技术大学 多相关句子对的语义匹配评估方法
CN112035661A (zh) * 2020-08-24 2020-12-04 北京大学深圳研究生院 基于图卷积网络的文本情感分析方法、***和电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578106B (zh) * 2017-09-18 2020-03-24 中国科学技术大学 一种融合单词语义知识的神经网络自然语言推理方法
US11423093B2 (en) * 2019-09-25 2022-08-23 Microsoft Technology Licensing, Llc Inter-document attention mechanism

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902153A (zh) * 2019-04-02 2019-06-18 杭州安脉盛智能技术有限公司 基于自然语言处理和案例推理的设备故障诊断方法及***
CN110765240A (zh) * 2019-10-31 2020-02-07 中国科学技术大学 多相关句子对的语义匹配评估方法
CN112035661A (zh) * 2020-08-24 2020-12-04 北京大学深圳研究生院 基于图卷积网络的文本情感分析方法、***和电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电力设备典型故障案例的文本挖掘;杜修明等;《高电压技术》;20180416(第04期);全文 *

Also Published As

Publication number Publication date
CN113239143A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Snyder et al. Interactive learning for identifying relevant tweets to support real-time situational awareness
CN107066446B (zh) 一种嵌入逻辑规则的循环神经网络文本情感分析方法
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
CN113239143B (zh) 融合电网故障案例库的输变电设备故障处理方法及***
CN112925904B (zh) 一种基于Tucker分解的轻量级文本分类方法
CN112749556B (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN111783903A (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
CN115878902B (zh) 基于神经网络模型的融媒体平台自动信息关键主题提取***
CN113516198A (zh) 一种基于记忆网络和图神经网络的文化资源文本分类方法
CN116756690A (zh) 一种跨语言多模态信息融合方法及装置
CN112529071A (zh) 一种文本分类方法、***、计算机设备和存储介质
CN111709225A (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
CN114880307A (zh) 一种开放教育领域知识的结构化建模方法
CN115129807A (zh) 基于自注意的社交媒体主题评论的细粒度分类方法及***
CN117390198A (zh) 构建电力领域科技知识图谱的方法、装置、设备及介质
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
Clarizia et al. Sentiment analysis in social networks: A methodology based on the latent dirichlet allocation approach
Angdresey et al. Classification and Sentiment Analysis on Tweets of the Ministry of Health Republic of Indonesia
Liu et al. Aspect sentiment mining of short bullet screen comments from online TV series
Guo Comparison of neural network and traditional classifiers for twitter sentiment analysis
CN112925983A (zh) 一种电网资讯信息的推荐方法及***
CN111538898A (zh) 基于组合特征提取的Web服务包推荐方法及***
Hou et al. [Retracted] Automatic Classification of Basic Nursing Teaching Resources Based on the Fusion of Multiple Neural Networks
Javeed An lstm model for extracting hierarchical relations between words for better topic modeling
CN116702784B (zh) 实体链接方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant