CN111274395B - 基于卷积和长短期记忆网络的电网监控告警事件识别方法 - Google Patents
基于卷积和长短期记忆网络的电网监控告警事件识别方法 Download PDFInfo
- Publication number
- CN111274395B CN111274395B CN202010058261.4A CN202010058261A CN111274395B CN 111274395 B CN111274395 B CN 111274395B CN 202010058261 A CN202010058261 A CN 202010058261A CN 111274395 B CN111274395 B CN 111274395B
- Authority
- CN
- China
- Prior art keywords
- monitoring alarm
- alarm information
- convolution
- event
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于卷积和长短期记忆网络的电网监控告警事件识别方法,该方法通过电网监控***中历史监控告警信息及时标生成信息向量,并且从收集的历史监控告警信息中提取事件样本,构建告警事件样本库;其次,建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型,利用告警事件样本对模型进行训练;最后使用训练好的深度学习模型对监控告警信息进行识别,取概率最大的事件类别作为识别结果输出。本发明结合长短期记忆网络在处理时序问题和卷积神经网络在挖掘短文本局部特征中的优异性能,建立组合模型,可以实现电网告警事件的快速识别,有效减轻监控业务人员的监屏压力,提升日常监视和事故异常处置工作效率。
Description
技术领域
本发明属于电力***智能告警控制技术,具体涉及一种基于卷积和长短期记忆网络的电网监控告警事件识别方法。
背景技术
随着电网规模不断扩大,对调控人员快速响应电网设备故障、及时恢复电网运行方式提出了更高的要求,因此提升电网设备运行监控的智能化水平,实现对电网告警事件的自主识别,对提升日常监控和事故异常处置的工作效率具有重要意义。
电网监控告警信息作为一种中文文本数据,是调控人员监视电网运行状态的重要数据基础。随着电网设备规模扩大及智能监测水平提升,电力数据出现爆发性增长,监控告警信息的数量呈现几何级增长趋势,集到的信息全部按时间顺序显示,未作任何的推理判断处理。电网调控人员需要对每一条信息逐一进行判别、分析并做出反馈,容易遗漏重要告警信息,无法在短时间内做出准确识别,出现设备故障或异常漏判误判的情况。这种方法已无法适应当前形势下电网监控业务的更高要求。本发明应用深度学习算法中的长短期记忆网络和卷积神经网络,对电网监控告警事件进行识别。
传统的机器学习模型如Logistic回归、支持向量机及随机森林算法等适合处理样本量较少的场景,一般不具有特征处理能力。因此,在应用这些算法时,需要对原始数据进行特征提取,增加了建模过程的复杂度。而深度学习算法采用逐层训练的方式对数据进行处理,能够获得原始输入变量集合的高级特征表示,提高预测和分类准确性,被广泛的应用于特征处理问题及大数据场景。面对海量的电网运行告警信息处理需求,深度学习可以更加充分的学习监控大数据的样本特征。长短期记忆网络具有处理具有时间相关性的序列的强大功能,而电网监控告警事件所触发的监控告警信息是在短时间内连续发生,整个事件的信息按照发生的时间先后排列,具有时序关系,将每一条告警信息作为一个时间步提取整个事件的时序特征。同时从语句表达含义上说,相邻的多条告警信息中包含了告警事件的重要特,CNN具有局部感知的特点并且具有优异的特征提取性能,可以挖掘相邻监控告警信息间的关联性特征。且卷积神经网络采用局部感知和权重共享的方式,大大降低了网络参数量并缓解模型过拟合问题。
发明内容
发明目的:针对现有电网监控告警中人工判断容易漏判和误判,且识别效率不高的问题,本发明提供一种基于卷积和长短期记忆网络的电网监控告警事件识别方法。
技术方案:一种基于卷积和长短期记忆网络的电网监控告警事件识别方法,包括以下步骤:
(1)采集电网监控***中历史监控告警信息及每条告警信息的时标,告警信息中包含的所有变电站和线路名称,构成电网监控告警事件识别模型所需的训练数据集;
(2)对历史监控告警信息进行数据预处理,通过word2vec模型对监控告警信息进行无监督训练,生成包含信号特征的信息向量;
(3)从采集的历史监控告警信息中按照滑动时间窗口提取监控告警信息集合,确定告警信息集合的事件类型和告警事件的标志词,得到各类标签化监控告警事件的样本,构建告警事件样本库;
(4)建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型,设置各类超参数,建立目标函数并选取优化算法,利用监控告警事件样本库中的样本对模型进行迭代训练,并且通过计算损失函数的梯度逐步迭代更新识别模型的参数;
(5)使用训练好的深度学习模型对监控告警信息进行识别,取概率最大的事件类别作为告警事件识别结果输出。
进一步的,步骤(2)对历史监控告警信息的数据预处理和生向量生成的具体过程如下:
(21)分词和去停用词
(211)更新电力词库,将从历史监控告警信息中导出的变电站名称和线路名称导入电力词库作为分词使用的电力词典;
(212)采用Jieba分词工具的精确模式进行初始分词,生成按时间排序的由一系列中文词语组成的监控告警信息;
(213)建立停用词表,剔除监控告警信息中的已经停用的电力词汇实现数据清洗;
(22)监控告警信息向量化
(221)利用word2vec模型对监控告警信息进行无监督训练,计算生成告警信息中每个词语的分布式词向量表示;
(222)计算告警事件发生时监控告警信息中所有词的向量求平均值,得到与词向量维数相同的监控告警信息的向量表示,计算公式为:
式中:d表示一条监控告警信息;word_num表示d中词语的个数;t表示监控告警信息中的词;word2vec(t)表示t的向量;Word2vec_sum(d)表示一条监控告警信息的分布式向量表示。
步骤(4)中建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型的具体过程如下:
(41)LSTM层的输入为告警事件样本,将其表示为X={x1,x2,…,xn},其中xi是监控告警信息的分布式向量表示,i=1,2,…n;n是告警事件样本包含的监控告警信息的数量;
输入门中当前时刻网络输入中保存到记忆单元中的信息量计算公式如下:
it=σ(wxixt+whiht-1+bi)
式中:it是输入门的输出;xt和ht-1分别是当前输入和前一个隐含层输出;wxi和whi分别是输入xt和ht-1的权重;bi是输入门的偏置;σ表示sigmoid激活函数。
输入门输出一个临时记忆单元c′t的计算公式如下:
c′t=tanh(wxcxt+whcht-1+bc)
式中:wxc和whc分别是输入xt和ht-1的权重;bc是临时的记忆单元c′t的偏置;
遗忘门中前一时刻记忆单元保留到当前时刻记忆单元中的信息量计算公式如下:
ft=σ(wxfxt+whfht-1+bf)
式中:ft是遗忘门的输出;wxf和whf分别是输入xt和ht-1的权重;bf是遗忘门的偏置。第二部分为当前时刻输入作用于输入门得到的临时记忆单元;
当前时刻记忆单元计算公式如下:
ct=ft·ct-1+it·c′t
式中:ct-1是前一时刻记忆单元的输出值;
输出门和隐含层的输出表达式如下:
ot=σ(wxoxt+whoht-1+bo)
ht=ot·tanh(ct)
式中:ot和ht分别表示输出门和当前隐含层的输出;wxo,who和bo分别是xt的权重,ht-1的权重和ot的偏置。
(42)将长短期记忆网络中每个时间步上的隐含层输出矩阵H∈Rn×k输入到卷积层中提取告警信息的局部特征,其中n为告警事件样本的时间序列长度,表示事件包含的监控告警信息数量,k为输出值的向量维度,采用行数为h,列数与输入层矩阵H相同的卷积矩阵W∈Rh×k进行卷积操作,卷积结果表达式如下:
ri=W·Hi:i+h-1
式中:Hi:i+h-1表示由矩阵H的第i行至第i+h-1行构成的子矩阵;运算符号“·”是点乘运算,表示将两个矩阵相同位置的元素相乘然后求和;
每次卷积结果经过非线性操作后的结果为:
ci=ReLU(ri+bi)
式中:bi为偏置项;ReLU为激活函数,计算公式为:
ReLU=(0,x)
将所有结果依次排列堆积得到卷积层特征向量c∈Rn-h+1,n-h+1是共进行的卷积操作次数;
(43)池化层通过下采样规则对特征向量进行降维,通过最大池化法,取每个经卷积操作得到的特征向量c中的最大值作为特征值,表示如下:
cmax=max{c}
将所有不同特征向量经池化操作提取的特征值拼接形成池化层输出向量q∈Rv,其中v=m·k,m为卷积窗口的类别数,k为每类卷积窗口的数量;
(44)池化层向量q输入到Softmax分类器中输出属于每个告警事件类别的概率,选取概率最大的类别作为该段输入监控告警信息的识别结果,表达式如下:
p=softmax(Wq·q+bq)
式中:Wq为与事件q对应的权重;bq为与事件q对应的偏置项。
更进一步,所述基于长短期记忆网络和卷积神经网络组合的深度学习识别模型训练阶段通过计算损失函数的梯度逐步迭代更新识别模型的参数,损失函数设置为交叉熵损失函数,采用Adam算法进行优化使模型目标函数收敛到最小,得到最优的权重和偏置项,同时采用Dropout策略对模型参数进行约束防止模型的训练中出现过拟合现象。
步骤(42)中包括采用多粒度的卷积窗口提取更多隐藏在局部信息间的关联特征,通过改变卷积矩阵的行数形成不同类别的卷积窗口,每个类别中卷积窗口数量选取充分,避免训练过程中信息特征的丢失。
有益效果:与现有技术相比,本发明提供的基于卷积和长短期记忆网络的电网监控告警事件识别方法可以将监控告警信息转化为信息向量,实现基于文本的电网监控告警事件的识别并推送事件识别结果。能够有效改变现有电网监控业务依赖告警信息逐条响应的监视方式,解决人为处理效率低、误判率高等问题,减轻电网调控人员的监屏压力,提升日常监视和事故异常处置工作效率。
附图说明
图1为基于卷积和长短期记忆神经网络的识别模型结构图;
图2为卷积神经网络结构图;
图3为长短期记忆神经网络结构图。
具体实施方式
为了详细的说明本发明所公开的技术方案,下面结合说明书附图及具体实施例做进一步的阐述。
针对目前近年来接入调控***的告警信息数量持续增加,采集到的信息全部按时间顺序显示,未作任何的推理判断处理,而现有电网监控业务的逐条响应的监控方式容易遗漏重要信息,出现告警事件漏判误判的问题。本发明公开的是一种基于卷积和长短期记忆网络的电网监控告警事件识别方法,能够对输入的告警信息进行识别。
实施例1
参照图1,图2和图3,本发明所述方法按照以下步骤进行:
第一步,采集电网监控***中历史监控告警信息及每条告警信息的时标,告警信息中包含的所有变电站和线路名称,构成电网监控告警事件识别模型所需的训练数据集;
第二步,对历史监控告警信息进行数据预处理,通过word2vec模型对监控告警信息进行无监督训练,生成包含信号特征的信息向量,具体过程为:
(1)分词和去停用词
更新电力词库,并且通过资料查阅收集电力词库并将从历史监控告警信息中导出的变电站名称和线路名称导入词库作为分词使用的电力词典。采用Jieba分词工具的精确模式进行初始分词,生成按时间排序的由一系列中文词语组成的监控告警信息。建立停用词表,剔除告警信息中的无意义词,实现数据清洗以提高后期训练效果。
(2)监控告警信息向量化
利用word2vec模型对监控告警信息进行无监督训练,计算生成告警信息中每个词语的分布式词向量表示,解决了传统模型的高维稀疏特征问题。告警事件发生时,监控告警信息是以语句的形式表现,因此将一条监控告警信息中所有词的向量求平均值,得到与词向量维数相同的监控告警信息的向量表示,计算公式为:
式中:d表示一条监控告警信息;word_num表示d中词语的个数;t表示监控告警信息中的词;word2vec(t)表示t的向量;Word2vec_sum(d)表示一条监控告警信息的分布式向量表示。经过训练和计算,得到告警信息向量维度为300。
第三步,从收集的历史监控告警信息中提取事件样本,构建告警事件样本库,具体实施方式为:
以带有“分闸”关键词的监控告警信息为标志,提取该信息前后15s内相同变电站或线路的离散监控告警信息,形成告警信息集合。调控人员在每次处理告警事件后会编写调度日志来记录发生时间,事件原因,处理流程和事件类型,并且在现行的电力***中也会记录多种触发或故障告警的事件以建立调度日志来提高运营管理。通过对照调度日志确定告警信息集合的事件类型,形成9种类型监控告警事件样本,包括母线故障,瞬时故障(重合成功),永久故障(重合失败),永久故障(重合闸未动),主变电气量故障,主变本体重瓦斯故障,主变调压重瓦斯故障和容抗器故障所变/接地变故障,构建告警事件样本库。
第四步,建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型对监控告警信息,利用告警事件样本对模型进行训练,具体过程为:
(1)LSTM层的输入为告警事件样本,将其表示为X={x1,x2,…,xn},其中xi是监控告警信息的分布式向量表示,i=1,2,…n;n是告警事件样本包含的监控告警信息的数量。因为事件中的监控告警信息是按照时间顺序排列,因此每个向量xi都代表了一个时间步上LSTM单元的外部输入,提取整个监控告警信息序列的时序特征。
输入门实现对当前时刻输入信息的控制,决定当前时刻网络输入中有多少信息保存到记忆单元中,计算公式为:
it=σ(wxixt+whiht-1+bi)
式中:it是输入门的输出;xt和ht-1分别是当前输入和前一个隐含层输出;wxi和whi分别是输入xt和ht-1的权重;bi是输入门的偏置。σ表示sigmoid激活函数。
另外,输入门还会输出一个临时记忆单元c′t,计算公式为:
c′t=tanh(wxcxt+whcht-1+bc)
式中:wxc和whc分别是输入xt和ht-1的权重;bc是临时的记忆单元c′t的偏置
遗忘门实现对前一时刻记忆单元的控制,决定前一时刻记忆单元有多少信息保留到当前时刻记忆单元中,计算公式为:
ft=σ(wxfxt+whfht-1+bf)
式中:ft是遗忘门的输出;wxf和whf分别是输入xt和ht-1的权重;bf是遗忘门的偏置。第二部分为当前时刻输入作用于输入门得到的临时记忆单元。
当前时刻记忆单元计算公式为:
ct=ft·ct-1+it·c′t
式中:ct-1是前一时刻记忆单元的输出值。
输出门由当前时刻输入,当前时刻记忆单元和前一时刻隐含层输出共同确定:
ot=σ(wxoxt+whoht-1+bo)
ht=ot·tanh(ct)
式中:ot和ht分别表示输出门和当前隐含层的输出;wxo,who和bo分别是xt的权重,ht-1的权重和ot的偏置。
(2)将长短期记忆网络中每个时间步上的隐含层输出矩阵H∈Rn×k输入到卷积层中提取告警信息的局部特征,其中n为告警事件样本的时间序列长度,即事件包含的监控告警信息数量,k为输出值的向量维度。对比输出值的向量维度分别为64,128和256时的识别准确率,发现当长短期记忆网络的输出向量维度为128时,识别准确率最高。采用行数为h,列数与输入层矩阵H相同的卷积矩阵W∈Rh×k进行卷积操作,卷积结果为:
ri=W·Hi:i+h-1
式中:Hi:i+h-1表示由矩阵H的第i行至第i+h-1行构成的子矩阵;运算符号“·”是点乘运算,即将两个矩阵相同位置的元素相乘然后求和。每次卷积结果经过非线性操作后的结果为:
ci=ReLU(ri+bi)
式中:bi为偏置项;ReLU为激活函数,计算公式为:
ReLU=(0,x)
将所有结果依次排列堆积得到卷积层特征向量c∈Rn-h+1,n-h+1是共进行的卷积操作次数。
为避免训练过程中信息特征的丢失,采用多粒度的卷积窗口提取更多隐藏在局部信息间的关联特征。通过改变卷积矩阵的行数形成不同类别的卷积窗口,根据对监控告警事件文本的分析,发现一般相邻的2~3条监控告警信息具有一个局部的关联性特征,考虑到其中可能会有干扰性的伴随信息,设置了3种的卷积核,窗口尺寸分别为3,4和5。每个类别中卷积窗口数量选取充分,数量为100。
(3)池化层通过下采样规则对特征向量进行降维,提高了分类器的计算效率,同时实现告警事件特征的进一步提取。采用最大池化法(max-pooling),取每个经卷积操作得到的特征向量c中的最大值作为特征值:
cmax=max{c}
将所有不同特征向量经池化操作提取的特征值拼接形成池化层输出向量q∈Rv,其中v=m·k,m为卷积窗口的类别数,k为每类卷积窗口的数量。
(4)池化层向量q输入到Softmax分类器中输出属于每个告警事件类别的概率,选取概率最大的类别作为该段输入监控告警信息的识别结果:
p=softmax(Wq·q+bq)
式中:Wq为与事件q对应的权重;bq为与事件q对应的偏置项。
(5)模型训练阶段采用Adam算法进行训练,即通过不断地迭代使模型目标函数收敛到最小,得到最优的权重和偏置项。此外,为了防止模型的训练中出现过拟合现象,采用了Dropout策略对模型参数进行约束,即在每次更新时都会随机选择一部分训练好的参数进行舍弃,丢弃率为0.5。
第五步,使用训练好的深度学习模型对监控告警信息进行识别,取概率最大的事件类别作为识别结果输出。在应用过程中,模型在部分信息错误或信息缺失情况下仍可以正确识别,具有强鲁棒性和一定的容错能力。同时,深度学习模型具有自我学习能力,随着样本库的不断扩展,对于新定义的事件类型迭代训练,调整完善参数结构,增强自身稳定性和识别准确性。
实施例2
以某市电网公司2016和2017年共1400多万条的历史监控告警信息为原始语料库,从中提取出9类告警事件样本对识别模型进行训练和测试。将每个类型的告警事件样本中的90%作为训练集,10%作为测试集,告警事件类型及每类的样本数量如表1所示。
表1告警事件样本数量
在事件的分类任务中,一般以混淆矩阵来表示识别模型的分类结果,二分类混淆矩阵的含义如表2所示。
表2事件识别中的混淆矩阵
混淆矩阵将所有事件按照其实际归属和识别归属分为四类,定义准确率(Accuracy)以及精确率(Precision)、召回率(Recall)和F1值共四个指标来衡量模型的识别效果,四者的取值范围都为[0,1],值越接近于1说明模型的识别效果越好。
计算公式分别为:
为了验证提出的LSTM-CNN组合识别模型的分类效果,选取几种单一的深度学习模型和典型的机器学习模型进行对比验证。深度学习模型选取了CNN,LSTM和双向长短期记忆网络(Bidirectional LongShort-term Memory,BiLSTM),机器学习模型选取支持向量机(Support Vector Machines,SVM),Logistic回归(Logistic Regression,LR)和随机森林(Random Forest,RF)模型。不同模型的告警事件的识别效果如表3所示。
表3本文模型与其他模型识别结果对比
从表3中可以看出,在四种深度学习模型中CNN准确率最低为92.69%,而三种机器学习模型中随机森林模型准确率最高为91.18%,说明深度学习模型的识别效果要好于机器学习模型。而LSTM-CNN组合识别模型在各项指标上均要好于其他深度学习模型,比单一的LSTM和CNN的准确率分别高1.69%和5.61%。而精确率,召回率和F1值比单一的LSTM分别高1.68%,1.69%和2.05%,比单一的CNN分别高5.58%,5.61%和6%;同时其他模型中识别准确率最高的为BiLSTM,达到96.75%,而LSTM-CNN组合识别模型依旧比其高1.55%。
将LSTM-CNN组合识别模型进行实际应用,以2018年8月17日“温比亚”台风经过某市所截取的一个信息密集时段13:27-13:31内所触发的监控告警事件作为应用对象,从该时段内4146条监控告警信息中提取出6个适用于本文模型的监控告警事件,经模型最终识别全部正确,识别时间为0.5s。
Claims (4)
1.一种基于卷积和长短期记忆网络的电网监控告警事件识别方法,其特征在于,包括以下步骤:
(1)采集电网监控***中历史监控告警信息及每条告警信息的时标,告警信息中包含的所有变电站和线路名称,构成电网监控告警事件识别模型所需的训练数据集;
(2)对历史监控告警信息进行数据预处理,通过word2vec模型对监控告警信息进行无监督训练,生成包含信号特征的信息向量;
(3)从采集的历史监控告警信息中按照滑动时间窗口提取监控告警信息集合,确定告警信息集合的事件类型和告警事件的标志词,得到各类标签化监控告警事件的样本,构建告警事件样本库;
(4)建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型,设置各类超参数,建立目标函数并选取优化算法,利用监控告警事件样本库中的样本对模型进行迭代训练,并且通过计算损失函数的梯度逐步迭代更新识别模型的参数;所述步骤(4)中建立基于长短期记忆网络和卷积神经网络组合的深度学习识别模型的具体过程如下:
(41)LSTM层的输入为告警事件样本,将其表示为X={x1,x2,…,xn},其中xi是监控告警信息的分布式向量表示,i=1,2,…n;n是告警事件样本包含的监控告警信息的数量;
输入门中当前时刻网络输入中保存到记忆单元中的信息量计算公式如下:
it=σ(wxixt+whiht-1+bi)
式中:it是输入门的输出;xt和ht-1分别是当前输入和前一个隐含层输出;wxi和whi分别是输入xt和ht-1的权重;bi是输入门的偏置;σ表示sigmoid激活函数;
输入门输出一个临时记忆单元c′t的计算公式如下:
c′t=tanh(wxcxt+whcht-1+bc)
式中:wxc和whc分别是输入xt和ht-1的权重;bc是临时的记忆单元c′t的偏置;
遗忘门中前一时刻记忆单元保留到当前时刻记忆单元中的信息量计算公式如下:
ft=σ(wxfxt+whfht-1+bf)
式中:ft是遗忘门的输出;wxf和whf分别是输入xt和ht-1的权重;bf是遗忘门的偏置;第二部分为当前时刻输入作用于输入门得到的临时记忆单元;
当前时刻记忆单元计算公式如下:
ct=ft·ct-1+it·c′t
式中:ct-1是前一时刻记忆单元的输出值;
输出门和隐含层的输出表达式如下:
ot=σ(wxoxt+whoht-1+bo)
ht=ot·tanh(ct)
式中:ot和ht分别表示输出门和当前隐含层的输出;wxo,who和bo分别是xt的权重,ht-1的权重和ot的偏置;
(42)将长短期记忆网络中每个时间步上的隐含层输出矩阵H∈Rn×k输入到卷积层中提取告警信息的局部特征,其中n为告警事件样本的时间序列长度,表示事件包含的监控告警信息数量,k为输出值的向量维度,采用行数为h,列数与输入层矩阵H相同的卷积矩阵W∈Rh ×k进行卷积操作,卷积结果表达式如下:
ri=W·Hi:i+h-1
式中:Hi:i+h-1表示由矩阵H的第i行至第i+h-1行构成的子矩阵;运算符号“·”是点乘运算,表示将两个矩阵相同位置的元素相乘然后求和;
每次卷积结果经过非线性操作后的结果为:
ci=ReLU(ri+bi)
式中:bi为偏置项;ReLU为激活函数,计算公式为:
ReLU=(0,x)
将所有结果依次排列堆积得到卷积层特征向量c∈Rn-h+1,n-h+1是共进行的卷积操作次数;
(43)池化层通过下采样规则对特征向量进行降维,通过最大池化法,取每个经卷积操作得到的特征向量c中的最大值作为特征值,表示如下:
cmax=max{c}
将所有不同特征向量经过池化操作提取的特征值拼接形成池化层输出向量q∈Rv,其中v=m·k,m为卷积窗口的类别数,k为每类卷积窗口的数量;
(44)池化层向量q输入到Softmax分类器中输出属于每个告警事件类别的概率,选取概率最大的类别作为该段输入监控告警信息的识别结果,表达式如下:
p=softmax(Wq·q+bq)
式中:Wq为与事件q对应的权重;bq为与事件q对应的偏置项;
(5)使用训练好的深度学习模型对监控告警信息进行识别,取概率最大的事件类别作为告警事件识别结果输出。
2.根据权利要求1所述的基于卷积和长短期记忆网络的电网监控告警事件识别方法,其特征在于:步骤(2)对历史监控告警信息的数据预处理和生向量生成的具体过程如下:
(21)分词和去停用词
(211)更新电力词库,将从历史监控告警信息中导出的变电站名称和线路名称导入电力词库作为分词使用的电力词典;
(212)根据Jieba分词工具的精确模式进行初始分词,生成按时间排序的由一系列中文词语组成的监控告警信息;
(213)建立停用词表,剔除监控告警信息中的已经停用的电力词汇实现数据清洗;
(22)监控告警信息向量化
(221)利用word2vec模型对监控告警信息进行无监督训练,计算生成告警信息中每个词语的分布式词向量表示;
(222)计算告警事件发生时监控告警信息中所有词的向量求平均值,得到与词向量维数相同的监控告警信息的向量表示,计算公式为:
式中:d表示一条监控告警信息;word_num表示d中词语的个数;t表示监控告警信息中的词;word2vec(t)表示t的向量;Word2vec_sum(d)表示一条监控告警信息的分布式向量表示。
3.根据权利要求1所述的基于卷积和长短期记忆网络的电网监控告警事件识别方法,其特征在于:所述基于长短期记忆网络和卷积神经网络组合的深度学习识别模型训练阶段通过计算损失函数的梯度逐步迭代更新识别模型的参数,损失函数设置为交叉熵损失函数,包括基于Adam算法进行优化使模型目标函数收敛到最小,得到最优的权重和偏置项,同时采用Dropout策略对模型参数进行约束防止模型的训练中出现过拟合现象。
4.根据权利要求1所述的基于卷积和长短期记忆网络的电网监控告警事件识别方法,其特征在于:步骤(42)中包括采用多粒度的卷积窗口提取隐藏在局部信息间的关联特征,通过改变卷积矩阵的行数形成不同类别的卷积窗口,避免训练过程中信息特征的丢失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058261.4A CN111274395B (zh) | 2020-01-19 | 2020-01-19 | 基于卷积和长短期记忆网络的电网监控告警事件识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058261.4A CN111274395B (zh) | 2020-01-19 | 2020-01-19 | 基于卷积和长短期记忆网络的电网监控告警事件识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274395A CN111274395A (zh) | 2020-06-12 |
CN111274395B true CN111274395B (zh) | 2021-11-12 |
Family
ID=71003164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010058261.4A Active CN111274395B (zh) | 2020-01-19 | 2020-01-19 | 基于卷积和长短期记忆网络的电网监控告警事件识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274395B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113825148B (zh) * | 2020-06-18 | 2023-08-18 | ***通信集团浙江有限公司 | 网络节点告警等级的确定方法、装置及计算设备 |
CN113065352B (zh) * | 2020-06-29 | 2022-07-19 | 国网浙江省电力有限公司杭州供电公司 | 一种电网调度工作文本的操作内容识别方法 |
CN111865947B (zh) * | 2020-07-08 | 2021-07-20 | 浙江大学 | 一种基于迁移学习的电力终端异常数据生成方法 |
CN111970489B (zh) * | 2020-08-05 | 2022-05-24 | 北京必可测科技股份有限公司 | 一种基于人机双向的智能监盘管理方法及*** |
CN112001482B (zh) * | 2020-08-14 | 2024-05-24 | 佳都科技集团股份有限公司 | 振动预测及模型训练方法、装置、计算机设备和存储介质 |
CN112187413B (zh) * | 2020-08-28 | 2022-05-03 | 中国人民解放军海军航空大学航空作战勤务学院 | 基于cnn-lstm的识别sfbc的方法及装置 |
CN112418014B (zh) * | 2020-11-09 | 2023-11-17 | 南京信息工程大学滨江学院 | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 |
CN112507720A (zh) * | 2020-11-12 | 2021-03-16 | 西安交通大学 | 基于因果语义关系传递的图卷积网络根因识别方法 |
CN112487406B (zh) * | 2020-12-02 | 2022-05-31 | 中国电子科技集团公司第三十研究所 | 一种基于机器学习的网络行为分析方法 |
CN112598023B (zh) * | 2020-12-02 | 2024-01-26 | 国网青海省电力公司海东供电公司 | 一种电网监控告警信息智能识别和自动映射方法和装置 |
CN112838946B (zh) * | 2020-12-17 | 2023-04-28 | 国网江苏省电力有限公司信息通信分公司 | 基于通信网故障智能感知与预警模型的构建方法 |
CN113032917A (zh) * | 2021-03-03 | 2021-06-25 | 安徽大学 | 一种基于生成对抗及卷积循环神经网络的机电轴承故障检测方法及应用*** |
CN113157859B (zh) * | 2021-04-06 | 2023-04-18 | 北京理工大学 | 一种基于上位概念信息的事件检测方法 |
CN113283288B (zh) * | 2021-04-08 | 2023-08-18 | 中广核检测技术有限公司 | 基于lstm-cnn的核电站蒸发器涡流信号类型识别方法 |
CN113487010B (zh) * | 2021-05-21 | 2024-01-05 | 国网浙江省电力有限公司杭州供电公司 | 基于机器学习的电网网络安全事件分析方法 |
CN113381890B (zh) * | 2021-06-08 | 2023-01-13 | 天翼云科技有限公司 | 告警信息关联方法、装置、电子设备和可读存储介质 |
CN113239638A (zh) * | 2021-06-29 | 2021-08-10 | 百维金科(上海)信息科技有限公司 | 一种基于蜻蜓算法优化多核支持向量机的逾期风险预测方法 |
CN113610762B (zh) * | 2021-07-07 | 2024-02-23 | 中国科学院国家空间科学中心 | 一种针对太阳耀斑的预警方法及预警*** |
CN113315790B (zh) * | 2021-07-29 | 2021-11-02 | 湖南华菱电子商务有限公司 | 入侵流量检测方法、电子设备及存储介质 |
CN113743512A (zh) * | 2021-09-07 | 2021-12-03 | 上海观安信息技术股份有限公司 | 一种安全告警事件自主学习判定方法及*** |
CN113821408A (zh) * | 2021-09-23 | 2021-12-21 | 中国建设银行股份有限公司 | 一种服务器告警处理方法及相关设备 |
CN113962294B (zh) * | 2021-09-30 | 2023-05-16 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多类型事件预测模型 |
CN113786205A (zh) * | 2021-11-17 | 2021-12-14 | 华南理工大学 | 基于卷积网络和长短期记忆网络的二便预警***及方法 |
CN114726751A (zh) * | 2022-04-07 | 2022-07-08 | 广州汇智通信技术有限公司 | 资源质量监控的智能化预警方法、***、设备和存储介质 |
CN115474108B (zh) * | 2022-09-16 | 2023-09-22 | 南京品淳通信科技有限公司 | 一种基于边缘计算的事件监控***及监控方法 |
CN116980181B (zh) * | 2023-06-21 | 2024-02-20 | 江南信安(北京)科技有限公司 | 一种用于检测关联报警事件的方法及*** |
CN117408165B (zh) * | 2023-12-14 | 2024-03-15 | 中国石油大学(华东) | 一种基于机器学习的压裂过程复杂事件智能预警优化方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107562784A (zh) * | 2017-07-25 | 2018-01-09 | 同济大学 | 基于ResLCNN模型的短文本分类方法 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN109635083A (zh) * | 2018-11-27 | 2019-04-16 | 北京科技大学 | 一种用于搜索ted演讲中话题式查询的文档检索方法 |
CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控***集成有限公司 | 人工智能cnn、lstm神经网络动态识别*** |
CN110263172A (zh) * | 2019-06-26 | 2019-09-20 | 国网江苏省电力有限公司南京供电分公司 | 一种电网监控告警信息事件化自主识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
-
2020
- 2020-01-19 CN CN202010058261.4A patent/CN111274395B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107562784A (zh) * | 2017-07-25 | 2018-01-09 | 同济大学 | 基于ResLCNN模型的短文本分类方法 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN109635083A (zh) * | 2018-11-27 | 2019-04-16 | 北京科技大学 | 一种用于搜索ted演讲中话题式查询的文档检索方法 |
CN110110707A (zh) * | 2019-05-24 | 2019-08-09 | 苏州闪驰数控***集成有限公司 | 人工智能cnn、lstm神经网络动态识别*** |
CN110263172A (zh) * | 2019-06-26 | 2019-09-20 | 国网江苏省电力有限公司南京供电分公司 | 一种电网监控告警信息事件化自主识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111274395A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274395B (zh) | 基于卷积和长短期记忆网络的电网监控告警事件识别方法 | |
CN110263172B (zh) | 一种电网监控告警信息事件化自主识别方法 | |
Pinzón et al. | Real-time multi-state classification of short-term voltage stability based on multivariate time series machine learning | |
Yang et al. | Combined wireless network intrusion detection model based on deep learning | |
CN111340110B (zh) | 一种基于工业过程运行状态趋势分析的故障预警方法 | |
CN112183656A (zh) | 一种电网故障中scada数据频繁项集挖掘方法 | |
CN113438114A (zh) | 互联网***的运行状态监控方法、装置、设备及存储介质 | |
CN110580213A (zh) | 一种基于循环标记时间点过程的数据库异常检测方法 | |
CN110766215B (zh) | 基于特征自适应选择和wdnn的风电爬坡事件预测方法 | |
CN111783464A (zh) | 一种面向电力的领域实体识别方法、***及存储介质 | |
CN113899987A (zh) | 基于深度金字塔卷积神经网络的电网故障诊断方法 | |
CN112559741B (zh) | 核电设备缺陷记录文本分类方法、***、介质及电子设备 | |
CN117668493A (zh) | 一种烟草设备故障预测方法和*** | |
Boicea et al. | A novel approach for power load forecast based on GAN data augmentation | |
CN116933860A (zh) | 暂态稳定评估模型更新方法、装置、电子设备及存储介质 | |
CN113961708B (zh) | 一种基于多层次图卷积网络的电力设备故障溯源方法 | |
CN116775423A (zh) | 用于集群故障预测的方法 | |
CN114881172A (zh) | 一种基于加权词向量和神经网络的软件漏洞自动分类方法 | |
CN114298413A (zh) | 一种水电机组振摆趋势预测方法 | |
Jianli et al. | Wind power forecasting by using artificial neural networks and Grubbs criterion | |
CN117688367B (zh) | 一种基于即时学习的风力发电超短期功率预测方法及装置 | |
CN104573003A (zh) | 基于新闻主题信息检索的金融时间序列预测方法 | |
Yang et al. | Text classification method for analysing accidents in power system operation | |
Yu et al. | Intelligent classification and automatic annotation of violations based on neural network language model | |
CN117592789B (zh) | 基于时间序列分析的电网环境火灾风险评估方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |