CN111123894A - 一种基于lstm和mlp结合的化工过程故障诊断方法 - Google Patents
一种基于lstm和mlp结合的化工过程故障诊断方法 Download PDFInfo
- Publication number
- CN111123894A CN111123894A CN201911392603.XA CN201911392603A CN111123894A CN 111123894 A CN111123894 A CN 111123894A CN 201911392603 A CN201911392603 A CN 201911392603A CN 111123894 A CN111123894 A CN 111123894A
- Authority
- CN
- China
- Prior art keywords
- lstm
- mlp
- layer
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于LSTM和MLP结合的化工过程故障诊断方法。本发明首先将原始一维数据通过降维,去掉部分冗余数据点。其次将得到的一维数据输入堆叠的LSTM,提取得到具有时间特性的特征信息。然后通过Flatten层将LSTM的输出数据展开,输入到由全连接层堆叠而成的MLP中。最后由最后一层全连接层中的Softmax分类器进行故障类别的分类。本发明充分利用了LSTM与MLP网络在时间与空间方面特征提取的优势,在两层LSTM后使用MLP网络去进行整体的特征提取与学习,本发明运用于非线性、高耦合、时变以及多特征点的化工过程数据,诊断效果较好。
Description
技术领域
本发明涉及化工过程故障诊断方法,特别是一种基于LSTM和MLP结合的化工过程故障诊断方法。
背景技术
化工是国家发展的基础行业,同时也具有较大的危险性,一旦出现故障,将会造成不可估量的损失,因此能够准确高效的进行化工过程故障诊断是化工行业安全运行平稳发展的基础。随着机器学习与人工智能的迅猛发展,深度学习技术随之诞生,且在图像、文本以及语音等领域广泛运用,深度学习借助其强大的学习能力在故障诊断方面也取得了新的研究进展。不同的网络都有各自不同的优缺点,需要针对对象有目标的搭建合适的深度学习网络模型进行故障诊断。作为典型的深度学习网络,长短期记忆网络(LSTM)和多层感知器(MLP)在故障诊断上的研究取得了一定的进展,且LSTM的长期记忆能力,正好适用于化工过程中非线性、强耦合、高维、时变的数据。
发明内容
本发明针对现有技术的不足,提供了一种基于LSTM和MLP结合的化工过程故障诊断方法。
本发明的技术方案:
a.将原始一维数据通过降维,去掉部分冗余数据点。
b.将得到的一维数据输入堆叠的LSTM,提取得到具有时间特性的特征信息。
c.通过Flatten层将LSTM的输出数据展开,输入到由全连接层堆叠而成的MLP中,进行下一阶段的特征提取。
d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。
本发明的有益效果:与传统的故障诊断算法相比,本发明不需要人为手动提取特征,也不需要与相关领域的专业知识。与其他深度学习模型相比,卷积网络与单纯的MLP网络,不具备时间记忆功能,只能提取空间特性,循环网络存在比较多的缺陷,而化工过程是一个连续的整体过程,所以存在很大的时间关联性和时变性。本发明提出的方法,充分利用了LSTM与MLP网络在时间与空间方面特征提取的优势,先利用LSTM网络进行时间记忆特征信息的学习,由于LSTM计算量大,速度慢,不宜大量堆叠使用,而MLP网络则相对简单,特征学习能力也很强,所以在两层LSTM后便使用MLP网络去进行整体的特征提取与学习,可以针对性的运用于非线性、高耦合、时变以及多特征点的化工过程数据,诊断效果较好。
附图说明
图1为训练集与测试集准确率;
图2为训练集与测试集损失。
具体实施方式
以下结合附图对本发明作进一步说明。
一种基于LSTM和MLP结合的故障诊断方法,按下述步骤进行:
a.将原始一维数据通过一定技术降维,去掉部分冗余数据点;
b.将得到的一维数据输入堆叠的LSTM网络,提取得到具有时间特性的特征信息;
c.通过Flatten层将LSTM的输出数据展开,输入到由全连接层堆叠而成的MLP中,进行下一阶段的特征提取;
d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。
前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤b中,在LSTM网络中提取得到具有时间记忆特性的特征信息具体过程如下:LSTM单元包括记忆细胞Ct和三个门限:输入门it、遗忘门ft和输出门ot。当输入序列为xt时,三个门限和记忆细胞的输出如下:
其中Whf、Whi、Who、WhC分别表示遗忘门、输入门、输出门、记忆细胞它们与上一隐含层之间的权重矩阵,ht-1为前一时刻单元的输出,Wxf、Wxi、Wxo、WxC分别表示输入与遗忘门、输入门、输出门、记忆细胞之间的权重矩阵,bf、bi、bo、bC分别表示遗忘门、输入门、输出门、记忆细胞的偏置,σ为Sigmoid函数,在本发明中此LSTM网络模型由两层LSTM堆叠而成,为了避免过拟合,在每层LSTM网络中加入了随机丢弃机制以及L2正则化。
前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤c中,在MLP网络中提取特征信息具体如下:在MLP输入层将之前LSTM的输出展开为x1,x2,x3...化为向量X[1],MLP输入层到下一层之间权重为w1,w2,w3...化为向量W[1],其中1表示MLP第一层的权重,偏置b[1]同理,则第一层的计算为Z[1]=W[1]X+b[1],之后A[1]=Sigmoid(Z[1]),其中Z[1]为输入的线性组合,A[1]为Z[1]通过激活函数Sigmoid得到的值,对于MLP第一层的输入为X[1],输出为A[1],也就是下一层的输入值,即X[2]=A[1],依次类推到下一层,本发明MLP网络由五层全连接网络堆叠而成。为了避免出现过拟合,加强模型泛化性能,在每两层全连接层之间加入随机丢弃层,同时在每一个全连接层中加入L2正则化,并且采用he_normal作为权重的初始化方法。
前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤d中,通过Softmax分类器进行故障类别的分类具体如下:选择Softmax作为最后一层全连接层的激活函数,用于计算样本属于不同类别的概率,对于给定的输入x,利用函数针对于每一类别j估算出概率值p,并最终输出诊断结果。随后Softmax的输出向量[y1,y2,y3...]和样本的实际标签做交叉熵计算,公式如下:其中yi'是实际的标签值,yi为模型诊断结果,之后对输出向量求均值,得到想要的成本函数值,在定义好成本函数后,选择优化算法将成本函数最小化。
为了验证本发明的有效性,采用田纳西-伊斯曼(TE)过程数据集进行下述实验:
数据简介
TE过程是由美国Eastman化学公司提出的一个化工仿真过程模型,其中包含41个测量变量和12个控制变量,所有的过程测量值都包含高斯噪声,预设定21种故障,其中16个是已知的,知道故障的具体形式,5个是未知的,不知道故障的具体形式,且故障1至7与过程变量的阶跃变化有关,故障8至12与一些过程变量的可变性有关,故障13是反映动力学中的缓慢漂移,故障14、15、21是与阀粘滞有关。训练集样本与测试集样本的采样间隔都为3分钟,每个故障的训练集由480个样本构成;测试集由960个样本组成,每个预设故障是在160个样本后开始被引入。在此先将所有测试集与训练集数据标注好后随机打乱混合,并选择52个特征点中的46个区分性较强的特征点进行试验,再按照80%和20%的比例重新划分训练集与测试集。
激活函数与优化器的选择
随着深度学习技术的发展,激活函数一不仅仅是Sigmoid、Tanh等了,专家学者针对于每个激活函数缺陷进行了一定的改进,在此选择运用较为广泛,功能也较为强大的elu作为MLP网络的激活函数。如今现有的优化器也是多样的,也都有各自的优缺点,需要根据实际情况去选择,此试验中选择Adam作为优化器,此优化器功能相对较为强大,运用范围也比较广泛。
构建模型
此处先使用两层LSTM网络进行特征提取,随后将提取的特征向量输入MLP网络,MLP网络由五层全连接网络构成,且为了避免过拟合,每两层全连接层之间加入随机丢弃层,在LSTM网络中也加入了随机丢弃机制,每一层LSTM网络与全连接网络之中都加入了L2正则化项,采用he_normal作为权重初始化方法,最后由一层全连接层进行输出分类,其激活函数为Softmax。
实验结果
模型在训练集上训练了200轮,每个批次128个样本,学习率每35轮下降0.1倍,最终结果如图1和图2所示,在测试集上准确率达到了86.3%,测试集损失也降低到0.65。
综上,本发明能够很好的运用于TE化工过程数据,准确率、诊断时间以及泛化性能都较好。
Claims (4)
1.一种基于LSTM和MLP结合的化工过程故障诊断方法,其特征在于该方法包括以下步骤:
a.将原始一维数据通过降维,去掉部分冗余数据点;
b.将得到的一维数据输入堆叠的LSTM,提取得到具有时间特性的特征信息;
c.通过Flatten层将LSTM的输出数据展开,输入到由全连接层堆叠而成的MLP中,进行下一阶段的特征提取;
d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。
2.根据权利要求1所述的一种基于LSTM和MLP结合的化工过程故障诊断方法,其特征在于:所述步骤b中,在LSTM中提取得到具有时间记忆特性的特征信息具体过程如下:
其中Whf、Whi、Who、WhC分别表示遗忘门、输入门、输出门、记忆细胞与上一隐含层之间的权重矩阵,ht-1为前一时刻单元的输出,Wxf、Wxi、Wxo、WxC分别表示输入与遗忘门、输入门、输出门、记忆细胞之间的权重矩阵,bf、bi、bo、bC分别表示遗忘门、输入门、输出门、记忆细胞的偏置,σ为Sigmoid函数,其中LSTM的网络模型由两层LSTM堆叠而成,在每层LSTM中加入了随机丢弃机制以及L2正则化。
3.根据权利要求1所述的一种基于LSTM和MLP结合的化工过程故障诊断方法,其特征在于:所述步骤c中,在MLP中提取特征信息具体如下:
在MLP输入层将之前LSTM的输出展开为x1,x2,x3...化为向量X[1],MLP输入层到下一层之间权重为w1,w2,w3...化为向量W[1],其中1表示MLP第一层,偏置b[1]同理,则第一层的计算为Z[1]=W[1]X+b[1],之后A[1]=Sigmoid(Z[1]),其中Z[1]为输入的线性组合,A[1]为Z[1]通过激活函数Sigmoid的得到的值,对于MLP第一层的输入为X[1],输出为A[1],也就是下一层的输入值,即X[2]=A[1],依次类推到下一层,所述MLP由五层全连接网络堆叠而成;在每两层全连接层之间加入随机丢弃层,同时在每一个全连接层中加入L2正则化,并且采用he_normal作为权重的初始化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911392603.XA CN111123894B (zh) | 2019-12-30 | 2019-12-30 | 一种基于lstm和mlp结合的化工过程故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911392603.XA CN111123894B (zh) | 2019-12-30 | 2019-12-30 | 一种基于lstm和mlp结合的化工过程故障诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111123894A true CN111123894A (zh) | 2020-05-08 |
CN111123894B CN111123894B (zh) | 2021-09-07 |
Family
ID=70504821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911392603.XA Active CN111123894B (zh) | 2019-12-30 | 2019-12-30 | 一种基于lstm和mlp结合的化工过程故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111123894B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111665819A (zh) * | 2020-06-08 | 2020-09-15 | 杭州电子科技大学 | 一种基于深度学习多模型融合的复杂化工过程故障诊断方法 |
CN112001123A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于深度卷积网络特征融合的化工过程性能评测方法 |
CN112598186A (zh) * | 2020-12-28 | 2021-04-02 | 重庆邮电大学 | 一种基于改进的lstm-mlp的小型发电机故障预测方法 |
CN112968847A (zh) * | 2021-02-18 | 2021-06-15 | 浙江大学 | 一种基于深度学习和数据导频辅助的信道估计方法 |
CN115222875A (zh) * | 2022-06-01 | 2022-10-21 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、局部场景重建方法、介质、设备及产品 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388237A (zh) * | 2018-04-16 | 2018-08-10 | 广东工业大学 | 一种离散制造设备的故障诊断方法、装置、设备及介质 |
CN109034368A (zh) * | 2018-06-22 | 2018-12-18 | 北京航空航天大学 | 一种基于dnn的复杂设备多重故障诊断方法 |
CN109213896A (zh) * | 2018-08-06 | 2019-01-15 | 杭州电子科技大学 | 基于长短期记忆网络强化学习的水下视频摘要生成方法 |
WO2019016106A1 (fr) * | 2017-07-18 | 2019-01-24 | Worldline | Systeme d'apprentissage machine pour diverses applications informatiques |
CN109493933A (zh) * | 2018-08-08 | 2019-03-19 | 浙江大学 | 一种基于注意力机制的不良心血管事件的预测装置 |
CN109829587A (zh) * | 2019-02-12 | 2019-05-31 | 国网山东省电力公司电力科学研究院 | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 |
CN110147877A (zh) * | 2019-05-24 | 2019-08-20 | 福州大学 | 基于卷积长短时网络的pm2.5预测方法 |
CN110210569A (zh) * | 2019-06-06 | 2019-09-06 | 南京工业大学 | 基于fcm-lstm的化工储罐异常检测算法研究 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
CN110554657A (zh) * | 2019-10-16 | 2019-12-10 | 河北工业大学 | 一种数控机床运行状态健康诊断***及诊断方法 |
-
2019
- 2019-12-30 CN CN201911392603.XA patent/CN111123894B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019016106A1 (fr) * | 2017-07-18 | 2019-01-24 | Worldline | Systeme d'apprentissage machine pour diverses applications informatiques |
CN108388237A (zh) * | 2018-04-16 | 2018-08-10 | 广东工业大学 | 一种离散制造设备的故障诊断方法、装置、设备及介质 |
CN109034368A (zh) * | 2018-06-22 | 2018-12-18 | 北京航空航天大学 | 一种基于dnn的复杂设备多重故障诊断方法 |
CN109213896A (zh) * | 2018-08-06 | 2019-01-15 | 杭州电子科技大学 | 基于长短期记忆网络强化学习的水下视频摘要生成方法 |
CN109493933A (zh) * | 2018-08-08 | 2019-03-19 | 浙江大学 | 一种基于注意力机制的不良心血管事件的预测装置 |
CN109829587A (zh) * | 2019-02-12 | 2019-05-31 | 国网山东省电力公司电力科学研究院 | 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 |
CN110147877A (zh) * | 2019-05-24 | 2019-08-20 | 福州大学 | 基于卷积长短时网络的pm2.5预测方法 |
CN110210569A (zh) * | 2019-06-06 | 2019-09-06 | 南京工业大学 | 基于fcm-lstm的化工储罐异常检测算法研究 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
CN110554657A (zh) * | 2019-10-16 | 2019-12-10 | 河北工业大学 | 一种数控机床运行状态健康诊断***及诊断方法 |
Non-Patent Citations (2)
Title |
---|
OUTSIDER007: "《MLP从原理到实现(一)原理部分》", 25 March 2019 * |
宋沙沙: "基于深度学习的命名实体识别与实体关系抽取研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111665819A (zh) * | 2020-06-08 | 2020-09-15 | 杭州电子科技大学 | 一种基于深度学习多模型融合的复杂化工过程故障诊断方法 |
CN112001123A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于深度卷积网络特征融合的化工过程性能评测方法 |
CN112598186A (zh) * | 2020-12-28 | 2021-04-02 | 重庆邮电大学 | 一种基于改进的lstm-mlp的小型发电机故障预测方法 |
CN112598186B (zh) * | 2020-12-28 | 2022-06-24 | 重庆邮电大学 | 一种基于改进的lstm-mlp的小型发电机故障预测方法 |
CN112968847A (zh) * | 2021-02-18 | 2021-06-15 | 浙江大学 | 一种基于深度学习和数据导频辅助的信道估计方法 |
CN112968847B (zh) * | 2021-02-18 | 2022-05-10 | 浙江大学 | 一种基于深度学习和数据导频辅助的信道估计方法 |
CN115222875A (zh) * | 2022-06-01 | 2022-10-21 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、局部场景重建方法、介质、设备及产品 |
CN115222875B (zh) * | 2022-06-01 | 2024-06-07 | 支付宝(杭州)信息技术有限公司 | 模型的确定方法、局部场景重建方法、介质、设备及产品 |
Also Published As
Publication number | Publication date |
---|---|
CN111123894B (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111123894B (zh) | 一种基于lstm和mlp结合的化工过程故障诊断方法 | |
CN109271522B (zh) | 基于深度混合模型迁移学习的评论情感分类方法及*** | |
CN110175386B (zh) | 变电站电气设备温度预测方法 | |
CN105975573B (zh) | 一种基于knn的文本分类方法 | |
CN108182259B (zh) | 基于深度长短期记忆神经网络对多变量时间序列分类方法 | |
CN111665819A (zh) | 一种基于深度学习多模型融合的复杂化工过程故障诊断方法 | |
CN108875772B (zh) | 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法 | |
CN112733444A (zh) | 基于CycleGAN神经网络的多步长时间序列预测方法 | |
CN110445126A (zh) | 一种非侵入式负荷分解方法及*** | |
CN111477220B (zh) | 一种面向家居口语环境的神经网络语音识别方法及*** | |
CN110197205A (zh) | 一种多特征来源残差网络的图像识别方法 | |
CN111275113A (zh) | 基于代价敏感混合网络的偏斜类时间序列异常检测方法 | |
US20210334658A1 (en) | Method for performing clustering on power system operation modes based on sparse autoencoder | |
CN111368920A (zh) | 基于量子孪生神经网络的二分类方法及其人脸识别方法 | |
CN111914897A (zh) | 一种基于孪生长短时间记忆网络的故障诊断方法 | |
CN113591728A (zh) | 基于集成深度学习的电能质量扰动分类方法 | |
CN111078895B (zh) | 基于去噪卷积神经网络的远程监督实体关系抽取方法 | |
Golovko et al. | A new technique for restricted Boltzmann machine learning | |
CN112132266A (zh) | 基于卷积循环网络的信号调制识别***及调制识别方法 | |
CN113177587B (zh) | 基于主动学习和变分自编码器的广义零样本目标分类方法 | |
CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
CN113673242A (zh) | 一种基于k邻近结点算法和对比学习的文本分类方法 | |
CN113779988A (zh) | 一种通信领域过程类知识事件抽取方法 | |
CN111144500A (zh) | 基于解析高斯机制的差分隐私深度学习分类方法 | |
CN112578089A (zh) | 一种基于改进tcn的空气污染物浓度预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |