CN111598222A - 一种重优化深度自动编码器及发动机自动检测*** - Google Patents

一种重优化深度自动编码器及发动机自动检测*** Download PDF

Info

Publication number
CN111598222A
CN111598222A CN202010406707.8A CN202010406707A CN111598222A CN 111598222 A CN111598222 A CN 111598222A CN 202010406707 A CN202010406707 A CN 202010406707A CN 111598222 A CN111598222 A CN 111598222A
Authority
CN
China
Prior art keywords
engine
depth
sample
classical
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010406707.8A
Other languages
English (en)
Other versions
CN111598222B (zh
Inventor
钟诗胜
付松
林琳
付旭云
张永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202010406707.8A priority Critical patent/CN111598222B/zh
Publication of CN111598222A publication Critical patent/CN111598222A/zh
Application granted granted Critical
Publication of CN111598222B publication Critical patent/CN111598222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing Of Engines (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本发明披露了一种重优化深度自动编码器，其特征在于：包括第一经典深度自动编码器模块、K‑Means聚类模型模块和第二经典深度自动编码器模块；所述第一经典深度自动编码器模块训练完成后，通过所述第一经典深度自动编码器模块获得一重构误差集；所述K‑Means聚类模型模块对所述重构误差集进行聚类，剔除其中重构误差较大的异常样本，保留正常样本作为新训练集；用所述新训练集对所述第二经典深度自动编码器模块进行训练。基于所述重优化深度自动编码器，本发明还提出了一种发动机自动检测***。

Description

一种重优化深度自动编码器及发动机自动检测***
技术领域
本发明涉及自动编码器，特别涉及一种重优化深度自动编码器及基于该编码器的发动机自动检测***。
背景技术
深度自编码器(Deep Auto Encoder，AE)是一种学习输入数据的表示(编码)的一种人工神经网络，通常作为一种特征提取的方法被我们使用。从结构上说，自编码器是一种前馈神经网络，它包含一个输入层，一个隐层以及一个输出层。其中的输出层所包含的神经元个数与输入层的神经元个数相同，这样便可以对输入进行重构。
当前普遍使用的监督型异常检测***具有优秀的异常检测性能归功于其能从大量的带标签样本中学***衡数据，在实际飞行过程中获取的监控数据中正常数据远远大于异常数据，航发的异常数据较少甚至完全没有异常数据；其次，给监控数据打标签一般由专家手动完成，使得在航空发动机实际运行过程中获取准确的有代表性的异常标签数据非常困难。此外，从有限的机队中难以获取包含所有可能的异常行为的异常数据。这些问题导致监督型异常检***在航空发动机实际异常检测领域的应用非常受限。
而无监督型异常监测***中，最大的优势是能在无数据标签条件下实现异常检测，适应于标签数据难以获取的场景。因此，无监督型异常检测方法在航空发动机异常检测领域具有更好的研究价值和发展前景。同时，航空发动机在实际运维中积累了大量的监控性能数据，这些性能数据可为建立无监督型异常检测方法提供基础。
与正常样本相比，异常样本的差异主要表现在低维特征空间的特征存在偏差以及异常样本更难重构。鉴于此，本文提出了一种新的无监督深度学习方法一重优化深度自编码器(Re-optimized Deep Auto-Encoder，R-DAE)用于提升无数据标签下，尤其是燃气轮机等异常检测性能。R-DAE将降维后的低维特征和引起的重构误差一起作为输入样本的低维表示，可以有效地解决维数灾乱问题并且还包含更多有用信息，更有利于后续的异常检测。同时，当传统DAE无法提取输入样本的有效特征时，R-DAE可以通过重构误差反映样本的差异。
发明内容
本发明提出了一种重优化深度自动编码器，其特征在于：
包括第一经典深度自动编码器模块、K-Means聚类模型模块和第二经典深度自动编码器模块；
所述第一经典深度自动编码器模块训练完成后，通过所述第一经典深度自动编码器模块获得一重构误差集；
所述K-Means聚类模型模块对所述重构误差集进行聚类，剔除其中重构误差较大的异常样本，保留正常样本作为新训练集；
用所述新训练集对所述第二经典深度自动编码器模块进行训练。
如上所述的重优化深度自动编码器，其特征在于：
采用原始无标签数据集对所述第一经典深度自动编码器模块进行训练。
如上所述的重优化深度自动编码器，其特征在于：
所述重构误差集E由欧式距离ED来定义和构成：
EDj＝(xj-yj)2，
其中，xj是所述原始无标签数据集中的第j个数据；yj是训练完成后的所述第一经典深度自动编码器模块对所述原始无标签数据集进行编码、解码后的输出数据集中的第j个数据，EDj是所述第一经典深度自动编码器模块重构误差集中的第j个数据；
E＝{ED1，ED2，......EDn}，E是所述第一经典深度自动编码器模块的重构误差集；
J为1-n之间的整数。
如上所述的重优化深度自动编码器，其特征在于：
所述K-Means聚类模型模块对所述重构误差集进行聚类时，保留距离所述K-Means聚类模型模块的聚类中心最近的s个样本作为所述正常样本来构成所述新训练集；
其中s为事先设定的1-n之间的整数。
如上所述的重优化深度自动编码器，其特征在于：
s/n＝95％。
如上任一所述的重优化深度自动编码器，其特征在于：
所述第一经典深度自动编码器模块、第二经典深度自动编码器模块均是多个自动编码器通过级联堆叠的方式来构成的。
如上所述的重优化深度自动编码器，其特征在于：
每个自动编码器包括一个输入层和一个隐藏层，通过级联堆叠的多个自动编码器中，前一个自动编码器的隐藏层作为下一个所述自动编码器的输入层；
最后一个自动编码器的隐藏层作为输出层输出数据的深度特征。
如上所述的重优化深度自动编码器，其特征在于：
所述第一经典深度自动编码器模块、第二经典深度自动编码器模块还包括多个级联堆叠的解码器，每个解码器包括一个作为输入层的隐藏层和一个输出层；
所述最后一个自动编码器的隐藏层作为级联堆叠的解码器的第一个输入层，每个解码器的输出层作为下一个解码器的输入层；
所述级联堆叠的解码器和所述级联堆叠的编码器对称设置。
如上所述的重优化深度自动编码器，其特征在于：
所述编码器将输入向量x经过编码函数fθ映射到隐藏层h的过程执行如下算法：
Figure RE-GDA0002556242300000031
其中x∈Rn表示原始输入向量，h∈Rm表示隐藏层向量，z∈Rn表示输出层向量；
W是m×n权重矩阵，b是偏置向量，
Figure RE-GDA0002556242300000032
表示隐层向量，S(·)为节点激活函数；
所述解码器将隐藏层h经过非线性映射函数gθ′重构输入的过程执行如下算法：
z＝gθ′(h)＝S(W′*h+b′)
其中W′是n×m维的权重矩阵，
Figure RE-GDA0002556242300000033
是偏置向量，
Figure RE-GDA0002556242300000034
表示输出层向量。
如上所述的重优化深度自动编码器，其特征在于：
所述第一经典深度自动编码器模块、第二经典深度自动编码器模块的训练按照如下原则优化：
利用反向传播算法寻找最优参数{θ，θ′}＝{W，b；W′，b′}，使得由下述方程定义的所述输出层向量z与所述原始输入向量x之间的均方误差LH(x，z)最小：
LH(x，z)＝||x-z||2
＝||x-gθ(fθ(x))||2。
如上所述的重优化深度自动编码器，其特征在于：
使用mini-batch梯度方法来寻找所述均方误差LH(x，z)最小化的所述最优参数{θ，θ′}＝{W，b；W′，b′}。
如上所述的重优化深度自动编码器，其特征在于：
所述mini-batch梯度方法包括将作为输入向量的训练集划分为若干个mini-batch，每次将一个mini-batch输入到深度自动编码器块中，以整个mini-batch的均方误差的平均值作为损失函数，如下述方程所示：
Figure RE-GDA0002556242300000041
式中，K表示mini-batch的大小，求解所述均方误差LH(x，z)最小值即可获得所述最优参数{θ，θ′}＝{W，b；W′，b′}。
基于本发明所提出的重优化深度自编码器，当传统DAE无法提取输入样本的有效特征时，R-DAE可以通过重构误差反映样本的差异。
本发明还提出了一种发动机自动检测***，所述检测***包括如上任一所述的重优化深度自编码器和一个孤立森林检测模块，其特征在于：
将每台发动机的特征集和重构误差集作为该发动机的最终特征集FF，并输入到所述孤立森林检测模块中进行异常检测。
如上所述的检测***，其特征在于：
所述第一经典深度自动编码器模块通过如下方式构建的训练集进行训练；
一、利用滑动窗口的方法构造每台发动机的样本集，并按时间顺序对每台发动机的样本集进行标记，标记完成的所有发动机的样本集会被组合成最终的原始无标签样本集T，
Ti＝{ti1，ti2，...，tir}
T＝{T1，T2，....，Tn}
其中，Ti表示第i台发动机的样本集；tir表示第i台发动机的第r个样本。
二、利用样本集T对所述第一经典深度自动编码器模块进行训练，并用训练完成的所述第一经典深度自动编码器模块计算样本集T的重构误差集E，
Figure RE-GDA0002556242300000042
Ei＝{ei1，ei2，...，eir}
E＝{E1，E2，....，En}
其中Ei＝{ei1，ei2，...，eir}表示第i台发动机样本集Ti所对应的重构误差集，eir表示第i台发动机的第r个样本对应的重构误差，
Figure RE-GDA0002556242300000051
表示原始无标签样本集、
Figure RE-GDA0002556242300000052
表示经所述第一经典深度自动编码器模块处理后的样本集；
Figure RE-GDA0002556242300000053
表示欧式距离的平方。
如上所述的检测***，其特征在于：
利用K-means聚类方法分别将每台发动机的重构误差集E进行聚类，以筛选出正常样本集S；
用所述正常样本集S来训练所述第二经典深度自动编码器模块，即获得训练完成的所述重优化深度自编码器。
如上所述的检测***，其特征在于：
用所述重优化深度自编码器对发动机的所述原始无标签样本集T进行处理，分别获得所述原始无标签样本集T的特征集F，
F＝{F1，F2，....，Fn}
和重构误差集RE，
RE＝{RE1，RE2，....，REn}
其中，Fi＝{fi1，fi2，...，fir}，REi＝{rei1，rei2，...，reir}分别表示第i台发动机样本集Ti所对应的特征集和重构误差集；
然后用所述原始无标签样本集T对应的所述特征集F和所述重构误差集RE来构建所述最终特征集FF，
FFi＝{[fi1，rei1]，[fi2，rei2]，...，[fir，reir]}。
如上任一所述的检测***，其特征在于：
采用异常概率A和虚警率F来表示最终的检测结果；
其中异常概率A表示n次检测中该台发动机被检测为异常的概率，由下式定义：
Figure RE-GDA0002556242300000054
式中，yi表示某台发动机第i次检测的结果，若默认的异常样本被检测出来，则 yi＝1，否则yi＝0；
虚警率F表示每台发动机中正常样本被检测为异常样本的概率，由下式定义：
Figure RE-GDA0002556242300000061
ri表示某台发动机第i次检测中假异常样本的个数；m表示该台发动机包含样本的数量，c表示正确的异常样本的个数。
如上所述的检测***，其特征在于：
用下式方程定义的总体检测精度prep来表示被测出异常的发动机的正确率
Figure RE-GDA0002556242300000062
R表示异常发动机被正确的检测出的数量，N表示样本发动机的台数。
附图说明
图1重优化深度自编码器中AE单元的结构示意图
图2重优化深度自编码器中DAE模块的结构示意图
图3重优化深度自编码器(R-DAE)结构示意图
图4利用R-DAE对航空发动机进行无监督异常检测过程框图
图5滑动窗口提取样本过程
图6发动机拆发前300个飞行循环DEGT变化图
图7样本重构误差示例，a、b、c、d分别表示1、2、3、4号发动机所有样本的重构误差
图8不同样本的重构精度示例，a、b分别表示样本A、B的重构精度
图9四组实验各种方法的虚警率，1第一组对比实验三种方法的虚警率；2第二组对比实验中两种方法的虚警率；3第三组对比实验三种方法的虚警率；4本文提出方法的虚警率
图10 RDAE-iForest方法的检测结果
具体实施方法
如图1所示，R-DAE中的AE单元结构示意图，从基本结构上讲，由输入层、隐藏层、输出层构成，其中输入层的编码器接收输入向量，并将输入向量经编码函数映射到隐藏层，构成隐藏层向量，隐藏层向量包含输入向量的较深层次特征，譬如边界、轮廓、奇点等。由输入层、隐藏层构成一个完整的编码过程。
隐藏层向量经输出层解码，构成输出层向量，输出层向量即为输入向量的重构向量。理想状况下，输出层向量应该能完整重构输入层向量，即二者是一致的，然而，事实上，完全的重构是不可能实现的，总会或多或少的损失一些特征，这种损失一般用输入、输出向量的均方误差(Mean Square Error，MSE)表示。
从输入层、经隐藏层再到输出层，整个过程的数学描述如下：
若用x∈Rn表示原始输入向量，h∈Rm表示隐藏层向量，z∈Rn表示输出层向量，编码、解码及训练优化的数学方程如下。
(1)编码过程：将输入向量x经过编码函数fθ映射到隐藏层h的过程，如式(1)所示：
Figure RE-GDA0002556242300000071
其中W是m×n权重矩阵，b是偏置向量，
Figure RE-GDA0002556242300000072
表示隐层向量。S(·)为节点激活函数，本发明选用ReLU函数作为节点激活函数S(·)。
(2)解码过程：将隐藏层h经过非线性映射函数gθ′重构输入的过程，如式(2)所示：
z＝gθ′(h)＝S(W′*h+b′) (2)
其中W′是n×m维的权重矩阵，
Figure RE-GDA0002556242300000073
是偏置向量，
Figure RE-GDA0002556242300000074
表示输出层向量。
(3)寻找最优参数过程：利用反向传播算法寻找最优参数{θ，θ′}＝{W，b；W′，b′}，使输出向量z与输入向量x之间的均方误差(Mean Square Error，MSE)最小，用式(3)所示的损失函数表征：
LH(x，z)＝||x-z||2
＝||x-gθ(fθ(x))||2 (3)
如图2所示的深度自动编码器(Deep Auto Encoder，DAE)，由多个AE级联叠加而成，即堆叠自动编码器，而叠加的目的，则是提取输入数据更深层的特征，也就说，DAE 网络试图以更具有代表性的特征去描述原始数据而尽量不损失数据有效信息。DAE的输入-输出可以用下式来表征：
Figure RE-GDA0002556242300000081
其中x表示原始输入向量，hi表示n级AE叠加形成的DAE各级隐藏层向量，i为1- n之间的整数，表征第i个AE。与单个AE单元相比，DAE的核心就是通过堆叠多个AE的方式，挖掘原始输入向量x中的深度特征，最后一个AE的隐藏层hn被认为是输入向量x 在低维度上的最终表示，视为输入向量x的深度特征。也就是说，只需要存储、传输hn，再通过相应的解码器，得到的输出向量z，即是最接近原始输入向量x的。
如方程3所示，AE的训练优化最终是收敛于输入向量x与经解码器还原后的输出向量z之间的均方误差最小。故而，尽管实际使用中我们最感兴趣的还是经AE编码后的隐藏层向量h(因为h在低阶维度上表征了输入向量x的关键特征，同时又尽量没有损失输入向量x的关键信息)，然而，为了便于训练优化AE，一般会加上解码器，以便将隐藏层向量h还原为输出向量z。
如图2所示的DAE中，多个级联对接的AE，同时对称的级联堆叠了多个解码器，以便对最后的隐藏层向量hn予以解码还原为z，从而能够通过对方程3定义的损失函数求最小值，以获得最优DAE参数{θ，θ′}＝{W，b；W′，b′}。
另外，对于DAE的训练优化，我们采用了mini-batch梯度方法来寻找最优参数。具体地，将训练集划分为若干个mini-batch，每次将一个mini-batch输入到模型中，以整个mini-batch的均方误差的平均值作为损失函数，如方程式(4)所示
Figure RE-GDA0002556242300000082
式中，K表示mini-batch的大小。求解方程式4的最小值，即完成了DAE的训练优化。
图3所示为本发明提出的R-DAE的结构图，由两个经典DAE和一个K-Means聚类模型组成。其中第一个DAE和K-Means模型组成样本筛选器对输入样本进行筛选，而第二个DAE首先被筛选后的样本集进行训练，然后用以计算原始样本集中所有样本的重构误差和深度特征，具体过程如下：
第一，利用原始无标签数据集按照上述方式训练第一个DAE，训练后的DAE用以计算原始数据集的重构误差集。重构误差集由方程式(5)定义；
第二，得到重构误差集之后，利用K-means聚类模型将其聚为两类。重构误差较大的一类所对应的样本被认为是异常的，将会被剔除，而另一类所对应的样本暂时被认为是正常样本。然而，仅通过重构误差不能完全清楚的划分样本。为了使获得的正常样本根据有代表性，选取离该类聚类中心最近的m个样本作为新的训练集。
第三，利用第二步中得到的新训练集训练第二个DAE模型。与原始训练集相比，新的训练集包含较少的异常样本，甚至没有异常。因此，可以认为第二个DAE只通过正常优化，这就是所谓的R-DAE，并用以计算原始无标签数据集的重构误差和深度特征，得到样本的最终特征。
相比于经典的DAE***，R-DAE编码器***的有效之处就在于：首先，R-DAE将输入样本的关键信息保存在一个低维空间中，该低维空间包含了提取的高阶特征和诱导重建误差的特征。因此，当传统的DAE不能提取输入样本的有效特征时，R-DAE可以通过重构误差来描述样本间的差异。其次，R-DAE并没有将所有数据的重构误差最小化，只是将正常样本的重构误差最小化，这使得正常样本的重构误差更小，而异常样本的重构误差则没有。通过R-DAE***，将正常样本常规处理；而异常样本，由于未经事先的优化训练，通过R-DAE***时，会有一定程度的放大，异常会非常容易的被识别出来。
而DAE训练优化中，唯一的标准就是重构误差更小，而不管原始输入样本中是否包含特定的异常数据，这些异常数据很可能就是现实世界中出现问题的征兆，譬如燃气轮机、航空发动机等运行的异常数据。如果只是基于传统的DAE来监测真实世界中的燃气轮机、航空发动机等的运行，反应真实运行状态的异常数据，很可能在初级AE编码中就被剔除掉了，或者削弱了这种异常，最终不能被识别出来。
我们在R-DAE***中选用欧式距离(Euclidean Distance，ED)来表示重构样本与原始样本的重构误差，具体如公式(5)所示。
Figure RE-GDA0002556242300000091
ED越小，表示重构样本与原始样本之间的差异越小。在实验过程中，为了便于计算，本文利用ED的平方代替ED。
具体实施方式
现以航空发动机为例，说明R-DAE在无监督型监测中的应用。
一般航空发动机发生的异常以时间序列异常居多，为了更好的捕捉这种特性，通常以滑动窗口的形式来提取样本，这样就会造成在单台发动机样本不足。如果只对单台发动机进行异常检测，虽然不存在发动机之间存在的较大差异性对检测结果的影响问题，但不得不面临单台发动机样本量少造成的过拟合问题。
直接对多台发动机进行异常检测，可以很好的解决样本不足的问题，但需要面临发动机个体之间较大差异对异常检测造成的影响。而R-DAE就能很好的克服这一问题，用多台发动机的样本来建立R-DAE模型。
首先，利用滑动窗口的方法构造每台发动机的样本集，并按时间顺序对每台发动机的样本集进行标记。标记完成的所有发动机的样本集会被组合成最终的原始无标签样本集T，如式(6)所示。
Ti＝{ti1，ti2，...，tir}
T＝{T1，T2，....，Tn} (6)
其中，Ti表示第i台发动机的样本集；tir表示第i台发动机的第r个样本。
采用滑动窗口的方法构造样本集的过程如图5所示。
假设滑动窗口的长度为l，n是OEM监控数据的维度(本发明所选取监控参数的个数，包括循环排气温度变化量DEGT(Delta ExhaustGasTemperature)、排气温度裕度变化量EGTM(ExhaustGasTemperature Margin)、核心机转速变化量DN2(Delta Core Speed)、DFF燃油流量变化值(Delta Fuel Flow)等四个性能参数)，滑动窗口的步长为s。滑动窗口的起始点到达第i列时，起始点是pi，结束点是pi+l-1。获得当前窗口的OEM数据片段以后，滑动窗口会前移s步。此时，滑动窗口的起始点和结束点就会变为pi+s和pi+l+s- 1。窗口在OEM时间序列数据中不断向前滑动，就会不断生成OEM数据片段。由于DAE 只能接受向量形式输入，所获得OEM片段都会被拉成一个向量，该向量的长度为I*n。
其次，利用样本集T对第一个DAE进行训练，并用训练完成的DAE计算样本集T的重构误差集E，如式(7-9)所示。
Figure RE-GDA0002556242300000101
Ei＝{ei1，ei2，...，eir} (8)
E＝{E1，E2，....，En} (9)
其中Ei＝{ei1，ei2，...，eir}表示第i台发动机样本集Ti所对应的重构误差集，eir表示第i台发动机的第r个样本对应的重构误差。
第三，利用K-means聚类方法分别将每台发动机的重构误差集两类，以筛选出每台发动机中的正常样本，如式(10)所示。
Figure RE-GDA0002556242300000111
其中zu表示聚类中心，Eiu表示第u个类别。对于每台燃气轮机，剔除重构误差较大一类对应的样本。此外，为了使获取的正常样本更具有代表性，取距聚类中心最近的s个样本，s的计算方法如式(11)所示。
Figure RE-GDA0002556242300000112
其中q为该类样本的总个数。
第四，将所有发动机筛选出的正常样本重新组合成新的样本集s来训练第二个DAE，建立仅通过正常样本进行优化的R-DAE，并被用以计算原始样本集T的特征集F， F＝{F1，F2，....，Fn}和重构误差集RE，RE＝{RE1，RE2，....，REn}，其中Fi＝{fi1，fi2，...，fir}，REi＝{rei1，rei2，...，reir}分别表示第i台发动机样本集Ti所对应的特征集和重构误差集。
第五，将每台发动机的特征集和重构误差集作为该发动机的最终特征集FF， FFi＝{[fi1，rei1]，[fi2，rei2]，...，[fir，reir]}，输入到孤立森林(i-Forest)中进行异常检测。相比于其他无监督算法，孤立森林可以处理时间序列数据，并且在小样本条件下有更好的检测效果。
具体到飞机发动机的无监督异常检测，本发明中的R-DAE检测***，按照如下方式设置：
(1)结构参数设置
更多层的神经网络需要更多的训练样本。因此，在实验过程中R-DAE中的每个DAE均设置1个隐藏层。由于输入数据的维度为200，所以DAE的输入层神经元节点数均设置为200。R-DAE的具体结构参数设置如表1所示。
R-DAE模型的超参数设置
表1
Figure RE-GDA0002556242300000121
(2)检测指标设置
根据对OEM厂家提供的CNR报告分析，异常序列的长度从5到130不等，并且很少有发动机发生异常时，其异常序列长度超过50个循环。因此每台发动机拆发前的50 个飞行循环被认为包含大部分异常模式，从每台发动机所提取的样本中由拆发前的50个循环构成的样本被认为是异常样本。然而，由于采用滑动窗口提取样本时，步长设置为 10小于50，导致一些样本中既包含了正常飞行循环也包含了异常飞行循环。图6所示为某台发动机因故障而拆发时，拆发前300个飞行循环DEGT变化趋势图，从图中可以看出，该台发动机故障时其监控参数DEGT的变化趋势发生了明显的变化，其表现的异常序列约包含为30个循环。因此，通过滑动窗口取样本时，就会存在三个样本中都包含异常循环，如图中样本①、②、③所示，其中样本①是正确的异常样本。
由于发动机维修报告只提供了发动机的拆发时间而未提供发动机异常开始的时间，很难判断异常开始的循环。因此，对该台发动机进行异常检测时，在检测出默认的异常样本①的前提下，如果检测出样本②、③也为异常样本，那么样本②、③均可认为是正确的异常样本。并且认为该台发动机能被提前检测出发生异常。然而，对于不同的异常模式，异常序列的长度是不一样的。假设某台发动机通过滑动窗口采集方法共得到了m个样本，根据时间序列将其进行排序，用X＝{x1，x2，...，xm-1，xm}表示，其中xm表示默认的异常样本。表2展示了利用本发明所提出的方法进行异常检测时，检测出的异常样本中可以被判定为正确的异常样本的情况，并且当被检测的发动机满足表2中的第3到第6种情况之一时，表示该台发动机能被提前检测出发生异常。
表2
State 检测出的异常样本 正确的异常样本
1 ...，x<sub>r</sub>，where r≠m no
2 ...，x<sub>r</sub>，x<sub>m</sub>，where r≠m-1 x<sub>m</sub>
3 ...，x<sub>r</sub>，x<sub>m-1</sub>，x<sub>m</sub>，where r≠m-2 x<sub>m-1</sub>，x<sub>m</sub>
4 ...，x<sub>r</sub>，x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub>，where r≠m-3 x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub>
5 ...，x<sub>r</sub>，x<sub>m-3</sub>，x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub>，where r≠m-4 x<sub>m-3</sub>，x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub>
6 ...，x<sub>r</sub>，x<sub>m-4</sub>，x<sub>m-3</sub>，x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub> x<sub>m-4</sub>，x<sub>m-3</sub>，x<sub>m-2</sub>，x<sub>m-1</sub>，x<sub>m</sub>
与一般的异常检测不同，基于真实数据的航空发动机异常检测中存在样本严重不均衡问题，因此用精度、召回率以及F1值来度量故障检测的性能意义不大。例如，第一台发动机至少包含中有115个的正常样本和1个异常样本，检测结果始终为正常样本就可以获得99.1％的检测精度以及99.1％的总体召回率和100％的总体F1-score。显然，在本发明的条件下，用这种三个指标来度量异常检测结果是毫无意义的。
在实际航空发动机异常检测中，更关注发动机在哪个飞行时间段内发生了异常。因此，在本发明中采用异常概率A和虚警率F被用来表示每台发动机最终的检测结果。其中异常概率表示n次检测中该台发动机被检测为异常的概率，如式(12)所示；虚警率F是指每台发动机中正常样本被检测为异常样本的概率，如式(13)所示。总体检测精度被用来表示样本机队中被测出异常的发动机的正确率，如式(14)所示。
Figure RE-GDA0002556242300000131
Figure RE-GDA0002556242300000132
Figure RE-GDA0002556242300000133
式中，yi表示某台发动机第i次检测的结果，若默认的异常样本被检测出来，则yi＝1，否则yi＝0；ri表示某台发动机第i次检测中假异常样本的个数；m表示该台发动机包含样本的数量，c表示正确的异常样本的个数；R表示异常发动机被正确的检测出的数量，N 表示样本发动机的台数。
试验结果分析
(1)重构误差合理性分析
理论上，R-DAE能够较好的重构正常样本，而对异常样本重构效果较差，这是重构误差能够较好的区分正常样本和异常样本的原因。本文将通过实验对重构误差的合理性进行证明。
图7描述了随机选取的四台发动机的样本重构误差曲线。从图中可以看出，对于同一台发动机，越靠近拆发时间的样本，重构误差越大。这是因为在发动机发生异常时，其监控参数会出现变化，R-DAE难以对其进行有效重构，导致较大的重构误差；而当发动机正常运行时，监控参数变化比较平稳，R-DAE对其重够的效果较好，因此其重构误差较小。
图8a是图7a中样本A的重构精度，图8b是图7a中样本B的重构精度。样本A 由拆发前50个循环组成，而样本B是该台发动机某正常运行阶段的连续50个飞行循环组成。样本B的重构精度要远远好于样本A的重构精度。
上述实验结果表明，重构误差可以显著的表现出正常样本和异常样本之间的差别。因此在本发明中将其作为区分正常样本和异常样本的特征之一是合理的。此外，对于不同的发动机，重构误差的幅值差异较大，这说明不同的发动机之间存在较大的个体差异。
(2)对比实验
通过上述实验，验证了所提出方法的合理性。为了验证所提出的方法具有优秀的异常检测性能，本发明进行了3组对比实验。
在第一组对比实验中，不考虑发动机个体差异和时间序列对异常检测的影响。在第一组对比实验中，三种方法：KMeans、DAE_KMeans和DAE_KMeans(RE)分别被用来进行实验。第二、三两种方法先利用DAE对原始数据进行特征提取，而后利用KMeans进行聚类。第二种方法与第三种方法的唯一区别在于第三种方法所获取的样本最终特征由样本的深度特征和样本的重构误差构成。在第二组对比实验中，考虑发动机个体差异对异常检测造成的影响而不考虑时间序列的影响，并且两种方法：DAE-KMeans和DAE- KMeans(RE)将分别被用来进行实验。第三组对比实验中，发动机个体差异和时间序列均被考虑，三种方法：iForest、DAE-iForest和DAE-iForest(RE)分别被用来进行实验。第四组为实验组，利用本文提出的方法进行无监督异常检测。每组实验重复10次，取平均值作为最终结果。各组实验的检测结果如表3所示，同时各种方法对每台发动机进行异常检测的虚警率如图9所示。
表3
Figure RE-GDA0002556242300000151
从图9可以看出，第一组对比实验中的三种方法的虚警率基本上都大于50％，有的甚至为100％。实验结果说明，在不考虑发动机个体差异和时间序列的条件下，难以实现有效的无监督异常检测。因此，表3中第一组对比实验的检测结果没有意义。其次，第二组对比试验中两方法的虚警率也比较高，这是因为在第二组对比实验中，虽然考虑发动机的个体差异性，但没有考虑时序性的影响。相比于前两组实验，第三组对比实验中三种方法和本文提出的方法均具有较低的虚警率。
对比表3中第三组与第二组对比实验的检测结果，虽然第三组对比实验中三种方法提前检测出异常的数量略低于第二组对比实验中两种方法，但第三组对比实验中三种方法具有更好的检测精度。此外，第三组对比实验中三种方法的虚警率明显低于第二组对比实验中两种方法的虚警率。第三组对比实验中三种方法最终的无监督异常检测均有iForest实现，而在第二组对比实验中两种方法最终的无监督异常检测均有K-Means实现。相比于KMeans等传统聚类算法，iForest的优势在于能处理时间序列数据，这在KMeans 聚类算法中不得不被忽略。实验结果表明，在对航空发动机进行异常检测时，时序列是重要因素，必须被考虑。
比较第三组对比实验中三种方法的检测结果，后两种方法的检测结果要优于第一种方法的检测结果。与第一种方法不同，第二、三种方法先利用DAE对原始数据进行特征提取，而后利用iForest进行异常检测。实验结果表明，利用深度特征进行异常检测可以实现更高的异常检测精度。第三组对比实验中第三种方法的检测结果优于第二种方法的检测结果。第二种方法和第三种方法的唯一区别在于第三种方法最终所获得的样本特征由DAE提取的特征和重构误差组成，而第二种方法最终所获得的样本特征仅由DAE提取的特征组成。实验结果表明加入重构误差可以有效的提高异常检测精度，再次证明了当利用DAE对原始数据进行深度特征提取时，重构误差可以作为一个重要特征，给后续的分类或回归提供有效信息。
对比第三组对比实验中第三种方法的检测结果与本文提出方法的检测结果，尽管本文提出的方法提前检测出的异常发动机的台数要低于第三组对比实验中的第三种方法，但是本文提出的方法具有更高的检测精度。然而，在发动机健康管理工程实践中，检测精度更重要。因为提高异常检测精度，可以增加飞行的安全性。因此，相比于第三组对比实验中第三种方法，本文提出的方法更适合于发动机健康管理的工程实践。
图10展示了使用本发明提出的异常检测方法对33台样本发动机进行异常检测的最终结果。从图中可以看出，有26台发动机以100％的异常概率被检测出来。此外，对每台发动机进行异常检测时的虚警率均比较低。实验结果说明了本发明提出的方法能够实现较好的无监督异常检测，并且还具有较高的可靠性和稳定性。
需要说明的是：以上仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种重优化深度自动编码器，其特征在于：
包括第一经典深度自动编码器模块、K-Means聚类模型模块和第二经典深度自动编码器模块；
所述第一经典深度自动编码器模块训练完成后，通过所述第一经典深度自动编码器模块获得一重构误差集；
所述K-Means聚类模型模块对所述重构误差集进行聚类，剔除其中重构误差较大的异常样本，保留正常样本作为新训练集；
用所述新训练集对所述第二经典深度自动编码器模块进行训练。
2.如权利要求1所述的重优化深度自动编码器，其特征在于：
采用原始无标签数据集对所述第一经典深度自动编码器模块进行训练。
3.如权利要求2所述的重优化深度自动编码器，其特征在于：
所述重构误差集E由欧式距离ED来定义和构成：
EDj＝(xj-yj)2，
其中，xj是所述原始无标签数据集中的第j个数据；yj是训练完成后的所述第一经典深度自动编码器模块对所述原始无标签数据集进行编码、解码后的输出数据集中的第j个数据，EDj是所述第一经典深度自动编码器模块重构误差集中的第j个数据；
E＝{ED1，ED2，……EDn}，E是所述第一经典深度自动编码器模块的重构误差集；
J为1-n之间的整数。
4.如权利要求3所述的重优化深度自动编码器，其特征在于：
所述K-Means聚类模型模块对所述重构误差集进行聚类时，保留距离所述K-Means聚类模型模块的聚类中心最近的s个样本作为所述正常样本来构成所述新训练集；
其中s为事先设定的1-n之间的整数。
5.如权利要求4所述的重优化深度自动编码器，其特征在于：
s/n＝95％。
6.如权利要求1-5任一所述的重优化深度自动编码器，其特征在于：
所述第一经典深度自动编码器模块、第二经典深度自动编码器模块均是多个自动编码器通过级联堆叠的方式来构成的。
7.一种发动机自动检测***，所述检测***包括如权利要求1-6任一所述的重优化深度自编码器和一个孤立森林检测模块，其特征在于：
将每台发动机的特征集和重构误差集作为该发动机的最终特征集FF，并输入到所述孤立森林检测模块中进行异常检测。
8.如权利要求7所述的检测***，其特征在于：
所述第一经典深度自动编码器模块通过如下方式构建的训练集进行训练；
一、利用滑动窗口的方法构造每台发动机的样本集，并按时间顺序对每台发动机的样本集进行标记，标记完成的所有发动机的样本集会被组合成最终的原始无标签样本集T，
Ti＝{ti1,ti2,...,tir}
T＝{T1,T2,....,Tn}
其中，Ti表示第i台发动机的样本集；tir表示第i台发动机的第r个样本。
二、利用样本集T对所述第一经典深度自动编码器模块进行训练，并用训练完成的所述第一经典深度自动编码器模块计算样本集T的重构误差集E，
Figure FDA0002491568000000021
Ei＝{ei1,ei2,...,eir}
E＝{E1,E2,....,En}
其中Ei＝{ei1,ei2,...,eir}表示第i台发动机样本集Ti所对应的重构误差集，eir表示第i台发动机的第r个样本对应的重构误差，
Figure FDA0002491568000000022
表示原始无标签样本集、
Figure FDA0002491568000000023
表示经所述第一经典深度自动编码器模块处理后的样本集。
9.如权利要求8所述的检测***，其特征在于：
利用K-means聚类方法分别将每台发动机的重构误差集E进行聚类，以筛选出正常样本集S；
用所述正常样本集S来训练所述第二经典深度自动编码器模块，即获得训练完成的所述重优化深度自编码器。
10.如权利要求9所述的检测***，其特征在于：
用所述重优化深度自编码器对发动机的所述原始无标签样本集T进行处理，分别获得所述原始无标签样本集T的特征集F,
F＝{F1,F2,....,Fn}
和重构误差集RE，
RE＝{RE1,RE2,....,REn}
其中，Fi＝{fi1,fi2,...,fir}，REi＝{rei1,rei2,...,reir}分别表示第i台发动机样本集Ti所对应的特征集和重构误差集；
然后用所述原始无标签样本集T对应的所述特征集F和所述重构误差集RE来构建所述最终特征集FF，
FFi＝{[fi1,rei1],[fi2,rei2],...,[fir,reir]}。
CN202010406707.8A 2020-05-14 2020-05-14 一种重优化深度自动编码器及发动机自动检测*** Active CN111598222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010406707.8A CN111598222B (zh) 2020-05-14 2020-05-14 一种重优化深度自动编码器及发动机自动检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010406707.8A CN111598222B (zh) 2020-05-14 2020-05-14 一种重优化深度自动编码器及发动机自动检测***

Publications (2)

Publication Number Publication Date
CN111598222A true CN111598222A (zh) 2020-08-28
CN111598222B CN111598222B (zh) 2023-04-28

Family

ID=72188958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406707.8A Active CN111598222B (zh) 2020-05-14 2020-05-14 一种重优化深度自动编码器及发动机自动检测***

Country Status (1)

Country Link
CN (1) CN111598222B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742165A (zh) * 2022-04-15 2022-07-12 哈尔滨工业大学 基于深度自编码器的航空发动机气路性能异常检测***
CN115499349A (zh) * 2022-09-19 2022-12-20 北京京航计算通讯研究所 一种基于深度学习的未知协议指纹提取方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160866A (zh) * 2015-08-07 2015-12-16 浙江高速信息工程技术有限公司 一种基于深度学习神经网络结构的交通流预测方法
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
CN110287983A (zh) * 2019-05-10 2019-09-27 杭州电子科技大学 基于最大相关熵深度神经网络单分类器异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160866A (zh) * 2015-08-07 2015-12-16 浙江高速信息工程技术有限公司 一种基于深度学习神经网络结构的交通流预测方法
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
CN110287983A (zh) * 2019-05-10 2019-09-27 杭州电子科技大学 基于最大相关熵深度神经网络单分类器异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AYESHA SIDDIQUA等: "Supervised Deep-Autoencoder for depth Image-Based 3D Model Retrieval" *
钟诗胜等: "多源数据融合的民航发动机修后性能预测" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742165A (zh) * 2022-04-15 2022-07-12 哈尔滨工业大学 基于深度自编码器的航空发动机气路性能异常检测***
CN114742165B (zh) * 2022-04-15 2023-04-18 哈尔滨工业大学 基于深度自编码器的航空发动机气路性能异常检测***
CN115499349A (zh) * 2022-09-19 2022-12-20 北京京航计算通讯研究所 一种基于深度学习的未知协议指纹提取方法和***

Also Published As

Publication number Publication date
CN111598222B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Kieu et al. Outlier detection for multidimensional time series using deep neural networks
CN111237134B (zh) 一种基于GRA-LSTM-stacking模型的海上双馈风力发电机故障诊断方法
CN111740971A (zh) 基于类不平衡处理的网络入侵检测模型sgm-cnn
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
Chang et al. Anomaly detection for industrial control systems using k-means and convolutional autoencoder
CN111598222A (zh) 一种重优化深度自动编码器及发动机自动检测***
CN113961759B (zh) 基于属性图表示学习的异常检测方法
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
CN110879373B (zh) 一种神经网络和决策融合的油浸式变压器故障诊断方法
CN116361635B (zh) 一种多维时序数据异常检测方法
Azzalini et al. A minimally supervised approach based on variational autoencoders for anomaly detection in autonomous robots
Gu et al. An improved sensor fault diagnosis scheme based on TA-LSSVM and ECOC-SVM
CN112949753B (zh) 一种基于二元关系的卫星遥测时序数据异常检测方法
CN111325233B (zh) 一种变压器故障检测方法及装置
CN116527357A (zh) 一种基于门控Transformer的Web攻击检测方法
Mao et al. Deep domain-adversarial anomaly detection with one-class transfer learning
CN114742165B (zh) 基于深度自编码器的航空发动机气路性能异常检测***
CN114169091A (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
CN112785015A (zh) 基于案例推理的装备故障诊断方法
CN114487673A (zh) 一种基于Transformer的电力设备故障检测模型和电子设备
CN114416479A (zh) 一种基于流外正则化的日志序列异常检测方法
Chen et al. Unsupervised Fault Detection Driven by Multivariate Time Series for Aeroengines
CN113705661A (zh) 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法
CN117314680A (zh) 基于双路自编码器的电力调度监控数据异常检测方法
CN112422546A (zh) 一种基于变邻域算法和模糊聚类的网络异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant