CN111368370A - 基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法 - Google Patents

Abstract

本发明提供一种基于类特定重定向极限学***衡学习问题中，对正常类和故障类样本引入两个不同的正则化参数改善重定向极限学习机的性能；并使用两种不同的重定向策略，使性能指标G‑mean优秀，提升了算法分类效果，相比于WELM算法和CS‑ELM算法在故障诊断中有着更好的性能。

Description

基于类特定重定向极限学习机学习算法的航空发动机故障诊 断方法

技术领域

本发明针对航空发动机故障诊断，用极限学***衡问题并用于航空发动机故障诊断。

背景技术

近年来，分布不平衡的原始数据几乎在所有生活情景下都存在着，如生物医学中的应用、网络入侵、欺诈检测以及故障诊断，类别不平衡学***衡学***衡，通过对训练样本进行重采样，使得训练数据集的分布发生改变，主要方法有上采样、下采样以及混合采样。第二，是从算法的层面考虑，主要是通过调整分类算法，而不改变训练样本数据集的分布，使得少数类样本得到更多的关注，主要方法有单类学习、代价敏感以及集成学习等。

上采样方法平衡数据集是通过某些方法增加少数类样本来实现的。随机上采样(Random Oversampling，简称ROS)简单地对少数类进行随机复制，SMOTE(SyntheticMinority Oversampling Technique，简称SMOTE)方法，通过在少数类样本的邻域空间中选取邻近的样本增加样本数目，采样后的训练集在一定程度上和原始训练集的分布相似。Borderline-SMOTE算法在少数类边界区域使用SMOTE算法而不是在全部少数类上，比SMOTE算法有着更好地性能。下采样平衡数据集是通过某些方法减少多数类样本来实现的。随机下采样(Random Under-sampling，简称RUS)简单地对多数类进行一定数量的随机删减，基于聚类的采样方法(Sampling Based on Clustering，简称SBC)，利用聚类的方法对训练数据集进行划分，将多数类样本和少数类样本区分。代价敏感学***衡学***面对少数类的泛化性。熵模糊支持向量机(Entropy-based FuzzySupport Vector Machine)根据熵确定每个样本的隶属度，相比FSVM分类性能有一定的改善。

ELM与SVM一样，虽然在平衡数据集上有着良好的性能，但在不平衡数据上由于受到不平衡样本分布的影响，不平衡问题上的分类性能不尽人意。加权极限学***衡比率，有着更好的性能，对不平衡学习问题，有着更高的G-mean值。

目前对于航空发动机故障诊断的研究都是基于发动机的正常数据和故障数据数量一致以及将正常数据误诊和故障数据误诊的代价相同的问题上。而在实际情况中，由于航空发动机故障数据难以获得，获取代价巨大，因此航空发动机故障诊断存在着类别不平衡的问题，是类别不平衡学***衡问题纳入考虑范围内，造成分类面往少数类移动，虽然最后总体上获得了较高的诊断精度，但可以分析发现许多故障数据遭到误诊。

发明内容

发明目的：为克服传统的故障诊断技术只是基于发动机的正常数据和故障数据数量一致以及将正常数据误诊和故障数据误诊的代价相同的问题，本发明通过利用类别不平衡学***均数量确定。

技术方案：

一种类特定重定向极限学习机学习算法，分别对正常样本和故障样本错分加以不同的正则化参数，并采用ε-dragging的思想，使用重定向策略对目标矢量进行修改，使不同标签之间的间隔尽可能的大。所述算法可采用两种数学模型，分别为DCS-ELM和IDCS-ELM。

采用DCS-ELM的所述算法包括如下步骤：

步骤1：建立类特定重定向极限学习机的数学模型：

式(1)和式(2)中，

其中，β代表输出层权重，C⁺和C^-分别是少数类和多数类的正则化参数，N⁺代表少数类的样本数目，N^-代表多数类的样本数目，H₊和H_-分别表示多数类实例与少数类实例的隐藏层节点输出，T₊和T_-分别表示多数类实例与少数类实例的目标矢量。其中正则化参数C⁺和C^-成比例关系，并不需要为每个训练实例分配权重：

其中，m为少数类的类别数。

步骤2：式(1)的求解可以通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

当

和

给定时，那么修改后目标矢量可以写成：

式中，⊙表示矩阵对应的元素间相乘操作。此时，式(1)可以简化为：

当N＞L时，最优权重

为：

步骤3：计算

在

给定时，R₊定义为N₊个正类样本点的回归残差，R_-定义为N_-个负类样本点的回归残差对于：

将式(12)和式(13)代入式(9)，在忽略常数项后，可以得到以下优化问题：

矩阵的平方Frobenius范数可以解耦为一个个元素，对于式(14)，对

部分的求解并不影响对

部分的求解。由于C⁺和C^-是常数，对于

为取得最小值，只需

取最小值。与之同理，对于

为取得最小值，只需

取最小值。对于式(14)的每一部分，同样可以等效解耦为多个子问题求解，可以很容易求解出E₊和E_-为：

式中，0代表着矩阵的元素全为0。

步骤4：根据

得到如下决策函数：

采用IDCS-ELM的所述算法包括如下步骤：，步骤1：将公式(1)中的重定向策略中的±1基准点的约束移除，建立改进的类特定重定向极限学习机的数学模型：

式中，T_+ij是T₊中的第i行第j列的元素，而T_-ij是T_-中的第i行第j列的元素，其中T₊，T_-∈R^N×c是实值矩阵而不是式(1)中的标签矩阵，T₊和T_-直接从数据中学习得到，并且反映着每个点的可分性。

步骤2：式(1)的求解可以通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

通过固定目标矩阵T₊和T_-，则式(3.51)可以写成下式：

当N＞L时，最优权重

为：

当N＜L时，最优权重

为：

步骤3：计算最优T。

固定输出权重

令：

忽略常数项，则式(20)可以写成：

式中，最优T₊和T_-使得目标函数值最小，并且T₊和T_-中的每个元素都应满足使得正确分类的样本间隔最大的约束。式(25)是凸约束二次规划问题，可以发现对

的部分的求解并不影响对

部分的求解，则式(25)可以分解为N个独立的子问题求解，每个子问题为分别对T₊和T_-的每一行求解最优解，一般形式可以表示如下：

式中，y＝[y₁,…,y_c]∈R^1×c是Y的行向量，t＝[t₁,…,t_c]∈R^1×c是T的行向量。式(25)的最优解T₊和T_-可以分别通过求解式(27)逐行求解得到。

式(27)可以使用逐元素策略求解。首先，可以先求解以下最优问题，当n≠j：

可以发现，式(28)是约束二次函数，可以很容易得到解为：

t_n＝y_n+min(t_j-y_n-2,0) (29)

将式(29)代入式(27)可得，无约束问题如下：

对g(t_j)求导可得：

式(31)中，当括号条件为真时，δ(·)为1否则取值为0。由于式(30)同样是凸优化问题，当g'(t_j)＝0时，可解出唯一的最优解：

可以很容易证明式(31)中g'(t_j)是单调递增函数，因此可以得到：

由g'(t_j)＝0和式(33)，式(32)可以重写为：

至此，得到最优解

将其代入式(29)，则可得到

的最优解：

由式(34)和式(35)，可得到式(25)的最优解，逐行得到式(25)的最优解T₊和T_-。

步骤4：根据

得到如下决策函数：

上述算法在航空发动机故障诊断中的应用，包括如下步骤：

步骤1：采集全飞行包线内，航空发动机各部件正常状态下的参数，记为正常样本，故障状态下的参数，包括风扇、压气机、高压涡轮以及低压涡轮，记为四类故障样本；

步骤2：将样本归一化后，将样本与其对应的样本标签作为训练样本训练基于代价敏感的重定向极限学习机，由于无法知道应对哪种故障更加关注从而对其赋予更大的正则化参数，因此应对所有的故障类别赋予相同的正则化参数，正常样本和故障样本有着不同的正则化参数；

步骤3：用类特定重定向极限学习机对新的航空发动机各部件进行故障诊断。

有益效果：对于CIL下的航空发动机故障诊断问题，由于无法得知应对哪种故障更加关注从而赋予更大的正则化参数，并且所有故障类别有着大致相同的故障样本数，因此对于所有故障赋予相同的正则化参数，而正常样本与故障样本有着不同的正则化参数，本发明消除了重定向ELM算法和改进重定向ELM算法对所有误差都是同一个惩罚系数施加在类不平衡数据中不便调整子分类边界至理想位置的缺陷，最终得到的分类器可以诊断出故障实例。

本发明在类不平衡学习问题中，对正常类和故障类样本引入两个不同的正则化参数改善重定向极限学习机的性能；并使用两种不同的重定向策略，使性能指标G-mean优秀，提升了算法分类效果，相比于WELM算法和CS-ELM算法在故障诊断中有着更好的性能。

附图说明

图1为DCS-ELM算法流程图。

图2为IDCS-ELM算法流程图。

图3为航空发动机主要部件。

图4.1-4.7为不同情况下四个算法性能比较图。

具体实施方式

航空发动机故障诊断中，把正常误诊为故障的代价和故障误诊为正常的代价是不同的，并且由于无法得知应对哪种故障更加关注从而赋予更大的正则化参数，并且所有故障类别有着大致相同的故障样本数，因此对于所有故障赋予相同的正则化参数，因而本发明对正常样本的误差和故障样本的误差给以不同的正则化参数C⁺和C^-实现重定向极限学习机分类边界的优化。得到的数学模型为：

式(1)和式(2)中，

其中，C⁺和C^-分别是少数类和多数类的正则化参数，N⁺代表所有少数类的样本数目，N^-代表多数类的样本数目，H₊和H_-分别表示多数类实例与少数类实例的隐藏层节点输出，T₊和T_-分别表示多数类实例与少数类实例的目标矢量，。其中正则化参数C⁺和C^-成比例关系，并不需要为每个训练实例分配权重:

其中，m为少数类的类别数。

步骤2：式(1)的求解可以通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

当

和

给定时，那么修改后目标矢量可以写成：

式中，⊙表示矩阵对应的元素间相乘操作。此时，式(1)可以简化为：

当N＞L时，最优权重

为：

步骤3：计算

在

给定时，R₊定义为N₊个正类样本点的回归残差，R_-定义为N_-个负类样本点的回归残差对于：

将式(12)和式(13)代入式(9)，在忽略常数项后，可以得到以下优化问题：

矩阵的平方Frobenius范数可以解耦为一个个元素，对于式(14)，对

部分的求解并不影响对

部分的求解。由于C⁺和C^-是常数，对于

为取得最小值，只需

取最小值。与之同理，对于

为取得最小值，只需

取最小值。对于式(14)的每一部分，同样可以等效解耦为多个子问题求解，

对于第i行以及第j列的元素E_ij，优化问题为：

式中，R_ij和T_ij分别是R和T第i行以及第j列的元素。由于T_ij ²＝1，式(15)可以表示为：

可以很容易发现，式(16)是一个二次函数，其中E_ij的定义域为非负。因此，可以很容易得到式(16)的解为：

式(17)是式(14)子问题的解，因此式(14)中的E最终可以如下计算得到：

由可以很容易求解出E₊和E_-为：

式中，0代表着矩阵的元素全为0。

步骤4：根据

得到如下决策函数：

由以上步骤，DCS-ELM算法具体如下：

DCS-ELM算法中的重定向策略中，对于正类从1开始增加标签向量，而对于负类则是从-1开始减小标签向量。实际上，我们所关心的是正类和负类之间的距离，而衡量的基准点是否是±1并不重要，将±1基准点的约束移除，得到更加灵活的重定向策略，得到的数学模型为：

式中，T_+ij是T₊中的第i行第j列的元素，而T_-ij是T_-中的第i行第j列的元素，其中T₊，T_-∈R^N×c是实值矩阵而不是式(1)中的标签矩阵，T₊和T_-直接从数据中学习得到，并且反映着每个点的可分性。

步骤2：式(1)的求解可以通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

通过固定目标矩阵T₊和T_-，则式(22)可以写成下式：

当N＞L时，最优权重

为：

当N＜L时，最优权重

为：

步骤3：计算最优T。

固定输出权重

令：

忽略常数项，则式(24)可以写成:

式中，最优T₊和T_-使得目标函数值最小，并且T₊和T_-中的每个元素都应满足使得正确分类的样本间隔最大的约束。式(29)是凸约束二次规划问题，可以发现对

的部分的求解并不影响对

部分的求解，则式(29)可以分解为N个独立的子问题求解，每个子问题为分别对T₊和T_-的每一行求解最优解，一般形式可以表示如下：

式中，y＝[y₁,…,y_c]∈R^1×c是Y的行向量，t＝[t₁,…,t_c]∈R^1×c是T的行向量。式(29)的最优解T₊和T_-可以分别通过求解式(31)逐行求解得到。

式(31)可以使用逐元素策略求解。首先，可以先求解以下最优问题，当n≠j：

可以发现，式(32)是约束二次函数，可以很容易得到解为：

t_n＝y_n+min(t_j-y_n-2,0) (33)

将式(33)代入式(31)可得，无约束问题如下：

对g(t_j)求导可得：

式(35)中，当括号条件为真时，δ(·)为1否则取值为0。由于式(35)同样是凸优化问题，当g'(t_j)＝0时，可解出唯一的最优解：

可以很容易证明式(35)中g'(t_j)是单调递增函数，因此可以得到：

由g'(t_j)＝0和式(37)，式(36)可以重写为：

至此，得到最优解

将其代入式(33)，则可得到

的最优解：

由式(38)和式(39)，可得到式(21)的最优解，逐行得到式(29)的最优解T₊和T_-。

则由上述可以，IDCS-ELM算法具体如下：

由于IDCS-ELM算法采取了更加灵活的重定向策略，对目标向量修改，所以相比于DCS-ELM算法有着更好的诊断性能。

实验中，隐藏层节点的激活函数为sigmoid函数：

其中，sigmoid隐藏层节点的输入权重和隐藏层偏置在范围[-1,1]内随机生成。

对于模型选择的问题，正则化参数C选自候选集合{2^-10,2^-9,…,2⁰,…,2²⁹,2³⁰}，隐藏层节点数L选自候选集合{40,60…,380,400}，使用交叉验证选择参数。

对于本文研究的类别不平衡故障诊断问题，属于多分类类别不平衡学习问题，选取的性能评价指标包括：分类精度Acc值和G-mean值。

在多分类类别不平衡问题中，对于每一类别C_i(i＝1,2,…,m)，召回率recall可以如下定义：

式中，N(i,i)表示实际类别C_i被分类为C_i的总数。

则多分类类别不平衡问题，G-mean可以定义如下：

所有实验运行在

Core^TM i5-7400 CPU 3.0GHz处理器，8.00G内存和Windows10操作***下的MATLAB2016a环境。为了合理地评判算法性能，每次实验运行10次，结果取每个性能评价指标的平均值。

作为评价算法好坏的性能指标，每次试验都会得出相应的Acc值和G-mean。10次结果的G-mean平均值作为对算法性能的估计，对每一组C⁺、C^-和L都有一个估计的G-mean值，最大的G-mean值对应的那一组参数即为实验选取到的最优参数。

本发明用涡扇发动机做测试，如图3所示。涡扇航空发动机的主要部件包括进气道(Inlet)、风扇(Fan)、压气机(Compressor)、燃烧室(Combustor)、高压涡轮(High PressureTurbine，简称HPT)、低压涡轮(Low Pressure Turbine，简称LPT)和喷管(Nozzle)等。涡扇发动机的截面示意图如图3所示，截面2、截面22、截面3、截面42以及截面46分别是进气道出口、风扇出口、压气机出口、高压涡轮出口以及低压涡轮出口。气流经进气道流入压气机，通过低压压气机和高压压气机后气体为高压气。在燃烧室内，燃油喷入并和高压气体混合燃烧形成混合气，混合气流经高压涡轮和低压涡轮时，通过高压轴和低压轴分别相连的高压压气机和低压压气机被驱动。最终热气以高速排入大气中。

与考虑到航空发动机高速旋转的特性，发动机的四个旋转部件，风扇、压气机以及高低压涡轮，更加容易发生故障，因此考虑将发动机正常状态视为一类，风扇、压气机以及高低压涡轮的故障状态视为四种不同的类别。实验前收集全飞行包线的仿真数据，从涡扇发动机的部件级模型总共采集8274个数据，其中1653个正常状态样本，1653个风扇故障样本，1662个压气机故障样本，1653个高压涡轮故障样本，1653个低压涡轮故障样本。每个样本数据的维度为14维，分别是飞行马赫数(Ma)、飞行高度(H)、燃油量(WFB)、高低压转子转速(NH、NL)、P22、T22、P3、T3、P42、T42、P46、T46和温比(T46/T2)。由于各维度的数据在数值上相差较大，对数据进行归一化。

在实际情况中，由于航空发动机故障数据难以获得，获取代价巨大，因此航空发动机故障诊断存在着类别不平衡的问题。将前文采集到的发动机数据随机划分为训练集和测试集，并且根据不平衡比率(Imbalance Ratio，简称IR)，即少数类样本数与多数类样本数的比率，考虑7种不同的情况。从情况1到情况7，IR不断增加，每个情况下训练集和测试集样本的具体数目如表1所示，其中训练集中故障类样本是从每个故障中随机取相同数目的样本数据组成的，正常类样本是从正常状态数据集中随机抽取778个样本数据所组成的。

表1航空发动机故障诊断的7种情况

对于航空发动机实例，把故障判为正常的代价是非常巨大的，这是在航空发动机故障检测中不希望看到的结果。综合考虑正常和故障的查准率或查全率是合理的，那么用G-mean作为评价指标就能同时关注到预测为正常和故障的情况，并能评价分类器的性能。

表2航空发动机数据实验结果

结合表2和图4.1-4.7可以发现，相比于WELM方法和CS-ELM方法，A，DCS-ELM算法和IDCS-ELM算法在大多数的情形下的Acc值和G-mean值都高于前两者的Acc值和G-mean值。除此之外，IDCS-ELM在CIL下的发动机故障诊断的性能要优于DCS-ELM的发动机故障诊断性能。

以上结果表明，在D-RELM算法和ID-RELM算法的基础上，为故障类和正常类误分代价赋予不同的正则化参数，在不同类别之间的间隔尽可能的大具有更好的可分性的基础上，给予故障类更多的关注的方法，提出类特定重定向极限学***衡下的发动机故障诊断是行之有效的，相比于WELM方法以及CS-ELM方法，有着更好的Acc值和G-mean值，并且在使用更加灵活的重定向策略时，相比于DCS-ELM算法，IDCS-ELM算法可以进一步提升发动机故障诊断的诊断性能。

Claims (5)

1.基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法，其特征在于，包括如下步骤：

步骤1：采集全飞行包线内，航空发动机各部件正常状态下的参数，记为正常样本，若干类故障状态下的参数，记为若干类故障样本；

步骤2：将样本归一化后，训练类特定重定向极限学习机；

步骤3：用训练好的类特定重定向极限学习机对航空发动机各部件进行故障诊断。

2.根据权利要求1所述的基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法，其特征在于，

步骤2中训练类特定重定向极限学习机包括如下步骤：

步骤2.1：建立类特定重定向极限学习机的数学模型：

式(1)和式(2)中，

其中，β代表输出层权重，C⁺和C^-分别是故障样本和正常样本的正则化参数，N⁺代表故障样本的样本数目，N^-代表正常样本的样本数目，H₊和H_-分别表示正常样本与故障样本的隐藏层节点输出，T₊和T_-分别表示正常样本与故障样本的目标矢量，c表示故障样本类别数目；

步骤2：式(1)的求解通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

当

和

给定时，修改后的目标矢量写成：

式中，⊙表示矩阵对应的元素间相乘操作；此时，式(1)可简化为：

当N＞L时，最优权重

为：

当N＜L时，最优权重

为：

式中，I表示单位矩阵；

步骤3：计算

在

给定时，R₊定义为N₊个正常样本点的回归残差，R_-定义为N_{_}个故障样本点的回归残差对于：

将式(12)和式(13)代入式(9)，在忽略常数项后，得到以下优化问题：

求解式(14)得出E₊和E_-为：

式中，0代表着矩阵的元素全为0；

步骤4：根据

得到如下决策函数：

式中，a_i和b_i分别是第i个隐藏层节点的权重和偏置，x_i为输入特征，h(x)是隐含层节点的激活函数，L代表隐藏层节点数目。

3.根据权利要求1所述的基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法，其特征在于，步骤2中训练类特定重定向极限学习机包括如下步骤：

步骤1：建立类特定重定向极限学习机的数学模型：

式中，T_+ij是T₊中的第i行第j列的元素，而T_-ij是T_-中的第i行第j列的元素，其中T₊，T_-∈R^N×c是实值矩阵，T₊和T_-直接从训练数据中学习得到，并且反映着每个点的可分性；

步骤2：式(18)的求解通过迭代方法求解，其中每次迭代包括两个步骤，第一步，计算

通过固定目标矩阵T₊和T_-，则式(18)可表示为：

当N＞L时，最优权重

为：

当N＜L时，最优权重

为：

步骤3：计算最优T；

固定输出权重

令：

忽略常数项，则式(20)可表示为：

式中，最优T₊和T_-使得目标函数值最小，并且T₊和T_-中的每个元素都应满足使得正确分类的样本间隔最大的约束；式(25)可分解为N个独立的子问题求解，每个子问题为分别对T₊和T_-的每一行求解最优解，表示如下：

式中，y＝[y₁,…,y_c]∈R^1×c是Y的行向量，t＝[t₁,…,t_c]∈R^1×c是T的行向量；式(25)的最优解T₊和T_-分别通过求解式(27)逐行求解得到；

式(27)使用逐元素策略求解；首先，先求解以下最优问题，当n≠j：

求解式(28)得到解为：

t_n＝y_n+min(t_j-y_n-2,0) (29)

将式(29)代入式(27)可得无约束问题如下：

对g(t_j)求导可得：

式(31)中，当括号条件为真时，δ(·)为1否则取值为0；当g'(t_j)＝0时，可解出唯一的最优解：

式(31)中g'(t_j)是单调递增函数，则：

由g'(t_j)＝0和式(33)，式(32)可表示为：

至此，得到最优解

将其代入式(29)，则可得到

的最优解：

由式(34)和式(35)，可得到式(25)的最优解，逐行得到式(25)的最优解T₊和T_-；

步骤4：根据

得到如下决策函数：

4.根据权利要求2或3任一所述的基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法，其特征在于，正则化参数C⁺和C^-成比例关系，并不需要为每个训练实例分配权重，其中：

其中，C为正则化参数，m为故障样本的类别数。

5.根据权利要求4所述的基于类特定重定向极限学习机学习算法的航空发动机故障诊断方法，其特征在于，所述C通过交叉验证的方法选取，对应的备选集为{2^-10,2^-9,…,2⁰,…,2²⁹,2³⁰}。，隐藏层节点数L选自候选集合{40,60…,380,400}。

Images