CN112613227A - 基于混合机器学习的航空发动机剩余使用寿命预测模型 - Google Patents

Abstract

本发明属于航空发动机故障预测与健康管理技术领域，公开了基于混合机器学习的航空发动机剩余使用寿命预测模型，具体为一种基于混合机器学习模型SGBRT，以及时预测航空发动机的剩余使用寿命；该模型结合了自组织映射网络和梯度提升回归树算法，可通过以下步骤来预测航空发动机的剩余使用寿命：首先，该模型使用自组织映射网络将原始样本集聚类为簇；然后将每个簇分别构建梯度提升回归树，以预测航空发动机的剩余使用寿命。本发明不仅可以更好地预测航空发动机的剩余使用寿命，还揭示了航空发动机退化数据的内在特征。

Description

基于混合机器学习的航空发动机剩余使用寿命预测模型

技术领域

本发明属于航空发动机故障预测与健康管理技术领域，具体涉及一种基于混合机器学习的航空发动机剩余使用寿命预测模型。

背景技术

航空发动机是飞机最关键的部分之一，它是高度复杂的***。航空发动机通常会在高温，高压，高速和高负载等严酷条件下长时间工作，因此容易出现故障。航空发动机的故障可能导致灾难性后果，因此要求非常高的可靠性和安全性。此外，航空发动机的维护成本非常高。对于航空发动机的管理，航空公司面临着各种压力，包括确保发动机的安全性和可靠性，避免发动机在运行过程中发生故障以及降低发动机的维护成本。发动机的故障预测与健康管理(prognostics and health management，PHM)是一种有效的解决方案。航空发动机的PHM技术是促进维护方式改革，提高发动机安全性，可靠性和经济承受能力的重要手段。作为PHM的关键核心技术，预测旨在预测组件或***的(Remaining Useful Life,RUL)，并为操作计划和维护决策提供支持。

RUL预测可以预测设备从特定时刻的运行状态到故障状态的时间。现有的RUL预测方法可以分为两类：基于模型的方法和基于数据驱动的方法。如果对复杂***的退化进行精确建模，则基于模型的方法通常会更准确。但基于物理模型的方法需要大量的先验知识。最近，基于数据驱动的方法受到越来越多的关注。基于数据驱动的方法不必了解机械***的详细操作机制，只需要从***中收集一些数据，即可根据人工智能等算法识别***的状况。有许多方法和模型可用于数据驱动的RUL预测。

2015年，Nieto等人在《Hybrid psosvm-based method for forecasting of theremaining useful life for aircraft engines and evaluation of its reliability》提出了基于支持向量机的航空发动机RUL预测模型，并使用粒子群优化算法对支持向量机中的参数进行了优化。

随着大量具有出色显式标签的数据集的出现，人工智能的方法已广泛用于RUL预测中。其中，神经网络是最常用的算法之一。

2018年，Li等人在《Remaining useful life estimation in prognostics usingdeep convolution neural networks》提出了一种使用深度卷积神经网络进行数据预测的新方法。在C-MAPSS数据集上进行了实验，以证明该方法的有效性。但是，在处理多特征数据时，大多数深度学习方法都没有有效的机制来自适应地加权输入特征。2020年，Liu等人在《Remaining useful life prediction using a novel feature-attention based end-to-end approach》提出了一种新颖的基于特征关注的端到端RUL预测方法。提出的特征注意机制直接应用于输入数据，可以在训练过程中动态地将更多注意力集中到更重要的特征上。

在RUL预测中，时间序列分析也是一种常用的预测方法，并且相对成熟。在这种预测方法中，通常的想法是使用传感器数据作为时间序列，通过单步或多步来预测发动机的性能和健康参数，直到达到设置的故障阈值为止。

2019年，Miao等人在《Joint learning of degradation assessment and rulprediction for aero-engines via dual-task deep lstm networks》提出了双任务长短期记忆网络，用于航空发动机的退化评估和RUL预测。这使评估和预测结果更可靠，更准确，从而提高了操作的可靠性和安全性，并降低了维护成本。但是，传统的LSTM网络仅在最后一个时间步使用学习到的特征进行回归或分类，但实际上其他时间步学习到的特征也有一定的贡献。

2020年，Chen等人在《Machine remaining useful life prediction via anattention based deep learning approach》提出了一种基于注意力的深度学习框架。长短期记忆网络用于从原始感官数据中学习特征。同时，提出的注意力机制可以学习特征和时间步长的重要性，并为更重要的特征分配更大的权重。但是对于航空发动机来说，数据集有限。因此，需要引入集成学习方法。

集成学习方法是一类非常通用的方法，可以应用于许多应用程序中。2019年，Li等人在《Degradation modeling and remaining useful life prediction of aircraftengines using ensemble learning》提出了一种基于集成学习的预测方法，以建模退化过程并预测航空发动机的RUL。集成学习算法结合了多个基础学习者，以实现更好的预测性能。使用粒子群优化算法和顺序二次优化方法为基础学习者分配最佳的权重。2017年，Zhang等人在《Multiobjective deep belief networks ensemble for remaining usefullife estimation in prognostics》提出了一种多目标深度信念网络的集成方法，用于预测航空发动机的RUL。应用了多目标进化算法来训练具有两个冲突目标(准确性和多样性)的深度信念网络。然后，将训练后的深度信念网络合并以形成最终RUL预测的集成模型。

现有的研究方法主要基于监督学习算法。预测结果过分依赖于历史数据，因此很难确保预测结果的准确性和效率。聚类(自组织映射网络)作为一种无监督的学习算法，可以提供对数据中可能遗漏的个体关系的洞察力，并从数据中识别出一些更有意义的关系。由于航空发动机上的数据不足，因此妨碍了基于深度学习的方法。集成学习在小样本学习方面具有很大的优势，因此考虑使用一种新的集成学习方法(梯度提升回归树)来代替当前广泛使用的深度学习方法。

发明内容

本发明提出了一种新的基于数据驱动模型SGBRT，该模型将自组织映射网络(Self-organizing feature Map,SOM)与梯度提升回归树(Gradient BoostingRegression Tree,GBRT)相结合以预测航空发动机的RUL。首先，使用SOM网络将原始样本集聚类为簇。然后将每个簇分别构建到回归模型(GBRT)以预测RUL。

本发明的下技术方案：

一种基于混合机器学习的航空发动机RUL预测模型，步骤如下：

建立自组织映射网络(Self-organizing feature Map,SOM)与梯度提升回归树(Gradient Boosting Regression Tree,GBRT)相结合的混合机器学习模型，以预测航空发动机的剩余使用寿命(Remaining Useful Life,RUL)；SOM通过自动发现样本中的内在规律和基本属性来自组织并自适应地更改网络参数和结构；混合机器学习模型看作是SOM的修改版，保留标准训练过程后映射到神经元的数据点以构建GBRT；每个神经元都建立一个GBRT；

混合机器学习模型SGBRT分为四层：输入层、SOM层、回归层和输出层；在训练阶段，将训练的特征向量输入到输入层，然后将输入的原始数据在SOM层中进行聚类；在回归层中，将聚类得到的子数据集分别构建GBRT；在测试阶段，将测试集的特征向量输入到输入层，然后在SOM层判断特征向量属于哪一类；接下来，在回归层中，将特征向量输入到构造类的GBRT中；经过上述步骤，预测值将输出到输出层；

(1)在SOM层接收到训练数据后，神经元计算该训练数据与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为获胜神经元；然后获胜神经元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小；这个过程不断迭代，直至收敛；分为初始化、竞争过程、合作过程、权值调整四步；

(1.1)假设输入层特征向量x写成：X＝{x_i:i＝1,...,K}，其中有K个特征向量；输入单元i和神经元j之间的连接权重写成m_ji＝{m_ji:j＝1,...,N；i＝1,...,K}，其中神经元的总数为N；网络权值选择较小的随机初始值；

(1.2)对于每个输入的特征向量，神经元计算它们各自的判别函数值，获胜神经元为具有最小判别函数值的特定神经元；判别函数定义为特征向量x和每个神经元j的权向量m_ji之间的平方欧几里德距离，即：

即获胜神经单元是权重向量与特征向量最接近的神经元；

(1.3)在SOM中的神经元中有一个类似于神经生物学的拓扑邻域；S_ji为神经元网格上神经元j和输入单元i之间的横向距离，则拓扑邻域取：

其中，I(x)是获胜神经元的输入单元索引；该函数在获胜的神经元中为最大的，且关于获胜神经元对称；当距离达到无穷大时，它单调地衰减为零；σ为拓扑邻域的有效宽度，拓扑邻域的大小随着时间收缩；

(1.4)SOM必须含有某种自适应或学习的过程，通过这个过程，输出节点自组织形成输入和输出之间的特征映射；不仅获胜的神经元能够得到权重更新，它的邻居也将更新它们的权重；权重更新方式为：

Δm_ji＝η(t)·T_j,I(x)(t)·(x_i-m_ji)

其中，η(t)为学习率，t为循环次数；该更新适用于在多轮迭代中的所有训练的特征向量X；每个学习权重更新的效果是将获胜的神经元及其邻居的权向量m_ji向特征向量X移动；对该过程的迭代进行会使得网络的拓扑有序；

(2)对于回归层中的每个聚类后的簇，都会构建GBRT来预测航空发动机的RUL；GBRT是集成学习算法的Boosting类型；

(2.1)Boosting框架使用多组基础模型分别进行训练，并且所有基础模型的结果都线性组合以获得更可靠的预测，公式如下所示：

其中，h_d(x)代表基本模型；d为基本模型的个数，D为基本模型的总个数；总体模型的训练目标是使预测值F(x)逼近真实值y，使用贪婪算法的思想使每个基本模型分别承担部门预测任务，并关注每个基本模型产生的误差：

F_d(x)＝F^d-1(x)+h_d(x)

(2.2)通过引入任意损失函数L，反向梯度的拟合公式：

其中h为循环次数，H为最大循环次数；

(2.3)GBRT是一种不断发展的集成学习模型，其基本功能使用树形结构；使用E树函数累加来预测输出如公式所示：

其中，e表示树的索引；Γ是树上的叶子数；每个F对应一个独立的树结构；使用线性搜索来估计叶节点区域的值，最小化损失函数，然后更新回归树。

本发明的有益效果：本发明提出了一种称为SGBRT的混合模型，该模型将SOM与GBRT结合在一起以预测航空发动机的RUL。首先，该方法通过使用SOM将原始样本集聚类为簇。然后，每个簇分别构建GBRT以预测RUL。基于数据分区的回归分析不仅可以提供更准确的预测，还可以揭示数据之间的内在联系并提取有意义的信息。

附图说明

图1是本发明一种实施例的自组织映射神经网络SOM的拓扑结构；

图2是本发明一种实施例的梯度提升回归树GBRT算法的示意图；

图3是本发明一种实施例的混合机器学习模型SGBRT算法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

SOM自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。本文提出混合模型被视为是自组织映射SOM的改进版本，经过标准的训练过程后，将GBRT回归模型与SOM更深层次地结合起来。与传统的SOM方法的不同之处在于，保留了映射到神经元的数据来构建GBRT回归模型。每个神经元都建立一个GBRT回归模型。***架构如图3所示。

所提出的混合模型SGBRT分为四层：输入层、SOM层、回归层和输出层；在训练阶段，将训练的特征向量输入到输入层，然后将输入的原始数据在SOM层中进行聚类；在回归层中，将聚类得到的子数据集分别构建为GBRT；在测试阶段，将测试集的特征向量输入到输入层，然后在SOM层判断特征向量属于哪一类；接下来，在回归层中，将特征向量输入到构造类的GBRT中；经过上述步骤，预测值将输出到输出层；

(1)在SOM层接收到训练数据后，神经元计算该训练数据与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为获胜神经元；然后获胜神经元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小；这个过程不断迭代，直至收敛；SOM的拓扑结构如图1所示，分为初始化、竞争过程、合作过程、权值调整四步；

(1.1)假设输入层特征向量x写成：X＝{x_i:i＝1,...,K}，其中有K个特征向量；输入单元i和神经元j之间的连接权重写成m_ji＝{m_ji:j＝1,...,N；i＝1,...,K}，其中神经元的总数为N；网络权值选择较小的随机初始值；

(1.2)对于每个输入的特征向量，神经元计算它们各自的判别函数值，获胜神经元为具有最小判别函数值的特定神经元；判别函数定义为特征向量x和每个神经元j的权向量m_ji之间的平方欧几里德距离，即：

即为获胜神经单元是权重向量与特征向量最接近的神经元；

(1.3)在SOM中的神经元中有一个类似于神经生物学的拓扑邻域；S_ji为神经元网格上神经元j和输入单元i之间的横向距离，则拓扑邻域取：

其中，I(x)是获胜神经元的输入单元索引；该函数在获胜的神经元中为最大的，且关于获胜神经元对称；当距离达到无穷大时，它单调地衰减为零；σ为拓扑邻域的有效宽度，拓扑邻域的大小随着时间收缩；

(1.4)SOM必须含有某种自适应或学习的过程，通过这个过程，输出节点自组织形成输入和输出之间的特征映射；不仅获胜的神经元能够得到权重更新，它的邻居也将更新它们的权重；权重更新方式为：

Δm_ji＝η(t)·T_j,I(x)(t)·(x_i-m_ji)

其中，η(t)为学习率，t为循环次数；该更新适用于在多轮迭代中的所有训练的特征向量X；每个学习权重更新的效果是将获胜的神经元及其邻居的权向量m_ji向特征向量X移动；对该过程的迭代进行会使得网络的拓扑有序；

(2)对于回归层中的每个聚类后的簇，都会构建GBRT来预测航空发动机的RUL；GBRT是集成学习算法的Boosting类型，它的训练过程如图1所示；

(2.1)Boosting框架使用多组基础模型分别进行训练，并且所有基础模型的结果都线性组合以获得更可靠的预测，公式如下所示：

其中，h_d(x)代表基本模型；d为基本模型的个数，D为基本模型的总个数；总体模型的训练目标是使预测值F(x)逼近真实值y，使用贪婪算法的思想使每个基本模型分别承担部门预测任务，并关注每个基本模型产生的误差：

F_d(x)＝F^d-1(x)+h_d(x)

(2.2)通过引入任意损失函数L，反向梯度的拟合公式：

其中h为循环次数，H为最大循环次数；

(2.3)GBRT是一种不断发展的集成学习模型，其基本功能使用树形结构；使用E树函数累加来预测输出如公式所示：

其中，e表示树的索引；Γ是树上的叶子数；每个F对应一个独立的树结构；使用线性搜索来估计叶节点区域的值，最小化损失函数，然后更新回归树。

综上所述：

为了准确预测航空发动机的RUL，在本发明中提出了一种基于混合集成学习的模型SGBRT，该模型将SOM与GBRT相结合以预测航空发动机的RUL。首先，该方法使用SOM网络将原始样本集聚类为簇。然后将每个簇分别构建GBRT，以预测航空发动机的RUL。提出的基于混合机器学习模型不仅可以更好地预测航空发动机的RUL，还揭示了航空发动机退化数据的内在特征。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于混合机器学习的航空发动机剩余使用寿命预测模型，其特征在于，步骤如下：

建立自组织映射网络与梯度提升回归树相结合的混合机器学习模型，以预测航空发动机的剩余使用寿命；SOM通过自动发现样本中的内在规律和基本属性来自组织并自适应地更改网络参数和结构；混合机器学习模型看作是SOM的修改版，保留标准训练过程后映射到神经元的数据点以构建GBRT；每个神经元都建立一个GBRT；

混合机器学习模型SGBRT分为四层：输入层、SOM层、回归层和输出层；在训练阶段，将训练的特征向量输入到输入层，然后将输入的原始数据在SOM层中进行聚类；在回归层中，将聚类得到的子数据集分别构建为GBRT；在测试阶段，将测试集的特征向量输入到输入层，然后在SOM层判断特征向量属于哪一类；接下来，在回归层中，将特征向量输入到构造类的GBRT中；经过上述步骤，预测值将输出到输出层；

(1)在SOM层接收到训练数据后，神经元计算该训练数据与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为获胜神经元；然后获胜神经元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小；这个过程不断迭代，直至收敛；分为初始化、竞争过程、合作过程、权值调整四步；

(1.1)假设输入层特征向量x写成：X＝{x_i:i＝1,...,K}，其中有K个特征向量；输入单元i和神经元j之间的连接权重写成m_ji＝{m_ji:j＝1,...,N；i＝1,...,K}，其中神经元的总数为N；网络权值选择较小的随机初始值；

(1.2)对于每个输入的特征向量，神经元计算它们各自的判别函数值，获胜神经元为具有最小判别函数值的特定神经元；判别函数定义为特征向量x和每个神经元j的权向量m_ji之间的平方欧几里德距离，即：

即为获胜神经单元是权重向量与特征向量最接近的神经元；

(1.3)在SOM中的神经元中有一个类似于神经生物学的拓扑邻域；S_ji为神经元网格上神经元j和输入单元i之间的横向距离，则拓扑邻域取：

其中，I(x)是获胜神经元的输入单元索引；该函数在获胜的神经元中为最大的，且关于获胜神经元对称；当距离达到无穷大时，它单调地衰减为零；σ为拓扑邻域的有效宽度，拓扑邻域的大小随着时间收缩；

(1.4)SOM必须含有某种自适应或学习的过程，通过这个过程，输出节点自组织形成输入和输出之间的特征映射；不仅获胜的神经元能够得到权重更新，它的邻居也将更新它们的权重；权重更新方式为：

Δm_ji＝η(t)·T_j,I(x)(t)·(x_i-m_ji)

其中，η(t)为学习率，t为循环次数；该更新适用于在多轮迭代中的所有训练的特征向量X；每个学习权重更新的效果是将获胜的神经元及其邻居的权向量m_ji向特征向量X移动；对该过程的迭代进行会使得网络的拓扑有序；

(2)对于回归层中的每个聚类后的簇，都会构建GBRT来预测航空发动机的RUL；GBRT是集成学习算法的Boosting类型；

(2.1)Boosting框架使用多组基础模型分别进行训练，并且所有基础模型的结果都线性组合以获得更可靠的预测，公式如下所示：

其中，h_d(x)代表基本模型；d为基本模型的个数，D为基本模型的总个数；总体模型的训练目标是使预测值F(x)逼近真实值y，使用贪婪算法的思想使每个基本模型分别承担部门预测任务，并关注每个基本模型产生的误差：

F_d(x)＝F^d-1(x)+h_d(x)

(2.2)通过引入任意损失函数L，反向梯度的拟合公式：

其中h为循环次数，H为最大循环次数；

(2.3)GBRT是一种不断发展的集成学习模型，其基本功能使用树形结构；使用E树函数累加来预测输出如公式所示：

其中，e表示树的索引；Γ是树上的叶子数；每个F对应一个独立的树结构；使用线性搜索来估计叶节点区域的值，最小化损失函数，然后更新回归树。

Images