WO2024045377A1 - 一种基于深度学习的航空发动机剩余寿命预测方法 - Google Patents

一种基于深度学习的航空发动机剩余寿命预测方法 Download PDF

Info

Publication number
WO2024045377A1
WO2024045377A1 PCT/CN2022/135013 CN2022135013W WO2024045377A1 WO 2024045377 A1 WO2024045377 A1 WO 2024045377A1 CN 2022135013 W CN2022135013 W CN 2022135013W WO 2024045377 A1 WO2024045377 A1 WO 2024045377A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
model
feature
remaining life
engine
Prior art date
Application number
PCT/CN2022/135013
Other languages
English (en)
French (fr)
Inventor
乔非
慕涵铄
Original Assignee
同济大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同济大学 filed Critical 同济大学
Publication of WO2024045377A1 publication Critical patent/WO2024045377A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04—Ageing analysis or optimisation against ageing

Definitions

  • the present invention relates to the field of aviation engine life prediction, and in particular to a method for predicting the remaining life of an aerospace engine based on deep learning.
  • time series data has exploded.
  • a large amount of time series data has problems such as low unit data value, high timeliness and difficulty in feature extraction, which greatly limits the use of data.
  • Use value How to filter out the most relevant and effective features from massive data has become a difficult problem in aeroengine RUL prediction. Therefore, choosing appropriate methods for feature selection and feature extraction from high-dimensional, multi-parameter, large-scale data has a significant impact on the prediction effect of aeroengine RUL.
  • Chinese patent CN202210447896.2 discloses a method for predicting the remaining life of an aerospace engine based on deep learning. This method uses a remaining life prediction model composed of a self-attention mechanism and a bidirectional long short-term memory network. This model is used to select key features in time series data and assign corresponding weights, and then input them into the bidirectional long short-term memory network layer. The internal connections are mined, and finally the remaining life prediction results of the aircraft engine are obtained through the mapping relationship formed by the two fully connected layers.
  • the existing technology does not filter parameters, and redundant features and noisy data will increase model training time and reduce prediction accuracy.
  • the self-attention mechanism feature extraction model in the existing technology simply uses the self-attention mechanism. As the network deepens, problems such as gradient disappearance and the decrease in the stability of the data feature distribution will occur, and the convergence speed is slow.
  • the purpose of the present invention is to provide a method for predicting the remaining life of an aerospace engine based on deep learning in order to overcome the shortcomings of the above-mentioned existing technologies.
  • a method for predicting the remaining life of an aeroengine based on deep learning includes: obtaining data reflecting the entire life cycle of the aeroengine, and obtaining the predicted remaining life of the engine through a trained remaining life prediction model;
  • the life prediction model is built based on LSTM, and the training process of the prediction model includes the following steps:
  • S1 obtains data reflecting the entire life cycle of aeroengines
  • S3 performs feature selection on data based on the random forest model
  • S4 performs feature extraction on the data after feature selection based on the Transformer model
  • S5 uses the feature extracted data to train the LSTM model.
  • the data reflecting the entire life cycle of the aeroengine includes engine ID number, operating cycle time, operating settings and sensor data.
  • the preprocessing of data includes:
  • the steps of feature selection based on the random forest model are:
  • S31 selects the corresponding out-of-bag data for each decision tree and calculates the first out-of-bag data error
  • S32 randomly adds noise interference to the characteristics of all samples of the out-of-bag data, and calculates the second out-of-bag data error
  • S33 calculates the importance of features through the data error outside the first bag and the data error outside the second bag
  • a recursive feature elimination method is used to find the optimal feature subset.
  • S35 determines the proportion of elimination, eliminates the corresponding proportion of features, and obtains a new feature set
  • step S36 determines whether the new feature set has a set number of features remaining. If not, return to step S34. If yes, proceed to step S37;
  • the Transformer model includes a multi-head attention mechanism layer based on a self-attention mechanism.
  • the multi-head attention mechanism layer calculates the attention value of each data through the self-attention mechanism, and performs data processing based on the attention value of the data.
  • the attention value calculation process includes the following steps:
  • the Query matrix represents the vector that will be queried and calculated later
  • the Key matrix represents the vector that will be queried and calculated later
  • the Value matrix represents the current actual Feature weight
  • the Transformer model also includes a residual connection layer.
  • the residual connection layer solves the problem of gradient disappearance as the network deepens by establishing a residual network, and avoids the problem of data characteristics as the network deepens.
  • x i is the input of the i-th multi-head attention layer
  • x i+1 is the output of the i-th multi-head attention layer
  • F( xi ) is the residual part
  • h( xi ) is the 1*1 convolutional neural network. network.
  • the LSTM model training specifically includes the following steps:
  • the data extracted by the Transformer model features and the LSTM training labels are input into the LSTM model for model training.
  • the training labels are the remaining life, that is, the time series of each engine is in reverse order.
  • the LSTM model training improves the model prediction effect by adjusting the number of memory units and the number of LSTM layers.
  • the LSTM model training uses the Dropout mechanism and dynamically adjusts the learning rate to improve the model's generalization ability and training speed.
  • the present invention has the following beneficial effects:
  • the present invention uses random forest for feature extraction, uses the out-of-bag error rate as a metric to calculate the importance of features, and then eliminates corresponding proportions of features based on feature importance sorting, which can effectively eliminate redundant features and noise data. In addition to retaining features with strong resolving power and improving training speed, it also ensures the stability of the algorithm and avoids overfitting.
  • the present invention uses a transformer model with a residual layer for feature extraction, uses a multi-head attention mechanism layer based on the attention mechanism for feature extraction, extracts different features through multiple sets of matrices, and then splices the extracted feature vectors
  • the purpose of getting the final output feature vector is to extract features from multiple sets of sensors at the same time to improve feature extraction efficiency. Then use the residual layer to solve the problem of gradient disappearance as the network deepens, and avoid the problem of decreased stability of data feature distribution as the network deepens, improve the convergence speed of the model, and improve the efficiency of model feature extraction.
  • Figure 1 is a flow chart of LSTM model training of the present invention
  • Figure 2 is a schematic diagram of data changes during the entire life cycle of the engine of the present invention.
  • Figure 3 is a flow chart of feature selection based on the random forest model in this invention.
  • Figure 4 is a diagram of the feature importance ranking results of the data set of the present invention
  • a) is the feature importance ranking result of the FD001 data set
  • b) is the feature importance ranking result of the FD002 data set
  • c) is the feature importance ranking result of the FD003 data set
  • d) is the ranking result of the feature importance of the FD004 data set;
  • Figure 5 is a diagram of the life prediction results of the data set of the present invention. a) is the prediction result of the FD001 data set, b) is the prediction result of the FD002 data set, c) is the prediction result of the FD003 data set, d) is the prediction result of the FD004 data set forecast result.
  • This embodiment is an implementation of a method for predicting the remaining life of an aerospace engine based on deep learning. Its operation process includes the following parts:
  • data selection is processed on the python platform.
  • a filter function is used for noise reduction, and the window width is set to 10 to improve data smoothness.
  • the original data is normalized.
  • x i,j (t) represents the data value monitored by the j-th sensor of the i-th engine at time t
  • max(x :,j ) represents the maximum value among all samples of the j-th sensor
  • min( x :,j ) represents the minimum value among all samples of the j-th sensor
  • x′ i,j (t) represents the normalized value of x i,j (t).
  • S3 performs feature selection on the data based on the RF feature selection model established on the Python platform, and sets parameters for the model.
  • S31 selects the corresponding out-of-bag data (OOB) for each decision tree to calculate the out-of-bag data error, recorded as errOOB1.
  • S35 determines the proportion of elimination, eliminates the corresponding proportion of features, and obtains a new feature set
  • step S36 determines whether the new feature set has a set number of features left. If not, return to step S34. If yes, go to step S37;
  • n_estimators is the number of decision trees
  • max_features is the number of features that can be divided when selecting the most suitable attributes. This value cannot be exceeded.
  • the features of the data set F001-FD004 are sorted by importance, and the sensor data is filtered and selected based on the importance sorting results.
  • Feature extraction of data after feature selection based on the Transformer model specifically includes:
  • the sensor data after RF feature selection is input into the Transformer model for feature extraction, and the extracted features are used as input for subsequent LSTM model training.
  • the Transformer model Compared with traditional deep learning networks, the Transformer model introduces the Self-Attention mechanism.
  • the introduction of this mechanism makes it easier for the Transformer model to extract long-distance interdependent features in the data, and can better extract global information. Therefore, considering the high-dimensional, multi-parameter, and large-scale data characteristics of aeroengines, this embodiment uses the Transformer model for feature extraction.
  • the Transformer feature extraction process mainly uses the Self-Attention mechanism to calculate the correlation between each data, and extract data features based on the attention score of the data.
  • the Transformer model in this embodiment mainly includes a multi-head attention mechanism layer and a residual connection layer based on the self-attention mechanism.
  • the multi-head attention mechanism layer is composed of multiple sets of Query, Key, and Value matrices. Different features are extracted through multiple sets of Query, Key, and Value matrices, and then the extracted feature vectors are spliced together to obtain the final output feature vector.
  • the purpose is to extract features of multiple sets of sensors at the same time to improve feature extraction efficiency.
  • the main process is Included are:
  • Three matrices are generated based on the input data, namely Query, Key, and Value.
  • the Query vector represents the vector that will be queried and calculated later
  • the Key vector represents the vector that will be queried and calculated later
  • the Value vector represents the current actual feature weight.
  • the three matrices are obtained by multiplying the input data with randomly initialized matrices.
  • the residual connection layer solves the problem of gradient disappearance as the network deepens by establishing a residual network, and at the same time avoids the problem of declining stability of the data feature distribution as the network deepens, thereby improving the performance of the model. Convergence speed and improve model feature extraction efficiency.
  • x i is the input of the i-th multi-head attention layer
  • x i+1 is the output of the i-th multi-head attention layer
  • F( xi ) is the residual part
  • h( xi ) is the 1*1 convolutional neural network. network.
  • This embodiment establishes a Transformer model based on the python platform.
  • the training label is the remaining life of the engine, that is, the time series of each engine is taken in reverse order.
  • the test set data is input into the trained model for RUL prediction.
  • the Dropout mechanism and dynamic adjustment of the learning rate are introduced to improve the model's generalization ability and training speed.
  • This embodiment selects root mean square error (RMSE), mean absolute percentage error (MAPE) and mean absolute error (MAE) as evaluation indicators to measure the accuracy of model predictions. sex.
  • RMSE root mean square error
  • MAE mean absolute percentage error
  • MAE mean absolute error
  • N is the number of engines, are the actual remaining life and predicted remaining life of the i-th engine respectively.
  • RMSE reflects the accuracy of prediction
  • MAPE evaluates the fluctuation degree of model prediction error and reflects the robustness and stability of the model
  • MAE can reflect the actual situation of model prediction error.
  • the FD001-FD004 test sets are input into the model respectively for RUL prediction.
  • the model used in this embodiment has good performance in four data sets, indicating that the model has good versatility.
  • this embodiment compares this model with the CNN-LSTM model, LSTM model, and SVR model under four data sets FD001-FD004.
  • the parameters of LSTM in other models are consistent with the parameters of the model in this article.
  • the RMSE value can reflect the accuracy of the prediction. The smaller the value, the higher the accuracy of the prediction; MAPE evaluates the fluctuation degree of the model prediction error, reflecting the robustness and stability of the model. The smaller the value, the more robust the model is. The better the stickiness and stability; the size of the MAE value can reflect the actual situation of the model's prediction error. The smaller the value, the smaller the prediction error of the model.
  • this embodiment proposes an aero-engine RUL prediction method based on the RF-Transformer-LSTM model.
  • This method is based on the RF model, Transformer model, and LSTM model.
  • a good mapping relationship from high dimension to low dimension was established through the RF model and Transformer model to extract key features for RUL prediction.
  • the extracted features are then input into the LSTM model, and the LSTM model is used to reflect the overall logical characteristics of the time series for RUL prediction.
  • Experimental results show that the method proposed in this embodiment is feasible and effective, and has better prediction accuracy, stability, and robustness than the other three methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于深度学习的航空发动机剩余寿命预测方法，该方法包括：获取反映航空发动机全生命周期的数据，通过经过训练的剩余寿命预测模型得到发动机预测剩余寿命；所述寿命预测模型基于深度学习构建，该预测模型的训练过程包括以下步骤：S1获取反映航空发动机全生命周期的数据；S2对数据进行预处理；S3基于随机森林模型对数据进行特征选择；S4基于Transformer模型对经过特征选择后的数据进行特征提取；S5使用特征提取后的数据对LSTM模型进行训练。与现有技术相比，本发明具有提高训练速度，增强算法的稳定性等优点。

Description

一种基于深度学习的航空发动机剩余寿命预测方法 技术领域
本发明涉及航空发动机寿命预测领域，尤其是涉及一种基于深度学习的航空发动机剩余寿命预测方法。
背景技术
航空发动机作为航空器正常运行的关键部件，对其健康状况的实时监测和剩余寿命的准确预测有利于保证航空器的安全使用以及制定合适的维修替换策略。实践表明，预测和健康管理技术作为一个新兴的***状态预测和健康管理技术，其应用可以实现故障的早期预警，防止灾难性事故发生，同时降低维修费用，因此已被广泛应用于各国工业领域并取得显著成效。
航空发动机RUL预测作为PHM中最具挑战性的方向，受到行业学者的广泛关注。随着传感器技术的发展，人们获取发动机部件的性能退化信息变得更加容易。这推动了基于数据驱动的预测方法发展。该方法利用监测数据提取出性能退化的内在规律来预测未来一定时期内部件的性能退化趋势，预测成本较低且精确度较高，因此成为当下研究热点。
随着传感器技术的发展和航空发动机复杂度的提升，时间序列数据***式增长.同时,大量时间序列数据存在着单位数据价值低、时效性高和特征提取困难等问题,极大限制了数据的利用价值。如何从海量的数据中筛选出相关性最大、最有效的特征成为航空发动机RUL预测的难题。因此，选择合适的方法对高维度、多参数、大规模的数据进行特征选择和特征提取对航空发动机RUL预测效果产生了重大的影响。
中国专利CN202210447896.2公开了一种基于深度学习的航空发动机剩余寿命预测方法。该方法采用由自注意力机制和双向长短期记忆网络所组成的剩余寿命预测模型，利用该模型选择时间序列数据中的关键特征并赋予相对应的权重，然后将其输入双向长短期记忆网络层挖掘内部联系，最后通过两个全连接层的形成的映射关系获得飞机发动机的剩余寿命预测结果。
现有技术未对参数进行筛选，冗余特征及噪声数据会增加模型训练时间，降低预 测精度。现有技术中的自注意力机制特征提取模型单纯采用自注意力机制，随着网络加深会产生的梯度消失和数据特征分布的稳定性下降的问题，且收敛速度较慢。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的航空发动机剩余寿命预测方法。
本发明的目的可以通过以下技术方案来实现：
作为本本发明的一个方面，提供一种基于深度学习的航空发动机剩余寿命预测方法，该方法包括：获取反映航空发动机全生命周期的数据，通过经过训练的剩余寿命预测模型得到发动机预测剩余寿命；
所述寿命预测模型基于LSTM构建，该预测模型的训练过程包括以下步骤：
S1获取反映航空发动机全生命周期的数据；
S2对数据进行预处理；
S3基于随机森林模型对数据进行特征选择；
S4基于Transformer模型对经过特征选择后的数据进行特征提取；
S5使用特征提取后的数据对LSTM模型进行训练。
作为优选方案，所述反映航空发动机全生命周期的数据包括发动机id号、运行周期时间、操作设置和传感器数据。
作为优选方案，所述对数据进行预处理包括：
对数据进行滤波降噪处理；
对数据进行归一化处理；
剔除对寿命预测无影响的数据。
作为优选方案，所述基于随机森林模型进行特征选择的步骤为：
S31对每一颗决策树，选择相应的袋外数据，计算第一袋外数据误差；
S32随机对袋外数据所有样本的特征加入噪声干扰，计算第二袋外数据误差；
S33通过第一袋外数据误差和第二袋外数据误差求出特征的重要性；
基于各特征重要性，采用递归特征消除的方法找到最优特征子集。
作为优选方案，所述采用递归特征消除的方法进行特征筛选的具体流程为：
S34将特征依据特征重要性排序；
S35确定剔除的比例，剔除相应比例的特征，得到一个新的特征集；
S36判断新的特征集是否剩余设定个数的特征，若不满足，返回步骤S34，若满足进入步骤S37；
S37输出特征集。
作为优选方案，所述Transformer模型包括基于自注意力机制的多头注意力机制层，所述多头注意力机制层通过自注意力机制，计算各数据的注意力值，基于数据的注意力值进行数据特征提取，所述注意力值计算过程包括以下步骤：
根据输入的数据分别生成三个初始化矩阵Query、Key和Value，所述矩阵Query代表后续将要去查询计算的向量，所述矩阵Key代表后续将要被查询计算的向量，所述矩阵Value代表当前的实际特征权重；
计算输入的数据相对于矩阵Query和矩阵Key的相似程度；
对得到的相似度进行Softmax操作，进行归一化处理；
把矩阵Value和进行Softmax操作得到的值相乘，并对乘积求和，得到在当前数据下的注意力值。
作为优选方案，所述Transformer模型还包括残差连接层，所述残差连接层通过建立残差网络解决随着网络加深而带来的梯度消失的问题，并避免随着网络加深而导致数据特征分布的稳定性下降的问题；
残差网络中残差块的公式表示为：
x i+1＝h(x i)+F(x i)
其中x i为第i层多头注意力层输入、x i+1为第i层多头注意力层输出、F(x i)为残差部分、h(x i)为1*1的卷积神经网络。
作为优选方案，所述LSTM模型训练具体包括以下步骤：
将经过Transformer模型特征提取后的数据与LSTM训练标签输入到LSTM模型中进行模型训练，所述训练标签为剩余寿命，即每个发动机的时间序列取倒序。
作为优选方案，所述LSTM模型训练通过调整记忆单元个数和LSTM层数来提高模型预测效果。
作为优选方案，所述LSTM模型训练采用Dropout机制和动态调整学习率的方式来提高模型的泛化能力和训练速度。
与现有技术相比，本发明具有以下有益效果：
1)本发明采用随机森林进行特征提取，采用袋外误差率作为度量标准计算特征的重要性，再依据特征重要性排序剔除相应比例的特征，能够有效消除冗余特征及噪声数据。保留分辨能力强的特征，提高训练速度外，还保证了算法的稳定性、避免过度拟合。
2)本发明的采用带有残差层的transformer模型进行特征提取，使用基于注意力机制的多头注意力机制层进行特征提取，通过多组矩阵提取不同的特征，再将提取到的特征向量拼接起来得到最终的输出特征向量其目的是为同时提取多组传感器的特征，以提高特征提取效率。再使用残差层解决随着网络加深而带来的梯度消失的问题，并避免随着网络加深而导致数据特征分布的稳定性下降的问题，提高模型的收敛速度，提高模型特征提取效率。
附图说明
图1为本发明LSTM模型训练流程图；
图2为本发明发动机全寿命周期数据变化示意图；
图3为本发明基于随机森林模型进行特征选择的流程图；
图4为本发明数据集的特征重要性排序结果图；a)为FD001数据集特征重要性排序结果，b)为FD002数据集特征重要性排序结果，c)为FD003数据集特征重要性排序结果，d)为FD004数据集特征重要性排序结果；
图5为本发明的数据集寿命预测结果图；a)为FD001数据集的预测结果，b)为FD002数据集的预测结果，c)为FD003数据集的预测结果，d)为FD004数据集的预测结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例作为一种基于深度学习的航空发动机剩余寿命预测方法的其中一种实施方式，其运算过程包括以下几部分：
S1.首先从航空发动机数据集中选取几组反应航空发动机全生命周期的多个传感 器数据，包括发动机id号、运行周期时间、3种操作设置以及21个传感器数据。
表1 C—MAPSS数据集介绍
Figure PCTCN2022135013-appb-000001
S2.针对所选用的数据集进行数据预处理；
本实施例将数据选择在python平台上进行处理。首先由于原始数据中含有大量的随机噪声，用滤波函数进行降噪处理，窗宽设置为10，以提高数据平滑度。
由于发动机的多个传感器返回的监测数据表示不同的物理特性，即量纲和数量级不同，为消除数据不规范对预测效果的影响，提高预测精度，将原始数据进行归一化处理。
数据归一化处理将原始数据限定在[0,1]范围内，具体公式为
Figure PCTCN2022135013-appb-000002
式中，x i,j(t)表示的是第i个发动机的第j传感器在t时刻监测的数据值，max(x ：,j)表示第j个传感器所有样本中的最大值，min(x ：,j)表示第j个传感器所有样本中的最小值，x′ i,j(t)表示的是x i,j(t)的归一化值。
考虑到数据集数据维数过多，为了剔除无关数据属性，减低维数，减少模型训练时间，提高预测精度，初步对数据集中3种操作设置以及21个传感器数据进行分析。
如图2所示，有7个属性数据在发动机全寿命周期中无变化，对于RUL预测没有影响，予以剔除。
S3针对基于python平台建立RF特征选择模型对数据进行特征选择，并对模型进行参数设定。
RF的特征选择我们可以认为是根据每个特征的重要程度对多个特征排序的过程。本文采用袋外误差率(Out-of-bag error)作为特征重要性的度量标准。袋外误差率表示着该特征在参与训练和不参与训练对模型准确率的影响。本文在随机森林中计算某个特征x的重要性的方法为：
S31对每一颗决策树，选择相应的袋外数据(Out of bag，OOB)计算袋外数据误差，记为errOOB1。
S32随机对袋外数据OOB所有样本的特征X加入噪声干扰，再次计算袋外数据误差，记为errOOB2。
S33假设森林中有N棵树，则特征x的重要性为
Figure PCTCN2022135013-appb-000003
在通过随机森林获得各特征重要性的基础上，采用递归特征消除(Recursive Feature Elimination)的方法找到最优特征子集。RFE进行特征筛选的具体流程为：
S34将特征依据特征重要性排序；
S35确定剔除的比例，剔除相应比例的特征，得到一个新的特征集；
S36判断新的特征集是否剩下设定个数的特征，若不满足，返回步骤S34，若满足进入步骤S37；
S37输出特征集。
通过python平台利用sklearn库来建立RF特征选择模型，建立的RF特征选择模型形如RandomForestRegressor(n_estimators＝20,max_features＝2)。其中，n_estimators为决策树个数，max_features为选择最适属性时划分的特征不能超过此值。本实施例设定初始参数为n_estimators＝20,max_features＝2。
如图4所示，对数据集F001-FD004的特征进行重要度排序，根据重要度排序结果对传感器数据进行筛选选择。
S4.基于Transformer模型对经过特征选择后的数据进行特征提取具体包括：
将经过RF特征选择后的传感器数据输入到Transformer模型中进行特征提取，提取的特征作为后续LSTM模型训练的输入。
Transformer模型相比较传统的深度学习网络，引入了Self-Attention机制。该机制的引入，使得Transformer模型更容易提取数据中长距离的相互依赖的特征，能够更好的提取全局信息。因此，考虑到航空发动机高维度、多参数、大规模的数据特征，本实施例采用了Transformer模型进行特征提取。Transformer特征提取的过程，主要是通过Self-Attention机制，计算各数据间的关联性，根据数据的注意力得分，来提取数据特征。
本实施例的Transformer模型主要包括基于自注意力机制的多头注意力机制层和残差连接层。
多头注意力机制层是由多组Query、Key、Value矩阵组成。通过多组Query、Key、Value矩阵提取不同的特征，再将提取到的特征向量拼接起来得到最终的输出特征向 量其目的是为同时提取多组传感器的特征，以提高特征提取效率，其流程主要包括为：
根据输入的数据生成三个矩阵分别为Query、Key、Value，Query向量代表是后续将要去查询计算的向量，Key向量表示后续将要被查询计算的向量，Value向量表示当前的实际特征权重。三个矩阵由输入的数据与随机初始化的矩阵相乘得到。
对于输入的数据，计算该数据相对于其他数据的相似程度，用f(Q,K i),i＝1,2,3,.，..m来表示。
(1)将得到的相似度进行Softmax操作，进行归一化处理：
Figure PCTCN2022135013-appb-000004
(2)把Value矩阵和Softmax得到的值进行相乘，并相加，得到的结果即是self-attention机制，在当前数据下的注意力值，即对该数据的关注程度，以达到特征提取的目的。
Figure PCTCN2022135013-appb-000005
残差连接层通过建立残差网络来解决来解决随着网络加深而带来的梯度消失的问题，同时避免随着网络加深而导致数据特征分布的稳定性下降的问题，以此来提高模型的收敛速度，提高模型特征提取效率。
残差网络中残差块的公式表示为：
x i+1＝h(x i)+F(x i)
其中x i为第i层多头注意力层输入、x i+1为第i层多头注意力层输出、F(x i)为残差部分、h(x i)为1*1的卷积神经网络。
本实施例基于python平台建立Transformer模型，模型主体形如Attention(multiheads＝20,head_dim＝10)设置其中multiheads为多头注意力头数，head_dim为头的维度。本实施例中参数设定为multiheads＝20,head_dim＝10
S5.基于LSTM模型利用经过特征提取后的数据，对航空发动机进行剩余寿命预测，具体包括：
将经过Transformer模型特征提取后的传感器数据以及设置好的LSTM训练标签输入到LSTM模型中进行模型训练。训练标签为发动机的剩余寿命，即每个发动机的时间序列取倒序。然后将测试集数据输入到训练好的模型中进行RUL预测。通过调整记忆单元个数和LSTM层数来提高模型预测效果，引入Dropout机制和动态调整学习率的方式来提高模型的泛化能力和训练速度。设置LSTM网络层数为一层，记 忆单元数目为20，Dropout设置为0.5。通过对比测试集下剩余寿命预测的准确度来判断该模型的效果。
本实施例选取均方根误差(root mean squard error,RMSE)、平均绝对百分误差(mean absolute percentage error,MAPE)和平均绝对误差(mean absolute error,MAE)作为评价指标来衡量模型预测的准确性。评价指标在数学上的表示为：
Figure PCTCN2022135013-appb-000006
Figure PCTCN2022135013-appb-000007
Figure PCTCN2022135013-appb-000008
式中：N为发动机个数，
Figure PCTCN2022135013-appb-000009
分别为第i个发动机的实际剩余寿命和预测剩余寿命。RMSE作为误差分析综合指标，反映预测的精度，MAPE评估模型预测误差的波动程度，反映模型的鲁棒性和稳定性，MAE可以反映模型预测误差的实际情况。
如图5所示，分别将FD001-FD004测试集输入到模型中进行RUL预测。从图中可以看出，本实施例所采用的模型在四个数据集下均有良好的表现，说明该模型具有良好的通用性。为了进一步比较本实施例模型性能，本实施例将该模型与CNN-LSTM模型、LSTM模型、SVR模型在FD001-FD004四个数据集下进行比较。其他模型中LSTM的参数与本文模型参数一致。通过评价指标RMSE、MAPE、MAE来对比模型性能。RMSE数值大小可以反映预测的精度，数值越小说明其预测的精度越高；MAPE评估的是模型预测误差的波动程度，反映模型的鲁棒性和稳定性，其数值越小说明该模型的鲁棒性和稳定性越好；MAE数值的大小则可以反映模型预测误差的实际情况，其数值越小说明该模型的预测误差越小。
表2 FD001下评价指标对比
Figure PCTCN2022135013-appb-000010
表3 FD002下评价指标对比
Figure PCTCN2022135013-appb-000011
表4 FD003下评价指标对比
Figure PCTCN2022135013-appb-000012
Figure PCTCN2022135013-appb-000013
表5 FD004下评价指标对比
Figure PCTCN2022135013-appb-000014
通过表2-表5，横向对比可以看出，在四组数据集下，本实施例的模型的RMSE、MAPE、MAE均小于其他模型，因此，本实施例模型的预测准确性、稳定性、鲁棒性均优于其他对比模型。并且在与SVR传统机器学习模型对比中发现，其他三种深度学习模型在RMSE、MAPE、MAE的表现良好，更具优势。而在深度学习模型中对比可以发现，经过特征提取后的LSTM模型，无论是使CNN-LSTM还是Transformer-LSTM，尤其是后者，预测表现都比LSTM模型得到进一步提高。
通过表2-表5，纵向对比可以看出，随着数据集中，发动机状态个数、故障模式的增加，从FD001-FD004，每个模型的RMSE、MAPE、MAE表现均有下降，但是，本实施例所采用的模型预测表现较为稳定，变化幅度较小。因此，可以看出，本实施例所采用的模型更能适应复杂状况下的航空发动机RUL预测，在多工况、多故障模式的情况下依旧有优秀的表现。
考虑到航空发动机工作环境复杂、故障模式多，数据具有高维度、多参数、大规模的特点，本实施例提出了一种基于RF-Transformer-LSTM模型的航空发动机RUL预测方法。该方法以RF模型、Transformer模型、LSTM模型为基础。针对预测数据集维度高、规模大、且参数多等特点，通过RF模型和Transformer模型建立了高维到低维的良好映射关系进而提取出关键特征用于RUL预测。然后将提取特征输入到LSTM模型中，利用LSTM模型反映了时间序列的整体逻辑特性来进行RUL预测。实验结果表明，本实施例所提方法可行有效，比其他3种方法具有更好预测准确性、稳定性、鲁棒性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

  1. 一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，该方法包括：获取反映航空发动机全生命周期的数据，通过经过训练的剩余寿命预测模型得到发动机预测剩余寿命；
    所述寿命预测模型基于LSTM构建，该预测模型的训练过程包括以下步骤：
    S1获取反映航空发动机全生命周期的数据；
    S2对数据进行预处理；
    S3基于随机森林模型对数据进行特征选择；
    S4基于Transformer模型对经过特征选择后的数据进行特征提取；
    S5使用特征提取后的数据对LSTM模型进行训练。
  2. 根据权利要求1所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述反映航空发动机全生命周期的数据包括发动机id号、运行周期时间、操作设置和发动机各部位的传感器数据。
  3. 根据权利要求1所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述对数据进行预处理包括：
    对数据进行滤波降噪处理；
    对数据进行归一化处理；
    剔除对寿命预测无影响的数据。
  4. 根据权利要求1所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述基于随机森林模型进行特征选择的步骤为：
    S31对每一颗决策树，选择相应的袋外数据，计算第一袋外数据误差；
    S32随机对袋外数据所有样本的特征加入噪声干扰，计算第二袋外数据误差；
    S33通过第一袋外数据误差和第二袋外数据误差求出特征的重要性；
    基于各特征重要性，采用递归特征消除的方法找到最优特征子集。
  5. 根据权利要求4所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述采用递归特征消除的方法进行特征筛选的具体流程为：
    S34将特征依据特征重要性排序；
    S35确定剔除的比例，剔除相应比例的特征，得到一个新的特征集；
    S36判断新的特征集是否剩余设定个数的特征，若不满足，返回步骤S34，若满足进入步骤S37；
    S37输出特征集。
  6. 根据权利要求1所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述Transformer模型包括基于自注意力机制的多头注意力机制层，所述多头注意力机制层通过自注意力机制，计算各数据的注意力值，基于数据的注意力值进行数据特征提取，所述注意力值计算过程包括以下步骤：
    根据输入的数据分别生成三个初始化矩阵Query、Key和Value，所述矩阵Query代表后续将要去查询计算的向量，所述矩阵Key代表后续将要被查询计算的向量，所述矩阵Value代表当前的实际特征权重；
    计算输入的数据相对于矩阵Query和矩阵Key的相似程度；
    对得到的相似度进行Softmax操作，进行归一化处理；
    把矩阵Value和进行Softmax操作得到的值相乘，并对乘积求和，得到在当前数据下的注意力值。
  7. 根据权利要求6所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述Transformer模型还包括残差连接层，所述残差连接层通过建立残差网络解决随着网络加深而带来的梯度消失的问题，并避免随着网络加深而导致数据特征分布的稳定性下降的问题；
    残差网络中残差块的公式表示为：
    x i+1＝h(x i)+F(x i)
    其中x i为第i层多头注意力层输入、x i+1为第i层多头注意力层输出、F(x i)为残差部分、h(x i)为1*1的卷积神经网络。
  8. 根据权利要求1所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述LSTM模型训练具体包括以下步骤：
    将经过Transformer模型特征提取后的数据与LSTM训练标签输入到LSTM模型中进行模型训练，所述训练标签为剩余寿命，即每个发动机的时间序列取倒序。
  9. 根据权利要求8所述的一种基于深度学习的航空发动机剩余寿命预测方 法，其特征在于，所述LSTM模型训练通过调整记忆单元个数和LSTM层数来提高模型预测效果。
  10. 根据权利要求8所述的一种基于深度学习的航空发动机剩余寿命预测方法，其特征在于，所述LSTM模型训练采用Dropout机制和动态调整学习率的方式来提高模型的泛化能力和训练速度。
PCT/CN2022/135013 2022-09-02 2022-11-29 一种基于深度学习的航空发动机剩余寿命预测方法 WO2024045377A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211072225.9 2022-09-02
CN202211072225.9A CN115510740A (zh) 2022-09-02 2022-09-02 一种基于深度学习的航空发动机剩余寿命预测方法

Publications (1)

Publication Number Publication Date
WO2024045377A1 true WO2024045377A1 (zh) 2024-03-07

Family

ID=84501788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/135013 WO2024045377A1 (zh) 2022-09-02 2022-11-29 一种基于深度学习的航空发动机剩余寿命预测方法

Country Status (2)

Country Link
CN (1) CN115510740A (zh)
WO (1) WO2024045377A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494071B (zh) * 2023-12-29 2024-04-16 深圳市科沃电气技术有限公司 基于电机转速监测的寿命预测方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807257A (zh) * 2019-11-04 2020-02-18 中国人民解放军国防科技大学 航空发动机剩余寿命预测方法
CN112712209A (zh) * 2020-12-31 2021-04-27 润联智慧科技(西安)有限公司 水库入库流量预测方法、装置、计算机设备及存储介质
CN113139278A (zh) * 2021-04-08 2021-07-20 上海工程技术大学 一种基于深度学习的轴承剩余寿命预测方法及***
CN114297918A (zh) * 2021-12-22 2022-04-08 大连理工大学 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807257A (zh) * 2019-11-04 2020-02-18 中国人民解放军国防科技大学 航空发动机剩余寿命预测方法
CN112712209A (zh) * 2020-12-31 2021-04-27 润联智慧科技(西安)有限公司 水库入库流量预测方法、装置、计算机设备及存储介质
CN113139278A (zh) * 2021-04-08 2021-07-20 上海工程技术大学 一种基于深度学习的轴承剩余寿命预测方法及***
CN114297918A (zh) * 2021-12-22 2022-04-08 大连理工大学 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法

Also Published As

Publication number Publication date
CN115510740A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Zhang et al. A new bearing fault diagnosis method based on modified convolutional neural networks
CN105117602B (zh) 一种计量装置运行状态预警方法
CN108320043B (zh) 一种基于电力大数据的配电网设备状态诊断预测方法
CN109063308B (zh) 一种基于深度量子学习的健康评估方法
CN112859822B (zh) 基于人工智能的设备健康分析及故障诊断的方法及***
CN113177357B (zh) 一种电力***暂态稳定评估方法
Su et al. Small sample fault diagnosis method for wind turbine gearbox based on optimized generative adversarial networks
CN113255848A (zh) 基于大数据学习的水轮机空化声信号辨识方法
CN111768000A (zh) 在线自适应微调深度学习的工业过程数据建模方法
WO2024045377A1 (zh) 一种基于深度学习的航空发动机剩余寿命预测方法
CN114297918A (zh) 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法
CN112966259A (zh) 电力监控***运维行为安全威胁评估方法及设备
CN111680875A (zh) 基于概率基线模型的无人机状态风险模糊综合评价方法
CN112836604A (zh) 一种基于vmd-ssae的滚动轴承故障诊断分类方法、***、设备及其存储介质
CN111273125A (zh) 基于rst-cnn的电力电缆沟道故障诊断方法
CN112434390A (zh) 基于多层网格搜索的pca-lstm轴承剩余寿命预测方法
CN112906764A (zh) 基于改进bp神经网络的通信安全设备智能诊断方法及***
Yin et al. Location of abnormal energy consumption and optimization of energy efficiency of hydraulic press considering uncertainty
Tong et al. Fault prediction of marine diesel engine based on time series and support vector machine
Fu et al. Remaining useful life prediction under multiple operation conditions based on domain adaptive sparse auto-encoder
Wang et al. Research on integrating different methods of neural networks with case-based reasoning and rule-based system to infer causes of notebook computer breakdown
CN115689001A (zh) 基于模式匹配的短期负荷预测方法
CN115392618A (zh) 一种基于ahp-ew和ae-rnn融合的食品安全风险预警模型及其建立方法
CN115153549A (zh) 一种基于bp神经网络的人机交互界面认知负荷预测方法
CN111221704B (zh) 一种确定办公管理应用***运行状态的方法及***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22957189

Country of ref document: EP

Kind code of ref document: A1