CN107886126A

CN107886126A - 基于动态集成算法的航空发动机气路参数预测方法及***

Info

Publication number: CN107886126A
Application number: CN201711102389.0A
Authority: CN
Inventors: 钟诗胜; 林琳; 付旭云; 张震; 张一震
Original assignee: Harbin Institute of Technology Weihai
Current assignee: Harbin Institute of Technology Weihai
Priority date: 2017-11-10
Filing date: 2017-11-10
Publication date: 2018-04-06
Anticipated expiration: 2037-11-10
Also published as: CN107886126B

Abstract

本发明涉及一种基于动态集成算法的航空发动机气路参数预测方法及***，其中方法包括：基于迭代算法对训练样本集进行学习得到基学习机，并使用基学习机对测试样本集进行预测，得到每个基学习机的预测结果；在所述训练样本集中选择测试样本的近邻样本，评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值；基于所述每个基学习机的权值，利用加权核密度估计将每个基学习机的预测结果集成得到最终预测结果。本发明通过量化评估各学习机的局部性能，提出了动态加权核密度估计组合方法，可用于对航空发动机气路参数序列的预测任务中，不受离群值和样本不对称分布的影响，实验结果表明能够有效提高集成学习算法的预测精度。

Description

基于动态集成算法的航空发动机气路参数预测方法及***

技术领域

本发明涉及航空发动机气路参数预测技术领域，尤其涉及一种基于动态集成算法的航空发动机气路参数预测方法及***。

背景技术

航空发动机性能参数预测是航空发动机实施视情维修的基础，现有航空发动机性能参数预测主要有支持向量机预测、离散过程神经网络预测、组合优化相关向量机(CORVM)的概率预测方法、融合预测、集成学习算法预测等。基于单一学习模型的气路参数预测，属于一种全局建模方法，这会导致模型复杂且易陷入局部最优。相比于单个学习机，将多个学习机集成起来的集成学习算法往往可获得更高的预测精度。许多学者从理论上探讨集成学习的有效性。近年来，集成学习越来越多地应用在时间序列预测和航空发动机性能参数预测问题中。相比于单个学习机，集成学习机往往可以获得更高的精度。

现有的集成学***均(Mean)、取中值(Median)或它们的加权形式。平均及其加权形式的组合方法易受到离群值(Outliers)的影响，分布的不对称性(Distributional Asymmetries)对取平均和取中值及其加权形式都有影响，而核密度估计(Kernel Density Estimation，KDE)组合方法对上述两种情况均不敏感，但是现有技术中未将基学习机的局部性能考虑进来。

发明内容

本发明要解决的技术问题在于，针对基于平均、取中值的组合方法易受离群值和不对称性分布影响的问题，将基学习机局部性能评估和加权核密度估计结合，提出了一种动态加权核密度估计(DWKDE) 组合方法，并对航空发动机气路参数进行预测，得到基于动态集成算法的航空发动机气路参数预测方法及***组合方法。

为了解决上述技术问题，本发明第一方面，提供了一种基于动态集成算法的航空发动机气路参数预测方法，包括以下步骤：

迭代训练步骤、基于迭代算法对训练样本集进行学习得到基学习机，并使用基学习机对测试样本集进行预测，得到每个基学习机的预测结果；

权值确定步骤、在所述训练样本集中选择测试样本的近邻样本，评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值；

集成预测步骤、基于所述每个基学习机的权值，利用加权核密度估计将每个基学习机的预测结果集成得到最终预测结果。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测方法中，优选地，所述权值确定步骤包括以下步骤：

(1)对于测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k近邻法选择K个近邻样本；

(2)计算K个近邻样本到测试样本Q的欧几里得距离，并归一化处理后得到归一化距离；并计算加权平均绝对值误差；

(3)对于测试样本Q，基于所述加权平均绝对值误差计算第t个基学习机对应的权值。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测方法中，优选地，所述迭代训练步骤包括对于第t个基学习机执行如下迭代步骤：

(1)在样本权值分布为D_t的训练样本集上训练第t个基学习机；

(2)计算第t个学习机对训练样本预测的绝对值误差构成绝对值误差矩阵E的第t列；

(3)计算第t个基学习机f_t的误差率；

(4)更新样本权值D_t。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测方法中，优选地，所述迭代训练步骤中采用AdaBoost.RT或 Adaboost.R2的迭代算法对训练样本集进行学习得到基学习机。

本发明第二方面，提供了一种基于动态集成算法的航空发动机气路参数预测***，包括：

迭代训练模块，用于基于迭代算法对训练样本集进行学习得到基学习机，并使用基学习机对测试样本集进行预测，得到每个基学习机的预测结果；

权值确定模块，用于在所述训练样本集中选择测试样本的近邻样本，评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值；

集成预测模块，用于基于所述每个基学习机的权值，利用加权核密度估计将每个基学习机的预测结果集成得到最终预测结果。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测***中，优选地，所述权值确定模块包括：

近邻样本选择单元，用于对于测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k近邻法选择K个近邻样本；

绝对值误差计算单元，用于计算K个近邻样本到测试样本Q的欧几里得距离，并归一化处理后得到归一化距离；并计算加权平均绝对值误差；

权值计算单元，用于对于测试样本Q，基于所述加权平均绝对值误差计算第t个基学习机对应的权值。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测***中，优选地，所述迭代训练模块对于第t个基学习机执行如下迭代步骤：

(1)在样本权值分布为D_t的训练样本集上训练第t个基学习机；

(3)计算第t个基学习机f_t的误差率；

(4)更新样本权值D_t。

在根据本发明所述的基于动态集成算法的航空发动机气路参数预测***中，所述迭代训练模块采用AdaBoost.RT或Adaboost.R2的迭代算法对训练样本集进行学习得到基学习机。

实施本发明的基于动态集成算法的航空发动机气路参数预测方法及***，具有以下有益效果：本发明通过量化评估各学习机的局部性能，提出了动态加权核密度估计组合方法，采用该组合方法进行集成学习，可用于对航空发动机气路参数序列的预测任务中，得到基于动态集成算法的航空发动机气路参数预测方法，该组合方法不受离群值和样本不对称分布的影响，实验结果表明能够有效提高集成学习算法的预测精度。

附图说明

图1为根据本发明第一实施例的基于动态集成算法的航空发动机气路参数预测方法的流程图；

图2为现有AdaBoost.RT算法的流程图；

图3为根据本发明的基于动态集成算法的航空发动机气路参数预测方法的原理框架图；

图4为根据本发明的第二实施例的基于动态集成算法的航空发动机气路参数预测方法的流程图；

图5为根据本发明优选实施例的基于动态集成算法的航空发动机气路参数预测***的模块框图；

图6为根据本发明优选实施例的基于动态集成算法的航空发动机气路参数预测***中权值确定模块的示意图；

图7为本发明验证采用的Mackey-Glass时间序列的分布图；

图8为各集成学习机的计算结果图；

图9a～9d分别为MAE、RMSE、MAPE和MASE随基学习机数目的变化趋势图；

图10a为DWRT对Mackey-Glass测试集预测结果，图10b为绝对值误差最大处放大图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为根据本发明第一实施例的基于动态集成算法的航空发动机气路参数预测方法的流程图。如图1所示，该实施例提供的基于动态集成算法的航空发动机气路参数预测方法包括以下步骤：

首先，在步骤S101中，执行迭代训练步骤，基于迭代算法对训练样本集进行学习得到基学习机，并使用基学习机对测试样本集x_new进行预测，得到每个基学习机的预测结果。例如，基于迭代算法对训练样本集x_new进行学习得到基学习机并得到每个基学习机的预测结果该迭代算法优选为AdaBoost.RT和AdaBoost.R2。

随后，在步骤S102中，执行权值确定步骤，在所述训练样本集中选择测试样本的近邻样本，评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值。优选地，该权值确定步骤具体包括：

(1)对于测试样本集x_new中的测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k近邻法选择K个近邻样本；

(2)计算K个近邻样本到测试样本Q的欧几里得距离d_i,i＝1…K，并归一化处理后得到归一化距离d_i'；并计算加权平均绝对值误差：

其中e_ti为第t个基学习机对测试样本Q的第i个近邻样本的预测误差，t＝1,…,T，T为基学习机个数；并且e_ti＝f_ti-y_i，f_ti为第t个基学习机对第i个近邻样本的预测值，y_i为第i个近邻样本的真实输出值。

(3)对于测试样本Q，基于所述加权平均绝对值误差计算第t个基学习机对应的权值：

其中Z为标准化因子，使

最后，在步骤S103中，执行集成预测步骤，基于所述每个基学习机的权值，利用加权核密度估计将每个基学习机的预测结果集成得到最终预测结果。优选地，集成预测步骤中通过以下公式将每个基学习机的预测结果集成得到最终预测结果：

其中s_t为第t个基学习机的预测结果，w_tQ是第t个基学习机对应的权值，K(·)为核函数，h为带宽。

本发明通过量化评估各学习机的局部性能，提出了动态加权核密度估计(DynamicWeighted Kernel Density Estimation，DWKDE)组合方法，采用该组合方法进行集成学习，可用于对航空发动机气路参数序列的预测任务中，得到上述基于动态集成算法的航空发动机气路参数预测方法，该组合方法不受离群值和样本不对称分布的影响。

本发明的方法可以应用于AdaBoost.RT和AdaBoost.R2分别得到 DWRT(DWKDE-Based AdaBoost.RT)和DWR2(DWKDE-Based AdaBoost.R2)集成学习方法。即步骤S101中的迭代算法可以采用 AdaBoost.RT或者AdaBoost.R2。

下面对本发明的基于动态集成算法的航空发动机气路参数预测方法的原理及步骤进行详细介绍。

1、相空间重构

本发明中使用的航空发动机气路参数的训练样本和测试样本均为预先通过相空间重构得到的时间序列。

相空间重构理论(Phase Space Reconstruction theory，PSRT)是时间序列分析的基础。在预测时间序列时需要对序列重构以发现序列内部规律。预测模型的建立与使用都是在相空间内完成的。

对于时间序列，假设z_m+h(h∈Z⁺)可采用之前的p(p∈Z⁺)个历史数据 z_m-p+1,…,z_m-1,z_m预测，如式(1)：

z_m+h＝F(z_m-p+1,…,z_m-1,z_m) (1)

对时间序列进行预测也就等价于采用学习算法得到式(1)。当h＝1 时，称为对时间序列进行一步预测，即短期预测。而长期预测(h＞1)可以看作是由多次一步预测迭代而成本发明中采用一步预测。

选择合适的嵌入维数p，对时间序列进行相空间重构，生成用于一步预测的输入和输出样本.将序列进行重构，如式(2)和式(3)

时间序列重构之后的序列为可将之用作后续学习机的训练样本集和测试样本集。训练样本集的输入输出分别记为 X_train,Y_train，测试样本集的输入输出分别记为X_test,Y_test。重构得到的样本可用于模型的训练和验证。

2、现有AdaBoost.RT算法分析及存在问题

AdaBoost.RT算法是一个将AdaBoost.M1应用于回归问题的算法。引入一个相对误差绝对值的阈值，将训练样本分为预测正确的和预测错误的两类。实验证明，通常情况下AdaBoost.RT的预测效果要优于另外一种常用的AdaBoost.R2，尤其是在数据中含有离群样本时。

请参阅图2，为现有AdaBoost.RT算法的流程图。如图2所示，现有的AdaBoost.RT算法包括以下步骤：

S201、流程开始；

S202、输入步骤，包括输入以下数据和参数：

用于训练的集合为y∈R；

选择基学习算法Base Learner:即选择基学习机；

指定总迭代次数T(也表示了所生成基学习机的数目)；

指定相对误差绝对值(Absolute Relative Error,ARE)的阈值φ.根据φ将训练样本分为预测正确的和预测错误的样本。

S203、初始化步骤：

令初始迭代次数t＝1；

设有M个训练样本，令训练样本权值分布

令误差率ε_t＝0。

在S204～S209中，执行迭代过程，包括：

S204、判断是否t＝T，是则转步骤S205，否则转步骤S210；

S205、在带有样本权值D_t的训练样本集上训练Base Learner(基学习机)；

S206、记第t个学习机f_t对第j个训练样本x_j的预测结果为f_t(x_j)，而真实输出值为y_j，计算第t个学习机对训练样本预测的绝对值误差 |f_t(x_j)-y_i|；

S207、计算第t个基学习机f_t的误差率：

设置n可以为1,2或3，本发明优选取1；

S208、更新样本权值D_t：

其中Z_t是标准化因子，保证D_t+1(j)是一个分布，即

S209、执行t＝t+1，并转步骤S204。

S210、执行输出步骤：

对于测试样本x_new，将每个基学习机的预测结果集成起来得到最终预测结果：

从上述现有的AdaBoost.RT算法中，可以看出，对任何一个测试样本x_new的预测结果f_t(x_new)来说，第t个基学习机输出结果所占的权重始终为它不随测试样本的变化而发生变化。这种在训练结束后，基学习机的权值就确定的集成算法称为基于静态权值的集成学习算法。

算法每次迭代过程中，根据当次迭代时的样本权值进行m(令 m＝M)次有放回的抽样，每次抽到的训练样本未包含全部M个样本，则每个基学习机的训练样本都是原始样本集的一个子集，且训练各学习机所使用的子集各不相同。因此，通过AdaBoost.RT算法得到的基学习机只是由部分训练样本训练得到的局域模型。训练样本的输入有多个维度，可长成一个高维空间(设对于测试样本x_new，在高维空间表现为一个点，记为Q)，则各学习机的训练样本分布在不同空间，因此各基学习机在不同局部空间的学习能力是不一致的。在不同局部空间内各学习机应该有不同的权值，以保证在该局部空间内预测性能较好的基学习机的权值较大，反之，基学习机的权值较小。所以应将基学习机的局部性能因素考虑进来，以更好地预测新样本。因此，每个学习机的权值不再固定，而是随预测样本所在局部空间而变化，这种集成算法称为动态集成算法，一般可以获得比静态集成算法更好的效果。

另外，AdaBoost.RT的组合方法是一种加权平均的方式。平均及其加权形式的组合方法易受到离群值的影响，分布的不对称性对取平均和取中值及其加权形式的组合方法都有影响，而KDE组合方法对上述两种情况均不敏感。

3、本发明的动态加权核密度估计集成学习方法

鉴于前述AdaBoost.RT存在的问题，本发明将学习机的局部性能评估引入核密度估计，得到加权核密度估计，且其权值可根据不同测试样本而动态改变。下文介绍本发明将加权核密度估计和基学习机的局部性能评估结合起来的动态加权核密度估计组合方法。

3.1加权核密度估计

核密度估计是一种根据样本数据来估计密度函数表达式的方法。设T个基学习机对待预测样本x_new(点Q)的预测结果集合为则其核密度函数为p(s)。则p(_s)的加权核密度估计的表示形式为：

式中，T为基学习机个数，为了保证核密度估计效果，一般要求 T≥30；K(·)为核函数；h为带宽；w(s_t)为权值。

从定义中可以看出，核函数是一种权函数，在估计点s的核密度时，该函数利用数据点s_t到s的距离(s-s_t)和s_t对应的w(s_t)来决定s_t的重要性大小。决定加权核密度估计表达式的因素有核函数、窗宽和w(s_t).

通常，核函数的选择并不是核密度估计中最关键的因素，而的光滑程度主要是由窗宽h决定的，直接决定了估计效果。常用的一维核函数有高斯核函数、均匀核函数、指数核函数等。本发明优选采用常用的高斯核函数，其定义如式(5)。

带宽h的选择对估计的至关重要，若h太大，则会显得过于平滑，忽略一些细节；若h太小，则曲线(尤其是尾部)会出现很大的波动。其主要选择方法有：拇指法、最大似然估计法、最优理论窗宽和最小二乘交叉验证法等。使用拇指法计算出来的带宽对于高斯核函数来说已经足够。带宽计算公式如式(6)。

式中，是的标准差。

使得核密度函数估计取得最大值点的s记作s_Mode，即各学习机集成之后的值，其计算公式如式(7)。同时由于核密度估计需要大量的预测值(即大量的基学习机)，一般情况下在基学习机数目大于30 的情况下能取得比较理想的结果。

则的核心计算过程是确定w(s_t)，即需要评估基学习机的局部性能。

3.2学习机局部性能评估

学习机对测试样本Q的预测能力与学习机在其近邻样本上的学习能力有关，则学习机对其预测的好坏可以通过对其近邻样本预测的好坏来评估，进而由在近邻样本上的预测效果确定基学习机对应的权值。

因此，本发明提供的基于动态集成算法的航空发动机气路参数预测方法的权值确定步骤，即前述步骤S102包括以下3个步骤：①根据一定的准则在训练样本集中寻找x_new(Q)的近邻样本；②评估各学习机在其近邻样本上的预测性能；③确定基学习机权值。

1)在训练样本集中寻找x_new的近邻样本

在训练样本集中寻找测试样本x_new的近邻样本的过程就是衡量不同序列之间相似性的过程。时间序列距离度量方法主要有闵可夫斯基 (Minkowski)距离、最长公共子串(Longest Common Subsequece,LCS) 距离、余弦相似度、动态时间弯曲(Dynamic TimeWarping，DTW) 距离等。最常用的是闵可夫斯基距离，假设两个样本的输入向量为 <v₁,v₂,…,v_p>和<v′₁,v′₂,…,v′_p>，则闵可夫斯基距离可表达为式(8)：

当n＝1，式(8)成为曼哈顿距离；当n＝2，就是欧几里德距离；当p＝∞称为Chebyshev距离，即优选地，本发明中采用欧几里德距离来度量序列之间的距离。

请结合参阅图3，为根据本发明的基于动态集成算法的航空发动机气路参数预测方法的原理框架图。如图3中虚线框A部分示意了近邻样本的选择(图中仅以取5个近邻样本为例，本发明不仅限于此)，虚线框B部分示出了评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值，虚线框C部分示出了利用加权核密度估计完成集成预测的过程。因此，A部分可以看到，在训练样本集中选择测试样本的近邻样本的步骤具体为：对于测试样本集中的测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k近邻法(k-Nearest Neighbor，k-NN)选择K个近邻样本。

2)评估各学习机在其近邻样本上的局部性能

计算这K个近邻样本到测试样本Q的欧几里得距离为d_i,i＝1…K；

在归一化处理后得到归一化距离：

设i个近邻样本的真实输出为y_i,i＝1,…,K，设第t个基学习机对第 i个近邻样本的预测值为f_ti,t＝1,…,T。

计算加权平均绝对值误差(Weighted Mean Absolute Error， WMAE)，在本发明的定义为公式(10)：

可见，WMAE同时将学习机在Q的近邻样本上的绝对值误差和近邻样本到Q的距离考虑进来。距离Q越近的样本，则其对学习机性能评估影响越大。在Q的邻域内，预测性能好的基学习机对应的较小；反之，较大。则可以根据WMAE来确定基学习机的权值。

3)确定权值

对于测试样本Q，基于WMAE计算第t个基学习机对应的权值，如式(11)：

式中，Z为标准化因子，使

计算得到的w_tQ也即是3.1节中的第t个基学习机的权值w(s_t)。

3.3动态加权核密度估计组合方法及集成学习方法

本发明将核密度估计组合方法和学习机局部性能评估结合起来，得到动态加权核密度估计(DWKDE)组合方法。该组合方法可动态调整权值，在Q所在局部空间内预测精度高的基学习机的贡献权值较大；反之，贡献权值较小，而该权值正是加权核密度估计所需权值。

本发明将DWKDE组合方法应用于AdaBoost.RT算法，得到DWRT 算法的实施例。因此，本发明提供了基于动态集成算法的航空发动机气路参数预测方法的第二实施例。请参阅图4，为根据本发明的第二实施例的基于动态集成算法的航空发动机气路参数预测方法的流程图。该流程包括：

S401、流程开始；

S402、输入步骤，包括输入以下数据和参数：

用于训练的集合为y∈R；

选择基学习算法Base Learner:即选择基学习机；

指定总迭代次数T(也表示了最终生成基学习机的数目)；

指定相对误差绝对值(Absolute Relative Error,ARE)的阈值φ。根据φ将训练样本分为预测正确的和预测错误的样本。

S403、初始化步骤：

令初始迭代次数t＝1；

设有M个训练样本，令第一次训练时，训练样本权值分布

令误差率ε_t＝0；

令绝对值误差矩阵E为M×T的零矩阵，矩阵的每一列存储代表了每个学习机对每个训练样本预测的绝对值误差。

在S404～S409中，执行迭代过程，包括：

S404、判断是否t＝T，是则转步骤S405，否则转步骤S410；

S405、在权值分布为D_t的训练样本集上训练第t个Base Learner(基学习机)，t＝1,…,T，T为基学习机个数；

S406、计算第t个学习机对训练样本预测的绝对值误差构成绝对值误差矩阵E的第t列：E(j,t)＝|f_t(x_j)-y_j|,j＝1,…M；f_t(x_j)为第t个基学习机f_t对第j个训练样本x_j的预测结果，y_j为第j个训练样本的真实输出值；

S407、计算第t个基学习机f_t的误差率：

其中，φ为预先设定的相对误差绝对值的阈值；

设置n为1，2或3；本发明优选取1；

S408、更新样本权值D_t：

其中Z_t是标准化因子，保证D_t+1(j)是一个分布，即

S409、执行t＝t+1，并转步骤S410。

S410、确定基学习机权值，包括：

1)选取近邻样本

对于测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k近邻法选择K个近邻样本；

2)基学习机局部性能评估及权值确定

从绝对值误差矩阵E中找到每个基学***均绝对值误差

根据式(11)计算第t个基学习机对Q预测结果的权值w_tQ。

S411、执行输出步骤：

将每个基学习机的预测结果集成起来得到最终预测结果：

本发明第三实施例的基于动态集成算法的航空发动机气路参数预测方法是将前述DWKDE组合方法运用于Adaboost.R2集成学习方法，可得到DWR2方法。该第三实施例的步骤与第二实施例类似，在此不再赘述。

优选地，本发明上述步骤S405要求基学习机能对具有特定分布的数据进行学习，可以使用“重赋权法”(Re-Weighting)；对于不能处理带有权重的样本的基学习机，应该采用“重采样法”(Re-Sampling)，即每次都要根据样本权值进行重采样，对重采样得到的样本进行训练，然后根据训练结果更新训练样本权值。本发明选择基学习机为神经网络，神经网络本身不能处理带有权重的样本，故选择“重采样法”。

上述样本权值更新步骤S408中，在第t步被基学习机f_t(x)预测正确的样本的权值会变小，而被预测错误的样本的权值将会相对变大。则在第t+1步进行重采样时，第t步预测正确的样本被重采样选中的概率变小，预测错误的样本被重采样选中的概率变大。由此可见，本发明将集中“精力”处理那些被预测错误的“难样本”。此处“难样本”指的是单个学习机预测效果较差的样本。

请参阅图5，为根据本发明优选实施例的基于动态集成算法的航空发动机气路参数预测***的模块框图。如图5所示，该实施例提供的***500包括：迭代训练模块501、权值确定模块502和集成预测模块 503。

其中，迭代训练模块501用于基于迭代算法对训练样本集进行学习得到基学习机，并使用基学习机对测试样本集进行预测，得到每个基学习机的预测结果。例如，基于迭代算法对训练样本集x_new进行学习得到基学习机并得到每个基学习机的预测结果该迭代算法优选为AdaBoost.RT和AdaBoost.R2。

权值确定模块502用于在所述训练样本集中选择测试样本的近邻样本，评估每个基学习机在近邻样本的局部性能动态确定每个基学习机的权值。

集成预测模块503用于基于所述每个基学习机的权值，利用加权核密度估计将每个基学习机的预测结果集成得到最终预测结果。优选地，集成预测模块503通过以下公式将每个基学习机的预测结果集成得到最终预测结果：

请参阅图6，为根据本发明优选实施例的基于动态集成算法的航空发动机气路参数预测***中权值确定模块的示意图。如图6所示，优选地，权值确定模块502进一步包括：近邻样本选择单元601、绝对值误差计算单元602和权值计算单元603。

其中，近邻样本选择单元601用于对于测试样本Q而言，计算所有训练样本与测试样本Q的距离，并以从小到大的顺序进行排列，按照k 近邻法选择K个近邻样本；

绝对值误差计算单元602用于计算K个近邻样本到测试样本Q的欧几里得距离d_i,i＝1…K，并归一化处理后得到归一化距离d_i'；并计算加权平均绝对值误差：

其中e_ti为第t个基学习机对测试样本Q的第i个近邻样本的预测误差，t＝1,…,T，T为基学习机个数；并且e_ti＝f_ti-y_i，f_ti为第t个基学习机对第i个近邻样本的预测值，y_i为第i个近邻样本的真实输出值；

权值计算单元603用于对于测试样本Q，基于所述加权平均绝对值误差计算第t个基学习机对应的权值：

其中Z为标准化因子，使

本发明的基于动态集成算法的航空发动机气路参数预测***在结合AdaBoost.RT算法来实现时，迭代训练模块501对于第t个基学习机执行如下迭代步骤：

(1)在样本权值分布为D_t的训练样本集上训练第t个基学习机， t＝1,…,T，T为基学习机个数；

(2)计算第t个学习机对训练样本预测的绝对值误差构成绝对值误差矩阵E的第t列：E(j,t)＝|f_t(x_j)-y_j|,j＝1,…M；f_t(x_j)为第t个基学习机f_t对第j个训练样本x_j的预测结果，y_j为第j个训练样本的真实输出值；

(3)计算第t个基学习机f_t的误差率：

其中，φ为预先设定的相对误差绝对值的阈值；

设置n为1，2或3；

(4)更新样本权值D_t：

其中Z_t是标准化因子，使

下面对本发明的具体应用实例进行介绍。

1.有效性验证

本发明采用的算法有神经网络、原始AdaBoost.RT方法、采用KDE 组合方法的AdaBoost.RT算法(式(4)里的每个基学习机预测结果对应的权值w_tQ均为1/T，没有局部性能评估步骤，其余的计算步骤与本发明DWRT算法一致)、采用DWKDE组合方法的AdaBoost.RT算法 (即本发明第二实施例)、原始AdaBoost.R2方法、采用KDE组合方法的AdaBoost.R2算法和采用DWKDE组合方法的AdaBoost.R2算法 (即本发明第三实施例)，为了表述方便，这些方法分别记为NN、ORT、 KDERT、DWRT、OR2、KDER2和DWR2。

本发明采用常用的Mackey-Glass时间序列验证所提出算法的有效性，该序列可由式(12)产生。采用以下4个指标来评估预测效果：平均绝对误差(Mean Absolute Error，MAE)、RMSE、平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)和平均绝对比例误差 (Mean Absolute Scaled Error，MASE)。

按照“LI C,HU J W.A new ARIMA-based neuro-fuzzy approach and swarmintelligence for time series forecasting[J].Engineering Applications ofArtificial Intelligence,2012,25(2):295-308.”(简称为对比文件1)设置α＝0.2,β＝0.1,τ＝17,z(0)＝1.2且当t＜0时z(t)＝0。根据式(12)生成序列，选取t＝118-1117共1000个数据点，记作如图7所示。选用前面500个点来预测后面500个点。选定神经网络作为基学习机生成算法，采用一步预测法预测。

选择神经网络的结构为8-30-1，则相空间重构时p＝8。其中具体设置为：训练最大迭代次数为200，训练精度为均方误差(Mean Squared Error，MSE)达到0.00001，学习率为0.1，训练算法选择为 Levenberg-Marquardt(LM)算法，隐藏层激活函数为Log-Sigmoid型函数，输出层激活函数为线性函数。实验设置总结如表1。

表1 Mackey-Glass序列实验设置

所有实验均重复10次取平均值。对测试集的预测结果如表2，各指标最优的数值加粗表示。DWRT相比于单个NN、ORT和KDERT预测精度提升百分比如表3所示。

表2 Mackey-Glass序列预测效果(T＝40)

表3 DWRT预测精度提升百分比(T＝40)

从表2和表3中可以看出，相比于单个NN、ORT和KDERT均能有效提升预测精度，但是提升幅度不大，且KDERT和ORT的预测精度基本一致。而本发明提出的DWRT能大幅提高预测精度。

在预测测试集的第一个数据点时，将40个基学习机的预测结果画成直方图，也将各集成学习机的计算结果表示出来，如图8所示。其中DWRT和KDERT核密度估计曲线(图8中分别用字母D和K标示) 的纵坐标为“核密度”，各基学习机预测结果的统计结果纵坐标为“频数”。从中可以看出采用KDE组合方法的KDERT算法和采用DWKDE 组合方法的DWRT算法的核密度估计曲线的差异。DWRT预测结果最接近真实值，KDERT次之，ORT的预测结果(图8中用字母O标示) 距离真实值(图8中用字母R标示)最远。在KDERT算法估计核密度曲线时，式(4)里的权值w_tQ均为1/T，而在DWRT算法估计核密度曲线时，在式(4)里的权值w_tQ的计算公式为式(11)。从图4中可以看出，虽然KDERT的核密度曲线比DWRT的核密度曲线更接近真实的预测结果的分布，但是由于每个学习机对该样本所在局部空间内的预测精度不一致，可得到新的w_tQ，进而将KDERT的核密度曲线调整为DWRT的核密度曲线。可见虽然DWRT的核密度曲线不能较好地反映预测结果的分布，但是由于DWRT算法考虑了基学习机的局部性能差异性，赋予了每个基学习机预测结果不同的权值，使得在测试样本局部空间内预测效果好的学习机有更大的权值，由此得到的核密度估计曲线能有效反映计及学习机局部性能的预测结果分布，因此DWRT 算法能获得较好的预测结果。

为研究基学习机数目T对于集成学习机的影响，初始设置T为5，然后设置T从10增加至150，每一次的增量为10，其余实验设置和表 1一致，每次实验均重复10次，将10个预测结果的均值作为最终预测结果。MAE、RMSE、MAPE和MASE随基学习机数目T的变化趋势分别如图9a～9d所示。

从图9a～9d中可以看出，在每个评价指标上，每种集成学习机均能有效提高预测精度，表明集成学习机相对于单个学习机确实可以有效提高预测精度，并且随着基学习机数目的增大，各集成算法均能有效提高预测精度。但是当基学习机数目过大时，预测精度提升幅度变小甚至会发生震荡。基学习机数目T从5增加至40时，各集成学习机均能大幅提高预测精度，ORT、KDERT和DWRT在RMSE指标上分别降低了7.49％、13.97％和36.49％.基学习机数目T从40增加至70时，各集成学习机能小幅提高预测精度，ORT、KDERT和DWRT在RMSE 指标上分别降低了4.94％、5.31％和10.08％。当T由70增至150时， ORT、KDERT和DWRT在RMSE指标上仅分别降低了2.09％、3.47％和7.28％，可见此时集成学习机的预测精度提升幅度很有限，过程中甚至会发生小幅震荡。

在基学习机数量T＜40时，采用KDE组合方法的KDERT算法的预测精度要低于ORT算法。这主要是由于KDERT采用KDE组合方法，核密度估计在数据点较少时会得到不可靠的结果。当40＜T＜100时， KDERT的预测精度和ORT的预测精度基本一致，这是由于当数据点较多时，核密度估计会得到比较可靠的结果，这使得KDE组合方法可以成为一种有效的组合方法。当T＞100时，根据这4种指标，KDERT 的预测精度要略高于ORT，这是由于继续增多数据点可以进一步提高核密度估计的可靠性，可取得较好的预测效果。

从图9a～9d中可以看出，总体上无论T取任何值，相比于NN、ORT 和KDERT，采用本文提出的动态加权核密度组合方法的DWRT算法均能取得最好的结果；相比于ORT和KDERT，增大T能使得DWRT 算法的预测精度得到更大幅度的提升。此外，从图9b中可以看出，在RMSE指标上，ORT在T＝150时取得最小值为0.001687，KDERT在 T＝140时取得最小值为0.001661，而DWRT在T＝5时对应的RMSE为 0.001434。由此可知，相比于T＝150时的ORT算法和T＝140时的KDERT算法，DWRT仅需5个基学习机就能获得更好的预测结果，极大地降低了算法的复杂度。

本发明采用了与对比文件1相同的时间序列，并有相同的训练集和测试集划分，其提出的NFS–ARIMA(4,0,0)和NFS–ARIMA(4,1,0) 模型在测试集上的RMSE分别为0.0013和0.00086。本文提出的DWRT 在T＝40,80,100时计算得到的RMSE分别为0.00091、0.00088和0.00078。DWRT所能取到最小的RMSE为0.00076，此时T＝140。

综上，本发明提出的采用DWKDE组合方法的DWRT方法是一种较优的集成学习机。相比于ORT和KDERT算法，DWRT方法能获得最好的预测效果。本发明建议在采用DWRT方法时，学习机数目可以取在40至70之间，此时在使用较少的NN的同时仍能获得较高的预测精度。

T＝100时，DWRT预测结果如图10a和图10b所示。其中图10a 为DWRT对Mackey-Glass测试集预测结果，图10b为绝对值误差最大处放大图。

另外，采用OR2、KDER2和DWR2做对比实验。本文设置 AdaBoost.R2采用线性形式(Linear Form)计算损失函数。令T＝40，其余实验设置均和AdaBoost.RT的实验设置一致，重复实验10次取均值。对测试样本集的预测结果如表6，各指标最优的数值加粗表示。

表6 Mackey-Glass序列预测效果(T＝40,基于AdaBoost.R2)

从表6中可看出，相对于OR2，KDER2算法的RMSE下降了 76.08％，可见KDE组合方法的有效性。同时，采用基于DWKDE组合方法的DWR2算法时，其RMSE相对于OR2下降了88.04％，比KDER2 下降了50.00％，比单个NN下降了61.95％。可见，OR2的效果较差，甚至差于单个NN的效果，这主要是因为OR2的样本权值更新策略会导致该方法对异常样本非常敏感，异常样本得到足够的训练而正常样本却没有得到很好的训练。对比表2和表6可知，在该四个评价指标上，KDER2预测精度要高于KDERT，DWR2预测精度要高于DWRT，这表明预测精度往往差于AdaBoost.RT的AdaBoost.R2。借助于KDE 和DWKDE组合方法可实现预测精度的“超越”。

OR2的组合方法属于加权中值(Weighted Median)的形式，该组合方法易受样本不对称性分布的影响，且OR2算法本身的权值更新方式使得其对异常样本敏感，而KDE组合方法和DWKDE组合方法均能弥补OR2算法的此缺陷，且DWR2可取得比KDER2更好的结果。

由此可知，DWKDE组合方法同样适用于AdaBoost.R2，可提高其预测精度。

2、航空发动机气路参数预测

航空发动机故障类型复杂，超过90％的发动机故障是气路部件故障，维修气路部件费用占发动机总维修费用的60％^[21]。因此，气路部件故障诊断在EHM***中占有很重要的地位。发动机重要的气路参数为排气温度(EGT)、低压转子转速(N1)、核心机转速(N2)和燃油流量(FF)，其中N1是发动机的推力参数，航空发动机气路参数预测对象为排气温度裕度(EGTM)、核心机转速偏差值(ΔN2)、燃油流量偏差值(ΔFF)。

选取1300循环的EGTM序列、ΔN2序列和ΔFF序列进行实验，选定神经网络作为基学习机生成算法，采用一步预测法预测。对于该3 种参数序列采用的神经网络的拓扑结构分别为6-10-1、8-15-1、6-15-1。采用的实验的具体设置为：训练最大迭代次数为200，训练精度为均方误差分别达到0.0001、0.00001和0.00001，学习率为0.05，训练算法选择为Levenberg-Marquardt(LM)算法，设置输出层激活函数为线性函数，隐藏层激活函数为Log-Sigmoid型函数。实验的其他相关配置如表7。

表7气路参数序列预测实验配置

采用单个神经网络、ORT、KDERT、DWRT、OR2、KDER2和 DWR2算法对该3种气路参数进行实验，每个实验均重复10次，取平均值作为最终的预测结果。在测试集上的实验结果如表8至表10所示，其中各指标最优的数值加粗表示。

表8 EGTM序列预测效果

表9 ΔN2序列预测效果

表10 ΔFF序列预测效果

从表8至表10的实验结果中可知，采用本文所提出的DWKDE组合方法的集成学习算法(DWRT和DWR2)均能取得最好结果，而采用KDE组合方法的集成学习算法的预测精度和原始集成学习算法一致或精度提升幅度不大。

由此可见，采用本发明提出的DWKDE组合方法的DWRT(第二实施例)和DWR2算法(第三实施例)可适用于航空发动机气路参数预测任务中，并能有效提高预测精度——相比于其他算法，DWRT和 DWR2的均方根误差至少可降低27％。

综上所述，本发明针对基于平均、取中值的组合方法易受离群值和不对称性分布影响的问题，将基学习机局部性能评估和加权核密度估计结合，提出了一种新的组合方法——动态加权核密度估计 (DWKDE)组合方法。基于该组合方法提出了DWRT和DWR2集成学习算法。本发明还确定了根据测试样本的近邻样本来计算基学习机局部性能的步骤，并与加权核密度估计结合以构建DWKDE组合方法。在Mackey-Glass序列上实验表明DWRT和DWR2算法可以有效提高预测精度，并在使用较少的基学习机的情况下仍能取得较高的预测精度，减小了计算复杂度。借助于该组合方法，Adaboost.R2可实现对 Adaboost.RT的“超越”。航空发动机气路参数序列(EGTM、ΔN2和ΔFF)的预测实验结果表明DWRT和DWR2算法可适用于航空发动机气路参数预测任务，可有效提高预测精度。

Claims

1.一种基于动态集成算法的航空发动机气路参数预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于动态集成算法的航空发动机气路参数预测方法，其特征在于，所述权值确定步骤包括以下步骤：

<mrow> <msubsup> <mi>e</mi> <mrow> <mi>t</mi> <mi>Q</mi> </mrow> <mrow> <mi>W</mi> <mi>M</mi> <mi>A</mi> <mi>E</mi> </mrow> </msubsup> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msubsup> <mi>d</mi> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mo>&CenterDot;</mo> <mrow> <mo>|</mo> <msub> <mi>e</mi> <mrow> <mi>t</mi> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <msub> <mi>w</mi> <mrow> <mi>t</mi> <mi>Q</mi> </mrow> </msub> <mo>=</mo> <mi>Z</mi> <mo>&CenterDot;</mo> <mfrac> <mn>1</mn> <msubsup> <mi>e</mi> <mrow> <mi>t</mi> <mi>Q</mi> </mrow> <mrow> <mi>W</mi> <mi>M</mi> <mi>A</mi> <mi>E</mi> </mrow> </msubsup> </mfrac> <mo>;</mo> </mrow>

其中Z为标准化因子，使

3.根据权利要求2所述的基于动态集成算法的航空发动机气路参数预测方法，其特征在于，所述集成预测步骤中通过以下公式将每个基学习机的预测结果集成得到最终预测结果：

<mrow> <msub> <mi>s</mi> <mrow> <mi>M</mi> <mi>o</mi> <mi>d</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>s</mi> </munder> <mfrac> <mn>1</mn> <mi>h</mi> </mfrac> <mo>&CenterDot;</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>t</mi> <mi>Q</mi> </mrow> </msub> <mo>&CenterDot;</mo> <mi>K</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>s</mi> <mo>-</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> </mrow> <mi>h</mi> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

4.根据权利要求1～3中任一项所述的基于动态集成算法的航空发动机气路参数预测方法，其特征在于，所述迭代训练步骤包括对于第t个基学习机执行如下迭代步骤：

(1)在样本权值分布为D_t的训练样本集上训练第t个基学习机，t＝1,…,T，T为基学习机个数；

(2)计算第t个学习机对训练样本预测的绝对值误差构成绝对值误差矩阵E的第t列：E(j,t)＝|ft(x_j)-y_j|,j＝1,…M；f_t(x_j)为第t个基学习机f_t对第j个训练样本x_j的预测结果，y_j为第j个训练样本的真实输出值；

(3)计算第t个基学习机f_t的误差率：

<mrow> <msub> <mi>&epsiv;</mi> <mi>t</mi> </msub> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>j</mi> </munder> <msub> <mi>D</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mo>:</mo> <mo>|</mo> <mfrac> <mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> </mrow> <msub> <mi>y</mi> <mi>j</mi> </msub> </mfrac> <mo>|</mo> <mo>></mo> <mi>&phi;</mi> <mo>;</mo> </mrow>

其中，φ为预先设定的相对误差绝对值的阈值；

设置n为1，2或3；

(4)更新样本权值D_t：

其中Z_t是标准化因子，使

5.根据权利要求1～3中任一项所述的基于动态集成算法的航空发动机气路参数预测方法，其特征在于，所述迭代训练步骤中采用Adaboost.R2的迭代算法对训练样本集进行学习得到基学习机。

6.一种基于动态集成算法的航空发动机气路参数预测***，其特征在于，包括：

7.根据权利要求6所述的基于动态集成算法的航空发动机气路参数预测***，其特征在于，所述权值确定模块包括：

绝对值误差计算单元，用于计算K个近邻样本到测试样本Q的欧几里得距离d_i,i＝1…K，并归一化处理后得到归一化距离d_i'；并计算加权平均绝对值误差：

权值计算单元，用于对于测试样本Q，基于所述加权平均绝对值误差计算第t个基学习机对应的权值：

其中Z为标准化因子，使

8.根据权利要求7所述的基于动态集成算法的航空发动机气路参数预测***，其特征在于，所述集成预测模块中通过以下公式将每个基学习机的预测结果集成得到最终预测结果：

9.根据权利要求6～8中任一项所述的基于动态集成算法的航空发动机气路参数预测***，其特征在于，所述迭代训练模块对于第t个基学习机执行如下迭代步骤：

(2)计算第t个学习机对训练样本预测的绝对值误差构成绝对值误差矩阵E的第t列：E(j,t)＝|f_t(x_j)-y_j|,j＝1,…M；f_t(x_j)为第t个基学习机ft对第j个训练样本x_j的预测结果，y_j为第j个训练样本的真实输出值；

(3)计算第t个基学习机f_t的误差率：

其中，φ为预先设定的相对误差绝对值的阈值；

设置n为1，2或3；

(4)更新样本权值D_t：

其中Z_t是标准化因子，使

10.根据权利要求7～8中任一项所述的基于动态集成算法的航空发动机气路参数预测***，其特征在于，所述迭代训练模块采用Adaboost.R2的迭代算法对训练样本集进行学习得到基学习机。