CN111597760A - 一种实现小样本条件下获取气路参数偏差值的方法 - Google Patents

一种实现小样本条件下获取气路参数偏差值的方法 Download PDF

Info

Publication number
CN111597760A
CN111597760A CN202010418279.0A CN202010418279A CN111597760A CN 111597760 A CN111597760 A CN 111597760A CN 202010418279 A CN202010418279 A CN 202010418279A CN 111597760 A CN111597760 A CN 111597760A
Authority
CN
China
Prior art keywords
domain
deviation value
parameter deviation
gas circuit
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010418279.0A
Other languages
English (en)
Other versions
CN111597760B (zh
Inventor
付旭云
周星杰
钟诗胜
张永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202010418279.0A priority Critical patent/CN111597760B/zh
Publication of CN111597760A publication Critical patent/CN111597760A/zh
Application granted granted Critical
Publication of CN111597760B publication Critical patent/CN111597760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请公开了一种实现小样本条件下获取气路参数偏差值的方法，属于航空发动机健康管理与监控技术领域。本发明包括构建发动机样本数据集、对数据进行归一化预处理、构建深度领域自适应气路参数偏差值回归模型、利用目标域发动机及源域发动机训练集训练深度领域自适应气路参数偏差值回归模型、利用训练好的所述深度领域自适应气路参数偏差值回归模型对所述目标域发动机测试集提取到的发动机样本进行测试、分析回归效果以及获取小样本新机型航空发动机ACARS数据，利用保存的气路参数偏差值回归模型获取气路参数偏差值。本发明实现跨工况、跨机型下建立气路参数偏差值模型，进而获取发动机监控自主性。

Description

一种实现小样本条件下获取气路参数偏差值的方法
技术领域
本申请属于航空发动机监控以及健康管理技术领域，涉及一种获取气路参数偏差值的方法，尤其涉及一种实现小样本条件下获取气路参数偏差值的方法。
背景技术
气路参数监控是航空发动机特别是民航发动机健康管理的重要技术手段。航空发动机作为热机的一种，其核心部件是气路***部件，例如压气机、燃烧室、涡轮等。气路部件的热力参数反映了发动机的性能状态，常用的气路参数有：EGT、FF、N1、N2等。这些参数以机载设备采集，以ACARS(Aircraft CommunicationAddressing and Reporting System)报文的形式传输到飞机监控基地。航空发动机气路分析法是在飞机在起飞阶段(Take off)和巡航阶段(Cruise)分别由机载监控***采集状态参数以ACARS报文形式发送给监控基地，利用报文格式对不同的报文进行解析得到原始状态参数，然后利用特定模型计算气路参数的偏差值，接着对该偏差值进行平滑处理，以方便观察其偏差变化趋势，从而了解发动机的性能。最后为了对发动机进行“预诊断”，还需对发动机气路参数偏差值进行预测。可见，建立准确的发动机气路参数偏差值模型是发动机状态监控和故障诊断的前提。
然而由于民航发动机工况环境复杂、型号多样，导致气路参数偏差值模型缺乏普适性且新机型存在可使用信息量匮乏的问题。即现有技术中缺少实现跨工况、跨机型下建立民航发动机气路参数偏差值回归模型以及相应的实现知识迁移与复用的发动机气路参数偏差值挖掘方法。
发明内容
本申请解决的技术问题是航空发动机健康管理领域中的领域自适应问题。本发明的目的在于提供一种实现小样本条件下获取气路参数偏差值的方法。通过将不同机型下已学习到的飞行参数间的关联知识进行相互迁移，实现跨工况、跨机型下建立气路参数偏差值模型，进而获取发动机监控自主性。
为实现上述发明目的，本发明采取以下技术方案。
一种实现小样本条件下获取气路参数偏差值的方法，包括：
步骤1收集源域及目标域航空发动机ACARS数据，构建发动机样本数据集，并将所述发动机样本数据集划分为训练集和测试集；
步骤2对所述源域与目标域发动机的训练集与测试集的数据进行归一化预处理；
步骤3构建深度领域自适应气路参数偏差值回归模型，深度领域自适应气路参数偏差值回归模型由特征提取模块、领域自适应模块以及回归模块三部分组成；
具体包括：
步骤3.1通过堆叠多层Res-BP残差学习模块，构建气路高阶特征提取模块，模型架构及超参数参考大样本条件下建立的气路参数偏差值回归模型；
步骤3.2构建深度领域自适应模块，堆叠多层多核均值差异适配层度量源域与目标域发动机之间分布差异性；
步骤3.3构建气路参数偏差值回归模块，在深度领域自适应模块后连接回归模块，实现气路参数偏差值回归；
步骤4利用目标域发动机及源域发动机训练集训练上述深度领域自适应气路参数偏差值回归模型；
步骤5利用训练好的所述深度领域自适应气路参数偏差值回归模型对所述目标域发动机测试集提取到的发动机样本进行测试；
步骤6分析所述深度领域自适应气路参数偏差值回归模型的回归效果，并进行评价，若精度满足要求，则保存当前的深度领域自适应气路参数偏差值回归模型，若不合格则返回步骤1；
步骤7获取小样本新机型航空发动机ACARS数据，利用保存的气路参数偏差值回归模型获取气路参数偏差值，得到回归结果。
可选地，步骤2中采用Z-score归一化预处理。
可选地，步骤3.2中，为充分挖掘域不变特征，达到最优深度领域自适应效果，引入领域对抗机制，通过在多层多核均值差异适配层后连接领域判别器以及梯度反转层以实现域混淆最大化。
可选地，所述特征提取模块通过堆叠三个Res-BP残差学习块实现气路状态特征提取，特征提取模块共十层，包括一个输入层；每个Res-BP残差学习块主要由三个全连接层和一个残差恒等捷径组成；各全连接层的输出首先采用批量正则化，然后通过SELU激活函数对每个神经元进行激活。
可选地，所述深度领域自适应模块由一个域混淆层和三个MK-MMD域适配层组成；将三层MK-MMD域适配层与特征提取模块连接，利用MK-MMD度量源域与目标域中已提取的高阶特征分布的差异；域混淆层与MK-MMD域适配层连接，包括一个二元领域分类器，其输出即领域标签值。
可选地，所述回归模块与域混淆层连接，主要实现提取的域不变特征与其对应气路参数偏差值之间的映射，最终实现偏差值挖掘。
所述深度领域自适应气路参数偏差值回归模型有以下最优化目标：
最小化源域数据集及目标域数据集上的气路参数偏差值回归误差；
最小化源域与目标域之间的分布差异；
以及最大化源域与目标域上的域混淆损失。
相对于现有技术，本发明取得以下有益效果。
本发明采用Res-BPNN模型深层挖掘航空发动机气路状态高阶特征，堆叠多层多核最大均值差异MK-MMD适配层，进而将提取到的高阶特征映射到RKHS中进行差异度量。为进一步降低各机型气路状态特征概率分布差异，引入基于对抗机制的最大化领域混淆方法，通过在多层领域特征适配层后连接域混淆层以实现最大化域混淆损失，使得不同领域间学习到的特征分布尽可能相近，从而混淆目标发动机当前状态下已学习到的特征分布来源，进而深度挖掘域不变特征，达到最优深度领域自适应效果。本发明成功解决了民航发动机工况环境复杂、型号多样导致气路参数偏差值模型缺乏普适性且新机型存在可使用信息量匮乏的问题，通过将不同机型下已学习到的飞行参数间的关联知识进行相互迁移，实现跨工况、跨机型下建立气路参数偏差值模型，进而获取发动机监控自主性。
附图说明
图1为本申请实施例一的整体流程图；
图2为本申请实施例一最大化领域混淆示意图；
图3为本申请实施例一基于Res-BPNN的深度领域自适应回归模型总体框架；
图4为本申请实施例二网络训练过程中的MK-MMD及损失值随迭代次数的变化图；
图5为本申请实施例二迁移任务A的DEGT回归效果图(无监督方法)；
图6为本申请实施例二迁移任务A的DEGT回归效果图(有监督方法)。
具体实施方式
本申请实施例提供的方案中，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
本实施例提供的一种获取气路参数偏差值的方法流程图如图1所示，
该方法包括：
步骤1收集源域及目标域航空发动机ACARS数据，构建发动机样本数据集，并将所述发动机样本数据集划分为训练集和测试集；通常按80％训练集与20％测试集进行划分；
步骤2对所述源域与目标域发动机的训练集与测试集的数据进行归一化预处理；本实施例中，可以采用从民航公司获取的ACARS数据直接进行样本归一化；
步骤3构建深度领域自适应气路参数偏差值回归模型，深度领域自适应气路参数偏差值回归模型由特征提取模块、领域自适应模以及回归模块三部分组成；具体包括：
步骤3.1通过堆叠多层Res-BP残差学习模块，构建气路高阶特征提取模块，模型架构及超参数参考大样本条件下建立的气路参数偏差值回归模型；
步骤3.2构建深度领域自适应模块，堆叠多层多核均值差异适配层度量源域与目标域发动机之间分布差异性；
步骤3.3构建气路参数偏差值回归模块，在深度领域自适应模块后连接回归模块，实现气路参数偏差值回归；
步骤4利用目标域发动机及源域发动机训练集训练上述深度领域自适应气路参数偏差值回归模型；
步骤5利用训练好的所述深度领域自适应气路参数偏差值回归模型对所述目标域发动机测试集提取到的发动机样本进行测试；
步骤6分析所述深度领域自适应气路参数偏差值回归模型的回归效果，并进行评价，若精度满足要求，则保存当前的深度领域自适应气路参数偏差值回归模型，若不合格则返回步骤1；
步骤7获取小样本新机型航空发动机ACARS数据，利用保存的气路参数偏差值回归模型获取气路参数偏差值，得到回归结果。
步骤2中采用Z-score归一化预处理。
步骤3.2中，为充分挖掘域不变特征，达到最优深度领域自适应效果，引入领域对抗值，通过在多层多核均值差异适配层后连接领域判别器以及梯度反转层以实现域混淆最大化。
特征提取模块通过堆叠三个Res-BP残差学习块实现气路状态特征提取，特征提取模块共十层，包括一个输入层；每个Res-BP残差学习块主要由三个全连接层和一个残差恒等捷径组成；各全连接层的输出首先采用批量正则化，然后通过SELU激活函数对每个神经元进行激活。
深度领域自适应模块由一个域混淆层和三个MK-MMD域适配层组成；将三层MK-MMD域适配层与特征提取模块连接，利用MK-MMD度量源域与目标域中已提取的高阶特征分布的差异；域混淆层与MK-MMD域适配层连接，包括一个二元领域分类器，其输出即领域标签值。
回归模块与域混淆层连接，主要实现提取的域不变特征与其对应气路参数偏差值之间的映射，最终实现偏差值挖掘。
深度领域自适应方法的思想在于匹配源域与目标域之间的特征分布进而学习域不变特征。所谓学习域不变特征是指无论从源域数据或是目标域数据中学习到的特征都应该服从相同或几乎相同的特征分布。如果特征具有域不变特性，则可利用该特征有效地实现目标域数据的气路参数偏差值挖掘任务，因此学习域不变特征是实现知识迁移与复用的关键所在。以下分别从领域间差异性度量方法与域混淆方法对深度自适应问题展开进一步描述。
最大均值差异(Maximum Mean Discrepancy，MMD)主要通过将两个不同分布映射到再生核希尔伯特空间(Reproducing Kernel Hilbert Space，RKHS)中，并度量两个分布之间差异性。
首先，定义属于s分布的样本集合
Figure BDA0002495841130000061
以及属于t分布的样本集合
Figure BDA0002495841130000062
定义样本空间的连续函数集F，其连续映射f:χ→R，则两个分布之间的MMD，如公式(3-1)所示。
Figure BDA0002495841130000063
式中：Es[·]——代表分布s的数学期望；
Et[·]——代表分布t的数学期望。
假设样本集合XS和XT分别是从分布s和t通过独立同分布采样获得的两个样本集合，样本容量分别为m及n。基于XS和XT可以得到MMD的经验估计，如公式(3-2)所示。
Figure BDA0002495841130000071
其次，定义H表示RHKS空间，并F约束为RHKS空间内的单位球。连续映射f:χ→R，对任意x∈χ，函数f(x)如公式(3-3)所示。
Figure BDA0002495841130000072
式中：
Figure BDA0002495841130000073
——代表映射：χ→H，并且f与
Figure BDA0002495841130000074
的内积定义为核函数，如高斯核函数：
Figure BDA0002495841130000075
因此，通过上述两个定义，可知s分布以及t分布在再生核希尔伯特空间下的MMD如公式(3-4)所示。
Figure BDA0002495841130000076
式中：μs＝Es[f(XS)]，μt＝Et[f(XT)]。
最后，为了便于计算，通常采用MMD的平方形式，如公式(3-5)。
Figure BDA0002495841130000077
式中：m、n——分别代表源域数据集XS及目标域数据集XT的样本规模。当XS与XS的分布差异性越小，则MMD距离越小，当且仅当s与t服从统一分布时，MMD＝0。
深度适配网络(Deep Adaptation Networks)可采用MMD变体算法，即多核最大均值差异(Multi-Kernel Maximum Mean Discrepancy，MK-MMD)，能够更好的实现领域适配，增强神经网络的特征表示能力。
首先，给出MK-MMD的定义，分布s以及分布t之间MK-MMD距离的经验估计如公式(3-6)所示。
Figure BDA0002495841130000081
式中：Hk——代表具有特征核k的RKHS；
f(·)——代表连续映射函数；
Es[·]——代表分布s的数学期望；
Et[·]——代表分布t的数学期望。
MK-MMD中的特征内核f(·)，k(x,y)＝<f(x),f(y)>，多核具体定义为具有m个半正定内核ku的凸组合，如公式(3-7)所示。
Figure BDA0002495841130000082
式中：
Figure BDA0002495841130000083
——为约束系数，以保证不同分布之间进行领域适配时存在多内核k独有特性。
由于不同特征分布在深度神经网络进行学习时会发生变化，因此无法确定何种核函数能够表现出更强的映射能力，而基于MK-MMD的多内核k可以通过不同的核函数增强特征分布间的适配性，达到最优，最合理的核函数选择。
本实施例为进一步减少从不同领域学习到的特征之间的边缘分布差异，引入了基于对抗机制的领域混淆方法，其原理图如图2所示。
本实施例为实现最大化领域混淆，在提取的深度特征层之后添加一层领域混淆层，即判断通过训练后的某一样本特征分布是来源于源域还是目标域。提取的特征越是能够体现领域间共性，领域混淆效果则越好。如果采用Res-BP神经网络提取的深度特征无法被已训练领域分类器判别是来源于源域还是目标域的样本时，则称该深度特征是具有域不变特性的。最优效果的领域分类器D可通过优化公式(3-8)。
Figure BDA0002495841130000091
式中：
m——代表训练样本批量大小；
gi——代表第i个样本的真实域标签，gi＝0代表样本xi来源于源域，gi＝1代表样本xi来源于目标域；
D(xi)——代表样本xi经过域分类器后输出的标签值。
本实施例提供的基于Res-BPNN的深度领域自适应回归模型由特征提取模块、领域自适应模块以及回归模块三部分组成。高阶特征提取模块采用Res-BPNN网络结构，通过堆叠N个Res-BP残差学习块进行气路状态特征提取。将深度领域自适应模块与特征提取模块相连接，进而学习域不变特征。最后添加回归模块，构成基于Res-BPNN的深度领域自适应回归模型框架，如图3所示。
(1)特征提取模块：通过堆叠三个Res-BP残差学习块实现气路状态特征提取，特征提取模块共十层，包括一个输入层。每个Res-BP残差学习块主要由三个全连接层和一个残差恒等捷径组成。各全连接层的输出首先采用批量正则化，然后通过SELU激活函数对每个神经元进行激活。
(2)深度领域自适应模块：深度领域自适应模块由一个域混淆层和三个MK-MMD域适配层组成。将三层MK-MMD域适配层与特征提取模块连接，利用MK-MMD度量源域与目标域中已提取的高阶特征分布的差异。域混淆层与MK-MMD域适配层连接，包括一个二元领域分类器，其输出即领域标签值。
(3)回归模块：回归模块与域混淆层连接，主要实现提取的域不变特征与其对应气路参数偏差值之间的映射，最终实现偏差值挖掘。
目前，航空公司引入新型号民航发动机，且仅拥有该机型小批量有标签数据，为了在短期内建立该型号民航发动机气路参数偏差值模型，因此需要充分利用有标签数据资源，本实施例将在传统无监督领域自适应迁移学习的最终优化目标中引入小批量目标域有标签数据的回归误差损失。为了便于与其他迁移学习算法进行对比，按照目标域有标签数据的回归损失是否被引入最终优化目标中，将提出方法分为提出方法(有监督)和提出方法(无监督)。
因此，本实施例所提出的基于Res-BPNN的深度领域自适应回归模型最终有如下三个最优化目标：
(1)为了实现航空发动机气路参数偏差值挖掘，基于Res-BPNN的深度领域自适应回归模型必须实现气路状态特征提取以及偏差值挖掘。因此，深度领域自适应回归模型的第一个优化目标就是最小化源域数据集及目标域数据集上的气路参数偏差值回归误差，回归误差的损失函数定义为标准MSE损失函数，如公式(3-9)所示。
Figure BDA0002495841130000101
式中：
nS、nT——代表一个批次训练集中的源域数据及目标域数据数量；
yS、yT——代表源域样本与目标域样本气路参数偏差值真实值；
Figure BDA0002495841130000102
——代表源域样本与目标域样本气路参数偏差值的回归值；
β——代表目标域有标签数据训练权重。当且仅当β＝0时，最终优化目标中不引入目标域有标签数据集。
(2)深度领域自适应模块用来学习域不变特征，如图3-2所示，主要包括域混淆层以及多层MK-MMD域适配层。MK-MMD域适配层主要是为了度量不同领域学习到的特征之间的分布差异。因此，深度领域自适应回归模型的第二个优化目标是最小化源域与目标域之间的分布差异。采用MK-MMD度量源域与目标域之间高阶特征的分布差异，MK-MMD损失函数如公式(3-10)所示。
Figure BDA0002495841130000111
式中：
Figure BDA0002495841130000112
——分别代表第i层适配层的源域与目标域特征表示；
XS、XT——分别代表源域数据集及目标域数据集；
li——代表第i层适配层；
Hk——代表具有特征核k的RKHS。
(3)为进一步降低各机型气路状态特征概率分布差异，采用对抗机制的最大化领域混淆方法，使得不同领域间学习到的特征分布尽可能相近，从而混淆目标发动机当前状态下已学习到的特征分布来源，进而深度挖掘域不变特征。因此，深度领域自适应回归模型的第三个优化目标是最大化源域与目标域上的域混淆损失，域分类损失函数如公式(3-11)所示。
Figure BDA0002495841130000113
式中：
Figure BDA0002495841130000114
——代表域混淆层上已学习的特征表示。
通过结合MSE回归损失、MK-MMD损失以及域混淆损失，可得到基于Res-BPNN的深度领域自适应回归模型的最终优化目标如公式(3-12)所示。
L＝Lreg+λLMK-MMD+μLdomain (3-12)
式中：
LMK-MMD——代表域适配损失；
Lreg——代表回归损失；
Ldomain——代表域混淆损失；
λ、μ——代表网络超参数，用于控制深度领域自适应性的强弱；
当模型训练完成时，如果学习到的高阶特征具有模糊的领域类别和较小的领域间差异性，气路参数偏差值回归模块就能够准确地对目标域样本进行偏差值挖掘。
实施例二
本实施例二利用民航发动机历史巡航数据对实施例一的技术方案进行实验验证。以下从数据选样与预处理、超参数设置、模型性能对比方面进行详细描述。
为充分验证实施例一提出的基于Res-BPNN的深度领域自适应回归模型在民航发动机气路参数偏差值挖掘领域的实例应用以及模型的普遍适用性，本实施例从GE公司生产的CFM56-5B2/3以及CFM56-7B26两台不同型号的民航发动机中分别获取两组数据集分别应用于两次气路参数偏差值挖掘实验。两组迁移学习任务分别是迁移任务A：CFM56-5B2/3→CFM56-7B26以及迁移任务B：CFM56-7B26→CFM56-5B2/3。
迁移任务A(CFM56-5B2/3→CFM56-7B26)表示：首先通过从已收集到的CFM56-5B2型号民航发动机的有标签数据进行有监督训练，并同时辅助CFM56-7B26型号民航发动机上获取的小批量数据进行领域自适应的知识迁移。迁移任务B(CFM56-7B26→CFM56-5B2/3)则是将迁移任务CFM56-5B2/3→CFM56-7B26中的源域数据集以及目标域数据集互换并重新进行迁移实验，进而验证模型的有效性。两组迁移学习实验的部分数据及数据集分配比例如表3-1及表3-2所示。
如表3-1所示，本实施例所用CFM56-5B2/3以及CFM56-7B26两台不同型号的民航发动机历史巡航数据同样需要消除参数之间的量纲影响，因此需要对其进行标准化预处理，采用Z-score标准化预处理方法，以便样本参数之间具有可比性，并且能够提高网络训练速率，其转换公式如式(2-9)所示。
表3-1两台不同型号发动机部分数据
Figure BDA0002495841130000131
表3-2两组不同迁移学习任务的数据集分配
Figure BDA0002495841130000132
气路参数偏差值回归模型的输入与输出的对应关系，如公式(3-13)所示。
Figure BDA0002495841130000133
式中：
ID-[·]——代表各气路参数偏差值对应的输入；
OD-——代表各气路参数偏差值的输出；
xi——代表第i个飞行参数的测量值。
优化方法采用随机梯度下降算法SGD，定义θf，θd，θreg分别是特征提取器，域分类器以及最终回归器的优化参数，可将公式(3-12)改写成公式(3-14)。
Figure BDA0002495841130000134
基于随机梯度下降算法SGD及公式(3-14)，参数θf，θd，θreg更新过程可写成公式(3-15)。
Figure BDA0002495841130000141
式中：α——代表神经网络学习率，可通过公式(3-16)进行自调整。
Figure BDA0002495841130000142
式中：
epoch、epochs——分别代表网络已完成训练次数以及设定需完成的训练次数；
α0、β、δ——分别代表常数，此处取0.01，0.75以及10；
t——代表网络训练进度，从0至1线性变化。
公式(3-13)中的超参数λ及μ的自调节过程与学习率的自调整过程相似，该方法使得域混淆层及域适配层在训练过程的早期阶段对噪声信号的敏感度较低，其自调整公式如公式(3-17)所示。
Figure BDA0002495841130000143
式中：γ——代表常数，此处取为10。
本模型优化器采用SGD，模型训练批量大小(Batch-size)设置为100，迭代次数(Epochs)设置为1000，动量比(Momentum)设置为0.9，激活函数采用SELU，初始权重和偏置均为默认值。本实施例中，特征提取模块采用三个Res-BP残差学习模块堆叠构成，深度领域自适应模块采用三层MK-MMD领域适配层以及一层域混淆层构成，进而充分挖掘源域与目标域之间域不变特征。
为了进一步证明实施例一所提出的基于Res-BPNN的深度领域自适应回归模型的有效性，采用九种不同迁移学***衡分布自适应(Balanced Distribution Adaptation，BDA)、深度领域混淆网络(DeepDomain Confusion，DDC)、深度适配网络(Deep Adaptation Networks，DAN)、域对抗神经网络(Domain-Adversarial Neural Network，DANN)以及本申请实施例一所提出方法(无监督)均为无监督迁移学习算法。考虑到目前民航公司引入新型号民航发动机的实际情况，为充分利用现有小批量有标签目标域数据集资源，可将其回归误差融入最终优化目标中，并与Res-BPNN模型、层迁移微调(Fine-tuning)等有监督迁移学习进行实验对比。
表3-3迁移学习方法
Figure BDA0002495841130000151
a.最终优化目标中未引入目标域数据,b.最终优化目标中引入了目标域数据.
分别采用上述几种有监督及无监督学习方法分别建立DEGT、DFF以及DN2三个关键气路参数偏差值回归模型进行实验验证，并与OEM提供的气路参数偏差值进行比较，迁移任务A与迁移任务B的性能对比结果分别见表3-4～表3-6及表3-7～表3-9所示。
表3-4迁移任务A的DEGT回归效果对比
Figure BDA0002495841130000161
表3-5迁移任务A的DFF回归效果对比
Figure BDA0002495841130000162
表3-6迁移任务A的DN2回归效果对比
Figure BDA0002495841130000163
表3-7迁移任务B的DEGT回归效果对比
Figure BDA0002495841130000171
表3-8迁移任务B的DFF回归效果对比
Figure BDA0002495841130000172
表3-9迁移任务B的DN2回归效果对比
Figure BDA0002495841130000173
如表3-4～表3-9所示，本申请所提出的基于Res-BPNN的深度领域自适应回归模型在迁移任务A与迁移任务B中预测三个关键性能偏差值DEGT、DFF和DN2时得到的拟合结果在所有方法中最为突出。
(1)通过分析比较TCA、JDA和BDA以及DDC、DAN、DANN和提出方法(无监督)两组无监督算法的实验结果来看，可以发现第二组实验结果相比于第一组的迁移效果更优。第一组的三种迁移算法由于在特征降维过程中需要选取前m个特征值，中间过程中会丢失飞行参数之间有用信息，导致迁移效果变差。而第二组的四种迁移算法均采用深层网络提取深度特征，因此能够更好的表征气路参数与其偏差值之间的精确映射关系，充分减少领域之间差异性。
(2)通过分析比较四种无监督算法DDC、DAN、DANN以及提出算法(无监督)，可以发现本申请所提出的基于Res-BPNN的深度自适应回归模型的回归效果最优。DDC通过在Res-BPNN回归模型架构中引入了一层MMD域适配层，进而学习域不变特征。DAN在DDC的基础之上，通过引入三层MK-MMD域适配层，在不增加网络额外训练时间上，能够更好地学习域不变特征。DANN通过在Res-BPNN回归模型架构中引入了对抗思想，能够深度提取源域与目标域之间的共性特征。而本申请所提出的方法，通过结合DANN以及DAN的优势，在对抗机制的基础之上，额外引入三层MK-MMD域适配层，能更有效地减少领域之间特征分布的差异性。
(3)通过分析比较三种有监督学习算法Res-BPNN回归模型、层迁移微调和提出方法(有监督)，发现本申请所提出的基于Res-BPNN的深度自适应回归模型的回归效果同样最优。由于新型号航空发动机有标签样本少，直接采用Res-BPNN回归模型进行训练，必然会导致深层网络训练效果差，出现模型过拟合、回归精度差的问题。采用层迁移微调方法，通过预训练源域回归模型，并冻结前n层网络参数权值，采用小批量有标签目标域数据微调后几层参数，学习高阶特征，实现偏差值回归模型建立。而本申请基于Res-BPNN的深度领域自适应回归模型框架，通过在最终优化目标中引入并调节目标域小批量有标签数据集回归损失，将无监督学习问题转化为有监督学习问题，充分挖掘源域与目标域之间的域不变特征，进一步缩小领域特征分布差异，迁移效果得到显著提升。
为直观体现本申请所提出的基于Res-BPNN的深度领域自适应回归模型的优越性，以下通过选取迁移任务A中DEGT的回归实验结果进行说明，MK-MMD以及训练损失随迭代次数的变化如图4所示。由于无监督对比实验方法较多，为清晰体现本申请所提出方法(无监督)的拟合结果，此处仅绘制50个测试点，如图5所示。有监督对比实验结果绘制100个测试点，如图6所示。
从图4可以看出，随着网络迭代次数的不断增大，MK-MMD分布差异度量值及网络训练损失值逐渐降低，并在一定程度上趋于收敛。从图5与图6也可以明显看出，本申请所提出的基于Res-BPNN的深度领域自适应回归模型在无监督学习算法或者有监督学习算法中，都能够获得较好的回归效果，进而证明了本申请所提方法的有效性。
综上，本发明提供了跨工况、跨机型下建立民航发动机气路参数偏差值回归模型。针对民航发动机气路参数与其偏差值之间的实际映射关系，通过N个Res-BP残差学习模块进行气路状态特征提取，采用多个MK-MMD域适配层以及域混淆层深度挖掘源域与目标域之间的共性特征，最后实现偏差值回归，构成基于Res-BPNN的深度领域自适应回归模型。考虑到民航公司引入新机型的实际情况，为充分利用目标域小批量有标签数据资源，在回归模型的最终优化目标中引入目标域的回归损失。为了验证本模型的有效性，将回归模型是否引入有标签目标域数据，划分为有监督及无监督两种方法，并与其他算法进行实验对比。结果表明，采用域适配与域混淆联合优化的方法，能够更充分挖掘源域与目标域之间的域不变特征，进一步缩小领域特征分布差异，提高回归效果。
本发明所采用的方法步骤中，明确了处理的数据均为航空发动机ACARS数据以及各步骤如何处理ACARS数据，体现出深度领域自适应回归模型训练方法与航空发动机ACARS数据处理密切相关。本发明提出的解决方案所解决的是航空发动机健康管理领域中的领域自适应问题，即如何将不同机型下已学习到的飞行参数间的关联知识进行相互迁移，实现跨工况、跨机型下建立气路参数偏差值模型，进而获取发动机监控自主性的技术问题，采用了通过N个Res-BP残差学习模块进行气路状态特征提取、采用多个MK-MMD域适配层以及域混淆层深度挖掘源域与目标域之间的共性特征，最后实现偏差值回归的技术手段，利用的是遵循自然规律的技术手段，能够更充分挖掘源域与目标域民航发动机之间的域不变特征，进一步缩小领域特征分布差异，实现跨工况、跨机型下气路参数偏差值的获取方法，相比传统建模方法，回归效果得到显著提高。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种实现小样本条件下获取气路参数偏差值的方法，其特征在于包括：
步骤1收集源域及目标域航空发动机ACARS数据，构建发动机样本数据集，并将所述发动机样本数据集划分为训练集和测试集；
步骤2对所述源域与目标域发动机的训练集与测试集的数据进行归一化预处理；
步骤3构建深度领域自适应气路参数偏差值回归模型，深度领域自适应气路参数偏差值回归模型由特征提取模块、领域自适应模块以及回归模块三部分组成；
步骤4利用目标域发动机及源域发动机训练集训练上述深度领域自适应气路参数偏差值回归模型；
步骤5利用训练好的所述深度领域自适应气路参数偏差值回归模型对所述目标域发动机测试集提取到的发动机样本进行测试；
步骤6分析所述深度领域自适应气路参数偏差值回归模型的回归效果，并进行评价，若精度满足要求，则保存当前的深度领域自适应气路参数偏差值回归模型，若不合格则返回步骤1；
步骤7获取小样本新机型航空发动机ACARS数据，利用保存的气路参数偏差值回归模型获取气路参数偏差值，得到回归结果。
2.根据权利要求1所述的方法，其特征在于包括：
步骤2中采用Z-score归一化预处理。
3.根据权利要求1所述的方法，其特征在于包括：
步骤3具体包括：
步骤3.1通过堆叠多层Res-BP残差学习模块，构建气路高阶特征提取模块，模型架构及超参数参考大样本条件下建立的气路参数偏差值回归模型；
步骤3.2构建深度领域自适应模块，堆叠多层多核均值差异适配层度量源域与目标域发动机之间分布差异性；
步骤3.3构建气路参数偏差值回归模块，在深度领域自适应模块后连接回归模块，实现气路参数偏差值回归。
4.根据权利要求3所述的方法，其特征在于包括：
步骤3.2中，引入领域对抗值，通过在多层多核均值差异适配层后连接领域判别器以及梯度反转层以实现域混淆最大化。
5.根据权利要求3所述的方法，其特征在于包括：
所述特征提取模块通过堆叠三个Res-BP残差学习块实现气路状态特征提取，特征提取模块共十层，包括一个输入层；
每个Res-BP残差学习块主要由三个全连接层和一个残差恒等捷径组成；
各全连接层的输出首先采用批量正则化，然后通过SELU激活函数对每个神经元进行激活。
6.根据权利要求3所述的方法，其特征在于包括：
所述深度领域自适应模块由一个域混淆层和三个MK-MMD域适配层组成；
三层MK-MMD域适配层与特征提取模块连接，利用MK-MMD度量源域与目标域中已提取的高阶特征分布的差异；
域混淆层与MK-MMD域适配层连接，包括一个二元领域分类器，其输出即领域标签值。
7.根据权利要求3所述的方法，其特征在于包括：
所述回归模块与域混淆层连接，实现提取的域不变特征与其对应气路参数偏差值之间的映射，最终实现偏差值挖掘。
8.根据权利要求1-7之一所述的方法，其特征在于：
所述深度领域自适应气路参数偏差值回归模型有以下最优化目标：最小化源域数据集及目标域数据集上的气路参数偏差值回归误差。
9.根据权利要求1-7之一所述的方法，其特征在于：
所述深度领域自适应气路参数偏差值回归模型有以下最优化目标：最小化源域与目标域之间的分布差异。
10.根据权利要求1-7之一所述的方法，其特征在于：
所述深度领域自适应气路参数偏差值回归模型有以下最优化目标：最大化源域与目标域上的域混淆损失。
CN202010418279.0A 2020-05-18 2020-05-18 一种实现小样本条件下获取气路参数偏差值的方法 Active CN111597760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010418279.0A CN111597760B (zh) 2020-05-18 2020-05-18 一种实现小样本条件下获取气路参数偏差值的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010418279.0A CN111597760B (zh) 2020-05-18 2020-05-18 一种实现小样本条件下获取气路参数偏差值的方法

Publications (2)

Publication Number Publication Date
CN111597760A true CN111597760A (zh) 2020-08-28
CN111597760B CN111597760B (zh) 2022-07-22

Family

ID=72191345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010418279.0A Active CN111597760B (zh) 2020-05-18 2020-05-18 一种实现小样本条件下获取气路参数偏差值的方法

Country Status (1)

Country Link
CN (1) CN111597760B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183626A (zh) * 2020-09-28 2021-01-05 上海明略人工智能(集团)有限公司 一种电网稳定性判别方法、***及计算机设备
CN112989712A (zh) * 2021-04-27 2021-06-18 浙大城市学院 一种基于5g边缘计算和深度学习的航空发动机故障诊断方法
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113506253A (zh) * 2021-06-30 2021-10-15 东北石油大学 一种基于多层多核学习与区域合并的砂岩孔隙检测方法
CN116128049A (zh) * 2023-04-04 2023-05-16 厦门大学 一种基于XGBoost模型的水质预测模型迁移条件选择方法
CN117034732A (zh) * 2023-04-14 2023-11-10 北京百度网讯科技有限公司 基于真实与仿真对抗学习的自动驾驶模型训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN110909783A (zh) * 2019-11-15 2020-03-24 重庆邮电大学 一种基于增强重建分类网络的盲领域图像分类与重建方法
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN110909783A (zh) * 2019-11-15 2020-03-24 重庆邮电大学 一种基于增强重建分类网络的盲领域图像分类与重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AI那点小事: "【深度域适配】一、DANN与梯度反转层（GRL）详解", 《腾讯云社区》 *
XINGJIE ZHOU .ETC: "Regression Model for Civil Aero-engine Gas Path Parameter Deviations Based on Res-BP Neural Network", 《2019 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL (SDPC)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183626A (zh) * 2020-09-28 2021-01-05 上海明略人工智能(集团)有限公司 一种电网稳定性判别方法、***及计算机设备
CN113420775A (zh) * 2021-03-31 2021-09-21 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN113420775B (zh) * 2021-03-31 2024-03-29 中国矿业大学 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN112989712A (zh) * 2021-04-27 2021-06-18 浙大城市学院 一种基于5g边缘计算和深度学习的航空发动机故障诊断方法
CN113506253A (zh) * 2021-06-30 2021-10-15 东北石油大学 一种基于多层多核学习与区域合并的砂岩孔隙检测方法
CN116128049A (zh) * 2023-04-04 2023-05-16 厦门大学 一种基于XGBoost模型的水质预测模型迁移条件选择方法
CN116128049B (zh) * 2023-04-04 2023-06-30 厦门大学 一种基于XGBoost模型的水质预测模型迁移条件选择方法
CN117034732A (zh) * 2023-04-14 2023-11-10 北京百度网讯科技有限公司 基于真实与仿真对抗学习的自动驾驶模型训练方法

Also Published As

Publication number Publication date
CN111597760B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN111597760B (zh) 一种实现小样本条件下获取气路参数偏差值的方法
CN112784881B (zh) 网络异常流量检测方法、模型及***
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN108664690A (zh) 基于深度信念网络的多应力下长寿命电子器件可靠性寿命评估方法
Chen et al. Aero-engine remaining useful life prediction method with self-adaptive multimodal data fusion and cluster-ensemble transfer regression
CN110082738B (zh) 基于高斯混合和张量循环神经网络的雷达目标识别方法
CN111914094A (zh) 一种基于三元交互的知识图谱表示学习方法
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN116316591A (zh) 基于混合双向门控循环的短期光伏功率预测方法及***
Sun et al. Ensemble learning and SMOTE based fault diagnosis system in self-organizing cellular networks
Wang et al. A remaining useful life prediction model based on hybrid long-short sequences for engines
CN111340069A (zh) 基于交替学习的不完整数据精细建模及缺失值填补方法
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
Voronov et al. Lead-acid battery maintenance using multilayer perceptron models
CN115375038A (zh) 一种飞机发动机失效模式识别和寿命预测方法
CN113887807B (zh) 基于机器学习和证据理论的机器人博弈战术预测方法
CN112613227B (zh) 基于混合机器学习的航空发动机剩余使用寿命预测模型
CN112949524B (zh) 一种基于经验模态分解与多核学习的发动机故障检测方法
Sun et al. Short-Term Exhaust Gas Temperature Trend Prediction of a Marine Diesel Engine Based on an Improved Slime Mold Algorithm-Optimized Bidirectional Long Short-Term Memory—Temporal Pattern Attention Ensemble Model
Feng et al. Dme: an adaptive and just-in-time weighted ensemble learning method for classifying block-based concept drift steam
CN114118151A (zh) 一种具有环境适应能力的智能频谱感知方法
CN111339646A (zh) 一种用于全自动控制的温度数据增强方法
CN118070689B (zh) 基于模型与数据混合驱动的无人艇集群博弈算法效能评估方法及***
Wang et al. Instrument Fault Diagnosis Method based on Machine Learning
CN117788031A (zh) 一种电网设备故障成本分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant