CN116306289B - 一种基于多源域自适应的机电设备跨域剩余寿命预测方法 - Google Patents

一种基于多源域自适应的机电设备跨域剩余寿命预测方法 Download PDF

Info

Publication number
CN116306289B
CN116306289B CN202310278049.2A CN202310278049A CN116306289B CN 116306289 B CN116306289 B CN 116306289B CN 202310278049 A CN202310278049 A CN 202310278049A CN 116306289 B CN116306289 B CN 116306289B
Authority
CN
China
Prior art keywords
domain
source
specific
residual life
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310278049.2A
Other languages
English (en)
Other versions
CN116306289A (zh
Inventor
宋磊
杜俊蓉
桂轩昂
张陈晨
高颂
张健
郭丽丽
李绪志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology and Engineering Center for Space Utilization of CAS
Original Assignee
Technology and Engineering Center for Space Utilization of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology and Engineering Center for Space Utilization of CAS filed Critical Technology and Engineering Center for Space Utilization of CAS
Priority to CN202310278049.2A priority Critical patent/CN116306289B/zh
Publication of CN116306289A publication Critical patent/CN116306289A/zh
Application granted granted Critical
Publication of CN116306289B publication Critical patent/CN116306289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/08Probabilistic or stochastic CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/10Numerical modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04Ageing analysis or optimisation against ageing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于多源域自适应的机电设备跨域剩余寿命预测方法,包括以下步骤:构建跨域剩余寿命预测模型,包括公共特征提取器、域特定特征提取器和域特定预测器;获取训练数据集;采用训练数据集,对跨域剩余寿命预测模型进行训练。本发明能够全面有效的提取和利用多源域特征对目标域进行知识迁移。同时提出两阶段预测框架完成特定域分布对齐和特定域回归预测对齐。在第一个阶段进行特征提取,对每对源域和目标域在不同的特征空间进行公共信息和时序特征的对齐。在第二阶段利用每对域不变特征输入到域特定预测器进行RUL预测,对齐回归预测器的输出,因此,本发明能够更为准确的实现对目标域剩余寿命的预测。

Description

一种基于多源域自适应的机电设备跨域剩余寿命预测方法
技术领域
本发明属于机电设备状态监测和健康管理技术领域,具体涉及一种基于多源域自适应的机电设备跨域剩余寿命预测方法。
背景技术
近些年,航空航天、高速轨道交通、重型机械等行业迈入高速发展阶段,涉及的机电设备复杂化和机械化程度日益升高,保障其运行期间的安全性和可靠性成为一个重要问题。机电设备故障预测和健康管理(Prognostics and Health Management,PHM)旨在通过数据监控和分析感知设备的运行状态,监控设备健康状况,进而预测设备可能出现的故障,及时安排预防性维修措施,避免严重故障或事故的发生。剩余寿命预测(Remaining usefullife prediction,RUL prediction)则是PHM任务的核心部分,其目的是根据当前监测数据和历史收集数据,估算机电设备的剩余使用寿命并制定预防性维修策略。
目前,主流的机电设备剩余寿命预测方法主要包括基于退化机理的剩余寿命预测方法、基于统计模型的剩余寿命预测方法和基于数据驱动的剩余寿命预测方法。(1)基于退化机理的剩余寿命预测方法:基于退化机理的剩余寿命预测方法,依据设备失效的物理原理构建表征退化的数学模型,模型参数通过特定实验或者有限元分析等技术获取。基于退化机理的方法在完全理解失效机理和有效估计模型参数的情况下,可以准确地估计设备的剩余寿命。然而,影响机电设备寿命退化的复杂力学或损伤物理特性难以全面理解,限制了该类方法的推广应用。(2)基于统计模型的剩余寿命预测方法:基于统计模型的剩余寿命预测方法,在先验退化模型的基础上,利用监测数据动态估计模型参数,描述设备的寿命退化过程,这些方法以概率统计理论为基础,在随机模型框架下以概率分布的形式给出剩余寿命分布的表达式。此类方法的预测效果通常受限于先验退化模型的选择,不恰当的先验退化模型会导致严重的预测偏差。(3)基于数据驱动的剩余寿命预测方法:随着以深度学习为代表的机器学习方法的飞速发展,基于数据驱动的剩余寿命预测方法因在深度特征提取和非线性建模方面的优势,在构建端到端的机电设备剩余寿命预测框架方面备受关注。该方法克服了预测模型对复杂失效机理和先验退化模型的依赖性,直接利用设备监测数据训练获得寿命退化模型,自动提取监测参量中的潜在退化特征刻画寿命退化规律,具有较好的灵活性和稳定性。
在基于数据驱动的剩余寿命预测方法中,需要利用设备运行到失效的数据作为训练数据,训练获得预测模型,然后将该预测模型用于目标数据集上实施剩余寿命预测。因此,基于数据驱动方法的使用效果取决于训练数据的质量。在实际使用中,由于机电设备类型、批次和工况等影响因素,机电设备监测数据分布特性呈现多样性,使得数据驱动方法实施过程中训练数据和测试数据存在数据分布差异,导致训练获得的预测模型精度和普适性严重下降,这种现象被称为“跨域现象”。
在这种背景下,以深度学习模型为基础的迁移学习方法应运而生,跨域条件下的剩余寿命预测成为数据驱动方法研究的焦点。
在跨域条件下的RUL预测问题中,源域和目标域数据分布不同且目标域无标签,通过提取源域和目标域公共特征来实现迁移。但在实际情况中,由于工况复杂,操作状态多变,在源域数据中也存在一定的数据分布差异,此时数据分布差异不但体现在源域和目标域之间,同时存在于源域内部。因此,在跨域条件下,如何准确进行RUL预测,是目前急需解决的问题。
发明内容
针对现有技术存在的缺陷,本发明提供一种基于多源域自适应的机电设备跨域剩余寿命预测方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种基于多源域自适应的机电设备跨域剩余寿命预测方法,包括以下步骤:
步骤1,构建跨域剩余寿命预测模型;所述跨域剩余寿命预测模型包括公共特征提取器、域特定特征提取器和域特定预测器;
其中,所述域特定特征提取器包括NS个并行不共享的域特定特征提取子网络Ed;所述域特定预测器包括NS个并行不共享的域特定预测子网络R;
所述公共特征提取器的输出端,分别与各个所述域特定特征提取子网络Ed的输入端连接;每个所述域特定特征提取子网络Ed的输出端连接到对应的一个所述域特定预测子网络R的输入端;
步骤2,获取训练数据集,所述训练数据集包括1个目标域和NS个源域;
步骤3,将目标域和NS个源域输入到步骤1构建的所述跨域剩余寿命预测模型,对所述跨域剩余寿命预测模型进行训练,得到训练完成的跨域剩余寿命预测模型,具体包括:
步骤3.1,所述目标域和NS个源域输入到所述公共特征提取器,所述公共特征提取器,分别对所述目标域和NS个源域进行高维潜在公共特征提取,得到与所述目标域对应的目标域高维特征矩阵,与每个源域对应的源域高维特征矩阵,由此得到1个目标域高维特征矩阵和NS个源域高维特征矩阵;
步骤3.2,所述目标域高维特征矩阵与每个源域高维特征矩阵组成源域-目标域特征矩阵对,由此共得到NS个源域-目标域特征矩阵对;
对于第j个源域-目标域特征矩阵对,其中,j=1,2,...,NS,均执行步骤3.2.1到步骤3.2.4;
步骤3.2.1,将第j个源域-目标域特征矩阵对,输入到第j个域特定特征提取子网络Edj,第j个域特定特征提取子网络Edj提取得到目标域的目标域时序特征矩阵,以及提取得到第j个源域的第j个源域时序特征矩阵;
步骤3.2.2,计算目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离作为mmd损失
步骤3.2.3,将目标域时序特征矩阵和第j个源域时序特征矩阵,输入到域特定预测器的第j个域特定预测子网络Rj,第j个域特定预测子网络Rj根据第j个源域时序特征矩阵和目标域时序特征矩阵,预测得到基于第j个源域的目标域剩余寿命预测值Rulj
计算基于第j个源域的目标域剩余寿命预测值Rulj和目标域剩余寿命真实寿命之间的偏差,作为预测Rulj损失
步骤3.2.4,由于共有NS个源域,因此,得到NS个分别与每个源域对应的目标域剩余寿命预测值,表示为:基于第1个源域的目标域剩余寿命预测值Rul1,基于第2个源域的目标域剩余寿命预测值Rul2,…,基于第NS个源域的目标域剩余寿命预测值
对NS个目标域剩余寿命预测值计算均方误差,作为差异损失
步骤3.3,采用下式,计算总损失
其中:α,β,γ分别是 和/>的惩罚系数;
通过最小化预测Rulj损失可以准确地对源域进行回归;
通过最小化mmd损失学习域变量表征,得到每个源域和目标域对的域特定不变特征,具体的,mmd损失/>最小化,用于拉近目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离,使目标域时序特征矩阵和第j个源域时序特征矩阵的数据分布更接近,用于实现第一阶段域特定分布对齐;
通过最小化差异损失进行第二阶段域特定预测对齐,减少各个域特定预测子网络输出之间的距离;
步骤3.4,因此,对于串联的公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj,均得到一个总损失以总损失/>最小化为优化目标,反馈调节公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络参数,实现对公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络训练,直到满足训练终止条件,得到训练完成的跨域剩余寿命预测模型;
步骤4,采用训练完成的跨域剩余寿命预测模型,对用于测试的目标域进行剩余寿命预测。
优选的,所述源域,为机电设备运行到失效时采集到的机电设备监测数据;所述目标域,为机电设备运行到故障时采集到的机电设备监测数据。
优选的,所述源域和所述目标域的数据分布不相同,各个所述源域之间的数据分布不相同。
优选的,所述源域,具有机电设备剩余寿命作为标签;所述目标域不具有机电设备剩余寿命标签。
优选的,所述公共特征提取器,为CNN公共特征提取器。
优选的,所述域特定特征提取器,为双向长短期记忆网络BiLSTM模型。
优选的,所述域特定预测器,为基于全连接模型的域特定预测器。
本发明提供的一种基于多源域自适应的机电设备跨域剩余寿命预测方法具有以下优点:
本发明提出一种多源无监督跨域适应剩余寿命预测方法,能够全面有效的提取和利用多源域特征对目标域进行知识迁移。同时提出了一个两阶段预测框架完成特定域分布对齐和特定域回归预测对齐。在第一个阶段进行特征提取,对每对源域和目标域在不同的特征空间进行公共信息和时序特征的对齐。在第二阶段利用每对域不变特征输入到域特定预测器进行RUL预测,对齐回归预测器的输出,因此,本发明能够更为准确的实现对目标域剩余寿命的预测。
附图说明
图1为本发明提供的基于多源域自适应的机电设备跨域剩余寿命预测方法的整体示意图;
图2为迁移学习基本原理示意图;
图3为窗口的定义示意图;
图4为一维CNN的结构示意图;
图5为RNN单元结构示意图;
图6为LSTM单元结构示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明解决了单一域无法提取更多相关信息的问题,同时提出了一个通用的多源域剩余寿命预测框架。本发明主要思路为:
(1)首先将时序数据进行窗口切分,同时构建CNN网络模型作为公共特征提取器,对输入的多个源域和目标域的时序窗口数据进行高维潜在公共特征提取,得到一个能够抽取多个域的公共特征的模型;
(2)然后,将经过公共特征提取器得到的每个源域和目标域对的高维潜在公共特征,输入到由NS个LSTM模型组成的域特定特征提取器,进行第一阶段对齐。第一阶段对齐通过对齐两域数据空间,每个LSTM模型可以得到每对源域和目标域的特定域空间下的特定域特征数据。
(3)最后,将得到的NS对特定域特征数据分别输入到由NS个全连接神经网络组成的域特定预测器,得到RUL预测值,与真实RUL值进行比较。然后,进行第二阶段对齐,将NS个RUL预测值对齐,缩小NS个RUL预测值的差距。
参考图1,本发明提供的基于多源域自适应的机电设备跨域剩余寿命预测方法,本发明的方法框架包括三个主要组成部分,分别为公共特征提取器,域特定特征提取器和域特定预测器。利用此框架完成两个阶段的数据对齐,分别为域特定分布对齐和域特定预测对齐。
具体包括以下步骤:
步骤1,构建跨域剩余寿命预测模型;所述跨域剩余寿命预测模型包括公共特征提取器、域特定特征提取器和域特定预测器;
其中,所述域特定特征提取器包括NS个并行不共享的域特定特征提取子网络Ed;所述域特定预测器包括NS个并行不共享的域特定预测子网络R;
作为一种具体方式,公共特征提取器,为CNN公共特征提取器。域特定特征提取器,为双向长短期记忆网络BiLSTM模型。域特定预测器,为基于全连接模型的域特定预测器。
所述公共特征提取器的输出端,分别与各个所述域特定特征提取子网络Ed的输入端连接;每个所述域特定特征提取子网络Ed的输出端连接到对应的一个所述域特定预测子网络R的输入端;
步骤2,获取训练数据集,所述训练数据集包括1个目标域和NS个源域;
如图2所示,为迁移学习基本原理图,用于对多个源域的相关特征来对目标域进行剩余寿命预测。
所述源域,为机电设备运行到失效时采集到的机电设备监测数据;所述目标域,为机电设备运行到故障时采集到的机电设备监测数据。
所述源域和所述目标域的数据分布不相同,各个所述源域之间的数据分布不相同。
所述源域,具有机电设备剩余寿命作为标签;所述目标域不具有机电设备剩余寿命标签。
步骤3,将目标域和NS个源域输入到步骤1构建的所述跨域剩余寿命预测模型,对所述跨域剩余寿命预测模型进行训练,得到训练完成的跨域剩余寿命预测模型,具体包括:
步骤3.1,所述目标域和NS个源域输入到所述公共特征提取器,所述公共特征提取器,分别对所述目标域和NS个源域进行高维潜在公共特征提取,得到与所述目标域对应的目标域高维特征矩阵,与每个源域对应的源域高维特征矩阵,由此得到1个目标域高维特征矩阵和NS个源域高维特征矩阵;
步骤3.2,所述目标域高维特征矩阵与每个源域高维特征矩阵组成源域-目标域特征矩阵对,由此共得到NS个源域-目标域特征矩阵对;
对于第j个源域-目标域特征矩阵对,其中,j=1,2,...,NS,均执行步骤3.2.1到步骤3.2.4;
步骤3.2.1,将第j个源域-目标域特征矩阵对,输入到第j个域特定特征提取子网络Edj,第j个域特定特征提取子网络Edj提取得到目标域的目标域时序特征矩阵,以及提取得到第j个源域的第j个源域时序特征矩阵;
步骤3.2.2,计算目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离作为mmd损失
步骤3.2.3,将目标域时序特征矩阵和第j个源域时序特征矩阵,输入到域特定预测器的第j个域特定预测子网络Rj,第j个域特定预测子网络Rj根据第j个源域时序特征矩阵和目标域时序特征矩阵,预测得到基于第j个源域的目标域剩余寿命预测值Rulj
计算基于第j个源域的目标域剩余寿命预测值Rulj和目标域剩余寿命真实寿命之间的偏差,作为预测Rulj损失
步骤3.2.4,由于共有NS个源域,因此,得到NS个分别与每个源域对应的目标域剩余寿命预测值,表示为:基于第1个源域的目标域剩余寿命预测值Rul1,基于第2个源域的目标域剩余寿命预测值Rul2,…,基于第NS个源域的目标域剩余寿命预测值RulNS,
对NS个目标域剩余寿命预测值计算均方误差,作为差异损失
步骤3.3,采用下式,计算总损失
其中:α,β,γ分别是 和/>的惩罚系数;
通过最小化预测Rulj损失可以准确地对源域进行回归;
通过最小化mmd损失学习域变量表征,得到每个源域和目标域对的域特定不变特征,具体的,mmd损失/>最小化,用于拉近目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离,使目标域时序特征矩阵和第j个源域时序特征矩阵的数据分布更接近,用于实现第一阶段域特定分布对齐;
通过最小化差异损失进行第二阶段域特定预测对齐,减少各个域特定预测子网络输出之间的距离;
步骤3.4,因此,对于串联的公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj,均得到一个总损失以总损失/>最小化为优化目标,反馈调节公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络参数,实现对公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络训练,直到满足训练终止条件,得到训练完成的跨域剩余寿命预测模型;
步骤4,采用训练完成的跨域剩余寿命预测模型,对用于测试的目标域进行剩余寿命预测。
下面介绍一个具体实施例:
步骤1,获取实验数据集
本实施例采用的数据集为NASA发布的商用模块化航空推进***仿真数据集(C-MAPSS数据集)中的涡扇发动机振动时域信号,即涡扇发动机退化仿真数据集。C-MAPSS数据集由四个在不同的操作条件和故障模式下子数据集组成,每个子数据集包含从21个传感器收集的涡扇发动机退化数据。
在训练集中,有多个航空发动机的运行到故障传感器记录,每个发动机都以不同程度的初始磨损和制造变化开始,这是未知的,初始状态被认为是健康的状态。随着工作循环的增加,发动机开始退化,直到出现故障。
在测试集中,发动机在每个时间序列开始时均正常运行,并在某个时间点出现故障。而在测试数据中,每台发动机的传感器记录表示为部分退化序列,并带有最后记录的预测标签。
为克服手工提取特征的缺点,避免主观经验依赖以及较弱的特征提取能力对预测模型训练的限制,选择采用基于CNN模型构建的公共特征提取器提取四个子数据集的特征矩阵,通过其强大的特征自学习能力从振动信号中挖掘出反映退化性能的特征,具体步骤包括:
(1)时序数据窗口切分
首先,在将C-MAPSS数据集中的时频信号输入公共特征提取器之前,需要进行窗口定义和切分的工作,将每个子数据集看作是一个数据域,具体设置为表示多个源域:其中,/>代表第j个源域的第i个训练实例,属于一个特征空间/>并与边际概率分布/>相匹配,/>代表第j个源域的样本集合和标签。/>是长度为Ti和fs特征的多维时间序列数据,即:/> 代表第t个时间步的变量的结果。/>是/>对应的RUL标签,/> 表示第t个时间步的RUL标签。ns,j表示第j个源域的训练实例的数量。Ns表示源域的数量。
对于第j个源域Ds,j,其数据为:具有ns,j个训练实例。对于第i个训练实例,具有多维时间序列形成的样本/>和RUL标签/>
对于第j个源域的第i个样本是Ti个振动信号/>的时间序列。
同样,目标域表示没有可用的标签,其中/>代表目标域的第i个训练实例。/>属于特征空间/>与边际概率分布/>匹配。/>代表目标域的样本。由于每个源域和目标域都是不同长度的多维时间序列数据,因此应用滑动窗口函数/>确保输入序列的长度相同,其中Tw是时间窗口的长度。例如,将大小为Ti的序列划分为大小为Tw的时间窗,在t个时间步长的输入数据的形式如公式(1)所示
每个原始时间序列有ni个训练样本ni=Ti-Tw,如果Ti<Tw,一些训练实例将被丢弃,最后和/>分别为变换后的样本数。同时,窗口每次滑动一个时间步长。窗口的定义如图3所示。
步骤2,利用CNN模型构建的公共特征提取器,提取目标域和源域的公共特征
将切片后的目标域和源域进行特征矩阵提取,得到源域和目标域的高维潜在公共特征表示矩阵。也就是说,将C-MAPSS数据集中的原始数据进行窗口切分之后,来自所有源域数据Xsj∈Ds,j和目标域数据Xt∈Dt被截取成具有相同长度Tw的数据ψTw(Xsj)和ψTw(Xt),需要利用公共特征提取器提取所有域公共特征表征,本实施例采用基于CNN的公共特征提取器。设计的公共特征提取器的一维CNN的结构如图4所示,由三个卷积层组成,分别为12、8和8个核大小为3,2,1的卷积层,在不同的卷积层间使用Batch Norm和整顿线性单元(ReLU)进行批归一化和激活。
具体就是将切分后的原始数据输入CNN子网络,将原始特征空间映射到公共特征空间,并得到对应的高维特征矩阵,表示如下:
其中:代表源域公共特征;/>代表目标域公共特征。
在此阶段,利用CNN网络强大的特征提取能力作为特征抽取器的基础框架,用来更好的挖掘数据的时序特征。总共会提取出Ns+1个公共特征矩阵,这些特征能够更好地反映出性能的退化趋势。
步骤3,域特定特征提取器进行域特定特征提取:
为了能够更好地学习每对源域和目标域的时序特征,并将不同的公共特征对映射到不同的特征子空间,本步骤将步骤2中基于CNN的公共特征提取器提取出来的每一个源域与目标域的公共特征矩阵进行特征配对,步骤2一共输出Ns对源域和目标域对,本步骤利用双向长短期记忆网络(BiLSTM)并行地提取每个源和目标域对的时序特征矩阵,同时采用MMD距离实现每一对源域和目标域学习领域不变的特征表示,以完成知识转移,拉近源域与目标域的距离,得到数据分布更接近的时序特征矩阵。具体步骤包括:
步骤3.1,利用LSTM模型构建的域特定特征提取器提取每一个源域和目标域对的域特定特征;
首先,将CNN输出的源域和目标域的特征矩阵输入到域特定特征提取器中,得到特定的时序特征矩阵。本实施例中,域特定特征提取器是一个子网络,可以并行地提取Ns对源和目标域对的时序特征矩阵。该结构由双向长短期记忆(BiLSTM)组成,因此域特定特征提取器专注于更好地学习每对源域和目标域的时间特征,并将不同的特征表示对映射到不同的特征子空间。LSTM是一种特殊的RNN,能够学习长期依赖性,非常适合基于时间序列数据进行分类,处理和预测,解决了传统RNN训练时遇到的梯度***和消失等问题。对于间隙长度的相对不敏感性是LSTM相对于RNN,隐马尔可夫模型和其他序列学习方法在许多应用中的优势。图5和图6分别表示RNN和LSTM的单元结构示意图。
LSTM通过门控状态来控制传输状态,记住需要长时间记忆的,忘记不重要的信息,LSTM网络是由一定数量的LSTM单元组成的。LSTM单元又由细胞状态,输入门,输出门和忘记门组成。其中的细胞状态可以在整个序列的处理过程中携带相关信息,三个门控制进出单元的信息流。
首先,遗忘门决定哪些信息应该被丢弃或保留。来自前一个隐藏状态的信息和来自当前输入的信息被传递到sigmoid函数中。遗忘门计算过程如公式(4)所示。
ft=σ(Wf·[ht-1,xt]+bf) (4)
Wf和bf是经过遗忘门的神经网络的权重和偏置,σ是激活函数,ht-1是之前的隐藏状态,xt是输入数据。
输入门是为了更新细胞的状态。首先,将之前的隐藏状态和当前的输入传给一个sigmoid函数来决定哪些值将被更新。输入门更新值的计算过程如公式(5)所示。
it=σ(Wi·[ht-1,xt]+ bi) (5)
Wi和bi是经过输入门的神经网络的权重和偏置,tanh是激活函数,ht-1是之前的隐藏状态,xt是输入数据。
现在有足够的信息来计算细胞的状态。首先,细胞状态被点乘以遗忘矢量。如果被乘以接近0的值,这就有可能在细胞状态中丢掉数值。然后从输入门的输出做一个点加法,将细胞状态更新为神经网络认为相关的新值。这样就得到了新的细胞格状态。细胞状态更新值的计算过程如公式(6)所示.
WC和bC是经过细胞状态的神经网络的权重和偏置,tanh是激活函数,ht-1是之前的隐藏状态,xt是输入数据.
输出门决定下一个隐藏状态应该是什么。隐藏状态既包含了以前输入的信息也被用于预测。首先,将之前的隐藏状态和当前的输入传给一个sigmoid函数。然后把新修改的单元格状态传给tanh函数。再将输出与sigmoid输出相乘输出得到隐藏状态。新的单元格状态和新的隐藏状态被带到下一个时间步骤中。输出门计算公式,隐节点的输出公式andLSTM单元的输出公式如公式(7-9)所示
ot=σ(Wo·[ht-1,xt]+bo) (7)
ht=ot*tanh(Ct) (8)
Wo和bo是经过输出门的神经网络的权重和偏置,tanh是激活函数,ht-1是之前的隐藏状态,xt是输入数据。
本发明中的两阶段对齐框架中的LSTM子网络50个隐藏神经元作为LSTM网络的构成参数,LSTM网络比简单的循环架构更易于学习长期依赖,与传统RNN相比,能够深度提取复杂时序特征,从而进行准确RUL预测。
双向LSTM则是由前向LSTM和后向LSTM的组合组成,本发明中的两阶段对齐框架中的LSTM子网络50个隐藏神经元作为LSTM网络的构成参数,LSTM网络比简单的循环架构更易于学习长期依赖,与传统RNN相比,能够深度提取复杂时序特征,从而进行准确RUL预测。
因此,从步骤2中得到的每对源域和目标域的域特定特征在经过域特定特征提取器之后可以表示如下:
步骤3.2,MMD距离实现特定域分布对齐
在得到每一个源域和目标域对之后,为了更好地利用源域信息,解决数据域分布存在的差异,此时需要进行特定领域的分布对齐,也就是输出数据分布更加接近的源域与目标域的时序特征矩阵。采用的策略就是将每对域映射到不同的特征空间,找到与特定域分布相匹配的特定域不变特征。本发明中,最大平均差值(Maximum Mean Discrepancy,MMD)被选择作为域间距离的衡量指标。MMD可以进行统计学中的双样本检验,用来决定接受还是拒绝两个概率分布相等的假设。MMD的核心思想是,如果两个数据产生的分布是相同的,那么所有的统计数据也是一致的。两个领域概率分布的MMD表示如下:
其中是被赋予特征核k的再现核希尔伯特空间。
映射函数φ(·)定义了从原始数据到RKHS的映射,内核函数被定义为映射的内积,表示如下:
是/>的无偏估计。
多核MMD通过将内核k变成一组不同内核函数的组合来达到更好的效果,表示如下:
多核MMD将核k视为一系列半正定的核{ku}的线性组合,βu代表权重。而在本发明研究中,使用了五个高斯核的混合物,带宽参数为k=[1,2,4,8,16]。
下面公式(15)用来计算源域和目标域之间的距离。
通过最小化mmd损失,每个特定领域的特征提取器可以为每一对源域和目标域学习领域不变的特征表示,以完成知识转移。
步骤4,域特定预测器进行剩余寿命预测
在得到了每一个源域目标域对拉近的特征矩阵后,最后一个步骤就是将特征矩阵输入到对应域特定预测器进行预测,域特定预测器的每个域特定预测子网络都会输出一个剩余寿命预测结果,将所得到的剩余寿命预测结果求均值即可得到最终的剩余寿命预测结果,具体所包含的内容如下:
(1)基于全连接模型的域特定预测器
在步骤2中得到的特征矩阵将被输入到域特定预测器中进行训练,并输出对应的RUL值。本发明中,域特定预测器包括NS个特定的全连接子网络,每个子网络只接受一对特定的源域和目标域且不与其他子网络共享权重。对于每个特定的子网络,分别有一个特定域的预测器进行回归RUL。
域特定预测器是用来预测RUL数值的Ns个多输出不共享子网络,每个子网络是一个全连接的回归预测器,表示为Rj,对经过两个提取器得到的特定域不变特征进行回归,当j=k时,第k个源域预测RUL值表示如下:
对于每个预测器Rj,采用下式作为回归的loss函数,如下所示:
本发明中的两阶段对齐框架中的全连接子网络有两层,分别有100个和50个神经元。RUL预测结果将被计算为基于多个源域训练的预测器的平均值,其可描述如下:
(2)基于MSE的特定域预测对齐
不同的域特定预测器接收来自不同的源域和目标域对的高维特征,然后将输出不同的RUL预测结果。理论上,目标域数据经过各不同域特定预测器的输出都应该相同,同时趋于目标域上真实的RUL值。所以在进行各特定领域对齐后,为了使各个不同的特定域预测器回归结果更加接近,最小化所有域特定预测器之间的距离,需要进行第二阶段的对齐。在本发明中,利用所有域特定预测器对目标领域数据的概率输出之间的均方误差作为差异损失。
目前大多数多源预测的问题都是解决分类问题,考虑了在决策边界附近的样本更可能被错分的问题。在回归问题中,考虑缩小预测结果之间的差异,通过最小化方程,实现所有域特定预测器的概率输出更加接近。最后,通过平均所有域特定预测器的输出,得到目标样本的RUL。
总的来说,本发明方法的损失由三部分组成,预测RUL损失mmd损失/>和差异损失/>通过最小化预测RUL损失,网络可以准确地对源域数据进行回归;通过最小化mmd损失来学习域变量表征,得到每个源域和目标域对的域特定不变特征;通过最小化差异损失来减少预测器输出之间的距离。通过整合(15),(17)和(19)中的损失函数,一般优化目标/>可以被表述为:
其中α,β,γ分别是和/>的惩罚系数。
在域适应的剩余寿命预测方法中,现有的方法只利用一个源域。但是实际中,通常有多个与目标域相似运行条件的源域。直观地,多元化的源域会带来更丰富的信息,能够增强模型的泛化能力。但是多源域RUL预测通常有以下问题:难以提取多个源域和目标域的共同特征,并且没有目标域的运行至故障数据可供训练使用。因此,本发明中提出并解决了利用多个源域进行RUL预测的挑战。通过建立两阶段框架,包括域特定特征提取阶段和域特定RUL预测阶段。在第一阶段,能够提取多组源域和目标域对的公共特征,得到多角度目标域相关信息。第二阶段,综合多个源域预测结果进行剩余有用寿命估计。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明提出一种多源无监督跨域适应剩余寿命预测方法,能够全面有效的提取和利用多源域特征对目标域进行知识迁移。同时提出了一个两阶段预测框架完成特定域分布对齐和特定域回归预测对齐。在第一个阶段进行特征提取,对每对源域和目标域在不同的特征空间进行公共信息和时序特征的对齐。在第二阶段利用每对域不变特征输入到域特定预测器进行RUL预测,对齐回归预测器的输出,因此,本发明能够更为准确的实现对目标域剩余寿命的预测。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,包括以下步骤:
步骤1,构建跨域剩余寿命预测模型;所述跨域剩余寿命预测模型包括公共特征提取器、域特定特征提取器和域特定预测器;
其中,所述域特定特征提取器包括NS个并行不共享的域特定特征提取子网络Ed;所述域特定预测器包括NS个并行不共享的域特定预测子网络R;
所述公共特征提取器的输出端,分别与各个所述域特定特征提取子网络Ed的输入端连接;每个所述域特定特征提取子网络Ed的输出端连接到对应的一个所述域特定预测子网络R的输入端;
步骤2,获取训练数据集,所述训练数据集包括1个目标域和NS个源域;所述源域,为机电设备运行到失效时采集到的机电设备监测数据;所述目标域,为机电设备运行到故障时采集到的机电设备监测数据;
步骤3,将目标域和NS个源域输入到步骤1构建的所述跨域剩余寿命预测模型,对所述跨域剩余寿命预测模型进行训练,得到训练完成的跨域剩余寿命预测模型,具体包括:
步骤3.1,所述目标域和NS个源域输入到所述公共特征提取器,所述公共特征提取器,分别对所述目标域和NS个源域进行高维潜在公共特征提取,得到与所述目标域对应的目标域高维特征矩阵,与每个源域对应的源域高维特征矩阵,由此得到1个目标域高维特征矩阵和NS个源域高维特征矩阵;
步骤3.2,所述目标域高维特征矩阵与每个源域高维特征矩阵组成源域-目标域特征矩阵对,由此共得到NS个源域-目标域特征矩阵对;
对于第j个源域-目标域特征矩阵对,其中,j=1,2,...,NS,均执行步骤3.2.1到步骤3.2.4;
步骤3.2.1,将第j个源域-目标域特征矩阵对,输入到第j个域特定特征提取子网络Edj,第j个域特定特征提取子网络Edj提取得到目标域的目标域时序特征矩阵,以及提取得到第j个源域的第j个源域时序特征矩阵;
步骤3.2.2,计算目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离作为mmd损失
步骤3.2.3,将目标域时序特征矩阵和第j个源域时序特征矩阵,输入到域特定预测器的第j个域特定预测子网络Rj,第j个域特定预测子网络Rj根据第j个源域时序特征矩阵和目标域时序特征矩阵,预测得到基于第j个源域的目标域剩余寿命预测值Rulj
计算基于第j个源域的目标域剩余寿命预测值Rulj和目标域剩余寿命真实寿命之间的偏差,作为预测Rulj损失
步骤3.2.4,由于共有NS个源域,因此,得到NS个分别与每个源域对应的目标域剩余寿命预测值,表示为:基于第1个源域的目标域剩余寿命预测值Rul1,基于第2个源域的目标域剩余寿命预测值Rul2,…,基于第NS个源域的目标域剩余寿命预测值
对NS个目标域剩余寿命预测值计算均方误差,作为差异损失
步骤3.3,采用下式,计算总损失
其中:α,β,γ分别是和/>的惩罚系数;
通过最小化预测Rulj损失可以准确地对源域进行回归;
通过最小化mmd损失学习域变量表征,得到每个源域和目标域对的域特定不变特征,具体的,mmd损失/>最小化,用于拉近目标域时序特征矩阵和第j个源域时序特征矩阵之间的距离,使目标域时序特征矩阵和第j个源域时序特征矩阵的数据分布更接近,用于实现第一阶段域特定分布对齐;
通过最小化差异损失进行第二阶段域特定预测对齐,减少各个域特定预测子网络输出之间的距离;
步骤3.4,因此,对于串联的公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj,均得到一个总损失以总损失/>最小化为优化目标,反馈调节公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络参数,实现对公共特征提取器、第j个域特定特征提取子网络Edj和第j个域特定预测子网络Rj的网络训练,直到满足训练终止条件,得到训练完成的跨域剩余寿命预测模型;
步骤4,采用训练完成的跨域剩余寿命预测模型,对用于测试的目标域进行剩余寿命预测。
2.根据权利要求1所述的一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,所述源域和所述目标域的数据分布不相同,各个所述源域之间的数据分布不相同。
3.根据权利要求1所述的一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,所述源域,具有机电设备剩余寿命作为标签;所述目标域不具有机电设备剩余寿命标签。
4.根据权利要求1所述的一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,所述公共特征提取器,为CNN公共特征提取器。
5.根据权利要求1所述的一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,所述域特定特征提取器,为双向长短期记忆网络BiLSTM模型。
6.根据权利要求1所述的一种基于多源域自适应的机电设备跨域剩余寿命预测方法,其特征在于,所述域特定预测器,为基于全连接模型的域特定预测器。
CN202310278049.2A 2023-03-21 2023-03-21 一种基于多源域自适应的机电设备跨域剩余寿命预测方法 Active CN116306289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310278049.2A CN116306289B (zh) 2023-03-21 2023-03-21 一种基于多源域自适应的机电设备跨域剩余寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310278049.2A CN116306289B (zh) 2023-03-21 2023-03-21 一种基于多源域自适应的机电设备跨域剩余寿命预测方法

Publications (2)

Publication Number Publication Date
CN116306289A CN116306289A (zh) 2023-06-23
CN116306289B true CN116306289B (zh) 2023-10-03

Family

ID=86818343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310278049.2A Active CN116306289B (zh) 2023-03-21 2023-03-21 一种基于多源域自适应的机电设备跨域剩余寿命预测方法

Country Status (1)

Country Link
CN (1) CN116306289B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252083A (zh) * 2023-07-12 2023-12-19 中国科学院空间应用工程与技术中心 一种结合退化阶段划分和子域自适应的轴承剩余寿命预测方法及***
CN116579505B (zh) * 2023-07-12 2023-10-13 中国科学院空间应用工程与技术中心 一种无全寿命周期样本的机电设备跨域剩余寿命预测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643335A (zh) * 2016-08-31 2019-04-16 3M创新有限公司 用于建模、分析、检测和监测流体网络的***和方法
CN112241608A (zh) * 2020-10-13 2021-01-19 国网湖北省电力有限公司电力科学研究院 一种基于lstm网络和迁移学习的锂电池寿命预测方法
CN113221277A (zh) * 2021-05-14 2021-08-06 西安交通大学 一种基于数字孪生模型的轴承性能退化评估方法及***
CN114091349A (zh) * 2021-11-30 2022-02-25 东南大学 一种基于多源领域自适应的滚动轴承寿命预测方法
CN114398825A (zh) * 2021-12-30 2022-04-26 燕山大学 预测面向复杂多变工况的切削刀具剩余寿命的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555273B (zh) * 2019-09-05 2023-03-24 苏州大学 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643335A (zh) * 2016-08-31 2019-04-16 3M创新有限公司 用于建模、分析、检测和监测流体网络的***和方法
CN112241608A (zh) * 2020-10-13 2021-01-19 国网湖北省电力有限公司电力科学研究院 一种基于lstm网络和迁移学习的锂电池寿命预测方法
CN113221277A (zh) * 2021-05-14 2021-08-06 西安交通大学 一种基于数字孪生模型的轴承性能退化评估方法及***
CN114091349A (zh) * 2021-11-30 2022-02-25 东南大学 一种基于多源领域自适应的滚动轴承寿命预测方法
CN114398825A (zh) * 2021-12-30 2022-04-26 燕山大学 预测面向复杂多变工况的切削刀具剩余寿命的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Junrong Du,Lei Song等."Remaining Useful Life Prediction Under Variable Operating Conditions Via Multisource Adversarial Domain Adaptation Networks".《SSRN》.2023,1-20. *
周建清 等."基于DTW相似度和Bi-LSTM的滚动轴承寿命预测".《机床与液压》.2022,第50卷(第22期),179-184. *

Also Published As

Publication number Publication date
CN116306289A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116306289B (zh) 一种基于多源域自适应的机电设备跨域剩余寿命预测方法
CN111539515B (zh) 一种基于故障预测的复杂装备维修决策方法
CN111340282B (zh) 基于da-tcn的设备剩余使用寿命的估计方法及***
CN110609524A (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN114266278B (zh) 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN112085161B (zh) 一种基于随机信息传递的图神经网络方法
KR102387663B1 (ko) 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법
CN112147432A (zh) 基于注意力机制的BiLSTM模块、变压器状态诊断方法和***
CN115204302A (zh) 一种无人机小样本故障诊断***及方法
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN116821783A (zh) 一种故障检测方法、***、设备及介质
CN114048546B (zh) 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
Zhiwei Bearing Fault Diagnosis of End‐to‐End Model Design Based on 1DCNN‐GRU Network
CN113469013B (zh) 一种基于迁移学习和时间序列的电机故障预测方法及***
Fu et al. MCA-DTCN: A novel dual-task temporal convolutional network with multi-channel attention for first prediction time detection and remaining useful life prediction
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
CN114169091A (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
Lang et al. Data augmentation for fault prediction of aircraft engine with generative adversarial networks
Voronov et al. Predictive maintenance of lead-acid batteries with sparse vehicle operational data
CN118134017A (zh) 一种采用脉冲神经网络预测社交网络链路的方法
Zhang et al. Recurrent neural network model with self-attention mechanism for fault detection and diagnosis
CN117591950A (zh) 滚动轴承变工况的故障诊断方法、装置、终端和存储介质
CN117113169A (zh) 基于深度知识蒸馏网络的工业流式数据在线故障诊断方法
CN116502123A (zh) 一种航空发动机剩余使用寿命无监督跨域预测方法
CN117235490A (zh) 一种融合深度卷积和自注意力网络的故障自适应诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant