CN116028876A - 一种基于迁移学习的滚动轴承故障诊断方法 - Google Patents

一种基于迁移学习的滚动轴承故障诊断方法 Download PDF

Info

Publication number
CN116028876A
CN116028876A CN202211139882.0A CN202211139882A CN116028876A CN 116028876 A CN116028876 A CN 116028876A CN 202211139882 A CN202211139882 A CN 202211139882A CN 116028876 A CN116028876 A CN 116028876A
Authority
CN
China
Prior art keywords
fault diagnosis
domain
model
lmmd
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211139882.0A
Other languages
English (en)
Inventor
高学金
李虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202211139882.0A priority Critical patent/CN116028876A/zh
Publication of CN116028876A publication Critical patent/CN116028876A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于迁移学习的滚动轴承故障诊断方法。针对无标记数据滚动轴承故障诊断方法不考虑细粒度信息导致故障诊断精度低的问题,提出一种基于迁移学习和残差网络的TL-ResNet故障诊断模型。首先,采用残差网络提取源域数据和目标域数据深层特征;其次,应用迁移学习中的领域自适应方法,计算已标记源域数据和未标记目标域数据的局部最大均值差异,并将该差异和源域样本分类误差作为损失函数,使用反向传播算法对网络进行训练;最后,基于CWRU轴承数据进行了变负载迁移实验,实验结果表明该方法大幅提升了故障诊断模型诊断精度,更加符合实际工程应用需求。

Description

一种基于迁移学习的滚动轴承故障诊断方法
技术领域
本发明涉及基于数据驱动的滚动轴承(Rolling element bearings,REBs)故障诊断技术领域,针对现有的滚动轴承无标记故障诊断方法忽略了样本的细粒度信息,造成诊断精度低的问题,提出一种基于迁移学习(Transfer learning,TL)和残差网络(Residualnetwork,ResNet)的滚动轴承故障诊断方法。
背景技术
滚动轴承作为旋转机械的重要组成部分,其任何意外故障都有可能导致机器、甚至整个***的突然故障,进而造成巨大的经济损失甚至是人员伤亡。因此,REBs的故障诊断是一个主要问题,并已引起国内外研究人员的广泛关注。
随着工业大数据的蓬勃发展,基于深度学习(Deep learning,DL)的REBs故障诊断方法得到了广泛应用。应用于REBs故障诊断的流行DL算法包括自动编码器(Auto encoder,AE)、递归神经网络(Recursive neural network,RNN)和卷积神经网络(Convolutionalneural network,CNN)等。如Shao等人为解决因旋转机械运行条件复杂多变导致特征提取难的问题,提出一种新的深度自动编码特征学习方法来诊断旋转机械故障。Wen等为解决传统的数据驱动方法依赖于专家提取特征的问题,提出了一种基于LeNet-5滚动轴承故障诊断方法,通过将信号转换为二维图像,该方法可以提取转换后的二维图像的特征,消除了手工提取特征的影响。随着深度神经网络的发展,DL模型目前已经被证实在自动特征提取、多层非线性特征映射和复杂时间序列样本处理方面显著优于传统的浅层方法。然而基于深度学习的故障诊断方法需要满足两个条件:首先,需要有足够的有标记历史数据对模型进行监督训练;其次,训练数据和测试数据应该遵循相同的分布。当分布不同或没有足够标记数据时,这些方法的性能会受到很大影响。
深度迁移学习为解决上述问题提供了一种新的思路。一些研究表明,在一些辅助约束条件下,深度迁移学习可以从有标记的源域数据和无标记的目标域数据挖掘域不变特征和分类器表示。该机制包括构造一个特征映射,以便将有标记源域数据和无标记目标域数据映射到相同的特征空间并服从相同的分布,进而可实现对无标记目标域样本的标定。最大均值差异(Maximum mean discrepancy,MMD)便是比较两种数据分布距离的有效非参数度量。Wen将单核MMD度量嵌入堆栈稀疏自动编码器,以最小化深度特征向量的分布差异,实现了滚动轴承故障诊断知识的迁移。Lu提出了一种域自适应深度神经网络,完成了无标记滚动轴承故障诊断,其中MMD度量用于搜索共享子空间。Che等人使用多核MMD替代单核MMD并基于多层适配策略,有效减小了不同来源数据分布差异,并将其应用于滚动轴承变工况故障诊断。然而上述方法注重于从全局上减小数据分布差异,而忽略了数据本身的细粒度信息,导致故障诊断精度依旧不高,模型还存有进一步改善的空间。
发明内容
针对滚动轴承无标记数据的故障诊断问题,本发明提出一种基于迁移学习和残差网络的滚动轴承故障诊断模型TL-ResNet,其结构如图1所示。本发明采用一维ResNet作为主干网络来提取有标记源域和无标记目标域数据可迁移特征,采用原始振动数据作为输入大大加快了神经网络的训练速度,独特的残差连接增强了梯度的流动性,缓解了神经网络的梯度消失问题;提取的特征通过局部最大均值差异(Local maximum mean discrepancy,LMMD)进行处理,可使源和目标中同类样本之间的特征图嵌入分布精确匹配,从而可实现对无标记目标域样本的识别,有效提升了模型的准确性,克服了基于全局对齐方法的不足。基于迁移学习和残差网络的滚动轴承故障诊断模型,其特征在于包括以下步骤:
1.基于残差网络的特征提取
本模型采用残差网络作为特征提取器,以获取有标记源域和无标记目标域振动数据的特征并将其以向量的形式进行表达,其结构如图2所示。残差网络采用了一种残差块的设计,残差块结构如图3所示。该残差块采用了独特的跳跃连接,可以很好地缓解深层神经网络的梯度消失和梯度***问题,从而使提取数据深层特征成为可能。
2.基于LMMD的特征对齐
本模型在网络中嵌入领域自适应模块,该领域自适应模块采用LMMD度量所提取的源域和目标域数据特征分布差异。
3.全连接层
本模型包含有两个全连接层,其隐藏单元数目分别为256和10。特征提取器提取的高维特征经过两层全连接层降维后,最终输出维度为10,代表滚动轴承的10种健康状态。
本发明具有以下有益效果
第一,实现了无标记数据滚动轴承故障诊断,在没有标记数据用于模型监督训练的情形下,可利用迁移学习将有标记源域知识迁移到无标记目标域,进而可对无标记目标域样本进行识别。第二,采用一维残差网络作为主干网络,相较于二维残差网络而言,一维残差网络可直接对原始振动信号进行处理,避免了将一维时序信号转换为二维结构数据过程中信息的丢失,且大幅提升了模型处理速度,更为贴近工业实际应用。第三,采用LMMD作为特征分布差异度量函数,将样本标签信息纳入了考量,从而可精确匹配不同领域同类样本特征图嵌入,有效提升故障诊断模型诊断精度。
附图说明
图1是本发明所涉及方法的模型结构图
图2是残差网络结构图
图3是残差网络中残差块结构图
图4是故障诊断流程图
具体实施方式
1.基于残差网络的特征提取
本模型采用残差网络作为特征提取器,以获取振动数据的特征并将其以向量的形式进行表达。特征提取器由1个核大小为7×1的卷积层(Convolutional layer,Conv)、8个残差块和1个全连接层组成。在模型每个卷积层的后面都添加有批标准化(Batchnormalization,BN),用于保持卷积前后数据分布一致以加快模型收敛速度,并防止梯度消失和梯度***现象产生。特征提取器的输入是长度为1024的原始振动序列,经过残差网络提取特征后,由全连接层输出长度为256的特征向量。
2.基于LMMD的特征对齐
MMD是用来度量两种数据分布距离的一种函数。给定源域数据集和目标域数据集则XS与XT之间的MMD度量可由下式描述:
其中,n和m分别代表源域和目标域样本数,H表示再生核希尔伯特空间(Reproducing kerne lhilbert space,RKHS),φ()表示将原始特征空间映射到高维Hilbert空间H的非线性映射。
指定RKHS对应的核函数为高斯核函数,并计算MMD2(XS,XT)以简化计算,式(1)可变为:
LMMD是基于MMD的一种改进算法,其定义由下式给出:
其中,分别代表源域和目标域样本,C表示样本的类别数,与ωi tc分别代表样本属于类别C的权重。
比较式(3)与式(1)可见,LMMD在MMD的基础上扩展了权重的定义。该权重的作用是将源域和目标域中同类样本划分到同一子领域,而后再将同质子领域样本特征图嵌入进行匹配,从而避免了全局特征对齐方法的缺陷。样本xi属于某一类别C的权重可由下式进行计算:
其中,yic指标签向量Yi的第C类标签。为所有样本中属于第C类的总和。对于源域样本,可直接采用标签的one-hot向量来计算对于目标域,由于是没有标签的,因此采用深度神经网络预测的输出来计算
为了将源域和目标域样本特征进行对齐,需要获取到模型所提取的特征,即模型全连接层产生的激活。对于给定的源域D(s)目标域D(t),深度神经网络全连接层l的激活为进一步式(3)可改写为:
其中,zl是第l层全连接层的激活(l∈L={1,2,...,L})。
3.全连接层
全连接层的作用有两个:其一,深度神经网络所提取特征的抽象程度会随着网络层数的增加,但同时领域分布差异也越大。因此,为了有效测量源域和目标域之间的特征分布差异,我们选择在全连接层中嵌入领域自适应模块来测量两域特征分布差异。其二:全连接层可将特征提取器提取的高维特征降维输出以获取故障诊断结果。
4.优化目标
模型的优化目标由两部分组成,最小化源域标记样本的分类损失Lc与两域样本之间的LMMD距离Llmmd。我们旨在通过减少交叉熵损失来优化Lc,交叉熵损失形式如下:
其中,n代表样本数,C为样本类别数,zs为全连接层的输出,f(zs)=softmax(zs)。对于第二个优化目标,我们采用式(5)来计算两域之间的LMMD距离Llmmd。最终,模型损失函数构造如下:
L=Lc+λLlmmd                                   (7)
其中,λ为超参数,取为0.5。
5.实验过程及结果
(1)数据集简介
TL-ResNet采用西储大学的轴承数据集进行实验。该数据集具有不同载荷下的振动加速度数据,驱动电机载荷分别为0hp、1hp、2hp与3hp。轴承故障位置位于内圈、外圈和滚珠,每种故障都有三种不同的故障直径,因此,含正常状态在内轴承共计有10种健康状态。以1024个连续时间序列组成一个样本,每种健康状态下样本总数为112。表1描述了0hp载荷下数据划分详情,1hp、2hp与3hp载荷下数据划分方式同0hp。
表10hp下数据划分详情
(2)故障诊断流程
TL-ResNet轴承故障诊断模型诊断流程图如图4所示,具体步骤如下:
Step1:首先构造数据集,将有标记源域样本作为训练集,无标记目标域样本作为测试集;
Step2:初始化模型参数,以批量的方式将源域和目标域样本送入模型,并使用前向传播将样本扩散到神经网络中,以对样本特征进行提取;
Step3:计算源域样本分类损失Lc,同时用LMMD度量计算提取的源域数据样本特征和目标域数据样本特征的分布差异Llmmd
Step4:使用反向传播算法对模型参数进行更新。同时为降低模型过拟合风险,早停法的训练技巧被采用。
Step5:将测试集数据输入故障诊断模型得到诊断结果,完成故障诊断。
(3)实验参数设置
本实验模型在PyTorch上搭建完成,显卡型号为NVIDIA GTX 1080。优化器选择动量随机梯度下降(Stochastic gradient descent with momentum,SGDM),初始动量为0.9。初始学习率lr0设置为为0.001,学习率调整公式为:(α取为10,β取为0.75,p从0线性增加到1)。
(4)实验结果及误差分析
滚动轴承在不同载荷下工作将导致其监测数据分布不一致。为验证所提方法的准确性,迁移任务将在不同负载场景下展开。共计有12种迁移场景,T01、T02、T03、T10、T12、T13、T20、T21、T23、T30、T31和T32,T01即表示将0hp作为源域,1hp作为目标域,源域样本有标记,目标域样本无标记。
我们还将TL-ResNet与另外3种方法进行比较,包括深度关联对齐(DeepCORAL,D-CORAL)、深度域混淆(Deep domain confusion,DDC)和不使用任何迁移学***性,D-CORAL和DDC的特征提取器与本发明保持一致,其余参数均按照最优选取。表2展示了各类方法在不同迁移任务中的识别准确率。不使用任何迁移学***均准确率为88.4%,低于另外三种方法,这表明迁移学***均准确率为89.0%,稍高于ResNet,但提升不够明显。DDC采用MMD损失作为领域差异度量函数,该方法在领域差异不大时,效果较为明显,但当领域差异增大时,其性能将急剧下降。我们提出的方法TL-ResNet其平均准确率为99.4%,不论分布差异大小,均取得了良好的效果。这表明TL-ResNet可以在复杂环境下使用原始信号而无需任何标记的目标域样本来准确和鲁棒地检测故障。
表2不同迁移任务下的诊断准确率

Claims (1)

1.一种基于迁移学习的滚动轴承故障诊断方法,其特征在于,具体包括以下步骤:
1)基于残差网络的特征提取
本模型特征提取器结构由1个核大小为7×1的卷积层、8个残差块和1个全连接层组成;在模型每个卷积层的后面都添加有批标准化;特征提取器的输入是长度为1024的原始振动序列,经过残差网络提取特征后,由全连接层输出长度为256的特征向量;
2)基于LMMD的特征对齐
MMD是用来度量两种数据分布距离的一种函数;给定源域数据集和目标域数据集则XS与XT之间的MMD度量由下式描述:
其中,n和m分别代表源域和目标域样本数,H表示再生核希尔伯特空间RKHS,φ( )表示将原始特征空间映射到高维Hilbert空间H的非线性映射;
指定RKHS对应的核函数为高斯核函数,并计算MMD2(XS,XT)以简化计算,式(1)变为:
LMMD是基于MMD的一种改进算法,其定义由下式给出:
其中,分别代表源域和目标域样本,C表示样本的类别数,与ωi tc分别代表样本属于类别C的权重;
样本xi属于某一类别C的权重可由下式进行计算:
其中,yic指标签向量Yi的第C类标签;为所有样本中属于第C类的总和;对于源域样本,可直接采用标签的one-hot向量来计算对于目标域,由于是没有标签的,因此采用深度神经网络预测的输出来计算
为了将源域和目标域样本特征进行对齐,需要获取到模型所提取的特征,即模型全连接层产生的激活;对于给定的源域D(s)目标域D(t),深度神经网络全连接层l的激活为进一步式(3)可改写为:
其中,zl是第l层全连接层的激活,l∈L={1,2,...,L};
3)全连接层
全连接层隐藏单元的数目分别为256和10;
4)优化目标
模型的优化目标由两部分组成,最小化源域标记样本的分类损失Lc与两域样本之间的LMMD距离Llmmd;通过减少交叉熵损失来优化Lc,交叉熵损失形式如下:
其中,n代表样本数,C为样本类别数,zs为全连接层的输出,f(zs)=softmax(zs);对于第二个优化目标,采用式(5)来计算两域之间的LMMD距离Llmmd;最终,模型损失函数构造如下:
L=Lc+λLlmmd(7)
其中,λ为超参数,取为0.5;
模型训练过程中优化器选择动量随机梯度下降,初始动量为0.9;初始学习率lr0设置为0.001,学习率调整公式为:α取为10,β取为0.75,p从0线性增加到1。
CN202211139882.0A 2022-09-20 2022-09-20 一种基于迁移学习的滚动轴承故障诊断方法 Pending CN116028876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211139882.0A CN116028876A (zh) 2022-09-20 2022-09-20 一种基于迁移学习的滚动轴承故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211139882.0A CN116028876A (zh) 2022-09-20 2022-09-20 一种基于迁移学习的滚动轴承故障诊断方法

Publications (1)

Publication Number Publication Date
CN116028876A true CN116028876A (zh) 2023-04-28

Family

ID=86075288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211139882.0A Pending CN116028876A (zh) 2022-09-20 2022-09-20 一种基于迁移学习的滚动轴承故障诊断方法

Country Status (1)

Country Link
CN (1) CN116028876A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846489A (zh) * 2023-06-25 2023-10-03 电子科技大学 一种基于迁移学习的光学定位***及其节点位置估计方法
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息***的异构数据迁移方法
CN117390411A (zh) * 2023-10-16 2024-01-12 石家庄铁道大学 基于元迁移学习的变工况轴承故障诊断方法
CN117473412A (zh) * 2023-09-08 2024-01-30 西南交通大学 一种噪声条件下无监督迁移学习轴承故障诊断方法和***
CN117871101A (zh) * 2024-03-11 2024-04-12 四川大学 多分类器细粒度的轴承故障诊断领域自适应方法及***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846489A (zh) * 2023-06-25 2023-10-03 电子科技大学 一种基于迁移学习的光学定位***及其节点位置估计方法
CN116846489B (zh) * 2023-06-25 2024-01-30 电子科技大学 一种基于迁移学习的光学定位***及其定位方法
CN117473412A (zh) * 2023-09-08 2024-01-30 西南交通大学 一种噪声条件下无监督迁移学习轴承故障诊断方法和***
CN117473412B (zh) * 2023-09-08 2024-05-07 西南交通大学 一种噪声条件下无监督迁移学习轴承故障诊断方法和***
CN117131022A (zh) * 2023-09-25 2023-11-28 广州东方电力有限公司 一种电力信息***的异构数据迁移方法
CN117131022B (zh) * 2023-09-25 2024-03-29 广州东方电力有限公司 一种电力信息***的异构数据迁移方法
CN117390411A (zh) * 2023-10-16 2024-01-12 石家庄铁道大学 基于元迁移学习的变工况轴承故障诊断方法
CN117390411B (zh) * 2023-10-16 2024-03-29 石家庄铁道大学 基于元迁移学习的变工况轴承故障诊断方法
CN117871101A (zh) * 2024-03-11 2024-04-12 四川大学 多分类器细粒度的轴承故障诊断领域自适应方法及***
CN117871101B (zh) * 2024-03-11 2024-05-10 四川大学 多分类器细粒度的轴承故障诊断领域自适应方法及***

Similar Documents

Publication Publication Date Title
CN116028876A (zh) 一种基于迁移学习的滚动轴承故障诊断方法
CN111709448B (zh) 一种基于迁移关系网络的机械故障诊断方法
Zhao et al. Deep multi-scale convolutional transfer learning network: A novel method for intelligent fault diagnosis of rolling bearings under variable working conditions and domains
Zhang et al. A fault diagnosis method for wind turbines gearbox based on adaptive loss weighted meta-ResNet under noisy labels
Feng et al. Semi-supervised meta-learning networks with squeeze-and-excitation attention for few-shot fault diagnosis
Li et al. Intelligent fault diagnosis of rolling bearings under imbalanced data conditions using attention-based deep learning method
Wang et al. Self-supervised signal representation learning for machinery fault diagnosis under limited annotation data
CN108596327B (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN112629863A (zh) 变工况下动态联合分布对齐网络的轴承故障诊断方法
CN110657984B (zh) 一种基于强化胶囊网络的行星齿轮箱故障诊断方法
CN113673346B (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN113988126B (zh) 一种基于少标签数据特征迁移的滚动轴承故障诊断方法
CN112964469B (zh) 一种迁移学习的变负载下滚动轴承在线故障诊断方法
Wang et al. Intelligent fault diagnosis for planetary gearbox using transferable deep q network under variable conditions with small training data
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN113887342A (zh) 基于多源信号和深度学习的设备故障诊断方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
Shahid et al. Performance comparison of 1d and 2d convolutional neural networks for real-time classification of time series sensor data
CN116702076A (zh) 一种基于cnn特征融合的小样本迁移学习故障诊断方法、***、计算机及存储介质
Huang et al. Intelligent fault identification for industrial internet of things via prototype-guided partial domain adaptation with momentum weight
Chen et al. Transfer learning with unsupervised domain adaptation method for bearing fault diagnosis
CN117606801A (zh) 一种基于多表征自适应网络的跨域轴承故障诊断方法
CN116383757B (zh) 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN117235490A (zh) 一种融合深度卷积和自注意力网络的故障自适应诊断方法
CN116007937A (zh) 一种机械设备传动部件智能故障诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination