CN116401603A - 一种基于迁移学习的多模态轴承故障智能诊断方法 - Google Patents
一种基于迁移学习的多模态轴承故障智能诊断方法 Download PDFInfo
- Publication number
- CN116401603A CN116401603A CN202310463832.6A CN202310463832A CN116401603A CN 116401603 A CN116401603 A CN 116401603A CN 202310463832 A CN202310463832 A CN 202310463832A CN 116401603 A CN116401603 A CN 116401603A
- Authority
- CN
- China
- Prior art keywords
- domain
- data
- loss
- target
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013526 transfer learning Methods 0.000 title claims abstract description 13
- 238000013508 migration Methods 0.000 claims abstract description 41
- 230000005012 migration Effects 0.000 claims abstract description 41
- 238000009826 distribution Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000008358 core component Substances 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 238000005065 mining Methods 0.000 abstract 1
- 230000009467 reduction Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/04—Bearings
- G01M13/045—Acoustic or vibration analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明属于机械设备故障诊断领域,具体涉及一种基于迁移学习的多模态轴承故障智能诊断方法,包括采集不同工况下的原始振动信号分别作为源域数据和目标域数据,经过预处理操作获取时域、频域两个观测角度信息,作为模型的多模态输入;构建深度迁移网络模型,通过基于注意力机制的多模态信息融合网络深度挖掘同源数据的多角度表示特征,通过标签分类器及源域标记数据保证故障类别的诊断性能,通过领域鉴别器和子类度量模块分别适配源域和目标域数据的边缘分布和条件分布,动态调整两种分布在迁移过程中的权重,最终形成动态联合分布自适应。寻找域不变特征提高模型在目标域数据上的泛化能力,提高机械设备的跨域故障智能诊断精度。
Description
技术领域
本发明属于机械设备故障诊断领域,具体涉及一种基于迁移学习的多模态轴承故障智能诊断方法。
背景技术
工业***逐渐向着智能制造方向发展,各种机械设备正趋向于自动化、复杂化,滚动轴承作为大型工业设备传动装置的关键部件与设备的正常运转紧密关联,对轴承故障诊断问题进行智能化研究对保障生产、避免事故发生具有重要意义。
目前,机械故障诊断的研究大多集中在信号特征选择和诊断分类两方面。超限的振动通常是导致传动装置发生故障的主要因素,通过传感器采集设备的振动信号进行建模与分析成为运行状态诊断的主要依据之一。在基于信号分析与处理的诊断方式中,时域和频域是观测原始振动数据内部隐含规律的两个角度,对故障模式有不同的敏感度。时域特征反映信号幅值随时间的变化情况,频域特征研究信号能量在各频段的分布规律。对于故障诊断任务,同一数据的多模态信息可以挖掘出更多的信号特征。
深度学习模型能够取得较好的诊断效果要基于训练集和测试集来自相同分布的前提条件,但滚动轴承这类旋转机械具有一定的特殊性,在实际工业场景下工作条件和设备型号的多样性导致训练集和测试集通常来自于不同的分布,并且收集所有条件下足够支撑深度学习模型训练的带标签数据是有一定困难的,此时模型泛化性不足致使诊断精度下降。因此,提升故障特征提取能力并且缩小由于工况环境等因素导致的特征分布差异,在不同工况间实行有效跨域诊断,是智能故障诊断面临的两个关键问题。
发明内容
本发明要解决的问题是:为了全面反映振动信号的信息并完成跨工况的故障诊断任务,提出一种基于迁移学习的多模态轴承故障智能诊断方法,将迁移学习思想用于轴承故障诊断。该方法一方面基于注意力机制对振动信号时域、频域两个模态进行信息融合,全面提取特征,另一方面动态适配源域和目标域的边缘和条件分布,增强模型在跨工况场景下的泛化性能。
为解决上述问题提供一种基于迁移学习的多模态轴承故障智能诊断方法,所述实现方法包括以下步骤:
步骤1:采集原始数据及预处理:
采集不同工况下的原始振动信号分别作为源域数据和目标域数据,以滑动窗口方式扩充数据集,绘制时域、频域两个观测角度的二维波形图,然后将源域样本和目标域样本按照8:2的比例划分成训练集和测试集;
步骤2:构建深度迁移网络模型:
深度迁移网络模型由特征提取模块、动态联合分布自适应模块、分类模块三大部分组成;其中特征提取模块F由特征提取和多模态信息融合两部分操作组成,在使用自注意力机制关注振动信号全局时序特性的基础上进一步使用交叉注意力机制在特征层面融合同源数据时域和频域的多模态信息,充分提取上述步骤1中所述的多角度特征;分类模块C利用全连接层对步骤1中的源域数据进行监督训练,通过Softmax函数获得预测分类结果,得到分类损失;动态联合分布自适应模块包括领域鉴别器Dw和子类度量模块,Dw基于对抗思想隐式对齐源域和目标域全局数据的边缘概率分布,得到全局域对抗损失;子类度量模块使用局部最大均值差异算法LMMD计算每个类别内数据之间的距离,显式计算数据的条件概率分布,得到局部差异损失;根据不同域的数据特点引入平衡因子μ为边缘适应和条件适应分配不同权重,形成动态联合分布自适应;
步骤3:训练深度迁移网络模型:
将步骤1中的源域和目标域的训练集数据输入至步骤2构建的深度迁移网络中,将步骤2中的分类损失、全局域对抗损失和局部差异损失之和作为网络的最终损失,通过梯度下降算法进行迭代训练,优化参数获得训练后的迁移诊断模型;
步骤4:测试深度迁移网络模型:
将步骤1中目标域的测试集数据输入至步骤3训练得到的深度迁移诊断模型中,测试模型诊断性能。
所述步骤1中,原始振动信号即为时域数据,频域数据由原始数据进行快速傅里叶变换得到,进而绘制二维图像。
所述步骤2中,特征提取模块F使用Vision Transformer作为特征提取主干网络,使用交叉注意力机制作为多模态融合的核心部件,增强关键信息之间的关联性;领域鉴别器Dw使用WGAN-GP避免梯度消失问题,拟合源域和目标域之间的最优Wasserstein距离,帮助特征提取模块F学习领域不变特征;
所述的分类损失Lclass采用交叉熵损失函数,对源域数据样本真实标签与经过深度迁移网络之后的预测标签进行损失计算,表达式为:
所述的全局域对抗损失Lmargin采用的损失函数表示下式:
上式中ns、nt分别表示源域和目标域的样本数量,yi表示域标签,源域数据的域标签设为0,目标域数据的域标签设为1;
所述的局部差异损失Llmmd采用的损失函数表示为下式:
上式中w表示每个样本属于类别c的权重,k表示将数据映射至高维空间的核函数;
平衡因子μ表达式为:式中dM表示边缘域差异,将源域特征的标签定义为0,目标域特征标签定义为1,构建使用线性核函数的SVM分类器来区分输入样本来自源域还是目标域,定义dM为分类器判断正确的概率,dC表示条件域差异,dC=LMMD(Ds,Dt);
深度迁移网络整体优化目标为:
上式中Lclass表示分类损失,Lmargin表示全局域对抗损失,Llmmd表示局部差异损失,(1-μ)和μ分别表示各部分的权重,θf、θdw和θc分别表示特征提取模块,领域鉴别器和分类模块的网络参数。
所述步骤3中,处理后的源域和目标域的训练数据同时输入至深度迁移网络中,在训练时,源域和目标域数据均需要经过特征提取模块F获取融合特征,因此二者对应的特征提取网络结构和权重一致;通过步骤2中的优化目标动态对齐源域和目标域数据的边缘概率分布和条件概率分布,增强迁移效果,提高模型对目标域数据的泛化能力。
本发明的有益效果是:
(1)本发明方法为了充分利用振动信号的多角度表征信息,将时域和频域作为多模态信息输入,通过VisionTransformer中的自注意力机制关注振动信号中的时序信息,进一步使用交叉注意力机制对多种模态进行特征融合,以充分挖掘信号中含有的有效故障信息。
(2)本发明方法使用隐式对抗思想和显式差异度量思想同时完成源域和目标域的边缘分布适配和条件分布适配,进一步地在迁移过程中根据数据域特点动态调整联合适配的贡献程度,形成一种基于动态联合分布自适应的跨域故障诊断方法,更好地学习故障诊断知识,有效完成轴承的跨域故障诊断任务。
附图说明
图1是本发明构建的深度迁移网络模型整体结构图;
图2是本发明构建的深度迁移网络模型中特征提取模块结构图;
图3是本发明实施例中采用DANN在任务D→A上的t-sne特征降维分布图;
图4是本发明实施例中采用DAN在任务D→A上的t-sne特征降维分布图;
图5是本发明实施例中采用本发明方法在任务D→A上的t-sne特征降维分布图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的解释说明。
为验证所提模型的可行性,在美国凯斯西储大学(CWRU)轴承故障数据集上进行实验验证。
实施例:本发明提供一种基于迁移学习的多模态轴承故障智能诊断方法,包括以下步骤:
步骤1:采集原始数据及预处理:
采集不同工况下的原始振动信号分别作为源域数据和目标域数据,本例采用CWRU轴承故障数据集,以滑动窗口方式扩充数据集,绘制时域、频域两个观测角度的二维波形图,然后将源域样本和目标域样本按照8:2的比例划分成训练集和测试集。采用CWRU数据集中驱动端轴承在12KHz下的振动数据,4种工况下均包含1个正常状态和9个故障状态,数据详细情况如下表1所示:表1为CWRU数据情况描述。
步骤2:构建深度迁移网络模型:
如图1所示,深度迁移网络模型由特征提取模块、动态联合分布自适应模块、分类模块三大部分组成;其中特征提取模块F结构图如图2所示,由特征提取和多模态信息融合两部分操作组成,在使用自注意力机制关注振动信号全局时序特性的基础上进一步使用交叉注意力机制在特征层面融合同源数据时域和频域的多模态信息,充分提取上述步骤1中所述的多角度特征,设置特征提取器Vision Transformer的自注意力头数和编码器堆叠层数均为12,划分图片的patch大小设为16,因此映射维度为768。设置交叉注意力机制中的Transformer编码器深度为2,自注意力头数为8;分类模块C利用全连接层对步骤1中的源域数据进行监督训练,通过Softmax函数获得预测分类结果,得到分类损失,设置全连接层的神经节点个数为1536,通过Softmax函数映射到数据集的类别数10;动态联合分布自适应模块包括领域鉴别器Dw和子类度量模块,Dw基于对抗思想隐式对齐源域和目标域全局数据的边缘概率分布,得到全局域对抗损失,由两层全连接层组成,神经元个数分别为1536,512,中间使用RELU激活函数,由于需拟合最优Wasserstein距离,因此输出层的神经元个数为1;子类度量模块使用局部最大均值差异算法LMMD计算每个类别内数据之间的距离,显式计算数据的条件概率分布,得到局部差异损失;根据不同域的数据特点引入平衡因子μ为边缘适应和条件适应分配不同权重,形成动态联合分布自适应。
步骤3:训练深度迁移网络模型:
将步骤1中的源域标记数据和目标域部分未标记数据作为训练集对步骤2构建的网络模型进行训练,根据步骤2中网络的整体优化目标通过梯度下降算法进行迭代训练优化各部分参数获得训练后的迁移诊断模型。
步骤4:测试深度迁移网络模型:
将步骤1中目标域剩余部分未标记数据作为测试集数据输入至步骤3训练得到的深度迁移诊断模型中,测试模型诊断性能。
实验验证:
本实验是为了验证本发明在不同工况之间的跨域故障诊断准确率,将CWRU数据集中的不同工况数据分别作为源域和目标域,两两组合形成12组迁移任务,如A→B即表示A为源域,B为目标域。实验同时对比分析不使用迁移方法的Source-only能力、深度迁移方法DANN和DAN能力,探究本发明所提方法的优越性。设置训练的Batch Size大小为8,迭代次数Epoch为30,学习率为0.001,使用Adam算法在训练过程中优化参数。实验结果如表3所示:表3为不同模型在CWRU数据集多组迁移任务实验结果。
经实验结果表明本发明所提方法在CWRU数据集的12组迁移任务中取得了96.2%的平均诊断准确率,并且在多组任务中均取得比其他方法更好的预测准确率,表明了本章提出的方法具备良好的跨域诊断能力。
为直观表明本发明所提方法的诊断性能,以任务D→A为例,使用t-sne将后三种方法在全连接层的特征降维可视化,深度迁移方法DANN的特征降维如图3所示,深度迁移方法DAN的特征降维如图4所示,本发明方法的特征降维如图5所示,其中圆点代表源域特征,叉号代表目标域特征,每个颜色各代表一个类别。
从图中可以看出三种模型对源域特征能实现较好识别区分,但前两种模型对于某些类别的目标域特征区分不够明显,如蓝色、紫色、黑色等,存在部分特征重叠、类别边界比较模糊的现象。而本发明方法虽然在粉色和绿色两个类别上也存在分类错误的情况,但每种类别之间的边界较为清晰,每个类别上源域和目标域特征重叠度较高,这表明了本发明方法不仅拉近了源域和目标域整体之间的距离,而且针对相同类别,两个域的特征也更加聚集,类间差异更加明显,能够在目标域数据上取得更好的诊断性能。
本发明涉及一种基于迁移学习的多模态轴承故障智能诊断方法,致力于使用无监督域自适应方法解决跨域故障诊断问题。在特征提取阶段完成时域和频域的多模态特征融合,通过对抗思想和差异度量思想同时适配源域和目标域之间的边缘分布和条件分布,考虑不同迁移任务数据特点,调整不同分布适配时权重,形成动态联合分布自适应,使其能更好地学习故障诊断知识,提升迁移效果。
Claims (4)
1.一种基于迁移学习的多模态轴承故障智能诊断方法,其特征在于,所述实现方法包括以下步骤:
步骤1:采集原始数据及预处理:
采集不同工况下的原始振动信号分别作为源域数据和目标域数据,以滑动窗口方式扩充数据集,绘制时域、频域两个观测角度的二维波形图,然后将源域样本和目标域样本按照8:2的比例划分成训练集和测试集;
步骤2:构建深度迁移网络模型:
深度迁移网络模型由特征提取模块、动态联合分布自适应模块、分类模块三大部分组成;其中特征提取模块F由特征提取和多模态信息融合两部分操作组成,在特征层面融合同源数据时域和频域的多模态信息,获得融合特征;分类模块C通过全连接层对融合特征进行预测分类,通过Softmax函数获得预测分类结果,得到分类损失;动态联合分布自适应模块包括领域鉴别器Dw和子类度量模块,Dw基于对抗思想对齐源域和目标域全局数据的边缘概率分布,得到全局域对抗损失;子类度量模块使用局部最大均值差异算法LMMD计算条件概率分布,得到局部差异损失;根据不同域的数据特点引入平衡因子μ为边缘适应和条件适应分配不同权重,形成动态联合分布自适应;
步骤3:训练深度迁移网络模型:
将步骤1中的源域和目标域的训练集数据输入至步骤2构建的深度迁移网络中,将步骤2中的分类损失、全局域对抗损失和局部差异损失之和作为网络模型的最终损失,通过梯度下降算法进行迭代训练,优化参数获得训练后的迁移诊断模型;
步骤4:测试深度迁移网络模型:
将步骤1中目标域的测试集数据输入至步骤3训练得到的深度迁移诊断模型中,测试诊断性能。
2.根据权利要求1所述一种基于迁移学习的多模态轴承故障智能诊断方法,其特征在于,原始振动信号即为时域数据,频域数据由原始数据进行快速傅里叶变换得到,进而绘制二维图像。
3.根据权利要求1所述一种基于迁移学习的多模态轴承故障智能诊断方法,其特征在于,所述步骤2中,特征提取模块F使用Vision Transformer作为特征提取主干网络,使用交叉注意力机制作为多模态融合的核心部件,增强关键信息之间的关联性;领域鉴别器Dw使用WGAN-GP避免梯度消失问题,拟合源域和目标域之间的最优Wasserstein距离,帮助特征提取模块F学习领域不变特征;
分类损失Lclass采用交叉熵损失函数,对源域数据样本真实标签与经过深度迁移网络之后的预测标签进行损失计算,表达式如下,式中N和C分别表示样本数量和类别数量;
全局域对抗损失Lmargin采用的损失函数表达式如下:
式中ns、nt分别表示源域和目标域的样本数量,yi表示域标签,源域数据的域标签设为0,目标域数据的域标签设为1,Lwd表示领域鉴别器Dw的损失,Lgrad表示梯度惩罚;
局部差异损失Llmmd采用的损失函数表达式如下:
上式中w表示每个样本属于类别c的权重,k表示将数据映射至高维空间的核函数;
上式为平衡因子μ的表达式,dM表示边缘域差异,将源域特征的标签定义为0,目标域特征标签定义为1,构建使用线性核函数的SVM分类器来区分输入样本来自源域还是目标域,定义dM为分类器判断正确的概率,dC表示条件域差异,dC=LMMD(Ds,Dt);
深度迁移网络整体优化目标如下式所示:
上式中Lclass表示分类损失,Lmargin表示全局域对抗损失,Llmmd表示局部差异损失,(1-μ)和μ分别表示各部分的权重,θf、θdw和θc分别表示特征提取模块,领域鉴别器和分类模块的网络参数。
4.根据权利要求1所述一种基于迁移学习的多模态轴承故障智能诊断方法,其特征在于,所述步骤3中,处理后的源域和目标域的训练数据同时输入至深度迁移网络中,在训练时,源域和目标域数据均需要经过特征提取模块F获取融合特征,因此二者对应的特征提取网络结构和权重一致;通过步骤2中的优化目标动态对齐源域和目标域数据的边缘概率分布和条件概率分布,增强迁移效果,提高模型对目标域数据的泛化能力。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310463832.6A CN116401603A (zh) | 2023-04-26 | 2023-04-26 | 一种基于迁移学习的多模态轴承故障智能诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310463832.6A CN116401603A (zh) | 2023-04-26 | 2023-04-26 | 一种基于迁移学习的多模态轴承故障智能诊断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116401603A true CN116401603A (zh) | 2023-07-07 |
Family
ID=87019787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310463832.6A Pending CN116401603A (zh) | 2023-04-26 | 2023-04-26 | 一种基于迁移学习的多模态轴承故障智能诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116401603A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117574259A (zh) * | 2023-10-12 | 2024-02-20 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
CN117961976A (zh) * | 2024-03-29 | 2024-05-03 | 湖南大学 | 基于生成扩散迁移的装配机器人在线检测方法及装置 |
CN118152901A (zh) * | 2024-05-13 | 2024-06-07 | 西北工业大学 | 基于数据驱动的设备故障预测方法及*** |
-
2023
- 2023-04-26 CN CN202310463832.6A patent/CN116401603A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117574259A (zh) * | 2023-10-12 | 2024-02-20 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
CN117574259B (zh) * | 2023-10-12 | 2024-05-07 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
CN117961976A (zh) * | 2024-03-29 | 2024-05-03 | 湖南大学 | 基于生成扩散迁移的装配机器人在线检测方法及装置 |
CN118152901A (zh) * | 2024-05-13 | 2024-06-07 | 西北工业大学 | 基于数据驱动的设备故障预测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709448B (zh) | 一种基于迁移关系网络的机械故障诊断方法 | |
CN109765053B (zh) | 利用卷积神经网络和峭度指标的滚动轴承故障诊断方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN111898634A (zh) | 一种基于深度对抗域自适应的智能故障诊断方法 | |
Li et al. | WavCapsNet: An interpretable intelligent compound fault diagnosis method by backward tracking | |
CN112763214B (zh) | 基于多标签零样本学习的滚动轴承故障诊断方法 | |
CN116401603A (zh) | 一种基于迁移学习的多模态轴承故障智能诊断方法 | |
CN114048568B (zh) | 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法 | |
CN112069921A (zh) | 一种基于自监督知识迁移的小样本视觉目标识别方法 | |
CN110647830B (zh) | 基于卷积神经网络和高斯混合模型的轴承故障诊断方法 | |
CN112906644A (zh) | 基于深度迁移学习的机械故障智能诊断方法 | |
CN114358123B (zh) | 一种基于深度对抗迁移网络的广义开放集故障诊断方法 | |
CN116304820B (zh) | 一种基于多源域迁移学习的轴承故障类型预测方法及*** | |
CN115600150A (zh) | 一种基于深度迁移学习的多模态齿轮箱故障诊断方法 | |
CN113032929A (zh) | 一种数值仿真驱动深度对抗迁移学习的轴承故障诊断方法 | |
CN113076920B (zh) | 一种基于非对称域对抗自适应模型的智能故障诊断方法 | |
Nero et al. | Concept recognition in production yield data analytics | |
CN114429152A (zh) | 基于动态指数对抗性自适应的滚动轴承故障诊断方法 | |
CN115859077A (zh) | 一种变工况下多特征融合的电机小样本故障诊断方法 | |
CN114118138A (zh) | 一种基于多标签领域自适应模型的轴承复合故障诊断方法 | |
CN115165366A (zh) | 一种旋转机械变工况故障诊断方法及*** | |
CN113239610A (zh) | 一种基于Wasserstein距离的域自适应滚动轴承故障诊断方法 | |
CN113884300A (zh) | 一种深度对抗迁移学习的滚动轴承故障诊断方法 | |
CN117009916A (zh) | 基于多传感器信息融合与迁移学习的促动器故障诊断方法 | |
CN115759352A (zh) | 基于多源域类分离对抗网络的变工况机械故障诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |