CN116805051A - 基于注意力机制的双卷积动态域适应设备故障诊断方法 - Google Patents

基于注意力机制的双卷积动态域适应设备故障诊断方法 Download PDF

Info

Publication number
CN116805051A
CN116805051A CN202310744126.9A CN202310744126A CN116805051A CN 116805051 A CN116805051 A CN 116805051A CN 202310744126 A CN202310744126 A CN 202310744126A CN 116805051 A CN116805051 A CN 116805051A
Authority
CN
China
Prior art keywords
domain
loss
fault diagnosis
data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310744126.9A
Other languages
English (en)
Inventor
何志伟
邵怡宁
郑骁蓉
李平
高明煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310744126.9A priority Critical patent/CN116805051A/zh
Publication of CN116805051A publication Critical patent/CN116805051A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于注意力机制的双卷积动态域适应设备故障诊断方法,首先按不同工况将数据分为源域与目标域数据;将数据输入特征提取器,提取可转移特征;将特征作为输入,对抗训练分类器和域鉴别器,计算分类器和域鉴别损失;对每种类别样本分别利用LMMD度量准则计算差异度量损失;计算自适应因子,构建域适应损失;域适应损失和分类损失相加得到总损失函数值,通过反向传播迭代更新优化模型参数,得到最终模型;将目标域数据输入最终模型,输出故障诊断结果。该方法通过动态地调节边缘分布和条件分布在整体数据分布中的重要性,使模型可以更有针对性地对不同工况下的数据集进行迁移,实现精确故障诊断。

Description

基于注意力机制的双卷积动态域适应设备故障诊断方法
技术领域
本发明属于工业制作技术领域,涉及设备故障诊断方法,具体涉及一种基于注意力机制的双卷积动态域适应设备故障诊断方法。
背景技术
随着工业物联网的快速发展,工业生产设备的集成度、精度不断提高,但复杂性、不确定性也显著增强,因此设备的故障诊断一直是该领域最具有挑战性的问题。传统的基于信号分析的故障诊断方法有谱分析(Spectrum analysis)、自回归滑动平均(Auto-Regression and Moving Average Model,ARMA)、小波变换(Wavelet transform)等。然而,这些方法的特征提取都是人工进行的,判断结果过于依赖专家的先验知识,这给大数据的处理和高级特征的学习带来了困难。为了克服这一局限性,许多研究者将将注意力转向了基于人工智能的故障诊断方法。
基于机器学习的算法,例如人工神经网络(Artificial Neural Network,ANN)、支持向量机(Support Vector Machines,SVM)、决策树(Random Forest)等方法具有诊断精度高、智能程度高、对先验知识需求低的优点,被广泛应用于故障诊断中。面对复杂多变的工业数据,基于深度学习的算法越来越受欢迎,例如深层信念网络(Deep Belief Network,DBN)、基于粒子群优化算法(Particle Swarm Optimization,PSO)、卷积神经网络(Convolutional Neural Network,CNN)等。深度学习能够从收集的数据中自动学习故障特征,且大量实验证明相较于基于机器学习的方法,深度学习具有更好的泛化能力。但是深度学习的方法在训练过程中需要使用大量有标记、同分布的训练数据,然而在实际工业生产环境中,由于工业生产设备运行工况复杂多变,试验数据和训练数据的分布是不同的,在训练过程中容易出现过拟合现象,导致故障诊断模型性能降低。
迁移学习的方法可以从其他分布不同的相关数据集中学习知识,为当前故障分类任务构建鲁棒模型,从而有效地解决标记数据不足、泛化能力弱的问题。作为迁移学习的一个重要分支,领域自适应针对的是任务场景相同、数据分布不同的问题。无监督的领域自适应可以通过学习两个领域的域不变特征,来对齐源域和目标域的数据分布,从而利用源域有标签数据训练模型来实现目标域无标签数据的故障诊断。然而现有的故障诊断方法大多只单一地对齐特征的边缘分布,即只能对总体的分布进行对齐,而对于单个相似特征无法进行更细粒度的对齐。少数同时考虑边缘分布和条件分布的方法,如联合分布自适应,为边缘分布和条件分布赋予相同权重,显然无法取得最好的效果。
发明内容
针对现有技术的不足,本发明提出了基于注意力机制的双卷积动态域适应设备故障诊断方法,通过自适应因子ω动态调节边缘分布和条件分布,使源域和目标域的数据分布更好地对齐,增强模型的泛化能力,显著提高了设备故障诊断模型在目标域上的诊断准确率,可以实现对设备故障的智能诊断。
步骤一、按照工况将收集的数据分为有标签的源域数据和无标签的目标域数据/>其中,/>表示源域的第i个样本,/>表示对应的标签,/>表示目标域的第i个样本,ns表示源域样本数,nt表示目标域样本数。由于源域数据和目标域数据的工况不同,因此两者的分布也不同。
步骤二、构建设备故障诊断神经网络模型,包括特征提取器、域鉴别器和分类器。
所述特征提取器为基于注意力机制的双通道卷积神经网络,用于提取输入数据的可转移特征,包括双通道卷积层、特征融合层、注意力机制模块以及池化层。其中双通道卷积层包括两条深度不同的卷积通道,分别提取输入数据的低维和高维特征,得到的特征经过批量归一化和MetaAconC函数激活后,在特征融合层融合,并进入注意力机制模块,通过全局最大池化的方式将注意力集中在关键特征信息上,最后进入池化层,通过全局平均值池化策略完成降采样,得到可转移特征。
所述域鉴别器包括两组级联的全连接隐藏层、Relu激活函数和丢弃层,用于判断特征提取器的输出特征属于源域或目标域。
所述分类器包括一个全连接隐藏层和一个Softmax激活函数,判断特征提取器输入数据的故障类型。
步骤三、初始化设备故障诊断神经网络模型参数,输入步骤一采集的数据,通过特征提取器提取可转移特征,再分别输入域鉴别器和分类器,计算分类器损失、域鉴别器损失与差异度量损失。
由于目标域数据的标签在实际应用中往往是不能获取的,因此分类器损失只针对源域数据进行计算:
其中,C代表源域数据中样本标签的故障类别数量,表示样本xi属于c类别的概率,Gf代表特征提取器,Gy代表分类器;Gy(Gf(xi))表示样本xi的预测标签。
将源域和目标域数据的可转移特征输入域鉴别器,得到域鉴别预测标签,与真实域标签计算交叉熵损失,作为域鉴别器损失:
其中,Gd代表域鉴别器,Ld代表交叉熵损失,Gd(Gf(xi))、di分别代表第i个样本的域鉴别预测标签与真实域标签。
利用源域真实标签和目标域预测标签计算LMMD度量损失:
其中和/>分别表示源域样本/>目标域样本/>的可转移特征,d表示二者的LMMD距离。
通过相似度度量计算源域样本与目标域样本之间分布距离的全局差异度量dA-g(Ds∪Dt):
dA-g(Ds∪Dt)=2(1-2(Lg)) (4)
根据LMMD度量准则计算局部差异度量dl(Ds∪Dt):
根据全局差异度量和局部差异度量计算自适应因子ω:
利用自适应因子ω动态调节两个域边缘分布和条件分布的重要程度,设计如下域适应损失:
LD=ωLg+(1-ω)Llmmd (7)
作为优选,采样正态分布随机初始化方法初始化设备故障诊断神经网络模型参数。
步骤四、利用带有标签的源域样本和无标签的目标域样本进行迭代训练,在训练过程中利用自适应因子缩小源域和目标域样本的分布差异,设备故障诊断神经网络模型的总损失函数为:
Ltotal=Ly+λLD=Ly+λ(ωLg+(1-ω)Llmmd) (8)
其中,λ表示权衡参数,用于控制域适应损失LD在整个损失函数中的权重,epoch和totalepochs分别代表当前迭代训练次数和设定的总迭代训练次数。
作为优选,优化过程中通过SGD随机梯度下降法更新设备故障诊断神经网络模型参数。
步骤五、将传感器采集的设备运行数据输入步骤四训练后的模型中,得到故障诊断结果。
作为优选,对传感器采集的设备运行数据进行快速傅里叶变换,得到对应的一维频域振动信号,然后输入训练后的设备故障诊断神经网络模型进行故障诊断。
本发明具有以下有益效果:
1、针对差异较大的工况,本方法通过特征提取器、分类器和域鉴别器之间的对抗训练,自主地筛选更适合迁移的特征,得到更好的故障诊断结果。所述特征提取器采用双通道卷积和注意力机制,使提取到的特征更为关键。利用域鉴别损失度量源域和目标域的全局分布差异,同时利用LMMD度量准则更细粒度地对源域和目标域的局部分布差异进行对齐,相较于只考虑全局分布差异或局部分布差异的方法,在只增加少量参数量的同时,就能取得更好的迁移效果。
2、利用自适应因子稳定定量动态地调节边缘分布和条件分布差异在整体数据分布差异中的比重,使模型能够更好地对齐源域和目标域之间的数据分布,增强了模型在具有较大分布差异的目标域上的泛化能力,显著提高了设备故障诊断模型诊断准确率,解决了常见域适应算法对具有较大差异的目标域泛化能力不强的问题,使模型在面对变工况任务时依旧有良好的诊断效果,可广泛应用于各工业领域生产设备在多变工况下的故障诊断任务。
附图说明
图1为设备故障诊断方法流程图;
图2为实施例中构建的神经网络模型结构示意图;
图3为动态域适应算法流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明;
如图1所示,基于注意力机制的双卷积动态域适应设备故障诊断方法,具体包括以下步骤:
步骤一、按照工况将收集的数据分为有标签的源域数据和无标签的目标域数据/>其中,/>表示源域的第i个样本,/>表示对应的标签,/>表示目标域的第i个样本,ns表示源域样本数,nt表示目标域样本数。
步骤二、构建如图2所示的设备故障诊断神经网络模型,包括特征提取器、域鉴别器和分类器。
步骤三、采样正态分布随机初始化方法初始化设备故障诊断神经网络模型参数,输入步骤一采集的数据,通过特征提取器提取可转移特征,再分别输入域鉴别器和分类器,计算分类器损失、域鉴别器损失与差异度量损失。
所示分类器损失只针对源域数据进行计算:
其中,C代表源域数据中样本标签的故障类别数量,表示样本xi属于c类别的概率,Gf代表特征提取器,Gy代表分类器;Gy(Gf(xi))表示样本xi的预测标签。
将源域和目标域数据的可转移特征输入域鉴别器,得到域鉴别预测标签,与真实域标签计算交叉熵损失,作为域鉴别器损失:
其中,Gd代表域鉴别器,Ld代表交叉熵损失,Gd(Gf(xi))、di分别代表第i个样本的域鉴别预测标签与真实域标签。
利用源域真实标签和目标域预测标签计算LMMD度量损失:
其中和/>分别表示源域样本/>目标域样本/>的可转移特征,d表示二者的LMMD距离:
其中,表示第i个源域样本属于c类的权值,/>表示第i个目标域样本属于c类的权值,/>和/>分别代表源域样本/>和目标域样本/>的特征。利用LMMD可以计算源域与目标域之间的特征映射距离值,并通过缩小在每一类激活的分布差异,以此增强迁移能力。
相较于常见的MMD(Maximum Mean Discrepancy,最大均值差异)距离,LMMD能够为同一类别内子域的分布赋予更高关注度,以更细粒度地对源域和目标域数据分布进行对齐。通过LMMD迭代优化模型,可以使模型具有源域和目标域的域不变性表示能力。
通过相似度度量计算源域样本与目标域样本之间分布距离的全局差异度量dA-g(Ds∪Dt):
dA-g(Ds∪Dt)=2(1-2(Lg)) (5)
根据LMMD度量准则计算局部差异度量dl(Ds∪Dt):
根据全局差异度量和局部差异度量计算自适应因子ω:
利用自适应因子ω动态调节两个域边缘分布和条件分布的重要程度,设计如下域适应损失:
LD=ωLg+(1-ω)Llmmd (8)
步骤四、如图3所示,利用带有标签的源域样本和无标签的目标域样本进行迭代训练,通过SGD随机梯度下降法更新设备故障诊断神经网络模型参数,在训练过程中利用自适应因子缩小源域和目标域样本的分布差异,设备故障诊断神经网络模型的总损失函数为:
Ltotal=Ly+λLD=Ly+λ(ωLg+(1-ω)Llmmd) (9)
其中,λ表示权衡参数,用于控制域适应损失LD在整个损失函数中的权重,epoch和totalepochs分别代表当前迭代训练次数和设定的总迭代训练次数。权衡参数的自动更新策略优化了诊断模型的泛化能力,提高了模型的鲁棒性。
步骤五、对传感器采集的设备运行数据进行快速傅里叶变换,得到对应的一维频域振动信号,输入步骤四训练后的模型中,得到故障诊断结果。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:具体包括以下步骤:
步骤一、按照工况将收集的数据分为有标签的源域数据和无标签的目标域数据/>其中,/>表示源域的第i个样本,/>表示对应的标签,/>表示目标域的第i个样本,ns表示源域样本数,nt表示目标域样本数;
步骤二、构建设备故障诊断神经网络模型,包括特征提取器、域鉴别器和分类器;
所述特征提取器使用两条不同深度的卷积通道,提取输入数据的低维和高维特征,融合后进行注意力计算,输出可转移特征;所述域鉴别器用于判断特征提取器的输出特征属于源域或目标域;所述分类器用于判断特征提取器输入数据的故障类型;
步骤三、初始化设备故障诊断神经网络模型参数,输入步骤一采集的数据,通过特征提取器提取可转移特征,再分别输入域鉴别器和分类器,计算分类器损失、域鉴别器损失与差异度量损失;
所述分类器损失只针对源域数据进行计算:
其中,C代表源域数据中样本标签的故障类别数量,表示样本xi属于c类别的概率,Gf代表特征提取器,Gy代表分类器;Gy(Gf(xi))表示样本xi的预测标签;
所述域鉴别器损失通过计算域鉴别预测标签与真实域标签的交叉熵损失获得:
其中,Gd代表域鉴别器,Ld代表交叉熵损失,Gd(Gf(xi))、di分别代表第i个样本的域鉴别预测标签与真实域标签;
利用源域真实标签和目标域预测标签计算LMMD度量损失:
其中和/>分别表示源域样本/>目标域样本/>的可转移特征,d表示二者的LMMD距离;
通过相似度度量计算源域样本与目标域样本之间分布距离的全局差异度量dA-g(Ds∪Dt):
dA-g(Ds∪Dt)=2(1-2(Lg)) (4)
根据LMMD度量准则计算局部差异度量dl(Ds∪Dt):
根据全局差异度量和局部差异度量计算自适应因子ω:
利用自适应因子ω动态调节两个域边缘分布和条件分布的重要程度,设计如下域适应损失:
LD=ωLg+(1-ω)Llmmd (7)
步骤四、利用带有标签的源域样本和无标签的目标域样本进行迭代训练,在训练过程中利用自适应因子缩小源域和目标域样本的分布差异,设备故障诊断神经网络模型的总损失函数为:
Ltotal=Ly+λLD=Ly+λ(ωLg+(1-ω)Llmmd) (8)
其中,λ表示权衡参数,用于控制域适应损失LD在整个损失函数中的权重,epoch和totalepochs分别代表当前迭代训练次数和设定的总迭代训练次数;
步骤五、将传感器采集的设备运行数据输入步骤四训练后的模型中,得到故障诊断结果。
2.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:所述特征提取器为基于注意力机制的双通道卷积神经网络,用于提取输入数据的可转移特征,包括双通道卷积层、特征融合层、注意力机制模块以及池化层;其中双通道卷积层包括两条深度不同的卷积通道,分别提取输入数据的低维和高维特征,得到的特征经过批量归一化和MetaAconC函数激活后,在特征融合层融合,并进入注意力机制模块,通过全局最大池化的方式将注意力集中在关键特征信息上,最后进入池化层,通过全局平均值池化策略完成降采样,得到可转移特征。
3.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:所述域鉴别器包括两组级联的全连接隐藏层、Relu激活函数和丢弃层。
4.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:所述分类器包括一个全连接隐藏层和一个Softmax激活函数。
5.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:步骤三中采样正态分布随机初始化方法初始化设备故障诊断神经网络模型参数。
6.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:优化过程中通过SGD随机梯度下降法更新设备故障诊断神经网络模型参数。
7.如权利要求1所述基于注意力机制的双卷积动态域适应设备故障诊断方法,其特征在于:对传感器采集的设备运行数据进行快速傅里叶变换,得到对应的一维频域振动信号,然后输入训练后的设备故障诊断神经网络模型进行故障诊断。
CN202310744126.9A 2023-06-21 2023-06-21 基于注意力机制的双卷积动态域适应设备故障诊断方法 Pending CN116805051A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310744126.9A CN116805051A (zh) 2023-06-21 2023-06-21 基于注意力机制的双卷积动态域适应设备故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310744126.9A CN116805051A (zh) 2023-06-21 2023-06-21 基于注意力机制的双卷积动态域适应设备故障诊断方法

Publications (1)

Publication Number Publication Date
CN116805051A true CN116805051A (zh) 2023-09-26

Family

ID=88079340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310744126.9A Pending CN116805051A (zh) 2023-06-21 2023-06-21 基于注意力机制的双卷积动态域适应设备故障诊断方法

Country Status (1)

Country Link
CN (1) CN116805051A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117367777A (zh) * 2023-11-15 2024-01-09 苏州大学 一种scara机器人滚珠丝杠故障诊断方法
CN118194165A (zh) * 2024-05-17 2024-06-14 湖南大学 一种基于迁移学习的装配机器人故障诊断特征变换方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117367777A (zh) * 2023-11-15 2024-01-09 苏州大学 一种scara机器人滚珠丝杠故障诊断方法
CN118194165A (zh) * 2024-05-17 2024-06-14 湖南大学 一种基于迁移学习的装配机器人故障诊断特征变换方法

Similar Documents

Publication Publication Date Title
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111967343B (zh) 基于简单神经网络和极端梯度提升模型融合的检测方法
CN114048568B (zh) 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法
CN116805051A (zh) 基于注意力机制的双卷积动态域适应设备故障诊断方法
CN115618296B (zh) 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN111832647A (zh) 异常流量检测***及方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN113486578A (zh) 一种工业过程中设备剩余寿命的预测方法
CN101893704A (zh) 一种基于粗糙集的雷达辐射源信号识别方法
CN111768000A (zh) 在线自适应微调深度学习的工业过程数据建模方法
CN113033309A (zh) 一种基于信号下采样及一维卷积神经网络的故障诊断方法
CN111882554B (zh) 一种基于SK-YOLOv3的电力线故障智能检测方法
CN112017204A (zh) 一种基于边缘标记图神经网络的刀具状态图像分类方法
CN112504682A (zh) 基于粒子群优化算法的底盘发动机故障诊断方法及***
CN113269647A (zh) 基于图的交易异常关联用户检测方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN111259917A (zh) 一种基于局部近邻成分分析的图像特征提取方法
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN116738332A (zh) 一种结合注意力机制的飞行器多尺度信号分类识别与故障检测方法
CN116304941A (zh) 一种基于多模型组合的海洋数据质量控制方法及装置
CN113609480B (zh) 基于大规模网络流的多路学习入侵检测方法
Tomar et al. A Comparative Analysis of Activation Function, Evaluating their Accuracy and Efficiency when Applied to Miscellaneous Datasets
CN114926702A (zh) 一种基于深度注意力度量的小样本图像分类方法
CN114627333A (zh) 一种改进深度主动学习的锌浮选泡沫图像分类算法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination