CN114298267B - 一种基于双向注意力生成对抗网络的故障诊断方法及应用 - Google Patents
一种基于双向注意力生成对抗网络的故障诊断方法及应用 Download PDFInfo
- Publication number
- CN114298267B CN114298267B CN202111194623.3A CN202111194623A CN114298267B CN 114298267 B CN114298267 B CN 114298267B CN 202111194623 A CN202111194623 A CN 202111194623A CN 114298267 B CN114298267 B CN 114298267B
- Authority
- CN
- China
- Prior art keywords
- fault
- attention
- model
- samples
- attention model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 47
- 238000003745 diagnosis Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 70
- 230000001133 acceleration Effects 0.000 claims abstract description 40
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 230000036541 health Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 230000008485 antagonism Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明公开了一种基于双向注意力生成对抗网络的故障诊断方法及应用。所述方法具体如下：采集正常状态及故障状态下的振动加速度信号，将振动加速度信号截取成多个正常样本和故障样本；划分第一训练集与测试集；构建双向注意力生成对抗网络模型；采用第一训练集对双向注意力生成对抗网络模型进行训练；使用训练好的双向注意力生成对抗网络模型，生成额外的故障样本，组成第二训练集；搭建故障分类模型，并采用第二训练集训练故障分类模型；将测试集中的样本输入到训练好的故障分类模型中进行测试，得到最终诊断结果。本发明能够使用所发明的网络模型生成高质量的故障数据，从而平衡原始的训练集，并提高故障诊断的精度。
Description
技术领域
本发明涉及机械故障诊断领域，具体涉及一种基于双向注意力生成对抗网络的故障诊断方法及应用。
背景技术
轴承和齿轮是一种常见的通用零部件，在工程机械、精密机床、轨道交通等的机械设备中扮演者重要的角色。在设备的运行时，这些零部件往往会在力与载荷的作用下而发生磨损、裂纹、剥落等故障，一旦发生故障且未能及时处理，将造成巨大的经济损失，甚至是人员伤亡。因此对旋转设备零部件的健康状态进行监测和诊断具有重要的意义。
随着人工智能技术的不断发展，一些基于深度学***衡的现象在当前故障诊断领域是一个亟待解决的问题。在训练数据不平衡的情况下，基于深度学习故障诊断方法的性能将会显著退化。
生成对抗网络具有良好的数据生成能力。针对故障样本量小、数据不平衡的问题，生成对抗网络在故障诊断领域同样被得到了广泛的应用。首先使用有限的故障样本训练一个生成对抗网络模型，然后使用训练好的网络模型生成大量的故障样本。这些生成的样本可以扩充原有故障数据，使原来不平衡的训练集得以重新平衡。
在发明专利一种面向小样本特征的基于改进生成对抗网络的故障诊断方法 (朱晓荣,曹家明,池德盛,陈雨萱,沈雍钧,田忆军,庄益康,史坤.一种面向小样本特征的基于改进生成对抗网络的故障诊断方法:中国,CN 112039687 A[P].2020-12-04.)中，发明人公开了一种生成对抗神经网络和卷积神经网络相结合的故障诊断方法。在所提出的生成对抗网络模型中，其生成器和判别器大多是采用的反卷积和卷积结构。这就限制了生成对抗网络从全局的角度捕捉原始振动信号的特征，从而导致生成的振动信号缺乏全局性信息，不能生成更为有效的故障样本，而这又进一步限制了基于生成对抗网络样本扩充方法的诊断精度。
发明内容
为了解决现有技术存在的问题，本发明提供一种基于双向注意力生成对抗网络的故障诊断方法及应用，所述方法通过生成对抗网络捕捉原始数据的特征分布并生成相关的数据，并利用双向注意力模型，将生成对抗网络能够强化故障相关的区域特征同时能够有选择性的融合不同通道的特征。通过本发明，可以生成振动信号样本并进一步改善生成样本的质量，从而提高故障诊断模型对装备健康状态进行监测和诊断的准确性和实用性。
本发明采用以下技术方案来实现：
一种基于双向注意力生成对抗网络的故障诊断方法，包括以下步骤：
S1、数据的采集与标定，分别从旋转设备上采集正常状态下的振动加速度信号及故障状态下的振动加速度信号，将采集到的正常状态下和故障状态下的振动加速度信号分别截取成多个正常样本和故障样本；
S2、将步骤S1中获取的多个正常样本和故障样本划分为第一训练集与测试集；
S3、构建双向注意力生成对抗网络模型；
S4、采用第一训练集对双向注意力生成对抗网络模型进行训练；
S5、使用已经训练好的双向注意力生成对抗网络模型，生成额外的故障样本，并将额外的故障样本与第一训练集中的故障样本混合在一起形成一个新的样本集，将新的样本集与正常样本共同组成一个平衡的第二训练集；
S6、搭建故障分类模型，并采用第二训练集训练故障分类模型，得到训练好的故障分类模型；
S7、将测试集中的样本输入到训练好的故障分类模型中进行测试，得到最终诊断结果。
进一步地，步骤S1中，使用加速度传感器收集振动加速度信号，划分样本时，每个样本包括的样本点数不少于每个周期的采样点数，样本点数为2的幂次方，样本的标签为采集该样本时设备的健康状态。
进一步地，步骤S2中，在第一训练集中，正常样本的数量与故障样本的数据不等，故障样本的数量由不平衡比例(IR，Imbalanceratio，即：正常样本数量与故障样本数量之比)决定，在测试集中，正常样本的数量和故障样本的数量相同；
所述不平衡比例在实际应用是指现场中收集到的正常样本数量与故障样本数量的比例；在模拟实验中是指人为划定的正常样本数量与故障样本数量之比，故障样本数量＝正常样本数量/不平衡比例。
进一步地，步骤S3中，在PyTorch框架下，首先构建双向注意力模型，同时，针对振动加速度信号为一维数据的特点搭建适用于一维振动加速度信号的生成对抗网络，并将双向注意力模型嵌入到生成对抗网络中；
所述双向注意力模型包括时序注意力模型和通道注意力模型；
所述适用于一维振动加速度信号的生成对抗网络包括一维反卷积的第一生成器和一维卷积的第一判别器，具体如下：
一维反卷积的第一生成器：将一个256×8维的噪声直接通过4个连续的反卷积层，输出生成的故障样本；
一维卷积的第一判别器：将第一生成器生成的故障样本或第一训练集中真实的故障样本，直接输入到4个连续的卷积层，输出相应的真实性标签，即0 或1，其中0表示生成的故障样本，1表示真实的故障样本。
进一步地，所述时序注意力模型包括两个卷积层和一个softmax(·)函数；时序注意力模型通过两个特征映射元素间的乘积与元素求和操作得到最终的特征映射，时序注意力模型的构建具体包括以下步骤：
S3.1.1、将一个N×1维的特征向量Xtam同时输入到两个1×1维的卷积层中并分别得到相应的第一特征映射Ptam和第二特征映射Qtam，其中第一特征映射Ptam作为时序注意力模型提取到的初级特征映射，而第二特征映射Qtam用于计算注意力权重值；
S3.1.2、将第二特征映射Qtam输入至softmax(·)函数中，得到一个N×1维的注意力权重向量Stam，且Stam中所有元素之和为1，具体如下：
其中，为Stam中的第i个元素，是Qtam中的第i个元素；exp(·)表示以自然常数e为底的指数函数；
S3.1.3、在注意力权重向量Stam和第一特征映射Ptam间做哈达玛乘积，进而得到时序注意力特征映射Ttam，具体如下：
其中，是Ttam中的第i个元素值；
S3.1.4、由于提取特征所含的信息在卷积或反卷积过程都会存在一定的损失，因此，在Ttam和Xtam之间使用一个残差连接，时序注意力模型的输出Ytam表示为：
其中，是Ytam中第i个位置的响应值，λ是尺度缩放因子，通过网络训练得到。
进一步地，所述通道注意力模型包括一个卷积层和一个softmax(·)函数；通道注意力模型通过对特征映射的转置操作及特征映射元素间的乘积操作得到最终的特征表示，通道注意力模型的构建具体包括以下步骤：
S3.2.1、将一个1×N×C维的输入向量Xcam通过转置操作转换为一个 1×C×N维的第三特征映射Xtrans，其中，C表示Xcam的通道数量，然后将第三特征映射Xtrans输入到一个卷积层并得到第四特征映射Qcam，再使用softmax(·) 函数得到一个归一化的注意力权重映射Scam，具体如下：
其中，表示Xcam上的第j个通道映射，Θ(·)表示转置操作，conv(·) 表示卷积操作，表示Scam第j个位置的响应值；
S3.2.2、对Scam使用转置操作，使Scam的每一个元素值与Xcam的每一个通道相对应，得到通道注意力权重映射Strans，具体如下：
其中，为Strans的第c个位置；
S3.2.3、计算Strans与Xcam的哈达玛乘积，从而得到最终的通道注意力特征映射Tcam，具体如下：
其中，表示Xcam上第c个通道映射上的第i个位置的响应值。
进一步地，步骤S3中，将双向注意力模型嵌入到生成对抗网络中，双向注意力生成对抗网络包括第二生成器和第二判别器；第二生成器顺次包括：输入噪声层、第一反卷积层、第一时序注意力模型、第一通道注意力模型、第二反卷积层、第二时序注意力模型、第二通道注意力模型、第三反卷积层、第三时序注意力模型、第三通道注意力模型、第四反卷积层、第四时序注意力模型和第四通道注意力模型；
第二判别器顺次包括：一维振动加速度信号输入层、第五时序注意力模型、第五通道注意力模型、第一卷积层、第六时序注意力模型、第六通道注意力模型、第二卷积层、第七时序注意力模型、第七通道注意力模型、第三卷积层、第八时序注意力模型、第八通道注意力模型、第四卷积层；
其中，第一时序注意力模型至第八时序注意力模型均为双向注意力模型中的时序注意力模型；第一通道注意力模型至第八通道注意力模型均为双向注意力模型中的通道注意力模型；
第二生成器根据输入的噪声，输出生成的振动加速度信号；第二判别器根据输入的第二生成器生成的振动加速度信号或真实的振动加速度信号，输出相应的真实性标签。
进一步地，步骤S4包括以下步骤：
S4.1、初始化第二生成器和第二判别器；
S4.2、固定第二生成器，输入噪声z至第二生成器，第二生成器输出生成故障样本；利用生成故障样本以及第一训练集中真实的故障样本共同训练第二判别器，使其能够很好的区分真实的故障样本和生成故障样本；优化第二判别器所使用到的损失函数LD(·)(G(·),D(·))包括改进的Hinge损失和梯度惩罚损失；第二判别器的训练具体如下：
S4.3、采用损失函数LG(·)(G(·),D(·))更新第二生成器，使其能够生成更加真实的生成故障样本，具体如下：
其中，表示在z服从Pz分布下的期望，Pz表示噪声分布，Pdata表示真实数据的分布，x表示真实的故障样本，G(·)表示第二生成器，D(·)表示第二判别器，表示梯度算子，表示随机样本，表示通过第二生成器G(·)生成的生成故障样本，λ表示梯度惩罚系数，ε是一个0到1间的随机数，||·||2表示 2-范数。
进一步地，步骤S5中，第二训练集中的故障样本和正常样本的数量一致。
进一步地，步骤S6中，所述的故障分类模型包括支持向量机模型(Support VectorMachine，SVM)、卷积神经网络模型(Convolutional Neural Networks，CNN) 或循环神经网络模型(Recurrent Neural Network，RNN)。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于双向注意力生成对抗网络的故障诊断方法。
一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现一种基于双向注意力生成对抗网络的故障诊断方法。
与现有技术相比，本发明的有益效果是：
1、本发明方法使用一维卷积、反卷积结构，可以直接从原始振动信号学***衡的情况下，本发明可以改善深度模型的分类性能，提高故障诊断的精度。
2、本发明所构建的时序注意力模型能够从特征映射的整体范围去捕捉信息，并定位到与故障信息相关的区域。将该模型嵌入到生成器中，可以促使生成器从整体的角度去更好的刻画振动信号，特别是与健康状态相关的区域。将该模型嵌入到判别器中，可以使判别从全局角度识别提取到的特征，并有效的定位到从真实样本和伪样本提取到的最有区别性的特征区域，从而增强判别器的辨别能力。
3、本发明所构建的通道注意力模型能够调整各个通道之间的特征关系，在强化部分通道特征的同时能够弱化部分通道特征。将该模型嵌入到生成器中，能够为不同的通道分配不同的权重，帮助生成器自适应的学习各个通道间的特征。将该模型嵌入到判别器中，当生成样本和真实样本分别输入到网络时，该模型可为不同类型的特征分配不同的通道权重，从而加强判别器的特征学习能力。
4、本发明所构建的生成对抗网络模型中，生成器和判别器中均移除全连接层，减少了网络训练的参数。损失函数将softplus(·)取代Hinge损失函数中的 ReLU(·)激活函数同时加入了梯度惩罚项，双向注意力生成对抗网络模型得到了更稳定的训练。
附图说明
图1是本发明实施例中的一种基于双向注意力生成对抗网络的故障诊断方法的流程图；
图2是本发明实施例中时序注意力模型的原理示意图；
图3是本发明实施例中通道注意力模型的原理示意图；
图4是本发明实施例中生成器网络结构示意图；
图5是本发明实施例中判别器网络结构示意图；
图6是本发明与传统生成对抗网络在实施例中的精度对比图。
具体实施方式
下面结合附图和具体实施步骤对本发明进行详细说明，但本发明的实施方式不限于此。
实施例：
一种基于双向注意力生成对抗网络的故障诊断方法，如图1所示，包括以下步骤：
S1、数据的采集与标定，分别从旋转设备上采集正常状态下的振动加速度信号及故障状态下的振动加速度信号，将采集到的正常状态下和故障状态下的振动加速度信号分别截取成多个正常样本和故障样本，样本的标签为采集该样本时设备的健康状态；
使用加速度传感器收集振动加速度信号，划分样本时，每个样本包括的样本点数不少于每个周期的采样点数，样本点数为2的幂次方。
S2、将步骤S1中获取的多个正常样本和故障样本划分为第一训练集与测试集；
在第一训练集中，正常样本的数量与故障样本的数据不等，故障样本的数量由不平衡比例(IR，Imbalanceratio，即：正常样本数量与故障样本数量之比) 决定，在测试集中，正常样本的数量和故障样本的数量相同；
所述不平衡比例在实际应用是指现场中收集到的正常样本数量与故障样本数量的比例；在模拟实验中是指人为划定的正常样本数量与故障样本数量之比，故障样本数量＝正常样本数量/不平衡比例。
S3、构建双向注意力生成对抗网络模型；
在PyTorch框架下，首先构建双向注意力模型，同时，针对振动加速度信号为一维数据的特点搭建适用于一维振动加速度信号的生成对抗网络，并将双向注意力模型嵌入到生成对抗网络中。
所述双向注意力模型包括时序注意力模型和通道注意力模型；
如图2所示，所述时序注意力模型包括两个卷积层和一个softmax(·)函数；时序注意力模型通过两个特征映射元素间的乘积与元素求和操作得到最终的特征映射，时序注意力模型的构建具体包括以下步骤：
S3.1.1、将一个N×1维的特征向量Xtam同时输入到两个1×1维的卷积层中并分别得到相应的第一特征映射Ptam和第二特征映射Qtam，其中第一特征映射Ptam作为时序注意力模型提取到的初级特征映射，而第二特征映射Qtam用于计算注意力权重值；
S3.1.2、将第二特征映射Qtam输入至softmax(·)函数中，得到一个N×1维的注意力权重向量Stam，且Stam中所有元素之和为1，具体如下：
其中，为Stam中的第i个元素，是Qtam中的第i个元素；exp(·)表示以自然常数e为底的指数函数；
S3.1.3、在注意力权重向量Stam和第一特征映射Ptam间做哈达玛乘积，进而得到时序注意力特征映射Ttam，具体如下：
其中，是Ttam中的第i个元素值；
S3.1.4、由于提取特征所含的信息在卷积或反卷积过程都会存在一定的损失，因此，在Ttam和Xtam之间使用一个残差连接，时序注意力模型的输出Ytam表示为：
其中，是Ytam中第i个位置的响应值，λ是尺度缩放因子，通过网络训练得到。
如图3所示，所述通道注意力模型包括一个卷积层和一个softmax(·)函数；通道注意力模型通过对特征映射的转置操作及特征映射元素间的乘积操作得到最终的特征表示，通道注意力模型的构建具体包括以下步骤：
S3.2.1、将一个1×N×C维的输入向量Xcam通过转置操作转换为一个 1×C×N维的第三特征映射Xtrans，其中，C表示Xcam的通道数量，然后将第三特征映射Xtrans输入到一个卷积层并得到第四特征映射Qcam，再使用softmax(·) 函数得到一个归一化的注意力权重映射Scam，具体如下：
其中，表示Xcam上的第j个通道映射，Θ(·)表示转置操作，conv(·) 表示卷积操作，表示Scam第j个位置的响应值；
S3.2.2、对Scam使用转置操作，使Scam的每一个元素值与Xcam的每一个通道相对应，得到通道注意力权重映射Strans，具体如下：
其中，为Strans的第c个位置；
S3.2.3、计算Strans与Xcam的哈达玛乘积，从而得到最终的通道注意力特征映射Tcam，具体如下：
其中，表示Xcam上第c个通道映射上的第i个位置的响应值。
所述适用于一维振动加速度信号的生成对抗网络包括一维反卷积的第一生成器和一维卷积的第一判别器，具体如下：
一维反卷积的第一生成器：将一个256×8维的噪声直接通过4个连续的反卷积层，输出生成的故障样本；
一维卷积的第一判别器：将第一生成器生成的故障样本或第一训练集中真实的故障样本，直接输入到4个连续的卷积层，输出相应的真实性标签，即0 或1，其中0表示生成的故障样本，1表示真实的故障样本。
将双向注意力模型嵌入到生成对抗网络中，双向注意力生成对抗网络包括第二生成器和第二判别器；
如图4所示，第二生成器顺次包括：输入噪声层、第一反卷积层、第一时序注意力模型、第一通道注意力模型、第二反卷积层、第二时序注意力模型、第二通道注意力模型、第三反卷积层、第三时序注意力模型、第三通道注意力模型、第四反卷积层、第四时序注意力模型和第四通道注意力模型；
如图5所示，第二判别器顺次包括：一维振动加速度信号输入层、第五时序注意力模型、第五通道注意力模型、第一卷积层、第六时序注意力模型、第六通道注意力模型、第二卷积层、第七时序注意力模型、第七通道注意力模型、第三卷积层、第八时序注意力模型、第八通道注意力模型、第四卷积层；
其中，第一时序注意力模型至第八时序注意力模型均为双向注意力模型中的时序注意力模型；第一通道注意力模型至第八通道注意力模型均为双向注意力模型中的通道注意力模型；
第二生成器根据输入的噪声，输出生成的振动加速度信号；第二判别器根据输入的第二生成器生成的振动加速度信号或真实的振动加速度信号，输出相应的真实性标签。
S4、采用第一训练集对双向注意力生成对抗网络模型进行训练，包括以下步骤：
S4.1、初始化第二生成器和第二判别器；
S4.2、固定第二生成器，输入噪声z至第二生成器，第二生成器输出生成故障样本；利用生成故障样本以及第一训练集中真实的故障样本共同训练第二判别器，使其能够很好的区分真实的故障样本和生成故障样本；优化第二判别器所使用到的损失函数LD(·)(G(·),D(·))包括改进的Hinge损失和梯度惩罚损失；第二判别器的训练具体如下：
S4.3、采用损失函数LG(·)(G(·),D(·))更新第二生成器，使其能够生成更加真实的生成故障样本，具体如下：
其中，表示在z服从Pz分布下的期望，Pz表示噪声分布，Pdata表示真实数据的分布，x表示真实的故障样本，G(·)表示第二生成器，D(·)表示第二判别器，表示梯度算子，表示随机样本，表示通过第二生成器G(·)生成的生成故障样本，λ表示梯度惩罚系数，ε是一个0到1间的随机数，||·||2表示 2-范数。
S5、建立第二训练集，使用已经训练好的双向注意力生成对抗网络模型，生成额外的故障样本，并将额外的故障样本与第一训练集中的故障样本混合在一起形成一个新的样本集，将新的样本集与正常样本共同组成一个平衡的第二训练集；
本实施例中，调用第二生成器输出生成故障样本。假设输出生成故障样本的过程的批处理量为m，则生成故障样本的数量为：ns＝m·G(z)＝G(m·z)，即生成了ns个生成故障样本，当执行k次该过程时，则生成k·ns个生成故障样本。
第二训练集中的故障样本和正常样本的数量一致。
S6、搭建故障分类模型，并采用第二训练集训练故障分类模型，得到训练好的故障分类模型；
本实施例中，第二训练集Dtrain由训练数据及其对应的标签组成，记为其中数据为划分的振动信号样本，标签为振动信号样本对应的设备的健康状态，i为样本的序号。
本实施例中，故障分类模型选择卷积神经网络(Convolutional Neural Networks,CNN)模型。
S7、将测试集中的样本输入到训练好的故障分类模型中进行测试，得到最终诊断结果；
本实施例中，测试集Dtest由训练数据及其对应的标签组成，记为
1、实验数据
本实施例的实验数据来自于汽车五档变速器。输出轴载荷为50Nm，输出轴的转速为1000rpm。加速度传感器安装在输出轴的轴承座上来测量原始振动信号，其采样频率为24kHz。该数据集总共包含5种故障类型和1种正常类型，健康状态信息具体如表1所示。
表1.变速器数据集的具体信息
按照2048个点的样本长度，将上述采集到的数据划分为若干个样本。在本节实验中，总共设置了3种不平衡比例，即：4:1，10:1，20:1。第一训练集和测试集中的样本数量如表2所示。
表2.在不同健康状态下的样本数量
2、对比方法
将本发明方法提出的双向注意力生成对抗网络(DAGAN)与其他的4种生成对抗网络模型进行比较。本法明所提出的具体网络结构参数如图4、5所示。用于4种对比生成对抗网络共有分别是Deep convolutional generative adversarial network(DCGAN)、Wasserstein generative adversarial network with a gradient penalty(WGAN-GP)、Self-Attention generative adversarial network(SAGAN)、 Auxiliary classifiergenerative adversarial network(ACGAN)，它们的网络结构如下：
DCGAN：生成器中的第一层为全连接层，其它层与DAGAN生成器结构相似，判别器中的最后一层为全连接层，其它层与DAGAN判别器相似，损失函数使用交叉熵损失；
WGAN-GP：其生成器和判别器结构与DCGAN相同，损失函数为Wasserstein 距离损失和梯度惩罚两项之和；
SAGAN：其生成器和判别器与DCGAN相同，同时在生成器和判别器的每一层加入了自注意力模型，损失函数使用Hinge损失；
ACGAN：其生成器和判别器的结构与DCGAN相同，损失函数为交叉熵损失与分类损失之和。
3、比较实验
使用相同的数量的故障样本训练这5种不同的生成模型，迭代次数均为1000 次。生成模型训练好之后，即可使用生成模型生成足够的故障样本。生成的样本可用于扩充原始的不平衡的训练集，经过数据扩充之后的训练集可转化为一个平衡的训练集。进而在平衡的训练集上训练诊断模型。本发明选用的故障分类模型是一个简单卷积神经网络(Convolutional Neural Network，CNN)模型，该故障分类模型的网络结构如表3所示：
表3.诊断模型的结构参数
故障分类模型迭代次数为40次，优化器选择AdamOptimizer。在本节比较实验中总共有5组对比实验和1组参照试验。5组对比实验分别使用5种不同生成对抗网络生成故障样本并以此来扩充原始的第一训练集，得到第二训练集。参照试验将第二训练集全部设置为原始样本，且第二训练集是一个平衡的训练集。图6展示了不同方法的诊断结果。图中‘Noaug’表示该数据集中不包含生成的样本，仅包含原始样本，属于一个不平衡的第一训练集，‘1:1*’表示数据集每种健康状态有200个样本，没有生成任何样本，即为参照试验。
由图6可知，基于生成对抗网络扩充的方法都取得了较高的诊断精度，而且在不平衡比例较大时，精度提升的更加明显。对于恢复平衡的数据集，CNN 诊断模型的诊断精度均在65.18％以上，而在初始不平衡的情况下，诊断精度仅为34.81％。在五种方法中，本发明所提出的DAGAN在三种不平衡比例下都获得了较高的诊断精度，分别为81.85％、94.15％和98.22％，同时得到了相对较低的标准差。
从上述的实施例还可以发现，基于GAN的故障样本生成技术的确是解决不平衡故障诊断问题的一种有效的方法，而且本发明提出的DAGAN在不同的对比实验中都获得了较好的分类精度。因此，可以认为，本发明提出的DAGAN能够生成高质量的样本并进一步提高故障诊断的精度。
为了实现上述实施例，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例所述的方法。
为了实现上述实施例，本发明实施例还提供了一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如所述的一种基于双向注意力生成对抗网络的故障诊断方法及应用。
本发明针对故障诊断中出现的训练集样本不平衡的问题，以汽车五档变速器为研究对象，提出一种新的不平衡故障诊断方法。本发明利用注意力机制能够强化故障相关特征的学***衡原始训练集，进而提高故障诊断的精度。
需要说明的是，虽然已经参照实例对本发明实施进行了详细的阐述，但本领域的技术人员容易理解，在不偏离所附权利要求中所阐述的本发明的精神和原则之内所作的任何修改、替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于双向注意力生成对抗网络的故障诊断方法，其特征在于，包括以下步骤：
S1、数据的采集与标定，分别从旋转设备上采集正常状态下的振动加速度信号及故障状态下的振动加速度信号，将采集到的正常状态下和故障状态下的振动加速度信号分别截取成多个正常样本和故障样本；
S2、将步骤S1中获取的多个正常样本和故障样本划分为第一训练集与测试集；
S3、构建双向注意力生成对抗网络模型；
在PyTorch框架下，首先构建双向注意力模型，同时，针对振动加速度信号为一维数据的特点搭建适用于一维振动加速度信号的生成对抗网络，并将双向注意力模型嵌入到生成对抗网络中；
所述双向注意力模型包括时序注意力模型和通道注意力模型；
所述适用于一维振动加速度信号的生成对抗网络包括一维反卷积的第一生成器和一维卷积的第一判别器，具体如下：
一维反卷积的第一生成器：将一个256×8维的噪声直接通过4个连续的反卷积层，输出生成的故障样本；
一维卷积的第一判别器：将第一生成器生成的故障样本或第一训练集中真实的故障样本，直接输入到4个连续的卷积层，输出相应的真实性标签，即0或1，其中0表示生成的故障样本，1表示真实的故障样本；
所述时序注意力模型包括两个卷积层和一个softmax(·)函数；时序注意力模型通过两个特征映射元素间的乘积与元素求和操作得到最终的特征映射，时序注意力模型的构建具体包括以下步骤：
S3.1.1、将一个N×1维的特征向量Xtam同时输入到两个1×1维的卷积层中并分别得到相应的第一特征映射Ptam和第二特征映射Qtam，其中第一特征映射Ptam作为时序注意力模型提取到的初级特征映射，而第二特征映射Qtam用于计算注意力权重值；
S3.1.2、将第二特征映射Qtam输入至softmax(·)函数中，得到一个N×1维的注意力权重向量Stam，且Stam中所有元素之和为1，具体如下：
其中，为Stam中的第i个元素，是Qtam中的第i个元素；exp(·)表示以自然常数e为底的指数函数；
S3.1.3、在注意力权重向量Stam和第一特征映射Ptam间做哈达玛乘积，进而得到时序注意力特征映射Ttam，具体如下：
其中，是Ttam中的第i个元素值；
S3.1.4、在Ttam和Xtam之间使用一个残差连接，时序注意力模型的输出Ytam表示为：
其中，ytam i是Ytam中第i个位置的响应值，λ是尺度缩放因子，通过网络训练得到；
所述通道注意力模型包括一个卷积层和一个softmax(·)函数；通道注意力模型通过对特征映射的转置操作及特征映射元素间的乘积操作得到最终的特征表示，通道注意力模型的构建具体包括以下步骤：
S3.2.1、将一个1×N×C维的输入向量Xcam通过转置操作转换为一个1×C×N维的第三特征映射Xtrans，其中，C表示Xcam的通道数量，然后将第三特征映射Xtrans输入到一个卷积层并得到第四特征映射Qcam，再使用softmax(·)函数得到一个归一化的注意力权重映射Scam，具体如下：
其中，表示Xcam上的第j个通道映射，Θ(·)表示转置操作，conv(·)表示卷积操作，表示Scam第j个位置的响应值；
S3.2.2、对Scam使用转置操作，使Scam的每一个元素值与Xcam的每一个通道相对应，得到通道注意力权重映射Strans，具体如下：
其中，为Strans的第c个位置；
S3.2.3、计算Strans与Xcam的哈达玛乘积，从而得到最终的通道注意力特征映射Ycam，具体如下：
其中，表示Xcam上第c个通道映射上的第i个位置的响应值；
S4、采用第一训练集对双向注意力生成对抗网络模型进行训练；
S5、使用已经训练好的双向注意力生成对抗网络模型，生成额外的故障样本，并将额外的故障样本与第一训练集中的故障样本混合在一起形成一个新的样本集，将新的样本集与正常样本共同组成一个第二训练集；
S6、搭建故障分类模型，并采用第二训练集训练故障分类模型，得到训练好的故障分类模型；
S7、将测试集中的样本输入到训练好的故障分类模型中进行测试，得到最终诊断结果。
2.根据权利要求1所述的一种基于双向注意力生成对抗网络的故障诊断方法，其特征在于，步骤S1中，使用加速度传感器收集振动加速度信号，划分样本时，每个样本包括的样本点数不少于每个周期的采样点数，样本点数为2的幂次方，样本的标签为采集该样本时设备的健康状态；
步骤S2中，在第一训练集中，正常样本的数量与故障样本的数据不等，故障样本的数量由不平衡比例决定，在测试集中，正常样本的数量和故障样本的数量相同；
所述不平衡比例在实际应用是指现场中收集到的正常样本数量与故障样本数量的比例，在模拟实验中是指人为划定的正常样本数量与故障样本数量之比；故障样本数量＝正常样本数量/不平衡比例。
3.根据权利要求1所述的一种基于双向注意力生成对抗网络的故障诊断方法，其特征在于，步骤S3中，将双向注意力模型嵌入到生成对抗网络中，双向注意力生成对抗网络包括第二生成器和第二判别器；第二生成器顺次包括：输入噪声层、第一反卷积层、第一时序注意力模型、第一通道注意力模型、第二反卷积层、第二时序注意力模型、第二通道注意力模型、第三反卷积层、第三时序注意力模型、第三通道注意力模型、第四反卷积层、第四时序注意力模型和第四通道注意力模型；
第二判别器顺次包括：一维振动加速度信号输入层、第五时序注意力模型、第五通道注意力模型、第一卷积层、第六时序注意力模型、第六通道注意力模型、第二卷积层、第七时序注意力模型、第七通道注意力模型、第三卷积层、第八时序注意力模型、第八通道注意力模型、第四卷积层；
其中，第一时序注意力模型至第八时序注意力模型均为双向注意力模型中的时序注意力模型；第一通道注意力模型至第八通道注意力模型均为双向注意力模型中的通道注意力模型；
第二生成器根据输入的噪声，输出生成的振动加速度信号；第二判别器根据输入的第二生成器生成的振动加速度信号或真实的振动加速度信号，输出相应的真实性标签。
4.根据权利要求3所述的一种基于双向注意力生成对抗网络的故障诊断方法，其特征在于，步骤S4包括以下步骤：
S4.1、初始化第二生成器和第二判别器；
S4.2、固定第二生成器，输入噪声z至第二生成器，第二生成器输出生成故障样本；利用生成故障样本以及第一训练集中真实的故障样本共同训练第二判别器，使其能够很好的区分真实的故障样本和生成故障样本；优化第二判别器所使用到的损失函数LD(·)(G(·),D(·))包括改进的Hinge损失和梯度惩罚损失；第二判别器的训练具体如下：
S4.3、采用损失函数LG(·)(G(·),D(·))更新第二生成器，使其能够生成更加真实的生成故障样本，具体如下：
其中，表示在z服从Pz分布下的期望，Pz表示噪声分布，Pdata表示真实数据的分布，x表示真实的故障样本，G(·)表示第二生成器，D(·)表示第二判别器，表示梯度算子，表示随机样本，表示通过第二生成器G(·)生成的生成故障样本，λ表示梯度惩罚系数，ε是一个0到1间的随机数，||·||2表示2-范数。
5.根据权利要求1所述的一种基于双向注意力生成对抗网络的故障诊断方法，其特征在于，步骤S5中，第二训练集中的故障样本和正常样本的数量一致；
步骤S6中，所述故障分类模型包括支持向量机模型(Support Vector Machine，SVM)、卷积神经网络模型(Convolutional Neural Networks，CNN)或循环神经网络模型(Recurrent Neural Network，RNN)。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种基于双向注意力生成对抗网络的故障诊断方法。
7.一种电子设备，其特征在于：包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至5中任一项所述的一种基于双向注意力生成对抗网络的故障诊断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111194623.3A CN114298267B (zh) | 2021-10-13 | 2021-10-13 | 一种基于双向注意力生成对抗网络的故障诊断方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111194623.3A CN114298267B (zh) | 2021-10-13 | 2021-10-13 | 一种基于双向注意力生成对抗网络的故障诊断方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114298267A CN114298267A (zh) | 2022-04-08 |
| CN114298267B true CN114298267B (zh) | 2024-07-09 |
Family
ID=80964277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111194623.3A Active CN114298267B (zh) | 2021-10-13 | 2021-10-13 | 一种基于双向注意力生成对抗网络的故障诊断方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298267B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114895647A (zh) * | 2022-04-13 | 2022-08-12 | 哈尔滨工程大学 | 一种面向小样本船舶零件故障数据的诊断方法及可读存储介质 |
| CN114992138B (zh) * | 2022-06-13 | 2024-03-26 | 湘潭大学 | 基于GAN-CNN-BiLSTM的工业循环水***供水泵故障诊断方法 |
| CN114913396A (zh) * | 2022-07-15 | 2022-08-16 | 西北工业大学 | 一种电机轴承故障诊断方法 |
| CN115169506A (zh) * | 2022-09-06 | 2022-10-11 | 中铁第四勘察设计院集团有限公司 | 一种供变电关键设备故障快速诊断方法及*** |
| CN115481692B (zh) * | 2022-09-23 | 2023-10-10 | 江苏安控智汇科技股份有限公司 | 一种基于sgan的水泵机组故障诊断方法 |
| CN116824512B (zh) * | 2023-08-28 | 2023-11-07 | 西华大学 | 一种27.5kV可视化接地刀闸状态识别方法及装置 |
| CN117669388B (zh) * | 2024-01-30 | 2024-05-31 | 武汉理工大学 | 故障样本生成方法、装置、计算机介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110617966A (zh) * | 2019-09-23 | 2019-12-27 | 江南大学 | 一种基于半监督生成对抗网络的轴承故障诊断方法 |
| CN111337243A (zh) * | 2020-02-27 | 2020-06-26 | 上海电力大学 | 基于acgan的风电机组行星轮齿轮箱故障诊断方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255078A (zh) * | 2021-05-31 | 2021-08-13 | 南京信息工程大学 | 一种样本不均衡条件下的轴承故障检测方法及装置 |
-
2021
- 2021-10-13 CN CN202111194623.3A patent/CN114298267B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110617966A (zh) * | 2019-09-23 | 2019-12-27 | 江南大学 | 一种基于半监督生成对抗网络的轴承故障诊断方法 |
| CN111337243A (zh) * | 2020-02-27 | 2020-06-26 | 上海电力大学 | 基于acgan的风电机组行星轮齿轮箱故障诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114298267A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298267B (zh) | 一种基于双向注意力生成对抗网络的故障诊断方法及应用 | |
| Jiao et al. | Deep coupled dense convolutional network with complementary data for intelligent fault diagnosis | |
| WO2023020388A1 (zh) | 一种齿轮箱故障诊断、信号采集方法、装置和电子设备 | |
| CN110751207A (zh) | 基于深度卷积域对抗迁移学习的故障诊断方法 | |
| CN112577748A (zh) | 基于强化的轻量级多尺度cnn的滚动轴承故障诊断方法 | |
| CN113887136A (zh) | 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法 | |
| CN112257528A (zh) | 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法 | |
| CN116952583A (zh) | 一种数字孪生驱动深度迁移学习模型的滚动轴承故障诊断方法 | |
| CN110689130A (zh) | 轴承故障诊断方法 | |
| CN114970628B (zh) | 样本不均衡下基于生成对抗网络的转动部件故障诊断方法 | |
| CN117236188A (zh) | 一种仿真数据辅助的轴承迁移诊断方法、***及设备介质 | |
| Kang et al. | A dual-experience pool deep reinforcement learning method and its application in fault diagnosis of rolling bearing with unbalanced data | |
| CN111738398B (zh) | 一种用于行星齿轮故障诊断的新型深度特征学习方法 | |
| Sun et al. | Effective convolutional transformer for highly accurate planetary gearbox fault diagnosis | |
| CN115808312A (zh) | 基于可变形卷积和Transformer的滚动轴承故障诊断方法 | |
| CN114925724A (zh) | 一种机械设备故障诊断方法、装置及存储介质 | |
| Qi et al. | A new deep fusion network for automatic mechanical fault feature learning | |
| CN114383845A (zh) | 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法 | |
| Chen et al. | A compound fault diagnosis method based on Multi-task Learning with Multi-gate Mixture-of-Experts | |
| CN110646188A (zh) | 一种旋转式机械设备故障诊断方法 | |
| Zhao et al. | A Small-sample Intelligent Fault Diagnosis Method Based on Deep Transfer Learning | |
| Wu et al. | Multi-Channel vibration signals fusion based on rolling bearings and MRST-Transformer fault diagnosis model | |
| Zhang et al. | Fault diagnosis of rotating machinery based on transfer learning with SENet module | |
| CN115964661B (zh) | 基于域对抗网络的旋转机械故障诊断方法和*** | |
| Ahsan et al. | Advanced Fault Diagnosis in Rotating Machines Using 2D Grayscale Images with Improved Deep Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |