CN110751207A - 基于深度卷积域对抗迁移学习的故障诊断方法 - Google Patents

Abstract

本发明公开了基于深度卷积域对抗迁移学习的故障诊断方法，在DCDATL中，利用深度卷积残差特征提取器进行高层特征提取，改善了DCDATL的收敛性和非线性逼近能力；通过获得的高层特征和标签信息的克罗内克积获得特征联合分布表示并嵌入域分类器中，并进行域对抗训练改进了DCDATL的迁移性能；基于最小化DCDATL的联合分布域对抗总体损失函数的特征迁移和分类过程提高了迁移后的分类精度。DCDATL的以上优势使得基于DCDATL的故障诊断方法在旋转机械当前工况下的有标签样本不存在情况下，可利用历史工况下的有标签样本对旋转机械当前待测样本进行高精度故障诊断。

Description

基于深度卷积域对抗迁移学习的故障诊断方法

技术领域

本发明属于旋转机械故障诊断方法技术领域，具体涉及基于深度卷积域对抗迁移学习的故障诊断方法。

背景技术

旋转机械设备广泛应用在冶金、航空、交通、化工和能源等行业，其机械结构正在趋向大型化、重型化、精密化和高速化等方向地发展。对它进行状态监测和故障诊断是保证现代化工业设备长期安全可靠运行的重要手段。

由于在整个服役的过程中，旋转机械常常工作在变工况工业环境下，故障发生概率高，易损坏。在变工况(如：不同转速、不同负载)环境下，存在难以直接监测当前实际工作状况下的状态数据的问题，这导致旋转机械在当前实际工况下的已知故障类型的样本数据(即目标域有标签样本数据)因很难获得而较少；另外，变工况条件又使得以往工况条件下获得的历史训练故障数据(即辅助域有标签样本数据)与目标域数据的分布特性产生差异、漂移。虽然近年来对在变工况条件下的旋转机械故障诊断的研究受到一定的关注，但不少研究学者和研究机构试图采用支持向量机(Support Vector Machine，SVM)、最近邻分类器(Nearest neighbor classifier,NNC)、自动编码器(Automatic encoder,AE)等传统机器学习方法来解决该问题。然而，这类方法在训练和测试样本存在分布差异的情况下，所建立的分类模型泛化能力较差，因此并不适用于在变工况条件下的故障诊断。

近几年发展起来的迁移学习理论为在变工况条件下的旋转机械故障诊断提供了全新解决思路。迁移学习无需像传统机器学习那样要求训练样本与测试样本作同分布假设，其主要思想是从现有辅助域中学到知识，再将这些知识迁移到目标域，以完成目标域的分类。目前面向旋转机械故障诊断的迁移学习研究刚刚起步，仅有为数不多的几项研究案例。如：沈飞等采用基于自相关矩阵SVD的特征提取方法与迁移学习相结合用于电机轴承的故障诊断；陈超等采用一种具有迁移学习能力的改进最小二乘支持向量机(supportvector machine，SVM)用于球形轴承故障诊断；康守强等采用了迁移成分分析(Transfercomponent analysis,TCA)用于变工况下滚动轴承故障诊断。但上述几种迁移学习方法要求辅助域与目标域样本具有较高的相似度，若辅助域与目标域样本的相似性较低，则其分类准确率就会衰退，出现“负迁移”问题。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度卷积域对抗迁移学习的故障诊断方法解决了现有的旋转机械故障诊断方法中获取旋转机械的带有大量有标签样本(即已知故障类型的样本)较为困难，以致当前工况下的有标签样本较少，造成对当前待测样本的故障诊断准确率较低的问题。

为了达到上述发明目的，本发明采用的技术方案为：基于深度卷积域对抗迁移学习的故障诊断方法，包括以下步骤：

S1、对辅助域和目标域的每个旋转机械样本分别进行分段预处理，得到对应的预处理结果；

S2、将两个预处理结果作为输入样本分别输入到深度卷积域对抗迁移学习模型中，获得深度卷积域对抗迁移学习模型中的域分类器的域对抗损失函数和标签预测器的联合损失函数；

S3、基于域分类器的域对抗损失函数和标签预测器的联合损失函数，计算深度卷积域对抗迁移学习模型的联合分布域对抗总体损失函数，并对深度卷积域对抗迁移学习模型进行训练；

S4、将目标域中的旋转机械待测样本输入到训练好的深度卷积域对抗迁移学习模型中，对旋转机械待测样本类标签进行预测，实现旋转机械故障诊断。

进一步地，所述步骤S1中的分段预处理为对每个旋转机械样本依次进行归一化和数组重构处理。

进一步地，所述步骤S2中的深度卷积域对抗学习模型包括深度卷积残差特征提取器、标签预测器和域分类器；

所述深度卷积残差特征提取器分别与标签预测器和域分类器连接，所述标签预测器与域分类器连接；

所述深度卷积残差特征提取器包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元包括依次连接的第一卷积层、第一残差层、第一平均池化层和第一全连接层，所述第二特征提取单元包括依次连接的第二卷积层、第二残差层、第二平均池化层和第二全连接层；

所述第一残差层和第二残差层均包括若干个堆叠连接的残差块，每个所述残差块包括依次连接的第一权重层、第一relu激活函数、第二权重层、累加器和第二relu激活函数，所述第一权重层的输入端还与累加器的输入端连接，所述第二relu激活函数的输出端与下一残差块的输入端、第一平均池化层的输入端或第二平均池化层的输入端连接；

所述标签预测器包括第一标签预测单元和第二标签预测单元，所述第一标签预测单元和第二标签预测单元中的各参数共享，所述第一标签预测单元包括依次连接的第三全连接层、第四全连接层和第一softmax激活函数；所述第二标签预测单元包括依次连接的第五全连接层、第六全连接层和第二softmax激活函数；

所述域分类器包括梯度反转层，所述梯度反转层的第一输出端、第七全连接层、第八全连接层和第一sigmoid激活函数依次连接，所述梯度反转层的第二输出端、第九全连接层、第十全连接层和第二sigmoid激活函数依次连接；

所述第一全连接层的输出端分别与第三全连接层的输入端、第一softmax激活函数的输出端和梯度反转层的第一输入端连接，所述第二全连接层的输出端分别与第五全连接层的输入端和梯度反转层的第二输入端连接。

进一步地，所述步骤S2具体为：

S21、通过深度卷积残差特征提取器提取预处理后的辅助域旋转机械样本对应的辅助域样本高层特征和目标域旋转机械样本对应的目标域样本高层特征，并将其输入到标签预测器；

S22、根据输入到标签预测器的辅助域样本高层特征，对标签预测器进行训练；

S23、通过训练好的标签预测器对输入的目标域样本高层特征进行处理，获得目标域样本伪标签和标签预测器的联合损失函数；

S24、计算辅助域样本高层特征与其标签的克罗内克积和目标域样本高层特征与其对应的伪标签的克罗内克积，获得特征联合分布表示，并将其输入到域分类器中；

S25、基于输入到域分类器中的特征联合分布表示，对域分类器进行域对抗训练，获得域分类器的域对抗损失函数。

进一步地，所述步骤S21具体为：

A1、设置输入到深度卷积残差特征提取器的辅助域旋转机械样本为

目标域旋转机械样本为

经第一卷积层和第二卷积层后的输出分别为x^s(l)和x^l(l)，将其分别作为第一残差层和第二残差层的输入；

A2、设置第一残差层中残差块的数量为L，则第一残差层的输出x^s(L+1)为：

式中，F(·)为残差函数；

W⁽ⁱ⁾分别为第一残差层中第i个残差块的权重，且i＝l,l＝1,2,3,...L，l为残差块的编号；

A3、通过第一平均池化层和第一全连接层依次对第一残差层的输出进行平均池化和全连接处理，得到第一全连接层输出的辅助域样本高层特征f^s为：

式中，G_f(·)为深度卷积残差特征提取器的总映射函数；

θ_f为深度卷积残差特征提取器的权重参数和偏置系数的集合；

A4、基于步骤A2-A3，得到第二全连接层输出的目标域样本高层特征f^t为：

f^t＝G_f(x_i ^t,θ_f)。

进一步地，所述步骤S23中的标签预测器的联合损失函数包括辅助域标签损失函数

和目标域标签损失函数

所述辅助域标签预测器函数

为：

式中，N_S为辅助域原始旋转机械样本总数；

为对数损失函数；

G_S(·)为标签预测器的总映射函数；

θ_l为标签预测器的各层权重参数和偏置系数的集合；

为辅助域旋转机械样本的标签；

所述目标域标签预测器损失函数

为：

式中，N_t为目标域原始旋转机械样本总数；

C为目标域旋转机械样本的类别总数；

为类条件分布熵，为目标域旋转机械样本的伪标签，其中，

进一步地，所述步骤S25具体为：

将辅助域样本高层特征与其标签的克罗内克积和目标域样本高层特征与其伪标签作克罗内克积作为特征联合分布，输入到域分类器中，通过梯度反转层使深度卷积残差特征提取器和域分类器形成对抗网络，并用域对抗的训练方法减小辅助域样本高层特征和目标域样本高层特征之间的联合分布差异，并获得域分类器的域对抗损失函数；

式中，

为克罗内克积运算符。

进一步地，所述步骤S25中，在用域对抗训练对抗网络过程中：

由于梯度反转层的存在，在域分类器中的反向传播过程中预测值与真实值的误差向后传递，通过域分类器中每层网络均根据传回的误差计算梯度；

当误差传到梯度反转层时，给该误差乘以参数-λ，再向与之连接的深度卷积残差特征提取器传播，使深度卷积残差特征提取器和域分类器的训练目的相反，实现域对抗训练；

在确定域分类器的域对抗损失函数时：

定义域分类器中的梯度反转层f(v)为：

g(f(v),λ)＝f(v)

式中，g(·)为梯度反转层映射函数；

v为梯度反转层输入的自变量；

λ为梯度反转层超参数；

得到域分类器中的梯度反转层的梯度为：

由于梯度反转层的存在，通过标准反向传播算法更新深度卷积残差特征提取器的参数集θ_f和域分类器的参数集θ_d，得到域分类器输出的辅助域域类别标签

和目标域域类别标签分别为：

式中，

和

分别为域分类器在辅助域和目标域的预测输出的辅助域域类别标签和目标域域类别标签；

G_d(·)为域分类器映射函数；

设置辅助域原始旋转机械样本和目标域原始旋转机械样本分别为

和

得到域分类器的域对抗损失函数

为：

式中，为辅助域样本域分类器损失函数；

为目标域样本域分类器损失函数；

N_S为辅助域原始旋转机械样本总数；

N_t为目标域原始旋转机械样本总数；

均为域类别标签的决策变量，当为辅助域域类别标签时，

当为目标域域类别标签时，

进一步地，所述步骤S3中，计算深度卷积对抗迁移学习模型的联合分布域对抗总体损失函数，并利用随机梯度下降算法找到使当总体损失函数值最小时的最优参数θ^* _f、θ^* _d和θ^* _l，完成深度卷积域对抗迁移学习模型的训练；

所述联合分布域对抗总体损失函数为：

式中，为标签预测器的联合损失函数，α、β均为平衡约束参数，分别用于约束标签预测器和域分类器局部寻优行为。

进一步地，所述步骤S4中，将目标域中的旋转机械待测样本输入到训练好的深度卷积域对抗迁移学习模型中，对旋转机械待测样本类标签进行预测，得到其类别预测标签y_i ^t，实现旋转机械故障诊断；

所述类别预测标签y_i ^t的表达式为：

本发明的有益效果为：

本发明提供的基于深度卷积域对抗迁移学习的故障诊断方法，在所发明的DCDATL中，利用深度卷积残差特征提取器进行高层特征提取能够避免DCDATL训练过程中梯度消失、梯度发散等梯度问题，可改善DCDATL的收敛性和非线性逼近能力；通过获得的高层特征和标签信息的克罗内克积获得特征联合分布表示并嵌入域分类器中，在域分类器中利用梯度反转进行辅助域与目标域域对抗训练，通过以上辅助域有标签样本和目标域无标签样本的特征联合分布进行域对抗训练可增强辅助域有标签样本对目标域的域适应能力，从而学习得到辅助域与目标域的域不变特征，进而改进DCDATL的迁移性能；基于最小化DCDATL的联合分布域对抗总体损失函数的特征迁移和分类过程可提高迁移后的分类精度。DCDATL的以上优势使得基于DCDATL的故障诊断方法在旋转机械当前工况下的有标签样本(即目标域有标签样本)不存在情况下，可利用历史工况下的有标签样本(即辅助域有标签样本)对旋转机械当前待测样本进行高精度故障诊断。

附图说明

图1为本发明提供基于深度卷积域对抗迁移学习的故障诊断方法实现流程图。

图2为本发明提供的DCDATL模型结构图。

图3为本发明提供的残差块结构图。

图4为本发明提供的实施例中滚动轴承故障模拟实验台实物图。

图5为本发明提供的实施例中外圈裂纹故障诊断准确率对比结果。

图6为本发明提供的实施例中滚动体裂纹故障诊断准确率对比结果。

图7为本发明提供的实施例中内圈裂纹故障诊断准确率对比结果。

图8为本发明提供的实施例中平均故障诊断准确率对比结果。

图9为本发明提供的实施例中外圈裂纹故障诊断准确率对比结果。

图10为本发明提供的实施例中滚动体裂纹故障诊断准确率对比结果。

图11为本发明提供的实施例中内圈裂纹故障诊断准确率对比结果。

图12为本发明提供的实施例中平均故障诊断准确率对比结果。

图13为本发明提供的实施例中外圈裂纹故障诊断准确率对比结果。

图14为本发明提供的实施例中滚动体裂纹故障诊断准确率对比结果。

图15为本发明提供的实施例中内圈裂纹故障诊断准确率对比结果。

图16为本发明提供的实施例中平均故障诊断准确率对比结果。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，基于深度卷积域对抗迁移学习的故障诊断方法，包括以下步骤：

S1、对辅助域和目标域的每个旋转机械样本分别进行分段预处理，得到对应的预处理结果；

S2、将两个预处理结果作为输入样本分别输入到深度卷积域对抗迁移学习模型(DCDATL)中，获得深度卷积域对抗迁移学习模型中的域分类器的域对抗损失函数和标签预测器的联合损失函数；；

S3、基于域分类器的域对抗损失函数和标签预测器的联合损失函数，计算深度卷积域对抗迁移学习模型的联合分布域对抗总体损失函数，并对深度卷积域对抗迁移学习模型进行训练；

S4、将目标域中的旋转机械待测样本输入到训练好的深度卷积域对抗迁移学习模型中，对旋转机械待测样本类标签进行预测，实现旋转机械故障诊断。

上述步骤S1中的分段预处理为对每个旋转机械样本依次进行归一化和数组重构处理。

如图2所示，步骤S2中的深度卷积域对抗学习模型包括深度卷积残差特征提取器、标签预测器和域分类器，通过深度卷积残差特征提取器提取高层特征、用辅助域有标签样本和目标域无标签样的联合分布进行域对抗训练以及最小化域分类器和标签预测器的总体损失函数(即最小化DCDATL的联合分布域对抗损失总体函数)这个三个过程完成故障特征的迁移和分类。具体地，图2中的DCDATL中的深度卷积残差特征提取器分别与标签预测器和域分类器连接，标签预测器与域分类器连接；

深度卷积残差特征提取器包括第一特征提取单元和第二特征提取单元，第一特征提取单元包括依次连接的第一卷积层、第一残差层、第一平均池化层和第一全连接层，第二特征提取单元包括依次连接的第二卷积层、第二残差层、第二平均池化层和第二全连接层；

如图3所示，第一残差层和第二残差层均包括若干个堆叠连接的残差块，每个残差块包括依次连接的第一权重层、第一relu激活函数、第二权重层、累加器和第二relu激活函数，第一权重层的输入端还与累加器的输入端连接，第二relu激活函数的输出端与下一残差块的输入端、第一平均池化层的输入端或第二平均池化层的输入端连接；

标签预测器包括第一标签预测单元和第二标签预测单元，第一标签预测单元和第二标签预测单元各参数共享，第一标签预测单元包括依次连接的第三全连接层、第四全连接层和第一softmax激活函数；第二标签预测单元包括依次连接的第五全连接层、第六全连接层和第二softmax激活函数；其中，第一标签预测单元和第二标签预测单元各共享参数包括各层对应的权重和偏置相同，即第三层全连接层与第五层全连接层参数相同，第四层全连接层与第六层全连接层参数相同；

域分类器包括梯度反转层，梯度反转层的第一输出端、第七全连接层、第八全连接层和第一sigmoid激活依次函数连接，梯度反转层的第二输出端分别与第九全连接层、第十全连接层和第二sigmoid激活函数依次连接；

第一全连接层的输出端分别与第三全连接层的输入端、第一softmax激活函数的输出端和梯度反转层的第一输入端连接，第二全连接层的输出端分别与第五全连接层的输入端和梯度反转层的第二输入端连接。

DCDATL的理论优势使得基于DCDATL的旋转机械故障诊断方法在旋转机械当前工况下的有标签样本(即目标域有标签样本)不存在的情况下，可利用历史工况下的有标签样本(辅助域有标签样本)对旋转机械当前待测样本进行高精度故障诊断。

如图2所示，基于DCDATL的理论模型，在进行具体的故障诊断时，上述步骤S2具体为：

S21、通过深度卷积残差特征提取器提取预处理后的辅助域旋转机械样本对应的辅助域样本高层特征和目标域旋转机械样本对应的目标域样本高层特征，并将其输入到标签预测器；

S22、根据输入到标签预测器的辅助域样本高层特征，对标签预测器进行训练；

S23、通过训练好的标签预测器对输入的目标域样本高层特征进行处理，获得目标域样本伪标签和标签预测器的联合损失函数；

S24、计算辅助域样本高层特征与其标签的克罗内克积和目标域样本高层特征与其对应的伪标签的克罗内克积，获得特征联合分布表示，并将其输入到域分类器中；

S25、基于输入到域分类器中的特征联合分布表示，对域分类器进行域对抗训练，获得域分类器的域对抗损失函数。

在上述步骤S21中，利用深度卷积残差特征提取器提取高层特征时，两个残差层形成残差网络(ResNet)通过引入残差块(Residual block)构建深度卷积残差特征提取器中的深层网络，残差块的结构如图3所示，以x为输入，以H(x)为输出，F(x)为残差映射函数，权重层为卷积层。

构建深层网络的基本约束是堆叠后的网络模型误差应不高于基础的浅层模型(一个浅层模型包含一个残差块)。这里采用恒等映射的方法构建深层模型，即用H(x)＝x表示一组堆叠网络层的最佳映射。当网络较深时，模型难以直接拟合实际映射H(x)，残差网络通过引入“shortcut”快捷连接将映射H(x)问题转换为拟合残差映射F(x)，此时实际映射H(x)表示为：

H(x)＝F(x)+x (1)

此时，残差网络模型只需最小化残差函数F(x)＝H(x)-x来逼近实际映射以解决网络层堆叠的性能退化问题。

因此，上述步骤S21具体为：

A1、设置输入到深度卷积残差特征提取器的辅助域旋转机械样本为目标域旋转机械样本为

经第一卷积层和第二卷积层后的输出分别为x^s(l)和x^l(l)，将其分别作为第一残差层和第二残差层的输入；

A2、设置第一残差层中残差块的数量为L，则第一残差层的输出x^s(L+1)为：

式中，F(·)为残差函数；

W⁽ⁱ⁾分别为第一残差层中第i个残差块的权重，且i＝l,l＝1,2,3,...L，l为残差块的编号；

由式(2)可见，残差网络的特征是各层残差特征的累和，保证了l+1层比l层拥有更多的特征信息。在反向传播过程中，根据链式求导法则，误差损失项loss对于网络前端的第L个残差块的梯度计算式为:

式(3)表明最深层L的梯度可直接传递至任意比它浅的网络层l，且在反向传播时误差损失项loss对各残差块的梯度均大于或等于1，因此可避免梯度消失、梯度发散的问题。

A3、通过第一平均池化层和第一全连接层依次对第一残差层的输出进行平均池化和全连接处理，得到第一全连接层输出的辅助域样本高层特征f^s为：

式中，G_f(·)为深度卷积残差特征提取器的总映射函数；

θ_f为深度卷积残差特征提取器的权重参数和偏置系数的集合；

A4、基于步骤A2-A3，得到第二全连接层输出的目标域样本高层特征f^t为：

f^t＝G_f(x_i ^t,θ_f) (5)

上述步骤S23中的标签预测器的联合损失函数包括辅助域标签损失函数和目标域标签损失函数

辅助域标签预测器函数

为：

式中，N_S为辅助域原始旋转机械样本总数；

为对数损失函数；

G_S(·)为标签预测器的总映射函数；

θ_l为标签预测器的各层权重参数和偏置系数的集合；

为辅助域旋转机械样本的标签；

为了使标签预测器更好地拟合目标样本的分布，本发明中以最小化类条件概率分布交叉熵为目标，结合目标域待测样本来定义目标域标签预测器损失函数为：

式中，N_t为目标域原始旋转机械样本总数；

C为目标域旋转机械样本的类别总数；

为类条件分布熵，

为目标域旋转机械样本的伪标签，其中

通过最小化类条件分布熵，使得标签预测器能更准确预测目标域待测样本的类标签。

上述步骤S25具体为：

将辅助域样本高层特征与其标签的克罗内克积

和目标域样本高层特征与其伪标签作克罗内克积作为特征联合分布(

为克罗内克积运算符)输入到域分类器中，通过梯度反转层使深度卷积残差特征提取器和域分类器形成对抗网络，并用域对抗的训练方法减小辅助域样本高层特征和目标域样本高层特征之间的联合分布差异，并获得域分类器的域对抗损失函数。深度卷积域残差特征提取器试图从辅助域和目标域样本中提取让域分类器无法分辨的特征，然而域分类器被训练后会尽可能判断信息是来自辅助域还是目标域，这样深度卷积残差特征提取器和域分类器就形成了一种对抗的关系。

因此，在上述步骤S25中，在用域对抗训练对抗网络过程中：

由于梯度反转层(GRL)的存在，很容易训练对抗网络，在域分类器中的反向传播过程中预测值与真实值的误差向后传递，通过域分类器中每层网络均根据传回的误差计算梯度；

当误差传到梯度反转层时，给该误差乘以参数-λ，再向与之连接的深度卷积残差特征提取器传播，使深度卷积残差特征提取器和域分类器的训练目的相反，实现域对抗训练；

在确定域分类器的域对抗损失函数时：

定义域分类器中的梯度反转层为：

g(f(v),λ)＝f(v) (8)

式中，g(·)为梯度反转层映射函数；

v为梯度反转层输入的自变量；

λ为梯度反转层超参数；

得到域分类器中的梯度反转层的梯度为：

由于梯度反转层的存在，通过标准反向传播算法更新深度卷积残差特征提取器的参数集θ_f和域分类器的参数集θ_d，得到域分类器输出的辅助域域类别标签和目标域域类别标签

分别为：

式中，和

分别为域分类器在辅助域和目标域的预测输出的辅助域域类别标签和目标域域类别标签；

G_d(·)为域分类器映射函数；

设置辅助域原始旋转机械样本和目标域原始旋转机械样本分别为

和得到域分类器的域对抗损失函数

为：

式中，

为辅助域样本域分类器损失函数；

为目标域样本域分类器损失函数；

N_S为辅助域原始旋转机械样本总数；

N_t为目标域原始旋转机械样本总数；

均为域类别标签的决策变量，当为辅助域域类别标签时，

当为目标域域类别标签时，

在最小化域分类器的域对抗损失函数

和通过反向传播算法更新参数的过程中，域分类器的预测值与真实值误差传到梯度反转层时会乘以一个负数-λ，使深度卷积残差特征提取器与域分类器训练的目的相反，实现了域对抗训练。于是，将特征联合分布表示和

嵌入域分类器，通过式(8)-(12)所示的域对抗训练来保证

即使得辅助域样本与目标域样本经深度卷积残差特征提取器提取的高层特征联合概率分布相似，也即使辅助域有标签样本和目标域无标签样本(即待测样本)被映射到域差异最小的共享特征空间，从而学习到辅助域与目标域的域不变特征，完成迁移学习前半段过程。以上用域间样本的联合分布进行域对抗训练的过程增强了辅助域有标签样本对目标域的域适应能力，使DCDATL后续迁移学习过程能更好地进行。

在上述步骤S3中，计算深度卷积域对抗迁移学习模型的联合分布域对抗总体损失函数，并利用随机梯度下降算法找到使当该总体损失函数值最小时的最优参数θ^* _f、θ^* _d和θ^* _l，完成深度卷积域对抗迁移学习模型的训练；

联合分布域对抗总体损失函数为：

式中，

为标签预测器的联合损失函数；

根据前述公式，可进一步推导，得到该总体损失函数为：

式中，α、β均为平衡约束参数，分别用于约束标签预测器和域分类器局部寻优的行为。

最后，使用随机梯度下降算法找到使式(14)值最小(即：使总体损失最小)的最优参数θ^* _f、θ^* _d和θ^* _l，完成DCDATL的训练。

在上述步骤S4中，将目标域待测样本输入训练好的DCDATL得到其类别预测标签y_i ^t，实现旋转机械故障诊断，该过程可由下式表达。

基于上述过程，DCDATL迁移学习后半段过程是以最小化DCDATL联合分布域对抗总体损失函数为目的，这不仅达到了域对抗的目的，完成了特征迁移，而且保证了标签预测器对目标域待测样本类标签预测的高精度。

在本发明的一个实施例中，提供了采用本发明方法进行旋转机械故障针对是实验过程：

1.实验装置：

实验采用美国凯斯西储大学电气工程实验室的滚动轴承(滚动轴承是一种典型的旋转机械)故障模拟试验台采集的轴承数据。该试验台如图4所示，包括电动机、扭矩传感器/译码器等。待检测的驱动端滚动轴承(型号为SKF6205-2RS)支撑着电动机的转轴。该实验室以电火花加工的方式在3个滚动轴承的外圈、滚动体、内圈上分别加工直径0.3556mm，深0.279mm的小槽模拟滚动轴承外圈、滚动体、内圈单点裂纹。电动机功率和转速通过扭矩传感器/译码器测得并手动记录。在驱动端的轴承座上安装加速度传感器，通过信号采集仪采集由加速度传感器监测的不同工况(即不同转速、不同负载)下的滚动轴承因故障引起的振动加速度信号，采样频率12kHz。截取每1024个连续的振动加速度数据点作为一个样本。分别记在转速1772r/min、1马力负载条件下为工况A；在转速1750r/min、2马力负载条件下为工况B；转速1730r/min、3马力负载条件下为工况C。采集到每种工况下外圈、滚动体、内圈故障样本分别约110个。对每一个样本进行分段预处理，得到对应的一个32×32矩阵作为DCDATL的一个输入样本。

2.DCDATL网络结构设计和参数设置：

DCDATL网络结构设计如下：

(1)设计深度卷积残差特征提取器网络第一层为普通卷积层，第二层为第1残差层，第三层为第2残差层，第四层为第3残差层，第五层为平均池化层，第六层为全连接层。具体配置如表1所示：

表1深度残差卷积特征提取器网络结构表

表1中{3×3,16；3×3,16}表示两层权重层连接构成一个残差块，其中3×3代表该权重层卷积核尺寸，16为该权重层输出特征图数目，{3×3,16；3×3,16}×3表示一个残差层由三个残差块构成。

(2)设计标签预测器的结构如表2所示，第一层为与深度残差卷积特征提取器相连的全连接层，该层激活函数为线性修正单元函数，第二层为标签预测器的最大软输出层，该层的激活函数为softmax。

表2标签预测器网络结构表

(3)设计域分类器的结构如表3所示，第一层为全连接层，该层激活函数为线性修正单元函数，它通过梯度反转层与深度残差卷积特征提取器的全连接层相连接，第二层为域分类器的输出层，该层激活函数为sigmoid。

表3域分类器网络结构表

DCDATL的参数设置如下：标签预测器的平衡约束参数α＝0.5；域分类器的域适应约束参数β＝1，为克服噪声信号的干扰，在DCDATL的早期训练中用

改变域分类器中梯度反转层的超参数λ，其中不同数据敏感参数λ₀、γ、q分别取为λ₀＝1，γ＝2，q＝0.6∈(0,1)；随机梯度下降算法的学习率

其中调节参数η₀＝0.02，μ＝0.94，训练总步数N＝2000，p＝1，2，…，2000。

3.以A工况下样本作为辅助域有标签样本，B工况样本作为目标域无标签样本(即当前待测样本)做实验和对比：

实验之前，将辅助域中用作训练样本的有标签样本数目始终维持不变，取为100×3(3为故障种类数，下同)个；将目标域中用作训练样本的无标签样本数目最大值取为100×3个；再从目标域110×3个无标签样本中随机抽取30×3个作为当前待测样本。在改变辅助域训练样本数目与目标域训练样本数目的比值(即只逐渐递减目标域中用作训练样本的无标签样本数目)的情况下，将本文所提出的基于DCDATL的故障诊断方法对轴承SKF6205—2RS三种故障的当前待测样本的诊断准确率及平均诊断准确率与基于TCA和SVM(TCA+SVM)的故障诊断方法以及基于TrAdBoost的方法进行对比，对比结果如图5-8所示。表4展示了在辅助域训练样本数与目标域训练样本数比值为r＝2.5时所提出的方法和两种被比较的方法的故障诊断正确率。

表4辅助域训练样本数与目标域训练样本数比值r＝2.5时的故障诊断准确率(％)

对比图5-8可知，随着目标域训练样本数目的减小(即辅助域训练样本数与目标域训练样本数比值逐渐增大)，三种方法的诊断准确率都逐渐下降(原因在于随着目标域中作为训练样本的无标签样本数目的减少，造成两领域间相似度高、可迁移性好的训练样本也在减少，使得三种算法训练都不充分，因此其域适应能力都有一定程度的下降)，但所提出的方法DCDATL始终比其他两种方法具有更高的故障诊断精度。

4.以C工况下样本作为辅助域有标签样本，B工况样本作为目标域无标签样本(即当前待测样本)做实验和对比：

实验过程与3中类同，本发明所提出的基于DCDATL的故障诊断方法对轴承SKF6205—2RS三种故障的当前待测样本的诊断准确率及平均诊断准确率与基于TCA+SVM的故障诊断方法和基于TrAdBoost的方法的对比结果如图9-12所示。

对比结果表明，所提出的方法在以C工况下样本作为辅助域有标签样本，B工况样本作为目标域无标签样本(即当前待测样本)的情况下，仍然具有比其他两种方法更高的故障诊断精度。

5.将A、C工况下样本混合作为辅助域有标签样本，B工况样本作为目标域无标签样本(即当前待测样本)做实验和对比：

在本实验中，将A工况下的50×3个有标签样本和C工况下的50×3个有标签样本混合作为辅助域中的训练样本使用，且总训练样本数目100×3也维持不变；将目标域中用作训练样本的无标签样本数目最大值取为100×3个；再从目标域110×3个无标签样本中随机抽取30×3个作为当前待测样本。在改变辅助域训练样本数目与目标域训练样本数目的比值(即只逐渐递减目标域中用作训练样本的无标签样本数目)的情况下，本文所提出的方法对轴承三种故障的当前待测样本的诊断准确率及平均诊断准确率与基于TCA+SVM的方法和基于TrAdBoost的方法的对比结果如图13-16所示。

对比结果表明，在将A、C工况下样本混合作为辅助域有标签样本，B工况样本作为目标域样本(即当前待测样本)的情况下，所提出的方法仍然具有比其他两种方法更高的故障诊断精度，这说明所提出的方法具有更好的鲁棒性和实用性。

本发明的有益效果为：

本发明提供的基于深度卷积域对抗迁移学习的故障诊断方法，在所发明的DCDATL中，利用深度卷积残差特征提取器进行高层特征提取能够避免DCDATL训练过程中梯度消失、梯度发散等梯度问题，可改善DCDATL的收敛性和非线性逼近能力；通过获得的高层特征和标签信息的克罗内克积获得特征联合分布表示并嵌入域分类器中，在域分类器中利用梯度反转进行辅助域与目标域域对抗训练，通过以上辅助域有标签样本和目标域无标签样本的联合分布进行域对抗训练可增强辅助域有标签样本对目标域的域适应能力，从而学习得到辅助域与目标域的域不变特征，进而改进DCDATL的迁移性能；基于最小化DCDATL的联合分布域对抗总体损失函数的特征迁移和分类过程可提高迁移后的分类精度。DCDATL的以上优势使得基于DCDATL的故障诊断方法在旋转机械当前工况下的有标签样本(即目标域有标签样本)不存在情况下，可利用历史工况下的有标签样本(即辅助域有标签样本)对旋转机械当前待测样本进行高精度故障诊断。

Claims (10)

1.基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，包括以下步骤：

S1、对辅助域和目标域的每个旋转机械样本分别进行分段预处理，得到对应的预处理结果；

S2、将两个预处理结果作为输入样本分别输入到深度卷积域对抗迁移学习模型中，获得深度卷积域对抗迁移学习模型中的域分类器的域对抗损失函数和标签预测器的联合损失函数；

S3、基于域分类器的域对抗损失函数和标签预测器的联合损失函数，计算深度卷积域对抗迁移学习模型的联合分布域对抗总体损失函数，并对深度卷积域对抗迁移学习模型进行训练；

S4、将目标域中的旋转机械待测样本输入到训练好的深度卷积域对抗迁移学习模型中，对旋转机械待测样本类标签进行预测，实现旋转机械故障诊断。

2.根据权利要求1所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S1中的分段预处理为对每个旋转机械样本依次进行归一化和数组重构处理。

3.根据权利要求1所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S2中的深度卷积域对抗学习模型包括深度卷积残差特征提取器、标签预测器和域分类器；

所述深度卷积残差特征提取器分别与标签预测器和域分类器连接，所述标签预测器与域分类器连接；

所述深度卷积残差特征提取器包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元包括依次连接的第一卷积层、第一残差层、第一平均池化层和第一全连接层，所述第二特征提取单元包括依次连接的第二卷积层、第二残差层、第二平均池化层和第二全连接层；

所述第一残差层和第二残差层均包括若干个堆叠连接的残差块，每个所述残差块包括依次连接的第一权重层、第一relu激活函数、第二权重层、累加器和第二relu激活函数，所述第一权重层的输入端还与累加器的输入端连接，所述第二relu激活函数的输出端与下一残差块的输入端、第一平均池化层的输入端或第二平均池化层的输入端连接；

所述标签预测器包括第一标签预测单元和第二标签预测单元，所述第一标签预测单元和第二标签预测单元中的各参数共享，所述第一标签预测单元包括依次连接的第三全连接层、第四全连接层和第一softmax激活函数；所述第二标签预测单元包括依次连接的第五全连接层、第六全连接层和第二softmax激活函数；

所述域分类器包括梯度反转层，所述梯度反转层的第一输出端、第七全连接层、第八全连接层和第一sigmoid激活函数依次连接，所述梯度反转层的第二输出端、第九全连接层、第十全连接层和第二sigmoid激活函数依次连接；

所述第一全连接层的输出端分别与第三全连接层的输入端、第一softmax激活函数的输出端和梯度反转层的第一输入端连接，所述第二全连接层的输出端分别与第五全连接层的输入端和梯度反转层的第二输入端连接。

4.根据权利要求3所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S2具体为：

S21、通过深度卷积残差特征提取器提取预处理后的辅助域旋转机械样本对应的辅助域样本高层特征和目标域旋转机械样本对应的目标域样本高层特征，并将其输入到标签预测器；

S22、根据输入到标签预测器的辅助域样本高层特征，对标签预测器进行训练；

S23、通过训练好的标签预测器对输入的目标域样本高层特征进行处理，获得目标域样本伪标签和标签预测器的联合损失函数；

S24、计算辅助域样本高层特征与其标签的克罗内克积和目标域样本高层特征与其对应的伪标签的克罗内克积，获得特征联合分布表示，并将其输入到域分类器中；

S25、基于输入到域分类器中的特征联合分布表示，对域分类器进行域对抗训练，获得域分类器的域对抗损失函数。

5.根据权利要求4所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S21具体为：

A1、设置输入到深度卷积残差特征提取器的辅助域旋转机械样本为目标域旋转机械样本为

经第一卷积层和第二卷积层后的输出分别为x^s(l)和x^l(l)，将其分别作为第一残差层和第二残差层的输入；

A2、设置第一残差层中残差块的数量为L，则第一残差层的输出x^s(L+1)为：

式中，F(·)为残差函数；

W⁽ⁱ⁾分别为第一残差层中第i个残差块的权重，且i＝l,l＝1,2,3,...L，l为残差块的编号；

A3、通过第一平均池化层和第一全连接层依次对第一残差层的输出进行平均池化和全连接处理，得到第一全连接层输出的辅助域样本高层特征f^s为：

式中，G_f(·)为深度卷积残差特征提取器的总映射函数；

θ_f为深度卷积残差特征提取器的权重参数和偏置系数的集合；

A4、基于步骤A2-A3，得到第二全连接层输出的目标域样本高层特征f^t为：

f^t＝G_f(x_i ^t,θ_f)。

6.根据权利要求5所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S23中的标签预测器的联合损失函数包括辅助域标签损失函数l_s和目标域标签损失函数l_T；

所述辅助域标签预测器函数l_s为：

式中，N_S为辅助域原始旋转机械样本总数；

l(·)为对数损失函数；

G_S(·)为标签预测器的总映射函数；

θ_l为标签预测器的各层权重参数和偏置系数的集合；

为辅助域旋转机械样本的标签；

所述目标域标签预测器损失函数l_T为：

式中，N_t为目标域原始旋转机械样本总数；

C为目标域旋转机械样本的类别总数；

为类条件分布熵，

为目标域旋转机械样本的伪标签，其中，

7.根据权利要求6所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S25具体为：

将辅助域样本高层特征与其标签的克罗内克积

和目标域样本高层特征与其伪标签作克罗内克积作为特征联合分布，输入到域分类器中，通过梯度反转层使深度卷积残差特征提取器和域分类器形成对抗网络，并用域对抗的训练方法减小辅助域样本高层特征和目标域样本高层特征之间的联合分布差异，并获得域分类器的域对抗损失函数；

式中，

为克罗内克积运算符。

8.根据权利要求7所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S25中，在用域对抗训练对抗网络过程中：

基于梯度反转层的存在，在域分类器中的反向传播过程中预测值与真实值的误差向后传递，通过域分类器中每层网络均根据传回的误差计算梯度；

当误差传到梯度反转层时，给该误差乘以参数-λ，再向与之连接的深度卷积残差特征提取器传播，使深度卷积残差特征提取器和域分类器的训练目的相反，实现域对抗训练；

在确定域分类器的域对抗损失函数时：

定义域分类器中的梯度反转层f(v)为：

g(f(v),λ)＝f(v)

式中，g(·)为梯度反转层映射函数；

v为梯度反转层输入的自变量；

λ为梯度反转层超参数；

得到域分类器中的梯度反转层的梯度为：

由于梯度反转层的存在，通过标准反向传播算法更新深度卷积残差特征提取器的参数集θ_f和域分类器的参数集θ_d，得到域分类器输出的辅助域域类别标签

和目标域域类别标签

分别为：

式中，

和

分别为域分类器在辅助域和目标域的预测输出的辅助域域类别标签和目标域域类别标签；

G_d(·)为域分类器映射函数；

设置辅助域原始旋转机械样本和目标域原始旋转机械样本分别为

和得到域分类器的域对抗损失函数l_D为：

式中，l_Ds为辅助域样本域分类器损失函数；

l_Dt为目标域样本域分类器损失函数；

N_S为辅助域原始旋转机械样本总数；

N_t为目标域原始旋转机械样本总数；

均为域类别标签的决策变量，当为辅助域域类别标签时，

当为目标域域类别标签时，

9.根据权利要求8所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S3中，计算深度卷积对抗迁移学习模型的联合分布域对抗总体损失函数，并利用随机梯度下降算法找到使当总体损失函数值最小时的最优参数θ^* _f、θ^* _d和θ^* _l，完成深度卷积域对抗迁移学习模型的训练；

所述联合分布域对抗总体损失函数l为：

式中，l_S+αl_T为标签预测器的联合损失函数，α、β均为平衡约束参数，分别用于约束标签预测器和域分类器局部寻优行为。

10.根据权利要求9所述的所述的基于深度卷积域对抗迁移学习的故障诊断方法，其特征在于，所述步骤S4中，将目标域中的旋转机械待测样本输入到训练好的深度卷积域对抗迁移学习模型中，对旋转机械待测样本类标签进行预测，得到其类别预测标签y_i ^t，实现旋转机械故障诊断；

所述类别预测标签y_i ^t的表达式为：

Images