CN116026569A

CN116026569A - 释放源数据的机械设备无监督迁移智能故障诊断方法

Info

Publication number: CN116026569A
Application number: CN202211643639.2A
Authority: CN
Inventors: 林京; 焦金阳; 李豪; 张天
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2022-12-20
Filing date: 2022-12-20
Publication date: 2023-04-28

Abstract

本发明提供一种释放源数据的机械设备无监督迁移智能故障诊断方法，其包括：S1、采集不同工况下的设备振动监测数据；S2、划分为源领域训练样本集以及目标领域测试样本集；S3、进行数据标准化；S4、建立释放源数据的无监督迁移故障诊断模型；S5、采集机械设备的振动监测数据，输入至无监督迁移故障诊断模型中，实现机械健康状态辨别。其引入核范数最大化来进一步鼓励预测输出的可辨性和多样性，与自训练机制相互作用来提高源模型对目标域的迁移性能，实现释放源数据条件下对无标签目标样本的健康状态识别。本发明考虑到实际工业场景中昂贵的数据存储和传输以及隐私保护的成本，使得无监督迁移在兼备跨域诊断能力的同时，释放模型迁移过程中对源领域数据的需求。

Description

释放源数据的机械设备无监督迁移智能故障诊断方法

技术领域

本申请涉及机械故障诊断技术领域，具体地涉及一种释放源数据的机械设备无监督迁移智能故障诊断方法。

背景技术

旋转机械作为工业制造中最重要的支柱之一，其安全性和可靠性受到越来越多的关注。然而，由于长期运行，关键部件不可避免地会发生退化和损坏。因此，故障诊断技术在学术界得到了广泛的研究，在现代工业中也逐渐成为不可缺少的技术。

随着互联网、物联网以及工业大数据的蓬勃发展，深度学习模型掀起了智能诊断方法的浪潮，取得了引人注目的成就。这种技术打破了基于模型或基于信号分析的诊断方法的常规思路，将诊断问题视为端到端的健康模式识别问题。尽管这些模型的性能很有吸引力，但前提是满足数据的独立同分布假设。由于工作状态的变化和监测环境的不确定性，训练域和测试域的数据特征分布总是不可避免地存在差异。因此，由于没有满足上述先决条件，将会观察到严重的性能下降。换句话说，很难将训练好的模型直接应用到具有领域分布差异的新任务中。

针对上述问题，近年来出现了基于无监督迁移的诊断技术。该方法旨在减小域偏差，并将标记源数据和未标记目标数据对齐在公共表示空间中，以便在源领域上训练的模型可以推广到目标领域。一种常见的策略是利用不同的度量来测量和减少特征分布中的差异，另一种流行的模式是使用生成式对抗网络概念来学习领域间的可迁移知识。

但是，尽管上述方法取得了一定成功，但它们必须在训练过程中始终保持源数据可用的严格条件下工作。以下两个条件限制使得无监督迁移诊断在许多现实场景中并不适合。首先，一个关键原因是由于隐私保护或知识产权问题，源数据并不总是可访问的。另一个关键原因是长期监测，特别是高频采样，意味着巨大的存储和加载成本。因此，研究无需源数据的迁移模型是非常必要的，该方法可以在不访问源数据的情况下完成目标领域诊断任务。

发明内容

为了克服上述提到的现有技术的不足，本发明的目的是提出一种释放源数据的迁移诊断网络(Source-free transfer diagnosis,SFTD)用于机械设备跨域故障诊断，其结合迁移诊断网络，不需要依赖源数据就能够完成故障诊断。SFTD包括两个阶段，分别为源模型生成阶段和源模型迁移阶段。在源模型生成阶段，以有标签的源领域数据为输入，设计标签平滑交叉熵作为损失函数，从而充分挖掘源领域诊断信息，同时抑制传统交叉熵所存在的过拟合和弱适配问题；在源模型迁移阶段，仅利用无标签的目标领域数据实现源模型迁移。本发明首先提出了一种新的自训练机制充分探索无标签数据的应用，同时考虑到实际工业场景中昂贵的数据存储和传输以及隐私保护的成本，使得无监督迁移在兼备跨域诊断能力的同时，减少模型迁移过程中对源领域数据的需求。

具体地，为实现上述目的，本发明所采用的解决方案为：

一种释放源数据的机械设备无监督迁移智能故障诊断方法，其包括以下步骤：

S1、针对具有多种健康状态的旋转机械，采集不同工况下的设备振动监测数据，通过监测数据构造样本数据空间及其对应标签；

S2、将步骤S1中不同工况的设备振动监测数据划分为源领域训练样本集以及目标领域测试样本集；

S3、对步骤S2中获得的源领域训练样本集和目标领域测试样本集的样本数据进行数据标准化，获得标准化后的源领域训练样本集和目标领域测试样本集；

S4、建立释放源数据的无监督迁移故障诊断模型，其包括以下子步骤：

S41、构建无监督迁移诊断模型，所述无监督迁移诊断模型f包括特征编码模块和分类模块其中，d为编码后的特征维数，K为总类别数；特征编码模块包括多层卷积模块与全连接层，分类模块包括全连接层与非线性激活层；

S42、生成源模型，利用有监督学***滑交叉熵L_s ^ls作为源模型训练的损失函数；

S43、利用类原型生成伪标签，其具体包括以下子步骤：

S431、利用下式计算目标领域的类原型：

式中，σ_k(·)表示softmax输出中的第k个元素，X_t表示目标领域空间；表示上一个迭代中已学习到的目标模型，该目标模型由源模型初始化获得；

S432、通过距离测量获得初始伪标签：

式中，为初始伪标签；

S433、使用初始伪标签更新类原型，对初始伪标签进行优化，获得优化后伪标签具体过程如下：

其中，当参数为真时，指示函数ζ(·)等于1；为初始伪标签；x_t表示目标领域样本；k表示目标领域样本被预测的类别；为目标模型中的分类器；

S434、引入归一化对称交叉熵，减少伪标签的噪声标签干扰：

归一化对称交叉熵的公式为：

其中右侧表示归一化交叉熵及其反向表示，归一化交叉熵具体为：

式中，p为预测概率，即p＝σ(f(x))；表示伪标签；

S435、基于步骤S434的归一化对称交叉熵，形成如下自训练目标损失函数：

S44、利用输出矩阵F范数最大化提供可靠的目标输出预测判别能力，并添加核范数最大化损失函数；

S45、利用步骤S3中获得的标准化后的目标领域训练样本集对所述无监督迁移故障诊断模型进行模型迁移训练，固定分类模块的网络参数，结合步骤S43中的自训练目标损失函数与步骤S44中的核范数最大化损失函数，使用随机梯度下降法优化模型特征提取模块，迭代至模型收敛，完成源模型迁移；

S5、采集机械设备的振动监测数据，输入至无监督迁移故障诊断模型中，实现机械健康状态辨别。

优选地，步骤S42中的损失函数为：

q'_k＝(1-α)q_k+α(1/K)

式中，x_s为源领域样本，y_s为源领域样本的对应标签；σ(·)表示softmax函数，表示K维非归一化概率向量的softmax输出中的第k个元素；当且仅当y_s＝k时，q_k为1，否则，q_k为0；α是平滑参数，默认值为0.1；f_s:X_s→Y_s表示源模型，f_t:X_t→Y_t为学习到的目标函数，以推理

优选地，步骤S44中输出矩阵F范数最大化表达式为：

式中，P＝[p_ij]_B×K表示大小为B的批处理的softmax输出矩阵。

优选地，步骤S44中核范数最大化损失函数为：

L_nnm＝-||P||_*/B

式中，矩阵P秩的凸包络是其核范数||P||_*。

优选地，步骤S41中特征编码模块包括四个卷积层、Batch-标准化层、非线性激活函数、池化层、一层全连接层和Dropout层；所述分类模块包括一层全连接层和一层非线性激活层。

优选地，步骤S2中假设源领域D_s包含n_s个有标签样本其中目标领域D_t包含n_t个无标签样本，其中

优选地，步骤S3中进行数据标准化的公式具体为：

式中：x_i为第i个数据样本；μ_i为x_i的平均值；σ_i为x_i的标准差；x_i(j)为x_i的第j个元素。

优选地，步骤S1中的机械设备包括多级加速传动装置轴承故障模拟试验台。

优选地，所述多级加速传动装置振动数据的采样频率为10kHz。

与现有技术相比，本发明的有益效果在于：

1)本发明以原始的时域振动信号作为数据输入，通过诊断网络模型自适应提取机械关键部件健康状态决策相关信息，从而建立端到端的机械故障诊断模型，减少诊断决策过程中对人力资源和专家经验等的需求，保证自动化诊断的效率以及诊断结果的准确度；

2)本发明实现了目标领域样本无标签且不同领域数据分布存在差异情况下的复杂机械健康状态识别，完成了有标签源领域数据向无标签目标领域数据的迁移，弥补了常规深度学习诊断模型的不足，提高了故障识别的精度；

3)本发明考虑了大多数深度迁移故障诊断方法依赖于源数据的可用性，针对传统方法中由于昂贵的数据存储、传输以及隐私保护的成本，在许多实际的工业场景中总是无法实现的技术缺陷，本发明建立了无需源数据的迁移方法，在不需要源数据的基础上实现深度迁移故障诊断。

4)本发明利用面向类原型的伪标签学习策略和标准化的对称交叉熵串联部署以促进鲁棒训练；同时，引入核范数最大化来进一步提高预测输出的可辨性和多样性，与自训练机制相互作用来提高源模型对目标领域的迁移性能，实现无需源数据条件下对无标签目标样本的健康状态识别。

附图说明

图1为本发明实施例的基于SFTD的机械设备智能故障诊断方法的流程图；

图2为本发明实施例的释放源数据无监督迁移故障诊断模型训练步骤的流程图；

图3为本发明实施例中SFTD的特征编码模块的网络结构及参数设置；

图4为本发明实施例中SFTD的分类模块的网络结构及参数设置；

图5为发明本实施例中多级加速传动实验装置示意图；

图中部分附图标记如下：

1-驱动电机；2-联轴器；3-行星齿轮箱；4-定轴齿轮箱；5-转速计；6-轴承座；7-振动传感器；8-磁粉制动器。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

本发明提供了一种释放源数据的机械设备无监督迁移智能故障诊断方法，如图1-图4所示，具体包括以下步骤：

S1、针对具有多种健康状态的旋转机械，采集不同工况下的设备振动监测数据，从而使采集的数据蕴含不同的健康状态信息，之后通过采集到的监测数据构造样本数据空间及其对应标签。

S2、将步骤S1中不同工况的设备监测数据划分为两组，分别为源领域训练样本集和目标领域测试样本集。源领域训练样本集D_s包含n_s个有标签样本其中目标领域测试样本集D_t包含n_t个无标签样本其中上述源领域训练样本集为有标签数据集，上述目标领域测试样本集为无标签数据集，且不同工况下数据集之间可以交叉验证。

S3、对步骤S2中获得的源领域训练样本集和目标领域测试样本集的样本数据进行数据标准化，获得标准化后的源领域训练样本集和目标领域测试样本集，具体标准化公式为：

式中，x_i为第i个数据样本；μ_i是x_i的平均值；σ_i是x_i的标准差；x_i(j)表示x_i的第j个元素。

S4、构建释放源数据的无监督迁移故障诊断模型(Source-freetransferdiagnosis，SFTD)，使用标准化的源领域训练样本集初步训练一个由卷积神经网络构成的SFTD特征编码模块、一个由全连接层和非线性激活层构成的SFTD分类模块，仅基于标准化的目标领域测试样本集对SFTD特征编码模块进行模型迁移训练，完成从源领域知识向目标领域知识的迁移，其具体步骤为：

S41、构建SFTD框架，该框架采用一维卷积神经网络(One-dimensionalConvolutional NeuralNetwork，1D-CNN)构建整体的网络框架，其包含特征编码模块和分类模块，对源领域数据和目标领域数据进行特征学习，从而完成不同领域知识的迁移，两个领域包括源领域和目标领域，该特征编码模块包括四个卷积层、Batch-标准化层、非线性激活函数、池化层、一层全连接层、Batch-标准化层和Dropout层。如图3所示为SFTD的特征编码模块的网络结构及参数设置，其中：“Maps”代表当前卷积层的卷积核数目；“Pad”表示零填充操作，目的在于保持卷积运算前后的特征维度不变；“BN”表示批量标准化；“ReLU”表示线性整流单元激活函数；“Maxpool:2×1”表示池化区域尺寸为2×1最大池化运算；“Stride2”表示池化运算的滑移步长为2；“Linear”代表全连接层；“Drop”表示Dropout运算。分类模块包括一层全连接层和一层非线性激活层，如图4所示为SFTD的分类模块的网络结构及参数设置。

S42、生成源模型：在源模型生成阶段，为了使网络模型能够正确的分类源领域训练样本集，基于给定的源数据及其对应的真实标签，可以使用标准的有监督学***滑交叉熵L_s ^ls作为源模型训练的损失函数，损失函数的表达式如下：

式中，x_s为源领域样本，y_s为源领域样本的对应标签；σ(·)表示softmax函数，表示K维非归一化概率向量的softmax输出中的第k个元素；当且仅当y_s＝k时，q_k为1，否则，q_k为0；α是平滑参数，默认值为0.1。f_s:X_s→Y_s表示源模型，f_t:X_t→Y_t为学习到的目标函数，以推理f为提出的诊断模型。利用步骤S3中获得的标准化后的源领域训练样本集对诊断模型进行初步训练，使用随机梯度下降法优化模型，迭代至模型收敛，完成第一阶段的源模型生成。

S43、生成源模型后，源数据就不可访问了。在源模型迁移过程中，分类模块是固定的，仅更新特征编码模块。由于缺乏源数据，如果利用显式匹配源领域和目标领域分布的普遍解决方案是不可行的，因此本发明利用自训练机制，提出了一种简单而有竞争力的无源域数据模型迁移策略。其与传统策略不同，首先，利用计算类原型，从而能够生成更可靠的伪标签。目标领域的类原型计算如下：

式中，σ_k(·)表示softmax输出中的第k个元素，X_t表示目标领域空间；表示上一个迭代中已学习到的目标模型，该模型由源模型初始化。

之后通过距离测量来获得伪标签：

式中，为初始伪标签。

在此之后，使用初始标签再次更新类原型，并利用更新后的类原型对伪标签进行优化，以计算更准确的伪标签该过程如下：

其中当参数为真时，指示函数ζ(·)等于1；为初始伪标签；x_t表示目标领域样本；k表示目标领域样本被预测的类别；为目标模型中的分类器。

无论哪种伪标签生成算法都不能彻底避免噪声标签的干扰，这将导致标准交叉熵的欠学习和过拟合问题。为了提高噪声容忍度，本发明的方法引入了一种变体，即归一化对称交叉熵(NSCE)，替代原始CE进行鲁棒自训练。NSCE的公式为：

其中右侧表示归一化交叉熵(NCE)及其反向表示。归一化交叉熵(NCE)的计算公式如下：

式中，p为预测概率，即p＝σ(f(x))；表示伪标签。

之后，基于上述归一化交叉熵，形成鲁棒的自训练目标函数如下：

S44、为了增强模型对不同类别的分辨能力，利用输出矩阵F范数最大化提供可靠的目标输出的预测判别能力，输出矩阵F范数最大化表示为：

式中，P＝[p_ij]_B×K表示大小为B的批处理的softmax输出矩阵。

鉴于不正确的伪标签会损害预测的多样性，进而阻碍模型的迁移，因此建立使矩阵秩rank(P)最大化的约束。直接计算矩阵秩是一个NP-hard且非凸问题，然而，若||P||_F≤1，矩阵P秩的凸包络是其核范数||P||_*，因而最大化核范数可以同时保证目标输出的鉴别性和多样性。在模型中部署了一个核范数最大化损失函数，其形式为：

L_nnm＝-||P||_*/B (10)

S45、利用步骤S3中获得的标准化后的目标领域训练样本集对模型进行模型迁移训练，固定分类模块的网络参数，综合步骤S43与步骤S44中的损失函数，使用随机梯度下降法优化模型特征提取模块，迭代至模型收敛，完成第二阶段的源模型迁移。

S5、采集机械设备的振动监测数据，将其输入至释放源数据的无监督迁移网络中，进而实现机械健康状态辨别。

具体实施例

下面结合具体实施例对本发明的工作原理进行进一步说明。该实施例中机械设备为滚动轴承。采集滚动轴承的振动数据的采样频率为10kHz。

在实施例验证过程中，选取仅基于源领域数据的诊断方法(Method1)，基于最大均值差异的迁移诊断方法(Method2)，基于相关重排的迁移诊断方法(Method3)，基于域鉴别器的对抗迁移诊断方法(Method4)，源假设迁移诊断方法(Method5)与本发明进行方法对比，以验证本发明方法的有效性。其中Method1是深度学习诊断模型的典型代表，该模型仅由有标签的源领域数据训练，然后直接应用于目标领域。为了保证对比的有效性，Method1的网络框架与本发明所提SFTD的特征编码模块、分类模块串联相同。Method2和Method3是两种基于距离测度的迁移方法的典型代表。其中Method2采用多高斯内核的最大均值差异约束分布差异；而Method3则是利用二阶相关统计量差异实现特征的分布重排。Method4是基于域鉴别器的对抗迁移诊断方法，特征编码模块与分类模块与本发明的SFTD相同，在此基础上增加一个由三层全连接层构成的域鉴别模块，以特征编码模块输出为输入，与特征编码模块进行对抗性博弈。Method5是一种优异的释放源数据的无监督迁移方法，在图像分类领域获得令人印象深刻的成果，因此将其应用于迁移诊断领域作为本发明的对比方法。

将本发明应用到多级加速传动装置轴承故障诊断实施例进行验证。

具体到多级加速传动装置轴承故障诊断，本发明采用多级传动***中轴承实验数据进行实施例验证，实验台示意图如图5所示，该实验台包括驱动电机1、联轴器2、行星齿轮箱3、定轴齿轮箱4、转速计5、轴承座6、振动传感器7和磁粉制动器8。动力由驱动电机1提供，经过行星齿轮箱3与定轴齿轮箱4的升速经由轴承测试基座到达磁粉制动器8，磁粉制动器8可以对***施加不同的负载。本发明使用采样频率为10kHz的振动数据进行分析。滚动轴承的健康状态包含正常状态、内圈裂纹故障、内圈磨损故障、内外圈裂纹故障、外圈裂纹故障、外圈磨损故障和保持架裂纹故障共7种。实验过程中，每个轴承在四种不同工况下运行(转速约为1200rpm，四种工况的负载分别为0.7Nm、1.2Nm、2Nm、5Nm)，采用安装在轴承座顶部的加速度传感器进行数据采集，采样频率为10kHz。对于每个轴承，在每个工作状态下收集1000个样本，每个样本的大小为1024。为了模拟真实的有噪声的工业环境，将噪声混合到测量数据中，以降低数据的信噪比。根据工作条件差异构建了四个领域，分别标记为A1、A2、A3和A4，四个领域之间的数据分布不同。因此，在四个领域上安排了12个迁移诊断任务，如表1所示。其中，A1→A2表示使用在工况A1下获得的数据样本作为源领域，使用在工况A2下采集的数据作为目标领域，目标领域数据不包含标签信息。在模型的训练阶段，从两个领域中随机选择70％的样本进行模型训练，训练完成后，对目标领域剩余的样本进行测试分析。

表1多级传动***轴承迁移诊断任务

基于该数据集执行本发明所提方法和各种比较方法，获得的诊断结果如表2所示。在本表中，“SF”表示无源设置，“A1→A2”表示A1的数据为源领域，A2作为目标领域。每个任务的最佳结果以粗体显示，以便直观地显示。观察这些结果，我们可以得出以下几点结论：(1)在没有源数据进行模型迁移的情况下，本发明方法在12个任务中仍达到了96.89％的平均准确率，优于所有现有的对比方法。(2)毫无疑问，Method1在所有诊断任务中表现都很差，因为它无法对域漂移做任何事情。相比之下，四种基于迁移的方法能够解决数据分布差异，并获得更好的诊断结果。(3)评估现有的类似的释放源数据的方法Method5，可以发现本发明的方法获得了显著的性能提升，具有更好的模型迁移能力。虽然Method5的诊断效果不如对抗迁移诊断方法(Method4)，但明显优于Method2和Method3。这也表明Method5的结果是相当有竞争力的，因为它在迁移过程中不需要源领域数据，但其结果与本专利相比，仍然相差甚远，因此，本专利的方法的诊断效果是及其优异的。

表2针对多级传动***轴承诊断实施例各种方法的分类精度及标准差(％)

通过与仅基于源领域数据的诊断方法(Method1)、基于最大均值差异的迁移诊断方法(Method2)、基于相关重排的迁移诊断方法(Method3)、基于域鉴别器的对抗迁移诊断方法(Method4)以及源假设迁移诊断方法(Method5)识别结果对比，本发明机械故障识别率优于其他几种现有基于深度学习模型的智能诊断方法。

本发明提供的一种旋转机械无源迁移诊断方法，与传统的无监督迁移诊断方法不同，SFTD在迁移过程中不需要源数据，可以满足更多只有源模型可用的实际诊断场景。在SFTD中，我们引入了伪标签生成算法和归一化***交叉熵损失，以实现更健壮的自训练，同时还部署了面向核范数最大化的目标输出优化，以提高预测的可辨性和多样性。最终实现了在释放源领域数据的前提下，多运行工况、无标签目标样本、不同领域分布差异下的跨域复杂机械健康状态识别。本发明弥补了常规深度迁移诊断模型的不足，削减了诊断模型迁移过程中对源领域数据的需求，提升了故障识别的准确率，故障识别准确，同时减轻了实际工程场景中的数据存储和传输以及隐私保护的成本。

以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。