CN115798516A - 一种可迁移的端到端声信号诊断方法及*** - Google Patents

Abstract

本发明提供一种可迁移的端到端声信号诊断方法，包括：S1：构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；S2：获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；S3：将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；S4：将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。本发明通过多尺度特征的提取和加权融合，可以有效分析复杂环境中具有较多尺度特征的声信号。

Description

一种可迁移的端到端声信号诊断方法及***

技术领域

本发明涉及声信号诊断领域，尤其涉及一种可迁移的端到端声信号诊断方法及***。

背景技术

目前，现有的基于声信号的故障诊断方法主要包含基于模型驱动和基于知识驱动的诊断方法。

基于模型驱动的方法主要是通过结合专家经验知识模型和信号分析知识实现故障诊断，该方法通常需要根据设备的结构参数和经验故障模型求取故障特征参数，然后对设备反馈信号进行分析，判别设备的运行状态。该方法优点是对于常见零部件的故障经验模型较为成熟，通过对设备的振声信号进行频率分析及故障频率匹配即可识别设备故障类型，但该方法的缺点是，非标准的零部件缺乏故障经验模型，难以进行精确地故障诊断。

基于知识驱动的故障诊断方法主要指结合数据处理和机器学习算法的故障诊断方法，主要包含基于机器学习的故障诊断方法和基于深度学习的故障诊断方法。相较于传统的故障诊断方法，基于机器学习的方法对故障的识别能力强，精度高，噪声影响下的鲁棒性更优，且易实现对设备连续、实时的状态监测。

基于机器学习的故障诊断方法的诊断精度主要取决去特征表达的效果和故障分类器的分类能力。准确的特征表达可以提高数据样本在特征空间的区分度，但是表达能力较差的特征可能会使不同类别的样本在特征空间中混叠，影响分类精度。

基于深度学***衡。

总体而言，现有的针对声信号的故障诊断方法，存在检测成本高、稳定性差、实时性低等缺点。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

为解决上述技术问题，本发明提供一种可迁移的端到端声信号诊断方法，包括：

S1：构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

S2：获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

S3：将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

S4：将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

优选的，步骤S2具体为：

多尺度特征提取单元中不同尺度的一维卷积层对声信号分别进行卷积特征提取，获得多尺度特征，计算公式为：

其中，F为声信号，M^(s)为多尺度特征，s为尺度的编号，w(n)代表第n个卷积核的权重，n为卷积核的编号，F(i)代表第i步卷积操作时所计算的声信号，i为卷积操作步数，N为卷积操作的总步数，b(n)代表第n个的卷积核的偏置矩阵。

优选的，步骤S3具体为：

S31：基于注意力机制的特征融合单元包括：通道注意力单元和空间注意力单元，将多尺度特征输入通道注意力单元，计算获得通道注意力特征，计算公式为：

其中，M_c为通道注意力特征，

为sigmoid函数，M^(s)为多尺度特征，M^(s) _avg为多尺度特征的平均值，M^(s) _max为多尺度特征的最大值，MLP()代表一个两层的神经网络，AvgPool代表平均池化，MaxPool代表最大池化，

，共享全连接层的权重W₀和W₁共享数值；

S32：将通道注意力特征输入空间注意力单元，计算获得空间注意力特征，计算公式为：

其中，M_s为空间注意力特征，M_c,avg为通道注意力特征的平均值，M_c,max为通道注意力特征的最大值，f^7×7表示尺寸为7×7的卷积运算；

S33：通过CBAM注意力机制对空间注意力特征和通道注意力特征进行加权融合，获得融合特征，计算公式为：

其中，

为空间注意力单元输出的权重矩阵，

为通道注意力单元的权重系数，M^(s)(F)为多尺度特征。

优选的，所述基于残差结构的特征提取单元包括7层残差块、归一化层和全连接层；

每个残差块使用的卷积核尺寸均为3×1，卷积核使用LeakyRelu激活函数进行激活；

全连接层的尺寸为256×2。

优选的，步骤S4具体为：

S41：将融合特征输入基于残差结构的特征提取单元，依次经过7层残差块进行特征提取，获得诊断特征；

S42：将诊断特征输入归一化层进行标准化处理，获得标准化的诊断特征；

S43：将标准化的诊断特征输入全连接层进行故障概率判断，输出故障预测结果。

一种可迁移的端到端声信号诊断***，包括：

诊断模型构建模块，用于构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

特征提取模块，用于获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

特征融合模块，用于将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

故障预测结果获取模块，用于将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

本发明具有以下有益效果：

1、利用设备故障状态时声信号特征会发生变化，通过非接触式的方式实时采集声信号，保证声信号判断时的非接触；

2、通过多尺度特征的提取和加权融合，可以有效分析复杂环境中具有较多尺度特征的声信号，解决现有的故障诊断方法实时性较差及无法较好平衡时频分辨率的问题。

附图说明

图1为本发明实施例方法流程图；

图2为多尺度特征提取单元的结构图

图3为基于注意力机制的特征融合单元的结构图；

图4为基于残差结构的特征提取单元的结构图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提供一种可迁移的端到端声信号诊断方法，整体思路为：利用设备故障状态时声信号的特征会发生变化，通过非接触式的方式实时采集声信号，并不同尺寸的滤波器提取不同时频权衡的特征，最后通过特征融合和特征提取来预测是否存在故障情况，由此实现故障类型的端到端实时检测；

包括以下步骤：

S1：构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

S2：获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

S3：将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

S4：将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

具体的，端到端故障诊断模型的训练方式包括：

收集设备正常运行状态时产生的声信号和不同故障状态时产生的声信号，由声信号及对应的故障状态为训练样本，得到训练数据集，将训练数据集划分为训练集和测试集；

建立端到端故障诊断模型，用于对当前设备故障情况的检测；利用训练集和测试集分别对端到端故障诊断模型进行训练和测试，在训练和测试结束后，将神经网络模型作为训练好的端到端故障诊断。

本发明利用设备故障状态已知时产生的声信号构建训练集和测试集，对所建立的端到端故障诊断模型进行训练，能够使得训练得到的模型能够准确地根据声信号的声音特征预测出对应的故障类别。

进一步地，端到端故障诊断模型的训练方式还包括：在更换不同的应用场景后，对端到端故障诊断模型进行迁移学习。

本发明在更换应用场景后，对模型进行迁移学习，以适应不同应用场景的变化，使模型不断优化，覆盖不同应用场景，降低故障诊断的误差。

本实施例中，多尺度特征提取单元的结构图如图2所示，步骤S2使用不同尺寸的一维卷积层对原始时域的声信号进行卷积特征提取，不同尺寸的卷积核对应不同尺寸的滤波器，小尺寸的滤波器所提取的特征拥有较高的时间分辨率和较低频率分辨率，大尺寸的滤波器提取的特征拥有较高的频率分辨率和较低的时间分辨率；

多尺度特征提取继承了短时傅里叶变换的局部时频分析思想，同时克服了由于固定窗口导致的时频分辨率不能兼顾等问题。它可以更好地平衡时间分辨率和频率分辨率，获得不同时频权衡的信息；

步骤S2具体为：

多尺度特征提取单元中不同尺度的一维卷积层对声信号分别进行卷积特征提取，获得多尺度特征，计算公式为：

其中，F为声信号，M^(s)为多尺度特征，s为尺度的编号，w(n)代表第n个卷积核的权重，n为卷积核的编号，F(i)代表第i步卷积操作时所计算的声信号，i为卷积操作步数，N为卷积操作的总步数，b(n)代表第n个的卷积核的偏置矩阵。

本实施例中，步骤S3中基于注意力机制的特征融合单元的结构图如图3所示，该特征融合单元用于对不同尺度的特征进行加权融合，改变原有特征分布，不同尺度的特征中学习权重分布，再对原有的特征进行加权操作，改变原有特征的分布，增强有效特征并抑制无效特征；类似于带通滤波器，可以放大有用的频带分量，衰减无用的频带分量；

步骤S3具体为：

S31：基于注意力机制的特征融合单元包括：通道注意力单元和空间注意力单元，其中，在通道注意力单元中，将输入的特征图分别经过最大池化以及平均池化得到两个1×1×C大小的特征图，然后输入到共享全连接层中，再将共享全连接层的输出相加，经过sigmoid函数激活并对原特征图加权，最终即可获得融合特征；

将多尺度特征输入通道注意力单元，计算获得通道注意力特征，计算公式为：

其中，M_c为通道注意力特征，

为sigmoid函数，M^(s)为多尺度特征，M^(s) _avg为多尺度特征的平均值，M^(s) _max为多尺度特征的最大值，MLP()代表一个两层的神经网络，AvgPool代表平均池化，MaxPool代表最大池化，

，共享全连接层的权重W₀和W₁共享数值；

S32：空间注意力单元，关注空间中哪部分的特征更重要；以通道注意力单元输出的特征图作为输入，在通道维度分别进行了平均值池化和最大值池化，然后进行卷积，降为一个通道，再经过sigmoid函数对输入特征图进行加权以获得空间注意力单元输出的特征图；

将通道注意力特征输入空间注意力单元，计算获得空间注意力特征，计算公式为：

其中，M_s为空间注意力特征，M_c,avg为通道注意力特征的平均值，M_c,max为通道注意力特征的最大值，f^7×7表示尺寸为7×7的卷积运算；

S33：通过CBAM注意力机制对空间注意力特征和通道注意力特征进行加权融合，获得融合特征，计算公式为：

其中，

为空间注意力单元输出的权重矩阵，

为通道注意力单元的权重系数，M^(s)(F)为多尺度特征。

本实施例中，基于残差结构的特征提取单元的结构图如图4所示，基于残差结构的特征提取单元主要用于对上述操作所提取的融合特征进行进一步的特征提取及特征降维，最终通过全连接层输出故障预测结果；

所述基于残差结构的特征提取单元包括7层残差块、归一化层和全连接层；

每个残差块使用的卷积核尺寸均为3×1，卷积核使用LeakyRelu激活函数进行激活；

全连接层的尺寸为256×2。

本实施例中，步骤S4具体为：

S41：将融合特征输入基于残差结构的特征提取单元，依次经过7层残差块进行特征提取，获得诊断特征；

S42：将诊断特征输入归一化层进行标准化处理，获得标准化的诊断特征；

S43：将标准化的诊断特征输入全连接层进行故障概率判断，输出故障预测结果。

本发明提供一种可迁移的端到端声信号诊断***，包括：

诊断模型构建模块，用于构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

特征提取模块，用于获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

特征融合模块，用于将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

故障预测结果获取模块，用于将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种可迁移的端到端声信号诊断方法，其特征在于，包括：

S1：构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

S2：获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

S3：将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

S4：将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

2.根据权利要求1所述的可迁移的端到端声信号诊断方法，其特征在于，步骤S2具体为：

多尺度特征提取单元中不同尺度的一维卷积层对声信号分别进行卷积特征提取，获得多尺度特征，计算公式为：

其中，F为声信号，M^(s)为多尺度特征，s为尺度的编号，w(n)代表第n个卷积核的权重，n为卷积核的编号，F(i)代表第i步卷积操作时所计算的声信号，i为卷积操作步数，N为卷积操作的总步数，b(n)代表第n个的卷积核的偏置矩阵。

3.根据权利要求1所述的可迁移的端到端声信号诊断方法，其特征在于，步骤S3具体为：

S31：基于注意力机制的特征融合单元包括：通道注意力单元和空间注意力单元，将多尺度特征输入通道注意力单元，计算获得通道注意力特征，计算公式为：

其中，M_c为通道注意力特征，

为sigmoid函数，M^(s)为多尺度特征，M^(s) _avg为多尺度特征的平均值，M^(s) _max为多尺度特征的最大值，MLP()代表一个两层的神经网络，AvgPool代表平均池化，MaxPool代表最大池化，

，共享全连接层的权重W₀和W₁共享数值；

S32：将通道注意力特征输入空间注意力单元，计算获得空间注意力特征，计算公式为：

其中，M_s为空间注意力特征，M_c,avg为通道注意力特征的平均值，M_c,max为通道注意力特征的最大值，f^7×7表示尺寸为7×7的卷积运算；

S33：通过CBAM注意力机制对空间注意力特征和通道注意力特征进行加权融合，获得融合特征，计算公式为：

其中，

为空间注意力单元输出的权重矩阵，

为通道注意力单元的权重系数，M^(s)(F)为多尺度特征。

4.根据权利要求1所述的可迁移的端到端声信号诊断方法，其特征在于，所述基于残差结构的特征提取单元包括7层残差块、归一化层和全连接层；

每个残差块使用的卷积核尺寸均为3×1，卷积核使用LeakyRelu激活函数进行激活；

全连接层的尺寸为256×2。

5.根据权利要求4所述的可迁移的端到端声信号诊断方法，其特征在于，步骤S4具体为：

S41：将融合特征输入基于残差结构的特征提取单元，依次经过7层残差块进行特征提取，获得诊断特征；

S42：将诊断特征输入归一化层进行标准化处理，获得标准化的诊断特征；

S43：将标准化的诊断特征输入全连接层进行故障概率判断，输出故障预测结果。

6.一种可迁移的端到端声信号诊断***，其特征在于，包括：

诊断模型构建模块，用于构建端到端故障诊断模型，端到端故障诊断模型包括：多尺度特征提取单元、基于注意力机制的特征融合单元和基于残差结构的特征提取单元；

特征提取模块，用于获取设备故障状态时产生的声信号，通过多尺度特征提取单元提取声信号的多尺度特征；

特征融合模块，用于将多尺度特征输入基于注意力机制的特征融合单元，对多尺度特征进行加权融合，获得融合特征；

故障预测结果获取模块，用于将融合特征输入基于残差结构的特征提取单元，对融合特征进行进一步的特征提取，获得故障预测结果。

Images