CN115905976B - 基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、***及设备 - Google Patents

Abstract

基于注意力机制的Highway Bi‑LSTM轴承故障诊断方法、***及设备，涉及机械故障诊断领域。本发明是为了解决现有轴承故障诊断方法还存在由于无法提取逆时域序列特征、对关键特征关注不足、训练层过多难以收敛导致的故障诊断准确率低的问题。本发明包括：获得待诊断的轴承原始振动信号，将待诊断的轴承原始振动信号输入到轴承故障诊断网络中获得轴承故障严重性诊断结果；轴承故障诊断网络通过以下方式获得：获取轴承原始振动信号，并将轴承原始振动信号分为训练集和测试集；构建Highway Bi‑LSTM网络：Bi‑LSTM网络、注意力机制、Highway层、全连接层、softmax分类器；利用训练集训练Highway Bi‑LSTM网络；利用测试集测试训练好的Highway Bi‑LSTM网络，获得轴承故障诊断网络。本发明用于轴承的故障诊断。

Description

基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、*** 及设备

技术领域

本发明涉及机械故障诊断领域，特别涉及基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、***及设备。

背景技术

轴承广泛应用于旋转机械中，轴承的故障诊断是确保高性能传动的关键。传动***故障将导致停产，影响整个生产过程。在故障发生前发现是保证设备正常运行、避免经济损失的有效手段。轴承故障诊断一直被视为预后和健康管理的研究热点。

目前轴承故障诊断方法主要有两种，一种是基于模型的方法，如物理模型、卡尔曼滤波器、强跟踪估计器、径向基函数神经网络等。另一种是基于数据的方法，如特征提取、支持向量机、反向传播神经网络和深度学习。

近年来，越来越多的研究人员将深度学习方法应用于轴承的故障诊断。与需要大量先验知识的传统信号特征提取方法相比，卷积神经网络(CNN)等深度学习方法可以自动提取特征。基于卷积神经网络和循环神经网络(RNN)的深度学习方法已广泛应用于轴承故障诊断。虽然这些方法在轴承故障诊断方面取得了一定的进展，但它们只能提取部分特征信息，无法提取逆时域序列特征，此外，现有方法对关键特征关注不足、训练层过多难以收敛，从而导致了故障诊断准确率低的问题。

发明内容

本发明目的是为了解决现有轴承故障诊断方法还存在由于无法提取逆时域序列特征、对关键特征关注不足、训练层过多难以收敛导致的故障诊断准确率低的问题，而提出了基于注意力机制的Highway Bi-LSTM轴承故障诊断方法、***及设备。

基于注意力机制的Highway Bi-LSTM轴承故障诊断方法具体过程为：

获得待诊断的轴承原始振动信号，将待诊断的轴承原始振动信号输入到轴承故障诊断网络中获得轴承故障严重性诊断结果；

轴承故障诊断网络通过以下方式获得：

步骤一、获取轴承原始振动信号，并将轴承原始振动信号分为训练集和测试集；

步骤二、构建Highway Bi-LSTM网络；

所述Highway Bi-LSTM网络由以下处理层依次连接组成：Bi-LSTM网络、注意力机制、Highway层、全连接层、softmax分类器；

所述Bi-LSTM网络用于分别提取轴承正逆时间顺序的信号特征；

所述注意力机制用于增强对Bi-LSTM网络提取的信号特征中关键特征的关注；

所述Highway层用于优化注意力机制输出的特征；

所述全连接层和softmax分类器用于对Highway层输出的特征进行分类；

步骤三、利用训练集训练步骤二构建的Highway Bi-LSTM网络获得训练好的Highway Bi-LSTM网络；

步骤四、利用测试集测试步骤三获得的训练好的Highway Bi-LSTM网络，获得轴承故障诊断网络；

所述轴承故障诊断网络为准确率大于预设阈值的训练好的Highway Bi-LSTM网络。

进一步地，所述步骤一包括以下步骤：

首先，设置样本提取参数采集轴承原始振动信号，获得若干样本；

然后，按照预设比例将样本划分为训练集和测试集，并分别设定类别标签。

优选地，所述步骤二中的输出层的激活函数为Sigmoid激活函数。

进一步地，所述步骤二中的Bi-LSTM网络输出为：

y_t＝σ(W_yh_t) (1)

h_t＝Z_o⊙tanh(c_t) (2)

c_t＝Z_f⊙C_t-1+Z_i⊙Z (3)

其中，y_t是Bi-LSTM网络的输出，σ()是sigmoid激活函数，W_y是输出层的权重参数，c_t、h_t是运算中间变量，Z_f、Z_i、Z_o、Z是中间状态变量。

进一步地，

Z_f＝σ(W_f·[ht-1,x_t]+b_f) (4)

Z_i＝σ(W_i·[h_t-1,x_t]+b_i) (5)

Z＝tanh(W·[h_t-1,x_t]+b) (6)

Z_o＝σ(W_o·[h_t-1,x_t]+b_o) (7)

其中，W_f、W_i、W_o、W是权重参数，[h_t-1,x_t]是Bi-LSTM的总输入向量即原始振动信号，h_t-1是t-1时刻的隐状态值，x_t是t时刻的输入，b_f、b_i、b、b_o为偏置。

进一步地，所述步骤二中的注意力机制的输出，如下式：

v_i＝∑_tα_iy_t (8)

u_i＝tanh(W_Ay_t+b_A) (9)

其中，W_A为注意力机制的权重矩阵，b_A为偏置值，u_i为y_t在i层的隐层表示，u_j是y_t在j层的隐层表示，α_i是u_i与u_A的相似度，v_i为注意力机制的输出向量，i,j∈[1,n]是隐层的标号，n是隐层的总数，t为当前时刻。

进一步地，所述步骤二中的Highway层，如下式：

y＝H(v_i,W_H)·T(v_i,W_T)+v_i·(1-T(v_i,W_1-T)) (11)

其中，v_i是Highway层的输入，y是Highway层的输出，H是非线性变化函数，T是变换门，v_i、y、H和T的维度相同，W_H、W_T、W_1-T是权重参数。

进一步地，所述Highway层通过SGD算法调整网络参数，具体为：

其中，W_t是t时刻的权重参数，W_t+1是t+1时刻的权重参数，η是学习速率，n'∈[1,N]，N是一次训练的样本数，θ是网络参数。

基于注意力机制的Highway Bi-LSTM轴承故障诊断***，包括：数据采集与提取模块、数据集划分模块、深层循环神经网络搭建模块、深层循环神经网络训练模块、测试模块、故障状态识别模块；

所述数据采集与提取模块用于提取若干样本即轴承的原始振动信号；

所述数据集划分模块用于将轴承的原始振动信号按照预设比例划分为训练集和测试集；

所述深层循环神经网络搭建模块用于搭建Highway Bi-LSTM网络；

所述深层循环神经网络训练模块用于利用训练集训练Highway Bi-LSTM网络获得训练好的Highway Bi-LSTM网络；

测试模块用于利用测试集测试训练好的Highway Bi-LSTM网络获得大于预设阈值的训练好的Highway Bi-LSTM网络；

故障状态识别模块用于将待识别故障的轴承原始振动信号输入到训练好的Highway Bi-LSTM网络中获得故障识别结果。

一种电子设备用于实现一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法；

所述电子设备包括：存储器、处理器、计算机程序；

所述计算机程序用于实现一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法；

所述计算机程序存储在存储器上，在处理器上运行。

本发明的有益效果为：

本发明提出根据正时域序列和逆时域序列同时处理轴承原始振动信号，并且直接利用轴承原始振动信号进行特征提取，无需时频转换，更有利于实际工业应用。本发明引入了自适应选通机制来管理网络中的信息流，有效解决了训练层过多难以收敛的问题。本发明提出利用注意力机制，允许网络注意不同时间步长的基本特征，提升了对关键特征的关注，进而提高了轴承的故障诊断的准确率和诊断精度。

附图说明

图1为本发明流程图；

图2为本发明的网络结构示意图；

图3为网络在实例中识别结果的混淆矩阵；

图4SKF6205深沟球轴承局部故障图片；

图5Bi-LSTM的原理图；

图6实验台图片；

图7不同健康状态的深沟球轴承的原始振动信号；

图8(a)-图8(f)是实施例中六种不同健康状况的图谱；

图9训练集和验证集的准确率曲线；

图10不同健康状态的深沟球轴承的三维可视化。

具体实施方式

具体实施方式一：如图1所示，本实施方式针对轴承故障诊断的特点，采用不同于传统的基于时频域转换的方法对轴承故障进行诊断，提出的基于注意力机制的HighwayBi-LSTM轴承故障诊断方法具体过程为：获得待诊断的轴承原始振动信号，将待诊断的轴承原始振动信号输入到轴承故障诊断网络中获得轴承故障严重性诊断结果，如图4所示，本发明所提出的方法可以诊断出不同缺口尺寸的轴承故障；

如图2所示，所述故障诊断网络通过以下方式获得：

步骤一、获取轴承的原始振动信号，并将轴承的原始振动信号划分为训练集和测试集：

首先，设置一定的样本提取参数采集轴承的原始振动信号，得到若干样本；

然后，按照预设比例将样本划分为训练集和测试集，并分别设定类别标签；

所述样本由原始振动信号直接提取而来，无需时频转换，更有利于工业应用。

步骤二、构建Highway Bi-LSTM(AHBi-LSTM)网络；

所述Highway Bi-LSTM网络包括：Bi-LSTM网络、注意力机制、Highway层、全连接层、softmax分类器；

所述Bi-LSTM网络如图5所示，可以同时在正时域和逆时域方向提取故障特征，可以充分利用深沟球轴承的原始振动信息；所述Bi-LSTM网络包括两个LSTM网络，一个前向LSTM神经网络，一个向后LSTM神经网络，同时连接到同一输出层，包括：输入层、前向层、后向层、连接层、输出层；

所述输出层的激活函数为Sigmoid激活函数；

所述注意力机制用于增强对故障特征的注意；

所述Highway层用于优化增强注意后的故障特征；

所述全连接层和softmax分类器用于对Highway层输出的特征进行分类；

所述Bi-LSTM网络的输出为：

y_t＝σ(W_yh_t) (1)

h_t＝Z_o⊙tanh(c_t) (2)

c_t＝Z_f⊙C_t-1+Z_i⊙Z (3)

Z_f＝σ(W_f·[h_t-1,x_t]+b_f) (4)

Z_i＝σ(W_i·[h_t-1,x_t]+b_i) (5)

Z＝tanh(W·[h_t-1,x_t]+b) (6)

Z_o＝σ(W_o·[h_t-1,x_t]+b_o) (7)

其中，y_t是Bi-LSTM网络的输出，σ()是sigmoid激活函数，W_y是输出层的权重参数，c_t、h_t是t时刻的运算中间变量，Z_f、Z_i、Z_o、Z是中间状态变量，Z_f、Z_i、Z_o是由总输入向量乘以权重矩阵W_f、W_i、W_o之后，再通过sigmoid激活函数映射为0到1之间的值，作为一种门控状态；Z则是将总输入向量乘以权重矩阵W后通过tanh激活函数转换成-1到1之间的值作为新的输入数据，[h_t-1,x_t]是Bi-LSTM的总输入向量即原始振动信号，h_t-1是t-1时刻的隐状态值，x_t是t时刻的输入，b_f、b_i、b、b_o为偏置。

所述Bi-LSTM网络的输出为注意力机制的输入，注意力机制对于重要的内容分配较多的注意力。在机械故障诊断任务中，信号的不同特征对故障诊断任务的影响是不同的，本发明引入Attention机制识别收集到的信号中哪些信息是重要的。则注意力机制的输出为：

v_i＝∑_tα_iy_t (8)

u_i＝tanh(W_Ay_t+b_A) (9)

其中，W_A为注意力层的权重矩阵，b_A为偏置值，u_i为y_t在i层的隐层表示，u_j是y_t在j层的隐层表示，权值α_i为u_i与相邻特征u_A的相似度，其中u_A使用随机初始化并在训练时动态更新，v_i为Attention机制的输出向量，i,j∈[1,n]是隐层的标号，n是隐层的总数，t为当前时刻。

所述Highway层的输入为注意力机制的输出，Highway层通过以下方式构建：

S1、在LSTM网络的前向神经网络中，输入v_i通过非线性变换函数H和权重参数W_H来输出y_i，其可以表示为：

y_i＝H(v_i,W_H) (11)

其中，y是前向神经网络的输出即故障类别，W_H是权重参数；

S2、基于上述前向神经网络，将两个非线性映射函数T和C添加到Highway层中，Highway层的输出y改为下式：

y＝H(v_i,W_H)·T(v_i,W_T)+v_i·C(v_i,W_C) (12)

其中，T是变换门，C是进位门，W_T、W_C是权重参数；

S3、为了便于计算和简化模型，定义了C＝1-T，然后修改后的Highway可以表示为：

y＝H(v_i,W_H)·T(v_i,W_T)+v_i·(1-T(v_i,W_1-T)) (13)

其中，v_i、y、H和T的维度必须相同，若维度不足则进行补零操作，W_1-T是权重参数；

S4、利用SGD算法调整网络参数，具体为：

其中，W_t是t时刻的权重参数，W_t+1是t+1时刻的权重参数，η是学习速率，n'∈[1,N]，N是一次训练的样本数，θ是网络参数；

本步骤中，基于RNN对LSTM进行了改进和优化，增加了大跨度信息传输通道。引入选通机制以保持梯度稳定，便于训练。Highway网络实际上就是一种可学习的门限机制，将输入某一层网络的数据分成两部分，一部分需要经过非线性变换，另一部分可以直接从该层网络跨过去，不经过任何的变换。哪些数据能够通过网络是由权值矩阵和输入数据共同决定的，在此机制下，一些信息有选择性的通过一些网络层，使得训练量减少，这也是Highway能够解决深层网络训练困难问题的原因。本发明所使用的Self-Attention利用Attention机制计算每个特征与其他所有特征之间的关联，与之相关联的特征就有较高的Attention score。利用这些Attention score就可以得到一个加权表示，然后再放到一个前馈神经网络中得到新的表示，这一表示很好的考虑特征的信息。

步骤三、利用训练集训练Highway Bi-LSTM网络获得训练好的Highway Bi-LSTM；

步骤四、利用测试集测试训练好的Bi-LSTM网络，获取准确率大于预设阈值的训练好的故障检测神经网络即轴承故障诊断网络；

基于注意力机制的Highway Bi-LSTM故障诊断方法，可实现复合故障的智能诊断与分类，将采集到的复合故障信号输入已经训练好的深度循环神经网络模型中进行测试，输出得到复合故障的实时诊断结果，同时此算法在设备硬件支持的条件下，可应用于在线监测与诊断***，对轴承进行实时的状态监测与故障诊断。

具体实施方式二：基于注意力机制的Highway Bi-LSTM轴承故障诊断***，包括：数据采集与提取模块、数据集划分模块、深层循环神经网络搭建模块、深层循环神经网络训练模块、测试模块、故障状态识别模块；

所述数据采集与提取模块用于设置一定的样本提取参数提取若干样本即轴承的原始振动信号；

采集轴承的振动信号，并设置一定的样本提取参数提取若干样本；

所述数据集划分模块用于将轴承的原始振动信号按照预设比例划分为训练集和测试集；

所述深层循环神经网络搭建模块用于搭建Highway Bi-LSTM网络；

所述深层循环神经网络训练模块用于利用训练集训练Highway Bi-LSTM网络获得训练好的Highway Bi-LSTM网络；

测试模块用于利用测试集测试训练好的Highway Bi-LSTM网络获得大于预设阈值的训练好的Highway Bi-LSTM网络；

故障状态识别模块用于将待识别故障的轴承原始振动信号输入到训练好的Highway Bi-LSTM网络中获得故障识别结果。

具体实施方式三、一种电子设备，包括存储器、处理器、计算机程序；

所述计算机程序用于实现一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法；

所述计算机程序存储在存储器上，在处理上运行。

具体实施方式四、一种计算机可读存储介质，用于存储计算机程序；

所述计算机程序被处理器执行时实现一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法。

实施例：

轴承广泛应用于旋转机械中。为了验证本发明所提方法的有效性以及是否可以区分不同程度的故障，设计了如下深沟球轴承故障的识别实验：

1.实验数据

轴承故障采集自故障诊断实验台，如图6所示，速度设置为1200rpm，采样频率为19.2kHz，转速设定为1200rpm，每种不同健康状态的采样时间设置为110秒。在振动信号采集过程中，在轴承座的垂直方向上布置振动传感器以采集振动信号。

采用SKF6205深沟球轴承对本发明的有益效果进行验证。SKF6205深沟球轴承的具体参数如表1所示。深沟球轴承的局部故障由线切割加工产生，正常轴承以及内外圈局部故障轴承如图4所示。本发明选用5种不同故障类型的深沟球轴承进行试验，其中，内圈故障两种，外圈故障三种。内圈故障的槽深都是2mm，槽宽分别是2mm和3mm。外圈故障的槽深都是1mm，槽宽分别是3mm，2mm,和0.5mm。深沟球轴承的具体故障描述如表2所示。

表1 SKF6205的参数表

表2深沟球轴承具体故障描述表

为了直观的展示深沟球轴承的原始振动信号，如图7所示，从图中可以看出，对于六种不同健康状态的深沟球轴承，健康状态1的轴承与健康状态2的轴承原始振动信号比较接近，健康状态3的轴承的振动相比前两种都明显。通过对比健康状态2和健康状态3的深沟球轴承内圈故障原始振动信号，说明对于内圈故障凹槽的宽度越窄原始振动信号越稳定。对于健康状态4的轴承，凹槽和滚动体的冲击比较严重，可以看出非常明显的冲击信号。健康状态5和健康状态6的深沟球轴承原始振动信号也可以看出比较明显的冲击特征。一方面说明外圈故障的槽宽越大轴承的信号的越不稳定，另一方也说明相比于内圈故障，外圈故障对于原始振动信号的影响更大。

通过观察正常和有缺陷的情况下的光谱，可以从频域的角度直观了解故障对振动信号的影响。六种不同健康状况的光谱图如图8(a)-图8(f)所示，横坐标是归一化频率。归一化频率就是把采样频率设为1，其它的频率按它的百分比表示，也就是将之归一化后就转换到[0,1]之间。这样做实现了一个统一的标准，有利于比较各个频率的分布情况。浅色代表谱值能量较大，深色代表谱值能量较小。从光谱图可以看出，正常的深沟球轴承的较大谱值更加集中的分布在0.1附近。出现故障，能量往高频处偏移，图8(b)图左侧是由于能量往右侧偏移，导致颜色变浅。冲击越明显越往集中于高频的某值附近。健康状态4的轴承，振动信号能看出明显冲击的轴承，较大谱值更加集中在0.8附近。其他四种健康状态的齿轮的光谱图较为接近，但是也能看出一些分布差异。

2.网络参数的确定

将上述训练集中的原始振动数据输入到循环神经网络中，网络从中自动学习和提取深层特征。

AHBi-LSTM方法叠加了两个Bi-LSTM神经网络，单元大小分别为32和64。Dropout用于处理第一个Bi-LSTM层后面的输出参数，以避免过拟合。同时，该方法使用注意机制来识别基本特征。由于Highway的复杂性较低，采用多层Highway连续优化Bi LSTM的输出特性。在本研究中，通过实验选择了三个Highway网层数。在Highway后面添加密集层和softmax层，以诊断深沟球轴承的故障严重性。网络结构如图2所示。网络的详细参数信息见表3。

表3网络的详细参数表

3.实验结果与分析

为了评价本发明所提方法的优越性，采用混淆矩阵来评价两种方法的分类准确率和误分类率，如图3所示。从混淆矩阵可以看出，健康状态4的深沟球轴承的故障识别准确率达到了100％，健康状态3的轴承准确率超过了99％，其他健康状态的轴承诊断准确率都在97％以上。说明本发明在齿轮箱故障诊断中取得了较好的效果，证明了所提方法的有效性和鲁棒性。

提取训练过程中的精确度数值，绘制训练集和验证集的准确率曲线，对曲线进行平滑处理后的曲线曲线图如图9所示。从图9中可以看到训练集准确率在第20轮训练之前上升的比较快，上升到了95％以上，后来稳步上升并逐渐的趋于稳定。验证集准确率在开始阶段上升的较慢，在第50轮训练以后才逐渐趋于稳定。从图9中可以看出本发明所提出的方法对于深沟球轴承的故障诊断有很好的效果。

为了更清楚的展示本发明提出的方法对于深沟球轴承的故障诊断效果，每种健康状态的轴承选取50个样本进行三维聚类可视化，如图10所示。从图中可以看出，每种健康状态的深沟球轴承都比较集中，可以看出明显的界限。虽然个别的IRF2的样本更靠近IRF1，这可能是由于环境噪声等因素导致样本点异常的原因。整体来看，本文提出的方法对于深沟球轴承的故障有很好的诊断效果。

为了进一步验证所提出的AHBi-LSTM方法的有效性，将本发明与其他相关深度学习方法进行了比较。除了LSTM网络和Bi LSTM网络外，注意力机制和Highway网络在Bi-LSTM上仅进行了比较。实验结果如表4所示。结果表明，两者在轴承故障诊断的准确性上都有一定的提高。与这些近似模型相比，AHBi-LSTM模型对深沟球轴承具有更好的故障诊断性能。

表4AHBi-LSTM方法和其它方法的准确度表

综上所述，本发明提供了一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法。首先，Bi-LSTM同时在正时域和逆时域方向提取信号特征。注意机制用于增强对基本故障特征的注意。最后，利用Softmax网进一步优化特征，提高轴承故障诊断效果。

Claims (10)

1.基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于所述方法具体过程为：获得待诊断的轴承原始振动信号，将待诊断的轴承原始振动信号输入到轴承故障诊断网络中获得轴承故障严重性诊断结果；

轴承故障诊断网络通过以下方式获得：

步骤一、获取轴承原始振动信号，并将轴承原始振动信号分为训练集和测试集；

步骤二、构建Highway Bi-LSTM网络；

所述Highway Bi-LSTM网络由以下处理层依次连接组成：Bi-LSTM网络、注意力机制、Highway层、全连接层、softmax分类器；

所述Bi-LSTM网络用于分别提取轴承正逆时间顺序的信号特征；

所述注意力机制用于增强对Bi-LSTM网络提取的信号特征中关键特征的关注；

所述Highway层用于优化注意力机制输出的特征；

所述全连接层和softmax分类器用于对Highway层输出的特征进行分类；

步骤三、利用训练集训练步骤二构建的Highway Bi-LSTM网络获得训练好的HighwayBi-LSTM网络；

步骤四、利用测试集测试步骤三获得的训练好的Highway Bi-LSTM网络，获得轴承故障诊断网络；

所述轴承故障诊断网络为准确率大于预设阈值的训练好的Highway Bi-LSTM网络。

2.根据权利要求1所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述步骤一包括以下步骤：

首先，设置样本提取参数采集轴承原始振动信号，获得若干样本；

然后，按照预设比例将样本划分为训练集和测试集，并分别设定类别标签。

3.根据权利要求2所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述步骤二中的输出层的激活函数为Sigmoid激活函数。

4.根据权利要求3或2所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述步骤二中的Bi-LSTM网络输出为：

y_t＝σ(W_yh_t) (1)

h_t＝Z_o⊙tanh(c_t) (2)

c_t＝Z_f⊙C_t-1+Z_i⊙Z (3)

其中，y_t是Bi-LSTM网络的输出，σ()是sigmoid激活函数，W_y是输出层的权重参数，c_t、h_t是运算中间变量，Z_f、Z_i、Z_o、Z是中间状态变量。

5.根据权利要求4所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：

Z_f＝σ(W_f·[h_t-1,x_t]+b_f) (4)

Z_i＝σ(W_i·[h_t-1,x_t]+b_i) (5)

Z＝tanh(W·[h_t-1,x_t]+b) (6)

Z_o＝σ(W_o·[h_t-1,x_t]+b_o) (7)

其中，W_f、W_i、W_o、W是权重参数，[h_t-1,x_t]是Bi-LSTM的总输入向量即原始振动信号，h_t-1是t-1时刻的隐状态值，x_t是t时刻的输入，b_f、b_i、b、b_o为偏置。

6.根据权利要求5所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述步骤二中的注意力机制的输出，如下式：

v_i＝∑_tα_iy_t (8)

u_i＝tanh(W_Ay_t+b_A) (9)

其中，W_A为注意力机制的权重矩阵，b_A为偏置值，u_i为y_t在i层的隐层表示，u_j是y_t在j层的隐层表示，α_i是u_i与u_A的相似度，v_i为注意力机制的输出向量，i,j∈[1,n]是隐层的标号，n是隐层的总数，t为当前时刻，u_A是u_i的相邻特征。

7.根据权利要求6所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述步骤二中的Highway层，如下式：

y＝H(v_i,W_H)·T(v_i,W_T)+v_i·(1-T(v_i,W_1-T)) (11)

其中，v_i是Highway层的输入，y是Highway层的输出，H是非线性变化函数，T是变换门，v_i、y、H和T的维度相同，W_H、W_T、W_1-T是权重参数。

8.根据权利要求7所述的基于注意力机制的Highway Bi-LSTM轴承故障诊断方法，其特征在于：所述Highway层通过SGD算法调整网络参数，具体为：

其中，W_t是t时刻的权重参数，W_t+1是t+1时刻的权重参数，η是学习速率，n'∈[1,N]，N是一次训练的样本数，θ是网络参数。

9.基于注意力机制的Highway Bi-LSTM轴承故障诊断***，其特征在于：所述***包括：数据采集与提取模块、数据集划分模块、深层循环神经网络搭建模块、深层循环神经网络训练模块、测试模块、故障状态识别模块；

所述数据采集与提取模块用于提取若干样本即轴承的原始振动信号；

所述数据集划分模块用于将轴承的原始振动信号按照预设比例划分为训练集和测试集；

所述深层循环神经网络搭建模块用于搭建Highway Bi-LSTM网络；

所述Highway Bi-LSTM网络由以下处理层依次连接组成：Bi-LSTM网络、注意力机制、Highway层、全连接层、softmax分类器；

所述Bi-LSTM网络用于分别提取轴承正逆时间顺序的信号特征；

所述注意力机制用于增强对Bi-LSTM网络提取的信号特征中关键特征的关注；

所述Highway层用于优化注意力机制输出的特征；

所述全连接层和softmax分类器用于对Highway层输出的特征进行分类；

所述深层循环神经网络训练模块用于利用训练集训练Highway Bi-LSTM网络获得训练好的Highway Bi-LSTM网络；

测试模块用于利用测试集测试训练好的Highway Bi-LSTM网络获得大于预设阈值的训练好的Highway Bi-LSTM网络；

故障状态识别模块用于将待识别故障的轴承原始振动信号输入到训练好的HighwayBi-LSTM网络中获得故障识别结果。

10.一种电子设备，其特征在于：所述电子设备用于实现权利要求1-8任一项所述的一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法；

所述电子设备包括：存储器、处理器、计算机程序；

所述计算机程序用于实现一种基于注意力机制的Highway Bi-LSTM轴承故障诊断方法；

所述计算机程序存储在存储器上，在处理器上运行。

Images