CN110941928B - 一种基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测方法 - Google Patents

Abstract

一种基于dropout‑SAE和Bi‑LSTM的滚动轴承RUL预测方法，属于轴承运行状态的预测领域。本发明为了解决现有的滚动轴承RUL预测方法存在模型训练时间较长且预测准确率较低的问题。本发明提出一种改进的SAE，即dropout‑SAE对滚动轴承振动信号进行无监督的深层特征自适应提取，该网络应用一种新的Tan激活函数替代原有的sigmoid激活函数，并采用dropout方法实现其稀疏性；同时，考虑到滚动轴承剩余使用寿命预测方法一般仅考虑过去信息而忽略未来信息，提出引入双向长短时记忆网络作为滚动轴承RUL的预测模型。在2个轴承数据集上的实验结果均表明，所提预测方法不仅可以提高模型的收敛速度而且具有较高的准确率。

Description

一种基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测 方法

技术领域

本发明涉及滚动轴承剩余寿命预测方法，属于轴承运行状态的预测领域。

背景技术

滚动轴承作为旋转设备最常用且易损坏的关键零部件，其运行状态的好坏往往直接影响整台设备的性能^[1]。因此对滚动轴承进行剩余使用寿命(remaining useful life，RUL)预测具有非常重要的现实意义。

特征提取是进行滚动轴承RUL预测的重要前提。近年来，深度学习以其强大的自适应特征提取能力、非线性函数表征能力获得了广泛关注，并为滚动轴承振动信号的特征提取提供了新的解决思路^[2]。文献[3]提出一种改进的深度信念网络，直接以滚动轴承原始振动信号作为网络输入，从低层向高层逐层抽象表示，从而达到深度挖掘数据本质特征的目的。文献[4-6]利用卷积神经网络特有的局部卷积、权值共享和降采样等结构特性直接从滚动轴承振动信号中自动提取数据局部抽象信息，实现对振动信号特征的深层挖掘。上述研究虽利用深度学习方法简化了复杂的特征提取过程且挖掘出了振动信号深层本质特征，但是网络结构参数仍需大量带标签的数据进行有监督的微调，而实际中标签数据难以获取。

无监督特征学习可以从无标签数据中自动提取数据内在特征^[7]，在标签数据少且难获取情况下，这种方法具有较大优势。稀疏自动编码器(sparse auto encoder，SAE)作为一种典型的无监督特征学习模型，可实现从大量无标签数据中有效地学习数据简明的内在特征表达^[8]，目前已被成功推广到各种标记数据有限的应用场合^[9]。传统的SAE采用sigmoid作为激活函数容易造成梯度消失问题，且采用KL散度进行稀疏性约束在滚动轴承特征提取方面存在局限性。

在特征提取的基础上，进行滚动轴承RUL预测是最终目标。在获取轴承的性能退化特征值的基础上，考虑到深度学习算法中的循环神经网络在处理时间序列数据方面的优势，将长短时记忆网络(long short-term memory，LSTM)作为轴承性能退化曲线构建方法。利用LSTM构建轴承性能退化曲线的方法是将“过去”的信息整合起来，然后辅助处理当前信息。然而，传统的LSTM并没有考虑到滚动轴承的衰退过程实际上是一个在时间上具有前后依赖关系的连续变化过程，当前信息的处理也有必要整合“未来”的信息^[10]。

综上，传统的SAE采用sigmoid作为激活函数容易造成梯度消失问题以及采用KL散度进行稀疏性约束在滚动轴承特征提取方面存在局限性；传统的滚动轴承RUL预测方法仅考虑过去信息而忽略未来信息，这些问题仍没有解决。

发明内容

本发明为了解决现有的滚动轴承RUL预测方法存在模型训练时间较长且预测准确率较底的问题，进而提出一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法。

本发明解决上述技术问题采用的技术方案为：

一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，所述方法的实现过程：

步骤一、数据预处理：先对滚动轴承原始时域振动数据进行傅里叶变换，将其转换到频域；然后对其进行线性函数归一化处理；最后划分训练集和测试集；

步骤二、深层特征提取：训练集作为dropout-SAE的输入进行网络参数的训练，提取能够表征轴承退化趋势的特征；

步骤三、构建Bi-LSTM模型：以dropout-SAE在训练集上提取出的多个特征作为Bi-LSTM网络的输入，当前使用寿命特征点数与全寿命特征点数的比值p，即寿命百分比作为当前寿命的标签输出，设置相关网络参数后进行训练，得到Bi-LSTM模型；

步骤四、模型优化：分别采用Adam、RMSProp、SGDM优化算法对Bi-LSTM模型进行优化，分别计算出每种优化算法下Bi-LSTM模型的均方误差(Mean Squared Error，MSE)、平均绝对误差(mean absolute error，MAE)、平均绝对百分误差(mean absolute percentageerror，MAPE)、均方百分比误差(Mean square percentage error，MAPE)、均方根误差(rootmean square error，RMSE)，选取上述5种误差之和最小的优化算法来对Bi-LSTM模型进行优化，得到优化后的Bi-LSTM模型参数，并应用Dropout技术防止过拟合；

步骤五、测试集验证：对测试集采用与训练集相同的数据预处理、特征提取方法进行处理，并将提取出的特征输入到优化后的Bi-LSTM网络模型中，预测已知数据的p值；

步骤六、RUL预测：对预测出的已知数据的p值曲线进行一次函数线性拟合，得到未来各个点的p值趋势，由步骤(3)中p值的设定可知，当p＝1时，轴承失效，即达到全寿命，利用全寿命L_q减去当前寿命L_d可求得第i个轴承的RUL，如式(22)所示：

RUL_i＝L_q-L_d (22)

通过预测的剩余寿命RUL_i与真实寿命ActRUL_i之间的误差Er_i来反映模型剩余寿命预测性能的好坏，如式(23)所示：

进一步地，在步骤二中，所述dropout-SAE是一种改进的SAE，以Tan激活函数替代原有的sigmoid激活函数、以dropout机制替代原有的KL散度对网络进行稀疏性约束。

进一步地，在步骤二中，所述dropout-SAE的网络结构为：dropout-SAE网络结构为2048-200-2048，其中输入层节点数对应归一化后的轴承频域幅值信号的2048个点，隐藏层节点数200对应最终提取出的特征数，输出层与输入层维度相同。

进一步地，在步骤二中，深层特征提取的具体过程为：深层特征提取主要包括预训练以及全局参数微调两个阶段：预训练阶段通过无监督的逐层预训练初始化网络参数；全局参数微调阶段以原始输入作为标签，通过BP反向传播算法和梯度下降方法对网络参数进行微调，以优化dropout-SAE。

进一步地，所述Bi-LSTM网络由一个隐藏层组成，网络的隐藏状态数被选择为150，使用均方根误差(RMSE)作为其损失函数，初始学习率设置为0.01并随机初始化权重矩阵W和偏置b。

进一步地，在步骤三中，以dropout-SAE在训练集上提取出的多个特征作为Bi-LSTM网络的输入，具体过程为：

前向LSTM与后向LSTM分别对特征序列进行顺序、倒序处理，得到时间序列相反的隐藏层状态，并将其连接得到同一个输出。

进一步地，在步骤三中，采用Bi-LSTM模型同时考虑数据的过去和未来信息，通过前向LSTM和后向LSTM得到两个时间序列相反的隐藏层状态，然后将其连接得到同一个输出；前向LSTM和后向LSTM可以分别获取输入序列的过去信息和未来信息，Bi-LSTM在t时刻的隐藏状态H_t包含前向的

和后向的

其中：T为序列长度，ct表示记忆单元，xt表示t时刻的输入向量，表示经过SAE提取得到的滚动轴承振动信号深层特征；ht是时间t的隐藏状态。

本发明具有以下有益技术效果：

由于传统的SAE采用sigmoid作为激活函数容易造成梯度消失问题，且采用的KL散度对网络进行稀疏性约束不适合处理滚动轴承特征提取这样的回归问题。基于此，本发明对SAE的激活函数进行改进，用一种新的Tan函数替代原有的sigmoid函数，并以dropout机制替代KL散度实现网络的稀疏性，从而形成一种改进的SAE，即dropout-SAE。并利用dropout-SAE对滚动轴承振动信号进行无监督深层特征自适应提取，无需人工设计标签进行有监督微调。在特征提取的基础上，进行滚动轴承RUL预测是最终目标。本发明考虑到滚动轴承的衰退过程实际上是一个在时间上具有前后依赖关系的连续变化过程，当前信息的处理也有必要整合“未来”的信息^[10]。文献[10]将双向长短时记忆网络(bi-directionallong short-term memory，Bi-LSTM)用于负荷的短期预测并取得很好的实验效果。文献[11]将Bi-LSTM应用于视频描述，用以全面保留全局时间和视觉信息。由此可以证实Bi-LSTM在时间序列处理上具有可行性和优越性。因此，本发明通过引入Bi-LSTM以实现过去和未来信息的充分利用，获得更准确的RUL预测结果。

本发明对SAE进行改进，提出一种dropout-SAE网络，并利用其深层结构对原始轴承振动信号进行无监督自适应特征提取，将提取出的深层特征作为滚动轴承的性能退化特征。为进一步解决传统的滚动轴承RUL预测方法仅考虑过去信息而忽略未来信息的问题，引入Bi-LSTM完成滚动轴承当前寿命预测。最后利用一次函数对当前寿命进行拟合，实现对滚动轴承的RUL预测。

针对稀疏自动编码器(sparse auto encoder，SAE)采用sigmoid激活函数容易造成梯度消失的问题，用一种新的Tan函数替代原有的sigmoid函数；针对SAE采用KL散度进行稀疏性约束在回归预测方面的局限性，以dropout机制替代KL散度实现网络的稀疏性，从而形成一种改进的SAE，即dropout-SAE。并利用dropout-SAE对滚动轴承振动信号进行无监督深层特征自适应提取，无需人工设计标签进行有监督微调。同时，考虑到滚动轴承剩余使用寿命(remaining useful life，RUL)预测方法一般仅考虑过去信息而忽略未来信息，引入双向长短时记忆网络(bi-directional long short-term memory，Bi-LSTM)构建滚动轴承RUL的预测模型。在2个轴承数据集上的实验结果均表明，本发明所提基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较高的准确率。

附图说明

图1为AE结构示意图；

图2为sigmoid函数及其导函数曲线；

图3为Tan函数及其导函数曲线；

图4为LSTM单元内部结构示意图；

图5为Bi-LSTM网络展开图；

图6为滚动轴承RUL预测流程图；

图7为轴承1_1时域振动信号及归一化后的频域幅值谱图，其中：(a)为时域振动信号，(b)为归一化后的频域幅值谱；

图8为轴承1_1部分特征趋势曲线图；

图9为本发明所提方法预测轴承1_7的当前p值的拟合结果和拟合误差图，其中：(a)表示拟合结果，(b)表示拟合误差；

图10为本发明所述方法对轴承1_7的RUL预测结果图，

图11为特征提取所消耗时间的对比(PHM2012轴承数据集)，

图12为三种方案对轴承1_7RUL预测结果图，图中：(a)为方案一，(b)为方案二(c)，方案三；

图13为特征提取所消耗时间的对比(XJTU-SY轴承数据集)。

具体实施方式

结合附图1至13对本发明所述的基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测方法的实现进行如下阐述：

1dropout-SAE模型

自动编码器(auto encoder，AE)是一种通过无监督学习算法去尝试学习一个函数，使得输出值接近于输入值的三层神经网络，其结构如图1所示，包括输入层、隐藏层和输出层^[12]。

输入层与隐藏层构成编码网络，编码过程为将包含n个数据的输入x＝{x₁,x₂,…,x_n}转换成拥有高级特征的隐藏层表达h＝{h₁,h₂,…,h_n}；隐藏层与输出层构成解码网络，解码过程为隐藏层向量集反向变换为与输入数据维数相同的重构数据集y＝{y₁,y₂,…,y_n}。

编码过程和解码过程可表示为：

h＝S_f(b₁+W₁x) (1)

y＝S_g(b₂+W₂h) (2)

其中：S_f为编码激活函数；S_g为解码激活函数；b₁、b₂为偏置量；W₁、W₂为权重矩阵，W₂＝W₁ ^T。

AE通过优化参数集θ＝{W₁,W₂,b₁,b₂}来最小化重构误差，损失函数为：

式(1)和式(2)中的激活函数S_f与S_g一般采用sigmoid函数，sigmoid函数及其导函数形式为：

由图2的sigmoid函数及其导函数图像可以看出，当神经网络的输出较大时，sigmoid导数会变得非常小，导致模型收敛很慢，即梯度消失。

为了解决这个问题，本文采用一种新的激活函数，称为Tan函数，Tan函数及其导函数形式为：

由图3的Tan函数及其导数图像可以看出，Tan导数的最小值约为0.64，不会出现为0从而导致梯度消失，使得网络模型收敛更加快速。

SAE是在AE的损失函数基础上添加了稀疏惩罚项，可更好地表达输入数据结构，避免网络过拟合。传统的SAE采用KL散度作为稀疏惩罚项，定义为：

其中：β表示权值的激活参数，m表示隐藏层神经元个数，

表示隐藏层第j个神经元的平均激活度，ρ为稀疏参数，a_j(x)表示给定输入x的情况下隐藏层第j个神经元的激活度。

添加稀疏惩罚项后的SAE的损失函数为：

J(θ)＝J_MSE(θ)+J_sparse(θ) (11)

然而，以上采用KL散度作为SAE的稀疏约束项仅适用真实值为0或1的分类问题，对于滚动轴承所需提取的深层特征为[0,1]之间某个值这样的回归问题，无法将

作为依据，对网络进行惩罚。因此，本文采用dropout机制实现SAE的稀疏性。

具体做法是在编码与解码过程中的激活函数前引入dropout层，在进行编码、解码时进行掩模处理，使得AE中的部分神经元激活值以一定的概率q(通常为0.5)被置为0^[13]，公式为：

其中：z表示原始激活函数的输入，z′表示经dropout层稀疏化后的激活函数的输入。

一旦神经元被置为0，就意味着相应的神经元从网络中被剔除，其连接权重和偏置在本次学习中也不会更新(处于休眠状状态)，也就是说在使用一个规模小于原始网络的自网络进行学习。此时，对于编码与解码过程，仍满足式(1)和式(2)。

2Bi-LSTM模型

LSTM模型由三个门(输入门i_t，遗忘门f_t，输出门o_t)和一个记忆单元(c_t)构成，通过这三个门对内部记忆进行选择性的输入、输出和遗忘操作，能够有效克服梯度***或梯度消失问题。LSTM单元的内部结构如图4所示。

一个完整的LSTM可表示为：

f_t＝σ(W_f·X+b_f) (14)

i_t＝σ(W_i·X+b_i) (15)

o_t＝σ(W_o·X+b_o) (16)

其中：x_t表示t时刻的输入向量；h_t是时间t的隐藏状态；W和b分别是LSTM的权值和偏置，均为模型训练参数；σ是激活函数sigmoid；

为逐点乘积。

虽然LSTM能够解决长期依赖问题，但是它并没有利用未来的信息。因此本发明采用Bi-LSTM模型同时考虑数据的过去和未来信息，将其展开如图5所示。其工作原理是：通过前向LSTM和后向LSTM得到两个时间序列相反的隐藏层状态，然后将其连接得到同一个输出。前向LSTM和后向LSTM可以分别获取输入序列的过去信息和未来信息^[10]。Bi-LSTM在t时刻的隐藏状态H_t包含前向的

和后向的

其中：T为序列长度。

3滚动轴承RUL预测方法及流程

基于dropout-SAE和Bi-LSTM滚动轴承RUL预测方法流程图如图6所示。具体步骤为：

(1)数据预处理：先对滚动轴承原始时域振动数据进行傅里叶变换，将其转换到频域；然后对其进行线性函数归一化处理；最后划分训练集和测试集。

(2)深层特征提取：训练集作为dropout-SAE的输入进行无监督深层特征提取，主要包括预训练以及全局参数微调两个阶段：预训练阶段通过无监督的逐层预训练初始化网络参数；全局参数微调阶段以原始输入作为标签，通过BP反向传播算法和梯度下降方法对网络参数进行微调，从而优化整个模型，进一步提升网络的非线性函数映射能力，得到更好的特征表达^[2]，最终提取能够表征轴承退化趋势的特征。

(3)构建Bi-LSTM模型：以dropout-SAE在训练集上提取出的多个特征作为Bi-LSTM网络的输入，当前使用寿命特征点数与全寿命特征点数的比值p，即寿命百分比作为当前寿命的标签输出，设置相关网络参数后进行训练。

(4)模型优化：通过计算训练模型的均方误差(Mean Squared Error，MSE)、平均绝对误差(mean absolute error，MAE)、平均绝对百分误差(mean absolute percentageerror，MAPE)、均方百分比误差(Mean square percentage error，MAPE)、均方根误差(rootmean square error，RMSE)以及上述5种误差之和作为评价标准，比较文献[14]所提的3种常用的优化算法Adam，RMSProp和SGDM，训练得到最优的Bi-LSTM模型参数，并应用Dropout技术防止过拟合。

(5)测试集验证：对测试集采用与训练集相同的数据预处理、特征提取方法进行处理，并将提取出的特征输入到训练好的Bi-LSTM网络模型中，预测已知数据的p值。

(6)RUL预测：对预测出的已知数据的p值曲线进行一次函数线性拟合，得到未来各个点的p值趋势。由步骤(3)中p值的设定可知，当p＝1时，轴承失效，即达到全寿命。利用全寿命L_q减去当前寿命L_d可求得第i个轴承的RUL，如式(22)所示：

RUL_i＝L_q-L_d (22)

(7)通过预测的剩余寿命RUL_i与真实寿命ActRUL_i之间的误差Er_i来反映模型剩余寿命预测性能的好坏。如式(23)所示：

4应用与分析，对本发明的技术效果进行验证：

为了验证本发明提出的基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，选取PHM2012轴承数据集^[15]作为实验数据进行验证。该数据集由水平方向和垂直方向两个加速度传感器采集得到，每隔10s记录一次，每次记录时间为0.1s，采样频率为25.6kHz。本发明采用水平方向的振动数据。

如表1所示，本发明选取轴承1_1、1_2、2_1、2_2、3_1和3_2共6个轴承的全寿命数据(滚动轴承从运行开始到完全失效的所有数据)作为训练集进行训练，剩余轴承1_3、1_4、1_5、1_6、1_7、2_3、2_4、2_5、2_6、2_7和3_3共11个轴承的非全寿数据(滚动轴承从运行开始到某个时间点的数据)作为测试集进行RUL预测实验。

表1实验数据(PHM2012轴承数据集)

实验对训练集和测试集共17个轴承的原始时域信号进行预处理。以轴承1_1为例，0.1s采集时间段内的某一样本时域振动信号及相应的归一化频域幅值信号如图7所示。

将归一化后的轴承频域幅值信号输入到dropout-SAE中进行无监督自适应特征提取。经大量实验，dropout-SAE网络结构选择为2048-200-2048，其中输入层节点数对应归一化后的轴承频域幅值信号的2048个点，隐藏层节点数200对应最终提取出的特征数。为了消除振荡对健康指标的影响，保证原有特征曲线特性不变，对获得的特征曲线进行平滑滤波处理^[16]。从轴承1_1提取出的200维特征中任意选取某5个特征，其趋势曲线如图8所示。

由图8可以看出，由SAE提取出的深层特征整体具有良好的单调趋势性(部分特征在轴承整个生命周期内呈上升趋势，其余特征则呈下降趋势)，能很好地表征轴承整个生命周期的衰退过程。

训练阶段：将轴承1_2、2_1、2_2、3_1和3_2经过SAE提取的深层特征输入到Bi-LSTM网络模型中，以真实p值作为模型的输出，训练Bi-LSTM预测模型。Bi-LSTM网络由一个隐藏层组成，经迭代实验，网络的隐藏状态数被选择为150。使用均方根误差(RMSE)作为其损失函数，初始学习率设置为0.01并随机初始化权重矩阵W和偏置b。计算三种优化算法Adam，RMSProp和SGDM之下训练模型的各误差及误差之和，如表2所示。可见，Adam作为自适应优化算法可以使所提模型误差最小，同时，Adam算法能基于训练数据迭代地更新神经网络权重，因此，本发明使用Adam优化器进行梯度优化。除此之外，本发明还利用Dropout技术^[19]防止过度拟合并提高模型的性能，经实验，Dropout值设置为0.1。

表2三种优化算法的训练误差

测试阶段：以测试轴承1_7为例，与训练阶段相同，将轴承1_7经过dropout-SAE提取的深层特征输入到已训练好的Bi-LSTM预测模型中，预测出当前p值。预测值与实际值的拟合结果如图9(a)所示，图9(b)为相应的拟合误差。

将预测出的轴承1_7当前p值运用一次函数拟合，得到未来p值的趋势，从而可得到滚动轴承1_7的RUL预测结果，如图10所示。

根据轴承的实际采样数据特点，每个轴承的每个特征点表示的寿命时间是10s。已知轴承1_7非全寿数据共1502个点，全寿命数据共2259点，又由图10可以看出，当轴承达到失效阈值，即p＝1时对应预测的全寿命数据点共2282点。由式(22)计算得到预测RUL为(2282-1502)×10s＝7800s，实际ActRUL为(2259-1502)×10s＝7570s，进而由式(23)得预测误差为((7570-7800)/7570)×100％＝-3.04％，如表4所示。

为了评估RUL预测的不确定性，采用文献[17]的方法对RUL进行区间估计，在预测值附近设置95％置信水平的置信区间，提取上限和下限。与上述RUL预测类似，这些值也可以外推到失效阈值，以获得RUL预测的上限和下限置信区间[7530s，8070s]。

为了验证dropout-SAE相比于SAE在收敛速度方面所获得的优势，分别利用SAE和dropout-SAE对滚动轴承进行深层特征提取，所消耗的时间如图11所示。

由图11可以看出，在17个轴承特征提取实验中，dropout-SAE特征提取所消耗的时间均比SAE特征提取所消耗的时间要短，可证明dropout-SAE相比于SAE有更快的收敛速度。

为了验证所提出的基于dropout-SAE和Bi-LSTM预测方法的有效性，设置了另外三种方案与本发明所提预测方法进行对比实验，如表3所示。

表3所提预测方法与其他3种方案的构成

按照本发明所提方法对轴承1_7进行RUL预测的实验过程，同理可得到另外三种方案对轴承1_7的RUL预测，结果如图12所示，具体的预测误差如表4所示。

为了进一步佐证本发明方法的有效性，利用PHM2012轴承数据集的RUL预测准确度评分公式(24)对滚动轴承RUL预测进行评价，平均得分结果如表4所示。

其中，A_i定义为：

同理，表4给出了数据库中其他10个轴承的RUL预测误差和平均得分，并给出了与文献[18]和[19]的对比结果。

表4不同轴承RUL预测结果对比(PHM2012轴承数据集)

由本发明所提基于dropout-SAE和Bi-LSTM预测方法与其他3种方案的对比实验结果可以看出：在相同的LSTM和Bi-LSTM预测模型情况下，dropout-SAE特征提取模型较SAE特征提取模型获得的平均预测误差分别降低5.56％和1.25％，平均得分分别提高了0.052和0.054，由此可以证明dropout-SAE特征提取模型更具优越性。在相同的dropout-SAE特征提取模型的情况下，Bi-LSTM预测模型较LSTM预测模型平均误差降低了3.32％，平均得分提高了0.099，可证明Bi-LSTM预测模型具有较大优越性。总体看，本文所提方法相比方案一、方案二和方案三都具有更低的误差和更高的得分。同时，本文所提方法相较于文献[18]和文献[19]平均预测误差分别降低了25.99％和46.75％，平均得分分别提高了0.313和0.511。由此进一步证明了本文所提方法在滚动轴承RUL预测方面的有效性。

为了验证所提出的基于dropout-SAE和Bi-LSTM模型的泛化能力，使用西安交通大学XJTU-SY轴承数据集^[20]作为新的实验数据。该数据集由水平方向和垂直方向两个加速度传感器采集得到，每隔1min记录一次，每次记录时间为1.28s，采样频率为25.6kHz，利用水平方向的振动数据。仿照PHM2012轴承数据集^[17]对轴承进行非全寿与全寿命数据的划分，如表5所示。选取轴承1_1、1_2、2_1、2_2、3_1和3_2共6个轴承的全寿命数据作为训练集进行训练，剩余轴承1_3、1_4、1_5、2_3、2_4、2_5、3_3、3_4、3_5共9个轴承的非全寿数据作为测试集。

表5实验数据(XJTU-SY轴承数据集)

同时，为了简化实验过程，选取每个1.28s采集数据的中间4096点作为数据样本，按照PHM2012轴承数据集相同的实验方法进行SAE深层特征提取、Bi-LSTM模型构建、RUL预测等。具体实验结果如图13和表6所示。

表6不同轴承RUL预测结果对比(XJTU-SY轴承数据集)

由以上4种方法的实验结果对比可以得出与PHM2012轴承数据集相同的结论，因此可以进一步说明所提方法具有较好的泛化能力。

5结论

(1)针对传统的SAE采用sigmoid作为激活函数容易造成梯度消失问题，用一种新的Tan函数替代原有的sigmoid函数；针对SAE采用KL散度进行稀疏性约束在滚动轴承特征提取方面的局限性，以dropout机制替代KL散度实现其稀疏性，形成一种改进的SAE，即dropout-SAE。并利用dropout-SAE对滚动轴承振动信号进行无监督特征自适应提取，从而得到具有一定趋势能够表征轴承退化趋势的深层特征。

(2)针对标准LSTM按时间顺序处理序列，仅考虑过去信息而忽略未来信息的问题，引入Bi-LSTM网络，其同一输出连接两个具有相反时间的LSTM网络，分别获取输入序列的过去数据信息和未来数据信息。同时，为了得到更好的预测结果，利用Adam算法和Dropout技术优化Bi-LSTM预测模型。

(3)所提方法经两个数据集实验验证，结果表明，相比传统的SAE模型，dropout-SAE模型具有更高的收敛速度且提取的深层特征结合Bi-LSTM模型在滚动轴承RUL预测方面更具优越性，同时与其他两个文献相比预测误差降低了25％以上，得分提高了0.313以上。

对于滚动轴承RUL预测有超前预测(Er_i>0)和滞后预测(Er_i<0)两种结果，在工业生产生活中对设备进行超前预测带来的风险低于滞后预测。因此，“超前预测”比“滞后预测”更具实用意义。本发明虽然在一定程度上提高了预测准确率，但是也加剧了“滞后预测”的问题，因此，RUL预测模型的优化将会是下一步研究工作的重点。

本发明中援引的参考文献如下：

[1]夏新涛,常振,叶亮,等.滚动轴承性能稳定性及可靠性分析[J].仪器仪表学报,2017,38(06):1421-1431.

XIAX T,CHANG Z,YE L,et al.Stability and reliability analysis ofrolling bearing performance[J].Chinese Journal of Scientific Instrument,2017,38(06):1421-1431.

[2]赵光权,刘小勇,姜泽东,等.基于深度学习的轴承健康因子无监督构建方法[J].仪器仪表学报,2018,39(06):82-88.

ZHAO G Q，LIL X Y，JIANG Z D，et al.Unsupervised health indicator ofbearing based on deep learning[J].Chinese Journal of Scientific Instrument，2018，39(06)：82-88.

[3]杨宇,张娜,程军圣.全参数动态学习深度信念网络在滚动轴承寿命预测中的应用[J].振动与冲击,2019,38(10):199-205+249.

YANG Y,ZHANG N,CHENG J S.Global parameters dynamic learning deepbelief networks and its application in rolling bearing life prediction[J].Journal of Vibration and Shock,2019,38(10):199-205+249.

[4]HINCHI AZ,TKIOUAT M.Rolling element bearing remaining useful lifeestimation based on a convolutional long-short-term memory network[J].Procedia Computer Science,2018,127:123-132.

[5]LI X,ZHANG W,DING Q.Deep learning-based remaining useful lifeestimation of bearings using multi-scale feature extraction[J].ReliabilityEngineering and System Safety,2019,182:208-218.

[6]MAO W T,HE J L,TANG J M,et al.Predicting remaining useful life ofrolling bearings based on deep feature representation and long short-termmemory neural network[J].Mechanical Engineering,2018,10(12):1-18.

[7]CHERIYADAT A M.Unsupervised feature learning for aerial sceneclassification[J].IEEE Transactions on Geoscience&Remote Sensing,2014,52(1):439-451.

[8]孙文珺,邵思羽,严如强.基于稀疏自动编码深度神经网络的感应电动机故障诊断[J].机械工程学报,2016,52(09):65-71.

SUN W J,SHAO S Y,YAN R Q.Induction motor fault diagnosis based ondeep neural network of sparse auto-encoder[J].Journal of MechanicalEngineering,2016,52(09):65-71.

[9]陈宇,温欣玲,刘兆瑜,等.稀疏自动编码器视觉特征融合的多弹分类算法研究[J].红外与激光工程,2018,47(08):386-393.

CHEN Y,WEN X L,LIU Z Y,et al.Research of multi-missile classificationalgorithm based on sparse auto-encoder visual feature fusion[J].Infrared andLaser Engineering,2018,47(08):386-393.

[10]WANG S X,WANG X,WANG S M,et al.Bi-directional long short-termmemory method based on attention mechanism and rolling update for short-termload forecasting[J].International Journal of Electrical Power&Energy System,2019,109:470-4797.

[11]BIN Y,YANG Y,SHEN F M,et al.Describing video with attention-basedbidirectional LSTM[J].IEEE Transactions on Cybernetics,2019,49(7):2631-2641.

[12]于思璇,王华伟.基于稀疏降噪自编码神经网络的通用航空风险预测[J].***工程与电子技术,2019,41(01):112-117.

YU S X,WANG H W.Risk forecasting in general aviation based on sparsede-noising auto-encoder neural network[J].Systems Engineering andElectronics,2019,41(01):112-117.

[13]SRIVASTAVA N,HINTON G,KRIZHEVSKY A,et al.Dropout:a simple way toprevent neural networks from overfitting[J].Journal of Machine LearningResearch,2014,15(1):1929-1958.

[14]史加荣,王丹,尚凡华,等.随机梯度下降算法研究进展[J].自动化学报,2019:1-17.

SHI J R,WANG D,SHANG F Y,et al.Research advances on stochasticgradient descent algorithms[J].Acta Automatica Sinica,2019:1-17.

[15]PATRICK N,RAFAEL G,KAMAL M,et al.PRONOSTIA:an experimentalplatform for bearing accelerated life test[C].IEEE International Conferenceon Prognostics and Health Management,Denver,CO,USA,2012:1-8.

[16]石晓辉,阳新华,张向奎,等.改进的形态差值滤波器在滚动轴承故障诊断中的应用[J].重庆理工大学学报(自然科学),2018,32(01):1-6.

SHI X H,YANG X H,ZHANG X K,et al.Application of improvedmorphological difference filter in fault diagnosis of rolling bearings[J].Journal of Chongqing University of Technology(Natural Science),2018,32(01):1-6.

[17]SINGLETON R K,STRANGAS E G,AVIYENTEv S.Extended kalman filteringfor remaining-useful-life estimation of bearings[J].Industrial ElectronicsIEEE Transactions on,2015,62(3):1781-1790.

[18]GUO L,LI N P,JIA F,et al.A recurrent neural network based healthindicator for remaining useful life prediction of bearings[J].Neurocomputing,2017,240:98-109.

[19]HONG S,ZHOU Z,ZIO E,et al.Condition assessment for theperformance degradation of bearing based on a combinatorial featureextraction method[J],Digital Signal Processing,2014,27:159-166.

[20]雷亚国,韩天宇,王彪,等.XJTU-SY滚动轴承加速寿命试验数据集解读[J].机械工程学报,2019:1-6.

LEI Y G,HAN T Y,WANG B,et al.XJTU-SY rolling element bearingaccelerated life test datasets:a tutorial[J].Journal of MechanicalEngineering,2019:1-6.

Claims (5)

1.一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，其特征在于，所述方法的实现过程：

步骤一、数据预处理：先对滚动轴承原始时域振动数据进行傅里叶变换，将其转换到频域；然后对其进行线性函数归一化处理；最后划分训练集和测试集；

步骤二、深层特征提取：训练集作为dropout-SAE的输入进行网络参数的训练，提取能够表征轴承退化趋势的特征；

步骤三、构建Bi-LSTM模型：以dropout-SAE在训练集上提取出的多个特征作为Bi-LSTM网络的输入，当前使用寿命特征点数与全寿命特征点数的比值p，即寿命百分比作为当前寿命的标签输出，设置相关网络参数后进行训练，得到Bi-LSTM模型；

步骤四、模型优化：分别采用Adam、RMSProp、SGDM优化算法对Bi-LSTM模型进行优化，分别计算出每种优化算法下Bi-LSTM模型的均方误差(Mean Squared Error，MSE)、平均绝对误差(mean absolute error，MAE)、平均绝对百分误差(mean absolute percentageerror，MAPE)、均方百分比误差(Mean square percentage error，MAPE)、均方根误差(rootmean square error，RMSE)，选取上述5种误差之和最小的优化算法来对Bi-LSTM模型进行优化，得到优化后的Bi-LSTM模型参数，并应用Dropout技术防止过拟合；

步骤五、测试集验证：对测试集采用与训练集相同的数据预处理、特征提取方法进行处理，并将提取出的特征输入到优化后的Bi-LSTM网络模型中，预测已知数据的p值；

步骤六、RUL预测：对预测出的已知数据的p值曲线进行一次函数线性拟合，得到未来各个点的p值趋势，由步骤(3)中p值的设定可知，当p＝1时，轴承失效，即达到全寿命，利用全寿命L_q减去当前寿命L_d可求得第i个轴承的RUL，如式(22)所示：

RUL_i＝L_q-L_d (22)

通过预测的剩余寿命RUL_i与真实寿命ActRUL_i之间的误差Er_i来反映模型剩余寿命预测性能的好坏，如式(23)所示：

在步骤二中，所述dropout-SAE是一种改进的SAE，以Tan激活函数替代原有的sigmoid激活函数、以dropout机制替代原有的KL散度对网络进行稀疏性约束；

所述dropout-SAE的网络结构为：dropout-SAE网络结构为2048-200-2048，其中输入层节点数对应归一化后的轴承频域幅值信号的2048个点，隐藏层节点数200对应最终提取出的特征数，输出层与输入层维度相同。

2.根据权利要求1所述的一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，其特征在于，在步骤二中，深层特征提取的具体过程为：深层特征提取主要包括预训练以及全局参数微调两个阶段：预训练阶段通过无监督的逐层预训练初始化网络参数；全局参数微调阶段以原始输入作为标签，通过BP反向传播算法和梯度下降方法对网络参数进行微调，以优化dropout-SAE。

3.根据权利要求1所述的一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，其特征在于，所述Bi-LSTM网络由一个隐藏层组成，网络的隐藏状态数被选择为150，使用均方根误差(RMSE)作为其损失函数，初始学习率设置为0.01并随机初始化权重矩阵W和偏置b。

4.根据权利要求1所述的一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，其特征在于，在步骤三中，以dropout-SAE在训练集上提取出的多个特征作为Bi-LSTM网络的输入，具体过程为：前向LSTM与后向LSTM分别对特征序列进行顺序、倒序处理，得到时间序列相反的隐藏层状态，并将其连接得到同一个输出。

5.根据权利要求1所述的一种基于dropout-SAE和Bi-LSTM的滚动轴承RUL预测方法，其特征在于，在步骤三中，

采用Bi-LSTM模型同时考虑数据的过去和未来信息，通过前向LSTM和后向LSTM得到两个时间序列相反的隐藏层状态，然后将其连接得到同一个输出；前向LSTM和后向LSTM可以分别获取输入序列的过去信息和未来信息，Bi-LSTM在t时刻的隐藏状态H_t包含前向的

和后向的

其中：T为序列长度，ct表示记忆单元，xt表示t时刻的输入向量，表示经过SAE提取得到的滚动轴承振动信号深层特征；ht是时间t的隐藏状态。

Images