CN114218872B - 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法 - Google Patents

Abstract

本发明公开了一种基于DBN‑LSTM半监督联合模型的剩余使用寿命预测方法，首先使用DBN对多维时间序列历史信息进行数据融合提取机器的健康指标特征；其中DBN的构建分两个阶段，首先使用大量的无标签数据集进行无监督学习预训练，然后使用有标签数据集进行微调。将提取的健康指标时间序列输入到LSTM中，计算当前的剩余使用寿命。进一步，利用有标签样本数据集将两个串联连接的神经网络同时进行有监督训练更新权重，在验证集中评估预测结果并调整参数获得优化模型。训练得到的DBN‑LSTM半监督联合模型不仅有效提高了LSTM对剩余使用寿命的预测能力，而且同时提供了多维传感器数据的特征融合结果，能够有效表现当前机器的健康状况，为设备维护和保养提供了有效的参考指标。

Description

基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法

技术领域

本发明属于工业过程控制领域，特别涉及一种基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法。

背景技术

在工业领域中，由于内部运动因素或外部环境因素的影响，一些重要的机器设备和工业组件在连续工作时，其工作性能和健康状态会呈现衰减的趋势。随着健康状况不断衰减，在未来的某一时刻设备将无法正常工作，其工作效率迅速下降甚至停止运转，达到使用寿命，这会导致工业过程受到影响甚至发生中断。因此需要预测***在其整个使用寿命期间的剩余使用寿命(Remaining useful life,RUL)，即从当前时间开始直到机器设备使用寿命结束的时间长度。

近些年来随着大量工业数据的采集和积累，数据驱动的解决方案在RUL预测中受到广泛的关注。工业领域虽然储存了海量的过程数据，但可用于训练RUL预测模型的有标签数据不足，其主要原因是：(1)运行时间不足，完整的退化过程数据有限：目前公开的数据集主要来自实验室模拟工业环境进行损耗实验结果。对于实际的工业设备的生产，企业缺少制作数据集的技术，同时很难花费巨大成本进行完整退化过程数据的采集。因此日常运行数据大多处于设备退化的早期，时序长度不足，并且无法得到准确的剩余使用寿命标签数据，无法有效地利用于RUL的预测。(2)测量环境恶劣：在一些高温、高压、震动、腐蚀等恶劣情况下，传感器的损坏频率很高，维修难度大且成本高，往往只安装少量传感器。在此条件下即使增加运行时间，过程中仍旧采集不到充足的过程数据，难以进行RUL预测模型的训练。

深度学习虽然能够更准确地进行RUL预测，但需要大量数据支持，当训练数据不能满足数据驱动模型进行充分地训练时，模型会无法正确描述数据的真实分布，导致预测结果的精度降低甚至可能导致模型无法使用。对于神经网络模型，训练数据的规模不足可能会导致过拟合现象的发生，使得训练得到得模型对训练集学习程度过深，而当部署到工业场景中时却无法很好地拟合实时的在线数据。即使通过正则化或减少模型结构的复杂程度解决过拟合的问题，模型的预测效果也会大打折扣。现有的预测RUL的深度学习方法是有监督的学习方法，需要大量的有标签的工业数据，但在对工业设备剩余使用寿命预测的领域中，由于运行时间不足和测量环境恶劣，有标签的工业数据较难获得，且有大量的无标签数据无法有效利用，有标签数据的缺失很大程度影响了训练得到的模型的有效性。

发明内容

本发明的目的在于针对现有技术的不足，本发明提供一种基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，该方法采用半监督联合模型，所需有标签的工业数据少，同时能够充分利用大量的无标签数据。同时在判断出机器当前剩余使用寿命的同时能够获得性能退化过程的信息。

一种基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，所述DBN-LSTM半监督联合模型通过在输入层和深度LSTM神经网络之间增加DBN神经网络实现，所述DBN神经网络用于数据融合；所述深度LSTM神经网络用于剩余使用寿命预测，即RUL预测；

该方法包括以下步骤：

步骤一：收集设备数据，组成数据集，将数据集分为无标签训练集，有标签训练集、有标签验证集，根据不同工况进行数据预处理；

步骤二：将所述无标签训练集输入给所述DBN神经网络进行无监督预训练，训练得到的DBN神经网络将多维传感器特征压缩为健康特征指标，得到若干健康指数HI时间序列；

步骤三：将健康指数HI时间序列输入到深度LSTM神经网络中，由深度LSTM神经网络计算获得RUL预测值；

步骤四：基于RUL的预测值和真实值之间的误差计算损失函数，采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型中的深度LSTM神经网络进行训练，同时对DBN神经网络的参数进行微调；有标签验证集的误差结果小于一定值或其变化量小于一定值，同时模型训练的损失函数达到收敛时，模型训练结束并保存DBN-LSTM半监督联合模型；

步骤五：将待预测的设备数据预处理后输入到保存的DBN-LSTM半监督联合模型中，得到实时输出的HI和RUL数值。

进一步地，所述步骤一中的有标签数据集为：

X_o＝{(x_it，rul_it)|i≤n，t≤T_i} (1)

其中，rul_it为t时刻的剩余使用寿命的值，

rul_it＝T_i-t (2)

当设备完全无法使用时，rul_it为0，且所有的rul_it是按时序逆向增加；

x_it为第i个传感器数据从初始到时间t的序列，

x_it＝[x_i(1)，x_i(2)，…，x_i(t)] (3)

其中，x_i为第i个传感器数据从初始到时间T_i的序列，

x_i＝[x_i(1)，x_i(2)，…，x_i(T_i)] (4)

所述预处理包括归一化处理和滑动时间窗采样处理；其中，归一化处理包括全局归一化和条件归一化，当设备数据为不同工况下的数据时，进行条件归一化，否则，进行全局归一化。

进一步地，所述步骤二中，向DBN中输入多传感器信息多维时间序列，DBN将多维数据压缩为一维，最后输出包含健康指标HI时间序列的集合；

所述DBN的搭建和预训练过程如下：

通过Gibbs采样使RBM获得抽样样本，给定隐藏层值，对可见层进行采样；当给定可见层值时，对隐藏层进行采样；采用近似的对比散度算法，有如下的马尔可夫链步骤：

h⁽ⁿ⁺¹⁾＝σ(W′v⁽ⁿ⁾+b_h) (5)

v⁽ⁿ⁺¹⁾＝σ(Wh⁽ⁿ⁺¹⁾+b_v) (6)

σ表示n+1步的隐藏层和可见层的激活函数，h⁽ⁿ⁺¹⁾表示第n+1步得到的隐藏层，v^{(n +1)}表示第n+1步得到的可见层，W′、W为权重参数；b_h、b_v分别表示隐藏层和可见层的偏差；

利用n+1步重构得到的可见层v^(n+1)更新参数：

Δc_j＝p(H_i＝1|v⁽⁰⁾)-p(H_i＝1|v^(k)) (9)

其中，Δω_ij、Δb_j、Δc_j分别表示RBM参数的变化量，k表示RBM的层数；

对RBM进行堆叠和贪婪训练形成DBN；DBN包含一个可见层和多个隐藏层，用于学习提取训练数据的较深层次表示；DBN的可见层和l层的隐藏层的联合密度函数为：

v＝h⁰ (11)

在获得可见层的传感器采样数据之后，DBN神经网络首先完成第一个RBM的训练，然后，将第一层RBM的隐藏层用作第二层RBM的可见层，以形成第二层RBM，以此类推，得到多层堆叠的RBM网络，进而得到初步预训练的DBN神经网络；

进一步地，所述步骤三具体分为如下的子步骤：

深度LSTM网络由多层LSTM堆叠而成，每一层LSTM的向量维度可变；HI健康指标通过第一层LSTM解码为多维的传感器时间序列，深度LSTM网络的上一层的输出作为下一层的输入，第l层的更新公式如下：

其中，l表示深度LSTM神经网络的层数，t表示LSTM某时刻的单元数，

表示第l层t时刻的输入单元，/>

表示第l层t时刻的遗忘单元，/>

表示第l层t时刻的输出单元，/>

表示第l层t时刻的状态单元，/>

表示第l层t时刻的隐藏单元，σ表示sigmoid激活函数，⊙表示元素乘法计算，tanh表示tanh激活函数，/>

表示第l-1层t时刻的隐藏单元权重，/>

表示第l层t-1时刻的隐藏单元权重，/>

表示偏差；

最后一层的LSTM神经网络的最后一单元输出多维特征向量，经过线性层计算，得到RUL预测值。

进一步地，所述步骤四通过如下的子步骤来实现：

(1)深度LSTM神经网络的输入层是DBN-LSTM半监督联合模型的第l层，包含n个神经元，DBN神经网络的输出层则是DBN-LSTM半监督联合模型的第l-1层，只有一个神经元；设计DBN-LSTM半监督联合模型的第l层和l-1层的神经元误差δ^l、δ^l-1，用于实现DBN神经网络和深度LSTM神经网络的同步训练；

δ^l＝(w^l+1)^Tδ^l+1 (17)

其中，w和B分别是神经网络的权重参数和批尺寸；

(2)有监督的联合训练中，应用受L2正则化约束的平方误差损失函数进行梯度自适应训练参数，并采用评分函数评估DBN-LSTM半监督联合模型的预测准确度，将评分函数以一定权重加入全局损失函数中作为惩罚，优化平方误差损失函数，用于得到偏向早期预测的DBN-LSTM半监督联合模型：

其中，所述平方误差损失函数计算公式如下：

其中Θ，w，B，λ，

和y_i分别表示在DBN-LSTM半监督联合模型中学习的参数集、在DBN-LSTM半监督联合模型中的权重参数集、批尺寸、正则化参数、第i个样本的预测RUL和真实RUL；

所述评分函数Score的计算公式如下：

d＝RUL_pred-RUL_true (21)

所述全局损失函数Loss_total的计算公式如下：

Loss_tta/＝αLoss_score+(1-α)Loss_MSE (22)

其中，α为两种评分函数的权重；

(3)采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型进行训练，计算公式如下：

其中r是历史梯度的累积变量，ρ是用于控制历史信息获取的收缩系数，η是学习率，δ是一个常数，g为Loss_total的梯度。

本发明的有益效果如下：

本发明针对机器设备运行退化过程分析了现有的RUL预测方法，根据工业过程RUL数据集缺失的问题，结合了半监督学习理论，在此基础上提出了一个通用的RUL半监督联合预测框架方法，实现了基于大批次无标签数据的无监督预训练过程和小批次有标签数据集的有监督训练优化。相比于只使用小批次的有监督训练模型，DBN-LSTM半监督联合模型能够更有效地对RUL进行预测。此外，在无监督预训练过程后，用于数据融合的DBN神经网络已经处于距最优点较近的位置，使得第二阶段的联合训练时间极大地减小。同时预训练模型参数可存储，在进行多次有标签数据集优化训练时，使用存储的预训练模型参数大大增加了训练效率。

附图说明

图1为DBN-LSTM神经网络模型示意图；

图2为联合模型框架训练实施流程图；

图3为不同归一化策略后产生的结果示意图；

图4为数据融合输出健康指标HI随时间变化曲线(原始)示意图，其中图4中的上图表示测试集所有涡轮机数据的HI输出，下图表示选取的测试集部分采样数据的HI输出。

图5为数据融合输出健康指标HI随时间变化曲线(滤波后)示意图，其中图5中的上图表示测试集所有涡轮机数据的HI输出，下图表示选取的测试集部分采样数据的HI输出。

图6为DBN-LSTM神经网络模型拟合曲线示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法中，DBN-LSTM半监督联合模型通过在输入层和深度LSTM神经网络之间增加DBN神经网络实现，所述DBN神经网络用于数据融合；所述深度LSTM神经网络用于剩余使用寿命预测，即RUL预测。将数据切片序列输入到DBN-LSTM半监督联合模型的第一层RBM进行无监督学习预训练，通过梯度下降方法使对数损失函数下降更新权重参数。将第一层RBM的输出作为第二层RBM的输入，依次训练若干层后最终输出单一维度的HI时间序列。将训练好的权重参数部署到模型网络层上，最后一层连接深度LSTM网络模型，即将经DBN网络数据融合后的HI序列按time_step长度依次输入至深度LSTM网络计算。得到完整的DBN-LSTM网络联合预测模型后，进一步使用反向传播算法进行LSTM网络的训练和DBN网络的微调，使用RMSprop优化器进行梯度下降迭代。具体结构如图1所示。此外由于DBN神经网络能够深度提取数据特征，训练过程会容易出现过拟合问题，采用批标准化网络层来对网络进行优化，给DBN神经网络增加正则化项以解决此问题。输入测试集的数据，在DBN网络输出健康指标HI的变化过程，在整个模型最后的网络层输出RUL的预测值。具体工程实现中，两个模型中的网络层在同一个model中相连接，使用RMSprop优化器进行迭代联合训练。全部训练流程如图2所示进行。

该方法包括以下步骤：

步骤一：收集设备数据，组成数据集，将数据集分为无标签训练集，有标签训练集、有标签验证集，根据不同工况进行数据预处理；

其中无标签训练集的数据包含时序数据的时间戳，各个特征变量在每个时刻的数值；其中有标签训练集的数据包含时序数据的时间戳，各个特征变量在每个时刻的数值，以及RUL数据标签或可用于计算RUL标签的设备寿命结束时间；其中有标签验证集内容与有标签训练集相同，数量应在有标签训练集的10％-30％范围内。

所述步骤一中的有标签数据集为：

X_o＝{(x_it，rul_it)|i≤n，t≤T_i} (1)

其中，rul_it为t时刻的剩余使用寿命的值，

rul_it＝T_i-t (2)

当设备完全无法使用时，rul_it为0，且所有的rul_it是按时序逆向增加；

x_it为第i个传感器数据从初始到时间t的序列，

x_it＝[x_i(1)，x_i(2)，...，x_i(t)] (3)

其中，x_i为第i个传感器数据从初始到时间T_i的序列，

x_i＝[x_i(1)，x_i(2)，...，x_i(T_i)] (4)

所述预处理包括归一化处理和滑动时间窗采样处理；其中，归一化处理包括全局归一化和条件归一化，当设备数据为不同工况下的数据时，进行条件归一化，否则，进行全局归一化。

LSTM循环神经网络具有标准的输入形式(batch_size,time_steps,feature_nums)，batch_size指在神经网络模型的训练过程中批处理样本的个数，time_steps指每一个样本中时间序列数据的时间步长，feature_nums指多传感器数据中特征的维度数目。为了将数据集进一步处理成标准样式，需要使用滑动时间窗方法进行样本采样。

步骤二：将所述无标签训练集输入给所述DBN神经网络进行无监督预训练，训练得到的DBN神经网络将多维传感器特征压缩为健康特征指标，得到若干健康指数HI时间序列；

所述步骤二中，向DBN中输入多传感器信息多维时间序列，DBN将多维数据压缩为一维，最后输出包含健康指标HI时间序列的集合；

所述DBN的搭建和预训练过程如下：

通过Gibbs采样使RBM获得抽样样本，给定隐藏层值，对可见层进行采样；当给定可见层值时，对隐藏层进行采样；采用近似的对比散度算法，有如下的马尔可夫链步骤：

h⁽ⁿ⁺¹⁾＝σ(W′v⁽ⁿ⁾+b_h) (5)

v⁽ⁿ⁺¹⁾＝σ(Wh⁽ⁿ⁺¹⁾+b_v) (6)

σ表示n+1步的隐藏层和可见层的激活函数，h⁽ⁿ⁺¹⁾表示第n+1步得到的隐藏层，v^{(n +1)}表示第n+1步得到的可见层，W′、W为权重参数；b_h、b_v分别表示隐藏层和可见层的偏差；

利用n+1步重构得到的可见层v⁽ⁿ⁺¹⁾更新参数：

Δc_j＝p(H_i＝1|v⁽⁰⁾)-p(H_i＝1|v^(k)) (9)

其中，Δω_ij、Δb_j、Δc_j分别表示RBM参数的变化量，k表示RBM的层数；

对RBM进行堆叠和贪婪训练形成DBN；DBN包含一个可见层和多个隐藏层，用于学习提取训练数据的较深层次表示；DBN的可见层和l层的隐藏层的联合密度函数为：

v＝h⁰ (11)

在获得可见层的传感器采样数据之后，DBN神经网络首先完成第一个RBM的训练，然后，将第一层RBM的隐藏层用作第二层RBM的可见层，以形成第二层RBM，以此类推，得到多层堆叠的RBM网络，进而得到初步预训练的DBN神经网络；

步骤三：将健康指数HI时间序列输入到深度LSTM神经网络中，由深度LSTM神经网络计算获得RUL预测值；

深度LSTM网络由多层LSTM堆叠而成，每一层LSTM的向量维度可变；HI健康指标通过第一层LSTM解码为多维的传感器时间序列，深度LSTM网络的上一层的输出作为下一层的输入，第l层的更新公式如下：

其中，l表示深度LSTM神经网络的层数，t表示LSTM某时刻的单元数，

表示第l层t时刻的输入单元，/>

表示第l层t时刻的遗忘单元，/>

表示第l层t时刻的输出单元，/>

表示第l层t时刻的状态单元，/>

表示第l层t时刻的隐藏单元，σ表示sigmoid激活函数，⊙表示元素乘法计算，tanh表示tanh激活函数，/>

表示第l-1层t时刻的隐藏单元权重，/>

表示第l层t-1时刻的隐藏单元权重，/>

表示偏差；

最后一层的LSTM神经网络的最后一单元输出多维特征向量，经过线性层计算，得到RUL预测值。

步骤四：基于RUL的预测值和真实值之间的误差计算损失函数，采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型中的深度LSTM神经网络进行训练，同时对DBN神经网络的参数进行微调；有标签验证集的误差结果小于一定值或其变化量小于一定值，同时模型训练的损失函数达到收敛时，模型训练结束并保存DBN-LSTM半监督联合模型；

所述步骤四通过如下的子步骤来实现：

(1)深度LSTM神经网络的输入层是DBN-LSTM半监督联合模型的第l层，包含n个神经元，DBN神经网络的输出层则是DBN-LSTM半监督联合模型的第l-1层，只有一个神经元；设计DBN-LSTM半监督联合模型的第l层和l-1层的神经元误差δ^l、δ^l-1，用于实现DBN神经网络和深度LSTM神经网络的同步训练；

δ^l＝(w^l+1)^Tδ^l+1 (17)

其中，w和B分别是神经网络的权重参数和批尺寸；

(2)有监督的联合训练中，应用受L2正则化约束的平方误差损失函数进行梯度自适应训练参数，并采用评分函数评估DBN-LSTM半监督联合模型的预测准确度，将评分函数以一定权重加入全局损失函数中作为惩罚，优化平方误差损失函数，用于得到偏向早期预测的DBN-LSTM半监督联合模型：

其中，所述平方误差损失函数计算公式如下：

/>

其中Θ，w，B，λ，

和y_i分别表示在DBN-LSTM半监督联合模型中学习的参数集、在DBN-LSTM半监督联合模型中的权重参数集、批尺寸、正则化参数、第i个样本的预测RUL和真实RUL；

所述评分函数Score的计算公式如下：

d＝RUL_pred-RUL_true (21)

所述全局损失函数Loss_total的计算公式如下：

Loss_tota＝αLoss_score+(1-α)Loss_MSE (22)

其中，α为两种评分函数的权重；

(3)由于神经网络是非凸的，并且RMSProp(Root Mean Square prop)优化算法可以在非凸条件下有效执行，RMSProp优化器可用于有监督的联合训练。采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型进行训练，计算公式如下：

其中r是历史梯度的累积变量，ρ是用于控制历史信息获取的收缩系数，η是学习率，δ是一个常数，g为Loss_total的梯度。

其中，用于数据融合的DBN神经网络中的逐层RBM网络参数达到的是各层的最优解，并不是DBN网络的全局最优。所以从最后一层获得数据与标签数据进行比较，利用比较得到的误差信息使用RMSProp优化算法对RBM权重做出微调。

步骤五：将待预测的设备数据预处理后输入到保存的DBN-LSTM半监督联合模型中，得到实时输出的HI和RUL数值。

以下结合一个具体的工业例子来说明本发明的有效性。本发明采用美国国家航空航天局NASA提供的开源涡轮风扇发动机退化模拟数据集C-MAPSS作为实例，该数据具体包括四个操作条件和故障模式不同的子数据集FD001-FD004，每个数据集中包含train_FD00X、test_FD00X、RUL_FD00X三个文件，分别为训练集、测试集和测试集的RUL真值标签。具体如下表所示：

表1：C-MAPSS数据集详情

数据集	FD001	FD002	FD003	FD004
					Train发动机数	100	260	100	249
Test发动机数	100	259	100	248
					操作模式	1	6	1	6
故障模式	1	1	2	2

本发明主要采用数据集FD002作为研究对象，与FD001或FD003相比，该数据集的多传感器数据有6个工况条件，外部环境复杂度较高且数据较多，理论上更难进行RUL的预测。传感器各个维度的具体含义如下表所示：

表2：涡轮机的多传感器数据具体表示

/>

得到数据后，划分数据集得到无标签训练集、有标签训练集、有标签验证集，根据该数据集的6个工况条件对原始数据进行条件归一化处理，然后进行滑动窗口处理得到数据切片序列。涡轮机的工况条件对传感器值有巨大影响，不同状态下传感器的读数位于完全不同的值范围内。全局归一化忽略工况条件影响，对每个传感器的所有值同时进行归一化。而条件归一化则是在相同工况条件情况下，对每个传感器数据进行归一化。如图3所示，分别是某个涡轮机单元传感器4、7在不同归一化策略下处理后的效果。如果使用全局归一化，虽然不影响RUL的预测精度，但是会导致数据融合模型的输出HI为全局归一化变量，难以呈现出退化趋势。因此在数据预处理时使用条件归一化策略以获得退化趋势的健康指标HI。

训练数据集和测试数据集均具有100个单元的涡轮机。在每个单元子集中使用大小为num_steps的滑动窗口来生成输入序列。对于模型结构本身，主要受两个超参数的影响：batch_size和num_steps，为了比较不同超参数的影响，将它们设置为不同的值并训练不同的LSTM模型。然后根据每个模型在测试集中得到的Score来选择合适的参数。

根据train_loss和val_loss的变化及稳定时的情况调整Dropout和BN网络的正则化参数，正则化过小则会导致过拟合问题出现，过大则会影响模型精度。为了防止过拟合和减少训练时间成本，需要使用早停策略，设置loss下降变化的阈值，连续n个周期内变化未超出阈值则停止训练。根据模型结果精度的需要，可以设置一个合适的阈值参数来实现早停策略。

基于搭建的联合训练神经网络，可以在中间网络层得到多传感器数据融合模型的输出，即健康指标HI的时间序列。如图4所示为每个涡轮机的健康指标衰减过程曲线。进一步使用Savitzky-Golay滤波器对HI时间序列进行滤波。该方法是一种在时域内通过结合卷积与局部多项式回归实现平滑滤波的方法。这种滤波器最大的特点在于在滤除噪声的同时可以保持信号的形状、宽度不变。滤波后的HI时间序列曲线如图5所示。

基于C-MAPSS数据集FD002子数据集，采样30％作为有标签数据集，其余为无标签数据集。使用上述神经网络模型对测试集进行RUL预测，可以得到如图6所示的深度学习模型对测试集中100个涡轮机的多传感器时间序列的RUL预测结果。可以发现DBN-LSTM联合模型可以较好地根据目前的多维传感器时间序列对每个涡轮机进行RUL的预测。预测结果与只使用小批次有标签数据集的深度LSTM神经网络方法预测结果对比如表3所示：

表3：RMSE和SCORE指标下的预测结果

Methods	RMSE	Score
			LSTM	20.57	4650
DBN-LSTM	17.73	865

从表3可以看出，与同样结构的有监督训练的神经网络相比，增加了大量无标签数据进行无监督预训练的DBN-LSTM神经网络联合模型预测精度得到了13.8％的提升。与此同时，实验过程中，经过无监督预训练的模型在有标签数据微调阶段的联合模型收敛速度大幅度上升，相比于直接使用有标签数据集训练，前者训练速度为后者的10-20倍，在进行多次优化训练时能够节约时间，提高训练效率。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (4)

1.一种基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，其特征在于，所述DBN-LSTM半监督联合模型通过在输入层和深度LSTM神经网络之间增加DBN神经网络实现，所述DBN神经网络用于数据融合；所述深度LSTM神经网络用于剩余使用寿命预测，即RUL预测；

该方法包括以下步骤：

步骤一：收集设备数据，组成数据集，将数据集分为无标签训练集，有标签训练集、有标签验证集，根据不同工况进行数据预处理；

步骤二：将所述无标签训练集输入给所述DBN神经网络进行无监督预训练，训练得到的DBN神经网络将多维传感器特征压缩为健康特征指标，得到若干健康指数HI时间序列；

所述步骤二中，向DBN中输入多传感器信息多维时间序列，DBN将多维数据压缩为一维，最后输出包含健康指标HI时间序列的集合；

所述DBN的搭建和预训练过程如下：

通过Gibbs采样使RBM获得抽样样本，给定隐藏层值，对可见层进行采样；当给定可见层值时，对隐藏层进行采样；采用近似的对比散度算法，有如下的马尔可夫链步骤：

h⁽ⁿ⁺¹⁾＝σ(W′v⁽ⁿ⁾+b_h) (5)

v⁽ⁿ⁺¹⁾＝σ(Wh⁽ⁿ⁺¹⁾+b_v) (6)

σ表示n+1步的隐藏层和可见层的激活函数，h⁽ⁿ⁺¹⁾表示第n+1步得到的隐藏层，v⁽ⁿ⁺¹⁾表示第n+1步得到的可见层，W′、W为权重参数；b_h、b_v分别表示隐藏层和可见层的偏差；

利用n+1步重构得到的可见层v⁽ⁿ⁺¹⁾更新参数：

Δc_j＝p(H_i＝1|v⁽⁰⁾)-p(H_i＝1|v^(k)) (9)

其中，Δω_ij、Δb_j、Δc_j分别表示RBM参数的变化量，k表示RBM的层数；

对RBM进行堆叠和贪婪训练形成DBN；DBN包含一个可见层和多个隐藏层，用于学习提取训练数据的较深层次表示；DBN的可见层和l层的隐藏层的联合密度函数为：

v＝h⁰ (11)

在获得可见层的传感器采样数据之后，DBN神经网络首先完成第一个RBM的训练，然后，将第一层RBM的隐藏层用作第二层RBM的可见层，以形成第二层RBM，以此类推，得到多层堆叠的RBM网络，进而得到初步预训练的DBN神经网络；

步骤三：将健康指数HI时间序列输入到深度LSTM神经网络中，由深度LSTM神经网络计算获得RUL预测值；

步骤四：基于RUL的预测值和真实值之间的误差计算损失函数，采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型中的深度LSTM神经网络进行训练，同时对DBN神经网络的参数进行微调；有标签验证集的误差结果小于一定值或其变化量小于一定值，同时模型训练的损失函数达到收敛时，模型训练结束并保存DBN-LSTM半监督联合模型；

步骤五：将待预测的设备数据预处理后输入到保存的DBN-LSTM半监督联合模型中，得到实时输出的HI和RUL数值。

2.根据权利要求1所述的基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，其特征在于，所述步骤一中的有标签数据集为：

X_o＝{(x_it，rul_it)|i≤n，t≤T_i} (1)

其中，rul_it为t时刻的剩余使用寿命的值，

rul_it＝T_i-t (2)

当设备完全无法使用时，rul_it为0，且所有的rul_it是按时序逆向增加；

x_it为第i个传感器数据从初始到时间t的序列，

x_it＝[x_i(1)，x_i(2)，...，x_i(t)] (3)

其中，x_i为第i个传感器数据从初始到时间T_i的序列，

x_i＝[x_i(1)，x_i(2)，...，x_i(T_i)] (4)

所述预处理包括归一化处理和滑动时间窗采样处理；其中，归一化处理包括全局归一化和条件归一化，当设备数据为不同工况下的数据时，进行条件归一化，否则，进行全局归一化。

3.根据权利要求1所述的基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，其特征在于，所述步骤三具体分为如下的子步骤：

深度LSTM网络由多层LSTM堆叠而成，每一层LSTM的向量维度可变；HI健康指标通过第一层LSTM解码为多维的传感器时间序列，深度LSTM网络的上一层的输出作为下一层的输入，第l层的更新公式如下：

其中，l表示深度LSTM神经网络的层数，t表示LSTM某时刻的单元数，

表示第l层t时刻的输入单元，

表示第l层t时刻的遗忘单元，

表示第l层t时刻的输出单元，

表示第l层t时刻的状态单元，

表示第l层t时刻的隐藏单元，σ表示sigmoid激活函数，⊙表示元素乘法计算，tanh表示tanh激活函数，

表示第l-1层t时刻的隐藏单元权重，

表示第l层t-1时刻的隐藏单元权重，

表示偏差；

最后一层的LSTM神经网络的最后一单元输出多维特征向量，经过线性层计算，得到RUL预测值。

4.根据权利要求1所述的基于DBN-LSTM半监督联合模型的剩余使用寿命预测方法，其特征在于，所述步骤四通过如下的子步骤来实现：

(1)深度LSTM神经网络的输入层是DBN-LSTM半监督联合模型的第l层，包含n个神经元，DBN神经网络的输出层则是DBN-LSTM半监督联合模型的第l-1层，只有一个神经元；设计DBN-LSTM半监督联合模型的第l层和l-1层的神经元误差δ^l、δ^l-1，用于实现DBN神经网络和深度LSTM神经网络的同步训练；

δ^l＝(w^l+1)^Tδ^l+1 (17)

其中，w和B分别是神经网络的权重参数和批尺寸；

(2)有监督的联合训练中，应用受L2正则化约束的平方误差损失函数进行梯度自适应训练参数，并采用评分函数评估DBN-LSTM半监督联合模型的预测准确度，将评分函数以一定权重加入全局损失函数中作为惩罚，优化平方误差损失函数，用于得到偏向早期预测的DBN-LSTM半监督联合模型：

其中，所述平方误差损失函数计算公式如下：

其中Θ，w，B，λ，

和y_i分别表示在DBN-LSTM半监督联合模型中学习的参数集、在DBN-LSTM半监督联合模型中的权重参数集、批尺寸、正则化参数、第i个样本的预测RUL和真实RUL；

所述评分函数Score的计算公式如下：

d＝RUL_pred-RUL_true (21)

所述全局损失函数Loss_total的计算公式如下：

Loss_total＝αLoss_score+(1-α)Loss_MSE (22)

其中，α为两种评分函数的权重；

(3)采用有标签训练集通过RMSprop梯度自适应对DBN-LSTM半监督联合模型进行训练，计算公式如下：

其中r是历史梯度的累积变量，ρ是用于控制历史信息获取的收缩系数，η是学习率，δ是一个常数，g为Loss_total的梯度。

Images