CN113434970A - 一种机械设备的健康指标曲线提取和寿命预测方法 - Google Patents

Abstract

本发明提供了一种机械设备的健康指标曲线提取和寿命预测方法。包括：采集机械设备的训练实例的从健康到故障状态的机械传感退化数据得到数据块序列；利用Transformer编码器‑解码器从数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线；使用线性回归模型建立机械设备的健康指标曲线与传感读数之间的映射关系；将待评估机械设备的测试实例的健康指标曲线输入映射关系，得到待评估机械设备的测试实例的健康指标曲线，将待评估机械设备的测试实例的健康指标曲线与健康指标曲线库进行相似性计算，得到待评估机械设备的剩余寿命的估计结果。本发明通过从退化时间序列中提取出反映机械健康状态的健康指标曲线，进而有效地预测机械设备的剩余使用寿命。

Description

一种机械设备的健康指标曲线提取和寿命预测方法

技术领域

本发明涉及机械设备健康管理技术领域，尤其涉及一种机械设备的健康指标曲线提取和寿命预测方法。

背景技术

PHM(Prognostics Health Management，故障预测与健康管理)的目的是提高复杂***的安全性和稳定性，降低维护成本。RUL(Remaining Useful Life，剩余使用寿命)预测作为PHM的重要任务之一，可以评估退化***的健康状态，动态地对机械设备进行维护，以防止性能退化和突然故障。机械寿命预测一般由四个技术过程组成，即数据采集、健康指标(Health indicators)构建、健康阶段(health stage)划分和剩余寿命预测。

在2016年，Malhotra等人提出了一个无监督的序列到序列的相似性匹配剩余寿命预测模型。其中，基于LSTM(Long Short-Term Memory，长短期记忆网络)的编码器把多维传感时序数据转换成低维嵌入向量表示。随后，计算***从初始到运行结束期间嵌入向量的变化来构造健康指标曲线。Gugulothu等人使用原始RNN结构替换了LSTM单元并在引擎数据集上实现了健康指标曲线的提取。余文念等人在Gugulothu的研究基础上使用双向的LSTM进行改进，提高了单向LSTM编码器的特征提取能力，丰富了低维嵌入向量的健康状态信息，进而提取了更加准确的健康指标曲线。

在以往的基于RNN(Recurrent Neural Network，循环神经网络)编码器-解码器的健康指标构造方法中，预测性能受限制于不同RNN结构的时间特征提取能力。通常情况下，LSTM结构优于GRU(请提供英文全称和中文)结构和RNN结构。双向RNN结构的预测表现优于单向RNN结构。此外，多维传感时间序列数据的每个时间步对健康指标的构造有相同的贡献，没有突出关键时间步信息对健康指标构造的影响。

发明内容

本发明的实施例提供了一种机械设备的健康指标曲线提取和寿命预测方法，以实现有效地预测机械设备的剩余使用寿命。

为了实现上述目的，本发明采取了如下技术方案。

一种机械设备的健康指标曲线提取和寿命预测方法，包括：

采集机械设备的训练实例的从健康到故障状态的机械传感退化数据并进行数据预处理，得到时间序列数据，使用滑动时间窗口对所述时间序列数据进行划分，得到数据块序列；

构造包括多头注意力层、残差连接层和前馈神经网络层的Transformer解码器-编码器，利用所述Transformer编码器-解码器从所述数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线；

将所有训练实例的健康指标曲线构成健康指标曲线库，使用线性回归模型建立机械设备的健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系；

将待评估机械设备的测试实例的传感读数输入所述映射关系，得到待评估机械设备的测试实例的健康指标曲线，将待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库进行相似性计算，得到待评估机械设备的剩余寿命的估计结果。

优选地，所述的采集机械设备从健康到故障状态的机械传感退化数据并进行数据预处理，得到时间序列数据，使用滑动时间窗口对时间序列数据进行划分，得到数据块序列，包括：

采集机械设备的训练实例的从健康运行至故障的机械健康状态的时间序列数据X＝{x₁,x₂,...,x_t}，对时间序列数据X进行降噪、平滑数据预处理操作后，使用固定长度的滑动时间窗口w对时间序列数据X进行划分，固定长度的时间窗口每次移动一个时间步得到时间窗口数据块序列，得到等时间窗口长度的数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}，每个数据块样本的数据形状为[N,T,F]，其中N代表样本时间窗序列的数量，T代表时间窗口的长度，F代表监测传感器的维度。

优选地，所述的构造包括多头注意力层、残差连接层和前馈神经网络层的Transformer解码器-编码器，包括：

构造Transformer解码器-编码器，由多头注意力层、残差连接层和前馈神经网络层组成；

所述多头注意力层利用接收到的时间序列数据，采用放缩-点积注意力计算的方式突出时间序列数据中的关键时间步信息；

所述残差连接层将浅层神经网络得到的浅层特征通过跨连接与深层神经网络得到的深度特征拼接起来，补充网络层中间的信息；

所述前馈神经网络依据向量计算需求对网络中间层特征进行维度变换。若Transformer编码单元数量不为1，则前馈神经网络需要按照下一层编码单元的输入需求进行深度特征的维度变换。

优选地，所述的利用所述Transformer编码器-解码器结构从所述数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线，包括：

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入到Transformer编码器的编码器，该编码器在数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块中添加位置编码信息，得到数据序列X_pos，将数据序列X_pos输入到Transformer编码器的编码器进行深度特征提取，首先经过多头注意力层，提取数据序列X_pos中的关键时间步信息，再经过残差链接补充网络层之间的特征信息，最后经过批量归一化层得到编码单元的特征输出，若编码单元数量超过一个，则上一个的编码单元输出作为下一个编码单元的输入，最后一个编码单元输出反映当前时间步健康状态信息的深度特征向量；

将所述深度特征向量输入到Transformer编码器的解码器，该解码器将所述深度特征向量乘以一个单位下三角矩阵后，作为多头注意力层的输入数据X，解码器对输入数据X经过多头注意力计算过程后输出重构时间序列Y，将重构时间序列Y与输入数据X进行误差损失计算，根据误差损失计算的结果使用反向传播算法调整Transformer编码器-解码器的网络参数数值，将调整好网络参数数值的Transformer编码器-解码器作为训练好的Transformer编码器-解码器；

将所述数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入训练好的Transformer编码器-解码器中的编码器，得到反映机械设备的时间步健康状态信息的深度特征向量序列，对所述深度特征向量序列进行归一化计算后，得到机械设备的训练实例的0-1数据范围的健康指标曲线。

优选地，所述的利用所述Transformer编码器-解码器结构从所述数据块序列中提取出训练实例的机械健康状态的健康指标曲线，包括：

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入到Transformer编码器的编码器，该编码器在数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块中添加位置编码信息，公式如下：

公式中的pos代表数据在时间序列中的位次，i代表第i个传感通道，F代表监测传感器的维度数；

在数据块中添加完位置信息后得到数据序列X_pos，编码器对数据序列X_pos进行多头注意力计算，数据序列X_pos经过线性层变换成形状为[N,T,M]的特征向量，其中M为线性层的隐藏单元数，对数据序列X_pos的第三维度进行划分，拆解成形如[N,H,T,H_dim]的多头输入向量，该多头输入向量包括Query向量(Q)，Key向量(K)和Value(V)，计算公式如下：

其中，K^T表示向量转置，形状为[N,H,H_dim,T]

将所述多头输入向量作为浅层特征输入到残差连接层，残差连接层的计算公式如下：

Redisual connection＝F_浅层网络+F_深层网络

F_浅层网络代表浅层网络模型所提取出的浅层特征表示，F_深层网络代表深层网络模型提取出的深度特征表示，二者结合起来输入至深层网络中进行特征提取运算；

之后，再次通过残差连接和归一化层，得到这个编码单元的输出，并将其输入到下一个单元，最后一个编码单元输出反映当前时间步健康状态信息的深度特征向量；

将所述深度特征向量输入到Transformer编码器的解码器，该解码器将所述深度特征向量乘以一个单位下三角矩阵后，作为多头注意力层的输入数据X，解码器对输入数据X经过多头注意力计算过程后输出重构时间序列Y，将重构时间序列Y与输入数据X进行一范式损失函数计算：

eⁱ＝Xⁱ-Yⁱ,i∈{1,2,...,T}

根据所述一范式损失函数计算结果使用反向传播算法对Transformer编码器-解码器的网络参数进行调整，将调整好网络参数数值的Transformer编码器-解码器作为训练好的Transformer编码器-解码器；

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块Ω_t输入到训练好的Transformer编码器-解码器，训练好的Transformer编码器-解码器输出反映机械健康状态的嵌入向量序列，Z＝{z₁,z₂,...,z_t}，设初始时间步获得的嵌入向量Z_norm＝{z₁,z₂,z₃}能够表征机械***完全健康的状态，计算运行时间步的嵌入向量序列与健康状态的嵌入向量的变化值，计算公式如下：

其中N表示完全健康状态下的嵌入向量数量，d_t表示在时刻t***偏离健康状态的程度，d_max，d_min分别表示***偏离健康状态的最大值和最小值，h_t表示归一化后的机械设备的训练实例的0-1数据范围的健康指标曲线。

优选地，所述的将所有训练实例的健康指标曲线构成健康指标曲线库，使用线性回归模型建立机械设备的健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，包括：

采集机械设备的多个训练实例的从健康运行至故障的机械健康状态的多个时间序列数据，利用所述Transformer编码器-解码器获取每个时间序列数据对应的健康指标曲线，将所有训练实例的健康指标曲线构成健康指标曲线库；

使用线性回归模型表达健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，线性回归模型的函数形式如下：

h_tr＝θ₀+θx_tr

其中，h_tr,表示训练单元的健康指标值，x_tr表示训练单元的一条多维传感数据，θ,θ₀分别代表线性回归函数的传感自变量系数和偏置系数值；

使用最小二乘法对所述线性回归模型进行训练，训练结束后得到健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系。

优选地，所述的将待评估机械设备的测试实例的传感读数输入所述映射关系，得到待评估机械设备的测试实例的健康指标曲线，将待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库进行相似性计算，得到待评估机械设备的剩余寿命的估计结果，包括：

将待评估机械设备的测试实例的Transformer编码器-解码器的传感读数输入所述健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，得到待评估机械设备的测试实例的健康指标曲线；

使用相似性度量公式计算待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库中的每一条训练实例的健康指标曲线之间的相似度，相似度计算公式如下：

其中，HI'表示待评估机械设备的测试实例的健康指标曲线，HI^(j)表示所述健康指标曲线库中的第j个训练实例的健康指标曲线，τ表示待评估机械设备的测试实例的时移，λ是松弛因子，用于调整相似度量值的大小，d(·)表示两个曲线之间的欧氏距离；

将所述健康指标曲线库中的所有训练实例的健康指标曲线与所述测试实例的健康指标曲线之间的相似度组成相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]；

使用下式计算每个测试实例的时移τ下的待评估机械设备的剩余寿命估计值：

RUL(j,τ)＝T_j-T'-τ

其中，T_j,T'分别表示所述健康指标曲线库中的第j个训练实例的运行时长和测试实例的运行时长；

将根据所述健康指标曲线库中的所有训练实例的健康指标曲线计算出的待评估机械设备的剩余寿命估计值组成剩余寿命估计向量RUL＝[RUL₁,RUL₂,...,RUL_n]；

根据所述相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]和所述剩余寿命估计向量RUL＝[RUL₁,RUL₂,...,RUL_n]，使用加权求和的方式进行所述待评估机械设备的测试实例的剩余使用寿命预测，公式如下：

其中，RUL^表示机械设备的剩余使用寿命估计值,

表示最大的相似度，β控制着参与最终寿命估计的训练实例数量。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法从完整的退化时间序列中提取出用于反映机械健康状态的健康指标序列的方案，进而有效地预测机械设备的剩余使用寿命。适用于任何完整地从健康状态到故障状态的采集到的机械传感退化数据。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的Transformer编码器-解码器的结构图；

图2为本发明实施例提供的一种机械设备的健康指标曲线提取和寿命预测方法的实现原理图；

图3为本发明实施例提供的一种机械设备的健康指标曲线提取和寿命预测方法的处理流程图；

图4为本发明实施例提供的滑动窗口数据处理方法示意图；

图5为本发明实施例提供的Transformer编码器-解码器中多头注意力层的结构图；

图6为本发明实施例提供的健康指标曲线构造结果示意图；

图7为本发明实施例提供的相似性匹配剩余寿命估计方法。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例以一种无监督的方式利用Transformer编码器-解码器结构，从完整的退化时间序列中提取出用于反映机械健康状态的健康指标曲线的方案。适用于任何完整地从健康状态到故障状态的采集到的机械传感退化数据。

本发明实施例的Transformer的解码器单元比编码器单元多一层掩码多头注意力层和残差连接层。Transformer编码器-解码器模块的输入为多维传感时间序列数据，数据形状可以表示为X＝[N,T,F]。其中N表示数据样本数量，T表示时间窗口的长度，F表示传感器数据的维度数。由于Transformer模型没有卷积计算模块和循环计算模块，无法直接利用时间序列中的时序信息，所以在输入至Transformer模型之前需要添加位置编码信息。在本发明中，我们使用不同频率的正弦函数在不同特征通道的不同时间步上添加了相应的位置编码信息，解决了Transformer结构无法直接利用时序信息的问题。

经位置信息添加后的数据X_pos输入到Transformer编码器的编码器进行深度特征提取。首先经过多头注意力层，提取时间序列中的关键时间步信息。然后，经过残差链接补充网络层之间的特征信息。最后经过批量归一化层得到编码单元的特征输出。若编码单元数量超过一个，则上一个的编码单元输出作为下一个编码单元的输入。最后一个编码单元的深度特征输出即为所需要的，能够反映当前时间步健康状态信息的深度特征向量，即嵌入向量(embedding vector)。

与编码单元的输入不同，Transformer解码器结构的输入首先要乘以一个单位下三角矩阵。其目的是，计算当前时间步的深度特征时，只利用历史时间步和当前时间步的信息，屏蔽未来时间步的信息。在解码器的第二个多头注意力计算过程中，编码器输出的嵌入向量作为注意力层的输入参与了计算。最后，解码器输出的重构时间序列Y与输入X进行误差损失计算，使用反向传播算法调整Transformer编码器-解码器的网络参数数值。

一旦Transformer编码器-解码器网络训练完成，时间序列数据输入Transformer编码器可以获取能够反映机械健康状态的嵌入向量序列。我们认为机械运行初期获取的嵌入向量是反映的是完全健康的机械状态。随着机械工作时间的增加，嵌入向量会逐渐偏离健康状态嵌入向量。我们利用欧式距离计算嵌入向量的状态偏差，经归一化计算可获取0-1数据范围的健康指标曲线。

本发明实施例的Transformer编码器-解码器模块结构如图1所示，由多头注意力层、残差连接层和前馈神经网络层组成。

多头注意力层的作用是利用接收到的时间序列数据，采用放缩-点积注意力计算的方式突出时间序列数据中的关键时间步信息。经多头注意力计算后的时间序列会给予关键时间步更多的加权信息，突出其在嵌入向量中的作用。

残差连接层的作用是将浅层神经网络得到的浅层特征通过跨连接与深层神经网络得到的深度特征拼接起来。目的是通过补充网络层中间的信息，缓解Transformer结构的梯度消失和网络学习能力退化的现象。

前馈神经网络的作用是依据向量计算需求对网络中间层特征进行维度变换。若Transformer编码单元数量不为1，则前馈神经网络需要按照下一层编码单元的输入需求进行深度特征的维度变换。

本发明适用于完整采集的机械健康状态到故障状态的多维传感序列数据，旨在提出一种泛化性较强的机械健康指标构建方法，本发明实施例提供的一种机械设备的健康指标曲线提取和寿命预测方法的实现原理如图2所示，具体处理流程如图3所示，包括如下的处理步骤：

步骤S310：采集机械设备的训练实例的从健康到故障状态的机械传感退化数据并进行数据预处理，得到时间序列数据，使用滑动时间窗口对时间序列数据进行划分，得到数据块序列。

采集完整的机械设备的训练实例的从健康运行至故障的机械健康状态的时间序列数据X＝{x₁,x₂,...,x_t}。对时间序列数据X经降噪、平滑等数据预处理操作后，使用固定长度的滑动时间窗口w对时间序列数据X进行划分，得到等时间窗口长度的数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}。本发明实施例提供的一种滑动时间窗口处理过程如图4所示，从机械***运行初始阶段到结束阶段，固定长度的时间窗口每次移动一个时间步得到时间窗口数据块序列。此时，数据预处理完成，每个数据块样本的数据形状为[N,T,F]，其中N代表样本时间窗序列的数量，T代表时间窗口的长度，F代表监测传感器的维度。

步骤S320：构造包括多头注意力层、残差连接层和前馈神经网络层的Transformer解码器-编码器，利用所述Transformer编码器-解码器，以一种无监督的方式，从所述数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线。

数据预处理结束后，在Transformer编码器部分首先在上述数据块序列中的数据块中添加位置编码信息，公式如下：

由于Transformer结构比较简单，没有卷积计算和循环计算算子，无法直接利用时间序列数据中的时序位次信息。因此，我们使用不同频率的正弦函数在不同传感通道的不同时间步上添加位置编码信息。公式中的pos代表数据在时间序列中的位次，i代表第i个传感通道，F代表监测传感器的维度数。

在数据块中添加完位置信息后得到X_pos，数据形状仍为[N,T,F]。随后,X_pos输入到Transformer编码单元中进行多头注意力计算。

图5为本发明实施例提供的Transformer编码器-解码器中多头注意力层的结构图，首先X_pos经过线性层变换成形状为[N,T,M]的特征向量，其中M为线性层的隐藏单元数。随后，对X_pos的第三维度进行划分，拆解成形如[N,H,T,H_dim]的多头输入向量，其中N表示样本数量，H代表注意力的头数，T代表时间窗口长度，H_dim表示d_model除以H后的单元数(H_dim＝d_model//H)。在图5中，Query向量(Q)，Key向量(K)和Value(V)向量等于X_pos。拆解为H头输入向量后变为Query头向量(Q^head)，Key头向量(K^head)和Value(V^head)头向量，三个向量的形状为[N,H,T,H_dim]。在图5左侧为详细的放缩-点乘注意力计算层结构。计算公式如下：

其中，K^T表示向量转置，形状为[N,H,H_dim,T]。与标准的点乘注意力计算不同，注意力计算结果值经过了H_dim放缩，用于阻止点积结果变大，导致网络训练过程中梯度变得太小，造成局部最优而非全局最优的现象。

随后，残差连接被用来补充信息，并将其通过一个批量归一化层。然后，我们再通过前馈层转换成所需要的特征维度。残差连接层的计算公式如下：

Redisual connection＝F_浅层网络+F_深层网络

F_浅层网络代表浅层网络模型所提取出的浅层特征表示，F_深层网络代表深层网络模型提取出的深度特征表示。二者结合起来输入至深层网络中进行特征提取运算。

之后，再次通过残差连接和归一化层，得到这个编码单元的输出，并将其输入到下一个单元。最后一个编码单元的输出是整个输入时间序列的压缩表示，即嵌入向量。

与编码单元的输入不同，解码单元在输入X_pos时需要在相应位置上乘以一个单位下三角矩阵，用来掩盖当前计算时间步之后的未来信息。计算示意如下：

由此，可以在计算t时间步信息时，只关注当前时间步和历史时间步的信息。

解码单元的输出重构时间序列Y与输入X进行一范式损失函数(目标函数)计算：

eⁱ＝Xⁱ-Yⁱ,i∈{1,2,...,T}

随后，使用反向传播算法对Transformer编码器-解码器网络结构的参数进行训练。在模型训练过程中，为避免过拟合，可采取了三项措施：

(1)在训练集中随机挑选20％的样本作为验证集。在模型训练过程中，如果验证集的损失连续20轮次没有明显下降则退出网络训练。

(2)在训练优化器中设置L2正则化参数值为0.01，限制模型参数数值的大小使得训练得到的模型比较稳定。

(3)在梯度反向传播过程中，对梯度进行裁剪，使得模型训练过程更加平滑，得到的模型比较稳定。

一旦Transformer网络结构训练完成。时间窗口序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块Ω_t输入到Transformer编码器中可以得到一个反映机械健康状态的嵌入向量序列，Z＝{z₁,z₂,...,z_t}。

在机械***的运行过程中，一般认为初始运行状态时完全健康状态，随着机械运行时间的增长，机械***逐渐走向稳定状态并最终进入故障状态。所以，在本发明中认为初始时间步获得的几个嵌入向量Z_norm＝{z₁,z₂,z₃}可以表征机械***完全健康的状态。因此，通过计算运行时间步的嵌入向量序列与健康状态的嵌入向量的变化值可以得到当前运行时间步的健康状态评估。计算公式如下：

其中N表示完全健康状态下的嵌入向量数量。d_t表示在时刻t***偏离健康状态的程度。d_max，d_min分别表示***偏离健康状态的最大值和最小值。h_t表示归一化的训练实例的健康指标曲线。至此，我们以无监督训练的方式获得了机械设备的健康指标曲线。图6为本发明实施例提供的一种机械设备的健康指标的构造结果实例。

步骤S330：将所有训练实例的健康指标曲线构成健康指标曲线库，使用线性回归模型建立机械设备的健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系。

使用相似性匹配技术，依次计算每个训练集实例与在线测试集实例的相似度和剩余寿命估计值。最后以加权求和的方式给出测试实例的剩余寿命估计值。

我们以NASA公开数据集(CMAPSS引擎数据子集FD001)为例，具体描述测试实例的剩余寿命预测计算过程。在FD001数据子集的训练集中，有100个完整的运行到故障的飞机引擎多维度传感时间序列数据实例。每个训练数据实例经过图5的时间窗口处理后得到时间窗口序列，并输入至所提出的Transformer模型中进行无监督训练。每一个训练实例都可以获取一个健康指标曲线(Health indicator curve,HIs)。这些训练实例的健康指标曲线构成一个线下的健康指标曲线库(HIs-lib)。随后，使用线性回归模型表达健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系。线性回归模型的函数形式如下：

h_tr＝θ₀+θx_tr

其中，h_tr表示训练单元的健康指标值，x_tr表示训练单元的一条多维传感数据。θ,θ₀分别代表线性回归函数的传感自变量系数和偏置系数值。使用最小二乘法对所述线性回归模型进行训练，训练结束后得到健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系。使用最小二乘法进行模型训练，目标函数为：h_tr-(θ₀+θx_tr)。当目标函数的损失达到最小即可得到所需的线性回归模型。

后续，测试实例的传感数据即可直接输入到映射关系得到对应的健康指标曲线。

步骤S340：将待评估机械设备的传感读数输入所述映射关系，得到待评估机械设备的健康指标曲线，将待评估机械设备的健康指标曲线与所述健康指标曲线库进行相似性计算，得到待评估的机械设备的剩余寿命的估计结果。

在FD001测试集中，有100个截断运行周期的(运行至故障之前截断)多维度传感时间序列实例。对于单一测试实例的剩余寿命预测，首先待评估机械设备的传感读数输入到训练好的线性回归模型中得到截断的健康指标曲线。其次，使用相似性度量公式计算测试健康指标曲线与HIs-lib中的每一条训练健康指标曲线的相似度。相似度计算公式如下：

其中，HI',HI^(j)分别表示测试实例的健康指标曲线和HIs-lib中的第j个训练实例健康指标曲线。τ表示测试实例的时移。λ是松弛因子，用于调整相似度量值的大小。d(·)表示两个曲线的欧氏距离。

将所述健康指标曲线库中的所有训练实例的健康指标曲线与所述测试实例的健康指标曲线之间的相似度组成相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]；

然后，使用下式计算每个时移τ下的剩余寿命估计值。

RUL(j,τ)＝T_j-T'-τ

其中，T_j,T'分别表示HIs-lib中的第j个训练实例的运行时长和测试实例的运行时长。为直观的说明剩余寿命计算过程，第j个训练实例的健康指标曲线与测试实例的相似性匹配剩余使用寿命的计算过程如图7所示。

将根据所述健康指标曲线库中的所有训练实例的健康指标曲线计算出的待评估机械设备的剩余寿命估计值组成剩余寿命估计向量RUL＝[RUL₁,RUL₂,...,RUL_n]；

每个训练实例会计算得到一个相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]和剩余寿命估计向量RUL＝[RUL₁,RUL₂,...,RUL_n]，即每个训练实例都会与在线测试实例计算相似度和剩余寿命估计值。

最后，根据所述相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]和所述剩余寿命估计向量RUL＝[RUL₁,RUL₂,...,RUL_n]，使用加权求和的方式进行所述待评估机械设备的测试实例的剩余使用寿命预测。公式如下：

其中，RUL^表示机械设备的剩余使用寿命估计值,

表示最大的相似度，β控制着参与最终寿命估计的训练实例数量。

综上所述，本发明实施例的方法从完整的退化时间序列中提取出用于反映机械健康状态的健康指标序列的方案，进而有效地预测机械设备的剩余使用寿命。适用于任何完整地从健康状态到故障状态的采集到的机械传感退化数据。

本发明泛化能力较强，可以适用于完整的退化机械数据剩余寿命挖掘。例如：飞机引擎，刀具磨损等。

本发明可以给出较为精确的剩余寿命预测时间，供机械设备维护人员做出动态的维修计划。与传统的定期定时运维相比，时间上更加灵活，减少不必要的维修进而节约成本。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种机械设备的健康指标曲线提取和寿命预测方法，其特征在于，包括：

采集机械设备的训练实例的从健康到故障状态的机械传感退化数据并进行数据预处理，得到时间序列数据，使用滑动时间窗口对所述时间序列数据进行划分，得到数据块序列；

构造包括多头注意力层、残差连接层和前馈神经网络层的Transformer解码器-编码器，利用所述Transformer编码器-解码器从所述数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线；

将所有训练实例的健康指标曲线构成健康指标曲线库，使用线性回归模型建立机械设备的健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系；

将待评估机械设备的测试实例的传感读数输入所述映射关系，得到待评估机械设备的测试实例的健康指标曲线，将待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库进行相似性计算，得到待评估机械设备的剩余寿命的估计结果。

2.根据权利要求1所述的方法，其特征在于，所述的采集机械设备从健康到故障状态的机械传感退化数据并进行数据预处理，得到时间序列数据，使用滑动时间窗口对时间序列数据进行划分，得到数据块序列，包括：

采集机械设备的训练实例的从健康运行至故障的机械健康状态的时间序列数据X＝{x₁,x₂,...,x_t}，对时间序列数据X进行降噪、平滑数据预处理操作后，使用固定长度的滑动时间窗口w对时间序列数据X进行划分，固定长度的时间窗口每次移动一个时间步得到时间窗口数据块序列，得到等时间窗口长度的数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}，每个数据块样本的数据形状为[N,T,F]，其中N代表样本时间窗序列的数量，T代表时间窗口的长度，F代表监测传感器的维度。

3.根据权利要求1所述的方法，其特征在于，所述的构造包括多头注意力层、残差连接层和前馈神经网络层的Transformer解码器-编码器，包括：

构造Transformer解码器-编码器，由多头注意力层、残差连接层和前馈神经网络层组成；

所述多头注意力层利用接收到的时间序列数据，采用放缩-点积注意力计算的方式突出时间序列数据中的关键时间步信息；

所述残差连接层将浅层神经网络得到的浅层特征通过跨连接与深层神经网络得到的深度特征拼接起来，补充网络层中间的信息；

所述前馈神经网络依据向量计算需求对网络中间层特征进行维度变换。若Transformer编码单元数量不为1，则前馈神经网络需要按照下一层编码单元的输入需求进行深度特征的维度变换。

4.根据权利要求3所述的方法，其特征在于，所述的利用所述Transformer编码器-解码器结构从所述数据块序列中提取出训练实例的反映机械健康状态的健康指标曲线，包括：

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入到Transformer编码器的编码器，该编码器在数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块中添加位置编码信息，得到数据序列X_pos，将数据序列X_pos输入到Transformer编码器的编码器进行深度特征提取，首先经过多头注意力层，提取数据序列X_pos中的关键时间步信息，再经过残差链接补充网络层之间的特征信息，最后经过批量归一化层得到编码单元的特征输出，若编码单元数量超过一个，则上一个的编码单元输出作为下一个编码单元的输入，最后一个编码单元输出反映当前时间步健康状态信息的深度特征向量；

将所述深度特征向量输入到Transformer编码器的解码器，该解码器将所述深度特征向量乘以一个单位下三角矩阵后，作为多头注意力层的输入数据X，解码器对输入数据X经过多头注意力计算过程后输出重构时间序列Y，将重构时间序列Y与输入数据X进行误差损失计算，根据误差损失计算的结果使用反向传播算法调整Transformer编码器-解码器的网络参数数值，将调整好网络参数数值的Transformer编码器-解码器作为训练好的Transformer编码器-解码器；

将所述数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入训练好的Transformer编码器-解码器中的编码器，得到反映机械设备的时间步健康状态信息的深度特征向量序列，对所述深度特征向量序列进行归一化计算后，得到机械设备的训练实例的0-1数据范围的健康指标曲线。

5.根据权利要求4所述的方法，其特征在于，所述的利用所述Transformer编码器-解码器结构从所述数据块序列中提取出训练实例的机械健康状态的健康指标曲线，包括：

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}输入到Transformer编码器的编码器，该编码器在数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块中添加位置编码信息，公式如下：

公式中的pos代表数据在时间序列中的位次，i代表第i个传感通道，F代表监测传感器的维度数；

在数据块中添加完位置信息后得到数据序列X_pos，编码器对数据序列X_pos进行多头注意力计算，数据序列X_pos经过线性层变换成形状为[N,T,M]的特征向量，其中M为线性层的隐藏单元数，对数据序列X_pos的第三维度进行划分，拆解成形如[N,H,T,H_dim]的多头输入向量，该多头输入向量包括Query向量(Q)，Key向量(K)和Value(V)，计算公式如下：

其中，K^T表示向量转置，形状为[N,H,H_dim,T]

将所述多头输入向量作为浅层特征输入到残差连接层，残差连接层的计算公式如下：

Redisual connection＝F_浅层网络+F_深层网络

F_浅层网络代表浅层网络模型所提取出的浅层特征表示，F_深层网络代表深层网络模型提取出的深度特征表示，二者结合起来输入至深层网络中进行特征提取运算；

之后，再次通过残差连接和归一化层，得到这个编码单元的输出，并将其输入到下一个单元，最后一个编码单元输出反映当前时间步健康状态信息的深度特征向量；

将所述深度特征向量输入到Transformer编码器的解码器，该解码器将所述深度特征向量乘以一个单位下三角矩阵后，作为多头注意力层的输入数据X，解码器对输入数据X经过多头注意力计算过程后输出重构时间序列Y，将重构时间序列Y与输入数据X进行一范式损失函数计算：

eⁱ＝Xⁱ-Yⁱ,i∈{1,2,...,T}

根据所述一范式损失函数计算结果使用反向传播算法对Transformer编码器-解码器的网络参数进行调整，将调整好网络参数数值的Transformer编码器-解码器作为训练好的Transformer编码器-解码器；

将数据块序列Ω＝{Ω₁,Ω₂,...,Ω_t}中的每个数据块Ω_t输入到训练好的Transformer编码器-解码器，训练好的Transformer编码器-解码器输出反映机械健康状态的嵌入向量序列，Z＝{z₁,z₂,...,z_t}，设初始时间步获得的嵌入向量Z_norm＝{z₁,z₂,z₃}能够表征机械***完全健康的状态，计算运行时间步的嵌入向量序列与健康状态的嵌入向量的变化值，计算公式如下：

其中N表示完全健康状态下的嵌入向量数量，d_t表示在时刻t***偏离健康状态的程度，d_max，d_min分别表示***偏离健康状态的最大值和最小值，h_t表示归一化后的机械设备的训练实例的0-1数据范围的健康指标曲线。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述的将所有训练实例的健康指标曲线构成健康指标曲线库，使用线性回归模型建立机械设备的健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，包括：

采集机械设备的多个训练实例的从健康运行至故障的机械健康状态的多个时间序列数据，利用所述Transformer编码器-解码器获取每个时间序列数据对应的健康指标曲线，将所有训练实例的健康指标曲线构成健康指标曲线库；

使用线性回归模型表达健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，线性回归模型的函数形式如下：

其中，h_tr,表示训练单元的健康指标值，x_tr表示训练单元的一条多维传感数据，θ,θ₀分别代表线性回归函数的传感自变量系数和偏置系数值；

使用最小二乘法对所述线性回归模型进行训练，训练结束后得到健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系。

7.根据权利要求6所述的方法，其特征在于，所述的将待评估机械设备的测试实例的传感读数输入所述映射关系，得到待评估机械设备的测试实例的健康指标曲线，将待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库进行相似性计算，得到待评估机械设备的剩余寿命的估计结果，包括：

将待评估机械设备的测试实例的Transformer编码器-解码器的传感读数输入所述健康指标曲线与Transformer编码器-解码器的传感读数之间的映射关系，得到待评估机械设备的测试实例的健康指标曲线；

使用相似性度量公式计算待评估机械设备的测试实例的健康指标曲线与所述健康指标曲线库中的每一条训练实例的健康指标曲线之间的相似度，相似度计算公式如下：

其中，HI'表示待评估机械设备的测试实例的健康指标曲线，HI^(j)表示所述健康指标曲线库中的第j个训练实例的健康指标曲线，τ表示待评估机械设备的测试实例的时移，λ是松弛因子，用于调整相似度量值的大小，d(·)表示两个曲线之间的欧氏距离；

将所述健康指标曲线库中的所有训练实例的健康指标曲线与所述测试实例的健康指标曲线之间的相似度组成相似性度量向量Sim＝[Sim₁,Sim₂,...,Sim_n]；

使用下式计算每个测试实例的时移τ下的待评估机械设备的剩余寿命估计值：

RUL(j,τ)＝T_j-T'-τ

其中，T_j,T'分别表示所述健康指标曲线库中的第j个训练实例的运行时长和测试实例的运行时长；

将根据所述健康指标曲线库中的所有训练实例的健康指标曲线计算出的待评估机械设备的剩余寿命估计值组成剩余寿命估计向量RUL＝[RUL₁，RUL₂，...，RUL_n]；

根据所述相似性度量向量Sim＝[Sim₁，Sim₂，...，Sim_n]和所述剩余寿命估计向量RUL＝[RUL₁，RUL₂，...，RUL_n]，使用加权求和的方式进行所述待评估机械设备的测试实例的剩余使用寿命预测，公式如下：

s.t.Sim(j，τ)≥β*(max_j，τSim(j，τ))

其中，RUL^表示机械设备的剩余使用寿命估计值，

表示最大的相似度，β控制着参与最终寿命估计的训练实例数量。

Images