CN115795397A - 基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法 - Google Patents

Abstract

本发明提供一种基于1DCNN‑LSTM与BiLSTM并行网络的齿轮箱温度预测方法，包括以下步骤：采集待预测齿轮箱关键部件的温度信号；构建1DCNN‑LSTM模型以及BiLSTM模型；输入温度信号，分别通过1DCNN‑LSTM模型和BiLSTM模型提取时空特征和周期性特征的特征向量，并通过特征向量串联拼接方式进行特征后端融合，获得融合后的特征向量；将融合后的特征输入全连接层进行回归分析，获得回归分析结果，并根据回归分析结果，预测出齿轮箱的短期温度数据值。解决了现有方法中对于预测精度不足以及单一网络在特征提取方面的不足的问题。

Description

基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法

技术领域

本发明涉及温度预测技术领域，具体涉及一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法。

背景技术

随着科学技术的发展，齿轮箱已经被使用在许多自动化机械中，工业中的机械已经朝着高精度，超精密，高效率发展，齿轮箱内部的高速旋转将产生大量的热能，热量的积聚导致温度上升，高温环境将导致齿轮箱内润滑油粘度下降，造成齿轮箱内部齿轮啮合旋转摩擦加剧，在加剧齿轮磨损的同时进一步加剧热量的产生，造成恶性循环，最终将导致设备故障停机。如若不能对设备状态进行先验维护与处理，轻则造成设备停机检修，影响生产的进行，严重可能对企业造成巨大的经济损失甚至危害工作人员的安全。因此，目前迫切需要改进温度预测方法，获得准确的温度预测结果，使得我们能够及时、高效的检出机械设备中可能存在的故障隐患，防止设备故障加剧。目前，常见的温度预测方法主要分为两大类，其一是根据采集到的温度信号，通过一定的信号处理方法，并根据数学方法进行温度预测。其二是基于机器学习的温度预测方法，该方法通过采集的温度信号自动进行特征学习，最终进行温度预测。传统的数学模型预测方法比较依赖数据的预处理及相应数学模型的选用，而温度数据多为非线性信号，线性的数学模型较难进行预测分析，预测精度较低，而近些年来较为火热的机器学习可以通过计算机自主学习提取数据特征，能够较好地提取温度信号中的非线性特征，得到的预测结果准确度较传统方法而言有着巨大的提升。

基于机器学习的温度预测方法应当包括以下几个方面的工作，即信号处理，特征提取学习以及温度预测三个方面。每一部分都会对最终的预测结果产生很大的影响。其中信号处理部分通过内置于齿轮箱的温度传感器采集温度信号，并剔除问题数据，将数据集进行归一化处理后划分为训练集与测试集，训练集作为训练数据输入模型进行模型训练，模型进行特征提取并最终进行温度预测。机器学习方法作为近些年兴起的一项技术方法，虽然在许多领域均取得了较好的提升，但是仍然存在一些不足之处：

1)基于单一神经网络的温度预测方法难以有效地提取温度信号中不同类型的特征信号，比如卷积神经网络擅长提取信号中的空间特征，但是常用的CNN网络通常是二维的，不适用于一维时间信号的空间特征提取，如若强行将时序信号转化为二维信号，则将破坏信号本身的时序特征，造成预测结果偏差。

2)近年来为进行时序信号处理以及预测工作，循环神经网络(RNN)被提出，同时在RNN的基础上进行改进，提出了多种时序信号处理模型，比如长短时记忆网络(LSTM)，双向长短时记忆网络(BiLSTM)等，均能够较好地处理时序信号，其中LSTM网络所具有的门结构能够很好的对信号特征进行记忆处理，双向长短时记忆网络以其双向LSTM模型能够提取温度信号中的周期性信号特征，对于时序信号处理方法的研究有着重要的推动作用。但是常见的信号中不止存在时序信号，信号中同时存在的空间信号特征，使用上述方法难以提取复杂的空间信号，而提取空间信号较好的卷积神经网络则在时序信号处理上存在劣势，因此单一的网络在处理复杂信号时因其本身结构的局限性难以提取信号中完整的特征信息。

发明内容

为解决上述问题，本发明提出了一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，解决现有方法中对于预测精度不足以及单一网络在特征提取方面的不足的问题。

为实现上述目的，本发明提供了如下的技术方案。

一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，包括以下步骤：

采集待预测齿轮箱关键部件的温度信号；

构建1DCNN-LSTM模型以及BiLSTM模型；输入温度信号，分别通过1DCNN-LSTM模型和BiLSTM模型提取时空特征和周期性特征的特征向量，并通过特征向量串联拼接方式进行特征后端融合，获得融合后的特征向量；

将融合后的特征输入全连接层进行回归分析，获得回归分析结果，并根据回归分析结果，预测出齿轮箱的短期温度数据值。

优选地，还包括：

对采集的待预测齿轮箱关键部件的温度信号进行归一化处理，将数据映射到0-1之间。

优选地，所述1DCNN-LSTM模型包括依次连接的1DCNN模型和LSTM模型；所述的1DCNN模型包括依次连接的输入层和隐藏层；所述隐藏层包括两组卷积层和池化层；

通过所述1DCNN-LSTM模型提取时空特征，包括以下步骤：

通过输入层接收齿轮箱关键部件的温度信号；

通过两组一维卷积层与池化层交替提取温度信号的非线性特征；

其中，卷积层对信号数据执行卷积操作，提取数据特征，卷积操作的数学表达式如下：

式中，z^l和z^l+1分别是第l+1层的输入与输出，b是偏差值，

是l+1层中对应节点的权重值；f，s₀分别为卷积核与步长；

其中，池化层执行池化操作，通过最大池化简化网络层数，表达式如下：

式中，

为第l层第i各特征中第t个神经元的值；W为池化区域；

为l+1层神经元的输出；

将卷积层与池化层处理后的输出信号作为LSTM模型的输入信号；

通过LSTM模型提取特征后，通过全连接层进行特征激活和输出特征。

优选地，所述LSTM模型包括输入门、输出门和遗忘门；

其中，输入门一般用于更新隐藏细胞状态，输入门根据前一层的信息与当前状态的信息并结合sigmoid函数与tanh函数，决定需要保留的重要信息；遗忘门决定信息的丢弃或保留，来自前一个隐藏层的信息与当前层的信息经sigmoid函数的处理，将输出值处理至介于0～1之间，越接近0的数据将被丢弃，越接近1的数据将被保留；输出门根据前一个输入与当前输入，通过sigmoid函数与tanh函数的处理，确定当前层应当输出的信息值，以此决定下一个隐藏状态的值；

所述输入门i_t，遗忘门f_t，输出门o_t的定义如下：

i_t＝Sigmoid(w_f·[h_t-1，x_t]+b_f)

f_t＝Sigmoid(w_t·[h_t-1，x_t]+b_i)

o_t＝Sigmoid(w_o·[h_t-1，x_t]+b_o)

式中，h_t-1为前一个隐藏层的输出信息，x_t为当前层的输入信息，h_t为当前层的输出信息，w为重置门权重，b为偏置项。

优选地，所述BiLSTM模型包括正向LSTM网络与反向LSTM网络，将正向LSTM网络提取的特征信号与反向LSTM网络提取的特征信号进行组合；其中，BiLSTM模型提取公式为：

其中，

为t时刻正向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的正向LSTM输出向量

共同确定；其中，

为t时刻反向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的反向LSTM输出向量

共同确定；h_t为BiLSTM模型的输出，其中，ω_t为正向LSTM输出的权重矩阵；v_t为反向LSTM输出的权重矩阵；b_t为权重矩阵的偏置。

优选地，所述全连接层为回归分析层，其激活函数采用ReLu激活函数进行激活。

本发明的有益效果：

本发明所采用的深度学习的温度预测方法，相较于传统的数学模型预测方法相比能够更好的处理非线性温度信号，其通过模型自动提取学习数据中的特征信息，给出精准的温度预测值，避免了传统方法在特征提取以及数学模型选择上对于专业知识以及先验经验的过度依赖。本发明所提出的温度预警方法相较于传统方法在模型预测精度上有着较大的提高，在特征信息提取上能够提取到更加多的温度信号特征。

本发明所采用的1DCNN模型，不同于普通的CNN模型，其采用一维卷积核以及一维池化层，能够更好地处理一维时序信号而不丢失其时序性，同时利用卷积神经网络优秀的特征提取能力，能够更好地提取隐藏在一维时序信号中的重要特征信息。

本发明所设计的1DCNN-LSTM组合模型，其保留了一维卷积神经网络以及长短时记忆网络的优点，避免了单一网络所存在的短板问题，结合使用使得组合模型同时具有一维卷积神经网络优秀的空间信号处理能力，同时具有长短时记忆网络的时序信号提取能力，同时根据BiLSTM模型提取数据集中的周期性信号，将两组特征信号进行特征融合，二者结合使用使得所提发明能够提取到温度信号中尽可能多的特征信息，提升模型预测温度的准确性。

附图说明

图1是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的流程图；

图2是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的传统卷积神经网络的模型结构图；

图3是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的一维卷积神经网络的模型结构图；

图4是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的长短时记忆网络的模型结构图；

图5是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的双向长短时记忆网络的模型结构图；

图6是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的预测温度与训练数据温度曲线图；

图7是本发明实施例的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法的预测温度与实际温度对比曲线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，如图1-7所示：

其中，图3所示为改进的1DCNN模型结构示意图，改进的1DCNN模型，其同样包含输入层，隐藏层与输出层，各层的作用与传统卷积神经网络相似，只是1DCNN网络更加适合处理一维数据，在处理一维数据时能够保留一维数据的时序性，与后续的BiLSTM模型结合能够有利于BiLSTM模型提取数据信号中的周期性信号，提高模型的预测准确度。

图4所示为长短时记忆网络LSTM的结构示意图，长短时记忆网络作为常用的时序信号处理模型，以其独特的门结构，能够有效避免循环神经网络处理时序信号时常会出现的梯度消失或梯度***问题，长短时记忆网络通常包含输入门，输出门与遗忘门三个门结构，三个门结构能够根据当前状态信息以及前面状态的信息，结合sigmoid函数与tanh函数决定信息的输入，输出与删除，能够有效提取时序信号中的短期时序特征，对处理温度信号这种时序信号有着不错的效果。

图5所示为双向长短时记忆网络BiLSTM，双向长短时记忆网络是在长短时记忆网络的基础上，同时结合前向长短时记忆网络以及反向长短时记忆网络，使得模型在时序信号特征提取过程中，能够有效地考虑信号前后之间的特征联系，在提取数据信号特征是能够有效提取数据中的周期性信号特征，对于温度信号这种可能存在周期性信号特征的数据特征提取有着较好的效果。

本发明的具体步骤包括：

S1：采集齿轮箱关键部件的温度信号。按照2：8的比例划分为测试集与训练集。对采集的齿轮箱关键部件的温度信号进行归一化处理，将数据映射到0-1之间。采用的归一化公式如下：

S2：构建1DCNN-LSTM模型以及BiLSTM模型。

S3：输入温度信号，分别通过1DCNN-LSTM模型和BiLSTM模型提取时空特征和周期性特征的特征向量，并通过特征向量串联拼接方式进行特征后端融合，获得融合后的特征向量。

其中，将训练集作为输入信号输入1DCNN网络中，首先通过1DCNN网络的卷积层与池化层交替提取其中的空间特征，将1DCNN处理后的数据传入LSTM模型中，提取数据集中的周期性信号，同时将数据输入BiLSTM模型中提取数据中的周期性信号，并将提取的特征信号进行特征融合。

特别的，1DCNN-LSTM网络中，其中通过1DCNN模型中的卷积层与池化层交替使用初步获得输入信号的时空特征，其中，1DCNN模型中卷积层与池化层均适用于处理一维数据，并且不同于普通卷积神经网络，其网络模型不包含全连接层与输出层，经卷积层与池化层处理后的特征数据将直接输入LSTM模型进行时序特征提取，1DCNN模型包含两对卷积层与池化层，其中通过LSTM模型中的门结构能够很好地处理时序信号，通过门结构中的sigmoid函数与tanh函数，决定需要保留的重要信息，卷积层、池化层与LSTM模型层直接组合构成特征提取层，在上述特征提取层后加入全连接层进行特征激活与输出。

需要注意的是，本发明所使用的BiLSTM网络主要用于提取数据中的周期性特征信号，其内部有正向LSTM与反向LSTM网络组合，能够在正向提取数据中的时序信号的同时反向提取数据中的特征信号，通过正反向结合能够提取数据中的周期性信号。并将前向提取的特征信号与反向提取的特征信号进行组合，其与上文1DCNN-LSTM模型采用并行连接的方式进行关联，二者单独对经处理后的数据进行特征提取，并将提取后的特征进行特征融合。

BiLSTM模型提取公式为：

其中，

为t时刻正向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的正向LSTM输出向量

共同确定；其中，

为t时刻反向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的反向LSTM输出向量

共同确定；h_t为BiLSTM模型的输出，其中，ω_t为正向LSTM输出的权重矩阵；v_t为反向LSTM输出的权重矩阵；b_t为权重矩阵的偏置。

其中特征融合过程，其所融合特征来自于上述1DCNN-LSTM网络及BiLSTM网络所分别提取的特征信息，其所提取特征信息以特征向量的形式进行输出，二者输出的特征向量经特征融合层进行拼接组合成为一个新的特征向量，此拼接过程为串联拼接，此特征融合方式为后端融合，即在训练预测器后对其输出特征信号进行特征融合，融合并行网络中1DCNN-LSTM网络与BiLSTM网络分别提取到的特征信号，通过此种方式获得数据中的时空特征信号与周期性特征信号。

最后将融合后的特征输入全连接层，该全连接层为回归分析层，其激活函数采用ReLu激活函数进行激活，其中，ReLu激活函数的表达式为：

S4：将融合后的特征输入全连接层进行回归分析，获得回归分析结果，并根据回归分析结果，预测出齿轮箱的短期温度数据值。

本实施例中，以下为齿轮箱温度预测案例分析：

齿轮箱是现代自动化机械中一个重要的部件，在许多机械设备中均起着很重要的作用，如在风电机组中，齿轮箱起着将扇叶转速进行加速传递给风力发电机的作用，通过齿轮箱的作用能够将低转速的扇叶转动转化为高速转动传递给风力发电机，增大发电效率。然而齿轮箱在运行过程中将产生大量的热量，若出现散热不良或者接触异常，将导致齿轮箱内部温度异常，轻则影响润滑油粘度导致齿轮箱内部磨损加剧，进一步加剧温度异常，造成恶性循环；重则将导致齿轮箱过热起火，造成更加严重的经济甚至能源损失。

本实施例所采用的数据为实际风力发电场采集到的风力发电机齿轮箱温度数据集，通过内置于风力发电机齿轮箱内部的温度传感器采集风力发电机齿轮箱关键部件的温度信号，将温度信号进行数据预处理，剔除温度信号中的问题数据，该数据集中的数据为每两分钟采集一次的温度信号。该数据集为风机齿轮箱关键部件的一段时间内的温度数据，作为模型的训练数据。

实验执行策略：

本实施例首先采集风力发电机齿轮箱关键部件的温度数据集，首先对温度数据集进行预处理，本实施例采用数据归一化进行模型数据预处理，归一化可将温度数据转化为0-1之间的数据集，通过数据归一化，能够避免数据集中出现数据值差异过大造成大数覆盖小数，小数的影响力被过度减小的情况出现，同时避免上述情况出现时模型优化路径出现偏差的情况出现。

数据归一化后对数据集进行划分，将数据集按照8：2的比例划分为训练集与测试集，训练集用作模型输入训练数据用于模型特征提取与参数训练工作，测试集可用作模型预测值的验证，通过测试集验证进行模型参数微调。

首先将训练数据集传入1DCNN模型，用于第一步的空间特征提取，所述1DCNN模型包含输入层与隐藏层，隐藏层内包含两对卷积层与池化层，该1DCNN网络不包含全连接层，训练集在传入1DCNN模型后，经模型处理后的输出数据作为后续LSTM层的输入数据，二者共同提取数据中的空间特征。

同时将数据传输入BiLSTM模型进行周期性信号提取。

通过1DCNN-LSTM网络与BiLSTM网络共同提取数据的时空特征与周期性特征的特征向量，将二者通过特征向量拼接的方式实现特征融合，得到新的特征融合后的特征向量，最后将特征融合后的特征向量输入全连接层，在全连接层进行回归分析，通过上述步骤，数据的时空特征及周期性特征被提取，模型参数也在训练过程中逐步得到优化，模型训练完毕。

最后通过提取到的特征，结合模型回归分析结果，预测出风电机组齿轮箱的短期温度数据值。

实验结果分析：

根据传感器采集的风电机组出沦陷温度，采样过程中风机会受到风速的干扰，因此温度数据在上升过程中将出现一定的波动，图6为某风机齿轮箱中三个关键部件的温度数据进行的温度预测实验结果，该结果中将训练数据与预测数据置于同一图中，图7展示了相应的预测数据值与测试数据集的曲线对比图，由图像可知，该方法的预测精度值极高，其预测误差极小，符合实际工程中对于温度预测误差的要求，能够较为准确地进行实际工程应用中的温度预测。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，包括以下步骤：

采集待预测齿轮箱关键部件的温度信号；

构建1DCNN-LSTM模型以及BiLSTM模型；输入温度信号，分别通过1DCNN-LSTM模型和BiLSTM模型提取时空特征和周期性特征的特征向量，并通过特征向量串联拼接方式进行特征后端融合，获得融合后的特征向量；

将融合后的特征输入全连接层进行回归分析，获得回归分析结果，并根据回归分析结果，预测出齿轮箱的短期温度数据值。

2.根据权利要求1所述的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，还包括：

对采集的待预测齿轮箱关键部件的温度信号进行归一化处理，将数据映射到0-1之间。

3.根据权利要求1所述的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，所述1DCNN-LSTM模型包括依次连接的1DCNN模型和LSTM模型；所述的1DCNN模型包括依次连接的输入层和隐藏层；所述隐藏层包括两组卷积层和池化层；

通过所述1DCNN-LSTM模型提取时空特征，包括以下步骤：

通过输入层接收齿轮箱关键部件的温度信号；

通过两组一维卷积层与池化层交替提取温度信号的非线性特征；

其中，卷积层对信号数据执行卷积操作，提取数据特征，卷积操作的数学表达式如下：

式中，z^l和z^l+1分别是第l+1层的输入与输出，b是偏差值，

是权重值，

是l+1层中对应节点的权重值；f，s₀分别为卷积核与步长；

其中，池化层执行池化操作，通过最大池化简化网络层数，表达式如下：

式中，

为第l层第i各特征中第t个神经元的值；W为池化区域；

为l+1层神经元的输出；

将卷积层与池化层处理后的输出信号作为LSTM模型的输入信号；

通过LSTM模型提取特征后，通过全连接层进行特征激活和输出特征。

4.根据权利要求3所述的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，所述LSTM模型包括输入门、输出门和遗忘门；

其中，输入门一般用于更新隐藏细胞状态，输入门根据前一层的信息与当前状态的信息并结合sigmoid函数与tanh函数，决定需要保留的重要信息；遗忘门决定信息的丢弃或保留，来自前一个隐藏层的信息与当前层的信息经sigmoid函数的处理，将输出值处理至介于0～1之间，越接近0的数据将被丢弃，越接近1的数据将被保留；输出门根据前一个输入与当前输入，通过sigmoid函数与tanh函数的处理，确定当前层应当输出的信息值，以此决定下一个隐藏状态的值；

所述输入门i_t，遗忘门f_t，输出门o_t的定义如下：

i_t＝Sigmoid(w_f.[h_t-1,x_t]+b_f)

f_t＝Sigmoid(w_t.[h_t-1,x_t]+b_i)

o_t＝Sigmoid(w_o.[h_t-1,x_t]+b_o)

式中，h_t-1为前一个隐藏层的输出信息，x_t为当前层的输入信息，h_t为当前层的输出信息，w为重置门权重，b为偏置项。

5.根据权利要求1所述的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，所述BiLSTM模型包括正向LSTM网络与反向LSTM网络，将正向LSTM网络提取的特征信号与反向LSTM网络提取的特征信号进行组合；其中，BiLSTM模型提取公式为：

其中，

为t时刻正向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的正向LSTM输出向量

共同确定；其中，

为t时刻反向LSTM隐藏层的输出向量，由当前时刻输入向量x_t和前一时刻的反向LSTM输出向量

共同确定；h_t为BiLSTM模型的输出，其中，ω_t为正向LSTM输出的权重矩阵；v_t为反向LSTM输出的权重矩阵；b_t为权重矩阵的偏置。

6.根据权利要求1所述的一种基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法，其特征在于，所述全连接层为回归分析层，其激活函数采用ReLu激活函数进行激活。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6中任意一项所述的基于1DCNN-LSTM与BiLSTM并行网络的齿轮箱温度预测方法。

Images