CN116842358A - 一种基于多尺度卷积和自适应特征融合的软测量建模方法 - Google Patents

Abstract

本发明公开了一种基于多尺度卷积和自适应特征融合的软测量建模方法，包括以下步骤：A：确定输入变量和输出变量；B：数据预处理；C：建立基于卷积神经网络的软测量模型；D：训练基于卷积神经网络的软测量模型；F：利用训练好的软测量模型实施预测。本发明针对非平稳工业过程带来的数据时变性和复杂性的特点，本发明引入了多尺度特征提取的思想，通过不同尺度大小的卷积核对原始数据进行并行的特征提取，这使得卷积过程能够从不同的时间尺度学习短期和长期的关键特征，本发明在特征提取的基础上利用协调注意力机制分别从通道和空间维度考虑不同特征表示的重要性，对多变量深度特征表示进行自适应融合。

Description

一种基于多尺度卷积和自适应特征融合的软测量建模方法

技术领域

本发明涉及基于多尺度卷积和自适应特征融合的软测量建模技术领域，特别涉及一种基于多尺度卷积和自适应特征融合的软测量建模方法。

背景技术

由于原料成分、催化剂浓度和内部设备成分的变化，大多数工业过程总是在复杂的非平稳条件下运行。因此，工业过程数据具有时变特性，并且包含分布在不同时间尺度上的复杂动态特征信息，这给特征提取带来了显著困难。现有基于CNN模型的软测量方法在每一次卷积操作过程中采用单一尺度的卷积和进行特征提取，容易忽略多尺度的信息，并且，CNN模块的大量堆叠容易造成模型的高复杂度与低泛化性的问题。

工业过程数据由安装在不同生产装置和测量设备上的多个传感器收集，这些设备记录的变量之间存在丰富的局部空间相关性，在建立软传感器时需要充分考虑这一点。现有方法大多以平等的方式，如简单拼接、相加、堆叠等，对待每一个辅助变量的软测量建模方法会忽略关键性特征，容易造成信息冗余。尽管现有部分神经网络模型已引入注意力机制，然而没有考虑网络提取的不同辅助变量深层特征之间的相关性，对关键变量的预测造成影响。

发明内容

为了至少解决或部分解决上述问题，提供一种基于多尺度卷积和自适应特征融合的软测量建模方法。

为了达到上述目的，本发明提供了如下的技术方案：

本发明一种基于多尺度卷积和自适应特征融合的软测量建模方法，包括以下步骤：

A：确定输入变量和输出变量；

B：数据预处理；

C：建立基于卷积神经网络的软测量模型；

D：训练基于卷积神经网络的软测量模型；

F：利用训练好的软测量模型实施预测。

作为本发明的一种优选技术方案，所述步骤A中，目标变量和一些容易测量的辅助变量之间通过建立预测性的数学模型建立映射关系，来实时估计质量变量。

作为本发明的一种优选技术方案，所述数据预处理的步骤包括：

通过3σ原则对辅助变量进行筛选；随后，最大最小归一化它可以将不同量纲的数据转化为同一量纲下的数据，通过将数据映射到[0,1]之间消除不同量纲之间的影响，从而使得不同指标之间具有可比性，并提高模型的收敛速度。

其中x_tmax、x_tmin分别表示归一化后的时间序列、数据中的最大值和数据中的最小值。

作为本发明的一种优选技术方案，所述建立基于卷积神经网络的软测量模型的步骤包括：

1、对给定的输入变量进行特征提取；

2、构建通道融合注意力、空间融合注意力以及残差连接；

3、将融合的多变量特征映射展平，用作全连通回归网络的输入来获得最终的预测结果

作为本发明的一种优选技术方案，所述步骤D将输入变量输入至步骤C中构建的软测量模型中，利用BP网络中的反向传播原理进行模型训练，优化网络中的各个参数。

作为本发明的一种优选技术方案，所述步骤D中训练软测量模型使用具有均方误差的损失函数作为目标函数，并加入L2正则化，目标函数的最终形式形式化为：

式中和/>分别是训练集的预测值和目标值。λ是正则化项的惩罚系数，θ是要学习的参数集。

与现有技术相比，本发明的有益效果如下：

本发明针对非平稳工业过程带来的数据时变性和复杂性的特点，本发明引入了多尺度特征提取的思想，通过不同尺度大小的卷积核对原始数据进行并行的特征提取，这使得卷积过程能够从不同的时间尺度学习短期和长期的关键特征。

针对不同变量对预测贡献的不同，且其之间存在相关性的特点，本发明在特征提取的基础上利用协调注意力机制分别从通道和空间维度考虑不同特征表示的重要性，对多变量深度特征表示进行自适应融合。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体结构示意图；

图2是本发明的协同注意力机制图；

图3是本发明的脱丁烷塔结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。

实施例1

如图1所示，本发明提供一种基于多尺度卷积和自适应特征融合的软测量建模方法；

步骤1：确定输入变量和输出变量。

软测量的核心是在目标变量和一些容易测量的辅助变量之间通过建立预测性的数学模型建立映射关系，来实时估计质量变量。假设软测量模型为y_t＝F(x_t)，其中是第t个时间步收集到的N个辅助变量，样本总数是T个。

步骤2：数据预处理。

由于传感器在对工业过程数据的采集过程中受到各种因素的干扰，数据容易出现错误点和异常点等情况。因此，需要通过数据清洗提高数据的质量，使得数据更加适合于后续的神经网络建模和分析，本发明通过3σ原则对辅助变量进行筛选。随后，最大最小归一化它可以将不同量纲的数据转化为同一量纲下的数据，通过将数据映射到[0,1]之间消除不同量纲之间的影响，从而使得不同指标之间具有可比性，并提高模型的收敛速度。

其中x_tmax、x_tmin分别表示归一化后的时间序列、数据中的最大值和数据中的最小值。

步骤3：建立基于卷积神经网络的软测量模型。

该模型主要有辅助变量特征提取，特征表示自适应融合和回归器三个部分组成。其中，特征提取部分主要由多尺度特征提取和深层特征提取构成，分别获取每个辅助变量的特征表示。自适应融合部分由通道融合注意力和空间融合注意力构成，用于对不同变量的特征进行协同融合。最后通过由全连接层构成的分类器对结果进行预测。

步骤3.1：对给定的输入变量进行特征提取。给定原始数据集其中/>N表示辅助变量的个数，是第t个时间步的预测标记。在本发明中，通过移动窗口的方式采用了一种示例构造方法，其中有用的历史数据被合并到原始输入中。预测结果/>由当前和历史辅助变量共同确定：

其中b分别定义为辅助变量和质量变量的滑动窗口大小，f表示由预测模型学习的函数。通过滑动窗口扫描原始数据集D，获得一个新的动态数据集D＝{(x_i，Y_i)}。本发明在此基础上进行特征提取。

步骤3.1.1：为消除工业过程非平稳因素的不利影响，利用CNN并行计算的优势，采用不同大小的卷积核提取输入变量的多尺度特征，如图1所示。设Xⁿ是来自构建数据集的第n个输入变量，是用于其卷积操作的第l个尺度大小的卷积核，/>表示偏置向量，/>表示激活函数，在本方法中使用Relu。卷积运算的计算公式如下：

式中是卷积运算的符号。通过扫描整个输入向量，可以获得第l个尺度的第n个变量中的特征映射/>这是卷积层的输出。将L个不同尺度的特征映射进行堆叠重构，得到多尺度特征/>

步骤3.1.2：由于获取的多尺度特征表示相对较为浅层，为挖掘每个辅助变量更深层次的特征表示，在此基础上再次进程一轮卷积操作：

式中为激活函数Relu，W^s和h^s表示卷积过程的参数，共有s个同样大小的卷积核。

步骤3.2：由于工业过程中，安装在不同位置的多个传感器收集的变量可以对目标变量预测做出不同贡献。因此，捕获过程变量之间通道和空间层面的相关性在软测量模型中起着重要作用。协同注意力被用来对不同特征映射进行自适应地感知与融合，通过步骤3.2.1、步骤3.2.2和步骤3.2.3分别构建通道融合注意力、空间融合注意力以及残差连接，如图2所示。

步骤3.2.1：在通道融合注意力中，多个特征映射按位相加获得总体特征，并分别使用全局平均池化和最大池化从多个角度获得更加全面的通道特征表示符。随后，通过共享全连接层进行特征学习，采用Sigmoid函数进行激活，并再通过一层全连接和Softmax函数来分别感知每一个变量特征映射的通道权值。最后，每个通道特征权重与原始输入内积计算，得到通道加权特征映射，计算过程如下：

W¹，W²，...，W^N＝F_softmax(w₁，w₂，...，w_N)

＝F_softmax(f₁(u)，f₂(u)，...，f_N(u))

uⁿ＝Mⁿ×Wⁿ

其中MLP是由两层共享全连接层，σ是Sigmoid激活函数，f_n为一层全连接。一共有N个变量的特征表示，最终得到通道加权特征u＝[u¹，u²，...，u^N]。

步骤3.2.2：在空间融合注意力中，按位相加的总体特征分别从空间维度使用全局平均池化和最大池化获得全局空间表示符。随后，通过卷积和激活函数获得一维的空间映射权重，并通过与步骤3.2.1同样的方法分别学习每一个特征映射的空间权值。最后，每个特征权重与输入按位相乘，得到空间加权特征映射，计算过程如下：

W¹，W²，...，W^N＝F_softmax(w₁，w₂，...，w_N)

＝F_softmax(f₁(u)，f₂(u)，...，f_N(u))

zⁿ＝uⁿ×Wⁿ

其中Conv表示将特征降至一维的卷积操作，σ代表Sigmoid函数。分别对每一个特征映射进行加权，最终得到同时对通道以及空间维度进行自适应融合的最终特征z＝[z¹，z²，...，z^N]。

步骤3.2.3：由于直接利用加权特征，可能因参数权值过小而造成梯度消失的问题。为防止了有效信息特征的丢失，在注意力中引入残差学习思想，以将处理后的特征与初始特征相加得到y′＝z+y，简化了复杂深度网络的训练过程。通过残差增强可显著提高注意力的融合效果。

步骤3.3：将融合的多变量特征映射展平，用作全连通回归网络的输入来获得最终的预测结果并且，在回归器前加入Dropout操作来避免因模型复杂而造成的过拟合问题。

步骤4：训练基于卷积神经网络的软测量模型。

将输入变量输入至步骤3中构建的软测量模型中，利用BP网络中的反向传播原理进行模型训练，优化网络中的各个参数。本发明中使用具有均方误差的损失函数作为目标函数，并加入L2正则化以平滑网络，避免软测量模型过于复杂而导致的过度拟合。因此，目标函数的最终形式形式化为：

式中和/>分别是训练集的预测值和目标值。λ是正则化项的惩罚系数，θ是要学习的参数集。此外，在反向传播算法中应用了Adam优化器，这有利于加速模型的收敛。

步骤5：利用训练好的软测量模型实施预测。

利用训练好的基于卷积神经网络的软测量模型对生产过程的关键变量进行实时预测。

具体的，以下结合工业实例来具体说明本发明的有效性。

脱丁烷塔是设计用于脱硫和石脑油裂化的炼油工艺的重要组成部分，图3显示了脱丁烷塔的示意流程图。

在设备上安装了几个硬件传感器，即圆圈所示的物理传感器，用于测量一些常规变量，如温度、压力和流量。在此基础上，选择由硬件传感器测量的七个典型过程变量作为软测量模型的输入。此外，为了获得更准确的估计值，本文还进一步考虑了过程的动态性特征。基于输入变量和先前的输入和输出样本，添加新变量作为原始输入变量。拟议方法的最终输入变量设计为：

其中x₁(t)～x₇(t)表示t时刻传感器采集的变量，分别为顶部温度、顶部压力、回流流量、留向下一过程流量、隔板温度、底部温度A、底部温度B。并且脱丁烷塔数据集中的数据已做出无量纲化的处理，共有2394个样本。

为了评估所提出的软测量方法的性能，本文采用了两种常见的回归问题评估指标均方根误差(RMSE)和确定系数R²。RMSE用于判断目标值和预测值之间的误差，R²反映预测值与真实值的拟合程度，其公式分别为：

其中，和/>分别是第t个测试样本的预测输出值和目标输出值，/>是测试集中输出变量的平均值，T是测试集的总数。

将本发明模型(MSCNN-CAM)与传统建模方法CNN、多尺度CNN(MSCNN)和基于注意力的CNN(CNN-CAM)进行对比。进行十次重复实验，其中每次实验将数据集随机划分为训练集(70％)和测试集(30％)，并引入早停准则early stopping和设置dropout为0.5。计算多次实验的均值和标准差，通过比较RMSE、R²证明了该模型有着更高的预测准确性和和稳定性，本发明的有效性和合理性得到验证，如表1所示。

表1实验结果

同时，本发明有着更高的拟合精度，对工业过程的实时预测具有重要意义。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，包括以下步骤：

A：确定输入变量和输出变量；

B：数据预处理；

C：建立基于卷积神经网络的软测量模型；

D：训练基于卷积神经网络的软测量模型；

F：利用训练好的软测量模型实施预测。

2.根据权利要求1所述的一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，所述步骤A中，目标变量和一些容易测量的辅助变量之间通过建立预测性的数学模型建立映射关系，来实时估计质量变量。

3.根据权利要求1所述的一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，所述数据预处理的步骤包括：

通过3σ原则对辅助变量进行筛选；随后，最大最小归一化它可以将不同量纲的数据转化为同一量纲下的数据，通过将数据映射到[0,1]之间消除不同量纲之间的影响，从而使得不同指标之间具有可比性，并提高模型的收敛速度。

其中x_tmax、x_tmin分别表示归一化后的时间序列、数据中的最大值和数据中的最小值。

4.根据权利要求1所述的一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，所述建立基于卷积神经网络的软测量模型的步骤包括：

1、对给定的输入变量进行特征提取；

2、构建通道融合注意力、空间融合注意力以及残差连接；

3、将融合的多变量特征映射展平，用作全连通回归网络的输入来获得最终的预测结果

5.根据权利要求1所述的一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，所述步骤D将输入变量输入至步骤C中构建的软测量模型中，利用BP网络中的反向传播原理进行模型训练，优化网络中的各个参数。

6.根据权利要求5所述的一种基于多尺度卷积和自适应特征融合的软测量建模方法，其特征在于，所述步骤D中训练软测量模型使用具有均方误差的损失函数作为目标函数，并加入L2正则化，目标函数的最终形式形式化为：

式中和/>分别是训练集的预测值和目标值。λ是正则化项的惩罚系数，θ是要学习的参数集。