CN112215351B - 增强的多尺度卷积神经网络软测量方法 - Google Patents

增强的多尺度卷积神经网络软测量方法 Download PDF

Info

Publication number
CN112215351B
CN112215351B CN202010994589.7A CN202010994589A CN112215351B CN 112215351 B CN112215351 B CN 112215351B CN 202010994589 A CN202010994589 A CN 202010994589A CN 112215351 B CN112215351 B CN 112215351B
Authority
CN
China
Prior art keywords
data
sample
convolution
dimensional
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010994589.7A
Other languages
English (en)
Other versions
CN112215351A (zh
Inventor
葛志强
江肖禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010994589.7A priority Critical patent/CN112215351B/zh
Publication of CN112215351A publication Critical patent/CN112215351A/zh
Application granted granted Critical
Publication of CN112215351B publication Critical patent/CN112215351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种增强的多尺度卷积神经网络软测量方法，该方法通过重构粗粒度特征进行数据增强，并应用卷积神经网络构建回归模型。将相邻时间段的过程变量数据进行拼接得到数据矩阵，作为样本的新输入替代原来的细粒度特征，解决过程变量采样不平衡以及样本的输入输出对应不准确问题；利用生成对抗网络对样本进行扩充，通过定量的生成样本来对原始数据集进行数据增强，解决过程数据局部缺失的问题；用一维卷积核和二维卷积核同时对粗粒度特征进行特征提取，考虑了变量的动态性和彼此之间的时间差，解决过程变量之间的时延问题；通过卷积和池化的交替操作将数据降到一维，并通过多层感知机建立预测模型，实现对目标质量变量的实时软测量。

Description

增强的多尺度卷积神经网络软测量方法
技术领域
本发明属于工业过程软测量领域，尤其涉及一种增强的多尺度卷积神经网络软测量方法。
背景技术
在工业大数据时代，数据驱动的软传感器已经成为了指导工业生产和控制的重要手段。然而在实际工业中，不同数据的获取手段是有差异的，大部分生产中的过程变量可以直接通过分布控制***(DCS)测量，而有些质量变量则需要通过化学手段或专业仪器进行分析才能得到数值。同时，过程变量数据和质量变量数据分别是一个样本的输入值和输出值。工业产品的质量变量数据由于其高昂的测量成本决定了它的数量远远少于过程变量数据。因此，不同变量数据的采样不平衡问题，破坏了传统软传感器建模对训练样本需同时具备输入值和输出值的基本前提，造成了大量过程变量数据的浪费。
除此之外，在数据测量过程中，由于DCS在生产设备中所分布的点位不同，同一时刻下采集的数据往往不对应同一批物料，这导致了变量数据之间的时延问题。同时，质量变量数据和过程变量数据采样的时间差也导致了样本输入值和输出值对应不准确问题。这两个问题也极大程度上制约了软传感器的性能。
基于以上三个问题，细粒度的特征(某一个时刻的过程变量数据)无法为软传感器建模提供有效的过程信息，因而也得不到好的软测量效果。同时，当考虑到质量变量数据的绝对数量较少，并由于某些原因导致局部缺失时，会进一步对模型造成不好地影响。因此，在工业实际中，一种能针对性解决以上实际问题的软测量方法是非常有价值的。
发明内容
本发明的目的在于针对现有技术的不足，提供一种增强的多尺度卷积神经网络软测量方法。本发明基于生成对抗网络和卷积神经网络CNN结构，实现对工业中的质量变量数据的预测。
本发明的目的是通过以下技术方案来实现的：一种增强的多尺度卷积神经网络软测量方法，包括如下步骤：
步骤一、数据预处理：设质量变量为Y，过程变量为Xi,i＝1,2,…,m；其中m是过程变量的个数。将t时刻采集的质量变量数据作为样本St的输出值yt,t＝1,2,…。设物料在整个过程持续的时间长度为n，将[t-n，t]时间段内采集的过程变量xi·j,j＝1,2,…,n，拼接在一起作为样本St的输入值
Figure GDA0003537191810000021
称为粗粒度特征。然后，用最大最小值归一化对过程变量进行归一化操作，消除变量之间量纲的差别。
步骤二、数据增强：用生成对抗网络对样本St进行数据增强，得到新的生成样本S*。
步骤三、特征提取：卷积操作同时采用1×U的一维卷积核和V×W的二维卷积核，对样本St和样本S*中归一化后的粗粒度特征进行特征提取。后通过1x1的卷积将不同尺度下卷积核所提取的特征图进行融合。之后，用池化层对提取的特征图进行降维处理。通过反复的卷积、池化操作，将粗粒度特征完全转化为序列化的一维特征。
步骤四、回归建模：将序列化的一维特征，通过一个包含单隐层的多层感知机进行回归建模。通过误差反向传播对步骤三到四构建的模型进行训练，修正网络参数。
步骤五、实时预测：针对实际生产中，采集到的实时过程变量数据，利用步骤四训练好的模型预测实时过程变量对应的质量变量。
进一步地，所述步骤二中，由于样本的输入值Dt是一个数据矩阵，而数据值是一个值，因此先对生成对抗网络的输入数据进行序列化和拼接处理，得到一个一维的向量。然后通过生成对抗网络的训练，得到一维的生成数据。最后将生成数据分割重构回一个完整的样本S*。生成样本S*将弥补样本St在某一时间段内的数据局部缺失。
进一步地，所述步骤三中，卷积层采用平均池化，池化的结果如下：
Figure GDA0003537191810000022
其中，b表示参与池化的激活值的序位阈值，Rl表示在第l个特征图内的池化域，k表示在整个池化内激活值的索引值，rk和ak分别表示激活值k的序位和激活数值。
进一步地，所述步骤三到四构建的模型中，卷积层与池化之间的激活函数使用线性整流函数，其公式如下：
f(x)＝max(0,x)
其中，x代表来自上一层网络的出入向量。
本发明的有益效果如下：
1、通过对相邻时间段内的过程变量的数据进行拼接，利用了原本不能参与建模的过程变量数据。同时将样本中细粒度的特征转化为粗粒度的特征，更好地保留了过程数据中的信息，解决了变量的时延，样本输入输出的不对应的问题。
2、利用生成对抗网络对样本进行了数据增强，扩充了样本的绝对数量，防止数据局部缺失对软测量建模的影响。
3、利用多尺度卷积核对粗粒度特征做了针对性的特征提取，在数据的动态性和时延性上分别考虑了一维和二维的卷积核，更符合过程数据的特点。
附图说明
图1是数据预处理示意图；
图2是数据增强示意图；
图3是软测量模型结构示意图；
图4是多尺度卷积核示意图。
具体实施方式
下面结合具体实施方式对本发明增强的多尺度卷积核CNN软测量方法作进一步的详述。
本发明一种增强的多尺度卷积神经网络软测量方法,基于生成对抗网络和卷积神经网络(CNN)结构，实现对工业中的质量变量数据进行预测，包括以下步骤：
步骤一(数据预处理)：数据预处理过程如图1所示，设质量变量为Y，过程变量为Xi，i＝1,2,…,m，m是过程变量的个数。将t时刻采集的质量变量数据作为样本St的输出值yt，t＝1,2,…。设物料在整个过程持续的时间长度为n，将[t-n，t]时间段内采集的过程变量xi·j，i＝1,2,…,m，j＝1,2,…,n，拼接在一起作为样本St的输入值
Figure GDA0003537191810000031
此时重构得到的样本输入称为粗粒度特征Dt。然后，用最大最小值归一化对过程变量进行归一化操作，消除变量之间量纲的差别。
步骤二(数据增强)：数据增强过程如图2所示，用生成对抗网络对样本St进行数据增强，得到新的生成样本S*。由于样本的输入值Dt是一个数据矩阵，而数据值是一个值，因此先对生成对抗网络的输入数据Dt进行序列化和拼接处理，得到一个一维的向量。然后通过生成对抗网络的训练，得到一维的生成数据。最后将生成数据分割重构回一个完整的样本S*。生成样本S*将弥补样本St在某一时间段内的数据局部缺失。
步骤三(特征提取)：如图4所示，多尺度卷积操作同时采用1×U的一维卷积核和V×W的二维卷积核，对样本St和样本S*中粗粒度特征进行特征提取；U,V,W结合实际的数据情况进行选择。与普通图像数据不同，过程变量数据的粗粒度特征在不同坐标轴上的物理意义是不同的。因此，在这里，我们希望利用多尺度的特征来对粗粒度特征进行充分的特征提取，以得到完整的过程信息。一维卷积核对每个过程变量的时间序列进行动态特征的提取，同时二维卷积核对相邻过程变量的时间序列矩阵进行时延关系特征的提取。再通过1x1的卷积将不同尺度下卷积核所提取的特征图进行融合。
在卷积操作之后，用池化层对特征图进行降维处理。如图3所示，通过反复的卷积、池化操作，将粗粒度特征Dt完全转化为序列化的一维特征。为了充分利用已有信息，卷积层采用平均池化，池化的结果如下所示：
Figure GDA0003537191810000041
其中，b表示参与池化的激活值的序位阈值，Rl表示在第l个特征图内的池化域，k表示在整个池化内激活值的索引值，rk和ak分别表示激活值k的序位和激活数值。
步骤四(回归建模)：将序列化的一维特征，通过一个包含单隐层的多层感知机进行回归建模。通过误差反向传播对模型进行训练，修正网络参数。
步骤三和步骤四构成了如图3所示的多尺度卷积CNN软测量模型的基本结构。卷积层与池化之间的激活函数使用线性整流函数(ReLU)，其公式如下：
f(x)＝max(0,x)
其中，x代表来自上一层网络的出入向量。ReLU使网络更加有效率地进行梯度下降和反向传播，避免了梯度***和梯度消失问题。
步骤五(实时预测)：针对实际生产中，采集到实时的过程变量数据构成粗粒度特征，利用步骤三到四训练好的多尺度卷积CNN软测量模型对其进行实时预测。
以下结合一个具体的CO2吸收塔的工业例子来说明增强的多尺度卷积神经网络软测量方法。CO2吸收塔是氨合成过程中的重要部分，送入氨合成塔前的混合气体中CO2的含量会对产品产生不利的影响。CO2吸收塔过程包含11个变量，如表1所示。通过对这些变量进行建模，来预测混合气体中CO2的含量。
表1：TE过程故障列表
Figure GDA0003537191810000042
Figure GDA0003537191810000051
在数据预处理阶段，对30组过程变量数据进行了拼接，得到(30×11)的粗粒度特征。生成对抗网络采用了基于梯度惩罚的Wasserstein生成对抗网络(WGAN-GP)，生成500个新样本。卷积层采用了(1×3)和(1×5)的一维卷积核，(3×5)和(3×7)的二维卷积核，步长为1。池化层的尺寸为(2×2)，步长为2。优化算法采用随机梯度下降，学习率为0.01。
实验共收集1000个样本，其中取时间上前500个样本为训练样本，后500个样本为测试样本，其中随机删去20％的训练样本以模拟数据局部缺失问题。表2展示本方法和其他模型的预测结果，从RMSE上看出，本方法取得了最好的效果。
表2：软测量模型对比
软测量模型 多层感知机 卷积神经网络 本发明
RMSE 0.01598 0.01298 0.01054

Claims (4)

1.一种增强的多尺度卷积神经网络软测量方法，其特征在于，包括如下步骤：
步骤一、数据预处理：设质量变量为Y，过程变量为Xi,i＝1,2,…,m；其中m是过程变量的个数；将t时刻采集的质量变量数据作为样本St的输出值yt,t＝1,2,…；设物料在整个过程持续的时间长度为n，将[t-n，t]时间段内采集的过程变量xi·j,j＝1,2,…,n，拼接在一起作为样本St的输入值
Figure FDA0003537191800000011
称为粗粒度特征；然后，用最大最小值归一化对过程变量进行归一化操作，消除变量之间量纲的差别；
步骤二、数据增强：用生成对抗网络对样本St进行数据增强，得到新的生成样本S*；
步骤三、特征提取：卷积操作同时采用1×U的一维卷积核和V×W的二维卷积核，对样本St和样本S*中归一化后的粗粒度特征进行特征提取；后通过1x1的卷积将不同尺度下卷积核所提取的特征图进行融合；之后，用池化层对提取的特征图进行降维处理；通过反复的卷积、池化操作，将粗粒度特征完全转化为序列化的一维特征；
步骤四、回归建模：将序列化的一维特征，通过一个包含单隐层的多层感知机进行回归建模；通过误差反向传播对步骤三到四构建的模型进行训练，修正网络参数；
步骤五、实时预测：针对实际生产中，采集到的实时过程变量数据，利用步骤四训练好的模型预测实时过程变量对应的质量变量。
2.根据权利要求1所述增强的多尺度卷积神经网络软测量方法，其特征在于：所述步骤二中，由于样本的输入值Dt是一个数据矩阵，而数据值是一个值，因此先对生成对抗网络的输入数据进行序列化和拼接处理，得到一个一维的向量；然后通过生成对抗网络的训练，得到一维的生成数据；最后将生成数据分割重构回一个完整的样本S*；生成样本S*将弥补样本St在某一时间段内的数据局部缺失。
3.根据权利要求1所述增强的多尺度卷积神经网络软测量方法，其特征在于：所述步骤三中，卷积层采用平均池化，池化的结果如下：
Figure FDA0003537191800000012
其中，b表示参与池化的激活值的序位阈值，Rl表示在第l个特征图内的池化域，k表示在整个池化内激活值的索引值，rk和ak分别表示激活值k的序位和激活数值。
4.根据权利要求1所述增强的多尺度卷积神经网络软测量方法，其特征在于：步骤三到四构建的模型中，卷积层与池化之间的激活函数使用线性整流函数，其公式如下：
f(x)＝max(0,x)
其中，x代表来自上一层网络的出入向量。
CN202010994589.7A 2020-09-21 2020-09-21 增强的多尺度卷积神经网络软测量方法 Active CN112215351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010994589.7A CN112215351B (zh) 2020-09-21 2020-09-21 增强的多尺度卷积神经网络软测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010994589.7A CN112215351B (zh) 2020-09-21 2020-09-21 增强的多尺度卷积神经网络软测量方法

Publications (2)

Publication Number Publication Date
CN112215351A CN112215351A (zh) 2021-01-12
CN112215351B true CN112215351B (zh) 2022-05-03

Family

ID=74050184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010994589.7A Active CN112215351B (zh) 2020-09-21 2020-09-21 增强的多尺度卷积神经网络软测量方法

Country Status (1)

Country Link
CN (1) CN112215351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408578B (zh) * 2021-05-13 2022-10-25 华南理工大学 基于生成式对抗网络的谐波减速器故障诊断方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960420B (zh) * 2017-05-23 2021-06-08 上海寒武纪信息科技有限公司 处理方法及加速装置
CN109188903A (zh) * 2018-08-20 2019-01-11 北京化工大学 基于记忆增强优化的cnn加热炉操作变量的软测量方法
CN110322077B (zh) * 2019-07-10 2022-08-02 燕山大学 基于卷积神经网络的水泥原料立磨生料细度指标预测方法
CN110378044B (zh) * 2019-07-23 2021-06-11 燕山大学 基于注意力机制的多时间尺度卷积神经网络软测量方法

Also Published As

Publication number Publication date
CN112215351A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN106778682B (zh) 一种卷积神经网络模型的训练方法及其设备
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN106874688B (zh) 基于卷积神经网络的智能化先导化合物发现方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
CN105825511A (zh) 一种基于深度学习的图片背景清晰度检测方法
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN109815855B (zh) 一种基于机器学习的电子设备自动测试方法及***
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
Guo et al. Estimating cement compressive strength using three-dimensional microstructure images and deep belief network
CN115587985A (zh) 组织病理图像细胞核分割以及染色风格规范化方法
Roewer-Despres et al. Towards finite element simulation using deep learning
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
CN112215351B (zh) 增强的多尺度卷积神经网络软测量方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN116595313A (zh) 基于多尺度残差注意力网络的故障诊断方法及***
CN110554667A (zh) 基于卷积神经网络(cnn)的间歇工业过程故障诊断
CN112947080B (zh) 一种基于场景参数变换的智能决策模型性能评估***
CN113504768B (zh) 面向装配质量预测的高精密产品数字孪生可计算性方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN116704208A (zh) 基于特征关系的局部可解释方法
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN116129189A (zh) 一种植物病害识别方法、设备、存储介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant