CN113569993A - 一种聚合反应过程质量预测模型构建方法 - Google Patents
一种聚合反应过程质量预测模型构建方法 Download PDFInfo
- Publication number
- CN113569993A CN113569993A CN202110991457.3A CN202110991457A CN113569993A CN 113569993 A CN113569993 A CN 113569993A CN 202110991457 A CN202110991457 A CN 202110991457A CN 113569993 A CN113569993 A CN 113569993A
- Authority
- CN
- China
- Prior art keywords
- mcc
- model
- neural network
- moment
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 title claims abstract description 47
- 238000006116 polymerization reaction Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 239000004698 Polyethylene Substances 0.000 claims abstract description 18
- -1 polyethylene Polymers 0.000 claims abstract description 18
- 229920000573 polyethylene Polymers 0.000 claims abstract description 18
- 238000009776 industrial production Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000001311 chemical methods and process Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 5
- 238000004880 explosion Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Polymerisation Methods In General (AREA)
Abstract
一种聚合反应过程质量预测模型构建方法，属于化工过程中的软测量建模技术领域。它包括以下步骤：1、获取聚乙烯工业生产过程变量数据集；2、对获取的数据集进行数据标准化处理，使其变成无量纲数据集，然后划分为训练集和测试集；3、建立基于MCC的LSTM神经网络，将训练集输入到建立的MCC‑LSTM神经网络中进行训练；4、采用均方根误差RMSE与最大相关熵误差CE评价指标对模型进行评估，验证MCC‑LSTM神经网络的性能。本发明是基于稳健长短期记忆网络的聚合反应过程质量预测方法，利用MCC作为损失函数，通过MCC对噪声或离群点表现得不敏感的特性，使得LSTM模型更加稳健精确。
Description
技术领域
本发明属于化工过程中的软测量建模技术领域，具体涉及一种聚合反应过程质量预测模型构建方法。
背景技术
在化工过程工业中，过程数据之间存在很强的相关性与非线性，即过程数据是具有高度非线性与高度动态性的时间序列。递归神经网络(Recurrent Neural Network，RNN)通过将时序的概念引入到网络结构设计中，在时序数据分析中表现出更强的适应性，为提取时间序列特征提供了更好的解决方案。随着处理时间序列长度的增加，会使得网络训练期间容易产生梯度消失与梯度***等问题，从而导致RNN网络预测精度不足。另外在开放环境下，由于数据采集环境的复杂性、采集设备性能的限制以及人为因素的影响，使得收集到的数据中含有大量的不确定性，如数据存在各种噪声与异常点等，极大地降低了数据的可用性。在回归建模中，常用的损失函数为最小二乘损失(MSE)。随着误差的增大，相应的损失呈平方增加。当训练数据中存在异常点时，异常点处的回归误差将主导整个损失函数值的增加或减小，从而导致此时训练得到的模型偏向于异常样本。
长短期记忆(Long-Short-Term Memory，LSTM)神经网络是在RNN结构的基础上，引入门控单元替代RNN隐层中的神经元，使其对较长时间序列上的信息能够选择性地通过和剔除，改善RNN在长时间序列上记忆能力不足、梯度消失和梯度***的问题。
最大相关熵准则(Maximum Correntropy Criterion，MCC)最早用在信号的噪声处理领域，后经证明了在回归问题中，MCC在处理包含非高斯噪声或离群点的数据时表现出良好的性能。
本发明将MCC与LSTM进行结合，提出一种稳健MCC-LSTM质量预测方法。
发明内容
针对现有技术中存在的上述问题，本发明的目的在于提供一种能够解决时间序列的梯度消失和梯度***问题，且在参数求解过程中对异常点与噪声不敏感，使得模型更加精确可靠的聚合反应过程质量预测方法。
本发明提供如下技术方案：一种聚合反应过程质量预测模型构建方法，包括以下步骤：
(1)获取聚乙烯工业生产过程变量数据集：
获取聚乙烯工业生产过程变量，取聚乙烯生产过程中的一个反应器内的一组变量为输入变量，该反应器的产品质量变量记为MI，所述MI为输出变量，所述过程变量数据集包括输入变量和输出变量；
(2)数据集的预处理以及数据集划分：
对步骤(1)中获取的聚乙烯工业生产过程变量数据集进行数据标准化处理，使其变成无量纲数据集，然后，将标准化处理后的无量纲数据集按设定比例划分为训练集和测试集；
(3)建立MCC-LSTM神经网络模型并训练：
建立基于最大相关熵准则MCC的长短期记忆LSTM神经网络，将训练集输入到建立的MCC-LSTM神经网络中进行训练；
(4)对MCC-LSTM神经网络训练所建立的模型进行性能评估：
采用均方根误差RMSE与最大相关熵误差CE评价指标对模型进行评估，验证MCC-LSTM神经网络的性能。
所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(2)的具体过程如下：
步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行归一化处理，公式如下：
其中：x′为标准化处理后的数据集，x为所采集的原始数据集；xmin为原始过程变量数据的最小值，xmax为原始过程变量数据的最大值；
步骤2.2：归一化处理后将数据集划分为测试集与训练集，其中测试集占样本总数的25％，训练集占总数的75％；
所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(3)的具体过程如下：
步骤3.1：建立基于最大相关熵准则MCC的长短期记忆LSTM神经网络：
3.1.1、构建长短期记忆LSTM神经网络模型，然后基于最大相关熵准则MCC构建以高斯核函数为核心的损失函数，来提高长短期记忆LSTM神经网络模型的鲁棒性，并通过Adam优化算法进行模型参数求解，整个网络采用最大相关熵准则MCC作为损失函数进行训练；
3.1.2、对步骤(2)中标准化处理后的数据集进行重构，然后将重构后的训练集数据输入步骤3.1.1中构建的MCC-LSTM神经网络模型，其中，数据重构公式如下所示：
xt＝[[At-n,Bt-n,···,Lt-n],···,[At-1,Bt-1,···,Lt-1],[At,Bt,···,Lt]]
其中：A、B···L分别表示聚乙烯工业生产的过程变量，t表示时刻，n表示时间滑动窗口；
步骤3.2：网络参数设置：
在MCC-LSTM神经网络中，通过网格选择的方式设置需要的超参数，并采用自适应矩估计算法优化器对网络参数进行训练，为防止模型过拟合，在MCC-LSTM神经网络中添加dropout层；
步骤3.3：利用自适应矩估计算法训练模型：
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率、定义β1表示一阶矩估计指数衰减率、定义β2表示二阶矩估计指数衰减率、定义m表示梯度的一阶矩、定义n表示梯度的二阶矩、定义t表示时间步，自适应矩估计算法的优化流程如下：
S1)初始化相关参数，不断优化θ，直到目标函数f(θ)满足求解要求；
S2)更新一阶矩和二阶矩：在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体公式如下：
通过上面两个公式分别对一阶矩和二阶矩进行偏差校正，其中：
和
分别是校正后的一阶矩和二阶矩，mt、vt分别表示更新前的一阶矩和二阶矩，mt、vt的具体公式如下：
mt＝β1·mt-1+(1-β1)·gt
其中，gt是t时刻权值的梯度，
是求梯度符号，θt-1是t-1时刻的权值矩阵；
S3)更新网络参数，具体公式如下所示：
其中：θt是t时刻更新后的权值矩阵，θt-1是t-1时刻待更新的权值矩阵，ε为经验参数；若θt满足求解要求，则停止优化并输出结果，否则返回至步骤S2)中继续优化；
所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述最大相关熵准则MCC的推导过程如下：
首先定义相关熵为描述两个随机变量Q和R之间的局部相似度，其表示公式如下：
其中：
为两个随机变量Q和R之间的局部相似度，
是一个核函数，E(·)是一个求期望运算；
则基于定义的相关熵进一步推导出的最大相关熵准则MCC公式如下：
其中：
代表最大相关熵准则，
代表高斯核函数，
与yi分别代表预测值与真实值，ei表示预测值与真实值之间的误差。
所述的一种聚合反应过程质量预测模型构建方法，其特征在于，通过Adam优化算法进行模型参数求解的过程中，需对最大相关熵准则MCC进行等效转化为求最小值问题，即目标函数f(θ)，f(θ)的公式如下：
其中：f(θ)代表目标函数，σ1代表内核参数，N代表样本数，ei表示预测值与真实值之间的误差，θ代表模型需要优化的参数。
所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述步骤(4)中，采用均方根误差(RMSE)与最大相关熵误差(CE)作为评估指标，计算公式如下：
其中：
为软测量模型预测值，yi为目标域测试集真实值，即为步骤(2)中划分的测试集数据，Ntest为测试集的样本数；RMSE值越小、CE值越大表示模型的抗干扰能力更强，更加可靠。
通过采用上述技术，与现有技术相比，本发明的有益效果如下：
本发明是基于稳健长短期记忆网络的聚合反应过程质量预测模型构建方法，利用信号除噪场景中的最大相关熵准则MCC作为损失函数，通过MCC对噪声或离群点表现得不敏感的特性，使得LSTM模型更加稳健精确。
附图说明
图1为本发明模型构建方法的流程图；
图2为本发明实施例中，聚乙烯工业生产测试集中MSE-LSTM与MCC-LSTM模型的预测误差图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
请参阅图1-2，一种聚合反应过程质量预测模型构建方法，包括以下步骤：
(1)获取聚乙烯工业生产过程变量数据集
获取聚乙烯工业生产过程变量，该聚乙烯生产过程中有三个主要反应器。三个反应器的产品质量变量(熔融指数)分别记为MI1，MI2，MI3。总共选择了与产品质量相关的29个过程变量。第一反应器中有12个变量，第二反应器中有8个变量，第三反应器中有9个变量。这里选取第一个反应器的12个变量为输入变量，相应的MI1为输出变量。
获取聚乙烯工业生产过程变量数据集，共211个样本，每个样本包括12个输入变量，1个预测变量；
(2)聚乙烯工业生产数据集的预处理以及数据集划分
步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行最大最小归一化处理处理，公式如下：
其中：x′为标准化处理后的数据集，x为所采集的原始数据集；xmin为原始过程变量数据的最小值，xmax为原始过程变量数据的最大值；
步骤2.2：归一化处理后将数据集划分为测试集与训练集，其中测试集占样本总数的25％，训练集占总数的75％；
(3)建立MCC-LSTM神经网络模型并训练
步骤3.1：建立基于MCC的LSTM神经网络
所获取的数据集为时间序列数据，对数据进行重构，如下所示：
xt＝[[At-n,Bt-n,···,Lt-n],···,[At-1,Bt-1,···,Lt-1],[At,Bt,···,Lt]]
式中：A、B···L分别表示聚乙烯工业生产的过程变量，t表示时刻，n表示时间滑动窗口。
在LSTM神经网络单元中，三个门和记忆单元的具体计算公式如下：
式中：σ2和tanh分别是sigmoid激活函数和切线激活函数，xt为t时刻的外部输入向量；it为t时刻输入门的输出；at为t时刻状态单元的输出；ft为t时刻遗忘门的输出；ct为t时刻状态单元更新的输出；ot为t时刻输出门的输出；ht和ht-1分别是t时刻和t-1时刻的隐藏层状态；Wi、Ui、bi分别为输入层和隐层到输入门的权值向量以及输入门的偏移量；Wc、Uc、bc分别为输入层和隐层到状态单元的权值向量以及状态单元的偏移量；Wf、Uf、bf分别为输入层和隐层到遗忘门的权值向量以及遗忘门的偏移量；Wo、Uo、bo分别为输入层和隐层到输出层的权值向量以及输出层的偏移量；
表示xt、ht-1与其各自W、U、b的加权和；
为Hadamard乘积，表示矩阵对应位置元素相乘。
相关熵一般用于信号除噪场景，其可以处理非高斯噪声和脉冲噪声。相关熵定义为描述两个随机变量Q和R之间的局部相似度，可以表示为：
其中：
为两个随机变量Q和R之间的局部相似度，kσ1(·)是一个核函数，E(·)是一个求期望运算；
基于相关熵定义进一步推导出的最大相关熵准则(MCC)则：
其中：
代表最大相关熵准则，
代表高斯核函数，
与yi分别代表预测值与真实值，ei表示预测值与真实值之间的误差；
在LSTM的模型优化策略中，MCC构建以高斯核函数为核心的损失函数，取代常用的损失函数(MSE)来增加模型的鲁棒性，并通过自适应矩估计优化算法进行模型参数求解。自适应矩估计优化算法一般处理最小化问题，而MCC属于最大化问题，所以需对MCC进行等效转化为求最小值问题，即目标函数f(θ)，如下所示：
其中：f(θ)代表目标函数，σ1代表内核参数，N代表样本数，ei表示预测值与真实值之间的误差，θ代表模型需要优化的参数；
过程构建了LSTM神经网络，整个网络采用MCC作为损失函数进行训练；
步骤3.2：网络参数设置
在MCC-LSTM神经网络中主要设置的超参数包括时间窗口大小、网络结构、训练次数和内核参数宽度等。通过网格选择的方式确定时间窗口大小设置为5，内核参数宽度为0.8，隐藏层神经元个数为20，并采用自适应矩估计算法优化器对网络参数进行训练，epoch为300，batch_size为10。为防止模型过拟合，在MCC-LSTM神经网络中添加dropout层，dropout值设定为0.2。
步骤3.3：利用自适应矩估计算法训练模型
自适应矩估计算法在参数更新过程中通过对梯度的一阶矩估计和二阶矩估计，自适应的为每一个参数设置不同的学***方的均值。
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率，它控制参数的更新比率，定义较大的值在更新过程中会有更快的更新速度，网络会更快的收敛，而定义较小的值时参数的更新速度会相应变慢，但网络会收敛到更好的性能；定义β1表示一阶矩估计指数衰减率；定义β2表示二阶矩估计指数衰减率；定义m表示梯度的一阶矩；定义n表示梯度的二阶矩；定义t表示时间步。自适应矩估计算法的优化流程可归纳如下：
1)初始化相关参数。在0时刻，令α＝0.001，β1＝0.9，β2＝0.999，m＝0，n＝0。不断优化θ，直到目标函数f(θ)满足求解要求。
2)更新一阶矩和二阶矩。在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体过程如下：
其中：gt是t时刻权值的梯度，
是求梯度符号，θt-1是t-1时刻的权值矩阵；
mt＝β1·mt-1+(1-β1)·gt
上面两个式子分别对一阶矩和二阶矩进行更新。
上面两个式子分别对一阶矩和二阶矩进行偏差校正。其中：
和
分别是校正后的一阶矩和二阶矩；
3)更新网络参数。具体过程如下所示：
其中：θt是t时刻更新后的权值矩阵，θt-1是t-1时刻待更新的权值矩阵，同时为了避免分母为零，令参数ε＝10-8；
若θt满足求解要求，则停止优化并输出结果，否则跳回2)继续优化。
(4)对MCC-LSTM神经网络训练所建立的模型进行性能评估
MCC-LSTM网络模型经训练后对其进行性能评估，满足要求后才能使用。本发明采用的评估指标为均方根误差(RMSE)与最大相关熵误差(CE)，计算公式如下：
其中：
为软测量模型预测值，yi为目标域测试集真实值，Ntest为测试集的样本数；
将本实施例方法MCC-LSTM和MSE-LSTM进行实验比较，用预测均方根误差(RMSE)与最大相关熵误差(CE)作为评价标准，RMSE其值越小越好，而CE值越大越好。其比较结果如表1所示，表中列出MCC-LSTM和MSE-LSTM在测试集中的结果。从结果可知，本发明方法的MCC-LSTM模型比传统MSE-LSTM模型的RMSE更小，CE更大，MCC-LSTM模型的抗干扰能力更强，更加可靠。
表1为本方法与传统MSE-LSTM模型预测结果比较
本发明方法提出的基于稳健长短期记忆网络的聚合反应过程质量预测方法，能够很好的抵抗数据噪声与离群点带来的影响，提高长短期记忆神经网络模型的可靠性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种聚合反应过程质量预测模型构建方法，其特征在于，包括以下步骤：
(1)获取聚乙烯工业生产过程变量数据集：
获取聚乙烯工业生产过程变量，取聚乙烯生产过程中的一个反应器内的一组变量为输入变量，该反应器的产品质量变量记为MI，所述MI为输出变量，所述过程变量数据集包括输入变量和输出变量；
(2)数据集的预处理以及数据集划分：
对步骤(1)中获取的聚乙烯工业生产过程变量数据集进行数据标准化处理，使其变成无量纲数据集，然后，将标准化处理后的无量纲数据集按设定比例划分为训练集和测试集；
(3)建立MCC-LSTM神经网络模型并训练：
建立基于最大相关熵准则MCC的长短期记忆LSTM神经网络，将训练集输入到建立的MCC-LSTM神经网络中进行训练；
(4)对MCC-LSTM神经网络训练所建立的模型进行性能评估：
采用均方根误差RMSE与最大相关熵误差CE评价指标对模型进行评估，验证MCC-LSTM神经网络的性能。
2.根据权利要求1所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(2)的具体过程如下：
步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行归一化处理，公式如下：
其中：x′为标准化处理后的数据集，x为所采集的原始数据集；xmin为原始过程变量数据的最小值，xmax为原始过程变量数据的最大值；
步骤2.2：归一化处理后将数据集划分为测试集与训练集，其中测试集占样本总数的25％，训练集占总数的75％。
3.根据权利要求1或2所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(3)的具体过程如下：
步骤3.1：建立基于最大相关熵准则MCC的长短期记忆LSTM神经网络：
3.1.1、构建长短期记忆LSTM神经网络模型，然后基于最大相关熵准则MCC构建以高斯核函数为核心的损失函数，来提高长短期记忆LSTM神经网络模型的鲁棒性，并通过Adam优化算法进行模型参数求解，整个网络采用最大相关熵准则MCC作为损失函数进行训练；
3.1.2、对步骤(2)中标准化处理后的数据集进行重构，然后将重构后的训练集数据输入步骤3.1.1中构建的MCC-LSTM神经网络模型，其中，数据重构公式如下所示：
xt＝[[At-n,Bt-n,···,Lt-n],···,[At-1,Bt-1,···,Lt-1],[At,Bt,···,Lt]]
其中：A、B···L分别表示聚乙烯工业生产的过程变量，t表示时刻，n表示时间滑动窗口；
步骤3.2：网络参数设置：
在MCC-LSTM神经网络中，通过网格选择的方式设置需要的超参数，并采用自适应矩估计算法优化器对网络参数进行训练，为防止模型过拟合，在MCC-LSTM神经网络中添加dropout层；
步骤3.3：利用自适应矩估计算法训练模型：
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率、定义β1表示一阶矩估计指数衰减率、定义β2表示二阶矩估计指数衰减率、定义m表示梯度的一阶矩、定义n表示梯度的二阶矩、定义t表示时间步，自适应矩估计算法的优化流程如下：
S1)初始化相关参数，不断优化θ，直到目标函数f(θ)满足求解要求；
S2)更新一阶矩和二阶矩：在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体公式如下：
通过上面两个公式分别对一阶矩和二阶矩进行偏差校正，其中：
和
分别是校正后的一阶矩和二阶矩，mt、vt分别表示更新前的一阶矩和二阶矩，mt、vt的具体公式如下：
mt＝β1·mt-1+(1-β1)·gt
其中，gt是t时刻权值的梯度，
是求梯度符号，θt-1是t-1时刻的权值矩阵；
S3)更新网络参数，具体公式如下所示：
其中：θt是t时刻更新后的权值矩阵，θt-1是t-1时刻待更新的权值矩阵，ε为经验参数；若θt满足求解要求，则停止优化并输出结果，否则返回至步骤S2)中继续优化。
4.根据权利要求3所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述最大相关熵准则MCC的推导过程如下：
首先定义相关熵为描述两个随机变量Q和R之间的局部相似度，其表示公式如下：
其中：
为两个随机变量Q和R之间的局部相似度，
是一个核函数，E(·)是一个求期望运算；
则基于定义的相关熵进一步推导出的最大相关熵准则MCC公式如下：
其中：
代表最大相关熵准则，
代表高斯核函数，
与yi分别代表预测值与真实值，ei表示预测值与真实值之间的误差。
5.根据权利要求4所述的一种聚合反应过程质量预测模型构建方法，其特征在于，通过Adam优化算法进行模型参数求解的过程中，需对最大相关熵准则MCC进行等效转化为求最小值问题，即目标函数f(θ)，f(θ)的公式如下：
其中：f(θ)代表目标函数，σ1代表内核参数，N代表样本数，ei表示预测值与真实值之间的误差，θ代表模型需要优化的参数。
6.根据权利要求1或2所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述步骤(4)中，采用均方根误差(RMSE)与最大相关熵误差(CE)作为评估指标，计算公式如下：
其中：
为软测量模型预测值，yi为目标域测试集真实值，即为步骤(2)中划分的测试集数据，Ntest为测试集的样本数；RMSE值越小、CE值越大表示模型的抗干扰能力更强，更加可靠。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110991457.3A CN113569993A (zh) | 2021-08-27 | 2021-08-27 | 一种聚合反应过程质量预测模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110991457.3A CN113569993A (zh) | 2021-08-27 | 2021-08-27 | 一种聚合反应过程质量预测模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569993A true CN113569993A (zh) | 2021-10-29 |
Family
ID=78172845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110991457.3A Pending CN113569993A (zh) | 2021-08-27 | 2021-08-27 | 一种聚合反应过程质量预测模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569993A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114547974A (zh) * | 2022-02-11 | 2022-05-27 | 齐鲁工业大学 | 基于输入变量选择与lstm神经网络的动态软测量建模方法 |
| CN116523388A (zh) * | 2023-04-17 | 2023-08-01 | 无锡雪浪数制科技有限公司 | 一种基于工业互联网平台的数据驱动的质量建模方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647643A (zh) * | 2018-05-11 | 2018-10-12 | 浙江工业大学 | 一种基于深度学习的填料塔液泛状态在线辨识方法 |
| CN108920888A (zh) * | 2018-04-26 | 2018-11-30 | 浙江工业大学 | 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法 |
| US20200257964A1 (en) * | 2017-07-18 | 2020-08-13 | Worldline | Machine learning system for various computer applications |
| CN112446506A (zh) * | 2019-09-03 | 2021-03-05 | 西安慧脑智能科技有限公司 | 一种基于最大混合互相关熵准则的鲁棒核学习方法 |
-
2021
- 2021-08-27 CN CN202110991457.3A patent/CN113569993A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200257964A1 (en) * | 2017-07-18 | 2020-08-13 | Worldline | Machine learning system for various computer applications |
| CN108920888A (zh) * | 2018-04-26 | 2018-11-30 | 浙江工业大学 | 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法 |
| CN108647643A (zh) * | 2018-05-11 | 2018-10-12 | 浙江工业大学 | 一种基于深度学习的填料塔液泛状态在线辨识方法 |
| CN112446506A (zh) * | 2019-09-03 | 2021-03-05 | 西安慧脑智能科技有限公司 | 一种基于最大混合互相关熵准则的鲁棒核学习方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIANDONG DUAN等: "Short-term wind power forecasting using the hybrid model of improved variational mode decomposition and Correntropy Long Short -term memory neural network", ENERGY, vol. 214, 4 August 2020 (2020-08-04), pages 1 - 13 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114547974A (zh) * | 2022-02-11 | 2022-05-27 | 齐鲁工业大学 | 基于输入变量选择与lstm神经网络的动态软测量建模方法 |
| CN116523388A (zh) * | 2023-04-17 | 2023-08-01 | 无锡雪浪数制科技有限公司 | 一种基于工业互联网平台的数据驱动的质量建模方法 |
| CN116523388B (zh) * | 2023-04-17 | 2023-11-10 | 无锡雪浪数制科技有限公司 | 一种基于工业互联网平台的数据驱动的质量建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109060001B (zh) | 一种基于特征迁移学习的多工况过程软测量建模方法 | |
| WO2020176295A1 (en) | Artificial neural network compression via iterative hybrid reinforcement learning approach | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN110502806B (zh) | 一种基于lstm网络的无线频谱占用度预测方法 | |
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN111815053B (zh) | 一种针对工业时序数据的预测方法及*** | |
| CN113723007B (zh) | 基于drsn和麻雀搜索优化的设备剩余寿命预测方法 | |
| Han et al. | Hierarchical extreme learning machine for feedforward neural network | |
| Liu et al. | Selective recursive kernel learning for online identification of nonlinear systems with NARX form | |
| CN108629370B (zh) | 一种基于深度置信网络的分类识别算法及装置 | |
| CN113569993A (zh) | 一种聚合反应过程质量预测模型构建方法 | |
| CN110471276B (zh) | 用于为物理***创建模型函数的装置 | |
| CN110119540B (zh) | 一种用于生存风险分析的多输出梯度提升树建模方法 | |
| JP7166683B2 (ja) | 家庭内会話環境に向けたニューラルネットワーク音声認識方法およびシステム | |
| CN112257847A (zh) | 一种基于CNN和LSTM预测地磁Kp指数的方法 | |
| CN110956309A (zh) | 基于crf和lstm的流程活动预测方法 | |
| CN110609476A (zh) | 一种基于高斯过程模型的多变量非线性动态***模型预测控制方法 | |
| CN113095484A (zh) | 基于lstm神经网络的股票价格预测方法 | |
| CN116689503A (zh) | 一种基于记忆性功能网络的带钢全长厚度预测方法 | |
| Yang et al. | A neural network learning algorithm of chemical process modeling based on the extended Kalman filter | |
| CN115062542A (zh) | 基于二维稳健lstm的聚合反应过程质量预测方法 | |
| CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理*** | |
| CN115630582A (zh) | 一种多滑窗模型融合的软岩隧道围岩变形预测方法及设备 | |
| CN115389743A (zh) | 一种变压器油中溶解气体含量区间预测方法、介质及*** | |
| CN110826184B (zh) | 一种在时变时滞下narx模型结构和参数的变分贝叶斯辨识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |