CN109840362B - 一种基于多目标优化的集成即时学习工业过程软测量建模方法 - Google Patents

Abstract

本发明公开了一种基于多目标优化的集成即时学***衡模型复杂度与预测精度之间的关系。此外，从优化所得的历史样本库中选择与查询样本相似的部分样本构建局部极限学习机模型，并采用选择性集成策略将多目标优化所得的Pareto最优解进行集成，能够有效处理工业过程的非线性问题。本发明通过优化建模数据结构与极限学习机模型结构，提升了工业过程软测量建模的预测精度和计算效率。

Description

一种基于多目标优化的集成即时学习工业过程软测量建模 方法

技术领域

本发明属于工业过程软测量建模领域，尤其涉及一种基于多目标优化的集成即时学习软测量建模方法。

背景技术

在现代工业生产过程中，为了保证产品质量符合日益严苛的生产指标，需要对一些关键的过程变量或质量变量进行实时在线检测，从而实现生产过程的实时控制。然而，实际的工业生产过程有时处于高温、高压、强腐蚀性等恶劣的环境中，因此对传感器性能的要求极为严苛，而高性能的传感器往往存在成本较高、难以维护等问题，此外，离线分析时间长是制约生产过程实时控制的另一重要因素。软测量的出现为这类难测参数的在线监测提供了一种有效途径。

软测量技术的核心是通过某种最优准则，构建辅助变量(易测变量)与主导变量(难测变量)之间的函数关系式，并通过计算机软件，实现主导变量的在线估计。得益于集散控制***、数据库等技术的发展，数据驱动软测量建模技术受到了广泛的关注。在数据驱动建模中，以即时学习为代表的局部模型由于采用“分而治之”的思想，具有能够精准地描述局部过程特征，显著降低模型的计算复杂度，有效处理过程的非线性和时变性等特性，在软测量建模领域备受关注。

然而，即时学习技术往往依赖于数据库中的样本，数据库中样本的质量对模型预测精度起着至关重要的作用。而实际的生产过程常常由于传感器冗余、采样频率不一致等因素，使得数据库中的输入变量存在冗余性、输入变量与输出变量之间的弱相关性等缺陷，从而导致模型计算复杂度增加，同时也易发生过拟合等问题。因此，合理改善历史样本数据库的质量对于提高软测量模型的计算效率及预测精确度是至关重要的。此外，由于模型的预测精度与模型复杂度之间往往存在正相关的关系，因此，如何在保证模型预测精度一定的情况下尽可能的降低模型复杂度是本发明拟解决的另一问题。同时，考虑到工业过程往往呈现复杂的过程特性，例如强非线性、时变性等，采用即时学习软测量建模技术仅能获得一系列的次优模型，这些次优模型难以充分考虑过程的不同特性，我们希望通过采用集成学习的策略，将不同的局部模型进行融合，从而获得高性能的软测量模型。

发明内容

本发明所要解决的技术问题是，如何提高软测量建模技术中历史样本数据库的质量以及如何在提高模型预测精度的同时降低模型复杂度的问题。为此目的，本发明提出了一种基于多目标优化的集成即时学习工业过程软测量建模方法，包括以下步骤：

(1)通过集散控制***或离线检测的方法，收集工业过程数据D，构建用于软测量建模的数据库，通过对工业过程的机理分析，确定与预测变量y相关的辅助变量X，辅助变量X即输入变量，X＝{x₁,x₂,...,x_M}；

(2)对数据库中的所有样本进行归一化处理，并将其分为训练集D_train，验证集D_validate和测试集D_test，其中训练集D_train用于模型的训练，验证集D_validate用于模型参数的优化，测试集D_test用于模型性能的评估；

(3)采用进化多目标优化方法对训练集D_train中的输入变量和极限学习机模型隐藏层节点数进行优化，剔除冗余或与输出变量弱相关的输入变量，根据优化获得S个Pareto最优解，根据Pareto最优解依次更新训练集D_train中的输入变量，从而获得S个新的训练集并作为新的建模样本数据库；

多目标优化问题描述如下：

min[f₁(x),f₂(x)]

f₁(x)和f₂(x)为两个待优化的目标函数

f₂(x)＝N_hidden×M^*

f₁(x)为验证样本的预测误差，f₂(x)为模型的复杂度，N_val为验证集D_validate的样本数量，

为验证集D_validate中第i个样本的预测值，y_val,i为验证集D_validate中第i个样本的真实值，M^*为优化后的输入变量数，

的具体计算过程为，将验证集D_validate中的样本依次取做查询样本x_q,i，根据M^*更新查询样本的输入变量，根据欧氏距离相似度从训练集D_train中选择前P个与查询样本的相似样本构建极限学习机模型，获得其预测输出

x为待优化的决策变量，x＝{x₁,x₂,...,x_m...,x_M,N_hidden}，其中x_m表示样本的第m个输入变量，M表示输入变量个数，N_hidden为极限学习机模型隐藏层节点数；lb和ub分别为x的下限和上限约束，A与b为x的不等式约束项；

(4)根据S个新的建模样本数据库更新测试集D_test的输入变量对应获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

根据S个新的建模样本数据库，依次对测试集D_test中的输入变量进行更新，剔除不相关或冗余变量，将所得变量作为新的输入变量集X_test,new，从而获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

表示第S个预测输出。

(5)根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，并对S个局部极限学习机模型进行集成；根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型{ELM₁,ELM₂,...,ELM_S}，相应的获得S个验证样本的预测输出

将验证样本的预测输出

作为输入，其真实输出作为输出，构建PLS模型，保存PLS模型的回归系数。

(6)对步骤(5)中所得的S个局部极限学习机模型进行修剪，选择预测精度较高的子模型对步骤(4)中的测试样本集构建最终的集成模型。

(a)对验证样本的PLS模型回归系数的绝对值按大小进行降序排列得到{|β₁|,|β₂|...,|β_S|}；

(b)通过计算局部极限学习机模型的贡献率CP，选择预测效果较优的前S^*个子模型构建集成模型，贡献率CP计算公式为：

其中，|β_S|表示PLS模型第s个回归系数的绝对值，且满足|β₁|≥|β₂|≥…≥|β_S|，当CP≥95％时，停止模型修剪，保存子模型的索引及对应的回归系数；

(c)根据修剪所得的验证样本子模型索引，从步骤(4)中的S个局部极限学习机模型选择S^*个局部极限学习机模型进行PLS集成的到集成模型。

本发明的有益效果

本发明通过多目标进化优化方法对对输入变量及极限学习机模型的隐藏层节点数进行优化，根据欧氏距离相似度，选择与查询样本相似度较高的样本构建极限学习机模型，并采用集成学习方法，将不同Pareto解所得的子模型进行集成，从而获得高性能的集成即时学习软测量模型。相比目前的其他方法，本发明不仅能够很好的处理数据库中的冗余变量或与输出变量弱相关的输入变量，而且在保证模型预测精度的同时降低模型的复杂度，有效处理工业过程的非线性，提高建模的计算效率及模型的预测精度。

附图说明

图1为本发明方法中基于多目标优化的集成即时学习软测量建模的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

实施例1：如图1所示，一种基于多目标优化的集成即时学习工业过程软测量建模方法包括如下步骤，第一步：通过集散控制***或离线检测的方法，收集工业过程数据，构建用于软测量建模的数据库。通过对工业过程的机理分析，确定与预测变量相关的辅助变量。

第二步：对数据库中的样本进行归一化处理，并将其分为训练集(D_train∈R^J×Q)，验证集(D_validate∈R^K×Q)和测试集(D_test∈R^T×Q)。其中训练集用于模型的训练，验证集用于模型参数的优化，测试集用于模型性能的评估。

第三步：采用多目标进化优化方法(NSGA-II算法)对训练集中的输入变量进行优化，

多目标优化问题描述如下：

min[f₁(x),f₂(x)]

f₁(x)和f₂(x)为两个待优化的目标函数，由于目标函数f₁(x)与f₂(x)相互矛盾，即一个解在某个目标上是最好的，在另一个目标上可能是最差的，因此多目标优化算法的目标是找到一组均衡解，使各个子目标都尽可能地达到最优化。一般而言，多目标优化问题不存在唯一一个最优解，而是获得一组由众多Pareto最优解组成的最优解集。

f₂(x)＝N_hidden×M^*

f₁(x)为验证样本的预测误差，f₂(x)为模型的复杂度，N_val为验证集D_validate的样本数量，

为验证集D_validate中第i个样本的预测值，y_val,i为验证集D_validate中第i个样本的真实值，M^*为优化后的输入变量数，

的具体计算过程为，将验证集D_validate中的样本依次取做查询样本x_q,i，根据M^*更新查询样本的输入变量，根据欧氏距离相似度从训练集D_train中选择前P个与查询样本的相似样本构建极限学习机模型，获得其预测输出

x为待优化的决策变量，x＝{x₁,x₂,...,x_m...,x_M,N_hidden}，其中x_m表示样本的第m个输入变量，M表示输入变量个数，N_hidden为极限学习机模型隐藏层节点数；lb和ub分别为x的下限和上限约束，A与b为x的不等式约束项；

第四步：根据S个新的建模样本数据库更新测试集D_test的输入变量对应获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

根据S个新的建模样本数据库，依次对测试集D_test中的输入变量进行更新，剔除不相关或冗余变量，将所得变量作为新的输入变量集X_test,new，从而获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

表示第S个预测输出。

第五步：根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，并对S个局部极限学习机模型进行集成；根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型{ELM₁,ELM₂,...,ELM_S}，相应的获得S个验证样本的预测输出

将验证样本的预测输出

作为输入，其真实输出作为输出，构建PLS模型，保存PLS模型的回归系数。

第六步：对步骤(5)中所得的S个局部极限学习机模型进行修剪，选择预测精度较高的子模型对步骤(4)中的测试样本集构建最终的集成模型。具体为：

(a)对验证样本的PLS模型回归系数的绝对值按大小进行降序排列得到{|β₁|,|β₂|...,|β_S|}；

(b)通过计算局部极限学习机模型的贡献率CP，选择预测效果较优的前S^*个子模型构建集成模型，贡献率CP计算公式为：

其中，|β_S|表示PLS模型第s个回归系数的绝对值，且满足|β₁|≥|β₂|≥…≥|β_S|，当CP≥95％时，停止模型修剪，保存子模型的索引及对应的回归系数；

(c)根据修剪所得的验证样本子模型索引，从步骤(4)中的S个局部极限学习机模型选择S^*个局部极限学习机模型进行PLS集成的到集成模型。

上述步骤中欧氏距离相似度

其中，d_n表示查询样本与相似样本之间的加权欧氏距离，

x_n表示相似样本，x_q表示查询样本，n∈1,…,P)，q∈1,…,P)，σ_n是

的标准差，

是局部化参数。

实施例2：以下结合脱丁烷塔工业过程进一步具体说明，脱丁烷塔是工业炼油过程中脱硫和石脑油分离的一部分装置，其目标是最小化塔底丁烷的浓度。但是，目前丁烷浓度还难以实现实时在线检测。采用软测量方法对丁烷浓度进行在线预测，能够有效提高脱丁烷塔的脱硫效率。根据机理分析，将x₁塔顶温度；x₂塔顶压力；x₃塔顶回流量；x₄塔顶产品流出量；x₅第六层塔板温度；x₆塔低温度1；x₇塔底温度2这7个监测变量用作构建软测量模型的辅助变量，输出变量为丁烷浓度。本发明通过构建动态过程软测量模型验证所提方法的有效性，采用移动平均模型结构构建动态软测量模型，共获得2388组样本数据，输入变量为49个，其中1194个样本作为训练样本，597个样本作为验证样本，597个样本作为测试样本。

接下来结合该具体过程对实施步骤进行详细的描述：

1.采集脱丁烷塔工业过程数据，对数据进行预处理，剔除异常值、缺失值。

2.对2388组数据进行归一化处理。将其中的1194个样本构成训练样本集，597个样本构成验证样本集，597个样本构成测试样本集。

3.离线优化训练样本集中的输入变量。对49个输入变量和极限学习机模型隐藏层节点数进行编码，获得用于优化的决策变量，其中决策变量个数为50，采用NSGA-II算法对决策变量进行优化。

4.更新训练样本集并将其作为软测量建模的历史样本数据库，根据优化所得的输入变量索引对验证样本和测试样本集中的输入变量进行更新，剔除冗余变量。

5.对验证样本，根据欧氏距离相似度计算其与数据库中历史样本的相似度，选择30个相似样本构建极限学习机软测量模型，获得丁烷浓度的局部预测值。将这些局部预测值作为输入变量，验证样本的真实输出作为输出值，构建PLS模型，获得模型的回归系数。然后对模型回归系数按大小进行降序排列，不断叠加计算子模型的贡献率CP，当CP≥95％时停止计算，保存当前子模型的索引及对应的回归系数。

6.对测试样本，根据欧氏距离相似度计算其与数据库中历史样本的相似度，选择30个相似样本构建极限学习机软测量模型，获得丁烷浓度的局部预测值。

7.根据验证样本所得的子模型索引及模型回归系数，选择测试样本对应的子模型，对其进行PLS集成，从而获得测试样本丁烷浓度预测值。

8.不同软测量模型对丁烷浓度预测精度的比较。比较2种情况下丁烷浓度的预测误差，即传统的即时学习极限学习机软测量模型及本发明提出的同时优化历史样本数据库中的输入变量和极限学习机隐藏层节点数的集成即时学习软测量建模方法。不同方法的预测误差结果如表1所示，其中预测误差越小说明其预测精度越高。通过表1可知，本发明提出的基于多目标优化的集成即时学习工业过程软测量建模方法提高了软测量模型的预测精度。

表1不同方法在脱丁烷塔中的均方根误差(RMSE)

方法	RMSE
		即时学习极限学习机软测量建模	0.0844
基于多目标优化的集成即时学习工业过程软测量建模	0.0500

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于多目标优化的集成即时学习工业过程软测量建模方法，其特征在于，包括以下步骤：

(1)收集工业过程数据D，构建用于软测量建模的数据库，通过对工业过程的机理分析，确定与预测变量y相关的辅助变量X，辅助变量X即输入变量，X＝{x₁,x₂,...,x_M}；

(2)对数据库中的所有样本进行归一化处理，并将其分为训练集D_train，验证集D_validate和测试集D_test，其中训练集D_train用于模型的训练，验证集D_validate用于模型参数的优化，测试集D_test用于模型性能的评估；

(3)采用进化多目标优化方法对训练集D_train中的输入变量和极限学习机模型隐藏层节点数进行优化，剔除冗余或与输出变量弱相关的输入变量，根据优化获得S个Pareto最优解，根据Pareto最优解依次更新训练集D_train中的输入变量，从而获得S个新的训练集并作为新的建模样本数据库；

多目标优化问题描述如下：

min[f₁(x),f₂(x)]

f₁(x)和f₂(x)为两个待优化的目标函数

f₂(x)＝N_hidden×M^*

f₁(x)为验证样本的预测误差，f₂(x)为模型的复杂度，N_val为验证集D_validate的样本数量，

为验证集D_validate中第i个样本的预测值，y_val,i为验证集D_validate中第i个样本的真实值，M^*为优化后的输入变量数，

的具体计算过程为，将验证集D_validate中的样本依次取做查询样本x_q,i，根据M^*更新查询样本的输入变量，根据欧氏距离相似度从训练集D_train中选择前P个与查询样本的相似样本构建极限学习机模型，获得其预测输出

x为待优化的决策变量，x＝{x₁,x₂,...,x_m...,x_M,N_hidden}，其中x_m表示样本的第m个输入变量，M表示输入变量个数，N_hidden为极限学习机模型隐藏层节点数；lb和ub分别为x的下限和上限约束，A与b为x的不等式约束项；

(4)根据S个新的建模样本数据库更新测试集D_test的输入变量对应获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

(5)根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，并对S个局部极限学习机模型进行集成；

(6)对步骤(5)中所得的S个局部极限学习机模型进行修剪，选择预测精度较高的子模型对步骤(4)中的测试样本集构建最终的集成模型；

所述步骤(6)的具体过程为：

(a)对验证样本的PLS模型回归系数的绝对值按大小进行降序排列得到{|β₁|,|β₂|...,|β_S|}；

(b)通过计算局部极限学习机模型的贡献率CP，选择预测效果较优的前S^*个子模型构建集成模型，贡献率CP计算公式为：

其中，|β_S|表示PLS模型第s个回归系数的绝对值，且满足|β₁|≥|β₂|≥…≥|β_S|，当CP≥95％时，停止模型修剪，保存子模型的索引及对应的回归系数；

(c)根据修剪所得的验证样本子模型索引，从步骤(4)中的S个局部极限学习机模型选择S^*个局部极限学习机模型进行PLS集成得到 集成模型。

2.根据权利要求1所述的基于多目标优化的集成即时学习工业过程软测量建模方法，其特征在于，所述步骤(4)具体过程为：

根据S个新的建模样本数据库，依次对测试集D_test中的输入变量进行更新，剔除不相关或冗余变量，将所得变量作为新的输入变量集X_test,new，从而获得S个测试样本集，对每个测试样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型，获得测试样本集的预测输出

表示第S个预测输出。

3.根据权利要求1所述的基于多目标优化的集成即时学习工业过程软测量建模方法，其特征在于，所述步骤(5)的具体过程为：

根据S个新的建模样本数据库更新验证集D_validate的输入变量对应获得S个验证样本集，对每个验证样本集中的样本依次取做查询样本，根据欧氏距离相似度从对应的新的建模样本数据库中选择前P个相似样本构建局部极限学习机模型，即得到S个局部极限学习机模型{ELM₁,ELM₂,...,ELM_S}，相应的获得S个验证样本的预测输出

将验证样本的预测输出

作为输入，其真实输出作为输出，构建PLS模型，保存PLS模型的回归系数。

4.根据权利要求1或2中任意一项所述的基于多目标优化的集成即时学习工业过程软测量建模方法，其特征在于，所述欧氏距离相似度

其中，d_n表示查询样本与相似样本之间的加权欧氏距离，

x_n表示相似样本，x_q表示查询样本，n∈1,…,P，q∈1,…,P，σ_n是

的标准差，

是局部化参数。

Images