CN107451102B - 一种基于改进自训练算法的半监督高斯过程回归软测量建模对脱丁烷塔底丁烷浓度进行预测的方法 - Google Patents

Abstract

本发明公开了一种基于改进自训练算法的半监督高斯过程回归软测量建模对脱丁烷塔底丁烷浓度进行预测的方法。用于带有缺失主导变量的训练数据集的化工过程软测量建模。该方法采用自训练算法估计缺失的主导变量样本，并根据得到的估计样本对原有训练数据的影响，筛选出泛化能力强的样本加入到原始样本集中，从而构成新的训练样本集进行建模。该方法一方面实现估计样本的有效筛选，提高半监督模型精度；另一方面筛选准则简单，不需要划分完整数据集，且不受模型结构的限制。该方法可以提高产品质量，降低生产成本。

Description

一种基于改进自训练算法的半监督高斯过程回归软测量建模 对脱丁烷塔底丁烷浓度进行预测的方法

技术领域

本发明涉及基于改进自训练算法的半监督高斯过程回归软测量建模对脱丁烷塔底丁烷浓度进行预测的方法，属于复杂工业过程建模和软测量领域。

背景技术

目前，化工过程的复杂性正在日益增加，对产品质量的要求也在不断提高，现代工业往往需要装备一些先进的监控***。然而由于某些关键质量变量的传感器价格昂贵、可靠性差或者具有很大的测量滞后性等缺点，导致一些重要的过程变量不能实时有效地测量。

为了解决这些问题，软测量技术在工业过程领域受到了越来越广泛的关注。在过去的十几年，基于数据驱动的软测量建模技术得到了广泛研究，用于提高产品的质量，降低对环境的影响。一些常用的线性回归的方法如主元回归(principal componentregression，PCR)、偏最小二乘(partial least squares，PLS)、等能够很好地处理输入变量和输出变量之间的线性关系。然而，输入和输出之间常常呈现非线性的关系，线性建模方法不再适用，非线性建模方法如人工神经网络(artificial neural networks，ANN)、支持向量机(support vector machine，SVM)、最小二乘支持向量机(least squares supportvector machine，LS-SVM)可以得到良好的预测精度。

虽然这些方法能够获得很好的全局泛化性能，但是工业过程常常呈现多阶段、时变的动态特性，预测效果往往不能得到保证。高斯过程回归(Gaussian processregression，GPR)能够作为一种非参数概率模型，不仅可以给出预测值，还可以得到预测值对模型的信任值。因此，选择GPR建立软测量模型。

针对实际工业过程中主导变量的获取频率远远低于辅助变量，导致训练样本集中仅有一部分样本是有标签的，更多的是只有输入变量而缺失输出变量的无标签样本。自训练方法运算简单，可操作性强，且易于同软测量模型结合，本发明采用自训练估计缺失的主导变量值。

传统的自训练算法仅实现缺失主导变量样本的估计，却无法辨别估计值的好坏。由于自训练模型根据相似度估计缺失主导变量，以及GPR方法的非线性和非参数特征，二者简单结合容易发生模型过拟合的现象，因此本发明建立一种筛选估计样本的准则，剔除信息冗余的样本，将泛化能力强的样本加入到完整数据集中，实现训练样本的重构以提高模型预测精度。

发明内容

针对实际工业过程中主导变量的获取频率远远低于辅助变量，导致训练样本集中仅有一部分样本是有标签的，直接采用这样的数据集进行建模会导致模型预测性能不高。

采用自训练算法估计缺失的主导变量样本，并根据得到的估计样本对原有训练数据的影响，筛选出泛化能力强的样本加入到原始样本集中，从而构成新的训练样本集进行建模。

本发明的目的是通过以下技术方案实现的：

基于改进自训练算法的半监督GPR软测量建模，所述方法包括以下过程：针对半监督数据集，用自训练算法估计缺失主导变量值，并采用一种变量筛选方法，挑选出泛化能力强的样本重构训练样本集。

最终根据重构后的训练样本集，新到来的查询样本进行预测。

附图说明

图1是改进的自训练算法半监督GPR建模步骤；

图2是在不同标签率下各种方法预测的RMSE；

具体实施方式

下面结合图1所示，对本发明做进一步详述：

以常见的化工过程——脱丁烷塔过程为例。实验数据来自于脱丁烷塔E过程，对丁烷浓度进行预测。

步骤1：采集有标签样本集{X_L,Y_L}，L表示有标签；和无标签样本集{X_U}，U表示无标签，并对于无标签样本集中的每个样本x_i∈{X_U}，计算其与有标签样本集中每个样本x_j∈{X_L,j＝1,2,...,NL}的相似度，NL表示有标签样本个数，，相似度指标Sim的计算如式(1)所示，并将按降序排列的相似度记为RSim，其中γ∈(0,1)是相似度参数，||x_i-x_j||，cos＜x_i,x_j＞分别表示向量x_i,x_j之间的欧式距离和夹角的余弦。

Sim_j＝γexp(-||x_i-x_j||)+(1-γ)cos＜x_i,x_j＞ (1)

步骤2：采用式(2)估计当前的无标签样本，其中

表示第k个与当前无标签样本最相似的标签样本的标签值，w是设置的最相似样本个数。

步骤3：重复Step 1和Step 2，直到无标签样本集的估计值全部得到，得到估计样本集

步骤4：建立与

i＝1,2,...,n_U对应的GPR模型，并计算该模型对原有数据集{X_L,Y_L}的预测误差，计算方法为式(3)。

步骤5：重复Step4直到所有估计样本对应的预测误差全部计算出，即得到误差向量ERR(i)，i＝1,2,...n_U，并将按降序排列的误差向量记为RERR。

步骤6：将预测误差最大的前k个样本作为扩充样本集[X_add；Y_add]加入到有标签样本集中，构成训练样本集{X_train,Y_train}＝{[X_L；X_add],[Y_L；Y_add]}，其中，RERR(k)表示为重排列的误差向量RERR的前k个元素，X_add＝X_U[RERR(k)]，

步骤7：使用重构后的训练样本，建立最终的GPR模型，当查询样本到来时使用模型进行预测。

假设有n个样本构成的训练样本集X＝[x₁,x₂,...,x_n]^T和Y＝[y₁,y₂,...,y_n]^T，其中x_i∈R^m(i＝1,2,...,n)是m维的输入向量，y_i∈R(i＝1,2,...,n)是输出。高斯过程回归假设回归函数y＝f(x)具有零均值的高斯先验分布，服从具体描述见(4)式：f～N(μ,Σ)表示f～N(μ,Σ)

y＝{f(x₁),f(x₂),...,f(x_n)}～N(0,K) (4)

其中，f～N(μ,Σ)表示f服从以μ,Σ为均值和方差的正态分布

式(4)中f是未知的函数形式，K是协方差矩阵，其第i行第j列元素定义为k_ij＝k(x_i,x_j)，其中k(·,·)为核函数，本文选取常用的平方指数核函数，其定义由(5)式给出：

其中δ_ij＝1仅在i＝j时成立，否则δ_ij＝0。M＝l^-2I，l是方差尺度，

和

分别是信号方差和噪声方差。

超参数集合

的取值对最后的预测结果有很大的影响，因此合适的超参数对GPR模型的性能起关键性作用。一般采用极大似然估计法求解出最优超参数Θ^*，如(6)式所示。

通过共轭梯度下降法求得各个参数最优解的闭合形式

一旦获得最优的超参数，GPR模型即可确定。当新的查询样本x_new到来后，根据多维高斯分布的性质，可以得到同为高斯分布的主导变量的后验概率(y_new|X,y,x_new)～N(mean(y_new),var(y_new))，最后将期望值作为模型的预测输出值，其中mean(y_new)和var(y_new)分别是(y_new|X,Y,x_new)分布的期望与方差，计算方法如式(7)和(8)：

输出即为丁烷浓度的预测值

图2是在不同标签率下各种方法预测的RMSE；由图可知，基于改进自训练算法的高斯过程回归半监督软测量建模方法能够有效地预测丁烷浓度。

Claims (1)

1.基于改进自训练算法的半监督高斯过程回归软测量建模对脱丁烷塔底丁烷浓度进行预测的方法，以常见的化工过程，脱丁烷塔过程为例，实验数据来自于脱丁烷塔E过程，对丁烷浓度进行预测，其特征在于，该方法步骤为：步骤1：采集有标签样本集{X_L,Y_L}，L表示有标签；和无标签样本集{X_U}，U表示无标签，并对于无标签样本集中的每个样本x_i∈{X_U}，计算其与有标签样本集中每个样本x_j∈{X_L,j＝1,2,...,N_L}的相似度，N_L表示有标签样本个数，相似度指标Sim的计算如式(1)所示，并将按降序排列的相似度记为RSim，其中γ∈(0,1)是相似度参数，||x_i-x_j||，cos＜x_i,x_j＞分别表示向量x_i,x_j之间的欧式距离和夹角的余弦；

Sim_j＝γexp(-||x_i-x_j||)+(1-γ)cos＜x_i,x_j＞ (1)

步骤2：采用式(2)估计当前的无标签样本，其中

表示第k个与当前无标签样本最相似的标签样本的标签值，w是设置的最相似样本个数；

步骤3：重复Step1和Step2，直到无标签样本集的估计值全部得到，得到估计样本集

步骤4：建立与

i＝1,2,...,n_U对应的软测量模型，并计算该模型对原有数据集{X_L,Y_L}的预测误差，计算方法为式(3)：

步骤5：重复Step4直到所有估计样本对应的预测误差全部计算出，即得到误差向量ERR(i)，i＝1,2,...n_U，并将按降序排列的误差向量记为RERR；

步骤6：将预测误差最大的前k个样本作为扩充样本集[X_add；Y_add]加入到有标签样本集中，构成训练样本集{X_train,Y_train}＝{[X_L；X_add],[Y_L；Y_add]}，其中，RERR(k)表示为重排列的误差向量RERR的前k个元素，X_add＝X_U[RERR(k)]，

步骤7：使用重构后的训练样本，建立最终的软测量模型，当查询样本到来时使用模型进行预测；

步骤8：在不同标签率下各种方法预测的RMSE，基于改进自训练算法的高斯过程回归半监督软测量建模方法能够有效地预测丁烷浓度。

Images