CN106056127A - 一种带模型更新的gpr在线软测量方法 - Google Patents

Abstract

实际工业过程的特征以及各种参数会随时间推移而改变，传统离线方法建立的软测量模型不能自适应的调整模型参数。本专利提出一种局部与整体结合的模型更新方法来解决这类问题。该方法首先对训练样本利用高斯过程回归(GPR)方法进行离线建模，得到预测输出值及预测误差；对离线模型得到的预测误差进行分析，当误差均值大于某一预设阈值时对GPR模型进行整体更新即同时更新其协方差矩阵和协方差函数的参数；否者，只对GPR模型进行局部更新即只更新其协方差矩阵。最后利用误差高斯混合模型(EGMM)对更新后的GPR模型预测输出进行补偿得到最终的预测结果。本专利通过实际的工业污水处理过程进行建模仿真验证了所提方法的有效性。

Description

一种带模型更新的GPR在线软测量方法

技术领域

本发明涉及一种带模型更新的GPR在线软测量方法，属于复杂工业过程建模和软测量领域。

背景技术

科学技术的日益发展使得工业生产过程变得越来越复杂和精细，同时对工业过程的指标监控以及控制的要求更高。但是目前这些指标进行在线实时测量非常困难。因此软测量技术应运而生并大大节省了人工分析时间和设备成本。

目前，常见的基于数据的建模方法主要有偏最小二乘(partial least squares，PLS)、人工神经网络(artificial neural networks，ANN)、最小二乘支持向量机(leastsquares support vector machine，LSSVM)以及高斯过程回归(gaussian processregression，GPR)等。其中高斯过程回归是基于贝叶斯统计理论发展起来的一种全新机器学习方法。它在处理一些小样本、高维数、非线性等复杂问题上具有很好的适应性。除此之外，其还具有模型参数少、参数优化相对容易、输出具有概率意义等优点。

考虑到工业过程特性即参数会随时间推移而不断变化，因此模型更新一直是软测量研究的热点。一般而言，可以对所建模型进行整体更新和局部递推更新。整体更新是当新的样本点到来时，对训练样本进行更新并重新建立模型。但当训练样本较大时，此种方法会严重影响模型的实时性能。局部递推更新是当新的样本点到来时，对训练样本进行更新，并只对离线软测量模型中的部分参数或数据进行更新。但是此种方法无法全面更新由训练样本改变而发生变化的参数，进一步则会导致软测量方法的性能下降。在高斯过程回归建模中最重要的两个步骤是确定所选协方差函数的参数以及计算出对应的协方差矩阵，对模型的更新也是在这两方面进行更新，但很多情况下我们只采用了局部递推更新即对协方差矩阵的更新而没有考虑到协方差函数参数的变化。实际上协方差函数的参数是由训练样本所确定，所以随着训练样本的更新其相应的最优参数也在发生变化。

考虑到上述问题，本文提出一种局部和整体相结合的模型更新方法：首先对原始训练数据利用高斯过程回归进行离线建模；其次对新来样本点利用离线的GPR模型得到预测输出值以及预测误差；进一步对预测输出值的误差均值进行分析，当误差均值大于某一预设阈值时对GPR模型进行整体更新即同时更新其协方差矩阵和协方差函数的参数；否则，对GPR模型进行局部更新即只更新其协方差矩阵。最后对于更新后的模型采用EGMM^[15](error Gaussian mixture model，EGMM)误差模型对其输出误差进行补偿。

发明内容

在实际工业过程中，由于***的过程特征以及各种参数会随着生产过程发生改变，而离线模型无法解决此类问题。所以针对此类问题，本文提出一种局部与整体相结合的模型更新方法来满足实际工业过程的动态建模。

首先当测试样本到来时，先通过GPR模型对其输出进行预测并得到预测误差，然后对GPR模型最近几次误差均值进行分析，从而确定GPR模型应该采取哪种更新方法，实现对化工过程重要指标的在线估计，从而提高生产效率。

本发明的目的是通过以下技术方案实现的：

首先采集过程的输入和输出数据组成软测量建模数据库。对训练样本进行标准化处理，并使用PCA主成分分析得到得分矩阵。将得分矩阵和输出数据组成训练样本集并建立相应的离线GPR软测量模 型。

当任意一个测试样本点到来时，先利用GPR模型预测出其相应的输出值，然后计算出GPR模型最近五次预测输出值的预测误差平均值。

将预测误差平均值与预设的误差阈值进行比较，然后选择相应的模型更新方法对离线GPR模型进行更新，最后对预测输出值采用EGMM^[15](error Gaussian mixture model，EGMM)误差模型对其进行误差补偿，最终实现对化工过程重要指标的在线估计，从而提高生产效率

附图说明

图1是一种带模型更新的GPR在线软测量方法建模流程图；

图2 PCA特征提取；

图3 BIC值与高斯成分个数的关系；

图4无更新与局部更新预测结果对比；

图5局部更新与整体更新预测结果对比；

图6预测性能指标。

具体实施方式

下面结合图1所示，对本发明做进一步详述：

本文通过一个实际工业污水处理过程的实例仿真，验证了本文所提方法具有更高的预测精度。

步骤1：采集过程污水处理过程的输入和输出数据组成软测量建模数据库。

步骤2：对训练样本进行标准化处理，并使用PCA主成分分析得到得分矩阵。所述的PCA算法为：

如果有训练数据集X＝{x_i|x_i∈R^m}_i＝1…n，m是过程变量的维数,n是训练数据的个数。一般情况下，样本的维数以及变量相关性会很大程度上影响建模的速度和质量，而PCA(Principal component analysis)主元分析可以通过奇异值分解的方法对高维数据进行降维，同时减小变量之间的相关性。原始的m维输入样本可以表示为:

X＝TP^T+E (1)公式(1)中,T∈R^n×q是主成分子空间的得分矩阵，P∈R^m×q是主成分子空间相应的载荷矩阵，E是残差矩阵。PCA特征提取结果如图2所示

步骤3：将得分矩阵和输出数据组成训练样本集并建立相应的离线GPR软测量模型，然后利用建立的GPR模型对训练样本进行预测得到相应的输出误差向量。建立的GPR模型为：

给定训练样本集输入X＝{x_i|x_i∈R^m}_i＝1…n和输出Y＝{y_i∈R}_i＝1…n。一般情况下输入和输出之间的关系如式(2)所示：

y＝f(x)+ε (2)

其中f(x)是未知的函数形式，ε是均值为0，方差为的高斯噪声。高斯过程回归模型是有限个f(x_i)随机变量所组成的多元高斯分布：其中协方差矩阵的求取用到了协方差函数，本文选取径向基协方差函数，如公式(3)所示：

其中v表示先验知识的总体度量，可以控制局部相关性的程度。表示服从高斯分布的噪声的方差，δ_ij是Kronecher算子，ω_t代表各辅助变量的相对重要性。对于上述的协方差函数，其对数似然函数如公式(4)所示：

其中超参数C为对应的协方差矩阵。然后对公式(4)对数似然函数进行求导可得：

通过共轭梯度法得到最优的超参数θ。

对于新来测试样本点x_q，假设其和训练样本的数据同属于一个联合正态分布，可得到其预测均值和预测方差：

y_q(x_q)＝c^T(x_q)C^-1Y (6)

公式(6)、(7)中c(x_q)为测试样本和各个训练样本之间的协方差向量，c(x_q,x_q)为测试样本与自身的协方差值，C为训练样本的协方差矩阵。

步骤4：将得分矩阵和输出误差向量组成新的误差训练样本，并建立相应的EGMM误差模型。建立的EGMM模型为：

假设训练样本集X＝{x_i|x_i∈R^m}_i＝1…n，其中每个向量x_i都是服从独立同分布的，则其概率密度函数可以表示为公式(8)所示：

其中n是样本数据集的大小，其中参数为是高斯成分个数。μ_j、λ_j和分别为第j个高斯成分的均值、权重和方差，并且其中 可以表示为公式(9)所示：

对于高斯混合模型中参数Θ_GMM和成分个数K可以分别采用EM(ExpectationMaximization Algorithm)算法^[18]和BIC(Bayesian Information Criterion)信息准则^[19]进行求取。BIC值与高斯成分个数的关系结果如图3所示。

当给定训练样本集X＝{x_i|x_i∈R^m}_i＝1…n和Y＝{y_i∈R}_i＝1…n时，首先通过PCA主成分分析得到X的得分向量T＝{t_i|t_i∈R^s}_i＝1…n，可以用T和Y建立GPR模型，并用此模型来对其本身进行预测，从而可以进一步得到误差向量将T和e组成误差数据样本集X_er＝[T,e]，并用其建立EGMM模型。根据建立的EGMM模型可得到任意一个样本数据x_er的概率密度函数、均值向量μ_j和方差矩阵Σ_j：

进而可以得到每个高斯成分j的条件误差均值μ_e|t,j和条件误差方差

对于一个有K个成分的高斯混合模型，基于公式(13)、(14)和λ_j可以得到整体条件误差均值和条件误差方差：

其中：

步骤5：当任意一个测试样本点x_q到来时，先利用GPR模型预测出其相应的输出值再利用EGMM模型预测出其相应的条件误差均值，然后用此条件误差均值对GPR预测输出值进行补偿，最终得到补偿后的预测输出值

步骤6：计算出步骤5中GPR模型最近五次预测输出值的预测误差平均值，将其与预设的误差阈值进行比较，然后选择相应的局部和整体相结合的模型更新方法对离线GPR模型进行更新。具体更新方法如下：

局部和整体相结合的模型更新方法是对于新来的样本点根据不同的情形采取两种不同的更新方法：

(1)对模型进行局部迭代更新，过程如下所述：

在t时刻训练样本可以表示为其对应协方差矩阵：

令

所以C^t又可以表示为：

其中 同时在t时刻[C^t]^-1可以如公式(21)所示：

其中b是[C^t]^-1中第一行第一列的元素，B是一个一行n-1列的列向量。根据[C^t]^-1和C^t之间的关系可以得到Q^-1，如公式(22)所示：

其中，I_n-1和I_n分别为n和n-1维的单位矩阵。

在t+1时刻，当一个新的样本点x_q被加入到训练样本集中时，采集时间最早的数据应该被剔除掉。此时对于协方差矩阵C^t应把其第一行与第一列删除，然后在其最后一行与最后一列之后增加一行一列构成新的协方差矩阵C^t+1：

其中 可以根据前面已经优化后的协方差函数即公式(3)计算得到。此时，如公式(21)、(22)同理可得到[C^t+1]^-1：

其中f＝(z-Z^TQ^-1Z)^-1，这样就可以得到t+1时刻的协方差矩阵C^t+1和其逆矩阵[C^t+1]^-1，将其带入公式(6)和(7)之中可得到局部模型更新后的预测均值和方差公式：

y_q(x_q)＝c^T(x_q)(C^t+1)^-1Y^t+1 (25)

(2)对模型进行整体更新，即利用更新后的样本数据采用共轭梯度法对模型的协方差函数参数进行重新优化，得到新的最优超参数值，同时利用最新协方差函数重新计算出模型所需协方差矩阵，建立一个新的软测量模型。协方差函数重新优化参照公式(3)、(4)、(5)。

对两种模型更新方法选择条件如下所述：

首先，求取最近5次(此个数将影响模型跟随过程特征的效果以及实时性)GPR模型预测误差，并求取这五次预测误差的平均值对于误差均值我们可以提前设定一个阈值α(其大小可具体根据模型预测误差的大小酌情选择，本文阈值α定为只进行局部更新模型预测结果的误差平均值)：

(1)当时，说明只更新协方差矩阵可以满足对预测精度要求，所以只采用第一种局部更新方法对模型进行更新，以提高模型预测的实时性和精度。

(2)当时，说明只更新协方差矩阵已经无法满足对预测精度的要求，所以采用第二种整体更新方法对模型进行更新。

从图4可以看出在污水处理过程中与离线软测量建模方法相比，采用局部模型更新的在线方法明显具有更高的预测精度。这说明在线模型更新方法比离线方法能够更好地跟踪工业过程特征的变化，从而显示出更好地预测结果。

从图5可以看出采用局部与整体相结合的模型更新在线软测量方法比只采取局部模型更新的方法能获得更好的预测精度，说明本文提出的方法对提高预测精度是有效的。

最后再采用EGMM误差模型对预测输出进行补偿，可以将预测精度进一步提升。各方法均方根性能指标图6所示。

Claims (2)

1.一种带模型更新的GPR在线软测量方法，该方法步骤为：

步骤1：采集过程的输入和输出数据组成软测量建模数据库。

步骤2：对训练样本进行标准化处理，并使用PCA主成分分析得到得分矩阵。所述的PCA算法为：

如果有训练数据集X＝{x_i|x_i∈R^m}_i＝1…n，m是过程变量的维数,n是训练数据的个数。一般情况下，样本的维数以及变量相关性会很大程度上影响建模的速度和质量，而PCA(Principal component analysis)主元分析可以通过奇异值分解的方法对高维数据进行降维，同时减小变量之间的相关性。原始的m维输入样本可以表示为:

X＝TP^T+E (1)

公式(1)中,T∈R^n×q是主成分子空间的得分矩阵，P∈R^m×q是主成分子空间相应的载荷矩阵，E是残差矩阵。

步骤3：将得分矩阵和输出数据组成训练样本集并建立相应的离线GPR软测量模型，然后利用建立的GPR模型对训练样本进行预测得到相应的输出误差向量。建立的GPR模型为：

给定训练样本集输入X＝{x_i|x_i∈R^m}_i＝1…n和输出Y＝{y_i∈R}_i＝1…n。一般情况下输入和输出之间的关系如式(2)所示：

y＝f(x)+ε (2)

其中f(x)是未知的函数形式，ε是均值为0，方差为的高斯噪声。高斯过程回归模型是有限个f(x_i)随机变量所组成的多元高斯分布：其中协方差矩阵的求取用到了协方差函数，本文选取径向基协方差函数，如公式(3)所示：

其中v表示先验知识的总体度量，可以控制局部相关性的程度。表示服从高斯分布的噪声的方差，δ_ij是Kronecher算子，ω_t代表各辅助变量的相对重要性。对于上述的协方差函数，其对数似然函数如公式(4)所示：

其中超参数C为对应的协方差矩阵。然后对公式(4)对数似然函数进行求导可得：

通过共轭梯度法得到最优的超参数θ。

对于新来测试样本点x_q，假设其和训练样本的数据同属于一个联合正态分布，可得到其预测均值和预测方差：

y_q(x_q)＝c^T(x_q)C^-1Y (6)

公式(6)、(7)中c(x_q)为测试样本和各个训练样本之间的协方差向量，c(x_q,x_q)为测试样本与自身的协方差值，C为训练样本的协方差矩阵。

步骤4：将得分矩阵和输出误差向量组成新的误差训练样本，并建立相应的EGMM误差模型。建立的EGMM模型为：

假设训练样本集X＝{x_i|x_i∈R^m}_i＝1…n，其中每个向量x_i都是服从独立同分布的，则其概率密度函数可以表示为公式(8)所示：

其中n是样本数据集的大小，其中参数为K是高斯成分个数。 μ_j、λ_j和分别为第j个高斯成分的均值、权重和方差，并且其中 可以表示为公式(9)所示：

对于高斯混合模型中参数Θ_GMM和成分个数K可以分别采用EM(ExpectationMaximization Algorithm)算法^[18]和BIC(Bayesian Information Criterion)信息准则^[19]进行求取。

当给定训练样本集X＝{x_i|x_i∈R^m}_i＝1…n和Y＝{y_i∈R}_i＝1…n时，首先通过PCA主成分分析得到X的得分向量T＝{t_i|t_i∈R^s}_i＝1…n，可以用T和Y建立GPR模型，并用此模型来对其本身进行预测，从而可以进一步得到误差向量将T和e组成误差数据样本集X_er＝[T,e]，并用其建立EGMM模型。根据建立的EGMM模型可得到任意一个样本数据x_er的概率密度函数、均值向量μ_j和方差矩阵Σ_j：

进而可以得到每个高斯成分j的条件误差均值μ_e|t,j和条件误差方差

对于一个有K个成分的高斯混合模型，基于公式(13)、(14)和λ_j可以得到整体条件误差均值和条件误差方差：

其中：

步骤5：当任意一个测试样本点x_q到来时，先利用GPR模型预测出其相应的输出值再利用EGMM模型预测出其相应的条件误差均值，然后用此条件误差均值对GPR预测输出值进行补偿，最终得到补偿后的预测输出值

步骤6：计算出步骤5中GPR模型最近五次预测输出值的预测误差平均值，将其与预设的误差阈值进行比较，然后选择相应的局部和整体相结合的模型更新方法对离线GPR模型进行更新。具体更新方法如下：

局部和整体相结合的模型更新方法是对于新来的样本点根据不同的情形采取两种不同的更新方法：

(1)对模型进行局部迭代更新，过程如下所述：

在t时刻训练样本可以表示为其对应协方差矩阵：

令

所以C^t又可以表示为：

其中同时在t时刻[C^t]^-1可以如公式(21)所示：

其中b是[C^t]^-1中第一行第一列的元素，B是一个一行n-1列的列向量。根据[C^t]^-1和C^t之间的关系可以得到Q^-1，如公式(22)所示：

其中，I_n-1和I_n分别为n和n-1维的单位矩阵。

在t+1时刻，当一个新的样本点x_q被加入到训练样本集中时，采集时间最早的数据应该被剔除掉。此时对于协方差矩阵C^t应把其第一行与第一列删除，然后在其最后一行与最后一列之后增加一行一列构成新的协方差矩阵C^t+1：

其中可以根据前面已经优化后的协方差函数即公式(3)计算得到。此时，如公式(21)、(22)同理可得到[C^t+1]^-1：

其中f＝(z-Z^TQ^-1Z)^-1，这样就可以得到t+1时刻的协方差矩阵C^t+1和其逆矩阵[C^t+1]^-1，将其带入公式(6)和(7)之中可得到局部模型更新后的预测均值和方差公式：

y_q(x_q)＝c^T(x_q)(C^t+1)^-1Y^t+1 (25)

(2)对模型进行整体更新，即利用更新后的样本数据采用共轭梯度法对模型的协方差函数参数进行重新优化，得到新的最优超参数值，同时利用最新协方差函数重新计算出模型所需协方差矩阵，建立一个新的软测量模型。协方差函数重新优化参照公式(3)、(4)、(5)。

对两种模型更新方法选择条件如下所述：

首先，求取最近5次(此个数将影响模型跟随过程特征的效果以及实时性)GPR模型预测误差，并求取这五次预测误差的平均值对于误差均值我们可以提前设定一个阈值α(其大小可具体根据模型预测误差的大小酌情选择，本文阈值α定为只进行局部更新模型预测结果的误差平均值)：

(1)当时，说明只更新协方差矩阵可以满足对预测精度要求，所以只采用第一种局部更新方法对 模型进行更新，以提高模型预测的实时性和精度。

(2)当时，说明只更新协方差矩阵已经无法满足对预测精度的要求，所以采用第二种整体更新方法对模型进行更新。

2.根据权利要求1所述的一种带模型更新的GPR在线软测量方法，其特征在于，局部与整体相结合的模型更新方法既能提高软测量模型预测性能又能保证其实时性，并能根据现场要求调整预测性能和实时性的偏重。本文软测量建模方法相较于一般的局部模型更新以及离线的软测量方法具有更高的预测精度，能够跟随工业过程中随时间变化的***特征，同时EGMM模型对预测输出进行补偿进一步提高本文软测量方法预测性能。