CN103177289B - 一种噪声不确定复杂非线性动态***的建模方法 - Google Patents

Abstract

本发明公开一种噪声不确定复杂非线性动态***的建模方法，其特征在于按如下步骤进行：步骤1：对工业生产过程进行数据采集，所得数据为[X_MN,Y]；步骤2：采用Gamma Test对已知输入输出数据进行噪声统计值的计算，得到***噪声的精确信息。本发明的有益效果是：搜索增产节能最好的理想点，确定工艺参数的最优值；根据优化后的工艺参数最优值进行实际生产指导。

Description

一种噪声不确定复杂非线性动态***的建模方法

技术领域

本发明属于智能信息处理技术领域。特别涉及一种基于GammaTest噪声统计值估计的改进kalman滤波神经网络的一种噪声不确定复杂非线性动态***的建模方法。

背景技术

神经网络统计建模方法，以其良好的非线性逼近能力，取得了很好的工业过程建模效果。但是神经网络在进行函数逼近时，虽然逼近误差可以收敛到零的小邻域里，但是神经网络权值不能收敛到最优值。换言之，神经网络通过对现有数据的学习可以准确逼近真实模型，但是神经网络学习到的信息不能被进一步利用，模型一旦确定就不再调整，是一种静态建模方法。然而，在实际的工业过程中，“人、机、料、法、环、测”等诸多不确定因素的存在，由原来数据获得的静态神经网络模型就难以适应。因此，一种行之有效的自适应调整算法应被用于对神经网络模型进行实时更新，保证神经网络模型始终能够反映***的动态特性。Kalman滤波算法能够根据***最新测量数据，实时对***状态进行调整，实现对***最近状态的准确逼近。因此，可以采用Kalman滤波算法根据最新数据信息对静态神经网络模型进行更新调整，使得模型能够随动态***的变化而自适应变化，始终保证模型的有效性。由此发展的非线性滤波算法有：扩展Kalman滤波算法(Extended Kalman Filter,EKF)和无迹Kalman滤波算法(UnscentedKalman Filter,UKF)，被应用于神经网络的训练，建立了准确的Kalman神经网络动态模型。

然而，Kalman滤波算法是建立在噪声统计值已知的基础上的，对于噪声统计值不确定的***，Kalman滤波的性能将恶化，严重时甚至出现滤波发散。采用Kalman神经网络建模时，也面临同样的问题，当噪声统计值不确定时，Kalman神经网络的模型精度无法保障，严重时发散。复杂工业***不可避免的存在观测噪声，为了得到准确的Kalman神经网络模型，需要准确计算***观测噪声统计值。

但是，由于工业过程噪声源不确定，很难对噪声进行有效监测，在实际应用中常将噪声统计值置零，这样势必影响Kalman神经网络建模效果。对于噪声不确定工业***，由于观测噪声不能被有效测量，传统方法需要对观测噪声本身进行估计才可得到准确观测噪声统计值，不能解决以上问题。因此，通常的做法是令R={R₁,...R_I,...,R_T}={0,...0,...,0}，也即将Kalman神经网络的观测噪声统计值R矩阵置零，这样人为的确定噪声估计值，使得计算用观测噪声统计值和实际***过程噪声统计值不一致，影响建模效果。

如何建立噪声不确定工业***的精确模型成为难点。

发明内容

本发明提出了一种噪声不确定复杂非线性动态***的建模方法，基于Gamma Test噪声统计值估计的Kalman神经网络方法，该方法能够得到噪声不确定工业过程的噪声统计值，消除观测噪声统计值未知对建模效果的影响，有效保证建模精度。本发明对包括EKF神经网络(Extended Kalman Filter Artificial Neural Network,EKFNN)和UKF神经网络(Unscented Kalman Filter Artificial Neural Network,UKFNN)的kalman神经网络进行了研究，其关键在于按如下步骤进行：

步骤1：对工业生产过程进行数据采集，所得数据为[X_MN,Y],其中：M为输入变量数，N为采集数据输入参数，Y为工业过程目标输出参数。对生产过程数据进行预处理，得到受噪声影响最小，最能反映出生产过程实际特性的有效数据：

1.1：进行粗大误差数据剔除，粗大误差数据剔除后，[X_MN,Y]减少为[X_MH,Y_H](H≤N)；

粗大误差数据剔除的具体方法为：若X中某输入变量的取值比其附近其他样本点的值较大（小），差异大小可由人为确定一个阈值，出现明显的波动，则剔除该数据样本点，数据减少为[X_MH,Y_H](H≤N)；

1.2：进行3σ准则处理，3σ准则处理后，[X_MH,Y_H](H≤N)减少为[X_MT,Y_T](T≤H)；

3σ准则处理的基本思想为：通常数据上控制限UCL和下控制限LCL与中心线的距离为3σ以内的数据是较好的。因此，将在上、下控制线以外的数据删除，保证数据为最优数据。其中，中心线与上、下控制线的公式如下：

UCL=μ+3σ，CL=μ，LCL=μ-3σ

其中：μ：总体数据的平均值；σ：总体数据的标准差。

对数据[X_MH,Y_H](H≤N)中的各输入变量，采用上述公式进行计算，确定UCL,CL,LCL。若某输入变量的取值在该上、下控制线外，则剔除该数据样本点，通过对***分析，如果某变量的大量正常取值位于控制线外，则扩大控制线范围，以保留该正常取值的变量。得到新数据[X_MT,Y_T](T≤H)。

1.3：进行五点三次平滑处理，利用最小二乘法原理对数据[X_MH,Y_H](H≤N)进行三次最小二乘多项式平滑，五点三次平滑处理后，得到[X′_MT,Y_T′](T≤H)；

利用最小二乘法原理对数据[X_MH,Y_H](H≤N)进行三次最小二乘多项式平滑处理，该处理方法对于时域数据的作用主要是能减少混入振动信号中的高频随机噪声，对于频域数据的作用则是能使谱曲线变得光滑，以便在模态参数识别中得到较好的拟合效果。得到新数据得到新数据[X′_MT,Y_T′](T≤H)。计算公式为：

$\left.\begin{array}{c}{x}_1^{\′}=\frac{1}{70}[{69x}_1+4(x_2+x_4)-6x_3-x_5]\\ x_2^{\′}=\frac{1}{35}[2(x_1+x_5)+27x_2+12x_3-{8x}_4]\\ .\\ .\\ .\\ x_i^{\′}=\frac{1}{35}[-3(x_{i-2}+x_{i+2})+12(x_{i-1}+x_{i+1})+17x_i]\\ .\\ .\\ .\\ x_{m-1}^{\′}=\frac{1}{35}[2(x_{m-4}+x_m)-8x_{m-3}+{12x}_{m-2}+27x_{m-1}]\\ x_m^{\′}=\frac{1}{70}[{-x}_{m-4}+4(x_{m-3}+x_{m-1}-{6x}_{m-2}+{69x}_{m-1})]\end{array}\right\},(i=\mathrm{3,4},...H-2)$

其中：x_i为[X_MT](T≤H)中输入数据；x_i′为经平滑处理后的相应数据。

1.4进行数据归一化处理，得到新数据为[X′′_MT,Y′′](T≤H)；

具体归一化处理方法如下：

$x_i^{\′\′}=0.002+\frac{0.95\×(x_i^{\′}-x_{\min }^{\′})}{x_{\max }^{\′}-x_{\min }^{\′}},$ $y_i^{\′\′}=0.05+\frac{0.9\×(y_i^{\′}-y_{\min }^{\′})}{y_{\max }^{\′}-y_{\min }^{\′}}$

其中：x_i′：归一化前的输入变量；y_i′：归一化前的目标值；x_i′′：归一化后的输入变量；y_i′′：归一化后的目标值；x′_min、x′_max：归一化前输入变量的最小值和最大值；y′_min、y′_max：归一化前目标值的最小值和最大值；

进行归一化处理的原因有：第一，由于工业过程的的M个变量具有不同物理意义和不同量纲，为了使所有的分量在0～1之间，从而使网络训练一开始就给各输入变量以同等重要的地位。第二，在后续建模过程中，神经网络模型以S形函数作为转换函数，表达式为该函数的值域为[0,1]，这类函数没有将边界限制的输入信号压缩到有限的输出范围，则当输入量很大或很小时，输出函数的斜率接近零，削弱了对网络的影响。由于网络训练只针对输出的总误差调整权值，导致总误差中占份额小的输出分量相对误差较大。为了克服以上缺陷，采用归一化方法，得到有效数据，提高模型精度。

步骤2：采用Gamma Test对已知输入输出数据进行噪声统计值的计算，得到***噪声的精确信息。其中第I(1≤I≤T)个样本点对应的***噪声方差值计算过程如下：

2.1假定数据集[X′′_MI,Y_I′′]之间的关系如下：Y′′=f(x₁′′,…,x′′_M)+r，式中，f表示光滑函数，r表示噪音变量，X′′_MI表示X′′_MT中的前I个样本点组成的数据集。

2.2采用kd-tree算法分别对所有的I个样本点X′′_MI进行最近邻点的计算；

2.3确定用于噪声方差值确定的最近邻点数P，依次选择出I个样本点第K(1≤K≤P)近邻点，其中，第i(1≤i≤I)个样本点的第K近邻点记为X′′′_[i,K](1≤i≤I);

2.4得到第i个样本点在输出空间上相应的第K近邻点记为

Y′′′_[i，K](1≤i≤I);

2.5计算所有I个样本点的第K近邻点的最小均方距离

$\mathrm{\δ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|X_{[i,K]}^{\′\′\′}-X_i|}^2(1\≤K\≤P);$

2.6计算在输出空间所有样本点的第K近邻点相应的最小均方距离 $\mathrm{\γ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|Y_{[i,K]}^{\′\′\′}-Y_i|}^2(1\≤K\≤P);$

2.7对按上式所求得的所有P个数据点(δ(K),γ(K))(1≤K≤P)按γ=Aδ+Γ进行一次线性回归计算噪声方差值，所得一次线性函数的截距，即为伽马统计值Γ，也即***的噪声方差值；也即得到第I个样本点对应***噪声方差值，表示为R_I。

2.8再判断I是否小于T，小于T，则I=I+1，对1.4所述的数据[X′′_MT,Y′′](T≤H)重复2.1-2.7的操作，直到I等于T，可得到样本[X′′_MT,Y′′](T≤H)对应的噪声方差值矩阵R={R₁,...R_I,...,R_T}；

采用以上方法进行噪声方差值矩阵R的确定。在于采用GammaTest可以通过对已知输入输出数据进行噪声统计值的计算。

Gamma Test是一种对所有光滑函数（输入到输出的转换是连续的，并且在输入空间中一阶导数是有界的）均适用的非参数估计方法。该方法无需关注输入输出数据之间的任何参数关系，只需对输入输出数据进行计算即可得到模型的噪声方差，非常适合于噪声形式不确定的复杂***噪声估计。

对于工业过程数据集，假设在输入空间存在相邻的2点x_i和x_i′，由于函数f是光滑函数，则在输出空间中相应的f(x_i)和f(x_i′)也是相邻的2点，如果f(x_i)和f(x_i′)不是相邻的2点，则是由噪声引起的。为了估计Var(r)，Gamma Test首先使用kd-tree算法在输入空间对各输入样本点x_i(1≤i≤M)进行计算，得到输入样本x_i(1≤i≤M)的第K(1≤K≤P)近邻点x_N[i,K](1≤i≤M)，一般P=10，下一步，计算所有x_i(1≤i≤M)的第P近邻点的最小均方距离δ(K)以及输出空间相应的最小均方距离γ(K)。最后，对(δ(K),γ(K))(1≤K≤P)进行一次线性回归，所得一次线性函数的截距，即为伽马统计值Γ，也即***的噪声方差值。

步骤3：基于kalman滤波神经网络对噪声不确定***进行精确建模。

通过kalman滤波对神经网络权值、阈值进行估计，将神经网络权值、阈值作为kalman滤波的状态变量，神经网络的输出作为kalman滤波的测量变量，从而得到***的精确模型。

所述kalman滤波为3层神经网络，其中：隐含层传递函数为S型函数，输出层传递函数为Purelin函数，该3层神经网络函数表达式如下：

$y=h(w_k,x_k)=F^2(w_k^2,F^1(w_k^1,x_k))=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\frac{w_i^2}{1+e[\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_i+b_{1i}]}+b_q$

其中：q为隐含层神经元数目；M为输入层神经元数目，采用试凑法公式来确定神经网络隐含层神经元数目，K为1～10之间的常数，通过训练模型效果比较，选择最佳的q值作为神经网络隐含层神经元数目。

在精确***的噪声方差值矩阵R的基础上，可以采用基于扩展kalman滤波神经网络以及基于无迹kalman滤波神经网络进行精确建模。

本发明的有益效果是：鉴于***输入输出数据包含了一定的噪声信息，因此，本发明提出了一种噪声不确定复杂非线性动态***的建模方法，只需对输入输出数据进行计算，而不需对噪声本身进行计算的方法，可用于***噪声统计值的计算，保证Kalman神经网络工业过程的建模效果。Gamma Test只需对***输入输出数据进行计算，而不需要对噪声本身进行计算，即可得到***准确噪声统计值，被用于求取***的噪声统计值。本发明采用Gamma Test对观测噪声不确定工业***的噪声统计值进行计算，保证Kalman神经网络的准确建模。有效解决噪声不确定复杂非线性动态工业过程的建模难题。

本发明基于Gamma Test噪声统计值估计的Kalman神经网络方法，该方法能够得到噪声不确定工业过程的噪声统计值，消除观测噪声统计值未知对建模效果的影响，有效保证建模精度。

附图说明

图1Gamma Test噪声估计的氢氰酸工业生产过程噪声方差值计算结果；

图2基于Gamma Test噪声估计的改进EKFNN神经网络氢氰酸工业生产过程模型图；

图3基于Gamma Test噪声估计的改进UKFNN神经网络氢氰酸工业生产过程模型图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

实施例：一种噪声不确定复杂非线性动态***的建模方法，用于氢氰酸(HCN)生产过程建模。

按如下步骤进行：

氢氰酸生产过程存在复杂非线性动态特性，HCN生产的原料气为氨气、天然气和空气，三种原料气经净化、混合、氧化和酸洗四个工段，才可得到纯净的HCN气体。HCN工业流程复杂，过程工艺参数较多，HCN生产设备都和空气接触，受温度、湿度、设备老化和原材料批次等不确定因素影响，是典型的噪声不确定复杂动态化工***。

1.数据确定以及数据预处理。

综合对HCN生产工艺的分析，选择HCN的9个决策参数：控制***的设定值作为模型的输入变量，以HCN的收率（转化率α）作为模型的输出建立模型，为HCN转化率的提高提供决策依据。选择的决策参数分别为：x₁表示氨的补偿温度，x₂表示氨的流量，x₃表示天然气氨气流量比，x₄表示空气氨气流量比，x₅表示氨的补偿压力，x₆表示天然气的补偿压力，x₇表示空气的补偿压力，x₈表示气泡压力，x₉表示大混合器出口温度。由于噪声不确定，不能对噪声进行有效测量，但是对决策参数的测量中，不可避免的受到噪声影响，存在观测噪声，可以通过对输入输出数据的有效处理，得到准确的观测噪声统计值，以建立精确Kalman神经网络模型。

实验数据为HCN生产的3469组实时数据。对数据进行预处理，包括粗大误差剔除，3σ准则处理，五点三次平滑法处理，归一化处理。得到经过数据预处理的有效实验数据2000组如表1所示。

表1HCN工艺参数

2.Gamma Test噪声统计值的氢氰酸工业生产过程观测噪声方差计算

2.1假定数据[X′′_MI,Y′′]之间的关系如下：Y′′=f(x₁′′,…,x′′_M)+r式中，f表示光滑函数，r表示噪音变量。

2.2采用kd-tree算法分别对I个样本点X′′_MI进行最近邻点的计算。

2.3确定最近邻点数P=10，依次选择出I个样本点第K(1≤K≤P)近邻点。其中，第i(1≤i≤I)个样本点的第K近邻点为X′′′_[i,K](1≤i≤N)。

2.4得到第i个样本点在输出空间上相应的第K近邻点记为

Y′′′_[i,K](1≤i≤I)。

2.5计算所有I个样本点的第K近邻点的最小均方距离

$\mathrm{\δ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|x_{[i,K]}-x_i|}^2(1\≤K\≤P).$

2.6计算在输出空间所有样本点的第K近近邻点相应的最小均方距离 $\mathrm{\γ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|y_{[i,K]}-y_i|}^2(1\≤K\≤P).$

2.7对按上式所求得的所有P个数据点(δ(K),γ(K))(1≤K≤P)按γ=Aδ+Γ进行一次线性回归计算噪声方差值，所得一次线性函数的截距，即为伽马统计值Γ，也即***的噪声方差值；也即得到第I个样本点对应***噪声方差值，表示为R_I。

2.8再判断I是否小于T，小于T，则I=I+1，对1.4所述的数据[X′′_MT,Y′′](T≤H)重复2.1-2.7的操作，直到I等于T，可得到样本[X′′_MT,Y′′](T≤H)对应的噪声方差值矩阵R={R₁,...R_I,...,R_T}；如图1所示。

3.基于Gamma Test噪声估计的改进kalman滤波神经网络氢氰酸工业生产过程模型确定

采用3层神经网络，隐含层传递函数为Sigmoid函数，输出层传递函数为Purelin函数，用试凑法确定隐含层神经元数为10。得到由神经网络权值、阈值共111个状态组成的滤波方程如下所式。

$\left\{\begin{array}{c}X(k+1)=X\left(k\right)\\ y\left(k\right)=\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\frac{x_i^2}{1+\exp [\underset{j=1}{\overset{9}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}{x}_j+X_{1i}]}\text{+}{X}_2\end{array}\right.$

式中，X=[X_ij,X_i,X_1j,X₂]，X_ij为第j个输入变量和i隐含层神经元之间的权值，X_1j为i个隐含层神经元的阈值，X_i为第i个隐含层神经元和输出神经元之间的权值，X₂为输出神经元的阈值；x_j为输入变量。

Kalman神经网络具有很好的数字稳定性，本发明在0到1之间的相同随机初始值条件下进行研究（初始状态值、初始协方差矩阵），同时，采用基于Gamma Test噪声估计的改进Kalman神经网络对HCN进行建模，得到基于Gamma Test噪声估计的改进EKFNN和UKFNN建模效果分别如图2和图3所示。

从以上实验结果（图2，图3）基于Gamma Test噪声估计的改进EKFNN和UKFNN建模效果可以看出，本发明方法有效克服了常规方法建模时存在的模型发散问题，得到了精确有效的模型。采用本发明Gamma Test噪声估计的改进Kalman神经网络方法对噪声不确定***进行建模，采用Gamma Test对输入输出数据进行计算得到***的实际观测噪声方差，保证了观测噪声方差和实际***观测噪声方差的一致，有效的解决了常规Kalman神经网络方法建模时的发散问题。

Claims (1)

1.一种噪声不确定复杂非线性动态***的建模方法，其特征在于按如下步骤进行：

步骤1：对工业生产过程进行数据采集，所得数据为[X_MN,Y],其中：M为输入变量数，N为采集数据样本数，Y为工业过程目标输出参数；对工业生产过程数据进行预处理，得到受噪声影响最小，最能反映出生产过程实际特性的有效数据：

1.1：进行粗大误差数据剔除，粗大误差数据剔除后，[X_MN,Y]减少为[X_MH,Y_H](H≤N)；

若X中某输入变量的取值比其附近其他样本点的值较大(小)，出现明显的波动，则剔除该数据样本点，数据减少为[X_MH,Y_H](H≤N)；

1.2：进行3σ准则处理，3σ准则处理后，[X_MH,Y_H](H≤N)减少为[X_MT,Y_T](T≤H)；

1.3：进行五点三次平滑处理，利用最小二乘法原理对数据[X_MT,Y_T](T≤H)进行三次最小二乘多项式平滑，五点三次平滑处理后，得到[X′_MT,Y′_T](T≤H)；

1.4进行数据归一化处理，得到新数据为

具体归一化处理方法如下：

$x_i^{\′\′}=0.002+\frac{0.95\∝(x_i^{\′}-x_{\min }^{\′})}{x_{\max }^{\′}-x_{\min }^{\′}},y_i^{\′\′}=0.05+\frac{0.9\×(y_i^{\′}-y_{\min }^{\′})}{y_{\max }^{\′}-y_{\min }^{\′}}$

其中：x′_i：归一化前的输入变量；y′_i：归一化前的目标值；x″_i：归一化后的输入变量；y″_i：归一化后的目标值；x′_min、x′_max：归一化前输入变量的最小值和最大值；y′_min、y′_max：归一化前目标值的最小值和最大值；

步骤2：采用Gamma Test对已知输入输出数据进行噪声统计值的计算，得到***噪声的精确信息，其中第I(1≤I≤T)个样本点对应的***噪声方差计算过程如下：

2.1假定数据集[X″_MI,Y″_I]之间的关系如下：Y″＝f(x″₁,Λ,x″_M)+r，式中，f表示光滑函数，r表示噪音变量，X″_MI表示X″_MT中的前I个样本点组成的数据集；

2.2采用kd-tree算法分别对所有的I个样本点X″_MI进行最近邻点的计算；

2.3确定用于噪声方差值确定的最近邻点数P，依次选择出I个样本点第K(1≤K≤P)近邻点，其中，第i(1≤i≤I)个样本点的第K近邻点记为X″′_[i,K](1≤i≤I)；

2.4得到第i个样本点在输出空间上相应的第K近邻点记为

Y″′_[i,K](1≤i≤I)；

2.5计算所有I个样本点的第K近邻点的最小均方距离

$\mathrm{\δ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|X_{[i,K]}^{\′\′\′}-X_i|}^2(1\≤K\≤P);$

2.6计算在输出空间所有样本点的第K近邻点相应的最小均方距

离 $\mathrm{\γ}\left(K\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|Y_{[i,K]}^{\′\′\′}-Y_i|}^2(1\≤K\≤P);$

2.7对按上式所求得的所有P个数据点(δ(K),γ(K))(1≤K≤P)按γ＝Aδ+Γ进行一次线性回归计算噪声方差值，所得一次线性函数的截距，即为伽马统计值Γ，也即***的噪声方差值；也即得到第I个样本点对应***噪声方差值，表示为R_I；

2.8再判断I是否小于T，小于T，则I＝I+1，对1.4所述的数据重复2.1-2.7的操作，直到I等于T，可得到样本[X″_MT,Y″](T≤H)对应的噪声方差值矩阵R＝{R₁,...R_I,...,R_T}；

步骤3：基于kalman滤波的神经网络对噪声不确定***的精确建模；

通过kalman滤波对神经网络权值、阈值进行估计，将神经网络权值、阈值作为kalman滤波的状态变量，神经网络的输出作为kalman滤波的测量变量，从而得到***的精确模型；

kalman滤波为3层神经网络，其中：隐含层传递函数为S型函数，输出层传递函数为Purelin函数，该3层神经网络函数表达式如下：

$y=h(w_k,x_k)=F^2(w_k^2,F^1(w_k^1,x_k))=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\frac{w_i^2}{1+e[\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_i+b_{1i}]}+b_q$

其中：q为隐含层神经元数目；M为输入层神经元数目，采用试凑法公式来确定神经网络隐含层神经元数目，K为1～10之间的常数，通过训练模型效果比较，选择最佳的q值作为神经网络隐含层神经元数目；

在***的精确噪声方差值矩阵R的基础上，可以采用基于扩展kalman滤波神经网络以及基于无迹kalman滤波神经网络进行精确建模。