CN101118610A - 稀疏数据过程建模方法 - Google Patents

Abstract

本发明涉及应用过程神经网络模型建立稀疏数据过程预测模型的方法。在对稀疏的样本数据进行预处理的基础上，应用基于离散Walsh变换的学习算法，提高过程神经网络的学习效率和建模精度。为使建立的过程预测模型能够及时修正预测偏差，根据稀疏数据过程的特点，采用了数据采样周期间网络滚动学习的方法，通过最新的采样数据及时对预测网络模型进行在线修正，从而进一步提高了预测模型的准确性。本发明为解决一类稀疏数据过程的建模问题提供了一条有效的途径。

Description

稀疏数据过程建模方法

(一)技术领域

本发明涉及一种应用智能信息处理技术的过程建模方法，特别是一种稀疏数据过程的建模方法。

(二)背景技术

在许多工业过程中，由于受到现场条件，工艺过程和检测设备等因素的影响，采集样本数据的时间间隔较长，数据量有限，造成了样本数据的稀疏。因此，如何根据稀疏数据过程的特点建立过程的预测模型，并通过预测模型产生较为连续的密集预报数据，从而有利于过程控制是一个重要的研究课题。

目前在***建模方面，以神经网络为代表的辨识建模方法发展迅速。但是目前用于***建模的神经网络大多是前馈网络，其特点是网络输入均为与时间无关的常量，主要解决数据空间上的映射问题，这对于密集采样数据过程的建模非常有效。但是对于稀疏数据过程，为了充分利用有限数据所包含的信息，仅仅考虑数据的空间聚合效应是不够的，还要充分考虑数据的时间累计效应，因为工业过程中的数据往往是与时间有关的。因此同时利用稀疏数据的空间与时间效应，产生密集的过程预报数据，及时修正网络模型的预报误差，以利于过程的监测与优化控制，是传统的神经网络建模方法难以解决的问题。

(三)发明内容

本发明的目的在于针对现有技术的不足，提供一种基于过程神经网络的建模方法，以解决稀疏数据过程的建模问题，为稀疏数据过程的建模提供一条有效的途径。

本发明是通过以下技术方案实现的：数据预处理，数据扩充，过程神经网络建模与在线滚动学***滑采样数据中因干扰而产生的伪数据；然后对处理后的数据进行扩充，产生所需时间间隔的较为密集的数据用于网络模型训练，目的是使网络预测模型能够输出所需要的时间点上的数据，弥补因检测困难而导致实际采样数据稀少、难以对过程进行有效监测与控制的问题；应用过程神经元建立过程的神经网络模型，过程神经元的输入和权值是随时间变化的函数或过程，其聚合运算既有对空间的多输入聚合，也有对时间过程的累积聚合，可以充分利用稀疏数据所包含的空间与时间信息；应用经过处理后的离线数据对过程神经网络模型离线训练后，将网络模型投入实际预测过程，在采样时刻间隙，当检测到预测值不正确时，则立即对已有的实际数据进行处理，采用处理后的数据在线训练网络，使网络在训练过程中学到新的信息。由于稀疏数据过程采样周期长，有些甚至是离线检测数据，因此上述采样时刻间隙滚动学习的方法是可行的。

以下对本发明内容作进一步的说明，具体内容如下：

1、数据预处理

假设有n组现场采样数据，每组的采样数为m，不同组采样数据同一时刻的平均值方差为σ，如果对应同一时刻各组的采样值都在

之间，表示该组数据中并不存在伪数据。若某个采样值x_nm不在

之间时，则当 $x_{\mathrm{nm}}<\stackrel{\&OverBar;}{x}-\mathrm{\&sigma;}$ 时，取 $x_{\mathrm{nm}}=\stackrel{\&OverBar;}{x}-\mathrm{\&sigma;};$ 当 $x_{\mathrm{nm}}>\stackrel{\&OverBar;}{x}+\mathrm{\&sigma;}$ 时，取 $x_{\mathrm{nm}}=\stackrel{\&OverBar;}{x}+\mathrm{\&sigma;}.$

对采样数据平滑后，对样本数据进行归一化处理。考虑到神经网络每层的激励函数都选用Sigmoid函数，因此将网络的输入输出数据限制在[0，1]区间内，应用式(1)的变换，将网络的输入输出变量近似为正态标准分布。

$\tilde{x}=\mathrm{\&rho;}\frac{x-x_{\min }}{x_{\max }-x_{\min }}+0.1---\left(1\right)$

式中：x为经过伪数据处理的采样数据；

为经过归一化处理后的数据；x_min为神经网络输入或输出量的最小值；x_max为神经网络输入或输出量的最大值，ρ为比例系数，一般取ρ＝0.1～0.9。

2、数据扩充

采用递推式邻均值生成法进行数据扩充，即利用两端的数据首先产生中间的扩充数据，再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法。即将原始数列[X]＝[X(1)，X(2)，…，X(n)]扩充为数列[X(1)，Φ₁(k₁)，…，Φ₁(k_i)，…，Φ₁(k_m)，X(2)，Φ₂(k₁)，…，Φ₂(k_i)，Φ₂(k_m)，…，X(n)]，其中Φ_j(k_i)，(i＝1，2，…m，j＝1，2，…，n-1)为扩充的数据。

取Φ_i(k₀)＝X(j)，Φ_j(k_m+1)＝X(j+1)，则

${\mathrm{\&Phi;}}_j\left(k_i\right)=0.5{\mathrm{\&Phi;}}_j\left(k_{i_{\min }}\right)+0.5{\mathrm{\&Phi;}}_j\left(k_{i_{\max }}\right)---\left(2\right)$

式中， $i=\mathrm{INT}\left(\frac{i_{\min }+i_{\max }}{2}\right),$ i_min为扩充数列的左端已知数据序列号，i_max为扩充数列的右端已知数据序列号。重复应用公式(2)，即可得到所需的扩充数据序列Φ_j(k_i)。

3、过程神经元网络建模

过程神经元由加权，聚合和激励三部分组成，结构图如图1所示。图中，x₁(t)，x₂(t)，…，x_n(t)为过程神经元输入函数；w₁(t)，w₂(t)，…，w_n(t)为相应的权函数；K(t)为过程神经元的时间聚合基函数；f(·)为激励函数，可取线性函数、Sigmoid函数、Gauss型函数等。过程神经元的输入与输出之间的关系为

Y＝f((W(t)X(t))K(·)-θ)    (3)

这里θ为过程神经元输出阈值，y为过程神经元的输出值，表示某种空间聚合运算，表示某种时间(过程)聚合运算。这里取空间聚合运算为加权和，时间聚合运算为积分。

以过程神经元为基础，构造一种4层结构的过程神经元网络模型如图2所示，拓扑结构为n-m-K-1，即网络输入层有n个节点、过程神经元隐层有m个节点、非时变一般神经元隐层有K个节点，输出层有1个节点。过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算，非时变一般神经元隐层用于提高网络对***输入输出之间复杂关系的影射能力。

由图2可知，过程神经网络输入输出之间的关系为

$y=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f\left({\&Integral;}_0^T\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}\left(t\right)x_i\left(t\right)\right)\mathrm{dt}-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})---\left(4\right)$

图中模型的输入为X(t)＝(x₁(t)，x₂(t)，…，x_n(t))，模型输出为y，[0，T]为时间采样区间，w_ij(t)为输入层与第1隐层的连接权函数，v_jk为第1隐层与第2隐层的连接权值，μ_k为第2隐层到输出层的连接权值，θ_j ⁽¹⁾为第1隐层第j个过程神经元的输出阈值，θ_k ⁽²⁾为第2隐层第k个过程神经元的输出阈值，f为第1隐层的激励函数，g为第2隐层的激励函数。取各层的激励函数均为Sigmoid函数，即

$f\left(u\right)=g\left(u\right)=\frac{1}{1+e^{-u}}---\left(5\right)$

将随时间变化的离散采样数据进行Walsh变换，使之直接作为神经网络的输入，减少中间的拟合过程，消除拟合误差，其变换过程如下：

给定Q个序列长度为2^p的学***滑插值得到)：(x_q1(t_l)，x_q2(t_l)，…，x_qn(t_l)，d_q)，其中q＝1，2，…，Q，l＝0，1，…，N-1，N＝2^p，p是满足插值精度要求的自然数，d_i为期望输出。对学习样本实施Walsh变换，得(wal(x_q1(t_l))，wal(x_q2(t_l))，…，wal(x_qn(t_l))，d_q)。

离散数据经过Walsh变换作为网络的输入，于是网络的输入输出关系为

$y_q=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)\mathrm{wal}\left(x_{\mathrm{qi}}\left(t_l\right)\right)-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})---\left(6\right)$

其中 $\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)=\underset{l=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}^{\left(l\right)}\mathrm{wal}(l,\frac{s}{N}),s=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N$

网络的误差函数为

$E=\underset{q=1}{\overset{Q}{\mathrm{\&Sigma;}}}{(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)\mathrm{wal}\left(x_{\mathrm{qi}}\left(t_l\right)\right)-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})-d_q)}^2---\left(7\right)$

过程神经网络作用过程如图3所示。对上述过程神经网络模型应用误差反向传播的BP算法进行离线训练，得到预期的网络逼近精度。学习算法如下式所示：

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_k={\mathrm{\&mu;}}_k+\mathrm{\&alpha;}(-\&PartialD;E/\&PartialD;{\mathrm{\&mu;}}_k)\\ v_{\mathrm{jk}}=v_{\mathrm{jk}}+\mathrm{\&beta;}(-\&PartialD;E/\&PartialD;v_{\mathrm{jk}})\\ w_{\mathrm{ij}}^{\left(l\right)}=w_{\mathrm{ij}}^{\left(l\right)}+\mathrm{\&gamma;}(-\&PartialD;E/\&PartialD;w_{\mathrm{ij}}^{\left(l\right)})\\ {\mathrm{\&theta;}}_j={\mathrm{\&theta;}}_j+\mathrm{\&eta;}(-\&PartialD;E/\&PartialD;{\mathrm{\&theta;}}_j)\\ {\mathrm{\&theta;}}_k={\mathrm{\&theta;}}_k+\mathrm{\&lambda;}(-\&PartialD;E/\&PartialD;{\mathrm{\&theta;}}_k)\end{array}\right.---\left(8\right)$

其中α，β，γ，η，λ为网络学习速率。

4、在线滚动学习

在第k个采样时刻，将预测值与采样值相比较，若误差超过精度要求，则对已采集数据进行处理后在线进行网络学习，否则保持网络模型的输出；在k+1时刻，重复上述检测与学习过程。这种“学习-预测-学习”的滚动流程如图4所示

本发明充分利用稀疏数据过程的特点，利用过程神经元并结合数据处理技术进行工业过程中一类稀疏数据过程的建模工作，有效解决了工业过程中因检测困难而导致过程采样数据稀少，从而使过程的监测与优化控制难以有效实施的问题，为稀疏数据过程的建模提供了一条有效的途径，并为该类工业过程实施优化控制奠定了基础。

(四)附图说明

图1为过程神经元结构示意图。

图2为双隐层过程神经网络结构示意图。

图3为神经网络作用过程示意图。

图4为网络模型滚动学习示意图。

(五)具体实施方式

为更好理解本发明的技术方案，以下以味精发酵过程为实施例，对其进行菌体浓度预测模型的建模。

味精发酵过程是一个复杂的生化反应过程，由于受到现场条件、工艺过程、检测设备等因素的影响，通常每隔3个小时才能得到一次菌体浓度的样本数据，属于稀疏数据过程。在此发酵过程中，根据实际数据和现场工程师的经验，确定进风量与菌体浓度有一定关系。因此，当前进风量和当前的菌体浓度作为网络的两个输入节点，预测菌体浓度为输出节点。建立味精发酵过程菌体浓度的预测模型的具体步骤如下：

1、数据预处理

表1为部分菌体浓度与进风量的现场数据，菌体浓度为稀疏数据，每间隔3个小时得到一组样本数据，而通风量为连续密集数据。

表1部分现场数据

时间/小时	1组		2组		3组
							进风量/立米/分	菌体数/OD	进风量/立米/分	菌体数/OD	进风量/立米/分	菌体数/OD
	0.0	15	0.10	15	0.08	15							0.075
0.5							15		15		15
	1.0	15		15		15
1.5							20		15		15
	2.0	20		15		15
2.5							25		20		25
	3.0	25	0.30	20	0.25	25							0.30
3.5							30		25		30
	4.0	30		25		30

4.5	40		30		40
							5.0	40		30		40
5.5	45		40		45
							6.0	45	0.72	40	0.62	45	0.67
6.5	45		45		45
							7.0	45		45		45
7.5	45		45		45
							8.0	45		45		45
8.5	45		45		45
							9.0	45	0.86	45	0.85	45	0.87
9.5	45		45		45
							10.0	45		45		45
10.5	45		45		45
							11.0	45		45		45
11.5	45		45		45
							12.0	45	0.97	45	0.94	45	0.96
12.5	45		45		45
							13.0	45		45		45
13.5	45		45		45
							14.0	45		45		45
14.5	45		45		45
							15.0	45	1.00	45	0.85	45	1.0
15.5	45		45		45
							16.0	45		45		45
16.5	40		45		45
							17.0	40		45		45
17.5	40		40		45
							18.0	40	1.05	40	1.02	40	1.02
18.5	40		40		40
							19.0	40		40		40

19.5	40		40		40
							20.0	40		40		40
20.5	40		40		40
							21.0	40	1.04	40	1.04	40	1.02
21.5	40		40		40
							22.0	40		40		40
22.5	40		35		40
							23.0	40		35		40
23.5	40		35		40
							24.0	35	1.02	35	1.05	40	1.00
24.5	35		35		40
							25.0	35		35		40
25.5	35		35		40
							26.0	35		35		40
26.5	35		35		40
							27.0	35	1.00	35	1.01	40	1.00
27.5	35		35		35
							28.0	35		35		35
28.5	35		35		35
							29.0	35		35		35
29.5	35		35		35
							30.0	35	0.98	35	1.00	35	1.00

考虑第3组中第15小时的菌体浓度数据，该时刻3组采样数据的均值为：

$\stackrel{\&OverBar;}{x}=\frac{1}{3}(1.0+0.85+1.0)=0.95$

方差为： $\mathrm{\&sigma;}=\frac{1}{3}{[{(1.0-0.95)}^2+{(0.85-0.95)}^2+{(1.0-0.95)}^2]}^{1/2}=0.041$

因此该时刻的采样数据应位于区间 $(\stackrel{\&OverBar;}{x}-\mathrm{\&sigma;},\stackrel{\&OverBar;}{x}+\mathrm{\&sigma;})=\left(\mathrm{0.909,0.991}\right)$ 之中。据此可知第2组第15小时的菌体浓度数据为伪数据，取为区间的下限，即用0.909代替该时刻的0.85数值。

通过现场数据分析，菌体浓度最小值为x_1min＝0.07，最大值为x_1max＝1.10；进风量最小值为x_2min＝15，最大值为x_2max＝50，据此对表1数据应用公式(1)进行归一化处理，式中比例系数取为ρ＝0.8。经过归一化处理后的数据见表2。

2、数据扩充

对稀疏的菌体浓度样本数据进行扩充，采用递推式邻均值生成法，根据0.5小时时间间隔得到扩充后的样本数据如表2中所示。

表2 归一化处理及扩充后的样本数据

时间/小时	1组		2组		3组
							进风量/立米/分	菌体数/OD	进风量/立米/分	菌体数/OD	进风量/立米/分	菌体数/OD
	0.0	0.100	0.1233	0.100	0.1078	0.100							0.1039
0.5							0.100	0.1614	0.100	0.1408	0.100	0.1476
	1.0	0.100	0.1809	0.100	0.1573	0.100							0.1694
1.5							0.214	0.2005	0.100	0.1738	0.100	0.1913
	2.0	0.214	0.2395	0.100	0.2068	0.100							0.2349
2.5							0.329	0.2591	0.214	0.2233	0.329	0.2568
	3.0	0.329	0.2786	0.214	0.2398	0.329							0.2786
3.5							0.443	0.3602	0.329	0.3116	0.443	0.3505
	4.0	0.443	0.4010	0.329	0.3476	0.443							0.3864
4.5							0.671	0.4417	0.443	0.3835	0.671	0.4223
	5.0	0.671	0.5233	0.443	0.4554	0.671							0.4941
5.5							0.786	0.5641	0.671	0.4913	0.786	0.5301
	6.0	0.786	0.6049	0.671	0.5272	0.786							0.5660
6.5							0.786	0.6321	0.786	0.5718	0.786	0.6048
	7.0	0.786	0.6457	0.786	0.5942	0.786							0.6243
7.5							0.786	0.6593	0.786	0.6165	0.786	0.6437
	8.0	0.786	0.6864	0.786	0.6612	0.786							0.6825
8.5							0.786	0.7000	0.786	0.6835	0.786	0.7020

9.0	0.786	0.7136	0.786	0.7058	0.786	0.7214
							9.5	0.786	0.7349	0.786	0.7233	0.786	0.7389
10.0	0.786	0.7456	0.786	0.7320	0.786	0.7476
							10.5	0.786	0.7563	0.786	0.7408	0.786	0.7564
11.0	0.786	0.7776	0.786	0.7582	0.786	0.7738
							11.5	0.786	0.7883	0.786	0.7670	0.786	0.7826
12.0	0.786	0.7990	0.786	0.7757	0.786	0.7913
							12.5	0.786	0.8048	0.786	0.7697	0.786	0.7991
13.0	0.786	0.8077	0.786	0.7667	0.786	0.8029
							13.5	0.786	0.8107	0.786	0.7636	0.786	0.8068
14.0	0.786	0.8165	0.786	0.7577	0.786	0.8146
							14.5	0.786	0.8194	0.786	0.7547	0.786	0.8184
15.0	0.786	0.8223	0.786	0.7517	0.786	0.8223
							15.5	0.786	0.8320	0.786	0.7732	0.786	0.8262
16.0	0.786	0.8369	0.786	0.7839	0.786	0.8281
							16.5	0.671	0.8418	0.786	0.7947	0.786	0.8300
17.0	0.671	0.8515	0.786	0.8162	0.786	0.8338
							17.5	0.671	0.8563	0.671	0.8270	0.786	0.8358
18.0	0.671	0.8612	0.671	0.8377	0.671	0.8377
							18.5	0.671	0.8592	0.671	0.8416	0.671	0.8377
19.0	0.671	0.8583	0.671	0.8436	0.671	0.8377
							19.5	0.671	0.8573	0.671	0.8456	0.671	0.8377
20.0	0.671	0.8554	0.671	0.8495	0.671	0.8377
							20.5	0.671	0.8544	0.671	0.8514	0.671	0.8377
21.0	0.671	0.8534	0.671	0.8534	0.671	0.8377
							21.5	0.671	0.8495	0.671	0.8554	0.671	0.8338
22.0	0.671	0.8475	0.671	0.8563	0.671	0.8319
							22.5	0.671	0.8456	0.557	0.8573	0.671	0.8300
23.0	0.671	0.8416	0.557	0.8592	0.671	0.8262
							23.5	0.671	0.8397	0.557	0.8602	0.671	0.8242

24.0	0.557	0.8377	0.557	0.8612	0.671	0.8223
							24.5	0.557	0.8338	0.557	0.8534	0.671	0.8223
25.0	0.557	0.8319	0.557	0.8495	0.671	0.8223
							25.5	0.557	0.8300	0.557	0.8457	0.671	0.8223
26.0	0.557	0.8262	0.557	0.8379	0.671	0.8223
							26.5	0.557	0.8242	0.557	0.8340	0.671	0.8223
27.0	0.557	0.8223	0.557	0.8301	0.671	0.8223
							27.5	0.557	0.8184	0.557	0.8281	0.557	0.8223
28.0	0.557	0.8165	0.557	0.8272	0.557	0.8223
							28.5	0.557	0.8146	0.557	0.8262	0.557	0.8223
29.0	0.557	0.8107	0.557	0.8243	0.557.	0.8223
							29.5	0.557	0.8087	0.557	0.8233	0.557	0.8223
30.0	0.557	0.8068	0.557	0.8223	0.557	0.8223

3、过程神经元网络建模

网络的拓扑结构选为2-20-9-1，即2个输入节点，20个过程神经元隐层节点，9个非时变一般神经元隐层节点，1个菌体浓度输出节点。取输入函数的离散Walsh基函数和用于权函数基展开的离散Walsh基函数的个数均为64。将表2菌体浓度和进风量输入到过程神经网络进行训练，学习速率α＝0.65，β＝0.8，γ＝0.7，η＝0.8，λ＝0.71，误差精度取0.01，网络经过1000次训练后收敛，该过程神经网络作为菌体浓度预测模型。

4、在线滚动学习

将上述离线训练好的过程神经网络预测模型投入在线运行，输出时间间隔为0.5小时的菌体浓度预测数据。在采样点3、6、9、12、15、18、21、24、27、30小时上，将模型预测值与采样值进行比较，若误差精度大于1％，则立即对已采集数据进行处理，然后在线进行网络学习；否则保持网络模型的输出。应用此种“学习-预测-学习”模式的一组预测数据如表3所示(表中只给出了采样点上的数据)。为增加对比性，表3给出了非滚动学习模式的模型预测数据，可以看出，采用滚动学习方法预测的输出值精度要高于非滚动学习方法预测输出值的精度。

表3 菌体浓度在线预测数据

时间/小时	实际输出值/OD	非滚动学习模式		滚动学习模式
						预测输出值/OD	相对误差/％	预测输出值/OD	相对误差/％
		0	0.11
3	0.37					0.3609	2.46	0.3609	2.46
		6	0.78	0.7501	3.83					0.7665	1.73
9	0.91					0.8792	3.38	0.8954	1.61
		12	1.00	0.9656	3.44					0.9903	0.97
15	1.05					1.0232	2.55	1.0425	0.71
		18	1.06	1.0215	3.63					1.0487	1.07
21	1.06					1.0147	4.27	1.0507	0.88
		24	1.05	1.0126	3.56					1.0404	0.91
27	1.03					1.0011	2.81	1.0213	0.85
		30	1.01	0.9702	3.76					0.9993	1.05

Claims (5)

1.一种稀疏数据过程的建模方法，包括数据预处理、过程神经网络建模和在线滚动学习三个步骤，其特征在于：

所述的数据处理包括伪数据的修正和稀疏数据的填充；伪数据的修正是对采样数据中存在的伪数据进行平滑修正、处理，并对平滑后的数据进行归一化处理；稀疏数据的填充是对稀疏数据进行扩充，弥补已知时刻的未知数据，得到适当时间间隔的密集数据；

所述的过程神经网络建模是应用过程神经元组成双隐层过程神经网络模型，应用预处理数据训练神经网络模型，得到符合精度要求的过程神经网络模型；过程神经元由加权，聚合和激励三部分组成；输入和权值是随时间变化的函数；网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成，采用基于离散Walsh变换的方法对网络进行学习训练；

x₁(t)，x₂(t)，…，x_n(t)为过程神经元输入函数；w₁(t)，w₂(t)，…，w_n(t)为相应的权函数；K(t)为过程神经元的时间聚合基函数；f(·)为激励函数，可取线性函数、或Sigmoid函数、或Gauss型函数等；过程神经元的输入与输出之间的关系为：

Y＝f((W(t)X(t))K(·)-θ)               (1)

这里θ为过程神经元输出阈值，y为过程神经元的输出值，表示某种空间聚合运算，表示某种时间(过程)聚合运算；这里取空间聚合运算为加权和，时间聚合运算为积分；

以过程神经元为基础，构造一种四层结构的过程神经元网络模型，拓扑结构为n-m-K-1，网络输入层有n个节点，过程神经元隐层有m个节点，非时变一般神经元隐层有K个节点，输出层有1个节点；过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算，非时变一般神经元隐层用于提高网络对***输入输出之间复杂关系的影射能力；

过程神经网络输入输出之间的关系为：

$y=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f\left({\&Integral;}_0^T\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}\left(t\right)x_i\left(t\right)\right)\mathrm{dt}-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})---\left(2\right)$

模型的输入为X(t)＝(x₁(t)，x₂(t)，…，x_n(t))，模型输出为y，[0，T]为时间采样区间，w_ij(t)为输入层与第1隐层的连接权函数，v_jk为第1隐层与第2隐层的连接权值，μ_k为第2隐层到输出层的连接权值，θ_j ⁽¹⁾为第1隐层第j个过程神经元的输出阈值，θ_k ⁽²⁾为第2隐层第k个过程神经元的输出阈值，f为第1隐层的激励函数，g为第2隐层的激励函数；取各层的激励函数均为Sigmoid函数，即

$f\left(u\right)=g\left(u\right)=\frac{1}{1+e^{-u}}---\left(3\right)$

将随时间变化的离散采样数据进行Walsh变换，使之直接作为神经网络的输入，减少中间的拟合过程，消除拟合误差，则变换过程为：

给定Q个序列长度为2^p的学***滑插值得到：(x_q1(t_l)，x_q2(t_l)，…，x_qn(t_l)，d_q)，其中  q＝1，2，…，Q，l＝0，1，…，N-1，N＝2^p，p是满足插值精度要求的自然数，d_i为期望输出；对学习样本实施Walsh变换，得(wal(x_q1(t_l))，wal(x_q2(t_l))，…，wal(x_qn(t_l))，d_q)；

离散数据经过Walsh变换作为网络的输入，于是网络的输入输出关系为

$y_q=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)\mathrm{wal}\left(x_{\mathrm{qi}}\left(t_l\right)\right)-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})---\left(4\right)$

其中 $\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)=\underset{l=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}^{\left(l\right)}\mathrm{wal}(l,\frac{s}{N}),$ s＝1，2，…，N

网络的误差函数为

$E=\underset{q=1}{\overset{Q}{\mathrm{\&Sigma;}}}{(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{k}g(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{\mathrm{jk}}f(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{wal}\left(w_{\mathrm{ij}}\left(t_l\right)\right)\mathrm{wal}\left(x_{\mathrm{qi}}\left(t_l\right)\right)-{\mathrm{\&theta;}}_j^{\left(1\right)})-{\mathrm{\&theta;}}_k^{\left(2\right)})-d_q)}^2---\left(5\right)$

上述过程神经网络模型应用误差反向传播的BP算法进行离线训练，得到预期的网络逼近精度。学习算法如下式：

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_k={\mathrm{\&mu;}}_k+\mathrm{\&alpha;}(-\&PartialD;E/\&PartialD;{\mathrm{\&mu;}}_k)\\ v_{\mathrm{jk}}=v_{\mathrm{jk}}+\mathrm{\&beta;}(-\&PartialD;E/{\&PartialD;v}_{\mathrm{jk}})\\ w_{\mathrm{ij}}^{\left(l\right)}=w_{\mathrm{ij}}^{\left(l\right)}+\mathrm{\&gamma;}(-\&PartialD;E/{\&PartialD;w}_{\mathrm{ij}}^{\left(l\right)})\\ {\mathrm{\&theta;}}_j={\mathrm{\&theta;}}_j+\mathrm{\&eta;}(-\&PartialD;E/{\&PartialD;\mathrm{\&theta;}}_j)\\ {\mathrm{\&theta;}}_k={\mathrm{\&theta;}}_k+\mathrm{\&lambda;}(-\&PartialD;E/{\&PartialD;\mathrm{\&theta;}}_k)\end{array}\right.---\left(6\right)$

其中α，β，γ，η，λ为网络学习速率；

所述的在线滚动学习是在采样时刻间隙，当检测到预测值不正确时，则对已有的实际数据进行处理，采用处理后的数据重新训练网络，使网络在训练过程中学到新的信息；在第k个采样时刻，将预测值与采样值相比较，若误差超过精度要求，则对已采集数据进行处理后在线进行网络学习，否则保持网络模型的输出；在k+1时刻，重复上述检测与学习过程。

2.根据权利1所述的稀疏数据过程建模方法，其特征在于：上述伪数据的修正：设有n组采样数据，每组的采样数为m，不同组采样数据同一时刻的平均值为

方差为σ，如果对应同一时刻各组的采样值都在

之间，表示该组数据中并不存在伪数据；若某个采样值x_nm不在

之间时，则当 $x_{\mathrm{nm}}<\stackrel{\&OverBar;}{x}-\mathrm{\&sigma;}$ 时，取 $x_{\mathrm{nm}}=\stackrel{\&OverBar;}{x}-\mathrm{\&sigma;};$ 当 $x_{\mathrm{nm}}>\stackrel{\&OverBar;}{x}+\mathrm{\&sigma;}$ 时，取 $x_{\mathrm{nm}}=\stackrel{\&OverBar;}{x}+\mathrm{\&sigma;};$

得到适合于神经网络模型训练与学习用的数据；

将采样数据平滑并对样本数据进行归一化处理；将网络的输入输出数据限制在[0，1]区间内，应用公式

$\tilde{x}=\mathrm{\&rho;}\frac{x-x_{\min }}{x_{\max }-x_{\min }}+0.1---\left(7\right)$

将网络的输入输出变量近似为正态标准分布；

式中：x为经过伪数据处理的采样数据；

为经过归一化处理后的数据；x_min为神经网络输入或输出量的最小值；x_max为神经网络输入或输出量的最大值，ρ为比例系数，一般取ρ＝0.1～0.9。

3.根据权利1所述的稀疏数据过程建模方法，其特征在于：上述的稀疏数据的填充是采用递推式邻均值生成法进行数据扩充，即利用两端的数据首先产生中间的扩充数据，再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法；

即将原始数列[X]＝[X(1)，X(2)，…，X(n)]，

扩充为数列[X(1)，Φ₁(k₁)，…，Φ₁(k_i)，…，Φ₁(k_m)，X(2)，Φ₂(k₁)…，Φ₂(k_i)，…，Φ₂(k_m)，…，X(n)]其中Φ_j(k_i)为扩充的数据，i＝1，2，…m；j＝1，2，…，n-1；

取Φ_j(k₀)＝X(j)，Φ_j(k_m+1)＝X(j+1)，则

${\mathrm{\&Phi;}}_j\left(k_i\right)=0.5{\mathrm{\&Phi;}}_j\left(k_{i_{\min }}\right)+0.5{\mathrm{\&Phi;}}_j\left(k_{i_{\max }}\right)---\left(8\right)$

式中 $i=\mathrm{INT}\left(\frac{i_{\min }+i_{\max }}{2}\right),$ i_min为扩充数列的左端已知数据序列号，i_max为扩充数列的右端己知数据序列号；重复应用公式(8)，即可得到所需的扩充数据序列Φ_j(k_i)。

4.根据权利1所述的稀疏数据过程建模方法，其特征在于：采用过程神经元组成双隐层的过程神经网络模型；过程神经元由加权、聚合和激励3部分组成，输入和权值是随时间变化的函数；网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成，采用基于离散Walsh变换的方法对网络进行学习训练。

5.根据权利1所述的稀疏数据过程建模方法，其特征在于：过程神经网络模型的学习采用离线学习和在线滚动学习相结合的学习方式；应用经过预处理的离线数据进行网络模型的离线学习，达到要求的预测误差精度后将网络预测模型投入在线应用；在第k个采样时刻，将预测值与采样值相比较，若误差超过精度要求，则对已采集数据进行处理后在线进行网络学习，否则保持网络模型的输出；在k+1时刻，重复上述检测与学习过程。

Images