CN101118610A - 稀疏数据过程建模方法 - Google Patents
稀疏数据过程建模方法 Download PDFInfo
- Publication number
- CN101118610A CN101118610A CNA2007100127765A CN200710012776A CN101118610A CN 101118610 A CN101118610 A CN 101118610A CN A2007100127765 A CNA2007100127765 A CN A2007100127765A CN 200710012776 A CN200710012776 A CN 200710012776A CN 101118610 A CN101118610 A CN 101118610A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- learning
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及应用过程神经网络模型建立稀疏数据过程预测模型的方法。在对稀疏的样本数据进行预处理的基础上,应用基于离散Walsh变换的学习算法,提高过程神经网络的学习效率和建模精度。为使建立的过程预测模型能够及时修正预测偏差,根据稀疏数据过程的特点,采用了数据采样周期间网络滚动学习的方法,通过最新的采样数据及时对预测网络模型进行在线修正,从而进一步提高了预测模型的准确性。本发明为解决一类稀疏数据过程的建模问题提供了一条有效的途径。
Description
(一)技术领域
本发明涉及一种应用智能信息处理技术的过程建模方法,特别是一种稀疏数据过程的建模方法。
(二)背景技术
在许多工业过程中,由于受到现场条件,工艺过程和检测设备等因素的影响,采集样本数据的时间间隔较长,数据量有限,造成了样本数据的稀疏。因此,如何根据稀疏数据过程的特点建立过程的预测模型,并通过预测模型产生较为连续的密集预报数据,从而有利于过程控制是一个重要的研究课题。
目前在***建模方面,以神经网络为代表的辨识建模方法发展迅速。但是目前用于***建模的神经网络大多是前馈网络,其特点是网络输入均为与时间无关的常量,主要解决数据空间上的映射问题,这对于密集采样数据过程的建模非常有效。但是对于稀疏数据过程,为了充分利用有限数据所包含的信息,仅仅考虑数据的空间聚合效应是不够的,还要充分考虑数据的时间累计效应,因为工业过程中的数据往往是与时间有关的。因此同时利用稀疏数据的空间与时间效应,产生密集的过程预报数据,及时修正网络模型的预报误差,以利于过程的监测与优化控制,是传统的神经网络建模方法难以解决的问题。
(三)发明内容
本发明的目的在于针对现有技术的不足,提供一种基于过程神经网络的建模方法,以解决稀疏数据过程的建模问题,为稀疏数据过程的建模提供一条有效的途径。
本发明是通过以下技术方案实现的:数据预处理,数据扩充,过程神经网络建模与在线滚动学***滑采样数据中因干扰而产生的伪数据;然后对处理后的数据进行扩充,产生所需时间间隔的较为密集的数据用于网络模型训练,目的是使网络预测模型能够输出所需要的时间点上的数据,弥补因检测困难而导致实际采样数据稀少、难以对过程进行有效监测与控制的问题;应用过程神经元建立过程的神经网络模型,过程神经元的输入和权值是随时间变化的函数或过程,其聚合运算既有对空间的多输入聚合,也有对时间过程的累积聚合,可以充分利用稀疏数据所包含的空间与时间信息;应用经过处理后的离线数据对过程神经网络模型离线训练后,将网络模型投入实际预测过程,在采样时刻间隙,当检测到预测值不正确时,则立即对已有的实际数据进行处理,采用处理后的数据在线训练网络,使网络在训练过程中学到新的信息。由于稀疏数据过程采样周期长,有些甚至是离线检测数据,因此上述采样时刻间隙滚动学习的方法是可行的。
以下对本发明内容作进一步的说明,具体内容如下:
1、数据预处理
假设有n组现场采样数据,每组的采样数为m,不同组采样数据同一时刻的平均值方差为σ,如果对应同一时刻各组的采样值都在之间,表示该组数据中并不存在伪数据。若某个采样值xnm不在之间时,则当 时,取 当 时,取
对采样数据平滑后,对样本数据进行归一化处理。考虑到神经网络每层的激励函数都选用Sigmoid函数,因此将网络的输入输出数据限制在[0,1]区间内,应用式(1)的变换,将网络的输入输出变量近似为正态标准分布。
2、数据扩充
采用递推式邻均值生成法进行数据扩充,即利用两端的数据首先产生中间的扩充数据,再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法。即将原始数列[X]=[X(1),X(2),…,X(n)]扩充为数列[X(1),Φ1(k1),…,Φ1(ki),…,Φ1(km),X(2),Φ2(k1),…,Φ2(ki),Φ2(km),…,X(n)],其中Φj(ki),(i=1,2,…m,j=1,2,…,n-1)为扩充的数据。
取Φi(k0)=X(j),Φj(km+1)=X(j+1),则
式中, imin为扩充数列的左端已知数据序列号,imax为扩充数列的右端已知数据序列号。重复应用公式(2),即可得到所需的扩充数据序列Φj(ki)。
3、过程神经元网络建模
过程神经元由加权,聚合和激励三部分组成,结构图如图1所示。图中,x1(t),x2(t),…,xn(t)为过程神经元输入函数;w1(t),w2(t),…,wn(t)为相应的权函数;K(t)为过程神经元的时间聚合基函数;f(·)为激励函数,可取线性函数、Sigmoid函数、Gauss型函数等。过程神经元的输入与输出之间的关系为
Y=f((W(t)X(t))K(·)-θ) (3)
这里θ为过程神经元输出阈值,y为过程神经元的输出值,表示某种空间聚合运算,表示某种时间(过程)聚合运算。这里取空间聚合运算为加权和,时间聚合运算为积分。
以过程神经元为基础,构造一种4层结构的过程神经元网络模型如图2所示,拓扑结构为n-m-K-1,即网络输入层有n个节点、过程神经元隐层有m个节点、非时变一般神经元隐层有K个节点,输出层有1个节点。过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算,非时变一般神经元隐层用于提高网络对***输入输出之间复杂关系的影射能力。
由图2可知,过程神经网络输入输出之间的关系为
图中模型的输入为X(t)=(x1(t),x2(t),…,xn(t)),模型输出为y,[0,T]为时间采样区间,wij(t)为输入层与第1隐层的连接权函数,vjk为第1隐层与第2隐层的连接权值,μk为第2隐层到输出层的连接权值,θj (1)为第1隐层第j个过程神经元的输出阈值,θk (2)为第2隐层第k个过程神经元的输出阈值,f为第1隐层的激励函数,g为第2隐层的激励函数。取各层的激励函数均为Sigmoid函数,即
将随时间变化的离散采样数据进行Walsh变换,使之直接作为神经网络的输入,减少中间的拟合过程,消除拟合误差,其变换过程如下:
给定Q个序列长度为2p的学***滑插值得到):(xq1(tl),xq2(tl),…,xqn(tl),dq),其中q=1,2,…,Q,l=0,1,…,N-1,N=2p,p是满足插值精度要求的自然数,di为期望输出。对学习样本实施Walsh变换,得(wal(xq1(tl)),wal(xq2(tl)),…,wal(xqn(tl)),dq)。
离散数据经过Walsh变换作为网络的输入,于是网络的输入输出关系为
其中
网络的误差函数为
过程神经网络作用过程如图3所示。对上述过程神经网络模型应用误差反向传播的BP算法进行离线训练,得到预期的网络逼近精度。学习算法如下式所示:
其中α,β,γ,η,λ为网络学习速率。
4、在线滚动学习
在第k个采样时刻,将预测值与采样值相比较,若误差超过精度要求,则对已采集数据进行处理后在线进行网络学习,否则保持网络模型的输出;在k+1时刻,重复上述检测与学习过程。这种“学习-预测-学习”的滚动流程如图4所示
本发明充分利用稀疏数据过程的特点,利用过程神经元并结合数据处理技术进行工业过程中一类稀疏数据过程的建模工作,有效解决了工业过程中因检测困难而导致过程采样数据稀少,从而使过程的监测与优化控制难以有效实施的问题,为稀疏数据过程的建模提供了一条有效的途径,并为该类工业过程实施优化控制奠定了基础。
(四)附图说明
图1为过程神经元结构示意图。
图2为双隐层过程神经网络结构示意图。
图3为神经网络作用过程示意图。
图4为网络模型滚动学习示意图。
(五)具体实施方式
为更好理解本发明的技术方案,以下以味精发酵过程为实施例,对其进行菌体浓度预测模型的建模。
味精发酵过程是一个复杂的生化反应过程,由于受到现场条件、工艺过程、检测设备等因素的影响,通常每隔3个小时才能得到一次菌体浓度的样本数据,属于稀疏数据过程。在此发酵过程中,根据实际数据和现场工程师的经验,确定进风量与菌体浓度有一定关系。因此,当前进风量和当前的菌体浓度作为网络的两个输入节点,预测菌体浓度为输出节点。建立味精发酵过程菌体浓度的预测模型的具体步骤如下:
1、数据预处理
表1为部分菌体浓度与进风量的现场数据,菌体浓度为稀疏数据,每间隔3个小时得到一组样本数据,而通风量为连续密集数据。
表1部分现场数据
时间/小时 | 1组 | 2组 | 3组 | |||
进风量/立米/分 | 菌体数/OD | 进风量/立米/分 | 菌体数/OD | 进风量/立米/分 | 菌体数/OD | |
0.0 | 15 | 0.10 | 15 | 0.08 | 15 | 0.075 |
0.5 | 15 | 15 | 15 | |||
1.0 | 15 | 15 | 15 | |||
1.5 | 20 | 15 | 15 | |||
2.0 | 20 | 15 | 15 | |||
2.5 | 25 | 20 | 25 | |||
3.0 | 25 | 0.30 | 20 | 0.25 | 25 | 0.30 |
3.5 | 30 | 25 | 30 | |||
4.0 | 30 | 25 | 30 |
4.5 | 40 | 30 | 40 | |||
5.0 | 40 | 30 | 40 | |||
5.5 | 45 | 40 | 45 | |||
6.0 | 45 | 0.72 | 40 | 0.62 | 45 | 0.67 |
6.5 | 45 | 45 | 45 | |||
7.0 | 45 | 45 | 45 | |||
7.5 | 45 | 45 | 45 | |||
8.0 | 45 | 45 | 45 | |||
8.5 | 45 | 45 | 45 | |||
9.0 | 45 | 0.86 | 45 | 0.85 | 45 | 0.87 |
9.5 | 45 | 45 | 45 | |||
10.0 | 45 | 45 | 45 | |||
10.5 | 45 | 45 | 45 | |||
11.0 | 45 | 45 | 45 | |||
11.5 | 45 | 45 | 45 | |||
12.0 | 45 | 0.97 | 45 | 0.94 | 45 | 0.96 |
12.5 | 45 | 45 | 45 | |||
13.0 | 45 | 45 | 45 | |||
13.5 | 45 | 45 | 45 | |||
14.0 | 45 | 45 | 45 | |||
14.5 | 45 | 45 | 45 | |||
15.0 | 45 | 1.00 | 45 | 0.85 | 45 | 1.0 |
15.5 | 45 | 45 | 45 | |||
16.0 | 45 | 45 | 45 | |||
16.5 | 40 | 45 | 45 | |||
17.0 | 40 | 45 | 45 | |||
17.5 | 40 | 40 | 45 | |||
18.0 | 40 | 1.05 | 40 | 1.02 | 40 | 1.02 |
18.5 | 40 | 40 | 40 | |||
19.0 | 40 | 40 | 40 |
19.5 | 40 | 40 | 40 | |||
20.0 | 40 | 40 | 40 | |||
20.5 | 40 | 40 | 40 | |||
21.0 | 40 | 1.04 | 40 | 1.04 | 40 | 1.02 |
21.5 | 40 | 40 | 40 | |||
22.0 | 40 | 40 | 40 | |||
22.5 | 40 | 35 | 40 | |||
23.0 | 40 | 35 | 40 | |||
23.5 | 40 | 35 | 40 | |||
24.0 | 35 | 1.02 | 35 | 1.05 | 40 | 1.00 |
24.5 | 35 | 35 | 40 | |||
25.0 | 35 | 35 | 40 | |||
25.5 | 35 | 35 | 40 | |||
26.0 | 35 | 35 | 40 | |||
26.5 | 35 | 35 | 40 | |||
27.0 | 35 | 1.00 | 35 | 1.01 | 40 | 1.00 |
27.5 | 35 | 35 | 35 | |||
28.0 | 35 | 35 | 35 | |||
28.5 | 35 | 35 | 35 | |||
29.0 | 35 | 35 | 35 | |||
29.5 | 35 | 35 | 35 | |||
30.0 | 35 | 0.98 | 35 | 1.00 | 35 | 1.00 |
考虑第3组中第15小时的菌体浓度数据,该时刻3组采样数据的均值为:
方差为:
因此该时刻的采样数据应位于区间 之中。据此可知第2组第15小时的菌体浓度数据为伪数据,取为区间的下限,即用0.909代替该时刻的0.85数值。
通过现场数据分析,菌体浓度最小值为x1min=0.07,最大值为x1max=1.10;进风量最小值为x2min=15,最大值为x2max=50,据此对表1数据应用公式(1)进行归一化处理,式中比例系数取为ρ=0.8。经过归一化处理后的数据见表2。
2、数据扩充
对稀疏的菌体浓度样本数据进行扩充,采用递推式邻均值生成法,根据0.5小时时间间隔得到扩充后的样本数据如表2中所示。
表2 归一化处理及扩充后的样本数据
时间/小时 | 1组 | 2组 | 3组 | |||
进风量/立米/分 | 菌体数/OD | 进风量/立米/分 | 菌体数/OD | 进风量/立米/分 | 菌体数/OD | |
0.0 | 0.100 | 0.1233 | 0.100 | 0.1078 | 0.100 | 0.1039 |
0.5 | 0.100 | 0.1614 | 0.100 | 0.1408 | 0.100 | 0.1476 |
1.0 | 0.100 | 0.1809 | 0.100 | 0.1573 | 0.100 | 0.1694 |
1.5 | 0.214 | 0.2005 | 0.100 | 0.1738 | 0.100 | 0.1913 |
2.0 | 0.214 | 0.2395 | 0.100 | 0.2068 | 0.100 | 0.2349 |
2.5 | 0.329 | 0.2591 | 0.214 | 0.2233 | 0.329 | 0.2568 |
3.0 | 0.329 | 0.2786 | 0.214 | 0.2398 | 0.329 | 0.2786 |
3.5 | 0.443 | 0.3602 | 0.329 | 0.3116 | 0.443 | 0.3505 |
4.0 | 0.443 | 0.4010 | 0.329 | 0.3476 | 0.443 | 0.3864 |
4.5 | 0.671 | 0.4417 | 0.443 | 0.3835 | 0.671 | 0.4223 |
5.0 | 0.671 | 0.5233 | 0.443 | 0.4554 | 0.671 | 0.4941 |
5.5 | 0.786 | 0.5641 | 0.671 | 0.4913 | 0.786 | 0.5301 |
6.0 | 0.786 | 0.6049 | 0.671 | 0.5272 | 0.786 | 0.5660 |
6.5 | 0.786 | 0.6321 | 0.786 | 0.5718 | 0.786 | 0.6048 |
7.0 | 0.786 | 0.6457 | 0.786 | 0.5942 | 0.786 | 0.6243 |
7.5 | 0.786 | 0.6593 | 0.786 | 0.6165 | 0.786 | 0.6437 |
8.0 | 0.786 | 0.6864 | 0.786 | 0.6612 | 0.786 | 0.6825 |
8.5 | 0.786 | 0.7000 | 0.786 | 0.6835 | 0.786 | 0.7020 |
9.0 | 0.786 | 0.7136 | 0.786 | 0.7058 | 0.786 | 0.7214 |
9.5 | 0.786 | 0.7349 | 0.786 | 0.7233 | 0.786 | 0.7389 |
10.0 | 0.786 | 0.7456 | 0.786 | 0.7320 | 0.786 | 0.7476 |
10.5 | 0.786 | 0.7563 | 0.786 | 0.7408 | 0.786 | 0.7564 |
11.0 | 0.786 | 0.7776 | 0.786 | 0.7582 | 0.786 | 0.7738 |
11.5 | 0.786 | 0.7883 | 0.786 | 0.7670 | 0.786 | 0.7826 |
12.0 | 0.786 | 0.7990 | 0.786 | 0.7757 | 0.786 | 0.7913 |
12.5 | 0.786 | 0.8048 | 0.786 | 0.7697 | 0.786 | 0.7991 |
13.0 | 0.786 | 0.8077 | 0.786 | 0.7667 | 0.786 | 0.8029 |
13.5 | 0.786 | 0.8107 | 0.786 | 0.7636 | 0.786 | 0.8068 |
14.0 | 0.786 | 0.8165 | 0.786 | 0.7577 | 0.786 | 0.8146 |
14.5 | 0.786 | 0.8194 | 0.786 | 0.7547 | 0.786 | 0.8184 |
15.0 | 0.786 | 0.8223 | 0.786 | 0.7517 | 0.786 | 0.8223 |
15.5 | 0.786 | 0.8320 | 0.786 | 0.7732 | 0.786 | 0.8262 |
16.0 | 0.786 | 0.8369 | 0.786 | 0.7839 | 0.786 | 0.8281 |
16.5 | 0.671 | 0.8418 | 0.786 | 0.7947 | 0.786 | 0.8300 |
17.0 | 0.671 | 0.8515 | 0.786 | 0.8162 | 0.786 | 0.8338 |
17.5 | 0.671 | 0.8563 | 0.671 | 0.8270 | 0.786 | 0.8358 |
18.0 | 0.671 | 0.8612 | 0.671 | 0.8377 | 0.671 | 0.8377 |
18.5 | 0.671 | 0.8592 | 0.671 | 0.8416 | 0.671 | 0.8377 |
19.0 | 0.671 | 0.8583 | 0.671 | 0.8436 | 0.671 | 0.8377 |
19.5 | 0.671 | 0.8573 | 0.671 | 0.8456 | 0.671 | 0.8377 |
20.0 | 0.671 | 0.8554 | 0.671 | 0.8495 | 0.671 | 0.8377 |
20.5 | 0.671 | 0.8544 | 0.671 | 0.8514 | 0.671 | 0.8377 |
21.0 | 0.671 | 0.8534 | 0.671 | 0.8534 | 0.671 | 0.8377 |
21.5 | 0.671 | 0.8495 | 0.671 | 0.8554 | 0.671 | 0.8338 |
22.0 | 0.671 | 0.8475 | 0.671 | 0.8563 | 0.671 | 0.8319 |
22.5 | 0.671 | 0.8456 | 0.557 | 0.8573 | 0.671 | 0.8300 |
23.0 | 0.671 | 0.8416 | 0.557 | 0.8592 | 0.671 | 0.8262 |
23.5 | 0.671 | 0.8397 | 0.557 | 0.8602 | 0.671 | 0.8242 |
24.0 | 0.557 | 0.8377 | 0.557 | 0.8612 | 0.671 | 0.8223 |
24.5 | 0.557 | 0.8338 | 0.557 | 0.8534 | 0.671 | 0.8223 |
25.0 | 0.557 | 0.8319 | 0.557 | 0.8495 | 0.671 | 0.8223 |
25.5 | 0.557 | 0.8300 | 0.557 | 0.8457 | 0.671 | 0.8223 |
26.0 | 0.557 | 0.8262 | 0.557 | 0.8379 | 0.671 | 0.8223 |
26.5 | 0.557 | 0.8242 | 0.557 | 0.8340 | 0.671 | 0.8223 |
27.0 | 0.557 | 0.8223 | 0.557 | 0.8301 | 0.671 | 0.8223 |
27.5 | 0.557 | 0.8184 | 0.557 | 0.8281 | 0.557 | 0.8223 |
28.0 | 0.557 | 0.8165 | 0.557 | 0.8272 | 0.557 | 0.8223 |
28.5 | 0.557 | 0.8146 | 0.557 | 0.8262 | 0.557 | 0.8223 |
29.0 | 0.557 | 0.8107 | 0.557 | 0.8243 | 0.557. | 0.8223 |
29.5 | 0.557 | 0.8087 | 0.557 | 0.8233 | 0.557 | 0.8223 |
30.0 | 0.557 | 0.8068 | 0.557 | 0.8223 | 0.557 | 0.8223 |
3、过程神经元网络建模
网络的拓扑结构选为2-20-9-1,即2个输入节点,20个过程神经元隐层节点,9个非时变一般神经元隐层节点,1个菌体浓度输出节点。取输入函数的离散Walsh基函数和用于权函数基展开的离散Walsh基函数的个数均为64。将表2菌体浓度和进风量输入到过程神经网络进行训练,学习速率α=0.65,β=0.8,γ=0.7,η=0.8,λ=0.71,误差精度取0.01,网络经过1000次训练后收敛,该过程神经网络作为菌体浓度预测模型。
4、在线滚动学习
将上述离线训练好的过程神经网络预测模型投入在线运行,输出时间间隔为0.5小时的菌体浓度预测数据。在采样点3、6、9、12、15、18、21、24、27、30小时上,将模型预测值与采样值进行比较,若误差精度大于1%,则立即对已采集数据进行处理,然后在线进行网络学习;否则保持网络模型的输出。应用此种“学习-预测-学习”模式的一组预测数据如表3所示(表中只给出了采样点上的数据)。为增加对比性,表3给出了非滚动学习模式的模型预测数据,可以看出,采用滚动学习方法预测的输出值精度要高于非滚动学习方法预测输出值的精度。
表3 菌体浓度在线预测数据
时间/小时 | 实际输出值/OD | 非滚动学习模式 | 滚动学习模式 | ||
预测输出值/OD | 相对误差/% | 预测输出值/OD | 相对误差/% | ||
0 | 0.11 | ||||
3 | 0.37 | 0.3609 | 2.46 | 0.3609 | 2.46 |
6 | 0.78 | 0.7501 | 3.83 | 0.7665 | 1.73 |
9 | 0.91 | 0.8792 | 3.38 | 0.8954 | 1.61 |
12 | 1.00 | 0.9656 | 3.44 | 0.9903 | 0.97 |
15 | 1.05 | 1.0232 | 2.55 | 1.0425 | 0.71 |
18 | 1.06 | 1.0215 | 3.63 | 1.0487 | 1.07 |
21 | 1.06 | 1.0147 | 4.27 | 1.0507 | 0.88 |
24 | 1.05 | 1.0126 | 3.56 | 1.0404 | 0.91 |
27 | 1.03 | 1.0011 | 2.81 | 1.0213 | 0.85 |
30 | 1.01 | 0.9702 | 3.76 | 0.9993 | 1.05 |
Claims (5)
1.一种稀疏数据过程的建模方法,包括数据预处理、过程神经网络建模和在线滚动学习三个步骤,其特征在于:
所述的数据处理包括伪数据的修正和稀疏数据的填充;伪数据的修正是对采样数据中存在的伪数据进行平滑修正、处理,并对平滑后的数据进行归一化处理;稀疏数据的填充是对稀疏数据进行扩充,弥补已知时刻的未知数据,得到适当时间间隔的密集数据;
所述的过程神经网络建模是应用过程神经元组成双隐层过程神经网络模型,应用预处理数据训练神经网络模型,得到符合精度要求的过程神经网络模型;过程神经元由加权,聚合和激励三部分组成;输入和权值是随时间变化的函数;网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成,采用基于离散Walsh变换的方法对网络进行学习训练;
x1(t),x2(t),…,xn(t)为过程神经元输入函数;w1(t),w2(t),…,wn(t)为相应的权函数;K(t)为过程神经元的时间聚合基函数;f(·)为激励函数,可取线性函数、或Sigmoid函数、或Gauss型函数等;过程神经元的输入与输出之间的关系为:
Y=f((W(t)X(t))K(·)-θ) (1)
这里θ为过程神经元输出阈值,y为过程神经元的输出值,表示某种空间聚合运算,表示某种时间(过程)聚合运算;这里取空间聚合运算为加权和,时间聚合运算为积分;
以过程神经元为基础,构造一种四层结构的过程神经元网络模型,拓扑结构为n-m-K-1,网络输入层有n个节点,过程神经元隐层有m个节点,非时变一般神经元隐层有K个节点,输出层有1个节点;过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算,非时变一般神经元隐层用于提高网络对***输入输出之间复杂关系的影射能力;
过程神经网络输入输出之间的关系为:
模型的输入为X(t)=(x1(t),x2(t),…,xn(t)),模型输出为y,[0,T]为时间采样区间,wij(t)为输入层与第1隐层的连接权函数,vjk为第1隐层与第2隐层的连接权值,μk为第2隐层到输出层的连接权值,θj (1)为第1隐层第j个过程神经元的输出阈值,θk (2)为第2隐层第k个过程神经元的输出阈值,f为第1隐层的激励函数,g为第2隐层的激励函数;取各层的激励函数均为Sigmoid函数,即
将随时间变化的离散采样数据进行Walsh变换,使之直接作为神经网络的输入,减少中间的拟合过程,消除拟合误差,则变换过程为:
给定Q个序列长度为2p的学***滑插值得到:(xq1(tl),xq2(tl),…,xqn(tl),dq),其中 q=1,2,…,Q,l=0,1,…,N-1,N=2p,p是满足插值精度要求的自然数,di为期望输出;对学习样本实施Walsh变换,得(wal(xq1(tl)),wal(xq2(tl)),…,wal(xqn(tl)),dq);
离散数据经过Walsh变换作为网络的输入,于是网络的输入输出关系为
其中 s=1,2,…,N
网络的误差函数为
上述过程神经网络模型应用误差反向传播的BP算法进行离线训练,得到预期的网络逼近精度。学习算法如下式:
其中α,β,γ,η,λ为网络学习速率;
所述的在线滚动学习是在采样时刻间隙,当检测到预测值不正确时,则对已有的实际数据进行处理,采用处理后的数据重新训练网络,使网络在训练过程中学到新的信息;在第k个采样时刻,将预测值与采样值相比较,若误差超过精度要求,则对已采集数据进行处理后在线进行网络学习,否则保持网络模型的输出;在k+1时刻,重复上述检测与学习过程。
2.根据权利1所述的稀疏数据过程建模方法,其特征在于:上述伪数据的修正:设有n组采样数据,每组的采样数为m,不同组采样数据同一时刻的平均值为方差为σ,如果对应同一时刻各组的采样值都在之间,表示该组数据中并不存在伪数据;若某个采样值xnm不在之间时,则当 时,取 当 时,取
得到适合于神经网络模型训练与学习用的数据;
将采样数据平滑并对样本数据进行归一化处理;将网络的输入输出数据限制在[0,1]区间内,应用公式
将网络的输入输出变量近似为正态标准分布;
3.根据权利1所述的稀疏数据过程建模方法,其特征在于:上述的稀疏数据的填充是采用递推式邻均值生成法进行数据扩充,即利用两端的数据首先产生中间的扩充数据,再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法;
即将原始数列[X]=[X(1),X(2),…,X(n)],
扩充为数列[X(1),Φ1(k1),…,Φ1(ki),…,Φ1(km),X(2),Φ2(k1)…,Φ2(ki),…,Φ2(km),…,X(n)]其中Φj(ki)为扩充的数据,i=1,2,…m;j=1,2,…,n-1;
取Φj(k0)=X(j),Φj(km+1)=X(j+1),则
式中 imin为扩充数列的左端已知数据序列号,imax为扩充数列的右端己知数据序列号;重复应用公式(8),即可得到所需的扩充数据序列Φj(ki)。
4.根据权利1所述的稀疏数据过程建模方法,其特征在于:采用过程神经元组成双隐层的过程神经网络模型;过程神经元由加权、聚合和激励3部分组成,输入和权值是随时间变化的函数;网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成,采用基于离散Walsh变换的方法对网络进行学习训练。
5.根据权利1所述的稀疏数据过程建模方法,其特征在于:过程神经网络模型的学习采用离线学习和在线滚动学习相结合的学习方式;应用经过预处理的离线数据进行网络模型的离线学习,达到要求的预测误差精度后将网络预测模型投入在线应用;在第k个采样时刻,将预测值与采样值相比较,若误差超过精度要求,则对已采集数据进行处理后在线进行网络学习,否则保持网络模型的输出;在k+1时刻,重复上述检测与学习过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710012776A CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710012776A CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101118610A true CN101118610A (zh) | 2008-02-06 |
CN100580698C CN100580698C (zh) | 2010-01-13 |
Family
ID=39054715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710012776A Expired - Fee Related CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100580698C (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117264A (zh) * | 2010-12-29 | 2011-07-06 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的快速沃尔什变换的实现方法 |
CN103064286A (zh) * | 2013-01-17 | 2013-04-24 | 丽水学院 | 一种工业过程的控制方法与设备 |
CN103065192A (zh) * | 2012-12-20 | 2013-04-24 | 华南理工大学 | 一种基于确定学习理论的海量时态数据建模方法 |
CN103197538A (zh) * | 2013-04-24 | 2013-07-10 | 中南林业科技大学 | 一种基于过程神经网络的孵房温度控制方法 |
CN103620624A (zh) * | 2011-06-22 | 2014-03-05 | 高通股份有限公司 | 用于导致稀疏连通性的局部竞争性学习规则的方法和装置 |
CN104679868A (zh) * | 2015-03-06 | 2015-06-03 | 四川深度信息技术有限责任公司 | 一种基于数据间关联关系的遗漏数据填补方法 |
CN105577232A (zh) * | 2015-12-22 | 2016-05-11 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的复合序列fwt快速相关检测方法 |
CN106600356A (zh) * | 2016-10-27 | 2017-04-26 | 杭州王道科技有限公司 | 多平台电子商务信息聚合方法及*** |
CN106650817A (zh) * | 2016-12-29 | 2017-05-10 | 中国科学院福建物质结构研究所 | 一种基于深度学习的多模式数据融合方法 |
CN108170589A (zh) * | 2017-12-06 | 2018-06-15 | 口碑(上海)信息技术有限公司 | 网络平台基础数据质量算法的保障方法 |
CN108647272A (zh) * | 2018-04-28 | 2018-10-12 | 江南大学 | 一种基于数据分布的小样本扩充方法 |
CN108734279A (zh) * | 2017-04-20 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
CN109272344A (zh) * | 2018-08-07 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 模型训练方法和装置、数据预测方法和装置、服务器 |
CN110647556A (zh) * | 2019-08-27 | 2020-01-03 | 天津开心生活科技有限公司 | 数据预测方法及装置 |
CN112083333A (zh) * | 2020-08-11 | 2020-12-15 | 昆明理工大学 | 一种基于机器学习模型的动力电池组荷电状态估计方法 |
CN114556027A (zh) * | 2019-10-23 | 2022-05-27 | 三菱电机株式会社 | 空调控制装置、空调***、空调控制方法和空调控制程序 |
-
2007
- 2007-09-10 CN CN200710012776A patent/CN100580698C/zh not_active Expired - Fee Related
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117264B (zh) * | 2010-12-29 | 2014-02-12 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的快速沃尔什变换的实现方法 |
CN102117264A (zh) * | 2010-12-29 | 2011-07-06 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的快速沃尔什变换的实现方法 |
CN103620624B (zh) * | 2011-06-22 | 2016-10-19 | 高通股份有限公司 | 用于导致稀疏连通性的局部竞争性学习规则的方法和装置 |
CN103620624A (zh) * | 2011-06-22 | 2014-03-05 | 高通股份有限公司 | 用于导致稀疏连通性的局部竞争性学习规则的方法和装置 |
CN103065192A (zh) * | 2012-12-20 | 2013-04-24 | 华南理工大学 | 一种基于确定学习理论的海量时态数据建模方法 |
CN103065192B (zh) * | 2012-12-20 | 2015-09-02 | 华南理工大学 | 一种基于确定学习理论的海量时态数据建模方法 |
CN103064286A (zh) * | 2013-01-17 | 2013-04-24 | 丽水学院 | 一种工业过程的控制方法与设备 |
CN103197538A (zh) * | 2013-04-24 | 2013-07-10 | 中南林业科技大学 | 一种基于过程神经网络的孵房温度控制方法 |
CN103197538B (zh) * | 2013-04-24 | 2015-07-01 | 中南林业科技大学 | 一种基于过程神经网络的孵房温度控制方法 |
CN104679868A (zh) * | 2015-03-06 | 2015-06-03 | 四川深度信息技术有限责任公司 | 一种基于数据间关联关系的遗漏数据填补方法 |
CN104679868B (zh) * | 2015-03-06 | 2017-09-26 | 四川深度信息技术有限责任公司 | 一种基于数据间关联关系的遗漏数据填补方法 |
CN105577232A (zh) * | 2015-12-22 | 2016-05-11 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的复合序列fwt快速相关检测方法 |
CN105577232B (zh) * | 2015-12-22 | 2018-12-25 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的复合序列fwt快速相关检测方法 |
CN106600356A (zh) * | 2016-10-27 | 2017-04-26 | 杭州王道科技有限公司 | 多平台电子商务信息聚合方法及*** |
CN106600356B (zh) * | 2016-10-27 | 2019-12-24 | 杭州王道科技有限公司 | 多平台电子商务信息聚合方法及*** |
CN106650817A (zh) * | 2016-12-29 | 2017-05-10 | 中国科学院福建物质结构研究所 | 一种基于深度学习的多模式数据融合方法 |
CN106650817B (zh) * | 2016-12-29 | 2019-09-20 | 中国科学院福建物质结构研究所 | 一种基于深度学习的多模式数据融合方法 |
CN108734279A (zh) * | 2017-04-20 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
CN108170589A (zh) * | 2017-12-06 | 2018-06-15 | 口碑(上海)信息技术有限公司 | 网络平台基础数据质量算法的保障方法 |
CN108170589B (zh) * | 2017-12-06 | 2021-08-13 | 口碑(上海)信息技术有限公司 | 网络平台基础数据质量算法的保障方法 |
CN108647272A (zh) * | 2018-04-28 | 2018-10-12 | 江南大学 | 一种基于数据分布的小样本扩充方法 |
CN108647272B (zh) * | 2018-04-28 | 2020-12-29 | 江南大学 | 一种基于数据分布的小样本扩充对脱丁烷塔底丁烷浓度进行预测的方法 |
CN109272344A (zh) * | 2018-08-07 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 模型训练方法和装置、数据预测方法和装置、服务器 |
CN110647556A (zh) * | 2019-08-27 | 2020-01-03 | 天津开心生活科技有限公司 | 数据预测方法及装置 |
CN114556027A (zh) * | 2019-10-23 | 2022-05-27 | 三菱电机株式会社 | 空调控制装置、空调***、空调控制方法和空调控制程序 |
CN112083333A (zh) * | 2020-08-11 | 2020-12-15 | 昆明理工大学 | 一种基于机器学习模型的动力电池组荷电状态估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100580698C (zh) | 2010-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101118610A (zh) | 稀疏数据过程建模方法 | |
CN110984062B (zh) | 一种流域干支流大规模水库群模拟调度方法 | |
CN108416695A (zh) | 基于深度学习的电力负荷概率密度预测方法和***、介质 | |
CN108764540B (zh) | 基于并行lstm串联dnn的供水管网压力预测方法 | |
CN106022521B (zh) | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 | |
CN101893674B (zh) | 一种区域电网污闪指数预测方法 | |
CN108897286B (zh) | 一种基于分散式非线性动态关系模型的故障检测方法 | |
CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
CN111182564B (zh) | 一种基于lstm神经网络的无线链路质量预测方法 | |
CN112115419B (zh) | ***状态估计方法、***状态估计装置 | |
CN110705743A (zh) | 一种基于长短期记忆神经网络的新能源消纳电量预测方法 | |
CN112149879B (zh) | 一种计及宏观波动性分类的新能源中长期电量预测方法 | |
CN111445010B (zh) | 一种基于证据理论融合量子网络的配网电压趋势预警方法 | |
CN107704962B (zh) | 一种基于不完整训练数据集的蒸汽流量区间预测方法 | |
CN109472397B (zh) | 基于粘度变化的聚合工艺参数调节方法 | |
CN110824915A (zh) | 基于ga-dbn网络的废水处理智能监控方法及*** | |
CN111754034A (zh) | 一种基于混沌优化神经网络模型的时间序列预测方法 | |
CN109599866B (zh) | 一种预测辅助的电力***状态估计方法 | |
CN112257847A (zh) | 一种基于CNN和LSTM预测地磁Kp指数的方法 | |
CN112215279A (zh) | 一种基于免疫rbf神经网络的电网故障诊断方法 | |
CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
CN107909202B (zh) | 一种基于时间序列的油井产液量集成预测方法 | |
CN113988415A (zh) | 一种中长期电力负荷预测方法 | |
CN113537586A (zh) | 集成小波分解与深度神经网络的水质指标多步预测方法 | |
CN112232570A (zh) | 一种正向有功总电量预测方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100113 Termination date: 20100910 |