CN101807046B - 一种基于结构可调极限学习机的在线建模方法 - Google Patents
一种基于结构可调极限学习机的在线建模方法 Download PDFInfo
- Publication number
- CN101807046B CN101807046B CN2010101194082A CN201010119408A CN101807046B CN 101807046 B CN101807046 B CN 101807046B CN 2010101194082 A CN2010101194082 A CN 2010101194082A CN 201010119408 A CN201010119408 A CN 201010119408A CN 101807046 B CN101807046 B CN 101807046B
- Authority
- CN
- China
- Prior art keywords
- ball
- new
- training
- matrix
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 17
- 230000005284 excitation Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009749 continuous casting Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于结构可调极限学习机的在线建模方法,属于自动控制、信息技术和先进制造领域,具体涉及在极限学习机的在线学习过程中调整其结构和参数以容纳新获得数据的方法。其特征在于包括以下步骤:定义类别球概念,在每次学习过程中,判断新获得的数据是否在类别球外且会导致建模精度下降,若是则添加新隐层节点,否则仅调整类别球的球心和半径,最后更新极限学习机的输出层权值。本发明首先引入类别球概念用以包含之前训练过程已用过的数据,在确定新增隐层节点参数时,通过使该节点在距类别球最近点的输出足够小,以确保该节点在上述已用过的数据上的输出值为0,并给出了输出层权值更新公式。本发明可通过增加隐层节点以提高在线建模精度。
Description
技术领域
本发明属于自动控制、信息技术和先进制造领域,具体涉及在极限学习机的在线学习过程中调整其结构和参数以容纳新获得数据的方法。
背景技术
在面向实际工业过程检测、控制与优化的许多建模环境中,建模所需数据常常具有依次到达的特点。针对上述特点,学术界和工业界提出了在线建模方法(或在线学习方法),如RAN、RANEKF、MRAN、GAP-RBF、GGAP-RBF,此类方法可根据新产生的数据在线调整模型结构和参数,以容纳新数据信息,而无需针对已获得的所有数据重新建模。但上述方法大多存在待调节参数多、训练速度慢等不足,严重影响其实际应用效果。最近出现的OS-ELM方法虽然将待调节参数减少至一个,但是其缺乏结构可调性,使得其容纳新信息的能力相对有限,模型精度无法进一步提高。
发明内容
为解决上述在线建模难题,本发明提出一种基于结构可调极限学习机的在线建模方法(简称SAO-ELM)。在SAO-ELM中,网络的基本结构和ELM(Extreme Learning Machine:极限学习机)网络相同,但其隐层节点数可在在线建模过程中进行调节。在建模过程中增加隐层节点的主要难点在于,SAO-ELM的训练目标是使得调整后的模型相对于所有训练数据的误差和达到最小,但在每次在线学习过程中,之前用过的训练数据必须丢弃,这使得新增隐层节点在那些已丢弃的数据上的输出未知。为此,本发明定义了类别球概念,用以包围所有已用过的训练数据,并随时记录且根据新增数据更新该球的球心和半径。增加隐层节点时,其激励函数选为高斯函数,然后选择适当的激励函数的中心和宽度,使得该节点在距类别球最近点的输出足够小,从而可将新增隐层节点在已丢弃的数据上的输出视为0。在上述条件下,可推导出增加隐层节点时的迭代式输出层权值更新公式,从而实现基于结构可调极限学习机的在线建模。
一种基于结构可调极限学习机的在线建模方法,其特征在于该方法是按照如下步骤实现的:
步骤(1):模型选择和参数初始化
设置单隐层极限学习机的隐层节点数M,输入层节点个数与训练样本维数n相同,输出节点个数与训练目标的维数m相同;
隐层节点的激励函数G(ai,bi,x)采用高斯函数,随机确定每个隐层节点的中心ai和宽度bi,i=1,2,…M;
β0=(H0 TH0)-1H0T0
用一个类别球O包围初始训练样本集X0,使该球恰好将X0中的所有样本点包围在其内部,确定此球的球心C0和半径R0;
步骤(2):在线学习过程
新增训练数据x1=(xN+1,tN+1)到来时,按照如下步骤训练ELM,使其既能保存X0的知识,又可以容纳x1所包含的新知识
步骤(2.1):维持网络结构不变,仅根据x1调整输出层连接矩阵β0,更新后的输出层权值连接矩阵为β1,同时更新矩阵K0和P0为K1和P1,
其中,H1和T1分别为ELM对新样本x1的隐层输出矩阵和训练目标矩阵,即
H1=[G(a1,b1,xN+1)…G(aM,bM,xN+1)]1×M
步骤(2.2):计算调整参数后的ELM对新增样本x1的训练误差e,判断新样本x1是否在球O外,若在球O外且e大于设定阈值,放弃上述所有调整,转向步骤(2.3),否则,转向步骤(3);
步骤(2.3):增加一个隐层节点,设定其中心a为x1,宽度b由下式确定,即
其中,ε为预设定的阈值,xc为类别球O上距新样本点x1最近点的坐标,可由下式确定
xc=xo+λ1(xa-xo)
其中,xo为球O的球心坐标,λ1可由下式确定
上式中的xa即为新样本点x1的坐标;重新调整输出层连接矩阵β0为β1,并相应地更新矩阵K0和P0为K1和P1,使得
其中,H01和H11分别为新增隐层节点对原样本集X0和新样本点x1的隐层输出矩阵,即
N1和L分别为x1中的样本点个数和新增隐层节点个数,本方法仅考虑新样本点逐个到达的情况,故N1=L=1;
步骤(3):更新类别球O的参数
更新类别球O的参数,即更新其球心坐标和半径,使得新球O1恰好将X0和x1中的所有样本点都包围在其中,其更新公式为:
其中,xa和xb分别为新样本点x1的坐标和球O上距x1最远点的坐标,xb可由下式计算,
xb=xo+λ2(xo-xa)
其中,xo为球心O的坐标,λ2可由下式计算,
根据上述在线建模方法,本发明做了大量的仿真试验,从仿真结果中可看出,本发明提出的在线建模方法相比于其他在线建模方法具有更高的学习精度,用此方法建立的模型也具有更好的泛化性能。
附图说明
图1:算法流程图,是本发明提出的基于结构可调极限学习机的在线建模方法具体实现的各个步骤。
图2:包围训练过程已用过的所有数据的类别球的示意图,其中,小类别球O是包围除新增训练数据之外的所有已用过数据的类别球,大类别球O1是包围所有已用过数据和新增数据的类别球。
图3:高斯函数示意图,其中,中间的峰值是其在高斯函数中心处的输出,边缘处较小的输出值是其在离高斯函数中心较远处的输出。
图4:仿真实验中训练精度和验证精度随隐层节点数变化的关系图,其中,红色曲线是训练精度随隐层节点数的变化关系,绿色曲线是验证精度随隐层节点数的变化关系。
图5:仿真实验中在线建模过程示意图,其中,图5.1为验证精度随训练数据增加的变化关系,图5.2为隐层节点数随训练数据增加的变化关系。
具体实施方式
本发明提出的基于结构可调极限学习机的在线建模方法,其主要优势在于在线建模过程中可根据需要调整网络结构。根据在线建模的特点,若有新增训练数据到达时便进行学习,否则就使用现有模型进行预测,且随着训练数据的增加,预测精度可逐步得到提高。
以下对本发明提出的基于结构可调极限学习机的在线建模方法所涉及的步骤进行详细说明:
第一步,模型选择
对于本发明提出的方法,模型选择只涉及确定初始的ELM隐层节点数M。本发明采用交叉验证的方法确定初始隐层节点个数:将初始训练数据分为两部分,一部分用于训练,另一部分用于验证;从一个较小的隐节点数开始,先用训练数据训练ELM,然后用验证数据获得验证误差,再逐步增加隐层节点个数,并重复上述训练和验证步骤,最后,选择使验证误差最小的隐层节点数为初始的隐层节点数。
第二步,模型的初始化
模型的初始化即为模型参数的初始化。本发明提出的方法采用ELM网络结构,隐层节点的激励函数采用高斯函数,故首先要初始化的参数有高斯函数的中心ai和宽度bi,i=1,2,…M,ai和bi分别从符合特定分布的随机数中选取。其次,要确定最初参加训练的样本数目。在本发明中,对用于分类问题的模型,最初训练样本数选为M+100;对于用于回归问题的模型,则选为M+50。确定初始训练样本数的原则是使得H0列满秩。最后,用一个半径最小的类别球S0包围初始训练数据,记其球心和半径分别为C0和R0。
第三步,确定训练过程数据的初始值
所谓训练过程初始数据,包括隐层输出矩阵H、输出层连接矩阵β、计算输出层连接矩阵需要的中间矩阵K及其逆矩阵K-1。
若初始训练数据为则相应的隐层输出矩阵为
根据经验风险最小化(ERM)原则,求取输出层连接矩阵β的目标函数为min(‖F-T0‖)=min(‖H0(N×M)β(M×m)-T0(N×m)‖),其中,T0为训练目标,即
第四步,不调整ELM结构,仅通过调整ELM输出层权值来拟合新增数据
此时,求取新的输出层连接矩阵β的目标函数为
,得到上述优化问题的解为
为实现在线建模的目标,β1必须与H0、T0无关,而仅是关于P0、K0、β0的函数。通过简单的数学推导可得,
上述两公式即为不调整ELM结构而仅调整其参数情况下的ELM训练算法。
第五步,判断用第四步的训练方法得到的ELM在新增数据X1上的训练误差是否符合要求,同时还需要判断数据X1是否在类别球S0之外。若训练误差不满足要求,且X1在S0之外,则转向第六步,否则,转向第七步。
第六步,增加一个隐层节点,然后调整输出层连接权值
在增加一个隐层节点的情况下,隐层输出矩阵变为
其中,H01为新增隐节点相对于训练过程已用过的数据集X0的输出,H11为新增隐层节点相对于新增加且未用过的数据集X1的输出。相应地,求取新的输出层连接矩阵β的目标函数变为
但由于已用过的数据集X0在隐节点增加之前已被丢弃,这导致H01未知,故要求取β必须先处理好H01未知的问题。
从高斯函数的示意图(图3)可以看出,隐节点在远离其中心处的输出可视为0。假若数据集X0和X1示意图如图2所示,图中,S0包围的为训练过程已用过的数据,A点为新增数据所处位置。故若将新增隐层节点的中心选为A点,则只要其在C点的输出足够小即可,也即要求
其中ε为预先选定的阈值,xc为C点坐标,可由以下两式确定
xc=xo+λ1(xa-xo)
其中,xo为类别球S0的球心坐标,xa为A点的坐标,R为类别球S0半径。
根据上述方法选择新增隐层节点的中心a和宽度b之后,新增隐层节点在C点的输出便小于一个很小的实数ε,其在类别球S0之内的输出则更加小,以至可视为0,故H01可视为0矩阵。此时,增加隐层节点后的隐层输出矩阵为
求解上述优化问题,可得
若令
则
此时,
令
其中,矩阵A的各个元素为
A11=(HTH)-1+(HTH)-1(HTδH)×R-1(δHTH)(HTH)-1
A12=-(HTH)-1(HTδH)R-1, A22=R-1
其中,R=δHTδH-(δHTH)(HTH)-1(HTδH),将H和δH的表达式代入得:
综合以上各式可得在增加隐层节点的情况下,K、P以及β的更新公式为:
第七步,更新类别球S0为S1,使得S1包含了S0中的数据X0和新增数据X1
从图2可以看出,S1的球心应在A和B的中点,半径应为线段AB的一半。其中,A点为新数据所在位置,B点为球S0上距A点最远点。故新的类别球中心和半径分别为
xb为B点的坐标,其可由以下两式确定
xb=xo+λ2(xo-xa)
本发明提出的方法流程图如图1所示。
根据上述基于结构可调极限学习机的在线建模方法,本发明做了大量仿真实验,限于篇幅,这里仅给出上述方法在实际炼钢连铸质量预报数据的应用效果。该数据集来源于工业现场,输入维数为84,输出维数为1;训练样本数为1056,测试样本数为508。
本发明比较了上述SAO-ELM方法与批处理式算法——BP神经网络算法以及OS-ELM方法的应用效果。BP神经网络算法是经典的神经网络训练方法,但它不是在线学习算法,OS-ELM方法是一种在线学习算法,其与本发明提出的算法的差别在于它没有结构可调性,即缺乏本发明中的第五步、第六步和第七步。比较结果见表1:
表1SAO-ELM和其他算法的性能比较
从表1可以看出,SAO-ELM的训练精度和测试精度与其它两种建模方法相比均是最好的,而其训练时间则比BP算法少了将近一个数量级。图5给出了在线建模过程,从其变化趋势比较可知,随着建模过程的推进,隐层节点数在不断增加,而学习精度也在不断改善,且两者的变化趋势相一致,这也表明本发明提出的SAO-ELM的有效性。
Claims (1)
1.一种基于结构可调极限学习机(ELM)的在线建模方法,其特征在于,所述方法是在计算机上依次按如下步骤实现的:
步骤(1):模型选择和参数初始化
设置单隐层极限学习机的隐层节点数M,输入层节点个数与训练样本维数n相同,输出节点个数与训练目标的维数m相同;
隐层节点的激励函数G(ai,bi,x)采用高斯函数,随机确定每个隐层节点的中心ai和宽度bi,i=1,2,…M;
β=(H0 TH0)-1H0T0
用一个类别球O包围初始训练样本集X0,使该球恰好将X0中的所有样本点包围在其内部,确定此球的球心C0和半径R0;
步骤(2):在线学习过程
新增训练数据x1=(xN+1,tN+1)到来时,按照如下步骤训练ELM,使其既能保存X0的知识,又可以容纳x1所包含的新知识
步骤(2.1):维持网络结构不变,仅根据x1调整输出层连接矩阵β0,更新后的输出层权值连接矩阵为β1,同时更新矩阵K0和P0为K1和P1,
其中,H1和T1分别为ELM对新样本x1的隐层输出矩阵和训练目标矩阵,即
H1=[G(a1,b1,xN+1)…G(aM,bM,xN+1)]1×M
步骤(2.2):计算调整参数后的ELM对新增样本x1的训练误差e,判断新样本x1是否在球O外,若在球O外且e大于设定阈值,放弃上述所有调整,转向步骤(2.3),否则,转向步骤(3);
步骤(2.3):增加一个隐层节点,设定其中心a为x1,宽度b由下式确定,即
其中,ε为预设定的阈值,xc为类别球O上距新样本点x1最近点的坐标,可由下式确定
xc=xo+λ1(xa-xo)
其中,xo为球O的球心坐标,λ1可由下式确定
上式中的xa即为新样本点x1的坐标;重新调整输出层连接矩阵β0为β1,并相应地更新矩阵K0和P0为K1和P1,使得
其中,H01和H11分别为新增隐层节点对原样本集X0和新样本点x1的隐层输出矩阵,即
N1和L分别为x1中的样本点个数和新增隐层节点个数,本方法仅考虑新样本点逐个到达的情况,故N1=L=1;
步骤(3):更新类别球O的参数
更新类别球O的参数,即更新其球心坐标和半径,使得新球O1恰好将X0和x1中的所有样本点都包围在其中,其更新公式为:
其中,xa和xb分别为新样本点x1的坐标和球O上距x1最远点的坐标,xb可由下式计算,
xb=xo+λ2(xo-xa)
其中,xo为球心O的坐标,λ2可由下式计算,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101194082A CN101807046B (zh) | 2010-03-08 | 2010-03-08 | 一种基于结构可调极限学习机的在线建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101194082A CN101807046B (zh) | 2010-03-08 | 2010-03-08 | 一种基于结构可调极限学习机的在线建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101807046A CN101807046A (zh) | 2010-08-18 |
CN101807046B true CN101807046B (zh) | 2011-08-17 |
Family
ID=42608870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101194082A Expired - Fee Related CN101807046B (zh) | 2010-03-08 | 2010-03-08 | 一种基于结构可调极限学习机的在线建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101807046B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708381B (zh) * | 2012-05-09 | 2014-02-19 | 江南大学 | 融合最小二乘向量机回归学习思想的改进极限学习机 |
DE102012011194A1 (de) * | 2012-06-06 | 2013-12-12 | Kisters Ag | Verfahren zum Trainieren eines künstlichen neuronalen Netzes |
CN103106331B (zh) * | 2012-12-17 | 2015-08-05 | 清华大学 | 基于降维和增量式极限学习机的光刻线宽智能预测方法 |
CN104537167B (zh) * | 2014-12-23 | 2017-12-15 | 清华大学 | 基于鲁棒区间极限学习机的区间型指标预报方法 |
CN108229026B (zh) * | 2018-01-04 | 2021-07-06 | 电子科技大学 | 一种基于动态内核极限学习机的电磁场建模仿真方法 |
CN111125760B (zh) * | 2019-12-20 | 2022-02-15 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的模型训练、预测方法及其*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621648A (en) * | 1994-08-02 | 1997-04-15 | Crump; Craig D. | Apparatus and method for creating three-dimensional modeling data from an object |
CN101504736A (zh) * | 2009-02-27 | 2009-08-12 | 江汉大学 | 基于Delphi软件实现神经网络算法的方法 |
CN101576734B (zh) * | 2009-06-12 | 2010-12-08 | 北京工业大学 | 基于动态径向基神经网络的溶解氧的控制方法 |
-
2010
- 2010-03-08 CN CN2010101194082A patent/CN101807046B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101807046A (zh) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101807046B (zh) | 一种基于结构可调极限学习机的在线建模方法 | |
WO2016101182A1 (zh) | 基于贝叶斯网络和极限学习机的区间型指标预报方法 | |
CN105843073B (zh) | 一种基于气动力不确定降阶的机翼结构气动弹性稳定性分析方法 | |
CN102096373B (zh) | 基于增量改进bp神经网络的微波干燥pid控制方法 | |
CN107561503A (zh) | 一种基于多重渐消因子的自适应目标跟踪滤波方法 | |
CN108304679A (zh) | 一种自适应可靠性分析方法 | |
CN105487376B (zh) | 一种基于数据驱动单网络结构的最优控制方法 | |
CN107085633B (zh) | 基于支持向量机的多点振动响应频域预测的装置及方法 | |
CN102314533B (zh) | 将计算出的曲线拟合到目标曲线的方法和*** | |
CN104239659A (zh) | 一种bp神经网络的碳钢腐蚀速率预测方法 | |
CN105209984A (zh) | 用于确定技术***输出值的模型的方法 | |
CN102033991A (zh) | 基于增量改进bp神经网络的微波干燥预测方法 | |
CN107014339B (zh) | 一种用于大数据的高精度角度传感器误差补偿方法 | |
CN108022004A (zh) | 一种多模型加权组合电力负荷预报的自适应权重训练方法 | |
CN108563895A (zh) | 一种考虑相关性的区间模型修正方法 | |
CN109508498A (zh) | 基于bp人工神经网络的橡胶减振器配方设计***及方法 | |
CN114880806A (zh) | 基于粒子群优化的新能源汽车销量预测模型参数优化方法 | |
CN106568647A (zh) | 一种基于神经网络的混凝土强度预测方法 | |
CN109146055A (zh) | 基于正交化实验和人工神经网络的改进粒子群优化方法 | |
CN102393645A (zh) | 一种高速电液比例调速***的控制方法 | |
CN114564787A (zh) | 用于目标相关翼型设计的贝叶斯优化方法、装置及存储介质 | |
CN106651090B (zh) | 一种归一化的人机***飞行品质预测方法 | |
CN115688588B (zh) | 一种基于改进xgb方法的海表面温度日变化振幅预测方法 | |
CN112163632A (zh) | 基于蝙蝠算法的半监督极限学习机在工业检测中的应用 | |
CN105921522B (zh) | 基于rbf神经网络的层流冷却温度自适应控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110817 Termination date: 20140308 |