CN111625995A - 一种集成遗忘机制和双超限学习机的在线时空建模方法 - Google Patents
一种集成遗忘机制和双超限学习机的在线时空建模方法 Download PDFInfo
- Publication number
- CN111625995A CN111625995A CN202010450196.XA CN202010450196A CN111625995A CN 111625995 A CN111625995 A CN 111625995A CN 202010450196 A CN202010450196 A CN 202010450196A CN 111625995 A CN111625995 A CN 111625995A
- Authority
- CN
- China
- Prior art keywords
- learning machine
- model
- ultralimit
- online
- ultralimit learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000007246 mechanism Effects 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000036961 partial effect Effects 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 abstract description 21
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种集成遗忘机制和双超限学习机的在线时空建模方法,包括:根据非线性分布参数***固化炉固化热过程的非线性偏微分方程,将时空输出变量解耦为时间系数序列和空间序列;基于时间系数序列,建立第一超限学习机模型及第二超限学习机模型;利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数;将空间序列和更新后的第一超限学习机模型、第二超限学习机模型综合,重构出在线时空模型,解决了现有非线性分布参数***如固化炉的建模方法大多是在离线环境下开发,具有不能反映在线序列训练数据时效性且计算效率低的问题,使固化炉温度的在线预测更加匹配实际温度的动态变化。
Description
技术领域
本发明涉及非线性分布参数***的时空建模技术领域,更具体地,涉及一种集成遗忘机制和双超限学习机的在线时空建模方法。
背景技术
许多工业过程,如热加工、流体流动、化学工程等,不仅与时间有关,而且与空间有关,这些***是典型的非线性分布参数***(DPSs),与集总参数***(LPSs)不同,DPSs通常由一个或一组具有相应的初始和边界条件的偏微分方程(PDEs)来描述,非线性分布参数***的输入、输出、甚至状态参数都是时空耦合的,从而导致了这类***的无限维特性,因此,这类***的建模非常是困难的。
固化炉是半导体后端封装行业在固化过程中提供所需温度分布的重要设备,属于非线性分布参数***,由于固化过程的边界条件非常复杂以及内部未知扰动的影响,固化过程的精确偏微分方程描述很难获得,但固化炉温度的分布直接影响着芯片的固化质量,而固化炉这类非线性分布参数***的建模对固化炉温度的在线预测具有十分重要的意义。
公开号为CN109145346A,公开日为2019年1月4日的中国专利提出了一种基于双重最小二乘支持向量机的固化热过程时空建模方法,用于在线预测和控制芯片固化炉的热过程,是基于主成分分析法(PCA)的时空建模,但基于主成分分析法的时空模型是在离线环境下开发的,即在建模之前收集并准备所有的训练数据,该建模方法不能反映在线序列训练数据的时效性,而且在实际的芯片固化过程中,***通常具有大规模的时变特征,这需要使用新的样本在线更新时空模型以保持令人满意的性能,尽管传统的时空建模方法对固化炉热过程具有满意的建模性能,但该模型的在线实施仍存在一些问题,主要有以下几个方面:
1)在线更新:基于主成分分析法的时空模型是在离线环境下开发的往往导致大规模、时变***的模型漂移。
2)计算效率:对于大尺度时变***,新旧样本之间存在较大差异。如果时空模型只在训练样本集中连续添加新样本而不对旧样本进行处理,将导致其对新训练样本的学习能力有限,从而难以准确描述时变***的特征。另外,样本数量的增加会增加***的计算负担,并且占用大量的内存空间。
发明内容
为克服现有非线性分布参数***如固化炉的建模方法大多是在离线环境下开发,具有不能反映在线序列训练数据时效性的弊端,且模型在线更新能力差,计算效率低,本发明提出一种集成遗忘机制和双超限学习机的在线时空建模方法,考虑了***的时变特征,建立的模型在线更新能力强,精度高,使固化炉温度的在线预测更加匹配实际温度的动态变化。
为实现以上发明目的,本发明的技术方案如下:
一种集成遗忘机制和双超限学习机的在线时空建模方法,至少包括:
S1.根据非线性分布参数***固化炉固化热过程的非线性偏微分方程,将时空输出变量解耦为时间系数序列和空间序列;
S2.基于时间系数序列,建立第一超限学习机模型及第二超限学习机模型;
S3.利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数;
S4.将空间序列和更新后的第一超限学习机模型、第二超限学习机模型综合,重构出在线时空模型。
优选地,步骤S1所述的非线性分布参数***固化炉固化热过程的非线性偏微分方程为:
其中,T(S,t)表示在时间t和位置S=(x,y,z)∈(0,S0)的时空输出变量,ρ表示密度,k表示热系数,c表示比热系数,f(T(S,t))是与时空输出变量T有关的未知非线性热动态,Q(S,t)表示热源,表示拉普拉斯空间算子,T0(S,0)表示初始时空输出变量;
时空输出变量T(S,t)解耦为时间系数序列和空间序列的表达式为:
第i个时间系数的表达式为:
ai(t)=gi(ai(t-1))+hi(u(t-1))
其中,gi(·)和hi(·)均指非线性函数。
在此,由于非线性分布参数***固化炉固化热过程的非线性偏微分方程不能直接用于在线预测和控制的空间/时间耦合,采用空间/时间分离方法,将时空输出变量解耦,空间序列BFs可以用具有采集时空分布数据的KL方法来学习,空间序列的第一个n阶可以捕获DPS的主导动态行为,另外,目前有许多基于数据的辨识方法来估计低阶时间模型,时间模型训练好之后,可以为后续通过空间/时间合成来重构时空模型奠定基础。
优选地,步骤S2所述的第一超限学习机模型的表达式为:
第二超限学习机模型的表达式为:
其中,βσ表示第一超限学习机模型中连接输出节点和隐藏节点的输出权重,β′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输出权重,ωσ表示第一超限学习机模型中连接输出节点和隐藏节点的输入权重,ω′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输入权重,σ表示第一超限学习机模型中第σ个隐藏节点,N1表示第一超限学习机模型中隐藏节点的个数,N2表示第二超限学习机模型中隐藏节点的个数,G1表示第一超限学习机模型中隐藏层的激活函数;G2表示第二超限学习机模型中隐藏层的激活函数,ησ表示第一超限学习机模型中隐藏节点的阈值,η′δ表示第二超限学习机模型中隐藏节点的阈值,u(t)表示第二超限学习机模型的建立所基于的时间系数序列中时间系数,gi(·)和hi(·)两个非线性函数满足:gi(·)=g(·),hi(·)=h(·)。
优选地,基于第一超限学习机模型及第二超限学习机模型的表达式,时间系数a(t)的表达式进一步表示为:
此时,第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ、第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ、第一超限学习机模型中隐藏节点的阈值ησ及第二超限学习机模型中隐藏节点的阈值η′δ均是随机生成,独立于训练数据且彼此间独立,第一超限学习机模型中连接输出节点和隐藏节点的输出权重βσ及第二超限学习机模型中连接输出节点和隐藏节点的输出权重β′δ根据输入输出数据来确定;时间系数a(t)进一步的表达式是根据耦合双非线性结构设计的双超限学习机的数学描述,随机生成的ωσ,ω′δ,ησ和η′δ一旦估计,这些值将在后续的学习过程中固定不变。
进一步表示为:a(t)=hT(t)θ
其中,h(t)表示与输入-输出数据相关的第一超限学习机模型及第二超限学习机模型参数向量,表达式为:
A=Hθ
其中,A=[a(2),a(3),...,a(L)]T表示时间系数a(t)的输出向量形式,L表示相量的数据长度;H=[hT(2)L hT(L)]T表示回归矩阵;
使用MP广义逆矩阵,更新的参数θ1为写成:
P1=((P0)-1+h(L0+1)hT(L0+1))-1
=P0-P0h(L0+1)(I+hT(L0+1)P0h(L0+1))-1hT(L0+1)P0
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,
在此,在线数据通常是逐个或逐块到达,由于其模型结构与一般热***相匹配,已经建立的第一超限学习机模型及第二超限学习机模型能够很好地模拟DPSs的时空动态特性,然而,对于大型时变***来说,在离线环境下开发的该模型应该进行在线更新,以保持满意的模型性能,常规实现在线更新的方法是将现有数据和新到的数据相结合,从零开始重复训练模型,这将给实际应用带来很大的计算负担。因此,时空模型的在线更新需要一种在线的顺序学习算法,保证只使用学习到的模型参数和新到的数据。
优选地,设新的输入-输出数据为:{z(L0+1),a(L0+1)},{z(2),a(2)}表示相对于新输入—输出数据的老输入-输出数据{z(2),a(2)},则:
基于MP广义逆矩阵及遗忘机制,参数θ1为:
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,丢弃最老的数据{z(m+2),a(m+2)},则:
在此,对于大规模时变***,训练样本通常具有时效性,即训练样本具有一定的有效期,而且学习过程具有连续性,由于连续添加样本,整个***中被训练的样本的数量将而连续地增加,这将使回归矩阵H的维数不断增加,从而增加***的计算负担,占用大量的内存空间。因此,在DPSs的在线顺序学习过程中,将遗忘机制嵌入到在线学习过程中,可以通过放弃过时的训练数据来提高学习效果,从而减少它们对后续学习的不良影响,遗忘机制的嵌入可以保证在线建模具有提高计算工作效率、节省大量计算工作时间、不需要存储过时数据的优点。
优选地,步骤S3所述利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数的过程为:
S301.初始化:设训练数据个数的次序m首先为零,选定第一超限学习机模型中隐藏层的激活函数G1,第二超限学习机模型中隐藏层的激活函数G2,第一超限学习机模型中隐藏节点的个数N1,第二超限学习机模型中隐藏节点的个数N2,随机生成第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ,第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ,第一超限学习机模型中隐藏节点的阈值ησ,第二超限学习机模型中隐藏节点的阈值η′δ;
计算第一超限学习机模型及第二超限学习机模型隐藏层的初始输出矩阵:
H0=[hT(2) L hT(L0)]T,计算初始未知模型参数:θ0=P0H0 TA0
其中,初始未知模型参数即模型初始输出权重,P0=(H0 TH0)-1,A0=[a(2),a(3),...,a(L0)]T;
S302.进行集成遗忘机制的在线顺序学习:
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,计算第m+1个激活函数:
S304.利用计算的模型输出权重,根据A=Hθ来评估第一超限学习机模型及第二超限学习机模型;
S305.令m的值增加1,返回步骤S302。
在此,实施过程中不需要DPSs的解析表达式,对于一般的工业应用来说,也是非常合适的。
优选地,利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数时,训练数据被逐个或逐块接收。
在此,由于训练数据被逐个或逐块接收,如果训练数据逐块到达,则
优选地,初始化训练数据L0的数目不小第一超限学习模型及第二超限学习机模型的隐神经元数之和,保证了初始回归矩阵H0的秩为两个超限学习机模型的隐藏层的个数之和。
优选地,步骤S4所述重构的在线时空模型的表达式为:
与现有技术相比,本发明技术方案的有益效果是:
本发明提出一种集成遗忘机制和双超限学习机的在线时空建模方法,考虑非线性分布参数***固化炉固化热过程的非线性偏微分方程不能用于在线预测和控制空间/时间耦合的局限性,将时空输出变量解耦为时间系数序列和空间序列,基于时间系数序列,建立第一超限学习机模型及第二超限学习机模型,利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数,将遗忘机制嵌入到在线学习过程中,可以通过放弃过时的训练样本来提高学习效果,对训练数据进行在线更新,提高模型的在线更新能力,保证在线建模具有较高的计算工作效率、节省大量计算工作时间且不需要存储过时数据,重构出的在线时空模型更接近固化炉实际固化的热过程,使固化炉温度的在线预测更加匹配实际温度的动态变化。
附图说明
图1为本发明提出的集成遗忘机制和双超限学习机的在线时空建模方法的流程图;
图2为本发明实施例中提出的实际固化炉内部原理框架结构图;
图3为本发明实施例中提出的实际快速固化炉***内部结构图;
图4为本发明实施例中提出的采集数据的传感器在引线框架上的布置图;
图5为本发明实施例中提出的预测时间系数与实测时间系数的对比示意图;
图6为本发明实施例中固化炉***实际的温度分布图;
图7为本发明实施例中绝对相对误差ARE的分布图;
图8为本发明实施例中使用初始离线模型在传感器6上预测与实际的温度T分布对比图;
图9为本发明实施例中使用初始离线模型在传感器6上预测与实际的绝对相对误差ARE的曲线图;
图10为本发明实施例中使用在线更新模型在传感器6上预测与实际的温度分布对比图;
图11为本发明实施例中使用在线更新模型在传感器6上预测与实际的绝对相对误差ARE的曲线图;
图12为本发明实施例中使用初始离线模型在传感器11上预测与实际的温度分布对比图;
图13为本发明实施例中使用初始离线模型在传感器11上预测与实际的绝对相对误差ARE曲线图;
图14为本发明实施例中使用在线更新模型在传感器11上预测与实际的温度分布对比图;
图15为本发明实施例中使用本申请在线更新模型在传感器11上预测的绝对相对误差ARE的示意图;
图16为本发明实施例中使用本申请在线更新模型预测的绝对相对误差ARE的示意图;
图17为本发明实施例中基于OS-ELM的时空模型预测的绝对相对误差ARE的示意图;
图18为本发明实施例中使用本申请所提方法与基于OS-ELM方法的仿真时间比较示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
一种集成遗忘机制和双超限学习机的在线时空建模方法,流程示意图如图1所示,包括以下步骤:
S1.根据非线性分布参数***固化炉固化热过程的非线性偏微分方程,将时空输出变量解耦为时间系数序列和空间序列;具体为:非线性分布参数***固化炉固化热过程的非线性偏微分方程为:
其中,T(S,t)表示在时间t和位置S=(x,y,z)∈(0,S0)的时空输出变量,ρ表示密度,k表示热系数,c表示比热系数,f(T(S,t))是与时空输出变量T有关的未知非线性热动态,Q(S,t)表示热源,表示拉普拉斯空间算子,T0(S,0)表示初始时空输出变量;
时空输出变量T(S,t)解耦为时间系数序列和空间序列的表达式为:
第i个时间系数的表达式为:
ai(t)=gi(ai(t-1))+hi(u(t-1))
其中,gi(·)和hi(·)均指非线性函数。
S2.基于时间系数序列,建立第一超限学习机模型及第二超限学习机模型;所述的第一超限学习机模型的表达式为:
第二超限学习机模型的表达式为:
其中,βσ表示第一超限学习机模型中连接输出节点和隐藏节点的输出权重,β′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输出权重,ωσ表示第一超限学习机模型中连接输出节点和隐藏节点的输入权重,ω′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输入权重,σ表示第一超限学习机模型中第σ个隐藏节点,N1表示第一超限学习机模型中隐藏节点的个数,N2表示第二超限学习机模型中隐藏节点的个数,G1表示第一超限学习机模型中隐藏层的激活函数;G2表示第二超限学习机模型中隐藏层的激活函数,ησ表示第一超限学习机模型中隐藏节点的阈值,η′δ表示第二超限学习机模型中隐藏节点的阈值,u(t)表示第二超限学习机模型的建立所基于的时间系数序列中时间系数,gi(·)和hi(·)两个非线性函数满足:gi(·)=g(·),hi(·)=h(·)。
基于第一超限学习机模型及第二超限学习机模型的表达式,时间系数a(t)的表达式进一步表示为:
此时,第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ、第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ、第一超限学习机模型中隐藏节点的阈值ησ及第二超限学习机模型中隐藏节点的阈值η′δ均是随机生成,独立于训练数据且彼此间独立,第一超限学习机模型中连接输出节点和隐藏节点的输出权重βσ及第二超限学习机模型中连接输出节点和隐藏节点的输出权重β′δ根据输入输出数据来确定;时间系数a(t)进一步的表达式是根据耦合双非线性结构设计的双超限学习机的数学描述,随机生成的ωσ,ω′δ,ησ和η′δ一旦估计,这些值将在后续的学习过程中固定不变。
进一步表示为:a(t)=hT(t)θ
其中,h(t)表示与输入-输出数据相关的第一超限学习机模型及第二超限学习机模型参数向量,表达式为:
A=Hθ
其中,A=[a(2),a(3),...,a(L)]T表示时间系数a(t)的输出向量形式,L表示相量的数据长度;H=[hT(2) L hT(L)]T表示回归矩阵;
S3.利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数;首先,初始训练集块为:则第一超限学习机及第二超限学习机初始模型参数为下标0表示与初始训练集块相关的初始向量或矩阵,设输入输出数据{z(L0+1),a(L0+1)}到达,则:
使用MP广义逆矩阵,更新的参数θ1为写成:
P1=((P0)-1+h(L0+1)hT(L0+1))-1
=P0-P0h(L0+1)(I+hT(L0+1)P0h(L0+1))-1hT(L0+1)P0
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,
设新的输入-输出数据为:{z(L0+1),a(L0+1)},{z(2),a(2)}表示相对于新输入—输出数据的老输入-输出数据{z(2),a(2)},则:
基于MP广义逆矩阵及遗忘机制,参数θ1为:
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,丢弃最老的数据{z(m+2),a(m+2)},则:
基于上述推演过程,具体利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数的步骤为:
S301.初始化:设训练数据个数的次序m首先为零,选定第一超限学习机模型中隐藏层的激活函数G1,第二超限学习机模型中隐藏层的激活函数G2,第一超限学习机模型中隐藏节点的个数N1,第二超限学习机模型中隐藏节点的个数N2,随机生成第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ,第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ,第一超限学习机模型中隐藏节点的阈值ησ,第二超限学习机模型中隐藏节点的阈值η′δ;
计算第一超限学习机模型及第二超限学习机模型隐藏层的初始输出矩阵:
H0=[hT(2) L hT(L0)]T,计算初始未知模型参数:θ0=P0H0 TA0
其中,初始未知模型参数即模型初始输出权重,P0=(H0 TH0)-1,A0=[a(2),a(3),...,a(L0)]T;
S302.进行集成遗忘机制的在线顺序学习:
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,计算第m+1个激活函数:
S304.利用计算的模型输出权重,根据A=Hθ来评估第一超限学习机模型及第二超限学习机模型;
S305.令m的值增加1,返回步骤S302。
S4.将空间序列和更新后的第一超限学习机模型、第二超限学习机模型综合,重构出在线时空模型。
重构的在线时空模型的表达式为:
此外,利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数时,训练数据被逐个或逐块接收,由于训练数据被逐个或逐块接收,如果训练数据逐块到达,则
初始化训练数据L0的数目不小第一超限学习模型及第二超限学习机模型的隐神经元数之和,保证了初始回归矩阵H0的秩为两个超限学习机模型的隐藏层的个数之和。
下面结合上述提出的具体在线时空建模方法,对固化炉进行实时试验,如图2所示的实际快速固化炉***的结构图,图3为固化炉相应的内部原理框架结构图,其中1表示加热器,2表示传感器,3表示腔室,4表示引线框架。参见图3,固化炉的顶部有四个相同的加热器1,由脉宽调制(PWM)信号控制,参见图4,将S1~S16共16个热电偶作为传感器均匀放置在引线框架4上,以便收集数据,这些传感器2在固定采样间隔Δt=10s内采集了大约2100个时间序列数据,用于模型训练和在线学习。
为了便于本申请所提出在线时空建模方法建立的模型的验证和其它建模方法的比较,给出以下误差指标:
1)时空预测误差(e)
2)绝对相对误差(ARE)
3)均方根误差(RMSE)
4)时间归一化绝对误差(TNAE)
在线时空建模中,将采集到的样本分为两部分,前800个样本用于初始时空模型构建,最后1300个样本用于在线学习。
首先,构建初始时空模型。利用KL方法计算空间序列BFs,选取阶数为3,然后将时空样本投影到BFs上,得到时间系数利用时间系数和相应的输入信号,估计低阶时间模型。最后,利用时空合成方法重建初始时空模型。
为了评价初始模型的性能,对最后1300个样本进行了测试,在图5中对实际时间系数和预测时间系数进行了比较,它们在预测的动态特性和实测的动态特性之间显示出非常令人满意的一致性。此外,对第2100个样本的预测温度分布和相应的ARE指数进行了模拟,温度分布图如图6所示,ARE指数的分布图如图7所示。通过图6和图7可知,初始时空模型能够很好地近似实际的DPS。
在线学习过程中,假设1300个样本逐块到达,并且大小固定,设定为10,这样就可以将1300个样本分割成130个连续块。将固定步长设置为1400个样本,即一旦训练样本数达到1400个,就会利用遗忘机制删除最老的样本,让样本数等于1400个。为了评估所提出的在线方法和初始离线模型的模型性能,在具体实施时,模拟了使用初始离线模型在传感器6上预测与实际的温度T的分布对比图如图8所示,绝对相对误差ARE的曲线图如图9所示,使用在线更新模型在传感器6上预测与实际的温度T分布对比图如图10所示,使用在线更新模型在传感器6上预测与实际的绝对相对误差ARE的对比图如图11所示,使用初始离线模型在传感器11上预测与实际的温度T分布对比图如图12所示,使用初始离线模型在传感器11上预测与实际的绝对相对误差ARE如图13所示,使用在线更新模型在传感器11上预测与实际的温度T分布对比图如图14所示,使用在线更新模型在传感器11上预测与实际的绝对相对误差ARE的曲线图如图15所示,通过曲线对比,可以看出本申请所提出的在线更新模型能够更加匹配实际温度的动态变化,也验证了本申请所提方法的有效性。
为了进行模型比较,在相同实验条件下,为固化热过程开发了在线顺序ELM(OS-ELM),OS-ELM没有集成遗忘机制的,为了验证本申请所提集成遗忘机制的方法建立模型的优越性,图16给出了使用本申请在线更新模型预测的第2100个测试样本的误差指数ARE分布图,图17给出了使用基于OS-ELM的时空模型预测的绝对相对误差ARE的示意图,由图16及图17可以看出,这两种在线模型都展现出了比初始离线模型更好的模型性能,然而,与基于OS-ELM的时空模型相比,本申请方法建立的模型具有更高的模型精度。
为了进一步比较本申请方法所建模型与OS—ELM模型的性能,表1给出了基于TNAE的本申请方法所建模型与OS-ELM模型的性能比较数据,表2给出了基于RMSE的本申请方法所建模型与OS-ELM模型的性能比较数据。
表1
表2
通过表1和表2可以看出,本申请提出的方法所建的模型具有较好的模型性能。图18为所提本申请所提方法与基于OS-ELM方法的仿真时间比较示意图,通过图18可以看出将遗忘机制嵌入在线时空学习中,可以提高学习效率,节省计算量,释放内存空间。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,至少包括:
S1.根据非线性分布参数***固化炉固化热过程的非线性偏微分方程,将时空输出变量解耦为时间系数序列和空间序列;
S2.基于时间系数序列,建立第一超限学习机模型及第二超限学习机模型;
S3.利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数;
S4.将空间序列和更新后的第一超限学习机模型、第二超限学习机模型综合,重构出在线时空模型。
2.根据权利要求1所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,步骤S1所述的非线性分布参数***固化炉固化热过程的非线性偏微分方程为:
其中,T(S,t)表示在时间t和位置S=(x,y,z)∈(0,S0)的时空输出变量,ρ表示密度,k表示热系数,c表示比热系数,f(T(S,t))是与时空输出变量T有关的未知非线性热动态,Q(S,t)表示热源,表示拉普拉斯空间算子,T0(S,0)表示初始时空输出变量;
时空输出变量T(S,t)解耦为时间系数序列和空间序列的表达式为:
第i个时间系数的表达式为:
ai(t)=gi(ai(t-1))+hi(u(t-1))
其中,gi(·)和hi(·)均指非线性函数。
3.根据权利要求2所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,步骤S2所述的第一超限学习机模型的表达式为:
第二超限学习机模型的表达式为:
其中,βσ表示第一超限学习机模型中连接输出节点和隐藏节点的输出权重,β′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输出权重,ωσ表示第一超限学习机模型中连接输出节点和隐藏节点的输入权重,ω′δ表示第二超限学习机模型中连接输出节点和隐藏节点的输入权重,σ表示第一超限学习机模型中第σ个隐藏节点,N1表示第一超限学习机模型中隐藏节点的个数,N2表示第二超限学习机模型中隐藏节点的个数,G1表示第一超限学习机模型中隐藏层的激活函数;G2表示第二超限学习机模型中隐藏层的激活函数,ησ表示第一超限学习机模型中隐藏节点的阈值,η′δ表示第二超限学习机模型中隐藏节点的阈值,u(t)表示第二超限学习机模型的建立所基于的时间系数序列中时间系数,gi(·)和hi(·)两个非线性函数满足:gi(·)=g(·),hi(·)=h(·)。
4.根据权利要求3所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,基于第一超限学习机模型及第二超限学习机模型的表达式,时间系数a(t)的表达式进一步表示为:
此时,第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ、第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ、第一超限学习机模型中隐藏节点的阈值ησ及第二超限学习机模型中隐藏节点的阈值η′δ均是随机生成,独立于训练数据且彼此间独立,第一超限学习机模型中连接输出节点和隐藏节点的输出权重βσ及第二超限学习机模型中连接输出节点和隐藏节点的输出权重β′δ根据输入输出数据来确定;
进一步表示为:a(t)=hT(t)θ
其中,h(t)表示与输入-输出数据相关的第一超限学习机模型及第二超限学习机模型参数向量,表达式为:
A=Hθ
其中,A=[a(2),a(3),...,a(L)]T表示时间系数a(t)的输出向量形式,L表示相量的数据长度;H=[hT(2) L hT(L)]T表示回归矩阵;
5.根据权利要求4所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,初始训练集块为:则第一超限学习机及第二超限学习机初始模型参数为下标0表示与初始训练集块相关的初始向量或矩阵,设输入输出数据{z(L0+1),a(L0+1)}到达,则:
使用MP广义逆矩阵,更新的参数θ1为写成:
P1=((P0)-1+h(L0+1)hT(L0+1))-1
=P0-P0h(L0+1)(I+hT(L0+1)P0h(L0+1))-1hT(L0+1)P0
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,
7.根据权利要求6所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,步骤S3所述利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数的过程为:
S301.初始化:设训练数据个数的次序m首先为零,选定第一超限学习机模型中隐藏层的激活函数G1,第二超限学习机模型中隐藏层的激活函数G2,第一超限学习机模型中隐藏节点的个数N1,第二超限学习机模型中隐藏节点的个数N2,随机生成第一超限学习机模型中连接输出节点和隐藏节点的输入权重ωσ,第二超限学习机模型中连接输出节点和隐藏节点的输入权重ω′δ,第一超限学习机模型中隐藏节点的阈值ησ,第二超限学习机模型中隐藏节点的阈值η′δ;
计算第一超限学习机模型及第二超限学习机模型隐藏层的初始输出矩阵:
H0=[hT(2) L hT(L0)]T,计算初始未知模型参数:θ0=P0H0 TA0
其中,初始未知模型参数即模型初始输出权重,P0=(H0 TH0)-1,A0=[a(2),a(3),...,a(L0)]T;
S302.进行集成遗忘机制的在线顺序学习:
当第m+1个数据{z(L0+m+1),a(L0+m+1)}到达时,计算第m+1个激活函数:
S304.利用计算的模型输出权重,根据A=Hθ来评估第一超限学习机模型及第二超限学习机模型;
S305.令m的值增加1,返回步骤S302。
8.根据权利要求7所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,利用集成遗忘机制的在线顺序学习算法更新第一超限学习机模型及第二超限学习机模型的模型参数时,训练数据被逐个或逐块接收。
9.根据权利要求8所述的集成遗忘机制和双超限学习机的在线时空建模方法,其特征在于,初始化训练数据L0的数目不小第一超限学习模型及第二超限学习机模型的隐神经元数之和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450196.XA CN111625995B (zh) | 2020-05-25 | 2020-05-25 | 一种集成遗忘机制和双超限学习机的在线时空建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010450196.XA CN111625995B (zh) | 2020-05-25 | 2020-05-25 | 一种集成遗忘机制和双超限学习机的在线时空建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111625995A true CN111625995A (zh) | 2020-09-04 |
CN111625995B CN111625995B (zh) | 2022-06-24 |
Family
ID=72259050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010450196.XA Active CN111625995B (zh) | 2020-05-25 | 2020-05-25 | 一种集成遗忘机制和双超限学习机的在线时空建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111625995B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548368A (zh) * | 2022-01-20 | 2022-05-27 | 广东产品质量监督检验研究院(国家质量技术监督局广州电气安全检验所、广东省试验认证研究院、华安实验室) | 一种基于多层核超限学习机的锂电池温度场预测模型的建模方法、预测模型以及预测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108717505A (zh) * | 2018-05-29 | 2018-10-30 | 广东工业大学 | 一种基于k-rvfl的固化热过程时空建模方法 |
CN108763759A (zh) * | 2018-05-29 | 2018-11-06 | 广东工业大学 | 一种基于isomap的固化热过程时空建模方法 |
CN109145346A (zh) * | 2018-05-29 | 2019-01-04 | 广东工业大学 | 基于双重最小二乘支持向量机的固化热过程时空建模方法 |
CN110377942A (zh) * | 2019-06-10 | 2019-10-25 | 广东工业大学 | 一种基于有限高斯混合模型的多模型时空建模方法 |
-
2020
- 2020-05-25 CN CN202010450196.XA patent/CN111625995B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108717505A (zh) * | 2018-05-29 | 2018-10-30 | 广东工业大学 | 一种基于k-rvfl的固化热过程时空建模方法 |
CN108763759A (zh) * | 2018-05-29 | 2018-11-06 | 广东工业大学 | 一种基于isomap的固化热过程时空建模方法 |
CN109145346A (zh) * | 2018-05-29 | 2019-01-04 | 广东工业大学 | 基于双重最小二乘支持向量机的固化热过程时空建模方法 |
CN110377942A (zh) * | 2019-06-10 | 2019-10-25 | 广东工业大学 | 一种基于有限高斯混合模型的多模型时空建模方法 |
Non-Patent Citations (3)
Title |
---|
张兴宇等: "基于ELM的芯片固化炉炉温建模方法", 《制造业自动化》 * |
郭威等: "具有广义正则化与遗忘机制的在线贯序超限学习机", 《控制与决策》 * |
马致远等: "在线增量极限学习机及其性能研究", 《计算机应用研究》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548368A (zh) * | 2022-01-20 | 2022-05-27 | 广东产品质量监督检验研究院(国家质量技术监督局广州电气安全检验所、广东省试验认证研究院、华安实验室) | 一种基于多层核超限学习机的锂电池温度场预测模型的建模方法、预测模型以及预测方法 |
CN114548368B (zh) * | 2022-01-20 | 2022-10-11 | 广东产品质量监督检验研究院(国家质量技术监督局广州电气安全检验所、广东省试验认证研究院、华安实验室) | 一种基于多层核超限学习机的锂电池温度场预测模型的建模方法以及预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111625995B (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111090945B (zh) | 一种针对切换***的执行器和传感器故障估计设计方法 | |
US9489620B2 (en) | Quick analysis of residual stress and distortion in cast aluminum components | |
CN110377942B (zh) | 一种基于有限高斯混合模型的多模型时空建模方法 | |
WO2017031718A1 (zh) | 弹性物体变形运动的建模方法 | |
CN111539132B (zh) | 一种基于卷积神经网络的动载荷时域识别方法 | |
CN114548368B (zh) | 一种基于多层核超限学习机的锂电池温度场预测模型的建模方法以及预测方法 | |
CN109709934B (zh) | 一种飞行控制***故障诊断冗余设计方法 | |
CN109885916B (zh) | 一种基于lssvm的混合试验在线模型更新方法 | |
JP6730340B2 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
CN114117840A (zh) | 一种基于仿真和试验数据混合驱动的结构性能预测方法 | |
Castañeda et al. | Decentralized neural identifier and control for nonlinear systems based on extended Kalman filter | |
Fu et al. | Improved unscented Kalman filter algorithm-based rapid identification of thermal errors of machine tool spindle for shortening thermal equilibrium time | |
CN111625995B (zh) | 一种集成遗忘机制和双超限学习机的在线时空建模方法 | |
CN115972211A (zh) | 基于模型不确定性与行为先验的控制策略离线训练方法 | |
CN110007617B (zh) | 一种飞行器半实物仿真***的不确定度传递分析方法 | |
WO2024139626A1 (zh) | 一种线性柔性体形变状态分析方法及相关装置 | |
CN113570165A (zh) | 基于粒子群算法优化的煤储层渗透率智能预测方法 | |
CN116070437B (zh) | 锂电池表面温度建模方法、装置、计算机设备和存储介质 | |
CN110084324B (zh) | 基于极限学习机的卡尔曼滤波参数自适应更新方法 | |
CN116362140A (zh) | 基于Transformer和GRU融合的传感器误差补偿方法、***、装置及介质 | |
JP6919856B2 (ja) | 強化学習プログラム、強化学習方法、および強化学習装置 | |
CN115481554A (zh) | ***熔铸固化过程热扩散数字孪生模型、温度场实时优化控制模型及方法 | |
CN114880921A (zh) | 基于有限测点的热源***温度场实时重建方法 | |
CN114186477A (zh) | 一种基于Elman神经网络的轨道预测算法 | |
CN107305348B (zh) | 基于相依性度量的动态***迟延计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |