CN114035529B - 基于atl-bma的非线性工业过程低成本建模方法 - Google Patents
基于atl-bma的非线性工业过程低成本建模方法 Download PDFInfo
- Publication number
- CN114035529B CN114035529B CN202111411517.6A CN202111411517A CN114035529B CN 114035529 B CN114035529 B CN 114035529B CN 202111411517 A CN202111411517 A CN 202111411517A CN 114035529 B CN114035529 B CN 114035529B
- Authority
- CN
- China
- Prior art keywords
- industrial process
- data
- old
- new
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 301
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 54
- 238000013508 migration Methods 0.000 claims abstract description 40
- 230000005012 migration Effects 0.000 claims abstract description 35
- 238000012706 support-vector machine Methods 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012843 least square support vector machine Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供了一种基于ATL‑BMA的非线性工业过程低成本建模方法,选取N组相似旧过程建模数据;收集新过程建模初始数据集;将新旧过程数据分别划分为两部分,并分别进行归一化处理;将N组旧过程数据转换成带有新过程信息的N组旧过程数据,并与相应旧过程数据混合后得到N组混合数据集,然后训练支持向量机模型,得到N个带有新过程信息的旧过程基础模型;将新过程训练集输入变量映射至相似旧过程输入变量运行区间内,并得到这N个预测模型的融合输出;将旧过程SVM模型融合输出和新过程输入数据作为多模型迁移策略的输入数据,训练得到新过程模型。该方法能有效解决复杂工业过程建模成本高、获取的建模数据有限、建模周期长的问题。
Description
技术领域
本发明属于工业过程构建性能预测模型技术领域,具体涉及一种基于ATL-BMA的非线性工业过程低成本建模方法。
背景技术
现代工业过程为了适应市场对产品提出的多规格、多品种、高质量的需求,正朝着大型化、高效化和集成化方向迈步。一方面随着生产规模的逐步扩大,在实际生产过程中会不断的有新工业生产过程加入以满足不同的产品需求,这也就导致实际工业生产过程复杂程度越来越高。另一方面,运行环境的变化和运行时间的增长都会使得实际工业过程的特性发生变化。这两个方面都会导致过程数据多变的特性。在这种情况下利用数据驱动方法对工业过程进行建模时需要解决一个棘手的问题:由于成本等多方面因素,从新工业过程中获取的建模数据严重不足,在少量建模数据的支持下无法利用数据驱动建模方法建立准确的过程预测模型,同时所得模型泛化能力低。面对这种情况,希望已有运行时间较长的工业生产过程数据或知识能够辅助指导建立新工业过程的预测模型。虽然新旧工业过程运行数据特性存在一定程度上的差异,但是其过程内部所遵循的物理化学机理是不变或非常相似的,所以新工业过程数据与旧工业过程数据具有相同或相似的特征空间与标签空间(两者输入输出数据维度一致)。如图1所示,可以将新工业过程和旧工业过程分别看成目标域和源域,然后通过迁移学习方法使用旧工业过程数据辅助建立新工业过程预测模型。但是当源域数据远多于目标域数据时,传统迁移学习结构下使用源域数据对目标域数据进行补充学习时容易出现“负迁移”现象。
发明内容
针对上述现有技术存在的问题,本发明提供一种基于ATL-BMA的非线性工业过程低成本建模方法,该方法能有效解决复杂工业过程建模成本高、获取的建模数据有限、建模周期长的问题,同时能解决迁移学习中旧过程数据远多于新过程数据时可能出现的“负迁移”现象,其能充分利用已有相似旧工业过程模型的信息辅助指导建立新工业过程的预测模型,可有效降低建模成本,并可加快模速度、提高建模精度。
为了实现上述目的,本发明提供一种基于ATL-BMA的非线性工业过程低成本建模方法,包括以下步骤:
步骤1:选取N组相似旧工业过程建模数据,并根据实际待建模过程的信息,确定输入变量的稳定运行范围;同时,选择拉丁超立方法进行采样和收集目标非线性工业过程建模初始数据集;其具体步骤如下:
步骤1.1:选取N组相似旧工业过程建模数据,记为根据公式(1)对于第i个旧工业过程进行建模;
式中,X和x是旧工业过程输入数据,y是旧工业过程输出数据,ki表示第i个旧工业过程建模数据量,而n是第i个旧工业过程的输入变量维度,由于新旧工业过程存在一定相似性,因而对于所有工业过程的输入变量维度一致,都为n;
步骤1.2:根据实际待建模过程的信息,确定输入变量的稳定运行范围,并选择离散稀疏的数据分布点进行采样和收集新工业过程建模数据,根据公式(2)获得采集的新工业过程数据Dnew;
式中,l表示新工业过程建模数据量;
步骤2:将新工业过程数据和旧工业过程数据分别划分为两部分,分别为新旧建模过程中的训练数据集和测试数据集,并将新工业过程初始数据集和旧工业过程建模数据分别进行归一化处理;其中,对于新工业过程数据,将其分为新工业过程训练数据集和新工业过程测试数据集/>并利用公式(3)将数据映射到[0,1]区间;
式中,zi表示工业过程输入或输出数据归一化之后的结果,xi是归一化之前的数据,xmax是数据归一化之前的最大值,xmin是最小值;
步骤3:运用基于Cycle GANs的新旧工业过程数据迁移算法,将N组旧工业过程数据转换成带有新工业过程信息的N组旧工业过程数据;其中,旧工业过程训练数据集为其具体步骤如下:
步骤3.1:初始化参数:G参数θG,Do参数ωo,F参数θF,Dn参数ωn,ncritic=5,α=0.00005、β1=0、β2=0.7,m=5,λ=0.5,Epoch=20000;
其中:G表示旧工业过程到新工业过程数据的生成器函数,Do表示旧工业过程对应的判别器,F表示新工业过程到旧工业过程的生成器函数,Dn表示新工业过程对应的判别器,ncritic表示训练一次生成器后训练判别模型次数,α、β1和β2为Adam优化器的参数,m为采样数量,Epoch为模型循环训练次数;
步骤3.2:通过生成器G将从第i个旧工业过程数据中采集的m个样本转化成m个新工业过程数据,记为Xo→n=F(Xo);通过生成器F将从新工业过程数据/>中采集的m个样本/>转化成m个旧工业过程数据,记为Xn→o=F(Xn);
步骤3.3:按照公式(4)和公式(5)得到判别器损失和两个前向循环一致损失;
步骤3.4:通过公式(6)和公式(7)更新判别器Do参数ωo和Dn参数ωn;
步骤3.5:重复步骤3.2~步骤3.4ncritic次;
步骤3.6:重复步骤3.2;
步骤3.7:通过公式(8)和公式(9)计算两个前向循环一致损失;
步骤3.8:通过公式(10)和公式(11)计算两个生成器损失;
步骤3.9:通过公式(12)和公式(13)更新生成器G参数θG和F参数θF;
步骤3.10:重复步骤3.6~步骤3.9Epoch次数,使用训练好的F将新工业过程数据转换成第j个旧工业过程数据,记为
步骤3.11:使用每一组旧工业过程数据重复步骤3.1~步骤3.9,将新工业过程数据迁移到旧工业过程域内,由新工业过程数据通过对抗迁移学习得到N组带有新工业过程信息的旧工业过程数据,记为
步骤4:将步骤3中带有新工业过程信息的旧工业过程数据与相应旧工业过程数据混合后得到N组混合数据集;
步骤5:将混合数据集分为混合训练集和混合测试数据集/>同时,结合N个旧工业过程训练数据集/>和新工业过程预测模型y=f(x),利用N组混合数据集分别训练支持向量机SVM模型,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);其中,/>ktrain是训练数据集大小,/>ktest是测试数据集大小,任意第i个旧工业过程,/>ni是第i个旧工业过程训练集大小;其具体步骤如下:
步骤5.1:初始化参数;
步骤5.2:通过基于Cycle GANs的新旧工业过程数据迁移算法将新工业过程数据转换成N组携带新工业过程信息的旧工业过程数据根据公式(14)混合Dn→o和Do得到N组基础模型训练数据DBasic;
步骤5.3:利用DBasic训练N个SVM,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);
步骤6:通过模型融合公式(15)将新工业过程训练集输入变量映射至相似旧工业过程输入变量运行区间内,转化后的新工业过程训练集输入数据记为通过贝叶斯模型平均算法得到这N个预测模型的融合输出/>
步骤7:将旧工业过程SVM模型融合输出和新工业过程输入数据/>作为多模型迁移策略的输入数据,利用最小二乘支持向量机算法训练新工业过程模型,获得新工业过程模型输出/>完成新工业过程建模;
步骤8:模型验证,分别根据公式(16)和公式(17)利用均方根误差和确定系数来评估SVM模型的有效性,若步骤7所得模型在测试数据集上的预测精度满足实验设定阈值,则建模过程完成;否则,重复步骤3至步骤7,将新的N组含有新工业过程信息的旧工业过程数据样本加入到混合样本中,继续训练新工业过程模型,直至满足实验停止条件;
式中,N是测试数据的数量,yi是预测模型的输出,是预测输出的均值,Yi是新工业过程的真实输出。
本方法先利用拉丁超立方方法采集非线性工业过程建模的小样本数据集,结合多个相似旧过程数据,通过对抗性迁移算法学***均理论,迁移几个经过训练的“带有新工业过程信息的旧工业过程预测模型”,并结合少量的新工业过程数据,得到最终的新工业过程性能预测模型。本发明迁移多个已有相似旧工业过程的有用信息帮助建立新工业过程性能预测模型,降低新工业过程建模成本;同时,为了有效解决旧过程数据远多于新过程数据时可能出现的“负迁移”的问题,采用了基于对抗迁移学习的新旧过程数据迁移方法,提高了迁移建模效果。该方法有效解决了复杂工业过程建模成本高、建模周期长的问题,充分利用了已有相似旧工业过程模型的有用信息,同时解决了迁移学习中旧过程数据远多于新过程数据时可能出现的“负迁移”现象,完成了对新工业过程的建模,降低了建模成本,加快了建模速度,提高了建模精度。
附图说明
图1是迁移建模的流程图;
图2是基于对抗迁移学***均理论的非线性工业过程低成本建模方法的流程图;
图3是ATL-BMA模型、BMA模型和SVM模型在压缩机A测试集上预测值的曲线图;
图4是ATL-BMA模型、BMA模型和SVM模型预测值与真实值的RMSE柱状图;
图5是ATL-BMA模型、BMA模型和SVM模型预测值与真实值的R2柱状图。
具体实施方式
下面结合实施例和附图对本发明作进一步说明。
如图1至图5所示,本发明提供了一种基于ATL-BMA(对抗迁移学***均(Bayesian Model Averaging,BMA))的非线性工业过程低成本建模方法,包括以下步骤:
步骤1:选取N组相似旧工业过程建模数据,并根据实际待建模过程的信息,确定输入变量的稳定运行范围;同时,选择拉丁超立(Latin Hypercube Design,LHD)方法进行采样和收集目标非线性工业过程(新工业过程)建模初始数据集;其中,实际待建模过程的信息包括参数额定值和性能曲线等;其具体步骤如下:
步骤1.1:选取N组相似旧工业过程建模数据,记为根据公式(1)对于第i个旧工业过程进行建模;
式中,X是旧工业过程输入数据集,x是旧工业过程输入数据,y是旧工业过程输出数据,ki表示第i个旧工业过程建模数据量,而n是第i个旧工业过程的输入变量维度,由于新旧工业过程存在一定相似性,因而对于所有工业过程的输入变量维度一致,都为n;
步骤1.2:根据实际待建模过程的信息,确定输入变量的稳定运行范围,并选择离散稀疏的数据分布点进行采样和收集新工业过程建模数据,根据公式(2)获得采集的新工业过程数据Dnew;
式中,l表示新工业过程建模数据量;
步骤2:将新工业过程数据和旧工业过程数据分别划分为两部分,分别为新旧建模过程中的训练数据集和测试数据集;为了后续训练过程的稳定性,同时避免因数据量纲差异造成的不良影响,必须确保数据是归一化的,将新工业过程初始数据集和旧工业过程建模数据分别进行归一化处理;其中,对于新工业过程数据,将其分为新工业过程训练数据集和新工业过程测试数据集/>并根据公式(3)利用最大值最小值数据归一化方法将数据映射到[0,1]区间;
式中,zi表示工业过程输入或输出数据归一化之后的结果,xi是归一化之前的数据,xmax是数据归一化之前的最大值,xmin是最小值;
步骤3:运用基于Cycle GANs的新旧工业过程数据迁移算法,将N组旧工业过程数据转换成带有新工业过程信息的N组旧工业过程数据;其中,旧工业过程训练数据集为其具体步骤如下:
步骤3.1:初始化参数:G参数θG,Do参数ωo,F参数θF,Dn参数ωn,ncritic=5,α=0.00005、β1=0、β2=0.7,m=5,λ=0.5,Epoch=20000;
其中:G表示旧工业过程到新工业过程数据的生成器函数,Do表示旧工业过程对应的判别器,F表示新工业过程到旧工业过程的生成器函数,Dn表示新工业过程对应的判别器,ncritic表示训练一次生成器后训练判别模型次数,α、β1和β2为Adam优化器的参数,m为采样数量,Epoch为模型循环训练次数;
步骤3.2:通过生成器G将从第i个旧工业过程数据中采集的m个样本转化成m个新工业过程数据,记为Xo→n=F(Xo);通过生成器F将从新工业过程数据/>中采集的m个样本/>转化成m个旧工业过程数据,记为Xn→o=F(Xn);
步骤3.3:按照公式(4)和公式(5)得到判别器损失和两个前向循环一致损失;
步骤3.4:通过公式(6)和公式(7)更新判别器Do参数ωo和Dn参数ωn;
步骤3.5:重复步骤3.2~步骤3.4ncritic次;
步骤3.6:重复步骤3.2;
步骤3.7:通过公式(8)和公式(9)计算两个前向循环一致损失;
步骤3.8:通过公式(10)和公式(11)计算两个生成器损失;
步骤3.9:通过公式(12)和公式(13)更新生成器G参数θG和F参数θF;
步骤3.10:重复步骤3.6~步骤3.9Epoch次数,使用训练好的F将新工业过程数据转换成第j个旧工业过程数据,记为
步骤3.11:使用每一组旧工业过程数据重复步骤3.1~步骤3.9,将新工业过程数据迁移到旧工业过程域内,由新工业过程数据通过对抗迁移学习得到N组带有新工业过程信息的旧工业过程数据,记为
步骤4:将步骤3中带有新工业过程信息的旧工业过程数据与相应旧工业过程数据混合后得到N组混合数据集;
步骤5:将混合数据集分为混合训练集和混合测试数据集/>同时,结合N个旧工业过程训练数据集/>和新工业过程预测模型y=f(x),利用N组混合数据集分别训练支持向量机SVM(Support Vector Machine)模型,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);其中,
ktrain是训练数据集大小,ktest是测试数据集大小,任意第i个旧工业过程,ni是第i个旧工业过程训练集大小;其具体步骤如下:
步骤5.1:初始化参数;
步骤5.2:通过基于Cycle GANs的新旧工业过程数据迁移算法将新工业过程数据转换成N组携带新工业过程信息的旧工业过程数据根据公式(14)混合Dn→o和Do得到N组基础模型训练数据DBasic;
步骤5.3:利用DBasic训练N个SVM,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);
步骤6:通过模型融合公式(15)将新工业过程训练集输入变量映射至相似旧工业过程输入变量运行区间内,转化后的新工业过程训练集输入数据记为通过贝叶斯模型平均算法得到这N个预测模型的融合输出/>
步骤7:将旧工业过程SVM模型融合输出和新工业过程输入数据/>作为多模型迁移策略的输入数据,利用最小二乘支持向量机(Least Squares Support VectorMachine,LSSVM)算法训练新工业过程模型,获得新工业过程模型输出/>完成新工业过程建模;
步骤8:模型验证,分别根据公式(16)和公式(17)利用均方根误差(Root MeanSquare Error,RMSE)和确定系数(R-Square,R2)来评估SVM模型的有效性,若步骤7所得模型在测试数据集上的预测精度满足实验设定阈值,则建模过程完成;否则,重复步骤3至步骤7,将新的N组含有新工业过程信息的旧工业过程数据样本加入到混合样本中,继续训练新工业过程模型,直至满足实验停止条件;
式中,N是测试数据的数量,yi是预测模型的输出,是预测输出的均值,Yi是新工业过程的真实输出。
本方法先利用拉丁超立方方法采集非线性工业过程建模的小样本数据集,结合多个相似旧过程数据,通过对抗性迁移算法学***均理论,迁移几个经过训练的“带有新工业过程信息的旧工业过程预测模型”,并结合少量的新工业过程数据,得到最终的新工业过程性能预测模型。本发明迁移多个已有相似旧工业过程的有用信息帮助建立新工业过程性能预测模型,降低新工业过程建模成本;同时,为了有效解决旧过程数据远多于新过程数据时可能出现的“负迁移”的问题,采用了基于对抗迁移学习的新旧过程数据迁移方法,提高了迁移建模效果。该方法有效解决了复杂工业过程建模成本高、建模周期长的问题,充分利用了已有相似旧工业过程模型的有用信息,同时解决了迁移学习中旧过程数据远多于新过程数据时可能出现的“负迁移”现象,完成了对新工业过程的建模,降低了建模成本,加快了建模速度,提高了建模精度。
为了验证该方法的效果,使用实验室离心压缩机机理模型产生实验数据,建立离心压缩机的性能预测模型以验证所提建模方法的有效性。通过修改压缩机机理模型的关键几何参数模拟产生A、B、C、D四台不同但相似的压缩机模型用于仿真实验。对于A、B、C和D四台离心压缩机,其中压缩机A作为待建模的新压缩机,产生少量新工业过程建模数据,而B、C和D离心压缩机则作为运行时间长的旧压缩机,产生大量旧工业过程建模数据辅助新工业过程预测模型的建立。新旧压缩机稳定运动区间如表1所示。
表1离心压缩机A、B、C、D稳定运行区间及对应One-Hot编码
将所建模型的预测效果与两组对比实验模型预测效果进行对比,进一步展示所提方法的优越性。三组对比方法具体如下:
方法1:通过对抗迁移学习将少量新工业过程数据转换成旧工业过程数据,与每组旧工业过程数据混合后训练得到多个SVM模型,然后通过多模型迁移策略建立新压缩机预测模型,最后利用新压缩机测试数据测试模型精度。在实验结果分析中记为ATL-BMA方法。
方法2:使用多组旧压缩机数据训练多个旧压缩机SVM模型,然后通过多模型迁移策略结合少量新压缩机训练数据建立新压缩机预测模型,最后利用新压缩机测试数据测试模型精度。在实验结果分析中记为BMA方法。
方法3:只用少量新压缩机训练数据建立新压缩机SVM模型,以此作为新压缩机预测模型,最后利用新压缩机测试数据测试模型精度。在实验结果分析中记为SVM方法。
图3展示的是三种方法所建模型在压缩机A测试集上的预测值。从图中可以看出ATL-BMA方法所建模型的预测值与测试集吻合程度最高,这说明ATL-BMA方法可以有效地利用相似旧工业过程的有用信息帮助新工业过程模型的建立,同时也说明ATL-BMA方法比单纯的多模型迁移方法更能有效地利用新旧工业过程之间的信息。
为了进一步对比三个模型的精度,图4和图5展示了三个模型预测值与真实值的RMSE和R2,从图中可以看出,本章所提的方法可以充分利用已有大量旧工业过程数据和少量新工业过程数据,有效地提高模型的预测精度,降低建立模型的成本。
由上述分析可知,本发明通过采用了一种对抗迁移学***均理论为新工业过程建立性能预测模型,充分利用了工业中现有的相似旧工业过程的性能预测模型,对新旧工业过程数据进行迁移,运用支持向量机建立多个含有新工业过程信息的旧工业过程预测模型,最后利用贝叶斯模型平均理论对旧工业过程模型进行训练,从而加速了新工业过程的建模速度,降低了建模成本,同时解决了新旧工业过程迁移建模时旧工业过程数据多于新工业过程数据所带来的“负迁移”作用,获得符合精度要求的预测模型。同时也说明该方法比单纯的多模型迁移方法更能有效地利用新旧工业过程之间的信息。更接近实际输出,为工业过程建模降低了大量成本。
Claims (1)
1.一种基于ATL-BMA的非线性工业过程低成本建模方法,其特征在于,包括以下步骤:
步骤1:选取N组相似旧工业过程建模数据,并根据实际待建模过程的信息,确定输入变量的稳定运行范围;同时,选择拉丁超立方法进行采样和收集目标非线性工业过程建模初始数据集;其具体步骤如下:
步骤1.1:选取N组相似旧工业过程建模数据,记为根据公式(1)对于第i个旧工业过程进行建模;
式中,X和x是旧工业过程输入数据,y是旧工业过程输出数据,ki表示第i个旧工业过程建模数据量,而n是第i个旧工业过程的输入变量维度,由于新旧工业过程存在一定相似性,因而对于所有工业过程的输入变量维度一致,都为n;
步骤1.2:根据实际待建模过程的信息,确定输入变量的稳定运行范围,并选择离散稀疏的数据分布点进行采样和收集新工业过程建模数据,根据公式(2)获得采集的新工业过程数据Dnew;
式中,l表示新工业过程建模数据量;
步骤2:将新工业过程数据和旧工业过程数据分别划分为两部分,分别为新旧建模过程中的训练数据集和测试数据集,并将新工业过程初始数据集和旧工业过程建模数据分别进行归一化处理;其中,对于新工业过程数据,将其分为新工业过程训练数据集和新工业过程测试数据集/>并利用公式(3)将数据映射到[0,1]区间;
式中,zi表示工业过程输入或输出数据归一化之后的结果,xi是归一化之前的数据,xmax是数据归一化之前的最大值,xmin是最小值;
步骤3:运用基于Cycle GANs的新旧工业过程数据迁移算法,将N组旧工业过程数据转换成带有新工业过程信息的N组旧工业过程数据;其中,旧工业过程训练数据集为其具体步骤如下:
步骤3.1:初始化参数:G参数θG,Do参数ωo,F参数θF,Dn参数ωn,ncritic=5,α=0.00005、β1=0、β2=0.7,m=5,λ=0.5,Epoch=20000;
其中:G表示旧工业过程到新工业过程数据的生成器函数,Do表示旧工业过程对应的判别器,F表示新工业过程到旧工业过程的生成器函数,Dn表示新工业过程对应的判别器,ncritic表示训练一次生成器后训练判别模型次数,α、β1和β2为Adam优化器的参数,m为采样数量,Epoch为模型循环训练次数;
步骤3.2:通过生成器G将从第i个旧工业过程数据中采集的m个样本/>转化成m个新工业过程数据,记为Xo→n=F(Xo);通过生成器F将从新工业过程数据/>中采集的m个样本/>转化成m个旧工业过程数据,记为Xn→o=F(Xn);
步骤3.3:按照公式(4)和公式(5)得到判别器损失和两个前向循环一致损失;
步骤3.4:通过公式(6)和公式(7)更新判别器Do参数ωo和Dn参数ωn;
步骤3.5:重复步骤3.2~步骤3.4ncritic次;
步骤3.6:重复步骤3.2;
步骤3.7:通过公式(8)和公式(9)计算两个前向循环一致损失;
步骤3.8:通过公式(10)和公式(11)计算两个生成器损失;
步骤3.9:通过公式(12)和公式(13)更新生成器G参数θG和F参数θF;
步骤3.10:重复步骤3.6~步骤3.9Epoch次数,使用训练好的F将新工业过程数据转换成第j个旧工业过程数据,记为
步骤3.11:使用每一组旧工业过程数据重复步骤3.1~步骤3.9,将新工业过程数据迁移到旧工业过程域内,由新工业过程数据通过对抗迁移学习得到N组带有新工业过程信息的旧工业过程数据,记为
步骤4:将步骤3中带有新工业过程信息的旧工业过程数据与相应旧工业过程数据混合后得到N组混合数据集;
步骤5:将混合数据集分为混合训练集和混合测试数据集/>同时,结合N个旧工业过程训练数据集/>和新工业过程预测模型y=f(x),利用N组混合数据集分别训练支持向量机SVM模型,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);其中,/>ktrain是训练数据集大小,/>ktest是测试数据集大小,任意第i个旧工业过程,/>ni是第i个旧工业过程训练集大小;其具体步骤如下:
步骤5.1:初始化参数;
步骤5.2:通过基于Cycle GANs的新旧工业过程数据迁移算法将新工业过程数据转换成N组携带新工业过程信息的旧工业过程数据根据公式(14)混合Dn→o和Do得到N组基础模型训练数据DBasic;
步骤5.3:利用DBasic训练N个SVM,得到N个带有新工业过程信息的旧工业过程基础模型,记为f1(·)-fN(·);
步骤6:通过模型融合公式(15)将新工业过程训练集输入变量映射至相似旧工业过程输入变量运行区间内,转化后的新工业过程训练集输入数据记为通过贝叶斯模型平均算法得到这N个预测模型的融合输出/>
步骤7:将旧工业过程SVM模型融合输出和新工业过程输入数据/>作为多模型迁移策略的输入数据,利用最小二乘支持向量机算法训练新工业过程模型,获得新工业过程模型输出/>完成新工业过程建模;
步骤8:模型验证,分别根据公式(16)和公式(17)利用均方根误差和确定系数来评估SVM模型的有效性,若步骤7所得模型在测试数据集上的预测精度满足实验设定阈值,则建模过程完成;否则,重复步骤3至步骤7,将新的N组含有新工业过程信息的旧工业过程数据样本加入到混合样本中,继续训练新工业过程模型,直至满足实验停止条件;
式中,N是测试数据的数量,yi是预测模型的输出,是预测输出的均值,Yi是新工业过程的真实输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111411517.6A CN114035529B (zh) | 2021-11-25 | 2021-11-25 | 基于atl-bma的非线性工业过程低成本建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111411517.6A CN114035529B (zh) | 2021-11-25 | 2021-11-25 | 基于atl-bma的非线性工业过程低成本建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114035529A CN114035529A (zh) | 2022-02-11 |
CN114035529B true CN114035529B (zh) | 2023-09-08 |
Family
ID=80138766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111411517.6A Active CN114035529B (zh) | 2021-11-25 | 2021-11-25 | 基于atl-bma的非线性工业过程低成本建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114035529B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500281A (zh) * | 2013-10-08 | 2014-01-08 | 广西大学 | 一种煮糖结晶过程非线性***建模方法 |
CN106156434A (zh) * | 2016-07-11 | 2016-11-23 | 江南大学 | 基于局部时滞重构的滑动窗时间差‑高斯过程回归建模方法 |
CN109902378A (zh) * | 2019-02-25 | 2019-06-18 | 中国矿业大学 | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 |
CN112750277A (zh) * | 2021-01-05 | 2021-05-04 | 武汉大学 | 融合轨迹数据与传感器姿态的室内跌倒检测***及方法 |
-
2021
- 2021-11-25 CN CN202111411517.6A patent/CN114035529B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500281A (zh) * | 2013-10-08 | 2014-01-08 | 广西大学 | 一种煮糖结晶过程非线性***建模方法 |
CN106156434A (zh) * | 2016-07-11 | 2016-11-23 | 江南大学 | 基于局部时滞重构的滑动窗时间差‑高斯过程回归建模方法 |
CN109902378A (zh) * | 2019-02-25 | 2019-06-18 | 中国矿业大学 | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 |
CN112750277A (zh) * | 2021-01-05 | 2021-05-04 | 武汉大学 | 融合轨迹数据与传感器姿态的室内跌倒检测***及方法 |
Non-Patent Citations (1)
Title |
---|
A Minimum-Cost Modeling Method for Nonlinear Industrial Process Based on Multimodel Migration and Bayesian Model Averaging Method;Fei Chu;《IEEE Transactions on Automation Science and Engineering 》;第17卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114035529A (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543203B (zh) | 一种基于随机森林的建筑冷热负荷预测方法 | |
CN108647272B (zh) | 一种基于数据分布的小样本扩充对脱丁烷塔底丁烷浓度进行预测的方法 | |
CN108732931B (zh) | 一种基于jit-rvm的多模态间歇过程建模方法 | |
CN114169442B (zh) | 基于双原型网络的遥感图像小样本场景分类方法 | |
CN116448419A (zh) | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 | |
CN111325264A (zh) | 一种基于熵的多标签数据分类方法 | |
CN107798383B (zh) | 改进的核极限学习机定位方法 | |
CN113505477B (zh) | 基于svae-wgan的过程工业软测量数据补充方法 | |
CN114360652B (zh) | 细胞株相似性评价方法及相似细胞株培养基配方推荐方法 | |
CN102663681B (zh) | 基于排序k-均值算法的灰度图像分割方法 | |
CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及*** | |
CN106405683B (zh) | 基于g-l混合噪声特性核岭回归技术的风速预报方法及装置 | |
CN114035529B (zh) | 基于atl-bma的非线性工业过程低成本建模方法 | |
CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
CN114266321A (zh) | 一种基于无约束先验信息模式的弱监督模糊聚类算法 | |
CN112947080A (zh) | 一种基于场景参数变换的智能决策模型性能评估*** | |
CN116342938A (zh) | 基于多个潜在域混合的域泛化图像分类方法 | |
CN111967187A (zh) | 一种预测燃气轮机启动过程输出数据的建模方法及设备 | |
Liu et al. | Fuzzy c-mean algorithm based on Mahalanobis distances and better initial values | |
CN106816871B (zh) | 一种电力***状态相似性分析方法 | |
CN114298387A (zh) | 基于Hadoop的并行化BP神经网络的能耗预测方法 | |
CN112348194A (zh) | 一种基于精度误差的模型稳定性评估方法 | |
CN112925202B (zh) | 基于动态特征提取的发酵过程阶段划分方法 | |
Yun et al. | [Retracted] Quality Evaluation and Satisfaction Analysis of Online Learning of College Students Based on Artificial Intelligence | |
CN116776230B (zh) | 一种基于特征压印与特征迁移识别信号的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |