CN110134088A - 一种基于增量支持向量回归的自适应质量预报方法 - Google Patents

一种基于增量支持向量回归的自适应质量预报方法 Download PDF

Info

Publication number
CN110134088A
CN110134088A CN201910422208.5A CN201910422208A CN110134088A CN 110134088 A CN110134088 A CN 110134088A CN 201910422208 A CN201910422208 A CN 201910422208A CN 110134088 A CN110134088 A CN 110134088A
Authority
CN
China
Prior art keywords
new
model
support vector
vector regression
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910422208.5A
Other languages
English (en)
Inventor
葛志强
杨泽宇
宋执环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910422208.5A priority Critical patent/CN110134088A/zh
Publication of CN110134088A publication Critical patent/CN110134088A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32339Object oriented modeling, design, analysis, implementation, simulation language
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于增量支持向量回归的自适应质量预报方法,该方法为适应复杂多变的多工况生产过程,在原始的支持向量回归模型的基础上,利用其自身的KKT条件,实现对新增样本的区分学习,对带有信息的样本进行增量学习,对不带有新信息的样本保持模型不变,能够在保证模型泛化能力的同时降低模型更新频率;本发明不仅能够有效面对实际工业过程中的非线性,还针对过程中的时变特性对模型进行不断更新,且一定程度上改善了模型更新效率的问题,从而达到自适应质量预报的目的。

Description

一种基于增量支持向量回归的自适应质量预报方法
技术领域
本发明属于工业过程控制及软测量领域,涉及一种基于增量支持向量回归的自适应质量预报方法。
背景技术
工业过程中存在着许多无法或难以直接测量的变量,这些变量通常与产品质量密切相关,是必须进行监控的参数,软测量技术是解决该问题的一种有效方法,目前已在工业过程中得到广泛应用。近年来,基于数据驱动的软测量建模方法得到了人们的普遍关注。其中,支持向量回归基于结构风险最小化原则,较好地解决了小样本、非线性和局部极小等问题,已被广泛应用于多个研究领域。目前的支持向量回归学***台仪器设备的老化、原材料进料变化以及催化剂活性退化等各种因素,过程物理化学特性处在不断的变化之中,因而其运行工况经常发生变化,一般具有动态时变的特点。这样离线训练得到的模型不能保证长期适用,因此对支持向量回归在线学习方法的研究具有重要的理论意义和使用价值。
为了正确跟踪过程状态,需要对软测量模型进行及时自适应更新和校正。针对工业过程的时变特性,因此有专家提出了滑动窗支持向量回归、局部加权支持向量回归等。若不加区分地对每一个新增样本都进行增量学习,类似于滑动窗口这种模式势必造成模型频繁更新,本发明基于支持向量回归模型的KKT条件,实现对新增样本的区分学习,一定程度上降低了模型更新频率,提高了模型更新效率。
发明内容
针对目前工业过程时变特性,本发明提出了一种基于增量支持向量回归的自适应质量预报方法,该方法基于支持向量回归的KKT条件选择出那些包含足够多新信息的样本进行增量学习,能够在保证模型泛化能力的同时降低模型更新频率,从而实现了工业过程的自适应质量预报。
本发明具体技术方案如下:(1)收集历史工业过程中的训练数据集P(x,y)∈Rn×m,其中包括输入数据x和质量变量y,n表示样本个数,m表示变量个数,R表示实数集;
(2)将步骤(1)中收集到的训练数据集P标准化:化为均值为0,方差为1的新数据集并对标准化的新数据集建立支持向量回归模型并得到一部分支持向量SVs,该模型可通过下式求解;
其中,w为法向量,b为位移项,为非线性映射函数,xi为输入数据,wT为法向量的转置,yi为质量变量值,C是惩罚因子,ξ和ξ*是松弛因子,ε为容忍误差,i为样本索引。
引入Lagrange函数,并将公式(1)改成凸二次规划问题:
其中为对偶参数,K(xi,xj)=φ(xi)Tφ(xi)称为核函数,φ(xi)为非线性映射函数,这里选用高斯核函数:
K(xi,x)=exp(-gamma·||xi-x||2) (8)
其中,gamma表示核函数参数;
由此可构造决策函数
定义样本系数偏差和边界函数h(xi)=f(xi)-yi。则根据系数偏差值和边界函数值,基于优化上述问题的KKT条件,将训练数据集P分为以下三个子集:
其中,E为误差支持向量集,S为边界支持向量集,R为剩余样本集。
(3)将采集到的实时数据标准化处理,并利用步骤(2)得到的支持向量回归模型对新样本进行质量预测并输出结果
(4)当获得质量变量y的真实输出ynew时,计算h(xnew)为预测误差,xnew为新输入数据;
(5)通过h(xnew)进一步判断新增数据集是否满足KKT条件即检验|h(xnew)|是否大于ε,如果大于ε则表明不满足KKT条件,表示当前模型并不能很好地描述新增数据集,需要对新增数据集进行增量学习,将新增数据集加入到SVs中更新模型;若小于ε则表明满足KKT条件则继续用旧模型预测;
(6)当有新训练数据集获得时,重复步骤(3)至步骤(5),实现工业过程的自适应质量预报。
与现有技术相比,本发明具有的有益效果是:针对过程时变特性,本发明提出一种基于增量支持向量回归的自适应建模方法。通过对训练样本有选择地添加或删除,实现模型在线更新,以有效地跟踪过程工况的变化。相比于传统的滑动窗方法,每次都需要重新建模,一定程度上提高了模型的更新效率。
附图说明
图1是在线自适应建模流程图;
图2是脱丁烷塔流程图;
图3是滑动窗支持向量回归的预测输出结果图;
图4是增量支持向量回归的预测输出结果图;
具体实施方式
下面结合具体实施方式对本发明基于增量支持向量回归的自适应工业质量预报方法作进一步的详述。
一种基于增量支持向量回归的自适应质量预报方法,其中,所述的增量支持向量回归的自适应质量预报方法的流程如图1所示,在线获得新的训练数据集后,检测新数据集是否满足现有模型的KKT条件,若不满足,则进行增量学习训练数据集信息。具体步骤如下:
(1)收集历史工业过程中的训练数据集P(x,y)∈Rn×m,其中包括输入数据x和质量变量 y,n表示样本个数,m表示变量个数,R表示实数集;
(2)将步骤(1)中收集到的训练数据集P标准化:化为均值为0,方差为1的新数据集并对标准化的新数据集建立支持向量回归模型并得到一部分支持向量SVs,该模型可通过下式求解;
其中,w为法向量,b为位移项,为非线性映射函数,xi为输入数据,wT为法向量的转置,yi为质量变量值,C是惩罚因子,ξ和ξ*是松弛因子,ε为容忍误差,i为样本索引。
引入Lagrange函数,并将公式(1)改成凸二次规划问题:
其中为对偶参数,K(xi,xj)=φ(xi)Tφ(xi)称为核函数,φ(xi)为非线性映射函数,这里选用高斯核函数:
K(xi,x)=exp(-gamma·||xi-x||2) (13)
其中,gamma表示核函数参数;
由此可构造决策函数
定义样本系数偏差和边界函数h(xi)=f(xi)-yi。则根据系数偏差值和边界函数值,基于优化上述问题的KKT条件,将训练数据集P分为以下三个子集:
其中,E为误差支持向量集,S为边界支持向量集,R为剩余样本集。
(3)将采集到的实时数据标准化处理,并利用步骤(2)得到的支持向量回归模型对新样本进行质量预测并输出结果
(4)当获得质量变量y的真实输出ynew时,计算h(xnew)为预测误差,xnew为新输入数据;
(5)通过h(xnew)进一步判断新增数据集是否满足KKT条件即检验|h(xnew)|是否大于ε,如果大于ε则表明不满足KKT条件,表示当前模型并不能很好地描述新增数据集,需要对新增数据集进行增量学习,将新增数据集加入到SVs中更新模型;若小于ε则表明满足KKT条件则继续用旧模型预测。这样做的目的是为了让模型拥有自适应更新的能力,当遇到新的状态信息或者过程发生明显变化的时候,模型能够根据新来的信息及时更新模型的参数;总的来说,本发明针对过程时变特性,提出一种基于增量支持向量回归的自适应建模方法。通过对训练样本有选择地添加或删除,实现模型在线更新,以有效地跟踪过程工况的变化。相比于传统的滑动窗方法,每次都需要重新建模,一定程度上提高了模型的更新效率。
(6)当有新训练数据集获得时,重复步骤(3)至步骤(5),实现工业过程的自适应质量预报。
此外,均方根误差(RMSE)对预测性能进行定量评价,表达式如下所示:
其中,yi是质量变量值,是模型的预测输出,Nts表示在线测试样本的个数。
实施例
以下结合一个具体的脱丁烷塔例子来说明增量支持向量回归模型的性能。脱丁烷塔是一个用于软测量建模算法验证的一个常用的标准工业过程平台。脱丁烷塔是精炼过程中的装置之一,流程图如图2所示,该装置的目的是为了去除石脑油气体中丙烷和丁烷的过程脱丁烷塔,塔底的丁烷含量是一个十分重要的关键指标,为了提高脱丁烷塔的控制质量需要对于塔底丁烷含量建立软测量模型。
表1给出了针对关键质量变量丁烷含量所选择的7个辅助变量,并对其进行了一定的变量描述,分别为塔顶温度、塔顶压力、回流流量、下一级流量、灵敏板的温度、塔底温度和塔底压力。
表1:输入变量说明
针对该过程,连续等时间间隔采集了2394个样本。最初的1000个样本组成了原始的训练数据集,剩下的1394个样本作为测试数据集。
首先对初始训练数据集建立初始支持向量回归模型,并对1394个数据进行在线学习,其中有1148个数据参与了增量学习。为了跟踪状态的变化特性,验证本发明的自适应软测量方法,对比了滑动窗支持向量回归方法,分别如图3、4所示。其中,滑动窗口大小设置为1000,窗口步长设置为1;对于本发明方法,步长大小也为1。
通过图3和图4可以看出两者的效果虽然在整体上相差不多,都可以较好的跟踪预测趋势,但是本发明的增量支持向量回归在一些变化幅值较大的样本点附近跟踪效果要更好,而滑动窗支持向量回归表现的性能较差。表2给出了两种方法的预测效果和计算时间的比较,从表中可以看出,本发明的方法在RMSE上有着较好的表现,相比于滑动窗支持向量回归 RMSE降低了0.0357。但是从更新时间上来看,相比于滑动窗方法,本发明的更新时间为前者的六分之一左右。总的来说,本发明的方法不管在预测误差还是在更新时间上,都有着一定的优势。
表2两种方法的预测效果和计算时间
方法 滑动窗支持向量回归 增量支持向量回归
RMSE 0.1383 0.1026
更新时间(s) 37.5 6.5

Claims (1)

1.一种基于增量支持向量回归的自适应质量预报方法,其特征在于,所述自适应质量预报方法包括以下步骤:
(1)收集历史工业过程中的训练数据集P(x,y)∈Rn×m,其中包括输入数据x和质量变量y,n表示样本个数,m表示变量个数,R表示实数集;
(2)将步骤(1)中收集到的训练数据集P标准化:化为均值为0,方差为1的新数据集并对标准化的新数据集建立支持向量回归模型并得到一部分支持向量SVs,该模型可通过下式求解;
其中,w为法向量,b为位移项,为非线性映射函数,xi为输入数据,wT为法向量的转置,yi为质量变量值,C是惩罚因子,ξ和ξ*是松弛因子,ε为容忍误差,i为样本索引。
引入Lagrange函数,并将公式(1)改成凸二次规划问题:
其中αi为对偶参数,K(xi,xj)=φ(xi)Tφ(xi)称为核函数,φ(xi)为非线性映射函数,这里选用高斯核函数:
K(xi,x)=exp(-gamma·||xi-x||2) (3)
其中,gamma表示核函数参数;
由此可构造决策函数
定义样本系数偏差和边界函数h(xi)=f(xi)-yi。则根据系数偏差值和边界函数值,基于优化上述问题的KKT条件,将训练数据集P分为以下三个子集:
其中,E为误差支持向量集,S为边界支持向量集,R为剩余样本集。
(3)将采集到的实时数据标准化处理,并利用步骤(2)得到的支持向量回归模型对新样本进行质量预测并输出结果
(4)当获得质量变量y的真实输出ynew时,计算h(xnew)为预测误差,xnew为新输入数据;
(5)通过h(xnew)进一步判断新增数据集是否满足KKT条件即检验|h(xnew)|是否大于ε,如果大于ε则表明不满足KKT条件,表示当前模型并不能很好地描述新增数据集,需要对新增数据集进行增量学习,将新增数据集加入到SVs中更新模型;若小于ε则表明满足KKT条件则继续用旧模型预测;
(6)当有新训练数据集获得时,重复步骤(3)至步骤(5),实现工业过程的自适应质量预报。
CN201910422208.5A 2019-05-21 2019-05-21 一种基于增量支持向量回归的自适应质量预报方法 Pending CN110134088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910422208.5A CN110134088A (zh) 2019-05-21 2019-05-21 一种基于增量支持向量回归的自适应质量预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910422208.5A CN110134088A (zh) 2019-05-21 2019-05-21 一种基于增量支持向量回归的自适应质量预报方法

Publications (1)

Publication Number Publication Date
CN110134088A true CN110134088A (zh) 2019-08-16

Family

ID=67571689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910422208.5A Pending CN110134088A (zh) 2019-05-21 2019-05-21 一种基于增量支持向量回归的自适应质量预报方法

Country Status (1)

Country Link
CN (1) CN110134088A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866218A (zh) * 2019-11-14 2020-03-06 北京理工大学 一种迟滞***补偿方法及***
CN111523710A (zh) * 2020-04-10 2020-08-11 三峡大学 基于pso-lssvm在线学习的电力设备温度预测方法
CN113688908A (zh) * 2021-08-25 2021-11-23 江南大学 基于在线ε型孪生支持向量回归机的蓝牙信号室内传播模型校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090193936A1 (en) * 2008-02-01 2009-08-06 Honeywell International, Inc. Methods and apparatus for an oxygen furnace quality control system
CN101520856A (zh) * 2009-04-10 2009-09-02 东南大学 基于kkt条件和最近邻法的支持向量回归机自适应建模方法
CN102693451A (zh) * 2012-06-14 2012-09-26 东北电力大学 基于多参数的氨法烟气脱硫效率预测方法
CN105139093A (zh) * 2015-09-07 2015-12-09 河海大学 基于Boosting算法和支持向量机的洪水预报方法
CN106127341A (zh) * 2016-06-24 2016-11-16 北京市地铁运营有限公司地铁运营技术研发中心 一种城市轨道交通新建线路能耗测算模型
CN107180278A (zh) * 2017-05-27 2017-09-19 重庆大学 一种轨道交通实时客流预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090193936A1 (en) * 2008-02-01 2009-08-06 Honeywell International, Inc. Methods and apparatus for an oxygen furnace quality control system
CN101520856A (zh) * 2009-04-10 2009-09-02 东南大学 基于kkt条件和最近邻法的支持向量回归机自适应建模方法
CN102693451A (zh) * 2012-06-14 2012-09-26 东北电力大学 基于多参数的氨法烟气脱硫效率预测方法
CN105139093A (zh) * 2015-09-07 2015-12-09 河海大学 基于Boosting算法和支持向量机的洪水预报方法
CN106127341A (zh) * 2016-06-24 2016-11-16 北京市地铁运营有限公司地铁运营技术研发中心 一种城市轨道交通新建线路能耗测算模型
CN107180278A (zh) * 2017-05-27 2017-09-19 重庆大学 一种轨道交通实时客流预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI WANG: "Online SVM regression algorithm-based adaptive inverse control", 《NEUROCOMPUTING》 *
王平: "一种基于增量式SVR学习的在线自适应建模方法", 《化工学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866218A (zh) * 2019-11-14 2020-03-06 北京理工大学 一种迟滞***补偿方法及***
CN111523710A (zh) * 2020-04-10 2020-08-11 三峡大学 基于pso-lssvm在线学习的电力设备温度预测方法
CN113688908A (zh) * 2021-08-25 2021-11-23 江南大学 基于在线ε型孪生支持向量回归机的蓝牙信号室内传播模型校正方法

Similar Documents

Publication Publication Date Title
CN103927412B (zh) 基于高斯混合模型的即时学习脱丁烷塔软测量建模方法
US20200118015A1 (en) Fuzzy curve analysis based soft sensor modeling method using time difference Gaussian process regression
CN109840362B (zh) 一种基于多目标优化的集成即时学习工业过程软测量建模方法
CN110134088A (zh) 一种基于增量支持向量回归的自适应质量预报方法
Wu et al. A just-in-time fine-tuning framework for deep learning of SAE in adaptive data-driven modeling of time-varying industrial processes
CN106845796B (zh) 一种加氢裂化流程产品质量在线预测方法
Khatibisepehr et al. A Bayesian approach to design of adaptive multi-model inferential sensors with application in oil sand industry
CN104765346A (zh) 一种炼油过程全流程建模方法
CN109389238B (zh) 一种基于岭回归的短期负荷预测方法及装置
CN110083065B (zh) 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法
CN113420500B (zh) 智能常减压***
CN108334943A (zh) 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN107464017A (zh) 基于带时间差分贝叶斯网络的自适应软测量预测方法
CN108595892A (zh) 基于时间差分模型的软测量建模方法
CN113012766A (zh) 一种基于在线选择性集成的自适应软测量建模方法
Li et al. A two-layer fuzzy synthetic strategy for operational performance assessment of an industrial hydrocracking process
CN110046377A (zh) 一种基于异构相似度的选择性集成即时学习软测量建模方法
CN102621953B (zh) 一种橡胶硬度的在线自动质量监控和预测模型更新的方法
Yuan et al. A comparative study of adaptive soft sensors for quality prediction in an industrial refining hydrocracking process
CN112949836A (zh) 对时变分布数据进行回归预测在线迁移学习的方法
CN101201331A (zh) 一种在线确定初馏塔顶石脑油质量指标的软测量方法
Zhu System identification for process control: recent experience and outlook
Macias-Hernandez et al. Soft sensor for predicting crude oil distillation side streams using evolving takagi-sugeno fuzzy models
CN103675005B (zh) 最优模糊网络的工业熔融指数软测量仪表及方法
Macias et al. A method for predicting quality of the crude oil distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816