CN110533249A - 一种基于集成长短期记忆网络的冶金企业能耗预测方法 - Google Patents
一种基于集成长短期记忆网络的冶金企业能耗预测方法 Download PDFInfo
- Publication number
- CN110533249A CN110533249A CN201910824388.XA CN201910824388A CN110533249A CN 110533249 A CN110533249 A CN 110533249A CN 201910824388 A CN201910824388 A CN 201910824388A CN 110533249 A CN110533249 A CN 110533249A
- Authority
- CN
- China
- Prior art keywords
- energy consumption
- smelter
- consumption data
- support vector
- smelter energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000007787 long-term memory Effects 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 106
- 238000012549 training Methods 0.000 claims abstract description 31
- 241001269238 Data Species 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000005272 metallurgy Methods 0.000 claims abstract description 8
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 230000001373 regressive effect Effects 0.000 claims description 4
- 101100379079 Emericella variicolor andA gene Proteins 0.000 claims description 3
- 238000003723 Smelting Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 7
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 241001123248 Arma Species 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000003245 coal Substances 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003610 charcoal Substances 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010310 metallurgical process Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Manufacturing & Machinery (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于集成长短期记忆网络的冶金企业能耗预测方法,其步骤包括:1收集冶金企业能耗数据并进行预处理;2使用长短期记忆网络提取冶金企业能耗数据的深度学习特征;3构建多个冶金企业能耗数据的训练集,训练多个冶金企业能耗数据的支持向量回归预测模型;4使用Jensen‑Shannon散度对K个训练好的支持向量回归预测模型进行选择,使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合。本发明能解决单个冶金企业能耗数据的支持向量回归预测模型鲁棒性不强的问题,提冶金企业能耗数据的预测效果。
Description
技术领域
本发明涉及冶金企业能耗预测技术领域,主要涉及一种基于集成长短期记忆网络的冶金企业能耗预测方法。
背景技术
能源是国民经济发展的重要物质基础,是决定未来国家科技发展、经济发展和国防建设的重要保障。节约能源是我国经济和社会发展的一项长远战略方针,也是当前一项极为紧迫的任务。但是随着冶金工业的发展,能源的问题变得越来越严重,尤其是冶金企业在生产钢铁、铜等产品中,如果生产计划安排得不合理,或者管理的手段不够强,将会浪费大量的能源。冶金企业能耗预测精度的提高,有助于冶金企业合理安排生产计划,提高物料的利用率,减少不必要的能源消耗。
目前,冶金企业能耗预测方法一般分为三类:基于物理模型的预测方法、基于统计模型的预测方法和基于机器学***均模型、自回归移动平均模型等。基于统计模型的预测方法虽然能较好的处理线性时间序列数据,但是不能很好地预测非线性时间序列数据。基于机器学习的预测方法凭借其较强的非线性拟合与泛化能力,广泛运用于冶金企业能耗预测,近年来受到了越来越多的关注,代表方法有随机森林、支持向量回归、神经网络等。传统的基于机器学习的预测方法通常需要进行复杂的特征工程。例如,首先,在数据集上进行探索性数据分析;然后,需要对数据进行降维处理;最后,要仔细选择数据的代表特征进行预测。目前,单个预测模型在冶金企业能耗预测领域应用较为广泛,但是单个预测模型的鲁棒性不强,无法取得较好的预测效果。虽然,集成学习方法在冶金企业能耗预测中也得到了应用,但是由于冶金企业能耗数据具有较强的随机性和波动性,基学习器在冶金企业能耗数据上的预测性能也各有差异。
发明内容
为了解决现有技术中存在的上述问题,本发明提供一种基于集成长短期记忆网络的冶金企业能耗预测方法,以期能充分考虑冶金企业能耗数据的时间特性以及单个预测模型的性能,通过采用集成方法解决单个冶金企业能耗数据的支持向量回归预测模型鲁棒性不强问题,从而提高冶金企业能耗数据的预测效果。
本发明为达到上述发明目的,采用以下技术方案:
本发明一种基于集成长短期记忆网络的冶金企业能耗预测方法的特点是按照如下步骤进行:
步骤1,收集冶金企业能耗数据并进行预处理:
步骤1.1,收集冶金企业能耗历史数据组成原始数据集合,记为P={p1,p2,...,pm,...,pM},pm为原始数据集合P中第m天的冶金企业能耗数据,1≤m≤M,M表示原始数据集合P中的总数;
步骤1.2,检查原始数据集合P是否存在缺失值,若存在缺失值,对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后,再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;否则,直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;
步骤1.3,使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分,得到冶金企业能耗数据的N个样本,记为样本集D={(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)},其中,(xn,yn)表示冶金企业能耗数据的第n个样本,xn表示冶金企业能耗数据第n个样本的样本向量,且 表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性,该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值;yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值,且a表示第n个样本的长度;
步骤2,使用长短期记忆网络提取冶金企业能耗数据的深度学习特征:
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中,得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征,从而得到冶金企业能耗数据的特征集L={(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)},其中,(hn,yn)表示冶金企业能耗数据的第n个特征样本,hn表示冶金企业能耗数据第n个特征样本的深度学习特征,其形式为向量;
步骤3,构建多个冶金企业能耗数据的训练集,训练多个冶金企业能耗数据的支持向量回归预测模型;
步骤3.1,使用自助采样法对冶金企业能耗数据的特征集L进行K次采样,得到K个包含R个特征样本的训练集{DS1,DS2,,DSk,…,DSK},其中,DSk表示第k个包含R个特征样本的训练集,且 表示第k个训练集DSk中第r个特征样本,表示第k个训练集DSk中第r个特征样本的深度学习特征,表示第k个训练集DSk中第r个特征样本的目标输出值,1≤r≤R,1≤k≤K;
步骤3.2,以径向基核函数作为支持向量回归预测模型的映射函数,以ε-不敏感损失函数作为支持向量回归预测模型的损失函数;
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练,从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型;
步骤4,使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择,使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合:
步骤4.1,利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算,得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度从而得到K个Jensen-Shannon散度:
式(1)中,表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本的预测值,β1和β2分别表示特征样本的目标输出值和预测值的权重,β1,β2≥0且β1+β2=1;
步骤4.2,对K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较,并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型,其中θ的取值范围为(0,1);
步骤4.3,利用式(2)所示的自适应线性归一化方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型:
式(2)中,E表示由W个元素且元素值为1组成的向量,且E=[1,1,...,1]T,η表示W个训练好的支持向量回归预测模型的权重向量,且η=[η1,η2,...,ηw,...,ηW]T,ηw表示第w个训练好的支持向量回归预测模型的权重,且1≤w≤W,en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量,且 表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差,并有:
式(3)中,fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果;
步骤4.5,利用拉格朗日函数对式(2)进行优化求解,得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η:
步骤4.6,利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测,得到预测结果向量f(hnew);
利用式(5)所示的使用自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合,从而得到新的特征样本hnew的最终预测结果F(hnew):
与已有技术相比,本发明的有益效果体现在:
1、本发明将处理后的冶金企业能耗数据与集成学习方法、长短期记忆网络方法、支持向量回归方法相结合,实现了有效的冶金企业能耗预测,进而获得了较为精确的预测结果;
2、本发明考虑到冶金企业能耗预测结果具有时间分布特性,在所提集成学习方法中使用Jensen-Shannon散度来衡量各个训练好的支持向量回归预测模型的预测性能与真实冶金企业能耗数据时间分布的距离,以此标准来选择距离较小的训练好的支持向量回归预测模型来进行集成,从而减少了预测性能不佳的支持向量回归预测模型所带来的影响,获得了较为精确的预测;
3、由于冶金企业能耗数据具有较强的随机性和波动性,本发明考虑到训练好的各个支持向量回归预测模型在冶金企业能耗数据上预测性能的差异,使用自适应线性归一化结合方法对选择的各个支持向量回归预测模型进行权重的分配,从而获得了比使用一般权重分配方法更精确的预测结果;
4、本发明通过使用长短期记忆网络提取冶金企业能耗数据的深度学习特征,解决了复杂的特征工程问题,从而简化了特征提取的计算过程;
5、本发明使用自助采样法进行采样,得到多个不同的冶金企业能耗数据集,并基于不同的冶金企业能耗数据集建立不同的支持向量回归预测模型,减少了训练时间并提高了模型的学习效率。
附图说明
图1为本发明的整体流程示意图;
图2为本发明长短期记忆网络的内部结构示意图;
图3为本发明所提方法的RMSE实验结果图;
图4为本发明所提方法的MAPE实验结果图。
具体实施方式
本实施例中,一种基于集成长短期记忆网络的冶金企业能耗预测方法,整体流程示意图如图1所示,先对收集的冶金企业能耗数据进行预处理;然后使用长短期记忆网络提取冶金企业能耗数据的深度学习特征,并使用自助采样法构建多个冶金企业能耗数据的训练集,训练多个冶金企业能耗数据的支持向量回归预测模型;最后使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择,使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合,具体按照以下步骤进行:
步骤1,收集冶金企业能耗数据并进行预处理:
步骤1.1,收集冶金企业能耗历史数据组成原始数据集合,记为P={p1,p2,...,pm,...,pM},pm为原始数据集合P中第m天的冶金企业能耗数据,1≤m≤M,M表示原始数据集合P中的总数,本发明中冶金企业能耗数据是指冶金企业在冶金过程中用电量、用水量、煤炭量和焦碳量的综合能耗值,单位统一用kgce/t表示,其表示千克标准煤每吨,kgce为能源消耗量,用标准煤表示;
步骤1.2,检查原始数据集合P是否存在缺失值,若存在缺失值,对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后,再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;否则,直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;
步骤1.3,使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分,得到冶金企业能耗数据的N个样本,记为样本集D={(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)},其中,(xn,yn)表示冶金企业能耗数据的第n个样本,xn表示冶金企业能耗数据第n个样本的样本向量,且 表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性,该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值;yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值,且a表示第n个样本的长度;
步骤2,使用长短期记忆网络提取冶金企业能耗数据的深度学习特征:
将长短期记忆网络的激活函数设置为sigmoid函数,其内部结构示意图如图2所示;优化器设置为Adam;输入层时间步数设置为a-1,输入层维数设置为1;考虑到隐含层过多会增加模型的训练成本,针对冶金企业能耗预测,将隐含层的数目设置为1层,每个隐含层的维数设置为64;输出变量维数设置为1;
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中,得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征,从而得到冶金企业能耗数据的特征集L={(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)},其中,(hn,yn)表示冶金企业能耗数据的第n个特征样本,hn表示冶金企业能耗数据第n个特征样本的深度学习特征,其形式为向量;
步骤3,构建多个冶金企业能耗数据的训练集,训练多个冶金企业能耗数据的支持向量回归预测模型;
步骤3.1,使用自助采样法对冶金企业能耗数据的特征集L进行K次采样,得到K个包含R个特征样本的训练集{DS1,DS2,…,DSk,…,DSK},其中,DSk表示第k个包含R个特征样本的训练集,且 表示第k个训练集DSk中第r个特征样本,表示第k个训练集DSk中第r个特征样本的深度学习特征,表示第k个训练集DSk中第r个特征样本的目标输出值,1≤r≤R,1≤k≤K;
步骤3.2,以径向基核函数作为支持向量回归预测模型的映射函数,以ε-不敏感损失函数作为支持向量回归预测模型的损失函数;
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练,从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型;
步骤4,使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择,使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合:
步骤4.1,利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算,得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度从而得到K个Jensen-Shannon散度:
式(1)中,表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本的预测值,β1和β2分别表示特征样本的目标输出值和预测值的权重,β1,β2≥0且β1+β2=1;
步骤4.2,对K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较,并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型,其中,θ的取值范围为(0,1);
步骤4.3,利用式(2)所示的自适应线性归一化方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型:
式(2)中,E表示由W个元素且元素值为1组成的向量,且E=[1,1,...,1]T,η表示W个训练好的支持向量回归预测模型的权重向量,且η=[η1,η2,...,ηw,...,ηW]T,ηw表示第w个训练好的支持向量回归预测模型的权重,且1≤w≤W,en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量,且 表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差,并有:
式(3)中,fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果;
步骤4.5,利用拉格朗日函数对式(2)进行优化求解,得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η:
步骤4.6,利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测,得到预测结果向量f(hnew),且f(hnew)=[f(hnew)1,f(hnew)2,...,f(hnew)w,...,f(hnew)W]T,f(hnew)w表示第w个训练好的支持向量回归预测模型对新的特征样本hnew的预测结果;
利用式(5)所示的使用自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合,从而得到新的特征样本hnew的最终预测结果F(hnew):
针对本发明方法进行实验论证,具体包括:
1、数据集
本发明选用某有色金属生产公司的能耗数据集来验证基于集成长短期记忆网络的冶金企业能耗预测方法的有效性。在此数据中,共1826个数据,时间跨度从2014年1月1日至2018年12月31日的某有色金属生产公司的冶金综合能耗数据。
2、评价指标
本发明使用均方根误差(Root Mean Squared Error,RMSE)和平均绝对百分误差(Mean Absolute Percentage Error,MAPE)百分数作为实验的评价指标。RMSE用来衡量误差的分散程度,RMSE的值越小,表示模型的预测效果越好。MAPE不仅考虑了预测值与真实值的误差,还考虑了误差与真实值之间的比例,MAPE的值越小,表示模型的预测效果越好。RMSE和MAPE的计算公式如式(6)和(7)所示:
式(6)和式(7)中,S表示冶金企业能耗数据测试集的样本总数,其中1≤s≤S,ys表示冶金企业能耗数据测试集中第s个样本的真实值,F(hs)表示冶金企业能耗数据测试集中第s个样本的预测值;
3、实验流程
为了验证本发明所提出方法的有效性,本发明选用自回归移动平均模型(Auto-Regression MovingAverage Model,ARMA),BP神经网络(BackPropagationNeuralNetwork,BPNN),极限学***均法对各个基学习器的预测结果进行融合。实验过程中,本发明将2014年1月1日至2017年12月31日的某有色金属生产公司的冶金综合能耗数据作为训练集,2018年1月1日至2018年12月31日的作为测试集。
4、实验结果
为了验证本发明所提出方法的有效性,本发明在某有色金属生产公司的能耗数据集上进行实验,并将本发明所提方法及其对比方法的实验结果进行比较。实验结果如表1和图3,图4所示。
表1 RMSE和MAPE实验结果
由表1、图3和图4可以看出,本发明所提方法在RMSE和MAPE两个评价指标下均优于另外六种预测方法。从表1、图3和图4还可以看出,在ARMA、BPNN、ELM、LSTM、SVR与LSTM-SVR方法的比较中,LSTM-SVR方法在两个评价指标下均取得了较优的结果,在LSTM-SVR方法和本发明方法的比较中,本发明方法在两个评价指标也均取得了最优的结果。这一结果表明,对冶金企业能耗预测而言,使用LSTM提取冶金企业能耗数据的深度学习特征以及对训练好的基学习器进行合理选择和分配合适的权重有助于提高预测结果的准确性,这也进一步验证了本发明方法提出的同时考虑使用LSTM取冶金企业能耗数据的深度学习特征以及考虑到基学习器预测性能的差异对基学习器进行选择和权重分配的有效性。
Claims (1)
1.一种基于集成长短期记忆网络的冶金企业能耗预测方法,其特征是按照如下步骤进行:
步骤1,收集冶金企业能耗数据并进行预处理:
步骤1.1,收集冶金企业能耗历史数据组成原始数据集合,记为P={p1,p2,...,pm,...,pM},pm为原始数据集合P中第m天的冶金企业能耗数据,1≤m≤M,M表示原始数据集合P中的总数;
步骤1.2,检查原始数据集合P是否存在缺失值,若存在缺失值,对所有缺失值用原始数据集合P中所有冶金企业能耗数据的平均值进行填充后,再对填充后的原始数据集合中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;否则,直接对原始数据集合P中所有冶金企业能耗数据进行归一化处理,得到归一化后的冶金企业能耗数据集;
步骤1.3,使用滑动窗口对归一化后的冶金企业能耗数据集进行样本划分,得到冶金企业能耗数据的N个样本,记为样本集D={(x1,y1),(x2,y2),...,(xn,yn),...,(xN,yN)},其中,(xn,yn)表示冶金企业能耗数据的第n个样本,xn表示冶金企业能耗数据第n个样本的样本向量,且 表示冶金企业能耗数据第n个样本的样本向量xn中第a-1个属性,该属性表示为冶金企业能耗数据经过归一化处理后的每天的综合能耗值;yn表示冶金企业能耗数据第n个样本的样本向量xn的目标输出值,且a表示第n个样本的长度;
步骤2,使用长短期记忆网络提取冶金企业能耗数据的深度学习特征:
将冶金企业能耗数据的样本集D中的样本依次输入长短期记忆网络中,得到最后一层隐藏层的输出并作为冶金企业能耗数据的深度学习特征,从而得到冶金企业能耗数据的特征集L={(h1,y1),(h2,y2),...,(hn,yn),...,(hN,yN)},其中,(hn,yn)表示冶金企业能耗数据的第n个特征样本,hn表示冶金企业能耗数据第n个特征样本的深度学习特征,其形式为向量;
步骤3,构建多个冶金企业能耗数据的训练集,训练多个冶金企业能耗数据的支持向量回归预测模型;
步骤3.1,使用自助采样法对冶金企业能耗数据的特征集L进行K次采样,得到K个包含R个特征样本的训练集{DS1,DS2,…,DSk,…,DSK},其中,DSk表示第k个包含R个特征样本的训练集,且 表示第k个训练集DSk中第r个特征样本,表示第k个训练集DSk中第r个特征样本的深度学习特征,表示第k个训练集DSk中第r个特征样本的目标输出值,1≤r≤R,1≤k≤K;
步骤3.2,以径向基核函数作为支持向量回归预测模型的映射函数,以ε-不敏感损失函数作为支持向量回归预测模型的损失函数;
将K个冶金企业能耗数据的训练集{DS1,DS2,…,DSk,…,DSK}中的特征样本依次输入到支持向量回归预测模型进行训练,从而获得K个训练好的冶金企业能耗数据的支持向量回归预测模型;
步骤4,使用Jensen-Shannon散度对K个训练好的支持向量回归预测模型进行选择,使用自适应线性归一化结合方法对所选择的支持向量回归预测模型的结果进行融合:
步骤4.1,利用式(1)对第k个训练好的冶金企业能耗数据的支持向量回归预测模型进行Jensen-Shannon散度的计算,得到第k个训练好的冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度从而得到K个Jensen-Shannon散度:
式(1)中,表示第k个训练好的支持向量回归预测模型在第r个冶金企业能耗数据的特征样本的预测值,β1和β2分别表示特征样本的目标输出值和预测值的权重,β1,β2≥0且β1+β2=1;
步骤4.2,对K个冶金企业能耗数据的支持向量回归预测模型的Jensen-Shannon散度分别与阈值θ进行比较,并选择Jensen-Shannon散度小于阈值θ的所有W个训练好的支持向量回归预测模型,其中θ的取值范围为(0,1);
步骤4.3,利用式(2)所示的自适应线性归一化方法建立W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L上的优化模型:
式(2)中,E表示由W个元素且元素值为1组成的向量,且E=[1,1,...,1]T,η表示W个训练好的支持向量回归预测模型的权重向量,且η=[η1,η2,...,ηw,...,ηW]T,ηw表示第w个训练好的支持向量回归预测模型的权重,且1≤w≤W,en表示W个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)上的绝对误差向量,且 表示第w个训练好的支持向量回归预测模型在第n个特征样本上的绝对误差,并有:
式(3)中,fw(hn)表示第w个训练好的支持向量回归预测模型在冶金企业能耗数据的特征集L中第n个特征样本(hn,yn)的预测结果;
步骤4.5,利用拉格朗日函数对式(2)进行优化求解,得到式(4)所示的W个训练好的支持向量回归预测模型的权重向量η:
步骤4.6,利用W个训练好的支持向量回归预测模型对给定新的特征样本hnew进行预测,得到预测结果向量f(hnew);
利用式(5)所示的使用自适应线性归一化结合方法对W个训练好的支持向量回归预测模型的预测结果进行融合,从而得到新的特征样本hnew的最终预测结果F(hnew):
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910824388.XA CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910824388.XA CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110533249A true CN110533249A (zh) | 2019-12-03 |
CN110533249B CN110533249B (zh) | 2021-09-14 |
Family
ID=68666368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910824388.XA Active CN110533249B (zh) | 2019-09-02 | 2019-09-02 | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110533249B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553114A (zh) * | 2020-04-11 | 2020-08-18 | 东华大学 | 一种基于数据驱动的纺织印染智能配色方法 |
CN114154716A (zh) * | 2021-12-03 | 2022-03-08 | 北京航天创智科技有限公司 | 一种基于图神经网络的企业能耗预测方法及装置 |
CN115828735A (zh) * | 2022-11-07 | 2023-03-21 | 江苏风云科技服务有限公司 | 一种高成长型企业评价方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105204333A (zh) * | 2015-08-26 | 2015-12-30 | 东北大学 | 一种提高钢铁企业能源利用率的能耗预测方法 |
CN105320991A (zh) * | 2014-07-04 | 2016-02-10 | 上海宝信软件股份有限公司 | 基于因素的钢铁企业工序能耗预测方法 |
CN106127047A (zh) * | 2016-06-24 | 2016-11-16 | 河海大学 | 一种基于延森‑香农距离的电力***恶意数据检测方法 |
CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和*** |
-
2019
- 2019-09-02 CN CN201910824388.XA patent/CN110533249B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105320991A (zh) * | 2014-07-04 | 2016-02-10 | 上海宝信软件股份有限公司 | 基于因素的钢铁企业工序能耗预测方法 |
CN105204333A (zh) * | 2015-08-26 | 2015-12-30 | 东北大学 | 一种提高钢铁企业能源利用率的能耗预测方法 |
CN106127047A (zh) * | 2016-06-24 | 2016-11-16 | 河海大学 | 一种基于延森‑香农距离的电力***恶意数据检测方法 |
CN109643485A (zh) * | 2016-12-30 | 2019-04-16 | 同济大学 | 一种城市道路交通异常检测方法 |
CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和*** |
Non-Patent Citations (4)
Title |
---|
ISTVÁN PINTÉR ET AL: "Jensen-Shannon divergence based algorithm for adaptive segmentation and labelling of household"s electricity power consumption data series", 《2016 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS·SMC》 * |
丁子祥: "基于机器学习方法的建筑能耗预测研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
张宇帆 等: "基于生成对抗网络的负荷序列随机场景生成方法", 《供用电》 * |
高盛祥 等: "基于蚁群优化的小波神经网络钢铁生产能耗预测模型", 《昆明理工大学学报( 自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553114A (zh) * | 2020-04-11 | 2020-08-18 | 东华大学 | 一种基于数据驱动的纺织印染智能配色方法 |
CN111553114B (zh) * | 2020-04-11 | 2022-10-11 | 东华大学 | 一种基于数据驱动的纺织印染智能配色方法 |
CN114154716A (zh) * | 2021-12-03 | 2022-03-08 | 北京航天创智科技有限公司 | 一种基于图神经网络的企业能耗预测方法及装置 |
CN115828735A (zh) * | 2022-11-07 | 2023-03-21 | 江苏风云科技服务有限公司 | 一种高成长型企业评价方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN110533249B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107730054B (zh) | 一种基于支持向量回归的燃气负荷组合预测方法 | |
CN110533249A (zh) | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 | |
CN103854068B (zh) | 一种居民小区短期负荷预测方法 | |
CN111382676B (zh) | 一种基于注意力机制的沙粒图像分类方法 | |
CN106909933A (zh) | 一种三阶段多视角特征融合的窃电分类预测方法 | |
CN109635245A (zh) | 一种鲁棒宽度学习*** | |
CN104537433A (zh) | 基于存量容量与业扩报装特征的售电量预测方法 | |
CN103093285A (zh) | 基于人工神经网络的短期负荷预测方法 | |
CN110212528A (zh) | 基于生成对抗和双重语义感知的配电网量测数据缺失重构方法 | |
CN109376950A (zh) | 一种基于bp神经网络的多元电网负荷预测方法 | |
CN110503104A (zh) | 一种基于卷积神经网络的短时剩余车位数量预测方法 | |
CN109242169A (zh) | 一种面向电力大客户的短期负荷预测方法 | |
CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN114693064B (zh) | 一种建筑群方案生成性能评价方法 | |
CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
CN112132334A (zh) | 一种用于城市生活垃圾产量的预测方法 | |
CN116579447A (zh) | 一种基于分解机制和注意力机制的时间序列预测方法 | |
CN115828755A (zh) | 微网群参与电网服务的评估方法、装置及可读存储介质 | |
CN110598326A (zh) | 一种基于人工智能的试井解释方法 | |
CN114493925A (zh) | 基于bert与gcnn混合网络的非侵入式负荷分解方法 | |
CN111582560B (zh) | 一种基于循环神经网络的水稻产量预测方法 | |
CN112508734B (zh) | 基于卷积神经网络的电力企业发电量的预测方法及装置 | |
CN114091776A (zh) | 一种基于K-means的多分支AGCNN短期电力负荷预测方法 | |
CN110033126A (zh) | 基于注意力机制与逻辑回归的长短期记忆网络预测方法 | |
CN117151770A (zh) | 一种基于注意力机制的lstm碳价预测方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |