CN108009668B - 一种应用机器学习的大规模地调负荷预测方法 - Google Patents

一种应用机器学习的大规模地调负荷预测方法 Download PDF

Info

Publication number
CN108009668B
CN108009668B CN201711050221.XA CN201711050221A CN108009668B CN 108009668 B CN108009668 B CN 108009668B CN 201711050221 A CN201711050221 A CN 201711050221A CN 108009668 B CN108009668 B CN 108009668B
Authority
CN
China
Prior art keywords
training set
bias
algorithm
training
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711050221.XA
Other languages
English (en)
Other versions
CN108009668A (zh
Inventor
梁寿愚
方文崇
黄雄
何超林
朱文
周志烽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN201711050221.XA priority Critical patent/CN108009668B/zh
Publication of CN108009668A publication Critical patent/CN108009668A/zh
Application granted granted Critical
Publication of CN108009668B publication Critical patent/CN108009668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明是一种应用机器学习的大规模地调负荷预测方法。包括有如下步骤：1)训练集分割；2）偏置项处理；3）结果处理。本发明充分利用积累的负荷历史数据，提高短期负荷预测的准确率，并提高负荷预测的速度，使日常调度运行、购售电交易等所需的负荷预测需求能得到及时的满足。

Description

一种应用机器学习的大规模地调负荷预测方法
技术领域
本发明属于电力调度自动化领域，本发明涉及一种应用机器学习的大规模地调负荷预测方法，特别是一种应用机器学习的大规模地调负荷预测方法，属于应用机器学习的大规模地调负荷预测方法的创新技术。
背景技术
负荷预测是电力***规划、计划、用电、调度等部门的基础工作,其重要性早已被人们所认识。目前负荷预测的研究,其主要出发点大多是以更为先进的理论提高预测的准确性,为电力***运行的经济性和安全性提供有力的保证。
负荷预测是其它很多分析计算工作的重要基础，是电力***节能发电调度的重要手段，为调度决策支持、电网安全校核、阻塞管理、在线安全分析和预警预控等功能的完善实用奠定坚实的基础，也是今后中国智能电网建设中的重要一环。
短期负荷预测的研究已有很长历史，国内外的许多专家、学者在预测理论和方法方面做了大量的研究工作，取得了很多卓有成效的进展。但由于负荷的随机因素太多、非线性极强，而有些传统方法理论依据尚存在局限性等问题，因此，新理论和新技术的发展一直推动着短期负荷预测的不断发展，新的预测方法层出不穷。短期负荷预测的最大特点是其具有明显的周期性包括：1)不同日之间24h整体变化规律的相似性；2)不同星期同一星期类型日的相似性；3)工作日/休息日各自的相似性；4)不同年度的重大节假日负荷曲线的相似性。
在具备上述周期性的同时短期负荷的另外一个特点是其明显受到各种环境因素的影响，如季节更替，天气因素突然变化，设备事故和检修重大文体活动等，这使得负荷时间序列的变化出现非平稳的随机过程。
影响负荷的因素总结如下：1)用电负荷的真实情况，表现在历史负荷数据或负荷曲线上，通常用建模方法来作预测；2)和负荷变化有关的某些外界因素，如工业产值、农业产值，GDP增长、居民增加等，可以用它们的未来数据利用回归分析来预测未来的负荷；3)难以定量表示的不确定的因素，如经济政策、政治风云变化、气象变化、节假日、非计划停运等。4)负荷预测的方法可以分为四大类：经典法，传统法，智能预测和新方法。
支持向量机是电力领域中较常用的负荷预测算法。它是一种监督学习算法，即需要由训练数据集中学到或建立一个模式，并依此模式推测新的实例。支持向量机应用领域集中在分类、回归预测等。针对电力负荷预测领域，选用ε-SVR支持向量回归算法。在电力负荷预测中，样本数据集多呈非线性关系，因此，通常通过非线性映射，把输入样本数据集映射到一个高维的特征空间上去，然后在被映射到的高维的空间上进行线性回归。
由于ε-SVR算法训练、核心问题就是在解决QP问题，拉格朗日乘数的数量等于训练数据集的数量，当问题规模较小时，可以直接使用投影共轭梯度方法来解决。当问题规模很大时，上述解决方法可能无法发挥作用，因为核函数矩阵的元素个数等于训练集样本个数的平方，将消耗大量的计算机内存来存储核函数数值矩阵。在智能电网云存储上，其电力负荷数据不仅是海量的，而且是高维的，更加重了对计算资源的消耗。
发明内容
本发明的目的在于考虑上述问题而提供一种应用机器学习的大规模地调负荷预测方法，本发明充分利用积累的负荷历史数据，提高短期负荷预测的准确率。提高负荷预测的速度，使日常调度运行、购售电交易等所需的负荷预测需求能得到及时的满足。
本发明的技术方案是：本发明的应用机器学习的大规模地调负荷预测方法，包括有如下步骤：
1)训练集分割；
2)偏置项处理；
3)结果处理。
上述步骤1)训练集分割的方法具体如下：
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练，当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量；
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组,
其中，是全局分类向量。
本发明将序列最小优化算法引入到支持向量机算法中，在训练过程中选择优化拉格朗日乘子，对ε-SVR的训练阶段进行优化求解，降低算法的复杂度；同时基于MapReduce编程框架和HBase的并行序列最小优化的支持向量回归负荷预测算法，以解决海量、高维负荷数据预测时，单机运算资源不足的问题，本发明具有如下优点：
1)本发明在提升预测准确率的前提下，降低了算法的复杂度。
2)本发明采用分布式架构，解决海量、高维负荷数据预测时，单机运算资源不足的问题。
3)本发明技术实现简单实用，可以直接在EMS***上开发应用，改造工作量非常小，加上EMS***及其数据历史数据条件较好，所以该技术更易于实用化和得到准确结果。
本发明是一种方便实用的应用机器学习的大规模地调负荷预测方法。
附图说明
图1为本发明方法的分布式结构示意图。
具体实施方式
实施例：
本发明方法的示意图如图1所示，本发明的应用机器学习的大规模地调负荷预测方法。
采用MapReduce编程框架，不同于传统的ε-SVR负荷预测算法在单机上训练所有的训练集数据的方式，该负荷预测算法将训练集数据分割成多个数据子集，在Map阶段并行的在多个单机训练各个数据子集，在Reduce阶段整合Map阶段的局部结果。在保证预测准确率的前提下，克服了智能电网海量高维数据进行负荷预测时易出现的单机计算资源不足的问题。
此外，该算法的分布式数据存储策略也直接影响着算法的性能表现，本文提出应用Hadoop HBase存储QP解决阶段生成的核函数值，HBase具有高可靠性、高性能、可伸缩的优点，建立在非关系模型基础上的分布式数据库，用以存储大规模生成的核函数值，可保证改进算法的并行性能。
本发明的具体流程和方法描述如下：
(1)训练集分割
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练。当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量。
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组。
其中，是全局分类向量。
(2)偏置项处理
在Reduce阶段还需要处理偏置项b，每个训练集子集的偏置项b都是不相同的，在Reduce阶段将对各个Map操作生成的偏置项b取平均，作为全局偏置项。
(3)结果处理
在非线性的ε-SVR算法中，每个Map阶段需生成其训练集子集的拉格朗日乘数α数组和偏置项b。在Reduce阶段，整合各个Map操作生成的拉格朗日乘数α数组，以获取全局的拉格朗日乘数α数组，偏置项b的处理与原算法相同。MapReduce任务需要生成拉格朗日乘数α数组、偏置项b和相应的训练数据集，以计算ε-SVR算法的输出。算法分布式结构如图1所示。
本发明将序列最小优化算法引入到支持向量机算法中，在训练过程中选择优化拉格朗日乘子，对ε-SVR的训练阶段进行优化求解，降低了算法的复杂度。
本发明基于MapReduce编程框架和HBase的并行计算方法，对上述序列最小优化的支持向量回归负荷预测算法进行求解，解决了海量、高维负荷数据预测时，单机运算资源不足的问题。

Claims (1)

1.一种应用机器学习的大规模地调负荷预测方法,其特征在于包括有如下步骤：
1)训练集分割；
2)偏置项处理；
3)结果处理；
上述步骤1)训练集分割的方法具体如下：
把整个训练集分割成m个数据子集，每个训练集子集分配到一个单独的Map操作任务：Map任务的个数与训练集的子集个数相同，不同Map任务并行执行SMO算法，对训练子集进行训练，当线性ε-SVR算法中，最后输出训练子集的向量和偏置项b满足：
其中，是训练集输入，yi是训练集输出，αi是拉格朗日乘数数组，/>是分类向量；
在Reduce阶段，整合各个Map操作生成的以获取全局的/>数组,
其中，是全局分类向量；
上述步骤2)偏置项处理的方法具体如下：
在Reduce阶段还需要处理偏置项b，每个训练集子集的偏置项b都是不相同的，在Reduce阶段将对各个Map操作生成的偏置项b取平均，作为全局偏置项；
上述步骤3)结果处理的方法具体如下：
在非线性的ε-SVR算法中，每个Map阶段需生成其训练集子集的拉格朗日乘数α数组和偏置项b，在Reduce阶段，整合各个Map操作生成的拉格朗日乘数α数组，以获取全局的拉格朗日乘数α数组，偏置项b的处理与原算法相同，MapReduce任务需要生成拉格朗日乘数α数组、偏置项b和相应的训练数据集，以计算ε-SVR算法的输出。
CN201711050221.XA 2017-10-31 2017-10-31 一种应用机器学习的大规模地调负荷预测方法 Active CN108009668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711050221.XA CN108009668B (zh) 2017-10-31 2017-10-31 一种应用机器学习的大规模地调负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711050221.XA CN108009668B (zh) 2017-10-31 2017-10-31 一种应用机器学习的大规模地调负荷预测方法

Publications (2)

Publication Number Publication Date
CN108009668A CN108009668A (zh) 2018-05-08
CN108009668B true CN108009668B (zh) 2023-08-25

Family

ID=62051155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711050221.XA Active CN108009668B (zh) 2017-10-31 2017-10-31 一种应用机器学习的大规模地调负荷预测方法

Country Status (1)

Country Link
CN (1) CN108009668B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389164A (zh) * 2018-09-28 2019-02-26 浙江大学 基于支持向量回归模型的地区单位gdp能耗预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184421A (zh) * 2011-04-22 2011-09-14 北京航空航天大学 一种支持向量回归机的训练方法
JP2013117921A (ja) * 2011-12-05 2013-06-13 Nippon Telegr & Teleph Corp <Ntt> ランキング関数学習装置、方法、及びプログラム
CN105184424A (zh) * 2015-10-19 2015-12-23 国网山东省电力公司菏泽供电公司 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法
CN105844371A (zh) * 2016-05-19 2016-08-10 北京中电普华信息技术有限公司 一种用电客户短期负荷需求预测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150046221A1 (en) * 2011-09-17 2015-02-12 Autogrid Inc. Load forecasting from individual customer to system level based on price
AU2015282362B2 (en) * 2015-01-06 2017-09-21 Accenture Global Services Limited Power distribution transformer load prediction analysis system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184421A (zh) * 2011-04-22 2011-09-14 北京航空航天大学 一种支持向量回归机的训练方法
JP2013117921A (ja) * 2011-12-05 2013-06-13 Nippon Telegr & Teleph Corp <Ntt> ランキング関数学習装置、方法、及びプログラム
CN105184424A (zh) * 2015-10-19 2015-12-23 国网山东省电力公司菏泽供电公司 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法
CN105844371A (zh) * 2016-05-19 2016-08-10 北京中电普华信息技术有限公司 一种用电客户短期负荷需求预测方法及装置

Also Published As

Publication number Publication date
CN108009668A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN105184424B (zh) 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法
CN110991700A (zh) 基于深度学习改进的天气与用电相关性预测方法及装置
CN110689162B (zh) 一种基于用户侧分类的母线负荷预测方法、装置及***
Chen et al. Development and application of big data platform for garlic industry chain
Li et al. Data-driven peer-to-peer blockchain framework for water consumption management
CN108009668B (zh) 一种应用机器学习的大规模地调负荷预测方法
Liao et al. Multicore parallel dynamic programming algorithm for short-term hydro-unit load dispatching of huge hydropower stations serving multiple power grids
Deng et al. An intelligent hybrid short-term load forecasting model optimized by switching delayed PSO of micro-grids
CN107748943A (zh) 一种基于云计算的电网电力负荷管理预测方法
Tao et al. Recurrent neural networks application to forecasting with two cases: load and pollution
Zhang et al. Building energy consumption prediction based on temporal-aware attention and energy consumption states
Hua Power quality prediction of active distribution network based on CNN-LSTM deep learning model
Kuang et al. Short-term power load forecasting method in rural areas based on cnn-lstm
CN107730025A (zh) 一种基于电量变动的供电企业现金流量预测模型
Gong et al. Application of CNN-LSTM based hybrid neural network in power load forecasting
Han et al. A cross-view model for tourism demand forecasting with artificial intelligence method
Zhou et al. The analysis and prediction of power consumption in industry based on machine learning
Liu et al. Power consumption prediction with K-nearest-neighbours and XGBoost algorithm
Zhao et al. Big data analytics for water resources sustainability evaluation
Mohammed et al. A comprehensive study and understanding—A neurocomputing prediction techniques in renewable energies
Tian et al. Photovoltaic power prediction based on dilated causal convolutional network and stacked LSTM
Ling et al. Application research of data mining technology in power dispatching management system
He et al. Hourly Day-Ahead Power Forecasting for PV Plant Based on Bidirectional LSTM
Xia et al. Research on short-term load forecasting of power system based on gradient lifting tree
Wang et al. Research on Daily Tourist Flow Prediction of Scenic Spots Based on Similar Day Clustering and LSSVM Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant