CN105305426B - 基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 - Google Patents
基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 Download PDFInfo
- Publication number
- CN105305426B CN105305426B CN201510683327.8A CN201510683327A CN105305426B CN 105305426 B CN105305426 B CN 105305426B CN 201510683327 A CN201510683327 A CN 201510683327A CN 105305426 B CN105305426 B CN 105305426B
- Authority
- CN
- China
- Prior art keywords
- load
- prediction
- data
- historical
- svm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法,第一步采用自回归滑动平均模型ARMA法,不考虑负荷的影响因素,得到预测相对误差值;第二步采用SVM法,以第一步预测相对误差值、待预测点日平均气温为影响因素来进行二次负荷预测,在第一步的预测基础上修正预测值,实现对负荷的偏差控制预测;同时将ARMA法与SVM法实现Mapreduce化,具有较好的加速比和可扩展性,同时利用实时温度数据,在Hadoop平台上并行化运行预测方法,在保证预测速度和预测精度的基础上实现短期实时负荷预测。
Description
技术领域
本发明涉及发一种基于大数据的电力负荷预测方法,特别是基于偏差控制机制的负荷预测方法。
背景技术
时间序列模型是被认为最经典、最***、最被广泛采用的一类短期负荷预测方法,但其有以下缺点:①在电网正常运行、气候等因素变化不大时的预测比较准确,但在随机性因素变化较大或存在坏数据时,预测结果则不太理想;②不能很好处理其他影响负荷预测的因素;③在每日的负荷丰谷转折点预测精度差。
而一个好的负荷预测方法应满足:①能处理实时气象因素;②根据预测的偏差不断调整模型的结构与参数,构成了一个闭环反馈。因此应该充分利用时间序列模型预测得到的相对误差值进行考虑实时气象因素的二次负荷预测,实现对负荷预测偏差的控制。
发明内容
本发明的目的是提供一种实现偏差控制的两步法短期负荷预测算法,以解决传统时间序列预测算法在每日的负荷丰谷转折点预测精度差,无法实时处理气象因素、有效利用模型预测偏差,导致的负荷预测精度低的问题。
本发明为解决上述技术问题而提供一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法,第一步采用自回归滑动平均模型Autoregressive Moving-AverageModel(ARMA)法,不考虑负荷的影响因素,得到预测相对误差;第二步采用支持向量机Support Vector Machine(SVM)法,考虑第一步的预测相对误差、实时待预测点气温的影响来进行二次负荷预测,在第一步的预测基础上修正预测值,实现对负荷的实时预测。具体步骤如下:
步骤1、配置Linux运行环境,搭建分布式集群Hadoop平台,配置分布式文件***HDFS、并行运算Mapreduce;
步骤2、数据采集:从待预测地区供电公司的EMS***中采集历史负荷数据,从气象局的数据库中采集历史温度数据,两种数据的样本总数均为M,每天的采样频率均为f,且采样时刻相同;
步骤3、数据预处理:对历史负荷数据、历史温度数据进行归一化处理,将历史负荷数据划分为负荷训练集:Lr={lr},r=1,2,…Q,以及负荷测试集:Lu={lu},u=1,2,…S,其中lr与lu为历史负荷数据样本,Q+S=M;将历史温度数据划分为温度训练集:Tr={tr},r=1,2,…Q,以及温度测试集:Tu={tu},u=1,2,…S,其中tr与tu为历史温度数据样本,Q+S=M;历史负荷数据和历史温度数据的划分方法相同。
步骤4、将自回归滑动平均模型ARMA法Mapreduce化,进行一次负荷预测,具体步骤如下:
4A.负荷训练集分割:确定并行ARMA的数目为N,修改HDFS的配置文件,使得负荷训练集分割为N个历史负荷数据子集,上传至HDFS文件***;
4B.设计Map函数:采用ARMA法得到模型参数,并作为value值输出;
4C.设计Reduce函数:将N个Map任务得到的ARMA模型参数进行平均,得到最终ARMA模型,对所有的历史负荷进行预测,并按照下式计算相对误差E1,同时存入HDFS文件***:
其中:E1为采用ARMA法得到的待预测负荷的预测相对误差,lF1为采用ARMA法进行负荷预测得到的负荷预测结果,lR为负荷实际值;
步骤5、数据整理:综合训练集:xr=(E1r,tr,lr),r=1,2,…Q,综合测试集:xu=(E1u,tu,lu),u=1,2,…S,其中lr、lu代表步骤3中历史负荷值,E1r、E1u代表由步骤4得到的lr对应的相对误差值,tr、tu代表lr、lu点对应的步骤3中历史温度值;
步骤6、将SVM法Mapreduce化,进行二次负荷预测,具体步骤如下:
6A.综合训练集分割:确定并行SVM的数目为N,修改HDFS的配置文件,使得综合训练集数据分割为N个综合子训练集,上传至HDFS文件***;
6B.设计Map函数:选择径向基作为核函数,选定核函数参数与惩罚因子,对综合子训练集进行SVM模型训练,得到子支持向量,并将其作为Map函数的value输出;
6C.设计Reduce函数:汇集N个Map函数输出的子支持向量得到总支持向量集,再对总支持向量集进行SVM训练,得到最优拉格朗日乘子a*以及最优阈值b*,建立进行负荷预测的SVM回归函数:
式中,xr=(xr1,xr2,yr),r=1,2,…Q为训练样本,xu为待预测点的特征值向量;
利用SVM回归函数进行负荷预测得到预测结果LFi2,并按照下式计算相对误差:
其中:E2为采用SVM法得到的待预测负荷的预测相对误差,LF2采用SVM法得到的为负荷预测值,lR为负荷实际值;将SVM法得到的二次负荷预测结果与相对误差结果存入HDFS文件***。
与传统技术相比,本发明的有益效果是:
传统时间序列预测方法应用于负荷预测时,无法有效考虑影响负荷预测精度的因素,同时其在每日的负荷丰谷转折点预测精度差,而且现有其他负荷预测方法都没有考虑充分利用预测误差值,本发明以时间序列预测法的预测误差值与以待预测点的预测温度作为二次负荷预测SVM法的输入特征,消除了时间序列预测方法在每日的负荷丰谷转折点预测精度差的问题,同时利用实时温度数据,在Hadoop平台上并行化运行预测方法,在保证预测速度和预测精度的基础上实现短期实时负荷预测。
附图说明
图1是本发明基于偏差控制机制的Mapreduce化两步法短期负荷预测方法的流程图。
图2是第一步Mapreduce化的ARMA负荷预测流程图。
图3是第二步Mapreduce化的SVM负荷预测流程图。
具体实施方式
为使本发明更明显易懂,配合附图作详细说明如下,
一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法,具体步骤包括:
步骤1、配置Linux运行环境,搭建分布式集群Hadoop平台,配置分布式文件***HDFS、并行运算Mapreduce;
步骤2、数据采集:从待预测地区供电公司的EMS***、气象局的数据库中采集历史负荷数据、历史温度数据,两种数据的样本总数均为M,每天的采样频率均为f,且采样时刻相同;
步骤3、数据预处理:对历史负荷数据、历史温度数据进行归一化处理,将历史负荷数据划分为负荷训练集:Lr={lr},r=1,2,…Q,以及负荷测试集:Lu={lu},u=1,2,…S,其中lr与lu为历史负荷数据样本,Q+S=M;将历史温度数据划分为温度训练集:Tr={tr},r=1,2,…Q,以及温度测试集:Tu={tu},u=1,2,…S,其中tr与tu为历史温度数据样本,Q+S=M;历史负荷数据和历史温度数据的划分方法相同。
步骤4、采用自回归滑动平均模型ARMA法进行负荷预测,具体步骤如下:
4A.负荷训练集分割:确定并行ARMA的数目为N,修改HDFS的配置文件,使得负荷训练集分割为N个历史负荷数据子集,上传至HDFS文件***;
4B.设计Map函数:采用传统ARMA法得到模型参数,并作为value值输出:
Step1:对采集的历史负荷数据进行平稳性检验,采用非参数检验法:将电力负荷数据作散点图,当日该时刻的电力负荷数据大于这段时期该时刻平均电力负荷时用+1表示,当日该时刻的电力负荷数据小于这段时期该时刻平均电力负荷时用-1表示,γ表示游程数(正负交错数),N表示+1出现次数,M表示-1出现次数,则统计量为:n=N+M。取显著水平α=0.05,当|Z|≤1.96时历史负荷数据为平稳随机序列,否则为非平稳随机序列。
Step2:若电力负荷序列为非平稳序列,则对该负荷序列进行预处理:平稳化处理、零化处理;
平稳化处理:对负荷数据进行差分处理,一阶差分:ΔXt=Xt-Xt-1,然后按照Step1判断经处理后序列的平稳性,若不是平稳序列则继续进行差分,直到成为平稳序列。
零化处理:当负荷数据序列{xt},t=1,2,…N的均值非零时,构造零均值序列:yt=xt-Ext,其中
Step3:模型结构辨识:
①计算由Step2得到的平稳、零均值的随机序列{yt},t=1,2,…N的自相关函数:
②计算偏自相关函数:
③给定m,n初值,若ρk在某个k>m后则{yt}为MA(0,m)序列;若在某个k>n后则{yt}为AR(n,0)序列;若ρk与均不为0,则{yt}为ARMA序列,但不能确定阶数。
Step4:参数估计:
④若为AR(n)模型:其中均为常数,at为白噪声参数估计为:
其中:
⑤若为MA(m)模型:yt=-θ1at-1-θ2at-2-…-θmat-m+at,其中θ1、…θm均为常数,at为白噪声。一般MA(m)模型阶数为1或2,阶数再增加则比较复杂,故直接取m=1或m=2,采用直接法求参数估计。
m=1时:
m=2时:
⑥若为ARMA(n,m)模型:其中θ1、…θm均为常数,at为白噪声。
1)令pN=(lnN)1+δ,0≤δ≤1为任意给定值,按④计算
2)求长自回归模型残差:t=pN+1,…,N,利用残差自相关函数检验{at}的独立性,若不独立,则增大pN,转1),否则转3);
3)按照最小二乘估计ARMA(n,m)模型的参数:β=(XTX)-1XTY
其中:
4)采用AIC准则确定模型阶数:
5)重新选定m,n,对m,n重复进行1)~4),选择使AIC(n,m)最小的一组m*,n*作为ARMA的阶数,由3)得到参数估计。
4C.设计Reduce函数:将N个Map任务得到的ARMA模型参数进行平均,得到最终ARMA模型,对所有的历史负荷进行预测,并按照下式计算相对误差E1,同时存入HDFS文件***:
其中:E1为采用ARMA法得到的待预测负荷的预测相对误差,lF1为采用ARMA法进行负荷预测得到的负荷预测结果,lR为负荷实际值;
步骤5、数据整理:综合训练集:xr=(E1r,tr,lr),r=1,2,…Q,综合测试集:xu=(E1u,tu,lu),u=1,2,…S,其中lr、lu代表历史负荷值,E1r、E1u代表由步骤4得到的lr对应的相对误差值,tr、tu代表lr、lu点对应的气温值;
步骤6、将SVM法Mapreduce化,进行二次负荷预测,具体步骤如下:
6A.综合训练集分割:确定并行SVM的数目为N,修改HDFS的配置文件,使得综合训练集数据分割为N个综合子训练集,上传至HDFS文件***;
6B.设计Map函数:选择径向基作为核函数,选定核函数参数与惩罚因子,对综合子训练集进行SVM模型训练,得到子支持向量,并将其作为Map函数的value输出;
6C.设计Reduce函数:汇集N个Map函数输出的子支持向量得到总支持向量集,再对总支持向量集进行SVM训练,得到最优拉格朗日乘子α*以及最优阈值b*,建立进行负荷预测的SVM回归函数:
式中,xr=(xr1,xr2,yr),r=1,2,…Q为训练样本,xu为待预测点的特征值向量;
利用SVM回归函数进行负荷预测得到预测结果LFi2,并按照下式计算相对误差:
其中:E2为采用SVM法得到的待预测负荷的预测相对误差,LF2采用SVM法得到的为负荷预测值,lR为负荷实际值;将SVM法得到的二次负荷预测结果与相对误差结果存入HDFS文件***。
本发明的意义表现在:(1)可以充分利用ARMA法得到的预测相对误差值,使得每日的负荷丰谷转折点较差的预测精度值变为有用信息;(2)考虑实时的气象因素;(3)实现负荷预测偏差控制。
Claims (1)
1.一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法,第一步采用自回归滑动平均模型ARMA法,得到预测相对误差;第二步采用SVM法,考虑第一步的预测相对误差、日平均气温的影响来进行二次负荷预测,在第一步的预测基础上修正预测值,实现对负荷的实时预测,其特征在于,具体包括如下步骤:
步骤1、配置Linux运行环境,搭建分布式集群Hadoop平台,配置分布式文件***HDFS、并行运算Mapreduce;
步骤2、数据采集:从待预测地区供电公司的EMS***中采集历史负荷数据,从气象局的数据库中采集历史温度数据,两种数据的样本总数均为M,每天的采样频率均为f,且采样时刻相同;
步骤3、数据预处理:对历史负荷数据、历史温度数据进行归一化处理,将历史负荷数据划分为负荷训练集:Lr={lr},r=1,2,…Q,以及负荷测试集:Lu={lu},u=1,2,…S,其中lr与lu为历史负荷值,Q+S=M;将历史温度数据划分为温度训练集:Tr={tr},r=1,2,…Q,以及温度测试集:Tu={tu},u=1,2,…S,其中tr与tu为历史温度数据样本,Q+S=M;历史负荷数据和历史温度数据的划分方法相同;
步骤4、将自回归滑动平均模型ARMA法Mapreduce化,进行一次负荷预测,具体步骤如下:
4A.负荷训练集分割:确定并行ARMA的数目为N,修改HDFS的配置文件,使得负荷训练集分割为N个历史负荷数据子集,上传至HDFS文件***;
4B.设计Map函数:采用ARMA法得到模型参数,并作为value值输出;
4C.设计Reduce函数:将N个Map任务得到的ARMA模型参数进行平均,得到最终ARMA模型,对所有的历史负荷进行预测,并按照下式计算预测相对误差E1,同时存入HDFS文件***:
其中:E1为采用ARMA法得到的待预测负荷的预测相对误差,lF1为采用ARMA法进行负荷预测得到的负荷预测结果,lR为负荷实际值;
步骤5、数据整理:综合训练集:xr=(E1r,tr,lr),r=1,2,…Q,综合测试集:xu=(E1u,tu,lu),u=1,2,…S,其中lr、lu代表步骤3中历史负荷值,E1r、E1u代表由步骤4得到的预测相对误差值,tr、tu代表lr、lu点对应的步骤3中历史温度值;
步骤6、将SVM法Mapreduce化,进行二次负荷预测,具体步骤如下:
6A.综合训练集分割:确定并行SVM的数目为N,修改HDFS的配置文件,使得综合训练集数据分割为N个综合子训练集,上传至HDFS文件***;
6B.设计Map函数:选择径向基作为核函数,选定核函数参数与惩罚因子,对综合子训练集进行SVM模型训练,得到子支持向量,并将其作为Map函数的value输出;
6C.设计Reduce函数:汇集N个Map函数输出的子支持向量得到总支持向量集,再对总支持向量集进行SVM训练,得到最优拉格朗日乘子α*以及最优阈值b*,建立进行负荷预测的SVM回归函数:
式中,xr=(xr1,xr2,yr),r=1,2,…Q为训练样本,xu为待预测点的特征值向量;
利用SVM回归函数进行负荷预测得到预测结果LFi2,并按照下式计算相对误差:
其中:E2为采用SVM法得到的待预测负荷的预测相对误差,LF2采用SVM法得到的为负荷预测值,lR为负荷实际值;将SVM法得到的二次负荷预测结果与相对误差结果存入HDFS文件***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510683327.8A CN105305426B (zh) | 2015-10-20 | 2015-10-20 | 基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510683327.8A CN105305426B (zh) | 2015-10-20 | 2015-10-20 | 基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105305426A CN105305426A (zh) | 2016-02-03 |
CN105305426B true CN105305426B (zh) | 2017-03-22 |
Family
ID=55202357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510683327.8A Active CN105305426B (zh) | 2015-10-20 | 2015-10-20 | 基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105305426B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537394B (zh) * | 2017-03-01 | 2022-02-22 | 全球能源互联网研究院 | 一种智能电网实时安全预警方法和装置 |
CN107832876B (zh) * | 2017-10-27 | 2020-09-04 | 国网江苏省电力公司南通供电公司 | 基于MapReduce框架的分区最大负荷预测方法 |
CN109800898A (zh) * | 2017-11-17 | 2019-05-24 | 中国电力科学研究院有限公司 | 一种智能短期负荷预测方法及*** |
CN110874802A (zh) * | 2018-09-03 | 2020-03-10 | 苏文电能科技股份有限公司 | 一种基于arma和svm模型组合的用电量预测方法 |
CN111191193A (zh) * | 2020-01-17 | 2020-05-22 | 南京工业大学 | 一种基于自回归滑动平均模型的长期土壤温湿度高精度预测方法 |
CN112365280B (zh) * | 2020-10-20 | 2024-04-19 | 国网冀北电力有限公司计量中心 | 电力需求的预测方法及装置 |
CN112381272A (zh) * | 2020-10-30 | 2021-02-19 | 国网山东省电力公司滨州市沾化区供电公司 | 一种电网负荷预测方法、***、终端及存储介质 |
CN113657687B (zh) * | 2021-08-30 | 2023-09-29 | 国家电网有限公司 | 基于特征工程和多路深度学习的电力负荷预测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103700041A (zh) * | 2014-01-16 | 2014-04-02 | 湖南大学 | 基于云计算的智能电网负荷预测管理平台 |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104598986A (zh) * | 2014-12-12 | 2015-05-06 | 国家电网公司 | 基于大数据的电力负荷预测方法 |
-
2015
- 2015-10-20 CN CN201510683327.8A patent/CN105305426B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103700041A (zh) * | 2014-01-16 | 2014-04-02 | 湖南大学 | 基于云计算的智能电网负荷预测管理平台 |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104598986A (zh) * | 2014-12-12 | 2015-05-06 | 国家电网公司 | 基于大数据的电力负荷预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105305426A (zh) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105305426B (zh) | 基于偏差控制机制的Mapreduce化两步法短期负荷预测方法 | |
Kim et al. | LSTM based short-term electricity consumption forecast with daily load profile sequences | |
US20200063710A1 (en) | System and methods for hyper short-term wind power prediction using real-time wind parameter measurements | |
Kusiak et al. | Short-term prediction of wind farm power: A data mining approach | |
CN104392274B (zh) | 基于用电负荷与温度趋势的城市短期用电负荷预测方法 | |
CN103268519B (zh) | 基于改进Lyapunov指数的电力***短期负荷预测方法及装置 | |
CN110705772B (zh) | 区域电网风力发电功率预测优化方法和装置 | |
CN103336891B (zh) | 一种用于配电网状态估计的伪量测生成方法 | |
CN110705771B (zh) | 区域电网新能源发电功率预测优化方法和装置 | |
CN103295081A (zh) | 基于bp神经网络的电力***负荷预测方法 | |
CN105701559A (zh) | 一种基于时间序列的短期负荷预测方法 | |
CN105205570A (zh) | 一种基于季节时序分析的电网售电量预测方法 | |
CN103985000A (zh) | 基于函数型非参数回归的中长期典型日负荷曲线预测方法 | |
CN108092319A (zh) | 一种短期风电功率预测的不确定性分析方法及装置 | |
CN103606013A (zh) | 一种基于支持向量机的用户年度用电量预测方法 | |
CN101976301A (zh) | 逐年负荷预测中历史数据预处理的方法与装置 | |
CN104036328A (zh) | 自适应风电功率预测***及预测方法 | |
CN104537233B (zh) | 一种基于核密度估计的配电网伪量测生成方法 | |
CN103699947A (zh) | 一种基于元学习的电力***时变非线性负荷组合预测方法 | |
CN111563236B (zh) | 一种短期风速预测方法及装置 | |
CN103514488A (zh) | 基于组合预测模型的电力***短期负荷预测装置及方法 | |
CN110705768A (zh) | 用于风电场的风力发电功率预测优化方法和装置 | |
CN114186733A (zh) | 一种短期负荷预测方法和装置 | |
CN113723717B (zh) | ***日前短期负荷预测方法、装置、设备和可读存储介质 | |
CN104252647A (zh) | 基于反距离权重插值法的用电负荷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |