CN113762591B - 一种基于gru和多核svm对抗学习的短期电量预测方法及*** - Google Patents
一种基于gru和多核svm对抗学习的短期电量预测方法及*** Download PDFInfo
- Publication number
- CN113762591B CN113762591B CN202110820888.3A CN202110820888A CN113762591B CN 113762591 B CN113762591 B CN 113762591B CN 202110820888 A CN202110820888 A CN 202110820888A CN 113762591 B CN113762591 B CN 113762591B
- Authority
- CN
- China
- Prior art keywords
- user
- gru
- data
- prediction
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005611 electricity Effects 0.000 claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010219 correlation analysis Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于GRU和多核SVM对抗学习的用户短期电量预测方法及***,所述方法包括:获取待预测用户的历史用电数据和当前用电相关数据;采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:基于历史用电数据和用电相关数据,提取影响因素特征及其权重;基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型。本发明通过生成器和判别器的相互博弈学习提高预测性能,提高了电量预测的准确度。
Description
技术领域
本发明涉及智能用电技术领域,特别涉及一种基于GRU和多核SVM对抗学习的短期电量预测方法及***。
背景技术
准确地对用电量进行预测能够保证电网***准确可靠的运行,避免在电网调度过程中的资源浪费,同时,还有助于制定更经济的发电计划。
传统的电量预测方法主要包括回归分析法和时间序列分析法等。这些方法虽然在电力行业的一些应用上比较广泛,但是仍存在对于一些不确定因素考虑不足的缺点,同时也未能很好的利用序列数据的信息。为了提高预测的性能,智能预测方法(如人工神经网络、支持向量机预测模型和深度学习预测方法等)逐渐地被应用于电量预测研究中,其优点在于能够很好的挖掘出各种影响因素与电量之间的关联关系。目前,大多数研究是基于用电量序列进行预测建模,其中循环神经网络(Recurrent Neural Network,RNN)被广泛应用。长短期记忆网络(Long Short-Term Memory,LSTM)和门控循环单元(Gated RecurrentUnit,GRU)是RNN的变种,它们能够有效地解决RNN模型中长期依赖性的不足,是电量预测研究中比较常用的模型。此外,卷积神经网络(Convolutional Neural Networks,CNN)也被应用到负荷预测研究中。发明人发现,虽然这些方法已经取了不错的效果,但是这些方法忽略了电量序列内部之间潜在的关联关系,对于已有信息没有进行充分利用。
发明内容
基于上述问题,本发明的第一个方面,提供一种基于改进GRU和多核支持向量机对抗学习的用户短期电量预测方法及***。基于用电量的主要特征因素,以双向GRU和多头注意力机制相结合作为生成器、多核SVM为判别器,构建基于生成对抗网络模型实现用户短期电力预测,通过生成器和判别器的相互博弈学习提高预测性能,提高了电量预测的准确度。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,包括以下步骤:
获取待预测用户的历史用电数据和当前用电相关数据;
采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
基于历史用电数据和用电相关数据,提取影响因素特征及其权重;
基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;
将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型。
进一步地,获取用户用电数据和用电相关数据后,还进行数据清洗,包括删除重复数据、补全缺失数据和删除错误数据。
进一步地,基于灰色关联分析法提取影响因素特征及其权重。
进一步地,基于灰色关联分析法提取影响因素特征包括:
利用灰色关联分析法,计算特征相关统计量;
设定相关统计量阈值作为预设关联度阈值,筛选出与用户用电量行为相关的特征作为影响因素特征。
进一步地,对双向GRU和多头注意力机制构建的生成器进行训练包括:
基于影响因素特征及其权重,通过双向GRU学习获取上下文信息;
进行多次自注意力计算,将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数,得到用户用电量综合向量;
采用用户用电量综合向量,根据softmax预测函数计算损失函数,采用反向传播算法训练双向GRU的学习参数,完成生成器的训练。
进一步地,通过双向GRU学习获取上下文信息包括:
将影响因素特征序列向量映射为低维向量集合;
通过前向和后向GRU分别对低维向量集合进行学习;
通过拼接函数对双向GRU学习得到的特征进行拼接,得到上下文信息。
进一步地,根据实际用电量和生成的用电量预测值计算均方根误差,将均方根误差作为目标函数,对生成器进行参数更新。
一个或多个实施例提供了一种基于GRU和多核SVM对抗学习的用户短期电量预测***,包括:
数据获取模块,被配置为:获取待预测用户的历史用电数据和当前用电相关数据;
用电预测模块,被配置为:采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
基于历史用电数据和用电相关数据,提取影响因素特征及其权重;
基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;
将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型。
一个或多个实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述基于GRU和多核SVM对抗学习的用户短期电量预测方法。
一个或多个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述基于GRU和多核SVM对抗学习的用户短期电量预测方法。
以上一个或多个技术方案具有以下有益效果:
本发明以历史用户用电量数据和用电相关数据为基础,以双向GRU和多头注意力机制相结合作为生成器,以多核SVM作为判别器,构建基于生成对抗网络模型实现用户短期电力预测,通过生成器和判别器的相互对抗学习来提高预测性能。
本发明针对用户历史用电量数据具有时序性和长期依赖性的特征,采用双向GRU预测未来用电量情况;此外,为了能够捕获电量序列的内部结构,学习序列内部数据信息之间的依赖关系,引入了多头注意力机制的思想,从不同维度、不同子空间来表征特征信息,提高模型预测的准确性。
本发明提出了采用真实数据和生成数据的均方根误差作为目标函数的一部分,来调整生成器,降低模型出错的概率,提高模型的稳定性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明一个或多个实施例提供的基于GRU和多核SVM对抗学习的用户短期电量预测方法整体流程图;
图2为本发明一个或多个实施例提供的数据预处理方法流程图;
图3为本发明一个或多个实施例提供的基于改进GRU和多核SVM对抗学习的用户短期电量预测方法的整体原理图;
图4为本发明一个或多个实施例提供的多头注意力机制的架构图;
图5为本发明一个或多个实施例提供的基于GRU和多核SVM对抗学习的用户短期电量预测方法的效果图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例的一种基于改进GRU和多核SVM对抗学习的用户短期电量预测方法,包括以下步骤:
步骤1:获取待预测用户的历史用电数据和当前用电相关数据;
步骤2:采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
S1:获取历史用电数据和用电相关数据,提取影响因素特征及其权重;具体包括:
A.对海量电力信息进行相关用电量数据的采集,包含历史用电量数据和用电相关数据,用电相关数据包括天气数据、节假日数据等,本实施例中仅以天气数据为例进行说明。对获取的用电量数据和天气数据进行数据预处理,包含数据清洗、缺失数据补全、数据定义并存储。
具体地,基于中国某省级电网公司的用电信息采集***中获取的用电数据,每小时采集一次,每天采集24个时间点的数据,包括996个用户2019年9月1日到2019年9月14日共334656条用电数据。在这里要说明一点是,本实施将每一个时间点采取的数据都作为一条用电数据。此外,从中国气象数据服务中心网站上获取了相应城市相应时间的天气数据。
B.对海量电量数据进行规范化处理,基于灰色关联分析法(Grey RelationAnalysis,GRA)对天气情况进行影响用电量的特征选择,消除特征的冗余并提取与影响用电量高关联度的特征。
其中,对获取的数据进行数据预处理,包含缺失值处理、数据归一化,并采用卡方检验进行简单的相关性分析,消除重复影响因素及因子选择的任意性,降低问题的复杂性,从而消除特征的冗余并选择更多信息变量以提高预测模型的准确率和效率。
在用户用电量预测过程中,天气情况对用电量的预测有着重要的影响。针对获取的电量数据样本,根据灰色关联分析法,判别特征选择的结果如下所示。表1显示了通过GRA算法计算天气因素与用户行为之间的相关统计量,并且按统计量从高到低排序,设置阈值(=0.5)以排除一些无信息的特征。在实验中,可以得出结论,温度和湿度这两个天气因素,对用电量预测的影响较大。
表1.天气因素关联度分析
因素 | 关联度 |
最高气温 | 0.9819 |
最低气温 | 0.9707 |
湿度 | 0.9674 |
平均温度 | 0.9199 |
总降水量 | 0.8651 |
风速 | 0.8470 |
气压 | 0.6895 |
B.具体地,如图2所示,所述步骤B中基于灰色关联分析法(Grey RelationAnalysis,GRA)进行天气因素分析的一般生成过程为:
B1.对历史电量数据和对应的天气数据进行规范化处理,采用min-max标准化方法对原始数据X进行归一化处理,特征数据取值为[0,1];
B2.假设原样本中各个特征数据经均值化变化后的用电量参考序列为X0=(x0(1),x0(2),......,x0(n)),将包含各种因素特征的历史电力数据设为比较序列为Xk=(xk(1),xk(2),......,xk(n)),i=1,2,.....,m。则X0与Xk的相关系数的计算公式如下:
式中,δi(k)表示xi对x0在K个数据上的关联度系数。ρ表示分辨系数(ρ=0.5);
B3.计算各个因素与用户用电量的关联度θ
最后,我们可以通过对关联度θ进行排序,根据排序大小选出影响就医迁移的主要特征集合,输出筛选的特征集合,为后面电量预测模型的构建提供基础支撑。
S2:基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;具体地,基于获取的因素特征集合及其相应权重来构建双向GRU,以实现从正反两个方向学习用户的用电信息;然后结合多头注意力机制,构建生成器;更新双向GRU中各个用户用电序列信息状态预测数据的权重值,输出用户用电量状态预测向量;利用用户用电量状态预测向量,构建softmax预测函数;计算softmax预测函数输出值的损失函数,采用反向传播算法训练双向GRU的学习参数,完成生成器的训练。
步骤S2具体包括以下步骤:
C.基于步骤B预处理后的数据和获取的特征因素集合,采用双向GRU和多头注意力相结合构建生成器,实现电量预测,如图3所示。
C1.基于获得的影响用户用电量的因素集合构建模型的输入序列{x1,x2,...,xt},经过Embedding层操作,将高维稀疏的序列向量映射为低维稠密的向量集合{e1,e2,...et}。
ei=WTxi(i=1,2,...,t) (3)
其中W∈R|t|*d表示的是特征矩阵,|t|表示的是序列的长度,K表示的是Embedding层的嵌入维度。
C2.基于获取的低维稠密的向量集合,对于每一个时刻t,GRU使用输入et和先前状态ht-1计算ht,如下:
rt=σ(Wret+Urht-1) (4)
nt=σ(Wπet+Uπht-1) (5)
其中,ht,rt和πt分别是d维度的隐状态,重置门和更新门。Wr,Wπ,Wc和Ur,Uπ,U是GRU的参数。σ是sigmoid函数。
Bi-GRU有前向和后向GRU组成,通过前后两个方向的学习来更好的获取序列数据的上下文信息。最后,通过Concat函数拼接得到最后的隐藏状态Ht,如下所示:
其中,表示的是通过前向GRU学习到的隐藏状态/> 表示的是从相反方向学习到的隐藏状态/>
C3.为了能够捕获序列的内部结构,学习序列内部数据信息之间的依赖关系,引入多头注意力机制,进行多次自注意力计算,将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数,如图4所示。
首先进行自注意力分数计算,计算过程如下:
其中,H={H1,H2,....,Ht}表示一个矩阵,它由双向GRU层所有时刻的输出向量组成。Wl,γ,表示参数向量。
经过自注意力计算,可以得到单次注意力输出的特征值为:
然后,使用公式(9)~(11)进行K次计算。将结果H*进行拼接和线性映射,得到最终的结果:
C4.最后,将经过多头注意力机制得出的注意力特征序列输入Softmax层进行用电量预测,预测结果为:
Y=Softmax(WrHfinal+br) (13)
S3:将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型。具体地,基于获得的用户用电量状态预测向量和真实数据,利用多核SVM构建判别器,判别生成器预测的结果是否属于真实数据;基于判别器获得的判别结果,反馈更新生成器中的数据信息,通过相互对抗不断优化模型中的数据权重值,不断完善用户用电量预测。
步骤S3具体包括以下步骤:
D.基于步骤C获得的用户用电量状态预测向量,结合真实数据,利用多核SVM构建判别器,判别生成器预测的结果是否属于真实数据。
多核SVM是单核SVM的拓展,其目标是确定M个核函数的最优组合,使得间距最大,可以用如下优化问题表示:
其中Δ={θ∈R+|θTeM=1}表示M个核函数的凸组合的系数;eM表示的是M个元素全是1的向量;代表最终的核函数,其中kj(·,·)是第j个核函数。
对式(14)使用拉格朗日乘子法转换为如下最优化的形式:
其中Kj∈RN×N,Ω={α|α∈[0,C]N},α为拉格朗日乘子;“*”被定义为向量的点积。
E.基于步骤D获得的判别结果,反馈更新生成器中的数据信息,通过相互对抗不断优化模型中的数据权重值,不断完善用户用电量预测。采用交叉熵作为损失函数,若y为真实的类别分布,则损失函数定义如下:
其中,Spositive和Snegative分别表示的正样本数据和负样本数据。Pdiscriminator(Yt,x)表示的是样本(Yt,x)属于真实数据的概率。
在模型训练过程中,生成器的目标函数与真实数据不相关,仅靠判别器的输出来调整生成器的参数。当判别器判别有误时,会使生成器生成的数据出现偏差,导致模型不够稳定。因此,在本实施中,将真实样本与生成样本的均方误差作为生成器目标函数的一部分。当判别器有误时,还可以靠均方根误差来调整生成器,可降低模型出错的概率,提高模型的稳定性。
对待预测样本进行用电量预测,将预测结果进行推送,并与实际数据进行结果对比,采用均方根误差(Root Mean Squared Error,RMSE)和平均绝对百分比误差(MeanAbsolute Percentage Error,MAPE)两个评价指标进行方法分析。此外,本实施的模型参数初始设置如表2所示。
其中,yt表示t时刻的真实值;y′t表示的是预测值;n表示数据的个数。
表2.模型参数设置
参数指标 | 数量 |
嵌入维度 | 100 |
双向GRU隐藏层节点数 | 64 |
多头注意力头数 | 8 |
学习率 | 0.001 |
Dropout | 0.5 |
多核SVM核数 | 5 |
迭代次数(Epoch) | 100 |
表3描述了用电量预测中方法性能的比较情况:基于表3中的结果可得,本实施例所提出的用电量预测模型的预测性能优于其他预测方法。
表3.不同预测方法的性能比较情况
实施例二
本实施例的目的是提供一种基于GRU和多核SVM对抗学习的短期电量预测***。
基于上述目的,本实施例提供了一种基于GRU和多核SVM对抗学习的短期电量预测***,包括:
数据获取模块,被配置为:获取待预测用户的历史用电数据和当前用电相关数据;
用电预测模块,被配置为:采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
基于历史用电数据和用电相关数据,提取影响因素特征及其权重;
基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;
将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型。
实施例三
本实施例的目的是提供一种电子设备。
基于上述目的,本实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施如实施例一中所述的方法。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
基于上述目的,本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实施如实施例一中所述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,包括以下步骤:
获取待预测用户的历史用电数据和当前用电相关数据;
采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
基于历史用电数据和用电相关数据,提取影响因素特征及其权重;
基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;
对双向GRU和多头注意力机制构建的生成器进行训练包括:
基于影响因素特征及其权重,通过双向GRU学习获取上下文信息;
进行多次自注意力计算,将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数,得到用户用电量综合向量;
采用用户用电量综合向量,根据softmax预测函数计算损失函数,采用反向传播算法训练双向GRU的学习参数,完成生成器的训练;
将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型;
根据实际用电量和生成的用电量预测值计算均方根误差,将均方根误差作为目标函数,对生成器进行参数更新。
2.如权利要求1所述的一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,获取用户用电数据和用电相关数据后,还进行数据清洗,包括删除重复数据、补全缺失数据和删除错误数据。
3.如权利要求1所述的一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,基于灰色关联分析法提取影响因素特征及其权重。
4.如权利要求3所述的一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,基于灰色关联分析法提取影响因素特征包括:
利用灰色关联分析法,计算特征相关统计量;
设定相关统计量阈值作为预设关联度阈值,筛选出与用户用电量行为相关的特征作为影响因素特征。
5.如权利要求1所述的一种基于GRU和多核SVM对抗学习的用户短期电量预测方法,其特征在于,通过双向GRU学习获取上下文信息包括:
将影响因素特征序列向量映射为低维向量集合;
通过前向和后向GRU分别对低维向量集合进行学习;
通过拼接函数对双向GRU学习得到的特征进行拼接,得到上下文信息。
6.一种基于GRU和多核SVM对抗学习的用户短期电量预测***,其特征在于,包括:
数据获取模块,被配置为:获取待预测用户的历史用电数据和当前用电相关数据;
用电预测模块,被配置为:采用预训练的用户短期电量预测模型进行用电量预测,其中,所述用户短期电量预测模型训练方法包括:
基于历史用电数据和用电相关数据,提取影响因素特征及其权重;
基于影响因素特征及其权重,对双向GRU和多头注意力机制构建的生成器进行训练,输出用户用电量状态预测向量;
对双向GRU和多头注意力机制构建的生成器进行训练包括:
基于影响因素特征及其权重,通过双向GRU学习获取上下文信息;
进行多次自注意力计算,将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数,得到用户用电量综合向量;
采用用户用电量综合向量,根据softmax预测函数计算损失函数,采用反向传播算法训练双向GRU的学习参数,完成生成器的训练;
将用户用电量综合向量和真实数据作为输入,基于多核SVM判别器的判别结果对生成器进行参数更新,得到用户短期电量预测模型;
根据实际用电量和生成的用电量预测值计算均方根误差,将均方根误差作为目标函数,对生成器进行参数更新。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一项所述基于GRU和多核SVM对抗学习的用户短期电量预测方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一项所述基于GRU和多核SVM对抗学习的用户短期电量预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110820888.3A CN113762591B (zh) | 2021-07-20 | 2021-07-20 | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110820888.3A CN113762591B (zh) | 2021-07-20 | 2021-07-20 | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113762591A CN113762591A (zh) | 2021-12-07 |
CN113762591B true CN113762591B (zh) | 2024-04-05 |
Family
ID=78787793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110820888.3A Active CN113762591B (zh) | 2021-07-20 | 2021-07-20 | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762591B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707817B (zh) * | 2022-03-16 | 2024-06-04 | 国网湖南省电力有限公司 | 一种参与有序用电用户的可调控负荷预测方法及*** |
CN115808944B (zh) * | 2023-02-09 | 2023-06-02 | 国能大渡河枕头坝发电有限公司 | 一种定子温升试验控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508642A (zh) * | 2018-10-17 | 2019-03-22 | 杭州电子科技大学 | 基于双向gru和注意力机制的船舶监控视频关键帧提取方法 |
CN109711620A (zh) * | 2018-12-26 | 2019-05-03 | 浙江大学 | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 |
CN110516831A (zh) * | 2019-06-18 | 2019-11-29 | 国网(北京)节能设计研究院有限公司 | 一种基于mwoa算法优化svm的短期负荷预测方法 |
CN110942205A (zh) * | 2019-12-05 | 2020-03-31 | 国网安徽省电力有限公司 | 一种基于himvo-svm的短期光伏发电功率预测方法 |
CN112270454A (zh) * | 2020-11-19 | 2021-01-26 | 国网北京市电力公司 | 极端因素影响下的电力***短期负荷预测方法与预测装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449744B2 (en) * | 2016-06-23 | 2022-09-20 | Microsoft Technology Licensing, Llc | End-to-end memory networks for contextual language understanding |
US11665576B2 (en) * | 2018-08-10 | 2023-05-30 | Verizon Patent And Licensing Inc. | Systems and methods for wireless low latency traffic scheduler |
-
2021
- 2021-07-20 CN CN202110820888.3A patent/CN113762591B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508642A (zh) * | 2018-10-17 | 2019-03-22 | 杭州电子科技大学 | 基于双向gru和注意力机制的船舶监控视频关键帧提取方法 |
CN109711620A (zh) * | 2018-12-26 | 2019-05-03 | 浙江大学 | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 |
CN110516831A (zh) * | 2019-06-18 | 2019-11-29 | 国网(北京)节能设计研究院有限公司 | 一种基于mwoa算法优化svm的短期负荷预测方法 |
CN110942205A (zh) * | 2019-12-05 | 2020-03-31 | 国网安徽省电力有限公司 | 一种基于himvo-svm的短期光伏发电功率预测方法 |
CN112270454A (zh) * | 2020-11-19 | 2021-01-26 | 国网北京市电力公司 | 极端因素影响下的电力***短期负荷预测方法与预测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113762591A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754113B (zh) | 基于动态时间规整与长短时间记忆的负荷预测方法 | |
CN113962364B (zh) | 一种基于深度学习的多因素用电负荷预测方法 | |
CN111738512A (zh) | 一种基于cnn-ipso-gru混合模型的短期电力负荷预测方法 | |
CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
CN110751318B (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
CN108921339B (zh) | 基于分位数回归的遗传支持向量机光伏功率区间预测方法 | |
CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN112884008B (zh) | 一种电力信息采集***运行状态的预测评估方法及装置 | |
CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** | |
CN112329990A (zh) | 一种基于lstm-bp神经网络的用户用电负荷预测方法 | |
CN109492748A (zh) | 一种基于卷积神经网络的电力***的中长期负荷预测模型建立方法 | |
CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及*** | |
CN114119273A (zh) | 一种园区综合能源***非侵入式负荷分解方法及*** | |
CN113762387A (zh) | 一种基于混合模型预测的数据中心站多元负荷预测方法 | |
CN112288157A (zh) | 一种基于模糊聚类与深度强化学习的风电场功率预测方法 | |
CN116169670A (zh) | 一种基于改进神经网络的短期非居民负荷预测方法及*** | |
CN111428766A (zh) | 一种高维海量量测数据的用电模式分类方法 | |
CN112836876B (zh) | 一种基于深度学习的配电网线路负荷预测方法 | |
CN113033898A (zh) | 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及*** | |
CN117313795A (zh) | 一种基于改进dbo-lstm的智慧楼宇能耗预测方法 | |
CN115481788B (zh) | 相变储能***负荷预测方法及*** | |
CN117390550A (zh) | 考虑排放训练集的低碳园区碳排放动态预测方法及*** | |
Zhang | Short‐Term Power Load Forecasting Based on SAPSO‐CNN‐LSTM Model considering Autocorrelated Errors | |
CN116632834A (zh) | 一种基于SSA-BiGRU-Attention的短期电力负荷预测方法 | |
Lv et al. | Research on short-term load forecasting approach for smart grid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |