CN110633867A - 一种基于gru和注意力机制的超短期负荷预测模型 - Google Patents
一种基于gru和注意力机制的超短期负荷预测模型 Download PDFInfo
- Publication number
- CN110633867A CN110633867A CN201910899925.7A CN201910899925A CN110633867A CN 110633867 A CN110633867 A CN 110633867A CN 201910899925 A CN201910899925 A CN 201910899925A CN 110633867 A CN110633867 A CN 110633867A
- Authority
- CN
- China
- Prior art keywords
- gru
- attention mechanism
- ultra
- load prediction
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 3
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000288105 Grus Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013400 design of experiment Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于GRU和注意力机制的超短期负荷预测模型,包括以下步骤:S1:确定网络的输入输出变量;S2:设计基于attention机制的GRU网络结构;解决了以往方法预测精度低以及不适用于超短期负荷预测的问题。
Description
技术领域
本发明涉及超短期负荷预测模型领域,特别是一种基于GRU和注意力机制的超短期负荷预测模型。
背景技术
近年来随着电力供需矛盾的缓解以及用电结构的变化,各大电网负荷特性发生了很大的变化,负荷特性受发电出力制约的因素已经基本消除,基本趋向正常的用电负荷特性。电网供需矛盾相对缓和,电网最大负荷持续快速增长,峰谷差增大,负荷率逐年下降,电网备用容增大,高峰时段和枯水期电力供应紧张,电网调峰困难。电力供需瞬时平衡的特点使得电力负荷预测在电力***中的地位和作用扮演着十分重要的角色。在电力市场逐步放开的背景和节能减排的压力推动下,各发电和用电企业对于负荷预测精度的要求越来越高,准确的负荷预测,可以经济合理地安排电网内部发电机组的启停,保持电网运行的安全稳定性,减少不必要的旋转储备容量,合理安排机组检修计划,保证社会的正常生产和生活,有效地降低发电成本,提高经济效益和社会效益。
超短期负荷由于受天气变化、社会活动和节日类型等各种因素的影响,在时间序列上表现为非平稳的随机过程,但是影响***负荷的各因素中大部分具有规律性,从而为实现有效的预测奠定了基础。电力负荷预测研究的核心问题是如何利用现有的历史数据,建立预测模型,对未来时刻或时间段内的负荷值进行预测,因此,历史数据信息的可靠性和预测模型是影响短期负荷预测精度的主要因素。随着现在电力***管理信息***的逐步建立,以及天气预测水平的提高,准确获取各种历史数据已不再困难,因此,短期负荷预测的效果影响核心是预测模型。传统的电力负荷预测方法包括时间序列法、趋势外推法、回归分析法等,近年来,大规模间歇性新能源发电***以及电动汽车需求侧响应等新型负荷类型的广泛接入所带来的高度随机性和动态变化特性,对传统的负荷预测方法提出了极大挑战。
目前负荷预测的方法主要分为统计方法和人工智能方法两类,其中统计方法包括时间序列和线性回归,近年来,随着我国在人工智能技术领域的快速发展,人工神经网络在负荷预测中得到广泛应用,有方法基于径向基函数(RBF)神经网络模型、BP神经网络模型和广义回归神经网络(GRNN)等等。2002年,由于RNN可以较好捕获输入数据特性的特点,Vermaask和Botha开始将RNN引入电力负荷预测,随着RNN的发展,对影响因素考虑愈发细致,企业和客户对准确性要求愈发高,使学者们加快了对RNN预测模型的改进,由于RNN只能对较短的时间序列进行记忆,随着数据量增大,时间间隔增长RNN会丢失之前输入的重要信息,引起梯度消失而导致预测模型失效。针对这一问题,Hochreiter和Schmidhuber提出的长短时记忆网络(long-short term memory,LSTM)可供一种有效的解决方案。而Cho等人提出的门控循环单元(gated recurrent unit)是LSTM网络的一种变体,它将LSTM的输入门和遗忘门结合,在结构上只包括更新门和重置门,使结构更简单。由于GRU相对于LSTM来说,通常收敛较快,计算量也就会相对减少。
将各种算法与网络模型结合的方式一直是负荷预测领域的热点研究方向,本发明针对LSTM算法存在的不足,提出一种基于Attention机制的GRU神经网络。利用预测点前48h的历史数据作为输入,实现未来1h的超短期负荷预测。通过计算不同输入量特征的注意力权重,对重要数据分配更多的注意力,从而提高负荷预测精度。通过与LSTM神经网络和GRU神经网络进行对比,表明所提方法有更高的预测精度,更适用于超短期负荷预测。
发明内容
为解决现有技术中存在的问题,本发明提供了一种基于GRU和注意力机制的超短期负荷预测模型,解决了以往方法预测精度低以及不适用于超短期负荷预测的问题。
本发明采用的技术方案是,一种基于GRU和注意力机制的超短期负荷预测模型,包括以下步骤:
S1:确定网络的输入输出变量;
S2:设计基于Attention机制的GRU网络结构。
优选地,S1包括以下步骤:
S11:选取负荷采样频率为每小时1次,获得的训练数据集为每天24h的历史负荷数据,选取的负荷值为第n小时的最大负荷值;
S12:采用计算样本自相关系数的方法来确定输入变量时间序列的阶数;
S13:通过找到自相关系数衰减为0的阶数,确定采用特定时段的历史负荷数据,进行超短期负荷预测,实现负荷历史数据的充分利用;
S14:绘制得到负荷历史数据集的自相关系数;
S15:当阶数取108时,自相关系数衰减为0。
优选地,S12的样本自相关系数的方法的计算公式为
优选地,S2包括以下步骤:
S21:建立基于Attention机制的GRU网络;
S22:加入天气因素w,通过合理分配注意力权重,实现记忆单元求解,实现超短期负荷预测即加入天气因素W,计算各个输入的注意力概率分布值,进一步提取文本特征,突出关键因素的影响;
S23:利用softmax函数对输出层的输入进行相应计算,从而进行文本分类。
优选地,softmax函数的计算公式为:
y=softmax(wiv+bi)
其中,wi表示Attention机制层到输出层待训练的权重系数矩阵,bi表示待训练相对应的偏置量,y为输出的预测标签。
优选地,通过Attention机制的计算公式计算出最后包含文本信息的特征向量v,输出层的输入为上一层Attention层的输出。
优选地,S21包括以下步骤:
S211:输入时间序列的向量;
S212:让时间序列的向量进入GRU模型中;
S213:经过GRU模型计算之后得到对应输出;同时在隐藏层引入Attention机制。
优选地,时间序列的向量为x1,x2,x3,…,xi。
优选地,经过GRU模型计算之后得到对应输出为h1,h2,h3,…,hi。
优选地,Attention机制的计算公式为:
v=Σahii∑ei=witanh(Wihi+bi)
其中,ei表示第i时刻隐层状态向量,hi为所决定的注意力概率分布值,wi和Wi表示第i时刻的权重系数矩阵,bi表示第i时刻相应的偏移量。
本发明基于GRU和注意力机制的超短期负荷预测模型的有益效果如下:
1.采用GRU神经网络有利于更好地捕捉时间序列中时间间隔较长数据对当前时刻的影响程度。
2.采用注意力机制(Attention),能够使深度学习模型在处理视觉图像领域问题时更好地提取重要特征,从而提升模型效果。
附图说明
图1为本发明基于GRU和注意力机制的超短期负荷预测模型的
图2为本发明基于GRU和注意力机制的超短期负荷预测模型的GRU神经网络图
图3为本发明基于GRU和注意力机制的超短期负荷预测模型的zt图
图4为本发明基于GRU和注意力机制的超短期负荷预测模型的rt图
图5为本发明基于GRU和注意力机制的超短期负荷预测模型的h~t图
图6为本发明基于GRU和注意力机制的超短期负荷预测模型的ht图
图7为本发明基于GRU和注意力机制的超短期负荷预测模型的Attention的本质思想图
图8为本发明基于GRU和注意力机制的超短期负荷预测模型的softmax图
图9为本发明基于GRU和注意力机制的超短期负荷预测模型的负荷历史数据集的自相关系数图
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network,RNN)的一种。与LSTM(Long-Short Term Memory)一样,也是为了解决长期记忆依赖和反向传播中的梯度消失等问题而提出来的。相比LSTM,使用GRU能够达到相当的效果,并且更容易进行训练,能够很大程度上提高训练效率,因此,很多时候研究人员会更倾向于使用GRU。
GRU神经网络包含两个门单元(更新门z和重置门r),结构如图2所示,更新门控制上一时刻的信息用到当前时刻中的程度,更新门的值越大表示上一时刻对当前时刻的影响越高。重置门控制忘记上一时刻信息的程度,重置门的值越小表示上一时刻对当前时刻的影响越少。
隐藏状态h利用更新门控制之前时刻隐藏状态与当前时刻的候选隐藏状态结合更新的程度。如果,在时间t1到t2之间的状态一直近似1。那么,t1到t2之间的信息几乎没有输入到当前时刻的隐藏状态。这个设计有利于更好地捕捉时间序列中时间间隔较长数据对当前时刻的影响程度。候选隐藏状态h~利用重置门控制包含时间序列历史信息的上一个时刻的隐藏状态对于当前时间步的候选隐藏状态是否需要。如果重置门近似0,上一时刻隐藏状态将被丢弃。这样可以很好捕捉时间序列中时间间隔较短数据对当前时刻的影响程度。
上图中状态与输出的计算如下:
zt=σ(Wz·[ht-1;xt])如图3所示
rt=σ(Wr·[ht-1;xt])如图4所示
h~t=tanh(W·[rt·ht-1;xt])如图5所示
ht=(1-zt)*ht-1+zt*h~t如图6所示
近些年来,注意力机制逐渐被应用到各个领域,并且能够有效提高任务处理的效果,比如机器翻译、情感分析等任务。注意力机制是一种类似人脑的注意力分配机制,通过计算不同时刻词向量的概率权重,能够使一些词得到更多的关注,从而提高隐藏层特征提取的质量。在GRU模型中,由于输入的数据属性之间会有一些重要性的偏差,基于注意力机制的深度学习模型能够通过训练识别不同属性值的重要程度来提取数据中的重要特征。
Attention机制
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder+Decoder模型的效果的的机制(Mechanism),一般称为Attention Mechanism。Attention Mechanism目前广泛应用于机器翻译、语音识别、图像标注(Image Caption)等很多领域,Attention给模型赋予了区分辨别的能力,例如,在机器翻译、语音识别应用中,为句子中的每个词赋予不同的权重,使神经网络模型的学习变得更加灵活(soft),同时Attention本身可以做为一种对齐关系,解释翻译输入/输出句子之间的对齐关系,解释模型学到了什么知识;在图像标注应用中,可以解释图片不同的区域对于输出Text序列的影响程度。
Attention的本质思想如图7所示,将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成,此时给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,即得到了最终的Attention数值。
权重计算可细分为2步,首先,根据Query和Key计算两者的相似性或者相关性,然后对第1步的原始分值进行归一化处理(常见方法softmax),如下图8所示,
第1步中常见的相似性和相关性计算方法如下:求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求值
点积:Similarity(Query,Keyi)=Query·Keyi
MLP网络:Similarity(Query,Keyi)=MLP(Query,Keyi)
基于Attention机制的GRU网络的超短期负荷预测模型
注意力机制(Attention)最早是在视觉图像领域提出来的,能够使深度学习模型在处理视觉图像领域问题时更好地提取重要特征,从而提升模型效果。近些年来,注意力机制逐渐被应用到各个领域,并且能够有效提高任务处理的效果,比如机器翻译、情感分析等任务。注意力机制是一种类似人脑的注意力分配机制,通过计算不同时刻词向量的概率权重,能够使一些词得到更多的关注,从而提高隐藏层特征提取的质量。在GRU模型中,由于输入的数据属性之间会有一些重要性的偏差,基于注意力机制的深度学习模型能够通过训练识别不同属性值的重要程度来提取数据中的重要特征。
在将基于Attention机制的GRU网络应用于超短期负荷预测时,主要需确定网络的输入输出变量、数据预处理方法、网络结构、模型训练方法以及网络评价指标。
输入输出变量
确定网络的输入输出变量是确定网络结构的基础。
假定负荷采样频率为每小时1次,可获得的训练数据集为每天24h的历史负荷数据,为提高网络的预测效果及处理效率,需选择合理的数值。因电力预测中研究短期负荷最大值有更大的实际意义,本发明选取的负荷值为第n小时的最大负荷值,因负荷值具有一定的随机性,可采用计算样本自相关系数的方法来确定输入变量时间序列的阶数。
各阶自相关系数反映了各滞时状态间的相关关系,可反映序列周期规律。时间序列h阶自相关系数的计算公式为:
通过找到自相关系数衰减为0的阶数,可确定采用特定时段的历史负荷数据,进行超短期负荷预测,实现负荷历史数据的充分利用。绘制得到负荷历史数据集的自相关系数如图所示。由图9可以看出,当阶数取108时,自相关系数衰减为0,即预测点负荷值只与预测时刻前h的负荷相关,因而输入变量选为预测时刻前h的负荷数据。
基于Attention机制的GRU网络结构设计
Attention机制模拟人脑注意力模型,其主要思想是针对输入序列中影响输出结果的关键部分分配较多的注意力,以更好地学习输入序列中的信息。
本发明将Attention机制作为GRU网络模型后的特征分配权重阶段,首先通过一个GRU网络处理输入序列,实现高层次的特征学习;随后加入天气因素w,通过合理分配注意力权重,实现记忆单元求解,实现超短期负荷预测。通过此网络,可以使超短欺负荷预测有侧重地利用历史负荷数据,得到更为精确的预测结果。
基于Attention机制的GRU网络结构如图1所示。
图1中的输入为时间序列的向量表示x1,x2,x3,…,xi,这些输入会进入GRU模型中,经过GRU模型计算之后会得到对应输出h1,h2,h3,…,hi,然后在隐藏层引入Attention,加入天气因素W,计算各个输入的注意力概率分布值,进一步提取文本特征,突出关键因素的影响。
其中,Attention机制的计算公式如下:
v=Σahii∑ei=witanh(Wihi+bi)
其中,ei是由Babdanau等人提出的一种校验模型,ei表示第i时刻隐层状态向量hi所决定的注意力概率分布值,wi和Wi表示第i时刻的权重系数矩阵,bi表示第i时刻相应的偏移量,通过上面的公式可以计算出最后包含文本信息的特征向量v。输出层的输入为上一层Attention层的输出。最后利用softmax函数对输出层的输入进行相应计算,从而进行文本分类,其计算公式如下:
y=softmax(wiv+bi)
其中:wi表示Attention机制层到输出层待训练的权重系数矩阵,bi表示待训练相对应的偏置量,y为输出的预测标签。
实验过程
实验环境
本实验采用Windows10操作***,CPU使用i5四核处理器,12GB内存电脑。使用Python3.7,并配合Tensorflow1.6版本深度学习框架,使用Pycharm2018.1.3进行开发。
实验数据
本实验电力负荷数据是国网河北电力公司提供的2017年夏季供电数据,气温等天气数据采用Python爬虫爬取的天气网的对应历史天气信息,将数据集的80%作为训练集,20%作为验证集,来检验本发明所提出方法的效果。因天气信息是离散的文字表示,使用One-Hot Representation处理转化为向量,再带入使用。
实验设计
本发明分别对LSTM、GRU和GRU结合注意力机制进行同数据集对比实验的方式,来分别说明GRU在负荷预测中的优势,以及Attention机制的对负荷预测结果的影响,本发明的评价指标采用平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)
实验结果分析
实验结果如表所示,从中可以看出,在相同的数据集中,GRU-Attention模型的表现性能优于LSTM模型,说明GRU比LSTM在数据计算上耗时少,更适应于数据集大的情况,优于单GRU模型,是因为注意力机制可以更好地提取特征,从而提高预测的准确率。这说明Attention对单GRU网络模型模型性能的提升起到了一定的作用。
结论
本发明依托于大数据背景,提出了一种基于Attention机制和GRU的超短期负荷预测方法,深度挖掘了历史负荷数据与预测点负荷间的相关性。以MAPE为指标,通过与LSTM、GRU的预测结果进行对比,验证了所提方法的可行性及效果。
Claims (10)
1.一种基于GRU和注意力机制的超短期负荷预测模型,其特征在于,包括以下步骤:
S1:确定网络的输入输出变量;
S2:设计基于Attention机制的GRU网络结构。
2.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述S1包括以下步骤:
S11:选取负荷采样频率为每小时1次,获得的训练数据集为每天24h的历史负荷数据,选取的负荷值为第n小时的最大负荷值;
S12:采用计算样本自相关系数的方法来确定输入变量时间序列的阶数;
S13:通过找到自相关系数衰减为0的阶数,确定采用特定时段的历史负荷数据,进行超短期负荷预测,实现负荷历史数据的充分利用;
S14:绘制得到负荷历史数据集的自相关系数;
S15:当阶数取108时,自相关系数衰减为0。
4.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述S2包括以下步骤:
S21:建立基于Attention机制的GRU网络;
S22:加入天气因素w,通过合理分配注意力权重,实现记忆单元求解,实现超短期负荷预测即加入天气因素W,计算各个输入的注意力概率分布值,进一步提取文本特征,突出关键因素的影响;
S23:利用softmax函数对输出层的输入进行相应计算,从而进行文本分类。
5.根据权利要求4所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述softmax函数的计算公式为:
y=softmax(wiv+bi)
其中,wi表示Attention机制层到输出层待训练的权重系数矩阵,bi表示待训练相对应的偏置量,y为输出的预测标签。
6.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,通过Attention机制的计算公式计算出最后包含文本信息的特征向量v,输出层的输入为上一层Attention层的输出。
7.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述S21包括以下步骤:
S211:输入时间序列的向量;
S212:让时间序列的向量进入GRU模型中;
S213:经过GRU模型计算之后得到对应输出;同时在隐藏层引入Attention机制。
8.根据权利要求7所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述时间序列的向量为x1,x2,x3,…,xi。
9.根据权利要求7所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,经过GRU模型计算之后得到对应输出为h1,h2,h3,…,hi。
10.根据权利要求1所述的基于GRU和注意力机制的超短期负荷预测模型,其特征在于,所述Attention机制的计算公式为:
v=Σahii∑ei=witanh(Wihi+bi)
其中,ei表示第i时刻隐层状态向量,hi为所决定的注意力概率分布值,wi和Wi表示第i时刻的权重系数矩阵,bi表示第i时刻相应的偏移量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910899925.7A CN110633867A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gru和注意力机制的超短期负荷预测模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910899925.7A CN110633867A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gru和注意力机制的超短期负荷预测模型 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110633867A true CN110633867A (zh) | 2019-12-31 |
Family
ID=68973708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910899925.7A Pending CN110633867A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gru和注意力机制的超短期负荷预测模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110633867A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275169A (zh) * | 2020-01-17 | 2020-06-12 | 北京石油化工学院 | 一种短时期建筑热负荷预测的方法 |
CN112598180A (zh) * | 2020-12-21 | 2021-04-02 | 北京华能新锐控制技术有限公司 | 一种分布式区域风电功率预测方法 |
CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、***、设备和介质 |
CN113222281A (zh) * | 2021-05-31 | 2021-08-06 | 国网山东省电力公司潍坊供电公司 | 基于改进AlexNet-GRU模型的配电网短期负荷预测方法及装置 |
CN113298288A (zh) * | 2021-04-12 | 2021-08-24 | 国网浙江省电力有限公司湖州供电公司 | 一种融合时间序列和神经网络的供电所运维成本预测方法 |
CN113344192A (zh) * | 2021-05-31 | 2021-09-03 | 中国标准化研究院 | 企业级电机***节能优化自动控制方法及*** |
CN113379164A (zh) * | 2021-07-16 | 2021-09-10 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及*** |
CN113449912A (zh) * | 2021-06-24 | 2021-09-28 | 东北电力大学 | 一种基于人工智能技术的空间负荷态势感知方法 |
CN113516316A (zh) * | 2021-07-29 | 2021-10-19 | 昆明理工大学 | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 |
CN113723479A (zh) * | 2021-08-18 | 2021-11-30 | 南京工程学院 | 一种基于grnn与均值漂移算法的非侵入式负荷识别方法 |
WO2022077693A1 (zh) * | 2020-10-15 | 2022-04-21 | 中国科学院深圳先进技术研究院 | 负荷预测模型的训练方法及训练装置、存储介质、设备 |
CN114399078A (zh) * | 2021-11-30 | 2022-04-26 | 国网山东省电力公司日照供电公司 | 一种负荷日前预测与超短期预测的协同预测方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764520A (zh) * | 2018-04-11 | 2018-11-06 | 杭州电子科技大学 | 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法 |
CN108921341A (zh) * | 2018-06-26 | 2018-11-30 | 国网山东省电力公司电力科学研究院 | 一种基于门控自编码的热电厂短期热负荷预测方法 |
CN109492227A (zh) * | 2018-11-16 | 2019-03-19 | 大连理工大学 | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 |
CN109710919A (zh) * | 2018-11-27 | 2019-05-03 | 杭州电子科技大学 | 一种融合注意力机制的神经网络事件抽取方法 |
CN110163299A (zh) * | 2019-05-31 | 2019-08-23 | 合肥工业大学 | 一种基于自底向上注意力机制和记忆网络的视觉问答方法 |
-
2019
- 2019-09-23 CN CN201910899925.7A patent/CN110633867A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764520A (zh) * | 2018-04-11 | 2018-11-06 | 杭州电子科技大学 | 一种基于多层循环神经网络和d-s证据理论的水质参数预测方法 |
CN108921341A (zh) * | 2018-06-26 | 2018-11-30 | 国网山东省电力公司电力科学研究院 | 一种基于门控自编码的热电厂短期热负荷预测方法 |
CN109492227A (zh) * | 2018-11-16 | 2019-03-19 | 大连理工大学 | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 |
CN109710919A (zh) * | 2018-11-27 | 2019-05-03 | 杭州电子科技大学 | 一种融合注意力机制的神经网络事件抽取方法 |
CN110163299A (zh) * | 2019-05-31 | 2019-08-23 | 合肥工业大学 | 一种基于自底向上注意力机制和记忆网络的视觉问答方法 |
Non-Patent Citations (2)
Title |
---|
李昭昱等: "基于attention 机制的LSTM 神经网络超短期负荷预测方法", 《供用电》 * |
王伟等: "基于BiGRU-attention 神经网络的文本情感分类模型", 《计算机应用研究》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275169A (zh) * | 2020-01-17 | 2020-06-12 | 北京石油化工学院 | 一种短时期建筑热负荷预测的方法 |
WO2022077693A1 (zh) * | 2020-10-15 | 2022-04-21 | 中国科学院深圳先进技术研究院 | 负荷预测模型的训练方法及训练装置、存储介质、设备 |
CN112598180A (zh) * | 2020-12-21 | 2021-04-02 | 北京华能新锐控制技术有限公司 | 一种分布式区域风电功率预测方法 |
CN113298288A (zh) * | 2021-04-12 | 2021-08-24 | 国网浙江省电力有限公司湖州供电公司 | 一种融合时间序列和神经网络的供电所运维成本预测方法 |
CN113095598A (zh) * | 2021-05-07 | 2021-07-09 | 国网山东省电力公司经济技术研究院 | 一种多能负荷预测方法、***、设备和介质 |
CN113344192B (zh) * | 2021-05-31 | 2022-01-11 | 中国标准化研究院 | 企业级电机***节能优化自动控制方法及*** |
CN113222281A (zh) * | 2021-05-31 | 2021-08-06 | 国网山东省电力公司潍坊供电公司 | 基于改进AlexNet-GRU模型的配电网短期负荷预测方法及装置 |
CN113344192A (zh) * | 2021-05-31 | 2021-09-03 | 中国标准化研究院 | 企业级电机***节能优化自动控制方法及*** |
CN113449912A (zh) * | 2021-06-24 | 2021-09-28 | 东北电力大学 | 一种基于人工智能技术的空间负荷态势感知方法 |
CN113449912B (zh) * | 2021-06-24 | 2022-03-18 | 东北电力大学 | 一种基于人工智能技术的空间负荷态势感知方法 |
CN113379164A (zh) * | 2021-07-16 | 2021-09-10 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及*** |
CN113379164B (zh) * | 2021-07-16 | 2024-03-26 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及*** |
CN113516316A (zh) * | 2021-07-29 | 2021-10-19 | 昆明理工大学 | 基于麻雀搜索优化的Attention-GRU短期负荷预测方法 |
CN113723479A (zh) * | 2021-08-18 | 2021-11-30 | 南京工程学院 | 一种基于grnn与均值漂移算法的非侵入式负荷识别方法 |
CN114399078A (zh) * | 2021-11-30 | 2022-04-26 | 国网山东省电力公司日照供电公司 | 一种负荷日前预测与超短期预测的协同预测方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110633867A (zh) | 一种基于gru和注意力机制的超短期负荷预测模型 | |
Xuan et al. | A multi-energy load prediction model based on deep multi-task learning and ensemble approach for regional integrated energy systems | |
Cui et al. | Research on power load forecasting method based on LSTM model | |
Dai et al. | Improving the Bi-LSTM model with XGBoost and attention mechanism: A combined approach for short-term power load prediction | |
CN110414788A (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
CN109255726A (zh) | 一种混合智能技术的超短期风功率预测方法 | |
CN112163689A (zh) | 基于深度Attention-LSTM的短期负荷分位点概率预测方法 | |
CN115828768A (zh) | 一种数据驱动的配电网无功功率预测方法 | |
CN115409369A (zh) | 基于机理和数据混合驱动的综合能源***可靠性评估方法 | |
Li et al. | Short-term Power Load Forecasting Based on Gate Recurrent Unit Network and Cloud Computing Platform | |
Cui et al. | Short-time series load forecasting by seq2seq-lstm model | |
CN117132132A (zh) | 基于气象数据的光伏发电功率预测方法 | |
CN115481788B (zh) | 相变储能***负荷预测方法及*** | |
Prashanthi et al. | A comparative study of the performance of machine learning based load forecasting methods | |
CN114818455A (zh) | 一种少量pmu采样的电力***多智能体暂态判稳方法和*** | |
Li et al. | Online transient frequency safety prediction machine of power system based on time-feature attention module | |
CN113283638A (zh) | 一种基于融合模型的负荷极值曲线预测方法及*** | |
CN113591391A (zh) | 一种电力负荷控制装置、控制方法、终端、介质及应用 | |
He et al. | Wind speed forecasting in fishing harbor anchorage using a novel deep convolutional neural network | |
CN116842855B (zh) | 分布式光伏配电网出力预测方法、装置、电子设备及介质 | |
CN116526582B (zh) | 基于人工智能联合驱动的电力机组组合调度方法与*** | |
Cui et al. | Temporal convolutional neural network with self-attention for shortterm load forecasting | |
CN111597814B (zh) | 一种人机交互命名实体识别方法、装置、设备及存储介质 | |
Lei et al. | Dynamic combined prediction method for error state of capacitor voltage transformer based on elastic net regression | |
Wang | Short-term Power Load Forecasting Based on Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191231 |
|
RJ01 | Rejection of invention patent application after publication |