CN115859792A - 基于注意力机制的中期电力负荷预测方法及*** - Google Patents
基于注意力机制的中期电力负荷预测方法及*** Download PDFInfo
- Publication number
- CN115859792A CN115859792A CN202211477802.2A CN202211477802A CN115859792A CN 115859792 A CN115859792 A CN 115859792A CN 202211477802 A CN202211477802 A CN 202211477802A CN 115859792 A CN115859792 A CN 115859792A
- Authority
- CN
- China
- Prior art keywords
- data
- power load
- attention
- module
- medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于注意力机制的中期电力负荷预测方法,包括获取历史负荷数据并处理得到训练数据集;构建中期电力负荷预测初始模型;采用训练数据集对训练中期电力负荷预测初始模型得到中期电力负荷预测模型;采用中期电力负荷预测模型进行实际的电力***中期电力负荷预测。本发明还公开了一种实现所述基于注意力机制的中期电力负荷预测方法的***。本发明通过创新的模型结构设计,不仅实现了基于注意力机制的中期电力负荷预测,而且本发明特别适用于电力***负荷数据这种对耦合关系未知的多变量时序数据,可靠性高、精确性好且客观科学。
Description
技术领域
本发明属于电气自动化领域,具体涉及一种基于注意力机制的中期电力负荷预测方法及***。
背景技术
随着经济技术的发展和人们生活水平的提高,电能已经成为了人们生产和生活中必不可少的二次能源,给人们的生产和生活带来了无尽的便利。因此,保障电能的稳定可靠供应,就成为了电力***最重要的任务之一。
电力***的负荷预测,是电力***的重要任务之一。准确、可靠的负荷预测结果,能够有效帮助电力***制定短期、中期和长期运行计划,以及制定电力***的增容扩建计划等。因此,电力***的负荷预测,一直是研究人员的研究重点之一。
电力***的负荷预测,一般分为超短期预测、短期预测、中期预测和长期预测。电力***的中期负荷预测在保证电力***的日常运行、优化发电计划和调度计划中发挥着重要作用。目前,电力***的中期负荷预测方法主要包括传统的统计学方法、机器学***稳性有较高的要求,且对扰动十分敏感。相对于传统的统计学方法,基于机器学习的方法使用人工神经网络、支持向量机、主成分分析等进行电力负荷预测;但由于电力负荷时序数据是个比较不稳定和相对随机的时间序列,机器学习方法对于这种时序数据的处理能力较差,因此不能得到最优的预测性能。目前,已经有了各类不同的深度学习网络来进行电力负荷的预测,例如使用循环神经网络、长短期记忆和门控循环单元等来捕捉多变量时间序列的时间特性,使用卷积神经网络来拟合多变量间的空间特性等;虽然上述深度学习算法可以用于提取多变量时序数据的时间特征,同时该类方法也考虑了变量之间的关系,但该类方法的局限性在于:方案的输入必须是标准的2D或3D网格数据;然而,由于电力负荷数据与其他变量数据间的耦合关系是未知的,且任意两个变量对之间都可能存在关系,这样复杂的依赖关系是欧几里得空间数据(网格数据)无法描述的;因此,目前的深度学习算法,并不太适用于电力***数据这种耦合关系未知的多元时间序列;这使得现有的深度学习方法,在处理电力***的负荷数据时,依旧存在可靠性不高,精确性较差的缺陷。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且客观科学的基于注意力机制的中期电力负荷预测方法。
本发明的目的之二在于提供一种实现所述基于注意力机制的中期电力负荷预测方法的***。
本发明提供的这种基于注意力机制的中期电力负荷预测方法,包括如下步骤:
S1.获取电力***的历史负荷数据,并进行处理,得到训练数据集;
S2.基于时间卷积和空间卷积,构建中期电力负荷预测初始模型;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型;
S4.采用步骤S3得到的中期电力负荷预测模型,进行实际的电力***中期电力负荷预测。
步骤S1所述的处理,具体包括如下步骤:
采用如下算式进行归一化处理:
式中Xi'为归一化后的第i个变量;Xi为归一化前的第i个变量;min(Xi)为变量Xi时序中的最小值;max(Xi)为变量Xi时序中的最大值;i的取值为i=1,2,...,N,N为预测变量的个数。
步骤S2所述的基于时间卷积和空间卷积,构建中期电力负荷预测初始模型,具体包括如下步骤:
中期电力负荷预测初始模型包括三个时空图注意模块和一个数据读出模块;三个时空图注意模块和一个数据读出模块依次串接;
时空图注意力模块用于自适应地捕获各时间戳之间的相关性,将注意力集中在局部上下文的变化上,计算得到不同子空间的注意力,从而得到预测数据;
数据读出模块用于对得到的预测数据进行反归一化处理,得到最终的中期电力负荷预测数据。
所述的时空图注意模块的结构如下:
时空图注意模块包括时间卷积层和空间卷积层;
时间卷积层包括门控注意力单元和卷积注意力单元;门控注意力单元采用门控线性单元,从而自适应地捕获各时间戳之间的相关性;卷积注意力单元用于采用长度大于1的一维卷积核计算变量查询向量Q、键K和值V,使得注意力集中在局部上下文的变化,从而匹配更多的特征;时间卷积层的计算公式为:
式中hGCAU(Xt)为t时刻的时间卷积层的输出;Xt为t时刻的时间卷积层的输入;WT为第一待学习参数;cT为第二待学习参数;UT为第三待学习参数;bT为第四待学习参数;为哈达玛积;σ()为sigmoid激活函数;ACA为根据Xt计算得到的卷积注意力值,且softmax(·)为归一化指数函数,HCA为注意力的头数,relu(·)为激活函数,F1(·)和F2(·)均为仿射变换函数;
空间卷积层采用多头自注意力单元;采用空间卷积层完成中期电力负荷预测,且计算公式为其中/>为第k+1层节点vi+1的特征变量,||为矩阵拼接操作,N(vi)为节点vi的邻居数量,α()为注意力函数且attij为中间变量且αttij=Leaky relu(eT(WGXi,t||WGXj,t)),Leaky relu(·)为激活函数,e为单位向量,WG为待学习参数,Xi,t为t时刻节点vi代表的时序数据,Xj,t为t时刻节点vj代表的时序数据。
所述的数据读出模块,具体包括:
数据读出模块采用如下公式进行反归一化处理:
本发明还公开了一种实现所述基于注意力机制的中期电力负荷预测方法的***,具体包括数据获取模块、模型构建模块、模型训练模块和负荷预测模块;数据获取模块、模型构建模块、模型训练模块和负荷预测模块依次串接;数据获取模块用于获取电力***的历史负荷数据,并进行处理,得到训练数据集,并将数据上传模型构建模块;模型构建模块用于根据获取的数据,基于时间卷积和空间卷积,构建中期电力负荷预测初始模型,并将数据上传模型训练模块;模型训练模块用于根据获取的数据,采用训练数据对中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型,并将数据上传负荷预测模块;负荷预测模块用于根据获取的数据,采用中期电力负荷预测模型进行实际的电力***中期电力负荷预测。
本发明提供的这种基于注意力机制的中期电力负荷预测方法及***,通过创新的模型结构设计,不仅实现了基于注意力机制的中期电力负荷预测,而且本发明特别适用于电力***负荷数据这种对耦合关系未知的多变量时序数据,可靠性高、精确性好且客观科学。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的实施例在1000次模型训练后在训练集上的训练损失示意图。
图3为本发明方法的实施例的预测结果对比示意图。
图4为本发明***的功能模块示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图:本发明提供的这种基于注意力机制的中期电力负荷预测方法,包括如下步骤:
S1.获取电力***的历史负荷数据,并进行处理,得到训练数据集;
具体实施时,采用如下步骤进行处理:
采用如下算式进行归一化处理:
式中Xi'为归一化后的第i个变量;Xi为归一化前的第i个变量;min(Xi)为变量Xi时序中的最小值;max(Xi)为变量Xi时序中的最大值;i的取值为i=1,2,...,N,N为预测变量的个数;
S2.基于时间卷积和空间卷积,构建中期电力负荷预测初始模型;具体包括如下步骤:
中期电力负荷预测初始模型包括三个时空图注意模块和一个数据读出模块;三个时空图注意模块和一个数据读出模块依次串接;
时空图注意力模块用于自适应地捕获各时间戳之间的相关性,将注意力集中在局部上下文的变化上,计算得到不同子空间的注意力,从而得到预测数据;
数据读出模块用于对得到的预测数据进行反归一化处理,得到最终的中期电力负荷预测数据;
具体实施时,时空图注意模块的结构如下:
时空图注意模块包括时间卷积层和空间卷积层;
时间卷积层包括门控注意力单元和卷积注意力单元;门控注意力单元采用门控线性单元,从而自适应地捕获各时间戳之间的相关性;卷积注意力单元用于采用长度大于1的一维卷积核计算变量查询向量Q、键K和值V,使得注意力集中在局部上下文的变化,从而匹配更多的特征;时间卷积层的计算公式为:
式中hGCAU(Xt)为t时刻的时间卷积层的输出;Xt为t时刻的时间卷积层的输入;WT为第一待学习参数;cT为第二待学习参数;UT为第三待学习参数;bT为第四待学习参数;为哈达玛积;σ()为sigmoid激活函数;ACA为根据Xt计算得到的卷积注意力值,且softmax(·)为归一化指数函数,HCA为注意力的头数,relu(·)为激活函数,F1(·)和F2(·)均为仿射变换函数;
空间卷积层采用多头自注意力单元;采用空间卷积层完成中期电力负荷预测,且计算公式为(算式表明,对于同一个节点,需要分别计算H次注意力,并以拼接的方式合并H次注意力矩阵),其中/>为第k+1层节点vi+1的特征变量,||为矩阵拼接操作,N(vi)为节点vi的邻居数量,α()为注意力函数且attij为中间变量且αttij=Leaky relu(eT(WGXi,t||WGXj,t)),Leaky relu(·)为激活函数,e为单位向量,WG为待学习参数,Xi,t为t时刻节点vi代表的时序数据,Xj,t为t时刻节点vj代表的时序数据;/>
数据读出模块,具体包括:
数据读出模块采用如下公式进行反归一化处理:
S3.采用步骤S1获取的训练数据集,对步骤S2构建的中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型;
S4.采用步骤S3得到的中期电力负荷预测模型,进行实际的电力***中期电力负荷预测。
以下结合具体实施例,对本发明方法的效果进行说明:
对澳大利亚电力负荷数据进行时序预测;实例的应用对象为澳大利亚电力负荷数据集,实验数据由如下变量构成[干球温度,露点温度,湿球温度,湿度,电价,电力负荷],因此网络输入为t时刻前长度为h的历史数据X=[Xgtem,Xltem,Xstem,Xh,Xpri,Xele],网络的输出为t时刻后长度为p的预测电力负荷Ygat,真实值为真实的t时刻后长度为p的电力负荷Y=[Xele];实验主要包括以下几个步骤:
数据预处理:
澳大利亚电力负荷数据集包含了从2006年1月1日到2011年1月1日的澳大利亚电力总负荷,长度为87649,采样频率为一小时一次,按照7:1:2的比例进行训练数据、验证数据和测试数据的划分,分别得到长度为61354、8765和17530的训练集、验证集和测试集;
先对训练集的进行归一化处理,并将训练集各个变量的最大最小值进行存储;使用训练集各个变量的最大最小值对验证数据集进行归一化处理,最后使用训练集各个变量的最大最小值对测试数据集的输入数据X进行归一化处理,保持测试数据集的真实电力负荷Y,不进行归一化处理;
模型训练:
在模型测试中使用CUDA 11.3的Pytorch 1.12.0版本实现该方法。模型输入时序长度为30×24×7的归一化后的历史数据X,滑窗大小为24×7,步幅为24,图注意力的头数为7;此外还应用了Dropout策略,将Dropout率设为0.3,训练时的学习率设为1e-3,训练迭代次数设为1000,批尺寸设为64;利用Adam优化算法对每个权重参数获取网络误差的梯度,通过参数更新过程得到新的权重;模型输出时序长度为30×24×7的归一化后的预测数据Ygat,用于模型训练的损失函数定义为每训练完一轮训练数据集后,使用验证集进行验证,当该模型在验证集上取得最优结果时,将此刻的模型存出。当到达训练次数或者验证集预测结果收敛到小于我们预设收敛阈值时,结束训练。本发明将每训练5个epoch后得到的训练损失画出,如图2所示;
模型预测:
将测试数据集输入到训练好的时空图注意模块中,得到输出数据Ygat,使用训练集各个变量的最大最小值对Ygat反归一化,得到最终的预测数据可以通过对/>的处理得到每一小时、每一天和每一周的电力负荷。本发明将电力负荷的预测值和真实值同时画出在图3中。由于每小时的数据长度长达17530,不方便全部画出,因此只截取出前2000的数据画出。
使用四个评价指标对本发明的预测效果进行性能评价,包括平均绝对误差(average absolute error,MAE)、均方根误差(root mean square error,RMSE)、平均绝对百分比误差(mean absolute percentage error,MAPE)和相关系数(correlationcoefficient,CC)。RMSE、MAE和MAPE的值越低,模型的预测效果越好。CC的值越高,模型的预测效果越好。
四个指标的计算式为:
最终计算得到的结果如表1所示:
表1实验结果示意表
通过表1的数据和图3的曲线可以看到,本发明方法的预测数据与实际数据的拟合性非常好,说明本发明方法的预测效果较好。
如图4所示为本发明***的功能模块示意图:本发明提供的这种实现所述基于注意力机制的中期电力负荷预测方法的***,具体包括数据获取模块、模型构建模块、模型训练模块和负荷预测模块;数据获取模块、模型构建模块、模型训练模块和负荷预测模块依次串接;数据获取模块用于获取电力***的历史负荷数据,并进行处理,得到训练数据集,并将数据上传模型构建模块;模型构建模块用于根据获取的数据,基于时间卷积和空间卷积,构建中期电力负荷预测初始模型,并将数据上传模型训练模块;模型训练模块用于根据获取的数据,采用训练数据对中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型,并将数据上传负荷预测模块;负荷预测模块用于根据获取的数据,采用中期电力负荷预测模型进行实际的电力***中期电力负荷预测。
Claims (6)
1.一种基于注意力机制的中期电力负荷预测方法,包括如下步骤:
S1.获取电力***的历史负荷数据,并进行处理,得到训练数据集;
S2.基于时间卷积和空间卷积,构建中期电力负荷预测初始模型;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型;
S4.采用步骤S3得到的中期电力负荷预测模型,进行实际的电力***中期电力负荷预测。
3.根据权利要求2所述的基于注意力机制的中期电力负荷预测方法,其特征在于步骤S2所述的基于时间卷积和空间卷积,构建中期电力负荷预测初始模型,具体包括如下步骤:
中期电力负荷预测初始模型包括三个时空图注意模块和一个数据读出模块;三个时空图注意模块和一个数据读出模块依次串接;
时空图注意力模块用于自适应地捕获各时间戳之间的相关性,将注意力集中在局部上下文的变化上,计算得到不同子空间的注意力,从而得到预测数据;
数据读出模块用于对得到的预测数据进行反归一化处理,得到最终的中期电力负荷预测数据。
4.根据权利要求3所述的基于注意力机制的中期电力负荷预测方法,其特征在于所述的时空图注意模块的结构如下:
时空图注意模块包括时间卷积层和空间卷积层;
时间卷积层包括门控注意力单元和卷积注意力单元;门控注意力单元采用门控线性单元,从而自适应地捕获各时间戳之间的相关性;卷积注意力单元用于采用长度大于1的一维卷积核计算变量查询向量Q、键K和值V,使得注意力集中在局部上下文的变化,从而匹配更多的特征;时间卷积层的计算公式为:
式中hGCAU(Xt)为t时刻的时间卷积层的输出;Xt为t时刻的时间卷积层的输入;WT为第一待学习参数;cT为第二待学习参数;UT为第三待学习参数;bT为第四待学习参数;为哈达玛积;σ()为sigmoid激活函数;ACA为根据Xt计算得到的卷积注意力值,且softmax(·)为归一化指数函数,HCA为注意力的头数,relu(·)为激活函数,F1(·)和F2(·)均为仿射变换函数;/>
6.一种实现权利要求1~5之一所述的基于注意力机制的中期电力负荷预测方法的***,其特征在于具体包括数据获取模块、模型构建模块、模型训练模块和负荷预测模块;数据获取模块、模型构建模块、模型训练模块和负荷预测模块依次串接;数据获取模块用于获取电力***的历史负荷数据,并进行处理,得到训练数据集,并将数据上传模型构建模块;模型构建模块用于根据获取的数据,基于时间卷积和空间卷积,构建中期电力负荷预测初始模型,并将数据上传模型训练模块;模型训练模块用于根据获取的数据,采用训练数据对中期电力负荷预测初始模型进行训练,得到中期电力负荷预测模型,并将数据上传负荷预测模块;负荷预测模块用于根据获取的数据,采用中期电力负荷预测模型进行实际的电力***中期电力负荷预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211477802.2A CN115859792A (zh) | 2022-11-23 | 2022-11-23 | 基于注意力机制的中期电力负荷预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211477802.2A CN115859792A (zh) | 2022-11-23 | 2022-11-23 | 基于注意力机制的中期电力负荷预测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115859792A true CN115859792A (zh) | 2023-03-28 |
Family
ID=85665590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211477802.2A Pending CN115859792A (zh) | 2022-11-23 | 2022-11-23 | 基于注意力机制的中期电力负荷预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115859792A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757369A (zh) * | 2023-08-22 | 2023-09-15 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于注意力机制的碳排放分析方法及*** |
CN116865261A (zh) * | 2023-07-19 | 2023-10-10 | 王克佳 | 基于孪生网络的电力负荷预测方法及*** |
-
2022
- 2022-11-23 CN CN202211477802.2A patent/CN115859792A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116865261A (zh) * | 2023-07-19 | 2023-10-10 | 王克佳 | 基于孪生网络的电力负荷预测方法及*** |
CN116865261B (zh) * | 2023-07-19 | 2024-03-15 | 梅州市嘉安电力设计有限公司 | 基于孪生网络的电力负荷预测方法及*** |
CN116757369A (zh) * | 2023-08-22 | 2023-09-15 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于注意力机制的碳排放分析方法及*** |
CN116757369B (zh) * | 2023-08-22 | 2023-11-24 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于注意力机制的碳排放分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115859792A (zh) | 基于注意力机制的中期电力负荷预测方法及*** | |
CN112016734A (zh) | 基于lstm栈式自编码多模型荷预测方法及*** | |
CN110443724B (zh) | 一种基于深度学习的电力***快速状态估计方法 | |
CN114862032B (zh) | 一种基于XGBoost-LSTM的电网负荷预测方法及装置 | |
CN115456287A (zh) | 一种基于长短时记忆网络的综合能源***多元负荷预测方法 | |
CN116014722A (zh) | 基于季节分解和卷积网络的次日光伏发电预测方法及*** | |
CN117407681B (zh) | 一种基于向量聚类的时序数据预测模型建立方法 | |
CN117040048A (zh) | 风光发电储能管理方法及*** | |
CN116467580A (zh) | 一种基于TTSNet的锂离子电池SOH估算与RUL预测方法 | |
CN116646929A (zh) | 一种基于pso-cnn-bilstm的短期风电功率预测方法 | |
CN116774089A (zh) | 基于特征融合的卷积神经网络电池健康状态估计方法及*** | |
CN116402194A (zh) | 一种基于混合神经网络的多时间尺度负荷预测方法 | |
CN115759343A (zh) | 一种基于e-lstm的用户电量预测方法和装置 | |
CN113673846B (zh) | 一种电力物联网架构下的需量态势感知方法 | |
CN116090635A (zh) | 一种气象驱动的新能源发电功率预测方法 | |
CN115860232A (zh) | 一种蒸汽负荷预测方法、***、电子设备及介质 | |
CN112232714B (zh) | 一种基于深度学习的结构参数不完备下配电网风险评估方法 | |
CN114372418A (zh) | 一种风电功率时空态势描述模型建立方法 | |
CN113780644A (zh) | 一种基于在线学习的光伏出力预测方法 | |
CN114629103A (zh) | 一种基于inception结构负荷分解模型的楼宇负荷分解方法 | |
Li et al. | A Novel Short-term Load Forecasting Model by TCN-LSTM Structure with Attention Mechanism | |
CN117833243B (zh) | 一种电力短期需求预测方法、***、设备及介质 | |
CN115048854B (zh) | 一种家庭电器负荷分解方法 | |
CN117874495B (zh) | 一种太阳能发电功率组合预测方法及其装置 | |
Duong et al. | Application of Seasonal Trend Decomposition using Loess and Long Short-Term Memory in Peak Load Forecasting Model in Tien Giang |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |