CN115841167A - 基于多维度交叉注意力机制的光伏数据预测方法 - Google Patents

基于多维度交叉注意力机制的光伏数据预测方法 Download PDF

Info

Publication number
CN115841167A
CN115841167A CN202211080871.XA CN202211080871A CN115841167A CN 115841167 A CN115841167 A CN 115841167A CN 202211080871 A CN202211080871 A CN 202211080871A CN 115841167 A CN115841167 A CN 115841167A
Authority
CN
China
Prior art keywords
tensor
photovoltaic
convolution
layer
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211080871.XA
Other languages
English (en)
Inventor
王磊
郭得科
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211080871.XA priority Critical patent/CN115841167A/zh
Publication of CN115841167A publication Critical patent/CN115841167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于多维度交叉注意力机制的光伏数据预测方法，包括：基于光伏电网的分布情况构建光伏邻接矩；根据传感器在t时刻采集的数据生成t时刻的传感器属性，并将传感器属性嵌入光伏邻接矩阵，生成特征张量，将所述特征张量输入初始卷积预处理层；将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，输出每个张量对应的映射张量
Figure 100004_DEST_PATH_IMAGE002
；将所述映射张量
Figure 884632DEST_PATH_IMAGE002
输入至交叉注意力时空层，得到融合结果
Figure 100004_DEST_PATH_IMAGE004
；将融合结果y输入至图卷积模块，将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果，提高了光伏数据预测的准确性。

Description

基于多维度交叉注意力机制的光伏数据预测方法
技术领域
本发明实施例涉及光伏数据预测技术领域，尤其涉及一种基于多维度交叉注意力机制的光伏数据预测方法。
背景技术
光伏发电是太阳能的重要利用方式，近年来光伏发电的研究和应用越来越普及。光伏发电随着接受到的太阳光照而变化，对天气的依赖非常大。因此，光伏发电必须通过蓄电发电或者其他发电方式进行补充，以保证供电稳定。如何在保证电网安全经济运行的条件下最大限度地利用伏发电功率显得尤为重要。准确的光伏发电功率预测技术是提高其利用率的有效途径之一。
光伏发电功率预测可以认为是时空预测问题，时空预测问题是指对未知***状态在时间和空间上的预测。时空预测被广泛应用于现实世界的众多应用中，如天气预测、交通流预测、地震预测等等。时空预测的区域不仅限于地理空间，还可以是社会空间和虚拟空间。相比传统的时间序列预测和空间插值，时空预测在空间和时间维度上对时空依赖关系进行建模并开展预测。现有的时空预测方法可以分为三种类型：时空统计、人工智能和物理模型。随着人工智能技术的发展，现代社会的时空预测***越来越智能化。智能时空预测***应能够实时自动收集用于模型训练的各种数据集、知识和规则，可以自动从已知数据中学习，具有灵活的模型结构和即时训练能力，能够实时或接近实时地预测。
在实现本发明的过程中，发明人发现如下技术问题：由于时空数据具有很强的***不确定特点，包括偶然不确定性和随机不确定性，并且由于***高噪声，空间角度上相邻节点数据相似性极高，短时间数据关联不明显的特点，进而导致预测精度不高。
发明内容
本发明实施例提供一种基于多维度交叉注意力机制的光伏数据预测方法，以解决现有技术中针对光伏发电功率预测由于不确定因素导致的预测精度较差的技术问题。
第一方面，本发明实施例提供了一种基于多维度交叉注意力机制的光伏数据预测方法，包括：
基于光伏电网的分布情况构建光伏邻接矩阵
Figure DEST_PATH_IMAGE002
，其中A为光伏邻接矩阵中元素， N为光伏邻接矩阵的行数或者列数；
根据所述传感器在t时刻采集的数据生成t时刻的传感器属性，并将所述传感器属性嵌入光伏邻接矩阵，生成特征张量
Figure DEST_PATH_IMAGE004
，其中/>
Figure DEST_PATH_IMAGE006
是序列的长度，/>
Figure DEST_PATH_IMAGE008
是节点的个数，/>
Figure DEST_PATH_IMAGE010
是节点的特征数；
将所述特征张量
Figure 410750DEST_PATH_IMAGE004
输入初始卷积预处理层，所述初始卷积预处理层分别沿张量的三个维度进行降维，分别得到两两维度交互的三个张量；
将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，所述交叉注意力模块用于捕捉张量的跨纬度信息，并输出与输入的两维度交互的张量相同形状的张量；
将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，所述U卷积层用于利用输入数据
Figure DEST_PATH_IMAGE012
本身作为监督，利用高维的特征向量建立潜在联系，所述U卷积层输出每个张量对应的映射张量/>
Figure DEST_PATH_IMAGE014
；
将所述映射张量
Figure 671967DEST_PATH_IMAGE014
输入至交叉注意力时空层，所述交叉注意力时空层用于将所有映射张量/>
Figure 809687DEST_PATH_IMAGE014
利用所述U卷积层中的激活函数进行融合，得到融合结果/>
Figure DEST_PATH_IMAGE016
；
将所述融合结果y输入至图卷积模块，所述图卷积模块基于空间域的角度构建，且能够学习来自不同邻域顺序的节点变换的信息，所述图卷积模块采用如下方式实现：
Figure DEST_PATH_IMAGE018
，
其中
Figure DEST_PATH_IMAGE020
是图/>
Figure DEST_PATH_IMAGE022
的邻接矩阵，/>
Figure DEST_PATH_IMAGE024
是邻接矩阵的参数矩阵，/>
Figure DEST_PATH_IMAGE026
表示输入信号，/>
Figure DEST_PATH_IMAGE028
表示输出，/>
Figure DEST_PATH_IMAGE030
表示模型参数矩阵，/>
Figure DEST_PATH_IMAGE032
表示转移矩阵的幂级数，在无向图的情况下，/>
Figure DEST_PATH_IMAGE034
，K为所述图卷积模块中卷积层的层数；
将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果。
进一步的，所述基于光伏电网的分布情况构建光伏邻接矩阵包括：
将监测点作为节点，基于监测点位置构建集合
Figure DEST_PATH_IMAGE036
表示，其中/>
Figure DEST_PATH_IMAGE038
是节点集，/>
Figure DEST_PATH_IMAGE040
是边集；
根据所述集合生成光伏邻接矩阵。
进一步的，所述将所述传感器属性嵌入光伏邻接矩阵，包括：
将传感器数据对应嵌入所述光伏邻接矩阵中相应的节点中。
进一步的，所述初始卷积预处理层包括：
第一分支，用于输入
Figure DEST_PATH_IMAGE042
沿特征维度/>
Figure DEST_PATH_IMAGE044
进行/>
Figure DEST_PATH_IMAGE046
卷积操作，在时间维度/>
Figure DEST_PATH_IMAGE048
和节点维度/>
Figure DEST_PATH_IMAGE050
之间建立交互，得到/>
Figure DEST_PATH_IMAGE052
的张量；
第二分支，用于输入
Figure 454250DEST_PATH_IMAGE042
沿时间维度/>
Figure 802055DEST_PATH_IMAGE048
进行/>
Figure 273488DEST_PATH_IMAGE046
卷积操作，在特征维度/>
Figure 531294DEST_PATH_IMAGE044
和节点维度/>
Figure 695559DEST_PATH_IMAGE050
之间建立交互，得到/>
Figure DEST_PATH_IMAGE054
的张量；
第三分支，用于输入
Figure 999501DEST_PATH_IMAGE042
沿节点维度进行/>
Figure 274625DEST_PATH_IMAGE046
卷积操作，在特征维度/>
Figure 278615DEST_PATH_IMAGE044
和时间维度/>
Figure 82623DEST_PATH_IMAGE048
之间建立交互，得到/>
Figure DEST_PATH_IMAGE056
的张量；
其中M为张量的隐藏特征数
进一步的，所述第一分支采如下方式进行卷积运算：
Figure DEST_PATH_IMAGE058
，/>
Figure DEST_PATH_IMAGE060
为特征维度/>
Figure 90506DEST_PATH_IMAGE010
进行/>
Figure DEST_PATH_IMAGE062
卷积操作结果，/>
Figure DEST_PATH_IMAGE064
为线性整流单元，/>
Figure DEST_PATH_IMAGE066
为沿特征维度/>
Figure 559533DEST_PATH_IMAGE010
一维卷积操作单元，/>
Figure DEST_PATH_IMAGE068
为输入张量；
所述第二分支采用如下方式进行卷积运算：
Figure DEST_PATH_IMAGE070
，/>
Figure DEST_PATH_IMAGE072
为特征维度t进行/>
Figure 949189DEST_PATH_IMAGE046
卷积操作结果；
所述第三分支采用如下方式进行卷积运算：
Figure DEST_PATH_IMAGE074
，/>
Figure DEST_PATH_IMAGE076
为特征s进行
Figure 783152DEST_PATH_IMAGE062
卷积操作结果。
进一步的，所述U卷积层通过如下方式实现：
Figure DEST_PATH_IMAGE078
，
Figure DEST_PATH_IMAGE080
，/>
其中
Figure DEST_PATH_IMAGE082
是高维隐变量，/>
Figure DEST_PATH_IMAGE084
、/>
Figure DEST_PATH_IMAGE086
是参数权重矩阵，/>
Figure DEST_PATH_IMAGE088
和/>
Figure DEST_PATH_IMAGE090
为偏置参数。
进一步的，所述交叉注意力模块，包括：
第一分支处理单元，采用如下方式实现：
Figure DEST_PATH_IMAGE092
；
第二分支处理单元，采用如下方式实现：
Figure DEST_PATH_IMAGE094
；
第三分支处理单元，采用如下方式实现：
Figure DEST_PATH_IMAGE096
；
Figure DEST_PATH_IMAGE098
表示学***均池化函数公式如下，
Figure DEST_PATH_IMAGE104
，
Figure DEST_PATH_IMAGE106
表示全局最大池化函数，有如下表述，
Figure DEST_PATH_IMAGE108
。
进一步的，所述第三分支处理单元，在
Figure DEST_PATH_IMAGE110
层在全局平均池化，全局最大池化，全局最小池化三种池化方式中，两两组合，采用如下方式实现：
Figure DEST_PATH_IMAGE112
，
Figure DEST_PATH_IMAGE114
，
Figure DEST_PATH_IMAGE116
，
Figure DEST_PATH_IMAGE118
，
其中
Figure DEST_PATH_IMAGE120
是进行池化操作的隐藏维度。
9、根据权利要求1所述的方法，其特征在于，所述交叉注意力时空层，采用如下方式实现：
Figure DEST_PATH_IMAGE122
，
其中，
Figure DEST_PATH_IMAGE124
表示激活函数，/>
Figure DEST_PATH_IMAGE126
，/>
Figure DEST_PATH_IMAGE128
和/>
Figure DEST_PATH_IMAGE130
分别表示每个分支中综合参数，/>
Figure DEST_PATH_IMAGE132
和/>
Figure DEST_PATH_IMAGE134
是控制三个分支间的权重参数。
更进一步的，所述方法还包括：
根据实际采集到的数据和对应的预测结果采用如下方式计算损失函数：
Figure DEST_PATH_IMAGE136
，
其中，
Figure DEST_PATH_IMAGE138
是模型从/>
Figure DEST_PATH_IMAGE140
时间步到/>
Figure DEST_PATH_IMAGE142
时间步的预测值，/>
Figure DEST_PATH_IMAGE144
是模型的参数；
根据所述损失函数的计算结果调整所述各个分支中综合参数。
本发明实施例提供的基于多维度交叉注意力机制的光伏数据预测方法，通过基于光伏电网的分布情况构建光伏邻接矩阵
Figure 534738DEST_PATH_IMAGE002
；根据所述传感器在t时刻采集的数据生成t时刻的传感器属性，并将所述传感器属性嵌入光伏邻接矩阵，生成特征张量/>
Figure 746277DEST_PATH_IMAGE004
， 将所述特征张量/>
Figure 423246DEST_PATH_IMAGE004
输入初始卷积预处理层，所述初始卷积预处理层分别沿张量的三个维度进行降维，分别得到两两维度交互的三个张量；将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，所述交叉注意力模块用于捕捉张量的跨纬度信息，并输出与输入的两维度交互的张量相同形状的张量；将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，所述U卷积用于利用输入数据/>
Figure 330022DEST_PATH_IMAGE012
本身作为监督，利用高维的特征向量建立潜在联系，所述U卷积层输出每个张量对应的映射张量/>
Figure 609693DEST_PATH_IMAGE014
；将所述映射张量/>
Figure 816684DEST_PATH_IMAGE014
输入至交叉注意力时空层，所述交叉注意力时空层用于将所有映射张量/>
Figure 398975DEST_PATH_IMAGE014
利用所述U卷积层中的激活函数进行融合，得到融合结果/>
Figure 419146DEST_PATH_IMAGE016
；将所述融合结果y输入至图卷积模块，所述图卷积模块基于空间域的角度构建，且能够学习来自不同邻域顺序的节点变换的信息， 将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果。对于输入张量，三分支注意力通过卷积操作和残差变换来构建维度间的依赖关系，三个分支分别捕捉时空数据中的时间依赖，空间依赖和外部依赖信息，并以极低的计算开销对通道间和空间信息进行编码。通过过去一段时间的时空数据信息去预测未来一段时间的时空数据信息。极大地提高了光伏数据预测的准确性
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的基于多维度交叉注意力机制的光伏数据预测方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的基于多维度交叉注意力机制的光伏数据预测方法的流程图，本实施例可适用于对基于多维度交叉注意力机制的光伏发电数据进行精准预测的情况，具体包括如下步骤：
步骤110、基于光伏电网的分布情况构建光伏邻接矩阵。
在本实施例中，所述基于多维度交叉注意力机制的光伏数据预测方法可以应用于太阳能光伏发电汇流***、市政路灯供配电***、交通信号灯供配电***等市政设施的供配电、发电***。对于光伏发电***，模型可以根据传感器历史数据学习到数据特征，模型通过预测出当前时间到未来一段时间的发电功率等信息，与实时传感器采集的信息进行比对，如果两者差异过大，则认为当前发电状态产生异常，光伏板可能有异常状况发生。将光伏电网视作一个图，将单个光伏板或光伏板阵列或者电流交汇处视作节点，这样监测点位置就可以用G = (V,E) 表示，其中 V 是节点集，E 是边集。由光伏板位置形成的数据可以用一个邻接矩阵表示
Figure 377874DEST_PATH_IMAGE002
A∈R^(N×N)。如果/>
Figure DEST_PATH_IMAGE146
且/>
Figure DEST_PATH_IMAGE148
，则/>
Figure DEST_PATH_IMAGE150
为 1。
步骤120、根据所述传感器在t时刻采集的数据生成t时刻的传感器属性，并将所述传感器属性嵌入光伏邻接矩阵，生成特征张量。
假设有S个监测点，这些监测点可以采集电流，电压，发电功率等数据，以及外部数据，例如该时刻的温度，天气状况等信息，这些数据作为节点的属性，假设该节点有C个属性，每t时刻采集一次数据，总共采集T次数据，那么可以得到一个(T×S×C)的张量。
假设每个节点有
Figure DEST_PATH_IMAGE152
个属性，对于一个节点可以得到/>
Figure DEST_PATH_IMAGE154
，其中
Figure DEST_PATH_IMAGE156
，则对应/>
Figure 564005DEST_PATH_IMAGE050
个节点的传感器网络可以得到张量：
Figure DEST_PATH_IMAGE158
。
步骤130、将所述特征张量输入初始卷积预处理层，所述初始卷积预处理层分别沿张量的三个维度进行降维，分别得到两两维度交互的三个张量。
在本实施例中，通过给定输入张量，利用注意力机制来捕获维度间的依赖关系。给定一个序列
Figure DEST_PATH_IMAGE160
及其历史/>
Figure DEST_PATH_IMAGE162
步信息，模型即为学习一个函数/>
Figure DEST_PATH_IMAGE164
，它能够预测其下一个 />
Figure DEST_PATH_IMAGE166
步信息。映射关系表示为：/>
Figure DEST_PATH_IMAGE168
。同时利用三分支交叉注意力，每个分支负责捕获输入的空间维度和通道维度之间的交叉维度。例如：给定形状为/>
Figure DEST_PATH_IMAGE170
的输入张量，每个分支负责聚合空间维度/>
Figure DEST_PATH_IMAGE172
或/>
Figure DEST_PATH_IMAGE174
与通道维度/>
Figure 279981DEST_PATH_IMAGE160
之间的跨维交互特征。
在本实施例中，所述初始卷积预处理层包括：第一分支，用于输入
Figure 551563DEST_PATH_IMAGE042
沿特征维度/>
Figure 48403DEST_PATH_IMAGE044
进行/>
Figure 964406DEST_PATH_IMAGE046
卷积操作，在时间维度/>
Figure 13134DEST_PATH_IMAGE048
和节点维度/>
Figure 647378DEST_PATH_IMAGE050
之间建立交互，得到/>
Figure 947909DEST_PATH_IMAGE052
的张量；第二分支，用于输入/>
Figure 718419DEST_PATH_IMAGE042
沿时间维度/>
Figure 705092DEST_PATH_IMAGE048
进行/>
Figure 561052DEST_PATH_IMAGE046
卷积操作，在特征维度/>
Figure 399695DEST_PATH_IMAGE044
和节点维度/>
Figure 414925DEST_PATH_IMAGE050
之间建立交互，得到/>
Figure 946400DEST_PATH_IMAGE054
的张量；第三分支，用于输入/>
Figure 289657DEST_PATH_IMAGE042
沿节点维度进行/>
Figure 56624DEST_PATH_IMAGE046
卷积操作，在特征维度/>
Figure 801727DEST_PATH_IMAGE044
和时间维度/>
Figure 504103DEST_PATH_IMAGE048
之间建立交互，得到/>
Figure 334656DEST_PATH_IMAGE056
的张量。
给定一个输入张量
Figure DEST_PATH_IMAGE176
首先将它分别传递给所提出的预处理卷积层中的三个分支，分别沿张量的三个维度进行降维，经由/>
Figure 108577DEST_PATH_IMAGE062
卷积的作用，在第一个分支中，在时间维度
Figure 973765DEST_PATH_IMAGE006
和节点维度/>
Figure 470212DEST_PATH_IMAGE008
之间建立交互，因此，输入/>
Figure 788061DEST_PATH_IMAGE012
沿特征维度/>
Figure 772197DEST_PATH_IMAGE010
进行卷积操作，即：
Figure 350946DEST_PATH_IMAGE058
，/>
Figure 395126DEST_PATH_IMAGE060
为特征维度/>
Figure 934691DEST_PATH_IMAGE010
进行/>
Figure 581573DEST_PATH_IMAGE062
卷积操作结果，
得到
Figure DEST_PATH_IMAGE178
的张量。同理可得，在第二个分支中，在特征维度/>
Figure 890195DEST_PATH_IMAGE010
和节点维度/>
Figure 964330DEST_PATH_IMAGE008
之间建立交互：
Figure DEST_PATH_IMAGE180
，
通过
Figure 86132DEST_PATH_IMAGE062
卷积操作，得到/>
Figure DEST_PATH_IMAGE182
的张量。
第三个分支中，通过在特征维度
Figure 146492DEST_PATH_IMAGE010
和时间维度/>
Figure 699833DEST_PATH_IMAGE006
之间建立交互，
Figure 85815DEST_PATH_IMAGE074
，
可以得到
Figure DEST_PATH_IMAGE184
的张量。
步骤140、将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，所述交叉注意力模块用于捕捉张量的跨纬度信息，并输出与输入的两维度交互的张量相同形状的张量。
交叉注意力模块由三个并行分支组成，它接收一个输入张量并输出一个相同形状的张量。其中每个分支在时间维度，空间维度，特征维度三个维度之间两两建立交互，用于捕捉张量的跨纬度信息，设
Figure 599973DEST_PATH_IMAGE178
是预处理层的第一个分支的输出和后续交叉注意力模块的输入，其中T表示张量的时间长度，/>
Figure 588658DEST_PATH_IMAGE008
表示张量的节点数，/>
Figure DEST_PATH_IMAGE186
表示张量的隐藏特征数或者空间特征图，那么对于第一个交叉注意力分支，可以用如下公式表示，
Figure 606292DEST_PATH_IMAGE092
；/>
对于第二个交叉注意力分支，可以用公式表示为
Figure 287809DEST_PATH_IMAGE094
；
对于第三个分支，可以表示为
Figure 289263DEST_PATH_IMAGE096
。
其中，
Figure 957005DEST_PATH_IMAGE098
表示学***均池化函数公式如下，
Figure 796075DEST_PATH_IMAGE104
，
Figure 53881DEST_PATH_IMAGE106
表示全局最大池化函数，有如下表述，
Figure 686987DEST_PATH_IMAGE108
。
可以通过以上两个池化函数实现交叉注意力机制中的时间空间特征聚合。
所述第三分支处理单元，在
Figure 787667DEST_PATH_IMAGE110
层在全局平均池化，全局最大池化，全局最小池化三种池化方式中，两两组合，采用如下方式实现：
Figure 62791DEST_PATH_IMAGE112
，
Figure DEST_PATH_IMAGE188
，
Figure 768579DEST_PATH_IMAGE116
，
Figure 103745DEST_PATH_IMAGE118
，
其中
Figure 301508DEST_PATH_IMAGE120
是进行池化操作的隐藏维度。
池化方法通过
Figure DEST_PATH_IMAGE190
层，/>
Figure 209684DEST_PATH_IMAGE110
层，/>
Figure DEST_PATH_IMAGE192
层进行池化操作，其中/>
Figure 301136DEST_PATH_IMAGE190
层和
Figure 541625DEST_PATH_IMAGE192
层通过连接该隐藏特征维度上的平均池化和最大池化特征，将张量的隐藏特征/>
Figure 226684DEST_PATH_IMAGE186
减少到两个维度。而/>
Figure 968244DEST_PATH_IMAGE110
层在全局平均池化，全局最大池化，全局最小池化三种池化方式中，两两组合，这样做可以在扩大感受野的同时，对特征进行压缩，减少计算量，对于/>
Figure 789570DEST_PATH_IMAGE110
层，用数学公式可以表达为：
Figure 60014DEST_PATH_IMAGE112
，
Figure 966790DEST_PATH_IMAGE114
，
Figure 387407DEST_PATH_IMAGE116
，
Figure 951987DEST_PATH_IMAGE118
，
其中
Figure 799857DEST_PATH_IMAGE186
是进行池化操作的隐藏维度，例如，形状为/>
Figure DEST_PATH_IMAGE194
的张量经过池化后会产生形状为/>
Figure DEST_PATH_IMAGE196
的张量。结合最小池化和最大池化，减少张量维度的同时，并且使得该池化层能保留张量丰富的信息，同时缩小张量的深度，一定程度上可以降低计算的开支。
步骤150、将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，所述U卷积用于利用输入数据
Figure 787405DEST_PATH_IMAGE012
本身作为监督，利用高维的特征向量建立潜在联系，所述U卷积层输出每个张量对应的映射张量。
假设
Figure DEST_PATH_IMAGE198
是分支一中交叉注意力模块的输出与U卷积模块的输入，U卷积模块利用输入数据/>
Figure 339609DEST_PATH_IMAGE012
本身作为监督，通过卷积运算方式先将/>
Figure 401106DEST_PATH_IMAGE012
映射为一个高维隐变量h，然后可以利用高维的特征向量建立潜在联系，最后再将高维隐变量h还原到初始维度，得到/>
Figure 419878DEST_PATH_IMAGE014
。这样通过非线性升维再降维的方式可以使得神经网络学习到隐藏的信息，相当于输入数据被投影到一个高维空间，然后再将它们映射回来，因此U卷积模块可以表述为，/>
Figure 301246DEST_PATH_IMAGE078
，
Figure 922720DEST_PATH_IMAGE080
；
其中
Figure 838724DEST_PATH_IMAGE082
是高维隐变量，/>
Figure 28396DEST_PATH_IMAGE084
是参数权重矩阵。
步骤160、将所述映射张量
Figure 288739DEST_PATH_IMAGE014
输入至交叉注意力时空层，所述交叉注意力时空层用于将所有映射张量/>
Figure 589270DEST_PATH_IMAGE014
利用所述U卷积层中的激活函数进行进行融合，得到融合结果/>
Figure 94201DEST_PATH_IMAGE016
。
鉴于以上各个模块的定义，可以将交叉注意力时空层定义为一个三分支的融合模块，给定一个输入张量
Figure DEST_PATH_IMAGE200
，在第一个分支的预处理中，得到/>
Figure 313830DEST_PATH_IMAGE178
，然后通过交叉注意力模块池化，得到/>
Figure DEST_PATH_IMAGE202
，其形状为/>
Figure DEST_PATH_IMAGE204
，然后通过U卷积层激活函数生成注意力权重，并将权重融合到/>
Figure DEST_PATH_IMAGE206
，融合方式为哈达玛积。
同样的，在第二个分支中，经过预处理层，得到
Figure 232107DEST_PATH_IMAGE182
，然后通过交叉注意力模块，最大池化，最小池化，平均池化融合层，得到/>
Figure DEST_PATH_IMAGE208
，其形状为/>
Figure 195384DEST_PATH_IMAGE196
，同第一个分支一样，通过U卷积层和激活函数，生成注意力权重，并融合到经过tanh激活的/>
Figure DEST_PATH_IMAGE210
。
对于最后一个分支，数据经过预处理层的处理，得到
Figure 820400DEST_PATH_IMAGE184
，首先通过图卷积层，提取空间信息，再而经过池化操作得到/>
Figure DEST_PATH_IMAGE212
，其形状为/>
Figure DEST_PATH_IMAGE214
，同前两个分支一样，通过U卷积层和激活函数，生成注意力权重，并融合到经过tanh激活的/>
Figure DEST_PATH_IMAGE216
。最后，融合三个分支的输出结果，加入两个超参数来调整每个分支的权重。总的来说，输入张量经过交叉注意力时空层的过程，可以用以下数学公式表达，
Figure 924446DEST_PATH_IMAGE122
，
其中，
Figure 126758DEST_PATH_IMAGE124
表示激活函数，/>
Figure 769092DEST_PATH_IMAGE126
，/>
Figure 514194DEST_PATH_IMAGE128
和/>
Figure 341204DEST_PATH_IMAGE130
分别表示每个分支中的综合参数，/>
Figure 171757DEST_PATH_IMAGE132
和/>
Figure 352203DEST_PATH_IMAGE134
是控制三个分支间的权重参数。
步骤170、将所述融合结果y输入至图卷积模块，所述图卷积模块基于空间域的角度构建，且能够学习来自不同邻域顺序的节点变换的信息。
图卷积层的输入
Figure DEST_PATH_IMAGE218
是大小为/>
Figure DEST_PATH_IMAGE220
的三维张量，其中/>
Figure 810866DEST_PATH_IMAGE008
是节点数，/>
Figure 684144DEST_PATH_IMAGE010
是隐藏维度，/>
Figure 96933DEST_PATH_IMAGE006
是序列长度。 />
Figure 346649DEST_PATH_IMAGE218
沿时间轴方向进行切片并在图卷积层中完成计算，即/>
Figure DEST_PATH_IMAGE222
。
图卷积是根据节点的结构信息提取节点特征的基本操作。设
Figure DEST_PATH_IMAGE224
表示具有自环的归一化邻接矩阵，/>
Figure 394239DEST_PATH_IMAGE026
表示输入信号，/>
Figure 438419DEST_PATH_IMAGE028
表示输出，/>
Figure 102618DEST_PATH_IMAGE030
表示模型参数矩阵，则图卷积层定义为：/>
Figure DEST_PATH_IMAGE226
。本发明使用扩散图卷积对图信号的扩散过程进行建模，即
Figure DEST_PATH_IMAGE228
，
其中
Figure 218342DEST_PATH_IMAGE032
表示转移矩阵的幂级数，在无向图的情况下，/>
Figure 792542DEST_PATH_IMAGE034
。
在图卷积层，通过预先知道的空间先验知识，使得模型可以自己学习到预定义的空间依赖，因此需要考虑源节点和目标节点之间的空间依赖权重，使用ReLU激活函数和softmax函数对图的邻接矩阵信息进行归一化并且融入图卷积模块中，因此以上公式将写为
Figure 7623DEST_PATH_IMAGE018
，
其中
Figure 300064DEST_PATH_IMAGE020
是图/>
Figure 249172DEST_PATH_IMAGE022
的邻接矩阵，/>
Figure 943459DEST_PATH_IMAGE024
是邻接矩阵的参数矩阵。这样图卷积的模块的构建是基于空间域的角度构建，图卷积模块可以学习来自不同邻域顺序的节点变换的信息。
步骤180、将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果。
全连接层可以包括：线性变换层和激活函数层，可以将前述提取到的特征综合起来，充分体现时间依赖，空间依赖和外部依赖。并通过全连接层输出光伏数据预测结果。
本实施例通过基于光伏电网的分布情况构建光伏邻接矩阵
Figure 63861DEST_PATH_IMAGE002
；根据所述传感器在t时刻采集的数据生成t时刻的传感器属性，并将所述传感器属性嵌入光伏邻接矩阵，生成特征张量/>
Figure 905916DEST_PATH_IMAGE004
， 将所述特征张量/>
Figure 160179DEST_PATH_IMAGE004
输入初始卷积预处理层，所述初始卷积预处理层分别沿张量的三个维度进行降维，分别得到两两维度交互的三个张量；将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，所述交叉注意力模块用于捕捉张量的跨纬度信息，并输出与输入的两维度交互的张量相同形状的张量；将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，所述U卷积用于利用输入数据/>
Figure 443393DEST_PATH_IMAGE012
本身作为监督，利用高维的特征向量建立潜在联系，所述U卷积层输出每个张量对应的映射张量/>
Figure 859331DEST_PATH_IMAGE014
；将所述映射张量/>
Figure 329627DEST_PATH_IMAGE014
输入至交叉注意力时空层，所述交叉注意力时空层用于将所有映射张量/>
Figure 889046DEST_PATH_IMAGE014
利用所述U卷积层中的激活函数进行融合，得到融合结果/>
Figure 26766DEST_PATH_IMAGE016
；将所述融合结果y输入至图卷积模块，所述图卷积模块基于空间域的角度构建，且能够学习来自不同邻域顺序的节点变换的信息， 将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果。对于输入张量，三分支注意力通过卷积操作和残差变换来构建维度间的依赖关系，三个分支分别捕捉时空数据中的时间依赖，空间依赖和外部依赖信息，并以极低的计算开销对通道间和空间信息进行编码。通过过去一段时间的时空数据信息去预测未来一段时间的时空数据信息。极大地提高了光伏数据预测的准确性。
在本实施例的一个优选实施方式中，所述方法还可增加如下步骤：根据实际采集到的数据和对应的预测结果采用如下方式计算损失函数：
Figure DEST_PATH_IMAGE230
，其中，/>
Figure DEST_PATH_IMAGE232
是模型从/>
Figure DEST_PATH_IMAGE234
时间步到/>
Figure DEST_PATH_IMAGE236
时间步的预测值，/>
Figure DEST_PATH_IMAGE238
是模型的参数；根据所述损失函数的计算结果调整所述个分支中综合参数。由于交叉注意力时空层中每个分支中对应的综合参数是多种需要训练的参数的集合，为提高预测的精度，因此，需要利用实际数据和预测数据对上述各种参数进行调整优化。示例性的，可设定相应的损失函数，并利用实际测量得到的数据对模型中的参数进行优化，以进一步提高预测的准确性。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于多维度交叉注意力机制的光伏数据预测方法，其特征在于，包括：
基于光伏电网的分布情况构建光伏邻接矩阵
Figure DEST_PATH_IMAGE001
，其中A为光伏邻接矩阵中元素，N为光伏邻接矩阵的行数或者列数；
根据传感器在t时刻采集的数据生成t时刻的传感器属性，并将所述传感器属性嵌入光伏邻接矩阵，生成特征张量
Figure 711449DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
是序列的长度，
Figure 237109DEST_PATH_IMAGE004
是节点的个数，
Figure DEST_PATH_IMAGE005
是节点的特征数；
将所述特征张量
Figure 50344DEST_PATH_IMAGE002
输入初始卷积预处理层，所述初始卷积预处理层分别沿张量的三个维度进行降维，分别得到两两维度交互的三个张量；
将所述两两维度交互的三个张量分别输入相应的交叉注意力模块，所述交叉注意力模块用于捕捉张量的跨纬度信息，并输出与输入的两维度交互的张量相同形状的张量；
将每个交叉注意力模块输出的相同形状的张量输入至U卷积层，所述U卷积层用于利用输入数据
Figure 141797DEST_PATH_IMAGE006
本身作为监督，利用高维的特征向量建立潜在联系，所述U卷积层输出每个张量对应的映射张量
Figure DEST_PATH_IMAGE007
；
将所述映射张量
Figure 710181DEST_PATH_IMAGE007
输入至交叉注意力时空层，所述交叉注意力时空层用于将所有映射张量
Figure 926399DEST_PATH_IMAGE007
利用所述U卷积层中的激活函数进行进行融合，得到融合结果
Figure 12167DEST_PATH_IMAGE008
；
将所述融合结果y输入至图卷积模块，所述图卷积模块基于空间域的角度构建，且能够学习来自不同邻域顺序的节点变换的信息，所述图卷积模块采用如下方式实现：
Figure DEST_PATH_IMAGE009
，
其中
Figure 722240DEST_PATH_IMAGE010
是图
Figure DEST_PATH_IMAGE011
的邻接矩阵，
Figure 133630DEST_PATH_IMAGE012
是邻接矩阵的参数矩阵，
Figure DEST_PATH_IMAGE013
表示输入信号，
Figure 368302DEST_PATH_IMAGE014
表示输出，
Figure DEST_PATH_IMAGE015
表示模型参数矩阵，
Figure 382395DEST_PATH_IMAGE016
表示转移矩阵的幂级数，在无向图的情况下，
Figure DEST_PATH_IMAGE017
,K为所述图卷积模块中卷积层的层数；
将所述图卷积模块的输出结果输入至全连接层，通过所述全连接层输出光伏数据预测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于光伏电网的分布情况构建光伏邻接矩阵包括：
将监测点作为节点，基于监测点位置构建集合
Figure 589385DEST_PATH_IMAGE018
表示，其中
Figure DEST_PATH_IMAGE019
是节点集，
Figure 296310DEST_PATH_IMAGE020
是边集；
根据所述集合生成光伏邻接矩阵。
3.根据权利要求2所述的方法，其特征在于，所述将所述传感器属性嵌入光伏邻接矩阵，包括：
将传感器数据对应嵌入所述光伏邻接矩阵中相应的节点中。
4.根据权利要求1所述的方法，其特征在于，所述初始卷积预处理层包括：
第一分支，用于输入
Figure DEST_PATH_IMAGE021
沿特征维度
Figure 519743DEST_PATH_IMAGE022
进行
Figure DEST_PATH_IMAGE023
卷积操作，在时间维度
Figure 212893DEST_PATH_IMAGE024
和节点维度
Figure DEST_PATH_IMAGE025
之间建立交互，得到
Figure 133444DEST_PATH_IMAGE026
的张量；
第二分支，用于输入
Figure 886636DEST_PATH_IMAGE021
沿时间维度
Figure 627059DEST_PATH_IMAGE024
进行
Figure 920637DEST_PATH_IMAGE023
卷积操作，在特征维度
Figure 571062DEST_PATH_IMAGE022
和节点维度
Figure 88631DEST_PATH_IMAGE025
之间建立交互，得到
Figure DEST_PATH_IMAGE027
的张量；
第三分支，用于输入
Figure 722874DEST_PATH_IMAGE021
沿节点维度进行
Figure 380995DEST_PATH_IMAGE023
卷积操作，在特征维度
Figure 885926DEST_PATH_IMAGE022
和时间维度
Figure 512079DEST_PATH_IMAGE024
之间建立交互，得到
Figure 227094DEST_PATH_IMAGE028
的张量；
其中M为张量的隐藏特征数。
5.根据权利要求4所述的方法，其特征在于，所述第一分支采用如下方式进行卷积运算：
Figure DEST_PATH_IMAGE029
，
Figure 65737DEST_PATH_IMAGE030
为特征维度
Figure 549808DEST_PATH_IMAGE005
进行
Figure DEST_PATH_IMAGE031
卷积操作结果，
Figure 815705DEST_PATH_IMAGE032
为线性整流单元，
Figure DEST_PATH_IMAGE033
为沿特征维度
Figure 283595DEST_PATH_IMAGE005
一维卷积操作单元，
Figure 660350DEST_PATH_IMAGE034
为输入张量；
所述第二分支采用如下方式进行卷积运算：
Figure DEST_PATH_IMAGE035
，
Figure 31551DEST_PATH_IMAGE036
为特征维度t进行
Figure 202769DEST_PATH_IMAGE023
卷积操作结果；
所述第三分支采用如下方式进行卷积运算：
Figure DEST_PATH_IMAGE037
，
Figure 892376DEST_PATH_IMAGE038
为特征s进行
Figure 72822DEST_PATH_IMAGE031
卷积操作结果。
6.根据权利要求5所述的方法，其特征在于，所述U卷积层通过如下方式实现：
Figure DEST_PATH_IMAGE039
，
Figure 797064DEST_PATH_IMAGE040
，
其中
Figure DEST_PATH_IMAGE041
是高维隐变量，
Figure 732659DEST_PATH_IMAGE042
、
Figure DEST_PATH_IMAGE043
是参数权重矩阵，
Figure 50508DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE045
为偏置参数。
7.根据权利要求6所述的方法，其特征在于，所述交叉注意力模块，包括：
第一分支处理单元，采用如下方式实现：
Figure 392234DEST_PATH_IMAGE046
；
第二分支处理单元，采用如下方式实现：
Figure DEST_PATH_IMAGE047
；
第三分支处理单元，采用如下方式实现：
Figure 174246DEST_PATH_IMAGE048
；
Figure DEST_PATH_IMAGE049
表示学***均池化函数公式如下，
Figure 139293DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE053
表示全局最大池化函数，有如下表述，
Figure 838128DEST_PATH_IMAGE054
。
8.根据权利要求7所述的方法，其特征在于，所述第三分支处理单元，
Figure DEST_PATH_IMAGE055
层在全局平均池化，全局最大池化，全局最小池化三种池化方式中，两两组合，采用如下方式实现：
Figure 787629DEST_PATH_IMAGE056
，
Figure DEST_PATH_IMAGE057
，
Figure 378273DEST_PATH_IMAGE058
，
Figure DEST_PATH_IMAGE059
，
其中
Figure 94425DEST_PATH_IMAGE060
是进行池化操作的隐藏维度。
9.根据权利要求6所述的方法，其特征在于，所述交叉注意力时空层，采用如下方式实现：
Figure DEST_PATH_IMAGE061
，
其中，
Figure 257553DEST_PATH_IMAGE062
表示激活函数，
Figure DEST_PATH_IMAGE063
，
Figure 502590DEST_PATH_IMAGE064
和
Figure DEST_PATH_IMAGE065
分别表示每个分支中综合参数，
Figure 344644DEST_PATH_IMAGE066
和
Figure DEST_PATH_IMAGE067
是控制三个分支间的权重参数。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
根据实际采集到的数据和对应的预测结果采用如下方式计算损失函数：
Figure 208695DEST_PATH_IMAGE068
，
其中，
Figure DEST_PATH_IMAGE069
是模型从
Figure 126796DEST_PATH_IMAGE070
时间步到
Figure DEST_PATH_IMAGE071
时间步的预测值，
Figure 683679DEST_PATH_IMAGE072
是模型的参数；
根据所述损失函数的计算结果调整各个分支中综合参数。
CN202211080871.XA 2022-09-05 2022-09-05 基于多维度交叉注意力机制的光伏数据预测方法 Pending CN115841167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211080871.XA CN115841167A (zh) 2022-09-05 2022-09-05 基于多维度交叉注意力机制的光伏数据预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211080871.XA CN115841167A (zh) 2022-09-05 2022-09-05 基于多维度交叉注意力机制的光伏数据预测方法

Publications (1)

Publication Number Publication Date
CN115841167A true CN115841167A (zh) 2023-03-24

Family

ID=85575411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211080871.XA Pending CN115841167A (zh) 2022-09-05 2022-09-05 基于多维度交叉注意力机制的光伏数据预测方法

Country Status (1)

Country Link
CN (1) CN115841167A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384593A (zh) * 2023-06-01 2023-07-04 深圳市国电科技通信有限公司 分布式光伏出力预测方法、装置、电子设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384593A (zh) * 2023-06-01 2023-07-04 深圳市国电科技通信有限公司 分布式光伏出力预测方法、装置、电子设备和介质
CN116384593B (zh) * 2023-06-01 2023-08-18 深圳市国电科技通信有限公司 分布式光伏出力预测方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
Yu et al. Probabilistic prediction of regional wind power based on spatiotemporal quantile regression
US20220373984A1 (en) Hybrid photovoltaic power prediction method and system based on multi-source data fusion
Ceci et al. Predictive modeling of PV energy production: How to set up the learning task for a better prediction?
Wang et al. Short-term wind speed forecasting based on information of neighboring wind farms
CN109657839B (zh) 一种基于深度卷积神经网络的风电功率预测方法
Zhang et al. Multi-Group Encoder-Decoder Networks to Fuse Heterogeneous Data for Next-Day Air Quality Prediction.
Khodayar et al. Deep learning for pattern recognition of photovoltaic energy generation
Liu et al. Super resolution perception for smart meter data
Paletta et al. ECLIPSE: Envisioning cloud induced perturbations in solar energy
Bao et al. Spatial–temporal complex graph convolution network for traffic flow prediction
Tan et al. Multi-node load forecasting based on multi-task learning with modal feature extraction
JP2017135964A (ja) 太陽光発電システムの動作
Li et al. Deep spatio-temporal wind power forecasting
Shi et al. Expected output calculation based on inverse distance weighting and its application in anomaly detection of distributed photovoltaic power stations
CN114169445A (zh) 基于cae和gan混合网络的日前光伏功率预测方法、装置与***
CN114021836A (zh) 基于不同角度融合的多变量水库入水量预测***、训练方法及应用
CN113642255A (zh) 基于多尺度卷积循环神经网络的光伏发电功率预测方法
CN115841167A (zh) 基于多维度交叉注意力机制的光伏数据预测方法
Oktaviani et al. Knn imputation to missing values of regression-based rain duration prediction on bmkg data
Crispim et al. Prediction of the solar radiation evolution using computational intelligence techniques and cloudiness indices
Tai et al. Power prediction of photovoltaic power generation based on LSTM model with additive Attention mechanism
Zhang et al. Digital twin empowered PV power prediction
Shahid et al. Autoencoders for Anomaly Detection in Electricity and District Heating Consumption: A Case Study in School Buildings in Sweden
Dey et al. NeSDeepNet: A Fusion Framework for Multi-step Forecasting of Near-surface Air Pollutants
Gao et al. Interpretable deep learning for hourly solar radiation prediction: A real measured data case study in Tokyo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Lei

Inventor after: Zhang Fan

Inventor before: Wang Lei

Inventor before: Guo Deke

Inventor before: Zhang Fan

CB03 Change of inventor or designer information