CN116629142A - 基于transformer机制的雷电定位轨迹预测方法、***和存储介质 - Google Patents

基于transformer机制的雷电定位轨迹预测方法、***和存储介质 Download PDF

Info

Publication number
CN116629142A
CN116629142A CN202310904397.6A CN202310904397A CN116629142A CN 116629142 A CN116629142 A CN 116629142A CN 202310904397 A CN202310904397 A CN 202310904397A CN 116629142 A CN116629142 A CN 116629142A
Authority
CN
China
Prior art keywords
time domain
attention module
frequency domain
value
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310904397.6A
Other languages
English (en)
Other versions
CN116629142B (zh
Inventor
魏振春
裴文浩
向念文
吕增威
李科杰
丁煦
石雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310904397.6A priority Critical patent/CN116629142B/zh
Publication of CN116629142A publication Critical patent/CN116629142A/zh
Application granted granted Critical
Publication of CN116629142B publication Critical patent/CN116629142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/08—Measuring electromagnetic field characteristics
    • G01R29/0807—Measuring electromagnetic field characteristics characterised by the application
    • G01R29/0814—Field measurements related to measuring influence on or from apparatus, components or humans, e.g. in ESD, EMI, EMC, EMP testing, measuring radiation leakage; detecting presence of micro- or radiowave emitters; dosimetry; testing shielding; measurements related to lightning
    • G01R29/0842—Measurements related to lightning, e.g. measuring electric disturbances, warning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及人工智能技术领域，尤其是一种基于transformer机制的雷电定位轨迹预测方法、***和存储介质。本发明提出的基于transformer机制的雷电定位轨迹预测方法，将Transformer与时序分解方法相结合，其中分解方法捕获时间序列的整体轮廓，而Transformer捕获更详细的结构，这使得模型可以捕捉时间序列的全局视图。本发明中在时域特征提取时，通过M(q(i),K1)选择出少数对主要注意有贡献的点积进行后续注意力提取，降低了算法复杂度，提高了计算资源的有益性，从而提高了模型预测能力。

Description

基于transformer机制的雷电定位轨迹预测方法、***和存储 介质
技术领域
本发明涉及人工智能技术领域，尤其是一种基于transformer机制的雷电定位轨迹预测方法、***和存储介质。
背景技术
雷电是自然界频繁发生的一种高强度的电磁脉冲现象，因其影响较大，受到了气象、航天、航空、电力、石油诸多部门的广泛关注。其中，电网因其具有广域分布特征、几何尺度达数千km更易受到雷电的冲击。雷击是影响电网安全运行的重要因素。要保障电网的安全运行需要精准的预测雷电轨迹，以提前做好防雷击准备；雷电轨迹预测的难点在于无法用公式描述出所有外部因素对雷云运动轨迹的影响，而且很难基于实时数据对雷云轨迹做出较精准的长时预测。
现有技术中对雷电的预测已取得很多有价值的研究成果，但这些方法不能或只能基于现有数据预测未来很短的雷云运动轨迹。雷电活动到来前，要完成电塔上施工人员的疏散，且要对雷电风险等级进行评估以完成下一步对电塔任务调度的决策，还要完成主动防雷的部署，需要大量的时间去保证人员的安全并把损失降到最低。在雷电活动面前时间十分的宝贵，因此，急需一种可以完成雷电轨迹长时预测的方法。
发明内容
为了克服上述现有技术中无法实现长时间的雷云预测的缺陷，本发明提出了一种基于transformer机制的雷电定位轨迹预测方法，能够很好的解决长时预测问题，并能精准的判断雷云运动轨迹，让实现精准防雷成为可能。
本发明提出的一种基于transformer机制的雷电定位轨迹预测方法，定义输入数据为包含T个连续时间点的历史数据，每一个时间点上的历史数据均包括雷电数据和天气数据；针对输入数据提取频域特征和时域特征，并在时域上对频域特征和时域特征进行拼接以获取第一拼接数据，并对第一拼接数据进行分解；基于输入数据进行分解，针对输入数据的分解数据提取频域特征和时域特征，并在时域上对频域特征和时域特征进行拼接以获取第二拼接数据，对第二拼接数据进行分解；结合第一拼接数据的分解数据和第二拼接数据的分解数据进行解码，以获取输入数据之后t个时间点上的雷云分布作为预测结果Y；
其中，时域特征的提取通过稀疏时域自注意力模块实现，稀疏时域自注意力模块将输入的数据转换为d维度的词向量，然后采用不同的线性变换对词向量进行变换，以获取矩阵Q1、矩阵K1和矩阵V1；令矩阵Q1中第i个元素为q(i)，矩阵K1中第j个元素为k(j)；稀疏时域自注意力模块根据预设的评估公式计算矩阵Q1中各元素q(i)与矩阵K1的评估值M(q(i),K1)；稀疏时域自注意力模块选取对应的评估值M(q(i),K1)较大的n个元素q(i)作为目标元素，并将选取的n个目标元素组成矩阵Q(1,1)；稀疏时域自注意力模块将Q(1,1)作为Q值，将K1作为K值，将V1作为V值，然后结合Q值K值V值执行自注意力机制，以获取稀疏时域自注意力模块输入的数据的时域特征。
优选的，评估公式为：
A1和A2为过渡项；k(q(i),k(j))和k(q(i),k(r))为设定的核函数；k(r)为矩阵K1中第r个元素；M(q(i),K1)用于描述注意力概率分布和均匀分布之间的距离；L(K)为K值的元素数量。
优选的，k(q(i),k(j))和k(q(i),k(r))为非对称的指数核函数；
其中，d为稀疏时域注意力模块提取的词向量的维度，上标T表示向量的转置。
优选的，稀疏时域自注意力模块将Q(1,1)作为Q值，将K1作为K值，将V1作为V值，然后将Q值、K值和V值输入激活函数，激活函数的激活结果即为时域特征。
优选的，激活函数选择SoftMax激活函数。
优选的，首先构建雷云预测模型，雷云预测模型用于结合已知的包含T个连续时间点的输入数据x预测接下来t个时间点上的雷云分布；然后结合已知历史数据构建输入数据x，将输入数据x输入雷云预测模型，以获取后续时间点上的雷云分布；
雷云预测模型包括编码器和解码器；编码器用于提取输入数据x的时域特征和频域特征，并在时域上将时域特征和频域特征进行拼接以获取第一拼接数据，编码器将第一拼接数据进行残差处理后，再对处理后数据进行季节-趋势项分解，以输出季节项xs1和趋势项xt1；
解码器包括：第二时序分解单元、第二稀疏时域自注意力模块、第二频域自注意力模块、第二残差网络、第三时序分解单元、第三频域自注意力模块、第三残差网络、第四时序分解单元、第二前馈网络和第四残差网络；第二稀疏时域自注意力模块采用上述的稀疏时域自注意力模块；
第二时序分解单元对输入数据x进行季节-趋势项分解，输出季节项xs2和趋势项xt2；第二稀疏时域自注意力模块用于提取xs2的时域特征，第二频域自注意力模块用于提取xs2的频域特征并转换为时域特征输出；第二稀疏时域自注意力模块输出的时域特征和第二频域自注意力模块输出的时域特征构成第二拼接数据，第二拼接数据以及季节项xs2通过第二残差网络进行残差处理，第二残差网络输出的残差特征输入第三时序分解单元，第三时序分解单元进行季节-趋势项分解，输出季节项xs3和趋势项xt3；
第三频域自注意力模块以季节项xs3作为Q值，以季节项xs1通过不同线性变换方式变换后的值作为K值和V值，第三频域自注意力模块对xs1提取频域特征并转换为时域特征输出；第三频域自注意力模块输出的时域特征和季节项xs3经过第三残差网络进行残差处理，第三残差网络输出的残差特征通过第四时序分解单元进行季节-趋势项分解，第四时序分解单元输出季节项xs4和趋势项xt4；季节项xs4经过第二前馈网络处理后的值和趋势项xt2、xt3、xt4以及季节项xs4均输入第四残差网络，第四残差网络进行残差处理后输出预测结果Y，预测结果Y即为输入数据x之后t个时间点上的雷云分布。
优选的，编码器包括第一稀疏时域自注意力模块、第一频域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元；第一稀疏时域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元顺序连接，第一频域自注意力模块的输入连接第一稀疏时域自注意力模块的输入，第一频域自注意力模块的输出连接第一残差网络的输入；第一稀疏时域自注意力模块采用上述的稀疏时域自注意力模块；
第一稀疏时域自注意力模块用于提取输入数据x的时域特征；第一频域自注意力模块用于提取输入数据x的频域特征，并将频域特征转换为时域特征输出；第一稀疏时域自注意力模块输出的时域特征与第一频域自注意力模块输出的时域特征拼接构成第一拼接数据，第一拼接数据依次经过第一残差网络、第一前馈网络处理后获得数据z，数据z经过第一时序分解单元进行季节-趋势项分解，第一时序分解单元输出季节项xs1和趋势项xt1。
优选的，第一频域自注意力模块、第二频域自注意力模块和第三频域自注意力模块结构相同，统称为频域自注意力模块；
频域注意力模块首先结合输入的数据获取自注意力机制的Q值、K值和V值，然后将Q值、K值和V值分别投影到频域，再在频域上进行随机抽样小矩阵，令Q值对应的随机抽样小矩阵为SF(Q)，K值对应的随机抽样小矩阵为SF(K)，V值对应的随机抽样小矩阵为SF(V)；然后频域注意力模块将SF(Q)、SF(K)和SF(V)通过点积学习到的频域特征输入激活函数激活，再将激活后的频域特征填充到原来Q值、K值和V值的尺寸，再通过逆傅里叶变换将填充后的频域特征转换为时域特征输出。
本发明还提出了一种基于transformer机制的雷电定位轨迹预测***和存储介质，用于承载上述的基于transformer机制的雷电定位轨迹预测方法，以便所述方法的推广应用。
本发明提出的一种基于transformer机制的雷电定位轨迹预测***，包括处理器和存储器，存储器中存储有计算机程序和雷云预测模型，处理器连接存储器，处理器用于执行所述计算机程序，以执行所述的基于transformer机制的雷电定位轨迹预测方法。
本发明提出的一种存储介质，存储有计算机程序和雷云预测模型，所述计算机程序被执行时，用于实现所述的基于transformer机制的雷电定位轨迹预测方法。
本发明的优点在于：
（1）本发明提出的基于transformer机制的雷电定位轨迹预测方法，将编码器和解码器构成的Transformer模型与时序分解方法相结合，其中分解方法捕获时间序列的整体轮廓，而Transformer捕获更详细的结构，这使得模型可以捕捉时间序列的全局视图。本发明中在时域特征提取时，通过M(q(i),K1)选择出少数对主要注意有贡献的点积进行后续注意力提取，降低了算法复杂度，提高了计算资源的有益性，从而提高了模型预测能力。
（2）本发明将Transformer、时序分析和频域分析相结合，使模型可以保持时间序列整体的全局性和统计性，有助于雷云预测模型更好的捕获时间序列的全局属性。本发明可以处理长时序问题，对未来较长一段时间的雷云运动轨迹进行预测，以做到及时的防雷准备。
（3）本发明中采用稀疏时域自注意力模块通过ProbSparse self-attention机制去捕捉长时程之间的依赖耦合，这极大的降低了算法的时间复杂度和空间复杂度，使精准预测长时的雷云轨迹成为可能。
（4）本发明中的频域注意力模块将原始时域上的输入序列即输入的数据投影到频域，再在频域上进行随机采样。这样可以极大地降低输入向量的长度进而降低计算复杂度。
附图说明
图1为雷云预测模型的结构图；
图2为雷云预测模型的训练流程图；
图3为实施例中雷云质心的经度变化趋势图；
图4为实施例中雷云质心的维度变化趋势图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本实施方式提出的基于transformer机制的雷电定位轨迹预测模型的训练方法，包括以下步骤：
S1、构建基础模型，基础模型包括编码器和解码器；
编码器包括第一稀疏时域自注意力模块、第一频域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元；第一稀疏时域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元顺序连接，第一频域自注意力模块的输入连接第一稀疏时域自注意力模块的输入，第一频域自注意力模块的输出连接第一残差网络的输入；
第一稀疏时域自注意力模块用于提取输入数据x的时域特征；
第一频域自注意力模块用于提取输入数据x的频域特征，并将频域特征转换为时域特征输出；
将第一稀疏时域自注意力模块输出的时域特征与第一频域自注意力模块输出的时域特征拼接构成第一拼接数据，将第一拼接数据依次经过第一残差网络、第一前馈网络处理后获得数据z，数据z经过第一时序分解单元进行季节-趋势项分解，第一时序分解单元输出季节项xs1和趋势项xt1。
本实施方式中，第一稀疏时域自注意力模块和第一频域自注意力模块分别提取输入数据x的时域特征和频域特征，实现了频域和时域上对数据的特征提取，第一频域自注意力模块将频域特征转换为时域特征，方便了特征拼接，以便后续第一残差网络对拼接后的数据进行处理，使得数据的特征提取和表示更加充分。
本实施方式中，通过使用季节-趋势项分解，降低了网络输入输出的分布差异，使得模型更加适应时间序列的分布随时间变化而变化的情况，提高模型的外推能力，从而提高预测的精准度。
解码器包括：第二时序分解单元、第二稀疏时域自注意力模块、第二频域自注意力模块、第二残差网络、第三时序分解单元、第三频域自注意力模块、第三残差网络、第四时序分解单元、第二前馈网络和第四残差网络；
第二时序分解单元对输入数据x进行季节-趋势项分解，输出季节项xs2和趋势项xt2；第二时序分解单元的输出分别连接第二稀疏时域自注意力模块的输入、第二频域自注意力模块的输入和第四残差网络的输入；
第二时序分解单元的输出、第二稀疏时域自注意力模块的输出、第二频域自注意力模块的输出均连接第二残差网络的输入；第二残差网络的输出连接第三时序分解单元的输入；
第二稀疏时域自注意力模块用于提取xs2的时域特征，第二频域自注意力模块用于提取xs2的频域特征并转换为时域特征输出；第二稀疏时域自注意力模块输出的时域特征、第二频域自注意力模块输出的时域特征以及季节项xs2通过第二残差网络进行残差处理，第二残差网络输出的残差特征输入第三时序分解单元，第三时序分解单元进行季节-趋势项分解，输出季节项xs3和趋势项xt3；
第三频域自注意力模块的输入分别连接第三时序分解单元的输出和第一时序分解单元的输出；第三频域自注意力模块以季节项xs3作为Q值，以季节项xs1通过不同线性变换方式变换后的值作为K值和V值，第三频域自注意力模块对xs1提取频域特征并转换为时域特征输出。
第三时序分解单元的输出和第三频域自注意力模块的输出均连接第三残差网络的输入，第三残差网络的输出连接第四时序分解单元的输入，第四时序分解单元的输出分别连接第二前馈网络的输入和第四残差网络的输入；第二前馈网络的输出连接第四残差网络的输入。
第三频域自注意力模块输出的时域特征和季节项xs3经过第三残差网络进行残差处理，第三残差网络输出的残差特征通过第四时序分解单元进行季节-趋势项分解，第四时序分解单元输出季节项xs4和趋势项xt4；
季节项xs4经过第二前馈网络处理后的值和趋势项xt2、xt3、xt4以及季节项xs4均输入第四残差网络，第四残差网络进行残差处理后输出预测结果Y。
基础模型的输入用于获取输入数据x，基础模型的输出用于输出预测结果Y；即第一稀疏时域自注意力模块的输入、第一频域自注意力模块的输入和第二时序分解单元的输入相互连接以作为基础模型的输入；基础模型的输出即为第四残差网络的输出。
输入数据x为包含T个连续时间点的历史数据，每一个时间点上的历史数据均包括雷电数据和天气数据，雷电数据包括对应时间点上的雷云分布和场强，天气数据包括风速；
Y={Y(1),Y(2),……,Y(t)}
Y(t)={y(1,t);y(2,t);……;y(L(Y(t)),t)}
Y(1),Y(2),……,Y(t)表示输入数据x接下来t个时间点上的雷云数据；
y(1,t);y(2,t);……;y(L(Y(t)),t)表示输入数据x之后第t个时间点上预测到的L(Y(t)个雷云团的质心的集合；
具体的，假设输入数据x的最后一个时间点为T，则Y(1)表示时间点T+1上的雷云数据，则Y(2)表示时间点T+2上的雷云数据，则Y(t)表示时间点T+t上的雷云数据；y(1,t)表示时间点T+t上第1个雷云团的质心，y(2,t)表示时间点T+t上第2个雷云团的质心，y(L(Y(t)),t)表示时间点T+t上第L(Y(t))个雷云团的质心。
S2、结合历史数据构建经验样本(x,Y)，令基础模型对经验样本(x,Y)进行机器学习，获取收敛后的基础模型作为雷云预测模型，雷云预测模型用于结合已知的包含T个连续时间点的输入数据x预测接下来t个时间点上的雷云分布。
第一稀疏时域自注意力模块和第二稀疏时域自注意力模块统称为稀疏时域自注意力模块，两者结构相同。
稀疏时域自注意力模块用于提取其输入的数据的时域注意力向量；具体的，稀疏时域自注意力模块首先将输入的数据转换为d维度的词向量，然后采用第一线性变换将词向量转换为矩阵Q1，采用第二线性变换将词向量转换为矩阵K1，采用第三线性变换将词向量转换为矩阵V1；令矩阵Q1中第i个元素为q(i)，矩阵K1中第j个元素为k(j)，矩阵K1的元素数量为L(K)；稀疏时域自注意力模块根据预设的评估公式计算矩阵Q1中各元素q(i)与矩阵K1的评估值M(q(i),K1)；稀疏时域自注意力模块根据评估值M(q(i),K1)从大到小的顺序从Q1中选择较大的n个元素q(i)作为目标元素，并将选取的n个目标元素组成矩阵Q(1,1)，并将Q(1,1)，K1，V1分别作为自注意力机制的Q值K值和V值，以输入激活函数，激活函数激活Q值K值和V值后输出时域特征；激活函数具体可选择SoftMax激活函数。
评估公式为：
A1和A2为过渡项；k(q(i),k(j))和k(q(i),k(r))是非对称的指数核函数，是传统Transformer中的概率分布公式中的一部分，M(q(i),K1)用于描述注意力概率分布和均匀分布之间距离，M(q(i),K1)越大，表示注意力值越活跃。k(j)为矩阵K1中第j个元素，k(r)为矩阵K1中第r个元素，1≤j≤L(k)，1≤r≤L(k)。
本实施方式中，在时域特征提取时，通过M(q(i),K1)从大到小的顺序选择出少数对主要注意有贡献的点积进行注意力提取，降低了算法复杂度，提高了计算资源的有益性，从而提高了模型预测能力。
第一稀疏时域自注意力模块输入的数据为输入数据x，第二稀疏时域自注意力模块输入的数据为季节项xs2。
第一频域自注意力模块、第二频域自注意力模块和第三频域自注意力模块结构相同，统称为频域自注意力模块。
本实施方式中，频域注意力模块首先结合输入的数据获取Q值、K值和V值，然后将Q值、K值和V值投影到频域，再在频域上进行随机抽样小矩阵，频域注意力模块将Q值更新为Q值的频域投影中的抽样小矩阵SF(Q)，频域注意力模块将K值更新为K值的频域投影中的抽样小矩阵SF(K)，频域注意力模块将V值更新为V值的频域投影中的抽样小矩阵SF(V)，然后频域注意力模块将SF(Q)、SF(K)和SF(V)通过点积学习到的频域特征输入激活函数激活，再将激活后的频域特征填充到原来Q值、K值和V值的尺寸，再通过逆傅里叶变换将填充后的频域特征转换为时域特征输出。原来的Q值、K值和V值即为频域注意力模块结合输入的数据获取Q值、K值和V值。可见，Q值、K值和V值为尺寸相同的矩阵。
频域自注意力模块的工作过程公式表示为：
f-Attention(QKV)=F-1(Padding(Softmax((SF(Q)·SF(K)T)·SF(V))))
其中，SF(Q)表示从频域注意力模块输入的Q值在频域上的投影中随机选择的小矩阵，SF(K)表示从频域注意力模块输入的K值在频域上的投影中随机选择的小矩阵，SF(V)表示从频域注意力模块输入的V值在频域上的投影中随机选择的小矩阵，上标T表示转置；Softmax为激活函数，用于将(SF(Q)·SF(K)T)·SF(V)映射到0-1之间；Padding表示填充操作，用于将激活后的频域特征Softmax((SF(Q)·SF(K)T)·SF(V))填充到Q值的尺寸；Q值、K值和V值为尺寸相同的矩阵，F-1表示逆傅里叶变换。
频域注意力模块将原始时域上的输入序列即输入的数据投影到频域，再在频域上进行随机采样。这样可以极大地降低了输入向量的长度进而降低了计算复杂度。
本实施方式中，第一频域注意力模块的输入为输入数据x，第一频域注意力模块将输入数据x进行三种不同的线性变换，以分别获取Q值、K值和V值。
第二频域注意力模块的输入为季节项xs2，第二频域注意力模块将xs2进行三种不同的线性变换，以分别获取Q值、K值和V值。
第三频域自注意力模块以季节项xs3作为Q值，以季节项xs1通过不同线性变换方式变换后的值作为K值和V值。
第一频域自注意力模块输入的数据为输入数据x；第二频域自注意力模块输入的数据为季节项xs2，第三频域自注意力模块输入的数据为季节项xs1和xs3。
频域自注意力模块都是通过傅里叶变换提取输入的数据的频域特征，然后将频域特征通过逆傅里叶变换为时域特征，以便与稀疏时域自注意力模块输出的时域特征或者是时序数据进行拼接，以便后续计算。
如此，实现了频域和时域上对数据的特征提取，使得数据的特征提取和表示更加充分。
以下结合具体的实施例对本发明提供的雷云预测模型进行验证。
本实施例中，选取西南某地区的历史数据构建经验样本(x,Y)，经验样本中的Y为雷达基本反射率数据表现的雷云分布。
将经验样本(x,Y)分割为训练集和测试集。
本实施例中还构建了2种对比模型，分别为：LSTM模型(时间循环神经网络)和Transformer模型。
本实施例中，本发明提供的雷云预测模型和两种对比模型均采用训练集训练至收敛，然后在测试集上测试收敛后模型的精度。
本实施例中，在测试集上进行模型测试时，根据雷云分布的真实值Y计算雷云的质心作为真实值，并计算3种模型输出的雷云分布的质心，然后将各个时间点上3种模型获得的质心的经纬度与质心真实值的经纬度进行对比。
本实施例中，本发明提供的雷云预测模型，参数设置为：T=254，t=14。
本实施例中，为了同步雷电定位信息与雷达基本反射率的时刻，统一选取 6分钟为单位时间，即相邻两个时间点之间的时间步长为6分钟。可见，本发明可预测未来14×6=84分钟内的雷云分布。
本实施例中测试结果如图3图4所示。图3为预测的各时间点上雷云质心的经度，图4为预测的各时间点上雷云质心的纬度。图3、图4中，GroudTruth为质心的真实值。
结合图3、图4可看出，本实施例中，本发明提供的雷云预测模型获得的雷云分布随着时间的变化曲线更加靠近雷云的真实轨迹；可见，本发明相较于 LSTM模型和传统的Transformer模型在雷云的长时预测上有了很大的提升，使得雷云的长时预测成为了可能。
当然，对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而还包括在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现的相同或类似结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (10)

1.一种基于transformer机制的雷电定位轨迹预测方法，其特征在于，定义输入数据为包含T个连续时间点的历史数据，每一个时间点上的历史数据均包括雷电数据和天气数据；针对输入数据提取频域特征和时域特征，并在时域上对频域特征和时域特征进行拼接以获取第一拼接数据，并对第一拼接数据进行分解；基于输入数据进行分解，针对输入数据的分解数据提取频域特征和时域特征，并在时域上对频域特征和时域特征进行拼接以获取第二拼接数据，对第二拼接数据进行分解；结合第一拼接数据的分解数据和第二拼接数据的分解数据进行解码，以获取输入数据之后t个时间点上的雷云分布作为预测结果Y；
其中，时域特征的提取通过稀疏时域自注意力模块实现，稀疏时域自注意力模块将输入的数据转换为d维度的词向量，然后采用不同的线性变换对词向量进行变换，以获取矩阵Q1、矩阵K1和矩阵V1；令矩阵Q1中第i个元素为q(i)，矩阵K1中第j个元素为k(j)；稀疏时域自注意力模块根据预设的评估公式计算矩阵Q1中各元素q(i)与矩阵K1的评估值M(q(i),K1)；稀疏时域自注意力模块选取对应的评估值M(q(i),K1)较大的n个元素q(i)作为目标元素，并将选取的n个目标元素组成矩阵Q(1,1)；稀疏时域自注意力模块将Q(1,1)作为Q值，将K1作为K值，将V1作为V值，然后结合Q值K值V值执行自注意力机制，以获取稀疏时域自注意力模块输入的数据的时域特征。
2.如权利要求1所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，评估公式为：
；
；
；
A1和A2为过渡项；k(q(i),k(j))和k(q(i),k(r))为设定的核函数；k(r)为矩阵K1中第r个元素；M(q(i),K1)用于描述注意力概率分布和均匀分布之间的距离；L(K)为K值的元素数量。
3.如权利要求2所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，k(q(i),k(j))和k(q(i),k(r))为非对称的指数核函数；
；/>；其中，d为稀疏时域注意力模块提取的词向量的维度，上标T表示向量的转置。
4.如权利要求3所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，稀疏时域自注意力模块将Q(1,1)作为Q值，将K1作为K值，将V1作为V值，然后将Q值、K值和V值输入激活函数，激活函数的激活结果即为时域特征。
5.如权利要求4所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，激活函数选择SoftMax激活函数。
6.如权利要求3所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，首先构建雷云预测模型，雷云预测模型用于结合已知的包含T个连续时间点的输入数据x预测接下来t个时间点上的雷云分布；然后结合已知历史数据构建输入数据x，将输入数据x输入雷云预测模型，以获取后续时间点上的雷云分布；
雷云预测模型包括编码器和解码器；编码器用于提取输入数据的时域特征和频域特征，并在时域上将时域特征和频域特征进行拼接以获取第一拼接数据，编码器将第一拼接数据进行残差处理后，再对处理后数据进行季节-趋势项分解，以输出季节项xs1和趋势项xt1；
解码器包括：第二时序分解单元、第二稀疏时域自注意力模块、第二频域自注意力模块、第二残差网络、第三时序分解单元、第三频域自注意力模块、第三残差网络、第四时序分解单元、第二前馈网络和第四残差网络；第二稀疏时域自注意力模块采用上述的稀疏时域自注意力模块；
第二时序分解单元对输入数据x进行季节-趋势项分解，输出季节项xs2和趋势项xt2；第二稀疏时域自注意力模块用于提取xs2的时域特征，第二频域自注意力模块用于提取xs2的频域特征并转换为时域特征输出；第二稀疏时域自注意力模块输出的时域特征和第二频域自注意力模块输出的时域特征构成第二拼接数据，第二拼接数据以及季节项xs2通过第二残差网络进行残差处理，第二残差网络输出的残差特征输入第三时序分解单元，第三时序分解单元进行季节-趋势项分解，输出季节项xs3和趋势项xt3；
第三频域自注意力模块以季节项xs3作为Q值，以季节项xs1通过不同线性变换方式变换后的值作为K值和V值，第三频域自注意力模块对xs1提取频域特征并转换为时域特征输出；第三频域自注意力模块输出的时域特征和季节项xs3经过第三残差网络进行残差处理，第三残差网络输出的残差特征通过第四时序分解单元进行季节-趋势项分解，第四时序分解单元输出季节项xs4和趋势项xt4；季节项xs4经过第二前馈网络处理后的值和趋势项xt2、xt3、xt4以及季节项xs4均输入第四残差网络，第四残差网络进行残差处理后输出预测结果Y，预测结果Y即为输入数据x之后t个时间点上的雷云分布。
7.如权利要求6所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，编码器包括第一稀疏时域自注意力模块、第一频域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元；第一稀疏时域自注意力模块、第一残差网络、第一前馈网络和第一时序分解单元顺序连接，第一频域自注意力模块的输入连接第一稀疏时域自注意力模块的输入，第一频域自注意力模块的输出连接第一残差网络的输入；第一稀疏时域自注意力模块采用上述的稀疏时域自注意力模块；
第一稀疏时域自注意力模块用于提取输入数据x的时域特征；第一频域自注意力模块用于提取输入数据x的频域特征，并将频域特征转换为时域特征输出；第一稀疏时域自注意力模块输出的时域特征与第一频域自注意力模块输出的时域特征拼接构成第一拼接数据，第一拼接数据依次经过第一残差网络、第一前馈网络处理后获得数据z，数据z经过第一时序分解单元进行季节-趋势项分解，第一时序分解单元输出季节项xs1和趋势项xt1。
8.如权利要求7所述的基于transformer机制的雷电定位轨迹预测方法，其特征在于，第一频域自注意力模块、第二频域自注意力模块和第三频域自注意力模块结构相同，统称为频域自注意力模块；
频域注意力模块首先结合输入的数据获取自注意力机制的Q值、K值和V值，然后将Q值、K值和V值分别投影到频域，再在频域上随机抽样小矩阵，令Q值对应的随机抽样小矩阵为SF(Q)，K值对应的随机抽样小矩阵为SF(K)，V值对应的随机抽样小矩阵为SF(V)；然后频域注意力模块将SF(Q)、SF(K)和SF(V)通过点积学习到的频域特征输入激活函数激活，再将激活后的频域特征填充到原来Q值、K值和V值的尺寸，再通过逆傅里叶变换将填充后的频域特征转换为时域特征输出。
9.一种基于transformer机制的雷电定位轨迹预测***，其特征在于，包括处理器和存储器，存储器中存储有计算机程序和雷云预测模型，处理器连接存储器，处理器用于执行所述计算机程序，以执行如权利要求1-8任一项所述的基于transformer机制的雷电定位轨迹预测方法。
10.一种存储介质，其特征在于，存储有计算机程序和雷云预测模型，所述计算机程序被执行时，用于实现如权利要求1-8任一项所述的基于transformer机制的雷电定位轨迹预测方法。
CN202310904397.6A 2023-07-24 2023-07-24 基于transformer机制的雷电定位轨迹预测方法和*** Active CN116629142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310904397.6A CN116629142B (zh) 2023-07-24 2023-07-24 基于transformer机制的雷电定位轨迹预测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310904397.6A CN116629142B (zh) 2023-07-24 2023-07-24 基于transformer机制的雷电定位轨迹预测方法和***

Publications (2)

Publication Number Publication Date
CN116629142A true CN116629142A (zh) 2023-08-22
CN116629142B CN116629142B (zh) 2023-09-29

Family

ID=87636903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310904397.6A Active CN116629142B (zh) 2023-07-24 2023-07-24 基于transformer机制的雷电定位轨迹预测方法和***

Country Status (1)

Country Link
CN (1) CN116629142B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117875535A (zh) * 2024-03-13 2024-04-12 中南大学 基于历史信息嵌入的取送货路径规划方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401888A1 (en) * 2019-06-24 2020-12-24 Tata Consultancy Services Limited Time series prediction with confidence estimates using sparse recurrent mixture density networks
CN113204903A (zh) * 2021-04-29 2021-08-03 国网电力科学研究院武汉南瑞有限责任公司 一种预测雷电的方法
US20210326723A1 (en) * 2020-04-21 2021-10-21 Microsoft Technology Licensing, Llc Predicted forecast offset from remote location sensor
CN114218870A (zh) * 2021-12-22 2022-03-22 大连理工大学 一种基于变分模态分解与注意力机制的风速预测方法
CN114548595A (zh) * 2022-03-03 2022-05-27 成都信息工程大学 基于注意力机制的强对流天气物理特征量预测方法及***
CN115423080A (zh) * 2022-09-16 2022-12-02 中国电信股份有限公司 时间序列预测方法、装置、电子设备及介质
CN115730716A (zh) * 2022-11-16 2023-03-03 国网江苏省电力有限公司镇江供电分公司 基于改进Transformer模型通信基站中长期用电量预测方法
CN115761261A (zh) * 2022-11-27 2023-03-07 东南大学 一种基于雷达回波图外推的短临降水预测方法
CN116227560A (zh) * 2023-02-06 2023-06-06 中国矿业大学 基于DTW-former的时间序列预测模型及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401888A1 (en) * 2019-06-24 2020-12-24 Tata Consultancy Services Limited Time series prediction with confidence estimates using sparse recurrent mixture density networks
US20210326723A1 (en) * 2020-04-21 2021-10-21 Microsoft Technology Licensing, Llc Predicted forecast offset from remote location sensor
CN113204903A (zh) * 2021-04-29 2021-08-03 国网电力科学研究院武汉南瑞有限责任公司 一种预测雷电的方法
CN114218870A (zh) * 2021-12-22 2022-03-22 大连理工大学 一种基于变分模态分解与注意力机制的风速预测方法
CN114548595A (zh) * 2022-03-03 2022-05-27 成都信息工程大学 基于注意力机制的强对流天气物理特征量预测方法及***
CN115423080A (zh) * 2022-09-16 2022-12-02 中国电信股份有限公司 时间序列预测方法、装置、电子设备及介质
CN115730716A (zh) * 2022-11-16 2023-03-03 国网江苏省电力有限公司镇江供电分公司 基于改进Transformer模型通信基站中长期用电量预测方法
CN115761261A (zh) * 2022-11-27 2023-03-07 东南大学 一种基于雷达回波图外推的短临降水预测方法
CN116227560A (zh) * 2023-02-06 2023-06-06 中国矿业大学 基于DTW-former的时间序列预测模型及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SABRINA GUASTAVINO, ETC: "Prediction of severe thunderstorm events with ensemble deep learning and radar data", 《SCIENTIFIC REPORTS》 *
李晓鹏: "基于注意力机制的多源数据雷电时空预测研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, pages 009 - 149 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117875535A (zh) * 2024-03-13 2024-04-12 中南大学 基于历史信息嵌入的取送货路径规划方法及***
CN117875535B (zh) * 2024-03-13 2024-06-04 中南大学 基于历史信息嵌入的取送货路径规划方法及***

Also Published As

Publication number Publication date
CN116629142B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN110070226B (zh) 基于卷积神经网络与元学习的光伏功率预测方法及***
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
CN116629142B (zh) 基于transformer机制的雷电定位轨迹预测方法和***
CN110309603A (zh) 一种基于风速特性的短期风速预测方法及***
CN111199270A (zh) 一种基于深度学习的区域波高预报方法及终端
CN111260126A (zh) 计及天气与气象因子关联度的短期光伏发电预测方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN112925824A (zh) 针对极端天气类型的光伏功率预测方法及***
Poudel et al. Solar power prediction using deep learning
CN114330100A (zh) 一种短期光伏功率概率区间预测方法
Benamrou et al. A proposed model to forecast hourly global solar irradiation based on satellite derived data, deep learning and machine learning approaches
Munsif et al. CT-NET: A Novel Convolutional Transformer-Based Network for Short-Term Solar Energy Forecasting Using Climatic Information.
CN114283331A (zh) 基于条带剪枝的轻量化sar图像船舶检测模型及方法
Rahaman et al. Bayesian optimization based ANN model for short term wind speed forecasting in newfoundland, Canada
CN109993335A (zh) 一种用于风电功率的概率预报方法及***
Safari et al. A spatiotemporal wind power prediction based on wavelet decomposition, feature selection, and localized prediction
CN115965177A (zh) 基于注意力机制改进的自回归误差补偿风电功率预测方法
Xiaosheng et al. A deep learning approach for wind power prediction based on stacked denoising auto encoders optimized by bat algorithm
Bantupalli et al. Wind Speed forecasting using empirical mode decomposition with ANN and ARIMA models
Bendali et al. Deep learning for very short term solar irradiation forecasting
CN113537573A (zh) 基于双重时空特征提取的风电功率运行趋势预测方法
Alvanitopoulos et al. Solar radiation time-series prediction based on empirical mode decomposition and artificial neural networks
Ali et al. Machine learning based solar power forecasting techniques: Analysis and comparison
Grace et al. Wind speed prediction using extra tree classifier
Manoj et al. Deep Feature Selection for Wind Forecasting‐II

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant