CN117148360B - 雷电临近预报方法、装置、电子设备及计算机存储介质 - Google Patents

雷电临近预报方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN117148360B
CN117148360B CN202311422852.5A CN202311422852A CN117148360B CN 117148360 B CN117148360 B CN 117148360B CN 202311422852 A CN202311422852 A CN 202311422852A CN 117148360 B CN117148360 B CN 117148360B
Authority
CN
China
Prior art keywords
data
prediction
lightning
current
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311422852.5A
Other languages
English (en)
Other versions
CN117148360A (zh
Inventor
姜睿娇
张国平
于廷照
王曙东
薛冰
丁劲
王阔音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Original Assignee
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center filed Critical Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority to CN202311422852.5A priority Critical patent/CN117148360B/zh
Publication of CN117148360A publication Critical patent/CN117148360A/zh
Application granted granted Critical
Publication of CN117148360B publication Critical patent/CN117148360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/95Radar or analogous systems specially adapted for specific applications for meteorological use
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Environmental Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Atmospheric Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Ecology (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种雷电临近预报方法、装置、电子设备及计算机存储介质,涉及天气预报技术领域,该方法包括:获取目标研究区域的当前多源异构采集数据;对当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;将当前多源气象网格数据输入训练后的预测网络模型,得到多源异构预测数据;其中,预测网络模型为引入AFNO的Visual Transformer模型;将多源异构预测数据输入训练后的雷电预测模型,得到目标研究区域的雷电预测结果。这样将引入AFNO的Visual Transformer模型作为预测网络模型,并结合多源异构采集数据,能够有效提取雷暴生消演变特征,因此提升了预报分辨率和准确性。

Description

雷电临近预报方法、装置、电子设备及计算机存储介质
技术领域
本发明涉及天气预报技术领域,尤其是涉及一种雷电临近预报方法、装置、电子设备及计算机存储介质。
背景技术
传统的雷电预报算法主要分为两大类:雷电潜势预报和雷电数值预报。雷电潜势预报的原理是依据可以指示大气不稳定状态强弱的各种对流参数,获得雷电活动发生的潜在趋势。由于雷电活动发展时雷暴云内部结复杂多变,云内资料的观测具有局限性,因此通过数值模式来模拟预测雷电成为雷电潜势预报的重要补充。机器学习在闪电预报中不断超越传统预报方法的性能水准,尤其是深度神经网络的应用,能够有效地提取一段时间内观测数据的变化特征,极大地改进了预报效果。
但是普通的机器学习算法无法捕捉雷暴发展的空间相关性和时间连续性,而深度学习中的CNN(Convolutional Neural Networks,卷积神经网络)结构在自动回归推理的许多时间步骤中捕捉小尺度变化的表现不佳,且难以提取全局空间特征和不同变量因子之间的相关性。上述局限性使得更高时空分辨率的雷电预报面临瓶颈。但是航空、铁路、石化、电力等受雷灾影响严重的行业对于精细化的雷电预报具有迫切需求。
发明内容
本发明的目的在于提供一种雷电临近预报方法、装置、电子设备及计算机存储介质,以提升预报分辨率和准确性。
第一方面,本发明实施例提供了一种雷电临近预报方法,包括:
获取目标研究区域的当前多源异构采集数据;其中,所述当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,所述当前采样时段包括当前预报启动时刻前的多个时刻;
对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;
将所述当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,所述当前预测时段包括所述当前预报启动时刻及之后的多个时刻;所述预测网络模型为引入自适应傅里叶神经算子AFNO的Visual Transformer模型;
将所述多源异构预测数据输入训练后的雷电预测模型,得到所述目标研究区域在所述当前预测时段内的雷电预测结果;其中,所述雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
进一步地,所述预设时空分辨率为所述卫星辐射成像数据的时空分辨率;所述对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据,包括:
通过预设的插值算法,对所述当前多源异构采集数据中的多普勒雷达组合反射率拼图进行时空分辨率的转换,得到与所述卫星辐射成像数据的时空分辨率一致的雷达组合反射率网格数据;
分别对所述当前多源异构采集数据中的地表类型数据和海拔高度数据进行转换处理,得到与所述卫星辐射成像数据的时空分辨率一致的地表类型网格数据和海拔高度网格数据;其中,所述转换处理包括尺度转换、空间插值和时间维度扩展;
将所述卫星辐射成像数据、所述雷达组合反射率网格数据、所述地表类型网格数据和所述海拔高度网格数据确定为所述当前多源气象网格数据。
进一步地,所述雷电临近预报方法还包括:
获取第一研究区域的多个第一多源异构采集数据及其预测时段内的第二多源异构采集数据;
对每个所述第一多源异构采集数据和每个所述第二多源异构采集数据分别进行所述预设时空分辨率的调整,得到第一多源气象网格数据和第二多源气象网格数据;
以各个所述第一多源气象网格数据为模型的输入,以相应的所述第二多源气象网格数据为标签,对初始预测网络模型进行训练,得到训练后的预测网络模型。
进一步地,所述当前多源气象网格数据由多张二维图像构成;所述预测网络模型对所述当前多源气象网格数据的处理过程包括:
对所述当前多源气象网格数据中的每张二维图像进行图像分割、向量映射和位置编码添加,得到每张所述二维图像对应的当前中间层特征;
多次对各个所述当前中间层特征进行空间混合操作和通道混合操作,得到下一时刻的多个预测中间层特征;
通过线性解码层将每个所述预测中间层特征转换为多个图像块特征,并通过位置解码对各个所述图像块特征进行图像拼接,得到每个所述预测中间层特征对应的预测图像;
经过多次迭代,得到所述多源异构预测数据;其中,所述多源异构预测数据包括所述当前预测时段内每个时刻的多张预测图像。
进一步地,所述空间混合操作包括离散傅里叶变换、第一多层感知机的动态滤波、软阈值层的叠加和反向离散傅里叶转换;所述通道混合操作包括第二多层感知机的动态滤波。
进一步地,所述雷电临近预报方法还包括:
获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据;
对每个所述历史多源异构采集数据进行所述预设时空分辨率的调整,得到历史多源气象网格数据;
以各个所述历史多源气象网格数据中每个格点在每个时刻下的数据为一个样本,以相应的雷电观测数据为标签,对初始雷电预测模型进行训练,得到训练后的雷电预测模型。
进一步地,所述获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据,包括:
对于每个所述历史多源异构采集数据,获取该历史多源异构采集数据对应的采样时段内的闪电成像仪数据和CNLDN闪电数据;
对所述闪电成像仪数据和所述CNLDN闪电数据进行数据融合,得到该历史多源异构采集数据对应的雷电观测数据。
第二方面,本发明实施例还提供了一种雷电临近预报装置,包括:
获取模块,用于获取目标研究区域的当前多源异构采集数据;其中,所述当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,所述当前采样时段包括当前预报启动时刻前的多个时刻;
调整模块,用于对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;
预测模块,用于将所述当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,所述当前预测时段包括所述当前预报启动时刻及之后的多个时刻;所述预测网络模型为引入自适应傅里叶神经算子AFNO的VisualTransformer模型;
确定模块,用于将所述多源异构预测数据输入训练后的雷电预测模型,得到所述目标研究区域在所述当前预测时段内的雷电预测结果;其中,所述雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的雷电临近预报方法。
第四方面,本发明实施例还提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行第一方面所述的雷电临近预报方法。
本发明实施例提供的雷电临近预报方法、装置、电子设备及计算机存储介质,在进行雷电临近预报时,先获取目标研究区域的当前多源异构采集数据;其中,当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,当前采样时段包括当前预报启动时刻前的多个时刻;然后对当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;再将当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,当前预测时段包括当前预报启动时刻及之后的多个时刻;预测网络模型为引入自适应傅里叶神经算子AFNO的Visual Transformer模型;进而将多源异构预测数据输入训练后的雷电预测模型,得到目标研究区域在当前预测时段内的雷电预测结果;其中,雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。这样将引入自适应傅里叶神经算子AFNO的Visual Transformer模型作为预测网络模型,并结合多源异构采集数据,能够有效提取雷暴生消演变特征,因此提升了预报分辨率和准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种雷电临近预报方法的流程示意图;
图2为本发明实施例提供的一种雷电临近预报方法的技术路线图;
图3为本发明实施例提供的一种雷电临近预报方法的数据加工流程图;
图4为本发明实施例提供的一种雷电临近预报装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
雷达、卫星等观测数据和数值模式的格点数据本质可看作图像的范畴,而深度学习近年来在图像识别、预测领域取得极大成功,一些雷暴、雷电活动的预报算法都是基于图像外推技术展开的。
Transformer的强大性能能够给具有丰富时空数据的气象领域带来新的革命,然而目前基于机器学习的天气预报技术的发展速度难以追赶神经网络模型日新月异的更新脚步。就目前而言,作为在CV(Computer Vision,计算机视觉)领域“开场即巅峰”的ViT(Visual Transformer)网络还没有在雷电预报方面发挥它的强大作用。基于此,本发明实施例提供的一种雷电临近预报方法、装置、电子设备及计算机存储介质,将VisualTransformer模型应用于雷电预报,引入AFNO(Adaptive Fourier Neural Operator,自适应傅里叶神经算子),可以提取雷暴生消演变特征,提升预报分辨率和准确性。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种雷电临近预报方法进行详细介绍。
本发明实施例提供了一种雷电临近预报方法,该方法可以由具有图像处理能力的电子设备执行。参见图1所示的一种雷电临近预报方法的流程示意图,该方法主要包括如下步骤S102~步骤S108:
步骤S102,获取目标研究区域的当前多源异构采集数据;其中,当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,当前采样时段包括当前预报启动时刻前的多个时刻。
目标研究区域可以根据实际需求选取,这里不做限定。
示例性的,多普勒雷达组合反射率拼图数据可以采用中国气象局气象探测中心推送的业务产品,使用的变量为组合反射率。
卫星辐射成像数据可以采用FY-4A气象卫星装载的AGRI(AdvancedGeostationary Radiation Imager,轨道辐射成像仪)所检测的数据。FY-4A携带的AGRI在可见光、近红外、短波红外、中波红外、水汽和长红外波段共有14个通道,数量是风云二号气象卫星5个通道的近三倍。由于可见光通道和近短波红外通道只有白昼能观测到有效数据,为了训练一个全天24 h可用的模型,可以选用水汽、中红外和远红外波段的7个通道,不同波长观测不同的物理特性,能够很好地指示雷暴发生的热力条件和水汽条件。基于此,预设通道包括水汽、中红外和远红外波段的7个通道。
地表类型数据可以采用利用Landsat卫星图像制作的30 m高分辨率地表覆盖类型数据,十个类型包括水、湿地、人工地表、耕地、森林、灌木丛、草地、裸地、苔原和永久雪/冰。
海拔高度数据可以采用根据NASA(National Aeronautics and SpaceAdministration,美国航空航天局)的新一代对地观测卫星Terra的观测结果制作的陆地地表高度数据,垂直分辨率为20 m,水平分辨率为30 m。
可以选取过去n个时次(即时刻)的多源异构采集数据,预测未来m个时次的数据,即采样时段包括过去n个时次,预测时段包括未来m个时次;其中,m和n均可以根据实际需求设置,这里不做限定。
步骤S104,对当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据。
考虑到多普勒雷达组合反射率拼图的时空分辨率高于卫星辐射成像数据的时空分辨率,可以将预设时空分辨率设置为卫星辐射成像数据的时空分辨率,并对多普勒雷达组合反射率拼图进行时空分辨率的调整,实现不同类型数据在时空分辨率上的一致性,便于后续的处理。
基于此,上述步骤S104可以通过如下过程实现:通过预设的插值算法,对当前多源异构采集数据中的多普勒雷达组合反射率拼图进行时空分辨率的转换,得到与卫星辐射成像数据的时空分辨率一致的雷达组合反射率网格数据;分别对当前多源异构采集数据中的地表类型数据和海拔高度数据进行转换处理,得到与卫星辐射成像数据的时空分辨率一致的地表类型网格数据和海拔高度网格数据;其中,转换处理包括尺度转换、空间插值和时间维度扩展;将卫星辐射成像数据、雷达组合反射率网格数据、地表类型网格数据和海拔高度网格数据确定为当前多源气象网格数据。
上述插值算法可以但不限于为双线性插值算法。上述当前多源气象网格数据中的卫星辐射成像数据、雷达组合反射率网格数据、地表类型网格数据和海拔高度网格数据均为二维图像。
步骤S106,将当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,当前预测时段包括当前预报启动时刻及之后的多个时刻;预测网络模型为引入自适应傅里叶神经算子AFNO的Visual Transformer模型。
本发明实施例以ViT作为主干网络,因为它能够很好地模拟图像各部分的空间依赖关系。将ViT主干网络和AFNO结合,简称AFNO-ViT,AFNO-ViT的优势在于将token的混合操作设定为连续的全局卷积,可以在傅里叶域中用FFT(Fast Fourier Transform,快速傅里叶变换)有效地实现。这样空间混合的复杂度被降到,这就允许模型在空间分辨率和通道数量上可以灵活扩展、计算时并行提速。
在一些可能的实施例中,当前多源气象网格数据由多张二维图像构成;预测网络模型对当前多源气象网格数据的处理过程包括:对当前多源气象网格数据中的每张二维图像进行图像分割、向量映射和位置编码添加,得到每张二维图像对应的当前中间层特征;多次对各个当前中间层特征进行空间混合操作和通道混合操作,得到下一时刻的多个预测中间层特征;通过线性解码层将每个预测中间层特征转换为多个图像块特征,并通过位置解码对各个图像块特征进行图像拼接,得到每个预测中间层特征对应的预测图像;经过多次迭代,得到多源异构预测数据;其中,多源异构预测数据包括当前预测时段内每个时刻的多张预测图像。
具体实现时,可以将当前多源气象网格数据中的每张二维图片分割为多个图像块,将每个图像块投射为一维向量,并加入位置编码,得到每张二维图像对应的当前中间层特征;空间混合操作可以包括离散傅里叶变换、第一多层感知机的动态滤波、软阈值层的叠加和反向离散傅里叶转换;通道混合操作可以包括第二多层感知机的动态滤波。其中,第一多层感知机为三层的多层感知机,第二多层感知机为双层的多层感知机。混合的次数可以根据实际需求确定,这里不做限定。
步骤S108,将多源异构预测数据输入训练后的雷电预测模型,得到目标研究区域在当前预测时段内的雷电预测结果;其中,雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
雷电预测模型能够输出多源异构预测数据对应的雷电预测结果,该雷电预测结果可以包括每个时刻的闪电落区和落区内的概率分布。雷电预测模型可以采用LightGBM模型。LightGBM模型是一种集成树模型,其主要思想是基于梯度的单边采样和独占特征捆绑的策略利用弱分类器(决策树)迭代训练以得到最优效果。它支持高效率的并行训练,并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式快速处理海量数据等优点。
本发明实施例中,在进行雷电临近预报时,先获取目标研究区域的当前多源异构采集数据;其中,当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,当前采样时段包括当前预报启动时刻前的多个时刻;然后对当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;再将当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,当前预测时段包括当前预报启动时刻及之后的多个时刻;预测网络模型为引入自适应傅里叶神经算子AFNO的Visual Transformer模型;进而将多源异构预测数据输入训练后的雷电预测模型,得到目标研究区域在当前预测时段内的雷电预测结果;其中,雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。这样将引入自适应傅里叶神经算子AFNO的Visual Transformer模型作为预测网络模型,并结合多源异构采集数据,能够有效提取雷暴生消演变特征,因此提升了预报分辨率和准确性。
本发明实施例还提供了上述预测网络模型的训练过程,具体如下:
步骤a1,获取第一研究区域的多个第一多源异构采集数据及其预测时段内的第二多源异构采集数据。
其中,第一研究区域可以与目标研究区域相同,也可以与目标研究区域不同。第一多源异构采集数据可以包括其采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据。
步骤a2,对每个第一多源异构采集数据和每个第二多源异构采集数据分别进行预设时空分辨率的调整,得到第一多源气象网格数据和第二多源气象网格数据。
具体过程可以参见前述步骤S104的相应内容,这里不再赘述。
步骤a3,以各个第一多源气象网格数据为模型的输入,以相应的第二多源气象网格数据为标签,对初始预测网络模型进行训练,得到训练后的预测网络模型。
本发明实施例还提供了上述雷电预测模型的训练过程,具体如下:
步骤b1,获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据。
其中,第二研究区域可以与第一研究区域和目标研究区域均不同,也可以与第一研究区域或目标研究区域相同。历史多源异构采集数据可以包括其采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据。历史多源异构采集数据与其雷电观测数据的采样时段相同。
为了提高雷电观测数据的准确性,可以通过如下方式获取雷电观测数据:对于每个历史多源异构采集数据,获取该历史多源异构采集数据对应的采样时段内的闪电成像仪数据和CNLDN闪电数据;对闪电成像仪数据和CNLDN闪电数据进行数据融合,得到该历史多源异构采集数据对应的雷电观测数据。
上述闪电成像仪数据可以通过FY-4A气象卫星上挂载的LMI(Lightning MappingImager,闪电成像仪)采集得到。CNLDN闪电数据可以是中国气象局气象探测中心的国家闪电定位数据,通过CNLDN(China National Lightning Detection Network)采集得到,CNLDN包括多个子站,子站可以采用ADTD型设备或DDW1型设备。ADTD型设备也称ADTD型闪电定位仪,工作在VLF/LF频段,采用地基多站测向技术以及时差法进行定位,该***主要对高功率的地闪回击进行探测,定位结果中主要包括地闪回击发生时间、经纬度、强度等信息,逐分钟更新。DDW1型设备也称DDW1型闪电定位仪,实现了对部分云闪活动的探测,填补长期以来的云闪监测空白。
步骤b2,对每个历史多源异构采集数据进行预设时空分辨率的调整,得到历史多源气象网格数据。
具体过程可以参见前述步骤S104的相应内容,这里不再赘述。
步骤b3,以各个历史多源气象网格数据中每个格点在每个时刻下的数据为一个样本,以相应的雷电观测数据为标签,对初始雷电预测模型进行训练,得到训练后的雷电预测模型。
为了便于理解,下面对上述雷电临近预报方法进行示例性介绍。
本发明实施例提供的雷电临近预报方法是一种基于AFNO-ViT神经网络的高时空分辨率雷电临近预报方法。如图2所示,总技术路线按照多源异构数据收集整理、尺度转换与融合AFNO-ViT神经网络搭建/>过去n个时次的多源气象网格数据到未来m个时次数据的迭代外推/>LightGBM模型的超参数调优和训练/>基于多个气象、地理因子的闪电落区和概率预报的思路展开。
1、多源异构数据的收集整理
闪电在空间中的分布是随机的、离散的,不易进行追踪。观测提取雷暴云的发生发展特征,是识别和预报雷电活动的有效手段。天气雷达可观测对流云的内部结构,静止卫星的不同通道既可以观测对流云顶的发生发展特征,具备初生对流的识别能力,又可以观测不同高度的水汽、温度,因此两类数据能形成很好的优势互补,共同反映雷暴云的生成、发展、消散过程。此外,雷暴易受地形抬升形成,因此地表高度和地表类型也是影响雷暴发生的关键因素。本实施例选取多普勒雷达组合反射率拼图、FY-4A中能反映雷暴不同高度层特征的7个通道辐射成像数据(即卫星辐射成像数据)、地表覆盖类型(即地表类型数据)和高度(即海拔高度数据)共计4种类型10个通道的数据作为雷电预报因子。
(1)多普勒雷达组合反射率拼图
多普勒天气雷达拼图数据采用的是中国气象局气象探测中心推送的业务产品,使用的变量为组合反射率,数据的空间覆盖范围为73.67~135.03°E、3.87~53.55°N,空间分辨率为0.01°,时间分辨率为6 min。
(2)FY-4A AGRI辐射成像数据
FY-4A是中国第二代静止轨道气象卫星风云四号系列的首发星,于2016年12月11日成功发射,目前在东经104.7°正式开展业务运行,装载了先进的静止轨道辐射成像仪(Advanced Geostationary Radiation Imager,AGRI)、干涉式大气垂直探测仪(Geostationary Interferometric Infrared Sounder,GIIRS)、闪电成像仪(LightningMapping Imager,LMI)和空间环境监测仪器(Space Environment Monitoring InstrumentPackage,SEP)四种观测仪器。相比现有风云二号静止卫星,AGRI和SEP载荷显著提升,并安装有针对亚太地区观测的闪电成像仪。
FY-4A携带的AGRI在可见光、近红外、短波红外、中波红外、水汽和长红外波段共有14个通道,数量是风云二号5个通道的近三倍。由于可见光通道和近短波红外通道只有白昼能观测到有效数据,为了训练一个全天24 h可用的模型,在本实施例中,我们选用水汽、中红外和远红外波段的7个通道,不同波长观测不同的物理特性,能够很好地指示雷暴发生的热力条件和水汽条件,AGRI用于闪电预报的通道选取的详细信息见下表1。这7个通道在北半球的空间分辨率为0.04°,时间分辨率为15 min。
表1
除了基本的通道观测产品,FY-4A还提供丰富的二次开发产品,但是在更新时间和预报时效上和本实施例的研究需求有所差异,而深度学习具备强大的特征学习能力,能够直接从基本产品中提取对流特征,因此本实施例仅使用一级产品作为特征数据。
(3)雷电观测数据
FY-4A上挂载的闪电成像仪LMI每年3~9月可以对中国及周边区域的闪电活动进行探测,原理是采用CCD(Charge-coupled Device,电荷耦合元件)面阵和光学成像技术,对探测区域内的闪电光辐射进行凝视观测,主要接收的是闪电照亮云顶发出的漫反射光,所以观测对象主要是云闪。FY-4A LMI的观测范围,近似于一个梯形。LMI在星下点像元的空间分辨率最高,为7.8 km。随着纬度的增加,像元空间分辨率逐渐降低;同时在经度方向上,远离中轴线像元的空间分辨率也会降低。在LMI观测范围内最边缘的两个角上,像元空间分辨率低至20 km。
由于LMI的空间分辨率难以满足模型需求,所以本实施例还采用另一类闪电观测数据,即中国气象局气象探测中心的国家闪电定位数据,采集该数据的***这里称为CNLDN(China National Lightning Detection Network)。ADTD型设备即ADTD型闪电定位仪,工作在VLF/LF频段,采用地基多站测向技术以及时差法进行定位,该***主要对高功率的地闪回击进行探测,定位结果中主要包括地闪回击发生时间、经纬度、强度等信息,逐分钟更新。DDW1型设备即DDW1型闪电定位仪,实现了对部分云闪活动的探测,填补长期以来的云闪监测空白。目前还没有研究对CNLDN的探测率分布情况给予评估,但是按照探测原理,站点分布密集的中国东部和南部地区的探测率要高于站点分布稀疏的中国西部和北部地区。
以上三类数据均可由气象大数据云平台天擎获取。
(4)地表覆盖类型和高度数据
此外,中国地域辽阔,下垫面高度和地表类型分布差异巨大,这两类因素也是影响气象特征的重要因子,所以本实施例还使用这两类地理信息数据,与气象因子一起参与训练。收集中华人民共和国国家测绘地理信息局利用Landsat卫星图像制作的30 m高分辨率地表覆盖类型数据,十个类型包括水、湿地、人工地表、耕地、森林、灌木丛、草地、裸地、苔原和永久雪/冰。收集根据NASA的新一代对地观测卫星Terra的观测结果制作的陆地地表高度数据,垂直分辨率为20 m,水平分辨率为30 m。这两类数据均为全球覆盖。
2、研究区域的选择、异构数据尺度转换与时空融合
考虑到研究区域要被三类观测数据交叉覆盖、格点数量需为整百以方便模型中图像分割、同时最大限度地保证新划分的网格与源数据的网格重合以减少插值误差,本实施例选取的研究区域的经度范围为83~127°E,纬度范围为15.5~51.5°N,能够全部覆盖中国雷电高发的南方区域,以及北方大部分区域。
(1)气象和地理因子数据融合
高时空分辨率的天气雷达和静止卫星数据(即多普勒雷达组合反射率拼图和卫星辐射成像数据)是记录雷暴活动发生发展过程的重要载体。此外,地表类型和地表高度也是影响雷电发生的外在因素。将雷达反射率、7个通道的辐射成像数据和两类地理信息数据作为闪电预报的10个因子。雷达和卫星数据具有不同的时空分辨率,其中雷达数据的分辨率更高。将雷达组合反射率通过双线性插值转化成和AGRI数据相同时空分辨率,即0.04°和15min。同时,将地表覆盖类型和高度数据也进行尺度转换、空间插值及时间维度扩展等。因此研究区域构成1100×900的二维网格,过去n个时次的观测数据构成1100×900×n×10的四维矩阵,如图2中的I所示。
(2)雷电数据融合
本实施例使用雷电数据作为LightGBM模型训练的标签。首先对CNLDN闪电数据进行质控:为了保证定位精度,去掉三个以下站点的定位结果(即去掉只有三个以下站点定位出某地存在雷电的雷电定位数据);为了减少虚假数据,去掉50 km、30 min内孤立的定位结果。再将闪电定位数据格点化,通过计算空间分辨率为0.04°、时间分辨率为15 min时空网格内的总闪密度,将地基闪电定位数据转化成类似雷达回波的“图像”数据。由于单个闪电具有一定的空间尺度,一般为几公里到几十公里,所以在对闪电进行格点化处理的时候将每个格点周围10 km半径范围内的闪电均纳入该格点的密度计算中,该方法虽然会使计算得到的闪电密度大于实际情况,但不会影响模型训练,并且能够在一定程度上减少闪电放电随机性的影响,提高预报准确度。
CNLDN站点由于分布的不均匀性,在研究区域内的青藏高原等地探测效率低,在海域和其他陆地区域存在探测盲区。FY-4A挂载的LMI虽然能够实现研究区域的全覆盖,空间分辨率却无法达到需求,但其优势是空间分辨率、探测率和探测误差的分布呈固定规律,可以用于校准地基闪电定位数据因为站点分布不均所带来的闪电密度偏差。所以本实施例创新性提出一种基于LMI数据的地基闪电密度校正方法,具体做法是:a、结合CCD面列的摆放角度、地球曲率和卫星高度,拟合研究区域内LMI的探测率随经纬度分布的经验公式;b、选取一个CNLDN站点分布最为密集、下垫面平整的格点处的闪电密度近似为真实值,计算它和LMI闪电密度的比值α,那么/>就是不同位置二者密度的比值分布;c、将LMI闪电密度的分布公式乘以/>就能得到LMI不规则空间分辨率网格中最接近真实密度的闪电分布情况;d、LMI的空间分辨率在星下点为7.8 km,在最远端因畸变低至20 km,大于格点化后的CNLDN的空间分辨率0.04°,忽略同一个LMI不规则空间分辨率格点内CNLDN格点探测率差异,利用CNLDN的格点数据对步骤c得到的不规则粗网格密度分布按照权重进行降尺度,即可得到CNLDN站点覆盖范围内的偏差校正后的闪电密度分布情况(例如,将不规则粗网格密度分布中的一个格点分成多个子格点,先基于各个子格点对应的密度比值,确定每个子格点的权重,然后将格点的闪电密度值乘以每个子格点的权重,即可得到相应子格点的闪电密度值,即子格点的闪电密度值为格点的闪电密度值与其权重的乘积);e、对于海域、其他国家等探测盲区,可以直接对步骤c得到的粗网格密度分布进行线性插值,得到统一高分辨率的闪电密度分布。需要注意的是,对于CNLDN探测盲区,这种插值细化的方法虽然没有真正意义上实现降尺度,但是这些区域仅用做深度学习训练,并非我们重点关注的雷电预报区域。这部分闪电观测资料校正融合的内容在前序工作中已经完成,如图2中的II所示。
3、AFNO-ViT模型开发构建
本实施例以ViT作为主干网络,因为它能够很好地模拟图像各部分的空间依赖关系。本实施例将ViT主干网络和AFNO结合,简称AFNO-ViT,AFNO-ViT的优势在于将token的混合操作设定为连续的全局卷积,可以在傅里叶域中用快速傅里叶变换(Fast FourierTransform,FFT)有效地实现。有了这样的设计,空间混合的复杂度被降到,这就允许模型在空间分辨率和通道数量上可以灵活扩展、计算时并行提速。在此基础上,本实施例为了充分提取观测数据中对流***随时间演变信息,创新性地将ViT通道扩展一个维度,即将变量通道改为变量通道和时间通道的外积。
AFNO-ViT模型的流程如图2中的III所示,下面分步进行详细描述:
(1)将每一张1100×900的二维图片分割为个不重叠patch(即图像块),所以模型的中间层特征可表示为/>,其中/>代表通道的数量,c表示变量的个数,在本实施例中c=10,n代表过去观测数据的时次。每个patch的三维尺寸为/>,将其投射为一维向量,在深度学习中称为token(即将每个图像块转换成token)。第(i,j)个token可以表示为/>。为了节约符号的使用,用/>表示第s个token,用表示第t个token,其中/>
(2)为了记录patch之间的位置关系,将token加入时间和空间位置编码(使用求和而非拼接的方式),位置向量可以是相对位置或绝对位置。如此可以得到加入位置编码后的中间层特征(由多个加入位置编码后的token组成)。
(3)在ViT原始模型中,patch之间通过自注意力机制进行特征聚合,自注意力机制的定义
其中,分别是Query、Key和Value矩阵,定义,可以将自注意力机制视为不对称的矩阵核,写成/>,所以自注意力机制可以改写成核函数:
基于多头自注意力机制的空间混合会带来token数量二次方的复杂度,不适用于高分辨率的网格。因此我们将上式中内核求和法扩展到连续内核积分中,输入的张量X不再是欧几里得空间中的一个有限维矢量,而是定义在空间域/>中的空间函数。在这个连续的表述中,将网络变成一个提取输入函数特征的内核积分算子
其中,为连续核函数。使用格林核/>能够实现全局卷积,格林核为连续核函数的一种。与积分相比,卷积的复杂度更小,而且格林核具有有益的正则化效应并能够捕捉全局关系。全局卷积可以通过FFT实现。
定义傅里叶神经算子(Fourier Neural Operators,FNO),对于连续的输入和核/>,第s个token的核积分可以表示为
和/>分别代表连续傅里叶变换和它的逆值。受FNO启发,对于能转化为离散网格的有限维度的图片,可以用离散傅里叶变换(Discrete Fourier Transform,DFT)将离散成傅里叶域,也就是token的混合过程:/>
其中,m,n分别为空间序号和时间序号。定义复数权值,上式可变换为:
在此基础上,为了减少参数数量,本实施例拟在W上添加矩形对角线结构,将复数权值W分解为一堆共享的权重,每个权重的维度是,这样上式可并行运行:
受自注意力机制的启发,为了使token变得自适应、在不同token之间相互作用、并且能够决定不同频率(Multiply Frequency)的通过模式,使用一个三层的多层感知机(Multi-Layer Perception,MLP)结构进行动态滤波,该结构可以近似为具有足够大的隐藏层的任何函数:
其中,为第一层的复数权值,/>为第二层的复数权值,/>为第三层的复数权值,b是偏置参数。/>、/>b均被所有token共享,这可以有效地减少参数的数量。/>是标准差缩放后的雷电密度图谱。
在此基础上,再叠加软阈值层λ是控制稀疏度的调谐参数,公式如下:
最后通过反向离散傅里叶转换(Inverse Discrete Fourier Transform,IDFT)将傅里叶域变回patch空间域。DFT假定在周期性图像上应用全局卷积,这不适用于真实图像,为了补偿局部特征和非周期性的边界,可以在token中添加一个残差项
token经过AFNO空间混合后,再通过一次双层的MLP结构对通道d进行混合(d由变量的个数和时次得到,混合的是不同变量、不同时次的数据)。整个混合过程重复L次预测下一个时次的token。最后通过线性解码层将token转换为patch,通过位置解码将patch拼接成图像(每一个patch都包括尺寸和位置信息,从而能拼接成一个完整的图像)。
以上框架可以基于Python语言的Pytorch搭建,能够实现过去n个时次的雷达、卫星图像和地理因子数据作为输入,预测下一个时次的雷达、卫星图像,总公式如下:
本实施例没有直接以闪电数据作为外推结果,这是因为输入数据和输出数据类别需保持一致才能实现多时次的迭代外推。
4、AFNO-ViT模型训练
深度学***翻转、90°旋转、180°旋转、270°旋转将样本数量变为5倍,最终得到876600个样本,能够满足深度学习训练需求。按照6:2:2的比例将这些样本随机分割成训练集、测试集、验证集。每个样本的特征数据为过去n个时次的雷达、卫星图像和地理因子数据,下一个时次的雷达、卫星图像作为标记。
在训练过程中,我们选用交叉熵损失函来度量模型预测值与实际值的差异:
式中为正样本类别权重因子,本实施例拟将其设定为与经纬度、地表类型、地表高度相关的一个函数。
经过训练,将过去n个时刻的雷达、卫星数据输入AFNO-ViT网络,可以预测未来一个时刻的以雷暴特征为关注重点的外推图像。经过m次迭代,实现对未来m个时刻的预测。通过不断调试模型,实现m最大化。
5、LightGBM模型调优和训练
利用AFNO-ViT模型得到未来m个时次的对雷暴进行加权标记的雷达卫星数据后,需要建立与雷电之间的对应关系。在传统的雷电潜势预报方法中,雷达反射率达到30 dBz常常被用作雷电发生的指示因子(Seroka et al., 2012)。但是雷暴结构复杂多变,这种粗略的估算方法难以满足雷电精细化预报的要求。而机器学习算法可以在对雷暴放电机制没有清楚认识的情况下建立多个气象因子和地理因子与雷电之间的非线性模型,在大数据的支持下能实现比经验预报更加准确的预报效果。
本实施例通过对比多种机器学习算法,最终选择LightGBM模型,它是一个强大的开源梯度提升框架,也是目前最先进的集成树模型,其主要思想是基于梯度的单边采样和独占特征捆绑的策略利用弱分类器(决策树)迭代训练以得到最优效果。它支持高效率的并行训练,并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式快速处理海量数据等优点,见图2中的IV。LightGBM无需像AFNO-ViT深度神经网络一样逐层搭建,Python中的LightGBM库已经将整个算法做出了集成构建。
由于风四LMI仅在3~9月份朝向北半球观测,CNLDN自2021年1月1日起才涵盖云闪数据,所以本实施例选取2021~2023年3~9月的数据用于LightGBM模型训练。与深度学***衡样本数量。然后通过贝叶斯优化搜索(即利用贝叶斯公式计算后验概率分布,从给定的有限函数评估中找到全局最优解)最小化交叉熵损失函数的超参数组合,得到训练模型。
使用AFNO-ViT网络输出的下一时刻的8个雷达卫星变量因子和2个地理因子作为输入,LightGBM模型可以输出每个格点的雷电发生概率。这些概率可以用于形成研究区域内的雷电落区,并且可以在落区内进行概率分布预报。
为了保留当前雷电实况数据的延续性,将雷电预测数据和雷电实况数据同时连入Fusion层(即混合层,目的是通过矩阵融合将雷电预测数据和雷电实况数据按照公式13进行融合),采用参数矩阵融合方法,动态校准雷电实况数据和雷电预测数据的贡献,见公式13。其中,表示/>时刻的雷电预测数据(其等于/>时刻的雷电实况数据),表示输入为/>时刻的多源异构预测数据/>时LightGBM模型的输出,L obs,t表示t时刻的雷电实况数据,参数矩阵/>是在历史数据中训练得到的,随着预报时次的增加,雷电实况数据的权重不断降低。
综上所述,本实施例的整体数据加工流程如图3所示,基于过去n个时刻的雷达卫星观测数据,实现未来m个时刻的闪电落区和概率预报。
本发明实施例具有如下有益效果:
首次将Visual Transformer模型应用于雷电预报,引入自适应傅里叶神经算子AFNO,并创新性地将一维特征通道扩展为二维特征通道,在通道混合过程中使用雷电图谱进行标记加权。与常用于时间、空间预测的CNN、RNN、GRU、LSTM等模型相比,更擅长提取雷暴生消演变特征,所以在预报分辨率和准确性上都有提升。
本实施例构建的AFNO-ViT神经网络具有如下优势:
a、继承了ViT模型在计算机视觉任务中表现出的强大特征识别和长距离依赖能力。b、与ViT原始网络相比,将带来token数量二次方的复杂度的多头自注意力层替换成基于AFNO的全局卷积,使得模型的时空分辨率可以灵活拓展,并具有更好的表达性和泛化性。c、与前人基于CNN的雷达图像外推方法相比,CNN的每个卷积核只能捕捉到它所在的局部像素的特征,而AFNO-ViT可以捕捉到全局像素之间的关系,在更大范围内提取特征,有效避免了信息的局限性;AFNO-ViT能较好地理解雷暴的旋转、扩展和缩小,而CNN的平移不变性使它无法理解这些变化。所以AFNO-ViT对雷暴的空间发展和时间变化的捕捉能力更强。d、模型能够充分提取观测数据中雷暴***随时间演变的信息,学习不同气象因子在雷暴发生发展过程中的作用和变化,以及气象因子之间的复杂关联,实现雷暴机理规律研究,让机器学习不再是“黑箱”。e、完成前期训练后,实时预报中比目前最先进的数值预报模式计算成本低几个数量级,能在几秒钟及时给出预报结果。
LightGBM是一个经过充分测试和验证的开源框架,具有高效性、可扩展性、准确性、可解释性和易用性等多种优点。
对应于上述的雷电临近预报方法,本发明实施例提供了一种雷电临近预报装置。参见图4所示的一种雷电临近预报装置的结构示意图,该装置包括:
获取模块401,用于获取目标研究区域的当前多源异构采集数据;其中,所述当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,所述当前采样时段包括当前预报启动时刻前的多个时刻;
调整模块402,用于对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;
预测模块403,用于将所述当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,所述当前预测时段包括所述当前预报启动时刻及之后的多个时刻;所述预测网络模型为引入自适应傅里叶神经算子AFNO的VisualTransformer模型;
确定模块404,用于将所述多源异构预测数据输入训练后的雷电预测模型,得到所述目标研究区域在所述当前预测时段内的雷电预测结果;其中,所述雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
进一步地,所述预设时空分辨率为所述卫星辐射成像数据的时空分辨率;调整模块402具体用于:
通过预设的插值算法,对所述当前多源异构采集数据中的多普勒雷达组合反射率拼图进行时空分辨率的转换,得到与所述卫星辐射成像数据的时空分辨率一致的雷达组合反射率网格数据;
分别对所述当前多源异构采集数据中的地表类型数据和海拔高度数据进行转换处理,得到与所述卫星辐射成像数据的时空分辨率一致的地表类型网格数据和海拔高度网格数据;其中,所述转换处理包括尺度转换、空间插值和时间维度扩展;
将所述卫星辐射成像数据、所述雷达组合反射率网格数据、所述地表类型网格数据和所述海拔高度网格数据确定为所述当前多源气象网格数据。
进一步地,上述装置还包括第一训练模块,用于:
获取第一研究区域的多个第一多源异构采集数据及其预测时段内的第二多源异构采集数据;
对每个所述第一多源异构采集数据和每个所述第二多源异构采集数据分别进行所述预设时空分辨率的调整,得到第一多源气象网格数据和第二多源气象网格数据;
以各个所述第一多源气象网格数据为模型的输入,以相应的所述第二多源气象网格数据为标签,对初始预测网络模型进行训练,得到训练后的预测网络模型。
进一步地,所述当前多源气象网格数据由多张二维图像构成;所述预测网络模型对所述当前多源气象网格数据的处理过程包括:
对所述当前多源气象网格数据中的每张二维图像进行图像分割、向量映射和位置编码添加,得到每张所述二维图像对应的当前中间层特征;
多次对各个所述当前中间层特征进行空间混合操作和通道混合操作,得到下一时刻的多个预测中间层特征;
通过线性解码层将每个所述预测中间层特征转换为多个图像块特征,并通过位置解码对各个所述图像块特征进行图像拼接,得到每个所述预测中间层特征对应的预测图像;
经过多次迭代,得到所述多源异构预测数据;其中,所述多源异构预测数据包括所述当前预测时段内每个时刻的多张预测图像。
进一步地,所述空间混合操作包括离散傅里叶变换、第一多层感知机的动态滤波、软阈值层的叠加和反向离散傅里叶转换;所述通道混合操作包括第二多层感知机的动态滤波。
进一步地,上述装置还包括第二训练模块,用于:
获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据;
对每个所述历史多源异构采集数据进行所述预设时空分辨率的调整,得到历史多源气象网格数据;
以各个所述历史多源气象网格数据中每个格点在每个时刻下的数据为一个样本,以相应的雷电观测数据为标签,对初始雷电预测模型进行训练,得到训练后的雷电预测模型。
进一步地,第二训练模块具体用于:
对于每个所述历史多源异构采集数据,获取该历史多源异构采集数据对应的采样时段内的闪电成像仪数据和CNLDN闪电数据;
对所述闪电成像仪数据和所述CNLDN闪电数据进行数据融合,得到该历史多源异构采集数据对应的雷电观测数据。
本实施例所提供的雷电临近预报装置,其实现原理及产生的技术效果和前述雷电临近预报方法实施例相同,为简要描述,雷电临近预报装置实施例部分未提及之处,可参考前述雷电临近预报方法实施例中相应内容。
如图5所示,本发明实施例提供的一种电子设备500,包括:处理器501、存储器502和总线,存储器502存储有可在处理器501上运行的计算机程序,当电子设备500运行时,处理器501与存储器502之间通过总线通信,处理器501执行计算机程序,以实现上述雷电临近预报方法。
具体地,上述存储器502和处理器501能够为通用的存储器和处理器,这里不做具体限定。
本发明实施例还提供了一种计算机存储介质,该计算机存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前面方法实施例中所述的雷电临近预报方法。该计算机存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种雷电临近预报方法,其特征在于,包括:
获取目标研究区域的当前多源异构采集数据;其中,所述当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,所述当前采样时段包括当前预报启动时刻前的多个时刻;
对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;
将所述当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,所述当前预测时段包括所述当前预报启动时刻及之后的多个时刻;所述预测网络模型为引入自适应傅里叶神经算子AFNO的Visual Transformer模型;
将所述多源异构预测数据输入训练后的雷电预测模型,得到所述目标研究区域在所述当前预测时段内的雷电预测结果;其中,所述雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
2.根据权利要求1所述的雷电临近预报方法,其特征在于,所述预设时空分辨率为所述卫星辐射成像数据的时空分辨率;所述对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据,包括:
通过预设的插值算法,对所述当前多源异构采集数据中的多普勒雷达组合反射率拼图进行时空分辨率的转换,得到与所述卫星辐射成像数据的时空分辨率一致的雷达组合反射率网格数据;
分别对所述当前多源异构采集数据中的地表类型数据和海拔高度数据进行转换处理,得到与所述卫星辐射成像数据的时空分辨率一致的地表类型网格数据和海拔高度网格数据;其中,所述转换处理包括尺度转换、空间插值和时间维度扩展;
将所述卫星辐射成像数据、所述雷达组合反射率网格数据、所述地表类型网格数据和所述海拔高度网格数据确定为所述当前多源气象网格数据。
3.根据权利要求1所述的雷电临近预报方法,其特征在于,所述雷电临近预报方法还包括:
获取第一研究区域的多个第一多源异构采集数据及其预测时段内的第二多源异构采集数据;
对每个所述第一多源异构采集数据和每个所述第二多源异构采集数据分别进行所述预设时空分辨率的调整,得到第一多源气象网格数据和第二多源气象网格数据;
以各个所述第一多源气象网格数据为模型的输入,以相应的所述第二多源气象网格数据为标签,对初始预测网络模型进行训练,得到训练后的预测网络模型。
4.根据权利要求1所述的雷电临近预报方法,其特征在于,所述当前多源气象网格数据由多张二维图像构成;所述预测网络模型对所述当前多源气象网格数据的处理过程包括:
对所述当前多源气象网格数据中的每张二维图像进行图像分割、向量映射和位置编码添加,得到每张所述二维图像对应的当前中间层特征;
多次对各个所述当前中间层特征进行空间混合操作和通道混合操作,得到下一时刻的多个预测中间层特征;
通过线性解码层将每个所述预测中间层特征转换为多个图像块特征,并通过位置解码对各个所述图像块特征进行图像拼接,得到每个所述预测中间层特征对应的预测图像;
经过多次迭代,得到所述多源异构预测数据;其中,所述多源异构预测数据包括所述当前预测时段内每个时刻的多张预测图像。
5.根据权利要求4所述的雷电临近预报方法,其特征在于,所述空间混合操作包括离散傅里叶变换、第一多层感知机的动态滤波、软阈值层的叠加和反向离散傅里叶转换;所述通道混合操作包括第二多层感知机的动态滤波。
6.根据权利要求1所述的雷电临近预报方法,其特征在于,所述雷电临近预报方法还包括:
获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据;
对每个所述历史多源异构采集数据进行所述预设时空分辨率的调整,得到历史多源气象网格数据;
以各个所述历史多源气象网格数据中每个格点在每个时刻下的数据为一个样本,以相应的雷电观测数据为标签,对初始雷电预测模型进行训练,得到训练后的雷电预测模型。
7.根据权利要求6所述的雷电临近预报方法,其特征在于,所述获取第二研究区域的多个历史多源异构采集数据及其雷电观测数据,包括:
对于每个所述历史多源异构采集数据,获取该历史多源异构采集数据对应的采样时段内的闪电成像仪数据和CNLDN闪电数据;
对所述闪电成像仪数据和所述CNLDN闪电数据进行数据融合,得到该历史多源异构采集数据对应的雷电观测数据。
8.一种雷电临近预报装置,其特征在于,包括:
获取模块,用于获取目标研究区域的当前多源异构采集数据;其中,所述当前多源异构采集数据包括当前采样时段内的多普勒雷达组合反射率拼图、多个预设通道的卫星辐射成像数据、地表类型数据和海拔高度数据,所述当前采样时段包括当前预报启动时刻前的多个时刻;
调整模块,用于对所述当前多源异构采集数据进行预设时空分辨率的调整,得到当前多源气象网格数据;
预测模块,用于将所述当前多源气象网格数据输入训练后的预测网络模型,得到当前预测时段内的多源异构预测数据;其中,所述当前预测时段包括所述当前预报启动时刻及之后的多个时刻;所述预测网络模型为引入自适应傅里叶神经算子AFNO的VisualTransformer模型;
确定模块,用于将所述多源异构预测数据输入训练后的雷电预测模型,得到所述目标研究区域在所述当前预测时段内的雷电预测结果;其中,所述雷电预测模型是基于历史多源异构采集数据及其雷电观测数据训练得到的。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的雷电临近预报方法。
10.一种计算机存储介质,所述计算机存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的雷电临近预报方法。
CN202311422852.5A 2023-10-31 2023-10-31 雷电临近预报方法、装置、电子设备及计算机存储介质 Active CN117148360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311422852.5A CN117148360B (zh) 2023-10-31 2023-10-31 雷电临近预报方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311422852.5A CN117148360B (zh) 2023-10-31 2023-10-31 雷电临近预报方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN117148360A CN117148360A (zh) 2023-12-01
CN117148360B true CN117148360B (zh) 2024-01-19

Family

ID=88906576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311422852.5A Active CN117148360B (zh) 2023-10-31 2023-10-31 雷电临近预报方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN117148360B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523420B (zh) * 2024-01-08 2024-04-19 南京信息工程大学 一种基于雷达产品数据的闪电落区识别方法及***
CN118094487B (zh) * 2024-04-26 2024-07-02 成都信息工程大学 基于时空感知机制的多源气象要素预测降水的方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086916A (zh) * 2018-07-16 2018-12-25 国家气象中心 一种基于多源观测数据的对流天气临近预报方法及装置
CN109447315A (zh) * 2018-09-18 2019-03-08 中国电力科学研究院有限公司 一种基于多时空尺度的电力气象数值天气预报方法和装置
CN113064222A (zh) * 2021-03-09 2021-07-02 中国气象科学研究院 雷电预警预报方法和***
CN113807447A (zh) * 2021-09-23 2021-12-17 兰州理工大学 一种基于fc-sae的多源异构数据融合方法
WO2022175337A1 (en) * 2021-02-17 2022-08-25 Deepmind Technologies Limited Nowcasting using generative neural networks
CN116009121A (zh) * 2023-01-31 2023-04-25 江苏省气象台 一种基于深度学习的闪电短时临近预报方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086916A (zh) * 2018-07-16 2018-12-25 国家气象中心 一种基于多源观测数据的对流天气临近预报方法及装置
CN109447315A (zh) * 2018-09-18 2019-03-08 中国电力科学研究院有限公司 一种基于多时空尺度的电力气象数值天气预报方法和装置
WO2022175337A1 (en) * 2021-02-17 2022-08-25 Deepmind Technologies Limited Nowcasting using generative neural networks
CN113064222A (zh) * 2021-03-09 2021-07-02 中国气象科学研究院 雷电预警预报方法和***
CN113807447A (zh) * 2021-09-23 2021-12-17 兰州理工大学 一种基于fc-sae的多源异构数据融合方法
CN116009121A (zh) * 2023-01-31 2023-04-25 江苏省气象台 一种基于深度学习的闪电短时临近预报方法

Also Published As

Publication number Publication date
CN117148360A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Hilburn et al. Development and interpretation of a neural-network-based synthetic radar reflectivity estimator using GOES-R satellite observations
CN117148360B (zh) 雷电临近预报方法、装置、电子设备及计算机存储介质
CN109919875B (zh) 一种高时频遥感图像特征辅助的居民地提取与分类方法
CN109840553B (zh) 耕地作物类型的提取方法及***、存储介质、电子设备
Zhang et al. A new road extraction method using Sentinel-1 SAR images based on the deep fully convolutional neural network
CN110287457A (zh) 基于卫星雷达遥感数据的玉米生物量反演测算方法
CN107966210B (zh) 基于高光谱图像的热红外融合重构方法
CN111210483A (zh) 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法
Pleskachevsky et al. Multiparametric sea state fields from synthetic aperture radar for maritime situational awareness
CN112308029A (zh) 雨量站与卫星的降水数据融合方法及***
Ao et al. Deep learning-based spatiotemporal data fusion using a patch-to-pixel mapping strategy and model comparisons
CN111444616A (zh) 海表叶绿素传输轨迹模拟方法
CN114220022A (zh) 一种基于卫星与无人机协同观测的水稻倒伏遥感监测方法
Guo et al. Sea surface wind direction retrieval based on convolution neural network and wavelet analysis
Bartkowiak et al. Land surface temperature reconstruction under long-term cloudy-sky conditions at 250 m spatial resolution: case study of vinschgau/venosta valley in the european alps
Lagerquist et al. Can we integrate spatial verification methods into neural network loss functions for atmospheric science?
CN116776651B (zh) 地表蒸散发测算方法、装置、电子设备及存储介质
CN115222837A (zh) 真彩云图生成方法、装置、电子设备及存储介质
Alatalo et al. Improved difference images for change detection classifiers in SAR imagery using deep learning
Tsay et al. Deep learning for satellite rainfall retrieval using Himawari-8 multiple spectral channels
Li et al. Recognition algorithm for deep convective clouds based on FY4A
Zhou et al. Estimation of Hourly Air Temperature in China Based on LightGBM and Himawari-8
CN108053406B (zh) 基于多分辨率遥感影像的地表覆盖制图方法及装置
Roussel et al. Qualification of a new short-term cloud forecasting method for the optimization of Earth observation satellite programs
Fanelli et al. Deep Learning for Super-Resolution of Mediterranean Sea Surface Temperature Fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant