CN117391139A - 基于改进UNet神经网络的天气现象预报订正方法 - Google Patents
基于改进UNet神经网络的天气现象预报订正方法 Download PDFInfo
- Publication number
- CN117391139A CN117391139A CN202311465826.0A CN202311465826A CN117391139A CN 117391139 A CN117391139 A CN 117391139A CN 202311465826 A CN202311465826 A CN 202311465826A CN 117391139 A CN117391139 A CN 117391139A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- weather phenomenon
- sample
- unet neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012937 correction Methods 0.000 title claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 230000006872 improvement Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 94
- 238000005070 sampling Methods 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 description 52
- 239000000428 dust Substances 0.000 description 38
- 230000005540 biological transmission Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 208000013641 Cerebrofacial arteriovenous metameric syndrome Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 239000000443 aerosol Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012950 reanalysis Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于改进UNet神经网络的天气现象预报订正方法，涉及气象技术领域，方法包括：获取目标天气现象预报数据；将目标天气现象预报数据输入至改进UNet神经网络，得到订正后的目标天气现象预报数据；改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将初始编码器的同一层网络中添加注意力机制的输出与初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。本发明能够降低数值模式预报结果的偏差。
Description
技术领域
本发明涉及气象技术领域，尤其涉及一种基于改进UNet神经网络的天气现象预报订正方法。
背景技术
随着新能源产业的快速发展，光伏发电在整个电力***中的比例及总量逐渐提高。在一些光伏产业的密集区域，受沙尘影响较严重，沙尘通过影响大气辐射传输过程进而影响光伏组件发电情况，不利于电网调度安全稳定的运行。沙尘天气过后，累积在光伏板表面的沙尘会降低光伏组件表面的透射率，使得光伏组件的发电效率下降。因此需要使用数值天气预报等手段对沙尘影响范围及过境时间进行准确预报。
现有的沙尘预报技术主要包括：数值天气预报模式、统计学方法和基于天气过程的天气学分析。
数值天气预报模式是利用流体力学、热力学等物理学方程组来描述大气运动，对沙尘起沙机制及扩散传输过程进行数值模拟和预测；但是，数值天气预报模式受限于沙尘动力模型和传输模型的不完备，难以准确描述沙尘起沙机制及其传输和扩散过程，尤其是沙尘的影响范围及到达时间，且沙尘浓度预报在时间和空间分布上存在较大误差，而改进数值天气预报模式需在建立更优的大气成分和气象观测同步同化的基础上创造更好的表述沙尘起沙和传输机制的模型及算法。
统计学方法主要利用历史数据来建立沙尘天气预测模型，通过温度、湿度、风速和气压等常规气象参数建立起与沙尘浓度的回归关系，常用的方法包括Logistic回归、决策树、随机森林等。统计学方法需借助历史实测数据建立沙尘预测模型，实测数据收集的难度较大，且存在可训练样本数量(高浓度沙尘天气)较少的问题。依据空间离散的气象站点观测数据建立沙尘预测模型，不仅无法实现沙尘浓度时空分布的预测，而且由于训练数据的局限性和模型训练过程中的偏差，导致模型无法泛化到新的气象数据点，不具备较好的泛化能力。
由于沙尘的产生发展与大尺度天气***的变化紧密相关，因此天气学分析主要通过对寒潮、大风等天气***的演变规律进行分析，基于实测气象数据预测沙尘的产生、发展范围和持续时间。依据天气学分析实现沙尘预测需具有完备的专业知识与经验，门槛较高，且较难实现沙尘浓度时空分布特征的定量预测。
可见，现有技术中存在如下问题：数值天气预报模式对沙尘传输过程的描述存在不完备性，统计学方法训练的模型无法保持沙尘输运的时空连续性且空间泛化能力较差。
发明内容
针对现有技术存在的问题，本发明提供一种基于改进UNet神经网络的天气现象预报订正方法。
本发明提供一种基于改进UNet神经网络的天气现象预报订正方法，所述方法包括：
获取基于数值天气预报模式确定的目标天气现象预报数据；
将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；
其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
根据本发明提供的一种基于改进UNet神经网络的天气现象预报订正方法，所述改进UNet神经网络基于以下步骤获得：
获取数据集一，所述数据集一包括模型输入的目标天气现象预报样本数据及模型输出的目标天气现象再分析样本数据或卫星观测/地面观测样本数据；
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二；
对所述数据集二进行空间数据随机分割，得到训练集三；
根据所述数据集三中样本网格点的目标天气现象浓度，对所述数据集三进行重要性采样，构成采样后的训练集；
使用所述采样后的训练集进行改进UNet神经网络的训练。
根据本发明提供的一种基于改进UNet神经网络的天气现象预报订正方法，根据所述数据集三中样本网格点的目标天气现象浓度，对所述数据集三中的样本进行重要性采样，得到采样后的训练集，包括：
根据所述数据集三中样本网格点的目标天气现象浓度，采用公式(1)计算所述数据集三中样本的采样概率；
其中，pi为所述数据集三中样本i的采样概率，pmin为所述样本i被采样到的最小概率，m为数据采样率的调控因子，T为时间范围，h是所述样本i在垂直方向的格点数，w是所述样本i在水平方向的格点数，为饱和值，/>yi,c为所述样本i中第c个网格点的目标天气现象浓度，s为饱和常数；
基于所述数据集三中样本的采样概率，对采样概率高的样本在水平方向和垂直方向分别进行均匀的随机偏移，得到采样后的训练集。
根据本发明提供的一种基于改进UNet神经网络的天气现象预报订正方法，所述方法还包括：
采用公式(2)计算损失函数；
loss(xi,yi)＝(ssim(xi,yi)+mse(xi,yi))/2 公式(2)；
其中，loss(xi,yi)为损失函数，ssim(xi,yi)为所述采样后的训练集中样本i的输入数据xi和输出数据yi的结构相似度指数；mse(xi,yi)为xi和yi的均方误差。
根据本发明提供的一种基于改进UNet神经网络的天气现象预报订正方法，所述结构相似度指数基于公式(3)计算得到：
所述xi和yi的均方误差基于公式(4)计算得到：
其中，为t时刻训练集样本i的输入数据xi在w*h个格点的目标天气现象浓度的平均强度，/>为t时刻训练集样本i的输出数据yi在w*h个格点的目标天气现象浓度的平均强度，/>T为时间范围，h是训练集样本i在垂直方向的格点数，w是训练集样本i在水平方向的格点数，/>为t时刻训练集样本i的输入数据xi的第j个格点的目标天气现象浓度，/>为t时刻训练集样本i的输出数据yi的第j个格点的目标天气现象浓度，C1、C2为常数，/>为t时刻训练集样本i的输入数据xi在w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输出数据yi在w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输入数据xi和yi在w*h个格点无偏估计的协方差，
根据本发明提供的一种基于改进UNet神经网络的天气现象预报订正方法，所述对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二，包括：
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据，进行空间上采样及时间插值，得到时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据；
对所述时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到所述数据集二。
本发明还提供一种基于改进UNet神经网络的天气现象预报订正装置，包括：
获取模块，用于获取基于数值天气预报模式确定的目标天气现象预报数据；
数据订正模块，用于将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；
其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于改进UNet神经网络的天气现象预报订正方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于改进UNet神经网络的天气现象预报订正方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于改进UNet神经网络的天气现象预报订正方法。
本发明提供的基于改进UNet神经网络的天气现象预报订正方法，通过获取基于数值天气预报模式确定的目标天气现象预报数据，将目标天气现象预报数据输入至改进UNet神经网络，得到改进UNet神经网络输出的订正后的目标天气现象预报数据，其中，改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，可以对通道尺度(即时间尺度)和空间尺度上相对重要的特征进行放大，及将初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，减少模型训练过程中的训练参数，能够改善数值天气预报模式对沙尘传输过程描述的不完备性，降低数值模式预报结果的偏差。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于改进UNet神经网络的天气现象预报订正方法的流程示意图；
图2是本发明提供的基于改进UNet神经网络的天气现象预报订正装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图，描述本发明提供的基于改进UNet神经网络的天气现象预报订正方法。
图1是本发明提供的基于改进UNet神经网络的天气现象预报订正方法的流程示意图，如图1所示，该方法包括步骤101-步骤102，其中：
步骤101，获取基于数值天气预报模式确定的目标天气现象预报数据。
需要说明的是，目标天气现象可以包括：沙尘、辐照度、风场、积雪、云量及雾霾等能够影响大气辐射传输过程的对象。本发明提供的基于改进UNet神经网络的天气现象预报订正方法可适用于需要对沙尘、辐照度、风场、积雪、云量和/或雾霾等目标天气现象的影响范围及过境时间进行准确预报的场景中。
该方法的执行主体可以为基于改进UNet神经网络的天气现象预报订正装置，例如电子设备、服务器或者该装置中的用于执行本发明提供的基于改进UNet神经网络的天气现象预报订正方法的控制模块。
可选地，以目标天气现象包括沙尘为例，目标天气现象数值天气预报模式也即沙尘数值天气预报模式。目标天气现象预报数据是基于数值天气预报模式确定的。
步骤102，将目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加卷积块的注意力模块(CBAM)注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
可选地，所述改进UNet神经网络用于对沙尘预报数据进行订正。
以初始UNet神经网络为原始UNet神经网络为例进行说明：使用带卷积块注意力模块(Convolutional Block Attention Module，CBAM)与深度可分卷积的改进UNet神经网络训练数据。在原始UNet神经网络的基础上，于编码器部分每层网络卷积操作后添加CBAM注意力机制，并将原始UNet中的全卷积运算替换为深度可分卷积。解码器部分的网络结构则是将编码器同一层网络中添加注意力机制的输出与解码器上一层网络上采样后的结果拼接。
可选地，UNet主要使用卷积、池化、反卷积等模块实现编码器特征提取及解码器图像尺寸的恢复，通过配备深度可分卷积的CBAM注意力模块提高对时间及空间重要特征的识别能力，编码-解码结构设计和跳跃式连接结构于UNet模型及其较多的变种模型中都具有应用，可以用相似模型代替，如RES-UNet、CU-net等，除此以外还可以用GAN、GNN等神经网络模型代替。
本发明提供的基于改进UNet神经网络的天气现象预报订正方法，通过获取基于数值天气预报模式确定的目标天气现象预报数据，将目标天气现象预报数据输入至改进UNet神经网络，得到改进UNet神经网络输出的订正后的目标天气现象预报数据，其中，改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，可以对通道尺度(即时间尺度)和空间尺度上相对重要的特征进行放大，及将初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，减少模型训练过程中的训练参数，能够改善数值天气预报模式对沙尘传输过程描述的不完备性，降低数值模式预报结果的偏差。
可选地，所述改进UNet神经网络基于以下步骤a-e获得：
步骤a、获取数据集一，所述数据集一包括模型输入的目标天气现象预报样本数据及模型输出的目标天气现象再分析样本数据或卫星观测/地面观测样本数据。
具体地，目标天气现象预报样本数据，例如来自欧洲中期天气预报中心(EuropeanCentre for Medium-Range Weather Forecasts，ECMWF)的哥白尼大气监测服务(Copernicus Atmosphere Monitoring Service，CAMS)全球大气成分预测(globalatmospheric composition forecasts)沙尘预报数据集X，或数值天气预报对辐照度、风场、积雪、云量或雾霾的格点预测数据。
目标天气现象再分析样本数据，例如来自CAMS global reanalysis(EAC4)沙尘再分析数据集Y，或ECMWF第五代大气再分析数据集(ECMWF Reanalysis v5，ERA5)等再分析数据集、卫星遥感反演的其它天基实测数据集或者其它可以表征实测辐照度、风场、积雪、云量、雾霾量级的融合数据集。目标天气现象再分析样本数据包括沙尘气溶胶光学厚度、沙尘质量混合比及污染物浓度数据。
步骤b、对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二。
具体地，对目标天气现象预报样本数据与目标天气现象再分析样本数据或卫星观测/地面观测样本数据，进行空间上采样及时间插值，得到时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据，并对所述时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到所述数据集二。例如，输入数据集为Xn，输出数据集为Yn。其中，单个数据集样本包括输入数据Xi和输出数据Yi，单个样本输入数据Xi及输出数据Yi的维度均为T*H*W，T为时间范围，H是单个数据集垂直方向格点数，W是单个数据集水平方向格点数。
步骤c、对所述数据集二进行空间数据随机分割，得到数据集三。
可选地，多个数据集三中的样本例如为(xn，yn)，单个训练集的输入xi、输出yi的维度均为T*h*w，其中，h是单个训练集样本垂直方向格点数，w是单个训练集样本水平方向格点数，h＝w，由此实现训练集个数的增加，及降低训练时单次迭代显存的占用。
步骤d、根据所述数据集三中样本每个网格点的目标天气现象浓度，对所述数据集三中的样本进行重要性采样，得到采样后的训练集。
可选地，使用重要性采样增加训练集中高浓度沙尘天气的出现频率，解决训练集中沙尘天气样本量不足的问题。
具体地，首先，根据数据集三每个样本中网格点的目标天气现象浓度，采用公式(1)计算数据集三中各样本的采样概率；
其中，pi为所述训练集中样本i的采样概率，pmin为所述训练集样本i被采样到的最小概率，m为数据采样率的调控因子，T为时间范围，h是所述训练集样本i在垂直方向的格点数，w是所述训练集样本i在水平方向的格点数，为饱和值，/>yi,c为所述训练集样本i中第c个网格点的目标天气现象浓度，s为饱和常数；该方案倾向于存在高浓度沙尘的数据。
然后，基于数据集三中各样本的采样概率，对采样概率高的样本在水平方向和垂直方向分别进行均匀的随机偏移，构成采样后的训练集。
步骤e、使用所述采样后的训练集进行改进UNet神经网络的训练。
可选地，损失函数可以采用使用结构相似度指数及均方误差的平均加权、MAE、MAE+MSE与SSIM损失加权等，本发明对此并不限定。
以损失函数使用结构相似度指数及均方误差的平均加权为例，采用公式(2)计算损失函数；
loss(xi,yi)＝(ssim(xi,yi)+mse(xi,yi))/2 公式(2)；
其中，loss(xi,yi)为损失函数，ssim(xi,yi)为训练集中样本i的输入数据xi和输出数据yi的结构相似度指数；mse(xi,yi)为xi和yi的均方误差。
以目标天气现象是沙尘为例。结构相似度指数主要通过模型预测的输出及再分析沙尘数据空间分布图的亮度、对比度和结构三个方面的特征来对预测结果进行评估，能够在一定程度上解决UNet神经网络模型的预测结果空间有效分辨率降低的问题，并显著增强沙尘浓度空间分布细节的刻画。
所述结构相似度指数基于公式(3)计算得到：
所述xi和yi的均方误差基于公式(4)计算得到：
其中，为t时刻训练集样本i的输入数据xi在w*h个格点的目标天气现象浓度的平均强度，/>为t时刻训练集样本i的输出数据yi在w*h个格点的目标天气现象浓度的平均强度，/>T为时间范围，h是训练集样本i在垂直方向的格点数，w是训练集样本i在水平方向的格点数，/>为t时刻训练集样本i的输入数据xi中第j个网格点的目标天气现象浓度，/>为t时刻训练集样本i的输出数据yi中第j个网格点的目标天气现象浓度；C1、C2为常数，使用C1和C2能够避免计算过程中分母接近于0时造成ssim趋向于无穷大；/>为t时刻训练集样本i的输入数据xi的w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输出数据yi的w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输入数据xi和yi在w*h个格点的无偏估计的协方差，使用/>作为对比度的度量，使用/>作为结果对比的度量，
本发明提供的基于改进UNet神经网络的天气现象预报订正方法，使用带深度可分卷积的CBAM注意力机制识别临近时间内沙尘浓度空间分布的变化特征；使用深度可分的卷积操作代替UNet中原有的全卷积，减少沙尘预报时空订正模型训练过程中的训练参数；基于数据分割及重要性采样实现训练数据的增强，增加训练集中高浓度沙尘样本的数量；使用预测输出及再分析数据的结构相似度指数与均方误差的加权结果作为损失函数，改善模型预测输出空间有效分辨率降低的问题，并降低沙尘浓度时空分布的误差。本发明提供的基于改进UNet神经网络的天气现象预报订正方法适用于针对沙尘、辐照度、风场、积雪、云量、雾霾等直接或者间接影响大气辐射传输过程的量中的应用。
举例如下：使用某地理范围内的CAMS沙尘预报及再分析数据集训练并调优带注意力机制的改进UNet模型，以三次大规模沙尘天气的影响范围为例。基于本发明提供的基于改进UNet神经网络的天气现象预报订正方法的预报结果，较现有的ConvLSTM订正CAMS沙尘模式预报结果对比，沙尘气溶胶光学厚度超过1的CSI提升4.5％，沙尘气溶胶光学厚度超过0.5的CSI提升2％，实现沙尘预报浓度的时空分布特征及沙尘侵入的空间范围及到达时间的优化。
下面对本发明提供的基于改进UNet神经网络的天气现象预报订正装置进行描述，下文描述的基于改进UNet神经网络的天气现象预报订正装置与上文描述的基于改进UNet神经网络的天气现象预报订正方法可相互对应参照。
图2是本发明提供的基于改进UNet神经网络的天气现象预报订正装置的结构示意图；该基于改进UNet神经网络的天气现象预报订正装置200包括：获取模块201及数据订正模块202；其中，
获取模块201，用于获取基于数值天气预报模式确定的目标天气现象预报数据；
数据订正模块202，用于将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；
其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
本发明提供的基于改进UNet神经网络的天气现象预报订正装置，通过获取基于数值天气预报模式确定的目标天气现象预报数据，将目标天气现象预报数据输入至改进UNet神经网络，得到改进UNet神经网络输出的订正后的目标天气现象预报数据，其中，改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，可以对通道尺度(即时间尺度)和空间尺度上相对重要的特征进行放大，及将初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，减少模型训练过程中的训练参数，能够改善数值天气预报模式对沙尘传输过程描述的不完备性，降低数值模式预报结果的偏差。
可选地，所述改进UNet神经网络基于以下步骤获得：
获取数据集一，所述数据集一包括模型输入的目标天气现象预报样本数据及模型输出的目标天气现象再分析样本数据或卫星观测/地面观测样本数据；
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二；
对所述数据集二进行空间数据随机分割，得到数据集三；
根据各所述数据集三中样本每个网格点的目标天气现象浓度，对所述数据集三进行重要性采样，得到采样后的训练集；
使用所述采样后的训练集进行改进UNet神经网络的训练。
可选地，所述根据各所述数据集三中每个网格点的目标天气现象浓度，对各所述数据集三进行重要性采样，得到采样后的训练集，包括：
根据各所述数据集三中样本每个网格点的目标天气现象浓度，采用公式(1)计算各所述数据集三中样本的采样概率；
其中，pi为所述数据集三中样本i被采样至训练集的采样概率，pmin为所述训练集中样本i被采样到的最小概率，m为数据采样率的调控因子，T为时间范围，h是所述训练集中样本i在垂直方向的格点数，w是所述训练集中样本i在水平方向的格点数，为饱和值，yi,c为所述训练集中样本i中第c个网格点的目标天气现象浓度，s为饱和常数；
基于所述数据集三中样本的采样概率，对采样概率高的样本在水平方向和垂直方向分别进行均匀的随机偏移，得到采样后的训练集。
可选地，采用公式(2)计算损失函数；
loss(xi,yi)＝(ssim(xi,yi)+mse(xi,yi))/2 公式(2)；
其中，loss(xi,yi)为损失函数，ssim(xi,yi)为所述采样后的训练集中样本i的输入数据xi和输出数据yi的结构相似度指数；mse(xi,yi)为xi和yi的均方误差。
可选地，所述结构相似度指数基于公式(3)计算得到：
所述xi和yi的均方误差基于公式(4)计算得到：
其中，为t时刻训练集样本i的输入数据xi的w*h个格点的目标天气现象浓度的平均强度，/>为t时刻训练集样本i的输出数据yi的w*h个格点的目标天气现象浓度的平均强度，/>T为时间范围，h是训练集中样本i在垂直方向的格点数，w是训练集中样本i在水平方向的格点数，/>为t时刻训练集中样本i的输入数据xi的第j个格点的目标天气现象浓度，/>为t时刻训练集中样本i的输出数据yi的第j个格点的目标天气现象浓度，C1、C2为常数，/>为t时刻训练集中样本i的输入数据xi的w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输出数据yi的w*h个格点的无偏估计的标准差，/>为t时刻训练集样本i的输入数据xi和yi各自的w*h个格点的无偏估计的协方差，
可选地，所述对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二，包括：
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据，进行空间上采样及时间插值，得到时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据；
对所述时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于改进UNet神经网络的天气现象预报订正方法，该方法包括：获取基于数值天气预报模式确定的目标天气现象预报数据；将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于改进UNet神经网络的天气现象预报订正方法，该方法包括：获取基于数值天气预报模式确定的目标天气现象预报数据；将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于改进UNet神经网络的天气现象预报订正方法，该方法包括：获取基于数值天气预报模式确定的目标天气现象预报数据；将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于改进UNet神经网络的天气现象预报订正方法，其特征在于，所述方法包括：
获取基于数值天气预报模式确定的目标天气现象预报数据；
将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；
其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
2.根据权利要求1所述的基于改进UNet神经网络的天气现象预报订正方法，其特征在于，所述改进UNet神经网络基于以下步骤获得：
获取数据集一，所述数据集一包括模型输入的目标天气现象预报样本数据及模型输出的目标天气现象再分析样本数据或卫星观测/地面观测样本数据；
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二；
对所述数据集二进行空间数据随机分割，得到数据集三；
根据所述数据集三中样本网格点的目标天气现象浓度，对所述数据集三进行重要性采样，构成采样后的训练集；
使用所述采样后的训练集进行改进UNet神经网络的训练。
3.根据权利要求2所述的基于改进UNet神经网络的天气现象预报订正方法，其特征在于，根据所述数据集三中的样本网格点的目标天气现象浓度，对所述数据集三中样本进行重要性采样，得到采样后的训练集，包括：
根据所述数据集三中样本网格点的目标天气现象浓度，采用公式(1)计算所述数据集三中样本的采样概率；
其中，pi为所述数据集三中样本i被采样至训练集的采样概率，pmin为所述训练集中样本i被采样到的最小概率，m为数据采样率的调控因子，T为时间范围，h是所述训练集中样本i在垂直方向的格点数，w是所述训练集中样本i在水平方向的格点数，为饱和值，yi,c为所述训练集中样本i第c个网格点的目标天气现象浓度，s为饱和常数；
基于所述数据集三的采样概率，对采样概率高的样本在水平方向和垂直方向分别进行均匀的随机偏移，得到采样后的训练集。
4.根据权利要求2所述的基于改进UNet神经网络的天气现象预报订正方法，其特征在于，所述方法还包括：
采用公式(2)计算损失函数；
loss(xi,yi)＝(ssim(xi,yi)+mse(xi,yi))/2 公式(2)；
其中，loss(xi,yi)为损失函数，ssim(xi,yi)为训练集中样本i的输入数据xi和输出数据yi的结构相似度指数；mse(xi,yi)为xi和yi的均方误差。
5.根据权利要求4所述的基于改进UNet神经网络的天气现象预报订正方法，其特征在于，所述结构相似度指数基于公式(3)计算得到：
所述xi和yi的均方误差基于公式(4)计算得到：
其中，为t时刻训练集样本i的输入数据xi在w*h个格点的目标天气现象浓度的平均强度，/>为t时刻训练集中样本i的输出数据yi在w*h个格点的目标天气现象浓度的平均强度，/>T为时间范围，h是训练集中样本i在垂直方向的格点数，w是训练集中样本i在水平方向的格点数，/>为t时刻训练集中样本i的输入数据xi中第j个格点的目标天气现象浓度，/>为t时刻训练集中样本i的输出数据yi中第j个格点的目标天气现象浓度，C1、C2为常数，/>为t时刻训练集中样本i的输入数据xi在w*h个格点无偏估计的标准差，/>为t时刻训练集中样本i的输出数据yi在w*h个格点无偏估计的标准差，/>为t时刻训练集中样本i的输入数据xi和输出数据yi于对应w*h个格点无偏估计的协方差，
6.根据权利要求2所述的基于改进UNet神经网络的天气现象预报订正方法，其特征在于，所述对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到数据集二，包括：
对所述目标天气现象预报样本数据与所述目标天气现象再分析样本数据或卫星观测/地面观测样本数据，进行空间上采样及时间插值，得到时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据；
对所述时空分辨率一致的目标天气现象预报样本数据和目标天气现象再分析样本数据或卫星观测/地面观测样本数据进行时空维度的匹配，得到所述数据集二。
7.一种基于改进UNet神经网络的天气现象预报订正装置，其特征在于，包括：
获取模块，用于获取基于数值天气预报模式确定的目标天气现象预报数据；
数据订正模块，用于将所述目标天气现象预报数据输入至改进UNet神经网络，得到所述改进UNet神经网络输出的订正后的目标天气现象预报数据；
其中，所述改进UNet神经网络是在初始UNet神经网络的基础上进行如下改进后得到：在初始UNet神经网络中的初始编码器的每层网络卷积层后增加CBAM注意力机制，及将所述初始UNet神经网络中的全卷积运算替换为深度可分卷积运算，将所述初始编码器的同一层网络中添加注意力机制的输出与所述初始UNet神经网络中的初始解码器的上一层网络上采样后的结果拼接，得到改进解码器。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于改进UNet神经网络的天气现象预报订正方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于改进UNet神经网络的天气现象预报订正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465826.0A CN117391139A (zh) | 2023-11-06 | 2023-11-06 | 基于改进UNet神经网络的天气现象预报订正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465826.0A CN117391139A (zh) | 2023-11-06 | 2023-11-06 | 基于改进UNet神经网络的天气现象预报订正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117391139A true CN117391139A (zh) | 2024-01-12 |
Family
ID=89471819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465826.0A Pending CN117391139A (zh) | 2023-11-06 | 2023-11-06 | 基于改进UNet神经网络的天气现象预报订正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391139A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118153640A (zh) * | 2024-05-13 | 2024-06-07 | 南京信息工程大学 | 一种基于改进卷积神经网络的多源卫星有效波高融合方法 |
-
2023
- 2023-11-06 CN CN202311465826.0A patent/CN117391139A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118153640A (zh) * | 2024-05-13 | 2024-06-07 | 南京信息工程大学 | 一种基于改进卷积神经网络的多源卫星有效波高融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN112766549A (zh) | 一种空气污染物浓度预报方法、装置及存储介质 | |
| CN114926749B (zh) | 基于遥感图像的近地面大气污染物反演方法及*** | |
| CN110232471B (zh) | 一种降水传感网节点布局优化方法及装置 | |
| CN113610243B (zh) | 基于耦合机器学习和相关性分析的大气污染物溯源方法 | |
| CN111369057A (zh) | 一种基于深度学习的空气质量预测优化方法及*** | |
| CN111598460B (zh) | 土壤重金属含量的监测方法、装置、设备及存储介质 | |
| CN115237896B (zh) | 一种基于深度学习预报空气质量的数据前处理方法及*** | |
| CN114445634A (zh) | 一种基于深度学习模型的海浪波高预测方法及*** | |
| CN116760031B (zh) | 基于气象数据的高时间分辨率光伏功率预测方法和装置 | |
| CN116449462B (zh) | 海浪有效波高时空序列预测方法、***、存储介质及设备 | |
| CN117374956A (zh) | 一种针对综合能源站光伏发电的短期预测方法 | |
| CN115935809A (zh) | 一种基于地基云图云量特征的光伏发电功率区间预测方法 | |
| CN113984198B (zh) | 一种基于卷积神经网络的短波辐射预测方法及*** | |
| Grönquist et al. | Predicting weather uncertainty with deep convnets | |
| Kong et al. | A deep spatio-temporal forecasting model for multi-site weather prediction post-processing | |
| CN115420690A (zh) | 近地表痕量气体浓度反演模型及反演方法 | |
| CN116525135B (zh) | 基于气象因素的时空模型对疫情发展态势进行预测的方法 | |
| CN116931129A (zh) | 基于多模式集合的短期降水预报方法、装置、设备及介质 | |
| CN110648030A (zh) | 海水温度的预测方法及装置 | |
| CN117391139A (zh) | 基于改进UNet神经网络的天气现象预报订正方法 | |
| CN116128168A (zh) | 基于因果扩充卷积和Autoformer的气象预测法 | |
| CN114997490A (zh) | 温度廓线预测模型的构建方法、预测方法、装置及设备 | |
| CN113486515B (zh) | 次季节-季节-年际尺度一体化气候模式集合预测*** | |
| CN115564100A (zh) | 光伏功率预测方法、***及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |