CN115544889A - 基于深度学习的数值模式降水偏差校正方法 - Google Patents
基于深度学习的数值模式降水偏差校正方法 Download PDFInfo
- Publication number
- CN115544889A CN115544889A CN202211272422.5A CN202211272422A CN115544889A CN 115544889 A CN115544889 A CN 115544889A CN 202211272422 A CN202211272422 A CN 202211272422A CN 115544889 A CN115544889 A CN 115544889A
- Authority
- CN
- China
- Prior art keywords
- precipitation
- model
- data
- numerical
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/14—Rainfall or precipitation gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Atmospheric Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ecology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Environmental Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hydrology & Water Resources (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于深度学***衡的问题,模型能够很好的学习到数值模式中降水误差,达到降水偏差校正的效果。
Description
技术领域
本发明涉及深度学习降水预报偏差校正领域,具体为基于深度学习的数值模式降水偏差校正方法。
背景技术
在整个人类历史中,对天气进行推断和预测是一个长期存在的挑战。在现代天气预报中,基于物理方程式并以高性能计算机为计算工具的数值天气预报(numericalweather prediction, NWP)模型处于领导地位。其中欧洲中期天气预报中心(EuropeanCentre for Medium-Range Weather Forecasts,ECMWF)是全球领先的数值天气预报中心。而且,ECMWF预报对中国区的预报准确率具有较好的参考意义,由于数值模拟的过程中存在很多不确定性因素和积分造成的累计误差以及多个集合成员进行集合时导致的平均作用,数值模式预报不可避免的会出现误差。因此,合理、客观、定量的订正是连接数值模式与精确预报的桥梁,是深入挖掘数值预报潜力不可或缺的环节。
目前已有大量的气象研究者在天气预报订正任务方面做出了大量的研究工作。模式误差订正主要分为两类:第一类是从模式预报的本身出发,提高初始场资料的质量,改善数值预报的性能;另一类是基于统计学模型对预报结果进行后处理误差订正。Vannitsem、Tian使用模型输出统计(MOS)方法证明在高分辨率模型上有较好的效果。Krishnamurti等提出多集合预报思想并对全球热带、美国等地的降水进行订正,Cui等利用自适应卡尔曼滤波的方法订正了2m温度集合平均预报。
值得注意的是:气象演变过程是随机的不连续的,传统的统计学方法对其偏差订正的效果十分有限。
近年来深度学习为解决数值天气预报不确定性提供了一个新思路,与数值模式不同,深度学习属于一类数据驱动模型,从大量时空数据中发现新的规律。改进偏差校正的一个可行方法是从EC模式数据中不断学习天气动态特征,并通过深度学习算法提高校正能力。本发明将地形等下垫面信息、ERA5历史再分析数据与EC模式24h预报降水产品作为网络的输入,将对应地面观测值作为网络目标,使用研究区域多个站点数据订正数值模式预报降水产品,输出与输入的形状不发生改变。
新的框架分为三个模块,即空间编码模块、时间编码模块和空间订正模块。空间编码模块是将上下文信息编码至研究区域考虑周围环境对目标区域的影响,时间编码模块为输入过去一周ERA5历史再分析数据预测未来时间内气象因子空间变化信息,空间订正模块采用多分支的网络结构,使用一个全局分支和一个局部分支,提取降水空间相关性并可以关注局部降水的细节。最终得到区域较为准确的降水量。
发明内容
技术问题
本发明目的是针对现有技术存在的不足和可进行的改进点,本发明提供了基于深度学习的数值模式降水预报偏差校正方法,利用深度学习在大数据中的学习能力挖掘降水偏差潜在的关系达到降水订正的效果。
技术方案
本发明为实现上述目的,采用如下技术方案:
本发明基于深度学习的数值模式降水偏差校正方法,包括以下步骤:
1)首先,利用ERA5再分析气象数据和地面观测降水量之间的相关性,选择对降水存在关系的气象特征作为模型有效特征;
2)对步骤1)选择的有效气象特征切割至研究区域范围构成区域特征区域,并将该特征空间进行归一化处理,构成训练样本集;
3)采用步骤2)所述的训练样本集,输入空间特征提取中将特征范围放缩至研究区域大小,然后将气象特征输入时空预测网络中提取预测未来时间内气象特征的变化趋势,并通过反卷积将特征空间分辨率与数值预报分辨率保持一致;
4)将步骤3)所述的预测结果与数值预报降水和DEM等先验知识进行融合,输入空间订正模块中定义权重损失函数经模型训练选择最优模型得到最终的降水预测值。
5)对偏差校正后的降水结果进行检验评估。
进一步地,作为本发明的优选技术方案:步骤1)所述的选择有效气象特征排除干扰特征使用皮尔逊相关系数来计算各气象特征与地面观测降水之间的相关性,设定一个阈值将所有大于该阈值的特征认定为有效特征计算公式如下。
进一步地,作为本发明的优选技术方案:步骤2)所述的构建数据集过程为选取有效特征后选取目标区域的资料作为训练样本特征,并对特征进行归一化操作由于降水分布是离散型分布且跨度较大所以降水数据做log归一化其余气象特征做Z-SCORE归一化公式如下。
进一步地,作为本发明的优选技术方案:步骤3)所述的使用预测未来时间内气象环境的变化趋势为将构建的ERA5的历史序列输入首先经过空间特征提取将样本放缩到研究区域大小后输入到MotionRNN中来预测未来研究区域云团变化趋势,经过反卷积将预测趋势的空间分辨率与数值模式数据保持一致。
进一步地,作为本发明的优选技术方案:步骤4)所述的空间订正模块是为了使模式预报数据更加准确做偏差校正,该模块使用经典的U-Net结构并分为两个分支一个分支负责全局校正,另一个则专注更小的区域进行细节处的偏差校正,最后将结果融合经过输出层得到最终模式预报结果。
在更新网络参数使得模型达到最优时,考虑降水是长尾分布数据需要平衡数据,故设计权重损失函数,该损失函数由MSE与MAE组成且对不同降水强度设置不同权重,其中强降水的权重要大于弱降水的权重。Loss函数如下所示:
有益效果
本发明提出基于深度学习的数值模式降水产品偏差校正方法,充分考虑到降水过程的元素相关性、时间依赖性和空间相关性,通过选取对降水有潜在影响的因子,构建具有时序特征的数据结构,并构建时空融合的降水偏差校正模型,通过地面观测作为真实降水作为标签,不断训练、调优模型得到最佳的网络参数。
该模型对ECMWF模式降水偏差校正上有较好的校正效果,且操作简便;获取最优模型参数后,对目标区域的降水偏差校正时间只需要一至五秒,具有较高的可靠性,具有良好的应用前景。
本发明在模式降水产品的基础上,通过分析降雨过程中的天气变化,构建历史气象资料库,结合深度学***衡,采用权重损失缓解不平衡数据;使用本发明提供的模型进行订正后降水量平分和雨带位置较数值模式有明显提高。
附图说明
图1是研究区域展示;
图2是本发明实施中数值模式降水偏差校正的基本流程示意图;
图3是本发明模型结构示意图;
图4本发明偏差校正模型参数更新示意图;
图5是本发明实施实例中TS评分;
图6是本发明实施实例中目标区域内某些观测站附近降水误差比较示意图。
具体实施方式
下面将结合附图及具体实施例对本发明所述的基于深度学习的数值模式降水预报偏差校正方法作进一步地详细描述。
本发明通过对数值模式24小时累计降水预报结果进行偏差校正,研究区域如图1所示(江浙沪地区),数据集主要选取ECMWF欧洲中期数值预报中心业务产品作为数值模式预报资料,每天起报两次,分别为00时和12时(UTC时间),该模式数据资料空间分辨率为10km,选取24小时的预报降水用作本研究,使用ERA5近陆面若干气象元素历史再分析资料空间分辨率为25km,时间分辨率为1小时,在模型中加入了中国的相关地形信息,本文使用ASTER GDEM V2数据,来源于地理空间数据云,数据由日本METI和美国NASA联合研制,DEM数据的空间分辨率为30m,其他地形因子,包括坡度和坡向,使用相关工具从DEM数据中导出,本发明选取2017-2019年230个国家站日降水数据地面雨量计资料作为训练的真实标签。
如图2所示,在进行数值模式降水偏差校正之前需要对所用数据进行选择,首先利用皮尔逊相关系数计算ERA5数据中各气象特征与地面观测降水之间的相关性,设定一个阈值0.2,将所有大于该阈值的特征认定为有效特征,其次将数据截取至研究区域范围,该范围包含研究区域空间特征的上下文信息,即:包含研究区域周围环境信息,这是为了在进行特征提取时通过描述相邻位置的局部信息相互作用利用上下文信息,提高空间相关性,更好的提取降水空间分布信息,由于我们收集的ERA5再分析数据的时间分辨率为1小时的这与EC降水预报数据的时间分辨率不一致,需要对再分析资料在时间分辨率与EC达成一致。
具体做法为降水特征相加得到24h累计日降水量,其余变量根据变量自身特性降尺度成24h时间分辨率,为了排除由于***故障或者数据存储等原因造成的数据丢失、错误等问题,对收集的EC预报数据、雨量计观测数据集和ERA5历史再分析数据的缺失数据和异常值进行处理,对于缺失值,该值由该位置前后或某邻近区域的平均值补充,由于EC降水预报数据使用UTC时间,而雨量计观测数据使用北京时间,因此所有数据集都需要时间匹配,考虑到DEM、EC降水预报数据和各历史再分析数据中不同气象特征的维度不同,可能会对网络训练产生影响,因此需要对数据沿时间维度进行归一化处理,具体做法是除降水特征外,其余按照Z-Score算法,由于降水的离散型分布跨度较大,需对降水特征进行log变换缓解这种不平衡,具体公式如下:
其中是每个要素的总体均值,是总体数据的标准差,z为归一化后的结果,x为日降水数据,本发明使用的数据为2017-2019三年的资料,其中将2017-2018年24小时预测降水划分为训练集和验证集,为了保证验证数据的多样性,每隔7天抽取一个样本为验证集,2019年所有数据用作测试集,用以评估模型性能。
降水偏差校正网络如图3所示,第一部分为空间编码模块输入过去一周的有效特征的历史再分析数据构建历史资料库,空间编码模块由金字塔卷积和两个普通卷积组成,金字塔卷积有3*3,5*5,7*7,9*9四个不同尺度的卷积核确保了多尺度特征的提取,在多尺度特征的提取融合后进入普通卷积中步长为2达到将特征图缩小至研究区域,利用上下文信息,提高空间相关性,进一步将特征图序列输入到MotionRNN中通过学习过去的气象环境序列预测出未来个气象元素环境变化趋势。
MotionRNN弥补了现有的基于RNN时空预测模型无法对复杂的瞬时变化做出快速响应和无法对运动趋势建模的缺陷,其将MotionGRU嵌入到模型中增强对复杂运动的建模,同时加入Motion Highway连接用于平衡移动与非移动部分。这对于复杂的气象环境的变换预测显然非常实用,第层,t时刻的工作原理表示为如下所示:
订正模块使用了U-Net的网络结构,该结构优势在于使用不同比例的特征,可以在输入中捕获不同大小的对象,这对降水校正任务显得尤为重要,因为在模式数据中往往会忽略某些降水细节,并且我们的网络还必须达到订正每个网格精确的降水值。
传统深度学习网络大多采用单分支结构,仅能感知单一特征,缺乏对全局和局部特征的全面关注,无法很好的提取数据特征。
为了提高对特征的整体理解,本发明在降水订正网络中使用两个分支,即对整个区域进行处理的全局分支和对分区特征进行处理的局部分支包含两个分支一个分支为全局分支另一个分支则为局部分支两个分支分工不同相互协调兼顾区域整体降水和局部降水的细节最后将特征拼接融合就可以获得目标区域内降水的空间特征;最后进入输出层得到最终的降水预报。
对于24h降水的各个量级(从小雨的10mm到暴雨100mm,甚至更大量级)高度不平衡,这些值的分布是长尾分布,如果使用常规损失函数将会降低模型订正性能,因为大多数样本属于负样本,而这些负样本不会带来任何有效的信号,为此,本发明建议使用加权损失函数来帮助解决这一问题,具体降水各量级分布比例如下表所示:
具体而言,我们为每个降水强度x为其分配一个权重w(x)。
损失函数由加权均方误差(MSE)和加权平均绝对误差(MAE)组成其公式为:
将训练好的最优模型应用于验证集中,并统计模型训练结果计算TS评分评估模型性能。
具体如图5,6,图5所示TS评分即风险评分公式如下:
Claims (5)
1.基于深度学习的数值模式降水产品偏差校正方法,其特征在于,包括以下步骤:
1)首先,利用ERA5再分析气象数据和地面观测降水量之间的相关性,选择对降水存在潜在关系的影响因子作为模型有效特征;
2)对步骤1)选择的对降水存在潜在关系的影响因子切割至研究区域范围(包含上下文信息)构成特征区域,并将该特征空间进行归一化处理,构成训练样本集;
3)采用步骤2)所述的训练样本集,输入空间特征提取中将特征范围放缩至研究区域大小,然后将气象特征输入时空预测网络中提取预测未来时间内气象特征的变化趋势,并通过反卷积将特征空间分辨率与数值预报分辨率保持一致;
4)将步骤3)所述的预测结果与数值预报降水产品和DEM等先验知识进行叠加,输入空间订正模块中,使用自定义的权重损失函数更新模型参数,选择最优模型在测试集中验证模型偏差校正的效果;
5)对偏差校正后的降水结果进行检验评估。
3.根据权利要求1所述的基于深度学习的数值模式降水偏差校正方法,其特征在于,步骤2)所述的数据集的制作与特征归一化的步骤为:
(a)将所选的有效特征切分至研究区域并向四周扩散考虑周围环境对目标区域降水的影响。
根据权利要求1所述的基于深度学习的数值模式降水偏差校正方法,其特征在于,步骤3)所述的时空预测网络先考虑周围气象环境信息对目标区域的影响然后对构建的气象历史序列信息使用MotionRNN用于提取过去一段时间内气象特征的变化推断在未来该目标区域的变化趋势,并将变化趋势使用反卷积得到与数值模式降水一致的空间分辨率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211272422.5A CN115544889A (zh) | 2022-10-18 | 2022-10-18 | 基于深度学习的数值模式降水偏差校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211272422.5A CN115544889A (zh) | 2022-10-18 | 2022-10-18 | 基于深度学习的数值模式降水偏差校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115544889A true CN115544889A (zh) | 2022-12-30 |
Family
ID=84734894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211272422.5A Pending CN115544889A (zh) | 2022-10-18 | 2022-10-18 | 基于深度学习的数值模式降水偏差校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115544889A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116307153A (zh) * | 2023-03-07 | 2023-06-23 | 广东热矩智能科技有限公司 | 用于制冷制热***节能的气象预测方法、装置及电子设备 |
CN116451881B (zh) * | 2023-06-16 | 2023-08-22 | 南京信息工程大学 | 一种基于MSF-Net网络模型的短时降水预测方法 |
CN117950088A (zh) * | 2024-03-26 | 2024-04-30 | 南京满星数据科技有限公司 | 基于多模式的降水预报数据融合订正方法 |
-
2022
- 2022-10-18 CN CN202211272422.5A patent/CN115544889A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116307153A (zh) * | 2023-03-07 | 2023-06-23 | 广东热矩智能科技有限公司 | 用于制冷制热***节能的气象预测方法、装置及电子设备 |
CN116451881B (zh) * | 2023-06-16 | 2023-08-22 | 南京信息工程大学 | 一种基于MSF-Net网络模型的短时降水预测方法 |
CN117950088A (zh) * | 2024-03-26 | 2024-04-30 | 南京满星数据科技有限公司 | 基于多模式的降水预报数据融合订正方法 |
CN117950088B (zh) * | 2024-03-26 | 2024-06-04 | 南京满星数据科技有限公司 | 基于多模式的降水预报数据融合订正方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738252B (zh) | 空间自相关的机器学习卫星降水数据降尺度方法、*** | |
CN112905560B (zh) | 一种多源时空大数据深度融合的空气污染预测方法 | |
CN115544889A (zh) | 基于深度学习的数值模式降水偏差校正方法 | |
CN111080070B (zh) | 一种基于空间误差的城市土地利用模拟元胞自动机方法 | |
CN107688906B (zh) | 多方法融合的输电线路气象要素降尺度分析***及方法 | |
CN112016052B (zh) | 基于多源数据的近地表日最高气温估算方法、***及终端 | |
CN104764868B (zh) | 一种基于地理加权回归的土壤有机碳预测方法 | |
CN112684520A (zh) | 一种气象预报的订正方法、装置、计算机设备及存储介质 | |
CN109636171A (zh) | 一种区域植被恢复的综合诊断与风险评价方法 | |
CN105243435A (zh) | 一种基于深度学习元胞自动机模型的土壤含水量预测方法 | |
CN113902580B (zh) | 一种基于随机森林模型的历史耕地分布重建方法 | |
CN110991262A (zh) | 生态服务价值预测的多带宽地理加权回归元胞自动机方法 | |
CN112131731B (zh) | 一种基于空间特征向量滤波的城市生长元胞模拟方法 | |
CN107798425A (zh) | 一种基于大数据的时空混淆暴露度评估***及方法 | |
CN114254802B (zh) | 气候变化驱动下植被覆盖时空变化的预测方法 | |
CN114861277B (zh) | 一种长时序国土空间功能与结构模拟方法 | |
CN105974495A (zh) | 利用分类拟合法预判目标区域未来平均云量的方法 | |
CN113011455B (zh) | 一种空气质量预测svm模型构建方法 | |
CN113033081A (zh) | 一种基于som-bpnn模型的径流模拟方法及*** | |
CN113984198B (zh) | 一种基于卷积神经网络的短波辐射预测方法及*** | |
CN111401644A (zh) | 一种基于神经网络的降水降尺度空间预测方法 | |
Chao et al. | A spatio-temporal neural network learning system for city-scale carbon storage capacity estimating | |
CN117273200A (zh) | 一种基于卷积优化算法和Pyraformer神经网络的径流区间预报方法 | |
CN114004405A (zh) | 基于Elman神经网络和卫星云图的光伏功率预测方法及*** | |
Xu et al. | Estimating surface soil moisture from satellite observations using machine learning trained on in situ measurements in the continental US |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |