CN113936142B - 一种基于深度学习的降水临近预报方法及装置 - Google Patents
一种基于深度学习的降水临近预报方法及装置 Download PDFInfo
- Publication number
- CN113936142B CN113936142B CN202111195256.9A CN202111195256A CN113936142B CN 113936142 B CN113936142 B CN 113936142B CN 202111195256 A CN202111195256 A CN 202111195256A CN 113936142 B CN113936142 B CN 113936142B
- Authority
- CN
- China
- Prior art keywords
- data
- prediction
- radar
- training
- precipitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000013277 forecasting method Methods 0.000 title description 2
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013213 extrapolation Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000013459 approach Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000002310 reflectometry Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 36
- 230000004580 weight loss Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims 2
- 239000000178 monomer Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/418—Theoretical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Electromagnetism (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及信息技术领域，提供了一种基于深度学习的降水临近预报方法及装置。目的在于解决传统模型训练对强回波预测上的关注不够以及解决雷达回波时空序列预测难的问题。主要方案包括以下步骤：步骤S1、首先对天气雷达基数据作预处理；步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
Description
技术领域
本发明涉及信息技术领域，提供了一种基于深度学习的降水临近预报方法及装置。
背景技术
目前降水临近预报的研究方法主要基于天气雷达数据的雷达回波外推技术以及基于数值天气预报(Numerical Weather Prediction，NWP)技术，传统的雷达回波外推技术是根据前几个时刻的雷达观测回波数据来推断雷达回波未来所移动的位置和强度变化，以实现对强对流天气的跟踪预报，现阶段国内外普遍使用的雷达回波外推方法为雷达回波单体质心跟踪算法和雷达回波区域跟踪算法。雷达回波单体质心跟踪算法首先识别风暴单体，通过拟合识别到的雷达回波的质心的路径去线性推断后一时刻的回波位置，但该方法依赖反射率阈值来识别风暴单体所以只对强回波信息的利用较为充分，仅适合应用于对风暴的追踪，在预测大范围降水的回波变化上效果很差，雷达回波单体质心跟踪算法主要基于单个雷达反射率因子，可识别单个的3D雷暴单体并跟踪单体质心路径，它适用于跟踪和临近预报强雷暴单体，但并没有考虑大气动力和热力学等因素对回波强度变化的影响，所以在天气现象较弱或一般降水天气的临近预报方面应用很差。尽管雷达回波区域跟踪算法可以处理平缓变化的层状降水***，但是由于运动矢量的错误使得计算量增加，因此雷达回波区域跟踪算法难以预测快速运动和快速发展的强对流天气。NWP技术是指使用大气与海洋的数学模型来预测大气状态的变化，它能够很好地考虑到大气运动中发生的物理过程，包括热力学过程和云内微物理发展等，从而能够模拟对流***的生成、发展与消亡。NWP方法确实可以模拟潜在的大气物理学，并且可以提供可靠的预测，但是通常需要花费数小时来进行模拟，这限制了其在临近预报中的使用能力，尽管NWP模型已经取得了很大的进步，但仍然面临一些困难和挑战，例如对流尺度的模型误差快速增长，该方法仍不足以进行短临预报。因此，这些传统的临近预报技术几乎无法及时、准确预测回波的发生、消失和强度变化，所以需要开发新的临近预报技术。
发明内容
本发明的目的在于解决传统模型训练对强回波预测上的关注不够以及解决雷达回波时空序列预测难的问题。
本发明为了解决上述技术问题，因此采用以下技术手段：
一种基于深度学习的降水临近预报方法，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上述技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
本发明还提过了一种基于深度学习的降水临近预报装置，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上市技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，计算出的W-MSE和W-MAE为以上公式，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
因为本发明采用上述技术方案，因此具备以下有益效果：
一、由于现实业务中我们更加关注强降水也就是强回波的预测，但是大多数情况强回波相比于总体回波来说占比较小，所以本文的神经网络采用改进优化后的W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数。目的是为了增强模型对大雨的预测能力，从而希望能够预测短时强降水目标相吻合。
二、本发明将结合卷积神经网络与长短期记忆网络优点的ConvLSTM网络结构与时空编码预测网络模型(Encoder-Forecast模型)相结合来解决雷达回波时空序列预测问题，同时本文的深度学习网络将MSE及MAE传统损失函数优化后的W-MSE和W-MAE相结合得到权重损失函数，并作为模型训练的损失函数，W-MSE和W-MAE可将更多的权重分配给较强的回波，使得模型训练更加关注到强回波预测上。
附图说明
图1为本发明框架结构示意图：
具体实施方式
为方便本领域技术人员更好的理解本发明的技术方案，先对本发明做如下具体说明：
本申请首先利用北京雷达2015～2016年6月～9月、以及海南海口和东方雷达2018～2019年9月～12月收集的降水数据进行数据预处理，包括组合反射率生成、归一化处理、孤立点滤波、裁剪等转换成模型训练可用的标准数据格式，建立雷达回波数据集。之后将结合卷积神经网络与长短期记忆网络优点的ConvLSTM网络结构与Encoder-Forecast模型相结合来解决雷达回波时空序列预测问题，同时本文的深度学***均为0.512，POD平均为0.896，FAR平均为0.472，一小时降水结果CSI平均为0.406，POD为0.890，FAR为0.570。
研究证明本申请所用方法对反射率因子位置及强度预测更加准确，并且对降水临近预报上有一定的预报能力。开展基于深度学***。
一种基于深度学习的降水临近预报方法，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上述技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
本发明还提过了一种基于深度学习的降水临近预报装置，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比；
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测。
上述技术方案中，预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子Z通过线性变换为像素值P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为n×n大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值Pij时，则该中心点被认为不被保留，作为孤立点回波删除。
公式中Zi,j为此格点的反射率因子，spval为无效值，Nz为有效点个数，Pij为窗口中有效点个数与窗口总个数的比值；
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据。
上述技术方案中，时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据进过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成(n/x)×(n/x)再到(n/y)×(n/y)最后缩小到(n/z)×(n/z)；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，(n/z)×(n/z)数据恢复成n×n的大小，输出未来时刻的预测数据；
例子：
输入数据进过编码网络结构的三层下采样层时进行5、4、2倍的缩小，从400×400的数据大小变成80×80再到20×20最后缩小到10×10；此目的是为了在编码网络结构中数据缩小的时候卷积层能捕捉到周围更多的空间信息，同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态(Hidden state)并且把隐藏状态传给预测网络结构(下层)中对应的三层ConvLSTM网络，之后输入数据传入预测网络的三层上采样层进行了2、4、5倍的同比例放大，10×10数据恢复成400×400的大小，输出未来时刻的预测数据。
上述技术方案中，时空编码预测网络模型的训练包括如下步骤：
将前0.5-1h的数据图像输入到时空编码预测网络模型中，输出的图像为未来1-2h内的雷达反射率预测数据，使用W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降等方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
上市技术方案中，W-MSE和W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss＝10000×(W-MSE+W-MAE)
其中每个格点的反射率因子dBZ分配权重W(dBZ)，计算出的W-MSE和W-MAE为以上公式，其中N是图像帧的总数，Wn,w,h是与第n帧中的第(w，h)个格点相对应的权重，Xn,w,h代表实际的第n帧中的第(w，h)个格点相对应的数据，xn,w,h表示预测输出的第n帧中的第(w，h)个格点相对应的数据。
在进行深度学习神经网络训练之前，首先要保障数据质量，数据质量可以直接影响神经网络的训练效果，所以数据质量对于网络训练来说至关重要，于是数据预处理在深度学习领域是不能缺少的一个环节。首先不同的雷达几乎由不同的公司设计和生产，并且基数据是二进制文件不能直接使用，因此在实验前需要根据雷达型号所对应的数据结构对基数据先进行解码，解码过后的数据密度不均匀，为方便后续的数据处理分析，需将极坐标数据转化为笛卡尔坐标形式，实现数据网格化，网格化后的数据还可能伴随杂质过多、无效信息过多等问题。如果将这些未处理的数据直接输入网络训练，可能会得到效果较差的神经网络训练结果，可能会出现网络学习到的特征价值不高、网络运算量较大、效率低等问题。所以对多普勒雷达数据进行预处理，能够更好的利用雷达基数据也能得到更高质量的训练结果。本申请使用的预处理方法包括雷达二次产品生成、数据归一化处理、孤立点回波滤除、裁剪处理。
Claims (6)
1.一种基于深度学习的降水临近预报方法，其特征在于，包括以下步骤：
步骤S1、首先对天气雷达基数据作预处理；
步骤S2、将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
步骤S3、使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比;
步骤S4、最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测；
步骤S1包括以下步骤：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子 Z 通过线性变换为像素值 P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为 n×n 大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值时，则该中心点被认为不被保留，作为孤立点回波删除；
公式中 为此格点的反射率因子，spval 为无效值，/> 为有效点个数，/>为窗口中有效点个数与窗口总个数的比值;
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据；
时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据经过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成（n/x）×（n/x）再到（n/y）×（n/y）最后缩小到（n/z）×（n/z）；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态（Hidden state）并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，（n/z）×（n/z）数据恢复成n×n的大小，输出未来时刻的预测数据。
2.根据权利要求1所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型的训练包括如下步骤：
将前 0.5-1h 的数据图像输入到 时空编码预测网络模型中，输出的图像为未来 1-2h内的雷达反射率预测数据，使用 W-MSE和 W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
3.根据权利要求1所述的一种基于深度学习的降水临近预报方法，其特征在于，W-MSE和 W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss = 10000 × (𝑊 − 𝑀𝑆𝐸 + 𝑊 − 𝑀𝐴𝐸)
;
;
其中每个格点的反射率因子 dBZ 分配权重 W(dBZ)，其中 N 是图像帧的总数，是与第 n 帧中的第（w，h） 个格点相对应的权重，/>代表实际的第 n 帧中的第（w，h）个格点相对应的数据，/>表示预测输出的第 n 帧中的第（w，h） 个格点相对应的数据。
4.一种基于深度学习的降水临近预报装置，其特征在于，包括：
预处理模块：首先对天气雷达基数据作预处理；
数据准备模块：将预处理后的雷达回波数据分为深度学习网络训练所用的训练集、验证集与测试集；
训练模块：使用训练集、验证集与测试集进行时空编码预测网络模型训练，利用训练好的时空编码预测网络模型进行雷达回波外推，得到预测回波数据，并对预测回波数据与实际观测数据进行对比;
预测模块：最后将预测后的雷达回波进行雷达定量降水估测，并和地面真实降水数据对比进行降水预报检测；
预处理模块包括：
S1.1、取雷达反射率数据，通过比较雷达位置所在经纬度的相同方位角相同距离处不同高度处的反射率数值，取最大值保留为组合反射率数组内数值，将极坐标数据转换成笛卡尔坐标格点上，实现数据网格化，最终获得组合反射率数据；
S1.2、利用组合反射率数据中的最大值和最小值将原始的反射率因子 Z 通过线性变换为像素值 P将反射率因子归一化映射在[0,1]之间：
基于组合反射率数据上，将设置为 n×n 大小的滤波窗口，如果该窗口中心点周围的有值点个数与窗口总个数的比值小于阈值时，则该中心点被认为不被保留，作为孤立点回波删除：
公式中 为此格点的反射率因子，spval 为无效值，/> 为有效点个数，/>为窗口中有效点个数与窗口总个数的比值;
裁剪调雷达回波图像四周边缘，得到与处理后的雷达回波数据；
时空编码预测网络模型包括编码网络结构和预测网络结构，编码网络结构通过ConvLSTM网络堆叠组成，预测网络结构通过ConvLSTM网络堆叠组成，
将输入数据送进时空编码预测网络后数据的变化过程：
输入数据经过编码网络结构的三层下采样层时进行x、y、z倍的缩小，从n×n的数据大小变成（n/x）×（n/x）再到（n/y）×（n/y）最后缩小到（n/z）×（n/z）；同时穿插了三层ConvLSTM网络，拥有了64、192、192的隐藏状态（Hidden state）并且把隐藏状态传给预测网络结构中对应的三层ConvLSTM网络，之后输入数据传入预测网络结构的三层上采样层进行了z、x、y倍的同比例放大，（n/z）×（n/z）数据恢复成n×n的大小，输出未来时刻的预测数据。
5.根据权利要求4所述的一种基于深度学习的降水临近预报方法，其特征在于，时空编码预测网络模型的训练包括如下步骤：
将前 0.5-1h 的数据图像输入到 时空编码预测网络模型中，输出的图像为未来 1-2h内的雷达反射率预测数据，使用 W-MSE和 W-MAE相结合的权重损失函数作为模型训练的损失函数计算模型输出结果与实际数据的差异度，并利用随机梯度下降方法，对模型进行优化，更新权重与偏置，使差异值降到最低值。
6.根据权利要求4所述的一种基于深度学习的降水临近预报方法，其特征在于，W-MSE和 W-MAE相结合的权重损失函数作为模型训练的损失函数为：
Loss = 10000 × (𝑊 − 𝑀𝑆𝐸 + 𝑊 − 𝑀𝐴𝐸)
;
;
其中每个格点的反射率因子 dBZ 分配权重 W(dBZ)，计算出的 W-MSE 和 W-MAE 为以上公式，其中 N 是图像帧的总数，是与第 n 帧中的第（w，h） 个格点相对应的权重，代表实际的第 n 帧中的第（w，h） 个格点相对应的数据，/>表示预测输出的第 n帧中的第（w，h） 个格点相对应的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195256.9A CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195256.9A CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936142A CN113936142A (zh) | 2022-01-14 |
| CN113936142B true CN113936142B (zh) | 2024-06-18 |
Family
ID=79279242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111195256.9A Active CN113936142B (zh) | 2021-10-13 | 2021-10-13 | 一种基于深度学习的降水临近预报方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936142B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114636981B (zh) * | 2022-02-28 | 2022-12-02 | 广东省气象台(南海海洋气象预报中心) | 基于雷达回波的在线深度学习台风中心定位*** |
| CN114325880B (zh) * | 2022-03-08 | 2022-05-31 | 浙江工业大学 | 一种基于雷达回波图的降雨预测方法及装置 |
| CN114488070B (zh) * | 2022-04-08 | 2022-07-19 | 北京弘象科技有限公司 | 一种基于深度学习模型的雷达回波外推方法和装置 |
| CN114742206B (zh) * | 2022-04-20 | 2023-07-25 | 南京信息工程大学 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
| CN115016042B (zh) * | 2022-06-06 | 2023-07-28 | 湖南师范大学 | 基于多编码器融合雷达和降水信息的降水预测方法及*** |
| CN115113303B (zh) * | 2022-06-21 | 2023-10-31 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
| CN115236770B (zh) * | 2022-06-29 | 2024-05-28 | 广西壮族自治区气象科学研究所 | 基于时空堆叠和样本重构的非线性短时临近降水预报方法 |
| CN115792847B (zh) * | 2022-11-08 | 2023-07-18 | 江西师范大学 | 一种基于神经网络和回波垂直信息的定量降水估测方法 |
| CN115755227B (zh) * | 2023-01-10 | 2023-04-14 | 南京信大气象科学技术研究院有限公司 | 一种基于深度神经网络模型的三维雷达外推方法 |
| CN116719002B (zh) * | 2023-08-08 | 2023-10-27 | 北京弘象科技有限公司 | 定量降水估计方法、装置、电子设备及计算机存储介质 |
| CN116953653B (zh) * | 2023-09-19 | 2023-12-26 | 成都远望科技有限责任公司 | 一种基于多波段天气雷达组网回波外推方法 |
| CN117129963A (zh) * | 2023-10-09 | 2023-11-28 | 北京大学重庆大数据研究院 | 基于迁移预测的雷达回波外推方法及其可读存储介质 |
| CN117907965B (zh) * | 2024-03-19 | 2024-05-24 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180375A (zh) * | 2020-09-14 | 2021-01-05 | 成都信息工程大学 | 一种基于改进的TrajGRU网络的气象雷达回波外推方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10754063B2 (en) * | 2016-06-14 | 2020-08-25 | The Climate Corporation | Supervised neural network to predict unlabeled rain rates |
| US11169263B2 (en) * | 2019-10-04 | 2021-11-09 | International Business Machines Corporation | Predicting weather radar images |
| CN112415521A (zh) * | 2020-12-17 | 2021-02-26 | 南京信息工程大学 | 基于cgru的强时空特性雷达回波临近预报方法 |
| CN113064222B (zh) * | 2021-03-09 | 2022-05-10 | 中国气象科学研究院 | 雷电预警预报方法和*** |
-
2021
- 2021-10-13 CN CN202111195256.9A patent/CN113936142B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180375A (zh) * | 2020-09-14 | 2021-01-05 | 成都信息工程大学 | 一种基于改进的TrajGRU网络的气象雷达回波外推方法 |
Non-Patent Citations (1)
| Title |
|---|
| 对抗型长短期记忆网络的雷达回波外推算法;方巍等;《中国图像图形学报》;20210516;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936142A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113936142B (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
| Zhou et al. | Forecasting different types of convective weather: A deep learning approach | |
| CN111428862B (zh) | 一种极类不平衡时空联合对流初生短临预报方法 | |
| CN114049545B (zh) | 一种基于点云体素的台风定强方法、***、设备及介质 | |
| CN112946784B (zh) | 一种基于深度学习的SuperDARN雷达对流图短期预报方法 | |
| CN113469278B (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
| CN111340668B (zh) | 一种台风灾害评估*** | |
| CN117233870B (zh) | 一种基于多气象要素的短临降水集合预报及降尺度方法 | |
| Liu et al. | A spatio-temporal modeling framework for weather radar image data in tropical Southeast Asia | |
| CN115019192A (zh) | 基于双通道主干网络和联合损失函数的洪灾变化检测方法及*** | |
| CN114742206B (zh) | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 | |
| CN115166750A (zh) | 一种基于双偏振多普勒雷达数据的定量降水估计方法 | |
| Hatanaka et al. | Diffusion models for high-resolution solar forecasts | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
| CN112668615B (zh) | 一种基于深度跨尺度外推融合的卫星云图预测方法 | |
| Wang et al. | A rapid identification and warning method for severe weather via Doppler radar based on an improved TITAN algorithm | |
| CN117710508A (zh) | 基于改进条件生成对抗网络的近地表温度反演方法和装置 | |
| Yuan et al. | [Retracted] Weather Radar Image Superresolution Using a Nonlocal Residual Network | |
| Li et al. | Recognition algorithm for deep convective clouds based on FY4A | |
| CN113936166A (zh) | 一种基于多普勒天气雷达数据的冰雹回波识别方法及*** | |
| CN110727719A (zh) | 一种基于动力松弛逼近的闪电定位资料同化方法 | |
| Ma et al. | Modelling the ZR Relationship of Precipitation Nowcasting Based on Deep Learning | |
| Bolla et al. | The tracking and prediction of high intensity rainstorms | |
| Qing-Dao-Er-Ji et al. | Application of Convolution Neural Network Based on Transfer Learning in Sandstorm Prediction in Inner Mongolia | |
| CN118296349A (zh) | 一种基于深度学习和微波数据的热带气旋定强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |