CN114742206A - 综合多时空尺度多普勒雷达数据的降雨强度估计方法 - Google Patents
综合多时空尺度多普勒雷达数据的降雨强度估计方法 Download PDFInfo
- Publication number
- CN114742206A CN114742206A CN202210417830.9A CN202210417830A CN114742206A CN 114742206 A CN114742206 A CN 114742206A CN 202210417830 A CN202210417830 A CN 202210417830A CN 114742206 A CN114742206 A CN 114742206A
- Authority
- CN
- China
- Prior art keywords
- data
- factors
- radar
- model
- rainfall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000002310 reflectometry Methods 0.000 claims abstract description 23
- 238000001556 precipitation Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000010287 polarization Effects 0.000 claims abstract description 3
- 239000002356 single layer Substances 0.000 claims description 10
- 239000010410 layer Substances 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及深度学习定量降水估计技术领域，具体是综合多时空尺度多普勒雷达数据的降雨强度估计方法，其方法步骤包括：获取多普勒单偏振雷达数据和地面自动气象站观测数据；获取雷达反射率因子、气象因子和地理因子；极坐标转笛卡尔坐标；K近邻插值和数据切片；制作标签；设计自注意模块并搭建模型；训练模型以及调整参数；调整最优模型进行测试集降水强度估计；与传统方法降雨估计方法进行对比分析，本发明能够很好的结合多尺度中有利于降雨估计的气象因子，对不利因子进行了一定程度的抑制，设计的模型能够学习到降雨场中的微物理特性，有效利用气象因子和地理因子，与雷达反射率因子相结合，减少误差，进行了更准确的估计。
Description
技术领域
本发明涉及深度学习定量降水估计技术领域，具体是综合多时空尺度多普勒雷达数据的降雨强度估计方法。
背景技术
降雨强度估计是气象学上一个重要的研究方向，与我们的日常生活息息相关。近些年，夏季强对流天气愈发频繁，城市内涝、洪水、泥石流等自然灾害时有发生，对人民的生命和财产安全造成了严重威胁，给国家造成了严重经济损失。多普勒雷达在降雨强度估计中发挥着越来越大的作用，准确且及时的降雨强度估计对防灾减灾有着重大的意义。
然而，降雨过程尤为复杂，高分辨率、高准确率的降雨强度估计是一项具有挑战性的任务。在以往的雷达降水估计研究中，往往关注雨量计周围小尺度的雷达反射率因子，也较少考虑气象因子以及雨量计周围的地理环境对降雨产生的影响。
发明内容
本发明的目的在于提供一种综合多时空尺度多普勒雷达数据的降雨强度估计方法，以解决上述背景技术中提出的问题。
本发明的技术方案是：综合多时空尺度多普勒雷达数据的降雨强度估计方法，包括以下步骤：
S1、获取多普勒单偏振雷达数据和地面自动气象站观测数据；
S2、获取雷达反射率因子、气象因子和地理因子；
S3、采用组合反射率，然后将极坐标系下的雷达数据转为笛卡尔坐标系下的网格数据,再使用反距离加权插值法规整数据，并利用马氏距离去除噪声，进行雷达数据的质量控制，获取准确的雷达等经纬度数据；
S4、获得所有时刻、所有站点在笛卡尔坐标系下的1×400×400的数据集，切割得到三个单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存；
S5、以站点实际降水量为地面真值标签，将数据按照2:8的比例划分为测试集和训练集，最终将所有数据以矩阵的形式进行保存；
S6、建立使用深度学习技术设计的降雨强度估计模型；
S7、初始化模型各神经元权重、训练次数、学习率、学习率衰减系数，通过特征提取网络和全连接神经网络得到降水估计值，对预测结果计算损失；获得最佳网络模型及参数；
S8、将测试集中的数据作为输入层数据，输入到网络模型当中，获得相应的预测降水量数据；
S9、选定衡量模型性能的评价指标，衡量真实值和估计值的相关性，并根据结果分别在时间和空间维度上进行分析，得到最优结果。
进一步的，S1中，于中国气象数据网分别获取多普勒雷达基数据和地面站降水数据。
进一步的，S2中，所述雷达反射率因子为主要输入，所述气象因子和地理因子辅助输入，所述气象因子主要使用温度和湿度，所述地理因子采用高程，对数据进行初步的预处理。
进一步的，S3中，选取离国家气象站最近的网格点作为反射率因子的中心，采用多尺度输入，然后将极坐标下的雷达基数据转换成笛卡尔坐标下的网格数据。
进一步的，S3中，去除噪声的步骤包括：利用常规回波图片处理的方法去噪和将小于70的像素点过滤去除。
进一步的，S4中，所述获得所有时刻、所有站点在笛卡尔坐标系下的1×400×400的数据集，以国家气象站点为中心切割，分别获取大小为1×100×100、1×50×50和1×25×25的单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存。
进一步的，S6中，使用混合空洞卷积进行雷达数据图像降水特征提取，使用最大池化进行下采样，去除冗余信息，对特征进行压缩，简化网络复杂度，使用non-local模块增大高层网络的感受野，获取的信息分布更广。使用设计的多尺度注意力模块，平衡以站点为中心的大尺度图像和小尺度图像。
进一步的，S7中，采用均方误差(MSE)和平均绝对误差(MAE)的加权组合作为损失函数，对预测结果计算损失；利用神经网络进行反向传播，计算各权重梯度，按照梯度下降算法对权重进行更新，不断调整神经元权重，直到训练集误差在合理范围内，停止网络训练，获得最佳网络模型及参数。
进一步的，S9中，采用均方根误差(RMSE)、平均绝对误差(MAE)和相关系数(CC)作为衡量模型性能的评价指标。
本发明通过改进在此提供综合多时空尺度多普勒雷达数据的降雨强度估计方法，与现有技术相比，具有如下改进及优点：
其一：本发明以雷达反射率因子为主要输入，气象因子和地理因子为辅助输入变量，气象因子采用温度和湿度，地理因子采用高程，对数据进行处理，利用训练集训练模型并对参数进行调整，最终得到可以应用于实际降雨强度估计的模。模型合理利用历史降雨观测数据，提高了降雨强度估计的准确度，合理参考了云团运动路径、云团大小对雨量计所测量的降雨值造成的影响，以及雨量计周围地理环境对降雨的影响，可对区域降水强度进行估计，具有很好的应用前景；
其二：本发明的模型整体基于卷积神经网络，设计了一个全新的多尺度自注意力模块，来更好的融合不同尺度中有利于降雨估计的因子。在保持网络结果不变的情况下，输入的数据具有良好的多个维度，根据国家气象站的气象因子数据，使用克里格插值法，根据球形模型，对范围内的气象因子进行差值，再和反射率因子进行时间和空间上的匹配，共同作为输入，合理考虑多尺度时空数据对站点实际降水量带来的影响；
其三：本发明提高了依据雷达数据估测降水量的精度，使用深度学习技术，证明了在降雨强度估计任务中多尺度的雷达反射率因子，以及气象和地理因子作为辅助输入变量的有效性。设计的多尺度注意力模块能够更好的结合多尺度中有利于降雨估计的气象因子，对不利因子进行了一定程度的抑制，设计的模型能够学习到降雨场中的微物理特性，有效利用气象因子和地理因子，与雷达反射率因子相结合，减少误差，进行了更准确的估计。
附图说明
下面结合附图和实施例对本发明作进一步解释：
图1是为本发明方法的流程示意图；
图2为本实施例中混合空洞卷积示意图；
图3为本实施例中non-local模块结构示意图；
图4为本实施例中多尺度注意力模块结构示意图；
图5为本实施例中模型结构示意图；
图6是本实施例的全连接层结构示意图。
具体实施方式
下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对传统的降水量估计方法精度不足，本发明所要解决的问题是提高依据雷达数据估测降水数据的精度，设计一种多尺度的自注意力模块的深度学习模型。证明了在定量降水估计任务中多尺度的雷达反射率因子，以及气象和地理因子作为协变量的有效性。由于云团的变化对雨量计产生影响，采用多尺度中的大尺度特征图来学习更广区域云团的复杂变化和运动情况，小尺度特征图学习雨量计附近与降水更强相关性的空间信息。考虑到气象因素和地理因素的空间相关性，采用二维的气象因素和地理因素作为辅助变量，来捕获它们的空间特性。设计的自注意力机制模块更好的结合了多尺度中有利于降雨估计的因子，对不利因子进行了一定程度的抑制。与传统的降雨估计方法以单尺度为输入的深度学习模型相比，本发明模型学习到降雨场中的微物理过程特性，有效利用气象因子和地理因子，将它们与雷达反射率因子相结合，更客观的刻画降水现象，进而减少误差，得到更为准确的降水强度估计。
本发明的具体技术方案是：
如图1所示，综合多时空尺度多普勒雷达数据的降雨强度估计方法，包括以下步骤：
S1、根据历史降水资料，在中国气象数据网(http://data.cma.cn)分别获取多普勒雷达反射率数据和地面站降水数据；
S2、以雷达反射率因子为主要输入，气象因子和地理因子辅助输入，气象因子主要采用温度和湿度，地理因子采用高程，对数据进行初步的预处理；
S3、采用组合反射率，然后将极坐标系下的雷达数据转为笛卡尔坐标系下的网格数据,再使用反距离加权插值法规整数据；
p是任意正实数，通常，p＝2；hi是离散点到差值点的距离
(x,y)为差值点坐标，(xi,yi)为离散点坐标。
R为插值点到最远离散点的距离，n为离散点的总数。并利用马氏距离去除噪声，进行雷达数据的质量控制，最终获取准确的雷达等经纬度数据，执行步骤4；
S4、获得所有时刻、所有站点在笛卡尔坐标系下的1×400×400的数据集，切割得到三个单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存；
S5、以站点实际降水量为地面真值标签，将数据按照2:8的比例划分为测试集和训练集，最终将所有数据以矩阵的形式进行保存；
S6、建立使用深度学习技术设计的降雨强度估计模型，执行步骤7；
本实施例中，使用混合空洞卷积进行雷达数据图像特征的提取。混合空洞卷积在标准卷积核的特征映射中加入零像素进行填充，降低了计算量，并且达到了扩大感受野的目的。相比于普通卷积，空洞卷积可以在不增加参数量的情况下，提高采样图像的分辨率，实现深度CNN中密集的特征提取。对于大小为K的普通卷积核，相对应的空洞卷积核大小为K+(K-1)*(R-1)，其中，R为我们采样特征图时的空洞率。本发明采用混合空洞卷积(HDC)的方式来搭建网络，避免了网格效应打断局部信息之间的连续性，能够采样原始特征图的一个完整区域。即对于数量为N的卷积层，每一层的卷积核大小为K，其膨胀率为[r1,r2,…,ri]，其最大膨胀率需要满足以下公式：
Mi＝max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]
其中，ri为第i层的膨胀率，Mi是第i层的最大膨胀率。通过HDC，可以在不丢失局部信息的基础上扩大感受野，捕获更全局的信息，如图2所示。
non-local模块考虑了全部的位置，而卷积和序列却不能考虑这么多的信息，non-local可以直接计算两个位置的交互，而不用考虑距离的问题，效率高，效果好，并且只用到几层，输入尺度多样，很容易和其他模型进行结合，可以捕获全局的时空特性，分配不同的权重，最后聚合在每一个位置，具体结构如图3所示，方程式为如下公式：
其中x是输入，y是输出，f函数计算x的第i个位置的特征和x的第j个位置的特征相似度。g函数计算x第j个位置的特征的一种表示，C(x)用来归一化。由此可以看到，y的第i个位置的特征，是x的所有位置的特征的加权平均。当f函数选择EmbeddedGaussian时，
就等于
在j维度上求softMax，因此
也是自注意力的形式。在本发明中，我们对输出的三个不同特征映射，使用1×1卷积操作实现。对不同模块进行相乘，得到全局像素点两两之间的相似度分数，在通过softMax函数，将相似度分数转化为全局信息对于每一个像素点的权重分数。每一个位置的输出用zi来表示，即为全局信息的加权和。
式中添加输入作为残差项使non-local模块更加稳定。
多尺度注意力模块，平衡以站点为中心的大尺度图像和小尺度图像，接受两个输入，即小尺度特征图xM和大尺度特征图xL，具体模型结构如图4所示，小尺度特征图经过特征映射作为Key模块，大尺度特征图经过特征映射作为Query模块。将Key模块和Query模块相乘即为xM和xL逐像素的相似度评分矩阵,如下公式:
Gi,j＝(WK*(xM)i)T*(WQ*(xL)j)
，为了使模块更加稳定，往往会将输入作为shortcut连接在模型的最后；
S7、初始化模型各神经元权重、训练次数、学***均绝对误差(MAE)的加权组合作为损失函数，对预测结果计算损失；利用神经网络进行反向传播，计算各权重梯度，按照梯度下降算法对权重进行更新，不断调整神经元权重，直到训练集误差在合理范围内，停止网络训练，获得最佳网络模型及参数，如图5所示；
S8、将测试集中的数据作为输入层数据，输入到网络模型当中，获得相应的预测降水量数据，如图6；
S9、采用均方根误差(RMSE)、平均绝对误差(MAE)和相关系数(CC)作为衡量模型性能的评价指标，具体公式如下公式
使用相关系数(CC)衡量真实值和估计值的相关性，并根据结果在时间和空间维度上进行分析，得到最优结果。
其中，S9中，采用均方根误差(RMSE)、平均绝对误差(MAE)和相关系数(CC)作为衡量模型性能的评价指标，使用相关系数(CC)衡量真实值和估计值的相关性，并根据结果分别在时间和空间维度上进行分析，得到最优结果，所述RMSE作为实验中最常用的评价指标之一，受异常值影响较大，可以反应真实值和估计值误差的上限。MAE受异常值影响较小，可以反映真实值和估计值的整体误差。CC衡量真实值和估计值的相关性，研究使CC值越大，RMSE和MAE的值越小，代表着最终模型的优越。
具体的，模型具体参数设置：总训练次数为500次，学习率初始值设为0.0001，动态的进行变化，当学习率超过20轮不再发生变化，则会自动停止训练，在保证模型进行快速收敛的同时，又不会导致模型产生发散的效果，并对所有的数据进行归一化处理，进一步提升了模型的收敛速度。
本发明通过与传统的Z-R关系进行对比，发现Z-R关系并不能很好的拟合反射率因子和降雨量之间的关系，与地面真实值相差较大。但是使用的BPN网络的表现却优于传统的Z-R关系，有效证明了深度学习方法在拟合降雨量与反射率因子方面的优势。但是通过CNN模型对比结果，CNN捕获了这种BP网络所忽略的空间结构。就不同的CNN方法而言，加入了气象因素和地理因子为辅助变量比单纯以反射率因子作为输入能得到更准确的降雨值，进一步验证了降雨与气象和地理空间环境的相关性。
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：包括以下步骤：
S1、获取多普勒单偏振雷达数据和地面自动气象站观测数据；
S2、获取雷达反射率因子、气象因子和地理因子；
S3、采用组合反射率，然后将极坐标系下的雷达数据转为笛卡尔坐标系下的网格数据,再使用反距离加权插值法规整数据，并利用马氏距离去除噪声，进行雷达数据的质量控制，获取准确的雷达等经纬度数据；
S4、获得所有时刻、所有站点在笛卡尔坐标系下的1×400×400的数据集，切割得到三个单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存；
S5、以站点实际降水量为地面真值标签，将数据按照2:8的比例划分为测试集和训练集，最终将所有数据以矩阵的形式进行保存；
S6、建立使用深度学习技术设计的降雨强度估计模型；
S7、初始化模型各神经元权重、训练次数、学习率、学习率衰减系数，通过特征提取网络和全连接神经网络得到降水估计值，对预测结果计算损失；获得最佳网络模型及参数；
S8、将测试集中的数据作为输入层数据，输入到网络模型当中，获得相应的预测降水量数据；
S9、选定衡量模型性能的评价指标，衡量真实值和估计值的相关性，并根据结果分别在时间和空间维度上进行分析，得到最优结果。
2.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S1中，于中国气象数据网分别获取多普勒雷达基数据和地面站降水数据。
3.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S2中，所述雷达反射率因子为主要输入，所述气象因子和地理因子辅助输入，所述气象因子主要使用温度和湿度，所述地理因子采用高程，对数据进行初步的预处理。
4.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S3中，选取离国家气象站最近的网格点作为反射率因子的中心，采用多尺度输入，然后将极坐标下的雷达基数据转换成笛卡尔坐标下的网格数据。
5.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S3中，去除噪声的步骤包括：利用常规回波图片处理的方法去噪和将小于70的像素点过滤去除。
6.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S4中，所述获得所有时刻、所有站点在笛卡尔坐标系下的1×400×400的数据集，以国家气象站点为中心切割，分别获取大小为1×100×100、1×50×50和1×25×25的单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存。
7.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S6中，使用混合空洞卷积进行雷达数据图像降水特征提取，使用最大池化进行下采样，去除冗余信息，对特征进行压缩，简化网络复杂度。使用non-local模块增大高层网络的感受野，获取的信息分布更广。使用设计的多尺度注意力模块，平衡以站点为中心的大尺度图像和小尺度图像。
8.根据权利要求7所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S7中，采用均方误差(MSE)和平均绝对误差(MAE)的加权组合作为损失函数，对预测结果计算损失；利用神经网络进行反向传播，计算各权重梯度，按照梯度下降算法对权重进行更新，不断调整神经元权重，直到训练集误差在合理范围内，停止网络训练，获得最佳网络模型及参数。
9.根据权利要求1所述的综合多时空尺度多普勒雷达数据的降雨强度估计方法，其特征在于：S9中，采用均方根误差(RMSE)、平均绝对误差(MAE)和相关系数(CC)作为衡量模型性能的评价指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417830.9A CN114742206B (zh) | 2022-04-20 | 2022-04-20 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417830.9A CN114742206B (zh) | 2022-04-20 | 2022-04-20 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114742206A true CN114742206A (zh) | 2022-07-12 |
| CN114742206B CN114742206B (zh) | 2023-07-25 |
Family
ID=82282727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210417830.9A Active CN114742206B (zh) | 2022-04-20 | 2022-04-20 | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742206B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824372A (zh) * | 2023-06-21 | 2023-09-29 | 中国水利水电科学研究院 | 一种基于Transformer的城市降雨预测方法 |
| CN117455809A (zh) * | 2023-10-24 | 2024-01-26 | 武汉大学 | 基于深度引导扩散模型的图像混合雨去除方法和*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107807907A (zh) * | 2017-09-08 | 2018-03-16 | 中国电力科学研究院 | 一种降水分类方法及*** |
| CN109782375A (zh) * | 2019-01-07 | 2019-05-21 | 华东交通大学 | 基于大数据的降水强度估测方法及*** |
| CN110346844A (zh) * | 2019-07-15 | 2019-10-18 | 南京恩瑞特实业有限公司 | Nriet基于云分类和机器学习的定量降水估测方法 |
| CN111625993A (zh) * | 2020-05-25 | 2020-09-04 | 中国水利水电科学研究院 | 一种基于山区地形及降雨特征预测的小流域面雨量插值方法 |
| CN112965146A (zh) * | 2021-04-14 | 2021-06-15 | 中国水利水电科学研究院 | 一种结合气象雷达与雨量桶观测数据的定量降水估算方法 |
| CN113791415A (zh) * | 2021-09-15 | 2021-12-14 | 南京信息工程大学 | 一种基于深度学习的雷达定量降水估计方法 |
| CN113936142A (zh) * | 2021-10-13 | 2022-01-14 | 成都信息工程大学 | 一种基于深度学习的降水临近预报方法及装置 |
-
2022
- 2022-04-20 CN CN202210417830.9A patent/CN114742206B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107807907A (zh) * | 2017-09-08 | 2018-03-16 | 中国电力科学研究院 | 一种降水分类方法及*** |
| CN109782375A (zh) * | 2019-01-07 | 2019-05-21 | 华东交通大学 | 基于大数据的降水强度估测方法及*** |
| CN110346844A (zh) * | 2019-07-15 | 2019-10-18 | 南京恩瑞特实业有限公司 | Nriet基于云分类和机器学习的定量降水估测方法 |
| CN111625993A (zh) * | 2020-05-25 | 2020-09-04 | 中国水利水电科学研究院 | 一种基于山区地形及降雨特征预测的小流域面雨量插值方法 |
| CN112965146A (zh) * | 2021-04-14 | 2021-06-15 | 中国水利水电科学研究院 | 一种结合气象雷达与雨量桶观测数据的定量降水估算方法 |
| CN113791415A (zh) * | 2021-09-15 | 2021-12-14 | 南京信息工程大学 | 一种基于深度学习的雷达定量降水估计方法 |
| CN113936142A (zh) * | 2021-10-13 | 2022-01-14 | 成都信息工程大学 | 一种基于深度学习的降水临近预报方法及装置 |
Non-Patent Citations (8)
| Title |
|---|
| PANQU WANG ET AL.: "Understanding Convolution for Semantic Segmentation", 《IEEE》 * |
| PANQU WANG ET AL.: "Understanding Convolution for Semantic Segmentation", 《IEEE》, 31 December 2018 (2018-12-31), pages 1451 - 1460 * |
| WEI TIAN ET AL.: "Radar Reflectivity and Meteorological Factors MergingBased Precipitation Estimation Neural Network", 《EARTH AND SPACE SCIENCE》 * |
| WEI TIAN ET AL.: "Radar Reflectivity and Meteorological Factors MergingBased Precipitation Estimation Neural Network", 《EARTH AND SPACE SCIENCE》, 31 December 2021 (2021-12-31), pages 1 - 19 * |
| WEI TIAN1 ET AL.: "Ground radar precipitation estimation with deep learning approaches in meteorological private cloud", 《JOURNAL OF CLOUD COMPUTING》 * |
| WEI TIAN1 ET AL.: "Ground radar precipitation estimation with deep learning approaches in meteorological private cloud", 《JOURNAL OF CLOUD COMPUTING》, 31 December 2020 (2020-12-31), pages 1 - 12 * |
| XIAOLONG WANG ET AL.: "Non-local Neural Networks", 《IEEE》 * |
| XIAOLONG WANG ET AL.: "Non-local Neural Networks", 《IEEE》, 31 December 2018 (2018-12-31), pages 7794 - 7803 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824372A (zh) * | 2023-06-21 | 2023-09-29 | 中国水利水电科学研究院 | 一种基于Transformer的城市降雨预测方法 |
| CN116824372B (zh) * | 2023-06-21 | 2023-12-08 | 中国水利水电科学研究院 | 一种基于Transformer的城市降雨预测方法 |
| CN117455809A (zh) * | 2023-10-24 | 2024-01-26 | 武汉大学 | 基于深度引导扩散模型的图像混合雨去除方法和*** |
| CN117455809B (zh) * | 2023-10-24 | 2024-05-24 | 武汉大学 | 基于深度引导扩散模型的图像混合雨去除方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114742206B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220043182A1 (en) | Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data | |
| CN113936142B (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
| Si et al. | Hybrid solar forecasting method using satellite visible images and modified convolutional neural networks | |
| CN114254561B (zh) | 一种内涝预测方法、***及存储介质 | |
| CN114742206B (zh) | 综合多时空尺度多普勒雷达数据的降雨强度估计方法 | |
| CN109001736B (zh) | 一种基于深度时空预测神经网络的雷达回波外推方法 | |
| CN108761574A (zh) | 基于多源信息融合的降雨量估算方法 | |
| CN103743402B (zh) | 一种基于地形信息量的水下智能自适应地形匹配方法 | |
| CN113496104A (zh) | 基于深度学习的降水预报订正方法及*** | |
| CN112949407B (zh) | 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法 | |
| CN111145245A (zh) | 一种短时临近降雨预报方法、***及计算机可读存储介质 | |
| CN113255972B (zh) | 基于Attention机制的短临降水预测方法 | |
| CN114445634A (zh) | 一种基于深度学习模型的海浪波高预测方法及*** | |
| CN112966853A (zh) | 基于时空残差混合模型的城市路网短时交通流预测方法 | |
| CN114049545B (zh) | 一种基于点云体素的台风定强方法、***、设备及介质 | |
| CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| CN116933621A (zh) | 一种基于地形特征深度学习的城市内涝模拟方法 | |
| CN115792853A (zh) | 一种基于动态权重损失的雷达回波外推方法 | |
| CN115691049A (zh) | 一种基于深度学习的对流初生预警方法 | |
| CN115049013A (zh) | 一种联合线性和svm的短时降雨预警模型融合方法 | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
| CN111488974B (zh) | 基于深度学习神经网络的海洋风能降尺度方法 | |
| CN116699731B (zh) | 一种热带气旋路径短期预报方法、***及存储介质 | |
| CN117131991A (zh) | 基于混合神经网络的城市降雨量预测方法及平台 | |
| CN111811465A (zh) | 基于多正弦函数分解神经网络预测海浪有效波高的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |