CN115761261A - 一种基于雷达回波图外推的短临降水预测方法 - Google Patents

Abstract

本发明公开了一种基于雷达回波图外推的短临降水预测方法，首先采用UNet网络模型框架，并在其特征编码块上进行改进，通过引入多尺度特征嵌入模块获得局部和全局的短临降水的特征信息，从而增加了模型的多尺度预测能力；引入多层级融合模块实现局部、中等、全局特征在不同层级之间的信息传递，能够充分利用CNN关注局部信息和Transformer建立全局依赖的优势，提高模型在雷达回波序列空间维度上的特征表达；并且采用跨时间的Transformer算法挖掘雷达回波序列时序上的依赖关系，学习得到短临降水的时间变化趋势，增强模型在雷达回波序列时间维度上的特征表达；改进后的模型增强了模型在雷达回波序列空间、时间维度上的特征提取能力，提升了短临降水预测的准确性。

Description

一种基于雷达回波图外推的短临降水预测方法

技术领域

本发明属于图像处理中的目标检测领域，具体涉及一种基于雷达回波图外推的短临降水预测方法。

背景技术

我国是一个地理环境差异大，生态***脆弱，气候条件复杂的国家，也是遭受极端天气灾害影响较为严重的国家，于此同时，短临降水预测也因为其具有突发性强、机理复杂多样、生命周期短等特征，也是一个非常复杂而苦难的领域，因此，短临降水预测研究具有重大意义。但目前准确率和预报时效方面仍然不足以满足业务需求，因此，进一步提升短临预报的准确率对于人民的生产生活十分重要。

数值预报作为我国传统使用的预报方法，因其在时间和空间上的分辨率不够精细，只能提供简单的定性描述，已无法满足当下经济社会快速发展的需要，更加精细化的短临预报特别是强对流天气的精细化预报已经成为当下气象业务研究发展的主要方向。

近年来随着气象监测设备和人工智能技术的发展，利用机器学习和深度学习技术基于雷达回波数据驱动的短临降水预测方法迅速成为研究的热点问题。该方法不关注复杂的大气动力学过程，只是通过以往的雷达回波序列来预测未来的雷达回波序列。这种方法将短临降水预报鲜明的划分为两个步骤：首先对未来的雷达回波序列进行预测，然后根据得到的回波分布来估计降水。

基于深度学习的RNN的方法被广泛的用于基于雷达回波外推的降水预测。例如，将CNN与LSTM架构相结合，提出了ConvLSTM模型。还提出了预测递归神经网络(PredRNN)模型及其改进版本(PredRNN++)模型，实现短临降水的预测。然而，这些基于RNN的方法总是存在梯度消失的问题，因此造成了短临降水预测精度不高的问题。

除了基于RNN的方法，还提出了基于CNN的方法用于短临降水的预测。例如提出了基于UNet的FCN(Fully Convolution Networks)模型和在SmaAt-UNet模型。然而，基于CNN的方法通常是提取局部特征的有效方法，对于全局特征的表达却不充分，因此造成了短临降水预测的准确度不高的问题。

现有的方法利用CNN关注局部特征和Transformer中的自注意机制可以挖掘全局特征的优势，将两者相结合用于短临降水预测。提出了一种结合U-Net和Transformer的AA-UNetTransUnet网络用于短临降水预测，CSI为0.6651(r≥0.5)。此外，还提出了一种结合了Swin-Transformer、UNet和栅极融合单元的Rainformer模型，预测短临降水的CSI为0.6678(r≥0.5)(CSI指标同时考虑漏报和空报两类错误,其数值在0～1之间。0表示完全失败,1表示完全正确)。然而，这些模型对雷达回波的时间序列信息并没有得到有效的提取，因此造成了短临降水预测精度不高的问题。直接利用UNet训练短临降水预测器，短临降水预测准确度不高，存在的主要问题是雷达回波序列在空间、时间维度的特征表达的不充分。因此，原始的UNet网络人需要进一步改进才能满足实际应用。

发明内容

发明目的：本发明的目的是提供一种基于雷达回波图外推的短临降水预测方法，首先采用UNet网络模型框架，并在其特征编码块上进行改进，通过引入多尺度特征嵌入模块获得局部和全局的短临降水的特征信息，从而增加了模型的多尺度预测能力；引入多层级融合模块实现局部、中等、全局特征在不同层级之间的信息传递，能够充分结合CNN关注局部信息和Transformer建立全局依赖的优势，提高模型在雷达回波序列空间维度上的特征表达；并且采用跨时间的Transformer算法挖掘雷达回波序列时序上的依赖关系，学习得到短临降水的时间变化趋势，增强模型在雷达回波序列时间维度上的特征表达，改进后的模型增强了模型对于雷达回波序列空间、时间维度的特征提取能力，提升了短临降水预测的准确性。

技术方案：为达到此目的，本发明采用以下技术方案：

本发明所述的一种基于雷达回波图外推的短临降水预测方法，包括以下步骤：

S1：收集雷达降水图，对原始降水图片进行数据预处理；

S2：在UNet的网络框架中使用多尺度特征嵌入模块，构建特征提取网络前端，引出三条支路的输出特征，记为特征X_l，X_m，X_g；

S3：采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端；

S4：增加跨时间的Transformer算法，构建提取网络后端；

S5：对改进后的网络模型进行迁移学习，得到基于雷达回波图外推的短临降水预测模型。

作为本发明的进一步技术方案，所述步骤S1中，数据的预处理方式包括图像的中心剪裁，本发明的数据的预处理方法为：

S11：收集雷达降水图的原始数据，对原始降水图片进行中心剪裁去掉圆形边缘的空白背景区域，得到训练样本。

作为本发明的进一步技术方案，所述步骤S2中，使用多尺度特征嵌入模块，构建特征提取网络前端的方法为：

S21：分离出原始UNet网络的编码器特征提取网络的第一个纯卷积网络结构；

S22：将S21分离出来的单分支纯卷积模块替换为具有三条支路(两个Transformer块支路，一条CNN块支路)的多尺度特征嵌入模块，将上一层的输出端连接到多尺度特征嵌入模块的输入端，此模块会并行计算同一映射上的多个不同变换，也就是并行的卷积块运算和Transformer块运算，使用该模块对固定大小的图像进行多尺度学习并且提取X_l，X_m，X_g特征；

S23：将S22中多尺度特征模块的三条支路的输出到下一层进行处理，得到同一图形不同尺度下的特征；

S24：将原始UNet网络中的纯卷积特征提取网络结构按照S21到S22不断进行处理，直至将原始UNet特征提取网络中全部的纯卷积特征提取模块全部替换为多尺度特征嵌入模块，这一步结束。

作为本发明的进一步技术方案，所述步骤S3中，采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端的方法为：

S31：从S2中新的多尺度特征嵌入模块的卷积支路引出输出的特征，记为特征X_l，将通过两个3*3卷积之后接Transformer块的支路引出的输出特征，记为特征X_m，将通过三个3*3卷积之后接Transformer块的支路引出的输出特征，记为特征X_g；

S32：将特征X_l拼接到特征X_m中；

S33：将特征X_m拼接到特征X_g中，；

S34：将S32和S33得到的输出再分别通过多层感知机对特征进行映射变换进而实现特征融合。

作为本发明的进一步技术方案，所述步骤S4中，增加跨时间的Transformer算法，构建提取网络后端的方法为：

41：将S3的三支路的输出端分别连接到跨时间的Transformer块的输入端；

S42：将S31的三支路分别连接跨时间Transformer块后的输出特征引出，分别记为X’_l，X’_m，X’_g，跨时间的Transformer块的算法公式为：

其中

为自适应的掩码参数；

S43：将S41中的三支路的输出进行拼接，通过跳跃连接和卷积操作送入到下一层的模型结构。

作为本发明的进一步技术方案，所述步骤S5中，将改进后的网络模型进行迁移学习，得到基于雷达回波图外推的短临降水预测模型的方法为：

S51：从UNet官网下载预训练默认参数和执行权重的微调操作将所得参数加载到我们改进的UNet网络中，得到的优化的目标函数为：

X_t+1，...，X_t+k＝f(X_t-j+1，...，X_t)

其中X_t为t时刻的雷达回波序列；

S52：采用制作好的数据集对该模型进行迁移学习，训练至收敛。

有益效果：本发明公开了一种基于雷达回波图外推的短临降水预测方法，首先采用UNet网络模型框架，通过引入多尺度特征嵌入模块和多层级融合模块，融合了不同层级的CNN块和Transformer块的多尺度的特征，提高模型在雷达回波序列空间维度上的特征表达；并且采用跨时间的Transformer算法挖掘雷达回波序列时序上的依赖关系，增强模型在雷达回波序列时间维度的特征表达；本发明增强了雷达回波序列在空间、时间维度的特征表达能力，使得短临降水预测的准确性提升明显。

附图说明

图1为本发明基于雷达回波图外推的短临降水预测方法流程图，

图2为本发明经中心剪裁的训练样本示意图，

图3为本发明多尺度特征嵌入模块示意图，

图4为本发明多层级融合模块示意图，

图5为本发明在UNet编码层网络结构中引入跨时间的Transformer模块示意图，

图6为本发明改进后的UNet编码块的网络整体框架示意图，

图7为本发明改进后的UNet编码层网络的实际的预测效果示意图。

具体实施方式

下面结合具体实施方式和附图对本发明的技术方案作进一步的介绍。

实施例1：本具体实施方式公开了一种基于雷达回波图外推的短临降水预测方法，如图1～图7所示，包括以下步骤：

S1：如图1所示，样本输入网络训练之前需要经过预处理操作，收集雷达降水图，对原始降水图片进行中心剪裁得到训练样本(如图2所示)；

S2：使用包含Transformer块和CNN块的多尺度特征嵌入模块代替原始的UNet特征提取网络的纯卷积模块，得到改进后的特征提取网络前端(如图3所示)，引出三条支路的输出特征，记为特征X_l，X_m，X_g；

S3：采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端(如图4所示)，实现不同层级之间的信息传递，强化原有模型对于雷达回波序列空间维度的特征表达；

S4：增加跨时间的Transformer算法挖掘雷达回波序列时序上的依赖关系，得到改进后的特征提取网络后端(如图5所示)，强化原有模型对于雷达回波序列时间维度的特征表达；

S5：从UNet官网上下载预训练默认参数和执行权重微调操作并且加载到改进的UNet模型当中，对改进后的UNet网络(如图6所示)进行迁移学习，该网络对于测试集图片的预测的损失函数逐渐减小，最终达到收敛，得到基于雷达回波图外推的短临降水预测模型，实际的预测效果示意图如图7所示。

步骤S1中，数据的预处理方式为图像的中心剪裁，本发明的数据的预处理方法为：

S11：收集雷达降水图，我们选取4000个序列作为训练集，1734个序列作为验证集；

S12：针对原始雷达降水图片，采用中心剪裁算法对网络的原始图片进行剪裁去掉圆形边缘的空白背景区域，得到分辨率为288*288的训练样本和测试样本，并将其应用到UNet网络的训练中，每次训练采用9帧序列被用作模型的输入，另外9帧作为ground truth(GT)，X_t-j+1,...,X_t为一次输入网络的j个连续时间戳上的雷达回波序列图。

步骤S2中，使用包含Transformer和CNN块的多尺度特征嵌入模块代替原始UNet特征提取网络的纯卷积模块的方法为：

S21：分离出原始UNet网络的编码器特征提取网络的第一个纯卷积网络结构；

S22：将S21分离出来的单分支纯卷积模块替换为具有三条支路(两个Transformer块支路，一条CNN块支路)的多尺度特征嵌入模块，将上一层的输出端连接到多尺度特征嵌入模块的输入端，此模块会并行计算同一映射上的多个不同变换，也就是并行的卷积块和Transformer块，其中卷积块支路(即局部特征块)由1个1x1卷积、1个3x3卷积、一个1x1卷积组成，Transformer的中等特征支路由两个3*3卷积层和层标准化LN、多头注意力机制MHSA、前馈网络FFN组成，Transformer的全局特征支路由三个3*3卷积层和层标准化LN、多头注意力机制MHSA、前馈网络FFN组成，使用该模块对固定大小的图像进行多尺度学习并且提取X_l，X_m，X_g特征；

S23：将S22中多尺度特征模块的三条支路的输出到下一层进行处理，得到同一图形不同尺度下的特征；

S24：将原始UNet网络中的纯卷积特征提取网络结构按照S21到S22不断进行处理，直至将原始UNet特征提取网络中全部的纯卷积特征提取模块全部替换为多尺度特征嵌入模块，这一步结束。

步骤S3中，采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端的方法为：

S31：从S2中新的多尺度特征嵌入模块的卷积支路引出输出的特征，记为特征X_l，将通过两个3*3卷积之后接Transformer块的中等特征支路引出的输出特征，记为特征X_m，将通过三个3*3卷积之后接Transformer块的全局特征支路引出的输出特征，记为特征X_g；

S32：将特征X_l拼接到特征X_m中；

S33：将特征X_m拼接到特征X_g中，；

S34：将S32和S33得到的输出再分别通过多层感知机对特征进行映射变换进而实现特征融合，该特征输出可以得到更丰富的雷达回波序列空间维度的特征。

步骤S4中，增加跨时间的Transformer算法，构建提取网络后端的方法为：

S41：将S3的三支路的输出端分别连接到跨时间的Transformer块的输入端；

S42：将S31的三支路分别连接跨时间Transformer块后的输出特征引出，分别记为X’_l，X’_m，X’_g，跨时间的Transformer块的算法公式为：

其中

为自适应的掩码策略；

S43：将S41中的三支路的输出进行拼接，通过跳跃连接和卷积操作送入到下一层的模型结构。

步骤S5中，将改进后的UNet模型经过迁移学习，训练得到的智能预测模型的方法为：

S51：从UNet官网下载预训练默认参数和执行权重的微调操作将所得参数加载到我们改进后的UNet网络中，得到的优化的目标函数为：

X_t+1，...，X_t+k＝f(X_t-j+1，...，X_t)

其中X_t为t时刻的雷达回波序列；

S52：采用制作好的数据集对该模型进行迁移学***衡平均绝对误差(Balance Mean Absolute Error，B-MAE)作为验证损失函数，当训练阶段验证损失不再减少时，选择验证损失最小的模型作为最好的训练预测模型。

本发明与SOTA进行比较，如表1、2、3所示，最好的性能用粗体突出显示，为了便于比较r≥10的结果乘以10，r≥30的结果乘以100。与其他SOTA相比，我们的模型在四个评估指标上(CSI，HSS，MSE，MAE)达到了最佳的性能水平。

表1本发明与现有算法的CSI对比结果

表2本发明与现有算法的HSS对比结果

表3本发明与现有算法的MSE&MAE对比结果

方法	B-MSE↓	B-MAE↓
			ConvLSTM	18.4430	1.2656
PredRNN++	17.7672	1.2332
			SmaAt-Unet	17.5860	1.2162
AA-TransUnet	17.0093	1.2032
			Rainformer	16.6708	1.1836
本发明	15.9018	1.1709

综上所述，本发明利用一些当前先进方法改进了UNet模型，在四个预测精度指标上都表现最好，尤其重要的是，在10mm/h和30mm/h阈值(强降雨)上有明显的改进。与优秀的PredRNN++方法相比，所提出的方法对暴雨(30mm/h)的预测CSI和HSS都有显著的提高。即使是新提出的Rainformer方法，在30mm/h阈值下，CSI和HSS(skill－score of forecast，将实际预报与随机预报或持续性预报作比较以衡量预报方法好坏的一种指标，越高越好)也可以获得超过4.2％和3.1％的提高。提升了短临降水预测的准确度，使检测模型在复杂多变的天气精确地预测短临降水的点强度和规模，满足短临降水预测的准确性要求。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于雷达回波图外推的短临降水预测方法，其特征在于：包括以下步骤：

S1：收集雷达降水图，对原始降水图片进行数据预处理；

S2：在UNet的网络框架中使用多尺度特征嵌入模块，构建特征提取网络前端，引出三条支路的输出特征，记为特征X_l，X_m，X_g；

S3：采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端；

S4：增加跨时间的Transformer算法，构建提取网络后端；

S5：对改进后的网络模型进行迁移学习，得到基于雷达回波图外推的短临降水预测模型。

2.根据权利要求1所述的一种基于雷达回波图外推的短临降水预测方法，其特征在于，所述步骤S1中，数据的预处理方式为：

S11：收集雷达降水图，对原始降水图片进行中心剪裁去掉圆形边缘的空白背景区域，得到训练样本。

3.根据权利要求1所述的一种基于雷达回波图外推的短临降水预测方法，其特征在于，所述步骤S2中，使用多尺度特征嵌入模块，构建特征提取网络前端的方法为：

S21：分离出原始UNet网络的编码器特征提取网络的第一个纯卷积网络结构；

S22：将S21分离出来的单分支纯卷积模块替换为具有三条支路(两个Transformer块支路，一条CNN块支路)的多尺度特征嵌入模块，将上一层的输出端连接到多尺度特征嵌入模块的输入端，此模块会并行计算同一映射上的多个不同变换，也就是并行的卷积块运算和Transformer块运算，使用该模块对固定大小的图像进行多尺度学习并且提取X_l，X_m，X_g特征；

S23：将S22中多尺度特征模块的三条支路的输出到下一层进行处理，得到同一图形不同尺度下的特征；

S24：将原有网络中的纯卷积特征提取网络结构按照S21到S22不断进行处理，直至将原始UNet特征提取网络中全部的纯卷积特征提取模块全部替换为多尺度特征嵌入模块，这一步结束。

4.根据权利要求1所述的一种基于雷达回波图外推的短临降水预测方法，其特征在于，所述步骤S3中，采用多层级融合算法融合特征X_l，X_m，X_g，构建提取网络中端的方法为：

S31：从S2中新的多尺度特征嵌入模块的卷积支路引出输出的特征，记为特征X_l，将通过两个3*3卷积之后接Transformer块的支路引出的输出特征，记为特征X_m，将通过三个3*3卷积之后接Transformer块的支路引出的输出特征，记为特征X_g；

S32：将特征X_l拼接到特征X_m中；

S33：将特征X_m拼接到特征X_g中；

S34：将S32和S33得到的输出再分别通过多层感知机对特征进行映射变换进而实现特征融合。

5.根据权利要求1所述的一种基于雷达回波图外推的短临降水预测方法，其特征在于，所述步骤S4中，增加跨时间的Transformer算法，构建提取网络后端的方法为：

S41：将S3的三支路的输出端分别连接到跨时间的Transformer块的输入端；

S42：将S31的三支路分别连接跨时间Transformer块后的输出特征引出，分别记为X’_l，X’_m，X’_g，跨时间的Transformer块的算法公式为：

其中

为自适应的掩码参数；

S43：将S41中的三支路的输出进行拼接，通过跳跃连接和卷积操作送入到下一层的模型结构。

6.根据权利要求1所述的一种基于雷达回波图外推的短临降水预测方法，其特征在于，所述步骤S5中，将改进后的UNet模型经过迁移学习，训练得到基于雷达回波图外推的短临降水预测方法为：

S51：从UNet官网下载预训练默认参数和执行权重的微调操作将所得参数加载到我们改进的UNet网络中，得到的优化的目标函数为：

X_t+1，...，X_t+k＝f(X_t-j+1，...，X_t)

其中X_t为t时刻的雷达回波序列；

S52：采用制作好的数据集对该模型进行迁移学习，训练至收敛。

Images