CN113128586B - 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 - Google Patents

Abstract

本发明请求保护一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，包括步骤：S1将三张高时间、低空间分辨率的图像输入映射网络中，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；S2将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；S3将两张差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像。本发明在提高遥感图像时空算法的准确率的同时，解决了传统遥感时空算法存在的重建融合结果高频空间细节与光谱信息融合不准确的问题。

Description

基于多尺度机制和串联膨胀卷积遥感图像时空融合方法

技术领域

本发明属于图像处理技术领域，特别涉及基于多网络协同训练的多尺度机制和串联膨胀卷积遥感图像时空融合方法。

背景技术

遥感图像的时空融合算法属于遥感图像融合领域，在农田监测、灾害预测等方向有着广泛应用。遥感图像的时空融合是为了解决遥感图像在时间和空间分辨率上的矛盾，通过时空融合，我们可以得到高时间和高空间分辨率的遥感图像。现存的遥感图像时空融合算法可以分为五大类，分别为基于加权函数的算法(Weight function-based)、基于贝叶斯的算法(Bayesian-based)、基于解混的算法(Unmixing-based)、混合算法(Hybrid)和基于学习的算法(Learning-based)。

时空自适应反射融合模型(Spatial and Temporal Adaptive ReflectanceFusion model,STARFM)是最具代表性的基于加权函数的算法，后续许多的时空融合算法都是基于STARFM提出。随后基于贝叶斯和解混的算法也逐渐多样化，除了使用单一种类的算法，有一些方法使用了混合算法，例如柔性时空数据融合 (Flexible SpatiotemporalData Fusion,FSDAF)。近年来，基于学习的算法蓬勃发展，其进一步可分为基于字典对学习的时空融合算法和基于机器学习的时空融合算法。基于稀疏表示的时空融合模型(Sparse-representation-based SpatioTemporal reflectance Fusion Model,SPSTFM)开创了基于字典对学习的时空融合算法的先河，它对异质性较高的区域有较好的处理能力。基于卷积神经网络的时空融合算法(Spatiotemporal Fusion using Deep ConvolutionalNeural Networks,STFDCNN)进一步提升了融合精度，其证明了卷积神经网络在时空融合领域的可应用性，随后基于卷积神经网络的时空融合方法层出不穷。

虽然现存时空融合方法多种多样，但是依然存在很多问题，例如：在异质性较高的区域，算法的融合精度并不高；基于卷积神经网络的算法得到的融合图像通常过于平滑；光谱信息的保留效果不佳。多尺度机制以及串联膨胀卷积机制常用于视频帧超分辨率领域，很少有时空融合方法引用。多尺度机制可以从多个尺度感知特征图，充分提取特征信息，有助于解决常见时空融合方法光谱信息保留效果不佳的问题；串联膨胀卷积机制可以提取特征图的边缘信息，有助于解决常见时空融合方法融合图像过于平滑，空间细节丢失严重的问题。现有的时空融合算法没有使用过多网络协同训练的机制，在多网络模型中，网络训练效果受到多个网络输出结果的影响，可能会导致网络收敛效果不佳，本方法创新性地引入了多网络协同训练机制，促使网络能够更快收敛。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法。本发明的技术方案如下：

一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其包括以下步骤：

S1、将三张高时间、低空间分辨率的图像C_i输入映射卷积网络中，i＝1，2， 3，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；

S2、将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；

S3、将两张高空间分辨率差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像F₁。

进一步的，所述步骤S1的映射卷积网络由卷积层、多尺度感知模块、串联膨胀卷积模块构成，多尺度感知模块用于对输入的特征图进行多个尺度的分别感知，再叠加为新的多维特征图；串联膨胀卷积模块通过扩大卷积层感受野可以提取图像更丰富的特征信息，得到过渡分辨率的图像的过程为：

其中T_i表示过渡分辨率的图像，M₀表示映射卷积网络的映射函数，Φ₀表示该映射函数的训练权重参数。

进一步的，所述步骤S1具体包括以下子步骤，

S1.1、将输入的三个时刻的高时间、低空间分辨率图像放入多尺度感知模块中，得到它们多尺度感知下的特征图；

S1.2、将多尺度感知的特征图输入到串联膨胀卷积中得到降维特征图；

S1.3、分别将三张低空间分辨率的图像得到的降维特征图通过卷积操作转化为三张过渡分辨率的图像T_i(i＝1，2，3)。

进一步的，所述步骤S2的重建差分卷积网络和协同训练卷积网络分别由八层基础卷积层和六层基础卷积层构成，其中重建差分卷积网络的任务更加复杂，所以网络设置也比协同训练卷积网络多两层基础卷积层。通过协同训练卷积网络的输出根据时间相关性帮助重建差分卷积网络完成训练，输出两张高空间分辨率差分图像F_T01和F_T12，其过程为：

T_ij＝T_i-T_j，

其中T_ij表示第i时刻过渡分辨率图像T_i与第j时刻过渡分辨率图像T_j之间的差分图像，F₀和F₂分别表示第0时刻和第2时刻的高空间、低时间分辨率图像，M₁表示重建查封卷积网络的映射函数，Φ₁表示该映射函数M₁的训练权重参数。

进一步的，所述步骤S2具体包括以下子步骤，

S2.1、将三张过渡分辨率的图像和两张高空间、低时间分辨率的图像输入到重建差分卷积网络中，根据时间序列的结构相关性，得到两张高空间分辨率差分图像F_T01和F_T12；

S2.2、根据时间序列的时间相关性，采用已知信息进行协同训练，将已知的两张高空间、低时间分辨率图像F₀和F₂输入协同训练卷积网络中，输出高分辨率差分图像F_T02，使用高分辨率差分图像F_T02帮助重建差分卷积网络完成训练；

S2.3、通过训练好的重建差分图像得到两张高空间分辨率差分图像F_T01和 F_T12。

进一步的，所述步骤S3通过加权融合重建得到一张高空间、高时间分辨率的图像F₁，融合过程为：

其中ω₀和ω₂分别作为F₀和F₂结合高空间分辨率差分图像后得到的结果对最终融合重建结果F₁的贡献权重。

计算两个权重参数：

C_ij＝C_i-C_j，

其中C_ij表示第i时刻高时间、低空间分辨率图像C_i与第j时刻高时间、低空间分辨率图像C_j之间的差分图像，v_C01和v_C12分别表示C₀₁和C₁₂的绝对平均变化，k为设定常数，避免出现分母为0的情况。

本发明的优点及有益效果如下：

本发明基于卷积神经网络，并且使用了多个网络的协作工作机制以及多尺度机制、串联膨胀卷积机制。多尺度机制以及串联膨胀卷积机制常用于视频帧超分辨率领域，很少有时空融合方法引用。多尺度机制可以从多个尺度感知特征图，充分提取特征信息，有助于解决常见时空融合方法光谱信息保留效果不佳的问题；串联膨胀卷积机制可以提取特征图的边缘信息，有助于解决常见时空融合方法融合图像过于平滑，空间细节丢失严重的问题。现有的时空融合算法没有使用过多网络协同训练的机制，在多网络模型中，网络训练效果受到多个网络输出结果的影响，可能会导致网络收敛效果不佳，本方法创新性地引入了多网络协同训练机制，促使网络能够更快收敛。通过这一特殊网络，我们可以得到精确度更高的融合结果，并且在本发明中，使用两对图像进行时空融合，能够充分利用更多的已知信息，得到更好的重建融合效果。

附图说明

图1是本发明提供优选实施例基于多尺度机制和串联膨胀卷积遥感图像时空融合方法流程图；

图2是与其他主流算法的结果对比图。(a)参考图像；(b)STARFM；(c)ESTARFM； (d)FSDAF；(e)StfNet；(f)DCSTFN；(g)EDCSTFN；(h)本发明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，是本发明提供优选实施例基于多尺度机制和串联膨胀卷积遥感图像时空融合方法流程图；

包括以下具体步骤：

S1将三张高时间、低空间分辨率的图像输入映射网络中，通过多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；

S2将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；

S3将两张差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像。

为了评估本发明的性能，选择了一个经典数据集进行实验，并将实验结果与其他七个经典的时空融合算法进行了对比。其中STARFM和ESATRFM是基于加权函数的算法，FSDAF是混合算法，StfNet、DCSTFN、EDCSTFN和本发明是基于卷积神经网络的算法。

图2显示了各个方法的实验结果，可以清楚的看到相比其他算法，本发明的结果图像在很大程度上减轻了图像过于平滑的问题。并且STARFM的结果出现了严重的光谱失真，同时FSDAF的结果出现了细节丢失，相比之下，本算法的融合结果与参考图像更为接近。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，包括以下步骤：

S1、将三张高时间、低空间分辨率的图像C_i输入映射卷积网络中，i＝1，2，3，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；

S2、将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；

S3、将两张高空间分辨率差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像F₁；

所述步骤S1具体包括以下子步骤，

S1.1、将输入的三个时刻的高时间、低空间分辨率图像放入多尺度感知模块中，得到它们多尺度感知下的特征图；

S1.2、将多尺度感知的特征图输入到串联膨胀卷积中得到降维特征图；

S1.3、分别将三张低空间分辨率的图像得到的降维特征图通过卷积操作转化为三张过渡分辨率的图像T_i(i＝1，2，3)；

所述步骤S2的重建差分卷积网络和协同训练卷积网络分别由八层基础卷积层和六层基础卷积层构成，其中重建差分卷积网络的任务更加复杂，所以网络设置也比协同训练卷积网络多两层基础卷积层，通过协同训练卷积网络的输出根据时间相关性帮助重建差分卷积网络完成训练，输出两张高空间分辨率差分图像F_T01和F_T12，其过程为：

T_ij＝T_i-T_j，

其中T_ij表示第i时刻过渡分辨率图像T_i与第j时刻过渡分辨率图像T_j之间的差分图像，F₀和F₂分别表示第0时刻和第2时刻的高空间、低时间分辨率图像，M₁表示重建差分卷积网络的映射函数，Φ₁表示该映射函数M₁的训练权重参数；

所述步骤S2具体包括以下子步骤，

S2.1、将三张过渡分辨率的图像和两张高空间、低时间分辨率的图像输入到重建差分卷积网络中，根据时间序列的结构相关性，得到两张高空间分辨率差分图像F_T01和F_T12；

S2.2、根据时间序列的时间相关性，采用已知信息进行协同训练，将已知的两张高空间、低时间分辨率图像F₀和F₂输入协同训练卷积网络中，输出高分辨率差分图像F_T02，使用高分辨率差分图像F_T02帮助重建差分卷积网络完成训练；

S2.3、通过训练好的重建差分图像得到两张高空间分辨率差分图像F_T01和F_T12；

所述步骤S3通过加权融合重建得到一张高空间、高时间分辨率的图像F₁，融合过程为：

F₁＝ω₀·(F₀+F_T01)+ω₂·(F₂+F_T12)，

其中ω₀和ω₂分别作为F₀和F₂结合高空间分辨率差分图像后得到的结果对最终融合重建结果F₁的贡献权重；

计算两个权重参数：

C_ij＝C_i-C_j，

其中C_ij表示第i时刻高时间、低空间分辨率图像C_i与第j时刻高时间、低空间分辨率图像C_j之间的差分图像，v_C01和v_C12分别表示C₀₁和C₁₂的绝对平均变化，k为设定常数，避免出现分母为0的情况。

2.根据权利要求1所述的一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，所述步骤S1的映射卷积网络由卷积层、多尺度感知模块、串联膨胀卷积模块构成，多尺度感知模块用于对输入的特征图进行多个尺度的分别感知，再叠加为新的多维特征图；串联膨胀卷积模块通过扩大卷积层感受野可以提取图像更丰富的特征信息，得到过渡分辨率的图像的过程为：

其中T_i表示过渡分辨率的图像，M₀表示映射卷积网络的映射函数，Φ₀表示该映射函数的训练权重参数。

Images