CN115861083A - 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 - Google Patents

Abstract

本发明提供了一种多尺度和全局特征的高光谱与多光谱遥感融合方法，该方法从高光谱图像和多光谱图像提取融合图像和高光谱图像之间的残差信息，然后将其注入至上采样的高光谱图像中得到融合结果，网络分为光谱保持和细节注入两个分支，光谱保持分支采用空间插值技术将高光谱图像插值为与多光谱图像相同的空间尺寸，细节注入分支引入了残差多尺度卷积模块和全局上下文模块，其作用是提取残差信息，并将其注入至高光谱图像，能够生成同时具有高光谱分辨率和高空间分辨率的遥感图像，为遥感图像融合领域增添一种新方法。

Description

一种多尺度和全局特征的高光谱与多光谱遥感融合方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多尺度和全局特征的高光谱与多光谱遥感融合方法。

背景技术

高光谱分辨率遥感图像（HSI）在目标识别，环境监测，资源调查及植被反演等应用广泛，受限于传感器采样极限其空间分辨率较低，抑制了HSI的应用效果。多光谱遥感图像（MSI）光谱分辨率较低，其高空间分辨率可弥补HSI空间表达不足。遥感应用中空间和光谱信息具有相同重要性，HSI与MSI融合是提高HSI空间分辨率的一种有效且常用的方法，可增加遥感应用范围。

HSI与MSI融合包括物理模型和深度学习算法，深度学习算法以数据驱动经多层结构拟合复杂数据之间的非线性映射，适应数据更具灵活性，融合效果通常优于物理模型算法。

尽管有着良好的表现，基于深度学习的算法仍有较大提升空间：

1）多数算法缺乏物理约束，人为感知可解释程度欠缺；

2）空间上下文建模和远程依赖性有益于扩展遥感图像的全局理解，现有算法大多采用卷积方式建立局部依赖关系，上下文信息和远程依赖性建模不足；

3）L2loss仍为常用的损失函数，会产生融合图像高频信息表达不足现象；

4）网络收敛需经过大量迭代，在学习能力上需进一步优化。

发明内容

本发明的目的在于针对上述现有技术的不足，提供了一种多尺度和全局特征的高光谱与多光谱遥感融合方法。

本发明提供的技术方案是：一种多尺度和全局特征的高光谱与多光谱遥感融合方法，包括以下步骤：

S1：因现实中不存在融合图像，样本构建遵循Wald协议，利用高光谱图像作为标签图像，将高光谱图像和多光谱图像分别进行空间和光谱下采样，生成网络调参所需的数据集；

S2：在细节注入框架约束下，网络包括光谱保持和细节注入两个分支，联合残差多尺度卷积模块和全局上下文建模模块构建卷积神经网络；

其中注入框架表达式为：

其中F是融合图像，k为低空间分辨率高光谱图像LR对应的波段数，upsample代表基于双线性插值的上采样操作，g_k为注入系数，/>

为多光谱图像HR的空间细节信息，Detract为细节提取操作；

S3：利用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练，在训练过程中采用一种结合了内容、光谱和边缘损失的损失函数进行训练，得到一个充分训练的卷积神经网络模型；

S4：将待融合的多光谱图像与高光谱图像输入至S3中训练好的卷积神经网络模型，得到同时具有高空间和高光谱分辨率的遥感图像。

优选，所述步骤S1中具体包括：

根据Wald协议，首先采用高斯滤波对高光谱图像和多光谱图像进行滤波，然后用双线性插值法将高光谱图像和多光谱图像进行相应倍数下采样，作为模拟的低分辨率输入的高光谱图像和多光谱图像，并原始高光谱图像作为参考图像。

进一步优选，所述步骤S2中具体包括：光谱保持分支对高光谱图像进行空间上采样，自适应的将高光谱图像采样至同多光谱图像相同的空间分辨率，该过程对应于注入框架中的upsample(LR)，细节注入分支包括初始化、特征提取、特征融合和空间细节注入四个子网络提取多光谱图像和高光谱图像的空间注入分量

，其中初始化子网络由并联的3×3卷积分别提取高光谱图像和多光谱图像的浅层特征，并将高光谱图像和多光谱图像映射至相同的特征维度以便于后续的特征提取，具体表示为：

式中，HSI为高光谱图像，MSI为多光谱图像，x，y为初始化模块的输出，f为卷积算子，size（k）为卷积核大小为k×k，Bilinear为双线性插值，r为MSI和HSI空间分辨率之比；特征提取子网络采用两个分支的残差多尺度卷积模块提取高光谱图像和多光谱图像不同感受野的特征，表达式为：/>

式中，RMSC为多尺度卷积算子，F_{_x}为提取的HSI特征，F_{_y}为提取的MSI特征，Concat为特征图串联操作；特征融合子网络将提取到的高光谱和多光谱特征以对应元素相加的形式进行特征融合并将其先后输入至残差多尺度卷积模块和全局上下文模块进行特征融合，表达式为：/>

式中，F_xy为输出的融合特征，GC为采用GC Block进行特征提取，F为GC Block输出的特征；空间细节注入子网络将得到特征经3×3卷积进行降维得到空间细节残差，并将其注入至光谱保持分支生成的上采样后的高光谱图像生成HR-HSI，其表达式为：/>

式中，Fusion为融合图像。

进一步优选，所述步骤S3中具体包括：采用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练时，损失函数选定为内容、光谱及边缘损失的线性组合，具体表达式为：

,其中，/>

和/>

是权重系数，L_content为内容损失，L_spectral为光谱损失，L_Edge为边缘损失，选定系数/>

，内容损失的表达式为:/>

式中Fusion_i，Ref_i分别为融合图像和参考图像索引为i的像素值，n为像素总数；

光谱损失的表达式为：

，其中，/>

分别为融合图像和参考图像在像素点（i，j）处的光谱向量，B为波段数，边缘损失的表达式为：

其中LoG为高斯拉普拉斯算子。

综上所述，本发明主要具有以下有益效果：

1）网络在细节注入框架的物理算法约束下创建，使得网络具有一定的可解释性；

2）网络中嵌入了残差多尺度卷积模块和全局上下文建模模块使得网络能够捕获特征的多尺度上下文信息和远程依赖性，增强网络上下文特征编码和全局理解能力；

3）网络使用一种新的损失函数增强融合图像的光谱和边缘保真，以L1loss作为内容损失控制融合图像与参考图像在纹理及色调保持一致，以SAM作为光谱损失减少融合图像的光谱失真，以Laplace of Gaussian（LoG）损失作为边缘损失增强图像在地物边缘等高频信息重建；

4）相较于以往的深度学习算法，本发明以少量迭代便可达到较高的融合精度，具有更好的学习能力。

附图说明

图1为本发明提供的一种多尺度和全局特征的高光谱与多光谱遥感融合方法的流程图；

图2为本发明提供的一种多尺度和全局特征的高光谱与多光谱遥感融合方法的算法结构图；

图3为本发明中与不同的高光谱与多光谱融合算法在Hydice下的融合结果图；

图4为本发明与对比的深度学习算法训练过程中网络在验证集上的融合质量对比图。

实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种多尺度和全局特征的高光谱与多光谱遥感融合方法，包括以下步骤：

S1：因现实中不存在理想的参考图像，因此本发明在制作训练样本是遵循Wald协议，首先本发明将高光谱和多光谱遥感图像进行高斯滤波和双线性插值进行相应倍率的下采样，将下采样的图像当作用于训练的高光谱图像和多光谱图像，并将原始的高光谱图像当作参考图像，生成训练网络所用数据集；

S2：采用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱遥感图像融合网络进行训练，得到训练后的网络模型；

其中，如图2所示，该网络为双流输入网络，在网络中包括光谱保持分支和细节注入分支两部分，其中光谱保持分支对高光谱图像进行空间上采样，自适应的将高光谱图像采样至同多光谱图像相同的空间分辨率；细节注入分支包括初始化、特征提取、特征融合和细节注入四个子网络，初始化子网络有两个并联的3×3卷积构成，特征提取网络由并联的两个残差多尺度卷积模块构成，特征融合网络首先将特征提取网络的特征相加，然后将其输入至残差多尺度卷积模块（RMC block）和全局上下文模块（GC block）进行特征融合，细节注入网络首先使用3×3卷积对融合后的特征进行降维，然后将其注入至上采样的高光谱图像得到高空间分辨率的高光谱图像；

S3：利用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练，在训练过程中采用一种结合了内容、光谱和边缘损失的损失函数进行训练，得到一个充分训练的卷积神经网络模型，采用Adam优化算法对网络进行训练时，损失函数为：

其中，/>

和/>

是权重系数，L_content为内容损失，L_spectral为光谱损失，L_Edge为边缘损失，选定系数/>

，内容损失的表达式为:

式中Fusion_i，Ref_i分别为融合图像和参考图像索引为i的像素值，n为像素总数；

光谱损失的表达式为：

，其中，/>

分别为融合图像和参考图像在像素点（i，j）处的光谱向量，B为波段数，边缘损失的表达式为：

其中LoG为高斯拉普拉斯算子；

S4：将待融合的高光谱图像和多光谱图像输入训练后的网络，得到融合后的高空间分辨率的高光谱图像。

在本实施例中，图2是本发明提出的基于多尺度和全局上下文特征的高光谱与多光谱遥感图像融合网络，其输入为待融合图像，输出为融合图像。

为评估本发明的性能，选择了Hydice卫星的数据集作为实验对象，并结合当先流行的高光谱与多光谱图像融合算法进行对比。其中CNMF和GSA分别是物理模型驱动的算法，UDALN是基于无监督的深度网络算法，SSRNET、TFNet、ResTFNet和MSDCNN是基于监督的深度学习算法，实验结果如图3所示，图3中第一行的图像代表不同算法的融合结果图，REF代表参考图像，第二行代表SAM热力图，其中热力图的颜色越浅，说明融合效果越好，可以看出本发明的融合结果在视觉上取得了最好的结果。

图4为本发明与对比的深度学习算法训练过程中网络在验证集上的融合质量对比图，为突出显示，图中a为本发明的曲线。其中PSNR指标越大表明容二虎质量越好，其他三项指标均越小表示融合质量越好，从图中可以看出本发明在少量迭代便可达到较好的融合质量，说明本发明的学习能力相较于对比的流行融合算法更强。

实验的定量评价指标如表1，从表中可以看出本发明的四项指标均表现最佳。

表1 不同算法的融合效果对比

为评估本发明的所用的新损失函数的合理性，在Hyperion传感器数据集下将本发明提出的损失函数与常用的L1、L2损失函数，以及本发明损失函数的不同组合进行了对比，表2为本发明不同损失函数约束下的融合定量评价。可以看出本发明的损失函数在具有最好的表现，并且本发明的损失函数的部分均有效增强了融合质量。

表2本发明在不同损失函数下的融合质量

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (4)

1.一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，包括以下步骤：

S1：因现实中不存在融合图像，样本构建遵循Wald协议，利用高光谱图像作为标签图像，将高光谱图像和多光谱图像分别进行空间和光谱下采样，生成网络调参所需的数据集；

S2：在细节注入框架约束下，网络包括光谱保持和细节注入两个分支，联合残差多尺度卷积模块和全局上下文建模模块构建卷积神经网络；

其中注入框架表达式为：

其中F是融合图像，k为低空间分辨率高光谱图像LR对应的波段数，upsample代表基于双线性插值的上采样操作，g_k为注入系数，/>

为多光谱图像HR的空间细节信息，Detract为细节提取操作；

S3：利用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练，在训练过程中采用一种结合了内容、光谱和边缘损失的损失函数进行训练，得到一个充分训练的卷积神经网络模型；

S4：将待融合的多光谱图像与高光谱图像输入至S3中训练好的卷积神经网络模型，得到同时具有高空间和高光谱分辨率的遥感图像。

2.根据权利要求1所述的一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，所述步骤S1中具体包括：

根据Wald协议，首先采用高斯滤波对高光谱图像和多光谱图像进行滤波，然后用双线性插值法将高光谱图像和多光谱图像进行相应倍数下采样，作为模拟的低分辨率输入的高光谱图像和多光谱图像，并原始高光谱图像作为参考图像。

3.根据权利要求1所述的一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，所述步骤S2中具体包括：光谱保持分支对高光谱图像进行空间上采样，自适应的将高光谱图像采样至同多光谱图像相同的空间分辨率，该过程对应于注入框架中的upsample(LR)，细节注入分支包括初始化、特征提取、特征融合和空间细节注入四个子网络提取多光谱图像和高光谱图像的空间注入分量

，其中初始化子网络由并联的3×3卷积分别提取高光谱图像和多光谱图像的浅层特征，并将高光谱图像和多光谱图像映射至相同的特征维度以便于后续的特征提取，具体表示为：/>

式中，HSI为高光谱图像，MSI为多光谱图像，x，y为初始化模块的输出，f为卷积算子，size（k）为卷积核大小为k×k，Bilinear为双线性插值，r为MSI和HSI空间分辨率之比；特征提取子网络采用两个分支的残差多尺度卷积模块提取高光谱图像和多光谱图像不同感受野的特征，表达式为：/>

式中，RMSC为多尺度卷积算子，F_{_x}为提取的HSI特征，F_{_y}为提取的MSI特征，Concat为特征图串联操作；特征融合子网络将提取到的高光谱和多光谱特征以对应元素相加的形式进行特征融合并将其先后输入至残差多尺度卷积模块和全局上下文模块进行特征融合，表达式为：/>

式中，F_xy为输出的融合特征，GC为采用GC Block进行特征提取，F为GC Block输出的特征；空间细节注入子网络将得到特征经3×3卷积进行降维得到空间细节残差，并将其注入至光谱保持分支生成的上采样后的高光谱图像生成HR-HSI，其表达式为：

式中，Fusion为融合图像。

4.根据权利要求1所述的一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，所述步骤S3中具体包括：采用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练时，损失函数选定为内容、光谱及边缘损失的线性组合，具体表达式为：

,其中，/>

和/>

是权重系数，L_content为内容损失，L_spectral为光谱损失，L_Edge为边缘损失，选定系数/>

，内容损失的表达式为:/>

式中Fusion_i，Ref_i分别为融合图像和参考图像索引为i的像素值，n为像素总数；

光谱损失的表达式为：

，其中，

分别为融合图像和参考图像在像素点（i，j）处的光谱向量，B为波段数，边缘损失的表达式为：/>

其中LoG为高斯拉普拉斯算子。/>

Images