CN115311184A - 基于半监督深度神经网络的遥感图像融合方法及*** - Google Patents

Abstract

本公开提供了一种基于半监督深度神经网络的遥感图像融合方法及***，包括获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；将提取的空间信息和光谱信息的特征图进行堆叠之后先进行分辨率感知，然后对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

Description

基于半监督深度神经网络的遥感图像融合方法及***

技术领域

本公开涉及遥感图像融合技术领域，具体涉及一种基于半监督深度神经网络的遥感图像融合方法及***。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，许多高分辨率光学地球观测卫星，如QuickBird、GeoEye、WorldView-2和GaoFen-2已经发射，为遥感界的研究人员提供了大量可用于各个研究领域的数据，如农业、土地测量、环境监测等。在遥感***中，卫星可以以完全不同的方式获取两种图像，即多光谱图像(MS)和全色图像(PAN)。多光谱图像具有较高的光谱分辨率，而空间分辨率较低，这受到机载存储和和宽带传输的限制。相反，全色图像的光谱分辨率低，但是由于瞬间的视场较大，空间分辨率较高。全色锐化(即全色和多光谱图像融合)旨在通过结合全色图像和多光谱图像的空间和光谱信息生成高空间分辨率多光谱图像，这为缓解上述问题提供了一个很好的解决方案。

传统的融合方法通常可分为两类，1)基于成分替代(CS)的方法：CS方法的基本假设是，MS图像的几何细节信息存在于其结构成分中，可以通过将其转换为新的空间来获得，然后用直方图匹配版本的PAN替换或部分替换结构组件，以注入空间信息。最后，通过逆变换实现全色锐化。2)基于多分辨率分析(MRA)的方法。基于MRA的方法假设MS中缺失的空间信息可以从相应的PAN图像的高频中推断出来。为了锐化多光谱图像，在多光谱图像上应用多分辨率分析算法，如离散小波变换(DWT)、curvelet变换，以提取高频信息，然后将其注入相应的MS图像中。

最近，深度学习在各个领域取得了巨大成功，如计算机视觉、模式识别和图像处理。许多研究人员还将基于卷积神经网络(CNN)的深度学习方法引入到全色锐化任务中，如PNN、PanNet和PSGAN，但是仍然没有一个较好的进行全色锐化的方法。

发明内容

本公开为了解决上述问题，提出了基于半监督深度神经网络的遥感图像融合方法及***，在重建高分辨率多光谱图像的过程中，利用分辨率感知模块来捕获交叉分辨率信息，进一步提升了图像质量。

根据一些实施例，本公开采用如下技术方案：

基于半监督深度神经网络的遥感图像融合方法，包括：

获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

将提取的空间信息和光谱信息的特征图进行堆叠之后先进行分辨率感知，然后对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

根据另一些实施例，本公开采用如下技术方案：

基于半监督深度神经网络的遥感图像融合***，包括：

图像获取模块，用于获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

特征提取模块，用于将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

分辨率感知模块，用于将提取的空间信息和光谱信息的特征图进行堆叠之后进行分辨率感知；

图像融合重建模块，用于对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

进一步的，还包括域对抗模块；

特征提取模块包括编码器、解码器，用于利用全色图像的空间信息和多光谱图像的光谱信息，用两个分支网络分别提取空间特征和光谱特征，获取互补信息。

与现有技术相比，本公开的有益效果为：

第一，本公开将全色图像与多光谱图像置于双分支网络中逐级处理，分别提取空间信息和光谱信息，使得本公开可以获得准确的空间和光谱信息，有利于后续图像处理技术的使用，提高了空间信息和光谱信息的利用率。

第二，由于不同分辨率图像之间的学习或训练过程中应该有互动或者交流，从而使得学习到的特征更加具有互补性。通过分辨率感知模块将交叉分辨率信息注入到解码器中，使重建的高分辨率多光谱图像包含更多细节信息。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例中的方法实现流程图；

图2为本公开实施例中各个网络模块的构成细节图；

图3为用本公开实施例中对低空间分辨率多光谱图像和高空间分辨率全色图像融合的结果对比图；

图3(a)是低空间分辨率的多光谱图像；

图3(b)是高空间分辨率的全色图像；

图3(c)是Ground-Truth，即融合结果的参考图像；

图3(d)为采用本公开对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像；

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开的一种实施例中提供一种基于半监督深度神经网络的遥感图像融合方法，包括以下步骤：

S101:获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

具体的，使用Bicubic插值上采样将多光谱图像上采样为全色图像大小，进行四倍上采样获取的低分辨率多光谱图像和全色图像；

S102:将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

具体的，使用Bicubic插值上采样将多光谱图像上采样为全色图像大小，将四倍上采样的低分辨率多光谱图像和全色图像输入双分支网络，

S103:将提取的空间信息和光谱信息的特征图进行堆叠之后先进行分辨率感知，然后对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

具体的，将堆叠结果输入到分辨率提取器，进行分辨率感知，并输出分辨率感知结果。

分别将全尺寸和小尺寸的堆叠结果输入到编码器进行融合，经过两个卷积块得到全尺寸融合特征图和小尺寸融合特征图。

对高分辨率多光谱图像进行重建时，将融合特征图输入解码器，先经过第一个卷积模块，得到特征图，然后将第一第二个卷积结果堆叠输入到第三个卷积块，输出再进入第四个卷积块，提升通道数，将双分支网络中输出的特征图和第四个卷积块输出的结果进行堆叠，输入至第五个卷积块，然后再经过第六个卷积块将通道数进行降低，得到重建的目标图像。

示例的，本申请技术方案具体的实现过程如下：

作为一种实施方式，本公开为了得到高空间分辨率的多光谱图像，具体模型构建如下：

(1)输入图像

输入全尺寸的全色图像Full-scalePANimageP_F∈R^256×256×1和多光谱图像Full-scale LRMS image L_F∈R^64×64×4；输入小尺寸的全色图像Reduced-scale PAN image P_R∈R^64×64×1和多光谱图像Reduced-scale LRMS image L_R∈R^16×16×4。

在输入之前进行预处理的过程为：将全尺寸的多光谱图像L_F∈R^64×64×4和小尺寸的多光谱图像L_R∈R^16×16×4分别进行四倍上采样，得到图像L_F∈R^256×256×4和L_R∈R^64×64×4。

(2)构建半监督深度学习网络核心模块，所述核心模块包括四部分，分别为编码器、解码器、分辨率感知模块和域对抗模块。

为了充分利用全色图像PAN的空间信息和多光谱图像LRMS的光谱信息，利用编码器模块，即两个分支网络分别提取PAN和LRMS的特征，以获取两者的互补信息，所述两个分支都由两个卷积核为3×3、步长为1的卷积层组成，光谱分支的输入通道数为4，空间分支的输入通道数为1，接下来是LeakyRelu激活函数和一个下采样层，下采样层采用卷积核为2×2、步长为2的卷积操作进行下采样。通过两个分支网络后，特征图首先进行堆叠，然后通过后续的两个卷积块进行融合，第一个卷积块由两层核为3×3、步长为1的卷积层组成，第二个卷积块是使用卷积核为2×2、步长为2的卷积层，又一次对图像下采样。

在解码器中对编码器提取的特征进行重建，得到高空间分辨率的多光谱图像HRMS，所述解码器包含六合模块，前两个模块是卷积核为3×3、步长为1卷积操作，接着将第一、二个模块的输出结果堆叠输入第三个卷积块，第四个卷积块是上采样操作，采用卷积核为2×2、步长为2的转置卷积(Transposed Convolution)实现。为了得到更为丰富的空间信息和光谱信息，将上采样后的结果和双分支网络下采样后的结果进行堆叠，得到256×256×192的图像，然后输入到第五个模块中，将通道数降到64，最后输入到第六个模块中，得到期望的高空间分辨率的多光谱图像HRMS∈R^256×256×4。

将提取的空间信息和光谱信息的特征图进行堆叠之后先进行分辨率感知，利用到分辨率感知模块，所述分辨率感知模块以编码器双分支结果的堆叠作为输入，其主体结构为两层的二维卷积和两层的LeakyRelu激活函数，第一个卷积模块由两层卷积核为3×3、步长为1的卷积操作构成，激活函数为LeakyRe l u，第二个卷积模块由一层卷积核为2×2、步长为2的卷积操作构成，使分辨率下降为原来的1/2。

具体的，分辨感知结果的获取方式为：

分辨率感知模块的输出结果和编码器的输出结果逐元素相乘，然后再和分辨率感知模块的输出结果相加，注入到下游的解码器中，使HRMS的重建过程中包含更多分辨率信息。

由于获取了全尺寸和小尺寸图像，为了区分全尺寸域和小尺寸域，则构建设计域对抗模块，所述域对抗模块包括两个线性层(LinearLayer)，一个批量归一化层和一个softmax激活函数。域对抗模块以编码器输出结果作为输入，经第一个线性层输出100个样本，然后对样本做批量归一化(BatchNormalization)操作，再经一线性层将输出样本设置为2，得到(batchsize，2)形状的张量，最后输入到softmax，softmax激活函数负责将结果固定在(0,1)之间，以便训练时和损失函数NLLLoss结合使用。

作为一种实施方式，本公开为了得到高空间分辨率的多光谱图像，具体交叉分辨率模型训练如下：

输入全尺寸全色图像P_F∈R^256×256×1和多光谱图像L_F∈R^64×64×4，首先用Bicubic插值上采样将多光谱图像进行4倍上采样，得到图像L_F∈R^256×256×4，接着将全色图像P_F∈R^{256 ×256×1}和上采样的多光谱图像L_F∈R^256×256×4共同输入编码器，经过双分支网络得到B_PAN∈R^{128 ×128×64}和B_MS∈R^128×128×64，然后将二者堆叠得到C_Full1∈R^{128×128×128}，最后将堆叠结果C_Full1∈R^{128×128×128}输入到接下来的两个融合块得到F_Full2∈R^64×64×256。分辨率感知模块以堆叠结果C_Full1∈R^{128×128×128}作为输入，用于提取分辨率信息(β和γ)，然后将分辨率信息和融合块F_Full2∈R^64×64×256共同输入到解码器中，最后得到重建的全尺寸融合图像F_F∈R^256×256×4。

具体的，在解码器中的过程为：

F_input＝β⊙F_Full2+γ

⊙代表逐元素相乘，β和γ是提取到的分辨率信息，F_Full2是编码器的输出结果，F_input是解码器的输入。

交叉分辨率全尺寸融合图像为(Cross-resolution Full scale Fused image)C_F∈R^256×256×4：

获取的过程为：交叉分辨率全尺寸融合图像的产生过程和全尺寸融合图像过程相似，只是交叉分辨率融合图像是将分辨率感知模块提取到的小尺寸图像的分辨率信息经过上采样后注入到全尺寸图像的重建过程中，使交叉分辨率全尺寸融合图像C_F∈R^256×256×4包含低分辨率信息。

具体的过程为：

F_input＝β↑⊙F_Full2+γ↑

↑表示上采样操作，分辨率感知模块提取的小尺寸图像的低分辨率信息β和γ需要进行上采样操作后再和解码器输出结果F_Full2∈R^64×64×256结合，然后输入到解码器中。

小尺寸融合图像(Reduced-scale Fused image)为F_R∈R^64×64×4，获取的过程为：

输入小尺寸全色图像P_R∈R^64×64×1和多光谱图像L_R∈R^16×16×4，首先用Bicubic插值上采样将多光谱图像进行4倍上采样，得到图像L_R∈R^64×64×4，其次将全色图像P_R∈R^64×64×1和上采样的多光谱图像L_R∈R^64×64×4共同输入编码器，经过双分支网络得到B_PAN∈R^32×32×64和B_MS∈R^32×32×64，然后经过堆叠得到C_Redu1∈R^32×32×128，最后将堆叠结果C_Redu1∈R^32×32×128输入到接下来的两个融合块，得到F_Redu2∈R^16×16×256。分辨率感知模块以堆叠结果C_Redu1∈R^32×32×128作为输入，用于提取分辨率信息，然后将分辨率信息和融合块F_Redu2∈R^16×16×256共同输入到解码器中，得到小尺寸融合图像F_R∈R^64×64×4。小尺寸融合图像的重建过程和全尺寸类似，只是输入输出的图像对尺寸不同。

F_input＝β⊙F_Redu2+γ

小尺寸融合图像重建过程的分辨率信息β和γ来自小尺寸图像，以相同的方式和自身编码器输出结果相结合，然后输入到解码器中得到小尺寸融合图像F_R∈R^64×64×4。

再获取交叉分辨率小尺寸融合图像C_R∈R^64×64×4，此过程的分辨率信息来自全尺图像，然后经过下采样后注入到解码器中，使小尺寸的融合图像包含高分辨率的信息。

F_input＝β↓⊙F_Redu2+γ↓

↓表示下采样操作，分辨率感知模块提取的全尺寸图像的高分辨率信息β和γ需要进行下采样操作后再和解码器输出结果F_Redu2∈R^16×16×256结合，然后输入到解码器中,得到交叉分辨率小尺寸融合图像C_R∈R^64×64×4。

域对抗模块是以融合块F_Redu2∈R^16×16×256和融合块F_Full2∈R^64×64×256的四倍下采样结果作为输入，目的是分离全尺寸域和小尺寸域，使他们的特征更加分明。另外，为了减少参数量，减轻运算负担，本模型中的编码器、解码器和分辨率感知模块共享参数。

进一步的，构建损失函数，此模型用的损失函数有MSELoss和NLLLoss；所构建的损失函数为：

其中H是输入的全尺寸多光谱图像，以H作为小尺寸融合结果的参考图像Reduced-scale Reference H∈R^64×64×4；F_R是Reduced-scale Fused image，即小尺寸融合图像；C_R是Cross-resolution Reduced-scale Fused image，即交叉分辨率小尺寸融合图像；F_F是Full-scale Fused image，即全尺寸融合图像；C_F是Cross-resolution Full-scale Fusedimage，即交叉分辨率全尺寸融合图像；L_F是Full-scale LRMS，即全尺寸低分辨率多光谱图像。D(·)为双立方插值空间下采样算子。

NLLLoss和交叉熵损失函数类似，常用于分类问题中，只是NLLLoss需要和softmax、log等运算组合当作损失函数，则有：

Loss5＝NLLLoss(full_domain，label0)

Loss6＝NLLLoss(redu_domain，label1)

其中full_domain和redu_domain是模型的输出(经过softmax的结果)，label0是全为0的张量，label1为全为1的张量。

则总的损失函数为：

Loss＝Loss1+Loss2+Loss3+Loss4+Loss5+Loss6

实施例2

本公开的一种实施例提供了一种基于半监督深度神经网络的遥感图像融合***，包括：图像获取模块，用于获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

特征提取模块，用于将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

分辨率感知模块，用于将提取的空间信息和光谱信息的特征图进行堆叠之后进行分辨率感知；

图像融合重建模块，用于对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

进一步的，还包括域对抗模块；

所述特征提取模块包括编码器、解码器，用于利用全色图像的空间信息和多光谱图像的光谱信息，用两个分支网络分别提取空间特征和光谱特征，获取互补信息。

作为一种实施例，采用上述***模块具体实现以下方法步骤：

本公开的数据集采用GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱图像和高空间分辨率的全色图像。

步骤1：分别输入全尺寸多光谱图像Full-scale LRMS image L_F∈R^64×64×4和全色图像Full-scale PAN image P_F∈R^256×256×1，小尺寸多光谱图像Reduced-scale LRMS imageL_R∈R^16×16×4和全色图像Reduced-scale PAN image P_R∈R^64×64×1，全尺寸和小尺寸图像的位置是对应的，只有高低分辨率的区别，其中全尺寸多光谱图像作为小尺寸融合结果HRMS的参考图像。

其中，使用Bicubic插值上采样将多光谱图像上采样为全色图像大小，即全尺寸为256×256×4，小尺寸为64×64×4，和相对应的全色图像形成成对的训练数据。

将四倍上采样的低分辨率多光谱图像和全色图像输入双分支网络，得到B_PAN∈R^{128 ×128×64}和B_MS∈R^128×128×64，然后将二者堆叠得到C_Full1∈R^{128×128×128}，同理还有小尺寸的堆叠结果C_Redu1∈R^32×32×128。

步骤2：分别将全尺寸和小尺寸的堆叠结果输入到编码器进行融合。

将全尺寸堆叠结果C_Full1∈R^{128×128×128}和小尺寸堆叠结果C_Redu1∈R^32×32×128输入到编码器中，经过两个卷积块得到全尺寸融合特征图F_Full2∈R^64×64×256和小尺寸融合特征图F_Redu2∈R^16×16×256。

步骤3：进行域对抗

将全尺寸融合特征图F_Full2∈R^64×64×256进行双立方插值四倍下采样得到16×16×256大小的结果，然后和小尺寸融合特征图F_Redu2∈R^16×16×256实施域对抗。域对抗模块包括两个线性层，一个批量归一化层和一个softmax激活函数，激活函数softmax将域信息映射到0到1之间，然后结合NLLLoss和0标签、1标签，将全尺寸域和小尺寸域分离开。

步骤4：提取分辨率因子

将堆叠结果C_Full1∈R^{128×128×128}输入到分辨率提取器，输出结果为F_β∈R^64×64×256和F_γ∈R^64×64×256，同理还有小尺寸的分辨率因子R_β∈R^16×16×256和R_γ∈R^16×16×256，值得注意的是，这里的β和γ不是简单的***数字，而是包含了分辨率信息的四维张量。

步骤5：重建高分辨率多光谱图像

将全尺寸融合特征图F_Full2∈R^64×64×256输入解码器，首先经过第一个卷积模块，得到128×128×128的特征图，然后将第一第二个卷积结果堆叠输入到第三个卷积块，此时图像的分辨率依然为128×128，再进入第四个卷积块，将通道数提升至128，接下来将包含丰富空间信息和光谱信息的双分支网络的特征图B_PAN∈R^128×128×64和B_MS∈R^128×128×64和卷积块4的结果堆叠，并输入第5个卷积块，第5个卷积块为转置卷积，负责将图像提升至256×256大小，最后经过第6个卷积块将通道数降为4，得到目标图像HRMS∈R^256×256×4，此描述过程为全尺寸域的图像重建过程，小尺寸域的重建过程和此过程相似，只是分辨率为全尺寸域的1/4。

本公开的效果可以通过以下仿真进一步说明。

1.仿真环境：

PyCharm Community Edition 2022.1.2x64，NVIDIA GEFORCE RTX3090,Ubuntu18.04。

2.仿真内容：

用本公开对GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，结果如图3所示，其中：

图3(a)是低空间分辨率的多光谱图像，大小为64×64×4，

图3(b)是高空间分辨率的全色图像，大小为256×256×1，

图3(c)是Ground-Truth，即融合结果的参考图像，大小为256×256×4

图3(d)为采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像，大小为256×256×4

由图3可见，图3(d)的空间细节信息相比于图3(a)有明显提高，道路与建筑物等边缘清晰，与图3(b)相比，图3(d)的色彩信息更加丰富，由此可见，本发明能够对图3(a)和图3(b)进行较好的融合。

仿真2，为了证明本发明的效果，分别用本发明的方法和现有技术BDSD变换法、AWLP变换法、Indusion变换法、SVT变换法、VPLGC变换法和其他的深度神经网络方法PNN方法、PanNet方法对图2(a)和图2(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：

1)相关系数CC，表示光谱信息的保留程度，结果在区间[0,1]，相关系数越接近1，表示融合结果与参考图像越相似。

2)均方根误差RMSE，表示预测值与真实值偏差的平方与观测次数n比值的平方根，数值越小，融合结果越好。

3)全局综合误差指标ERG，在RMSE的基础上，考虑融合影像与观测影像之间的尺度关系，区间在[0,1],指标越接近于1越好。

4)光谱弧度SAM，表示光谱的扭曲程度，越接近0，融合结果越好。

5)全局质量评估indexQ，表示图像在空间和光谱上的整体相似度，结果范围在区间[0,1]，全局质量评估指数越大，融合图像越与参考图像相似。

6)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。

根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。

表1.各类方法融合结果的客观评价

由表1可见，本公开的相关系数CC、全局质量评估indexQ和整体图像质量指数UIQI均大于现有技术的评价值，均方根误差RMSE、全局误差评分ERG和光谱弧度SAM均小于现有技术的评价值，以上评价值均优于现有技术的评价值，由此可以看出本公开的大部分客观评价指标均优于现有技术的客观评价指标。

本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (11)

1.基于半监督深度神经网络的遥感图像融合方法，其特征在于，包括：

获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

将提取的空间信息和光谱信息的特征图进行堆叠之后先进行分辨率感知，然后对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

2.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，预处理的过程为：使用Bicubic插值上采样将多光谱图像上采样为全色图像大小，将四倍上采样的低分辨率多光谱图像和全色图像输入双分支网络。

3.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，所述双支网络包括两个分支网络，分别为光谱分支和空间分支，所述两个分支网络由两个卷积核为3×3、步长为1的卷积层组成。

4.如权利要求2所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，所述光谱分支的输入通道数为4，空间分支的输入通道数为1。

5.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，分别将全尺寸和小尺寸的堆叠结果输入到编码器进行融合，经过两个卷积块得到全尺寸融合特征图和小尺寸融合特征图。

6.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，将堆叠结果输入到分辨率提取器，进行分辨率感知，并输出分辨率感知结果。

7.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，对高分辨率多光谱图像进行重建时，将融合特征图输入解码器，先经过第一个卷积模块，得到特征图，然后将第一第二个卷积结果堆叠输入到第三个卷积块，输出再进入第四个卷积块，提升通道数，将双分支网络中输出的特征图和第四个卷积块输出的结果进行堆叠，输入至第五个卷积块，然后再经过第六个卷积块将通道数进行降低，得到重建的目标图像。

8.如权利要求1所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，将全尺寸融合特征图进行双立方插值四倍下采样，然后和小尺寸融合特征图进行域对抗。

9.如权利要求8所述的基于半监督深度神经网络的遥感图像融合方法，其特征在于，在域对抗模块进行域对抗，所述域对抗模块包括两个线性层，一个批量归一化层和一个softmax激活函数，激活函数softmax将域信息映射到0到1之间，然后结合NLLLoss和0标签、标签，将全尺寸域和小尺寸域分离开。

10.基于半监督深度神经网络的遥感图像融合***，其特征在于，包括：

图像获取模块，用于获取待融合的高空间分辨率全色图像和低空间分辨率多光谱图像，对其进行预处理；

特征提取模块，用于将所述全色图像和多光谱图像输入至双支网络中，分别提取全色图像的空间信息和多光谱图像的光谱信息特征；

分辨率感知模块，用于将提取的空间信息和光谱信息的特征图进行堆叠之后进行分辨率感知；

图像融合重建模块，用于对堆叠后的特征图进行融合重建时注入分辨率感知结果，获得融合图像。

11.基于半监督深度神经网络的遥感图像融合***，其特征在于，还包括域对抗模块；

所述特征提取模块包括编码器、解码器，用于利用全色图像的空间信息和多光谱图像的光谱信息，用两个分支网络分别提取空间特征和光谱特征，获取互补信息。

Images