CN113191993B - 基于深度学习的全色与多光谱图像融合方法 - Google Patents

Abstract

本公开提供了一种基于深度学习的全色与多光谱图像融合方法及***，包括：获取待融合的全色图像和多光谱图像；将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；所述方案能够充分利用深度神经网络，突出图像的空间结构信息，并且利用构建的分支光谱调节网络对图像风格进行调整，从而使融合后的遥感图像不仅具有高空间分辨率，而且能很好地保留了特定卫星的特定风格信息。

Description

基于深度学习的全色与多光谱图像融合方法

技术领域

本公开属于遥感图像处理技术领域，尤其涉及一种基于深度学习的全色与多光谱图像融合方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

地球遥感卫星通常提供两种不同类型的图像，即高空间和低光谱分辨的全色图像与低空间和高光谱分辨的多光谱图像。目前，由于技术限制，卫星传感器获取的都是全色图像与多光谱图像，无法直接获取高空间和高光谱分辨的多光谱图像。

发明人发现，现有方法中存在通过深度神经网络的遥感图像融合方法，但是，现有传统基于深度神经网络的全色图像与多光谱图像融合通常为每一种卫星训练一个模型，并且需要大量的训练数据，对于不同传感器的卫星拍摄的不同风格的图像需要单独的训练数据，融合不同的传感器的不同风格图像需要训练不同的网络模型，导致模型训练效率低下，同时，在没有大量训练数据的前提下所训练的融合模型无法保证融合质量。

发明内容

本公开为了解决上述问题，提供了一种基于深度学习的全色与多光谱图像融合方法，所述方案能够充分利用深度神经网络，突出图像的空间结构信息，并且利用构建的分支光谱调节网络对图像风格进行调整，从而使融合后的遥感图像不仅具有高空间分辨率，而且能很好地保留了特定卫星的特定风格信息。

根据本公开实施例的第一个方面，提供了一种基于深度学习的全色与多光谱图像融合方法，包括：

获取待融合的全色图像和多光谱图像；

将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像。

进一步的，所述空间结构增强网络的输入为全色图像和初始多光谱图像，全色图像和初始多光谱图像首先进行堆叠操作得到图像M，中间采用4个卷积模块，进行空间信息的提取，所述卷积模块间进行密集连接，将M输入第一个卷积模块，输出为ms2；M与第一个卷积模块的输出ms2堆叠，输入第二个卷积模块，输出为ms3；M与ms2、ms3堆叠，输入第三个卷积模块，输出为ms4；M与ms2、ms3、ms4堆叠，作为输入，输入第四个卷积模块，输出为ms5；将全色图像本身进行四次堆叠，输出为pan2；然后pan2与ms5相加，输出结果为HRMS1。

进一步的，所述光谱信息调整网络将所述空间结构增强网络的输出输入特定分支进行处理，每一个分支网络包括，32个3×3滤波器的卷积层，全局平均池化层，和两个全连接层，4个3×3滤波器的卷积层；所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整，输出结果为Mask。

进一步的，所述空间结构增强网络的输出结果HRMS1与光谱信息调整网络的输出结果Mask点乘，点乘结果为最终高分辨率多光谱图像；

进一步的，对于获取的待融合的全色图像和多光谱图像需要进行预处理操作，将将低空间分辨率的多光谱图像进行四倍上采样操作得到与全色图像尺寸相同的初始多光谱图像。

根据本公开实施例的第二个方面，提供了一种基于深度学习的全色与多光谱图像融合***，包括：

图像获取单元，其用于获取待融合的全色图像和多光谱图像；

图像融合单元，其用于将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像。

根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于深度学习的全色与多光谱图像融合方法。

根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于深度学习的全色与多光谱图像融合方法。

与现有技术相比，本公开的有益效果是：

(1)本公开所述的图像融合模型能够充分利用深度神经网络，突出图像的空间结构信息，并且利用构建的分支光谱调节网络对图像风格进行调整，从而使融合后的遥感图像不仅具有高空间分辨率，而且能很好地保留了特定卫星的特定风格信息。

(2)本公开所述方案对于多种卫星图像仅需训练一个共用模型，通过使用多种卫星数据共用训练，弥补了针对某一种卫星训练数据较少的问题，提高了融合模型的训练效果，进而提高了融合图像的质量。

(3)本公开所述方案提高了数据的利用率，相对于现有技术更加鲁棒，融合结果更加稳定。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例一中所述的空间结构增强网络流程图；

图2(a)为本公开实施例一中所述的光谱信息调整网络分支网络结构示意图。

图2(b)为本公开实施例一中所述的光谱信息调整网络中特定分支结构的流程图；

图2(c)为本公开实施例一中所述的空间结构增强网络和光谱信息调整网络输出结果点乘示意图；

图3(a)-图3(d)为本公开实施例一中所述图像融合方法对低空间分辨率多光谱图像和高空间分辨率全色图像融合的结果对比图(其中，图3(a)是低空间分辨率的多光谱图像，图3(b)是高空间分辨率的全色图像，图3(c)是一幅参考图像，图3(d)为本公开所述方法融合后的多光谱图像。

具体实施方式

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一：

本实施例的目的是提供一种基于深度学习的全色与多光谱图像融合方法。

一种基于深度学习的全色与多光谱图像融合方法，包括：

获取待融合的全色图像和多光谱图像；

将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像。

为了便于理解，以下结合附图对本公开所述方案进行详细说明：

本公开所述方案中给出一种两个阶段的深度神经网络模型，用于对卫星的全色图像与多光谱图像进行融合方法，第一阶段基于卷积神经网络，为多种卫星共用的空间结构增强网络，第二阶段多个分支的光谱信息调整网络，特定分支将第一阶段的结果调整成特定卫星的风格。空间结构增强网络使用多种不同风格的图像作为训练数据，通过卷积神经网络，训练出具有较好空间结构的图像，光谱信息调整网络进一步对图像风格进行调节，为使本公开的目的、技术方案和优点更加清楚明了，下面结合附图和实施，对本公开技术方案进一步详细说明，具体步骤如下。

本公开区别于一般的基于深度卷积网络的融合方法在于，本方法可以使用多种不同传感器的图像作为训练图像，扩展了训练数据，不同于传统融合网络需要为每一种类图像设计一种网络结构，训练一个模型，本公开将不同风格的图像使用共用一个网络模型进行训练，然后使用分支光谱信息调整网络对图像进行光谱调整，得到所需风格图像。

本公开基于深度学习网络，将融合网络分为空间结构增强网络和分支光谱信息调整网络两个部分，空间结构增强网络使用多种传感器的卫星数据训练空间结构调整网络，有效的扩大了训练样本，得到具有较好空间结构信息的图像，但是色彩风格会不与其中一种卫星相似。然后使用光谱信息调整网络提取特定传感器的遥感图像风格，对第一步得到的具有较好空间结构信息的图像进行光谱调整，得到特定风格的图像。

具体的，从数据输入、模型训练到融合结果输出对本公开所述方法的步骤进行说明：

步骤1：输入图像

(1a)输入训练图像：低空间分辨率的多光谱图像和高空间分辨率的全色图像；

(1b)作为训练使用的低空间分辨的多光谱图像ms和高分辨全色图像pan，包含对应的真实图像；

(1c)将低空间分辨率的多光谱图像通过反卷积进行四倍上采样操作得到与全色图像p尺寸相同的初始多光谱图像ms1∈R256*256*4；

步骤2：通过空间结构增强网络提取有效的特征图，进行全色图像与多光谱图形的融合

(2a)全色图像p和初始多光谱图像ms1首先进行堆叠操作得到图像M∈R256*256*4。堆叠操作中，图像在第三个维度进行拼接。

(2b)M∈R256*256*4输入第一个卷积模块，输出为ms2∈R256*256*4；M∈R256*256*4与第一个卷积模块的输出ms2∈R256*256*4堆叠，作为输入，输入第二个卷积模块，输出为ms3∈R256*256*4；M∈R256*256*4与第一个卷积模块输出ms2∈R256*256*4、第二个卷积模块的输出ms3∈R256*256*4堆叠，作为输入，输入第三个卷积模块，输出为ms4∈R256*256*4；M∈R256*256*4与第一个卷积模块输出ms2∈R256*256*4、第二个卷积模块的输出ms3∈R256*256*4、第三个卷积模块的输出ms4∈R256*256*4堆叠，作为输入，输入第四个卷积模块，输出为ms5∈R256*256*4。将全色图像p本身堆叠四次输出pan2∈R256*256*4，突出空间结构信息，然后与第四个卷积模块的输出ms5∈R256*256*4相加。输出结果为HRMS1∈R256*256*4。

步骤3：光谱信息调整网络提取风格特征

(3a)构建光谱信息调整网络：不同种类卫星的融合的HRMS1输入不同的光谱调节分支。光谱调整网络包含多个分支网络，每个分支网络处理一个种类的遥感影像，HRMS1输入它对应的分支处理。

(3b)对于其中一个分支，输入为HRMS1∈R256*256*4。HRMS1∈R256*256*4先经过32个3×3滤波器的卷积层，输出H1∈R256*256*32，H1∈R256*256*32输入全局平均池化层，全局平局池化将二维信息进行特征压缩，将每个二维的特征通道变成一个实数，32个通道对应着32个实数，这个实数某种程度上具有全局的感受，输出H2∈R32，H2∈R32输入两个全连接层，第一个全连接层输入32个节点，输出16个节点，包含一个激活函数RectifiedLinear Unit(ReLU)，第二个全连接层输入16个节点，输出32个节点，包含一个激活函数sigmoid，两个全连接层的输出结果为H3∈R32，将H3∈R32的维度进行调整，调整为H3∈R1*1*32，H3∈R1*1*32与HRMS1∈R256*256*32点乘，H3对H1逐通道调整。点乘结果通过一个卷积层(4个3×3滤波器)处理，输出结果为Mask∈R256*256*4。

(3c)Mask∈R256*256*4与HRMS1∈R256*256*4点乘。得到最终高分辨率多光谱图像；

步骤4：训练网络

本公开所述方案采用随机梯度下降算法对网络进行训练，损失函数为生成图像与参考图像的距离的L2范数。学习率设置成0.001。迭代次数设置成8000轮，batch_size设置为8，迭代完成后输出训练好的训练模型。

步骤5：图像融合

当两阶段深度神经网络训练完成后，将测试的低空间分辨率的多光谱图像和高空间分辨率的全色图像输入到空间结构增强网络得到中间结果C，再将C输入到光谱信息调整网络得到D，将D与C进行点乘得到最终结果，即为融合图像。

通过以下仿真对本公开所述方案的效果进行说明：

1.仿真环境：

PyCharm Community Edition 2020.1x64，Window 10。

2.仿真内容：

本公开实施例中，采用五种卫星图像：216对Fastbird卫星图像，图像包括拍摄的绿色农田和浅棕色梯田。248对worldview卫星图像，图像内容是山脚下的茂密房屋，这是山脚下的一个小城市。696对geoeye卫星图像，图像内容是一座光秃秃的山脉，其中包含小镇。104对Ikonos卫星图像，内容为四川地区的山脉。416对GaoFen-2卫星图像，内容为城市的市区。低空间分辨率的多光谱图像大小为64×64×4，空间分辨率为8.0m，高空间分辨率的全色图像大小为256×256，空间分辨率为2.0m，参考图像大小为256×256×4；

图3(a)是低空间分辨率的多光谱图像，大小为64×64×4，

图3(b)是高空间分辨率的全色图像，大小为256×256，

图3(c)是一幅参考图像，大小为256×256×4，

图3(d)为采用本公开对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像，大小为256×256×4。

结合附图，可以发现图3(d)的分辨率信息相比于图3(a)有明显提高，尤其在树木道路与房屋等细节部分，边缘更加清晰，与图3(b)相比，图3(d)的光谱信息更加丰富，由此可见，本公开能够对图3(a)和图3(b)进行较好的融合。

为了验证本方法的效果，分别使用现有方法与本方法对比。包括的技术：BDSD变换法、AWLP变换法、Indusion方法、SVT算法、VPLGC、PNN、PanNet对图2(a)和图2(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：

1)相关系数CC，表示光谱信息的保留程度，结果在区间[0，1]，相关系数越接近1，表示融合结果与参考图像越相似。

2)RMSE均方根误差，表示预测值与真实值偏差的平方与观测次数n比值的平方根，数值越小，融合结果越好。

3)全局综合误差指标ERG，越接近于1越好。

4)光谱弧度SAM，表示光谱的扭曲程度，将图像中的每个像元的光谱视为一个高维向量，通过计算两向量间的夹角来度量光谱间的相似性，越接近0，融合结果越好。

5)全局质量评估indexQ，表示图像在空间和光谱上的整体相似度，结果范围在区间[0，1]，全局质量评估指数越大，融合图像越与参考图像相似。

6)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。

根据上述评价指标对本公开与现有技术的融合结果从客观评价指标上进行评价，结果如表1。

表1.各类方法融合结果的客观评价

由表1可见，以上评价值均优于现有技术的评价值，由此可以看出本公开的大部分客观评价指标均优于现有技术的客观评价指标。

说明本公开方法得到的融合图像空间信息丰富，并较好地保留了多光谱图像的光谱信息。

按照所述仿真内容的仿真结果主观评价如下:从视觉上分析，融合图像均提高了原始多光谱图像的空间分辨率，使用多种种类图像作为训练数据，增大了训练数据量。

实施例二：

本实施例的目的是提供一种基于深度学习的全色与多光谱图像融合***。

图像获取单元，其用于获取待融合的全色图像和多光谱图像；

图像融合单元，其用于将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述实施例提供的一种基于深度学习的全色与多光谱图像融合方法及***可以实现，具有广阔的应用前景。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于深度学习的全色与多光谱图像融合方法，其特征在于，包括：

获取待融合的全色图像和多光谱图像；

将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像；

所述空间结构增强网络的输入为全色图像和初始多光谱图像，全色图像和初始多光谱图像首先进行堆叠操作得到图像M，中间采用4个卷积模块，进行空间信息的提取，所述卷积模块间进行密集连接，将M输入第一个卷积模块，输出为ms2；M与第一个卷积模块的输出ms2堆叠，输入第二个卷积模块，输出为ms3；M与ms2、ms3堆叠，输入第三个卷积模块，输出为ms4；M与ms2、ms3、ms4堆叠，作为输入，输入第四个卷积模块，输出为ms5；将全色图像本身进行四次堆叠，输出为pan2；然后pan2与ms5相加，输出结果为HRMS1。

2.如权利要求1所述的一种基于深度学***均池化层，和两个全连接层，4个3×3滤波器的卷积层；所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整，输出结果为Mask；

所述特定分支包括，32个3x3滤波器的卷积层，全局平均池化层，和两个全连接层，4个3x3滤波器的卷积层；

对于光谱信息调整网络其中一个分支，输入为HRMS1∈R256*256*4；HRMS1∈R256*256*4先经过32个3×3滤波器的卷积层，输出H1∈R256*256*32，H1∈R256*256*32输入全局平均池化层，全局平局池化将二维信息进行特征压缩，将每个二维的特征通道变成一个实数，32个通道对应着32个实数，这个实数某种程度上具有全局的感受，输出H2∈R32，H2∈R32输入两个全连接层，第一个全连接层输入32个节点，输出16个节点，包含一个激活函数Rectified Linear Unit，第二个全连接层输入16个节点，输出32个节点，包含一个激活函数sigmoid，两个全连接层的输出结果为H3∈R32，将H3∈R32的维度进行调整，调整为H3∈R1*1*32，H3∈R1*1*32与HRMS1∈R256*256*32点乘，H3对H1逐通道调整；点乘结果通过一个卷积层处理，输出结果为Mask∈R256*256*4。

3.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法，其特征在于，所述空间结构增强网络的输出结果HRMS1与光谱信息调整网络的输出结果Mask点乘，点乘结果为最终高分辨率多光谱图像HRMS。

4.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法，其特征在于，对于获取的待融合的全色图像和多光谱图像需要进行预处理操作，将将低空间分辨率的多光谱图像进行四倍上采样操作得到与全色图像尺寸相同的初始多光谱图像。

5.一种基于深度学习的全色与多光谱图像融合***，其特征在于，包括：

图像获取单元，其用于获取待融合的全色图像和多光谱图像；

图像融合单元，其用于将所述全色图像和多光谱图像输入预训练的图像融合模型中，获得融合后的遥感图像；

其中，所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分，所述空间结构增强网络基于卷积神经网络，其使用不同种类卫星的遥感图像训练集进行训练；所述光谱信息调整网络包括若干分支网络，每个分支网络利用特定种类卫星的遥感图像进行训练，通过将空间结构增强网络和光谱信息调整网络的输出结果点乘，获得融合图像；

所述空间结构增强网络的输入为全色图像和初始多光谱图像，全色图像和初始多光谱图像首先进行堆叠操作得到图像M，中间采用4个卷积模块，进行空间信息的提取，所述卷积模块间进行密集连接，将M输入第一个卷积模块，输出为ms2；M与第一个卷积模块的输出ms2堆叠，输入第二个卷积模块，输出为ms3；M与ms2、ms3堆叠，输入第三个卷积模块，输出为ms4；M与ms2、ms3、ms4堆叠，作为输入，输入第四个卷积模块，输出为ms5；将全色图像本身进行四次堆叠，输出为pan2；然后pan2与ms5相加，输出结果为HRMS1。

6.如权利要求5所述的一种基于深度学***均池化层，和两个全连接层，4个3×3滤波器的卷积层；所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整，输出结果为Mask；

所述特定分支包括，32个3x3滤波器的卷积层，全局平均池化层，和两个全连接层，4个3x3滤波器的卷积层；

对于光谱信息调整网络其中一个分支，输入为HRMS1∈R256*256*4；HRMS1∈R256*256*4先经过32个3×3滤波器的卷积层，输出H1∈R256*256*32，H1∈R256*256*32输入全局平均池化层，全局平局池化将二维信息进行特征压缩，将每个二维的特征通道变成一个实数，32个通道对应着32个实数，这个实数某种程度上具有全局的感受，输出H2∈R32，H2∈R32输入两个全连接层，第一个全连接层输入32个节点，输出16个节点，包含一个激活函数Rectified Linear Unit，第二个全连接层输入16个节点，输出32个节点，包含一个激活函数sigmoid，两个全连接层的输出结果为H3∈R32，将H3∈R32的维度进行调整，调整为H3∈R1*1*32，H3∈R1*1*32与HRMS1∈R256*256*32点乘，H3对H1逐通道调整；点乘结果通过一个卷积层处理，输出结果为Mask∈R256*256*4。

7.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的一种基于深度学习的全色与多光谱图像融合方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的一种基于深度学习的全色与多光谱图像融合方法。

Images