CN109801218B - 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 - Google Patents

Abstract

本发明公开了一种基于多层耦合卷积神经网络的多光谱遥感图像Pan‑sharpening方法，通过两个卷积自编码器分别提取输入图像与输出图像的高层特征，并通过耦合卷积网络在两个高层特征间建立特征映射层的同时在网络的输入与输出图像间建立端到端连接，最终微调整体网络框架。本发明通过卷积自编码器的算法充分提取了图像LM‑HR和图像HR‑MS的内在特征，并通过耦合卷积的方式，在两个内在特征间建立卷积神经网络并在网络的输入与输出间创建连接形成端到端的网络，提高了融合精度。

Description

基于多层耦合卷积神经网络的多光谱遥感图像Pan- sharpening方法

技术领域

本发明属于图像融合领域，具体涉及一种基于多层耦合卷积神经网络的Pan-sharpening方法。

背景技术

为了从多维和宏观角度理解地球，遥感已成为一种新兴技术。遥感图像是能够探测并记录各种地物信息的一种图像，主要通过航拍摄影或卫星拍摄得到。但是对于一套光学遥感器***而言，图像空间分辨率和光谱分辨率是一对矛盾。在给定信噪比的条件下，较高光谱分辨率往往意味着不能同时具有高空间分辨率。为此，提出了遥感图像融合技术，即Pan-sharpening算法。具体地说，Pan-sharpening算法是一种将高空间分辨率的全色图像(HR-Pan)的空间细节融入低空间分辨率的多光谱图像(LR-MS)得到高空间分辨率的多光谱图像(HR-MS)的方法。其中，图像LR-MS的光谱特性丰富，但空间信息较少；图像HR-Pan的空间分辨率较高，但光谱信息较少。而最终融合图像HR-MS的空间信息和光谱信息都较丰富。传统的Pan-sharpening算法仅利用了浅层的线性或非线性关系，特征的提取不够入，得到的融合效果一般。

近年来，深度神经网络由于含有多个隐含层，具有很强大的学习能力。通过多层次的网络学习，神经网络能够迭代地抽取到输入数据的更深层次的特征信息。通过深度学习改进Pan-sharpening算法得到的融合图像质量更高，为图像后续处理提供了更好的图像数据基础，以供其进一步观察、处理、分析、决策等。因此，越来越多的研究者将深度学习的方法应用于Pan-sharpening算法中。

在基于深度学习的Pan-sharpening算法中，分为训练阶段和测试阶段。在训练阶段中，将低分辨率的多光谱图像LR-MS每一波段上采样到与图像HR-Pan同一空间分辨率，再将图像HR-Pan与上采样后的图像LR-Ms沿光谱维连接生成图像LM-HR，作为输入图像。图像HR-MS作为输出图像的参考值。在输入图像与输出图像之间建立端到端的网络连接，不断迭代得到最佳网络参数值。在测试阶段，将低空间分辨率的多光谱测试图像(Test-LR-MS)输入到训练好的神经网络中，最终得到融合后的高空间分辨率的多光谱测试图像(Test-HR-MS)。针对Pan-sharpening算法输入的特殊性，仅仅使用单层神经网络难以同时提取训练阶段中输入图像与输出图像的内在特征。为了解决该问题，曾坤在2017年提出了基于耦合自编码器的超分辨算法，通过联合学习的方式同时使用两个自编码器分别提取低分辨率的自然图像(LR)和高分辨率的自然图像(HR)，并且在两幅图像的特征之间创建单层非线性映射。自编码器是神经网络中常用的提取图像特征的方法，分为编码器和解码器两部分。编码器能够将输入信息的特征自动地学习出来，再通过解码器将之前学习的特征复现成类似输入信息的输出信息。但是该网络是无监督学习，无法在图像间建立联系，通过联合学习的思想能很好的解决这一问题，得到理想的融合效果。

自编码器虽然能够较好的提取图像的内在特征，但是图像必须被展开成单个向量，往往会破坏图像的空间信息。而在Pan-sharpening算法中，提取的空间信息是至关重要的步骤。因此在提取图像特征时自编码器不是最适合的方法，会影响融合图像的质量。同时，由于自编码器是全连接层的网络结构，导致网络参数过多，对计算机的配置要求过高，不适合进行图像识别任务。由于全连接神经网络的梯度无法传递超过三层，因此对网络的层数产生限制。但网络的层数越多其表达能力越强，因此全连接层限制了网络的表达能力。

发明内容

本发明的目的在于提供一种基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法。

实现本发明目的的技术方案为：一种基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，通过两个卷积自编码器分别提取输入图像与输出图像的高层特征，并通过耦合卷积网络在两个高层特征间建立特征映射层的同时在网络的输入与输出图像间建立端到端连接，最终微调整体网络框架；该方法分为训练阶段和测试阶段，具体步骤如下：

训练阶段：

步骤1，预处理LM-HR图像和HR-MS图像，生成LM-HR图像块和HR-MS图像块，将LM-HR图像块作为输入，HR-MS图像块作为输出；

步骤2，通过两个卷积自编码器分别提取LM-HR图像块和HR-MS图像块的高层特征；

步骤3，在步骤2中的两个高层特征间通过三层卷积神经网络构建特征映射层，得到相应的特征映射关系；

步骤4，运用耦合卷积网络，保留提取LM-HR图像块特征的卷积自编码器的编码器部分、提取HR-MS图像块特征的卷积自编码器的解码器部分以及特征映射层，将保留的卷积层连接得到在输入与输出间完整的端到端网络；采用后向传播算法对整个网络微调，更新网络的权重和偏置项，使网络达到最优值；

测试阶段：

步骤5，输入测试图像Test-LM-HR到神经网络中，得到相对应的融合图像Test-HR-MS。

与现有技术相比，本发明的显著优点为：(1)本发明区别于传统的Pan-sharpening框架，采用了深度学习的概念，深度学习比浅学习具有更高的表达能力，能够有效地提取图像中的深层次特征，通过这种方式不仅能很好地增强高光谱图像的空间分辨率，还能很好地对地物光谱信息进行保真；(2)在深度神经网络中，通过耦合的方式同时提取两幅图像的内在特征，能够得到更深层的图像特征，有利于图像融合，得到高质量的融合图像；(3)通过耦合卷积的方式，在提取的内在特征间建立联系并且在网络的输入与输出间形成端到端的网络。卷积自编码器作为一种无监督学习，只能对自身进行学习，无法在两幅图像间建立联系。通过这种网络连接，能够充分利用卷积自编码器提取的图像特征；有利于保持图像的空间细节以及光谱的保真；(4)已有的耦合网络都是在全连接的基础上进行的，这种网络结构导致图像必须被展开成单个向量，并且网络对输入向量的神经元个数有一定约束限制，往往会损失图像的空间信息；在本发明中结合了卷积神经网络提出了耦合卷积网络；这种网络结构通过局部连接的方式，大大减少了神经元参数，使得每个神经元只与上一层中少部分的神经元进行连接，能够减少计算量，加快算法运行效率；并且尽可能的保证图像的空间信息不被破坏，维持了图像的空间信息，增强融合图像的质量。

附图说明

图1是本发明基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法流程图。

图2是测试图像的输入及输出，其中，(a)为测试图像Test-LR-MS，(b)为测试图像Test-HR-Pan，(c)为测试图像的融合结果Test-HR-MS图。

具体实施方式

如图1所示，一种基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，通过两个卷积自编码器分别提取输入图像与输出图像的高层特征，并通过耦合卷积网络在两个高层特征间建立特征映射层的同时在网络的输入与输出图像间建立端到端连接，最终微调整体网络框架；该方法分为训练阶段和测试阶段，具体步骤如下：

训练阶段：

步骤1，预处理LM-HR图像和HR-MS图像，生成LM-HR图像块和HR-MS图像块，将LM-HR图像块作为输入，HR-MS图像块作为输出；

通过内插值对图像LR-MS上采样，以获得具有与HR-Pan图像相同空间分辨率的LMS图像。将图像HR-Pan与LMS沿光谱维连接生成图像LM-HR，作为该网络的输入数据，输出数据的参考值为原始采集的多光谱图像HR-MS。

步骤2，通过两个卷积自编码器分别提取LM-HR图像块和HR-MS图像块的高层特征；

步骤3，在步骤2中的两个高层特征间通过三层卷积神经网络构建特征映射层，得到相应的特征映射关系；

步骤4，运用耦合卷积网络，保留提取LM-HR图像块特征的卷积自编码器的编码器部分、提取HR-MS图像块特征的卷积自编码器的解码器部分以及特征映射层，将保留的卷积层连接得到在输入与输出间完整的端到端网络。采用后向传播算法对整个网络微调，更新网络的权重和偏置项，使网络达到最优值。

测试阶段：

步骤5，输入测试图像Test-LM-HR到神经网络中，得到相对应的融合图像Test-HR-MS。

本发明提出了耦合卷积网络，卷积自编码器是一种无监督学习，虽然能够提取图像的深层次特征，但是无法在两幅图像间建立联系。因此，通过耦合卷积网络能够在提取两幅图像深层次特征的同时在这两幅图像间建立端到端的连接。具体地说，保留提取LM-HR图像块特征的卷积自编码器的编码器部分、提取HR-MS图像块特征的卷积自编码器的解码器部分以及特征映射层，将保留卷积层进行连接得到一个完整的网络框架。

多层耦合卷积神经网络的参数设置：图像块的大小设置为32×32。在两个卷积自编码器中由7×7的感受野和ReLU函数计算得到为16个特征图K。特征映射层中三层卷积神经网络的卷积核设置如下：

K

W<sub>3</sub>×W<sub>3</sub>

f<sub>1</sub>(x)

c<sub>3</sub>

W<sub>4</sub>×W<sub>4</sub>

f<sub>2</sub>(x)

c<sub>4</sub>

W<sub>5</sub>×W<sub>5</sub>

f<sub>3</sub>(x)

c<sub>5</sub>(K)

16

9×9

ReLU

64

1×1

ReLU

32

5×5

ReLU

16

其中，三层卷积神经网络的卷积核即权重分别为W_m，偏置项为c_m,m＝3,4,5激活函数为f_i(x),i＝1,2,3。具体的三层构架为：第一层是由9×9的感受野和ReLU函数计算得到64个特征图，第二层由1×1的感受野和ReLU函数计算得到32个特征图，最后使用5×5的感受野和ReLU激活函数得到16个特征图。每个卷积层的步长设置为1，学习率设置为0.0001，优化器选用AdamOptimizer。在每次网络迭代时批处理的块数大小设置为100个块，迭代次数为150,000。

该方法通过卷积自编码器的算法充分提取了图像LM-HR和图像HR-MS的内在特征，并通过耦合卷积的方式，在两个内在特征间建立卷积神经网络并在网络的输入与输出间创建连接形成端到端的网络。实验发现该发明通过多层耦合卷积神经网络的方式提高了融合精度。

下面结合实施例对本发明进行详细说明。

实施例

结合图1，一种基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，分为两个阶段，分别是训练阶段和测试阶段。训练阶段的输入为两幅图像：一幅是将HR-Pan与上采样之后的LR-MS沿光谱维连接后得到的图像LM-HR，一幅是高空间分辨率的多光谱图像HR-MS。具体过程如下：

训练阶段：

步骤1，图像LM-HR与图像HR-MS分别取N个图像块，生成图像块

和

图像块大小分别32×32×5与32×32×4。

步骤2，使用卷积自编码器对LM-HR图像块

和HR-MS图像块

提取隐层特征，其中N表示从图像中取出的图像块个数。

卷积自编码器分为编码器和解码器两步骤，其中编码器部分为卷积层，解码器部分为反卷积层。两个卷积自编码器的编码器模型分别为：

其中，k表示卷积核的个数，设置为16。权重W₁ ^k和

分别表示两个卷积层的第k个卷积核，大小为7×7。

和

分别表示两个卷积层的第k个偏置项。与图像块LH_i和HM_i分别进行卷积(*)后生成k个特征图，分别是h^k(LH_i)和h^k(HM_i)。f(·)是激活函数Relu，公式如下所示：

f(x)＝max(0,x) (3)

两个卷积自编码器的解码器模型分别为：

其中，h^k(LH_i)和h^k(HM_i)是两个卷积自编码器的隐含层，即图像块的两幅特征图。权重

和

分别表示两个反卷积层的第k个反卷积核，即W₁ ^k和

的转置，大小为7×7。每张特征图与对应的卷积核的转置进行卷积操作并将结果求和，最后加上偏置项c₁和c₂，得到卷积自编码器的输出，即

和

f(·)依旧是激活函数Relu。

在每次迭代过程中，从所有训练图像块中随机选出100个块作为一次迭代的批处理数据，相比于每次迭代所有的训练数据而言，这样的方式不仅加快网络的计算速度，而且更适用于随机梯度下降的方法，提升精确度。

卷积自编码器的输出图像通过神经网络尽可能的复原输入图像，因此两个卷积自编码器的损失函数，分别是：

该子网络使用AdamOptimizer优化器对损失函数进行优化，AdamOptimizer通过使用动量(参数的移动平均数)来改善传统梯度下降，促进超参数动态调整，可以更准确的更新权重，获取最优解。在神经网络的训练阶段，调整优化器中的学***衡模型的训练速度和损失(loss)后选择相对合适的学习率。该发明中，该子网络的学习率设置为0.0001。

步骤3，提出了耦合卷积的方式，将步骤2中的两个卷积自编码器的特征图h^k(LH_i)和h^k(HM_i)，通过三层卷积神经网络建立非线性映射关系，使图像块

和图像块

之间建立端到端的连接。同时在网络的输入与输出间建立联系。

令三层卷积神经网络的卷积核分别为W_m，偏置项为c_m,m＝3,4,5。卷积核大小分别设置为9×9×64，1×1×32，5×5×16。偏置项大小分别设置为64×1，32×1，16×1。

同样在每次迭代时，从所有训练图像块中随机选出100个块作为一次迭代的批处理数据，进一步得到三层卷积神经网络的损失函数为：

使用AdamOptimizer优化器对此损失函数进行优化，此子网络优化器的学习率为0.0001。

步骤4，对整体网络进行微调，优化网络中的权重和偏置项。

在每次迭代时，从所有训练图像块中随机选出100个块作为一次迭代的批处理数据，因此该网络的总体误差函数为：

其中，HR_i为网络的输出，HM_i为网络输出的参考值。则最佳参数值应该是当E取得最小值时，即最小化公式(10)的情况。依旧使用AdamOptimizer优化器对此损失函数进行优化，该子网络优化器的学习率为0.0001。

测试阶段：

步骤5，在训练阶段结束之后，对测试图像进行测试。在本发明中提出的网络中输入测试图像Test-LM-HR，运行代码得到测试图像的融合结果Test-HR-MS。

图2是测试图像的输入及输出。由于融合图像是四波段图像，因此选取前三个波段，即：红绿蓝三原色，能够观察到图像的空间结构信息和颜色扭曲程度。其中，(a)为测试图像Test-LR-MS，(b)为测试图像Test-HR-Pan，(c)为测试图像的融合结果Test-HR-MS图。从图中看出，通过该算法得到的融合图像不仅保留了Test-HR-Pan的空间结构信息，同时保留了Test-LR-MS的光谱信息。因此，该融合图像的空间分辨率和光谱分辨率都很高。

Claims (4)

1.一种基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，其特征在于，通过两个卷积自编码器分别提取输入图像与输出图像的高层特征，并通过耦合卷积网络在两个高层特征间建立特征映射层的同时在网络的输入与输出图像间建立端到端连接，最终微调整体网络框架；该方法分为训练阶段和测试阶段，具体步骤如下：

训练阶段：

步骤1，预处理LM-HR图像和HR-MS图像，生成LM-HR图像块和HR-MS图像块，将LM-HR图像块作为输入，HR-MS图像块作为输出；其中，图像LM-HR与图像HR-MS分别取N个图像块，生成图像块

和

图像块大小分别32×32×5与32×32×4；

步骤2，通过两个卷积自编码器分别提取LM-HR图像块

和HR-MS图像块

的隐层特征，其中N表示从图像中取出的图像块个数；

卷积自编码器分为编码器和解码器两步骤，其中编码器部分为卷积层，解码器部分为反卷积层；两个卷积自编码器的编码器模型分别为：

其中，k表示卷积核的个数，设置为16；权重W₁ ^k和

分别表示两个卷积层的第k个卷积核，大小为7×7；

和

分别表示两个卷积层的第k个偏置项；与图像块LH_i和HM_i分别进行卷积(*)后生成k个特征图，分别是h^k(LH_i)和h^k(HM_i)；f(·)是激活函数Relu，公式如下所示：

f(x)＝max(0,x)

两个卷积自编码器的解码器模型分别为：

其中，h^k(LH_i)和h^k(HM_i)是两个卷积自编码器的隐含层，即图像块的两幅特征图；权重

和

分别表示两个反卷积层的第k个反卷积核，即W₁ ^k和

的转置，大小为7×7；每张特征图与对应的卷积核的转置进行卷积操作并将结果求和，最后加上偏置项c₁和c₂，得到卷积自编码器的输出，即

和

步骤3，在步骤2中的两个高层特征间通过三层卷积神经网络构建特征映射层，得到相应的特征映射关系；

步骤4，运用耦合卷积网络，保留提取LM-HR图像块特征的卷积自编码器的编码器部分、提取HR-MS图像块特征的卷积自编码器的解码器部分以及特征映射层，将保留的卷积层连接得到在输入与输出间完整的端到端网络；采用后向传播算法对整个网络微调，更新网络的权重和偏置项，使网络达到最优值；

测试阶段：

步骤5，输入测试图像Test-LM-HR到神经网络中，得到相对应的融合图像Test-HR-MS。

2.根据权利要求1所述的基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，其特征在于，多层耦合卷积神经网络的参数设置为：图像块的大小设置为32×32；在两个卷积自编码器中由7×7的感受野和ReLU函数计算得到为16个特征图K；特征映射层中三层卷积神经网络的卷积核设置如下：

K＝16，W₃×W₃设置为9×9，f₁(x)为ReLU函数，c₃＝64，W₄×W₄设置为1×1，f₂(x)为ReLU函数，c₄＝32，W₅×W₅设置为5×5，f₃(x)为ReLU函数，c5(K)＝16；

其中，三层卷积神经网络的卷积核即权重分别为W_m，偏置项为c_m,m＝3,4,5激活函数为f_i(x),i＝1,2,3；

具体的三层构架为：第一层是由9×9的感受野和ReLU函数计算得到64个特征图，第二层由1×1的感受野和ReLU函数计算得到32个特征图，最后使用5×5的感受野和ReLU激活函数得到16个特征图；每个卷积层的步长设置为1，学习率设置为0.0001，优化器选用AdamOptimizer；在每次网络迭代时批处理的块数大小设置为100个块，迭代次数为150,000。

3.根据权利要求1所述的基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，其特征在于，步骤3将步骤2中的两个卷积自编码器的特征图h^k(LH_i)和h^k(HM_i)，通过三层卷积神经网络建立非线性映射关系，使图像块

和图像块

之间建立端到端的连接，同时在网络的输入与输出间建立联系；

令三层卷积神经网络的卷积核分别为W_m，偏置项为c_m,m＝3,4,5；卷积核大小分别设置为9×9×64，1×1×32，5×5×16；偏置项大小分别设置为64×1，32×1，16×1；

同样在每次迭代时，从所有训练图像块中随机选出100个块作为一次迭代的批处理数据，进一步得到三层卷积神经网络的损失函数为：

使用AdamOptimizer优化器对此损失函数进行优化，此子网络优化器的学习率为0.0001。

4.根据权利要求3所述的基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法，其特征在于，步骤4对整体网络进行微调，优化网络中的权重和偏置项，具体为：

在每次迭代时，从所有训练图像块中随机选出100个块作为一次迭代的批处理数据，因此该网络的总体误差函数为：

其中，HR_i为网络的输出，HM_i为网络输出的参考值，则最佳参数值应该是当E取得最小值时；使用AdamOptimizer优化器对此损失函数进行优化，该子网络优化器的学习率为0.0001。

Images