CN109859107A

CN109859107A - 遥感图像超分辨率方法、装置、设备及可读存储介质

Info

Publication number: CN109859107A
Application number: CN201910111151.7A
Authority: CN
Inventors: 赵艮平; 王理; 黄国恒
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-02-12
Filing date: 2019-02-12
Publication date: 2019-06-07
Anticipated expiration: 2039-02-12
Also published as: CN109859107B

Abstract

本发明实施例公开了一种遥感图像超分辨率方法、装置、设备及计算机可读存储介质。其中，方法包括基于SRGAN算法预先构建超分辨图像生成模型，将待提高分辨率的遥感图像输入至超分辨率图像生成模型中，以实现遥感图像超分辨率，超分辨图像生成模型包括生成器、判别器及网络层；生成器和判别器的损失函数为基于推土机距离所得；生成器为以高分辨率遥感图像为输入图像，训练残差卷积网络所得。本申请实现了快速、高效的进行遥感图像超分辨率，将推土机距离定义为损失函数，作为反映训练状态失指标，不仅降低训练难度，还有效提高模型训练稳定性、精度和准确度。

Description

遥感图像超分辨率方法、装置、设备及可读存储介质

技术领域

本发明实施例涉及超分辨图像处理技术领域，特别是涉及一种遥感图像超分辨率方法、装置、设备及计算机可读存储介质。

背景技术

图像作为获取信息最直接途径，对其所承载信息量的提升一直是人类的不懈追求，从近年来高分辨率图像的不断更新发展中可见一斑。但在很多领域如遥感、医疗、安防等，图像分辨率的提升往往受到成像传感器的硬件成本、制造工艺和信息传输条件的限制，尤其是对体积、功耗、重量要求苛刻的卫星遥感领域，加大光学***设计所带来体积和重量的增加是无法忽视的，因此如何在不增加卫星相机体积和重量的前提下，利用多时相低分辨率图像获取更多的高频信息，也就是说，遥感图像超分辨率重构成为本领域技术人员亟待解决的问题。

长久以来，超分辨率技术的实际应用也一直受限于多时相遥感图像的获取，有效载荷为线阵推扫相机的低轨遥感卫星的重返周期较长，例如美国陆地观测卫星系列一般的重复周期为16天，如果获取同一场景的多幅图像需要很长的时间，而且在这个期间，地物的场景很极可能会发生变化，因而基于时间跨度较大的多时相数据实现超分辨率重构是不可行的。

随着地球同步轨道遥感技术、光学遥感星座组网技术和基于单星面阵CMOS相机技术的蓬勃发展，在秒级或分钟级获取多时相数据成为了可能，因而超分辨率重构技术也将很快在我国迎来新的发展机遇。

SRGAN(Super-Resolution Using a Generative Adversarial Network)为基于GAN(Generative Adversarial Networks，生成式对抗网络)方法进行训练的，包括一个生成器和一个判别器，在提升分辨率的同时还减少计算资源消耗。

但是，该方法不仅存在着训练困难、生成器和判别器的损失无法指示训练进程、生成样本缺乏多样性等问题；而且SRGAN的输入输出对象均是普通的RGB图片，与遥感图像有所区别，无法适用于遥感图像的超分辨率重构。

发明内容

本公开实施例提供了一种遥感图像超分辨率方法、装置、设备及计算机可读存储介质，实现了快速、高效的进行遥感图像超分辨率。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种遥感图像超分辨率方法，包括：

获取待处理遥感图像；

将所述待处理遥感图像输入至预先构建的超分辨图像生成模型中，得到所述待处理遥感图像的超分辨图像；

其中，所述超分辨图像生成模型基于SRGAN模型，包括生成器、判别器及网络层；所述生成器和所述判别器的损失函数为基于推土机距离所得；所述生成器为以高分辨率遥感图像为输入图像，训练残差卷积网络所得。

可选的，所述生成器的损失函数为所述判别器的损失函数为

其中，x为所述超分辨图像生成模型的输入图像，f_w为判别器网络函数，E为期望值，P_r为输入所述超分辨图像生成模型的样本分布，P_g为所述生成器产生的样本分布。

可选的，所述判别器的最后一层不包含sigmoid激活函数，且所述判别器在更新过程中的参数差异值的绝对值在预设范围内。

可选的，所述网络层的最后一层的激活函数为带泄露整流函数，且所述网络层不包含批标准化层。

可选的，所述超分辨图像生成模型的优化算法为均方根传递算法。

可选的，所述超分辨图像生成模型还包括可视化学习层，用于监控损失函数的下降状态。

可选的，所述生成器的最后一层的卷积核为9*9。

本发明实施例另一方面提供了一种遥感图像超分辨率装置，包括：

模型预构建模块，用于基于SRGAN算法预先构建超分辨图像生成模型，所述超分辨图像生成模型包括生成器、判别器及网络层；所述生成器和所述判别器的损失函数为基于推土机距离所得；所述生成器为以高分辨率遥感图像为输入图像，训练残差卷积网络所得；

遥感图像获取模块，用于获取待处理遥感图像；

超分辨遥感图像生成模块，用于将所述待处理遥感图像输入至预先构建的超分辨图像生成模型中，得到所述待处理遥感图像的超分辨图像。

本发明实施例还提供了一种遥感图像超分辨率设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述遥感图像超分辨率方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有遥感图像超分辨率程序，所述遥感图像超分辨率程序被处理器执行时实现如前任一项所述遥感图像超分辨率方法的步骤。

本申请提供的技术方案的优点在于，将推土机距离定义为损失函数，作为反映训练状态失指标，可以产生有意义的梯度来更新生成器，使得生成分布被拉向真实分布，降低训练难度，解决了生成样本单一的问题，确保了生成样本的多样性，有效提高模型训练稳定性、精度和准确度；此外，利用遥感图像预先训练超分辨图像生成模型，实现了快速、高效的进行遥感图像超分辨率。

此外，本发明实施例还针对遥感图像超分辨率方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种遥感图像超分辨率方法的流程示意图；

图2为本公开根据一示例性实施例示出的一种生成器的结构框架示意图；

图3为本公开根据一示例性实施例示出的一种判别器的结构框架示意图；

图4为本公开根据一示例性实施例示出的一种超分辨图像生成模型的结构框架示意图；

图5为本发明实施例提供的遥感图像超分辨率装置的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种遥感图像超分辨率方法的流程示意图，本发明实施例可包括以下内容：

S101：基于SRGAN算法预先构建超分辨图像生成模型。

S102：获取待处理遥感图像。

S103：将待处理遥感图像输入至预先构建的超分辨图像生成模型中，得到待处理遥感图像的超分辨图像。

超分辨图像生成模型包括生成器、判别器及网络层。超分辨图像生成模型为在SRGAN模型的基础上进行修改后所得，使得超分辨图像生成模型不仅可对遥感图像进行超分辨处理，还提高模型训练稳定性、精度和准确度。

模型训练存在一个问题即什么时候该停止训练生成器和判别器，如果过度训练判别器，生成器就无法学***衡生成器和判别器的训练程度，保证模型训练稳定性，是非常必要的，也就是说如果可设置一个损失函数指标来反映训练情况，模型训练的难度就会大大降低。

推土机距离，即Wasserstein距离，又叫Earth-Mover(EM)距离，定义如下：

Π(P_r,P_g)是P_r和P_g组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布而言，可以从中采样得到一个真实样本x和一个生成样本y，并算出这对样本的距离||x-y||，所以可以计算该联合分布γ下样本对距离的期望值E_(x,y)～γ[||x-y||]。在所有可能的联合分布中能够对这个期望值取到的下界就定义为Wasserstein距离。

由于Wasserstein距离有如此优越的性质，可定义推土机距离为生成器和判别器的损失函数。这样便可以产生有意义的梯度来更新生成器，使得生成分布被拉向真实分布。

但是，因为Wasserstein距离定义中的没法直接求解，可将公式1变换为如下形式：

这里利用到了利普希茨连续，就是对一个连续函数f施加一个限制，要求存在一个常数K≥0使得定义域的任意两个元素x₁和x₂都满足|f(x₁)-f(x₂)|≤Kx₁-x₂|，这时候就称函数f的利普希茨常数为K。

公式(2)在要求函数f的利普希茨常数||f||_L不超过K的条件下，对所有可能满足条件的f取到的上界，然后再除以K。特别地，可以用一组参数w来定义一系列可能的函数f_w，此时求解公式2可以近似变成求解如下形式：

然后把f用一个带参数w的神经网络来表示，由于神经网络的拟合能力足够强大，函数f_w足以高度接近公式(2)要求的sup||f‖_L≤K了。

然后可构造一个含参数w，最后一层不是非线性激活层的判别器网络f_w，在限制w不超过一定范围的条件下，使得尽可能取到最大值，这时候L就会近似于真实分布与生成分布之间的Wasserstein距离。

接下来生成器要近似地最小化Wasserstein距离，可以最小化L，由于Wasserstein距离的优良性质，不需要担心生成器梯度消失的问题。再考虑到L的第一项与生成器无关，就得到了超分辨图像生成模型的两个损失函数。

生成器的损失函数为：

判别器的损失函数为：

其中，x为超分辨图像生成模型的输入图像，f_w为判别器网络函数，E为期望值，P_r为输入所述超分辨图像生成模型的样本分布，P_g为所述生成器产生的样本分布。

生成器为以高分辨率遥感图像为输入图像，训练残差卷积网络所得。生成器的结构可参阅图2所示，生成器可采用残差卷积网络的设计，以便收敛更快，各残差模块结构相同(图中共5个残差块)，每个残差模块均可包含两个卷积层(Conv)，两个ReLU层(RectifiedLinear Unit，线性整流函数)及按元素操作求和层(Elementwise Sum)。图中除残差块外另一个没有标各层名称的模块与其前一个模块结构相同，即该模块包含卷积层、ReLU层及pixelshuffle*2层。此外，生成器最后一层的卷积核为9*9(传统的SRGAN模型的最后一层的卷积核为1*1)。生成器的放大和重构部分可采用高效亚像素卷积神经网络中的亚像素设计，让图片在最后面的网络层才增加分辨率，提升分辨率的同时减少计算资源消耗。遥感超分辨率的任务是通过输入一张低分辨率的遥感图像，输出一张超高分辨率的遥感图像。在训练生成器阶段，可采用高分辨率遥感图像I^HR作为输入，然后通过下采样获得低分辨率遥感图像I^LR，下采样因子为r。对一张通道为C的遥感图像，可将I^HR的大小描述为W×H×C，对应的I^LR大小为rW×rH×C。

判别器的结构可参阅图3所示，其中没有标各层名称的模块结构均相同，包含卷积层和带泄漏整流函数层。由于原始GAN的判别器做的是真假二分类任务，所以最后一层是sigmoid激活函数，但是现在判别器f_w做的是近似拟合Wasserstein距离，属于回归任务，可把最后一层的sigmoid激活拿掉，且判别器在更新过程中的参数差异值的绝对值在预设范围内，也即每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数。

判别器的主体可使用VGG19，例如图4所示的超分辨图像生成模型的结构，VGG16模型将提取生成器和高分辨图像以生成超分辨图像的特征，并将提取的特征作为判别器的输入，VGG16在此作为一种特征提取器。

由于超分辨图像生成模型的生成器的输入输出的遥感图片在空间分布上有很多相似的地物特征，而传统SRGAN模型的批标准化层在标准化特征的时候完全破坏了原始空间的地物特征。因此在重建的时候需要网络中的部分层和参数去恢复地物特征，在相同的参数下，有批标准化层的还要拿出部分参数去修复地物特征，因此效果会下降，因此去掉批标准化层。网络层不包含批标准化层，此外，网络层的最后一层的激活函数还可设置为带泄露整流函数，即将网络层的最后一层的激活函数Sigmoid改成Leaky-ReLU(Leaky-Rectified Linear Unit，带泄露整流函数)。

为了提高模型计算效率和精度，超分辨图像生成模型的优化算法可采用均方根传递算法。

为了进一步提升模型训练稳定性，降低模型训练难度，超分辨图像生成模型还可包括可视化学习层，用于监控损失函数的下降状态。可视化学习可采用任何一种可视化学习算法，本申请对此不做任何限定。

在本发明实施例提供的技术方案中，将推土机距离定义为损失函数，作为反映训练状态失指标，可以产生有意义的梯度来更新生成器，使得生成分布被拉向真实分布，降低训练难度，解决了生成样本单一的问题，确保了生成样本的多样性，有效提高模型训练稳定性、精度和准确度；此外，利用遥感图像预先训练超分辨图像生成模型，实现了快速、高效的进行遥感图像超分辨率。

本发明实施例还针对遥感图像超分辨率方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的遥感图像超分辨率装置进行介绍，下文描述的遥感图像超分辨率装置与上文描述的遥感图像超分辨率方法可相互对应参照。

参见图5，图5为本发明实施例提供的遥感图像超分辨率装置在一种具体实施方式下的结构图，该装置可包括：

模型预构建模块501，用于基于SRGAN算法预先构建超分辨图像生成模型，超分辨图像生成模型包括生成器、判别器及网络层；生成器和判别器的损失函数为基于推土机距离所得；生成器为以高分辨率遥感图像为输入图像，训练残差卷积网络所得。

遥感图像获取模块502，用于获取待处理遥感图像。

超分辨遥感图像生成模块503，用于将待处理遥感图像输入至预先构建的超分辨图像生成模型中，得到待处理遥感图像的超分辨图像。

可选的，在本实施例的一些实施方式中，生成器的损失函数为判别器的损失函数为

可选的，判别器的最后一层不包含sigmoid激活函数，且判别器在更新过程中的参数差异值的绝对值在预设范围内。

可选的，网络层的最后一层的激活函数为带泄露整流函数，且网络层不包含批标准化层。

可选的，超分辨图像生成模型的优化算法为均方根传递算法。

可选的，超分辨图像生成模型还包括可视化学习层，用于监控损失函数的下降状态。

可选的，生成器的最后一层的卷积核为9*9。

本发明实施例所述遥感图像超分辨率装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了快速、高效的进行遥感图像超分辨率。

本发明实施例还提供了一种遥感图像超分辨率设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述遥感图像超分辨率方法的步骤。

本发明实施例所述遥感图像超分辨率设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，存储有遥感图像超分辨率程序，所述遥感图像超分辨率程序被处理器执行时如上任意一实施例所述遥感图像超分辨率方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种遥感图像超分辨率方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种遥感图像超分辨率方法，其特征在于，包括：

获取待处理遥感图像；

2.根据权利要求1所述的遥感图像超分辨率方法，其特征在于，所述生成器的损失函数为所述判别器的损失函数为

3.根据权利要求2所述的遥感图像超分辨率方法，其特征在于，所述判别器的最后一层不包含sigmoid激活函数，且所述判别器在更新过程中的参数差异值的绝对值在预设范围内。

4.根据权利要求2所述的遥感图像超分辨率方法，其特征在于，所述网络层的最后一层的激活函数为带泄露整流函数，且所述网络层不包含批标准化层。

5.根据权利要求2所述的遥感图像超分辨率方法，其特征在于，所述超分辨图像生成模型的优化算法为均方根传递算法。

6.根据权利要求1至5任意一项所述的遥感图像超分辨率方法，其特征在于，所述超分辨图像生成模型还包括可视化学习层，用于监控损失函数的下降状态。

7.根据权利要求6所述的遥感图像超分辨率方法，其特征在于，所述生成器的最后一层的卷积核为9*9。

8.一种遥感图像超分辨率装置，其特征在于，包括：

遥感图像获取模块，用于获取待处理遥感图像；

9.一种遥感图像超分辨率设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述遥感图像超分辨率方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有遥感图像超分辨率程序，所述遥感图像超分辨率程序被处理器执行时实现如权利要求1至7任一项所述遥感图像超分辨率方法的步骤。