CN111815516B - 一种弱监督红外遥感图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种弱监督红外遥感图像超分辨率重建方法，包括对高分辨率图像进行双三次降采样得到低分辨率图像，并将低分辨率图像输入至超分网络中，得到重建高分辨率图像，对高分辨率图像和重建高分辨率图像进行逐像素约束，计算内容损失；将真实低分辨率图像依次输入至超分网络和降质网络中，得到输出图像，对真实低分辨率图像和输出图像进行一致性约束，计算循环损失；基于内容损失和循环损失计算总损失，并利用总损失优化超分网络和降质网络的参数，直至超分网络和降质网络收敛；将待超分的图像输入至训练好的超分网络中，获得超分辨率重建结果。本发明能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。

Description

一种弱监督红外遥感图像超分辨率重建方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及深度学习和图像块特征提取与重建技术。

背景技术

红外遥感图像超分辨率技术可以有效地提升红外遥感图像的分辨率，恢复红外遥感图像细节，提升红外遥感图像的视觉效果，可以有效地提升红外遥感图像高级任务的处理效果。近年来，随着深度学习的不断发展，基于深度神经网络的超分辨率重建算法逐渐成为研究热点。

目前大部分基于深度神经网络算法都采用监督训练的方式，使用匹配的低分辨率-高分辨率图像对进行训练，而真实的高低分辨率图像对并不存在，通常通过对高分辨率图像采用人工降采样的方式获取对应的低分辨率图像。虽然通过网络结构的优化，这样的超分辨率重建算法在超分人工降采样的图像时取得了越来越优越的性能，但是没有考虑实际低分辨率红外遥感图像的信息，导致训练好的网络在重建实际低分辨率红外遥感图像时重建效果较差。

因此，如何提供一种弱监督红外遥感图像超分辨率重建方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种弱监督红外遥感图像超分辨率重建方法，能够直接使用低分辨率图像进行训练，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。

为了实现上述目的，本发明采用如下技术方案：

一种弱监督红外遥感图像超分辨率重建方法，包括：

步骤1：对高分辨率图像HR进行双三次降采样得到低分辨率图像LRBI，并将所述低分辨率图像LRBI输入至超分网络中，得到重建高分辨率图像SR；

对所述高分辨率图像HR和所述重建高分辨率图像SR进行逐像素约束，计算内容损失；

步骤2：将真实低分辨率图像LR依次输入至超分网络和降质网络中，得到输出图像LR'；

对所述真实低分辨率图像LR和所述输出图像LR'进行一致性约束，计算循环损失；

步骤3：基于所述内容损失和所述循环损失计算总损失，并根据所述总损失优化所述超分网络和所述降质网络的参数；

步骤4：循环步骤1～步骤3，直至所述超分网络和所述降质网络收敛；

步骤5：将待超分的图像输入至训练好的超分网络中，获得超分辨率重建结果。

进一步，所述内容损失的具体计算公式为：

式中，L_con表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

进一步，所述循环损失的具体计算公式为：

式中，L_cyc表示内容损失，S为超分网络，D为降质网络，LR为真实低分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

进一步，所述总损失的具体计算公式为：

L_total＝ω₁L_cyc+ω₂L_con (3)

式中，L_total表示总损失，ω₁和ω₂分别为循环损失与内容损失的权重。

进一步，所述超分网络对输入的所述低分辨图像LRBI和所述真实低分辨图像LR均包括以下具体处理过程：

通过一个卷积层进行浅层特征分析，经过五个残差块和一个卷积层进行深层特征提取，将所述浅层特征和所述深层特征进行元素级加和，并通过一个上采样层的采样和一个卷积层的卷积操作输出所需图像。

进一步，每个所述残差块的具体处理过程为：

依次通过一个卷积层、一个ReLU激活函数和一个卷积层的处理后提取特征图，通道注意力模块对每个通道的所述特征图取均值得到多通道均值，所述多通道均值依次通过一个卷积层、一个池化层、一个卷积层和sigmoid激活函数后得到每个通道的权重，每个通道的权重和所述特征图进行元素级相乘，得到不同权重的通道特征。

进一步，所述降质网络具体处理过程为：

输入图像经过卷积层和激活函数得到浅层分析，通过均值池化层将特征尺寸降至与所述真实低分辨率图像一致，最后通过卷积层和激活函数堆叠配合提取特征，直至得到所述输出图像。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种弱监督红外遥感图像超分辨率重建方法，采用循环机制进行超分辨率重建，可以直接从低分辨率图像学习适应真实低分辨率图像特征，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的弱监督循环机制网络示意图。

图2附图为本发明提供的超分网络结构示意图。

图3附图为本发明提供的降质网络结构示意图。

图4附图为本发明提供的重建结果对比图。其中，图4a表示原图，图4b表示双线性差值方法重建效果图，图4c表示利用本发明重建的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例为了解决基于监督的超分辨率重建方法不能适应真实低分辨率数据的缺点，将具有优秀特征提取能力的通道注意力模块与只需要低分辨率数据的循环训练机制相结合，提出了循环训练机制与通道注意力模块结合的弱监督红外遥感图像超分辨率重建方法，能够利用合成的高低分辨率图像对进行逐像素约束，又能够只利用低分辨率数据使得网络对于真实低分辨率数据更具适应性，对重建实际低分辨率遥感图像具有一定程度上的效果提升。

本发明的方法包含两个生成网络，超分网络S和降质网络D，超分网络实现低分辨率图像到高分辨率图像的映射，而降质网络实现由高分辨率图像到低分辨率图像的映射。

如图1所示，弱监督循环机制网络的输入输出分为两个支流，一个是上方的监督学习支流，输入的数据是经高分辨率图像HR经过双三次降采样获得的合成低分辨率数据LRBI，LRBI通过超分网络输出重建高分辨率图像SR，对SR与HR进行逐像素约束，称为内容损失，使得超分网络S超分出来的图像忠实于原图像内容。

另一支流是下方的无监督学习支流，输入的是真实低分辨率图像LR，图像LR经过超分网络S再经过降质网络D，恢复到与输入图像大小相同的图像LR'，这个过程不涉及到真实低分辨率图像LR对应的高分辨率真值，只通过对LR与LR'之间的一致性进行约束(称为循环损失)，使网络能够直接从低分辨率数据中学习，从而更加适应真实低分辨率数据超分辨率重建。整个网络采用内容损失和循环损失进行训练，训练的损失函数如下。

内容损失确保超分网络忠于原图像内容，且使训练更加稳定，网络收敛的更快，定义如下：

(1)

式中，L_con表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

循环损失确保生成的图像能够还原回原始图像，定义如下：

式中，L_cyc表示内容损失，S为超分网络，D为降质网络，LR为真实低分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

网络的总体损失如下：

L_total＝ω₁L_cyc+ω₂L_con (3)

式中，L_total表示总损失，ω₁和ω₂分别为循环损失与内容损失的权重。

本发明利用公式(3)得到的损失优化超分网络S和降质网络D的参数，然后重复上述步骤直到网络S和D收敛。

优选的，本发明超分网络S如图2所示：

超分网络S是将低分辨率图像恢复到高分辨率图像的网络，输出图像的尺寸是输入图像的r倍，r表示超分辨重建的倍数。低分辨率图像和真实低分辨率图像在超分网络S中首先经过一个卷积层进行浅层特征提取，提取的特征再经过五个残差块和一个卷积层进行深层特征提取，浅层特征和深层特征进行元素级加和，然后输入到上采样层得到与高分辨率图像长宽尺寸相同的特征图，最后经过一个卷积层的卷积操作得到重建高分辨率图像。

超分网络S中的五个残差块结构相同，每个残差块又包含五个相同的基础模块B1-B5，每个基础模块可以分为两个部分，前半部分是一个卷积层，一个ReLU激活函数和一个卷积层的简单结构，后半部分是通道注意力模块。通道注意力模块的作用是将提取出来的多通道特征赋予不同的权重，改变卷积神经网络平等对待每个通道特征的模式，进一步提升神经网络的特征提取能力。通道注意力模块将前面提取出来的特征图首先进行全局池化处理，即对每个通道的特征图取均值，每个通道对应一个数值。多通道均值通过一个卷积核为1×1的卷积层加池化层，减少通道数量，再通过一个卷积层恢复通道数量，最后经过sigmoid激活函数，得到每个通道的权重。每个通道的权重和残差块前半部分结构提取的特征图进行元素级别相乘，即可得到不同权重的通道特征。

本发明的生成网络的主体结构采用残差块结构，更加着重于对差分图像进行重建，重建过程更加稳定，效果也更好。

优选的，本发明降质网络D如图3所示：

降质网络D是将输入高分辨率图像降质到低分辨率图像的网络，它与超分网络S是一个相反的过程。输入高分辨率图像首先经过卷积层和激活函数层得到浅层特征，然后通过均值池化层将特征尺寸降低到与真实低分辨率图像尺寸一致，后面的卷积层和激活函数堆叠配合进一步提取特征，直至得到输出图像。

本发明实验用图如图4所示，本发明网络的训练和测试采用Landsat-8卫星红外遥感图像。可以发现本发明方法在细节重建上要优于传统插值方法，证明本发明的弱监督学习方式是可行有效的，并且针对实际红外遥感图像具有更好的重建效果。

本发明具有以下优点：

1、采用循环机制进行超分辨率重建，可以直接从低分辨率图像学习适应真实低分辨率图像特征，以非配对的形式进行训练。

2、将通道注意力模块引入弱监督超分辨率重建领域，结合通道注意力模块和循环机制能够使得网络的重建效果更好。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种弱监督红外遥感图像超分辨率重建方法，其特征在于，包括：

步骤1：对高分辨率图像HR进行双三次降采样得到低分辨率图像LRBI，并将所述低分辨率图像LRBI输入至超分网络中，得到重建高分辨率图像SR；

对所述高分辨率图像HR和所述重建高分辨率图像SR进行逐像素约束，计算内容损失；

步骤2：将真实低分辨率图像LR依次输入至所述超分网络和降质网络中，得到输出图像LR'；

对所述真实低分辨率图像LR和所述输出图像LR'进行一致性约束，计算循环损失；

步骤3：基于所述内容损失和所述循环损失计算总损失，并根据所述总损失优化所述超分网络和所述降质网络的参数；

步骤4：循环步骤1～步骤3，直至所述超分网络和所述降质网络收敛；

步骤5：将待超分的图像输入至训练好的所述超分网络中，获得超分辨率重建结果；

所述超分网络对输入的所述低分辨率 图像LRBI和所述真实低分辨率 图像LR均包括以下具体处理过程：

通过一个卷积层进行浅层特征分析，经过五个残差块和一个卷积层进行深层特征提取，将所述浅层特征和所述深层特征进行元素级加和，并通过一个上采样层的采样和一个卷积层的卷积操作输出所需图像；

每个所述残差块的具体处理过程为：

依次通过一个卷积层、一个ReLU激活函数和一个卷积层的处理后提取特征图，通道注意力模块对每个通道的所述特征图取均值得到多通道均值，所述多通道均值依次通过一个卷积层、一个池化层、一个卷积层和sigmoid激活函数后得到每个通道的权重，每个通道的权重和所述特征图进行元素级相乘，得到不同权重的通道特征。

2.根据权利要求1所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述内容损失的具体计算公式为：

式中，L_con表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

3.根据权利要求2所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述循环损失的具体计算公式为：

式中，L_cyc表示内容损失，S为超分网络，D为降质网络，LR为真实低分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。

4.根据权利要求3所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述总损失的具体计算公式为：

L_total＝ω₁L_cyc+ω₂L_con (3)

式中，L_to_tal表示总损失，ω₁和ω₂分别为循环损失与内容损失的权重。

5.根据权利要求4所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述降质网络具体处理过程为：

输入图像经过卷积层和激活函数得到浅层分析，通过均值池化层将特征尺寸降至与所述真实低分辨率图像一致，最后通过卷积层和激活函数堆叠配合提取特征，直至得到所述输出图像。

Images