CN109035142A - 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 - Google Patents

Abstract

本发明公开了一种对抗网络结合航拍图像先验的卫星图像超分辨方法，首先通过使用16级含噪声图像与其对应的16级不含噪声图像构成的图像对训练去噪模型，再利用清晰的航拍数据训练图像超分辨模型。由于不存在卫星图像与航拍图像对的情况，在对生成的超分辨图像进行图像后处理时，采用清晰的航拍图像构建GMM模型外部先验字典，并由此引导内部不清晰的卫星图像进行重建。重建后为进一步提升图像质量，使用高斯滤波的方式进行图像锐化。最终得到原卫星图像的高分辨图像，并且实现在原卫星图像基础上的图像视觉质量提升。由实验环节也可看出本方案的有效性。为解决现实中有条件限制情况下的卫星图像超分辨与图像质量提升提供有效思路。

Description

一种对抗网络结合航拍图像先验的卫星图像超分辨方法

技术领域

本发明属于图像超分辨技术领域，具体涉及一种基于多尺度感知损失与生成对抗网络结合航拍图像先验的卫星图像超分辨方法。

背景技术

图像分辨率是图像质量的重要指标，分辨率越高的图像可以更清晰的展现出更多细节，但在获得图像过程中受硬件以及外部环境的影响，获取的图像分辨率较低，从而产生如何从低分辨率的图像获取高分辨图像的问题。目前，随着卫星的数量的增加，卫星可覆盖地球范围超过90％，这使得通过卫星可监控的范围要远大于其他手段获得图像所覆盖的范围，但是卫星图像受多方面原因的影响，分辨率较低。例如相对于航拍图像，卫星图像相对模糊缺乏细节信息，但是航拍图像的覆盖面远不及卫星图像，所以如何获得分辨率更高的卫星影像有着重要的意义和价值。

在图像超分辨领域，深度神经网络与传统图像超分辨问题的结合，使得图像超分辨技术有了新的突破。随着计算机硬件设备的发展，大规模运算加速的成本显著降低，训练深度神经网络的代价降低，大大方便了科研工作者，也使得这一技术应用广泛于各个领域。从最初提出的深度学习与超分辨问题结合的网络SRCNN到现在的生成对抗网络(Generative Adversarial Nets,GAN)实现的超分辨算法SRGAN，通过使用低分辨与高分辨图像对网络参数进行训练，从而获得从低分辨率图像到高分辨图像转换模型，在只有低分辨图像的情况下生成高分辨图像。

图像超分辨问题描述如下：

图像超分辨问题，是指从一个低分辨率的图像得到对应的高分辨率的图像的过程，通过这样的技术突破原有***成像硬件条件的限制，获得更清晰的图像。在图像超分辨技术中，一般可分为两种情况下的超分辨问题：基于单幅图像的超分辨方法和基于多幅图像的超分辨方法。单幅图像超分辨通过对低分辨图像的放大，通过重建算法提高图像分辨率的方法。基于多幅图像的超分辨算法，则是利用多帧相似的图像序列融合的方法来重建出高分辨率的图像。

在基于单幅图像的超分辨方法中，算法通过建立低分辨率图像与高分辨率图像间的关系。从而通过低分辨率图像来重建高分辨率的图像。传统算法通过各种方式来模拟低分辨率图像的成因，构建各种退化模型来拟合低分辨率图像生成的过程从而构建低分辨率图像与高分辨率图像之间的关系，来预测生成高分辨率图像。这样的模拟过程可用如下公式描述：

I_L＝HI_H+n

其中I_L为低分辨率图像，I_H为I_L对应的高分辨率图像，H为生成低分辨率图像的退化模型，n为生成低分辨率图像过程中的噪声干扰因子。H作为退化模型又可以表示为：

H＝D_Sub×B×G

其中，D_Sub代表下采样方法，B为模糊因子，G为几何形变因子。

解决以上退化模型构建的方法主要有，基于插值的方法，基于图像重建的方法，以及基于学习的方法。在插值方法中，通过对图像进行分解，内插和返回内插值的方法实现图像的超分辨，具有运行速度快，可并行计算，可满足实时图像超分辨的要求。但插值法无法预测出从低分辨率图像到高分辨率图像中丢失的高频信息，产生的高分辨率图像缺乏纹理细节和清晰的边缘。在基于图像重建的超分辨算法中，又分为空域法和频域法，通过在空域或是频域中建立低分辨率图像与高分辨率图像的对应关系，人工设计对应关系模型来实现从低分辨率图像到高分辨率图像的过程。如比较经典的凸集投影法，最大后验概率估计等。这样的方法的缺陷在于，人工设计模型无法适应于多种多样的图像细节恢复，构建模型只能在少数数据上获得很好的效果，在数据增加的情况下无法进一步改进图像细节清晰程度。

在基于学***滑。

在卫星图像超分辨问题中还有一些现实条件的限制，目前无法获取非常高分辨率的卫星图像，这使得进行图像超分辨时难以获得高分辨卫星图像与低分辨图像对的数据，很多需要低分辨率图像与高分辨图像对的超分辨方法不能直接用于这样卫星图像超分辨任务。在卫星图像的获取时，噪声影响严重，使得获得的图像中颗粒噪声明显，直接进行单幅图像超分辨会使图像中的噪声放大，影响清晰度。作为辅助数据，航拍图像虽然覆盖面远不及卫星图像，但在航拍图像与卫星图像中相似的地方非常多，而且相对于卫星图像航拍图像具有非常好的清晰度。目前的获得航拍的图像数据与卫星图像数据，也不具有成对的性质，即非同一地点及同一时间段拍摄。如何在现有的有限条件下，对卫星图像进行去噪，超分辨的以及如何利用清晰的航拍图像数据对卫星数据进行清晰度的增强成为一个有待解决的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多尺度感知损失与生成对抗网络结合航拍图像先验的卫星图像超分辨方法，可以弥补普通只使用卫星图像的超分辨算法过程中对清晰图像(缺乏清晰的卫星图像)的先验不足的问题，生成更加清晰的卫星图像。同时，在只使用卫星数据的情况下，由于加入多尺度的感知损失，可生成比别的方法更加清晰的超分辨图像。

本发明采用以下技术方案：

一种对抗网络结合航拍图像先验的卫星图像超分辨方法，使用16级含噪声图像与其对应的16级不含噪声图像构成图像对训练去噪模型，然后利用航拍数据训练图像超分辨模型；采用航拍图像构建GMM模型外部先验字典，并引导内部不清晰的卫星图像进行重建，完成对生成的超分辨图像的后处理，然后使用高斯滤波的方式进行图像锐化，最终得到原卫星图像的高分辨图像，实现在原卫星图像基础上的图像视觉质量提升。

具体的，包括以下步骤：

S1、定义生成对抗网络中的生成器，判决器和多尺度的感知损失网络；

S2、利用现有卫星数据中从18级开始提取的图像下采样至16级，设获得的16级卫星图像作为去噪的目标I_{D_H}，从16级提取的卫星数据作为带噪图像I_{D_L}构成图像对，设生成的不含噪卫星图像为I_{D_GH}；

S3、以步骤S2中构成的图像对，对去噪模型中的生成器进行初始化训练，在初始化训练中，以均方误差作为损失函数，计算生成器生成的图像与其对应的目标图像间的像素的均方误差得到MSE生成器损失函数loss_MSE，计算梯度并回传调整模型参数；

S4、经过100个epoch的初始化训练以后，进行完整模型训练，计算出损失及对应梯度并回传调整生成器与判决器中的参数模型，感知损失网络VGG19不调整参数；

S5、按照以上设置训练200个epoch达到收敛，保存模型，训练的生成器用于去噪处理使用，获得的去噪后的图像为I_{D_GH}作为图像超分辨的输入，定义卫星图像超分辨模型；

S6、重复步骤S3～S5，完成超分辨网络训练过程与去噪模型，然后生成超分辨图像I_{SR_GH}，采用高斯混合模型构建外部先验字典；

S7、构建GMM外部先验字典，将清晰的航拍17级图像分成15*15的小块，然后根据欧式距离进行初步分组；

S8、根据重建的内部图形块分组重建卫星图，对重建的卫星图进行图像锐化操作，获得最终的结果图。

进一步的，步骤S1中，生成对抗网络中的生成器定义为：使用一个残差网络作为生成器，残差网络中包含16个残差模块，每个残差模块中包含三个卷积层；

判决器结构定义为：使用一个10层的卷积神经网络作为判决器，卷积神经网络的卷积层使用空洞卷积；

多尺度的感知损失定义为：使用在IMAGENET1000类分类数据库上预训练过的VGG19网络作为感知损失网络，通过使用_{conv2_2}，_{conv3_4}，_{conv4_4}，多层中的多尺度特征图，构建多尺度感知损失。

进一步的，步骤S3中，MSE生成器损失函数loss_MSE如下：

loss_MSE＝MSE(I_{D_GH},I_{D_H})。

进一步的，步骤S4中，模型训练时，将生成器损失函数中的MSE生成器损失函数loss_MSE，感知损失函数loss_vgg和对抗损失函数loss_GAN加权相加后构成整体训练时的生成器损失函数如下：

loss_G＝loss_MSE+loss_vgg+loss_GAN。

进一步的，感知损失loss_vgg如下：

loss_vgg＝10^-6×(loss_{mse_conv2_2}+loss_{mse_conv3_4}+loss_{mse_conv4_4})

loss_{mse_conv2_2}＝MSE(f_{i_conv2_2},f_{t_conv2_2})

loss_{mse_conv3_4}＝MSE(f_{i_conv3_4},f_{t_conv3_4})

loss_{mse_conv4_4}＝MSE(f_{i_conv4_4},f_{t_conv4_4})

其中，f_{i_conv2_2}，f_{i_conv3_4}，f_{i_conv4_4}为输入生成图像到感知模型中对应_{conv2_2}，_{conv3_4}，_{conv4_4}层特征图，f_{t_conv2_3}，f_{t_conv3_3}，f_{t_conv4_3}为生成图像对应目标图像输入感知模型中得到的对应_{conv2_2}，_{conv3_4}，_{conv4_4}层特征图；

对抗损失函数loss_GAN如下：

loss_GAN＝10^-4×cross_entropy(I_{D_GH},True)

cross_entropy(I_{D_GH},True)＝log(D(I_{D_GH}))

其中，D(·)为判决器。

进一步的，步骤S4中，整体训练时判决器损失函数loss_D定义为：

loss_D＝loss₁+loss₂

loss₁＝sigmoid_cross_entropy(I_{D_GH},False)

loss₂＝sigmoid_cross_entropy(I_{D_H},True)。

进一步的，步骤S5中，超分辨模型包括生成器，感知模型和判决器，感知模型和判决器与去噪模型中使用的结构相同，定义图像超分辨模型中的生成器如下：

通过构建残差模块然后多个残差模块叠构成网络结构主体，通过亚像素卷积层实现对图像的放大使用。

更进一步的，超分辨模型的生成器训练使用的数据为航拍数据，输入为I_{SR_L}低分辩的16级航拍图和其对应的高分辨17级航拍图I_{SR_H}构成的图像对，生成器输出为I_{SR_GH}，定义生成器的损失函数如下：

loss_{MSE_SR}＝MSE(I_{SR_GH},I_{SR_H})。

进一步的，步骤S7具体如下：

S701、根据分组的图像块构建GMM模型，对得到的模型中协方差矩阵进行SVD分解，构建字典，作为外部先验以引导后面卫星图像的重建；

S702、以前面超分辨模型中输出的I_{SR_GH}作为内部图像输入，输入后按15*15分块，利用构建外部先验字典时的GMM模型引导分块进行聚类；

S703、利用外部先验构成的字典引导内部图像块再次构建内部字典；

S704、对内部字典进行稀疏编码，并结合原内部图像块分组重建新的内部图形块分组。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种对抗网络结合航拍图像先验的卫星图像超分辨方法，针对现实状况中希望改善卫星图像分辨率及可视化效果，但是不存在卫星图像与其对应的清晰的航拍图像对的情况，设计了一套卫星图像超分辨流程，包含图像去噪，图像超分辨和图像后处理三个部分，在可利用数据范围内，逐步提升最终卫星图像超分辨结果的方法流程

进一步的，在卫星图像超分辨流程中的去噪模型和超分辨模型均使用了生成对抗网络构成，并且在此基础上提出加入多尺度的感知损失，进一步提升生成对抗网络在实现图像去噪与图像超分辨时的性能，感知损失的作用在于，从特征域对生成器生成的图像与其对应目标间的约束，使得生成图像与真实目标图像在视觉上更接近。多尺度的感知损失更是将多个尺度的感知损失相结合，加上了更强的约束，所以生成效果得到了进一步的提升。

进一步的，作为生成对抗网络中的不同模块，生成器、判决器有着不同的作用。这里在实现卫星图像去噪与卫星图像超分辨时分别定义具有重要作用。生成器主要针对点对点像素构建损失，在网络主体中也更加关注提取图像的高频信息(通过残差结构)。而判别器更多的是关注高层语义层面，保证生成的图像与真实的目标图像的一致性，需要更大的感受野(通过空洞卷积实现)。多尺度感知损失则是对生成图像与真实目标图像间在特征域的约束，这里通过使用在IMAGENET上预训练过的网络实现。

进一步的，生成器生成不含噪声且与真实清晰图像在像素级别相似的图像，所以损失函数使用基于像素间差异的MSE函数。

进一步的，判决器从高级语义层次约束生成图像与真实清晰图像的相似性。使用交叉熵函数为一个基于判决概率的损失函数，希望生成图像与真实的目标图像在语义上被判为同一类别的概率最大。即生成图像与真实目标图像尽可能的相似。

进一步的，在超分辨模型中，判决器和感知模型的作用与噪声模型中的相同，所以使用了相同的结构。生成器部分，网络主体相似(但仍需要生成更多的高频信息，同样采用残差结构)，但由于超分辨模型需要生成比输入低分辨率图像尺寸更大的图像，这里使用亚像素卷积层与葡萄卷积层配合的设计来实现。

进一步的，现实情况下，无法获得更清晰的卫星图像(接近航拍图像的清晰度)与低分辨卫星图像对，这一问题限制着卫星图像超分辨的实现效果，本发明提出在图像超分辨之后使用的图像后处理方法，进一步改善图像可视化效果，通过使用清晰的航拍数据GMM构建外部先验字典引导卫星图像构建内部字典重建出更清晰的卫星图像。

综上所述，本发明通过在像素级，语义级以及多尺度特征域的约束结合实现去噪模型与图像超分辨模型，同时针对没有成对卫星图像训练数据，引入航拍图像进行图像进行超分辨模型的训练以及图像后处理中的GMM模型字典构建来引导重建更加清晰的卫星图像。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为整体流程图；

图2为去噪模型中生成器的结构图；

图3为去噪模型中判别器的结构图；

图4为去噪器中VGG19的结构图；

图5为图像超分辨模型中的生成器结构图；

图6为使用航拍图像构建GMM模型并引导卫星图像重建的流程图；

图7为本发明效果图；

图8为本发明结果比较图。

具体实施方式

本发明提供了一种基于多尺度感知损失与生成对抗网络结合航拍图像先验的卫星图像超分辨方法，首先通过使用16级含噪声图像与其对应的16级不含噪声图像构成的图像对训练去噪模型，再利用清晰的航拍数据训练图像超分辨模型。由于不存在卫星图像与航拍图像对的情况，在对生成的超分辨图像进行图像后处理时，采用清晰的航拍图像构建GMM模型外部先验字典，并由此引导内部不清晰的卫星图像进行重建。重建后为进一步提升图像质量，使用高斯滤波的方式进行图像锐化。最终得到原卫星图像的高分辨图像，并且实现在原卫星图像基础上的图像视觉质量提升。由实验环节也可看出本方案的有效性。为解决现实中有条件限制情况下的卫星图像超分辨与图像质量提升提供有效思路。

请参阅图1，本发明一种基于多尺度感知损失与生成对抗网络结合航拍图像先验的卫星图像超分辨方法，具体步骤如下：

S1、实现去噪功能的生成对抗网络包含三个部分，生成器，判决器和一个用IMAGENET数据库预训练好的VGG19网络；

S101、定义生成对抗网络中的生成器，这里使用一个残差网络作为生成器，其中包含16个残差模块，每个残差模块中包含三个卷积层。这里需要实现的时去噪功能这里不需要对图像进行放大，具体结构见图2。

S102、定义判决器结构，这里判决器使用一个10层的卷积神经网络，其中卷积层使用空洞卷积，通过设置空洞卷积的范围大小，在不使用池化层的条件下增加感受野的尺寸，提高判决器的准确度，具体结构见图3，在判决器的结构中包含10个卷积层，每层的卷积核个数分别为64，128，256，512，1024，512，256，128，128，128依次递增再递减的模式排列，前7层的卷积核尺寸均为4*4，步长为2，依次进行滑动卷积，递增的卷积核个数意味着尽可能多的特征类型。最后一层卷积核采用尺寸为1*1，作用在于减少参数量。由于前面卷积核个数的增加，通道数也随之增加，这里需加入这样一层进行调节。

S103、定义多尺度的感知损失，使用在IMAGENET1000类分类数据库上预训练过的VGG19网络作为感知损失网络，与其他感知损失不同的是，通过使用_{conv2_2}，_{conv3_4}，_{conv4_4}多层中的多尺度特征图，构建多尺度感知损失，提升生成器产生图像质量，具体结构见图4，其中包含两种卷积模块，第一种中包含两个卷积层和一个池化层，第二种卷积模块中包含四个卷积层和一个池化层。这里所有卷积层均采用3*3的卷积核，步长为1，卷积核个数采用类似判决器中逐层递增的模式依次为：64，64，128，128，256，256，256，256，512，512，512，512，512，512，512，512.其中_{conv2_2}，_{conv3_4}，_{conv4_4}分别为第二个卷积模块的输出，第三个卷积模块的输出和第四个卷积模块的输出。

S2、利用现有卫星数据中从18级开始提取的图像下采样至16级(一般常见卫星图像均为16级，18级数据获取成本较高)，这样获得的16级数据较为清晰，但是由于18级卫星数据获取成本很高，这样的清晰数据非常少。

设获得的16级卫星图像作为去噪的目标I_{D_H}，常见的直接从16级提取的卫星数据作为带噪图像I_{D_L}，通过这样的方式构成图像对，设生成的不含噪卫星图像为I_{D_GH}；

S3、以步骤S2中构成的图像对，对去噪模型中的生成器进行初始化训练，在初始化训练中，以均方误差(MSE)作为损失函数，计算生成器生成的图像与其对应的目标图像间的像素的均方误差，计算梯度并回传调整模型参数loss_MSE如下：

loss_MSE＝MSE(I_{D_GH},I_{D_H})

S4、经过大约100个epoch(一个epoch是指图像库中所有的图像数据都训练过一遍算作一个epoch)的初始化训练以后，进行完整模型的训练；

这时三个网络均要参与训练，但VGG19不调整参数，只需要输出感知损失传给生成器与判决器调整参数；整体训练时，生成器的损失函数相对单独初始化训练时有所不同。

整体训练时，生成器的损失函数包含三个部分：MSE生成器损失，感知损失和对抗损失，这三个部分加权相加后构成整体训练时的生成器损失函数：

loss_G＝loss_MSE+loss_vgg+loss_GAN

其中，loss_MSE和初始化训练时的损失函数一样，loss_vgg为感知损失：

loss_vgg＝10^-6×(loss_{mse_conv2_2}+loss_{mse_conv3_4}+loss_{mse_conv4_4})

loss_{mse_conv2_2}＝MSE(f_{i_conv2_2},f_{t_conv2_2})

loss_{mse_conv3_4}＝MSE(f_{i_conv3_4},f_{t_conv3_4})

loss_{mse_conv4_4}＝MSE(f_{i_conv4_4},f_{t_conv4_4})

其中，f_{i_conv2_2}，f_{i_conv3_4}，f_{i_conv4_4}为输入生成图像到感知模型中对应_{conv2_2}，_{conv3_4}，_{conv4_4}层特征图，f_{t_conv2_3}，f_{t_conv3_3}，f_{t_conv4_3}为生成图像对应目标图像输入感知模型中得到的对应_{conv2_2}，_{conv3_4}，_{conv4_4}层特征图；

loss_GAN为对抗损失函数：

loss_GAN＝10^-4×cross_entropy(I_{D_GH},True)

cross_entropy(I_{D_GH},True)＝log(D(I_{D_GH}))

其中，D(·)为判决器。

整体训练时判决器损失函数定义为：

loss_D＝loss₁+loss₂

loss₁＝sigmoid_cross_entropy(I_{D_GH},False)

loss₂＝sigmoid_cross_entropy(I_{D_H},True)

其中，loss_D为判决器损失，计算出损失及对应梯度并回传调整判决器中的参数模型。

S5、按照以上设置训练200个epoch达到收敛，保存模型，其中训练的生成器用于后面去噪处理使用，获得的去噪后的图像为I_{D_GH}，作为后面图像超分辨的输入，接下来定义卫星图像超分辨模型；

超分辨模型也主要包含三个部分，即生成器，感知模型和判决器。其中感知模型和判决器使用结构与前面去噪模型中使用的是相同的结构。

定义图像超分辨模型中的生成器：生成器部分主体结构也使用了残差网络，即通过构建残差模块然后多个残差模块叠构成网络结构主体，后面实现对图像的放大使用的是亚像素卷积层(subpixel)，具体结构见图5，超分辨生成器的结构与前面定义的去噪模型中的结构类似，采用多个残差模块叠加的模式，其中卷积层均采用3*3的卷积核，卷积核个数为64，后面的亚像素卷积层和其对应连接的卷积层均采用的是256个卷积核，卷积层采用3*3的卷积核.在实现x2的超分辨模型中第一个亚像素卷积层的scale＝1，第二个亚像素卷积层的scale＝2。

超分辨模型的生成器，训练使用的是航拍数据，设输入为I_{SR_L}低分辩的16级航拍图和其对应的高分辨17级航拍图I_{SR_H}构成的图像对，生成器输出的为I_{SR_GH}。

生成器的损失函数定义为：

loss_{MSE_SR}＝MSE(I_{SR_GH},I_{SR_H})

S6、重复步骤S3～S5，完成超分辨网络训练过程与去噪模型，然后生成超分辨图像I_{SR_GH}，为进一步结合航拍图像中清晰的先验到卫星图像中，这里采用高斯混合模型(GMM)构建外部先验字典，来引导内部图像重建和图像锐化结合的方法进一步提升生成的超分辨卫星图像的质量；

S7、构建GMM外部先验字典引导内部图像重建更清晰的卫星图像(原本用于图像去噪)。这里利用航拍图像与卫星图像间无法构成图像对的情况，无法直接使用之前提出的生成对抗网络模型进行训练，使用构建GMM外部先验字典的方式可以间接引入清晰航拍图像中的丰富细节到超分辨生成的卫星图像中；构建GMM外部先验字典，将清晰的航拍17级图像分成15*15的小块，块后进行初步的分组(根据欧式距离)，如图6所示；

S701、根据分组的图像块构建GMM模型，对得到的模型中协方差矩阵进行SVD分解，构建字典，作为外部先验以引导后面卫星图像的重建；

S702、以前面超分辨模型中输出的I_{SR_GH}作为内部图像输入，输入后分块(15*15)，利用构建外部先验字典时的GMM模型引导分块进行聚类；

S703、同时利用外部先验构成的字典引导内部图像块再次构建内部字典；

S704、对内部字典进行稀疏编码，并结合原内部图像块分组重建新的内部图形块分组。

S8、根据重建的内部图形块分组，重建卫星图，对重建的卫星图进行图像锐化的操作，使得图像中的边缘更加清晰获得最终的结果图。

本发明通过将多尺度感知损失与生成对抗网络结合，在有一定条件限制情况下实现卫星图像的超分辨。其中，利用卫星图像训练一个以去噪为目的的网络，利用航拍图像训练一个实现图像超分辨的网络，并结合使用高斯混合模型提取清晰的航拍图像中的特征先验，对超分辨重建后的图像进行进一步重建。再次经过一次高斯滤波对图像中的边缘进行锐化处理，最终产生更为清晰的卫星图像。

本发明解决了在限制条件下的图像放分辨与图像质量改善的问题。通过使用多尺度的感知失真损失，实现对生成图像特征域的多尺度约束，以生成效果更好的图像。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

A、实验条件

1.实验使用数据库

本发明实验使用数据为卫星图像超分辨项目中提供的卫星图像数据和航拍图像数据。非公开数据集，这里只做部分展示。卫星图像数据包含：

数据类型1：从16级开始提取的卫星图像(包含颗粒状明显的噪声)，清晰程度不高；

数据类型2：从18级开始提取的卫星图像(颗粒状噪声不明显)，清晰度稍微高一些。从18级开始提取的卫星图像下采样至16级时，可以获得相对从16级开始提取卫星图像更清楚一些的卫星图像。但是由于从18级开始提取的卫星图像成本较高，一般很难大量获得，一般常见的均为从16级开始提取的卫星图像。所以本项目的实现，通过在获得一小部分从18级提取的卫星图像的基础上训练图像超分辨模型，然后通过图像超分辨的技术实现根据从16级提取的低清晰度的卫星图像获得类似甚至超过从18级开始提取卫星图像(通过使用清晰的航拍图像进行辅助)，具有重大的研究意义和价值。这一类型数据这里获得较少，但是与数据类型1中的覆盖区域有重叠，所以可以构成少量的图像对进行模型训练。

数据类型3：清晰的航拍数据，由于拍摄高度以及拍摄方式的原因，相对卫星图像更加清晰。在与卫星图像同级别的航拍图像中，航拍图像要清晰的多，并且包含丰富的纹理信息。但是航拍图像覆盖面有限，来源有限，无法获得与数据类型1和数据类型2中同一位置相近时间段的航拍图像，不存在卫星图像与航拍图像构成的图像对，不能直接用来训练，如表1所示。

表1数据集及其分布情况

数据类型/分级	15级	16级	17级	18级	合计
						数据类型1	12989	51956	无	无	64945
数据类型2	1583	6332	25328	101302	134555
						数据类型3	1689	7104	27988	111952	148733

2.实验要求

实验分为三个部分：去噪模型训练，图像超分辨模型训练与图像后处理实验。

去噪模型训练：利用从16级提取的卫星图像(含噪声)与从18级开始提取之后下采样到16级的卫星图像(不含噪声，但清晰度不高)构成的图像对。作为训练数据，训练本方案中提出的生成对抗网络。训练完成以后，使用生成器模型，输入一幅含噪声的卫星图像可得到不含噪声的卫星图像。为保证模型的鲁棒性，测试使用均为与训练不同城市区域的卫星图像，同样为从16级提取的含噪声图像。

图像超分辨模型训练：模型训练使用17级航拍图像以及17级下采样得到的16级航拍图像，构成图像对进行模型训练。训练本方案中提出的生成对抗网络完成后，利用生成器的模型，输入一幅不含噪声的16级卫星图像可以生成对应的17级高分辨图像。并比较生成高分辨图像的视觉效果

图像后处理实验：对经过去噪与图像超分辨处理的卫星图像，为进一步提升图像质量，做图像后处理。首先，利用清晰的17级航拍图像训练得到GMM外部先验字典作为引导，输入超分辨得到的17级卫星图像，在外部先验引导下构建内部字典并重建图像，得到结合了航拍图像中清晰先验的卫星图像。并在此基础上使用高斯滤波的方法对图像进行锐化操作，得到最终后处理完成的图像。比较结果图像与原始图像的清晰程度以及视觉效果。

3.实验参数设置

在训练去噪模型与图像超分辨模型时采用的是相同的设置。首先是生成器的初始化训练，初始学习率设为0.0001，训练周期为100个epoch(训练数据全部过一遍是一个epoch)。网络整体训练时，初始学习率仍设置为0.0001，训练周期设置为200个epcoh，学习率在训练周期达到一半时衰减一次，衰减至0.00001.

在图像后处理中，构建GMM模型外部先验字典包含以下参数：设置分块步长为3，分块大小为15*15，聚类时选取欧式距离最相近的10个图像块作为一组，GMM模型中包含32个高斯模型，即拟合32个类别。图像锐化时采用高斯滤波，设置滤波半径1.5，锐化强度为2.

B、实验结果评价标准

由于实际测试输入为从16级提取的卫星图像(包含噪声)，不存在对应清晰的17级卫星图像。无法直接使用通用的PSNR和SSIM等衡量标准进行衡量。这里通过列举一些测试结果的图比较说明本方案的有效性。

C、对比试验方案

请参阅图7和图8，以上列举测试结果表明，本次提出的方案在实际情况下的有效性。本方案背景中具有的限制性条件，导致一般图像超分辨算法无法直接训练处理，需要借助一系列的图像处理算法才能够达到预期效果。最终测试生成图像效果在原始包含噪声的16级卫星图像的基础上，不仅去除了噪声，还实现了超分辨至17级(即在尺寸上长宽*2)。并且借助航拍清晰(非同一地点)，实现了生成17级卫星图像清晰程度的提升与改善。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，使用16级含噪声图像与其对应的16级不含噪声图像构成图像对训练去噪模型，然后利用航拍数据训练图像超分辨模型；采用航拍图像构建GMM模型外部先验字典，并引导内部不清晰的卫星图像进行重建，完成对生成的超分辨图像的后处理，然后使用高斯滤波的方式进行图像锐化，最终得到原卫星图像的高分辨图像，实现在原卫星图像基础上的图像视觉质量提升。

2.根据权利要求1所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，包括以下步骤：

S1、定义生成对抗网络中的生成器，判决器和多尺度的感知损失网络；

S2、利用现有卫星数据中从18级开始提取的图像下采样至16级，设获得的16级卫星图像作为去噪的目标I_{D_H}，从16级提取的卫星数据作为带噪图像I_{D_L}构成图像对，设生成的不含噪卫星图像为I_{D_GH}；

S3、以步骤S2中构成的图像对，对去噪模型中的生成器进行初始化训练，在初始化训练中，以均方误差作为损失函数，计算生成器生成的图像与其对应的目标图像间的像素的均方误差得到MSE生成器损失函数loss_MSE，计算梯度并回传调整模型参数；

S4、经过100个epoch的初始化训练以后，进行完整模型训练，计算出损失及对应梯度并回传调整生成器与判决器中的参数模型，感知损失网络VGG19不调整参数；

S5、按照以上设置训练200个epoch达到收敛，保存模型，训练的生成器用于去噪处理使用，获得的去噪后的图像为I_{D_GH}作为图像超分辨的输入，定义卫星图像超分辨模型；

S6、重复步骤S3～S5，完成超分辨网络训练过程与去噪模型，然后生成超分辨图像I_{SR_GH}，采用高斯混合模型构建外部先验字典；

S7、构建GMM外部先验字典，将清晰的航拍17级图像分成15*15的小块，然后根据欧式距离进行初步分组；

S8、根据重建的内部图形块分组重建卫星图，对重建的卫星图进行图像锐化操作，获得最终的结果图。

3.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S1中，生成对抗网络中的生成器定义为：使用一个残差网络作为生成器，残差网络中包含16个残差模块，每个残差模块中包含三个卷积层；

判决器结构定义为：使用一个10层的卷积神经网络作为判决器，卷积神经网络的卷积层使用空洞卷积；

多尺度的感知损失定义为：使用在IMAGENET1000类分类数据库上预训练过的VGG19网络作为感知损失网络，通过使用conv2_2，conv3_4，conv4_4，多层中的多尺度特征图，构建多尺度感知损失。

4.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S3中，MSE生成器损失函数loss_MSE如下：

loss_MSE＝MSE(I_{D_GH},I_{D_H})。

5.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S4中，模型训练时，将生成器损失函数中的MSE生成器损失函数loss_MSE，感知损失函数loss_vgg和对抗损失函数loss_GAN加权相加后构成整体训练时的生成器损失函数如下：

loss_G＝loss_MSE+loss_vgg+loss_GAN。

6.根据权利要求5所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，感知损失loss_vgg如下：

loss_vgg＝10^-6×(loss_{mse_conv2_2}+loss_{mse_conv3_4}+loss_{mse_conv4_4})

loss_{mse_conv2_2}＝MSE(f_{i_conv2_2},f_{t_conv2_2})

loss_{mse_conv3_4}＝MSE(f_{i_conv3_4},f_{t_conv3_4})

loss_{mse_conv4_4}＝MSE(f_{i_conv4_4},f_{t_conv4_4})

其中，f_{i_conv2_2}，f_{i_conv3_4}，f_{i_conv4_4}为输入生成图像到感知模型中对应conv2_2，conv3_4，conv4_4层特征图，f_{t_conv2_3}，f_{t_conv3_3}，f_{t_conv4_3}为生成图像对应目标图像输入感知模型中得到的对应conv2_2，conv3_4，conv4_4层特征图；

对抗损失函数loss_GAN如下：

loss_GAN＝10^-4×cross_entropy(I_{D_GH},True)

cross_entropy(I_{D_GH},True)＝log(D(I_{D_GH}))

其中，D(·)为判决器。

7.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S4中，整体训练时判决器损失函数loss_D定义为：

loss_D＝loss₁+loss₂

loss₁＝sigmoid_cross_entropy(I_{D_GH},False)

loss₂＝sigmoid_cross_entropy(I_{D_H},True)。

8.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S5中，超分辨模型包括生成器，感知模型和判决器，感知模型和判决器与去噪模型中使用的结构相同，定义图像超分辨模型中的生成器如下：

通过构建残差模块然后多个残差模块叠构成网络结构主体，通过亚像素卷积层实现对图像的放大使用。

9.根据权利要求8所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，超分辨模型的生成器训练使用的数据为航拍数据，输入为I_{SR_L}低分辩的16级航拍图和其对应的高分辨17级航拍图I_{SR_H}构成的图像对，生成器输出为I_{SR_GH}，定义生成器的损失函数如下：

loss_{MSE_SR}＝MSE(I_{SR_GH},I_{SR_H})。

10.根据权利要求2所述的一种对抗网络结合航拍图像先验的卫星图像超分辨方法，其特征在于，步骤S7具体如下：

S701、根据分组的图像块构建GMM模型，对得到的模型中协方差矩阵进行SVD分解，构建字典，作为外部先验以引导后面卫星图像的重建；

S702、以前面超分辨模型中输出的I_{SR_GH}作为内部图像输入，输入后按15*15分块，利用构建外部先验字典时的GMM模型引导分块进行聚类；

S703、利用外部先验构成的字典引导内部图像块再次构建内部字典；

S704、对内部字典进行稀疏编码，并结合原内部图像块分组重建新的内部图形块分组。