CN113781311A - 一种基于生成对抗网络的图像超分辨率重建方法 - Google Patents

一种基于生成对抗网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN113781311A
CN113781311A CN202111178655.4A CN202111178655A CN113781311A CN 113781311 A CN113781311 A CN 113781311A CN 202111178655 A CN202111178655 A CN 202111178655A CN 113781311 A CN113781311 A CN 113781311A
Authority
CN
China
Prior art keywords
image
network
resolution
countermeasure network
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111178655.4A
Other languages
English (en)
Inventor
姬国庆
李永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111178655.4A priority Critical patent/CN113781311A/zh
Publication of CN113781311A publication Critical patent/CN113781311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像超分辨率重建方法，包括以下步骤：第一步，建立图像数据库；第二步，构建生成对抗网络，所述的生成对抗网络包括生成网络、判别网络和损失计算模块；第三步，将训练集中的高分辨率‑低分辨率图像对输入到生成对抗网络来进行迭代训练，通过验证集进行验证，最终得到训练好的生成对抗网络；第四步，将测试集中的原始低分辨率图像输入到训练好的生成对抗网络，输出重建后的高分辨率图像。本发明结合了自注意力机制，同时考虑了图像的局部和全局特性，本发明能够重构出更为真实和具有清晰纹理的图像，重建出的图像具有更高的峰值信噪比和结构相似性。

Description

一种基于生成对抗网络的图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率技术领域，尤其涉及一种基于生成对抗网络的图像超分辨率重建方法。
背景技术
随着科技进步和应用领域的扩展，人们对图像质量的要求大幅提升。为了满足人们对高质量图像的需求，如何提高图像分辨率成为图像处理领域的一个研究热点。上个世纪60年代，遥感技术开始兴起。该技术是使用对电磁波敏感的传感器收集电磁波信息，经处理后获得遥感图像。与普通相机得到的图像相比，遥感图像有探测范围大、受地面限制少和获取信息量大等优点。所以遥感图像在对象匹配和检测，土地覆盖分类，城市经济水平评估，资源勘探等领域具有广泛的应用。
然而，遥感成像过程中，由于长距离成像，大气湍流，传输噪声和运动模糊等因素，遥感图像的质量和空间分辨率相对较差，并且低于自然图像。此外，遥感图像的地物通常具有不同的尺度，从而导致其物体和周围环境在其影像图案的联合分布中相互耦合。获得高分辨率遥感图像最直接有效的方法就是提升成像设备硬件条件。然而通过改善硬件设备提高图像的分辨率所花费的成本较高，并且技术的实现难度较大，往往不可行。
深度学习算法的出现，为解决图像超分辨率重建带来很大变革。现有的图像超分辨率重建技术虽然可以用来解决遥感图像中的图像分辨率低的问题，但是针对遥感图像背景复杂、视野宽、目标普遍较小、恢复的图像较为模糊和损失原始图像中的高频纹理信息等问题，如何重建出高分辨率遥感图像还需要研究。因此，提升重建图像的质量是十分有必要的。
发明内容
本发明提供了一种基于生成对抗网络的图像超分辨率重建方法，以生成对抗网络为算法整体框架，引入自注意力机制，通过全局参考而不是局部区域来生成图像，利用全局特征信息更好地重建出超分辨率图像的纹理细节，提高重建效果，并且重建出的图像具有更高的峰值信噪比和结构相似性。
为了实现上述目的，本发明采用了如下技术方案：
一种基于生成对抗网络的超分辨率重建方法，包括以下步骤；
第一步，建立图像数据库，所述的图像数据库中包括多个高分辨率-低分辨率图像对，高分辨率-低分辨率图像对中包括原始高分辨率图像和对原始高分辨率图像进行下采样得到的原始低分辨率图像，将图像数据库中的高分辨率-低分辨图像对划分为训练集、验证集和测试集；
第二步，构建生成对抗网络，所述的生成对抗网络包括生成网络、判别网络和损失计算模块；
第三步，将训练集中的高分辨率-低分辨率图像对输入到生成对抗网络来进行迭代训练，当训练生成网络模块时，固定判别模块的参数进行训练，当训练判别模块时，固定生成网络模块的参数进行训练，通过验证集进行验证，最终得到训练好的生成对抗网络；
第四步，将测试集中的原始低分辨率图像输入到训练好的生成对抗网络，输出重建后的高分辨率图像。
作为本技术方案的进一步改进方案：所述第一步中，将原始高分辨率图像进行下采样获得原始低分辨率图像，所述的下采样方法为双立方插值，利用图像16个像素点权重卷积之和作为新的像素值。
作为本技术方案的进一步改进方案：所述第二步中，生成网络模块包括依次连接的浅层特征提取网络、自注意力残差模块、特征融合单元和上采样网络。
作为本技术方案的进一步改进方案：所述第二步中，浅层特征提取网络包括三个不同尺寸3x3、5x5和7x7的卷积核对输入图像进行浅层特征提取，通过三个不同尺寸的感受野对图像进行卷积，然后把卷积后的特征图和原图像送入Concatlayer层，再送入一个1x1的卷积层。
作为本技术方案的进一步改进方案：所述第二步中，自注意力残差模块包括多个ARDB模块，单个ARDB模块，采用两个卷积层和一个自注意力层，卷积层后面接实例归一化层，激活函数用ParametricReLU，同时加入跳跃连接。
作为本技术方案的进一步改进方案：所述第二步中，特征融合单元包括依次连接的Concat层、1x1卷积层和3x3卷积层，所述的密集特征融合单元表示为：
FDF＝HDFF(F0,F1…F28)
其中，HDFF为密集特征融合函数，FDF为密集特征融合单元的输出，[F1,…,F28]为自注意力残差块中各ARDB模块的产生的特征图在通道上拼接起来组成的整体，F0为浅层特征提取网络的输出结果。
作为本技术方案的进一步改进方案：所述第二步中，上采样网络中两层亚像素卷积层将图像大小恢复为原来的4倍。
作为本技术方案的进一步改进方案：所述第二步中，损失计算模块中生成网络整体损失函数LG的公式为：
LG＝Lper+λLadv
其中，LG为生成网络整体损失函数，Lper为感知损失，Ladv为对抗损失，λ为加权系数。
作为本技术方案的进一步改进方案：所述第二步中，感知损失Lper的计算公式为：
Figure BDA0003296453160000041
其中，Wij和Hij表示VGG网络中特征图的维度，
Figure BDA0003296453160000042
表示VGG网络中第j次卷积后(激活前)第i次最大池化前得到的特征图，IHR为高分辨率图像，ILR为低分辨率图像，G为整个生成网络。x，y分别代表图像在宽度和高度方向上的像素点的坐标。
作为本技术方案的进一步改进方案：所述第二步中，对抗损失Ladv的计算公式为:
Figure BDA0003296453160000043
其中，
Figure BDA0003296453160000044
表示x采样于生成数据的分布，
Figure BDA0003296453160000045
表示x采样于真实数据的分布，D(x)为判别模块输出。
与现有技术相比，本发明的具有以下优点：
(1)基于残差卷积网络引入改进的自注意力残差块构成生成网络的主体，引入自注意力机制，一步到位的获取到图像的全局特征，利用全局特征信息更好地处理图像中长范围、多层次的依赖关系，协调生成图像中每一个位置的远近细节。
(2)使用不同大小的卷积核提取浅层多尺度特征，将不同大小卷积核提取后的特征进行特征融合，充分利用原始低分辨率图像信息。
(3)训练时使用Wasserstein距离来优化对抗训练，得在真实分布与生成分布没有重合的情况下，依然能够反映二者的远近，且能够提供有意义的梯度，提高模型训练的稳定性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明流程结构示意图；
图2为本发明的生成网络模块的结构示意图；
图3为本发明的判别网络模块的结构示意图；
图4为本发明的图像与Bicubic算法重建图像、SRCNN算法重建图像以及原始高分辨率图像的对比图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，本发明实施例中，一种基于生成对抗网络的图像超分辨率重建方法，包括以下步骤；
第一步，建立图像数据库，所述的图像数据库中包括多个高分辨率-低分辨率图像对，高分辨率-低分辨率图像对中包括原始高分辨率图像和对原始高分辨率图像进行下采样得到的原始低分辨率图像，将图像数据库中的高分辨率-低分辨图像对划分为训练集、验证集和测试集；
本实施例中，建立多组对应的不同分辨率的图像作为图像数据库，本实施例使用NWPU-RESISC45数据集，其中训练集包含25000张高分辨率图像，验证集和测试集各包含2500张高分辨率图像，对每一张高分辨率图像进行下采样处理，得到高分辨率-低分辨率图像对，用于生成对抗网络训练。
第二步，构建生成对抗网络，所述的生成对抗网络包括生成网络、判别网络和损失计算模块；
具体地，如图2所示，生成网络模块包括依次连接的浅层特征提取网络、自注意力残差块、特征融合单元和上采样网络。
进一步地，浅层特征提取网络包括三个不同尺寸3x3、5x5和7x7的卷积核对输入图像进行浅层特征提取，通过三个不同尺寸的感受野对图像进行卷积，然后把卷积后的特征图和原图像送入Concatlayer层，再送入一个1x1的卷积层。
进一步地，自注意力残差模块包括多个ARDB模块，通过将前一个ARDB模块的状态传递给当前ARDB模块的每一层来实现连续记忆机制。
每个所述的ARDB模块，采用两个3x3卷积层和一个自注意力层，卷积层后面接实例归一化层，激活函数用ParametricReLU，同时加入跳跃连接，本实施例中，生成网络共使用28个ARDB模块。
进一步地，特征融合单元包括依次连接的Concat层、1x1卷积层和3x3卷积层，所述的密集特征融合单元表示为：
FDF＝HDFF(F0,F1…F28)
其中，HDFF为密集特征融合函数，FDF为密集特征融合单元的输出，[F1,…,F28]为自注意力残差块中各ARDB模块的产生的特征图在通道上拼接起来组成的整体，F0为浅层特征提取网络的输出结果。
具体地，使用Concat层采用concatenation的方式融合前一个ARDB模块和当前ARDB模块中的整个卷积层的状态特征，HDFF为1x1卷积层和3x3卷积层的操作，1x1卷积层用于自适应融合一系列不同层次的特征，引入3×3卷积层进一步提取特征然后进行全局残差学习。
进一步地，上采样网络中两层亚像素卷积层将图像大小恢复为原来的4倍。
重建过程表示为：
ISR＝G(ILR)
其中，G代表整个生成模型，ISR代表重建图像，ILR代表输入的低分辨率图像。
具体地，判别网络如图3所示，本实施例中，采用经典的VGG-19架构为基础，判别网络包含8个卷积层，使用LeakyRelu作为激活函数，随着网络层数加深，特征个数从64增加到512，特征尺寸不断减小。
具体地，损失计算模块中生成网络整体损失函数LG的公式为：
LG＝Lper+λLadv
其中，LG为生成网络整体损失函数，Lper为感知损失，Ladv为对抗损失，λ为加权系数。
本实施例中，为生成更具准确亮度和逼真纹理的图片，设置基于VGG网络的感知损失Lper使用激活前而不是激活后的特征层信息进行计算，Lper在预训练深度网络的激活层上定义，最小化两个激活特征之间的距离。所述感知损失Lper的计算公式为：
Figure BDA0003296453160000071
其中，Wij和Hij表示VGG网络中特征图的维度，
Figure BDA0003296453160000081
表示VGG网络中第j次卷积后(激活前)第i次最大池化前得到的特征图，IHR为高分辨率图像，ILR为低分辨率图像，G为整个生成网络。
基于生成网络和判别网络的对抗博弈机制，生成网络输出一幅HR后还需利用判别网络给出该幅图像真假的概率。为最大化重建图像通过判别器甄别的概率，本发明采用WGAN中提出的对抗损失替代原始GAN模型的对抗损失，能够防止模式坍塌，指导训练进程，所述对抗损失Ladv的计算公式为:
Figure BDA0003296453160000082
其中，
Figure BDA0003296453160000083
表示x采样于生成数据的分布，
Figure BDA0003296453160000084
表示x采样于真实数据的分布，D(x)为判别模块输出。
第三步，将训练集中的高分辨率-低分辨率图像对输入到生成对抗网络来进行迭代训练，当训练生成网络模块时，固定判别模块的参数进行训练，当训练判别模块时，固定生成网络模块的参数进行训练，通过验证集进行验证，最终得到训练好的生成对抗网络；
具体地，将低分辨率图像输入生成网络输出重建图像，然后将重建图像和原始高分辨率图像输入判别网络，轮流的交替训练生成网络和判别网络，当训练生成网络模块时，固定判别模块的参数进行训练，当训练判别模块时，固定生成网络模块的参数进行训练，为了使模型更好的训练，最终取得更好的重建效果，本实施例中设置的具体实验超参数为：生成器和判别器的学习率均为0.0001，迭代次数为300K次，在50K次后学习率衰减，batchsize为32，优化算法选择RMSProp。
第四步，将测试集中的原始低分辨率图像输入到训练好的生成对抗网络，输出重建后的高分辨率图像。
本实施例中，为了客观上评估重建图像的质量，本发明采用图像超分辨率重建上最常用的峰值信噪比(PSNR)和结构相似性(SSIM)来对重建图像进行对比和评价。
PSNR的本质是计算原始图像与重建图像像素点之间的误差，从而衡量二者之间的相似情况。所述PSNR的计算方法为：
Figure BDA0003296453160000091
其中，n为每个采样值的比特数，峰值信噪比的单位为dB，其值越大，表明原始图像与重建图像像素点间误差越小，重建效果越好。MSE代表均方误差，对于一个大小为M×N的图像，所述MSE计算公式为：
Figure BDA0003296453160000092
其中，IHRij和ISRij分别为原始图像与重建图像中像素点坐标为(i,j)处的像素值。
SSIM表示处理后的图像结构与原始图结构的相似性，数值越逼近于1，表明生成的结果图像越好，所述SSIM计算公式为：
Figure BDA0003296453160000093
其中，μx是x的平均值，μy是y的平均值，
Figure BDA0003296453160000094
是x的方差，
Figure BDA0003296453160000095
是y的方差，σxy是x和y的协方差，x1＝(k1L)2，c1＝(k2L)2是用来维持稳定的常数。L是像素的动态范围，k1和k2是常数，分别为0.01和0.03。
记录实验数据，本实施例实验环境：***Win10，显卡RTX2060，深度学习框架PyTorch，对比算法为Bicubic(双三次插值)和SRCNN(超分辨率卷积神经网络)。Bicubic模型、SRCNN模型和本发明模型在测试图片上的峰值信噪比值和结构相似性值如下表所示：
Figure BDA0003296453160000096
Figure BDA0003296453160000101
本发明在PSNR和SSIM上的评估结果均高于Bicubic算法、SRCNN算法。本实例中具体重建结果如图4所示，其中(a)为原始高分辨率图像，(b)为Bicubic算法重建图像，(c)为SRCNN算法重建图像，(d)为本发明重建图像。
以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是，凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，包括以下步骤；
第一步，建立图像数据库，所述的图像数据库中包括多个高分辨率-低分辨率图像对，高分辨率-低分辨率图像对中包括原始高分辨率图像和对原始高分辨率图像进行下采样得到的原始低分辨率图像，将图像数据库中的高分辨率-低分辨图像对划分为训练集、验证集和测试集；
第二步，构建生成对抗网络，所述的生成对抗网络包括生成网络、判别网络和损失计算模块；
第三步，将训练集中的高分辨率-低分辨率图像对输入到生成对抗网络来进行迭代训练，当训练生成网络模块时，固定判别模块的参数进行训练，当训练判别模块时，固定生成网络模块的参数进行训练，通过验证集进行验证，最终得到训练好的生成对抗网络；
第四步，将测试集中的原始低分辨率图像输入到训练好的生成对抗网络，输出重建后的高分辨率图像。
2.根据权利要求1所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述第一步中，将原始高分辨率图像进行下采样获得原始低分辨率图像，所述的下采样方法为双立方插值，利用图像16个像素点权重卷积之和作为新的像素值。
3.根据权利要求1所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述第二步中生成网络模块包括依次连接的浅层特征提取网络、自注意力残差模块、特征融合单元和上采样网络。
4.根据权利要求2所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述的浅层特征提取网络包括三个不同尺寸3x3、5x5和7x7的卷积核对输入图像进行浅层特征提取，通过三个不同尺寸的感受野对图像进行卷积，然后把卷积后的特征图和原图像送入Concatlayer层，再送入一个1x1的卷积层。
5.根据权利要求2所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述的自注意力残差模块包括多个ARDB模块，单个ARDB模块，采用两个卷积层和一个自注意力层，卷积层后面接实例归一化层，激活函数用ParametricReLU，同时加入跳跃连接。
6.根据权利要求2所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述的特征融合单元包括依次连接的Concat层、1x1卷积层和3x3卷积层，所述的密集特征融合单元表示为：
FDF＝HDFF(F0,F1…F28)
其中，HDFF为密集特征融合函数，FDF为密集特征融合单元的输出，[F1,…,F28]为自注意力残差块中各ARDB模块的产生的特征图在通道上拼接起来组成的整体，F0为浅层特征提取网络的输出结果。
7.根据权利要求2所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述的上采样网络中两层亚像素卷积层将图像大小恢复为原来的4倍。
8.根据权利要求1所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述的损失计算模块中生成网络整体损失函数LG的公式为：
LG＝Lper+λLadv
其中，LG为生成网络整体损失函数，Lper为感知损失，Ladv为对抗损失，λ为加权系数。
9.根据权利要求8所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述感知损失Lper的计算公式为：
Figure FDA0003296453150000031
其中，Wij和Hij表示VGG网络中特征图的维度，
Figure FDA0003296453150000032
表示VGG网络中第j次卷积后第i次最大池化前得到的特征图，IHR为高分辨率图像，ILR为低分辨率图像，G为整个生成网络；x，y分别代表图像在宽度和高度方向上的像素点的坐标。
10.根据权利要求8所述的一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，所述对抗损失Ladv的计算公式为:
Figure FDA0003296453150000033
其中，
Figure FDA0003296453150000034
表示x采样于生成数据的分布，
Figure FDA0003296453150000035
表示x采样于真实数据的分布，D(x)为判别模块输出。
CN202111178655.4A 2021-10-10 2021-10-10 一种基于生成对抗网络的图像超分辨率重建方法 Pending CN113781311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111178655.4A CN113781311A (zh) 2021-10-10 2021-10-10 一种基于生成对抗网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111178655.4A CN113781311A (zh) 2021-10-10 2021-10-10 一种基于生成对抗网络的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN113781311A true CN113781311A (zh) 2021-12-10

Family

ID=78855140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111178655.4A Pending CN113781311A (zh) 2021-10-10 2021-10-10 一种基于生成对抗网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113781311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法
CN115063293A (zh) * 2022-05-31 2022-09-16 北京航空航天大学 采用生成对抗网络的岩石显微图像超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311538A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于卷积神经网络的多尺度轻量化道路路面检测方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311538A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于卷积神经网络的多尺度轻量化道路路面检测方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王雪松等: "基于自注意力生成对抗网络的图像超分辨率重建", 控制与决策, pages 1 - 9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法
CN115063293A (zh) * 2022-05-31 2022-09-16 北京航空航天大学 采用生成对抗网络的岩石显微图像超分辨率重建方法
CN115063293B (zh) * 2022-05-31 2024-05-31 北京航空航天大学 采用生成对抗网络的岩石显微图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
Gajjar et al. New learning based super-resolution: use of DWT and IGMRF prior
Chen et al. Single image super-resolution via adaptive transform-based nonlocal self-similarity modeling and learning-based gradient regularization
Li et al. Single-image super-resolution for remote sensing images using a deep generative adversarial network with local and global attention mechanisms
CN113781311A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
CN113592715B (zh) 一种面向小样本图像集的超分辨率图像重构方法
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
Gao et al. Multiscale curvelet scattering network
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Sustika et al. Generative adversarial network with residual dense generator for remote sensing image super resolution
CN116310851B (zh) 遥感图像变化检测方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN116503251A (zh) 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法
CN113792746B (zh) 基于Yolo V3的探地雷达图像目标检测方法
CN114511470A (zh) 一种基于注意力机制的双分支全色锐化方法
Zhang et al. Superresolution approach of remote sensing images based on deep convolutional neural network
CN113554671A (zh) 基于轮廓增强的sar图像到可见光图像的转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination