CN112785499A - 超分辨率重建模型训练方法及计算机设备 - Google Patents

超分辨率重建模型训练方法及计算机设备 Download PDF

Info

Publication number
CN112785499A
CN112785499A CN202011641326.4A CN202011641326A CN112785499A CN 112785499 A CN112785499 A CN 112785499A CN 202011641326 A CN202011641326 A CN 202011641326A CN 112785499 A CN112785499 A CN 112785499A
Authority
CN
China
Prior art keywords
image
generator
loss
initial
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011641326.4A
Other languages
English (en)
Inventor
武哲戎
马培峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011641326.4A priority Critical patent/CN112785499A/zh
Publication of CN112785499A publication Critical patent/CN112785499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种超分辨率重建模型训练方法及计算机设备，用于训练超分辨率重建模型以使得训练好的模型能够重建出高精度的超分辨率DEM图像。本申请实施例包括：实现并训练一个基于增强型超分辨率生成对抗网络(ESRGAN)的模型，以利用该模型对DEM图像进行超分重建。训练过程中根据迁移学习策略准备多个来源的训练数据集，对生成器进行分阶段训练，预训练阶段只采用像素级损失函数，最终训练阶段遵循生成对抗策略采用多种损失函数的组合。这种训练方式解决了数据量不足和模型收敛困难的问题。最终该模型与传统方法相比，图像超分重建结果不仅在定量指标方面表现更优，也实现了更好的视觉效果。

Description

超分辨率重建模型训练方法及计算机设备
技术领域
本申请实施例涉及图像处理领域，具体涉及一种超分辨率重建模型训练方法及计算机设备。
背景技术
在图像处理技术领域，进行图像超分辨率重建，是提高图像和视频分辨率的一种重要图像处理技术。图像超分辨率技术(super-resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像的技术。利用图像超分辨率技术，可以从低分辨率图像获得高分辨率图像，或去除模糊图像中的模糊部分。
图像超分辨率技术广泛应用于各个领域，尤其适用于地形模型构建的领域中。数字高程模型(digital elevation model,DEM)是数字地形模型的一个分支，它是用一组有序数值阵列形式表示地面高程的一种数字模型。其在经济和国防建设中具有广泛的应用需求，如航迹规划中，人们希望能够利用更加精确的地形数据(如地形图像数据等)，尽可能使规划结果最优，故人们对高精度地形模型的追求是一个永恒的主题。为获得高精度的地形模型，通常采用两种方法。一种方法通常采用更高精度的测量设备如高分辨率的遥感影像，并通过密集测量，以达到提高精度的目的。这种方法生产成本高，特别是对于海底地形的测绘，相对于地表利用卫星遥感影像测绘而言，成本增加尤为显著。第二种方法采取超分辨率的策略，通过对低分辨率图像的处理，提高DEM图像的精度和分辨率，降低高分辨率图像获取的成本，因此吸引了大量研究者的关注。
目前的图像超分辨率技术所获取到的DEM图像的精度并不高，为此，建立一种高精度且鲁棒性好的超分辨率重建方法具有十分重要的意义。
发明内容
本申请实施例提供了一种超分辨率重建模型训练方法及计算机设备，用于训练超分辨率重建模型以使得训练好的模型能够重建出高精度的超分辨率DEM图像。
本申请实施例第一方面提供了一种超分辨率重建模型训练方法，包括：
获取多个图像对，每个所述图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于所述样本图像的分辨率，所述多个图像对包括第一图像对和第二图像对；
获取初始生成对抗网络，所述初始生成对抗网络包括初始生成器及初始判别器；
将所述第一图像对输入至所述初始生成器，以使所述初始生成器基于所述第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算所述第一预测图像与标准图像的像素级损失，根据所述像素级损失更新所述初始生成器的参数，当所述像素级损失满足收敛条件时获得中间生成器；其中，所述第一预测图像与标准图像的尺寸相同；
将所述第二图像对输入至所述中间生成器，以使所述中间生成器基于所述第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据所述生成器损失更新所述中间生成器的参数，当所述生成器损失的变化差异小于预设阈值时获得目标生成器；其中，所述第二预测图像与标准图像的尺寸相同；
将多组训练样本输入至所述初始判别器，并基于对抗损失函数计算对抗损失，根据所述对抗损失更新所述初始判别器的参数，当所述对抗损失的变化差异小于预设阈值时获得目标判别器；其中，每组所述训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及所述第二图像对中的标准图像。
本申请实施例第二方面提供了一种计算机设备，包括：
获取单元，用于获取多个图像对，每个所述图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于所述样本图像的分辨率，所述多个图像对包括第一图像对和第二图像对；
所述获取单元还用于获取初始生成对抗网络，所述初始生成对抗网络包括初始生成器及初始判别器；
生成器训练单元，用于将所述第一图像对输入至所述初始生成器，以使所述初始生成器基于所述第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算所述第一预测图像与标准图像的像素级损失，根据所述像素级损失更新所述初始生成器的参数，当所述像素级损失满足收敛条件时获得中间生成器；其中，所述第一预测图像与标准图像的尺寸相同；将所述第二图像对输入至所述中间生成器，以使所述中间生成器基于所述第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据所述生成器损失更新所述中间生成器的参数，当所述生成器损失的变化差异小于预设阈值时获得目标生成器；其中，所述第二预测图像与标准图像的尺寸相同；
判别器训练单元，用于将多组训练样本输入至所述初始判别器，并基于对抗损失函数计算对抗损失，根据所述对抗损失更新所述初始判别器的参数，当所述对抗损失的变化差异小于预设阈值时获得目标判别器；其中，每组所述训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及所述第二图像对中的标准图像。
本申请实施例第三方面提供了一种计算机设备，包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于执行前述第一方面的超分辨率重建模型训练方法。
本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，超分辨率重建模型的训练过程根据迁移学习策略准备了多个来源的训练数据集，对生成器进行分阶段训练，预训练阶段只采用像素级损失函数，最终训练阶段遵循生成对抗策略采用多种损失函数的组合。这种训练方式解决了数据量不足和模型收敛困难的问题。最终该模型与传统方法相比，图像超分重建结果不仅在定量指标方面表现更优，也实现了更好的视觉效果。
附图说明
图1为本申请实施例中超分辨率重建模型训练方法一个流程示意图；
图2为本申请实施例中初始生成器一种模型结构示意图；
图3为本申请实施例中初始判别器一种模型结构示意图；
图4为本申请实施例中计算机设备一个结构示意图；
图5为本申请实施例中计算机设备另一结构示意图。
具体实施方式
本申请实施例提供了一种超分辨率重建模型训练方法及计算机设备，用于训练超分辨率重建模型以使得训练好的模型能够重建出高精度的超分辨率DEM图像。
请参阅图1，本申请实施例中超分辨率重建模型训练方法一个实施例包括：
101、获取多个图像对；
本实施例的方法用于训练超分辨率重建模型，该方法具体可以由计算机设备执行，该计算机设备可以是服务器、终端等能够执行数据处理的计算机设备。当计算机设备为终端时，可以是个人电脑(personal computer，PC)、台式计算机等终端设备；为服务器时，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云数据库、云计算以及大数据和人工智能平台等基础云计算服务的云服务器。
获取的多个图像对包括第一图像对和第二图像对。用于训练模型的每个图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于样本图像的分辨率。
本实施例的一个发明目的在于重建超分辨率的数字高程模型(digitalelevationmodel，DEM)图像，因此该多个图像对可以包括DEM图像对。其中，数字高程模型是通过有限的地形高程数据实现对地面地形的数字化模拟(即地形表面形态的数字化表达)，是用一组有序数值阵列形式表示地面高程的一种实体地面模型。
因此，在构建DEM图像对时，DEM图像对中的标准图像可以是数字地表模型DSM产品经过裁剪得到的DSM子图像，DEM图像对中的样本图像可以是DSM子图像经过降采样得到的样本图像。数字地表模型(digital surface model，DSM)是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。
例如，以WorldDEMTM DSM产品为例，在获得一张尺寸为9001×9001像素的WorldDEMTM DSM产品之后，从该DSM产品左上角的像素坐标开始，将该DSM产品裁剪成若干张尺寸为600×600像素的DSM子图像，DSM子图像之间可以存在重叠区域，也可以不存在重叠区域。裁剪得到的若干张DSM子图像分别作为DEM图像对中的标准图像。之后，分别对每一张DSM子图像进行降采样，获得低分辨率的DSM样本图像。其中，降采样的方法可以是双三次插值算法(bicubic interpolation)，采用双三次插值算法对高分辨率的DSM子图像降采样三倍得到低分辨率的DSM样本图像。
因此，最终构建的每一个DEM图像对中的标准图像为高分辨率的DSM子图像，样本图像为基于该高分辨率的DSM子图像降采样得到的低分辨率DSM样本图像。
此外，在获得DEM图像对时，可以预留一部分图像对用于训练模型，另一部分用于对训练完成的模型进行测试，并且用于训练模型的图像对所占比例应远大于模型测试的图像对。例如，DEM图像对的数据集中，90％作为训练数据集，剩余10％作为测试数据集。
以上所述的DEM图像对是基于WorldDEM***单域构建的，除此之外，还可以基于WorldDEM***和SRTM(航天飞机雷达地形测绘使命)***跨域构建图像对，即跨域构建的图像对中，标准图像为WorldDEM DSM产品经过裁剪得到的WorldDEM DSM子图像，样本图像为SRTM DSM子图像经过重采样得到的样本图像，其中，该SRTM DSM子图像为SRTM DSM产品经过裁剪得到的子图像，WorldDEM DSM产品与SRTM DSM产品基于相同的地理坐标范围。
例如，假设获取到尺寸为9001×9001像素的WorldDEM DSM产品和尺寸为3601×3601像素的SRTM DSM产品，上述两种产品基于相同的地理坐标范围，则从WorldDEM DSM产品左上角的像素坐标开始，将WorldDEM DSM产品裁剪成若干张尺寸为600×600像素的WorldDEM DSM子图像，WorldDEM DSM子图像之间可以存在重叠区域，也可以不存在重叠区域。裁剪得到的若干张WorldDEM DSM子图像分别作为图像对中的标准图像。
并且，从SRTM DSM产品左上角的像素坐标开始，将SRTM DSM产品裁剪成若干张尺寸为240×240像素的SRTM DSM子图像，SRTM DSM子图像之间可以存在重叠区域，也可以不存在重叠区域。之后，分别对每一张SRTM DSM子图像进行重采样，获得低分辨率的SRTM DSM样本图像。其中，重采样的方法可以是双三次插值算法(bicubic interpolation)，采用双三次插值算法对高分辨率的SRTM DSM子图像重采样得到低分辨率的SRTM DSM样本图像。
因此，最终WorldDEM***和SRTM***跨域构建的每一个图像对中的标准图像为高分辨率的WorldDEM DSM子图像，样本图像为基于高分辨率的SRTM DSM子图像重采样得到的低分辨率SRTM DSM样本图像。
此外，在获得跨域构建的图像对时，可以预留一部分图像对用于训练模型，另一部分用于对训练完成的模型进行测试，并且用于训练模型的图像对所占比例应远大于模型测试的图像对。例如，跨域构建的图像对的数据集中，90％作为训练数据集，剩余10％作为测试数据集。
在一种可能的实现方式中，当构建的DEM图像对的数据量不足而无法有效地训练模型时，多个图像对中也可以包括一部分自然图像对，并且该自然图像对也可以用于训练初始生成对抗网络。具体的，自然图像对中的标准图像和样本图像均为自然图像，自然图像是指使用摄像头拍摄自然物体而得到的图像，自然图像区别于由计算机合成的图像。
在构建自然图像对时，可以使用摄像头拍摄自然物体的高分辨率图像，或者从DIV2K数据集中获取高分辨率自然图像。假设从DIV2K数据集中获取到900张2K分辨率的RGB自然图像，首先将每一张高分辨率自然图像转换为灰度图像，即根据自然图像的RGB值将每一通道的值转换为相同数值，例如按照R*299/1000、G*587/1000、B*114/1000分别将每一通道的值转换为相同数值，得到高分辨率的灰度图像，并将转换得到的灰度图像作为自然图像对中的标准图像。使用灰度图像训练模型能够降低模型处理图像的难度，加快模型训练。
获得高分辨率的灰度图像之后，对每一张高分辨率的灰度图像进行降采样，获得低分辨率的灰度图像。其中，降采样的方法可以是双三次插值算法(bicubicinterpolation)，采用双三次插值算法对高分辨率的灰度图像降采样三倍得到低分辨率的灰度图像。
因此，最终构建的每一个自然图像对中的标准图像为高分辨率的灰度图像，样本图像为基于该高分辨率的灰度图像降采样得到的低分辨率灰度图像。
此外，在获得大量的自然图像对时，可以预留一部分图像对用于训练模型，另一部分用于对训练完成的模型进行测试，并且用于训练模型的图像对所占比例应远大于模型测试的图像对。例如，获得900个自然图像对，其中800个图像对作为训练数据集，100个图像对作为测试数据集。
因此，获得的单域构建的图像对、跨域构建的图像对以及自然图像对，均可用于后续步骤中对初始生成对抗网络的训练，以使得训练完成的生成对抗网络可以重建超分辨率的DEM图像。
同时，为降低模型处理图像的难度，在获得上述多种图像对之后，可以分别对上述每种图像对进行归一化处理。对于自然图像对，可以采用极值标准化方法(Min-Max标准化)将自然图像对中的标准图像和样本图像的像素值分别除以255，使得数据范围缩放至[0，1]之间。
对于单域构建的DEM图像对和跨域构建的DEM图像对，可采用Min-Max标准化方法或者非线性归一化方法对数据进行归一化处理。当DEM图像对的数据变化范围不大时，可选择Min-Max标准化方法，具体步骤为统计DEM图像对的数据集的最大值和最小值，根据x＝(x-min)/(max-min)将数据映射在[0，1]范围内；当DEM图像对的数据变化范围较大时，可采用非线性归一化方法，通过对数函数、指数函数、正切函数等数学函数将图像对中的标准图像和样本图像的原始值进行映射，上述数学函数的参数可根据数据分布情况进行调整。以对数函数为例，具体步骤为统计DEM图像对的数据集的最大值和最小值，根据x＝log(x-min)/log(max)将数据映射在[0，1]范围内。
对图像进行归一化处理，可以降低模型处理图像数据的难度，从而加快模型收敛速度。
102、获取初始生成对抗网络；
本实施例采用生成对抗算法来训练超分辨率重建模型，因此，超分辨率重建模型的类型即为生成对抗网络，计算机设备获取初始生成对抗网络，并在后续的步骤中训练该初始生成对抗网络以获得目标生成对抗网络，目标生成对抗网络作为超分辨率重建模型，用于超分辨率图像的重建。
其中，初始生成对抗网络包括初始生成器及初始判别器，对初始生成对抗网络的训练主要是对初始生成器和初始判别器的训练。
本实施例获取的初始生成对抗网络为自主设计，其中初始生成器包括的浅层特征提取模块、残差嵌套密集模块、密集特征融合模块及上采样模块依次连接，残差嵌套密集模块包括若干个依次连接的残差嵌套密集块RRDB(residual-in-residual dense block，RRDB)块，每个RRDB块包括若干个依次连接的残差密集块(residual dense block，RDB)块，每个RDB块包括若干个依次连接的特征提取卷积层以及每个特征提取卷积层各自连接的LeakyReLU激活层、最后一个LeakyReLU激活层连接的特征融合卷积层。
密集特征融合模块包括特征提取卷积层以及全局残差计算子模块；上采样模块包括若干个卷积层且卷积层之间通过PixelShuffle方法层相连。
例如，如图2所示，初始生成器的浅层特征提取模块为一个3×3卷积层；残差嵌套密集模块包括10个RRDB块，每个RRDB块包括3个RDB块，且每个RDB块包括4个依次连接的特征提取卷积层以及每个特征提取卷积层各自连接的LeakyReLU激活层，同时，在RDB块中的最后一个LeakyReLU激活层还连接一个特征融合卷积层用于特征融合；密集特征融合模块包括一个3×3卷积层以及全局残差计算子模块；上采样模块包括2个卷积层且2个卷积层之间通过PixelShuffle方法层相连。
同时，初始判别器包括若干个卷积层，首个卷积层之后连接LeakyReLU激活层，首个卷积层之后的每个卷积层各自连接批规范化层(batch normalization，BN)和LeakyReLU激活层作为激活函数；最后一个卷积层连接的LeakyReLU激活层依次连接若干个全连接层以及Sigmoid激活函数，全连接层之间通过LeakyReLU激活层相连。
例如，如图3所示，初始判别器包括8个卷积层，其特征个数随网络层数加深而不断增加(64-128-256-512)，同时特征尺寸也不断减小。
第1个卷积层之后连接LeakyReLU激活层，第2个至第8个卷积层每个卷积层各自连接批规范化层和LeakyReLU激活层作为激活函数；第8个卷积层连接的LeakyReLU激活层依次连接2个全连接层以及Sigmoid激活函数，2个全连接层之间通过LeakyReLU激活层相连。
103、将第一图像对输入至初始生成器，以使初始生成器基于第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算第一预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得中间生成器；
基于上述的初始生成器的结构，本实施例中，采用第一图像对训练初始生成器的具体方式是，将第一图像对输入至初始生成器，以使初始生成器基于第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算第一预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得中间生成器。其中，第一预测图像与标准图像的尺寸相同。
由于本实施例的一个发明目的在于重建超分辨率的数字高程模型图像，因此，该第一图像对可以是步骤101中获取到的DEM图像对；或者当DEM图像对的数据量不足时，该第一图像对也可以是一部分DEM图像对以及一部分自然图像对。
因此，当第一图像对包括一部分的自然图像对以及一部分的DEM图像对时，第一图像对训练初始生成器的具体方式是，将多个自然图像对输入至初始生成器，以使初始生成器基于自然图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得次中间生成器。其中，像素级损失函数计算的是对应于同一个自然图像对的预测图像和标准图像之间的像素级损失。
104、将第二图像对输入至中间生成器，以使中间生成器基于第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据生成器损失更新中间生成器的参数，当生成器损失的变化差异小于预设阈值时获得目标生成器；
在次中间生成器的基础上，将多个DEM图像对输入至次中间生成器，以使该次中间生成器基于DEM图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新次中间生成器的参数，对该次中间生成器进行微调，当像素级损失满足收敛条件时获得该中间生成器。类似的，此阶段中像素级损失函数计算的是对应于同一个DEM图像对的预测图像和标准图像之间的像素级损失。
其中，像素级损失函数的表达式如下所示：
Figure BDA0002880032790000091
其中，xi指代第i个输入生成器的样本图像；G(xi)指代生成器基于样本图像生成的预测图像；yi指代第i个输入生成器的样本图像对应的标准图像；Exi指代平均绝对误差(MAE，mean absolute error)。
当DEM图像对的数据量充足时，第一图像对也可以全部为DEM图像对。以第一图像对全部是DEM图像对为例来说明第一图像对训练初始生成器的具体方式，则第一图像对训练初始生成器的具体方式还可以是，将多个DEM图像对输入至初始生成器，从而初始生成器基于每一个DEM图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得该中间生成器。
在第一图像对训练初始生成器得到中间生成器之后，在中间生成器的基础上，将多个图像对中的第二图像对输入至中间生成器，以使中间生成器基于第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据生成器损失更新该中间生成器的参数，当生成器损失的变化差异小于预设阈值时获得目标生成器，完成生成器的训练。其中，该第二图像对可以是步骤101中跨域构建的DEM图像对，即第二图像对中的标准图像为WorldDEM DSM产品经过裁剪得到的WorldDEM DSM子图像，第二图像对中的样本图像为SRTM DSM子图像经过重采样得到的样本图像。
为便于初始判别器判断第二预测图像是否与标准图像相同，中间生成器将生成与标准图像的尺寸相同的第二预测图像。例如，假设某一第二图像对包括样本图像A及标准图像B，中间生成器将生成与标准图像B的尺寸相同的预测图像A'，便于初始判别器判断预测图像A'是否与标准图像B相同。
其中，尺寸相同可以是图像的像素相同。例如，标准图像的像素为500×500，则第二预测图像的像素也为500×500。
105、将多组训练样本输入至初始判别器，并基于对抗损失函数计算对抗损失，根据对抗损失更新初始判别器的参数，当对抗损失的变化差异小于预设阈值时获得目标判别器；
在第二图像对训练中间生成器得到目标生成器的过程中，还对初始判别器进行训练，具体方式是，将多组训练样本输入至初始判别器，并基于对抗损失函数计算对抗损失，根据对抗损失更新初始判别器的参数，每组训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及该第二图像对中的标准图像，当初始判别器的对抗损失的变化差异小于预设阈值时获得目标判别器。
本实施例中，生成器损失为感知损失、对抗损失和像素级损失的加权和，其中像素级损失为第二图像对中的样本图像对应的第二预测图像与第二图像对中的标准图像之间的像素级损失，感知损失为第二图像对中的样本图像对应的第二预测图像的特征图与第二图像对中的标准图像的特征图之间的均方根误差。类似的，像素级损失为对应于同一个第二图像对的预测图像和标准图像之间的像素级损失，感知损失为对应于同一个第二图像对的预测图像和标准图像之间特征图的均方根误差。
生成器损失函数的表达式如下所示：
LG＝LPercep+λLadv+ηL1；
其中，Lpercep为感知损失，其计算方法可以是使用ImageNet数据集上预训练好的VGG网络分别提取预测图像的特征图及标准图像的特征图(预测图像与标准图像对应于同一个第二图像对)，并计算预测图像的特征图与标准图像的特征图之间的均方根误差。其中，VGG网络可以在不同结构中提取特征图，例如VGG19网络在第五层池化层之前的第四层卷积层提取特征图。
Ladv为对抗损失，其表达式为：
Figure BDA0002880032790000111
其中，输入至初始判别器的被判别图像(即训练样本中的图像)可以携带标签，从而初始判别器可以根据标签确定输入的被判别图像为第二预测图像或者为标准图像。当被判别图像为标准图像时，yi的值为1；为第二预测图像时，yi的值为0。
Figure BDA0002880032790000112
表示初始判别器判断预测图像与标准图像为相同图像的概率。
L1为像素级损失，其表达式在前文已有所描述，此处不再赘述。
λ、η分别为调节对抗损失的权重及像素级损失的权重的参数。
因此，通过以上对初始生成器和初始判别器的训练，不断更新初始生成器和初始判别器的参数，直至模型收敛，可得到目标生成器和目标判别器，构成目标生成对抗网络。其中，模型参数的更新可以采用随机梯度下降法更新模型参数。
需要说明的是，本实施例中文本语义类似于“预测图像和标准图像对应于同一个图像对”的叫法，应当理解为其是指基于一个图像对中的样本图像生成的预测图像，与该图像对中的标准图像对应于同一个图像对。
例如，假设某一图像对包括样本图像A及标准图像B，生成器生成与标准图像B的尺寸相同的预测图像A'，则称“预测图像A'与标准图像B对应于同一个图像对”。
此外，在初始生成器和初始判别器开始训练之前，为加快梯度下降的收敛速度，以及减少由于未初始化或初始化不当而导致的梯度消失或者梯度***等问题，可以分别使用标准高斯分布随机初始化初始生成器和初始判别器的权重参数。除了随机初始化方法之外，还可以使用Xavier初始化、He初始化(He initialization)等初始化方法，此处不作限定。
当获取的用于训练初始生成对抗网络的多个图像对中存在训练数据集和测试数据集时，可以使用测试数据集对训练好的目标生成对抗网络进行测试，以验证模型的训练效果。
初始生成对抗网络基于样本图像生成得到预测图像，若预测图像不可避免地引入噪声数据，此时可对预测图像进行双边滤波处理，使预测图像在保持尖锐的边缘细节信息的同时，还可以滤除平坦区域的噪声，从而提高超分辨率重建效果。
下面将分别结合步骤102所描述的初始生成器的结构来说明初始生成器和中间生成器基于样本图像生成预测图像的过程。请参阅图2，初始生成器中的浅层特征提取模块提取样本图像的浅层特征，该浅层特征作为与浅层特征提取模块相连的残差嵌套密集模块的输入，即浅层特征输入至残差嵌套密集模块的第一个RRDB块。本实施例中，每个RRDB块的输入作为当前RRDB块的第一个RDB块中每一个特征提取卷积层的一部分输入。如图2中RDB块的细节放大图所示，RRDB块的首个RDB块的输入作为了该首个RDB块中每个特征提取卷积层的一部分输入，其他RDB块也是类似的，即RDB块的输入作为RDB块中每个特征提取卷积层的一部分输入。
同时，每个RRDB块中当前RDB块的输出作为下一RDB块中每一个特征提取卷积层的一部分输入，即第一个RDB块的输出作为第二个RDB块中每一个特征提取卷积层的一部分输入，第二个RDB块的输出作为第三个RDB块中每一个特征提取卷积层的一部分输入……以此类推。并且，每个RDB块中每个特征提取卷积层连接的LeakyReLU激活层的输出作为后续每个特征提取卷积层的一部分输入。如图2中RDB块的细节放大图所示，第一个特征提取卷积层连接的LeakyReLU激活层的输出分别作为后续第二个至第四个特征提取卷积层的一部分输入，第二个特征提取卷积层连接的LeakyReLU激活层的输出分别作为后续第三个至第四个特征提取卷积层的一部分输入……以此类推。
因此，以RDB块的第三个特征提取卷积层为例，第三个特征提取卷积层的输入包括了三部分：当前RDB块的输入、第一个特征提取卷积层连接的LeakyReLU激活层的输出、第二个特征提取卷积层连接的LeakyReLU激活层的输出。
在残差嵌套密集模块中，每个RRDB块的每个RDB块中所有LeakyReLU激活层的输出与RDB块的输入通过concat操作连接得到concat操作的输出。如图2中RDB块的细节放大图所示，RDB块中4个LeakyReLU激活层的输出与RDB块的输入通过concat操作连接得到concat操作的输出。
本实施例中，特征提取卷积层用于对输入进行特征提取，特征融合卷积层用于对concat操作的输出进行特征融合得到RDB块的特征融合结果。
每个RRDB块中，RDB块的特征融合结果与残差缩放系数的乘积加上当前RDB块的输入得到的总和作为当前RDB块的输出，且最后一个RDB块的输出与残差缩放系数的乘积加上当前RRDB块的输入得到的总和作为当前RRDB块的输出，当前RRDB块的输出即为下一RRDB块的输入。
如图2中RRDB块的细节放大图所示，第1个RDB块的特征融合结果与残差缩放系数β的乘积加上第1个RDB块的输入得到的总和作为第1个RDB块的输出(即第2个RDB块的输入)，第2个RDB块的特征融合结果与残差缩放系数β的乘积加上第2个RDB块的输入得到的总和作为第2个RDB块的输出(即第3个RDB块的输入)……以此类推。并且，第3个RDB块(即最后一个RDB块)的输出与残差缩放系数β的乘积加上当前RRDB块的输入得到的总和作为当前RRDB块的输出。
残差嵌套密集模块中最后一个RRDB块的输出作为与残差嵌套密集模块相连的密集特征融合模块的输入。密集特征融合模块中的特征提取卷积层对密集特征融合模块的输入进行全局特征提取，得到全局特征，全局残差计算子模块通过全局残差计算将该全局特征与浅层特征提取模块提取到的浅层特征相加，得到的总和作为与密集特征融合模块相连的上采样模块的输入。
上采样模块用于执行输入图像的放大操作，即增大图像的分辨率。如图2所示，上采样模块中PixelShuffle方法层之前的卷积层扩增上采样模块的输入图像的通道数，并由PixelShuffle方法层基于PixelShuffle方法对该输入图像进行上采样，由PixelShuffle方法层之后的卷积层对上采样得到的图像执行卷积操作，最终获得样本图像对应的预测图像。
因此，本实施例中，对初始生成器进行分阶段的训练，每一阶段的模型训练所使用的损失函数及训练样本均不相同，这样可以融合多种损失函数的优势，使得重建后的超分图像不仅边缘区域细节信息更丰富，而且超分图像的数值精度也有所提升。同时，基于生成对抗算法训练初始生成器，根据初始判别器的输出更新初始生成器的模型参数，使得训练获得的目标生成器能够重建出高精度的超分图像，目标生成对抗网络的鲁棒性好。
同时，自然图像对与DEM图像对结合训练初始生成对抗网络，采用迁移学习策略将基于自然图像对训练的模型再次根据DEM图像对进行模型参数的微调，解决了DEM图像对的数据量不足的问题。
上面对本申请实施例中的超分辨率重建模型训练方法进行了描述，下面对本申请实施例中的计算机设备进行描述，请参阅图4，本申请实施例中计算机设备一个实施例包括：
获取单元401，用于获取多个图像对，每个图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于样本图像的分辨率，多个图像对包括第一图像对和第二图像对；
获取单元401还用于获取初始生成对抗网络，初始生成对抗网络包括初始生成器及初始判别器；
生成器训练单元402，用于将第一图像对输入至初始生成器，以使初始生成器基于第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算第一预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得中间生成器；其中，第一预测图像与标准图像的尺寸相同；将第二图像对输入至中间生成器，以使中间生成器基于第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据生成器损失更新中间生成器的参数，当生成器损失的变化差异小于预设阈值时获得目标生成器；其中，第二预测图像与标准图像的尺寸相同；
判别器训练单元403，用于将多组训练样本输入至初始判别器，并基于对抗损失函数计算对抗损失，根据对抗损失更新初始判别器的参数，当对抗损失的变化差异小于预设阈值时获得目标判别器；其中，每组训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及第二图像对中的标准图像。
本实施例一种优选的实施方式中，生成器损失为感知损失、对抗损失和像素级损失的加权和，其中像素级损失为第二图像对中的样本图像对应的第二预测图像与第二图像对中的标准图像之间的像素级损失，感知损失为第二图像对中的样本图像对应的第二预测图像的特征图与第二图像对中的标准图像的特征图之间的均方根误差。
本实施例一种优选的实施方式中，第一图像对包括自然图像对以及数字高程模型DEM图像对；
生成器训练单元402具体用于将多个自然图像对输入至初始生成器，以使初始生成器基于自然图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新初始生成器的参数，当像素级损失满足收敛条件时获得次中间生成器；将多个DEM图像对输入至次中间生成器，以使次中间生成器基于DEM图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新次中间生成器的参数，当像素级损失满足收敛条件时获得中间生成器。
本实施例一种优选的实施方式中，自然图像对包括标准图像以及对标准图像进行降采样得到的样本图像，标准图像为灰度图像；
DEM图像对中的标准图像为数字地表模型DSM产品经过裁剪得到的DSM子图像，DEM图像对中的样本图像为DSM子图像经过降采样得到的样本图像。
本实施例一种优选的实施方式中，第二图像对中的标准图像为WorldDEM DSM产品经过裁剪得到的WorldDEM DSM子图像，第二图像对中的样本图像为SRTM DSM子图像经过重采样得到的样本图像，SRTM DSM子图像为SRTM DSM产品经过裁剪得到的子图像；其中，WorldDEM DSM产品与SRTM DSM产品基于相同的地理坐标范围。
本实施例一种优选的实施方式中，计算机设备还包括：
归一化处理单元404，用于分别对自然图像对、DEM图像对及第二图像对中的标准图像与样本图像进行归一化处理。
本实施例一种优选的实施方式中，生成器训练单元402利用初始生成器基于图像对中的样本图像生成预测图像的步骤包括：
初始生成器中的浅层特征提取模块提取样本图像的浅层特征，浅层特征作为与浅层特征提取模块相连的残差嵌套密集模块的输入，残差嵌套密集模块包括若干个依次连接的残差嵌套密集块RRDB块，每个RRDB块包括若干个依次连接的残差密集块RDB块，每个RDB块包括若干个依次连接的特征提取卷积层以及每个特征提取卷积层各自连接的LeakyReLU激活层、最后一个LeakyReLU激活层连接的特征融合卷积层；
每个RRDB块的输入作为当前RRDB块的第一个RDB块中每一个特征提取卷积层的一部分输入，每个RRDB块中当前RDB块的输出作为下一RDB块中每一个特征提取卷积层的一部分输入，且每个RDB块中每个特征提取卷积层连接的LeakyReLU激活层的输出作为后续每个特征提取卷积层的一部分输入，每个RRDB块的每个RDB块中所有LeakyReLU激活层的输出与RDB块的输入通过concat操作连接得到concat操作的输出，其中特征提取卷积层用于对输入进行特征提取，特征融合卷积层用于对concat操作的输出进行特征融合得到RDB块的特征融合结果；
每个RRDB块中，RDB块的特征融合结果与残差缩放系数的乘积加上当前RDB块的输入得到的总和作为当前RDB块的输出，且最后一个RDB块的输出与残差缩放系数的乘积加上当前RRDB块的输入得到的总和作为当前RRDB块的输出；
残差嵌套密集模块中最后一个RRDB块的输出作为与残差嵌套密集模块相连的密集特征融合模块的输入，密集特征融合模块包括特征提取卷积层以及全局残差计算子模块；
密集特征融合模块中的特征提取卷积层对密集特征融合模块的输入进行全局特征提取，得到全局特征，全局残差计算子模块将全局特征与浅层特征提取模块提取到的浅层特征相加，得到的总和作为与密集特征融合模块相连的上采样模块的输入，上采样模块包括若干个卷积层且卷积层之间通过PixelShuffle方法层相连；
上采样模块中PixelShuffle方法层之前的卷积层扩增上采样模块的输入的通道数，并由PixelShuffle方法层基于PixelShuffle方法进行上采样，由PixelShuffle方法层之后的卷积层执行卷积操作，得到样本图像对应的预测图像。
本实施例一种优选的实施方式中，初始判别器包括若干个卷积层，首个卷积层之后连接LeakyReLU激活层，首个卷积层之后的每个卷积层各自连接批规范化层和LeakyReLU激活层作为激活函数；最后一个卷积层连接的LeakyReLU激活层依次连接若干个全连接层以及Sigmoid激活函数，全连接层之间通过LeakyReLU激活层相连。
本实施例中，计算机设备中各单元所执行的操作与前述图1所示实施例中描述的类似，此处不再赘述。
本实施例中，超分辨率重建模型的训练过程根据迁移学习策略准备了多个来源的训练数据集，生成器训练单元402对生成器进行分阶段训练，预训练阶段只采用像素级损失函数，最终训练阶段遵循生成对抗策略采用多种损失函数的组合。这种训练方式解决了数据量不足和模型收敛困难的问题。最终该模型与传统方法相比，图像超分重建结果不仅在定量指标方面表现更优，也实现了更好的视觉效果。
下面对本申请实施例中的计算机设备进行描述，请参阅图5，本申请实施例中计算机设备一个实施例包括：
该计算机设备500可以包括一个或一个以***处理器(central processingunits，CPU)501和存储器505，该存储器505中存储有一个或一个以上的应用程序或数据。
其中，存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器501可以设置为与存储器505通信，在计算机设备500上执行存储器505中的一系列指令操作。
计算机设备500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器501可以执行前述图1所示实施例中计算机设备所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，其中一个实施例包括：该计算机存储介质中存储有指令，该指令在计算机上执行时，使得该计算机执行前述图1所示实施例中计算机设备所执行的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种超分辨率重建模型训练方法，其特征在于，包括：
获取多个图像对，每个所述图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于所述样本图像的分辨率，所述多个图像对包括第一图像对和第二图像对；
获取初始生成对抗网络，所述初始生成对抗网络包括初始生成器及初始判别器；
将所述第一图像对输入至所述初始生成器，以使所述初始生成器基于所述第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算所述第一预测图像与标准图像的像素级损失，根据所述像素级损失更新所述初始生成器的参数，当所述像素级损失满足收敛条件时获得中间生成器；其中，所述第一预测图像与标准图像的尺寸相同；
将所述第二图像对输入至所述中间生成器，以使所述中间生成器基于所述第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据所述生成器损失更新所述中间生成器的参数，当所述生成器损失的变化差异小于预设阈值时获得目标生成器；其中，所述第二预测图像与标准图像的尺寸相同；
将多组训练样本输入至所述初始判别器，并基于对抗损失函数计算对抗损失，根据所述对抗损失更新所述初始判别器的参数，当所述对抗损失的变化差异小于预设阈值时获得目标判别器；其中，每组所述训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及所述第二图像对中的标准图像。
2.根据权利要求1所述的超分辨率重建模型训练方法，其特征在于，所述生成器损失为感知损失、对抗损失和像素级损失的加权和，其中像素级损失为第二图像对中的样本图像对应的第二预测图像与第二图像对中的标准图像之间的像素级损失，感知损失为第二图像对中的样本图像对应的第二预测图像的特征图与第二图像对中的标准图像的特征图之间的均方根误差。
3.根据权利要求1所述的超分辨率重建模型训练方法，其特征在于，所述第一图像对包括自然图像对以及数字高程模型DEM图像对；
所述将所述多个图像对中的第一图像对输入至所述初始生成器，包括：
将多个所述自然图像对输入至所述初始生成器，以使所述初始生成器基于所述自然图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新所述初始生成器的参数，当像素级损失满足收敛条件时获得次中间生成器；
将多个所述DEM图像对输入至所述次中间生成器，以使所述次中间生成器基于所述DEM图像对中的样本图像生成预测图像，并基于像素级损失函数计算预测图像与标准图像的像素级损失，根据像素级损失更新所述次中间生成器的参数，当像素级损失满足收敛条件时获得所述中间生成器。
4.根据权利要求3所述的超分辨率重建模型训练方法，其特征在于，所述自然图像对包括标准图像以及对所述标准图像进行降采样得到的样本图像，所述标准图像为灰度图像；
所述DEM图像对中的标准图像为数字地表模型DSM产品经过裁剪得到的DSM子图像，所述DEM图像对中的样本图像为所述DSM子图像经过降采样得到的样本图像。
5.根据权利要求4所述的超分辨率重建模型训练方法，其特征在于，所述第二图像对中的标准图像为WorldDEM DSM产品经过裁剪得到的WorldDEM DSM子图像，所述第二图像对中的样本图像为SRTM DSM子图像经过重采样得到的样本图像，所述SRTM DSM子图像为SRTMDSM产品经过裁剪得到的子图像；其中，所述WorldDEM DSM产品与所述SRTM DSM产品基于相同的地理坐标范围。
6.根据权利要求5所述的超分辨率重建模型训练方法，其特征在于，所述方法还包括：
分别对所述自然图像对、所述DEM图像对及所述第二图像对中的标准图像与样本图像进行归一化处理。
7.根据权利要求1至6任一项所述的超分辨率重建模型训练方法，其特征在于，所述初始生成器基于所述图像对中的样本图像生成预测图像的步骤包括：
所述初始生成器中的浅层特征提取模块提取样本图像的浅层特征，所述浅层特征作为与所述浅层特征提取模块相连的残差嵌套密集模块的输入，所述残差嵌套密集模块包括若干个依次连接的残差嵌套密集块RRDB块，每个所述RRDB块包括若干个依次连接的残差密集块RDB块，每个RDB块包括若干个依次连接的特征提取卷积层以及每个特征提取卷积层各自连接的LeakyReLU激活层、最后一个LeakyReLU激活层连接的特征融合卷积层；
每个RRDB块的输入作为当前RRDB块的第一个RDB块中每一个特征提取卷积层的一部分输入，每个RRDB块中当前RDB块的输出作为下一RDB块中每一个特征提取卷积层的一部分输入，且每个RDB块中每个特征提取卷积层连接的LeakyReLU激活层的输出作为后续每个特征提取卷积层的一部分输入，每个RRDB块的每个RDB块中所有LeakyReLU激活层的输出与RDB块的输入通过concat操作连接得到concat操作的输出，其中特征提取卷积层用于对输入进行特征提取，特征融合卷积层用于对concat操作的输出进行特征融合得到RDB块的特征融合结果；
每个RRDB块中，RDB块的特征融合结果与残差缩放系数的乘积加上当前RDB块的输入得到的总和作为当前RDB块的输出，且最后一个RDB块的输出与残差缩放系数的乘积加上当前RRDB块的输入得到的总和作为当前RRDB块的输出；
所述残差嵌套密集模块中最后一个RRDB块的输出作为与所述残差嵌套密集模块相连的密集特征融合模块的输入，所述密集特征融合模块包括特征提取卷积层以及全局残差计算子模块；
所述密集特征融合模块中的特征提取卷积层对所述密集特征融合模块的输入进行全局特征提取，得到全局特征，所述全局残差计算子模块将所述全局特征与所述浅层特征提取模块提取到的浅层特征相加，得到的总和作为与所述密集特征融合模块相连的上采样模块的输入，所述上采样模块包括若干个卷积层且卷积层之间通过PixelShuffle方法层相连；
所述上采样模块中PixelShuffle方法层之前的卷积层扩增所述上采样模块的输入的通道数，并由所述PixelShuffle方法层基于PixelShuffle方法进行上采样，由PixelShuffle方法层之后的卷积层执行卷积操作，得到样本图像对应的预测图像。
8.根据权利要求7所述的超分辨率重建模型训练方法，其特征在于，所述初始判别器包括若干个卷积层，首个卷积层之后连接LeakyReLU激活层，首个卷积层之后的每个卷积层各自连接批规范化层和LeakyReLU激活层作为激活函数；最后一个卷积层连接的LeakyReLU激活层依次连接若干个全连接层以及Sigmoid激活函数，全连接层之间通过LeakyReLU激活层相连。
9.一种计算机设备，其特征在于，包括：
获取单元，用于获取多个图像对，每个所述图像对包括标准图像以及由标准图像转换得到的样本图像，标准图像的分辨率高于所述样本图像的分辨率，所述多个图像对包括第一图像对和第二图像对；
所述获取单元还用于获取初始生成对抗网络，所述初始生成对抗网络包括初始生成器及初始判别器；
生成器训练单元，用于将所述第一图像对输入至所述初始生成器，以使所述初始生成器基于所述第一图像对中的样本图像生成第一预测图像，并基于像素级损失函数计算所述第一预测图像与标准图像的像素级损失，根据所述像素级损失更新所述初始生成器的参数，当所述像素级损失满足收敛条件时获得中间生成器；其中，所述第一预测图像与标准图像的尺寸相同；将所述第二图像对输入至所述中间生成器，以使所述中间生成器基于所述第二图像对中的样本图像生成第二预测图像，并基于生成器损失函数计算生成器损失，根据所述生成器损失更新所述中间生成器的参数，当所述生成器损失的变化差异小于预设阈值时获得目标生成器；其中，所述第二预测图像与标准图像的尺寸相同；
判别器训练单元，用于将多组训练样本输入至所述初始判别器，并基于对抗损失函数计算对抗损失，根据所述对抗损失更新所述初始判别器的参数，当所述对抗损失的变化差异小于预设阈值时获得目标判别器；其中，每组所述训练样本包括一个第二图像对中的样本图像对应的第二预测图像以及所述第二图像对中的标准图像。
10.一种计算机设备，其特征在于，包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于执行如权利要求1至8任一项所述的超分辨率重建模型训练方法。
CN202011641326.4A 2020-12-31 2020-12-31 超分辨率重建模型训练方法及计算机设备 Pending CN112785499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641326.4A CN112785499A (zh) 2020-12-31 2020-12-31 超分辨率重建模型训练方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641326.4A CN112785499A (zh) 2020-12-31 2020-12-31 超分辨率重建模型训练方法及计算机设备

Publications (1)

Publication Number Publication Date
CN112785499A true CN112785499A (zh) 2021-05-11

Family

ID=75753489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641326.4A Pending CN112785499A (zh) 2020-12-31 2020-12-31 超分辨率重建模型训练方法及计算机设备

Country Status (1)

Country Link
CN (1) CN112785499A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331842A (zh) * 2021-12-28 2022-04-12 武汉大学 结合地形特征的dem超分辨率重建方法
CN114723604A (zh) * 2022-02-21 2022-07-08 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法
CN116883236A (zh) * 2023-05-22 2023-10-13 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法
CN117172134A (zh) * 2023-10-19 2023-12-05 武汉大学 基于融合地形特征的月表多尺度dem建模方法及***
WO2024110799A1 (ko) * 2022-11-24 2024-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN110322418A (zh) * 2019-07-11 2019-10-11 北京航空航天大学 一种超分辨率图像生成对抗网络的训练方法及装置
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN110322418A (zh) * 2019-07-11 2019-10-11 北京航空航天大学 一种超分辨率图像生成对抗网络的训练方法及装置
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG ET AL: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《ARXIV》 *
XINTAO WANG ET AL: "ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks", 《ARXIV》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331842A (zh) * 2021-12-28 2022-04-12 武汉大学 结合地形特征的dem超分辨率重建方法
CN114331842B (zh) * 2021-12-28 2024-04-05 武汉大学 结合地形特征的dem超分辨率重建方法
CN114723604A (zh) * 2022-02-21 2022-07-08 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法
WO2024110799A1 (ko) * 2022-11-24 2024-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
CN116883236A (zh) * 2023-05-22 2023-10-13 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法
CN116883236B (zh) * 2023-05-22 2024-04-02 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法
CN117172134A (zh) * 2023-10-19 2023-12-05 武汉大学 基于融合地形特征的月表多尺度dem建模方法及***
CN117172134B (zh) * 2023-10-19 2024-01-16 武汉大学 基于融合地形特征的月表多尺度dem建模方法

Similar Documents

Publication Publication Date Title
CN112785499A (zh) 超分辨率重建模型训练方法及计算机设备
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110443842B (zh) 基于视角融合的深度图预测方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及***
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN109683161B (zh) 一种基于深度admm网络的逆合成孔径雷达成像的方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111080513B (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN111043988B (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN112184554A (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN113066037B (zh) 基于图注意力机制的多光谱与全色图像融合方法及***
CN109447897B (zh) 一种真实场景图像合成方法及***
CN113052775B (zh) 一种图像去阴影方法及装置
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及***
CN111915629A (zh) 基于边界检测的超像素分割方法
CN117252761A (zh) 一种跨传感器遥感图像超分辨率增强方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及***
CN115222614A (zh) 一种先验引导的多降质特征夜光遥感影像质量提升方法
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination