CN111179177A - 图像重建模型训练方法、图像重建方法、设备及介质 - Google Patents

图像重建模型训练方法、图像重建方法、设备及介质 Download PDF

Info

Publication number
CN111179177A
CN111179177A CN201911409903.4A CN201911409903A CN111179177A CN 111179177 A CN111179177 A CN 111179177A CN 201911409903 A CN201911409903 A CN 201911409903A CN 111179177 A CN111179177 A CN 111179177A
Authority
CN
China
Prior art keywords
image
low
resolution
network
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911409903.4A
Other languages
English (en)
Other versions
CN111179177B (zh
Inventor
王汝欣
邱亚军
陶大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Union Vision Innovation Technology Co ltd
Original Assignee
Shenzhen Union Vision Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Union Vision Innovation Technology Co ltd filed Critical Shenzhen Union Vision Innovation Technology Co ltd
Priority to CN201911409903.4A priority Critical patent/CN111179177B/zh
Publication of CN111179177A publication Critical patent/CN111179177A/zh
Application granted granted Critical
Publication of CN111179177B publication Critical patent/CN111179177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像重建模型训练方法、图像重建方法、设备及介质。该方法包括：获取原始高分辨率图像和原始低分辨率图像；将原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取伪高分辨率图像；将原始高分辨率图像和伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；将原始高分辨率图像和伪高分辨率图像输入感知损失网络，获取感知损失值；基于所述感知损失值和所述第一判别结果，更新所述第一生成网络和所述第一判别网络的模型参数，获取基于超分辨率重建的目标生成网络。该目标生成网络可重建出包含不同尺度的纹理特征和结构特征的分辨率较高的图像，具有较高的感知质量。

Description

图像重建模型训练方法、图像重建方法、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像重建模型训练方法、图像重建方法、设备及介质。
背景技术
在图像处理技术领域，图像分辨率是表征图像观测水平的主要技术指标之一。图像分辨率通常是指图像的空间分辨率，图像分辨率越高，图像能够反映的场景细节就越精细，越能提供丰富的信息。由于受客观条件的限制，在现实应用环境中往往得不到质量高的图像。因此，研究先进的图像超分辨率重建技术，以提高图像的识别能力和识别精度十分关键。
图像超分辨率重建技术是指将分辨率较低的图像转换成分辨率较高的图像的技术。图像超分辨率重建技术在监控设备、视频通信、卫星图像和医学影像等方面都有重要的应用价值，例如，在基于人脸的超分辨率重建、视频图像类视觉体验优化、车辆识别、工业设备故障检测、移动物体采集的遥感图像处理、视频和图像质量评估等场景具有较高的应用价值。
当前人类视觉***(Human Visual System，简称为HSV)采用卷积神经网络(Convolutional Neural Networks，简称CNN)来实现超分辨率重建，在模型训练过程中，直接使用训练图像在CNN中的像素损失来优化CNN的模型参数，这种方式可以取得较高的峰值信噪比(Peak Signal to Noise Ratio，简称PSNR)和结构相识度(SSIM)，但在这种优化过程中，为了使得像素间的损失最小，卷积神经网络并没有考虑到图像的感知质量，重建出的图像往往比较平滑，图像感知质量评价(Natural image quality evaluator，简称NIQE)较低，在主观感知层面上不符合人类视觉***偏好。
发明内容
本发明实施例提供一种图像重建模型训练方法、图像重建方法、设备及介质，以解决当前图像超分辨率重建过程中生成的图像感知质量较低的问题。
本发明实施例提供一种图像重建模型训练方法，包括：
获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像；
将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像；
将所述原始高分辨率图像和所述伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；
将所述原始高分辨率图像和所述伪高分辨率图像输入感知损失网络，获取感知损失值；
基于所述感知损失值和所述第一判别结果，更新所述第一生成网络和所述第一判别网络的模型参数，获取基于超分辨率重建的目标生成网络。
优选地，所述将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像，包括：
对所述原始低分辨率图像进行特征提取，获取原始特征图；
将所述原始特征图输入到多频段块残差生成网络进行分频段特征提取，获取目标高频特征图和至少两个低频特征图；所述多频段块残差生成网络包括依次串联的至少两个块残差网络，采用当前块残差网络对输入特征图进行特征提取，输出所述当前块残差网络对应的所述低频特征图和块高频特征图，并将所述块高频特征图输入到下一块残差网络；其中，所述输入特征图包括原始特征图或者上一块残差网络输出的块高频特征图；所述目标高频特征图为最后一个所述当前块残差网络输出的块高频特征图；
基于所述目标高频特征图和至少两个所述低频特征图进行图像重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像。
优选地，所述当前块残差网络包括低频特征分离子网络和高频特征分离子网络；
所述采用当前块残差网络对输入特征图进行特征提取，输出所述当前块残差网络对应的所述低频特征图和块高频特征图，包括：
依据当前频率段，采用所述低频特征分离子网络对所述输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图；
采用所述高频特征分离子网络对所述低频特征信息进行高频特征分离，输出块高频特征图。
优选地，所述依据当前频率段，采用所述低频特征分离子网络对所述输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图，包括：
采用上采样单元对所述输入特征图进行上采样处理，获取上采样特征图；
采用第一卷积单元对所述上采样特征图进行特征提取，获取低频特征信息；
采用第二卷积单元对所述低频特征信息进行低频特征分离，输出低频特征图。
优选地，所述采用所述高频特征分离子网络对所述低频特征信息进行高频特征分离，输出块高频特征图，包括：
采用第三卷积单元将所述低频特征信息映射到低分辨率空间，获取第一特征图；
基于所述输入特征图和所述第一特征图进行减法运算，输出高频特征信息；
采用第四卷积单元对所述高频特征信息进行特征提取，获取第二特征图；
基于所述第一特征图和所述第二特征图进行加法运算，输出块高频特征图。
优选地，所述获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像，包括：
获取原始训练图像，确定所述原始训练图像的图像分辨率；
若所述原始训练图像的图像分辨率大于第一分辨率阈值，则将所述原始训练图像确定为原始高分辨率图像；
对所述原始高分辨率图像进行下采样处理，获取与所述原始高分辨率图像相对应的原始低分辨率图像。
优选地，在所述获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像之后，所述图像重建模型训练方法包括：
将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像；将所述伪高分辨率图像输入第二生成网络进行图像低分辨率重构，获取伪低分辨率图像；
将所述原始高分辨率图像和所述伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；将所述原始低分辨率图像和所述伪低分辨率图像输入第二判别网络进行判别，获取第二判别结果；
将所述原始高分辨率图像和所述伪高分辨率图像输入感知损失网络进行感知损失计算，获取第一感知损失；将所述原始低分辨率图像和所述伪低分辨率图像输入感知损失网络进行感知损失计算，获取第二感知损失；
基于所述第一感知损失、所述第二感知损失、所述第一判别结果和所述第二判别结果，更新所述第一生成网络、所述第二生成网络、所述第一判别网络和所述第二判别网络的模型参数，获取基于超分辨率重建的目标生成网络
本发明实施例还提供一种图像重建方法，包括：
获取待处理图像，确定所述待处理图像的图像分辨率；
若所述待处理图像的图像分辨率小于第二分辨率阈值，则将所述待处理图像确定为待重建图像；
采用图像重建模型训练方法获取的目标生成网络对所述待重建图像进行图像超分辨率重建，获取目标重建图像。
本发明实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像重建模型训练方法，或者所述处理器执行所述计算机程序时实现上述图像重建方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述图像重建模型训练方法，或者所述计算机程序被处理器执行时实现上述图像重建方法。
上述图像重建模型训练方法、图像重建方法、设备及介质，采用生成对抗网络作为模型训练的基础网络，利用第一生成网络对原始低分辨率图像进行图像超分辨率重建，以获取伪高分辨率图像；利用感知损失网络计算原始高分辨率图像和伪高分辨率图像的感知损失值，基于感知损失值更新第一生成网络的模型参数，并通过反向传播算法更新第一判别网络的模型参数，以完成生成对抗网络模型的训练过程，将模型参数更新后的第一生成网络确定为目标生成网络，以使目标生成网络可使伪高分辨率图像和原始高分辨率图像在不同尺度上的纹理特征和结构特征保持一致，从而使得训练好的目标生成网络在后续对分辨率较低的图像进行图像超分辨率重建时，可以生成包含不同尺度的纹理特征和结构特征的分辨率较高的图像，使得生成的图像具有较高的感知质量，使其在主观感知层面更符合人类视觉***偏好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中图像重建模型训练方法的一流程图；
图2是本发明一实施例中图像重建模型训练方法的另一流程图；
图3是本发明一实施例中图像重建模型训练方法的另一流程图；
图4是本发明一实施例中图像重建模型训练方法的另一流程图；
图5是本发明一实施例中图像重建模型训练方法的另一流程图；
图6是本发明一实施例中图像重建模型训练方法的另一流程图；
图7是本发明一实施例中图像重建模型训练方法的另一流程图；
图8是本发明一实施例中图像重建方法的另一流程图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图像重建模型训练方法，该图像重建模型训练方法可应用在计算机设备中，用于训练可实现图像超分辨率重建的网络模型，以便利用该图像重建模型训练方法训练所得的可实现图像超分辨率重建的目标生成网络，对分辨率较低的图像进行超分辨率重建，以获取分辨率较高的图像。
在一实施例中，如图1所示，提供一种图像重建模型训练方法，以该图像重建模型训练方法应用在计算机设备为例进行说明，该图像重建模型训练方法包括如下步骤：
S101：获取原始高分辨率图像和与原始高分辨率图像相对应的原始低分辨率图像。
其中，原始高分辨率图像是用于进行模型训练的分辨率较高的图像。原始低分辨率图像是用于进行模型训练的分辨率较低的图像。可以理解地，该原始低分辨率图像是需要进行图像超分辨率重建的图像；相应地，原始高分辨率图像是对原始低分辨率图像进行图像超分辨率重建后获取的图像进行验证的图像。本示例中，原始低分辨率图像与原始高分辨率图像相对应，是指原始低分辨率图像与原始高分辨率图像的图像内容相同，以使利用原始高分辨率图像是对原始低分辨率图像进行图像超分辨率重建后获取的图像进行验证具有可行性，保证图像重建模型训练完成的目标生成网络可重建超分辨率图像。
S102：将原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与原始低分辨率图像相对应的伪高分辨率图像。
其中，第一生成网络为生成对抗网络(Generative Adversarial Nets，即GAN)中的生成器(Generator)，是用于捕捉真实数据样本的潜在分布，以生成新的伪数据样本的网络。本示例中，第一生成网络为需要进行后续模型训练的生成网络，具体为利用超分辨技术构建的生成网络，是可以将分辨率较低的图像重建为分辨率较高的图像的生成网络。伪高分辨率图像是基于原始低分辨率图像进行超分辨率重建后获取的图像。
本示例中，将原始低分辨率图像输入基于超分辨率技术构建的第一生成网络，利用第一生成网络对原始低分辨率图像进行图像超分辨率重建处理，以获取分辨率较高的伪高分辨率图像。可以理解地，由于原始低分辨率图像与原始高分辨率图像相对应，而伪高分辨率图像是由原始低分辨率图像进行超分辨率重建后获取的图像，因此，伪高分辨率图像也与原始高分辨率图像的图像内容相对应，确保后续进行判别处理和感知损失计算的可行性。
S103：将原始高分辨率图像和伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果。
其中，第一判别网络为生成对抗网络(Generative Adversarial Nets，即GAN)中的判别器(Discriminator)，是用于判别真实数据样本还是伪数据样本的网络，该第一判别网络为需要进行模型训练的判别网络。第一判别结果为第一判别网络对原始高分辨率图像和伪高分辨率图像进行判别后，输出的用于反映伪高分辨率图像为原始高分辨率图像的概率，可以理解为两者的相似度。本示例中，第一判别网络可以采用现有SRAGN的判别网络，此处不一一赘述。作为一示例，第一判别网络输出的第一判别结果是用于判别输入图像为原始高分辨率图像还是伪高分辨率图像的结果。
在进行重建模型训练过程中，第一生成网络将原始低分辨率图像作为输入，伪高分辨率图像作为输出；第一判别网络将原始高分辨率图像和伪高分辨率图像作为输入，第一判别结果作为输出；第一生成网络和第一判别网络相互对抗，通过反射传播算法更新模型参数。
S104：将原始高分辨率图像和伪高分辨率图像输入感知损失网络，获取感知损失值。
其中，感知损失网络是用于计算两个输入图像之间的感知损失(PerceptualLosses)的网络。一般来说，感知损失网络包含多个分支网络，每个分支网络采用不同大小的卷积核来提取图像中不同尺度特征信息，通过定义感知损失函数来生成两个输入图像的差距的网络。感知损失值是感知损失网络的输出值，本示例具体为感知损失网络对原始高分辨率图像和伪高分辨率图像进行感知损失计算后确定的损失值。
本示例中，将原始高分辨率图像和伪高分辨率图像一同输入感知损失网络中，利用感知损失网络中不同层卷积核分别对原始高分辨率图像和伪高分辨率图像进行特征提取，以提取与卷积核相应的尺度特征信息，分别获取原始高分辨率图像对应的特征图(Feature map)和伪高分辨率图像对应的特征图(Feature map)；再基于原始高分辨率图像对应的特征图(Feature map)和伪高分辨率图像对应的特征图(Feature map)，计算原始高分辨率图像和伪高分辨率图像对应的感知损失值，该感知损失值包含两个图像中多个尺度的信息，可以有效引导生成网络生成更多细节纹理信息。
在一具体实施方式中，将原始高分辨率图像和伪高分辨率图像分别输入感知损失网络，该感知损失网络设有至少一个基础模块，每一基础模块包括多个分支，每一分支采用不同大小的卷积核。例如，采用Inception模块作为基础模块，该Inception模块包括四个分支，从左到右分别为第一分支、第二分支、第三分支和第四分支。其中，第一分支包括Conv-1卷积层，该Conv-1卷积层采用1×1×64卷积核。第二分支包括Conv-3卷积层和Conv-1卷积层，该Conv-3卷积层采用3×3×128卷积核，该Conv-1卷积层采用1×1×96卷积核。第三分支包括Conv-5卷积层和Conv-1卷积层，该Conv-5卷积层采用5×5×32卷积核，该Conv-1卷积层采用1×1×16卷积核。第四分支包括Conv-1卷积层和MP-3池化层，该Conv-1卷积层采用1×1×31卷积核；Mp-3池化层为3×3最大池化层。由于大的卷积核能够提取图像的全局结构信息，小的卷积核更擅长捕捉图像的纹理细节信息，通过使用不同大小的卷积核使得感知损失网络能够提取到不同尺度的纹理特征和结构特征，通过定义感知损失函数来衡量伪高分辨率图像和原始高分辨率图像的差距。在一示例中，感知损失函数为：
Figure BDA0002349684380000071
其中，Wi,j、Hi,j为感知损失网络中每一卷积核输出的特征图(feature map)的宽和高，φi,j(IHR)x,y代表原始高分辨率图像的第i个最大池化层之前第j个卷积的特征图，φi,j(GθG(ILR))x,y)代表原始低分辨率图像经第一生成网络生成的伪高分辨率图像的第i个最大池化层之前第j个卷积的特征图，LR为原始低分辨率图像，HR为原始高分辨率图像，SR为伪高分辨率图像，x和y分别指特征图中像素点的x坐标和y坐标。
S105：基于所述感知损失值和所述第一判别结果，更新所述第一生成网络和所述第一判别网络的模型参数，获取基于超分辨率重建的目标生成网络。
其中，目标生成网络是基于超分辨率技术构建的第一生成网络经过模型训练，以更新模型参数所形成的生成网络。目标判别网络是第一判别网络经过模型训练，以更新模型参数所形成的判别网络。
本示例中，利用感知损失网络输出的感知损失值优化第一生成网络的模型参数，并通过反向传播算法更新第一判别网络的模型参数，再重复执行上述步骤，直至第一判别网络输出的第一判别结果为无法区分输入图像为原始高分辨率图像还是伪高分辨率图像时，认定生成对抗网络模型训练完成，以将模型训练完成的生成对抗网络模型中已经完成模型参数更新的生成网络确定为目标生成网络，将模型训练完成的生成对抗网络模型中已经完成模型参数更新的判别网络确定为目标判别网络。
相比于CNN训练过程中采用的像素损失来更新模型参数，使得生成网络会强制生成的伪高分辨率图像遵循学习的分布，以使其与真实高分辨率图像不可分割，但差别网络忽略样本间关系，使其恢复的图像可能过度相似或者移除重要的视觉特征。利用感知损失值来更新模型参数，即通过感知损失值不断调整和优化第一生成网络的模型参数，以引导伪高分辨率图像和原始高分辨率图像在不同尺度上的纹理特征和结构特征保持一致，从而使得训练好的目标生成网络在后续对分辨率较低的图像进行图像超分辨率重建时，可以生成包含不同尺度的纹理特征和结构特征的分辨率较高的图像，使得生成的图像具有较高的感知质量，使其在主观感知层面更符合人类视觉***偏好。
本实施例所提供的图像重建模型训练方法中，采用生成对抗网络作为模型训练的基础网络，利用第一生成网络对原始低分辨率图像进行图像超分辨率重建，以获取伪高分辨率图像；利用感知损失网络计算原始高分辨率图像和伪高分辨率图像的感知损失值，基于感知损失值更新第一生成网络的模型参数，并通过反向传播算法更新第一判别网络的模型参数，以完成生成对抗网络模型的训练过程，将模型参数更新后的第一生成网络确定为目标生成网络，以使目标生成网络可使伪高分辨率图像和原始高分辨率图像在不同尺度上的纹理特征和结构特征保持一致，从而使得训练好的目标生成网络在后续对分辨率较低的图像进行图像超分辨率重建时，可以生成包含不同尺度的纹理特征和结构特征的分辨率较高的图像，使得生成的图像具有较高的感知质量，使其在主观感知层面更符合人类视觉***偏好。
在一实施例中，如图2所示，步骤S101，即获取原始高分辨率图像和与原始高分辨率图像相对应的原始低分辨率图像，具体包括如下步骤：
S201：获取原始训练图像，确定原始训练图像的图像分辨率。
其中，原始训练图像是计算机设备获取到的未经处理的图像。
作为一示例，计算机设备可从图像数据库中获取原始训练图像，再采用分辨率识别技术对原始训练图像进行识别，以确定原始训练图像的图像分辨率。此处的分辨率识别技术为现有技术，为避免赘述，此处不一一详述。
S202：若原始训练图像的图像分辨率大于第一分辨率阈值，则将原始训练图像确定为原始高分辨率图像。
其中，第一分辨率阈值是预先设置的用于评估图像分辨率是否达到被认定为能够作为原始高分辨率图像的标准的阈值。作为一示例，计算机设备将每一原始训练图像的图像分辨率与预先设置的第一分辨率阈值进行比较。若原始训练图像的图像分辨率大于第一分辨率阈值，则说明该原始训练图像的图像分辨率达到认定为分辨率较高的标准，此时，将原始训练图像确定为原始高分辨率图像，以保证后续将原始高分辨率图像分别输入到第一判别网络和感知损失网络进行处理时，保证处理结果的准确性，使得训练所得到目标生成网络将分辨率较低的图像重建为分辨率较高的图像，保证重建的图像的图像质量。相应地，若原始训练图像的图像分辨率不大于第一分辨率阈值，则说明该原始训练图像的图像分辨率未达到认定为分辨率较高的标准，此时，若直接将原始训练图像确定为原始高分辨率图像，会导致训练所得的目标生成网络进行图像超分辨率重建后形成的图像的分辨率较低，无法满足特定场景的需求。
S203：对原始高分辨率图像进行下采样处理，获取与原始高分辨率图像相对应的原始低分辨率图像。
其中，下采样(Subsampled)，又称为降采样(dowmsampled)，是用于缩小图像，以使图像符合显示区域的大小或者分辨率大的图像的过程。作为一示例，若一幅原始高分辨率图像I的分辨率为M*N，对其进行s倍下采样处理，即可得到分辨率为(M/s)*(N/s)的原始低分辨率图像，此时s是M和N的公约数。本实施例中下采样处理过程中可以采用但不限于最近邻插值、双线性插值、均值插值和中值插值等方法。
本示例中，在将图像分辨率大于第一分辨率阈值的原始训练图像确定为原始高分辨率图像后，对原始高分辨率图像进行下采样处理，以使获取到的原始低分辨率图像与原始高分辨率图像的图像内容相同，为利用原始高分辨率图像是对原始低分辨率图像进行图像超分辨率重建后获取的图像进行验证具有可行性。
在一实施例中，步骤S203，即对原始高分辨率图像进行下采样处理，获取与原始高分辨率图像相对应的原始低分辨率图像，具体包括如下步骤：采用第二生成网络对原始高分辨率图像进行图像低分辨率重构，获取与原始高分辨率图像相对应的原始低分辨率图像。其中，第二生成网络是用于将分辨率较高的图像转换成分辨率较低的图像的生成网络。
在一实施例中，如图3所示，步骤S201，即将原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与原始低分辨率图像相对应的伪高分辨率图像，具体包括如下步骤：
S301：对原始低分辨率图像进行特征提取，获取原始特征图。
其中，原始特征图是对原始低分辨率图像进行特征提取后获取的特征图(Featuremap)。本示例中，采用多层卷积层对原始低分辨率图像进行特征提取，例如，可采用三层卷积层对原始低分辨率图像进行特征提取，每一卷积层均采用3×3的卷积核，步长为1，填充(padding)为1，卷积核的个数分别为128，64和64，将最后一个卷积层输出的特征图确定为原始特征图，该原始特征图包含多个不同频率段的结构信息和纹理信息。
S302：将原始特征图输入到多频段块残差生成网络进行分频段特征提取，获取目标高频特征图和至少两个低频特征图；多频段块残差生成网络包括依次串联的至少两个块残差网络，采用当前块残差网络对输入特征图进行特征提取，输出当前块残差网络对应的低频特征图和块高频特征图，并将块高频特征图输入到下一块残差网络；其中，输入特征图包括原始特征图或者上一块残差网络输出的块高频特征图；目标高频特征图为最后一个当前块残差网络输出的块高频特征图。
其中，多频段块残差生成网络是基于至少两个块残差网络串联形成的用于实现图像超分辨率重建的网络。块残差网络为用于实现图像超分辨率重建的基础模块，每一块残差网络用于实现对一个频率段的图像特征进行提取，以提取该频率段的结构特征和纹理特征。相应地，多频段块残差生成网络进行分频段特征提取具体是指采用至少两个块残差网络对原始特征图依据不同频率段进行特征提取，以提取相应频率段对应的结构特征和纹理特征。其中，低频特征图是当前块残差网络输出的与当前频率段相对应的低频较低的特征图，该低频特征图包含当前频率段对应的结构特征和纹理特征，其中，当前频率段为当前块残差网络所要采集图像特征的频率段。块高频特征图是当前块残差网络输出的与当前频率段相对应的低频较高的特征图，包含当前块残差网络输出给下一块残差网络进行特征提取的结构特征和纹理特征。
为了便于描述，本示例中将当前正在进行特征提取的块残差网络定义为当前块残差网络；将与当前块残差网络相连的上一个块残差网络定义为上一块残差网络；将与当前块残差网络相连的下一个块残差网络定义为下一块残差网络。本示例中，第1个当前块残差网络对原始特征图进行特征提取，获取第1个当前块残差网络所要提取的当前频率段对应的低频特征图和块高频特征图，将低频特征图输出到图像重建网络，并将块高频特征图输出到下一块残差网络(即第2个块残差网络)……第n(n≥2)个当前块残差网络，对当前块残差网络的上一块残差网络(即第n-1个当前块残差网络)输入的块高频特征图进行特征提取，获取第n个当前块残差网络所要提取的当前频率段对应的低频特征图和块高频特征图，将低频特征图输出到图像重建网络，并将块高频特征图输出到下一块残差网络(即第n+1个块残差网络)，依此类推，将最后一个当前块残差网络输出的块高频特征图定义为目标高频特征图，将目标高频特征图和每一个当前块残差网络输出的低频特征图一并输出到图像重建网络进行图像重建。可以理解地，每一块残差网络中输出的低频特征图的频率比块高频特征图的频率低；由于除了第1个当前块残差网络之外，第n(n≥2)个当前块残差网络的输入特征图均为上一块残差网络输出的块高频特征图，第n个当前块残差网络对输入特征图进行处理，对上一块残差网络输出的块高频特征图进一步进行特征提取，以输出第n个当前块残差网络对应的低频特征图和块高频特征图，使得第n个当前块残差网络输出的低频特征图的频率比第n-1个当前块残差网络输出的低频特征图的频率高，从而使得至少两个低频特征图的频率依次增加，从而提取不同尺度的当前块残差网络输出的低频特征图的频率，使得特征分离更细致。
由于深度神经网络在学习过程中会通过多层卷积核运算来抽取图像特征，浅层layer(即浅层卷积核，如深度神经网络中的第一层卷积核和第二层卷积核)可以学习到较多简单的边缘、角点、纹理、几何形状和表面等低频特征信息，学习到较少的复杂抽象的高频特征信息；而深层layer(即深层卷积核，如深度神经网络中的第K层卷积核，K≥3)可以学习到更为复杂抽象的高频特征信息，这种学习模式从频率角度来讲，浅层layer的卷积核很容易将低频特征信息完整拟合出来，再基于低频特征信息进行特征转换，以获取低频特征图，使得每一当前块残差网络输出低频特征图具有可行性；块高频特征图可以理解为从输入特征图中分离低频特征图后形成的特征图。本示例中，每一当前块残差网络输出低频特征图和块高频特征图，只将块高频特征图传入下一块残差网络，最后，将所有当前块残差网络使用的级联方式连接，通过concat连接所有低频特征图和目标高频特征图作为多频段块残差生成网络的输出。这种局部残差学习方式，可以有效改善整个网络的信息及梯度的流动，以使图像频率分离更细致，更有助于重建出包含更多细节纹理特征和结构特征的伪高分辨率图像。
S303：基于目标高频特征图和至少两个低频特征图进行图像重建，获取与原始低分辨率图像相对应的伪高分辨率图像。
本示例中，可以采用图像重建网络对目标高频特征图和至少两个低频特征图进行图像重建，获取与原始低分辨率图像相对应的伪高分辨率图像。其中，图像重建网络是用于实现图像重建处理的网络。图像重建网络是将多频段块残差生成网络输出的目标高频特征图和至少两个低频特征图进行图像重建，以输出与原始低分辨率图像相对应的伪高分辨率图像的网络。作为一示例，图像重建网络可以将至少两个低频特征图与目标高频特征图进行加法运算，以构建伪高分辨率图像，具体是采用一层3×3的卷积核(步长为1，填充(padding)为1，卷积核数量为64)，将目标高频特征图和至少两个低频特征图进行特征转化，以输出伪高分辨率图像。
本实施例所提供的图像重建模型训练方法中，采用多频段块残差生成网络对原始特征图进行分频段特征提取，采用局部残差学习方式，提取不同块残差网络输出相应频率段对应的低频特征图和目标高频特征图，再利用图像重建网络对至少两个低频特征图和目标高频特征图进行图像重建，以使生成的伪高分辨率图像包含不同尺度特征信息，即包含不同尺度对应的结构特征和纹理特征，使得生成的伪高分辨率图像的感知质量更高。
在一实施例中，当前块残差网络包括低频特征分离子网络和高频特征分离子网络。相应地，如图4所示，上述采用当前块残差网络对输入特征图进行特征提取，输出当前块残差网络对应的低频特征图和块高频特征图，具体包括如下步骤：
S401：依据当前频率段，采用低频特征分离子网络对输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图。
其中，低频特征分离子网络是用于实现对输入特征图进行低频特征分离的网络。当前频率段为当前块残差网络提取图像特征的频率范围。
本示例中，依据当前块残差网络对应的当前频率段，采用低频特征分离子网络对输入特征图进行特征分离，从输入特征图中抽取边缘、角点、纹理、几何形状和表面等低频特征信息；再采用卷积核对低频特征信息进行低频特征分离，获取低频特征图。
由于深度神经网络在学习过程中会通过多层卷积核运算来抽取图像特征，浅层layer(即浅层卷积核，如深度神经网络中的第一层卷积核和第二层卷积核)可以学习到较多简单的边缘、角点、纹理、几何形状和表面等低频特征信息，只学习到较少的复杂抽象的高频特征信息，而深层layer(即深层卷积核，如深度神经网络中的第K层卷积核，K≥3)可以学习到更为复杂抽象的高频特征信息，这种学习模式从频率角度来讲，浅层layer的卷积核很容易将低频特征信息完整拟合出来，再基于低频特征信息进行低频特征分离，以获取低频特征图。因此，该低频特征信息可以理解为可以采用当前频率段对应的低频特征分离子网络直接拟合出的特征信息；低频特征图可以理解为基于低频特征信息进行低频特征分离后确定的特征图。
S402：采用高频特征分离子网络对低频特征信息进行高频特征分离，输出块高频特征图。
其中，高频特征分离子网络是用于对低频特征信息进行反向投影的网络。本示例中，采用高频特征分离子网络对低频特征分离子网络拟合分离出的低频特征信息进行高频特征分离，从输入特征图中过滤到低频特征信息，从而形成过滤掉低频特征信息的块高频特征图。
本实施例所提供的图像重建模型训练方法中，采用低频特征分离子网络从输入特征图中分离出低频特征信息对应的低频特征图，使得低频特征图可以有效反映当前频率段对应的结构特征和纹理特征等信息；再利用高频特征分离子网络对低频特征分离子网络低频特征信息进行高频特征分离，以获取过滤掉低频特征信息的块高频特征图，以将该块高频特征图作为下一块残差网络的输入特征图，以采用局部残差方式抽取不同频率段对应的细节纹理特征和结构特征，以使后续重建出的伪高分辨率图像可以反映不同频率段的纹理特征和结构特征，具有较好的感知质量。
在一实施例中，如图5所示，步骤S401，即依据当前频率段，采用低频特征分离子网络对输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图，具体包括如下步骤：
S501：采用上采样单元对输入特征图进行上采样处理，获取上采样特征图。
其中，上采样单元是用于对图像进行上采样处理，以放大图像的单元。作为一示例，可以采用上采样子网络对输入特征图进行上采样处理，上采样子网络具体为1层反卷积核层，具体采用64个6×6的反卷积核，步长为2，填充(padding)为2，利用该上采样子网络可以将低分辨率空间的输入特征图映射到高分辨率空间，以获取上采样特征图。作为另一示例，可以采用亚像素卷积或使用插值法将输入特征图放大到目标尺寸，即可实现对输入特征图进行上采样处理，以获取上采样特征图，从而无需在低频特征分离子网络中设置上采样子网络。
S502：采用第一卷积单元对上采样特征图进行特征提取，获取低频特征信息。
其中，第一卷积单元是用于对上采样特征图进行特征提取，以拟合出低频特征信息的处理单元。低频特征信息是从上采样特征图中提取出的包含边缘、角点、纹理、几何形状、表面等浅层layer提取出的主要的特征信息。可以理解地，第一卷积单元所拟合出的低频特征信息与当前块残差网络对应的当前频率段相对应的，即拟合出这一当前频率段对应的边缘、角点、纹理、几何形状、表面等浅层的特征信息，无法拟合出当前频率段以外的其他特征信息。
本示例中，第一卷积单元为浅层layer，具体可以采用2层卷积层，每一层卷积层采用3×3的卷积核，步长为1，填充(padding)为1，卷积核数量为64。本示例中，可以采用第一卷积单元从上采样特征图中提取出较多的低频特征信息和少量的高频特征信息，第一卷积单元将获取的低频特征信息分别输入到第二卷积单元和高频特征分离子网络。
S503：采用第二卷积单元对低频特征信息进行低频特征分离，输出低频特征图。
其中，第二卷积单元是用于对低频特征信息进行低频特征分离，以提取出对恢复高分辨率图像有用的频率较低的结构特征和纹理特征，形成低频特征图的处理单元。即低频特征图是基于低频特征信息中的结构特征和纹理特征形成的频率较低的特征图。例如，第二卷积单元可以采用1层卷积层，采用3×3的卷积核，步长为1，填充(padding)为1，卷积核数量为64。
本实施例所提供的图像重建模型训练方法中，先采用上采样单元将输入特征图从低分辨率空间映射到高分辨率空间的上采样特征图，以便采用第一卷积单元从上采样特征图中有效拟合出当前频率段对应的低频特征信息，再利用低频特征信息进行低频特征分离，获取低频特征图，使得低频特征图可以有效反映输入特征图中频率较低的结构特征和纹理特征。
在一实施例中，如图6所示，步骤S402，即采用高频特征分离子网络对低频特征信息进行高频特征分离，输出块高频特征图，具体包括如下步骤：
S601：采用第三卷积单元将低频特征信息映射到低分辨率空间，获取第一特征图。
其中，第三卷积单元是用于将低频特征信息映射到低分辨率空间的处理单元。第一特征图为第三卷积单元的输出。例如，第三卷积单元可以采用1层卷积层，采用3×3的卷积核，步长为1，填充(padding)为1，卷积核数量为64。本示例中，第三卷积单元获取第一卷积单元输入的低频特征信息，并将低频特征信息映射到低分辨率空间，以获取第一特征图。本示例中，上采样单元将低分辨率空间的输入特征图映射到高分辨率空间；第三卷积单元将高分辨率空间的上采样特征图拟合出低频特征信息再次映射回低分辨率空间，实现反射投影，以获取第一特征图。利用来回映射方式，可以有效分离出输入特征信息中当前频率段对应的结构特征和纹理特征，有助于保证图像超分辨率重建形成的图像的感知质量。
S602：基于输入特征图和第一特征图进行减法运算，输出高频特征信息。
本示例中，输入特征图是输入到当前块残差网络的特征图，具体可以为原始特征图，也可以为上一块残差网络输出的块高频特征图。对于当前块残差网络而言，输入特征图是未经处理的特征图，第一特征图是输入特征图拟合低频特征信息形成的特征图。因此，对输入特征图和第一特征图进行减法运算，以从输入特征图中排除低频特征信息，从而输出高频特征信息，该高频特征信息为无法通过浅层网络直接拟合出的特征信息。
S603：采用第四卷积单元对高频特征信息进行特征提取，获取第二特征图。
其中，第四卷积单元为对高频特征信息进行特征提取的处理单元。第二特征图为第四卷积单元的输出。例如，第四卷积单元可以采用3层卷积层或者更多层卷积层，每一层卷积层采用3×3的卷积核，步长为1，填充(padding)为1，卷积核数量为64，采用多层卷积层对高频特征信息进行特征提取，以保证获取的第二特征图可以反映更多的结构特征和纹理特征。
S604：基于第一特征图和第二特征图进行加法运算，输出块高频特征图。
本示例中，将低频特征信息形成的第一特征图和第二特征图进行加法运算，以使输出的块高频特征图可以反映更细致的结构特征和纹理特征；将该块高频特征图作为下一块残差网络的输入特征图，从而使不同块残差网络基于块高频特征图进行级联，使图像频率分离得更细致，更有助于恢复出包含更多细节信息的伪高分辨率图像。
本实施例所提供的图像重建模型训练方法中，利用第三卷积单元进行将高分辨率空间的上采样特征图拟合出低频特征信息再次映射回低分辨率空间，使得第一特征图可以有效分离出输入特征信息中当前频率段对应的结构特征和纹理特征；再基于输入特征图和第一特征图进行减法运算，从而抽取低频特征分离子网络无法拟合的高频特征信息；再对高频特征信息进行特征提取，将获取的第二特征图和第一特征图进行加法运算，使得输出的块高频特征图可以反映更细致的结构特征和纹理特征，有助于保障重建的伪高分辨率图像的图像质量，使其与原始高分辨率图像更接近。
在一实施例中，该图像重建模型训练方法还可以采用循环对抗生成网络作为图像重建模型的基础网络，循环对抗生成网络本质上是两个镜像对称的生成对抗网络，其模型为环形结构，由两个生成网络和判别网络组成。此时的两个生成网络分别为第一生成网络G和第二生成网络F，两个判别网络分别为第一判别网络DY和第二判别网络DX，其中，第一生成网络G是用于将低分辨率图像重建为高分辨率图像的生成网络，第二生成网络F是用于将高分辨率图像重构为低分辨率图像的生成网络，第一判别网络DY是用于实现对高分辨率图像进行判别的判别网络，第二判别网络DX是用于实现对低分辨率图像进行判别的判别网络。
S701：获取原始高分辨率图像和与原始高分辨率图像相对应的原始低分辨率图像。
步骤S701与步骤S101的实现步骤相同，为避免重复，此处不一一赘述。
S702：将原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与原始低分辨率图像相对应的伪高分辨率图像；将伪高分辨率图像输入第二生成网络进行图像低分辨率重构，获取伪低分辨率图像。
S703：将原始高分辨率图像和伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；将原始低分辨率图像和伪低分辨率图像输入第二判别网络进行判别，获取第二判别结果。
S704：将原始高分辨率图像和伪高分辨率图像输入感知损失网络进行感知损失计算，获取第一感知损失；将原始低分辨率图像和伪低分辨率图像输入感知损失网络进行感知损失计算，获取第二感知损失。
S705：基于第一感知损失、第二感知损失、第一判别结果和第二判别结果，更新第一生成网络、第二生成网络、第一判别网络和第二判别网络的模型参数，获取基于超分辨率重建的目标生成网络。
在一示例中，步骤S701分别获取原始低分辨率图像X和原始高分辨率图像Y，本示例中，可采用但不限于最近邻插值、双线性插值、均值插值和中值插值等方法对原始高分辨率图像Y进行处理，以获取原始低分辨率图像X。步骤S702中，原始高分辨率图像Y经过第二生成网络F进行图像低分辨率重构，获取第一伪低分辨率图像X'；第一伪低分辨率图像X'经过第一生成网络G进行图像超分辨率重建，获取第一伪高分辨率图像
Figure BDA0002349684380000164
同时，原始低分辨率图像X经过第一生成网络G进行图像超分辨率重构，获取第二伪高分辨率图像Y'；第二伪高分辨率图像Y'经过第二生成网络F进行图像低分辨率重构，获取第二伪低分辨率图像
Figure BDA0002349684380000161
相应地，步骤S703中，第一判别网络DY用于分别获取原始高分辨率图像Y和第一伪高分辨率图像
Figure BDA0002349684380000162
之间的判别结果以及原始高分辨率图像Y和第二伪高分辨率图像Y'之间的判别结果。第二判别网络DX用于分别获取原始低分辨率图像X和第一伪低分辨率图像X'之间的判别结果以及原始低分辨率图像X和第二伪低分辨率图像
Figure BDA0002349684380000163
之间的判别结果。在第一判别结果和/或第二判别结果没有达到无法区别两个输入图像时，计算感知损失，具体包括：
(A)X→Y'，
Figure BDA0002349684380000171
过程中，原始高分辨率图像Y和第一伪高分辨率图像
Figure BDA0002349684380000172
之间的第一感知损失，或者原始高分辨率图像Y和第二伪高分辨率图像Y'的第一感知损失为
Figure BDA0002349684380000173
其中，Wm,n、Hm,n为感知损失网络中第m个最大池化层之前第n个卷积层特征图(feature map)的宽和高，φm,n(IHR)m,n代表原始高分辨率图像Y的第m个最大池化层之前第n个卷积的特征图，φm,n(GθG1(ILR))m,n分别代表X→Y'，
Figure BDA0002349684380000174
中经第一生成网络G生成的伪高分辨率图像的第m个最大池化层之前第n个卷积的特征图，该伪高分辨率图像为第一伪高分辨率图像
Figure BDA0002349684380000175
或者第二伪高分辨率图像Y'。
(B)
Figure BDA0002349684380000176
Y→X'过程中，原始低分辨率图像X和第一伪低分辨率图像X'之间的第二感知损失，或者原始低分辨率图像X和第二伪低分辨率图像
Figure BDA0002349684380000177
之间的第二感知损失为
Figure BDA0002349684380000178
其中，Wm,n、Hm,n为感知损失网络中第m个最大池化层之前第n个卷积层特征图(feature map)的宽和高，φm,n(ILR)m,n代表原始低分辨率图像X的第m个最大池化层之前第n个卷积的特征图，φm,n(GθG2(ILR))x,y)分别代表
Figure BDA0002349684380000179
Y→X'中经第二生成网络F重建的伪低分辨率图像的第m个最大池化层之前第n个卷积的特征图，该伪低分辨率图像包括第一伪低分辨率图像X'和第二伪低分辨率图像
Figure BDA00023496843800001710
作为上述示例的进一步改进，步骤S701中，原始高分辨率图像Y经过第二生成网络F进行图像低分辨率重构，获取原始低分辨率图像X。相应地，步骤S702中，原始低分辨率图像X经过第一生成网络G进行图像超分辨率重建，获取第三伪高分辨率图像Y"；第三伪高分辨率图像Y"经过第二生成网络F进行图像低分辨率重构，获取第三伪低分辨率图像X"，相比于上一示例的图像重构过程，可以节省一个采用第一生成网络G对低分辨率图像进行超分辨率重建的过程，减少处理时间并节省***开销。第一判别网络DY用于判别原始高分辨率图像Y和第三伪高分辨率图像Y"之间的第一判别结果；第二判别网络DX用于判别原始低分辨率图像X和第三伪低分辨率图像X"之间的第二判别结果，在第一判别结果和/或第二判别结果没有达到无法区别两个输入图像时，计算感知损失，具体包括：
(A)原始高分辨率图像Y和第三伪高分辨率图像Y"第一感知损失为
Figure BDA0002349684380000181
其中，Wm,n、Hm,n为感知损失网络中第m个最大池化层之前第n个卷积层特征图(feature map)的宽和高，φm,n(IHR)m,n代表原始高分辨率图像Y的第m个最大池化层之前第n个卷积的特征图，φm,n(GθG1(ILR))x,y)分别代表经第一生成网络G生成的第三伪高分辨率图像Y"的第m个最大池化层之前第n个卷积的特征图。
(B)原始低分辨率图像X和第三伪低分辨率图像X"第二感知损失为
Figure BDA0002349684380000182
其中，Wm,n、Hm,n为感知损失网络中第m个最大池化层之前第n个卷积层特征图(feature map)的宽和高，φm,n(ILR)m,n代表原始低分辨率图像X的第m个最大池化层之前第n个卷积的特征图，φm,n(GθG2(ILR))m,n分别代表中经第二生成网络F生成的第三伪低分辨率图像X"的第m个最大池化层之前第n个卷积的特征图。
本示例中，根据获得的第二感知损失和第一感知损失来不断优化循环对抗生成网络中第一生成网络G和第二生成网络F的模型参数，并通过反向传播算法更新第一判别网络DY和第二判别网络DX的模型参数，以完成循环生成对抗网络模型的训练过程，将模型参数更新后的第一生成网络确定为目标生成网络，这种约束超分辨率结果具有非常逼真的细节效果，符合人眼视觉感知图像规律。此外这种基于循环对抗生成网络计算感知损失的方式能够与具体输入图像建立关系，因此恢复的图像细节会尽可能的忠实于原图，适用于一些追求细节真实性的应用。
在一实施例中，如图8所示，提供一种图像重建方法，以该图像重建方法应用在计算机设备为例进行说明，该图像重建方法包括如下步骤：
S801：获取待处理图像，确定待处理图像的图像分辨率。
其中，待处理图像为需要进行图像识别或者其他处理的图像。一般来说，依据不同的应用场景，该待处理图像为特定应用场景下直接采集到的需要进行图像识别或者其他处理的图像。例如，在违规车辆识别这一应用场景下，待处理图像可以为设置在道路两旁的摄像设备实际拍摄到的包含车辆信息的图像。
S802：若待处理图像的图像分辨率小于第二分辨率阈值，则将待处理图像确定为待重建图像。
其中，第二分辨率阈值为预先设置的用于评估图像分辨率是否达到无需进行超分辨率重建的标准的阈值。其中，待重建图像为需要进行图像超分辨率重建的图像。
本示例中，将待处理图像的图像分辨率与第二分辨率阈值进行比较；若待处理图像的图像分辨率小于第二分辨率阈值，则说明该待处理图像的图像分辨率较低，若直接利用待处理图像进行图像识别或者其他处理，则可能影响图像的识别结果或者处理结果的准确性，因此，可将待处理图像确定为待重建图像；若待处理图像的图像分辨率不小于第二分辨率阈值，则说明待处理图像的图像分辨率较高，可以直接进行图像识别或者后续处理，而无需进行图像重建，即可保证图像识别效果或者处理结果的准确性，并可保证图像识别或者其他处理的效率。
S803：采用图像重建模型训练方法获取的目标生成网络对待重建图像进行图像超分辨率重建，获取目标重建图像。
本示例中，将待重建图像输入到上述实施例的图像重建模型训练方法训练出的目标生成网络中，利用目标生成网络对待重建图像进行图像超分辨率重建，其重建过程与步骤S301-S303的过程相同，为避免重复，此处不一一赘述，以获取与待重建图像相对应的目标重建图像。其中，目标重建图像是目标生成网络对待重建图像进行图像超分辨率重建后获取的图像。
本实施例所提供的图像重建方法中，利用目标生成网络对分辨率较低的待重建图像进行图像超分辨率重建，可以生成包含不同尺度的纹理特征和结构特征的分辨率较高的目标重建图像，使得生成的目标重建图像具有较高的感知质量，使其在主观感知层面更符合人类视觉***偏好。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行图像重建模型训练方法过程采用或者生成的数据，或者用于存储执行图像重建方法过程中采用或者生成的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像重建模型训练方法，或者实现一种图像重建方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中图像重建模型训练方法，例如图1所示S101-S104，或者图2至图7中所示，为避免重复，这里不再赘述。处理器执行计算机程序时实现上述实施例中图像重建方法，例如图8所示S801-S803，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中图像重建模型训练方法，图像重建模型训练方法，例如图1所示S101-S104，或者图2至图7中所示，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述实施例中图像重建方法，例如图8所示S801-S803，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像重建模型训练方法，其特征在于，包括：
获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像；
将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像；
将所述原始高分辨率图像和所述伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；
将所述原始高分辨率图像和所述伪高分辨率图像输入感知损失网络，获取感知损失值；
基于所述感知损失值和所述第一判别结果，更新所述第一生成网络和所述第一判别网络的模型参数，获取基于超分辨率重建的目标生成网络。
2.如权利要求1所述的图像重建模型训练方法，其特征在于，所述将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像，包括：
对所述原始低分辨率图像进行特征提取，获取原始特征图；
将所述原始特征图输入到多频段块残差生成网络进行分频段特征提取，获取目标高频特征图和至少两个低频特征图；所述多频段块残差生成网络包括依次串联的至少两个块残差网络，采用当前块残差网络对输入特征图进行特征提取，输出所述当前块残差网络对应的所述低频特征图和块高频特征图，并将所述块高频特征图输入到下一块残差网络；其中，所述输入特征图包括原始特征图或者上一块残差网络输出的块高频特征图；所述目标高频特征图为最后一个所述当前块残差网络输出的块高频特征图；
基于所述目标高频特征图和至少两个所述低频特征图进行图像重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像。
3.如权利要求2所述的图像重建模型训练方法，其特征在于，所述当前块残差网络包括低频特征分离子网络和高频特征分离子网络；
所述采用当前块残差网络对输入特征图进行特征提取，输出所述当前块残差网络对应的所述低频特征图和块高频特征图，包括：
依据当前频率段，采用所述低频特征分离子网络对所述输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图；
采用所述高频特征分离子网络对所述低频特征信息进行高频特征分离，输出块高频特征图。
4.如权利要求3所述的图像重建模型训练方法，其特征在于，所述依据当前频率段，采用所述低频特征分离子网络对所述输入特征图进行特征提取，获取低频特征信息，基于低频特征信息进行低频特征分离，输出低频特征图，包括：
采用上采样单元对所述输入特征图进行上采样处理，获取上采样特征图；
采用第一卷积单元对所述上采样特征图进行特征提取，获取低频特征信息；
采用第二卷积单元对所述低频特征信息进行低频特征分离，输出低频特征图。
5.如权利要求3所述的图像重建模型训练方法，其特征在于，所述采用所述高频特征分离子网络对所述低频特征信息进行高频特征分离，输出块高频特征图，包括：
采用第三卷积单元将所述低频特征信息映射到低分辨率空间，获取第一特征图；
基于所述输入特征图和所述第一特征图进行减法运算，输出高频特征信息；
采用第四卷积单元对所述高频特征信息进行特征提取，获取第二特征图；
基于所述第一特征图和所述第二特征图进行加法运算，输出块高频特征图。
6.如权利要求1所述的图像重建模型训练方法，其特征在于，所述获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像，包括：
获取原始训练图像，确定所述原始训练图像的图像分辨率；
若所述原始训练图像的图像分辨率大于第一分辨率阈值，则将所述原始训练图像确定为原始高分辨率图像；
对所述原始高分辨率图像进行下采样处理，获取与所述原始高分辨率图像相对应的原始低分辨率图像。
7.如权利要求1所述的图像重建模型训练方法，其特征在于，在所述获取原始高分辨率图像和与所述原始高分辨率图像相对应的原始低分辨率图像之后，所述图像重建模型训练方法包括：
将所述原始低分辨率图像输入第一生成网络进行图像超分辨率重建，获取与所述原始低分辨率图像相对应的伪高分辨率图像；将所述伪高分辨率图像输入第二生成网络进行图像低分辨率重构，获取伪低分辨率图像；
将所述原始高分辨率图像和所述伪高分辨率图像输入第一判别网络进行判别，获取第一判别结果；将所述原始低分辨率图像和所述伪低分辨率图像输入第二判别网络进行判别，获取第二判别结果；
将所述原始高分辨率图像和所述伪高分辨率图像输入感知损失网络进行感知损失计算，获取第一感知损失；将所述原始低分辨率图像和所述伪低分辨率图像输入感知损失网络进行感知损失计算，获取第二感知损失；
基于所述第一感知损失、所述第二感知损失、所述第一判别结果和所述第二判别结果，更新所述第一生成网络、所述第二生成网络、所述第一判别网络和所述第二判别网络的模型参数，获取基于超分辨率重建的目标生成网络。
8.一种图像重建方法，其特征在于，包括：
获取待处理图像，确定所述待处理图像的图像分辨率；
若所述待处理图像的图像分辨率小于第二分辨率阈值，则将所述待处理图像确定为待重建图像；
采用权利要求1-7任一项所述图像重建模型训练方法获取的目标生成网络对所述待重建图像进行图像超分辨率重建，获取目标重建图像。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像重建模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求8所述图像重建方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像重建模型训练方法，或者所述计算机程序被处理器执行时实现如权利要求8所述图像重建方法。
CN201911409903.4A 2019-12-31 2019-12-31 图像重建模型训练方法、图像重建方法、设备及介质 Active CN111179177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409903.4A CN111179177B (zh) 2019-12-31 2019-12-31 图像重建模型训练方法、图像重建方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409903.4A CN111179177B (zh) 2019-12-31 2019-12-31 图像重建模型训练方法、图像重建方法、设备及介质

Publications (2)

Publication Number Publication Date
CN111179177A true CN111179177A (zh) 2020-05-19
CN111179177B CN111179177B (zh) 2024-03-26

Family

ID=70650614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409903.4A Active CN111179177B (zh) 2019-12-31 2019-12-31 图像重建模型训练方法、图像重建方法、设备及介质

Country Status (1)

Country Link
CN (1) CN111179177B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488865A (zh) * 2020-06-28 2020-08-04 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111754406A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN111754405A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN111932437A (zh) * 2020-10-10 2020-11-13 深圳云天励飞技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112116527A (zh) * 2020-09-09 2020-12-22 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备
CN112488923A (zh) * 2020-12-10 2021-03-12 Oppo广东移动通信有限公司 图像超分辨率重建方法、装置、存储介质及电子设备
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112508787A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于图像超分辨的目标检测方法
CN112529058A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 图像生成模型训练方法和装置、图像生成方法和装置
CN112561816A (zh) * 2020-12-10 2021-03-26 厦门美图之家科技有限公司 图像处理方法、装置、电子设备和可读存储介质
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN113077456A (zh) * 2021-04-20 2021-07-06 北京大学 基于功能性磁共振成像构建网络模型的训练方法和装置、计算机设备以及存储介质
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113643183A (zh) * 2021-10-14 2021-11-12 湖南大学 非匹配遥感图像弱监督学习超分辨率重建方法及***
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析***
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114419339A (zh) * 2022-03-30 2022-04-29 南方电网数字电网研究院有限公司 基于电力肖像的数据重建模型训练的方法和装置
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
WO2023051344A1 (en) * 2021-09-30 2023-04-06 Subtle Medical, Inc. Ultra-high resolution ct reconstruction using gradient guidance
CN116071478A (zh) * 2023-04-06 2023-05-05 腾讯科技（深圳）有限公司 图像重建模型的训练方法和虚拟场景渲染方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、***及计算机存储介质
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、***及计算机存储介质
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAJUN QIU: ""Embedded Block Residual Network: A Recursive Restoration Model for Single-Image Super-Resolution"", 《IEEE》, pages 1 - 10 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754406A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN111754405A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN111754405B (zh) * 2020-06-22 2023-08-08 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN111754406B (zh) * 2020-06-22 2024-02-23 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN111488865A (zh) * 2020-06-28 2020-08-04 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111488865B (zh) * 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111598968B (zh) * 2020-06-28 2023-10-31 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN112116527A (zh) * 2020-09-09 2020-12-22 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN112116527B (zh) * 2020-09-09 2024-02-23 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN112508782B (zh) * 2020-09-10 2024-04-26 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN111932437A (zh) * 2020-10-10 2020-11-13 深圳云天励飞技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备
CN112529058A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 图像生成模型训练方法和装置、图像生成方法和装置
CN112488923A (zh) * 2020-12-10 2021-03-12 Oppo广东移动通信有限公司 图像超分辨率重建方法、装置、存储介质及电子设备
CN112561816A (zh) * 2020-12-10 2021-03-26 厦门美图之家科技有限公司 图像处理方法、装置、电子设备和可读存储介质
CN112508787A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于图像超分辨的目标检测方法
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112734638B (zh) * 2020-12-24 2022-08-05 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN113077456A (zh) * 2021-04-20 2021-07-06 北京大学 基于功能性磁共振成像构建网络模型的训练方法和装置、计算机设备以及存储介质
CN113077456B (zh) * 2021-04-20 2022-01-04 北京大学 基于功能性磁共振成像构建网络模型的训练方法和装置
WO2023051344A1 (en) * 2021-09-30 2023-04-06 Subtle Medical, Inc. Ultra-high resolution ct reconstruction using gradient guidance
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113643183B (zh) * 2021-10-14 2021-12-21 湖南大学 非匹配遥感图像弱监督学习超分辨率重建方法及***
CN113643183A (zh) * 2021-10-14 2021-11-12 湖南大学 非匹配遥感图像弱监督学习超分辨率重建方法及***
CN113989763B (zh) * 2021-12-30 2022-04-15 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析***
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析***
CN114359053B (zh) * 2022-01-07 2023-06-20 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114419339A (zh) * 2022-03-30 2022-04-29 南方电网数字电网研究院有限公司 基于电力肖像的数据重建模型训练的方法和装置
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN116071478A (zh) * 2023-04-06 2023-05-05 腾讯科技（深圳）有限公司 图像重建模型的训练方法和虚拟场景渲染方法
CN116071478B (zh) * 2023-04-06 2023-06-30 腾讯科技（深圳）有限公司 图像重建模型的训练方法和虚拟场景渲染方法

Also Published As

Publication number Publication date
CN111179177B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111951195A (zh) 图像增强方法及装置
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN111951167A (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN116485741A (zh) 一种无参考图像质量评价方法、***、电子设备及存储介质
CN116485934A (zh) 一种基于CNN和ViT的红外图像彩色化方法
CN113673675A (zh) 模型训练方法、装置、计算机设备和存储介质
CN113362338A (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理***
Almasri et al. Rgb guided thermal super-resolution enhancement
CN117252936A (zh) 一种适配多种训练策略的红外图像彩色化方法及***
CN110335228B (zh) 一种图像视差的确定方法、装置及***
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN113256519A (zh) 图像的恢复方法、设备、存储介质及程序产品
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN115587955A (zh) 图像融合方法和装置、存储介质和电子装置
Chouteau et al. Joint Super-Resolution and Image Restoration for PLÉIADES NEO Imagery
CN109146777B (zh) 利用预训练网络的感知相似性进行混合图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant