CN113344793A - 图像超分辨率重建方法、装置、设备及存储介质 - Google Patents

图像超分辨率重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113344793A
CN113344793A CN202110889100.4A CN202110889100A CN113344793A CN 113344793 A CN113344793 A CN 113344793A CN 202110889100 A CN202110889100 A CN 202110889100A CN 113344793 A CN113344793 A CN 113344793A
Authority
CN
China
Prior art keywords
image
resolution
resolution image
loss function
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110889100.4A
Other languages
English (en)
Inventor
陈亚瑞
丁文强
杨剑宁
张志远
徐肖阳
闫潇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd, Shenzhen Anruan Technology Co Ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202110889100.4A priority Critical patent/CN113344793A/zh
Publication of CN113344793A publication Critical patent/CN113344793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像超分辨率重建方法、装置、设备及存储介质，所述方法中，包括获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建包括生成器网络和判别器网络的生成对抗网络模型，将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，该损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包括内容损失函数和对抗损失函数
Figure 810506DEST_PATH_IMAGE001
，所述内容损失函数包括VGG网络损失函数
Figure 22045DEST_PATH_IMAGE002
，光照损失函数
Figure 433435DEST_PATH_IMAGE003
和结构相似性损失函数
Figure 605790DEST_PATH_IMAGE004
，所述生成器网络的损失函数的表达式为：
Figure 619882DEST_PATH_IMAGE005
。本方案能够使得生成对抗网络模型对光照强度更加敏感，以及使得生成的图像视觉质量更好。

Description

图像超分辨率重建方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。
背景技术
单幅图像的超分辨率(SISR)旨在从低分辨率图像(LR)恢复超分辨率图像(SR)，以此来得到近似真实的高分辨率图像（HR）。这在许多领域中直接应用，如医学成像、卫星成像、人脸识别和视频监控等。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈，同时在图像存储及夜间光照不足情况下也会产生低分辨率的图像。从软件方面提高图像分辨率，一定程度上克服了上述不足。因此，图像超分辨率重建成为研究热点之一。
目前超分辨率重建的方法主要有基于深度学习的超分辨率重构方法。Dong等首先提出了一种基于深度学习的方法——基于卷积神经网络的超分方法(SRCNN)，证明卷积神经网络可以被有效应用于端到端的学习LR到SR的映射。Shi等人提出了亚像素卷积的方法(ESPCN)，直接在低分辨率图像LR上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到超分辨率图像。
Ledig等把生成对抗网络(Generative Adversarial Network，GAN)应用于超分辨率重建，提出了基于生成对抗网络的超分辨率(Super-Resolution Using a GenerativeAdversarial Network，SRGAN)算法，虽然这种博弈式的优化SRGAN能够生成高质量的图像，但是细节效果较差，并且对光照变化的敏感度不够，往往无法很好的解决低光照下单一图像超分辨率问题。
发明内容
本申请实施例提供一种图像超分辨率重建方法、装置、设备及存储介质，能够使得生成对抗网络模型对光照强度更加敏感，解决了低光照下单一图像超分辨率问题，并且可以使得生成的图像视觉质量更好，更加自然。
为了解决上述技术问题，本申请一方面提供一种基于生成对抗网络的图像超分辨率重建方法，包括：
获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；
构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；
将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网 络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗 网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函 数包括内容损失函数和对抗损失函数
Figure 261352DEST_PATH_IMAGE001
，所述内容损失函数包括VGG网络损失函数
Figure 578063DEST_PATH_IMAGE002
， 光照损失函数
Figure 362349DEST_PATH_IMAGE003
和结构相似性损失函数
Figure 321077DEST_PATH_IMAGE004
，所述生成器网络的损失函数的表达式 为：
Figure 851416DEST_PATH_IMAGE005
；
将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
更进一步地，所述光照损失函数
Figure 994821DEST_PATH_IMAGE003
的表达式为：
Figure 141769DEST_PATH_IMAGE006
；
其中，
Figure 638609DEST_PATH_IMAGE007
；
Figure 416597DEST_PATH_IMAGE008
；
所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像的RGB三通道值。
更进一步地，所述结构相似性损失函数
Figure 340690DEST_PATH_IMAGE009
的表达式为：
Figure 974934DEST_PATH_IMAGE009
=1-tf.image.ssim(img1，img2，max_val)；
其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。
更进一步地，所述获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，包括：
从预定数据集中选取预设数量的高分辨率样本图像；
对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR；
对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的所述低分辨率图像LR构成训练集。
更进一步地，所述对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，包括：
利用如下公式对所述高分辨率图像HR进行先变黑后下采样处理：
Figure 134520DEST_PATH_IMAGE010
其中，y表示所求的所述低分辨率图像LR，x表示所述高分辨率图像HR，
Figure 170609DEST_PATH_IMAGE011
表示下采 样，s表示下采样的尺度因子，
Figure 124659DEST_PATH_IMAGE012
表示用于将所述高分辨率图像HR进行变黑处理的图像叠 加函数，其中，所述
Figure 246198DEST_PATH_IMAGE013
，所述dst 代表对所述高分辨率图像HR进行变黑后得到的图像，src1代表待变黑的所述高分辨率图像 HR，src2代表叠加的图像，src1和src2的大小相同，alpha和beta代表权重，gamma代表黑度 参数。
更进一步地，所述生成对抗网络模型的对抗过程用如下目标函数表示：
Figure 350421DEST_PATH_IMAGE014
其中，G表示所述生成器网络，D表示所述判别器网络，E表示期望，
Figure 834492DEST_PATH_IMAGE015
表示 所述高分辨率图像HR的分布，x表示所述高分辨率图像HR，
Figure 100388DEST_PATH_IMAGE016
表示所述低分辨率图 像LR的分布，y表示所述低分辨率图像LR，G(y)表示所述生成器网络生成的所述超分辨率图 像SR，D(x)表示当输入图像为所述高分辨率图像HR时判别真伪，D(G(y))表示输入图像为所 述超分辨率图像SR时判别真伪。
更进一步地，所述生成器网络包括特征提取单元、深度残差单元以及上采样单元；
所述特征提取单元包括64个卷积核大小为9x9的卷积层和ReLU函数，用于对输入的所述低分辨率图像LR进行特征图提取；
所述深度残差单元包括多个残差块，用于对提取到的所述特征图进行特征学习，提取高频信息；
所述上采样单元包括一个反卷积层和ReLU函数，用于根据所述高频信息将所述低分辨率图像LR进行指定倍数的放大，从而得到所述超分辨率图像SR。
更进一步地，所述利用损失函数对所述生成对抗网络模型进行训练，包括：通过Adam优化算法对所述生成对抗网络模型进行训练，所述Adam优化算法的学习率为0.0002。
本申请实施例的另一方面，提供一种基于生成对抗网络的图像超分辨率重建装置，包括：
获取模块，用于获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；
构建模块，用于构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；
训练模块，用于将所述训练集输入至所述生成对抗网络模型中，利用损失函数对 所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好 的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成 器网络的损失函数包括内容损失函数和对抗损失函数
Figure 443645DEST_PATH_IMAGE017
，所述内容损失函数包括VGG网 络损失函数
Figure 476192DEST_PATH_IMAGE018
，光照损失函数
Figure 955714DEST_PATH_IMAGE019
和结构相似性损失函数
Figure 658091DEST_PATH_IMAGE020
，所述生成器网络的损 失函数的表达式为：
Figure 347699DEST_PATH_IMAGE021
；
图像处理模块，用于将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
本申请实施例的又一方面提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的图像超分辨率重建方法中的步骤。
本申请实施例的又一方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的图像超分辨率重建方法中的步骤。
有益效果：本申请的基于生成对抗网络的图像超分辨率重建方法中，首先获取由 高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，然 后构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分 辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所 述高分辨率图像HR和所述超分辨率图像SR，将所述训练集输入至所述生成对抗网络模型中，利 用损失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练， 保存训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数， 所述生成器网络的损失函数包括内容损失函数和对抗损失函数
Figure 793723DEST_PATH_IMAGE017
，所述内容损失函数包括 VGG网络损失函数
Figure 252387DEST_PATH_IMAGE018
，光照损失函数
Figure 125665DEST_PATH_IMAGE019
和结构相似性损失函数
Figure 177934DEST_PATH_IMAGE020
，所述生成器网络 的损失函数的表达式为：
Figure 286705DEST_PATH_IMAGE022
，之 后将需要重建的低分辨率图像LR输入到训练好的所述生成对抗网络模型，得到重建后的低 分辨率图像LR，由此，本申请通过光照损失函数能够使得生成对抗网络模型对光照强度更 加敏感，解决了低光照下单一图像超分辨率问题，通过结构相似性损失函数能够使得生成 的图像视觉质量更好，更加自然。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像超分辨率重建方法的流程图；
图2是本申请实施例提供的生成器网络的结构示意图；
图3是本申请实施例提供的判别器网络的结构示意图；
图4是在参数gamma为-70的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图；
图5是在参数gamma为-130的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图；
图6是在参数gamma为-160的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图；
图7是本申请实施例提供的图像超分辨率重建装置的结构示意图；
图8是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
参阅图1，本申请实施例提供的一种基于生成对抗网络的图像超分辨率重建方法，具体包括以下步骤：
步骤S101，获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集。
具体地，可以通过以下子步骤得到训练集：
子步骤（1），从预定数据集中选取预设数量的高分辨率样本图像。
预定数据集比如可以是BSDS200、General100、DIV2K和Flickr2K数据集中的一种或多种组合。高分辨率样本图像的数量可以根据实际需要进行设定，如可以选取3498张高分辨率样本图像。
子步骤（2），对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR。
其中，可以是将高分辨率样本图像随机裁剪为正方形的图像块，也可以是长方形的图像块，从而得到高分辨率图像HR，所述高分辨率图像HR的大小例如可以是300x300，或者也可以400x400，对此不做限定。在以下的描述中，将以高分辨率图像HR的大小为300x300为例进行说明。
子步骤（3），对所述高分辨率图像HR进行先变黑后下采样处理，从而得到对应的低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的低分辨率图像LR构成训练集。
本实施方式中，使用OpenCV中的cv2.addWeighted方法对高分辨率图像HR先进行 变黑处理，然后对变黑后的高分辨率图像HR进行下采样从而得到低分辨率图像LR。更具体地，子 步骤（3）包括：利用如下公式对所述高分辨率图像HR进行先变黑后下采样处理：
Figure 740820DEST_PATH_IMAGE023
， 其中，y表示所求的所述低分辨率图像LR，x表示所述高分辨率图像HR，
Figure 784999DEST_PATH_IMAGE024
表示下采样，s表示 下采样的尺度因子，
Figure 446269DEST_PATH_IMAGE025
表示用于将所述高分辨率图像HR进行变黑处理的图像叠加函数； 其中，所述
Figure 234096DEST_PATH_IMAGE026
，所述 dst代表对所述高分辨率图像HR进行变黑后得到的图像，src1代表待变黑的所述高分辨率 图像HR，src2代表叠加的图像，src1和src2的大小相同，alpha和beta代表权重，gamma代表 黑度参数。
可以理解的是，变黑处理的过程本质就是将一张待变黑的图像src1（即高分辨率图像HR）和一张图像src2按照比例进行重叠操作，然后加上黑度参数gamma，最后得到一张变黑后的图像dst。通过上述方式，可以得到类似于现实中的低分辨率图像LR，即具有模糊并且低光照特征的低分辨率图像LR。
其中，本实施方式中，对高分辨率图像HR块进行的下采样为双三次下采样，下采样的尺度因子s为3，表示进行三倍下采样。当然，在其他实施方式中，下采样的尺度因子s也可以是2、4或5等，对此不做限定。
步骤S102，构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR。
进一步地，如图2所示，本实施方式中，生成器网络包括特征提取单元201、深度残差单元202以及上采样单元203。
其中，所述特征提取单元201包括64个卷积核大小为9x9的卷积层和ReLU函数，输入至生成器网络的低分辨率图像LR先经过该卷积层进行卷积特征提取，然后经过ReLU函数进行激活。深度残差单元202包括16个残差块，用于进一步对特征提取单元201提取到的特征图进行特征学习，提取高频信息，其中，每个残差块内部包含两个卷积层+一个批标准化层+一个ReLU激活函数，还有一个残差边，该两个卷积层用来进行特征图的特征提取，一个批标准化层用来对特征图的特征进行标准化，减少模型的计算量，ReLU函数用来激活，一条残差边用来将输入和输出进行加叠操作。上采样单元203包括一个反卷积层和ReLU函数，用于根据所述高频信息将所述低分辨率图像LR进行指定倍数的放大，从而得到所述超分辨率图像SR。
如图3所示，本实施方式中，判别器网络由不断重复的卷积+LeakyRELU函数以及标准化层组成，用来不断的提取输入图像的特征，最后经过Sigmoid层，计算输入图像是高分辨率图像HR的概率。
其中，所述生成对抗网络模型的对抗过程用如下目标函数表示：
Figure 667352DEST_PATH_IMAGE014
其中，G表示所述生成器网络，D表示所述判别器网络，E表示期望，
Figure 882432DEST_PATH_IMAGE027
表示 所述高分辨率图像HR的分布，x表示所述高分辨率图像HR，
Figure 643715DEST_PATH_IMAGE028
表示所述低分辨率图 像LR的分布，y表示所述低分辨率图像LR，G(y)表示所述生成器网络生成的所述超分辨率图 像SR，D(x)表示当输入图像为所述高分辨率图像HR时判别真伪，D(G(y))表示输入图像为所 述超分辨率图像SR时判别真伪。
步骤S103，将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述 生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所 述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网 络的损失函数包括内容损失函数和对抗损失函数
Figure 359867DEST_PATH_IMAGE029
，所述内容损失函数包括VGG网络损失 函数
Figure 788574DEST_PATH_IMAGE030
，光照损失函数
Figure 908977DEST_PATH_IMAGE031
和结构相似性损失函数
Figure 813348DEST_PATH_IMAGE032
，所述生成器网络的损失函数 的表达式为：
Figure 677399DEST_PATH_IMAGE033
。
本实施方式中，通过在生成对抗网络模型中设计光照损失函数和结构相似性损失函数，可以使得模型对光照强度更加敏感，解决了低光照下单一图像超分辨率问题，并且能够使生成的图像视觉质量更好，更加自然。
进一步地，所述光照损失函数
Figure 960613DEST_PATH_IMAGE031
的表达式为：
Figure 642130DEST_PATH_IMAGE034
；
其中，
Figure 643584DEST_PATH_IMAGE035
；
Figure 576905DEST_PATH_IMAGE036
；
所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像HR的RGB三通道值。
所述结构相似性损失函数
Figure 573680DEST_PATH_IMAGE037
的表达式为：
Figure 567043DEST_PATH_IMAGE037
=1-tf.image.ssim(img1，img2，max_val)；
其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。
此外，所述利用损失函数对所述生成对抗网络模型进行训练，包括：通过Adam优化算法对所述生成对抗网络模型进行训练，所述Adam优化算法的学习率为0.0002。
步骤104，将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
其中，低分辨率测试图像可以是事先存储在数据集中的测试样本，或者也可以是通过高分辨率测试图像通过下采样得到。具体地，步骤104可以包括：从预定数据集中选取预定数量的高分辨率测试样本图像；然后对每张高分辨率测试样本图像进行随机裁剪得到高分辨率测试图像，之后对所述高分辨率测试图像进行先变黑后下采样处理，从而得到待重建的低分辨率测试图像。其中，对所述高分辨率测试图像进行先变黑后下采样处理可参考上述子步骤（3）的过程实现，在此不进行一一赘述。
其中，在步骤S104之后，即得到高分辨率目标图像之后，可通过计算峰值信噪比（PSNR）和结构相似性（SSIM）的方式对高分辨率目标图像进行质量评估。如下表一的实验结果对比：
表一
Figure 914848DEST_PATH_IMAGE038
表一中，分别从Set5、Set14、BSD100和Urban100四个公共数据集中获得低分辨率测试图像，即通过在这四个公共数据集中选取高分辨率测试样本图像进行先变黑后下采样处理，从而得到低分辨率测试图像，表一给出了上述变黑处理公式中的黑度参数gamma分别为-70、-130和-160的条件下，利用传统SRGAN模型和本申请的生成对抗网络模型对低分辨率测试图像进行重建，所得到的高分辨率目标图像的PSNR和SSIM对比数据。
通过对表一的数据对比分析可知，黑度参数gamma为-70和-160的条件下，本申请的生成对抗网络模型所得到的高分辨率目标图像的PSNR值和SSIM值均大于传统SRGAN模型所得到的高分辨率目标图像的PSNR值和SSIM值，参数gamma为-130的条件下，本申请的生成对抗网络模型所得到的高分辨率目标图像的SSIM值均大于传统SRGAN模型所得到的高分辨率目标图像的SSIM值，因此，从总体上来说，通过本申请的生成对抗网络模型进行低分辨率图像LR重建所得到的高分辨率目标图像的质量更优于传统模型得到的高分辨率目标图像。
如图4至图6所示，图4为在参数gamma为-70的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图；图5为在参数gamma为-130的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图；图6为在参数gamma为-160的条件下，低分辨率测试图像、高分辨率目标图像、高分辨率测试样本图像的效果对比图，从图可得，本申请的生成对抗网络模型在进行低分辨率图像LR重建方面具有较好的效果，重建得到的高分辨率目标图像更接近原始高分辨率测试样本图像。
参阅图7，本申请实施例还提供一种基于生成对抗网络的图像超分辨率重建装置，该图像超分辨率重建装置700包括获取模块701、构建模块702、训练模块703以及图像处理模块704。
其中，获取模块701用于获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集。进一步地，获取模块701具体用于：从预定数据集中选取预设数量的高分辨率样本图像；对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR；对所述高分辨率图像HR进行先变黑后下采样处理，从而得到对应的低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的低分辨率图像LR构成训练集。
其中，预定数据集比如可以是BSDS200、General100、DIV2K和Flickr2K数据集中的一种或多种组合。高分辨率样本图像的数量可以根据实际需要进行设定，如可以选取3498张高分辨率样本图像。
其中，可以是将高分辨率样本图像随机裁剪为正方形的图像块，也可以是长方形的图像块，从而得到高分辨率图像HR，所述高分辨率图像HR的大小例如可以是300x300，或者也可以400x400，对此不做限定。本实施方式中，可以使用OpenCV中的cv2.addWeighted方法对高分辨率图像HR先进行变黑处理，然后对变黑后的高分辨率图像HR进行下采样从而得到低分辨率图像LR。
构建模块702用于构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR。
其中，所述生成对抗网络模型的对抗过程用如下目标函数表示：
Figure 386281DEST_PATH_IMAGE014
其中，G表示所述生成器网络，D表示所述判别器网络，E表示期望，
Figure 378508DEST_PATH_IMAGE039
表示 所述高分辨率图像HR的分布，x表示所述高分辨率图像HR，
Figure 667406DEST_PATH_IMAGE040
表示所述低分辨率图 像LR的分布，y表示所述低分辨率图像LR，G(y)表示所述生成器网络生成的所述超分辨率图 像SR，D(x)表示当输入图像为所述高分辨率图像HR时判别真伪，D(G(y))表示输入图像为所 述超分辨率图像SR时判别真伪。
训练模块703用于将所述训练集输入至所述生成对抗网络模型中，利用损失函数 对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练 好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生 成器网络的损失函数包括内容损失函数和对抗损失函数
Figure 377873DEST_PATH_IMAGE041
，所述内容损失函数包括VGG网 络损失函数
Figure 387418DEST_PATH_IMAGE042
，光照损失函数
Figure 627294DEST_PATH_IMAGE043
和结构相似性损失函数
Figure 696881DEST_PATH_IMAGE044
，所述生成器网络的损 失函数的表达式为：
Figure 160223DEST_PATH_IMAGE045
。
本实施方式中，通过在生成对抗网络模型中设计光照损失函数和结构相似性损失函数，可以使得模型对光照强度更加敏感，解决了低光照下单一图像超分辨率问题，并且能够使生成的图像视觉质量更好，更加自然。
进一步地，所述光照损失函数
Figure 832513DEST_PATH_IMAGE043
的表达式为：
Figure 64911DEST_PATH_IMAGE046
；
其中，
Figure 164454DEST_PATH_IMAGE047
；
Figure 115093DEST_PATH_IMAGE048
；
所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像HR的RGB三通道值。
所述结构相似性损失函数
Figure 732019DEST_PATH_IMAGE044
的表达式为：
Figure 677978DEST_PATH_IMAGE044
=1-tf.image.ssim(img1，img2，max_val)；
其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。
此外，训练模块703具体用于通过Adam优化算法对所述生成对抗网络模型进行训练，所述Adam优化算法的学习率为0.0002。
图像处理模块704用于将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
本申请的基于生成对抗网络的图像超分辨率重建方法中，首先获取由高分辨率图 像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，然后构建包 括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图 像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分 辨率图像HR和所述超分辨率图像SR，将所述训练集输入至所述生成对抗网络模型中，利用损 失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存 训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述 生成器网络的损失函数包括内容损失函数和对抗损失函数
Figure 89368DEST_PATH_IMAGE041
，所述内容损失函数包括VGG 网络损失函数
Figure 261723DEST_PATH_IMAGE049
，光照损失函数
Figure 541395DEST_PATH_IMAGE043
和结构相似性损失函数
Figure 482806DEST_PATH_IMAGE044
，所述生成器网络的损 失函数的表达式为：
Figure 65097DEST_PATH_IMAGE050
，之后 将需要重建的低分辨率图像LR输入到训练好的所述生成对抗网络模型，得到重建后的低分 辨率图像LR，由此，本申请通过光照损失函数能够使得生成对抗网络模型对光照强度更加 敏感，解决了低光照下单一图像超分辨率问题，通过结构相似性损失函数能够使得生成的 图像视觉质量更好，更加自然。
参见图8，图8是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备800包括：存储器802、处理器801及存储在存储器802上并可在处理器上运行的计算机程序，处理器801执行计算机程序时实现上述实施例提供的基于生成对抗网络的图像超分辨率重建方法中的步骤。
本发明实施例提供的计算机设备800能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的基于生成对抗网络的图像超分辨率重建方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random Access Memory，简称RAM）等。
进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，包括：
获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；
构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；
将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模 型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗网络 模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包 括内容损失函数和对抗损失函数
Figure 858669DEST_PATH_IMAGE001
，所述内容损失函数包括VGG网络损失函数
Figure 244651DEST_PATH_IMAGE002
，光照 损失函数
Figure 758809DEST_PATH_IMAGE003
和结构相似性损失函数
Figure 747494DEST_PATH_IMAGE004
，所述生成器网络的损失函数的表达式为：
Figure 296287DEST_PATH_IMAGE005
；
将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述光照损失函数
Figure 712225DEST_PATH_IMAGE003
的表达式为：
Figure 713679DEST_PATH_IMAGE006
；
其中，
Figure 381421DEST_PATH_IMAGE007
；
Figure 909354DEST_PATH_IMAGE008
；
所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像HR的RGB三通道值。
3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述结构相似性损失函 数
Figure 371559DEST_PATH_IMAGE009
的表达式为：
Figure 860309DEST_PATH_IMAGE009
=1-tf.image.ssim(img1，img2，max_val)；
其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。
4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，包括：
从预定数据集中选取预设数量的高分辨率样本图像；
对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR；
对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的所述低分辨率图像LR构成训练集。
5.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，包括：
利用如下公式对所述高分辨率图像HR进行先变黑后下采样处理：
Figure 456376DEST_PATH_IMAGE010
其中，y表示所求的所述低分辨率图像LR，x表示所述高分辨率图像HR，
Figure 448603DEST_PATH_IMAGE011
表示下采样，s 表示下采样的尺度因子，
Figure 612868DEST_PATH_IMAGE012
表示用于将所述高分辨率图像HR进行变黑处理的图像叠加函 数，其中，所述
Figure 450898DEST_PATH_IMAGE013
， 所述dst代表对所述高分辨率图像HR进行变黑后得到的图像，src1代表待变黑的所述高分 辨率图像HR，src2代表叠加的图像，src1和src2的大小相同，alpha和beta代表权重，gamma 代表黑度参数。
6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述生成对抗网络模型的对抗过程用如下目标函数表示：
Figure 460443DEST_PATH_IMAGE014
其中，G表示所述生成器网络，D表示所述判别器网络，E表示期望，
Figure 838334DEST_PATH_IMAGE015
表示所述 高分辨率图像HR的分布，x表示所述高分辨率图像HR，
Figure 766976DEST_PATH_IMAGE016
表示所述低分辨率图像LR 的分布，y表示所述低分辨率图像LR，G(y)表示所述生成器网络生成的所述超分辨率图像 SR，D(x)表示当输入图像为所述高分辨率图像HR时判别真伪，D(G(y))表示输入图像为所述 超分辨率图像SR时判别真伪。
7.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述生成器网络包括特征提取单元、深度残差单元以及上采样单元；
所述特征提取单元包括64个卷积核大小为9x9的卷积层和ReLU函数，用于对输入的所述低分辨率图像LR进行特征图提取；
所述深度残差单元包括多个残差块，用于对提取到的所述特征图进行特征学习，提取高频信息；
所述上采样单元包括一个反卷积层和ReLU函数，用于根据所述高频信息将所述低分辨率图像LR进行指定倍数的放大，从而得到所述超分辨率图像SR。
8.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述利用损失函数对所述生成对抗网络模型进行训练，包括：通过Adam优化算法对所述生成对抗网络模型进行训练，所述Adam优化算法的学习率为0.0002。
9.一种基于生成对抗网络的图像超分辨率重建装置，其特征在于，包括：
获取模块，用于获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；
构建模块，用于构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；
训练模块，用于将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述 生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所 述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网 络的损失函数包括内容损失函数和对抗损失函数
Figure 230318DEST_PATH_IMAGE017
，所述内容损失函数包括VGG网络损失 函数
Figure 902608DEST_PATH_IMAGE018
，光照损失函数
Figure 135006DEST_PATH_IMAGE019
和结构相似性损失函数
Figure 375495DEST_PATH_IMAGE020
，所述生成器网络的损失函数 的表达式为：
Figure 185188DEST_PATH_IMAGE021
；
图像处理模块，用于将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
10.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的图像超分辨率重建方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像超分辨率重建方法中的步骤。
CN202110889100.4A 2021-08-04 2021-08-04 图像超分辨率重建方法、装置、设备及存储介质 Pending CN113344793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110889100.4A CN113344793A (zh) 2021-08-04 2021-08-04 图像超分辨率重建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110889100.4A CN113344793A (zh) 2021-08-04 2021-08-04 图像超分辨率重建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113344793A true CN113344793A (zh) 2021-09-03

Family

ID=77480606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110889100.4A Pending CN113344793A (zh) 2021-08-04 2021-08-04 图像超分辨率重建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113344793A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902617A (zh) * 2021-09-27 2022-01-07 中山大学·深圳 基于参考图像的超分辨率方法、装置、设备及介质
CN114418854A (zh) * 2022-01-24 2022-04-29 北京航空航天大学 一种基于图像递归性的无监督遥感图像超分辨率重建方法
CN114723611A (zh) * 2022-06-10 2022-07-08 季华实验室 图像重建模型训练方法、重建方法、装置、设备及介质
CN116029907A (zh) * 2023-02-14 2023-04-28 江汉大学 一种图像降分辨率模型的处理方法、装置以及处理设备
CN116563412A (zh) * 2023-06-26 2023-08-08 中国科学院自动化研究所 基于稀疏***矩阵的mpi图像重建方法、***及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863742A (zh) * 2017-01-25 2019-06-07 华为技术有限公司 图像处理方法和终端设备
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及***
US20200408864A1 (en) * 2019-06-26 2020-12-31 Siemens Healthcare Gmbh Progressive generative adversarial network in medical image reconstruction
CN112686804A (zh) * 2020-12-29 2021-04-20 中国矿业大学 面向矿井低光照环境的图像超分辨率重建方法及装置
US20210133926A1 (en) * 2019-11-04 2021-05-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
CN112884657A (zh) * 2021-05-06 2021-06-01 中南大学 一种人脸超分辨率重建方法及***
CN113034449A (zh) * 2021-03-11 2021-06-25 深圳市优必选科技股份有限公司 目标检测模型训练方法、装置及通信设备
CN113112441A (zh) * 2021-04-30 2021-07-13 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113205005A (zh) * 2021-04-12 2021-08-03 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863742A (zh) * 2017-01-25 2019-06-07 华为技术有限公司 图像处理方法和终端设备
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
US20200408864A1 (en) * 2019-06-26 2020-12-31 Siemens Healthcare Gmbh Progressive generative adversarial network in medical image reconstruction
US20210133926A1 (en) * 2019-11-04 2021-05-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及***
CN112686804A (zh) * 2020-12-29 2021-04-20 中国矿业大学 面向矿井低光照环境的图像超分辨率重建方法及装置
CN113034449A (zh) * 2021-03-11 2021-06-25 深圳市优必选科技股份有限公司 目标检测模型训练方法、装置及通信设备
CN113205005A (zh) * 2021-04-12 2021-08-03 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法
CN113112441A (zh) * 2021-04-30 2021-07-13 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN112884657A (zh) * 2021-05-06 2021-06-01 中南大学 一种人脸超分辨率重建方法及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902617A (zh) * 2021-09-27 2022-01-07 中山大学·深圳 基于参考图像的超分辨率方法、装置、设备及介质
CN114418854A (zh) * 2022-01-24 2022-04-29 北京航空航天大学 一种基于图像递归性的无监督遥感图像超分辨率重建方法
CN114723611A (zh) * 2022-06-10 2022-07-08 季华实验室 图像重建模型训练方法、重建方法、装置、设备及介质
CN116029907A (zh) * 2023-02-14 2023-04-28 江汉大学 一种图像降分辨率模型的处理方法、装置以及处理设备
CN116029907B (zh) * 2023-02-14 2023-08-08 江汉大学 一种图像降分辨率模型的处理方法、装置以及处理设备
CN116563412A (zh) * 2023-06-26 2023-08-08 中国科学院自动化研究所 基于稀疏***矩阵的mpi图像重建方法、***及设备
CN116563412B (zh) * 2023-06-26 2023-10-20 中国科学院自动化研究所 基于稀疏***矩阵的mpi图像重建方法、***及设备

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN113344793A (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
US10410327B2 (en) Shallow depth of field rendering
CN112507997A (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN111784624B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及***
CN112750082A (zh) 基于融合注意力机制的人脸超分辨率方法及***
CN112330574A (zh) 人像修复方法、装置、电子设备及计算机存储介质
US11244426B2 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN110674759A (zh) 一种基于深度图的单目人脸活体检测方法、装置及设备
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN115797176A (zh) 一种图像超分辨率重建方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
US20230260083A1 (en) Computer-implemented method, computer program product and system for processing images
CN113781343A (zh) 一种超分辨率图像质量提升方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903

RJ01 Rejection of invention patent application after publication