CN116664409A - 图像超分辨率重建方法、装置、计算机设备及存储介质 - Google Patents

图像超分辨率重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116664409A
CN116664409A CN202310959247.5A CN202310959247A CN116664409A CN 116664409 A CN116664409 A CN 116664409A CN 202310959247 A CN202310959247 A CN 202310959247A CN 116664409 A CN116664409 A CN 116664409A
Authority
CN
China
Prior art keywords
image
resolution
feature
sparse
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310959247.5A
Other languages
English (en)
Other versions
CN116664409B (zh
Inventor
赵旭
汪婧
李德建
刘晗
李正浩
崔丙锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202310959247.5A priority Critical patent/CN116664409B/zh
Publication of CN116664409A publication Critical patent/CN116664409A/zh
Application granted granted Critical
Publication of CN116664409B publication Critical patent/CN116664409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像超分辨率重建方法、装置、计算机设备及存储介质。首先将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其次通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征；然后通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；接着通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；最后根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到目标分辨率图像。实现所有通道上使用统一掩码的方式的改进。

Description

图像超分辨率重建方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、计算机设备及存储介质。
背景技术
随着图像处理技术的发展，出现了一种用于将观察到的低分辨率图像重建出相应的高分辨率图像，来提高原有图像分辨率的图像超分辨率处理技术，该技术可以满足图像高清显示的需求，因此在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
相关技术中，可以通过使用掩码的方式跳过不必要的计算。然而，在所有通道上使用统一掩码的方式有待改进。
发明内容
本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种图像超分辨率重建方法、装置、计算机设备及存储介质。
本说明书实施方式提供一种图像超分辨率重建方法，所述方法包括：
将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；
通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；
通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；
通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；
根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
在其中一个实施方式，所述根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像，包括：
根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；
通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；
基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。
在其中一个实施方式，所述线性激活模块包括第二简易线性块和激活模块；所述将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征，包括：
通过所述第二简易线性块对所述初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征；
通过所述激活模块对所述高维图像特征进行操作，得到所述浅层图像特征。
在其中一个实施方式，采用以下公式得到所述细粒度稀疏掩码，包括：
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于所述预设数值，生成掩码0；
其中，表示所述细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
在其中一个实施方式，所述通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，包括：
利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；
对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；
利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；
基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
在其中一个实施方式，所述基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征，包括：
对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，/>的取值范围为不大于1；
基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。
在其中一个实施方式，所述超分辨率重建模型的生成过程，包括：
对第一分辨率图像进行双三次插值，得到第二分辨率图像；其中，所述第二分辨率图像的分辨率低于所述第一分辨率图像的分辨率；
对所述第二分辨率图像进行图像增强处理，得到训练图像样本集；
基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块；其中，所述轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；所述细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，所述鬼影特征提取分支用于提取所述第二分辨率图像中紧凑的鬼影特征；
将多个所述轻量级特征提取模块依次连接，构建初始模型；其中，所述轻量级特征提取模块的输入的每个通道被分配独立的掩码；
利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模型。
在其中一个实施方式，所述鬼影特征提取分支包括鬼影线性块，所述细粒度稀疏掩码分支包括第一简易线性块；其中，所述鬼影线性块包括相邻的第一卷积层和第二卷积层；所述第一简易线性块包括相邻的第三卷积层和第四卷积层；所述利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模型，包括：
利用所述训练图像样本集对所述初始模型进行训练，直至满足模型停止训练条件；
在所述初始模型完成训练之后，将所述第一卷积层和所述第二卷积层合并为一个卷积层，将所述第三卷积层和所述第四卷积层合并为一个卷积层，得到所述超分辨率重建模型。
本说明书实施方式提供一种图像超分辨率重建装置，所述装置包括：
浅层特征获取模块，用于将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；
第一深层提取模块，用于通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；
元素掩码设置模块，用于通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；
第二深层提取模块，用于通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；
超分辨率重建模块，用于根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
在其中一个实施方式，采用以下公式得到所述细粒度稀疏掩码，包括：
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于所述预设数值，生成掩码0；
其中，表示所述细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
在其中一个实施方式，所述第二深层提取模块，还用于利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
在其中一个实施方式，所述第二深层提取模块，还用于对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，/>的取值范围为不大于1；基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。本说明书实施方式提供一种计算机设备，所述计算机设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
上述说明书实施方式中，首先，将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其次，通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征；然后，通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；接着，通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；最后，根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到分辨率高于初始分辨率图像的目标分辨率图像。通过对第一深层图像特征中的每个元素进行掩码设置，得到细粒度稀疏掩码，且基于细粒度稀疏掩码进行鬼影特征提取，实现对相关技术中所有通道上使用统一掩码的方式的改进。
附图说明
图1a为本说明书实施方式提供的图像超分辨率重建方法的场景示意图；
图1b为本说明书一实施方式提供的图像超分辨率重建方法的流程示意图；
图1c为本说明书实施方式提供的轻量级特征提取模块的示意图；
图2a为本说明书实施方式提供的确定目标分辨率图像的流程示意图；
图2b为本说明书一实施方式提供的实现图像超分辨率重建方法的示意图；
图3a为本说明书实施方式提供的确定浅层图像特征的流程示意图；
图3b为本说明书另一实施方式提供的实现图像超分辨率重建方法的示意图；
图4a为本说明书一实施方式提供的确定第二深层图像特征的流程示意图；
图4b为本说明书实施方式提供的鬼影线性块包括的合并卷积层的示意图；
图5a为本说明书另一实施方式提供的确定第二深层图像特征的流程示意图；
图5b为本说明书实施方式提供的鬼影特征提取分支的示意图；
图6a为本说明书实施方式提供的超分辨率重建模型生成过程的流程示意图；
图6b为本说明书实施方式提供的轻量级特征提取模块的示意图；
图7a为本说明书实施方式提供的确定超分辨率重建模型的流程示意图；
图7b为本说明书实施方式提供的第一简易线性块包括的相邻的卷积层的示意图；
图7c为本说明书实施方式提供的第一简易线性块包括的合并卷积层的示意图；
图7d为本说明书实施方式提供的鬼影线性块包括的相邻的卷积层的示意图；
图8为本说明书另一实施方式提供的图像超分辨率重建方法的流程示意图；
图9为本说明书实施方式提供的图像超分辨率重建装置的示意图；
图10为本说明书实施方式提供的计算机设备的内部结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
随着图像处理技术的发展，出现了一种用于将观察到的低分辨率图像重建出相应的高分辨率图像，来提高原有图像分辨率的图像超分辨率处理技术，该技术可以满足图像高清显示的需求，因此在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
相关技术中，可以将图像分块输入不同复杂度的神经网络模型进行图像处理。也可以通过使用掩码的方式跳过不必要的计算。然而，不同通道上的特征冗余存在差异性，所以在所有通道上使用统一的掩码无法提取不同通道特征的差异性。比如SMSR（Sparse MaskSR，状态模拟软件***）提出在空间和信道中分别添加可学习掩码，跳过不需要计算的位置。SMSR采用两阶段方法，首先确定重要通道，然后通过跨所有通道的共享掩码识别重要空间区域。
示例性地，自从基于卷积神经网络的图像超分模型（SRCNN）工作以来，用于图像超分辨率重建的神经网络算法研究逐渐加深，如SRResNet（Super-Resolution ResidualNetwork，超分辨率残差网络）具有16个残差单元；在RCAN（Regulator of Calcineurin，低秩卷积神经网络重建超分辨率图像）框架中，具有400层神经网络深度。尽管通过更复杂的网络来提高原有图像分辨率的方法，在性能上已经取得了巨大的进展，但由于巨大的计算负载和复杂性，在资源受限（如嵌入式端侧设备等）的设备上的部署会受到限制。然而，SRCNN依赖于图像区域的context，训练收敛速度慢，且网络适用于单一尺度。因此，如何更为有效地利用神经网络特征通道的冗余性和稀疏性是实现更加有效的轻量级图像超分辨率网络的关键。
基于此，本说明书实施方式提供一种图像超分辨率重建方法。首先，将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其次，通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征；然后，通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；接着，通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；最后，根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到分辨率高于初始分辨率图像的目标分辨率图像。通过对第一深层图像特征中的每个元素进行掩码设置，得到细粒度稀疏掩码，且基于细粒度稀疏掩码进行鬼影特征提取，实现对相关技术中所有通道上使用统一掩码的方式的改进。
本说明书实施方式提供的方法可以应用于图1a的应用场景中，该图像超分辨率重建方法应用于终端110和服务器120。终端110和服务器120通过网络连接。服务器120可以用于搭建超分辨率重建模型，以及构建用于超分辨率重建模型的训练样本，并利用超分辨率重建模型的训练样本对初始超分辨率重建模型进行训练，直至满足模型训练停止条件，得到超分辨率重建模型。其中，超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块。第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支。细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，鬼影特征提取分支用于提取第二分辨率图像中紧凑的鬼影特征。将完成训练的超分辨率重建模型部署在终端110上。终端110将初始分辨率图像输入至超分辨率重建模型的线性激活模块中进行图像超分辨率的重建，终端110可以获取初始分辨率图像的浅层图像特征，通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征，通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码，通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到目标分辨率图像。
其中，终端110可以是具有网络访问能力的电子设备。具体地，例如，终端110可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。服务器120可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。服务器可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的***。或者，服务器还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。
本说明书实施方式提供一种图像超分辨率重建方法，请参阅图1b，该方法可以包括以下步骤：
S110、将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征。
S120、通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征。
其中，超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块。线性激活模块包括第二简易线性块和激活模块。请参阅图1c，第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支FGSM和鬼影特征提取分支GFEM。图片分辨率越高，图片越清晰，决定图片分辨率的是图片单位面积里包含的像素数量，图片越清晰所包含的总像素数量越多。超分辨率重建模型为针对超分辨网络中特征的稀疏性和冗余性所构建的。当获取图片或视频后，如需对其进行局部区域的放大，可以通过超分辨率算法来进行实现。
具体地，获取用于输入至超分辨率重建模型中的初始图像。对初始图像进行图像预处理，可以得到初始分辨率图像。将初始分辨率图像作为超分辨率重建模型的输入，通过超分辨率重建模型的线性激活模块对初始分辨率图像的浅层特征进行初步提取，可以得到初始分辨率图像的浅层图像特征。将浅层图像特征输入至第一轻量级特征提取模块进行特征提取，通过对浅层图像特征进行特征提取，可以得到第一深层图像特征。
在一些实施方式中，初始分辨率图像的尺寸可能会不一致，可以将图像尺寸大于64*64的初始分辨率图像进行随机裁剪，将每张初始分辨率图像的尺寸固定为64*64。
S130、通过细粒度稀疏掩码分支对第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码。
其中，细粒度稀疏掩码可以定位并跳过冗余计算来进行有效地推理。具体来说，空间掩码可以动态地识别重要区域，通道掩码可以标记不重要区域中的冗余通道。空间掩模的目标是识别第一深层图像特征中的重要区域(即0表示不重要区域，1表示重要区域)，信道掩码用于标记“不重要”区域中的冗余信道(即0表示冗余信道，1表示保留信道)。
在一些情况下，通过细粒度稀疏掩码分支可以削减超分辨率重建模型的冗余计算，从而实现高效的超分辨率重建模型。
具体地，第二轻量级特征提取模块包括细粒度稀疏掩码分支。将第一轻量级特征提取模块输出的第一深层图像特征作为细粒度稀疏掩码分支的输入，通过细粒度稀疏掩码分支可以对第一深层图像特征中的每个元素进行掩码设置，可以得到第一深层图像对应的细粒度稀疏掩码。
示例性地，细粒度稀疏掩码分支可以通过Gumbel-softmax策略（Gumbel-softmaxrelaxation，古贝尔-softmax策略）来为输入特征的每个元素设置不同的掩码，细粒度稀疏掩码的维度与第一深层图像特征的维度是一致的。比如细粒度稀疏掩码的维度为，第一深层图像特征的维度为/>。Gumbel-softmax策略的输出为取最大值，但是为了防止简单取最大值造成反向传播学习的适合的梯度截断，从而采用一个连续可导的函数来模拟取最大值的一种策略。Gumbel-softmax策略可以更精确地拟合不同的特征分布，实现更好的性能。
S140、通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征。
S150、根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到目标分辨率图像。
其中，对于端侧神经网络GhostNet网络结构输出的轻量级特征称为鬼影特征。鬼影特征提取分支与GhostNet的目标都是使用轻量级模块提取深层特征，所以鬼影特征提取分支输出的深层特征也称为鬼影特征。初始分辨率图像的分辨率低于目标分辨率图像的分辨率。
在一些情况下，超分辨率重建模型可以从给定的低分辨率（Low-Resolution，LR）的初始分辨率图像恢复出对应的高分辨率（High-Resolution，HR）的目标分辨率图像。
具体地，请继续参阅图1c，第二轻量级特征提取模块包括鬼影特征提取分支GFEM。将细粒度稀疏掩码（Fine-grained Masks）以及第一深层图像特征作为鬼影特征提取分支GFEM的输入，通过鬼影特征提取分支GFEM可以基于细粒度稀疏掩码对第一深层图像特征进行鬼影特征提取，可以得到对应的第二深层图像特征。然后对第二深层图像特征、浅层图像特征以及初始分辨率图像进行超分辨率重建，可以得到分辨率高于初始分辨率图像的目标分辨率图像。
上述图像超分辨率重建方法中，首先，将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其次，通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征；然后，通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；接着，通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；最后，根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到分辨率高于初始分辨率图像的目标分辨率图像。通过对第一深层图像特征中的每个元素进行掩码设置，得到细粒度稀疏掩码，且基于细粒度稀疏掩码进行鬼影特征提取，实现对相关技术中所有通道上使用统一掩码的方式的改进。
在一些实施方式中，请参阅图2a，根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到目标分辨率图像，可以包括以下步骤：
S210、根据第二深层图像特征与浅层图像特征进行残差连接，得到细节图像特征。
S220、通过第一简易线性块对细节图像特征进行维度降低处理，得到降维图像特征。
S230、基于初始分辨率图像与降维图像特征进行残差连接和上采样处理，得到目标分辨率图像。
其中，残差连接是将输入通过直连边加入卷积的输出。细节图像特征可以是图像中存在的高频细节。上采样处理可以是将特征图的分辨率还原到原始图片的分辨率大小。
具体地，请参阅图2b，在第二深层图像特征与浅层图像特征之间进行残差连接的建立，可以得到细节图像特征。通过第一简易线性块（Simple Linear Block，SLB）210可以对细节图像特征进行维度降低处理，通过对细节图像特征进行维度降低处理可以得到降维图像特征。然后，可以在初始分辨率图像与降维图像特征之间进行残差连接建立，可以得到初始分辨率图像与降维图像特征之间的图像细节。最后，通过Shuffle层（混洗层）220对初始分辨率图像230与降维图像特征进行上采样处理，可以得到分辨率高于初始分辨率图像的目标分辨率图像240。其中，Shuffle层指的是PixelShffule层（像素混洗层），Shuffle层是在超分领域广泛使用的一种具有上采样功能的卷积层。
上述图像超分辨率重建方法中，根据第二深层图像特征与浅层图像特征进行残差连接，得到细节图像特征，通过第一简易线性块对细节图像特征进行维度降低处理，得到降维图像特征，基于初始分辨率图像与降维图像特征进行残差连接和上采样处理，得到目标分辨率图像。可以降低神经网络模型的计算复杂度。
在一些实施方式中，请参阅图3a，线性激活模块包括第二简易线性块和激活模块。请参阅图3b，将初始分辨率图像230输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征，可以包括以下步骤：
S310、通过第二简易线性块对初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征。
S320、通过激活模块对高维图像特征进行操作，得到浅层图像特征。
具体地，请参阅图3b，将初始分辨率图像230输入至超分辨率重建模型的线性激活模块中，通过线性激活模块包括的第二简易线性块250可以扩展初始分辨率图像的通道数，通过扩展初始分辨率图像的通道数可以得到高维图像特征。然后通过线性激活模块包括的激活模块，可以初步提取高维图像特征的浅层特征，得到初始分辨率图像的浅层图像特征。其中，激活函数可以是通过Prelu激活层260来实现的。
上述图像超分辨率重建方法中，通过第二简易线性块对初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征，通过激活模块对高维图像特征进行操作，得到浅层图像特征。可以为后续得到细粒度稀疏掩码以及进行鬼影特征的提取提供输入数据。
在一些实施方式中，采用以下公式得到细粒度稀疏掩码，可以包括：
其中，表示细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
具体地，若得到细粒度稀疏掩码的公式中，当前元素的大于预设数值，可以生成掩码1，若当前元素的/>不大于预设数值，可以生成掩码0。
上述图像超分辨率重建方法中，若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于预设数值，生成掩码0。可以通过细粒度稀疏掩码提取不同通道特征的差异性。
在一些实施方式中，请参阅图4a，通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，可以包括以下步骤：
S410、利用第一深层图像特征与细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征。
S420、对稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征。
S430、利用卷积后的稀疏图像特征与第一深层图像特征进行相加处理，得到第一中间图像特征。
S440、基于第一中间图像特征进行鬼影特征提取，得到第二深层图像特征。
其中，请继续参阅图1c，通过轻量级特征提取模块包括的鬼影特征提取分支GFEM，可以基于细粒度稀疏掩码（Fine-grained Masks）以及第一深层图像特征进行鬼影特征提取，得到第二深层图像特征。鬼影特征提取分支包括鬼影线性块（Ghost Linear Block，GLB），请参阅图4b，鬼影线性块（Ghost Linear Block，GLB）包括1*1的卷积层和3*3的卷积层，通过鬼影线性块（Ghost Linear Block，GLB）所包括的卷积层可以对稀疏图像特征进行稀疏卷积处理。
具体地，将第一深层图像特征与细粒度稀疏掩码输入至鬼影线性块（GhostLinear Block，GLB）中。在鬼影线性块（Ghost Linear Block，GLB）中，可以先将第一深层图像特征与细粒度稀疏掩码进行逐点相乘，得到疏图像特征。其次，可以将稀疏图像特征依次通过1*1的卷积层和3*3的卷积层进行稀疏卷积处理，得到卷积后的稀疏图像特征。然后利用卷积后的稀疏图像特征与第一深层图像特征进行相加处理，得到第一中间图像特征。最后，通过对第一中间图像特征进行鬼影特征提取，得到第二深层图像特征。
上述图像超分辨率重建方法中，利用第一深层图像特征与细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征，对稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征，利用卷积后的稀疏图像特征与第一深层图像特征进行相加处理，得到第一中间图像特征，基于第一中间图像特征进行鬼影特征提取，得到第二深层图像特征。
在一些实施方式中，请参阅图5a，基于第一中间图像特征进行鬼影特征提取，得到第二深层图像特征，可以包括以下步骤：
S510、对第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征。
S520、基于第二中间图像特征进行通道注意力分布处理和激活处理，得到第二深层图像特征。
其中，的取值范围为不大于1。
具体地，请参阅图5b，通过鬼影线性块（Ghost Linear Block，GLB），可以得到第一中间图像特征。通过3*3的卷积层（3×3 depthwise conv）对第一中间图像特征进行深度可分离卷积的操作，可以将通道数鬼影率调整为/>，接着对第一中间图像特征的通道维度进行残差连接，可以得到通道维度为C的第二中间图像特征。最后，通过Channel Attention模块（通道注意力模块）可以对通道维度为C的第二中间图像特征进行注意力分布处理的操作，再经过Prelu激活层可以得到第二深层图像特征。
上述图像超分辨率重建方法中，对第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征，基于第二中间图像特征进行通道注意力分布处理和激活处理，得到第二深层图像特征。通过残差连接可以学习第一中间图像的高频细节。
在一些实施方式中，请参阅图6a，超分辨率重建模型的生成过程，可以包括以下步骤：
S610、对第一分辨率图像进行双三次插值，得到第二分辨率图像。
其中，第二分辨率图像的分辨率低于第一分辨率图像的分辨率。双三次插值通常用于锐化和放大数字图像。插值的本质是通过几个点的值计算出一个点的值，双三次插值实际上是对像素做了平滑处理，不同像素点的值实际上是一个函数的采样点。
具体地，可以获取多张高分辨率图像（HR）作为第一分辨率图像，对第一分辨率图像进行双三次插值（bicubic downscaling），可以得到第二分辨率图像。其中，获取到的多张高分辨率图像一部分可以作为训练样本集，一部分可以作为验证样本集。
示例性地，在高分辨率数据集DIV2K中有800张训练集图片和100张验证集图片。在高分辨率（HR）图像即第一分辨率图像上应用双三次插值（bicubic downscaling）可以得到低分辨率（LR）图像即第二分辨率图像。
S620、对第二分辨率图像进行图像增强处理，得到训练图像样本集。
其中，图像增强处理包括但不限于随机裁剪操作、旋转操作、平移操作。
在一些情况下，对图像进行图像增强处理，可以扩大训练样本集的数量，增加模型的泛化性。
具体地，将每张低分辨率图像随机裁剪成64*64的图像块，共获得64*800=51200个训练图像样本集。还可以通过图像随机旋转和水平翻转进行图像增强处理。第一分辨率图像通过双三次插值进行下采样，可以得到第二分辨率图像，此时每张第二分辨率图像的尺寸可能会不一致，将大于64*64图像尺寸的第二分辨率图像进行随机裁剪，或者可以将每张图片大小固定为64*64，可以得到训练图像样本集。
S630、基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块。
其中，轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，鬼影特征提取分支用于提取第二分辨率图像中紧凑的鬼影特征。通过重参数化方法可以降低推理复杂度，可以得到更清晰的纹理区域特征。
在一些情况下，轻量级特征提取模块中的输入的每个通道都被分配独立的掩码以进一步地降低超分辨率重建模型的计算复杂度。
具体地，低分辨率图像的细节缺失主要位于边缘区域、纹理区域，而平坦区域则较少缺失，故而赋予更少的计算量处理可以得到相同的效果。第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征可以用来构建轻量级特征提取模块。
S640、将多个轻量级特征提取模块依次连接，构建初始模型。
S650、利用训练图像样本集对初始模型进行训练，得到超分辨率重建模型。
其中，轻量级特征提取模块的输入的每个通道被分配独立的掩码。
具体地，多个轻量级特征提取模块可以依据各自的功能依次连接，可以构建初始模型。将得到训练图像样本集输入至初始模型进行图像超分辨率的重建，可以得到分辨率高于初始分辨率图像的目标分辨率图像。标签图像为训练图像样本集的原高分辨率的图像。然后基于训练图像样本对应的目标分辨率图像以及标签图像可以确定初始模型的损失值，基于模型损失值对初始模型进行参数的更新。以此类推，继续对更新后的初始模型进行训练，当达到模型训练停止条件时，可以得到超分辨率重建模型。其中，模型训练停止条件可以是模型损失值趋于收敛，也可以是训练轮次达到预设的轮次数量。
模型损失值的公式如下所示：
其中，表示目标分辨率图像与标签图像之间的损失，/>和/>分别表示标签图像和目标分辨率图像，/>用于权衡稀疏掩码损失和目标分辨率图像与标签图像之间的损失。其中稀疏掩码损失可以表示为：
其中，表示第i层中稀疏位置处的FLOPs（Floating-point Operations PerSecond，每秒浮点运算次数）的数目之和，而/>表示第i层所有位置FLOPs数量的总和。通过调整超参数/>来控制稀疏比，从而控制模型的复杂性，从而控制稀疏损失。
本实施方式中，请参阅图6b，GFFS为轻量级特征提取模块，轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支，FGSM为细粒度稀疏掩码分支，GFEM为鬼影特征提取分支。①表示输入来自上一层GFFS的输出，②表示输入来自于当前轻量级特征提取模块中细粒度稀疏掩码分支的输出。上一层GFFS的输出作为FGSM包括的1*1卷积层的输入，通过1*1卷积层得到的输出结果作为Relu层的输入，通过Relu层得到的输出结果作为简易线性块（Simple Linear Block，SLB）的输入，通过简易线性块（Simple LinearBlock，SLB）得到的输出结果作为Prelu层的输入，通过Prelu层可以得到细粒度稀疏掩码（Fine-grainen Masks）。上一层GFFS的输出和细粒度稀疏掩码可以作为GFEM包括的鬼影线性块（Ghost Linear Block，GLB）的输入，通过鬼影线性块（Ghost Linear Block，GLB）得到的输出结果作为层即3*3的卷积层（3×3 depthwise conv）的输入，通过/>层得到的输出结果和通过鬼影线性块（Ghost Linear Block，GLB）得到的输出结果作为Channel Attention模块的输入，通过Channel Attention模块得到的输出结果作为Prelu层的输入，通过Prelu层得到的输出结果可以得到第二深层图像特征。
本实施方式中，请继续参阅图3b，GFFS为轻量级特征提取模块。将初始分辨率图像230作为简易线性块（Simple Linear Block，SLB）的输入，通过简易线性块（Simple LinearBlock，SLB）得到的输出结果作为Prelu层的输入，通过Prelu层得到的输出结果作为GFFS模块的输入，中间经过的GFFS模块数量可以根据具体的情况进行设置。经过最后一个GFFS模块的输出结果与通过Prelu层得到的输出结果作为简易线性块（Simple Linear Block，SLB）的输入，通过简易线性块（Simple Linear Block，SLB）得到的输出结果和初始分辨率图像230作为Shuffle层的输入，通过Shuffle层得到的输出结果作为目标分辨率图像240。
上述图像超分辨率重建方法中，对第二分辨率图像进行图像增强处理，得到训练图像样本集，对第二分辨率图像进行图像增强处理，得到训练图像样本集，基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块，将多个轻量级特征提取模块依次连接，构建初始模型，利用训练图像样本集对初始模型进行训练，得到超分辨率重建模型。通过构建超分辨率重建模型，可以降低神经网络模型的计算复杂度。
在一些实施方式中，请参阅图7a，鬼影特征提取分支包括鬼影线性块，细粒度稀疏掩码分支包括第一简易线性块；其中，鬼影线性块包括相邻的第一卷积层和第二卷积层；第一简易线性块包括相邻的第三卷积层和第四卷积层；利用训练图像样本集对初始模型进行训练，得到超分辨率重建模型，可以包括以下步骤：
S710、利用训练图像样本集对初始模型进行训练，直至满足模型停止训练条件。
S720、在初始模型完成训练之后，将第一卷积层和第二卷积层合并为一个卷积层，将第三卷积层和第四卷积层合并为一个卷积层，得到超分辨率重建模型。
其中，模型停止训练条件可以是模型损失值趋于收敛，也可以是训练轮次达到预设的轮次数量。
具体地，在模型训练阶段，请参阅图7b，第一简易线性块（Simple Linear Block，SLB）包括相邻的第三卷积层和第四卷积层。第三卷积层可以为3*3的卷积层，第四卷积层可以为1*1的卷积层。在初始模型完成训练之后，请参阅图7c，可以将第三卷积层和第四卷积层合并为一个3*3的卷积层。在模型训练阶段，请参阅图7d，鬼影线性块（Ghost LinearBlock，GLB）包括相邻的第一卷积层和第二卷积层，第一卷积层可以为3*3的卷积层，第二卷积层可以为1*1的卷积层。在初始模型完成训练之后，请参阅图4b，可以将第一卷积层和第二卷积层合并为一个3*3的卷积层。鬼影线性块和第一简易线性块在型训练阶段和在初始模型完成训练之后两个阶段使用的结构是不同的，即节约了1*1的卷积层和直连操作，但输出结果是相同的。在初始模型完成训练之后，第一卷积层和第二卷积层合并为的一个卷积层与第三卷积层和第四卷积层合并为的一个卷积层可以构成超分辨率重建模型的部分。
上述图像超分辨率重建方法中，利用训练图像样本集对初始模型进行训练，直至满足模型停止训练条件，在初始模型完成训练之后，将第一卷积层和第二卷积层合并为一个卷积层，将第三卷积层和第四卷积层合并为一个卷积层，得到超分辨率重建模型。通过合并卷积层可以降低网络的复杂度。
本说明书实施方式还提供一种图像超分辨率重建方法，示例性地，请参阅图8，该图像超分辨率重建方法可以包括以下步骤：
S802、将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，通过第二简易线性块对初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征。
其中，线性激活模块包括第二简易线性块和激活模块。超分辨率重建模型包括若干依次连接的第二简易线性块、激活模块、第一轻量级特征提取模块、第二轻量级特征提取模块和第一简易线性块；第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支。
S804、通过激活模块对高维图像特征进行操作，得到浅层图像特征。
S806、通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征。
S808、通过细粒度稀疏掩码分支对第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码。
其中，可以通过以下公式得到细粒度稀疏掩码
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于预设数值，生成掩码0；
其中，表示细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
S810、利用第一深层图像特征与细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征。
S812、对稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征。
S814、利用卷积后的稀疏图像特征与第一深层图像特征进行相加处理，得到第一中间图像特征。
S816、对第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征。
其中，的取值范围为不大于1。
S818、基于第二中间图像特征进行通道注意力分布处理和激活处理，得到第二深层图像特征。
S820、根据第二深层图像特征与浅层图像特征进行残差连接，得到细节图像特征。
S822、通过第一简易线性块对细节图像特征进行维度降低处理，得到降维图像特征。
S824、基于初始分辨率图像与降维图像特征进行残差连接和上采样处理，得到目标分辨率图像。
其中，初始分辨率图像的分辨率低于目标分辨率图像的分辨率。
本说明书实施例相比于其它轻量级图像超分辨模型（SRCNN、FSRCNN、MOREMNAS-C、SESR等），在Urban100数据集上执行180p到720p放大时，本说明书实施例提出的方法(SRGFS)在图像质量（以PSNR为指标）和计算复杂度（以乘加次数MACs)以及模型参数量Params均得到了更好的效果。SRGFS T/-S表示本说明书实施例提出方法的微模型和小模型两个版本，具有不同数量GFFS的模型，-Unify表示本说明书实施例所提方法去掉细粒度掩码设计后的模型。
本说明书实施方式提供一种图像超分辨率重建装置900，请参阅图9，图像超分辨率重建装置900包括：浅层特征获取模块910、第一深层提取模块920、元素掩码设置模块930、第二深层提取模块940、超分辨率重建模块950。
浅层特征获取模块910，用于将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；
第一深层提取模块920，用于通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；
元素掩码设置模块930，用于通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；
第二深层提取模块940，用于通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；
超分辨率重建模块950，用于根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
在一些实施方式中，所述超分辨率重建模块950，还用于根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。
在一些实施方式中，采用以下公式得到所述细粒度稀疏掩码，包括：
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于所述预设数值，生成掩码0；
其中，表示所述细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
在一些实施方式中，所述第二深层提取模块940，还用于利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
在一些实施方式中，所述第二深层提取模块940，还用于对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，/>的取值范围为不大于1；基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。
关于图像超分辨率重建装置900的具体描述，可以参见上文中对图像超分辨率重建定方法的描述，在此不再赘述。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像超分辨率重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。
本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (15)

1.一种图像超分辨率重建方法，其特征在于，所述方法包括：
将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型还包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；
通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；
通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；
通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；
根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像，包括：
根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；
通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；
基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。
3.根据权利要求1所述的方法，其特征在于，所述线性激活模块包括第二简易线性块和激活模块；所述将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征，包括：
通过所述第二简易线性块对所述初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征；
通过所述激活模块对所述高维图像特征进行操作，得到所述浅层图像特征。
4.根据权利要求1所述的方法，其特征在于，采用以下公式得到所述细粒度稀疏掩码，包括：
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于所述预设数值，生成掩码0；
其中，表示所述细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
5.根据权利要求1所述的方法，其特征在于，所述通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，包括：
利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；
对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；
利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；
基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征，包括：
对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，/>的取值范围为不大于1；
基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述超分辨率重建模型的生成过程，包括：
对第一分辨率图像进行双三次插值，得到第二分辨率图像；其中，所述第二分辨率图像的分辨率低于所述第一分辨率图像的分辨率；
对所述第二分辨率图像进行图像增强处理，得到训练图像样本集；
基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块；其中，所述轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；所述细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，所述鬼影特征提取分支用于提取所述第二分辨率图像中紧凑的鬼影特征；
将多个所述轻量级特征提取模块依次连接，构建初始模型；其中，所述轻量级特征提取模块的输入的每个通道被分配独立的掩码；
利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模型。
8.根据权利要求7所述的方法，其特征在于，所述鬼影特征提取分支包括鬼影线性块，所述细粒度稀疏掩码分支包括第一简易线性块；其中，所述鬼影线性块包括相邻的第一卷积层和第二卷积层；所述第一简易线性块包括相邻的第三卷积层和第四卷积层；所述利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模型，包括：
利用所述训练图像样本集对所述初始模型进行训练，直至满足模型停止训练条件；
在所述初始模型完成训练之后，将所述第一卷积层和所述第二卷积层合并为一个卷积层，将所述第三卷积层和所述第四卷积层合并为一个卷积层，得到所述超分辨率重建模型。
9.一种图像超分辨率重建装置，其特征在于，所述装置包括：
浅层特征获取模块，用于将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；
第一深层提取模块，用于通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；
元素掩码设置模块，用于通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；
第二深层提取模块，用于通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；
超分辨率重建模块，用于根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
10.根据权利要求9所述的装置，其特征在于，所述超分辨率重建模块，还用于根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。
11.根据权利要求9所述的装置，其特征在于，采用以下公式得到所述细粒度稀疏掩码，包括：
若当前元素的大于预设数值，生成掩码1，若当前元素的/>不大于所述预设数值，生成掩码0；
其中，表示所述细粒度稀疏掩码分支的软输出，/>表示从Gumbel（0，1）分布中采样的噪声，/>为权衡参数，/>表示Sigmoid激活函数。
12.根据权利要求9所述的装置，其特征在于，所述第二深层提取模块，还用于利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
13.根据权利要求12所述的装置，其特征在于，所述第二深层提取模块，还用于对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整/>，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，/>的取值范围为不大于1；基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202310959247.5A 2023-08-01 2023-08-01 图像超分辨率重建方法、装置、计算机设备及存储介质 Active CN116664409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310959247.5A CN116664409B (zh) 2023-08-01 2023-08-01 图像超分辨率重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310959247.5A CN116664409B (zh) 2023-08-01 2023-08-01 图像超分辨率重建方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116664409A true CN116664409A (zh) 2023-08-29
CN116664409B CN116664409B (zh) 2023-10-31

Family

ID=87715727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310959247.5A Active CN116664409B (zh) 2023-08-01 2023-08-01 图像超分辨率重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116664409B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN113298716A (zh) * 2021-05-31 2021-08-24 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及***
CN115239553A (zh) * 2022-05-31 2022-10-25 武汉工程大学 卫星图像超分辨率重建方法、***、设备和可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN113298716A (zh) * 2021-05-31 2021-08-24 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN115239553A (zh) * 2022-05-31 2022-10-25 武汉工程大学 卫星图像超分辨率重建方法、***、设备和可读存储介质
CN115063297A (zh) * 2022-06-30 2022-09-16 中国人民解放军战略支援部队信息工程大学 基于参数重构的图像超分辨率重建方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐磊; 宋慧慧; 刘青山: "《多层次融合注意力网络的双目图像超分辨率重建》", 《中国图象图形学报》, pages 1 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建***及方法
CN117495681B (zh) * 2024-01-03 2024-05-24 国网山东省电力公司济南供电公司 一种红外图像超分辨重建***及方法

Also Published As

Publication number Publication date
CN116664409B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
Chen et al. Image super-resolution reconstruction based on feature map attention mechanism
Zeng et al. Coupled deep autoencoder for single image super-resolution
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Zhang et al. NTIRE 2023 challenge on image super-resolution (x4): Methods and results
CN111105352A (zh) 超分辨率图像重构方法、***、计算机设备及存储介质
CN116664409B (zh) 图像超分辨率重建方法、装置、计算机设备及存储介质
WO2022042124A1 (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112991171B (zh) 图像处理方法、装置、电子设备及存储介质
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN114494022B (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
CN114519667A (zh) 一种图像超分辨率重建方法及***
Muhammad et al. Multi-scale Xception based depthwise separable convolution for single image super-resolution
Jung et al. A fast deconvolution-based approach for single-image super-resolution with GPU acceleration
CN115147284A (zh) 视频处理方法、装置、计算机设备和存储介质
CN116547694A (zh) 用于对模糊图像去模糊的方法和***
CN115272082A (zh) 模型训练、视频质量提升方法、装置和计算机设备
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
Esmaeilzehi et al. Ultralight-weight three-prior convolutional neural network for single image super resolution
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image
Du Single image super-resolution using global enhanced upscale network
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN114066722B (zh) 用于获取图像的方法、装置和电子设备
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及***
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
CN115115972A (zh) 视频处理方法、装置、计算机设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant