CN114926342A - 图像超分辨率重建模型构建方法、装置、设备及存储介质 - Google Patents

图像超分辨率重建模型构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114926342A
CN114926342A CN202210612479.9A CN202210612479A CN114926342A CN 114926342 A CN114926342 A CN 114926342A CN 202210612479 A CN202210612479 A CN 202210612479A CN 114926342 A CN114926342 A CN 114926342A
Authority
CN
China
Prior art keywords
feature map
image
resolution
deep layer
layer feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210612479.9A
Other languages
English (en)
Inventor
陈实
张乐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210612479.9A priority Critical patent/CN114926342A/zh
Publication of CN114926342A publication Critical patent/CN114926342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像超分辨率重建模型构建方法、装置、设备及存储介质，涉及计算机视觉技术领域，包括获取训练数据集，训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；构建图像超分辨率网络，超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；基于训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。本申请能够在保证图像超分辨率重建结果的同时，减小模型的容量和计算消耗以及提升模型的推理速度。

Description

图像超分辨率重建模型构建方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种图像超分辨率重建模型构建方法、装置、设备及存储介质。
背景技术
超分辨率是计算机视觉以及图像处理领域中一个重要的任务，其被广泛地应用在目标检测、智能移动设备、大型的智能屏幕显示设备、医学图像、安全监控中的目标识别以及遥感图像等领域。其中，图像超分辨率重建旨在从因各种原因而退化的低分辨率图像中重建出拥有纹理细节以及良好视觉效果的高分辨率图像。不过，图像超分辨率重建是一个不适定的任务，即对于某一个低分辨率图像输入而言，可能存在着多个不同的高分辨率图像与之对应，是一种一对多的映射关系。
近年来，随着深度学习在计算机视觉领域的兴起，图像处理、图像理解以及模式识别等计算机视觉任务迅速发展，并取得了远远超过传统方法的成果。自然地，深度学习在图像超分辨率领域也产生了深远的影响，越来越多复杂的深度网络在超分辨率领域实现世界一流的性能。然而，大多数的现有方法在逐渐增加网络深度与复杂度的同时却忽略了模型的容量与运算效率。因此，这些深度模型存在着难以部署到移动终端设备上以及运算速率慢等问题，使得这些方法并不适用于资源有限的设备。
为了解决上述问题，大量的轻量型卷积神经网络模型被提出，不过当前的轻量型超分辨率算法由于使用了较大的卷积核，因此存在一些冗余参数，以致模型运行效率低；且由于其所采用的普通卷积机制的感受野较小，进而导致无法捕捉长距离信息依赖关系，存在超分辨率重建结果精度差的问题。
发明内容
本申请提供一种图像超分辨率重建模型构建方法、装置、设备及存储介质，以解决相关技术中存在的模型运行效率低以及超分辨率重建结果精度差的问题。
第一方面，提供了一种图像超分辨率重建模型构建方法，包括以下步骤：
获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
一些实施例中，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
一些实施例中，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
一些实施例中，所述基于所述训练数据集对图像超分辨率网络进行训练，包括：
在前N个Epoch的迭代过程中基于第一损失函数进行训练，其中，N为正整数；
在第N个Epoch之后的迭代过程中基于第二损失函数进行网络参数的调整。
一些实施例中，在所述获取训练数据集的步骤之前，还包括：
获取初始高分辨率图像以及与初始高分辨率图像对应的初始低分辨率图像；
分别对所述初始高分辨率图像和所述初始低分辨率图像进行随机裁剪，得到裁剪后的高分辨率图像和裁剪后的低分辨率图像，所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像的尺寸相同；
分别对所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像进行翻转和旋转的数据增强处理，得到处理后的高分辨率图像和处理后的低分辨率图像。
第二方面，提供了一种图像超分辨率重建模型构建装置，包括：
获取单元，其用于获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
构建单元，其用于构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
训练单元，其用于基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
一些实施例中，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
一些实施例中，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
第三方面，提供了一种图像超分辨率重建模型构建设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的图像超分辨率重建模型构建方法。
第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的图像超分辨率重建模型构建方法。
本申请提供的技术方案带来的有益效果包括：能够在保证图像超分辨率重建结果的同时，减小模型的容量和计算消耗以及提升模型的推理速度。
本申请提供了一种图像超分辨率重建模型构建方法、装置、设备及存储介质，包括获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。本申请通过基于混合空洞卷积的残差特征蒸馏子模块能在不增加网络参数的情况下扩大特征提取的感受野，不仅可减少模型的冗余参数，提高特征信息提取的效率，还可使得提取到的特征包含更多的全局信息，进而提高超分辨率重建结果的精度；并利用递归思想将深层特征提取分解为4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，以有效降低模型复杂度，并提高信息处理效率，因此本申请能够在保证图像超分辨率重建结果的同时，减小模型的容量和计算消耗以及提升模型的推理速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像超分辨率重建模型构建方法的流程示意图；
图2为本申请实施例提供的图像超分辨率网络的结构示意图；
图3为本申请实施例提供的DRFDB的结构示意图；
图4为本申请实施例提供的CCALayer的结构示意图；
图5为本申请实施例提供的一种图像超分辨率重建模型构建设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种图像超分辨率重建模型构建方法、装置、设备及存储介质，其能解决相关技术中存在的模型运行效率低以及超分辨率重建结果精度差的问题。
图1是本申请实施例提供的一种图像超分辨率重建模型构建方法，包括以下步骤：
步骤S10：获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
进一步的，在所述获取训练数据集的步骤之前，还包括：
获取初始高分辨率图像以及与初始高分辨率图像对应的初始低分辨率图像；
分别对所述初始高分辨率图像和所述初始低分辨率图像进行随机裁剪，得到裁剪后的高分辨率图像和裁剪后的低分辨率图像，所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像的尺寸相同；
分别对所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像进行翻转和旋转的数据增强处理，得到处理后的高分辨率图像和处理后的低分辨率图像。
示范性的，本实施例中，可通过在网络上下载图像恢复领域最具影响力的全球性赛事“图像恢复与增强的新趋势大赛”中提供的数据集DIV2K以及该领域中另一个常用的数据集Flickr2K中收集大量的高分辨率图像与低分辨率图像对形成训练数据。比如从网络上下载DIV2K数据集以及Flickr2K数据集中的高分辨率图像(High-Resolution Image，HR)
Figure BDA0003672353020000071
与对应的不同下采样倍数的低分辨率图像(Low-Resolution Image，LR)
Figure BDA0003672353020000072
其中，高分辨率图像和低分辨率图像可分别包含800和2650张训练图片，且低分辨率图像的下采样倍数分别为2倍、3倍以及4倍。然后将收集到的高分辨率图像和低分辨率图像随机裁剪至固定像素大小(比如256×256的像素)，再对裁剪后的图像进行随机水平翻转和90度的旋转以实现数据增强，而经过数据增强后的图像形成最终的训练数据集。
步骤S20：构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
进一步的，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
进一步的，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
示范性的，本实施例中，构建基于特征蒸馏的快速图像超分辨率网络，参见图2所示，该网络主要由三个部分组成：浅层特征提取、深层特征提取以及图像重建。首先在浅层特征提取模块中通过简单的卷积层(即一个Conv3卷积核)来提取输入图像的浅层特征，得到浅层特征图；然后通过4个迭代的基于空洞卷积的残差特征蒸馏子模块(DilatedResidual Feature Distillation Block，DRFDB)来迭代提取图像深层特征信息和图像细粒度信息以实现深层特征提取，进而得到深层特征图；最后通过图像重建模块(即Sub-pixel)对深层特征图和浅层特征图进行子像素卷积操作得到图像超分辨率重建结果(Super-Resolution，SR)。
具体的，参见图3所示，基于空洞卷积的残差特征蒸馏子模块由三次特征蒸馏操作组成，其中每一次特征蒸馏操作利用1×1的卷积(Conv-1)来处理特征图中分离出来的一半通道作为局部信息直接传递到模块尾部，然后将特征图的全部通道作为下一个分离操作(即dilated conv)的输入来逐渐扩大感受野提取全局信息；另外，在提取全局信息时使用了一种混合空洞卷积提取方案，通过在3次全局信息提取时使用预先计算好的空洞率可以避免一般空洞卷积叠加可能会导致的信息丢失(即棋盘效应的问题)；最后在模块尾部将每次分离出来的局部特征信息以及最终的全局特征信息拼接起来，得到拼接特征图；参见图4所示，再通过一种改进的通道注意力机制以及卷积操作(即CCALayer)来对拼接特征图进行进一步提取细粒度信息，该机制是一种更适应于超分辨率等底层视觉任务的通道注意力，其将普通通道注意力中的全局平均池化层替换为像素平均值和标准差的和，使得网络更关注纹理边缘以及结构信息，进而得到最终深层特征图，提取到的最终深层特征图将作为下一模块的输入，并将每一个DRFDB模块的输出以及从浅层特征提取模块输入的浅层特征图拼接起来送入网络尾部的图像重建模块。
步骤S30：基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
进一步的，所述基于所述训练数据集对图像超分辨率网络进行训练，包括：
在前N个Epoch的迭代过程中基于第一损失函数进行训练，其中，N为正整数；
在第N个Epoch之后的迭代过程中基于第二损失函数进行网络参数的调整。
示范性的，本实施例中，在利用训练数据集训练图像超分辨率网络网络时，使用Adam(Adaptive Moment Estimation，自适应梯度动量估计优化器)优化器计算梯度并更新网络参数，并最终形成图像超分辨率重建模型。其中，对于该图像超分辨率网络的训练分为2个步骤，比如首先在前1000个Epoch(当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个Epoch)的迭代过程中使用损失函数L1(比如
Figure BDA0003672353020000101
)来训练网络；然后在后1000个Epoch的训练过程中利用损失函数L2(比如
Figure BDA0003672353020000102
)对网络参数进行微调。
由此可见，本申请实施例通过基于混合空洞卷积的残差特征蒸馏子模块能在不增加网络参数的情况下扩大特征提取的感受野，不仅可减少模型的冗余参数，提高特征信息提取的效率，还可使得提取到的特征包含更多的全局信息，进而提高超分辨率重建结果的精度；并利用递归思想将深层特征提取分解为4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，以有效降低模型复杂度，并提高信息处理效率，因此本申请能够在保证图像超分辨率重建结果的同时，减小模型的容量和计算消耗以及提升模型的推理速度。
以下结合图2至图4进一步阐释图像超分辨率重建模型的工作原理。
将训练数据集中的高分辨率图像和低分辨率图像输入至浅层特征提取模块(即Conv3)进行浅层特征提取，得到浅层特征图；接下来DRFDB模块将会对该浅层特征图进行深层特征信息和图像细粒度信息的提取(由于每个DRFDB模块进行深层特征提取的原理相似，为了描述的简洁性，本实施例仅对其中一个DRFDB模块从上至下的工作流程进行阐述)：对浅层特征图进行第一次的特征蒸馏操作得到第一浅层特征图和第二浅层特征图，第一浅层特征图作为局部信息直接输入至第一个Conv-1进行进一步特征提取，并将第二浅层特征图输入至第一个dilated conv；第一个dilated conv将对第二浅层特征图进行混合空洞卷积处理，以提取全局特征信息得到第一深层特征图，并对第一深层特征图进行特征蒸馏操作得到第二深层特征图和第三深层特征图；然后将第二深层特征图作为局部信息直接输入至第二个Conv-1进一步特征提取，且将第三深层特征图输入至第二个dilated conv；第二个dilated conv将对第三深层特征图进行混合空洞卷积处理，以提取全局特征信息得到第四深层特征图，并对第四深层特征图进行特征蒸馏操作得到第五深层特征图和第六深层特征图；再将第五深层特征图作为局部信息直接输入至第三个Conv-1进一步特征提取，并对第六深层特征图进行混合空洞卷积处理，以提取全局特征信息得到第七深层特征图，且将第七深层特征图输入至Conv-3进行进一步特征提取；接着将三个Conv-1进行特征提取后输出的特征图与Conv-3输出的特征图进行拼接得到拼接特征图，并通过第四个Conv-1对拼接特征图进行进一步特征提取，且将其输出的拼接特征图输入至对比感知注意力层(即CCALayer)进行图像细粒度信息提取。
参见图4所示，图像细粒度信息提取的具体过程为：CCA Layer中的Contrast层对拼接特征图进行对比学习，并基于两个Conv-1改变通过对比学习得到的特征图的通道数量，且通过sigmoid来赋予特征图上每个通道的重要程度(即权重)，再将sigmoid输出的特征图与原始的拼接特征图进行叉乘得到新的拼接特征图；接着将CCALayer输出的新的拼接特征图和浅层特征提取模块输出的浅层特征图进行残差相加，即可得到最终深层特征图；参见图2所示，将四个DRFDB模块输出的最终深层特征图输入至Conv1和Conv3进行卷积操作，得到总的深层特征图；并将总的深层特征图与浅层特征提取模块输出的浅层特征图输入至一个Conv3中进行进一步卷积操作，最后将卷积结果输入至Sub-pixel中进行子像素卷积以及一系列的卷积操作，即可得到图像超分辨率重建结果。
由此可见，本申请实施例提出了基于空洞卷积的残差特征蒸馏子模块，该模块能在不增加网络参数的情况下扩大特征提取的感受野，从而使得提取到的特征包含更多的全局信息，提高了网络提取特征信息的效率；且本申请实施例中超分重建的过程被分成浅层特征提取、深层特征提取以及图像超分辨率重建3个过程，利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，提高了信息处理效率；相比于已有的轻量化图像超分辨率模型，本申请实施例提出的网络能够在保证图像超分辨率重建结果的同时，减少模型的参数数量、减小模型的容量、浮点计算量和计算消耗以及提升模型的推理速度，从而提高模型在实际应用中的效率。
本申请实施例还提供了一种图像超分辨率重建模型构建装置，包括：
获取单元，其用于获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
构建单元，其用于构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
训练单元，其用于基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
本申请实施例通过基于混合空洞卷积的残差特征蒸馏子模块能在不增加网络参数的情况下扩大特征提取的感受野，不仅可减少模型的冗余参数，提高特征信息提取的效率，还可使得提取到的特征包含更多的全局信息，进而提高超分辨率重建结果的精度；并利用递归思想将深层特征提取分解为4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，以有效降低模型复杂度，并提高信息处理效率，因此本申请能够在保证图像超分辨率重建结果的同时，减小模型的容量和计算消耗以及提升模型的推理速度。
进一步的，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
进一步的，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
进一步的，所述训练单元具体用于：
在前N个Epoch的迭代过程中基于第一损失函数进行训练，其中，N为正整数；
在第N个Epoch之后的迭代过程中基于第二损失函数进行网络参数的调整。
进一步的，获取单元还用于：
获取初始高分辨率图像以及与初始高分辨率图像对应的初始低分辨率图像；
分别对所述初始高分辨率图像和所述初始低分辨率图像进行随机裁剪，得到裁剪后的高分辨率图像和裁剪后的低分辨率图像，所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像的尺寸相同；
分别对所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像进行翻转和旋转的数据增强处理，得到处理后的高分辨率图像和处理后的低分辨率图像。
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述图像超分辨率重建模型构建方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的图像超分辨率重建模型构建设备上运行。
本申请实施例还提供了一种图像超分辨率重建模型构建设备，包括：通过***总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的图像超分辨率重建模型构建方法的全部步骤或部分步骤。
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程逻辑门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(SmartMedia Card，SMC)、安全数字(Secure digital，SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的图像超分辨率重建模型构建方法的全部步骤或部分步骤。
本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory，ROM)、随机存取存储器(Random Accessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、服务器或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像超分辨率重建模型构建方法，其特征在于，包括以下步骤：
获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
2.如权利要求1所述的图像超分辨率重建模型构建方法，其特征在于，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
3.如权利要求2所述的图像超分辨率重建模型构建方法，其特征在于，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
4.如权利要求1所述的图像超分辨率重建模型构建方法，其特征在于，所述基于所述训练数据集对图像超分辨率网络进行训练，包括：
在前N个Epoch的迭代过程中基于第一损失函数进行训练，其中，N为正整数；
在第N个Epoch之后的迭代过程中基于第二损失函数进行网络参数的调整。
5.如权利要求1所述的图像超分辨率重建模型构建方法，其特征在于，在所述获取训练数据集的步骤之前，还包括：
获取初始高分辨率图像以及与初始高分辨率图像对应的初始低分辨率图像；
分别对所述初始高分辨率图像和所述初始低分辨率图像进行随机裁剪，得到裁剪后的高分辨率图像和裁剪后的低分辨率图像，所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像的尺寸相同；
分别对所述裁剪后的高分辨率图像和所述裁剪后的低分辨率图像进行翻转和旋转的数据增强处理，得到处理后的高分辨率图像和处理后的低分辨率图像。
6.一种图像超分辨率重建模型构建装置，其特征在于，包括：
获取单元，其用于获取训练数据集，所述训练数据集包括高分辨率图像以及与高分辨率图像对应的低分辨率图像；
构建单元，其用于构建图像超分辨率网络，所述超分辨率网络包括浅层特征提取模块、深层特征提取模块和图像重建模块，所述深层特征提取模块包括4个具有迭代作用的基于混合空洞卷积的残差特征蒸馏子模块，所述基于混合空洞卷积的残差特征蒸馏子模块用于迭代提取图像深层特征信息和图像细粒度信息；
训练单元，其用于基于所述训练数据集对图像超分辨率网络进行训练，得到图像超分辨率重建模型。
7.如权利要求6所述的图像超分辨率重建模型构建装置，其特征在于，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体用于：
对浅层特征提取模块输出的浅层特征图进行特征蒸馏分离处理，得到第一浅层特征图和第二浅层特征图，并对第二浅层特征图进行混合空洞卷积处理以提取全局特征信息，得到第一深层特征图；
对所述第一深层特征图进行特征蒸馏分离处理，得到第二深层特征图和第三深层特征图，并对第三深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第四深层特征图；
对所述第四深层特征图进行特征蒸馏分离处理，得到第五深层特征图和第六深层特征图，并对第六深层特征图进行混合空洞卷积处理以提取全局特征信息，得到第七深层特征图；
将所述第一浅层特征图、第二深层特征图、第五深层特征图和第七深层特征图进行拼接处理，得到拼接特征图。
8.如权利要求7所述的图像超分辨率重建模型构建装置，其特征在于，每个所述基于混合空洞卷积的残差特征蒸馏子模块具体还用于：
基于通道注意力机制对拼接特征图进行图像细粒度信息提取，得到新的拼接特征图；
将新的拼接特征图与浅层特征提取模块输出的浅层特征图进行相加，得到最终深层特征图。
9.一种图像超分辨率重建模型构建设备，其特征在于，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1至5中任一项所述的图像超分辨率重建模型构建方法。
10.一种计算机可读存储介质，其特征在于：所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现权利要求1至5中任一项所述的图像超分辨率重建模型构建方法。
CN202210612479.9A 2022-05-31 2022-05-31 图像超分辨率重建模型构建方法、装置、设备及存储介质 Pending CN114926342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210612479.9A CN114926342A (zh) 2022-05-31 2022-05-31 图像超分辨率重建模型构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210612479.9A CN114926342A (zh) 2022-05-31 2022-05-31 图像超分辨率重建模型构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114926342A true CN114926342A (zh) 2022-08-19

Family

ID=82812481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210612479.9A Pending CN114926342A (zh) 2022-05-31 2022-05-31 图像超分辨率重建模型构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114926342A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564649A (zh) * 2022-09-27 2023-01-03 苏州大学 一种图像超分辨率重建方法、装置及设备
CN115908144A (zh) * 2023-03-08 2023-04-04 中国科学院自动化研究所 基于随机小波注意力的图像处理方法、装置、设备及介质
CN116993592A (zh) * 2023-09-27 2023-11-03 城云科技（中国）有限公司 一种图像超分辨率重建模型的构建方法、装置及应用

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564649A (zh) * 2022-09-27 2023-01-03 苏州大学 一种图像超分辨率重建方法、装置及设备
CN115908144A (zh) * 2023-03-08 2023-04-04 中国科学院自动化研究所 基于随机小波注意力的图像处理方法、装置、设备及介质
CN116993592A (zh) * 2023-09-27 2023-11-03 城云科技（中国）有限公司 一种图像超分辨率重建模型的构建方法、装置及应用
CN116993592B (zh) * 2023-09-27 2023-12-12 城云科技（中国）有限公司 一种图像超分辨率重建模型的构建方法、装置及应用

Similar Documents

Publication Publication Date Title
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN114926342A (zh) 图像超分辨率重建模型构建方法、装置、设备及存储介质
CN110222598B (zh) 一种视频行为识别方法、装置、存储介质和服务器
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN107563974B (zh) 图像去噪方法、装置、电子设备及存储介质
CN113870283B (zh) 人像抠图方法、装置、计算机设备及可读存储介质
CN112419152B (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
US20230252605A1 (en) Method and system for a high-frequency attention network for efficient single image super-resolution
CN103632153A (zh) 一种基于区域的图像显著图提取方法
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN110782406A (zh) 一种基于信息蒸馏网络的图像去噪方法及装置
CN114399440B (zh) 图像处理方法、图像处理网络训练方法、装置及电子设备
CN115512258A (zh) 一种视频图像的脱敏方法、装置、终端设备和存储介质
CN115293968A (zh) 一种超轻量高效的单图像超分辨率方法
CN108986210B (zh) 三维场景重建的方法和设备
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN112489103B (zh) 一种高分辨率深度图获取方法及***
CN111161289B (zh) 图像中物体轮廓精度提升方法、装置
CN110490876B (zh) 一种基于轻量级神经网络的图像分割方法
Truong et al. Depth map inpainting and super-resolution with arbitrary scale factors
CN110399881B (zh) 一种端到端的基于双目立体图像的质量增强方法及装置
CN114529833A (zh) 一种遥感图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination