CN115564649B - 一种图像超分辨率重建方法、装置及设备 - Google Patents

一种图像超分辨率重建方法、装置及设备 Download PDF

Info

Publication number
CN115564649B
CN115564649B CN202211181729.4A CN202211181729A CN115564649B CN 115564649 B CN115564649 B CN 115564649B CN 202211181729 A CN202211181729 A CN 202211181729A CN 115564649 B CN115564649 B CN 115564649B
Authority
CN
China
Prior art keywords
image
features
resolution
super
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211181729.4A
Other languages
English (en)
Other versions
CN115564649A (zh
Inventor
钟宝江
肖宪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202211181729.4A priority Critical patent/CN115564649B/zh
Publication of CN115564649A publication Critical patent/CN115564649A/zh
Application granted granted Critical
Publication of CN115564649B publication Critical patent/CN115564649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像超分辨率重建方法、装置及设备，涉及计算机视觉技术领域，包括将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征，利用多轴卷积结构提取图像浅层特征，得不同粒度的深度特征，将不同粒度的深度特征聚合，得聚合图像特征，将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征，将权重图像特征进行上采样操作，得超分辨率特征图，将超分辨率特征图与待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型，重建了更好的图像细节，提升了图像超分辨率的性能，实现了充分利用不同粒度图像特征完成图像超分辨率重建，提升重建后图像的清晰度。

Description

一种图像超分辨率重建方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种图像超分辨率重建方法、装置及设备。
背景技术
图像超分辨率技术是将退化的低分辨率图像重建成为高分辨率图像，它作为一种重要的图像处理技术已经被广泛应用于各种图像任务中，如医学图像分析、安防监控、人脸识别、视频超分辨率和目标检测等。传统方法比如最邻近插值、线性插值和双三次插值等对低分辨率图像进行超分辨率重建只能增加图像的像素尺寸，并不能增强图像的主观视觉效果，无法满足实际场景条件下的应用需要。
近几年来，随着深度学习的不断发展，计算机视觉领域取得了重大突破。因此，基于深度学习的图像超分辨率方法受到广泛关注，许多应用于图像超分辨率的深度卷积神经网络被提出。Dong等人提出了SRCNN模型首次将卷积神经网络应用于图像超分辨率任务，该模型使用三层卷积神经网络来学习低分辨率图像到高分辨率图像的映射并取得了不错的结果。由于网络层数较少，图像重建性能也随之受限。为此，Lim等人提出了网络层数更深、参数量更大的EDSR模型，EDSR采用加强残差模块扩充网络的深度，极大的提升了网络的学习能力，在图像超分辨率任务上取得了巨大的进展。
但是，对于一个典型的深度学习图像超分辨率方法，图像特征通过一系列的模块迭代提取得到，一般来说，输入图像存在不同粒度等级的特征，而现有深度学习图像超分辨率方法中没有充分利用不同粒度的图像特征，使得图像超分辨率重建性能退化，导致重建后的图像清晰度较差。
综上所述可以看出，如何充分利用不同粒度的图像特征完成图像超分辨率重建，提升重建后图像的清晰度是目前有待解决的问题。
发明内容
本发明的目的是提供一种图像超分辨率重建方法、装置及设备，以解决现有技术中没有充分利用不同粒度的图像特征，使得图像超分辨率重建性能退化，导致重建后的图像清晰度较差的问题。
为解决上述技术问题，本发明提供一种图像超分辨率重建方法，包括：
将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；
利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征，包括：
所述多轴卷积结构包括细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积；
利用所述细粒度轴卷积保留原始图像浅层特征；
利用所述中粒度轴卷积将所述图像浅层特征分为四等份，通过深度可分离卷积层对分为四等份的图像浅层特征执行卷积操作后将得到的四份特征图聚合，得中粒度图像特征；
利用所述粗粒度轴卷积将所述图像浅层特征进行全局平均池化操作，得到浅层特征平均值，将所述浅层特征平均值精炼，得粗粒度图像特征；
将所述图像浅层特征、所述中粒度图像特征和所述粗粒度图像特征聚合，得聚合图像特征；
将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
将所述权重图像特征进行上采样操作，得超分辨率特征图；
将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
优选地，所述中粒度图像特征计算公式为：
Fm＝Concat(Conv7×7(F0)，...，Conv7×7(F0))
其中，Concat表示特征矩阵拼接函数，F0为图像浅层特征，Conv7×7为7×7的卷积层，Fm中粒度图像特征。
优选地，所述粗粒度图像特征计算公式为：
Fc＝Conv1×1(AvgPool(F0))
其中，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fc为粗粒度图像特征，F0为图像浅层特征。
优选地，所述将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征包括：
将所述聚合图像特征降维处理，得到降维图像特征；
将所述降维图像特征输入通道注意力模块中进行全局平均池化与1×1卷积操作，得到通道注意力掩膜；
将所述降维图像特征输入空间注意力模块中进行Stride卷积与池化核为7×7的池化操作后再进行连续卷积强化，得到强化后的空间特征，最后利用上采样还原所述空间特征的分辨率，得到空间注意力掩膜；
将所述通道注意力掩膜与所述空间注意力掩膜聚合，得权重图像特征。
优选地，所述通道注意力掩膜计算公式为：
Mc＝Conv1×1(AvgPool(Fr))
其中，Mc为通道注意力掩膜，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fr为降维图像特征矩阵。
优选地，所述空间注意力掩膜计算公式为：
Ms＝U(Convgroup(Pool(Conv3×3(Fr))))
其中，U为上采样函数，Convgroup为一组卷积，Ms为空间注意力掩膜，Conv3×3为3×3的卷积层，Pool为池化操作，Fr为降维图像特征矩阵。
优选地，所述将所述权重图像特征进行上采样操作，得超分辨率特征图包括：
将所述权重图像特征进行卷积操作后利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图，其计算公式为：
Y＝PixelShuffle(Conv1×1(Conv3×3(F)))
其中，PixelShuffle为像素重组函数，Conv1×1为1×1的卷积层，Conv3×3为3×3的卷积层，Y为超分辨率特征图，F为聚合图像特征矩阵。
优选地，所述采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型包括：
根据所述最小绝对偏差损失函数计算误差，训练所述预训练模型，反复迭代直至损失函数收敛；
所述最小绝对偏差损失函数计算公式为：
其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。
本发明还提供一种图像超分辨率重建装置，包括：
浅层特征提取模块，用于将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；
粒度特征聚合模块，用于利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征；
图像特征加权模块，用于将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
超分辨率特征模块，用于将所述权重图像特征进行上采样操作，得超分辨率特征图；
训练模块，用于将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
本发明还提供一种图像超分辨率重建设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现是上述所述一种图像超分辨率重建方法的步骤。
本发明所提供的一种图像超分辨率重建方法，提取待重建的低分辨率图像的图像浅层特征，分别利用细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积提取不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征，通过这种多轴卷积结构有效提取并聚合图像的不同粒度的特征，有助于重建更好的图像细节，提升了图像超分辨率的性能，通过通道注意力和空间注意力网络可以更加关注通道和空间维度有利于图像重建的重要信息，同时减少没有价值的冗余信息，提升图像重建后的视觉效果，实现了充分利用不同粒度的图像特征完成图像超分辨率重建，提升重建后图像的清晰度。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种图像超分辨率重建方法的第一种具体实施例的流程图；
图2为图像超分辨率重建方法具体流程图；
图3为粒度特征聚合模块流程图；
图4为图像特征加权模块流程图；
图5为本发明实施例提供的一种图像超分辨率重建装置的结构框图。
具体实施方式
本发明的核心是提供一种图像超分辨率重建方法、装置及设备，实现了充分利用不同粒度的图像特征完成图像超分辨率重建，提升重建后图像的清晰度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的一种图像超分辨率重建方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征。
步骤S102：利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征；
所述聚合图像特征，包括：
所述多轴卷积结构包括细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积；
利用所述细粒度轴卷积保留原始图像浅层特征；
利用所述中粒度轴卷积将所述图像浅层特征分为四等份，通过深度可分离卷积层对分为四等份的图像浅层特征执行卷积操作后将得到的四份特征图聚合，得中粒度图像特征；
所述中粒度图像特征计算公式为：
Fm＝Concat(Conv7×7(F0)，...，Conv7×7(F0))
其中，Concat表示特征矩阵拼接函数，F0为图像浅层特征，Conv7×7为7×7的卷积层，Fm中粒度图像特征。
利用所述粗粒度轴卷积将所述图像浅层特征进行全局平均池化操作，得到浅层特征平均值，将所述浅层特征平均值精炼，得粗粒度图像特征；
所述粗粒度图像特征计算公式为：
Fc＝Conv1×1(AvgPool(F0))
其中，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fc为粗粒度图像特征，F0为图像浅层特征。
将所述图像浅层特征、所述中粒度图像特征和所述粗粒度图像特征聚合，得聚合图像特征。
步骤S103：将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
将所述聚合图像特征降维处理，得到降维图像特征；
将所述降维图像特征输入通道注意力模块中进行全局平均池化与1×1卷积操作，得到通道注意力掩膜；
所述通道注意力掩膜计算公式为：
Mc＝Conv1×1(AvgPool(Fr))
其中，Mc为通道注意力掩膜，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fr为降维图像特征矩阵。
将所述降维图像特征输入空间注意力模块中进行Stride卷积与池化核为7×7的池化操作后再进行连续卷积强化，得到强化后的空间特征，最后利用上采样还原所述空间特征的分辨率，得到空间注意力掩膜；
所述空间注意力掩膜计算公式为：
Ms＝U(Convgroup(Pool(Conv3×3(Fr))))
其中，U为上采样函数，Convgroup为一组卷积，Ms为空间注意力掩膜，Conv3×3为3×3的卷积层，Pool为池化操作，Fr为降维图像特征矩阵。
将所述通道注意力掩膜与所述空间注意力掩膜聚合，得权重图像特征。
步骤S104：将所述权重图像特征进行上采样操作，得超分辨率特征图；
将所述权重图像特征进行卷积操作后利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图，其计算公式为：
Y＝PixelShuffle(Conv1×1(Conv3×3(F)))
其中，PixelShuffle为像素重组函数，Conv1×1为1×1的卷积层，Conv3×3为3×3的卷积层，Y为超分辨率特征图，F为聚合图像特征矩阵。
步骤S105：将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型；
根据所述最小绝对偏差损失函数计算误差，训练所述预训练模型，反复迭代直至损失函数收敛；
所述最小绝对偏差损失函数计算公式为：
其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。
本实施例提供一种图像超分辨率重建方法，针对图像超分辨重建设计了一种新颖的多轴卷积结构，所述多轴卷积结构可以有效提取并聚合图像的不同粒度的特征，有助于重建更好的图像细节，提升了图像超分辨率的性能，利用通道注意力和空间注意力网络可以更加关注通道和空间维度有利于图像重建的重要信息，同时减少没有价值的冗余信息，提升图像重建后的视觉效果。
基于上述实施例，本实施例采用具体数据对本方法进行阐述，如图2所示，具体如下：
给定输入的低分辨率图像首先经过一个卷积核大小为3×3，步长为1，padding为1，通道数为60的卷积层，将图像嵌入到高维空间，同时得到图像浅层特征F0，公式表示为：
F0＝Conv3×3(X)
其中，Conv3×3是3×3的卷积层，输出的浅层特征嵌入到通道维数为60的高维空间。
如图3所示，将提取得到的图像浅层特征作为输入，多轴卷积结构输出多粒度特征聚合后的深度特征矩阵/>首先，将图像浅层特征分别输入到三个并行的卷积分支(对应于细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积)。其中，细粒度轴卷积不做任何处理，保留原始图像浅层特征，表示为Ff；
Ff＝F0
中粒度轴卷积将图像浅层特征按通道数均分为四等份，每等份图像浅层特征使用一个卷积核大小为7×7的卷积层执行卷积操作，该部分卷积使用的是深度可分离卷积，可以有效减少网络的参数量。最后执行卷积操作后的四份图像浅层特征通过连接操作聚合得到中粒度图像特征，表示为Fm；
粗粒度轴卷积将图像浅层特征进行全局平均池化操作，池化核f为图像浅层特征的大小，得到图像浅层特征的平均值，消除了部分噪音同时保留了有价值的图像信息，之后使用一个1×1的卷积核对图像的均值特征精炼得到最后的粗粒度图像特征Fc。至此，三种粒度的特征进行聚合得到聚合图像特征F，公式表示为：
F＝Ff+Fm+Fc
如图4所示，对于所述聚合图像特征先用1×1的卷积核对特征进行降维，通道数减小为原通道数的1/r(这里r取4)，目的是降低计算复杂度。通道降维后的特征矩阵/>分别输入通道注意力模块与空间注意力模块计算各自的掩膜。其中，在通道注意力模块中，先后进行全局平均池化与1×1的卷积操作，用得到的输出与降维图像特征矩阵Fr进行元素相乘得到通道注意力掩膜Mc；
Fr＝Conv1×1(F)，
Mc＝Conv1×1(AvgPool(Fr))
其中，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数。
在空间注意力模块中，先执行Stride卷积与池化核为7×7的池化操作，对特征图进行下采样同时增大感受野。之后进行一组连续的卷积强化空间特征，最后进行上采样还原特征图的分辨率，生成空间注意力掩膜Ms；
Ms＝U(Convgroup(Pool(Conv3×3(Fr))))
其中，U为上采样函数，Convgroup为一组卷积，Ms为空间注意力掩膜。
用得到的Mc与Ms进行元素相加，聚合通道和空间维度的注意力掩膜，随后用1×1的卷积层还原通道数，输出权重图像特征M；
M＝σ(Conv1×1(Mc+Ms))
其中，σ为sigmoid函数。
经过注意力加权后的聚合图像特征F先使用一个3×3的卷积核进行卷积操作强化高频特征的表征能力。用得到的高频特征先通过1×1的卷积层扩充通道维数至scale的平方倍(scale是超分辨率放大倍数因子)，再通过多通道间的像素重组，最后得到超分辨率的特征图 公式表示为：
Y＝PixelShuffle(Conv1×1(Conv3×3(F)))
其中，PixelShuffle是像素重组函数。
Batch Size设定为32，Patch Size设定为128，初始学习率设定为2×10-4，每训练2×105次，学习率衰减一半。我们使用最小绝对偏差作为损失函数，选择AdamW作为训练的优化器，可以公式化为：
其中，N为训练的迭代总次数，i为本次迭代次数，表示与低分辨率图像对应的Ground Truth图像，/>表示生成的超分辨率图像。
利用训练完成的图像超分辨率重建模型对低分辨率图像进行重建，得到重建后的超分辨率图像。
本实施例提供一种图像超分辨率重建方法，利用图像的不同粒度特征信息，从而重建出细节更完整，视觉效果更清晰的超分辨率图像，大大提升了图像超分辨率的性能，通过多尺度卷积结构和通道与空间注意力机制的结合，有助于网络获得图像的多尺度信息，从而获得质量更高的超分辨率图像，为进一步的图像任务提供了底层技术支持，同时为技术革新做出了贡献。
请参考图5，图5为本发明实施例提供的一种图像超分辨率重建装置的结构框图；具体装置可以包括：
浅层特征提取模块100，用于将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；
粒度特征聚合模块200，用于利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征；
图像特征加权模块300，用于将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
超分辨率特征模块400，用于将所述权重图像特征进行上采样操作，得超分辨率特征图；
训练模块500，用于将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
本实施例的一种图像超分辨率重建装置用于实现前述的一种图像超分辨率重建方法，因此一种图像超分辨率重建装置中的具体实施方式可见前文中的一种图像超分辨率重建方法的实施例部分，例如，浅层特征提取模块100，粒度特征聚合模块200，图像特征加权模块300，超分辨率特征模块400，训练模块500分别用于实现上述图像超分辨率重建方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种图像超分辨率重建设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种图像超分辨率重建方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种图像超分辨率重建方法、装置及设备进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，包括：
将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；
利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征，包括：
所述多轴卷积结构包括细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积；
利用所述细粒度轴卷积保留原始图像浅层特征；
利用所述中粒度轴卷积将所述图像浅层特征分为四等份，通过深度可分离卷积层对分为四等份的图像浅层特征执行卷积操作后将得到的四份特征图聚合，得中粒度图像特征；
利用所述粗粒度轴卷积将所述图像浅层特征进行全局平均池化操作，得到浅层特征平均值，将所述浅层特征平均值精炼，得粗粒度图像特征；
将所述图像浅层特征、所述中粒度图像特征和所述粗粒度图像特征聚合，得聚合图像特征；
将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
将所述权重图像特征进行上采样操作，得超分辨率特征图；
将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述中粒度图像特征计算公式为：
Fm＝Concat(Conv7×7(F0)，...，Conv7×7(F0))
其中，Concat表示特征矩阵拼接函数，F0为图像浅层特征，Conv7×7为7×7的卷积层，Fm中粒度图像特征。
3.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述粗粒度图像特征计算公式为：
Fc＝Conv1×1(AvgPool(F0))
其中，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fc为粗粒度图像特征，F0为图像浅层特征。
4.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征包括：
将所述聚合图像特征降维处理，得到降维图像特征；
将所述降维图像特征输入通道注意力模块中进行全局平均池化与1×1卷积操作，得到通道注意力掩膜；
将所述降维图像特征输入空间注意力模块中进行Stride卷积与池化核为7×7的池化操作后再进行连续卷积强化，得到强化后的空间特征，最后利用上采样还原所述空间特征的分辨率，得到空间注意力掩膜；
将所述通道注意力掩膜与所述空间注意力掩膜聚合，得权重图像特征。
5.如权利要求4所述的图像超分辨率重建方法，其特征在于，所述通道注意力掩膜计算公式为：
Mc＝Conv1×1(AvgPool(Fr))
其中，Mc为通道注意力掩膜，Conv1×1为1×1的卷积层，AvgPool表示全局平均池化函数，Fr为降维图像特征矩阵。
6.如权利要求4所述的图像超分辨率重建方法，其特征在于，所述空间注意力掩膜计算公式为：
Ms＝U(Convgroup(Pool(Conv3×3(Fr))))
其中，U为上采样函数，Convgroup为一组卷积，Ms为空间注意力掩膜，Conv3×3为3×3的卷积层，Pool为池化操作，Fr为降维图像特征矩阵。
7.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述将所述权重图像特征进行上采样操作，得超分辨率特征图包括：
将所述权重图像特征进行卷积操作后利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图，其计算公式为：
Y＝PixelShuffle(Conv1×1(Conv3×3(F)))
其中，PixelShuffle为像素重组函数，Conv1×1为1×1的卷积层，Conv3×3为3×3的卷积层，Y为超分辨率特征图，F为聚合图像特征矩阵。
8.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型包括：
根据所述最小绝对偏差损失函数计算误差，训练所述预训练模型，反复迭代直至损失函数收敛；
所述最小绝对偏差损失函数计算公式为：
其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。
9.一种图像超分辨率重建装置，其特征在于，包括：
浅层特征提取模块，用于将训练数据集中待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；
粒度特征聚合模块，用于利用多轴卷积结构提取所述图像浅层特征，得不同粒度的深度特征，将所述不同粒度的深度特征聚合，得聚合图像特征；
图像特征加权模块，用于将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征，包括：
所述多轴卷积结构包括细粒度轴卷积、中粒度轴卷积和粗粒度轴卷积；
利用所述细粒度轴卷积保留原始图像浅层特征；
利用所述中粒度轴卷积将所述图像浅层特征分为四等份，通过深度可分离卷积层对分为四等份的图像浅层特征执行卷积操作后将得到的四份特征图聚合，得中粒度图像特征；
利用所述粗粒度轴卷积将所述图像浅层特征进行全局平均池化操作，得到浅层特征平均值，将所述浅层特征平均值精炼，得粗粒度图像特征；
将所述图像浅层特征、所述中粒度图像特征和所述粗粒度图像特征聚合，得聚合图像特征；
将所述聚合图像特征进行通道注意力和空间注意力加权操作，得权重图像特征；
超分辨率特征模块，用于将所述权重图像特征进行上采样操作，得超分辨率特征图；
训练模块，用于将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，采用最小绝对偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
10.一种图像超分辨率重建设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述一种图像超分辨率重建方法的步骤。
CN202211181729.4A 2022-09-27 2022-09-27 一种图像超分辨率重建方法、装置及设备 Active CN115564649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211181729.4A CN115564649B (zh) 2022-09-27 2022-09-27 一种图像超分辨率重建方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211181729.4A CN115564649B (zh) 2022-09-27 2022-09-27 一种图像超分辨率重建方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115564649A CN115564649A (zh) 2023-01-03
CN115564649B true CN115564649B (zh) 2023-07-28

Family

ID=84742330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211181729.4A Active CN115564649B (zh) 2022-09-27 2022-09-27 一种图像超分辨率重建方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115564649B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128727B (zh) * 2023-02-02 2023-06-20 中国人民解放军国防科技大学 极化雷达图像超分辨方法、***、设备及介质
CN116385272B (zh) * 2023-05-08 2023-12-19 南京信息工程大学 一种图像超分辨率重建方法、***及设备
CN116797456A (zh) * 2023-05-12 2023-09-22 苏州大学 图像超分辨率重建方法、***、设备和存储介质
CN116523759B (zh) * 2023-07-04 2023-09-05 江西财经大学 基于频率分解与重启机制的图像超分辨率重建方法与***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175953B (zh) * 2019-05-24 2023-04-18 鹏城实验室 一种图像超分辨方法和***
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN113674156B (zh) * 2021-09-06 2022-12-30 苏州大学 一种图像超分辨率重建的方法及***
CN114519667A (zh) * 2022-01-10 2022-05-20 武汉图科智能科技有限公司 一种图像超分辨率重建方法及***
CN114926342A (zh) * 2022-05-31 2022-08-19 武汉大学 图像超分辨率重建模型构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115564649A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
Ma et al. Image superresolution via dense discriminative network
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及***
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN113421187B (zh) 一种超分辨率重建方法、***、存储介质、设备
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及***
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN116797456A (zh) 图像超分辨率重建方法、***、设备和存储介质
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115797176A (zh) 一种图像超分辨率重建方法
Li Image super-resolution using attention based densenet with residual deconvolution
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
Liu et al. Facial image inpainting using multi-level generative network
Rashid et al. Single MR image super-resolution using generative adversarial network
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant