CN117934286B - 一种轻量级图像超分辨率方法、装置及其电子设备 - Google Patents
一种轻量级图像超分辨率方法、装置及其电子设备 Download PDFInfo
- Publication number
- CN117934286B CN117934286B CN202410324546.6A CN202410324546A CN117934286B CN 117934286 B CN117934286 B CN 117934286B CN 202410324546 A CN202410324546 A CN 202410324546A CN 117934286 B CN117934286 B CN 117934286B
- Authority
- CN
- China
- Prior art keywords
- representing
- resolution
- level
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 238000002156 mixing Methods 0.000 claims description 40
- 210000002569 neuron Anatomy 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000000946 synaptic effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 claims description 4
- 241000556720 Manga Species 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉领域，具体涉及一种轻量级图像超分辨率方法、装置及其电子设备，该方法，包括如下步骤：S1：使用NSNP‑type Conv单元构建整个轻量级图像超分辨率方法；S2：使用全域自注意力和NSNP‑type Conv单元构建局部特征增强模块，并使用NSNP‑type Conv单元构建多尺度特征提取单元；S3：使用NSNP‑type Conv单元构建多层次特征自适应融合模块，通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息；S4：构建多层次特征信息交互的图像超分辨率方法，通过深度学习技术，将整个图像超分辨率通过端到端的方式进行学习，输出待重建图像的高分辨率重建图像。本发明，具有较好的重建性能，很大程度上解决了现有的算法中参数量大、计算负担大的问题。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种轻量级图像超分辨率方法、装置及其电子设备。
背景技术
随着计算机视觉领域的发展，人们越来越关注计算机视觉任务中因图像分辨率受限的领域，如何从低分辨率图像中高效地恢复出更加清晰、更加富有细节的高分辨率图像，成为人们研究的方向。现有的图像超分辨方法大致可以分为：传统的基于插值的方法以及现在的基于深度学习的方法。
基于插值的方法是通过估计和填补像素之间的细节，以增加图像的分辨率，常见的方法有双三次插值、双线性插值、线性插值等方法。但是基于插值的方法通常不能恢复丢失的高频细节，因此基于深度学习的方法得到了极大的发展。
基于深度学习的方法能够从大量数据中学习复杂的图像特征和细节，常见的基于深度学习的方法有SRCNN（Super-Resolution Convolutional Neural Network）、VDSR（Very Deep Super-Resolution Network）、EDSR（Enhanced Deep Super-Resolution）等，通常能够更好地保留图像的细节、纹理和结构，使得低分辨率图像能够转化为高质量的高分辨率图像。这些方法已经在许多应用领域，如图像处理、计算机视觉、医学成像和卫星图像处理中得到广泛应用。
自“C. Dong, C.C. Loy, K. He, et al, Learning a deep convolutionalnetwork for image super-resolution, in: Proceedings of the EuropeanConference Computer Vision (ECCV), 2014, pp. 184-199.”首次提出来仅有3层卷积的SRCNN模型以来，基于深度学习的SISR得到了极大的发展，后面提出的图像超分辨模型由3层增加至20层，为了更好地恢复图像，提出的图像超分辨模型的MemNet层数达到了80层。
近年来，越来越多的图像超分辨模型开始关注性能和内存消耗之间的平衡，越来越多的轻量级模型被提出来。如何在不增加过多参数和计算负担的情况下，有效地融合提取的特征信息，获得优异的恢复结果是现在图像超分辨关注的主要问题之一。
部分现有技术基于深度学习的方法，构建了更复杂、更深的神经网络，取得了更好的重建结果，然而这些方法的参数量很大，不适合部署在小型的电子设备上，轻量级图像超分辨方法虽然在参数量上有大幅度的降低，但是没有保证优异的重建效果；也有部分现有技术，提出了一些轻量级图像超分辨方法，虽然在参数量上有大幅度的降低，但是没有保证优异的重建效果。
中国专利“CN113674156B 一种图像超分辨率重建的方法及***”所述的图像重建方法，依赖于堆叠多个不同尺寸的卷积提取特征信息，会导致在图像重建时，特征提取模块提供的特征信息不够全面，虽然保证了较低的参数量，但是重建效果并不优异。
发明内容
为解决上述问题，本发明提供一种轻量级图像超分辨率方法、装置及其电子设备，用于使用较少参数量，高效地提取不同层次的特征信息并进行自适应交互融合，为图像重建提供有效的特征信息。平衡网络超分辨的效果和网络参数量之间的关系，从而能够更好地部署到相应设备上。
为了实现上述目的，本发明的技术方案如下：一方面，提供一种轻量级图像超分辨率方法，包括如下步骤：
S1：使用NSNP-type Conv单元构建整个轻量级图像超分辨率方法；
S2：在多层次特征混合模块中，使用全域自注意力和NSNP-type Conv单元构建局部特征增强模块，并使用NSNP-type Conv单元构建多尺度特征提取单元；
S3：使用NSNP-type Conv单元构建多层次特征自适应融合模块，通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息；
S4：构建多层次特征信息交互的图像超分辨率方法，基于NSNP-type Conv单元、局部特征增强模块、多尺度特征提取单元和多层次特征自适应融合模块，通过深度学习技术搭建图像超分辨率模型，将整个图像超分辨率模型通过端到端的方式进行学习，输出待重建图像的高分辨率重建图像。
进一步，NSNP-type Conv单元通过如下步骤构建：
首先，根据非线性脉冲机制，得到非线性脉冲神经P***的更新方程：
，式中，表示神经元i和神经元j之间的突触连接；/>和/>表示神经元i在t和t-1时刻的状态，/>表示神经元j在t-1时刻的状态；/>表示设置的脉冲阈值，表示一个线性或非线性函数，/>表示一个非线性函数，/>表示神经元i消耗的脉冲；/>表示神经元j生成的脉冲；
然后，设置T=-∞确保神经元一直处于激活状态，其次设置，并引入神经元之间的突触权重，得到状态方程：，式中，m 表示神经元的数量；/>表示神经元i和神经元j之间的突触权重；最后，通过状态方程构建NSNP-type Conv单元。
进一步，S2中的局部特征增强模块由层归一化、全域自注意力模块、NSNP-typeConv单元组成；其中的运算为：，其中，表示局部特征增强模块，/>表示局部特征增强模块的输入特征，/>表示层归一化模块，/>表示全域自注意力模块，/>表示逐元素相加操作，表示包含两个1×1、3×3的NSNP-type Conv单元。
进一步，在多层次特征混合模块中，使用不同尺寸的NSNP-type Conv单元构建若干个多尺度特征提取单元；其中的运算为：，其中，/>表示卷积核大小为k×k的多尺度特征提取单元，分别为1×1、3×3、5×5和7×7，每个多尺度特征提取单元均使用一个1×1大小的NSNP-type Conv单元降低通道数，/>表示卷积核大小为k×k的NSNP-type Conv单元，k为NSNP-type Conv单元中的卷积核大小，分别为1×1、3×3、5×5和7×7，/>表示卷积核大小为1×1的NSNP-type Conv单元。
进一步，多层次特征混合模块包括3个局部特征增强模块和4个多尺度特征提取单元，每个局部特征增强模块所提取的特征经过不同大小的尺度特征提取单元，具体表示如下：，其中，/>分别表示包含大小为1×1、3×3、5×5和7×7卷积核的尺度特征提取单元；/>表示尺度特征提取单元的输入特征；/>分别表示卷积核大小为1×1、3×3、5×5和7×7的尺度特征提取单元提取的特征信息，/>分别表示第1、2、3个局部特征增强模块提取的特征信息；
将4个尺度特征提取单元提取的特征按通道维度拼接，通过一个1×1和3×3的NSNP-type Conv单元，将提取的多层次特征进行简单的融合，再通过残差连接，与最初的输入特征F相加，将获得的特征作为多层次特征混合模块的输出，其中的运算为：
，其中，/>表示多层次特征混合模块的输出特征；/>表示逐通道拼接操作，/>表示多层次特征混合模块的输入特征，/>示卷积核大小为3×3大小的NSNP-type Conv单元。
进一步，S3中通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息，其中的运算为：
，其中，大小均为1×1，/>表示池化，/>表示生成的层次注意力权重；/>表示多层特征混合模块中第i层的输入特征；/>分别表示多层特征混合模块中第1、2、3层的输入特征， />表示经过不同输入特征经过MLFH中第i层的操作之后得到的全局特征信息；/>分别表示输入特征经过MLFH中第1、2、3层操作后获得的全局特征信息；/>表示激活函数；/>分别表示多层特征混合模块中第1、2层次以及第2、3层次的全局特征信息交互后获得的层次注意力权重；/> 表示经过逐通道拼接/>以及卷积操作/>之后获得的特征信息；/>表示多层次特征自适应融合模块的输入特征；/>表示逐元素相乘操作。
进一步，S4中多层次特征信息交互的图像超分辨率方法，包括如下步骤：
使用一层大小为3×3的NSNP-type Conv单元对输入的图像进行初步特征处理，将处理后的特征输入到多层次特征交互阶段；
在多层次交互阶段，输入的特征依次经过3个级联的多层次特征混合模块，每个多层次特征混合模块提取的多层次特征会输入到多层次特征自适应融合模块进行自适应融合后，输入到重建阶段；
在重建阶段，获得上采样之后的特征，再与经过双线性插值后的图像相加，输出最终重建的高分辨率图像；其中的运算为：
，式中，/>表示重建的高分辨率图像；/>表示输入的低分辨率图像；/>表示双线性插值操作；/>分别表示第1、2、3个多层次特征混合模块；分别表示第1、2个多层次特征混合模块提取的特征信息；/>表示重建操作，/>表示卷积核大小为1×1的NSNP-type Conv单元。
进一步，使用现有的DIV2K数据集中的低分辨率图像-高分辨率图像对作为训练数据集，保存训练好的图像超分辨率模型权重文件，使用Set5、Set14、B100、Urban100和Manga109数据集对图像超分辨率模型性能进行测试。
另一方面，提供一种轻量级图像超分辨率装置，包括：
获取模块，用于获取低分辨率和高分辨率图像对；
训练模块，在深度学习设备上，利用Pytorch深度学习框架搭建图像超分辨率模型，并通过训练的方式，学习上述任意一项所述的轻量级图像超分辨率方法中的图像超分辨率算法图像超分辨率模型权重；
生成模块，利用训练好的图像超分辨率模型权重参数文件，直接对待恢复的低分辨率图像进行重建操作，并输出对应重建后的模块。
再一方面，提供一种电子设备，包括计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得所述计算机执行上述任意一项所述的轻量级图像超分辨率方法。
采用上述方案有以下有益效果：
本发明，不仅具有较少的参数量，同时取得了较好的重建性能，在模型参数和性能之间取得了良好的平衡。与轻量级的图像超分辨算法相比，具有较好的重建性能，很大程度上解决了现有的算法中参数量大、计算负担大的问题。本发明，构建了新型神经元NSNP-type Conv，通过构造局部特征增强模块，能在全局信息中进一步增强局部信息，并引入上下文信息。与现有的图像超分辨算法在重建阶段前简单地级联不同层次的特征相比，本发明中的门控融合模块通过生成相邻层次的注意力权重，能自适应地融合不同层次的特征，能更好地进行上下文交互。
此外，通过使用训练好的模型权重参数，能够快速地实现图像重建工作，方式简单且易部署。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明轻量级图像超分辨率方法实施例的流程图；
图2为本发明轻量级图像超分辨率方法实施例的局部特征增强模块结构示意图；
图3为本发明轻量级图像超分辨率方法实施例的多层次特征混合模块结构示意图；
图4为本发明轻量级图像超分辨率方法实施例的层次特征自适应融合模块结构示意图；
图5为本发明轻量级图像超分辨率装置实施例的结构示意图；
图6为本发明轻量级图像超分辨率设备实施例的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过具体实施方式进一步详细说明：
实施例1：一种轻量级图像超分辨率方法，包括如下步骤：
S1：使用NSNP-type Conv单元构建整个轻量级图像超分辨率方法。
其中，NSNP-type Conv单元是利用非线性脉冲神经P***中的非线性脉冲机制抽象出的新型神经元。一个非线性脉冲神经P***包含m个神经元，每个神经元都包含状态单元和脉冲神经规则/>，脉冲神经规则可具体表示为/>，其中T表示脉冲阈值，a表示脉冲，/>是一个线性或者非线性函数，/>是一个非线性函数。脉冲条件为;/>表示神经元之间的突触连接。
NSNP-type Conv单元通过如下步骤构建：首先，根据非线性脉冲机制，得到非线性脉冲神经P***的更新方程：
，式中，/>表示神经元i和神经元j之间的突触连接；/>和/>表示神经元i在t和t-1时刻的状态，/>表示神经元j在t-1时刻的状态；/>表示设置的脉冲阈值；/>表示一个线性或非线性函数，/>表示一个非线性函数，/>表示神经元i消耗的脉冲；/>表示神经元j生成的脉冲；然后，为了进一步构造NSNP-type Conv，设置T=-∞确保神经元一直处于激活状态，其次设置，并引入神经元之间的突触权重，得到状态方程：
，式中，m表示神经元的数量；/>表示神经元i和神经元j之间的突触权重；最后，NSNP-type Conv单元是根据上述状态方程以及图像处理的需求，构建出的新型神经元。
轻量级图像超分辨率方法包括初步特征处理、多层次特征交互以及重建阶段，具体如附图1所示。
S2：在多层次特征混合模块中，使用全域自注意力和NSNP-type Conv单元构建局部特征增强模块，并使用NSNP-type Conv单元构建多尺度特征提取单元。
S2中，为了提取局部特征信息，配合全域自注意力和NSNP-type Conv构建了局部特征增强模块(以下简称为TsFE)，TsFE结合了不同的全域自注意力块组成了全域自注意力组(以下简称OSAG)，提取全局信息，并使用NSNP-type Conv引入非线性变化，进一步增强全局信息中的局部信息，有助于提高网络的表达能力。
TsFE由层归一化(以下简称LN)、OSAG、NSNP-type Conv单元组成，如附图2所示；其中的运算为：
，其中，/>表示局部特征增强模块，/>表示局部特征增强模块的输入特征，/>表示层归一化模块，/>表示全域自注意力模块，/>表示逐元素相加操作，表示包含两个1×1、3×3的NSNP-type Conv单元。
在多层次特征混合模块(以下简称MLFH)中，使用不同尺寸的NSNP-type Conv单元构建若干个多尺度特征提取单元；其中的运算为：
，其中，/>表示卷积核大小为k×k的多尺度特征提取单元，分别为1×1、3×3、5×5和7×7，每个多尺度特征提取单元均使用一个1×1大小的NSNP-type Conv单元降低通道数，/>表示卷积核大小为k×k的NSNP-type Conv单元，k为NSNP-type Conv单元中的卷积核大小，分别为1×1、3×3、5×5和7×7，/>表示卷积核大小为1×1的NSNP-type Conv单元。
多层次特征混合模块包括3个局部特征增强模块和4个多尺度特征提取单元，如附图3所示，每个局部特征增强模块所提取的特征经过不同大小的尺度特征提取单元，具体表示如下：
，其中，/>分别表示包含大小为1×1、3×3、5×5和7×7卷积核的尺度特征提取单元（MSEU）；/>表示尺度特征提取单元的输入特征；/>分别表示卷积核大小为1×1、3×3、5×5和7×7的尺度特征提取单元（MSEU）提取的特征信息，/>分别表示第1、2、3个局部特征增强模块（TsFE）提取的特征信息。
将4个尺度特征提取单元提取的特征按通道维度拼接，通过一个1×1和3×3的NSNP-type Conv单元，将提取的多层次特征进行简单的融合，再通过残差连接，与最初的输入特征F相加，将获得的特征作为多层次特征混合模块的输出，其中的运算为：
，其中，/>表示多层次特征混合模块（MLFH）的输出特征；/>表示逐通道拼接操作；分别表示卷积核大小为1×1、3×3、5×5和7×7的尺度特征提取单元（MSEU）提取的特征信息；/>表示多层次特征混合模块（MLFH）的输入特征，表示卷积核大小为3×3大小的NSNP-type Conv单元，/>表示卷积核大小为1×1的NSNP-type Conv单元。
S3：使用NSNP-type Conv单元构建多层次特征自适应融合模块，如附图4所示，通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息。
具体的，在S3中通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息，其中的运算为：，其中，/>大小均为1×1，/>表示池化，/>表示生成的层次注意力权重；/>表示多层特征混合模块（MLFH）中第i层的输入特征；/>分别表示多层特征混合模块（MLFH）中第1、2、3层的输入特征，/>表示经过不同输入特征经过MLFH中第i层的操作之后得到的全局特征信息；分别表示输入特征经过MLFH中第1、2、3层操作后获得的全局特征信息；表示激活函数；/>分别表示多层特征混合模块（MLFH）中第1、2层次以及第2、3层次的全局特征信息交互后获得的层次注意力权重；/>表示经过逐通道拼接/>以及卷积操作/> 之后获得的特征信息；/>表示多层次特征自适应融合模块（MFAF）的输入特征；/>表示逐元素相乘操作。
S4：构建多层次特征信息交互的图像超分辨率方法，具体的，包括如下步骤：
使用一层大小为3×3的NSNP-type Conv单元对输入的图像进行初步特征处理，将处理后的特征输入到多层次特征交互阶段；
在多层次交互阶段，输入的特征依次经过3个级联的多层次特征混合模块，每个多层次特征混合模块提取的多层次特征会输入到多层次特征自适应融合模块进行自适应融合后，输入到重建阶段；
在重建阶段，获得上采样之后的特征，再与经过双线性插值后的图像相加，输出最终重建的高分辨率图像；其中的运算为。其中，表示重建的高分辨率图像；/>表示输入的低分辨率图像；/>表示双线性（Biliner）插值操作；/>分别表示第1、2、3个多层次特征混合模块（MLFH）；/>分别表示第1、2个多层次特征混合模块（MLFH）提取的特征信息；表示重建操作，/>表示卷积核大小为1×1的NSNP-type Conv单元。
通过深度学习技术，将图像超分辨率网络通过端到端的方式进行学习，通过学习后的图像超分辨率网络获取低分辨率的待重建图像，然后输出高分辨率的重建图像。
具体的，构建轻量级的图像超分辨率网络的学习过程使用DIV2K数据集中的低分辨率图像-高分辨率图像对作为训练数据集，保存训练好的图像超分辨率模型权重文件，使用Set5、Set14、B100、Urban100和Manga109数据集对图像超分辨率模型性能进行测试。
为了更好的训练所述图像超分辨率模型以及评估图像超分辨率模型的有效性。因此，在公开数据集DIV2K上对图像超分辨率模型进行训练，并在其他5个基准数据集(Set5、Set14、B100、Urban100、Manga109)上对图像超分辨率模型进行评估。并通过与轻量级的图像超分辨方法进行对比，验证图像超分辨率模型的性能。
从评估结果中可以看出，提出的轻量级图像超分辨率方法中图像超分辨率模型在性能和参数量之间取得了良好的平衡。评估结果如下表：
表1：在5个基准数据集上同其他图像超分辨方法的对比结果表（比例因子X2）
表2：在5个基准数据集上同其他图像超分辨方法的对比结果表（比例因子X3）
表3：在5个基准数据集上同其他图像超分辨方法的对比结果表（比例因子X4）
实施例2：如附图5所示，一种轻量级图像超分辨率装置，基于实施例1的轻量级图像超分辨率方法，包括：获取模块501、训练模块502和生成模块503。
获取模块501用于获取低分辨率和高分辨率图像对。
训练模块502在深度学习设备上，利用Pytorch深度学习框架搭建图像超分辨率模型，并通过训练的方式，学习实施例1的轻量级图像超分辨率方法中的图像超分辨率算法图像超分辨率模型权重。
生成模块503利用训练好的图像超分辨率模型权重参数文件，直接对待恢复的低分辨率图像进行重建操作，并输出对应重建后的模块。
实施例3：如附图6所示，一种电子设备600，包括输入设备610、处理设备620、存储设备630和输出设备640，存储设备630中设置有图像超分辨处理模块631。
输入设备610可以使用摄像头、触屏显示器等。处理设备620可以使用图像处理单元(GPU)、中央处理单元(CPU)、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)等处理器，如果在存储设备630中使用已经训练好的图像超分辨率模型权重文件（实施例1中的轻量级的图像超分辨率网络），如果是小规模的图像重建，则建议使用CPU英特尔i6系列搭配8GB的RAM以上配置，如果是需要处理大规模的图像重建，则建议使用CPU英特尔XeonPlatinum 8255C搭配32GB的DDR4以及NVIDIA Tesla T4及以上配置混合使用 。存储设备630可以采用固态硬盘(Solid State Drive，SSD)、USB闪存驱动器、只读存储器(ROM)、随机存取存储器(RAM)等可以存储代码及权重文件的介质，在存储设备630中的图像超分辨处理模块631是以程序的形式实现的，输出设备640可以使用计算机显示屏或者投影仪等设备。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (7)
1.一种轻量级图像超分辨率方法，其特征在于，包括如下步骤：
S1：使用NSNP-type Conv单元构建整个轻量级图像超分辨率方法；
S2：在多层次特征混合模块中，使用全域自注意力和NSNP-type Conv单元构建局部特征增强模块，并使用NSNP-type Conv单元构建多尺度特征提取单元；
S3：使用NSNP-type Conv单元构建多层次特征自适应融合模块，通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息；
S4：构建多层次特征信息交互的图像超分辨率方法，基于NSNP-type Conv单元、局部特征增强模块、多尺度特征提取单元和多层次特征自适应融合模块，通过深度学习技术搭建图像超分辨率模型，将整个图像超分辨率模型通过端到端的方式进行学习，输出待重建图像的高分辨率重建图像；
其中，NSNP-type Conv单元通过如下步骤构建：
首先，根据非线性脉冲机制，得到非线性脉冲神经P***的更新方程：式中，表示神经元i和神经元j之间的突触连接；/>和/>表示神经元i在t和t-1时刻的状态，/>表示神经元j在t-1时刻的状态；/>表示设置的脉冲阈值，/>表示一个线性或非线性函数，/>表示一个非线性函数；/>表示神经元i消耗的脉冲；/>表示神经元j生成的脉冲；
然后，设置T=-∞确保神经元一直处于激活状态，其次设置，并引入神经元之间的突触权重，得到状态方程：式中，m表示神经元的数量；/>表示神经元i和神经元j之间的突触权重；
最后，通过状态方程构建NSNP-type Conv单元；
S3中通过多层次特征自适应融合模块生成的层次注意力权重自适应融合不同层次的特征信息，其中的运算为：其中，/>大小均为1×1，/>表示池化，/>表示生成的层次注意力权重；/>表示多层特征混合模块中第i层的输入特征；/>、/>、/>分别表示多层特征混合模块中第1、2、3层的输入特征， />表示经过不同输入特征/>、/>、经过MLFH中第i层的操作之后得到的全局特征信息；/>、/>、/>分别表示输入特征经过MLFH中第1、2、3层操作后获得的全局特征信息；/>表示激活函数；/>、分别表示多层特征混合模块中第1、2层次以及第2、3层次的全局特征信息交互后获得的层次注意力权重；/>表示经过逐通道拼接/>以及卷积操作之后获得的特征信息；/>表示多层次特征自适应融合模块的输入特征；/>表示逐元素相乘操作；
S4中多层次特征信息交互的图像超分辨率方法，包括如下步骤：
使用一层大小为3×3的NSNP-type Conv单元对输入的图像进行初步特征处理，将处理后的特征输入到多层次特征交互阶段；
在多层次交互阶段，输入的特征依次经过3个级联的多层次特征混合模块，每个多层次特征混合模块提取的多层次特征会输入到多层次特征自适应融合模块进行自适应融合后，输入到重建阶段；
在重建阶段，获得上采样之后的特征，再与经过双线性插值后的图像相加，输出最终重建的高分辨率图像；其中的运算为：式中，/>表示重建的高分辨率图像；/>表示输入的低分辨率图像；/>表示双线性插值操作；、/>、/>分别表示第1、2、3个多层次特征混合模块；/>、/>分别表示第1、2个多层次特征混合模块提取的特征信息；/>表示重建操作；表示卷积核大小为1×1的NSNP-type Conv单元。
2.根据权利要求1所述的轻量级图像超分辨率方法，其特征在于，S2中的局部特征增强模块由层归一化、全域自注意力模块、NSNP-type Conv单元组成；其中的运算为：其中，/>表示局部特征增强模块，/>表示局部特征增强模块的输入特征，/>表示层归一化模块，表示全域自注意力模块，/>表示逐元素相加操作，/>表示包含两个1×1、3×3的NSNP-type Conv单元。
3.根据权利要求2所述的轻量级图像超分辨率方法，其特征在于，在多层次特征混合模块中，使用不同尺寸的NSNP-type Conv单元构建若干个多尺度特征提取单元；其中的运算为：其中，/>表示卷积核大小为k×k的多尺度特征提取单元，分别为1×1、3×3、5×5和7×7，每个多尺度特征提取单元均使用一个1×1大小的NSNP-type Conv单元降低通道数，/>表示卷积核大小为k×k的NSNP-type Conv单元，k为NSNP-type Conv单元中的卷积核大小，分别为1×1、3×3、5×5和7×7，/>表示卷积核大小为1×1的NSNP-type Conv单元。
4.根据权利要求3所述的轻量级图像超分辨率方法，其特征在于，多层次特征混合模块包括3个局部特征增强模块和4个多尺度特征提取单元，每个局部特征增强模块所提取的特征经过不同大小的尺度特征提取单元，具体表示如下：其中，、/>、/>、/>分别表示包含大小为1×1、3×3、5×5和7×7卷积核的尺度特征提取单元；/>表示尺度特征提取单元的输入特征；/>、/>、/>、分别表示卷积核大小为1×1、3×3、5×5和7×7的尺度特征提取单元提取的特征信息，/>、/>、/>分别表示第1、2、3个局部特征增强模块提取的特征信息；
将4个尺度特征提取单元提取的特征按通道维度拼接，通过一个1×1和3×3的NSNP-type Conv单元，将提取的多层次特征进行简单的融合，再通过残差连接，与最初的输入特征F相加，将获得的特征作为多层次特征混合模块的输出，其中的运算为：其中，/>表示多层次特征混合模块的输出特征；/>表示逐通道拼接操作；/>表示多层次特征混合模块的输入特征；/>表示卷积核大小为1×1的NSNP-type Conv单元。
5.根据权利要求4所述的轻量级图像超分辨率方法，其特征在于，使用现有的DIV2K数据集中的低分辨率图像-高分辨率图像对作为训练数据集，保存训练好的图像超分辨率模型权重文件，使用Set5、Set14、B100、Urban100和Manga109数据集对图像超分辨率模型性能进行测试。
6.一种轻量级图像超分辨率装置，其特征在于，包括：
获取模块，用于获取低分辨率和高分辨率图像对；
训练模块，在深度学习设备上，利用Pytorch深度学习框架搭建图像超分辨率模型，并通过训练的方式，学习权利要求1-5中任意一项所述的轻量级图像超分辨率方法中的图像超分辨率模型权重；
生成模块，利用训练好的图像超分辨率模型权重参数文件，直接对待恢复的低分辨率图像进行重建操作，并输出对应重建后的模块。
7.一种电子设备，其特征在于，包括计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-5任意一项所述的轻量级图像超分辨率方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324546.6A CN117934286B (zh) | 2024-03-21 | 2024-03-21 | 一种轻量级图像超分辨率方法、装置及其电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324546.6A CN117934286B (zh) | 2024-03-21 | 2024-03-21 | 一种轻量级图像超分辨率方法、装置及其电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934286A CN117934286A (zh) | 2024-04-26 |
| CN117934286B true CN117934286B (zh) | 2024-06-04 |
Family
ID=90750886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410324546.6A Active CN117934286B (zh) | 2024-03-21 | 2024-03-21 | 一种轻量级图像超分辨率方法、装置及其电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934286B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118430A (zh) * | 2018-08-24 | 2019-01-01 | 深圳市商汤科技有限公司 | 超分辨率图像重建方法及装置、电子设备及存储介质 |
| CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
| CN110602403A (zh) * | 2019-09-23 | 2019-12-20 | 华为技术有限公司 | 一种暗光下拍照的方法及电子设备 |
| CN112446828A (zh) * | 2021-01-29 | 2021-03-05 | 成都东方天呈智能科技有限公司 | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 |
| CN112991167A (zh) * | 2021-01-27 | 2021-06-18 | 广东工业大学 | 一种基于分层特征融合网络的航拍图像超分辨率重建方法 |
| CN114049251A (zh) * | 2021-09-01 | 2022-02-15 | 中国矿业大学 | 一种用于ai视频分析的模糊图像超分辨率重建方法及装置 |
| CN114596488A (zh) * | 2022-02-25 | 2022-06-07 | 河南大学 | 基于密集特征融合网络的轻量级遥感目标检测方法 |
| CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
| CN117291803A (zh) * | 2023-09-28 | 2023-12-26 | 太原理工大学 | Pamgan轻量化面部超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10852838B2 (en) * | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN109461495B (zh) * | 2018-11-01 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
-
2024
- 2024-03-21 CN CN202410324546.6A patent/CN117934286B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118430A (zh) * | 2018-08-24 | 2019-01-01 | 深圳市商汤科技有限公司 | 超分辨率图像重建方法及装置、电子设备及存储介质 |
| CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
| CN110602403A (zh) * | 2019-09-23 | 2019-12-20 | 华为技术有限公司 | 一种暗光下拍照的方法及电子设备 |
| CN112991167A (zh) * | 2021-01-27 | 2021-06-18 | 广东工业大学 | 一种基于分层特征融合网络的航拍图像超分辨率重建方法 |
| CN112446828A (zh) * | 2021-01-29 | 2021-03-05 | 成都东方天呈智能科技有限公司 | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 |
| CN114049251A (zh) * | 2021-09-01 | 2022-02-15 | 中国矿业大学 | 一种用于ai视频分析的模糊图像超分辨率重建方法及装置 |
| CN114596488A (zh) * | 2022-02-25 | 2022-06-07 | 河南大学 | 基于密集特征融合网络的轻量级遥感目标检测方法 |
| CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
| CN117291803A (zh) * | 2023-09-28 | 2023-12-26 | 太原理工大学 | Pamgan轻量化面部超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于自适应注意力融合特征提取网络的图像超分辨率;王拓然等;《计算机应用研究》;20231208;第40卷(第11期);第3472-3477页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934286A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lan et al. | MADNet: A fast and lightweight network for single-image super resolution | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| Ahn et al. | Image super-resolution via progressive cascading residual network | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、***及电子设备 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及*** | |
| Zhang et al. | Gated fusion network for degraded image super resolution | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN115564649B (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| Jin et al. | Single image super-resolution with multi-level feature fusion recursive network | |
| CN111862251A (zh) | 医学图像重建技术的方法、装置、存储介质和电子设备 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| Conde et al. | Efficient deep models for real-time 4k image super-resolution. NTIRE 2023 benchmark and report | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| Wang et al. | Learning a degradation-adaptive network for light field image super-resolution | |
| CN111553861A (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| Wen et al. | Progressive representation recalibration for lightweight super-resolution | |
| CN106981046A (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN113989122A (zh) | 图像的超分辨率恢复方法、***、电子设备及存储介质 | |
| CN115760670B (zh) | 基于网络隐式先验的无监督高光谱融合方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |