CN114841859A - 基于轻量神经网络和Transformer的单图像超分辨率重建方法 - Google Patents

基于轻量神经网络和Transformer的单图像超分辨率重建方法 Download PDF

Info

Publication number
CN114841859A
CN114841859A CN202210463442.4A CN202210463442A CN114841859A CN 114841859 A CN114841859 A CN 114841859A CN 202210463442 A CN202210463442 A CN 202210463442A CN 114841859 A CN114841859 A CN 114841859A
Authority
CN
China
Prior art keywords
image
neural network
resolution
low
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210463442.4A
Other languages
English (en)
Inventor
黄为伟
郑钰辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210463442.4A priority Critical patent/CN114841859A/zh
Publication of CN114841859A publication Critical patent/CN114841859A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轻量神经网络和Transformer的单图像超分辨率重建方法。首先，本发明利用低频特征提取模块提取低分辨率图像的低频特征图，其次，将特征图分块输入深度可分离卷积模块与Transformer相结合的框架中，提取图像的高频纹理细节特征，最后，将低频特征图和高频特征图，经跳跃连接输出高分辨率图像。此方法能够实现低分辨率图像的超分辨率重建，得到细节丰富、纹理清晰、空间分辨率高的高分辨率图像。

Description

基于轻量神经网络和Transformer的单图像超分辨率重建 方法
技术领域
本发明属于图像处理领域，具体涉及一种基于轻量神经网络和Transformer的单图像超分辨率重建方法。
背景技术
近年来，随着互联网技术的蓬勃发展，图像成为人们获取信息的重要来源之一。然而大多数的图像由于硬件性能、环境噪声、传输方式和存储方式的影响，会经历一个退化过程，导致图像的质量降低，人们往往无法获得高分辨率的图像，因此对图像分辨率进行重建是图像处理领域的一项研究重点和难点。通过各种软件算法低成本地提高原有图像的分辨率，就是超分辨率(Super-Resolution,SR)重建。超分辨率重建技术突破了设备性能和环境因素的制约，节省成本，节约资源，在诸多领域有着重要的应用价值和广阔的应用前景。
迄今为止，已经有大量超分辨率重建方法被提出，主要分为以下三类方法：(1)基于插值的方法；(2)基于重建的方法；(3)基于学***滑，细节模糊，还会产生振铃现象。插值法主要利用图像像素之间的相关性，根据邻域内局部像素值通过函数公式得到估计点的像素值，常见的插值方法有：最近邻插值法、双线性插值法和双立方插值法。基于重建的方法主要是利用图像的退化模型，通过多帧低分辨率图像的信息重构单帧高分辨率图像。基于学习的方法的基本思想是通过研究低分辨率图像与对应高分辨率图像之间的映射关系，然后利用这种关系对输入图像进行重建。
随着计算机软硬件技术的发展，深度学习技术逐渐兴起，并且在各个领域得到广泛应用，尤其是计算机视觉领域。随着各种深度神经网络模型的提出，Transformer模型在这些模型中脱颖而出。Transformer模块中的自注意力机制可以有效克服卷积归纳偏差所带来的局限性，但同时参数较多，计算量较大，因此本发明结合了轻量网络和Transformer模型，提出了一种基于轻量神经网络和Transformer的单图像超分辨率重建方法。
发明内容
本发明的目的是克服现有技术存在的不足，本发明提供了一种参数量小，计算量小的一种基于轻量神经网络和Transformer的单图像超分辨率重建方法。
为了达到以上目的，本发明所采用的技术方案是：
一种基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：将原始的高分辨率图像XHR通过双三次插值法下采样得到低分辨率图像XLR；
步骤2：使用三层卷积神经网络，提取低分辨率图像XLR的低频特征图X；
步骤3：对步骤2得到的低分辨率图像特征图X，送入主体网络中，得到高频特征图；其中，主体网络由N个轻量Transformer模块级联而成，每个轻量Transformer模块由第一分块模块、第一线性变换模块、展平模块、Transformer模块、第二线性变换模块和深度可分离卷积神经网络级联而成；
步骤4：将步骤2提取的低频特征图与步骤3得到的高频特征图融合，得到重建的高分辨率图像。
进一步地，步骤2低频特征提取中使用了三层标准卷积神经网络提取图像的低频特征，具体包括以下步骤：
步骤2.1：使用三层卷积神经网络对低分辨率图像XLR进行特征提取，得到特征图
Figure BDA0003621247510000021
其中，3表示R，G，B三个通道，H×W表示特征图的大小；
步骤2.2：将特征图X均匀分割为N个图像块，第i个图像块
Figure BDA0003621247510000022
i＝1,2,…,N；其中，h＝H/N,w＝W/N。
进一步地，步骤3中轻量Transformer模块的处理流程如下：第一分块模块将接收到的特征图分割成N个相同大小的图像块，每个图像块经过线性变换后展平为一维序列，N个一维序列经过Transformer模块后输出N个图像块的特征图，N个图像块的特征图经过线性变换后进行重组形成完整的特征图，重组形成的完整特征图经过深度可分离卷积神经网络，生成高频特征图。
进一步地，步骤3中Transformer模块中的编码器和解码器具体如下：
编码器包括第一自注意力层和第一前馈神经网络MLP，在第一自注意力层与第一MLP之后均设有一个残差模块和归一化操作模块；
解码器包括第二自注意力层和第二前馈神经网络，在第二自注意力层和第二前馈神经网络中间还设有一层编码器-解码器注意力层。
进一步地，步骤3中的深度可分离卷积神经网络包括逐点卷积层和深度卷积层，其中，逐点卷积层和深度卷积层之后均设有批规范化层和ReLU激活函数。
进一步地，步骤4中使用跳跃连接将步骤2提取的低分辨率图像特征图与步骤3得到的高分辨率特征图融合，经由一个卷积层得到重建的高分辨率图像。
本发明的有益效果如下：
本发明使用深度可分离卷积来提取图像的精细纹理特征，相对于普通的卷积操作，深度可分离卷积网络参数少，计算量小，计算复杂度低，同时使用Transformer的编码器和解码器模块，其模块中的自注意力机制可以有效克服卷积归纳偏差所带来的局限性。此方法能够实现低分辨率图像的超分辨率重建，得到细节丰富、纹理清晰、空间分辨率高的高分辨率图像。
附图说明
图1是本发明提出的基于轻量神经网络和Transformer的单图像超分辨率重建方法的流程示意图；
图2是本发明提出的基于轻量神经网络和Transformer的单图像超分辨率重建方法模型示意图；
图3是本发明所提出的主网络的Mobile-T架构示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
如图1所示，本发明公开了一种基于轻量神经网络和Transformer的单图像超分辨率重建方法，首先，本发明将原始的高分辨率图像使用双三次下采样得到低分辨率图像，将得到的低分辨率图像作为网络的输入，原始的高分辨率图像作为网络(包括三层卷积神经网络、主体网络以及用于最终融合的一个卷积层)训练时的真实标注数据。其次，利用低频特征提取模块(三层卷积神经网络)提取低分辨率图像的空间结构特征，然后，利用主体网络(多个Mobile-T模型)提取图像的高频信息，输出各图像块的特征图，最终通过跳跃连接将高低频特征图融合(一个卷积层)重建出高分辨率图像。此方法能够实现低分辨率图像的超分辨率重建，得到细节丰富、纹理清晰、空间分辨率高的高分辨率图像。
在一个实施例中，如图1所示，基于轻量神经网络和Transformer的单图像超分辨率重建方法包括以下步骤：
步骤1：将原始的高分辨率RGB图像通过双三次法下采样得到低分辨率图像XLR。将得到的低分辨率图像作为网络的输入，原始的高分辨率图像作为网络训练时的真实标注数据。
步骤2：使用三层标准卷积神经网络提取低分辨率图像XLR的低频特征图X。
步骤3：对步骤2得到的低分辨率图像特征图X，送入主体网络中，得到高频特征图；其中，主体网络由N个轻量Transformer模块级联而成，每个轻量Transformer模块由第一分块模块、第一线性变换模块、展平模块、Transformer模块、第二线性变换模块和深度可分离卷积神经网络级联而成。
步骤4：将步骤2提取的低频特征图与步骤3得到的高频特征图融合，得到重建的高分辨率图像。
步骤1中包括构建网络所需的数据集，本发明中我们使用DIV2K数据集作为实验的训练数据集。首先对数据集中的图像进行双三次下采样预处理，然后将预处理后的低分辨率图像作为网络模型的输入，原始的高质量图像作为真实标注数据制作训练数据集。
具体下采样操作如下：
XLR＝f(XHR)
其中，XHR为原始的高分辨率图像，f(·)代表双三次法下采样操作，XLR为经过下采样得到的低分辨率图像。
如图2所示，网络模型包括低频特征提取模块、主体网络以及重建模块，其中，主体网络由N个轻量Transformer模块级联而成，如图3所示，每个轻量Transformer模块由第一分块模块、第一线性变换模块、展平模块、Transformer模块、第二线性变换模块和深度可分离卷积神经网络级联而成；重建模块将低频特征提取模块提取的低频特征图与主体网络输出的高频特征图融合，经由一个卷积层得到重建的高分辨率图像。主体网络能够实现对图像精细特征的提取。
所述低频特征提取模块由三层标准卷积神经网络级联而成，提取图像低频特征的具体如下：
三层标准卷积神经网络的卷积核大小为3×3：
Lj＝Max(0,Wj*XLR+Bj),j＝1,2,3
式中，XLR为输入的低分辨率图像，Wj是第j层卷积神经网络层的卷积核，Bj为第j层卷积神经网络层的偏置，*表示卷积操作。
所述第一和第二分块模块对接收到的特征图进行分块：将特征图X均匀分割为N个固定大小的图像块Xi,i＝1,2,…,N。其中，
Figure BDA0003621247510000051
这里3指R，G，B三个通道，H×W表示特征图的大小。每个分割后的特征图像块
Figure BDA0003621247510000052
i＝1,2,…,N，其中N为图像块的数量，h＝H/N,w＝W/N。
所述Transformer模块中的编码器和解码器具体如下：
编码器：使用标准的Transformer编码器架构，对于每一个编码器，主要包含两层结构。一个是自注意力层(Self-Attention)，用于获取上下文语义信息。另一个是前馈神经网络(MLP)。此外，在每个自注意力层与前馈神经网络层之后都会有一个残差模块和归一化操作，其作用是加速模型收敛、防止梯度消失或梯度***。其中，自注意力层输出注意力值的具体计算公式如下：
Figure BDA0003621247510000053
其中，Q指查询矩阵，K指键矩阵，V指值矩阵，dk指主体网络的输入向量即图像块的维度。三个矩阵计算后通过softmax函数输出注意力值。
解码器：解码器：解码器使用标准的Transformer解码器架构。主要包括三个模块：自注意力层、前馈神经网络、编码器-解码器注意力层。通过解码器输出N个图像块的特征图，然后经线性变换将图像块特征重组为完整的特征图。
所述深度可分离卷积模块具体为：使用深度可分离卷积进一步提取图像高频特征，不同于传统深度可分离卷积，而是先使用逐点卷积加深特征通道维度，然后使用深度卷积实现特征融合。每一个卷积层(深度卷积、逐点卷积)之后都紧跟着批规范化和ReLU激活函数。经N个Mobile-T模块最终生成高频特征图X′。具体卷积操作如下：
Lpoint＝ReLU(W4*Llast+B4)
Ldep＝ReLU(W5*Lpoint+B5)
其中，Lpoint代表逐点卷积层，W4、B4分别代表逐点卷积层的卷积核和偏置，Ldep代表深度卷积层，W5、B5分别代表深度卷积层的卷积核和偏置，Llast为上一层的输出，*表示卷积操作。
所述重建模块具体为：
使用跳跃连接将低频特征提取模块提取的低分辨率图像特征图与主体网络输出的高分辨率特征图相加，使用一个卷积层得到高分辨率图像。具体融合公式如下：
HR＝X′*W+X
式中，HR为最终重建的高分辨率图像，X′表示主体网络输出的高分辨率特征图，W表示该卷积层的卷积核，X表示低分辨率图像特征图，*表示卷积操作。
上述方法仅为该发明的一种较为合理的实现方式，本发明的保护范围并不以上述实施方法为限，但凡本领域普通技术人员根据本发明所揭示内容所做的等效修饰或变化，皆应纳入权利要求书记载的保护范围内。

Claims (6)

1.基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：将原始的高分辨率图像XHR通过双三次插值法下采样得到低分辨率图像XLR；
步骤2：使用三层卷积神经网络，提取低分辨率图像XLR的低频特征图X；
步骤3：对步骤2得到的低分辨率图像特征图X，送入主体网络中，得到高频特征图；其中，主体网络由N个轻量Transformer模块级联而成，每个轻量Transformer模块由第一分块模块、第一线性变换模块、展平模块、Transformer模块、第二线性变换模块和深度可分离卷积神经网络级联而成；
步骤4：将步骤2提取的低频特征图与步骤3得到的高频特征图融合，得到重建的高分辨率图像。
2.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，步骤2低频特征提取中使用了三层标准卷积神经网络提取图像的低频特征，具体包括以下步骤：
步骤2.1：使用三层卷积神经网络对低分辨率图像XLR进行特征提取，得到特征图
Figure FDA0003621247500000011
其中，3表示R，G，B三个通道，H×W表示特征图的大小；
步骤2.2：将特征图X均匀分割为N个图像块，第i个图像块
Figure FDA0003621247500000012
其中，h＝H/N,w＝W/N。
3.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，步骤3中轻量Transformer模块的处理流程如下：第一分块模块将接收到的特征图分割成N个相同大小的图像块，每个图像块经过线性变换后展平为一维序列，N个一维序列经过Transformer模块后输出N个图像块的特征图，N个图像块的特征图经过线性变换后进行重组形成完整的特征图，重组形成的完整特征图经过深度可分离卷积神经网络，生成高频特征图。
4.根据权利要求3所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，步骤3中Transformer模块中的编码器和解码器具体如下：
编码器包括第一自注意力层和第一前馈神经网络MLP，在第一自注意力层与第一MLP之后均设有一个残差模块和归一化操作模块；
解码器包括第二自注意力层和第二前馈神经网络，在第二自注意力层和第二前馈神经网络中间还设有一层编码器-解码器注意力层。
5.根据权利要求3所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，步骤3中的深度可分离卷积神经网络包括逐点卷积层和深度卷积层，其中，逐点卷积层和深度卷积层之后均设有批规范化层和ReLU激活函数。
6.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法，其特征在于，步骤4中使用跳跃连接将步骤2提取的低频特征图与步骤3得到的高频特征图融合，经由一个卷积层得到重建的高分辨率图像。
CN202210463442.4A 2022-04-28 2022-04-28 基于轻量神经网络和Transformer的单图像超分辨率重建方法 Pending CN114841859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463442.4A CN114841859A (zh) 2022-04-28 2022-04-28 基于轻量神经网络和Transformer的单图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463442.4A CN114841859A (zh) 2022-04-28 2022-04-28 基于轻量神经网络和Transformer的单图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN114841859A true CN114841859A (zh) 2022-08-02

Family

ID=82568493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463442.4A Pending CN114841859A (zh) 2022-04-28 2022-04-28 基于轻量神经网络和Transformer的单图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114841859A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416261A (zh) * 2023-06-09 2023-07-11 南京航空航天大学 超分辨率重建辅助的ct图像超分辨率分割方法
CN116740414A (zh) * 2023-05-15 2023-09-12 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740414A (zh) * 2023-05-15 2023-09-12 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质
CN116740414B (zh) * 2023-05-15 2024-03-01 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质
CN116416261A (zh) * 2023-06-09 2023-07-11 南京航空航天大学 超分辨率重建辅助的ct图像超分辨率分割方法
CN116416261B (zh) * 2023-06-09 2023-09-12 南京航空航天大学 超分辨率重建辅助的ct图像超分辨率分割方法

Similar Documents

Publication Publication Date Title
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN110163801B (zh) 一种图像超分辨和着色方法、***及电子设备
CN110930342B (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN114841859A (zh) 基于轻量神经网络和Transformer的单图像超分辨率重建方法
Luo et al. Lattice network for lightweight image restoration
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN112801877A (zh) 一种视频帧的超分辨率重构方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN115829876A (zh) 一种基于交叉注意力机制的真实退化图像盲修复方法
Hui et al. Two-stage convolutional network for image super-resolution
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN116596764A (zh) 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115936983A (zh) 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质
CN114926337A (zh) 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及***
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN117196959B (zh) 基于自注意力的红外图像超分辨率方法、装置及可读介质
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN116664435A (zh) 一种基于多尺度人脸解析图融入的人脸复原方法
Liu et al. Frequency separation-based multi-scale cascading residual block network for image super resolution
CN116823647A (zh) 基于快速傅里叶变换和选择性注意力机制的图像补全方法
CN113436094B (zh) 一种基于多视角注意力机制的灰度图像自动上色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination