CN110148091A - 基于非局部注意力机制的神经网络模型及图像超分辨方法 - Google Patents

基于非局部注意力机制的神经网络模型及图像超分辨方法 Download PDF

Info

Publication number
CN110148091A
CN110148091A CN201910285657.XA CN201910285657A CN110148091A CN 110148091 A CN110148091 A CN 110148091A CN 201910285657 A CN201910285657 A CN 201910285657A CN 110148091 A CN110148091 A CN 110148091A
Authority
CN
China
Prior art keywords
module
neural network
residual error
network model
non local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910285657.XA
Other languages
English (en)
Inventor
王好谦
罗毅
张永兵
张宇伦
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weilai Media Technology Research Institute
Original Assignee
Shenzhen Weilai Media Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weilai Media Technology Research Institute filed Critical Shenzhen Weilai Media Technology Research Institute
Priority to CN201910285657.XA priority Critical patent/CN110148091A/zh
Publication of CN110148091A publication Critical patent/CN110148091A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于非局部注意力机制的神经网络模型，由若干个卷积层模块、若干个非局部残差注意力模块和若干个局部残差注意力模块按照预定次序依次连接构成，且其中的最后一个模块的输出结果与原始输入的对应元素相加。本发明还公开一种基于非局部注意力机制的图像超分辨率方法，包括：构建上述的神经网络模型；将训练集输入到所述神经网络模型，对所述神经网络模型进行训练，得到训练好的所述神经网络模型；将待处理的低分辨率图像数据输入到训练好的所述神经网络模型，得到高分辨率图像。本发明提出的基于非局部注意力机制的神经网络模型及图像超分辨方法，解决了现有技术中存在的处理结果质量较低的技术问题。

Description

基于非局部注意力机制的神经网络模型及图像超分辨方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的图像超分辨率方法。
背景技术
在大量的电子图像应用领域，人们经常期望得到高分辨率(简称HR)图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必要的。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决现有技术中存在的处理结果质量较低的技术问题，本发明提出一种基于非局部注意力机制的神经网络模型及图像超分辨方法。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种基于非局部注意力机制的神经网络模型，由若干个卷积层模块、若干个非局部残差注意力模块和若干个局部残差注意力模块按照预定次序依次连接构成，且其中的最后一个模块的输出结果与原始输入的对应元素相加。
优选地，所述非局部残差注意力模块包括：一个第一双分支网络模块和若干个残差模块，所述第一双分支网络模块包括第一主分支模块和第一掩码分支模块，其中，若干个所述残差模块中分为两个部分，两个部分的所述残差模块各自依次相互连接，其中一部分的相互连接的所述残差模块的输出端连接在所述第一主分支模块和所述第一掩码分支模块共用的同一输入端上，另一部分的相互连接的所述残差模块的输入端连接在所述第一主分支模块和所述第一掩码分支模块的最终输出端；所述第一主分支模块的输出端和所述第一掩码分支模块的输出端进行矩阵乘法运算，该矩阵乘法运算的输出结果再与所述第一主分支模块和所述第一掩码分支模块的共同输入端的输入的对应元素相加后的输出端为所述第一主分支模块和所述第一掩码分支模块的最终输出端。
优选地，所述第一主分支模块由若干个残差模块构成。
优选地，所述第一掩码分支模块由一个非局部模块、m个残差模块、一个非局部卷积层、2m个残差模块、一个反卷积层、m个残差模块、一个卷积层和一个激活层依次串联构成。
优选地，所述局部残差注意力模块包括：一个第二双分支网络模块和若干个残差模块，所述第二双分支网络模块包括第二主分支模块和第二掩码分支模块，若干个所述残差模块中分为两部分，两部分的所述残差模块各自依次相互连接，其中一部分的相互连接的所述残差模块的输出端连接在所述第二主分支模块和所述第二掩码分支模块共用的同一输入端上，另一部分的相互连接的所述残差模块的输入端连接在所述第二主分支模块和所述第二掩码分支模块的最终输出端；其中，所述第二主分支模块的输出端和所述第二掩码分支模块的输出端进行矩阵乘法运算，该矩阵乘法运算的输出结果再与所述第二主分支模块和所述第二掩码分支模块的共同输入端的输入的对应元素相加后的输出端为所述第二主分支模块和所述第二掩码分支模块的最终输出端。
优选地，所述第二主分支模块由若干个残差模块构成。
优选地，所述第二掩码分支模块由m个残差模块、一个非局部卷积层、2m个残差模块、一个反卷积层、m个残差模块、一个卷积层和一个激活层依次串联构成。
优选地，所述残差模块由一个卷积层、一个ReLU激活层和一个卷积层依次串联而成，其中后一个所述卷积层的输出结果与原始输入的对应元素相加。
优选地，所述非局部残差注意力模块中包含非局部模块，所述非局部模块由三个子分支构成，其中各个子分支分别连接u、v、g三个卷积层，将连接u、v卷积层之后的两个子分支的输出结果进行矩阵变形之后得到的图像矩阵进行矩阵乘法运算，并将该矩阵乘法运算得到的结果输入到分类器中，经过分类器之后的结果与连接g卷积层的子分支的输出结果进行矩阵变形之后得到的图像矩阵再次进行矩阵乘法运算，然后将该矩阵乘法运算得到的结果再连接z卷积层，经过z卷积层后得到的结果经矩阵变形后与所述非局部模块的原始输入的对应元素相加。
本发明还公开了一种基于非局部注意力机制的图像超分辨率方法，包括以下步骤：
S1：构建上述的神经网络模型；
S2：将训练集输入到所述神经网络模型，对所述神经网络模型进行训练，得到训练好的所述神经网络模型；
S3：将待处理的低分辨率图像数据输入到训练好的所述神经网络模型，得到高分辨率图像。
与现有技术相比，本发明的有益效果在于：本发明公开的基于非局部注意力机制的神经网络模型及图像超分辨方法，在神经网络模型中引入考虑残差的非局部特征，通过堆叠卷积层模块、非局部残差注意力模块和局部残差注意力模块来构建该神经网络模型，可以提取局部和非局部注意力特征；并通过利用神经网络模型提取的非局部低级别和高级别的注意力特征，使得该神经网络模型有更好的能力，从而能够获得高质量的图像超分辨率结果；且该神经网络模型中仅有中等尺寸，执行速度非常快。
在进一步的方案中，非局部残差注意力模块和局部残差注意力模块都分别为双分支网络，且非局部残差注意力模块中所包含的主分支模块可以用于提取分层特征，掩码分支模块可以以自适应地重新缩放图像的分层特征，并通过其中的非局部模块获取图像的非局部混合注意力信息，从而可以增强图像的输出质量。另外，在神经网络模型中以及其中的非局部残差注意力模块和局部残差注意力模块中都分别通过将原始输入的对应元素加在输出结果上以保留了更多的低级别特征来训练深层网络，从而更适合图像超分辨率。
在更进一步的方案中，非局部残差注意力模块中的非局部模块通过u、v、g三个卷积层对输入图像的通道维进行了混合处理，再通过矩阵重组，使得图像的空间信息和通道信息进行混合融合，使得非局部残差注意力模块的后续处理不但能提取图像空间信息，也能考虑不同通道中的信息相关性和依赖性；另外，非局部残差注意力模块中还包括非局部卷积层，通过非局部模块配合大步幅的非局部卷积层能进一步扩大网络模型的感受野，使得非局部残差注意力模块的掩码分支模块可以提取非局部混合特征，从而进行多层次(不但是图像空间，还包括通道信息)的特征融合，更进一步增强图像超分辨结果的输出质量。
附图说明
图1是本发明的一个具体实施例的神经网络模型的结构示意图；
图2是本发明优选实施例的神经网络模型中的非局部残差注意力模块的结构示意图；
图3是图2中的非局部模块的结构示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
本发明优选实施例公开了一种基于非局部注意力机制的神经网络模型，由若干个卷积层(Conv)模块、若干个非局部残差注意力模块(RNAB)和若干个局部残差注意力模块(RAB)按照预定次序依次连接构成，其中的最后一个模块的输出结果与原始输入的对应元素相加。如图1所示，在一个具体实施例中，该神经网络模型由一个卷积层(Conv)、一个非局部残差注意力模块(RNAB)、三个局部残差注意力模块(RAB)、一个非局部残差注意力模块(RNAB)和一个卷积层(Conv)依次连接而成，且最后一个卷积层(Conv)的输出结果与原始输入的对应元素相加。
如图2所示，非局部残差注意力模块(RNAB)包括一个双分支网络模块和若干个残差模块(RB)，其中双分支网络模块包括主分支模块(Trunk)和掩码分支模块(Mask)，主分支模块(Trunk)和掩码分支模块(Mask)相互并列连接后相乘后得到的输出再与主分支模块(Trunk)和掩码分支模块(Mask)的输入相加作为主分支模块(Trunk)和掩码分支模块(Mask)的最终输出，其中q个残差模块(RB)依次连接在主分支模块(Trunk)和掩码分支模块(Mask)的输入端，另q个残差模块(RB)依次连接在主分支模块(Trunk)和掩码分支模块(Mask)的最终输出端，其中q为正整数，取值可以根据实际使用情况来定。
其中，主分支模块(Trunk)由t个残差模块(RB)依次相互连接构成；掩码分支模块(Mask)由一个非局部模块(NLB)、m个残差模块(RB)、一个非局部卷积层(Subscale)、2m个残差模块(RB)、一个反卷积层(Upscale)、m个残差模块(RB)、一个卷积层(Conv)和一个激活层(Sigmoid激活函数)依次串联构成；掩码分支模块(Mask)通过非局部模块(NLB)提取局部和非局部的混合特征，其关键是掌握更大范围的信息，即更大的感受野大小，从而可以获得更复杂的注意力图，在本实施例中，采用大步幅的非局部卷积层(Subscale)和反卷积层(Upscale)来扩大感受野大小。具体地，掩码分支模块(Mask)从输入开始，经过m个残差模块(RB)，进入大步幅(步幅＞2)的非局部卷积层(Subscale)用于增加感受野大小；在额外的2m个残差模块(RB)之后，缩小的特征图然后由反卷积层(Upscale)扩展，扩展的特征通过m个残差模块(RB)和一个1*1的卷积层(Conv)进一步转化，然后激活层(Sigmoid激活函数)规范化输出值，范围为[0:1]。虽然掩码分支模块(Mask)的感受野尺寸远大于主分支(Trunk)的感受野尺寸，但是它不能一次覆盖所有特征，这可以通过使用非局部模块(NLB)来实现，以获得非局部混合注意力特征，从而进行多层次的特征融合。其中t、m分别为正整数，取值可以根据实际使用情况来定
来自不同深度的主分支模块(Trunk)的特征映射用作分层特征，也即用于提取分层特征；掩码分支模块(Mask)将图像通道和空间注意力自适应地缩放作为分层特征，从而使得主分支模块(Trunk)和掩码分支模块(Mask)能够分别提供不同位置的注意力特征，也即通过非局部残差注意力模块(RNAB)中的主分支模块(Trunk)和掩码分支模块(Mask)可以分别提取局部特征和非局部特征。
残差模块(RB)由一个卷积层(Conv)、一个激活层(ReLU激活函数)和一个卷积层(Conv)依次串联而成，其中残差模块(RB)的输出结果与原始输入的对应元素相加；本实施例中，该残差模块(RB)仅由两个卷积层(Conv)和一个激活层(ReLU激活函数)组成，省略了不必要的组件，例如池化层和批量标准化层。
如图3所示，非局部模块(NLB)由三个子分支构成，其中各子分支先将宽为W、高为H、特征数为2C的图像矩阵分别通过u、v、g三个卷积层(包含C个1*1卷积核)之后再分别进行矩阵变形之后得到HW×C、C×HW、HW×C的图像矩阵，其中分别通过u、v卷积层之后进行矩阵变形之后得到的HW×C、C×HW的图像矩阵进行矩阵乘法后得到HW×HW的图像矩阵，在经过分类器之后与通过g卷积层之后进行矩阵变形之后得到的HW×C的图像矩阵进行矩阵乘法得到HW×C的图像矩阵，经过z卷积层(包含2C个1*1卷积核)且变形后得到的H×W×2C图像矩阵最后再与非局部模块(NLB)的原始输入相加作为输出。该非局部模块(NLB)首先对输入图像(矩阵形式)的2C个通道维(或者特征维，特征提取等是指从图像原本的数据(包括空间信息和通道信息)里提取信息的特征，可以认为是特征变换，是更加宽泛的概念，相当于把隐藏在图片里的信息整理出来，然后“储存”在通道维里，因此通道维也即为特征维)进行了混合处理，即通过u、v、g三个卷积层先把图像的2C个通道分别变换到C个不同通道，再通过矩阵重组(reshape，图3中虚线箭头处)使得图像的空间信息和通道信息进行混合融合，使得非局部残差注意力模块(RNAB)的后续处理(例如RB模块)不但能提取图像空间信息，也能考虑不同通道(例如RGB)中的信息相关性和依赖性。另外，非局部模块(NLB)配合非局部残差注意力模块(RNAB)中的大步幅的非局部卷积层(Subscale)，更是能进一步扩大网络的感受野，使得掩码分支模块(Mask)可以提取非局部混合特征，从而进行多层次(不但是图像空间，还包括通道信息)的特征融合。
其中，上述的局部残差注意力模块(RAB)的结构与非局部残差注意力模块(RNAB)的结构大体上相同，不同之处仅在于，非局部残差注意力模块(RNAB)中的掩码分支模块(Mask)包含非局部模块(NLB)，而局部残差注意力模块(RAB)中的掩码分支模块(Mask)不包含非局部模块(NLB)，因此通过将非局部残差注意力模块(RNAB)和局部残差注意力模块(RAB)进行结合使用，可以提取非局部特征并进行不同特征维度的混合，以增强图像超分辨效果。
本发明优选实施例公开了一种基于非局部注意力机制的图像超分辨方法，包括以下步骤：
S1：构建上述的神经网络模型；
神经网络模型由主干和掩码分支组成，通过掩码分支中的非局部模块获得图像非局部混合注意力信息，并进行不同特征维度的混合，以增强图像超分辨效果。
S2：将训练集输入到神经网络模型，对神经网络模型进行训练，利用神经网络模型的非局部低级别和高级别的特征从分层特征中学习局部和非局部信息，得到训练好的神经网络模型；
将来自主分支模块(Trunk)的特征映射用作分层特征，通过掩码分支模块(Mask)中的非局部模块(NLB)，图像的各通道数据被混合并且重新组合(见图3中的特征层变换)，可以将图像通道和空间自适应地重新缩放分层特征。残差学习倾向于保留更多低级别特征，并允许训练非常深的残差神经网络，得到最终的训练好的神经网络模型。
其中非局部残差注意力模块(RNAB)中拥有非局部模块(NLB)的掩码分支模块(Mask)可以产生非局部混合注意力，然而来自主分支模块(Trunk)和掩码分支模块(Mask)的特征之间的简单乘法并不能让非常深的神经网络易于训练，而且低级别的特征对于图像超分辨更为重要，因此在本实施例中，通过加入原始输入x，提出一种简单但更合适的残差注意力学习方法，在主分支模块(Trunk)和掩码分支模块(Mask)的特征之间相乘之后再与原始输入进行相加，也即非局部残差注意力模块(RNAB)的输出结构HRNAB为：HRNAB(x)＝HTrunk(x)HMask(x)+x；在本实施例中局部残差注意力模块(RAB)的输出结构也和HRNAB相同，在此不再赘述。
S3：将待处理的低分辨率图像数据输入到训练好的神经网络模型，得到高分辨率图像。
对于每一个低分辨率图像，直接将其输入到训练好的神经网络模型中，利用训练好的参数提取多层注意力特征，在模型输出得到超分辨处理之后的高清图像。
在一个具体的实施例中，基于非局部注意力机制的图像超分辨方法包括：
(1)获取训练数据：可以采用历年ntire比赛数据作为训练数据集，也可以手动选取图像进行下采样处理，和原图配对作为训练数据集。
(2)训练模型：通过梯度下降反向传播及其改进方法，如随机梯度下降算法(SGD)等进行参数的学习。损失函数需要设置成 其中，IL和IH分别表示低质量和高质量图像，HRNAN表示基于非局部注意力机制的图像超分辨率模型，||||2表示2-范数，给定训练数据集，其中包含N个低分辨率输入及其对应的高分辨率图像。
(3)检验模型效果：将需要处理的低分辨率图像输入到训练好的模型，得到超分辨率处理之后的高分辨率图像，与标准图像计算PSNR；其中PSNR(Peak signal-to-noiseratio)为峰值信噪比，具体是一个表示信号最大可能功率和影响它的表示精度的破坏性杂讯功率的比值的工程术语，由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。通过检验结果验证，通过本发明优选实施例构建的神经网络模型，经训练后，输入低分辨率图像，能够得到高分辨率的图像。
本发明优选实施例提出的基于基于非局部注意力机制的神经网络模型及图像超分辨方法，通过在神经网络模型中采用非局部残差注意力模块(RNAB)，且在非局部残差注意力模块(RNAB)中包含非局部模块(NLB)，其中非局部模块(NLB)可以充分利用图像的局部和非局部(即全局)特征，并且考虑了不同通道(RGB)中的信息相关性和依赖性，因此通过该神经网络模型及图像超分辨方法能够提高经过超分辨处理之后的图像质量。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于非局部注意力机制的神经网络模型，其特征在于，由若干个卷积层模块、若干个非局部残差注意力模块和若干个局部残差注意力模块按照预定次序依次连接构成，且其中的最后一个模块的输出结果与原始输入的对应元素相加。
2.根据权利要求1所述的神经网络模型，其特征在于，所述非局部残差注意力模块包括：一个第一双分支网络模块和若干个残差模块，所述第一双分支网络模块包括第一主分支模块和第一掩码分支模块，其中，若干个所述残差模块中分为两个部分，两个部分的所述残差模块各自依次相互连接，其中一部分的相互连接的所述残差模块的输出端连接在所述第一主分支模块和所述第一掩码分支模块共用的同一输入端上，另一部分的相互连接的所述残差模块的输入端连接在所述第一主分支模块和所述第一掩码分支模块的最终输出端；所述第一主分支模块的输出端和所述第一掩码分支模块的输出端进行矩阵乘法运算，该矩阵乘法运算的输出结果再与所述第一主分支模块和所述第一掩码分支模块的共同输入端的输入的对应元素相加后的输出端为所述第一主分支模块和所述第一掩码分支模块的最终输出端。
3.根据权利要求2所述的神经网络模型，其特征在于，所述第一主分支模块由若干个残差模块构成。
4.根据权利要求2所述的神经网络模型，其特征在于，所述第一掩码分支模块由一个非局部模块、m个残差模块、一个非局部卷积层、2m个残差模块、一个反卷积层、m个残差模块、一个卷积层和一个激活层依次串联构成。
5.根据权利要求1所述的神经网络模型，其特征在于，所述局部残差注意力模块包括：一个第二双分支网络模块和若干个残差模块，所述第二双分支网络模块包括第二主分支模块和第二掩码分支模块，若干个所述残差模块中分为两部分，两部分的所述残差模块各自依次相互连接，其中一部分的相互连接的所述残差模块的输出端连接在所述第二主分支模块和所述第二掩码分支模块共用的同一输入端上，另一部分的相互连接的所述残差模块的输入端连接在所述第二主分支模块和所述第二掩码分支模块的最终输出端；其中，所述第二主分支模块的输出端和所述第二掩码分支模块的输出端进行矩阵乘法运算，该矩阵乘法运算的输出结果再与所述第二主分支模块和所述第二掩码分支模块的共同输入端的输入的对应元素相加后的输出端为所述第二主分支模块和所述第二掩码分支模块的最终输出端。
6.根据权利要求5所述的神经网络模型，其特征在于，所述第二主分支模块由若干个残差模块构成。
7.根据权利要求5所述的神经网络模型，其特征在于，所述第二掩码分支模块由m个残差模块、一个非局部卷积层、2m个残差模块、一个反卷积层、m个残差模块、一个卷积层和一个激活层依次串联构成。
8.根据权利要求2至7任一项所述的神经网络模型，其特征在于，所述残差模块由一个卷积层、一个ReLU激活层和一个卷积层依次串联而成，其中后一个所述卷积层的输出结果与原始输入的对应元素相加。
9.根据权利要求1至7任一项所述的神经网络模型，其特征在于，所述非局部残差注意力模块中包含非局部模块，所述非局部模块由三个子分支构成，其中各个子分支分别连接u、v、g三个卷积层，将连接u、v卷积层之后的两个子分支的输出结果进行矩阵变形之后得到的图像矩阵进行矩阵乘法运算，并将该矩阵乘法运算得到的结果输入到分类器中，经过分类器之后的结果与连接g卷积层的子分支的输出结果进行矩阵变形之后得到的图像矩阵再次进行矩阵乘法运算，然后将该矩阵乘法运算得到的结果再连接z卷积层，经过z卷积层后得到的结果经矩阵变形后与所述非局部模块的原始输入的对应元素相加。
10.一种基于非局部注意力机制的图像超分辨率方法，其特征在于，包括以下步骤：
S1：构建权利要求1至9任一项所述的神经网络模型；
S2：将训练集输入到所述神经网络模型，对所述神经网络模型进行训练，得到训练好的所述神经网络模型；
S3：将待处理的低分辨率图像数据输入到训练好的所述神经网络模型，得到高分辨率图像。
CN201910285657.XA 2019-04-10 2019-04-10 基于非局部注意力机制的神经网络模型及图像超分辨方法 Withdrawn CN110148091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910285657.XA CN110148091A (zh) 2019-04-10 2019-04-10 基于非局部注意力机制的神经网络模型及图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910285657.XA CN110148091A (zh) 2019-04-10 2019-04-10 基于非局部注意力机制的神经网络模型及图像超分辨方法

Publications (1)

Publication Number Publication Date
CN110148091A true CN110148091A (zh) 2019-08-20

Family

ID=67588313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910285657.XA Withdrawn CN110148091A (zh) 2019-04-10 2019-04-10 基于非局部注意力机制的神经网络模型及图像超分辨方法

Country Status (1)

Country Link
CN (1) CN110148091A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260551A (zh) * 2020-01-08 2020-06-09 华南理工大学 一种基于深度学习的视网膜超分辨重建***及方法
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及***
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN112200302A (zh) * 2020-09-27 2021-01-08 四川翼飞视科技有限公司 一种加权残差神经网络的构建方法
CN112967730A (zh) * 2021-01-29 2021-06-15 北京达佳互联信息技术有限公司 语音信号的处理方法、装置、电子设备及存储介质
CN113095106A (zh) * 2019-12-23 2021-07-09 华为数字技术（苏州）有限公司 一种人体姿态估计方法、装置
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111367B2 (en) * 2011-12-14 2015-08-18 Peking University Nonlocality based super resolution reconstruction method and device
CN105427253A (zh) * 2015-11-06 2016-03-23 北京航空航天大学 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111367B2 (en) * 2011-12-14 2015-08-18 Peking University Nonlocality based super resolution reconstruction method and device
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN105427253A (zh) * 2015-11-06 2016-03-23 北京航空航天大学 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YULUN ZHANG ET AL.: "Residual Non-local Attention Networks for Image Restoration", 《ARXIV CORR》 *
舒雷: "基于视觉感知的超分辨率图像重建及其质量评价", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095106A (zh) * 2019-12-23 2021-07-09 华为数字技术（苏州）有限公司 一种人体姿态估计方法、装置
CN111260551A (zh) * 2020-01-08 2020-06-09 华南理工大学 一种基于深度学习的视网膜超分辨重建***及方法
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及***
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN112200302A (zh) * 2020-09-27 2021-01-08 四川翼飞视科技有限公司 一种加权残差神经网络的构建方法
CN112200302B (zh) * 2020-09-27 2021-08-17 四川翼飞视科技有限公司 一种用于图像分类的加权残差神经网络的构建方法
CN112967730A (zh) * 2021-01-29 2021-06-15 北京达佳互联信息技术有限公司 语音信号的处理方法、装置、电子设备及存储介质
CN114547017A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 一种基于深度学习的气象大数据融合方法
CN114547017B (zh) * 2022-04-27 2022-08-05 南京信息工程大学 一种基于深度学习的气象大数据融合方法

Similar Documents

Publication Publication Date Title
CN110148091A (zh) 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及***
CN110163801B (zh) 一种图像超分辨和着色方法、***及电子设备
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN106683067A (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN111833246A (zh) 基于注意力级联网络的单帧图像超分辨方法
CN109903221A (zh) 图像超分方法及装置
CN105976318A (zh) 一种图像超分辨率重建方法
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN107155110A (zh) 一种基于超分辨率技术的图片压缩方法
CN111242846A (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN109685716A (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN108921783A (zh) 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN108765290A (zh) 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN113160047B (zh) 一种基于多尺度通道注意力机制的单幅图像超分辨率方法
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN113920043A (zh) 基于残差通道注意力机制的双流遥感图像融合方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别***及方法
CN112200724A (zh) 一种基于反馈机制的单图像超分辨率重建***及方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN110930306A (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN111414988A (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190820

WW01 Invention patent application withdrawn after publication