CN111223046A - 一种图像超分辨率重建方法及装置 - Google Patents

一种图像超分辨率重建方法及装置 Download PDF

Info

Publication number
CN111223046A
CN111223046A CN201911140450.XA CN201911140450A CN111223046A CN 111223046 A CN111223046 A CN 111223046A CN 201911140450 A CN201911140450 A CN 201911140450A CN 111223046 A CN111223046 A CN 111223046A
Authority
CN
China
Prior art keywords
module
image
output
input
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911140450.XA
Other languages
English (en)
Other versions
CN111223046B (zh
Inventor
孙旭
董晓宇
高连如
雷莉萍
张兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201911140450.XA priority Critical patent/CN111223046B/zh
Publication of CN111223046A publication Critical patent/CN111223046A/zh
Application granted granted Critical
Publication of CN111223046B publication Critical patent/CN111223046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像超分辨率重建方法及装置，其中，方法包括：将低分辨率图像和分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像。训练后的预设网络包括预设数量的多感知分支模块，任一多感知分支模块包括多个级联的残差通道注意组；任一残差通道注意组包括多个级联的增强残差块，任一增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入第二卷积层；第二卷积层的输出输入整流模块；整流模块的输出输入第三卷积层；用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出，分别输入第二求和模块。本申请重建出的图像具有较高的空间分辨率和较高的信息保真度。

Description

一种图像超分辨率重建方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种图像超分辨率重建方法及装置。
背景技术
超分辨率重建(Super-Resolution,SR)指的是通过一幅或多幅同一场景的低分辨率图像，恢复出一幅高分辨率图像。
超分辨率重建是一项重要的数字图像处理技术，在医学、遥感和各个社会生活领域有广泛的应用。目前主流的图像超分辨率重建方法是：基于深度学习的超分辨率重建方法。具体的，通过构建神经网络学习高、低分辨率训练样本对之间的映射关系，而后利用所学先验知识对输入网络的各种低分辨率图像进行高分辨率重建。
但是，重建得到的高分辨率图像的保真度低。
发明内容
本申请提供了一种图像超分辨率重建方法及装置，目的在于解决超分辨率重建得到的图像的保真度低的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请提供了一种图像超分辨率重建方法，包括：
获取待重建的低分辨率图像和预设的分辨率提升倍数；
将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；
所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；
任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出所述高分辨率重建图像。
可选的，所述预设数量不小于2。
可选的，所述预设网络还包括：第四卷积层；
所述上采样模块的输出输入所述第四卷积层；
所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。
可选的，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；
用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；
所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；
所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。
可选的，所述整流模块为线性整流模块。
本申请还提供了一种图像超分辨率重建装置，包括：
获取模块，用于获取待重建的低分辨率图像和预设的分辨率提升倍数；
重建模块，用于将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；
所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；
任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出模块，用于输出所述高分辨率重建图像。
可选的，所述预设数量不小于2。
可选的，所述预设网络还包括：第四卷积层；
所述上采样模块的输出输入所述第四卷积层；
所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。
可选的，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；
用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；
所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；
所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。
可选的，所述整流模块为线性整流模块。
本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述所述的任意一种图像超分辨率重建方法。
本申请还提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述所述的任一种图像超分辨率重建方法。
本申请所述的图像超分辨率重建方法及装置中，由于预设网络包括预设数量多感知分支模块，任意一个多感知分支模块包括多个级联的残差通道注意组，每个残差通道注意组中包括多个级联的增强残差块。其中，任意一个增强残差块包括第二卷积层、第三卷积层、整流模块和第二求和模块。其中，用于输入该增强残差块的图像输入第二卷积层，第二卷积层的输出输入整流模块，整流模块的输出输入第三卷积层，可以看出任意一个增强残差块中第三卷积层的输入是经过第二卷积层计算得到的，因此，第三卷积层实现与第二卷积层不相同的感知尺度，并且第三卷积层的感知尺度相对于第二卷积层的感知尺度增大。
用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出，分别输入第二求和模块；第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到各通道图像，即该增强残差块可以提取出用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出这三个层级的信息。并且，这三个层级的特征信息全部作为后续级联的增强残差块的输入，依次类推，任意一个多感知分支模块都可以提取出较多层级的信息(每个层级包括多个通道)，进而，预设数量多感知分支模块可以提取出较多层级的信息。
此外，本申请提出的预设网络中还包括第一求和模块和第一通道注意模块，其中，第一求和模块对第一卷积层和每个多感知分支模块输出的多层级信息中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像，该第一通道注意模块为第一求和模块输出的多通道图像中的不同通道赋予不同的权值，从而自适应地使不同的通道特征得到不同程度的利用。同时，上采样模块将第一通道注意模块的输出提升预设倍数的分辨率，从而，使得相比于现有方式重建出的高分辨率图像，本申请实施例重建出的高分辨率图像具有较高的保真度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的多感知注意网络的结构示意图；
图2为本申请实施例公开的任意一个多感知分支模块的结构示意图；
图3为本申请实施例公开的任意一个残差通道注意组的结构示意图；
图4为本申请实施例公开的任意一个增强残差块的结构示意图；
图5为本申请实施例公开的一种多感知注意网络的训练过程示意图；
图6为本申请实施例公开的一种图像超分辨率重建方法的流程图；
图7为本申请实施例公开的一种图像超分辨率重建装置的结构示意图；
图8为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的发明人在研究中发现，现有基于深度学习的图像超分辨率重建方法重建得到的高分辨率图像的保真度低的原因包括：第一、没有充分利用神经网络学习到的图像信息，即感知能力有限。第二、神经网络中不同层级提取到的信息都直接用于最终的重建，即忽略了神经网络中不同层级提取到的信息间存在通道级特征差异。
一方面，本申请实施例提出的网络包括预设数量多感知分支模块，任意一个多感知分支模块包括多个级联的残差通道注意组，每个残差通道注意组中包括多个级联的增强残差块。其中，任意一个增强残差块包括第二卷积层、第三卷积层、整流模块和第二求和模块。其中，用于输入该增强残差块的图像输入第二卷积层，第二卷积层的输出输入整流模块，整流模块的输出输入第三卷积层，可以看出任意一个增强残差块中第三卷积层的输入是经过第二卷积层计算得到的，因此，第三卷积层实现与第二卷积层不相同的感知尺度，并且第三卷积层的感知尺度相对于第二卷积层的感知尺度增大。
另一方面，用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出，分别输入第二求和模块；第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到各通道图像，即该增强残差块可以提取出用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出这三个层级的信息。并且，这三个层级的特征信息全部作为后续级联的增强残差块的输入，依次类推，任意一个多感知分支模块都可以提取出较多层级的信息(每个层级包括多个通道)，进而，预设数量多感知分支模块可以输出的较多层级的信息。
此外，本申请实施例提出的网络中还包括第一求和模块和第一通道注意模块，其中，第一求和模块对第一卷积层和每个多感知分支模块输出的多层级信息中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像，该第一通道注意模块为第一求和模块输出的多通道图像中的不同通道赋予不同的权值，从而使得自适应地使不同的通道特征得到不同程度的利用。
综上，相比于现有方式重建出的高分辨率图像，本申请实施例重建出的高分辨率图像具有较高的保真度。
图1为本申请实施例提供的一种多感知注意网络的结构，包括：
第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块、上采样模块和第四卷积层。
其中，待重建的低分辨率图像输入第一卷积层、第一卷积层的输出分别输入每个多感知分支模块，每个多感知分支模块的输出和第一卷积层的输出分别输入第一求和模块，第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；第一求和模块的输出输入第一通道注意模块；第一通道注意模块的输出输入上采样模块，上采样模块用于对第一通道注意模块的输出进行r倍上采样操作，上采样模块的输出输入第四卷积层；第四卷积层对上采样模块的输入进行卷积运算，得到高分辨率重建图像。
具体的，第一求和模块对输入的图像中，相同通道的相同位置的像素点的像素值进行求和的含义为：假设每个多感知分支模块的输出图像为n通道图像，具体的，分别为第1通道、第2通道、第3通道，…，第n通道。第一卷积层的输出为n通道图像，具体的，分别为第1通道、第2通道、第3通道，…，第n通道。则本实施例中，第一求和模块对每个多感知分支模块输出的图像中的第1通道以及第一卷积层输出的图像中的第1通道，相同位置的像素点的像素值进行求和。第一求和模块对每个多感知分支模块输出的图像中的第2通道以及第一卷积层输出的图像中的第2通道，相同位置的像素点的像素值进行求和，依次类推，第一求和模块对每个多感知分支模块输出的图像中的第n通道以及第一卷积层输出的图像中的第n通道，相同位置的像素点的像素值进行求和。即第一求和模块用于对每个多感知分支模块输出的图像和第一卷积层输出的图像中，相同通道的相同位置的像素点的像素值进行求和。
需要说明的是，在本申请实施例中，第四卷积层是可选的，如果多感知注意网络包括第四卷积层，则第四卷积层输出高分辨率图像，如果多感知注意网咯不包括第四卷积层，上采样模块输出高分辨率图像。
具体的，本实施例中，将输入多感知注意网络(为了描述方便，以下称为MPAN)的低分辨率图像表示为X，其中，X为M行N列C通道图像。第一卷积层的参数采用wMPAN,1表示，第四卷积层的参数采用wMPAN,2表示。其中，第一卷积层的输出表示为X0，具体的X0＝FConv(X,wMPAN,1)，其中，FConv表示卷积运算。其中，如果第一卷积层包括n个卷积核，则X0为M行N列n通道图像。
由于本实施例中，第一卷积层的输出分别输入每个多感知分支模块(为了描述方便，任意一个多感知分支简称为MPB)。在本实施例中，MPAN中的第k个MPB的卷积层集合表示为
Figure BDA0002280778660000081
K的取值为MPAN中多感知分支模块的数量。在实际中，为了保证MPAN重建出的高分辨率图像具有较高的保真度，试验得到K的取值不小于2，当然，当然在实际中，K的取值还可以为其他数值，本实施例不对K的取值作具体限定。
在本实施例中，输入MPAN网络中的低分辨率图像X，经过MPAN网络的计算公式为以下公式(1)所示：
Figure BDA0002280778660000091
式中，
Figure BDA0002280778660000092
表示第一个MPB对第一卷积层输出的X0的计算结果，
Figure BDA0002280778660000093
表示第二个MPB对第一卷积层输出的X0的计算结果，
Figure BDA0002280778660000094
表示第K个MPB对第一卷积层输出的X0的计算结果。其中，任意一个MPB对第一卷积层输出的X0的计算结果都是M行N列n通道图像。
式中，
Figure BDA0002280778660000095
表示：第一求和模块对第一卷积层的输出X0以及各个MPB的输出中，相同通道的相同位置的像素点的像素值求和。其中，第一求和模块输出的是M行N列n通道图像。
式中，
Figure BDA0002280778660000096
表示：第一通道注意模块对第一求和模块输出的M行N列n通道图像进行计算。假设采用X1表示
Figure BDA0002280778660000097
则
Figure BDA0002280778660000098
可表示为
Figure BDA0002280778660000099
其中wdown为n/r'个尺寸为1×1×n的卷积核组成的卷积层，wup为n个尺寸为1×1×n/r′的卷积核组成的卷积层，r'为通过注意模块中的向量维度变换因子。
式中，
Figure BDA00022807786600000910
表示上采样模块对第一求和模块的输出进行上采样操作。其中，r指图像尺寸放大倍数，或者，分辨率提升倍数，或者，上采样率。
式中，
Figure BDA00022807786600000911
表示第四卷积层对上采样模块的输出进行卷积计算，重建出高分辨率图像。
在本实施例中，MPAN中的第k个MPB包括G(k)个残差通道注意组(为了描述方便，以下称为RCAG)和第六卷积层，具体的，第k个MPB的结构如图2所示。从图2可以看出，G(k)个RCAG和第六卷积层级联，具体的，第一个RCAG的输出输入第二个RCAG，第二个RCAG的输出输入第三个RCAG，……，第G(k)-1个RCAG的输出输入第G(k)个RCAG，第G(k)个RCAG的输出输入第六卷积层。本实施例中，第k个MPB中的第g个RCAG的卷积层集合采用
Figure BDA0002280778660000101
表示，第六卷积层采用
Figure BDA0002280778660000102
表示，因此，MPAN中的第k个MPB的卷积层集合
Figure BDA0002280778660000103
对于任意一个MPB，假设输入的数据为X，则该MPB对该数据X的计算公式如下公式(2)所示：
Figure BDA0002280778660000104
式中，X为输入图像；
Figure BDA0002280778660000105
表示第g个RCAG的卷积层集合，wMPB表示该MPB中的第六卷积层。
Figure BDA0002280778660000106
表示MPB中的第g个RCAG对输入的运算，例如，
Figure BDA0002280778660000107
表示采用
Figure BDA0002280778660000108
对X进行运算。
其中，第k个MPB中的第g个RCAG的结构如图3所示，包括多个级联的增强残差块、第二通道注意模块、第五卷积层和第三求和模块。其中，用于输入RCAG的图像假设为X2，首先将X2输入第一个增强残差块，第一个增强残差块的输出输入第二个增强残差块，第二个增强残差块的输出输入第三个增强残差块，依次类推，最后一个增强残差块的输出输入第二通道注意组，第二通道注意组的输出输入第五卷积层。第五卷积层的输出和用于输入RCAG的图像X2分别输入第三求和模块，第三求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。如果用于输入RCAG的图像X2为M行N列n通道图像，则第三求和模块的输出为M行N列n通道图像。
具体的，任意一个RCAG对输入图像的计算公式如下公式(3)所示：
Figure BDA0002280778660000109
式中，X为该RCAG的输入图像；
Figure BDA00022807786600001010
为一个RCAG中的卷积层集合；
Figure BDA00022807786600001011
表示RCAG中的第b个ERB的卷积层集合，
Figure BDA00022807786600001012
表示采用
Figure BDA00022807786600001013
对输入进行运算。wRCAG表示该RCAG末端处的卷积层，即本实施例中的第五卷积层。wup参见MPAN中第一通道注意模块中的wup，wdown参见MPAN中第一通道注意模块中的wdown，这里不再赘述。
在本实施例中，第k个MPB中的第g个RCAG中的任意一个增强残差块的结构如图4所示。包括第二卷积层、第三卷积层、整流模块和第二求和模块。其中，该增强残差块对输入该增强残差块的图像所进行的计算过程包括：输入该增强残差块的图像首先输入第二卷积层，第二卷积层的输出输入整流模块，整流模块的输出输入第三卷积层，第三卷积层的输出、整流模块的输出和输入该增强残差块的图像分别输入第二求和模块。
假设，输入该增强残差块的图像表示为X，该增强残差块对该图像的计算公式如下公式(4)所示：
Figure BDA0002280778660000111
式中WERB＝{wERB,1,wERB,2}表示该增强残差块中的卷积层集合，wERB,1表示该增强残差块中的第二卷积层，wERB,2表示该增强残差块中的第三卷积层。FConv(X,wERB,1)表示该增强残差块中的第二卷积层对图像X进行的卷积运算。FReLU(FConv(X,wERB,1))表示整流模块对第二卷积模块的输出进行整流计算。FConv(FReLU(FConv(X,wERB,1)),wERB,2)表示第三卷积层对整流模块的输出进行卷积计算。
在本实施例中，整流模块具体可以为线性整流模块，即整流模块按照线性整流函数对第一卷积层的输出进行计算。其中，线性整流函数为现有技术，这里不再赘述。
图5为本申请实施例提供的一种多感知注意网络的训练过程，包括以下步骤：
S501、获取待训练图像集和分辨率提升倍数。
在本实施例中，分辨率提升倍数为本实施例训练得到的MPAN网络所需实现的超分辨率提升倍数。例如，如果想使得本实施例训练得到的MPAN网络实现3倍分辨率的提升效果，则本步骤中的分辨率提升倍数为3。
在本步骤中，待训练图像集包括：预设的高分辨率图像集和预设的低分辨率图像集。其中，低分辨率图像集是对高分辨率图像集进行r倍降质得到。其中，r的取值为本步骤中的分辨率提升倍数。
需要说明的是，本实施例中的分辨率提升倍数，可以根据实际情况设定，本实施例不对分辨率提升倍数的具体取值作限定。
具体的，将高分辨率图像集表示为
Figure BDA0002280778660000121
将低分辨率图像集表示为
Figure BDA0002280778660000122
其中，r为分辨率提升倍数。
S502、对MPAN网络中每个卷积层中的卷积核进行初始化。
具体的，本实施例中的MPAN网络为本申请实施例中图1给出的MPAN网络。
本步骤中，MPAN网络中每个卷积层中卷积核的尺寸为t×t×C，每个卷积层中卷积核的数量可以为n。
S503、将低分辨率图像集和分辨率提升倍数输入MPAN网络，获取MPAN网络对低分辨率图像集重建后的结果图像集。
在本步骤中，将低分辨率图像集和分辨率提升倍数输入MPAN网络后，MPAN网络对低分辨率图像进行重建，输出对该低分辨率图像集重建后的高分辨率图像，为了描述方便称为结果图像。
S504、依据预设的损失函数，计算结果图像集与高分辨率图像集间的损失函数值。
在本实施例中，损失函数可以为如下公式(6)所示的公式：
Figure BDA0002280778660000123
式中，L1(WMPAN)表示损失函数值，
Figure BDA0002280778660000124
表示低分辨率图像集中的
Figure BDA0002280778660000125
经过MPAN网络计算得到的结果图像，
Figure BDA0002280778660000126
表示高分辨率图像集中与
Figure BDA0002280778660000127
对应的高分辨率图像。
在本实施例中，损失函数还可以为如下公式(7)所示的公式：
Figure BDA0002280778660000128
式中，L2(WMPAN)表示损失函数值，
Figure BDA0002280778660000131
表示低分辨率图像集中的
Figure BDA0002280778660000132
经过MPAN网络计算得到的结果图像，
Figure BDA0002280778660000133
表示高分辨率图像集中与
Figure BDA0002280778660000134
对应的高分辨率图像。
本实施例只是提供了两种损失函数的具体公式，在实际中，损失函数的计算公式还可以采用其他形式的公式，本实施例不对损失函数的具体形式作限定。
S505、依据损失函数值，调整MPAN网络中所有卷积层的卷积运算权值，并返回执行将低分辨率图像集和分辨率提升倍数输入MPAN网络，得到MPAN网络对该低分辨率图像集重建后的结果图像集的步骤，直至损失函数值不再减小，得到训练后的MPAN网络。
本实施例训练MPAN网络所需达到的目的是：通过调整MPAN网络中所有卷积层的卷积运算权值，使得输入MPAN网络中的低分辨率图像，经过MPAN网络的计算所得到的结果图像，与该低分辨率图像对应的高分辨率图像间的损失函数值达到其最小值，得到训练后的MPAN网络。即说明在指定分辨率提升倍数r下，训练后的MPAN网络中所有卷积层的卷积运算权值构成的卷积运算权值集合达到最优。
具体的，本步骤中，依据损失函数值调整MPAN网络中所有卷积层的卷积运算权值的具体实现过程为现有技术，这里不再赘述。
图6为本申请实施例提供的一种图像超分辨率重建方法，包括以下步骤：
S601、获取待重建的低分辨率图像和预设的分辨率提升倍数。
在本步骤中，获取待重建的低分辨率图像的方式为现有技术，这里不在赘述。本步骤中的分辨率提升倍数可以由用户根据实际情况进行设定，本实施例不对分辨率提升倍数的取值作限定。
S602、将低分辨率图像和分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像。
本步骤中的训练后的预设网络为经过图5对应实施例训练得到的MPAN网络，得到该训练后的MPAN网络输出的高分辨率重建图像。
S603、输出高分辨率重建图像。
本步骤中，输出高分辨率重建图像的具体实现方式为现有技术，这里不再赘述。
图7为本申请实施例提供的一种图像超分辨率重建装置，包括：获取模块701、重建模块702和输出模块703。
其中，获取模块701，用于获取待重建的低分辨率图像和预设的分辨率提升倍数。重建模块702，用于将低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个多感知分支模块包括多个级联的残差通道注意组；任意一个残差通道注意组包括多个级联的增强残差块；
低分辨率图像输入第一卷积层，第一卷积层的输出分别输入每个多感知分支模块；每个多感知分支模块的输出和第一卷积层的输出分别输入第一求和模块；第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；第一求和模块的输出输入第一通道注意模块；第一通道注意模块的输出输入上采样模块；上采样模块用于对第一通道注意模块的输出进行分辨率提升倍数的上采样操作；上采样模块得到高分辨率重建图像；
任意一个增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入第二卷积层；第二卷积层的输出输入整流模块；整流模块的输出输入第三卷积层；用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出，分别输入第二求和模块；第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出模块703，用于输出高分辨率重建图像。
可选的，预设数量不小于2。
可选的，预设网络还包括：第四卷积层；上采样模块的输出输入第四卷积层；第四卷积层对上采样模块的输出进行卷积运算，得到高分辨率重建图像。
可选的，任意一个残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；第B个增强残差块的输出输入第二通道注意模块；第二通道注意模块的输出输入所述第五卷积层；用于输入该残差通道注意组的图像和第五卷积层的输出，分别输入第三求和模块；第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。
可选的，整流模块为线性整流模块。
本申请实施例提供了一种设备，如图8所示，该设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的图像超分辨率重建方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，包括：
获取待重建的低分辨率图像和预设的分辨率提升倍数；
将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；
所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；
任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出所述高分辨率重建图像。
2.根据权利要求1所述的方法，其特征在于，所述预设数量不小于2。
3.根据权利要求1所述的方法，其特征在于，所述预设网络还包括：第四卷积层；
所述上采样模块的输出输入所述第四卷积层；
所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。
4.根据权利要求3所述的方法，其特征在于，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；
用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；
所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；
所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。
5.根据权利要求1～4任意一项所述的方法，所述整流模块为线性整流模块。
6.一种图像超分辨率重建装置，其特征在于，包括：
获取模块，用于获取待重建的低分辨率图像和预设的分辨率提升倍数；
重建模块，用于将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；
所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；
任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出模块，用于输出所述高分辨率重建图像。
7.根据权利要求6所述的装置，其特征在于，所述预设网络还包括：第四卷积层；
所述上采样模块的输出输入所述第四卷积层；
所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。
8.根据权利要求6所述的装置，其特征在于，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；
用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；
所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；
所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1～5任意一项权利要求所述的图像超分辨率重建方法。
10.一种设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-5中任一项所述的图像超分辨率重建方法。
CN201911140450.XA 2019-11-20 2019-11-20 一种图像超分辨率重建方法及装置 Active CN111223046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911140450.XA CN111223046B (zh) 2019-11-20 2019-11-20 一种图像超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911140450.XA CN111223046B (zh) 2019-11-20 2019-11-20 一种图像超分辨率重建方法及装置

Publications (2)

Publication Number Publication Date
CN111223046A true CN111223046A (zh) 2020-06-02
CN111223046B CN111223046B (zh) 2023-04-25

Family

ID=70832773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911140450.XA Active CN111223046B (zh) 2019-11-20 2019-11-20 一种图像超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN111223046B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249523A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 图像处理方法及装置
WO2022217746A1 (zh) * 2021-04-13 2022-10-20 湖南大学 一种高分辨率高光谱计算成像方法、***及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
WO2019192588A1 (zh) * 2018-04-04 2019-10-10 华为技术有限公司 图像超分方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192588A1 (zh) * 2018-04-04 2019-10-10 华为技术有限公司 图像超分方法及装置
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔顺: "基于深度学习的图像超分辨率重建技术研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249523A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 图像处理方法及装置
WO2022217746A1 (zh) * 2021-04-13 2022-10-20 湖南大学 一种高分辨率高光谱计算成像方法、***及介质

Also Published As

Publication number Publication date
CN111223046B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
US11200424B2 (en) Space-time memory network for locating target object in video content
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
Kim et al. Accurate image super-resolution using very deep convolutional networks
CN108876792B (zh) 语义分割方法、装置和***及存储介质
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110717857A (zh) 超分辨率图像重构方法和装置
CN112037129B (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN111754404B (zh) 基于多尺度机制和注意力机制的遥感图像时空融合方法
CN111523449A (zh) 基于金字塔注意力网络的人群计数方法及***
CN114049332A (zh) 异常检测方法及装置、电子设备和存储介质
CN112889084B (zh) 提高图像的颜色质量的方法、***和计算机可读介质
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111223046B (zh) 一种图像超分辨率重建方法及装置
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及***
CN112997479A (zh) 跨阶段跳跃连接处理图像的方法、***和计算机可读介质
WO2020000877A1 (zh) 用于生成图像的方法和装置
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
CN114519667A (zh) 一种图像超分辨率重建方法及***
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
KR20150099964A (ko) 이미지 특징 추출 장치 및 방법
CN110335228B (zh) 一种图像视差的确定方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant