CN109741260A - 一种基于深度反投影网络的高效超分辨率方法 - Google Patents

Abstract

本发明公开一种基于深度反投影网络的高效超分辨率方法，包括以下步骤：(1)获取总训练集和测试集；(2)对总训练集进行预处理完成数据增强；(3)对总训练集中的图像进行不同尺度的缩放；(4)基于卷积神经网络实现图像超分重建，卷积神经网络共包含27个卷积层，具体包括特征提取、误差反投影和图像重建三部分。本发明利用组卷积和1×1卷积的组合代替传统卷积重新设计迭代子模块，该策略可有效减少模型参数量，提高模型效率；且每个迭代子模块包含误差反馈机制，及时进行误差校正；另外，本发明引用了通道加权模块，可进一步提升模型效率。

Description

一种基于深度反投影网络的高效超分辨率方法

技术领域

本发明属于计算机图像处理领域，特别是涉及一种基于深度反投影网络的高效超分辨率方法。

背景技术

图像所包含的信息量大小在很大程度上取决于图像分辨率的大小，提高图像的分辨率，能够改善图像视觉效果，使其更符合人类和计算机的处理要求，在视频监控、医学影像、生物信息识别等领域有着广泛的应用。

现有的单幅图像超分辨率(Single Image Super Resolution,SISR)方法可分为插值法、基于重建的方法和基于学习的方法。基于插值的方法主要有最近邻算法，双三次插值等；该类方法简单且易实时处理，但重建的图像边缘模糊、超分能力有限。基于重建的方法主要有迭代反投影法^[1]，凸集投影法[2]等，该类方法能够缓解插值方法所产生的模糊或者锯齿现象，但重建过程中能够使用的先验知识太少，重建效果不太理想。基于学习的方法通过对大量样本学习建立低分辨率图像和高分辨率图像之间的映射关系，典型方法有邻域嵌入算法^[3]，固定邻域回归方法^[4]，A+^[5]，稀疏编码算法^[6]等。目前，基于深度学习的方法成为SISR的主流研究方向，包括SRCNN^[7]，VDSR^[8]，EDSR^[9]等，其大多基于卷积神经网络(CNN)学习低分辨率图像到高分辨率图像之间的映射关系，得到较好的超分辨率重建效果。但是，现有深度超分网络存在网络层数深、参数量大、运行速度慢等问题。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于深度反投影网络的高效超分辨率方法。本发明基于反投影网络，提出了一种轻量快速的超分辨率网络，参数量大大减少，运算速度大幅提升，且可获得更佳的超分辨率重建性能。

本发明的目的是通过以下技术方案实现的：

一种基于深度反投影网络的高效超分辨率方法，包括以下步骤：

(1)获取训练集和测试集；训练集是选自超分辨率网络训练集DIV2K中800张自然场景的图片；设置四组测试集分别为：Set5、Set14，B100，Urban100，其中Set5，Set14，B100分别包含5张、14张、100张不同尺寸的自然图片，Urban100是100张不同的城市场景图片。

(2)对训练集进行预处理完成数据增强；对训练集每一张训练图片进行90°，180°，270°的旋转以及镜像翻转，即经数据增强后得到5张图片，则训练集大小为800×5＝4000图片。

(3)对训练集和测试集中的图像进行不同尺度的缩放；在训练阶段，训练集中的图片大小为H×W，采用双三次线性插值方法分别进行不同尺度s缩小，得到的缩小后的图片大小为sH×sW，按步长16切割成一系列32×32像素大小的子图像块，将子图像块保存为HDF5格式作为卷积神经网络训练阶段的输入；在测试阶段，测试集同样采用双三次线性插值方法分别进行不同尺度s缩小，作为卷积神经网络测试阶段的输入。

(4)基于卷积神经网络实现图像超分重建，卷积神经网络共包含27个卷积层，具体包括特征提取、误差反投影和图像重建三部分。特征提取部分包含两个卷积层，卷积核大小分别为3×3和1×1，每个卷积核后紧跟一个ReLU激活函数，其中3×3卷积层产生128张特征图L^-1，即通过卷积产生128个特征，为保证输出特征图大小不变，在卷积操作之前，对边界进行零填充；1×1卷积层产生48张特征图L⁰，L⁰将作为误差反投影部分第一个上采样模块的输入。

误差反投影部分包含24个卷积层，包含两个上采样模块和一个下采样模块，特征图数量为48，其中上采样模块包含两个上采样操作、一个下采样操作和一个通道加权模块，下采样模块则包含两个下采样操作、一个上采样操作和一个加权模块。

图像重建部分包含一个卷积层，卷积核大小为1×1，后接ReLU激活函数，其接受拼接后的三个上采样模块产生的大小为H×W的中间特征图为输入，输入特征图数量为48×3＝144，输出为3张特征图，尺寸为H×W，即为得到输出3通道图像。

进一步的，误差反投影部分具体如下：

A.上、下采样模块的设置：

上采样：

下采样：

残差：

残差上采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p_t和q_t为解卷积操作，g_t为标准卷积操作，t表示第几个上采样模块，t＝1、2、3，CA表示通道加权模块；

上采样模块以大小为sH×sW的低分辨率特征图L^t-1为输入，并通过解卷积操作将其映射到H×W高分辨率特征图然后通过标准卷积操作将其映射回低分辨率特征图，这一步为反投影操作；之后将输入的低分辨率特征图L^t-1与新得到的低分辨率特征图的残差再映射到高分辨率特征图，得到一个新的残差特征图；最后的输出是两种高分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出H^t；

下采样模块与上采样模块相似：

下采样：

上采样：

残差：

残差下采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p′_t为解卷积操作，g′_t为标准卷积操作，k表示第几个下采样模块，k＝1、2，CA表示通道加权模块。

下采样模块输入为加权后的大小为H×W高分辨率特征图H^k，输出为加权后的大小为sH×sW低分辨率特征图L^k：然后通过解卷积操作将其映射回高分辨率特征图，这一步为反投影操作；之后将输入的高分辨率特征图H^k与新得到的高分辨率特征图的残差再映射到低分辨率特征图，得到一个新的残差特征图；最后的输出是两种低分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出L^k；

B.通道加权模块设置：

假设X＝[x₁,...,x_c...,x_C]为通道加权模块的输入，其包含C个大小为H×W的特征图，首先进行压缩操作，顺着空间维度进行特征压缩，使用全局池化操作将每个二维特征通道变成一个实数z∈R^C，第c个的通道的z值为：

其中x_c(i,j)是第c个通道的特征图x_c在点(i,j)的值，H_GP(·)表示全局池化操作；

接着进行激励操作，其包含两个全连接层，和sigmoid函数，用以建模出特征通道的相关性，为每个通道生成权重：

u_c＝f(W_Uδ(W_Dz_c))

其中f(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，W_D表示第一个全连接层的权重，将特征图数量降低到输入的1/16，经过ReLU激活后再通过一个权重为W_U全连接层增加到原来的数量，之后通过一个Sigmoid的门操作获得0～1之间的归一化权重；在得到最终的通道权重之后，将归一化的权重加权到每个通道的特征上：

其中u_c和x_c表示第c个通道的权重和特征图，为加权后的输出；

C.解卷积和标准卷积的实现：

解卷积操作具体包含一个组为2的组解卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数，其中解卷积的卷积核大小随着尺度的变化而变化，尺度为4时，为8×8，边界零填充为2；尺度为3时为5×5，边界零填充为2，尺度为2时为4×4，边界零填充为1；

标准卷积操作具体包含一个组为2的组标准卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数；其中组卷积的卷积核的大小与解卷积卷积核大小相一致；

D.递归网络结构的设置：

第二个下采样模块与第一个下采样模块参数共享，第三个上采样模块与第二个上采样模块参数共享，实现递归调用机制，可描述为：

特征提取：F₁(x)＝F(x)；

上采样：H₁＝Up₁(F₁(x))；

下采样：L₁＝Down₁(H₁)；

上采样：H₂＝Up₂(L₁)；

下采样：L₂＝Down₁(H₂)；

上采样：H₃＝Up₂(L₂)；

其中x为输入图像，Up₁、Up₂分别表示第一个、第二个上采样模块的参数，Down₁表示第一个下采样模块参数。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明整体结构上，基于DBPN^[10]网络，设计了一种迭代上下采样端到端学习的超分辨率网络。其中，利用组卷积和1×1卷积的组合代替传统卷积重新设计迭代子模块，该策略可有效减少模型参数量，提高模型效率；且每个迭代子模块包含误差反馈机制，及时进行误差校正；另外，本发明引用了通道加权模块，可进一步提升模型效率。

2.为验证本发明提出算法的有效性，将本发明算法与现有主流超分辨率算法进行对比。如与文献[11]算法进行对比的实验结果表明，本发明方法可以获得更加丰富的细节信息，视觉效果更佳。

3.为客观评价本发明方法，本发明采用PSNR(dB)/SSIM值进行对比，这两种指标能反映恢复图像与原始图像的相似程度以及结构的相似性。实验数据表明，本发明方法的PSNR和SSIM值要优于文献[9]、[11]、[12]和[13]中涉及的算法。

附图说明

图1为本发明流程示意图；

图2为网络整体结构图；

图3为误差反投影模块示意图；

图4(a)、图4(b)和图4(c)分别为原图、采用LapSRN^[11]算法得到的高分辨率效果图和采用本发明方法得到的高分辨率效果。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明方法基于的原理如下：

针对现有深度超分网络层数较深、参数量较大、运行速度慢等问题，本发明在DBPN网络的基础上开发出一种高效的超分辨率网络，首先重新设计误差反投影模块，使用组卷积和1×1卷积的组合代替了传统卷积，组卷积能有效减少模型的参数量，提高模型效率。

标准卷积的参数量为：

K·K·C_in·C_out

组为2的组卷积和1×1卷积的组合的参数量为：

K·K·C_in·C_out/2+C_in·C_out

所以其参数量之比为：

其中K为卷积核大小，C_in，C_out为输入输出通道数，从上式可以看出使用组卷积和1×1卷积的组合能大约减少一半参数。

另外，引入了通道加权模块，其能够给通道赋予权重，利用微小的参数量的增加提升模型效率。

本发明基于深度反投影网络的高效超分辨率方法具体步骤如下(如附图1所示)：

步骤1、获取总训练集、测试集，并进行预处理：

训练集是通用的超分辨率网络训练集DIV2K中的800张自然场景的高清图片，本方案对每一张训练图片进行90°，180°，270°的旋转以及镜像翻转，即经数据增强后得到5张图片，则总训练集大小为800x 5＝4000图片；设置4组测试集分别为：Set5、Set14，B100，Urban100，其中Set5，Set14，B100是三个常用的超分辨率数据集，分别包含5张、14张、100张不同尺寸的高清自然图片，Urban100是100张不同的城市场景图片。

步骤2、图像多尺度缩放：

在训练阶段，训练集中的图片大小为H×W，采用双三次线性插值方法分别进行不同尺度s缩小，得到的缩小后的图片大小为sH×sW，按步长16切割成一系列32×32像素大小的子图像块，将子图像块保存为HDF5格式作为卷积神经网络训练阶段的输入；在测试阶段，测试集同样采用双三次线性插值方法分别进行不同尺度s缩小，作为卷积神经网络测试阶段的输入。

步骤3、基于卷积神经网络实现图像超分重建：分为三个部分：特征提取、误差反投影和图像重建，共包含27个卷积层。整体结构如附图2所示。

1)特征提取：

在特征提取部分包含两个卷积层，卷积核大小分别为3×3和1×1，每个卷积核后连接一个ReLU激活函数，其中3×3卷积层产生128张特征图L^-1，即通过卷积产生128个特征，为保证输出特征图大小不变，在卷积操作之前，对边界进行零填充；1×1卷积层产生48张特征图L⁰，L⁰将作为误差反投影部分第一个上采样模块的输入。

2)误差反投影：

误差反投影模块包含24个卷积层，包含两个上采样模块和一个下采样模块，特征图数量为48，其中上采样模块包含两个上采样操作和一个下采样操作和一个通道加权模块，下采样模块则包含两个下采样操作和一个上采样操作和一个通道加权模块。其中，

a)上采样模块设计：

上采样：

下采样：

残差：

残差上采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p_t和q_t为解卷积操作，g_t为标准卷积操作，t表示第几个上采样模块，t＝1,2,3，CA表示通道加权模块；

上采样模块大小为sH×sW的低分辨率特征图L^t-1为输入，并通过解卷积操作将其映射到H×W高分辨率特征图然后通过标准卷积操作将其映射回低分辨率特征图，这一步为反投影操作；之后将输入的低分辨率特征图L^t-1与新得到的低分辨率特征图的残差再映射到高分辨率特征图，得到一个新的残差特征图；最后的输出是两种高分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出H^t；

下采样模块与上采样模块相似：

下采样：

上采样：

残差：

残差下采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p′_t为解卷积操作，g′_t为标准卷积操作，k表示第几个下采样模块，k＝1,2，CA表示通道加权模块。

下采样模块输入为加权后的大小为H×W高分辨率特征图H^k，输出为加权后的大小为sH×sW低分辨率特征图L^k：然后通过解卷积操作将其映射回高分辨率特征图，这一步为反投影操作；之后将输入的高分辨率特征图H^k与新得到的高分辨率特征图的残差再映射到低分辨率特征图，得到一个新的残差特征图；最后的输出是两种低分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出L^k。

b)通道加权模块设计：

假设X＝[x₁,...,x_c...,x_C]为通道加权模块的输入，其包含C个大小为H×W的特征图，首先进行压缩操作，顺着空间维度进行特征压缩，使用全局池化操作将每个二维特征通道变成一个实数z∈R^C，第c个的通道的z值为：

其中x_c(i,j)是第c个通道的特征图x_c在点(i,j)的值，H_GP(·)表示全局池化操作；

接着进行激励操作，其包含两个全连接层，和sigmoid函数，用以建模出特征通道的相关性，为每个通道生成权重：

u_c＝f(W_Uδ(W_Dz_c))

其中f(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，W_D表示第一个全连接层的权重，将特征图数量降低到输入的1/16，经过ReLU激活后再通过一个权重为W_U全连接层增加到原来的数量，之后通过一个Sigmoid的门操作获得0～1之间的归一化权重；在得到最终的通道权重之后，将归一化的权重加权到每个通道的特征上：

其中u_c和x_c表示第c个通道的权重和特征图，为加权后的输出。

c)解卷积和标准卷积实现：

解卷积操作具体包含一个组为2的组解卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数。其中解卷积的卷积核大小随着尺度的变化而变化，尺度为4时，为8×8，边界零填充为2；尺度为3时为5×5，边界零填充为2，尺度为2时为4×4，边界零填充为1。

标准卷积操作具体包含一个组为2的组标准卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数。其中组卷积的卷积核的大小与解卷积卷积核大小相一致。

d)递归网络结构设计：

第二个下采样模块与第一个下采样模块参数共享，第三个上采样模块与第二个上采样模块参数共享，实现递归调用机制，可描述为：

特征提取：F₁(x)＝F(x)；

上采样：H₁＝Up₁(F₁(x))；

下采样：L₁＝Down₁(H₁)；

上采样：H₂＝Up₂(L₁)；

下采样：L₂＝Down₁(H₂)；

上采样：H₃＝Up₂(L₂)；

其中x为输入图像，Up₁、Up₂分别表示第一个、第二个上采样模块的参数，Down₁表示第一个下采样模块参数，具体如图3所示。

3)图像重建：

图像重建包含一个卷积层，卷积核大小为1×1，后接ReLU激活函数，其接受拼接后的三个上采样模块产生的大小为H×W的中间特征图为输入，输入特征图数量为48×3＝144，输出为3张特征图，尺寸为H×W，即为得到输出3通道图像。

4)损失函数：

对于训练集包含N个高低分辨率图像对，网络的损失函数表示为：

与文献[11]涉及的LapSRN算法相比，附图4(a)至图4(c)的实验结果表明，本发明算法可以获得更加丰富的细节信息，视觉效果更佳。

通过实验获得的表1数据表明，本发明方法的PSNR和SSIM值要优于文献[9]、[11]、[12]和[13]中涉及的算法。

表1 PSNR(dB)/SSIM比较结果

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

参考文献：

[1]Irani M,Peleg S.Super resolution from image sequences[J].ICPR-C,1990,90:115-120.

[2]Stark H,Oskoui P.High-resolution image recovery from image-planearrays,using convex projections[J].Journal of the Optical Society of AmericaA,1989,6(11):1715-1726.

[3]Chang H,Yeung D Y,Xiong Y.Super-resolution through neighborembedding[C]//Proceedings of IEEE Conf CVPR.Washington,DC:IEEE Press,2004:275-282.

[4]Timofte R,De V,Gool L V.Anchored Neighborhood Regression for FastExample-Based Super-Resolution[C]//IEEE International Conference on ComputerVision.IEEE Computer Society,2013:1920-1927.

[5]Timofte R,Smet V D,Gool L V.A+:Adjusted Anchored NeighborhoodRegression for Fast Super-Resolution[J].2014,9006:111-126.

[6]Yang J C,Wright J,Ma Y,et al.Image super-resolution as sparserepresentation of raw image patches[C]//Proceedings of IEEE ConfCVPR.Anchorage,Alaska:IEEE Press,2008:1-8.

[7]Dong C,Loy C C,He K,et al.Image Super-Resolution Using DeepConvolutional Networks[J].IEEETransactions on Pattern Analysis&MachineIntelligence,2016,38(2):295-307.

[8]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.

[9]Lim B,Son S,Kim H,et al.Enhanced Deep Residual Networks for SingleImage Super-Resolution[C]//Computer Vision and Pattern RecognitionWorkshops.IEEE,2017:1132-1140.

[10]Haris M,Shakhnarovich G,Ukita N.Deep Back-Projection Networks ForSuper-Resolution[J].2018.

[11]Lai W S,Huang J B,Ahuja N,et al.Deep Laplacian Pyramid Networksfor Fast and Accurate Super-Resolution[C]//IEEE Conference on Computer Visionand Pattern Recognition.IEEE Computer Society,2017:5835-5843.

[12]Kim J,Lee J K,Lee K M.Deeply-Recursive Convolutional Network forImage Super-Resolution[C]//IEEE Conference on Computer Vision and PatternRecognition.IEEE Computer Society,2016:1637-1645.

[13]Tai Y,Yang J,Liu X.Image Super-Resolution via Deep RecursiveResidual Network[C]//IEEE Conference on Computer Vision and PatternRecognition.IEEE Computer Society,2017:2790-2798.

Claims (8)

1.一种基于深度反投影网络的高效超分辨率方法，其特征在于，包括以下步骤：

(1)获取训练集和测试集；

(2)对训练集进行预处理完成数据增强；

(3)对训练集和测试集中的图像进行不同尺度的缩放；

(4)基于卷积神经网络实现图像超分重建，卷积神经网络共包含27个卷积层，具体包括特征提取、误差反投影和图像重建三部分。

2.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(1)中训练集是选自超分辨率网络训练集DIV2K中800张自然场景的图片；设置四组测试集分别为：Set5、Set14，B100，Urban100，其中Set5，Set14，B100分别包含5张、14张、100张不同尺寸的自然图片，Urban100是100张不同的城市场景图片。

3.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(2)中对训练集每一张训练图片进行90°，180°，270°的旋转以及镜像翻转，即经数据增强后得到5张图片，则训练集大小为800×5＝4000图片。

4.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(3)中，在训练阶段，训练集中的图片大小为H×W，采用双三次线性插值方法分别进行不同尺度s缩小，得到的缩小后的图片大小为sH×sW，按步长16切割成一系列32×32像素大小的子图像块，将子图像块保存为HDF5格式作为卷积神经网络训练阶段的输入；在测试阶段，测试集同样采用双三次线性插值方法分别进行不同尺度s缩小，作为卷积神经网络测试阶段的输入。

5.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(4)中所述特征提取部分包含两个卷积层，卷积核大小分别为3×3和1×1，每个卷积核后紧跟一个ReLU激活函数，其中3×3卷积层产生128张特征图L^-1，即通过卷积产生128个特征，为保证输出特征图大小不变，在卷积操作之前，对边界进行零填充；1×1卷积层产生48张特征图L⁰，L⁰将作为误差反投影部分第一个上采样模块的输入。

6.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(4)中所述误差反投影部分包含24个卷积层，包含两个上采样模块和一个下采样模块，特征图数量为48，其中上采样模块包含两个上采样操作、一个下采样操作和一个通道加权模块，下采样模块则包含两个下采样操作、一个上采样操作和一个加权模块。

7.根据权利要求1所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(4)中所述图像重建部分包含一个卷积层，卷积核大小为1×1，后接ReLU激活函数，其接受拼接后的三个上采样模块产生的大小为H×W的中间特征图为输入，输入特征图数量为48×3＝144，输出为3张特征图，尺寸为H×W，即为得到输出3通道图像。

8.根据权利要求1或6所述一种基于深度反投影网络的高效超分辨率方法，其特征在于，步骤(4)中的误差反投影部分具体如下：

A.上、下采样模块的设置：

上采样：

下采样：

残差：

残差上采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p_t和q_t为解卷积操作，g_t为标准卷积操作，t表示第几个上采样模块，t＝1、2、3，CA表示通道加权模块；

上采样模块以大小为sH×sW的低分辨率特征图L^t-1为输入，并通过解卷积操作将其映射到H×W高分辨率特征图然后通过标准卷积操作将其映射回低分辨率特征图，这一步为反投影操作；之后将输入的低分辨率特征图L^t-1与新得到的低分辨率特征图的残差再映射到高分辨率特征图，得到一个新的残差特征图；最后的输出是两种高分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出H^t；

下采样模块与上采样模块相似：

下采样：

上采样：

残差：

残差下采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p′_t为解卷积操作，g′_t为标准卷积操作，k表示第几个下采样模块，k＝1、2，CA表示通道加权模块。

下采样模块输入为加权后的大小为H×W高分辨率特征图H^k，输出为加权后的大小为sH×sW低分辨率特征图L^k：然后通过解卷积操作将其映射回高分辨率特征图，这一步为反投影操作；之后将输入的高分辨率特征图H^k与新得到的高分辨率特征图的残差再映射到低分辨率特征图，得到一个新的残差特征图；最后的输出是两种低分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出L^k；

B.通道加权模块设置：

假设X＝[x₁,...,x_c...,x_C]为通道加权模块的输入，其包含C个大小为H×W的特征图，首先进行压缩操作，顺着空间维度进行特征压缩，使用全局池化操作将每个二维特征通道变成一个实数z∈R^C，第c个的通道的z值为：

其中x_c(i,j)是第c个通道的特征图x_c在点(i,j)的值，H_GP(·)表示全局池化操作；

接着进行激励操作，其包含两个全连接层，和sigmoid函数，用以建模出特征通道的相关性，为每个通道生成权重：

u_c＝f(W_Uδ(W_Dz_c))

其中f(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，W_D表示第一个全连接层的权重，将特征图数量降低到输入的1/16，经过ReLU激活后再通过一个权重为W_U全连接层增加到原来的数量，之后通过一个Sigmoid的门操作获得0～1之间的归一化权重；在得到最终的通道权重之后，将归一化的权重加权到每个通道的特征上：

其中u_c和x_c表示第c个通道的权重和特征图，为加权后的输出；

C.解卷积和标准卷积的实现：

解卷积操作具体包含一个组为2的组解卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数，其中解卷积的卷积核大小随着尺度的变化而变化，尺度为4时，为8×8，边界零填充为2；尺度为3时为5×5，边界零填充为2，尺度为2时为4×4，边界零填充为1；

标准卷积操作具体包含一个组为2的组标准卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数；其中组卷积的卷积核的大小与解卷积卷积核大小相一致；

D.递归网络结构的设置：

第二个下采样模块与第一个下采样模块参数共享，第三个上采样模块与第二个上采样模块参数共享，实现递归调用机制，可描述为：

特征提取：F₁(x)＝F(x)；

上采样：H₁＝Up₁(F₁(x))；

下采样：L₁＝Down₁(H₁)；

上采样：H₂＝Up₂(L₁)；

下采样：L₂＝Down₁(H₂)；

上采样：H₃＝Up₂(L₂)；

其中x为输入图像，Up₁、Up₂分别表示第一个、第二个上采样模块的参数，Down₁表示第一个下采样模块参数。