CN109903226B - 基于对称残差卷积神经网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于对称残差卷积神经网络的图像超分辨率重建方法，方法具体包括：选取训练样本和测试样本；数据集预处理；特征提取；特征融合；图像重建。本发明的技术方案解决了深度重建网络参数多、训练难度大以及易出现梯度消失的问题，通过在残差块内建立对称短跳连接，实现块内信息充分利用，提取更丰富的局部特征；在残差块外建立长跳连接，实现全局特征融合；通过本发明的方法重建的图像纹理更清晰，细节更丰富，具有较好的主观视觉效果，在图像处理应用方面具有广阔的发展前景。

Description

基于对称残差卷积神经网络的图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于对称残差卷积神经网络的图像超分辨率重建方法。

背景技术

图像超分辨率(Super-resolution，SR)重建是图像复原中的一个重要分支，是一种由低分辨率(Low resolution，LR)图像恢复对应高分辨率(High resolution，HR)图像的方法。随着图像超分辨率在卫星成像、医学成像、安全和监视、图像生成等计算机视觉任务和图像处理领域取得的突出成就，利用超分辨率技术重建出更高分辨率、更清晰的图像成为目前图像复原领域的一大研究热点。

图像超分辨率重建方法主要有3种：基于插值的方法、基于重建的方法和基于学习的方法。基于差值的超分辨率重建方法计算简单，容易实现，但对自然图像的先验知识具有较大的依赖性，对图像细节恢复效果较差，容易出现边缘效应。基于重建的方法是根据已知的退化模型得到LR图像，通过提取LR图像中关键的像素点信息对HR图像的生成进行约束，结合HR图像中的先验知识得到相应的重建结果。但由于获得的先验知识有限，因此对于复杂的图像无法恢复出更多细节信息，重建性能有限。基于学习的方法通过建立高、低分辨率图像两者之间的映射关系，然后利用学习获得的先验知识来完成高分辨率图像的重建。与其它重建算法相比，基于学习的图像超分辨率算法可获得相对较好的重建效果，因而成为当前超分辨率重建研究的热点。目前基于学习的方法主要有基于稀疏表示、近邻嵌入和深度学习的方法。Yang等提出一种基于稀疏表示和字典学习的方法，通过学习LR图像块和对应HR图像块的超完备字典进行图像重建。但由于对超完备字典的学习要求较高，实用性较差，Timofte等将稀疏字典和领域嵌入进行结合，提出了锚定领域回归(ANR)算法和改进后的锚定领域回归(A+)算法，计算效率得到了提高，但图像细节恢复效果较差。

近几年卷积神经网络(Convolutional Neural Network，CNN)高效的学习能力在超分辨率问题上得到了广泛的应用。Dong等首次采用3层卷积神经网络进行图像超分辨率重建，网络结构简单，容易实现，但由于卷积层数少、感受野小以及泛化能力差等缺陷，网络无法提取到图像深层次的特征，导致重建性能有限。Kim等提出的卷积网络将网络深度提升到了20层，并引入了残差学习提高特征提取能力。同时，Kim等还提出了深度递归卷积网络，采用递归学习实现了深度网络的参数共享，降低网络的训练难度。虽然Kim等提出的两种方法取得了较好的重建性能，但是随着网络的加深，梯度消失和网络退化也会越明显。Mao等提出的深度残差编码解码网络，采用对称方式跳跃连接卷积与反卷积层，使训练收敛速度更快，达到更高质量的局部最优，但随着网络深度的增加，梯度消失或网络退化问题仍然存在。

因此，结合上述问题，提供一种基于对称残差卷积神经网络的图像超分辨率重建方法，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于对称残差卷积神经网络的图像超分辨率重建方法，本发明的方法实现了块内信息充分利用，提取更丰富的局部特征，在残差块外建立长跳连接，实现全局特征融合，弥补了深度网络图像细节信息退化严重的损失。

为了实现上述目的，本发明采用的技术方案如下：

一种基于对称残差卷积神经网络的图像超分辨率重建方法，所述方法包括以下步骤：

S1，选取训练样本和测试样本：

训练样本：获取91张图像数据集和200张Berkeley Segmentation的数据集，对291张图像进行90°、180°和270°旋转、水平翻转和以因子0.9、0.8、0.7和0.6的顺序进行缩小，对训练图像进行数据增强处理后获得11640张训练图像；

测试样本：使用标准数据集Set5、Set14、BSD100分别进行测试；

S2，数据集预处理：利用双三次插值法以因子k(k＝2,3,4)对原始图像进行采样，生成对应的LR图像，将LR训练图像裁剪为一组l_sub×l_sub的子图，相应的HR训练图像裁剪为kl_sub×kl_sub的子图，得到低分辨率子图和高分辨率子图训练图像对；

S3，特征提取：在步骤S2所得低分辨率子图上提取特征，包含两层卷积层，每层包含64个大小为3×3的卷积核；

S4，特征融合：包含4个残差块，每个残差块由一个增强单元和一个压缩单元构成，其中增强单元包含6层大小为3×3的卷积层，增强单元采用对称残差实现浅层与深层信息的恒等映射，融合网络上下文信息，提取特征，压缩单元由1层大小为1×1的卷积层构成，为后续网络提取关键信息；

S5，图像重建：包含一层无激活函数的反卷积层，重建计算关系为：

y＝R(F_n(B_n-1))+U(x) (3)

其中，R，U分别为重建和双三次插值函数。

优选的，所述步骤S3特征提取计算关系为：

B₀＝f(x) (1)

其中，f为特征提取函数，B₀为提取的特征。

优选的，所述步骤S4计算关系为：

B_m＝F_m(B_m-1)，m＝1,…,n (2)

其中，F_m为第m个残差块对应的函数，B_m-1和B_m分别为第m个残差块的输入和输出。

优选的，所述计算关系为：

其中，B_m-1为当前残差块的输出，同时为下一个残差块的输入，D为降维操作，为第m-1个残差块中第z层卷积层的卷积操作。

经由上述技术方案可知，与现有技术相比，本发明的有益效果如下：

本发明技术方案为了降低深层网络的网络参数、防止梯度消失和过拟合，通过在残差块内建立对称短跳连接，实现块内信息充分利用，提取更丰富的局部特征，同时，在残差块外建立长跳连接，实现全局特征融合，以弥补深度网络图像细节信息退化严重的损失，用反卷积层实现上采样，从而还原出高分辨率图像。本发明深入研究了卷积神经网络在深度图像超分辨率重建上的应用，提出了一种基于对称残差卷积神经网络的图像超分辨率重建方法，通过采用对称残差学习以提升收敛速度，采用长短跳跃连接融合全局与局部分级特征，从而保证网络训练的稳定性。通过采用对称残差法实现了残差块内局部信息的充分利用，有效改善了由网络深度带来的梯度消失；同时实现了残差块外全局特征的融合以弥补网络加深丢失的高频细节。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为对称残差卷积神经网络结构图；

图2附图为残差块内增强与压缩单元框架图；

图3附图为在Set5测试集上使用对称和不使用对称的PSNR收敛曲线图；

图4附图为Set5数据集中butterfly_GT模糊2倍的重建对比图；

图5附图为Set14数据集中zebra模糊4倍的重建对比图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的一种基于对称残差卷积神经网络的图像超分辨率重建方法，所述方法包括以下步骤：

步骤1、选取训练样本和测试样本，其中：

训练样本：使用91张图像数据集，本实施例使用图像数据集来自YANG JC,WRIGHTJ,HUANG T S,etal.Image super-resolution via sparse representation[J].IEEEtransactions on image processing,2010,19(11):2861-2873.和BerkeleySegmentation(BSD)中的200张数据集作为训练样本，通过对291张图像进行90°、180°和270°旋转、水平翻转和以因子0.9、0.8、0.7和0.6的顺序缩小，对训练图像进行数据增强处理后获得训练图像11640张。

测试样本：为了进一步验证本文网络的有效性，选择应用广泛的标准数据集：Set5、Set14、BSD100进行测试，数据集中包含了丰富的自然场景，可以有效的测试网络的性能。

步骤2、数据集预处理：利用双三次插值法以因子k(k＝2,3,4)对原始图像进行下采样，生成相应的LR图像，然后将LR训练图像裁剪为一组l_sub×l_sub的子图，相应的HR训练图像被裁剪为kl_sub×kl_sub的子图，由于本发明使用Caffe深度学习框架进行训练，所以将反卷积核产生的输出大小设置为(kl_sub-k+1)²，而非(kl_sub)²。因此，HR子图的像素边界应裁剪(k-1)。使用Caffe框架训练时，拥有较大学习率的训练样本尺寸越大，训练过程越不稳定。由于裁剪图像块时无重叠，为了充分利用291张图像，所以当模糊因子k＝3时，欲得到更多边缘图像块，子图像采样步长设置为15，训练阶段使用大小为152/432的训练对进行训练。通过该方式得到不同模糊因子低分辨率子图和高分辨率子图的训练图像对。

步骤3、特征提取：在原始低分辨率图像上提取特征，包含两层卷积层，每层包含64个大小为3×3的卷积核，特征提取过程可以表示为：

B₀＝f(x) (1)

其中，f表示特征提取函数，B₀表示提取到的特征；

步骤4、特征融合：包含4个残差块，将步骤3中提取到的特征读入残差块中，每个残差块由一个增强单元(Enhancement Unit，EU)和一个压缩单元(Compression Unit，CU)构成，其中增强单元包含6层3×3的卷积层，采用对称残差实现浅层与深层信息的恒等映射，融合网络上下文信息，提取更丰富的特征。压缩单元由1层1×1的卷积层构成，为后续网络提取关键信息。

这个过程可以表示为：

B_m＝F_m(B_m-1)，m＝1,…,n (2)

其中，F_m表示第m个残差块对应的函数，B_m-1和B_m分别表示第m个残差块的输入和输出。

其中，B_m-1表示当前残差块的输出，同时作为下一个残差块的输入，D表示降维操作，表示第m-1个残差块中第z层卷积层的卷积操作。

步骤5、图像重建：包含一层无激活函数的反卷积层，将步骤4中提取到的局部特征与全局特征采用17×17的反卷积核进行上采样操作，得到最终输出高分辨率图像，重建结果表示为：

y＝R(F_n(B_n-1))+U(x) (4)

其中，R，U分别表示重建和双三次插值函数。

本发明的网络训练实例说明如下：

本发明采用的初始学***台为Matlab R2016a软件和caffe深度学***均PSNR/SSIM。

表1、不同模糊因子的训练子图尺寸

表2、在Set5，Set14和BSD100数据集上不同超分辨率重建方法的平均PSNR/SSIM

本发明针对基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能，但网络参数多、训练难度大，易出现梯度消失、梯度***或过拟合等问题，提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中，采用对称连接实现局部特征融合，提取尽可能多的有价值的特征；残差块外采用跳跃连接实现全局特征融合，以提高图像重建质量。本发明采用对称长短跳跃连接实现全局与局部特征融合，实现网络训练的稳定性和特征提取的高效性，通过设置4个残差块，在残差块内采用对称残差的方式提取更丰富的鲁棒特征，残差块外通过长跳连接实现全局特征融合，解决了由简单堆叠多个残差块而导致特征提取不充分的问题，有效缓解了梯度消失和网络退化现象。网络结构如图2所示。同时对比了本发明方法与相关方法在图像超分辨率重建图像质量方面的优劣。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于对称残差卷积神经网络的图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：

S1，选取训练样本和测试样本：

训练样本：获取91张图像数据集和200张Berkeley Segmentation的数据集，对291张图像进行90°、180°和270°旋转、水平翻转和以因子0.9、0.8、0.7和0.6的顺序进行缩小，对训练图像进行数据增强处理后获得11640张训练图像；

测试样本：使用标准数据集Set5、Set14、BSD100分别进行测试；

S2，数据集预处理：利用双三次插值法以因子k对原始图像进行采样，所述k的取值分别为2、3、4，生成对应的LR图像，将LR训练图像裁剪为一组l_sub×l_sub的子图，相应的HR训练图像裁剪为kl_sub×kl_sub的子图，得到低分辨率子图和高分辨率子图训练图像对；

S3，特征提取：在步骤S2所得低分辨率子图上提取特征，包含两层卷积层，每层包含64个大小为3×3的卷积核；

S4，特征融合：包含4个残差块，每个残差块由一个增强单元和一个压缩单元构成，其中增强单元包含6层大小为3×3的卷积层，增强单元采用对称残差实现浅层与深层信息的恒等映射，融合网络上下文信息，提取特征，压缩单元由1层大小为1×1的卷积层构成，为后续网络提取关键信息；

S5，图像重建：包含一层无激活函数的反卷积层，重建计算关系为：

y＝R(F_n(B_n-1))+U(x) (3)

其中，R，U分别为重建和双三次插值函数；F_n表示第n个残差块对应的函数，B_n-1表示第n个残差块的输入，F_n(B_n-1)＝B_n，B_n为第n个残差块的输出。

2.根据权利要求1所述的一种基于对称残差卷积神经网络的图像超分辨率重建方法，其特征在于，所述步骤S3特征提取计算关系为：

B₀＝f(x) (1)

其中，f为特征提取函数，B₀为提取的特征。

3.根据权利要求1所述的一种基于对称残差卷积神经网络的图像超分辨率重建方法，其特征在于，所述步骤S4计算关系为：

B_m＝F_m(B_m-1)，m＝1,...,n (2)

其中，F_m为第m个残差块对应的函数，B_m-1和B_m分别为第m个残差块的输入和输出。

4.根据权利要求3所述的一种基于对称残差卷积神经网络的图像超分辨率重建方法，其特征在于，所述计算关系为：

其中，B_m-1为当前残差块的输出，同时为下一个残差块的输入，D为降维操作，为第m-1个残差块中第z层卷积层的卷积操作，所述z的取值分别为1-6。