CN109272450A - 一种基于卷积神经网络的图像超分方法 - Google Patents

Abstract

本发明属于图像编辑技术领域，具体为一种基于卷积神经网络的图像超分方法。卷积神经网络包括：特征提取网络、特征学习网络、图像重构网络；方法包括：通过特征提取网络，提取图像特征；通过特征学习网络，学习出高分辨率图像特征；通过图像重构网络重构图像三个阶段。本发明提出的分层特征学习的网络结构可以让网络中的每一阶段充分利用网络中所有不同层级学到的特征信息，还很大程度上保留了网络中的重要特征，减少特征损失，实现了最大程度的特征利用，同时避免了特征的重复及冗余。实验结果表明，本方法生成了具有更符合主观视觉质量的高分辨率图像，恢复了逼真的细节纹理信息，还实现了较高效的图像超分过程，具有较强的实用价值。

Description

一种基于卷积神经网络的图像超分方法

技术领域

本发明属于图像编辑技术领域，具体涉及一种图像超分方法。

背景技术

图像分辨率是衡量图像质量的一项重要指标，分辨率越高，细节越精细，质量越佳，图像包含的信息量越丰富。因此具有更高分辨率的图像在各种计算机视觉任务，如军事安全，卫星监控，交通监管，刑事调查等应用中都有着重要的应用价值及研究前景。但由于成本问题，通常在实际情况中的图像采集、存储、传输过程会不可避免受到外在条件限制或其它干扰，导致其存在不同程度的质量退化。

图像超分技术是作为图像质量增强技术的研究分支。它旨在从低分辨率图像恢复出高分辨率图像中的信息，是一门科学研究价值高、应用领域广泛的现代图像处理技术。图像超分不仅是简单的扩大图像的尺寸，它产生了新的包含更有价值信息的图像。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。

图像超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样^[1]，由于超分是一种不适定问题，每个像素从低分辨率图像到高分辨率图像的映射上有许多解，并且这类方法仅使用低分辨率图像的信息，因此很难模拟真实图像的视觉复杂性，对于纹理复杂、平滑着色的图像，插值法很可能生成不真实的效果。不能很好地重构出高分辨率图像。

因此，超分需要很强的先验来约束解空间，最近大多数较好的方法采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率图像中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率图像。该方法的不足是会损失图像中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着卷积神经网络(CNN)在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN^[2]及VDSR^[3]方法最具代表性。通过对图像每一帧采用这些方法可以简单地将图像超分扩展到图像超分领域。

C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。

神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN^[4]方法，改进了神经网络的结构实现更快的超分效果。Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。随着卷积神经网络在超分领域实现不断提升的效果，更多学者通过继续改进网络结构在超分结果的主观视觉质量及客观数值标准上得到不断突破。

本发明方法涉及图像超分技术，是基于深度学习的思想构建一个参数效率更高的超分卷积神经网络。所构建的网络结构可以在已有的低分辨率图像的基础上通过利用图像内局部结构及细节信息的相关性，学习出图像中的高频细节及纹理内容，重构出具有更好的视觉质量的清晰图像。

发明内容

为了改进现有技术得到更好的超分效果，本发明提供一种提高图像空间分辨率的方法，以增强图像的质量，提升超分效率。

本发明提供的图像超分方法，是基于卷积神经网络的图像超分方法，所述卷积神经网络包括：特征提取网络F_FE、特征学习网络F_FL、图像重构网络F_IR，具体步骤如下：

(1)图像特征的提取

将低分辨率图像I_LR输入到卷积神经网络中，首先经过特征提取网络F_FE，经过卷积操作将输入图像从像素空间转换到特征空间，生成输入图像的特征：

F_LR＝F_FE(I_LR)

(2)图像特征的学习

这一步将提取到的低分辨率图像的特征F_LR作为输入，经过一个多层的特征学习网络F_FL，从原始的图像中学习出高分辨率图像中的细节特征F_HR：

F_HR＝F_FL(F_LR)

(3)高分辨率图像的重构

将上一步预测的含有丰富图像细节信息的特征F_HR经过图像重构网络F_IR，恢复出原始图像中的高频细节内容，以重构具有更高质量的高分辨率图像I_SR：

I_SR＝F_IR(F_HR)

本发明采用的多层网络结构(包括特征提取网络F_FE、特征学习网络F_FL、图像重构网络F_IR)是由多个结构相同的基本单元U组成；其中每一单元U都包括两个卷积块和一个连接节点，卷积块的结构采用论文[5]中提出的GEU单元，连接节点由一个卷积核大小为3×3的卷积层来实现；每个单元U的具体结构为：

首先，设f_in表示单元U的输入，将其输入到单元U中的第一个GEU(记为GEU₁)块中生成特征f1：

f₁＝GEU₁(f_in)

将生成的特征f₁输入到下一个GEU(记为GEU₂)单元，得到特征f₂：)

f₂＝GEU₂(f₁)

最后将两个GEU单元的输出f₁、f₁同时输入一个卷积核大小为3×3的卷积层进行特征融合，生成该单元的输出特征f_out：

f_out＝Conv(f₁,f₂)。

本发明步骤(1)中，特征提取网络F_E采用一层网络结构，即由一个基本单元U组成，该单元具体步骤为：

首先，将低分辨率图像输入到特征提取网络F_E，经过一个单元U提取出低分辨率图像的特征F_LR：

F_LR＝U(I_LR)。

本发明步骤(2)中，特征学习网络F_FL是一个多层的网络结构，具体的特征学习步骤为：

首先将步骤(1)输出的F_LR输入特征学习网络F_FL中，经过单元U_1,1生成特征f_1,1：

f_1,1＝U_1,1(F_LR)

将f_1,1输入到第二层的单元U_2,1中，生成特征f_2,1：

f_2,1＝U_2,1(f_1,1)

再将第二层单元U_2,1输出的特征f_2,1输入到第一层的下一个单元U_1,2中，输出特征f_1,2：

f_1,2＝U_1,2(f_2,1)

将f_1,2输入到下一个第二层的单元U_2,2中，生成特征f_2,2：

f_2,2＝U_2,2(f_1,2)

再将第二层的单元U_2,2的输出特征f_2,2输入到第一层单元U_1,3中，输出特征f_1,3：

f_1,3＝U_1,3(f_2,2)

最后将第一层的最后一个单元的输出f_1,3和第二层最后一个单元的输出f_2,2一同输入第三层的单元U_3,1中生成特征f_3,1，由于本发明的网络结构只采用了三层结构，因此第三层的第一个单元的输出f_3,1就作为特征学习部分学到的高分辨率图像的细节特征F_SR：

F_SR＝f_1,3

单元U_1,1，U_2,1，U_1,2，U_2,2，U_1,3，U_3,1，均为基本单元U。

本发明步骤(3)中，图像重构网络F_IR采用一层的网络结构，即由一个基本单元U组成，具体步骤为：

首先，将上一步的输出F_SR作为输入，经过一个基本单元U₁及去卷积层放大图像分辨率生成重构图像与真实高分辨率图像间的残差图I_res：

I_res＝Deconv(U₁(F_SR))

最后，将使用Bicubic方法上采样后的低分辨率图像与残差图I_res相加，得到网络最终输出的高分辨率图像I_SR：

I_SR＝I_res+Bic(I_LR)。

本发明采用的多层网络结构来学习图像特征，将网络中不同层之间学到的图像特征通过分层聚合的方式连接起来，充分利用网络中每一层的结构信息，恢复出更准确的高频图像内容，有效减少图像特征在网络传播过程中的信息损失，挖掘出更深层次的图像特征，最终得到更好的重构效果。

附图说明

图1为本发明的流程图。

图2为利用本方法对低分辨率图像进行超分重构的结果。

具体实施方式

对于一张低分辨率图像，可以采用图1所示的方法，进行超分处理。具体步骤为：

(1)首先将低分辨率图像输入到网络，经一个卷积层、一个单元U。

每个单元具体步骤参见图1，首先将单元U的输入传给第一个GEU₁块，将生成特征输入下一个GEU₂块，最后将两个GEU单元的输出再同时输入一个卷积核大小为3×3的卷积层，生成该单元的输出特征f₁；

(2)将f₁输入到第一层单元U_1,1生成特征f_1,1；将f_1,1输入到第二层单元U_2,1生成特征f_2,1；将f_2,1输入到第一层单元U_1,2中，输出特征f_1,2；将f_1,2输入第二层单元U_2,2生成特征f_2,2；将f_2,2传回到第一层单元U_1,3输出特征f_1,3；将f_1,3和f_2,2传给第三层单元U_3,1生成特征f_3,1；

(3)将f_3,1传给一个单元U生成特征f₂，将f₂通过一个去卷积层生成残差图I_res；最后使用双三次插值法上采样原低分辨率图像生成I_bic，将I_bic与残差图I_res相加，生成高分辨率图像I_HR。

图2为一个实验例子。其中，(a)、(d)图分别是输入的低分辨率图像，(b)、(e)图则是对应的使用本发明方法进行4倍超分重构出来的高分辨率图像，(c)、(f)是真实的高分辨率图像。可以看出，本发明方法可以有效地恢复出原始高分辨率图像中的纹理及边缘信息，带来较好的视觉效果。

参考文献：

[1]C.E.Duchon.Lanczos filtering in one and two dimensions.Journal ofApplied Meteorology,18(8):1016–1022,1979.

[2]C.Dong,C.C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence (TPAMI),38(2):295–307,2015.

[3]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.

[4]C.Dong,C.C.Loy,and X.Tang.Accelerating the super-resolutionconvolutional neural network.In European Conference on Computer Vision(ECCV),pages 391–407.Springer International Publishing,2016.

[5]Ke Li,Bahetiyaer Bare,B.Y.B.F.,and Yao,C.2018.Face hallucinationbased on key parts enhancement.In IEEE International Conference on Acoustics,Speech and Signal Processing.。

Claims (4)

1.一种基于卷积神经网络的图像超分方法，所述卷积神经网络包括：特征提取网络F_FE、特征学习网络F_FL、图像重构网络F_IR，其特征在于，具体步骤如下：

(1)图像特征的提取

将低分辨率图像I_LR输入到卷积神经网络中，首先经过特征提取网络F_FE，经过卷积操作将输入图像从像素空间转换到特征空间，生成输入图像的特征：

F_LR＝F_FE(I_LR)

(2)图像特征的学习

将提取到的低分辨率图像的特征F_LR作为输入，经过特征学习网络F_FL，从原始的图像中学习出高分辨率图像中的细节特征F_HR：

F_HR＝F_FL(F_LR)

(3)高分辨率图像的重构

将上一步预测的含有丰富图像细节信息的特征F_HR经过图像重构网络F_IR，恢复出原始图像中的高频细节内容，以重构具有更高质量的高分辨率图像I_SR：

I_SR＝F_IR(F_HR)；

这里，特征提取网络F_FE、特征学习网络F_FL、图像重构网络F_IR，由不同数量的结构相同的基本单元U组成；其中每一单元U都包括两个卷积块和一个连接节点，卷积块的结构采用GEU单元，连接节点由一个卷积核大小为3×3的卷积层来实现；每个单元U的处理流程为：

首先，设f_in表示单元U的输入，将其输入到单元U中的第一个GEU(记为GEU₁)块中生成特征f1：

f₁＝GEU₁(f_in)

将生成的特征f₁输入到下一个GEU(记为GEU₂)单元，得到特征f₂：

f₂＝GEU₂(f₁)

最后，将两个GEU单元的输出f₁、f₁同时输入一个卷积核大小为3×3的卷积层进行特征融合，生成该单元的输出特征f_out：

f_out＝Conv(f₁,f₂)。

2.根据权利要求1所述的基于卷积神经网络的图像超分方法，其特征在于，步骤(1)中，特征提取网络F_E采用一层网络结构，即由一个基本单元U组成，具体处理流程为：

首先，将低分辨率图像输入到特征提取网络F_E，经过一个单元U提取出低分辨率图像的特征F_LR：

F_LR＝U(I_LR)。

3.根据权利要求1所述的基于卷积神经网络的图像超分方法，其特征在于，步骤(2)中，特征学习网络F_FL是一个多层的网络结构，特征学习流程为：

首先，将步骤(1)输出的F_LR输入特征学习网络F_FL中，经过单元U_1,1生成特征f_1,1：

f_1,1＝U_1,1(F_LR)

将f_1,1输入到第二层的单元U_2,1中，生成特征f_2,1：

f_2,1＝U_2,1(f_1,1)

再将第二层单元U_2,1输出的特征f_2,1输入到第一层的下一个单元U_1,2中，输出特征f_1,2：

f_1,2＝U_1,2(f_2,1)

将f_1,2输入到下一个第二层的单元U_2,2中，生成特征f_2,2：

f_2,2＝U_2,2(f_1,2)

再将第二层的单元U_2,2的输出特征f_2,2输入到第一层单元U_1,3中，输出特征f_1,3：

f_1,3＝U_1,3(f_2,2)

最后，将第一层的最后一个单元的输出f_1,3和第二层最后一个单元的输出f_2,2一同输入第三层的单元U_3,1中生成特征f_3,1，由于本发明的网络结构采用三层结构，因此第三层的第一个单元的输出f_3,1就作为特征学习部分学到的高分辨率图像的细节特征F_SR：

F_SR＝f_1,3

其中，单元U_1,1，U_2,1，U_1,2，U_2,2，U_1,3，U_3,1，均为基本单元U。

4.根据权利要求1所述的基于卷积神经网络的图像超分方法，其特征在于，步骤(3)中，图像重构网络F_IR采用一层的网络结构，即由一个基本单元U组成，处理的具体流程为：

首先，将上一步的输出F_SR作为输入，经过一个基本单元U(U₁)及去卷积层放大图像分辨率，生成重构图像与真实高分辨率图像间的残差图I_res

I_res＝Deconv(U₁(F_SR))

最后，将使用Bicubic方法上采样后的低分辨率图像与残差图I_res相加，得到网络最终输出的高分辨率图像I_SR：

I_SR＝I_res+Bic(I_LR)。