CN111402128A - 一种基于多尺度金字塔网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于多尺度金字塔网络的图像超分辨率重建方法，包括以下步骤：S1、对输入图像进行浅层特征提取；S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到更丰富的深层次特征；S3、使用转置卷积对深层次特征进行上采样；S4、利用残差学习对图像进行重建；S5、将重建后的图像作为当前金字塔网络的输出，同时作为下一层金字塔网络的输入，继续采用步骤S1‑S4进行训练，以得到更高分辨率的图像。本发明采用了多尺度残差模块，对特征进行融合以得到更丰富的特征；同时采用拉普拉斯金字塔网络，以逐步上采样重建高分辨率图像；通过本发明的方法，可以重建出细节更丰富、质量更高的图像。

Description

一种基于多尺度金字塔网络的图像超分辨率重建方法

技术领域

本发明涉及计算机视觉及图像处理技术领域，具体涉及一种基于多尺度金字塔网络的图像超分辨率重建方法。

背景技术

随着信息技术的发展，网络上的图片数量在不断的增加，图像作为人们认知世界的一个主要媒介，已经应用于各种场景。在众多的领域中，大到医疗图像领域，卫星遥感领域，小到人们相机，手机拍照等。人们对图像的画质的要求越来越高。因此提高图像的分辨率在现实生活中将有十分重要的意义。

图像超分辨率重构旨在利用一幅或者多幅低分辨率图像恢复出高分辨率图像，近年来己发展成为计算机视觉领域的研究热点之一。目前超分辨率重构算法从重构算法方面分为基于插值和基于学习两大类。基于插值的算法简单快捷，但无法满足人们日益增长的图像质量需要。基于学习的超分辨率重建方法借助额外训练样本来学习先验以降低超分辨问题的病态性，取得了较好的效果，如基于稀疏编码与基于邻域嵌入的方法。然而，这些方法仅在图像的初级特征空间上求解稀疏编码系数和学习嵌入空间，使得稀疏性与流形假设难以严格满足，直接导致了图像重构质量的下降。随着深度学习的蓬勃发展，研究人员将深度学习算法广泛应用到图像超分辨率重构上来并取得优于插值算法的重构结果。但目前主流的方法都是基于网络越深重建效果越好的理论上，随着网络深度的增加，梯度消失或者网格退化等问题依然存在，且大部分的方法都是经过一次上采样以达到指定的尺寸，这样对于重建出来的高分辨率图像质量有待提高。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多尺度金字塔网络的图像超分辨率重建方法，该方法采用拉普拉斯金字塔网络，并融入了多尺度残差思想，通过多尺度残差模块对特征进行加强，以拉普拉斯金字塔网络逐渐上采样进行图像重建，使得重建出的图像质量更高。

本发明的目的可以通过采取如下技术方案达到：

一种基于多尺度金字塔网络的图像超分辨率重建方法，所述的图像超分辨率重建方法包括以下步骤：

S1、对输入图像进行浅层特征提取；

S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到深层次特征；

S3、使用转置卷积对深层次特征进行上采样；

S4、利用残差学习对图像进行重建；

S5、将重建后的图像作为当前金字塔网络的输出，同时作为下一层金字塔网络的输入，继续重复采用步骤S1到步骤S4的训练，以得到更高分辨率的图像。

进一步地，所述的步骤S1过程如下：

使用一层后接非线性激活单元的3×3卷积层，从输入的低分辨率图像中提取出浅层的特征，表达式如下：

F₀＝σ(W₁*I_LR) (1)

其中，I_LR表示输入的低分辨率图像，σ表示非线性激活函数ReLU，W₁表示3×3卷积层的卷积核，F₀表示通过卷积层提取的特征。

进一步地，S2中所述的每个多尺度残差模块包含一个特征增强单元、一个压缩单元和一个残差学习，其中，所述的特征增强单元包括2个后接非线性激活单元的3×3的卷积层和2个后接非线性激活单元的5×5的卷积层；所述的压缩单元由一层大小为1×1的卷积层组成。相比于单尺度卷积核来说，利用不同尺寸的卷积核，可以提取出不同尺度的特征，从而使滤波器可以提取和学习更加丰富的图像信息。另外，利用残差学习，可以防止梯度***与消失，使得网络更容易优化。

进一步地，所述的步骤S2过程如下：

先将步骤S1中提取的浅层特征通过特征增强单元得到两种不同的特征，再将这两种不同的特征通过压缩单元进行特征融合，融合的特征再经过一个卷积层的学习，最后与浅层特征相加构成残差块，计算过程的表达式如下：

M＝W_1×1*[T₂，P₂] (6)

B＝σ(W*M) (7)

F_m＝B+F_m-1 (8)

其中，T₁为通过第一层3×3卷积层之后的特征，T₂为通过第二层3×3卷积层之后的特征，P₁为通过第一层5×5卷积层之后的特征，P₂为通过第二层5×5卷积层之后的特征，σ表示非线性激活函数ReLU函数，

为第一层3×3卷积层的卷积核，

为第二层3×3卷积层的卷积核，

为第一层5×5卷积层的卷积核，

为第二层5×5卷积层的卷积核，W_1×1表示1×1卷积层的卷积核，W表示最后一层学习层的卷积核，[]表示特征融合函数，M表示通过1×1卷积层融合之后的特征，_B表示通过最后一层学习层得到的特征，F_m-1和F_m分别表示第m个多尺度残差块的输入和输出。

进一步地，所述的步骤S3过程如下：

使用一层转置卷积层对通过K个多尺度残差模块后的的深层次特征进行上采样，得到高分辨率图像，表达式如下：

I_{HR_conv}＝f_deconv(F_K) (9)

上式中，I_{HR_conv}为上采样之后的高分辨率图像，f_deconv为上采样操作，F_K为第K个多尺度残差模块的输出。

进一步地，所述的步骤S4过程如下：

先对低分辨率图像进行双立方插值获得高分辨率的图像I_{HR_bicu},然后将该高分辨率图像I_{HR_bicu}与上采样得到的高分辨率图像I_{HR_conv}相加获得空间分辨率放大两倍的深度图I_HR，表达式如下：

I_HR＝I_{HR_bicu}+I_{HR_deconv} (10)

进一步地，相比于仅仅使用一次上采样就得到指定尺寸图像的网络，用金字塔网络可以进行逐渐上采样，这样不仅可以降低网络的训练难度(尤其是对大尺度因子的训练)，同时可以得到质量更高的图片。本发明中所述的金字塔网络一共包含N级，如果输入的低分辨率图像是下采样1/S倍的低分辨率图像，S是上采样比例因子，则N＝log ₂S；每一级将前级输出的图像重建为该级的高分辨率图像。

本发明相对于现有技术具有如下的优点及效果：

本发明通过采用多尺度残差模块，对图像提取多种特征，通过对这些特征进行融合，对特征进行加强，使得提取的特征更加丰富，通过采用金字塔网络的形式，对图像进行逐渐上采样重建，使得高分辨的图像质量更高。

附图说明

图1是本发明中公开的基于多尺度金字塔网络的图像超分辨率重建方法示意图；

图2是本发明中的多尺度残差模块框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例提供了一种基于多尺度金字塔网络的图像超分辨率重建方法，通过多尺度残差模块，对提取的特征进行融合加强，采用金字塔网络渐进上采样以逐步对图像进行重建，具体包括以下步骤：

S1、对输入图像进行浅层特征提取，具体为：

使用一层后接非线性激活单元的3×3卷积层，从输入的低分辨率图像中提取浅层特征，表达式如下：

F₀＝σ(W₁*I_LR) (1)

其中，I_LR表示输入的低分辨率图像，σ表示非线性激活函数ReLU，W₁表示3×3卷积层的卷积核，F₀表示通过卷积层提取的特征。

S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到深层次特征，具体为：

多尺度残差模块通过使用不同尺寸的卷积核，可以提取出不同尺度的特征，从而使滤波器可以提取和学习更加丰富的图像信息。如图1所示，通过将浅层特征输入由K个多尺度残差模块，可以对浅层特征进行特征加强，得到更丰富，更深层次的特征，本实施例中取K＝2，但是该K的取值不构成对本发明技术方案的限制。

多尺度残差模块如图2所示，每个多尺度残差模块包含一个特征增强单元、一个压缩单元和一个残差学习，其中，特征增强单元包括2个后接非线性激活单元的3×3的卷积层和2个后接非线性激活单元的5×5的卷积层；压缩单元由一层大小为1×1的卷积层组成，残差学习的利用使得网络更容易优化。具体过程如下：

先将步骤S1中提取的浅层特征通过特征增强单元得到两种不同的特征，再将这两种不同的特征通过压缩单元进行特征融合，融合的特征再经过一个卷积层的学习，最后与浅层特征相加构成残差块；表达式如下：

M＝W_1×1*[T₂，P₂] (6)

B＝σ(W*M) (7)

F_m＝B+F_m-1 (8)

其中，T₁为通过第一层3×3卷积层之后的特征，T₂为通过第二层3×3卷积层之后的特征，P₁为通过第一层5×5卷积层之后的特征，P₂为通过第二层5×5卷积层之后的特征，σ表示非线性激活函数ReLU函数，

为第一层3×3卷积层的卷积核，

为第二层3×3卷积层的卷积核，

为第一层5×5卷积层的卷积核，

为第二层5×5卷积层的卷积核，W_1×1表示1×1卷积层的卷积核，W表示最后一层学习层的卷积核，[]表示特征融合函数，M表示通过1×1卷积层融合之后的特征，_B表示通过最后一层学习层得到的特征，F_m-1和F_m分别表示第m个多尺度残差块的输入和输出。在本实施例中，m取值为[1,2]。

S3、使用一层转置卷积层对通过2个多尺度残差模块后的深层次特征进行上采样，得到高分辨率图像，表达式如下：

I_{HR_conv}＝f_deconv(F₂) (9)

上式中，I_{HR_conv}为上采样之后的高分辨率图像，f_deconv为上采样操作，F₂为第2个多尺度残差模块的输出。

S4、利用残差学习对图像进行重建，具体为：

先对低分辨率图像进行双立方插值获得高分辨率的图像I_{HR_bicu},然后将该高分辨率图像I_{HR_bicu}与上采样得到的高分辨率图像I_{HR_conv}相加获得空间分辨率放大两倍的深度图I_HR，表达式如下：

I_HR＝I_{HR_bicu}+I_{HR_deconv} (10)

S5、将重建后的图像作为当前金字塔网络层的输出，同时作为下一层金字塔网络的输入，继续采用步骤S1到步骤S4的训练，以得到更高分辨率的图像。

其中，金字塔网络一共包含N级，如果输入的低分辨率图像是下采样1/S倍的低分辨率图像，S是上采样比例因子，则N＝log ₂S；每一级将前级输出的图像重建为该级的高分辨率图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于多尺度金字塔网络的图像超分辨率重建方法，其特征在于，所述的图像超分辨率重建方法包括以下步骤：

S1、对输入图像进行浅层特征提取；

S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到深层次特征；

S3、使用转置卷积对深层次特征进行上采样；

S4、利用残差学习对图像进行重建；

S5、将重建后的图像作为当前金字塔网络的输出，同时作为下一层金字塔网络的输入，继续重复采用步骤S1到步骤S4的训练，以得到更高分辨率的图像。

2.根据权利要求1所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的步骤S1过程如下：

使用一层后接非线性激活单元的3×3卷积层，从输入的低分辨率图像中提取出浅层的特征，表达式如下：

F₀＝σ(W₁*I_LR) (1)

其中，I_LR表示输入的低分辨率图像，σ表示非线性激活函数ReLU，W₁表示3×3卷积层的卷积核，F₀表示通过卷积层提取的特征。

3.根据权利要求1所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的每个多尺度残差模块包含一个特征增强单元、一个压缩单元和一个残差学习，其中，所述的特征增强单元包括2个后接非线性激活单元的3×3的卷积层和2个后接非线性激活单元的5×5的卷积层；所述的压缩单元由一层大小为1×1的卷积层组成。

4.根据权利要求3所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的步骤S2过程如下：

先将步骤S1中提取的浅层特征通过特征增强单元得到两种不同的特征，再将这两种不同的特征通过压缩单元进行特征融合，融合的特征再经过一个卷积层的学习，最后与浅层特征相加构成残差块，计算过程的表达式如下：

M＝W_1×1*[T₂，P₂] (6)

B＝σ(W*M) (7)

F_m＝B+F_m-1 (8)

其中，T₁为通过第一层3×3卷积层之后的特征，T₂为通过第二层3×3卷积层之后的特征，P₁为通过第一层5×5卷积层之后的特征，P₂为通过第二层5×5卷积层之后的特征，σ表示非线性激活函数ReLU函数，

为第一层3×3卷积层的卷积核，

为第二层3×3卷积层的卷积核，

为第一层5×5卷积层的卷积核，

为第二层5×5卷积层的卷积核，W_1×1表示1×1卷积层的卷积核，W表示最后一层学习层的卷积核，[]表示特征融合函数，M表示通过1×1卷积层融合之后的特征，B表示通过最后一层学习层得到的特征，F_m-1和F_m分别表示第m个多尺度残差块的输入和输出。

5.根据权利要求1所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的步骤S3过程如下：

使用一层转置卷积层对通过K个多尺度残差模块后的的深层次特征进行上采样，得到高分辨率图像，表达式如下：

I_{HR_conv}＝f_deconv(F_K) (9)

上式中，I_{HR_conv}为上采样之后的高分辨率图像，f_deconv为上采样操作，F_K为第K个多尺度残差模块的输出。

6.根据权利要求1所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的步骤S4过程如下：

先对低分辨率图像进行双立方插值获得高分辨率的图像I_{HR_bicu},然后将该高分辨率图像I_{HR_bicu}与上采样得到的高分辨率图像I_{HR_conv}相加获得空间分辨率放大两倍的深度图I_HR，表达式如下：

I_HR＝I_{HR_bicu}+I_{HR_deconv} (10)

7.根据权利要求1至6任一所述的一种基于多尺度金字塔网络的图像分辨率重建方法，其特征在于，所述的金字塔网络一共包含N级，如果输入的低分辨率图像是下采样1/S倍的低分辨率图像，S是上采样比例因子，则N＝log₂S；每一级将前级输出的图像重建为该级的高分辨率图像。

Images