CN115797183B - 一种图像超分辨率重建方法 - Google Patents

Abstract

本发明属于图像重建技术领域，提供一种图像超分辨率重建方法，包括：构建生成模型；生成模型包括：稀疏编码模块和重建模块；基于稀疏编码模块，对待重建图像进行稀疏编码；基于重建模块，对稀疏编码后的图像进行重建，获取初始超分辨率图像；构建鉴别模型；基于鉴别模型，对初始超分辨率图像进行判别，获取最终的超分辨率图像，完成图像超分辨率重建。本发明利用卷积网络实现稀疏编码并获取图像稀疏表示，将得到的稀疏表示经过卷积字典层进行重建得到超分辨率图像，使该模型可以将图像作为网络的输入，避免了传统算法的复杂的图像处理以及数据重建的过程，同时具有稀疏字典学习捕获图像的高频结构信息的优点，解决高频信息缺失和存在噪点问题。

Description

一种图像超分辨率重建方法

技术领域

本发明属于图像重建技术领域，尤其涉及一种图像超分辨率重建方法。

背景技术

图像超分辨率重建是通过某种映射将低分辨率图像重建出高分辨率图像的技术，在许多领域中得到广泛的应用，例如视频网络、医学影像处理和卫星遥感等。目前主流的图像超分辨率重建算法主要可以分为两大类，即基于传统算法和基于学习的算法。传统算法包括基于插值和基于重建的算法，在图像超分辨率上取得了一定的效果。其中，基于插值算法包括最近领插值、双线性插值、双立方插值等，只是简单地增加对像素点，并没有充分利用图像地先验信息，难以恢复图像细节；基于重建算法包括凸投影集算法和迭代反向投影算法，这类算法需要明确的先验信息并增加一些附加操作，导致计算量较大，效率低，并且仅能应对设计的情况。因此基于传统的超分辨率重建算法仍未能满足人们对图像分辨率提升的期望。

基于学习的算法通过机器学习算法学习到先验知识，能够更准确地捕获低-高分辨率图像特征之间的映射关系，从而极大提升超分辨率效果。目前常用基于学习的算法主要有稀疏表示和深度学习。图像的稀疏表示作为先验知识或建模，可以揭示图像的主要几何结构的特征和分布，更有效的表示图像和保留高频结构信息，能够胜任各种视觉任务，例如分类任务、可视化、超分辨率重建和去噪任务上等。大量的研究经验证明，稀疏编码可以有效地捕获图像的几何结构(如边缘等)，从而易于操作高频分量。Yang等人认为不同的分辨率图像的稀疏表示应当线性一致。通过学习高低分辨率的字典对获得对应的稀疏表示，利用稀疏表示恢复缺失的高频信息，进而重建出超分辨图像；Zeyde等人在Yang的基础上对特征提取算子进行了改进，通过采用K-SVD算法学习字典，并使用正交匹配追踪法进行稀疏求解等等；基于稀疏表示方法的超分辨率重建已经较为成熟，稀疏表示可以提供足够的图像的高频信息，丰富重建图像的边缘消息，且具有较强的噪声抗干扰能力。稀疏编码虽然在重构图像上有着优秀的表现和深刻的物理意义，但其具有计算开销大，训练时间长的问题，同时难以大尺度的放大。

因此，研究者开始研究如何采用效率更快的卷积神经网络进行超分辨率重建。目前基于深度神经网络的重建模型已经有了优异的表现，如SRCNN，VDSR，ESPCNN等，这些模型可以学***滑缺失高频信息，重建的效果尚不尽人意。

随着各类深度学习模型的提出和训练策略的不断完善，相比卷积神经网络，Goodfellowt提出的生成对抗网络采用了内容损失函数和对抗损失函数，使得生成图像更逼近自然图像。2017年，Ledig等人提出SRGAN，首次将GAN思想应用于图像超分辨率重建中，设计新型的感知损失作为网络的损失函数，使得生成图像达到真实图像的效果。Wang等人提出ESRGAN，在SRGAN模型框架上加入了密集残差块并去除所有的批归一化层(BatchNormailization,BN)，同时加入了Relativistic GAN(RaGAN)的判别器，使得重构图像具有更高的指标值和更清晰的视觉效果。Zhang等人提出了RCAN，允许丰富的低频信息通过多个跳跃连接直接进行传播，使主网络专注于学习高频信息，使主网络专注于学习图像的高频信息。辛元雪ESRGAN的基础上使用多尺度密集连接模块代替密集连接模块，并添加通道注意力机制提高了超分辨率图像的质量。基于生成对抗网络的图像超分辨率重建模型通过生成器与判别器的博弈可以生成逼真的重建图像，极大地改善主观质量，但它们仍存在棋盘伪影和锐化后不可避免产生噪点。

发明内容

为解决上述技术问题，本发明提出了一种图像超分辨率重建方法；利用卷积神经网络来实现稀疏编码，既可以快速提高训练速度，同时能够有效地保留稀疏编码所提取的图像的高频信息，提高模型对图像复杂几何结构的稀疏表示能力；将获取的稀疏编码经过卷积层和上采样层得到超分辨率图像，将生成的超分辨率图像与真实高频图像输入到判别器进行判别，并加入图像的高层次特征部分的均方差损失函数，使得重建超分辨率图像在低层的像素上和高层次的抽象特征上更好地接近高分辨率图像，进一步的提高重建后的高分辨率图像质量。

为实现上述目的，本发明提供了一种图像超分辨率重建方法，包括：

构建生成模型；所述生成模型包括：稀疏编码模块和重建模块；

基于所述稀疏编码模块，对待重建图像进行稀疏编码；

基于所述重建模块，对稀疏编码后的图像进行重建，获取初始超分辨率图像；

构建鉴别模型；

基于所述鉴别模型，对所述初始超分辨率图像进行判别，获取最终的超分辨率图像，完成图像超分辨率重建。

可选地，对所述稀疏编码后的图像进行重建前包括：对所述稀疏编码后的图像进行线性一致性处理。

可选地，所述稀疏编码模块的表达式为：

其中，为低分辨率图像集，/>为高分辨率图像集，/> 为稀疏表示，/>为稀疏性，D、F分别表示低分辨率和高分辨率图像字典。

可选地，所述稀疏编码后的图像的表达式为：

其中，W_e:＝αD^T，W_d:＝D，X为输入的低分辨率图像，W_e为Conv1，W_d为Conv2，S_θ(·)表示为Shrinkage激活函数，θ∈(0,1)为阈值，表示稀疏编码后的图像。

可选地，所述重建模块包括：卷积字典层、子像素卷积层和激活层；

所述重建模块的表达式为：

Y＝FΑφ_x(D)

其中，Y为通过重建模块得到超分辨率图像，φ_x(D)为稀疏编码后的图像，A为线性转换层，F为高分辨率字典；

所述重建模块通过卷积字典层、子像素卷积层和激活层实现FΑ。

可选地，所述鉴别模型遵循DCGAN设计原则，即取消池化层，同时使用LeakyReLU激活函数和批规范化；

所述鉴别模型的网络框架包括8个卷积层，由卷积核和卷积核的卷积层交替构成，卷积步长分别为1和2，卷积核数量由64逐渐增加到512；在得到输入图像的高层次特征后，将其进行维度变换后输入两个全连接层以及Sigmoid激活函数得到真实或虚假的概率。

可选地，对所述初始超分辨率图像进行判别包括：

将所述初始超分辨率图像和真实高频图像输入所述鉴别模型进行判别，并加入均方差损失函数，对所述初始超分辨率图像进行对抗训练。

可选地，构建所述鉴别模型还包括：所述均方差损失函数为：

其中，x_r，x_f分别为真实的图像和生成的图像，为数学期望，C(·)为判别器的输出，σ(·)为sigmoid函数。

可选地，构建所述生成模型还包括：对所述生成模型设置损失函数；

所述损失函数包括：对抗损失、感知损失和稀疏损失；

所述对抗损失为：

其中，为对抗损失，/>为判别器网络，/>为生成器网络，I^LR为为输入的低分辨率图像，N为输入图像总数；

所述感知损失为：

其中，为感知损失，I^HR为输入的高分辨率图像，I^LR为输入的低分辨率图像，G(I^LR)表示为生成的图片，i和j分别表示第i层最大池化层和第j个卷积层，H和W为图片的宽和长，φ_i，j为通过VGG19网络的第i层最大池化层和第j层卷积层的特征图；

所述稀疏损失为：

利用均方误差MSE作为训练的损失函数，x表示为输入的低分辨率图像，为重建图像，并通过l₁范数来约束其稀疏性，β＝0.6。

与现有技术相比，本发明具有如下优点和技术效果：

本发明为解决现有图像超分辨率重建算法生成的图像高频信息缺失、噪点增多问题，提出了一种基于卷积字典学习的超分辨率重建模型。利用卷积网络来实现稀疏编码并获取图像稀疏表示，然后将得到的稀疏表示经过卷积字典层进行重建得到超分辨率图像，使得该模型可以将图像作为网络的输入，避免了传统算法的复杂的图像处理以及数据重建的过程，同时也具有稀疏字典学习捕获图像的高频结构信息的优点，解决高频信息缺失和存在噪点问题。最后，利用判别器对生成的超分辨率图像进行判别，使得最后生成的超分辨率图像有更好的视觉效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的卷积稀疏编码模块示意图；

图2为本发明实施例的重建模块示意图；

图3为本发明实施例的基于卷积稀疏编码的生成器结构示意图；

图4为本发明实施例的鉴别器网络结构示意图；

图5为本发明实施例的整体流程示意图；

图6为本发明实施例的各算法4倍超分辨率图像重建结果示意图；其中，(a)真实的高分辨率图像，(b)为Bicubic，(c)为SRGAN，(d)为EDSR，(e)为ESRGAN，(f)为本实施例算法。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种图像超分辨率重建方法，包括：

构建生成模型；所述生成模型包括：稀疏编码模块和重建模块；

基于所述稀疏编码模块，对待重建图像进行稀疏编码；

基于所述重建模块，对稀疏编码后的图像进行重建，获取初始超分辨率图像；

构建鉴别模型；

基于所述鉴别模型，对所述初始超分辨率图像进行判别，获取最终的超分辨率图像，完成图像超分辨率重建。

进一步地，对所述稀疏编码后的图像进行重建前包括：对所述稀疏编码后的图像进行线性一致性处理。

进一步地，所述稀疏编码模块的表达式为：

其中，为低分辨率图像集，/>为高分辨率图像集，/>φ_i ^y为稀疏表示，/>为稀疏性，D、F分别表示低分辨率和高分辨率图像字典。

进一步地，所述稀疏编码后的图像的表达式为：

其中，W_e:＝αD^T，W_d:＝D，X为输入的低分辨率图像，W_e为Conv1，W_d为Conv2，S_θ(·)表示为Shrinkage激活函数，θ∈(0,1)为阈值，表示稀疏编码后的图像。

进一步地，所述重建模块包括：卷积字典层、子像素卷积层和激活层；

所述重建模块的表达式为：

Y＝FΑφ_x(D)

其中，Y为通过重建模块得到超分辨率图像，φ_x(D)为稀疏编码后的图像，A为线性转换层，F为高分辨率字典；

所述重建模块通过卷积字典层、子像素卷积层和激活层实现FΑ。

进一步地，所述鉴别模型遵循DCGAN设计原则，即取消池化层，同时使用LeakyReLU激活函数和批规范化；

所述鉴别模型的网络框架包括8个卷积层，由卷积核和卷积核的卷积层交替构成，卷积步长分别为1和2，卷积核数量由64逐渐增加到512；在得到输入图像的高层次特征后，将其进行维度变换后输入两个全连接层以及Sigmoid激活函数得到真实或虚假的概率。

进一步地，对所述初始超分辨率图像进行判别包括：

将所述初始超分辨率图像和真实高频图像输入所述鉴别模型进行判别，并加入均方差损失函数，对所述初始超分辨率图像进行对抗训练。

进一步地，构建所述鉴别模型还包括：所述均方差损失函数为：

其中，x_r，x_f分别为真实的图像和生成的图像，为数学期望，C(·)为判别器的输出，σ(·)为sigmoid函数。

进一步地，构建所述生成模型还包括：对所述生成模型设置损失函数；

所述损失函数包括：对抗损失、感知损失和稀疏损失；

所述对抗损失为：

其中，为对抗损失，/>为判别器网络，/>为生成器网络，I^LR为为输入的低分辨率图像，N为输入图像总数；

所述感知损失为：

其中，为感知损失，I^HR为输入的高分辨率图像，I^LR为输入的低分辨率图像，G(I^LR)表示为生成的图片，i和j分别表示第i层最大池化层和第j个卷积层，H和W为图片的宽和长，φ_i，j为通过VGG19网络的第i层最大池化层和第j层卷积层的特征图；

所述稀疏损失为：

利用均方误差MSE作为训练的损失函数，x表示为输入的低分辨率图像，为重建图像，并通过l₁范数来约束其稀疏性，β＝0.6。

实施例

1.理论基础

1.1.稀疏编码

图像超分辨率重建是不完备数据的重构问题，属于典型的数学逆问题。而解决逆问题的有效方法是在重构模型中添加关于数据或问题的先验。利用图像的稀疏表示作为先验知识或建模，可以揭示图像的主要几何结构的特征和分布，更有效的表示图像和保留高频结构信息。稀疏编码理论即假设信号可以由字典中/>的原子线性组合来表示，其中m＞＞n，常见的稀疏编码模型如下：

x＝Dφ+∈, (1)

其中，表示获得的稀疏编码和/>分别代表着信号X的稀疏表示以及重建后的残差。进一步地，稀疏编码的目标函数如下所示：

其中，第一项为重构误差；第二项g(φ_x)为稀疏正则函数用于测量和约束稀疏表示φ_x的稀疏性，常见的有l₀范数、l₁范数、l_p范数(0＜p＜1)以及l₂范数等；其中，l₀范数约束下的优化求解属于NP-hard问题；l₁范数正则约束又被称为Lasso回归，保证所得稀疏解具有唯一性，且为全局最优。对于公式(2)，已经提出了一些算法，包括正交匹配追踪、K-SVD和迭代阈值算法。

迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm，ISTA)是一种非常受关注的算法，ISTA算法在每一次迭代中通过一个软阈值操作来更新x，近年来研究者们发现ISTA算法在图像去噪以及图像超分辨率上，相比传统的字典学习算法在时间和质量上都有着很大的优化，ISTA其具体迭代格式如下：

S_θ(x)＝sign(x)max(|x|-θ,0), (4)

其中当/>时，才能保证收敛性，σ_max()表示矩阵最大的特征值，S_θ(x)为软阈值操作函数，sign(x)为符号函数。

1.2.生成对抗网络

生成对抗网络(Generative Adversarial Networks，GAN)是Goodlfellow等人提出的一种通过对抗训练的深度学习模型。GAN由生成器(Generator，G)和判别器(Discriminator，D)两个网络框架构成。生成器G主要目的是生成一张接近于真实的虚假图像来骗过判别器。而判别器D则是一个二分类器，目的是能够准确判断输入的样本是真实的还是生成器生成的虚假图像。在生成器G与判别器D的多次对抗训练后，判别器的判别能力越来越强，同时生成器G生成的图像也越来越接近真实的图像，最后到达生成逼真的图像目的。总的损失函数定义为：

其中，由于GAN的训练是单独交替迭代训练的，对于判别器的优化，保持生成器G不变训练判别器D，判别器目的在于能够正确的区分真实样本和生成的虚假样本，使用1和0来代表输出的结果为真实样本和生成的虚假样本。公式(x-x)第一项E的输入样本来自真实数据，因此期望D(x)接近于1。同理第二项E输入样本来自生成器G生成数据，因此期望D(G(z))接近于0，使得总数最大。

对于生成器的优化，即部分，只需将判别器的判别结果D(G(z))接近于1，即总数值最小。

2.模型框架

本实施例的整体流程如图5所示，不同于以往的深度稀疏编码，本实施例采用基于卷积稀疏编码网络作为生成器，如图1所示，利用多个卷积字典层来学习图像的稀疏表示，在上采样层部分，将低分辨率图像的稀疏表示φ_x线性映射得到高分辨率图像的稀疏表示φ_y，φ_y通过子像素卷积(PixelShuffle)对应放大倍数的图像，最后再经过卷积字典层得到超分辨率图像。将超分辨率图像与真实图像输入到判别器中，通过交替训练生成器和判别器，最后得到超分辨率图像。

2.1生成模型

本实施例所提出的基于卷积稀疏编码的生成器结构如图3所示，大多基于稀疏编码的超分辨率方法在图像输入首先将图片划分为具有重叠的小块，然后在处理后的每个小块上单独进行处理。然而这样的处理方式往往容易导致图像块之间的像素缺乏一致性问题，导致重叠像素中出现伪影，最后使得重建后的图像质量下降。本实施例提出一种基于卷积耦合字典学习的生成模型。本小节首先介绍耦合字典学习的理论知识，在将提出的卷积耦合字典学习方法应用于超分辨率图像重建中。

给定训练集耦合稀疏编码即找到满足与等式(8)中对应字典D:＝[d₁,...,d_k]和P:＝[p₁,...,p_k]的相关的稀疏编码{φ_i}：

其中{x_i}为低分辨率图像集，{y_i}为高分辨率图像集，为稀疏性，/>对稀疏性进行加权，为避免/>在稀疏编码过程中的尺度模糊问题，/>应满足：

公式(8)中的稀疏性常用l₁范数来度量，即给定的信号x在字典D上的稀疏编码可通过求解以下优化问题得解：

由信号的稀疏表示模型可知，理想的低分辨率图像表示为x＝Dφ_x，高分辨率图像表示为y＝Fφ_y，在超分辨率重建中，通过稍微修改符号， 分别表示为在字典D和F的稀疏解。对于公式(3)的稀疏求解则有，

与以往的稀疏编码不同，本实施例提出的框架直接在整张图像上，而不是对图像进行分块处理后再输入模型中，利用卷积算子代替矩阵乘法操作，卷积的滤波器当作字典，提取图像的特征信息；本实施例将ISTA的迭代过程展开为一个递归的卷积神经网络，如图1所示，每一层实现一次的迭代：

其中，W_e:＝αD^T，W_d:＝D，如图1所示X为输入的低分辨率图像，Conv1为W_e，Conv2为W_d，Shrinkage激活函数表示为软阈值函数S_θ(·)，θ∈(0,1)为阈值，本实施例取θ＝0.5。

低分辨率图像在经过K个卷积稀疏编码模块的迭代后，学习到低分辨率图像的稀疏表示φ(D)，其中K＝12，本实施例将在4.1中通过相关实验证明在K＝12时得到结果最佳。

Yang提出并证明了不同的分辨率的图像结构即稀疏表示具有线性一致性，本实施例采用了线性转换层Α来保证源图像和目标图像的稀疏表示的一致性，即允许高度稀疏的结构进行稀疏向量的线性变换：则有：

η_i为误差，因此，在得到低分辨率图新的稀疏表示φ_x(D)后，将其通过线性转换层A映射为φ_y(F)，最后通过重建模块得到超分辨率图像Y。如图2所示，重建模块通过卷积层、子像素卷积层(PixelSuffle)和激活层PReLU实现FΑ。

Y＝FΑφ_x(D). (14)

最终，基于卷积稀疏编码的生成器结构如图4所示，重建模块的数量N由放大倍率决定，即N＝2或4，生成网络中均使用大小为3×3的卷积核。

2.2鉴别器网络；

对于鉴别器的设计，如图4所示，遵循DCGAN设计原则，即取消池化层，同时使用LeakyReLU激活函数和批规范化(Batch Normalization，BN)。整个鉴别器网络框架主要有8个卷积层，由卷积核和的卷积核的卷积层交替构成，卷积步长分别为1和2，卷积核数量由64逐渐增加到512。在得到输入图像的高层次特征后，将其进行维度变换后输入两个全连接层以及Sigmoid激活函数得到真实或虚假的概率。

其损失函数如下所示：

其中，x_r，x_f分别表示真实的图像和生成的图像， 表示数学期望，C(·)表示为判别器的输出，σ(·)为sigmoid函数。

2.3损失函数

像素级损失函数难以处理恢复丢失的高频细节，然而这些解决方案往往会导致生成的图片过于平滑，缺乏质感。因此，本实施例框架的loss在SRGAN的基础上进行改进，除了常用的图像均方值损失函数，加入对抗损失、感知损失以及稀疏损失，进一步提高模型重建能力。

对抗损失，即一种改进型的生成器损失函数。最小化该损失函数，也就是最大化判别器给予生成器所生成的图像为真的概率，使得生成让判别器无法区分的数据分布：

感知损失，以预训练19层VGG网络的ReLU激活层为基础的VGG loss,求生成图像和参考图像特征表示的欧氏距离。在已经训练好的vgg上提出某一层的feature map，将生成的图像的这一个feature map和真实图像这一个map比较。

其中i和j分别就是指第i层最大池化前的第j个卷积层。

传统可重构表示学***滑度等理想特性。稀疏损失旨在使获得的稀疏编码能够保留更完整的高频结构信息：

其中φ_x，φ_ISTA分别表示图像经过卷积稀疏编码网络生成的稀疏编码和ISTA算法获得的稀疏编码，以提高模型对图像高频信息的提取。

3.主要步骤

本实施例所提出的一种图像超分辨率重建方法，重要步骤如下：

(1)生成器利用卷积网络来实现卷积稀疏编码，并获取图像稀疏表示；

(2)在得到低分辨率图像的稀疏表示后，通过线性转换层以保证不同分辨率图像的稀疏表示线性一致性，再通过重建模块对稀疏表示进行重建得到超分辨率图像；

具体的原理及框架如下：

假设给定训练集稀疏编码即找到满足与等式(8)中对应字典D:＝[d₁,...,d_k]和F:＝[f₁,...,f_k]的相关的稀疏编码{φ_i}：

其中{x_i}为低分辨率图像集，{y_i}为高分辨率图像集，为稀疏性，/>对稀疏性进行加权，为避免/>在稀疏编码过程中的尺度模糊问题，/>应满足：

在公式(8)中的稀疏性常用l₁范数来度量，即给定的信号x在字典D上的稀疏编码可通过求解以下优化问题得解：

对于公式(8)有：

在超分辨率重建中，通过稍微修改符号， 分别表示为在字典D和F的稀疏解。对于公式(25)则有，

与以往的稀疏编码不同，本实施例提出的框架直接在整张图像上，而不是对图像进行分块处理后再输入模型中，利用卷积算子代替矩阵乘法操作，同时把卷积的滤波器当作字典，提取图像的特征信息；本实施例将ISTA的迭代过程展开为一个递归的卷积神经网络，如图1所示，每一层实现一次的迭代：

其中，W_e:＝αD^T，W_d:＝D，如图1所示X为输入的低分辨率图像，Conv1为W_e，Conv2为W_d，Shrinkage表示为软阈值函数S_θ(·)，θ∈(0,1)为阈值，本实施例取θ＝0.5。

低分辨率图像在经过K个卷积稀疏编码模块的迭代后，学习到低分辨率图像的稀疏表示φ_x(D)，其中K＝12。本实施例采用了线性转换层Α来保证源图像和目标图像的稀疏表示的一致性，即允许高度稀疏的结构进行稀疏向量的线性变换，则有：

/>

因此，在得到低分辨率图新的稀疏表示φ_x(D)后，将其通过线性转换层A映射为φ_y(F),最后通过重建模块得到超分辨率图像Y。如图2所示，重建模块采用了卷积层、子像素卷积层(PixelSuffle)和激活层PReLU用于实现

Y＝FΑ^Tφ_x(D) (28)

4.实验结果与分析

本实施例主要对低分辨率图像的4倍进行超分辨率重建实验。为得到卷积稀疏编码最优的迭代求解次数，进行了迭代次数在2到30范围内实验。同时为了验证所提出算法的有效性，将本实施例所提模型以及其他具有代表性的超分辨率重建模型进行实验对比。

4.1实验数据集

实验在Linux操作***，深度学习框架Pytorch上完成。为了验证本实施例所提网络的性能，以下实验均在通用的公开图片数据集上进行。训练集采用了DIV2K和Filckr2K。DIV2K数据集包含1000幅不同场景的高清图像，分辨率达到2K，该数据集包含具有不同退化类型的低分辨率图像。除了标准的双三次下采样外，在合成不同方式的低分辨率图像时，还考虑了几种类型的退化。其中里面的800张训练图像，100张验证图像，100张测试图像。Filckr2K数据集包含了2650张图像，包括人物、动物以及风景等，分辨率达到2K。测试集采用了Set5，Set14，BSD100以及Urban100，这四个测试集包含着多种场景，常用于图像超分辨率重建的性能测试。Set5、Set14是一个经典的数据集，分别包括了5张和10张动植物图像；BSD100包含了100张不同场景的测试图像；Urban100包含100张图像，具有丰富得纹理。

4.2评估指标

本实施例选取峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)作为图像的客观评价指标。PSNR指的是单个图像接收到的最大信号值和噪声值之间的比值，可作为衡量图像质量的一个评价参数，可以客观上反映人的视觉差异，公式为：

其中，MAX表示图像的最大像素值，取值为255；MSE表示重建的超分辨率图像与原始的高分辨率图像之间的均方差误差。PSNR表示重建图像的噪声失真强度，当PSNR的值越大，表示重建图像失真越小，其图像质量越好。

SSIM是一个用来衡量两张图像在亮度、结构和对比度上相似性程度的定量指标，其取值范围为[0,1]，SSIM对比的是一张未被压缩的且未经过其它操作的原始的图像和一张经过一系列操作后重新得到的图像，数值越大，则代表图像失真程度地越小，说明图像的质量越好。

其中，μ_X、μ_Y分别表示超分辨率x与原始高分辨率图像y的均值；σ_X、σ_Y分别表示x，y的方差；σ_XY表示x与y的协方差；C₁和C₂为常量，为了避免分母为零。

4.3实验结果

本小节主要在卷积稀疏编码的超参数的对比，以及对本实施例算法和其他模型在四种测试集上采用客观指标值进行比较，为验证卷积稀疏编码的生成质量，判别器均采用ESRGAN同一判别器，评估指标除了传统常用得PSNR和SSIM对比的方法主要与近几年基于生成对抗网络的超分辨率模型，包括EnhanceNet、SRGAN、SRResNet和ESRGAN，本节主要在缩放尺度因子为2和4的图像上进行对比实验。

(1)卷积字典的迭代层数实验

为探究卷积字典块的有效性以及迭代层数对图像重建效果的影响，对不同的卷积字典层数在Set5数据集上进行2倍和4倍PSNR实验。表1各算法在2倍放大时的平均PSNR和SSIM值可以看出，随着卷积字典层数k增加，PSNR值呈现出先增大后减小的趋势，并在卷积字典层数k＝12的时候达到最大值。其原因在于迭代次数增加时，卷积字典层所提取的有用信息增大，而在卷积字典层数k＝12时，所提取的信息趋于饱和同时重建性能的提升也在逐渐变缓，而在迭代次数大于12时，随着k增加，所提取的有效信息难以进行远程的有效传播，同时训练难度加大，导致性能下降。经综合考虑，后续的对比试验采用的卷积字典层迭代次数均为12。

表1

(2)2倍和4倍的实验对比

表1和表2为各算法在4倍放大时的平均PSNR和SSIM值，所得结果在测试集上重复5次实验所得的平均值。通过对比可以看出，在2倍超分辨率实验中，实施例所提模型在Set5、Set14测试集上PSNR指标上略低于ESRGAN模型，分别低于0.16dB和0.27dB，而在Urban100、BSD测试集上PSNR获得最好的效果，相比ESRGAN模型高出0.32B和0.13dB，在4个测试集上SSIM值均得到最好的效果；在4倍超分辨率实验中，在Set5测试集PSNR指标上，所提模型低于ESRGAN模型0.16dB，而在4个测试集的SSIM值上得到最好的效果。在Set14、BSD、Urban测试集的PSNR和SSIM值均有不同程度的提升，获得最好的效果。这进一步证明，所提方法在客观指标上不弱于现有的方法，且对重建的结果有提升。

表2

(3)主观效果

为更加直观地感受本实施例提出模型模型的生成效果，图6展示了各超分辨率模型在部分图像4倍超分辨率重建的效果；其中，图6的(a)为真实的高分辨率图像，图6的(b)为Bicubic，图6的(c)为SRGAN，图6的(d)为EDSR，图6的(e)为ESRGAN，图6的(f)为本实施例算法。

5.结论

为解决现有图像超分辨率重建算法生成的图像高频信息缺失、噪点增多问题，提出了一种基于卷积字典学习的超分辨率重建模型。利用卷积网络来实现稀疏编码并获取图像稀疏表示，然后将得到的稀疏表示经过卷积字典层进行重建得到超分辨率图像，使得该模型可以将图像作为网络的输入，避免了传统算法的复杂的图像处理以及数据重建的过程，同时也具有稀疏字典学习捕获图像的高频结构信息的优点，解决高频信息缺失和存在噪点问题。最后，利用判别器对生成的超分辨率图像进行判别，使得最后生成的超分辨率图像有更好的视觉效果。结合本实施例实验可知，所提的模型表明传统稀疏编码模型所蕴含的领域知识对深度学习的网络设计依旧具有重要的指导意义，所提的方法在4个通用数据集上的PSNR和SSIM指标有所提高，整体上优于比先前的SRGAN、SRCNN以及SRResNet模型，而且重建图像的细节更多。因此，本实施例所提算法在超分辨率重建领域具有一定的创新性、高效性、可行性和实用性。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种图像超分辨率重建方法，其特征在于，包括：

构建生成模型；所述生成模型包括：稀疏编码模块和重建模块；

基于所述稀疏编码模块，对待重建图像进行稀疏编码；

基于所述重建模块，对稀疏编码后的图像进行重建，获取初始超分辨率图像；

构建鉴别模型；

基于所述鉴别模型，对所述初始超分辨率图像进行判别，获取最终的超分辨率图像，完成图像超分辨率重建；

所述稀疏编码模块的表达式为：

其中，为低分辨率图像集，/>为高分辨率图像集，/> 为稀疏表示，为稀疏性，D、F分别表示低分辨率和高分辨率图像字典；

构建所述生成模型还包括：对所述生成模型设置损失函数；

所述损失函数包括：对抗损失、感知损失和稀疏损失；

所述对抗损失为：

其中，为对抗损失，/>为判别器网络，/>为生成器网络，x为输入的低分辨率图像，N为输入图像总数；

所述感知损失为：

其中，为感知损失，y为输入的高分辨率图像，/>表示为生成的高分辨率图像，H和W为生成的高分辨率图像的宽和长，φ_i，j为通过VGG19网络的第i层最大池化层和第j层卷积层的特征图；

所述稀疏损失为：

利用均方误差MSE作为训练的损失函数，为重建图像，并通过l₁范数来约束其稀疏性，β＝0.6。

2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，对所述稀疏编码后的图像进行重建前包括：对所述稀疏编码后的图像进行线性一致性处理。

3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述稀疏编码后的图像的表达式为：

其中，W_e为Conv1，W_d为Conv2，S_θ(·)表示为Shrinkage激活函数，θ∈(0,1)为阈值，为低分辨率图像x在第k+1迭代后的稀疏表示。

4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述重建模块包括：卷积字典层、子像素卷积层和激活层；

所述重建模块的表达式为：

Y＝FΑφ_x(D)

其中，Y为通过重建模块得到初始超分辨率图像，φ_x(D)为低分辨率图像x最终的稀疏表示，A为线性转换层，F为高分辨率图像字典；

所述重建模块通过卷积字典层、子像素卷积层和激活层实现FΑ。

5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述鉴别模型遵循DCGAN设计原则，即取消池化层，同时使用LeakyReLU激活函数和批规范化；

所述鉴别模型的网络框架包括8个卷积层，由卷积核和卷积核的卷积层交替构成，卷积步长分别为1和2，卷积核数量由64逐渐增加到512；在得到输入图像的高层次特征后，将其进行维度变换后输入两个全连接层以及Sigmoid激活函数得到真实或虚假的概率。

6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，对所述初始超分辨率图像进行判别包括：

将所述初始超分辨率图像和真实高频图像输入所述鉴别模型进行判别，并加入均方差损失函数，对所述初始超分辨率图像进行对抗训练。

7.根据权利要求6所述的图像超分辨率重建方法，其特征在于，构建所述鉴别模型还包括：所述均方差损失函数为：

其中，x_r，x_f分别为真实的图像和生成的图像，为数学期望，C(·)为判别器的输出，σ(·)为sigmoid函数，/>