CN109559276B - 一种基于质量评价和特征统计的图像超分辨率重建方法 - Google Patents

Abstract

本发明为使超分辨率重建的图片更加符合人眼视觉感知效果，并同时维护图片的特征结构等问题，提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法，构建了一个对抗学习网络模型，生成更多的高频细节边缘，使得图像看起来更有纹理，通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知，并通过特征统计维护图像的内部特征结构。相较于传统的超分辨率重建方法，本方法产生的高分辨率图片具有更加丰富的真实纹理细节，提升了图像的人眼感知效果，并且图片的结果内容不会被破坏。

Description

一种基于质量评价和特征统计的图像超分辨率重建方法

技术领域

本发明涉及计算机视觉、图像超分辨率重建、图像质量评价领域，具体地涉及一种基于无参考质量评价和特征统计的图像超分辨率重建方法。

背景技术

图像超分辨率重建是从信息量有限的低分辨率图像中恢复出高分辨率的图像。然而超分辨率重建是一对多的病态问题，因为多种高分辨图片可能对应着同一种低分辨率图片。得益于目前热门的深度学习的发展，这类方法通过从超分辨率数据集上学习相应的映射关系限制解空间，从而从一定程度上缓解了这种病态问题，并且在超分辨率重建效果上取得重大突破。这些工作大多通过设计先进的网络结构单方面地追求更高的峰值信噪比PSNR和结构相似性SSIM，但是超分辨率最重要的目标是产生具有高视觉质量的目标图像。PSNR和SSIM都是依赖于低层像素间的差异，并不能代表感知质量的效果。

目前图像超分辨重建模型大多采用的是对应像素间的误差作为网络学习的损失函数，如MSE损失和L1损失。这类以PSNR为导向的损失函数尽管可以使生成模型恢复图像整体结构，但是却容易产生模糊的纹理细节。为了获得更好的重建的细节和边缘，基于深度特征的感知损失被提出用于引导深度网络的学习。此外，通过利用鉴别器网络计算生成的图像与真实自然图像的对抗损失可以引导模型生成更加逼真的图像，产生图像具有很好的视觉感知效果，不过这种方法却容易使图像生成一些虚假边缘。总之，损失函数在训练网络模型方面具有十分重要的作用，但能够兼顾视觉感知质量和图像内容破坏的损失函数仍有待研究。

现在已有的一些关于图像损失函数的专利(包括发明授权专利和发明公布专利)如下：

1)申请号为：CN201710044857.7的中国发明专利《一种基于残差子图像的深度学习超分辨率重建方法》，此发明采用较深的网络层数，提升模型的非线性表示能力和图像重建能力，能够得到较高客观指标的重建结果。但这一种方法生成的高分辨率图像普通具有较模糊的细节，不能获得很好的主观感知质量。

2)申请号为：CN201710301990.6的中国发明专利《基于内容感知深度学习网络的遥感图像超分辨率重建方法》，此方法的思想是将待超分图像按内容复杂性分为高、中、低三种，在采用三种对应的复杂性不等的GAN网络模型进行重建。并提出了一个新的结合内容损失、对抗损失和全变差损失的损失函数引导模型进行训练。此方法一定程度上克服了超分辨率重建中普遍存在的过拟合和欠拟合的问题，但是GAN网络训练较为复杂，且参数量众多，容易导致生成图像出现一些虚假边缘，影响图像的真实观感。

尽管感知损失和对抗损失应用于图像超分辨率重建，使得生成图片有兼顾到一定的感知效果，但是生成结果面临过多虚假边缘，结构破坏等等。本发明的创新点在于引入图像无参考质量评价作为损失函数，有效地使生成图像更加符合人眼视觉感知效果。同时引入了深层特征的统计损失，维护图像内部的特征自然统计，以此使得生成图像免于遭受结构破坏，兼顾生成图像的特征统计与目标图像保持一致。首先建立并初始化了一个对抗学习网络，通过分辨器的损失函数调整整个网络的权重和参数，生成器产生的图像受到分辨器的反馈，使得生成图像产生更多的自然真实边缘，形成一个闭环的对抗学习网络。但同时我们在生成器中额外引入了质量评价损失和自然统计损失，以此调整生成器产生的图片具有更好的质量评价指标，并能够维持真实图像内部的特征统计，避免生成图像遭受内容结构破坏。本发明可以使得图像生成高视觉感知质量的图像，并且能够使得图像兼顾内容结构完整，具有较高的PSNR值。

发明内容

本发明为使超分辨率重建的图片更加符合人眼视觉感知效果，并同时维护图片的特征结构等问题，提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法，构建了一个对抗学习网络模型，生成更多的高频细节边缘，使得图像看起来更有纹理，通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知，并通过特征统计维护图像的内部特征结构。

为实现上述目的，本发明的技术方案包括以下步骤：

步骤S1，设计对抗学习网络模型用于图像超分辨率重建，该网络模型由生成器G和鉴别器D组成，其中生成器包含多层残差网络结构提取图像的深层语义信息，再根据提取到的语义信息结合图像的结构信息，使用亚像素重组提升图像的分辨率，最后采用一个卷积层降维至RGB的维度；

步骤S2，取一系列高分辨图像，并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集，设目标图像尺寸大小为C_h×C_w，将所有目标图像降采样S倍后得到低分辨率图像数据集，图像尺寸大小为

将两者数据集作为本网络模型的训练数据集；

步骤S3，将低分辨率图像和目标图像一一对应，随机取目标图像的某块y及其对应的低分辨率图像块x作为当前图像的训练样本对，设目标块尺寸大小为P_h×P_w，输入块尺寸大小为

步骤S4，将S3中得到的图像块输入到对抗学习网络模型中，构建生成器总损失函数和鉴别器损失函数，通过前后向传播算法，逐步更新该网络模型的训练参数，直到整个训练集训练完成，再通过epoch次循环迭代遍历整个训练集，至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后，保存整个网络的模型参数；

步骤S5，输入测试低分辨率图像到训练好的对抗学习网络模型中，通过一次前向传播计算，生成高分辨率图像。

进一步的，步骤S4中所述总损失函数包括4种，分别为对抗损失函数，图像特征统计损失函数，图像质量评价损失函数和L2损失。

进一步的，鉴别器损失函数的构建方式如下，

将低分辨图像块x输入到生成器G中，经过多层残差提取深层特征后，再通过一个亚像素重组提升特征图的分辨率，最后采用一个卷积层降维至RGB的维度，由此得到尺寸为P_h×P_w高分辨率的生成图像块G(x)；

将生成图像块G(x)输入到鉴别器D中，经过一次前向传播后得到该图片鉴别为真实图像的概率D(x,G(x))；再将目标图像块y输入到鉴别器中，经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y)，鉴别器根据以下优化方程进行训练：

其中

为目标函数的数学期望，x～P_data(x)、y～P_data(y)分别指的是低分辨率图像x和目标图像y取自特定分布，这个特定的分布就是S3中定义的训练样本队列。

进一步的，所述对抗损失函数的定义如下，

进一步的，所述图像特征统计损失函数的构建方式如下

图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度，首先采用VGG网络提取两种图像的特征集合，分别记作生成图像特征集合G_x＝{x_m}，目标图像特征集合Y_y＝{y_n}，其中x_m、y_n分别表示生成图像和目标图像的特征点，设特征集合总数有|G_x|＝|Y_y|＝N，测量两集合之间的统计损失为

其中CX_mn表示特征x_m与y_n之间相似度，采用m_maxCX_mn可以保证对于每一个目标图像特征点y_n都能在集合G_x＝{x_m}找到最相近的匹配点；

其中d_mn是特征x_m与y_n之间的余弦距离，h与ε是预设定的常量因子，有CX_mn∈[0,1]。

进一步的，所述图像质量评价损失函数的构建方式如下，

在原有VGG19分类网络的基础上，将最后一层换为一个输出10单元的全连接层，并接上softmax单元进行归一化，该图像评价网络将在AVA图像质量评价数据上进行训练，10个单元分别表示1～10的分值，网络输出结果表示每个分数值的概率，

将生成图像块G(x)输入到图像评价网络中，输出得到10个单元分数概率，由此得到该图像块的平均质量评价分数为，

其中N’＝10表示网络最后的10个单元，p_i(G(x))表示生成图像在每个分数单元i的概率值，上式有μ(G(x))∈[1,10]，且1分表示最低的图像感知质量，10分表示最高的图像质量，图像质量评价损失用为

有

采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。

进一步的，生成器的总损失函数为，

其中

为对生成图像G(x)和目标图像y采用高斯滤波后，计算的L2损失，λ_L2、λ_CX、λ_P和λ_A分别表示四种损失的权重。

进一步的，所述残差网络结构包含两个3x3的卷积层，卷积层之间采用Relu激活单元。

与现有技术相比，本发明的优点和有益效果：本发明在图像超分辨率重建网络中，引入了图像质量评价和特征统计方法，引导网络训练并产生高感知质量的高分辨率图片。相较于传统的超分辨率重建方法，本方法产生的高分辨率图片具有更加丰富的真实纹理细节，提升了图像的人眼感知效果，并且图片的结果内容不会被破坏。

附图说明

图1为本发明技术方案的总体框图。

图2为本发明是实例生成器包含的多层残差网络结构图。

图3为每个残差块内部结构。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

目前，图像超分辨率重建大多是以峰值信噪比PSNR和结构相似性SSIM为导向复原高清图像，这类方法通常以L1或MSE作为损失训练超分辨率重建网络，虽然此类损失函数可以引导生成的图像具有较高的PSNR/SSIM值，但是却容易生成过于平滑的边缘，缺少高频细节信息，导致生成的图像在人眼感知效果方面表现不佳。针对这点，也有人提出采用生成对抗损失和感知损失来训练网络，但是这种方法却容易生成过多的虚假边缘，导致图像结构被破坏，PSNR/SSIM下降严重。本发明提出引入特征统计损失和无参考质量评价损失，可以有效保护图像的特征结构不被破坏，同时生成更加符合人眼视觉感知的图像。

图1是本发明技术方案的总体框图，本发明基于无参考质量评价和特征统计的图像超分辨率重建方法输入的是低分辨率的图像，输出为兼顾图像结构和人眼感知效果的高清图像。本发明方法中设计的对抗学习网络模型主要由生成器和鉴别器构成，生成器的主要功能是学习到低分辨率图像到高分辨率图像的映射关系，鉴别器则是为了鉴别生成器产生图像的真实度。生成器采用了对抗损失、特征统计损失和图像质量评价损失来引导生成器的训练。由鉴别器产生的对抗损失可以引导生成器生成图像时产生更多的边缘细节；特征统计损失则是在生成图像和目标图像的深层语义特征层面上计算统计损失，从而引导生成器在生成图像时能够维持图像的内部特征统计规律，避免图像遭受严重的结构破坏。图像质量评价损失则将生成图像依照人类关于亮度、色度、清晰度等因素的影响进行评价，并将评价结果作为生成模型的损失，从而引导网络生成更加符合人眼感知效果的图像。通过以上的网络结构，可以使得超分辨率重建的图像生成更多的高频细节边缘，使得图像看起来更有纹理，更逼近人类视觉感知，并可以保持图像内容结构与原图一致。

本实施例基于无参考质量评价和特征统计的图像超分辨率重建方法，具体包括以下步骤：

步骤S1，设计对抗学习网络模型用于图像超分辨率重建。该网络模型由生成器G和鉴别器D组成，其中生成器G包含多层残差网络结构提取图像的深层语义信息，再根据提取到的语义信息结合图像的结构信息，使用亚像素重组提升图像的分辨率，最后采用一个卷积层降维至RGB的维度。如图2所示，我们使用了16个残差块，每个残差块内部结构如图3所示，每个残差块内部包含两个3x3的卷积层，卷积层之间采用Relu激活单元，卷积单元学习图像的残差特征后，与该残差块的输入相加，得到该残差块的输出。鉴别器D采用SRGAN论文中的模型，用于判断图像的真实度。

步骤S2，取一系列高分辨图像，并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集(设目标图像尺寸大小为C_h×C_w)，将所有目标图像降采样S倍后得到低分辨率图像数据集(输入图像尺寸大小为

)，将两者数据集作为本网络模型的训练数据集，倍数S可以根据项目需求进行调整。

步骤S3，将低分辨率图像和目标图像一一对应，考虑到硬件显存的限制，我们随机取目标图像的某块y，将其尺寸大小设定为P_h＝P_w＝96，及其对应的低分辨率图像块x(输入块尺寸大小为

)，作为当前图像的训练样本对。

步骤S4，将S3中得到的图像块输入到该网络模型中，构建生成器总损失函数和鉴别器损失函数，通过前后向传播算法，逐步更新该网络模型的训练参数，直到整个训练集训练完成。再通过epoch次循环迭代遍历整个训练集，至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后，保存整个网络的模型参数。

步骤S41，将低分辨图像块x输入到生成器G中，经过多层残差提取深层特征后，再通过一个亚像素重组提升特征图的分辨率，最后采用一个卷积层降维至RGB的维度，由此得到尺寸为P_h×P_w高分辨率的生成图像块G(x)。

步骤S42，将生成图像块G(x)输入到鉴别器D中，经过一次前向传播后得到该图片鉴别为真实图像的概率D(x,G(x))。再将目标图像块y输入到鉴别器中，经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y)。鉴别器根据以下优化方程进行训练：

其中

为目标函数的数学期望，x～P_data(x)、y～P_data(y)分别指的是低分辨率图像x和目标图像y取自特定分布，这个特定的分布就是S3中我们定义的训练样本队列。

另外定义对抗损失为

步骤S43，图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度。首先采用VGG19网络提取两种图像的在VGG19网络第五层的特征图，分别记作生成图像特征集合G_x＝{x_m}，目标图像特征集合Y_y＝{y_n}，其中x_m、y_n分别表示生成图像和目标图像的特征点，设特征集合总数有|G_x|＝|Y_y|＝N,测量两集合之间的统计损失为

其中CX_mn表示特征x_m与y_n之间相似度，采用

可以保证对于每一个目标图像特征点y_n都能在集合G_x＝{x_m}找到最相近的匹配点。

其中d_mn是特征x_m与y_n之间的余弦距离。常量因子h＝0.5与ε＝1e-5，有CX_mn∈[0,1]。我们采用特征相似度损失在保证目标特征分布的情况下重构了目标图像块。

步骤S44，无参考质量评价是基于人眼感知方面来评价图像的质量的一种算法。在超分辨率重建图像中引入无参考质量评价损失引导网络训练可以有效提升生成图像的感知质量。无参考质量评价我们采用神经网络进行学习并给出输入图像的得分结果分布。在原有VGG19分类网络的基础上，将最后一层换为一个输出10单元的全连接层，并接上softmax单元进行归一化，该网络将在AVA图像质量评价数据上进行训练。10个单元分别表示1～10的分值，网络输出结果表示每个分数值的概率。

将生成图像块G(x)输入到图像评价网络中，输出得到10个单元分数概率，由此得到该图像块的平均质量评价分数为

其中N’＝10表示网络最后的10个单元，p_i(G(x))表示生成图像在每个分数单元i的概率值。上式有μ(G(x))∈[1,10]，且1分表示最低的图像感知质量，10分表示最高的图像质量。图像质量评价损失用为

有

采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。

步骤S45，由上述得到生成器的总损失函数：

其中

为对生成图像G(x)和目标图像y采用高斯滤波后，计算的L2损失。在低分辨率情况下计算L2损失可以保证图像整体结构不够破坏，而不用L2损失引导生成边缘细节，因为L2损失引导的超分网络容易生成过模糊的边缘细节。而λ_L2、λ_CX、λ_P和λ_A分别表示四种损失的权重。在本专利中，我们设定λ_L2＝10、λ_CX＝0.1、λ_P＝1e-5和λ_A＝1e-4。

步骤S46，对抗学习网络模型训练中，根据式子1和8计算出鉴别器和生成器的损失，并更新两者的模型参数，优化模型直至损失收敛。设定生成器和鉴别器的学习率分别为lr_G＝1e-5，lr_D＝1e-7。每批次训练样本数设置为64，采用随机梯度下降法进行权重更新，迭代总次数epoch＝2500。

步骤S5，输入任意尺寸测试低分辨率图像，通过一次前向传播计算，生成放大S倍高分辨率图像。

以上就是本发明的详细步骤，应当理解的是本说明书未详细阐述的部分均属于现有技术。本发明提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法，构建了一个对抗学习网络模型，生成更多的高频细节边缘，使得图像看起来更有纹理，通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知，并通过特征统计维护图像的内部特征结构，从而使超分辨率重建的图片更加符合人眼视觉感知效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于，包括如下步骤：

步骤S1，设计对抗学习网络模型用于图像超分辨率重建，该网络模型由生成器G和鉴别器D组成，其中生成器包含多层残差网络结构提取图像的深层语义信息，再根据提取到的语义信息结合图像的结构信息，使用亚像素重组提升图像的分辨率，最后采用一个卷积层降维至RGB的维度；

步骤S2，取一系列高分辨图像，并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集，设目标图像尺寸大小为C_h×C_w，将所有目标图像降采样S倍后得到低分辨率图像数据集，图像尺寸大小为

将两者数据集作为本网络模型的训练数据集；

步骤S3，将低分辨率图像和目标图像一一对应，随机取目标图像块y及其对应的低分辨率图像块x作为当前图像的训练样本对，设目标块尺寸大小为P_h×P_w，输入块尺寸大小为

步骤S4，将S3中得到的图像块输入到对抗学习网络模型中，构建生成器总损失函数和鉴别器损失函数，通过前后向传播算法，逐步更新该网络模型的训练参数，直到整个训练集训练完成，再通过epoch次循环迭代遍历整个训练集，至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后，保存整个网络的模型参数；

步骤S4中所述总损失函数包括4种，分别为对抗损失函数，图像特征统计损失函数，图像质量评价损失函数和L2损失；

步骤S5，输入测试低分辨率图像到训练好的对抗学习网络模型中，通过一次前向传播计算，生成高分辨率图像。

2.如权利要求1所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：鉴别器损失函数的构建方式如下，

将低分辨率图像块x输入到生成器G中，经过多层残差提取深层特征后，再通过一个亚像素重组提升特征图的分辨率，最后采用一个卷积层降维至RGB的维度，由此得到尺寸为P_h×P_w高分辨率的生成图像块G(x)；

将生成图像块G(x)输入到鉴别器D中，经过一次前向传播后得到该图像 鉴别为真实图像的概率D(x,G(x))；再将目标图像块y输入到鉴别器中，经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y)，鉴别器根据以下优化方程进行训练：

其中

为目标函数的数学期望，x～P_data(x)、y～P_data(y)分别指的是低分辨率图像块x和目标图像块y取自特定分布，这个特定的分布就是S3中定义的训练样本对 。

3.如权利要求2所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：所述对抗损失函数的定义如下，

4.如权利要求3所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：所述图像特征统计损失函数的构建方式如下

图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度，首先采用VGG网络提取两种图像的特征集合，分别记作生成图像特征集合G_x＝{x_m}，目标图像特征集合Y_y＝{y_n}，其中x_m、y_n分别表示生成图像和目标图像的特征点，设特征集合总数有|G_x|＝|Y_y|＝N，测量两集合之间的统计损失为

其中CX_mn表示特征x_m与y_n之间相似度，采用

可以保证对于每一个目标图像特征点y_n都能在集合G_x＝{x_m}找到最相近的匹配点；

其中d_mn是特征x_m与y_n之间的余弦距离，h与ε是预设定的常量因子，有CX_mn∈[0,1]。

5.如权利要求4所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：所述图像质量评价损失函数的构建方式如下，

在原有VGG19分类网络的基础上，将最后一层换为一个输出10单元的全连接层，并接上softmax单元进行归一化，该图像评价网络将在AVA图像质量评价数据上进行训练，10个单元分别表示1～10的分值，网络输出结果表示每个分数值的概率，

将生成图像块G(x)输入到图像评价网络中，输出得到10个单元分数概率，由此得到该图像块的平均质量评价分数为，

其中N^’＝10表示网络最后的10个单元，p_i(G(x))表示生成图像在每个分数单元i的概率值，上式有μ(G(x))∈[1,10]，且1分表示最低的图像感知质量，10分表示最高的图像质量，图像质量评价损失用为

有

采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。

6.如权利要求5所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：生成器的总损失函数为，

其中

为对生成图像块G(x)和目标图像块y采用高斯滤波后，计算的L2损失，λ_L2、λ_CX、λ_P和λ_A分别表示四种损失的权重。

7.如权利要求1所述的一种基于质量评价和特征统计的图像超分辨率重建方法，其特征在于：所述残差网络结构包含两个3x3的卷积层，卷积层之间采用Relu激活单元。

Images