CN108122197B - 一种基于深度学习的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像超分辨率重建方法，其目的在于利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，其技术关键在于(1)对数据集进行下采样处理；(2)利用残差原理，将不同层间的卷积激活结果相加；(3)训练数据分为有标签和无标签两类，两种情况对应两种损失数；(4)整合两类情况，获得最终的损失函数。本发明输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。本发明在不改变成像***硬件设备的前提下，有效提高所获取的图像质量。

Description

一种基于深度学习的图像超分辨率重建方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度学习的图像超分辨率重建方法。

背景技术

图像超分辨率(super resolution,SR)是从一个低分辨率图像得到高分辨率图像的过程，该技术主要被用于对图像空间分辨率的增强，其可以突破原有的***成像硬件条件的限制，重新获得的高分辨率图像具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度图像的最有效、最低成本的途径之一。

图像获取过程中，受成像条件和成像方式等因素的限制，成像***通常并不能获取原始场景中的所有信息，在成像过程中会受到变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的图像质量下降。因此，在不改变成像***硬件设备的前提下，有效提高所获取的图像质量，一直以来都是成像技术领域所致力解决的和核心问题。该项技术的研究具有重要的意义。

图像超分辨率复原技术主要分为两大类，即基于重建的方法和基于学***滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。

虽然已有多种超分辨率复原方法，但是实际应用中仍存在一下问题：

(1)SR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应。

(2)真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像，如低分辨率、失焦模糊、运动模糊、压缩失真和噪声等。

发明内容

本发明的目的在于针对上有技术的不足，提出一种基于深度学习的图像超分辨率重建方法，利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，从而达到超分辨率的效果。

本发明采用的技术方案是：

一种基于深度学习的图像超分辨率重建方法，包括以下步骤：

步骤1：对训练数据集进行n倍下采样处理。原高分辨率训练数据I^H的宽高分别是W,H，得到的低分辨率训练数据I^L的宽高分别是W/n，H/n。

步骤2：将原始高分辨率图像I^H和由步骤1得到的低分辨率I^L图像一一对应，得到有标签的训练数据。另选取低分辨训练数据集作为无标签的训练数据,且无标签的数据量大于有标签的数据量。把这两类数据存为HDF5(Hierarchical Data Format)文件。所述HDF5文件为可以存储不同类型的图像和数码数据的文件格式。

步骤3：设计网络结构。确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b,给定学习速率η，选定激活函数RELU，选定损失函数Loss。

(3a)选定损失函数Loss。在一种基于深度学习的图像超分辨率重建方法中采用的训练集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像。所述有标签数据和无标签数据由上述步骤2得到。有标签和无标签的两种情况分别对应了两种损失数。

(3b)有标签的情况。采用欧式距离的计算方法,图像矩阵有W×H个元素(像素点)，用W×H个元素值(A₁,A₂,...,A_W×H)构成原始高分辨率图像的一维向量，用(a₁,a₂,...,a_W×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似。

进一步地，所述欧式距离公式为：

原始高分辨率图像I^H＝(A₁,A₂,...,A_W×H)

重建高分辨率图像I^S＝(a₁,a₂,...,a_W×H)

欧氏距离

(3c)无标签的情况。由于在无标签的情况下，重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，以保持I^L的结构。

进一步地，所述将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，具体公式为：

其中：i＝0,1,...,s,s＜W/n,j＝0,1,...,t,t＜H/n。

步骤4：将输入的I^L尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为I^S(n×i+1,n×j+1)＝I^L(i+1,j+1)。I^S其余没有对应值得像素点取值为255。

步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理。其中选定卷积核为3×3。激活函数为f(x)＝max(x,0)。利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像I^S。

步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。

步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。

附图说明

以下结合附图，对本发明的具体实施方式做进一步的详细描述。

图1为本发明一种基于深度学习的图像超分辨率重建方法的原理示意图。

具体实施方式

如图1所示，本发明公开了一种基于深度学习的图像超分辨率重建方法，下面结合附图对本发明的具体实施方式做详细的说明。

步骤1：对训练数据集进行n倍下采样处理。所采用的是新发布的DIV2K数据集,该数据集包含800张训练图像，100张验证图像和100张测试图像。在下采样处理中，原高分辨率训练数据I^H的宽高分别是W,H，得到的低分辨率训练数据I^L的宽高分别是W/n，H/n。

步骤2：将原始高分辨率图像I^H和由步骤1得到的低分辨率I^L图像一一对应，得到有标签的训练数据。另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量。把这两类数据存为HDF5(Hierarchical Data Format)文件。所述HDF5文件为可以存储不同类型的图像和数码数据的文件格式。

步骤3：设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b,给定学习速率η，选定激活函数RELU，选定损失函数Loss。

(3a)选定损失函数Loss。评价图片质量一般采用峰值噪声比PSNR，其公式为：

峰值噪声比

其中，MSE是原图与处理图像之间的均方误差；MAX_I是图像颜色的最大值，8位采样点表示255。

均方误差

在本发明中，W,H表示图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率图像I^H；a表示重建高分辨率图像I^S。

在一种基于深度学习的图像超分辨率重建方法中采用的训练集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像。所述有标签数据和无标签数据由上述步骤2得到。有标签和无标签的两种情况分别对应了两种损失数。

(3b)有标签的情况。采用欧式距离的计算方法,图像矩阵有W×H个元素(像素点)，用W×H个元素值(A₁,A₂,...,A_W×H)构成原始高分辨率图像的一维向量，用(a₁,a₂,...,a_W×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似。

进一步地，所述欧式距离公式为：

原始高分辨率图像I^H＝(A₁,A₂,...,A_W×H)

重建高分辨率图像I^S＝(a₁,a₂,...,a_W×H)

欧氏距离

进一步地，在本发明中

其中：i₁＝0,1,...,W j₁＝0,1,...,H。

(3c)无标签的情况。由于在无标签的情况下，重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，以保持I^L的结构。

进一步地，所述将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，具体公式为：

其中：i₂＝0,1,...,s,s＜W/n j₂＝0,1,...,t,t＜H/n。

(3d)如图1所示，在实际训练过程中总的损失函数由Loss1和Loss2两个部分结合而得。

所述Loss1为上述(1)计算公式，以I^L是2×2，I^S是4×4大小为例，Loss1的作用是使I^S(i₁,j₁)＝I^H(i₁,j₁)，在这里i₁＝0,1,2,3j₁＝0,1,2,3：

所述Loss2为上述(2)计算公式，Loss2的作用是使I^S保持I^L的结构特性：

即：

I^S(1,1)＝I^L(1,1)I^S(1,3)＝I^L(1,2)

I^S(3,1)＝I^L(2,1)I^S(3,3)＝I^L(2,2)

本发明最终的损失函数为：

其中k表示训练的数据有无标签，训练有标签的数据时k＝1，训练无标签的数据时k＝0。

步骤4：将输入的I^L尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为I^S(n×i₂+1,n×j₂+1)＝I^L(i₂+1,j₂+1)。I^S其余没有对应值得像素点取值为255。

步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理。其中选定卷积核为3x3。每次卷积后，图像的尺寸变小，因此，在下一次卷积前对图像进行补0操作，恢复到原来大小。所述补0操作为pad值设置为1，则四个边缘都扩充1个像素，即宽度和高度都扩充了2个像素。所述pad为深度学习框架caffe中的变量，用于获得扩充图像边缘的相关命令。

利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加(F1+F10)；将第十一层的卷积激活结果和第二十层的卷积激活结果相加(F11+F20)；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加(F21+F30)；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加(F31+F40+F1)，得到重建的高分辨率图像I^S。

步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。

步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。

Claims (4)

1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：

步骤1：对训练数据集进行n倍下采样处理，原高分辨率训练数据I^H的宽高分别是W,H，得到的低分辨率训练数据I^L的宽高分别是W/n，H/n；

步骤2：将原始高分辨率图像I^H和由步骤1得到的低分辨率I^L图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5文件；

步骤3：设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss；

步骤4：将输入的低分辨率训练数据I^L尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为I^S(n×i+1,n×j+1)＝I^L(i+1,j+1)，i为图像横向位置索引，j为图像纵向位置索引；I^S其余没有对应值得像素点取值为255；

步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像I^S；

步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；

步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像；

采用的训练数据集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像，所述有标签数据和无标签数据由上述步骤2得到，有标签和无标签的两种情况分别对应了两种损失函数；

无标签时重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，以保持I^L的结构；所述将低分辨率图像I^L作为重建高分辨率图像I^S的参考对象，具体公式为：

其中：i＝0,1,...,s,s＜W/n,j＝0,1,...,t,t＜H/n。

2.根据权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，有标签时，采用欧式距离的计算方法，图像矩阵有W×H个元素，即像素点，用W×H个元素值(A₁,A₂,...,A_W×H)构成原始高分辨率图像的一维向量，用(a₁,a₂,...,a_W×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似；

所述欧式距离公式为：

原始高分辨率图像I^H＝(A₁,A₂,...,A_W×H)

重建高分辨率图像I^S＝(a₁,a₂,...,a_W×H)

欧氏距离

3.根据权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，在实际训练过程中总的损失函数由Loss1和Loss2两个部分结合而得，Loss1的作用是使I^S＝I^H，Loss2的作用是使I^S保持I^L的结构特性。

4.根据权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，

其中k表示训练的数据有无标签，训练有标签的数据时k＝1，训练无标签的数据时k＝0。

Images