CN107563965A

CN107563965A - 基于卷积神经网络的jpeg压缩图像超分辨率重建方法

Info

Publication number: CN107563965A
Application number: CN201710783918.1A
Authority: CN
Inventors: 何小海; 陈洪刚; 任超; 卿粼波; 滕奇志; 吴小强; 陶青川
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2017-09-04
Filing date: 2017-09-04
Publication date: 2018-01-09

Abstract

本发明公开了一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法。主要包括以下步骤：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；利用训练图像，训练构建的卷积神经网络；利用训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。本发明中构建的卷积神经网络框架由去压缩效应网络、分辨率提升网络及质量增强网络构成，但是可以对其进行端到端的优化训练。本发明所述方法可以减少JPEG压缩图像中的压缩噪声并提高其分辨率。本发明方法可应用于图像及视频压缩、数字多媒体通信等领域。

Description

基于卷积神经网络的JPEG压缩图像超分辨率重建方法

技术领域

本发明涉及JPEG压缩图像的质量提升技术，具体涉及一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法，属于图像处理领域。

背景技术

在军事及医疗等领域，高质量的图像和视频有助于获取更加丰富和更加准确的信息，其中图像及视频的分辨率是一项重要的指标。随着人们生活水平的提高以及高清显示设备的普及，在日常生活中，人们对图像及视频的分辨率的要求也越来越高。近年来，各领域使用的成像设备也有很大的发展，可以获取分辨率更高、质量更好的图像及视频。但是，在一些情况下，受经济、环境等多方面因素的制约，获取的图像或视频有时仍然不能达到实际应用的需求。超分辨率重建技术可以对已采集的图像及视频进行分辨率提升，具有很强的实用性。在过去的几十年里，学者们对超分辨率技术进行了深入的研究，尤其是单幅图像的超分辨率重建，提出了很多有效的方法。但是，大部分图像超分辨率重建方法都假设获取的图像没有经过压缩或不存在压缩噪声。然而，受限于传输带宽和存储容量等客观条件，现实生活中的图像往往都经过了压缩处理。因此，直接使用传统超分辨率方法对现实生活中的压缩图像进行重建，难以获得令人满意的重建效果。

发明内容

本发明的目的是针对日常生活中广泛存在的JPEG压缩图像提出一种有效的超分辨率重建方法。

本发明提出的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，主要包括以下操作步骤：

(1)针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；

(2)利用训练图像，训练步骤(1)中构建的卷积神经网络；

(3)利用步骤(2)中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。

附图说明

图1是本发明基于卷积神经网络的JPEG压缩图像超分辨率重建方法的框图。

图2是本发明与四种方法对测试图像“Butterfly”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为10)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果

图3是本发明与四种方法对测试图像“Ppt3”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为20)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果

图4是本发明与四种方法对测试图像“House”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为30)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于卷积神经网络的JPEG压缩图像超分辨率重建方法，具体可以分为以下三个步骤：

(2)利用训练图像，训练步骤(1)中构建的卷积神经网络；

具体地，所述步骤(1)中，我们构建如图1所示的基于卷积神经网络的重建模型。具体地，所构建模型由去压缩效应网络、分辨率提升网络及质量增强网络构成。其中，去压缩效应网络主要实现JPEG压缩噪声的去除，其层数为K₁层(本发明中，K₁＝20)；分辨率提升网络的主要功能是放大图像至预期的分辨率，其层数为K₂层(本发明中，K₂＝10)；质量增强网络的目的是在目标分辨率空间中进一步提升重建图像的质量，其层数为K₃层(本发明中，K₃＝10)。在本发明构建的基于卷积神经网络的重建模型中，去压缩效应网络的前K₁-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。分辨率提升网络的前K₂-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一层为反卷积层，滤波器个数为1，卷积核大小为9×9。质量增强网络的前K₁-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。本发明构建的基于卷积神经网络的重建模型可以进行端到端的优化训练。

所述步骤(2)中，我们首先将用于训练的高分辨率图像进行采样，得到然后，用JPEG在不同压缩质量因子下对采样后的图像进行压缩，得到模拟的低分辨率观测图像最后，利用和来训练步骤(1)中构建的基于卷积神经网络的重建模型。训练过程中，先分阶段单独训练去压缩效应网络、分辨率提升网络及质量增强网络，然后用学习到的参数初始化整个网络模型，进而进行端到端的优化训练。

所述步骤(3)中，卷积神经网络的输入为原始的待重建图像，即经JPEG压缩后的低分辨率图像。卷积神经网络的输出为重建的最终结果。

为了验证本发明方法的有效性，用标准测试图像“Butterfly”、“Ppt3”及“House”进行了实验。原始的“Butterfly”、“Ppt3”及“House”图像分别如图2(a)，3(a)，4(a)所示。模拟的经JPEG压缩的低分辨率图像的生成方式：用双三次插值方法对高分辨率测试图像进行2倍下采样，然后用JPEG在不同压缩质量因子下对采样后的图像进行压缩，压缩后的图像即为待重建图像。选取双三次插值及三种单幅图像超分辨率重建算法作为对比方法。其中，方法1和方法2的模型都按照本发明中的降质过程进行了训练。三种对比的超分辨率重建算法为：

方法1：Timofte等人提出的方法，参考文献“R.Timofte,V.De Smet,L.Van Gool,A+:Adjusted anchored neighborhood regression for fast super-resolution,in:Proceedings of the Asian Conference on Computer Vision(ACCV),2014,pp.111-126.”。

方法2：Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,X.Tang,Acceleratingthe super-resolution convolutional neural network,in:Proceedings of theEuropean Conference on Computer Vision(ECCV),2016,pp.391-407.”。

方法3：Kang等人提出的方法，参考文献“L.W.Kang,C.C.Hsu,B.Zhuang,C.W.Lin,C.H.Yeh,Learning-based joint super-resolution and deblocking for a highlycompressed image,IEEE Trans.Multimedia.17(7)(2015)921-934.”。

对比实验的内容如下：

实验1，分别用双三次插值，方法1，方法2，方法3以及本发明方法对由“Butterfly”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中，JPEG压缩的质量因子设为10。“Butterfly”原始图像及各方法的重建结果分别如图2(a)、图2(b)、图2(c)、图2(d)，图2(e)及图2(f)所示。表一本实验中是各方法重建结果的PSNR(Peak Signal to Noise Ratio)和SSIM(Structure Similarity Index)参数。

表一

实验2，分别用双三次插值，方法1，方法2，方法3以及本发明方法对由“Ppt3”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中，JPEG压缩的质量因子设为20。“Ppt3”原始图像及各方法的重建结果分别如图3(a)、图3(b)、图3(c)、图3(d)，图3(e)及图3(f)所示。表二是本实验中各方法重建结果的PSNR和SSIM参数。

表二

实验3，分别用双三次插值，方法1，方法2，方法3以及本发明方法对由“House”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中，JPEG压缩的质量因子设为30。“House”原始图像及各方法的重建结果分别如图4(a)、图4(b)、图4(c)、图4(d)，图4(e)及图4(f)所示。表三是本实验中各方法重建结果的PSNR和SSIM参数。

表三

从图2、图3及图4所示的实验结果可以看出，双三次插值及方法3的结果中含有比较明显的压缩噪声，图像视觉效果差；方法1和方法2能去除部分压缩噪声，但图像整体有些模糊；本发明的结果中无明显压缩噪声，并且图像比较清晰，边缘保持更好，视觉效果更佳。

从表一、表二及表三所给的PSNR及SSIM参数上看，本发明在两个指标上都取得了最高的值，并且提升比较明显。因此，本发明的重建结果的质量更高。

综合比较各方法重建结果的主观视觉效果及客观参数，可以看出，本发明方法对JPEG压缩图像的重建效果更好，并且适用于不同压缩质量因子下的压缩图像。因此，对于JPEG压缩图像，本发明是一种有效的超分辨率重建方法。

Claims

1.基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于包括以下步骤：

步骤一：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；

步骤二：利用训练图像，训练步骤一中构建的卷积神经网络；

步骤三：利用步骤二中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。

2.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于步骤一中所构建的重建模型是由去压缩效应网络、分辨率提升网络及质量增强网络构成。

3.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于步骤一中所构建的模型是可以进行端到端的优化训练的。

4.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于步骤二中所使用的网络训练方法，即先分阶段训练去压缩效应网络、分辨率提升网络及质量增强网络，然后再对整个模型进行端到端的优化。

5.根据权利要求1-4所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于是针对JPEG压缩图像设计的超分辨率重建方法，但是本方法可以拓展到其他图像或视频压缩标准。