CN107563965A - 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 - Google Patents
基于卷积神经网络的jpeg压缩图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107563965A CN107563965A CN201710783918.1A CN201710783918A CN107563965A CN 107563965 A CN107563965 A CN 107563965A CN 201710783918 A CN201710783918 A CN 201710783918A CN 107563965 A CN107563965 A CN 107563965A
- Authority
- CN
- China
- Prior art keywords
- convolutional neural
- neural networks
- image
- compressed image
- jpeg compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法。主要包括以下步骤:针对JPEG压缩图像,构建基于卷积神经网络的超分辨率重建模型;利用训练图像,训练构建的卷积神经网络;利用训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。本发明中构建的卷积神经网络框架由去压缩效应网络、分辨率提升网络及质量增强网络构成,但是可以对其进行端到端的优化训练。本发明所述方法可以减少JPEG压缩图像中的压缩噪声并提高其分辨率。本发明方法可应用于图像及视频压缩、数字多媒体通信等领域。
Description
技术领域
本发明涉及JPEG压缩图像的质量提升技术,具体涉及一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法,属于图像处理领域。
背景技术
在军事及医疗等领域,高质量的图像和视频有助于获取更加丰富和更加准确的信息,其中图像及视频的分辨率是一项重要的指标。随着人们生活水平的提高以及高清显示设备的普及,在日常生活中,人们对图像及视频的分辨率的要求也越来越高。近年来,各领域使用的成像设备也有很大的发展,可以获取分辨率更高、质量更好的图像及视频。但是,在一些情况下,受经济、环境等多方面因素的制约,获取的图像或视频有时仍然不能达到实际应用的需求。超分辨率重建技术可以对已采集的图像及视频进行分辨率提升,具有很强的实用性。在过去的几十年里,学者们对超分辨率技术进行了深入的研究,尤其是单幅图像的超分辨率重建,提出了很多有效的方法。但是,大部分图像超分辨率重建方法都假设获取的图像没有经过压缩或不存在压缩噪声。然而,受限于传输带宽和存储容量等客观条件,现实生活中的图像往往都经过了压缩处理。因此,直接使用传统超分辨率方法对现实生活中的压缩图像进行重建,难以获得令人满意的重建效果。
发明内容
本发明的目的是针对日常生活中广泛存在的JPEG压缩图像提出一种有效的超分辨率重建方法。
本发明提出的基于卷积神经网络的JPEG压缩图像超分辨率重建方法,主要包括以下操作步骤:
(1)针对JPEG压缩图像,构建基于卷积神经网络的超分辨率重建模型;
(2)利用训练图像,训练步骤(1)中构建的卷积神经网络;
(3)利用步骤(2)中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。
附图说明
图1是本发明基于卷积神经网络的JPEG压缩图像超分辨率重建方法的框图。
图2是本发明与四种方法对测试图像“Butterfly”的重建结果的对比图(超分辨率重建因子为2,JPEG压缩质量因子为10):其中,(a)为测试图像,(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果
图3是本发明与四种方法对测试图像“Ppt3”的重建结果的对比图(超分辨率重建因子为2,JPEG压缩质量因子为20):其中,(a)为测试图像,(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果
图4是本发明与四种方法对测试图像“House”的重建结果的对比图(超分辨率重建因子为2,JPEG压缩质量因子为30):其中,(a)为测试图像,(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本发明的重建结果
具体实施方式
下面结合附图对本发明作进一步说明:
图1中,基于卷积神经网络的JPEG压缩图像超分辨率重建方法,具体可以分为以下三个步骤:
(1)针对JPEG压缩图像,构建基于卷积神经网络的超分辨率重建模型;
(2)利用训练图像,训练步骤(1)中构建的卷积神经网络;
(3)利用步骤(2)中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。
具体地,所述步骤(1)中,我们构建如图1所示的基于卷积神经网络的重建模型。具体地,所构建模型由去压缩效应网络、分辨率提升网络及质量增强网络构成。其中,去压缩效应网络主要实现JPEG压缩噪声的去除,其层数为K1层(本发明中,K1=20);分辨率提升网络的主要功能是放大图像至预期的分辨率,其层数为K2层(本发明中,K2=10);质量增强网络的目的是在目标分辨率空间中进一步提升重建图像的质量,其层数为K3层(本发明中,K3=10)。在本发明构建的基于卷积神经网络的重建模型中,去压缩效应网络的前K1-1个卷积层使用的滤波器个数为64,卷积核大小为3×3;其最后一个卷积层的滤波器个数为1,卷积核大小为3×3。分辨率提升网络的前K2-1个卷积层使用的滤波器个数为64,卷积核大小为3×3;其最后一层为反卷积层,滤波器个数为1,卷积核大小为9×9。质量增强网络的前K1-1个卷积层使用的滤波器个数为64,卷积核大小为3×3;其最后一个卷积层的滤波器个数为1,卷积核大小为3×3。本发明构建的基于卷积神经网络的重建模型可以进行端到端的优化训练。
所述步骤(2)中,我们首先将用于训练的高分辨率图像进行采样,得到然后,用JPEG在不同压缩质量因子下对采样后的图像进行压缩,得到模拟的低分辨率观测图像最后,利用 和来训练步骤(1)中构建的基于卷积神经网络的重建模型。训练过程中,先分阶段单独训练去压缩效应网络、分辨率提升网络及质量增强网络,然后用学习到的参数初始化整个网络模型,进而进行端到端的优化训练。
所述步骤(3)中,卷积神经网络的输入为原始的待重建图像,即经JPEG压缩后的低分辨率图像。卷积神经网络的输出为重建的最终结果。
为了验证本发明方法的有效性,用标准测试图像“Butterfly”、“Ppt3”及“House”进行了实验。原始的“Butterfly”、“Ppt3”及“House”图像分别如图2(a),3(a),4(a)所示。模拟的经JPEG压缩的低分辨率图像的生成方式:用双三次插值方法对高分辨率测试图像进行2倍下采样,然后用JPEG在不同压缩质量因子下对采样后的图像进行压缩,压缩后的图像即为待重建图像。选取双三次插值及三种单幅图像超分辨率重建算法作为对比方法。其中,方法1和方法2的模型都按照本发明中的降质过程进行了训练。三种对比的超分辨率重建算法为:
方法1:Timofte等人提出的方法,参考文献“R.Timofte,V.De Smet,L.Van Gool,A+:Adjusted anchored neighborhood regression for fast super-resolution,in:Proceedings of the Asian Conference on Computer Vision(ACCV),2014,pp.111-126.”。
方法2:Dong等人提出的方法,参考文献“C.Dong,C.C.Loy,X.Tang,Acceleratingthe super-resolution convolutional neural network,in:Proceedings of theEuropean Conference on Computer Vision(ECCV),2016,pp.391-407.”。
方法3:Kang等人提出的方法,参考文献“L.W.Kang,C.C.Hsu,B.Zhuang,C.W.Lin,C.H.Yeh,Learning-based joint super-resolution and deblocking for a highlycompressed image,IEEE Trans.Multimedia.17(7)(2015)921-934.”。
对比实验的内容如下:
实验1,分别用双三次插值,方法1,方法2,方法3以及本发明方法对由“Butterfly”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中,JPEG压缩的质量因子设为10。“Butterfly”原始图像及各方法的重建结果分别如图2(a)、图2(b)、图2(c)、图2(d),图2(e)及图2(f)所示。表一本实验中是各方法重建结果的PSNR(Peak Signal to Noise Ratio)和SSIM(Structure Similarity Index)参数。
表一
实验2,分别用双三次插值,方法1,方法2,方法3以及本发明方法对由“Ppt3”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中,JPEG压缩的质量因子设为20。“Ppt3”原始图像及各方法的重建结果分别如图3(a)、图3(b)、图3(c)、图3(d),图3(e)及图3(f)所示。表二是本实验中各方法重建结果的PSNR和SSIM参数。
表二
实验3,分别用双三次插值,方法1,方法2,方法3以及本发明方法对由“House”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中,JPEG压缩的质量因子设为30。“House”原始图像及各方法的重建结果分别如图4(a)、图4(b)、图4(c)、图4(d),图4(e)及图4(f)所示。表三是本实验中各方法重建结果的PSNR和SSIM参数。
表三
从图2、图3及图4所示的实验结果可以看出,双三次插值及方法3的结果中含有比较明显的压缩噪声,图像视觉效果差;方法1和方法2能去除部分压缩噪声,但图像整体有些模糊;本发明的结果中无明显压缩噪声,并且图像比较清晰,边缘保持更好,视觉效果更佳。
从表一、表二及表三所给的PSNR及SSIM参数上看,本发明在两个指标上都取得了最高的值,并且提升比较明显。因此,本发明的重建结果的质量更高。
综合比较各方法重建结果的主观视觉效果及客观参数,可以看出,本发明方法对JPEG压缩图像的重建效果更好,并且适用于不同压缩质量因子下的压缩图像。因此,对于JPEG压缩图像,本发明是一种有效的超分辨率重建方法。
Claims (5)
1.基于卷积神经网络的JPEG压缩图像超分辨率重建方法,其特征在于包括以下步骤:
步骤一:针对JPEG压缩图像,构建基于卷积神经网络的超分辨率重建模型;
步骤二:利用训练图像,训练步骤一中构建的卷积神经网络;
步骤三:利用步骤二中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。
2.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法,其特征在于步骤一中所构建的重建模型是由去压缩效应网络、分辨率提升网络及质量增强网络构成。
3.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法,其特征在于步骤一中所构建的模型是可以进行端到端的优化训练的。
4.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法,其特征在于步骤二中所使用的网络训练方法,即先分阶段训练去压缩效应网络、分辨率提升网络及质量增强网络,然后再对整个模型进行端到端的优化。
5.根据权利要求1-4所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法,其特征在于是针对JPEG压缩图像设计的超分辨率重建方法,但是本方法可以拓展到其他图像或视频压缩标准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710783918.1A CN107563965A (zh) | 2017-09-04 | 2017-09-04 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710783918.1A CN107563965A (zh) | 2017-09-04 | 2017-09-04 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107563965A true CN107563965A (zh) | 2018-01-09 |
Family
ID=60978900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710783918.1A Pending CN107563965A (zh) | 2017-09-04 | 2017-09-04 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107563965A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416748A (zh) * | 2018-02-26 | 2018-08-17 | 阿博茨德(北京)科技有限公司 | Jpeg压缩文档的图像预处理方法及装置 |
CN108629737A (zh) * | 2018-05-09 | 2018-10-09 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108765290A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 |
CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
CN109996085A (zh) * | 2019-04-30 | 2019-07-09 | 北京金山云网络技术有限公司 | 模型训练方法、图像处理方法、装置及电子设备 |
CN110062125A (zh) * | 2019-04-18 | 2019-07-26 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
WO2020048354A1 (zh) * | 2018-09-04 | 2020-03-12 | 杭州海康威视数字技术股份有限公司 | 一种神经网络模型压缩方法、装置和计算机设备 |
WO2020057492A1 (zh) * | 2018-09-19 | 2020-03-26 | 北京金山办公软件股份有限公司 | 图像压缩、解压缩方法、装置、电子设备及存储介质 |
CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
KR102098375B1 (ko) * | 2018-11-15 | 2020-04-08 | 충남대학교산학협력단 | Jpeg 압축 이미지의 해상도 증가 시스템 및 그 방법 |
CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
CN112150356A (zh) * | 2019-06-28 | 2020-12-29 | 四川大学 | 基于级联框架的单幅压缩图像超分辨率重建方法 |
CN112188217A (zh) * | 2019-07-01 | 2021-01-05 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
CN112509071A (zh) * | 2021-01-29 | 2021-03-16 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
CN113225590A (zh) * | 2021-05-06 | 2021-08-06 | 深圳思谋信息科技有限公司 | 视频超分增强方法、装置、计算机设备和存储介质 |
WO2022011571A1 (zh) * | 2020-07-14 | 2022-01-20 | Oppo广东移动通信有限公司 | 视频处理方法、装置、设备、解码器、***及存储介质 |
CN114913072A (zh) * | 2022-05-16 | 2022-08-16 | 中国第一汽车股份有限公司 | 图像的处理方法、装置、存储介质和处理器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069825A (zh) * | 2015-08-14 | 2015-11-18 | 厦门大学 | 基于深度置信网络的图像超分辨率重建方法 |
CN105611303A (zh) * | 2016-03-07 | 2016-05-25 | 京东方科技集团股份有限公司 | 图像压缩***、解压缩***、训练方法和装置、显示装置 |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
-
2017
- 2017-09-04 CN CN201710783918.1A patent/CN107563965A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069825A (zh) * | 2015-08-14 | 2015-11-18 | 厦门大学 | 基于深度置信网络的图像超分辨率重建方法 |
CN105611303A (zh) * | 2016-03-07 | 2016-05-25 | 京东方科技集团股份有限公司 | 图像压缩***、解压缩***、训练方法和装置、显示装置 |
CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416748A (zh) * | 2018-02-26 | 2018-08-17 | 阿博茨德(北京)科技有限公司 | Jpeg压缩文档的图像预处理方法及装置 |
CN108629737A (zh) * | 2018-05-09 | 2018-10-09 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108629737B (zh) * | 2018-05-09 | 2022-11-18 | 复旦大学 | 一种提高jpeg格式图像空间分辨率的方法 |
CN108765290A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 |
CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
WO2020048354A1 (zh) * | 2018-09-04 | 2020-03-12 | 杭州海康威视数字技术股份有限公司 | 一种神经网络模型压缩方法、装置和计算机设备 |
WO2020057492A1 (zh) * | 2018-09-19 | 2020-03-26 | 北京金山办公软件股份有限公司 | 图像压缩、解压缩方法、装置、电子设备及存储介质 |
CN110933432A (zh) * | 2018-09-19 | 2020-03-27 | 珠海金山办公软件有限公司 | 图像压缩、解压缩方法、装置、电子设备及存储介质 |
CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
KR102098375B1 (ko) * | 2018-11-15 | 2020-04-08 | 충남대학교산학협력단 | Jpeg 압축 이미지의 해상도 증가 시스템 및 그 방법 |
CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
CN110062125A (zh) * | 2019-04-18 | 2019-07-26 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
CN109996085A (zh) * | 2019-04-30 | 2019-07-09 | 北京金山云网络技术有限公司 | 模型训练方法、图像处理方法、装置及电子设备 |
CN109996085B (zh) * | 2019-04-30 | 2021-05-14 | 北京金山云网络技术有限公司 | 模型训练方法、图像处理方法、装置及电子设备 |
CN112150356A (zh) * | 2019-06-28 | 2020-12-29 | 四川大学 | 基于级联框架的单幅压缩图像超分辨率重建方法 |
CN112188217A (zh) * | 2019-07-01 | 2021-01-05 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
CN112188217B (zh) * | 2019-07-01 | 2022-03-04 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
WO2022011571A1 (zh) * | 2020-07-14 | 2022-01-20 | Oppo广东移动通信有限公司 | 视频处理方法、装置、设备、解码器、***及存储介质 |
CN112509071A (zh) * | 2021-01-29 | 2021-03-16 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
CN112509071B (zh) * | 2021-01-29 | 2021-04-30 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
CN113225590A (zh) * | 2021-05-06 | 2021-08-06 | 深圳思谋信息科技有限公司 | 视频超分增强方法、装置、计算机设备和存储介质 |
CN114913072A (zh) * | 2022-05-16 | 2022-08-16 | 中国第一汽车股份有限公司 | 图像的处理方法、装置、存储介质和处理器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563965A (zh) | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 | |
CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN108647775B (zh) | 基于全卷积神经网络单张图像的超分辨率图像重建方法 | |
CN110276721A (zh) | 基于级联残差卷积神经网络的图像超分辨率重建方法 | |
CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
CN110189253A (zh) | 一种基于改进生成对抗网络的图像超分辨率重建方法 | |
Luo et al. | Lattice network for lightweight image restoration | |
CN109191392B (zh) | 一种语义分割驱动的图像超分辨率重构方法 | |
CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及*** | |
CN111461978A (zh) | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 | |
CN110288529B (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
CN108492252A (zh) | 基于二次重建的人脸图像超分辨率重建方法 | |
CN106709874B (zh) | 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法 | |
CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
CN106981046A (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |