CN109495741B - 基于自适应下采样和深度学习的图像压缩方法 - Google Patents

基于自适应下采样和深度学习的图像压缩方法 Download PDF

Info

Publication number
CN109495741B
CN109495741B CN201811439805.0A CN201811439805A CN109495741B CN 109495741 B CN109495741 B CN 109495741B CN 201811439805 A CN201811439805 A CN 201811439805A CN 109495741 B CN109495741 B CN 109495741B
Authority
CN
China
Prior art keywords
image
sampling
modes
super
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811439805.0A
Other languages
English (en)
Other versions
CN109495741A (zh
Inventor
何小海
张达明
任超
吴晓红
熊淑华
滕奇志
王正勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201811439805.0A priority Critical patent/CN109495741B/zh
Publication of CN109495741A publication Critical patent/CN109495741A/zh
Application granted granted Critical
Publication of CN109495741B publication Critical patent/CN109495741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公布了一种基于基于自适应下采样和深度学习的图像压缩方法。主要包括以下步骤：在编码器端，为待编码的原始图像设计了多种不同的下采样模式和量化模式，然后通过率失真优化算法从多种模式中选择最优的的下采样及量化模式，最后待编码图像将在选择的最优模式下进行下采样和JPEG编码；在解码器端，采用基于卷积神经网络的超分辨率重建算法对解码后的下采样图像进行超分辨率重建，最后利用BM3D算法在超分辨率重建后进一步抑制残留的压缩效应，得到最终的解码图像。实验结果表明，相比于主流的编解码标准和先进的编解码方法，所提出的框架能有效地提升编码图像的率失真性能，并能获得更好的视觉效果。

Description

基于自适应下采样和深度学习的图像压缩方法
技术领域
本发明涉及图像压缩和图像编码技术，具体涉及一种基于自适应下采样和深度学习的图像压缩方法，属于图像通信领域。
背景技术
人类活动中绝大部分的信息是通过视觉进行感知的。图像作为视觉信息的载体，具有形象直观、信息量大、易于理解等优点。然而在实际的图像获取过程中，受限于传输带宽和存储容量，图像或多或少都采取有损压缩方式。其中适用于静止图像的主流压缩编码标准有JPEG和JPEG2000，均由联合图像专家组分别于上世纪90年代初和本世纪初提出。
由于具有良好的压缩性能和较低的复杂度，JPEG已被广泛应用于有损图像压缩的领域。然而在有限码率下，若直接采用JPEG对图像进行压缩，图像数据量太大，分配给每个量化后的离散余弦变换(discrete cosine transform，DCT)系数的编码比特数较少，这将造成解码图像的严重失真。为提高低码率段的编码性能，基于下采样的压缩方法得到了广泛研究，其核心思想是在编码之前对图像进行下采样，从而减少了数据量，使下采样后得到的每一个像素都可分配到更多比特数。然而，现有的基于下采样的压缩方法，在下采样和编码过程中大多无法有效保持图像细节，还有进一步的提升的空间。
超分辨率重建的目的是从已知低分辨率图像获取相应的高分辨率图像。基于学习的图像超分辨率技术近些年来得到了越来越多的关注，其中基于深度学习的超分辨率方法因其相较传统超分辨率技术具有更高精确度和更快的重建速度等优点而受到广泛研究。
发明内容
本发明提出的一种基于适应下采样和深度学习的图像压缩方法，相比于主流的编解码标准和先进的编解码方法，本方法能有效地提升图像的率失真性能，并能获得具有更好视觉效果的解码图像。
本发明所提出的一种基于适应下采样和深度学习的图像压缩方法，主要包括以下操作步骤：
(1)为待编码的原始图像设计多种不同的下采样模式和量化模式；
(2)通过率失真优化算法从多种模式中选择最优的下采样及量化模式；
(3)将待编码图像在选择的最优模式下进行下采样和JPEG编解码；
(4)采用基于卷积神经网络的超分辨率重建算法对解码后的任意下采样模式下采样的图像进行超分辨率重建；
(5)利用BM3D算法在超分辨率重建后进一步抑制残留的压缩效应，得到最终的解码图像。
附图说明
图1是本发明基于自适应下采样和深度学习的图像压缩方法的流程框图
图2是基于深度学习的压缩图像超分辨率算法原理框图
图3是设计的超分辨率重建网络模型结构框架
图4是对“barbara”测试图像进行JPEG及其他三种方法编解码及本方法重建后图像的率失真性能比较
图5是对“bike”测试图像进行JPEG及其他三种方法编解码及本方法重建后图像的率失真性能比较
图6是“barbara”原图与码率同为0.2bpp时，本发明重建后图像与JPEG及其他三种方法解码图像的主观视觉效果比较
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，一种基于自适应下采样和深度学习的图像压缩方法，包括以下步骤:
(1)为待编码的原始图像设计多种不同的下采样模式和量化模式；
(2)通过率失真优化算法从多种模式中选择最优的下采样及量化模式；
(3)将待编码图像在选择的最优模式下进行下采样和JPEG编解码；
(4)采用基于卷积神经网络的超分辨率重建算法对解码后的任意下采样模式下采样的图像进行超分辨率重建；
(5)利用BM3D算法在超分辨率重建后进一步抑制残留的压缩效应，得到最终的解码图像。
具体地，所述步骤(1)中，我们提供水平和垂直方向采样率分别为1/4，1/2，3/4，1共计十六种下采样模式，和满足
Figure BDA0001884401450000021
k＝1,2,…,8的八种量化模式，其中QP和Q均表示改变量化矩阵的参数且Q为JPEG标准的量化参数，对原图进行下采样和量化操作得到128种编码模式。
所述步骤(2)中，通过率失真优化算法，从128种编码模式中自适应选择出最优下采样模式和量化模式，该算法的主要思想是：对图像进行自适应下采样、压缩后的码率和解码后超分辨率重建图像的误差均要小于JPEG直接压缩图像，且在此基础上的码率最小值及均方误差最小值所对应的下采样模式和量化模式即为该算法选出的最优模式。
所述步骤(3)中，将待编码图像在选择的最优模式下进行下采样和JPEG编解码。
所述步骤(4)中，采用基于卷积神经网络的超分辨率重建算法对解码后的任意下采样模式下采样的图像进行超分辨率重建，在训练阶段，通过下采样产生低分辨率图像，并在不同的QP中压缩生成待训练的压缩图像。采用基于卷积神经网络的算法学习压缩图像和相应的原始图像的映射关系，选择从0.5到4间隔为0.5的QP进行编码，这八种模型将在训练阶段获得并储存在解码器中。在重建阶段，根据QP的不同来选择最合适的模型，最后使用选定的模型获得完整的高分辨率图像。
随机选择出两幅测试图像“barbara”，“bike”，用上述步骤对其进行测试，并与JPEG及其他三种方法比较率失真性能和视觉效果。率失真比较如图4及图5所示，其中横轴是码率，单位是bpp；纵轴是峰值信噪比(PSNR)，单位是dB。在相同的码率下，PSNR越高，率失真性能越好。图6是在码率为0.2bpp时，四种对比实验方法与本发明对“barbara”处理后的视觉效果对比图。表一展示了对比方法及本发明图像压缩结果的PSNR对比，实验验证了发明算法能有效提升图像的率失真性能，其重建结果更加可靠，实验结果对于其他测试图像具有普适性。
对比的图像压缩方法为：
方法1：Zhang等人提出的方法，参考文献“Zhang Jian,Xiong Ruiqin,Zhao Chen,et al.CONCOLOR:Constrained non-convex low-rank model for image deblocking[J].IEEE Transactions on Image Processing,2016,25(3):1246-1259.”。
方法2：Lin等人提出的方法，参考文献“Lin Weisi,Dong Li.Adaptivedownsampling to improve image compression at low bit rates[J].IEEETransactions on Image Processing,2006,15(9):2513-2521.”。
方法3：Chen等人提出的方法，参考文献“Chen Honggang,He Xiaohai,MaMinglang,et al.Low bit rates image compression via adaptive blockdownsampling and super resolution[J].Journal of electronic imaging,2016,25(1):013004.”。
表一：
Figure BDA0001884401450000031
/>

Claims (2)

1.基于自适应下采样和深度学习的图像压缩方法，其特征在于包括以下步骤：
步骤一：为待编码的原始图像设计多种不同的下采样模式和量化模式；
步骤二：通过率失真优化算法从多种模式中选择最优的下采样及量化模式；该算法对图像进行自适应下采样、压缩后的码率和解码后超分辨率重建图像的误差均要小于JPEG直接压缩图像，且在此基础上的码率最小值及均方误差最小值所对应的下采样模式和量化模式即为该算法选出的最优模式；
步骤三：将待编码图像在选择的最优模式下进行下采样和JPEG编解码；
步骤四：采用基于卷积神经网络的超分辨率重建算法对解码后的任意下采样模式下采样的图像进行超分辨率重建；基于卷积神经网络的超分辨率重建算法将下采样产生的低分辨率图像在不同QP中压缩生成待训练的压缩图像，采用基于卷积神经网络的超分辨率重建算法学习压缩图像和相应原始图像的映射关系，根据QP的不同来选择最合适的模型，最后使用选定的模型获得完整的高分辨率图像；参数QP的计算方法如下：
Figure FDA0004096389090000011
其中Q是JPEG标准的量化参数；
步骤五：利用BM3D算法在超分辨率重建后进一步抑制残留的压缩效应，得到最终的解码图像。
2.根据权利要求1所述的基于自适应下采样和深度学***和垂直方向采样率分别为1/4，1/2，3/4，1共计十六种下采样模式，和满足
Figure FDA0004096389090000012
的八种量化模式，其中QP和Q均表示改变量化矩阵的参数且Q为JPEG标准的量化参数，对原图进行下采样和量化操作得到128种编码模式，能够充分考虑图像之间的差异性和JPEG在不同码率下的编码特性。/>
CN201811439805.0A 2018-11-29 2018-11-29 基于自适应下采样和深度学习的图像压缩方法 Active CN109495741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811439805.0A CN109495741B (zh) 2018-11-29 2018-11-29 基于自适应下采样和深度学习的图像压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811439805.0A CN109495741B (zh) 2018-11-29 2018-11-29 基于自适应下采样和深度学习的图像压缩方法

Publications (2)

Publication Number Publication Date
CN109495741A CN109495741A (zh) 2019-03-19
CN109495741B true CN109495741B (zh) 2023-03-31

Family

ID=65698534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811439805.0A Active CN109495741B (zh) 2018-11-29 2018-11-29 基于自适应下采样和深度学习的图像压缩方法

Country Status (1)

Country Link
CN (1) CN109495741B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730347A (zh) * 2019-04-24 2020-01-24 合肥图鸭信息科技有限公司 图像压缩方法、装置及电子设备
CN110717948A (zh) * 2019-04-28 2020-01-21 合肥图鸭信息科技有限公司 一种图像后处理方法、***及终端设备
CN110062231A (zh) * 2019-05-05 2019-07-26 济南浪潮高新科技投资发展有限公司 基于多层卷积神经网络的图像压缩方法
CN110312131B (zh) * 2019-07-01 2021-03-23 杭州当虹科技股份有限公司 一种基于深度学习的内容自适应在线视频编码方法
CN112218094A (zh) * 2019-07-11 2021-01-12 四川大学 一种基于dct系数预测的jpeg图像去压缩效应方法
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN111314697B (zh) * 2020-02-25 2021-10-15 中南大学 一种针对光字符识别的码率设置方法、设备及存储介质
CN113313774A (zh) * 2020-02-26 2021-08-27 华为技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111355965B (zh) * 2020-02-28 2022-02-25 中国工商银行股份有限公司 一种基于深度学习的图像压缩还原方法及装置
CN112019846A (zh) * 2020-07-26 2020-12-01 杭州皮克皮克科技有限公司 基于深度学习的自适应编码方法及***、设备、介质
CN114078172B (zh) * 2020-08-19 2023-04-07 四川大学 基于分辨率递进生成对抗网络的文本生成图像方法
CN112233197B (zh) * 2020-09-14 2024-03-26 北京空间飞行器总体设计部 一种航天器在轨图像的压缩编码方法
CN112614052B (zh) * 2020-12-24 2023-07-28 东北大学 用于图像超分辨率的比特级数据增强方法
CN113163203B (zh) * 2021-04-29 2022-09-13 上海大学 深度学习特征压缩和解压缩方法、***及终端
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器
WO2023241690A1 (en) * 2022-06-16 2023-12-21 Douyin Vision (Beijing) Co., Ltd. Variable-rate neural network based compression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2234401A1 (en) * 2009-01-09 2010-09-29 Shenzhen Temobi Science&Tech Development Co.,Ltd. Method for image temporal and spatial resolution processing based on code rate control
KR20150010518A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107181949A (zh) * 2017-06-23 2017-09-19 四川大学 一种结合超分辨率和残差编码技术的图像压缩框架

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539845B (en) * 2015-02-19 2017-07-12 Magic Pony Tech Ltd Offline training of hierarchical algorithms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2234401A1 (en) * 2009-01-09 2010-09-29 Shenzhen Temobi Science&Tech Development Co.,Ltd. Method for image temporal and spatial resolution processing based on code rate control
KR20150010518A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107181949A (zh) * 2017-06-23 2017-09-19 四川大学 一种结合超分辨率和残差编码技术的图像压缩框架

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"An Adaptive Down-Sampling Based Video Coding with Hybrid Super-Resolution Method";Zeng Hu et al.;《2012 IEEE International Symposium on Circuits and Systems (ISCAS)》;20120820;全文 *
"基于稀疏表示的图像超分辨率重建研究";李欣;《中国博士学位论文全文数据库（电子期刊）》;20170515;全文 *

Also Published As

Publication number Publication date
CN109495741A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109495741B (zh) 基于自适应下采样和深度学习的图像压缩方法
CN107018422B (zh) 基于深度卷积神经网络的静止图像压缩方法
CN111726633B (zh) 基于深度学习和显著性感知的压缩视频流再编码方法
US8670488B2 (en) Adaptive intra mode selection
CN103096056B (zh) 矩阵编码方法与装置及解码方法与装置
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN105392009B (zh) 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
WO2020238439A1 (zh) 无线自组织网络带宽受限下的视频业务质量增强方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
US20030063810A1 (en) Method and system for improving coding efficiency in image codecs
CN109361919A (zh) 一种联合超分辨率和去压缩效应的图像编码性能提升方法
CN110545426B (zh) 基于编码损伤修复cnn的空域可分级视频编码方法
CN104780383B (zh) 一种3d‑hevc多分辨率视频编码方法
CN116916036A (zh) 视频压缩方法、装置及***
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN105392014B (zh) 一种优化的小波变换图像压缩方法
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
CN106534870A (zh) 一种基于rgb源视频的率失真优化编码方法
CN116527909A (zh) 编码参数的传输方法、装置、设备、存储介质及程序产品
CN111757126A (zh) 面向vr的实时图像压缩方法、***和存储介质
Abeda et al. Pixel based techniques for gray image compression: A review
CN112243123B (zh) 一种基于无损编码的hevc码率优化方法
Pu et al. Image compression based on task-specific information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant