CN109922339A - 结合多采样率下采样和超分辨率重建技术的图像编码框架 - Google Patents

结合多采样率下采样和超分辨率重建技术的图像编码框架 Download PDF

Info

Publication number
CN109922339A
CN109922339A CN201711314711.6A CN201711314711A CN109922339A CN 109922339 A CN109922339 A CN 109922339A CN 201711314711 A CN201711314711 A CN 201711314711A CN 109922339 A CN109922339 A CN 109922339A
Authority
CN
China
Prior art keywords
sampling
image
block
super
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711314711.6A
Other languages
English (en)
Inventor
何小海
李兴龙
卿粼波
任超
占文枢
滕奇志
吴小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201711314711.6A priority Critical patent/CN109922339A/zh
Publication of CN109922339A publication Critical patent/CN109922339A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种结合多采样率下采样和超分辨率重建技术的图像编码框架。主要包括以下步骤：将待压缩图像分成32×32的块，然后在多种采样率下对每个块进行下采样；对每种下采样块进行粗略的JPEG编解码，并上采样解码后的低分辨率块；通过率失真优化选择每个块的最优的采样率与量化参数；根据选定的参数，使用JPEG对各个块进行编解码，并使用基于深度学习的超分辨率技术对解码块进行重建；将重建块组合成图像。本发明可以在全码率段提升JPEG的率失真性能，并且在相同解码图像质量下，可以实现更高的压缩率。本方法可以适用于多种主流图像编码器，实现图像数据的高效存储与传输。

Description

结合多采样率下采样和超分辨率重建技术的图像编码框架
技术领域
本发明涉及图像超分辨率重建和图像压缩技术，具体涉及一种结合多采样率下采样和超分辨率重建技术的图像编码框架，属于图像通信领域。
背景技术
图像压缩是一种通过减少原始图像数据间的冗余性来降低数据量的图像处理技术，可以解决图像设备的存储空间不足和传输带宽有限等问题。JPEG作为主流的图像编码标准之一，由于其具有较低的计算复杂度等优点，使得它在网络和无线通信等有损压缩领域被广泛地使用。然而，在码率有限的情况下，JPEG的压缩性能会大大降低，使得解码图像存在严重的压缩效应，从而降低了压缩后图像的视觉质量。
随着高清及超高清设备的普及，人们对图像与视频的分辨率的需求越来越高。然而受限于较高的设备成本与不同的使用环境等，使得获取的图像与视频质量仍不能满足需求。超分辨率重建是一种通过软件的方式对已知低分辨率图像进行分辨率提升的技术，可以在不需要更新硬件设备的前提下，获取到更高质量的图像，具有很高的实用性。近些年，随着机器学习的快速发展，基于深度学习的超分辨率重建方法进入了大众的视野。相比于传统的超分辨率重建技术，基于深度学习的超分辨率重建可以获得更高质量的图像，同时在重建阶段，具有更快的重建速度。
在编码端对待压缩图像进行下采样，同时在解码端通过超分辨率技术获得原始分辨率图像的方案，在一定程度上解决了现有压缩标准在低码率段效果不佳的问题。但是，该方案仅适用于较低码率段，随着码率的提升，压缩性能会有很大程度的下降，因此在实际应用中具有很大的局限性。
发明内容
本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，用于提升JPEG编码标准在全码率段的率失真性能。同时所提出的框架也可应用于其它的第三方编码器以提升其编码性能。
本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，主要包括以下操作步骤：
(1)将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；
(2)对下采样后的小块进行多量化参数的预编解码，并统计量化后DCT系数的非零值的个数；
(3)用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；
(4)使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；
(5)根据获得的最优采样模式与量化参数，使用JPEG对原始图像块进行下采样与编解码；
(6)通过使用基于深度学习的超分辨率重建技术训练出的模型，对解码后的图像小块进行超分辨率重建；
(7)将重建的图像块按照相应的方式组合，形成最终解码图像。
附图说明
图1是本发明结合多采样率下采样和超分辨率重建技术的图像编码框架的框图
图2是基于深度学习的超分辨率重建方法的针对性模型训练过程及其重建的框图
图3是本发明及JPEG压缩算法对‘Bike’测试图像在全码率段的率失真性能比较
图4是本发明及JPEG压缩算法对‘Lena’测试图像在全码率段的率失真性能比较
图5是在低码率段且码率同为0.2bpp时，本发明及JPEG的‘Lena’解码图像的视觉效果比较：图(a)为JPEG解码图像，图(b)为本发明解码图像
图6是在中高码率段且码率同为1.06bpp时，本发明及JPEG的‘Bike’解码图像的视觉效果比较：图(a)为JPEG解码图像，图(b)为本发明解码图像
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，结合多采样率下采样和超分辨率重建技术的图像编码框架，具体可以分为以下七个步骤：
(1)将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；
(2)对下采样后的小块进行多量化参数的预编解码，并统计量化后DCT系数的非零值的个数；
(3)用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；
(4)使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；
(5)根据获得的最优采样模式与量化参数，使用JPEG对原始图像块进行下采样与编解码；
(6)通过使用基于深度学习的超分辨率重建技术训练出的多个模型，对解码后的图像小块进行超分辨率重建；
(7)将重建的图像块按照相应的方式组合，形成最终解码图像。
具体地，所述步骤(1)中，将原始待压缩图像分割成互不重叠的32×32大小的图像块；然后针对每一个图像块，设计了9种不同的采样率(对应于16种不同的下采样方式)表1中给出了多种采样率及其相应下采样方式。下采样均采用基于最小二乘的最优下采样方案，整个过程可公式化为
其中，Hh,v为低分辨率块对应的上采样矩阵，h和v分别表示水平以及垂直方向上的采样率，Y为原始图像块。根据最小二乘算法，可以得到当前采样率下的最优下采样块为
在当前步骤进行下采样时，需要求出所有采样率下的上采样矩阵，并使用上述公式获得不同采样率下的最优下采样块。
表1采样率及其采样模式
所述步骤(2)中，给出了8个不同的量化参数，以分配更多的比特给每个下采样块，从而减弱下采样过程带来的高频信息损失，然后对16种不同分辨率的图像块进行标准JPEG编解码。在编码过程中，统计各个图像小块DCT系数经过量化后的非零值的个数(NZC)，用于步骤(4)中率失真优化中的码率以减少计算量。同时,值得说明的是当前步骤中的预编解码不需要进行Huffman编解码，只需进行DCT正反变换和量化与逆量化过程。本发明中采用的量化参数QP为
其中QF是当前图像进行标准JPEG编码时使用的质量因子。
所述步骤(3)中，通过简单的插值方法对解码后的下采样图像小块进行上采样，并计算上采样后的图像块与原始图像块之间的均方误差(MSE)，作为步骤(4)中率失真优化中的失真值。
所述步骤(4)中，结合步骤(2)和步骤(3)中计算得到的不同采样率和量化参数下的NZC和MSE，通过率失真优化方法获得当前图像块的最优的采样率与量化参数，率失真优化过程定义为
min(J),wtihJ＝MSE+λNZC
计算多种采样率和量化参数下的最小的代价函数值，选择最小的J对应的采样率下的采样模式和量化参数，即为最优的采样模式和量化参数。同时在优化过程中，MSE与量化因子QF成正比，并且NZC和量化因子QF成反比，通过大量数据拟合获得其函数关系，并通过求偏导获得拉格朗日乘子λ的值为
所述步骤(5)中，使用步骤(4)选择出的下采样率对每个32×32的图像块进行下采样，然后使用JPEG对下采样后的图像小块在选定的量化参数下进行编解码，在编解码过程中，使用步骤(4)获得的量化参数作为JPEG的质量因子。
所述步骤(6)中，使用基于深度学习的超分辨率重建技术对解码后的图像小块进行超分辨率重建，得到对应的32×32大小的最终图像块。图2给出了该超分辨率重建方法训练和重建过程的框图。
在训练阶段，将输入的训练图像在同一采样率下进行下采样，这个过程不考虑多采样率模式，以简化训练出的网络模型，然后在不同QP下对下采样后的训练图像进行JPEG编解码，再通过插值方法上采样解码图像，得到与训练图像同样大小的降质图像，最后将原始训练图像和上采样后的降质图像分别作为模型训练过程中的高、低分辨率图像进行字典训练，在训练阶段使用VDSR(Super Resolution Using Very Deep ConvolutionalNetworks)算法，在每个QP下进行训练。在重建阶段，对每个解码后的图像小块，通过其量化参数QP，选择相应的网络模型来进行超分辨率重建。
所述步骤(7)中，将步骤(6)中重建的图像块按照步骤(1)中的分块方式进行相应的组合，形成最终的解码图像。
从测试图库中随机选出两幅灰度图像‘Bike’，‘Lena’，用上述步骤进行测试，并与JPEG标准比较率失真性能和解码图像的视觉质量。图3和图4给出了两幅图片的率失真性能，其中横轴为码率，单位是bpp；纵轴是峰值信噪比(PSNR)，单位是dB。在码率相同时，PSNR越高，说明率失真性能越好。图5是在码率为0.2bpp时，标准JPEG与本发明对‘Lena’压缩结果的主观视觉效果对比图。图6是在码率为1.06bpp时，标准JPEG与本发明对‘Bike’压缩结果的主观视觉效果对比图。实验结果对其他的测试图像具有普适性。

Claims (5)

1.结合多采样率下采样和超分辨率重建技术的图像编码框架，其特征在于包括以下步骤：
步骤一：将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；
步骤二：对下采样后的小块进行多量化参数的预编解码，并统计量化后DCT系数的非零值的个数；
步骤三：用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；
步骤四：使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；
步骤五：根据获得的最优采样模式与量化参数，使用JPEG对原始图像块进行下采样与编解码；
步骤六：通过使用基于深度学习的超分辨率重建技术训练出的多个模型，对解码后的图像小块进行超分辨率重建；
步骤七：将重建的图像块按照相应的方式组合，形成最终解码图像。
2.根据权利要求1所述的结合多采样率下采样和超分辨率重建技术的图像编码框架，其特征在于步骤一中所述的利用最小二乘法对每个32×32的图像块在多种采样率下进行最优下采样，
式中，Y为原始图像块，为下采样后的低分辨率块，h和v分别表示水平以及垂直方向上的采样率，该方法求得在每种采样率下对应的上采样矩阵Hh,v，然后使用最小二乘法求解上式中的上采样块与原始块误差最小化问题，
通过该方法可获取已知原始图像块在不同采样率下的最优下采样块。
3.根据权利要求1所述的结合多采样率下采样和超分辨率重建技术的图像编码框架，其特征在于步二及步骤三中所构建的预编解码过程，该预编解码过程中不进行Huffman编码，只进行DCT正反变换和量化与逆量化过程。
4.根据权利要求1所述的结合多采样率下采样和超分辨率重建技术的图像编码框架，其特征在于步骤四中所述的为每个图像块选取最优采样率和量化参数所使用的率失真优化算法，率失真优化的目的是寻找使得优化函数J最小的模式，
min(J),wtih J＝MSE+λNZC
式中，MSE和NZC分别为每种模式下的在步骤二和步骤三中获得的非零量化DCT系数以及重建块与原始块间的均方误差；同时在优化过程中，MSE与量化因子QF成正比，并且NZC和量化因子QF成反比，通过大量数据拟合获得其函数关系，并通过求偏导获得拉格朗日乘子λ的值为
其中QF是当前图像进行标准JPEG编码时使用的质量因子。
5.根据权利要求1所述的结合多采样率下采样和超分辨率重建技术的图像编码框架，其特征在于步骤六中所述的使用基于深度学习的超分辨率重建技术对解码后的下采样块进行超分辨率重建：训练阶段，在同一采样率下对训练图像进行下采样，然后使用标准JPEG编解码，通过此过程来模拟框架中不同采样率和量化参数下的编解码过程，然后使用VDSR(Super Resolution Using Very Deep Convolutional Networks)算法来训练解码后的降质图像与原始图像间的映射关系，生成卷积网络模型；在重建时，根据当前解码块的量化参数，选择对应的网络模型进行重建。
CN201711314711.6A 2017-12-12 2017-12-12 结合多采样率下采样和超分辨率重建技术的图像编码框架 Pending CN109922339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711314711.6A CN109922339A (zh) 2017-12-12 2017-12-12 结合多采样率下采样和超分辨率重建技术的图像编码框架

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711314711.6A CN109922339A (zh) 2017-12-12 2017-12-12 结合多采样率下采样和超分辨率重建技术的图像编码框架

Publications (1)

Publication Number Publication Date
CN109922339A true CN109922339A (zh) 2019-06-21

Family

ID=66957354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711314711.6A Pending CN109922339A (zh) 2017-12-12 2017-12-12 结合多采样率下采样和超分辨率重建技术的图像编码框架

Country Status (1)

Country Link
CN (1) CN109922339A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740350A (zh) * 2019-10-31 2020-01-31 北京金山云网络技术有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN112449140A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 视频超分辨率处理方法及装置
CN112767503A (zh) * 2021-01-15 2021-05-07 北京航空航天大学 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器
CN117058002A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备
CN117221547A (zh) * 2023-11-07 2023-12-12 四川新视创伟超高清科技有限公司 一种基于ctu级下采样的8k视频编码方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120614A1 (en) * 2004-12-08 2006-06-08 Markus Flierl Method for spatially scalable video coding
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120614A1 (en) * 2004-12-08 2006-06-08 Markus Flierl Method for spatially scalable video coding
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何小海: "集成超分辨率重建的图像压缩编码新型框架及其实现", 《数据采集与处理》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449140A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 视频超分辨率处理方法及装置
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
US11922599B2 (en) 2019-08-29 2024-03-05 Huawei Technologies Co., Ltd. Video super-resolution processing method and apparatus
CN110740350A (zh) * 2019-10-31 2020-01-31 北京金山云网络技术有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN112767503A (zh) * 2021-01-15 2021-05-07 北京航空航天大学 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法
CN112767503B (zh) * 2021-01-15 2022-08-12 北京航空航天大学 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器
CN117058002A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备
CN117058002B (zh) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备
CN117221547A (zh) * 2023-11-07 2023-12-12 四川新视创伟超高清科技有限公司 一种基于ctu级下采样的8k视频编码方法及装置
CN117221547B (zh) * 2023-11-07 2024-01-23 四川新视创伟超高清科技有限公司 一种基于ctu级下采样的8k视频编码方法及装置

Similar Documents

Publication Publication Date Title
CN107018422B (zh) 基于深度卷积神经网络的静止图像压缩方法
CN109495741B (zh) 基于自适应下采样和深度学习的图像压缩方法
CN110087092B (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN103607591B (zh) 结合超分辨率重建的视频图像压缩方法
CN105392009B (zh) 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN110751597B (zh) 基于编码损伤修复的视频超分辨方法
CN103096056B (zh) 矩阵编码方法与装置及解码方法与装置
CN103489203A (zh) 基于字典学习的图像编码方法及***
WO2020238439A1 (zh) 无线自组织网络带宽受限下的视频业务质量增强方法
KR102312337B1 (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
JP5301097B2 (ja) ビデオ・コード変換のための変換ドメイン・サブ−サンプリング
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
CN113079378B (zh) 图像处理方法、装置和电子设备
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN110545426B (zh) 基于编码损伤修复cnn的空域可分级视频编码方法
CN104780383B (zh) 一种3d‑hevc多分辨率视频编码方法
CN101964910A (zh) 基于码率型转码辅助的视频空间分辨率转换方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN100515021C (zh) 基于图像质量和码率约束的jpeg2000码率控制方法
CN111080729B (zh) 基于Attention机制的训练图片压缩网络的构建方法及***
CN102724495A (zh) 基于率失真的Wyner-Ziv帧量化方法
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
Tan et al. Image compression algorithms based on super-resolution reconstruction technology
WO2021056575A1 (zh) 一种低延迟信源信道联合编码方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190621