CN114862687B - 深度去块算子驱动的自适应压缩图像复原方法 - Google Patents

深度去块算子驱动的自适应压缩图像复原方法 Download PDF

Info

Publication number
CN114862687B
CN114862687B CN202110155079.5A CN202110155079A CN114862687B CN 114862687 B CN114862687 B CN 114862687B CN 202110155079 A CN202110155079 A CN 202110155079A CN 114862687 B CN114862687 B CN 114862687B
Authority
CN
China
Prior art keywords
deblocking
image restoration
operator
compressed image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110155079.5A
Other languages
English (en)
Other versions
CN114862687A (zh
Inventor
任超
何小海
秦熳
卿粼波
王正勇
熊淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110155079.5A priority Critical patent/CN114862687B/zh
Publication of CN114862687A publication Critical patent/CN114862687A/zh
Application granted granted Critical
Publication of CN114862687B publication Critical patent/CN114862687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度去块算子驱动的自适应压缩图像复原方法。主要包括以下步骤：针对最大后验问题，提出了一个新的包含去块算子的数据拟合项；引入一种连续性机制，得到基于改进***布雷格曼迭代算法的压缩图像复原框架；构建并训练使用多级抽取和逐元素张量注意机制构建的图像去块网络；计算噪声等级σk和品质因素QF的参数qk；得到去块算子集合，并应用于图像复原逆子问题；使用新数据拟合项应用于复原逆子问题，使用梯度下降法或傅立叶变换法求解，得到迭代更新后的复原估计图像；更新参数；进行迭代重建，输出最终的图像复原结果。本发明所述的压缩图像复原方法能获得很好的主客观效果。因此，本发明是一种灵活且有效的压缩图像复原方法。

Description

深度去块算子驱动的自适应压缩图像复原方法
技术领域
本发明涉及JPEG压缩图像复原技术，具体涉及一种深度去块算子驱动的自适应压缩图像复原方法，属于图像处理领域。
背景技术
JPEG压缩图像复原技术旨在从压缩图像中恢复出高质量图像。近年来，JPEG压缩已广泛用于节省带宽和存储空间。压缩时，将图像分成不重叠的8×8块，并在DCT域中对其进行量化。这种分批处理和量化将导致不希望的压缩伪像。为了更好利用图像信息，往往需要从低质量(low-quality，LQ)的压缩图像中恢复出高质量(high-quality，HQ)图像。
压缩图像复原方法主要包含两类：基于模型的方法与基于学习的方法。基于模型的方法可以灵活地处理不同的图像复原(Image Recovery，IR)任务，但其计算复杂度较高。基于学习的卷积神经网络通过学习大量压缩与未压缩图像对之间的映射关系来进行压缩图像复原，需要分别为每个IR任务训练网络，牺牲了方法的灵活性。因此，为各种压缩图像复原(Compressed Image Recovery，CIR)任务提出一个通用有效的框架仍然是一项艰巨的工作。
发明内容
本发明的目的是使用基于深度学习的卷积神经网络(Convolutional NeuralNetwork，CNN)来训练一组去块算子。然后，将这些去块算子应用于基于连续性机制的改进***布雷格曼迭代(Split Bregman Iteration，SBI)算法中的图像复原逆子问题和去块子问题，从而构建一种基于改进SBI算法的压缩图像复原方法。
本发明提出的深度去块算子驱动的自适应压缩图像复原方法，主要包括以下操作步骤：
(1)首先针对图像复原最大后验(Maximum A Posteriori，MAP)问题，提出了一个新的包含去块算子的数据拟合项NF；
(2)使用SBI算法，对引入了新数据拟合项的压缩图像复原问题进行分解，得到一个图像复原逆子问题、一个去块子问题、一个辅助变量迭代方程，并引入一种连续性机制，得到基于改进SBI算法的压缩图像复原框架；
(3)针对步骤(1)提出的数据拟合项，使用多级抽取(Multi-level Decimation，MD)和逐元素张量注意力机制(Element-wise Tensor Attention，ETA)构建了图像去块网络(MDETA-Net)，用于训练一组去块算子；
(4)利用训练图像数据集，训练步骤(3)中构建的网络，得到一组去块算子，并将该去块器算子集合应用于步骤(1)中所述的数据拟合项NF；
(5)计算每一次迭代过程中去块子问题对应的噪声等级σk和品质因素QF的参数qk；
(6)使用步骤(4)中训练好的去块算子集合应用于步骤(2)所述的去块子问题；
(7)使用步骤(4)中的数据拟合项NF应用于步骤(2)所述的复原逆子问题，使用梯度下降法或傅立叶变换法求解，得到迭代更新后的复原估计图像Xk+1；
(8)更新步骤(2)所述的图像复原逆子问题中的惩罚参数γk，并由步骤(2)的辅助变量迭代方程dk+1＝dk+Xk+1-uk+1，对辅助变量dk+1进行更新；
(9)重复步骤(5)到(8)，直到达到指定的迭代次数，最后输出即为最终的压缩复原结果。
附图说明
图1是本发明深度去块算子驱动的自适应压缩图像复原方法的原理框图
图2是本发明图像去块网络的网络结构图
图3是本发明与九种方法对测试图像“Butterfly”的复原结果的对比图(QF为10)：其中，(a)为测试图像，(b)为JPEG压缩图像，(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)分别为方法1、方法2、方法3、方法4、方法5、方法6、方法7、方法8、方法9及本发明的重建结果
图4是本发明与六种方法对测试图像“Img_099”的复原结果的对比图(QF为20)：其中，(a)为测试图像，(b)(c)(d)(e)(f)(g)(h)(i)分别为双三次插值、方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果
图5是本发明与四种方法对测试图像“Bike”的复原结果的对比图：其中，(a)为测试图像，(b)为退化图像，(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果
图6是本发明与四种方法对真实低分辨率图像“Leaves”、“Building”、“Boy”、“Girl”的重建结果的对比图：其中，(1a)为“Rose”低分辨率图像，(1b)(1c)(1d)(1e)(1f)分别为该图像双三次插值、方法1、方法2、方法3及本发明的重建结果，依此类推。
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，深度去块算子驱动的自适应压缩图像复原方法，具体可以分为以下九个步骤：
(1)首先针对图像复原最大后验MAP问题，提出了一个新的包含去块算子的数据拟合项NF；
(2)使用SBI算法，对引入了新数据拟合项的压缩图像复原问题进行分解，得到一个图像复原逆子问题、一个去块子问题、一个辅助变量迭代方程，并引入一种连续性机制，得到基于改进SBI算法的压缩图像复原框架；
(3)针对步骤(1)提出的数据拟合项，使用多级抽取MD和逐元素张量注意力机制ETA构建了图像去块网络(MDETA-Net)，用于训练一组去块算子；
(4)利用训练图像数据集，训练步骤(3)中构建的网络，得到一组去块算子，并将该去块算子集合应用于步骤(1)中所述的数据拟合项NF；
(5)计算每一次迭代过程中去块子问题对应的噪声等级σk和品质因素QF的参数qk；
(6)使用步骤(4)中训练好的去块算子集合应用于步骤(2)所述的去块子问题；
(7)使用步骤(4)中的数据拟合项NF应用于步骤(2)所述的复原逆子问题，使用梯度下降法或傅立叶变换法求解，得到迭代更新后的复原估计图像Xk+1；
(8)更新步骤(2)所述的图像复原逆子问题中的惩罚参数γk，并由步骤(2)的辅助变量迭代方程dk+1＝dk+Xk+1-uk+1，对辅助变量dk+1进行更新；
(9)重复步骤(5)到(8)，直到达到指定的迭代次数，最后输出即为最终的压缩复原结果。
具体地，所述步骤(1)中，图像复原最大后验MAP问题的表达式如下：
Figure BDA0002934404330000031
其中，X是未知高质量HQ图像，Y是低质量LQ图像，p(Y|X)是与退化模型相关的条件概率，p(X)是基础HQ图像的先验概率。
上述最大后验MAP问题等效于以下无约束问题：
Figure BDA0002934404330000032
其中，X为未知未压缩图像，λ为正则化参数，H(·)为数据项，φ(·)为先验项。
根据压缩操作过程，上式可被写为如下表达式：
Figure BDA0002934404330000033
其中，Cq(·)为压缩操作，H为模糊矩阵。
针对上式，引入一个新的数据拟合项NF，为
Figure BDA0002934404330000034
其中Dq(·)表示去块算子，
Figure BDA0002934404330000035
得到一个更适合于CIR问题的表达式：
Figure BDA0002934404330000036
所述步骤(2)中，使用SBI算法，将原压缩图像复原问题分解为图像复原逆子问题、去块子问题及辅助变量迭代方程，分别如下：
Figure BDA0002934404330000041
Figure BDA0002934404330000042
dk+1＝dk+Xk+1-uk+1
其中，γ为惩罚参数，u、d为辅助变量，k为迭代次数。
对使用SBI算法所得到的图像复原逆子问题和去块子问题引入基于深度学习的数据拟合项，也就是，在原图像复原逆子问题中使用提出的新的数据拟合项替换原拟合项。在本发明所提出的压缩图像复原框架中，图像复原逆子问题和去块子问题的具体公式如下：
Figure BDA0002934404330000043
Figure BDA0002934404330000044
其中，X为未知的未压缩图像，Y为压缩图像，H为模糊矩阵，Xk+1为迭代更新后的压缩复原估计图，γ为惩罚参数，u、d为辅助变量，I为单位矩阵，σk为当前迭代过程中的噪声等级，
Figure BDA0002934404330000048
表示去块算法，Z和K的表达式如下：
Figure BDA0002934404330000045
Figure BDA0002934404330000046
随着迭代次数的增加，残留的压缩噪声会越来越少，这表明在去块子问题中噪声等级是不断衰减的。本发明引入一种连续性机制来在迭代过程中自适应地调节去块子问题对应的噪声等级σk。首先对惩罚参数μk进行更新：
γk+1＝ργk
其中ρ为一个大于1的常数。然后再根据噪声等级与惩罚参数之间的关系：
Figure BDA0002934404330000047
对噪声等级进行更新。λ为正则化参数。
当σk越大时qk应该越低，反之亦然，因此创新性的构建了自适应的噪声等级与品质因素QF的值qk之间的关系：
qk＝a/(b+σk)
对qk进行更新，其中a，b为正的常数。
所述步骤(3)中，不同于一般的压缩复原方法使用高斯算子，本发明构建的如图2所示的使用多级抽取MD和逐元素张量注意机制ETA的深度去块器网络(MDETA-Net)，用于训练一组去块器，进而应用于步骤(1)所述的新的数据拟合项NF和步骤(2)中所述的去块子问题。网络包含一个初始特征提取网络(Initial Feature Extraction Network，IFENet)模块、一个非线性映射网络(Nonliner Mapping Network，NMNet)模块一个重建网络(Reconstruction Network，ReNet)模块。
对输入压缩图像Y，在IFENet中设计了一个抽取层
Figure BDA0002934404330000051
首先对Y进行下采样，得到4个子图像，即
Figure BDA0002934404330000052
然后用卷积层进行初始特征提取，得到表示提取的特征F0：
Figure BDA0002934404330000053
其中，↓表示下采样操作，
Figure BDA0002934404330000054
表示初始特征提取网络的卷积函数。
接下来，F0被馈入NMNet。其中，NMNet由初始子NMNet、抽取子NMNet和最终子NMNet组成。假设堆叠了L(L＝4)个ETA残差(ETAR)块，以充当每个子NMNet中的特征映射。初始子NMNet的输出为：
Figure BDA0002934404330000055
其中，
Figure BDA0002934404330000056
表示初始子NMNet的操作。
然后
Figure BDA0002934404330000057
被送到一个步长为2的卷积层
Figure BDA0002934404330000058
去进一步对特征进行下采样，即
Figure BDA0002934404330000059
。随后的L个ETAR块用于实现非线性映射。接下来，设计了一个卷积抽取层，即步长为2的反卷积层
Figure BDA00029344043300000510
来对特征进行上采样，即
Figure BDA00029344043300000511
随后的ETA模块用于逐元素重新校准。最后，采用全局残差特征学习(Global Residual-feature Learning，GRL)来获得抽取子NMNet的输出：
Figure BDA00029344043300000512
其中，
Figure BDA00029344043300000513
和
Figure BDA00029344043300000514
分别表示抽取子NMNet中的ETA功能和L个ETAR块中的操作。
接下来，将被送到L个ETAR块的堆栈和一个ETA模块中，以获取按元素细分的重新校准特征。然后，采用GRL来获得最终子NMNet的输出：
Figure BDA00029344043300000515
其中，
Figure BDA00029344043300000516
和
Figure BDA00029344043300000517
分别表示抽取子NMNet中的ETA功能和L个ETAR块中的操作。
最后，将的输出送到，以获取HQ图像X：
Figure BDA0002934404330000061
其中，分别表示ReNet中的卷积函数和组合运算(卷积抽取层的逆运算)。
所述步骤(4)中，即深度去块器网络的训练阶段，使用LQ-HQ训练图像对来训练网络。其训练代价函数可用下式表示：
Figure BDA0002934404330000062
其中N为样本数，Xl和Yl分别表示未压缩图像和压缩图像，L(·)表示代价函数，Θ表示可训练参数集，fnet(·)为全局映射函数。
所述步骤(5)中，计算每一次迭代过程中去块子问题对应的噪声等级σk和品质因素QF的参数qk。
所述步骤(6)中，使用步骤(4)中训练好的去块器集合应用于步骤(2)所述的去块子问题。
所述步骤(7)中，使用步骤(4)中的数据拟合项NF应用于步骤(2)所述的复原逆子问题，使用梯度下降法或傅立叶变换法求解，梯度下降算法的表达式：
Xk+1＝Xk-δ(KT(KXk-Z))
其中，δ是步长。
在压缩图像去模糊任务中，模糊矩阵H是循环的，可以使用傅立叶变化法求解：
Figure BDA0002934404330000063
其中，f(·)是傅立叶变换算子，
Figure BDA0002934404330000064
是f(·)的复共轭，h是模糊核。
所述步骤(8)中，更新步骤(2)所述的图像复原逆子问题中的惩罚参数γk，并由步骤(1)的辅助变量迭代方程dk+1＝dk+Xk+1-uk+1，对辅助变量dk+1进行更新。
所述步骤(9)中，重复步骤(5)到(8)，直到达到指定的迭代次数，最后输出即为最终的超分辨率重建结果。
为了验证本发明方法的有效性，测试了三个典型的CIR任务，包括压缩图像去块、超分辨率(Super-Resolution，SR)和去模糊。对于去块任务，考虑四个品质因素QF(10、20、30、40)，并使用Classic5、Live1和Manga109图像数据集进行评估。对于压缩图像SR，原始图像在编码前通过双三次插值进行了2倍下采样，并考虑了四个品质因素QF(10、20、30、40)，并使用Set5、Set14和Urban100图像数据集进行评估。对于压缩图像去模糊，使用标准偏差为1.6的25×25高斯核和Levin等人文献里所用的前两个运动核，QF设置为40，并使用8个流行的测试图像(“Bike”、“Butterfly”、“Flower”、“Parrot”、“Plants”、“Starfish”、“C.Man”、“Leaves”)进行评估，参考文献“A.Levin,Y.Weiss,F.Durand,and W.T.Freeman,“Understanding and evaluating blind deconvolution algorithms,”in IEEEConference on Computer Vision and Pattern Recognition,2009,pp.1964–1971.”所有结果均通过PSNR(Peak Signal to Noise Ratio)和SSIM(Structure Similarity Index)指标进行评估，而JPEG编码器和JPEG CIR均仅关注Y通道。
实验的内容如下：
实验1，评估本发明对JPEG压缩图像去块任务的处理，选取了九种JPEG压缩图像去块算法作为对比方法。其中，九种对比方法的模型都按照本发明中的降质过程进行了重新训练。九种对比去块算法为：
方法1：Liu等人提出的方法，参考文献“X.Liu,X.Wu,J.Zhou,and D.Zhao,“Data-driven soft decoding of compressed images in dual transform-pixel domain,”IEEE Transactions on Image Processing,vol.25,no.4,pp.1649–1659,2016.”
方法2：Zhao等人提出的方法，参考文献“C.Zhao,J.Zhang,S.Ma,X.Fan,Y.Zhang,and G.Wen,“Re-ducing image compression artifacts by structural sparserepresentation and quantization constraint prior,”IEEE Transactions onCircuits and Systems for Video Technology,vol.27,no.10,pp.2057–2071,2016.”
方法3：Dong等人提出的方法，参考文献“C.Dong,Y.Deng,C.C.Loy,and X.Tang,“Compression artifacts reduction by a deep convolutional network,”in IEEEInternational Conference on Computer Vision,2015,pp.576–584.”
方法4：Chen等人提出的方法，参考文献“Y.Chen and T.Pock,“Trainablenonlinear reaction diffusion:A flexible framework for fast and effectiveimage restoration,”IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.39,no.6,pp.1256–1272,2017.”
方法5：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,Y.Chen,D.Meng,andL.Zhang,“Beyondagaus sian denoiser:residual learning of deep cnn for imagedenoising,”IEEE Transactions on Image Processin g,vol.26,no.7,pp.3142–3155,2016.”
方法6：Mao等人提出的方法，参考文献“X.J.Mao,C.Shen,and Y.B.Yang,“Imagedenoising using very deep fully convolutional encoder-decoder networks withsymmetric skip connections,”in Advances in Neural Information ProcessingSystems,2016,pp.2802–2810.”
方法7：Yang等人提出的方法，参考文献“Y.Tai,J.Yang,X.Liu,and C.Xu,“Memnet:A persistent memory network for image restoration,”in IEEEInternational Conference onComputer Vision,2017,pp.4549–4557.”
方法8：Fu等人提出的方法，参考文献“X.Fu,Z.-J.Zha,F.Wu,X.Ding,andJ.Paisley,“Jpegartifactsreduction via deep convolutional sparse coding,”inICCV,2019,pp.2501–2510.”
方法9：Zhang等人提出的方法，参考文献“Y.Zhang,K.Li,K.Li,B.Zhong,andY.Fu,“Residua l non-local attention networks for image restoration,”in ICLR,2019.”
表一给出了各个方法去块结果的PSNR和SSIM参数。另外，为了进行视觉比较，给出了Classic5数据集中“Barbara”图像在QF＝10时的结果。“Barbara”原始图像、JPEG压缩图像及各方法的复原结果分别如图3(a)、图3(b)、图3(c)、图3(d)，图3(e)、图3(f)、图3(g)、图3(h)、图3(i)、图3(j)、图3(k)以及图3(l)所示。
表一
Figure BDA0002934404330000081
Figure BDA0002934404330000091
如表一所示，就平均客观指标而言，本发明的性能优于其他方法。如图3所示，在感官上，本发明在去除伪影和重建图像细节方面更有效。
实验2，评估本发明对JPEG压缩图像SR任务的处理，选取了六种JPEG压缩图像超分辨率算法作为对比方法。六种对比去块算法为：
方法1：He等人提出的方法，参考文献“T.Li,X.He,L.Qing,Q.Teng,and H.Chen,“An iterative framework of cascaded deblocking and super-resolution forcompressed images,”IEEE Transactions on Multimedia,vol.20,no.6,pp.1305–1320,2018.”
方法2：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,S.Gu,and L.Zhang,“Learning deep cnn denoiser prior for image restoration,”in IEEE Conferenceon Computer Vision and Pattern Recognition,2017,pp.2808–2817.”
方法3：Peleg等人提出的方法，参考文献“T.Peleg and M.Elad,“A statisticalprediction model based on sparse representations for single image super-resolution,”IEEE Transactions on Image Processing,vol.23,no.6,pp.2569–2582,2014.”
方法4：Kim等人提出的方法，参考文献“J.Kim,J.K.Lee,and K.M.Lee,“Accurateimage super-resolution using very deep convolutional networks,”in IEEEConference on Computer Vision and Pattern Recognition,2016,pp.1646–1654.”
方法5：Yang等人提出的方法，参考文献“Y.Tai,J.Yang,and X.Liu,“Imagesuper-resolution via deep recursive residual network,”in IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.2790–2798.”
方法6：等人提出的方法，参考文献“H.Zheng,X.Wang,and X.Gao,“Fast andaccurate single image super-resolution via information distillation network,”in IEEE Conference on Computer Vision and Pattern Recognition,2018,pp.723–731.”
其中，由于方法3不能直接用于压缩图像SR，因此在此方法之前使用了实验1中所述的方法5来对输入图像进行预去块。表二给出了各个方法去块结果的SNR和SSIM参数。另外，为了进行视觉比较，给出了Urban100数据集中“Img_099”图像在QF＝20时的结果。“Img_099”原始图像、双三次插值图像及各方法的复原结果分别如图4(a)、图4(b)、图4(c)、图4(d)，图4(e)、图4(f)、图4(g)、图4(h)以及图4(i)所示。
表二
Figure BDA0002934404330000092
Figure BDA0002934404330000101
如表二及图4所示，从PSNR和SSIM参数上看，本发明在两个指标上都取得了最高的值。在主观比较上，本发明的结果在视觉效果上也最好。
实验3，评估本发明对JPEG压缩图像去模糊任务的处理，考虑了实验2中所述的三个常用模糊核。选取了六种JPEG压缩图像去模糊算法作为对比方法。其中方法1为基于学习的方法，方法2-6为基于模型的方法，由于这五种基于模型的方法不能直接用于压缩图像去模糊处理，所以采用了实验1中所述的方法5来对输入图像进行预去块。六种对比去块算法为：
方法1：IRCNN
方法2：Portilla等人提出的方法，参考文献“J.Portilla,“Image restorationthrough l0 analysis-based sparse opti-mization in tight frames,”in IEEEInternational Conference on Image Processing,2010,pp.3909–3912.”
方法3：Dong等人提出的方法，参考文献“W.Dong,L.Zhang,G.Shi,and X.Wu,“Image deblurring and super-resolution by adaptive sparse domain selectionand adaptive regular-ization,”IEEE Transactions on Image Processing,vol.20,no.7,pp.1838–1857,2011.”
方法4：Dong等人提出的方法，参考文献“W.Dong,L.Zhang,G.Shi,and X.Li,“Nonlocally centralized sparse representation for image restoration,”IEEETransactions on Image Processing,vol.22,no.4,pp.1618–1628,2013.”
方法5：Sulam等人提出的方法，参考文献“J.Sulam and M.Elad,“Expected patchlog likelihood with a sparse prior,”in International Workshop on EnergyMinimization Methods in Computer Vision and Pattern Recognition,2015,pp.99–111.”
方法6：Zhang等人提出的方法，参考文献“J.Zhang,D.Zhao,and W.Gao,“Group-based sparse representation for image restoration,”IEEE Transactions on ImageProcessing,vol.23,no.8,pp.3336–3351,2014.”
表三给出了各个方法去块结果的PSNR和SSIM参数。另外，为了进行视觉比较，给出了“Bike”图像由运动核1模糊后本发明方法的去模糊的结果。“Img_099”原始图像、模糊图像及各方法的复原结果分别如图5(a)、图5(b)、图5(c)、图5(d)，图5(e)、图5(f)、图5(g)、图5(h)以及图5(i)所示。
表三
Figure BDA0002934404330000111
Figure BDA0002934404330000121
Figure BDA0002934404330000131
由结果所示，本发明在客观指标上表现良好，且产生了具有锐利边缘和精细细节的图像。
由结果所示，可以发现具有ETA的网络比没有ETA的网络性能更好。当从MDETA-Net中删除MD时，PSNR/SSIM值相对较低。添加MD后，性能显著提高。表明ETA和MD对MDETA-Net的性能是必不可少的。
实验4，评估本发明所使用的去块算子较高斯算子的优势以及在CIR中使用新数据拟合项NF的有效性，选取了三种D2CIR(即本发明算法)的变体来作为比较方法，以QF＝40的压缩图像SR为例进行了实验。三种比较方法如下：
方法1：由IRCNN的降噪器驱动的CIR(DN-CIR)
方法2：一般拟合项GF驱动的D2CIR(GF-D2CIR)
方法3：D2CIR
实验结果表示在表四中，三个SR数据集上其他变体的D2CIR的PSNR/SSIM增益分布(统计布长分别为0.1dB和0.002)。
表四
Figure BDA0002934404330000132
Figure BDA0002934404330000141
由结果所示，高斯算子在处理压缩图像SR问题上有最低的PSNR/SSIM结果。通过用本发明提出的去块器代替高斯算子，性能显著提高，去块器具有比高斯算子更好的CIR泛化能力。在不使用NF的情况下，拟合项会存在较大的压缩噪声，就必须使用具有较大压缩噪声级别的去块器作为隐式先验，导致结果过于平滑。使用NF后，性能明显提升。
实验6，为进一步证明所提出的D2CIR方法的有效性，使用真实LQ图像进行实验。在实验中，使用从互联网下载的四个真实的LQ图像，即“Rose”、“Building”、“Boy”和“Girl”。针对彩色图像，因为人眼对Y通道更为敏感，本发明所提出的方法仅应用于Y通道，并使用双三次插值方法来放大Cb和Cr通道。选取了三种具有代表性的基于学习的比较方法。所有方法均使用QF＝40的2倍压缩图像SR模型。三种比较方法如下：
方法1：Kim等人提出的方法，参考文献“J.Kim,J.K.Lee,and K.M.Lee,“Accurateimage super-resolution using very deep convolutional networks,”in IEEEConference on ComputerVision and Pattern Recognition,2016,pp.1646–1654.”
方法2：Yang等人提出的方法，参考文献“Y.Tai,J.Yang,and X.Liu,“Imagesuper-resolution via deep recursive residual network,”in IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.2790–2798.”
方法3：等人提出的方法，参考文献“H.Zheng,X.Wang,and X.Gao,“Fast andaccurate single image super-resolution via information distillation network,”in IEEE Conference on Computer Vision and Pattern Recognition,2018,pp.723–731.”
测试原图像及各方法实验结果示于图6。
由结果可知，本发明能产生看起来更合理的HQ图像，恢复更锐利的边缘和更精细的细节，表明本发明对实际LQ压缩图像的有效性。

Claims (5)

1.深度去块算子驱动的自适应压缩图像复原方法，其特征在于包括以下步骤：
步骤一：首先针对图像复原最大后验MAP问题，提出了一个新的包含去块算子的数据拟合项NF；
步骤二：使用***布雷格曼迭代SBI算法，对引入了新数据拟合项的压缩图像复原问题进行分解，得到一个图像复原逆子问题、一个去块子问题、一个辅助变量迭代方程，并引入一种连续性机制，得到基于改进SBI算法的压缩图像复原框架；
步骤三：针对步骤一提出的数据拟合项，使用多级抽取MD和逐元素张量注意力机制ETA构建了一个有效且精简的图像去块网络MDETA-Net，用于训练一组去块算子；
步骤四：利用训练图像数据集，训练步骤三中构建的网络，得到一组去块算子，并将该去块算子集合应用于步骤一中所述的数据拟合项NF；
步骤五：计算每一次迭代过程中去块子问题对应的噪声等级σk和品质因素QF的参数qk；
步骤六：使用步骤四中训练好的去块算子应用于步骤二所述的去块子问题；
步骤七：使用步骤四中的数据拟合项NF应用于步骤二所述的复原逆子问题，使用梯度下降法或傅立叶变换法求解，得到迭代更新后的复原估计图像Xk+1；
步骤八：更新步骤二所述的图像复原逆子问题中的惩罚参数γk，并由步骤二的辅助变量迭代方程dk+1＝dk+Xk+1-uk+1，对辅助变量dk+1进行更新；
步骤九：重复步骤五到八，直到达到指定的迭代次数，最后输出即为最终的压缩复原结果。
2.根据权利要求1所述的深度去块算子驱动的自适应压缩图像复原方法，其特征在于步骤一所述的新的数据拟合项NF：创新性的将去块算子引入压缩图像复原CIR问题的数据拟合项NF，具体来说，图像复原IR问题中代价函数表达式如下：
Figure FDA0002934404320000011
其中，X是未知高质量HQ图像，Y是低质量LQ图像，p(Y|X)是与退化模型相关的条件概率，p(X)是基础高质量图像HQ图像的先验概率，上式等效于以下无约束问题：
Figure FDA0002934404320000012
其中，X为未知未压缩图像，λ为正则化参数，H(·)为数据项，φ(·)为先验项，根据压缩操作过程，上式可被写为如下表达式：
Figure FDA0002934404320000013
其中，Cq(·)为压缩操作，H为模糊矩阵，针对上式，创新性的将去块算子引入数据拟合项NF，得到一个更适合于压缩图像复原CIR问题的表达式：
Figure FDA0002934404320000021
其中
Figure FDA0002934404320000022
为新的数据拟合项NF，Dq(·)表示去块算子，
Figure FDA0002934404320000023
3.根据权利要求1所述的深度去块算子驱动的自适应压缩图像复原方法，其特征在于步骤二所述的基于改进SBI算法的压缩图像复原框架：首次将去块算子作为驱动算子去解决压缩图像复原问题，针对使用SBI算法所得到的图像复原逆子问题和去块子问题引入基于深度学习的数据拟合项，也就是，在原图像复原逆子问题中使用提出的采用去块算子的数据拟合项替换原拟合项，在提出的压缩图像复原框架中，图像复原逆子问题和去块子问题的具体公式如下：
Figure FDA0002934404320000024
Figure FDA0002934404320000025
其中，X为未知的未压缩图像，Y为压缩图像，H为模糊矩阵，Xk+1为迭代更新后的压缩复原估计图，γ为惩罚参数，u、d为辅助变量，I为单位矩阵，σk为当前迭代过程中的噪声等级，
Figure FDA0002934404320000029
表示去块算子，Z和K的表达式如下所示。
Figure FDA0002934404320000026
Figure FDA0002934404320000027
4.根据权利要求1所述的深度去块算子驱动的自适应压缩图像复原方法，其特征在于步骤三和步骤四所述的有效且精简的图像去块网络：网络使用多级抽取MD和逐元素张量注意力机制ETA，能训练一组去块算子，进而应用于步骤一所述的新的数据拟合项NF和步骤二中所述的去块子问题；网络包含一个初始特征提取网络IFENet模块、一个非线性映射网络NMNet模块一个重建网络ReNet模块；
在训练阶段，使用低质量-高质量LQ-HQ训练图像对来训练网络；其训练代价函数可用下式表示：
Figure FDA0002934404320000028
其中N为样本数，Xl和Yl分别表示未压缩图像和压缩图像，L(·)表示代价函数，Θ表示可训练参数集，fnet(·)为全局映射函数。
5.根据权利要求1所述的深度去块算子驱动的自适应压缩图像复原方法，其特征在步骤五所述的去块子问题对应的噪声等级σk和品质因素QF的参数qk的计算：随着迭代次数的增加，残留的压缩噪声会越来越少，这表明在去块子问题中噪声等级是不断衰减的，引入一种连续性机制来在迭代过程中自适应地调节去块子问题对应的噪声等级σk，首先对惩罚参数μk进行更新：
γk+1＝ργk
其中ρ为一个大于1的常数，然后再根据噪声等级与惩罚参数之间的关系：
Figure FDA0002934404320000031
对噪声等级进行更新，λ为正则化参数，当σk越大时qk应该越低，反之亦然，因此创新性的构建了自适应的噪声等级与QF qk参数之间的关系：
qk＝a/(b+σk)
对qk进行更新，其中a，b为正的常数。
CN202110155079.5A 2021-02-04 2021-02-04 深度去块算子驱动的自适应压缩图像复原方法 Active CN114862687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155079.5A CN114862687B (zh) 2021-02-04 2021-02-04 深度去块算子驱动的自适应压缩图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155079.5A CN114862687B (zh) 2021-02-04 2021-02-04 深度去块算子驱动的自适应压缩图像复原方法

Publications (2)

Publication Number Publication Date
CN114862687A CN114862687A (zh) 2022-08-05
CN114862687B true CN114862687B (zh) 2023-05-09

Family

ID=82623468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155079.5A Active CN114862687B (zh) 2021-02-04 2021-02-04 深度去块算子驱动的自适应压缩图像复原方法

Country Status (1)

Country Link
CN (1) CN114862687B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817493A (zh) * 2017-10-25 2018-03-20 电子科技大学 一种基于压缩感知的2d近场合成孔径雷达图像重建方法
CN108304809A (zh) * 2018-02-06 2018-07-20 清华大学 基于震后航拍影像的近实时震损评估方法
CN112150354A (zh) * 2019-06-26 2020-12-29 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN112218094A (zh) * 2019-07-11 2021-01-12 四川大学 一种基于dct系数预测的jpeg图像去压缩效应方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817493A (zh) * 2017-10-25 2018-03-20 电子科技大学 一种基于压缩感知的2d近场合成孔径雷达图像重建方法
CN108304809A (zh) * 2018-02-06 2018-07-20 清华大学 基于震后航拍影像的近实时震损评估方法
CN112150354A (zh) * 2019-06-26 2020-12-29 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN112218094A (zh) * 2019-07-11 2021-01-12 四川大学 一种基于dct系数预测的jpeg图像去压缩效应方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李春 ; 陈静思 ; 王鹏彦 ; 李健 ; 罗泽 ; .基于高阶正则与非光滑数据拟合项的图像边缘检测模型.计算机***应用.2020,(第01期),123-133. *
肖宿 ; .非盲图像复原综述.电脑知识与技术.2013,(第07期),182-184. *

Also Published As

Publication number Publication date
CN114862687A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Jiang et al. An end-to-end compression framework based on convolutional neural networks
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
Yu et al. Deep convolution networks for compression artifacts reduction
Wang et al. D3: Deep dual-domain based fast restoration of JPEG-compressed images
Zhang et al. Adaptive residual networks for high-quality image restoration
Chen et al. DPW-SDNet: Dual pixel-wavelet domain deep CNNs for soft decoding of JPEG-compressed images
CN108900848B (zh) 一种基于自适应可分离卷积的视频质量增强方法
Matakos et al. Accelerated edge-preserving image restoration without boundary artifacts
CN113808032B (zh) 多阶段渐进式的图像去噪算法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN110677651A (zh) 一种视频压缩方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及***
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
Xu et al. Deep sparse representation based image restoration with denoising prior
Xing et al. Residual swin transformer channel attention network for image demosaicing
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
Wu et al. SFHN: spatial-frequency domain hybrid network for image super-resolution
Goto et al. Learning-based super-resolution image reconstruction on multi-core processor
CN114862687B (zh) 深度去块算子驱动的自适应压缩图像复原方法
CN116862795A (zh) 一种基于逐像素退化预测网络的多级去运动模糊方法
CN111489306A (zh) 基于强化学习的图像去噪方法
Amaranageswarao et al. Deep dilated and densely connected parallel convolutional groups for compression artifacts reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant