CN106056556B - 一种块效应抑制的降质模糊图像非盲复原方法 - Google Patents
一种块效应抑制的降质模糊图像非盲复原方法 Download PDFInfo
- Publication number
- CN106056556B CN106056556B CN201610403162.9A CN201610403162A CN106056556B CN 106056556 B CN106056556 B CN 106056556B CN 201610403162 A CN201610403162 A CN 201610403162A CN 106056556 B CN106056556 B CN 106056556B
- Authority
- CN
- China
- Prior art keywords
- image
- blurred
- blocking artifact
- blurred image
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000903 blocking effect Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公布了一种块效应抑制的降质模糊图像非盲复原方法。经过低比特率块编码压缩重构后的降质图像边界会出现明显的块效应,常规的图像复原方法往往难以得到理想的复原结果。本发明提出了一种可以实现JPEG高压缩率下的模糊图像复原方法。在全变分(total variation TV)正则化约束的基础上,增加新的抑制块效应的正则化L2范数约束,保证了在复原图像的过程中逐步抑制块效应带来的负面影响。本发明能够得到兼顾消除块效应与保留图像细节的复原效果。
Description
技术领域
本发明涉及计算机成像技术领域,主要涉及模糊图像经过图像压缩后的图像复原问题。
背景技术
在成像过程中,由于各种因素,比如光学器件缺陷,人为的抖动,大气非均匀性等会造成图像有某些程度的失真和不同程度的降质。相机的成像过程可以描述为理想清晰图像与其他外部影响而造成的模糊核的卷积。人们根据不同的图像退化成因研究了相应的图像复原方法。也相应取得了较为显著的图像质量提升结果。图像复原是二维卷积运算的逆过程,是一个病态问题。从复原方法上,分为已知模糊核的非盲复原算法和未知模糊核的盲复原算法。本发明主要针对已知模糊核的的非盲复原问题。
同时,在很多情况下,受限于存储空间或者实时性等的要求,拍摄后的图像在保存时会为了节省空间而采用有损压缩技术。其中,被最为广泛使用的是JPEG保存格式,这种压缩格式经过低比特率块编码压缩重构后的图像8*8小块边界往往会出现明显的块状效应。这相当于在由于运动等造成的图像模糊退化基础上又进行了进一步的退化,由于块效应破坏了图像的先验信息,直接采用常规的图像复原方法往往难以得到理想的复原结果。对于这一类有块效应存在的模糊图像,无论是在复原前或复原后使用去块效应方法,获得的复原图像结果均有提升空间。
针对这一问题尚未有人进行研究,本发明首次提出了将去块效应算法融合在图像复原的正则化优化框架中,得到了较为明显的复原效果提升。
发明内容
本发明公布了一种基于块效应抑制的压缩降质模糊图像非盲复原方法,其特征在于:在正则化约束的图像复原框架基础上,引入逐点形状自适应的DCT(离散余弦变换)去块效应滤波器。在复原迭代的过程中,增加新的抑制块效应的正则化L2范数约束,保证了在复原图像的过程中逐步抑制块效应带来的负面影响。具体采用以下步骤对具有压缩块的模糊图像进行图像复原:
(1)输入一幅待复原的有压缩块效应的模糊图像b,并且输入该模糊图像对应的模糊核h。
(2)获取压缩图像b的量化表Q。
(3)对待求解的复原图f进行初次迭代求解。
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在f后求解出图像梯度。μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像。分别表示图像的L1与L2范数。
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为可以方便求解的形式,如下式所示
其中,w1,w2为引入的辅助变量。β为迭代过程中的正则化系数,根据本领域的公知常识可知,当β趋向于很大时,式(2)收敛于式(1)。因此,上述问题可以转化为轮转迭代求解,具体的求解过程为:
(3.1)用步骤1输入的模糊图像b作为初始的清晰图像f输入。求解如下问题
该问题的解为
(3.2)用步骤1输入的模糊图像b作为初始的去块效应图像f0输入,并用式(4)得到的wi(i=1,2),求解如下问题
该问题的解为
其中,分别表示图像的傅里叶变换和傅里叶逆变换,“*”表示共轭运算,算符“ο”表示两个矩阵的点乘积。得到的f为下次迭代时(3.1)的输入。
(3.3)利用(3.2)计算得到的f,结合步骤2得到的量化表Q,采用逐点形状自适应DCT滤波器(具体参见Pointwise shape-adaptive DCT for high-quality denoising anddeblocking of grayscale and color images),对其进行块效应消除,得到的图像为下次迭代时式(6)的f0。
(4)利用得到的f,f0,w1,w2,并更新β值为其原值的2倍,重复步骤(3.1)~(3.3),不断得到优化的清晰图像f,经过6~10次的轮转迭代后,得到最终的复原结果。
本发明的有益效果:本发明首次将去块效应与图像去模糊结合考虑,在原变分(TV)正则化复原框架的基础上加入了块效应抑制约束。本发明既能抑制复原过程中的块效应被放大,又能防止为了抑制快效应而丢失掉相当的复原图像细节。提升了模糊图像在有较高压缩比的情况下的复原效果。
附图说明
图1为本发明的算法流程示意图。
图2为仿真实验中所用具有压缩块效应的模糊退化图像。
图3为仿真实验中对图2中部分区域进行放大。
图4为仿真实验中不考虑块效应抑制的复原结果图。
图5为仿真实验中采用本发明算法得到的复原结果图。
具体实施方式
以下结合附图并以一个具体实例对本发明做进一步说明。
参照图1,本发明的算法流程步骤如下:
步骤1:输入模糊图像,并且输入该模糊图像对应的模糊核h。
选定清晰的lena图像,仿真模糊核为45度方向的15像素线性运动,两者卷积得到仿真模糊图像。然后,仿真块压缩效应。在保存模糊图像时,选择jpeg图像保存品质值为40(100为无损压缩)。得到的仿真有压缩块效应的模糊图像如图2所示,放大后的部分图像如图3所示,可以看出明显的块状效应。
步骤2:获取压缩图像b的量化表Q。
步骤3:求解优化问题,对当前待求解复原图f进行初次迭代求解。
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在f后表示图像两个方向的梯度。μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像。分别表示图像的L1与L2范数。在本仿真算例中,μ取2000,ξ取100。
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为可以方便求解的形式,如下式所示
其中,w1,w2为引入的辅助变量。β为迭代过程中的正则化系数。该问题可以转化为轮转迭代求解,具体的求解过程为:
首先令β=1,用输入的模糊图像b作为初始的清晰图像f输入,利用如下公式求解两个辅助变量的值。
用仿真的模糊图像b作为初始的去块效应图像f0,并用求出的辅助变量值wi(i=1,2),利用如下公式求出本次迭代估计出的清晰图像。
再结合量化表Q,采用采用逐点形状自适应DCT滤波器,对其进行块效应消除,得到的图像为下次迭代时式(10)的f0。
步骤4:循环迭代
令β→2β,用上次迭代得到的清晰图像作为清晰图像f,以及块效应抑制后的f0,继续重复求解上面的问题。在本仿真算例中,迭代次数选择6次,得到复原结果,如图5所示。
为了说明加入块效应抑制正则化项的作用,采用相同的迭代次数与正则化系数,但是去掉块效应约束项后得到的复原结果如图4所示。可以看到,复原图像中的块效应被一定程度放大,导致复原图像的分辨率下降,目视效果不佳。
对比没有加入块效应抑制的图4,图5复原结果的图像模糊程度有了明显的改善,原仿真模糊图中存在的块效应也得到了较好的抑制。
Claims (1)
1.一种块效应抑制的降质模糊图像非盲复原方法,其特征在于,采用以下步骤对存在较高压缩比的降质模糊图像进行复原:
(1)输入一幅待复原的有压缩块效应的模糊图像b,并且输入该模糊图像对应的模糊核h;
(2)获取模糊图像b的量化表Q;
(3)对待求解的清晰图像f进行初次迭代求解:
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在清晰图像f后表示图像两个方向的梯度;μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像;分别表示图像的L1与L2范数;
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为方便求解的形式,如下式所示:
其中,w1,w2为引入的两个辅助变量;β为迭代过程中的正则化系数,求解过程如下:
(3.1)用步骤(1)输入的模糊图像b作为初始的清晰图像f输入;求解如下问题
该问题的解为:
(3.2)用步骤(1)输入的模糊图像b作为初始的去块效应图像f0输入,并用式(4)得到的wi(i=1,2),求解如下问题:
该问题的解为:
其中,分别表示图像的傅里叶变换和傅里叶逆变换,“*”表示共轭运算,算符表示两个矩阵的点乘积;得到的f为下次迭代时步骤(3.1)的输入;
(3.3)利用步骤(3.2)计算得到的f,结合步骤(2)得到的量化表Q,采用逐点形状自适应DCT滤波器,对其进行块效应消除,得到的图像为下次迭代时式(6)的f0;
(4)利用得到的f,f0,w1,w2,并更新β值为其原值的2倍,重复步骤(3.1)~(3.3),不断得到优化的清晰图像f,经过6~10次的轮转迭代后,得到最终的复原结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610403162.9A CN106056556B (zh) | 2016-06-07 | 2016-06-07 | 一种块效应抑制的降质模糊图像非盲复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610403162.9A CN106056556B (zh) | 2016-06-07 | 2016-06-07 | 一种块效应抑制的降质模糊图像非盲复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106056556A CN106056556A (zh) | 2016-10-26 |
CN106056556B true CN106056556B (zh) | 2018-12-07 |
Family
ID=57171137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610403162.9A Expired - Fee Related CN106056556B (zh) | 2016-06-07 | 2016-06-07 | 一种块效应抑制的降质模糊图像非盲复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106056556B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504213A (zh) * | 2016-11-03 | 2017-03-15 | 北京航星机器制造有限公司 | 一种非盲卷积运动模糊图像复原方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521796A (zh) * | 2011-10-31 | 2012-06-27 | 南京大学 | 一种基于曲波变换的图像去块效应方法 |
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101265956B1 (ko) * | 2007-11-02 | 2013-05-22 | 삼성전자주식회사 | 블록 기반의 영상 복원 시스템 및 방법 |
-
2016
- 2016-06-07 CN CN201610403162.9A patent/CN106056556B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521796A (zh) * | 2011-10-31 | 2012-06-27 | 南京大学 | 一种基于曲波变换的图像去块效应方法 |
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及*** |
Non-Patent Citations (3)
Title |
---|
Alessandro Foi等.Pointwise Shape-Adaptive DCT for High-Quality Denoising and Deblocking of Grayscale and Color Images.《 IEEE Transactions on Image Processing》.2007,第16卷(第5期),第1-17页. * |
Giacomo Boracchi等.Deblurring noisy radial-blurred images:spatially adaptive filtering approach.《 Image Processing: Algorithms and Systems》.2008,第1-12页. * |
自适应阈值的超变分正则化图像盲复原;周箩鱼等;《光学精密工程》;20121231;第20卷(第12期);第2759-2767页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106056556A (zh) | 2016-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Linearized Bregman iterations for frame-based image deblurring | |
CN105096280B (zh) | 处理图像噪声的方法及装置 | |
CN104992415B (zh) | 一种基于全变差和小波变换的图像去噪方法及*** | |
Zhai et al. | Efficient deblocking with coefficient regularization, shape-adaptive filtering, and quantization constraint | |
WO2002102086A2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
KR101362011B1 (ko) | 링잉 아티펙트없는 블러 제거 방법 | |
CN109360157B (zh) | 基于tv和小波正则化的空间变化模糊图像复原方法 | |
CN111105357B (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
Quijas et al. | Removing JPEG blocking artifacts using machine learning | |
CN106056556B (zh) | 一种块效应抑制的降质模糊图像非盲复原方法 | |
Rakhshanfar et al. | Low-frequency image noise removal using white noise filter | |
Sadreazami et al. | Data-adaptive color image denoising and enhancement using graph-based filtering | |
Ono et al. | Optimized JPEG image decompression with super-resolution interpolation using multi-order total variation | |
Najgebauer et al. | Fully convolutional network for removing dct artefacts from images | |
Muthukumar et al. | An efficient color image denoising method for Gaussian and impulsive noises with blur removal | |
CN114173130B (zh) | 一种适用于低码率条件的深度神经网络的环路滤波方法 | |
Yoo et al. | Post processing for blocking artifact reduction | |
Jiang et al. | Oriented total variation l1/2 regularization | |
Erfanian Ebadi et al. | Uhd video super-resolution using low-rank and sparse decomposition | |
CN108989812B (zh) | 一种基于图像压缩的去块效应方法 | |
US8768089B2 (en) | System and method for filtering an image | |
Jang et al. | Iterative blocking artifact reduction using a minimum mean square error filter in wavelet domain | |
Xiao et al. | Single image super-resolution in compressed domain based on field of expert prior | |
Oberlin et al. | Loss functions for denoising compressed images: a comparative study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181207 Termination date: 20210607 |