CN103514582A - 基于视觉显著的图像去模糊方法 - Google Patents
基于视觉显著的图像去模糊方法 Download PDFInfo
- Publication number
- CN103514582A CN103514582A CN201210214195.0A CN201210214195A CN103514582A CN 103514582 A CN103514582 A CN 103514582A CN 201210214195 A CN201210214195 A CN 201210214195A CN 103514582 A CN103514582 A CN 103514582A
- Authority
- CN
- China
- Prior art keywords
- image
- saliency
- conspicuousness
- fuzzy core
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种基于视觉显著的图像去模糊方法,根据视觉注意机制,首先利用图像是否清晰为显著性条件对待处理图像进行显著性划分,即显著性部分和非显著性部分;然后,对非显著性部分进行模糊核估计得到图像的模糊核K;最后,引入补偿机制,使得到的模糊核应用在整幅待处理图像中,同时使得显著性部分的边缘无振铃效应,进而得到去模糊后图像。本发明基于视觉注意的显著性研究,通过其显著图将模糊图像划分为两部分,显著性部分与非显著性部分,仅估计非显著性部分的模糊核,即仅对模糊图像的模糊部分进行处理,保持其较为清晰的部分。这样就可避免模糊图像因为不同部分的模糊程度及模糊方向的不同,而用同一估计模糊核处理带来的影响。
Description
技术领域
本发明涉及一种图像复原领域的去模糊方法,具体地说是涉及一种应用在单幅图像,并基于视觉注意机制的显著性研究的图像去模糊方法,能高效快速地实现模糊图像的去模糊。
背景技术
在单幅图像去模糊技术中,模糊图像不止包含了模糊所造成的图像退化部分,还包括噪声所造成的图像退化部分。因此,首先去除噪声就是一大难点,因为图像的细节信息被噪声给掩盖,贸然地去除噪声过程必然会对图像的细节信息造成破坏,导致最终的求解结果的严重退化;与此同时,基于单幅图像的去模糊也要面临两个问题——点扩散函数(模糊核)的估计以及一个高质量的图像去卷积过程。根据实验表明,即便点扩散函数(模糊核)已经评估的非常完美了,如果直接用来去卷积的话,也会造成非常严重的振铃现象;同时当图像各处的模糊轨迹不一样时,也会导致去模糊效果不佳。因此如何快速高效地实现图像的去模糊,同时拥有很好的去模糊效果,是一个值得研究的课题。
单幅图像去模糊算法是一种病态性的问题。因为我们已知的信息并不足以使得我们获得精确的结果。为快速高效地实现图像的去模糊,已经有很多方法对于运动模糊给了一些限制性的假设,例如假设运动模糊为参数化的线性运动,现在技术中存在以下几种方法:
1)假设运动模糊是各向同性的;
2)利用自然图像统计的变分贝叶斯方法;
3)利用alpha matting获得的模糊信息去估计了每个像素点的模糊核;
4)利用透明度(transparency) 变化的alpha matte 来估计模糊核。
5)利用一系列的优化技术做到了很好的去模糊算法。
上述的这些方法虽然也实现了图像的去模糊,但是在保证普适性和高效性情况下,还存在着相当的缺陷。
发明内容
本发明的目的是提供一种在不影响图像去模糊质量的情况下,有效减少运行时间和具有普适性的基于视觉显著的图像去模糊方法。
为实现上述目的,本发明采用以下技术方案:
一种基于视觉显著的图像去模糊方法,根据视觉注意机制,首先利用图像是否清晰为显著性条件对待处理图像进行显著性划分,即显著性部分和非显著性部分;然后,对非显著性部分进行模糊核估计得到图像的模糊核K;最后,引入补偿机制,使得到的模糊核应用在整幅待处理图像中,同时使得显著性部分的边缘无振铃效应,进而得到去模糊后图像。
对非显著性部分进行模糊核估计得到图像的模糊核K包括以下步骤:
①预测:首先计算真实图像L沿x和y方向梯度映射{Px , Py },以预测在进行平滑区域抑制噪声后的真实图像L的显著边缘;其中,初始迭代的真实图像L由给定的模糊图像B所获得的,除了初始迭代之外的真实图像L,为前一次迭代中去卷积步骤之后获得的真实图像L;
②模糊核K估计:利用预测后的梯度映射{Px , Py }以及给定模糊图像B的梯度映射来估计模糊核K;
③去卷积:由所得的模糊核K和给定模糊图像B来获得真实图像L。
所述的预测步骤包含双边滤波器处理,冲激滤波器处理以及梯度幅值阈值化处理过程;首先在真实图像L上运用双边滤波器以减少噪声以及小细节;接着使用冲激滤波器对真实图像L进行锐利边缘恢复。
在得到最粗糙的模糊核K的阶段,对给定模糊图像B进行降采样以开始预测步骤;而在得到更加精细的模糊核K的阶段,将粗糙阶段获得的真实图像L通过双线性内插方式进行升采样,以进行更加精细的阶段的迭代。
采用上述技术方案的本发明,基于视觉注意的显著性研究,通过其显著图将模糊图像划分为两部分,显著性部分与非显著性部分,仅估计非显著性部分的模糊核,即仅对模糊图像的模糊部分进行处理,保持其较为清晰的部分。这样就可避免模糊图像因为不同部分的模糊程度及模糊方向的不同,而用同一估计模糊核处理带来的影响。另外,在图像非显著性部分模糊核估计步骤中,引入预测机制对模糊图像进行双边滤波器、冲激滤波器及梯度幅值阈值化处理,即可尽可能恢复图像边缘的锐利性以及在平滑区域抑制噪声,减少振铃现象。此外,在对于模糊核估计时,通过利用图像梯度而不是像素值来获得加速的效果,实验表明,该算法能在缩短处理时间上有很大的提高。且引入补偿机制,即使得原有的模糊图像由非空间不变运动模糊转化为空间不变运动模糊,使得预测的模糊核可以在整幅图像中使用,同时使得显著性部分的边缘无振铃效应,进而可以对整幅图像进行去模糊操作。
附图说明
图1为本发明的基于显著性的图像去模糊算法流程图。
图2为本发明中快速去模糊算法框图。
图3为本发明实验结果中原有图像。
图4为本发明实验结果中显著图。
图5为本发明实验结果中通过补偿机制获得的全局模糊图。
图6为本发明实验结果中去模糊后的结果图。
具体实施方式
本发明根据视觉注意机制,首先利用图像是否清晰为显著性条件对待处理图像进行显著性划分,得到显著性部分和非显著性部分。本实施例中,采用基于频率域的显著性提取算法,获得所需显著性图。本发明之所以提出基于视觉显著的图像去模糊方法,是因为图像中的不同分块会有模糊程度上的差异或者模糊方向上的差异,其次即使通过不同模糊中的一个区块估计出了一个模糊核,利用这个模糊核对整幅图像进行去卷积算法也只会使得未模糊的部分的效果变得更差。
显著性划分后,即可得到去除显著性部分的非显著性部分图像,然后对于该部分就可以运用快速去模糊算法进行模糊核估计,而对于显著性部分在引入补偿机制时用到。由于非显著性部分的模糊是空间不变的且矩形图像是比较好处理的,故可以在此处理该部分最大的矩形连通域,并且由于该部分模糊形式单一,所以可以完全由最大的矩形连通域估算出的模糊核当作整个非显著性部分的模糊核。
进行模糊核估计是为了逐步精细模糊核K,此算法迭代以下三个步骤:预测、模糊核估计以及去卷积,如图2所示。该算法是一种基于单幅图像估算运动模糊核与真实图像的盲去卷积算法,且引入了预测机制以及利用了图像梯度而不是其像素值。
在预测步骤中,首先计算真实图像L沿x和y方向梯度映射{Px , Py },以预测在进行平滑区域抑制噪声后的真实图像L的显著边缘。其中,初始迭代的真实图像L由给定的模糊图像B所获得的,除了初始迭代之外的真实图像L,为前一次迭代中去卷积步骤之后获得的真实图像L。在模糊核估计步骤中,利用预测后的梯度映射{Px , Py }以及给定模糊图像B的梯度映射来估计模糊核K。在去卷积步骤中,由获得的模糊核K和给定的模糊图像B来获得真实图像L。而这里获得的真实图像L又将在下一次迭代的预测步骤中所运用到。为了使效果更好以及更加有效率地估计模糊核K和真实图像L,引入一种“由粗糙到精细”的机制。在最粗糙的阶段时,对给定模糊图像B进行降采样以开始预测步骤。而在粗糙阶段获得的L,通过双线性内插方式进行升采样,以进行更加精细的阶段的迭代。
预测步骤包含着双边滤波器处理,冲激滤波器处理以及梯度幅值阈值化处理过程。首先在L上运用双边滤波器以减少噪声以及小细节。接着使用冲激滤波器对L进行锐利边缘恢复。而经过冲击滤波器后获得的L '则包含着强化了的边缘以及加大的了噪声,通过计算和阈值化L '的梯度映射{∂ x L ' , ∂ y L '},而截断后的梯度映射{Px , Py }则给出了预测步骤的最后结果。引入预测机制可以尽可能恢复图像边缘的锐利性以及在平滑区域抑制噪声,减少振铃现象。
在对于模糊核估计时,通过利用图像梯度而不是像素值来获得加速的效果,实验表明,利用图像梯度能缩短处理所需时间。
接着引入补偿机制,即使得原有的模糊图像由非空间不变运动模糊转化为空间不变运动模糊,使得预测的模糊核可以在整幅图像中使用,同时使得显著性部分的边缘无振铃效应,进而可以对整幅图像进行去模糊操作。如图1所示,根据非显著性部分(背景)估计的模糊核将显著性部分(前景)模糊,此时和非显著性部分(背景)结合为一整幅模糊图像,然后再用估计的模糊核进行反卷积运算得到去模糊后的图像。
Claims (4)
1.一种基于视觉显著的图像去模糊方法,其特征在于:根据视觉注意机制,首先利用图像是否清晰为显著性条件对待处理图像进行显著性划分,即显著性部分和非显著性部分;然后,对非显著性部分进行模糊核估计得到图像的模糊核K;最后,引入补偿机制,使得到的模糊核应用在整幅待处理图像中,同时使得显著性部分的边缘无振铃效应,进而得到去模糊后图像。
2.根据权利要求1所述的基于视觉显著的图像去模糊方法,其特征在于:对非显著性部分进行模糊核估计得到图像的模糊核K包括以下步骤:
①预测:首先计算真实图像L沿x和y方向梯度映射{Px ,Py },以预测在进行平滑区域抑制噪声后的真实图像L的显著边缘;其中,初始迭代的真实图像L由给定的模糊图像B所获得的,除了初始迭代之外的真实图像L,为前一次迭代中去卷积步骤之后获得的真实图像L;
②模糊核K估计:利用预测后的梯度映射{Px ,Py }以及给定模糊图像B的梯度映射来估计模糊核K;
③去卷积:由所得的模糊核K和给定模糊图像B来获得真实图像L。
3.根据权利要求2所述的基于视觉显著的图像去模糊方法,其特征在于:所述的预测步骤包含双边滤波器处理,冲激滤波器处理以及梯度幅值阈值化处理过程;首先在真实图像L上运用双边滤波器以减少噪声以及小细节;接着使用冲激滤波器对真实图像L进行锐利边缘恢复。
4.根据权利要求2所述的基于视觉显著的图像去模糊方法,其特征在于:在得到最粗糙的模糊核K的阶段,对给定模糊图像B进行降采样以开始预测步骤;而在得到更加精细的模糊核K的阶段,将粗糙阶段获得的真实图像L通过双线性内插方式进行升采样,以进行更加精细的阶段的迭代。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210214195.0A CN103514582A (zh) | 2012-06-27 | 2012-06-27 | 基于视觉显著的图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210214195.0A CN103514582A (zh) | 2012-06-27 | 2012-06-27 | 基于视觉显著的图像去模糊方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103514582A true CN103514582A (zh) | 2014-01-15 |
Family
ID=49897262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210214195.0A Pending CN103514582A (zh) | 2012-06-27 | 2012-06-27 | 基于视觉显著的图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103514582A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985095A (zh) * | 2014-05-20 | 2014-08-13 | 北京理工大学 | 基于显著结构度量模型的图像平滑方法 |
CN105574866A (zh) * | 2015-12-15 | 2016-05-11 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
CN105574823A (zh) * | 2015-12-14 | 2016-05-11 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
WO2017100971A1 (zh) * | 2015-12-14 | 2017-06-22 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
CN107784631A (zh) * | 2016-08-24 | 2018-03-09 | 中安消物联传感(深圳)有限公司 | 图像去模糊方法及装置 |
CN107870715A (zh) * | 2016-09-27 | 2018-04-03 | 三星电子株式会社 | 用于提供增强现实图像的方法和装置以及记录介质 |
CN108510453A (zh) * | 2018-03-07 | 2018-09-07 | 西安工程大学 | 基于视觉注意机制的智能交通监控图像去模糊方法 |
CN109029270A (zh) * | 2018-08-17 | 2018-12-18 | 浙江大丰实业股份有限公司 | 舞台台面位移监测平台 |
CN110033415A (zh) * | 2019-03-20 | 2019-07-19 | 东南大学 | 一种基于Retinex算法的图像去模糊方法 |
CN110503611A (zh) * | 2019-07-23 | 2019-11-26 | 华为技术有限公司 | 图像处理的方法和装置 |
CN110782401A (zh) * | 2019-09-23 | 2020-02-11 | 浙江大华技术股份有限公司 | 图像去模糊方法以及相关装置 |
CN112215773A (zh) * | 2020-10-12 | 2021-01-12 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
CN113313655A (zh) * | 2021-06-28 | 2021-08-27 | 合肥工业大学 | 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101406041A (zh) * | 2006-05-08 | 2009-04-08 | 三菱电机株式会社 | 减少场景图像模糊的方法和场景图像去模糊方法 |
US20110229044A1 (en) * | 2010-03-16 | 2011-09-22 | Novatek Microelectronics Corp. | Hierarchical motion deblurring method for single image |
-
2012
- 2012-06-27 CN CN201210214195.0A patent/CN103514582A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101406041A (zh) * | 2006-05-08 | 2009-04-08 | 三菱电机株式会社 | 减少场景图像模糊的方法和场景图像去模糊方法 |
US20110229044A1 (en) * | 2010-03-16 | 2011-09-22 | Novatek Microelectronics Corp. | Hierarchical motion deblurring method for single image |
Non-Patent Citations (2)
Title |
---|
BING ZHOU 等: "Image Deblurring Based On Visual Saliency", 《 2012 INTERNATIONAL CONFERENCE ON SYSTEMS AND INFORMATICS (ICSAI)》, 20 May 2012 (2012-05-20), pages 1919 - 1922, XP032192901, DOI: doi:10.1109/ICSAI.2012.6223423 * |
杨勇杰: "运动模糊图像恢复方法", 《万方学位论文数据库》, 31 May 2010 (2010-05-31), pages 19 - 25 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985095B (zh) * | 2014-05-20 | 2016-08-24 | 北京理工大学 | 基于显著结构度量模型的图像平滑方法 |
CN103985095A (zh) * | 2014-05-20 | 2014-08-13 | 北京理工大学 | 基于显著结构度量模型的图像平滑方法 |
CN105574823A (zh) * | 2015-12-14 | 2016-05-11 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
WO2017100971A1 (zh) * | 2015-12-14 | 2017-06-22 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
CN105574823B (zh) * | 2015-12-14 | 2018-10-09 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
CN105574866A (zh) * | 2015-12-15 | 2016-05-11 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
CN106097256B (zh) * | 2016-05-31 | 2019-01-01 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
CN107784631A (zh) * | 2016-08-24 | 2018-03-09 | 中安消物联传感(深圳)有限公司 | 图像去模糊方法及装置 |
CN107784631B (zh) * | 2016-08-24 | 2020-05-05 | 深圳市豪恩安全科技有限公司 | 图像去模糊方法及装置 |
CN107870715B (zh) * | 2016-09-27 | 2021-05-18 | 三星电子株式会社 | 用于提供增强现实图像的方法和装置以及记录介质 |
CN107870715A (zh) * | 2016-09-27 | 2018-04-03 | 三星电子株式会社 | 用于提供增强现实图像的方法和装置以及记录介质 |
CN108510453A (zh) * | 2018-03-07 | 2018-09-07 | 西安工程大学 | 基于视觉注意机制的智能交通监控图像去模糊方法 |
CN108510453B (zh) * | 2018-03-07 | 2021-06-29 | 西安工程大学 | 基于视觉注意机制的智能交通监控图像去模糊方法 |
CN109029270B (zh) * | 2018-08-17 | 2020-11-27 | 浙江大丰实业股份有限公司 | 舞台台面位移监测平台 |
CN109029270A (zh) * | 2018-08-17 | 2018-12-18 | 浙江大丰实业股份有限公司 | 舞台台面位移监测平台 |
CN110033415A (zh) * | 2019-03-20 | 2019-07-19 | 东南大学 | 一种基于Retinex算法的图像去模糊方法 |
CN110503611A (zh) * | 2019-07-23 | 2019-11-26 | 华为技术有限公司 | 图像处理的方法和装置 |
CN110782401B (zh) * | 2019-09-23 | 2022-09-06 | 浙江大华技术股份有限公司 | 图像去模糊方法以及相关装置 |
CN110782401A (zh) * | 2019-09-23 | 2020-02-11 | 浙江大华技术股份有限公司 | 图像去模糊方法以及相关装置 |
CN112215773A (zh) * | 2020-10-12 | 2021-01-12 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
CN112215773B (zh) * | 2020-10-12 | 2023-02-17 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
CN113313655A (zh) * | 2021-06-28 | 2021-08-27 | 合肥工业大学 | 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 |
CN113313655B (zh) * | 2021-06-28 | 2022-09-23 | 合肥工业大学 | 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103514582A (zh) | 基于视觉显著的图像去模糊方法 | |
CN103942758B (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
JP5342068B2 (ja) | 多重フレームへのアプローチ方法および画像アップスケール処理システム | |
CN107749987B (zh) | 一种基于块运动估计的数字视频稳像方法 | |
CN105184743B (zh) | 一种基于非线性导向滤波的图像增强方法 | |
Zheng et al. | Wavelet based nonlocal-means super-resolution for video sequences | |
CN106169173B (zh) | 一种图像插值方法 | |
CN105447828B (zh) | 沿运动模糊路径进行一维反卷积的单视点图像去模糊方法 | |
CN103310430A (zh) | 对非均匀运动模糊进行去模糊的方法和设备 | |
CN108765288B (zh) | 一种基于边缘保持的pocs图像超分辨重建方法 | |
Vijayanagar et al. | Refinement of depth maps generated by low-cost depth sensors | |
CN102236887A (zh) | 基于旋转差分和加权总变分的运动模糊图像复原方法 | |
CN100525452C (zh) | 用于图像稳定的频域快速亚像素全局运动估计方法 | |
CN110930324A (zh) | 一种模糊星图复原方法 | |
WO2015085637A1 (zh) | 一种视频中的台标区域的内容补绘方法 | |
CN111626943B (zh) | 基于一阶前向后向算法的全变分图像去噪方法 | |
Zhu et al. | Dast-net: Depth-aware spatio-temporal network for video deblurring | |
CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
CN105279742A (zh) | 一种快速的基于分块噪声能量估计的图像去噪方法 | |
CN116895037A (zh) | 基于边缘信息和多尺度交叉融合网络的帧***方法及*** | |
CN105825480A (zh) | 一种基于蓝宝石表面缺损自动化检测的图像去模糊方法 | |
CN112069870A (zh) | 一种适用于车辆识别的图像处理方法及装置 | |
He et al. | Joint motion deblurring and superresolution from single blurry image | |
Zhang | Image motion deblurring based on salient structure selection and L0-2 norm kernel estimation | |
Chong et al. | Blur identification based on maxima locations for color image restoration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140115 |
|
RJ01 | Rejection of invention patent application after publication |