CN106960417A - 一种基于图像显著结构的噪声模糊图像盲目反卷积方法 - Google Patents

Abstract

本发明公开一种基于图像显著结构的噪声模糊图像盲目反卷积方法。包括以下步骤：输入待去模糊的图像数据；对输入图像数据进行降噪预处理；对降噪预处理后的图像进行显著边缘提取；对显著边缘提取后的图像进行Shock滤波重建图像强边缘；利用图像强边缘计算用于模糊核估计的图像显著边缘；初始模糊核估计；利用所估计的初始模糊核进行粗略图像复原；对粗略图像复原后的基于ISD的模糊核修正；图像复原。本发明可有效地处理图像去模糊对噪声敏感问题，准确地估计出噪声模糊图像的模糊核，并给出高质量的复原图像。

Description

一种基于图像显著结构的噪声模糊图像盲目反卷积方法

技术领域

本发明涉及计算机视觉和数字图像处理领域，具体的说是一种基于图像显著结构的噪声模糊图像盲目反卷积方法。

背景技术

单幅图像盲目反卷积是图像处理和计算机视觉领域的一个最基本的研究问题，一直是研究的热点和难点，其应用已深入到目标识别、遥感成像、医学图像处理和消费级摄像多个领域。单幅图像盲目反卷积问题本质上属于数学中的病态反问题。对其求解通常是先估计模糊核，将反卷积问题转换成线性图像复原问题，然后通过非盲目解卷积方法恢复清晰图像，这样可获得更好的效果。在非盲目解卷积过程中，模糊核估计的准确性直接影响图像恢复质量。因此，对单幅图像盲目反卷积问题而言，找到一个相对准确的模糊核估计值至为关键。近年来，单幅图像盲目反卷积得到了充分研究，许多有效方法相继被提出。在输入图像无噪声沾染的假设前提下，这些方法获得了相当成功的图像重建质量。然而，随着输入图像噪声增加，已存在方法的性能迅速退化甚至失效。

发明内容

为克服目前单幅图像盲目卷积技术在处理噪声模糊图像上的不足，本发明提供了一种基于图像显著结构的噪声模糊图像盲目反卷积方法，该方法在合成和真实图像数据集上都更准确地估计出噪声模糊图像的模糊核，获得高质量的去模糊图像。

本发明为实现上述目的所采用的技术方案是：一种基于图像显著结构的噪声模糊图像盲目反卷积方法，包括以下步骤：

步骤1，输入待去模糊的图像数据；

步骤2，对输入图像数据进行降噪预处理；

步骤3，对降噪预处理后的图像或经步骤7处理后的粗略复原图像进行显著边缘提取；

步骤4，对显著边缘提取后的图像进行Shock滤波重建图像强边缘；

步骤5，利用图像强边缘计算用于模糊核估计的图像显著边缘；

步骤6，初始模糊核估计；

步骤7，利用所估计的初始模糊核进行粗略图像复原；

步骤8，判断模糊核估计是否达到预设阈值条件，若是，则执行步骤9，否则返回步骤3；

步骤9，对模糊核初始估计进行基于ISD的修正；

步骤10，图像复原。

所述降噪预处理通过BM3D滤波完成。

所述显著边缘提取利用图像结构-纹理分解方法实现，具体为：对于图像l，其图像结构通过最小化代价函数

获得。其中，θ为可调节参数；l_s表示显著边缘提取的图像结构；▽l_s表示图像l_s的一阶偏导数；ω(x)表示像素x的自适应权重，即ω(x)＝exp(-||r(x)||^0.8)；r(x)代表用于模糊核估计边缘选择的一种图像梯度置信度量，即▽l(y)表示图像l的一阶偏导数，N_h(x)表示以像素x为中心的、大小为h×h像素的图像窗口。

所述对显著边缘提取后的图像进行Shock滤波重建图像强边缘，通过下式进行

其中，l_s表示显著边缘提取的图像结构；表示图像强边缘；和分别是图像的一阶和二阶偏导数；t是偏微分方程的时间变量。

所述利用图像强边缘计算用于模糊核估计的图像显著结构，具体为：

其中，代表图像强边缘；▽S代表图像显著结构；о代表像素间点乘操作；H(M,τ)为单位二值掩膜函数；τ为图像梯度模阈值；

所述初始模糊核估计通过最小化代价函数

获得；其中，γ和μ分别表示正则化和平滑约束权重；▽b表示降噪预处理后模糊图像的一阶偏导数(即梯度图像)；▽S为步骤5得到的图像显著结构；k表示模糊核；为模糊核平滑约束L₀项，k(x,y)＝k；0＜α≤1。

采用Hyper-Laplacian分布作为模糊核的先验分布，同时引入基于梯度最小化的图像平滑方法，对模糊核进行平滑处理，改善模糊核估计值的连续性。

所述利用所估计的初始模糊核进行粗略图像复原，具体采用基于全总变分正则化模型实现，即

其中，λ_l表示TV正则项权重；b表示降噪预处理后模糊图像；l表示复原图像，k表示模糊核；▽l表示图像l的一阶导数。

所述对模糊核初始估计进行基于ISD的修正，具体为：

在每次迭代开始，取先前估计模糊核kⁱ中较大值元素组成集合Sⁱ⁺¹，而其它元素属于集合其中Sⁱ⁺¹被定义为：

其中，j用于指示模糊核kⁱ中的元素；∈^S为一正数。

假设模糊核大小为h×w，设计∈^S＝7×||kⁱ||_∞/(2h×w×N_iter)，N_iter为迭代次数；通过最小化代价函数

完成模糊核细化；其中，▽S和k分别表示步骤3～7最终输出的图像显著边缘和模糊核。

所述图像复原选择降噪预处理后的模糊图像作为输入图像，并采用基于稀疏先验的非盲目解卷积方法完成，最终的图像复原代价函数为：

其中，b₀代表经降噪预处理后的模糊图像；k′为步骤7得到的模糊核；α＝0.8；

本发明可有效地处理图像去模糊对噪声敏感问题，准确地估计出噪声模糊图像的模糊核，并给出高质量的复原图像。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明首先通过降噪预处理对图像噪声进行抑制,利用基于全总变分模型的方法提取模糊图像的显著结构,进而运用梯度选择方法移除不利于模糊核估计的显著边缘,提高模糊核估计的鲁棒性；然后采取两阶段模糊核估计策略,运用基于图像显著结构的模糊核估计方法和ISD技术实现模糊核的准确估计；最后通过稀疏先验约束的非盲目图像解卷积方法完成最终的图像复原。

在图1中，采用BM3D滤波对输入模糊图像做降噪平滑预处理后，采用两阶段模糊核估计策略，实现模糊核从粗到细的准确估计。第一阶段估计粗略的模糊核初值：提取输入图像的显著边缘，接着应用Shock滤波重建图像强边缘，保留具有较大的模糊核初值用于模糊核初值估计。第二阶段模糊核初值的细化：利用ISD技术对模糊核初值做进一步处理，得到相对准确的模糊核估计。最后通过基于稀疏先验约束的非盲目图像解卷积方法完成最终的图像复原。具体步骤如下：

单幅图像盲目反卷积问题中，图像退化过程通常被模型化为b＝l*k+n。其中，b表示观测到的噪声模糊图像；l，k和n分别代表原始清晰图像、模糊核与高斯白噪声；*是卷积符号。

步骤1.输入图像数据。

在单幅噪声模糊图像盲目反卷积***中输入待去模糊的图像数据。

步骤2.噪声抑制。

通过BM3D滤波对输入噪声模糊图像进行降噪预处理。

步骤3.显著边缘提取。

利用图像结构-纹理分解方法实现图像显著边缘提取，对于图像l，其图像结构可通过最小化代价函数

获得。其中，θ为可调节参数；l_s表示提取的图像结构；ω(x)表示像素x的自适应权重，即ω(x)＝exp(-||r(x)||^0.8)；r(x)代表用于模糊核估计边缘选择的一种图像梯度置信度量，即N_h(x)表示以像素x为中心、大小为h×h像素的图像窗口。通常，在图像平坦区域θ宜取较大值，靠近图像边缘区域取较小值，以抑制图像结构提取时在平坦区域可能引起的阶梯效应。r(x)用于移除破坏模糊核估计的图像边缘。小r值代表局部图像区域是平坦的或存在无效的尖状图像结构，而大r值表示局部图像区域存在图像强边缘。这里将图像梯度置信度量用于构造自适应权重ω(x)，对参数θ进行自适应调整，同时也对图像平坦区域和尖状图像结构具有较强的惩罚作用。

步骤4.Shock滤波。

提取图像结构l_s后，对l_s进行Shock滤波重建图像强边缘

其中，和分别是图像的一阶和二阶偏导数；t是偏微分方程的时间变量。

步骤5.显著边缘选择。

利用计算用于模糊核估计的图像显著边缘▽S，即

其中，о代表像素间点乘操作；H(M,τ)为单位二值掩膜函数；τ为图像梯度模阈值；

步骤6.初始模糊核估计。

采用Hyper-Laplacian分布作为模糊核的先验分布，同时引入基于L₀梯度最小化的图像平滑方法，对模糊核进行平滑处理，改善模糊核估计值的连续性。初始模糊核估计可通过最小化代价函数

获得。其中，γ和μ分别表示正则化和平滑约束权重；▽b表示降噪预处理后模糊图像的一阶偏导数(即梯度图像)；▽S为步骤5得到的图像显著结构；k表示模糊核；为模糊核平滑约束L₀项，k(x,y)＝k；0＜α≤1。

步骤7.粗略图像复原。

利用所估计的初始模糊核进行粗略图像复原，将粗略复原图像作为下一次模糊核估计的模糊图像输入。具体采用基于全总变分(total variation，TV)正则化模型实现，即

其中，λ_l表示TV正则项权重，典型值取0.1。该模型采用IRLS方法求解，外层迭代取2次，内层共轭梯度算法采用100次迭代。

步骤8.迭代阈值判断。

为了获得更好的模糊核初始估计，步骤3～7基于图像金字塔分解(图像下采样系数取)的多尺度模糊核估计框架实现，完成初始模糊核从粗到细的渐进估计。判断所估计模糊核是否达到预设阈值条件进行判断，若是，则执行步骤9，否则返回步骤3。

步骤9.基于ISD的模糊核修正。

ISD是一种新的稀疏信号重构技术。在ISD每次迭代开始，取先前估计模糊核kⁱ中较大值元素组成集合Sⁱ⁺¹(即构建的部分支持域)，而其它元素属于集合Sⁱ⁺¹被定义为

其中，j用于指示模糊核kⁱ中的元素；∈^S为一正数。假设模糊核大小为h×w，设计∈^S＝7×||kⁱ||_∞/(2h×w×N_iter)，N_iter为迭代次数。于是可通过最小化代价函数

完成模糊核细化。其中，▽S和k分别表示步骤3～7最终输出的图像显著边缘和模糊核。

步骤10.图像复原。

考虑到噪声不可忽略时非盲目解卷积方法对图像噪声放大及图像边界振铃效应问题，选择降噪滤波后的图像作为输入图像，并采用基于稀疏先验的非盲目解卷积方法完成图像复原。最终的图像复原代价函数为

其中，b₀代表经降噪平滑后的模糊图像；k′为步骤7得到的模糊核；α＝0.8；

Claims (9)

1.一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，包括以下步骤：

步骤1，输入待去模糊的图像数据；

步骤2，对输入图像数据进行降噪预处理；

步骤3，对降噪预处理后的图像或经步骤7处理后的粗略复原图像进行显著边缘提取；

步骤4，对显著边缘提取后的图像进行Shock滤波重建图像强边缘；

步骤5，利用图像强边缘计算用于模糊核估计的图像显著边缘；

步骤6，初始模糊核估计；

步骤7，利用所估计的初始模糊核进行粗略图像复原；

步骤8，判断模糊核估计是否达到预设阈值条件，若是，则执行步骤9，否则返回步骤3；

步骤9，对模糊核初始估计进行基于ISD的修正；

步骤10，图像复原。

2.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述降噪预处理通过BM3D滤波完成。

3.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述显著边缘提取利用图像结构-纹理分解方法实现，具体为：对于图像l，其图像结构通过最小化代价函数

$l_s=\arg \underset{l_s}{min}\left|\right|\▿l_s|{|}_2+\frac{1}{2\mathrm{\θ}\mathrm{\ω}\left(x\right)}||l_s-l|{|}_2^2$

获得。其中，θ为可调节参数；l_s表示显著边缘提取的图像结构；表示图像l_s的一阶偏导数；ω(x)表示像素x的自适应权重，即ω(x)＝exp(-||r(x)||^0.8)；r(x)代表用于模糊核估计边缘选择的一种图像梯度置信度量，即 表示图像l的一阶偏导数，N_h(x)表示以像素x为中心的、大小为h×h像素的图像窗口。

4.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述对显著边缘提取后的图像进行Shock滤波重建图像强边缘，通过下式进行

$\left\{\begin{array}{c}\∂{\tilde{l}}_s/\∂t=-sign\left(\mathrm{\Δ}{\tilde{l}}_s\right)\left|\right|\▿{\tilde{l}}_s|{|}_2\\ {\tilde{l}}_s{|}_{t=0}=l_s\end{array}\right.$

其中，l_s表示显著边缘提取的图像结构；表示图像强边缘；和分别是图像的一阶和二阶偏导数；t是偏微分方程的时间变量。

5.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述利用图像强边缘计算用于模糊核估计的图像显著结构，具体为：

$H(M,\mathrm{\&tau;})=\left\{\begin{array}{cc}1,& M\&GreaterEqual;\mathrm{\&tau;}\\ 0,& M<\mathrm{\&tau;}\end{array}\right.$

其中，代表图像强边缘；代表图像显著结构；о代表像素间点乘操作；

H(M,τ)为单位二值掩膜函数；τ为图像梯度模阈值；

6.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述初始模糊核估计通过最小化代价函数

$k=\arg \underset{k}{min}\left|\right|\&dtri;b-\&dtri;S\&CircleTimes;k|{|}_2^2+\mathrm{\&gamma;}|\left|k\right|{|}_{\mathrm{\&alpha;}}^{\mathrm{\&alpha;}}+\mathrm{\&mu;}C\left(k\right)$

获得；其中，γ和μ分别表示正则化和平滑约束权重；表示降噪预处理后模糊图像的一阶偏导数(即梯度图像)；为步骤5得到的图像显著结构；k表示模糊核； $C\left(k\right)=\left\{(x,y)\right|\left|{\&part;}_{x}k(x,y)\right|+\left|{\&part;}_{y}k(x,y)\right|\&NotEqual;0\}$ 为模糊核平滑约束L₀项，k(x,y)＝k；0＜α≤1。

采用Hyper-Laplacian分布作为模糊核的先验分布，同时引入基于梯度最小化的图像平滑方法，对模糊核进行平滑处理，改善模糊核估计值的连续性。

7.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述利用所估计的初始模糊核进行粗略图像复原，具体采用基于全总变分正则化模型实现，即

$l=\arg \underset{l}{min}\left|\right|b-l\&CircleTimes;k|{|}_2^2+{\mathrm{\&lambda;}}_l||\&dtri;l|{|}_1$

其中，λ_l表示TV正则项权重；b表示降噪预处理后模糊图像；l表示复原图像，k表示模糊核；表示图像l的一阶导数。

8.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述对模糊核初始估计进行基于ISD的修正，具体为：

在每次迭代开始，取先前估计模糊核kⁱ中较大值元素组成集合Sⁱ⁺¹，而其它元素属于集合其中Sⁱ⁺¹被定义为：

$S^{i+1}\&LeftArrow;\{j:k_j^i>{\&Element;}^S\}$

其中，j用于指示模糊核kⁱ中的元素；ε^S为一正数。

假设模糊核大小为h×w，设计ε^S＝7×||kⁱ||_∞/(2h×w×N_iter)，N_iter为迭代次数；通过最小化代价函数

$k^{\&prime;}=\arg \underset{k}{min}\frac{1}{2}\left|\right|\&dtri;S\&CircleTimes;k-\&dtri;b|{|}_2^2+{\mathrm{\&gamma;}}^{\&prime;}\underset{j\&Element;\stackrel{\&OverBar;}{S^{i+1}}}{\&Sigma;}|k_j|$

完成模糊核细化；其中，和k分别表示步骤3～7最终输出的图像显著边缘和模糊核。

9.根据权利要求1所述的一种基于图像显著结构的噪声模糊图像盲目反卷积方法，其特征在于，所述图像复原选择降噪预处理后的模糊图像作为输入图像，并采用基于稀疏先验的非盲目解卷积方法完成，最终的图像复原代价函数为：

$l=\arg \underset{l}{min}\left|\right|b_0-l\&CircleTimes;k^{\&prime;}|{|}_2^2+\mathrm{\&lambda;}||\&dtri;l|{|}_{\mathrm{\&alpha;}}^{\mathrm{\&alpha;}}$

其中，b₀代表经降噪预处理后的模糊图像；k′为步骤7得到的模糊核；α＝0.8；

$\&dtri;l=({\&part;}_{x}l,{\&part;}_{y}l).$