CN105493140A - 图像去模糊方法及*** - Google Patents

Abstract

一种图像去模糊方法，包括：估算中间图像L：标记输入图像的边缘区域和平滑区域，分别对边缘区域和平滑区域进行约束，获得中间图像L；估算模糊核k：提取中间图像L的显著边缘，显著边缘为边缘尺度大于模糊核的尺度的边缘，利用显著边缘计算模糊核k；复原输入图像：根据输入图像和估算模糊核k进行非盲反卷积，将输入图像复原成清晰图像。由于对边缘区域和平滑区域进行约束，使得获得的中间图像即能够保留边缘又能有效去除平滑区域的噪声和振铃效应，并利用中间图像L的显著边缘计算模糊核，使得模糊核的估算更加准确，最后，根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像，达到了很好的去模糊效果。

Description

图像去模糊方法及***

技术领域

本发明涉及图像增强领域，具体涉及图像去模糊方法及***。

背景技术

由于相机和拍摄场景之间的相对运动，获取到的图像常常存在一定程度的运动模糊。图像退化的模型可以表示为如下的卷积过程：

$I=L\⊗k+N;$

其中，I是获取到的模糊图像，L是清晰图像，k是模糊核(即点扩散函数)，N是图像获取设备的噪声，由于只有模糊图像I是已知量，所以，对模糊图像I进行复原得到一个比较清晰图像L的过程，是一个大型的病态的反问题。

由于单张图像去运动模糊具有重要的应用价值，目前，其已受到广泛关注，且有大量的去运动模糊算法解决求解清晰图像L的病态问题，如：Fergus等人将自然图像梯度的长尾分布模型表示为高斯混合模型，并用此模型对清晰图像L进行约束，用集成学习的方法得到清晰图像L；Shan等人把长尾分布表示为一个分段函数，对清晰图像L的梯度进行约束；Krishnan等人假设清晰图像L的梯度服从超拉普拉斯分布，取得了高质量的复原图像，超拉普拉斯约束项作为一个有效的约束条件被广泛应用于后来的去模糊工作中；Pan等人用低秩约束项和高斯正则项分别对清晰图像L和模糊核k进行约束，虽然在一定程度上保证了模糊核k的连续性，但是通过一个截断参数对模糊核k去噪，影响了模糊核k的连续性。

另外，图像显著边缘的选取在很大程度上影响了模糊核k估计的准确程度。研究发现利用图像中比模糊核k尺寸大的边缘信息才能够得到相对准确的模糊核k，而比模糊核k尺寸小的边缘会使得模糊核k估计不准确。所以选取合适的边缘信息进行模糊核k估计是非常重要的。Cho和Lee用双边滤波器和冲击滤波器提取锐利边缘，但是难以控制提取出的边缘的大小，对模糊核k估计造成了不利影响。Xu和Jia提出了一种边缘尺度的度量方法，能够有效提取出有用的显著边缘。Pan等人在此基础上进行了改进，使得选取的边缘更加有效。与用专门的显著边缘提取方法不同的是，Xu和Pan等人用l₀约束项使复原出的中间图像L只保留主要结构，用于模糊核k估计，取得了不错的效果。

然而，无论是模糊核k估计还是最终的图像非盲反卷积复原都存在很多问题，需要进一步提高图像去模糊的效果。

发明内容

根据第一方面，一种实施例中提供一种图像去模糊方法，包括步骤：

估算中间图像L：标记输入图像的边缘区域和平滑区域，分别对所述边缘区域和平滑区域进行约束，获得中间图像L，输入图像为原始的模糊图像；

估算模糊核k：提取所述中间图像L的显著边缘，所述显著边缘为边缘尺度大于模糊核的尺度的边缘，利用所述显著边缘计算模糊核k；

复原输入图像：根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像。

根据第二方面，一种实施例中提供一种图像去模糊***，包括：

第一估算模块，用于根据标记的输入图像的边缘区域和平滑区域，分别对所述边缘区域和平滑区域进行约束，获得中间图像L，输入图像为原始的模糊图像；

第二估算模块，用于提取所述中间图像L的显著边缘，所述显著边缘为所述边缘尺度大于模糊核的尺度的边缘，利用所述显著边缘计算模糊核k；

恢复模块，用于根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像。

依据上述实施例的图像去模糊方法，由于获得中间图像L的过程中，先标记输入图像的边缘区域和平滑区域，然后对边缘区域和平滑区域进行约束，使得获得的中间图像既能够保留边缘又能有效去除平滑区域的噪声和振铃效应，并利用中间图像L的显著边缘计算模糊核，使得模糊核的估算更加准确，最后，根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像，达到了很好的去模糊效果。

附图说明

图1为本发明的图像去模糊方法流程图；

图2为模糊核平滑约束项效果图；

图3为图像复原效果图；

图4为本发明的图像去模糊***原理图；

图5为图像复原质量评价结果图；

图6为人工合成模糊图像去模糊效果对比图；

图7为实际图像去模糊效果对比图。

具体实施方式

在本发明实施例中，对单张图像去模糊，主要包括模糊核k估计和图像复原两部分，其中，利用鲁棒的约束项对模糊核k估计和中间图像L复原进行约束，以得到准确的模糊核k和高质量的复原图像。

本例提供一种图像去模糊方法，其流程图如图1所示，具体包括以下步骤。

S1：估算中间图像L。

在估算中间图像L之前，需要先建立图像金字塔，具体的，构建输入图像所对应的图像金字塔，输入图像为原始的模糊图像I；其中，图像金字塔是以多分辨率来解释图像的一种结构，一幅图像的金字塔是一系列分辨率逐步降低的图像集合，呈现金字塔形状；所以，本例的图像金字塔模型是一系列分辨率逐步降低的模糊图像I的图像集合。

建立图像金字塔的同时，还需要初始化模糊核k，将模糊核k初始化为一个3*3的矩阵。

在估算中间图像L的过程中，首先，标记出输入图像的边缘区域和平滑区域，标记过程为：首先用Canny算子检测出输入图像的边缘区域，得到边缘图，然后用圆盘模型对边缘图进行膨胀运算，模糊核的宽作为圆盘半径，并利用超拉普拉斯稀疏项和平滑项分别对该边缘区域和平滑区域进行约束，以获得中间图像L，具体过程如下。

利用图像运动模糊的退化模型，以及对边缘区域和平滑区域的约束进行中间图像L估计，其中，中间图像L的计算模型如下所示：

计算模型：

其中，表示中间图像L的梯度，I是模糊图像，λ₁，λ₂是权重系数，其中，λ₁设置为0.05，λ₂设置为1，ο表示矩阵元素之间相乘，表示卷积运算，J是全1矩阵，M是边缘区域的标记，J-M是平滑区域的标记；并利用Canny算子对图像金字塔中的一系列模糊图像进行边缘检测，并进行膨胀运算，将边缘区域的像素值标记为第一值，将平滑区域的像素值标记为不同于第一值的第二值；根据检测结果，将图像边缘及其附近区域的像素值相对应于M中的元素设为1，即第一值为1，平滑区域的像素值相对应于M中的元素设为0，即第二值为0。

将第一值和第二值代入中间图像L的计算模型，对计算模型进行循环迭代运算，求解计算模型相对于中间图像L的最小值。由于计算模型是一个非凸函数，不能够直接进行中间图像L的求解运算，本例采用半二次规整化方法来运算计算模型，具体的，引入辅助变量并将辅助变量代替中间图像L的梯度，将中间图像L的计算模型转化为辅助模型；如，引入辅助变量u代替计算模型中的则将计算模型转化为如下的辅助模型：

辅助模型：

当权重系数λ₃趋近于∞时，辅助模型的解就收敛于计算模型，然后通过循环迭代的方法求解出辅助模型中的u和L即可，其求解过程如下：

将辅助模型中的辅助变量作为未知量，辅助模型简化为第一辅助模型，运算第一辅助模型并计算出辅助变量；如，将辅助模型中的u作为未知量，即辅助模型中除u之外的变量全部设为已知量，则辅助模型简化为第一辅助模型：

第一辅助模型：

利用牛顿法运算第一辅助模型即可计算出u值，然后把u作为已知量，L作为未知量，即将辅助模型中的中间图像L作为未知量，辅助模型可以简化为第二辅助模型，运算第二辅助模型并计算出中间图像L：

第二辅助模型： $\underset{L}{min}\left|\right|L\⊗k-I|{|}_2^2+{\mathrm{\λ}}_3||\▿L-u|{|}_2^2;$

通过将第二辅助模型最小化即可计算出L值，本例基于帕斯瓦尔定理，利用快速傅里叶变换求解出的L为：

其中，F和F^-1分别表示快速傅里叶变换及其逆变换运算，表示共轭运算，循环迭代第一辅助模型和第二辅助模型，直至获取合适的中间图像L，如循环迭代20次就可以得到一个合适的中间图像L。

S2：估算模糊核k。

提取中间图像L的显著边缘，由于显著边缘的选取在很大程度上影响了模糊核k估计的准确程度，如，利用图像中比模糊核k尺寸大的边缘信息才能够得到相对准确的模糊核k，而比模糊核k尺寸小的边缘信息会使得模糊核k估计不准确，本例的显著边缘为边缘尺度大于模糊核的尺度的边缘，并利用显著边缘计算模糊核k。

具体的，利用相关总变差(RTV)结构提取算法提取中间图像L的显著边缘X，设置截断参数t去除显著边缘X中的细小边缘和噪声，获得用于进行模糊核k估计的边缘梯度图像

式中，H(·)为单位阶跃函数；

利用边缘梯度图像同时，加入稀疏约束和平滑约束计算出模糊核k，模糊核k的计算模型如下：

$\underset{k}{min}\left|\right|\▿S\⊗k-\▿I|{|}_2^2+{\mathrm{\γ}}_1|\left|k\right|{|}_2^2+{\mathrm{\γ}}_2\left|\right|\▿k|{|}_2^2,s.t.k\left(x\right)\≥0,\mathrm{\Σ}k\left(x\right)=1;$

其中，是高斯正则项，用来保证模糊核k的稀疏性，是梯度稀疏项，可以在保证模糊核k的连续性的前提下去除模糊核k中的噪声，权值γ₁和γ₂分别控制模糊核k的稀疏性和平滑性，其中，γ₁设置为2，通过快速傅里叶变换运算上述能量方程，计算出的模糊核k为：

本例结合稀疏约束和平滑约束估计出的模糊核k同时保证了稀疏性和连续性，并且减小了噪声，如图2所示，其中，图2(a)是模糊图像I，图2(b)和图2(c)是当γ₂＝0时复原出来的图像及模糊核k，图2(d)和图2(e)是当γ₂＝50时复原出来的图像及模糊核k，通过比较可以看出图2(d)中的噪声和块效应较小，且模糊核k的噪声也比较小。

S3：复原输入图像。

根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像，具体过程如下。

对模糊图像I进行冲击滤波，获得图像目的是增强模糊图像I的边缘。

然后，利用超拉普拉斯模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，即最小化方程：ρ设置为0.001，0.5<α<0.8，α越小，得到的第一图像L₁越平滑。第一图像L₁保留了图像的主要结构，虽然没有噪声和振铃效应，但是由于过度平滑也丢失了很多高频信息，第一图像L₁如图3(a)所示。

再利用TV-L₂模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，即最小化方程：μ设置为0.001，得到第二图像L₂，第二图像L₂有效的保留了图像的高频信息，但是同时也存在噪声和振铃效应，第二图像L₂如图3(b)所示。

为了保留清晰图像中高频信息的同时去除噪声和振铃效应，本例采取用第一图像L₁和第二图像L₂的平均值作为最终复原出来的清晰图像，即计算第一图像L₁和第二图像L₂的平均值，该平均值即为将输入图像最终复原出来的清晰图像，如图3(c)所示，最终清晰图像结合了第一图像L₁和第二图像L₂的优点，又避免了其缺点，得到了高质量的复原图像。

依据上述的图像去模糊方法，本例还提供一种图像去模糊***，其原理图如图4所示，包括：

创建模块1，用于构建输入图像所对应的图像金字塔，输入图像为原始的模糊图像；

第一估算模块2，用于根据标记的输入图像的边缘区域和平滑区域，分别对所述边缘区域和平滑区域进行约束，获得中间图像L；

第二估算模块3，用于提取所述中间图像L的显著边缘，显著边缘为边缘尺度大于模糊核的尺度的边缘，利用所述显著边缘计算模糊核k；

恢复模块4，用于根据输入图像和估算的模糊核k进行非盲反卷积，将输入图像复原成清晰图像。

进一步，第一估算模块2包括：初始单元21、检测单元22和运算单元23；其中，初始单元21用于初始化模糊核，检测单元22用于对图像金字塔中的一系列模糊图像进行边缘检测，将边缘区域的像素值标记为第一值，将平滑区域的像素值标记为不同于第一值的第二值，运算单元23用于将第一值和第二值代入中间图像L的计算模型，对计算模型进行循环迭代运算，求解计算模型相对于中间图像L的最小值，其中，第一值和第二值分别与上述的第一值和第二值类同。

具体的，运算单元23的工作方式为：1)引入辅助变量并将辅助变量代替中间图像L的梯度，将中间图像L的计算模型转化为辅助模型；如，通过引入辅助变量u代替中间图像L的计算模型中的将中间图像L的计算模型转化为辅助模型：

计算模型：与上述的中间图像L的计算模型类同，具体参数不作赘述；

辅助模型：与上述的辅助模型类同，具体参数不作赘述。

2)将辅助模型中的辅助变量作为未知量，辅助模型简化为第一辅助模型，运算第一辅助模型并计算出辅助变量；如将辅助模型中的u作为未知量，其他变量作为已知量，则辅助模型简化为第一辅助模型：与上述的第一辅助模型类同，运算单元23利用牛顿法运算第一辅助模型并计算出u值。

3)将辅助模型中的中间图像L作为未知量，辅助模型简化为第二辅助模型，运算第二辅助模型并计算出中间图像L；如，将辅助模型中的u作为已知量，L作为未知量，则辅助模型简化为第二辅助模型：与上述的第二辅助模型类同，运算单元23将第二辅助模型最小化以求解L，具体求解方式参照上述L的求解方法。

4)循环迭代第一辅助模型和第二辅助模型，直至获取合适的中间图像L，迭代次数为20次。

恢复模块4包括滤波单元41、第一图像计算单元42、第二图像计算单元43和复原单元44。

其中，滤波单元41用于对模糊图像I进行冲击滤波，获得图像目的是增强模糊图像I的边缘。

第一图像计算单元42用于利用超拉普拉斯模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，即最小化方程： $\underset{L_1}{min}\left|\right|L_1\&CircleTimes;k-\tilde{I}|{|}_2^2+\mathrm{\&rho;}||\&dtri;L_1|{|}^{\mathrm{\&alpha;}},$ 得到第一图像L₁。

第二图像计算单元43用于利用TV-L₂模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，即最小化方程：得到第二图像L₂。

复原单元44用于计算第一图像L₁和第二图像L₂的平均值，并以该平均值将输入图像最终复原出清晰图像。

本例的图像去模糊***与上述的图像去模糊方法是一一对应的，***的各个模块的具体工作方式不作详细赘述。

为了检验本发明的有效性，本例用专门的无参考去运动模糊评价算法在人工合成的运动模糊图片集和实际拍摄的运动模糊图像上进行评价，与现有的去模糊较好的9种方法进行对比，得分越高则说明复原图像的质量越高。例如，图像A和B的得分分别为-8和-10，说明图像A的质量高于图像B的质量。图像复原质量评价结果如图5所示，其中，图5(a)和图5(b)中的第一列均为本发明的复原图像的平均得分，可以看到，对于每一个数据集，本发明的复原图像的平均得分都是最高的，说明本发明的图像去模糊方法具有较高的复原图像的质量。

图6是不同去模糊算法对人工合成数据集中的一张图片的去模糊结果的对比，图7是对实际拍摄的运动模糊图片的去模糊效果的对比图，其中图6(a)和7(a)均为模糊图像，图6(b)为图6(a)模糊图像的实际图像，图7(b)为图7(a)中矩形框中的图像放大图，图6(c)～图6(k)及图7(c)～图7(k)分别是现有9种图像去模糊方法复原图像的结果，图6(l)和图7(l)为本发明图像去模糊算法的结果。从图6和图7可以直观的看出本发明的图像去模糊算法具有较好的细节保持特性，并且噪声和振铃效应最少。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本领域的一般技术人员，依据本发明的思想，可以对上述具体实施方式进行变化。

Claims (9)

1.一种图像去模糊方法，其特征在于，包括步骤：

估算中间图像L：标记输入图像的边缘区域和平滑区域，分别对所述边缘区域和平滑区域进行约束，获得中间图像L，输入图像为原始的模糊图像；

估算模糊核k：提取所述中间图像L的显著边缘，所述显著边缘为边缘尺度大于模糊核的尺度的边缘，利用所述显著边缘计算模糊核k；

复原输入图像：根据所述输入图像和估算的模糊核k进行非盲反卷积，将所述输入图像复原成清晰图像。

2.如权利要求1所述的方法，其特征在于，所述估算中间图像L之前，还包括构建所述输入图像所对应的图像金字塔模型，估算中间图像L包括：

初始化模糊核；

对图像金字塔中的一系列模糊图像进行边缘检测，将边缘区域的像素值标记为第一值，将平滑区域的像素值标记为不同于第一值的第二值；

将第一值和第二值代入中间图像L的计算模型，对计算模型进行循环迭代运算，求解计算模型相对于中间图像L的最小值。

3.如权利要求2所述的方法，其特征在于，所述对计算模型进行循环迭代运算步骤为：

引入辅助变量并将所述辅助变量代替所述中间图像L的梯度，将所述中间图像L的计算模型转化为辅助模型；

将所述辅助模型中的辅助变量作为未知量，所述辅助模型简化为第一辅助模型，运算所述第一辅助模型并计算出所述辅助变量；

将所述辅助模型中的中间图像L作为未知量，所述辅助模型简化为第二辅助模型，运算所述第二辅助模型并计算出所述中间图像L；

循环迭代所述第一辅助模型和第二辅助模型，直至计算出合适的中间图像L。

4.如权利要求3所述的方法，其特征在于，所述估算模糊核k的具体步骤为：

利用相关总变差结构提取算法提取所述中间图像L的显著边缘X，设置截断参数t去除显著边缘X中的细小边缘和噪声，获得用于进行模糊核k估计的边缘梯度图像▽S；

利用所述边缘梯度图像▽S，同时，加入稀疏约束和平滑约束计算出模糊核k。

5.如权利要求4所述的方法，其特征在于，所述复原输入图像的具体步骤为：

对模糊图像I进行冲击滤波，获得图像

利用超拉普拉斯模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，得到第一图像L₁；

利用TV-L₂模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，得到第二图像L₂；

计算第一图像L₁和第二图像L₂的平均值，所述平均值为将输入图像最终复原出来的清晰图像。

6.一种图像去模糊***，其特征在于，包括：

第一估算模块，用于根据标记的输入图像的边缘区域和平滑区域，分别对所述边缘区域和平滑区域进行约束，获得中间图像L，输入图像为原始的模糊图像；

第二估算模块，用于提取所述中间图像L的显著边缘，所述显著边缘为所述边缘区域中大于给定边缘尺度的区域，利用所述显著边缘计算模糊核k；

恢复模块，用于根据所述输入图像和估算的模糊核k进行非盲反卷积，将所述输入图像复原成清晰图像。

7.如权利要求6所述的***，其特征在于，还包括创建模块，用于构建输入图像所对应的图像金字塔。

8.如权利要求7所述的***，其特征在于，所述第一估算模块包括：

初始单元，用于初始化模糊核；

检测单元，用于对图像金字塔中的一系列模糊图像进行边缘检测，将边缘区域的像素值标记为第一值，将平滑区域的像素值标记为不同于第一值的第二值；

运算单元，用于将第一值和第二值代入中间图像L的计算模型，对计算模型进行循环迭代运算，求解计算模型相对于中间图像L的最小值。

9.如权利要求8所述的***，其特征在于，所述恢复模块包括：

滤波单元，用于对模糊图像I进行冲击滤波，获得图像

第一图像计算单元，用于利用超拉普拉斯模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，得到第一图像L₁；

第二图像计算单元，用于利用TV-L₂模型的非盲反卷积算法对估算的模糊核k和图像进行反卷积，得到第二图像L₂；

复原单元，用于计算第一图像L₁和第二图像L₂的平均值，并以所述平均值将输入图像最终复原出清晰图像。