CN113487491A - 一种基于稀疏性与非局部均值自相似性的图像复原方法 - Google Patents

Abstract

本发明提供了一种基于稀疏性与非局部均值自相似性的图像复原方法，属于图像复原技术领域。该方法首先根据输入的初始低分辨率图像利用比值稀疏约束算法得到假设的清晰图像；再根据初始低分辨率图像和假设清晰图像计算点扩散函数；然后根据初始清晰图像和点扩散函数估计组稀疏重建块，根据初始清晰图像估计非局部均值自相似特征重建块；最后根据组稀疏重建块和非局部均值自相似性特征重建块得到最终的清晰图像。该方法使用图像的非局部均值自相似性特征、组稀疏特征、点扩散函数相结合的策略，有效改善图像细节信息，可实现减少图像模糊和噪声、提升边缘细节信息的效果，达到提高图像质量的目的。

Description

一种基于稀疏性与非局部均值自相似性的图像复原方法

技术领域

本发明涉及图像复原的技术领域，尤其涉及一种基于稀疏性与非局部均值自相似性的图像复原方法。

背景技术

一种基于稀疏性与非局部均值自相似性的图像复原方法，可以很好地复原图像，该方法可应用于天文观测、遥感遥测、军事科学、医学影像、交通监控等领域中。

图像复原的过程就是从模糊图像中估计点扩散函数，并恢复原始清晰图像的过程。图像复原算法大致可以分为两类：一类是利用模糊图像的特征信息；另一类是利用图像块的结构信息。

基于特征信息来估计点扩散函数并恢复清晰图像的方法，主要包括利用图像特殊的点、图像梯度特征、图像的边缘、频域的零点等。2006年，Fergus等人针对相机抖动引起的图像模糊现象，根据相机运动的复杂路径在空间域上能够保留更显著的图像特征这一特性来对模糊图像进行复原。(参考：Fergus R,Singh B,Hertzmann A,et al.Removing camerashake from a single photograph[J].ACM Transactions on Graphics,2006,25(3):787-794.)但是该方法存在一定的缺陷，其复原后的图像会存在着振铃效应。2009年，Krishnan和Fergus在已知噪声水平的情况下，对图像复原方法进行研究，将超拉普拉斯模型作为正则化约束条件进行图像复原，取得一定的效果。(参考：Krishnan D,FergusR.Fast image deconvolution using hyper-Laplacian priors[C].Proceedings ofNeural Information Processing Systems 2009,Vancouver,British Columbia,Canada,DBLP,2009:1033-1041.)但是，该方法在计算过程中未对边界进行处理，只适用于大尺寸的图像。

2011年Dilip Krishnan等人提出了一种新的图像正则化方法，针对盲反褶积模型采用一个简单的成本公式，降低了真实清晰图像的正则化成本。该算法主要优点是快速和具有非常好的鲁棒性。(参考：Krishnan D,Tay T,Fergus R.Blind deconvolution usinga normalized sparsity measure[C]//CVPR 2011.IEEE,2011:233-240.)

基于图像块的结构信息来估计点扩散函数并恢复清晰图像的方法，主要包括利用关于图像块和图像自相似性的先验知识来复原图像。2014年，Michaeli和Irani把不同尺度图像中存在的自相似性作为先验知识，由于清晰图像在跨尺度的图像上很容易找到相似图像块，但是模糊图像却没有这个特性，利用这种偏差作为约束条件，找到合适的点扩散函数，使其得到的图像在跨尺度图像上拥有更多的相似性，从而实现图像盲复原。(参考：Michaeli T,Irani M.Blind deblurring using internal patch recurrence[C].Proceedings of the 13th European Conference on Computer Vision.Zurich,Switzerland:Springer,2014:783-798.)2017年，Dong和Pan等人通过实验发现模糊过程改变了相邻图像块的相似性，因此提出了一种基于低秩先验和显著边缘选择的算法。结合低秩先验求解提取突出边缘，能够去除微小细节并保留锐利边缘，从而复原图像(参考：DongJ,Pan J,Su Z.Blur kernel estimation via salient edges and low rank prior forblind image deblurring[J].Signal Processing Image Communication,2017,58.)

上述基于特征信息来估计点扩散函数并恢复清晰图像的方法虽然计算简单，但是需要建立特定的模糊模型，并估计其中的参数。可是在实际应用中，通常无法确定模糊类型或模糊过程，所以，这类方法在实际应用中往往有局限性。上述基于图像块的结构信息来估计点扩散函数并恢复清晰图像的方法，仅仅利用图像块的某一结构信息进行图像复原，单一的利用相同尺度图像块的相似性或不同尺度之间图像块的相似性进行图像复原，并不能充分利用图像结构上的关联性，影响了图像复原的效果。

发明内容

针对上述技术问题，本发明的目的是提供一种新的图像复原方法，以图像的自相似性先验和组稀疏先验作为正则化约束条件，结合了自然图像内在的局部稀疏性和非局部自相似性，更好地估计点扩散函数和清晰图像。

为实现上述目的，本发明提供了一种基于稀疏性与非局部均值自相似性的图像复原方法，包括如下步骤：

S1：输入模糊图像g；

S2：根据步骤S1输入的模糊图像g盲估计假设清晰图像I₀；

S3：构建求解清晰图像I与点扩散函数h的目标函数，并根据步骤S1所得图像g与步骤S2所得结果I₀计算点扩散函数h；

S4：根据步骤S1所得图像g与步骤S3所得结果h分别估计组稀疏重建图像J_r与非局部均值自相似重建图像J_s；

S5：根据步骤S4所得结果J_r与J_s估计清晰图像I。

所述步骤S2中盲估计假设清晰图像I₀的算法是比值稀疏约束算法。

所述步骤S3中构建求解清晰图像I与点扩散函数h的目标函数表达式为：

其中，g为模糊图像，I为清晰图像，*表示卷积，

为矩阵二范数的平方，h为点扩散函数，a为图像块个数，L_j为第j个图像块的相似图像块组，A_j为L_j的稀疏表示系数，D_j为L_j经过SVD(Singular Value Decomposition)算法学习得到的稀疏表示字典，c为非局部均值匹配窗图像块的个数，R_m为第m个非局部均值匹配窗图像块，s为与R_m相似的图像块个数，R_n为与R_m相似的第n个图像块，

为R_n表示R_m的权重，γ₁、γ₂为正则化常数，T是限制A_j稀疏度的常数。

本发明方法采取交替求解的方法来估计点扩散函数h和清晰图像I，首先固定假设的清晰图像I₀，计算点扩散函数h，然后在固定点扩散函数h的基础上，用组稀疏先验和非局部均值自相似性先验对初始清晰图像重建得到最终清晰图像I，在计算过程中，通常初始清晰图像的初值设置为原始模糊图像g，根据上述目标函数计算点扩散函数h的表达式为：

g＝h*I₀ (2)

其中g为步骤S1输入的模糊图像，I₀为步骤S3得到的假设清晰图像，根据上述公式反解卷积采用RANSAC(RANdom SAmple Consensus)算法原理计算得到点扩散函数h。

所述步骤S4中对初始清晰图像以b＝q×q为图像块尺寸、u(u<q)为步长进行部分重叠的图像块划分，从而获得图像块矩阵，并按列表示为：

L＝[l₁，…，l_a] (3)

其中a为图像块个数，在图像块矩阵中寻找相似图像块，构成相似图像块组L_j，通过计算图像块l_i与l_j之间的欧氏距离d(l_i，l_j)，i＝1,…,a]，j＝[1,…,a]且i≠j，以欧氏距离作为度量标准，在图像块矩阵中搜索l_j的相似图像块，组成相似图像块组的表达式为：

L_j＝[l₁,…,l_K] (4)

其中K为相似图像块的个数，对相似图像块组L_j利用SVD算法训练低复杂度的自适应字典D_j，再利用OMP(Orthogonal Matching Pursuit)算法对相似图像块组整体进行稀疏表示，即估计稀疏表示系数A_j的表达式为：

利用组稀疏表示约束重建图像，重建结果记为J_r，通过对每一个相似图像块组L_j的所有重建块组D_jA_j进行平均处理求解J_r，求解J_r的表达式为：

其中

为L_j的转置，j＝[1，…，a]，

利用非局部均值自相似图像块重建图像，重建结果记为J_s，对每一个非局部均值匹配窗图像块R_m，通过对所有重建块

进行平均处理求解J_s，求解J_s的表达式为：

R_m为初始清晰图像的非局部均值匹配窗图像块，匹配窗图像块大小为b，R_n为从初始清晰图像搜索窗中搜索的与R_m相似的图像块，由于图像结构具有相似性，对于R_m可以在搜索窗中可以找到s个与之相似的图像块R_n，根据NLM(Non Local Mean)R_m可利用R_n的加权平均来计算，即：

其中，

表示权重，

满足

且

表示归一化常数，t为平滑参数。

所述步骤S5中根据步骤S4所得结果J_r与J_s计算其清晰图像I的表达式为：

其中F(·)为傅里叶变换，F^-1(·)为傅里叶逆变换，h为步骤S3计算得到的点扩散函数，h^T为h的转置，g为步骤S1输入的模糊图像，b为图像块尺寸，K为相似图像块的个数，J_r与J_s为步骤S4计算得到的组稀疏重建图像与非局部均值自相似重建图像，γ₁、γ₂为正则化常数。

本发明的特点及有益效果在于：

本发明提出了一种基于稀疏性与非局部均值自相似性的图像复原方法，能够实现图像复原以及点扩散函数的估计。在求解过程中通过图像的非局部均值自相似性特征、组稀疏特征、点扩散函数相结合的方法，有效改善了图像细节信息，减少了图像模糊和噪声，达到了提高图像质量的目的。可广泛应用天文观测、遥感遥测、军事科学等领域。

附图说明

图1是本发明的一种基于稀疏性与非局部均值自相似性的图像复原方法的流程图；

图2是本发明图像复原结果与比值稀疏约束算法的图像复原结果对比图(模拟数据)；

图3是本发明图像复原结果与比值稀疏约束算法的图像复原结果对比图(真实卫星遥感影像数据)；

具体实施方式

下面参见图1～图3对本发明所述一种基于稀疏性与非局部均值自相似性的图像复原方法进行详细说明。

如图1所示，为了得到更好的图像复原结果，提供了一种基于稀疏性与非局部均值自相似性的图像复原方法，包括步骤如下：

S1：输入模糊图像g；

S2：根据步骤S1输入的模糊图像g盲估计假设清晰图像I₀，其中盲估计假设清晰图像I₀的算法是比值稀疏约束算法；

S3：构建求解清晰图像I与点扩散函数h的目标函数，并根据步骤S1所得图像g与步骤S2所得结果I₀计算点扩散函数h，其中构建求解清晰图像I与点扩散函数h的目标函数表达式为：

其中，g为模糊图像，I为清晰图像，*表示卷积，

为矩阵二范数的平方，h为点扩散函数，a为图像块个数，L_j为第j个图像块的相似图像块组，A_j为L_j的稀疏表示系数，D_j为L_j经过SVD(Singular Value Decomposition)算法学习得到的稀疏表示字典，c为非局部均值匹配窗图像块的个数，R_m为第m个非局部均值匹配窗图像块，s为与R_m相似的图像块个数，R_n为与R_m相似的第n个图像块，

为R_n表示R_m的权重，γ₁、γ₂为正则化常数，T是限制A_j稀疏度的常数。

本发明方法采取交替求解的方法来估计点扩散函数h和清晰图像I，首先固定假设的清晰图像I₀，计算点扩散函数h，然后在固定点扩散函数h的基础上，用组稀疏先验和非局部均值自相似性先验对初始清晰图像重建得到最终清晰图像I，在计算过程中，通常初始清晰图像的初值设置为原始模糊图像g，根据上述目标函数计算点扩散函数h的表达式为：

g＝h*I₀ (2)

其中g为步骤S1输入的模糊图像，I₀为步骤S3得到的假设清晰图像，根据上述公式反解卷积采用RANSAC(RANdom SAmple Consensus)算法原理计算得到点扩散函数h；

S4：根据步骤S1所得图像g与步骤S3所得结果h分别估计组稀疏重建图像J_r与非局部均值自相似重建图像J_s，其中对初始清晰图像以b＝q×q为图像块尺寸、u(u<q)为步长进行部分重叠的图像块划分，从而获得图像块矩阵，并按列表示为：

L＝[l₁,…,l_a] (3)

其中a为图像块个数，在图像块矩阵中寻找相似图像块，构成相似图像块组L_j，通过计算图像块l_i与l_j之间的欧氏距离d(l_i，l_j)，i＝[1，…，a]，j＝[1，…，a]且i≠j，以欧氏距离作为度量标准，在图像块矩阵中搜索l_j的相似图像块，组成相似图像块组的表达式为：

L_j＝[l₁，…，l_K] (4)

其中K为相似图像块的个数，对相似图像块组L_j利用SVD算法训练低复杂度的自适应字典D_j，再利用OMP(Orthogonal Matching Pursuit)算法对相似图像块组整体进行稀疏表示，即估计稀疏表示系数A_j的表达式为：

利用组稀疏表示约束重建图像，重建结果记为J_r，通过对每一个相似图像块组L_j的所有重建块组D_jA_j进行平均处理求解J_r，求解J_r的表达式为：

其中

为L_j的转置，j＝[1，…，a]，

利用非局部均值自相似图像块重建图像，重建结果记为J_s，对每一个非局部均值匹配窗图像块R_m，通过对所有重建块

进行平均处理求解J_s，求解J_s的表达式为：

R_m为初始清晰图像的非局部均值匹配窗图像块，匹配窗图像块大小为b，R_n为从初始清晰图像搜索窗中搜索的与R_m相似的图像块，由于图像结构具有相似性，对于R_m可以在搜索窗中可以找到s个与之相似的图像块R_n，根据NLM(Non Local Mean)R_m可利用R_n的加权平均来计算，即：

其中，

表示权重，

满足

且

表示归一化常数，t为平滑参数；S5：根据步骤S4所得结果J_r与J_s估计清晰图像I，计算其清晰图像I的表达式为：

其中F(·)为傅里叶变换，F^-1(·)为傅里叶逆变换，h为步骤S3计算得到的点扩散函数，h^T为h的转置，g为步骤S1输入的模糊图像，b为图像块尺寸，K为相似图像块的个数，J_r与J_s为步骤S4计算得到的组稀疏重建图像与非局部均值自相似重建图像，γ₁、γ₂为正则化常数。

下面通过实施示例进一步对本发明方法进行说明。

数据集：模拟数据与真实卫星遥感影像数据。

评价指标：峰值信噪比PSNR评价指标。

实施步骤：

使用本发明方法与比值稀疏约束算法分别对模拟数据与真实卫星遥感影像数据进行图像复原。其中，本发明方法在实验中的参数为：K＝10，γ₁＝0.2，γ₂＝0.8。比值稀疏约束算法的参数为：kernel_size＝25，kernel_init＝3。

针对模拟数据，图像复原结果如图2所示，本发明方法复原结果(见图2(c))与比值稀疏约束算法复原结果(见图2(d))比较，可以发现本发明方法复原结果更接近清晰图像,复原效果优于比值稀疏约束算法复原结果。

针对真实卫星遥感影像数据，图像复原结果如图3所示，本发明方法复原结果(见图3(c))计算其PSNR值与比值稀疏约束算法复原结果(见图3(b))计算其PSNR值相比较，可以发现本发明方法的复原结果PSNR值大于比值稀疏约束算法复原结果的PSNR值，所以本发明方法可以很好的复原图像，复原效果优于比值稀疏约束算法复原结果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于稀疏性与非局部均值自相似性的图像复原方法，其特征在于，包括如下步骤：

S1：输入模糊图像g；

S2：根据步骤S1输入的模糊图像g盲估计假设清晰图像I₀；

S3：构建求解清晰图像I与点扩散函数h的目标函数，并根据步骤S1所得图像g与步骤S2所得结果I₀计算点扩散函数h；

S4：根据步骤S1所得图像g与步骤S3所得结果h分别估计组稀疏重建图像J_r与非局部均值自相似重建图像J_s；

S5：根据步骤S4所得结果J_r与J_s估计清晰图像I。

2.根据权利要求1所述的一种基于稀疏性与非局部均值自相似性的图像复原方法，其特征在于，所述步骤S2中盲估计假设清晰图像I₀的算法是比值稀疏约束算法。

3.根据权利要求1所述的一种基于稀疏性与非局部均值自相似性的图像复原方法，其特征在于，所述步骤S3中构建求解清晰图像I与点扩散函数h的目标函数表达式为：

其中，g为模糊图像，I为清晰图像，*表示卷积，

为矩阵二范数的平方，h为点扩散函数，a为图像块个数，L_j为第j个图像块的相似图像块组，A_j为L_j的稀疏表示系数，D_j为L_j经过SVD(Singular Value Decomposition)算法学习得到的稀疏表示字典，c为非局部均值匹配窗图像块的个数，R_m为第m个非局部均值匹配窗图像块，s为与R_m相似的图像块个数，R_n为与R_m相似的第n个图像块，

为R_n表示R_m的权重，γ₁、γ₂为正则化常数，T是限制A_j稀疏度的常数，

本发明方法采取交替求解的方法来估计点扩散函数h和清晰图像I，首先固定假设的清晰图像I₀，计算点扩散函数h，然后在固定点扩散函数h的基础上，用组稀疏先验和非局部均值自相似性先验对初始清晰图像重建得到最终清晰图像I，在计算过程中，通常初始清晰图像的初值设置为原始模糊图像g，根据上述目标函数计算点扩散函数h的表达式为：

g＝h*I₀ (2)

其中g为步骤S1输入的模糊图像，I₀为步骤S3得到的假设清晰图像，根据上述公式反解卷积采用RANSAC(RANdom SAmple Consensus)算法原理计算得到点扩散函数h。

4.根据权利要求1所述的一种基于稀疏性与非局部均值自相似性的图像复原方法，其特征在于，所述步骤S4中对初始清晰图像以b＝q×q为图像块尺寸、u(u＜q)为步长进行部分重叠的图像块划分，从而获得图像块矩阵，并按列表示为：

L＝[l₁，…，l_a] (3)

其中a为图像块个数，在图像块矩阵中寻找相似图像块，构成相似图像块组L_j，通过计算图像块l_i与l_j之间的欧氏距离d(l_i，l_j)，i＝[1，…，a]，j＝[1，…，a]且i≠j，以欧氏距离作为度量标准，在图像块矩阵中搜索l_j的相似图像块，组成相似图像块组的表达式为：

L_j＝[l₁，…，l_K] (4)

其中K为相似图像块的个数，对相似图像块组L_j利用SVD算法训练低复杂度的自适应字典D_j，再利用OMP(Orthogonal Matching Pursuit)算法对相似图像块组整体进行稀疏表示，即估计稀疏表示系数A_j的表达式为：

利用组稀疏表示约束重建图像，重建结果记为J_r，通过对每一个相似图像块组L_j的所有重建块组D_jA_j进行平均处理求解J_r，求解J_r的表达式为：

其中

为L_j的转置，j＝[1，…，a]，

利用非局部均值自相似图像块重建图像，重建结果记为J_s，对每一个非局部均值匹配窗图像块R_m，通过对所有重建块

进行平均处理求解J_s，求解J_s的表达式为：

R_m为初始清晰图像的非局部均值匹配窗图像块，匹配窗图像块大小为b，R_n为从初始清晰图像搜索窗中搜索的与R_m相似的图像块，由于图像结构具有相似性，对于R_m可以在搜索窗中可以找到s个与之相似的图像块R_n，根据NLM(Non Local Mean)R_m可利用R_n的加权平均来计算，即：

其中，

表示权重，

满足

且

表示归一化常数，t为平滑参数。

5.根据权利要求1所述的一种基于稀疏性与非局部均值自相似性的图像复原方法，其特征在于，所述步骤S5中根据步骤S4所得结果J_r与J_s计算其清晰图像I的表达式为：

其中F(·)为傅里叶变换，F^-1(·)为傅里叶逆变换，h为步骤S3计算得到的点扩散函数，h^T为h的转置，g为步骤S1输入的模糊图像，b为图像块尺寸，K为相似图像块的个数，J_r与J_s为步骤S4计算得到的组稀疏重建图像与非局部均值自相似重建图像，γ₁、γ₂为正则化常数。

Images