CN102326379B - 从图像中去除模糊的方法 - Google Patents

Abstract

本发明公开了一种用于迅速地从图像中去除模糊的方法。该方法能够快速地从图像中去除模糊并改善图像质量。该方法包括：接收模糊图像的步骤；基于模糊图像来估计非模糊图像的图像估计步骤；根据模糊图像和非模糊图像来估计模糊信息的模糊信息估计步骤；以及基于模糊图像和所估计的模糊信息来从模糊图像中去除模糊的模糊去除步骤，其中迭代地执行图像估计步骤和模糊信息估计步骤。因此，本发明能够快速地去除包括在图像中的模糊，并且能够通过有效地去除模糊来改善图像质量。

Description

从图像中去除模糊的方法

技术领域

本发明涉及图像处理方法，尤其涉及一种通过仅使用一个图像来去除图像的模糊的方法以及在其上记录该方法的记录介质，通过采用该方法能够快速且有效地消除模糊。 

背景技术

在使用图像捕获设备获取图像的过程中经常会出现模糊现象，并且其是降低图像质量的原因。 

为了在光线不足的环境（诸如黑暗的屋子内或晚上的户外）中使用诸如相机之类的设备来获取图像，光线充足对于获取清晰的图像而言是必需的。为了获得充足的光线，图像传感器必须长时间地暴露于光照中。然而，长时间的曝光会因图像传感器抖动而导致所获取的图像变得模糊。 

虽然已经对模糊现象的消除进行了大量的研究，但是仍然很难从图像中消除模糊。这是因为从图像中估计并消除模糊需要比给定信息更多的新信息。 

为了解决该问题，传统的解决方案使用若干个图像，需要诸如传感器曝光时间这样的额外信息，或者采用有限的模糊形状（诸如局限于可由二维矢量来表示的线性运动的模糊形状）。 

Ytizhakey等人（YTIZHZKEY,Y.、MOR,I.A.和KOPEIKA,N.S.，1998，Direct Method For Restoration of Motion-blurred Images，Journal of Opt.Soc.Am.A.15，6，1512-1519）基于图像各向同性的假设来对可由二维矢量表示的模糊进行估计。Rav-Acha和Peleg（RAV-ACHA,A.和PELEG,S.，2005，Two Motion-blurred Images Are Better Than One，Pattern Recognition Letters26，311–317）提出了一种通过使用两个模糊图像来估计模糊的方法。Yuan等人（YUAN,L.、SUN,J.、QUAN,L.和SHUM,H.Y.，2007，Image Deblurring With Blurred/Noisy Image Pairs，ACM Trans.Graphics26，3，1）提出了一 种通过使用有噪非模糊图像和模糊图像来估计并消除模糊的方法。 

Money和Kang（MONEY,J.H.和KANG,S.H.，2008，Total Variation Minimizing Blind Deconvolution with Shock Filter Reference，Image and Vision Computing26，2，302–314）提出了一种通过将冲击滤波应用于模糊图像以恢复锐边并之后使用该锐边来估计高斯模糊和能够用2D矢量表示的模糊的方法。 

近年来，已经引入了从一个图像来估计一般模糊（general blur）（其能够通过使用少量的参数来表示）而非运动模糊并且消除一般模糊的方法。Fergus等人（FERGUS,R.、SINGH,B.、HERTZMANN,A.、ROWEIS,S.T.和FREEMAN,W.，2006，Removing Camera Shake From A Single Photograph，ACM Trans.Graphics25，787–794）提出了一种通过使用通用图像的统计特性来估计模糊的方法。Jia（JIA,J.，2007，Single Image Motion Deblurring Using Transparency，In Proc.CVPR2007，1–8）提出了一种通过使用alpha matte机制来找到图像中模糊出现区域上的信息并且之后去除图像的模糊的方法。然而，在由Fergus等人提出的方法中很难获得良好的效果，并且该方法因复杂的统计模型而花费许多时间，而对于由Jia提出的方法，为了获得满意的结果必须获得良好的不光滑性，因为该方法高度依赖于alpha matte 机制。 

Shan等人（SHAN,Q.、JIA,J.和AGARWALA,A.，2008，High-Quality Motion Deblurring From A Single Image，ACM Trans.Graphics27，73）提出了一种通过建议由Fergus等人提出的通用图像的统计特性为能够容易计算的形式并使用该统计特性来估计和消除模糊的方法。然而，该方法是不实际的，因为需要几分钟到大约几十分钟或者更多的处理时间来处理一个图像。 

发明内容

技术问题 

因此，提供了本发明的示例性实施例，以本质上解决因现有技术的局限性和缺点导致的一个或多个问题。 

本发明的示例性实施例提供了一种去除图像的模糊的方法。 

技术方案 

在示例性实施例中，用于去除图像的模糊的方法包括：接收模糊图像；根据该模糊图像来估计非模糊图像的图像估计步骤；根据所述模糊图像和所估计的非模糊图像来估计模糊信息的模糊信息估计步骤；以及基于所述模糊图像和所估计的模糊信息来去除模糊图像的模糊的去模糊步骤。这里，迭代地执行图像估计步骤和模糊信息估计步骤。图像估计步骤可以包括：使用图像滤波器预测模糊图像的梯度信息的梯度信息预测步骤；以及基于所估计的模糊信息和模糊图像来执行第一去卷积的第一去卷积步骤。梯度信息预测步骤可以包括：将双边滤波应用于模糊图像；将冲击滤波应用于双边滤波的图像；计算冲击滤波的图像的梯度图（gradient map）；以及将阈值应用于所计算出的梯度图。将阈值应用于计算出的梯度图可以包括：基于所计算出的梯度的方向和大小来创建柱状图（histogram）；将一梯度的大小设置为阈值，所述梯度能够包括的像素是与所创建的柱状图中包括的每个方向相对应的所述模糊信息的垂直和水平大小的最大值的预定倍或更多倍；以及将所设置的阈值应用于梯度图以截取（truncate）所述梯度。将所设置的阈值应用于梯度图以截取所述梯度可以包括：将小于所述阈值的梯度设置为0。模糊信息估计步骤可以包括：基于模糊图像和截取的梯度来估计模糊信息。模糊信息估计步骤可以包括：通过使用仅包括图像导数而没有像素值的能量函数（energy function）来估计模糊信息。当改变模糊图像和所估计的非模糊图像的分辨率时，可以迭代地执行所述图像估计步骤和所述模糊信息估计步骤。 

有益效果 

通过采用去除图像的模糊的方法，能够容易且快速地去除一个图像的模糊并且能够改善图像的质量。 

附图说明

图1是根据本发明示例性实施例的用于去除图像的模糊的方法的流程图； 

图2示出了根据图1中的根据本发明示例性实施例的去除图像的模糊的方法中的多次迭代得到的去模糊图像； 

图3是图1中的预测步骤的流程图； 

图4示出了在根据本发明示例性实施例的去除图像的模糊的方法中以不同尺度估计的核； 

图5示出了根据本发明示例性实施例的估计模糊核的方法的模糊核估计收敛速度与估计模糊核的传统方法的模糊核估计的收敛速度之间的比较； 

图6示出了根据本发明示例性实施例的模糊核估计的精度； 

图7示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去模糊后的图像； 

图8示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去除模糊后的实际图像； 

图9示出了图8中所示的去除图像的模糊所用的处理时间。 

具体实施方式

因此，示例性实施例能够进行各种修改和替换，在附图中通过示例的方式示出了它们的实施例并且将在本文对它们进行详细描述。然而，应当理解，并不意欲将示例性实施例限制到所公开的特定形式，相反地，示例性实施例将覆盖落入本发明范围内的所有修改、等价形式和替代。在整个附图中，类似的标号指代类似的元件。 

应当理解，虽然术语“第一”、“第二”等可以在本文中用于描述各种元件，但是这些元件并不受这些术语的限制。这些术语仅用于将一个元件与另一元件相区分。例如，在不背离示例性实施例的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包括一个或多个相关所列条目的任何和所有组合。 

应当理解，当某个元件被称为“连接到”或“耦合到”另一元件时，其可以直接地连接到或耦合到另一元件或者可以存在着介于其间的元件。相反地，当某个元件被称为“直接连接到”或“直接耦合到”另一元件时，不存在介于其间的元件。 

本文所用的术语仅用于描述特定的实施例，并且不意欲限制示例性实 施例。如本文所使用的，单数形式的“一”、“一个”和“所述”也希望包括复数形式，除非上下文中清楚指明并非如此。还应当理解，当在本文中使用时，术语“包含（comprise）”、“包含（comprising）”、“包括（include）”和/或“包括（including）”说明了所述特征、整数、步骤、操作、元件和/或部件的存在，但是并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的集合的存在或增加。 

除非另有定义，否则本文使用的所有术语（包括技术术语或科技术语）具有本领域技术人员所理解的含义。除非明确定义，否则通常在字典中定义的术语应当被解释为具有与相关方案的上下文相关的意思，而不应当被解释为具有异常或过度形式的意思。 

下文中，将参考附图来更详细地描述本发明的优选示例性实施例。 

通常，运动模糊可以用公式1来表示： 

B＝Ｋ＊L+N   公式1 

其中，B指的是模糊图像，K指的是指示图像的模糊信息的运动模糊核（blur kernel）或点分布函数（PSF），以及L指的是潜像（latent image）（例如，强非模糊图像）。而且，N指的是在图像捕获过程中引入的未知噪声，以及*指的是卷积运算符。 

为了公式1的盲去卷积（blind deconvolution），必须在迭代过程中对L和K进行优化。而且，可以使用公式2和公式3来估计潜像和模糊核： 

L′＝argmnn_L{||B-K*L|+ρ_L(L)}   公式2 

K′＝argmin_K{||B-K*L||+ρ_K(K)}   公式3 

其中，||B-K*L||指的是数据拟合项（data fitting term），ρ_L和ρ_K指的是正则项（regularization term）。 

迭代地优化意欲逐步改善模糊核K的精度。通过对最终的模糊核K和给定的模糊图像B执行去卷积运算，可获得最终的去模糊图像。在迭代优化期间估计的潜像对最终的去模糊图像没有直接影响，但对运动模糊核K的改善是有直接影响的，这样潜像就对最终的去模糊图像具有间接的影响。 

潜像估计的迭代优化过程使得能够从潜像中恢复锐边并且在平滑区域中获得噪声降低特性，其用来估计更准确的运动模糊核。即使当假设给定图像包括恒定模糊时，也能够在锐边周围获得更准确的运动模糊核。例如， 在具有恒定强度的区域中不能估计运动模糊核，但是由于自然图像通常包括锐边，所以可以通过在潜像估计过程中恢复的边缘来有效地预测运动模糊核。 

在普通的自然图像中，平滑区域比锐边区域占据了更大的空间，因此抑制平滑区域中的噪声是至关重要的。平滑区域中未被抑制的噪声可以很大地影响公式3中的数据拟合项，这降低了从锐边中估计模糊核的精度。 

在求解公式2的过程中，用于恢复锐边并抑制噪声的传统方法使用一种复杂计算的非线性优化。而且，使用公式3来估计模糊核的传统方法需要对大量的矩阵和矢量进行运算。因此，用于迭代地执行盲去卷积以估计潜像和模糊核的传统方法的缺点是计算量大。 

为了克服上述传统方法的缺点，根据本发明示例性实施例的去除图像的模糊的方法通过降低估计潜像和模糊核过程中的计算量来提供快速盲去卷积。 

在根据本发明示例性实施例的去除图像的模糊的方法中，假设潜像包括足够的锐边以提高潜像的估计速度，并且通过使用图像滤波器来恢复锐边，并且使用噪声抑制特性而不是对公式2中具有高计算复杂性的非线性正则项进行优化。 

而且，模糊核估计过程通过排除像素值而提高了公式3的数值优化过程的速度。 

在根据本发明示例性实施例的去除图像的模糊的方法中，潜像估计过程包括两个步骤：简单去卷积和预测。 

在简单去卷积步骤中，给定模糊图像B和模糊核K，通过使用具有高斯先验（gaussian prior）的简单且快速去卷积来首先消除模糊以估计潜像L。潜像L包括因高斯先验的特性导致的平滑边缘和平滑区域中的噪声。 

在预测潜像L的步骤中，使用图像滤波器来恢复锐边并消除噪声，以获得具有改善精度的估计的潜像L’。这里，在使用潜像来估计模糊核时，将潜像的平滑区域的锐边和被抑制的噪声用作关键特性，以便所估计的潜像L’能够提供高质量的潜像来准确估计模糊核，即使在简单去卷积降低了图像质量的情况下。 

模糊核估计步骤使用共轭梯度（CG）来求解公式3。而且，在求解公 式3时，对能量函数执行若干次梯度计算。 

由于梯度计算涉及大矩阵和矢量乘法，因此其非常复杂。通过使用快速傅里叶变换能够改善与卷积运算相关联的乘法的计算速度。 

然而，有必要在顺序执行快速傅里叶变换中适当地调整妨碍了快速傅里叶变换的直接级联的图像边界。 

通过公式3能够大大地降低图像边界调整的次数和快速傅里叶变换的次数，以获得仅具有图像导数的能量函数。而且，该能量函数改善了共轭梯度（CG）的处理速度，向从公式3推导出的计算***提供了具有小条件数（condition number）的良好条件（well condition），并改善了收敛速度。 

图1是根据本发明示例性实施例的去除图像的模糊的方法的流程图。 

参照图1，首先提供模糊图像（步骤110）。 

迭代循环的初始阶段是预测步骤120，其在提供模糊图像时，提供潜像L的初始值，以估计模糊核。 

在该预测步骤中，计算潜像L的x方向和y方向上的梯度图{Px,Py}，以根据该潜像来预测显著边缘，其中，在该潜像中的噪声在平滑区域得到抑制。 

在步骤120到步骤150的迭代中，将由前一迭代中的去卷积步骤获得的估计潜像L（虽然其并不是初始输入）输入到所述预测步骤中。 

模糊核估计步骤130通过使用经步骤120中的计算所预测的梯度图{Px,Py}以及模糊图像B来估计模糊核K。 

在去卷积步骤140中，模糊核K和模糊图像B用来估计潜像L。这里，估计潜像L是下一迭代中的预测步骤120的输入。 

在根据本发明示例性实施例的去除图像的模糊的方法中，迭代地执行步骤120和步骤130以更有效地估计模糊核K和潜像L，从而改善估计精度。 

在根据本发明示例性实施例的去除图像的模糊的方法中，在迭代过程中使用模糊图像B和潜像L的灰度级（grayscale version）来更新模糊核K和潜像L的精度。 

在通过迭代获得最终的模糊核K之后，对最终的模糊核K和模糊图像B的每个彩色通路（color channel）执行最终的去卷积，以获得最终的去模 糊图像（步骤150）。 

图2示出了根据图1所示的根据本发明示例性实施例的去除图像的模糊的方法中的多次迭代得到的去模糊图像。 

图2(a)示出了原始的模糊图像，图2(b)示出了根据本发明示例性实施例的最终的去模糊图像。 

图2（c）到图2（e）分别示出了迭代地执行图1中的步骤120到步骤140一次、三次和五次的结果，即包括预测的梯度图{Px,Py}和估计的模糊核的去卷积结果。在图2中，使用Poisson重建来使预测的梯度图{Px,Py}可视化。 

如图2所示，在根据本发明示例性实施例的去除图像的模糊的方法中，随着图1中步骤120到步骤140的迭代次数的增加（图2（e）中的第5次迭代），能够更准确地估计潜像并且可以基于估计的潜像来预测更准确的模糊核。更准确估计的模糊核可以用来获得最终的去模糊图像（b）。 

现在将更详细地描述根据本发明示例性实施例的去除模糊图像的方法。 

首先，在图1的预测步骤120中，通过仅留下潜像L中的显著边缘并将其他区域的梯度设置为0来估计图像梯度图{Px,Py}。无论估计的模糊核如何，梯度0的卷积总是为0，以便仅显著边缘才影响模糊核估计步骤130中的模糊核优化。 

预测步骤使用冲击滤波器（shock filter）来恢复强边缘。冲击滤波器是通过从模糊图像中恢复锐边来增强图像特征的有效工具。 

冲击滤波器可以用公式4来表示： 

$I_{t+1}=I_t-\mathrm{sign}\left({\mathrm{\ΔI}}_t\right)\left|\right|\▿I_t\left|\right|\mathrm{dt}$    公式4 

其中，I_t指的是t时刻的图像，ΔI_t和分别指的是I_t的拉普拉斯运算和I_t的梯度。而且，dt指的是单一展开（single evolution）的时间步长。 

图3是图1中的预测步骤的流程图。 

参照图3，所述预测步骤可以包括应用双边滤波（bilateral filtering）、应用冲击滤波和应用梯度阈值。 

首先，应用双边滤波来抑制可能出现在所估计的当前潜像L中的噪声和小的细节（步骤121）。这里，双边滤波能够支持的图像大小可以固定为 例如，5×5。 

然后，应用冲击滤波来恢复所估计的潜像L中的锐边（步骤123）。在作为冲击滤波得到的图像的潜像L’中，边缘的对比度得到了改善但噪声增加了。 

为了消除噪声，计算潜像L’的梯度图（步骤125）并且将阈值应用于所计算出的梯度图来截取（truncate）所述梯度（步骤127）。被截取的梯度图{Px,Py}成为预测步骤的最终输出。这里，例如可以通过将小于阈值的梯度设置为0来截取所述梯度。 

通过将梯度的方向分成预定角度（例如45°）的间隔、根据每个方向（其中，180°与360°之间的角度被看作是仅符号不同但大小相等的方向的角度）的梯度大小来创建柱状图、以及将能够包括同每个方向的模糊核的垂直和水平大小的最大值的预定倍（例如，两倍）或更多倍一样多的像素的梯度的大小设置为所述阈值，来获得用于截取所述梯度的阈值。 

在去卷积步骤140中，基于给定的模糊核K和所提供的模糊图像B来估计潜像L。这里，使用能量函数来估计潜像L。可以用公式5来表示能量函数： 

$f_L\left(L\right)=\underset{{\∂}_{*}}{\underset{{\∂}_{*}}{\mathrm{\Σ}}{\mathrm{\ω}}_{*}\left|\right|K*{\∂}_{*}L-{\∂}_{*}{B\left|\right|}^2+\mathrm{\α}{\left|\right|\▿L\left|\right|}^2}$    公式5 

其中，指的是不同方向上的偏微分运算符和阶数，ω_＊∈｛ω'₀，ω'₁，ω₂}指的是每个偏微分的权重，α指的是正则项的权重（例如，0或1）。 

公式5的第一项是基于使用由Shan等人（SHAN,Q.、JIA,J.和AGARWALA,A.，2008，High-quality Motion Deblurring From A Single Image，ACM Trans.Graphics27，73）提出的图像导数的模糊模型，以降低振铃效应（ringing artifact）。而且，正则项采用具有平滑梯度的潜像L。 

通过仅采用两次快速傅里叶变换，能够通过频域中的逐像素（pixel-wise）划分来非常快地优化公式5。公式5的优化结果可以包括平滑边缘和振铃效应。然而，由于仅恢复了锐边并且在步骤120中截取了包括振铃效应的其他部分，所以基于预测步骤120来执行单次去卷积的结果并不影响准确的模糊核估计。 

在根据本发明示例性实施例的去除图像的模糊的方法中，执行了多尺度（multi-scale）迭代过程以有效地去除严重模糊图像的模糊。 

图4示出了在根据本发明示例性实施例的去除图像的模糊的方法中以不同尺度估计的核。 

将参照图4描述多尺度迭代过程。首先，以较低的分辨率（其中，模糊的范围窄）来估计锐边，并且在不加重局部误差的情况下估计这些边缘。 

在更高的分辨率中，开始锐边估计，同时避免来自通过之前较低分辨率获取的去卷积图像的严重局部误差。 

将在以特定尺度进行迭代过程期间得到的锐边估计应用于通过在之前迭代过程中更新的模糊核获得的去卷积结果。 

在根据本发明示例性实施例的去除图像的模糊的方法中，如上面描述的那样，可以通过多尺度迭代过程通过使用小的双边滤波器和冲击滤波器来估计用于大量模糊的模糊核。 

多尺度迭代过程使得能够估计用一个尺度尚不能处理的大量模糊。而且，在根据本发明示例性实施例的去除图像的模糊的方法中，在为模糊核估计预测潜像的梯度图中可以执行两次快速傅里叶变换和简单的图像滤波，并且可以非常快地执行双边滤波、冲击滤波和梯度阈值应用。该方法的执行速度要比执行30到60次快速傅里叶变换的传统去模糊方法（例如，由Shan等人在2008年提出的方法）的执行速度快。 

使用所估计的梯度图{Px,Py}的模糊核估计使用了公式6中的能量函数： 

$f_K\left(K\right)=\underset{(P_{*},B_{*})}{\mathrm{\Σ}}{\mathrm{\ω}}_{*}{\left|\right|K*P_{*}-B_{*}\left|\right|}^2+\mathrm{\β}{\left|\right|K\left|\right|}^2$    公式6 

其中，ω_*∈{ω₁、ω₂}指的是每个偏微分的权重，P_*和B_*可以随着公式7而变化： 

$(P_{*},B_{*})\∈\{(P_x,{\∂}_{x}B),(P_y,{\∂}_{y}B),$

$({\∂}_x{P}_x,{\∂}_{\mathrm{xx}}B),({\∂}_y{P}_y,{\∂}_{\mathrm{yy}}B),$

$(({\∂}_x{P}_y+{\∂}_y{P}_x)/2,{\∂}_{\mathrm{xy}}B)\}.$    公式7 

在公式6中，各个(K*P_*一B_*)形成了映射I，其中映射I被定义为 

||I||²=Σ_(x，y)I(x，y)，其中，(x,y)指的是I中像素的索引，β指的是Tikhonov 正则的权重。 

如公式6所示，本发明仅使用图像导数，并且在能量函数中不包括像素值。本发明使用Tikhonov正则项，而不使用传统去模糊方法中K的L1范数（norm）。 

可用公式8中所示的矩阵形式来表示公式6： 

   公式8 

其中，A指的是由五个R_*构成的矩阵，k指的是模糊核K的矢量，b指的是由五个B_*构成的矩阵。 

使用共轭梯度（CG）来简化公式8，则f_k的梯度如公式9所定义： 

   公式9 

其中，由于A的大小，计算需要许多时间。当潜像L和模糊核K各种的大小为n×n和m×m时，A的大小成为5n2×m2。因此，直接计算Ak需要大量的计算和大的存储容量。即使A^TA具有相对小的m2×m2的大小，其仍然需要许多的计算时间。 

然而，由于Ak对应于5个P_*和K之间的卷积，所以通过使用快速傅里叶变换能够改善计算速度。特别地，Ak计算需要六次快速傅里叶变换，即一次和五次这里，和分别指的是正向FFT和反向FFT，о指的是逐像素乘法。可以先计算;然后再计算共轭梯度（CG）。 

类似于上面描述的方法，通过六次快速傅里叶变换能够改善A^Ty（其中y=Ak）的计算速度。 

结果，在共轭梯度（CG）方法的每个迭代步骤中，为了计算梯度 总共要执行12次快速傅里叶变换。通过快速傅里叶变换，预处理步骤可以计算A^Tb和

在本发明中，通过将Ak和A^Ty相关联来直接计算A^TAk，以便通过减少快速傅里叶变换的数量来进一步提高计算速度。A^TAk可用公式10表示： 

   公式10 

其中，指的是的复共轭。在迭代地执行共轭梯度（CG）方法之前可以提前计算因此，对于梯度计算而言仅执行了两次快速傅里叶变换，这样可以将快速傅里叶变换的数量降低10倍。 

上述的有效计算源于仅使用图像导数而不使用公式6中的像素值。也就是说，由于本发明仅使用图像偏微分，所以在Ak计算之前，图像的边界被延伸到了偏微分值为0的区域，从而避免了图像边界的问题。 

在对公式6进行优化之后，将小于最大值的1/20的元素值设置为0，其他非零值则被正则，从而使得非零值的和为1。 

在数值优化过程中，迭代次数和优化收敛的收敛速度是非常关键的。根据本发明示例性实施例的用于估计模糊核的方法比使用像素值的传统方法实现了更快的计算优化。 

图5示出了根据本发明示例性实施例的估计模糊核的方法的模糊核估计收敛速度与估计模糊核的传统方法的模糊核估计的收敛速度之间的比较。 

从图5可以看出，根据本发明示例性实施例的用于估计模糊核的方法通过几次迭代大大地降低了模糊核估计误差，而使用像素值的用于估计模糊核的传统方法则相当缓慢地降低模糊核估计误差。 

如上所述，数值优化的快速收敛源自公式9中的矩阵A^TA的良好定义的条件。A^TA可用公式11来表示： 

$A^{T}A=\underset{*}{\mathrm{\Σ}}{\mathrm{\ω}}_{*}{A}_{*}^T{A}_{*}$    公式11 

其中，被定义为这里，是由偏移了依赖于的量的的矢量表示。除了边缘像素之外，图像偏微分通常接近于0。因此，在对角区域中具有大的元素值，而在非对角区域中具有非常小的元素值。 

为了比较模糊核估计的速度，在能量函数与Shan等人在2008年提出的能量函数相同（除了将Tikhonov正则项用在核估计的正则项中之外其它都相同）的情况下，来考虑用于估计核的方法。这里，将Shan等人在2008年使用的Tikhonov正则项称为“Shan-L2”。 

Shan等人在2008年提出的原始版本需要大量的计算，因为其在能量函数的正则项中使用L1范数。而且，在Shan等人在2008年提出的原始版本中，在核估计步骤中创建了非常大的矩阵，这导致存储容量不足以及过度的计算量。 

另一方面，根据本发明示例性实施例的模糊核估计在执行每个共轭梯度（CG）方法时执行两次快速傅里叶变换，而“Shan-L2”总共执行14次快速傅里叶变换，因为其使用了6个图像：一个像素值图像和五个偏微分图像。而且，“Shan-L2”比本发明需要更多数量的迭代，因为前者使用了像素值。 

从图5中可以看出，在根据本发明示例性实施例的估计模糊核的方法中，迭代地执行了五次共轭梯度（CG）处理，而为了获得类似精度，“Shan-L2”则需要30次迭代。 

因此，根据本发明示例性实施例的估计模糊核的方法比“Shan-L2”快40倍，并且比使用像素值的其他传统方法快10倍或更多倍。 

图6示出了根据本发明示例性实施例的模糊核估计的精度。 

通过使用包括不同高斯噪声的测试图像来对比本发明和使用像素值的传统方法，以验证根据本发明示例性实施例的估计核的方法的精度。 

参照图6，根据本发明示例性实施例的估计核的方法与使用像素值来估计核的传统方法基本上具有相同的精度，虽然前者并不使用像素值。在一些示例性实施例中，由于通过排除像素值而获得的良好定义的计算***，根据本发明示例性实施例的估计核的方法比通过使用像素值来估计核的传统方法具有更高的精度。 

图7示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去模糊后的图像。 

从图7中可以看出，所估计的模糊核基本上与原始模糊核相同，并且去模糊图像包括原始图像的被精确恢复的细节。 

图8示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去模糊后的实际图像。图8所示的各个图像包括不同的复杂结构和相机运动。 

从图8中可以看出，为了获得对象的更显著的形式和结构，大大地加 强了每个去模糊图像的锐边。 

图9示出了图8中所示的去除图像的模糊的处理时间。 

准备以下试验环境，其具有基于MS Windows XP（32位）的Intel Core2CPU2.66GHz、3.25GB RAM、和NVIDIA的GeForce GTX显卡的个人计算机（PC）。对于该实验而言，通过使用该显卡的GPU加速功能来体现所述去模糊方法。从图9可以看出，即使当核很大时，也能够通过使用根据本发明示例性实施例的去除图像的模糊的方法来在几秒内去除输入模糊图像的模糊。 

通过采用去除图像的模糊的方法以及在其上记录有去模糊方法的记录介质，图像滤波被应用于接收到的模糊图像上以恢复边缘并消除噪声，预测梯度图，基于梯度图和模糊图像来估计模糊核，对所估计的模糊核和模糊图像执行去卷积以估计潜像。迭代地执行这些过程以改善模糊核的估计精度并然后估计最终的模糊核，并且对最终的模糊核和模糊图像执行最终的去卷积以去除图像的模糊。模糊核估计过程仅使用了图像导数而未使用像素值。 

因此，能够通过仅使用一个模糊图像来在维持图像质量的同时消除模糊，并且与传统的去模糊方法相比能够大大地降低去模糊时间。 

对本领域技术人员显而易见的是，在不背离本发明的精神或范围的情况下，可以对本发明进行各种修改和改变。因此，意欲使本发明涵盖落入所附权利要求范围内的本发明的修改和改变及其等价形式。 

Claims (5)

1.一种去除图像的模糊的方法，包括：

接收模糊图像；

图像估计步骤，其根据所述模糊图像来估计非模糊图像；

模糊信息估计步骤，其根据所述模糊图像和所估计的非模糊图像来估计模糊信息；以及

去除模糊步骤，其基于所述模糊图像和所估计的模糊信息来去除所述模糊图像的模糊，

其中，迭代地执行所述图像估计步骤和所述模糊信息估计步骤，

其中，所述图像估计步骤包括：梯度信息预测步骤，其使用图像滤波器获得所述模糊图像的所计算出的梯度图；以及，第一去卷积步骤，其基于所估计的模糊信息和所述模糊图像来执行第一去卷积；

其中，所述梯度信息预测步骤包括：将双边滤波应用于所述模糊图像；将冲击滤波应用于所述双边滤波的图像；对所述冲击滤波的图像计算梯度图；以及将阈值应用于所计算的梯度图；

其中，将阈值应用于所计算的梯度图包括：基于所计算出的梯度图中每个梯度的方向和大小来创建柱状图；将一梯度的大小设置为阈值，所述梯度能够包括的像素是与所创建的柱状图中包括的每个方向相对应的所述模糊信息的垂直和水平大小的最大值的预定倍或更多倍；以及将所设置的阈值应用于所述梯度图以截取所述梯度。

2.根据权利要求1所述的方法，其中，将所设置的阈值应用于所述梯度图以截取所述梯度包括：将小于所述阈值的梯度设置为0。

3.根据权利要求1所述的方法，其中，所述模糊信息估计步骤包括：基于所述模糊图像和截取的梯度来估计所述模糊信息。

4.根据权利要求1所述的方法，其中，所述模糊信息估计步骤包括：通过使用仅包括图像导数而不包括像素值的能量函数来估计所述模糊信息。

5.根据权利要求1所述的方法，其中，当改变所述模糊图像和所估计的非模糊图像的分辨率时，迭代地执行所述图像估计步骤和所述模糊信息估计步骤。