CN103873773A - 基于主辅协同双光路设计的全向成像方法 - Google Patents

Abstract

本发明属于图像信息处理领域，解决折反射全向成像散焦模糊问题，提供一种基于主辅协同双光路设计的全向成像方法。首先通过主辅协同的双光路成像***对同一场景的光线通过分光装置分别在普通孔径和编码孔径相机成像；设计适用于折反射成像***的编码孔径方案，使得***能够更准确辨识全向图像的模糊尺度；设计针对全向图像成像特点的反卷积方法，对散焦模糊图像进行复原得到全聚焦全向图像。本发明将成像结构和成像方法的共同改进紧密结合，有效提高折反射全向成像去散焦模糊效果，对于提高图像质量，促进其在相关领域的广泛应用具有重要意义。

Description

基于主辅协同双光路设计的全向成像方法

技术领域

本发明属于图像信息处理领域，具体涉及全向成像方法。 

背景技术

全向图像/视频能覆盖大范围的宽视角场景，凭借360度视角的优势，近年来吸引了大量计算机视觉、光学仪器等交叉领域研究人员在基础理论、产品设计、应用开发等多方面展开研究。全景成像技术大致分为单相机旋转式[1]、鱼眼成像[2]、拼接成像[3]和折反射成像[4]等几类。其中，反射面与折射透镜相结合的折反射成像方式是近年来研究较为集中的成像方式，其原理是利用曲面反射镜收集来自三维空间360度范围内物体的光线，并将其反射到光学成像***成像。原始采集的折反射全向图存在严重的同心圆环状变形，不适合于直观反映真实的自然界场景，在实际应用中通常需要将其展开为更符合人眼视觉习惯的柱面全景图像，如图2所示。 

然而，折反射全向成像固有的空间分辨率低、分辨率不均匀、散焦模糊等基础问题日益成为影响全向成像清晰度的最主要因素，严重限制了折反射全向成像技术的发展。折反射全向成像***无论聚焦内环区域、中环区域还是外环区域，都会造成其它区域的散焦模糊，如图3所示，图3（a）内环图像清晰，图（b）中环图像清晰，图（c） 外环图像清晰。目前，折反射散焦模糊问题的主要技术难点包括两个方面：（1）折反射成像***曲面光学结构造成的图像散焦模糊，很难准确地辨识其模糊尺度；（2）由于折反射全向图像的成像方式不同于普通图像，只采用传统的图像复原反卷积算法，则很难达到更好的效果。 

为了解决问题，目前广泛采用且较为有效的方法是编码孔径技术[5]。如图4所示，该技术利用特殊设计的掩膜来改进成像装置，对还没有到达图像传感器的光束进行了针对性的编码加工，为图像采集后的处理过程提供更多有效的信息。经过编码孔径获得的图像，能够更准确地辨识出各个区域的模糊尺度，进而更准确地利用点扩散函数的尺度和反卷积算法进行图像复原。但编码孔径相机采集的单幅编码图像由于掩码遮挡损失了特定频率的信息，影响了图像去散焦模糊的效果[6]。 

发明内容

本发明为解决折反射全向成像存在的散焦模糊问题，提供一种基于主辅协同双光路设计的全向成像方法，将普通孔径和编码孔径的优势互补，利用编码孔径辅助辨识图像散焦模糊尺度，再通过对普通孔径采集的没有信息损失的图像做反卷积复原得到全聚焦全向图像，进一步提高成像效果。 

为实现上述技术效果，本发明采用的具体技术方案是： 

本发明还提供了一种基于主辅协同双光路设计的全向成像方法，包括如下步骤： 

步骤一、将同一场景的光线分成用于图像复原的主光路和用于编码孔径辨识模糊尺度的辅助光路，分别在普通孔径相机和编码孔径相机成像，其中主光路的光能大于辅助光路的光能； 

步骤二、构建折反射全向成像散焦模糊数学模型，选择编码孔径方案，辨识出折反射全向图像各个区域的散焦模糊尺度； 

步骤三、对散焦模糊图像进行复原得到全聚焦全向图像： 

1、首先将散焦模糊图像分成多个环状区域； 

2、提出基于全向全变分最小化的图像复原方法，对每一块环状区域的散焦模糊图像进行复原； 

3、对所有复原后的环状区域的清晰图像进行拼接，获得全聚焦全向图像； 

其中基于全向全变分最小化的图像复原方法为：将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。 

具体来讲，步骤二中所述折反射全向成像散焦模糊数学模型的构建方法如下：建立ROZ坐标系，其中原点O在光心平面正上方，与光心平面距离为C，Z轴垂直于光心平面，R轴平行于光心平面。已知实景空间物点w和反射镜面上一点mr(α,β)，其中α,β为反射镜面参数，入射光线w_mr的单位方向向量为e_i(α,β)，经反射镜面上一点m_r(α,β)的反射光线的单位方向向量为e_r(α,β)，反射镜面上一点m_r(α,β)的单 位法向量为n_r(α,β)，根据已知的反射镜面参数，可求得n_r(α,β)，也可求得实景空间物点w经反射镜面上一点m_r(α,β)成的虚像w_c(α,β)的位置；再使用已知的Jacobian方法求得虚像w_c(α,β)到点m_r(α,β)的距离rc；当反射镜面上的点m_r(α,β)位于主入射光线wf与镜面的交点m₀处时，设虚像w_c(α,β)所在的物点深度为S_d,则S_d为： 

S_d=(d_c+m₀p₀)sinμ 

                                       (1) 

其中，d_c为点w_c和点m₀之间的距离。进一步得到折反射全向成像散焦模型： 

Y=X*F^S+η 

(2) 

其中，Y是得到的模糊图像，X是全聚焦的清晰图像，F^S是由卷积核形状F和卷积尺度S构成的卷积矩阵，卷积尺度S和深度S_d是一一对应的，η为图像的噪声。根据以上的散焦模型，就可以根据后面编码孔径的卷积核形状F，建立一套各个卷积尺度S的模糊标准，并依据标准就可以分析模糊图像的模糊尺度，找到相匹配的卷积尺度进行反卷积做图像复原。 

具体来讲，所述编码孔径的选择方法为：采用多种编码孔径设计方案分别绘制平方和曲线，从中选择形状尖锐度最高的残差平方和曲线，该残差平方和曲线对应的编码孔径设计方案即为最优方案。 

由于较好的编码孔径卷积核形状F可以较容易地辨识出不同的卷积尺度S，所以编码孔径设计的好坏，决定了是否可以精确确定图 像的模糊尺度，也很大程度上决定了图像复原的优劣。为了确定全向图像的最优编码孔径方案，对模糊图像所有可能的模糊尺度进行反卷积，采用功率谱统计模型计算残差平方和，并记录残差平方和最小的结果图像所对应的模糊尺度，即为模糊图像的正确模糊尺度。所述功率谱统计模型的建立方法为： 

若忽略噪声，成像散焦模型在频域下的表示为： 

|Y|=|XF|=|X||F| 

(3) 

其中，Y是模糊图像，X是全聚焦的清晰图像，F是卷积核形状。 

首先将频谱F(u,v)转化到极坐标下F(w,φ)，然后对其φ坐标积分，功率谱模型为： 

$S_{\mathrm{\ω}}\left(\right|F\left|\right)=\frac{1}{360}\underset{\mathrm{\φ}=1}{\overset{360}{\mathrm{\Σ}}}\left|F(\mathrm{\ω},\mathrm{\φ})\right|\≈\frac{A}{{\mathrm{\ω}}^{\mathrm{\γ}}},\mathrm{\ω}=\mathrm{1,2},...,M$

(4) 

其中A，r为常数。M=127，因为高频受噪声影响大，所以不对高频部分进行处理。对式（4）做取对数运算，得到线性方程： 

log(S_ω(|F|))=log(A)-γlog(w)=log(A)-γx 

(5) 

其中，x=log(w)。 

利用式（5）进行最小二乘拟合可求得残差平方和。 

步骤三中的所述基于全向全变分最小化的图像复原方法具体为：设全向图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)。首先找 到柱面全景图像中水平和垂直方向的相邻点P(u+1,v)和P(u,v+1)，再根据正投影找到全向图像中对应的点I(i+s1,j+t1)和I(i+s2,j+t2)，则全向图像中点I(i,j)处的梯度幅值用下式表示： 

$|\▿I(i,j)|=\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(6) 

全向图像I的全向全变分J定义为： 

$J\left(I\right)=\underset{(i.j)}{\mathrm{\Σ}}|\▿I(i.j)|=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(7) 

利用Lagrange法则，将全向全变分最小化图像复原问题转化为下面的最小化问题： 

f^*=argmin[||h*f-g||²+λJ(f)] 

(8) 

式(8)中，h为模糊核，g为模糊图像。λ是控制算法收敛的常量。全变分最小化方法能够抑制噪声，但并不对解强加平滑作用，即可以保存图像轮廓细节并且可在保证图像清晰度提高的前提下，抑制图像复原所带来的振铃波纹。λJ(f)为约束条件，即图像先验知识。通过最小化重构误差||h*f-g||²，可以求得复原后的清晰图像f^*。 

综上所述，本发明所述方法选择适用于折反射成像***的编码孔径方案，最后设计针对全向图像成像特点的图像复原方法。本发明能够有效克服传统方法存在的不足，提高全向图像去散焦模糊效果，改善折反射全向成像***的成像质量。 

附图说明

图1是本发明所述方法的流程图； 

图2(a)-(d)分别为折反射全向成像装置、成像过程、全向图和展开柱面全景图； 

图3是三张不同的聚焦折反射全向成像散焦模糊实际效果图； 

图4是编码孔径镜头加工过程； 

图5是编码孔径辅助计算的折反射全聚焦成像技术示意图； 

图6是像空间虚像象距的计算示意图； 

图7（a）是柱面反投影示意图； 

图7（b）是全向全变分计算示意图； 

图8是用于分析比较的多种编码孔径方案； 

图9是本***采用的编码孔径方案； 

图10是模糊全向图像； 

图11是经过本***处理后获得的清晰全向图像。 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。 

本发明提供了一种基于主辅协同双光路设计的全向成像方法，如图1所示，包括如下步骤： 

步骤一：构建主辅协同的双光路成像***，对同一场景的光线通过分光装置，分别在普通孔径和编码孔径相机成像。成像***包括：折反射装置、分光器、普通孔径相机和编码孔径相机。 

如图5所示，来自外界环境的入射光经折反射装置反射后，反射光经过分光装置后分为主光路和辅助光路两部分。主光路在普通孔径相机成像，获得具有完整信息的全信息图像；辅助光路在编码孔径相机中成像，通过编码图像分析全向图像各区域的模糊尺度。在光路设计中采用非均匀分光方式，主光路用于后续图像复原，图像偏暗会直接影响到复原效果，因此需要较大比例的光能。其余光能用于辅助光路，只需保证编码孔径能够辨识模糊尺度。具体光强度的分配可以通过反复试验比对和优化来确定。 

步骤二：构建折反射全向成像散焦模糊数学模型，选择适用于折反射成像***的编码孔径方案，准确辨识折反射全向图像各个区域的散焦模糊尺度。 

结合折反射全向成像***的散焦原理，构建折反射全向成像散焦模糊数学模型。建立如图6所示的ROZ坐标系。已知实景空间物点w和反射镜面上一点m_r(α,β)，α,β为反射镜面参数。入射光线w_mr的单位方向向量为e_i(α,β)，经反射镜面上一点m_r(α,β)的反射光线的单位方向向量为e_r(α,β)，反射镜面上一点m_r(α,β)的单位法向量为n_r(α,β)。由于反射镜面参数已知，可求得n_r(α,β)，也可求得实景空间物点w经反射镜面上一点m_r(α,β)成的虚像w_c(α,β)的位置。使用已知的Jacobian方法可以求得虚像w_c(α,β)到点m_r(α,β)的距离rc。当点m_r(α,β)位于主入射光线wf与镜面的交点m₀处时，设虚像所在的物点深度为S_d,则S_d为： 

S_d=(d_c+m₀p₀)sinμ 

                                       (1) 

其中，d_c为点w_c和点m₀之间的距离。进一步得到折反射全向成像散焦模型： 

Y=X*F^S+η 

(2) 

其中，Y是得到的模糊图像，X是全聚焦的清晰图像，F^S是由卷积核形状F和卷积尺度S构成的卷积矩阵，卷积尺度S和深度S_d是一一对应的，η为图像的噪声。根据以上的散焦模型，就可以根据后面编码孔径的卷积核形状F，建立一套各个卷积尺度S的模糊标准，并依据标准就可以分析模糊图像的模糊尺度，找到相匹配的卷积尺度进行反卷积做图像复原。 

一种较好的编码孔径F可以较容易地辨识出不同的卷积尺度S。所以编码孔径设计的好坏，决定了是否可以精确确定图像的模糊尺度，也很大程度上决定了图像复原的优劣。为了确定全向图像的最优编码孔径方案，进一步采用已知的功率谱统计模型[7]进行筛选。 

根据功率谱统计模型基本理论，图像越模糊，其功率谱的统计数据点越发散，其对应的残差平方和也就越大。因此在功率谱模型下，残差平方和可以很好的衡量全向图像的模糊尺度。对于一幅模糊尺度未知的全向图像，只有使用正确的模糊尺度反卷积，才能得到在功率谱分布模型下残差平方和最小的结果图像。因此对模糊图 像所有可能的模糊尺度进行反卷积，并记录残差平方和最小的结果图像所对应的模糊尺度，即为模糊图像的正确模糊尺度。建立功率谱统计模型： 

若忽略噪声，成像散焦模型在频域下的表示为： 

|Y|=|XF|=|X||F| 

(3) 

其中，Y是模糊图像，X是全聚焦的清晰图像，F是卷积核形状。 

首先将频谱F(u,v)转化到极坐标下F(w,φ)，然后对其φ坐标积分，功率谱模型为： 

$S_{\mathrm{\ω}}\left(\right|F\left|\right)=\frac{1}{360}\underset{\mathrm{\φ}=1}{\overset{360}{\mathrm{\Σ}}}\left|F(\mathrm{\ω},\mathrm{\φ})\right|\≈\frac{A}{{\mathrm{\ω}}^{\mathrm{\γ}}},\mathrm{\ω}=\mathrm{1,2},...,M$

(4) 

其中A，r为常数。M=127，因为高频受噪声影响大，所以不对高频部分进行处理。对式（4）做取对数运算，得到线性方程： 

log(S_ω(|F|))=log(A)-γlog(w)=log(A)-γx 

(5) 

其中，x=log(w)。 

利用式（5）进行最小二乘拟合可求得残差平方和。 

为了选择最优的编码孔径，所述编码孔径的确定方法为：采用多种编码孔径设计方案分别绘制平方和曲线，如图8所示，从中选择形状尖锐度最高的残差平方和曲线，该曲线对应的编码孔径设计方案即为最优方案，如图9所示。 

步骤三：首先进行分环处理，把散焦模糊图像分成多个环状区域，然后利用基于全向全变分最小化的图像复原方法对每一块环状区域的散焦模糊图像进行复原，最后对复原后的清晰图像进行拼接，获得全聚焦全向图像。 

为了获取更加有效的图像先验知识和充分利用折反射全向成像特点，提出的基于全向全变分最小化的图像复原方法能够达到更好的去散焦模糊效果。具体方法为，将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。 

所述基于全向全变分最小化的图像复原方法具体为：如图7所示，全向图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)。首先找到柱面全景图像中水平和垂直方向的相邻点P(u+1,v)和P(u,v+1)，再根据正投影找到全向图像中对应的点I(i+s1,j+t1)和I(i+s2,j+t2)，则全向图像中点I(i,j)处的梯度幅值用下式表示： 

$|\▿I(i,j)|=\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(6) 

全向图像I的全向全变分J定义为： 

$J\left(I\right)=\underset{(i.j)}{\mathrm{\Σ}}|\▿I(i.j)|=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(7) 

利用Lagrange法则，将全向全变分最小化图像复原问题转化为下面的最小化问题： 

f^*=argmin[||h*f-g||²+λJ(f)] 

(8) 

式(8)中，h为模糊核，g为模糊图像，λ是控制算法收敛的常量。全变分最小化方法能够抑制噪声，但并不对解强加平滑作用，即可以保存图像轮廓细节并且可在保证图像清晰度提高的前提下，抑制图像复原所带来的振铃波纹。λJ(f)为约束条件，即图像先验知识。通过最小化重构误差||h*f-g||²，可以求得复原后的清晰图像f^*。 

通过上述方法获得的清晰图像如图11所示，提高了全向图像去散焦模糊效果，改善了折反射全向成像***的成像质量。 

参考文献 

[1]O.Romain,T.Ea,C.Gastaud and P.Garda.An omnidirectional stereoscopic sensor:spherical color image acquisition.IEEE International Conference on Image Process,Volume.2,pp.209-212,2002. 

[2]Z.Hall and E.Cao.Omnidirectional Viewing using a Fish Eye Lens.SPIE Optics,Illumination and Image Sensing for Machine Vision,Volume.0728,pp.250-256,1987. 

[3]M.Doi and T.Yamamoto.PanoVi:A Multi-Camera Panoramic Movie System by Using Client-Side Image Mosaicing.International Conference on Modeling and Simulation,pp:503-508,2003. 

[4]S.Baker and S.K.Nayar.A Theory of Single-Viewpoint Catadioptric  Image Formation.International Journal of Computer Vision.Volume.35,Issue2,pp.1-22,1999. 

[5]A.Levin,R.Fergus,F.Durand and W.T.Freeman,Image and Depth from a Conventional Camera with a Coded Aperture.ACM SIGGRAPH.Volume26,Issue.3,pp.1-9,2007. 

[6]C.Zhou,S.Lin and S.K Nayar.Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring.International Journal of Computer Vision.Volume93,Issue.1,pp.53-72,2011. 

[7]A.van der Schaaf and J.H.van Hateren,Modeling the power spectra of natural images:Statistics and information,Vision Research,Volume.36,Issue.17,pp.2759-2770,1996. 

[8]S.Kullback and R.Leibler.On Information and Sufficiency.The Annals of Mathematical Statistics.Volume.22,Issue.1,pp.79–86,1951。

Claims (5)

1.一种基于主辅协同双光路设计的全向成像方法，其特征在于，包括如下步骤：

步骤一、将同一场景的光线分成用于图像复原的主光路和用于编码孔径辨识模糊尺度的辅助光路，分别在普通孔径相机和编码孔径相机成像，其中主光路的光能大于辅助光路的光能；

步骤二、构建折反射全向成像散焦模糊数学模型，选择编码孔径方案，结合折反射***的结构，辨识出折反射全向图像各个区域的散焦模糊尺度；

步骤三、对散焦模糊图像进行复原得到全聚焦全向图像：

1）首先将散焦模糊图像分成多个环状区域；

2）提出基于全向全变分最小化的图像复原方法，对每一块环状区域的散焦模糊图像进行复原；

3）对所有复原后的环状区域的清晰图像进行拼接，获得全聚焦全向图像；

其中基于全向全变分最小化的图像复原方法为：将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。

2.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，步骤二中所述折反射全向成像散焦模糊数学模型的构建方法如下：建立ROZ坐标系，建立ROZ坐标系，其中原点O在光心平面正上方，与光心平面距离为C，Z轴垂直于光心平面，R轴平行于光心平面；已知实景空间物点w和反射镜面上一点m_r(α,β)，其中α,β为反射镜面参数，入射光线w_mr的单位方向向量为e_i(α,β)，经反射镜面上一点m_r(α,β)的反射光线的单位方向向量为e_r(α,β)，反射镜面上一点m_r(α,β)的单位法向量为n_r(α,β)，根据已知的反射镜面参数，可求得n_r(α,β)，也可求得实景空间物点w经反射镜面上一点m_r(α,β)成的虚像w_c(α,β)的位置；再使用已知的Jacobian方法求得虚像w_c(α,β)到点m_r(α,β)的距离rc；当反射镜面上的点m_r(α,β)位于主入射光线wf与镜面的交点m₀处时，设虚像w_c(α,β)所在的物点深度为S_d,则S_d为：

S_d=(d_c+m₀p₀)sinμ

(1)

其中，d_c为点w_c和点m₀之间的距离。进一步得到折反射全向成像散焦模型：

Y=X*F^S+η

(2)

其中，Y是得到的模糊图像，X是全聚焦的清晰图像，F^S是由卷积核形状F和卷积尺度S构成的卷积矩阵，卷积尺度S和深度S_d是一一对应的，η为图像的噪声；根据以上的折反射全向成像散焦模型，再根据编码孔径的卷积核形状F，建立一套各个卷积尺度S的模糊标准，并依据模糊标准分析模糊图像的模糊尺度，找到相匹配的卷积尺度进行反卷积做图像复原。

3.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，所述编码孔径的选择方法为：采用多种编码孔径设计方案分别绘制平方和曲线，从中选择形状尖锐度最高的残差平方和曲线，该残差平方和曲线对应的编码孔径设计方案即为最优方案。

4.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，对模糊图像所有可能的模糊尺度进行反卷积，采用功率谱统计模型分别求解残差平方和，记录残差平方和最小的那幅结果图像所使用的模糊尺度，就是该模糊图像的正确模糊尺度；

所述功率谱统计模型的建立方法为：

若忽略噪声，成像散焦模型在频域下的表示为：

|Y|=|XF|=|X||F|

(3)

其中，Y是模糊图像，X是全聚焦的清晰图像，F是卷积核形状，

首先将频谱F(u,v)转化到极坐标下F(w,φ)，然后对其φ坐标积分，功率谱模型为：

$S_{\mathrm{\ω}}\left(\right|F\left|\right)=\frac{1}{360}\underset{\mathrm{\φ}=1}{\overset{360}{\mathrm{\Σ}}}\left|F(\mathrm{\ω},\mathrm{\φ})\right|\≈\frac{A}{{\mathrm{\ω}}^{\mathrm{\γ}}},\mathrm{\ω}=\mathrm{1,2},...,M$

(4)

其中A，r为常数，M=127，因为高频受噪声影响大，所以不对高频部分进行处理，对式（4）做取对数运算，得到线性方程：

log(S_ω(|F|))=log(A)-γlog(w)=log(A)-γx

(5)

其中，x=log(w)，

利用式（5）进行最小二乘拟合可求得残差平方和。

5.根据权利要求1-4之一所述基于主辅协同双光路设计的全向成像方法，其特征在于，步骤三中的所述基于全向全变分最小化的图像复原方法具体为：设全向图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，首先找到柱面全景图像中水平和垂直方向的相邻点P(u+1,v)和P(u,v+1)，再根据正投影找到全向图像中对应的点I(i+s1,j+t1)和I(i+s2,j+t2)，则全向图像中点I(i,j)处的梯度幅值用下式表示：

$|\▿I(i,j)|=\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(6)

全向图像I的全向全变分J定义为：

$J\left(I\right)=\underset{(i.j)}{\mathrm{\Σ}}|\▿I(i.j)|=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{{(I(i+s_1,j+t_1)-I(i,j))}^2+{(I(i+s_2,j+t_2)-I(i,j))}^2}$

(7)

利用Lagrange法则，将全向全变分最小化图像复原问题转化为下面的最小化问题：

f^*=argmin[||h*f-g||²+λJ(f)]

(8)

式(8)中，h为模糊核，g为模糊图像，λ为控制算法收敛的常量；λJ(f)为约束条件，即图像先验知识；通过最小化重构误差||h*f-g||²，求得复原后的清晰图像f^*。

Images