CN104318528A - 基于多尺度wls滤波的雾天图像恢复方法 - Google Patents

Abstract

本发明属于图像处理领域，涉及基于多尺度WLS滤波的雾天图像恢复方法。所述方法包括：根据暗通道先验原理估计大气光照强度A；结合得到的大气光照强度A的值，对图像I进行白平衡，并简化大气散射模型；根据雾天环境的物理属性，对大气耗散函数V进行粗估计，得到；采用多尺度WLS滤波对大气耗散函数进行细估计，得到V_i；结合获得的多尺度大气耗散函数V_i，根据简化大气散射模型恢复雾天图像为理想天气下的图像R_i；结合获得的多尺度恢复图像R_i，采用色调映射算法调整图像动态范围，进行可视度的提升，得到最终结果R。本发明能够有效提高雾天图像的对比度与清晰度，具有计算复杂度较低、执行效率较强等优点。

Description

基于多尺度WLS滤波的雾天图像恢复方法

技术领域

本发明属于图像处理领域，具体涉及一种基于多尺度WLS(Weighted least squares，加权最小二乘法)滤波的雾天图像处理方法。

背景技术

在雾、霾等天气条件下，由于场景的能见度降低，图像中目标对比度和颜色等特征被衰减，这极大地限制和影响了户外工作***，如视频监控、地形勘测、自动驾驶等。因此，对雾天图像恢复的实现是一个极具现实意义的问题。

目前，对雾天图像进行清晰化处理的方法大体上有两类：基于模型的和非模型的算法。这里的模型指的是大气散射模型，它是一种描述光在大气中传输的物理模型。其中，基于非模型的算法并不要求了解图像退化的原因，只能在一定程度上改善视觉效果。此类方法属于图像增强技术范畴，主要包括：直方图方法，基于小波的方法，以及基于Retinex的算法等；基于模型的算法通过了解图像退化的内在原因而进行逆运算来改善图像的可视度，采用该类方法处理图像属于图像恢复技术范畴，由于它们利用了图像退化的物理机理，因此这类算法更加可靠，去雾效果更加明显。

近年来，基于模型的研究取得了较大的进展，特别是针对单幅图像去雾技术取得了重大突破。文献1(Tarel J P,Hauti N.Fast visibility restoration from a single color or gray level image[J].Proceedings of IEEE Conference on International Conference on Computer Vision，Kyoto,Japan,2009:20-28)假设大气耗散函在可行域中逼近最大值，且局部变化平缓，提出了一种快速图像去雾算法。该方法采用中值滤波方法估计大气耗散函数，其缺点是细节保持能力较差。文献2(He K,Sun J,Tang X.Single image haze removal using dark channel prior[C].Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition(CVPR).New York,USA:IEEEComputer Society,2009:1956-1963)通过对户外无雾图像的统计实验提出了暗原色先验理论，利用该理论获得了很好的去雾效果，并能得到相应的深度图像。该方法具备物理有效性，但算法复杂度高、处理速度慢。

发明内容

本发明的目的在于提出一种基于多尺度WLS滤波的雾天图像恢复方法，采用大气散射模型对雾天场景进行建模，准确求解大气耗散函数，有效地去除图像中雾气的影响，改善雾天图像可视度。

下面给出本发明所述方法的原理。

在大雾天气情况下，大气中漂浮的悬浮颗粒的直径比较大，它不仅对入射光有直接的影响，也会反射周围的环境光。大气散射模型能够用于描述这种光在雾天传输的物理特性，该模型表示如下：

I(x,y)＝R(x,y)e^-βd(x,y)+A(1-e^-βd(x,y))

其中，I为原图像亮度，R为理想天气下的清晰图像亮度，A为全局性的大气光照，β是大气散射系数，雾天环境下它可认为是一个与波长无关的常量，d为景深。本发明为了避免直接求解d和β两个参数，采用求解大气耗散函数的方式，其表示为：

V(x,y)＝1-e^-βd(x,y)

其中，V为大气耗散函数，包含景深信息，能够粗略表示雾气的影响。结合上式与大气散射模型可知，去雾操作过程转变为通过I计算A和V两个参数，进而求解清晰图像R。R也可以分解为：

R(x,y)＝Aρ(x,y)

其中，ρ为场景反照率。

根据上述原理，本发明所述方法包括以下步骤：

步骤1：根据暗通道先验原理估计大气光照强度A。

步骤2：结合得到的大气光照强度A的值，对图像I进行白平衡，并简化大气散射模型。

步骤3：根据雾天环境的物理属性，对大气耗散函数进行粗估计，得到

步骤4：采用多尺度WLS滤波对大气耗散函数进行细估计，得到V_i，i为大于零的整数。

步骤5：结合获得的多尺度大气耗散函数V_i，根据简化大气散射模型恢复雾天图像为理想天气下的图像R_i。

步骤6：结合获得的多尺度恢复图像R_i，采用色调映射算法调整输出图像动态范围，进行可视度的提升，得到最终结果R。

与现有技术相比，本发明具有以下优点：

(1)本发明能够有效提高雾天图像的对比度与清晰度，具有计算复杂度较低、执行效率较强等优点。实验证明，文献1所述方法去雾处理后有校正过度的现象，且存在雾气去除不完全现象。文献2所述方法的去雾效果较为自然，但是细节凸显能力较差，执行耗时较长。相比较二者，本发明所述方法去雾效果显著，较好地保持了图像颜色，增强了细节信息，大幅度提高了图像对比度。

(2)本发明在许多领域中具有重要的应用价值。比如，对于灰度图像和彩色图像均能处理，本发明能够满足视频监控、目标跟踪、信息识别等对于图像可视度的要求。另外，本发明在高速公路交通监控、军事侦察、遥感探测等领域具有很高的实用价值。

附图说明

图1为本发明所述方法的流程图；

图2为本发明实施例获得的结果：(a)原图像，(b)单尺度细化结果V₁，(c)单尺度去雾结果R₁，(d)实验最终结果R；

图3～5为本发明与现有技术效果对比1～3，(a)原图像，(b)应用文献1得到的结果，(c)应用文献2得到的结果，(d)应用本发明得到的结果。

具体实施方式

下面结合附图和实施方式对本发明做进一步说明。

本发明所述方法的流程图如图1所示，具体包括以下步骤：

步骤1：输入原始图像，以图2(a)为例，该图为大小为315×315的雾天图像，采用基于暗通道先验的方法求解全局常量大气光照A。

暗通道先验认为在非天空图像块中，至少有一个颜色通道在某些像素上有很低的亮度。对于一幅雾天图像I，可以定义暗通道为：

$I^{\mathrm{dark}}\left(q\right)=\underset{c\∈\{R,G,B\}}{\min }\left(\underset{p\∈\mathrm{\Ω}\left(q\right)}{\min }\left(I^c\left(p\right)\right)\right)$

其中，I^dark为I的暗通道，c为颜色通道索引值，I^c是I的一个颜色通道，Ω(x)是以像素q为中心的一个局部块。根据暗通道先验理论可知，如果I是一幅无雾的户外图像，则除了天空区域，I^dark的亮度都较低而且接近0。即可以认为位于雾天图像中的清晰区域(非天空区域)I^dark→0。

获得暗通道结果后，将暗通道I^dark中的像素按亮度值从大到小排序，选取排序后亮度值的前0.1％的像素，然后，将其对应的原图像I中相同位置的像素表示为I_0.1％，这些点都是雾最浓的点，一般认为大气光照值位于I_0.1％范围中。为了去雾处理更加彻底，取I_0.1％的均值A_mean＝mean(I_0.1％)作为大气光照的初始值。由于雾天环境常常伴随着阴天，致使雾气偏离了纯白颜色，因此需要对A_mean进行校正，将其映射接近白色(1，1，1)，即

$A=A_{\mathrm{mean}}/\underset{c\∈R,G,B}{\max }\left(A_{\mathrm{mean}}^c\right)$

其中，A即为本发明要求解的大气光照值。

步骤2：通过大气光照对图像进行白平衡，同时将大气散射模型进行简化。

原大气散射模型表示为：

I(x,y)＝R(x,y)e^-βd(x,y)+A(1-e^-βd(x,y))

其中，I为原图像亮度，R为理想天气下的清晰图像亮度，A为全局性的大气光照，β是大气散射系数，雾天环境下它可认为是一个与波长无关的常量，d为景深。为了避免直接求解d和β两个参数，采用求解大气耗散函数的方式，其表示为：

V(x,y)＝1-e^-βd(x,y)

其中，V为大气耗散函数，包含景深信息，能够粗略表示雾气的影响。

通过白平衡处理后得到的简化大气散射模型表示为：

I'(x.y)＝I(x,y)/A＝ρ(x,y)(1-V(x,y))+V(x,y)

其中，I'为白平衡处理后的图像；ρ为场景反照率，且：

R(x,y)＝Aρ(x,y)

白平衡处理的目的是避免图像整体偏色的现象发生。

步骤3：对V进行粗估计。

根据雾天场景的物理属性，V需要满足下面2个约束条件：

(1)0≤V(x,y)≤1

(2)V(x,y)不大于I'(x,y)的最小颜色分量

通过上述约束，可将白平衡后的雾天图像的每个像素在RGB三个通道的最小颜色分量定义为大气耗散函数的粗估计结果即：

$\tilde{V}(x,y)=\underset{c\∈\{R,G,B\}}{\min }\left(I^{\′}(x,y)\right)$

对于一幅灰度图，则有此时的不具备大气耗散函数局部平滑等特性，需要进一步的细化。

步骤四：采用多尺度WLS滤波对粗估计得到的进行细化，求解理想的大气耗散函数V。

WLS滤波可表示为最小化如下的代价函数：

$\mathrm{\Σ}[{(V(x,y)-\tilde{V}(x,y))}^2+{\mathrm{\λ}}_i(g_x\left(\tilde{V}(x,y)\right){\left(\frac{\∂V(x,y)}{\∂x}\right)}^2+g_y\left(\tilde{V}(x,y)\right){\left(\frac{\∂V(x,y)}{\∂y}\right)}^2)]$

其中，公式左端第一项为数据项，该项的目标是最小化输入图像和输出图像V的差异；第二项为平滑项目，该项通过最小化V的x与y方向的偏导数来达到平滑目的，λ_i为调节参数，i为尺度索引值。g为平滑权值，定义为：

$g_x\left(\tilde{V}(x,y)\right)={({\left|\frac{\∂\ln \left(\tilde{V}(x,y)\right)}{\∂x}\right|}^{{\mathrm{\γ}}_i}-\mathrm{\ϵ})}^{-1},g_y\left(\tilde{V}(x,y)\right)={({\left|\frac{\∂\ln \left(\tilde{V}(x,y)\right)}{\∂y}\right|}^{{\mathrm{\γ}}_i}+\mathrm{\ϵ})}^{-1}$

其中，ε为一个很小的常量，防止除数为零，本发明固定ε＝0.00001，γ_i为调节梯度变化的敏感程度参数。可将WLS的最小能量公式离散化后转化成矩阵形式：

${(V-\tilde{V})}^T(V-\tilde{V})+{\mathrm{\λ}}_i(V^T{D}_x^T{A}_x{D}_{x}V+V^T{D}_y^T{A}_y{D}_{y}V)$

其中，A_x和A_y是关于细化权值g_x和g_y的对角矩阵；D_x和D_y是的x和y方向的前向差分矩阵，而和为后向差分矩阵，上式的最小化可以转化为以下的公式求解：

$(E+{\mathrm{\λ}}_{i}G)V=\tilde{V}$

其中，E表示单位矩阵，为稀疏Laplacian矩阵。上式可以通过线性求解获得细化处理后的V_i。本发明采用不同λ_i和γ_i参数进行多尺度大气耗散函数求解，经过多次实验观察发现，当尺度数量i＝3时，获得的结果已经较为理想，当I>3时，视觉效果提升程度较小，且增加了计算复杂度，因此，通常情况下，本发明将尺度数量设定为3，即i＝3，下面步骤也将以该尺度数量进行介绍。

步骤五：在求取大气光强度A与大气耗散函数V_i的基础上，可直接恢复出场景在理想天气条件下的图像亮度：

$R_i(x,y)=\frac{I(x,y)-k{V}_i(x,y)}{1-V_i(x,y)}\×A$

其中，k(0<k<1)为恢复调节参数，用于控制去雾的程度，本发明固定设置k＝0.95。经过上式的求解获得多尺度清晰图像R_i，其中，单一尺度下的大气耗散函数例子如图2(b)所示，其对应的单一尺度清晰图像结果如图2(c)所示。

步骤六：采用多尺度色调映射算法对去雾结果进行改善，对色调与细节显示进行控制。已知i＝3，由上述步骤获得去雾结果为R_i。首先进行颜色空间的转换，将图像R_i由RGB颜色空间转换到CIELAB颜色空间，仅对图像的亮度空间L进行处理。假设R₁的雾天图像恢复效果最好，则设b作为基础层，即b＝R₁，设两个细节层d¹与d²，即d¹＝R₁-R₂，d²＝R₂-R₃。则色调映射公式定义为：

$R_p=\mathrm{\&mu;}+C({\mathrm{\&delta;}}_0,\mathrm{\&eta;}{b}_p-\mathrm{\&mu;})+C({\mathrm{\&delta;}}_1,d_p^1)+C({\mathrm{\&delta;}}_2,d_p^2)$

其中，p表示像素，μ为图像亮度范围的均值，C为S型调节函数，用于调节动态范围，即C(a,u)＝1/(1+exp(-au))，η为曝光参数，δ₀，δ₁与δ₂为增益参数。将R₁作为基础层来保证来去雾处理效果，融合细节层d¹与d²，对最终的结果进行了很好的补充。

经过上述的处理后，将图像由CIELAB颜色空间转换到RGB颜色空间，即可得到最后的雾天图像恢复结果R。如图2(d)所示，经过本发明方法处理过后，原输入图像中的雾气得到了很好的去除，图像的细节与颜色等特征得到了明显增强。

为验证本发明所述方法的有效性，对应用本发明所述方法和应用文献1、2所述方法进行雾天图像恢复处理的效果进行比较。选择大小为315×315的雾天图像作为恢复对象，本发明涉及到的参数设置为λ₁＝0.1，λ₂＝0.5，λ₃＝0.8，γ₁＝γ₂＝γ₃＝1.2(三个尺度参数)，δ₀＝4，δ₁＝1，δ₂＝10，η＝1(色调映射算法参数)。图3，图4与图5是经过三种算法处理后获得的实验结果，输入图像大小分别为290×380、600×450和600×400。由图3～5可知，通过去雾处理后的薄雾图像清晰度均有明显提高，雾气均得到了较好的去除。比较几种方法的去雾效果，文献1所述方法去雾处理后有校正过度的现象，如图3，处理后的结果较为不自然。且该方法采用自适应窗口，容易出现残留雾气的情况，如图4，处理后的建筑附近有白色雾气没有完全除去；文献2所述方法的去雾效果较为自然，但是细节凸显能力较差。相比较二者，本发明所述方法去雾效果显著，较好地保持了图像颜色，增强了细节信息，大幅度提高了图像对比度。

Claims (7)

1.基于多尺度WLS滤波的雾天图像恢复方法，其特征在于包括以下步骤：

步骤1：根据暗通道先验原理估计大气光照强度A；

步骤2：结合得到的大气光照强度A的值，对图像I进行白平衡，并简化大气散射模型；

步骤3：根据雾天环境的物理属性，对大气耗散函数V进行粗估计，得到

步骤4：采用多尺度加权最小二乘法WLS滤波对大气耗散函数进行细估计，得到V_i，i为大于零的整数；

步骤5：结合获得的多尺度大气耗散函数V_i，根据简化大气散射模型恢复雾天图像为理想天气下的图像R_i；

步骤6：结合获得的多尺度恢复图像R_i，采用色调映射算法调整图像动态范围，进行可视度的提升，得到最终结果R。

2.根据权利要求1所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤1所述大气光照强度A的估算方法如下：

暗通道先验认为在非天空图像块中，至少有一个颜色通道在某些像素上有很低的亮度；对于一幅雾天图像I，定义暗通道为：

$I^{\mathrm{dark}}\left(q\right)=\underset{c\&Element;\{R,G,B\}}{\min }\left(\underset{p\&Element;\mathrm{\&Omega;}\left(q\right)}{\min }\left(I^c\left(p\right)\right)\right)$

其中，I^dark为I的暗通道，c为颜色通道索引值，I^c是I的一个颜色通道，Ω是以像素q为中心的一个局部块；根据暗通道先验理论可知，如果I是一幅无雾的户外图像，则除了天空区域，I^dark的亮度都较低而且接近0，即位于雾天图像中的清晰区域I^dark→0；

将暗通道I^dark中的像素按亮度值从大到小排序，选取排序后亮度值的前0.1％的像素，然后，将其对应的原图像I中相同位置的像素表示为I_0.1％，这些点都是雾最浓的点，认为大气光照值位于I_0.1％范围中；为了去雾处理更加彻底，取I_0.1％的均值A_mean＝mean(I_0.1％)作为大气光照的初始值；由于雾天环境常常伴随着阴天，致使雾气偏离了纯白颜色，为此对A_mean进行校正，将其映射接近白色(1，1，1)，即：

$A=A_{\mathrm{mean}}/\underset{c\&Element;R,G,B}{\max }\left(A_{\mathrm{mean}}^c\right)$

其中，A即为所要求解的大气光照值。

3.根据权利要求1所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤2所述对图像I进行白平衡，并简化大气散射模型的方法如下：

原大气散射模型表示为：

I(x,y)＝R(x,y)e^-βd(x,y)+A(1-e^-βd(x,y))

其中，I为原图像亮度，R为理想天气下的清晰图像亮度，A为全局性的大气光照，β是大气散射系数，雾天环境下它可认为是一个与波长无关的常量，d为景深；为了避免直接求解d和β两个参数，采用求解大气耗散函数的方式，其表示为：

V(x,y)＝1-e^-βd(x,y)

其中，V为大气耗散函数，包含景深信息，能够粗略表示雾气的影响；

通过白平衡处理后得到的简化大气散射模型表示为：

I'(x.y)＝I(x,y)/A＝ρ(x,y)(1-V(x,y))+V(x,y)

其中，I'为白平衡处理后的图像，ρ为场景反照率；且：

R(x,y)＝Aρ(x,y)。

4.根据权利要求1所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤3所述根据雾天环境的物理属性，对大气耗散函数V进行粗估计的方法如下：

根据雾天场景的物理属性，V需要满足下面2个约束条件：

(1)0≤V(x,y)≤1

(2)V(x,y)不大于I'(x,y)的最小颜色分量

通过上述约束，将白平衡后的雾天图像的每个像素在RGB三个通道的最小颜色分量定义为大气耗散函数的粗估计结果即：

$\tilde{V}(x,y)=\underset{c\&Element;\{R,G,B\}}{\min }\left(I^{\&prime;}(x,y)\right)$

对于一幅灰度图，则有此时的不具备大气耗散函数局部平滑等特性，需要进一步的细化。

5.根据权利要求1所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤4所述采用WLS滤波对大气耗散函数进行细估计的方法如下：

WLS滤波表示为最小化如下的代价函数：

$\mathrm{\&Sigma;}[{(V(x,y)-\tilde{V}(x,y))}^2+{\mathrm{\&lambda;}}_i(g_x\left(\tilde{V}(x,y)\right){\left(\frac{\&PartialD;V(x,y)}{\&PartialD;x}\right)}^2+g_y\left(\tilde{V}(x,y)\right){\left(\frac{\&PartialD;V(x,y)}{\&PartialD;y}\right)}^2)]$

其中，公式左端第一项为数据项，该项的目标是最小化输入图像和输出图像V的差异；第二项为平滑项目，该项通过最小化V的x与y方向的偏导数来达到平滑目的，λ_i为调节参数，i为尺度索引值；g为平滑权值，定义为：

$g_x\left(\tilde{V}(x,y)\right)={({\left|\frac{\&PartialD;\ln \left(\tilde{V}(x,y)\right)}{\&PartialD;x}\right|}^{{\mathrm{\&gamma;}}_i}+\mathrm{\&epsiv;})}^{-1},$ $g_y\left(\tilde{V}(x,y)\right)={({\left|\frac{\&PartialD;\ln \left(\tilde{V}(x,y)\right)}{\&PartialD;y}\right|}^{{\mathrm{\&gamma;}}_i}+\mathrm{\&epsiv;})}^{-1}$

其中，ε为一个很小的常量，防止除数为零，γ_i为调节梯度变化的敏感程度参数；将WLS的最小能量公式离散化后转化成矩阵形式：

${(V-\tilde{V})}^T(V-\tilde{V})+{\mathrm{\&lambda;}}_i(V^T{D}_x^T{A}_x{D}_{x}V+V^T{D}_y^T{A}_y{D}_{y}V)$

其中，A_x和A_y是关于细化权值g_x和g_y的对角矩阵；D_x和D_y是的x和y方向的前向差分矩阵，而和为后向差分矩阵，上式的最小化可以转化为以下的公式求解：

$(E+{\mathrm{\&lambda;}}_{i}G)V=\tilde{V}$

其中，E表示单位矩阵，为稀疏Laplacian矩阵；上式可以通过线性求解获得细化处理后的V_i；采用不同λ_i和γ_i参数进行多尺度大气耗散函数求解，当尺度数量i＝3时，获得的结果已经较为理想，当I>3时，视觉效果提升程度较小，且增加了计算复杂度，故将尺度数量设定为3，即i＝3。

6.根据权利要求1～5中任何一项所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤5所述恢复雾天图像为理想天气下的图像R_i的方法如下：

在求取大气光强度A与大气耗散函数V_i的基础上，直接恢复出场景在理想天气条件下的图像亮度：

$R_i(x,y)=\frac{I(x,y)-{\mathrm{kV}}_i(x,y)}{1-V_i(x,y)}\&times;A$

其中，k为恢复调节参数，0<k<1，用于控制去雾的程度。

7.根据权利要求6所述的基于多尺度WLS滤波的雾天图像恢复方法，其特征在于，步骤6所述调整输出图像动态范围，进行可视度提升的方法如下：

首先进行颜色空间的转换，将图像R_i由RGB颜色空间转换到CIELAB颜色空间，仅对图像的亮度空间L进行处理；假设R₁的雾天图像恢复效果最好，则设b作为基础层，即b＝R₁，设两个细节层d¹与d²，即d¹＝R₁-R₂，d²＝R₂-R₃；则色调映射公式定义为：

$R_p=\mathrm{\&mu;}+C({\mathrm{\&delta;}}_0,{\mathrm{\&eta;b}}_p-\mathrm{\&mu;})+C({\mathrm{\&delta;}}_1,d_p^1)+C({\mathrm{\&delta;}}_2,d_p^2)$

其中，p表示像素，μ为图像亮度范围的均值，C为S型调节函数，用于调节动态范围，即C(a,u)＝1/(1+exp(-au))，η为曝光参数，δ₀，δ₁与δ₂为增益参数；

经过上述的处理后，将图像由CIELAB颜色空间转换到RGB颜色空间，即可得到最后的雾天图像恢复结果R。