CN104200445B - 一种最优对比度和最小信息损失的图像去雾方法 - Google Patents

Abstract

本发明涉及一种最优对比度和最小信息损失的图像去雾方法，其特征在于该方法利用利用高斯混合模型，四分树，最大化对比度和最小信息损失等函数实现了图像去雾方法。首先，基于高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类；其次，从图像的天空区域采用四分树迭代方法估计大气散射模型的大气光照强度；再次，对图像的非天空区域采用网格划分的方法分块，利用最大化对比度和最小信息损失的函数计算每个网格单元的大气光照模型的传播率；基于常系数和非天空区域的最优传播率估计天空区域的传播率；最后，合并输出天空区域和非天空区域的恢复图像。

Description

一种最优对比度和最小信息损失的图像去雾方法

技术领域

本发明涉及计算机图像处理，特别涉及一种最优对比度和最小化信息损失的图像去雾方法。

背景技术

自2012年以来，全国74个重点监测城市近半数受到了严重雾霾污染，雾霾笼罩在我们的上空，遮蔽了视线，相机和视频监控等成像***所捕获的图像色彩暗淡、对比度变低,图像质量的严重退化，直接影响了图像的视觉效果，严重影响它们的应用范围，在很多应用场合需要对受到雾霾污染的图像进行去雾处理。

大气介质主要由空气分子、水汽和气溶胶组成，空气中所含气溶胶粒子是雾霾形成的主要因素，也是图像质量产生退化的根本原因。雾霾天气下，物体表面反射的光在到达成像设备的过程中会受到空气悬浮颗粒的影响，从而使得设备无法获得清晰图片。气溶胶粒子对光线有散射作用，散射损失使“透射光”强度衰减，造成了图像的对比度下降。

图像去雾研究最早可追溯到1992年L.Bissonnette等人针对雾和雨天气的图像去雾。图像去雾技术经历了二十多年的发展，取得了较大的进展，不断有新思想和新方法产生并用于实际工程中，主要有基于模型和基于非模型两个方向。

基于非模型的方法考虑图像呈现的低亮度和低对比度的特征，以常规的图像增强方法作为基本的处理手段。基于非模型的方法不需要分析图像退化的原因，只按特定的需要突出图像中感兴趣的部分信息，同时将不需要的信息进行衰减或去除。主要包括空间域和频率域两类方法，典型的方法包括直方图均衡化算法、曲波变换、同态滤波算法、基于大气调制传递函数、小波方法及Retinex算法等。基于非模型的去雾方法只是增强图像的对比度，没有考虑雾天图像模糊机理和退化原因，没有考虑雾霾浓度与目标景深成正比，实际上只是在一定程度上改善了图像的视觉效果，实质上并不是真正的图像去雾。

基于模型的去雾方法通过分析图像退化原因，对大气散射建模，实现图像的恢复。基于模型的方法分为三类：(1)基于偏微分方程的复原；(2)基于深度关系的复原；(3)基于先验信息的复原。

基于偏微分方程的图像去雾方法比较适合图像的色彩清晰度和对比度有较高要求的场合。借助大气散射模型,建立户外图像全局去雾和局部去雾的能量最优化模型,推导相应的包含图像梯度和场景景深的偏微分方程。但此方法有一个不足之处在于图像深度信息的获取所要求的渐进修改大气散射系数都需要通过用户的交互操作。

基于深度关系的方法利用深度关系图对图像进行去雾处理。通过采集不同天气条件下对应的场景图像计算出背景图像的深度图,再结合相关的启发式信息得到前景目标对象的深度。尽管这些方法的去雾效果较为令人满意,但其需要借助参考图像的要求过于苛刻,在实际应用中难以实现。

基于先验信息的复原方法，需要多幅图像或更多辅助信息。根据场景深度信息是否已知可分为两类。一类是假设场景深度信息已知的方法，通过复原场景对比度，使用一个简单的高斯函数对场景中的光路进行预测,但此方法需要雷达装置获取场景深度。另一类是用辅助信息提取场景深度。利用二值散射模型,不同散射光的偏振特性和交互式景深估计等不同角度提取场景深度信息。但偏振光的方法只能应用于大气散射程度较弱的薄雾,而不适于大雾天气。有些方法则需要用到不同天气状态下相同景物的图像或用户的交互,很难满足对变换场景的实际应用需求。

依据深度信息的去雾算法，已经发展到实现单幅图像去雾的程度。Tan提出了一种扩大带雾图像的局部对比度的单幅图像去雾方法，但存在颜色过饱和，导致光晕伪影现象。Fattal提出了一种基于独立成份分析的方法，通过假定透过率和表面投影在局部区域是不相关的，估算景物的反射率，推断景物光在空气中传播时的透过率，最后实现场景的恢复，但此方法只适合薄雾图像。He提出了基于暗原色先验理论的经典单幅图像去雾，但此方法不适合目标亮度和大气光相似的图像。

现有的这些方法比较适合特殊的图像，都有各自的优点。但是，部分去雾方法表现为对比度过度拉伸，或不能正确估计景深导致不能去除雾霾较重的图像，或只考虑对比度最大化而没有丢失了原图的重要信息，或图像的天空部分颜色被扭曲。

发明内容

为解决上述技术问题，本发明提出一种最优对比度和最小化信息损失的图像去雾方法。

为实现上述发明目的，本发明提出一种基于最优对比度和最小化信息损失的图像去雾方法，其特征在于该方法利用利用高斯混合模型，四分树，最大化对比度和最小信息损失等函数实现了图像去雾方法。该方法的具体步骤包括：

步骤1,建立基于McCartney大气散射模型的雾霾图像模型；

步骤2,利用高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类；

步骤3,基于四分树迭代的方法估计图像天空区域的大气光照强度；

步骤4,基于网格划分的方法分块，基于最优对比度和最小信息损失准则估计的图像非天空区域的每个网格单元的传播率；

步骤5，采用与图像非天空区域的平均传播率的常比例系数方法估计天空区域的传播率；

步骤6,根据大气散射模型，利用估计的模型参数，合并输出天空和非天空区域的恢复图像。

所述步骤2中，利用高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类的具体步骤包括：

步骤21)：采用模糊C均值算法(FCM)对雾霾图像I初始划分为2个聚类，并初始化权重，均值和方差等参数；

步骤22)：计算每个像素点分别属于2个模型的后验概率,并根据后验概率更新每一个模型的权重，均值和协方差；

步骤23):用更新后的权重，均值和协方差更新后验概率，重新把每个像素划分到后验概率最大的类中，并计算图像的对数似然函数。

(2-4)如果对数似然函数收敛，则停止迭代，否则转入步骤22)。

(2-5利用贝叶斯准则把像素点划分到后验概率最大的模型。在分割后的2类结果中，选择两个模型中均值较大的一类为天空图像，另一部分为非天空图像。

本发明的优点在于提出了一种基于最优对比度和最小化信息损失的图像去雾方法，通过高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域，而不同区域采用不同的大气散射光照模型参数估计方法，具有更好准确性和更快的速度。基于四分树迭代的方法估计图像天空区域的大气光照强度，具有更好的局部性和更快的速度等优点。对于非天空区域的传播率估计，采用网格划分的方法分块，模型参数具有更好的局部性。基于最优对比度和最小信息损失准则估计的图像非天空区域传播率，在考虑对比度最大化的同时，信息损失也要最小，尽量保持原图的边缘和纹理细节。对于天空区域的传播率估计，采用与非天空区域的平均传播率的常系数比例法，避免天空部分的颜色被扭曲或过饱和，也可以实现与非天空区域的自然过渡。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

具体实施方式

本方法分为天空和非天空区域的分割，基于对比度最大化和信息损失最小化的非天空区域去雾，基于常比例系数方法估计天空区域去雾三个部分，具体的工作流程如图1所示。

步骤1,建立基于McCartney大气散射模型的雾霾图像模型

假设在雾霾条件下的图像光照模型为，雾霾图像等于原始目标图像经过雾霾透射后的成像加上无穷远处的大气光照强度被雾霾遮档后的成像叠加

I_c(p)＝t(p)J_c(p)+(1-t(p))A_c (1)

其中，J_c(p)和I_c(p)分别表示原始图像和观测图像的像素点p，c∈{r,g,b)表示红、绿、蓝三种颜色通道。A_c表示在沿着观测者视线方向无穷远处的光照强度，通常假设为全局常量，与局部位置p无关。t(p)∈[0,1]表示沿光线的传播率，是由摄像头与场景点的距离决定，反映了光线穿透雾的能力。值越大，表明从场景表面反射的光线，穿透雾到达观察者视场的数量越多，t(p)与场景深度成反比,可以由下式计算：

t(p)＝e^-ρd(p) (2)

其中ρ为全散射系数，表征了单位体积的颗粒对入射光线的散射能力，其值越大，表明入射光线发生散射的程度越严重，通常假设为1。d(p)表示摄像头到像素点p的景深。

步骤2,利用高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类

大气光照强度A通常用图像中最大亮点的天空颜色表示，因为雾霾等天气会导致图像的天空环境部分比较亮，而背景相对于天空的亮度都比较暗。因此，我们用高斯混合模型拟合雾霾图像的内容，混合成分为较亮的天空部分和其他目标和背景两部分。然后，利用期望值最大算法求解高斯混合模型的参数，并用贝叶斯准则分割出天空图像。

设雾霾图像I的N个像素点{p₁,p₂,...,p_N}是独立同分布，其中像素点p_i(1≤i≤N)对应的红、绿和蓝颜色值分别为I_r(p_i)、I_g(p_i)和I_b(p_i)，即(p_i＝(I_r(p_i),I_g(p_i),I_b(p_i))^T)，雾霾图像灰度信息由较暗和较亮的两个高斯密度函数混合组成，则像素点p_i的混合概率密度函数P表示为：

其中α_r代表第r个密度分量在混合密度中的权重，满足α_r≥0且第r个密度分量的参数θ_r＝{μ_r,σ_r}，μ_r,σ_r分别表示均值和方差，f_r(p_i,θ_r)为第r个高斯密度函数分量。

基于最大期望值(Expectation Maximum)估计混合模型的参数步骤如下：

(2-1)采用模糊C均值算法(FCM)对雾霾图像I初始划分为2个聚类，并初始化权重，均值和方差等参数。

(2-2)计算像素点p_i分别属于模型r(r＝1,2)的后验概率并根据后验概率更新每一个模型r的权重，均值和协方差:

(2-3)用这些权重，均值和协方差更新后验概率，重新把p_i划分到后验概率最大的类中，并计算图像的对数似然函数。

(2-4)如果对数似然函数收敛，则停止迭代，否则转入(2-2)。

(2-5)利用贝叶斯准则把像素点p_i划分到后验概率最大的模型。在分割后的2类结果中，选择两个模型中均值μ_r较大的一类为天空图像。

步骤3,基于四分树迭代的图像天空区域大气光照强度估计：

对分割后的天空图像进行迭代四分树定位和估计大气光照强度。对天空图像按照高度和宽度的二分之一处的位置对天空图像均匀划分为四块，然后计算每个分块的平局亮度值最大区域作为下一次划分的分块，迭代划分，直到分块小于指定的阈值(一般取值5x5或7x7)结束。以最后分块颜色的平均值作为大气光照强度。

步骤4，基于网格划分的方法分块，基于最优对比度和最小信息损失准则估计的图像非天空区域的每个网格单元的传播率

假设天空区域的传播率为t₁，非天空区域的传播率为t₂。且假设景深具有局部相似性，把图像按照16×16大小进行网格划分，假设每一个网格的传输率相同。根据雾霾图像模型的公式(1)，当传播率固定时，原始图像J_c(p)的非天空区域用下式估计：

恢复原始图像只依赖于传播率t₂(p)。因为雾霾图像的对比度比较低，我们将依据最大化每一个网格的对比度和最小化信息损失的准则估计传播率。

原始图像每个颜色通道J_c(p)满足大于等于0且小于等于255的条件，根据公式(7)，可得

求解公式(8)，传播率t₂应该满足下式:

(4-1)基于最大化对比度的天空区域传播率估计

计算网格区域中每一个点与该点所在网格的均值之差的平方和为对比度

其中为I_c(p)所在网格B的均值，N_B为网格B的像素点个数。根据公式(10)可知，传播率t₂与对比度成反比。因此，传播率t₂满足公式(9)的约束下，为了最大化对比度，非天空区域的传播率取最小值：

(4-2)基于信息损失最小的天空区域传播率优化

最优对比度会导致图像的最小部分的灰度值(0,α_c)和最大部分的灰度值(β_c,255)(c∈{r,g,b))对应的信息丢失，α_c和β_c表示观测图像I_c截断的区域的下溢和上溢参数值。下溢参数α_c对应原始图像J_c的灰度值0,上溢参数β_c对应原始图像J_c的灰度值255，分别代入公式(7),可得：

α_c＝(1-t₂)A_c (12)

β_c＝255t₂+(1-t₂)A_c (13)

计算原始图像J(p)在最大对比度变化之后的下溢和上溢区域面积作为信息损失函数。计算基于直方图的信息损失函数，可得：

其中h_c(i)是像素i在颜色通道c的直方图，A_c为颜色通道c的大气光照强度。为了同时满足最大化对比度和最小化损失函数的要求，根据拉格朗日乘数函数，转化为下面函数的极小值问题。

E(t₂,λ)＝-C_MSE+λE_loss (15)

λ为控制对比度和信息损失的相对重要性权重。分别对公式(15)的t₂和λ求变导，建立方程组

求解公式(16)的t₂为非天空区域的最优传播率。

步骤5，基于常系数与图像非天空区域的平均传播率估计天空区域的传播率

因为图像中的天空区域相对于非天空区域的景深明显要大，其对应的传播率应该较小。很多去雾方法用非天空区域传播率估计方法去估计天空区域的传播率,导致天空区域的噪声和颜色扭曲。根据公式(2),可以天空区域的点p₁传播率t₁和非天空区域的点p₂传播率t₂的比例系数：

点p₁的景深d(p₁)，点p₂的景深d(p₂)，两者的距离之差为d(p₂)-d(p₁)。当天空区域与非天空区域像素点景深距离之差为1，2，5，10，15，20时，对应的传播率比例系数b如表1所示。依据表1可知道，当距离之差越大，系数越小。在雾霾天气情况下，一般能见度比较小，天空区域与非天空区域像素点景深相对比较小，系数相对较大。

表1天空和非天空像素的距离差与传播率比例

d(p2)-d(p1)	b
		-1	0.36787944117144
-2	0.13533528323661
		-5	0.00673794699909
-10	0.00004539992976
		-15	0.00000030590232
-20	0.00000000206115

假设图像中天空区域的传播率都相同，用非天空区域所有网格的传播率均值乘以较小的相对系数计算天空区域的传播率：

步骤6，根据大气散射模型，利用估计的模型参数，合并输出天空和非天空区域的恢复图像。

根据公式(16)求解的非天空区域的最优传播率t₂和第三步估计的大气光照强度A_c带入公式(1)，恢复图像的非天空区域。根据公式(18)的天空区域的最优传播率t₁和第三步估计的大气光照强度A_c，带入公式(1)，恢复图像的天空区域。再把两部分内容合并到一幅图像输出。

本发明的创新点包括：

(1)天空区域包含了图像采集时的雾霾程度和天气条件等先验知识，且二者的景深相差比较大，本发明通过高斯混合模型和期望最大值的方法把雾霾图像分割为天空区域和非天空区域，对分割后的区域采用不同的策略恢复图像具有更好的针对性和适应性。

(2)雾霾图像最大的问题在于图像对比度比较低，改变对比度会导致信息损失，因此本发明采用平衡对比度和信息损失的方法，既可以改善图像的对比度的图像整体质量，还能保留图像的纹理和边缘等局部细节。

天空区域与非天空区域既有区别也有联系，区别在于天空区域的不同网格具有相近的景深，联系在于都在相同的外界条件下获取的。本发明利用非天空区域的平均传播率，乘上不同雾霾天下的比例参数，即不需要对天空区域的不同网格分别估计，又根据非天空区域的平均传播率实现了不同图像的自适应。

本发明提供了一种最优对比度和最小信息损失的图像去雾方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种最优对比度和最小信息损失的图像去雾方法，其特征在于，包括如下步骤：

步骤1,建立基于McCartney大气散射模型的雾霾图像模型；

步骤2,利用高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类；

步骤3,基于四分树迭代的方法估计图像天空区域的大气光照强度；

步骤4,基于网格划分的方法分块，基于最优对比度和最小信息损失准则估计的图像非天空区域的每个网格单元的传播率；

步骤5，采用与图像非天空区域的平均传播率的常比例系数方法估计天空区域的传播率；

步骤6,根据大气散射模型，利用估计的模型参数，合并输出天空和非天空区域的恢复图像；

在雾霾条件下的图像光照模型为：

I_c(p)＝t(p)J_c(p)+(1-t(p))A_c，公式(1)

其中，J_c(p)和I_c(p)分别表示原始图像和观测图像的像素点p，c∈{r,g,b}表示红、绿、蓝三种颜色通道；A_c表示在沿着观测者视线方向无穷远处的大气光照强度，

t(p)∈[0,1]表示沿光线的传播率，t(p)与场景深度成反比，计算公式为：

t(p)＝e^-ρd(p)，

其中ρ为全散射系数，d(p)表示摄像头到像素点p的景深；

所述步骤2中，

设雾霾图像I的N个像素点{p₁,p₂,...,p_N}是独立同分布，其中像素点p_i对应的红、绿和蓝颜色值分别为I_r(p_i)、I_g(p_i)和I_b(p_i)，1≤i≤N，即(p_i＝(I_r(p_i),I_g(p_i),I_b(p_i))^T)；雾霾图像灰度信息由较暗和较亮的两个高斯密度函数混合组成，则像素点p_i的混合概率密度函数P表示为：

$P\left(p_i\right)=\underset{r=1}{\overset{2}{\Σ}}{\mathrm{\α}}_r{f}_r(p_i,{\mathrm{\θ}}_r),$

其中α_r代表第r个密度分量在混合密度中的权重，满足α_r≥0且θ_r＝{μ_r,σ_r}是第r个密度分量参数，其中μ_r,σ_r分别表示均值和方差，f_r(p_i,θ_r)为第r个高斯密度函数分量；

包括如下步骤：

步骤21：采用模糊C均值算法对雾霾图像I初始划分为两个聚类，并初始化权重，均值和方差；

步骤22：计算每个像素点分别属于两个模型的后验概率,并根据后验概率更新每一个模型的权重，均值和协方差；

步骤23:用更新后的权重，均值和协方差更新后验概率，重新把每个像素划分到后验概率最大的类中，并计算图像的对数似然函数；

步骤24：如果对数似然函数收敛，则停止迭代进行步骤25，否则返回步骤22；

步骤25：利用贝叶斯准则把像素点划分到后验概率最大的模型，在分割后的两类结果中，选择两个模型中均值较大的一类为天空图像，另一部分为非天空图像；

步骤3中，对分割后的天空图像进行迭代四分树定位和估计大气光照强度；对天空图像按照高度和宽度的二分之一处的位置对天空图像均匀划分为四块，然后计算每个分块的平局亮度值最大区域作为下一次划分的分块，迭代划分，直到分块小于指定的阈值结束；以最后分块颜色的平均值作为大气光照强度；

步骤4包括：

假设天空区域的传播率为t₁，非天空区域的传播率为t₂，且假设景深具有局部相似性，把图像按照16×16大小进行网格划分，假设每一个网格的传输率相同，根据雾霾图像模型的公式(1)，当传播率固定时，原始图像J_c(p)的非天空区域用下式计算：

恢复原始图像依赖于传播率t₂，依据最大化每一个网格的对比度和最小化信息损失的准则估计传播率；

在原始图像J_c(p)的每个颜色通道满足大于等于0且小于等于255的条件下，根据公式(7)，得到：

求解公式(8)，传播率t₂满足下式：

步骤4-1，基于最大化对比度的天空区域传播率计算：

计算网格区域中每一个点与该点所在网格的均值之差的平方和为对比度C_MSE：

其中为I_c(p)所在网格B的均值，N_B为网格B的像素点个数，根据公式(10)传播率t₂与对比度成反比；在传播率t₂满足公式(9)的约束下，非天空区域的传播率取最小值：

步骤4-2，基于信息损失最小的天空区域传播率优化：

最优对比度会导致图像的最小部分的灰度值(0,α_c)和最大部分的灰度值(β_c,255)对应的信息丢失，c∈{r,g,b}，α_c和β_c表示观测图像I_c截断的区域的下溢参数和上溢参数值，下溢参数α_c对应原始图像J_c的灰度值0，上溢参数β_c对应原始图像J_c的灰度值255，分别代入公式(7),得到：

α_c＝(1-t₂)A_c 公式(12)，

β_c＝255t₂+(1-t₂)A_c 公式(13)，

计算原始图像J(p)在最大对比度变化之后的下溢区域面积和上溢区域面积作为信息损失函数，计算基于直方图的信息损失函数E_loss，得到：

其中h_c(i)是像素i在颜色通道c的直方图，A_c为颜色通道c的大气光照强度，为了同时满足最大化对比度和最小化损失函数的要求，根据拉格朗日乘数函数，转化为下面函数E(t₂,λ)的极小值问题：

E(t₂,λ)＝-C_MSE+λE_loss (15)

λ为控制对比度和信息损失的相对重要性权重，分别对公式(15)的t₂和λ求变导，建立方程组

求解公式(16)的t₂为非天空区域的最优传播率；

根据公式(2)，得到天空区域的点p₁传播率t₁和非天空区域的点p₂传播率t₂的比例系数：

$\frac{t_1}{t_2}=\frac{e^{-d\left(p_1\right)}}{e^{-d\left(p_2\right)}}=e^{d\left(p_2\right)-d\left(p_1\right)}=b---\left(17\right)$

点p₁的景深d(p₁)，点p₂的景深d(p₂)，两者的距离之差为d(p₂)-d(p₁)，当天空区域与非天空区域像素点景深距离之差为1，2，5，10，15，20时，对应的传播率比例系数b为：

d(p₂)-d(p₁)为-1，b为0.36787944117144，

d(p₂)-d(p₁)为-2，b为0.13533528323661，

d(p₂)-d(p₁)为-5，b为0.00673794699909，

d(p₂)-d(p₁)为-10，b为0.00004539992976，

d(p₂)-d(p₁)为-15，b为0.00000030590232，

d(p₂)-d(p₁)为-20，b为0.00000000206115，

假设图像中天空区域的传播率都相同，用非天空区域所有网格的传播率均值乘以对应的传播率比例系数b计算天空区域的传播率：

$t_1=b\stackrel{\‾}{t_2}---\left(18\right).$