CN104809707B - 一种单幅雾天图像能见度估计方法 - Google Patents

Abstract

能见度作为气象观测的基本要素，是雾天图像处理领域重要的评价指标。针对传统能见度测试方法依赖大气透射仪等硬件设施、需要人工多点观测等局限性，本发明给出一种基于场景深度的单幅雾天图像能见度估计方法。该方法基于大气退化物理模型估计透射率，采用一种景物深度估计法估算场景深度，并依据能见度测量仪原理求取大气消光系数。最后引入概率统计的思想，通过对单个像素点计算能见度并按照雾天能见度等级统计每个等级像素能见度所占概率，从而估计出单幅雾天图像的能见度。本发明仅对单幅雾天图像进行估算，计算简单、估计准确度高，不依赖任何硬件设施，减少人工参与的操作，可应用于雾天图像清晰化***中有效评价去雾效果。

Description

一种单幅雾天图像能见度估计方法

技术领域：

本发明涉及图像/视频处理技术中对图片质量的客观评价标准，具体来讲，涉及一种基于场景深度的单幅雾天图像能见度估计方法。

技术背景：

雾天降质图像的清晰化处理是计算视觉和图像领域的研究热点之一，具有广阔的应用前景，相关研究成果可以广泛应用于在航拍、视频监控、相片处理、多种交通工具的安全辅助驾驶***等诸多领域。然而，目前针对去雾算法的性能评价尚未有统一的综合评价体系，各研究者大多采用自己的评价指标衡量所提算法的性能，造成了算法与算法之间不具备良好的可比性。对去雾效果的客观、定量评价问题一直没有解决的主要原因有三点：(1)缺乏理想的晴天图像作为参考标准。对去雾效果的评价不同于图像质量评价，对于一幅有雾图像很难获得与当前图像中场景完全相同的晴天参考图像。(2)去雾效果的优劣主要由人眼视觉感受决定，而人眼视觉感受因人而异，主观性强，设计能够完全模拟仿真人眼视觉感受的测试值几乎不可能。(3)目前常用的评价手段主要借鉴图像质量评价中的相关指标，如均方差、信息熵、峰值信噪比等指标，而直接用这些评价指标来评价去雾图像的效果，往往无法得到一致性的评价结论。

能见度是反映大气透明度的一个指标，航空界将其定义为视力正常的人在当时的天气条件下，能够从天空背景中看到或辨认出目标物的最大水平距离。能见度和当时的天气情况密切相关，当出现降雨、雾、霾、沙层暴等天气过程时，大气透明度较低，因此能见度较差。能见度与地面交通运输、飞行活动有密切关系，能见度不好是地面交通运输和飞行活动中严重的视程障碍，直接给目视飞行和车辆驾驶造成困难，甚至会危机运输安全，交管部门和民航组织会根据能见度来决定高速公路或机场是否关闭。因此，能见度值成为雾天图像的主要特征，是衡量各种去雾算法性能的重要评价指标。气象学中测量能见度的传统方法采用目测，并使用大气透射仪、散射仪、激光能见度测量仪等仪器进行测量。但这种测量方式对目标物的分布、周围观测环境要求较高，需要视野开阔，无遮蔽物遮挡，同时各类能见度仪器大多存在取样空间小，硬件成本高，需要多点观测，与人眼感知结果仍然存在一定的偏差。随着计算机视觉技术的发展，基于图像处理技术测量能见度的方法成为了主流研究方向。基于图像的能见度检测方法主要分为两类：第一类方法采用图像上依次判断不同距离的目标物来估计能见度，其主要思想是在不同距离位设定参照物，通过测量参照物的衰减程度来估算能见度。但这类方法中探测范围和精度受视野范围内可选用目标物的距离和数量的限制，同时需要额外设置参考物。第二类方法采用双亮度差的方法，这类方法中仍然需要增加人工标志物，通过测量点间亮度差来估算能见度。这类方法测量点的多少直接影响了检测误差率。

发明内容：

本发明的目的在于解决现有的能见度测试方法依赖大气透射仪等硬件设施、需要人工多点观测等局限性，基于透射率估计和场景深度，提供一种简单精确的基于单幅图像的能见度估计方法，通过所述方法可较容易的计算出雾天图像的能见度，为评价去雾算法的性能提供一种标准。

为了实现上述目的，本发明提供一种基于场景深度的单幅雾天图像能见度估计方法，该方法主要包括以下步骤：

步骤一，图像获取：通过成像设备获得一帧雾天图像I；

步骤二，透射率t′的估计，包括如下8个步骤：

步骤1，求最小通道图I_min：将步骤1获取的图像在RGB颜色空间，对每个像素点求取RGB分量的最小值，获得最小通道图I_min；

步骤2，估计当前帧大气光值A₀：对步骤1获得的I_min的前height/3行(其中height为图像高度)做半径为height/30的最小值滤波。目的在于去除明亮细节，减少非大气光的白色明亮物体干扰。在滤波后前height/3行找出最亮像素点，将原图对应位置取RGB三通道中的最大值作为当前帧估计的大气光值A₀；

步骤3，滑动平均求得大气光值A：在雾天视频处理过程中，A值的波动可能会造成复原结果出现明暗跳变现象，影响视觉效果。为使A值变化平稳，采用滑动平均的方法，将当前帧估计的大气光值A₀与前7帧图像估计的大气光值求平均得到当前帧的最终大气光值A。

步骤4，初步估计透射率图由最小通道图I_min可得到初步估计的透射率图

步骤5，下采样透射率为减少处理时间，先将下采样得到使得的宽高分别为原图宽高的1/4；

步骤6，导向滤波优化下采样透射率用3×3的方形结构元素b对做形态学开运算，得到以作为导向滤波的输入图，作为导向图，进行导向滤波以平滑区域内部，同时达到保持边缘的目的，经导向滤波后，得到优化后的下采样透射率t_d(x)；

步骤7，上采样t_d(x)得到最终透射率图t(x)：采用线性插值的方式，得到原来尺寸的优化后透射率图t(x)；

步骤8，白色区域的修正：由于天空等白色区域不满足暗原色先验规律，这些区域的透射率被低估，需要进行修正，得到修正后的透射率图t′(x)；

步骤三，场景深度d′估计：利用图像的灰度梯度信息中可以反映景物的细节信息，在计算景物深度信息时加入梯度信息。采用计算在像素8邻域内0°、90°、45°和135°4个方向的一阶偏导数P_0°，P_45°，P_90°，P_135°，再采用二阶范数推算像素梯度：

将此梯度信息加入到景深的计算中去。

步骤四，计算图像中每一个像素点的能见度V。根据步骤二得到的透射率t′和步骤三得到的景深估计d′，利用公式可以求得每一个像素的能见度的估计V。

步骤五，利用特强浓雾因子估算单幅雾天图像的能见度：引入概率统计的思想，根据伯努利大数定律可知单幅雾天图像若整体雾浓度属于某一个级别，则该幅图像中的大部分像素点计算的能见度值分布在该级别雾所对应的能见度区间。因此，利用特强浓雾因子占有率的不同，来确定单幅图像的能见度。

本发明在分析雾天图像的特点的基础上，提出一种基于场景深度的单幅雾天图像能见度估计方法来评价去雾算法效果的优劣。该方法基于大气退化物理模型估计透射率，采用一种景物深度估计法估算场景深度，并依据能见度测量仪原理求取大气消光系数。最后引入概率统计的思想，对单个像素点计算能见度并按照雾天能见度等级统计每个等级像素能见度所占概率，并通过特强浓雾因子的占有率估计出单幅雾天图像的能见度。该方法弥补了对雾天图像客观评价指标中能见度估计的空白，仅仅对单幅雾天图像进行估算，计算简单、估计准确度高，不依赖任何硬件设施，减少人工参与的操作。

附图说明

图1为本发明的整体流程图；

图2为估算透射率的流程图。

具体实施方式

为更好的理解本发明，下面结合具体实施方式对本发明的能见度估计算法进行更为详细的描述。在以下的描述当中，当前已有的现有技术的详细描述也许会淡化本发明的主题内容，这些描述在这里将被忽略。

图1是本发明基于透射率和场景深度的单幅雾天图像能见度估计方法的一种具体实施方式的流程图，在本实施方案中，按照以下步骤进行：

步骤一，获取一帧雾天图像；

步骤二，透射率的估计，图2是估算透射率的流程图，包括如下过程：

步骤1，求最小通道图I_min。

将步骤一所获得的雾天图像在RGB颜色空间，对每个像素点求取RGB分量的最小值，获得最小通道图I_min，所采用的公式如下：

步骤2，估计当前帧大气光值A₀。

对步骤1所获得的最小通道图I_min前height/3行(其中height为图像高度)做半径为height/30的最小值滤波。目的在于去除明亮细节，减少非大气光的白色明亮物体干扰。在滤波后前height/3行找出最亮像素点，将原图对应位置取RGB三通道中的最大值作为当前帧估计的大气光值A₀；

步骤3，滑动平均求得大气光值A。

在雾天视频处理过程中，A值的波动可能会造成复原结果出现明暗跳变现象，影响视觉效果。为使A值变化平稳，采用滑动平均的方法，将当前帧估计的大气光值A₀与前7帧图像估计的大气光值求平均得到当前帧的最终大气光值A。假设数组Af[8]用于保存包括当前帧在内的8幅图像所估计的大气光值。设count为当前帧的序号，k＝count％8，具体步骤是：

若count＝0(首帧)：

估计首帧大气光值Af[0]，并初始化Af[7]＝Af[6]＝Af[5]＝Af[4]＝Af[3]＝Af[2]＝Af[1]＝Af[0]

计算首帧最终大气光值：

A＝mean(Af)＝(Af[0]+Af[1]+Af[2]+Af[3]+Af[4]+Af[5]+Af[6]+Af[7])/8＝Af[0]

若count＝1，2，3…N：

估计第count帧大气光值，更新A[k]，计算第count帧最终大气光值：

A＝mean(Af)＝(Af[0]+Af[1]+Af[2]+Af[3]+Af[4]+Af[5]+Af[6]+Af[7])/8；

例如，当count＝99，

估计第99帧大气光值，k＝count％8＝3，更新A[3]，计算第99帧最终大气光值：

A＝mean(Af)＝(Af[0]+Af[1]+Af[2]+Af[3]+Af[4]+Af[5]+Af[6]+Af[7])/8；

此时，Af[2]、Af[1]、Af[0]、Af[7]、Af[6]、Af[5]、Af[4]分别为98、97、96、95、94、93、92帧估计的大气光值。

经过上述滑动平均后，可得到当前帧最终的大气光值A。

步骤4，初步估计透射率图

由步骤1所获得的最小通道图I_min和步骤3获得的大气光值A可得到初步估计的透射率图所采用的公式如下：

其中，参数ω为0.9，作用是保留一定程度的雾气，使图像更加真实；

步骤5，下采样步骤4所获得的透射率

为减少处理时间，先将下采样得到使得的宽高分别为原图宽高的1/4；

步骤6，导向滤波优化步骤5所获得的下采样透射率具体做法如下：

用3×3的方形结构元素b对做形态学开运算，得到

以作为导向滤波的输入图，作为导向图，参数epsilon选为0.01，导向半径为图像宽高较小者的1/20，进行导向滤波以平滑区域内部，同时达到保持边缘的目的，经导向滤波后，得到优化后的下采样透射率t_d(x)；

步骤7，上采样步骤6获得的t_d(x)得到最终透射率图t(x)。

采用线性插值的方式，得到原来尺寸的优化后透射率图t(x)；

步骤8，白色区域的修正。

由于天空等白色区域不满足暗原色先验规律，这些区域的透射率被低估，需要进行修正。具体做法如下：

首先计算每个像素点RGB三通道与大气光值A距离的最大值，记为Δ_max(x)：

若像素点三个通道强度值都靠近A，即Δ_max＜D(D为常量)，则认为该区域是天空等亮区。并对该点的透射率t(x)进行修正：

其中D取值为50

若Δ_max＞D，无需修正，t′(x)＝t(x)。于是得到修正后的透射率图t′(x)；

步骤三，估计场景深度d′。

目前主要通过雷达、激光测距仪等精密仪器测量图像的景深，也可以利用同一角度降质程度不同的多幅图像和不同角度的多幅图像求取图像的景深，但是这些方法对差异图像获取不便，因此也无法在实时监控情况下对图像进行处理。平时拍照时，需要聚焦景物，观察发现其聚焦点大多数是在照片的中心位置。但一幅图像的景物深度是以焦点作为中心向周围辐射的。越远的地方(越靠近图像的上方)，景物深度越大，则可以粗略得到：

其中：(i，j)表示的是m×n维图像上的任一像素点的坐标，c₁为深度调整参数。

采用公式(1)估算景物深度会造成景物的细节信息损失，这是因为景物存在一定的高度。但是，图像的灰度梯度信息中可以反映景物的细节信息。由于，传统的图像灰度梯度估算方法对噪声十分敏感，导致其在实际应用中效果并不是十分理想。针对该缺点，并满足保留细节和降噪平滑的要求，采用计算在像素8邻域内0°、90°、45°和135°4个方向的一阶偏导数的有限差分从而求得像素梯度。求解过程如下：

0°方向的偏导数：P_0°[i，j]＝f[i+1，j]-f[i-1，j]

90°方向的偏导数：P_90°[i，j]＝f[i，j+1]-f[i，j-1]

45°方向的偏导数：P_45°[i，j]＝f[i-1，j+1]-f[i+1，j-1]

135°方向的偏导数：P_135°[i，j]＝f[i+1，j+1]-f[i-1，j-1]

其中：f(i，j)表示的是图像在(i，j)处的灰度值。

采用二阶范数推算像素梯度，则为：

则修正后的景物深度d′为：

其中：c₁，c₂为梯度修正系数，取值范围在0和1之间。

步骤四，计算图像中每一个像素点的能见度V。通过公式(4)，并利用步骤二得到的透射率t′和步骤三得到的景深估计d′，可以求得每一个像素的能见度的估计V。

其中，ε为视觉阈值，国际民航组织ICAO(International CivilAviationOrganization)推荐的视觉阈值为0.05，因此本发明取ε＝0.05。

步骤五，利用特强浓雾因子估计单幅雾天图像的能见度。

根据能见度的定义，描述观察者所能看清楚的最大距离。计算图像中每一个像素的能见度，并将所有像素点中能见度最大值作为整幅图像的能见度。但对于局部或前景清晰的测试图像，往往造成较大的误差，为解决这一问题，本发明引入概率统计的思想，根据伯努利大数定律，有些随机事件无规律可循，而在大量重复出现的条件下，往往呈现几乎必然的统计特性。单幅雾天图像若整体雾浓度属于某一个级别，则该幅图像中的大部分像素点计算的能见度值分布在该级别雾所对应的能见度区间。

因此对于雾天图像中的每个像素点计算出能见度值，并把得到的能见度值按照雾的等级分成五个区间，分别为轻雾V₁∈[1000，2999)，大雾V₂∈[500，1000)，浓雾V₃∈[200，500)，强浓雾V₄∈[50，200)，特强浓雾V₅∈(0，50)，单个像素点能见度。分别统计V₁～V₅五个区间像素点个数，本发明以特强浓雾因子V₅作为主要参考标准，计算特强浓雾因子V₅的占有率。

通过大量的实验测试，发现不同级别的雾天图像，特强浓雾因子占有率的不同。当则为特强浓雾，能见度小于50米；当则为强浓雾，能见度小于200米；当98％则为浓雾，能见度小于500米；若则为大雾，能见度小于1000米；若则为轻雾，能见度大于1000米。因此，

综上所述，本发明首先对输入图像的每个像素点求RGB分量的最小值，得到最小通道图，记为I_min，然后对I_min图像的上部分进行最小值滤波，并在滤波后区域找出最亮像素点，将原图的对应位置像素点取RGB三通道中最大值作为当前帧估计的大气光值A₀，采用滑动平均方法得到最终平稳的大气光值A。由I_min也可以得到初步估计的透射率图下采样后记为对做导向滤波以使景深相同的区域具有相同的透射率值，再将导向滤波后t_d(x)通过线性插值的方法上采样至原来尺寸，于是得到优化后的透射率图t(x)，对天空等白色区域的透射率进行修正，得到最终的透射率图t′(x)；然后利用场景深度的估计和透射率估计求得图像中每一个像素的能见度；最后引入概率统计的思想，对单个像素点计算能见度并按照雾天能见度等级统计每个等级像素能见度所占概率，并通过特强浓雾因子的占有率估计出单幅雾天图像的能见度。

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种单幅雾天图像能见度估计方法，其特征在于，包括以下步骤：

步骤一，图像获取：通过成像设备获得一帧雾天图像I；

步骤二，透射率t′的估计，包括如下8个步骤：

步骤1，求最小通道图I_min：将步骤1获取的图像在RGB颜色空间，对每个像素点求取RGB分量的最小值，获得最小通道图I_min；

步骤2，估计当前帧大气光值A₀：对步骤1获得的I_min的前height/3行，其中height为图像高度，做半径为height/30的最小值滤波，目的在于去除明亮细节，减少非大气光的白色明亮物体干扰；在滤波后前height/3行找出最亮像素点，将原图对应位置取RGB三通道中的最大值作为当前帧估计的大气光值A₀；

步骤3，滑动平均求得大气光值A：在雾天视频处理过程中，A值的波动可能会造成复原结果出现明暗跳变现象，影响视觉效果，为使A值变化平稳，采用滑动平均的方法，将当前帧估计的大气光值A₀与前7帧图像估计的大气光值求平均得到当前帧的最终大气光值A；

步骤4，初步估计透射率图由最小通道图I_min可得到初步估计的透射率图

步骤5，下采样透射率为减少处理时间，先将下采样得到使得的宽高分别为原图宽高的1/4；

步骤6，导向滤波优化下采样透射率用3×3的方形结构元素b对做形态学开运算，得到以作为导向滤波的输入图，作为导向图，进行导向滤波以平滑区域内部，同时达到保持边缘的目的，经导向滤波后，得到优化后的下采样透射率t_d(x)；

步骤7，上采样t_d(x)得到最终透射率图t(x)：采用线性插值的方式，得到原来尺寸的优化后透射率图t(x)；

步骤8，白色区域的修正：由于天空的白色区域不满足暗原色先验规律，这些区域的透射率被低估，需要进行修正，得到修正后的透射率图t′(x)；

步骤三，场景深度d′估计：利用图像的灰度梯度信息中可以反映景物的细节信息，在计算景物深度信息时加入梯度信息；采用计算在像素8邻域内0°、90°、45°和135°4个方向的一阶偏导数P_0°，P_45°，P_90°，P_135°，再采用二阶范数推算像素梯度：

将此梯度信息加入到景深的计算中去，得到最终的场景深度估计为：

$d^{\′}=c_1\sqrt{{\left(m-i\right)}^2+{\left(n-j\right)}^2}+c_{2}M\left(i,j\right),i=1,2,\mathrm{...},m;j=1,2,\mathrm{...}n$

其中，c₁，c₂为梯度修正系数，取值范围在0和1之间，(i，j)表示的是m×n维图像上的任一像素点的坐标；

步骤四，计算图像中每一个像素点的能见度V：根据步骤二得到的透射率t′和步骤三得到的场景深度估计d′，利用公式可以求得每一个像素的能见度的估计V；

步骤五，利用特强浓雾因子估算单幅雾天图像的能见度：引入概率统计的思想，根据伯努利大数定律可知单幅雾天图像若整体雾浓度属于某一个级别，则该幅图像中的大部分像素点计算的能见度值分布在该级别雾所对应的能见度区间，因此，利用特强浓雾因子占有率的不同，来确定单幅图像的能见度。

2.根据权利要求1所述的一种单幅雾天图像能见度估计方法，其特征在于，步骤五中引入概率统计思想，以特强浓雾因子V₅作为主要参考标准，计算特强浓雾因子V₅的占有率：

$P_{V_5}=\frac{V_5}{\underset{i=1}{\overset{5}{\Σ}}{V}_i}\×100\%$

通过大量的实验测试发现不同级别的雾天图像，特强浓雾因子占有率的不同：当则为特强浓雾，能见度小于50米；当则为强浓雾，能见度小于200米；当则为浓雾，能见度小于500米；若则为大雾，能见度小于1000米；若则为轻雾，能见度大于1000米，即