CN105761230B - 基于天空区域分割处理的单幅图像去雾方法 - Google Patents
基于天空区域分割处理的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN105761230B CN105761230B CN201610150509.3A CN201610150509A CN105761230B CN 105761230 B CN105761230 B CN 105761230B CN 201610150509 A CN201610150509 A CN 201610150509A CN 105761230 B CN105761230 B CN 105761230B
- Authority
- CN
- China
- Prior art keywords
- image
- transmitance
- sky
- value
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 119
- 238000005457 optimization Methods 0.000 claims abstract description 38
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000003595 mist Substances 0.000 claims description 22
- 230000008030 elimination Effects 0.000 claims description 18
- 238000003379 elimination reaction Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000009738 saturating Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 238000009499 grossing Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010027146 Melanoderma Diseases 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013618 particulate matter Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于天空区域分割处理的图像去雾放法,步骤为:根据暗原色先验理论求取输入图像的初步估计透过率,分别对初步估计透过率采用中值滤波和引导滤波进行优化处理,并将两者结合,用中值滤波优化的透过率替换晕轮区域引导滤波优化的透过率;采用Canny边缘算子求取原始图像的边缘图像,并修正误判的区域,将图像划分为天空和地面两个区域,将其作为二值模板提取引导滤波优化之后的天空区域透过率,对提取的天空区域透过率进行非线性扩展处理;将以上两个步骤分别得到的透过率相结合,并进行引导滤波平滑处理;利用得到的优化透过率进行滤波处理。本发明可较好的改善晕轮效应和天空区域颜色的失真现象,对雾天图像的去雾效果有较大提升。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种雾霾图像的去雾方法,尤其适用于包含天空区域的雾霾图像。
背景技术
现代社会,大量的***依赖于成像设备来获取目标的相关信息,如交通、监控、遥感成像。近些年,我国北方大范围雾霾天气频繁发生,在雾霾天气下室外成像设备获取的图像质量下降,导致相关***不能正常工作。雾霾对成像设备的影响主要是由雾霾颗粒物的散射作用造成的,从物体反射的光在传播过程中偏离传输路径没有参与成像。另一方面,环境中的其它光也会受到雾霾颗粒物的散射作用,部分进入到成像设备中参与成像。最终的图像会出现细节信息丢失、模糊、对比度下降、颜色偏移等现象。为了能在雾霾天气条件下对目标的图像信息进行更好的分析、利用,必须对获得的图像进行后续处理,通常采用图像增强和图像复原来恢复丢失的目标。
基于图像增强的图像去雾处理方法不考虑图像退化的原因,而是以主观因素为出发点,对于感兴趣的目标区域采取一定的处理手段进而突出目标信息,对于不感兴趣的非目标区域则予以削弱或去除。该类方法并不十分在意图像的整体效果,只对目标区域进行一定的处理,最终的处理图像可能并不具有良好的视觉效果。常用的图像增强算法有直方图均衡化算法、小波变换方法、Retinex去雾方法等。
基于图像复原的图像去雾处理方法以客观实际为出发点,根据图像退化的机理,找出对应的处理方法,使去雾图像与无雾条件下得到的图像尽可能逼近。基于图像复原的去雾方法以基于场景深度关系和基于先验信息的去雾方法为主。
基于场景深度关系的去雾方法,需要两张或两张以上的不同天气条件下的图像才能估计出图像中对应的场景深度。基于先验信息的图像去雾方法只需一幅图像就能进行去雾处理,但该方法需要通过先验假设对场景深度信息进行估算。何凯明等研究者基于大量户外无雾图像的统计特性提出了暗原色先验理论,该理论认为户外无雾图像在局部区域内的暗原色值趋于0,对于有雾图像其暗原色的分布可近似为雾霾厚度的分布,进而可以估算出透过率。该算法采用软抠图算法对初步估计透过率进行修正,去雾效果自然,但算法的复杂度较高,计算速度较慢,且在某些暗通道不接近0的区域会出现偏差,导致复原图像失真。国内外研究人员在暗原色先验理论去雾方法的基础上,提出了中值滤波、引导滤波、双边滤波等方法对透过率进行优化。中值滤波可以明显的改善晕轮效应,但中值滤波得到的去雾图颜色较暗沉,且在边缘近景区域容易出现黑斑效应引导滤波对能在一定程度上改善晕轮效应,但该方法可视为将晕轮区域的雾根据不同权值分配到了临近区域,导致临近区域会有少量的雾霾残留。双边滤波具有很好的保边效果,但该方法的计算复杂度较高且速度较慢,得到的去雾图像颜色暗沉。
发明内容
本发明的目的是提供一种适用于包含天空区域的雾霾图像的去雾方法,可以克服现有暗原色算法在天空区域引起的颜色失真问题,以及现有优化算法对晕轮效应改善不佳的问题。
为了实现上述目的,本发明采取如下的技术解决方案:
基于天空区域分割处理的单幅图像去雾方法,包括以下步骤:输入在雾霾天气条件下获得的原始图像I;
步骤一、获取初步估计透过率图像
通过暗原色先验理论获得原始图像的暗通道图像,找出暗通道图像中像素亮度最大的前P个像素所对应的区域,P为区域阈值,将该区域中的最大像素灰度值作为大气光强度A,通过下式获取初步估计透过率图像中各个像素的初步估计透过率
其中,ω为去雾控制因子,c表示RGB颜色分量中的任一分量,Ac表示大气光强度A的一个颜色分量值,x为被计算像素,Ωx表示以像素x为中心的滑动窗口,k为滑动窗口内x周围的像素,Ic k为滑动窗口内原始图像I的一个颜色分量值;
步骤二、分别采用中值滤波和引导滤波对初步估计透过率图像进行优化,得到中值滤波优化图像Itmed和引导滤波优化图像Itgui;
中值滤波优化图像Itmed中各像素的透过率
引导滤波优化图像Itgui中各像素的透过率
其中,Ωmx为中值滤波使用的滑动窗口,Ωgx为引导滤波使用的滑动窗口,|w|为引导滤波滑动窗口Ωgx内像素点的总数,Ix为引导图, 为像素x的初步估计透过率,为像素k的初步估计透过率,为引导图Ix在Ωgx内像素灰度值的方差,μk为引导图Ix在Ωgx内像素灰度值的均值,ε为正则化参数;
步骤三、优化晕轮区域,将引导滤波优化图像Itgui中晕轮区域的透过率用对应位置处中值滤波优化图像Itmed的透过率代替,得到引导滤波和中值滤波结合的透过率图像Itrep,步骤如下:
将初步估计透过率与经过引导滤波优化得到的透过率tgui(x)做差值运算,得到一个与引导滤波优化图像等大的差值矩阵tdif;
判断差值矩阵tdif中各元素值是否大于设定阈值N,大于N的位置为晕轮区域,将引导滤波优化图像中位于晕轮区域内相应位置处的透过率用中值滤波优化透过率来代替,即
步骤四、获取天空区域二值模板;
将原始图像I转换为灰度图后,采用Canny边缘算子获取原始图像的边缘图像,对边缘图像闭运算并对被误判为天空场景的地面场景区域进行修正,获取天空区域二值模板;
对误判为天空的地面区域进行修正的修正公式为:式中的为原始图像中对应位置处像素点三个颜色分量的均值,为大气光强度A的三个颜色分量值的均值,为修正系数;
步骤五、优化天空区域透过率,得到优化后的天空区域透过率图像I’sky;
利用天空区域二值模板提取引导滤波优化图像Itgui中天空区域的透过率,对提取得到的天空区域的透过率tsky(x)进行非线性扩展处理,得到经过优化的天空区域透过率t’sky(x);
其中,a、b为非线性扩展系数;
步骤六、将天空区域透过率与地面区域透过率相结合,得到完整的透过率图像;
将步骤三得到的引导滤波和中值滤波结合的透过率图像Itrep去除天空区域透过率,得到地面区域透过率图像I’trep,将地面区域透过率图像I’trep与步骤五获得的天空区域透过率图像I’sky相结合,得到完整的透过率图像I0;
步骤七、对完整的透过率图像I0采用引导滤波进行平滑处理;
步骤八、复原出去雾图像;
使用公式从原始图像中恢复出去雾图像,式中的I为原始图像,A为大气光强度,t(x)为步骤七得到的透过率图像中各像素的透过率,t0为透过率最小阈值。
进一步的,所述步骤三中的预设阈值N采用自适应方法设定,步骤如下:找出差值矩阵tdif中最大的元素tdmax,将该元素值划分为255份,每一份视为单位差值tuni,即将差值矩阵tdif中的每一个元素都除以单位差值并取整,从而将差值矩阵tdif的元素值转化为在区间[0,255]的整数值,用TDIF表示,将TDIF中的元素按从大到小的顺序进行累积统计,当累积百分比psum达到0.1时,将首个到达psum的元素值记为NT,则N=NT·tuni。
进一步的,将所述步骤四中获得的获取天空区域二值模板的颜色翻转,用白色表示天空区域,黑色表示地面区域。
进一步的,所述步骤四中,在修正误判区域之前先对得到的边缘图像进行填充孔洞和移除小对象的优化处理。
由以上技术方案可知,本发明方法的主要步骤包括:根据暗原色先验理论求取输入图像的初步估计透过率,分别对初步估计透过率采用中值滤波和引导滤波进行优化处理,并将两者进行结合,用中值滤波优化的透过率替换晕轮区域引导滤波优化的透过率;采用Canny边缘算子求取原始图像的边缘图像,通过对该边缘图像进行闭运算并修正误判的区域,将图像划分为天空和地面两个区域,将其作为二值模板提取引导滤波优化之后的天空区域透过率,对提取的天空区域透过率进行非线性扩展处理;将以上两个步骤分别得到的透过率相结合,并进行引导滤波平滑处理;利用得到的优化透过率进行滤波处理。与现有技术相比,本发明具有如下特点:
1、通过将中值滤波与引导滤波相结合,即可以避免采用中值滤波优化透过率去雾之后在边缘近景区域出现黑斑,亦可避免引导滤波对晕轮效应的改善不足问题,去雾图像颜色柔和,不会出现中值滤波那样严重的颜色暗沉,在保留了中值滤波和引导滤波的优点的同时避免了两者各自的缺点;
2、通过将天空区域提取出来单独进行处理,保留了暗原色先验去雾理论在非天空区域的优秀去雾能力,通过对天空区域进行非线性扩展,极大降低了去雾图像在天空区域的噪声,使得天空区域的去雾图像更加真实自然。
附图说明
图1为本发明方法的流程图;
图2为本发明实施例的原始图像;
图3为原始图像经过处理后得到的初步估计透过率图像;
图4为图3经过中值滤波优化后得到的图像;
图5为图3经过引导滤波优化后得到的图像;
图6为将引导滤波图像中晕轮区域的透过率用中值滤波透过率替换之后得到的图像;
图7为原始图像的天空区域二值模板;
图8为利用天空区域模板获得的引导滤波优化后的图像;
图9为天空区域透过率进行非线性扩展之后的图像;
图10为将图4去除天空区域透过率之后的图像;
图11为将经过替换之后的地面区域透过率图像和经过非线性扩展之后的天空区域透过率图像相结合之后的图像;
图12为将图11采用引导滤波进行平滑处理后的图像;
图13为采用图12复原得到的去雾图像;
图14为对原始图像采用中值滤波优化透过率后得到的去雾图像;
图15为对原始图像采用引导滤波优化透过率后得到的去雾图像。
以下结合附图对本发明的具体实施方式作进一步详细地说明。
具体实施方式
本发明方法的基本思路是:根据暗原色先验理论求取初步估计透过率图像;分别利用中值滤波和引导滤波对初步估计透过率图像进行优化处理,根据引导滤波和初步估计透过率的差值来判断对应点是否位于晕轮区域,对位于晕轮区域内的点,将该点经过引导滤波优化的透过率替换为经过中值滤波优化的透过率;利用Canny边缘算子提取原始图像的边缘信息,经过闭运算和误判区域修正获得天空区域二值模板;利用该模板将经过引导滤波的天空区域的透过率提取出来,对该天空区域的透过率进行非线性扩展处理,再将经过非线性扩展处理的天空区域透过率与经过替换处理的透过率相结合;新的透过率地面区域的采用的是晕轮区域替换处理,天空区域采用的是非线性扩展处理,为了使新的透过率图像在不同处理区域得以平滑过渡,对新的透过率图像进行引导滤波处理,将最终的透过率图像代入到复原模型中,即可获得去雾图像。
以上是本发明的核心思想,下面将结合本发明实施例中的附图,对本发明实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施例,都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
图1为本发明方法的流程图,下面结合图1,对本发明的基于天空区域分割处理的单幅图像去雾方法进行说明,本方法的步骤如下:输入在雾霾天气条件下获得的原始图像I,如图2所示;
步骤一、获取初步估计透过率图像
通过暗原色先验理论获得原始图像的暗通道图像,找出暗通道图像中像素亮度最大的前P个像素所对应的区域,P为区域阈值,其为经验值,本实施例中的区域阈值P=10%,将该区域中的最大像素灰度值作为大气光强度A,通过下式获取初步估计透过率图像中各个像素的透过率:
初步估计透过率
其中,ω为去雾控制因子,本实施例中ω=0.95,ω为经验值,用于控制去雾的程度,c表示RGB颜色分量中的任一分量,Ac表示大气光强度A的一个颜色分量值,x为被计算像素,Ωx表示以像素x为中心的滑动窗口,滑动窗口通常为方形区域,k为滑动窗口(Ωx)内x周围的像素,Ic k为滑动窗口(Ωx)内原始图像I的一个颜色分量值;
原始图像经过处理后得到的初步估计透过率图像如图3所示;
步骤二、分别采用中值滤波和引导滤波对初步估计透过率图像进行优化,得到中值滤波优化图像Itmed和引导滤波优化图像Itgui;
中值滤波优化图像Itmed中各像素的透过率
图4所示为图3经过中值滤波优化后的图像,从图4可看出,经中值滤波优化后的图像与初步估计透过率图像相比,具有更好的保边性能,同时在图像的平滑性也比初步估计透过率图像好;
引导滤波优化图像Itgui中各像素的通过率
上式中tmed(x)即为经过中值滤波优化后得到的中值滤波优化透过率,tgui(x)即为经过引导滤波优化得到后的引导滤波优化透过率,Ωmx为中值滤波使用的滑动窗口,Ωgx为引导滤波使用的滑动窗口,|w|为引导滤波滑动窗口Ωgx内像素点的总数,k为滑动窗口(Ωmx或Ωgx)内x周围的像素,Ix为将原始图像转为灰度图后得到的引导图, 为像素x的初步估计透过率,为像素k的初步估计透过率,为引导图Ix在Ωgx内像素灰度值的方差,μk为引导图Ix在Ωgx内像素灰度值的均值,ε为正则化参数,用于防止系数ak过大;
引导滤波优化是将原始图像转化为灰度图后作为引导图,从引导图中提取出细节信息,并对初步估计透过率图进行滤波处理,将引导图中的细节信息与初步估计透过率图相结合,从而得到具有保边效果的平滑透过率图像;图5所示为图3经过引导滤波优化后的图像,从图5可以看出,经过引导滤波优化后,图像可以更好地反映原始图像的细节信息;
步骤三、优化晕轮区域,将引导滤波优化图像Itgui中晕轮区域的透过率用对应位置处中值滤波优化图像Itmed的透过率代替,得到引导滤波和中值滤波结合的透过率图像Itrep,步骤如下:
将初步估计透过率与经过引导滤波优化得到的透过率tgui(x)做差值运算,得到一个与引导滤波优化图像等大的差值矩阵tdif;
判断差值矩阵tdif中各元素值是否大于设定阈值N,大于N的位置为晕轮区域,将引导滤波优化图像中位于晕轮区域内相应位置处的透过率用中值滤波优化透过率来代替,即
本实施例的预设阈值N采用自适应方法设定:找出差值矩阵tdif中最大的元素tdmax,将该元素值划分为255份,每一份视为单位差值tuni,即将差值矩阵tdif中的每一个元素都除以单位差值并取整,从而将差值矩阵tdif的元素值转化为在区间[0,255]的整数值,用TDIF表示,将TDIF中的元素按从大到小的顺序进行累积统计,当累积百分比psum达到0.1时,将首个到达psum的元素值记为NT,则N=NT·tuni;
图6所示即为图5中的晕轮区域的透过率用图4中对应的透过率替换后得到的图像;
步骤四、获取天空区域二值模板;
将原始图像I转换为灰度图后,采用Canny边缘算子获取原始图像的边缘图像,对边缘图像进行闭运算并对被误判为天空场景的地面场景区域进行修正,获取天空区域二值模板,将二值模板的颜色翻转,用白色(1)表示天空区域,黑色(0)表示地面区域;图7所示为原始图像的天空区域二值模板;优选的,在修正之前,可先对得到的边缘图像进行填充孔洞和移除小对象的优化处理,填充孔洞和移除小对象采用现有技术中的处理方法,此处不再赘述;
对误判为天空的地面区域进行修正的修正公式为:式中的为原始图像中对应位置处像素点三个颜色分量的均值,为大气光强度A的三个颜色分量值的均值,为修正系数,修正系数为经验值,本实施例中修正系数取0.8;
步骤五、优化天空区域透过率;
利用天空区域二值模板提取引导滤波优化图像Itgui中天空区域的透过率,提取后的图像如图8所示,对提取得到的天空区域的透过率tsky(x)进行非线性扩展处理,得到经过优化的天空区域透过率t’sky(x),优化后的天空区域透过率图像I’sky如图9所示,图9中天空区域的透过率和图5中天空区域的透过率相同,地面区域的透过率为0;
将提取得到的天空区域透过率tsky(x)按照下式进行扩展,得到经过优化的天空区域透过率t’sky(x):式中的a、b为非线性扩展系数,用于对透过率进行非线性扩展,a可在0.01~0.2范围内取值,b可在0.1~0.5范围内取值;
从图9可以看出,经过上述性扩展处理后,图9中天空区域的透过率比图8有了较大的提升,且天空区域的透过率平滑;
步骤六、将天空区域透过率与地面区域透过率相结合,得到完整的透过率图像;
经过前述步骤的处理后,优化后的天空区域透过率图像I’sky(图9)中天空区域的透过率有了较大的扩展,而地面区域的透过率均为0,将步骤三得到的引导滤波和中值滤波结合的透过率图像Itrep去除天空区域透过率之后,得到地面区域透过率图像I’trep(图10),该地面区域透过率图像I’trep的天空区域的透过率为0,将地面区域透过率图像I’trep与步骤五获得的优化后的天空区域透过率图像I’sky相结合,得到完整的透过率图像I0,即将图9和图10结合,得到完整的透过率图像(图11),由于其使用的是同一个天空区域二值模板,故而两者可以很好的衔接在一起;
步骤七、对完整的透过率图像I0采用引导滤波进行平滑处理;
从完整的透过率图像I0(图11)可以看出,该新的透过率图像在地面区域替换部分和周围存在一定的跃变,天空区域和地面区域的边界处也存在一定的跃变,为了能使临近区域内的透过率趋于平滑,对该图进行引导滤波处理,引导图与步骤二中引导滤波优化时采用的引导图一致,从而可以得到平滑处理后的透过率图像I’0(图12);
步骤八、复原出去雾图像;
使用公式从雾霾天图像(原始图像)中恢复去雾图像,复原得到图像如图13所示;
上式中I为原始图像,A为大气光强度,t(x)为步骤七得到的透过率图像中各像素的透过率,t0为透过率最小阈值,用于控制去雾图像中因透过率过小而产生的噪声,当透过率小于该阈值时则该位置处的透过率为t0,透过率最小阈值t0为经验值,本实施例中t0取值为0.1。
图14和图15分别为对原始图像(图2)采用中值滤波优化透过率后以及采用引导滤波优化透过率后得到图像,对比图13、图14及图15,可以发现,采用中值滤波优化得到的去雾图像整体颜色暗沉,色彩偏离大,采用引导滤波优化得到的去雾图像在场景深度发生跃变的边缘附近仍存在一定的雾霾残留。二者在天空区域均出现了较严重的颜色失真。采用本发明方法去雾后的图像可以较好的改善引导滤波在晕轮区域的雾霾残留,同时保留了引导滤波在地面区域较好的去雾效果,并使得天空区域的颜色失真得到了较好的改善。
本发明的基于天空区域分割处理的单幅图像去雾方法,通过分割出天空区域进行非线性扩展的方法以提升天空区域的去雾效果,并将中值滤波和引导滤波相结合以较好的改善晕轮效应,对于去雾图像天空区域颜色失真现象也有很好的改善,对雾天图像的去雾效果有较大提升,可以广泛的应用于智能交通、视频监控、自动驾驶等领域,可提高相应***中数字成像设备在雾霾天气条件下的工作效能。
Claims (4)
1.基于天空区域分割处理的单幅图像去雾方法,其特征在于,包括以下步骤:输入在雾霾天气条件下获得的原始图像I;
步骤一、获取初步估计透过率图像
通过暗原色先验理论获得原始图像的暗通道图像,找出暗通道图像中像素亮度最大的前P个像素所对应的区域,P为区域阈值,将该区域中的最大像素灰度值作为大气光强度A,通过下式获取初步估计透过率图像中各个像素的初步估计透过率
其中,ω为去雾控制因子,c表示RGB颜色分量中的任一分量,Ac表示大气光强度A的一个颜色分量值,x为被计算像素,Ωx表示以像素x为中心的滑动窗口,k为滑动窗口内x周围的像素,Ic k为滑动窗口内原始图像I的一个颜色分量值;
步骤二、分别采用中值滤波和引导滤波对初步估计透过率图像进行优化,得到中值滤波优化图像Itmed和引导滤波优化图像Itgui;
中值滤波优化图像Itmed中各像素的透过率
引导滤波优化图像Itgui中各像素的透过率
其中,Ωmx为中值滤波使用的滑动窗口,Ωgx为引导滤波使用的滑动窗口,|w|为引导滤波滑动窗口Ωgx内像素点的总数,Ix为引导图, 为像素x的初步估计透过率,为像素k的初步估计透过率,为引导图Ix在Ωgx内像素灰度值的方差,μk为引导图Ix在Ωgx内像素灰度值的均值,ε为正则化参数;
步骤三、优化晕轮区域,将引导滤波优化图像Itgui中晕轮区域的透过率用对应位置处中值滤波优化图像Itmed的透过率代替,得到引导滤波和中值滤波结合的透过率图像Itrep,步骤如下:
将初步估计透过率与经过引导滤波优化得到的透过率tgui(x)做差值运算,得到一个与引导滤波优化图像等大的差值矩阵tdif;
判断差值矩阵tdif中各元素值是否大于设定阈值N,大于N的位置为晕轮区域,将引导滤波优化图像中位于晕轮区域内相应位置处的透过率用中值滤波优化透过率来代替,即
步骤四、获取天空区域二值模板;
将原始图像I转换为灰度图后,采用Canny边缘算子获取原始图像的边缘图像,对边缘图像闭运算并对被误判为天空场景的地面场景区域进行修正,获取天空区域二值模板;
对误判为天空的地面区域进行修正的修正公式为:式中的为原始图像中对应位置处像素点三个颜色分量的均值,为大气光强度A的三个颜色分量值的均值,为修正系数;
步骤五、优化天空区域透过率,得到优化后的天空区域透过率图像I’sky;
利用天空区域二值模板提取引导滤波优化图像Itgui中天空区域的透过率,对提取得到的天空区域的透过率tsky(x)进行非线性扩展处理,得到经过优化的天空区域透过率t’sky(x);
其中a、b为非线性扩展系数;
步骤六、将天空区域透过率与地面区域透过率相结合,得到完整的透过率图像;
将步骤三得到的引导滤波和中值滤波结合的透过率图像Itrep去除天空区域透过率,得到地面区域透过率图像I’trep,将地面区域透过率图像I’trep与步骤五得到的优化后的天空区域透过率图像I’sky相结合,得到完整的透过率图像I0;
步骤七、对完整的透过率图像I0采用引导滤波进行平滑处理;
步骤八、复原出去雾图像;
使用公式从原始图像中恢复出去雾图像,式中的I为原始图像,A为大气光强度,t(x)为步骤七得到的透过率图像中各像素的透过率,t0为透过率最小阈值。
2.如权利要求1所述的基于天空区域分割处理的单幅图像去雾方法,其特征在于:所述步骤三中的设定阈值N采用自适应方法设定,步骤如下:找出差值矩阵tdif中最大的元素tdmax,将该元素的值划分为255份,每一份视为单位差值tuni,即将差值矩阵tdif中的每一个元素都除以单位差值并取整,从而将差值矩阵tdif的元素值转化为在区间[0,255]的整数值,用TDIF表示,将TDIF中的元素按从大到小的顺序进行累积统计,当累积百分比psum达到0.1时,将首个到达psum的元素值记为NT,则N=NT·tuni。
3.如权利要求1所述的基于天空区域分割处理的单幅图像去雾方法,其特征在于:将所述步骤四中获得的获取天空区域二值模板的颜色翻转,用白色表示天空区域,黑色表示地面区域。
4.如权利要求1所述的基于天空区域分割处理的单幅图像去雾方法,其特征在于:所述步骤四中,在修正误判区域之前先对得到的边缘图像进行填充孔洞和移除小对象的优化处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610150509.3A CN105761230B (zh) | 2016-03-16 | 2016-03-16 | 基于天空区域分割处理的单幅图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610150509.3A CN105761230B (zh) | 2016-03-16 | 2016-03-16 | 基于天空区域分割处理的单幅图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105761230A CN105761230A (zh) | 2016-07-13 |
CN105761230B true CN105761230B (zh) | 2018-12-11 |
Family
ID=56333363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610150509.3A Active CN105761230B (zh) | 2016-03-16 | 2016-03-16 | 基于天空区域分割处理的单幅图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105761230B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251301B (zh) * | 2016-07-26 | 2019-10-15 | 北京工业大学 | 一种基于暗原色先验的单幅图像去雾方法 |
CN106504205A (zh) * | 2016-10-20 | 2017-03-15 | 凌云光技术集团有限责任公司 | 一种图像去雾方法及终端 |
CN108242060A (zh) * | 2016-12-23 | 2018-07-03 | 重庆邮电大学 | 一种基于Sobel算子的图像边缘检测方法 |
CN107248146B (zh) * | 2017-05-22 | 2020-09-11 | 哈尔滨工程大学 | 一种uuv近海面可见光图像去雾方法 |
CN107680054B (zh) * | 2017-09-26 | 2021-05-18 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
CN108717686B (zh) * | 2018-04-04 | 2022-02-01 | 华南理工大学 | 一种基于暗通道先验的实时视频去雾方法 |
CN109255759B (zh) * | 2018-08-02 | 2021-06-15 | 辽宁师范大学 | 基于天空分割和透射率自适应修正的图像去雾方法 |
CN109361907A (zh) * | 2018-11-16 | 2019-02-19 | 深圳市趣创科技有限公司 | 相机拍摄夜景天空色彩的方法、装置、终端及存储介质 |
CN110322431B (zh) * | 2019-05-23 | 2021-04-13 | 深圳大学 | 雾霾图像质量评价方法、***、存储介质及电子设备 |
CN110675340A (zh) * | 2019-09-16 | 2020-01-10 | 重庆邮电大学 | 一种基于改进的非局部先验的单幅图像去雾方法及介质 |
CN111489302B (zh) * | 2020-03-27 | 2023-12-05 | 武汉理工大学 | 一种雾气环境下海事图像增强方法 |
CN113554658B (zh) * | 2020-04-23 | 2024-06-14 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111369938A (zh) * | 2020-04-26 | 2020-07-03 | 上海年润光电科技有限公司 | 一种模块化led显示屏及其控制*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104394302A (zh) * | 2014-11-28 | 2015-03-04 | 深圳职业技术学院 | 一种基于fpga的实时视频去雾*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4366011B2 (ja) * | 2000-12-21 | 2009-11-18 | キヤノン株式会社 | 文書処理装置及び方法 |
-
2016
- 2016-03-16 CN CN201610150509.3A patent/CN105761230B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104394302A (zh) * | 2014-11-28 | 2015-03-04 | 深圳职业技术学院 | 一种基于fpga的实时视频去雾*** |
Non-Patent Citations (2)
Title |
---|
An Improved Image Dehazing and Enhancing Method Using Dark Channel Prior;Yingchao Song等;《Control and Decision Conference (CCDC), 2015 27th Chinese》;20150525;5840-5845 * |
基于暗通道先验的补偿快速去雾算法;杨燕等;《计算机工程》;20151031;第41卷(第10期);210-215,220 * |
Also Published As
Publication number | Publication date |
---|---|
CN105761230A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105761230B (zh) | 基于天空区域分割处理的单幅图像去雾方法 | |
CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
CN106251300B (zh) | 一种基于Retinex的快速夜间雾天图像复原方法 | |
CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及*** | |
CN106296612B (zh) | 一种图像质量评价和天气状况引导的分级式监控视频清晰化***及方法 | |
CN109087254B (zh) | 无人机航拍图像雾霾天空和白色区域自适应处理方法 | |
CN109255759B (zh) | 基于天空分割和透射率自适应修正的图像去雾方法 | |
CN104253930A (zh) | 一种实时视频去雾方法 | |
CN105574830A (zh) | 极端天气条件下低质图像增强方法 | |
CN102750674A (zh) | 基于自适应容差的视频图像去雾方法 | |
CN102722871A (zh) | 一种快速有效的图像增强方法 | |
CN111161167B (zh) | 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 | |
CN104036466A (zh) | 一种视频去雾方法与*** | |
CN103455979A (zh) | 一种低照度视频图像增强方法 | |
CN106846258A (zh) | 一种基于加权最小平方滤波的单幅图像去雾方法 | |
CN110136079A (zh) | 基于场景深度分割的图像去雾方法 | |
CN107977941B (zh) | 一种明亮区域色彩保真及对比度增强的图像去雾方法 | |
CN111325688A (zh) | 融合形态学聚类优化大气光的无人机图像去雾方法 | |
CN110969584B (zh) | 一种低照度图像增强方法 | |
CN112053298A (zh) | 一种图像去雾方法 | |
CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
CN105184758B (zh) | 一种图像去雾增强的方法 | |
CN109859138A (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
CN111833270B (zh) | 一种快速的沙尘降质图像增强方法 | |
CN106611419B (zh) | 图像路面区域的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |