CN106709893A - 一种全天时雾霾图像清晰化恢复方法 - Google Patents
一种全天时雾霾图像清晰化恢复方法 Download PDFInfo
- Publication number
- CN106709893A CN106709893A CN201611240103.0A CN201611240103A CN106709893A CN 106709893 A CN106709893 A CN 106709893A CN 201611240103 A CN201611240103 A CN 201611240103A CN 106709893 A CN106709893 A CN 106709893A
- Authority
- CN
- China
- Prior art keywords
- image
- haze
- daytime
- haze image
- night
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011084 recovery Methods 0.000 title claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000005286 illumination Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000003595 mist Substances 0.000 claims description 25
- 238000003707 image sharpening Methods 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000011514 reflex Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种全天时雾霾图像清晰化恢复方法，基于非天空区域分割实现对雾霾图像有效边缘轮廓的提取，通过L0平滑滤波滤除掉图像非主干边缘轮廓，从而依据主干边缘来估计图像的真实复杂度，使现有视觉增强方法可根据不同结构特征的图像，自动调整关键的去雾霾权重，最终通过性能优良的引导滤波器实现雾霾图像的增强型恢复处理。此外，对于霾图像而言，进一步依据其天空区域中包含的原始颜色偏移信息，进行额外的颜色畸变校正。同时，充分考虑夜晚雾霾图像伴随复杂人造光源干扰，通过带颜色恢复的多尺度Retinex理论去除掉该图像中的照度成分，保留反应图像本质属性的反射成分，进而更有效地利用上述的恢复方法，实现全天时雾霾图像的清晰化恢复处理。
Description
技术领域
本发明属于恶劣天气下视觉观测技术领域，尤其涉及一种全天时雾霾图像清晰化恢复方法。
背景技术
随着空气质量的不断恶化，雾霾天气出现的频率大幅增长。户外高分辨率观测设备受天气条件影响较大，雾霾天气使观测能见度显著降低，造成相机或传感器采集到的图像出现质量严重退化，限制了观测活动的时间和空间范围。雾霾天气的出现也造成车辆、行人出行不便，易导致交通事故的发生。
与此同时，随着交通运输、室外监控、侦查等领域的快速发展，对夜晚观测的需求与日俱增。由于夜晚能见度低而导致观测所摄图像不清晰，反映在图像数据上，图像中原本较高灰度值像素被削弱。此外，景物的颜色、对比度等相较于白昼时变化明显，其所蕴含的特征信息被弱化，造成场景目标的可辨识度大大降低。若同时伴随雾霾等恶劣天气，大气透明度进一步降低，对观测活动的影响将更加明显。因而夜晚雾霾条件下图像的清晰化恢复具有重要的现实意义。
当前国内外在图像去雾方面已取得了长足进展，但当前研究很少涉足霾图像的恢复，因为“雾”与“霾”是有本质区别的，雾滴浓度分布不均匀，且雾滴平均直径大于可见光波长，其对光的散射与光波长本身关系不大，因接近均匀散射而呈乳白色或青白色。霾粒子的分布比较均匀，且其平均直径小于可见光波长，这时粒子对光的散射强度严重依赖于光的波长，所以对可见光中短波段部分散射严重。此外，现有图像去雾技术的方法仍存在一定的局限性，即其主要针对白昼图像，在夜晚弱光背景且伴随复杂人造光源干扰的情况下，现有方法不能对该退化图像进行有效恢复。
本发明基于三种经典的理论方法——引导滤波理论、L0范数平滑滤波理论、带彩色恢复的多尺度Retinex理论，结合对雾图像、霾图像、夜晚雾霾图像各自成像特征的研究，提出了一种全天时雾霾图像清晰化恢复方法。
引导滤波理论是由Kaiming He等人提出的，参见：Kaiming He et al.,GuidedImage Filtering,IEEE Transactions on Pattern Analysis and MachineIntelligence,2013,35:1-4，引导滤波是在双边滤波的基础上发展起来的，是一种新颖的边缘保持滤波器。而L0范数平滑滤波理论是由Li Xu等人提出的，参见：Li Xu et al.,Image Smoothing via L0Gradient Minimization,ACM Transactions on Graphics,2011,30(6):1-11。其通过抑制滤波输出图像中梯度不为0像素的数量，实现对图像纹理轮廓进行平滑滤波的目的。但单纯控制梯度不为0像素的数量，易造成图像重要的边缘轮廓信息的损失，因此还需附加滤波输出图像与原始输入图像具有最大结构相似性的条件。从而使L0范数平滑滤波在平滑图像细节结构的同时，仍能保留原始图像的主干边缘轮廓。
Retinex理论是由E.Land提出的一种颜色恒常的计算理论，Retinex理论认为物体的颜色是由物体对入射光线的反射成分决定的,而不是由反射光的强度决定的。该理论随后进一步发展，从单尺度Retinex算法到多尺度加权平均的Retinex算法，随后Rahman等人将色彩恢复的概念引入，提出了带彩色恢复的多尺度Retinex算法，参见：Rahman Z etal.,Retinex processing for automatic image enhancement,Journal of ElectronicImaging,2004,13(1):100-110；Rahman Z et al.,Investigating the relationshipbetween image enhancement and image compression in the context of the multi-scale retinex,J Vis Commun.Image R,2011,22(3):237-250；Jobson D J,Rahman Z etal.,A multi-scale retinex for bridging the gap between color images and thehuman observation of scenes,IEEE Transactions on Image Processing,1997,6(7):965-976。
同时，本发明还用到了McCartney提出的大气物理退化模型，Kaiming He等人提出的暗通道运算，参见：Kaiming He et al.,Single Image Haze Removal Using DarkChannel Prior,IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353，以及本申请人在之前文章中提出的天空分割算法，参见：BoJiang et al.,Method for Sky Region Segmentation,Electronics Letters,2015,51(25):2104-2106。
在图像去雾领域，McCartney大气物理退化模型I(x)＝J(x)t(x)+A(1-t(x))被广泛使用：其中，I(x)为带雾图像，J(x)为原始无雾图像，A为大气光值，t(x)为大气透射率图，x为对应的像素点。一般地，对于单幅图像I(x)，其暗通道图Idark(x)被定义为：其中Ic(x)为图像I(x)的一个颜色通道，Ω(x)是以像素x为中心的滤波模板。本申请人之前提出的天空分割算法以暗通道运算得到的全局大气光值A为基准，在待分割图像中寻找像素值与A值较接近的像素位置(这里以像素均值为准)，将其作为以A值为基准的天空区域，实现天空的快速有效分割。同时，为防止近处场景像素点的均值也与A值接近而误将其标识为天空区域，故同时在图像暗通道图中也进行比较，即在暗通道图Idark(x)中将各个像素的暗通道值与A点的暗通道值也进行相似度比较。当两种比较都达到一定的相似度水平时才将其标识为天空区域，从而实现图像天空与非天空区域的有效分割。
发明内容
本发明提出了一种全天时雾霾图像清晰化恢复方法，基于非天空区域分割提取输入雾霾图像的边缘轮廓信息，通过L0范数平滑滤波滤除掉图像非主干边缘轮廓以更加准确地估计图像的复杂度，根据不同结构特征的图像自适应确定关键的去雾霾权重系数，根据此权重系数结合优良的引导滤波算法实现原始雾霾图像的增强型恢复处理。对于霾图像而言，依据其自身天空区域保留的自然光经霾粒子散射后的颜色偏移信息，对增强恢复后的霾图像进行额外的颜色校正。此外，对于夜晚所摄图像背景光照弱且伴随复杂人造光源干扰，通过带颜色恢复的多尺度Retinex理论去除掉该图像中的照度层，依据图像反射层而更有效地利用上述的去雾霾恢复方法。最终实现全天时雾霾图像的清晰化恢复处理。具体包括以下步骤：
步骤一，对白昼、夜晚雾霾图像的自动识别：计算所输入雾霾图像的统计直方图，据此来判断输入图像的成像条件。当直方图分布整***于该直方图的中高像素值区域时，则判断该图像为白昼雾霾图像。反之，若直方图的分布体整***于低像素值区时，则判断为夜晚雾霾图像；
步骤二，白昼雾或霾图像的识别及夜晚图像去照度：根据步骤一若判断输入图像为白昼雾霾图像，则通过图像暗通道运算搜寻该图像的空间最远像素点，即大气物理退化模型中所述的全局大气光值点A，自动分析其R、G、B三个颜色通道值的比例关系。若R、G、B三通道值分布均衡则判断该图像为雾图像，而R、G、B值比例失衡且明显偏向长波长则判断为霾图像。若为夜晚雾霾图像，通过带颜色恢复的多尺度Retinex理论，将夜晚杂散光干扰下的雾霾图像的照度成分去除，保留反映图像本质属性的反射成分从而实现夜晚雾霾图像的去照度处理；
步骤三，白昼雾霾图像的天空与非天空区域分割：由于一副图像中最主要的边缘轮廓信息都包含在图像的非天空区域中，为了更加准确有效地确定雾霾图像的真实复杂程度，若输入图像为白昼雾霾图像，则根据图像天空区域分割算法，实现白昼图像的天空区域与非天空区域的有效分离，从而为雾霾图像的后续恢复步骤做好前期预处理；
步骤四，图像主干边缘的提取及去雾霾权重系数的确定：对于分割出的白昼图像非天空区域或者夜晚去照度图像，运用L0范数平滑滤波方法对其进行平滑滤波，以滤除掉大量非主干细节结构，保留图像场景的主干轮廓边缘。通过计算该主干结构的像素数量占整体部分的比例，可快速准确地确定待恢复图像关键的去雾霾权重系数τ；
步骤五，基于引导滤波的增强型去雾霾恢复：通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像进行滤波处理，初步将其雾霾成分去除。再将原始雾霾图像与滤波后图像作差，将该差值线性增大τ倍后叠加在滤波后图像之上，从而实现简单高效的去雾霾恢复处理；
步骤六，霾图像的颜色偏移校正：对于霾图像而言，由于其存在较严重的颜色畸变，所以需要进行额外的颜色偏移校正。本发明所用的校正信息全部来自于待处理图像本身，因而对各种不同图像具有更好的适用性。在提取出的原始霾图像的天空区域中，利用暗通道运算寻找图像的全局大气光值点A，在去霾后图像的R、G、B三个颜色通道上，分别按一定比例剔除掉A点对应R、G、B值，因为全局大气光值点A代表了图像最原始颜色偏差信息，再对校正后的霾图像给予简单的亮度增强，最终实现霾图像的清晰化恢复。
进一步，步骤二中判断图像属性的方法为：
基于所确定的白昼雾霾图像的全局大气光值点A，通过对雾和霾图像A点的R、G、B三通道信息进行大量的统计比较，得出以下结论；对于普通霾图像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而对普通雾图像而言，R、G、B三通道的比值接近于1:1:1。因为一幅图像中全局大气光值点为图像在最大景深点，因而其理应位于图像的天空区域中。基于所定位的天空区域中全局大气光值带点，根据以上结论对其R、G、B三通道值进行分析判断，便可自动判断出输入的降质白昼图像是雾图像还是霾图像。
进一步，所述步骤四中自适应计算去雾霾权重系数的方法为：
对白昼图像非天空区域或夜晚去照度图像进行L0范数平滑滤波，从而得到图像的主干轮廓边缘图，若用P表示主干轮廓边缘像素占白昼图像非天空区域或整个夜晚去照度图像的比例，则自适应去雾霾权重系数τ可以通过τ＝K*(1-P)计算得到，其中K为常数。根据工程经验对于霾图像K值一般取4或5，而对于雾图像K值需适当增大。若比例系数P较大说明图像的轮廓结构较复杂，若采用较大尺度的去雾霾权重系数易产生增强过度现象；而当该比例系数P较小时说明图像本身结构特征简单，进行较大尺度的增强易得到较好的恢复效果。为避免一些特殊图像所确定的去雾霾权重系数过大或过小，一般可将参数τ的取值限定在一定范围内。
进一步，步骤五通过引导滤波实现雾霾图像的清晰化恢复的方法为：
基于引导滤波的增强型去雾霾恢复，通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像I进行滤波处理，初步将其雾霾成分去除。同时为了补偿滤波引起的图像中边缘等区域的弱化，将原始雾霾图像I与滤波后图像q作差(I-q)，该差值即是图像轮廓边缘的代表，将该差值线性增大τ倍后叠加在滤波后图像q之上，从而实现简单高效的图像去雾霾处理，这里τ为步骤四所确定的去雾霾权重系数。
本发明对于白昼雾霾图像而言，待滤波图像I为输入的原始图像；而对于夜晚雾霾图像而言，将其经过带颜色恢复的多尺度Retinex算法后得到相应的去照度图像，基于该去照度图像来计算去雾霾权重系数τ，而待滤波图像I为原始夜晚雾霾图像，从而保证清晰化恢复后的图像和原始图像具有相似的背景光照条件。
附图说明
图1是本发明实施例提供的全天时雾霾图像清晰化恢复方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施例提供的全天时雾霾图像清晰化恢复方法包括如下步骤：
步骤1，计算输入雾霾图像的统计直方图，当统计直方图分布整***于图像中高像素值区域时，则判断为白昼雾霾图像。反之，若直方图的分布体整***于低像素值区时，则判断为夜晚雾霾图像；
步骤2，根据步骤一对白昼和夜晚雾霾图像的判断，若为白昼雾霾图像，通过图像暗通道运算搜寻该图像中大气物理退化模型中所述全局大气光值点A，自动分析其R、G、B三个颜色通道值的比例关系。若R、G、B三通道值分布均衡则判断该图像为雾图像，而R、G、B值比例失衡且明显偏向长波长则判断为霾图像。
若为夜晚雾霾图像，通过带颜色恢复的多尺度Retinex理论，去除夜晚杂散光干扰下的雾霾图像的照度成分，保留反映图像本质属性的反射成分从而实现夜晚雾霾图像的去照度处理。因为夜晚环境中的主要背景光照主要为非自然光，如路灯、霓虹灯等，所以雾和霾的散射特性较白昼时差异较小，所以对于夜晚图像不再进行雾图像和霾图像的区分处理；
步骤3，普通自然图像最重要的边缘轮廓信息都包含在其非天空区域中，为了更加准确地确定雾霾图像的真实复杂程度，以及进一步降低算法的复杂度以求能够实用化，若输入图像为白昼雾霾图像，则根据申请人之前所发表文章中提及的图像天空区域分割算法，实现白昼图像的天空区域与非天空区域的有效分离，为后续清晰化步骤做好前期准备；
步骤4，对于分割出的白昼图像非天空区域或夜晚去照度图像，运用L0范数平滑滤波算法对其进行处理，以滤除掉大量非主干细节结构，保留图像场景的主干轮廓边缘。在此基础上，通过计算该主干结构的像素数量占整体部分的比例，可更准确地确定待恢复图像的真实复杂度，进而计算关键的去雾霾权重系数τ；
步骤5，通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像进行滤波处理，初步将其雾霾成分去除。再将原始雾霾图像与滤波后图像作差，将该差值线性增大τ倍后叠加在滤波后图像之上，从而实现简单高效的去雾霾恢复处理。不论是之前确定的雾图像、霾图像、夜晚图像，通过引导滤波L0范数平滑滤波这两种优良的滤波器的结合，可实现对人眼辨识场景起关键作用的图像主干轮廓边缘信息的提取，在保证较好图像去霾效果的同时，自适应地兼顾细节恢复过度或不足的问题；
步骤6，对于霾图像而言，还需要进行额外的颜色偏移校正。本发明用以进行颜色偏移校正的信息全部来自于待处理图像本身，因而对各种不同图像具有更好的适用性。在提取出的原始霾图像的天空区域中，利用暗通道运算寻找图像的全局大气光值点A，在去霾后图像的R、G、B三个颜色通道上，分别按一定比例剔除掉A点对应R、G、B值，这是因为全局大气光值点A代表了图像最原始颜色偏差信息。但这种基于霾图像的颜色校正方法，易导致霾图像整体亮度的衰减，因此需进行适当的亮度补偿，最终可恢复出高质的无霾清晰图像。
进一步，所述步骤2中判断图像属性的方法为：
基于所确定的白昼雾霾图像的全局大气光值点A，通过对雾和霾图像A点的R、G、B三通道信息进行大量的统计比较，得出以下结论；对于普通霾图像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而对普通雾图像而言，R、G、B三通道的比值接近于1:1:1。通过确定输入图像的全局大气光值点A，根据以上结论对其R、G、B三通道值进行分析判断，便可自动判断出输入的降质白昼图像是雾图像还是霾图像；
进一步，所述步骤4中自适应计算去雾霾权重系数的方法为：
利用L0范数平滑滤波对白昼图像非天空区域或夜晚去照度图像进行预处理，得到滤除掉图像细小纹理结构后的图像，该图像包含了大部分图像的主干轮廓边缘。若用P表示主干边缘像素占白昼图像非天空区域或整个夜晚去照度图像的比例，则去雾霾权重系数τ可以通过τ＝K*(1-P)计算得到，其中K为常数且τ∈[2,6]。对于霾图像K值一般取4或5，而对于雾图像K值可适当增大。若该比例系数P较大说明图像的轮廓结构较复杂，图像清晰化恢复需采用较小尺度的去雾霾权重系数；而当该比例系数P较小时说明图像本身结构特征简单，进行较大尺度的增强易得到较好的恢复效果。为避免一些特殊图像所确定的去雾霾权重系数过大或过小，一般可将参数τ的取值限定在[2,6]；
进一步，所述步骤5通过引导滤波实现雾霾图像的清晰化恢复的方法为：
通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像I进行滤波处理，初步将其雾霾成分去除。同时为了补偿滤波引起的图像中边缘等区域的弱化，将原始雾霾图像I与滤波后图像q作差(I-q)，该差值近似代表图像中轮廓边缘，将该差值线性增大τ倍后叠加在滤波后图像q之上，从而实现简单高效的增强型图像去雾霾处理，其中τ为步骤4所确定的去雾霾权重系数。
本发明对于白昼雾霾图像而言，待滤波图像I即为输入的原始图像；而对于夜晚雾霾图像而言，其经过带颜色恢复的多尺度Retinex算法后得到相应的去照度图像，用以更加准确地计算去雾霾权重系数τ，而待滤波图像I仍选择原始夜晚雾霾图像，这样可保证恢复后的图像和原始图像具有相似的背景光照条件，从而在视觉效果上更加自然。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种全天时雾霾图像清晰化恢复方法，其特征在于，所述全天时雾霾图像清晰化恢复方法将白昼雾霾天气下所摄图像的非天空区域提取出来，通过L0范数平滑滤波实现非天空区域主干边缘轮廓的提取，从而根据雾霾图像本身结构特征自适应地确定增强型去雾霾方法中关键的增益权重系数；对于霾较重的图像进一步根据其自身颜色偏移信息，对霾较重的图像进行有效的颜色畸变校正；而对于夜晚图像而言，运用带颜色恢复的多尺度Retinex理论实现夜晚雾霾图像光照层与反射层的分离，进而根据反映其结构属性的反射层来更准确地确定去雾霾权重系数，实现在夜晚复杂光照背景下雾霾图像的清晰化恢复；具体包括以下步骤：
步骤一，对白昼、夜晚雾霾图像的自动识别：计算所输入雾霾图像的统计直方图，据此来判断输入图像的成像条件；当直方图分布整***于该直方图的中高像素值区域时，则判断该图像为白昼雾霾图像。反之，若直方图的分布体整***于低像素值区时，则判断为夜晚雾霾图像；
步骤二，白昼雾或霾图像的识别及夜晚图像去照度：根据步骤一若判断输入图像为白昼雾霾图像，则通过图像暗通道运算搜寻该图像的空间最远像素点，即大气物理退化模型中所述的全局大气光值点A，自动分析其R、G、B三个颜色通道值的比例关系；若R、G、B三通道值分布均衡则判断该图像为雾图像，而R、G、B值比例失衡且明显偏向长波长则判断为霾图像；若为夜晚雾霾图像，通过带颜色恢复的多尺度Retinex理论，将夜晚杂散光干扰下的雾霾图像的照度成分去除，保留反映图像本质属性的反射成分从而实现夜晚雾霾图像的去照度处理；
步骤三，白昼雾霾图像的天空与非天空区域分割：由于一副图像中最主要的边缘轮廓信息都包含在图像的非天空区域中，为更加准确有效地确定雾霾图像的真实复杂程度，若输入图像为白昼雾霾图像，则根据图像天空区域分割算法，实现白昼图像的天空区域与非天空区域的有效分离，从而为雾霾图像的后续恢复步骤做好前期预处理；
步骤四，图像主干边缘的提取及去雾霾权重系数的确定：对于分割出的白昼图像非天空区域或者夜晚去照度图像，运用L0范数平滑滤波方法对其进行平滑滤波，以滤除掉大量非主干细节结构，保留图像场景的主干轮廓边缘；通过计算该主干结构的像素数量占整体部分的比例，快速准确地确定待恢复图像关键的去雾霾权重系数τ；
步骤五，基于引导滤波的增强型去雾霾恢复：通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像进行滤波处理，初步将其雾霾成分去除；再将原始雾霾图像与滤波后图像作差，将该差值线性增大τ倍后叠加在滤波后图像之上，从而实现去雾霾恢复处理；
步骤六，霾图像的颜色偏移校正：对于霾图像而言，由于其存在较严重的颜色畸变，所以需要进行额外的颜色偏移校正；在提取出的原始霾图像的天空区域中，利用暗通道运算寻找图像的全局大气光值点A，在去霾后图像的R、G、B三个颜色通道上，分别按一定比例剔除掉A点对应R、G、B值，因为全局大气光值点A代表图像最原始颜色偏差信息，再对校正后的霾图像给予简单的亮度增强，最终实现霾图像的清晰化恢复。
2.如权利要求1所述的全天时雾霾图像清晰化恢复方法，其特征在于，步骤二中判断图像属性的方法为：
基于所确定的白昼雾霾图像的全局大气光值点A，通过对雾和霾图像A点的R、G、B三通道信息进行大量的统计比较，得出以下结论；对于普通霾图像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而对普通雾图像而言，R、G、B三通道的比值接近于1:1:1；一幅图像中全局大气光值点为图像在最大景深点，该最大景深点位于图像的天空区域中；基于所定位的天空区域中全局大气光值带点，根据以上结论对其R、G、B三通道值进行分析判断，便可自动判断出输入的降质白昼图像是雾图像还是霾图像。
3.如权利要求1所述的全天时雾霾图像清晰化恢复方法，其特征在于，所述步骤四中自适应计算去雾霾权重系数的方法为：
对白昼图像非天空区域或夜晚去照度图像进行L0范数平滑滤波，从而得到图像的主干轮廓边缘图，若用P表示主干轮廓边缘像素占白昼图像非天空区域或整个夜晚去照度图像的比例，则自适应去雾霾权重系数τ可以通过τ＝K*(1-P)计算得到，其中K为常数；根据工程经验对于霾图像K值一般取4或5，而对于雾图像K值需适当增大；若比例系数P较大说明图像的轮廓结构较复杂，若采用较大尺度的去雾霾权重系数易产生增强过度现象；而当该比例系数P较小时说明图像本身结构特征简单，进行较大尺度的增强易得到较好的恢复效果；为避免一些特殊图像所确定的去雾霾权重系数过大或过小，将参数τ限定在一定范围内。
4.如权利要求1所述的全天时雾霾图像清晰化恢复方法，其特征在于，步骤五通过引导滤波实现雾霾图像的清晰化恢复的方法为：
基于引导滤波的增强型去雾霾恢复，通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像I进行滤波处理，初步将其雾霾成分去除；同时为了补偿滤波引起的图像中边缘等区域的弱化，将原始雾霾图像I与滤波后图像q作差(I-q)，该差值即是图像轮廓边缘的代表，将该差值线性增大τ倍后叠加在滤波后图像q之上，从而实现图像去雾霾处理，这里τ为步骤四所确定的去雾霾权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611240103.0A CN106709893B (zh) | 2016-12-28 | 2016-12-28 | 一种全天时雾霾图像清晰化恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611240103.0A CN106709893B (zh) | 2016-12-28 | 2016-12-28 | 一种全天时雾霾图像清晰化恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106709893A true CN106709893A (zh) | 2017-05-24 |
| CN106709893B CN106709893B (zh) | 2019-11-08 |
Family
ID=58902893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611240103.0A Active CN106709893B (zh) | 2016-12-28 | 2016-12-28 | 一种全天时雾霾图像清晰化恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709893B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053382A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种视觉特性去雾稳像探测*** |
| CN108093175A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种实时高清视频自适应去雾方法及装置 |
| CN108198138A (zh) * | 2017-11-24 | 2018-06-22 | 北京邮电大学 | 一种针对监控视频的夜间效果去除方法及装置 |
| CN108284793A (zh) * | 2018-01-10 | 2018-07-17 | 深圳市鑫汇达机械设计有限公司 | 一种车辆辅助控制装置 |
| CN108335247A (zh) * | 2018-03-14 | 2018-07-27 | 黄冈职业技术学院 | 一种基于云平台的计算机教学授课*** |
| CN108877231A (zh) * | 2018-07-07 | 2018-11-23 | 程子涵 | 一种基于车辆起停提醒的车车互联方法及*** |
| CN110060210A (zh) * | 2018-01-19 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 图像处理方法及相关装置 |
| CN110189332A (zh) * | 2019-05-22 | 2019-08-30 | 中南民族大学 | 基于权重图设计的***磁共振图像分割方法及*** |
| CN111539891A (zh) * | 2020-04-27 | 2020-08-14 | 高小翎 | 单张遥感图像的波段自适应除雾优化处理方法 |
| CN112215772A (zh) * | 2020-10-12 | 2021-01-12 | 华南师范大学 | 一种实时去雾霾显示***及其去雾霾显示方法 |
| CN113160073A (zh) * | 2021-03-19 | 2021-07-23 | 西安邮电大学 | 一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法 |
| CN113962872A (zh) * | 2020-07-21 | 2022-01-21 | 四川大学 | 一种双通道联合优化的夜间图像去雾方法 |
| CN114424513A (zh) * | 2019-11-05 | 2022-04-29 | 谷歌有限责任公司 | 用于图像处理流水线的高亮恢复 |
| US20220321852A1 (en) * | 2019-12-20 | 2022-10-06 | Google Llc | Spatially Varying Reduction of Haze in Images |
| CN116996786A (zh) * | 2023-09-21 | 2023-11-03 | 清华大学 | 一种rgb-ir图像色彩恢复及校正的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930514A (zh) * | 2012-09-27 | 2013-02-13 | 西安电子科技大学 | 基于大气物理散射模型的快速图像去雾方法 |
| CN103198459A (zh) * | 2013-04-10 | 2013-07-10 | 成都国腾电子技术股份有限公司 | 雾霾图像快速去雾方法 |
| CN105335746A (zh) * | 2015-07-16 | 2016-02-17 | 西北大学 | 一种基于shear变换和引导滤波器的书法字提取方法 |
| CN105913385A (zh) * | 2016-03-31 | 2016-08-31 | 宇龙计算机通信科技(深圳)有限公司 | 雾霾图像的清晰化方法、***和图像处理装置 |
| WO2016159884A1 (en) * | 2015-03-30 | 2016-10-06 | Agency For Science, Technology And Research | Method and device for image haze removal |
| CN106097259A (zh) * | 2016-05-27 | 2016-11-09 | 安徽超远信息技术有限公司 | 一种基于透射率优化技术的雾天图像快速重建方法 |
-
2016
- 2016-12-28 CN CN201611240103.0A patent/CN106709893B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930514A (zh) * | 2012-09-27 | 2013-02-13 | 西安电子科技大学 | 基于大气物理散射模型的快速图像去雾方法 |
| CN103198459A (zh) * | 2013-04-10 | 2013-07-10 | 成都国腾电子技术股份有限公司 | 雾霾图像快速去雾方法 |
| WO2016159884A1 (en) * | 2015-03-30 | 2016-10-06 | Agency For Science, Technology And Research | Method and device for image haze removal |
| CN105335746A (zh) * | 2015-07-16 | 2016-02-17 | 西北大学 | 一种基于shear变换和引导滤波器的书法字提取方法 |
| CN105913385A (zh) * | 2016-03-31 | 2016-08-31 | 宇龙计算机通信科技(深圳)有限公司 | 雾霾图像的清晰化方法、***和图像处理装置 |
| CN106097259A (zh) * | 2016-05-27 | 2016-11-09 | 安徽超远信息技术有限公司 | 一种基于透射率优化技术的雾天图像快速重建方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198138A (zh) * | 2017-11-24 | 2018-06-22 | 北京邮电大学 | 一种针对监控视频的夜间效果去除方法及装置 |
| CN108198138B (zh) * | 2017-11-24 | 2019-05-03 | 北京邮电大学 | 一种针对监控视频的夜间效果去除方法及装置 |
| CN108093175A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种实时高清视频自适应去雾方法及装置 |
| CN108093175B (zh) * | 2017-12-25 | 2018-11-13 | 北京航空航天大学 | 一种实时高清视频自适应去雾方法及装置 |
| CN108053382B (zh) * | 2017-12-25 | 2019-04-16 | 北京航空航天大学 | 一种视觉特性去雾稳像探测*** |
| CN108053382A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种视觉特性去雾稳像探测*** |
| CN108284793A (zh) * | 2018-01-10 | 2018-07-17 | 深圳市鑫汇达机械设计有限公司 | 一种车辆辅助控制装置 |
| CN110060210B (zh) * | 2018-01-19 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 图像处理方法及相关装置 |
| CN110060210A (zh) * | 2018-01-19 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 图像处理方法及相关装置 |
| CN108335247A (zh) * | 2018-03-14 | 2018-07-27 | 黄冈职业技术学院 | 一种基于云平台的计算机教学授课*** |
| CN108877231A (zh) * | 2018-07-07 | 2018-11-23 | 程子涵 | 一种基于车辆起停提醒的车车互联方法及*** |
| CN110189332A (zh) * | 2019-05-22 | 2019-08-30 | 中南民族大学 | 基于权重图设计的***磁共振图像分割方法及*** |
| CN114424513A (zh) * | 2019-11-05 | 2022-04-29 | 谷歌有限责任公司 | 用于图像处理流水线的高亮恢复 |
| CN114424513B (zh) * | 2019-11-05 | 2024-04-26 | 谷歌有限责任公司 | 用于执行高亮恢复的***和方法以及计算机存储介质 |
| US20220321852A1 (en) * | 2019-12-20 | 2022-10-06 | Google Llc | Spatially Varying Reduction of Haze in Images |
| CN111539891A (zh) * | 2020-04-27 | 2020-08-14 | 高小翎 | 单张遥感图像的波段自适应除雾优化处理方法 |
| CN113962872A (zh) * | 2020-07-21 | 2022-01-21 | 四川大学 | 一种双通道联合优化的夜间图像去雾方法 |
| CN113962872B (zh) * | 2020-07-21 | 2023-08-18 | 四川大学 | 一种双通道联合优化的夜间图像去雾方法 |
| CN112215772A (zh) * | 2020-10-12 | 2021-01-12 | 华南师范大学 | 一种实时去雾霾显示***及其去雾霾显示方法 |
| CN113160073A (zh) * | 2021-03-19 | 2021-07-23 | 西安邮电大学 | 一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法 |
| CN113160073B (zh) * | 2021-03-19 | 2023-10-03 | 西安邮电大学 | 一种滚动深度学习与Retinex理论结合的遥感图像雾霾去除方法 |
| CN116996786A (zh) * | 2023-09-21 | 2023-11-03 | 清华大学 | 一种rgb-ir图像色彩恢复及校正的方法及装置 |
| CN116996786B (zh) * | 2023-09-21 | 2024-01-16 | 清华大学 | 一种rgb-ir图像色彩恢复及校正的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106709893B (zh) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709893B (zh) | 一种全天时雾霾图像清晰化恢复方法 | |
| Zhang et al. | Fast haze removal for nighttime image using maximum reflectance prior | |
| He et al. | Single image haze removal using dark channel prior | |
| Xie et al. | Improved single image dehazing using dark channel prior and multi-scale retinex | |
| US9197789B2 (en) | Method and system for removal of fog, mist, or haze from images and videos | |
| CN103914813B (zh) | 彩色雾霾图像去雾与光照补偿的复原方法 | |
| CN103955905B (zh) | 基于快速小波变换和加权图像融合的单幅图像去雾方法 | |
| KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
| CN103996174B (zh) | 一种对Kinect深度图像进行空洞修复的方法 | |
| CN108389175B (zh) | 融合变差函数和颜色衰减先验的图像去雾方法 | |
| CN102750674A (zh) | 基于自适应容差的视频图像去雾方法 | |
| Pei et al. | Effective image haze removal using dark channel prior and post-processing | |
| CN105959510B (zh) | 一种视频快速去雾方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| Tan et al. | Fast single-image defogging | |
| He et al. | Single image dehazing with white balance correction and image decomposition | |
| Gao et al. | Haze filtering with aerial perspective | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| Mi et al. | Multi-purpose oriented real-world underwater image enhancement | |
| Kudo et al. | Image dehazing method by fusing weighted near-infrared image | |
| Kansal et al. | Fusion-based image de-fogging using dual tree complex wavelet transform | |
| Qin et al. | A single image dehazing method based on decomposition strategy | |
| Jingyun et al. | Real-time defog model based on visible and near-infrared information | |
| Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
| Nie et al. | Image Defogging Based on Joint Contrast Enhancement and Multi-scale Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |