CN105046666B

CN105046666B - 一种基于暗原色先验的交通视频实时去雾的方法

Info

Publication number: CN105046666B
Application number: CN201510447336.7A
Authority: CN
Inventors: 凌强; 朱学俊; 邓思斌; 李博伦; 李峰
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2018-05-29
Anticipated expiration: 2035-07-24
Also published as: CN105046666A

Abstract

本发明涉及一种基于暗原色先验的交通视频实时去雾的方法，分为三个阶段：第一阶段是对YUV数据直接降采样成RGB图像，计算出降采样后的大气光值和透射率；第二阶段是对原图YUV数据使用上一阶段得到的透射率直接重构成去雾后的YUV数据；第三阶段是对上一阶段去雾之后的YUV数据进行对比度拉伸。本发明对交通视频，能够到达较好的去雾效果，且对1080P的YUV视频，能够达到实时处理；对处理结果进行对比度拉伸，进一步改善视觉效果，对驾驶员的安全驾驶、交通监控***等领域有重大意义，并且有着重要的商业价值。

Description

一种基于暗原色先验的交通视频实时去雾的方法

技术领域

本发明涉及一种基于暗原色先验的交通视频实时去雾的方法，属于数字图像处理、智能交通技术领域。

背景技术

随着社会的发展，工业生产对环境造成了严重的污染。尤其近两年来，空气污染十分严重，据相关部门的统计，京津冀、“长三角”、“珠三角”区域和直辖市、省会城市及计划单列市共74个城市空气质量状况全年空气达标的天数不足四成。而空气污染主要是PM2.5超标引起的，使得整个环境笼罩严重的雾霾。这种雾霾污染一方面对人类的身体危害非常大，另一方面对交通影响也是不容小觑。在雾天天气下驾驶，能见度降低，驾驶员的视线受到影响，发生事故的几率大大提高，尤其在高速公路上，更是容易发生严重的连环交通事故。如果存在一个嵌入式监控***，可以实时的把高清头采集的有雾图像进行去雾处理，将去雾之后的图像数据输送到显示模块，一方面可以辅助驾驶员观察到周围清晰的交通情况，减少交通事故的发生；另一方面对交管部门分析交通监控视频情况也很有帮助。

现有的图像去雾处理方法有很多，总体上可以分为两大类：基于图像增强的方法和基于物理模型的方法。

第一类是基于图像增强的方法，这类方法是对被降质的图像进行增强，改善图像的质量。文章【1】提出了全局的直方图均衡化的增强方法，该方法较简单，但是处理效果不理想，可能会造成图像部分信息的损失,以致图像失真.。文章【2】中提出了局部的直方图均衡化，有不错的处理效果，但是会造成严重的块效应。文章【3】中使用同态滤波抑制图像中的低频部分，增强高频部分，以此来达到视觉上的去雾效果。但是该方法效果有限，并且对细节部分不能很好的处理。

第二类是基于物理模型的方法，这种方法通过研究大气悬浮颗粒对光的散射作用，建立大气散射模型，了解图像退化的物理机理，并反演复原出无雾图像。文章【4】通过对大量无雾图像统计特征观察，发现了被命名为暗原色先验的先验规律。该方法在处理效果上有非常好的表现，开辟了图像去雾的一个新领域。但是文中采用软抠图来细化透射率图，复杂度非常高，后来文章作者又使用导向滤波代替软抠图的方式，去雾效果相当，处理速度却提高100倍左右。但是即使使用导向滤波针对高清视频进行去雾，想要实现实时处理，还有很大的差距。文章【5】中，提出了一种快速去雾的方法，使用双中值滤波代替【4】中的最小值滤波和导向滤波，大大简化了处理过程，提高效率。但是中值滤波并不是好的边缘保持滤波算法，局部区域景深突变会产生光晕效应。并且算法中的参数较多，无法实现自适应调整，需要人工进行测试调整，在实际应用中受到了限制。文章【6】提出了一种针对YUV视频数据进行快速去雾的方法，但是该方法每帧之间存在亮度差异，处理后的结果会存在闪烁问题。

【1】Gonzalez R C,Woods R E.Digital Image Processing.Reading,MA:Addison-Wesley,1992.

【2】Kim T K,Paik J K,Kang B S.Contrast enhancement system usingspatially adaptive histogram equalization with temporal filtering.IEEETransactions on Consumer Electronics,1998,44(1):82-87.

【3】Seow M J,Asari V K.Ratio rule and homomorphic filter forenhancement of digital colour image.Neurocomputing,2006,69(7-9):954-958.

【4】He K,Sun J,Tang X.Single image haze removal using darkchannelprior.IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

【5】Tarel J P,Hautiere N.Fast visibility restoration from a singlecolor or gray level image.In:Proceedings of the 12th IEEE InternationalConference on Computer Vision,2009.Kyoto:IEEE,2009.2201-2208.

【6】Jin-Hwan Kim,Won-Dong Jang,Jae-Young Sim,Chang-Su KimOptimized.contrast enhancement for real-time image and videodehazing.J.Vis.Commun.Image R.24(2013)410–425.

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于暗原色先验的交通视频实时去雾的方法，针对交通视频，能够到达较好的实时去雾效果。

本发明的技术方案分为三个阶段：第一阶段是对YUV数据直接降采样成RGB图像，计算出降采样后的大气光值和透射率；第二阶段是对原图YUV数据使用上一阶段得到的透射率直接重构成去雾后的YUV数据；第三阶段是对上一阶段去雾之后的YUV数据进行对比度拉伸。

1)YUV降采样成RGB，计算大气光和透射率

对YUV数据进行降采样处理，直接降采样成RGB格式的图像。对RGB格式的图像进行基于暗原色先验的去雾处理，计算出降采样后的RGB图像的大气光和透射率。

2)恢复成YUV无雾图像

根据上一步计算出来的透射率，直接对原YUV数据直接进行重构，重构出无雾的YUV格式的数据。

3)对比度拉伸

由于上述方法处理结果相对原视频亮度偏暗，对处理后的Y分量进行对比度拉伸处理，设计拉伸曲线，可以得到较好的视觉效果。

本发明进行交通视频去雾的执行流程如图1所示：

STEP1)：读取YUV视频流图像。

STEP2)：针对YUV格式图像进行降采样，直接保存成RGB格式的图像。

STEP3)：将上一步中的RGB图像三通道中最小的通道保存下来，得到最小值通道图。

STEP4)：对最小值通道图进行最小值滤波，得到暗通道图。

STEP5)：根据暗通道图求出大气光值，这里选取的规则是：选取暗通道中值最大的0.1％对应的RGB图中的RGB三通道的平均值作为该帧图像的大气光值。

STEP6)：根据有雾图像的物理模型，带入上面求得的暗通道求得预估的透射率图。

STEP7)：求取RGB图的灰度图作为导向图，预估透射率作为输入图，进行导向滤波处理，将得到的输出图作为精细化的透射率图。

STEP8)：针对YUV原图像，使用上面求得的大气光值和精细化的透射率，直接计算得到YUV格式的无雾图像。

STEP9)：对上一步求得的YUV无雾图像的Y分量进行对比度拉伸处理，得到视觉效果更好的图像。

STEP 10)：输入下一帧YUV图像，回到1)继续执行。

本发明技术方案的优点和积极效果：

(1)由YUV的大图直接降采样成RGB格式的小图

输入数据为YUV数据格式的，本发明中直接把YUV数据转换成RGB格式的小图，RGB图像为后面基于暗原色先验去雾所用。直接转换，避免了先把YUV图转换成同等长宽的RGB图，再对RGB图进行降采样所带来的时间和空间上的浪费。

(2)直接针对YUV格式图像进行重构

基于暗原色先验的去雾原本是针对RGB单幅图像进行去雾处理的，本发明提出一种可以直接对YUV格式的视频进行去雾处理的方法，使用基于暗原色先验求得的透射率，直接对原YUV格式的图像进行重构，相对RGB图的重构在计算量上和消耗的存储空间上大大减小。

(3)针对1080P的交通视频，可以实现实时去雾

本发明提出的快速去雾算法，省略中间YUV格式与RGB格式转换部分，针对1080P的视频，可以达到40ms/帧的速度，达到了实时处理的要求。

(4)处理结果对比度拉伸

基于暗原色的去雾结果相对原图像亮度偏暗，在视觉上有一定的负面影响。本发明对去雾处理结果中的Y分量进行对比度拉伸处理，使得亮度与原图像的亮度相当，视觉上看起来更自然。

总之，本发明对交通视频，能够到达较好的去雾效果，且对1080P的YUV视频，能够达到实时处理；对处理结果进行对比度拉伸，进一步改善视觉效果，对驾驶员的安全驾驶、交通监控***等领域有重大意义，并且有着重要的商业价值。

附图说明

图1为本发明方法实施例实现流程图；

图2为对比度拉伸曲线；

图3为本发明去雾及对比度拉伸处理结果。

具体实施方式

如图1所示，本发明具体实现步骤如下：

(1)YUV格式直接转换成降采样的RGB图

本发明针对高清的交通视频，比如1080P大小的视频，每帧图像大小为1920*1080。直接对该大小或者更大的图像进行去雾处理，很难达到实时处理要求。本发明中，直接对需要处理的1080P的YUV数据降采样成RGB图像，为后面暗原色先验的去雾算法所用。NV12格式属于YUV420sp格式中的一种，在此举例针对其进行转换，转换公式如下所示：

上式中，R、G、B分别表示RGB格式图像的三个通道值，Y、U、V分别表示YUV格式图像分量的值。在转换过程中直接采用8倍降采样处理，原图像8*8个像素点对应降采样之后的1个像素点。

(2)基于暗原色先验的去雾处理

本发明是基于有雾图像的物理模型，有雾图像的物理模型可以表示成：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)就是现在已经有的图像(待去雾的图像)，J(x)是要恢复的无雾的图像，A是全球大气光成分，t(x)为透射率。

(21)获取暗通道

在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。首先求出每个像素RGB分量中的最小值，存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波，滤波的半径由窗口大小决定,经过后期实验效果总结，窗口大小对去雾效果有较大的影响。在这里，针对1080P大小视频8倍降采样之后选取滤波半径为5较为合适。暗通道的求取公式如下：

式中J^dark表示暗通道值，J^c表示彩色图像的每个通道值，Ω(x)表示以像素X为中心的一个窗口。暗原色先验的理论指出：J^dark→0

(22)求取大气光值

根据有雾图像的物理模型可知，要想恢复出无雾图像，前提是知道大气光值A。本发明中求取A值的方法是：从暗通道图中按照亮度的大小取前0.1％的像素；在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。

(23)计算预估的透射率

由有雾图像的变形，并且结合暗原色先验的理论，可以推导出透射率t(x)的表达式，如下所示：

上式中，其中t(x)是透射率，I^c表示三通道的值，A^c表示大气光值，在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，因此，看远处的物体还是能感觉到雾的影响，另外，雾的存在让人类感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，这可以通过在上式中引入一个在[0,1]之间的因子，则修正为：

其中t(x)是透射率，I^c表示三通道的值，A^c表示大气光值，ω表示去雾因子，可以通过其调整去雾程度，在本发明中选取0.8时可以有较好的效果。

(24)导向滤波

上面求出来的透射率只是预估的透射率，如果直接选其进行无雾图像的恢复，则在细节上没有很好处理，并且降采样会引起较严重的块效应。对上述预估的透射率进行导向滤波处理，可以得到精细化的透射率。

(3)针对YUV图像直接重构成去雾后的YUV图像

已有的针对YUV数据进行无雾重构处理的方法分为三个步骤：

(31)YUV格式有雾图像转换成RGB格式有雾图像

(32)RGB格式的有雾图像重构成RGB格式的无雾图像R’G’B’：

其中A_b A_g A_r表示该帧图像三个通道的大气光值。

(33)RGB格式的无雾图像R’G’B’转换成无雾的YUV格式无雾图像Y’U’V’：

本发明中直接省略中间转换过程，直接对YUV格式有雾图像进行重构成YUV的无雾图像。先计算出：

由于一帧图像中的A_b A_g A_r是相同的，上面的计算每帧只需要计算一次。然后重构无雾的YUV图像：

(4)对比度拉伸

基于暗原色先验的去雾方法会导致去雾之后图像亮度偏暗，为了有一个较好的视觉效果，本发明对去雾完之后对图像进一步后处理。考虑到算法复杂度和实时性的问题，所以本发明采用图像增强中的对比度拉伸的方法，直接对去雾之后图像中的亮度分量Y进行对比度拉伸，使整体的亮度得到一个适当的增加。拉伸曲线如图2所示，处理结果如图3所示，上面一帧是原图，左下角是去雾之后的图像，右下角是去雾之后加上对比度拉伸的结果。从上面对比明显可以看出，加上对比度拉伸之后图像亮度增强了，在视觉上有一个比较好的效果。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims

1.一种基于暗原色先验的交通视频实时去雾的方法，其特征在于实现步骤如下：

(1)YUV降采样成RGB，计算大气光和透射率

对YUV数据进行降采样处理，直接降采样成RGB格式的图像，对RGB格式的图像进行基于暗原色先验的去雾处理，计算出降采样后的RGB图像的大气光值和透射率；

(2)恢复成YUV无雾图像

根据上步(1)计算出来的透射率，直接对原YUV数据直接进行重构，重构出无雾的YUV格式的数据；

(3)对比度拉伸

由于上述方法处理结果相对原视频亮度偏暗，对处理后的Y分量进行对比度拉伸处理，得到较好的视觉效果；

所述步骤(1)中对YUV数据进行降采样处理，直接降采样成RGB格式的图像的公式为：

上式中，R、G、B分别表示RGB格式图像的三个通道值，Y、U、V分别表示YUV格式图像分量的值，在转换过程中直接采用8倍降采样处理，原图像8*8个像素点对应降采样之后的1个像素点；

所述步骤(1)中对RGB格式的图像进行基于暗原色先验的去雾处理是基于有雾图像的物理模型，计算出降采样后的RGB图像的透射率过程为：

(11)将RGB图像三通道中最小的通道保存下来，得到最小值通道；

(12)对最小值通道图进行最小值滤波，得到暗通道；

(13)根据暗通道求出大气光值；

(14)根据有雾图像的物理模型，根据求得的暗通道求得预估的透射率；透射率的求取公式如下所示：

<mrow> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>y</mi> <mo>&Element;</mo> <mi>&Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>c</mi> </munder> <mfrac> <mrow> <msup> <mi>I</mi> <mi>c</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <msup> <mi>A</mi> <mi>c</mi> </msup> </mfrac> <mo>)</mo> </mrow> </mrow>

其中t(x)是透射率，I^c表示三通道的值，A^c表示大气光值；

(15)求取RGB图的灰度图作为导向，预估透射率作为输入，进行导向滤波处理，将得到的输出作为精细化的透射率；

(16)获取暗通道；

所述(12)暗通道的求取公式如下：

<mrow> <msup> <mi>J</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>r</mi> <mi>k</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>y</mi> <mo>&Element;</mo> <mi>&Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>c</mi> <mo>&Element;</mo> <mo>{</mo> <mi>r</mi> <mo>,</mo> <mi>g</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <msup> <mi>J</mi> <mi>c</mi> </msup> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow>

式中J^dark表示暗通道值，J^c表示彩色图像的每个通道值，Ω(x)表示以像素X为中心的一个窗口，暗原色先验的理论J^dark→0；

所述(14)的公式中引入一个在[0,1]之间的去雾因子ω，则修正为：

<mrow> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mi>&omega;</mi> <mo>*</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>y</mi> <mo>&Element;</mo> <mi>&Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>c</mi> </munder> <mfrac> <mrow> <msup> <mi>I</mi> <mi>c</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <msup> <mi>A</mi> <mi>c</mi> </msup> </mfrac> <mo>)</mo> </mrow> </mrow>

其中t(x)是透射率，I^c表示三通道的值，A^c表示大气光值；ω表示去雾因子，通过其调整去雾程度。

2.根据权利要求1所述的基于暗原色先验的交通视频实时去雾的方法，其特征在于：所述步骤(13)中选取大气光值的规则是：选取暗通道中值最大的0.1％对应的RGB图中的RGB三通道的平均值作为该帧图像的大气光值。

3.根据权利要求1所述的基于暗原色先验的交通视频实时去雾的方法，其特征在于：所述步骤(2)中直接对原YUV数据直接进行重构公式为：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>Y</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <msub> <mi>A</mi> <mi>y</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>A</mi> <mi>y</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>U</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mrow> <mo>(</mo> <mi>U</mi> <mo>-</mo> <msub> <mi>A</mi> <mi>u</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>A</mi> <mi>u</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>V</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mrow> <mo>(</mo> <mi>V</mi> <mo>-</mo> <msub> <mi>A</mi> <mi>v</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>A</mi> <mi>v</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中：

Y’U’V’表示去雾之后YUV格式图像的三个分量，A_yA_uA_v分别表示YUV图像中的大气光值，A_rA_gA_b分别表示RGB图像中的大气光值。

4.根据权利要求1所述的基于暗原色先验的交通视频实时去雾的方法，其特征在于：所述去雾因子ω为0.8时具有好的效果。