CN112017128B - 一种图像自适应去雾方法 - Google Patents

Abstract

本发明公开了一种图像自适应去雾方法，实现结构包括：图像传感器模块，图像自适应去雾模块和通用视频传输接口模块。本发明使用图像传感器将采集到的数据经图像自适应去雾模块处理，并按照通用视频传输格式编码输出。图像自适应去雾模块可以将输入的图像数据进行自动判定，自动确定场景是否需要去雾，并且自动圈定天空区域，对需要去雾的像素区域执行去雾操作。该方法可以做到将自适应去雾功能集成进设备中，从而提高了目标设备在带雾场景中获取信息的能力，为后续的数字图像处理提供了更加丰富的原始信息。

Description

一种图像自适应去雾方法

技术领域

本发明涉及数字图像处理领域，特别是与平台结合度较高的图像算法实现，在边缘计算应用场景下的图像处理方法，与图像自适应去雾算法，摄像头的功能化集成应用等关系密切。

背景技术

图像去雾在交通***、安防领域、遥感监测、无人机技术和航运海事等诸多领域有着广泛的应用，通过对原始输入图像的去雾可以有效增加人类从图像上获取的信息量。目前基于图像增强方式进行去雾的技术通常忽视了色彩还原度和局部细节处理，而图像恢复算法虽然具有较好的色彩还原度，但其通常难以在计算能力较低的平台下做到实时处理，因此很难在面向视频监控的领域发挥相应的作用，包含去雾功能摄像设备的使用效果通常并不理想。并且，在现代化集成度较高的摄像采集设备中，带有去雾功能的摄像机往往需要人为指定去雾功能所需要的参数以及指定该摄像场景是否需要执行去雾操作，无法做到对不同复杂场景进行自适应去雾。因此，设计一种平台可部署且具有自适应去雾功能的图像自适应去雾方法在实际应用场景中意义巨大。

目前用于图像去雾的处理器平台主要为CPU,GPU,FPGA。在不同的应用场合下，不同的处理器平台会带来不同的优势。CPU适合串行执行灵活性强的操作，在大规模，高吞吐量的图像处理场合优势不明显。GPU平台虽然可以高效地执行复杂的图像去雾处理算法，但其部署的空间及功耗成本使之较少应用在小型的边缘端设备中。FPGA平台具有较高的能效比和强大的算力，适合并行处理高数据通量的去雾算法且便于集成在小型边缘端的设备中，为设备的性能提升带来突破。

图像去雾算法在以往的论文专利中都有涉及，算法的设计思路有基于图像增强的去雾算法，基于Retinex增强去雾以及基于暗通道先验的图像去雾。去雾算法的执行框架大致相同，都包含大气光值估计，传播图函数估计以及图像精细化操作。但以往的处理方法不具备自动判别图像是否有雾的机制，即无法做到对输入的图像是否有雾进行判断。之前方法在实现过程中也无法处理图像在深度断层处的光晕效应，对图像的处理带有明显的人工效应。本专利申请的图像自适应去雾方法可以有效建立自适应去雾机制，并解决深度断层处的光晕效应，对处理后的图像色彩、对比度、饱和度有明显提升。

发明内容

技术问题：本发明公开了一种图像自适应去雾方法，通过结合图像传感器模块、自适应去雾模块和通用视频传输接口，可以实现有较好平台结合度的图像去雾操作，为后续的数字图像处理提供了更加丰富的原始信息。

技术方案：为了实现上述发明目的，本发明提供了一种图像自适应去雾方法的框架包括顺序连接的图像传感器模块、图像自适应去雾模块和通用视频传输接口；

其中，图像传感器模块将采集到的视频图像数据输出至图像自适应去雾模块处理，并按照通用视频传输格式编码输出；

图像自适应去雾模块通过其中的存储器模块将输入视频图像数据缓存，并输出至处理器模块；处理器模块通过其中的标定场景中天空区域模块将输入图像中的天空区域进行标定，并使用判断场景是否有雾模块对输入图像中的非天空区域进行图像饱和度计算，根据图像的饱和度分布来判别图像是否有雾，从而进一步根据判别结果选择直接输出或经过去雾模块输出；去雾模块通过大气光值估计模块，传播函数估计模块，图像精细化模块，将输入的非天空区域待去雾图像进行去雾操作，并输出。

其中，

所述的图像自适应去雾模块包含相连接的用于缓存视频图像数据的存储器模块以及用于实现图像自适应去雾功能的处理器模块，处理器模块包含判断场景是否有雾模块，标定场景中天空区域模块，图像去雾模块。

所述的图像自适应去雾模块，其图像自适应去雾功能的运行依赖于处理器模块，并对存储器模块进行调用。

所述的处理器模块中的判断场景是否有雾模块是根据输入图像的饱和度分布数据计算值来标定该图是否有雾，超过阈值即认为有雾。

所述的处理器模块中的标定场景中天空区域模块是根据图像局部像素区域中像素点的亮度与梯度计算值进行判定该局部区域是否为天空，区域像素点的亮度值超过指定阈值并且梯度计算值在指定范围内即认为是天空。

所述的处理器模块中的去雾模块包含大气光值估计模块、传播函数估计模块和图像的精细化模块。

所述的去雾模块中的大气光值估计模块根据输入图像暗通道中的像素点亮度值进行计算得出大气光估计值。

所述的去雾模块中的传播函数估计模块根据暗通道理论对输入图像数据经过计算得出每个像素点的传播函数估计值。

所述的去雾模块中的图像精细化模块采用滤波器尺寸具有自动调整机制的导向滤波算法对前一步的图像进行精细化处理。

所述的通用视频传输格式为遵循HDMI协议或DisplayPort协议的高清晰视频传输格式。

有益效果：本发明可以实现对于输入原始视频图像的自适应去雾功能，对比原始图像，获得了更好的显示效果。本发明的去雾功能对于不同场景可以进行不同程度的自适应去雾，在深度断层区域的效果尤为明显。去雾后的图像相较于原始图像的色彩饱和度明显提升，无失真，并与原始图像有较好的结构相似性。

附图说明

图1为使用图像自适应去雾方法的自适应去雾摄像机组成框图。

图2为图像自适应去雾方法的算法执行框架示意图。

图3为图像自适应去雾方法的FPGA算法执行模块框架。

具体实施方式

本发明的一种图像自适应去雾方法设计框架包括：图像传感器模块、图像自适应去雾模块和通用视频传输接口。其中，本发明中不同的模块之间通过集成的形式组合形成一个整体，运行过程不依赖外部算力，例如云端服务器或PC端的算力，实现了数据的原始采集与自适应去雾预处理操作的相结合。

图像传感器模块：用于采集不同场景下的数字图像信息，将采集到的数字图像数据按照标准数据传输格式输入至图像自适应去雾模块。

图像自适应去雾模块：包括用于缓存视频图像数据的存储器模块以及用于实现图像自适应去雾功能的处理器模块。

存储器模块用于实现数据的缓存，并且与处理器模块进行数据的交互。

处理器模块为执行图像自适应去雾功能的模块，并将处理后的数据输出至通用视频传输接口模块。其中图像自适应去雾模块包含判断场景是否有雾模块，标定场景中天空区域模块，图像去雾模块。

判断场景是否有雾模块的实现原理为，对输入图像中的非天空区域进行饱和度判定，若饱和度低于设定阈值，则认为该图像为带雾图像，反之，则为不带雾图像。

标定场景中天空区域模块首先对所有输入的图像像素进行遍历，寻找图像中的平坦且高亮度像素区域，若出现大片连续且高亮度像素区域，则认为该区域为天空像素区域。

进一步的，本申请中所涉及的图像去雾模块分为如下模块：大气光值估计模块、传播函数估计模块和图像的精细化模块。

大气光值估计模块首先计算输入所有像素点的暗通道像素值，取暗通道像素中亮度较高的点，若该点还满足在3*3的邻域内，像素点亮度分布平滑均匀，则认为该点的亮度为大气光亮度的候选点。对所有的候选点做平均即为大气光亮度值。

传播函数估计模块则根据暗通道理论计算出每个像素点的传播函数估计粗糙值。再使用大气光值和导向滤波算法计算出图像去雾后的粗略图像。

图像的精细化模块则根据邻近区域内边缘像素点的信息来选取滤波器尺寸，做到对滤波器尺寸的自适应调节，并将该尺寸运用到传播函数估计模块中，对输出图像进行进一步细化，得到最终的输出图像。使用该方法处理后的去雾图像可以在图像的深度断层区域避免光晕效应。

为了使本发明的目的、技术方案以及优点更加清楚明了，结合下述案例对本发明进行详细说明，应当理解，此处所描述的具体实例仅仅用于解释本发明，并不限定于本发明。

图像传感器模块：使用CMOS图像传感器，输出标准1080P@60Hz视频信号，

图像自适应去雾模块包括：存储器模块，处理器模块，

存储器模块：采用4片MT41J256M16HA-107内存芯片，构成64位宽存储器，

处理器模块包括：判断场景是否有雾模块，标定场景中天空区域模块，图像去雾模块；

判断场景是否有雾模块：基于XC7K325TFFG900-2系列FPGA芯片搭建，使用Verilog编程语言实现场景是否有雾模块的IP核设计，

标定场景中天空区域模块：同样基于XC7K325TFFG900-2系列FPGA芯片搭建，使用Verilog编程语言实现标定场景中天空区域模块的IP核设计，

图像去雾模块：同样基于XC7K325TFFG900-2系列FPGA芯片搭建，使用Verilog编程语言实现图像去雾模块的IP核设计，

通用视频传输接口：采用标准HDMI协议，输出1080P@60Hz信号。

图1所示为具有自适应去雾功能的摄像机平台，该平台硬件集成了图像传感器、FPGA模块、DDR模块和通用视频传输接口。其中，该摄像机平台中的FPGA模块与DDR模块共同构成了图像自适应去雾方法中的图像自适应去雾模块。图像自适应去雾算法为部署在该硬件平台下的软件算法。数据的交互通路主要在图像传感器与FPGA，FPGA与DDR之间，FPGA不仅是算法运行的处理器平台，还是数据交互的控制器。DDR模块则起到缓存数据，与FPGA实现数据交互的作用。

在图像自适应去雾算法中，带雾机制判定模块的实现公式为：

其中输入图像尺寸为m,n,sky表示天空区域像素点，所有被标记为天空区域的像素其sky值为1。本发明算法在实际应用中对饱和度低于0.2的图像进行去雾操作，将大于0.2的图像判定为无雾图像，不做处理。

在上述公式中，对天空区域判定的详细步骤为：

1、对所有像素点的RGB三通道分别求二维梯度，三通道梯度均低于设定阈值(0.03)，认为该像素点为疑似天空区域；

2、对所有疑似天空区域像素点的RGB三通道分别求平均值，得到疑似天空区域的RGB三通道平均强度；

3、疑似天空区域像素点如果满足RGB三通道值和步骤2求得的平均值的比值均高于设定阈值(0.85)，则认为当前像素点为天空区域像素点。

在自适应去雾算法中大气光值判定的过程为：

1、统计待处理图像的暗通道中亮度最高的0.1％像素点，取其均值作为大气光值的初步估计值A₀。

2、设l为像素灰度值，为平滑度阈值，η为亮度阈值。遍历每个像素点，若以该像素点为中心的3*3邻域内所有像素点都满足平滑条件和亮度条件：

则认为该点是参考点。具体的，设/>为0.03，η为0.15。

3、将步骤2中所有参考点的灰度平均值作为最终的大气光估计值A。

对于带雾情况下，图像传感器采集到的图像由Bouguer衰减定律和线性叠加关系可得，如下式所示。

I(x)＝J(x)·e^-β(λ)x+A·(1-e^-β(λ)x)

其中大气环境光强为A，物体反射光在观察者方向的光强为J(x)，观察者接受到该物体的光强为I(x)。取传播函数t(x)＝e^-β(λ)x。

根据暗通道先验理论，对图像的传播函数进行粗略估计，同时由于实际获取的去雾后图像应当留存有一定粒子散射的影响，令该影响因子为ω(0＜ω＜1)，则传播函数估计：通过调整ω大小可以控制输出图像的雾气保留程度，其中Ω(x)所代表的以x为中心的局部区域中暗通道滤波器尺寸设为R1。

在对传波函数进行精细化操作时用到的导向滤波算法，假设滤波输出图像与其参考图像呈局部线性关系，设输入的参考图像为I,输出图像为q,在图像局部区域ω_k内a_k,b_k为恒定线性因子，则存在如下线性关系。

假设待平滑图像为p，为了防止过拟合，引入正则化因子则基于上述线性模型得到的滤波后输出图像和原图像局部差异度可表示如下。

对差异度E(a_k,b_k)求最小值，分别对a_k,b_k求偏导，令cov_k(p,I)为引导图I和待平滑图p在区域ω_k的协方差，var_k(I)为该区域引导图I方差，求解可得导向滤波输出结果如下。

假设其中目标滤波器ω_k中的导向滤波器尺寸为R2。为了有效去除粗传播函数的块状效应，导向滤波算法的滤波器尺寸应该大于暗通道理论中滤波器的尺寸，在本实例中，设定导向滤波中滤波器尺寸为暗通道滤波器尺寸的两倍。R2＝2*R1。在自适应图像去雾方法的滤波器尺寸自适应调整中，暗通道滤波器尺寸的调整方式为：首先对预处理的图像进行边缘像素的检测，对于一个确定像素点(x,y)，若其局部区域Ω_xy内不存在边缘像素，则认为该局部区域为平坦区域。反之，缩小局部区域的尺寸，直到该局部区域中不存在边缘像素，或者局部区域的尺寸已经达到了算法预设的最小值。以此局部区域的尺寸作为暗通道滤波器的尺寸，代入上述的公式中可以计算出导向滤波器的尺寸。

本案例的具体算法流程如图2所示。最终去雾后图像经FPGA接口输出。

本案例同样针对FPGA平台进行说明，使用模块化的设计来描述自适应去雾算法的功能，FPGA模块设计如图3所示。对本案例中以输入1080P@60Hz的视频信号进行说明，FPGA模块说明如下。

2倍降采样模块：该模块用于将输入格式为的视频数据降采样为输出24bit位宽，格式为的视频数据。

RGB最小通道选择模块：该模块用于获取每个输入像素点RGB三通道中最小通道像素值，输入为2倍降采样模块的输出视频数据，输出为8bit单通道视频数据.

最小值滤波器模块：该模块用于计算每个像素点的暗通道值，输入为RGB最小通道选择模块的8bit单通道视频数据，输出为8bit暗通道视频数据。

大气光值计算模块：该模块用于计算全局大气光值，输入为最小值滤波器模块输出的暗通道数据，输出为全局大气光值。

RGB转灰度模块：该模块用于计算像素灰度值，输入为2倍降采样模块输出的视频数据，输出为视频灰度值数据。

粗传播函数计算模块：该模块用于计算粗传播函数，输入为最小值滤波器模块输出的暗通道数据和大气光值计算模块输出的大气光值，输出为每个像素点粗传播函数值。

自适应导向滤波模块：该模块用于对粗传播函数进行自适应精细化处理，输入为RGB转灰度模块输出的视频灰度值数据以及粗传播函数计算模块输出的粗传播函数值，输出为精细化传播函数值。

图像去雾模块：该模块用于图像去雾运算，输入为自适应导向滤波模块输出的精细化传播函数值和对应视频像素数据，输出为去雾后视频数据流。

编解码芯片配置模块：该模块生成视频编解码芯片的配置数据流。

处理后的去雾图像数据流经FPGA接口输出至外部设备中。

本发明的内容具有较高的模块化独立性，即图像自适应去雾方法的实现具有很强的平台兼容性，其实现过程不依赖于特定的外部设备。本发明可以应用在摄像头，CCD等图像获取设备中，可以独立地完成图像自适应去雾功能。

以上所述仅表达了本发明的一种实施方式，其描述较为详细具体，但并不能因此理解为对本发明专利的限制。应当指出的是，对于本领域技术人员来说，在不脱离本发明构思的前提下，可以做出若干的改变，这都属于本专利的保护范围内。本发明的专利保护范围以所附的权利要求为准。

Claims (10)

1.一种图像自适应去雾方法，其特征在于，所述方法的框架包括顺序连接的图像传感器模块、图像自适应去雾模块和通用视频传输接口；

其中，图像传感器模块将采集到的视频图像数据输出至图像自适应去雾模块处理，并按照通用视频传输格式编码输出；

图像自适应去雾模块通过其中的存储器模块将输入视频图像数据缓存，并输出至处理器模块；处理器模块通过其中的标定场景中天空区域模块将输入图像中的天空区域进行标定，并使用判断场景是否有雾模块对输入图像中的非天空区域进行图像饱和度计算，根据图像的饱和度分布来判别图像是否有雾，在图像自适应去雾模块中，带雾机制判定模块的实现公式为：

其中输入图像尺寸为m,n,sky表示天空区域像素点，所有被标记为天空区域的像素其sky值为1，对饱和度低于0.2的图像进行去雾操作，将大于0.2的图像判定为无雾图像，不做处理；从而进一步根据判别结果选择直接输出或经过去雾模块输出；去雾模块通过大气光值估计模块，传播函数估计模块，图像精细化模块，将输入的非天空区域待去雾图像进行去雾操作，并输出。

2.根据权利要求1所述的图像自适应去雾方法，其特征在于，所述的图像自适应去雾模块包含相连接的用于缓存视频图像数据的存储器模块以及用于实现图像自适应去雾功能的处理器模块，处理器模块包含判断场景是否有雾模块，标定场景中天空区域模块，图像去雾模块。

3.根据权利要求2所述的图像自适应去雾方法，其特征在于，所述的图像自适应去雾模块，其图像自适应去雾功能的运行依赖于处理器模块，并对存储器模块进行调用。

4.根据权利要求2所述的图像自适应去雾方法，其特征在于，所述的处理器模块中的判断场景是否有雾模块是根据输入图像的饱和度分布数据计算值来标定该图是否有雾，超过阈值即认为有雾。

5.根据权利要求2所述的图像自适应去雾方法，其特征在于，所述的处理器模块中的标定场景中天空区域模块是根据图像局部像素区域中像素点的亮度与梯度计算值进行判定该局部区域是否为天空，区域像素点的亮度值超过指定阈值并且梯度计算值在指定范围内即认为是天空。

6.根据权利要求2所述的图像自适应去雾方法，其特征在于，所述的处理器模块中的去雾模块包含大气光值估计模块、传播函数估计模块和图像的精细化模块。

7.根据权利要求6所述的图像自适应去雾方法，其特征在于，所述的去雾模块中的大气光值估计模块根据输入图像暗通道中的像素点亮度值进行计算得出大气光估计值。

8.根据权利要求6所述的图像自适应去雾方法，其特征在于，所述的去雾模块中的传播函数估计模块根据暗通道理论对输入图像数据经过计算得出每个像素点的传播函数估计值。

9.根据权利要求6所述的图像自适应去雾方法，其特征在于，所述的去雾模块中的图像精细化模块采用滤波器尺寸具有自动调整机制的导向滤波算法对前一步的图像进行精细化处理。

10.根据权利要求1所述的图像自适应去雾方法，其特征在于，所述的通用视频传输格式为遵循HDMI协议或DisplayPort协议的高清晰视频传输格式。