CN104732497A - 一种图像去雾方法、fpga及包含该fpga的去雾*** - Google Patents

Abstract

本发明公开了一种图像去雾方法，该方法的步骤包括通过图像采集装置，获取原始图像I；基于原始图像I，计算图像I的暗通道I^dark；利用暗通道I^dark对原始图像I的全局大气参数A进行估计；基于暗通道I^dark和全局大气参数A对原始图像I的大气透射率t进行估计；利用全局大气参数A和大气透射率t去除原始图像中的雾，获得去雾后的清晰图像J。本发明所述技术方案能够在处理30帧/秒的视频图像的同时，保证***正常、稳定的工作；***集成度高、可靠性高，性能优异；设计灵活，开发周期短，成本低；***可长期维护，现场可升级，非常方便地根据用户的要求来改进设计，而不用改动整体的电路结构。

Description

一种图像去雾方法、FPGA及包含该FPGA的去雾***

技术领域

本发明涉及数据处理，特别是涉及一种图像去雾方法，以及基于FPGA的去雾***。

背景技术

在雾霾天气下，大气微粒的散射作用导致光学传感器捕获到的场景图像严重失真，其颜色值、对比度等特征被破坏，如图1所示，这影响了人类的视觉感受和计算机的后期处理。当上述场景图像被应用于智能交通等领域时，其造成的后果将更加严重。因此，对含雾图像的快速、精确而有效的去雾，成为了当前计算机视觉领域的一个研究热点。

目前而言，对于雾化图像的处理的研究与实现，主要是集中在PC平台上的软件开发，着眼于算法层面的处理。这种去雾处理主要有两种思路：①基于图像增强的去雾算法，如Tan等人的研究成果；②基于图像恢复的去雾算法，如Fattal、He等人的研究成果。

虽然，上述的各种软件算法在PC平台上都能实现图像的去雾功能，如图2所示，但是，这些基于PC平台的软件算法往往需要较长的运算时间，有时甚至长达秒级。而通常的实时***，则要求必须在下一个样本到来前(规定时间内)处理完前一个样本。考虑到许多实际的***中需要对某一帧率的视频图像进行实时的去雾处理，这些算法显然无法满足实时性、高速视频流等要求。

因此，需要提供一种快速的图像去雾方法，满足图像处理过程中实时性、高速性的需求

发明内容

为解决上述技术问题，本发明采用下述技术方案

一种图像去雾方法，该方法的步骤包括

通过图像采集装置，获取原始图像I；

基于原始图像I，计算图像I的暗通道I^dark；

利用暗通道I^dark对原始图像I的全局大气参数A进行估计；

基于暗通道I^dark和全局大气参数A对原始图像I的大气透射率t进行估计；

利用全局大气参数A和大气透射率t去除原始图像中的雾，获得去雾后的清晰图像J。

优选的，利用公式：计算暗通道I^dark，其中，I^dark表示彩色图像的暗通道，I^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口。

优选的，通过计算暗通道I^dark的最大值，并减去一个修正因子△A来确定全局大气参数A。

优选的，所述修正因子△A的取值为30。

优选的，利用公式：以及暗通道I^dark和全局大气参数A确定大气透射率t。

优选的，所述因子ω为去雾后的图像保留一定的景深，所述因子ω取0.8。

优选的，利用公式：以及全局大气参数A和大气透射率t去除原始图像I中的雾。

优选的，该方法的步骤进一步包括利用公式：对所述清晰图像J的亮度进行校正，其中c为图像的R、G、B三个通道，Avg_c为某一通道的所有像素点的灰度值的均值。

一种图像去雾的FPGA，该FPGA包括

RGB同步模块，用于调整输入图像信号之间的时序关系，获得稳定的、符合处理时序的图像数据；

图像暗通道产生模块，利用公式：计算暗通道I^dark；

全局大气参数计算模块，基于暗通道I^dark，计算暗通道I^dark的最大值，并减去修正因子△A，确定全局大气参数A；

大气透射率计算模块，基于暗通道I^dark和全局大气参数A，利用公式： $t\left(x\right)=1-\mathrm{\ω}\·\frac{I^{\mathrm{dark}}\left(x\right)}{A},$ 确定大气透射率t；

图像恢复单元，基于暗通道I^dark、全局大气参数A和大气透射率t，利用公式：去除原始图像I中的雾，获得清晰图像J，再利用公式：对清晰图像J的亮度进行校正；

图像输出模块，用于将恢复后的图像输出。

一种上述图像去雾FPGA的去雾***，该***包括

图像采集单元，用于采集原始图像；

去雾FPGA，用于对原始图像进行去雾处理；

图像输出单元，用于输出去雾后的清晰图像；

供电模块，用于为***单元模块供电。

本发明的有益效果如下：

本发明所述去雾方法可大幅度缩短去雾处理时间；对计算过程进行优化，更适合硬件的实时处理。

本发明所述基于FPGA的去雾***能够在处理30帧/秒的视频图像的同时，保证***正常、稳定的工作；***集成度高、可靠性高，性能优异；设计灵活，开发周期短，成本低；***可长期维护，现场可升级，非常方便地根据用户的要求来改进设计，而不用改动整体的电路结构。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出雾天拍摄照片的示意图；

图2示出经传统方法去雾前后的图像对比示意图；

图3示出本发明所述一种图像去雾方法的示意图；

图4示出本发明所述一种图像去雾的FPGA的示意图；

图5示出本发明所述一种基于FPGA的图像去雾***的示意图；

图6示出利用本发明所述去雾方案处理后的图像示意图。

具体实施方式

如图3所示，本发明公开了一种图像去雾方法，该方法的步骤包括

①获取含雾的原始图像I；

②求取含雾图像I的暗通道I^dark

在传统算法中，对任意一幅彩色图像，其暗通道的求取公式为：

$I^{\mathrm{dark}}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{\min }{I}^c\left(y\right)\right)$

其中，I^dark表示彩色图像的暗通道，I^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口。为求取一幅图像的暗通道，需要先对图像上每个像素点上的R、G、B三个通道的颜色值(灰度值)求最小值，然后对这个中间结果进行最小值窗口滤波，窗口半径R一般为3、15或其他值。

本发明考虑到在FPGA硬件平台上，视频图像数据多以串行的方式输入，对图像的最小值窗口滤波这一运算需要较大的片上缓存空间(On-Chip RAM)，当滤波半径非常大(如R＝15pixel)的时候，这种情况将更加严重。因此，将暗通道简化为下式所示：

$I^{\mathrm{dark}}\left(x\right)=\underset{c\∈\{r,g,b\}}{\min }{I}^c\left(y\right)$

上式中，只需对图像的每个像素的三个通道进行最小值运算，即可获得暗通道I^dark；

③通过暗通道I^dark来估计含雾图像I的全局大气参数A

在传统方法中，求取全局大气参数A的方法为：首先，取暗通道I^dark中的前0.1％亮度最大的像素；然后，取这些像素对应在原图I中的最大值作为A的值。

本发明在优化了暗通道I^dark的基础上，将全局大气参数A的计算方法简化为：对暗通道I^dark中的数据，求其最大值，并减去一个修正因子△A，作为全局大气参数A。其中，本发明中修正因子△A取30；

④利用暗通道I^dark和全局大气参数A来估计含雾图像I的大气透射率t

根据上述暗通道I^dark和全局大气参数A，利用下式对原始图像I的大气透射率t。其中，因子ω为去雾后的图像保留一定的景深，本发明中因子ω取0.8

$t\left(x\right)=1-\mathrm{\ω}\·\frac{I^{\mathrm{dark}}\left(x\right)}{A}$

⑤利用上述求得的全局大气参数A和大气透射率t，利用下述公式将原始图像I恢复成无雾的清晰图像J

$J\left(x\right)=\frac{I\left(x\right)-A}{t\left(x\right)}+A$

本发明利用“Gray World假设”对回复后的清晰图像J进行亮度校正。GrayWorld假设认为，任何一幅图像，当有足够的色彩变化时，其R、G、B分量均值会趋于平衡，即R、G、B三个数值相等，一般为128。由此假设，对无雾图像J进行如下式所示的颜色变换，即可得到最终的校正后的无雾图像J’：

${J^{\′}}_c\left(x\right)=\frac{128}{{\mathrm{Avg}}_c}\·J_c\left(x\right)$

其中，c表示图像的R、G、B三个通道，Avgc表示某一通道的灰度值的均值。

一般而言，亮度校正有两种方法：①对三个颜色通道分别进行校正，但是这样做容易导致不同的通道使用不同的Avgc，造成色偏，颜色失真；②利用彩色图像的灰度图对三个通道进行一致(相同的Avgc)的校正。此处考虑到***的处理速度、彩色图像的灰度图的求取方式，且G通道与灰度图极为相似，因此采用G通道作为灰度图的近似代替，简化计算过程。

本发明进一步公开了一种基于FPGA的图像实时去雾***，用于处理实时的含雾视频图像。如图4所示，本发明中图像去雾的FPGA包括RGB同步模块、图像暗通道产生摸快、全局大气参数计算模块、大气透射率计算模块、图像恢复单元和图像输出模块。该FPGA利用RGB同步模块将输入图像信号之间的时序进行调整，获得稳定的、符合处理时序的图像数据，基于该数据，图像暗通道产生模块利用公式：计算暗通道I^dark，全局大气参数计算模块基于暗通道I^dark，计算暗通道I^dark的最大值，并减去修正因子△A，确定全局大气参数A，大气透射率计算模块，基于暗通道I^dark和全局大气参数A，利用公式：确定大气透射率t，根据暗通道I^dark、全局大气参数A和大气透射率t，利用公式：对原始图像I进行去雾处理，最后利用公式：对清晰图像J的亮度进行校正。

如图5所示，本发明所述去雾***包括图像采集单元、上述去雾FPGA、图像输出单元和供电模块。利用图像采集单元中的图像采集模块对图像进行采集，并通过A/D转换模块将模拟信号转为数字信号，利用上述去雾FPGA进行去雾处理，利用图像输出单元中的D/A转换模块将去雾后的图像数字信号转换为模拟信号，通过图像输出模块输出。

下面通过一组实施例对本发明做进一步说明：

本发明所提到的优化算法，在实践中工作流程如下：

①获取含雾的视频图像中的一帧图像I；

②根据下式，求取图像I的暗通道I^dark；

$I^{\mathrm{dark}}\left(x\right)=\underset{c\∈\{r,g,b\}}{\min }{I}^c\left(y\right)$

③通过暗通道I^dark来估计原始图像I的全局大气参数A。具体而言，对暗通道I^dark中的数据，求其最大值，并减去一个修正因子△A，作为全局大气参数A。本实施例中修正因子△A取30；

④根据下式，通过暗通道I^dark和全局大气参数A来估计原始图像I的大气透射率t。其中，因子ω主要是为去雾后的图像保留一定的景深，本实施例中该因子取0.8；

$t\left(x\right)=1-\mathrm{\ω}\·\frac{I^{\mathrm{dark}}\left(x\right)}{A}$

⑤通过全局大气参数A和大气透射率t，并利用下式对原始图像I进行去雾处理，恢复清晰图像J；

$J\left(x\right)=\frac{I\left(x\right)-A}{t\left(x\right)}+A$

⑥利用下式对清晰图像J的亮度进行校正，得到最终的无雾图像J’；

${J^{\′}}_c\left(x\right)=\frac{128}{{\mathrm{Avg}}_c}\·J_c\left(x\right)$

根据上述步骤，对含雾的图像中的每一帧均进行快速去雾处理，即可得到去雾后的视频图像。

在以上去雾方法的基础上，本发明提出了一种基于FPGA的视频图像去雾的实时***。此***中主要包括：①负责处理视频图像的ALTERA Cyclone IVEP4CE15F17FPGA芯片及其相关电路；②负责输入视频转换的AD9984A/D转换器芯片及其相关电路；③负责输出视频转换的ADV7123D/A转换芯片及其相关电路；④负责视频输入和输出的VGA图形图像接口；⑤供电模块。

在***正常工作中，雾化的视频图像通过VGA接口被传入***，经过A/D转换后成为***能够处理的视频格式，传入去雾FPGA视频图像处理器，在其中进行上述去雾方法处理完成后，输出的无雾视频图像需要进行D/A转换，转换成为适合接口传输的格式，然后从***的接口被输出。

在此***中，核心的模块即是负责处理视频图像的去雾FPGA芯片模块。在此芯片中，本发明实现了上述的去雾方法，其在芯片内部的硬件结构如图2所示。其中主要包括：数据同步模块、暗通道产生模块、全局大气参数A计算模块、大气透射率t计算模块、图像恢复单元和图像输出模块。

由数据同步模块输入至FPGA的数字化视频图像信号主要包括：R、G、B三个通道的8位的视频图像数据；行同步信号HS；场同步信号VS；像素时钟PCLK。这些信号是由片外的A/D转换模块产生，但是信号间的时序存在一定的偏差。因此，使用数据同步模块来调整这些信号之间的时序关系，同时进行一个简单的同步处理，以保证向后级提供稳定的、符合时序的数据。

暗通道产生模块用于产生彩色图像的暗通道I^dark。由于一个像素点的R、G、B三个通道的数据是在时钟的控制下同时到来的，因此只需要简单的比较，即可得出三个通道的数据中的最小值。

全局大气参数计算模块用于求取图像的全局大气参数A。如优化算法所述，从暗通道产生模块所产生的一幅图像的暗通道中，选取最大的值，并减去一个修正因子△A，得到所需要的A。

值得注意的是，对于选取暗通道的最大值这一操作，需要遍历整幅图像的暗通道数据，对于串行视频图像而言，即要等到一帧图像结束，才能计算出全局大气参数A，用于计算大气透射率t等后续的数据。一般而言，可以选择对当前帧进行“帧缓存”的方式来进行处理，但是这种方式势必会造成图像处理的延迟，而且需要大容量片外存储器的支持，提升了开发难度。因此，本发明充分利用了视频图像逐帧之间差别很小的这一特点，将当前帧结束后所计算出来的全局大气参数A用于下一帧的运算。这样操作在保证了数据的正确性同时，既避免了帧延迟，又可以降低开发难度。

④大气透射率计算模块根据之前的功能模块所得到的暗通道I^dark和全局大气参数A，再选用合适的去雾强度调节因子ω，即可计算得到大气透射率t。本实施例中因子ω选取0.8。

⑤图像恢复单元包括图像恢复模块和图像亮度校正模块。利用图像恢复模块根据之前的所得到的全局大气参数A和大气透射率t以及原始的R、G、B三通道的彩色图像数据，将原始图像I中雾去除获得清晰图像J。再利用图像亮度校正模块对清晰图像J的亮度进行校正。在实际的硬件实现过程中，使用G通道的颜色值作为图像的灰度图，再通过遍历串行图像数据，求取图像的灰度图的平均值，即为Avgc值。此模块再次使用上文提到的“帧迭代”的方法，将当前帧所计算出的Avgc值用于下一帧的计算。

⑥图像输出模块用于整合亮度校正后的清晰图像J′的R、G、B三通道的图像数据、行同步信号HS、场同步信号VS等必要的视频信号，并且按照VGA协议的标准时序，将这些视频信号输出。

在测试实践中，采用PC机显卡输出的1024*768@60Hz的VGA格式的视频数据作为***的输入视频源，其帧率为60帧/秒。***运行的效果如图5所示。实践证明，此***能够正常、稳定地工作，处理高达60帧/秒的含雾视频图像，在保证了实时性的同时，得出良好的去雾结果。

本发明利用现有方法和本发明所述方法对几组图像序列进行测试，两种方法的处理速度，如表1所示：

表1 快速块融合算法与原算法速度比较

从测试数据中可以看出，经过优化，去雾处理的耗时得以缩短。更为可贵的是，优化后的算法在保证去雾质量的同时，优化了原本较为繁杂的计算过程，使之更适合硬件上的实时处理的设计。如图6所示，利用本发明所述方案去雾处理前后的图像的对比图，在节约处理时间的同时，去雾效果仍然可以保持良好，更加证明了本发明所述技术方案的优越性。

综上所述，本发明所述技术方案可大幅度缩短去雾处理时间；对计算过程进行优化，更适合硬件的实时处理。本发明所述基于FPGA的去雾***能够在处理30帧/秒的视频图像的同时，保证***正常、稳定的工作；***集成度高、可靠性高，性能优异；设计灵活，开发周期短，成本低；***可长期维护，现场可升级，非常方便地根据用户的要求来改进设计，而不用改动整体的电路结构。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种图像去雾方法，其特征在于，该方法的步骤包括

通过图像采集装置，获取原始图像I；

基于原始图像I，计算图像I的暗通道I^dark；

利用暗通道I^dark对原始图像I的全局大气参数A进行估计；

基于暗通道I^dark和全局大气参数A对原始图像I的大气透射率t进行估计；

利用全局大气参数A和大气透射率t去除原始图像中的雾，获得去雾后的清晰图像J。

2.根据权利要求1所述的一种视频图像去雾方法，其特征在于，利用公式：计算暗通道I^dark，其中，I^dark表示彩色图像的暗通道，I^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口。

3.根据权利要求2所述的一种视频图像去雾方法，其特征在于，通过计算暗通道I^dark的最大值，并减去一个修正因子△A来确定全局大气参数A。

4.根据权利要求3所述的一种视频图像去雾方法，其特征在于，所述修正因子△A的取值为30。

5.根据权利要求3所述的一种视频图像去雾方法，其特征在于，利用公式：以及暗通道I^dark和全局大气参数A确定大气透射率t。

6.根据权利要求5所述的一种视频图像去雾方法，其特征在于，所述因子ω为去雾后的图像保留一定的景深，所述因子ω取0.8。

7.根据权利要求5所述的一种视频图像去雾方法，其特征在于，利用公式：以及全局大气参数A和大气透射率t去除原始图像I中的雾。

8.根据权利要求1所述的一种视频图像去雾方法，其特征在于，该方法的步骤进一步包括利用公式：对所述清晰图像J的亮度进行校正，其中c为图像的R、G、B三个通道，Avg_c为某一通道的所有像素点的灰度值的均值。

9.一种图像去雾的FPGA，其特征在于，该FPGA包括

RGB同步模块，用于调整输入图像信号之间的时序关系，获得稳定的、符合处理时序的图像数据；

图像暗通道产生模块，利用公式：计算暗通道I^dark；

全局大气参数计算模块，基于暗通道I^dark，计算暗通道I^dark的最大值，并减去修正因子△A，确定全局大气参数A；

大气透射率计算模块，基于暗通道I^dark和全局大气参数A，利用公式： 确定大气透射率t；

图像恢复单元，基于暗通道I^dark、全局大气参数A和大气透射率t，利用公

图像输出模块，用于将恢复后的图像输出。

10.一种包含权利要求9所述图像去雾FPGA的去雾***，该***包括

图像采集单元，用于采集原始图像；

去雾FPGA，用于对原始图像进行去雾处理；

图像输出单元，用于输出去雾后的清晰图像；

供电模块，用于为***单元模块供电。