CN109801232A - 一种基于深度学习的单幅图像去雾方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的单幅图像去雾方法。该方法包括：获取室内外合成雾和真实雾的数据集，该数据集包括：训练集、测试集和验证集；构造基于残差网络(Residual Network)的端到端(end‑to‑end)的深度卷积神经网络，将所述训练集和验证集输入所述深度卷积神经网络并训练模型，达到最大迭代次数后训练结束，获取所述深度卷积神经网络在本次迭代中的最优模型，用测试集测试所述深度卷积神经网络和最优模型的去雾效果；利用深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，得到无雾图像。本发明的方法对不同浓度的合成雾图和室外真实雾图实现了端到端的恢复图像清晰化和可视化，具有不错的去雾效果和实际应用价值。

Description

一种基于深度学习的单幅图像去雾方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的单幅图像去雾方法。

背景技术

随着智慧城市和安防快速发展，视频监控遍布在我们生活的每个角落，然而雾天气对视频图像的智能分析提出了巨大的挑战。因为图像质量给目标检测与识别带来很大影响，而恶劣天气因素引起的图像质量退化尤为严重。雾降低了图像的亮度和对比度，导致物体变得模糊。因此，在恶劣天气条件下，如何获得高质量的清晰图像以实现目标物体的准确检测，这一问题在视频监控智能识别领域具有重要的研究价值。

目前，现有技术中的图像增强和复原方法有经典方法和深度学习方法，其中经典方法又分为图像增强方法和基于物理模型的图像复原方法。基于物理模型的图像复原研究中，主要通过建立大气散射物理模型模拟雾天场景的生成来分析去除雾的方法。其中最著名的算法是何凯明等提出的基于暗通道优先的去雾算法，该类算法的重点是通过估计环境光和传输图参数，逆推导出有雾图对应的无雾图像。虽然暗通道先验的方法相比于图像增强方法能有效去除雾霾，但是该类算法在图像大块区域很白，很亮时不存在暗像素，所以这也是暗通道先验的局限性。

基于图像增强方法通过采用各种方法如Gamma变换、Retinex理论等增强图像对比度以提高图像的可视化，但从本质上来说该类方法并没有从雾的形成的物理角度去雾，反而会导致图像的部分像素信息丢失。

发明内容

本发明的实施例提供了一种基于深度学习的单幅图像去雾方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于深度学习的单幅图像去雾方法，包括：

获取室内外合成雾和真实雾的数据集，该数据集包括：训练集、测试集和验证集；

构造基于残差网络(Residual Network)的端到端(end-to-end)的深度卷积神经网络，将所述训练集和验证集输入所述深度卷积神经网络并训练模型，达到最大迭代次数后训练结束，获取所述深度卷积神经网络在本次迭代中的最优模型，用所述测试集测试所述深度卷积神经网络和最优模型的去雾效果；

利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，得到无雾图像。

进一步地，所述的获取室内外合成雾和真实雾的数据集，该数据集包括：训练集、测试集和验证集，包括：

采用ChinaMM2018-dehazing竞赛数据集作为数据集，该数据集包括：训练集、测试集和验证集；

所述训练集包含无雾图像1300张，对应的人工合成雾图像是13000张图片，每张无雾图像对应不同浓度的雾的图像10张；所述验证集包含无雾图像99张，对应的人工合成雾图像是990张，每张无雾图像对应不同浓度的雾的图像10张；所述测试集包括200张室内合成雾图、200张室外合成雾图和4469张室外真实雾图。

进一步地，所述的构造基于残差网络(Residual Network)的端到端(end-to-end)的深度卷积神经网络，将所述训练集和验证集输入所述深度卷积神经网络并训练模型，达到最大迭代次数后训练结束，获取所述深度卷积神经网络在本次迭代中的最优模型，包括：

构造基于残差网络的端到端的深度卷积神经网络，该深度卷积神经网络包含53个残差块，每个残差块包含2个Conv、2个BN和1个Prelu，所述深度卷积神经网络包含106个卷积层，所述卷积层的卷积核大小是3×3，输入3通道的RGB图像，所述卷积层对输入的RGB图像进行特征提取、批归一化、降采样操作和上采样操作；

设置所述深度卷积神经网络的网路架构、超参数和损失函数，所述损失函数采用L1和L2结合的方式，将所述训练集和验证集输入所述深度卷积神经网络，利用PyTorch框架训练所述深度卷积神经网络，在训练过程中每一次迭代生成训练模型和去雾结果，直至达到设定的最大迭代次数，所述深度卷积神经网络的训练结束；

所述深度卷积神经网络输出有雾图像和无雾图像之间的映射关系，根据所述映射关系输出所述验证集对应的去雾结果，对所述验证集对应的去雾结果和原图求结构相似性(SSIM)值，生成SSIM曲线，挑选所述SSIM曲线中的最大SSIM值对应的训练模型作为所述深度卷积神经网络在本次迭代中的最优模型。

进一步地，所述的卷积层对输入的RGB图像进行特征提取，包括：

所述的卷积层利用64个3×3的滤波器与输入的3通道的RGB图像进行卷积运算，得到64通道的特征图，再将64通道的特征图与3个3×3滤波器进行卷积运算后，输出3通道的RGB图像，N个滤波器在每一个卷积操作中会提取N种不同的图像特征。

进一步地，所述的用所述测试集测试所述深度卷积神经网络和最优模型的去雾效果，包括：

利用所述深度卷积神经网络和最优模型测试有雾图像，所述有雾图像包括室内合成雾图、室外合成雾图和室外真实雾图，所述深度卷积神经网络的最优模型输出无雾图像，计算出输入的有雾图像和对应的输出的无雾图像之间的峰值信噪比(PSNR)和结构自相似性(SSIM)，综合SSIM和PSNR的值来衡量所述深度卷积神经网络和最优模型的去雾效果。

进一步地，所述的利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，得到无雾图像，包括：

利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，输出无雾图像，利用Faster R-CNN的预训练模型对所述待去雾的有雾图像和对应的无雾图像进行目标检测，比较待去雾的有雾图像和对应的无雾图像中相同目标的检测结果，获取所述待去雾的有雾图像的去雾效果，体现去雾处理的重要性。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的基于深度学习的图像去雾方法与基于物理模型的图像恢复算法相比，本发明使用端到端的深度学习算法实现对雾霾图像的去雾处理，无需人为设计特征提取和人为参数估计，对不同浓度的合成雾图和室外真实雾图实现了端到端的恢复图像清晰化和可视化。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于深度学习的单幅图像去雾方法的整体流程图。

图2是本发明实施例提供的一种基于Residual Network(残差网络)的end-to-end(端到端)的深度卷积神经网络的结构示意图。

图3是本发明实施例提供的一种从SSIM曲线中挑选最优模型过程图。

图4(a)、4(c)是本发明实施例提供的一种室内和室外合成雾图，4(b)、4(d)是利用本发明图像去雾算法进行去雾后的对应效果图。

图5(a)、5(c)、5(e)是本发明实施例提供的一种室外真实雾图去雾前目标检测结果示意图，图5(b)、5(d)、5(f)是本发明实施例提供的一种去雾后的检测结果示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

近年来随着软硬件的快速发展，深度卷积神经网络在图像图像处理领域得到的快速发展和广泛应用。基于深度学习的去雾算法实现端到端的图像去雾，即输入有雾图像输出无雾图像，该类算法的去雾的效果优于上述的所有算法。

在重度雾天条件下，图像可视化变差，目标往往由于图像雾化等干扰导致检测和识别准确率低，误检率高。所以为了提高雾天气条件下图像中目标检测和识别的精确度，对雾霾图像预处理非常必要，所以本发明实施例提出一种基于深度学习的单幅图像去雾方法。

本发明实施例提供的一种基于深度学习的单幅图像去雾方法的处理流程示意图如图1所示，具体如下步骤：

步骤1，本发明实施例采用的数据集是ChinaMM2018-dehazing竞赛数据集；

步骤1.1，训练集和验证集均是室内图像，其中训练集是13000张图像，验证集是990张图像。

步骤1.2，训练集包含无雾图像是1300张，对应的人工合成雾图像是13000张图片，每张无雾图像对应不同浓度的雾的图像10张；

步骤1.3，验证集包含无雾图像是99张，对应的人工合成雾图像是990张，每张无雾图像对应不同浓度的雾的图像10张；

步骤1.4，测试集是200张室内合成雾图，200张室外合成雾图，和4469张室外真实雾图。

步骤2，设计一种基于Residual Network(残差网络)的end-to-end(端到端)的DCNN(Deep Convolutional Neural Networks,深度卷积神经网络)。

步骤2.1，本发明实施例提供的一种上述深度卷积神经网络的架构如图2所示，包含53个残差块，每个残差块包含2个Conv、2个BN和1个Prelu。所以该深度卷积神经网络有106个卷积层。

步骤2.2，该深度卷积神经网络的卷积层(Conv，convolution)的卷积核大小是3×3，输入为RGB图像是3通道，

提取特征过程先由3通道转换为64通道最后再转换为3通道输出，该过程是先由64个3×3的滤波器与3通道卷积后得64通道，最后再将64通道与3个3×3滤波器卷积后输出3通道的图片，N个滤波器在每一个卷积操作中会提取N种不同的图像特征。

步骤2.3，批归一化(BN，Batch Normalization)，为了防止发生梯度***，加快神经网络的收敛速度和模型的训练速度，在卷积操作后采用批归一化操作。

步骤2.4，激活函数,激活深度卷积神经网络模型的非线性映射，为了减少梯度饱和，激活函数采用正线性单元PReLU(Parametric Rectified Linear Uint)。

步骤2.5，为了提取更广范围的特征和减少GPU的计算内存，这里采用降采样操作(平均池化，Average-pooling),核大小为2×2，步长为2。

步骤2.6，上采样操作(Upsample)，由于前面采用了降采样操作特征图缩小了，所以上采样的目的是还原特征图的大小。

步骤3，设置好网络的超参数，利用PyTorch框架训练上述深度卷积神经网络，在训练过程中每一次迭代生成训练模型和去雾结果，直至达到最大迭代次数，网络训练结束。

步骤3.1，最大迭代次数设置为370，Bach size设置为13000；

步骤3.2，学习率设置为1×10-4，以避免不收敛。

步骤3.3，目标函数既损失函数采用L1和L2结合的方式。

步骤3.4，得到有雾图像和无雾图像之间的映射关系，最终输出验证集对应的去雾结果。

步骤4，挑选最优模型。

步骤4.1，对所述验证集对应的去雾结果和原图求SSIM，生成SSIM曲线，挑选所述SSIM曲线中的最大SSIM值对应的训练模型作为所述深度卷积神经网络的最优模型。图3是本发明实施例提供的一种曲线SSIM中挑选最优模型过程图。

步骤5，利用所述深度卷积神经网络和最优模型测试室内合成雾图、室外合成雾图和室外真实雾图，输出无雾图像，此处只包含正向传播。

步骤5.1，本发明利用室内外合成雾图像和真实雾图像测试深度卷积神经网络和最优模型性能。

步骤5.2，利用所述深度卷积神经网络和最优模型测试有雾图像(室内合成雾图、室外合成雾图和室外真实雾图)，输出无雾图像，此处只包含正向传播。

步骤5.3，输出测试结果如图4所示，图4(a)、4(c)是有雾图像，图4(b)、4(d)是利用本发明图像去雾算法进行去雾处理后得到的无雾图像。

步骤5.4，计算出输入的有雾图像和对应的输出的无雾图像之间的峰值信噪比(PSNR)和结构自相似性(SSIM)，综合SSIM和PSNR的值来衡量所述深度卷积神经网络和最优模型的去雾效果。由下表1可室外合成雾图测试结果较室内差的PSNR低，原因是本算法的训练集全部是室内合成雾图。

表1

本发明去雾算法	PSNR	SSIM
			室内合成雾图测试	26.5306	0.9275
室外合成雾图测试	23.2270	0.9223

步骤6，检测去雾前后图像中的目标

步骤6.1，利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，输出无雾图像。

步骤6.2，利用Faster R-CNN的预训练模型对所述待去雾的有雾图像和对应的无雾图像进行目标检测，比较待去雾的有雾图像和对应的无雾图像中相同目标的检测结果，获取所述待去雾的有雾图像的去雾效果，体现去雾处理的重要性。

检测结果如图5所示，室外真实雾图去雾前目标检测结果如图5(a)、5(c)、5(e)和去雾后的检测结果如图5(b)、5(d)、5(f)。从检测结果可以看出去雾后的图像检测准确率高，可见在恶劣雾天气下先对图像去雾霾再检测是十分有意义的。

综上所述，本发明实施例的基于深度学习的图像去雾方法与基于物理模型的图像恢复算法相比，本发明使用端到端的深度学习算法实现对雾霾图像的去雾处理，无需人为设计特征提取和人为参数估计，对不同浓度的合成雾图和室外真实雾图实现了端到端的恢复图像清晰化和可视化，具有不错的去雾效果和实际应用价值。

与深度学习算法相比，本发明实施例的基于深度学习的图像去雾方法结合多损失函数，网络模型具有很好的泛化能力。本发明的网络结构将第一个block提取的特征与最后提取特征相结合，减少了传递过程中特征信息的损失。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于深度学习的单幅图像去雾方法，其特征在于，包括：

获取室内外合成雾和真实雾的数据集，该数据集包括：训练集、测试集和验证集；

构造基于残差网络Residual Network的端到端end-to-end的深度卷积神经网络，将所述训练集和验证集输入所述深度卷积神经网络并训练模型，达到最大迭代次数后训练结束，获取所述深度卷积神经网络在本次迭代中的最优模型，用所述测试集测试所述深度卷积神经网络和最优模型的去雾效果；

利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，得到无雾图像。

2.根据权利要求1所述的方法，其特征在于，所述的获取室内外合成雾和真实雾的数据集，该数据集包括：训练集、测试集和验证集，包括：

采用ChinaMM2018-dehazing竞赛数据集作为数据集，该数据集包括：训练集、测试集和验证集；

所述训练集包含无雾图像1300张，对应的人工合成雾图像是13000张图片，每张无雾图像对应不同浓度的雾的图像10张；所述验证集包含无雾图像99张，对应的人工合成雾图像是990张，每张无雾图像对应不同浓度的雾的图像10张；所述测试集包括200张室内合成雾图、200张室外合成雾图和4469张室外真实雾图。

3.根据权利要求1或者2所述的方法，其特征在于，所述的构造基于残差网络的端到端的深度卷积神经网络，将所述训练集和验证集输入所述深度卷积神经网络并训练模型，达到最大迭代次数后训练结束，获取所述深度卷积神经网络在本次迭代中的最优模型，包括：

构造基于残差网络的端到端的深度卷积神经网络，该深度卷积神经网络包含53个残差块，每个残差块包含2个Conv、2个BN和1个Prelu，所述深度卷积神经网络包含106个卷积层，所述卷积层的卷积核大小是3×3，输入3通道的RGB图像，所述卷积层对输入的RGB图像进行特征提取、批归一化、降采样操作和上采样操作；

设置所述深度卷积神经网络的网路架构、超参数和损失函数，所述损失函数采用L1和L2结合的方式，将所述训练集和验证集输入所述深度卷积神经网络，利用PyTorch框架训练所述深度卷积神经网络，在训练过程中每一次迭代生成训练模型和去雾结果，直至达到设定的最大迭代次数，所述深度卷积神经网络的训练结束；

所述深度卷积神经网络输出有雾图像和无雾图像之间的映射关系，根据所述映射关系输出所述验证集对应的去雾结果，对所述验证集对应的去雾结果和原图求结构相似性SSIM值，生成SSIM曲线，挑选所述SSIM曲线中的最大SSIM值对应的训练模型作为所述深度卷积神经网络在本次迭代中的最优模型。

4.根据权利要求3所述的方法，其特征在于，所述的卷积层对输入的RGB图像进行特征提取，包括：

所述的卷积层利用64个3×3的滤波器与输入的3通道的RGB图像进行卷积运算，得到64通道的特征图，再将64通道的特征图与3个3×3滤波器进行卷积运算后，输出3通道的RGB图像，N个滤波器在每一个卷积操作中会提取N种不同的图像特征。

5.根据权利要求3所述的方法，其特征在于，所述的用所述测试集测试所述深度卷积神经网络和最优模型的去雾效果，包括：

利用所述深度卷积神经网络和最优模型测试有雾图像，所述有雾图像包括室内合成雾图、室外合成雾图和室外真实雾图，所述深度卷积神经网络的最优模型输出无雾图像，计算出输入的有雾图像和对应的输出的无雾图像之间的峰值信噪比(PSNR)和结构自相似性(SSIM)，综合SSIM和PSNR的值来衡量所述深度卷积神经网络和最优模型的去雾效果。

6.根据权利要求5所述的方法，其特征在于，所述的利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，得到无雾图像，包括：

利用所述深度卷积神经网络和最优模型对待去雾的有雾图像进行去雾处理，输出无雾图像，利用Faster R-CNN的预训练模型对所述待去雾的有雾图像和对应的无雾图像进行目标检测，比较待去雾的有雾图像和对应的无雾图像中相同目标的检测结果，获取所述待去雾的有雾图像的去雾效果，体现去雾处理的重要性。