CN115660998A - 基于深度学习和传统先验知识融合的图像去雾方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供了一种基于深度学***均线网络，用于稳定去雾网络训练过程；利用传统先验知识设计新的雾霾自适应损失函数；使用训练集和损失函数对去雾网络进行训练；将测试集中的雾霾图像输入到训练好的去雾网络中，得到去雾图像。本发明提供了一种基于深度学习和传统先验知识融合的图像去雾方法，将传统先验知识融合到深度学习去雾模型中，充分考虑了与雾霾相关的特性，有效提升了去雾效果，同时网络框架简单通用，泛化性强。

Description

基于深度学习和传统先验知识融合的图像去雾方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习和传统先验知识融合的图像去雾方法。

背景技术

在现实世界中获取到的图像很容易受到雾霾等恶劣天气的影响，拍照时由于雾霾等杂质造成的低质量图像会严重影响目标识别、跟踪、语义分割等高级视觉任务。因此，去除图像中的雾霾杂质，恢复清晰的背景具有重要意义。

为了缓解雾霾对图像的影响，人们提出了很多从图像中去除雾霾的方法，大致可以分为基于传统先验知识的方法和基于深度学习的方法。其中，基于传统先验知识的方法是利用雾霾成像模型和合理的手工先验去除雾霾，如暗通道先验、颜色衰减先验和雾霾线先验等。虽然这些基于经验统计观测的先验可以提高雾霾图像的质量，但它们只适用于特定的场景中，在复杂多变的现实场景中去雾效果较差。例如，暗通道先验的去雾结果容易出现块状伪影，颜色衰减先验不能从密集的雾霾区域恢复纹理细节信息。

基于深度学习的方法消除了对手工先验的依赖，在图像去雾方面取得了很大的进展。现有的基于深度学习的图像去雾算法按照训练方式可分为基于监督的(如AECR-Net)、基于半监督的(如semi-dehazing)和基于无监督的算法(如YOLY)。基于监督的方法主要依靠网络结构的设计和丰富的雾霾/清晰图像对来恢复低质图像的细节信息，然而对于具有挑战性的雾霾区域，这些方法无法在有效去除雾霾的同时抑制伪影等噪声。尽管基于半监督和基于无监督的方法可以缓解这一问题，但与基于监督的方法相比，它们的去雾效果有所下降。并且现有的基于深度学习的方法忽略了传统先验知识在图像去雾上的优势。

发明内容

针对现有的图像去雾方法中存在的上述问题，本文提出了一种基于深度学习和传统先验知识融合的图像去雾方法，该方法将深度学习模型与传统去雾方法的先验知识充分融合，提升去雾效果的同时，增强了可解释性。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度学习和传统先验知识融合的图像去雾方法，包括以下步骤：

步骤1：获得公开的用于图像去雾的训练数据集和测试数据集，并对数据集中的图像进行预处理；

步骤2：搭建去雾网络，所述去雾网络的输入为数据集中的雾霾图像，对雾霾图像进行端到端的去雾清晰化处理，直接输出去雾图像R₁；

步骤3：搭建指数移动平均网络，所述网络的输入与步骤2中去雾网络的输入相同，最终输出图像R₂；

步骤4：利用预处理的训练数据集和损失函数对步骤2中的去雾网络进行训练，直至达到最大迭代次数；

步骤5：将测试数据集中的雾霾图像输入到训练好的去雾网络中，得到最终的去雾图像。

进一步地，所述步骤1中的预处理包括将同一数据集中的所有图像裁减为统一大小、图像像素值归一化等操作。

进一步地，所述步骤2中的去雾网络可选择现有的任意的基于监督的去雾网络模型。

进一步地，所述步骤3中的指数移动平均网络与步骤2中的去雾网络结构相同，但网络的初始参数不同，并且在训练过程中参数不更新；指数移动平均网络的初始参数由步骤2中去雾网络的初始参数通过下式计算得到：

其中，Ψ_EMA表示指数移动平均网络的初始参数，Ψ表示步骤2中去雾网络的初始参数，α是权重参数。

进一步地，所述步骤4中的损失函数在采用常见的L₁损失函数和感知损失函数的基础上，设计了新的雾霾自适应损失函数，总损失函数L_total可表示为：

L_total＝L₁+L_percep+L_HAL

其中，L₁、L_percep、L_HAL分别表示L1损失函数、感知损失函数和新设计的雾霾自适应损失函数。

进一步地，雾霾自适应损失函数通过能够表征雾霾区域的像素级权重矩阵计算得到，像素级权重矩阵通过暗通道先验和残差、方差等操作检测去雾图像中残留的雾霾区域，并且矩阵中的元素值表示图像中对应位置的雾霾概率值；雾霾自适应损失函数的具体计算过程如下：

首先检测去雾网络输出的去雾图像中残留的雾霾区域，使用暗通道先验(DarkChannel Prior,DCP)对步骤2和步骤3中的输出图像R₁、R₂，以及输入的雾霾图像对应的无雾图像GT进行处理，得到三个输出结果，分别表示为

和CT^DCP，然后分别计算

GT^DCP和

GT^DCP的残差，来检测输出的去雾图像中残留的雾霾区域，可表示为：

其中，Re₁、Re₂分别表示R₁、R₂对应的残差图；

为了更好地去除残余雾霾和伪影等噪声，通过局部方差提取残差图Re₁中的高频成分，具体可以表示为：

其中，Ω(x)表示以像素点x为中心的局部图像块，|Ω(x)|表示局部图像块Ω(x)中的像素数量，

表示在局部图像块Ω(x)中Re₁强度的平均值；

由于上述提取的高频成分既包含噪声，也包含有用的细节信息，因此为了保留细节信息和抑制噪声，计算残差图Re₁的全局方差，可以表示为：

其中，a为比例因子，

将全局方差var(Re₁)缩放到适当的尺度；通过k，可以得到一个有效表征雾霾和伪影等噪声的特征图，表示为kH；

在去雾网络的早期训练阶段，可能会存在细节信息被抑制的问题，因此为了进一步提升去雾网络训练的稳定性与去雾效果，利用步骤3中指数移动平均网络的输出对特征图kH进行改进，得到每一个元素值表征雾霾和伪影概率的像素级权值矩阵

表示为：

当Re₁(x)<Re₂(x)，特征图中元素值为0，否则，为KH；

设计的雾霾自适应损失函数L_HAL可以表示为：

本发明提出的去雾方法将深度学习与传统先验知识进行了结合，能够有效检测到输出图像中的残余雾霾，并设计了一个新的损失函数，将检测到的残余雾霾去除，同时可以恢复图像中的细节信息，抑制伪影等噪声，提升去雾效果。本发明提出的网络框架简单有效，易于扩展到其它去雾网络，提高其它去雾网络的去雾性能，并且能够适用于不同的雾霾环境中。

总之，我们的方法有以下优势：

1)本发明提出了一种新的去雾方法，该方法将深度学习模型与强大的雾霾图像先验知识充分融合，增强了可解释性；

2)本发明提出了一种雾霾检测方法，利用雾霾相关特征和传统先验知识检测残余雾霾，从而有效将更具有挑战性的雾霾区域进行区分；

3)本发明设计了一种新的通用附加损失函数，在去除残余雾霾的同时能够抑制伪影等噪声，并恢复细节信息。

附图说明

图1是本发明提出的基于深度学习和传统先验知识融合的图像去雾方法的流程图；

图2是本发明中雾霾自适应损失函数具体计算过程框架图；

图3示出本发明的去雾方法中对去雾图像中残余雾霾检测的效果图；

图4示出本发明提出的去雾方法与其他去雾方法的去雾效果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，通过附图和下述实施例，对本发明进行进一步详细说明，其中，附图中相同的标记代表相同或相似的组件。然而，以下所描述的具体实施例仅仅用于解释本发明，并非用来限制本发明所涵盖的范围。

参照图1，本发明实施例的方法按照以下步骤操作：

步骤1：获得常见的用于去雾的训练集和测试集，获取的数据集包含RESIDE、NHHaze等训练数据集，以及SOTS、NHHaze、HSTS等测试集；并对不同的数据集进行不同的预处理操作，如将RESIDE训练数据集中的所有图像大小统一裁减为256×256，NHHaze训练数据集中的所有图像大小统一裁减为512×512，测试集中所有图像保持原本大小，并对每个数据集中的所有图像进行归一化处理。

步骤2：搭建去雾网络，对输入的雾霾图像进行端到端处理，输出去雾图像；去雾网络可选择现有的任意的基于监督的去雾网络模型。在本发明的一个实施例中，以Dehazeformer网络模型作为去雾网络，Dehazeformer模型使用U型框架结构，编码器部分用于提取深层次、多尺度特征和全局信息，包含卷积层、Transformer块、下采样层；解码器部分用于融合多尺度特征和恢复空间信息，包含上采样层、融合层以及Transformer块。

步骤3：搭建指数移动平均网络，所述网络与步骤2中的去雾网络结构相同，但网络初始参数不同，并且在训练过程中参数不更新；指数移动平均网络的初始参数由步骤2中去雾网络的初始参数计算得到。可以表示为：

其中，Ψ_EMA表示指数移动平均网络的初始参数，Ψ表示步骤2中去雾网络的初始参数，α是权重参数，本实例中设为0.999。

步骤4：设计雾霾自适应损失函数，需要通过暗通道先验和残差、方差等操作检测去雾图像中残留的雾霾区域，并计算得到表征雾霾区域的像素级权值矩阵，通过该矩阵计算雾霾自适应损失；

雾霾自适应损失函数具体计算过程框架如图2所示，具体计算过程如下：

首先检测去雾图像中残留的雾霾区域。使用暗通道先验(Dark Channel Prior,DCP)对步骤2和步骤3中输出的去雾图像R₁、R₂，以及对应的无雾图像GT进行处理，得到三个处理结果，分别表示为

和GT^DCP。然后分别计算

GT^DCP和

GT^DCP的残差，来检测输出的去雾图像中残留的雾霾区域，可表示为：

其中，Re₁、Re₂分别表示R₁、R₂对应的残差图。

为了能够将检测出来的残余雾霾和出现的伪影斑块去除，通过局部方差提取残差图Re₁中的高频成分。具体可以表示为：

其中，Ω(x)表示以像素点x为中心的局部图像块，|Ω(x)|表示局部图像块Ω(x)中的像素数量，

表示在局部图像块Ω(x)中Re₁强度的平均值。

由于上述提取的高频成分既包含噪声，也包含有用的细节信息，因此为了保留细节信息和抑制噪声，计算残差图Re₁的全局方差，可以表示为：

其中，

将全局方差var(Re₁)缩放到适当的尺度，a为比例因子，在网络中设为5。通过k，可以得到一个有效表征雾霾和伪影等噪声的特征图，表示为kH。

由于在去雾网络的早期训练阶段可能会存在细节信息被抑制的问题，因此为了进一步提升网络训练的稳定性和网络去雾效果，利用指数移动平均网络的输出对特征图kH进行改进，得到每一个元素值表征雾霾和噪声程度的像素级权值矩阵

表示为：

当Re₁(x)<Re₂(x)，特征图的元素值为0，否则，为kH。设计的雾霾自适应损失函数L_HAL通过像素级权值矩阵

可以表示为：

通过雾霾自适应损失函数，可以有效去除去雾图像中残留的雾霾区域和高频噪声，提升去雾效果。

步骤5：使用步骤1中预处理后的训练数据集分别对步骤2中的去雾网络进行训练，通过多轮迭代后，得到各个数据集对应的训练好的网络模型，训练时使用Adamw优化器,损失函数采用常见的L₁损失函数、感知损失函数和新设计的雾霾自适应损失函数，总损失函数L_total可表示为：

L_total＝L₁+L_percep+L_HAL

其中，L₁、L_percep、L_HAL分别表示L₁损失函数、感知损失函数和新设计的雾霾自适应损失函数。

步骤6:将不同测试集中的雾霾图像输入到对应的训练好的去雾网络中，得到最终的去雾图像。

图3示出本发明实施例中对去雾图像中的残余雾霾检测的效果图。

如图3(a)至3(h)所示，图3(a)为输入的雾霾图像，图像来自于NHHaze测试集，图3(b)为输入的雾霾图像对应的清晰无雾图像，图3(c)为去雾网络输出的去雾图像，图3(d)为去雾图像和无雾图像的残差图，图3(e)至图3(h)分别为图3(a)至图3(d)对应的暗通道图。从图3(h)和图3(d)的对比可以看出，暗通道先验能够更好、更完整地检测出去雾图像中残留的雾霾区域。

图4示出本发明实施例与其他去雾方法的去雾效果对比图。

如图4(a)至4(j)所示,图4(a)为输入的雾霾图像和局部区域的放大视图，图像来自于SOTS室外测试集，图4(b)为KDDN模型的去雾结果，图4(c)为AECRNet模型的去雾结果，图4(d)为PSD模型的去雾结果，图4(e)为FFANet模型的去雾结果，图4(f)为HLP模型的去雾结果，图4(g)为GridDehazeNet模型的去雾结果，图4(h)为YOLY模型的去雾结果，图4(i)为本发明去雾方法的去雾结果，图4(j)为输入的雾霾图像对应的清晰无雾图像。从上述不同去雾方法的实验结果对比可以看出，大多数方法的去雾结果中仍然存在不同程度的残余雾霾，并且容易出现伪影等问题，本发明的去雾方法能够去除残留的雾霾，同时很好地恢复细节信息，去雾结果最接近真实的清晰无雾图像。

以上所述参照附图描述了本发明的具体实施方式，可以理解的是，以上仅为本发明的一个实施例，不能理解为对本发明保护范围的限制，本领域的普通技术人员在本发明的范围内对上述实施例进行的变化、修改、替换和变型等都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习和传统先验知识融合的图像去雾方法，其特征在于，包括以下步骤：

步骤1：获得公开的用于图像去雾的训练数据集和测试数据集，并对数据集中的图像进行预处理；

步骤2：搭建去雾网络，所述去雾网络的输入为数据集中的雾霾图像，对雾霾图像进行端到端的去雾清晰化处理，直接输出去雾图像R₁；

步骤3：搭建指数移动平均网络，所述网络的输入与步骤2中的去雾网络输入相同，最终输出图像R₂；

步骤4：使用预处理的训练数据集和损失函数对步骤2中的去雾网络进行训练，直至达到最大迭代次数；

步骤5：将测试集中的雾霾图像输入到训练好的去雾网络中，得到最终的去雾图像。

2.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法，其特征在于，所述步骤1中的预处理包括将同一数据集中所有图像裁减为统一大小、图像像素值归一化等操作。

3.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法，其特征在于，所述步骤2中的去雾网络可选择任意的基于监督的深度学习去雾网络模型。

4.根据权利要求1所述的基于深度学***均网络与步骤2中的去雾网络结构相同，但网络的初始参数不同，并且在训练过程中参数不更新；指数移动平均网络的初始参数由步骤2中的去雾网络的初始参数计算得到，可以表示为：

其中，Ψ_EMA表示指数移动平均网络的初始参数，Ψ表示步骤2中去雾网络的初始参数，α是权重参数。

5.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法，其特征在于，所述步骤4中的损失函数在采用常见的L₁损失函数和感知损失函数的基础上，设计了新的雾霾自适应损失函数，总损失函数L_total可表示为：

L_total＝L₁+L_percep+L_HAL

其中，L₁、L_percep、L_HAL分别表示L₁损失函数、感知损失函数和雾霾自适应损失函数。

6.根据权利要求5所述的基于深度学习和传统先验知识融合的图像去雾方法，其特征在于，雾霾自适应损失函数通过能够表征雾霾区域的像素级权重矩阵计算得到，像素级权重矩阵通过暗通道先验和残差等操作检测去雾图像中残留的雾霾区域，并且权重矩阵中的元素值表示图像中对应位置的雾霾概率值；雾霾自适应损失函数的具体计算过程如下：

检测去雾网络输出的去雾图像中残留的雾霾区域；使用暗通道先验(Dark ChannelPrior，DCP)对步骤2和步骤3的输出图像R₁、R₂，以及输入的雾霾图像对应的无雾图像GT进行处理得到三个输出结果，分别表示为

和GT^DCP，然后分别计算

GT^DCP和

GT^DCP的残差，来检测输出去雾图像中残留的雾霾区域，可表示为：

其中，Re₁、Re₂分别表示R₁、R₂对应的残差图；

为了更好地将检测出来的残余雾霾和去雾图像中出现的伪影斑块进行去除，通过局部方差提取残差图Re₁中的高频成分，具体可以表示为：

其中，Ω(x)表示以像素点x为中心的局部图像块，|Ω(x)|表示局部图像块Ω(x)中的像素数量，

表示在局部图像块Ω(x)中Re₁强度的平均值；

由于上述提取的高频成分既包含噪声，也包含有用的细节信息，因此为了保留细节信息和抑制噪声，计算残差图Re₁的全局方差，可以表示为：

其中，a为比例因子，

将全局方差var(Re₁)缩放到适当的尺度；通过k，可以得到一个有效表征雾霾和噪声的特征图，表示为kH；

在去雾网络的早期训练阶段，可能会存在细节信息被抑制的问题，因此为了进一步提升网络训练的稳定性与去雾效果，利用步骤3中指数移动平均网络的输出结果对特征图kH进行改进，得到每一个元素值表征雾霾和噪声程度的像素级权值矩阵

表示为：

当Re₁(x)＜Re₂(x)，特征图中的元素值为0，否则，为kH；

通过像素级权值矩阵

雾霾自适应损失函数L_HAL可以表示为：

通过雾霾自适应损失函数，可以有效去除去雾图像中残留的雾霾区域和高频噪声，提升去雾效果。

Images