CN110517203A - 一种基于参考图像重建的去雾方法 - Google Patents

Abstract

本发明公开了一种基于参考图像重建的去雾方法。其步骤包括：首先利用深度相机采集不同场景与不同光线的无雾彩色图像与深度图像数据集，进行初步预处理；设置大气光值与透射率，对无雾图像进行合成有雾图像，且对有雾数据集进行降噪预处理；然后选取有雾图像对应内容相似的图像作为参考图像；最后构造端到端的卷积神经网络模型，具体来说，网络分别经历提取雾度特征，移除雾度特征，自适应地迁移参考图像的纹理，重建高分辨率的去雾图像的过程。上述方法与大多数基于端到端深度学习方法不同，它没有结合显示的大气物理模型，而是通过构造去雾网络和引入参考图像，隐式的去除雾度，实现图像去雾的同时增强图像的细节。

Description

一种基于参考图像重建的去雾方法

技术领域

本发明涉及一种图像处理方法，具体涉及一种基于深度学习的图像去雾方法。

背景技术

雾是由空气中的水滴或者大量微小粒子形成的大气现象。在这种环境下拍摄的图像通常存在颜色失真，对比度严重下降，场景细节丢失等问题。这些问题会严重影响各类依赖于光学成像仪器的***性能，如，城市交通***，户外监控***，目标识别***等。因此，采取有效的措施去除图像的雾度，恢复图像的清晰度变得越来越有必要。

图像去雾过程是将朦胧的图像作为输入并消除降解效应，最终恢复无雾的图像。目前，对于雾天图像处理的方法主要分为三大类：第一类是基于图像处理的算法。这类算法实质是利用图像处理的方法来改变对比度或者亮度，从而提高了图像的视觉效果。然而，这种方法并不关注图像退化的原因，导致图像去雾并不彻底，图像易失真等问题。第二类是基于图像复原的算法。这类算法是基于大气散射原理，通过求解雾天图像降质过程的逆过程来恢复无雾图像。这类方法复原出来的图像效果真实，更加贴近降质前景物原景，对复杂场景的图像处理效果较好，图像信息得到较完整的保存。第三类是基于深度学习的方法。目前基于深度学习的图像去雾方法的研究非常火热，一些方法基于大气物理模型，一些直接进行学习映射。这些方法能够根据数据观测自动学习复杂的输入输出关系，允许学习人类无法察觉的更复杂的启发式学习。尽管这些方法取得了令人满意的结果，但是它们基于强烈的假设，并且需要与图像形成有关的多种参数，这些参数并不总是可用的。这是由于场景条件的不可预测性，导致它们在前景不真实的情况下失败，例如水下环境，高光或者低光的环境，或者雾霾不完全是白色的场景。

发明内容

（一）发明目的

本发明提出了一种基于参考图像重建的去雾方法，目的是缓解传统去雾方法处理的结果分辨率低，引入过多的参数导致运行效率低的问题。

（二）技术方案

为了实现上述目的，本发明采用如下技术方案：

首先收集与合成有雾图像数据集，对数据集中的图像匹配相似的高分辨率图像作为参考图像，然后构造端到端的卷积神经网络模型，根据有雾图像与参考图像的纹理相似性自适应地迁移参考图像的纹理，实现图像去雾的同时增强图像的细节。

本发明的具体步骤为：

步骤1、制作合成有雾图像数据集和真实有雾图像数据集。

上述步骤1具体包括以下步骤：

1.1)利用深度相机采集不同场景不同亮度的地面真实干净的图像与对应的深度图，共采集5000对数据，采集的场景主要分为室内场景，室外场景，特殊场景的亮度分为高光亮度，低光亮度；

1.2)对采集的成对图像进行预处理，包括对深度图与彩色图像进行对齐和固定大小处理；

1.3)给定无雾图像、场景深度图、大气光照度和大气散射系数，根据 公式，计算出传输透射图作为地面真实的传输透射图。根据大气物理模 型公式进行有雾图像合成，得到的有雾图像表示 为：

（1）

1.4)利用Google图片在线收集5000张真实有雾图像作为真实有雾图像数据集。

步骤2、 选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理。

上述步骤2具体包括以下步骤：

2.1) 从合成有雾数据集中随机选取3000对作为训练集，为了避免训练的网络模型对于数据集的依赖，从NYU2 Depth 数据集中随机选取1000对作为训练集；测试集包括合成有雾数据集的2000张，NYU2 Depth 数据集中的950张，在线收集的5000张真实有雾图像；

2.2) 对有雾图像利用FFDNet网络进行降噪，将有雾图像输入FFDNet去噪网络，输出去噪后的有雾图像。

步骤3、针对有雾数据集，制作参考图像数据集。

上述步骤3具体包括以下步骤：

3.1) 分别对有雾数据集中的每张图片，利用百度识图的功能，人工的快速搜索5张对应相似的无雾高分辨率参考图像；

3.2）将参考图像与对应的无雾图像批量调整为大小为的图片。

步骤4、构造去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现基本的图像去雾功能，第二部分实现纹理细节增强恢复功能。

上述步骤4具体包括以下步骤：

4.1) 第一部分采用编码器-功能层-解码器的网络结构。其中编码器负责实现特征提取功能。它由下采样层和卷积层组成，每个下采样层包括卷积层，归一化层，激活层。这里采用步长为2的卷积层来代替传统卷积网络中的固定的池化层来进行下采样。每个卷积层由输出的特征计算公式见下式：

（2）

其中表示图像矩阵，表示卷积核，表示卷积运算，表示偏置值。网络中的 每一个卷积层后都加入了批归一化层，对每个特征在所有样本上的值做了归一化处理，实 现稳定模型训练和加速收敛的作用。批量归一化定义为：

（3）

其中表示输入的特征图，表示的均值，表示的方差，每一层通过设置2个参数来实现放缩和平移，改变取值区间。为了加快训练卷积神经网络的速度快，使用ReLU 函数进行激活。ReLU函数的定义公式为：

（4）

中间功能层负责实现雾消除的功能。它由3个残差块和跳跃连接组成。每个残差块是一 个滤波器分别是的二旁路残差块，不同的旁路使用不同的卷积核。操作可以定 义为：

（5）

其中和分别代表权重和偏差，上标代表它们所在的层数，而下标代表层中使用 的卷积内核的大小，代表级联操作。和代表了残差块的输入和输出。最后通过逐元 素减法移除背景层，实现雾度移除；

重建网络由是与编码器相对应的解码器，它负责恢复去雾图像，由4个上采样层组成。其中上采样层由一个步长为2的反卷积层、一个批归一化层以及一个非线性激活层组成。每个上采样单元输入上采样单元的特征图在经过其中的反卷积层处理后尺寸将变为原来的两倍；

4.2) 第二部分的网络结构是由相同的编码器构成，两个编码器的层之间采用特征匹配块连接，将匹配的特征分别级联到解码器，实现在去雾的基础上获得细节更丰富的图像。相似特征交换定义为：

（6）

其中和表示从神经特征映射中采样的第个和第个补丁。表示神经特征空 间，表示第个和第个补丁之间的相似性。表示交换的特征图，特征交换可以用下 式表示：

（7） 。

步骤5、训练网络模型，利用测试集进行测试。

上述步骤5具体包括以下步骤：

5.1) 利用合成的有雾训练集训练网络，训练的目标函数表示网络估计的去雾图像与 真实的无雾图像的平均误差，设表示网络估计出的去雾图，表示地面真实的无雾 图，公式见下：

（8）

其中是训练集中第张有雾图像经过网络估计出的去雾图，是训练集中第 张有雾图像的地面真实的无雾图；

5.2) 利用测试数据集测试网络的性能，并利用主观或客观的评价指标PSNR，SSIM进行评价。

本发明的有益效果：

(1)本发明实现了端对端的图像去雾，避免引入过多的超参数导致运行效率低的问题；

(2)本发明利用相似的参考图像恢复去雾图像的细节，增强了图像的目标可视化；

本发明的方法可以处理不同场景的图像，即室内室外合成有雾图像以及真实世界中较亮区域与较暗区域的有雾图像，网络模型产生比现有的神经网络方法更好的去雾效果。

附图说明：

图1是本发明的一种基于残差网络的图像去雾方法的整体流程示意图；

图2是本发明构造的图像去雾网络结构示意图；

图3是本发明在较亮场景下获得的去雾结果图像；

图4是本发明在较暗场景下获得的去雾结果图像；

图5是本发明在室内场景下获得的去雾结果图像；

图6是本发明在室外场景下获得的去雾结果图像。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明；

如图1所示，包括以下步骤。

1) 制作合成有雾图像数据集和真实有雾图像数据集：

1.1) 利用深度相机采集不同场景不同亮度的地面真实干净的图像与对应的深度图，共采集5000对数据，采集的场景主要分为室内场景，室外场景，特殊场景的亮度分为高光亮度，低光亮度；

1.2) 对采集的成对图像进行预处理，包括对深度图与彩色图像进行对齐和固定大小处理；

1.3)给定无雾图像 、场景深度图、大气光照度和大气散射系数， 根据公式，计算出传输透射图作为地面真实的传输透射图。根据大气物 理模型公式进行有雾图像合成，得到的有雾图像 表示为：

（1）

1.4)利用Google图片在线收集5000张真实有雾图像作为真实有雾图像数据集。

2) 选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理：

2.1) 从合成有雾数据集中随机选取3000对作为训练集，为了避免训练的网络模型对于数据集的依赖，从NYU2 Depth 数据集中随机选取1000对作为训练集；测试集包括合成有雾数据集的2000张，NYU2 Depth 数据集中的950张，在线收集的5000张真实有雾图像；

2.2) 对有雾图像利用FFDNet网络进行降噪，将有雾图像输入FFDNet去噪网络，输出去噪后的有雾图像。

3) 针对有雾数据集，制作参考图像数据集：

3.1) 分别对有雾数据集中的每张图片，利用百度识图的功能，人工的快速搜索5张对应相似的无雾高分辨率参考图像；

3.2) 将参考图像与对应的无雾图像批量调整为大小为的图片。

4) 构造去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现基本的图像去雾功能，第二部分实现纹理细节增强恢复功能；

4.1) 第一部分采用编码器-功能层-解码器的网络结构。其中编码器负责实现特征提 取功能。它由下采样层和卷积层组成，每个下采样层包括卷积层，归一化层，激活层。 这里采用步长为2的卷积层来代替传统卷积网络中的固定的池化层来进行下采样。每个卷 积层由输出的特征计算公式见下式：

（2）

其中表示图像矩阵，表示卷积核，表示卷积运算，表示偏置值。网络中的 每一个卷积层后都加入了批归一化层，对每个特征在所有样本上的值做了归一化处理，实 现稳定模型训练和加速收敛的作用。批量归一化定义为：

（3）

其中表示输入的特征图，表示的均值，表示的方差，每一层通过设置2个参数来实现放缩和平移，改变取值区间。为了加快训练卷积神经网络的速度快，使用ReLU 函数进行激活。ReLU函数的定义公式为：

（4）

中间功能层负责实现雾消除的功能。它由3个残差块和跳跃连接组成。每个残差块是一 个滤波器分别是的二旁路残差块，不同的旁路使用不同的卷积核。操作可以定 义为：

（5）

其中和分别代表权重和偏差，上标代表它们所在的层数，而下标代表层中使用 的卷积内核的大小，代表级联操作。和代表了残差块的输入和输出。最后通过逐元 素减法移除背景层，实现雾度移除；

重建网络由是与编码器相对应的解码器，它负责恢复去雾图像，由4个上采样层组成。其中上采样层由一个步长为2的反卷积层、一个批归一化层以及一个非线性激活层组成。每个上采样单元输入上采样单元的特征图在经过其中的反卷积层处理后尺寸将变为原来的两倍；

4.2) 第二部分的网络结构是由相同的编码器构成，两个编码器的层之间采用特征匹配块连接，将匹配的特征分别级联到解码器，实现在去雾的基础上获得细节更丰富的图像。相似特征交换定义为：

（6）

其中和表示从神经特征映射中采样的第个和第个补丁。表示神经特征空 间，表示第个和第个补丁之间的相似性。表示交换的特征图，特征交换可以用下 式表示：

（7） 。

5) 训练网络模型，利用测试集进行测试：

5.1) 利用合成的有雾训练集训练网络，训练的目标函数表示网络估计的去雾图像与 真实的无雾图像的平均误差，设表示网络估计出的去雾图，表示地面真实的无雾 图，公式见下：

（8）

其中是训练集中第张有雾图像经过网络估计出的去雾图，是训练集中第 张有雾图像的地面真实的无雾图；

5.2) 利用测试数据集测试网络的性能，并利用主观或客观的评价指标PSNR，SSIM进行评价，部分测试结构见图3，图4，图5，图6。

图3表示较亮场景下的有雾图像的处理结果，图3(a)为有雾图像，图3(b)为本发明的处理结果。图4表示较暗场景下的有雾图像的处理结果，图4(a)为有雾图像，图4(b) 为本发明的处理结果。图5表示室内场景下的有雾图像的处理结果，图5(a)为有雾图像，图5(b)为本发明的处理结果。图6表示室外场景下的有雾图像的处理结果，图6(a)为有雾图像，图6(b) 为本发明的处理结果。从3-6图的结果可以看出，本发明具有普适性，对于特殊场景的图像也能发挥较好的效果。

综上，本发明公开了一种基于参考图像重建的去雾方法。与大多数基于端到端深度学习方法不同，它没有结合显示的大气物理模型，而是通过构造去雾网络和引入参考图像，隐式的去除雾度，避免了估计多个超参数导致运行效率低的问题，实现图像去雾的同时增强图像的细节。上述虽然结合附图对本发明的具体实施方式进行了详细的描述，但并不是限制了本发明的保护范围，所属领域技术人员应该明白，在本发明描述的技术范围内，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于参考图像重建的去雾方法，其特征在于，首先制作合成有雾图像数据集和真实有雾图像数据集；其次选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理；再其次针对有雾训练集，制作参考图像数据集；最后构造去雾网络模型，训练和测试网络，获取去雾图像。

2.如权利要求1所述的一种基于参考图像重建的去雾方法，其特征是，主要包含以下几个步骤：

步骤1、制作合成有雾图像数据集和真实有雾图像数据集；

步骤2、 选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理；

步骤3、针对有雾训练集，制作参考图像数据集；

步骤4、构造去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现基本的图像去雾功能，第二部分实现纹理细节增强恢复功能；

步骤5、训练网络模型，利用测试集进行测试。

3.如权利要求2所述的一种基于参考图像重建的去雾方法，其特征是，所述步骤1) 采集不同场景不同亮度的地面真实干净的图像与对应的深度图，对采集的成对图像进行预处理，分为以下几个步骤：

1.1) 利用深度相机进行数据采集，共采集了5000对数据，采集的场景主要分为室内场景，室外场景，特殊场景的亮度分为高光亮度，低光亮度；

1.2) 对采集的成对图像进行预处理，对深度图与彩色图像进行对齐和固定大小处理；

1.3) 给定无雾图像、场景深度图、大气光照度和大气散射系数，根据大气物理模型公式进行有雾图像合成；

1.4) 利用Google图片在线收集5000张真实有雾图像作为真实有雾图像数据集。

4.如权利要求2所述的一种基于残差网络的图像去雾方法，其特征是，所述步骤2) 选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理，分为以下几个步骤：

2.1) 从合成有雾数据集中随机选取3000对作为训练集，为了避免训练的网络模型对于数据集的依赖，从NYU2 Depth 数据集中随机选取1000对作为训练集；测试集包括合成有雾数据集的2000张，NYU2 Depth 数据集中的950张，在线收集的5000张真实有雾图像；

2.2) 对有雾图像利用FFDNet网络进行降噪，将有雾图像输入FFDNet去噪网络，输出去噪后的有雾图像。

5.如权利要求2所述的一种基于残差网络的图像去雾方法，其特征是，所述步骤3) 针对有雾数据集，制作参考图像数据集，为以下几个步骤：

3.1) 分别对有雾数据集中的每张图片，利用百度识图的功能，人工的快速搜索5张对应相似的无雾高分辨率参考图像；

3.2）将参考图像与对应的无雾图像批量调整为大小为的图片。

6.如权利要求2所述的一种基于残差网络的图像去雾方法，其特征是，所述步骤4) 构造图像去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现基本的图像去雾功能，第二部分实现纹理细节增强恢复功能，分为以下几个步骤：

4.1) 第一部分采用编码器-功能层-解码器的网络结构；其中编码器负责实现特征提 取功能；它由4个下采样层组成，每个下采样层包括卷积层，归一化层，激活层；这里采用步 长为2的卷积层来代替传统卷积网络中的固定的池化层来进行下采样；中间功能层负责实 现雾消除的功能；它由5个残差块和跳跃连接组成；每个残差块是一个滤波器分别是，的二旁路残差块，不同的旁路使用不同的卷积核；重建网络由是与编码器相对应的解 码器，它负责恢复去雾图像，由4个上采样层组成；其中上采样层由一个步长为2的反卷积 层、一个批归一化层以及一个非线性激活层组成；每个上采样单元输入上采样单元的特征 图在经过其中的反卷积层处理后尺寸将变为原来的两倍；

4.2) 第二部分的网络结构是由相同的编码器构成，两个编码器的层之间采用特征匹配块连接，将匹配的特征分别级联到解码器，实现在去雾的基础上获得细节更丰富的图像。

7. 如权利要求2所述的一种基于残差网络的图像去雾方法，其特征是，所述步骤5) 训练网络模型，利用测试集进行测试，分为以下几个步骤：

5.1) 利用合成的有雾训练集训练网络，训练的目标函数表示网络估计的去雾图像与真实的无雾图像的平均误差；

5.2) 利用测试数据集测试网络的性能，并利用主观或客观的评价指标PSNR，SSIM进行评价。