CN109712083A - 一种基于卷积神经网络的单幅图像去雾方法 - Google Patents

Abstract

本发明提出一种基于卷积神经网络的单幅图像去雾方法，该方法首先构建训练集作为深度卷积神经网络模型的输入，网络模型包括浅层神经网络模型和深层神经网络模型，浅层网络模型用于提取并融合有雾图像RGB颜色空间的特征，输出为有雾图像的场景深度图；深层网络模型在浅层网络模型的基础上，对场景深度图进行多尺度映射、池化、卷积等操作，输出为有雾图像的透射率图。最后，通过透射率、大气光值以及大气散射模型即可恢复无雾图像。本发明通过对雾化图像RGB颜色空间的特征进行提取和融合，构建浅层卷积神经网络模型，与多尺度深层神经网络模型连接建立端到端的神经网络模型，能在多种场景下实现去雾清晰化，尤其在阴暗环境下可避免图像出现颜色失真。

Description

一种基于卷积神经网络的单幅图像去雾方法

技术领域

本发明涉及单幅图像去雾方法，具体为一种基于卷积神经网络的单幅图像去雾方法。

背景技术

由于垃圾焚烧、建筑扬尘、汽车尾气排放等原因，国内很多城市蒙上了雾霾的阴影。雾霾成为近年来受到大家持续关注的环境问题。雾霾天气拍摄的图像由于对比度、色彩饱和度下降，导致图片不清晰，影响图片的使用。比如，雾天交通监控视频拍摄模糊，致使图像在识别和处理过程中出现偏差，不利于准确记录交通信息。因此，提升雾天图像质量，降低雾霾天气对户外成像的影响，有着迫切的理论和实际需求。

随着计算机技术的发展，视频和图像去雾算法受到了广泛的关注，并广泛应用于民用和军事领域，如遥感、目标检测和交通监控。

目前，图像去雾算法主要可以分为三种类型：第一类是图像增强的去雾方法。该方法不考虑导致图像退化的原因，使图像去雾的问题转化为对比度增强的问题，经过增强后的图像具有更高的对比度，使得复原后的图像更符合人类的审美观念，但是处理后的图像存在信息丢失的问题，会出现失真现象。第二类是图像复原的去雾方法。该方法是从图像退化的角度出发进行分析，建立雾天成像的模型，推导出图像退化的过程，据此恢复出去雾后的图像，该方法使经过处理后的图像更加清晰、自然，细节损失较少。然而，去雾的效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效果。近年来，随着深度学习的不断发展，越来越多的被用于图像处理领域，比如图像分类、物体识别、人脸识别等，且获得了较好的效果。因此，基于深度学习的去雾算法可以被认为是第三类去雾算法。现有基于深度学习的图像去雾算法，有雾图像大都是通过无雾图像经由大气散射模型，随机设置参数人工合成；再将合成的有雾图像输入学习网络中，输出图像的透射率，最后经过逆推计算出无雾图像。卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型，它通过权值共享和局部感受野，减少参数个数和连接数量，降低了神经网络的复杂度，具有很强的适应性。因此，CNN被广泛应用于图像处理研究，其在图像识别领域的应用是当下研究热点。

基于图像复原的去雾算法虽然效果相对较好，但由于简化的物理模型是基于大气是单散射且介质均匀的条件下，不具有普适性，如不均匀雾或天空区域，且在阴暗的环境中易造成颜色失真。

发明内容

发明目的：为解决上述技术问题，本发明提出一种新的基于卷积神经网络和多通道颜色信息融合的图像去雾方法，以达到图像去雾的目的。

技术方案：为实现上述技术效果，本发明提出的技术方案为：

一种基于卷积神经网络的单幅图像去雾方法，包括依次执行的步骤(1)至(9)：

(1)构建训练样本和测试样本：获取若干无雾图像，在无雾图像上添加不同浓度的雾，得到有雾图像，将有雾图像和无雾图像转换成HDF5格式的图像块，并按照预设比例分别将有雾图像的图像块和无雾图像的图像块分为两部分，一部分作为训练样本，另一部分作为测试样本；

(2)构建多尺度深度卷积网络模型，所述多尺度深度卷积网络模型包括浅层卷积神经网络和深层卷积神经网络；

浅层卷积神经网络包括：依次级联的输入层、卷积层、全连接层、池化层和输出层；其中，输入层将输入图像块i映射到R、G、B颜色空间，卷积层采用高斯滤波器对输入图像块的R、G、B颜色通道的值分别进行卷积，卷积后的结果为

其中，I^c表示输入图像块R、G、B颜色空间的某一颜色通道的像素值矩阵，W₁和B₁分别表示对应的卷积网络的权重系数矩阵和偏差矩阵；

全连接层对上述卷积层的结果进行合并，合并后的结果为：

池化层对全连接层的结果进行下采样后，可得到输入图像块的高维特征向量F₂：

其中，F₂(x)表示输入图像块中像素点x处的特征值，Ω(x)是输入图像块中以像素点x为中心的某一区域；将池化层的结果F₂通过输出层输出至深层卷积神经网络，F₂即为输入图像块的场景深度矩阵；

深层卷积神经网络包括：输入层、多尺度映射单元、多尺度连接层、池化层、卷积层、BReLU激励层和输出层；

其中，输入层接收浅层卷积神经网络输出的高维特征向量F₂；多尺度映射单元将F₂映射为

其中，W₃为多尺度映射单元中3组不同尺度的卷积网络分别对应的权重系数矩阵，B₃为偏差矩阵，*代表卷积操作；

多尺度连接层对上述多尺度映射单元的输出结果进行合并得到F₃：

其中，分别为所述3组不同尺度的卷积网络的输出结果；

然后，池化层对多尺度连接层的输出进行下采样，池化层的输出为F₄：

卷积层将池化层的结果F₄映射为F₅：

F₅＝W₅*F₄+B₅

其中，W₅为多尺度映射单元中卷积网络的权重系数矩阵，B₅为偏差矩阵，*代表卷积操作；

BReLU激励层利用双边修正线性单元BReLU激活函数对卷积层的输出结果F₅进行非线性回归，得到F₆：

F₆(x)＝min(a_max,F₅(x))

其中，a_max为双边修正线性单元BReLU激活函数的上幅值；

最后，令t＝F₆，输出层输出t，t即为输入图像块的透射率矩阵；

(3)构建损失函数：

当只有单个训练样本i时，损失函数为：

当有多个训练样本时，损失函数为：

其中，t_i表示训练样本i的透射图，n是训练样本的个数，λ表示衰减参数，W_ji表示训练样本i的权值系数矩阵W_j，表示训练样本i的实际透射率矩阵；

(4)对每个W_ji，用平均值为0和标准偏差为0.001的高斯分布随机初始化W_ji中的各项分量；初始化B_ji为0，B_ji表示训练样本i的偏差矩阵B_j；初始化ΔW_ji＝0，ΔB_ji＝0；

(5)对每个样本i，利用反向传播算法求出W_ji和B_ji的偏导：和

求出W_ji和B_ji的变化量：

(6)更新：

(7)将更新后的W_ji和B_ji代入损失函数，重复执行步骤(5)至(7)，直至损失函数的值最小，至此，所述多尺度深度卷积网络模型训练完毕，转入步骤(8)；

(8)将新的有雾图像输入训练好的多尺度深度卷积网络模型，得到的输出结果作为该新的有雾图像的初始透射率；

(9)估计出新的有雾图像拍摄时的大气光强A；根据大气散射模型恢复相应的无雾图像。

进一步的，所述根据大气散射模型计算得到，大气散射模型为：

其中，I表示训练样本i的光强矩阵，J表示原始的无雾图像中与训练样本i相对应的图像块的光强矩阵，A为训练样本i相应的有雾图像拍摄时的大气光强度A。

进一步的，所述估计有雾图像拍摄时的大气光强A的方法为：

估计有雾图像的暗通道图：

其中，I^dark表示有雾图像的像素矩阵I的暗通道图估计结果，I^c表示I的某一颜色通道的值，y表示像素点；

对获得的暗通道图的像素值进行降序排序，选取排在前千分之一的像素点作为候选点，将候选点对应到有雾图像中的相应位置，在有雾图像中计算候选点相应位置的亮度值，将计算出的最大亮度值作为大气光强估计值A。

有益效果：与现有技术相比，本发明具有以下优势：

1、本发明与基于物理模型的图像复原算法相比，特别是经典的暗通道先验，本发明利用样本集的多样性以及网络结构的普适性，对介质不均匀以及雾化图像中的平坦区域都具有较好的去雾效果；

2、本发明通过对雾化图像RGB颜色空间三个通道的信息进行融合，设计端到端的深层卷积神经网络，避免了阴暗环境下去雾造成的颜色失真；

3、本发明了将卷积神经网络与图像先验信息相结合，可以更加准确的估计有雾图像的媒介透射率，可以获得更好的去雾效果，去雾后的图像更加真实自然。

附图说明

图1为发明所述一种基于卷积神经网络的单幅图像去雾方法的流程图；

图2为本发明中浅层卷积神经网络的结构图；

图3为本发明中深层卷积神经网络的结构图。

具体实施方式

下面结合附图和实施例对本发明作更进一步的说明。

图1所示为本发明所述一种基于卷积神经网络的单幅图像去雾方法的流程图，该方法包括：

步骤1、获取PASCAL VOC数据集以及在网上下载的无雾图像作为训练样本中的无雾图像集；

步骤2、利用柏林噪声(Perlin Noise)为步骤1中的无雾图像集添加不同浓度的雾，得到有雾图像集；将有雾图像集和无雾图像集中的图像裁剪成64*64的图像块，再转换成HDF5的数据格式存储，然后分别将有雾图像的图像块和无雾图像的图像块按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，便于训练；为了能够适应不同天气条件下的雾浓度，学习到不同雾浓度图像的特征，对无雾图像集合成了浓度分别为10，20，30，40，50，60，70，80，90，100的雾，得到有雾图像集；挑选有雾图像和无雾图像2506对作为训练样本，剩余502对作为测试样本；

步骤3、将步骤2中HDF5格式的训练样本作为输入，设计端到端的多尺度深度卷积网络模型；所述多尺度深度卷积网络模型包括浅层卷积神经网络和深层卷积神经网络；

浅层卷积神经网络的结构如图2所示，浅层卷积神经网络包括：1个输入层，1个卷积层，1个全连接层，1个池化层和1个输出层。

其中，卷积层包括32个的高斯滤波器，输入图像块RGB颜色空间的三个通道分别与平行的32个高斯滤波器进行卷积，使得每一个输入图像块被一个高维特征向量所代表：

其中，I^c表示输入图像块R、G、B颜色空间的某一颜色通道的像素值矩阵，W₁和B₁分别表示对应的卷积网络的权重系数矩阵和偏差矩阵；

全连接层对上述卷积层的结果进行合并，合并后的结果为：

其中，∩表示连接操作；

池化层对全连接层输出的高维特征向量进行下采样，采用Max pooling方法，滤波器大小为3*3，可得到输入图像块的高维特征向量F₂：

其中，F₂(x)表示输入图像块中像素点x处的特征值，Ω(x)是输入图像块中以像素点x为中心的某一区域；

将池化层的结果F₂通过输出层输出至深层卷积神经网络，F₂即为输入图像块的场景深度矩阵；

深层卷积神经网络的结构如图3所示，包括：输入层、多尺度映射单元、多尺度连接层、池化层、卷积层、BReLU激励层和输出层；

其中，输入层接收浅层卷积神经网络输出的高维特征向量F₂；多尺度映射单元将F₂映射为

其中，W₃为多尺度映射单元中3组不同尺度的卷积网络分别对应的权重系数矩阵，B₃为偏差矩阵，*代表卷积操作；

多尺度连接层对上述多尺度映射单元的输出结果进行合并得到F₃：

其中，分别为所述3组不同尺度的卷积网络的输出结果；

然后，池化层对多尺度连接层的输出进行下采样，池化层的输出为F₄：

卷积层将池化层的结果F₄映射为F₅：

F₅＝W₅*F₄+B₅

其中，W₅为多尺度映射单元中卷积网络的权重系数矩阵，B₅为偏差矩阵，*代表卷积操作；

BReLU激励层利用双边修正线性单元BReLU激活函数对卷积层的输出结果F₅进行非线性回归，得到F₆：

F₆(x)＝min(a_max,F₅(x))

其中，a_max为双边修正线性单元BReLU激活函数的上幅值；双边修正线性单元BReLU激活函数的梯度函数为：

最后，令t＝F₆，输出层输出t，t即为输入图像块的透射率矩阵；

步骤4：构建损失函数：

当只有单个训练样本i时，损失函数为：

当有多个训练样本时，损失函数为：

其中，t_i表示训练样本i的透射图，n是训练样本的个数，λ表示衰减参数，W_ji表示训练样本i的权值系数矩阵W_j，表示训练样本i的实际透射率矩阵；所述根据大气散射模型计算得到，大气散射模型为：

其中，I表示训练样本i的光强矩阵，J表示原始的无雾图像中与训练样本i相对应的图像块的光强矩阵，A为训练样本i相应的有雾图像拍摄时的大气光强度A。在损失函数中，等式右侧第一项是均方差项，第二项是规则项。可以看出，规则项和偏置B_ji无关，仅能控制权重的大小，因此也称为权重衰减项。权重衰减项中权重的衰减参数λ可以用来决定两项在损失函数中的比重。训练的关键就是通过不断调整权重W_ji和偏置B_ji，获得最小的损失函数。

训练时，首先对所有的权重W_ji和偏置B_ji参数进行初始化。网络模型每层的权重均使用平均值为0和标准偏差为0.001的高斯分布随机初始化滤波器权重，初始偏置设置为0。

初始化完成后，使用随机梯度下降算法来更新权重W_ji和偏置B_ji。更新规则分别服从公式如下：

式中，α表示学习速率。上述两个公式中的偏导数可以由反向传播算法求出，即对损失函数公式分别求对权W_ji和偏置B_ji的偏导：

其中，反向传播算法主要步骤是：首先将给定样本进行前向传递，得到全部网络神经节点的输出值，然后计算出总误差，并用总误差对某个节点进行求偏导，可得到该节点对最终输出的影响。

因此，完整的网络模型训练步骤如下：

对网络各层参数进行初始化；

对每个样本i:

a:利用反向传播求出和

b:求出参数W_ji和B_ji的变化量：

c：完成参数更新：

d：将更新的权重W_ji和偏置B_ji代入损失函数，重复执行步骤a至步骤d，直至损失函数最小，更新结束，进入步骤5。在训练过程中使用Nvidia Ge Force GTX 1050 8G GPU进行加速。

步骤5：将新的有雾图像输入训练好的多尺度深度卷积网络模型，得到的输出结果作为该新的有雾图像的初始透射率；

步骤6：估计出新的有雾图像拍摄时的大气光强A；根据大气散射模型恢复相应的无雾图像。其中，估计有雾图像拍摄时的大气光强A的方法为：

估计有雾图像的暗通道图：

其中，I^dark表示有雾图像的像素矩阵I的暗通道图估计结果，I^c表示I的某一颜色通道的值，y表示像素点。

对获得的暗通道图的像素值进行降序排序，选取排在前千分之一的像素点作为候选点，将候选点对应到有雾图像中的相应位置，在有雾图像中计算候选点相应位置的亮度值，将计算出的最大亮度值作为大气光强估计值A。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于卷积神经网络的单幅图像去雾方法，其特征在于，包括依次执行的步骤(1)至(9)：

(1)构建训练样本和测试样本：获取若干无雾图像，在无雾图像上添加不同浓度的雾，得到有雾图像，将有雾图像和无雾图像转换成HDF5格式的图像块，并按照预设比例分别将有雾图像的图像块和无雾图像的图像块分为两部分，一部分作为训练样本，另一部分作为测试样本；

(2)构建多尺度深度卷积网络模型，所述多尺度深度卷积网络模型包括浅层卷积神经网络和深层卷积神经网络；

浅层卷积神经网络包括：依次级联的输入层、卷积层、全连接层、池化层和输出层；其中，输入层将输入图像块i映射到R、G、B颜色空间，卷积层采用高斯滤波器对输入图像块的R、G、B颜色通道的值分别进行卷积，卷积后的结果为

其中，I^c表示输入图像块R、G、B颜色空间的某一颜色通道的像素值矩阵，W₁和B₁分别表示对应的卷积网络的权重系数矩阵和偏差矩阵；

全连接层对上述卷积层的结果进行合并，合并后的结果为：

池化层对全连接层的结果进行下采样后，可得到输入图像块的高维特征向量F₂：

其中，F₂(x)表示输入图像块中像素点x处的特征值，Ω(x)是输入图像块中以像素点x为中心的某一区域；将池化层的结果F₂通过输出层输出至深层卷积神经网络，F₂即为输入图像块的场景深度矩阵；

深层卷积神经网络包括：输入层、多尺度映射单元、多尺度连接层、池化层、卷积层、BReLU激励层和输出层；

其中，输入层接收浅层卷积神经网络输出的高维特征向量F₂；多尺度映射单元将F₂映射为

其中，W₃为多尺度映射单元中3组不同尺度的卷积网络分别对应的权重系数矩阵，B₃为偏差矩阵，*代表卷积操作；

多尺度连接层对上述多尺度映射单元的输出结果进行合并得到F₃：

其中，分别为所述3组不同尺度的卷积网络的输出结果；

然后，池化层对多尺度连接层的输出进行下采样，池化层的输出为F₄：

卷积层将池化层的结果F₄映射为F₅：

F₅＝W₅＊F₄+B₅

其中，W₅为多尺度映射单元中卷积网络的权重系数矩阵，B₅为偏差矩阵，*代表卷积操作；

BReLU激励层利用双边修正线性单元BReLU激活函数对卷积层的输出结果F₅进行非线性回归，得到F₆：

F₆(x)＝min(a_max，F₅(x))

其中，a_max为双边修正线性单元BReLU激活函数的上幅值；

最后，令t＝F₆，输出层输出t，t即为输入图像块的透射率矩阵；

(3)构建损失函数：

当只有单个训练样本i时，损失函数为：

当有多个训练样本时，损失函数为：

其中，t_i表示训练样本i的透射图，n是训练样本的个数，λ表示衰减参数，W_ji表示训练样本i的权值系数矩阵W_j，表示训练样本i的实际透射率矩阵；

(4)对每个W_ji，用平均值为0和标准偏差为0.001的高斯分布随机初始化W_ji中的各项分量；初始化B_ji为0，B_ji表示训练样本i的偏差矩阵B_j；初始化ΔW_ji＝0，ΔB_ji＝0；

(5)对每个样本i，利用反向传播算法求出W_ji和B_ji的偏导：和

求出W_ji和B_ji的变化量：

(6)更新：

(7)将更新后的W_ji和B_ji代入损失函数，重复执行步骤(5)至(7)，直至损失函数的值最小，至此，所述多尺度深度卷积网络模型训练完毕，转入步骤(8)；

(8)将新的有雾图像输入训练好的多尺度深度卷积网络模型，得到的输出结果作为该新的有雾图像的初始透射率；

(9)估计出新的有雾图像拍摄时的大气光强A；根据大气散射模型恢复相应的无雾图像。

2.根据权利要求1所述的一种基于卷积神经网络的单幅图像去雾方法，其特征在于，所述根据大气散射模型计算得到，大气散射模型为：

其中，I表示训练样本i的光强矩阵，J表示原始的无雾图像中与训练样本i相对应的图像块的光强矩阵，A为训练样本i相应的有雾图像拍摄时的大气光强度A。

3.根据权利要求2所述的一种基于卷积神经网络的单幅图像去雾方法，其特征在于，所述估计有雾图像拍摄时的大气光强A的方法为：

估计有雾图像的暗通道图：

其中，I^dark表示有雾图像的像素矩阵I的暗通道图估计结果，I^c表示I的某一颜色通道的值，y表示像素点；

对获得的暗通道图的像素值进行降序排序，选取排在前千分之一的像素点作为候选点，将候选点对应到有雾图像中的相应位置，在有雾图像中计算候选点相应位置的亮度值，将计算出的最大亮度值作为大气光强估计值A。