CN112348762A - 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 - Google Patents

Abstract

本发明提供了一种基于多尺度融合生成对抗网络的单幅图像去雨方法。该方法首先通过图像显著性对有雨图像进行检测，得到显著图；进而将显著图与有雨图像Concat融合，精准得识别出待修复的雨滴区域；然后利用多尺度融合生成对抗网络去雨，生成器网络中对l12、l14和l16层网络进行多尺度融合，提升了生成的去雨图像质量，鉴别器网络采用全局鉴别与局部鉴别结合，训练得到最终的网络模型；将测试集输入训练好的模型中得到去雨后的图像，根据SSIM和PSNR指标对生成的图像进行评价。本发明提出的图像去雨方法生成的图像视觉效果更佳，去除的雨滴区域更具有真实性和连贯性，各项评价指标都有了提升。

Description

一种基于多尺度融合生成对抗网络的单幅图像去雨方法

技术领域

本发明涉及图像修复技术领域，更具体地，基于一种多尺度融合生成对抗网络的单幅图像去雨方法。

背景技术

计算机视觉是自动驾驶、视频监控等功能能够实现的关键技术，其效果依赖图像的质量。在雨天条件下，所拍摄的图像和视频容易受到雨滴的散射和模糊作用，使得图像成像模糊丢失大量的信息，并且能见度下降严重降低影响图像拍摄的视觉效果，极大的影响了室外视觉的效果。

当前阶段有关有雨图像的修复涌现出了很多去雨的解决方案，去雨效果也在不断地进步当中。随着机器学习的快速发展，基于深度学习的图像去雨算法越来越多。目前行业中有人提出一种基于卷积神经网络的单幅图像去雨方法，该方法针对大而密集的有雨图像效果不佳，同时输出图像的分辨率较低，视觉效果较差。此外还有人通过Pix2Pix网络对有雨图像去雨，通过实验结果得出该网络在有雨区域的去除上仍然有一些不自然的痕迹。针对单幅图像去雨的研究所设计的不同的方法在修复有雨区域时，局部区域仍有模糊，细节信息丢失较多，因此提供一种效果更好的基于深度学习的单幅图像去雨方法来进行有雨图像修复仍是本领域技术人员需要研究的问题。

发明内容

本发明的目的在于提供一种基于多尺度融合生成对抗网络的单幅图像去雨方法，首先通过图像显著性对训练集中的有雨图像进行检测，使网络显著地注意到图像中的有雨区域，并得到显著图。进而将显著图与有雨图像Concat融合后送入到多尺度融合生成对抗网络，使其能够精准的注意到待修复的雨滴区域，然后对多尺度融合生成对抗网络进行去雨训练，对抗训练并交替更新生成器网络和鉴别器网络的参数，得到最终的去雨图像模型。将测试集输入训练好的模型中得到去雨后的图像，完成单幅图像的去雨处理，并根据SSIM和PSNR指标对生成的去雨图像进行评价。

具体地，本发明通过以下方案实现上述目的：

一种基于多尺度融合生成对抗网络的单幅图像去雨方法，包含以下步骤：

S1、建立数据集，所述数据集包括训练集和测试集，所述训练集和测试集均包含由有雨图像和对应的清晰无雨图像的图像对，所述图像对是由原始图像经过预处理得到；

所述步骤S1包含以下步骤：

S1.1、选取有雨图像和对应的清晰无雨图像组成的图像对；

S1.2、对步骤S1.1中的所述的图像对进行图像亮度对比度增强；

S1.3、步骤S1.1和步骤S1.2中所述图像对进行图像翻转；

S1.4、经过步骤S1.1-步骤S1.3预处理后图像对组成数据集，并按一定的比例划分为所述训练集和所述数据集。

S2、根据所述训练集中的所述有雨图像通过显著性检测生成显著图：首先采用SLIC算法对所述训练集中的所述有雨图像进行超像素分割，然后通过图像显著性确定雨滴区域，结合雨滴模型对雨滴像素进行检测，再结合所述有雨图像进行边缘检测确定雨滴区域，生成所述显著图；

S3、将步骤S2中生成的所述显著图与所述训练集中的所述有雨图像采用通道维度上合并的Concat方式进行融合，生成融合图像；

S4、从步骤S3中生成的所述融合图像送入多尺度融合生成对抗网络进行去雨训练，得到能对所述训练集中有雨图像进行去雨的网络模型；

所述步骤S4包含以下步骤：

S4.1、将步骤3生成的所述融合图像输入多尺度融合生成对抗网络的生成器网络；

所述多尺度融合生成对抗网络的生成器网络包含16个卷积层，通过Deconv函数对l12、l14和l16进行上采样，再分别加入批量归一化和Relu激活函数后，通过Concat方法对l12、l14和l16三层进行融合，输出生成的去雨图像G(R)；

所述多尺度融合生成对抗网络的生成器网络的损失函数包含多尺度损失和感知损失，定义为：

L_G＝10^-2L_GAN(O)+L_m({S}，{T})+L_p(O，T)

式中，L_GAN(O)＝log(1-D(O))；所述多尺度损失函数为

式中，L_MSE表示均方误差，S_i表示从生成器层提取出的第i个输出，T_i表示具有与S_i相同尺度的所述对应的清晰无雨图像的数据，λ_i是不同尺度的权重；所述感知损失函数为：

L_p(O，T)＝L_MSE(VGG(O)，VGG(T))

式中，VGG是从给定的输入图像产生特征空间的表达，O为生成器的输出的去雨图像，T为所述有雨图像对应的清晰无雨图像；

S4.2、将步骤S4.1生成的所述去雨图像G(，R)及其对应的所述清晰无雨图像输入所述多尺度融合生成对抗网络的鉴别器网络，计算并输出属于所述鉴别器网络P_cleam的概率，判断输入是来自所述清晰无雨图像还是生成的所述去雨图像G(R)；

所述多尺度融合生成对抗网络的鉴别器网络包含7个卷积层，采用全局查看整个图像检查一致性和局部鉴别查看特定区域相结合，从倒数第三层卷积层中提取特征提供给卷积神经网络，并将卷积神经网络的输出与所述鉴别器网络中的原始特征相乘后传入到下一层中，引导所述鉴别器网络关注显著图所确定的有雨区域，最后采用一个全连接层来判断输入图像的真假；

所述鉴别器网络的损失函数为：

L_D(O，T)＝-log(D(T))-log(1-D(O))+γL_map(O，T)

式中，L_map表示为所述鉴别器网络中生成的显著图和所述清晰无雨图像之间的损失，定义为：

L_map(O，T)＝L_MSE(D_map(O))+L_MSE(D_map(T)，0)

式中，D_map表示由所述鉴别器网络生成的二维显著图的过程，T为所述清晰无雨图像，0表示仅包含0值的映射；

S4.3、所述生成器网络与所述鉴别器网络进行对抗训练并交替更新所述生成器网络和所述鉴别器网络的参数，当所述鉴别器网络无法正确的估计出输入是来自于生成的所述去雨图像G(R)还是所述对应的清晰无雨图像时，得到能对所述训练集中有雨图像进行去雨的网络模型；

S5、将所述测试集中的所述有雨图像输入所述网络模型，得到去雨后的图像，并评价所述网络模型的效果。

与现有技术相比，本发明的有益效果在于：本发明针对有雨区域的不确定性，利用图像显著性检测定位待去除的有雨区域，生成器网络中对l12、l14和l16层网络采用Concat多尺度融合，更好地保障图像去雨过程中图像的语义信息和纹理结构的一致性，避免生成去雨图像的模糊性，从而提升了生成的去雨图像质量，各项评价指标相较之前的方法都有了大幅度提升，图像生成的视觉效果也更佳，去除的雨滴区域更具有真实性和连贯性。

附图说明

图1是本发明基于多尺度融合生成对抗网络对单幅图像去雨方法的整体流程图；

图2是本发明基于多尺度融合生成对抗网络对单幅图像去雨方法中显著性检测流程图；

图3是本发明基于多尺度融合生成对抗网络对单幅图像去雨方法中的对抗网络结构图；

图4是本发明基于多尺度融合生成对抗网络对单幅图像去雨方法图像处理结果，其中(a)为有雨图像，(b)为模型产生的去雨图像，(c)为(a)对应的清晰无雨图像；

图5是本发明基于多尺度融合生成对抗网络对单幅图像去雨方法与其他算法在同一张图像上的去雨效果的对比图，其中(a)为有雨图像，(b)为清晰无雨图像，(c)、(d)、(e)分别为其他三种算法生成的去雨图像，(f)为基于多尺度融合生成对抗网络对单幅图像去雨方法生成的去雨图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-图3所示，本发明提供了一种基于多尺度融合生成对抗网络的单幅图像去雨方法，该方法包括如下步骤，整体流程图如图1所示：

步骤S1：构建图像数据集。

原始数据集共1119个有雨图像和清晰无雨图像组成的图像对，包括训练集(860个图像对)和测试集(259个图像对)。为了解决数据集样本偏少的问题，对数据集进行数据增强：①将原图像数据集以1：1.5图像对比度增强，提高图像的亮度；②图像反转，将原始数据集的有雨图像和清晰图像对进行180°的图像反转，丰富数据集，从而提高训练时模型的泛化能力及鲁棒性。

步骤S2：图像显著性检测，准确的检测出图像中雨滴区域及其边缘区域，得到显著图。

步骤S2.1：超像素分割采用SLIC算法，在保留目标特征完整性的基础上降低图片后续处理的计算复杂度。

步骤S2.2：通过图像显著性确定雨滴区域，结合雨滴模型实现对雨滴像素的检测。

雨滴模型为背景图像与雨滴效应的结合，模型如下：

D＝(1-M(x))⊙C+R

式中，D为输入的有雨图像，M是二进制掩码，在掩码中，M(x)＝1表示像素x是雨滴区域的一部分，否则是背景区域的一部分，C是清晰图像，R是雨滴造成的影响。算子⊙表示元素相乘。对于步骤1中构建的训练集中的有雨图像，通过将有雨图像D减去其对应的清晰图像C，即可得到受雨滴影响的掩码部分，然后通过图像显著性检测来确定该区域是否为雨滴区域的一部分。

步骤S2.3：结合有雨图像进行边缘检测，提升对雨滴区域的检测精度，最终得到显著图。

通过图像显著性对有雨图像进行检测，可以准确的检测出图像中雨滴区域及其边缘区域，使网络显著地注意到图像中的有雨区域，提升对雨滴区域的检测精度，最终得到显著图，即检测出待修复的雨滴区域。

步骤S3：将有雨图像和显著图进行Concat融合生成融合图像。

本发明中Concat融合方式为通道维度上合并，每一层特征下的信息没有增加，而是每一维度下的信息量增加，从而图像的整体特征信息增加，融合后的图像包含更为丰富的特征信息，对生成的去雨图像的真实性大有帮助，训练效果更优。

步骤S4：从步骤S3中生成的融合图像送入多尺度融合生成对抗网络(后简称MsF-GAN网络，网络结构如图3所示)进行去雨训练，得到图像去雨处理网络模型。

步骤S4.1：融合图像输入MsF-GAN网络的生成器网络，生成清晰无雨图像G(R)，定义生成器多尺度损失函数。

在去雨过程中网络层数为16层(layers，l)。l1：l6、、l11、l12、l14和l16为Conv-Relu模块(Conv，卷积；Relu，激活函数)，l7：l10为Dilation-Relu模块(Dilation，空洞卷积)，l13和l15为Deconv-avg_p-Relu模块(Deconv，反卷积；avg_p，平均池化)。在l2和l15之间添加了跳跃连接(skip-connections)以防止模糊输出。l7：l10引入Dilation增大网络的感受野，使网络可以提取丰富的图像特征。为避免在修复有雨区域时，随着网络层数的加深丢失重要的图像特征及语义信息，利用多尺度融合的思想，采用Concat融合方式，保障生成的去雨图像信息更完整、更真实。本发明在融合层数上，选择了网络l12、l14和l16分别进行Deconv、批量归一化(Batch Normalization，BN)和Relu激活函数处理。l12、l14、l16的height×width×channel分别为60×90×256、120×180×128、240×360×32，首先通过Deconv对l12、l14、l16进行上采样，然后通过加入批量归一化和Relu激活函数更大的发挥Concat融合作用，最后将三层融合，输出height×width×channel为480×720×9的去雨图像，极大程度地减少了网络层图像信息的丢失，保留更多的图像信息，有效提升了生成去雨图像的质量。

生成器包含两个损失函数：多尺度损失和感知损失；多尺度损失函数定义为：

式中，L_MSE表示均方误差，S_i表示从生成器层提取出的第i个输出，T_i表示具有与S_i相同尺度的对应的清晰无雨图像的数据。λ_i是不同尺度的权重。进一步地，l12、l14和l16图像的尺寸分别为原图像尺寸的1/4、1/2和1，较小层的信息相对于较大层来说所占的重要程度相对较小，多尺度融合生成对抗网络的生成器网络的多尺度损失函数中λ_i可以设置为0.6、0.8、1。

感知损失函数定义为：

L_p(O，T)＝L_MSE(yGG(O)，VGG(T))

式中，VGG-16是预先训练的卷积神经网络，它从给定的输入图像产生特征空间的表达即VGG特征(VGG feature)，O是生成器的输出的去雨图像，T是对应的清晰无雨图像。因此MsF-GAN生成器网络的总损失为：

L_G＝10^-2L_GAN(O)+L_m({S}，{T})+L_p(O，T)

式中，L_GAN(O)＝log(1-D(O))。

步骤S4.2：将步骤S41产生的去雨图像G(R)及其对应的清晰图像T输入鉴别器，计算并输出属于鉴别器P_cleam的概率，判断输入是来自对应的清晰无雨图像T还是假的生成去雨图像G(R)，并定义鉴别器的损失函数。

鉴别器网络结构包含7个卷积层，核为(3，3)，全连接层为1024，单个神经元采用sigmoid激活函数。从倒数第三层卷积层中提取特征，并提供给卷积神经网络。使用卷积神经网络的输出，并将其与鉴别器网络中的原始特征相乘，然后将他们传入到下一层中，引导鉴别器网络关注显著图所确定的有雨区域，最后采用一个全连接层来判断输入图像的真假。

根据卷积神经网络的输出和图像显著图定义从鉴别器的内部层提取特征与显著图之间的损失函数为：

L_map(O，T)＝L_MSE(D_map(O))+L_MSE(D_map(T)，0)

式中，D_map表示由鉴别器生成的二维显著图的过程，T为对应的清晰无雨图像，0表示仅包含0值的映射。鉴别器的整体损失函数为：

L_D(O，T)＝-log(D(T))-log(1-D(O))+γL_map(O，T)

式中，L_map表示为鉴别器中生成的显著图和对应的清晰无雨图像之间的损失，参数y设置为0.05。

步骤S4.3：生成器与鉴别器两者对抗训练并交替更新生成器G和鉴别器D的参数，训练的批量大小和初始学习率分别设置为1和0.0002，训练迭代次数为20000。当鉴别器无法正确的估计出输入是来自于生成的所述去雨图像G(R)还是所述对应的清晰无雨图像时，得到能对所述训练集中有雨图像进行去雨的网络模型。

鉴别器网络和生成器网络相互博弈，对图像进行真假判别可以有效的提高生成去雨图像的效果。生成器网络中对l12、l14和l16层网络采用Concat多尺度融合，更好地保障图像去雨过程中图像的语义信息和纹理结构的一致性，避免生成去雨图像的模糊性，提升了生成的去雨图像质量。鉴别器网络中全局和局部鉴别相结合，可以更为稳妥地鉴别生成的去雨图像的真实性。

步骤S5：将测试集输入训练好的多尺度融合生成对抗网络模型得到去雨后的图像，完成单幅图像的去雨处理，并根据SSIM和PSNR指标对生成的去雨图像进行评价。

本实施例中去雨处理结果如图4所示。(a)为有雨图像，(b)为本实施例去雨图像，(c)为(a)对应的清晰无雨图像。从本发明网络的去雨效果图像和清晰无雨图像对比看出，本发明的算法取得的成效明显。

SSIM定义公式：SSIM(x，y)＝l(x，y)^α·c(x，y)^β·s(x，y)^γ，式中，

其中x，y分别为参考图像和待测图像，σ_x，σ_y，

σ_xy分别表示图像x，y的均值、方差和协方差，c₁，c₂，c₃为小的正整数，SSIM值越大表明图像失真越小。

PSNR定义公式：

式中，MSE是原图像与处理图像之间均方误差，则

MAX₁表示图像最大像数值，本文的像素值由B位二进制来表示，那么：MAX₁ ²＝2^B-1；在彩色图像的处理中，先计算RGB三通道的MSE，然后再除以3。PSNR值越大则表示图像失真越小。

图5展示了本实施例中MsF-GAN与其他三种基于深度学习的去雨方法在同一张图像上的去雨效果的对比。(a)为有雨图像，(b)为清晰无雨图像。(c)、(d)、(e)、(f)分别为方法A、方法B、方法C和MsF-GAN方法对有雨图像去雨后生成的去雨图像。通过图像对比，可以看出，方法A在去雨效果上有显著的雨水残留，方法B残留一定雨滴，图片也较模糊。方法C的雨滴区域处理得仍有模糊，通过MsF-GAN网络得到的去雨图像中几乎没有残留得雨滴，生成得图片效果最好。

接下来对图5中的去雨图像进行PSNR和SSIM指标对比，结果如表1所示，可以看出，本发明方法在PSNR与SSIM指标上都高于其他方法。通过对比实验验证了本发明方法的有效性。

表1不同方法的图像复原质量评价结果

Claims (1)

1.一种基于多尺度融合生成对抗网络的单幅图像去雨方法，其特征在于，包含以下步骤：

S1、建立数据集，所述数据集包括训练集和测试集，所述训练集和测试集均包含由有雨图像和对应的清晰无雨图像的图像对，所述图像对是由原始图像经过预处理得到；

所述步骤S1包含以下步骤：

S1.1、选取有雨图像和对应的清晰无雨图像组成的图像对；

S1.2、对步骤S1.1中的所述的图像对进行图像亮度对比度增强；

S1.3、步骤S1.1和步骤S1.2中所述图像对进行图像翻转；

S1.4、经过步骤S1.1-步骤S1.3预处理后图像对组成数据集，并按一定的比例划分为所述训练集和所述数据集；

S2、根据所述训练集中的所述有雨图像通过显著性检测生成显著图：首先采用SLIC算法对所述训练集中的所述有雨图像进行超像素分割，然后通过图像显著性确定雨滴区域，结合雨滴模型对雨滴像素进行检测，再结合所述有雨图像进行边缘检测确定雨滴区域，生成所述显著图；

S3、将步骤S2中生成的所述显著图与所述训练集中的所述有雨图像采用通道维度上合并的Concat方式进行融合，生成融合图像；

S4、从步骤S3中生成的所述融合图像送入多尺度融合生成对抗网络进行去雨训练，得到能对所述训练集中有雨图像进行去雨的网络模型；

所述步骤S4包含以下步骤：

S4.1、将步骤3生成的所述融合图像输入多尺度融合生成对抗网络的生成器网络；

所述多尺度融合生成对抗网络的生成器网络包含16个卷积层，通过Deconv函数对l12、l14和l16进行上采样，再分别加入批量归一化和Relu激活函数后，通过Concat方法对l12、l14和l16三层进行融合，输出生成的去雨图像G(R)；

所述多尺度融合生成对抗网络的生成器网络的损失函数包含多尺度损失和感知损失，定义为：

L_G＝10^-2L_GAN(O)+L_m({S},{T})+L_p(O,T)

式中，L_GAN(O)＝log(1-D(O))；所述多尺度损失函数为

式中，L_MSE表示均方误差，S_i表示从生成器层提取出的第i个输出，T_i表示具有与S_i相同尺度的所述对应的清晰无雨图像的数据，λ_i是不同尺度的权重；所述感知损失函数为：

L_p(O,T)＝L_MSE(VGG(O),VGG(T))

式中，VGG是从给定的输入图像产生特征空间的表达，O为生成器的输出的去雨图像，T为所述有雨图像对应的清晰无雨图像；

S4.2、将步骤S4.1生成的所述去雨图像G(R)及其对应的所述清晰无雨图像输入所述多尺度融合生成对抗网络的鉴别器网络，计算并输出属于所述鉴别器网络P_cleam的概率，判断输入是来自所述清晰无雨图像还是生成的所述去雨图像G(R)；

所述多尺度融合生成对抗网络的鉴别器网络包含7个卷积层，采用全局查看整个图像检查一致性和局部鉴别查看特定区域相结合，从倒数第三层卷积层中提取特征提供给卷积神经网络，并将卷积神经网络的输出与所述鉴别器网络中的原始特征相乘后传入到下一层中，引导所述鉴别器网络关注显著图所确定的有雨区域，最后采用一个全连接层来判断输入图像的真假；

所述鉴别器网络的损失函数为：

L_D(O,T)＝-log(D(T))-log(1-D(O))+γL_map(O,T)

式中，L_map表示为所述鉴别器网络中生成的显著图和所述清晰无雨图像之间的损失，定义为：

L_map(O,T)＝L_MSE(D_map(O))+L_MSE(D_map(T),0)

式中，D_map表示由所述鉴别器网络生成的二维显著图的过程，T为所述清晰无雨图像，0表示仅包含0值的映射；

S4.3、所述生成器网络与所述鉴别器网络进行对抗训练并交替更新所述生成器网络和所述鉴别器网络的参数，当所述鉴别器网络无法正确的估计出输入是来自于生成的所述去雨图像G(R)还是所述对应的清晰无雨图像时，得到能对所述训练集中有雨图像进行去雨的网络模型；

S5、将所述测试集中的所述有雨图像输入所述网络模型，得到去雨后的图像，并评价所述网络模型的效果。

Images