CN112508083A - 基于无监督注意力机制的图像去雨雾方法 - Google Patents

Abstract

本发明揭示了一种基于无监督注意力机制的图像去雨雾方法，包括如下步骤：S1、以无监督去雨网络CycleGAN为模型基础架构、分别构建模型的各部分，构建出完整的Cycle‑Derain模型；S2、将待处理的单幅有雨图像输入Cycle‑Derain模型，完成对单幅有雨图像的恢复重建、得到清晰的单幅图像；S1中所述分别构建模型的各部分包括构建模型的去雨部分及去雾部分。本发明利用双向生成对抗网络与循环一致性损失原理来训练不成对的有雨图像和无雨图像，并在无监督的情况下引入注意力机制、用于检测图像中是否存在雾气，再结合循环搜索定位算法实现了对单幅有雨图像中的雨雾细节的高效处理。

Description

基于无监督注意力机制的图像去雨雾方法

技术领域

本发明为一种图像处理方法，具体而言，是一种针对单幅有雨图像的、基于无监督注意力机制的图像去雨雾方法，涉及图像处理技术领域。

背景技术

图像识别是人工智能中的一个重要领域，是指对图像进行对象识别、以识别各种不同模式的目标和对像的技术。近年来，随着互联网及人工智能的不断发展，图像识别技术也得到了更为广泛的应用。

但是在图像识别技术的日常应用场景中，其使用效果往往直接跟所采集的图像质量相挂钩。例如在阴雨环境中所采集到的图像，其清晰度常会因为雨条纹和雨滴而大幅降低，这不但不利于操作者从图像中获取信息，而且对后续的一系列图像处理过程都会造成较大的影响，在这样的现状下，近年来，各类图像去雨技术开始应运而生。

由于缺乏用于检测和删除图中雨水的有效信息，所以针对单幅有雨图像而言，其去雨操作的难度相较于视频图像或连续图像更大，也正因如此，围绕单幅有雨图像去雨的研究成为了近年来的行业热点。

目前，主要的图像去雨方法包括基于稀疏编码字典学习和基于卷积神经网络两种。前者是在具有互斥性的过度学习的字典下，对单幅图像去雨过程进行正则化处理，使去雨图像层与雨水层的局部补丁可以在学习字典中进行稀疏建模。通过这种方式从字典中学习获得的稀疏编码在去雨图像层与雨水层之间具有明显的区分度。但是该方法并不能完全解决低通信道中的模糊性，且在图像背景和雨水相似、雨滴放大时，无法进行有效分离。后者则是利用完全卷积网络检测去除雨水，但由于其训练时需要大量成对的雨图像和无雨图像，故大多需要使用合成数据集，这也就使得该方法在真实场景下的泛化能力较弱。

此外，无论是哪种现有方案，都没有考虑到实际应用环境下雾气对于图像内容的影响，因此技术人员有理由认为，无论哪种现有的单幅图像去雨方案，实际上都无法达到预期的使用效果。

正因如此，如果能够设计出一种全新的、针对单幅有雨图像的去雨雾方法，那么势必可以为图像处理、图像识别等技术的后续发展提供巨大的帮助。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种针对单幅有雨图像的、基于无监督注意力机制的图像去雨雾方法具体如下。

一种基于无监督注意力机制的图像去雨雾方法，包括如下步骤：

S1、以无监督去雨网络CycleGAN为模型基础架构、分别构建模型的各部分，构建出完整的Cycle-Derain模型；

S2、将待处理的单幅有雨图像输入Cycle-Derain模型，完成对单幅有雨图像的恢复重建、得到清晰的单幅图像；

S1中所述分别构建模型的各部分包括构建模型的去雨部分及去雾部分。

优选地，S1中包括，

S11、构建Cycle-Derain模型中的去雨部分，具体包括如下步骤：

S111、选用无监督去雨网络CycleGAN作为模型的基础架构，利用多个去雨生成器及多个去雨判别器，使所构建的模型符合循环一致性损失；

S112、使用互联网中的公开数据集对所述去雨生成器进行训练，训练过程包括从有雨图像到无雨图像的过程以及从无雨图像到有雨图像的过程；

S113、对所述去雨判别器进行训练，训练方式为将由有雨图像所生成的无雨图像以及由无雨图像所生成的有雨图像分别输入所述去雨判别器中，判断图像是否为真实图像；

S114、循环迭代S112～S113，直至所述去雨生成器及去雨判别器达到纳什均衡状态。

优选地，多个所述去雨生成器包括G_Gr、G_Fr、G_Fn以及G_Gn，共同实现模型的前向映射

和后向映射

其中，G_Gr用于由真实有雨图像r生成无雨图像n_r，G_Fr用于由无雨图像n_r重建生成有雨图像

G_Fn用于由真实无雨图像n生成有雨图像r_n，G_Gn用于由有雨图像r_n重建生成无雨图像

优选地，多个所述去雨判别器包括D_Gr、D_Fr、D_Fn以及D_Gn，分别判断所述去雨生成器G_Gr、G_Fn所生成的图像是否真实以及模型的前、后向映射过程是否符合循环一致性；

其中，D_Gr用于判断所生成的无雨图像n_r是否真实，D_Fr用于判断模型的前向映射是否符合循环一致性，D_Fn用于判断所生成的有雨图像r_n是否真实，D_Gn用于判断模型的后向映射是否符合循环一致性。

优选地，在S11中，

用于判断图像是否为真实图像的损失函数为

式中，x表示真实图像，G(x)为去雨生成器所生成的图像，x、y服从概率分布、即x～p_data(x)和y～p_data(y)；

用于判断映射过程中图像循环一致性的损失函数为

式中，x表示前向映射输入的真实图像，y表示后向映射输入的真实图像，G为由有雨图像生成无雨图像的去雨生成器，F为无雨图像到有雨图像的去雨生成器，x、y服从概率分布、即x～p_data(x)和y～p_data(y)。

优选地，S1中还包括，

S12、构建Cycle-Derain模型中的去雾部分，具体包括如下步骤：

S121、利用去雾生成器G_S—T由经过Cycle-Derain模型中的去雨部分处理的无雨图像生成无雾图像，将所生成的无雾图像与通过注意力机制网络获得的像素权重图按位相乘、得到初步去雾层s_f，再将所输入的去雨图像与运算后的权重图进行按位相乘、得到无雾背景图；

S122、将初步去雾层s_f与无雾背景图进行叠加，生成初步去雾图像s′；

S123、判断初步去雾图像s′是否去雾完全、即像素权重图是否趋于零，若是则输出初步去雾图像s′；否则将初步去雾层s_f作为新的输入图像输入去雾生成器G_S—T中，将所得到的新的无雾背景图与原无雾背景图叠加作为完整背景图，并再次重复S123中的前序操作，直至像素权重图趋于零；

S124、使用互联网中的公开数据集对所述去雾生成器G_S—T进行训练，训练过程包括学习处理雾层细节的过程；

S125、对去雾判别器D_S-T进行训练，训练方式为将所生成的无雾图像输入所述去雾判别器D_S-T中，判断图像是否为真实图像；

S126、循环迭代S125～S126，直至所述去雾生成器G_S—T及去雾判别器D_S-T达到纳什均衡状态。

与现有技术相比，本发明的优点在于：

本发明所提出的一种基于无监督注意力机制的图像去雨雾方法，利用双向生成对抗网络与循环一致性损失原理来训练不成对的有雨图像和无雨图像，并在无监督的情况下引入注意力机制、用于检测图像中是否存在雾气，再结合循环搜索定位算法实现了对单幅有雨图像中的雨雾细节的高效处理。

经过测试，本发明的方法可以实现对单幅有雨图像中雨痕和雨雾细节的有效去除，具有图像去雨效率高、图像去雨表现好等特点。

此外，本领域内的技术人员还可以以本发明的技术思路为依据，将类似的方法应用于对其他相关图像处理模型的构建中，方案整体的应用前景十分广阔。

以下便结合附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明中Cycle-Derain模型的架构示意图；

图2为本发明中注意力机制与循环搜索定位算法的流程示意图；

图3为本发明中所使用的去雨生成器的结构示意图；

图4为本发明中所使用的去雨判别器的结构示意图；

图5为本发明中所使用的特征提取器的结构示意图。

具体实施方式

本发明提出了一种基于无监督注意力机制的图像去雨雾方法，利用双向生成对抗网络与循环一致性损失原理来训练不成对的有雨图像和无雨图像，并在无监督的情况下引入注意力机制、用于检测图像中是否存在雾气，再结合循环搜索定位算法实现了对单幅有雨图像中的雨雾细节的高效处理。本发明的具体方案如下。

一种基于无监督注意力机制的图像去雨雾方法，包括如下步骤：

S1、以无监督去雨网络CycleGAN为模型基础架构、分别构建模型的各部分，构建出完整的Cycle-Derain模型。

考虑到现实生活中较大降雨通常会伴有雨雾，因此在本方案中，将有雨图像进一步划分为背景层、雨层及雾层。相对应的，在用于去雨的Cycle-Derain模型中也分别设计了去雨部分和去雾部分。因此所述分别构建模型的各部分包括构建模型的去雨部分及去雾部分。Cycle-Derain模型架构如图1所示。

S2、将待处理的单幅有雨图像输入Cycle-Derain模型，完成对单幅有雨图像的恢复重建、得到清晰的单幅图像。

进一步而言，S1中包括，S11、构建Cycle-Derain模型中的去雨部分，具体包括如下步骤：

S111、选用无监督去雨网络CycleGAN作为模型的基础架构，利用多个去雨生成器及多个去雨判别器，使所构建的模型符合循环一致性损失。

此处多个所述去雨生成器包括G_Gr、G_Fr、G_Fn以及G_Gn，共同实现模型的前向映射

和后向映射

其中，G_Gr用于由真实有雨图像r生成无雨图像n_r，G_Fr用于由无雨图像n_r重建生成有雨图像

G_Fn用于由真实无雨图像n生成有雨图像r_n，G_Gn用于由有雨图像r_n重建生成无雨图像

多个所述去雨判别器包括D_Gr、D_Fr、D_Fn以及D_Gn，分别判断去雨生成器G_Gr、G_Fn生成的图像是否真实以及模型的前、后向映射过程是否符合循环一致性。其中，D_Gr用于判断所生成的无雨图像n_r是否真实，D_Fr用于判断模型的前向映射是否符合循环一致性，D_Fn用于判断所生成的有雨图像r_n是否真实，D_Gn用于判断模型的前向映射是否符合循环一致性。

S112、使用互联网中的公开数据集对所述去雨生成器进行训练，训练过程包括从有雨图像到无雨图像的过程以及从无雨图像到有雨图像的过程。

S113、对所述去雨判别器进行训练，训练方式为将由有雨图像所生成的无雨图像以及由无雨图像所生成的有雨图像分别输入所述去雨判别器中，判断图像是否为真实图像。

S114、循环迭代S112～S113，直至所述去雨生成器及去雨判别器达到纳什均衡状态，从而使得模型可以输出高质量的无雨图像。

需要补充说明的是，对于S11中的相关操作，在图像输入时，resize命令会给出目标的图像大小，并将图像缩放至256*256*3大小，之后对输入图像进行处理，使用9个残差块处理大小为256*256*3的输入图片，使用步长为2的卷积进行实例正则化，考虑单个样本、单个通道内的所有元素，以提高输入图像的清晰度。处理完成的所述去雨生成器，使用ReLU激活函数对图像进行处理，再使用步长为2的逆卷积网络以生成大小仍旧为256*256*3的无雨图像。对于无雨域至有雨域的映射过程，生成的无雨图像经过步长为2的卷积网络处理后代入Tanh激活函数进行运算，再使用步长为2的逆卷积网络以生成同样大小的有雨图像，后向映射同理。过程中使用到的四个生成器均采用最小二乘法对损失函数进行约束，使其趋向于一个最小值，我们将损失函数中的λ₁设置为10，使用批尺寸为1的Adam解码器，以产生更加理想的效果。所述去雨生成器结构如图3所示。

而与之对应的四个所述去雨判别器则采用含有70*70个PatchGAN的基于补丁级别的鉴别器架构，使用最小二乘法对于损失函数进行约束，以判断生成图片的真实性以及循环一致性。其中使用到的参数少于完整图像鉴别器，并可以完全卷积的方式处理任意大小的图像，在处理过程中，所述去雨生成器生成的图像会先经过步长为2的卷积网络进行处理，代入Leaky ReLU激活函数后进行运算，再次输入步长为2的卷积网络进行实例正则化，之后输入Leaky ReLU运算以生成大小为16*16*3的图片进行判断。所述去雨判别器结构如图4所示。

S11中用于判断图像是否为真实图像的损失函数为

式中，x表示真实图像，G(x)为所述去雨生成器所生成的图像，x、y服从概率分布、即x～p_data(x)和y～p_data(y)。

在一般情况下，生成器生成的图像越逼真，则会使损失函数越小；判断器判断得越准确，则会使损失函数越大。因此在本方案的训练中，所述去雨生成器和所述去雨判断器需要达到纳什均衡状态，此时可以输出高质量的去雨图像。对于任意图像，在经过源域转换至目标域最终回到源域的行为后，应与原始图像尽可能相同，最终生成的图像与输入的真实图像之间的差异称为循环一致性损失，该损失函数为

为使最终生成的图像与输入图像之间的差异尽可能小，应最小化该损失函数。

进一步而言，S1中还包括，S12、构建Cycle-Derain模型中的去雾部分，具体包括如下步骤：

S121、利用去雾生成器G_S—T由经过Cycle-Derain模型中的去雨部分处理的无雨图像生成无雾图像，将所生成的无雾图像与通过注意力机制网络获得的像素权重图按位相乘、得到初步去雾层s_f，再将所输入的去雨图像与运算后的权重图进行按位相乘、得到无雾背景图。

S122、将初步去雾层s_f与无雾背景图进行叠加，生成初步去雾图像s′。

S123、判断初步去雾图像s′是否去雾完全、即像素权重图是否趋于零，若是则输出初步去雾图像s′；否则将初步去雾层s_f作为新的输入图像输入去雾生成器G_S—T中，将所得到的新的无雾背景图与原无雾背景图叠加作为完整背景图，并再次重复S123中的前序操作，直至像素权重图趋于零。

S124、使用互联网中的公开数据集对所述去雾生成器G_S—T进行训练，训练过程包括学习处理雾层细节的过程。

S125、对去雾判别器D_S-T进行训练，训练方式为将所生成的无雾图像输入所述去雾判别器D_S-T中，判断图像是否为真实图像。

S126、循环迭代S125～S126，直至所述去雾生成器G_S—T及去雾判别器D_S-T达到纳什均衡状态，从而使得模型可以完成对有雨图像的恢复重建。

以下对应上述步骤，详述S12的具体操作。

首先注意力机制的输入是初步去雨后的无雨图像s，通过生成器G_S→T，得到一个雾层的预测图G_S→T(s)。与此同时，s通过注意力网络A_s得到注意力图s_a，s_a反映每个像素的权重。将s_a与预测图G_S→T(S)进行RGB通道的按位相乘操作，结果为图像中初步的去雾层、将其定义为s_f:s_f＝s_a⊙G_S→T(s)。对雾层进行处理之后还需要得到图像的背景层s_b，被忽视的部分像素点的权重是(1-s_a)，与原图按位相乘得到背景部分s_b＝(1-s_a)⊙s。随后，去雾层和背景层相加得到去雾后图像s′＝s_f+s_b＝s_a⊙G_S→T(s)+(1-s_a)⊙G_S→T(s)。

定位得到s_a之后，利用循环搜索定位法去除定位得到的雾层。如果注意力图s_a的矩阵趋向于零，即图片中的雾层被去除干净，则输出s′为去雾层后图像；否则将输入的s更新为s_f，继续输入注意力网络，再次进行定位判断、按位相乘注意力图判断等步骤，不断循环直至s_a的矩阵尽可能趋于零。

该循环搜索定位法的损失函数为

L(s_a)＝min‖s_a-0‖，

式中，min为使注意力图s_a中每个像素的权重尽可能小，由于引入了该注意力机制，Cycle-Derain模型可以更好地恢复图像中的有效信息。

此外，为了判别最终生成的去雾图像s’是否真实可信，还引入了判别器D_s，得到对抗损失函数

L_GAN(G,D_s,S,T)＝E_t～PT(t)[logD_T(t)]+E_s～PS(s)[log(1-D_T(G(s′)))]。

以上的注意力机制与循环搜索定位算法工作流程如图2所示。

需要补充说明的是，在S121中，使用InceptionV3作为特征提取器，其中包含两个步长为1的卷积网络和一个ReLU激活函数。具体为将输入的初步去雨图像先经过卷积网络处理过后代入ReLU激活函数进行运算，之后再输入一层卷积网络进行处理，得到与之对应的像素权重图。所述特征提取器结构如图5所示。

同时，对于S121和S125中的相关操作，对所述去雾生成器和所述去雾判别器同时训练时，使用具有无偏估计量的KID算法对损失函数进行约束，以增强可靠性。KID算法将真实的初步去雨图像和生成的去雨雾图像的特征进行量化处理，通过计算平方之后的最大均值来表示生成图像与真实图像之间的差异，这个值越低，真实图像和生成图像之间共享的视觉相似度就越高。

综上所述，本发明的主要优势体现在以下几个方面：

首先，本发明的方法主要利用了无监督去雨网络CycleGAN，实现了单幅有雨图像由源域至目标域、再由目标域至源域的迁移，并通过约束循环一致性损失来达到图像的整体对应；

其次，在本发明的方法中，引入了无监督的注意力机制，对产生的像素图中的像素点赋予权重，再与预测图进行每个RGB通道的按位相乘，从而实现了对单幅有雨图像中雾层的精确定位；

另外，在本发明的方法中，引入了循环搜索定位算法，实现了对无雾背景图和前景图的分开处理，在运行过程中迭代判断雾层是否去除干净，若未去除干净则将前景图代入循环，这样一来不仅减少了图像处理的复杂度，而且也有效避免了对于无雾图像区域的多余处理。

经过测试，本发明的方法可以实现对单幅有雨图像中雨痕和雨雾细节的有效去除，具有图像去雨效率高、图像去雨表现好等特点。本领域内的技术人员还可以以本发明的技术思路为依据，将类似的方法应用于对其他相关图像处理模型的构建中，方案整体的应用前景十分广阔。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于无监督注意力机制的图像去雨雾方法，其特征在于，包括如下步骤：

S1、以无监督去雨网络CycleGAN为模型基础架构、分别构建模型的各部分，构建出完整的Cycle-Derain模型；

S2、将待处理的单幅有雨图像输入Cycle-Derain模型，完成对单幅有雨图像的恢复重建、得到清晰的单幅图像；

S1中所述分别构建模型的各部分包括构建模型的去雨部分及去雾部分。

2.根据权利要求1所述的基于无监督注意力机制的图像去雨雾方法，其特征在于，S1中包括，

S11、构建Cycle-Derain模型中的去雨部分，具体包括如下步骤：

S111、选用无监督去雨网络CycleGAN作为模型的基础架构，利用多个去雨生成器及多个去雨判别器，使所构建的模型符合循环一致性损失；

S112、使用互联网中的公开数据集对所述去雨生成器进行训练，训练过程包括从有雨图像到无雨图像的过程以及从无雨图像到有雨图像的过程；

S113、对所述去雨判别器进行训练，训练方式为将由有雨图像所生成的无雨图像以及由无雨图像所生成的有雨图像分别输入所述去雨判别器中，判断图像是否为真实图像；

S114、循环迭代S112～S113，直至所述去雨生成器及去雨判别器达到纳什均衡状态。

3.根据权利要求2所述的基于无监督注意力机制的图像去雨雾方法，其特征在于：多个所述去雨生成器包括G_Gr、G_Fr、G_Fn以及G_Gn，共同实现模型的前向映射

和后向映射

其中，G_Gr用于由真实有雨图像r生成无雨图像n_r，G_Fr用于由无雨图像n_r重建生成有雨图像

G_Fn用于由真实无雨图像n生成有雨图像r_n，G_Gn用于由有雨图像r_n重建生成无雨图像

4.根据权利要求3所述的基于无监督注意力机制的图像去雨雾方法，其特征在于：多个所述去雨判别器包括D_Gr、D_Fr、D_Fn以及D_Gn，分别判断所述去雨生成器G_Gr、G_Fn所生成的图像是否真实以及模型的前、后向映射过程是否符合循环一致性；

其中，D_Gr用于判断所生成的无雨图像n_r是否真实，D_Fr用于判断模型的前向映射是否符合循环一致性，D_Fn用于判断所生成的有雨图像r_n是否真实，D_Gn用于判断模型的后向映射是否符合循环一致性。

5.根据权利要求4所述的基于无监督注意力机制的图像去雨雾方法，其特征在于，在S11中，

用于判断图像是否为真实图像的损失函数为

式中，x表示真实图像，G(x)为去雨生成器所生成的图像，x、y服从概率分布、即x～p_data(x)和y～p_data(y)；

用于判断映射过程中图像循环一致性的损失函数为

式中，x表示前向映射输入的真实图像，y表示后向映射输入的真实图像，G为由有雨图像生成无雨图像的去雨生成器，F为无雨图像到有雨图像的去雨生成器，x、y服从概率分布、即x～p_data(x)和y～p_data(y)。

6.根据权利要求4所述的基于无监督注意力机制的图像去雨雾方法，其特征在于，S1中还包括，

S12、构建Cycle-Derain模型中的去雾部分，具体包括如下步骤：

S121、利用去雾生成器G_S-T由经过Cycle-Derain模型中的去雨部分处理的无雨图像生成无雾图像，将所生成的无雾图像与通过注意力机制网络获得的像素权重图按位相乘、得到初步去雾层s_f，再将所输入的去雨图像与运算后的权重图进行按位相乘、得到无雾背景图；

S122、将初步去雾层s_f与无雾背景图进行叠加，生成初步去雾图像s′；

S123、判断初步去雾图像s′是否去雾完全、即像素权重图是否趋于零，若是则输出初步去雾图像s′；否则将初步去雾层s_f作为新的输入图像输入去雾生成器G_S-T中，将所得到的新的无雾背景图与原无雾背景图叠加作为完整背景图，并再次重复S123中的前序操作，直至像素权重图趋于零；

S124、使用互联网中的公开数据集对所述去雾生成器G_S-T进行训练，训练过程包括学习处理雾层细节的过程；

S125、对去雾判别器D_S-T进行训练，训练方式为将所生成的无雾图像输入所述去雾判别器D_S-T中，判断图像是否为真实图像；

S126、循环迭代S125～S126，直至所述去雾生成器G_S-T及去雾判别器D_S-T达到纳什均衡状态。

Images