CN111861925B - 一种基于注意力机制与门控循环单元的图像去雨方法 - Google Patents

Abstract

本发明提出了一种基于注意力机制与门控循环单元的图像去雨方法，首先，构建基于注意力机制与门控循环单元的图像去雨网络架构，包含6个模块，前五个模块每个模块中都包含门控循环单元、空间注意力模块和激活函数；模块1作为编码器，模块2到模块5中分别使用扩张因子为1、2、4和8的膨胀卷积，对应的接受域大小分别为5×5，9×9，17×17，33×33；模块6包含卷积层、通道注意力模块和激活函数，模块6后连接一个1×1的卷积层，作为解码器生成残差映射；然后，选择MSE和SSIM作为损失函数；最后对构建的网络架构进行训练。本发明地解决了在处理含密集雨条纹图像中出现的雨条纹残留和细节模糊的问题，在去除图像中雨线的同时保留了图像的细节部分，使得图像清晰度大幅提高。

Description

一种基于注意力机制与门控循环单元的图像去雨方法

技术领域

本发明属于图像处理领域，具体涉及一种基于注意力机制与门控循环单元的图像去雨方法。

背景技术

雨是较为常见的动态恶劣天气，雨滴呈随机下落状态，下落时的速度很快，而且在空中随机分布，在图像中雨滴主要以雨线的形状出现，容易造成图像模糊、细节信息丢失，甚至会出现图像中部分区域被随机遮挡的情况，对图像的视觉效果造成了极大地影响，也降低了计算机视觉算法(如人物检测与跟踪、自动驾驶、交通监控等)的性能。例如在有雨环境下拍摄的图像，由于受到雨线的影响，图像中物体的特征会发生变化，使得目标检测算法的准确度降低。若能在提取图像特征之前，首先对雨天图像进行恢复处理，提高在雨天天气条件下捕获的图像质量，将会使这些视觉算法减少或不受雨天天气环境的限制。为此，本研究主要针对雨天气象条件下捕获的图像进行复原，以最小化雨天天气对图像的影响。

目前在图像去雨领域中，大部分工作是针对视频图像(连续帧的图像)展开的。视频图像去雨常使用时域信息做去雨处理，但如果移动摄像机或者场景中存在动态信息时，会出现时域信息不可靠的情况。考虑到某些情况下，仅有单幅图像可利用，如通过手机拍摄的或互联网下载的图像，单幅图像并没有视频图像中丰富的帧间信息，其研究难度也远大于基于视频的去雨任务。基于以上分析，针对单幅图像的去雨研究对提升计算机视觉算法的稳定性和实用性更具研究意义和应用价值。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于注意力机制与门控循环单元的图像去雨方法，解决图像去雨时存在的图像对比度降低、细节模糊和雨线残留的问题。

技术方案：本发明所述的一种基于注意力机制与门控循环单元的图像去雨方法，具体包括以下步骤：

(1)构建基于注意力机制与门控循环单元的图像去雨网络架构，包含6个模块，卷积核的个数为24，其中前五个模块每个模块中都包含门控循环单元、空间注意力模块和激活函数，并使用3×3的卷积核；模块1作为编码器，将图像转换为特征图；模块2到模块5中分别使用扩张因子为1、2、4和8的膨胀卷积，对应的接受域大小分别为5×5，9×9，17×17，33×33；模块6包含卷积层、通道注意力模块和激活函数，使用3×3的卷积核，接受域大小设置为35×35；模块6后连接一个1×1的卷积层，接受域大小设置为35×35，作为解码器生成残差映射；

(2)构造损失函数，选择MSE和SSIM作为损失函数；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于注意力机制与门控循环单元的图像去雨网络架构进行训练。

进一步地，步骤(1)所述的门控循环单元使用Tanh和ReLU激活函数；空间注意力模块使用Sigmoid激活函数；通道注意力模块Sigmoid和ReLU激活函数。

进一步地，所述门控循环单元工作过程如下：

计算候选隐藏状态来辅助后续隐藏状态/>的计算：首先将当前时间步重置门的输出/>与上一时间步隐藏状态/>进行哈达玛积运算；若重置门中的元素值趋近于0，则意味着重置对应的隐藏状态元素为0，即丢掉上一时间步的隐藏状态；若重置门中的元素值趋近于1，则对上一时间步的隐藏状态进行保留；然后将/>分别与权重矩阵/>和相乘，再将这两部分结果相加后放入Tanh激活函数中，将值域压缩到[-1,1]，得到候选隐藏状态/>时间步s的候选隐藏状态/>的公式表示为：

其中，和/>表示权重参数，/>表示偏差参数；

计算时间步s的隐藏状态使用更新门的输出/>分别和上一时间步的状态/>以及候选隐藏状态/>进行哈达玛积运算，得到当前时刻网络的输出，表示为：

如果更新门的输出趋近于0，则表示遗忘了上一时刻的信息，反之如果更新门的输出/>趋近于1，则表示遗忘了当前的输入信息；更新门的值越大，说明前一时刻的状态信息带入的越多。

进一步地，步骤(1)所述的空间注意力模块包含膨胀指数d和缩减率r两个超参数：首先使用1×1卷积将特征的尺寸缩减到/>然后使用两个3×3的膨胀卷积；再使用一个1×1的卷积，将特征简化成/>得到了空间注意力图M(F1)；随后取Sigmoid函数，得到0到1范围内的空间注意力图M(F)；最后将M(F)与输入特征图F相乘，并将其与原始输入特征图相加，得到细化后的特征图F′，空间注意力M(F)的计算如下：

进一步地，步骤(1)中所述的模块6的工作过程如下：

首先进行挤压操作，对输入的特征X采用全局均值池化操作，然后进行激励操作，使用参数为每个特征通道生成权重，引入两个全连接层，降维比例设置为6；在两个全连接层后采用简单的门限机制，分别使用ReLU和Sigmoid激活函数；最后通过重置权重的操作，将激励操作输出的权重当做每个特征通道的权重信息，再使用乘法运算逐通道加权到原输入特征X上，最终得到新的特征X’，实现在通道维度上对原始特征的重标定处理。

进一步地，步骤(1)所述的基于注意力机制与门控循环单元的图像去雨网络架构，经过四次循环，将每次循环的输入图像视为包含不同级别的含雨线图像的时间序列，并使用GRU循环单元：

O₁＝O

O_s+1＝O_s-R_s,1≤s≤S

其中，O表示输入的含条纹图像，S表示去条纹阶段的数量，R_s表示第s阶段的输出，为第s阶段分解的第i个条纹层，O_s为第s阶段的输入，x_s-1为第(s-1)个阶段的隐藏状态，O_s+1为第s阶段输出的去条纹结果，通过将/>与不同的α值相加来计算R_s。

进一步地，所述步骤(2)通过以下公式实现：

其中，L_mse和L_ssim分别表示MSE和SSIM损失函数，s表示去条纹阶段数，表示网络预测的条纹信息，R表示真实条纹信息，α表示平衡两个损失的参数。

有益效果：与现有技术相比，本发明的有益效果：1、使用空间注意力机制，充分获取更多的上下文信息，提高了去雨图像的质量；使用膨胀卷积提高感受野，来提取更多的目标特征；使用通道注意力机制，由每一个卷积层中的相互依赖性为不同的特征映射图指定相应的权值，更好地模拟了条纹细节之间的依赖性关系；2、对真实雨图和合成雨图的去雨效果都很显著，在提高图像质量方面优于其他先进的方法；3、该发明更好地解决了在处理含密集雨条纹图像中出现的雨条纹残留和细节模糊的问题，在定量和定性指标上都优于其他对比方法，很大程度上解决了含密集雨条纹的图像中出现的雨条纹残留和细节模糊问题。

附图说明

图1是基于注意力机制与门控循环单元的单幅图像去雨方法的网络架构示意图；

图2是空间注意力模块结构图；

图3是通道注意力模块结构图；

图4是在合成图像环境下本发明与其他去雨方法效果图；

图5是在真实图像环境下本发明与其他去雨方法效果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出的一种基于注意力机制与门控循环单元的图像去雨方法，具体包括以下步骤：

步骤1：如图1所示，构建一个基于注意力机制与门控循环单元的单幅图像去雨网络架构(Attention Mechanism and Gated Recurrent Network，AMGR-Net AMGR-Net)。

构建的网络架构包含6个模块，卷积核的个数为24，其中前五个模块包含门控循环单元、空间注意力模块和激活函数，并使用3×3的卷积核。第1个模块作为编码器，将图像转换为特征图。考虑到大的感受野有助于获取大量的上下文信息，因此在模块2到模块5中分别使用了扩张因子为1、2、4和8的膨胀卷积，对应的接受域大小分别为5×5，9×9，17×17，33×33。第6个模块包含卷积层、通道注意力模块和激活函数，使用3×3的卷积核，接受域大小设置为35×35。模块6后使用一个1×1的卷积层，接受域大小设置为35×35，用于充当解码器来生成残差映射。此外，为了保留具有负特征值的条纹细节信息，采用Leaky ReLU作为激活函数。门控循环单元使用Tanh和ReLU激活函数，空间注意力模块使用Sigmoid激活函数，通道注意力模块Sigmoid和ReLU激活函数。

本方法选择适合捕捉数据中长期依赖关系的门控循环单元(Gated RecurrentUnits，GRU)。GRU包含更新门和重置门，更新门用于控制当前时刻输出的状态中保留多少历史状态，以及保留当前时刻候选状态的多少。给定第s阶段中第j层的特征映射第s阶段j-1层的映射特征/>和上一时间步的隐藏状态/>更新门的计算式表示为：

其中，表示权重参数，/>表示偏差参数。σ表示Sigmoid函数，目的在于将更新门/>中每个元素的值变换到0和1之间。

重置门用于决定当前时刻的候选状态对上一时刻网络状态的依赖程度。重置门的计算式表示为：

其中，表示权重参数，/>表示偏差参数，σ表示Sigmoid函数，将重置门中每个元素的值变换到0和1之间。

GRU计算候选隐藏状态来辅助后续隐藏状态/>的计算。首先将当前时间步重置门的输出/>与上一时间步隐藏状态/>进行哈达玛积运算。若重置门中的元素值趋近于0，则意味着重置对应的隐藏状态元素为0，也就是丢掉上一时间步的隐藏状态。若重置门中的元素值趋近于1，则对上一时间步的隐藏状态进行保留。然后将/>分别与权重矩阵/>和/>相乘，再将这两部分结果相加后放入Tanh激活函数中，将值域压缩到[-1,1]，得到候选隐藏状态/>那么时间步s的候选隐藏状态/>的公式表示为：

其中，和/>表示权重参数，/>表示偏差参数。

最后计算时间步s的隐藏状态此时需使用更新门的输出/>分别和上一时间步的状态/>以及候选隐藏状态/>进行哈达玛积运算，最终得到当前时刻网络的输出，表示为：

如果更新门的输出趋近于0，则表示遗忘了上一时刻的信息，反之如果更新门的输出/>趋近于1，则表示遗忘了当前的输入信息；若为其他值，则表示不同的重要程度。综上所述，GRU可有效地解决遗忘问题，即反向传播中的梯度消失问题。

如图2所示，本方法使用空间注意力模块对不同空间位置的特征进行增强或抑制。在图像去雨问题中，上下文信息等高级特征尤为重要。与标准卷积相比，膨胀卷积利于构造更高效的空间映射图。因此，在空间注意力模块中，通过利用膨胀卷积扩大接收域，充分地利用上下文信息。对于给定的输入特征图及计算出的空间注意力图则重新定义的特征映射F'可表示为：

其中，表示逐元素的乘法。

该空间注意力模块包含膨胀指数d和缩减率r两个超参数。膨胀指数决定了特征接受域的大小，对上下文信息的聚集有促进作用。缩小率主要对空间注意力模块的容量和最小值进行控制。具体地，首先使用1×1卷积将特征的尺寸缩减到/>来实现在通道维度上集成和压缩特征图的目的；特征缩减之后，使用两个3×3的膨胀卷积，来有效地利用上下文信息；再使用一个1×1的卷积，将特征简化成/>得到了空间注意力图M(F1)；随后取Sigmoid函数，得到0到1范围内的空间注意力图M(F)。最后将M(F)与输入特征图F相乘，并将其与原始输入特征图相加，得到细化后的特征图F′。空间注意力M(F)的计算如下：

如图3所示，AMGR-Net网络的模块6中使用通道注意力模块，通过对特征映射图各个通道之间的依赖性关系进行建模，从而增加此去条纹网络的特征表达能力。首先进行挤压操作，对输入的特征X(包含C个特征映射图)采用全局均值池化操作，通过对每个特征映射图进行压缩，使其具有全局的感受野，特征X的C个特征映射图变成1×1×C的实数数列。为了使用挤压操作中产生的汇总信息，需进行激励操作，通过使用参数来为每个特征通道生成权重，全面捕获通道之间的依赖性。即引入两个全连接层，这不仅限制了模型的复杂度，也充分考虑到了模型的泛化能力，其中降维比例设置为6。在两个全连接层后采用简单的门限机制，分别使用ReLU和Sigmoid激活函数。最后通过重置权重的操作，将激励操作输出的权重当做每个特征通道的权重信息，再使用乘法运算逐通道加权到原输入特征X上，最终得到新的特征X’，实现了在通道维度上对原始特征的重标定处理，增加了特征的辨别力。

由于输入图像中包含着不同的雨层，仅通过一个阶段，很难将图像中的雨线去除干净，因此本方法采用循环神经网络将去雨过程分解为4个阶段，将不同阶段的输入图像视为包含不同级别的含雨图像的时间序列。同时为了更好地利用前一阶段的特征信息，并指导后续阶段的学习，使用GRU循环单元，这个过程可表述为：

O₁＝O

O_s+1＝O_s-R_s,1≤s≤S

其中，O表示输入的含条纹图像，S表示去条纹阶段的数量，R_s表示第s阶段的输出，为第s阶段分解的第i个条纹层，O_s为第s阶段的输入，x_s-1为第(s-1)个阶段的隐藏状态。O_s+1为第s阶段输出的去条纹结果，通过将/>与不同的α值相加来计算R_s。

步骤2：构造损失函数，MSE是训练深度神经网络时被广泛使用的损失函数。然而，MSE损失函数由于受到平方的惩罚，在图像的边缘处处理不佳，常会导致复原结果过度平滑。为了解决上述问题，本发明选择MSE和SSIM作为损失函数，在提升去条纹效果和更好的保留细节信息之间达到平衡，表示为：

其中，L_mse和L_ssim分别表示MSE和SSIM损失函数，s表示去条纹阶段数，表示网络预测的条纹信息，R表示真实条纹信息，α表示平衡两个损失的参数。

步骤3：获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤1提出的基于注意力机制与门控循环单元的图像去雨网络架构进行训练。

将一个包含1800对合成雨图和清晰图像的数据集作为训练数据。训练网络时从训练集的每对数据中随机生成100个64×64的图像块。输入到所述基于深度卷积神经网络的图像去雨的网络架构中进行训练迭代，并针对每次迭代，采用Adam算法更新所述网络参数。训练的批量大小和初始学习率分别设置为32和0.005，训练迭代次数为20000，当迭代次数为15000和17500时分别将学习率除以10。

在模型训练之后，通过网络的输出层可得到去除雨线后的图像。

图4展示了3幅合成带雨图像的恢复实例，从实验结果可以发现，DSC和GMM-LP方法处理后的去雨图像存在严重的雨条纹残留问题。原因在于DSC和GMM-LP方法未利用原始图像中较高水平的特征信息，当图像中的雨条纹严重时，这两种方法的去雨效果甚微。ResGuideNet和RESCAN方法能去除图像中的大部分雨条纹，但不能较好地保留图像的细节部分。AMGR-Net模型使用空间注意力模块对不同空间位置的特征进行增强或抑制，并使用通道注意力模块通过对特征映射图各个通道之间的依赖性关系进行建模，增加了此去雨网络的特征表达能力。本发明方法通过充分利用图像的通道信息和空间信息等深层的特征信息，准确区分了图像中的非雨条纹和雨条纹信息，达到了既可以有效去除雨条纹又可以很好保留原始图像细节信息的效果，另外采用循环神经网络也更好地利用前一阶段的特征信息，并指导了后续阶段的学习。此外，本发明方法的去雨结果图与原始无雨图像相比，在对比度上效果也好，较好恢复的图像背景也较为清晰，达到了较优地视觉效果。

接下来对图4中的去雨结果图进行PSNR和SSIM指标对比，结果如表1所示，可以看出，本发明方法在PSNR与SSIM指标上都高于其他方法。通过这些对比实验验证了本发明方法的有效性。

表1不同方法的图像复原质量评价结果

图5展示了真实带雨图像的去雨实例图。从实验对比图可以看出，DSC和GMM-LP方法残留了较多的雨条纹。从视觉角度来看，在对真实雨图的恢复过程中，ResGuideNet、RESCAN方法的去雨效果与AMGR-Net方法差距不大，但是AMG R-Net方法能够更好地保留图像的细节信息和色度信息。

Claims (5)

1.一种基于注意力机制与门控循环单元的图像去雨方法，其特征在于，包括以下步骤：

(1)构建基于注意力机制与门控循环单元的图像去雨网络架构，包含6个模块，卷积核的个数为24，其中前五个模块每个模块中都包含门控循环单元、空间注意力模块和激活函数，并使用3×3的卷积核；模块1作为编码器，将图像转换为特征图；模块2到模块5中分别使用扩张因子为1、2、4和8的膨胀卷积，对应的接受域大小分别为5×5，9×9，17×17，33×33；模块6包含卷积层、通道注意力模块和激活函数，使用3×3的卷积核，接受域大小设置为35×35；模块6后连接一个1×1的卷积层，接受域大小设置为35×35，作为解码器生成残差映射；

(2)构造损失函数，选择MSE和SSIM作为损失函数；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于注意力机制与门控循环单元的图像去雨网络架构进行训练；

所述门控循环单元工作过程如下：

计算候选隐藏状态来辅助后续隐藏状态/>的计算：首先将当前时间步重置门的输出与上一时间步隐藏状态/>进行哈达玛积运算；若重置门中的元素值趋近于0，则意味着重置对应的隐藏状态元素为0，即丢掉上一时间步的隐藏状态；若重置门中的元素值趋近于1，则对上一时间步的隐藏状态进行保留；然后将/> 分别与权重矩阵/>和/>相乘，再将这两部分结果相加后放入Tanh激活函数中，将值域压缩到[-1,1]，得到候选隐藏状态/>时间步s的候选隐藏状态/>的公式表示为：

其中，和/>表示权重参数，/>表示偏差参数；

计算时间步s的隐藏状态使用更新门的输出/>分别和上一时间步的状态/>以及候选隐藏状态/>进行哈达玛积运算，得到当前时刻网络的输出，表示为：

如果更新门的输出趋近于0，则表示遗忘了上一时刻的信息，反之如果更新门的输出趋近于1，则表示遗忘了当前的输入信息；更新门的值越大，说明前一时刻的状态信息带入的越多；

步骤(1)所述的基于注意力机制与门控循环单元的图像去雨网络架构，经过四次循环，将每次循环的输入图像视为包含不同级别的含雨线图像的时间序列，并使用GRU循环单元：

O₁＝O

O_s+1＝O_s-R_s,1≤s≤S

其中，O表示输入的含条纹图像，S表示去条纹阶段的数量，R_s表示第s阶段的输出，为第s阶段分解的第i个条纹层，O_s为第s阶段的输入，x_s-1为第(s-1)个阶段的隐藏状态，O_s+1为第s阶段输出的去条纹结果，通过将/>与不同的α值相加来计算R_s。

2.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法，其特征在于，步骤(1)所述的门控循环单元使用Tanh和ReLU激活函数；空间注意力模块使用Sigmoid激活函数；通道注意力模块Sigmoid和ReLU激活函数。

3.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法，其特征在于，步骤(1)所述的空间注意力模块包含膨胀指数d和缩减率r两个超参数：首先使用1×1卷积将特征的尺寸缩减到/>然后使用两个3×3的膨胀卷积；再使用一个1×1的卷积，将特征简化成/>得到了空间注意力图M(F1)；随后取Sigmoid函数，得到0到1范围内的空间注意力图M(F)；最后将M(F)与输入特征图F相乘，并将其与原始输入特征图相加，得到细化后的特征图F′，空间注意力M(F)的计算如下：

4.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法，其特征在于，步骤(1)中所述的模块6的工作过程如下：

首先进行挤压操作，对输入的特征X采用全局均值池化操作，然后进行激励操作，使用参数为每个特征通道生成权重，引入两个全连接层，降维比例设置为6；在两个全连接层后采用简单的门限机制，分别使用ReLU和Sigmoid激活函数；最后通过重置权重的操作，将激励操作输出的权重当做每个特征通道的权重信息，再使用乘法运算逐通道加权到原输入特征X上，最终得到新的特征X’，实现在通道维度上对原始特征的重标定处理。

5.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法，其特征在于，所述步骤(2)通过以下公式实现：

其中，L_mse和L_ssim分别表示MSE和SSIM损失函数，s表示去条纹阶段数，表示网络预测的条纹信息，R表示真实条纹信息，α表示平衡两个损失的参数。