CN112927171A - 一种基于生成对抗网络的单幅图像去模糊方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的单幅图像去模糊方法，属于计算机视觉领域。该方法包括：S1：获取模糊图像，并对其进行预处理；S2：构建基于生成对抗网络的单幅图像网络，并将预处理后的图像输入该单幅图像网络进行训练；所述单幅图像网络中包括生成器网络和判别器网络；其中，生成器网络采用加入密集块的多尺度递归网络；判别器网络采用PatchGAN；S3：将待处理单幅模糊图像输入训练好的单幅图像网络，最终输出去模糊后的清晰图像。本发明解决了目前的图像去模糊算法局限于成对数据集，面临去模糊效果不好的问题，本发明能减少参数量，降低网络的训练难度，从而使得去模糊后的图像接近实际情况。

Description

一种基于生成对抗网络的单幅图像去模糊方法

技术领域

本发明属于计算机视觉领域，涉及一种基于生成对抗网络的单幅图像去模糊方法。

背景技术

图像模糊是由于在图像成像的过程中，发生散焦模糊(相机自身对焦不准造成的模糊)和运动模糊(相机与成像目标在相对位置上的发生变化造成，比如位移、旋转等)，从而丢失图像的重要信息，在医学、军事、航天、公共场所的监控、人脸支付以及行人检测等领域，图像的模糊给相关人员、工作带来了诸多不便。图像去模糊将模糊图像通过算法处理，将模糊图像去模糊后生成清晰图像。目前图像去模糊主要分为盲去模糊和非盲去模糊。非盲去模糊主要是在模糊核已知的情况下，通过模糊图像与模糊核进行反卷积进行去模糊；盲去模糊主要是在模糊核位置的情况下，对模糊核进行估算得到模糊核，然后与模糊图像进行反卷积去模糊。随着深度学习的发展，盲去模糊新增了端到端的去模糊，去模糊的过程不再关注模糊核的估算，输入模糊图像，通过约束函数对映射进行约束，直接输出去模糊的清晰图像。深度学习需要大量的成对数据去训练，才能保证网络得到更好的泛化。是图像去模糊很难得到成对的模糊图像-清晰图像，即在真实情况下，图像模糊的产生无法同时记录到清晰图像的产生，目前大多数图像去模糊数据集是通过后期合成的，将清晰图像与合成的模糊核进行卷积得到成对的数据，或者通过高速相机获取视频帧来合成。

现有的图像去模糊算法局由于单幅图像的特征有限，导致图像去模糊不完整、失真，甚至出现图像不同程度的模糊加剧的情况。因此，目前亟需一种更好的图像去模糊算法，以此保证去模糊的效果。

发明内容

有鉴于此，本发明的目的在于提供一种基于生成对抗网络的单幅图像去模糊方法，解决目前的图像去模糊算法局限于成对数据集，面临去模糊效果不好的问题，该方法能减少参数量，降低网络的训练难度，从而使得去模糊后的图像接近实际情况。

为达到上述目的，本发明提供如下技术方案：

一种基于生成对抗网络的单幅图像去模糊方法，包括以下步骤：

S1：获取模糊图像，并对其进行预处理；

S2：构建基于生成对抗网络的单幅图像网络，并将预处理后的图像输入该单幅图像网络进行训练；

所述单幅图像网络中包括生成器网络和判别器网络；其中，生成器网络采用加入密集块的多尺度递归网络，将图像裁剪成256×256大小，以及下采样2次，以此对应三个尺度的输入，经过网络得到目标图像；判别器网络采用PatchGAN，判别图像的真实性；

S3：将待处理单幅模糊图像输入训练好的单幅图像网络，最终输出去模糊后的清晰图像。

进一步，步骤S1中，对模糊图像预处理，具体包括：将原始模糊图像裁剪成256×256大小，下采样2次，得到128×128、56×56的图像。

进一步，步骤S2中，所述多尺度递归网络将原始的残差块替换为密集块，每个尺度的网络采用编码器-解码器结构，整个网络的激活函数为ReLU，不同尺度之间的连接采用ConvLSTM。

进一步，步骤S2中，所述编码器由1个InBlock和2个EBlock组成；所述解码器由1个OutBlock和2个DBlock组成；EBlock包含1个卷积层和3个密集块，DBlock包含3个密集块和1个解卷积层，每个EBlock/OutBlock内所有的卷积层的内核数相同。

进一步，步骤S2中，构建的基于生成对抗网络的单幅图像网络的损失包对抗损失、感知损失和同一映射损失，函数表达式为：

其中，

表示对抗损失，

表示感知损失，

表示同一映射损失。

进一步，所述对抗损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，G(·)表示生成器，D(·)表示判别器，X、Y分别表示X域图像和Y域图像。

进一步，所述感知损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，CHW表示特征图的通道数、高度和宽度，φ(·)表示卷积层的特征输出图，G(·)表示生成器，X、Y分别表示X域图像和Y域图像。

进一步，所述同一映射损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，G(·)表示生成器，X、Y分别表示X域图像和Y域图像，||·||₁表示L1范数。

本发明的有益效果在于：本发明将CycleGAN网络的生成器改进成多尺度递归网络，该网络采用从粗到精尺度的思想，对图像的特征得到了充分利用，多尺度在不同尺度下需要取得不同的参数，造成参数量过大，网络训练困难，稳定性变差等问题。继而，本发明在该网络中添加了密集块，让尺度迭代过程中参数实现了共享，加强了图像特征的利用，大大减少了参数量，降低了网络的训练难度。通过对抗损失、感知损失、同一映射损失的约束，最终，图像去模糊后的图像，更加真实、自然、清晰，更接近人的视觉效果。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明实例中基于生成对抗网络的单幅图像去模糊总体架构图；

图2是本发明实例中生成器网络图；

图3是本发明实例中密集块的结构图；

图4是本发明实例中不同图像去模糊算法之间的对比效果图；

图5是利用本发明方法在实际生活中的去模糊效果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图5，本发明基于改进CycleGAN网络模型实现单幅图像去模糊，在网络中实现了“模糊-清晰-模糊”和“清晰-模糊-清晰”的过程，通过损失函数的约束，完成图像去模糊。为了说明本发明的技术方案，下面结合附图和具体实施方法来说明。

图1示出了本实施例中基于生成对抗网络的单幅图像去模糊总体架构图，该网络中由两个生成器G(A)和G(B)，以及两个判别器D(A)和D(B)，生成器G(A)和判别器D(A)的作用就是由模糊图像生成清晰图像，而G(B)和D(B)的作用是由清晰图像生成模糊图像。为了保证生成样本的内容，训练过程中分为了前向循环和后向循环，前向循环是由模糊-清晰-模糊的过程，为了使内容保持一致，对前向循环中原始模糊图像与生成的模糊图像进行了约束；而后向循环是由清晰-模糊-清晰的过程，对后向循环中原始的清晰图像与生成的清晰图像进行了约束，因此，在单幅(非成对)图像下能够保证内容的一致性。

图2示出了本实施例中生成器网络图，采用了从“粗”到“精”的跨尺度递归网络，以模糊图像或者初始去模糊结果作为输入，估计当前尺度下的清晰图像，将不同尺度下模糊图像到清晰图像的过程当做图像去模糊的子问题，这个过程如下表达式所示：

Iⁱ,hⁱ＝Net_MS(Bⁱ,I^i+1↑,h^i+1↑；θ_MS)

其中，i代表网络层尺度索引(i＝1表示最精细的尺度)，Iⁱ和Bⁱ分别表示i尺度下的清晰和模糊图像，hⁱ为可以获取图像特征以及前一尺度的核特征，由粗到细的尺度中移动，参数Net_MS代表该多尺度去模糊网络，θ_MS正好是它对应的训练参数。每个尺度的网络采用了编码器-解码器结构，编解码器结构本质上是一种对称的CNN结构，其结构在编码器中将输入数据逐步转换成具有较小空间大小和更多通道的特征中，然后在解码器中转换回其输入的形状作为输出。但是原始的编码器-解码器结构进行图像去模糊，需要增加更大的感受野来获取模糊情况，增加网络层数，带来大量的参数和中间特征，转换效率降低。因此，本发明将原始的残差块改进成了密集块，密集块加强了特征的传递，增加了特征的利用率，在一定程度上减少了参数。密集块结构如图3所示，相比残差块，将不同层次特征联系起来，参数量减少的同时，提高了感受野，降低训练的复杂度。B_i和I_i表示第i尺度下的模糊图像以及在i尺度下去模糊得到的清晰图像，上下不同尺度之间执行一次0.5倍上采样，除第三层外，每层输入都是模糊图像与上一层输出的清晰图像经过上采样后作为输入图像。编码器由1个InBlock和2个EBlock组成，解码器由1个OutBlock和2个DBlock组成，InBlock产生32通道数特征图，OutBlock生成输出图像。EBlock包含1个卷积层和3个密集块，DBlock包含3个密集块和1个解卷积层，每个EBlock/OutBlock内所有的卷积层的内核数相同，EBlock的内核数分别为64和128，而DBlock的内核数与EBlock正好相反。EBlock和反卷积层中卷积层步幅为2，而其他所有卷积为1，整个网络的激活函数为ReLU，其大小设置为5。为了使不同尺度之间的连接采取深度递归模块来实现，本发明选择ConvLSTM，相比于LSTM来说，加入卷积操作后，不仅能得到时序关系，还能像卷积层一样提取空间特征。

本实施例的判别器网络的主要任务就是分别出图像的真实性，即图像是生成还是真实。本文的判别器用了PatchGAN，PatchGAN将输入的图像分成N×N个块，输出一个N×N的矩阵，这个矩阵中的每个元素都代表每一块图像的“真”“假”，最终对矩阵中的所有结果取均值输出。由于在判别过程中，一个小块相比于原图的尺寸更小，所以参数量也更少，运行速度也更快，同时此判别器可在任意大小的图片上运行。

本实施例的图像去模糊模型实际上就是两个生成对抗网络，G(A)是为了由模糊图像尽可能生成原始的清晰图像，而G(B)是为了将清晰图像尽可能生成符合真实情况下的模糊图像，为了完成上述的要求，需要对抗损失函数来约束。本实施例加入Wasserstein距离损失函数，其对抗损失如下式所示：

为了使生成的图像与原始的图像内容上保持一致，本实施例引入感知损失作为内容损失来约束图像的内容。感知损失如下式所示：

为了更深层次约束输入图像与输出图像内容上的一致性，本实施例加入了另外一个损失：同一映射损失，同一映射损失约束输入图像与输出图像在色彩风格上的一致性，不会导致生成器自主地修改图像色调。同一映射如下式所示：

综上所述，本实施例的损失函数如下式所示：

在本实施例中，使用GoPro数据集作为训练集，该数据集包含3214对从不同的场景拍摄的分辨率为1280×720的成对模糊模糊-清晰图像，其中的清晰图像是由GoPro HeroBlack高速运转相机拍摄所得，取连续的7帧图像，采用马尔科夫随机轨迹生成轨迹向量，将该向量进行亚像素插值生成模糊核，然后与清晰图像卷积生成模糊图像。该数据集通常使用2103张模糊图像做训练以及1111张做对比。本实施例选取单独的模糊图像进行训练。

本实施例训练采用Adam优化器，参数β₁＝0.9，β₂＝0.999，∈＝10^-8，并将衰减参数设定为0.3，判别器和生成器的初始学习率为10^-4。生成器中每次迭代，随机裁剪256×256大小的模糊图像作为输入，多尺度递归网络的层数设为3，每层分辨率从粗到细分别为64×64，128×128，256×256。

图4示出了本发明与现有不同图像去模糊算法之间的对比效果图，本发明图像去模糊生成的图像更加真实、自然。

图5示出了利用本发明方法在实际生活中的去模糊效果图。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于生成对抗网络的单幅图像去模糊方法，其特征在于，该方法包括以下步骤：

S1：获取模糊图像，并对其进行预处理；

S2：构建基于生成对抗网络的单幅图像网络，并将预处理后的图像输入该单幅图像网络进行训练；

所述单幅图像网络中包括生成器网络和判别器网络；其中，生成器网络采用加入密集块的多尺度递归网络；判别器网络采用PatchGAN；

S3：将待处理单幅模糊图像输入训练好的单幅图像网络，最终输出去模糊后的清晰图像。

2.根据权利要求1所述的单幅图像去模糊方法，其特征在于，步骤S1中，对模糊图像预处理，具体包括：将原始模糊图像裁剪成256×256大小，下采样2次，得到128×128、56×56的图像。

3.根据权利要求1所述的单幅图像去模糊方法，其特征在于，步骤S2中，所述多尺度递归网络将原始的残差块替换为密集块，每个尺度的网络采用编码器-解码器结构，整个网络的激活函数为ReLU，不同尺度之间的连接采用ConvLSTM。

4.根据权利要求3所述的单幅图像去模糊方法，其特征在于，步骤S2中，所述编码器由1个InBlock和2个EBlock组成；所述解码器由1个OutBlock和2个DBlock组成；EBlock包含1个卷积层和3个密集块，DBlock包含3个密集块和1个解卷积层，每个EBlock/OutBlock内所有的卷积层的内核数相同。

5.根据权利要求1所述的单幅图像去模糊方法，其特征在于，步骤S2中，构建的基于生成对抗网络的单幅图像网络的损失包对抗损失、感知损失和同一映射损失，函数表达式为：

其中，

表示对抗损失，

表示感知损失，

表示同一映射损失。

6.根据权利要求5所述的单幅图像去模糊方法，其特征在于，所述对抗损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，G(·)表示生成器，D(·)表示判别器，X、Y分别表示X域图像和Y域图像。

7.根据权利要求5所述的单幅图像去模糊方法，其特征在于，所述感知损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，CHW表示特征图的通道数、高度和宽度，φ(·)表示卷积层的输出特征图，G(·)表示生成器，X、Y分别表示X域图像和Y域图像。

8.根据权利要求5所述的单幅图像去模糊方法，其特征在于，所述同一映射损失的函数表达式为：

其中，n表示第n个样本，N表示样本个数，G(·)表示生成器，X、Y分别表示X域图像和Y域图像，||·||₁表示L1范数。

Images