CN108376387A - 基于聚合膨胀卷积网络的图像去模糊方法 - Google Patents

Abstract

本发明属于计算机数字图像处理技术领域，具体为一种基于聚合膨胀卷积网络的图像去模糊方法。本发明包括构建深度神经网络：基于条件对抗生成网络，包含生成器与鉴别器，生成器结构使用堆叠的自编码器模块，自编码器模块使用自编码器结构与跳跃连接，在构建模块上使用残差模块，残差模块使用残差网络以及多路聚合膨胀卷积，鉴别器使用5层卷积神经网络；训练深度神经网络：使用公开的、真实场景下的模糊图像数据集，利用图像内容损失函数与对抗损失函数，训练前一步中构建的深度神经网络；利用训练好的网络模型对模糊图像进行去模糊处理。本发明方法能够保证去模糊效果，并快速高效地将模糊图像恢复成清晰图像，可极大地提高图像去模糊的效率。

Description

基于聚合膨胀卷积网络的图像去模糊方法

技术领域

本发明属于计算机数字图像处理技术领域，具体涉及一种基于聚合膨胀卷积网络的图像去模糊方法。

背景技术

图像模糊是拍摄照片时常见的问题，尤其是在用手机等轻量级设备拍摄时。摄像机与物体之间的相对运动包括摄像机抖动和物体运动是造成模糊的主要原因。因为不同物体的运动通常互不相同，所以图像上的模糊程度通常在空间上是不均匀的。而且，景物的深度变化和物体的分割边界会使得模糊更为复杂。运动模糊会降低图像质量并影响许多图像处理算法的效果。仅在高质量图像上进行训练的标准网络模型在应用于因散焦、物体或相机运动而导致的模糊图像上时，性能会显着降低。所以有必要去除图像上的模糊并获得清晰的图像。同时，图像去模糊算法的效率也十分重要。目前大部分方法的效率都不高，时间和内存开销太大，这限制了图像去模糊算法的实际应用。

今年来，越来越多的方法将卷积神经网络应用于图像去模糊领域。Seungjun Nah等人提出了一个多尺度卷积神经网络进行图像去模糊。他们的模型需要三个尺度的输入模糊图像，然后将它们从粗到细处理，最后在三个尺度上输出三个对应的恢复的清晰图像。该方法去模糊效果较好，但是由于多尺度的网络结构，导致时间与内存开销过大。Ramakrishnan等人提出了基于条件生成对抗网络的卷积神经网络进行图像去模糊。他们在模型中使用了全局跳跃连接和密集体系结构，可以使网络复用前一层提取的特征。与之前的方法相比，该方法去模糊效果更好，所花费的时间更短，但是由于使用了密集体系结构，该方法仍然需要大量的内存资源。

为了解决这些问题，本发明提出了一种基于聚合膨胀卷积网络的图像去模糊方法。方法整体基于条件对抗生成网络，在网络结构上使用堆叠的自编码器结构与跳跃连接，在基础构造模块上使用聚合膨胀卷积的残差模块。网络模型利用公开的、真实场景下的模糊图像数据集进行训练。通过在基准数据集上的实验，方法表现出了良好的图像去模糊效果，并且能够大幅度地降低时间与内存开销。

发明内容

本发明的目的在于提供一种高效的、去模糊效果好的图像去模糊方法。

本发明提出的图像去模糊方法，是基于聚合膨胀卷积网络的图像去模糊方法。本发明提出的方法，包含构建生成器和鉴别器，其中生成器使用堆叠的自编码器模块和跳跃连接，自编码器模块使用聚合膨胀卷积的残差模块进行构建，鉴别器包含5层卷积层；网络模型在真实场景下的模糊图像数据集上进行训练；进行图像去模糊时，将模糊图像通过生成器进行处理，即可得到一张对应的清晰图像。本发明提出的方法能够良好地去除图像上的模糊，恢复出清晰图像，同时能够极大地减少运行时间与所需内存，具有高效性。

本发明提出的基于聚合膨胀卷积网络的图像去模糊方法，具体步骤如下：

(1)、构建深度神经网络；

(2)、训练深度神经网络；

上述步骤(1)所述的构建深度神经网络，具体过程如下：

(11)、构造生成器，其具体步骤如下：

(111)、构造网络头部：头部包含1个卷积核大小为5×5的卷积层，将输入的3通道RGB图像变换为一个64通道的特征映射；

(112)、构造网络中部：中部顺序地将自编码器模块堆叠起来，自编码器模块共2个。每一个自编码器模块还包含一个残差连接，将自编码器模块的输入与输出相加，作为自编码器模块的输出，其具体步骤如下：

(1121)、构造自编码器模块，其具体步骤如下：

(11211)、构造基于聚合膨胀卷积的残差模块，称为基础模块，其具体步骤如下：

(112111)、构造C路不同的路径，其中每一条路径都包含两个卷积核大小为3×3的卷积层，并且在每个卷积层之前都有一个激活层；第一层卷积层的输出与第二层卷积层的输入通道数相同，都为D；每条路径除了卷积层的膨胀系数都相同；C条路径中，每个卷积层的膨胀系数从1增加到D；C与D的乘积为一个常数Chr，Chr为基础模块输入的特征映射通道数；

(112112)、将C路不同的路径并联起来，基础模块的输入通过每一条路径，输出为每一条路径的输出之和；

(112113)、为基础模块添加残差连接，基础模块的输入与输出相加，作为基础模块的新输出；

(11212)、定义下采样组：一个下采样组由顺序连接的一个基础模块和一个最大池化层组成；

(11213)、定义上采样组：一个上采样组由顺序连接的一个最近邻插值层和一个基础模块组成；

(11214)、顺序连接L个下采样组，一个基础模块与L个上采样组，其中L为上采样组、下采样组的数量；

(11215)、在第i个下采样组与第L-i个上采样组中添加跳跃连接，每个跳跃连接将第i个下采样组中的基础模块的输出与第L-i个上采样组中最近邻插值层的输出相加，作为第L-i个上采样组中最近邻插值层的新输出，其中i为下采样组的编号，

(1122)、为每个自编码器模块添加残差连接；

(1123)、将带残差连接的自编码器模块顺序堆叠起来；

(113)、构造网络尾部：尾部包含1个非线性激活层和一个卷积核大小为5×5的卷积层，将网络中部得到的特征映射变换为输出的3通道图像；

(12)、构造鉴别器，其具体步骤如下：

(121)、定义4个不同的卷积层。每个卷积层的卷积核大小都为3×3，步长都为2，输出的特征映射通道数从64开始，不断翻倍，直至最后一层变为1，即为64，128，256，512，每一个卷积层后连接一个非线性激活层；

(122)、定义最后一层卷积层，卷积核大小为3×3,步长为1，输出的特征映射通道数为1；

(123)、将之前定义的5层卷积层顺序连接起来；

步骤(2)所述的训练深度神经网络，具体过程如下：

(21)、构造损失函数，其具体步骤如下：

(211)、构造图像内容损失函数，损失函数为l₁损失函数，具体形式为：

其中x，y分别表示生成器的输出图像与真实图像，n表示图像中的元素总数；

(212)、构造生成器的对抗损失函数，具体形式为：

其中，表示期望，G和D分别表示生成器和鉴别器，B表示模糊图像集合，c表示生成器的输出图像想要得到的标签；

(213)、构造鉴别器的对抗损失函数，具体形式为：

其中G和D分别表示生成器和鉴别器，B和S分别表示模糊图像集合和清晰图像集合，C和b分别表示生成图像和真实图像的标签；

(22)、使用公开的、真实场景下的模糊图像数据集，训练构造好的神经网络，其具体步骤如下：

(221)、获取公开的、真实场景下的模糊图像数据集；

(222)、计算鉴别器的对抗损失函数，训练一轮鉴别器；

(223)、计算图像内容损失函数与生成器的对抗损失函数，训练一轮生成器；

(224)、不断重复步骤(222)与步骤(223)，直至模型收敛；

(3)、利用训练好的网络模型进行图像去模糊；

与现有技术相比，本发明的有益效果为：

1、本发明提出了一个新颖的基于聚合膨胀卷积网络的图像去模糊方法，提升了图像去模糊的效果。

2、本发明提出的基于聚合膨胀卷积网络的图像去模糊方法效率更高，极大地节约了时间与内存开销。

3、本发明有助于图像去模糊方法被应用于实际场景中，如应用于相机、图像处理软件等。

附图说明

图1为本发明的基于聚合膨胀卷积网络的图像去模糊方法的流程图。

图2为生成器的网络结构。

图3为自编码器模块的网络结构。

图4为基于聚合膨胀卷积的残差模块的网络结构。

图5为本发明的图像去模糊效果图。

具体实施方式

本发明的聚合膨胀卷积网络的图像去模糊方法，具体步骤如下：

(1)、构建深度神经网络；

(2)、训练深度神经网络；

上述步骤(1)所述的构建深度神经网络，具体过程如下：

(11)、如图2所示，构造生成器，其具体步骤如下：

(111)、构造网络头部：头部包含1个卷积核大小为5×5的卷积层，将输入的3通道RGB图像变换为一个64通道的特征映射；

(112)、构造网络中部：中部顺序地将自编码器模块堆叠起来，自编码器模块共2个。每一个自编码器模块还包含一个残差连接，将自编码器模块的输入与输出相加，自编码器模块的输出，具体步骤如下：

(1121)、如图3所示，构造自编码器模块，具体步骤如下：

(11211)、如图4所示，构造基于聚合膨胀卷积的残差模块，具体步骤如下：

(112111)、构造C路不同的路径，其中每一条路径都包含两个卷积核大小为3×3的卷积层，并且在每个卷积层之前都有一个激活层；第一层卷积层的输出与第二层卷积层的输入通道数相同，都为D；每条路径除了卷积层的膨胀系数都相同；C条路径中，每个卷积层的膨胀系数从1增加到D；C与D的乘积为一个常数Chr，Chr为基础模块输入的特征映射通道数，其中Chr＝64,C＝4，D＝16；

(112112)、将C路不同的路径并联起来，基础模块的输入通过每一条路径，输出为每一条路径的输出之和；

(112113)、为基础模块添加残差连接，基础模块的输入与输出相加，作为基础模块的新输出；

(11212)、定义下采样组：一个下采样组由顺序连接的一个基础模块和一个最大池化层组成；

(11213)、定义上采样组：一个上采样组由顺序连接的一个最近邻插值层和一个基础模块组成；

(11214)、顺序连接L个下采样组，一个基础模块与L个上采样组，其中L为上采样组、下采样组的数量；

(11215)、在第i个下采样组与第L-i个上采样组中添加跳跃连接，每个跳跃连接将第i个下采样组中的基础模块的输出与第L-i个上采样组中最近邻插值层的输出相加，作为第L-i个上采样组中最近邻插值层的新输出，其中i为下采样组的编号，

(1122)、为每个自编码器模块添加残差连接；

(1123)、将带残差连接的自编码器模块顺序堆叠起来；

(113)、构造网络尾部：尾部包含1个非线性激活层和一个卷积核大小为5×5的卷积层，将网络中部得到的特征映射变换为输出的3通道图像；

(12)、构造鉴别器，具体步骤如下：

(121)、定义4个不同的卷积层。每个卷积层的卷积核大小都为3×3，步长都为2，输出的特征映射通道数从64开始，不断翻倍，直至最后一层变为1，即为64，128，256，512，每一个卷积层后连接一个非线性激活层；

(122)、定义最后一层卷积层，卷积核大小为3×3,步长为1，输出特征映射通道数为1；

(123)、将之前定义的5层卷积层顺序连接起来；

步骤(2)所述的训练深度神经网络，具体过程如下：

(21)、构造损失函数，其具体步骤如下：

(211)、构造图像内容损失函数，损失函数为l₁损失函数，具体形式为：

其中，x，y分别表示生成器的输出图像与真实图像，n表示图像中的元素总数；

(212)、构造生成器的对抗损失函数，具体形式为：

其中，G和D分别表示生成器和鉴别器，B表示模糊图像集合，c表示生成器的输出图像想要得到的标签，c＝1；

(213)、构造鉴别器的对抗损失函数，具体形式为：

其中，G和D分别表示生成器和鉴别器，B和S分别表示模糊图像集合和清晰图像集合，a和b分别表示生成图像和真实图像的标签,a＝0，b＝1；

(22)、使用公开的、真实场景下的模糊图像数据集，训练构造好的神经网络，其具体步骤如下：

(221)、获取公开的、真实场景下的模糊图像数据集；

(222)、计算鉴别器的对抗损失函数，训练一轮鉴别器；

(223)、计算图像内容损失函数与生成器的对抗损失函数，训练一轮生成器；

(224)、不断重复步骤(222)与步骤(223)，直至模型收敛；

(3)、利用训练好的网络模型进行图像去模糊，获得清晰的图像，如图5所示。

Claims (8)

1.一种基于聚合膨胀卷积网络的图像去模糊方法，其特征在于，具体步骤如下：

(1)、构建深度神经网络；

(2)、训练深度神经网络；

(3)、利用训练好的网络模型进行图像去模糊；

其中：

步骤(1)所述的构建深度神经网络，具体过程如下：

(11)、构造生成器；

(12)、构造鉴别器；

步骤(2)所述的训练深度神经网络，具体过程如下：

(21)、构造损失函数；

(22)、使用公开的、真实场景下的模糊图像数据集，训练构造好的神经网络。

2.根据权利要求1所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(11)中所述构造生成器，具体过程如下：

(111)、构造网络头部：头部包含1个卷积核大小为5×5的卷积层，将输入的3通道RGB图像变换为一个64通道的特征映射；

(112)、构造网络中部：中部顺序地将自编码器模块堆叠起来，自编码器模块共2个；每一个自编码器模块还包含一个残差连接，将自编码器模块的输入与输出相加，作为自编码器模块的输出；

(113)、构造网络尾部：尾部包含1个非线性激活层和一个卷积核大小为5×5的卷积层，将网络中部得到的特征映射变换为输出的3通道图像。

3.根据权利要求2所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(112)中所述构造网络中部，具体过程如下：

(1121)、构造自编码器模块；

(1122)、为每个自编码器模块添加残差连接；

(1123)、将带残差连接的自编码器模块顺序堆叠起来。

4.根据权利要求3所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(1121)中所述构造自编码器模块，具体过程如下：

(11211)、构造基于聚合膨胀卷积的残差模块，称为基础模块；

(11212)、定义下采样组：一个下采样组由顺序连接的一个基础模块和一个最大池化层组成；

(11213)、定义上采样组：一个上采样组由顺序连接的一个最近邻插值层和一个基础模块组成；

(11214)、顺序连接L个下采样组，一个基础模块与L个上采样组，其中L为上采样组、下采样组的数量；

(11215)、在第i个下采样组与第L-i个上采样组中添加跳跃连接，每个跳跃连接将第i个下采样组中的基础模块的输出与第L-i个上采样组中最近邻插值层的输出相加，作为第L-i个上采样组中最近邻插值层的新输出，其中i为下采样组的编号，

5.根据权利要求4所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于步骤(11211)中所述构造基于聚合膨胀卷积的残差模块，具体过程如下：

(112111)、构造C路不同的路径，其中每一条路径都包含两个卷积核大小为3×3的卷积层，并且在每个卷积层之前都有一个激活层；第一层卷积层的输出与第二层卷积层的输入通道数相同，都为D；每条路径除了卷积层的膨胀系数都相同；C条路径中，每个卷积层的膨胀系数从1增加到D；C与D的乘积为一个常数Chr，Chr为基础模块输入的特征映射通道数；

(112112)、将C路不同的路径并联起来，基础模块的输入通过每一条路径，输出为每一条路径的输出之和；

(112113)、为基础模块添加残差连接，基础模块的输入与输出相加，作为基础模块的新输出。

6.根据权利要求1所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(12)中所述构造鉴别器，具体过程如下：

(121)、定义4个不同的卷积层，每个卷积层的卷积核大小都为3×3，步长都为2，输出的特征映射通道数从64开始，不断翻倍，直至最后一层变为1，即为64，128，256，512，每一个卷积层后连接一个非线性激活层；

(122)、定义最后一层卷积层，卷积核大小为3×3,步长为1，输出的特征映射通道数为1；

(123)、将之前定义的5层卷积层顺序连接起来。

7.根据权利要求1所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(21)中所述构造损失函数，具体过程如下：

(211)、构造图像内容损失函数，损失函数为l₁损失函数，具体形式为：

其中，x，y分别表示生成器的输出图像与真实图像，n表示图像中的元素总数；

(212)、构造生成器的对抗损失函数，具体形式为：

其中，表示期望，G和D分别表示生成器和鉴别器，B表示模糊图像集合，c表示生成器的输出图像想要得到的标签；

(213)、构造鉴别器的对抗损失函数，具体形式为：

其中，G和D分别表示生成器和鉴别器，B和S分别表示模糊图像集合和清晰图像集合，a和b分别表示生成图像和真实图像的标签。

8.根据权利要求1所述的基于聚合膨胀卷积的图像去模糊方法，其特征在于，步骤(22)中所述使用公开的、真实场景下的模糊图像数据集，训练构造好的神经网络，具体过程如下：

(221)、获取公开的、真实场景下的模糊图像数据集；

(222)、计算鉴别器的对抗损失函数，训练一轮鉴别器；

(223)、计算图像内容损失函数与生成器的对抗损失函数，训练一轮生成器；

(224)、不断重复步骤(222)与(223)，直至模型收敛。