CN111028177B - 一种基于边缘的深度学习图像去运动模糊方法 - Google Patents

Abstract

本发明涉及图像复原技术，具体涉及一种基于边缘的深度学习图像去运动模糊方法，包括利用已训练好的HED网络从模糊图像中提取边缘，随后用卷积层来提取引导去运动模糊过程的边缘特征信息；去模糊主干网络从模糊图像中提取多尺度的特征信息，在每个尺度上使用空间特征变换层将图像特征和边缘特征进行整合，解码部分从最深层的图像特征中逐步恢复出潜在清晰图像；将模糊‑清晰图像对作为训练样本集，均方差损失函数和感知损失函数的加和定义总损失函数，利用总损失函数对去模糊主干网络进行训练，直到收敛至最优精度；将运动模糊图像输入训练好的去模糊主干网络中，得到去模糊后的结果。该方法实现了图像特征和边缘特征的有效整合，去模糊的效果显著。

Description

一种基于边缘的深度学习图像去运动模糊方法

技术领域

本发明属于图像复原技术领域，尤其涉及一种基于边缘的深度学习图像去运动模糊方法。

背景技术

在拍照过程中，成像设备和场景物体发生了相对运动会产生运动模糊，此时得到的图像丢失了重要的细节信息。从已降质的模糊图像中恢复出潜在的清晰图像的过程叫做去模糊。去运动模糊能从因相机抖动、场景中有飞驰而过的车辆等原因造成的模糊图像中恢复出清晰的边缘，不仅能提升视觉感知质量，还有助于后续的文字识别、目标检测等高层次应用，因此去运动模糊具有较高的研究价值和应用前景。

现有的图像去运动模糊算法总体上可分为基于能量优化的传统去模糊方法和基于深度学习的去模糊方法。在基于能量优化的传统去模糊方法中，又可进一步细分为全局一致去模糊和全局非一致去模糊。

在传统方法中，运动模糊图像可建模为模糊核与清晰图像做卷积，随后再添加加性噪声。基于能量优化的去模糊方法包括模糊核估计和图像去卷积两个阶段，在模糊核估计阶段分析运动模糊图像的退化模型，结合模糊核和清晰图像的先验统计知识来建立能量方程，通过求解方程的最小值来得到模糊核估计值；待模糊核获取后，结合退化模型和清晰图像的先验知识建模求解得到清晰图像估计值。全局一致模糊通常是由相机拍摄静态场景时发生面内平移导致的，此时的模糊核是全图共享的，可建立图像金字塔，从粗糙到精细化地恢复出模糊核。全局不一致模糊成因较为复杂，包括相机旋转、静态场景中有动态目标和景深变化等，一般认为模糊图像中每个小区域共享一个模糊核，通常通过建立线性模糊核库去拟合小区域的模糊核。全局一致去模糊效果好，但一致模糊的假设过于理想化；成因复杂的非一致模糊更贴近真实世界，对其研究更有实际应用价值，但在传统方法的框架下建模和求解都比较复杂，且效果不是很让人满意。

近年来，深度神经网络在计算机视觉领域展现出其强大的学习能力，在图像去运动模糊领域也已有不少成果。深度学习方法是基于数据驱动的，它对全局一致去模糊和全局非一致去模糊没有严格的区分。刚开始是利用网络强大的特征表达能力去学习得到模糊核的估计值，再使用传统方法进行图像去卷积，但去模糊效果提升不大。后续的端对端的去模糊网络框架学习的是模糊图像到清晰图像的一个映射，现有的基于深度学习的非一致去模糊方法相对于传统能量优化的方法在模型建立、模型求解和去模糊效果上已经取得巨大的进步，但在图像边缘处仍存在去模糊不够彻底的问题。

发明内容

本发明的目的是提供一种以边缘信息为辅助信息的深度学习图像去运动模糊方法。

为实现上述目的，本发明采用的技术方案是：一种基于边缘的深度学习图像去运动模糊方法，包括以下步骤：

步骤1、利用已训练好的HED网络从模糊图像中提取边缘，随后用卷积层来提取引导去运动模糊过程的边缘特征信息；

步骤2、去模糊主干网络从模糊图像中提取多尺度的特征信息，在每个尺度上使用空间特征变换层将图像特征和边缘特征进行整合，解码部分从最深层的图像特征中逐步恢复出潜在的清晰图像；

步骤3、将模糊-清晰图像对作为训练样本集，将均方差损失函数和感知损失函数的加和定义为总的损失函数，利用总的损失函数对去模糊主干网络进行训练，直到其收敛至最优精度；

步骤4、将运动模糊图像输入步骤3已训练好的去模糊主干网络中，得到去模糊后的结果。

在上述的基于边缘的深度学习图像去运动模糊方法中，步骤1所述边缘特征信息的获取包括以下子步骤：

步骤1.1、模糊图像边缘图的获取；将大小W×H×3的彩色模糊图像输入加载了预训练权重的HED网络中，得到W×H×1的边缘图，W为原图的宽度，H为原图的高度；

步骤1.2、边缘图的深层次特征信息的挖掘；将步骤1.1中输出的边缘图作为输入，通过一系列卷积和非线性激活操作从模糊边缘中提取高层次的边缘特征信息：第一次卷积的卷积核尺寸为1×1，随后四次卷积的卷积核尺寸为3×3，整个过程保持图像空间分辨率不变；非线性激活采用有洞修正线性单元，最终输出大小为W×H×128的高维边缘特征信息。

在上述的基于边缘的深度学习图像去运动模糊方法中，步骤2的实现包括以下子步骤：

步骤2.1、模糊图像特征的提取；将大小W×H×3的彩色模糊图像输入由卷积和非线性激活构成的卷积层，编码阶段可分为4个处理块，每个块的特征图大小分别为kW×kH×l，其中W为原图的宽度，H为原图的高度；k＝1，0.5，0.25，0.25，l＝32/k；

步骤2.2、将模糊图像特征与边缘信息在不同尺度进行整合；采用空间特征变换残差块将步骤1.2输出的边缘特征和步骤2.1得到的当前尺度的图像特征进行整合，空间特征变换残差块包括空间特征变换层-卷积层-空间特征变换层-卷积层；

步骤2.3、对模糊图像特征进一步挖掘；将不同空洞率的空洞卷积进行组合，增大感受野从而进一步挖掘特征信息，包括2个串行-空洞卷积残差块和1个并行-空洞卷积残差块；

步骤2.4、从深层的图像特征中逐渐重构出去模糊后的图像。

在上述的基于边缘的深度学习图像去运动模糊方法中，步骤3的实现包括以下子步骤：

步骤3.1、分别定义均方差损失函数L_mse和感知损失函数L_p：

其中，I^c和I^d分别为真实的清晰图像和去模糊后的图像；m,n表示图像的横、纵坐标索引；φ_i,j表示加载了在ImageNet上预训练得到的权重的VGG19特征图，其位于第i次最大池化层之前的第j次卷积，W_i,j和H_i,j是该特征图的大小，通常设置i＝3,j＝3；

步骤3.2，定义总的损失函数：

L_total＝L_mse+λ×L_p，

其中，λ是感知损失函数的权重，设为0.01；

利用总的损失函数L_total对网络进行训练，直到整个网络收敛至最优精度为止。

本发明的有益效果：1、特征学习，泛化能力强。使用基于卷积神经网络的深度学习方法，训练了一个端到端的模型，使得输入一张运动模糊图像，便能得到一张与输入图像同分辨率的清晰图像。该过程不需要预先给出人工设计的特征，网络自身可以从训练数据中学习得到所需要的特征，并加以合理的利用，因此具有较好地泛化能力，即便是在较剧烈的模糊场景下，也能有稳定的表现。

2、网络结构简单，易于训练。去模糊主干网络是单尺度的，没有额外的子网络(比如边缘提取网络)需要训练，仅用现成的边缘提取网络来获取边缘，并通过边缘特征和图像特征整合模块来有效利用边缘提供的引导信息。因此，本发明设计的网络结构简单，易于训练。

3、去模糊精度提升，边缘处效果明显。通过引入边缘信息，并通过空间特征变换层有效地将边缘信息和图像信息在特征层面上进行了整合，显著地提升了去模糊效果，特别是在边缘处。

附图说明

图1为本发明一个实施例一种边缘的深度学习图像去运动模糊方法的流程图；

图2(a)为本发明一个实施例基于边缘的深度学习去运动模糊网络的架构中的去运动模糊主干网络；

图2(b)为本发明一个实施例基于边缘的深度学习去运动模糊网络的架构中的基于边缘的特征整合模块；

图2(c)为本发明一个实施例基于边缘的深度学习去运动模糊网络的架构中的并行-空洞卷积残差块；

图3(a)为本发明一个实施例在GOPRO测试数据集上的实验的模糊图像；

图3(b)为本发明一个实施例在GOPRO测试数据集上的实验的去模糊图像；

图4(a)为本发明一个实施例在Stereo Blur Dataset测试数据集上的第一模糊图像；

图4(b)为本发明一个实施例在Stereo Blur Dataset测试数据集上的第一去模糊图像；

图4(c)为本发明一个实施例在Stereo Blur Dataset测试数据集上的第二模糊图像；

图4(d)为本发明一个实施例在Stereo Blur Dataset测试数据集上的第二去模糊图像。

具体实施方式

下面结合附图对本发明的实施方式进行详细描述。

考虑到基于深度学习的端对端非一致去模糊方法在边缘处展现出的性能不足，以及传统去模糊方法引入图像先验知识来缩小解空间，进而得到有效的去模糊结果的可行性，本实施例提出了一种以边缘信息为辅助信息的深度学习图像去运动模糊方法，使边缘处的去模糊效果得到进一步提升。相对于多尺度的去模糊网络架构，本实施例仅使用单尺度的网络架构，大大降低了网络的复杂度和参数量。与大多数单尺度的去模糊网络架构比，本实施例引入了边缘信息来使得去模糊过程更关注边缘区域。与现有的考虑到边缘信息的单尺度去模糊网络架构比，本实施例直接使用现有的边缘提取网络来得到边缘且用新颖的空间特征变换在特征层面上整合图像和边缘信息。

本实施例是通过以下技术方案来实现的，一种基于边缘的深度学习图像去运动模糊方法，整个网络结构如图2(a)、图2(b)、图2(c)所示，其主要包括两个模块，分别是边缘信息的预处理和去运动模糊主干网络，若无特别说明，本实施例中使用的卷积核大小均为3×3。去运动模糊的具体步骤如下：

步骤一：利用已训练好的HED(Holistically-Nested Edge Detection)网络从模糊图像中提取边缘，随后用卷积层来提取引导去运动模糊过程的边缘特征信息；

步骤二：编码-解码结构的图像去模糊主干网络从模糊图像中提取多尺度的特征信息，在每个尺度上使用空间特征变换层将图像特征和边缘特征进行整合，解码部分从最深层的图像特征中逐步恢复出潜在的清晰图像；

步骤三：将模糊-清晰图像对作为训练样本集，将均方差损失函数和感知损失函数的加和定义为总的损失函数，利用总的损失函数对去模糊主干网络进行训练，直到其收敛至最优精度；

步骤四：将运动模糊图像输入训练好的网络中，得到去模糊后的结果。

具体实施时，如图2(a)、图2(b)、图2(c)所示的基于边缘的深度学习图像去运动模糊网络框架，去模糊的步骤如图1所示，具体包括：

S1、边缘特征信息的获取，包括以下子步骤：

S1.1、模糊图像边缘图的获取。HED(Holistically-Nested Edge Detection)网络是一个用于提取图像边缘的神经网络框架，一旦完成训练它能根据输入的彩色图像输出一张同分辨率的边缘概率图，像素值介于0到1之间。将大小W×H×3的彩色模糊图像输入加载了预训练权重的HED网络中，便能得到一张W×H×1的边缘图，其中，W代表原图的宽度，H代表原图的高度。

S1.2、边缘图的深层次特征信息的挖掘。将S1.1中输出的边缘作为输入，通过一系列卷积和非线性激活操作从模糊边缘中提取高层次的边缘特征信息：第一次卷积的卷积核尺寸为1×1，随后四次卷积的卷积核尺寸为3×3，整个过程保持图像空间分辨率不变；非线性激活采用的是有洞修正线性单元(leakyReLU)，最终输出大小为W×H×128的高维边缘特征信息。

S2、去模糊主干网络实现对输入的模糊图像进行端到端的去模糊工作，如图2(a)所示，包括以下子步骤：

S2.1、模糊图像特征的提取。将大小W×H×3的彩色模糊图像输入由卷积和非线性激活构成的卷积层，编码阶段可分为4个处理块，每个块的特征图大小分别为kW×kH×l，(k＝1,0.5,0.25,0.25,l＝32/k)。

S2.2、将图像特征与边缘信息在不同尺度进行整合。采用空间特征变换残差块将S1.2得到的边缘特征和S2.1得到的当前尺度的图像特征进行整合，空间特征变换残差块包括空间特征变换层-卷积层-空间特征变换层-卷积层。如图2(b)所示。

以原图分辨率尺度上的第1次空间特征变换残差操作为例进行讲解，此时k＝1，图像特征大小为W×H×32，(1)首先为空间特征变换层，通过2次卷积层操作分别从边缘特征中获得调整图像特征的增益参数γ和偏差参数β，两个参数的空间分辨率与通道数和当前图像特征大小保持一致，每个卷积层里包括2次卷积：第1次卷积输入为W×H×32，以原始分辨率输出W×H×32；第2次卷积输入为W×H×32，输出W×H×l(k＝1,l＝32/k)。然后将增益参数γ与图像特征做逐像素乘法，偏差参数β与上一步输出的图像特征做逐像素加法便得到了调整后的图像特征，使得其更关注边缘处的去模糊效果。(2)进行通道数和空间分辨率不变的卷积操作。(3)同(1)，学习新的增益参数γ和偏差参数β来进一步调整图像特征。(4)进行通道数和空间分辨率不变的卷积操作，同(2)。将输入的当前尺度图像特征与空间特征变换残差操作之后的特征进行加和，便完成了一次图像特征与边缘信息的整合操作。在原图分辨率(此时k＝1)共进行3次图像特征与边缘信息的整合操作；然后通过一次步长为2的卷积操作将图像特征降采样至的1/2(此时k＝0.5)，大小为kW×kH×64，通过一次步长为1的卷积层和一次步长为2的卷积层将边缘特征降至原图的1/2，在该分辨率上进行3次图像特征与边缘信息的整合操作；随后通过一次步长为2的卷积操作将图像特征再次降采样1/2倍(此时k＝0.25)，大小为kW×kH×128，通过两次步长为2的卷积层将边缘特征降至原图大小的1/4，在该分辨率上也进行3次图像特征与边缘信息的整合操作。

S2.3、模糊图像特征的进一步挖掘。将有着不同空洞率的空洞卷积进行组合，来增大感受野进而挖掘更多的特征信息，包括2个串行-空洞卷积残差块和1个并行-空洞卷积残差块。标准的残差模块是将输入进行卷积-非线性激活-卷积操作后的结果与输入相加便得到输出，串行-空洞卷积残差块和并行-空洞卷积都是在标准残差上做的改动：2个串行-空洞卷积残差块分别将第1次卷积原始的空洞率1换成了2和3，输入和输出均为kW×kH×128(k＝0.25)。并行-空洞卷积如图2(c)所示，将输入以并行的方式进行空洞率为1,2,3,4的空洞卷积操作，输入和输出均为kW×kH×128(k＝0.25)；然后通过通道维度上的串联将4次卷积操作的结果合并在一起，此时图像特征大小为kW×kH×512(k＝0.25)；随后通过空洞率为1的卷积操作将图像特征通道数变为128，输入和输出分别为kW×kH×512(k＝0.25)和kW×kH×128(k＝0.25)；最后将前述操作的结果与输入相加。

S2.4、从深层的图像特征中逐渐重构出去模糊后的图像。首先是在最低分辨率尺度kW×kH×128(k＝0.25)上，采用1次卷积加3次残差模块的操作处理图像特征；然后通过转置卷积将图像特征上采样至kW×kH×64(k＝0.5)，后续同样是1次卷积加3次残差模块的操作，只不过卷积的输入是当前尺度的图像特征和编码部分对应尺度的图像特征在通道维度上串联的值；同样地，接下来通过转置卷积将图像特征上采样至kW×kH×32(k＝1)，然后是1次卷积加3次残差模块的操作，卷积的输入仍然是当前尺度的图像特征和编码部分对应尺度的图像特征在通道维度上串联的值；然后通过卷积操作将kW×kH×32(k＝1)的图像特征变为W×H×3的彩色图像，其表示网络学习到的模糊图像和清晰图像之间的差异；最后将输入与差异图相加便得到了最终的去模糊图像。

S3、定义损失函数，基于训练样本集，对网络进行训练，包括以下子步骤：

S3.1、使用均方差损失函数L_mse保障去模糊结果的保真度，使用感知损失函数L_p来提升去模糊结果细节处的质量，两个损失函数分别定义如下：

其中，I^c和I^d分别为真实的清晰图像和去模糊后的图像；m,n表示图像的横、纵坐标索引；φ_i,j表示加载了在ImageNet上预训练得到的权重的VGG19特征图，其位于第i次最大池化层之前的第j次卷积，W_i,j和H_i,j是该特征图的大小，通常设置i＝3,j＝3。

S3.2、定义总的损失函数，

L_total＝L_mse+λ×L_p，

其中，λ是感知损失函数的权重，通常将其设为0.01。利用总的损失函数L_total对网络进行训练，直到整个网络收敛至最优精度为止。

S4、将运动模糊图像输入S3中训练好的网络，得到模糊去除更彻底的去模糊后结果。

本实施例对部分实验数据进行去模糊，结果示例如图3(a)、图3(b)和图4(a)、图4(b)、图4(c)、图4(d)所示，可以看出，本实施例能稳定、精确地对不同模糊程度的模糊图像进行有效的去模糊。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

虽然以上结合附图描述了本发明的具体实施方式，但是本领域普通技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变形或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (1)

1.一种基于边缘的深度学习图像去运动模糊方法，其特征是，包括以下步骤：

步骤1、利用已训练好的HED网络从模糊图像中提取边缘，随后用卷积层来提取引导去运动模糊过程的边缘特征信息；

步骤2、去模糊主干网络从模糊图像中提取多尺度的特征信息，在每个尺度上使用空间特征变换层将图像特征和边缘特征进行整合，解码部分从最深层的图像特征中逐步恢复出潜在的清晰图像；

步骤3、将模糊-清晰图像对作为训练样本集，将均方差损失函数和感知损失函数的加和定义为总的损失函数，利用总的损失函数对去模糊主干网络进行训练，直到其收敛至最优精度；

步骤4、将运动模糊图像输入步骤3已训练好的去模糊主干网络中，得到去模糊后的结果；

步骤1所述边缘特征信息的获取包括以下子步骤：

步骤1.1、模糊图像边缘图的获取；将大小W×H×3的彩色模糊图像输入加载了预训练权重的HED网络中，得到W×H×1的边缘图，W为原图的宽度，H为原图的高度；

步骤1.2、边缘图的深层次特征信息的挖掘；将步骤1.1中输出的边缘图作为输入，通过一系列卷积和非线性激活操作从模糊边缘中提取高层次的边缘特征信息：第一次卷积的卷积核尺寸为1×1，随后四次卷积的卷积核尺寸为3×3，整个过程保持图像空间分辨率不变；非线性激活采用有洞修正线性单元，最终输出大小为W×H×128的高维边缘特征信息；

步骤2的实现包括以下子步骤：

步骤2.1、模糊图像特征的提取；将大小W×H×3的彩色模糊图像输入由卷积和非线性激活构成的卷积层，编码阶段可分为4个处理块，每个块的特征图大小分别为kW×kH×l，其中，W为原图的宽度，H为原图的高度；k＝1，0.5，0.25，0.25，l＝32/k；

步骤2.2、将模糊图像特征与边缘信息在不同尺度进行整合；采用空间特征变换残差块将步骤1.2输出的边缘特征和步骤2.1得到的当前尺度的图像特征进行整合，空间特征变换残差块包括空间特征变换层-卷积层-空间特征变换层-卷积层；

步骤2.3、对模糊图像特征进一步挖掘；将不同空洞率的空洞卷积进行组合，增大感受野从而进一步挖掘特征信息，包括2个串行-空洞卷积残差块和1个并行-空洞卷积残差块；

步骤2.4、从深层的图像特征中逐渐重构出去模糊后的图像；

步骤3的实现包括以下子步骤：

步骤3.1、分别定义均方差损失函数L_mse和感知损失函数L_p：

其中，I^c和I^d分别为真实的清晰图像和去模糊后的图像；m,n表示图像的横、纵坐标索引；φ_i,j表示加载了在ImageNet上预训练得到的权重的VGG19特征图，其位于第i次最大池化层之前的第j次卷积，W_i,j和H_i,j是该特征图的大小，通常设置i＝3,j＝3；

步骤3.2，定义总的损失函数：

L_total＝L_mse+λ×L_p，

其中，λ是感知损失函数的权重，设为0.01；

利用总的损失函数L_total对网络进行训练，直到整个网络收敛至最优精度为止。