CN112801904A

CN112801904A - 一种基于卷积神经网络的混合退化图像增强方法

Info

Publication number: CN112801904A
Application number: CN202110136274.3A
Authority: CN
Inventors: 曹丽琴; 宋争光; 金佳惠; 李治江
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2021-02-01
Filing date: 2021-02-01
Publication date: 2021-05-14
Anticipated expiration: 2041-02-01
Also published as: CN112801904B

Abstract

为了解决单一图像增强模型无法处理混合退化图像的问题，本发明提出了一种基于卷积神经网络的混合退化图像的增强模型——全卷积亚像素残差稠密网络(Fully ConvolutionalSubpixel Residual Dense Network,FCSRDN)，该网络基于全卷积神经网络(Fully ConvolutionalNetworks，FCN)，通过残差连接(Residual Network,ResNet)和稠密连接(Dense ConvolutionalNetwork,DenseNet)，完成对原始图像的各级特征融合，结合亚像素卷积层(sub‑pixelconvolutional layer)进行上采样，放大图像尺寸，最终得到增强图像。该方法，可以接受任意大小的网络输入，与目前已有方法相比，能同时完成提升对比度、分辨率和去噪等三个方面的增强，且在各方面都达到了较好的增强效果。

Description

一种基于卷积神经网络的混合退化图像增强方法

技术领域

本发明属于计算机视觉增强技术，特别涉及针对混合退化图像的基于卷积神经网络的图像增强模型。

背景技术

图像是当下信息传播最重要的媒介之一，在众多应用领域都有着举足轻重的地位。然而，由于成像设备、成像环境、拍摄人员技术水平等参差不齐以及传播过程中的失真等问题，大量图像存在诸如分辨率低、亮度低、噪声、色偏、畸变等退化现象。图像增强的目的是增强图像中的有用信息，提升图像质量，改善图像的视觉效果。

传统的图像增强技术，经过长时间的发展，技术逐渐纯熟，在多领域取得了良好的表现。传统的图像增强方法可大致分为三类：空间域方法、频率域方法和混合域方法。其中，空间域方法是直接对像素值进行处理，如直方图均衡、伽玛变换等；频频率方法是在某种变换域内操作，如小波变换等；混合域方法是结合了空间域和频率域的一些方法。随着计算机科学的发展，近年来再度兴起的深度学习技术在短时间内赶超传统算法，成为了最先进的图像增强方法。

在图像对比度增强方面，如自编码器、CNN(Convolutional Neural Network)和FCN(Full Convolutional Network)都是典型的增强网络模型。LLNet(Low-light ImageEnhancement Network)是堆叠稀疏去噪自编码器的一种，利用非线性方法模拟低光条件形成数据集，自编码器可以有效实现对比度增强，同时具有一定去噪效果，但去噪后图像比较模糊。在这一基础上，LLCNN(Low-light Image Enhancement Convolutional NeuralNetwork)设计多尺度特征图抑制梯度消失，同时使用结构相似度作为损失函数训练模型，可以更多地保留纹理特征。基于全卷积神经网络(Fully Convolutional Network,FCN)直接通过端到端训练，利用卷积网络完成原始图像地直接处理，效果较为理想。

在分辨率增强方面，SRCNN(Super-Resolution Convolutional Network)、VDSR(Very Deep Convolutional Networks for Super-Resolution)、RDN(Residual DenseNetwork)为效果突出的分辨率增强模型。SRCNN模型将图像块提取、非线性映射和图像重建三个阶段统一到CNN框架，实现从低分辨率到高分辨率图像的端到端学习。VDSR模型提出了ResNet框架，通过残差堆叠更多卷积层来增加网络深度，同时通过卷积前图像补0操作实现尺度一致，最终完成分辨率增强。RDN的方法利用残差稠密网络实现特征重用，通过上采样操作实现低分辨率图像到高分辨率图像的端到端映射。

除图像对比度增强和图像超分辨率重建外，深度学习在去图像噪方面也取得了不俗的成就。CNN模型被视为图像去噪的马尔可夫模型(Markov Model)推断结果的近似，但CNN模型避免了Markov Model在概率学习和推断过程中的计算困难，从而降低了计算复杂度。同时，利用多层全连接结构的栈式去噪自编码器，多层感知机模型，深度卷积自编码器网络结构都是具有代表性的深度去噪模型和框架。

但无论是传统方法还是深度学习的方法，已有的图像增强方法大多针对某种单一的图像退化进行增强，如单一提高图像的亮度或单一提高分辨率。但现实中的图像往往包含多种退化，如在低照度环境下拍摄的图像不仅亮度低分辨率不足，同时也会存在噪声。在实验数据方面，相关的数据集不完备，图像超分领域有FiveK、DIV2K、BSDS200、Urban100等超分辨率重建数据集，其数据量较充足，图像去噪有Nam、DND、PolyU等真实噪声图像数据集，但数据总量较少，每个数据集仅有几十、上百张图像，而图像对比度增强领域则没有相应的数据集，亦没有针对混合退化图像增强实验的数据集。

发明内容

本发明提出一种全卷积亚像素残差稠密网络模型，对混合退化图像进行去噪、提高对比度和超分辨率重建等三个方面的增强，一体化实现混合退化图像增强。

针对现有研究方法的问题，本发明研究内容包括以下几个部分：

(1)使用用于超分辨率重建的BSDS200数据集作为训练集，并采取数据增强方法，扩充训练集的数据量，将图像数据量扩充至数万甚至数十万。

(2)构建全卷积亚像素残差稠密网络(Fully Convolutional Subpixel ResidualDense Network,FCSRDN)，通过残差网络、稠密网络等结构进行特征复用与特征融合，使用卷积-残差稠密块(Convolutional Residual Dense Block,Conv-RDB)作为网络的组件，采用亚像素卷积法取代常用的反卷积方法，使用全卷积神经网络的结构，使网络能够接受任意尺寸的输入，增强网络的泛用性。

全卷积亚像素残差稠密网络(Fully Convolutional Subpixel Residual DenseNetwork,FCSRDN)构建步骤包括：

步骤1：构建混合退化图像数据集，网络输入为对比度和分辨率混合退化图像，即低对比度低分辨率(Low Contrast&Low Resolution,LRLC)图像。

步骤2：使用一个卷积层对输入的图像进行卷积运算，提取图像的浅层特征F₀。

步骤3：将浅层特征输入卷积-残差稠密块Conv-RDB，其结构数为n个，如图2所示。在各个Conv-RDB之间，采用了类似于DenseNet的结构，对各个Conv-RDB进行跨层连接，以充分利用输入图像的各级特征。其中残差稠密块是稠密网络的基本组件，残差稠密块中包括l个卷积层，并允许在同一残差稠密块内的任何两个卷积层之间进行直接连接，每一层都从同一残差稠密块内的所有先前层读取信息，即堆叠前几层的特征图，增加特征图的数量，同时将第一层卷积层和最后一层卷积层的输出进行残差连接。残差稠密块的结构表示为：

X_l＝M_l([X₀,X₁…..X_l-1]) (1)

其中，[X₀,X₁…..X_l-1]表示将第0层到第l-1层的输出特征图做通道连接，M_l表示对[X₀，X₁…..X_l-1]进行的卷积和激活处理操作。Conv-RDB通过稠密连接的卷积层(卷积核个数为32，大小为3x3)丰富提取局部特征，残差稠密块的最后一层采用1×1卷积(卷积个数为64个)融合局部特征，用于局部特征中自适应地学习更有效地特征。一个Conv-RDB的输出可以直接访问下一个Conv-RDB，从而产生连续的状态传递，使深层网络的训练更加稳定。

步骤4：最后一个Conv-RDB输出的特征图，经一个特定卷积层卷积后，通过残差结构与F₀连接，进行全局残差学习。其中，卷积层必须与网络前端的第一个卷积层具有相同的卷积核数量，否则其输出的特征图无法与F₀进行残差连接。此外，由于亚像素卷积法的特性，该卷积层的卷积核数量，即输出特征图数量必须是目标放大图像倍数的二次方的整数倍。即：

n_f|(r*r) (2)

其中“|”为整除符号，“a|b”表示a可以被b整除；n_f表示特征图的数量，r表示目标放大图像倍数。

步骤5：经过全局残差学习之后，特征图经亚像素卷积层进行上采样，将特征图尺寸放大到目标尺寸。与常规的反卷积上采样方法不同，亚像素卷积将n个通道的特征图扩展到n*r²个，其中r为目标放大倍数。再将特征图中对应每个像素的r²个通道重新排列成一个r*r的区域，从而将大小为H*W*r²的特征图重新排列成rH*rW*n的图像。最后经过卷积核数量为3的卷积层，将特征图输出为R、G、B三通道的彩色增强图像。

为了保证在卷积过程中特征图的尺寸大小不发生变化，除亚像素卷积外，网络中所有的卷积层在卷积时必须使用Same-padding操作。Same-padding是对特征图采取边缘补0的操作。设定原始图像大小为n*n，卷积核大小为f*f，则经过卷积操作后特征图大小Size可表示为：

假设填充在原始图像***的padding大小为p，则经过卷积操作后的特征图大小为(n+2p-f+1)*(n+2p-f+1)。如果需要使经过卷积后的特征图大小保持不变，则p需要满足：

n+2p-f+1＝n (5)

即：

p＝(f-1)/2 (6)

步骤6：确定损失函数，训练模型，并输出对比度低分辨率(High Contrast&HighResolution,HRHC)图像，在损失函数的选择上，采用的是平均绝对误差MAE损失，即L1损失。

与现有技术相比，本发明的优点和有益效果为：本发明提出了一种基于卷积神经网络的混合退化图像的增强模型——全卷积亚像素残差稠密网络(Fully ConvolutionalSubpixel Residual Dense Network,FCSRDN)，该网络基于全卷积神经网络(FullyConvolutional Networks，FCN)，通过残差连接(Residual Network,ResNet)和稠密连接(Dense Convolutional Network,DenseNet)，完成对原始图像的各级特征融合，结合亚像素卷积层(sub-pixel convolutional layer)进行上采样，放大图像尺寸，最终得到增强图像。该方法，可以接受任意大小的网络输入，与目前已有方法相比，能同时完成提升对比度、分辨率和去噪等三个方面的增强，且在各方面都达到了较好的增强效果。

附图说明

图1为本发明实施中FCSRDN网络模型；

图2为本发明实施中Conv-RDB结构模型；

图3为本发明实施中FCSRDN增强结果，第二行和第四行分别是第一行和第三行正方形框中区域放大图；

图4为本发明实施中FCSRDN增强含有高斯噪声的退化图像，第二行为第一行正方形框中区域放大图；

图5为本发明实施中FCSRDN增强夜间拍摄图。

具体实施方式

本发明可以使用计算机来进行网络的训练和推断，在windows操作***下使用Tensorflow深度学习框架实现。具体的实验环境配置如下：

平台	Google Colaboratory&Google drive
		处理器	Intel(R)Xeon(R)[email protected] x2
GPU	NVIDIA Tesla P100-PCIE
		操作***	Ubuntu 18.04.3LTS
编程语言	Python 3.6.9
		深度学习框架	Tensorflow 1.13,Keras 2.2.5

具体实施如下：

步骤1：数据集扩充。实验所用训练数据集为图像超分辨率重建训练集BSDS200，该数据集包含200张321x481大小的png格式图像，图像内容包含人物、动物、植物、建筑和各类自然风景等。测试数据集为图像超分辨率重建测试集Set5。在进行训练前，为了扩充数据集和模拟退化图像，对图像数据进行了以下预处理。

(1)数据集扩充

训练深度学习网络模型需要大量的数据，为了扩充数据量，我们从数据集的每张图片中的不同位置随机截取500张大小为36x36的图片。通过这种方法，大大扩充了数据量，使训练集由原来的200张图像，扩充到100,000张。

(2)图像下采样

为了模拟分辨率退化，我们使用双三次插值(Bicubic interpolation)方法，将图像的宽高缩小至原来的1/2大小。双三次插值是二维空间中常用的插值方法，该方法选取距离某像素最近的16个像素点作为计算其在目标图像中的像素的参数。双三次插值方法考虑了各个相邻像素点之间灰度值变化率的影响，产生的结果纹理过渡更为自然与光滑，且计算精度高。

(3)图像对比度下降

由于目前没有公开的用于图像增亮的标准数据集，需单独构建低对比度图像用于训练。采用目前生成低对比度图像数据集的主流方法，非线性对比度下降方法实现，它是把自然图像通过伽玛(Gamma)变换，生成非线性的低对比度图像。Gamma变换的公式如下：

f(I)＝I^γ (6)

其中，I为像素值，范围为[0,1]。在进行伽玛变换前，需要对数据进行归一化处理。对8比特像素除以255，使像素由[0,255]范围内的自然数转换为[0,1]范围内的小数。γ为伽玛值。当γ<1时，图像变亮，γ>1时，图像变暗，γ＝1时，图像亮度无变化。为使模拟低亮度图片较为真实自然，我们设定γ值为2。f(I)为经伽玛变换后输出的像素。

步骤2：网络训练。实验采用图像超分辨率重建训练集BSDS200扩充的100,000张的图像作为训练样本，图像内容包含人物、动物、植物、建筑和各类自然风景等，采用Set5测试集进行测试。使用的卷积-残差稠密块Conv-RDB结构如图2所示。

在Conv-RDB结构中，RDB(Residual Dense Block)之前的卷积层先对输入进行维度的调整。该卷积层的卷积核为64个，无论输入的特征图数量为多少，经卷积后，输出的特征图的数量均为64个。之后特征图被输入到RDB中，RDB中的最后一个卷积层的卷积层数量为64个，大小为1x1，用于对稠密连接得到的特征图进行降维，将输出的特征图的数量降为64个，同时完成局部特征的融合，除此之外，其余均为同质的卷积层，卷积核数目设定为32，大小为3x3。其输出的特征图，通过跨层连接，输入所有后续同质卷积层进行进一步特征提取。在Conv-RDB中，卷积层中包含了卷积和激活操作两种操作，无需设置额外的激活层。此外，网络中所有卷积层均采用ReLU激活函数。Conv-RDB数量可以根据需求进行调整，针对训练数据集，选择数量为4。

本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于卷积神经网络的混合退化图像增强方法，其特征在于，包括以下步骤：

步骤1，采集图像数据集，对图像数据集中的图像数据进行预处理，模拟混合退化图像，构建实验所需训练数据集；

步骤2，构建全卷积亚像素残差稠密网络，实现混合退化图像增强；

所述全卷积亚像素残差稠密网络包括依次连接的多个卷积层和多个卷积-残差稠密块，以及一个亚像素卷积层；

各个卷积-残差稠密块进行跨层连接，残差稠密块之前的卷积层用于对输入进行维度的调整，其中残差稠密块中包括l个卷积层，并允许在同一残差稠密块内的任何两个卷积层之间进行直接连接，每一层都从同一残差稠密块内的所有先前层读取信息，即堆叠前几层的特征图，增加特征图的数量，同时将第一层卷积层和最后一层卷积层的输出进行残差连接；

步骤3，利用步骤1中的训练数据集对步骤2中构建的全卷积亚像素残差稠密网络进行训练，获得训练好的网络模型；

步骤4，利用训练好的网络模型对待处理图像进行增强，得到增强后的图像。

2.根据权利要求书1所述的一种基于卷积神经网络的混合退化图像增强方法，其特征在于：步骤1中图像数据集为图像超分辨率重建训练集BSDS200，该数据集包含人物、动物、植物、建筑和各类自然风景的图像；为了扩充数据集和模拟退化图像，对图像数据进行了以下预处理；

步骤1：数据集扩充

从图像数据集的每张图片中的不同位置随机截取若干张大小为nxn的图片，实现图像数据集的扩充；

步骤2：图像下采样

使用双三次插值方法，将图像的宽高缩小至原来的1/2大小，双三次插值是二维空间中常用的插值方法，该方法选取距离某像素最近的16个像素点作为计算其在目标图像中的像素的参数；

步骤3：图像对比度下降

采用非线性对比度下降方法实现，它是把自然图像通过伽玛换，生成非线性的低对比度图像，Gamma变换的公式如下：

f(I)＝I^γ (1)

其中，I为像素值，范围为[0,1]；在进行伽玛变换前，需要对数据进行归一化处理，对8比特像素除以255，使像素由[0,255]范围内的自然数转换为[0,1]范围内的小数；γ为伽玛值，当γ<1时，图像变亮，γ>1时，图像变暗，γ＝1时，图像亮度无变化；f(I)为经伽玛变换后输出的像素。

3.根据权利要求书1所述的一种基于卷积神经网络的混合退化图像的增强方法，其特征在于：所述全卷积亚像素残差稠密网络的具体结构包括；

步骤2.1，全卷积亚像素残差稠密网络的输入为对比度和分辨率混合退化图像，即低对比度低分辨率图像，输出为经过增强得到的高分辨率高对比度图像；

步骤2.2，使用一个卷积层对输入的图像进行卷积运算，提取图像的浅层特征，得到特征图F₀后，通过残差网络中的跳跃连接，将F₀输入到网络的后端，用于全局残差学习；

步骤2.3，在第一个卷积层之后，是n个结构相同的卷积-残差稠密块Conv-RDB结构，在Conv-RDB之间，对各个Conv-RDB进行跨层连接，以充分利用输入图像的各级特征；其中残差稠密块的结构表示为：

X_l＝M_l([X₀,X₁…..X_l-1]) (1)

其中，[X₀,X₁…..X_l-1]表示将第0层到第l-1层的输出特征图做通道连接，M_l表示对[X₀,X₁…..X_l-1]进行的的卷积和激活处理操作；

步骤2.4，最后一个Conv-RDB输出的特征图，经一个特定卷积层卷积后，通过残差结构与F₀连接，进行全局残差学习，这里的特定卷积层必须与网络前端的第一个卷积层具有相同的卷积核数量，另外，输出特征图数量必须是目标放大图像倍数的二次方的整数倍；即：

n_f|(r*r) (2)

其中“|”为整除符号，“a|b”表示a可以被b整除；n_f表示特征图的数量，r表示目标放大图像倍数；

步骤2.5，经过全局残差学习之后，特征图经亚像素卷积层进行上采样，将特征图尺寸放大到目标尺寸，最后经过卷积核数量为3的卷积层，将特征图输出为R、G、B三通道的彩色增强图像；

步骤6，采用平均绝对误差MAE损失，也叫作L1损失，作为损失函数。

4.根据权利要求书3所述的一种基于卷积神经网络的混合退化图像的增强方法，其特征在于：为了保证在卷积过程中特征图的尺寸大小不发生变化，除亚像素卷积外，全卷积亚像素残差稠密网络中所有的卷积层在卷积时必须使用Same-padding操作，所述Same-Padding是对特征图采取边缘补0的操作，设定原始图像大小为n*n，卷积核大小为f*f，则经过卷积操作后特征图大小Size可表示为：

假设填充在原始图像***的padding大小为p，则经过卷积操作后的特征图大小为(n+2p-f+1)*(n+2p-f+1)，如果需要使经过卷积后的特征图大小保持不变，则p需要满足：

n+2p-f+1＝n (5)

即：

p＝(f-1)/2 (6)。

5.根据权利要求书3所述的一种基于卷积神经网络的混合退化图像的增强方法，其特征在于：所述亚像素卷积是将n个通道的特征图扩展到n*r²个，其中r为目标放大倍数，再将特征图中对应每个像素的r²个通道重新排列成一个r*r的区域，从而将大小为H*W*r²的特征图重新排列成rH*rW*n的图像。

6.根据权利要求书1所述的一种基于卷积神经网络的混合退化图像的增强方法，其特征在于：残差稠密块之前的卷积层中卷积核为64个，无论输入的特征图数量为多少，经卷积后，输出的特征图的数量均为64个；残差稠密块中，除最后一个卷积层的卷积层数量为64个，大小为1x1，用于对稠密连接得到的特征图进行降维，其余均为同质的卷积层，卷积核数目设定为32，大小为3x3；在卷积-残差稠密块中，卷积层中包含卷积和激活操作两种操作，激活操作采用ReLU激活函数。