CN110378844A - 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 - Google Patents
基于循环多尺度生成对抗网络的图像盲去运动模糊方法 Download PDFInfo
- Publication number
- CN110378844A CN110378844A CN201910515590.4A CN201910515590A CN110378844A CN 110378844 A CN110378844 A CN 110378844A CN 201910515590 A CN201910515590 A CN 201910515590A CN 110378844 A CN110378844 A CN 110378844A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- convolutional layer
- module
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000033001 locomotion Effects 0.000 title claims abstract description 16
- 238000004064 recycling Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 15
- 230000004069 differentiation Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005549 size reduction Methods 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract description 3
- 230000008485 antagonism Effects 0.000 abstract 1
- 238000011478 gradient descent method Methods 0.000 abstract 1
- 230000006403 short-term memory Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于循环多尺度生成对抗网络的图像盲去运动模糊方法。本发明方法以循环多尺度编码器和解码器作为生成器，并构建了相应的判决器。以生成图像和清晰图像的对抗性损失、多尺度均方误差和多尺度梯度误差作为生成对抗网络的损失函数，以梯度下降法优化损失函数。本发明运用生成对抗网络学习运动模糊图像与其对应清晰图像之间的关系，省去了复杂的模糊核估计过程。本发明方法可以提取图像的边缘特征，具有更简单的网络结构、更少的参数，并且该网络模型更容易训练，且复原效果较好。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于循环多尺度生成对抗网络的图像盲去运动模糊方法。
背景技术
由于拍摄设备与成像物体之间很难保持相对静止状态，因此会造成图像的运动模糊。但是，在日常生活、交通安全、医学、军事侦查等领域，能够获得一幅清晰的图像都显得尤为重要。
运动图像的模糊可以看作是清晰图像和一个二维线性函数卷积运算后受到加性噪声污染而形成的。该线性函数被称为点扩散函数或卷积核，它包含了图像的模糊信息。图像的盲去模糊是指在模糊方式未知(即模糊核未知)的情况下，仅依靠模糊图像本身的信息来还原出原始清晰图像。在单幅运动图像盲去模糊中，模糊图像的模糊核及其尺寸均未知，这都会影响模糊核估计的准确性，进而影响最终的复原效果。
发明内容
本发明的目的就是针对图像运动模糊这一特点，提供一种基于循环多尺度生成对抗网络的图像盲去运动模糊方法，该方法无需估计模糊核即可估计出清晰图像。
本发明具体包括以下步骤：
步骤(1).构建判别器D；
所述的判别器D由九个卷积层、一个全连接层和一个Sigmoid激活层组成，输入大小为256×256的彩色图像。
每个卷积层均采用LeakyReLU作为激活函数：第一层有32个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度(zero-padding)为2；第二层有64个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第三层有64个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第四层有128个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第五层有128个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第六层有256个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第七层有256个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第八层有512个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第九层有512个卷积核，每个卷积核尺寸为4×4，步长为4，填零宽度为0。
最后一层的卷积输出经输入通道数为512、输出通道数为1的全连接层，得到1个常数，经Sigmoid函数激活后输出判定的概率。
步骤(2).构建生成器G；
所述的生成器G包含级联的三个尺度的子网络，每个子网络包含1个输入模块、2个编码模块、级联1个卷积长短时记忆(ConvLSTM)模块、2个解码模块和1个输出模块；每个模块中都含有残差模块，所述的残差模块由一个卷积层级联一个卷积核组成，卷积层以改进型线性单元(Rectified Linear Unit,ReLU)作为激活函数；残差模块中级联的卷积核的输出和残差模块的输入相加后即为残差模块的输出。
所述的输入模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的核数量为32、大小为5×5、步长为1、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
第一编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
第二编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
所述的卷积长短时记忆模块中记忆细胞状态输出作为解码模块的输入，卷积长短时记忆模块的隐藏状态输出与下一尺度子网络中卷积长短时记忆模块的隐藏状态输入相连；对于最后一个尺度，卷积长短时记忆模块隐藏状态输出不与其他模块连接。
卷积长短时记忆(ConvLSTM)模块的结构见Shi X,Chen Z,Hao W,etal.Convolutional LSTM Network:a machine learning approach for precipitationnowcasting[C]//International Conference on Neural Information ProcessingSystems.2015，页码：802-810。
第一解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
第二解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
所述的输出模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为32、大小为5×5、步长为1、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
输出第三级尺度的生成器输出图像L3，大小为64×64，L3经上采样得到尺寸为128×128的图像，作为第二级尺度的输入，输出128×128的第二级尺度的生成器输出图像L2；L2经上采样得到尺寸为256×256的图像作为第一级尺度的输入，输出256×256的第一级尺度的生成器输出图像L1，即为去模糊的结果图像。级联的三个尺度的子网络中，三个子网络对应的结构、通道数、卷积核尺寸均相同。彩色图像RGB的三个通道中，每个通道权值共享。
步骤(3).从训练数据集T中随机抽取m(m≥16)张模糊图像和对应的清晰图像，并随机裁剪成256×256的方形区域，分别组成用于训练的模糊图像集B和对应的清晰图像集S，得到的B和S的图像数量均为m张，每张图像均为256×256的3通道彩色图像。将模糊图像集B输入生成器，得到生成器输出图像集L，L中有m张尺寸大小为256×256的彩色图像。
步骤(4).将生成器输出图像集L和对应的清晰图像集S依次作为判别器的输入，判别器依次输出两组置信度结果，每组置信度包含m个概率值，以此判定每张输入的图像是清晰图像或生成图像：若概率值大于0.5，则判定为清晰图像；概率值小于等于0.5，则判定为生成图像。
步骤(5).构建训练生成器的损失函数，损失函数为：ldb＝lE+α1lgrad+α2ladv；
其中α1、α2为大于0的正则项系数，lE为生成器输出图像集L和对应的清晰图像集S之间的均方误差，即：
其中，Li、Si分别表示在第i尺度上的生成器输出图像和清晰图像,Ni表示在第i尺度图像上所有通道的像素个数，i＝1,2,3；多尺度通过对图像3次降采样得到尺寸缩小的图像，其中第一级尺度为原尺寸大小的图像，从第二级开始，每一级图像的尺寸为上一级图像尺寸的宽度、高度各一半。
lgrad为梯度图像和之间的梯度误差，即：
式中Li(dx)和Li(dy)分别表示Li的水平梯度和垂直梯度，Si(dx)和Si(dy)分别表示Si的水平梯度和垂直梯度。
ladv为生成器输出图像集L和对应的清晰图像集S的判别误差，即：
式中s～p(S)表示清晰图像s取自于清晰图像集S，p(S)表示清晰图像集S的概率分布；b～p(B)表示模糊图像b取自于模糊图像集B，p(B)表示模糊图像集B的概率分布；
D(s)表示判别器对输入图像s的判别概率，G(b)表示由输入图像b经生成器生成的结果图像，E[·]表示对括号内取期望。
步骤(6).将生成图像与清晰图像一同输入到判别器中，利用梯度下降迭代更新各层网络中的权重参数，不断优化ladv,直到判别器无法判别输入的图像是生成图像还是清晰图像，即获得的概率值与0.5的差值变化小于thr，0.01≤thr≤0.08，此时判别器训练结束。
步骤(7).根据损失函数ldb＝lE+α1lgrad+α2ladv训练生成器，将模糊图像输入到生成器中，经过前向传播获得生成图像，比较生成图像与清晰图像的差异性，利用梯度下降迭代更新各层网络中的权重参数，不断损失函数ldb＝lE+α1lgrad+α2ladv，直到生成器模型训练阶段的训练集总损失函数值ldb变化小于阈值Th，0.001≤Th≤0.01，此时生成器训练结束。
步骤(8).重复训练过程的步骤(3)～步骤(7)，直至生成器模型训练阶段的训练集总损失函数值ldb变化小于阈值Th，即判别器无法判定输入的图像是清晰图像还是生成图像，认定生成器模型与判别器模型训练已达到收敛，此时将模糊图像输入到生成器中，获得估计的去模糊图像。
本发明方法运用深度学习方法学习运动模糊图像与其对应清晰图像之间的关系，省去了复杂的模糊核估计过程。通过大量模糊图像和清晰图像的对比训练，所提模型可以提取图像的边缘特征，具有更简单的网络结构、更少的参数，并且该网络模型更容易训练，且复原效果较好。
具体实施方式
下面将对本发明的具体实施作进一步说明。
模糊图像集B输入到生成器G中，得到生成器输出图像集L，作为判别器D的输入，得到判别器的判别结果。同理，清晰图像集S也作为判别器的输入，得到判别结果。该判定结果表示判定输入是来自清晰图像集还是生成图像集，若判定结果大于0.5，则判定为清晰图像集S；否则，判定为生成器输出图像集L。计算该判定结果与真实标签数据的误差，利用梯度下降算法优化判别器，继而计算生成图像和清晰图像的误差均值，利用梯度下降算法优化生成器。交替优化判别器和生成器，直至模型收敛。在本发明的实验中，训练共40万次后，模型得到收敛。
基于循环多尺度生成对抗网络的图像盲去运动模糊方法，具体步骤如下：
S1、构建判别器D：判别器D由九个卷积层、一个全连接层和一个Sigmoid激活层组成，输入大小为256×256的彩色图像。
每个卷积层均采用LeakyReLU作为激活函数：第一层有32个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第二层有64个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第三层有64个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第四层有128个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第五层有128个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第六层有256个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第七层有256个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第八层有512个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第九层有512个卷积核，每个卷积核尺寸为4×4，步长为4，填零宽度为0。
最后一层的卷积输出经输入通道数为512、输出通道数为1的全连接层，得到1个常数，经Sigmoid函数激活后输出判定的概率。
S2、构建生成器G：生成器G包含级联的三个尺度的子网络，每个子网络包含1个输入模块、2个编码模块、级联1个卷积长短时记忆模块、2个解码模块和1个输出模块；每个模块中都含有残差模块，所述的残差模块由一个卷积层级联一个卷积核组成，卷积层以改进型线性单元ReLU作为激活函数；残差模块中级联的卷积核的输出和残差模块的输入相加后即为残差模块的输出。
输入模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的核数量为32、大小为5×5、步长为1、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
第一编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
第二编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用ReLU函数作为激活函数。
卷积长短时记忆模块中记忆细胞状态输出作为解码模块的输入，卷积长短时记忆模块的隐藏状态输出与下一尺度子网络中卷积长短时记忆模块的隐藏状态输入相连；对于最后一个尺度，卷积长短时记忆模块隐藏状态输出不与其他模块连接。
第一解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
第二解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
输出模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为32、大小为5×5、步长为1、填零宽度为2，残差模块后级联的独立的卷积层中使用ReLU函数作为激活函数。
输出第三级尺度的生成器输出图像L3，大小为64×64，L3经上采样得到尺寸为128×128的图像，作为第二级尺度的输入，输出128×128的第二级尺度的生成器输出图像L2；L2经上采样得到尺寸为256×256的图像作为第一级尺度的输入，输出256×256的第一级尺度的生成器输出图像L1，即为去模糊的结果图像。级联的三个尺度的子网络中，三个子网络对应的结构、通道数、卷积核尺寸均相同。彩色图像RGB的三个通道中，每个通道权值共享。
S3、从训练数据集T中随机抽取m(m＝16)张模糊图像和对应的清晰图像，并随机裁剪成256×256的方形区域，分别组成用于训练的模糊图像集B和对应的清晰图像集S，此时B和S的图像均为256×256的3通道彩色图像。将模糊图像集B输入生成器，得到生成器输出图像集L。
S4、将生成器输出图像集L和对应的清晰图像集S依次作为判别器的输入，判别器依次输出两组置信度结果，每组置信度包含16个概率值，以此判定每张输入的图像是清晰图像或生成图像：若概率值大于0.5，则判定为清晰图像；否则，则判定为生成图像。
S5、构建训练生成器的损失函数，损失函数为：ldb＝lE+α1lgrad+α2ladv。α1、α2为正则项系数，α1＝10-2，α2＝10-4。lE为生成器输出图像集L和对应的清晰图像集S之间的均方误差：
其中，Li、Si分别表示在第i尺度上的生成器输出图像和清晰图像,Ni表示在第i尺度图像上所有通道的像素个数，i＝1,2,3；多尺度通过对图像三次降采样得到尺寸缩小的图像，第一级尺度为原尺寸大小的图像，从第二级开始，每一级图像的尺寸为上一级图像尺寸的宽度、高度各一半。
lgrad为梯度图像和之间的梯度误差，即：
式中，Li(dx)和Li(dy)分别表示Li的水平梯度和垂直梯度，Si(dx)和Si(dy)分别表示Si的水平梯度和垂直梯度；ladv为生成器输出图像集L和对应的清晰图像集S的判别误差，即：
式中s～p(S)表示清晰图像s取自于清晰图像集S，p(S)表示清晰图像集S的概率分布；b～p(B)表示模糊图像b取自于模糊图像集B，p(B)表示模糊图像集B的概率分布；
D(s)表示判别器对输入图像s的判别概率，G(b)表示由输入图像b经生成器生成的结果图像，E[·]表示对括号内取期望。
S6、将生成图像与清晰图像一同输入到判别器中，利用梯度下降迭代更新各层网络中的权重参数，不断优化ladv,直到判别器无法判别输入的图像是生成图像还是清晰图像，即获得的概率值与0.5的差值变化小于设定阈值0.05，此时判别器训练结束。
S7、根据损失函数ldb＝lE+α1lgrad+α2ladv训练生成器，将模糊图像输入到生成器中，经过前向传播获得生成图像，比较生成图像与清晰图像的差异性，利用梯度下降迭代更新各层网络中的权重参数，不断损失函数ldb＝lE+α1lgrad+α2ladv，直到生成器模型训练阶段的训练集总损失函数值ldb变化小于设定阈值0.005，此时生成器训练结束。
S8、重复训练过程的步骤S3到S7，直至生成器模型训练阶段的训练集总损失函数值ldb变化小于阈值0.005，即判别器无法判定输入的图像是清晰图像还是生成图像，认定生成器模型与判别器模型训练已达到收敛，此时将模糊图像输入到生成器中，获得估计的去模糊图像。
Claims (6)
1.基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于具体步骤是：
步骤(1).构建判别器D：
所述的判别器D由九个卷积层、一个全连接层和一个Sigmoid激活层组成，输入大小为256×256的彩色图像；
每个卷积层均采用LeakyReLU作为激活函数：第一层有32个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第二层有64个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第三层有64个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第四层有128个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第五层有128个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第六层有256个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第七层有256个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第八层有512个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第九层有512个卷积核，每个卷积核尺寸为4×4，步长为4，填零宽度为0；
最后一层的卷积输出经输入通道数为512、输出通道数为1的全连接层，得到1个常数，经Sigmoid函数激活后输出判定的概率；
步骤(2).构建生成器G：
所述的生成器G包含级联的三个尺度的子网络，每个子网络包含1个输入模块、2个编码模块、级联1个卷积长短时记忆模块、2个解码模块和1个输出模块；每个模块中都含有残差模块，所述的残差模块由一个卷积层级联一个卷积核组成，卷积层以改进型线性单元ReLU作为激活函数；残差模块中级联的卷积核的输出和残差模块的输入相加后即为残差模块的输出；
所述的输入模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的核数量为32、大小为5×5、步长为1、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；
第一编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；
第二编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；
所述的卷积长短时记忆模块中记忆细胞状态输出作为解码模块的输入，卷积长短时记忆模块的隐藏状态输出与下一尺度子网络中卷积长短时记忆模块的隐藏状态输入相连；对于最后一个尺度，卷积长短时记忆模块隐藏状态输出不与其他模块连接；
第一解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；
第二解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；
所述的输出模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为32、大小为5×5、步长为1、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；
输出第三级尺度的生成器输出图像L3，大小为64×64，L3经上采样得到尺寸为128×128的图像，作为第二级尺度的输入，输出128×128的第二级尺度的生成器输出图像L2；L2经上采样得到尺寸为256×256的图像作为第一级尺度的输入，输出256×256的第一级尺度的生成器输出图像L1，即为去模糊的结果图像；
步骤(3).从训练数据集T中随机抽取m张模糊图像和对应的清晰图像，并随机裁剪成256×256的方形区域，分别组成用于训练的模糊图像集B和对应的清晰图像集S，得到的B和S的图像数量均为m张，每张图像均为256×256的3通道彩色图像；将模糊图像集B输入生成器，得到生成器输出图像集L，L中有m张尺寸大小为256×256的彩色图像；
步骤(4).将生成器输出图像集L和对应的清晰图像集S依次作为判别器的输入，判别器依次输出两组置信度结果，每组置信度包含m个概率值，以此判定每张输入的图像是清晰图像或生成图像：若概率值大于0.5，则判定为清晰图像；概率值小于等于0.5，则判定为生成图像；
步骤(5).构建训练生成器的损失函数，损失函数为：ldb＝lE+α1lgrad+α2ladv；
其中α1、α2为大于0的正则项系数，lE为生成器输出图像集L和对应的清晰图像集S之间的均方误差，即：Li、Si分别表示在第i尺度上的生成器输出图像和清晰图像,Ni表示在第i尺度图像上所有通道的像素个数，i＝1,2,3；多尺度通过对图像3次降采样得到尺寸缩小的图像；
lgrad为梯度图像和之间的梯度误差，即：
Li(dx)和Li(dy)分别表示Li的水平梯度和垂直梯度，Si(dx)和Si(dy)分别表示Si的水平梯度和垂直梯度；
ladv为生成器输出图像集L和对应的清晰图像集S的判别误差，即：
s～p(S)表示清晰图像s取自于清晰图像集S，p(S)表示清晰图像集S的概率分布；b～p(B)表示模糊图像b取自于模糊图像集B，p(B)表示模糊图像集B的概率分布；D(s)表示判别器对输入图像s的判别概率，G(b)表示由输入图像b经生成器生成的结果图像，E[·]表示对括号内取期望；
步骤(6).将生成图像与清晰图像一同输入到判别器中，利用梯度下降迭代更新各层网络中的权重参数，不断优化ladv,直到判别器无法判别输入的图像是生成图像还是清晰图像，即获得的概率值与0.5的差值变化小于thr，此时判别器训练结束；
步骤(7).根据损失函数ldb＝lE+α1lgrad+α2ladv训练生成器，将模糊图像输入到生成器中，经过前向传播获得生成图像，比较生成图像与清晰图像的差异性，利用梯度下降迭代更新各层网络中的权重参数，不断优化损失函数ldb＝lE+α1lgrad+α2ladv，直到生成器模型训练阶段的训练集总损失函数值ldb变化小于阈值Th，此时生成器训练结束；
步骤(8).重复训练过程的步骤(3)～步骤(7)，直至生成器模型训练阶段的训练集总损失函数值ldb变化小于阈值Th，即判别器无法判定输入的图像是清晰图像还是生成图像，认定生成器模型与判别器模型训练已达到收敛，此时将模糊图像输入到生成器中，获得估计的去模糊图像。
2.如权利要求1所述的基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于：步骤(2)级联的三个尺度的子网络中，三个子网络对应的结构、通道数、卷积核尺寸均相同；彩色图像RGB的三个通道中，每个通道权值共享。
3.如权利要求1所述的基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于：步骤(3)和(4)中，m≥16。
4.如权利要求1所述的基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于：步骤(5)中，多尺度通过对图像多次降采样得到尺寸缩小的图像，第一级尺度为原尺寸大小的图像，从第二级开始，每一级图像的尺寸为上一级图像尺寸的宽度、高度各一半。
5.如权利要求1所述的基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于：步骤(6)中，0.01≤thr≤0.08。
6.如权利要求1所述的基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于：步骤(7)和(8)中，0.001≤Th≤0.01。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910515590.4A CN110378844B (zh) | 2019-06-14 | 2019-06-14 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910515590.4A CN110378844B (zh) | 2019-06-14 | 2019-06-14 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378844A true CN110378844A (zh) | 2019-10-25 |
| CN110378844B CN110378844B (zh) | 2021-04-09 |
Family
ID=68250306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910515590.4A Expired - Fee Related CN110378844B (zh) | 2019-06-14 | 2019-06-14 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378844B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910442A (zh) * | 2019-11-29 | 2020-03-24 | 华南理工大学 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111223062A (zh) * | 2020-01-08 | 2020-06-02 | 西安电子科技大学 | 基于生成对抗网络的图像去模糊方法 |
| CN111292262A (zh) * | 2020-01-19 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN111340716A (zh) * | 2019-11-20 | 2020-06-26 | 电子科技大学成都学院 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
| CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111986275A (zh) * | 2020-07-31 | 2020-11-24 | 西安理工大学 | 一种多模态半色调图像的逆半色调化方法 |
| CN112241939A (zh) * | 2020-10-15 | 2021-01-19 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
| CN112258425A (zh) * | 2020-11-24 | 2021-01-22 | 中电万维信息技术有限责任公司 | 一种二维码图像清晰化去模糊处理方法 |
| CN112329932A (zh) * | 2020-10-30 | 2021-02-05 | 深圳市优必选科技股份有限公司 | 生成对抗网络的训练方法、装置及终端设备 |
| CN112435187A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法 |
| CN112508817A (zh) * | 2020-12-16 | 2021-03-16 | 西北工业大学 | 一种基于循环生成对抗网络的图像运动盲去模糊方法 |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112634163A (zh) * | 2020-12-29 | 2021-04-09 | 南京大学 | 基于改进型循环生成对抗网络去图像运动模糊方法 |
| CN112686119A (zh) * | 2020-12-25 | 2021-04-20 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
| CN113012074A (zh) * | 2021-04-21 | 2021-06-22 | 山东新一代信息产业技术研究院有限公司 | 一种适用于低照度环境的智能图像处理方法 |
| CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320274A (zh) * | 2018-01-26 | 2018-07-24 | 东华大学 | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 |
| CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
-
2019
- 2019-06-14 CN CN201910515590.4A patent/CN110378844B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320274A (zh) * | 2018-01-26 | 2018-07-24 | 东华大学 | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 |
| CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
Non-Patent Citations (6)
| Title |
|---|
| XIN TAO等: "Scale-recurrent Network for Deep Image Deblurring", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| YI CHEN等: "Motion Deblurring Via Using Generative Adversarial Networks For Space-Based Imaging", 《SERA 2018》 * |
| 毛勇: "模糊车牌图像的盲去模糊算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 毛勇等: "基于深度学习的车牌图像去运动模糊技术", 《杭州电子科技大学学报(自然科学版)》 * |
| 陈富成等: "基于生成对抗网络的图像盲去运动模糊算法", 《软件导刊》 * |
| 鲍宗袍: "运动图像盲去模糊技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340716A (zh) * | 2019-11-20 | 2020-06-26 | 电子科技大学成都学院 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
| CN111340716B (zh) * | 2019-11-20 | 2022-12-27 | 电子科技大学成都学院 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
| CN110910442A (zh) * | 2019-11-29 | 2020-03-24 | 华南理工大学 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
| CN110910442B (zh) * | 2019-11-29 | 2023-09-29 | 华南理工大学 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111028177B (zh) * | 2019-12-12 | 2023-07-21 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199522B (zh) * | 2019-12-24 | 2024-02-09 | 芽米科技(广州)有限公司 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111223062A (zh) * | 2020-01-08 | 2020-06-02 | 西安电子科技大学 | 基于生成对抗网络的图像去模糊方法 |
| CN111292262A (zh) * | 2020-01-19 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN111292262B (zh) * | 2020-01-19 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
| CN111489304B (zh) * | 2020-03-27 | 2022-04-26 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111681188B (zh) * | 2020-06-15 | 2022-06-17 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111986275A (zh) * | 2020-07-31 | 2020-11-24 | 西安理工大学 | 一种多模态半色调图像的逆半色调化方法 |
| CN111986275B (zh) * | 2020-07-31 | 2024-06-11 | 广州嘉尔日用制品有限公司 | 一种多模态半色调图像的逆半色调化方法 |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| CN112241939A (zh) * | 2020-10-15 | 2021-01-19 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
| CN112241939B (zh) * | 2020-10-15 | 2023-05-30 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
| CN112329932A (zh) * | 2020-10-30 | 2021-02-05 | 深圳市优必选科技股份有限公司 | 生成对抗网络的训练方法、装置及终端设备 |
| CN112435187A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法 |
| CN112258425A (zh) * | 2020-11-24 | 2021-01-22 | 中电万维信息技术有限责任公司 | 一种二维码图像清晰化去模糊处理方法 |
| CN112508817B (zh) * | 2020-12-16 | 2024-05-14 | 西北工业大学 | 一种基于循环生成对抗网络的图像运动盲去模糊方法 |
| CN112508817A (zh) * | 2020-12-16 | 2021-03-16 | 西北工业大学 | 一种基于循环生成对抗网络的图像运动盲去模糊方法 |
| CN112686119B (zh) * | 2020-12-25 | 2022-12-09 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
| CN112686119A (zh) * | 2020-12-25 | 2021-04-20 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
| CN112614072B (zh) * | 2020-12-29 | 2022-05-17 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112634163A (zh) * | 2020-12-29 | 2021-04-09 | 南京大学 | 基于改进型循环生成对抗网络去图像运动模糊方法 |
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN113012074B (zh) * | 2021-04-21 | 2023-03-24 | 山东新一代信息产业技术研究院有限公司 | 一种适用于低照度环境的智能图像处理方法 |
| CN113012074A (zh) * | 2021-04-21 | 2021-06-22 | 山东新一代信息产业技术研究院有限公司 | 一种适用于低照度环境的智能图像处理方法 |
| CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378844B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378844A (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN113469356B (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN106204468B (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
| CN106780543B (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
| CN111861925B (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
| CN107968962A (zh) | 一种基于深度学习的两帧不相邻图像的视频生成方法 | |
| CN108647639A (zh) | 实时人体骨骼关节点检测方法 | |
| CN109035149A (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
| CN107767413A (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
| CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
| CN110889343A (zh) | 基于注意力型深度神经网络的人群密度估计方法及装置 | |
| CN108510504A (zh) | 图像分割方法和装置 | |
| CN109003234B (zh) | 针对运动模糊图像复原的模糊核计算方法 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、***、设备及介质 | |
| CN109685716A (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN113379771B (zh) | 带有边缘约束的层次化人体解析语义分割方法 | |
| CN112580473B (zh) | 一种融合运动特征的视频超分辨率重构方法 | |
| CN110705340B (zh) | 一种基于注意力神经网络场的人群计数方法 | |
| CN112634163A (zh) | 基于改进型循环生成对抗网络去图像运动模糊方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN115484410A (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| CN113554653A (zh) | 基于互信息校准点云数据长尾分布的语义分割方法 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210409 |