CN109685072A - 一种基于生成对抗网络的复合降质图像高质量重建方法 - Google Patents
一种基于生成对抗网络的复合降质图像高质量重建方法 Download PDFInfo
- Publication number
- CN109685072A CN109685072A CN201811575838.8A CN201811575838A CN109685072A CN 109685072 A CN109685072 A CN 109685072A CN 201811575838 A CN201811575838 A CN 201811575838A CN 109685072 A CN109685072 A CN 109685072A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- network
- layer
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 150000001875 compounds Chemical class 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 70
- 230000006835 compression Effects 0.000 claims abstract description 31
- 238000007906 compression Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000003475 lamination Methods 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 28
- 230000004069 differentiation Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000000149 argon plasma sintering Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000009792 diffusion process Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的复合降质图像高质量重建方法，针对同时含有雾霾，***噪声，低照度和压缩失真等多种降质问题的低质量图像，本发明首先从针对复合因素降质图像重建的角度出发，建立了一种基于生成对抗网络的复合降质图像高质量重建方法，可完成针对受雾霾，低照度，压缩，***噪声，光学模糊等因素组合降质图像的重建；其次，本发明采用非对称的生成网络，大大减少了模型的参数量，使模型易于训练和使用；再者，采用端到端的思想，简化了重建***的架构，省去了预处理与后处理；最后，生成网络全部由卷积层组成，可输入任意尺寸复合降质图像进行重建。
Description
技术领域
本发明属于数字图像/视频信号处理领域，特别涉及一种基于生成对抗网络的复合降质图像高质量重建方法。
背景技术
在视频监控、智能交通、军事成像侦察、导弹精确成像制导、遥感勘测、航空测绘等应用中，户外视觉***易受雾霾、***噪声、低照度、光学模糊、压缩等多方面因素的影响。这些因素以复杂的方式随机结合，会导致成像质量的严重退化，出现图像细节损失、对比度下降、颜色失真、压缩块效应等现象，图像的主观视觉效果变得很差。与此同时，图像质量的退化也会严重影响户外视觉***效用的发挥。更有甚者，会导致后续的运动目标检测、跟踪、识别等智能化分析处理完全失效。
目前，广大学者们分别针对***噪声、雾霾、压缩块效应、光学模糊等单一降质因素开展了研究工作，由于算法设计过程中仅考虑了某种单一降质因素，通常无法兼顾去除其他降质因素的影响。在处理复合降质图像高质量重建的过程中，学者们往往采用串行多次应用针对某种单因素降质的方法，如依次进行去除雾霾重建，去除噪声重建，去除模糊重建，去除压缩重建。该方法可以在一定程度上对图像进行重建，但是在多次重建的过程中，上一级重建结果中不可避免的会丢失一些图像的细节信息，丢失的细节信息往往会影响到下一级的重建结果，多级重建分别独立处理的方式也未能充分考虑多个问题之间的相互关系，导致最终的重建结果不尽人意。因此，如何在统一的框架下同时去除多种降质因素对图像质量造成的影响，是低质图像的高质量重建中值得深入研究的问题，对于提升实际应用***的性能意义重大。
2012年，深度神经网络(Deep Neural Network)在ImageNet竞赛中取得了巨大成功，获得了远超于传统方法的性能。随后，学者们尝试将深度神经网络应用于图像重建任务中，利用低质-高质图像数据样本对，学习出低质到高质图像的映射网络模型，实现了较好的图像高质量重建效果。
生成对抗网络(GANs，Generative Adversarial Nets)是Goodfellow等在2014年提出的一种新型网络架构，在生成对抗网络的框架中，同时设立两个深度神经网络，即“生成网络”与“判别网络”，该框架建立了二者的非合作博弈关系，通过迭代交替更新达到纳什均衡，从而训练出最优的网络模型。生成对抗网络的提出为图像高质量重建提供了一种新的思路和手段。
发明内容
本发明的目的在于克服现有技术的不足，针对同时含有雾霾，***噪声，低照度和压缩失真等多种降质问题的低质量图像，提出一个基于生成对抗网络架构的复合降质图像高质量重建方法，使其能同时解决含有雾霾，***噪声，低照度和压缩失真等问题造成的低质图像重建问题。
本发明是采用以下技术手段实现的：一种基于生成对抗网络的复合降质图像高质量重建方法，主要包括整体流程，离线部分和在线部分。
整体流程：首先设计了复合降质图像重建的处理流程；然后根据此流程设计了生成网络结构以及判别网络结构；最后将生成网络各阶段特征图尺寸调整，完成复合降质图像映射到重建图像；
离线部分：主要包括2个步骤：训练样本库生成；网络训练及模型获取。其中，训练样本库生成方法中包括训练样本获取的5个过程；网络模型训练及模型获取阶段包括判别网络、损失函数、梯度下降法的选取；
在线部分：主要包括3个步骤：特征提取；特征融合；图像重建。
所述的整体流程，具体步骤如下：
(1)复合降质图像重建流程主要包含图像重建与真假图像判别，对应地，网络结构包含图像生成网络与图像判别网络两个部分。
在图像重建中，输入为含有雾霾，***噪声，低照度和压缩失真等影响因素下的图像，对其进行特征提取，特征融合，图像重建，输出重建后的高质量图像。
在真假图像判别中，输入为图像重建结果或高质量图像，对其进行判别，判别输入是否为复合预期的高质量图像，输出为输入满足预期高质量图像的概率，判别网络用于监督生成网络图像重建的质量与真实程度。
图像生成网络用于图像重建，图像判别网络用于图像判别，离线部分同时对两个图像生成网络和图像判别网络进行训练，在线使用时，只使用生成网络进行图像重建。
(2)网络结构各层对应于图像重建的处理流程，具有不同的意义。如附图2所示，网络结构包括两个部分：生成网络与判别网络。
生成网络结构包括14个卷积层，6个反卷积层，16个ELU激活模块。其中，在特征提取步骤中，由14个卷积层和11个ELU激活模块组成特征提取子模块，负责提取输入图像的高层语义特征信息；在图像重建步骤中，由6个反卷积层和5个ELU激活模块组成图像重建子模块，负责通过输入的特征信息对复合降质图像进行重建，图像重建子模块中没有加入池化层和全连接层，旨在保证输入特征图与输出特征图的尺寸一致；在特征融合步骤中，特征提取子模块的第3，6，11，12，13层卷积输出分别与图像重建子模块的第5，4，3，2，1层反卷积输出进行跳跃连接组成特征融合子模块，负责防止梯度消失与保留高层语义信息，加速神经网络的训练过程。判别网络包括5个卷积层，3个批归一化层，4个LeakyReLU激活模块，1个全连接层，负责判别输入满足预期高质量图像的概率。
卷积核的尺寸通过W×H描述，W，H分别表示卷积核的宽度与高度；图像的尺寸通过C×W×H描述，C，W，H分别表示图像的通道数，宽度与高度。
(3)在图像复原过程中，各个网络结构中的卷积层输入和输出特征图的变化如下：
在生成网络的特征提取过程中，输入图像大小为3×128×128，在第一个卷积层中，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第二个卷积层中，输入大小为32×128×128的特征图，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第三个卷积层中，输入大小为32×128×128的特征图，经过32个步长为2的3×3大小的卷积核，得到大小为32×64×64的特征图；在第四个卷积层中，输入大小为32×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第五个卷积层中，输入大小为64×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第六个卷积层中，输入大小为64×64×64的特征图，经过64个步长为2的3×3大小的卷积核，得到大小为64×32×32的特征图；在第七个卷积层中，输入大小为64×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第八个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第九个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十一个卷积层中，输入大小为128×32×32的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×16×16的特征图；在第十二个卷积层中，输入大小为128×16×16的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×8×8的特征图；在第十三个卷积层中，输入大小为128×8×8的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×4×4的特征图；在第十四个卷积层中，输入大小为128×4×4的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，最终得到大小为128×1×1的特征图。
在生成网络的图像重建过程中，输入特征图大小为128×1×1，在第一个反卷积层中，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×4×4的重建特征图；在第二个反卷积层中，输入大小为256×4×4的融合特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×8×8的重建特征图；在第三个反卷积层中，输入大小为256×8×8的融合特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×16×16的重建特征图；在第四个反卷积层中，输入大小为256×16×16的融合特征图，先经过64个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为64×32×32的重建特征图；在第五个反卷积层中，输入大小为128×32×32的融合特征图，先经过32个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为32×64×64的重建特征图；在第六个反卷积层中，输入大小为64×64×64的融合特征图，先经过3个步长为2的3×3大小的卷积核，再经过ELU激活模块，最终得到大小为3×128×128的重建复原图像。
在生成网络的特征融合的过程中，特征提取中第十三层卷积层输出与图像重建中第一层反卷积层输出融合，作为图像重建中第二层反卷积层的输入；特征提取中第十二层卷积层输出与图像重建中第二层反卷积层输出融合，作为图像重建中第三层反卷积层的输入；特征提取中第十一层卷积层输出与图像重建中第三层反卷积层输出融合，作为图像重建中第四层反卷积层的输入；特征提取中第六层卷积层输出与图像重建中第四层反卷积层输出融合，作为图像重建中第五层反卷积层的输入；特征提取中第三层卷积层输出与图像重建中第五层反卷积层输出融合，作为图像重建中第六层反卷积层的输入。
在判别网络判别图像的过程中，输入被判别图像大小为3×128×128，在第一个卷积层中，先经过64个步长为2的4×4大小的卷积核，再经过LeakyReLU激活模块，得到大小为64×64×64的判别特征图；在第二个卷积层中，先经过128个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为128×32×32的判别特征图；在第三个卷积层中，先经过256个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为256×16×16的判别特征图；在第四个卷积层中，先经过512个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为512×8×8的判别特征图；在第五个卷积层中，经过1个步长为1的4×4大小的卷积核，得到大小为1×4×4的判别特征图；最后调整第五层卷积层输出为1×16作为全连接层的输入，全连接层输出大小为1×1的特征向量，表示输入图像重建的质量，即生成网络生成图像的真实程度。
所述的离线部分，具体步骤如下：
(1)训练样本库生成：训练样本库的生成主要包含雾霾训练样本的生成，低照度训练样本的生成，压缩训练样本的生成，噪声训练样本的生成以及光学模糊训练样本的生成。
雾霾训练样本的生成：根据大气光散射理论，在计算机视觉与图形学中，形成了广泛使用的大气光散射模型如公式(1)所示。对于给定无雾图像J(x)，通过随机给定透视率t(x)得到雾霾训练样本图像，其中A为大气光值。
I(x)＝J(x)t(x)+A(1-t(x)) (1)
低照度训练样本的生成：将给定图像从RGB彩色空间转换到HSV彩色空间，对亮度通道V随机降低一定范围后得到低照度训练样本图像。
压缩失真训练样本生成：将给定图像经过JPEG压缩方法Q，分别进行不同压缩质量参数(CQ)的压缩处理，得到不同压缩失真程度的训练样本图像。
噪声训练样本的生成：将给定图像增加不同程度的零均值高斯噪声，得到噪声训练样本图像。
光学模糊训练样本生成：将给定图像增加不同程度的高斯模糊，得到光学模糊训练样图像。
(2)训练网络：首先，为生成网络与判别网络分别建立损失监督，并采用梯度下降算法求解最小化损失函数的问题。其中，生成网络的损失包含重建损失与生成损失两个部分，重建损失由MSE损失函数与特征损失函数共同组成，生成损失函数采用LSGAN中提出的生成损失函数；判别网络的判别损失函数采用LSGAN中提出的判别损失函数。训练生成网络与判别网络均采用Adam梯度下降算法，动量均设置为0.9，生成网络的学习率为0.0005，判别网络的学习率为0.00001，每训练50次生成网络的学习率与判别网络的学习率分别乘以0.9，经过反复迭代，当达到预设的最大迭代次数(10万次)时停止训练，最终得到图像重建模型。
所述的在线部分，具体步骤如下：
(1)对输入图像进行特征提取：将复合降质图像输入特征提取子模块，经过14个卷积层后，得到输入图像的高层语义特征信息。
(2)对输入图像的特征进行特征融合：将特征提取子模块中第3，6，11，12，13层卷积输出分别与图像重建子模块的第5，4，3，2，1层反卷积输出进行跳跃连接组成融合特征，用于后续图像重建模块重建。
(3)对融合后的特征图像进行重建：将融合后的特征输入到图像重建子模块，对特征图进行重建，经过6层反卷积层后得到重建后高质量图像。
本发明首先从针对复合因素降质图像重建的角度出发，建立了一种基于生成对抗网络的复合降质图像高质量重建方法，可完成针对受雾霾，低照度，压缩，***噪声，光学模糊等因素组合降质图像的重建；其次，本发明采用非对称的生成网络，大大减少了模型的参数量，使模型易于训练和使用；再者，本发明采用端到端的思想，简化了重建***的架构，省去了预处理与后处理；最后，本发明的生成网络全部由卷积层组成，可输入任意尺寸复合降质图像进行重建。
附图说明
图1、一种基于生成对抗网络的复合降质图像高质量重建方法流程图；
图2、本发明方法的网络结构；(a)生成网络结构；(b)判别网络结构；
图3、本发明方法离线部分与在线部分流程图；
图4、雾霾，噪声，以及压缩失真条件下的低质图像及重建结果图；(a)雾霾，噪声，以及压缩失真条件下的低质图像；(b)重建结果图；
图5、雾霾，模糊，压缩失真以及低照度条件下的低质图像及重建结果图；(a)雾霾，模糊，压缩失真以及低照度条件下的低质图像；(b)重建结果图；
图6、雾霾，模糊，噪声，压缩失真以及低照度条件下的低质图像及重建结果图；(a)雾霾，模糊，噪声，压缩失真以及低照度条件下的低质图像；(b)重建结果图；
具体实施方式
以下结合说明书附图，对本发明的实施实例加以详细说明：
一种基于生成对抗网络的复合降质图像高质量重建方法，整体流程图如附图1所示；算法分为离线部分和在线部分；其流程图如附图3所示；离线部分，根据不同的降质因素建立训练样本集；对于一幅尺寸M×N的图像，首先尺寸缩放到128×128像素，然后分别增加雾霾降质因素，低照度降质因素，压缩降质因素，随机噪声降质因素，光学模糊降质因素得到训练样本图像，原图分别与每幅训练样本图像组成一个训练样本对。在训练网络时，随机使用训练样本对进行训练。在线部分，避免图像预处理及后处理，对复合降质图像，由网络模型预测得出重建图像，进一步提升网络重建性能。
所述离线部分分为2个步骤，具体步骤如下：
步骤(1)训练样本库生成：训练数据集为从网络上搜集的50000张图像。依据公式(1)，对于给定图像J(x)，固定大气光值A＝1，随机给定透视率t(x)，且满足t(x)∈(0,1)，得到雾霾训练样本图像；将给定图像从RGB彩色空间转换到HSV彩色空间，对转换后图像的亮度通道随机乘以低照度系数α，且满足α∈(0.6,0.9)，得到低照度训练样本图像；将给定图像运用JPEG压缩方法，分别进行不同压缩质量参数(CQ)值的压缩处理，CQ设定为(10，20，30，40)，得到压缩失真训练样本图像；将给定图像添加符合N(0,σ)的零均值高斯噪声，σ设定为(1，0.5，0.1，0.01)，得到噪声训练样本图像；将给定图像分别添加模糊核大小为25×25，方差为σ的高斯模糊，σ设定为(0.5，1.0，1.5)，得到光学模糊训练样本图像。
步骤(2)网络训练及模型获取的方法，生成网络与判别网络在同一个框架中训练，并通过端到端学习分别得到其映射关系。
整个网络训练的过程中，输入为样本对{Xi,Yi}，其中Xi为生成的带有降质因素的样本图像，Yi为高质量的真实图像。
在生成网络中，如公式(2)所示，将降质样本图像Xi作为生成网络的输入，经过生成网络后输出为重建图像Zi，其中再将生成网络的输出图像Zi和高质量真实图像Yi组成图相对{Zi,Yi}，供后续判别网络使用。在公式(2)中，G表示生成网络。
Zi＝G(Xi) (2)
在生成网络中，生成网络的损失函数主要包括两个部分，分别为重建损失函数与对抗损失函数。重建损失函数如公式(3)所示，其中W与H表示图像的宽度与高度。对抗损失函数如公式(4)所示，用于在较高的层面上，使图像看起来更加接近实际的高质量图像，更加真实和自然，在公式(4)中D表示判别网络。
在判别网络中，判别网络的损失函数用于判别生成网络生成重建图像Zi的真实程度，判别网络的输入为图像对{Zi,Yi}，分别对应标签{0,1}，表示图像的真实程度。判别网络的损失函数如公式(5)所示，其中Z与Y满足{Z,Y}∈{Zi,Yi}。
在网络训练的过程中，生成网络与判别网络交替进行训练。首先固定生成网络，根据判别网络的损失函数训练判别网络；其次固定判别网络，根据最终的生成网络的损失函数训练生成网络。最终的优化目标如公式(6)所示，其中λG与λD分别取1与0.01。经过反复迭代，当达到预设的最大迭代次数(10万次)时停止训练，获得图像重建的生成网络。
所述的在线部分分为3个步骤，具体步骤如下：
(1)对输入图像进行特征提取：采用卷积神经网络CNN进行自底向上的特征提取和表达。输入图像为一幅待处理的复合降质图像X，输入特征提取子模块后，提取图像边缘的有效信息；然后采用非线性激活函数对卷积后的图像进行处理，挖掘图像潜在的特征。最后经过逐层特征变换得到得到输入图像的高层语义特征信息。其中，本发明采用的激活函数是Exponential Linear Unit(ELU)，如公式(9)所示。与sigmoid、tanh和ReLU函数相比，ELU的随机梯度下降收敛速度较快，且不需要进行大量复杂运算。本发明中的α是一个非零数，设定为1.0。
ELU(x)＝max(0,x)+min(0,α*(exp(x)-1)) (7)
逐层提取特征时每层卷积层提取特征的公式如公式(10)所示，第i层卷积层的输入为xi，经过卷积层，再经过ELU激活函数后，得到该层最终卷积结果，即该层的特征图。输入图像第l层的高层语义特征如公式(11)所示，特征提取的过程中，l满足l∈(3,6,11,12,13,14)，其中fea14直接作为重建过程的输入，其余特征用于特征融合。
Fi(xi)＝ELU(Convi(xi)) (8)
feal＝Fl(Fl-1(Fl-2...(F1(x)))) (9)
(2)对输入图像的特征进行特征融合：特征融合过程如公式(12)所示，其中concat操作符表示矩阵合并，如将大小为128×16×16的特征图与大小为128×16×16重建特征图进行concat操作后，得到大小为256×16×16的融合特征图。输入图像的特征融合与重建是同时进行的，具体融合细节见步骤(3)。
m＝concat(fea,rec) (10)
(3)对融合后的特征图像进行重建：重建过程中反卷积层重建过程，如公式(13)所示，第i层反卷积层的输入为xi，先经过反卷积层，再经过ELU激活函数，最终得到重建特征图。重建过程中输入特征图第l层的输出如公式(14)所示。
Ri(xi)＝ELU(DeConvi(xi)) (11)
recl＝Rl(Rl-1(Rl-2...(R1(x)))) (12)
在特征重建的过程中，将第(1)步中特征提取子模块中第十四层输出，即fea14作为特征重建子模块的输入，得到重建特征图rec1。将特征重建模块第一层的输出rec1，与特征提取过程中第十三层输出fea13进行融合，得到融合特征m1，m1作下一层重建层的输入，经过第二层重建层得到重建特征图rec2；将特征重建模块第二层的输出rec2，与特征提取过程中第十二层输出fea12进行融合，得到融合特征m2，m2作下一层重建层的输入，经过第三层重建层得到重建特征图rec3；将特征重建模块第三层的输出rec3，与特征提取过程中第十一层输出fea11进行融合，得到融合特征m3，m3作下一层重建层的输入，经过第四层重建层得到重建特征图rec4；将特征重建模块第四层的输出rec4，与特征提取过程中第六层输出fea6进行融合，得到融合特征m4，m4作下一层重建层的输入，经过第五层重建层得到重建特征图rec5；将特征重建模块第五层的输出rec5，与特征提取过程中第三层输出fea3进行融合，得到融合特征m5，m5作下一层重建层的输入，经过第六层重建层得到最终重建高质量图像。
Claims (7)
1.一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，本方法包括整体流程，离线部分和在线部分；
整体流程：首先设计了复合降质图像重建的处理流程；然后根据此流程设计了生成网络结构以及判别网络结构；最后将生成网络各阶段特征图尺寸调整，完成复合降质图像映射到重建图像；
离线部分：主要包括2个步骤：训练样本库生成；网络训练及模型获取；其中，训练样本库生成方法中包括训练样本获取的5个过程；网络模型训练及模型获取阶段包括判别网络、损失函数、梯度下降法的选取；
在线部分：主要包括3个步骤：特征提取；特征融合；图像重建。
2.根据权利要求1所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，所述的整体流程，具体步骤如下：
(1)复合降质图像重建流程主要包含图像重建与真假图像判别，对应地，网络结构包含图像生成网络与图像判别网络两个部分；
在图像重建中，输入为含有雾霾，***噪声，低照度和压缩失真等影响因素下的图像，对其进行特征提取，特征融合，图像重建，输出重建后的高质量图像；
在真假图像判别中，输入为图像重建结果或高质量图像，对其进行判别，判别输入是否为复合预期的高质量图像，输出为输入满足预期高质量图像的概率，判别网络用于监督生成网络图像重建的质量与真实程度；
图像生成网络用于图像重建，图像判别网络用于图像判别，离线部分同时对两个图像生成网络和图像判别网络进行训练，在线使用时，只使用生成网络进行图像重建；
(2)网络结构各层对应于图像重建的处理流程，具有不同的意义；如附图2所示，网络结构包括两个部分：生成网络与判别网络；
生成网络结构包括14个卷积层，6个反卷积层，16个ELU激活模块；其中，在特征提取步骤中，由14个卷积层和11个ELU激活模块组成特征提取子模块，负责提取输入图像的高层语义特征信息；在图像重建步骤中，由6个反卷积层和5个ELU激活模块组成图像重建子模块，负责通过输入的特征信息对复合降质图像进行重建，图像重建子模块中没有加入池化层和全连接层，旨在保证输入特征图与输出特征图的尺寸一致；在特征融合步骤中，特征提取子模块的第3，6，11，12，13层卷积输出分别与图像重建子模块的第5，4，3，2，1层反卷积输出进行跳跃连接组成特征融合子模块，负责防止梯度消失与保留高层语义信息，加速神经网络的训练过程；判别网络包括5个卷积层，3个批归一化层，4个LeakyReLU激活模块，1个全连接层，负责判别输入满足预期高质量图像的概率；
卷积核的尺寸通过W×H描述，W，H分别表示卷积核的宽度与高度；图像的尺寸通过C×W×H描述，C，W，H分别表示图像的通道数，宽度与高度；
(3)在图像复原过程中，各个网络结构中的卷积层输入和输出特征图的变化如下：
在生成网络的特征提取过程中，输入图像大小为3×128×128，在第一个卷积层中，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第二个卷积层中，输入大小为32×128×128的特征图，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第三个卷积层中，输入大小为32×128×128的特征图，经过32个步长为2的3×3大小的卷积核，得到大小为32×64×64的特征图；在第四个卷积层中，输入大小为32×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第五个卷积层中，输入大小为64×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第六个卷积层中，输入大小为64×64×64的特征图，经过64个步长为2的3×3大小的卷积核，得到大小为64×32×32的特征图；在第七个卷积层中，输入大小为64×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第八个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第九个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十一个卷积层中，输入大小为128×32×32的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×16×16的特征图；在第十二个卷积层中，输入大小为128×16×16的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×8×8的特征图；在第十三个卷积层中，输入大小为128×8×8的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×4×4的特征图；在第十四个卷积层中，输入大小为128×4×4的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，最终得到大小为128×1×1的特征图。
3.根据权利要求2所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，在生成网络的图像重建过程中，输入特征图大小为128×1×1，在第一个反卷积层中，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×4×4的重建特征图；在第二个反卷积层中，输入大小为256×4×4的融合特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×8×8的重建特征图；在第三个反卷积层中，输入大小为256×8×8的融合特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×16×16的重建特征图；在第四个反卷积层中，输入大小为256×16×16的融合特征图，先经过64个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为64×32×32的重建特征图；在第五个反卷积层中，输入大小为128×32×32的融合特征图，先经过32个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为32×64×64的重建特征图；在第六个反卷积层中，输入大小为64×64×64的融合特征图，先经过3个步长为2的3×3大小的卷积核，再经过ELU激活模块，最终得到大小为3×128×128的重建复原图像。
4.根据权利要求2所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，在生成网络的特征融合的过程中，特征提取中第十三层卷积层输出与图像重建中第一层反卷积层输出融合，作为图像重建中第二层反卷积层的输入；特征提取中第十二层卷积层输出与图像重建中第二层反卷积层输出融合，作为图像重建中第三层反卷积层的输入；特征提取中第十一层卷积层输出与图像重建中第三层反卷积层输出融合，作为图像重建中第四层反卷积层的输入；特征提取中第六层卷积层输出与图像重建中第四层反卷积层输出融合，作为图像重建中第五层反卷积层的输入；特征提取中第三层卷积层输出与图像重建中第五层反卷积层输出融合，作为图像重建中第六层反卷积层的输入。
5.根据权利要求2所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，在判别网络判别图像的过程中，输入被判别图像大小为3×128×128，在第一个卷积层中，先经过64个步长为2的4×4大小的卷积核，再经过LeakyReLU激活模块，得到大小为64×64×64的判别特征图；在第二个卷积层中，先经过128个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为128×32×32的判别特征图；在第三个卷积层中，先经过256个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为256×16×16的判别特征图；在第四个卷积层中，先经过512个步长为2的4×4大小的卷积核，再经过批量标准化层，再经过LeakyReLU激活模块，得到大小为512×8×8的判别特征图；在第五个卷积层中，经过1个步长为1的4×4大小的卷积核，得到大小为1×4×4的判别特征图；最后调整第五层卷积层输出为1×16作为全连接层的输入，全连接层输出大小为1×1的特征向量，表示输入图像重建的质量，即生成网络生成图像的真实程度。
6.根据权利要求1所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，所述的离线部分，具体步骤如下：
(1)训练样本库生成：训练样本库的生成主要包含雾霾训练样本的生成，低照度训练样本的生成，压缩训练样本的生成，噪声训练样本的生成以及光学模糊训练样本的生成；
雾霾训练样本的生成：根据大气光散射理论，在计算机视觉与图形学中，形成了广泛使用的大气光散射模型如公式(1)所示；对于给定无雾图像J(x)，通过随机给定透视率t(x)得到雾霾训练样本图像，其中A为大气光值；
I(x)＝J(x)t(x)+A(1-t(x)) (1)
低照度训练样本的生成：将给定图像从RGB彩色空间转换到HSV彩色空间，对亮度通道V随机降低一定范围后得到低照度训练样本图像；
压缩失真训练样本生成：将给定图像经过JPEG压缩方法Q，分别进行不同压缩质量参数的压缩处理，得到不同压缩失真程度的训练样本图像；
噪声训练样本的生成：将给定图像增加不同程度的零均值高斯噪声，得到噪声训练样本图像；
光学模糊训练样本生成：将给定图像增加不同程度的高斯模糊，得到光学模糊训练样图像；
(2)训练网络：首先，为生成网络与判别网络分别建立损失监督，并采用梯度下降算法求解最小化损失函数的问题；其中，生成网络的损失包含重建损失与生成损失两个部分，重建损失由MSE损失函数与特征损失函数共同组成，生成损失函数采用LSGAN中提出的生成损失函数；判别网络的判别损失函数采用LSGAN中提出的判别损失函数；训练生成网络与判别网络均采用Adam梯度下降算法，动量均设置为0.9，生成网络的学习率为0.0005，判别网络的学习率为0.00001，每训练50次生成网络的学习率与判别网络的学习率分别乘以0.9，经过反复迭代，当达到预设的最大迭代次数时停止训练，最终得到图像重建模型。
7.根据权利要求1所述的一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，所述的在线部分，具体步骤如下：
(1)对输入图像进行特征提取：将复合降质图像输入特征提取子模块，经过14个卷积层后，得到输入图像的高层语义特征信息；
(2)对输入图像的特征进行特征融合：将特征提取子模块中第3，6，11，12，13层卷积输出分别与图像重建子模块的第5，4，3，2，1层反卷积输出进行跳跃连接组成融合特征，用于后续图像重建模块重建；
(3)对融合后的特征图像进行重建：将融合后的特征输入到图像重建子模块，对特征图进行重建，经过6层反卷积层后得到重建后高质量图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811575838.8A CN109685072B (zh) | 2018-12-22 | 2018-12-22 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811575838.8A CN109685072B (zh) | 2018-12-22 | 2018-12-22 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109685072A true CN109685072A (zh) | 2019-04-26 |
| CN109685072B CN109685072B (zh) | 2021-05-14 |
Family
ID=66188107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811575838.8A Active CN109685072B (zh) | 2018-12-22 | 2018-12-22 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685072B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033416A (zh) * | 2019-04-08 | 2019-07-19 | 重庆邮电大学 | 一种结合多粒度的车联网图像复原方法 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110414620A (zh) * | 2019-08-06 | 2019-11-05 | 厦门大学 | 一种语义分割模型训练方法、计算机设备及存储介质 |
| CN110443244A (zh) * | 2019-08-12 | 2019-11-12 | 深圳市捷顺科技实业股份有限公司 | 一种图形处理的方法以及相关装置 |
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110738626A (zh) * | 2019-10-24 | 2020-01-31 | 广东三维家信息科技有限公司 | 渲染图的优化方法、装置及电子设备 |
| CN111291839A (zh) * | 2020-05-09 | 2020-06-16 | 创新奇智(南京)科技有限公司 | 样本数据生成方法、装置和设备 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
| WO2020228536A1 (zh) * | 2019-05-15 | 2020-11-19 | 京东方科技集团股份有限公司 | 图标生成方法及装置、获取图标的方法、电子设备以及存储介质 |
| WO2020233475A1 (zh) * | 2019-05-22 | 2020-11-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
| CN112529828A (zh) * | 2020-12-25 | 2021-03-19 | 西北大学 | 参考数据非敏感的遥感影像时空融合模型构建方法 |
| CN112767279A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113034381A (zh) * | 2021-02-08 | 2021-06-25 | 浙江大学 | 一种基于空洞化的核预测网络的单图像去噪方法和装置 |
| CN113284046A (zh) * | 2021-05-26 | 2021-08-20 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN114266709A (zh) * | 2021-12-14 | 2022-04-01 | 北京工业大学 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
| CN114331922A (zh) * | 2022-03-10 | 2022-04-12 | 武汉工程大学 | 多尺度自校准气动光学效应湍流退化图像复原方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108460391A (zh) * | 2018-03-09 | 2018-08-28 | 西安电子科技大学 | 基于生成对抗网络的高光谱图像无监督特征提取方法 |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
-
2018
- 2018-12-22 CN CN201811575838.8A patent/CN109685072B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108460391A (zh) * | 2018-03-09 | 2018-08-28 | 西安电子科技大学 | 基于生成对抗网络的高光谱图像无监督特征提取方法 |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
Non-Patent Citations (2)
| Title |
|---|
| MAO X J等: "Image restoration using convolutional auto-encoders with symmetric skip connections", 《 ARXIV.ORG/ABS/1606.08921》 * |
| QQ_23304241: "激活函数ReLU、Leaky ReLU、PReLU和RReLU", 《CSDN博客HTTPS://BLOG.CSDN.NET/QQ_23304241/ARTICLE/DETAILS/80300149》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033416A (zh) * | 2019-04-08 | 2019-07-19 | 重庆邮电大学 | 一种结合多粒度的车联网图像复原方法 |
| WO2020228536A1 (zh) * | 2019-05-15 | 2020-11-19 | 京东方科技集团股份有限公司 | 图标生成方法及装置、获取图标的方法、电子设备以及存储介质 |
| WO2020233475A1 (zh) * | 2019-05-22 | 2020-11-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110363716B (zh) * | 2019-06-25 | 2021-11-19 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110473154B (zh) * | 2019-07-31 | 2021-11-16 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110414620A (zh) * | 2019-08-06 | 2019-11-05 | 厦门大学 | 一种语义分割模型训练方法、计算机设备及存储介质 |
| CN110414620B (zh) * | 2019-08-06 | 2021-08-31 | 厦门大学 | 一种语义分割模型训练方法、计算机设备及存储介质 |
| CN110443244A (zh) * | 2019-08-12 | 2019-11-12 | 深圳市捷顺科技实业股份有限公司 | 一种图形处理的方法以及相关装置 |
| CN110443244B (zh) * | 2019-08-12 | 2023-12-05 | 深圳市捷顺科技实业股份有限公司 | 一种图形处理的方法以及相关装置 |
| CN110738626A (zh) * | 2019-10-24 | 2020-01-31 | 广东三维家信息科技有限公司 | 渲染图的优化方法、装置及电子设备 |
| CN111291839A (zh) * | 2020-05-09 | 2020-06-16 | 创新奇智(南京)科技有限公司 | 样本数据生成方法、装置和设备 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
| CN112529828A (zh) * | 2020-12-25 | 2021-03-19 | 西北大学 | 参考数据非敏感的遥感影像时空融合模型构建方法 |
| CN112529828B (zh) * | 2020-12-25 | 2023-01-31 | 西北大学 | 参考数据非敏感的遥感影像时空融合模型构建方法 |
| CN112767279A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN112767279B (zh) * | 2021-02-01 | 2022-06-14 | 福州大学 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
| CN113034381A (zh) * | 2021-02-08 | 2021-06-25 | 浙江大学 | 一种基于空洞化的核预测网络的单图像去噪方法和装置 |
| CN113034381B (zh) * | 2021-02-08 | 2022-06-21 | 浙江大学 | 一种基于空洞化的核预测网络的单图像去噪方法和装置 |
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113284046B (zh) * | 2021-05-26 | 2023-04-07 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN113284046A (zh) * | 2021-05-26 | 2021-08-20 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN114266709A (zh) * | 2021-12-14 | 2022-04-01 | 北京工业大学 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
| CN114266709B (zh) * | 2021-12-14 | 2024-04-02 | 北京工业大学 | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 |
| CN114331922A (zh) * | 2022-03-10 | 2022-04-12 | 武汉工程大学 | 多尺度自校准气动光学效应湍流退化图像复原方法及*** |
| CN114331922B (zh) * | 2022-03-10 | 2022-07-19 | 武汉工程大学 | 多尺度自校准气动光学效应湍流退化图像复原方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109685072B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685072A (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| Yang et al. | Proximal dehaze-net: A prior learning-based deep network for single image dehazing | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN110363716A (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| JP2022548712A (ja) | フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 | |
| DE102018130924A1 (de) | Systeme und Verfahren zur dynamischen Gesichtsanalyse mittels eines rekurrenten neuronalen Netzes | |
| CN112149459B (zh) | 一种基于交叉注意力机制的视频显著性物体检测模型及*** | |
| CN109272455A (zh) | 基于弱监督生成对抗网络的图像去雾方法 | |
| CN107292804B (zh) | 基于OpenCL的直接多曝光融合并行加速方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN108876735A (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| CN109300090A (zh) | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN106204499A (zh) | 基于卷积神经网络的单幅图像去雨方法 | |
| CN110378288A (zh) | 一种基于深度学习的多级时空运动目标检测方法 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN111597920B (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
| CN108510451A (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN110211052A (zh) | 一种基于特征学习的单幅图像去雾方法 | |
| DE102019121200A1 (de) | Bewegungsadaptives rendern mittels shading mit variabler rate | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN110223240A (zh) | 基于颜色衰减先验的图像去雾方法、***及存储介质 | |
| CN109671044B (zh) | 一种基于可变图像分解的多曝光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |