CN110969589A - 基于多流注意对抗网络的动态场景模糊图像盲复原方法 - Google Patents
基于多流注意对抗网络的动态场景模糊图像盲复原方法 Download PDFInfo
- Publication number
- CN110969589A CN110969589A CN201911216879.2A CN201911216879A CN110969589A CN 110969589 A CN110969589 A CN 110969589A CN 201911216879 A CN201911216879 A CN 201911216879A CN 110969589 A CN110969589 A CN 110969589A
- Authority
- CN
- China
- Prior art keywords
- attention
- image
- scale
- stream
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 46
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 2
- 238000013461 design Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于多流注意力生成对抗网络的动态场景模糊盲复原方法。本发明首先设计了一种注意力引导模块,利用该模块生成具有在特征提取和去模糊过程中具有引导作用的注意力引导图,该引导图能够更多的关注模糊程度严重的区域或目标及其周围复杂的结构。另外,针对复杂的动态场景模糊信息,提出多流多尺度特征提取策略用于提取的复杂特征,并且设计一个多尺度残差块提取动态场景模糊图像的多尺度特征,捕获不同类型的模糊信息和更多纹理细节。最后,提出利用多尺度融合策略来获取更好的特征,并设计一个可学习的门结构来自适应融合来自不同流的多尺度特征。本发明可以更好地复原模糊程度较大的和复杂的动态场景模糊;进一步,还能提高复原图像的效率。
Description
技术领域
本发明属于图像处理技术领域。
背景技术
图像去模糊问题是图像复原领域长期存在的难点问题,其中动态场景模糊因其形成因素极其复杂,包括相机抖动、多目标运动、曝光时间内场景深度变化、运动边界遮挡等,更具有挑战性。
传统的动态场景模糊图像复原技术严重依赖于精确的图像分割技术,复原模型通常需要解决高度非凸优化问题,计算量很大。深度学习具有自动提取特征的特点,以及强大的计算能力和泛化能力,已经成为一种有效的工具被应用到图像复原领域,也取得了显著的进步。但是目前的理论和技术仅适用于模糊程度较小的模糊图像复原和特定类型的动态场景模糊图像复原。
发明内容
本发明提出一种基于多流注意对抗网络的动态场景模糊图像盲复原方法,其基于多流注意生成对抗网络(Generative Adversarial Nets,GAN)去除模糊程度严重和模糊情况复杂的动态场景模糊。以更好地复原模糊程度较大的和复杂的动态场景模糊;进一步,还提高复原图像的效率。
在同一幅动态场景图像中,不同区域或对象的模糊程度往往会因像素的不同而不同。由这个特点,本发明将模糊图像与对应的清晰图像相减,发现不同模糊区域的像素值有很大的差异。因此,本发明首先设计了一个新颖的注意力引导模块,利用该模块生成具有在特征提取和去模糊过程中有引导作用的注意力引导图,该引导图能够更多的关注于大的模糊区域或目标及其周围复杂的结构。其次,针对复杂的模糊信息,为提取更有效的复杂特征,提出多流多尺度特征提取策略,并且设计一个多尺度残差块,来提取多尺度特征,捕获不同类型的模糊信息和更多纹理细节。另外,提出利用自适应特征融合门结构来获取更好的特征,并设计一个可学习的门结构来自适应融合来自不同流的多尺度特征。最后,设计了多组分损失函数,主要通过联合优化注意损失函数、多流损失函数、感知损失函数和对抗损失函数来训练本发明提出的多流注意对抗网络。
为实现以上发明目的,本发明的技术方案如下:
本发明方法主要包括五个部分:注意力引导模块、注意力特征提取模块、多尺度特征提取模块、多流多尺度特征融合模块和判别网络模块。
具体方法主要包括以下步骤:
步骤1:将动态场景模糊图像分别送入注意力引导模块和多尺度特征提取模块,从注意力引导模块中得到注意力引导图,从多尺度特征提取模块中得到相应尺度的特征映射图和初步复原图像。
步骤2:将注意力引导模块中输出的注意力引导图,连接最初的模糊图像输入注意力特征提取模块中,从注意力特征提取模块中也得到相应尺度的特征映射图和初步复原图像。
步骤3:将从注意力特征提取模块和多尺度特征提取模块中分别获得的三个尺寸的特征映射图和初步复原图像分别级联,然后分别输入到对应尺寸的多流多尺度融合重构模块中进行特征融合和图像重构。
步骤4:将多流多尺度融合重构模块中最后输出的复原图像和清晰图像送入由五个卷积层组成的判别网络中进行判别,并反向优化网络,得到最终的复原结果。
本发明方法与现有基于深度学习的模糊图像复原方法的区别在于:
1、生成网络的结构不同
本发明中生成网络区别于现有方法主要包括三个点:
第一是采用了注意力引导模块,该模块可以生成一个注意引导图,该引导图在特征提取和去模糊过程中可以聚焦于严重的模糊区域或边缘和纹理结构。这使本发明的方法可以更好地处理模糊程度严重的动态场景模糊。
第二是为了处理复杂的动态场景模糊,提出多流多尺度特征提取策略,该策略通过注意力特征提取模块和多尺度特征提取模块,以及设计的多尺度残差块,来提取多尺度特征,捕获不同类型的模糊信息和更多纹理细节。
第三是为了更好地表征复杂动态场景模糊的特征,提出了一种自适应特征融合门结构,通过设计的门结构在多流多尺度特征融合模块中实现,能够自适应地学习和融合来自不同流的复杂多尺度特征。
2、损失函数的不同
本发明的损失函数主要通过联合优化注意损失函数、多流损失函数、感知损失函数和对抗损失函数来训练本发明提出的多流注意生成对抗网络。损失函数的每一部分都有其特殊的作用。为了更好地处理模糊程度严重的动态场景模糊,利用最小均方差函数定义了注意损失函数来生成更好的注意力引导图。为了每一支流网络更好的提取复杂动态场景模糊的复杂特征,利用最小均方差函数定义了多流损失函数来监督特征提取。感知损失函数可以评估生成的清晰图像与真实的清晰图像特征之间的全局差异。为了约束多流多尺度特征融合模块的最终输出,引入了感知损失函数。为了使生成图像的质量与真实图像难以区分,本发明也引入了对抗损失函数。
综上所述,本发明的优点在于:
相比于现有的动态场景模糊图像复原方法,本发明可以更好的复原模糊程度较大的和复杂的动态场景模糊;复原图像的效率要快于传统的模糊图像复原方法上百倍,也优于目前存在的基于深度学习的模糊图像复原方法。
为了更好的说明本发明的模糊图像复原效率,利用本发明方法与基于传统方法以及深度学习的方法在GoPro数据集上复原尺寸为1280x720的模糊图像,耗时结果如表1所示。
表1.本发明的方法与传统方法在GoPro数据集上测试尺寸为1280x720的图像耗时(秒)对比
本发明方法具有很大的学术意义价值,同时,由于动态场景模糊图像广泛存在于科学研究、社会活动的各个方面,为此,本发明也具有很好的社会经济价值。
附图表说明
图1:提出的多流注意生成对抗网络结构图;
图2:提出的注意力循环模块结构图,其中,(a)图为注意力引导模块,(b)图为注意力模块,(c)图为注意力模块的残差模块;
图3:生成的注意力引导图示例;
图4:(a)为注意力特征提取模块中所用残差模块,(b)为多尺度特征提取模块中所用多尺度残差模块;
图5:中间特征映射图,(a)为输入模糊图像,(b)为注意力特征提取模块所提取的特征,(c)为多尺度特征提取模块所提取的特征,(d)为融合后的特征;
图6:测试图像的复原结果。
表1:本发明的方法与传统的和深度学习的方法在GoPro数据集上测试尺寸为1280x720的图像耗时对比。
具体实施方式
以下将结合附图,以动态场景模糊图像盲复原的整个过程为例,对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
本发明提出的多流注意生成对抗网络模型如图1所示。其中生成网络包括四个部分:注意力引导模块(attentive guidance module,AGM);注意力特征提取模块(attentivefeature extraction Module,AFM);多尺度特征提取模块(multi-scale featureextraction module,MSFM);多流多尺度融合重构模块(multi-stream and multi-scalefeature fusion module,MSFRM);具体模型如下:
如图2所示,本实施例中,注意力引导模块AGM由四个注意模块组成,其中每个注意模块由一个输入层、五个残差模块、一个卷积长短记忆(convolutional long short termmemory,ConvLSTM)单元和一个输出层组成。其中残差模块由两个卷积核大小为3×3的卷积层Conv3×3,两个组归一化层GN和两个激活函数ReLU组成。
为了生成更好的注意力引导图,本实施例在训练生成网络时创建了一个二进制标签M。首先,本实施例里用相应的清晰图像减去模糊退化的图像。然后,为训练数据集中的所有图像设置阈值为β,β为清晰图像像素与模糊图像像素之差的阈值,在本发明中阈值β取为20将大于阈值β的像素设为1,小于阈值β的像素设为0,得到所述二进制标签M。
在每一个注意力模块中,本实施例利用最小均方差函数定义在t时刻注意力引导图At和标签M之间的损失为:
At=ATTt(ft-1,ht-1,gt-1) (1)
其中At是t时刻注意力引导模块生成的引导图。ATTt是t时刻的注意力引导模块。ft-1是输入的模糊图像和上一时刻生成的引导图的连接,当t=1时,是初始化注意力引导图,该初始化注意力引导图的所有像素值为α,在本发明中α取值为0.5。θN-t是不同时刻的权重。如图3所示是本发明提出的注意力引导模块生成的注意力引导图。
本实施例中,注意力特征提取模块AFM由非对称的编码解码结构组成,其中编码器由三个尺度组成,每个尺度包括三个残差模块如图4的(a)所示,和两个步长为2的卷积层。解码器由两个转置卷积层组成,此外跳跃连接用来加速网络收敛和生成更好的结果。
本实施例中,多尺度特征提取模块MSFM也由非对称的编码解码结构组成,其中编码器由三个尺度组成,每个尺度包括三个多尺度残差模块如图4的(b)所示,和两个步长为2的卷积层。解码器由两个转置卷积层组成。多尺度残差块是由4个卷积层组成,卷积核的大小分别为1×1,3×3,5×5用来提取特征和用于特征融合的卷积核的大小为1×1输出层。此外,本实施例用LeakReLU替代ReLU作为激活函数,并且在每个多尺度残差块中采用局部残差学习,提高了网络的效率,降低了网络的复杂度。
在经过以上处理后,将从AFM和MSFM中获得不同尺度的特征,相应尺度连接输入多流多尺度特征融合模块MSFRM。并经设计的自适应特征融合门结构融合。本实施例中,所述三个尺寸的特征映射图,尺寸分别为256×256,128×128,64×64。
多流多尺度特征融合模块MSFRM包括三个尺度门结构、两个转置卷积层、一个卷积层和一个具有Tanh的卷积层。其中,特征融合门结构主要由两个卷积层组成,卷积核尺寸分别为3×3和1×1和3个残差块。自适应特征融合门结构Ggate逐像素混合和其中代表从多尺度特征提取模块提取的三个尺度的特征和代表从注意力特征提取模块提取的三个尺度的特征。自适应特征融合门结构取和作为输入,其中是经转置卷积层获得,仅当i等于1时,该门结构Ggate只取和作为输入。它可以被计算按如下函数:
本实施例主要通过联合优化注意损失函数LATT、多流损失函数LMS、感知损失函数LP和对抗损失函数LGAN来训练本发明提出的网络模型。损失函数被定义为:
L=LATT+LMS+Lp+LGAN (3)
损失函数的每一部分都有其相应的作用,其中注意损失LATT在前面已经说明。为了每一支流网络更好的提取特征,利用最小均方差函数定义了多流损失函数:
其中,IS是清晰图像,IBi是对应支流的复原图像。
感知损失可以评估生成的图像与相应的真实清晰图像特征之间的全局差异。为了约束多流多尺度特征融合模块的最终输出,引入了感知损失,感知损失函数被定义如下:
其中,GθG是生成网络,IB是模糊图像,Φi,j是VGG19网络在第i个最大尺化层之前,从第j个卷积层中获得的特征,Hi,j和Wi,j是特征图的高和宽,本发明使用的是来自VGG3,3卷积层。
为了使生成的高质量图像与真实图像难以区分,引入了对抗损失,对抗损失函数如下:
图6为利用本发明方法对模糊程度严重和复杂的动态场景模糊图像进行盲复原的结果。从中可以看出,本发明方法对于模糊程度较大和模糊情况比较复杂的动态场景模糊,复原出的图像主观效果较好。
以上所述仅为本发明的优选实施例,并不用于限制本发明,显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,步骤如下:
步骤1:将动态场景模糊图像分别送入注意力引导模块和多尺度特征提取模块,从注意力引导模块中得到注意力引导图,从多尺度特征提取模块中得到相应尺度的特征映射图和初步复原图像;
步骤2:将注意力引导模块中输出的注意力引导图,连接最初的模糊图像输入注意力特征提取模块中,从注意力特征提取模块中也得到相应尺度的特征映射图和初步复原图像;
步骤3:将从注意力特征提取模块和多尺度特征提取模块中分别获得的三个尺度的特征映射图和初步去模糊图像分别级联,然后分别输入到对应尺寸的多流多尺度融合重构模块中进行特征融合和图像重构;
步骤4:将多流多尺度融合重构模块中最后输出的复原图像和清晰图像送入由五个卷积层组成的判别网络中进行判别,并反向优化网络,得到最终的复原结果。
2.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述注意力引导模块由四个注意模块组成,每个所述注意模块由一个输入层、五个残差模块、一个卷积长短记忆(convolutional long short term memory,ConvLSTM)单元和一个输出层组成;残差模块由两个卷积核为3×3的卷积层分别跟随组归一化层和激活函数层组成;在每一个注意力模块中,利用最小均方差函数定义在t时刻注意力引导图At和标签M之间的注意力损失函数为:
At=ATTt(ft-1,ht-1,gt-1)
其中At是t时刻注意力引导模块生成的引导图,ATTt是t时刻的注意力引导模块,ft-1是输入的模糊图像和上一时刻生成的引导图的连接,当t=1时,是初始化注意力引导图,该初始化注意力引导图的所有像素值为α,在本发明中α取值为0.5,θN-t是不同时刻的权重。
3.根据权利要求2所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述标签M是在生成注意力引导图时创建的一个二进制标签,方法是首先用清晰图像减去模糊图像的到一个残差标签;然后,为训练数据集中的所有图像设置阈值为β,β为清晰图像像素与模糊图像像素之差的阈值,将大于阈值β的像素设为1,小于阈值β的像素设为0,得到所述二进制标签M。
4.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述多尺度特征提取模块由非对称的编码解码结构组成,其中编码器由三个尺度组成,每个尺度包括三个多尺度残差模块和两个步长为2的卷积层,解码器由两个转置卷积层组成;所述多尺度残差块是由四个卷积层组成,卷积核的大小分别为1×1,3×3,5×5用来提取特征和用于特征融合的卷积核大小为1×1输出层。
5.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,在所述多尺度特征提取模块用LeakReLU替代ReLU作为激活函数,并且在每个多尺度残差块中采用局部残差学习。
6.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述步骤3的多流多尺度特征融合模块包括三个尺度的自适应特征融合门结构Ggate、两个转置卷积层、一个卷积层和一个具有Tanh的卷积层;其中,所述自适应特征融合门结构Ggate主要由两个卷积层组成,卷积核尺寸分别为3×3和1×1和3个残差块;自适应特征融合门结构Ggate逐像素混合和其中,代表从多尺度特征提取模块中提取的三个尺度的特征,代表从注意力特征提取模块中提取的三个尺度的特征;所述自适应特征融合门结构取和作为输入,其中是经转置卷积层获得,仅当i等于1时,自适应特征融合门结构Ggate只取和作为输入,按如下函数计算:
7.根据权利要求1或6所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述三个不同尺度的特征映射图的尺寸分别为256×256,128×128,64×64。
8.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法,其特征在于,所述步骤4中反向优化网络是通过联合优化注意损失函数LATT、多流损失函数LMS、感知损失函数LP和对抗损失函数LGAN来训练提出的多流注意生成对抗网络,损失函数被定义为:
L=LATT+LMS+Lp+LGAN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911216879.2A CN110969589B (zh) | 2019-12-03 | 2019-12-03 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911216879.2A CN110969589B (zh) | 2019-12-03 | 2019-12-03 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969589A true CN110969589A (zh) | 2020-04-07 |
CN110969589B CN110969589B (zh) | 2023-06-02 |
Family
ID=70032791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911216879.2A Active CN110969589B (zh) | 2019-12-03 | 2019-12-03 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969589B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及*** |
CN111753572A (zh) * | 2020-05-14 | 2020-10-09 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于深度学习的复杂背景低质量二维条码检测方法 |
CN111950346A (zh) * | 2020-06-28 | 2020-11-17 | 中国电子科技网络信息安全有限公司 | 一种基于生成式对抗网络的行人检测数据扩充方法 |
CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
CN112241939A (zh) * | 2020-10-15 | 2021-01-19 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
CN113205468A (zh) * | 2021-06-01 | 2021-08-03 | 桂林电子科技大学 | 一种基于自注意力机制和gan的水下图像实时复原模型 |
CN113379655A (zh) * | 2021-05-18 | 2021-09-10 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
CN113436118A (zh) * | 2021-08-10 | 2021-09-24 | 安徽工程大学 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
CN113506226A (zh) * | 2021-07-06 | 2021-10-15 | 杭州电子科技大学 | 运动模糊复原方法及*** |
CN114331903A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种图像修复方法及存储介质 |
CN114358246A (zh) * | 2021-12-27 | 2022-04-15 | 东北林业大学 | 三维点云场景的注意力机制的图卷积神经网络模块 |
CN116862800A (zh) * | 2023-07-11 | 2023-10-10 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020917A (zh) * | 2012-12-29 | 2013-04-03 | 中南大学 | 一种基于显著性检测的中国古代书法绘画图像复原方法 |
EP2683169A2 (en) * | 2012-07-03 | 2014-01-08 | Woodman Labs, Inc. | Image blur based on 3D depth information |
CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
CN109919871A (zh) * | 2019-03-05 | 2019-06-21 | 重庆大学 | 基于图像和模糊核混合约束的模糊核估计方法 |
-
2019
- 2019-12-03 CN CN201911216879.2A patent/CN110969589B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2683169A2 (en) * | 2012-07-03 | 2014-01-08 | Woodman Labs, Inc. | Image blur based on 3D depth information |
CN103020917A (zh) * | 2012-12-29 | 2013-04-03 | 中南大学 | 一种基于显著性检测的中国古代书法绘画图像复原方法 |
CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
CN109919871A (zh) * | 2019-03-05 | 2019-06-21 | 重庆大学 | 基于图像和模糊核混合约束的模糊核估计方法 |
Non-Patent Citations (5)
Title |
---|
JIAWEI ZHANG 等: "Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
JINKAI CUI 等: "Multi-width Activation and Multiple Receptive Field Networks for Dynamic Scene Deblurring", 《PROCEEDINGS OF THE ELEVENTH ASIAN CONFERENCE ON MACHINE LEARNING》 * |
JINKAI CUI: "Multi-stream attentive generative adversarial network for dynamic scene deblurring", 《NEUROCOMPUTING》 * |
吴梦婷等: "双框架卷积神经网络用于运动模糊图像盲复原", 《计算机辅助设计与图形学学报》 * |
崔金凯: "基于深度神经网络的动态场景图像去模糊方法研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753572A (zh) * | 2020-05-14 | 2020-10-09 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于深度学习的复杂背景低质量二维条码检测方法 |
CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及*** |
CN111709895B (zh) * | 2020-06-17 | 2023-05-16 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及*** |
CN111950346A (zh) * | 2020-06-28 | 2020-11-17 | 中国电子科技网络信息安全有限公司 | 一种基于生成式对抗网络的行人检测数据扩充方法 |
CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
CN112241939B (zh) * | 2020-10-15 | 2023-05-30 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
CN112241939A (zh) * | 2020-10-15 | 2021-01-19 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
CN112614072B (zh) * | 2020-12-29 | 2022-05-17 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
CN113379655A (zh) * | 2021-05-18 | 2021-09-10 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
CN113379655B (zh) * | 2021-05-18 | 2022-07-29 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
CN113205468A (zh) * | 2021-06-01 | 2021-08-03 | 桂林电子科技大学 | 一种基于自注意力机制和gan的水下图像实时复原模型 |
CN113506226A (zh) * | 2021-07-06 | 2021-10-15 | 杭州电子科技大学 | 运动模糊复原方法及*** |
CN113506226B (zh) * | 2021-07-06 | 2024-05-31 | 杭州电子科技大学 | 运动模糊复原方法及*** |
CN113436118B (zh) * | 2021-08-10 | 2022-09-27 | 安徽工程大学 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
CN113436118A (zh) * | 2021-08-10 | 2021-09-24 | 安徽工程大学 | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 |
CN114358246A (zh) * | 2021-12-27 | 2022-04-15 | 东北林业大学 | 三维点云场景的注意力机制的图卷积神经网络模块 |
CN114331903A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种图像修复方法及存储介质 |
CN116862800A (zh) * | 2023-07-11 | 2023-10-10 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
CN116862800B (zh) * | 2023-07-11 | 2024-01-30 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110969589B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969589A (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
Ullah et al. | Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing | |
Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
Zhou et al. | Spatio-temporal filter adaptive network for video deblurring | |
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
Tran et al. | GAN-based noise model for denoising real images | |
Son et al. | Urie: Universal image enhancement for visual recognition in the wild | |
Anvari et al. | Dehaze-GLCGAN: unpaired single image de-hazing via adversarial training | |
CN108510451A (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
Wang et al. | Deep single image deraining via modeling haze-like effect | |
CN109871790B (zh) | 一种基于混合神经网络模型的视频去色方法 | |
Kim et al. | Event-guided deblurring of unknown exposure time videos | |
Guo et al. | Joint raindrop and haze removal from a single image | |
CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、***及设备 | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
CN109598695B (zh) | 一种基于深度学习网络的无参考图像模糊程度估计方法 | |
CN111325671B (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
Frants et al. | QSAM-Net: Rain streak removal by quaternion neural network with self-attention module | |
CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊***及其方法 | |
CN114022392A (zh) | 用于单幅图像去雾的串行注意增强UNet++去雾网络 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |