CN108230278B - 一种基于生成对抗网络的图像去雨滴方法 - Google Patents

一种基于生成对抗网络的图像去雨滴方法 Download PDF

Info

Publication number
CN108230278B
CN108230278B CN201810157009.1A CN201810157009A CN108230278B CN 108230278 B CN108230278 B CN 108230278B CN 201810157009 A CN201810157009 A CN 201810157009A CN 108230278 B CN108230278 B CN 108230278B
Authority
CN
China
Prior art keywords
network
error
image
training
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810157009.1A
Other languages
English (en)
Other versions
CN108230278A (zh
Inventor
曾坤
郭浩翀
林谋广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201810157009.1A priority Critical patent/CN108230278B/zh
Publication of CN108230278A publication Critical patent/CN108230278A/zh
Application granted granted Critical
Publication of CN108230278B publication Critical patent/CN108230278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于生成对抗网络的图像去雨滴方法。该方法主要通过构建生成对抗网络,利用深度去雨算法,提供一种更加高效显著的图像去雨方法,在实际使用中只需要把图片输入生成式网络中,通过一次前向传播即可得到结果图片,相比起传统的图像处理方法会有更高效的效果,此外,在模型中引入特征空间上的感知相关性,可以调整部分去雨效果的细节,使得生成的图像更加清晰直观,在图像增强方面可以提供更好的效果。

Description

一种基于生成对抗网络的图像去雨滴方法
技术领域
本发明涉及图像滤波技术领域、机器学习领域,具体涉及一种基于生成对抗网络的图像去雨滴方法。
背景技术
随着近年来智能手机的高速发展,越来越多人使用手机进行外景的拍摄。而在外景拍摄的时候经常会由于雨天的原因,所拍摄的图片时常会带有一些雨滴或者雨丝在场景之中。因此,要得到更加清晰的图像,需要对图像进行一定的处理。随着近年来计算机的发展以及深度学习的不断研究,使用更有效的深度学习方法来解决传统的研究问题显得更加的有效可行。
卷积神经网络(CNN)是多层感知机(MLP)的变种,CNN在传统样本上的表现并没有MLP那样出色,但是在图像样本上的效果比较优秀,并且对比起传统的一维数据样本作为输入的做法,CNN可以使图像直接作为网络的数据,避免了一些需要进行特征提取和部分数据处理的操作。CNN使用卷积核对上层输出进行卷积操作,可以自行提取上层输出的特征图片,包括一些颜色、纹理、形状上的抽象结构;特别是在位移、缩放以及其他扭曲不变性的问题上具有良好的鲁棒性。
生成对抗网络(GAN)是于2014年提出的一种训练模型的方法,该方法通过两个模型(生成式网络G和判别式网络D)之间的对抗训练,参考了博弈论里面的MinMax问题的思路,最终使得两个模型的效果均会有所提高。GAN的目标,给定一个真实样本分布的集合,根据该集合不断迭代训练生成器G和判别器D,最终使得生成器G可以从噪声信号生成尽可能符合真实样本分布的样本,而判别器D可以从样本的分布判别该样本是否符合真实样本的分布。
感知相关性于2016年提出,主要贡献在于提出了一种新的度量,有助于使GAN产生清晰图像。其方法是将通常在原始像素空间的损失度量替换为在特征空间的损失度量。在训练GAN时,除了原始GAN中的对抗训练损失,额外加入了两个损失项,共计三个损失项,分别为:特征空间损失、对抗损失、像素空间损失。
图像去雨方法主要有:使用单个卷积神经网络进行图像去雨,具体步骤为:1)获取清晰图像以及人工加雨图像,构建图像库;2)设计卷积神经网络;3)使用图像库中的清晰-带雨图像对,对所设计的卷积神经网络进行训练;4)训练一定轮数,获得训练好的卷积神经网络;5)把带雨图像输入到训练好的卷积神经网络中,得到对应的清晰图像。
但使用上述技术所生成的图片的效果会有部分缺陷,特别在背景和雨滴相似的部分,往往会有所失真。
发明内容
本发明的目的是克服现有方法的不足,提出了一种基于生成对抗网络的图像去雨滴方法。本发明通过构建生成对抗网络,利用深度去雨算法,提供一种更加高效显著的图像去雨方法,在实际使用中只需要把图片输入生成式网络中,通过一次前向传播即可得到结果图片,相比起传统的图像处理方法会有更高效的效果,此外,在模型中引入特征空间上的感知相关性,可以调整部分去雨效果的细节,使得生成的图像更加清晰直观,在图像增强方面可以提供更好的效果。
为了解决上述问题,本发明提出了一种基于生成对抗网络的图像去雨滴方法,所述方法包括:
从数据库中获取外景图片集;
图像预处理,为所获取到的外景图片集加入下雨效果,构建训练集和测试集;
构建生成式网络,其输入为带雨场景图像,输出为清晰场景图像;
根据像素空间上的误差训练生成式网络;
加入特征空间上的误差再次训练生成式网络;
构建判别式网络,其输入为真实样本或者由生成器生成的样本,输出为真或假的单个标识;
把判别式网络加入到模型之中,采用误差反向传播算法训练所述的生成式网络;
将测试集中的带雨场景图输入训练好的生成式网络中,输出为对应的清晰场景图像。
优选地,所述加入特征空间上的误差再次训练生成式网络,具体为:
引入已经训练好的比较器网络,把生成的清晰图片和实际的清晰图片分别输入到比较器网络中,分别获取两者在比较器网络中的特征图,计算两张特征图之间的欧氏距离,作为特征空间上的误差。结合像素空间上的误差与特征空间上的误差作为总体误差,采用误差反向传播算法训练所述的生成式网络。
在本发明实施例中,提出了一种基于生成对抗网络的图像去雨滴方法。本发明通过构建生成对抗网络,利用深度去雨算法,提供一种更加高效显著的图像去雨方法,在实际使用中只需要把图片输入生成式网络中,通过一次前向传播即可得到结果图片,相比起传统的图像处理方法会有更高效的效果,此外,在模型中引入特征空间上的感知相关性,可以调整部分去雨效果的细节,使得生成的图像更加清晰直观,在图像增强方面可以提供更好的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例的整体流程图;
图2是本发明实施例的生成式网络G的结构图;
图3是本发明实施例的判别式网络D的结构图;
图4是本发明实施例的整体示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例的整体流程图,如图1所示,该方法包括:
S1,从数据库中获取外景图片集;
S2,图像预处理,为所获取到的外景图片集加入下雨效果,构建训练集和测试集;
S3,构建生成式网络,其输入为带雨场景图像,输出为清晰场景图像;
S4,根据像素空间上的误差训练生成式网络;
S5,加入特征空间上的误差再次训练生成式网络;
S6,构建判别式网络,其输入为真实样本或者由生成器生成的样本,输出为真或假的单个标识;
S7,把判别式网络加入到模型之中,采用误差反向传播算法训练所述的生成式网络;
S8,将测试集中的带雨场景图输入训练好的生成式网络中,输出为对应的清晰场景图像。
步骤S1具体为从SUN数据库中获取1000张外景图片。
步骤S2,具体如下:
S21,使用PS软件,使用构建动态模糊滤镜的方法,分别设置模糊的角度为75度、80度、90度、100度、105度;距离为30像素、50像素;一共构建10种模仿不同下雨效果的滤镜。
S22,为每一张外景图分别添加S21中所描述的滤镜,每一张图片对应10张带雨效果的图片,共组成10000对清晰-模糊对;随机抽取8000对图片,生成约300万对32x32大小的带雨-清晰对块,作为训练集;剩下的2000张图片作为预测集评价网络。
步骤S3,具体如下:
如图2所示,构建生成式网络,由24个残差块卷积单元组成,其输入为带雨场景图像,输出为清晰场景图像;整个网络一共由24个块组成,其中每一个块里面包括了卷积层、批规范化层(Batch Normalization,BN)和Swish层;由于输入的图像为彩色图像,所以第一层的卷积核大小为7x7x3,卷积步长为1,共有16个卷积核生成16张输出;第2~23层的卷积核大小为3x3x16,卷积步长为1,共有16个卷积核生成16张输出;而最后一层的卷积核大小为3x3x3,卷积步长为1,共有3个卷积核生成3张输出;其中第N+1层的输出为第N+1块的输出加上N-1块的输出(N>=2)。
步骤S4,具体如下:
训练生成式网络,采用误差反向传播算法,使用图像在像素空间上的欧氏距离作为误差,训练S3中所描述的神经网络;学习率设置为0.1,每批输入40张图片,以20万次迭代作为一个完整的训练,初步训练生成式网络。
其中,像素空间上的误差L1,采用均方误差(Mean Squared Error,MSE),具体公式如下:
Figure BDA0001581733750000061
其中,θg为S3中所构建模型中的参数,G为该模型的映射方程,Xi为第i张带雨图片,Yi为对应的清晰图片,n为训练样本的总数,因此L1所计算的为通过模型所生成的去雨图片Gθg(Xi)与真实图片Yi之间的欧氏距离平方之和,通过反向传播方法最小化这个误差去优化模型。
其中,反向传播使用基于标准反向传播的随机梯度下降,权重矩阵通过以下表达式进行更新:
Figure BDA0001581733750000071
Figure BDA0001581733750000072
其中,l为层数,i为迭代轮数,η为学习率,
Figure BDA0001581733750000073
为梯度。
采用上述的方案,可以使生成器模型初步生成一张去雨的图片。
步骤S5,具体如下:
S51,模型引入已经训练好的VGG19网络作为比较器网络,把生成的清晰图片和实际的清晰图片分别输入到VGG19网络中,并且分别获取两者在VGG19网络中在第2个最大池化层之前的第2张特征图,计算两张特征图之间的欧氏距离,作为特征空间上的误差。
特征空间上的误差,具体计算方法如下:
比较器模型使用已经训练好的VGG19模型,分别把由生成器生成的图片Gθg(Xi)和对应的清晰图片Yi输入到比较器模型中,获取中间层输出的特征图,计算两者之间的欧氏距离均方误差,公式如下:
Figure BDA0001581733750000074
其中函数φ为图片所对应的特征图,其他参数与S4中的像素空间上的误差中的参数相同。
S52,结合S4中提到的像素空间上的误差与S5中的特征空间上的误差作为总体误差,采用误差反向传播算法训练所述的卷积神经网络生成器,迭代一定轮数优化卷积神经网络生成器;特征空间上误差的权重设置为0.1,采用反向传播的方法训练生成式网络,以20万次迭代再次训练生成式网络。
具体地,模型的总体误差为:
L=L11·L2
其中λ1为模型总体误差中关于特征空间上误差的权重。根据上述总体误差,在S4已经经过训练的模型上,再次使用基于标准反向传播的随机梯度下降方法进行梯度下降,更新生成器模型中的网络参数。
采用上述的优选方案,可以使得生成器模型所生成的图片在细节上更加接近自然图像。
步骤S6,具体如下:
如图3所示,构建判别式网络,输入为真实样本或者由生成器生成的样本,输出为单个标识,取值为真或假;整个网络前面由四个卷积块组成,其中每一个块里面包括了卷积层、批规范化层(Batch Normalization,BN)和Swish层;输入的图像为32x32的生成图像或者真实图像,第一层的卷积核大小为5x5x3,卷积步长为2,共有128个卷积核生成128张输出;第二层的卷积核大小为3x3x128,卷积步长为2,共有512个卷积核生成512张输出;第三层的卷积核大小为3x3x512,卷积步长为2,共有1024个卷积核生成1024张输出;接着连接一个1024维输出的全连接层,Leaky ReLU层;再连接一个一维的全连接层和sigmoid得到输出。
步骤S7,具体如下:
把判别式网络加入到模型之中,模型总体如图4所示。以生成式网络与判别式网络之间的对抗误差作为新的误差项,结合到S5中的总体误差之中,采用误差反向传播算法训练所述的卷积神经网络生成器;
S71,每轮训练先固定生成式网络参数,训练判别式网络。每批输入20张生成清晰图片作为负样本,20张真实清晰图片作为正样本,采用误差反向传播算法,以1万轮迭代作为一次完整的训练,训练生成式网络。
S72,固定判别式网络参数,训练生成式网络。加入判别式网络所带来的对抗误差到生成式网络的总体误差之中,采用反向传播的方法训练生成式网络,以1万次迭代训练生成式网络;
S73,重复S71和S72两个步骤共10轮。
其中,所描述的对抗误差,具体计算方法如下:
对于新添加的判别式网络D,输入为真实样本或者生成样本,训练目标为:当输入为真实样本时,网络输出为1;当输入为生成样本时,网络输出为0。因此对抗误差的表达式如下:
Figure BDA0001581733750000091
其中θd为判别式网络D的参数;对于生成式网络G希望上式的值越小越好,则表示生成式网络G所生成的图片与真实的清晰图像更加接近;对于判别式网络D希望上式的值越大越好,则表示判别式网络能更准确地分辨生成的图片和真实的图片。
根据生成对抗网络的训练过程,由于生成式网络G在步骤S4和S5中已经过一定训练,因此先锁定生成式网络G的参数,使用随机梯度下降的方法训练判别式网络D;训练一定次数后,锁定判别式网络D的参数,结合S5中的总体误差,使用随机梯度下降的方法,再次训练生成式网络G。
步骤S7可以使得模型最终生成与自然图片较为相似的图片。
在本发明实施例中,提出了一种基于生成对抗网络的图像去雨滴方法。本发明通过构建生成对抗网络,利用深度去雨算法,提供一种更加高效显著的图像去雨方法,在实际使用中只需要把图片输入生成式网络中,通过一次前向传播即可得到结果图片,相比起传统的图像处理方法会有更高效的效果,此外,在模型中引入特征空间上的感知相关性,可以调整部分去雨效果的细节,使得生成的图像更加清晰直观,在图像增强方面可以提供更好的效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于生成对抗网络的图像去雨滴方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于生成对抗网络的图像去雨滴方法,其特征在于,所述方法包括:
从数据库中获取外景图片集;
图像预处理,为所获取到的外景图片集加入下雨效果,构建训练集和测试集;
构建生成式网络,其输入为带雨场景图像,输出为清晰场景图像;
根据像素空间上的误差训练生成式网络;
加入特征空间上的误差再次训练生成式网络;
构建判别式网络,其输入为真实样本或者由生成器生成的样本,输出为真或假的单个标识;
把判别式网络加入到模型之中,采用误差反向传播算法训练所述的生成式网络;
将测试集中的带雨场景图输入训练好的生成式网络中,输出为对应的清晰场景图像。
2.如权利要求1所述的一种基于生成对抗网络的图像去雨滴方法,其特征在于,所述加入特征空间上的误差再次训练生成式网络,具体为:
引入已经训练好的比较器网络,把生成的清晰图片和实际的清晰图片分别输入到比较器网络中,分别获取两者在比较器网络中的特征图,计算两张特征图之间的欧氏距离,作为特征空间上的误差- , 结合像素空间上的误差与特征空间上的误差作为总体误差,采用误差反向传播算法训练所述的生成式网络。
CN201810157009.1A 2018-02-24 2018-02-24 一种基于生成对抗网络的图像去雨滴方法 Active CN108230278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810157009.1A CN108230278B (zh) 2018-02-24 2018-02-24 一种基于生成对抗网络的图像去雨滴方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810157009.1A CN108230278B (zh) 2018-02-24 2018-02-24 一种基于生成对抗网络的图像去雨滴方法

Publications (2)

Publication Number Publication Date
CN108230278A CN108230278A (zh) 2018-06-29
CN108230278B true CN108230278B (zh) 2021-08-06

Family

ID=62662141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810157009.1A Active CN108230278B (zh) 2018-02-24 2018-02-24 一种基于生成对抗网络的图像去雨滴方法

Country Status (1)

Country Link
CN (1) CN108230278B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360156B (zh) * 2018-08-17 2020-08-28 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN109472757B (zh) * 2018-11-15 2020-06-09 央视国际网络无锡有限公司 一种基于生成对抗神经网络的图像去台标方法
CN109760635B (zh) * 2019-01-08 2020-11-27 同济大学 一种基于gan网络的线控雨刷控制***
CN109886975A (zh) * 2019-02-19 2019-06-14 武汉大学 一种基于生成对抗网络的图像优化处理去雨滴方法和***
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110163813B (zh) * 2019-04-16 2022-02-01 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110189272B (zh) * 2019-05-24 2022-11-01 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备和存储介质
CN110363793B (zh) * 2019-07-24 2021-09-21 北京华捷艾米科技有限公司 一种对象的跟踪方法及装置
CN110533581B (zh) * 2019-08-12 2023-05-02 广东工业大学 一种基于雨滴概率图的雨滴消除方法、***和存储介质
CN112581377B (zh) * 2019-09-30 2024-06-11 上海商汤临港智能科技有限公司 图像处理方法、装置和电子设备
CN117422689B (zh) * 2023-10-31 2024-05-31 南京邮电大学 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089078A1 (en) * 2007-09-28 2009-04-02 Great-Circle Technologies, Inc. Bundling of automated work flow
CN106204499B (zh) * 2016-07-26 2019-05-24 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attentive Generative Adversarial Network for Raindrop Removal from A Single Image;Rui Qian等;《arxiv.org/abs/1711.10098v1,Computer Vision and Pattern Recognition》;20171128;第1-9页 *
Context-Aware Semantic Inpainting;Haofeng Li等;《Computer Vision and Pattern Recognition》;20171221;摘要,第1-5页 *

Also Published As

Publication number Publication date
CN108230278A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN105930382A (zh) 一种用2d图片搜索3d模型的方法
CN107103285B (zh) 基于卷积神经网络的人脸深度预测方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN108805151B (zh) 一种基于深度相似性网络的图像分类方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN113269224B (zh) 一种场景图像分类方法、***及存储介质
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN111985487B (zh) 一种遥感影像目标提取方法、电子设备及存储介质
CN111914904B (zh) 一种融合DarkNet与CapsuleNet模型的图像分类方法
CN117576402A (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN117197451A (zh) 基于域自适应的遥感图像语义分割方法及装置
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant