CN111738939B - 一种基于半训练生成器的复杂场景图像去雾方法 - Google Patents

一种基于半训练生成器的复杂场景图像去雾方法 Download PDF

Info

Publication number
CN111738939B
CN111738939B CN202010490188.8A CN202010490188A CN111738939B CN 111738939 B CN111738939 B CN 111738939B CN 202010490188 A CN202010490188 A CN 202010490188A CN 111738939 B CN111738939 B CN 111738939B
Authority
CN
China
Prior art keywords
image
training
defogging
information
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010490188.8A
Other languages
English (en)
Other versions
CN111738939A (zh
Inventor
王野
孙亮
葛宏伟
谭国真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010490188.8A priority Critical patent/CN111738939B/zh
Publication of CN111738939A publication Critical patent/CN111738939A/zh
Application granted granted Critical
Publication of CN111738939B publication Critical patent/CN111738939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于半训练生成器的复杂场景图像去雾方法,属于应用于复杂环境的图像去雾领域,包括训练过程和使用过程。训练过程中,首先,使用CycleGAN网络在任意图像去雾数据集上进行训练,每训练50次输出一个实时去雾图像并保存当前模型,训练到2000次结束;其次,重复上述过程十次;最后,在保存的效果图中选取去雾效果最好并且没有颜色信息的无雾灰度图像,将其对应的保存模型中的生成器G作为最终的草图模块。使用时,将任何场景的有雾图像输入草图模块中,均可输出去雾后的灰度图像。本发明应用范围不局限于训练的数据集,该方法具有极强的适应性、可视性和真实性,能够应用到任何场景中,且能够帮助智能***在受到浓雾影响的环境中也能发挥一定的效能。

Description

一种基于半训练生成器的复杂场景图像去雾方法
技术领域
本发明属于应用于复杂环境的图像去雾领域,涉及一种基于半训练生成器的图像转换类单图像去雾方法,图像去雾技术可以帮助智能***在有雾的天气条件下也能够正常的运行,但是目前的图像去雾技术在很少能够应对多种场景,只能应用于固定的几种环境中。
背景技术
在计算机视觉领域,图像的质量对目标检测、图像识别等任务的完成效果影响巨大。然而,现实应用环境中获取到的图像常常受到空气中悬浮物的影响(雾、霾、粉尘等)。这些影响会使图像模糊不清,最终导致难以提取图像的有效特征。研究图像去雾技术可以使被雾影响的图像恢复成近似无雾状态的图像,使自动驾驶***、监控***、目标识别***等智能***能够在雾霾等恶劣天气下正常运转。因此,如何实现高效的图像去雾已成为计算机视觉领域研究的一项重要内容。而对于需要部署在多种环境的智能***,要求图像去雾算法能够同时应对各种各样的环境,这对算法的研究是另一个巨大的挑战。
当前的单图像去雾算法大致可成为三类,一类是基于图像增强的去雾算法,第二类是基于大气散射模型的算法,第三类是基于图像转换的去雾算法。基于图像增强的去雾算法主要依靠通用的图像增强技术,增强人们感兴趣的内容,抑制其他内容来提高图像的可视性,没有针对雾的特性进行处理,所以经常出现色彩失真、过饱和等现象,反而造成了不好的影响,去雾效果也不够好。而基于大气散射模型的去雾算法由于使用的物理模型进行图像退化还原,真实性比较高,效果也要好于图像增强的方法。其中基于先验理论的方法由于存在场景的局限性,同时对于图像中景深突变处的边缘处理的不够理想,效果不能完全令人满意。而基于三维模型和深度学习的方法能达到的效果目前是最好的,但是需要依赖大型标准数据集,而这种数据集在真实环境中是极难获取的,所以被局限于实验室环境,适应性比较差。基于图像转换的方法依托CycleGAN框架解决了深度学习对于数据集依赖的问题,具有很好地适应性,具有非常好的工程实用价值。
自2017年,Zhu等人提出的CycleGAN(Zhu J Y,Park T,Isola P,et al.UnpairedImage-to-Image Translation using Cycle-Consistent Adversarial Networks[J].2017.)网络之能够使训练不需要成对的数据,研究者们基于CycleGAN网络框架提出了一些去雾算法。Engin提出的Cycle-Dehaze(Engin D,
Figure BDA0002520773440000011
A,Kemal Ekenel H.Cycle-dehaze:Enhanced CycleGAN for single image dehazing[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition Workshops.2018:825-833.)在CycleGAN基础上增加循环感知损失,并在输出图像后利用拉普拉斯变换放大图像得到高清去雾图像。Cycle-Dehaze的循环感知损失是利用vgg16(Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale ImageRecognition[J].Computer Science,2014.)将输入图像和重建图像做高维特征转换,再将高维向量进行方差计算,获得另一种循环损失约束。Yang(Yang X,Xu Z,Luo J.Towardsperceptual image dehazing by physics-based disentanglement and adversarialtraining[C]//Thirty-second AAAI conference on artificial intelligence.2018.)通过多尺度的鉴别器损失增强网络的鉴别性能,提升训练效果,对CycleGAN进行了增强。同Yang思想类似,Zhao(Zhao J,Zhang J,Li Z,et al.DD-CycleGAN:unpaired imagedehazing via double-discriminator cycle-consistent generative adversarialnetwork[J].Engineering Applications of Artificial Intelligence,2019,82:263-271.)直接使用双鉴别器结构进行强化训练,同样获得了很好的效果。
但是这些方法都是通过增强CycleGAN的通用性能来增强去雾的效果,没有针对雾的特性进行研究,有些图像的雾的特征比较难以区分,模型对于图像的解析不够充分,无法完全将雾从图像中分离出来,在图像转换中受到残余雾信息的干扰,去雾的效果不是特别理想,而且,仍然需要对相应的场景进行训练后才能进行很好地图像去雾工作。
发明内容
针对目前的方法实用性不够好,且很难满足同时应对各种环境的需要,本发明提供一种基于半训练生成器的复杂场景图像去雾方法,基于半训练色彩剥离去雾网络(SemiTraining Color Stripping DehazeNet,STCSDN)实现,STCSDN依托经典CycleGAN网络,通过新的训练的策略来完成去雾任务。STCSDN主要依赖卷积神经网络去雾过程中的两条重要性质,一是卷积神经网络对轮廓及阴影信息的学习速度比对颜色信息和内容信息的学习速度快,二是STCSDN对雾的浓度不敏感。基于性质一,通过对循环对抗网络进行不充分训练,得到半训练的生成器作为STCSDN的草图模块。草图模块可以从有雾的彩色图像提取出无雾的灰度图像,这种灰度图像仅包含图像的轮廓和阴影信息,舍弃了原有被雾信息干扰的颜色信息。由于草图模块没有学习到图像的具体内容,所以应用范围不局限于训练的数据集。因此该方法具有极强的适应性、可视性和真实性,在任一数据集上训练好的草图模块能够应用到任何其他场景中,有利于智能***同时在多种场景中进行部署和使用。基于性质二,草图模块可以从几乎遮盖住场景的浓雾中,将图像了轮廓等信息提取出来,获得具有使用价值的无雾灰度图像,帮助智能***在受到浓雾影响时也能发挥一定的效能。
为了达到上述目的,本发明采用的技术方案为:
一种基于半训练生成器的色彩剥离单图像去雾方法,该方法通过一种全新的训练策略对传统的CycleGAN网络进行模型训练,得到一个能够适应任何场景的图像去雾模型,包括训练过程和使用过程,包括如下步骤:
训练过程,对循环对抗网络进行不充分训练,得到草图模块:
步骤1:使用经典CycleGAN网络在任意图像去雾数据集上进行训练;
步骤2:在训练过程中,每训练50次输出一个实时去雾图像并保存当前模型;
步骤3:训练到一定次数结束;单次训练过程中所述训练次数为网络开始学习颜色信息的次数,通常为2000次;
步骤4:重复步骤1-步骤3多次;训练过程中所述重复次数越多,越容易获得效果较好的模型,通常为10次;
步骤5:在保存的效果图中选取去雾效果最好并且没有颜色信息的无雾灰度图像,将其对应的保存模型中的生成器G作为最终的草图模块;所述草图模块没有学习到图像的具体内容,其应用范围不局限于训练过程中的数据集,能够应用到任何其他场景中,且草图模块能够从几乎遮盖住场景的浓雾中,将图像轮廓、阴影信息提取出来,获得具有使用价值的无雾灰度图像。
使用过程,训练过程得到的草图模块能够从有雾的彩色图像提取出无雾的灰度图像:
步骤1:将任何场景(不局限于训练集所属的场景)的有雾图像输入草图模块中,都可以输出去雾后的灰度图像,所述灰度图像仅包含图像的轮廓和阴影信息,能够舍弃原有被雾信息干扰的颜色信息。
本发明训练CycleGAN网络及相似网络的方式为不充分训练,通过选取仅训练几百次左右的模型作为最终的去雾模型,该模型具有以下特点:输出的图像仅包含原有雾图像中景物的轮廓信息、阴影信息等初级信息,不存在雾与颜色信息等高级信息;由于模型只学习到轮廓信息等低级的共性的信息,所以对不属于训练数据集的场景的图像也能进行轮廓等信息的识别,并得到去雾的灰度图像。
本发明的有益效果:半训练生成器的色彩剥离单图像去雾方法能够输出灰度去雾图像。灰度去雾图像包含原有图像的轮廓、阴影和明暗等信息,能够使人眼以及智能处理***识别出原有图像中的内容。这种方法提取的图像保留了图像的真实的信息,最大化的突出了场景中可见的景物。由于草图模块只对图像中最基本的轮廓等信息进行操作,没有对内容的高级知识做出反应,在单一场景上训练好的草图模块能够适用于任何场景上,能够应对复杂多变的环境和同时在各种场景下的部署要求。由于草图对雾的浓度不敏感,使得本方法可以从几乎遮盖住场景的浓雾中,将图像了轮廓等信息提取出来,获得具有使用价值的灰度图像,帮助智能***在受到浓雾影响的环境中也能发挥一定的效能。
附图说明
图1为本发明的STCSDN网络框架图;
图2为模型保存策略示意图;
图3为模型筛选策略示意图;
图4为模型去雾流程示意图;
图5为STCSDN去雾效果展示图;
图6为STCSDN浓雾场景去雾效果展示图。
具体实施方式
本发明提供一种基于半训练生成器的复杂场景图像去雾方法。所论述的具体实施例仅用于说明本发明的实现方式,而不限制本发明的范围。下面结合附图对本发明的实施方式进行详细说明。
一种基于半训练生成器的色彩剥离单图像去雾方法,本发明的总体框架基于CycleGAN网络,如图1所示,通过一个CycleGAN网络对去雾数据集进行不充分训练获得,用于提取图像的线条、阴影及明暗信息,获取不含有颜色信息的灰度图像。该灰度图像仅通过轮廓信息来描述原图中的内容,类似于绘画中的草图,因此我们称该模块为草图模块。具体如下:
(1)训练过程,对循环对抗网络进行不充分训练,得到草图模块:
网络训练过程:使用如图1所示,采用传统的CycleGAN网络,在任一图像去雾领域的数据集上进行训练,参数使用默认的CycleGAN参数,生成器G将有雾图像转换成无雾图像,生成器F将无雾图像转换成有雾图像。训练流程如图2所示,每经过50次训练,输出一个实时的无雾图像,并保存当前模型,训练到2000次迭代终止训练。重复训练10组CycleGAN得到400个无雾图像和对应的模型。
模型筛选过程:如图3所示,在保存的效果图中人为选取去雾效果最好并且没有颜色信息的无雾灰度图像,将其已保存的对应模型的生成器G作为最终的草图模块。
上述训练过程中,通过随机训练的方式,将CycleGAN在I-HAZE这种样本数少、景物比较清晰简单的数据集上进行训练,将中间流程进行密集保存和效果图输出,每次训练了10组CycleGAN,每组训练2000次迭代终止。每50次迭代输出一个生成图像,并保持节点。在训练结束后,人工选出效果最好的图像和对应节点的去雾方向生成器作为草图模块。如图2所示,以此图所属的CycleGAN训练为例,第700次、750和850次的图像已经非常清晰,因此尝试使用这几个图像对应的节点对高分辨率的有雾图像进行测试,选取效果最理想的节点作为待选的草图模块。
(2)使用过程,既模型去雾过程:如图4,所示,将任何场景(不局限于训练集所属的场景)的有雾图像输入草图模块中,皆可输出为2000×2000大小的无雾灰度图像。
以上所述实施例仅表达本发明的实施方式,但并不能因此而理解为对本发明专利的范围的限制,应当指出,对于本领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些均属于本发明的保护范围。

Claims (2)

1.一种基于半训练生成器的复杂场景单图像去雾方法,其特征在于,包括如下步骤:
训练过程:
步骤1:使用经典CycleGAN网络在任意图像去雾数据集上进行训练;
步骤2:在训练过程中,每训练50次输出一个实时去雾图像并保存当前模型;
步骤3:训练到一定次数结束;
步骤4:重复步骤1-步骤3多次,重复次数越多,得到效果越好;
步骤5:在保存的效果图中选取去雾效果最好并且没有颜色信息的无雾灰度图像,将其对应的保存模型中的生成器G作为最终的草图模块;
训练CycleGAN网络的方式为不充分训练,草图模块具有以下特点:输出的图像仅包含原有雾图像中景物的初级信息,不存在高级信息;草图模块没有学习到图像的具体内容,其应用范围不局限于训练过程中的数据集,能够应用到任何其他场景中;所述初级信息包括轮廓信息、阴影信息,高级信息包括颜色信息;
使用过程:
步骤1:将任何场景的有雾图像输入草图模块中,都可以输出去雾后的灰度图像;由于草图模块只学习到轮廓信息低级的共性的信息,所以对不属于训练数据集的场景的图像也能进行识别,并得到去雾的灰度图像。
2.根据权利要求1所述的一种基于半训练生成器的复杂场景单图像去雾方法,其特征在于,单次训练过程中所述训练次数为网络开始学习颜色信息的次数,为2000次。
CN202010490188.8A 2020-06-02 2020-06-02 一种基于半训练生成器的复杂场景图像去雾方法 Active CN111738939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490188.8A CN111738939B (zh) 2020-06-02 2020-06-02 一种基于半训练生成器的复杂场景图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490188.8A CN111738939B (zh) 2020-06-02 2020-06-02 一种基于半训练生成器的复杂场景图像去雾方法

Publications (2)

Publication Number Publication Date
CN111738939A CN111738939A (zh) 2020-10-02
CN111738939B true CN111738939B (zh) 2022-02-15

Family

ID=72648126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490188.8A Active CN111738939B (zh) 2020-06-02 2020-06-02 一种基于半训练生成器的复杂场景图像去雾方法

Country Status (1)

Country Link
CN (1) CN111738939B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309551B (zh) * 2020-12-03 2023-08-11 山西财经大学 一种基于边缘融合双鉴别器的mri图像重建***及方法
CN116664448B (zh) * 2023-07-24 2023-10-03 南京邮电大学 一种基于图像去雾的中高能见度计算方法及计算***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN102682443A (zh) * 2012-05-10 2012-09-19 合肥工业大学 基于偏振图像引导的快速去雾算法
CN104346782A (zh) * 2014-10-29 2015-02-11 中国科学院深圳先进技术研究院 一种实现单幅图像去雾的方法和装置
CN104408745A (zh) * 2014-11-18 2015-03-11 北京航空航天大学 一种基于视频图像的实时烟雾场景检测方法
WO2015192115A1 (en) * 2014-06-13 2015-12-17 Board Of Regents Of The University Of Texas System Systems and methods for automated hierarchical image representation and haze removal
CN106504205A (zh) * 2016-10-20 2017-03-15 凌云光技术集团有限责任公司 一种图像去雾方法及终端
CN107680055A (zh) * 2017-09-26 2018-02-09 成都国翼电子技术有限公司 一种基于人工交互的航拍图像雾霾去除方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN102682443A (zh) * 2012-05-10 2012-09-19 合肥工业大学 基于偏振图像引导的快速去雾算法
WO2015192115A1 (en) * 2014-06-13 2015-12-17 Board Of Regents Of The University Of Texas System Systems and methods for automated hierarchical image representation and haze removal
CN104346782A (zh) * 2014-10-29 2015-02-11 中国科学院深圳先进技术研究院 一种实现单幅图像去雾的方法和装置
CN104408745A (zh) * 2014-11-18 2015-03-11 北京航空航天大学 一种基于视频图像的实时烟雾场景检测方法
CN106504205A (zh) * 2016-10-20 2017-03-15 凌云光技术集团有限责任公司 一种图像去雾方法及终端
CN107680055A (zh) * 2017-09-26 2018-02-09 成都国翼电子技术有限公司 一种基于人工交互的航拍图像雾霾去除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing;Deniz Engin等;《https://arxiv.org/pdf/1805.05308.pdf》;20180514;第1-9页 *
二阶段端到端的图像去雾生成网络;邢晓敏 等;《计算机辅助设计与图形学学报》;20200115;第164-172页 *

Also Published As

Publication number Publication date
CN111738939A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN110458844B (zh) 一种低光照场景的语义分割方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN111738939B (zh) 一种基于半训练生成器的复杂场景图像去雾方法
CN113780132B (zh) 一种基于卷积神经网络的车道线检测方法
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN113191969A (zh) 一种基于注意力对抗生成网络的无监督图像除雨方法
CN110991349B (zh) 一种基于度量学习的轻量级车辆属性识别方法
CN115082966B (zh) 行人重识别模型训练方法、行人重识别方法、装置和设备
CN113379618A (zh) 一种基于残差密集连接和特征融合的光学遥感图像去云方法
CN112766062A (zh) 一种基于双流深度神经网络的人体行为识别方法
CN112651459A (zh) 深度学习图像对抗样本防御方法、装置、设备及存储介质
Bounsaythip et al. Genetic algorithms in image processing-a review
CN112836573A (zh) 一种基于对抗生成网络的车道线图像增强与补全方法
Gao et al. Background subtraction via 3D convolutional neural networks
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN117877068A (zh) 一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法
CN113111797A (zh) 一种结合自编码器与视角变换模型的跨视角步态识别方法
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant