CN109509156B - 一种基于生成对抗模型的图像去雾处理方法 - Google Patents
一种基于生成对抗模型的图像去雾处理方法 Download PDFInfo
- Publication number
- CN109509156B CN109509156B CN201811289748.2A CN201811289748A CN109509156B CN 109509156 B CN109509156 B CN 109509156B CN 201811289748 A CN201811289748 A CN 201811289748A CN 109509156 B CN109509156 B CN 109509156B
- Authority
- CN
- China
- Prior art keywords
- image
- fog
- network
- layer
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于生成对抗模型的图像去雾处理方法，该方法通过一训练好的生成对抗模型将有雾图像直接转换为无雾图像，其中，所述生成对抗模型包括一个生成网络和一个判别网络，所述生成网络用于生成无雾恢复图像，包括：第一层子网，用于提取特征图谱；第二层子网，包括5个依次连接的卷积层，且第二个卷积层的输入端与前一层卷积层输出端和第一层子网的输出端连接，用于融合第一层子网提取的全局特征图谱，获得无雾恢复图像；所述判别网络用于判别生成网络输出的无雾恢复图像是否是一副真实的无雾图像。与现有技术相比，本发明具有去雾效果好、过程简单等优点。
Description
技术领域
本发明涉及一种图像处理方法，尤其是涉及一种基于生成对抗模型的图像去雾处理方法。
背景技术
雾和雾霾是实际生活中常见的大气现象。由于有雾天气下存在很多具有一定尺寸的大气微小颗粒，这些吸收目标物体/场景的反射光，同时自身的反射光同目标物体的反射光混合在一起进入相机成像，使得成像清晰度受到不同程序的干扰。由于成像的模糊和噪声，给有雾天气下的室外拍照应用带来了不便，而且给基于计算机视觉的各种算法造成了很大的困难，比如目标识别/跟踪、场景分割、自动驾驶等。
随着图像处理技术的进步，图像去雾工作近些年有了较大的推进。目前图像去雾算法主要可以分为两类：第一类基于人为定义的图像特征，进行聚类，信息统计，估算大气散射模型中的透射率及大气光强，然后通过该散射模型的逆向求解来得到去雾图像；该类型方法对于有雾图像的恢复效果一般，主要局限性在于通过人为定义的特征和传统图像处理方法，透射率和大气光强的估算准确性和鲁棒性不佳，经常会有图像色彩失真和较大图像噪声的出现。第二类是采用深度卷积网络模型，基于大样本量训练，让网络自身学习到如何估算透射率和大气光强，再通过模型公式求解无雾图像。深度学习模型的优点在于不用人为定义特征的提取方法，网络本身可以学到如何提取所需特征，比传统的图像处理方法在去雾效果上具有更高的恢复准确度和普适度。但目前的深度学习去雾方法还存在不能很好实现端到端图像去雾的不足。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于生成对抗模型的图像去雾处理方法。
本发明的目的可以通过以下技术方案来实现：
一种基于生成对抗模型的图像去雾处理方法，该方法通过一训练好的生成对抗模型将有雾图像直接转换为无雾图像，其中，所述生成对抗模型包括一个生成网络和一个判别网络，所述生成网络用于生成无雾恢复图像，包括：
第一层子网，用于提取特征图谱；
第二层子网，包括5个依次连接的卷积层，且第二个卷积层的输入端与前一层卷积层输出端和第一层子网的输出端连接，用于融合第一层子网提取的全局特征图谱，获得无雾恢复图像；
所述判别网络用于判别生成网络输出的无雾恢复图像是否是一副真实的无雾图像。
进一步地，所述第一层子网包括4个卷积模块、4个池化层和两个全连接层，每个池化层对应连接于一所述卷积模块之后，所述两个全连接层连接于池化层后。
进一步地，所述第一层子网的卷积模块包括相连接的两层卷积层。
进一步地，所述生成对抗模型中，每个卷积层后设有ReLU非线性激活层。
进一步地，所述判别网络包含4个卷积层和1个全连接层以及1个Sigmoid激活层
进一步地，所述生成对抗模型训练时采用的样本数据库通过如下方式生成：
获取无雾图像集，对无雾图像进行加雾处理，生成不同光照强度和雾化浓度下的有雾图像，获得有雾图像集，将无雾图像集和与之对应的有雾图像集组成样本数据库。
进一步地，所述加雾处理采用的加雾处理函数为：
G(I)＝T(I)+a*(1-T(I))
其中，I为原始无雾RGB图像T(I)＝{t(p)|p为图像I的任一像素}为图像对应的透射率，t(p)为像素p的透射率，a为大气光强，G(I)为生成的有雾图像。
进一步地，所述生成对抗模型训练时采用图像恢复代价函数更新网络参数，所述图像恢复代价函数L表示为：
L＝E_GT+E_D
E_GT＝|I’-I|
E_D＝minmax(log(D(I)+log(1-D(I’))
其中，E_GT表示无雾恢复图像与真实无雾图像比较得到的差异代价，I为真实无雾图像，I’为无雾恢复图像，E_D表示判别函数，用于判别无雾恢复图像是有雾图像还是无雾图像，D为判别网络转换。
与现有技术相比，本发明具有以如下有益效果：
1)本发明采用生成对抗模型实现端到端的图像去雾处理，具有判别网络对生成网络的恢复图像进行判断，不需要估算中间参数，同时能够获得很好的去雾效果。
2)本发明生成对抗模型中，每个卷积层后设有ReLU非线性激活层，使得整个网络具备模拟高阶非线性函数的能力。
3)本发明采用定义的恢复代价函数对生成对抗模型进行训练，直至达到最终收敛，使得生成对抗模型具有较高精度。
附图说明
图1为本发明的流程示意图；
图2为本发明的生成对抗模型的网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明实现一种基于生成对抗模型的图像去雾处理方法，通过一训练好的生成对抗模型将有雾图像转换为无雾图像，不需要估算中间参数，同时能够获得很好的去雾效果。
如图1所示，该方法具体步骤包括：
步骤S101，获取样本数据库。
首先获取无雾图像集，基于大气散射模型对其不同浓度的加雾处理，并进行数据增强，生成相应的有雾数据集，将无雾图像集和有雾图像集组成样本数据库。
加雾处理采用的加雾处理函数为：
G(I)＝T(I)+a*(1-T(I))
其中，I为原始无雾RGB图像，F(I)表示对图像进行随机处理函数，T(I)＝{t(p)|p为图像I的任一像素}为图像对应的传播系数，t(p)为像素p的传播系数，a为大气光强，G(I)为生成的有雾图像。t(p)依据像素深度值d(p)进行估算，t(p)＝e^(-beta*d(p))。beta和a随机取自(0.8-1.2)和(0.6,1)。
本实施例中，获取NYU Depth V2 Dataset，包含无雾的清晰RGB图像以及与之配准的深度图像，作为训练样本中的无雾图像集。对NYU Depth V2 Dataset中的无雾图像进行加雾处理，生成不同光照强度和雾化浓度下的有雾图像，作为训练样本中的有雾图像集。本实施例中，将有雾-无雾图像对裁剪并缩放至128×128图像大小。
步骤S102，构建生成对抗模型。
如图2所示，本发明的生成对抗模型的网络结构包含两个部分，一个是生成网络，一个是判别网络，其中，生成网络负责生成与输入无雾图像内容对应的无雾图像，判别网络负责判别生成网络输出的无雾图像是否是一副真实的无雾图像。
生成网络分为两层，第一层子网包含4个卷积模块、4个池化层以及两个全连接层，4个池化层分别接入4个卷积模块之后，对特征图谱进行最大值下采样，实现特征池化；第二层子网包含5个卷积层。第一层的输入为128*128有雾图像，输出为32*32的特征图谱，特征维度为8，该特征图谱和第二层第一个卷积层输出的特征图谱连接，一起输入第二层的第二个卷积层；第二层的输入为128*128的有雾图像，并一直维持此分辨率，输出恢复的128*128无雾图像。
第一层子网的每个卷积模块包含2层卷积层，2层卷积层的卷积核大小均为3*3，5个模块内每层包含的卷积核个数分别为128,256,256,512。全连接层输出的一维向量重新排列转化成维度为32*32*8的特征图谱并连接到第二层子网；第二层子网的卷积核大小均为5*5*64。
本实施例中，还可在生成网络的每个卷积层后加入ReLU非线性激活层，使得整个网络具备模拟高阶非线性函数的能力。
判别网络包含4个卷积层和1个全连接层以及1个Sigmoid激活层，判别网络中的每个卷积层后设有Leaky RuLU非线性激活层，使得梯度回传更加稳定。
步骤S103，训练生成对抗模型。
设置网络的学习率和动量参数，利用matconvnet训练上述生成对抗模型，直至网络收敛。
训练时采用图像恢复代价函数计算梯度并将梯度回传用以更新网络参数，图像恢复代价函数L包含两项，一项为与真实无雾图像比较得到的差异代价E_GT＝|I’-I|，I为真实无雾图像，I’为生成网络恢复图像；一项为有雾图像和无雾图像的判别函数E_D＝minmax(log(D(I)+log(1-D(I’))用于判别恢复图像是有雾图像还是无雾图像，D为判别网络转换。
步骤S104，输入一有雾图像，利用训练好的生成对抗模型直接获得无雾图像。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (5)
1.一种基于生成对抗模型的图像去雾处理方法，其特征在于，该方法通过一训练好的生成对抗模型将有雾图像直接转换为无雾图像，其中，所述生成对抗模型包括一个生成网络和一个判别网络，所述生成网络用于生成无雾恢复图像，包括：
第一层子网，用于提取特征图谱；
第二层子网，包括5个依次连接的卷积层，且第二个卷积层的输入端与前一层卷积层输出端和第一层子网的输出端连接，用于融合第一层子网提取的全局特征图谱，获得无雾恢复图像；
所述判别网络用于判别生成网络输出的无雾恢复图像是否是一副真实的无雾图像；
所述第一层子网包括4个卷积模块、4个池化层和两个全连接层，每个池化层对应连接于一所述卷积模块之后，所述两个全连接层连接于池化层后；
所述判别网络包含4个卷积层和1个全连接层以及1个Sigmoid激活层；
所述生成对抗模型训练时采用图像恢复代价函数更新网络参数，所述图像恢复代价函数L表示为：
L＝E_GT+E_D
E_GT＝|I’-I|
E_D＝minmax(log(D(I)+log(1-D(I’))
其中，E_GT表示无雾恢复图像与真实无雾图像比较得到的差异代价，I为真实无雾图像，I’为无雾恢复图像，E_D表示判别函数，用于判别无雾恢复图像是有雾图像还是无雾图像，D为判别网络转换。
2.根据权利要求1所述的基于生成对抗模型的图像去雾处理方法，其特征在于，所述第一层子网的卷积模块包括相连接的两层卷积层。
3.根据权利要求1所述的基于生成对抗模型的图像去雾处理方法，其特征在于，所述生成对抗模型中，每个卷积层后设有ReLU非线性激活层。
4.根据权利要求1所述的基于生成对抗模型的图像去雾处理方法，其特征在于，所述生成对抗模型训练时采用的样本数据库通过如下方式生成：
获取无雾图像集，对无雾图像进行加雾处理，生成不同光照强度和雾化浓度下的有雾图像，获得有雾图像集，将无雾图像集和与之对应的有雾图像集组成样本数据库。
5.根据权利要求4所述的基于生成对抗模型的图像去雾处理方法，其特征在于，所述加雾处理采用的加雾处理函数为：
G(I)＝T(I)+a*(1-T(I))
其中，I为原始无雾RGB图像T(I)＝{t(p)|p为图像I的任一像素}为图像对应的透射率，t(p)为像素p的透射率，a为大气光强，G(I)为生成的有雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289748.2A CN109509156B (zh) | 2018-10-31 | 2018-10-31 | 一种基于生成对抗模型的图像去雾处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289748.2A CN109509156B (zh) | 2018-10-31 | 2018-10-31 | 一种基于生成对抗模型的图像去雾处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109509156A CN109509156A (zh) | 2019-03-22 |
| CN109509156B true CN109509156B (zh) | 2021-02-05 |
Family
ID=65747290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811289748.2A Active CN109509156B (zh) | 2018-10-31 | 2018-10-31 | 一种基于生成对抗模型的图像去雾处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109509156B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136075B (zh) * | 2019-04-18 | 2021-01-05 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110378848B (zh) * | 2019-07-08 | 2021-04-20 | 中南大学 | 一种基于衍生图融合策略的图像去雾方法 |
| CN111639542A (zh) * | 2020-05-06 | 2020-09-08 | 中移雄安信息通信科技有限公司 | 车牌识别方法、装置、设备和介质 |
| CN113706395A (zh) * | 2020-05-21 | 2021-11-26 | 无锡科美达医疗科技有限公司 | 一种基于对抗神经网络的图像去雾方法 |
| CN111882495B (zh) * | 2020-07-05 | 2022-08-02 | 东北林业大学 | 一种基于自定义模糊逻辑与gan的图像高光处理方法 |
| CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
| CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN107798669A (zh) * | 2017-12-08 | 2018-03-13 | 北京小米移动软件有限公司 | 图像去雾方法、装置及计算机可读存储介质 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108665432A (zh) * | 2018-05-18 | 2018-10-16 | 百年金海科技有限公司 | 一种基于生成对抗网络的单幅图像去雾方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11080591B2 (en) * | 2016-09-06 | 2021-08-03 | Deepmind Technologies Limited | Processing sequences using convolutional neural networks |
| US10510146B2 (en) * | 2016-10-06 | 2019-12-17 | Qualcomm Incorporated | Neural network for image processing |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108171762B (zh) * | 2017-12-27 | 2021-10-12 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构***与方法 |
| CN108596026B (zh) * | 2018-03-16 | 2020-06-30 | 中国科学院自动化研究所 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
-
2018
- 2018-10-31 CN CN201811289748.2A patent/CN109509156B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN107798669A (zh) * | 2017-12-08 | 2018-03-13 | 北京小米移动软件有限公司 | 图像去雾方法、装置及计算机可读存储介质 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108665432A (zh) * | 2018-05-18 | 2018-10-16 | 百年金海科技有限公司 | 一种基于生成对抗网络的单幅图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109509156A (zh) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN109410144B (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| US20180231871A1 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| WO2023212997A1 (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN109919073B (zh) | 一种具有光照鲁棒性的行人再识别方法 | |
| US11361534B2 (en) | Method for glass detection in real scenes | |
| CN115861380B (zh) | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 | |
| CN108447060B (zh) | 基于rgb-d图像的前后景分离方法及其前后景分离装置 | |
| CN116229461A (zh) | 一种基于多尺度细化的室内场景图像实时语义分割方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN109657538B (zh) | 基于上下文信息指导的场景分割方法和*** | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN111008979A (zh) | 一种鲁棒的夜晚图像语义分割方法 | |
| CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| Yang et al. | [Retracted] A Method of Image Semantic Segmentation Based on PSPNet | |
| CN116310098A (zh) | 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法 | |
| CN116310095A (zh) | 一种基于深度学习的多视图三维重建方法 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN110738624B (zh) | 一种区域自适应的图像去雾***及方法 | |
| CN115641584B (zh) | 一种雾天图像识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |