CN111986108A - 一种基于生成对抗网络的复杂海空场景图像去雾方法 - Google Patents
一种基于生成对抗网络的复杂海空场景图像去雾方法 Download PDFInfo
- Publication number
- CN111986108A CN111986108A CN202010786125.7A CN202010786125A CN111986108A CN 111986108 A CN111986108 A CN 111986108A CN 202010786125 A CN202010786125 A CN 202010786125A CN 111986108 A CN111986108 A CN 111986108A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- layer
- fog
- sea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 24
- 238000013461 design Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008034 disappearance Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于生成对抗网络的复杂海空场景图像去雾方法。首先利用光学相机进行海空场景的图像采集，包括有雾图像采集和无雾图像采集；其次将采集到的图像裁剪为宽高大小相同的图像；再分别制作海空场景的无雾图像数据集和有雾图像数据集，不需要对有雾图像和无雾图像进行场景成对匹配；之后搭建用于复杂海空场景图像去雾的生成对抗网络；使用制作的海空场景数据集对搭建的生成对抗网络进行训练；最后使用训练好的去雾模型对复杂海空场景的雾天图像进行去雾操作。本发明可以在复杂海空场景下实现海上雾天图像的去雾处理，同时避免去雾后图像出现颜色失真、场景恢复不够自然的问题，该去雾方法的细节信息保存完整，泛化能力较强。
Description
技术领域
本发明涉及一种基于生成对抗网络的复杂海空场景图像去雾方法，属于图像处理领域。
背景技术
在海空环境下，海面水汽含量比较充足，相对湿度较大，当海面水温和其上空的空气温度存在一定的差值时，极易形成海雾。海雾是一种极为危险的天气现象，雾霭作用使得舰载计算机成像***无法获取清晰图像，难以进行正常的光学监测和跟踪，使得天体和陆标定位更加困难，特别在雷达盲区，给舰艇机动造成了极大困难，严重威胁着舰船的航行安全。因此，在加强海雾预报的同时，大力发展各种针对海上雾天图像的去雾方法具有重要意义和研究价值。
近年来，图像去雾算法研究取得了重大进展。现阶段，图像去雾研究主要分为三种：第一种是基于增强的方法，本质上是通过增强对比度等方法来改善图像的观感，并没有针对雾天图像退化的机理来进行去雾，所以往往会造成色彩的失真等缺陷。第二种是基于模型的方法，该方法根据雾天图像的退化原因建立大气散射模型，并结合图像的先验知识求解模型中的参数，然后逆向推导无雾图像，该方法可实现图像去雾，但是其紧扣大气散射模型，严重依赖对中间变量的准确预测，如果中间量的预测上存在误差，在计算无雾图像时会放大误差，致使图像严重失真。第三种是基于深度学习的方法，该方法直接利用卷积神经网络学习雾天图像与透射图或者清晰图像之间的映射关系，解决了人工设计特征模型的困难。但是这些基于深度学习的去雾方法本质上都是在利用卷积网络估计物理模型中的参数，然后结合物理模型恢复清晰图像，并且在优化过程中只约束了网络输出与标签之间的均方误差，因此去雾后的图像质量并不稳定，此外依赖于大量带标签的合成图像数据集，对真实雾天图像的去雾效果不理想。
因此，研究一种可用于海上图像去雾且能够避免去雾后图像失真的方法十分必要。
发明内容
传统基于深度学习的去雾算法需要获取同一场景成对匹配的有雾图像和无雾图像作为训练数据集，而这一数据集很难获取，因此当前基于深度学习的去雾算法大多采用人工合成的雾天图像作为有雾图像数据集，但是人工合成的有雾图像和真实的雾天图像在像素分布方面具有很大差异，因此基于人工合成的有雾图像数据集训练得到的去雾模型在真实雾天场景中的去雾效果较差。本发明提出了一种基于生成对抗网络的复杂海空场景图像去雾方法，通过设计生成对抗网络解决上述问题，同时解决了图像去雾后出现的颜色失真以及模糊的问题。
为了实现上述目的，本发明所采用的技术方案如下：
步骤1：利用光学相机进行海空场景的图像采集，包括有雾图像采集和无雾图像采集；
步骤2：将步骤1中采集到的图像裁剪为宽高大小相同的图像；
步骤3：分别制作海空场景的无雾图像数据集和有雾图像数据集，不需要对有雾图像和无雾图像进行场景成对匹配；
步骤4：搭建用于复杂海空场景图像去雾的生成对抗网络；
步骤5：使用步骤3中制作的海空场景数据集对步骤4中搭建的生成对抗网络进行训练；
步骤6：使用步骤5中训练好的去雾模型对复杂海空场景的雾天图像进行去雾操作。
进一步的，所述步骤4中搭建的生成对抗网络包含生成器网络和判别器网络。
传统的循环生成对抗网络共包含两个生成器和两个判别器。但我们发现，在将有雾图像变为无雾图像的应用场景下，采用两个判别器，会产生额外的对抗损失，降低网络训练的速度，同时会降低去雾模型的去雾实时性。所以本发明提出了基于双生成器，单判别器的改进版循环生成对抗网络。采用改进版循环生成对抗网络，需要对生成器网络结构和判别器网络结构进行优化改进。本发明设计的生成器和判别器结构具体描述如下：
生成器共包含三个模块，分别是编码模块、转换模块和解码模块。
编码模块。本发明使用卷积神经网络从输入网络的图像中提取特征，整个编码模块共包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为5×5，卷积步长为1；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为1。通过上述编码模块的设计，可以提取海上雾天图像的更深层次特征信息，同时避免训练过程中梯度消失的问题，进一步降低模型训练过程中的计算复杂度，提高去雾模型的训练速度。
转换模块。传统的循环生成对抗网络通过使用残差单元来提高重建图像的质量，这种方法虽然可以提高生成图像的质量，但是每层的特征信息无法被重复利用，导致特征利用率低，生成图像的质量较差。本发明搭建密集连接网络构建生成器的转换模块，通过使用密集连接网络将具有相同大小的特征图连接起来，每层的输入都接收了前面所有层的输出，这样不仅可以解决梯度消失的问题，有效缓解网络训练过程中过拟合的问题，而且有效地提高了特征利用率。本发明设计的基于密集连接网络的转换模块，共设计了5层密集连接单元。密集连接网络的第l层输出如下式所示：
fl＝Hl([f0,f1,f2,…,fl-1])
其中，Hl是非线性变换函数，它是一个组合运算，包括批标准化运算、线性整流运算以及卷积运算；[f0,f1,f2,…,fl-1]由0,1,2,…,l-1层输出的特征向量。
解码模块。本发明设计的解码模块采用反卷积层实现特征信息的还原，整个解码模块共包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1。通过上述解码模块的设计，可以提高特征信息还原能力，同时避免梯度消失的问题，缓解网络训练过程中过拟合的问题。
本发明搭建生成对抗网络的判别器，用于判别图像是原始图像还是生成器生成的图像。为提高局部小区域特征的获取能力，本发明设计了如下的判别器网络。
本发明设计的判别器网络，完全由卷积层构成，输入给判别器的图像被划分为多个图像块，判别器的输出是一个维度为n×n的矩阵，输出矩阵中的每一个元素代表多个图像块中的一个图像块的判定结果，最后把所有图像块的判定结果的平均值作为该生成图像的判定结果。
进一步的，步骤5中使用自制海空场景数据集对本发明中搭建的生成对抗网络进行训练，本发明设计的生成对抗网络的主要组成是两个生成器和一个判别器。
本发明设计的生成对抗网络通过两个生成器G、F和一个判别器D来实现有雾图像和无雾图像之间的相互转换。生成器F将有雾图像转换为无雾图像，利用判别器D判断生成的去雾图像是否为真实的无雾图像。生成器F和判别器D之间的损失函数LGAN定义如下式所示：
其中,E表示数学期望，～表示服从关系，Pdata表示数据的概率分布。
本发明还引入了循环一致性损失函数，计算真实有雾图像y和由生成器G生成的有雾图像
间的损失，这样可以保证经过转换之后的图像尽可能包含原图像的信息，循环一致性损失Lcyc如下式所示：
其中,E表示数学期望，～表示服从关系，Pdata表示数据的概率分布,||·||1为1范数。
本发明所设计的生成对抗网络完整的损失函数LTotal如下式所示：
LTotal(G,F,D)＝LGAN(F,D,x,y)+ωLcyc(G,F)
其中，ω表示循环一致性损失函数Lcyc在目标函数中的权重。
有益效果
本发明提出了一种基于生成对抗网络的复杂海空场景图像去雾方法，该方法可以在复杂海空场景下实现海上雾天图像的去雾处理，同时避免去雾后图像出现颜色失真、场景恢复不够自然的问题，该去雾方法的细节信息保存完整，泛化能力较强。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
附图1本发明设计的生成对抗网络去雾原理示意图
附图2本发明设计的生成器网络结构示意图
附图3本发明设计的判别器网络结构示意图
附图4本发明所设计的生成对抗网络去雾效果示意图
具体实施方式
本发明中的基于生成对抗网络的复杂海空场景图像去雾方法，包括以下步骤：
步骤1：利用光学相机进行海空场景的图像采集，包括有雾图像采集和无雾图像采集。
步骤2：将步骤1中采集到的图像裁剪为宽高大小相同的图像。
步骤3：分别制作海空场景的无雾图像数据集和有雾图像数据集，不需要对有雾图像和无雾图像进行场景成对匹配。
步骤4：搭建用于复杂海空场景图像去雾的生成对抗网络；生成对抗网络的结构如图1所示。
本发明提出了基于双生成器G、F，单判别器D的改进版循环生成对抗网络。生成器F将真实有雾图像y转换为去雾图像F(y)，生成器G将生成的去雾图像F(y)转换为有雾图像
判别器D判断生成的去雾图像是否为真实的无雾图像。
采用改进版循环生成对抗网络，需要对生成器网络结构和判别器网络结构进行优化改进。本发明设计的生成器和判别器网络结构具体描述如下：
生成器共包含三个模块，分别是编码模块、转换模块和解码模块，如图2所示。
编码模块。本发明使用卷积神经网络从输入网络的图像中提取特征，整个编码模块共包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为5×5，卷积步长为1；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为1。通过上述编码模块的设计，可以提取海上雾天图像的更深层次特征信息，同时避免训练过程中梯度消失的问题，进一步降低模型训练过程中的计算复杂度，提高去雾模型的训练速度。
转换模块。本发明搭建密集连接网络构建生成器的转换模块，通过使用密集连接网络将具有相同大小的特征图连接起来，每层的输入都接收了前面所有层的输出，这样不仅可以解决梯度消失的问题，有效缓解网络训练过程中过拟合的问题，而且有效地提高了特征利用率。本发明设计的基于密集连接网络的转换模块，共设计了5层密集连接单元。密集连接网络的第l层输出如下式所示：
fl＝Hl([f0,f1,f2,…,fl-1])
其中，Hl是非线性变换函数，它是一个组合运算，包括批标准化运算、线性整流运算以及卷积运算；[f0,f1,f2,…,fl-1]由0,1,2,…,l-1层输出的特征向量。
解码模块。本发明设计的解码模块采用反卷积层实现特征信息的还原，整个解码模块共包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1。通过上述解码模块的设计，可以提高特征信息还原能力，同时避免梯度消失的问题，缓解网络训练过程中过拟合的问题。
本发明搭建生成对抗网络的判别器，用于判别图像是原始图像还是生成器生成的图像。为提高局部小区域特征的获取能力，本发明设计了如下的判别器网络，如图3所示。
本发明设计的判别器网络，完全由卷积层构成，输入给判别器的图像被划分为多个图像块，判别器的输出是一个维度为n×n的矩阵，输出矩阵中的每一个元素代表多个图像块中的一个图像块的判定结果，最后把所有图像块的判定结果的平均值作为该生成图像的判定结果。
步骤5：使用步骤3中制作的海空场景数据集对步骤4中搭建的生成对抗网络进行训练，本发明设计的生成对抗网络的主要组成是两个生成器和一个判别器。
本发明设计的生成对抗网络通过两个生成器G、F和一个判别器D来实现有雾图像和无雾图像之间的相互转换。生成器F将有雾图像转换为无雾图像，利用判别器D判断生成的去雾图像是否为真实的无雾图像。生成器F和判别器D之间的损失函数LGAN定义如下式所示：
其中,E表示数学期望，～表示服从关系，Pdata表示数据的概率分布。
本发明还引入了循环一致性损失函数，计算y和
间的损失，这样可以保证经过转换之后的图像尽可能包含原图像的信息，循环一致性损失Lcyc如下式所示：
其中,E表示数学期望，～表示服从关系，Pdata表示数据的概率分布,||·||1为1范数。
本发明所设计的生成对抗网络完整的损失函数LTotal如下式所示：
LTotal(G,F,D)＝LGAN(F,D,x,y)+ωLcyc(G,F)
其中，ω表示循环一致性损失函数Lcyc在目标函数中的权重。
步骤6：使用步骤5中训练好的去雾模型对复杂海空场景的雾天图像进行去雾操作。
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例采集了5000张海上无雾图像建立海上无雾数据集，采集了5000张海上有雾图像建立海上有雾图像数据集，使用上述训练数据集对本发明设计的生成对抗网络进行训练。训练模型使用Tensorflow深度学***台进行模型训练，实验环境详细信息如下所示：
硬件环境：
CPU:Intel Core i7 7700K
GPU:Nvidia GeForce GTX1080Ti
软件环境：
***：Ubuntu16.04 LTS
加速环境：CUDA9.0/CuDNN7.0
训练框架：Tensorflow
依赖库：Numpy1.14/Pillow5.1/Scipy1.0/Matplolib2.2
训练完成后，使用训练好的去雾模型对复杂海空场景的雾天图像进行去雾测试实验，测试结果如图4所示，左图为原始雾天图像，右图为去雾后图像。通过对比可以发现，去雾后图像细节保持度高，亮度较高、清晰度高，没有出现图像严重失真的问题，这说明本发明提出的基于生成对抗网络的复杂海空场景图像去雾方法有效。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于生成对抗网络的复杂海空场景图像去雾方法，其特征在于：包括以下步骤：
步骤1：利用光学相机进行海空场景的图像采集，包括有雾图像采集和无雾图像采集；
步骤2：将步骤1中采集到的图像裁剪为宽高大小相同的图像；
步骤3：分别制作海空场景的无雾图像数据集和有雾图像数据集，且不需要对有雾图像和无雾图像进行场景成对匹配；
步骤4：搭建用于复杂海空场景图像去雾的生成对抗网络；
步骤5：使用步骤3中制作的海空场景数据集对步骤4中搭建的生成对抗网络进行训练；
步骤6：使用步骤5中训练好的去雾模型对复杂海空场景的雾天图像进行去雾操作。
2.根据权利要求1所述一种基于生成对抗网络的复杂海空场景图像去雾方法，其特征在于：步骤4中搭建的生成对抗网络为具有双生成器G、F和单判别器D的改进版循环生成对抗网络；生成器F将真实有雾图像y转换为去雾图像F(y)，生成器G将生成的去雾图像F(y)转换为有雾图像
判别器D判断生成的去雾图像是否为真实的无雾图像。
3.根据权利要求2所述一种基于生成对抗网络的复杂海空场景图像去雾方法，其特征在于：所述生成器包含三个模块，分别是编码模块、转换模块和解码模块；
所述编码模块包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为5×5，卷积步长为1；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为1；
所述转换模块基于密集连接网络设计，包括若干层密集连接单元；转换模块通过使用密集连接网络将具有相同大小的特征图连接起来，每层的输入都接收了前面所有层的输出；密集连接网络的第l层输出为fl＝Hl([f0,f1,f2,…,fl-1])，其中，Hl是非线性变换函数，为包括批标准化运算、线性整流运算以及卷积运算的组合运算；[f0,f1,f2,…,fl-1]由0,1,2,…,l-1层输出的特征向量；
所述解码模块包含三个卷积单元，第一个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第二个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为3×3，卷积步长为0.5；第三个卷积单元包含卷积层，批标准化层，激活函数层，其中卷积层的卷积核大小为7×7，卷积步长为1。
4.根据权利要求2所述一种基于生成对抗网络的复杂海空场景图像去雾方法，其特征在于：所述判别器由卷积层构成，输入给判别器的图像被划分为多个图像块，判别器的输出是一个维度为n×n的矩阵，输出矩阵中的每一个元素代表多个图像块中的一个图像块的判定结果，最后将所有图像块的判定结果的平均值作为该生成图像的判定结果。
5.根据权利要求2所述一种基于生成对抗网络的复杂海空场景图像去雾方法，其特征在于：
生成器F和判别器D之间的损失函数LGAN定义如下式所示：
其中,E表示数学期望，～表示服从关系，Pdata表示数据的概率分布；
并且引入了循环一致性损失函数，计算y和
间的损失，循环一致性损失Lcyc如下式所示：
则生成对抗网络完整的损失函数LTotal如下式所示：
LTotal(G,F,D)＝LGAN(F,D,x,y)+ωLcyc(G,F)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786125.7A CN111986108B (zh) | 2020-08-07 | 2020-08-07 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786125.7A CN111986108B (zh) | 2020-08-07 | 2020-08-07 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986108A true CN111986108A (zh) | 2020-11-24 |
| CN111986108B CN111986108B (zh) | 2024-04-19 |
Family
ID=73446038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010786125.7A Active CN111986108B (zh) | 2020-08-07 | 2020-08-07 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986108B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614070A (zh) * | 2020-12-28 | 2021-04-06 | 南京信息工程大学 | 一种基于DefogNet的单幅图像去雾方法 |
| CN112950521A (zh) * | 2021-04-27 | 2021-06-11 | 上海海事大学 | 一种图像去雾方法及生成器网络 |
| CN113393386A (zh) * | 2021-05-18 | 2021-09-14 | 电子科技大学 | 一种基于特征解耦的非成对图像对比去雾方法 |
| CN113449850A (zh) * | 2021-07-05 | 2021-09-28 | 电子科技大学 | 一种海面监视雷达杂波智能抑制方法 |
| CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及*** |
| CN113658051A (zh) * | 2021-06-25 | 2021-11-16 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及*** |
| CN114119420A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 |
| CN117952865A (zh) * | 2024-03-25 | 2024-04-30 | 中国海洋大学 | 一种基于循环生成对抗网络的单幅图像去雾方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472818A (zh) * | 2018-10-17 | 2019-03-15 | 天津大学 | 一种基于深度神经网络的图像去雾方法 |
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN109903232A (zh) * | 2018-12-20 | 2019-06-18 | 江南大学 | 一种基于卷积神经网络的图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111179189A (zh) * | 2019-12-15 | 2020-05-19 | 深圳先进技术研究院 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
| CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
-
2020
- 2020-08-07 CN CN202010786125.7A patent/CN111986108B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN109472818A (zh) * | 2018-10-17 | 2019-03-15 | 天津大学 | 一种基于深度神经网络的图像去雾方法 |
| CN109903232A (zh) * | 2018-12-20 | 2019-06-18 | 江南大学 | 一种基于卷积神经网络的图像去雾方法 |
| CN111179189A (zh) * | 2019-12-15 | 2020-05-19 | 深圳先进技术研究院 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
| CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Non-Patent Citations (2)
| Title |
|---|
| WEI LIU等: "A physics based generative adversarial network for single image defogging", IMAGE AND VISION COMPUTING * |
| 肖进胜;申梦瑶;雷俊锋;熊闻心;焦陈坤;: "基于生成对抗网络的雾霾场景图像转换算法", 计算机学报, no. 01 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614070A (zh) * | 2020-12-28 | 2021-04-06 | 南京信息工程大学 | 一种基于DefogNet的单幅图像去雾方法 |
| CN112614070B (zh) * | 2020-12-28 | 2023-05-30 | 南京信息工程大学 | 一种基于DefogNet的单幅图像去雾方法 |
| CN112950521A (zh) * | 2021-04-27 | 2021-06-11 | 上海海事大学 | 一种图像去雾方法及生成器网络 |
| CN112950521B (zh) * | 2021-04-27 | 2024-03-01 | 上海海事大学 | 一种图像去雾方法及生成器网络 |
| CN113393386A (zh) * | 2021-05-18 | 2021-09-14 | 电子科技大学 | 一种基于特征解耦的非成对图像对比去雾方法 |
| CN113393386B (zh) * | 2021-05-18 | 2022-03-01 | 电子科技大学 | 一种基于特征解耦的非成对图像对比去雾方法 |
| CN113658051A (zh) * | 2021-06-25 | 2021-11-16 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及*** |
| CN113658051B (zh) * | 2021-06-25 | 2023-10-13 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及*** |
| CN113449850A (zh) * | 2021-07-05 | 2021-09-28 | 电子科技大学 | 一种海面监视雷达杂波智能抑制方法 |
| CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及*** |
| CN114119420A (zh) * | 2021-12-01 | 2022-03-01 | 昆明理工大学 | 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 |
| CN117952865A (zh) * | 2024-03-25 | 2024-04-30 | 中国海洋大学 | 一种基于循环生成对抗网络的单幅图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986108B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN111833277B (zh) | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| CN110889370B (zh) | 基于条件生成对抗网络的端对端的侧面人脸合成正脸的***及方法 | |
| CN112634163A (zh) | 基于改进型循环生成对抗网络去图像运动模糊方法 | |
| CN110443883A (zh) | 一种基于dropblock的单张彩色图片平面三维重建方法 | |
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN110222837A (zh) | 一种基于CycleGAN的图片训练的网络结构ArcGAN及方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Liu et al. | Infrared image super resolution using gan with infrared image prior | |
| Sun et al. | Underwater image enhancement with encoding-decoding deep CNN networks | |
| CN111709888A (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN112614070A (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及*** | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| Shen et al. | Mutual information-driven triple interaction network for efficient image dehazing | |
| Liu et al. | Boths: Super lightweight network-enabled underwater image enhancement | |
| Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及*** | |
| CN116452450A (zh) | 一种基于3d卷积的偏振图像去雾方法 | |
| Wan et al. | Progressive convolutional transformer for image restoration | |
| CN110853040B (zh) | 一种基于超分辨率重建的图像协同分割方法 | |
| Zhu et al. | HDRD-Net: High-resolution detail-recovering image deraining network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |