CN111553856A - 基于深度估计辅助的图像去雾方法 - Google Patents
基于深度估计辅助的图像去雾方法 Download PDFInfo
- Publication number
- CN111553856A CN111553856A CN202010331563.4A CN202010331563A CN111553856A CN 111553856 A CN111553856 A CN 111553856A CN 202010331563 A CN202010331563 A CN 202010331563A CN 111553856 A CN111553856 A CN 111553856A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- convolution unit
- convolution
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 41
- 238000011176 pooling Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000002834 transmittance Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 12
- 238000004088 simulation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 102100040954 Ephrin-A1 Human genes 0.000 description 7
- 101000965523 Homo sapiens Ephrin-A1 Proteins 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度估计辅助的图像去雾方法，主要解决现有技术对雾气分布估计差和恢复图像纹理细节丢失的问题。其方案是：在Pytorch框架下分别构建深度估计网络和去雾网络；获取一组无雾图像集J，对J进行深度估计和人工加雾得到深度图像集D和有雾图像集I；利用深度图像集和有雾图像集分别训练深度估计网络和去雾网络，得到训练好的深度估计网络和去雾网络；将需要去雾的图像Ic输入至训练好的深度估计网络，输出估计的深度值Dc；将需要去雾的图像Ic和深度值Dc输入至训练好的去雾网络，输出清晰图像。本发明能很好的恢复图像的细节和色调，且峰值信噪比和结构相似性均高于或接近现有技术，可用于有雾图像的清晰化处理。
Description
技术领域
本发明属于数字图像处理技术领域,特别涉及一种图像去雾方法,可用于对雾天环境下成像***拍摄的单幅有雾图像的清晰化处理。
背景技术
介质的散射和吸收是一种常见的引起图像降质的原因，在雾霾影响下，图像采集设备受到空气中的大量悬浮颗粒对光线的散射和吸收的作用，摄得的图像往往可见度低、对比度低，部分物体无法分辨。由此令各类基于图像的信息处理***的有效性受到严重影响。因此，研究雾霾条件下的图像去雾具有重要的意义和应用前景。
早期的去雾算法大多基于先验知识和大气散射模型，其关键问题是如何估计大气光和透射率。此类方法以雾图的形成原理作为根据，通过各种先验假设来提取雾图的特征，然后利用该特征对大气散射模型中的参数进行估计，进而代入模型公式实现图像去雾。如He等人提出的著名暗通道先验去雾方法(Dark ChannelPrior，DCP)，见HE K,SUN J,TANGX.Single image haze removal using dark channel prior[J].//IEEE transactionsonpattern analysis and machine intelligence,2011,33(12):2341–2353.该方法对于多数雾图能够取得良好的效果，但对于图像中包含大片天空区域时，该方法会产生图像失真和色彩扭曲。
随着深度学习技术的兴起，基于深度学习的去雾方法逐渐成为当前图像去雾领域的研究热点。Cai等人提出的率先将卷积神经网络应用于图像去雾领域——DehazeNet网络，见CAI B,XU X,JIAK,et al.Dehazenet:An end-to-end system for single imagehaze removal[J]//IEEE Transactions on Image Processing,2016,25(11):5187–5198.其利用卷积神经网络逐层提取雾图的普遍特征，解决了人工设计特征提取算法的难点，该方法虽然取得了不错的效果，但其训练时选用了基于Patch的数据，针对某些场景的雾图会出现颜色失真现象。随后，Ren等人提出了基于卷积神经网络的多尺度估计算法来估计大气散射模型中的透射率——MSCNN网络，见REN W,LIU S,ZHANG H,et al.Single imagedehazing via multi-scale convolutional neural networks[C]//Europeanconference on computer vision.2016:154–169.其设计了两个阶段分别对应透射率的粗粒度估计和细粒度估计，最终得到了更清晰的透射率图像，但是其网络使用了室内的合成数据进行训练，室内环境和真实的雾图环境有一定的差距，所以该算法在真实图像上的去雾效果不够理想。
为了解决大气光估计不准造成的颜色差异和光线在传输过程中出现的衰减现象，最近出现的去雾方法大都统一采用卷积神经网络直接估计去雾后的图像，实现从雾图到去雾图的端到端的处理。典型的方法包括：
1)Ren等人于2018年提出了门融合去雾网络，见Wenqi Ren,Lin Ma,JiaweiZhang,Jinshan Pan,et al.Gated Fusion Network for Single Image Dehazing[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018,:3253-3261.其首先对有雾图像进行白平衡、对比度增强和伽马增强等预处理，再和网络输出的三张特征图分别加权融合，最终得到去雾图像，该方法对于颜色的恢复较为准确，但对于雾气的分布提取不够准确，容易出现去雾不彻底的现象。；
2)Liu等人提出一种通用的模型不可知卷积神经网络的对图像进行去雾，见[18]Z.Liu,B.Xiao,M.Alrabeiah,K.Wang and J.Chen,Single Image Dehazing with aGeneric Model-Agnostic Convolutional Neural Network[J]//Signal ProcessingLetters,2019,26(6):833-837.该方法不借助大气成像模型而在编码-解码框架的基础上设计端到端的去雾网络，通过残差模块提取雾天图像的泛化特征，其对于雾图具有良好的恢复效果，但由于其网络采用了反卷积层，导致恢复的图像通常具有网格状的条纹，影响主观视觉感受。
综上所述，现有的端到端去雾神经网络存在以下不足：一是门融合网络没有设计针对雾气分布的估计结构从而导致其出现了去雾不彻底的现象；二是不可知卷积神经网络模型结构较为简单且采用了反卷积层，其非线性拟合能力受到约束，而且容易出现棋盘效应。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于深度估计辅助的图像去雾方法，以完全利用卷积神经网络进行去雾,减少恢复图像纹理细节的丢失，提高取雾效果。
为实现上述目的，本发明深度辅助估计图像去雾方法，包括以下步骤：
1)在Pytorch框架下分别构建深度估计网络和去雾网络:
所述深度估计网络，包括八个卷积单元、六个残差模块层、六个上采样层和五个池化层；所述去雾网络，包括五个卷积单元、六个重标定模块层、一个上采样层和五个池化层；
所述每个卷积单元，包括卷积层，归一化层，该卷积层包括卷积操作以及LeakyReLU激活函数层；
2)获取一组清晰无雾图像集Jt和深度图像集Dt，根据深度图像集Dt进行计算得到透射率图像集T，并对无雾图像Jt根据透射率图像集T和人为设定的大气光值A进行人工加雾得到有雾图像集It，将有雾图像集It和深度图像集Dt作为深度估计网络的训练图像集，将无雾图像集Jt和有雾图像集It作为去雾网络的训练图像集；
3)对深度估计网络进行训练：
3a)将训练图像集It中的每张图像依次输入到深度估计网络中，输出估计出的对应深度图像
3b)将深度图像集中对应的深度图像Dt与估计出的对应的深度图像
代入加权总损失公式，计算训练集中的每张图像对应的加权总损失值；
3c)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新深度估计网络中的参数，得到训练好的深度估计网络；
4)对去雾网络进行训练：
4a)将训练图像集It中的每张图像依次输入到训练好的深度估计网络中，输出估计出的对应深度图像D*；
4b)将训练图像集It中的每张图像与其对应深度图像D*输入到去雾网络中，输出估计出的对应的去雾图像J*；
4c)将无雾图像集中对应的无雾图像Jt与估计出的对应的去雾图像J*代入加权总损失公式，计算训练集中的每张图像对应的加权总损失值；
4e)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新深度估计网络中的参数，得到训练好的去雾网络；
5)将一幅需要去雾处理的有雾图像Ic输入到训练好的深度估计网络，输出深度图像Dc；
6)将输出的深度图像Dc和有雾图像Ic一起输入训练好的去雾网络，输出去雾后的图像Jc。
本发明与现有技术相比具有如下有益效果：
第一，本发明由于通过深度估计网络对图像的深度进行预先估计，避免了现有技术在景物边缘区域去雾不彻底的问题；
第二，本发明由于根据针对纹理细节的加权总损失对网络参数进行更新，恢复图像的细节信息保留较好。
仿真结果表明，本发明与能在保持恢复图像的对比度和色彩饱和度的前提下比现有的门融合网络和模型不可知卷积神经网络两种方法具有明显的去雾效果，可以更好地恢复图像的背景信息，提高视觉效果；且峰值信噪比PNSR均优于现有技术，结构相似性SSIM与现有技术接近。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建的深度估计网络结构图；
图3为本发明中构建的去雾网络结构图；
图4为用本发明和现有的基于深度学习去雾算法对合成雾图的去雾效果对比图；
图5为用本发明和现有的基于深度学习的去雾算法对真实雾图的去雾效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
参照图1，本发明的具体实现步骤如下：
步骤1：在Pytorch框架下构建深度估计网络架构。
如图2所示，本发明在Pytorch框架下构建的深度估计网络包括前处理部分、后处理部分和输出部分,共设八个卷积单元、六个残差模块层、六个上采样层和五个池化层，每个卷积单元，包括卷积层，归一化层，该卷积层包括卷积操作以及LeakyReLU激活函数层。
所述前处理部分其结构依次为：第一卷积单元→第二卷积单元→第三卷积单元→第一残差模块层→第一池化层→第二残差模块层→第二池化层→第三残差模块层→第三池化层→第四残差模块层→第一上采样层→第五残差模块层→第二上采样层→第六残差模块层→第三上采样层；该第一残差模块层同时与第六残差模块层相连接；该第二残差模块层同时与第五残差模块层相连接；该第三残差模块层同时与第四残差模块层相连接；
所述后处理部分包括三条分支结构：第一分支依次为：第四池化层→第四卷积单元→第四上采样层；第二分支依次为：第五池化层→第五卷积单元→第五上采样层；第三分支依次为：第六池化层→第六卷积单元→第六上采样层；该第四池化层、第五池化层、第六池化层均与第三上采样层相连接；
所述输出部分其结构依次为：第七卷积单元→第八卷积单元；该第七卷积单元同时与第四上采样层、第五上采样层、第六上采样层相连接。
各层参数设置如下：
第一卷积单元、第二卷积单元的卷积核大小分别为7*7,5*5；
第三卷积单元、第四卷积单元、第五卷积单元、第六卷积单元、第七卷积单元、第八卷积单元的卷积核大小均为3*3；所有卷积单元的卷积步长均为1；
第一池化层、第二池化层、第三池化层的缩放因子均为2；
第四池化层的缩放因子为4，第五池化层的缩放因子为8，第六池化层的缩放因子为16；
第一上采样层、第二上采样层、第三上采样层的缩放因子均为2；
第四上采样层的缩放因子为4，第五上采样层的缩放因子为8，第六上采样层的缩放因子为16。
步骤2：在Pytorch框架下构建去雾网络架构。
如图3所示，本实例构建的去雾网络包括编码部分和解码部分，共有五个卷积单元、六个重标定模块层、一个上采样层和五个池化层，每个卷积单元，包括卷积层，归一化层，该卷积层包括卷积操作以及LeakyReLU激活函数层。每个重标定模块层包括两部分：第一部分依次为：第Ⅰ卷积单元→第Ⅱ卷积单元→第Ⅰ全连接层→LeakyReLU激活函数层→第Ⅱ全连接层→Sigmod激活函数层；第二部分依次为：第Ⅲ卷积单元→第Ⅰ上采样层→第Ⅳ卷积单元。将Sigmod激活函数层与第Ⅲ卷积单元相连接，第Ⅱ卷积单元和第Ⅲ卷积单元相连接，其中重标定模块层的参数设置为：第Ⅰ卷积单元、第Ⅱ卷积单元、第Ⅲ卷积单元、第Ⅳ卷积单元的卷积核大小均为3*3；第Ⅰ卷积单元的卷积步长为2；第Ⅱ卷积单元、第Ⅲ卷积单元、第Ⅳ卷积单元的卷积步长均为1；第Ⅰ上采样层的缩放因子为2；第Ⅰ全连接层的输入特征图数量和输出特征图数量分别为64和32；第Ⅱ全连接层的输入特征图数量和输出特征图数量分别为32和64。
所述编码部分其结构依次为：第1卷积单元→第2卷积单元→第3卷积单元→第4卷积单元→第1重标定模块层→第2重标定模块层→第3重标定模块层；
所述解码部分其结构依次为：第4重标定模块层→第5重标定模块层→第6重标定模块层→第1上采样层→第5卷积单元；
其中第4卷积单元同时分别与第2重标定模块层、第3重标定模块层、第4重标定模块层、第5重标定模块层、第6重标定模块层相连接。
各层参数设置如下：
第1卷积单元的卷积核大小为7*7,第2卷积单元的卷积核大小为5*5；
第3卷积单元、第4卷积单元、第5卷积单元的卷积核大小均为3*3；
第1卷积单元、第2卷积单元、第3卷积单元,第5卷积单元的卷积步长均为1；
第4卷积单元的卷积步长为2；
第1上采样层的缩放因子为2。
步骤3：制作训练图像集。
3.1)从网络上下载不同场景的1000张无雾图像集Jt，使用双线性插值算法将Jt的尺寸统一缩放至256×256；
3.2)对无雾图像集Jt利用景深估计CNN模型分别估计出每张图像对应的深度信息Dt；
3.3)使用random函数在1.0-2.5间随机生成透射率参数β，计算得到每张图的透射率
3.4)使用random函数在0.8-1.0间随机生成大气光值A，计算得到20000张雾图It＝JtT+A(1-T)，作为有雾图像集；
3.5)将有雾图像集It以及深度信息Dt作为深度估计网络的训练图像集；
3.6)将无雾图像集Jt和有雾图像集It作为去雾网络的训练图像集。
步骤4：训练深度估计网络。
4.1)将训练图像集It中的每张图像依次输入到深度估计网络中，输出估计出的对应深度图像
4.2)根据深度图像集中对应的深度图像Dt和估计出的对应的深度图像
通过以下公式计算得到深度训练集的加权总损失值:
其中，||.||2为对矩阵求二范数操作，|.|为对矩阵求绝对值操作，m为输入图像的像素数，Sobel(.)为使用四方向Sobel算子进行卷积操作。
计算深度训练集的加权总损失值不限于以上公式。
4.3)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新深度估计网络的参数，重复步骤4.1)、4.2)、4.3)共10000000次，得到训练好的深度估计网络。
步骤5：训练去雾网络。
5.1)估计深度图像：
将训练图像集It中的每张图像依次输入到训练好的深度估计网络中，输出估计出的对应深度图像
5.2)估计去雾图像：
将训练图像集It中的每张图像与其对应深度图像
输入到去雾网络中，输出估计出的对应的去雾图像
5.3)根据无雾图像集中对应的无雾图像Jt和估计出的对应的去雾图像
通过以下公式计算得到去雾训练集的加权总损失值:
其中，‖.‖2为对矩阵求二范数操作，|.|为对矩阵求绝对值操作，m为输入图像的像素数，Sobel(.)为使用四方向Sobel算子进行卷积操作。
计算去雾训练集的加权总损失值不限于以上公式。
5.4)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新去雾网络的参数，重复步骤5.1)、5.2)、5.3)、5.4)共8000000次，得到训练好的去雾网络。
步骤6：进行图像去雾。
6.1)将需要去雾处理的有雾图像Ic输入训练好的深度估计网络，网络输出深度图像Dc；
6.2)将有雾图像Ic和深度图像Dc一起输入训练好的去雾网络，通过网络输出清晰图像Jc。
本发明的效果通过以下仿真进一步说明：
一.仿真条件
1.测试图片：从网络上下载的四幅真实雾图以及Reside OTS和Make3D数据集；
2.仿真方法：使用现有的DCP算法、DehazeNet算法、GMAN算法、DuRB-US算法和本发明共五种方法；
二.仿真测试内容：
仿真测试1：使用上述五种方法对四幅合成雾图进行去雾处理，结果如图4所示，其中：
图4a为合成的四幅有雾图像，
图4b为使用DCP算法对图4a有雾图像进行去雾处理的结果，
图4c为使用DehazeNet算法对图4a有雾图像进行去雾处理的结果，
图4d为使用GMAN算法对图4a有雾图像进行去雾处理的结果，
图4e为使用DuRB-US算法对图4a有雾图像进行去雾处理的结果，
图4f为使用本发明方法对图4a有雾图像进行去雾处理的结果，
图4g为四幅无雾图像；
从图4可看出，使用现有的DCP算法和DuRB-US算法恢复的图像存在一定的色偏现象，使用现有的DehazeNet算法以及GMAN恢复的图像中依然有雾气残留。用本发明方法恢复的图像效果均优于其他四种去雾算法，更接近于无雾图像4g。
仿真测试2：使用上述五种方法分别对四幅真实雾图进行去雾处理，效果如图5所示，其中：
图5a为四幅真实有雾图像，
图5b为使用DCP算法对图5a有雾图像进行去雾处理的结果，
图5c为使用DehazeNet算法对图5a有雾图像进行去雾处理的结果，
图5d为使用GMAN算法对图5a有雾图像进行去雾处理的结果，
图5e为使用DuRB-US算法对图5a有雾图像进行去雾处理的结果，
图5f为使用本发明方法对图5a有雾图像进行去雾处理的结果；
从图5可看出，使用现有的DCP算法和DuRB-US算法恢复的图像具有较为严重的色偏，使用现有的DehazeNet算法以及GMAN恢复的图像在物体边缘区域依然存在比较明显的薄雾。用本发明方法恢复的图像效果均优于其他四种去雾算法。
仿真测试3：使用上述五种方法对Reside OTS和Make3D数据集进行去雾处理，其结构相似性SSIM指标和峰值信噪比PNSR指标对比，如表1所示:
表1
从表1可得，本发明方法的PSNR及SSIM数值都高于或等于DCP、DehazeNet、DuRB-US三种算法，SSIM指标虽然略低于GMAN算法，但其PSNR指标大幅高于GMAN算法，整体上效果优于其他四种算法。
综合上述五种算法在仿真结果上的比较，本发明方法在各类有雾图像上的去雾效果均优于其它四种算法。
Claims (10)
1.一种基于深度估计辅助的图像去雾方法，其特征在于包括：
1)在Pytorch框架下分别构建深度估计网络和去雾网络:
所述深度估计网络，包括八个卷积单元、六个残差模块层、六个上采样层和五个池化层；所述去雾网络，包括五个卷积单元、六个重标定模块层、一个上采样层和五个池化层；
所述每个卷积单元，包括卷积层，归一化层，该卷积层包括卷积操作以及LeakyReLU激活函数层；
2)获取一组清晰无雾图像集Jt，利用景深估计CNN模型分别估计出每张图像对应的景深信息Dt，根据深度图像集Dt进行计算得到透射率图像集T，并对无雾图像Jt根据透射率图像集T和人为设定的大气光值A进行人工加雾得到有雾图像集It，将有雾图像集It和深度图像集Dt作为深度估计网络的训练图像集，将无雾图像集Jt和有雾图像集It作为去雾网络的训练图像集；
3)对深度估计网络进行训练：
3a)将训练图像集It中的每张图像依次输入到深度估计网络中，输出估计出的对应深度
图像
3b)将深度图像集中对应的深度图像Dt与估计出的对应的深度图像
代入针对纹理细节设计的加权总损失公式，计算训练集中的每张图像对应的加权总损失值；
3c)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新深度估计网络中的参数，得到训练好的深度估计网络；
4)对去雾网络进行训练：
4a)将训练图像集It中的每张图像依次输入到训练好的深度估计网络中，输出估计出的对应深度图像D*；
4b)将训练图像集It中的每张图像与其对应深度图像D*输入到去雾网络中，输出估计出的对应的去雾图像J*；
4c)将无雾图像集中对应的无雾图像Jt与估计出的对应的去雾图像J*代入针对纹理细节设计的加权总损失公式，计算训练集中的每张图像对应的加权总损失值；
4e)利用Adam算法的网络参数更新方向公式，将最小化加权总损失值作为目标，更新深度估计网络中的参数，得到训练好的去雾网络；
5)将一幅需要去雾处理的有雾图像Ic输入到训练好的深度估计网络，输出深度图像Dc；
6)将输出的深度图像Dc和有雾图像Ic一起输入训练好的去雾网络，输出去雾后的图像Jc。
2.根据权利要求1所述的方法，其特征在于：1)中构建的深度估计网络，其包括前处理部分、后处理部分和输出部分；
所述前处理部分依次为：第一卷积单元→第二卷积单元→第三卷积单元→第一残差模块层→第一池化层→第二残差模块层→第二池化层→第三残差模块层→第三池化层→第四残差模块层→第一上采样层→第五残差模块层→第二上采样层→第六残差模块层→第三上采样层；该第一残差模块层同时与第六残差模块层相连接；该第二残差模块层同时与第五残差模块层相连接该第三残差模块层同时与第四残差模块层相连接；
所述后处理部分具有三条分支：
第一分支依次为：第四池化层→第四卷积单元→第四上采样层；
第二分支依次为：第五池化层→第五卷积单元→第五上采样层；
第三分支依次为：第六池化层→第六卷积单元→第六上采样层；该第四池化层、第五池化层、第六池化层均与第三上采样层相连接；
所述输出部分依次为：第七卷积单元→第八卷积单元；该第七卷积单元同时与第四上采样层、第五上采样层、第六上采样层相连接。
3.根据权利要求2所述的方法，其特征在于：深度估计网络的各层参数设置如下：
第一卷积单元、第二卷积单元的卷积核大小分别为7*7,5*5；
第三卷积单元、第四卷积单元、第五卷积单元、第六卷积单元、第七卷积单元、第八卷积单元的卷积核大小均为3*3；所有卷积单元的卷积步长均为1；
第一池化层、第二池化层、第三池化层的缩放因子均为2；
第四池化层的缩放因子为4，第五池化层的缩放因子为8，第六池化层的缩放因子为16；
第一上采样层、第二上采样层、第三上采样层的缩放因子均为2；
第四上采样层的缩放因子为4，第五上采样层的缩放因子为8，第六上采样层的缩放因子为16。
4.根据权利要求1所述的方法，其特征在于：1)中构建的去雾网络，其包括编码部分和解码部分；
所述编码部分依次为：第1卷积单元→第2卷积单元→第3卷积单元→第4卷积单元→第1重标定模块层→第2重标定模块层→第3重标定模块层；
所述解码部分依次为：第4重标定模块层→第5重标定模块层→第6重标定模块层→第1上采样层→第5卷积单元；
将第4卷积单元同时分别与第2重标定模块层、第3重标定模块层、第4重标定模块层、第5重标定模块层、第6重标定模块层相连接，得到构建的去雾网络。
5.根据权利要求4所述的方法，其特征在于：所述去雾网络的各层参数设置如下：
第1卷积单元的卷积核大小为7*7,第2卷积单元的卷积核大小为5*5；
第3卷积单元、第4卷积单元、第5卷积单元的卷积核大小均为3*3；
第1卷积单元、第2卷积单元、第3卷积单元,第5卷积单元的卷积步长均为1；
第4卷积单元的卷积步长为2；
第1上采样层的缩放因子为2。
6.根据权利要求1所述的方法，其特征在于：1)中的每个重标定模块层，结构为两个部分：
所述第一部分依次为：第Ⅰ卷积单元→第Ⅱ卷积单元→第Ⅰ全连接层→LeakyReLU激活函数层→第Ⅱ全连接层→Sigmod激活函数层；
所述第二部分依次为：第Ⅲ卷积单元→第Ⅰ上采样层→第Ⅳ卷积单元。将Sigmod激活函数层与第Ⅲ卷积单元相连接，第Ⅱ卷积单元和第Ⅲ卷积单元相连接，得到重标定模块层。
7.根据权利要求6所述的方法，其特征在于：所述重标定模块层的参数设置如下：
第Ⅰ卷积单元、第Ⅱ卷积单元、第Ⅲ卷积单元、第Ⅳ卷积单元的卷积核大小均为3*3；
第Ⅰ卷积单元的卷积步长为2；
第Ⅱ卷积单元、第Ⅲ卷积单元、第Ⅳ卷积单元的卷积步长均为1；
第Ⅰ上采样层的缩放因子为2；
第Ⅰ全连接层的输入特征图数量和输出特征图数量分别为64和32；
第Ⅱ全连接层的输入特征图数量和输出特征图数量分别为32和64。
8.根据权利要求1所述的方法，其特征在于：2)中根据深度图像集Dt进行计算得到透射率图像集T，通过如下公式计算：
其中，e为自然数对数的底数，β为大气散射系数，此处假定雾气在图像中均匀分布，β使用random函数在1.0-2.5间随机生成，Dt为对应的深度图像集Dt。
9.根据权利要求1所述的方法，其特征在于，3b)中所述的加权总损失公式，表示如下：
其中，||.||2为对矩阵求二范数操作，|.|为对矩阵求绝对值操作，m为输入图像的像素数，Sobel(.)为使用四方向Sobel算子进行卷积操作，Dt为深度图像集中对应的深度图像，
为估计出的对应的深度图像。
10.根据权利要求1所述的方法，其特征在于，4c)中所述的加权总损失公式，表示如下：
其中，‖.‖2为对矩阵求二范数操作，|.|为对矩阵求绝对值操作，m为输入图像的像素数，Sobel(.)为使用四方向Sobel算子进行卷积操作，Jt为无雾图像集中对应的无雾图像，
为估计出的对应的去雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010331563.4A CN111553856B (zh) | 2020-04-24 | 2020-04-24 | 基于深度估计辅助的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010331563.4A CN111553856B (zh) | 2020-04-24 | 2020-04-24 | 基于深度估计辅助的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553856A true CN111553856A (zh) | 2020-08-18 |
| CN111553856B CN111553856B (zh) | 2023-03-24 |
Family
ID=72003942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010331563.4A Active CN111553856B (zh) | 2020-04-24 | 2020-04-24 | 基于深度估计辅助的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553856B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
| CN112734679A (zh) * | 2021-01-26 | 2021-04-30 | 西安理工大学 | 一种医学手术视频图像的融合去雾方法 |
| CN115883851A (zh) * | 2021-09-28 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 滤波及编解码方法、装置、计算机可读介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100259651A1 (en) * | 2009-04-08 | 2010-10-14 | Raanan Fattal | Method, apparatus and computer program product for single image de-hazing |
| US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109146810A (zh) * | 2018-08-08 | 2019-01-04 | 国网浙江省电力有限公司信息通信分公司 | 一种基于端到端深度学习的图像去雾方法 |
| CN109272455A (zh) * | 2018-05-17 | 2019-01-25 | 西安电子科技大学 | 基于弱监督生成对抗网络的图像去雾方法 |
-
2020
- 2020-04-24 CN CN202010331563.4A patent/CN111553856B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100259651A1 (en) * | 2009-04-08 | 2010-10-14 | Raanan Fattal | Method, apparatus and computer program product for single image de-hazing |
| US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
| CN109272455A (zh) * | 2018-05-17 | 2019-01-25 | 西安电子科技大学 | 基于弱监督生成对抗网络的图像去雾方法 |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109146810A (zh) * | 2018-08-08 | 2019-01-04 | 国网浙江省电力有限公司信息通信分公司 | 一种基于端到端深度学习的图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| 丛晓峰等: "基于对偶学习的图像去雾网络", 《应用光学》 * |
| 邢晓敏等: "二阶段端到端的图像去雾生成网络", 《计算机辅助设计与图形学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
| CN112365476B (zh) * | 2020-11-13 | 2023-12-08 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
| CN112734679A (zh) * | 2021-01-26 | 2021-04-30 | 西安理工大学 | 一种医学手术视频图像的融合去雾方法 |
| CN115883851A (zh) * | 2021-09-28 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 滤波及编解码方法、装置、计算机可读介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553856B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN114092330B (zh) | 一种轻量化多尺度的红外图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾*** | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN113160286A (zh) | 一种基于卷积神经网络的近红外和可见光图像融合方法 | |
| CN111667421A (zh) | 一种图像去雾方法 | |
| CN116051396B (zh) | 一种基于特征增强网络和gru网络的图像去噪方法 | |
| CN111861939A (zh) | 一种基于无监督学习的单张图像去雾方法 | |
| CN113052776A (zh) | 基于多尺度深度图像先验的无监督图像去雾方法 | |
| CN115222614A (zh) | 一种先验引导的多降质特征夜光遥感影像质量提升方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN110889868A (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| CN113935916A (zh) | 基于环境光感知的端到端水下图像复原方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| CN114764752A (zh) | 一种基于深度学习的夜晚影像去雾算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |