CN110378849B - 基于深度残差网络的图像去雾去雨方法 - Google Patents
基于深度残差网络的图像去雾去雨方法 Download PDFInfo
- Publication number
- CN110378849B CN110378849B CN201910614054.XA CN201910614054A CN110378849B CN 110378849 B CN110378849 B CN 110378849B CN 201910614054 A CN201910614054 A CN 201910614054A CN 110378849 B CN110378849 B CN 110378849B
- Authority
- CN
- China
- Prior art keywords
- image
- fog
- network
- defogging
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度残差网络的图像去雾去雨方法。首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性转换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。本发明能够去除图像中的雾气或者雨水，使得图像场景更清晰、图像细节更丰富，可应用于雾天和雨天交通监控、目标跟踪、自主导航等场合。
Description
技术领域
本发明于图像处理技术领域，具体涉及一种基于深度残差网络的图像去雾去雨方法。
背景技术
随着大气污染的加重，雾霾天气出现的频率越来越高。雾霾天气下，大气中悬浮的细微颗粒以及水滴会对光线产生吸收、散射和折射等作用，使得雾天生成的图像场景不清晰、图像细节丢失，限制了雾天图像和视频在交通监控、目标跟踪、自主导航等领域的应用。为此，雾天图像的清晰化处理至关重要。图像去雾就是一类研究雾天图像清晰化的技术。近些年来，研究者们提出了一系列的图像去雾算法。这些算法可以大致分为：传统的基于先验的算法[1-6]、基于学习的算法[7-9]。它们之间的主要区别在于：基于先验的算法设计描述子提取图像特征，而基于学习的算法通过卷积神经网络(Convolutional Neural Network,CNN)自动提取图像特征。
传统的图像去雾算法致力于估计有雾图像中的透射率t(x)和大气光值α，然后使用大气散射模型来推导去雾结果。经典大气散射模型的定义为：
I(x)＝J(x)t(x)+α(1-t(x))
其中，I(x)代表有雾图像，J(x)代表无雾图像。然而，透射率的估计至今仍然是个难题，特别是当物体的颜色近似于大气光时，透射率的准确估计愈发困难。而图像去雾的效果与透射率估计的准确程度密切相关。此外，传统图像去雾算法不够稳健，比如，著名的暗通道先验方法(DarkChannelPrior,DCP)[1]在天空区域的去雾容易出现颜色失真。
随着深度学习技术的蓬勃发展，越来越多的研究人员使用卷积神经网络(CNNs)探索图像去雾问题。基于CNN的算法往往比传统算法的去雾效果更好。
发明内容
本发明的目的在于提供一种基于深度残差网络的图像去雾去雨方法，该方法能够去除图像中的雾气或者雨水，使得图像场景更清晰、图像细节更丰富，可应用于雾天和雨天交通监控、目标跟踪、自主导航等场合。
为实现上述目的，本发明的技术方案是：一种基于深度残差网络的图像去雾去雨方法，建立深度网络模型，包括上下文感知编码模块、非线性变换模块、雾气浓度解码模块；首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性变换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。
在本发明一实施例中，所述通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图的具体实现过程如下：
上下文感知编码模块首先采用多尺度神经网络聚合像素点的上下文信息，即分别采用64个大小为3×3的卷积核、32个大小为5×5的卷积核、32个大小为7×7的卷积核对输入图像进行卷积操作，然后将它们拼接在一起构成128个通道的初始特征图；初始特征图的宽高定义为：
W'＝(W-F+2P)/S+1
H'＝(H-F+2P)/S+1
其中，W'和H'分别表示初始特征图的宽度和高度，F代表卷积核大小，S代表步长，P代表特征映射中填充的周围层数；由上述两式可知，可使用P来确保不同F获得的初始特征图大小相同，初始特征图经过大小3×3、步长为2的卷积核进行卷积操作，并使用组归一化和激活函数，依次得到256、512个通道的处理结果。
在本发明一实施例中，所述采用非线性转换模块来提取图像高级特征的具体实现过程如下：
残差图与有雾图像之间的关系是非线性的，为了刻画这种非线性关系，非线性变换模块使用非线性变换将图像特征信息转换为高维残差信息，非线性变换模块由七个瓶颈构建块组成，瓶颈构建块执行如下映射：
xi+1＝RPReLu(F(xi,wi)+I(xi))
其中，xi和xi+1分别代表第i个瓶颈构建块的输入和输出，wi是与第i个构建块相关联的一组权重，I(.)代表识别函数，RPReLu(xi)为非线性变换模块采用的非线性激活函数，该激活函数在负坐标区间保持原始信号，在正坐标区间通过添加系数来抑制原始信号，αi代表加权系数，i代表不同的通道；
每个瓶颈构建块的三层网络采用的卷积核大小分别为1×1、3×3和1×1，其中，卷积核1×1的网络层用于改变特征图的尺寸，卷积核3×3的网络层用于提取高层图像特征，每层采用激活函数RPReLu和组归一化。
在本发明一实施例中，该方法还将均方误差和特征重建损失的加权组合定义为网络损失函数，即：
Ltotal＝L+βLp
式中，β是加权参数，损失函数的第一部分即均方误差，其具体定义为：
R＝G-I
其中，DRHNet(I)即表示采用本发明方法获得的残差，G是无雾图像，I是有雾图像；
损失函数的第二部分为特征重建损失Lp，其具体定义为：
其中，VGG(.)是VGG-16网络，H、W和C表示特征图的高度、宽度和通道数量，j代表VGG-16的层数。
相较于现有技术，本发明具有以下有益效果：本发明方法的图像去雾效果明显优于现有的图像去雾算法，同时，本发明方法也取得了令人满意的图像去雨效果，证实了本发明方法良好的普适性。
附图说明
图1为本发明方法的流程图。
图2为本发明方法提出的深度网络架构。
图3为PReLu[10]和RPReLu激活函数示意图。
图4为非线性变换模块结构。
图5为在室内和室外典型合成图像上不同去雾算法的去雾结果。
图6为六幅真实世界图像上不同去雾算法的的去雾结果。
图7为不同算法的图像去雨结果。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，本发明提供了一种基于深度残差网络的图像去雾去雨方法，建立深度网络模型，包括上下文感知编码模块、非线性变换模块、雾气浓度解码模块；首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性变换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。
如图2所示，本发明提出的深度网络模型由三个模块组成：上下文感知编码模块、非线性变换模块、雾气浓度解码模块。深度学习常识告诉我们，更深的神经网络往往更难训练。已有研究表明，将神经网络的功能从估计无雾图像调整为估计无雾图像和有雾图像之间的残差，将减少深度学习的计算代价。为此，本发明方法试图通过深度学习估计无雾图像和有雾图像之间的残差。具体地，本发明方法提出一种新颖的上下文感知特征提取模块，用于聚合有雾图像像素点的上下文信息，将其编码为特征图；然后，采用非线性转换模块来提取图像高级特征；接着，采用解码器将特征图解码以获得前述残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。
1、上下文感知编码模块
图像去雾与图像恢复/增强之间的差异在于：随着图像中场景深度的增加，其受雾气影响的程度通常也会增加。为了更有效地提取有雾图像特征，上下文感知编码模块首先采用多尺度神经网络聚合像素点的上下文信息，即分别采用64个大小为3×3的卷积核、32个大小为5×5的卷积核、32个大小为7×7的卷积核对输入图像进行卷积操作，然后将它们拼接在一起构成128个通道的初始特征图。该特征图的宽高定义为：
W'＝(W-F+2P)/S+1
H'＝(H-F+2P)/S+1
其中，W'和H'分别表示初始特征图的宽度和高度，F代表卷积核大小，S代表步长，P代表特征映射中填充的周围层数；由上述两式可知，可使用P来确保不同F获得的初始特征图大小相同，初始特征图经过大小3×3、步长为2的卷积核进行卷积操作，并使用组归一化(GN)和激活函数(PReLu)，依次得到256、512个通道的处理结果。
2、非线性变换模块
激活函数与深度学习算法效果密切相关。在已有激活函数PReLu的启发下，结合有雾图像的统计先验，本发明提出一种新的非线性激活函数(RPReLu)，以加速网络的收敛。已有研究表明：有雾图像通常比无雾图像亮度更高，图像暗通道对应像素值往往会增加。借鉴著名的残差网络ResNet对残差的定义，即残差指深度学习模型的输出减去输入。为此，本发明方法提及的残差是指无雾图像减去有雾图像。而无雾图像通常比有雾图像偏暗，因此，残差应该是负矩阵。为此，本发明方法设计的激活函数在负坐标区间应保持原始信号，在正坐标区间应添加系数来抑制原始信号。图3给出了本发明方法提出的激活函数(RPReLu)示意图，其形式化定义为：
式中，αi代表加权系数，实验中将其设置为0.1，i代表不同的通道；
残差图与有雾图像之间的关系是非线性的。为了刻画这种非线性关系，非线性变换模块使用非线性变换将图像特征信息转换为高维残差信息。如图4所示，非线性变换模块由七个瓶颈构建块组成，瓶颈构建块执行如下映射：
xi+1＝RPReLu(F(xi,wi)+I(xi))
其中，xi和xi+1分别代表第i个瓶颈构建块的输入和输出，wi是与第i个构建块相关联的一组权重，I(.)代表识别函数。
每个瓶颈构建块的三层网络采用的卷积核大小分别为1×1、3×3和1×1，其中，卷积核1×1的网络层用于改变特征图的尺寸，卷积核3×3的网络层用于提取高层图像特征，每层采用激活函数RPReLu和组归一化。
3、雾气浓度解码模块
本发明方法的出发点是通过深度学习获得无雾图像和有雾图像相应像素点之间的差异。由于非线性变换模块提取的图像特征相对抽象，因此有必要使用解码模块进行解码，解码模块中的激活函数仍然采用RPReLu。
4、损失函数
现有图像去雾深度学习网络常使用均方误差作为损失函数。本发明算法将均方误差和特征重建损失的加权组合定义为网络损失函数，即：
Ltotal＝L+βLp
式中，β是加权参数，实验中设置为0.5，损失函数的第一部分即均方误差，其具体定义为：
R＝G-I
其中，DRHNet(I)即表示采用本发明方法获得的残差，G是无雾图像，I是有雾图像；
损失函数的第二部分为特征重建损失Lp，两幅相似的图像在抽象的神经网络底层和高级特征中应该是相似的。为此，将损失网络(著名的VGG-16网络)运行在图像上来提取特征并度量其底层和高级特征之间的相似性，即Lp的具体定义为：
其中，VGG(.)是VGG-16网络，H、W和C表示特征图的高度、宽度和通道数量，j代表VGG-16的层数。
为了验证本发明方法在图像去雾去雨上的优越性，采用公开的合成数据集和实际数据集作为实验对象。图像去雾效果评价采用公开数据集(RESIDE)[11]，其包含两个子数据集，即综合目标测试集(SOTS)和混合主观测试集(HSTS)；图像去雨效果评价采用Photoshop合成的12000幅不同密度和方向的雨季图像构成的公开数据集。实验中，本发明方法网络训练120个时期，初始学习率设置为0.01，每40个时期衰减0.1。所有实验均在具有Intel CPUE5-2683、64GB RAM和NVIDIA GTX1080的服务器上执行。
表1图像去雾结果的平均PSNR和SSIM测度值
(1)合成图像去雾的定量比较
本发明方法(DRHNet)与现有的9种图像去雾算法进行了定量比较，即DCP[1]、FVR[2]、BCCR[3]、CAP[4]、GRM[5]、NLD[6]、DehazeNet[7]、MSCNN[8]、AOD-Net[9]。其中，前3个算法是图像去雾领域最具代表性的传统算法，第4～6个算法是新近的传统去雾算法，最后3个是基于深度学习的去雾算法。所有算法在3个数据集上进行了对比实验，即SOTS数据集中500幅合成的室内图像、SOTS数据集中500幅合成的室外图像、20幅图构成的混合主观测试集(HSTS)。定量评价指标采用峰值信噪比(PSNR)和结构相似性(SSIM)。如表1所示，定量评价结果表明：在上述三个数据集上，本发明方法的PSNR和SSIM测度值均明显高于其他算法，表明其去雾效果明显好于其他算法。
(2)合成图像去雾的定性评价
合成图像去雾效果的定性评价见图5。如图5所示，DCP[1]、CAP[4]和GRM[5]的去雾结果亮度偏暗。BCCR[3]的去雾结果亮度偏高，特别是在图像高亮度区域存在曝光现象，如图5(c)第五行的图像由于曝光现象无法定位太阳所在位置；且其去雾结果存在明显的颜色失真现象；DehazeNet[7]的去雾结果存在一些雾气残留。本发明方法的去雾结果与无雾图像最相似，去雾效果最佳。
(3)真实世界图像的定性评价
图6展示了几种算法在6幅真实图像上的去雾结果。如图6所示，DCP[1]对雾气的去除效果好，但其在天空区域存在颜色失真现象；FVR[2]的去雾结果存在雾气残留和颜色失真现象；BCCR[3]的去雾结果偏亮，存在曝光和明显的颜色失真现象；GRM[5]的去雾结果存在图像模糊和颜色失真问题；CAP[4]和DehazeNet[7]在部分图像上去雾结果存在雾气残留现象。与其他算法相比，本发明方法的去雾结果不仅更清晰，保留了更多图像细节，同时颜色保真度最好。
表2去雨数据集去雨结果的平均PSNR和SSIM值
| 有雨图像 | DSC[12] | GMM[13] | CNN[14] | JBO[15] | DDN[16] | DID-MIN[17] | JORDER[19] | 发明方法 | |
| PSNR | 21.15 | 21.44 | 22.75 | 22.07 | 23.05 | 27.33 | 27.95 | 24.32 | 31.58 |
| SSIM | 0.78 | 0.79 | 0.84 | 0.84 | 0.85 | 0.90 | 0.91 | 0.86 | 0.94 |
(4)图像去雨的定量和定性评价
雾气和雨水在某种程度上非常相似，都降低了场景能见度，但又并未完全丢失图像信息。为探索本发明方法的普适性，将其应用到图像去雨任务中。我们将本发明方法与新近的7种去雨算法，即DSC[12]、GMM[13]、CNN[14]、JBO[15]、DDN[16]、DID-MIN[17]]、JORDER[18]，在公开数据集[19]上进行了去雨结果的对比分析。表2给出了整个数据集上图像去雨结果定量评价测度的平均值。由表2可见，本发明方法对应的PSNR和SSIM值均高于其他算法，表明其去雨效果好于其他算法。图7给出了数据集中两幅典型图像的去雨结果。由图7可见，本发明方法的去雨效果最佳，去雨后的图像场景最清晰自然，与无雨图像最相似。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
参考文献：
[1]K.He,J.Sun,and X.Tang,“Single image haze removal using darkchannel prior,”IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.33,no.12,pp.2341–2353,2011.
[2]J.P.Tarel and N.Hautiere,“Fast visibility restoration from asingle color or gray level image,”in IEEE International Conference onComputer Vision,pp.2201–2208,2009.
[3]G.Meng,Y.Wang,J.Duan,S.Xiang,and C.Pan,“Efficient image dehazingwith boundary constraint and contextual regularization,”in IEEE InternationalConference on Computer Vision,pp.617–624,2013.
[4]Q.Zhu,J.Mai,and L.Shao,“A fast single image haze removal algorithmusing color attenuation prior,”IEEE Transactions on Image Processing,vol.24,no.11,pp.3522–3533,2015.
[5]C.Chen,N.Do,and J.Wang,“Robust image and video dehazing withvisual artifact suppression via gradient residual minimization,”in EuropeanConference on Computer Vision,pp.576–591,2016.
[6]D.Berman and S.Avidan,“Non-local image dehazing,”in IEEEConference on Computer Vision and Pattern Recognition,pp.1674–1682,2016.
[7]B.Cai,X.Xu,K.Jia,C.Qing,and D.Tao,“Dehazenet:An end-to end systemfor single image haze removal,”IEEE Transactions on Image Processing,vol.25,no.11,pp.5187–5198,2016.
[8]W.Ren,S.Liu,H.Zhang,J.Pan,X.Cao,and M.H.Yang,“Single imagedehazing via multi-scale convolutional neural networks,”in EuropeanConference on Computer Vision,pp.154–169,2016
[9]B.Li,X.Peng,Z.Wang,J.Xu,and D.Feng,“AOD-net:All-in-one dehazingnetwork,”in The IEEE International Conference on Computer Vision,pp.4770–4778,2017.
[10]K.He,X.Zhang,S.Ren,and J.Sun,“Delving deep into rectifiers:Surpassing human-level performance on imagenet classification,”in IEEEInternational Conference on Computer Vision,pp.1026–1034,2015.
[11]B.Li,W.Ren,D.Fu,D.Tao,D.Feng,W.Zeng,and Z.Wang,“Reside:Abenchmark for single image dehazing,”arXiv preprint arXiv:1712.04143,vol.1,2017.
[12]Y.Luo,Y.Xu,and H.Ji,“Removing rain from a single image viadiscriminative sparse coding,”in IEEE International Conference on ComputerVision,pp.3397–3405,2015.
[13]Y.Li,R.Tan,X.Guo,J.Lu,and M.S.Brown,“Rain streak removal usinglayer priors,”in IEEE Conference on Computer Vision and Pattern Recognition,pp.2736–2744,2016.
[14]X.Fu,J.Huang,X.Ding,Y.Liao,and J.Paisley,“Clearing the skies:Adeep network architecture for single-image rain removal,”IEEE Transactions onImage Processing,vol.26,no.6,pp.2944–2956,2017.
[15]L.Zhu,C.Fu,D.Lischinski,and P.A.Heng,“Joint bi-layer optimizationfor single-image rain streak removal,”in IEEE International Conference onComputer Vision,pp.2526–2534,2017.
[16]X.Fu,J.Huang,D.Zeng,Y.Huang,X.Ding,and J.Paisley,“Removing rainfrom single images via a deep detail network,”in IEEE Conference on ComputerVision and Pattern Recognition,pp.1715–1723,2017.
[17]H.Zhang and V.M.Patel,“Density-aware single image de-rainingusing a multi-stream dense network,”in IEEE Conference on Computer Vision andPattern Recognition,pp.695–704,2018.
[18]D.Chen,M.He,Q.Fan,J.Liao,L.Zhang,D.Hou,L.Yuan,and G.Hua,“Gatedcontext aggregation network for image dehazing and deraining,”in 2019 IEEEWinter Conference on Applications ofComputer Vision(WACV),pp.1375–1383,2019.。
Claims (2)
1.一种基于深度残差网络的图像去雾去雨方法，其特征在于，建立深度网络模型，包括上下文感知编码模块、非线性变换模块、雾气浓度解码模块；首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性变换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果；
所述通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图的具体实现过程如下：
上下文感知编码模块首先采用多尺度神经网络聚合像素点的上下文信息，即分别采用64个大小为3×3的卷积核、32个大小为5×5的卷积核、32个大小为7×7的卷积核对输入图像进行卷积操作，然后将它们拼接在一起构成128个通道的初始特征图；初始特征图的宽高定义为：
W'＝(W-F+2P)/S+1
H'＝(H-F+2P)/S+1
其中，W'和H'分别表示初始特征图的宽度和高度，F代表卷积核大小，S代表步长，P代表特征映射中填充的周围层数；由上述两式可知，可使用P来确保不同F获得的初始特征图大小相同，初始特征图经过大小3×3、步长为2的卷积核进行卷积操作，并使用组归一化和激活函数，依次得到256、512个通道的处理结果；
所述采用非线性变换 模块来提取图像高级特征的具体实现过程如下：
残差图与有雾图像之间的关系是非线性的，为了刻画这种非线性关系，非线性变换模块使用非线性变换将图像特征信息转换为高维残差信息，非线性变换模块由七个瓶颈构建块组成，瓶颈构建块执行如下映射：
xi+1＝RPReLu(F(xi,wi)+I(xi))
其中，xi和xi+1分别代表第i个瓶颈构建块的输入和输出，wi是与第i个构建块相关联的一组权重，I(.)代表识别函数，RPReLu(xi)为非线性变换模块采用的非线性激活函数，该激活函数在负坐标区间和0处保持原始信号，在正坐标区间通过添加系数来抑制原始信号，αi代表加权系数，i代表不同的通道；
每个瓶颈构建块的三层网络采用的卷积核大小分别为1×1、3×3和1×1，其中，卷积核1 ×1的网络层用于改变特征图的尺寸，卷积核3×3的网络层用于提取高层图像特征，每层采用激活函数RPReLu和组归一化。
2.根据权利要求1所述的基于深度残差网络的图像去雾去雨方法，其特征在于，该方法还将均方误差和特征重建损失的加权组合定义为网络损失函数，即：
Ltotal＝L+βLp
式中，β是加权参数，损失函数的第一部分即均方误差，其具体定义为：
R＝G-I
其中，DRHNet(I)即表示获得的残差，G是无雾图像，I是有雾图像；
损失函数的第二部分为特征重建损失Lp，其具体定义为：
其中，VGG(.)是VGG-16网络，Hj、Wj和Cj表示特征图的高度、宽度和通道数量，j代表VGG-16的层数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910614054.XA CN110378849B (zh) | 2019-07-09 | 2019-07-09 | 基于深度残差网络的图像去雾去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910614054.XA CN110378849B (zh) | 2019-07-09 | 2019-07-09 | 基于深度残差网络的图像去雾去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378849A CN110378849A (zh) | 2019-10-25 |
| CN110378849B true CN110378849B (zh) | 2021-06-01 |
Family
ID=68252477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910614054.XA Active CN110378849B (zh) | 2019-07-09 | 2019-07-09 | 基于深度残差网络的图像去雾去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378849B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866879B (zh) * | 2019-11-13 | 2022-08-05 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111161161B (zh) * | 2019-12-04 | 2023-05-16 | 天津大学 | 一种颜色保持的特征融合去雾方法 |
| CN111797834B (zh) * | 2020-05-28 | 2021-06-15 | 华南理工大学 | 文本识别方法、装置、计算机设备和存储介质 |
| CN112070691B (zh) * | 2020-08-26 | 2024-02-06 | 闽江学院 | 一种基于U-Net的图像去雾方法 |
| CN112132761B (zh) * | 2020-09-16 | 2023-07-14 | 厦门大学 | 一种基于循环上下文聚合网络的单图像去雾方法 |
| CN112365414B (zh) * | 2020-11-04 | 2022-11-08 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
| CN112767258B (zh) * | 2020-12-18 | 2023-10-31 | 闽江学院 | 一种端到端的图像去沙尘暴方法 |
| CN113554872B (zh) * | 2021-07-19 | 2022-09-20 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及*** |
| CN115034999B (zh) * | 2022-07-06 | 2024-03-19 | 四川大学 | 一种基于雨雾分离处理和多尺度网络的图像去雨方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
| CN108876728A (zh) * | 2018-04-20 | 2018-11-23 | 南京理工大学 | 基于残差学习的单幅图像去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109785262A (zh) * | 2019-01-11 | 2019-05-21 | 闽江学院 | 基于暗通道先验和自适应直方图均衡化的图像去雾方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9508129B1 (en) * | 2015-11-06 | 2016-11-29 | Adobe Systems Incorporated | Dehazing photos and videos using visual artifact suppression |
-
2019
- 2019-07-09 CN CN201910614054.XA patent/CN110378849B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
| CN108876728A (zh) * | 2018-04-20 | 2018-11-23 | 南京理工大学 | 基于残差学习的单幅图像去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109785262A (zh) * | 2019-01-11 | 2019-05-21 | 闽江学院 | 基于暗通道先验和自适应直方图均衡化的图像去雾方法 |
Non-Patent Citations (4)
| Title |
|---|
| Bidirectional Deep Residual learning for Haze Removal;Guisik Kim 等;《the Computer Vision Foundation》;20190616;46-54 * |
| Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining;Guanbin Li 等;《arXiv:1808.01491v1》;20180804;1-9 * |
| 基于多特征融合的卷积神经网络图像去雾算法;徐岩 等;《激光与光电子学进展》;20180331(第3期);260-269 * |
| 椒盐图像的方向加权均值滤波算法;李佐勇 等;《中国图象图形学报》;20131130(第11期);1407-1415 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378849A (zh) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
| CN112907479B (zh) | 基于注意力机制的残差单幅图像去雨方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾*** | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN111161161A (zh) | 一种颜色保持的特征融合去雾方法 | |
| CN112070691B (zh) | 一种基于U-Net的图像去雾方法 | |
| Bansal et al. | A review of image restoration based image defogging algorithms | |
| CN110807744A (zh) | 一种基于卷积神经网络的图像去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN111598793A (zh) | 一种用于输电线路图像去雾的方法、***及存储介质 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和*** | |
| CN105335930A (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及*** | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| CN112734675A (zh) | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 | |
| Guo et al. | Marg-unet: a single image dehazing network based on multimodal attention residual group | |
| Hua et al. | Iterative residual network for image dehazing | |
| CN111832348B (zh) | 基于像素和通道注意力机制的行人重识别方法 | |
| CN116452450A (zh) | 一种基于3d卷积的偏振图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211108 Address after: 350003 block 15, block a, No. 89, software Avenue, Tongpan Road, Gulou District, Fuzhou City, Fujian Province Patentee after: FUJIAN RONGJI SOFTWARE Co.,Ltd. Address before: 200 xiyuangong Road, Shangjie Town, Minhou County, Fuzhou City, Fujian Province Patentee before: MINJIANG University |
|
| TR01 | Transfer of patent right |