CN112365414A - 一种基于双路残差卷积神经网络的图像去雾方法 - Google Patents
一种基于双路残差卷积神经网络的图像去雾方法 Download PDFInfo
- Publication number
- CN112365414A CN112365414A CN202011214129.4A CN202011214129A CN112365414A CN 112365414 A CN112365414 A CN 112365414A CN 202011214129 A CN202011214129 A CN 202011214129A CN 112365414 A CN112365414 A CN 112365414A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- convolution
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims description 30
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双路残差卷积网络的图像去雾方法,所述方法包括以下步骤:基于大气散射模型,通过无雾图像和已知的景深,随机选取全局大气光和大气散射系数,由无雾图生成有雾图,建立训练集;网络结构由特征预提取模块、特征转换模块和图像恢复模块搭建,特征预提取模块提取的特征分为两个尺度,特征转换模块利用级联的双路残差卷积单元对相同尺度的特征作残差连接,能够提取不同尺度感受野的雾霾信息;采用L1范数损失函数、结构相似性损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾网络;将单幅有雾图像训练好的去雾网络,得到去雾图像;本发明不需要复杂的假设和先验,可以直接从单幅有雾图像恢复出无雾图像。
Description
技术领域
本发明涉及图像处理技术与深度学习技术领域,尤其涉及一种基于双路残差卷积神经网络的图像去雾方法。
背景技术
雾霾是一种常见的大气现象。雾在空气的相对湿度达到饱和时产生,此时空气中的一些水汽会凝结成小水滴。霾由气溶胶颗粒组成,这是一种悬浮在空气中的灰尘颗粒。雾和霾有着相同的起因,当湿度足够时霾也可以转化成雾。这种常见的天气状况,是导致图像质量降低的重要原因之一。
很多机器视觉***的稳定性依赖输入图像的质量。在监控、识别、自动驾驶等应用中,雾霾则会降低输入图像的质量,从而导致更严重的***判断或决策错误。大气中的雾霾颗粒对光线的吸收和散射导致了图像的低分辨率、低对比度和颜色失真,图像质量的降低增加了监控分析和目标识别的难度。在道路监控中,雾霾会影响到车辆和行人的准确识别。在自动驾驶中,捕捉到的图像质量降低,可能导致***作出错误的判断,从而引发安全事故。
图像去雾可以分为图像增强的方法和图像复原的方法。图像增强从图像处理的角度出发,通过增强图像的对比度和饱和度等方式来改善图像的视觉效果,这种方法中比较主流的有直方图均衡法、Retinex算法、基于小波变换的方法等。
图像复原的方法将雾霾看做是加在原图上的一种噪声,通过建立物理模型恢复出原始图像,由于其更具有理论支撑,更加注重雾霾对图像带来的影响及物理规律,在近年来的研究中获得了更广泛的关注。图像复原的方法又可以分为基于额外信息的方法、基于先验条件的方法,以及基于深度学习的方法。基于额外信息的方法无法仅通过单幅图像完成去雾,需要借助额外的场景图像信息、深度信息或三维建模信息等。基于先验的方法采用人工提取的先验特征作为前提,在此基础上进行图像去雾,例如,He等人[1]提出了暗通道先验,该先验假设无雾图像中(除了天空和亮度很大的区域以外),总有某些像素点的一个颜色通道的像素值接近于0,并结合大气散射模型,利用已知的有雾图可以反推出图像传输率,从而可以得到无雾图像。
基于先验的方法尽管易于实现,在一些条件下也有不错的效果,但是其基于的假设未经证明,存在一定的不可靠性。近年来,基于深度学习的方法由于其更稳定的效果、更广泛的适用性越来越被重视。基于深度学习的方法能够直接从数据中学习到有雾图和无雾图之间的关系,而不需要人为的干预。例如,Cai等人[2]提出的DehazeNet是一个基于图像传输率的模型,它能够直接训练出有雾霾图像和其对应的传输率之间的映射关系,进而通过大气散射模型恢复出无雾图。Ren等人[3]提出了一种多尺度的卷积神经网络MSCNN,它先生成一个粗尺度的传输率,然后逐渐细化它,最后通过细化的传输率恢复无雾图像。
在现有技术中,图像增强的方法通常存在颜色失真、细节丢失等问题;基于物理模型的方法尽管在去雾上能取得更好的效果,但是物理模型是一个欠定方程,准确地恢复出无雾图像具有一定的难点,现有技术通常是通过估计图像传输率和全局大气光等中间参数间接地实现去雾,恢复无雾图时误差会被放大,从而影响去雾图的质量。因此,设计一种能够直接学习有雾图和无雾图之间变换关系的方法,实现对不同场景不同尺寸图像的去雾,具有更高的实用价值。
发明内容
本发明提供了一种基于双路残差卷积神经网络的图像去雾方法,本发明利用深度神经网络进行图像去雾,去雾神经网络包含特征预提取模块、特征转换模块和图像恢复模块;采用L1范数损失函数、结构相似性损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络。该方法不需要复杂的假设和先验,可以直接从单幅有雾图像恢复出无雾图像,详见下文描述:
为了解决现有技术,本发明提供一种基于双路残差卷积神经网络的图像去雾方法,包括如下步骤:
101:基于大气散射模型使用已知景深、随机选取全局大气光和大气散射系数对采集无雾图像和深度信息进行处理建立包含成对有雾和无雾图像的训练图像集;
102:构建去雾神经网络,网络结构包含特征预提取模块、特征转换模块和图像恢复模块,
103:采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络;
104:将单幅有雾图像训练好的去雾神经网络,得到去雾图像。
进一步,所述去雾网络采用如下步骤对训练图像集中有雾图像特征处理步骤:
所述特征预提取模块通过多个卷积层对训练图像集中有雾图像特征进行提取获得第一阶段图像特征;
所述特征转换模块采用多个级联的双路残差卷积单元对第一层雾图像特征进行处理获得第二阶段图像特征;
所述图像恢复模块利用多个卷积层和通道注意力层将第二阶段图像特征进行转化获得无雾图像特征图像输出。
进一步,所述特征预提取模块由若干卷积层和下采样层组成;
所述特征预提取模块提取的中间特征分为两个尺度,用于与双路残差卷积单元相连;
所述特征转换模块模块由多个双路残差卷积单元级联而成;
所述图像恢复模块由上采样层、通道注意力层和卷积层组成,使用Tanh作为最后一层的激活函数,生成去雾后的图像;其中:特征转换模块中的双路残差卷积单元通过对有雾图像特征的反复变换,获取不同的感受野来提取与雾有关的特征;
进一步,所述多个级联的双路残差卷积单元中的每个双路残差卷积单元由上采样层,G模块、通道注意力层、下采样层、H模块组成;所述G模块和H模块的结构相同,所述G模块和H模块位于双路残差卷积单元内的不同位置,其中:G模块与上一个双路残差卷积单元中的G模块输出结果相加,H模块与上一个双路残差卷积单元中的H模块输出结果相加
进一步,所述双路残差卷积单元中的G模块和H模块对第一阶段图像特征处理步骤:
将两个卷积层的输出与M和X相加得到模块的输出图像特征Y,即:
Y=C3×3(M)+C5×5(M)+M+X
由G模块或H模块输出第二层雾图像特征Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入;其中:不同的双路残差卷积单元对应不同的输入特征X和输出特征Y;特别地,第一个双路残差卷积单元的输入X为特征预提取模块输出的第一阶段特征,最后,一个双路残差卷积单元的输出为整个特征转换模块输出的第二阶段特征。
进一步,所述图像恢复模块由卷积层和通道注意力层组成,使用Tanh作为最后一层的激活函数,生成去雾后的图像,其中注意力层对第二阶段图像特征处理过程为:
输入第二层雾图像特征连续通过两层卷积核为1×1的卷积层和一个Sigmoid函数,两层卷积的卷积核的个数分别为c/k和c;
将后一个卷积层输出的特征图输入至Sigmoid函数,输出c个通道的权重系数;
再将输入特征图的每个通道与对应的权重系数相乘,相乘之后的结果输入至与该注意力层相连的下一个卷积层。
本发明提供的技术方案的有益效果是:
1、本发明不需要任何人工提取的先验信息,能够通过神经网络直接学习有雾图和无雾图的变换关系,实现较为真实的图像去雾;
2、本发明训练好以后,只需要单幅有雾图即可得到无雾图,不需要额外信息和;
3、本发明的去雾效果较好,对不同尺寸和场景的图像都有良好的效果。
附图说明
图1为一种基于双路残差卷积神经网络的图像去雾方法的流程图;
图2为去雾神经网络整体结构示意图;
图3为双路残差卷积单元中G模块和H模块的结构示意图;
图4为实验结果中一幅室外场景有雾图及去雾图;
图5为实验结果中另一室外场景有雾图及去雾图;
图6为实验结果中另一室外场景有雾图及去雾图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例
为了实现逼真的图像去雾,本发明实施例提出了基于双路残差卷积神经网络的图像去雾方法,参见图1,详见下文描述:
101:采集无雾图像和深度信息,基于大气散射模型,使用已知景深,随机选取全局大气光和大气散射系数,由无雾图生成有雾图,建立包含成对有雾和无雾图像的训练图像集;
102:构建去雾神经网络,网络结构包含特征预提取模块、特征转换模块和图像恢复模块,其中特征转换模块中的双路残差卷积单元通过对图像特征的反复变换,获取不同的感受野来提取与雾有关的特征;
103:采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络;
104:将单幅有雾图像训练好的去雾神经网络,得到去雾图像。
其中,步骤101中的建立训练集的具体步骤为:
1)基于大气散射模型,即公式(1),使用已知的景深信息d(x),随机选取全局大气光A和大气散射系数β,由无雾图J(x)得到有雾图I(x);
I(x)=J(x)e-βd(x)+A(1-e-βd(x)) (1)
式中,x为图像中的像素点的位置,全局大气光A的取值为[0.7,1.0]之间的随机值,大气散射系数β为[0.6,1.8]之间的随机值,每张无雾图分别取随机的A和β生成10张有雾图;
2)将无雾图J(x)和有雾图I(x)组成训练集;
3)将训练集的图片大小全部缩放到N×N,训练集中的有雾图被输入至去雾神经网络;一般地,取N=256。
其中,步骤102中构建去雾神经网络的具体步骤为:
1)去雾神经网络结构包括特征预提取模块、特征转换模块和图像恢复模块。去雾神经网络的结构如图2所示,每个单元下方的数字K表示该单元输出特征图的尺寸为K×K;除了输入图像和输出图像为3通道外,神经网络内其他层输出的特征图均为64通道。
2)特征预提取模块包含3个级联的卷积层,特征预提取模块的输出作为特征转换模块的输入;
3)特征转换模块由n个双路残差卷积单元级联而成,本发明对n的取值不做限制。在本实施例中取n=3,图2中仅画出一个双路残差卷积单元的示意图;
每个双路残差卷积单元由上采样层,G模块、通道注意力层、下采样层、H模块组成;G模块和H模块的结构相同,位于双路残差卷积单元内的不同位置,其中G模块与上一个双路残差卷积单元中的G模块输出结果相加,H模块与上一个双路残差卷积单元中的H模块输出结果相加;其中第一个双路残差卷积单元中的G模块和H模块与特征预提取模块中第二层和第三层卷积层的输出相加;如图2所示。
4)去雾神经网络中使用的双路残差卷积单元结构均相同,如图2虚线框内部分所示。下面以任一双路残差卷积单元为例说明对输入特征图的处理流程:
为不失一般性,以位于模块中的任一双路残差卷积单元为例,将输入特征图尺寸设为特征图记为首先使用PixelShuffle[5]的上采样方式将特征图F的尺寸变成上采样的结果记为本发明对上采样的方式不做限制。特征图Fup经过G模块的卷积处理后,与上一个双路残差卷积单元中G模块的输出结果相加,相加的特征图经过通道注意力层后做下采样层,本实例采用Squeeze-and-Excitation通道注意力层[6]和最近邻下采样方法。本发明通道对注意力层和下采样方式不做限制。下采样后的特征图输出至H模块,与上一个双路残差卷积单元H模块的输出结果相加,得到下一个双路残差卷积单元的输入。最后一个双路残差卷积单元的输出被送至图像恢复模块作为输入。
网络中G模块和H模块结构相同,如图3所示。两种模块对输入特征的处理方法也相同,具体如下。为不失一般性,将G模块或H模块的输入特征图记为X,将X送入卷积核分别为3×3和5×5的两个卷积层,将两个卷积层分别记为和两个卷积层输出的结果相加得到中间特征M,即:
Y=C3×3(M)+C5×5(M)+M+X(3)
由G模块或H模块输出的Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入。
5)图像恢复模块用于生成去雾图像,由3层卷积层和通道注意力层组成。图像恢复模块以特征转换模块输出的尺寸为的特征图作为输入。先用两层卷积层和PixelShuffle上采样将输入特征图映射成成尺寸为N×N的特征图,其中上采样操作在每层卷积运算之后进行,本发明对上采样的方式不做限制。本实例中的两个卷积层采用大小为3×3的卷积核。第二层卷积层的输出送至通道注意力层。通道注意力层首先利用两层卷积核为1×1,卷积核个数为16和64的卷积层和一个Sigmoid函数将输入特征图映射为64个权重值。之后用每个权重值乘以尺寸为N×N的特征图对应的通道内的特征。相乘之后的结果输入至最后一个卷积层,该卷积层采用尺寸为7×7的卷积核,其输出即为去雾图像。
整个网络除最后一层的激活函数使用Tanh函数外,其余激活函数均为ReLU函数。
其中,步骤103中构建去雾神经网络的损失函数的具体步骤为:
1)去雾神经网络的损失函数分别采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数,具体如下所述;
2)L1范数损失函数如式(5)所示:
L1=||J-D(I)||1 (2)
式中,J为无雾图像,D(I)为去雾图像。
3)结构相似性(SSIM)损失函数如式(6)所示:
式中,μJ和μD(I)分别表示无雾图像和去雾图像在窗口内的均值,σJ和σD(I)分别代表无雾图像和去雾图像在窗口内的标准差,σJD(I)代表无雾图像和去雾图像在窗口内的协方差,窗口大小为11×11。c1、c2是常数,在本实施例中取c1=10-4,c2=9×10-4,用来避免出现分母为0的情况。
4)图像梯度损失函数如式(7)所示:
5)感知损失函数[4]如式(8)所示:
式中,φ(·)指输入特征图经过VGG16网络的ReLU1_2和ReLU2_2层的输出,i,j和k分别为特征图的宽、高和通道数的序号,W,H和C分别为特征图的宽、高和通道数。
6)训练去雾神经网络的总体损失函数为上述四种损失函数的线性组合,如式(9)所示:
Ltotal=αL1+βLssim+λLgrad+δLP (6)
式中,α、β、λ和δ分别为L1、Lssim、Lgrad和LP的权重。
在本实施例中取α=0.75,β=1.1,λ=5.0,δ=0.2。
其中,步骤104的具体步骤为:使用训练好的模型参数,将单幅有雾图作为去雾神经网络的输入,即可得到去雾图。
图4-图6给出了由本算法在真实场景下的去雾结果。由图可见,本算法能够有效改善图像质量,去雾图像的能见度和对比度较原始图像有显著提升,去雾后图像细节能够得到有效恢复。
参考文献
[1]He K,Sun J,Tang X.:Single Image Haze Removal Using Dark ChannelPrior[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[2]Cai B,Xu X,Jia K,et al.:DehazeNet:An End-to-End System for SingleImage Haze Removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.
[3]Ren W,Liu S,Zhang H,et al.:Single image dehazing via multi-scaleconvolutional neural networks[C].European Conference on Computer Vision,Amsterdam,Netherland,2016:154-169.
[4]Justin Johnson,AlexandreAlahi,Li Fei-Fei.Perceptual Losses forReal-Time Style Transfer and Super-Resolution[C].European Conference onComputer Vision,2016:694-711
[5]Shi W,Caballero J,Huszar,F,et al.Real-Time Single Image and VideoSuper-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C].IEEE International Conference on Computer Vision and Pattern Recognition,2016:1874-1883.
[6]Hu J,Shen L,Albanie S,et al.Squeeze-and-Excitation Networks[C].IEEE Conference on Computer Vision and Pattern Recognition.2018:7132–7141.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于双路残差卷积神经网络的图像去雾方法,其特征在于,所述方法包括:
101:基于大气散射模型使用已知景深、随机选取全局大气光和大气散射系数对采集无雾图像和深度信息进行处理建立包含成对有雾和无雾图像的训练图像集;
102:构建去雾神经网络,网络结构包含特征预提取模块、特征转换模块和图像恢复模块,
103:采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络;
104:将单幅有雾图像训练好的去雾神经网络,得到去雾图像。
2.根据权利要求1所述一种基于双路残差卷积的图像去雾方法,其特征在于,所述去雾网络采用如下步骤对训练图像集中有雾图像特征处理过程:
所述特征预提取模块通过多个卷积层对训练图像集中有雾图像特征进行提取获得第一阶段图像特征;
所述特征转换模块采用多个级联的双路残差卷积单元对第一阶段图像特征进行处理获得第二阶段图像特征;
所述图像恢复模块利用多个卷积层和通道注意力层将第二阶段图像特征进行转化获得无雾图像特征图像输出。
3.根据权利要求1或2所述的一种基于双路残差卷积的图像去雾方法,其特征在于,
所述特征预提取模块由若干卷积层和下采样层组成;
所述特征转换模块提取的中间特征分为两个尺度,用于与双路残差卷积单元相连;
所述双路残差卷积单元由多个双路残差卷积层级联而成;
所述图像恢复模块由上采样层、通道注意力层和卷积层组成,使用Tanh作为最后一层的激活函数,生成去雾后的图像;其中:特征转换模块中的双路残差卷积单元通过对有雾图像特征的反复变换,获取不同的感受野来提取与雾有关的特征;
4.根据权利要求3所述的一种基于双路残差卷积神经网络的图像去雾方法,其特征在于,所述多个级联的双路残差卷积单元有的每个双路残差卷积单元由上采样层,G模块、通道注意力层、下采样层、H模块组成;所述G模块和H模块的结构相同,所述G模块和H模块位于双路残差卷积单元内的不同位置,其中:G模块与上一个双路残差卷积单元中的G模块输出结果相加,H模块与上一个双路残差卷积单元中的H模块输出结果相加。
5.根据权利要求4所述的一种基于双路残差卷积神经网络的图像去雾方法,其特征在于,所述双路残差卷积单元中的G模块和H模块对第一阶段图像特征处理步骤:
将两个卷积层的输出与M和X相加得到模块的输出图像特征Y,即:
Y=C3×3(M)+C5×5(M)+M+X
由G模块或H模块输出的图像特征Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入;其中,不同的双路残差卷积单元对应不同的输入特征X和输出特征Y。特别地,第一个双路残差卷积单元的输入X为特征预提取模块输出的第一阶段特征,一个双路残差卷积单元的输出为整个特征转换模块输出的第二阶段特征。
6.根据权利要求3所述的一种基于双路残差卷积神经网络的图像去雾方法,其特征在于,所述图像恢复模块由卷积层和通道注意力层组成,使用Tanh作为最后一层的激活函数,生成去雾后的图像,其中注意力层对第二阶段图像特征处理过程为:
输入第二阶段图像特征连续通过两层卷积核为1×1的卷积层和一个Sigmoid函数,两层卷积的卷积核的个数分别为c/k和c;
将后一个卷积层输出的特征图输入至Sigmoid函数,输出c个通道的权重系数;
再将输入特征图的每个通道与对应的权重系数相乘,相乘之后的结果输入至与该注意力层相连的下一个卷积层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011214129.4A CN112365414B (zh) | 2020-11-04 | 2020-11-04 | 一种基于双路残差卷积神经网络的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011214129.4A CN112365414B (zh) | 2020-11-04 | 2020-11-04 | 一种基于双路残差卷积神经网络的图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112365414A true CN112365414A (zh) | 2021-02-12 |
CN112365414B CN112365414B (zh) | 2022-11-08 |
Family
ID=74513461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011214129.4A Active CN112365414B (zh) | 2020-11-04 | 2020-11-04 | 一种基于双路残差卷积神经网络的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112365414B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112884680A (zh) * | 2021-03-26 | 2021-06-01 | 南通大学 | 一种利用端到端神经网络的单幅图像去雾方法 |
CN113066028A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于Transformer深度神经网络的图像去雾方法 |
CN113643195A (zh) * | 2021-06-30 | 2021-11-12 | 山东师范大学 | 一种基于独立细节恢复网络的图像去雾方法 |
CN113689356A (zh) * | 2021-09-14 | 2021-11-23 | 三星电子(中国)研发中心 | 一种图像修复的方法和装置 |
CN114820388A (zh) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | 一种基于编解码器结构的图像去雾方法 |
CN114822542A (zh) * | 2022-04-25 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种不同人分类辅助的无声语音识别方法和*** |
CN114862691A (zh) * | 2022-03-23 | 2022-08-05 | 吉林大学 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005976A1 (en) * | 2017-07-03 | 2019-01-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for enhancing a speech signal of a human speaker in a video using visual information |
CN109859120A (zh) * | 2019-01-08 | 2019-06-07 | 北京交通大学 | 基于多尺度残差网络的图像去雾方法 |
CN109872325A (zh) * | 2019-01-17 | 2019-06-11 | 东北大学 | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 |
CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
US20200034648A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Method and apparatus for segmenting sky area, and convolutional neural network |
CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
-
2020
- 2020-11-04 CN CN202011214129.4A patent/CN112365414B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005976A1 (en) * | 2017-07-03 | 2019-01-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for enhancing a speech signal of a human speaker in a video using visual information |
US20200034648A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Method and apparatus for segmenting sky area, and convolutional neural network |
CN109859120A (zh) * | 2019-01-08 | 2019-06-07 | 北京交通大学 | 基于多尺度残差网络的图像去雾方法 |
CN109872325A (zh) * | 2019-01-17 | 2019-06-11 | 东北大学 | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 |
CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
Non-Patent Citations (2)
Title |
---|
谢宏等: "时空双路3D残差卷积网络的视频烟雾检测", 《计算机工程与应用》 * |
雎青青: "基于深度卷积神经网络的图像去雾方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112884680A (zh) * | 2021-03-26 | 2021-06-01 | 南通大学 | 一种利用端到端神经网络的单幅图像去雾方法 |
CN113066028A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于Transformer深度神经网络的图像去雾方法 |
CN113643195A (zh) * | 2021-06-30 | 2021-11-12 | 山东师范大学 | 一种基于独立细节恢复网络的图像去雾方法 |
CN113689356A (zh) * | 2021-09-14 | 2021-11-23 | 三星电子(中国)研发中心 | 一种图像修复的方法和装置 |
CN113689356B (zh) * | 2021-09-14 | 2023-11-24 | 三星电子(中国)研发中心 | 一种图像修复的方法和装置 |
CN114862691A (zh) * | 2022-03-23 | 2022-08-05 | 吉林大学 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
CN114822542A (zh) * | 2022-04-25 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种不同人分类辅助的无声语音识别方法和*** |
CN114822542B (zh) * | 2022-04-25 | 2024-05-14 | 中国人民解放军军事科学院国防科技创新研究院 | 一种不同人分类辅助的无声语音识别方法和*** |
CN114820388A (zh) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | 一种基于编解码器结构的图像去雾方法 |
CN114820388B (zh) * | 2022-06-22 | 2022-09-06 | 合肥工业大学 | 一种基于编解码器结构的图像去雾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112365414B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112365414B (zh) | 一种基于双路残差卷积神经网络的图像去雾方法 | |
CN110570371B (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
CN109740465B (zh) | 一种基于实例分割神经网络框架的车道线检测算法 | |
CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
CN108615226B (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、***和介质 | |
CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与*** | |
CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾*** | |
CN114742719B (zh) | 一种基于多特征融合的端到端图像去雾方法 | |
CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
CN111652812A (zh) | 基于选择性注意力机制的图像去雾和去雨算法 | |
CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN111539888B (zh) | 一种基于金字塔通道特征注意力的神经网络图像去雾方法 | |
CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN113222877A (zh) | 红外和可见光图像融合方法及其在机载光电视频中的应用 | |
CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |