CN110097522B - 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 - Google Patents

一种基于多尺度卷积神经网络的单幅户外图像去雾方法 Download PDF

Info

Publication number
CN110097522B
CN110097522B CN201910397724.7A CN201910397724A CN110097522B CN 110097522 B CN110097522 B CN 110097522B CN 201910397724 A CN201910397724 A CN 201910397724A CN 110097522 B CN110097522 B CN 110097522B
Authority
CN
China
Prior art keywords
neural network
scale
layer
convolution
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910397724.7A
Other languages
English (en)
Other versions
CN110097522A (zh
Inventor
张世辉
桑榆
陈宇翔
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Beijing Institute of Computer Technology and Applications
Original Assignee
Yanshan University
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University, Beijing Institute of Computer Technology and Applications filed Critical Yanshan University
Priority to CN201910397724.7A priority Critical patent/CN110097522B/zh
Publication of CN110097522A publication Critical patent/CN110097522A/zh
Application granted granted Critical
Publication of CN110097522B publication Critical patent/CN110097522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度卷积神经网络的单幅户外图像去雾方法，属于计算机视觉领域。本发明包括以下步骤：根据大气散射模型，构造训练样本集；基于深度学习思想，搭建多尺度卷积神经网络；依据所搭建的多尺度卷积神经网络，构造目标函数；基于构造的目标函数，训练多尺度卷积神经网络。本发明无需获取户外图像的先验知识，并可有效地保存图像的边缘、纹理、色彩、对比度和饱和度等信息。

Description

一种基于多尺度卷积神经网络的单幅户外图像去雾方法
技术领域
本发明属于计算机视觉领域，尤其是涉及一种基于多尺度卷积神经网络的单幅户外图像去雾方法。
背景技术
雾是由水汽、灰尘、烟等粒子所形成的一种传统的大气现象。雾会使视觉***所处理的图像模糊、对比度降低、饱和度偏差，更会阻碍分类、识别、检测和跟踪等视觉任务的进行，甚至导致相关视觉任务失败。因此，如何从户外图像中将雾去除成为计算机视觉领域的难题，并受到学者们的广泛关注。
已有去雾方法所处理的信息类型主要有两种：户外视频和单幅户外图像。基于户外视频的去雾方法相对较少，主要原因为基于视频的去雾方法首先需将视频分割成若干视频帧，然后再依次对分割后的视频帧进行去雾，其本质上还是对单幅户外图像进行处理。因此，现有的去雾方法一般都基于单幅户外图像实现。同时，已有的基于单幅户外图像的去雾方法存在需预先获取先验知识，边缘和纹理丢失，色彩、对比度和饱和度失真等问题。K.M.He和J.Sun在文章“Single image haze removal using dark channelprior.Proceedings of the IEEE Conference on Computer Vision and PatternRecognition Workshops:IEEE Computer Society,2009:1956-1963”中所提出的基于暗通道先验的去雾方法是雾去除领域最经典的方法之一，但是该方法需预先获取图像的先验知识。陈书贞和任占广在文章“基于改进暗通道先验和导向滤波的单幅图像去雾算法.自动化学报.2016,42(3):455-465”中所提出的基于改进的暗通道先验去雾方法存在暗通道阈值和混合暗通道亮度最大值均不能自适应地选取，且去雾后的图像色彩失真等问题。C.Z.He和C.D.Zhang在文章“A haze density aware adaptive perceptual single image hazeremoval algorithm.Proceedings of the IEEE International Conference onInformation and Automation,IEEE Computer Society,2016:1933-1938”中所提方法在去雾后图像边缘和纹理信息恢复程度有待提高。B Cai和X Xu在文章“DehazeNet:An End-to-End System for Single Image Haze Removal.IEEE Transactions on ImageProcessing,2016,25(11):5187-5198”中所提出的方法存在对比度低、饱和度低和边缘信息失真等问题。Z.G.Ling和G.F.Fan在文章“Perception oriented transmissionestimation for high quality image dehazing.Neurocomputing,2017,224(2):82-95”中所提出的方法存在对比度和饱和度失真等问题。Z.G.Li和H.Jing在文章“Single ImageDe-Hazing Using Globally Guided Image Filtering.IEEE Transactions on ImageProcessing,2018,27(1):442-450”中所提出的方法去雾后的户外图像色彩失真且对比度较低。
发明内容
针对已有单幅户外图像去雾方法存在的问题，本发明的目的是提出了一种基于多尺度卷积神经网络的单幅户外图像去雾方法，通过搭建用于去雾的多尺度卷积神经网络，获取有雾图像和无雾图像之间映射关系，并训练所搭建的多尺度卷积神经网络，逐步优化网络中的参数，从而达到对任意单幅户外图像去雾的目的。
为解决上述技术问题，本发明采用的技术方案为：一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，包括如下步骤：
(1)训练样本获取：获取无雾图像样本，利用大气散射模型对无雾图像样本进行雾化处理获得有雾图像样本，将无雾图像样本以及与其对应的有雾图像样本作为训练样本；
(2)多尺度卷积神经网络模型：构建不少于三个并联的卷积层；每个卷积层的输出端连接一个Max Pooling池化层，每个Max Pooling池化层的输出端连接一个基于修正线性单元ReLu的非线性映射层；所有非线性映射层的输出端均与特征融合层连接；所述特征融合层的输出端连接一个对透射率进行处理的双边滤波层，利用双边滤波层输出的透射率对卷积层输入的有雾图像样本进行去雾处理；
(3)多尺度卷积神经网络模型训练：利用步骤(1)中的有雾图像样本作为多尺度卷积神经网络模型的输入，利用步骤(1)中的无雾图像样本作为多尺度神经网络输出的判别标准，以目标函数最小化为目的，对多尺度卷积神经网络模型进行训练，进行参数求解；其中目标函数为：
Figure GDA0002779361230000031
其中，ci、si和hi分别是第i个样本对应的平均RGB数值、平均对比度和平均饱和度；多尺度卷积神经网络的参数为Φ，第i个有雾图像样本为Ii，第i个有雾图像样本对应的无雾图像样本为Ji，训练样本的个数为N；
(4)利用步骤(3)求解后的多尺度卷积神经网络模型对待处理的有雾图像进行去雾处理。
进一步技术方案在于，所述卷积层有三个，卷积核分别是7×7、5×5和3×3；或所述卷积层有四个，卷积核分别是11×11、7×7、5×5和3×3。
进一步技术方案在于，所述目标函数根据均方误差MSE以及L-2范数构造。
进一步技术方案在于，所述目标函数根据随机梯度下降法最小化。
进一步技术方案在于，步骤(1)样本获取中，无雾图像样本构造对应有雾图像样本的计算方法如下：
IT(x)＝JT(x)tT(x)+αT(1-tT(x))
其中，JT(x)是无雾图像样本即所收集的图像，tT(x)为透射率，αT为全局大气光值，IT(x)为有雾图像样本。
进一步技术方案在于，所述卷积层形式如下所示：
Figure GDA0002779361230000041
其中，I(x)是待去雾的有雾图像样本，q是卷积核大小，
Figure GDA0002779361230000042
是卷积层滤波器，
Figure GDA0002779361230000043
是卷积层偏置，*是卷积运算，
Figure GDA0002779361230000044
是多尺度卷积神经网络卷积层的输出。
进一步技术方案在于，所述Max Pooling池化层形式如下所示：
Figure GDA0002779361230000045
其中，
Figure GDA0002779361230000046
是多尺度卷积神经网络池化层的输出，
Figure GDA0002779361230000047
是多尺度卷积神经网络卷积层的输出。
进一步技术方案在于，所述非线性映射层对降维后的特征进行非线性映射获取多尺度特征图，所构建的激活层形式如下所示：
Figure GDA0002779361230000051
其中，
Figure GDA0002779361230000052
是激活层滤波器，
Figure GDA0002779361230000053
是激活层偏置，
Figure GDA0002779361230000054
是多尺度卷积神经网络激活层的输出，
Figure GDA0002779361230000055
是多尺度卷积神经网络池化层的输出。
进一步技术方案在于，所述特征融合层将多尺度特征图融合，从而获取到透射率
Figure GDA0002779361230000058
多尺度特征图融合方式如下所示：
Figure GDA0002779361230000056
其中，λ1,λ2,…,λn分别是特征图权重系数，h(q)、c(q)和s(q)分别是各尺度特征图的平均RGB数值、平均对比度值和平均饱和度值；
Figure GDA0002779361230000057
是n尺度卷积神经网络池化层的输出。
进一步技术方案在于，所述双边滤波层利用双边滤波对透射率
Figure GDA0002779361230000059
进行处理，从而得到精细化透射率t(x)，计算方法如下所示：
Figure GDA0002779361230000061
Figure GDA0002779361230000062
d(ξ,y)＝||ξ-y||2
Figure GDA0002779361230000063
Figure GDA0002779361230000064
其中，y是透射率
Figure GDA0002779361230000065
中的像素点，ξ是与y相邻的像素点，c(ξ,y)是空间权重函数，σc是两像素点间的方差，d(ξ,y)是两像素点间的距离衡量函数，
Figure GDA0002779361230000066
与
Figure GDA0002779361230000067
分别是以像素点ξ与y为中心的8邻域像素块所构成的透射率，
Figure GDA0002779361230000068
是相似权重计算函数，σs是两透射率间的方差，
Figure GDA0002779361230000069
是两透射率距离衡量函数。
本发明较之现有技术的优势在于：
(1)基于深度学习思想，搭建多尺度卷积神经网络，并充分挖掘各尺度特征图的特点，使得去雾后的户外图像色彩、对比度、饱和度等信息与初始有雾户外图像相近。
(2)利用双边滤波对经过特征图融合得到的透射率进行处理，使得去雾后的户外图像边缘和纹理信息保存完整。
(3)基于MSE和L-2范数，构造目标函数，从而实现对多尺度卷积神经网络的有效拟合，实现对户外图像中雾的更有效去除。
附图说明
图1是本发明所提出去雾方法的流程图；
图2是部分训练样本示意图；
图3是3个尺度卷积神经网络结构示意图；
图4是4个尺度卷积神经网络结构示意图。
具体实施方式
为使本发明的技术方案更加清晰明了，以下结合附图对本发明做进一步说明。
本发明实施例中阐述了一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，包括如下步骤：
(1)训练样本获取：获取无雾图像样本，利用大气散射模型对无雾图像样本进行雾化处理获得有雾图像样本，将无雾图像样本以及与其对应的有雾图像样本作为训练样本；
(2)多尺度卷积神经网络模型：构建不少于三个并联的卷积层；每个卷积层的输出端连接一个Max Pooling池化层，每个Max Pooling池化层的输出端连接一个基于修正线性单元ReLu的非线性映射层；所有非线性映射层的输出端均与特征融合层连接；所述特征融合层的输出端连接一个对透射率进行处理的双边滤波层，利用双边滤波层输出的透射率对卷积层输入的有雾图像样本进行去雾处理；
(3)多尺度卷积神经网络模型训练：利用步骤(1)中的有雾图像样本作为多尺度卷积神经网络模型的输入，利用步骤(1)中的无雾图像样本作为多尺度神经网络输出的判别标准，以目标函数最小化为目的，对多尺度卷积神经网络模型进行训练，进行参数求解；其中目标函数为：
Figure GDA0002779361230000081
其中，ci、si和hi分别是第i个样本对应的平均RGB数值、平均对比度和平均饱和度；多尺度卷积神经网络的参数为Φ，第i个有雾图像样本为Ii，第i个有雾图像样本对应的无雾图像样本为Ji，训练样本的个数为N；
(4)利用步骤(3)求解后的多尺度卷积神经网络模型对待处理的有雾图像进行去雾处理。
本发明实施例中所述卷积层有三个，卷积核分别是7×7、5×5和3×3；或所述卷积层有四个，卷积核分别是11×11、7×7、5×5和3×3。
本发明实施例中所述目标函数根据均方误差MSE以及L-2范数构造。
本发明实施例中所述目标函数根据随机梯度下降法最小化。
本发明实施例中步骤(1)样本获取中，无雾图像样本构造对应有雾图像样本的计算方法如下：
IT(x)＝JT(x)tT(x)+αT(1-tT(x))
其中，JT(x)是无雾图像样本即所收集的图像，tT(x)为透射率，αT为全局大气光值，IT(x)为有雾图像样本。
本发明实施例中所述卷积层形式如下所示：
Figure GDA0002779361230000082
其中，I(x)是待去雾的有雾图像样本，q是卷积核大小，
Figure GDA0002779361230000083
是卷积层滤波器，
Figure GDA0002779361230000091
是卷积层偏置，*是卷积运算，
Figure GDA0002779361230000092
是多尺度卷积神经网络卷积层的输出。
本发明实施例中所述Max Pooling池化层形式如下所示：
Figure GDA0002779361230000093
其中，
Figure GDA0002779361230000094
是多尺度卷积神经网络池化层的输出，
Figure GDA0002779361230000095
是多尺度卷积神经网络卷积层的输出。
本发明实施例中所述非线性映射层对降维后的特征进行非线性映射获取多尺度特征图，所构建的激活层形式如下所示：
Figure GDA0002779361230000096
其中，
Figure GDA0002779361230000097
是激活层滤波器，
Figure GDA0002779361230000098
是激活层偏置，
Figure GDA0002779361230000099
是多尺度卷积神经网络激活层的输出，
Figure GDA00027793612300000910
是多尺度卷积神经网络池化层的输出。
本发明实施例中所述特征融合层将多尺度特征图融合，从而获取到透射率
Figure GDA00027793612300000913
多尺度特征图融合方式如下所示：
Figure GDA00027793612300000911
其中，λ1,λ2,…,λn分别是特征图权重系数，h(q)、c(q)和s(q)分别是各尺度特征图的平均RGB数值、平均对比度值和平均饱和度值；
Figure GDA00027793612300000912
是n尺度卷积神经网络池化层的输出。
本发明实施例中所述双边滤波层利用双边滤波对透射率
Figure GDA0002779361230000101
进行处理，从而得到精细化透射率t(x)，计算方法如下所示：
Figure GDA0002779361230000102
Figure GDA0002779361230000103
d(ξ,y)＝||ξ-y||2
Figure GDA0002779361230000104
Figure GDA0002779361230000105
其中，y是透射率
Figure GDA0002779361230000106
中的像素点，ξ是与y相邻的像素点，c(ξ,y)是空间权重函数，σc是两像素点间的方差，d(ξ,y)是两像素点间的距离衡量函数，
Figure GDA0002779361230000107
与
Figure GDA0002779361230000108
分别是以像素点ξ与y为中心的8邻域像素块所构成的透射率，
Figure GDA0002779361230000109
是相似权重计算函数，σs是两透射率间的方差，
Figure GDA00027793612300001010
是两透射率距离衡量函数。
本发明实施例中如图1所示，所述一种基于多尺度卷积神经网络的单幅户外图像去雾方法包括以下步骤：
步骤1：根据大气散射模型获取训练样本，构造训练样本数据集。
1.1)从互联网上搜集3000幅不同场景下的无雾的户外图像。
1.2)针对所搜集的3000幅户外图像，并设定JT(x)是无雾户外图像即所收集的图像，tT(x)为透射率，αT为全局大气光值，IT(x)为有雾户外图像。由于要保证训练样本尽量包含多种情况，因此选取不同tT(x)，而全局大气光值αT选取固定的值，定义有雾户外图像IT(x)为
IT(x)＝JT(x)tT(x)+αT(1-tT(x)) (1)
1.3遍历3000幅户外图像，并按照上式获取3000幅有雾户外图像作为训练样本，从而构造出训练样本数据集。
训练样本数据集中部分训练样本及其Ground Truth如图2所示。其中，第一列为从互联网获取到的无雾户外图像，第二列为经公式(1)所计算到的有雾户外图像。
步骤2：搭建多尺度卷积神经网络。
2.1)所搭建的多尺度卷积神经网络的卷积层由7×7、5×5、3×3三种不同尺度卷积核构成，设待去雾的训练样本为I(x)，q代表卷积核大小且q∈{7,5,3}，
Figure GDA0002779361230000111
代表卷积层滤波器，
Figure GDA0002779361230000112
代表卷积层偏置，*代表卷积运算，则多尺度卷积神经网络卷积层的输出
Figure GDA0002779361230000113
可表示为
Figure GDA0002779361230000114
2.2)所搭建的多尺度神经网络的池化层由Max Pooling进行构造，旨对经过卷积层而计算出的特征进行降维，从而获取到具有平移不变性、旋转不变性的特征，则多尺度卷积神经网络池化层的输出
Figure GDA0002779361230000115
可表示为
Figure GDA0002779361230000116
2.3)所搭建的多尺度卷积神经网络根据修正线性单元ReLu构造激活层，对降维后的特征进行非线性映射，从而获得多尺度特征图，
Figure GDA0002779361230000117
代表激活层滤波器，
Figure GDA0002779361230000118
代表激活层偏置，则多尺度卷积神经网络激活层的输出
Figure GDA0002779361230000119
可以表示为
Figure GDA0002779361230000121
2.4)在获得多尺度特征图后，充分挖掘各尺度特征图色彩、饱和度和对比度上的特点，对各尺度特征图进行融合，从而计算得到输入图像I(x)对应的透射率
Figure GDA0002779361230000123
融合函数被定义为
Figure GDA0002779361230000122
其中，λ、μ和γ分别是特征图权重系数，h(q)、c(q)和s(q)分别是各尺度特征图的平均RGB数值、平均对比度值和平均饱和度值。
2.5)由于已有的去雾方法所计算出的透射率较为粗糙，使得去雾后的户外图像普遍存在边界和纹理保存不完整等问题。因此，选用双边滤波对经过特征图融合得到的透射率进行处理，以求得到精细化透射率t(x)，对透射率
Figure GDA0002779361230000124
进行双边滤波过程可表示为
Figure GDA0002779361230000131
其中，y是透射率
Figure GDA0002779361230000132
中的像素点，ξ是与y相邻的像素点，c(ξ,y)是空间权重函数，σc是两像素点间的方差，d(ξ,y)是两像素点间的距离衡量函数，
Figure GDA0002779361230000133
与
Figure GDA0002779361230000135
分别是以像素点ξ与y为中心的8邻域像素块所构成的透射率，
Figure GDA0002779361230000136
是相似权重计算函数，σs是两透射率间的方差，
Figure GDA0002779361230000137
是两透射率距离衡量函数。
2.6)在获取精细化透射率t(x)后，选定全局大气光值α为输入图像I(x)中各像素点对应的最大亮度值。此时，对大气散射模型变形，从而计算得到去雾后的户外图像J(x)，计算方法为
Figure GDA0002779361230000138
多尺度卷积神经网络结构如图3所示。
步骤3：根据均方误差MSE和L-2范数，构造目标函数。
单幅户外图像去雾问题是典型的有监督学习问题，有监督学习需要建立卷积神经网络输入(有雾户外图像)与输出(无雾户外图像)之间的映射关系G。设多尺度卷积神经网络的参数为
Figure GDA0002779361230000139
第i个训练样本为Ii，第i个训练样本对应的Ground Truth为Ji，训练样本的个数为N，多尺度卷积神经网络的参数Φ可通过最小化目标函数来获得，通过均方误差MSE以及L-2范数构造目标函数，其形式为
Figure GDA0002779361230000141
其中，ci、si和hi分别是第i个样本对应的平均RGB数值、平均对比度和平均饱和度。
步骤4：训练多尺度卷积神经网络。
首先，从所构造的训练样本集中随机抽取20000个64×64的有雾图像块，各有雾图像块均拥有对应的Ground Truth；然后，利用随机梯度下降法最小化所构造的目标函数；最后，为目标函数设定阈值，当最小化目标函数结果小于设定阈值时，即代表多尺度卷积神经网络的参数Φ已确定，此时完成对卷积神经网络的训练，进而可实现对任意户外图像进行去雾处理；如图3所示，其多尺度卷积神经网络的输出为处理后的图片。
本发明实施例对上一个实施例做的改进，改进中，步骤2中搭建多尺度卷积神经网络的卷积层由11×11、7×7、5×5、3×3四种不同尺度卷积核构成，设待去雾的训练样本为I(x)，q代表卷积核大小且q∈{11,7,5,3}，而其多尺度特征图融合方式如下所示：
Figure GDA0002779361230000151
其中，λ、μ、γ和β分别是特征图权重系数，h(q)、c(q)和s(q)分别是各尺度特征图的平均RGB数值、平均对比度值和平均饱和度值。如图4所示，其四个尺度卷积神经网络的输出为处理后的图片。
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，包括如下步骤：
(1)训练样本获取：获取无雾图像样本，利用大气散射模型对无雾图像样本进行雾化处理获得有雾图像样本，将无雾图像样本以及与其对应的有雾图像样本作为训练样本；
(2)多尺度卷积神经网络模型：构建不少于三个并联的卷积层；每个卷积层的输出端连接一个Max Pooling池化层，每个Max Pooling池化层的输出端连接一个基于修正线性单元ReLu的非线性映射层；所有非线性映射层的输出端均与特征融合层连接；所述特征融合层的输出端连接一个对透射率进行处理的双边滤波层，利用双边滤波层输出的透射率对卷积层输入的有雾图像样本进行去雾处理；
(3)多尺度卷积神经网络模型训练：利用步骤(1)中的有雾图像样本作为多尺度卷积神经网络模型的输入，利用步骤(1)中的无雾图像样本作为多尺度神经网络输出的判别标准，以目标函数最小化为目的，对多尺度卷积神经网络模型进行训练，进行参数求解；其中目标函数为：
Figure FDA0002779361220000011
其中，ci、si和hi分别是第i个样本对应的平均RGB数值、平均对比度和平均饱和度；多尺度卷积神经网络的参数为Φ，第i个有雾图像样本为Ii，第i个有雾图像样本对应的无雾图像样本为Ji，训练样本的个数为N；
(4)利用步骤(3)求解后的多尺度卷积神经网络模型对待处理的有雾图像进行去雾处理。
2.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述卷积层有三个，卷积核分别是7×7、5×5和3×3；或所述卷积层有四个，卷积核分别是11×11、7×7、5×5和3×3。
3.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述目标函数根据均方误差MSE以及L-2范数构造。
4.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述目标函数根据随机梯度下降法最小化。
5.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，步骤(1)样本获取中，无雾图像样本构造对应有雾图像样本的计算方法如下：
IT(x)＝JT(x)tT(x)+αT(1-tT(x))
其中，JT(x)是无雾图像样本即所收集的图像，tT(x)为透射率，αT为全局大气光值，IT(x)为有雾图像样本。
6.根据权利要求1或2所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述卷积层形式如下所示：
Figure FDA0002779361220000021
其中，I(x)是待去雾的有雾图像样本，q是卷积核大小，
Figure FDA0002779361220000022
是卷积层滤波器，
Figure FDA0002779361220000023
是卷积层偏置，*是卷积运算，
Figure FDA0002779361220000024
是多尺度卷积神经网络卷积层的输出。
7.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述Max Pooling池化层形式如下所示：
Figure FDA0002779361220000031
其中，
Figure FDA0002779361220000032
是多尺度卷积神经网络池化层的输出，
Figure FDA0002779361220000033
是多尺度卷积神经网络卷积层的输出。
8.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述非线性映射层对降维后的特征进行非线性映射获取多尺度特征图，所构建的激活层形式如下所示：
Figure FDA0002779361220000034
其中，
Figure FDA0002779361220000035
是激活层滤波器，
Figure FDA0002779361220000036
是激活层偏置，
Figure FDA0002779361220000037
是多尺度卷积神经网络激活层的输出，
Figure FDA0002779361220000038
是多尺度卷积神经网络池化层的输出。
9.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述特征融合层将多尺度特征图融合，从而获取到透射率
Figure FDA0002779361220000039
多尺度特征图融合方式如下所示：
Figure FDA00027793612200000310
其中，λ1,λ2,…,λn分别是特征图权重系数，h(q)、c(q)和s(q)分别是各尺度特征图的平均RGB数值、平均对比度值和平均饱和度值；
Figure FDA0002779361220000041
是n尺度卷积神经网络池化层的输出。
10.根据权利要求1所述的一种基于多尺度卷积神经网络的单幅户外图像去雾方法，其特征在于，所述双边滤波层利用双边滤波对透射率
Figure FDA0002779361220000042
进行处理，从而得到精细化透射率t(x)，计算方法如下所示：
Figure FDA0002779361220000043
Figure FDA0002779361220000044
Figure FDA0002779361220000045
Figure FDA0002779361220000046
Figure FDA0002779361220000047
其中，y是透射率
Figure FDA0002779361220000048
中的像素点，ξ是与y相邻的像素点，c(ξ,y)是空间权重函数，σc是两像素点间的方差，d(ξ,y)是两像素点间的距离衡量函数，
Figure FDA0002779361220000049
与
Figure FDA00027793612200000410
分别是以像素点ξ与y为中心的8邻域像素块所构成的透射率，
Figure FDA00027793612200000411
是相似权重计算函数，σs是两透射率间的方差，
Figure FDA00027793612200000412
是两透射率距离衡量函数。
CN201910397724.7A 2019-05-14 2019-05-14 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 Active CN110097522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910397724.7A CN110097522B (zh) 2019-05-14 2019-05-14 一种基于多尺度卷积神经网络的单幅户外图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910397724.7A CN110097522B (zh) 2019-05-14 2019-05-14 一种基于多尺度卷积神经网络的单幅户外图像去雾方法

Publications (2)

Publication Number Publication Date
CN110097522A CN110097522A (zh) 2019-08-06
CN110097522B true CN110097522B (zh) 2021-03-19

Family

ID=67447928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910397724.7A Active CN110097522B (zh) 2019-05-14 2019-05-14 一种基于多尺度卷积神经网络的单幅户外图像去雾方法

Country Status (1)

Country Link
CN (1) CN110097522B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570371B (zh) * 2019-08-28 2023-08-29 天津大学 一种基于多尺度残差学习的图像去雾方法
CN110738622A (zh) * 2019-10-17 2020-01-31 温州大学 基于多尺度卷积的轻量级神经网络单图像去雾方法
CN111369472B (zh) * 2020-03-12 2021-04-23 北京字节跳动网络技术有限公司 图像去雾方法、装置、电子设备及介质
CN112164010A (zh) * 2020-09-30 2021-01-01 南京信息工程大学 一种多尺度融合卷积神经网络图像去雾方法
CN114049274A (zh) * 2021-11-13 2022-02-15 哈尔滨理工大学 一种单幅图像去雾方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及***
CN108269244A (zh) * 2018-01-24 2018-07-10 东北大学 一种基于深度学习和先验约束的图像去雾***
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960425A (zh) * 2017-04-05 2017-07-18 上海矽奥微电子有限公司 基于多尺度去卷积滤波的单帧去雾方法
JP7146372B2 (ja) * 2017-06-21 2022-10-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN108564549B (zh) * 2018-04-20 2022-04-05 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法
CN109087254B (zh) * 2018-04-26 2021-12-31 长安大学 无人机航拍图像雾霾天空和白色区域自适应处理方法
CN109360155B (zh) * 2018-08-17 2020-10-13 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109410144B (zh) * 2018-10-31 2020-11-27 聚时科技(上海)有限公司 一种基于深度学习的端到端图像去雾处理方法
CN109712083B (zh) * 2018-12-06 2021-02-12 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN109584188B (zh) * 2019-01-15 2022-11-11 东北大学 一种基于卷积神经网络的图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及***
CN108269244A (zh) * 2018-01-24 2018-07-10 东北大学 一种基于深度学习和先验约束的图像去雾***
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Also Published As

Publication number Publication date
CN110097522A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN109272455B (zh) 基于弱监督生成对抗网络的图像去雾方法
CN107301624B (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾方法
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
Bansal et al. A review of image restoration based image defogging algorithms
CN114219732A (zh) 基于天空区域分割和透射率细化的图像去雾方法及***
CN112950589A (zh) 一种多尺度卷积神经网络的暗通道先验去雾算法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
Riaz et al. Multiscale image dehazing and restoration: An application for visual surveillance
Fu et al. An anisotropic Gaussian filtering model for image de-hazing
Chen et al. Improve transmission by designing filters for image dehazing
Hao et al. Texture enhanced underwater image restoration via laplacian regularization
Wang et al. Single-image dehazing using color attenuation prior based on haze-lines
CN112102214B (zh) 一种基于直方图与神经网络的图像去雾方法
CN110738624A (zh) 一种区域自适应的图像去雾***及方法
Thepade et al. Improved haze removal method using proportionate fusion of color attenuation prior and edge preserving
CN112184566B (zh) 一种针对附着水雾水珠去除的图像处理方法和***
CN111932470A (zh) 基于视觉选择融合的图像复原方法、装置、设备和介质
CN111932469A (zh) 显著性权重的快速曝光图像融合方法、装置、设备和介质
Shivakumar et al. Remote sensing and natural image dehazing using DCP based IDERS framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant