CN108564549A - 一种基于多尺度稠密连接网络的图像去雾方法 - Google Patents
一种基于多尺度稠密连接网络的图像去雾方法 Download PDFInfo
- Publication number
- CN108564549A CN108564549A CN201810361296.8A CN201810361296A CN108564549A CN 108564549 A CN108564549 A CN 108564549A CN 201810361296 A CN201810361296 A CN 201810361296A CN 108564549 A CN108564549 A CN 108564549A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- convolution
- convolutional layer
- multiple dimensioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 24
- 239000003595 mist Substances 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 29
- 239000000203 mixture Substances 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000003475 lamination Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000011067 equilibration Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 6
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 3
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多尺度稠密连接网络的图像去雾方法，将具有不同程度的雾的图像重建成较为清晰的图像，极大的提高了图像的质量与视觉感受。首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果；采用多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果;提出了基于Retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效;本发明和其他基于深度学习的去雾算法相比。本发明不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果。
Description
技术领域
本发明涉及图像增强领域，尤其涉及一种基于多尺度稠密连接网络的图像去雾方法。
背景技术
雾是由于微小的尘埃和水汽颗粒在干燥的条件下聚集而形成的一种天气现象。雾，霾，烟等浑浊介质会吸收大气光和造成大气光的散射，这导致在此天气下采集的户外场景的图像退化。通常，退化的图像会失去对比度和色彩保真度。
经过某种散射媒介的光线，在原方向上的光强会逐步减弱，同时由于能量守恒定律，减弱的光强会散射到其他方向上。此外，散射所损失的能量取决于其到摄像机的距离。基于这种物理现象，人们常用基于大气散射的物理模型来描述有雾的图像。有雾的图像能够表示为下面的一个线性模型：
I(x)＝J(x)t(x)+A(1-t(x))
其中，I(x)代表有雾的图像，J(x)是物体的原始辐射，A是全局大气光照，t(x)被称为介质透射率。然而，如果只提供单张图像的信息，同时求解t(x)和A的话，这是一种欠适定的问题。
为了解决这个问题，大部分传统的去雾算法依赖于假设和先验条件来估计透射图，进而以此求出其他未知数。(1)基于对比度的方法：与有雾图像的对比度相比，Tan等人发现无雾图像的对比度更低，同时其投射率的变化只跟物体的深度有关，所以利用马尔可夫随机场对投射图进行建模[1]；(2)基于颜色衰减先验的方法：Zhu等人采用了一种基于先验的简单的线性回归模型来预测场景深度[2]，其方法是利用了在无雾区域的亮度和颜色饱和度会非常相似，但是在有雾区域的亮度和颜色饱和度会有非常大的区别的物理特性。(3)基于暗通道的方法：He等人利用暗通道的先验进行去雾。所谓暗通道就是在绝大多数非天空局部区中，光强最小的值。借助暗通道图，可以从有雾的图像中获得所有需要的参数值[3]。(4)基于全局像素的方法：Berman等人基于一个先验知识：一张清晰干净的图像中图像像素点的数量远大于不同颜色的数量。通常，对于一张正常图像，在RGB空间上，图像的像素点的颜色可以聚合成几百个小的团簇。而这些属于同一个团簇的像素点会聚集在RGB空间的直线上，这些直线成为雾线。该方法正是利用雾线估计透射率，进而通过大气散射模型得到去雾后的图像[4]。从上述方法中可以看出，一般去雾算法极大地依赖于透射图估计的准确程度。而透射图的估计又需要基于各种各样的先验和假设。一旦实际图像不符合事先的假设，那么图像的去雾效果就会非常差。
为了提高透射图估计的准确率，近年来，学术界开始利用深度学习来解决图像去雾问题。 Cai等人是第一个提出用深度学习来学习有雾图像到投射图的映射关系，在此基础上再利用大气散射模型重建出较为清晰的图像[5]。Ling等人和Ren等人改进了Cai的估计透射图的方法，分别提出了基于深度CNN的透射图估计[6]和基于多尺度的透射图估计[7]。但是，这种将透射图和全局大气光照度分开估计的方法会导致次优解的问题。因为在两部分参数分别估计的时候产生的误差会不断累积，然后在两个参数并行优化的时候被放大。因此，Li等人将图像去雾问题彻底转化为端对端的问题，通过神经网络直接学习有雾图像到无雾图像的映射关系[8]。
虽然相关研究已经取得了较好的图像去雾效果，但是还是存在一些问题。当采用传统的方式来进行图像去雾时，如果有雾图像的生成与该算法的先验条件或假设不一致时，会导致其去雾性能降低。当采用基于深度学习的去雾算法时，由于其鲁棒性受限于数据集，处理有些图像时则会效果不佳。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于多尺度稠密连接网络的图像去雾方法，能够将具有不同浓度的雾的图像重建出较为清晰的图像，显著的提高了图像质量与视觉效果。
本发明采用的技术方案是：
一种基于多尺度稠密连接网络的图像去雾方法，其包括如下步骤：
步骤1，将单张有雾图像I(x)进行预处理后，并将预处理后得到的图像I(x4)作为模型的输入数据；
所述步骤1具体包括以下步骤：
步骤1.1，图像均衡化：将单张有雾图像I(x)通过基于对比度限制的自适应直方图均衡化方法[9]进行图像预处理，得到图像I(x1)；
步骤1.2，图像归一化：将预处理后的有雾图像I(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像I(x2)；
步骤1.3，图像负值化：将归一化处理后的有雾图像I(x2)的每个像素值都乘以-1，使得每个像素介于[-1,0]之间，得到图像I(x3)；
步骤1.4，图像正值化：将负值化处理后的有雾图像I(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像I(x4)；
步骤2,将预处理后得到的图像I(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；
所述步骤2具体包括以下步骤：
步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：
F(I(x4))＝max(W*I(x4)+b,0) (1)
其中W和b分别是本发明的第一层网络的卷积权值参数和偏置参数；
步骤2.2，多尺度卷积层计算阶段：为了提取不同尺度的雾的特征，本发明将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组，其卷积核大小分别为3x3， 5x5和7x7。将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：
其中和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2 个和第3个卷积层的偏置参数。和分别是i尺度(i＝3、5、7) 的卷积层组的第1个、第2个和第3个卷积层的输出结果；
步骤2.3，多尺度卷积特征混合阶段：本发明的特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：
F5(I(x))＝max(W5*4(I(x))+b5,0) (6)
其中W4和W5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数， b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，F5(I(x))是本发明卷积神经网络的输出，即卷积神经网络所学习的中间变量；
步骤3，去雾区域计算阶段：本发明通过卷积神经网络所学习的中间变量，并利用此中间变量重建出较为清晰的图像。
传统的去雾算法是基于大气散射物理模型，其公式如下：
I(x)＝J(x)t(x)+A(1-t(x)) (7)
其中，I(x)为有雾的图像，J(x)是原始的无雾的图像，A为全局大气光照，t(x)为投射图。
由于传统的去雾模型需要同时计算较多的参数，这导致图像去雾问题成为一个欠适定的问题。因此，在Galdran等人理论的基础上[10]，本发明提出了一种从Retinex角度解决去雾问题的公式。其中，Galdran等人证明了Retinex理论和图像去雾问题之间存在一种关系，其关系如下：
Dehazing(I(x))＝1-Retinex(1-I(x)) (8)
其中Dehazing表示去雾算法，Retinex表示基于Retinex理论进行图像去雾的算法。该公式证明了，这两种方法之间的关系。
而Retinex理论服从以下物理模型:
logR(I(x))＝logI(x)-logL(I(x)) (9)
其中，L(I(x))表示有雾图像的反射图，R(I(x))表示经过Retinex算法增强后的图像。根据以上式子，基于Retinex求解去雾问题的公式推导出如下计算公式：
其中，ε为调节因子，本发明通过实验选取ε＝0.0001，其调节因子可以避免对数值为零的情况。综上所述，本发明只需通过多尺度稠密连接卷积神经网络优化去雾公式中的F5(I(x))。
步骤4，将去雾处理后的图像与y真实清晰的图像进行比较，计算两幅图像之间的欧式距离；
步骤5，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的较为清晰图像与其对应的清晰的图像进行比较时没有获得预先设定的去雾效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-5；
当恢复的较为清晰图像与其对应的清晰的图像进行比较时已经获得预先设定的去雾效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。
本发明采用以上技术方案，具有以下四个方面优点：第一，本发明的多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果；第二，本发明提出了基于Retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效；第三，和其他基于深度学习的去雾算法相比，本发明不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果；第四，本发明首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1是本发明基于多尺度稠密连接网络的图像去雾方法的整体原理示意图；
图2是本发明是多尺度稠密连接网络的原理示意图；
图3是原始的无雾图像；
图4是由无雾图像形成的有雾图像；
图5是AODNet去雾技术飞处理效果图；
图6是暗通道去雾算法的处理效果图；
图7是采用本发明无预处理步骤的处理效果图；
图8是采用本发明完整步骤的的处理效果图。
具体实施方式
如图1-8之一所示，本发明公开了一种基于多尺度稠密连接网络的图像去雾方法，其分为以下几个步骤：
步骤1，训练数据准备阶段。
所述步骤1具体包括以下步骤：
步骤1.1，选用训练数据集。本发明使用的是CVPR NTIRE2018 Outdoor Dehaze的比赛数据，其包含有雾图像和无雾图像对。其中，有雾图像为无雾图像经过某种算法形成的。
步骤1.2，对图像数据库进行预处理，形成有雾子图像与高清无雾子图像的配对集。利用基于对比度限制的自适应直方图均衡化方法[9]对有雾图像I(x)进行预处理，得到对比度调整后的有雾图像I(x1)。从有雾图像I(x1)中按d*d(本发明中d＝256)截图子图像Ic，并同时从无雾图像J(x)中截取相应大小的子图像Jc，形成包含N个子图像的配对集
步骤1.3，图像归一化：将预处理后的有雾子图像和无雾子图像的每个像素值除以255，使得每一个像素介于[0,1]之间；
步骤1.4，图像负值化：将归一化处理后的有雾子图像的每个像素值都乘以-1，使得每个像素介于[-1,0]之间；
步骤1.5，图像正值化：将负值化处理后的有雾子图像的每个像素都加上1，使得每个像素介于[0,1]之间；
步骤2,利用深度卷积神经网络，将预处理后得到的有雾子图像作为模型的输入数据，分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，最终获得一幅其对应的去雾处理后的图像；
所述步骤2具体包括以下步骤：
步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：
F(I(x4))＝max(W*I(x4)+b,0) (1)
其中W和b分别是本发明的第一层网络的卷积权值参数和偏置参数；
步骤2.2，多尺度卷积层计算阶段：为了提取不同尺度的雾的特征，本发明将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组，其卷积核大小分别为3x3， 5x5和7x7。将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：
其中和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2 个和第3个卷积层的偏置参数。和分别是i尺度(i＝3、5、7) 的卷积层组的第1个、第2个和第3个卷积层的输出结果；
步骤2.3，多尺度卷积特征混合阶段：本发明的特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：
F5(I(x))＝max(W5*4(I(x))+b5,0) (6)
其中W4和W5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数， b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，F5(I(x))是本发明卷积神经网络的输出；
步骤3，去雾区域计算阶段：本发明通过卷积神经网络学习中间变量，并利用此中间变量重建出较为清晰的图像。
传统的去雾算法是基于大气散射物理模型，其公式如下：
I(x)＝J(x)t(x)+A(1-t(x)) (7)
其中，I(x)为有雾的图像，J(x)是原始的无雾的图像，A为全局大气光照，t(x)为投射图。
由于传统的去雾模型需要同时计算较多的参数，这导致图像去雾问题成为一个欠适定的问题。因此，在Galdran等人理论的基础上[10]，本发明提出了一种从Retinex角度解决去雾问题的公式。其中，Galdran等人证明了Retinex理论和图像去雾问题之间存在一种关系，其关系如下：
Dehazing(I(x))＝1-Retinex(1-I(x)) (8)
其中Dehazing表示去雾算法，Retinex表示基于Retinex理论进行图像去雾的算法。该公式证明了，这两种方法之间的关系。
而Retinex理论服从以下物理模型:
logR(I(x))＝logI(x)-logL(I(x)) (9)
其中，L(I(x))表示有雾图像的反射图，R(I(x))表示经过Retinex算法增强后的图像。根据以上式子，基于Retinex求解去雾问题的公式推导出如下计算公式：
其中，ε为调节因子，本发明通过实验选取ε＝0.0001，其调节因子可以避免对数值为零的情况。综上所述，本发明是通过多尺度稠密连接卷积神经网络只需优化去雾公式中的 F5(I(x))。
步骤4，将去雾处理后的图像与y真实清晰的图像进行比较，计算两幅图像之间的欧式距离；
步骤5，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的较为清晰图像与其对应的清晰的图像进行比较时没有获得预先设定的去雾效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-5；
当恢复的较为清晰图像与其对应的清晰的图像进行比较时已经获得预先设定的去雾效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。
为了验证本发明的有效性，采用NTIRE 2018 Outdoor Dehaze的比赛数据集进行实验。该数据集包含45张超大分辨率的图像对。本发明把训练数据集分为35张，验证集分为5张，测试集分为5张。如图3-8所示，本发明得到的去雾效果与一些现有的AODNet[8]和暗通道去雾算法[3]进行比较。
本发明采用峰值信噪比(PSNR:Peak Signal to Noise Ratio)来衡量图像去雾性能。
| 去雾算法 | AODNet | 暗通道去雾 | 本发明(无预处理) | 本发明 |
| PSNR | 14.934 | 15.284 | 20.401 | 22.224 |
表1本发明与现有技术在NTIRE2018 Outdoor Dehaze数据集的PSNR平均值
从表1中可以看出，本发明比现有技术中经典的单张图像去雾算法的PSNR值分别提高了 7.29dB、6.94dB。另外，从表1也可以看出，在采用基于对比度限制的直方图均衡化方法作为预处理后，本发明的PSNR平均值上升了1.832dB，从而证明了该方法经过预处理后得到更好的去雾效果。
| 去雾算法 | C2MSNet | CANDY | 本发明 |
| 模型参数个数 | 3584 | 20990 | 2254 |
表2本发明与现有技术的模型参数个数比较
从表2中可以看出，本发明极大地减少了模型参数。与C2MSNet相比，本发明的模型参数数量减少了1330个，而与CANDY相比，本发明的参数仅为其十分之一。由此可见，本发明能够在使用较少参数的情况下，也能达到理想的去雾效果。
本发明提出的基于多尺度稠密连接卷积神经网络的图像去雾方法的创新性主要体现在四个方面：第一，本发明的多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果；第二，本发明提出了基于Retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效；第三，和其他基于深度学习的去雾算法相比，本发明不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果；第四，本发明首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果。
本发明涉及的参考文献如下：
[1]Tan R T.Visibility in bad weather from a single image[C]//ComputerVision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.
[2]Zhu Q,Mai J,Shao L.A Fast Single Image Haze Removal AlgorithmUsing Color Attenuation Prior[J].IEEE Trans Image Process,2015,24(11):3522-3533.
[3]He K,Sun J,Tang X.Single Image Haze Removal Using Dark ChannelPrior.[J]. IEEE Trans Pattern Anal Mach Intell,2011,33(12):2341-2353.
[4]Berman D,Treibitz T,Avidan S.Non-local Image Dehazing[C]//ComputerVision and Pattern Recognition.IEEE,2016:1674-1682.
[5]Cai B,Xu X,Jia K,et al.DehazeNet:An End-to-End System for SingleImage Haze Removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.
[6]Ling Z,Fan G,Wang Y,et al.Learning deep transmission network forsingle image dehazing[C]//IEEE International Conference on ImageProcessing.IEEE, 2016:2296-2300.
[7]Ren W,Liu S,Zhang H,et al.Single Image Dehazing via Multi-scaleConvolutional Neural Networks[M]//Computer Vision–ECCV 2016.SpringerInternational Publishing,2016:154-169.
[8]Li B,Peng X,Wang Z,et al.AOD-Net:All-in-One Dehazing Network[C]//IEEE International Conference on Computer Vision.IEEE Computer Society,2017:4780-4788.
[9]Zuiderveld K.Contrast limited adaptive histogram equalization[M]//Graphics gems IV.Academic Press Professional,Inc.1994:474-485.
[10]Galdran A,Alvarezgila A,Bria A,et al.On the Duality BetweenRetinex and Image Dehazing[J].2017。
Claims (3)
1.一种基于多尺度稠密连接网络的图像去雾方法，其特征在于：其包括如下步骤：
步骤1，将单张有雾图像I(x)进行预处理后，并将预处理后得到的图像I(x4)作为模型的输入数据；
所述步骤1具体包括以下步骤：
步骤1.1，图像均衡化：将单张有雾图像I(x)通过基于对比度限制的自适应直方图均衡化方法进行图像预处理，得到图像I(x1)；
步骤1.2，图像归一化：将预处理后的有雾图像I(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像I(x2)；
步骤1.3，图像负值化：将归一化处理后的有雾图像I(x2)的每个像素值都乘以-1，使得每个像素介于[-1,0]之间，得到图像I(x3)；
步骤1.4，图像正值化：将负值化处理后的有雾图像I(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像I(x4)；
步骤2,将预处理后得到的图像I(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；
所述步骤2具体包括以下步骤：
步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：
F(I(x4))＝max(W*I(x4)+b,0) (1)
其中W和b分别是本发明的第一层网络的卷积权值参数和偏置参数；
步骤2.2，多尺度卷积层计算阶段：将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组；将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：
其中 和分别是不同i尺度的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是不同i尺度的卷积层组的第1个、第2个和第3个卷积层的偏置参数；和分别是不同i尺度的卷积层组的第1个、第2个和第3个卷积层的输出结果；
步骤2.3，多尺度卷积特征混合阶段：特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：
F5(I(x))＝max(W5*F4(I(x))+b5,0) (6)
其中W4和W5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数，b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，F5(I(x))是卷积神经网络的输出；
步骤3，去雾区域计算阶段：基于Retinex求解推导去雾计算公式：
其中，ε为调节因子，I(x)为有雾的图像,D(X)为清晰无雾的图像；
步骤4，将去雾处理后的图像与y真实清晰的图像进行比较，计算两幅图像之间的欧式距离；
步骤5，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的较为清晰图像与其对应的清晰的图像进行比较时没有获得预先设定的去雾效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-5；
当恢复的较为清晰图像与其对应的清晰的图像进行比较时已经获得预先设定的去雾效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。
2.根据权利要求1所述的一种基于多尺度稠密连接网络的图像去雾方法，其特征在于：步骤2.2中三个卷积层组的卷积核大小分别为3x3、5x5和7x7，即i＝3、5、7。
3.根据权利要求1所述的一种基于多尺度稠密连接网络的图像去雾方法，其特征在于：步骤3中调节因子ε取值为ε＝0.0001。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810361296.8A CN108564549B (zh) | 2018-04-20 | 2018-04-20 | 一种基于多尺度稠密连接网络的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810361296.8A CN108564549B (zh) | 2018-04-20 | 2018-04-20 | 一种基于多尺度稠密连接网络的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108564549A true CN108564549A (zh) | 2018-09-21 |
| CN108564549B CN108564549B (zh) | 2022-04-05 |
Family
ID=63536010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810361296.8A Active CN108564549B (zh) | 2018-04-20 | 2018-04-20 | 一种基于多尺度稠密连接网络的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108564549B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859120A (zh) * | 2019-01-08 | 2019-06-07 | 北京交通大学 | 基于多尺度残差网络的图像去雾方法 |
| CN110097522A (zh) * | 2019-05-14 | 2019-08-06 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110189262A (zh) * | 2019-04-29 | 2019-08-30 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾算法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110569928A (zh) * | 2019-09-23 | 2019-12-13 | 深圳大学 | 一种卷积神经网的微多普勒雷达人体动作分类方法 |
| CN111161360A (zh) * | 2019-12-17 | 2020-05-15 | 天津大学 | 基于Retinex理论的端到端网络的图像去雾方法 |
| CN112734673A (zh) * | 2021-01-13 | 2021-04-30 | 山东大学 | 一种基于多表达式融合的低照度图像增强方法及*** |
| CN113033215A (zh) * | 2021-05-18 | 2021-06-25 | 华南师范大学 | 情感检测方法、装置、设备以及存储介质 |
| CN116681626A (zh) * | 2023-08-01 | 2023-09-01 | 山东科技大学 | 一种基于深度学习的雾霾天气下目标图像去雾方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436640A (zh) * | 2011-09-21 | 2012-05-02 | 北京航空航天大学 | 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 |
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| CN106960425A (zh) * | 2017-04-05 | 2017-07-18 | 上海矽奥微电子有限公司 | 基于多尺度去卷积滤波的单帧去雾方法 |
| US20170213321A1 (en) * | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
-
2018
- 2018-04-20 CN CN201810361296.8A patent/CN108564549B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436640A (zh) * | 2011-09-21 | 2012-05-02 | 北京航空航天大学 | 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 |
| CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
| US20170213321A1 (en) * | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
| CN106960425A (zh) * | 2017-04-05 | 2017-07-18 | 上海矽奥微电子有限公司 | 基于多尺度去卷积滤波的单帧去雾方法 |
Non-Patent Citations (3)
| Title |
|---|
| DANIEL M PELT等: "A mixed-scale dense convolutional neural network for image analysis", 《PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES OF THE UNITED STATES OF AMERICA》 * |
| 张雷等: "一种新的基于图像增强的融合算法", 《激光与红外》 * |
| 罗会兰等: "一种基于多尺度Retinex算法的图像去雾方法", 《计算机应用与软件》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859120A (zh) * | 2019-01-08 | 2019-06-07 | 北京交通大学 | 基于多尺度残差网络的图像去雾方法 |
| CN110189262B (zh) * | 2019-04-29 | 2023-03-24 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾方法 |
| CN110189262A (zh) * | 2019-04-29 | 2019-08-30 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾算法 |
| CN110097522A (zh) * | 2019-05-14 | 2019-08-06 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110443761B (zh) * | 2019-07-16 | 2022-02-15 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110544213B (zh) * | 2019-08-06 | 2023-06-13 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110569738B (zh) * | 2019-08-15 | 2023-06-06 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110517203B (zh) * | 2019-08-30 | 2023-06-23 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110569928A (zh) * | 2019-09-23 | 2019-12-13 | 深圳大学 | 一种卷积神经网的微多普勒雷达人体动作分类方法 |
| CN111161360B (zh) * | 2019-12-17 | 2023-04-28 | 天津大学 | 基于Retinex理论的端到端网络的图像去雾方法 |
| CN111161360A (zh) * | 2019-12-17 | 2020-05-15 | 天津大学 | 基于Retinex理论的端到端网络的图像去雾方法 |
| CN112734673B (zh) * | 2021-01-13 | 2022-06-21 | 山东大学 | 一种基于多表达式融合的低照度图像增强方法及*** |
| CN112734673A (zh) * | 2021-01-13 | 2021-04-30 | 山东大学 | 一种基于多表达式融合的低照度图像增强方法及*** |
| CN113033215B (zh) * | 2021-05-18 | 2021-08-13 | 华南师范大学 | 情感检测方法、装置、设备以及存储介质 |
| CN113033215A (zh) * | 2021-05-18 | 2021-06-25 | 华南师范大学 | 情感检测方法、装置、设备以及存储介质 |
| CN116681626A (zh) * | 2023-08-01 | 2023-09-01 | 山东科技大学 | 一种基于深度学习的雾霾天气下目标图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108564549B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564549A (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
| JP6613605B2 (ja) | 深度画像の深度値復元方法及びシステム | |
| Yin et al. | Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data | |
| CN109377459B (zh) | 一种生成式对抗网络的超分辨率去模糊方法 | |
| CN108416745B (zh) | 一种具有色彩恒常性的图像自适应去雾增强方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN109493300B (zh) | 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和*** | |
| CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN110570365A (zh) | 基于先验信息的图像去雾方法 | |
| CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| CN109712116B (zh) | 输电线路及其附件的故障识别方法 | |
| CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
| CN106023097A (zh) | 一种基于迭代法的流场图像预处理算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |