CN107749052A - 基于深度学习神经网络的图像去雾方法及*** - Google Patents
基于深度学习神经网络的图像去雾方法及*** Download PDFInfo
- Publication number
- CN107749052A CN107749052A CN201711001504.5A CN201711001504A CN107749052A CN 107749052 A CN107749052 A CN 107749052A CN 201711001504 A CN201711001504 A CN 201711001504A CN 107749052 A CN107749052 A CN 107749052A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- deep learning
- mist
- characteristic pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007935 neutral effect Effects 0.000 title claims abstract description 32
- 239000003595 mist Substances 0.000 claims abstract description 85
- 210000005036 nerve Anatomy 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 12
- 230000002596 correlated effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000001027 hydrothermal synthesis Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学***滑处理；计算大气光参数；根据初始透射率t(x)及大气光参数，恢复无雾图像。本发明在***和现有去雾方法间建立了联系，在保证效率和易实现的基础上，比现有方法展现出了更好的去雾性能。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度学习神经网络的图像去雾方法及***。
背景技术
雾是一种常见的大气现象。空气中无处不在的灰尘、烟或其他颗粒，都会降低大气的清晰度。在景物摄影领域，光在大气中的透射率对远距离物体的成像尤为重要，因此雾通常会给成像带来很多问题，如：由于光被大气中粒子散射带来的摄影成像时物体在视觉效果上对比度的降低。因此，去雾工作在摄影领域和计算机视觉领域，都有着很大的应用前景。
因为大气中雾的透射程度往往与景深有关，在不同的位置，深度越大，雾越浓厚。如今已有很多不同的去雾方法，如基于直方图，基于对比度的和基于饱和度的。另外，利用多副图像或景深信息去雾的方法也已被提出。例如，利用从不同偏振角度拍摄的多副图像进行去雾的方法。在不同天气条件下拍摄同一场景的图片的多对比度去雾方法被提出。基于深度的方法需要输入一些深度信息或利用已知的3D模型。在实际应用中，深度信息和多副雾图往往是不容易得到和利用的。
最近，借助更好的假设和先验知识，单幅图像的去雾工作取得了重大进展。根据无雾图像中的局部对比度比含雾图像的对比度更高的假设，学者提出了一种基于马尔科夫随机场(MRF)的局部对比度最大化的去雾方法。尽管最大化对比度的方法能够实现很好的去雾效果，但同时也会产生一些过饱和的图像。基于最小输入的独立成分分析法(ICA)被用于去雾工作，但是这一方法的处理时间非常长且不能被用于处理雾浓的图片。受暗光物体去除技术的启发，暗通道先验(DCP)在大量针对清晰图像的测试中被发现，即在无雾图像块中，至少有一个颜色通道会包含一些像素且这些像素在该通道里的值非常低。利用暗通道先验，雾的厚度就可以被估计，并可以利用大气散射模型实现去雾。然而，DCP这种方法的去雾效果在天空区域会出现失真且计算量比较大。学者们提出了一些改进的算法去克服这些限制。为了提高去雾质量，Kratz和Nishino等人利用一个阶乘马尔科夫随机场去构建图像模型，以更准确地估计场景辐射。Meng等人提出了一个有效的正则化去雾方法，通过探究图像内部的边缘限制来复原清晰图像。为了提高计算效率，标准中值滤波，双中值滤波，引导联合双边滤波和图像引导滤波被用于替代耗时较多的软抠图步骤。近年来，与雾相关的先验知识已经在机器学习的框架中被利用。Tang将四种与雾有关的图像特征与随机森林相结合，以估计透射率。Zhu等人利用颜色衰减先验，建立了一个线性模型去估计雾图的景深，并用有监督的方法学习模型的参数。尽管去雾领域已经出现了诸多成就，这些先进的方法都被相同雾相关的先验或启发式线索限制——这些方法在处理一些图像时总会显得低效。
单幅图像的去雾在视觉领域是一项非常难的课题。相反的，人类的大脑却可以无需任何信息从自然场景中迅速地识别出含雾区域。参照生物启发式卷积神经网络在高阶视觉课题如图像分类、人脸识别和物体检测方向的成功，人们尝试也为图像去雾提出一个类似的生物启发模型。事实上，如今已经有了一些基于深度学习的(卷积)神经网络被利用在图像复原或重建等基础视觉任务中。然而，这些方法都不能被直接利用到单幅图像的去雾过程中。
发明内容
本发明旨在克服现有技术的缺陷，提供一种基于深度学习神经网络的图像去雾方法及***。
为实现上述目的，本发明采用以下技术方案：提供一种基于深度学习神经网络的图像去雾方法，包括如下步骤：
步骤1、将含雾图像输入到深度学习神经网络***；
步骤2、所述深度学习神经网络***对所述含雾图像进行特征提取，自主学习并提取雾相关特征；
步骤3、对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；
步骤4、对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；
步骤5、对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；
步骤6、利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；
步骤7、计算大气光参数；
步骤8、根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。
一些实施例中，所述步骤1中，所述深度学习神经网络***包括网络层和非线性激活函数，所述非线性激活函数在所述网络层之后，所述网络层包括级联的巻积层和全连接层；所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归，以估计大气透射率。
一些实施例中，所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。
一些实施例中，所述深度学习神经网络***对所述含雾图像进行特征提取，具体为：
当用于卷积神经网络时，非线性激活函数单元对k幅特征图进行像素级的最大化处理，并生成一张新的特征图，则所述深度学习神经网络***的第一层特征图的输入为：
其中，和分别代表了滤波器和偏差，*代表卷积操作，第一层的输出共有n1张特征图；代表深度学习神经网络第一层特征图输入，x为含雾图像I(x)中每个像素点，j∈[1,k]，i1∈[1,n1]；
是所有k×n1个卷积滤波器中的其中一个，其中3代表了输入图像I(x)的通道数，f1是滤波器的尺寸大小；
非线性激活函数单元将kn1维向量映射到n1维向量，并自主学习并提取雾相关特征。
一些实施例中，所述步骤3中，对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图，具体为：
在所述深度学***行卷积操作，其中每个卷积滤波器的尺寸都在3×3，5×5，7×7中选取，并且这三种尺寸的滤波器的个数均相同，则所述深度学习神经网络***的第二层的特征图输入表示为：
其中，和包括n2对参数并被分为3组，n2是第二层输出的维度，i2∈[1,n2]标志了输出特征图，表示对i2/3向下取整，\代表取余操作。
一些实施例中，所述步骤4中，对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像，具体为：
在所述深度学习神经网络***的第三层采用局部极值操作，第三层特征图的输入表示为：
其中，为第三层输入，y∈Ω(x),i3∈[1,n3]，Ω(x)是一块以x为中心、f3×f3为大小的区域，第三层的输出维度n3＝n2。
一些实施例中，所述步骤5中，对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)，具体为：
利用双边修正线性单元激活函数进行非线性回归，所述深度学习神经网络***的第四层特征图的输入为：
F4＝min(tmax,max(tmin,W4*F3+B4))
其中，W4＝{W4}包括了一个n3×f4×f4大小的滤波器，B4＝{B4}代表了偏差，tmax及tmin分别为双边修正线性单元BReLU激活函数的上下幅值，BReLU为双边修正线性单元，根据公式，激活函数的梯度可以被表示为：
一些实施例中，所述步骤7中，将透射率值最高的0.1％个像素点的透射率最大值作为大气光参数α。
一些实施例中，所述步骤8中，根据初始透射率t(x)及大气光参数，恢复无雾图像，具体步骤为：
大气散射模型为：I(x)＝J(x)t(x)+α(1-t(x))，t(x)＝e-βd(x)，
其中，I(x)是观察到的雾图，J(x)是需要被恢复出的真实图像，t(x)是媒介透射率，α是全局大气光常数，x代表雾图I(x)中的每个像素点，β是大气散射系数，d(x)是景深；
在上述公式中，估计出t(x)和α后，真实场景图J(x)就可以被恢复得到。
为实现上述目的，本发明采用以下技术方案：提供一种基于深度学习神经网络的图像去雾***，包括：
输入模块，用于将含雾图像输入到深度学习神经网络***；
深度学习神经网络***，用于对所述含雾图像进行特征提取，自主学习并提取雾相关特征；对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；
图像平滑处理模块，用于利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；
大气光参数计算模块，用于计算大气光参数；
图像恢复模块，用于根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。
本发明的有益效果在于：由于现有的去雾方法利用的各种不同的限制或先验知识来构建合理有效的去雾方法，去雾工作的关键在于估计含雾图像的大气透射率图。在本发明的基于深度学习神经网络的图像去雾***中，将雾图作为输入，输出相应的透射率图，并将之利用到根据大气散射模型去雾的过程中。在深度结构上，采用了卷积神经网络(CNN)并专门设计其网络层，使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言，Maxout单元层用于特征提取，可提取出与雾有关的所有特征。
此外，本发明还提出了一种新的非线性激活函数，以进一步提高恢复出的无雾图像的质量。
本发明在***和现有去雾方法间建立起了联系，在保证效率和易实现的基础上，比现有方法展现出了更好的去雾性能。
附图说明
图1为深度学习神经网络的网络结构示意图。
图2为修正线性单元和双边修正线性单元函数比较图。
图3为基于深度学习神经网络的图像去雾***结构示意图。
具体实施方式
首先介绍一下本发明的理论背景：为了描述雾图的信息，大气散射模型可以被写成以下形式：
I(x)＝J(x)t(x)+α(1-t(x)) (1)
t(x)＝e-βd(x) (2)
其中，I(x)是观察到的雾图，J(x)是需要被恢复出的真实图像，t(x)是媒介透射率，α是全局大气光常数，x代表雾图I(x)中的每个像素点，β是大气散射系数，d(x)是景深。在公式(1)中，有三个未知参数，在估计出t(x)和α后，真实场景图J(x)就可以被恢复得到。公式(2)表明，当d(x)趋于无穷时，t(x)趋于0。综合(1)(2)可得。
α＝I(x)，d(x)→∞ (3)
在实际过程中，d(x)不可能趋于无穷，但远距离会产生一个很小的透射率t0。与公式(3)中得到大气光的方法不同，按照下面的方法估计大气光会更准确。
上述理论背景说明，恢复出清晰图像的关键在于，估计出准确的大气透射率。大气散射模型表明，在图像去雾过程中，透射率的估计是最关键的步骤。
为了实现这个目的，本发明提出了一种基于深度学习的神经网络去雾***，这一***可以自主学习原图和透射率图之间的对应关系。下面，介绍一下本发明的原理：本发明通过基于深度学习神经网络***来估计透射率，将雾图作为输入，输出相应的透射率图，并将之利用到根据大气散射模型去雾的过程中。在深度结构上，***采用了卷积神经网络(CNN)并专门设计其网络层，使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言，提出了一种函数用于特征提取，可提取出与雾有关的所有特征。还提出了一种新的非线性激活函数，称之为双边修正线性单元，以进一步提高恢复出的无雾图像的质量。之后利用导向滤波优化透射率，通过计算，最后恢复出无雾图像。请参阅图3，本发明实施例提供的基于深度学习神经网络的图像去雾方法，包括如下步骤：
执行步骤1：将含雾图像输入到深度学习神经网络***。输入含雾图像I(x)深度学习神经网络***。其中，x代表雾图I(x)中的每个像素点。深度学习神经网络***包括网络层和非线性激活函数，所述非线性激活函数在所述网络层之后，所述网络层包括级联的巻积层和全连接层；所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归，以估计大气透射率。全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，起到将学到的“分布式特征表示”映射到样本标记空间的作用。
执行步骤2：所述深度学习神经网络***对所述含雾图像进行特征提取，自主学习并提取雾相关特征。为了克服去雾问题本身的病态性，现有的方法提出了各种各样的假设。基于这些假设，研究者们能够提取出与雾有关的特征(如：暗通道、色调差异和颜色衰减等)。本发明认为，提取出雾相关特征的过程与用合适的滤波器卷积输入图像(雾图)并进行非线性映射的过程等价。受到这些其他方法在提取特征时在颜色通道内的极值处理的启发，选择了一个独特的激活函数进行非线性映射来用于降维。此函数是用于多层感受器或卷积神经网络CNN中的一个简单的前向反馈非线性激活函数。当用于卷积神经网络时，会对k幅特征图进行像素级的最大化处理，并生成一张新的特征图。基于此单元，设计了深度学习神经网络去雾***的第一层，第一层的特征图输入为：
其中，和分别代表了滤波器和偏差，*代表卷积操作。在这里，第一层的输出共有n1张特征图。是所有k×n1个卷积滤波器中的其中一个，其中3代表了输入图像I(x)的通道数，f1是滤波器的尺寸大小。代表深度学习神经网络第一层特征图输入，x为含雾图像I(x)中每个像素点，j∈[1,k]，i1∈[1,n1]。公式(5)的函数将kn1维向量映射到n1维向量，并能够自主学习并提取雾相关特征。
执行步骤3：对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图。多尺度特征对去雾是非常有效的，多尺度特征即是在不同尺度下集中提取输入图片的特征。多尺度特征提取在实现尺度不变性上具有优秀的效果。例如，GoogleNet中的初始结构就采用了带有不同滤波器大小的平行卷积层，因而更好地解决了在输入图像中物体定位问题，也理所应当地在各项实验中上取得了最好的实验效果。受到多尺度特征提取的启发，本专利在网络的的第二层也采用了平行卷积操作，其中每个卷积滤波器的尺寸都在3×3，5×5，7×7中选取，并且这三种尺寸的滤波器的个数均相同。第二层的输入可以表示为下面的形式：
其中，表示深度学习神经网络***的第二层的特征图输入，和包括n2对参数并被分为3组。n2是第二层输出的维度，i∈[1,n2]标志了输出特征图。表示对i/3向下取整，\代表取余操作。
执行步骤4：对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像。为了实现空间不变性，视觉皮层上的复杂细胞会将来自简单细胞的刺激进行线性特征整合。IIan等人提出，一系列的池化操作可以将空间一致的属性描述出来。根据CNNs的经典结构，克服局部敏感性的方法就是对每个像素均进行邻近最大值操作。此外，局部极值也与“透射率的值在局部范围内具有不变性”这一假设相符，这一假设也被普遍利用以消除透射率的估计误差。因此，本发明深度学习神经网络***的第三层采用局部极值操作：
其中，Ω(x)是一块以x为中心、f3×f3为大小的区域，第三层的输出维度n3＝n2。第三层为最大池化层，CNN中的最大池化操作时常会降低特征图的分辨率，与之不同的是，局部极值操作是针对特征图上的每一个像素的，能够保持分辨率的不变，取得更好的图像复原效果。
执行步骤5：对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)。在深度网络里，标准的非线性激活函数包括Sigmoid和修正线性单元(ReLU)。前者易出现梯度消失的情况，可能会导致慢收敛或在网络训练中局部优化不理想。为了解决梯度消失的问题，提供了离散化的特征值。然而，ReLU是被设计用来解决分类问题而非像图像复原这样的回归问题。特别的，ReLU的输出均大于0，抑制了小于0的值。这可能会导致响应溢出，特别是在最后一层，因为对图像恢复而言，最后一层的输出值应该是在一个有着上限和下限的小范围内。为了克服这一限制，本发明提出了双边修正线性单元激活函数BReLU，如图2所示。受Sigmoid和ReLU启发，BReLU作为一种新的线性单元，保持了BReLU，第四层的特征图可以被定义为：
F4＝min(tmax,max(tmin,W4*F3+B4)) (8)
其中，W4＝{W4}包括了一个n3×f4×f4大小的滤波器，B4＝{B4}代表了偏差，tmin，max是双边修正线性单元激活函数BReLU的上下幅值(在本实施例中，tmin＝0，tmax＝1)。根据公式(8)，激活函数的梯度可以被表示为：
上述四层依次级联的网络层共同组成了一个基于卷积神经网络CNN的、可训练的端到端深度学习神经网络***，其中卷积层中的滤波器函数和偏差都是网络需要学习的参数。整个深度学习神经网络***包括了3个卷积层和1个最大池化层。其中，第一层、第二层及第四层为巻积层，第三层为最大池化层。
执行步骤6：利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理。引导滤波器是hekaiming于2010年提出的一种滤波器，导向图像可以是输入图像自身或者是另外一个不同的图像。导向滤波器能够向双边滤波器一样保持边缘平滑，但是它在边缘附近有更好的表现。导向滤波器也是更一般地超越平滑的概念：它可以转化导向图的结构为滤波输出，用于很多新的滤波应用像去雾及导向抠图。更多的，导向滤波器自然的有个快速并且不近似线性时间算法，与核的尺寸和像素亮度范围。现在，它是最快的边缘保持滤波器之一。实验显示导向滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效率，包括边缘保持平滑，细节增强，HDR压缩，图像抠图，去雾，级联采样等等。
执行步骤7：计算大气光参数。在透射率图中，将透射率值最高的那0.1％个像素点中的透射率最大值作为大气光参数α。
执行步骤8：根据所述初始透射率t(x)及所述大气光参数α，恢复无雾图像。根据前文的大气散射模型公式(1)和公式(2)：
I(x)＝J(x)t(x)+α(1-t(x)) (1)
t(x)＝e-βd(x) (2)
其中，I(x)是观察到的雾图，J(x)是需要被恢复出的真实图像，t(x)是媒介透射率，α是全局大气光常数，x代表雾图I(x)中的每个像素点，β是大气散射系数，d(x)是景深。在公式(1)中，有三个未知参数，在估计出初始透射率t(x)和大气光参数α后，真实场景图J(x)就可以被恢复得到。
此外，请参阅图3，本发明还提供一种基于深度学习神经网络的图像去雾***，基于深度学习神经网络***，包括以下模块：
输入模块，用于将含雾图像输入到深度学习神经网络***；
深度学习神经网络***，用于对所述含雾图像进行特征提取，自主学习并提取雾相关特征；对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；
图像平滑处理模块，用于利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；
大气光参数计算模块，用于计算大气光参数；
图像恢复模块，用于根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。
其中，请参阅图1，深度学习神经网络***包括以下四个模块：
特征提取模块，用于对所述含雾图像进行特征提取，自主学习并提取雾相关特征。特征提取模块是第一层网络模块，为巻积层；
多尺度映射模块，用于对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图。多尺度映射模块是第二次网络模块，为巻积层。
局部极值模块，用于对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像。局部极值模块是第三层网络模块，为最大池化层。
非线性回归模块，用于对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)。非线性回归模块为第四层网络模块，为巻积层。
上述基于深度学习神经网络的图像去雾方法通过基于深度学习神经网络的图像去雾***实现，因此基于深度学习神经网络的图像去雾***的具体实施方法此处不再赘述。
本发明的基于深度学习神经网络的图像去雾***，将雾图作为输入，输出相应的透射率图，并将之利用到根据大气散射模型去雾的过程中。在深度结构上，采用了卷积神经网络(CNN)并专门设计其网络层，使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言，Maxout单元层用于特征提取，可提取出与雾有关的所有特征。
更加地，本发明提出的新的非线性激活函数，能够进一步提高恢复出的无雾图像的质量。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于深度学习神经网络的图像去雾方法，其特征在于，包括如下步骤：
步骤1、将含雾图像输入到深度学习神经网络***；
步骤2、所述深度学习神经网络***对所述含雾图像进行特征提取，自主学习并提取雾相关特征；
步骤3、对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；
步骤4、对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；
步骤5、对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；
步骤6、利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；
步骤7、计算大气光参数；
步骤8、根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。
2.如权利要求1所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤1中，所述深度学习神经网络***包括网络层和非线性激活函数，所述非线性激活函数在所述网络层之后，所述网络层包括级联的卷积层和全连接层；
所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归，以估计大气透射率。
3.如权利要求2所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。
4.如权利要求3所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤2中，所述深度学习神经网络***对所述含雾图像进行特征提取，具体为：
当用于所述卷积神经网络时，深度学习神经网络***对k幅特征图进行像素级的最大化处理，并生成一张新的特征图，则所述深度学习神经网络***的第一层特征图的输入为：
<mrow>
<msubsup>
<mi>F</mi>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>max</mi>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>,</mo>
<mi>k</mi>
<mo>&rsqb;</mo>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，和分别代表了滤波器和偏差，*代表卷积操作，第一层的输出共有n1张特征图；代表深度学习神经网络第一层特征图输入；x是指含雾图向I(x)中的每个像素点，j∈[1，k]，i1∈[1，n1]。
是所有k×n1个卷积滤波器中的其中一个，其中3代表了输入图像I(x)的通道数，f1是滤波器的尺寸大小；
非线性激活函数单元将kn1维向量映射到n1维向量，并自主学习并提取雾相关特征。
5.如权利要求4所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤3中，对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图，具体为：
在所述深度学***行卷积操作，其中每个卷积滤波器的尺寸都在3×3，5×5，7×7中选取，并且这三种尺寸的滤波器的个数均相同，则所述深度学习神经网络***的第二层的特征图输入表示为：
其中，和包括n2对参数并被分为3组，n2是第二层输出的维度，i2∈[1，n2]标志了输出特征图，表示对i2/3向下取整，\代表取余操作。
6.如权利要求5所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤4中，对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像，具体为：
在所述深度学习神经网络***的第三层采用局部极值操作，第三层特征图的输入表示为：
<mrow>
<msubsup>
<mi>F</mi>
<mn>3</mn>
<mrow>
<mi>i</mi>
<mn>3</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>max</mi>
<mrow>
<mi>y</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msubsup>
<mi>F</mi>
<mn>2</mn>
<mrow>
<mi>i</mi>
<mn>3</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，为深度神经网络第三层输入，Ω(x)是一块以x为中心、f3×f3为大小的区域，第三层的输出维度n3＝n2，x为含雾图像I(x)中每个像素点，y∈Ω(x)，i3∈[1，n3]。
7.如权利要求6所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤5中，对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)，具体为：
利用双边修正线性单元激活函数进行非线性回归，所述深度学习神经网络***的第四层特征图的输入为：
F4＝min(tmax，max(tmin，W4*F3+B4))
其中，W4＝{W4}包括了一个n3×f4×f4大小的滤波器，B4＝{B4}代表了偏差，tmax及tmin分别为双边修正线性单元BReLU的上下幅值，根据公式，激活函数的梯度可以被表示为：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>F</mi>
<mn>4</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>F</mi>
<mn>3</mn>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>F</mi>
<mn>4</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>F</mi>
<mn>3</mn>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>t</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>&le;</mo>
<msub>
<mi>F</mi>
<mn>4</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&le;</mo>
<msub>
<mi>t</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
8.如权利要求1所述的基于深度学习神经网络的图像去雾***，其特征在于，所述步骤7中，将透射率值最高的0.1％个像素点的透射率最大值作为大气光参数α。
9.如权利要求7所述的基于深度学习神经网络的图像去雾***，其特征在于，所述步骤8中，根据初始透射率t(x)及大气光参数，恢复无雾图像，具体步骤为：
大气散射模型为：I(x)＝J(x)t(x)+α(1-t(x))，t(x)＝e-βd(x)，
其中，I(x)是观察到的雾图，J(x)是需要被恢复出的真实图像，t(x)是媒介透射率，α是全局大气光常数，x代表雾图I(x)中的每个像素点，β是大气散射系数，d(x)是景深；
在上述公式中，估计出t(x)和α后，真实场景图J(x)就可以被恢复得到。
10.一种基于深度学习神经网络的图像去雾***，其特征在于，基于深度学习神经网络***，包括以下模块：
输入模块，用于将含雾图像输入到深度学习神经网络***；
深度学习神经网络***，用于对所述含雾图像进行特征提取，自主学习并提取雾相关特征；对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；
图像平滑处理模块，用于利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；
大气光参数计算模块，用于计算大气光参数；
图像恢复模块，用于根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711001504.5A CN107749052A (zh) | 2017-10-24 | 2017-10-24 | 基于深度学习神经网络的图像去雾方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711001504.5A CN107749052A (zh) | 2017-10-24 | 2017-10-24 | 基于深度学习神经网络的图像去雾方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107749052A true CN107749052A (zh) | 2018-03-02 |
Family
ID=61253160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711001504.5A Pending CN107749052A (zh) | 2017-10-24 | 2017-10-24 | 基于深度学习神经网络的图像去雾方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107749052A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN108898562A (zh) * | 2018-06-22 | 2018-11-27 | 大连海事大学 | 一种基于深度学习的移动设备图像去雾方法 |
| CN109035150A (zh) * | 2018-04-24 | 2018-12-18 | 湖南省有色地质勘查研究院 | 一种基于光谱修正的遥感影像数据去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109087270A (zh) * | 2018-09-04 | 2018-12-25 | 中国矿业大学(北京) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
| CN109389569A (zh) * | 2018-10-26 | 2019-02-26 | 大象智能科技(南京)有限公司 | 基于改进DehazeNet的监控视频实时去雾方法 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN110097522A (zh) * | 2019-05-14 | 2019-08-06 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110189262A (zh) * | 2019-04-29 | 2019-08-30 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾算法 |
| CN110211052A (zh) * | 2019-03-29 | 2019-09-06 | 北京工业大学 | 一种基于特征学习的单幅图像去雾方法 |
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110807744A (zh) * | 2019-10-25 | 2020-02-18 | 山东工商学院 | 一种基于卷积神经网络的图像去雾方法 |
| CN111161159A (zh) * | 2019-12-04 | 2020-05-15 | 武汉科技大学 | 一种基于先验知识与深度学习结合的图像去雾方法和装置 |
| CN111369472A (zh) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
| CN112419166A (zh) * | 2020-09-24 | 2021-02-26 | 南京晓庄学院 | 一种基于局部区域分割与scn结合的图像去雾方法 |
| CN113469912A (zh) * | 2021-06-30 | 2021-10-01 | 清华大学 | 一种基于深度学习的雾天能见度估计方法和*** |
| WO2022213372A1 (zh) * | 2021-04-09 | 2022-10-13 | 深圳市大疆创新科技有限公司 | 图像去雾方法、装置、电子设备和计算机可读介质 |
| US11694306B2 (en) | 2020-06-12 | 2023-07-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of operating the same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030198371A1 (en) * | 2002-03-28 | 2003-10-23 | Youichi Ono | Medical image processing apparatus, method and program with media in which the program is recorded |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN107103591A (zh) * | 2017-03-27 | 2017-08-29 | 湖南大学 | 一种基于图像雾霾浓度估计的单幅图像去雾方法 |
-
2017
- 2017-10-24 CN CN201711001504.5A patent/CN107749052A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030198371A1 (en) * | 2002-03-28 | 2003-10-23 | Youichi Ono | Medical image processing apparatus, method and program with media in which the program is recorded |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN107103591A (zh) * | 2017-03-27 | 2017-08-29 | 湖南大学 | 一种基于图像雾霾浓度估计的单幅图像去雾方法 |
Non-Patent Citations (1)
| Title |
|---|
| BOLUN CAI ET AL.: "DehazeNet: An End-to-End System for Single Image Haze Removal", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035150B (zh) * | 2018-04-24 | 2019-05-10 | 湖南省有色地质勘查研究院 | 一种基于光谱修正的遥感影像数据去雾方法 |
| CN109035150A (zh) * | 2018-04-24 | 2018-12-18 | 湖南省有色地质勘查研究院 | 一种基于光谱修正的遥感影像数据去雾方法 |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN108898562A (zh) * | 2018-06-22 | 2018-11-27 | 大连海事大学 | 一种基于深度学习的移动设备图像去雾方法 |
| CN108898562B (zh) * | 2018-06-22 | 2022-04-12 | 大连海事大学 | 一种基于深度学习的移动设备图像去雾方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109087258B (zh) * | 2018-07-27 | 2021-07-20 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109087270B (zh) * | 2018-09-04 | 2019-05-14 | 中国矿业大学(北京) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
| CN109087270A (zh) * | 2018-09-04 | 2018-12-25 | 中国矿业大学(北京) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
| CN109389569A (zh) * | 2018-10-26 | 2019-02-26 | 大象智能科技(南京)有限公司 | 基于改进DehazeNet的监控视频实时去雾方法 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN110211052A (zh) * | 2019-03-29 | 2019-09-06 | 北京工业大学 | 一种基于特征学习的单幅图像去雾方法 |
| CN110189262A (zh) * | 2019-04-29 | 2019-08-30 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾算法 |
| CN110189262B (zh) * | 2019-04-29 | 2023-03-24 | 复旦大学 | 基于神经网络以及直方图匹配的图像去雾方法 |
| CN110097522A (zh) * | 2019-05-14 | 2019-08-06 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110097522B (zh) * | 2019-05-14 | 2021-03-19 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110263706B (zh) * | 2019-06-19 | 2021-07-27 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110807744A (zh) * | 2019-10-25 | 2020-02-18 | 山东工商学院 | 一种基于卷积神经网络的图像去雾方法 |
| CN110807744B (zh) * | 2019-10-25 | 2023-09-08 | 山东工商学院 | 一种基于卷积神经网络的图像去雾方法 |
| CN111161159A (zh) * | 2019-12-04 | 2020-05-15 | 武汉科技大学 | 一种基于先验知识与深度学习结合的图像去雾方法和装置 |
| CN111161159B (zh) * | 2019-12-04 | 2023-04-18 | 武汉科技大学 | 一种基于先验知识与深度学习结合的图像去雾方法和装置 |
| CN111369472A (zh) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
| US11694306B2 (en) | 2020-06-12 | 2023-07-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of operating the same |
| CN112419166A (zh) * | 2020-09-24 | 2021-02-26 | 南京晓庄学院 | 一种基于局部区域分割与scn结合的图像去雾方法 |
| CN112419166B (zh) * | 2020-09-24 | 2024-01-05 | 南京晓庄学院 | 一种基于局部区域分割与scn结合的图像去雾方法 |
| WO2022213372A1 (zh) * | 2021-04-09 | 2022-10-13 | 深圳市大疆创新科技有限公司 | 图像去雾方法、装置、电子设备和计算机可读介质 |
| CN113469912A (zh) * | 2021-06-30 | 2021-10-01 | 清华大学 | 一种基于深度学习的雾天能见度估计方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107749052A (zh) | 基于深度学习神经网络的图像去雾方法及*** | |
| Zhao et al. | Efficient and model-based infrared and visible image fusion via algorithm unrolling | |
| Baldassarre et al. | Deep koalarization: Image colorization using cnns and inception-resnet-v2 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| Bansal et al. | Recycle-gan: Unsupervised video retargeting | |
| Pathak et al. | Context encoders: Feature learning by inpainting | |
| Zhao et al. | Enhancing diversity of defocus blur detectors via cross-ensemble network | |
| CN108765338A (zh) | 基于卷积自编码卷积神经网络的空间目标图像复原方法 | |
| CN108765279A (zh) | 一种面向监控场景的行人人脸超分辨率重建方法 | |
| CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及*** | |
| CN107506722A (zh) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 | |
| Li et al. | Single image snow removal via composition generative adversarial networks | |
| CN108573479A (zh) | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 | |
| CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与*** | |
| CN109858487A (zh) | 基于分水岭算法和图像类别标签的弱监督语义分割方法 | |
| CN116091886A (zh) | 一种基于教师学生模型与强弱分支的半监督目标检测方法及*** | |
| CN111062329A (zh) | 基于增广网络的无监督行人重识别方法 | |
| CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN107194380A (zh) | 一种复杂场景下人脸识别的深度卷积网络及学习方法 | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| CN111445437A (zh) | 一种基于卷积神经网络构建的肤质处理模型处理图像的方法、***及设备 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
| Liu et al. | Fabric defect detection using fully convolutional network with attention mechanism | |
| Chen et al. | Class balanced underwater object detection dataset generated by class-wise style augmentation | |
| Yang et al. | Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180302 |