CN110930322A - 图像分块与卷积网络相结合估计透射图图像去雾方法 - Google Patents

图像分块与卷积网络相结合估计透射图图像去雾方法 Download PDF

Info

Publication number
CN110930322A
CN110930322A CN201911078609.XA CN201911078609A CN110930322A CN 110930322 A CN110930322 A CN 110930322A CN 201911078609 A CN201911078609 A CN 201911078609A CN 110930322 A CN110930322 A CN 110930322A
Authority
CN
China
Prior art keywords
image
defogging
network
transmission
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911078609.XA
Other languages
English (en)
Other versions
CN110930322B (zh
Inventor
魏建国
原康乐
路文焕
张为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911078609.XA priority Critical patent/CN110930322B/zh
Publication of CN110930322A publication Critical patent/CN110930322A/zh
Application granted granted Critical
Publication of CN110930322B publication Critical patent/CN110930322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域,为提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法,得到更高质量的无雾图像。为此,本发明采取的技术方案是,基于图像分块与卷积网络相结合来估计透射图图像去雾方法,将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练,在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。本发明主要应用于图像处理场合。

Description

图像分块与卷积网络相结合估计透射图图像去雾方法
技术领域
本发明涉及图像处理领域,具体涉及基于图像分块与卷积网络相结合来估计透射图图像去雾方法。
背景技术
图像复原法基于大气散射物理模型,通过对有雾图像降质原因的分析,并有效利用先验知识,来恢复原始图像。大气散射公式:
I(x)=J(x)t(x)+A(1-t(x)) (1)
I(x)为有雾图像,J(x)为无雾图像,A为大气光照,t(x)为透射率。由于图像复原法更具有针对性,可以取得更理想的去雾效果,因此成为图像去雾领域的研究热点。
对于单张图像去雾这个问题,最重要的步骤就是估计透射图,在初期人们通过“观察→经验→设计”构建各式各样的特征(如暗通道、颜色衰减、雾线、对比度等)来辅助估计透射图,后来随着人工智能的发展又提出了基于机器学习,深度学习的相关方法来估计透射图。相比于各种传统的基于先验知识的方法,机器学习甚至深度学习的方法则显得单调得多,直接通过神经网络自动提取特征,缺乏对问题本身以及图像统计特性十分深刻的理解。不过基于深度学习的方法可以理解为运用了非常强大的非线性模型,利用大量的有/无雾图像的数据对,对透射图进行估计,因此一般能得到超越传统方法的结果。
DehazeNet(一种基于深度学习的去雾方法)是一个特殊设计的深度卷积网络,利用深度学习去智能地学习雾霾特征,解决手工特征设计的难点和痛点。DehazeNet去雾算法是一种基于深度学习的算法,它能实现较好的去雾效果,并克服了暗原色去雾算法的缺点,同时随着数据集的增加,去雾效果也会随之提高;MSCNN(多尺度卷积网络去雾方法)与DehazeNet非常相似的思路,不同的是提出了一个多尺度的卷积神经网络结构。通过先用粗糙网络生成粗粒度的透射图,再用精细网络进一步得到更细致的图像;为了实现端到端训练且避免利用额外的方法估计全局大气光照A,AOD-Net(一种端到端的去雾方法)做了一些简单的数学变换,把t(x)和A统一到了一个变量K(x)当中。这样只需要用网络估计出K(x)就可以直接得到J(x)。
发明内容
为克服现有技术的不足,本发明旨在提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法,得到更高质量的无雾图像。为此,本发明采取的技术方案是,图像分块与卷积网络相结合估计透射图图像去雾方法,将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练,在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。
具体步骤细化如下:
步骤一,训练阶段:
1)分块:采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练;
2)将分块后的数据集输入神经网络进行训练,所述网络的第一层通过简单前馈非线性激活函数Maxout对每一个图像块进行特征提取,Maxout单元是用于多层感知机或卷积神经网络CNN的简单前馈非线性激活函数,通过对k个特征进行像素方式最大化操作来生成新的特征,经过Maxout进行特征提取之后,所有与雾相关的特征都提取出来,其公式为:
Figure BDA0002263261130000021
之后的网络层采用粗细网络的方式,包括:池化层,每个卷积层之后使用最大池化层;上采样层,在每个池化层之后使用一个上采样层,以确保输出的透射图与输入的有雾图的大小相等;线性组合:通过一个线性组合整合来自最后一个上采样层的特征通道,然后通过sigmoid函数得到最后的输出,sigmoid函数是一个生物学中S型的函数,也称为S型生长曲线,用作神经网络的阈值函数;
步骤二,测试阶段:
在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图。
步骤三,将步骤二所得到的透射图代入大气散射模型,最后得到与输入图像同样大小的无雾图像。
选择n=3。
在进行反向传播时,采用随机梯度下降算法的扩展式adam算法进行学习率设置。
本发明的特点及有益效果是:
本发明的有益效果是:本发明解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢,所以我们在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。
附图说明:
图1为基于图像分块与卷积网络相结合来估计透射图的新型图像去雾方法的网络结构图。
图2为有雾及去雾效果图,(b)、(c)、(d)是n分别为2,3,4时的去雾效果图。
图3为不同去雾方法的去雾效果图。图中,(a)有雾图像,(b)暗原色去雾,(c)DehazeNet,(d)MSCNN,(e)AOD-Net,(f)ours。
具体实施方式
单图像去雾在计算机视觉领域一直是一个具有挑战性的问题。传统的图像去雾方法都是采用手工特征。而随着人工智能,机器学习、深度学习的的发展,基于深度学习的去雾方法发展迅速。本发明的目的是提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该算法将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢,所以我们在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。
本发明解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢,所以我们在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。为了解决上述技术问题,本发明的技术方案是:
一种基于深度学习的新型去雾方法,包括以下步骤:
步骤一,训练阶段:
1).分块:对于基于深度学习的去雾方法来说,数据集是关键,但去雾方向的数据集相对较少,如何使用有限的数据集获得更好的训练效果,从而得到更好的去雾效果是基于深度学习的去雾方法探究的重要方向。采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练,相当于扩大了数据集,可以得到更高质量的无雾图;
2).将分块后的数据集输入如图1所示的神经网络进行训练。该网络的第一层通过Maxout对每一个图像块进行特征提取。Maxout单元是用于多层感知机或CNN的简单前馈非线性激活函数。它通过对k个特征进行像素方式最大化操作来生成新的特征。经过Maxout进行特征提取之后,几乎所有与雾相关的特征都可以提取出来。其公式为:
Figure BDA0002263261130000031
之后的网络层采用粗细网络的方式,因为MSCNN中设计的来估计透射图的粗细网络能得到较好的预测结果。该网络主要包括,池化层:每个卷积层之后使用最大池化层;上采样层:在每个池化层之后使用一个上采样层,以确保输出的透射图与输入的有雾图的大小相等;线性组合:通过一个线性组合整合来自最后一个上采样层的特征通道,然后通过sigmoid激活函数得到最后的输出。
步骤二,测试阶段:
在测试时将输入图像的大小调整为每一块的大小(n*n的表格中一个单元格对应的图像大小),然后通过上采样得到与输入图像相同大小的透射图。
步骤三,将步骤二所得到的透射图代入大气散射模型,最后得到与输入图像同样大小的无雾图像。
下面结合附图,附表以及实验比较来描述本发明实施的基于图像分块与卷积网络相结合来估计透射图的新型图像去雾方法。
本发明采用来自室内的NYU2数据集(用于去雾)。我们设置了不同的大气光A,A的取值范围为[0.6,1.0],同时我们又设置了β的值,β的取值范围为[0.5,1.5],最后得到用于训练的10143张图像。
本次实验主要通过以下两个方向进行比较:
1).由于采取不同的n对结果会有影响,所以我们对采取不同n时得到的去雾图像进行比较.本文此次选取n值分别为2,3,4。
2).将上文比较之后得到的去雾方法,与其它先进的去雾方法进行比较。
实验一:不同的n对结果的影响
评价去雾结果的好坏首先要有评价指标,本文主要采用PSNR与SSIM对去雾后的图像进行评价。PSNR(Peak Signal to Noise Ratio)峰值信噪比,一种全参考的图像质量评价指标。PSNR的单位是dB,数值越大表示失真越小。
PSNR是最普遍和使用最为广泛的一种图像客观评价指标,然而它是基于对应像素点间的误差,即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等),因而经常出现评价结果与人的主观感觉不一致的情况。
SSIM(structural similarity)结构相似性,也是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围[0,1],值越大,表示图像失真越小。
在进行去雾指标评价之前,还有一个重要因素对去雾算法有着重要影响,那就是运行时间。运行时间的长短决定着去雾算法是否可以应用于实际。所以首先对n取不同值时,去雾算法的运行时间进行比较。本次实验采用的电脑配置为酷睿[email protected],32GB,没有GPU加速。本次测试采用30张图像。实验步骤如下所示:
步骤一:将数据集中的每张输入图片与标签图片对应分割成2*2,3*3,4*4的形式;
步骤二:构建神经网络。其结构如图1所示。本发明采用的网络结构来源于于MSCNN中的粗细网络。
粗网络:将输入图像与12*12的卷积核做卷积,通道数为5,然后进行最大池化,步长为2,接着通过上采样恢复到池化之前的大小;然后与9*9的卷积核做卷积,通道数为5,然后进行池化和上采样;接着与7*7的卷积核卷积,通道数为10,然后进行池化和上采样,接着进行线性组合。
细网络:首先采用7*7的卷积核进行卷积,通道数为16,接着采用Maxout单元进一步提取特征,通道数变为4,然后进行池化和上采样。将上采样之后的特征与粗网络提取的特征组合到一起,接着与5*5的卷积核卷积,通道数为5,然后池化,上采样;然后与3*3的卷积核卷积,通道数为10,接着池化,上采样,最后进行线性组合。
步骤三:在进行反向传播时,采用Adam算法(随机梯度下降算法的扩展式)。在训练神经网络时,需要设置学习率控制参数更新的速度,学习率决定了参数每次更新的幅度,如果幅度过大,则可能导致参数在极优值的两侧来回移动;若幅度过小,又会大大降低优化速度。所以在本文中我们选取了一种更加灵活的学习率设置方法,Adam算法。Adam优化算法是随机梯度下降算法的扩展式,近来其广泛用于深度学习应用中,尤其是计算机视觉和自然语言处理等任务。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重,学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
步骤四:在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图。
通过实验,可以得到n分别为2,3,4时去雾算法的运行时间,其运行时间表如表1所示。
当n=2,n=3,n=4时,分别从30张图像中选取3张相同图片,其效果图如图1所示。
使用去雾评价指标对n=2,n=3,n=4时的去雾效果进行评价,其结果如表2所示。
如表1与表2所示:
表1.n为不同值时的运行时间比较表
n=2 n=3 n=4
运行时间 0.64 1.03 2.18
表2.n为不同值时去雾价指标比较表
n=2 n=3 n=4
PSNR 18.4078 18.4446 18.5311
SSIM 0.8669 0.8801 0.8626
通过实验比较,虽然当n=4时的去雾评价指标PSNR比n=2,n=3时略高,但耗费的时间也是n=2,n=3时的2倍多,用于实际中不能较好的实现实时去雾效果,而n=3时去雾评价指标SSIM最高,运行时间与PSNR值居中,所以若用于实际则综合选择n=3。
实验二:不同去雾方法的比较
去雾方法众多,此次实验主要采用通过导向滤波改进后的暗原色去雾方法,DehazeNet,MSCNN,AOD-Net等几种先进的去雾方法与本文提出的去雾方法进行比较。为了保证定性与定量的要求,此次仍采用上文测试所用的30张图像。从30张图像中选取了3张图片在图3中进行展示。其效果图如图3所示。
使用去雾评价指标对采用不同去雾方法时的去雾效果进行评价,其结果如表3所示。
表3.不同去雾方法的去雾评价指标比较表
暗原色先验 DehazeNet AOD-Net MSCNN ours
PSNR 17.4516 17.7696 17.6930 18.0825 18.4446
SSIM 0.8412 0.8291 0.7055 0.8649 0.8651
通过比较可知当n=2时的PSNR与SSIM指标都比其它方法要高,而当n=3时去雾效果更好。

Claims (4)

1.一种图像分块与卷积网络相结合估计透射图图像去雾方法,其特征是,将输入图像与标签图像分成n*n的表格,然后通过卷积网络进行训练,在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图,然后将其代入大气散射模型输出无雾图像。
2.如权利要求1所述的图像分块与卷积网络相结合估计透射图图像去雾方法,其特征是,具体步骤细化如下:
步骤一,训练阶段:
1)分块:采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练;
2)将分块后的数据集输入神经网络进行训练,所述网络的第一层通过简单前馈非线性激活函数Maxout对每一个图像块进行特征提取,Maxout单元是用于多层感知机或卷积神经网络CNN的简单前馈非线性激活函数,通过对k个特征进行像素方式最大化操作来生成新的特征,经过Maxout进行特征提取之后,所有与雾相关的特征都提取出来,其公式为:
Figure FDA0002263261120000011
之后的网络层采用粗细网络的方式,包括:池化层,每个卷积层之后使用最大池化层;上采样层,在每个池化层之后使用一个上采样层,以确保输出的透射图与输入的有雾图的大小相等;线性组合:通过一个线性组合整合来自最后一个上采样层的特征通道,然后通过sigmoid函数得到最后的输出,sigmoid函数是一个生物学中S型的函数,也称为S型生长曲线,用作神经网络的阈值函数;
步骤二,测试阶段:
在测试时将输入图像的大小调整为每一块的大小,然后通过上采样得到与输入图像相同大小的透射图。
步骤三,将步骤二所得到的透射图代入大气散射模型,最后得到与输入图像同样大小的无雾图像。
3.如权利要求1或2所述的图像分块与卷积网络相结合估计透射图图像去雾方法,其特征是,选择n=3。
4.如权利要求1所述的图像分块与卷积网络相结合估计透射图图像去雾方法,其特征是,在进行反向传播时,采用随机梯度下降算法的扩展式adam算法进行学习率设置。
CN201911078609.XA 2019-11-06 2019-11-06 图像分块与卷积网络相结合估计透射图图像去雾方法 Active CN110930322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911078609.XA CN110930322B (zh) 2019-11-06 2019-11-06 图像分块与卷积网络相结合估计透射图图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911078609.XA CN110930322B (zh) 2019-11-06 2019-11-06 图像分块与卷积网络相结合估计透射图图像去雾方法

Publications (2)

Publication Number Publication Date
CN110930322A true CN110930322A (zh) 2020-03-27
CN110930322B CN110930322B (zh) 2021-11-30

Family

ID=69853412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911078609.XA Active CN110930322B (zh) 2019-11-06 2019-11-06 图像分块与卷积网络相结合估计透射图图像去雾方法

Country Status (1)

Country Link
CN (1) CN110930322B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107240136A (zh) * 2017-05-25 2017-10-10 华北电力大学 一种基于深度学习模型的静态图像压缩方法
US20180293713A1 (en) * 2017-04-06 2018-10-11 Pixar Denoising monte carlo renderings using machine learning with importance sampling
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、***、介质和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
US20180293713A1 (en) * 2017-04-06 2018-10-11 Pixar Denoising monte carlo renderings using machine learning with importance sampling
CN107240136A (zh) * 2017-05-25 2017-10-10 华北电力大学 一种基于深度学习模型的静态图像压缩方法
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、***、介质和设备

Also Published As

Publication number Publication date
CN110930322B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及***
CN110675462B (zh) 一种基于卷积神经网络的灰度图像彩色化方法
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
EP3739431B1 (en) Method for determining point of gaze, contrast adjustment method and device, virtual reality apparatus, and storage medium
CN111815574A (zh) 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
CN108765336B (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN109410129A (zh) 一种低光照图像场景理解的方法
CN106600560A (zh) 一种适用于行车记录仪的图像去雾方法
CN108346133B (zh) 一种面向视频卫星超分辨率重建的深度学习网络训练方法
CN109255758A (zh) 基于全1*1卷积神经网络的图像增强方法
CN106169181A (zh) 一种图像处理方法及***
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
Garg et al. LiCENt: Low-light image enhancement using the light channel of HSL
CN116343144B (zh) 一种融合视觉感知自适应去雾的实时目标检测方法
CN115937019A (zh) 一种lsd二次分割和深度学习相结合的不均匀去雾方法
CN114693548B (zh) 一种基于亮区域检测的暗通道去雾方法
CN110969584B (zh) 一种低照度图像增强方法
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
CN110189262B (zh) 基于神经网络以及直方图匹配的图像去雾方法
CN117036281A (zh) 一种缺陷图像的智能生成方法及其***
CN110930322B (zh) 图像分块与卷积网络相结合估计透射图图像去雾方法
KR102277005B1 (ko) 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
CN115660994B (zh) 一种基于区域最小二乘估计的图像增强方法
CN115018864A (zh) 基于自适应预处理的三阶段肝脏肿瘤图像分割方法
CN112686825A (zh) 一种基于fpga的地面浓雾场景灰度图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant