CN115660998A - 基于深度学习和传统先验知识融合的图像去雾方法 - Google Patents
基于深度学习和传统先验知识融合的图像去雾方法 Download PDFInfo
- Publication number
- CN115660998A CN115660998A CN202211400076.4A CN202211400076A CN115660998A CN 115660998 A CN115660998 A CN 115660998A CN 202211400076 A CN202211400076 A CN 202211400076A CN 115660998 A CN115660998 A CN 115660998A
- Authority
- CN
- China
- Prior art keywords
- defogging
- haze
- image
- network
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000087 stabilizing effect Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,提供了一种基于深度学***均线网络,用于稳定去雾网络训练过程;利用传统先验知识设计新的雾霾自适应损失函数;使用训练集和损失函数对去雾网络进行训练;将测试集中的雾霾图像输入到训练好的去雾网络中,得到去雾图像。本发明提供了一种基于深度学习和传统先验知识融合的图像去雾方法,将传统先验知识融合到深度学习去雾模型中,充分考虑了与雾霾相关的特性,有效提升了去雾效果,同时网络框架简单通用,泛化性强。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于深度学习和传统先验知识融合的图像去雾方法。
背景技术
在现实世界中获取到的图像很容易受到雾霾等恶劣天气的影响,拍照时由于雾霾等杂质造成的低质量图像会严重影响目标识别、跟踪、语义分割等高级视觉任务。因此,去除图像中的雾霾杂质,恢复清晰的背景具有重要意义。
为了缓解雾霾对图像的影响,人们提出了很多从图像中去除雾霾的方法,大致可以分为基于传统先验知识的方法和基于深度学习的方法。其中,基于传统先验知识的方法是利用雾霾成像模型和合理的手工先验去除雾霾,如暗通道先验、颜色衰减先验和雾霾线先验等。虽然这些基于经验统计观测的先验可以提高雾霾图像的质量,但它们只适用于特定的场景中,在复杂多变的现实场景中去雾效果较差。例如,暗通道先验的去雾结果容易出现块状伪影,颜色衰减先验不能从密集的雾霾区域恢复纹理细节信息。
基于深度学习的方法消除了对手工先验的依赖,在图像去雾方面取得了很大的进展。现有的基于深度学习的图像去雾算法按照训练方式可分为基于监督的(如AECR-Net)、基于半监督的(如semi-dehazing)和基于无监督的算法(如YOLY)。基于监督的方法主要依靠网络结构的设计和丰富的雾霾/清晰图像对来恢复低质图像的细节信息,然而对于具有挑战性的雾霾区域,这些方法无法在有效去除雾霾的同时抑制伪影等噪声。尽管基于半监督和基于无监督的方法可以缓解这一问题,但与基于监督的方法相比,它们的去雾效果有所下降。并且现有的基于深度学习的方法忽略了传统先验知识在图像去雾上的优势。
发明内容
针对现有的图像去雾方法中存在的上述问题,本文提出了一种基于深度学习和传统先验知识融合的图像去雾方法,该方法将深度学习模型与传统去雾方法的先验知识充分融合,提升去雾效果的同时,增强了可解释性。
为了实现上述目的,本发明采用如下技术方案:
一种基于深度学习和传统先验知识融合的图像去雾方法,包括以下步骤:
步骤1:获得公开的用于图像去雾的训练数据集和测试数据集,并对数据集中的图像进行预处理;
步骤2:搭建去雾网络,所述去雾网络的输入为数据集中的雾霾图像,对雾霾图像进行端到端的去雾清晰化处理,直接输出去雾图像R1;
步骤3:搭建指数移动平均网络,所述网络的输入与步骤2中去雾网络的输入相同,最终输出图像R2;
步骤4:利用预处理的训练数据集和损失函数对步骤2中的去雾网络进行训练,直至达到最大迭代次数;
步骤5:将测试数据集中的雾霾图像输入到训练好的去雾网络中,得到最终的去雾图像。
进一步地,所述步骤1中的预处理包括将同一数据集中的所有图像裁减为统一大小、图像像素值归一化等操作。
进一步地,所述步骤2中的去雾网络可选择现有的任意的基于监督的去雾网络模型。
进一步地,所述步骤3中的指数移动平均网络与步骤2中的去雾网络结构相同,但网络的初始参数不同,并且在训练过程中参数不更新;指数移动平均网络的初始参数由步骤2中去雾网络的初始参数通过下式计算得到:
其中,ΨEMA表示指数移动平均网络的初始参数,Ψ表示步骤2中去雾网络的初始参数,α是权重参数。
进一步地,所述步骤4中的损失函数在采用常见的L1损失函数和感知损失函数的基础上,设计了新的雾霾自适应损失函数,总损失函数Ltotal可表示为:
Ltotal=L1+Lpercep+LHAL
其中,L1、Lpercep、LHAL分别表示L1损失函数、感知损失函数和新设计的雾霾自适应损失函数。
进一步地,雾霾自适应损失函数通过能够表征雾霾区域的像素级权重矩阵计算得到,像素级权重矩阵通过暗通道先验和残差、方差等操作检测去雾图像中残留的雾霾区域,并且矩阵中的元素值表示图像中对应位置的雾霾概率值;雾霾自适应损失函数的具体计算过程如下:
首先检测去雾网络输出的去雾图像中残留的雾霾区域,使用暗通道先验(DarkChannel Prior,DCP)对步骤2和步骤3中的输出图像R1、R2,以及输入的雾霾图像对应的无雾图像GT进行处理,得到三个输出结果,分别表示为和CTDCP,然后分别计算GTDCP和GTDCP的残差,来检测输出的去雾图像中残留的雾霾区域,可表示为:
其中,Re1、Re2分别表示R1、R2对应的残差图;
为了更好地去除残余雾霾和伪影等噪声,通过局部方差提取残差图Re1中的高频成分,具体可以表示为:
由于上述提取的高频成分既包含噪声,也包含有用的细节信息,因此为了保留细节信息和抑制噪声,计算残差图Re1的全局方差,可以表示为:
在去雾网络的早期训练阶段,可能会存在细节信息被抑制的问题,因此为了进一步提升去雾网络训练的稳定性与去雾效果,利用步骤3中指数移动平均网络的输出对特征图kH进行改进,得到每一个元素值表征雾霾和伪影概率的像素级权值矩阵表示为:
当Re1(x)<Re2(x),特征图中元素值为0,否则,为KH;
设计的雾霾自适应损失函数LHAL可以表示为:
本发明提出的去雾方法将深度学习与传统先验知识进行了结合,能够有效检测到输出图像中的残余雾霾,并设计了一个新的损失函数,将检测到的残余雾霾去除,同时可以恢复图像中的细节信息,抑制伪影等噪声,提升去雾效果。本发明提出的网络框架简单有效,易于扩展到其它去雾网络,提高其它去雾网络的去雾性能,并且能够适用于不同的雾霾环境中。
总之,我们的方法有以下优势:
1)本发明提出了一种新的去雾方法,该方法将深度学习模型与强大的雾霾图像先验知识充分融合,增强了可解释性;
2)本发明提出了一种雾霾检测方法,利用雾霾相关特征和传统先验知识检测残余雾霾,从而有效将更具有挑战性的雾霾区域进行区分;
3)本发明设计了一种新的通用附加损失函数,在去除残余雾霾的同时能够抑制伪影等噪声,并恢复细节信息。
附图说明
图1是本发明提出的基于深度学习和传统先验知识融合的图像去雾方法的流程图;
图2是本发明中雾霾自适应损失函数具体计算过程框架图;
图3示出本发明的去雾方法中对去雾图像中残余雾霾检测的效果图;
图4示出本发明提出的去雾方法与其他去雾方法的去雾效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,通过附图和下述实施例,对本发明进行进一步详细说明,其中,附图中相同的标记代表相同或相似的组件。然而,以下所描述的具体实施例仅仅用于解释本发明,并非用来限制本发明所涵盖的范围。
参照图1,本发明实施例的方法按照以下步骤操作:
步骤1:获得常见的用于去雾的训练集和测试集,获取的数据集包含RESIDE、NHHaze等训练数据集,以及SOTS、NHHaze、HSTS等测试集;并对不同的数据集进行不同的预处理操作,如将RESIDE训练数据集中的所有图像大小统一裁减为256×256,NHHaze训练数据集中的所有图像大小统一裁减为512×512,测试集中所有图像保持原本大小,并对每个数据集中的所有图像进行归一化处理。
步骤2:搭建去雾网络,对输入的雾霾图像进行端到端处理,输出去雾图像;去雾网络可选择现有的任意的基于监督的去雾网络模型。在本发明的一个实施例中,以Dehazeformer网络模型作为去雾网络,Dehazeformer模型使用U型框架结构,编码器部分用于提取深层次、多尺度特征和全局信息,包含卷积层、Transformer块、下采样层;解码器部分用于融合多尺度特征和恢复空间信息,包含上采样层、融合层以及Transformer块。
步骤3:搭建指数移动平均网络,所述网络与步骤2中的去雾网络结构相同,但网络初始参数不同,并且在训练过程中参数不更新;指数移动平均网络的初始参数由步骤2中去雾网络的初始参数计算得到。可以表示为:
其中,ΨEMA表示指数移动平均网络的初始参数,Ψ表示步骤2中去雾网络的初始参数,α是权重参数,本实例中设为0.999。
步骤4:设计雾霾自适应损失函数,需要通过暗通道先验和残差、方差等操作检测去雾图像中残留的雾霾区域,并计算得到表征雾霾区域的像素级权值矩阵,通过该矩阵计算雾霾自适应损失;
雾霾自适应损失函数具体计算过程框架如图2所示,具体计算过程如下:
首先检测去雾图像中残留的雾霾区域。使用暗通道先验(Dark Channel Prior,DCP)对步骤2和步骤3中输出的去雾图像R1、R2,以及对应的无雾图像GT进行处理,得到三个处理结果,分别表示为和GTDCP。然后分别计算GTDCP和GTDCP的残差,来检测输出的去雾图像中残留的雾霾区域,可表示为:
其中,Re1、Re2分别表示R1、R2对应的残差图。
为了能够将检测出来的残余雾霾和出现的伪影斑块去除,通过局部方差提取残差图Re1中的高频成分。具体可以表示为:
由于上述提取的高频成分既包含噪声,也包含有用的细节信息,因此为了保留细节信息和抑制噪声,计算残差图Re1的全局方差,可以表示为:
由于在去雾网络的早期训练阶段可能会存在细节信息被抑制的问题,因此为了进一步提升网络训练的稳定性和网络去雾效果,利用指数移动平均网络的输出对特征图kH进行改进,得到每一个元素值表征雾霾和噪声程度的像素级权值矩阵表示为:
通过雾霾自适应损失函数,可以有效去除去雾图像中残留的雾霾区域和高频噪声,提升去雾效果。
步骤5:使用步骤1中预处理后的训练数据集分别对步骤2中的去雾网络进行训练,通过多轮迭代后,得到各个数据集对应的训练好的网络模型,训练时使用Adamw优化器,损失函数采用常见的L1损失函数、感知损失函数和新设计的雾霾自适应损失函数,总损失函数Ltotal可表示为:
Ltotal=L1+Lpercep+LHAL
其中,L1、Lpercep、LHAL分别表示L1损失函数、感知损失函数和新设计的雾霾自适应损失函数。
步骤6:将不同测试集中的雾霾图像输入到对应的训练好的去雾网络中,得到最终的去雾图像。
图3示出本发明实施例中对去雾图像中的残余雾霾检测的效果图。
如图3(a)至3(h)所示,图3(a)为输入的雾霾图像,图像来自于NHHaze测试集,图3(b)为输入的雾霾图像对应的清晰无雾图像,图3(c)为去雾网络输出的去雾图像,图3(d)为去雾图像和无雾图像的残差图,图3(e)至图3(h)分别为图3(a)至图3(d)对应的暗通道图。从图3(h)和图3(d)的对比可以看出,暗通道先验能够更好、更完整地检测出去雾图像中残留的雾霾区域。
图4示出本发明实施例与其他去雾方法的去雾效果对比图。
如图4(a)至4(j)所示,图4(a)为输入的雾霾图像和局部区域的放大视图,图像来自于SOTS室外测试集,图4(b)为KDDN模型的去雾结果,图4(c)为AECRNet模型的去雾结果,图4(d)为PSD模型的去雾结果,图4(e)为FFANet模型的去雾结果,图4(f)为HLP模型的去雾结果,图4(g)为GridDehazeNet模型的去雾结果,图4(h)为YOLY模型的去雾结果,图4(i)为本发明去雾方法的去雾结果,图4(j)为输入的雾霾图像对应的清晰无雾图像。从上述不同去雾方法的实验结果对比可以看出,大多数方法的去雾结果中仍然存在不同程度的残余雾霾,并且容易出现伪影等问题,本发明的去雾方法能够去除残留的雾霾,同时很好地恢复细节信息,去雾结果最接近真实的清晰无雾图像。
以上所述参照附图描述了本发明的具体实施方式,可以理解的是,以上仅为本发明的一个实施例,不能理解为对本发明保护范围的限制,本领域的普通技术人员在本发明的范围内对上述实施例进行的变化、修改、替换和变型等都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习和传统先验知识融合的图像去雾方法,其特征在于,包括以下步骤:
步骤1:获得公开的用于图像去雾的训练数据集和测试数据集,并对数据集中的图像进行预处理;
步骤2:搭建去雾网络,所述去雾网络的输入为数据集中的雾霾图像,对雾霾图像进行端到端的去雾清晰化处理,直接输出去雾图像R1;
步骤3:搭建指数移动平均网络,所述网络的输入与步骤2中的去雾网络输入相同,最终输出图像R2;
步骤4:使用预处理的训练数据集和损失函数对步骤2中的去雾网络进行训练,直至达到最大迭代次数;
步骤5:将测试集中的雾霾图像输入到训练好的去雾网络中,得到最终的去雾图像。
2.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法,其特征在于,所述步骤1中的预处理包括将同一数据集中所有图像裁减为统一大小、图像像素值归一化等操作。
3.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法,其特征在于,所述步骤2中的去雾网络可选择任意的基于监督的深度学习去雾网络模型。
5.根据权利要求1所述的基于深度学习和传统先验知识融合的图像去雾方法,其特征在于,所述步骤4中的损失函数在采用常见的L1损失函数和感知损失函数的基础上,设计了新的雾霾自适应损失函数,总损失函数Ltotal可表示为:
Ltotal=L1+Lpercep+LHAL
其中,L1、Lpercep、LHAL分别表示L1损失函数、感知损失函数和雾霾自适应损失函数。
6.根据权利要求5所述的基于深度学习和传统先验知识融合的图像去雾方法,其特征在于,雾霾自适应损失函数通过能够表征雾霾区域的像素级权重矩阵计算得到,像素级权重矩阵通过暗通道先验和残差等操作检测去雾图像中残留的雾霾区域,并且权重矩阵中的元素值表示图像中对应位置的雾霾概率值;雾霾自适应损失函数的具体计算过程如下:
检测去雾网络输出的去雾图像中残留的雾霾区域;使用暗通道先验(Dark ChannelPrior,DCP)对步骤2和步骤3的输出图像R1、R2,以及输入的雾霾图像对应的无雾图像GT进行处理得到三个输出结果,分别表示为和GTDCP,然后分别计算GTDCP和GTDCP的残差,来检测输出去雾图像中残留的雾霾区域,可表示为:
其中,Re1、Re2分别表示R1、R2对应的残差图;
为了更好地将检测出来的残余雾霾和去雾图像中出现的伪影斑块进行去除,通过局部方差提取残差图Re1中的高频成分,具体可以表示为:
由于上述提取的高频成分既包含噪声,也包含有用的细节信息,因此为了保留细节信息和抑制噪声,计算残差图Re1的全局方差,可以表示为:
在去雾网络的早期训练阶段,可能会存在细节信息被抑制的问题,因此为了进一步提升网络训练的稳定性与去雾效果,利用步骤3中指数移动平均网络的输出结果对特征图kH进行改进,得到每一个元素值表征雾霾和噪声程度的像素级权值矩阵表示为:
当Re1(x)<Re2(x),特征图中的元素值为0,否则,为kH;
通过雾霾自适应损失函数,可以有效去除去雾图像中残留的雾霾区域和高频噪声,提升去雾效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211400076.4A CN115660998A (zh) | 2022-11-09 | 2022-11-09 | 基于深度学习和传统先验知识融合的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211400076.4A CN115660998A (zh) | 2022-11-09 | 2022-11-09 | 基于深度学习和传统先验知识融合的图像去雾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115660998A true CN115660998A (zh) | 2023-01-31 |
Family
ID=85015382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211400076.4A Pending CN115660998A (zh) | 2022-11-09 | 2022-11-09 | 基于深度学习和传统先验知识融合的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115660998A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523801A (zh) * | 2023-07-03 | 2023-08-01 | 贵州医科大学附属医院 | 一种早产儿护理智能监测方法 |
CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
-
2022
- 2022-11-09 CN CN202211400076.4A patent/CN115660998A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523801A (zh) * | 2023-07-03 | 2023-08-01 | 贵州医科大学附属医院 | 一种早产儿护理智能监测方法 |
CN116523801B (zh) * | 2023-07-03 | 2023-08-25 | 贵州医科大学附属医院 | 一种早产儿护理智能监测方法 |
CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
CN117893440B (zh) * | 2024-03-15 | 2024-05-14 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115660998A (zh) | 基于深度学习和传统先验知识融合的图像去雾方法 | |
CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
Gao et al. | Single image dehazing via self-constructing image fusion | |
CN107798670B (zh) | 一种利用图像引导滤波器的暗原色先验图像去雾方法 | |
CN112150379A (zh) | 基于感知判别增强生成对抗网络的图像去雾方法及装置 | |
CN112733929B (zh) | 一种改进Yolo水下图像小目标和遮挡目标的检测方法 | |
CN113436124B (zh) | 一种应用于海洋雾天环境下的单图像去雾方法 | |
CN111161167A (zh) | 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 | |
CN114219732A (zh) | 基于天空区域分割和透射率细化的图像去雾方法及*** | |
CN112070717A (zh) | 基于图像处理的输电线路覆冰厚度检测方法 | |
CN111192213B (zh) | 图像去雾自适应参数的计算方法、图像去雾方法及*** | |
CN116246138A (zh) | 基于全卷积神经网络的红外-可见光图像目标级融合方法 | |
CN105608683B (zh) | 一种单幅图像去雾方法 | |
CN114863498A (zh) | 一种基于AGC和Frangi的手部静脉红外图像的增强与分割方法 | |
CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
CN117409083A (zh) | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 | |
CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
Chen et al. | An adaptive image dehazing algorithm based on dark channel prior | |
Khan et al. | Shadow removal from digital images using multi-channel binarization and shadow matting | |
CN113920159B (zh) | 一种基于全卷积孪生网络的红外空中小目标跟踪方法 | |
CN111489302B (zh) | 一种雾气环境下海事图像增强方法 | |
Li et al. | A fast image dehazing algorithm for highway tunnel based on artificial multi-exposure image fusion | |
Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |