CN116452450A - 一种基于3d卷积的偏振图像去雾方法 - Google Patents

一种基于3d卷积的偏振图像去雾方法 Download PDF

Info

Publication number
CN116452450A
CN116452450A CN202310390770.0A CN202310390770A CN116452450A CN 116452450 A CN116452450 A CN 116452450A CN 202310390770 A CN202310390770 A CN 202310390770A CN 116452450 A CN116452450 A CN 116452450A
Authority
CN
China
Prior art keywords
convolution
layer
mth
image
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310390770.0A
Other languages
English (en)
Inventor
王昕�
付伟
于海潮
高隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310390770.0A priority Critical patent/CN116452450A/zh
Publication of CN116452450A publication Critical patent/CN116452450A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于3D卷积的偏振图像去雾方法，包括：1、利用偏振图像生成通道获取合成的偏振图像数据集；2、构建基于3D卷积的使用偏振图像的深度卷积神经网络，以四张不同偏振角度的偏振图像作为输入，对深度卷积神经网络进行训练，得到去雾模型；3、利用训练好的模型对待去雾的偏振图像进行去雾处理，得到恢复好的无雾图像。本发明能实现基于3D卷积的偏振图像去雾，以有效提高复杂多变场景下的去雾效果，从而能为许多高级视觉任务提供更加清晰的图像。

Description

一种基于3D卷积的偏振图像去雾方法
技术领域
本发明属于计算机视觉、图像处理和分析领域，具体说是一种基于3D卷积网络使用偏振图像地去雾方法。
背景技术
雾或霾是一种常见的大气现象，在这种天气条件下，室外的空气中含有大量的微小悬浮颗粒，这些微小颗粒会对大气光产生折射和散射，经过折射和散射后的光线会与待观察的目标场景反射后的光线相混合，使得场景的能见度大幅度降低，由此造成户外图像采集设备所捕获的图像的对比度显著下降，甚至会导致图像颜色失真，细节大量丢失的现象。一些高级的计算机视觉任务，如目标检测，图像分割等需要高质量的图像作为输入。然而，在有雾或霾的恶劣天气条件下，所获取的图像质量下降，大大影响了这些视觉任务的处理效果。因此，图像去雾工作至关重要。
近年来，图像去雾越来越受到研究者的重视，并提出了许多性能良好的图像去雾模型。目前，现有的框架大致分为两类：基于人工先验知识的传统去雾方法和基于深度学习算法的去雾方法。传统的去雾方法，依赖基于从清晰图像统计的人工先验知识，利用大气散射模型来恢复出无雾图像。著名的有何提出的暗通道先验算法(DCP)，该方法基于无雾图像中的像素在至少一个颜色通道中的值接近于0的假设。虽然传统去雾方法取得了一定的进展，但是这些假设和先验知识都是针对特定场景和天气条件下的，因此泛化能力有限，即一旦环境发生重大改变，模型的去雾能力将会显著降低。基于深度学习的方法通过大量的训练数据来训练一个去雾的模型，利用训练的模型在测试数据上进行测试。基于深度学习的方法也可以分为两类，一类是通过网络学习大气模型中的参数间接地恢复无雾图像，另一类是利用深度学习网络实现端到端的由有雾图像作为输入直接输出无雾的图像。
但是这些基于学习的方法仍然存在不足之处：1、基于深度学习的方法大都输入是单一图像(RGB图像)利用大气散射模型进行训练测试，然而需要同时估计模型中两个关键参数，这就导致会出现不适定和泛化能力较差的问题；2、为了解决不适定问题和提高泛化能力，越来越多基于多幅图像的去雾方法出现，其中使用多张不同偏振角度的偏振图像的方法能够充分利用场景信息，取得不错的效果，然后大部分这些方法基于透射光不是显著偏振的地假设或者需要特定的线索如天空区域或者相似物体，导致其在真实世界有雾图像的去雾效果变差。
发明内容
本发明为解决现有技术中的不足之处，提供了一种基于3D卷积的偏振图像去雾方法，以期能提高有雾环境下拍摄图像的质量，提高复杂多变场景下的去雾效果，从而能满足高级视觉任务所需图片的要求，为许多高级视觉任务提供更加清晰的图像。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于3D卷积的偏振图像去雾方法的特点在于，是按照如下步骤进行：
步骤1、获取合成的偏振图像数据集；
步骤1.1、获取带有场景深度图d(z)和语义分割图S的无雾图像J(z)；
步骤1.2、在一定范围内对大气散射因子β、全局大气光A∞和全局大气光的偏振度DoPA随机赋值，从而利用式(1)生成像素点z处的雾天图像I(z)：
I(z)＝T(z)+A(z)＝J(z)t(z)+A∞(1-t(z)) (1)
式(1)中，z表示像素的空间坐标，T(z)，A(z)分别表示像素点z处的透射光和大气光，J(z)表示无雾图像，t(z)表示像素点z处的传输图，且t(z)＝e-βd(z)，其中，d(z)表示像素点z处的场景深度图；
步骤1.3、计算透射光T的偏振度DoPT＝g(S)，其中，S表示语义分割图，g表示随机映射函数；
步骤1.4、利用式(2)计算雾天图像I的偏振度DoP：
I·DoP＝T·DoPT+A·DoPA (2)
式(2)中，DoPA表示大气光A的偏振度；
步骤1.5、利用式(3)计算偏振角为的偏振图像/>
式(3)中，表示用于传输平行于入射平面的分量的偏振片的方向，且
步骤2、基于U-Net架构构建基于3D卷积的偏振图像去雾模型，包含：POL-3D编码器、空间冗余减少模块SSR、POL解码器；
步骤2.1、构建由M个3D卷积层构成的所述POL-3D编码器，其中，第m级3D卷积层依次包括：一个卷积层，一个实例归一化和一个ReLU激活函数层；且每个卷积层的卷积核大小均是一个包含3个整数的元组构成，分别表示深度、高度和宽度三个维度上的卷积核大小；
步骤2.2、对不同偏振角的偏振图像进行数据升维和融合操作后再进行融合，从而得到4维高维特征图输入到POL-3D编码器中，并依次通过M个3D卷积层，从而获得M个不同通道数、偏振角、高度和宽度的特征图，其中，所述高维特征图的4个维度包括通道数，偏振角，图像高度和宽度；
步骤2.3、所述空间冗余减少模块SSR对M个特征图进行处理后，得到M个有效特征图F1,F2,…,Fm,…,FM；
步骤2.4、所述POL解码器对M个有效特征图F1,F2,…,Fm,…,FM进行处理后，输出最终的去雾预测图；
步骤3、训练基于3D卷积的偏振图像去雾模型；
基于偏振图像及其对应的真实无雾图像，利用ADAM优化器对所述基于3D卷积的偏振图像去雾模型进行训练，并使用平均绝对误差L1 Loss作为损失函数，用于计算去雾预测图与真实无雾图之间的损失，以更新模型参数，直到损失函数收敛为止，从而得到最优基于3D卷积的使用偏振图像的去雾模型，用于对合成的偏振有雾图像和真实拍摄的偏振有雾图像进行去雾处理。
本发明所述的一种基于3D卷积的偏振图像去雾方法的特点也在于，所述步骤2.3中的空间冗余减少模块SSR是由M个八度卷积层及其对应的最大池化层构成，每个八度卷积层包括预处理块、八度卷积块和后处理块，并按照如下步骤进行处理：
步骤2.3.1、第m个八度卷积层中预处理块由两个分支构成，其中一个分支依次由一个卷积层和实例归一化层构成，用于分解出高频特征；另一个分支依次由一个平均池化层，一个卷积层和一个实例归一化层组成，用于分解出低频特征；且两个卷积层的卷积核大小相同，输出通道数不同；m∈M；
第m个特征图分别经过第m个八度卷积层中预处理块的两个分支，并相应输出第m个高频特征图和第m个低频特征图/>
步骤2.3.2、所述第m个八度卷积层中的八度卷积块由四个卷积层，两个实例归一化层，一个平均池化层，一个上采样层构成；
所述第m个高频特征图经过第m个八度卷积层中八度卷积块的第一个卷积层的处理后得到第m个高频到高频特征图/>同时，所述第m个高频特征图/>经过一个平均池化层的处理后再输入到第二个卷积层中进行处理，得到第m个高频到低频特征图/>
所述第m个低频特征图经过第三个卷积层的处理后得到第m个低频到低频特征图/>同时，所述第m个低频特征图/>依次输入第四个卷积层、上采样层中进行处理后，得到第m个低频到高频特征图/>
将与/>相融合后，输入到第一个实例归一化层中，并输出第m个高频特征图/>
将和/>相融合后，输入到第二个实例归一化层中，并输出第m个低频特征图
步骤2.3.3、所述第m个八度卷积层中的后处理块由两个卷积层，一个上采样层和一个实例归一化层构成；
所述第m个高频特征图经过后处理块的一个卷积层后，得到第m个高频到高频特征图/>
所述第m个低频特征图经过后处理块的另一个卷积层后，再输入到一个上采样层中，得到第m个低频到高频特征图/>
与/>相融合后再经过一个实例归一化层的处理后得到第m个特征图/>
第m个特征图输入所述第m个八度卷积层对应的最大池化中进行处理，得到第m个有效特征图Fm；从而由M个不同通道数、偏振角、高度和宽度的特征图经过所述空间冗余减少模块SSR的处理后得到M个有效特征图F1,F2,…,Fm,…,FM。
所述步骤2.4中的POL解码器是由M个反卷积层构成；
当m＝1,2,…,M-1时，每个反卷积层包括一个2D卷积层和一个实例归一化层；当m＝M时，反卷积层仅包括一个2D卷积层；
当m＝M时，所述第M个特征图FM利用双线性插值函数进行处理后输入到第1个反卷积层中，输出第1个反卷积层特征图F'1；
当m＝M-1,M-2,…,2时，所述第m个特征图Fm与第M-m个反卷积层特征图F'M-m相融合后，再利用双线性插值函数对融合后的特征图进行处理后再输入到第M-m+1个反卷积层中，并输出第M-m+1个反卷积层特征图F'M-m+1；
当m＝1时，由第M个反卷积层对第1个特征图进行处理后，得到第M个反卷积层特征图F'm即为最终的去雾预测图。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行任一所述偏振图像去雾方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行任一所述偏振图像去雾方法的步骤。
与已有技术相比，本发明的有益效果是：
1、本发明通过构建基于3D卷积的偏振图像深度神经网络，使用不同偏振角度的偏振图像作为输入，结合3D卷积编码器，解决了传统多幅图像去雾网络中使用2D卷积进行模型设计，忽略了分组图像之间相关性的问题，从而提高了恢复的无雾图像的质量。
2、本发明所构建的基于3D卷积的偏振图像深度神经网络，引入偏振信息，使用在同一场景下不同偏振角度的多张偏振图像，可以获取更加丰富的场景信息，解决了使用单一图像作为输入依赖训练数据中提取的图像特征，导致泛化能力较差的问题，从而提高了去雾网络的泛化能力，能够适应复杂多变的环境。
3、本发明所构建的基于3D卷积的偏振图像深度神经网络，引入基于八度卷积的空间冗余减少SRR模块，将卷积层输出的特征图分解为不同空间频率的特征，通过相邻位置之间的信息共享可以安全地降低低频组的空间分辨率，解决了由编码器密集参数所带来的空间冗余问题，从而减少了网络的参数量，使网络更加轻便。
4、本发明所构建的基于3D卷积的偏振图像深度神经网络，将编码器每层输出的特征图与经过空间冗余减少模块后的特征图聚合，得到更加精细化的预测结果，从而提高了去雾效果。
附图说明
图1为本发明对基于3D卷积去雾网络使用偏振图像进行去雾的流程图；
图2为本发明基于3D卷积的偏振图像去雾深度神经网络结构示意图；
图3为本发明方法和其他去雾方法在合成数据集上的去雾结果图；
图4为本发明和其他去雾方法在真实世界数据集上的去雾结果图。
具体实施方式
本实施例中，一种基于3D卷积的偏振图像去雾方法旨在解决现有网络缺乏偏振数据集和从分组偏振图像(同一视角不同偏振角度拍摄的多幅图像)中提取有用信息的问题，通过构建基于3D卷积的偏振图像深度神经网络，得到能够在无需特定线索有效去雾的去雾模型，从而能提高有雾环境下拍摄图像的质量，满足高级视觉任务所需图片的要求。具体的说，如图1所示，是按照如下步骤进行：
步骤1、获取合成的偏振图像数据集；
步骤1.1、寻找合适的用于合成偏振图像数据集的原始数据集；
原始数据集需要满足以下两个要求：(1)带有场景深度图d(z)的无雾图像J(z)；(2)带有语义分割图S；
步骤1.2、在一定范围内对大气散射因子β、全局大气光A∞和全局大气光的偏振度DoPA随机赋值，从而利用式(1)生成像素点z处的雾天图像I(z)：
I(z)＝T(z)+A(z)＝J(z)t(z)+A∞(1-t(z)) (1)
式(1)中，z表示像素的空间坐标，T(z)，A(z)分别表示像素点z处的透射光和大气光，J(z)表示无雾图像，t(z)表示像素点z处的传输图，且t(z)＝e-βd(z)，其中，d(z)表示像素点z处的场景深度；在本实施例中，大气散射因子β的取值范围为[0.01,0.02]，全局大气光A∞的取值范围为[0.85,0.95]，全局大气光的偏振度DoPA的取值范围为[0.05，0.4]。
步骤1.3、计算透射光T的偏振度DoPT＝g(S)，其中，S表示语义分割图，并由原始数据集提供，g表示随机映射函数；在本实施例中，透射光的偏振度DoPT的取值范围为[0.025,0.2]。
步骤1.4、利用式(2)计算雾天图像I的偏振度DoP：
I·DoP＝T·DoPT+A·DoPA (2)
式(2)中，DoPA表示大气光A的偏振度；在本实施例中，I，T，A可以被分解为I//和I⊥，T//和T⊥，A//和A⊥，其中//和⊥表示该分量平行或垂直于入射平面。由此，I，T，A的偏振度可以定义为
步骤1.5、利用式(3)计算偏振角为的偏振图像/>
式(3)中，表示用于传输平行于入射平面的分量的偏振片的方向，且
在本实施例中，由于基于偏振的合成数据集生成管道的特殊要求，无法从现有的基准中提供的雾天图像中去生成本发明的数据集，同时，Foggy Cityscapes-DBF数据集满足所有的要求，故本发明利用该数据集所提供的无雾图像J和深度图z，通过生成散射系数β和全局大气光A∞，并利用语义分割图S生成DOPT，最终计算得出雾图I。
步骤2、基于U-Net架构构建基于3D卷积的偏振图像去雾模型，包含：POL-3D编码器、空间冗余减少模块SSR、POL解码器；
步骤2.1、构建由M个3D卷积层构成的POL-3D编码器，其中，第m级3D卷积层依次包括：一个卷积层，一个实例归一化和一个ReLU激活函数层；且每个卷积层的卷积核大小均是一个包含3个整数的元组构成，分别表示深度、高度和宽度三个维度上的卷积核大小；在本实施例中，M的取值为5，当m＝1,5时，卷积核大小设置为(3,3,3)，当m＝2,...,4时，卷积核大小设置为(2,3,3)。
步骤2.2、对不同偏振角的偏振图像进行数据升维和融合操作后再进行融合，从而得到4维高维特征图输入到POL-3D编码器中，并依次通过M个3D卷积层，从而获得M个不同通道数、偏振角、高度和宽度的特征图，其中，高维特征图的4个维度包括通道数，偏振角，图像高度和宽度；在本实施例中，使用四幅不通偏振角度(0°、45°、90°、135°)的偏振图像作为输入，高维特征图可以表示为一个四维张量：C×P×H×W，C，P，H，W的初始值分别为3，4，256，256。5个3D卷积层的输出通道数分别设置为64，128，256，512，512。
步骤2.3、构建空间冗余减少模块SSR是由M个八度卷积层及其对应的最大池化层构成，每个八度卷积层包括预处理块First OctConv、八度卷积块OctConv和后处理块LastOctConv；在本实施例中，5个八度卷积层的输入输出通道数分别为(64,64)，(128,128)，(256,256)，(512,512)，(512,512)，预处理块，八度卷积块和后处理块的卷积核大小分别为(1,1,1)，(3,3,3)，(3,3,3)。
步骤2.3.1、第m个八度卷积层中预处理块由两个分支构成，其中一个分支依次由一个卷积层和实例归一化层构成，用于分解出高频特征；另一个分支依次由一个平均池化层，一个卷积层和一个实例归一化层组成，用于分解出低频特征；其中，两个卷积层的卷积核大小相同，输出通道数不同；m∈M；在本实施例中，两个卷积层的卷积核大小均为(3,3,3)，输出通道数由因子α控制，分解出高频特征的卷积层的输出通道数为αcout，分解出低频特征的卷积层的输出通道数为(1-α)cout，α取0.5，平均池化层的卷积核大小为(1,2,2)，卷积步长为(1,2,2)。
第m个特征图分别经过第m个八度卷积层中预处理块的两个分支，并相应输出第m个高频特征图和第m个低频特征图；
步骤2.3.2、所述第m个八度卷积层中的八度卷积块由四个卷积层，两个实例归一化层，一个平均池化层，一个上采样层构成；
所述第m个高频特征图经过第m个八度卷积层中的第一个卷积层的处理后得到第m个高频到高频特征图/>同时，第m个高频特征图/>经过一个平均池化层处理后再输入到第二个卷积层中进行处理，得到第m个高频到低频特征图/>
所述第m个低频特征图分别经过第三个卷积层的处理后得到第m个低频到低频特征图/>同时，第m个低频特征图/>依次输入第四个卷积层，上采样层中进行处理后得到第m个低频到高频特征图/>在本实施例中，平均池化的卷积核大小为(1,2,2)，卷积步长为(1,2,2)。上采样的放大因子为(1,2,2)，算法采用nearest算法。
将与/>相融合后，输入到第一个实例归一化层中，并输出第m个高频特征图/>
将和/>相融合后，输入到第二个实例归一化层中，并输出第m个低频特征图
步骤2.3.3、所述第m个八度卷积层中的后处理块由两个卷积层，一个上采样层和一个实例归一化层构成；
所述第m个高频特征图经过后处理块的一个卷积层后，得到第m个高频到高频特征图/>
所述第m个低频特征图经过后处理块的另一个卷积层后，再输入到一个上采样层中，得到第m个低频到高频特征图/>
与/>相融合后再经过一个实例归一化层的处理后得到第m个特征图/>
第m个特征图输入所述第m个八度卷积层对应的最大池化中进行处理，得到第m个有效特征图Fm；从而由M个不同通道数、偏振角、高度和宽度的特征图经过所述空间冗余减少模块SSR的处理后得到M个有效特征图F1,F2,…,Fm,…,FM；
步骤2.4、构建由M个反卷积层构成的POL解码器；通过使用双线性插值函数，将POL-3D编码器产生的低层，中层和高层特征图经过空间冗余减少模块后与每个反卷积层的输出相结合以输出最终的去雾预测图；
当m＝1,2,…,M-1时，每个反卷积层包括一个2D卷积层和一个实例归一化层；当m＝M时，反卷积层仅包括一个2D卷积层；在本实施例中，M取5，5个反卷积层的输入输出通道数分别为(512,512)，(1024,256)，(512,128)，(256,64)和(128,3)，卷积核大小为3，卷积步长为1。
当m＝M时，所述第M个特征图FM利用双线性插值函数进行处理后输入到第1个反卷积层中，输出第1个反卷积层特征图F'1；
当m＝M-1,M-2,…,1时，所述第m个特征图Fm与第M-m个反卷积层特征图F'M-m相融合后，再利用双线性插值函数对融合后的特征图进行处理后再输入到第M-m+1个反卷积层中，并输出第M-m+1个反卷积层特征图F'M-m+1；
当m＝1时，由第M个反卷积层对第1个特征图进行处理后，得到的第M个反卷积层特征图F'M即为最终的去雾预测图。
步骤3、训练基于3D卷积的偏振图像去雾模型；
基于偏振图像及其对应的真实无雾图像，利用ADAM优化器对基于3D卷积的偏振图像去雾模型进行训练，并使用平均绝对误差(L1 Loss)作为损失函数，用于计算去雾预测图与真实无雾图之间的损失，以更新模型参数，直到损失函数收敛为止，从而得到最优基于3D卷积的使用偏振图像的去雾模型，用于对合成的偏振有雾图像和真实拍摄的偏振有雾图像进行去雾处理。在本实施例中，训练阶段，网络训练300个epoch，初始学习率设置为1e-4，每经过50个epoch，衰减0.5。
在本实施例中，使用偏振图像生成通道生成的8925张4个不同偏振角度(0°、45°、90°、135°)的偏振图像及其对应的真实无雾图进行训练，训练过程中，输入的偏振图像尺寸被随机裁剪为256×256，将由基于3D卷积的去雾模型输出的无图图像和J进行L1损失计算，用计算得到的损失结合ADAM优化器引导网络进行训练，得到基于3D卷积使用偏振图像的去雾模型。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
表1为本发明基于3D卷积的偏振图像去雾方法分别以“PSNR”和“SSIM”为评价指标。为了公平比较，所有的去雾方法都在合成的数据集上重新进行训练，在测试过程中，本发明和其他去雾方法分别使用偏振图像和普通RGB图像。“PSNR”即峰值信噪比，是信号的最大功率与可能影响它的表示精度的噪声功率的比值，数值越大表明图像去雾的失真越小。“SSIM”即结构相似性，该指标从亮度、对比度、结构三个方面考察图像的相似性，其取值范围为[0,1]，数值越大表明去雾图像与真实无雾图像越相似。根据表1的定量分析，可以看到，本发明的方法在两种指标上都取得了最好的效果。
表1
Methods PSNR(↑) SSIM(↑)
AOD-Net 20.58 0.80
PFFNet 28.63 0.89
GridDehazeNet 29.23 0.91
4KDehazing-Net 29.47 0.90
FFA-Net 29.93 0.92
GCANet 29.98 0.91
Ours 30.21 0.92
图3为本发明的基于3D卷积的偏振图像去雾方法与当前其他去雾方法在合成数据集上的结果。其中，Ours表示本发明的基于3D卷积的偏振图像去雾方法；AOD-Net在重新表述大气散射模型的基础上，提出使用端到端的可训练网络进行去雾，并且将大气散射模型中的两个关键未知量替换为一个；PFFNet受端到端去雾思想的启发，采用基于U-Net架构的网络，在编码器和解码器之间添加了基于ResNet的转换模块，以提高不同层次的复杂特征学***滑的空洞卷积和门控网络融合多层次特征来聚合上下文信息。
图4为本发明的基于3D卷积的偏振图像去雾方法与当前其他去雾方法在真实数据集上的结果。可以看出，与合成数据上的对比不同，本发明的方法在真实数据集上表现出明显的优势。这是因为现实世界的散射是一个具有空间变化的复杂的物理过程，这就导致很难从普通的RGB图像中学习空间变化的影响，缺乏基于物理的学习特征使得这些方法对于较大的空间变化干扰的像素容易产生伪影。相比之下，本发明的方法通过挖掘四幅不同偏振角度的偏振图像之间的相关性来缓解这一问题。

Claims (5)

1.一种基于3D卷积的偏振图像去雾方法，其特征在于，是按照如下步骤进行：
步骤1、获取合成的偏振图像数据集；
步骤1.1、获取带有场景深度图d(z)和语义分割图S的无雾图像J(z)；
步骤1.2、在一定范围内对大气散射因子β、全局大气光A∞和全局大气光的偏振度DoPA随机赋值，从而利用式(1)生成像素点z处的雾天图像I(z)：
I(z)＝T(z)+A(z)＝J(z)t(z)+A∞(1-t(z)) (1)
式(1)中，z表示像素的空间坐标，T(z)，A(z)分别表示像素点z处的透射光和大气光，J(z)表示无雾图像，t(z)表示像素点z处的传输图，且t(z)＝e-βd(z)，其中，d(z)表示像素点z处的场景深度图；
步骤1.3、计算透射光T的偏振度DoPT＝g(S)，其中，S表示语义分割图，g表示随机映射函数；
步骤1.4、利用式(2)计算雾天图像I的偏振度DoP：
I·DoP＝T·DoPT+A·DoPA (2)
式(2)中，DoPA表示大气光A的偏振度；
步骤1.5、利用式(3)计算偏振角为的偏振图像/>
式(3)中，表示用于传输平行于入射平面的分量的偏振片的方向，且
步骤2、基于U-Net架构构建基于3D卷积的偏振图像去雾模型，包含：POL-3D编码器、空间冗余减少模块SSR、POL解码器；
步骤2.1、构建由M个3D卷积层构成的所述POL-3D编码器，其中，第m级3D卷积层依次包括：一个卷积层，一个实例归一化和一个ReLU激活函数层；且每个卷积层的卷积核大小均是一个包含3个整数的元组构成，分别表示深度、高度和宽度三个维度上的卷积核大小；
步骤2.2、对不同偏振角的偏振图像进行数据升维和融合操作后再进行融合，从而得到4维高维特征图输入到POL-3D编码器中，并依次通过M个3D卷积层，从而获得M个不同通道数、偏振角、高度和宽度的特征图，其中，所述高维特征图的4个维度包括通道数，偏振角，图像高度和宽度；
步骤2.3、所述空间冗余减少模块SSR对M个特征图进行处理后，得到M个有效特征图F1，F2，...，Fm，...，FM；
步骤2.4、所述POL解码器对M个有效特征图F1,F2,…,Fm,…,FM进行处理后，输出最终的去雾预测图；
步骤3、训练基于3D卷积的偏振图像去雾模型；
基于偏振图像及其对应的真实无雾图像，利用ADAM优化器对所述基于3D卷积的偏振图像去雾模型进行训练，并使用平均绝对误差L1Loss作为损失函数，用于计算去雾预测图与真实无雾图之间的损失，以更新模型参数，直到损失函数收敛为止，从而得到最优基于3D卷积的使用偏振图像的去雾模型，用于对合成的偏振有雾图像和真实拍摄的偏振有雾图像进行去雾处理。
2.根据权利要求1所述的一种基于3D卷积的偏振图像去雾方法，其特征在于，所述步骤2.3中的空间冗余减少模块SSR是由M个八度卷积层及其对应的最大池化层构成，每个八度卷积层包括预处理块、八度卷积块和后处理块，并按照如下步骤进行处理：
步骤2.3.1、第m个八度卷积层中预处理块由两个分支构成，其中一个分支依次由一个卷积层和实例归一化层构成，用于分解出高频特征；另一个分支依次由一个平均池化层，一个卷积层和一个实例归一化层组成，用于分解出低频特征；且两个卷积层的卷积核大小相同，输出通道数不同；m∈M；
第m个特征图分别经过第m个八度卷积层中预处理块的两个分支，并相应输出第m个高频特征图和第m个低频特征图/>
步骤2.3.2、所述第m个八度卷积层中的八度卷积块由四个卷积层，两个实例归一化层，一个平均池化层，一个上采样层构成；
所述第m个高频特征图经过第m个八度卷积层中八度卷积块的第一个卷积层的处理后得到第m个高频到高频特征图/>同时，所述第m个高频特征图/>经过一个平均池化层的处理后再输入到第二个卷积层中进行处理，得到第m个高频到低频特征图/>
所述第m个低频特征图经过第三个卷积层的处理后得到第m个低频到低频特征图同时，所述第m个低频特征图/>依次输入第四个卷积层、上采样层中进行处理后，得到第m个低频到高频特征图/>
将与/>相融合后，输入到第一个实例归一化层中，并输出第m个高频特征图
将和/>相融合后，输入到第二个实例归一化层中，并输出第m个低频特征图/>
步骤2.3.3、所述第m个八度卷积层中的后处理块由两个卷积层，一个上采样层和一个实例归一化层构成；
所述第m个高频特征图经过后处理块的一个卷积层后，得到第m个高频到高频特征图/>
所述第m个低频特征图经过后处理块的另一个卷积层后，再输入到一个上采样层中，得到第m个低频到高频特征图/>
与/>相融合后再经过一个实例归一化层的处理后得到第m个特征图/>
第m个特征图输入所述第m个八度卷积层对应的最大池化中进行处理，得到第m个有效特征图Fm；从而由M个不同通道数、偏振角、高度和宽度的特征图经过所述空间冗余减少模块SSR的处理后得到M个有效特征图F1,F2,…,Fm,…,FM。
3.根据权利要求2所述的一种基于3D卷积的偏振图像去雾方法，其特征在于，所述步骤2.4中的POL解码器是由M个反卷积层构成；
当m＝1,2,…,M-1时，每个反卷积层包括一个2D卷积层和一个实例归一化层；当m＝M时，反卷积层仅包括一个2D卷积层；
当m＝M时，所述第M个特征图FM利用双线性插值函数进行处理后输入到第1个反卷积层中，输出第1个反卷积层特征图F'1；
当m＝M-1,M-2,…,2时，所述第m个特征图Fm与第M-m个反卷积层特征图F'M-m相融合后，再利用双线性插值函数对融合后的特征图进行处理后再输入到第M-m+1个反卷积层中，并输出第M-m+1个反卷积层特征图F'M-m+1；
当m＝1时，由第M个反卷积层对第1个特征图进行处理后，得到第M个反卷积层特征图F'M即为最终的去雾预测图。
4.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-3中任一所述偏振图像去雾方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-3中任一所述偏振图像去雾方法的步骤。
CN202310390770.0A 2023-04-07 2023-04-07 一种基于3d卷积的偏振图像去雾方法 Pending CN116452450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310390770.0A CN116452450A (zh) 2023-04-07 2023-04-07 一种基于3d卷积的偏振图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310390770.0A CN116452450A (zh) 2023-04-07 2023-04-07 一种基于3d卷积的偏振图像去雾方法

Publications (1)

Publication Number Publication Date
CN116452450A true CN116452450A (zh) 2023-07-18

Family

ID=87121490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310390770.0A Pending CN116452450A (zh) 2023-04-07 2023-04-07 一种基于3d卷积的偏振图像去雾方法

Country Status (1)

Country Link
CN (1) CN116452450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911282A (zh) * 2024-03-19 2024-04-19 华中科技大学 一种图像去雾模型的构建方法及应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911282A (zh) * 2024-03-19 2024-04-19 华中科技大学 一种图像去雾模型的构建方法及应用
CN117911282B (zh) * 2024-03-19 2024-05-28 华中科技大学 一种图像去雾模型的构建方法及应用

Similar Documents

Publication Publication Date Title
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN110378849B (zh) 基于深度残差网络的图像去雾去雨方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN111861939B (zh) 一种基于无监督学习的单张图像去雾方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Bansal et al. A review of image restoration based image defogging algorithms
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN116452450A (zh) 一种基于3d卷积的偏振图像去雾方法
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
Zhao et al. A multi-scale U-shaped attention network-based GAN method for single image dehazing
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN117011181A (zh) 一种分类引导的无人机成像浓雾去除方法
CN117036182A (zh) 一种单幅图像去雾方法及***
Wang et al. Dynamic mutual enhancement network for single remote sensing image dehazing
CN116757949A (zh) 一种大气-海洋散射环境退化图像复原方法及***
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及***
CN113724156B (zh) 一种结合大气散射模型的生成对抗网络去雾方法和***
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination