CN112767267A - 基于仿真偏振带雾场景数据集的图像去雾方法 - Google Patents

基于仿真偏振带雾场景数据集的图像去雾方法 Download PDF

Info

Publication number
CN112767267A
CN112767267A CN202110034043.1A CN202110034043A CN112767267A CN 112767267 A CN112767267 A CN 112767267A CN 202110034043 A CN202110034043 A CN 202110034043A CN 112767267 A CN112767267 A CN 112767267A
Authority
CN
China
Prior art keywords
polarization
image
fog
quintuple
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110034043.1A
Other languages
English (en)
Other versions
CN112767267B (zh
Inventor
陆峰
温思嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110034043.1A priority Critical patent/CN112767267B/zh
Publication of CN112767267A publication Critical patent/CN112767267A/zh
Priority to US17/566,849 priority patent/US20220222785A1/en
Application granted granted Critical
Publication of CN112767267B publication Critical patent/CN112767267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了图像去雾方法。该方法的一具体实施方式包括：获取偏振无雾场景图像集，基于偏振无雾场景图像集中的每个偏振无雾场景图像，生成第一五元组，得到第一五元组集；从第一五元组集中的每个第一五元组包括的显著偏振图像中提取满足预设条件的像素坐标，得到像素坐标组，以生成第二五元组；基于第二五元组集中的每个第二五元组生成仿真偏振带雾场景图像序列，得到仿真偏振带雾场景数据集；基于偏振无雾场景图像集和仿真偏振带雾场景数据集，设计偏振状态关注神经网络；获取偏振带雾场景图像，以及将偏振带雾场景图像输入到偏振状态关注神经网络，得到偏振去雾图像。该实施方式在光照条件较差的场景中，依然可以提高图像去雾的准确度。

Description

基于仿真偏振带雾场景数据集的图像去雾方法
技术领域
本公开的实施例涉及计算机视觉和图像处理领域，具体涉及图像去雾方法。
背景技术
在恶劣的天气条件下采集的图像往往会受到雾的影响。由于光线会被空气中的粒子所干扰，因此捕获的图像质量往往会明显地下降，如对比度差、颜色保真度不真实以及场景细节的丢失。这种图像质量的下降对于广泛的计算机视觉任务来说是一种普遍的障碍。例如，城市交通监测，户外视频监控以及自动驾驶等计算机视觉任务。因此，需要通过去雾处理来提升在恶劣天气条件下采集的图像质量。
传统的基于颜色或基于偏振的去雾算法，通常会引入先验知识或对全局大气光的计算做出一些假设。这类先验和假设，在某些情况下会导致错误的去雾结果，从而使得去雾后的图像质量下降甚至产生颜色偏差。此外，这些方法还会在去雾的过程中放大图像的噪声，从而使得去雾的结果出现大面积噪点。如图1所示，本发明标注的用以计算全局大气光的参考像素相较估计的深度信息以及先验假设信息得到更加合理的标注结果。
随着深度学习技术的发展，越来越多的方法尝试利用训练一个神经网络得到更好的图像去雾效果。这类深度学习的方法通常依赖于带有真值的数据集。而现阶段并不存在适用于远距离深度采集的传感器。因此，这类数据驱动的方法往往在合成的数据集(例如RESIDE数据集)上进行训练，其中，RESIDE数据集是一个雾天图像数据集，通过对采集的场景图像进行深度估计，该数据集通过选择适当的散射系数来合成相应的仿真数据。但是，估计的深度信息总是粗糙且不准确的，这使得合成的带雾场景图像在视觉上不真实且在物理上不可靠。因此，在这类依靠估计深度合成的数据集上训练的神经网络不能很好地推广到真实场景中。考虑到带雾场景成像过程的复杂性和不确定性，图像去雾仍然是一项非常具有挑战性的任务。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
考虑到现阶段不存在可以应用于远距离场景的深度测量传感器，而带雾场景中穿过雾的光照是部分偏振光的事实，本发明提出了在深度学习环境中利用偏振和颜色对偏振彩色图像，对带雾场景图像进行清晰化去雾处理。本发明观察到利用偏振信息可以更精确地估计全局大气光值，这可以显著地提高合成数据的真实性和物理意义上的准确性。之前的方法一般对场景图像的深度信息进行了不准确的估计，与之不同的是，本发明通过直接采集偏振彩色图像，提出一种偏振带雾场景的仿真方法来构建带有真值的数据集。基于对偏振彩色图像的偏振信息的分析，提出了利用偏振信息来模拟带雾场景图像的仿真策略。得益于偏振的物理学意义，可以预期，在仿真偏振带雾场景数据集上训练的深度神经网络，可以很好地推广到真实的带雾场景图像中。偏振信息包括总强度图像、显著偏振图像，偏振角度图像和最淡雾度图像。
在仿真偏振带雾场景数据集的基础上，本发明提出了一个端到端的PSANet(Polarization state attention network，偏振状态关注神经网络)，重点解决偏振特征提取和基于偏振信息的图像去雾这两个问题。基于深度学习中的注意力机制，本发明提出了一个偏振特征提取模块，可以有效且准确地提取带雾场景图像的偏振特征。在获得偏振特征之后，本发明提出一个偏振去雾模块，通过结合使用基于偏振透射模型和偏振去雾模型来对带雾场景图像进行清晰化去雾处理。
本公开的上述各个实施例具有如下有益效果：提出了一种带雾场景图像仿真策略，从而构建了一个偏振带雾场景数据集。与估计粗糙场景深度信息的方法的不同的是，场景图像的偏振信息是可以准确采集的，因此本发明仿真的带雾场景图像不会破坏场景图像当中的物理约束。基于偏振去雾模型、偏振透射模型以及所提出的数据集，本发明提出了一种关注偏振状态的端到端卷积神经网络。该网络利用一个偏振特征提取模块以及一个偏振去雾模块实现基于偏振特征的偏振彩色带雾场景图像的清晰化去雾处理；本发明提出的解决方案提高及改善了现有方法。除此以外，本发明恢复出的无雾图像仍然保留了相对准确的偏振信息，这使得去雾的结果不仅仅在视觉上具有高清晰度的效果，恢复的偏振信息也为场景图像提供了难以用常规成像检测的物理性质。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的标注的全局大气光参考像素的应用场景图；
图2是根据本公开的图像去雾方法的一些实施例的流程图；
图3是本公开的构建仿真偏振带雾场景数据集的流程图；
图4是本公开的图像去雾流程图；
图5是本公开的仿真的带雾图像与真实的带雾图像进行对比的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
下面将参考附图并结合实施例来详细说明本公开。
参考图2，示出了根据本公开的图像去雾方法的一些实施例的流程200。该图像去雾方法，包括以下步骤：
步骤201，获取偏振无雾场景图像集，基于偏振无雾场景图像集中的每个偏振无雾场景图像，生成第一五元组，得到第一五元组集。
在一些实施例中，基于仿真偏振带雾场景数据集的图像去雾方法的执行主体可以通过有线连接方式或者无线连接方式获取偏振无雾场景图像集。其中，上述偏振无雾场景图像可以是在晴朗无雾的天气下，通过偏振彩色传感器采样获取。基于偏振无雾场景图像集中的每个偏振无雾场景图像，可以利用偏振相关的技术，生成第一五元组，得到第一五元组集。
在一些实施例的一些可选的实现方式中，上述第一五元组是根据以下步骤得到的：
第一步，通过偏振彩色传感器采集偏振无雾场景图像集。
作为示例，偏振彩色传感器可以是市场上广泛应用的单芯片偏振彩色传感器。
第二步，基于偏振无雾场景图像集中的每个偏振无雾场景图，利用以下公式，得到总强度图像和振幅值：
Figure BDA0002892767390000051
其中，φ1表示预设第一偏振角度。φ2表示预设第二偏振角度。φ3表示预设第三偏振角度。φ4表示预设第四偏振角度。I表示偏振无雾场景图像。I(φ1)表示偏振角度为φ1时传感器采集的图像。I(φ2)表示偏振角度为φ2时传感器采集的图像。I(φ3)表示偏振角度为φ3时传感器采集的图像。I(φ4)表示偏振角度为φ4时传感器采集的图像。S0表示总强度图像。α表示振幅值。Ψ表示入射光方位角。预设第一偏振角度可以是0°。预设第二偏振角度可以是45°。预设第三偏振角度可以是90°。预设第四偏振角度可以是135°。
由于偏振彩色传感器可以单次采集到四个不同偏振角度(0°，45°，90°，135°)下的图像，而上述公式有三个未知量：总强度图像、振幅值以及入射光方位角。故将采集到的图像数据和偏振角度代入可得到总强度图像和振幅值。利用上述求得到
第三步，基于所述总强度图像和所述振幅值，利用以下公式，得到显著偏振图像，偏振角度图像和最淡雾度图像：
Figure BDA0002892767390000061
其中，α表示振幅值。S0表示总强度图像。SP表示显著偏振图像。DoLP表示偏振角度图像。Imin表示最淡雾度图像。
第四步，基于偏振无雾场景图，总强度图像，显著偏振图像，偏振角度图像和振幅值，生成第一五元组。在一些实施例中，可以由偏振无雾场景图像，总强度图像，显著偏振图像，偏振角度图像，振幅值组成一个五元组，作为第一五元组。
步骤202，从第一五元组集中的每个第一五元组包括的显著偏振图像中提取满足预设条件的像素坐标，得到像素坐标组，以生成第二五元组。
在一些实施例中，上述执行主体对一个第一五元组包括的显著偏振图像中的每个像素，计算该像素在所有颜色通道上的值的算术平均值，因此，显著偏振图像中的每一个像素点都对应一个值。本公开提及的“像素坐标”，均指以如下方式对相关图像建立图像坐标系来标识：以图像的左上角为原点，以像素为单位，图像数组中像素的列数为横坐标，像素的行数为纵坐标建立图像坐标系。于是显著偏振图像中的每一个像素坐标都对应一个值。预设条件可以是所有这些值中，处在前m个最大值集合中的值。从而每一个显著偏振图像对应一个像素坐标组，也即每一个第一五元组对应一个像素坐标组。由第一五元组中的偏振无雾场景图像、总强度图像、显著偏振图像和偏振角度图像以及与该第一五元组对应的像素坐标组，组成一个五元组，作为第二五元组。
作为示例，m可以是[0.5％]，其中，[]表示取整函数。选取偏振性最强的像素总数的前0.5％的像素作为计算全局大光的参考像素，是由于该区域本身像素的偏振性非常强，因此雾对该区域偏振性的影响微乎其微，因而可以用作参考像素对场景图像的全局大气光进行计算。
步骤203，基于第二五元组集中的每个第二五元组生成仿真偏振带雾场景图像序列，组合得到仿真偏振带雾场景数据集。
在一些实施例中，上述执行主体可以基于第二五元组集中的每个第二五元组生成仿真偏振带雾场景图像序列。之后，以生成的各个仿真偏振带雾场景图像序列中的各个仿真偏振带雾场景图像为元素，构建一个仿真偏振带雾场景图像集，将该图像集作为仿真偏振带雾场景数据集。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤组合得到仿真偏振带雾场景数据集：
第一步，对第二五元组集中的每个第二五元组，通过以下公式，生成透射图：
Figure BDA0002892767390000071
其中，x表示像素坐标组。T(x)表示透射图。SP表示显著偏振图像。Di表示全局大气光的偏振角度值。Ai表示全局大气光的像素强度值。Di的计算方法是像素坐标组在偏振角度图像中对应的像素值组的平均值。Ai的计算方法是像素坐标组在总强度图像中对应的像素值组的平均值。
上述公式即偏振透射模型，通过该模型可以得到每个偏振带雾场景图像的透射图。
第二步，基于该透射图，通过以下公式，生成仿真偏振带雾场景图像序列：
S＝C·δlnT(x)+As·(1-δlnT(x))。
其中，S表示仿真偏振带雾场景图像。C表示偏振无雾场景图像。T(x)表示透射图。δ表示大气散射系数。As表示全局大气光系数。通过改变大气散射系数和全局大气光系数，对一个偏振无雾场景图像C，可生成多个仿真偏振带雾场景图像，即仿真偏振带雾场景图像序列。
第三步，对第二五元组集中的每个第二五元组包括的偏振无雾场景图像，均可得到一个仿真偏振带雾场景图像序列。以这些图像序列中的所有仿真偏振带雾场景图为元素，构建一个集合，将此集合作为仿真偏振带雾场景数据集。
作为示例，本发明实现的仿真偏振带雾场景数据集由10220个仿真带雾场景图像以及用于验证目的的40个真实采集的偏振带雾场景图像组成。其中，仿真偏振带雾场景图像是由292个采集的偏振无雾场景图像模拟生成的。如图5所示，通过仿真得到的偏振带雾场景图像，与采集的真实偏振带雾场景图像在视觉上非常接近。
步骤204，基于偏振无雾场景图像集和仿真偏振带雾场景数据集，设计偏振状态关注神经网络。
在一些实施例中，上述执行主体可以通过仿真偏振带雾场景数据集，训练偏振状态关注神经网络。其中，偏振状态关注神经网络包括全局大气光提取模块、偏振特征提取模块和偏振去雾模块这三个模块。
由前面可知，一个偏振无雾场景图像可以对应生成多个仿真偏振无雾场景图像。将仿真偏振带雾场景数据集中的每个仿真偏振带雾场景图像与生成该图像的偏振无雾场景图像组成数据对，以这些数据对为训练样本集对偏振状态关注神经网络进行监督学习，使得将仿真偏振带雾场景图像输入网络后，得到的输出图像尽可能地接近该训练样本中的偏振无雾场景图像，目标函数可以用均方误差来约束。
通过仿真偏振带雾场景数据集，本发明首先设计了全局大气光提取模块，利用空间注意力模块计算输入图像的全局大气光特征。具体而言，全局大气光提取模块将输入图像分别输入三个卷积层，每个卷积层后接一个8×8的全局池化层。将三个池化层后的三个变量中的两个变量分别进行尺寸变化后进行矩阵相乘，将相乘结果输入一个Softmax层。其中，Softmax层是根据Softmax逻辑回归构建的神经网络中的一个层。之后，将输出结果作为系数与未进行尺寸变化的变量进行矩阵相乘。为了保证不丢失太多细节，利用跳层连接将输入图像与相乘结果对齐加和。然后依次接入一个卷积层，一个卷积池化层以及一个全连接层和ReLU(Rectified Linear Units，线性整流)层得到最终的全局大气光特征。
偏振特征提取模块提取输入图像的偏振特征。其中，偏振特征包括总强度图像特征、显著偏振图像特征、偏振角度图像特征和最淡雾度图像特征。具体而言，偏振特征提取模块首先将输入图像依次接入一个卷积层，一个残差层，以及若干卷积层后得到中间特征。为了保证采集场景的偏振特征以及颜色信息不会缺失，本发明将四个偏振角度下的中间特征在通道维度下进行拼接。然后接入若干卷积模块，其中，卷积模块包括若干通道注意力模块，跳层连接，以及卷积层等。最后接入一个卷积层和一个激活层得到输出结果，称为输入图像的偏振融合特征。
受偏振融合特征的生成得益于注意力机制的启发，偏振去雾模块首先利用通道注意力模块以及若干卷积层分别提取出所需要的总强度图像特征、显著偏振图像特征、偏振角度图像特征以及最淡雾度图像特征。然后，将上述提取的显著偏振图特征作为偏振透射模型的输入，同时将总强度图特征以及偏振角度图特征分别作为全局大气光提取模块的输入，得出全局大气光的偏振角度值Di以及全局大气光的像素强度值Ai，从而实现对透射图特征T的计算。最后利用偏振去雾模型实现去雾。偏振去雾模型的计算公式如下：
Figure BDA0002892767390000091
其中，R表示偏振去雾图像。T表示透射图特征。Ai表示全局大气光的像素强度值。I表示输入图像。
为了保留更多的图像细节，并且减少雾对重建图像的影响，我们将经过去雾模型计算的结果，与最淡雾度图像特征在通道维度进行跳层连接，然后送入两个卷积层，从而得到最终的去雾结果。
步骤205，获取偏振带雾场景图像，以及将偏振带雾场景图像输入到偏振状态关注神经网络，得到偏振去雾图像。
在一些实施例中，上述执行主体可以通过偏振彩色传感器获取偏振带雾场景图像。偏振带雾场景图像可以在有雾的天气下，由偏振彩色传感器进行采样获取。由于本发明设计的偏振状态关注去雾网络不对输入图像的尺寸进行限制，因此，将任意尺寸的偏振彩色带雾图像输入网络，均可得到偏振去雾图像。
下面参考图3，其示出了本公开的构建仿真偏振带雾场景数据集的流程图。
本公开首先利用偏振彩色传感器采集偏振无雾场景图像。通过计算显著偏振图像，并利用显著偏振图像标注的参考像素计算图像的全局大气光值，本发明提出了一种利用偏振信息计算带雾场景图像透射图的方法。通过控制不同的参数，实现了不同浓度的偏振带雾场景数据的仿真，从而构建了仿真偏振带雾场景数据集。
下面参考图4，其示出了本公开的图像去雾流程图。
通过仿真偏振带雾场景数据集，本公开首先设计了偏振特征提取模块提取输入带雾图像的偏振特征。为了保证采集场景的偏振特征以及颜色信息不会缺失，本发明将四个偏振角度的偏振特征进行融合，得到了偏振融合特征。偏振去雾模块首先利用通道注意力模型分别提取出所需要的总强度图像特征、显著偏振图像特征、偏振角度图像特征以及最淡雾度图像特征。全局大气光提取模块利用空间注意力模型估计出输入图像的全局大气光特征。最后将上述提取的特征作为偏振去雾模型的输入，偏振去雾模块将该模型结合到卷积神经网络中得以实现理想的去雾结果。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (4)

1.一种图像去雾方法，包括：
获取偏振无雾场景图像集，基于偏振无雾场景图像集中的每个偏振无雾场景图像，生成第一五元组，得到第一五元组集，其中，第一五元组包括偏振无雾场景图像，总强度图像，显著偏振图像，偏振角度图像和振幅值；
从第一五元组集中的每个第一五元组包括的显著偏振图像中提取满足预设条件的像素坐标，得到像素坐标组，以生成第二五元组，其中，第二五元组包括偏振无雾场景图像，总强度图像，显著偏振图像，偏振角度图像和像素坐标组；
基于第二五元组集中的每个第二五元组，生成仿真偏振带雾场景图像序列，组合得到仿真偏振带雾场景数据集；
基于偏振无雾场景图像集和仿真偏振带雾场景数据集，设计偏振状态关注神经网络；
获取偏振带雾场景图像，以及将偏振带雾场景图像输入到偏振状态关注神经网络，得到偏振去雾图像。
2.根据权利要求1所述的方法，其中，所述获取偏振无雾场景图像集，基于偏振无雾场景图像集中的每个偏振无雾场景图像，生成第一五元组，包括：
通过偏振彩色传感器采集偏振无雾场景图像集；
基于偏振无雾场景图像集中的每个偏振无雾场景图，利用以下公式，得到总强度图像和振幅值：
Figure FDA0002892767380000021
其中，φ1表示预设第一偏振角度，φ2表示预设第二偏振角度，φ3表示预设第三偏振角度，φ4表示预设第四偏振角度，I表示偏振无雾场景图像，I(φ1)表示偏振角度为φ1时传感器采集的图像，I(φ2)表示偏振角度为φ2时传感器采集的图像，I(φ3)表示偏振角度为φ3时传感器采集的图像，I(φ4)表示偏振角度为φ4时传感器采集的图像，S0表示总强度图像，α表示振幅值，Ψ表示入射光方位角；
基于所述总强度图像和所述振幅值，利用以下公式，得到显著偏振图像，偏振角度图像和最淡雾度图像：
Figure FDA0002892767380000022
其中，α表示振幅值，S0表示总强度图像，SP表示显著偏振图像，DoLP表示偏振角度图像，Imin表示最淡雾度图像；
基于偏振无雾场景图，总强度图像，显著偏振图像，偏振角度图像和振幅值，生成第一五元组。
3.根据权利要求2所述的方法，其中，所述基于第二五元组集中的每个第二五元组，生成仿真偏振带雾场景图像序列，包括：
基于第二五元组集中的每个第二五元组，通过以下公式，生成透射图：
Figure FDA0002892767380000031
其中，x表示像素坐标组，T(x)表示透射图，SP表示显著偏振图像，Di表示全局大气光的偏振角度值，Ai表示全局大气光的像素强度值；
基于所述透射图，通过以下公式，生成仿真偏振带雾场景图像序列：
S＝C·δlnT(x)+As·(1-δlnT(x))，
其中，S表示仿真偏振带雾场景图像，C表示偏振无雾场景图像，T(x)表示透射图，δ表示大气散射系数，As表示全局大气光系数。
4.根据权利要求3所述的方法，其中，所述偏振状态关注神经网络包括全局大气光提取模块、偏振特征提取模块和偏振去雾模块。
CN202110034043.1A 2021-01-11 2021-01-11 基于仿真偏振带雾场景数据集的图像去雾方法 Active CN112767267B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110034043.1A CN112767267B (zh) 2021-01-11 2021-01-11 基于仿真偏振带雾场景数据集的图像去雾方法
US17/566,849 US20220222785A1 (en) 2021-01-11 2021-12-31 Image defogging method based on simulated polarization foggy scene data set

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034043.1A CN112767267B (zh) 2021-01-11 2021-01-11 基于仿真偏振带雾场景数据集的图像去雾方法

Publications (2)

Publication Number Publication Date
CN112767267A true CN112767267A (zh) 2021-05-07
CN112767267B CN112767267B (zh) 2022-09-27

Family

ID=75701581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034043.1A Active CN112767267B (zh) 2021-01-11 2021-01-11 基于仿真偏振带雾场景数据集的图像去雾方法

Country Status (2)

Country Link
US (1) US20220222785A1 (zh)
CN (1) CN112767267B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596805B (zh) * 2023-07-14 2023-09-29 山东大学 一种基于场景物体与大气光偏振态差异的偏振去雾方法
CN117611489B (zh) * 2023-11-29 2024-07-09 中国人民解放军陆军工程大学 一种基于偏振片消光比参数的偏振去雾***和方法
CN117649363B (zh) * 2024-01-29 2024-04-12 江苏无右微创医疗科技有限公司 一种实时的内窥镜图像去烟雾方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993198A (zh) * 2017-10-24 2018-05-04 中国科学院长春光学精密机械与物理研究所 优化对比度增强的图像去雾方法及***
CN109146810A (zh) * 2018-08-08 2019-01-04 国网浙江省电力有限公司信息通信分公司 一种基于端到端深度学习的图像去雾方法
CN109886883A (zh) * 2019-01-21 2019-06-14 吉林大学 实时偏振透雾成像图像增强处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539888B (zh) * 2020-04-21 2023-08-04 温州大学 一种基于金字塔通道特征注意力的神经网络图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993198A (zh) * 2017-10-24 2018-05-04 中国科学院长春光学精密机械与物理研究所 优化对比度增强的图像去雾方法及***
CN109146810A (zh) * 2018-08-08 2019-01-04 国网浙江省电力有限公司信息通信分公司 一种基于端到端深度学习的图像去雾方法
CN109886883A (zh) * 2019-01-21 2019-06-14 吉林大学 实时偏振透雾成像图像增强处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BOYI LI 等: "AOD-Net: All-in-One Dehazing Network", 《IEEE COMPUTER SCIENCE》 *
SHUAI FANG 等: "Image dehazing using polarization effects of objects and airlight", 《OPTICS EXPRESS》 *
SIJIA WEN等: "A Sparse Representation Based Joint Demosaicing Method for Single-Chip Polarized Color Sensor", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
方帅等: "利用偏振分析的雾天图像复原", 《合肥工业大学学报(自然科学版)》 *
王勇等: "基于大气背景抑制的偏振去雾算法", 《计算机工程》 *

Also Published As

Publication number Publication date
CN112767267B (zh) 2022-09-27
US20220222785A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN112767267B (zh) 基于仿真偏振带雾场景数据集的图像去雾方法
Yu et al. Underwater-GAN: Underwater image restoration via conditional generative adversarial network
Yang et al. An in-depth survey of underwater image enhancement and restoration
CN110570364B (zh) 基于深度神经网络的分焦平面偏振图像去噪方法
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
Zhao et al. An attention encoder-decoder network based on generative adversarial network for remote sensing image dehazing
Fayaz et al. Underwater image restoration: A state‐of‐the‐art review
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
JP2022027464A (ja) 映像の深度推定に関する方法及び装置
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Zhuang et al. A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment
CN113487509B (zh) 一种像素聚类及透射率融合的遥感图像雾气去除方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN106204596B (zh) 一种基于高斯拟合函数与模糊混合估计的全色波段遥感影像云检测方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及***
CN110796635B (zh) 一种基于剪切波变换的光场图像质量评价方法
CN116704309A (zh) 基于改进生成对抗网络的图像去雾识别方法及***
Deluxni et al. A Scrutiny on Image Enhancement and Restoration Techniques for Underwater Optical Imaging Applications
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant