CN117726545A - 一种使用非局部雾线和多重曝光融合的图像去雾方法 - Google Patents
一种使用非局部雾线和多重曝光融合的图像去雾方法 Download PDFInfo
- Publication number
- CN117726545A CN117726545A CN202311742932.9A CN202311742932A CN117726545A CN 117726545 A CN117726545 A CN 117726545A CN 202311742932 A CN202311742932 A CN 202311742932A CN 117726545 A CN117726545 A CN 117726545A
- Authority
- CN
- China
- Prior art keywords
- image
- transmittance
- local
- foggy
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000002834 transmittance Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000007670 refining Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种使用非局部雾线和多重曝光融合的图像去雾方法。具体来说，我们首先提出了一种基于多尺度融合的策略，用于均衡输入图像的亮度和色彩。然后，我们采用基于局部窗口的暗通道先验，求解大气光值。同时，我们对于预处理后的图像，用以聚类以获得较好泛化性能的雾线，进而提升透射率的估计。此外，我们还引入了加权最小二乘滤波进一步细化透射率。最终，我们通过大气散射模型反向推导出无雾图像。我们在三个图像增强数据集上进行的大量实验表明，我们的方法可以有效的对有雾图像进行定量和定性去雾。此外，该方法对地理遥感图像去雾、水下图像增强也有很好的泛化效果。
Description
技术领域
本发明涉及一种图像去雾处理技术领域，具体的说，涉及了一种使用非局部雾线和多重曝光融合的图像去雾方法。
背景技术
图像去雾在计算机视觉、安全监控、无人驾驶等多个领域中发挥着重要作用。清晰图像是传达和展示可见世界的重要信息媒介。通过提高图像的质量，帮助人们获取图像中更多实用的信息，提升工作效率，为视频监控、交通导航、人脸识别、目标跟踪检测等领域提供可靠的图像数据支持。然而，由于大气散射、光线吸收和散射以及相机设置等原因，图像的视觉效果大幅度下降。更具体来说，空气中悬浮微粒对光的吸收和散射导致有雾图像存在低对比度、模糊和细节丢失、色彩失真等问题。
在拍摄的图像中，图像存在模糊、信息失真、信息损失等问题。为了解决图像的这些问题，人们提出了许多图像去雾方法，包括基于物理模型的图像去雾方法、基于非物理模型的去雾方法、基于深度学习的图像去雾方法，并且这些方法已经证明了它们的有效性。
基于物理模型的方法，通过光的物理性质来解决雾霾导致的图像退化问题。然而，该方法依赖于参数的估计，参数的准确性会影响去雾效果。此外，基于非物理模型的方法在增强图像对比度和亮度方面表现优异，然而，在适应性、处理复杂场景和抗噪性等方面存在一些限制。基于深度学习的图像去雾方法，具有较强的学习能力，可以适应不同场景和图像条件，但需要大量的标注数据和计算资源进行训练，且模型复杂度较高。
如申请号为：202310729983.1、发明名称为：一种基于深度学习分阶段式训练的图像去雾方法及装置的发明专利中提出，获取预先训练的图像去雾模型，图像去雾模型是利用仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，利用真实有雾数据集对初始去雾模型进行自监督训练后得到；将待处理的原始图像输入图像去雾模型，得到去雾图像。虽然发明提高了有雾图像的视觉效果，它是从数据、训练策略、深度学习和深度信息等多个角度综合考虑了图像去雾问题，但方法依赖于大量训练数据且计算复杂度高。
总的来说，图像去雾的发展经历了从图像增强到基于物理模型的图像复原，现在也有学者利用机器学习进行图像去雾。尽管图像去雾技术已经发展较多，但都存在鲁棒性和适用性不强的问题，导致可视化程度不高，尤其需要先验估计场景深度和深度映射细化的问题。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种能够克服传统方法所面临的鲁棒性和适用性不强等问题，提升可视化效果，有效地避免了需要先验估计场景深度和深度映射细化的问题的使用非局部雾线和多重曝光融合的图像去雾方法。
为了实现上述目的，本发明所采用的技术方案是：一种使用非局部雾线和多重曝光融合的图像去雾方法，包括以下步骤：
步骤1)获取多曝光融合的图像，首先采用多尺度gamma校正，对输入的有雾图像进行校正，以获得曝光不足的图像序列，构造基于像素的曝光度的权重图，对权重图进行融合，得到融合图像；
在图像融合过程中，通过通用权重函数W计算像素的权重：
其中，是从原始彩色图像导出的灰度强度曝光特征；
σ用于调整钟形分布的陡峭程度；
Ce是通常设定在强度范围中间的最佳曝光常数；
基于这个权重函数，像素融合结果会选择与伽马校正的图像成比例的所需强度；对所有输入图像的权值映射进行估计和归一化，我们将多幅伽玛校正图像中的全局分量Bk和局部分量Dk的像素合并到融合图像F中，表达式如下所示：
其中，表示Bk的像素权重；
表示Dk的像素权重；
β≥1控制结果F中局部细节的水平；
步骤2)对原始图像采用基于局部窗口的暗通道先验，获得大气光值；
采用了何凯明教授团队发现的暗通道先验规律来估算大气光值，暗通道计算方法为：
其中，Jdark(x)指图像的暗通道图，Jc是输入图像J中的任何一个颜色通道的值，x是像素点的位置，Ω(x)是以x为中心的领域。
步骤3)在进行步骤2)的同时对得到的融合图像，使用KD-tree结构，将图像的RGB像素聚类到雾线，估计初始传输率；
其中，r(x)表示目标像素到相机的距离，由于像素到相机的距离决定了透射率的大小，因此r(x)与透射率密切相关：
其中，J(x)是无雾图像，A为全局大气光，t(x)为场景透射率；
如果在雾线H上存在无雾的像素点，那它就是这条雾线的最大半径；单个像素点初始估计的透射率为：
其中为雾线最大半径；
步骤301)对估计的初始透射率，使用加权最小二乘法滤波来平滑和细化透射率；
初始透射率的非局部先验估计是基于整幅图像的像素值，使用四邻域像素点进行平衡，其表达式为：
其中，I(x)表示有雾图像，I(y)表示拟清晰化图像，表示拟清晰化图像的透射率，/>表示优化后的透射率，λ表示平衡参数，Nx代表图像平面中像素点x构成的四邻域，是求取的透射率中较大的值，σ(x)是/>的标准差，每个雾线都需要计算σ(x)；
步骤4)将上述步骤求得的融合图像、大气光值、优化后的透射率代入到大气散射模型得到去雾后的图像。
将之前求得的大气光A和优化后的透射率代入到大气散射模型中，即可求解出无雾图像J(x)：
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明首先提出了一种基于多尺度融合的策略，用于均衡输入图像的亮度和色彩。然后，我们采用基于局部窗口的暗通道先验，求解大气光值。同时，我们对于预处理后的图像，用以聚类以获得较好泛化性能的雾线，进而提升透射率的估计。此外，我们还引入了加权最小二乘滤波进一步细化透射率。最终，我们通过大气散射模型反向推导出无雾图像。
本发明提出的图像去雾方法显著提高了雾霾图像的可视化效果，有效地避免了需要先验估计场景深度和深度映射细化的问题。
附图说明
图1为本发明一种使用非局部雾线和多重曝光融合的图像去雾方法的流程示意图。
图2为本发明提出的方法与其他去雾算法的去雾效果对比图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种使用非局部雾线和多重曝光融合的图像去雾方法，包括以下步骤：
步骤1)获取多曝光融合的图像，首先采用多尺度gamma校正，对输入的有雾图像进行校正，以获得曝光不足的图像序列。构造基于像素的曝光度的权重图，对权重图进行融合，得到融合图像；
在图像融合过程中，通过通用权重函数W计算像素的权重：
其中，是从原始彩色图像导出的灰度强度曝光特征，σ用于调整钟形分布的陡峭程度，Ce是通常设定在强度范围中间的最佳曝光常数。
将多幅伽玛校正图像中的全局分量Bk和局部分量Dk的像素合并到融合图像F中，表达式如下所示：
其中，表示Bk的像素权重，/>表示Dk的像素权重，β≥1控制结果F中局部细节的水平。
步骤2)对原始图像采用基于局部窗口的暗通道先验，获得大气光值；
采用了何凯明教授团队发现的暗通道先验规律来估算大气光值，暗通道计算方法为：
其中，Jdark(x)指图像的暗通道图，Jc是输入图像J中的任何一个颜色通道的值，x是像素点的位置，Ω(x)是以x为中心的领域。
步骤3)在进行步骤2)的同时对得到的融合图像，使用KD-tree结构，将图像的RGB像素聚类到雾线，估计初始传输率；
其中，r(x)表示目标像素到相机的距离，由于像素到相机的距离决定了透射率的大小，因此r(x)与透射率密切相关：
其中，J(x)是无雾图像，A为全局大气光，t(x)为场景透射率；
对多尺度融合后的图像进行聚类得到雾线，单个像素点初始估计的透射率为：
其中为雾线最大半径，r(x)表示目标像素到相机的距离。
步骤301)对估计的初始透射率，使用加权最小二乘法滤波来平滑和细化透射率；
使用四邻域像素点进行平衡，其表达式为：
其中，I(x)表示有雾图像，I(y)表示拟清晰化图像，表示拟清晰化图像的透射率，/>表示优化后的透射率，λ表示平衡参数，Nx代表图像平面中像素点x构成的四邻域，是求取的透射率中较大的值，σ(x)是/>的标准差，每个雾线都需要计算σ(x)。
步骤4)将上述步骤求得的融合图像、大气光值、优化后的透射率代入到大气散射模型得到去雾后的图像。
使用大气散射模型，即可求解出无雾图像J(x)：
如图2所示，为了验证本文所提出的算法的有效性和优越性，我们对使用不同方法进行图像去雾的能力进行了评估。并与GIFM、DCP、DEA-Net、FFA-Net方法进行主观和客观的对比。我们运行了作者提供的源代码，并按照文献中设置的参数，得到了不同方法的最优结果。
GIFM算法在矫正车辆有雾图像时，效果较好，但是对于自然景观有雾图像，细节的处理效果不是很好。DCP算法会降低对象的对比度，导致图像整体外观变暗并掩盖细节。DEA-Net、FFA-Net算法出现去雾不彻底的现象，导致图像整体偏白。本发明的效果图明亮度适宜、图像细节清晰，景深突变处没有光晕效应，图像没有发生严重的失真，呈现出自然的视觉效果。
本实施例从平均梯度(AG)和边缘强度(EI)对比不同方法，从表1和表2的数据可知，本发明具有最高的AG和EI值，在客观评估指标方面说明了本发明具有较好的去雾和细节增强性能。综上所述，本发明从主观和客观评估方面都优于对比方法。
表1本发明方法和其它方法去雾图像的AG值对比
表2本发明方法和其它方法去雾图像的EI值对比
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (3)
1.一种使用非局部雾线和多重曝光融合的图像去雾方法，其特征在于：包括以下步骤：
步骤1)获取多曝光融合的图像，首先采用多尺度gamma校正，对输入的有雾图像进行校正，以获得曝光不足的图像序列，构造基于像素的曝光度的权重图，对权重图进行融合，得到融合图像；
在图像融合过程中，通过通用权重函数W计算像素的权重：
其中，是从原始彩色图像导出的灰度强度曝光特征；
σ用于调整钟形分布的陡峭程度；
Ce是通常设定在强度范围中间的最佳曝光常数；
基于这个权重函数，像素融合结果会选择与伽马校正的图像成比例的所需强度；对所有输入图像的权值映射进行估计和归一化，我们将多幅伽玛校正图像中的全局分量Bk和局部分量Dk的像素合并到融合图像F中，表达式如下所示：
其中，表示Bk的像素权重；
表示Dk的像素权重；
β≥1控制结果F中局部细节的水平；
步骤2)对原始图像采用基于局部窗口的暗通道先验，获得大气光值；
步骤3)在进行步骤2)的同时对得到的融合图像，使用KD-tree结构，将图像的RGB像素聚类到雾线，估计初始传输率；
其中，r(x)表示目标像素到相机的距离，由于像素到相机的距离决定了透射率的大小，因此r(x)与透射率密切相关：
其中，J(x)是无雾图像，A为全局大气光，t(x)为场景透射率；
如果在雾线上存在无雾的像素点，那它就是这条雾线的最大半径；单个像素点初始估计的透射率为：
其中为雾线最大半径；
步骤301)对估计的初始透射率，使用加权最小二乘法滤波来平滑和细化透射率；
初始透射率的非局部先验估计是基于整幅图像的像素值，使用四邻域像素点进行平衡，其表达式为：
其中，I(x)表示有雾图像，I(y)表示拟清晰化图像，表示拟清晰化图像的透射率，表示优化后的透射率，λ表示平衡参数，Nx代表图像平面中像素点x构成的四邻域，/>是求取的透射率中较大的值，σ(x)是/>的标准差，每个雾线都需要计算σ(x)；
步骤4)将上述步骤求得的融合图像、大气光值、优化后的透射率代入到大气散射模型得到去雾后的图像。
2.根据权利要求1所述的使用非局部雾线和多重曝光融合的图像去雾方法，其特征在于：步骤2)中，采用了暗通道先验规律来估算大气光值，暗通道计算方法为：
其中，Jdark(x)指图像的暗通道图；
Jc是输入图像J中的任何一个颜色通道的值；
x是像素点的位置；
Ω(x)是以x为中心的领域。
3.根据权利要求2所述的使用非局部雾线和多重曝光融合的图像去雾方法，其特征在于：步骤4)中，将之前求得的大气光A和优化后的透射率代入到大气散射模型中，即可求解出无雾图像J(x)：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742932.9A CN117726545A (zh) | 2023-12-18 | 2023-12-18 | 一种使用非局部雾线和多重曝光融合的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742932.9A CN117726545A (zh) | 2023-12-18 | 2023-12-18 | 一种使用非局部雾线和多重曝光融合的图像去雾方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117726545A true CN117726545A (zh) | 2024-03-19 |
Family
ID=90208443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311742932.9A Pending CN117726545A (zh) | 2023-12-18 | 2023-12-18 | 一种使用非局部雾线和多重曝光融合的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726545A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115391A (zh) * | 2024-04-29 | 2024-05-31 | 湖南中飞时代智能科技有限公司 | 一种弥雾机作业智能调控方法及*** |
| CN118115391B (zh) * | 2024-04-29 | 2024-07-30 | 湖南中飞时代智能科技有限公司 | 一种弥雾机作业智能调控方法及*** |
-
2023
- 2023-12-18 CN CN202311742932.9A patent/CN117726545A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115391A (zh) * | 2024-04-29 | 2024-05-31 | 湖南中飞时代智能科技有限公司 | 一种弥雾机作业智能调控方法及*** |
| CN118115391B (zh) * | 2024-04-29 | 2024-07-30 | 湖南中飞时代智能科技有限公司 | 一种弥雾机作业智能调控方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Fast image dehazing method based on linear transformation | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| TWI808406B (zh) | 圖像去霧方法和使用圖像去霧方法的圖像去霧設備 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110363727B (zh) | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 | |
| Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
| CN105447825B (zh) | 图像去雾方法及其*** | |
| CN104331867B (zh) | 图像去雾的方法、装置及移动终端 | |
| CN106023108A (zh) | 基于边界约束和上下文正则化的图像去雾算法 | |
| CN108921887B (zh) | 基于水下光线衰减先验性的水下场景深度地图估计方法 | |
| CN114119383B (zh) | 一种基于多特征融合的水下图像复原方法 | |
| CN112419163A (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN113487509A (zh) | 一种像素聚类及透射率融合的遥感图像雾气去除方法 | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| CN117611501A (zh) | 一种低照度图像增强方法、装置、设备及可读存储介质 | |
| CN113379631B (zh) | 一种图像去雾的方法及装置 | |
| CN113012067B (zh) | 基于Retinex理论和端到端深度网络的水下图像复原方法 | |
| CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 | |
| CN117726545A (zh) | 一种使用非局部雾线和多重曝光融合的图像去雾方法 | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
| CN109961413A (zh) | 大气光方向优化估计的图象去雾迭代算法 | |
| CN114066764B (zh) | 基于距离加权色偏估计的沙尘退化图像增强方法及装置 | |
| CN113962890B (zh) | 一种基于仿射变换的水下色偏图像清晰化方法 | |
| CN113689343B (zh) | 一种Resnet计算Veil的单幅图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |