CN116704309A - 基于改进生成对抗网络的图像去雾识别方法及*** - Google Patents
基于改进生成对抗网络的图像去雾识别方法及*** Download PDFInfo
- Publication number
- CN116704309A CN116704309A CN202310551956.XA CN202310551956A CN116704309A CN 116704309 A CN116704309 A CN 116704309A CN 202310551956 A CN202310551956 A CN 202310551956A CN 116704309 A CN116704309 A CN 116704309A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- network
- feature
- ambient light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013507 mapping Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 22
- 238000002834 transmittance Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000149 argon plasma sintering Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于改进生成对抗网络的图像去雾识别方法及***，该方法用于对图像进行特征提取输出不同尺度的特征图，产生由一个固定输入到环境光的映射，用来估计伪环境光，同时使用相同的输入产生到经过散射后的环境光的映射，将生成的映射与输入无雾图像进行拼接组合成新的伪有雾图像，判断伪有雾图像是否为真实图像，反推计算大气散射模型的透射率与环境光值，得到实际场景中的参数使用计算的参数得到去雾后的图像。本发明可以使网络提取更多的图像特征进而更好地估计透声律与环境光值，同时颜色损失模块可以避免图像生成结果颜色改变的现象，解决目前图像去雾环节中的图像识别的图像信息失真与颜色改变的问题，以提高图像去雾识别的精度。
Description
技术领域
本发明涉及对抗网络模型技术领域，特别是涉及基于改进生成对抗网络的图像去雾识别方法及***。
背景技术
目前随着环境因素的快速变化，很多地区出现雾、霾这类天气频次增加，此类天气极大地影响着卫星遥感监测、目标识别与跟踪、交通监控等领域，因此图像去雾在这些方面具有非常重要的实际应用价值；另外由于雾、霾的存在，它也降低了图像中的色彩饱和度和对比度，造成很多图像细节丢失。那么图像去雾同样也具有极高的研究意义。
传统的图像去雾方法往往是通过使用卷积网络结构估计透射率与环境光值，进而复原无雾图像，传统方法在对透射率与环境光值进行估计的过程中，往往会忽略一些图像的上下文信息，并且该方法仅仅是从对图像的特征处理的出发，忽略的有雾图像的产生原理。因此传统方法在对去雾图像识别的问题上，往往会使得图像去雾效果不明显，图像去雾识别的精度不高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种基于改进生成对抗网络的图像去雾识别方法。可以直接学习无雾图像与有雾图像的映射关系，并且在网络模型中添加的深度残差连接可以使网络提取更多的图像特征进而更好地估计透声律与环境光值，同时颜色损失可以避免图像生成结果颜色改变的现象，解决图像去雾环节中图像信息失真与颜色改变的问题，提高图像去雾识别的精度。
本发明的另一个目的在于提出一种基于改进生成对抗网络的图像去雾方法。
为达上述目的，本发明一方面提出一种基于改进生成对抗网络的图像去雾识别方法，包括：
获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用所述训练数据集对所述去雾识别网络模型进行模型训练；其中，所述去雾识别网络模型，包括生成网络模型和判别网络模型，所述生成网络模型包括特征提取网络和特征增强网络，所述特征增强网络，包括残差连接网络与多头注意力网络；
将所述训练数据集输入至所述生成网络模型中，以利用所述特征提取网络对所述有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于所述融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
将所述清晰无雾图像样本输入到所述判别网络模型中，利用预设的拼接方法对所述映射与所述清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对所述伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化所述去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
将待识别的新的有雾图像输入至所述训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
另外，根据本发明上述实施例的基于改进生成对抗网络的图像去雾识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述特征增强网络采用级联网络；所述将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，包括：
将所述多尺度特征图输入至所述级联网络，以利用5*5的逐通道卷积提取多尺度特征图的初始特征信息；
通过7*7的逐通道空洞卷积提取所述初始特征信息的多尺度上下文信息；
利用1*1的逐点卷积对所述多尺度上下文信息进行卷积操作输出得到所述融合特征图。
进一步地，在本发明的一个实施例中，所述拼接方法，包括采用像素对像素的合成相加的方法；所述判别网络模型，包括多个卷积层，其中，每个卷积层使用ReLu作为激活函数；在所述损失函数中添加颜色一致性损失，所述损失函数：
其中，p表示一个像素，ANGLE为角度计算函数，y为有雾图像，GB(GA(x))和GA(GB(y))是生成的伪有雾图像。
进一步地，在本发明的一个实施例中，所述根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本，包括：
大气光散射的计算公式：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，A0为大气环境光，A1为散射后的大气环境光，M0、M1为生成模块产生的由背景图像到大气环境光图像、散射后的大气环境光图像的映射关系矩阵，x指的是图像的每个像素点坐标，J(x)是清晰无雾图像，I(x)为实际得到有雾图像，A是图像拍摄地的环境光值，t(x)表示的是环境光透射率；
J(x)＝M0[I(x)+b(x)]
其中：
进一步地，在本发明的一个实施例中，所述生成的映射，包括用于估计伪环境光值的第一映射和用于估计透射率的第二映射，所述第一映射为所述融合特征图到所述大气环境光图像的映射，包括：构建融合特征图为输入图像N(x)产生大气环境光的映射，以估算大气环境光图像A0(x)：
所述第二映射为所述融合特征图到散射后的大气环境光图像的映射，包括：基于融合特征图的相同的输入图像N(x)到散射后的大气环境光图像A1(x)的映射：
根据估算得到A0和t(x)、I(x)，通过公式反解出J(x)，得到去雾图像。
进一步地，在本发明的一个实施例中，所述生成网络模型的优化目标为：
其中，Div表示两个分布之间的差异，z表示输入的噪声数据，服从分布Pz，真实数据x服从分布Pdata，判别网络模型D用于对输入数据二分类，即判别输入数据属于真实数据还是生成数据，则所述判别网络模型的优化目标为：
式中V(G,D)的定义为:
其中E表示数据分布期望，基于生成网络模型和判别网络模型的优化目标，所述去雾识别网络模型的优化目标函数：
为达上述目的，本发明另一方面提出一种基于改进生成对抗网络的图像去雾识别***，包括：
识别模型构建模块，用于获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用所述训练数据集对所述去雾识别网络模型进行模型训练；其中，所述去雾识别网络模型，包括生成网络模型和判别网络模型，所述生成网络模型包括特征提取网络和特征增强网络，所述特征增强网络，包括残差连接网络与多头注意力网络；
第一特征分类模块，用于将所述训练数据集输入至所述生成网络模型中，以利用所述特征提取网络对所述有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于所述融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
第二特征分类模块，用于将所述清晰无雾图像样本输入到所述判别网络模型中，利用预设的拼接方法对所述映射与所述清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对所述伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化所述去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
图像去雾识别模块，用于将待识别的新的有雾图像输入至所述训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
本发明实施例的基于改进生成对抗网络的图像去雾识别方法和***，可以快速的得到去雾图像，降低了网络计算量，在保证去雾效果的前提下，提高网络的去雾速度和图像识别效率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于改进生成对抗网络的图像去雾识别方法的流程图；
图2是根据本发明实施例的基于改进生成对抗网络的图像去雾方法的架构图；
图3是根据本发明实施例的网络模型的结构示意图；
图4是根据本发明实施例的特征增强网络结构示意图；
图5是根据本发明实施例的判别网络结构示意图；
图6是根据本发明实施例的基于改进生成对抗网络的图像去雾识别***的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于改进生成对抗网络的图像去雾识别方法和***。
图1是本发明实施例的基于改进生成对抗网络的图像去雾识别方法的流程图。
如图1所示，该基于改进生成对抗网络的图像去雾识别方法包括：
S1，获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用训练数据集对所述去雾识别网络模型进行模型训练；其中，去雾识别网络模型，包括生成网络模型和判别网络模型，生成网络模型包括特征提取网络和特征增强网络，特征增强网络，包括残差连接网络与多头注意力网络；
S2，将训练数据集输入至生成网络模型中，以利用特征提取网络对有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将多尺度特征图输入至特征增强网络中，以利用残差连接网络与多头注意力网络对多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
S3，将清晰无雾图像样本输入到判别网络模型中，利用预设的拼接方法对映射与清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
S4，将待识别的新的有雾图像输入至训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
根据本发明实施例的基于改进生成对抗网络的图像去雾识别方法，通过增强图像的特征提取能力、增加全局图像细节，并使用映射方法进行两种不同图像的对应映射，直接根据映射参数生成清晰图像，可以提高图像去雾识别精度。
如图2和3所示，为本发明方法的架构图和网络结构图，保证去雾性能的前提下，可以有效地提高图像去雾的速度。首先本发明分为训练阶段和测试阶段，在训练阶段构建训练集输入到去雾网络中，去雾生成网络包括特征提取、特征增强结构，学***衡，将有雾图像直接输入到网络中，即可得到去雾后的图像。本发明所提出的去雾方法可以避免图像去雾过程中的雾气残留与细节信息丢失，能在多种环境下应用。
在本发明的一个实施例中，如图4所示的特征增强网络，将多尺度特征图输入至级联网络，以利用5*5的逐通道卷积提取多尺度特征图的初始特征信息；通过7*7的逐通道空洞卷积提取所述初始特征信息的多尺度上下文信息；利用1*1的逐点卷积对多尺度上下文信息进行卷积操作输出得到所述融合特征图。
具体地，特征提取网络中三个卷积层的卷积核大小分别为7x7x64、3x3x128、3x3x512，步长分别为1、2、2，选择零填充。7x7的卷积核可以扩大网络对图像的感受野，网络可以更好地捕捉到图像的细节信息，之后两个3x3大小的卷积核可以有效降低提取特征图的尺寸，有利于网络训练。级联的残差网络块可以用来增加生成器网络的深度并以此提高特征提取的能力。
可以理解的是，级联残差块通过跳跃链接的方式将信息传递到网络的更深层，增强背景和图像细节的特征响应，避免图像特征信息丢失。则能够在感受野相同的情况下，减少网络运行参数量和计算量，并且网络层数得以加深，在一定程度上提升了网络效。
在本发明的一个实施例中，特征增强网络采用1X1卷积降低拼接特征图的通道数。
在本发明的一个实施例中，映射关系的生成，一个部分是图片到环境光图片的特征提取网络映射用于估计伪环境光照，另一个是同样构建一个给定相同的输入图像到散射后的环境光图像的映射用于估计透射率。对特征图进行归一化操作，并求取每个图像的环境光参数与折射率。
进一步地，本发明产生由背景图像到大气环境光图像、散射后的大气环境光图像的映射关系M0、M1，通过A0与A1的关系求解得到透射率图，即：
我们可以知道，无论是由无雾图像到有雾图像的映射，还是由有雾图像到无雾图形的映射，它都可以写成基于转换矩阵和偏置矩阵求解的结构，比如：
I(x)＝J(x)t(x)+A(x)(1-t(x))
J(x)＝M0[I(x)+b(x)]
其中：
要复原出清晰的原始图像，我们必须得到图像当时所处位置的大气环境光以及透射率，因此还需要构建由一个已知的输入图像产生大气环境光的映射网络来估算产生大气环境光图像A0(x)，可以写为如下形式：
为了估算透射率，根据上述公式我们同样构建一个给定相同的输入图像N(x)到散射后的环境光图像A1(x)的映射，有如下形式：
考虑到卷积神经网络强大的特征提取能力，我们将以上两个映射网络均由骨干网络CNN网络实现，在估算出大气环境光和透射率后，我们最后在根据公式实现由有雾图像到无雾图像的转化。
I(x)＝J(x)t(x)+A(1-t(x))
其中，x指的是图像的每个像素点坐标，J(x)是清晰无雾图像，I(x)为实际得到有雾图像，A是图像拍摄地的环境光值，t(x)表示为透射率。
进一步地，生成网络模型和判别网络模型通过对抗实现学习，最终达到纳什均衡点，使得双方都能达到最优。生成网络模型主要用于生成符合预期的数据，并将生成数据和真实数据的分布差异最小化，则生成网络模型的优化目标为:
其中Div表示两个分布之间的差异，z表示输入的噪声数据，服从分布Pz，真实数据x服从分布Pdata。判别网络模型块D用于对输入数据二分类，即判别输入数据属于真实数据还是生成数据，则得到判别网络模型的优化目标为:
式中V(G,D)的定义为:
其中E表示数据分布期望。综合生成网络模型和判别网络模型的优化目标，最终得到整个去雾识别网络模型的优化目标函数：
进一步地，如图5所示，本发明的判别网络模型主要采用二分网路对合成的伪雾气图像与真实有雾图像进行判别，越接近真实有雾图像说明网络估计的环境光参数与透射率更接近真实值。判别网络的输出值引导生成网络的训练，使得生成网络在学***衡。判别网络模型的结构如图5所示，网络由3个卷积模块组成，所有的卷积层均使用ReLu作为激活函数。前2个卷积层的卷积核大小为3x3，用于提取生成模型的输出图像特征，最后通过添加一个卷积核大小为1x1，步长为1的卷积层作为一维输出，并使用Sigmoid激活函数来判断生成图像是否符合真实的样本分布，在损失函数中添加颜色一致性损失。
其中，p表示一个像素，ANGLE为角度计算函数，它计算两种颜色之间的角度差，可以把RGB可以看做一个关于颜色的三维向量。y为有雾图像。GB(GA(x))和GA(GB(y))是生成模块生成的大气光值与无雾图像拼接得到的图像。计算GA(GB(y))中每个像素的颜色向量与图像y中之每个像素的颜色向量的夹角并进行累加，可以有效的判断生成模块生成的参数是否趋近真实值。
进一步地，经过训练好的网络模型，由生成器产生的大气环境光图像、散射后的环境光图像估算得到的透射率，其透射率是独立于有雾图像样本的。
进一步地，在一定时间内大气的环境光和透射率几乎不变，那么根据映射关系反推导计算模块估算得到透射率与环境光值，在已知有雾图像的条件下，即可反解出清晰的无雾图像。
综上，本发明将有雾图像看作是无雾图像与雾像的非线性合成图像。用一个轻量的生成器网络产生由一个固定输入到环境光的映射，用来估计伪环境光，用一个生成器通过相同的输入产生到经过散射后的环境光的映射，最后利用大气散射模型反解得到去雾图像，满足需要实时去雾的场景，与传统直接用生成网络生成去雾图像相比，本方法通过简单的数学关系估算透射率就可以得到去雾图像，降低了网络计算量，在保证去雾效果的前提下，提高网络的去雾速度。
本发明所述的基于改进生成对抗网络的图像去雾识别方法可以应用小区监控、智能交通、民航辅助、灾后救援、遥感观测、自动驾驶等许多计算机视觉***中，例如:对于小区监控，本发明所述的改进生成对抗网络模型及图像去雾方法能够在秋冬季节的雾、霾天气对小区进出人员的图像进行有效处理，避免了因恶劣天气产生的人员遗漏问题，从而有效提高监控***应对恶劣天气的能力。对于智能交通，采用本发明所述的改进生成对抗网络模型及图像去雾方法能够精准地在雾天针对车辆行驶状况及违规行为进行识别与检测，可以提高交通监管***对雾天监控的有效性。对于民航辅助，将飞机行驶过程中的图片信息或者视频信息输入至本发明所述的改进生成对抗网络模型及图像去雾方法能够准确地在云雾中对有关图像进行处理，在飞机降落过程中可以提高民航飞机在高空时的能见度，进而提升民航飞机在云雾中的观察能力。对于灾后救援方面，采用基于本发明所述的改进生成对抗网络模型及图像去雾方法能够重建火灾中的图像信息，将有雾的火灾图像转化成清晰的图像信息，可以提高在火灾中救援的救援效率。对于遥感观测，也可采用本发明所述的改进生成对抗网络模型及图像去雾方法对大气自然光折射产生的雾图进行处理，提高遥感观测***的观测效率与环境适应能力。对于自动驾驶，采用本发明所述的改进生成对抗网络模型及图像去雾方法可以实时准确地对雾霾天气的路况信息进行处理，解决了因为天气能见度较低影响司机判断的问题，从而保证了司机在雾霾天气中的安全行驶。由此可见，本发明所述的改进生成对抗网络模型及图像去雾方法应用范围广泛，将有雾图像或者含有烟尘图像输入至本发明所述模型中，通过对模型的改进，能够缓解了图像去雾过程中的细节丢失，颜色改变的问题，同时在不损失检测速度的基础上，提高了图像的全局信息去雾效果。
根据本发明实施例的基于改进生成对抗网络的图像去雾方法，将不同层数的特征图进行特征融合拼接，增加了上采样特征图的语义信息能力，一方面增加网络的深度，另一方面增强了网络对全局特征的提取能力。同时在所采用的空洞卷积方法想与普通卷积方法有着较少的参数，减少了网络的参数计算量，增加了网络运行速度。本发明通过设计增加特征融合增强分支，并添加空洞卷积方法与特征残差模，扩大了感受野，增强模型对全局细节参数特征提取能力，以及对图像去雾识别效率的提高，以实现对图像生成去雾精度的有效提升。
为了实现上述实施例，如图6所示，本实施例中还提供了基于改进生成对抗网络的图像去雾识别***10，该***10包括：
识别模型构建模块100，用于获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用训练数据集对所述去雾识别网络模型进行模型训练；其中，去雾识别网络模型，包括生成网络模型和判别网络模型，生成网络模型包括特征提取网络和特征增强网络，特征增强网络，包括残差连接网络与多头注意力网络；
第一特征分类模块200，用于将训练数据集输入至生成网络模型中，以利用特征提取网络对有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将多尺度特征图输入至所述特征增强网络中，以利用残差连接网络与多头注意力网络对多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
第二特征分类模块300，用于将清晰无雾图像样本输入到判别网络模型中，利用预设的拼接方法对映射与清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对所述伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
图像去雾识别模块400，用于将待识别的新的有雾图像输入至训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
进一步地，特征增强网络采用级联网络；上述第一特征分类模块200，还用于：
将多尺度特征图输入至所述级联网络，以利用5*5的逐通道卷积提取多尺度特征图的初始特征信息；
通过7*7的逐通道空洞卷积提取初始特征信息的多尺度上下文信息；
利用1*1的逐点卷积对多尺度上下文信息进行卷积操作输出得到融合特征图。
进一步地，拼接方法，包括采用像素对像素的合成相加的方法；判别网络模型，包括多个卷积层，其中，每个卷积层使用ReLu作为激活函数；在损失函数中添加颜色一致性损失，所述损失函数：
其中，p表示一个像素，ANGLE为角度计算函数，y为有雾图像，GB(GA(x))和GA(GB(y))是生成的伪有雾图像。
进一步地，第二特征分类模块300，还用于：
大气光散射的计算公式：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，A0为大气环境光，A1为散射后的大气环境光，M0、M1为生成模块产生的由背景图像到大气环境光图像、散射后的大气环境光图像的映射关系矩阵，x指的是图像的每个像素点坐标，J(x)是清晰无雾图像，I(x)为实际得到有雾图像，A是图像拍摄地的环境光值，t(x)表示的是环境光透射率；
J(x)＝M0[I(x)+b(x)]
其中：
根据本发明实施例的基于改进生成对抗网络的图像去雾识别***，将不同层数的特征图进行特征融合拼接，增加了上采样特征图的语义信息能力。此方法一方面增加网络的深度，另一方面增强了网络对全局特征的提取能力。同时在所采用的空洞卷积方法想与普通卷积方法有着较少的参数，减少了网络的参数计算量，增加了网络运行速度。本发明通过设计增加特征融合增强分支，并添加空洞卷积方法与特征残差模，扩大了感受野，增强模型对全局细节参数特征提取能力，实现对图像去雾识别精度的有效提升。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
Claims (10)
1.一种基于改进生成对抗网络的图像去雾识别方法，其特征在于，包括：
获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用所述训练数据集对所述去雾识别网络模型进行模型训练；其中，所述去雾识别网络模型，包括生成网络模型和判别网络模型，所述生成网络模型包括特征提取网络和特征增强网络，所述特征增强网络，包括残差连接网络与多头注意力网络；
将所述训练数据集输入至所述生成网络模型中，以利用所述特征提取网络对所述有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于所述融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
将所述清晰无雾图像样本输入到所述判别网络模型中，利用预设的拼接方法对所述映射与所述清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对所述伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化所述去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
将待识别的新的有雾图像输入至所述训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
2.根据权利要求1所述的方法，其特征在于，所述特征增强网络采用级联网络；所述将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，包括：
将所述多尺度特征图输入至所述级联网络，以利用5*5的逐通道卷积提取多尺度特征图的初始特征信息；
通过7*7的逐通道空洞卷积提取所述初始特征信息的多尺度上下文信息；
利用1*1的逐点卷积对所述多尺度上下文信息进行卷积操作输出得到所述融合特征图。
3.根据权利要求1所述的方法，其特征在于，所述拼接方法，包括采用像素对像素的合成相加的方法；所述判别网络模型，包括多个卷积层，其中，每个卷积层使用ReLu作为激活函数；在所述损失函数中添加颜色一致性损失，所述损失函数：
其中，p表示一个像素，ANGLE为角度计算函数，y为有雾图像，GB(GA(x))和GA(GB(y))是生成的伪有雾图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本，包括：
大气光散射的计算公式：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，A0为大气环境光，A1为散射后的大气环境光，M0、M1为生成模块产生的由背景图像到大气环境光图像、散射后的大气环境光图像的映射关系矩阵，x指的是图像的每个像素点坐标，J(x)是清晰无雾图像，I(x)为实际得到有雾图像，A是图像拍摄地的环境光值，t(x)表示的是环境光透射率；
J(x)＝M0[I(x)+b(x)]
其中：b(x)＝-A(x)[1-t(x)]。
5.根据权利要求4所述的方法，其特征在于，所述生成的映射，包括用于估计伪环境光值的第一映射和用于估计透射率的第二映射，所述第一映射为所述融合特征图到所述大气环境光图像的映射，包括：构建融合特征图为输入图像N(x)产生大气环境光的映射，以估算大气环境光图像A0(x)：
所述第二映射为所述融合特征图到散射后的大气环境光图像的映射，包括：基于融合特征图的相同的输入图像N(x)到散射后的大气环境光图像A1(x)的映射：
根据估算得到A0和t(x)、I(x)，通过公式反解出J(x)，得到去雾图像。
6.根据权利要求5所述的方法，其特征在于，所述生成网络模型的优化目标为：
其中，Div表示两个分布之间的差异，z表示输入的噪声数据，服从分布Pz，真实数据x服从分布Pdata，判别网络模型D用于对输入数据二分类，即判别输入数据属于真实数据还是生成数据，则所述判别网络模型的优化目标为：
式中V(G,D)的定义为:
其中E表示数据分布期望，基于生成网络模型和判别网络模型的优化目标，所述去雾识别网络模型的优化目标函数：
7.一种基于改进生成对抗网络的图像去雾识别***，其特征在于，包括：
识别模型构建模块，用于获取包含有雾图像样本和对应无雾图像样本的训练数据集，并构建去雾识别网络模型，以利用所述训练数据集对所述去雾识别网络模型进行模型训练；其中，所述去雾识别网络模型，包括生成网络模型和判别网络模型，所述生成网络模型包括特征提取网络和特征增强网络，所述特征增强网络，包括残差连接网络与多头注意力网络；
第一特征分类模块，用于将所述训练数据集输入至所述生成网络模型中，以利用所述特征提取网络对所述有雾图像样本和对应无雾图像样本的特征进行第一特征分类操作得到多尺度特征图；将所述多尺度特征图输入至所述特征增强网络中，以利用所述残差连接网络与多头注意力网络对所述多尺度特征图进行融合的第二特征分类操作得到融合特征图，基于所述融合特征图生成大气环境光图像和散射后的大气环境光图像的映射，并根据所述映射的特征参数计算大气散射模型的透射率与环境光值以生成清晰无雾图像样本；
第二特征分类模块，用于将所述清晰无雾图像样本输入到所述判别网络模型中，利用预设的拼接方法对所述映射与所述清晰无雾图像样本进行第三特征分类操作得到伪有雾图像，利用损失函数对所述伪有雾图像与有雾图像样本进行损失计算，并利用优化目标函数和损失计算结果优化所述去雾识别网络模型的模型参数以得到训练好的去雾识别网络模型；
图像去雾识别模块，用于将待识别的新的有雾图像输入至所述训练好的去雾识别网络模型进行图像去雾识别，以得到新的有雾图像对应的清晰无雾图像的去雾识别结果。
8.根据权利要求7所述的***，其特征在于，所述特征增强网络采用级联网络；所述第一特征分类模块，还用于：
将所述多尺度特征图输入至所述级联网络，以利用5*5的逐通道卷积提取多尺度特征图的初始特征信息；
通过7*7的逐通道空洞卷积提取所述初始特征信息的多尺度上下文信息；
利用1*1的逐点卷积对所述多尺度上下文信息进行卷积操作输出得到所述融合特征图。
9.根据权利要求7所述的***，其特征在于，所述拼接方法，包括采用像素对像素的合成相加的方法；所述判别网络模型，包括多个卷积层，其中，每个卷积层使用ReLu作为激活函数；在所述损失函数中添加颜色一致性损失，所述损失函数：
其中，p表示一个像素，ANGLE为角度计算函数，y为有雾图像，GB(GA(x))和GA(GB(y))是生成的伪有雾图像。
10.根据权利要求9所述的***，其特征在于，所述第二特征分类模块，还用于：
大气光散射的计算公式：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，A0为大气环境光，A1为散射后的大气环境光，M0、M1为生成模块产生的由背景图像到大气环境光图像、散射后的大气环境光图像的映射关系矩阵，x指的是图像的每个像素点坐标，J(x)是清晰无雾图像，I(x)为实际得到有雾图像，A是图像拍摄地的环境光值，t(x)表示的是环境光透射率；
J(x)＝M0[I(x)+b(x)]
其中：b(x)＝-A(x)[1-t(x)]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310551956.XA CN116704309A (zh) | 2023-05-16 | 2023-05-16 | 基于改进生成对抗网络的图像去雾识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310551956.XA CN116704309A (zh) | 2023-05-16 | 2023-05-16 | 基于改进生成对抗网络的图像去雾识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116704309A true CN116704309A (zh) | 2023-09-05 |
Family
ID=87838328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310551956.XA Pending CN116704309A (zh) | 2023-05-16 | 2023-05-16 | 基于改进生成对抗网络的图像去雾识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704309A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911507A (zh) * | 2023-12-28 | 2024-04-19 | 武汉志远智能控制技术有限公司 | 铁水液面识别方法、装置、设备及存储介质 |
-
2023
- 2023-05-16 CN CN202310551956.XA patent/CN116704309A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911507A (zh) * | 2023-12-28 | 2024-04-19 | 武汉志远智能控制技术有限公司 | 铁水液面识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| CN109886312B (zh) | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 | |
| CN109086668B (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| CN112270249A (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
| CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测*** | |
| CN111489301B (zh) | 一种基于迁移学习用图像深度信息引导的图像去雾方法 | |
| CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
| CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和*** | |
| CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
| CN110717863B (zh) | 一种基于生成对抗网络的单图像去雪方法 | |
| Chen et al. | ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images | |
| Qiang et al. | Forest fire smoke detection under complex backgrounds using TRPCA and TSVB | |
| CN113052106A (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN114998566A (zh) | 一种可解释的多尺度红外弱小目标检测网络设计方法 | |
| Ogunrinde et al. | A review of the impacts of defogging on deep learning-based object detectors in self-driving cars | |
| CN113989261A (zh) | 基于Unet改进的无人机视角下红外图像光伏板边界分割方法 | |
| CN116704309A (zh) | 基于改进生成对抗网络的图像去雾识别方法及*** | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN112767267A (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及*** | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN117876874A (zh) | 基于高点监控视频的森林火灾检测和定位方法及*** | |
| CN114913337A (zh) | 一种基于三元级联感知的伪装目标框检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |