CN113962878A - 一种低能见度图像去雾模型方法 - Google Patents

一种低能见度图像去雾模型方法 Download PDF

Info

Publication number
CN113962878A
CN113962878A CN202110867788.6A CN202110867788A CN113962878A CN 113962878 A CN113962878 A CN 113962878A CN 202110867788 A CN202110867788 A CN 202110867788A CN 113962878 A CN113962878 A CN 113962878A
Authority
CN
China
Prior art keywords
image
convolution
feature
module
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110867788.6A
Other languages
English (en)
Other versions
CN113962878B (zh
Inventor
陈秀新
佟鑫
于重重
冯文彬
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Shenyang Research Institute Co Ltd of CCTEG
Original Assignee
Beijing Technology and Business University
Shenyang Research Institute Co Ltd of CCTEG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University, Shenyang Research Institute Co Ltd of CCTEG filed Critical Beijing Technology and Business University
Priority to CN202110867788.6A priority Critical patent/CN113962878B/zh
Publication of CN113962878A publication Critical patent/CN113962878A/zh
Application granted granted Critical
Publication of CN113962878B publication Critical patent/CN113962878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种低能见度图像去雾模型方法，是基于深度学习的GCANet模型，结合注意力机制和多尺度融合，将模型分为特征编码、特征融合和特征解码部分，特征编码模块的作用是进行图像特征信息提取，经过注意力机制模块，在提取特征信息时更多的关注目标区域，具有更有效地捕捉全局相关性的能力。在特征融合设计中通过一个并行高分辨率结构提取不同尺度的特征，获得上下文信息，并行高分辨率结构和注意力模块共同补充了尘雾图像的全局和局部信息。最后，利用特征解码得到清晰化处理的图像。本发明充分提取了低能见度图像的上下文信息并参与到图像全局信息和局部信息的获取，提取更多不同的多尺度特征，实现了更有效的清晰化处理。

Description

一种低能见度图像去雾模型方法
技术领域
本发明属于图像处理、模式识别和机器视觉技术领域，涉及低能见度图像清晰化网络模型技术，尤其涉及一种低能见度图像去雾网络模型方法，构建在低能见度图像数据集下进行学习的基于注意力机制和特征融合的低能见度图像清晰化网络模型，有效地提升了低能见度图像的清晰化效果。
背景技术
近年来，计算机视觉算法不断发展，各种图像处理算法在环境感知方面产生了大量的研究成果与应用，这些成果与应用大都基于可见光采集到的能见度良好的清晰图像，在低能见度图像上的图像处理算法研究较少。因此利用深度学习的方法解决低能见度尘雾图像清晰化的问题，成为了近年来研究的热点内容。
光在低能见度环境中传播的时候，会发生散射等现象导致图像质量下降严重，图像信息无法充分发挥价值。低能见度图像清晰化是为了去除尘雾影响，提高图像的对比度。如今低能见度图像清晰化技术已有几十年的发展历史。
目前低能见度图像清晰化算法分为三个不同的类别，分别有基于图像增强的低能见度清晰化算法、基于图像复原的低能见度清晰化算法和基于深度学习的低能见度清晰化算法。而随着深度学习的发展，基于深度学习的低能见度清晰化算法为低能见度尘雾图像的清晰化问题提供了另一种解决思路。例如，2016年，Cai等人最早将深度学习引入到低能见度图像清晰化中去，提出了一种基于卷积神经网络(Convolutional Neural Networks，CNN)的模型架构，将低能见度图像作为输入，并输出其介质透射图，随后将其用于通过大气散射模型恢复清晰图像。(Cai B,Xu X,Jia K,et al.DehazeNet:An End-to-End Systemfor Single Image Haze Removal[J].2016.)
2018年，Dudhane等人提出了一种基色(红色，绿色和蓝色)色彩融合网络，对低能见度图像中存在的颜色信息进行处理，并生成多通道深度图，使用多通道多尺度CNN从生成的暗通道中估算场景传输图。(A.Dudhane and S.Murala.C2MSNet:A Novel Approach forSingle Image Haze Removal[C].2018.)
2019年，Chen等人提出的基于深度学***滑空洞卷积解决网格效应，门控卷积层(Gated Convolutional Layer，GCL)提取上下文信息。(Chen D,He M,FanQ,et al. Gated context aggregation network for image dehazing and deraining[C].2019.)
最开始研究的基于深度学习的低能见度图像清晰化方法采用训练模型的形式估算透射图，跟传统低能见度图像清晰化算法相比较，透射图估算的误差有一定的减小，输出的清晰化图像主观效果提高显著。缺点是通过成像模型估算的尘雾相关参数的精确度不高，计算透射图时存在误差累积的现象，会影响最终的清晰化精度。同时，图像太过单一化也会使得最终的精度不高。最近，随着深度学习的不断进步，越来越多的端到端模型出现在计算机视觉领域并取得了较好的效果。
发明内容
针对基于深度学习的低能见度图像清晰化算法存在清晰化不均匀现象和适用性不足等问题，本发明利用多尺度特征融合能够提取上下文信息的特点，再结合自注意力机制实现跨信道信息的高效学习，提出了基于注意力机制和特征融合的低能见度图像清晰化模型。
本发明方法通过在基于深度学***均的问题，更好地提升图像对比度，让图像更清晰。本发明基于GCANet网络架构，利用多尺度特征融合能够提取上下文信息的特点，再结合自注意力机制实现跨信道信息的高效学***滑空洞卷积残差模块的形式对图像的特征信息进行提取，其中平滑空洞卷积可以消除原始空洞卷积的网络伪影效应，残差模块采用的是ResNet网络中的结构，可以生成更复杂的特征同时更易于优化训练。第二部分是在特征编码之后进行了特征融合，为了保障图像上下文信息参与到图像全局和局部信息的提取，采用的结构是一个并行高分辨率的多尺度融合模块，在结构内部进行密集的多尺度特征融合。第三部分是网络的特征解码部分，获得清晰化处理后的图像。本发明低能见度图像去雾模型结构图如图1所示。
本发明提供的技术方案如下：
一种低能见度图像去雾模型方法，具体包括如下步骤：
步骤1：数据的预处理
本发明主要是针对低能见度尘雾图像的清晰化处理的，因此数据集在选用的时候可以使已有公共数据集及制作的低能见度尘雾图像数据集。对于选好的数据集需要进行以下的预处理操作：
1.1将RESIDE图像数据集和煤矿低能见度图像数据集分别分成训练集、验证集和测试集，具体操作如下；
将RESIDE数据集分成三个数据集，分别是：训练集(占总数据集的90％左右)，测试集 (占总数据集的36％左右)和验证集(占总数据集的14％左右)。图像数据集使用彩色图像。
将井下煤矿图像制作煤矿低能见度图像仿真数据集分成三个数据集，分别是：训练集(占总数据集的72％左右)，测试集(占总数据集的28％左右)图像数据集使用彩色图像。
1.2构建低能见度图像去雾模型，低能见度图像去雾模型包括：特征编码部分、特征融合部分和特征解码部分；
步骤2：建立特征编码部分，提取得到训练样本集图像的特征信息；
卷积神经网络具有较强的图像特征提取能力，因而被广泛的应用在深度学***滑空洞卷积残差模块+注意力机制模块。特征编码模块的具体构建步骤如下：
2.1特征编码部分的卷积模块设计
特征编码部分的三个卷积模块中，一个卷积模块均包括一个卷积层。四个卷积模块均包括的操作有卷积层运算，批归一化层，下面将在步骤2.1.1～2.1.4对上述的三种操作进行介绍：
2.1.1卷积层：
第一卷积模块中的卷积层输入是训练样本集图像Ci(i＝1，…，c)和训练查询集图像 Cn(n∈i)，其中i为样本图像的编号；Cn为i对应样本图像的Ground Truth。训练集数据为彩色图像，则输入特征图通道为3；卷积核(kernel_size)大小设置为3×3，输出的特征图通道数为64，填充(padding)设置为1，步长为1。第二卷积模块的卷积层输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为1。第三卷积模块的卷积层输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为2。
2.1.2利用批归一化(batch normalization)对权重参数进行处理。输出的特征图通道数在三个卷积模块中均为64。
2.1.3对权重参数进行ReLU函数的激活，具体的ReLU函数为
f(y)＝max(0，y) (式1)
在式1中，参数y为特征图x中的数值。
2.1.4对于三个卷积模块，均不需要增加最大池化层。
2.2特征编码部分的注意力机制模块设计
在步骤2.1建立的卷积模块所进行的卷积操作处理得到的是局部临近的特征信息，提取出整张图像中的所有信息，无法针对性的提取图像中较为关键的特征信息。为了使得网络可以有针对性的提取图像中较为关键的特征信息，同时弱化无关背景的干扰。本发明引入注意力机制模块，具体的注意力机制模块的结构图如图2所示。
2.2.1注意力机制模块的输入特征图为x∈RC×W×H，其中x1表示的是第三卷积模块输出的特征图，C为特征图的通道数，W×H是特征图的大小；x′为中间特征图。图2是构建的注意力机制网络，conv1表示的是卷积层，该卷积层的卷积核大小为3×3，通道数量与输入的特征图通道数C相同，轻量化注意力结构的操作如式(2)，式(2)中，ReLU和Sigmoid都为激活函数，DW1×1是核大小为1×1的深度卷积，PW1代表只有一个卷积核的点卷积；
x′＝Sigmoid(PW1(ReLU(DW1×1(x)))) (式2)
2.2.2最终的输出图是通过将x与x′应用式(3)，其中
Figure BDA0003186315120000041
是逐像素相乘操作，
Figure BDA0003186315120000042
是逐像素相加操作；
Figure BDA0003186315120000043
经过式(3)得到这一步骤的注意力机制特征图；
2.3特征编码部分平滑空洞卷积残差模块+注意力机制模块设计
平滑空洞卷积残差模块的形式对图像的特征信息进行提取，其中平滑空洞卷积可以消除原始空洞卷积的网络伪影效应，残差模块采用的是ResNet网络中的结构，可以生成更复杂的特征同时更易于优化训练。此部分注意力机制模块的操作如2.2。
2.3.1以平滑空洞卷积残差模块1为例，输入的特征图为
Figure BDA0003186315120000044
部分采用的是空洞卷积，目的是为了扩大卷积核的感受野，卷积核大小为3×3，卷积核膨胀值(dilation)设置为 2，后三个平滑空洞卷积残差模块的卷积核膨胀值分别设置为2，2，4，
2.3.2F∈Rm×h×w为残差模块输出的特征图，其中m为输入特征图的通道数，h和w为输入特征图的空间维度，F′n为中间特征图，轻量化处理过程如2.2.2，得操作如式(3)，(4)所示，为保证输入与输出特征图的大小不变，设置填充为2，输出的特征图通道数量与输入的特征图通道数C相同，之后进行批归一化运算，输出得到特征图Fi∈RC×W×H，i＝1，2，3，4，则该过程可以表示为：
Figure BDA0003186315120000051
步骤3：特征融合部分，执行的操作如下：
采用并行结构的目的是为了提取更多不同的多尺度特征。本发明设计了四条并行的网络支路提取深度特征并进行融合，其中每条支路独立的提取特征，四条特征提取支路之间通过多尺度融合模块进行密集的特征融合操作，具体的多尺度融合模块结构图如图3所示。
3.1此部分有三个多尺度融合模块，其中以第1个模块为例，其模块内部的网络结构如图 3显示，两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4，进行特征融合操作，每个支路的特征信息都融合了另一条支路的特征信息，在信息融合的时候，会遇到特征图大小不匹配的情况，此时图3中的C1、C2、C3和C4起到了作用，C1和C4不代表任何操作，C2将第2条支路的输出上采样到与第1条支路输出相同的大小，C3将第1条支路的输出下采样到与第2条支路输出相同的大小，后面的多尺度融合模块都是以此类推的网络结构与操作。在最终进行解码阶段之前，要将每个支路提取的特征分别进行相应尺寸的上采样操作，使得特征图分辨率与第一个支路的特征图分辨率大小一致。特征图分辨率相同之后将这些特征图的信息进行融合，从而输入到后面的解码阶段得到最终的输出。
3.2在多尺度融合模块的跨支路特征图相加方面，下采样模块采用步幅为2的3×3卷积，上采样选择最近邻方法，通过1×1卷积使通道数相同。
步骤4：特征解码部分：具体的操作如下：
网络的特征解码部分，获得清晰化处理后的图像。包括三个上采样模块和两个反卷积模块。
4.1三个上采样模块均选择最近邻方法，在原有特征图像像素的基础上在像素点之间采用合适的插值算法***新的元素；
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸，接着旋转卷积核，再进行正向卷积；两个反卷积模块的输入通道为64，卷积核大小4×4，步长为2，输入的每一条边补充0的层数为1，高宽都增加2，再经过归一化处理；经过最后的反卷积处理得到清晰化处理的图像；
步骤5：建立网络的损失函数
5.1在评价图像质量方面，选择峰值信噪比和结构相似度指数两个值作为评估算法的客观指标：
5.1.1用SSIM描述两幅图像的接近度，SSIM的数值越大意味着图像失真越小，两幅图像相同的时候，SSIM的值是1，计算如公式(5)所示。
Figure BDA0003186315120000061
式(5)中，x和y分别表示两幅图像；μx表示x的平均；μy为表示y的平均；
Figure BDA0003186315120000062
表示x的方差；
Figure BDA0003186315120000063
表示y的方差；δxy表示x与y的协方差；c1和c2表示细微的扰动。
5.1.2PSNR的值越大表示图像失真越小，n为每个像素的比特数。表示为公式(6)
Figure BDA0003186315120000064
5.2利用类似于均方误差MSE的损失函数L对模型进行训练，表示为公式(7)、(8)、(9)：
r＝J-I (7)
Figure BDA0003186315120000065
Figure BDA0003186315120000066
其中r和
Figure BDA0003186315120000067
分别是基本事实和预测的残差。在运行时，将
Figure BDA0003186315120000068
添加到输入模糊图像上以获得最终预测的无雾图像，学习目标是无雾图像和输入模糊图像之间的残差。
网络在训练的过程中，采用Adam学习策略，根据loss值的大小，反向更新步骤2)～4) 中各部分的网络权值参数，设置学习率为λ，网络需要训练迭代的次数为n，当网络迭代n次后结束训练；最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0；最终得到低能见度尘雾图像的清晰化结果。
与现有技术相比，本发明的有益效果是：
利用本发明提供的方案，通过特征编码部分提取低能见度尘雾图像的特征信息，注意力模块的加入实现跨信道信息的高效学习，在提取特征信息时更多的关注目标区域，然后在特征融合部分采用了并行高分辨率网络结构，在各分支之间对多尺度特征进行深度融合，帮助网络获取上下文背景信息。注意力模块和并行高分辨率结构为低能见度图像清晰化任务共同提供了需要的图像局部信息和全局信息，最终得到了更好的低能见度尘雾图像清晰化效果。该发明在低能见度尘雾图像的清晰化处理上效果更好，且具有良好的通用性。
与现有技术相比，本发明具有以下技术优势：
(1)在编码层的设计中，加入了注意力模块。用于对尘雾图像全局信息的提取，提高网络信息处理的敏感性，通过对神经元之间的跨信道和全局性进行建模，来自适应地重新校准神经元特征响应，有助于特征编码阶段在提取特征信息时将更多的注意力集中在有价值的神经元或特征上面。
(2)引入并行高分辨率结构，也就是多尺度融合模块。对特征信息进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行子网中反复融合多尺度信息，从而得到丰富的高分辨率表征。充分提取了低能见度图像的上下文信息并参与到图像全局信息和局部信息的获取，提取更多不同的多尺度特征，实现了更有效的清晰化处理。
附图说明
图1为本发明流程示意图；
图2为注意力机制模块的结构示意图；
图3为多尺度融合模块的结构示意图，以多尺度融合模块1为例；
图4为本发明网络结构框图；
图5为本发明在验证集上的去雾效果对比图；
其中，(a)为低能见度图像；(b)为去雾后的GCANet网络得到的清晰化处理结果；(c)为低能见度的标签图像；(d)为本发明低能见度图像去雾算法的结果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提出了一种低能见度图像去雾模型方法。网络通过在卷积神经网络引入注意力机制和平滑空洞卷积模块对低能见度图像的特征信息进行提取，保留更多细节信息，经过多尺度融合模块进一步的保障图像上下文信息参与到图像全局和局部信息的提取，最后通过特征解码部分获得清晰化处理后的图像，得到更好的清晰化处理效果。图3是本发明的实现整体流程图。
以下实施针对低能见度公开数据集RESIDE图像数据集和井下煤矿图像制作的煤矿低能见度图像仿真数据集，进行本发明所提的低能见度图像去雾方法的清晰化处理；具体包括如下步骤：
步骤1：数据的预处理
1.1RESIDE训练集包含13990个合成低能见度图像，其中13000个用于训练，990个用于验证，RESIDE针对每个清晰图像生成10个低能见度图像，大气光的设置范围为[0.7，1.0]，的设置范围为[0.6，1.8]。因此，RESIDE训练集包含成对的低能见度和清晰的图像，其中一张清晰图像可以对应多个低能见度图像，低能见度图像是基于不同的参数和生成的。本发明测试集采用SOTS中的Indoor数据集，为500个室内图像(与训练图像不重叠)，采用与训练数据相同的方式生成低能见度图像。
1.2井下煤矿图像制作煤矿低能见度图像仿真数据集有1800幅图像，其中训练集为1300 幅，测试集为500幅。
构建低能见度图像去雾模型，包括步骤2)～5)：
步骤2：建立特征编码部分，提出训练图像和查询图像的特征信息
2.1特征编码部分的卷积模块
2.1.1卷积模块1的输入为彩色图像，则输入特征图通道为3，卷积核(kernel_size)大小设置为3X3，输出的特征图通道数为64，填充(padding)设置为0。卷积模块2的输入为64 通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为1。卷积模块3的输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为1。卷积模块4的输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为2。
2.1.2利用批归一化(batch normalization)对权重参数进行处理。输出的特征图通道数在三个卷积模块中均为64。
2.1.3对权重参数进行ReLU函数的激活，具体的ReLU函数为
f(y)＝max(0,y) (式10)
在式10中，参数y为特征图x中的数值。
2.1.4对于三两个卷积模块，均需要增加最大池化层。
2.2特征编码部分的注意力机制模块和平滑空洞残差模块
如图4所示，本发明在卷积块3之后引入注意力机制模块，具体的注意力机制模块的结构图如图2所示。
2.2.1注意力机制模块的输入特征图为x∈RC×W×H，其中x1表示的是第三卷积模块输出的特征图，C为特征图的通道数，W×H是特征图的大小；x′为中间特征图。轻量化注意力结构的操作如式(11),式(11)中，ReLU和Sigmoid都为激活函数，DW1×1是核大小为1×1的深度卷积，PW1代表只有一个卷积核的点卷积；
x′＝Sigmoid(PW1(ReLU(DW1×1(x)))) (式11)
2.2.2最终的输出图是通过将x与x′应用式(12)，其中
Figure RE-GDA0003396331610000081
是逐像素相乘操作，
Figure RE-GDA0003396331610000082
是逐像素相加操作；
Figure RE-GDA0003396331610000091
经过式(12)得到这一步骤的注意力特征图；
2.2.3如图1所示后4个编码层均采用的是残差模块，残差模块中采用平滑空洞卷积提取上下文信息，空洞率分别设置为2，2，2，4，通道数均为64，且特征图的分辨率大小不变；
步骤3：特征融合部分，执行的操作如下：
3.1此部分有三个多尺度融合模块，其中以第1个模块为例，其模块内部的网络结构如图 3显示，两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4，进行特征融合操作，每个支路的特征信息都融合了另一条支路的特征信息，在信息融合的时候，会遇到特征图大小不匹配的情况，此时图3中的C1、C2、C3和C4起到了作用，C1和C4不代表任何操作，C2将第2条支路的输出上采样到与第1条支路输出相同的大小，C3将第1条支路的输出下采样到与第2条支路输出相同的大小，后面的多尺度融合模块都是以此类推的网络结构与操作。在最终进行解码阶段之前，要将每个支路提取的特征分别进行相应尺寸的上采样操作，使得特征图分辨率与第一个支路的特征图分辨率大小一致。特征图分辨率相同之后将这些特征图的信息进行融合，从而输入到后面的解码阶段得到最终的输出。
3.2在多尺度融合模块的跨支路特征图相加方面，下采样模块采用步幅为2的3×3卷积，上采样选择最近邻方法，通过1×1卷积使通道数相同。
步骤4：特征解码部分：具体的操作如下：
网络的特征解码部分，获得清晰化处理后的图像。包括三个上采样模块和两个反卷积模块。
4.1三个上采样模块均选择最近邻方法，在原有特征图像像素的基础上在像素点之间采用合适的插值算法***新的元素；
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸，接着旋转卷积核，再进行正向卷积；两个反卷积模块的输入通道为64，卷积核大小4×4，步长为2，输入的每一条边补充0的层数为1，高宽都增加2，再经过归一化处理；经过最后的反卷积处理得到清晰化处理的图像；
步骤5：设计实验评估方法和建立网络的损失函数，包括：
5.1在评价图像质量方面，选择峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度指数(Structural Similarity Index，SSIM)两个值作为评估算法的客观指标。具体细节如下：
5.1.1用SSIM描述两幅图像的接近度，SSIM的数值越大意味着图像失真越小，两幅图像相同的时候，SSIM的值是1，计算如公式(13)所示。
Figure RE-GDA0003396331610000101
式(13)中，x和y分别表示两幅图像；μx表示x的平均；μy为表示y的平均；
Figure RE-GDA0003396331610000108
表示x的方差；
Figure RE-GDA0003396331610000107
表示y的方差；δxy表示x与y的协方差；c1和c2表示细微的扰动。
5.1.2PSNR的值越大表示图像失真越小，n为每个像素的比特数。表示为公式(14)
Figure RE-GDA0003396331610000102
5.2利用类似于均方误差MSE的损失函数L对模型进行训练，表示为公式(15)、(16)、 (17)：
r＝J-I (式15)
Figure RE-GDA0003396331610000103
Figure RE-GDA0003396331610000104
其中r和
Figure BDA0003186315120000107
分别是基本事实和预测的残差。在运行时，将
Figure BDA0003186315120000108
添加到输入模糊图像上以获得最终预测的无雾图像，学习目标是无雾图像和输入模糊图像之间的残差。
网络在训练的过程中，采用Adam学习策略，根据loss值的大小，反向更新步骤2)～4) 中各部分的网络权值参数，设置学习率为λ，网络需要训练迭代的次数为n，当网络迭代n次后结束训练；最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0；使用Adam 算法优化网络，损失函数使用均方误差(Mean Square Error，MSE)损失函数。对整个网络进行100个时期的训练，初始学习率默认设置为0.01，每40个周期衰减0.1，所有实验均在 4个GPU上使用默认的批处理大小训练为12；最终得到低能见度尘雾图像的清晰化结果。
通过上述步骤，即通过建立基于注意力机制和多尺度融合的低能见度图像去尘雾网络模型实现低能见度尘雾图像的清晰化处理。
本发明在RESIDE图像数据集上进行实验，实验的结果与基于深度学习的GCANet网络 (Chen D，He M，Fan Q，et a1.Gated context aggregation network for imagedehazing and deraining[C].2019.)进行对比，实验结果如下表1所示。
表l RESIDE数据集客观指标评价结果
Figure BDA0003186315120000109
同理，本发明在井下煤矿图像制作煤矿低能见度图像仿真数据集上进行实验，实验结果如下表2所示。
表2煤矿图像数据集客观指标评价结果
Figure BDA0003186315120000111
从实验结果可以看出，本发明所提方法的实验结果与现有的基于深度学习的GCANet网络的成果相比，在一定程度上提升了在各低能见度尘雾图像数据集上的清晰化处理效果，在去除图像的尘雾影响的同时有效保持原图像的细节结构信息，处理结果与真实无尘雾影响图像接近。
低能见度图像去雾的难点问题就是如何去除分低能见度图像中布不均匀的尘雾并尽可能多的保留图像的细节信息。本发明提出的低能见度图像去雾算法的PSNR和SSIM上都取得了更高的分数，煤矿低能见度图像数据集上的评价结果表明本发明算法具有通用性，不仅在公共数据集上清晰化效果好，在煤矿井下的低能见度清晰化也有一定优势。
为了提升网络对低能见度的去雾效果，本发明对GCANet网络进行了改进，在编码层的设计中，加入了提出的轻量化注意力模块，用于对尘雾图像全局信息的提取；设计一个并行高分辨率结构提取不同尺度的特征，获得上下文信息。并行高分辨率结构和注意力模块共同补充了尘雾图像的全局和局部信息。图5中的是本发明的实验对比图，本发明的主观效果也比GCANet算法要好，解决了现有算法清晰化不平均的问题，更好地提升图像对比度，让图像更清晰。

Claims (4)

1.一种低能见度图像去雾模型方法，其特征在于，低能见度图像去尘雾网络模型包括：特征编码、特征融合、特征解码三部分；具体包括如下步骤：
步骤1：将RESIDE图像数据集分成训练集、测试集和验证集；
步骤2：建立特征编码部分：
2.1特征编码部分的卷积模块：
2.1.1卷积层：
第一卷积模块中的卷积层输入是训练样本集图像Ci(i＝1，…，c)和训练查询集图像Cn(n∈i)，其中i为样本图像的编号；Cn为i对应样本图像的Ground Truth，训练集数据为彩色图像，则输入特征图通道为3；卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为1，第二卷积模块的卷积层输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为1。第三卷积模块的卷积层输入为64通道特征图，卷积核大小设置为3×3，输出的特征图通道数为64，填充设置为1，步长为2；
2.1.2利用批归一化对权重参数进行处理，输出的特征图通道数在三个卷积模块中均为64；
2.1.3对权重参数进行ReLU函数的激活，具体的ReLU函数为
f(y)＝max(0，y) (1)
在式(1)中，参数y为特征图x中的数值；
2.1.4对于三个卷积模块，均不需要增加最大池化层；
2.2注意力机制模块：
2.2.1注意力机制模块的输入特征图为x∈RC×W×H，其中x1表示的是第三卷积模块输出的特征图，C为特征图的通道数，W×H是特征图的大小；x′为中间特征图，卷积层的卷积核大小为3×3，通道数量与输入的特征图通道数C相同，轻量化注意力结构的操作如式(2)，式(2)中，ReLU和Sigmoid都为激活函数，DW1×1是核大小为1×1的深度卷积，PW1代表只有一个卷积核的点卷积；
x′＝Sigmoid(PW1(ReLU(DW1×1(x)))) (2)
2.2.2最终的输出图是通过将x与x′应用式(3)，其中
Figure FDA0003186315110000011
是逐像素相乘操作，
Figure FDA0003186315110000012
是逐像素相加操作；
Figure FDA0003186315110000013
经过式(3)得到这一步骤的注意力机制特征图；
2.3平滑空洞卷积残差模块+注意力机制模块：
2.3.1平滑空洞卷积残差模块输入的特征图为
Figure FDA0003186315110000021
部分采用的是空洞卷积，目的是为了扩大卷积核的感受野，卷积核大小为3×3，卷积核膨胀值设置为2，后三个平滑空洞卷积残差模块的卷积核膨胀值分别设置为2，2，4，
2.3.2 F∈Rm×h×w为残差模块输出的特征图，其中m为输入特征图的通道数，h和w为输入特征图的空间维度，F′n为中间特征图，轻量化处理过程如2.2.2，得操作如式(3)、(4)所示，为保证输入与输出特征图的大小不变，设置填充为2，输出的特征图通道数量与输入的特征图通道数C相同，之后进行批归一化运算，输出得到特征图Fi∈RC×W×H，i＝1，2，3，4，则该过程表示为：
Figure FDA0003186315110000022
步骤3：建立特征融合部分：
3.1设有三个多尺度融合模块，两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征F4，进行特征融合操作，每个支路的特征信息都融合了另一条支路的特征信息，在最终进行解码阶段之前，将每个支路提取的特征分别进行相应尺寸的上采样操作，使得特征图分辨率与第一个支路的特征图分辨率大小一致，特征图分辨率相同之后将这些特征图的信息进行融合；
3.2下采样模块采用步幅为2的3×3卷积，上采样选择最近邻方法，通过1×1卷积使通道数相同；
步骤4：建立特征解码部分：
4.1三个上采样模块均选择最近邻方法，在原有特征图像像素的基础上在像素点之间采用合适的插值算法***新的元素；
4.2反卷积模块先按照一定的比例通过补零来扩大输入特准信息图像的尺寸，接着旋转卷积核，再进行正向卷积；两个反卷积模块的输入通道为64，卷积核大小4×4，步长为2，输入的每一条边补充0的层数为1，高宽都增加2，再经过归一化处理；经过最后的反卷积处理得到清晰化处理的图像。
2.如权利要求1所述的低能见度图像去雾模型方法，其特征在于，进一步建立网络的损失函数：
5.1在评价图像质量方面，选择峰值信噪比和结构相似度指数两个值作为评估算法的客观指标：
5.1.1用SSIM描述两幅图像的接近度，SSIM的数值越大意味着图像失真越小，两幅图像相同的时候，SSIM的值是1，计算如公式(5)所示；
Figure FDA0003186315110000031
式(5)中，x和y分别表示两幅图像；μx表示x的平均；μy为表示y的平均；
Figure FDA0003186315110000032
表示x的方差；
Figure FDA0003186315110000033
表示y的方差；δxy表示x与y的协方差；c1和c2表示细微的扰动；
5.1.2PSNR的值越大表示图像失真越小，n为每个像素的比特数。表示为公式(6)
Figure FDA0003186315110000034
5.2利用类似于均方误差MSE的损失函数L对模型进行训练，表示为公式(7)、(8)、(9)：
r＝J-I (7)
Figure FDA0003186315110000035
Figure FDA0003186315110000036
其中r和
Figure FDA0003186315110000037
分别是基本事实和预测的残差，在运行时，将
Figure FDA0003186315110000038
添加到输入模糊图像上以获得最终预测的无雾图像，学习目标是无雾图像和输入模糊图像之间的残差。
3.如权利要求1所述低能见度图像去雾模型方法，其特征在于，将图像数据集分成训练集、测试集和验证集，具体为分成的训练集占总数据集的80％左右，测试集占总数据集的13％左右和验证集占总数据集的7％左右；图像数据集使用彩色图像。
4.如权利要求1所述低能见度图像去雾模型方法，其特征在于，网络在训练的过程中，采用Adam学习策略，根据loss值的大小，反向更新步骤2～4中各部分的网络权值参数，网络需要训练迭代的次数为n，当网络迭代n次后结束训练；最终使得网络对清晰化后图像和低能见度图像间的残差值趋近于0。
CN202110867788.6A 2021-07-29 2021-07-29 一种低能见度图像去雾模型方法 Active CN113962878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110867788.6A CN113962878B (zh) 2021-07-29 2021-07-29 一种低能见度图像去雾模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110867788.6A CN113962878B (zh) 2021-07-29 2021-07-29 一种低能见度图像去雾模型方法

Publications (2)

Publication Number Publication Date
CN113962878A true CN113962878A (zh) 2022-01-21
CN113962878B CN113962878B (zh) 2024-05-28

Family

ID=79460455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110867788.6A Active CN113962878B (zh) 2021-07-29 2021-07-29 一种低能见度图像去雾模型方法

Country Status (1)

Country Link
CN (1) CN113962878B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151990A (zh) * 2023-06-28 2023-12-01 西南石油大学 一种基于自注意力编码解码的图像去雾方法
CN117726550A (zh) * 2024-02-18 2024-03-19 成都信息工程大学 一种多尺度门控注意力遥感图像去雾方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法
CN111681180A (zh) * 2020-05-25 2020-09-18 厦门大学 先验驱动的深度学习图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111681180A (zh) * 2020-05-25 2020-09-18 厦门大学 先验驱动的深度学习图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩慧慧;李帷韬;***;焦点;孙百顺;: "编码―解码结构的语义分割", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151990A (zh) * 2023-06-28 2023-12-01 西南石油大学 一种基于自注意力编码解码的图像去雾方法
CN117151990B (zh) * 2023-06-28 2024-03-22 西南石油大学 一种基于自注意力编码解码的图像去雾方法
CN117726550A (zh) * 2024-02-18 2024-03-19 成都信息工程大学 一种多尺度门控注意力遥感图像去雾方法和***
CN117726550B (zh) * 2024-02-18 2024-04-30 成都信息工程大学 一种多尺度门控注意力遥感图像去雾方法和***

Also Published As

Publication number Publication date
CN113962878B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN111161277B (zh) 一种基于深度学习的自然图像抠图方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN113962878A (zh) 一种低能见度图像去雾模型方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及***
CN114842216A (zh) 一种基于小波变换的室内rgb-d图像语义分割方法
CN113052776A (zh) 基于多尺度深度图像先验的无监督图像去雾方法
Lu et al. Underwater image enhancement method based on denoising diffusion probabilistic model
CN111476739B (zh) 水下图像增强方法、***及存储介质
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN110738624B (zh) 一种区域自适应的图像去雾***及方法
CN114913092B (zh) 一种在线铁谱反射光图像增强方法及***
CN116205821A (zh) 基于垂直条纹特征提取十字卷积的单图去雨方法
CN116258645A (zh) 一种基于图像分解的低照度彩色图像增强方法
Kumar et al. Underwater image enhancement using deep learning
CN116934583A (zh) 基于深浅特征融合网络的遥感图像超分辨率算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant