CN111915531B - 一种多层次特征融合和注意力引导的神经网络图像去雾方法 - Google Patents

一种多层次特征融合和注意力引导的神经网络图像去雾方法 Download PDF

Info

Publication number
CN111915531B
CN111915531B CN202010781155.9A CN202010781155A CN111915531B CN 111915531 B CN111915531 B CN 111915531B CN 202010781155 A CN202010781155 A CN 202010781155A CN 111915531 B CN111915531 B CN 111915531B
Authority
CN
China
Prior art keywords
image
convolution
feature
attention
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010781155.9A
Other languages
English (en)
Other versions
CN111915531A (zh
Inventor
张笑钦
王涛
徐曰旺
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202010781155.9A priority Critical patent/CN111915531B/zh
Publication of CN111915531A publication Critical patent/CN111915531A/zh
Application granted granted Critical
Publication of CN111915531B publication Critical patent/CN111915531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多层次特征融合和注意力引导的神经网络图像去雾方法，包括以下步骤：构建图像去雾模型；获取有雾图像数据，通过特征提取模块四个不同阶段提取表征不同的特征图；利用该去雾模型中的多层次特征融合模块通过逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；将多层次特征融合模块生成后的特征通过残差混合注意力模块重构为清晰的无雾图像；计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型，均方误差损失损失函数和感知损失函数两种损失函数协作共同优化去雾模型。上述技术方案，对实际拍摄的雾图进行去雾增强处理，恢复高质量图像，实用性好。

Description

一种多层次特征融合和注意力引导的神经网络图像去雾方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种多层次特征融合和注意力引导的神经网络图像去雾方法。
背景技术
恶劣天气下(大雾、大雨)能见度低，是大多数计算机视觉技术运用到实际场面所要面临的主要问题。大多数自动监控、自动驾驶、户外目标识别等***都假设输入的视频、图像具有清晰的可视性。然而，在大多数情况下并不总是满足这样的理想情况，因此，对低质量的图像、视频进行增强，是一个不可避免的任务。其中，图像去雾是一个具有代表性的图像质量增强问题。清晰图像雾化的过程可以由McCartney等人提出的大气光散射模型进行表述：
I＝tJ+A(1-t)，
t(x)＝eβd(x)，
其中，I是有雾图像，t是介质透射率，J为清晰图像，A为大气光照，d表示物体成像的深度，β表示大气的散射系数。上述模型中，I为已知量，图像去雾任务的目标是估计A和t，然后生成清晰的图像。图像去雾的问题是一个病态的问题。在过去的20多年里，研究人员研发了许多的图像去雾算法处理在有雾的复杂场景下拍摄的图像。早期的算法主要聚焦与多张图像和大气光线索对图像的深度信息进行估计，从而实现图像去雾。例如，Narasimhan等人提出了一种基于物理的方法，从任意天气条件下捕获同一场景的两张图像中去定位深度不连续性和计算场景结构。此外，还有一系列算法借助一些先验信息来增强图像去雾的视觉效果，典型算法为何凯明等人于2009年提出的暗通道先验(DCP,Dark Channel Prior)的去雾方法，该先验是基于观察与统计发现在雾图中绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道有很低的像素值。例如，朱青松等人提出了颜色衰减先验(CAP,Color Attenuation Prior)。利用先验估计t，通过大气散射模型恢复清晰图像。这些先验，在一定程度上提高了模型去雾性能。但是，不同的先验依赖于图像某一个特性的估计，往往并不适用于真实场景。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种对实际拍摄的雾图进行去雾增强处理，恢复高质量图像的多层次特征融合和注意力引导的神经网络图像去雾方法。
为实现上述目的，本发明提供了如下技术方案：一种多层次特征融合和注意力引导的神经网络图像去雾方法，包括以下步骤：
S1、构建图像去雾模型；其中，该图像去雾模型包括特征提取模块、多层次特征融合模块和残差混合卷积注意力模块；
S2、获取有雾图像数据，首先通过一个卷积层，将雾图转换为16个特征图；然后，通过特征提取模块的四个阶段处理这些特征图，以获取不同层次的特征；
S3、多层次特征融合模块利用逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；
S4、将多层次特征融合模块生成的特征通过残差混合卷积注意力模块得到与输入要素具有相同尺寸的权重图，从基于注意力机制设计的注意力层中得出的权重图指导网络丢弃冗余信息，侧重对恢复清晰图有效的特征信息，同时残差混合卷积注意力模块中采用的深度可分离卷积运算可提高残差混合卷积注意力模块的训练与运行效率，经过残差混合卷积注意力模块后特征最终重构为清晰的无雾图像；
S5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像，均方误差和感知损失两种损失函数协作共同优化去雾模型。
作为优选的，步骤S5，具体包括：
对恢复的图像和对应的清晰图像计算均方误差和感知损失，第一种损失函数为均方误差损失损失函数，公式为:
其中，W和H表示图像的宽度和高度，Ire和Igt是恢复的图像以及相对应清晰的图像，i和j为索引图像中的像素位置，c是图像RGB通道，范围从1-3；
第二种为感知损失函数，使用在ImageNet数据集上预训练的VGG16网络(VGG-16具有13个卷积层，分为5个阶段)网络每个阶段的最后卷积层提取特征并计算差异，公式为：
其中，{Φk(.)，k＝1,2,3}表示VGG16对应的卷积层(即Conv1-2，Conv2-2和Conv3-3)相对应的特征提取器，Ck，Wk和Hk对应于Φk(.)；
总的去雾模型损失函数为：
L＝Lmse+α*Lper,
其中，其中α是平衡这两个损失函数的参数。
作为优选的，步骤S2，具体包括：
特征提取从3×3卷积层开始，该层将给定的输入有雾图像转换为16个特征图；
然后，通过以下四个阶段处理这些特征图，以获取不同层次的特征；每个阶段包括四层，第一层是步长为2的3×3卷积，它用于将特征图的分辨率降低到1/2，并将宽度增加一倍；第二层和第三层分别包括3×3卷积，ReLU激活函数和3×3卷积；第四层是1×1卷积，这将第三层产生的特征的宽度减小为64，作为每个阶段的输出。
作为优选的，步骤S3，所述多层次特征融合模块，从上到下共有三个特征融合模块。特征融合模块一融合了高层特征(第四个卷积-激活函数-卷积组合输出特征图)和低层特征(第三个卷积-激活函数-卷积组合输出特征图)，融合生成的特征视为高级特征，然后由第二个特征融合模块将其与第三个卷积-激活函数-卷积组合输出特征图中的中层特征融合。最后，将第二个特征融合模块得到的特征视为高级特征，并通过第三个特征融合模块将其与第一个卷积-激活函数-卷积组合输出特征图中的低层特征融合。
对于每个特征融合模块，给定高层和低层特征，使用逐元素乘法实现特征之间的融合。融合的特征将被应用到卷积层，BatchNormalization(批量归一化)和ReLU激活函数，然后由下一个融合模块进行处理。
作为优选的，步骤S4，具体包括：残差混合卷积注意模块有三个连续的分组卷积层，后面是一个注意层。给定的特征由它们处理并添加到残差中以获得输出特征。分组卷积就是将输入特征按通道数进行分组(分组数为超参数)，并将卷积运算分别应用于各个组。由于组的划分，残差混合卷积注意力模型的FLOP(每秒所执行的浮点运算次数)大大减少了，提高了网络的训练与去雾效率。分组卷积层的组号分别为4、8和16，也就是将输入的特征图按通道数分别分为4组，8组和16组来处理。此配置由实验研究确定。
经过三个分组卷积处理之后，增加一个注意层，注意层使得输出特征侧重体现输入雾图中清晰图像重要的特征信息，从而使网络关注重要的清晰无雾图像信息采用；通过两个步骤来实现注意力机制，第一步是使用深度卷积，然后是ReLU激活函数，再是点卷积，接着是Sigmoid激活函数，以获取特征权重；第二步使用获得的权重将原始输入特征相乘，得到一个与输入要素具有相同尺寸的权重图，权重图通过逐元素相乘应用于输入特征，以输出最终特征；从注意力层中得出的权重图指导网络丢弃冗余信息(雾霾特征信息)，侧重关注清晰无雾图像的特征信息，同时采用深度可分离卷积运算(由深度卷积和点卷积两个部分结合)提高残差混合卷积注意力模块的训练与运行效率。
本发明的优点是：与现有技术相比，本发明具有如下有益效果：
1、与现有技术相比，本发明提出了一种多层次特征融合模块，该模块能够适应性地采用不同层次的特征，并利用它们之间的互补性效恢复清晰图像；
2、与现有技术相比，本发明开发了一个带有注意层的残差混合卷积注意模块。混合卷积运算提高网络运行的效率，而注意力块则使模型专注于更重要的信息；
3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例的去雾流程图；
图2为本发明实施例的应用场景图；
图3为图2模型中核心组件残差混合卷积模块的应用场景图；
图4为图3模型中核心组件注意力层的应用场景图；
图5为图2的图像去雾模型中复原的图像与其他方法对比的效果图。
具体实施方式
参见图1至图5，本发明公开的一种多层次特征融合和注意力引导的神经网络图像去雾方法，包括以下步骤：
S1、构建图像去雾模型；其中，该图像去雾模型包括特征提取模块、多层次特征融合模块和残差混合卷积注意力模块；
具体过程为，如图2所示，构建图像去雾模型。图像去雾模型包括特征提取模块(如图2所示)、多层次特征融合模块(如图2所示)和残差混合卷积注意力模块(如图2所示)；
S2、获取有雾图像数据，首先通过一个卷积层，将雾图转换为16个特征图；然后，通过特征提取模块的四个阶段处理这些特征图，以获取不同层次的特征；
S3、多层次特征融合模块利用逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；
S4、将多层次特征融合模块生成的特征通过残差混合卷积注意力模块得到与输入要素具有相同尺寸的权重图，从基于注意力机制设计的注意力层中得出的权重图指导网络丢弃冗余信息，侧重对恢复清晰图有效的特征信息，同时残差混合卷积注意力模块中采用的深度可分离卷积运算可提高残差混合卷积注意力模块的训练与运行效率，经过残差混合卷积注意力模块后特征最终重构为清晰的无雾图像；
S5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像，均方误差和感知损失两种损失函数协作共同优化去雾模型。
作为优选的，步骤S5，具体包括：
对恢复的图像和对应的清晰图像计算均方误差和感知损失，第一种损失函数为均方误差损失损失函数，公式为:
其中，W和H表示图像的宽度和高度，Ire和Igt是恢复的图像以及相对应清晰的图像，i和j为索引图像中的像素位置，c是图像RGB通道，范围从1-3；
第二种为感知损失函数，使用在ImageNet数据集上预训练的VGG16(VGG-16具有13个卷积层，分为5个阶段)网络每个阶段的最后卷积层进行提取特征并计算差异，公式为：
其中，{Φk(.)，k＝1,2,3}表示VGG16对应的卷积层(即Conv1-2，Conv2-2和Conv3-3)相对应的特征提取器，Ck，Wk和Hk对应于Φk(.)；
总的去雾模型损失函数为：
L＝Lmse+α*Lper,
其中，其中α是平衡这两个损失函数的参数。
作为优选的，步骤S2，具体包括：具体过程为，获取有雾图片，该特征提取器与其他方法的特征提取器最大的不同是无需提前训练且是轻量级的特征提取器；
特征提取从3×3卷积层开始，该层将给定的输入有雾图像转换为16个特征图；
然后，通过以下四个阶段处理这些特征图，以获取不同层次的特征；每个阶段包括四层，第一层是步长为2的3×3卷积，它用于将特征图的分辨率降低到1/2，并将宽度增加一倍；第二层和第三层分别包括3×3卷积，ReLU激活函数和3×3卷积；第四层是1×1卷积，这将第三层产生的特征的宽度减小为64，作为每个阶段的输出。
作为优选的，步骤S3，所述多层次特征融合模块，从上到下共有三个特征融合模块，特征融合模块一融合了高层特征(第四个卷积-激活函数-卷积组合输出特征图)和低层特征(第三个卷积-激活函数-卷积组合输出特征图)，融合生成的特征视为高级特征，然后由第二个特征融合模块将其与第三个卷积-激活函数-卷积组合输出特征图中的中层特征融合。最后，将第二个特征融合模块得到的特征视为高级特征，并通过第三个特征融合模块将其与第一个卷积-激活函数-卷积组合输出特征图中的低层特征融合。
对于每个特征融合模块，给定高层和低层特征，使用逐元素乘法实现特征之间的融合。融合的特征将被应用到卷积层，BatchNormalization(批量归一化)和ReLU激活函数，然后由下一个融合模块进行处理。
作为优选的，步骤S4，具体包括：残差混合卷积注意模块有三个连续的分组卷积层，后面是一个注意层。给定的特征由它们处理并添加到残差中以获得输出特征。分组卷积就是将输入特征按通道数进行分组(分组数为超参数)，并将卷积运算分别应用于各个组。由于组的划分，残差混合卷积注意力模型的FLOP(每秒所执行的浮点运算次数)大大减少了，提高了网络的训练与去雾效率。分组卷积层的组号分别为4、8和16，也就是将输入的特征图按通道数分别分为4组，8组和16组来处理。此配置由实验研究确定。
经过三个分组卷积处理之后，增加一个注意层，注意层使得输出特征侧重体现输入雾图中清晰图像重要的特征信息，从而使网络关注重要的清晰无雾图像信息采用；通过两个步骤来实现注意力机制，第一步是使用深度卷积，然后是ReLU激活函数，再是点卷积，接着是Sigmoid激活函数，以获取特征权重；第二步使用获得的权重将原始输入特征相乘，得到一个与输入要素具有相同尺寸的权重图，权重图通过逐元素相乘应用于输入特征，以输出最终特征；从注意力层中得出的权重图指导网络丢弃冗余信息(雾霾特征信息)，侧重关注清晰无雾图像的特征信息，同时采用深度可分离卷积运算(由深度卷积和点卷积两个部分结合)提高残差混合卷积注意力模块的训练与运行效率。
实际应用时，首先一张有雾的图像输入到特征提取模块，利用该模块四个不同阶段的卷积层、激活函数和卷积层的组合提取图像有效的四个层面的不同特征；
其次，将提取的四种特征输入到多层次特征融合模块，该模块逐元素相乘不同层次特征，利用低层与高层特征的互补性帮助网络更好地恢复清晰图像；
然后，利用上述残差混合卷积注意力模块处理多层次特征融合模块生成的特征得到与输入要素具有相同尺寸的权重图。从注意力模块得出的权重图指导网络放弃冗余功能，而将注意力集中在更重要的功能上。采用的深度和点方向卷积运算可提高此模块的效率。经过该模块后最终重构为清晰的无雾图像；
最后，计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。两种损失函数协作共同优化去雾模型。
本发明具有如下有益效果：
1、与现有技术相比，本发明提出了一种多层次特征融合模块，该模块能够适应性地采用不同级别的特征，并利用它们之间的互补作用从模糊图像中有效恢复清晰图像；
2、与现有技术相比，本发明开发了一个带有注意层的残差混合卷积注意模块。混合卷积运算提高网络运行的效率，而注意力块则使模型专注于更重要的信息；
3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (3)

1.一种多层次特征融合和注意力引导的神经网络图像去雾方法，其特征在于：包括以下步骤：
S1、构建图像去雾模型；其中，该图像去雾模型包括特征提取模块、多层次特征融合模块和残差混合卷积注意力模块；
S2、获取有雾图像数据，首先通过一个卷积层，将雾图转换为16个特征图；然后，通过特征提取模块的四个阶段处理这些特征图，以获取不同层次的特征；
S3、多层次特征融合模块利用逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；
S4、将多层次特征融合模块生成的特征通过残差混合卷积注意力模块得到与输入要素具有相同尺寸的权重图，从基于注意力机制设计的注意力层中得出的权重图指导网络丢弃冗余信息，侧重对恢复清晰图有效的特征信息，同时残差混合卷积注意力模块中采用的深度可分离卷积运算可提高残差混合卷积注意力模块的训练与运行效率，经过残差混合卷积注意力模块后特征最终重构为清晰的无雾图像；
S5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像，均方误差和感知损失两种损失函数协作共同优化去雾模型；
步骤S3，所述多层次特征融合模块，从上到下共有三个特征融合模块，
特征融合模块一融合了高层特征和低层特征，融合生成的特征视为高级特征；然后由第二个特征融合模块将其与第三个卷积-激活函数-卷积组合输出特征图中的中层特征融合；最后，将第二个特征融合模块得到的特征视为高级特征，并通过第三个特征融合模块将其与第一个卷积-激活函数-卷积组合输出特征图中的低层特征融合；
对于每个特征融合模块，给定高层和低层特征，使用逐元素乘法实现特征之间的融合，融合的特征将被应用到卷积层批量归一化和ReLU激活函数，然后由下一个融合模块进行处理；
步骤S4，具体包括：
残差混合卷积注意模块有三个连续的分组卷积层，后面是一个注意层，给定的特征由它们处理并添加到残差中以获得输出特征，分组卷积就是将输入特征按通道数进行分组，并将卷积运算分别应用于各个组，由于组的划分，残差混合卷积注意力模型的FLOP大大减少了，提高了网络的训练与去雾效率；分组卷积层的组号分别为4、8和16，将输入的特征图按通道数分别分为4组，8组和16组来处理；
经过三个分组卷积处理之后，增加一个注意层，注意层使得输出特征侧重体现输入雾图中清晰图像重要的特征信息，从而使网络关注重要的清晰无雾图像信息采用；通过两个步骤来实现注意力机制，第一步是使用深度卷积，然后是ReLU激活函数，再是点卷积，接着是Sigmoid激活函数，以获取特征权重；第二步使用获得的权重将原始输入特征相乘，得到一个与输入要素具有相同尺寸的权重图，权重图通过逐元素相乘应用于输入特征，以输出最终特征；从注意力层中得出的权重图指导网络丢弃冗余信息，侧重关注清晰无雾图像的特征信息，同时采用深度可分离卷积运算提高残差混合卷积注意力模块的训练与运行效率。
2.根据权利要求1所述的一种多层次特征融合和注意力引导的神经网络图像去雾方法，其特征在于：步骤S5，具体包括：
对恢复的图像和对应的清晰图像计算均方误差和感知损失，第一种损失函数为均方误差损失损失函数，公式为:
其中，W和H表示图像的宽度和高度，Ire和Igt是恢复的图像以及相对应清晰的图像，i和j为索引图像中的像素位置，c是图像RGB通道，范围从1-3；
第二种为感知损失函数，使用在ImageNet数据集上预训练的VGG16网络每个阶段的最后卷积层进行提取特征并计算差异，公式为：
其中，{Φk(.)，k＝1,2,3}表示VGG16对应的卷积层相对应的特征提取器，Ck，Wk和Hk对应于Φk(.)；
总的去雾模型损失函数为：
L＝Lmse+α*Lper,
其中，其中α是平衡这两个损失函数的参数。
3.根据权利要求2所述的一种多层次特征融合和注意力引导的神经网络图像去雾方法，其特征在于：步骤S2，具体包括：
特征提取从3×3卷积层开始，该层将给定的输入有雾图像转换为16个特征图；
然后，通过以下四个阶段处理这些特征图，以获取不同层次的特征；每个阶段包括四层，第一层是步长为2的3×3卷积，它用于将特征图的分辨率降低到1/2，并将宽度增加一倍；第二层和第三层分别包括3×3卷积，ReLU激活函数和3×3卷积；第四层是1×1卷积，这将第三层产生的特征的宽度减小为64，作为每个阶段的输出。
CN202010781155.9A 2020-08-06 2020-08-06 一种多层次特征融合和注意力引导的神经网络图像去雾方法 Active CN111915531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010781155.9A CN111915531B (zh) 2020-08-06 2020-08-06 一种多层次特征融合和注意力引导的神经网络图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010781155.9A CN111915531B (zh) 2020-08-06 2020-08-06 一种多层次特征融合和注意力引导的神经网络图像去雾方法

Publications (2)

Publication Number Publication Date
CN111915531A CN111915531A (zh) 2020-11-10
CN111915531B true CN111915531B (zh) 2023-09-29

Family

ID=73288183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781155.9A Active CN111915531B (zh) 2020-08-06 2020-08-06 一种多层次特征融合和注意力引导的神经网络图像去雾方法

Country Status (1)

Country Link
CN (1) CN111915531B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580570B (zh) * 2020-12-25 2024-06-21 南通大学 人体姿态图像的关键点检测方法
CN112581409B (zh) * 2021-01-05 2024-05-07 戚如嬅耳纹科技(深圳)有限公司 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN112991201B (zh) * 2021-02-18 2024-04-05 西安理工大学 一种基于颜色校正和上下文聚合残差网络的图像去雾方法
CN113222016B (zh) * 2021-05-12 2022-07-12 中国民航大学 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN113139922B (zh) * 2021-05-31 2022-08-02 中国科学院长春光学精密机械与物理研究所 图像去雾方法及去雾装置
CN113284070A (zh) * 2021-06-16 2021-08-20 河南理工大学 基于传递注意力机制的非均匀雾图去雾算法
CN113450273B (zh) * 2021-06-18 2022-10-14 暨南大学 一种基于多尺度多阶段神经网络的图像去雾方法及***
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与***
CN113870126B (zh) * 2021-09-07 2024-04-19 深圳市点维文化传播有限公司 一种基于注意模块的Bayer图像恢复方法
CN113689356B (zh) * 2021-09-14 2023-11-24 三星电子（中国）研发中心 一种图像修复的方法和装置
CN113781363B (zh) * 2021-09-29 2024-03-05 北京航空航天大学 去雾效果可调节的图像增强方法
CN114022371B (zh) * 2021-10-22 2024-04-05 中国科学院长春光学精密机械与物理研究所 基于空间和通道注意力残差网络的去雾装置及其去雾方法
CN113962901B (zh) * 2021-11-16 2022-08-23 中国矿业大学(北京) 一种基于深度学习网络的矿山图像粉尘去除方法及***
CN114283078B (zh) * 2021-12-09 2024-06-18 北京理工大学 一种基于双路卷积神经网络的自适应融合图像去雾方法
CN114202481B (zh) * 2021-12-13 2024-07-02 贵州大学 一种基于图像高频信息融合的多尺度特征去雾网络及方法
CN117853371B (zh) * 2024-03-06 2024-05-31 华东交通大学 多分支频域增强的真实图像去雾方法、***及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、***、介质和设备
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、***、介质和设备
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于条件生成对抗网络的去雾方法;贾绪仲;文志强;;信息与电脑(理论版)(第09期);全文 *

Also Published As

Publication number Publication date
CN111915531A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111915531B (zh) 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及***
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、***及存储介质
CN110349093B (zh) 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN111275627A (zh) 一种基于雪模型和深度学习融合的图像去雪算法
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN117994167B (zh) 融合并行多卷积注意力的扩散模型去雾方法
CN115115685A (zh) 一种基于自注意力神经网络的单目图像深度估计算法
CN116542864A (zh) 一种基于全局和局部双分支网络无人机图像去雾方法
CN116228550A (zh) 一种基于生成对抗网络的图像自增强去雾算法
CN115035010A (zh) 一种由卷积网络引导模型映射的水下图像增强方法
CN112419163A (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN114119694A (zh) 一种基于改进U-Net的自监督单目深度估计算法
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法
CN112508828A (zh) 一种基于稀疏表示和引导滤波的多聚焦图像融合方法
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
CN112767275B (zh) 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法
CN113870162A (zh) 一种融合光照和反射的低光图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant