CN113269685A - 一种融合多注意力机制的图像去雾方法 - Google Patents
一种融合多注意力机制的图像去雾方法 Download PDFInfo
- Publication number
- CN113269685A CN113269685A CN202110516155.0A CN202110516155A CN113269685A CN 113269685 A CN113269685 A CN 113269685A CN 202110516155 A CN202110516155 A CN 202110516155A CN 113269685 A CN113269685 A CN 113269685A
- Authority
- CN
- China
- Prior art keywords
- attention
- image
- image defogging
- network model
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种融合多注意力机制的图像去雾方法,首先构建端到端的图像去雾网络模型,网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。然后利用有雾与清晰图像对构成的样本库训练该模型得到参数。应用时,网络模型加载训练好的参数后,输入待去雾图像,即可输出清晰的图像。本发明设计了一种融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块,通过叠加该模块和残差连接构建了基于端到端的图像去雾网络,取得了较好的去雾效果。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种融合多注意力机制的图像去雾方法。
背景技术
雾霾是由空气中的灰尘和烟雾等小的漂浮颗粒产生的常见大气现象,这些漂浮的颗粒极大地吸收和散射光,导致图像产生退化,在雾霾影响上,基于视频图像的目标检测和识别等高级计算机视觉任务容易被干扰,因此,图像去雾具有重大的实际应用价值。
发明内容
本发明要解决的技术问题是提供一种融合多注意力机制的图像去雾方法,通过叠加多注意力融合网络模块和残差连接构建了基于端到端的图像去雾网络,取得了较好的去雾效果。
为解决上述技术问题,本发明的实施例提供一种融合多注意力机制的图像去雾方法,包括如下步骤:
S1、构建端到端的图像去雾网络模型;
S2、利用样本库训练样本参数,样本库由若干对有雾-清晰图像对组成,利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型,图像去雾网络模型加载训练好的样本参数后,输出清晰的图像。
其中,所述图像去雾网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
其中,所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块组成,前一个Group的输出特征作为后一个 Group的输入,定义每个Group的输出为Gi,i表示Group的编号,最后将多个Group级联得到concatenate模块的输出:
C=[G1,G2,...,Gn],
其中,n为Group的数量。
其中,所述多注意力融合模块由两个卷积层和注意力单元构成,通过添加局部短连接提高训练收敛速度。
进一步,所述多注意力融合模块中的注意力单元融合了空间注意力、通道注意力和像素注意力,工作步骤如下:
5.1、在注意力单元中,首先对输入特征采用全局平均池化:
其中,Hp表示全局平均池化函数,Xc(i,j)表示输入值的c通道位于(i,j)处的值,Fc表示输入特征;
5.2、在通道注意力和像素注意力中,将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA,
CA=σ(Conv(δ(Conv(gc)))) 式(II),
其中,σ表示sigmoid函数,δ表示ReLU函数;
将输入特征与CA相乘得到通道注意力特征CA*:
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征:
PA=σ(Conv(δ(Conv(CA*)))) 式(IV);
最终融合通道注意力和像素注意力输出:
5.3、空间注意力分支中,将池化后的特征通过卷积层和sigmoid激活函数,得到:
5.4、融合三种注意力机制:
F=[F1,SA] 式(VII);
经过卷积后输出特征:
Fout=Conv(F) 式(VIII)。
其中,所述图像去雾网络模型采用L1损失函数在数据集RESIDE进行训练, L1损失函数如下式:
本发明的上述技术方案的有益效果如下:本发明设计了一种融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块,通过叠加该模块和残差连接构建了基于端到端的图像去雾网络,取得了较好的去雾效果。
附图说明
图1为本发明中图像去雾网格模型的示意图;
图2为本发明中多注意力融合模块的示意图;
图3为本发明中注意力单元的示意图;
图4为本发明实施例一中图像去雾前后的对比图;
图5为本发明实施例二中图像去雾前后的对比图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明提供了一种融合多注意力机制的图像去雾方法,包括如下步骤:
S1、构建端到端的图像去雾网络模型,如图1所示,由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
图1中,Hazy image为输入样本图像;Conv layer为卷积层;Multi-attentionmodule为多注意力融合模块;Clear image为输出清晰图像。
S2、利用样本库训练样本参数,样本库由若干对有雾-清晰图像对组成,利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型,图像去雾网络模型加载训练好的样本参数后,输出清晰的图像。
所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块(Multi-Attention Module,MAM)组成,前一个Group 的输出特征作为后一个Group的输入,定义每个Group的输出为Gi,i表示Group 的编号,最后将多个Group级联得到concatenate模块的输出:
C=[G1,G2,...,Gn],
其中,n为Group的数量。
所述多注意力融合模块(Multi-Attention Module,MAM)由两个卷积层和注意力单元(Attention Module,AM)构成,通过添加局部短连接提高训练收敛速度,如图2所示。
所述多注意力融合模块中的注意力单元(Attention Module,AM)如图3 所示,融合了空间注意力、通道注意力和像素注意力,工作步骤如下:
5.1、在注意力单元中,首先对输入特征采用全局平均池化:
其中,Hp表示全局平均池化函数,Xc(i,j)表示输入值的c通道位于(i,j)处的值,Fc表示输入特征;
5.2、在通道注意力和像素注意力中,将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA,
CA=σ(Conv(δ(Conv(gc)))) 式(II),
其中,σ表示sigmoid函数,δ表示ReLU函数;
将输入特征与CA相乘得到通道注意力特征CA*:
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征:
PA=σ(Conv(δ(Conv(CA*)))) 式(IV);
最终融合通道注意力和像素注意力输出:
5.3、空间注意力分支中,将池化后的特征通过卷积层和sigmoid激活函数,得到:
5.4、融合三种注意力机制:
F=[F1,SA] 式(VII);
经过卷积后输出特征:
Fout=Conv(F) 式(VIII)。
本发明的图像去雾网络模型采用L1损失函数在数据集RESIDE进行训练, L1损失函数如下式:
本发明采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量,在 RESIDE的室内测试集上PSNR=36.76,SSIM=0.9950,室外测试上 PSNR=33.96,SSIM=0.9895,结果好于现有方法。部分可视化结果如图4和图 5所示,其中,图4中左图和图5中左图为去雾前图像,图4中右图和图5中右图为去雾后图像。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种融合多注意力机制的图像去雾方法,其特征在于,包括如下步骤:
S1、构建端到端的图像去雾网络模型;
S2、利用样本库训练样本参数,样本库由若干对有雾-清晰图像对组成,利用样本库训练图像去雾网络模型得到样本参数
S3、将待去雾图像输进图像去雾网络模型,图像去雾网络模型加载训练好的样本参数后,输出清晰的图像。
2.根据权利要求1所述的融合多注意力机制的图像去雾方法,其特征在于,所述图像去雾网络模型由一个浅层特征提取卷积层、由多注意力融合模块叠加构成的子网络、特征重构部分和全局残差学习结构构成。
3.根据权利要求1或2所述的融合多注意力机制的图像去雾方法,其特征在于,所述图像去雾网络模型的concatenate模块中的Multi-Attention Group由若干个多注意力融合模块组成,前一个Group的输出特征作为后一个Group的输入,定义每个Group的输出为Gi,i表示Group的编号,最后将多个Group级联得到concatenate模块的输出:
C=[G1,G2,...,Gn],
其中,n为Group的数量。
4.根据权利要求3所述的融合多注意力机制的图像去雾方法,其特征在于,所述多注意力融合模块由两个卷积层和注意力单元构成,通过添加局部短连接提高训练收敛速度。
5.根据权利要求3所述的融合多注意力机制的图像去雾方法,其特征在于,所述多注意力融合模块中的注意力单元融合了空间注意力、通道注意力和像素注意力,工作步骤如下:
5.1、在注意力单元中,首先对输入特征采用全局平均池化:
其中,Hp表示全局平均池化函数,Xc(i,j)表示输入值的c通道位于(i,j)处的值,Fc表示输入特征;
5.2、在通道注意力和像素注意力中,将池化后的特征通过卷积层、ReLU、卷积层和sigmoid激活函数处理之后得到CA,
CA=σ(Conv(δ(Conv(gc)))) 式(II),
其中,σ表示sigmoid函数,δ表示ReLU函数;
将输入特征与CA相乘得到通道注意力特征CA*:
CA*然后通过卷积层、ReLU、卷积层和sigmoid激活函数得到像素注意力特征:
PA=σ(Conv(δ(Conv(CA*)))) 式(IV);
最终融合通道注意力和像素注意力输出:
5.3、空间注意力分支中,将池化后的特征通过卷积层和sigmoid激活函数,得到:
5.4、融合三种注意力机制:
F=[F1,SA] 式(VII);
经过卷积后输出特征:
Fout=Conv(F) 式(VIII)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110516155.0A CN113269685A (zh) | 2021-05-12 | 2021-05-12 | 一种融合多注意力机制的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110516155.0A CN113269685A (zh) | 2021-05-12 | 2021-05-12 | 一种融合多注意力机制的图像去雾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113269685A true CN113269685A (zh) | 2021-08-17 |
Family
ID=77230653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110516155.0A Pending CN113269685A (zh) | 2021-05-12 | 2021-05-12 | 一种融合多注意力机制的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269685A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359419A (zh) * | 2021-11-02 | 2022-04-15 | 上海大学 | 一种基于注意力机制的图像压缩感知重建方法 |
CN114648467A (zh) * | 2022-05-18 | 2022-06-21 | 中山大学深圳研究院 | 图像的去雾方法、装置、终端设备及计算机可读存储介质 |
WO2023040462A1 (zh) * | 2021-09-17 | 2023-03-23 | 南京邮电大学 | 图像去雾方法、装置及设备 |
US11663705B2 (en) | 2021-09-17 | 2023-05-30 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
CN116824542A (zh) * | 2023-06-13 | 2023-09-29 | 重庆市荣冠科技有限公司 | 一种基于深度学习的轻量级雾天车辆检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581409A (zh) * | 2021-01-05 | 2021-03-30 | 西安理工大学 | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 |
CN112750082A (zh) * | 2021-01-21 | 2021-05-04 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及*** |
-
2021
- 2021-05-12 CN CN202110516155.0A patent/CN113269685A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581409A (zh) * | 2021-01-05 | 2021-03-30 | 西安理工大学 | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 |
CN112750082A (zh) * | 2021-01-21 | 2021-05-04 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及*** |
Non-Patent Citations (2)
Title |
---|
SHUNAN GAO ET AL.: ""CP-Net:Channel Attention and Pixel Attention Network for Single Image Dehazing"", 《ICPCSEE:2020》 * |
XU QIN ET AL.: ""FFA-Net: Feature Fusion Attention Network for Single Image Dehazing"", 《ARXIV》, pages 1 - 8 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023040462A1 (zh) * | 2021-09-17 | 2023-03-23 | 南京邮电大学 | 图像去雾方法、装置及设备 |
US11663705B2 (en) | 2021-09-17 | 2023-05-30 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
CN114359419A (zh) * | 2021-11-02 | 2022-04-15 | 上海大学 | 一种基于注意力机制的图像压缩感知重建方法 |
CN114359419B (zh) * | 2021-11-02 | 2024-05-17 | 上海大学 | 一种基于注意力机制的图像压缩感知重建方法 |
CN114648467A (zh) * | 2022-05-18 | 2022-06-21 | 中山大学深圳研究院 | 图像的去雾方法、装置、终端设备及计算机可读存储介质 |
CN116824542A (zh) * | 2023-06-13 | 2023-09-29 | 重庆市荣冠科技有限公司 | 一种基于深度学习的轻量级雾天车辆检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269685A (zh) | 一种融合多注意力机制的图像去雾方法 | |
CN110570371B (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
CN111489372B (zh) | 基于级联卷积神经网络的视频前背景分离方法 | |
CN110210608B (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
CN112070690B (zh) | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 | |
CN111861914B (zh) | 基于深度神经网络的低照度彩色偏振图像增强方法 | |
CN116760583B (zh) | 一种增强图节点行为表征及其异常图节点检测方法 | |
CN112884680A (zh) | 一种利用端到端神经网络的单幅图像去雾方法 | |
CN111815526B (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及*** | |
CN113284070A (zh) | 基于传递注意力机制的非均匀雾图去雾算法 | |
CN115330631A (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
CN112668644B (zh) | 一种基于ssd改进算法的无人机航拍目标检测方法 | |
CN112784834A (zh) | 一种自然场景下的车牌自动识别方法 | |
CN114627044A (zh) | 一种基于深度学习的太阳能光伏组件热斑检测方法 | |
CN112950521B (zh) | 一种图像去雾方法及生成器网络 | |
CN114445615A (zh) | 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法 | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN111242053A (zh) | 一种输电线路火焰检测方法及*** | |
CN116385465A (zh) | 图像分割模型的构建及图像分割方法、***、设备和介质 | |
CN117011160A (zh) | 一种基于密集循环网络融合注意力机制的单图像去雨方法 | |
CN115578256A (zh) | 一种无人机航拍绝缘子红外视频全景拼接方法及*** | |
CN115393822A (zh) | 一种雾天行车障碍物检测方法及设备 | |
CN109903343B (zh) | 一种基于惯性姿态约束的特征匹配方法 | |
CN114494931A (zh) | 一种针对视频图像故障的智能分类处理方法和*** | |
CN114387170A (zh) | 一种改善修补区域边缘不连贯现象的图像修补方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |