CN112132756A - 一种基于注意力机制的单幅雨滴图像增强方法 - Google Patents
一种基于注意力机制的单幅雨滴图像增强方法 Download PDFInfo
- Publication number
- CN112132756A CN112132756A CN201910587306.4A CN201910587306A CN112132756A CN 112132756 A CN112132756 A CN 112132756A CN 201910587306 A CN201910587306 A CN 201910587306A CN 112132756 A CN112132756 A CN 112132756A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- raindrop
- attention
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims description 13
- 230000010339 dilation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims 1
- 238000011282 treatment Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开提供了一种基于注意力机制的单幅雨滴图像增强方法，方法包括：数据集预处理；采用具有不同扩张因子的多尺度扩张卷积进行特征提取；引入注意力机制模型来关注图像中雨滴区域的细节。本发明提供的方法，能够很好地去除雨滴类图像中的雨滴部分，使雨滴类模糊图像具有较好的质量。
Description
技术领域
本发明涉图像增强领域，尤指一种单幅雨滴图像增强方法。
背景技术
在有雨环境下采集到的图片往往会掺杂雨滴或雨条纹，导致图片模糊，而现有去除雨滴实现图像增强算法容易引入更多噪声或不能去除较大雨滴，为更好地去除图像上的雨滴，恢复图像更多细节，发明人提出了一种基于注意力机制的单幅雨滴图像增强方法。
扩张卷积(Dilated Convolutions)又称膨胀卷积或空洞卷积，与其他卷积方式不同的是扩张卷积引入了一个新参数-扩张率参数即扩张因子(dilation rate)，用其表示扩张的大小。
扩张卷积的结构如图1所示。如Yu等人提到，设F0，F1，....，Fn-1：Z1→R为离散函数，令K0，K1，....，Kn-2：Z2→R为离散3*3滤波器，考虑应用指数增加膨胀的滤波：
Fi+1＝Fi×2′ki，i＝0，1，2，....，n-2 (1)
将Fi+1中元素p的像素感受野区域定义为在F0基础上修改Fi+1(p)值的元素值，假设Fi+1中的像素p的感受野大小为这些元素的数量，可以将像素中在扩张卷积下的感受野大小表示为：
Fi+1＝(2i+2-1)×(2i+2-1) (2)
扩张卷积可以对像素进行加权，聚合信息，从而能够在不失去分辨率的情况下增强其感受视野，能够获得更多的特征信息，并可以保证输出的特征映射的大小不发生变化。
视觉注意力机制是人类大脑中特有的视觉信号处理机制，注意力机制思想的本质类似人类的视觉注意力，主要意义是对大量的信息进行筛选，选择对当前任务相关的关键性高价值信息。注意力机制思想最早是被应用在计算机图像视觉研究上，近些年越来越多的研究者使用注意力机制思想与神经网络相结合进行相关问题研究。
因此，借助注意力机制思想，提出一种基于注意力机制的单幅雨滴图像增强方法，以期能有效地提高雨滴类模糊图像增强，使得图像细节更加丰富，能具有较好的图像视觉效果。
发明内容
为解决上述问题，本发明主要目的在于，提供一种有效地提高雨滴模糊图像增强，使图像的细节更加丰富。
本发明采取了如下的技术方案：首先采用具有不同扩张因子的多尺度扩张卷积对输入含雨滴图片进行特征值提取；其次，模型中引入注意力机制来关注图像中雨滴区域的细节，以帮助更好地去除雨滴，恢复图像的细节：最后，端到端地实现雨滴类的模糊图像增强。
该方法包含的步骤如下：
(1)对数据集图片进行统一的分辨率大小处理，划分出训练集和测试集。
(2)建立基于注意力机制的雨滴模糊图像增强模型，并对网络的参数进行初始化。
(3)利用划分出的训练集对模型进行训练，通过损失函数进行反向传播不断更新模型参数，使计算出的损失最小，以使模型得性能效果最优。
(4)每50对图片为一次训练，设置的最大迭代次数为3000，保存模型参数，使用测试集测试模型。
较佳的，其具体实现包括：注意力机制模型帮助对雨滴图像的特征提取，注意力机制可以使网络关注雨滴区域，能够更好地实现雨滴图像增强。所述注意力机制模型包括三层残差网络(ResBlock)、长短记忆神经网络(LSTM)和卷积核大小为3*3、步长为1的普通卷积层(conv)组成。
较佳的损失函数由两部分构成，即注意力机制模型损失Latt和感知损失Lp。
Lp＝LMSE(VGG(0)，VGG(T)) (4)
使用VGG16对网络进行预训练，提取高层的特征进行监督来保证生成图像的质量，其中，At是注意力机制模型在时刻t时产生的注意力机制图，M为二进制掩码，N取4，θ取0.8，O为模型处理后输出的去雨滴图像，T为雨滴图像对应的原清晰无雨滴图像。选用自适应矩估计(ADAM)算法来优化损失函数。模型通过训练数据集不断更新神经网络权重，经过多次训练调优，学习率α定为0.0001，β1＝0，β2＝0.9，在训练过程中，我们将注意力图的值初始化为0.5。
本发明有益效果在于，借助上述技术方案，能有效地在进行特征提取时增强其感受视野，获得到更多的特征信息，更多地关注到了图像中雨滴区域，相比其他算法，本发明提出的模型，提高了雨滴模糊图像增强，使图像的细节更加得丰富。
附图说明
图1为扩张卷积结构图；
图2基于注意力机制的雨天模糊图像增强模型
图3注意力机制模型
图4所采用的的残差网络
图5实验结果对比图
其中：
图5中：(a)雨滴图 (b)清晰图 (c)本发明提出的模型 (d)Tanaka (e)Eigen
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提出的基于注意力机制的雨天模糊图像增强模型的整体结构，其中，conv、dia_c和convtranspose分别代表卷积层、扩张卷积层和反卷积层，relu是激活函数。本发明提出的基于注意力机制的雨天模糊图像增强模型包含：
(1)初步提取特征。输入的图像进行两次卷积核尺寸为7*7*64、5*5*128且步长为1的卷积处理，
得到初步提取到的特征。
(2)多尺度扩张卷积提取特征。采用卷积核3*3*256的扩张卷积，即dia_c1、dia_c2、dia_c3，扩张
因子(dilation rate)的值分别为2，4，6，三种扩张卷积处理后得到的三种特征。
(3)生成注意力图。将三种特征分别输入3.2中所介绍的注意力机制模型，输出结果为三种注意力图，
将三种注意力图与原图像做特征融合。
(4)输出图像。输出依次进行3次卷积核尺寸为3*3*256且步长为1的卷积处理、2次卷积核尺寸为4*4*128、4*4*64且步长为2的反卷积操作、卷积核尺寸为3*3*64且步长为1的卷积处理，最终输出除雨后的图像。
如图3所示，本发明中设计的注意力机制模型是由三层残差网络(ResBlock)、长短记忆神经网络(LSTM)和卷积层(conv)组成：
(1)残差网络：由于归一化(Batch Normalization)层会忽略图像特征间的绝对差异，我们所用的残差网络为传统残差网络结构中去掉归一化(Batch Normalization)层。
(2)长短记忆神经网络(LSTM)。
(3)卷积层：采用的是卷积核大小为3*3、步长为1的普通卷积。
实验步骤如下：
(1)对数据集图片进行统一的分辨率大小处理，划分出训练集和测试集。
(2)建立基于注意力机制的雨滴模糊图像增强模型，并对网络的参数进行初始化。
(3)利用划分出的训练集对模型进行训练，通过损失函数进行反向传播不断更新模型参数，使计算出的损失最小，以使模型得性能效果最优。
(4)每50对图片为一次训练，设置的最大迭代次数为3000，保存模型参数，使用测试集测试模型。
为说明本发明提出模型的优越性，我们对Tanaka等人及Eigen等人提出的算法进行了对比实验，使用上述本文自建的雨滴图像数据集，实验的图片质量评价结果如表1所示，图5是选取上述的测试集中4幅图片的实验效果图。
表1图片质量评价结果
从表1中可以看到，Tanaka等人提出的去雨模型的峰值信噪比为26.84，Eigen等人提出模型的峰值信噪比为27.41，而本章提出的模型的峰值信噪比达到了28.37，同时本发明提出的模型的结构相似度达到了0.9091皆高于另外两个模型的结构相似度。从图5中可以看到，Tanaka等人的方法不能去除较密集的雨滴，给图像引入了较多的噪声，Eigen等人的方法处理得到图片的细节不够丰富，图片中有出现失真现象，而经本发明模型处理后的图片在主观的视觉感受方面取得了较好的效果。因此，本发明的算法模型无论是从峰值信噪比还是从结构相似度上来看都要优于其他的算法。
Claims (5)
1.一种基于注意力机制的单幅雨滴图像增强方法，其特征在于采用不同扩张因子的多尺度扩张卷积增强其感受视野，以获得更多的特征信息；模型引入注意力机制构造注意力机制模型来关注图像中雨滴区域，以此更好地去除雨滴，实现雨滴模糊类图像细节的恢复。
2.根据权利要求1所述的一种基于注意力机制的单幅雨滴图像增强方法，该方法包含步骤：
(1)初步提取特征。输入的图像进行两次卷积核尺寸为7*7*64、5*5*128且步长为1的卷积处理，得到初步提取到的特征。
(2)多尺度扩张卷积提取特征。三种扩张卷积处理后得到的三种特征。
(3)生成注意力图。将三种特征分别输入注意力机制模型，输出结果为三种注意力图，将三种注意力图与原图像做特征融合。
(4)输出图像。输出依次进行3次卷积核尺寸为3*3*256且步长为1的卷积处理、2次卷积核尺寸为4*4*128、4*4*64且步长为2的反卷积操作、卷积核尺寸为3*3*64且步长为1的卷积处理，最终输出除雨后的图像。
3.根据权利要求2所述的多尺度扩张卷积，该方法包含：卷积核3*3*256的扩张卷积，即dia_c1、dia_c2、dia_c3，扩张因子(dilation rate)的值分别为2，4，6。
4.根据权利要求2所述的注意力机制模型，该方法包含步骤：
注意力机制模型是由三层残差网络(ResBlock)、长短记忆神经网络(LSTM)和卷积层(conv)组成：
(1)残差网络：由于归一化(Batch Normalization)层会忽略图像特征间的绝对差异，我们所用的残差网络为传统残差网络结构中去掉归一化(Batch Normalization)层。
(2)长短记忆神经网络(LSTM)；
(3)卷积层：采用的是卷积核大小为3*3、步长为1的普通卷积。
5.根据权利要求1所述的一种基于注意力机制的单幅雨滴图像增强方法，其特征在于：所述抗网络损失Ladv和感知损失Lc为：
注意力机制模型损失Latt和感知损失Lp。
Lp＝LMSE(VGG(O)，VGG(T)) (2)
使用VGG16对网络进行预训练，提取高层的特征进行监督来保证生成图像的质量，其中，At是注意力机制模型在时刻t时产生的注意力机制图，M为二进制掩码，N取4，θ取0.8，O为模型处理后输出的去雨滴图像，T为雨滴图像对应的原清晰无雨滴图像。
本文模型的总体损失函数为：
L＝Latt+Lp (3)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587306.4A CN112132756A (zh) | 2019-06-24 | 2019-06-24 | 一种基于注意力机制的单幅雨滴图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587306.4A CN112132756A (zh) | 2019-06-24 | 2019-06-24 | 一种基于注意力机制的单幅雨滴图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112132756A true CN112132756A (zh) | 2020-12-25 |
Family
ID=73849748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910587306.4A Pending CN112132756A (zh) | 2019-06-24 | 2019-06-24 | 一种基于注意力机制的单幅雨滴图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132756A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767280A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
| CN113160078A (zh) * | 2021-04-09 | 2021-07-23 | 长安大学 | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 |
-
2019
- 2019-06-24 CN CN201910587306.4A patent/CN112132756A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767280A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
| CN112767280B (zh) * | 2021-02-01 | 2022-06-14 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
| CN113160078A (zh) * | 2021-04-09 | 2021-07-23 | 长安大学 | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 |
| CN113160078B (zh) * | 2021-04-09 | 2023-01-24 | 长安大学 | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及*** | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN103761710B (zh) | 基于边缘自适应的高效图像盲去模糊方法 | |
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络***及方法 | |
| CN113808032B (zh) | 多阶段渐进式的图像去噪算法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN108830812B (zh) | 一种基于网格结构深度学习的视频高帧率重制方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
| CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
| CN110211070B (zh) | 一种基于局部极值的低照度彩色图像增强方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN114331886B (zh) | 一种基于深度特征的图像去模糊方法 | |
| CN109949234B (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| CN112132756A (zh) | 一种基于注意力机制的单幅雨滴图像增强方法 | |
| CN112801906A (zh) | 基于循环神经网络的循环迭代图像去噪方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN116645287A (zh) | 一种基于扩散模型的图像去模糊方法 | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| CN111626943B (zh) | 基于一阶前向后向算法的全变分图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Li Jinhua Document name: Notice of publication of application for patent for invention |
|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Li Jinhua Document name: deemed notice of withdrawal |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201225 |