CN115880170A - 基于图像先验和门控注意力学习的单图去雨方法和*** - Google Patents
基于图像先验和门控注意力学习的单图去雨方法和*** Download PDFInfo
- Publication number
- CN115880170A CN115880170A CN202211546859.3A CN202211546859A CN115880170A CN 115880170 A CN115880170 A CN 115880170A CN 202211546859 A CN202211546859 A CN 202211546859A CN 115880170 A CN115880170 A CN 115880170A
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- feature
- prior
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 32
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 16
- 230000001419 dependent effect Effects 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 210000003462 vein Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像先验和门控注意力学习的单图去雨方法及***,该方法包括:构建基于图像先验和门控注意力学习的网络模型,所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器;获取训练样本;构成有雨‑无雨图像对训练数据集;将所述有雨‑无雨图像对训练数据集进行预处理,将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练,得到训练好的基于图像先验和门控注意力学习的网络模型;将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型,最终获取去雨后的图像数据,本发明有效的提取图像的细节信息和识别出更多的雨条纹,从而增强了雨图的去雨效果。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于图像先验和门控注意力学习的单图去雨方法和***。
背景技术
在日常生活中,雨天中的拍摄会对图像产生影响,图像上会出现雨条纹,从而降低了图像的视觉质量,甚至会影响大部分基于图像视觉效果的视觉任务,例如视频监控、自动驾驶和目标识别等,因此对图像进行去雨处理变得尤为重要。
目前基于单幅图像的去雨方法大致分为模型驱动和数据驱动两类,模型驱动方法侧重于手动设计和利用图像的先验知识,通过添加约束和建模算法并求解优化模型来获得无雨图像;而数据驱动方法则是通过构建神经网络,从数据中学习有雨图像和无雨图像之间的映射关系;由于神经网络强大的表达能力,神经网络已经在图像去雨任务中取得较大成效。
然而,目前基于数据驱动方法的去雨方法仍然存在提取特征信息较少和忽略了图像自身的先验信息的问题,去雨效果还有待提升。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供了一种基于图像先验和门控注意力学习的单图去雨方法,有效的提取图像中的特征信息和先验信息并充分利用,从而高效的识别出更多雨条纹信息,增强了雨图的去雨效果。
为了达到上述目的,本发明采用以下技术方案:
一种基于图像先验和门控注意力学习的单图去雨方法,包括以下步骤:
S1、构建基于图像先验和门控注意力学习的网络模型,所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器;
S2、获取训练样本;通过无雨的背景图片加上合成雨纹,得到对应的雨图样本,无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集;
S3、将所述有雨-无雨图像对训练数据集进行预处理,将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练,得到训练好的基于图像先验和门控注意力学习的网络模型;训练过程具体包括以下步骤:
S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征;
S32对雨图样本的雨图特征和先验特征进行标准化,然后将标准化后所对应的雨图特征和先验特征进行级联,将级联后的雨图特征和先验特征输入编解码器中进行特征分离,得到初步的雨条纹特征图;所述雨图特征包括雨图的纹理和边缘特征;
S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息,在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤,得到最终的雨条纹信息;
S34从输入的雨图样本中减去最终的雨条纹信息,得到去雨后的图像;
S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型,最终获取去雨后的图像数据。
优选的,所述特征提取器由2个残差块并行组成,所述2个残差块中的一个用于提取输入雨图的雨图特征,另一个残差块用于提取所述输入雨图的先验特征。
优选的,所述编解码器设有5层,每层编解码器包括编码器和解码器;编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成。
优选的,所述编解码器采用跳连接来短接编码器和解码器的相应层。
优选的,所述具有注意力机制的门控器由残差门控单元和非局部通道块构成,所述残差门控单元和非局部通道块为串行结构,所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息,所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。
优选的,步骤S31中所述特征提取器从输入的雨图样本中提取雨图特征和先验特征,具体如下:
首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L,所述雨图特征L定义如下:
L=SE(ResBlock(R))
其中,R表示输入的雨图样本,SE(·)表示Squeeze and Excitation操作,ResBlock(·)表示一个构成ResNet的残差块;
然后设定一个RCP先验,所述RCP先验定义如下:
IP(x)=IM(x)-Im(x)
其中x表示每个像素的位置,I表示RGB图像,IM表示RGB图像的最大像素值,Im表示RGB图像的最小像素值,IP表示先验;
最终提取雨图的先验特征P,所述先验特征P如下所示:
优选的,步骤S1中所述编解码器采用PReLU激活函数获得非线性,使用双线性下采样代替最大池化层操作。
优选的,步骤S33中所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,具体如下:
首先利用残差门控单元来获取空间方向上的特征依赖信息,所述残差门控单元定义如下:
其中O∈RH×W×C和X∈RH×W×C分别表示输出门控特征图和输入特征图,Conv3×3表示标准的3×3的2D卷积操作,将输入特征图沿着通道维度上分为N份,得到第一份子特征图X1∈RH×W×C和剩余的第i份子特征图Xi∈RH×W×C,⊙表示进行哈达玛乘积,σ表示sigmoid激活函数来获取非线性;
然后利用非局部通道块来获取通道方向上的特征依赖信息,所述非局部通道块定义如下:
其中Z∈RH×W×C和O∈RH×W×C分别表示输出注意力特征图和输入门控特征图,Conv1×1表示标准的1×1的2D卷积操作,将输入门控特征图经过卷积操作并调整大小得到g∈RHW×C,θ∈RC×HW,φ∈RHW×C,表示矩阵相乘,softmax表示进行softmax激活函数操作,注意力矩阵为C×C;
最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。
优选的,所述基于图像先验和门控注意力学习的网络模型的损失函数采用L1损失函数和边缘函数之和;
所述损失函数定义如下:
本发明的第二方面提供一种基于图像先验和门控注意力学习的单图去雨***,包括处理器和存储器,所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行所述的基于图像先验和门控注意力学习的单图去雨方法。
本发明相较于现有技术具有如下的优点及有益效果:
(1)本发明的一种基于图像先验和门控注意力学习的单图去雨方法,通过将图像先验和融合注意力学习的门控机制结合起来,更加充分的利用了单张雨图所提供的信息,更好地保留图像的细节信息和识别出更多的雨条纹,有效提升主观视觉效果。
(2)本发明采用的编解码器方案,在先验特征和雨图特征的基础上得到图像的全局和局部特征,增强对雨条纹的识别能力,
(3)本发明的带有注意力机制的门控器,通过构建空间和通道上的特征依赖关系,便于将雨条纹和背景层分离开来,从而识别出图像中更细小的雨条纹,从而提升了去雨效果;由于雨条纹较细小,建立空间上的特征依赖关系是为了在初步的雨条纹特征图上发现更多的雨条纹;随着神经网络的深度增加,背景层会和雨条纹在通道上特征分布叠加,通过建立通道上的特征依赖关系,让神经网络关注雨条纹的特征分布,从而将背景层过滤掉。
附图说明
图1为本发明实施例的基于图像先验和门控注意力学习的单图去雨方法的流程图。
图2为本发明实施例的基于图像先验和门控注意力学习的网络模型的工作流程图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例1
如图1所示,本实施例的一种基于图像先验和门控注意力学习的单图去雨方法,包括以下步骤:
S1、构建基于图像先验和门控注意力学习的网络模型,所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器;
具体的,所述特征提取器由2个残差块并行组成,所述2个残差块中的一个用于提取输入雨图的雨图特征,另一个残差块用于提取所述输入雨图的先验特征。
所述编解码器设有5层,每层编解码器包括有编码器和解码器;编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成,所述编解码器采用跳连接来短接编码器和解码器的相应层。
所述具有注意力机制的门控器由残差门控单元和非局部通道块构成,所述残差门控单元和非局部通道块为串行结构,所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息,所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。
所述基于图像先验和门控注意力学习的网络的损失函数包括保真项和细节项,具体采用L1损失函数和边缘函数之和;
具体的,所述损失函数定义如下:
其中B表示经过网络处理后得到的去雨图像,G表示真实的无雨图像,△表示拉普拉斯操作,||B-G||1表示L1损失函数,表示边缘损失函数,λ和ε表示超参数,其中经实验得出λ设置为0.05,ε设置为10-3能取得较好的去雨效果。
传统的去雨方法采用了均方损失函数作为损失函数,由于对高频纹理的平方约束通常会产生模糊和过度平滑的去雨效果,因此本实施例采用L1损失函数和边缘函数构成损失函数来保证恢复图像的边缘信息与真实自然的效果。
S2、获取训练样本;通过对无雨的背景图片叠加不同密度和方向的合成雨条纹,得到对应的雨图样本,无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集;
S3、将所述有雨-无雨图像对训练数据集进行预处理,将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练,得到训练好的基于图像先验和门控注意力学习的网络模型;训练过程具体包括以下步骤:
S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征;具体如下:
(1)首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L,所述雨图特征L定义如下:
L=SE(ResBlock(R))
其中,R表示输入雨图,SE(·)表示Squeeze and Excitation操作,ResBlock(·)表示一个构成ResNet的残差块。
(2)设定一个RCP先验来获取图像的先验特征表示为P,来补充图像的特征信息和保护恢复图像在训练过程中的背景细节不被丢失;
所述RCP先验定义如下:
IP(x)=IM(x)-Im(x)
其中x表示每个像素的位置,I表示RGB图像,IM表示RGB图像的最大像素值,Im表示RGB图像的最小像素值,IP表示先验。
由于RCP先验是单通道的,残差通道图是沿着通道方向连接而成的三通道的灰度图像,所述残差通道图定义如下:
相比于传统的从雨图中只提取雨图特征表示为L,本实施例采用RCP先验来获取图像的先验特征表示为P,来补充图像的特征信息和保护恢复图像在训练过程中的背景细节不被丢失。
S32对雨图样本的雨图特征和先验特征进行标准化,然后将标准化后所对应的雨图特征和先验特征进行级联,将级联后的雨图特征和先验特征输入编解码器中进行特征分离,得到初步的雨条纹特征图;所述雨图特征包括雨图的纹理和边缘特征;
具体的,所述编解码器采用基于U-Net的编解码器来提取初步的雨图特征,所述编解码器设置有5层,每一层由2个利用带有Squeeze and Excitation操作的残差块构成,采用PReLU激活函数获得非线性,使用双线性下采样代替最大池化层操作,使用跳连接来短接编码器和解码器的相应层来减少图像信息的丢失。
S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息,在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤,得到最终的雨条纹信息;具体如下:
(1)首先利用残差门控单元来获取空间方向上的特征依赖信息,所述门控器的残差门控单元定义如下:
其中O∈RH×W×C和X∈RH×W×C分别表示输出门控特征图和输入特征图,Conv3×3表示标准的3×3的2D卷积操作,将输入特征图沿着通道维度上分为N份,得到第一份子特征图X1∈RH×W×C和剩余的第i份子特征图Xi∈RH×W×C,⊙表示进行哈达玛乘积,σ表示sigmoid激活函数来获取非线性;通过将第一份子特征图作为掩膜来赋予其他子特征图在局部特征上更高的非线性程度,增强网络的表达能力,同时也将建立第一份子特征图和其他特征图的依赖关系,让网络将雨条纹作为兴趣区域,加强学习。
(2)利用非局部通道块来获取通道方向上的特征依赖信息,所述门控器的局部通道块定义如下:
其中Z∈RH×W×C和O∈RH×W×C分别表示输出注意力特征图和输入门控特征图,Conv1×1表示标准的1×1的2D卷积操作,将输入门控特征图经过卷积操作并调整大小得到g∈RHW×C,θ∈RC×HW,φ∈RHW×C,表示矩阵相乘,softmax表示进行softmax激活函数操作,注意力矩阵为C×C;通过将注意力矩阵从HW×HW修改为C×C,非局部通道块提高了除雨性能同时无需花费大量参数来进行矩阵计算。
最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。
S34从输入的雨图样本中减去所述最终的雨条纹信息,得到去雨后的图像;
具体的,由于雨图物理建模的复杂性,通常将雨图认为是背景层和雨层的叠加,即雨的物理模型简单定义为:
I=B+R
其中I代表雨的物理模型,B为背景层,R为雨层,因此清晰的图像可以通过从雨图中减去对应的雨条纹得到。
需要说明的是,所述基于图像先验和门控注意力学习的网络训练采用的优化方法是Adam,参数momentum是0.9,初始化学习率设置为2×10-4;batch size大小设置为24,学习率调节器为带重启的余弦退火调节器,最低学习率设为1×10-5。
所述基于图像先验和门控注意力学习的网络模型训练次数为300轮,每5轮在测试集上测试一次结果,测试结果采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量,选择最好的结果保存模型参数。
S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型,最终获取去雨后的图像数据。
具体的,如图2所示,所述基于图像先验和门控注意力学习的网络模型的工作流程如下:
将需要去雨的图像输入到所述基于图像先验和门控注意力学习的网络;
网络中的特征提取器对输入的雨图相应的雨图特征和先验特征的提取;所述编解码器将两种特征作为输入来分离雨条纹层和分辨出不同的图像内容,得到初步的雨条纹特征图;所述具有注意力机制的门控器通过获取所述初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,识别得到最终的雨条纹信息;将所述最终的雨条纹信息从输入雨图中去除,得到去雨后的清晰图像。
实施例2
本实施例提供一种基于图像先验和门控注意力学习的单图去雨***,包括处理器和存储器,所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行实施例1中所述的基于图像先验和门控注意力学习的单图去雨方法。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于图像先验和门控注意力学习的单图去雨方法,其特征在于,包括以下步骤:
S1、构建基于图像先验和门控注意力学习的网络模型,所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器;
S2、获取训练样本;通过无雨的背景图片加上合成雨纹,得到对应的雨图样本,无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集;
S3、将所述有雨-无雨图像对训练数据集进行预处理,将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练,得到训练好的基于图像先验和门控注意力学习的网络模型;训练过程具体包括以下步骤:
S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征;
S32对雨图样本的雨图特征和先验特征进行标准化,然后将标准化后所对应的雨图特征和先验特征进行级联,将级联后的雨图特征和先验特征输入编解码器中进行特征分离,得到初步的雨条纹特征图;所述雨图特征包括雨图的纹理和边缘特征;
S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息,在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤,得到最终的雨条纹信息;
S34从输入的雨图样本中减去最终的雨条纹信息,得到去雨后的图像;
S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型,最终获取去雨后的图像数据。
2.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法,其特征在于,
所述特征提取器由2个残差块并行组成,所述2个残差块中的一个用于提取输入雨图的雨图特征,另一个残差块用于提取所述输入雨图的先验特征。
3.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法,其特征在于,所述编解码器设有5层,每层编解码器包括编码器和解码器;编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成。
4.根据权利要求3所述的基于图像先验和门控注意力学习的单图去雨方法,其特征在于,所述编解码器采用跳连接来短接编码器和解码器的相应层。
5.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法,其特征在于,所述具有注意力机制的门控器由残差门控单元和非局部通道块构成,所述残差门控单元和非局部通道块为串行结构,所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息,所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。
6.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法,其特征在于,步骤S31中所述特征提取器从输入的雨图样本中提取雨图特征和先验特征,具体如下:
首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L,所述雨图特征L定义如下:
L=SE(ResBlock(R))
其中,R表示输入的雨图样本,SE(·)表示Squeeze and Excitation操作,ResBlock(·)表示一个构成ResNet的残差块;
然后设定一个RCP先验,所述RCP先验定义如下:
IP(x)=IM(x)-Im(x)
其中x表示每个像素的位置,I表示RGB图像,IM表示RGB图像的最大像素值,Im表示RGB图像的最小像素值,IP表示先验;
最终提取雨图的先验特征P,所述先验特征P如下所示:
7.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法,其特征在于,步骤S1中所述编解码器采用PReLU激活函数获得非线性,使用双线性下采样代替最大池化层操作。
8.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法,其特征在于,步骤S33中所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息,具体如下:
首先利用残差门控单元来获取空间方向上的特征依赖信息,所述残差门控单元定义如下:
其中O∈RH×W×C和X∈RH×W×C分别表示输出门控特征图和输入特征图,Conv3×3表示标准的3×3的2D卷积操作,将输入特征图沿着通道维度上分为N份,得到第一份子特征图X1∈RH ×W×C和剩余的第i份子特征图Xi∈RH×W×C,⊙表示进行哈达玛乘积,σ表示sigmoid激活函数来获取非线性;
然后利用非局部通道块来获取通道方向上的特征依赖信息,所述非局部通道块定义如下:
其中Z∈RH×W×C和O∈RH×W×C分别表示输出注意力特征图和输入门控特征图,Conv1×1表示标准的1×1的2D卷积操作,将输入门控特征图经过卷积操作并调整大小得到g∈RHW×C,θ∈RC×HW,φ∈RHW×C,表示矩阵相乘,softmax表示进行softmax激活函数操作,注意力矩阵为C×C;
最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。
10.一种基于图像先验和门控注意力学习的单图去雨***,其特征在于,包括处理器和存储器,所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行如权利要求1-9任一项所述的基于图像先验和门控注意力学习的单图去雨方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211546859.3A CN115880170A (zh) | 2022-12-05 | 2022-12-05 | 基于图像先验和门控注意力学习的单图去雨方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211546859.3A CN115880170A (zh) | 2022-12-05 | 2022-12-05 | 基于图像先验和门控注意力学习的单图去雨方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880170A true CN115880170A (zh) | 2023-03-31 |
Family
ID=85765819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211546859.3A Pending CN115880170A (zh) | 2022-12-05 | 2022-12-05 | 基于图像先验和门控注意力学习的单图去雨方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880170A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485689A (zh) * | 2023-06-25 | 2023-07-25 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和*** |
CN117152000A (zh) * | 2023-08-08 | 2023-12-01 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
-
2022
- 2022-12-05 CN CN202211546859.3A patent/CN115880170A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485689A (zh) * | 2023-06-25 | 2023-07-25 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和*** |
CN116485689B (zh) * | 2023-06-25 | 2023-11-14 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和*** |
CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
CN117151990B (zh) * | 2023-06-28 | 2024-03-22 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
CN117152000A (zh) * | 2023-08-08 | 2023-12-01 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
CN117152000B (zh) * | 2023-08-08 | 2024-05-14 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115880170A (zh) | 基于图像先验和门控注意力学习的单图去雨方法和*** | |
Zhang et al. | Adaptive residual networks for high-quality image restoration | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN106845478A (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
CN112884669B (zh) | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 | |
CN114170088A (zh) | 一种基于图结构数据的关系型强化学习***及方法 | |
CN114881871A (zh) | 一种融合注意力单幅图像去雨方法 | |
CN113808031A (zh) | 一种基于LSK-FNet模型的图像修复方法 | |
CN112085674B (zh) | 基于神经网络的航拍图像去模糊算法 | |
CN115880663A (zh) | 一种低照度环境交通标志检测与识别方法 | |
CN109598695B (zh) | 一种基于深度学习网络的无参考图像模糊程度估计方法 | |
CN112330573A (zh) | 基于人像的修图方法、装置、电子设备及存储介质 | |
CN115439804A (zh) | 一种用于高铁检修的监测方法以及装置 | |
CN114693685A (zh) | 无监督的缺陷检测模型的训练方法、缺陷检测方法 | |
CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
Rai et al. | Low-light robust face image super-resolution via neuro-fuzzy inferencing-based locality constrained representation | |
CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
CN112991239A (zh) | 一种基于深度学习的图像反向恢复方法 | |
CN116862880A (zh) | 一种融合卷积和注意力机制的无参考图像质量评估方法 | |
Du et al. | UIEDP: Underwater Image Enhancement with Diffusion Prior | |
CN115661803A (zh) | 图像清晰度检测方法、电子设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |