CN113205468B - 一种基于自注意力机制和gan的水下图像实时复原模型方法 - Google Patents
一种基于自注意力机制和gan的水下图像实时复原模型方法 Download PDFInfo
- Publication number
- CN113205468B CN113205468B CN202110607071.8A CN202110607071A CN113205468B CN 113205468 B CN113205468 B CN 113205468B CN 202110607071 A CN202110607071 A CN 202110607071A CN 113205468 B CN113205468 B CN 113205468B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- underwater
- gan
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 25
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 7
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 32
- 239000002131 composite material Substances 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于自注意力机制和GAN的水下图像实时复原模型,属于深度学习技术领域。它将生成对抗网络作为基本架构,生成网络采用编码‑解码结构,通过9个残差块和反卷积运算,以原始分辨率生成合成图像,并引入自注意力模块,可以捕获更丰富的高级特征以提升模型性能,为了同时保持图像内容和去除水下噪声,判别网络采用一种包含对抗分支和批评分支的多分支判别器的结构。本发明通过增加自注意力模块,改进模型结构较为理想地解决了水下图像处理时间效率低的问题,训练有素的基于GAN‑RS的方法可以适应各种水下情况,具有出色的实时处理性能。
Description
技术领域
本发明涉及图像处理和深度学习技术领域,更具体的说,本发明面向水下退化图像的复原任务。
背景技术
近年来,水下机器人被广泛应用于海洋资源探索等方面,水下退化图像的增强和复原技术由于其对于海洋探索开发利用的重要意义而备受关注。海洋环境复杂度多样,多重不利因素如光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。水下图像增强与复原技术旨在对退化的水下图像进行修复,以期改善原始水下图像的对比度低、颜色失真、细节模糊等问题,以获得更加清晰的水下图像。水下图像的复原方法依赖具体的物理模型,需考虑图像质量下降的根本原因,并使其恢复降质前的状态。那么如何学习一个真实、合理的水下成像模型,受先验知识和假设条件的约束。
发明内容
本发明的目的在于针对图像处理的实时性要求,提出一种基于自注意力机制和GAN的水下图像实时复原模型方法。
本发明的目的是通过以下技术方案来实现的:一种基于自注意力机制和GAN的水下图像实时复原模型方法,包括以下步骤:
1.一种基于自注意力机制和GAN的水下图像实时复原模型方法,其特征在于:具体实现步骤如下:
S1、相关工作:
S1.1、生成对抗网络模型:GAN是由生成器和判别器两个网络组成的深度神经网络;生成器和判别器均采用博弈论中零和博弈的思想,其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系,以生成高质量的清晰水下图像;判别器的目标是使网络学会区分生成的虚假图像和真实的参考图。判别器的任务是双重的,即,第一,保存图像内容;第二,去除水下噪音。在对抗的过程中,两者共同制约,共同进步,使生成模型生成的样本更接近真实样本,从而获得所需样本;
S1.2、:自我注意力模块:自注意力机制计算图像中任意两个像素点之间的关系,以获得图像的全局几何特征。它是一种使内部细节与外部感官保持一致的机制,以提高某些区域的观察精度。自注意力机制是对注意力机制的改进,能够快速提取稀疏矩阵数据的重要特征,并且减少了对外部信息的依赖,能够更好地捕捉数据或特征的内部相关性;
S2、提出的模型和学习:
S2.1、建立模型框架:架构包括一个生成网络G和一个多分支的判别网络D,D包含一个对抗分支Adversarial branch和一个批评分支Critic branch。基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构。经过反卷积运算,以原始分辨率生成合成图像。为了同时保持图像内容和去除水下噪声,判别网络D将一组水下原始图像和合成图像作为输入,通过正向传播CNN从两个方面分析图像,然后生成对抗映射和水下索引映射。判别网络D的主干是一层卷积,为了保持图像内容,通过对抗分支识别图像真伪。另一方面,批评分支被精心设计成一种回归,以辨别图像是否属于水下场景。即评估图像中水下特性的强度,促进图像发生器产生无水下噪声的图像;
S2.2、增添自注意力模块:
记自注意力模块输入为前一个隐藏层中的卷积特征图x∈RC×H×W,将其维度变为x∈RC×N,其中C为通道数,N=H×W。首先使用两个1×1卷积对输入x执行Wf∈R℃×C和Wg∈R℃×C运算后,f(x)=Wfx,g(x)=Wgx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间,其中℃=C/8;将两个张量转换为矩阵形式,然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算,得到注意力图β∈RN×N:
βj,i用来表示模型合成区域j的图像内容区域i的相关性,两个位置的特征表示越相似,它们之间的相关性越强。同时,将全局信息和局部信息整合到一起,将x输入到1×1卷积进行线性变换Wh∈RC×C得到特征图h(x)=Whx,然后将注意力图β和h(x)相乘得到自注意力特征图,记为o=(o1,o2,...,oj,...,oN)∈RC×N,并将其形状变为RC×H×W,得到:
最后,得到注意力层的输出为:
yi=γoi+xi
为了兼顾领域信息和远距离特征相关性,引入初始化为0参数γ,并能通过逐步的学习来更新其权重参数,让网络首先关注领域信息,之后再关联到全局其他位置的特征。因此自注意力模块具有关联全局信息,建立长远依赖关系能力;
S3、基于自注意力机制和生成对抗网络:
S3.1、生成网络:为了提高网络的鲁棒性,在网络中加入残差块,经过反卷积运算,以原始分辨率生成合成图像;
S3.2、对抗网络:这两个分支是使用单元的堆栈来关注图像特征。作为权衡,使用4个CBR单元构建对抗分支,而批评分支使用6个单元;
3.在一个优选地实施方式中,所述步骤S2.2在生成器和判别器批评分支引入自注意力模块Self-Attention。
4.在一个优选地实施方式中,所述步骤S3由于交叉熵在训练过程中可能出现导致梯度消失问题,使用最小二乘形式损失函数:
其中,Llsc为对抗损失,GAND和GANG分别是GAN中的判别网络和生成网络,生成网络输入为原始水下图像x,z为随机采样的噪音,G(x,z)=y表示通过生成网络生成合成图像y,pdata(x)和pdata(z)分边表示x分布和随机噪音z分布,是数据x服从x的概率期望值与数据x服从y的概率期望值,是数据x服从x的概率期望值与数据z服从z的概率期望值;a和b分别是真实数据和合成数据的标签,其中a=1,b=0;Da(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率;Da(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率,Da(x,y)和Da(x,G(x,z))的值越接近数值1,表示其判别性能越好。
如果使用传统的单一分支判别网络,GAN就会将真实图像作为理想输出,为了进一步提高图像质量,促进判别网络生成去除水下噪音的图像,提出一种新的损失函数来训练批评分支,即水下指数损失函数LU。
水下指标U:
do、da、db用来区分水下图像和空中图像,al表示L通道的平均值
该模型使用L2范式函数进行学习,其中是数据y服从y分布的概率期望值,是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值;与分别是在判别网络与生成网络中训练的水下指数损失函数;Dc(y)是新判别器分支网络c判断合成图片y是否真实的概率,Dc(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率;U(y)表示水下指标网络判断合成图片y是否真实的概率,U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率。
内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像,图像内容函数φ()是通过预先训练完成所提取的高级特征,此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的。定义如下:
Lcon=Ex,y[||φ(y)-φ(G(x))||2]
其中,Ex,y是数据x与y服从分布的概率期望值,φ(y)和φ(G(x))均为提取的高级特征;
使用多项损失函数进行网络模型的学习,这有利于网络参数的加速收敛,同时可以提高模型的鲁棒性。目标函数通过将对抗损失Llsc、水下指数损失函数LU、内容感知损失Lcon进行线性叠加,得到:
LD=WGANLlscGAND+WULUD
LG=WGANLlscGANG+WULUG+WconLcon
其中WGAN为GAN的权衡参数,WU是水下指数损失函数的权衡参数,Wcon是内容感知损失的权衡参数,GAND是GAN网络中的判别器,GANG是GAN网络中的生成器;最优模型为D*=argDminLD,G*=argGminLG,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。
本发明的技术效果和优点:
基于CNN设计的网络架构无法关联全局信息,建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息,为了提高深度学习对图像细节、边缘轮廓的学习能力,将注意力机制结合到深度网络模型中,在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果,能够自适应地实时改善水下视觉质量,并产生整体优越的恢复性能。
附图说明
图1为本发明生成对抗网络工作原理示意图
图2为本发明基于自注意力机制和GAN的水下图像实时复原模型方法框架示意图
具体实施方式
下面结合具体实施方式对本发明一种基于自注意力机制和GAN的水下图像实时复原模型方法作进一步的详述。
本发明提出的基于自注意力机制和GAN的水下图像实时复原模型方法引入了自注意力模块,具体实现步骤如下:
S1、相关工作:
S1.1、生成对抗网络模型:GAN是由生成器和判别器两个网络组成的深度神经网络。生成器和判别器均采用博弈论中零和博弈的思想,其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系,以生成高质量的清晰水下图像;判别器的目标是使网络学会区分生成的虚假图像和真实的参考图。判别器的任务是双重的,即,第一,保存图像内容;第二,去除水下噪音。在对抗的过程中,两者共同制约,共同进步,使生成模型生成的样本更接近真实样本,从而获得所需样本;
S1.2、:自我注意力模块:自注意力机制计算图像中任意两个像素点之间的关系,以获得图像的全局几何特征。它是一种使内部细节与外部感官保持一致的机制,以提高某些区域的观察精度。自注意力机制是对注意力机制的改进,能够快速提取稀疏矩阵数据的重要特征,并且减少了对外部信息的依赖,能够更好地捕捉数据或特征的内部相关性;
S2、提出的模型和学习:
S2.1、建立模型框架:架构包括一个生成网络G和一个多分支的判别网络D,而D包含一个对抗分支Adversarial branch和一个批评分支Critic branch。基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构。经过反卷积运算,以原始分辨率生成合成图像。为了同时保持图像内容和去除水下噪声,判别网络D将一组水下原始图像和合成图像作为输入,通过正向传播CNN从两个方面分析图像,然后生成对抗映射和水下索引映射。判别网络D的主干是一层卷积,为了保持图像内容,通过对抗分支识别图像真伪。另一方面,批评分支被精心设计成一种回归,以辨别图像是否属于水下场景。即评估图像中水下特性的强度,促进图像发生器产生无水下噪声的图像;
S2.2、增添自注意力模块:基于CNN设计的网络架构无法关联全局信息,建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息,为了提高深度学习对图像细节、边缘轮廓的学习能力,将注意力机制结合到深度网络模型中,在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果,能自适应地实时改善水下视觉质量,并产生整体优越的恢复性能;
记自注意力模块输入为前一个隐藏层中的卷积特征图x∈RC×H×W,将其维度变为x∈RC×N,其中C为通道数,N=H×W。首先使用两个1×1卷积对输入x执行Wf∈R℃×C和Wg∈R℃×C运算后,f(x)=Wfx,g(x)=Wgx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间,其中℃=C/8;将两个张量转换为矩阵形式,然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算,得到注意力图β∈RN×N:
βj,i用来表示模型合成区域j的图像内容区域i的相关性,两个位置的特征表示越相似,它们之间的相关性越强。同时,将全局信息和局部信息整合到一起,将x输入到1×1卷积进行线性变换Wh∈RC×C得到特征图h(x)=Whx,然后将注意力图β和h(x)相乘得到自注意力特征图,记为o=(o1,o2,...,oj,...,oN)∈RC×N,并将其形状变为RC×H×W,得到:
最后,得到注意力层的输出为:
yi=γoi+xi
为了兼顾领域信息和远距离特征相关性,引入初始化为0参数γ,并能通过逐步的学习来更新其权重参数,让网络首先关注领域信息,之后再关联到全局其他位置的特征。因此自注意力模块具有关联全局信息,建立长远依赖关系能力;
S3、基于自注意力机制和生成对抗网络:
S3.1、生成网络:为了提高网络的鲁棒性,在网络中加入残差块,经过反卷积运算,以原始分辨率生成合成图像;
S3.2、对抗网络:这两个分支是使用单元的堆栈来关注图像特征。作为权衡,使用4个CBR单元构建对抗分支,而批评分支使用6个单元;
由于交叉熵在训练过程中可能出现导致梯度消失问题,使用最小二乘形式损失函数:
其中,Llsc为对抗损失,GAND和GANG分别是GAN中的判别网络和生成网络,生成网络输入为原始水下图像x,z为随机采样的噪音,G(x,z)=y表示通过生成网络生成合成图像y,pdata(x)和pdata(z)分边表示x分布和随机噪音z分布,是数据x服从x的概率期望值与数据x服从y的概率期望值,是数据x服从x的概率期望值与数据z服从z的概率期望值;a和b分别是真实数据和合成数据的标签,其中a=1,b=0;Da(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率;Da(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率,Da(x,y)和Da(x,G(x,z))的值越接近数值1,表示其判别性能越好。
如果使用传统的单一分支判别网络,GAN就会将真实图像作为理想输出,为了进一步提高图像质量,促进判别网络生成去除水下噪音的图像,提出一种新的损失函数来训练批评分支,即水下指数损失函数LU。
水下指标U:
do、da、db用来区分水下图像和空中图像,al表示L通道的平均值
该模型使用L2范式函数进行学习,其中是数据y服从y分布的概率期望值,是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值;与分别是在判别网络与生成网络中训练的水下指数损失函数;Dc(y)是新判别器分支网络c判断合成图片y是否真实的概率,Dc(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率;U(y)表示水下指标网络判断合成图片y是否真实的概率,U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率。
内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像,图像内容函数φ()是通过预先训练完成所提取的高级特征,此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的;定义如下:
Lcon=Ex,y[||φ(y)-φ(G(x))||2]
其中,Ex,y是数据x与y服从分布的概率期望值,φ(y)和φ(G(x))均为提取的高级特征;
使用多项损失函数进行网络模型的学习,这有利于网络参数的加速收敛,同时可以提高模型的鲁棒性。目标函数通过将对抗损失Llsc、水下指数损失函数LU、内容感知损失Lcon进行线性叠加,得到:
LD=WGANLlscGAND+WULUD
LG=WGANLlscGANG+WULUG+WconLcon
其中WGAN为GAN的权衡参数,WU是水下指数损失函数的权衡参数,Wcon是内容感知损失的权衡参数,GAND是GAN网络中的判别器,GANG是GAN网络中的生成器;最优模型为D*=argDminLD,G*=argGminLG,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。
在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果,能够自适应地实时改善水下视觉质量,并产生整体优越的恢复性能。
Claims (3)
1.一种基于自注意力机制和GAN的水下图像实时复原模型方法,其特征在于:具体实现步骤如下:
S1、相关工作:
S1.1、生成对抗网络模型:GAN是由生成器和判别器两个网络组成的深度神经网络;生成器和判别器均采用博弈论中零和博弈的思想,其中生成器的目标是学习退化水下图像与清晰水下图像间的映射关系,以生成高质量的清晰水下图像;判别器的目标是使网络学会区分生成的虚假图像和真实的参考图;判别器的任务是双重的,即,第一,保存图像内容;第二,去除水下噪音;在对抗的过程中,两者共同制约,共同进步,使生成模型生成的样本更接近真实样本,从而获得所需样本;
S1.2、:自我注意力模块:自注意力机制计算图像中任意两个像素点之间的关系,以获得图像的全局几何特征;它是一种使内部细节与外部感官保持一致的机制,以提高某些区域的观察精度;自注意力机制是对注意力机制的改进,能够快速提取稀疏矩阵数据的重要特征,并且减少了对外部信息的依赖,能够更好地捕捉数据或特征的内部相关性;
S2、提出的模型和学习:
S2.1、建立模型框架:架构包括一个生成网络G和一个多分支的判别网络D,D包含一个对抗分支Adversarial branch和一个批评分支Critic branch;基于正向传播CNN的生成网络G是一种由9个残差块叠加组成的编码器-解码器结构;经过反卷积运算,以原始分辨率生成合成图像;为了同时保持图像内容和去除水下噪声,判别网络D将一组水下原始图像和合成图像作为输入,通过正向传播CNN从两个方面分析图像,然后生成对抗映射和水下索引映射;判别网络D的主干是一层卷积,为了保持图像内容,通过对抗分支识别图像真伪;另一方面,批评分支被精心设计成一种回归,以辨别图像是否属于水下场景;即评估图像中水下特性的强度,促进图像发生器产生无水下噪声的图像;
S2.2、增添自注意力模块:基于CNN设计的网络架构无法关联全局信息,建立长距离、多层级的依赖关系,在场景几何结构复杂处、边缘细节和远处物体这些地方易丢失纹理细节的信息,为了提高深度学习对图像细节、边缘轮廓的学习能力,将注意力机制结合到深度网络模型中,在公开数据集UIEBD上展现了所提出的模型和方法的高质量结果,能自适应地实时改善水下视觉质量,并产生整体优越的恢复性能;
记自注意力模块输入为前一个隐藏层中的卷积特征图x∈RC×H×W,将其维度变为x∈RC ×N,其中C为通道数,N=H×W;首先使用两个1×1卷积对输入x执行Wf∈R℃×C和Wg∈R℃×C运算后,f(x)=Wfx,g(x)=Wgx表示将具有不同权重矩阵的图像特征相乘而获得的两个特征空间,其中℃=C/8;将两个张量转换为矩阵形式,然后将f(x)的转置与g(x)相乘得到的结果进行softmax运算,得到注意力图β∈RN×N:
βj,i用来表示模型合成区域j的图像内容区域i的相关性,两个位置的特征表示越相似,它们之间的相关性越强;同时,将全局信息和局部信息整合到一起,将x输入到1×1卷积进行线性变换Wh∈RC×C得到特征图h(x)=Whx,然后将注意力图β和h(x)相乘得到自注意力特征图,记为o=(o1,o2,...,oj,...,oN)∈RC×N,并将其形状变为RC×H×W,得到:
最后,得到注意力层的输出为:
yi=γoi+xi
为了兼顾领域信息和远距离特征相关性,引入初始化为0参数γ,并能通过逐步的学习来更新其权重参数,让网络首先关注领域信息,之后再关联到全局其他位置的特征;因此自注意力模块具有关联全局信息,建立长远依赖关系能力;
S3、基于自注意力机制和生成对抗网络:
S3.1、生成网络:为了提高网络的鲁棒性,在网络中加入残差块,经过反卷积运算,以原始分辨率生成合成图像;
S3.2、对抗网络:这两个分支是使用CBR单元的堆栈来关注图像特征;作为权衡,使用4个CBR单元构建对抗分支,而批评分支使用6个单元。
2.根据权利要求1所述的基于自注意力机制和GAN的水下图像实时复原模型方法,其特征在于:在生成器和判别器批评分支引入自注意力模块Self-Attention。
3.根据权利要求1所述的基于自注意力机制和GAN的水下图像实时复原模型方法,其特征在于:由于交叉熵在训练过程中可能出现导致梯度消失问题,使用最小二乘形式损失函数:
其中,Llsc为对抗损失,GAND和GANG分别是GAN中的判别网络和生成网络,生成网络输入为原始水下图像x,z为随机采样的噪音,G(x,z)=y表示通过生成网络生成合成图像y,pdata(x)和pdata(z)分边表示x分布和随机噪音z分布,是数据x服从x的概率期望值与数据x服从y的概率期望值,是数据x服从x的概率期望值与数据z服从z的概率期望值;a和b分别是真实数据和合成数据的标签,其中a=1,b=0;Da(x,y)表示判别网络判断原始水下图像x是否与网络生成图像y相似的概率;Da(x,G(x,z))表示判别网络判断原始水下图像x是否与网络生成图像G(x,z)相似的概率,Da(x,y)和Da(x,G(x,z))的值越接近数值1,表示其判别性能越好;
如果使用传统的单一分支判别网络,GAN就会将真实图像作为理想输出,为了进一步提高图像质量,促进判别网络生成去除水下噪音的图像,提出一种新的损失函数来训练批评分支,即水下指数损失函数LU;
水下指标U:
do、da、db用来区分水下图像和空中图像,al表示L通道的平均值
该模型使用L2范式函数进行学习,其中是数据y服从y分布的概率期望值,是数据x服从y分布的概率期望值和数据z服从z分布的概率期望值;与分别是在判别网络与生成网络中训练的水下指数损失函数;Dc(y)是新判别器分支网络c判断合成图片y是否真实的概率,Dc(G(x,z))是新判别器分支网络c判断合成图片G(x,z)是否真实的概率;U(y)表示水下指标网络判断合成图片y是否真实的概率,U(G(x,z))表示水下指标网络判断合成图片G(x,z)是否真实的概率;
内容感知损失可指导G生成与参考图像内容尽可能形似的合成图像,图像内容函数φ()是通过预先训练完成所提取的高级特征,此高级特征是由牛津大学实验室发明的VGG-19网络的第五个卷积块里面的第二个卷积层conv5_2提取的;定义如下:
Lcon=Ex,y[||φ(y)-φ(G(x))||2]
其中,Ex,y是数据x与y服从分布的概率期望值,φ(y)和φ(G(x))均为提取的高级特征;
其中WGAN为GAN的权衡参数,WU是水下指数损失函数的权衡参数,Wcon是内容感知损失的权衡参数,GAND是GAN网络中的判别器,GANG是GAN网络中的生成器;最优模型为D*=argDminLD,G*=argGminLG,G和D使用各自的具有分别以及同时训练功能的反向传播优化器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110607071.8A CN113205468B (zh) | 2021-06-01 | 2021-06-01 | 一种基于自注意力机制和gan的水下图像实时复原模型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110607071.8A CN113205468B (zh) | 2021-06-01 | 2021-06-01 | 一种基于自注意力机制和gan的水下图像实时复原模型方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113205468A CN113205468A (zh) | 2021-08-03 |
CN113205468B true CN113205468B (zh) | 2022-08-09 |
Family
ID=77024274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110607071.8A Expired - Fee Related CN113205468B (zh) | 2021-06-01 | 2021-06-01 | 一种基于自注意力机制和gan的水下图像实时复原模型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113205468B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537401B (zh) * | 2021-08-13 | 2022-08-02 | 哈尔滨工程大学 | 一种基于改进的生成对抗网络的水下图像翻译方法 |
CN114998683B (zh) * | 2022-06-01 | 2024-05-31 | 北京理工大学 | 一种基于注意力机制的ToF多径干扰去除方法 |
CN115049562A (zh) * | 2022-07-05 | 2022-09-13 | 福州大学 | 基于失真引导的水下图像复原方法 |
CN116309232B (zh) * | 2023-05-15 | 2023-08-18 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
CN116612013B (zh) * | 2023-07-19 | 2023-10-31 | 山东智洋上水信息技术有限公司 | 一种红外图像超分方法及其移植至前端设备的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373026B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments |
CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109118445B (zh) * | 2018-07-27 | 2021-10-08 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
US11232541B2 (en) * | 2018-10-08 | 2022-01-25 | Rensselaer Polytechnic Institute | CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle) |
CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
CN110555458B (zh) * | 2019-07-24 | 2022-04-19 | 中北大学 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
CN111062880B (zh) * | 2019-11-15 | 2023-07-28 | 南京工程学院 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
US11501415B2 (en) * | 2019-11-15 | 2022-11-15 | Huawei Technologies Co. Ltd. | Method and system for high-resolution image inpainting |
CN110969589B (zh) * | 2019-12-03 | 2023-06-02 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
CN111047541B (zh) * | 2019-12-30 | 2023-06-02 | 北京工业大学 | 一种基于小波变换注意力模型的图像修复方法 |
CN111275637B (zh) * | 2020-01-15 | 2024-01-30 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
CN111612718A (zh) * | 2020-05-21 | 2020-09-01 | 中山大学 | 一种引入注意力机制的人脸图像修复方法 |
CN111738940B (zh) * | 2020-06-02 | 2022-04-12 | 大连理工大学 | 一种人脸图像眼部补全方法 |
CN111833261A (zh) * | 2020-06-03 | 2020-10-27 | 北京工业大学 | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 |
CN112419242B (zh) * | 2020-11-10 | 2023-09-15 | 西北大学 | 基于自注意力机制gan网络的无参考图像质量评价方法 |
-
2021
- 2021-06-01 CN CN202110607071.8A patent/CN113205468B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373026B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments |
CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
Non-Patent Citations (1)
Title |
---|
一种基于自注意力机制的文本图像生成对抗网络;黄宏宇等;《重庆大学学报》;20200315(第03期);第59-65页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113205468A (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113205468B (zh) | 一种基于自注意力机制和gan的水下图像实时复原模型方法 | |
CN106204468B (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
Yang et al. | Low complexity underwater image enhancement based on dark channel prior | |
CN110458765B (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
Ma et al. | Learning to jointly generate and separate reflections | |
CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及*** | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
CN111489405A (zh) | 基于条件增强生成对抗网络的人脸草图合成*** | |
CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
CN114663297A (zh) | 一种基于多尺度密集生成对抗网络的水下图像增强方法及网络模型的训练方法 | |
Sun et al. | ESinGAN: Enhanced single-image GAN using pixel attention mechanism for image super-resolution | |
Li et al. | An improved method for underwater image super-resolution and enhancement | |
Chen et al. | Learning a multi-scale deep residual network of dilated-convolution for image denoising | |
Niu et al. | Underwater Waste Recognition and Localization Based on Improved YOLOv5. | |
Ma et al. | Cloud-egan: Rethinking cyclegan from a feature enhancement perspective for cloud removal by combining cnn and transformer | |
CN115018733A (zh) | 一种基于生成对抗网络的高动态范围成像及鬼影去除方法 | |
Zhao et al. | Single image dehazing based on enhanced generative adversarial network | |
Zhang et al. | SDTCN: Similarity driven transmission computing network for image dehazing | |
CN114066750A (zh) | 一种基于域变换的自编码器去模糊方法 | |
CN113724156A (zh) | 一种结合大气散射模型的生成对抗网络去雾方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220809 |
|
CF01 | Termination of patent right due to non-payment of annual fee |