CN112686119B - 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 - Google Patents
基于自注意力生成对抗网络的车牌运动模糊图像处理方法 Download PDFInfo
- Publication number
- CN112686119B CN112686119B CN202011557456.XA CN202011557456A CN112686119B CN 112686119 B CN112686119 B CN 112686119B CN 202011557456 A CN202011557456 A CN 202011557456A CN 112686119 B CN112686119 B CN 112686119B
- Authority
- CN
- China
- Prior art keywords
- convolution
- network
- self
- license plate
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于自注意力生成对抗网络的车牌运动模糊图像处理方法,由数据集预处理、构建网络模型、训练生成对抗网络、保存权重文件、测试网络步骤组成。由于本发明采用了生成对抗网络,生成对抗网络是在特征金字塔网络的生成器和双重判别器上添加了自注意力机制构成,训练集在生成对抗网络中进行训练,测试集采用保存训练过程中的权重文件进行测试,充分地利用了图像中结构和几何信息,去除了车牌图像中的运动模糊,解决了车牌运动模糊图像处理方法复杂,处理速度慢的技术问题。与现有技术相比,本发明具有方法简单、处理速度快、处理后车牌的文字清晰等优点,可用于车牌运动模糊图像处理。
Description
技术领域
本发明属于计算机视觉技术领域,具体地涉及到车牌运动模糊图片处理。
背景技术
运动模糊图片处理旨在去除存在运动模糊的图片中的运动模糊。随着互联网的发展和个人智能移动设备的大量增加,人们正产生、存储和使用大量的图片;图片中有时存在运动模糊而影响正常的识别操作等,需要对运动模糊图片处理和恢复,在计算机视觉中是基础。由于其广泛的应用场景和研究价值,该技术在学术界和工业界均引起了越来越多的关注。
目前大部分运动模糊图片处理方法可以分成两大类别:一类是传统上通过盲或非盲方式对图像运动去模糊处理作为反卷积问题处理,第二类是使用卷积神经网络对模糊核进行估计,近年来使用GAN用于图像恢复的成功也实现了运动模糊图片处理。其中包括Orest Kupyn等人提出的DeblurGANv2进行图像运动模糊移除。然而由于车牌图像中文字和数字有特定的结构和几何特征的情况,以及网络中需要考虑同个特征图内不同部分细节之间的影响,现有的方法无法全面考虑到图像中的结构几何信息和网络特征图间各部分的影响。
针对现有方法存在的技术问题,本发明提出基于自注意力生成对抗网络的车牌运动模糊图像处理方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点,提供一种方法简单、恢复效果好的基于自注意力生成对抗网络的车牌运动模糊图像处理方法。
解决上述技术问题所采用的技术方案是由下述步骤组成:
(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素。
1)随机生成角度τ,角度范围是(0,2π),对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片数据集B0。
2)将车牌清晰图片数据集S0与相对应的车牌模糊图片数据集B0构成清晰-模糊图片对数据集;
3)清晰-模糊图片对数据集中按3:1的比例划分为训练集P和测试集Q,其中训练集P内车牌清晰图片数据集为S,车牌模糊图片数据集为B;训练集Q内车牌清晰图片数据集为S1,车牌模糊图片数据集为B1。
(2)构建网络模型
1)构建生成对抗网络模型的生成器G
A构建自注意力机制的基础特征提取网络
a模块1-1用基础E1卷积层块卷积操作得特征图C1,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为32。
b模块1-2用基础E2卷积层块对模块1-1输出的特征图卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为64,得到特征图C2。
c模块1-3用基础E3卷积层块对特征图C2卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为192,得到特征图C3。
d模块1-4用基础E4卷积层块对特征图C3卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为1088,得到特征图C4。
e模块1-5用基础E5卷积层块对特征图C4卷积操作,得到特征图C5。
B构建特征图融合网络
a模块1-6是卷积核大小为1×1的卷积层,对特征图C5卷积操作,得到特征图D5,用最近邻上采样法对特征图D5进行上采样,得到特征图K5。
b模块1-7是卷积核大小为1×1的卷积层,对特征图C4卷积操作与特征图K5叠加,连接卷积核大小为3×3的卷积层卷积操作,得到特征图D4,用最近邻上采样法对特征图D4进行上采样,得到特征图K4。
c模块1-8是卷积核大小为1×1的卷积层,对特征图C3卷积操作与特征图K4叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D3,用最近邻上采样法对特征图D3进行上采样,得到特征图K3。
d模块1-9是卷积核大小为1×1的卷积层,对特征图C2卷积操作与特征图K3叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D2。
e模块1-10是卷积核大小为1×1的卷积层,对特征图C1卷积操作得到特征图D1。
f模块1-11是对特征图集合{D2,D3,D4,D5}分别进行扩大因子为1,2,4,8的最近邻上采样法上采样操作,得到的结果拼接融合为特征图R1。
g模块1-12是卷积核大小为3×3的卷积层,对特征图R1卷积操作,串联自注意力机制卷积层网络I,用最近邻上采样法进行上采样操作,与特征图D1叠加,其后连接3×3卷积核的平滑卷积层。
2)构建生成对抗网络模型的判别器D
判别器D的构建方法如下:
A模块2-1是基础H1卷积层依次连接基础H2卷积层、自注意力机制卷积层网络I,自注意力机制卷积层网络I的输入通道数为256。
B模块2-2基础H3卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到局部信息判别器的概率值Pl。
C模块2-3基础H4卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512。
D模块2-4基础H5卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到全局信息判别器的概率值Pg。
3)自注意力机制卷积层网络I的构建方法
上述的自注意力机制卷积层网络I的构建方法如下:
A构建注意力影响权重分布层
按下式得到自注意力机制的影响权重分布图αj,i:
sij=f(xi)Tg(xj)
其中xi表示输入的特征图x上位置i的值,xj表示输入的特征图x上位置j的值,g(xj),f(xi)分别表示卷积核大小为1×1的卷积层对输入的特征图x上像素i,j卷积操作,i,j∈{1,2,...,N},N是图像上的位置总数,N为有限的正整数,μ的值是10,ω的值是0.5。
B构建自注意力特征图层
按下式得到自注意力机制特征图oj:
其中h(xi)表示卷积核大小为1×1的卷积层对输入的特征图x上像素i卷积操作,αj,i是影响权重分布层得到的输出结果。
C构建输出层
按下式得卷积层输出yj:
yj=γoj+xj
其中oj是自注意力层的输出结果,γ表示可训练权重,被初始化为0,表示模型将探索局部空间信息。
(3)训练生成对抗网络
1)确定损失函数
损失函数Loss由下式确定:
LG=0.5×Lp+0.006×LX+0.01×Ladv
其中Lp为均方误差损失,LX欧氏距离损失,Ladv对抗损失,Ladv由下式定义:
Ladv=Es~p(S)[(D(s)-Eb~p(B)D(G(b))-1)2]+Eb~p(B)[(D(G(b))-Es~p(S)D(s)+1)2]
其中s~p(S)表示从车牌清晰图片数据集S中取出清晰图片s,p(S)表示车牌清晰图片数据集S中的概率分布;b~p(B)表示从车牌模糊图片数据集B中取出模糊图片b,p(B)表示车牌模糊图片数据集B中的概率分布;D(s)表示判别器对输入的清晰图片s判别为真的概率,G(b)表示输入模糊图片b后生成器G的输出结果图片,D(G(b))表示判断生成器在输入模糊图片b后的输出是否为真的概率,E[·]表示对括号内部值取期望。
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],训练迭代直至生成对抗网络的损失函数Loss收敛。
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000]。
(5)测试网络
将测试集Q中车牌模糊图片数据集B1中的模糊图像输入到基于自注意力机制的生成对抗网络模型,加载保存的参数和权重文件,输出清晰车牌图像。
在本发明的训练生成对抗网络的判别器D和生成器G步骤(3)的步骤2)中,Z最佳取值为8。
在本发明的保存权重文件步骤(4)中,M最佳取值为5000。
由于本发明采用了将车牌图片数据集分割成训练集、测试集,在特征金字塔网络的生成器和双重判别器上添加了自注意力机制构成生成对抗网络,训练集在生成对抗网络中进行训练,测试集采用保存训练过程中的权重文件进行测试,充分地利用了图像中结构和几何信息,去除了车牌图像中的运动模糊,解决了车牌运动模糊图像处理方法复杂,处理速度慢的技术问题。与现有技术相比,本发明具有方法简单、处理速度快、处理后车牌的文字清晰等优点,可用于车牌运动模糊图像处理。
附图说明
图1本发明实施例1的流程图。
图2是图1中构建网络模型的构建生成对抗网络模型的生成器流程图。
图3是图1中构建网络模型的构建生成对抗网络模型的判别器流程图。
图4是车牌模糊图片数据集B1中1张车牌模糊图片。
图5是采用实例1方法对图4的处理结果图。
具体实施方式
下面结合附图和实例对本发明进一步详细说明,但本发明不限于下述实施例。
实施例1
以在图片来自车牌清晰图片数据集中取4994张图片为例,本实施例的基于自注意力生成对抗网络的车牌运动模糊图像处理方法由下述步骤组成(参见图1):
(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素。
1)随机生成角度τ,角度范围是(0,2π),本实施例的生成角度τ取值为π,对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片(如图4所示)数据集B0。
2)将车牌清晰图片数据集S0与相对应的车牌模糊图片数据集B0构成清晰-模糊图片对数据集;
3)清晰-模糊图片对数据集中按3:1的比例划分为训练集P和测试集Q,其中训练集P内车牌清晰图片数据集为S,车牌模糊图片数据集为B;训练集Q内车牌清晰图片数据集为S1,车牌模糊图片数据集为B1。
(2)构建网络模型
在图2、图3中,本实施例的构建网络模型的方法如下:
1)构建生成对抗网络模型的生成器G
A构建自注意力机制的基础特征提取网络
a模块1-1用基础E1卷积层块卷积操作得特征图C1,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为32。
b模块1-2用基础E2卷积层块对模块1-1输出的特征图卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为64,得到特征图C2。
c模块1-3用基础E3卷积层块对特征图C2卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为192,得到特征图C3。
d模块1-4用基础E4卷积层块对特征图C3卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为1088,得到特征图C4。
e模块(1-5)用基础E5卷积层块对特征图C4卷积操作,得到特征图C5。
B构建特征图融合网络
a模块1-6是卷积核大小为1×1的卷积层,对特征图C5卷积操作,得到特征图D5,用最近邻上采样法对特征图D5进行上采样,得到特征图K5。
b模块1-7是卷积核大小为1×1的卷积层,对特征图C4卷积操作与特征图K5叠加,连接卷积核大小为3×3的卷积层卷积操作,得到特征图D4,用最近邻上采样法对特征图D4进行上采样,得到特征图K4。
c模块1-8是卷积核大小为1×1的卷积层,对特征图C3卷积操作与特征图K4叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D3,用最近邻上采样法对特征图D3进行上采样,得到特征图K3。
d模块1-9是卷积核大小为1×1的卷积层,对特征图C2卷积操作与特征图K3叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D2。
e模块1-10是卷积核大小为1×1的卷积层,对特征图C1卷积操作得到特征图D1。
f模块1-11是对特征图集合{D2,D3,D4,D5}分别进行扩大因子为1,2,4,8的最近邻上采样法上采样操作,得到的结果拼接融合为特征图R1。
g模块1-12是卷积核大小为3×3的卷积层,对特征图R1卷积操作,串联自注意力机制卷积层网络I,用最近邻上采样法进行上采样操作,与特征图D1叠加,其后连接3×3卷积核的平滑卷积层。
2)构建生成对抗网络模型的判别器D
本实施例判别器D的构建方法如下:
A模块2-1是基础H1卷积层依次连接基础H2卷积层、自注意力机制卷积层网络I,自注意力机制卷积层网络I的输入通道数为256。
B模块2-2基础H3卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到局部信息判别器的概率值Pl。
C模块2-3基础H4卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512。
D模块2-4基础H5卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到全局信息判别器的概率值Pg。
3)自注意力机制卷积层网络I的构建方法
上述的自注意力机制卷积层网络I的构建方法如下:
A构建注意力影响权重分布层
按下式得到自注意力机制的影响权重分布图αj,i:
sij=f(xi)Tg(xj)
其中xi表示输入的特征图x上位置i的值,xj表示输入的特征图x上位置j的值,g(xj),f(xi)分别表示卷积核大小为1×1的卷积层对输入的特征图x上像素i,j卷积操作,i,j∈{1,2,...,N},N是图像上的位置总数,N为有限的正整数,μ的值是10,ω的值是0.5。
B构建自注意力特征图层
按下式得到自注意力机制特征图oj:
其中h(xi)表示卷积核大小为1×1的卷积层对输入的特征图x上像素i卷积操作,αj,i是影响权重分布层得到的输出结果。
C构建输出层
按下式得卷积层输出yj:
yj=γoj+xj
其中oj是自注意力层的输出结果,γ表示可训练权重,被初始化为0,表示模型将探索局部空间信息。
(3)训练生成对抗网络
1)确定损失函数
损失函数Loss由下式确定:
LG=0.5×Lp+0.006×LX+0.01×Ladv
其中Lp为均方误差损失,LX欧氏距离损失,Ladv对抗损失,Ladv由下式定义:
Ladv=Es~p(S)[(D(s)-Eb~p(B)D(G(b))-1)2]+Eb~p(B)[(D(G(b))-Es~p(S)D(s)+1)2]
其中s~p(S)表示从车牌清晰图片数据集S中取出清晰图片s,p(S)表示车牌清晰图片数据集S中的概率分布;b~p(B)表示从车牌模糊图片数据集B中取出模糊图片b,p(B)表示车牌模糊图片数据集B中的概率分布;D(s)表示判别器对输入的清晰图片s判别为真的概率,G(b)表示输入模糊图片b后生成器G的输出结果图片,D(G(b))表示判断生成器在输入模糊图片b后的输出是否为真的概率,E[·]表示对括号内部值取期望。
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],本实施例的Z取值为8,训练迭代直至生成对抗网络的损失函数Loss收敛。
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000],本实施例的M取值为5000。
(5)测试网络
将测试集Q中车牌模糊图片数据集B1中的模糊图像输入到基于自注意力机制的生成对抗网络模型,加载保存的参数和权重文件,输出清晰车牌图像,如图5所示。
由于本发明采用了将车牌图片数据集分割成训练集、测试集,在特征金字塔网络的生成器和双重判别器上添加了自注意力机制构成生成对抗网络,训练集在生成对抗网络中进行训练,测试集采用保存训练过程中的权重文件进行测试,充分地利用了图像中结构和几何信息,去除了车牌图像中的运动模糊,解决了车牌运动模糊图像处理方法复杂,处理速度慢的技术问题。与现有技术相比,本发明具有方法简单、处理速度快、处理后车牌的文字清晰等优点,可用于车牌运动模糊图像处理。
实施例2
以在图片来自车牌清晰图片数据集中取4994张图片为例,本实施例的基于自注意力生成对抗网络的车牌运动模糊图像处理方法由下述步骤组成:
(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素。
随机生成角度τ,角度范围是[0,2π],本实施例的生成角度τ取值为对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片数据集B0。
该步骤的其它步骤与实施例1相同。
(2)构建网络模型
该步骤与实施例1相同
(3)训练生成对抗网络
1)确定损失函数
该步骤与实施例1相同。
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],本实施例的Z取值为4,训练迭代直至生成对抗网络的损失函数Loss收敛。
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000],本实施例的M取值为100。
其它步骤与实施例1相同。输出清晰车牌图像。
实施例3
以在图片来自车牌清晰图片数据集中取4994张图片为例,本实施例的基于自注意力生成对抗网络的车牌运动模糊图像处理方法由下述步骤组成:
(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素。
随机生成角度τ,角度范围是[0,2π],本实施例的生成角度τ取值为对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片数据集B0。
该步骤的其它步骤与实施例1相同。
(2)构建网络模型
该步骤与实施例1相同
(3)训练生成对抗网络
1)确定损失函数
该步骤与实施例1相同。
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],本实施例的Z取值为16,训练迭代直至生成对抗网络的损失函数Loss收敛。
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000],本实施例的M取值为10000。
其它步骤与实施例1相同,输出清晰车牌图像。
Claims (3)
1.一种基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于由下述步骤组成:
(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素;
1)随机生成角度τ,角度范围是(0,2π),对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片数据集B0;
2)将车牌清晰图片数据集S0与相对应的车牌模糊图片数据集B0构成清晰-模糊图片对数据集;
3)清晰-模糊图片对数据集中按3:1的比例划分为训练集P和测试集Q,其中训练集P内车牌清晰图片数据集为S,车牌模糊图片数据集为B;训练集Q内车牌清晰图片数据集为S1,车牌模糊图片数据集为B1;
(2)构建网络模型
1)构建生成对抗网络模型的生成器G
A构建自注意力机制的基础特征提取网络
模块1-1用基础E1卷积层块卷积操作得特征图C1,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为32;
模块1-2用基础E2卷积层块对模块1-1输出的特征图卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为64,得到特征图C2;
模块1-3用基础E3卷积层块对特征图C2卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为192,得到特征图C3;
模块1-4用基础E4卷积层块对特征图C3卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为1088,得到特征图C4;
模块1-5用基础E5卷积层块对特征图C4卷积操作,得到特征图C5;
B构建特征图融合网络:
模块1-6是卷积核大小为1×1的卷积层,对特征图C5卷积操作,得到特征图D5,用最近邻上采样法对特征图D5进行上采样,得到特征图K5;
模块1-7是卷积核大小为1×1的卷积层,对特征图C4卷积操作与特征图K5叠加,连接卷积核大小为3×3的卷积层卷积操作,得到特征图D4,用最近邻上采样法对特征图D4进行上采样,得到特征图K4;
模块1-8是卷积核大小为1×1的卷积层,对特征图C3卷积操作与特征图K4叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D3,用最近邻上采样法对特征图D3进行上采样,得到特征图K3;
模块1-9是卷积核大小为1×1的卷积层,对特征图C2卷积操作与特征图K3叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D2;
模块1-10是卷积核大小为1×1的卷积层,对特征图C1卷积操作得到特征图D1;
模块1-11是对特征图集合{D2,D3,D4,D5}分别进行扩大因子为1,2,4,8的最近邻上采样法上采样操作,得到的结果拼接融合为特征图R1;
模块1-12是卷积核大小为3×3的卷积层,对特征图R1卷积操作,串联自注意力机制卷积层网络I,用最近邻上采样法进行上采样操作,与特征图D1叠加,其后连接3×3卷积核的平滑卷积层;
2)构建生成对抗网络模型的判别器D
判别器D的构建方法如下:
模块2-1是基础H1卷积层依次连接基础H2卷积层、自注意力机制卷积层网络I,自注意力机制卷积层网络I的输入通道数为256;
模块2-2基础H3卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到局部信息判别器的概率值Pl;
模块2-3基础H4卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512;
模块2-4基础H5卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到全局信息判别器的概率值Pg;
3)自注意力机制卷积层网络I的构建方法
上述的自注意力机制卷积层网络I的构建方法如下:
A构建注意力影响权重分布层
按下式得到自注意力机制的影响权重分布图αj,i:
sij=f(xi)Tg(xj)
其中xi表示输入的特征图x上位置i的值,xj表示输入的特征图x上位置j的值,g(xj),f(xi)分别表示卷积核大小为1×1的卷积层对输入的特征图x上像素j,i卷积操作,i,j∈{1,2,...,N},N是图像上的位置总数,N为有限的正整数,μ的值是10,ω的值是0.5;
B构建自注意力特征图层
按下式得到自注意力机制特征图oj:
其中h(xi)表示卷积核大小为1×1的卷积层对输入的特征图x上像素i卷积操作,αj,i是影响权重分布层得到的输出结果;
C构建输出层
按下式得卷积层输出yj:
yj=γoj+xj
其中oj是自注意力层的输出结果,γ表示可训练权重,被初始化为0,表示模型将探索局部空间信息;
(3)训练生成对抗网络
1)确定损失函数
损失函数Loss由下式确定:
LG=0.5×Lp+0.006×LX+0.01×Ladv
其中Lp为均方误差损失,LX欧氏距离损失,Ladv对抗损失,Ladv由下式定义:
Ladv=Es~p(S)[(D(s)-Eb~p(B)D(G(b))-1)2]+Eb~p(B)[(D(G(b))-Es~p(S)D(s)+1)2]
其中s~p(S)表示从车牌清晰图片数据集S中取出清晰图片s,p(S)表示车牌清晰图片数据集S中的概率分布;b~p(B)表示从车牌模糊图片数据集B中取出模糊图片b,p(B)表示车牌模糊图片数据集B中的概率分布;D(s)表示判别器对输入的清晰图片s判别为真的概率,G(b)表示输入模糊图片b后生成器G的输出结果图片,D(G(b))表示判断生成器在输入模糊图片b后的输出是否为真的概率,E[·]表示对括号内部值取期望;
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],训练迭代直至生成对抗网络的损失函数Loss收敛;
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000];
(5)测试网络
将测试集Q中车牌模糊图片数据集B1中的模糊图像输入到基于自注意力机制的生成对抗网络模型,加载保存的参数和权重文件,输出清晰车牌图像。
2.根据权利要求1所述的基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于:在训练生成对抗网络的判别器D和生成器G步骤(3)的步骤2)中,所述的Z取值为8。
3.根据权利要求1所述的基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于:在保存权重文件步骤(4)中,所述的M取值为5000。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011557456.XA CN112686119B (zh) | 2020-12-25 | 2020-12-25 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011557456.XA CN112686119B (zh) | 2020-12-25 | 2020-12-25 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112686119A CN112686119A (zh) | 2021-04-20 |
CN112686119B true CN112686119B (zh) | 2022-12-09 |
Family
ID=75453084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011557456.XA Active CN112686119B (zh) | 2020-12-25 | 2020-12-25 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686119B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327203A (zh) * | 2021-05-28 | 2021-08-31 | 北京百度网讯科技有限公司 | 图像处理网络模型、方法、设备和介质 |
CN113436104A (zh) * | 2021-06-29 | 2021-09-24 | 哈尔滨理工大学 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
CN113763282B (zh) * | 2021-09-22 | 2023-07-14 | 北京中电兴发科技有限公司 | 一种车牌图像的模糊图像生成方法 |
CN114092926B (zh) * | 2021-10-20 | 2024-07-16 | 杭州电子科技大学 | 一种复杂环境下的车牌定位和识别方法 |
CN114821449B (zh) * | 2022-06-27 | 2022-09-20 | 松立控股集团股份有限公司 | 一种基于注意力机制的车牌图像处理方法 |
CN115760589A (zh) * | 2022-09-30 | 2023-03-07 | 浙江大学 | 一种用于运动模糊图像的图像优化方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590774A (zh) * | 2017-09-18 | 2018-01-16 | 北京邮电大学 | 一种基于生成对抗网络的车牌清晰化方法及装置 |
CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
CN111223062A (zh) * | 2020-01-08 | 2020-06-02 | 西安电子科技大学 | 基于生成对抗网络的图像去模糊方法 |
CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
CN112001404A (zh) * | 2020-08-25 | 2020-11-27 | 华中农业大学 | 自适应全局和局部双层优化的图像生成模型和生成方法 |
-
2020
- 2020-12-25 CN CN202011557456.XA patent/CN112686119B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590774A (zh) * | 2017-09-18 | 2018-01-16 | 北京邮电大学 | 一种基于生成对抗网络的车牌清晰化方法及装置 |
CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
CN109712203A (zh) * | 2018-12-29 | 2019-05-03 | 福建帝视信息科技有限公司 | 一种基于自注意力生成对抗网络的图像着色方法 |
CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
CN111223062A (zh) * | 2020-01-08 | 2020-06-02 | 西安电子科技大学 | 基于生成对抗网络的图像去模糊方法 |
CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
CN112001404A (zh) * | 2020-08-25 | 2020-11-27 | 华中农业大学 | 自适应全局和局部双层优化的图像生成模型和生成方法 |
Non-Patent Citations (4)
Title |
---|
《DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better》;Orest Kupyn等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20191231;第8877-8886页 * |
《一种生成对抗网络用于图像修复的方法》;罗会兰等;《电子学报》;20201031;第48卷(第10期);第1891-1898页 * |
《图像盲去模糊综述: 从变分方法到深度模型以及延伸讨论》;李海波等;《南京邮电大学学报(自然科学版)》;20201031;第40卷(第5期);第84-94页 * |
《基于深度学习的数字图像修复算法最新进展》;范春奇等;《信号处理》;20200131;第36卷(第1期);第102-109页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112686119A (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112686119B (zh) | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 | |
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
CN105657402B (zh) | 一种深度图恢复方法 | |
CN108475415B (zh) | 用于图像处理的方法和*** | |
CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
CN107103285B (zh) | 基于卷积神经网络的人脸深度预测方法 | |
CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与*** | |
CN109961407B (zh) | 基于人脸相似性的人脸图像修复方法 | |
CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及*** | |
CN110532928B (zh) | 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法 | |
CN111242846A (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
US20230153946A1 (en) | System and Method for Image Super-Resolution | |
CN114742719A (zh) | 一种基于多特征融合的端到端图像去雾方法 | |
CN112132145B (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及*** | |
CN112634163A (zh) | 基于改进型循环生成对抗网络去图像运动模糊方法 | |
CN113592715B (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理*** | |
CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
CN113052057A (zh) | 一种基于改进卷积神经网络的交通标志识别方法 | |
CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
WO2024040973A1 (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |