CN116453102A - 一种基于深度学习的雾天车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的雾天车牌识别方法，主要涉及图像处理、人工智能领域；包括步骤：S1、对输入图像u进行预处理后计算暗通道值J^dark(u)；S2、用无监督对偶对抗生成网络训练出来的去雾网络对输入有雾图像u进行去雾处理得到无雾图像F(u)；S3、将去雾后的图像以及无雾的图像输入由YOLOv3网络搭建的车牌定位网络T中，进行车牌定位和车牌裁剪，然后再将车牌整体输入字符识别网络提取特征；S4、将提取到的特征向量输入transformer模型encoder；S5、在车牌库中与目标车牌进行特征匹配、将匹配结果处理后进行输出，从而识别出车牌；本发明能够有效去雾且能够提高车牌识别准确率和识别速度。

Description

一种基于深度学习的雾天车牌识别方法

技术领域

本发明涉及图像处理、人工智能领域，具体是一种基于深度学习的雾天车牌识别方法。

背景技术

目前，传统的车牌检测过程一般步骤为：图像预处理、车牌定位、字符分割、字符识别几个部分。传统的车牌定位算法大概有以下几类：第一类是通过边缘的方法进行定位，找到边缘后进行车牌的分割；第二类是通过颜色的方法进行的，主要通过图像边缘和颜色一起确定车牌的位置；第三类是基于机器学习的方法，主要通过提取车牌进行定位。定位之后进行字符分割，之后对字符进行一个一个识字符分割的准确性直接影响车牌识别的效果，目前车牌字符分割应用最广多的是方法利用图像垂直投影的字符分割，但字符分割的效果直接影响车牌识别效果。字符识别的方法有很多，比如模板匹配、支持向量机(SupportVectorMachines,SVM)、神经网络和模板匹配这三种这几种方法设计的过程较为复杂，车牌定位的受到很多因素的影响，例如外界背景干扰、自然环境的影响以及车牌倾斜等情况，导致无法高效且精确进行车牌定位。且采用字符分割的方法进行字符识别容易造成由于分割不准确，导致字符识别效果不好的问题。

此外，当遇到恶劣天气，如雾天、雨天、也会导致采集到的图像朦胧、不清晰，也会导致车牌识别准确率降低，识别速度减慢等问题。因此需要采用去雾算法对车牌图像进行去雾处理。

目前，现有的图像去雾的方法存在两大类，一类是基于先验信息的去雾方法研究，另一类是基于神经网络的去雾方法研究，基于基于先验信息的去雾方法主要利用大气散射模型和手工设计的先验知识如暗通道先验对雾天图像进行去雾处理；基于神经网络学习的去雾方法主要利用神经网络的特征提取能力和包含大量雾天图像的数据集来实现高效去雾。大气散射模型去雾由于大气成雾原理复杂，雾气分布也不均匀，只靠线性的计算去雾效果不佳，而对抗神经网络虽然能够训练模型进行很好的去雾，但是需要大量的标注数据进行训练，会花费许多的人力物力资源。

发明内容

本发明的目的在于解决现有技术中存在的问题，提供一种基于深度学习的雾天车牌识别方法，能够有效去雾且能够提高车牌识别准确率和识别速度。

本发明为实现上述目的，通过以下技术方案实现：

一种基于深度学习的雾天车牌识别方法，利用UDAD-Net网络进行无监督去雾，用YOLO模型进行快速准确的车牌定位，利用transfomer模型进行免字符分割的字符识别，包括步骤：

步骤1：对输入的图像预处理后进行暗通道计算，计算公式如下：

Ω(x)表示以像素x为中心的局部区域，y为该区域内的相邻像素，JC(y)为其对应的R、G、B的颜色通道的值，求出min{JC(y)}后，然后再用15×15的低通滤波器M。

求出：J^dark(x)＝M(J^dark(x))；

如果暗通道值J^dark满足如下关系式:

J^dark(u)>＝j

则可认为图像有雾，其中u为输入图像，j为暗通道阈值。

步骤2：将有雾图像送入去雾网络进行去雾处理

1)改进UDAD-Net的车牌去雾网络构成包括：

有雾图像自对抗模块，包括无雾图像生成器GA和判别器DA；

无雾图像自对抗模块，包括有雾图像生成器GB和判别器DB；

生成器GA和GB采用多个卷积模块构成，通过残差组连接，一个Conv后映射为64通道输出，随后每次Conv后，Feature MAP的通道数将增加为前一层2倍，网络后半部分采用反卷积，每次将Feature MAP的通道数变为原来的1/2。且左右两边Feature MAP的通道数相同的对称卷积层之间进行跳跃连接，进行特征融合。

其中残差组构成为：一个空间注意力模块+一个通道注意力模块+两个Conv-BN-Relu操作序列；

判别器DA和DB采用全卷积神经网络PatchGAN构架，各卷积层之间采用Conv+BN+Relu函数，构建一个判别矩阵。

损失函数为：

L_total＝L_adv+λ_recL_rec+λ_perL_per

其中Ltotal为UDAD-Net的综合损失表示，Ladv为重构前的的整体损失函数，P-Loss和Lper是像素重构损失，重构损失λper和λrec是像素重构损失P-Loss和Lper的权重占比；

去雾网络训练过程包括：

有雾图像自对抗模块：

输入有雾图u，经生成器GA转换为无雾图像GA(u)，然后经过判别器DA判别图片是来自生成器生成的还是来原本的无雾图像域，同时经过在经过生成器GB转换为有雾图像GB(GA(u))。其中生成器GA和判别器DA相互博弈、更新，直至判别器DA无法分辨图像来自生成还是原始无雾图像。

无雾图像自对抗模块：

对于无雾清晰图像v进行反映射可得有雾图像GB(v)，然后经判别器DB判断来自生成器GB生成还是原始有雾图像域，也进行图像重构为无雾图像GA(GB(U))。

判别器DA负责辨别无雾图片来自GA生成还是图像域V中的原始数据，DB负责判别有雾图像来自GB生成还是图像域U中含有的原始无雾图像域，生成器GB和判别器DB相互博弈、更新，直至判别器DB无法分辨图像来自生成还是原始有雾图像。

通过损失函数不断更新生成器和判别器的网络结构，其中生成器GA和GB向着对生成的图片GA(u)、和GB(v)越来越接近原始无雾图像域V和原始有雾图像U的方向更新，判别器DA和DB向着判别器区分图像是生成的还是原始的方向更新。

生成器GA、GB和判别器DA、DB两者相互博弈，当判别器对于生成器生成的图像无法分辨来自生成还是原始图像域时，也就是判别概率P＝0.5时，得到训练好的去雾网络F。

3)将有雾图像输入训练好的去雾网络F，得到去雾图像F(u)。

步骤3：将无雾图像和去雾后的图像输入车牌定位模块

车牌定位网络采用轻量级网络，YOLOv3模型，能实现快速的车牌检测和定位，车牌定位网络步骤包括以下几个步骤：

1)搜集包含车牌的图片，构成数据集D；

2)将数据集作为输入到Darknet-53网络中进行特征提取，生成特征矩阵。

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中b_y，b_x为预测的边界框的中心点位置，b_w，b_h为宽高。t_x,t_y,t_h,t_w是预测的位置信息偏移量，c_x，c_y是网格位置，p_w,p_h是anchors的宽高。

σ为逻辑回归函数，公式为

3)将特征矩阵汇总融合，输出车牌位置。

步骤4：将切割后的图像送入字符识别模块

字符识别模块采用transfomer模型，实现了免字符分割的车牌字符识别，其具体步骤如下：

1)数据预处理，将切割后的车牌图像进行预处理，将车牌字符处理为不同的向量；

2)进行位置编码；

将得到的字符特征向量加入位置编码，让每个字符能够正确的输出，不会发生混乱。

其中PE表示字符特征编码层的输出，pos表示字符特征向量在字符图像中的位置，dmodel表示字符特征向量的维度，i表示字符特征向量的位置。

3)获取字符特征向量的局部特征；

通过Transformer多头注意力机制计算，根据车牌字符的特征向量获得查询矩阵Q，关键字矩阵K，值矩阵V,通过h个不同的线性变换，后进行注意力函数计算，将不同的Attention进行拼接，后再次进行线性变换。每一组注意力用于将输入映射到不同的子表示空间，这使得模型可以在不同子表示空间中关注车牌字符不同的位置。

MultiHead(Q,K,V)＝Contact(head₁,·····,head_h)W^O

head_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^V)

其中，这里指定h＝8,d_k＝d_v＝d_model/h＝64；

4)由编码输入解码进行车牌字符特征向量匹配；

通过Transformer编码器对输入的车牌字符进行特征处理后，经过多层编码器的迭代输出送入Transformer的解码器部分，从而进行目标字符匹配，解码器的一部分由目标字符得来，将编码器输出部分的特征向量与解码器的目标字符向量进行多头注意力计算，从而确定匹配的字符。

对比现有技术，本发明的有益效果在于：

本发明针对雾天车牌识别不准确、识别速度慢的问题，提供了一种用对偶对抗生成神经网络(UDAD-Net)进行去雾，使用YOLOv3网络进行车牌快速定位，然后使用transformer进行车牌字符识别的方法。本发明通过加入去雾网络提高了雾天车牌识别的准确率，去雾网络采用加入空间和通道注意力的UDAD-Net网络，不仅减少了训练的样本量，也加快了模型训练速度，采用yolov3这一轻量级网络，加快了车牌识别定位速度。采用transform模型实现了车牌字符的免分割识别，提高了车牌识别的准确率和检测速度。

附图说明

图1是本发明的总体流程图；

图2是本发明的去雾网络结构图；

图3是残差组模块图；

图4是Encoder解码器操作过程示意图；

图5是字符识别过程示意图；

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

实施例：如图1-5所示，本发明所述是一种基于深度学习的雾天车牌识别方法，包括使用改进UDAD-Net的雾天车牌图像去雾网络模块，使用YOLOv3模型的快速车牌定位模块，实验transfomer的免字符分割的车牌字符识别网络三个模块：本发明通过对输入的图像暗通道值计算来判断图像是否有雾，然后将有雾图像送入去雾网络，利用结合了残差模块的UDAD-Net的去雾网络进行去雾处理。将去雾后的图像通过Darknet-53网络进行特征提取，最后将提取的特征进行汇总融合，输出车牌位置。最后通过构造卷积神经网络将图像数据得到各Patch作为输入，然后用Transformer中的Encoder部分做特征提取，最后用Transformer中的Decoder部分进行字符特征匹配识别，从而识别出车票字符。

图1为雾天车牌识别总体流程图，实施步骤如下：

1)对输入图像u进行滤波等预处理；

2)计算输入图像暗通道值J^dark(u),并且将J^dark(u)大于等于暗通道阈值j的图像送入去雾网络F；

3)对送入去雾网络F的图像u进行去雾处理，得到去雾后的图像F(u)；

4)将步骤2)中J^dark(u)小于暗通道阈值j的图像和F(u)的图像送入车牌定位网络Y，进行车牌定位；

5)将步骤4)中定位得到的车牌图像切割出来后整个送入字符识别网络从而对车牌字符进行识别；

6)经过以上步骤最终识别出车牌。

进一步地，步骤2)所述的暗通道是在清晰无雾图像中某一些像素总会有最少一个颜色通道很低的值，甚至接近于0称之为暗通道。计算公式为：

Ω(x)表示以像素x为中心的局部区域，y为该区域内的相邻像素，J^C(y)为其对应的R、G、B的颜色通道的值。

对于输入图像u,当求出最小通道图像min{J^C(y)}后，用一个15×15的低通滤波器M进行计算得到：

J^dark(x)＝M(J^dark(x))

当输入图像u的暗通道满足如下关系式时：

J^dark(u)>＝j

就将图像送入去雾网络F。

进一步地，根据步骤3)所述的进行车牌图像去雾采用加入残差组的UDAD-Net网络，进行车牌识别，具体结构包括：

有雾图像自对抗模块，包括无雾图像生成器GA和判别器DA；

无雾图像自对抗模块，包括有雾图像生成器GB和判别器DB；

(3.1)生成器GA、GB和判别器DA、DB的具体结构：

如图2所示生成器GA和GB采用多个3×3卷积模块构成，每个Conv模块后面通过如图3所示的残差组连接，一个Conv后映射为64通道输出，随后每次Conv后，FeatureMAP的通道数将增加为前一层2倍，网络后半部分采用反卷积，每次将FeatureMAP的通道数变为原来的1/2。且左右两边FeatureMAP的通道数相同的对称卷积层之间进行跳跃连接，进行特征融合。其中网络共有16层，卷积核都为3×3，左右对称，左侧为卷积、右侧为反卷积。

如图2判别器DA和DB采用全卷积神经网络PatchGAN构架，各卷积层之间采用Conv+BN+Relu函数，构建一个判别矩阵。

(3.2)损失函数

网络损失函数为：

L_total＝L_adv+λ_recL_rec+λ_perL_per

其中Ltotal为UDAD-Net的综合损失表示，Ladv为重构前的的整体损失函数，Lrec和Lper是像素重构损失，重构损失λper和λrec是像素重构损失Lrec和Lper的权重占比；

其中，

为了保证重构后和原初场景的内容具有同一性，利用L2重构损失进行Pixel维度的约束，从而实现映射过程中的不变性的总损失函数。对于域U中的采样u和域V中采样的v，均进行reconstruction loss的计算：

其中，最终的reconstructionloss损失L_rec为

同时也需要进行P-loss重构，P-Loss的计算方式为：

总的P-Loss为前面两项相加为：

得到最终损失函数：

L_total＝L_adv+λ_recL_rec+λ_perL_per

(3.3)训练策略

对输入的有雾图u经生成器GA转换为无雾图像GA(u)，在经过生成器GB转换为有雾图像GB(GA(u)),完成图像的重构，对于无雾清晰图像v也进行重构得到GA(GB(v)))判别器DA负责辨别无雾图片来自GA生成还是图像域V中的原始数据，DB负责判别有雾图像来自GB生成还是图像域U中含有的原始数据通过损失函数不断更新生成器和判别器的网络结构，其中生成器GA和GB向着对生成的图片GA(u)、和GA(v)越来越接近原始无雾图像域V和原始有雾图像U的方向更新，判别器DA和DB向着判别器区分图像是生成的还是原始的方向更新。

利用D-HAZY中的合成算法构建有1499对雾数据集，其中保护了有车牌图像和无雾车牌图像的数据集ND-HAZY。且将大气光设定为0.65到0.9之间的随机值，其中的1499对数据集中，1200对数据集用来训练。299对数据集作为测试集，且每次迭代需要的数据在两个图像域中分别进行随机选取。且将迭代次数设定为8万次，学习率为0.00006；将U和V两个图像域中的图像均设为256×256，从而进行训练。

(3.4)训练完成后得到去雾网络F，对输入的有雾图像进行去雾操作，从而得到无雾的车牌图像F(u)。

进一步地，根据步骤(4)所述的将去雾图像和无雾图像送入车牌定位网络T，其具体实施过程如下：

(4.1)搜集包含车牌的图片，构成数据集；

(4.2)将输入的图片分为S×S的网格，每一个网格预测出n个边界框的位置。而在进行目标边界框的预测时，使用anchors作为先验框，Darknet-53网络通过以下四个公式得到边界框的位置。

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

骨干网络Darknet-53网络分别提取了下采样为32倍、16倍、8倍的特征。

(4.3)将特征矩阵汇总融合，下采样32倍的特征输出为13*13*255的尺度特征，然后13*13*255经过一次上采样变成26*26*255的尺度特征与16倍的特征进行Concat操作，最终输出26*26*255的尺度特征，同样的操作得到52*52*255的尺度特征。通过这一结构，可以实现多尺度的特征融合和不同尺度的物体的预测。

(4.4)通过softmax层中位置损失函数、置信度损失函数、分类损失函数实现从特征图到输出参数的逻辑回归，实现车牌定位。

loss＝lbox+lobj+lcls

其中lbox是位置损失函数，lcls是分类损失函数，lobj是置信度损失函数。

进一步地，根据步骤5)所述的将定位得到的车牌图像裁剪而出后整体送入基于Transfomer网络的免字符分割识别网络

Transformer模型的车牌字符识别的方法，在车牌识别***中。不再传统的将字符进行分割，进行模块匹配。通过本发明方法，将车牌字符整体输入，通过对其特征值得提取处理，进行特征匹配将车牌字符识别出来。其具体实施过程如下：

(1)使用CNN模型对车牌图像进行处理，提取车牌字符的特征值输入下一模型。

(2)进一步的将提取的车牌输入Transformer模型Encoder，如图加入位置编码计算，得到为输入模型序列，让每个字符向量不发生识别混乱，d_model＝512。E_pos∈R^(N+1)×D。

(3)进一步的获取输入字符序列的Q，K，V。将提取的车牌特征向量进行多头自注意力计算，提高车牌字符特征向量的提取。

]MultiHead(Q,K,V)＝Contact(head₁,·····,head_h)W^O

(4)进一步的对特征向量进行前馈连接和规范化处理，方便训练模型和进一层的处理。图为一层Encoder处理，处理完后继续送入下一层Encoder，进行6层叠加处理运算。

(5)得到最终的特征向量。后进入Decoder解码器，本发明采用的解码器层数为6层。通过每个解码器的特征字符匹配，进行最终的字符识别。

(6)将解码器的输出进行线性变换和归一化处理后确认最后的输出字符。

Claims (10)

1.一种基于深度学习的雾天车牌识别方法，其特征在于，包括步骤：

S1、对输入图像u进行预处理后计算暗通道值J^dark(u),判断J^dark(u)是否超过阈值j，如果超过，则判断为有雾图像，送入去雾网络F；

S2、用无监督对偶对抗生成网络训练出来的去雾网络对输入有雾图像u进行去雾处理得到无雾图像F(u)；

S3、将裁剪后的车牌图像整体输入由YOLOv3网络搭建的车牌定位网络T中，对车牌图像U进行整体分割、提取特征向量；

S4、将提取到的特征向量输入transformer模型encoder，加入位置编码计算，将提取的车牌向量进行多头自注意力计算，确定各字符之间不会出现识别混乱、错误；

S5、在车牌库中与目标车牌进行特征匹配、将匹配结果处理后进行输出，从而识别出车牌。

2.根据权利要求1所述的一种基于深度学习的雾天车牌识别方法，其特征在于，步骤S1中，暗通道值J^dark(u)的计算公式为：

其中，Ω(x)表示以像素x为中心的局部区域，y为该区域内的相邻像素，J^C(y)为其对应的R、G、B的颜色通道的值，J^dark(x)是对应于像素点x的暗通道值。

3.根据权利要求1所述的一种基于深度学习的雾天车牌识别方法，其特征在于，步骤S2中，采用无监督对偶对抗生成网络进行去雾网络的训练，其中无监督对偶去雾网络包括两个生成器和两个判别器，运行步骤包括：

S21、生成器GA和GB构成：

生成器GA和GB采用多个3×3卷积模块构成，每个Conv模块后面通过残差组连接，一个Conv后映射为64通道输出，随后每次Conv后，FeatureMAP的通道数将增加为前一层2倍，网络后半部分采用反卷积，每次将FeatureMAP的通道数变为原来的1/2，且左右两边FeatureMAP的通道数相同的对称卷积层之间进行跳跃连接，进行特征融合；

每个模块后面加入了残差组，每个残差组包括：一个空间注意力模块，一个通道注意力模块和两个Conv-BN-Relu操作序列；

S22、判别器DA和DB构成：

判别器DA和DB采样全卷积神经网络PatchGAN构架，共有五层，各卷积层之间采用Conv+BN+Relu函数，构建一个判别矩阵；

S23、损失函数：

在不具备成对数据时，为了保证重构后和原初场景的内容具有同一性，需要利用L2重构损失进行Pixel维度的约束，从而实现映射过程中的不变性,重构后的损失函数为：

L_total＝L_adv+λ_recL_rec+λ_perL_per

其中，L_total为UDAD-Net的综合损失表示，L_adv为重构前的的整体损失函数，P-Loss和L_per是像素重构损失，重构损失λ_per和λ_rec是像素重构损失P-Loss和L_per的权重占比；

S24、去雾网络训练过程为：

1)输入对输入的有雾图u经生成器GA转换为无雾图像GA(u)，在经过生成器GB转换为有雾图像GB(GA(u)),完成图像的重构，对于无雾清晰图像v也进行重构得到GA(GB(v)))；

2)判别器DA负责辨别无雾图片来自GA生成还是图像域V中的原始数据，DB负责判别有雾图像来自GB生成还是图像域U中含有的原始数据；

3)通过损失函数不断更新生成器和判别器的网络结构，其中生成器GA和GB向着对生成的图片GA(u)、和GA(v)越来越接近原始无雾图像域V和原始有雾图像U的方向更新，判别器DA和DB向着判别器区分图像是生成的还是原始的方向更新；

4)生成器GA、GB和判别器DA、DB两者相互博弈，当判别器对于生成器生成的图像无法分辨来自生成还是原始图像域时，也就是判别概率P＝0.5时，去雾网络训练完成。

4.根据权利要求1所述的一种基于深度学习的雾天车牌识别方法，其特征在于，步骤S3中，采用基于YOLOv3的车牌定位模块，进行车牌定位时，包括以下步骤：

S31、搜集输入去雾图像中包含车牌的图片数据，构成数据集；

S32、将数据集作为输入到YOLOv3的骨干网络Darknet-53中，进行特征提取，生成特征矩阵

S33、将特征矩阵汇总融合，输出车牌的位置，完成车牌定位。

5.根据权利要求4所述的一种基于深度学习的雾天车牌识别方法，其特征在于，Darknet-53网络由一系列的卷积层构成。

6.根据权利要求4所述的一种基于深度学习的雾天车牌识别方法，其特征在于，Darknet-53网络使用了残差网络Residual，完成卷积后进行BatchNormali—zation标准化与LeakyReLU激活函数，构成CBL模块。

7.根据权利要求4所述的一种基于深度学习的雾天车牌识别方法，其特征在于，使用了FPN结构和多尺度预测机制，最终输出3个不同纬度的特征图。

8.根据权利要求1所述的一种基于深度学习的雾天车牌识别方法，其特征在于，步骤S4中，采用基于深度Transformer模型的车牌字符识别方式，包括步骤：

S41、构建一个卷积神经网络对输入的车牌图像进行处理，得到图像向量作为输入；

S42、将图像向量作为输入至已训练好的Transformer模型，从而对车牌字符进行识别输出；

其中，训练的Transformer模型训练连接包括Embedding处理，将所得到的车牌图像进行处理，得到特征向量；加入位置编码，让车牌识别不会出现混乱；进行多头注意力计算，通过线性变换对处理的特征向量进行变换，求取每个字符的自注意力，再连接起来；通过前馈网络处理，残差连接和归一化处理，得到车牌字符的特征向量后进入训练模型的车牌字符匹配。

9.根据权利要求8所述的一种基于深度学习的雾天车牌识别方法，其特征在于，将字符车牌作为整体操作，使用CNN卷积神经网络对图像进行特征值提取操作，得到图像的特征向量；运用transformer模型对车牌特征向量进行训练识别；将识别向量作为序列通过transformer模型，进行编码器和解码器操作。

10.根据权利要求8所述的一种基于深度学习的雾天车牌识别方法，其特征在于，字符识别分为encoder和decoder两部分，其主要核心是在模型中加入了注意力机制，进行多头注意力计算；

自注意力公式为：

对输入序列进行位置编码，对车牌字符向量进行位置编码：