CN108509954A

CN108509954A - 一种实时交通场景的多车牌动态识别方法

Info

Publication number: CN108509954A
Application number: CN201810368034.4A
Authority: CN
Inventors: 张中; 牛雷
Original assignee: Hefei Zhan Da Intelligent Technology Co Ltd
Current assignee: Hefei Zhan Da Intelligent Technology Co Ltd
Priority date: 2018-04-23
Filing date: 2018-04-23
Publication date: 2018-09-07

Abstract

本发明公开了一种实时交通场景的多车牌动态识别方法，主要分为图像预处理、车牌定位网络训练、图像后处理、识别网络训练等几个主要步骤。利用车牌定位网络和字符识别网络，能够在不分割字符信息的情况下，高效实时地识别单张图片中的多个车牌信息，相较于传统的字符分割、识别方法具有创新优势，并可大量应用到停车场收费、高速公路等违章行为监测中。

Description

一种实时交通场景的多车牌动态识别方法

技术领域

本发明涉及机器视觉和图像处理技术领域，具体是一种实时交通场景的多车牌动态识别方法。

背景技术

近年来，随着智能交通领域的快速发展，车牌自动识别算法的研究引起了越来越广泛的关注。自动化、快速、准确和强大的车牌识别***已经成为交通管制和交通法规执法的需求。

传统的车牌识别方法主要分为车牌区域定位、车牌字符分割、字符识别三个步骤，且都是基于单张图片的单个车牌进行识别。现有技术CN107220638A 公开了一种基于深度学习卷积神经网络的车牌检测识别方法，其主要内容包括：数据采集模块、检测识别训练模块、字符定位测试模块，其过程为，首先使用构造自动储存***来归类真实世界中含有车牌的图像，在不同光照、可视角度、场景中采集足够数量的车牌与切割字符图像，然后使用一系列深度神经网络进行车牌检测与识别的训练，得到的模型再由切割好的字符单独进行检测与识别，最终合并成为结果。该技术优点在于将不同场景条件下的车牌与切割完好的车牌字符输入已经训练好的网络，其中字符切割与识别部分是设计了多步骤的分割操作，然后对字符进行分类与检测。但是该技术虽然能够识别车牌，但是由于受光照强度、车牌形状、污迹遮挡等一系列原因的影响，并不能够对字符进行完美的切割，这就对后续的识别过程带来了很大的不确定性。

又有现有技术CN107590774A提供了一种基于生成对抗网络的车牌清晰化方法及装置，包括：将目标车牌图像输入至生成网络，生成网络由样本车牌图像训练得到，用于将低分辨率的车牌图像进行清晰化处理，并生成符合车牌标准的高分辨率的车牌图像，其中，样本车牌图像为符合车牌标准的车牌图像；基于生成网络，对目标车牌图像进行清晰化处理；输出符合车牌标准的清晰车牌图像。该技术优点在于将车牌图像进行清晰化处理，根据清晰化图像分析识别车牌，提高了识别准确度。但是该技术的清晰化处理为在低分辨率图片中提取图像，低分辨率提取过程可能会造成车牌照片发生改变，最终导致车牌识别错误。

发明内容

本发明的目的在于提供一种实时交通场景的多车牌动态识别方法，以解决上述背景技术中提出的车牌识别易受外界环境因素影响，在车牌清晰化过程中易出现车牌提取错误导致车牌识别误差的问题。

为实现上述目的，本发明提供如下技术方案：

一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：

S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；

S2、图像预处理：将采集到的图像调整为224*224分辨率；

S3、定位网络训练：将S2中处理过的图像输入到车牌定位网络中进行特征学习；

S4、图像后处理：把S3中定位后的车牌图像拉伸到224*224分辨率；

S5、识别网络训练：将S4中处理过的车牌图像输入到车牌识别网络中进行学习；

S6、神经网络测试：将测试图片输入到车牌定位网络和车牌识别网络中进行整体测试。

优选的，所述S3中将图像输入车牌定位网络的特征学习包括以下步骤：

S31、所述车牌定位网络具有16个卷积层、4个池化层、2个全连接层，层与层之间采用线性激活函数，其最后一层全连接层采用修正的线性激活函数，卷积层用于提取目标特征，全连接层用于预测坐标和类别概率；

S32、将输入图像划分成S*S个格子，进行遍历，当检测目标中心出现在格子中时，该格检测该目标并给出该目标在此格中表示该格子拥有目标的信心值的置信值，置信值范围为0～1，置信值定义为：其中IOU 为表示bounding box与实际目标框交集与并集的比值的交并比函数，将检测出的目标区域定义为bounding box，每个格子预测出B个bounding box， bounding box预测五个值：x、y、h、w、confidence；

S33、S32中划分的每个格子预测一个记为C类的类别信息，预测C种假定类别的条件概率为Pr(Class_i|Object)；

S34、计算张量，张量计算公式为：S*S(B*5+C)；

S35、通过将S32和S33得到的类别概率与置信值相乘，得到该类别的置信分数，用于表示该类别在bounding box中出现的概率，该公式如下：

其中，等式左边第一项代表每个网格预测的类别信息；

S36、计算坐标预测损失函数，该公式如下：

其中，λ_coord代表边界框预测权重，λ_noobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现在网格单元i中，表示网格单元i 中的第j个边界框预测器负责预测；

含有目标的bounding box置信值预测损失函数计算为：

不包含目标的bounding box置信值预测损失函数计算为：

类别预测损失函数计算为：

S37、设定识别阈值作为标准，将得到每个bounding box的特定类别的置信分数与给定阈值比较，滤掉得分较低的bounding box，对保留的bounding box进行非极大值抑制处理，得到最终的检测结果。

更为优选的，所述车牌定位网络具有16个卷积层，2个全连接层，用以实现基于图像全图信息端到端的输出，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6、池化层max pool、卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、池化层max pool、卷积层conv11、卷积层conv12、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、全连接层 FC1和全连接层FC2。

优选的，所述车牌识别网络还包括字符识别网络算法，其包含5个卷积层，3个全连接层，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、池化层max pool、全连接层FC1、全连接层FC2和全连接层FC3，其中，全连接层FC3维度分为7部分，用于后续softmax分类字符。

更为优选的，所述字符识别网络结构的全连接层FC3维度分为7个部分包括：采用可输出7个label的7个softmax分类器分别对字符进行分类，每个softmax分类器负责输出车牌对应位置的字符，每个分类器输出字符的概率为：

且每个softmax分类器的输出字符概率相加为1，即：

与现有技术相比，本发明的有益效果是：

1.本发明通过对单张图片进行神经网络分析获取多个车牌信息，实现了资源的高效利用；

2.本发明通过融合多种基于深度学习的车牌定位与车牌整体识别方法，实现***的鲁棒性的提升；

3.本发明通过对车牌的全局信息进行识别，克服了传统方法中对字符进行分割带来的不确定性，实现车牌识别的准确性；

4.本发明通过对经典网络的改进，将字符识别网络的最后一层改为7个用于字符分类的softmax层，并行输出字符序列，实现字符识别效率的提高，相较于传统网络具有创新意义。

附图说明

图1为本发明一种实时交通场景的多车牌动态识别方法车牌识别流程图；

图2为本发明一种实时交通场景的多车牌动态识别方法车牌定位卷积神经网络图；

图3为本发明一种实时交通场景的多车牌动态识别方法字符识别卷积神经网络图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3

如图1所示，本发明所述的一种实时交通场景的多车牌动态识别方法，由用于车牌定位的卷积神经网络和用于车牌字符识别的卷积神经网络组成，可以实时高效的定位和识别单张图片中的多个车牌。

首先构造样本集并对其进行预处理。收集大量路口摄像头以及道路上方的抓拍图像，并将图像调整为统一224*224分辨率大小。我们采用留出法将数据集分为两个互斥的集合，其中一个集合作为训练集，另一个作为测试集。在训练集上训练出模型后，用测试集来评估测试误差。

进行车牌定位网络的训练，将划分好的测试集输入到如图2所示的车牌定位网络中进行特征训练以及参数的自学习。算法具体步骤为：

a.将一幅图像划分为S*S个网格。如果目标体的中心点落在这个网格中，那么该物体的预测工作就交由这个网格来负责；

b.每个网格要预测B个bounding box和一个类别信息C类，每个bounding box预测五个值，即分别为目标中心相对于格子的横坐标x，目标中心相对于格子的纵坐标y，bounding box的宽w，bounding box的高h 以及置信值confidence，置信值定义为：预测C种假定类别的条件概率为Pr(Class_i|Object)；

c.采用S*S(B*5+C)来计算最终得到的张量，分为7*7的格子对目标进行预测，每个格子预测2个bounding box，类别C取20。所以最终得到的输出为7*7*30的张量；

d.在测试的时候，每个网格预测的类别信息和bounding box预测的confidence信息相乘，就能够得到每个bounding box的特定类别的置信分数；

e.训练过程中我们采用的损失函数包含四个部分，其中λ_coord代表边界框预测权重，λ_noobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现在网格单元i中，表示网格单元i中的第j个边界框预测器负责预测。

坐标预测损失函数计算为：

含有目标的bounding box置信值预测损失函数计算为：

不包含目标的bounding box置信值预测损失函数计算为：

类别预测损失函数计算为：

f.得到每个bounding box特定类别的置信分数以后，设置阈值，滤掉得分较低的bounding box，对保留的bounding box进行非极大值抑制处理，就得到最终的检测结果。

进一步地对在定位网络中输出的图片进行后处理，统一调整为224*224 大小。然后输入到如图3所示的字符识别网络中进行学习。字符识别网络中的前两个全连接层，我们采用dropout技术来防止模型出现严重的过拟合现象。字符识别网络中的最后一层全连接层我们使用7个softmax分类器对分别对字符进行分类。每个softmax分类器负责输出车牌对应位置的字符。

最后，将测试集输入到网络中进行整体测试，进一步地优化参数以便达到更好的效果。

如图2所示，车牌定位网络结构依次为：7*7*64的卷积层conv1、2*2的池化层maxpool、3*3*192的卷积层conv2、2*2的池化层max pool、1*1*128 的卷积层conv3、3*3*256的卷积层conv4、1*1*256的卷积层conv5、3*3*512 的卷积层conv6、2*2的池化层max pool、1*1*256的卷积层conv7、3*3*512 的卷积层conv8、1*1*512的卷积层conv9、3*3*1024的卷积层conv10、2*2 的池化层max pool、1*1*512的卷积层conv11、3*3*1024的卷积层conv12、3*3*1024的卷积层conv13、3*3*1024的卷积层conv14、3*3*1024的卷积层 conv15、3*3*1024的卷积层conv16、全连接层FC1和全连接层FC2。

如图3所示，字符识别网络结构依次为：卷积层conv1(11*11)、池化层 max pool、卷积层conv2(5*5)、池化层max pool、卷积层conv3(3*3)、卷积层conv4(3*3)、卷积层conv5(3*3)、池化层max pool、全连接层FC1、全连接层FC2和全连接层FC3。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：

S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；

S2、图像预处理：将采集到的图像调整为224*224分辨率；

2.根据权利要求1所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述S3中将图像输入车牌定位网络的特征学习包括以下步骤：

S32、将输入图像划分成S*S个格子，进行遍历，当检测目标中心出现在格子中时，该格检测该目标并给出该目标在此格中表示该格子拥有目标的信心值的置信值，置信值范围为0～1，置信值定义为：其中IOU为表示bounding box与实际目标框交集与并集的比值的交并比函数，将检测出的目标区域定义为bounding box，每个格子预测出B个bounding box，bounding box预测五个值：x、y、h、w、confidence；

S34、计算张量，张量计算公式为：S*S(B*5+C)；

其中，等式左边第一项代表每个网格预测的类别信息；

S36、计算坐标预测损失函数，该公式如下：

其中，λ_coord代表边界框预测权重，λ_noobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现在网格单元i中，表示网格单元i中的第j个边界框预测器负责预测；

含有目标的bounding box置信值预测损失函数计算为：

不包含目标的bounding box置信值预测损失函数计算为：

类别预测损失函数计算为：

3.根据权利要求2所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述车牌定位网络具有16个卷积层，2个全连接层，用以实现基于图像全图信息端到端的输出，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6、池化层max pool、卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、池化层max pool、卷积层conv11、卷积层conv12、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、全连接层FC1和全连接层FC2。

4.根据权利要求1所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述车牌识别网络还包括字符识别网络算法，其包含5个卷积层，3个全连接层，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、池化层max pool、全连接层FC1、全连接层FC2和全连接层FC3，其中，全连接层FC3维度分为7部分，用于后续softmax分类字符。

5.根据权利要求4所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述字符识别网络结构的全连接层FC3维度分为7个部分包括：采用可输出7个label的7个softmax分类器分别对字符进行分类，每个softmax分类器负责输出车牌对应位置的字符，每个分类器输出字符的概率为：

且每个softmax分类器的输出字符概率相加为1，即：