CN109165643A - 一种基于深度学习的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌识别方法，包括如下步骤：步骤1：训练一个用于车牌字符检测的深度卷积神经网络模型M；构建车牌字符标签集合B；步骤2：将定位得到的车牌图像I输入到车牌字符检测网络M，输出候选车牌字符集合H；步骤3：对步骤2得到的候选车牌字符集合H，按候选车牌字符最小外接矩形的左上角横坐标h_i.x由小到大将H重排序，得到集合C；步骤4：对步骤3得到的集合C进一步执行筛选操作，步骤6：对步骤5得到的集合E，按序遍历集合E；步骤7：返回由步骤6得到车牌识别结果L。本发明的有益效果是：有效抑制了车牌字符粘连、断裂、形变，车牌污损，车牌倾斜和车牌上残留阴影等情况的影响。

Description

一种基于深度学习的车牌识别方法

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于深度学习的车牌识别方法。

背景技术

在过去的二十年里，车牌识别技术在识别精度和算法效率上都有了很大的提高。随着智慧交通***相关技术的不断进步，自动车牌图像识别被认为是一个拥有成熟解决方案的已解决的问题。交通流量分析、车辆测速、车辆违章检测是诸多基于车牌识别技术的应用的代表。然而，实际中车牌的制式规格非常多，车牌字体、颜色有着明显差异，车牌字符长度不一。仅中国就有蓝底白字单行车牌、黄底黑字单行车牌、黄底黑字双行车牌、黑底白字单行车牌等十多项车牌种类。此外，车牌识别方法容易受到光照、分辨率、成像视角、阴影等环境因素的干扰。

计算机模仿人来识别车牌，该流程包括定位和识别。因此，完整的自动车牌识别***由车牌定位和车牌识别两部分构成。车牌定位不在本方法讨论的范围。目前为止，已经存在很多的车牌识别方法。可以将方法归为传统方法和深度学习方法两大类。传统车牌识别流程包括车牌字符分割和车牌字符识别两步。深度学习方法可以将流程分为字符分割和字符识别两步，也可以端对端一步到位。

传统车牌识别方法把任务分解成车牌字符分割和车牌字符识别两个子任务。车牌字符分割是车牌识别的前提，字符切割的准确与否直接影响到识别结果。随着图像处理技术的不断发展，多种车牌字符分割方法被提出，如：字符投影法，字符模板匹配法和字符连通域法。常用的车牌字符识别方法主要是基于机器学习的OCR，如：基于支持向量机的多字符分类识别方法和基于人工神经网络的多字符分类识别方法。基于机器学习的OCR方法首先提取字符图像的特征，然后训练得到分类识别模型，最后用于单个字符的识别任务。但是，由于车牌字符粘连、断裂、形变，车牌污损，车牌倾斜和车牌上残留阴影等情况十分常见，传统车牌识别方法受制于有效特征的选取与计算，不能达到理想的识别效果。

深度学习方法通过计算卷积特征，有效抑制了车牌字符粘连、断裂、形变，车牌污损，车牌倾斜和车牌上残留阴影等情况的影响。现有的一流车牌识别方法都是深度学习方法。深度学习方法主要分基于分割的方法和端对端的方法两类。

基于分割的深度学习方法仍旧沿用传统车牌识别方法的流程，将车牌识别任务分为字符分割和字符识别两个子任务。通过深度学习学习卷积到的卷积特征来处理两个子任务。文献(Y.Yang,D.Li and Z.Duan,"Chinese vehicle license plate recognitionusing kernel-based extreme learning machine with deep convolutionalfeatures,"in IET Intelligent Transport Systems,vol.12,no.3,pp.213-219,42018.)首次将基于核的超限学习机(kernel-based extreme learning machine,KELM)应用到车牌字符识别上，用其代替Softmax来获得分类结果。作者在提取深度卷积特征用KELM分类31个汉字字符(31个中国省份简称)，虽然训练速度比较快，但是在模型的识别效率低，资源占用高。文献(赵振兴.基于深度学习的车牌识别技术研究[D].青岛:青岛科技大学,2017)基于SSD分两阶段完成车牌识别任务：第一阶段为车牌字符检测，即同时分割与识别车牌字符；第二阶段为车牌字符集合处理，通过重排序将识别得到的车牌字符集合排列组合，得到最终的车牌识别结果。虽然该方法能同时处理单行车牌与双行车牌，但是在车牌分辨率不高时，该方法第一阶段存在误检与漏检，第二阶段的排列组合无法解决第一阶段的问题。文献(汤玉垚.复杂背景下车牌识别算法的研究[D].合肥:中国科学技术大学,2016.)在基于连通域方法分割得到车牌字符后，用深度学习训练得到分类模型后，对所分割的字符一一识别，得到最终识别结果。该方法存在的缺陷是传统的基于连通域的字符分割效果不佳，进而影响后续识别。

端对端的车牌识别方法不再需要单独的车牌字符分割，输入一张车牌图像，输出车牌识别结果。文献(Hong-Hyun Kim,Je-Kang Park,Joo-Hee Oh,Dong-JoongKang.Multi-task convolutional neural network system for license platerecognition[J].International Journal ofControl,Automation and Systems,2017,15(6):2942-2949)基于深度卷积神经网络实现了单阶段的端对端车牌识别，但是该网络机构固定，只能识别固定格式的韩国车牌，计算效率不高。文献(Jakub Spanhel,Jakub Sochor,Roman Juranek,Adam Herout,Lukas Marsik,Pavel Zemcik.Holistic recognition oflow quality license plates by CNN using track annotated data.14th IEEEInternational Conference on Advanced Video and Signal Based Surveillance(AVSS),Lecce,Italy,Aug 29-Sep 01,2017.)提出一个包含8个全连接分支的神经网络，能够识别最多包含8个字符的低分辨率车牌，每个分支负责一个区域的字符检测与识别。但是，该网络只考虑了单行车牌，没有考虑其它制式的车牌。

基于分割的深度学习方法存在误差累积的问题，字符分割的准确度影响着后续的字符识别，而且车牌制式的多样性增加了字符分割的难度。尽管端对端的车牌识别方法在效率和效果上同时占优，但这类网络对车牌定位的精度要求高，而且深度网络设计难度限制了所能适用的车牌制式。

综上所述，目前车牌识别方法存在着如下不足：1)车牌制式多种多样，车牌识别难以兼顾所有制式的车牌；2)基于分割的方法(包括传统方法和基于深度学习的方法)存在误差累计问题，即分割阶段产生的分割误差会累积到后续的车牌字符识别阶段，降低整体识别率；3)端对端车牌识别网络在设计上虽然能够已经能够处理可变字符长度的多种制式的车牌，但仍旧只能处理具有相似制式的车牌，适用于单行车牌的网络不能在双行车牌上取得理想效果，而且此类网络需要以精确的车牌定位为前提，条件苛刻；4)能同时处理多种车牌制式的车牌识别方法对车牌成像清晰度要求高，难以成功地处理低分辨率图像；5)环境因素(如：光照、噪声等)对车牌图像的识别有一定的影响。

发明内容

为克服现有技术的上述缺点，本发明提出一种基于深度学习的车牌识别方法，在深度学习检测到车牌字符后，先对集合元素排序，再对集合元素进行筛选，最后重新组合得到车牌识别结果字符串。

本发明的技术方案如下：

一种基于深度学习的车牌识别方法，其特征在于，包括如下步骤：

步骤1：训练一个用于车牌字符检测的深度卷积神经网络模型M；构建车牌字符标签集合B＝{b_i|i＝1,2,…,n,n＝67}＝{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘A’,‘B’,‘C’,‘D’,‘E’,‘F’,‘G’,‘H’,‘I’,‘J’,‘K’,‘L’,‘M’,‘N’,‘O’,‘P’,‘Q’,‘R’,‘S’,‘T’,‘U’,‘V’,‘W’,‘X’,‘Y’,‘Z’,‘京’,‘津’,‘冀’,‘晋’,‘蒙’,‘辽’,‘吉’,‘黑’,‘沪’,‘苏’,‘浙’,‘皖’,‘闽’,‘赣’,‘鲁’,‘豫’,‘鄂’,‘湘’,‘粤’,‘桂’,‘琼’,‘渝’,‘川’,‘贵’,‘云’,‘藏’,‘陕’,‘甘’,‘青’,‘宁’,‘新’}；

步骤2：将定位得到的车牌图像I输入到车牌字符检测网络M，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,q,r)构成的三元组，b表示候选字符的类别标签，b∈B，q表示候选字符的置信度，q∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤3：对步骤2得到的候选车牌字符集合H，按候选车牌字符最小外接矩形的左上角横坐标h_i.x由小到大将H重排序，得到集合C＝{c_i|i＝1,2,3,…,n_C}，c_i表示集合C的第i个候选车牌字符，c_i是由(b,q,r)构成的的三元组，n_C表示集合C的元素个数；

步骤4：对步骤3得到的集合C进一步执行筛选操作，具体步骤为：

步骤4.1：按序遍历C，对i＝1,2,…,n_C，若c_i.q<T_q，则将c_i加入集合D，并将c_i从集合C中删除；否则将c_i留在集合C；最后，得到D＝{d_i|i＝1,2,…,n_D}，d_i是由(b,q,r)构成的三元组，n_D表示集合D中元素的数量；其中，c_i.q表示候选字符c_i的置信度，T_q表示置信度阈值；

步骤4.2：按序遍历步骤4.1得到的集合C，对i＝1,2,…,n_C-1，按公式(1)计算a，若a≠φ，则将元素a从集合C中删除；否则，不执行操作；

其中，c_i.r表示候选字符c_i的外接矩形框，c_i+1.r表示候选字符c_i+1的外接矩形框，T_over表示矩形框的重叠阈值，|·|表示矩形框的面积，∩运算表示求取两个矩形框的交集；

步骤4.3：对步骤4.2得到的集合C和步骤4.1得到的集合D，对i＝1,2,…,n_C-1，若满足公式(2)，记录下使得d_j满足公式(2)的i值，并将d_j***集合C作为第(i+1)个元素；其中，d_j表示集合D的第j个元素，j＝1,2,…,n_D；

其中，c_i.r.x、c_i.r.y、c_i.r.w和c_i.r.h分别表示候选字符c_i外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；d_j.r.x、d_j.r.y、d_j.r.w和d_j.r.h分别表示候选字符d_j外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤5：对步骤4.3得到的集合C，首先，按序遍历集合C，若i＝1,2,…,n_C，满足公式(3)，将c_i加入集合E，并将c_i从C中删除；然后，遍历集合C的剩余元素，依次加入到集合E；最终得到E＝{e_i|i＝1,2,3…,n_E}，e_i表示集合E的第i个候选车牌字符，n_E表示集合E的元素个数；

步骤6：对步骤5得到的集合E，按序遍历集合E，将集合E中所有元素的标签串联成车牌识别结果其中，e_i.b∈B，e_i.b表示集合E的第i个候选车牌字符的标签，Σ表示字符串联操作；

步骤7：算法结束。

本发明的有益效果是：

1)本发明基于深度学习实现车牌字符的检测与识别，有效抑制了车牌字符粘连、断裂、形变，车牌污损，车牌倾斜和车牌上残留阴影等情况的影响。

2)本发明通过后续的筛选操作和排列组合完成车牌识别，不限制所能识别的车牌字符长度，适用于多种车牌制式的单行车牌和双行车牌，对车牌分辨率要求不高。

3)相比于基于分割的车牌识别方法，本发明避免将分割步骤带来的误差累积给识别步骤，识别精度更高。

4)相比于端对端的车牌识别方法，本发明对车牌定位的精度要求较低，且不受端对端网络设计上的限制，能识别更多制式的车牌。

附图说明

图1为本发明的输入的车牌图像。

图2为本发明的将深度卷积神经网络对输入车牌的检测结果可视化图像。

图3为本发明的经过步骤4处理的结果可视化图像。

图4为本发明的经过步骤7处理的最终结果可视化图像。

具体实施方式

下面结合实施例来详细阐述本发明的基于深度学习的车牌识别方法的具体实施方式。

步骤1：训练一个用于车牌字符检测的深度卷积神经网络模型M；构建车牌字符标签集合B＝{b_i|i＝1,2,…,n,n＝67}＝{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘A’,‘B’,‘C’,‘D’,‘E’,‘F’,‘G’,‘H’,‘I’,‘J’,‘K’,‘L’,‘M’,‘N’,‘O’,‘P’,‘Q’,‘R’,‘S’,‘T’,‘U’,‘V’,‘W’,‘X’,‘Y’,‘Z’,‘京’,‘津’,‘冀’,‘晋’,‘蒙’,‘辽’,‘吉’,‘黑’,‘沪’,‘苏’,‘浙’,‘皖’,‘闽’,‘赣’,‘鲁’,‘豫’,‘鄂’,‘湘’,‘粤’,‘桂’,‘琼’,‘渝’,‘川’,‘贵’,‘云’,‘藏’,‘陕’,‘甘’,‘青’,‘宁’,‘新’}；

步骤2：将定位得到的车牌图像I输入到车牌字符检测网络M，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,q,r)构成的三元组，b表示候选字符的类别标签，b∈B，q表示候选字符的置信度，q∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；在本实例中，测试车牌图像如图1所示，深度神经网络M检测结果如图2所示；

步骤3：对步骤2得到的候选车牌字符集合H，按候选车牌字符最小外接矩形的左上角横坐标h_i.x由小到大将H重排序，得到集合C＝{c_i|i＝1,2,3,…,n_C}，c_i表示集合C的第i个候选车牌字符，c_i是由(b,q,r)构成的的三元组，n_C表示集合C的元素个数；

步骤4：对步骤3得到的集合C进一步执行筛选操作，具体步骤为：

步骤4.1：按序遍历C，对i＝1,2,…,n_C，若c_i.q<T_q，则将c_i加入集合D，并将c_i从集合C中删除；否则将c_i留在集合C；最后，得到D＝{d_i|i＝1,2,…,n_D}，d_i是由(b,q,r)构成的三元组，n_D表示集合D中元素的数量；其中，c_i.q表示候选字符c_i的置信度，T_q表示置信度阈值；在本实例中，T_q＝0.5；

步骤4.2：按序遍历步骤4.1得到的集合C，对i＝1,2,…,n_C-1，按公式(1)计算a，若a≠φ，则将元素a从集合C中删除；否则，不执行操作；

其中，c_i.r表示候选字符c_i的外接矩形框，c_i+1.r表示候选字符c_i+1的外接矩形框，T_over表示矩形框的重叠阈值，|·|表示矩形框的面积，∩运算表示求取两个矩形框的交集；在本实例中，T_over＝0.6；

步骤4.3：对步骤4.2得到的集合C和步骤4.1得到的集合D，对i＝1,2,…,n_C-1，若满足公式(2)，记录下使得d_j满足公式(2)的i值，并将d_j***集合C作为第(i+1)个元素；其中，d_j表示集合D的第j个元素，j＝1,2,…,n_D；在本实例中，最终集合C的结果可视化图像如图3所示；

其中，c_i.r.x、c_i.r.y、c_i.r.w和c_i.r.h分别表示候选字符c_i外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；d_j.r.x、d_j.r.y、d_j.r.w和d_j.r.h分别表示候选字符d_j外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤5：对步骤4.3得到的集合C，首先，按序遍历集合C，若i＝1,2,…,n_C，满足公式(3)，将c_i加入集合E，并将c_i从C中删除；然后，遍历集合C的剩余元素，依次加入到集合E；最终得到E＝{e_i|i＝1,2,3…,n_E}，e_i表示集合E的第i个候选车牌字符，n_E表示集合E的元素个数；

步骤6：对步骤5得到的集合E，按序遍历集合E，将集合E中所有元素的标签串联成车牌识别结果其中，e_i.b∈B，e_i.b表示集合E的第i个候选车牌字符的标签，Σ表示字符串联操作；在本实例中，将L打印在原图上得到最终结果可视化图像，如图4所示；

步骤7：算法结束。

Claims (1)

1.一种基于深度学习的车牌识别方法，其特征在于，包括如下步骤：

步骤1：训练一个用于车牌字符检测的深度卷积神经网络模型M；构建车牌字符标签集合B＝{b_i|i＝1,2,…,n,n＝67}＝{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘A’,‘B’,‘C’,‘D’,‘E’,‘F’,‘G’,‘H’,‘I’,‘J’,‘K’,‘L’,‘M’,‘N’,‘O’,‘P’,‘Q’,‘R’,‘S’,‘T’,‘U’,‘V’,‘W’,‘X’,‘Y’,‘Z’,‘京’,‘津’,‘冀’,‘晋’,‘蒙’,‘辽’,‘吉’,‘黑’,‘沪’,‘苏’,‘浙’,‘皖’,‘闽’,‘赣’,‘鲁’,‘豫’,‘鄂’,‘湘’,‘粤’,‘桂’,‘琼’,‘渝’,‘川’,‘贵’,‘云’,‘藏’,‘陕’,‘甘’,‘青’,‘宁’,‘新’}；

步骤2：将定位得到的车牌图像I输入到车牌字符检测网络M，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,q,r)构成的三元组，b表示候选字符的类别标签，b∈B，q表示候选字符的置信度，q∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤3：对步骤2得到的候选车牌字符集合H，按候选车牌字符最小外接矩形的左上角横坐标h_i.x由小到大将H重排序，得到集合C＝{c_i|i＝1,2,3,…,n_C}，c_i表示集合C的第i个候选车牌字符，c_i是由(b,q,r)构成的的三元组，n_C表示集合C的元素个数；

步骤4：对步骤3得到的集合C进一步执行筛选操作，具体步骤为：

步骤4.1：按序遍历C，对若c_i.q<T_q，则将c_i加入集合D，并将c_i从集合C中删除；否则将c_i留在集合C；最后，得到D＝{d_i|i＝1,2,…,n_D}，d_i是由(b,q,r)构成的三元组，n_D表示集合D中元素的数量；其中，c_i.q表示候选字符c_i的置信度，T_q表示置信度阈值；

步骤4.2：按序遍历步骤4.1得到的集合C，对按公式(1)计算a，若a≠φ，则将元素a从集合C中删除；否则，不执行操作；

其中，c_i.r表示候选字符c_i的外接矩形框，c_i+1.r表示候选字符c_i+1的外接矩形框，T_over表示矩形框的重叠阈值，|·|表示矩形框的面积，∩运算表示求取两个矩形框的交集；

步骤4.3：根据步骤4.2得到的集合C和步骤4.1得到的集合D，对 若满足公式(2)，记录下使得d_j满足公式(2)的i值，并将d_j***集合C作为第(i+1)个元素；其中，d_j表示集合D的第j个元素，j＝1,2,…,n_D；

其中，c_i.r.x、c_i.r.y、c_i.r.w和c_i.r.h分别表示候选字符c_i外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；d_j.r.x、d_j.r.y、d_j.r.w和d_j.r.h分别表示候选字符d_j外接矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤5：对步骤4.3得到的集合C，首先，按序遍历集合C，若 满足公式(3)，将c_i加入集合E，并将c_i从C中删除；然后，遍历集合C的剩余元素，依次加入到集合E；最终得到E＝{e_i|i＝1,2,3…,n_E}，e_i表示集合E的第i个候选车牌字符，n_E表示集合E的元素个数；

步骤6：对步骤5得到的集合E，按序遍历集合E，将集合E中所有元素的标签串联成车牌识别结果其中，e_i.b∈B，e_i.b表示集合E的第i个候选车牌字符的标签，Σ表示字符串联操作；

步骤7：算法结束。