CN109993171A - 一种基于多模板和多比例的车牌字符分割方法 - Google Patents

一种基于多模板和多比例的车牌字符分割方法 Download PDF

Info

Publication number
CN109993171A
CN109993171A CN201910183838.1A CN201910183838A CN109993171A CN 109993171 A CN109993171 A CN 109993171A CN 201910183838 A CN201910183838 A CN 201910183838A CN 109993171 A CN109993171 A CN 109993171A
Authority
CN
China
Prior art keywords
license plate
character
template
class
segmentation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910183838.1A
Other languages
English (en)
Other versions
CN109993171B (zh
Inventor
解梅
李思琦
秦国义
易鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910183838.1A priority Critical patent/CN109993171B/zh
Publication of CN109993171A publication Critical patent/CN109993171A/zh
Application granted granted Critical
Publication of CN109993171B publication Critical patent/CN109993171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于图像处理和模式识别领域，提供一种基于多模板和多比例的车牌字符分割方法，用于克服现有字符分割方法车牌种类单一、无法分割模糊或污损字符等问题，实现多类别车牌的精准字符分割。本发明基于车牌标准模板指导字符分割的思想，在此基础上采用多比例模板，加入单双行判断模型、多类别模板滑动评分机制及判别辅助模型，得到本发明最优分割结果选择策略；综上，本发明提供一种基于多模板和多比例的车牌字符分割方法，能够实现多类别车牌以及模糊、污损车牌的精准分割。

Description

一种基于多模板和多比例的车牌字符分割方法
技术领域
本发明属于图像处理和模式识别领域，主要涉及一种基于多模板和多比例的车牌字符分割方法，用于多种类别的车牌进行字符分割。
背景技术
智能交通是建设智慧城市的一个不可或缺的环节，而车牌识别***是智能交通中的一个重要组成部分；车牌识别算法一般由车牌定位、字符分割、字符识别3个部分组成，车牌字符分割在车牌识别算法中占据着非常重要的位置，而车牌字符识别非常依赖于一个较好的车牌字符分割结果。
现实环境中，常见的7类车牌分别如图1～图7所示；其中，第1类为正常7位车牌，如图1所示，具体的车牌有小型汽车车牌、大型汽车前车牌、***车牌、香港出入境车牌、澳门出入境车牌、教练车车牌；第2类车牌为警车车牌，如图2所示；第3类车牌为新能源车牌，如图3所示；第4类车牌为大使馆车牌，如图4所示；第5类车牌为武警车牌，如图5所示；第6类为大车后牌，如图6所示，具体的车牌有挂车后牌、大型汽车后牌；第7类为低速车前牌，如图7所示；其中每一类的车牌的模板相同，第1类至第5类为单行车牌，第6类、第7类为双行车牌。
目前采用传统方法的车牌字符分割方法主要为模板匹配，这种利用标准车牌模板分割字符的方法对车牌图像的要求较高：(1)输入的车牌左右边界需精确定位，(2)车牌不能存在模糊或字符污损情况，(3)车牌种类单一；如何对多类别车牌进行准确的字符分割是亟需解决的难题。
发明内容
本发明的目的在于针对上述问题，提供一种基于多模板和多比例的车牌字符分割方法，用于对现实环境中多种类车牌进行精准分割；本发明不仅适应多种类型车牌，还具有较好的鲁棒性，对模糊、污损的车牌能够进行有效的分割。
为实现上述目的，本发明采用的技术方案为：
一种基于多模板和多比例的车牌字符分割方法，包括以下步骤：
步骤1.训练单双行车牌判断模型
以单行车牌作为训练的正样本、双行车牌作为训练的负样本，对训练样本提取特征，并基于特征训练一个基于支持向量机的二分类模型，作为单双行车牌判断模型；
步骤2.训练评分模型
以字符图像作为训练的正样本、非字符图像作为训练的负样本，对训练样本提取字符特征，并基于字符特征训练一个基于支持向量机的评分模型，作为评分模型；
步骤3.训练判别辅助模型
以第1类车牌、第2类车牌、第3类车牌的第一位和最后一位字符作为训练的正样本，以第1类车牌和第2类车牌的第一位字符前再取一个字符分割框里的图像、以及最后一位字符后再取一个字符分割框里的图像作为负样本；对训练样本提取字符特征，并基于字符特征训练一个基于支持向量机的二分类模型，作为判别辅助模型；
步骤4.构造多种类别多种比例的模板
针对单行车牌，构建多比例模板：7个字符框从左至右依次表示为：
(0,0,αi·w,h)，(αi·w,0,αi·w,h)，(αi(L-5w),0,αi·w,h)，(αi(L-4w),0,αi·w,h)，(αi(L-3w),0,αi·w,h)，(αi(L-2w),0,αi·w,h)，(αi(L-w),0,αi·w,h)；
其中，h为标准模板的高、w为字符框的宽、L为标准模板的宽，α0,α1,…,αi,…,αn-1,αn表示n个比例系数；
针对双行车牌模板，构建多比例模板：
第一行：从左到右依次为：(αi·w2,0,αi·w1,h1)，(αi·(L-w2-w1),0,αi·w1,h1)，
第二行：从左到右依次为：(0,h-h2,αi·w2,h2)，(αi·w2,h-h2,αi·w2,h2)，(2(αi·w2),h-h2,αi·w2,h2)，(3(αi·w2),h-h2,αi·w2,h2)，(4(αi·w2),h-h2,αi·w2,h2)；
其中，h1为第一行中字符框的高、h2为第二行中字符框的高、w1为第一行中字符框的宽、w2为第二行中字符框的宽；
步骤5.采用步骤1训练得单双行车牌判断模型对待分割车牌进行单双行判断；若为单行车牌，则进行步骤6；若为双行车牌，则进行步骤8；
步骤6.单行车牌多类别多比例模板滑动评分
步骤6.1、计算归一化因子：
采用上述归一化因子对车牌模板进行归一化，归一化后尺寸为：
其中，rows为输入车牌图像的高；
步骤6.2、滑动评分：
对于第p类模板的第i种比例的模板p＝1,2,3,4,5，滑动范围为 表示归一化后模板的宽，cols为输入车牌图像的宽；
当模板滑动至坐标m时，将模板分割出的多个图像取出，并对图像进行特征提取，再采用步骤2训练得评分模型对多个图像进行评分，并计算得平均分选取每一类模板中多比例模板的最高评分
步骤7.单行车牌选取最优分割结果
选取最大值：
根据上述选出最优的分割结果：
步骤7-1-1、若pmax＝1，进一步判断对应的分割结果的最后一位分割框后再取一个字符框是否会超出测试图像，若是，则待分割车牌为第1类车牌，输出对应的分割结果，否则，进行7-1-2；
步骤7-1-2、采用判别辅助模型判断对应的分割结果的最后一位分割框后再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，输出对应的分割结果；否则，进行7-1-3；
步骤7-1-3、采用判别辅助模型进一步判断对应的分割结果的第1位是否为字符，若是，则输出对应的分割结果，否则，输出对应的分割结果；
步骤7-2-1、若pmax＝2，进一步判断对应的分割结果的第一位分割框前再取一个字符框是否会超出测试图像，若是，则待分割车牌为第2类车牌，输出对应的分割结果，否则，进行7-2-2；
步骤7-2-2、采用判别辅助模型判断对应的分割结果的第一位分割框前再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，输出对应的分割结果；否则，输出对应的分割结果；
步骤7-3-1、若pmax＝3、4、5，则输出对应的分割结果；
步骤8.双行车牌多类别多比例模板滑动评分
步骤8.1、首先要将模板尺寸归一化至车牌实际尺寸：归一化后尺寸为：
步骤8.2、滑动评分，对于第p类模板的第i种比例的模板p＝6,7，采用步骤6.2相同滑动评分过程，得到每一类模板中多比例模板的最高评分
步骤9.双行车牌选取最优分割结果：
选取最大值：
根据上述对应输出分割结果：pmax＝6、7，输出对应的分割结果。
本发明的有益效果在于：
本发明提供一种基于多模板和多比例的车牌字符分割方法，基于车牌标准模板指导字符分割的思想，在此基础上加入了单双行判断模型、多类别模板滑动评分机制、判别辅助模型、以及多比例模板，得到本发明最优分割结果选择策略；能够实现多类别车牌以及模糊污损车牌的精准分割。
附图说明
图1～图7依次为现实环境中常见的第1～第7类车牌示意图。
图8为本发明多模板和多比例的车牌字符分割方法流程示意图。
图9为支持向量机的最优分类面示意图。
图10为本发明步骤1中特征提取流程示意图。
图11为国家发布单行车牌的号牌式样示意图。
图12为实施例中单行车牌的标准模板示意图。
图13为实施中单行车牌的多个比例的模板示意图。
图14为国家发布双行车牌的号牌式样示意图。
图15为实施例中双行车牌的标准模板示意图。
图16为实施例中第2类车牌模板对第2类车牌及第3类车牌分割示意图。
图17为实施例中第1类车牌模板对第1类车牌及第3类车牌分割示意图。
图18为实施例中第1～3类标准车牌模板及车牌图像示意图。
图19～图25依次为实施例中第1～第7类车牌分割结果图。
图26为实施例中模糊第1类车牌分割结果图。
图27为实施例中污损第1类车牌分割结果图。
图28为实施例中模糊第6类车牌分割结果图。
图29为实施例中污损第6类车牌分割结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
本发明提供一种基于多模板和多比例的车牌字符分割方法，包括6个步骤，分别是训练单双行车牌判断模型、训练评分模型、构造多种类别多种比例的模板、多种类别多比例模板滑动评分、训练判别辅助模型、选取最优分割结果。本发明中所用到的分类模型均为支持向量机，支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使他有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器，支持向量机的学习策略就是间隔最大化，如图9所示。
本实施例中，具体步骤如下：
1.训练单双行车牌判断模型
1)收集并制作数据集，将单行车牌作为训练的正样本，双行车牌作为训练的负样本；
2)提取特征，如图10所示；
2-1)将RGB图像转换为灰度图像，
2-2)对灰度图像进行尺度归一化为140*44，
2-3)对归一化后的图像提取HOG特征，
HOG特征即方向梯度直方图(Histogram of Oriented Gradient,HOG)，该特征是一种对图像局部纹理进行描述的特征描述子，此处提取的HOG特征为80维；本实施例中提取HOG特征的具体步骤是将归一化的灰度字符图像按图10所示分为8个block，每个block包含770个像素点，计算出每个像素的梯度，然后用10个bin的直方图来记录单个block的方向梯度特征，每个bin代表一个梯度方向(角度)的范围，它的值由满足相应梯度方向的像素点的梯度幅度值叠加得到；
2-4)对归一化后的图像提取垂直投影特征和水平投影特征，垂直投影特征140维，水平投影特征44维；
2-5)将HOG特征、垂直投影特征以及水平投影特征结合在一起形成一个264维的新特征；
3)利用对提取的新特征训练一个基于支持向量机的二分类模型，并用来判断输入车牌为单行车牌还是双行车牌；
2.训练评分模型
1)收集并制作数据集，将字符图像作为训练的正样本，将非字符图像作为训练的负样本；
2)提取特征，此处提取特征的步骤与第1步中的相同；
2-1)将RGB图像转换为灰度图像，
2-2)对灰度图像进行尺度归一化为16*32，
2-3)对归一化后的图像提取HOG特征，此处提取的HOG特征为80维，
2-4)对归一化后的图像提取垂直投影特征和水平投影特征，垂直投影特征16维，水平投影特征32维，
2-5)将HOG特征、垂直投影特征以及水平投影特征结合在一起形成一个128维的新特征，将此特征表示为x，
2-6)利用提取的新型字符特征x训练一个基于支持向量机的评分模型、记该模型为R(x)，对于任意一张测试图像，将其被提取的字符特征并将其记为xi，评分模型对其评分记为R(xi)，R(xi)实际表示的是该图像为字符的概率；
3.构造多种类别多种比例的模板
根据国家对每一类车牌发布的号牌式样，可以构造标准尺寸的车牌模板；当标准车牌模板确定之后，这些矩形框的坐标和大小也随之确定；
例如，对于单行车牌第1类车牌，国家发布的号牌式样如下图11所示，据此可以构造出如图12所示的标准模板，其中，h＝90为标准模板的高、w＝57为字符框的宽、L＝421为标准模板的宽，则7个字符框从左至右可以表示为(0,0,w,h)，(w,0,w,h)，(L-5w,0,w,h)，(L-4w,0,w,h)，(L-3w,0,w,h)，(L-2w,0,w,h)，(L-w,0,w,h)；每个矩形框的4个参数，从左至右依次是左上角点x坐标，左上角点y坐标，矩形框的宽w，矩形框的高h；
虽然车牌字符的宽高比是固定的，但是由于现实中摄像头拍摄角度的问题，车牌图像的字符宽高比都会发生变化；因此，如果只采用如图12所示标准模板这一种模板，并不能达到最好的分割结果；所以需要根据标准模板构造多种字符宽高比的车牌模板，通常会在0.5～1.5之间等距选择若干比例系数(具体选择多少，按多少步长等距选择需通过实验，综合精度与效率共同确定)，假设对于第1类车牌模板选择了n个比例系数(α0,α1,…,αi,…,αn-1,αn)，如图13所示，则第i个车牌模板的7个字符框从左至右可以表示为：
(0,0,αi·w,h)，(αi·w,0,αi·w,h)，(αi(L-5w),0,αi·w,h)，(αi(L-4w),0,αi·w,h)，(αi(L-3w),0,αi·w,h)，(αi(L-2w),0,αi·w,h)，(αi(L-w),0,αi·w,h)；
双行车牌号牌样式如图14所示，据此可以构造出如图15所示的标准模板，其中，h＝185为标准模板的高、h1＝60为第一行中2个字符框的高、h2＝110为第二行中5个字符框的高，w1＝80为第一行字符框的宽、w2＝100为第二行字符框的宽、L＝421为标准模板的宽；则第一行的2个字符框从左至右可以表示为(w2,0,w1,h1)，(L-w2-w1,0,w1,h1)，第二行的5个字符框从左至右可以表示为：
(0,h-h2,w2,h2)，(w2,h-h2,w2,h2)，(2w2,h-h2,w2,h2)，(3w2,h-h2,w2,h2)，(4w2,h-h2,w2,h2)；
同理，按照单行车牌获取多比例模板的方法，也可以得到若干个不同宽高比的双行车牌模板，第第i个车牌模板的7个字符框可以表示为：
第一行：从左到右依次为：(αi·w2,0,αi·w1,h1)，(αi·(L-w2-w1),0,αi·w1,h1)
第二行：从左到右依次为：(0,h-h2,αi·w2,h2)，(αi·w2,h-h2,αi·w2,h2)，(2(αi·w2),h-h2,αi·w2,h2)，(3(αi·w2),h-h2,αi·w2,h2)，(4(αi·w2),h-h2,αi·w2,h2)；
4.采用步骤1训练得单双行车牌判断模型对待分割车牌进行单双行判断；若为单行车牌，则进行步骤5；若为双行车牌，则进行步骤6；
5.单行车牌多类别多比例模板滑动评分
输入车牌图像的宽为cols，高为rows；首先要将模板尺寸归一化至车牌实际尺寸，具体操作：
计算归一化因子：
采用上述归一化因子对车牌模板进行归一化：
归一化后尺寸为：
这样就可以确定出实际尺寸中所有字符框的大小和相对位置，然后再将归一化后的模板在输入车牌图像上从左至右进行滑动并评分；
对于第p类模板的第i种比例的模板p＝1,2,3,4,5，其滑动范围为 表示归一化后模板的宽，权衡分割的精度和速度后，可以选择合适的滑动步长进行滑动；当滑动至坐标m时，将模板分割出的7个图像取出(若p＝3则会有8个分割图像，原理相同)，并对这7个图像进行特征提取，将这7个特征记为：
然后利用步骤2中的评分模型对这7个图像进行评分得到：
然后将这7个评分的平均分记为接着用一个集合来表示任意种类任意比例模板在任意位置的得分
当不同种类不同比例的车牌模板都完成评分时，选取每一类模板中的最高评分，记为表示第p类模板第imax种比例滑动至坐标mmax时的分割结果为该类模板中的最高评分；只有比较不同类别车牌模板的最高评分对应的分割结果才能得出最终的最优分割结果，在步骤7中将介绍如何得出最终的最优分割结果；
6.双行车牌多类别多比例模板滑动评分
首先要将模板尺寸归一化至车牌实际尺寸：归一化后尺寸为：
对于第p类模板的第i种比例的模板，p＝6,7，采用步骤5相同滑动评分过程，得到集合并选取最大值
7.选取最优分割结果
通过以上的步骤，可以判断待测车牌为单行车牌还是双行车牌，并且可以得到每一类模板对待分割车牌滑动的最高评分并针对单行车牌、双行车牌分别选取最大值：
单行：
双行：
针对单行车牌的识别过程中，如果将评分为时的分割结果作为输出并不能取得最优的分割结果；因为当第2类模板得分最高时，此时的车牌并不一定是第2类车牌，也有可能是第3类车牌，如图16所示；如果直接取第2类模板的分割结果输出，并不能得到最优分割结果，因为只有拿同类的车牌模板去对同类车牌进行滑动评分才能得到最优分割结果；当第1类模板得分最高时，此时的车牌也并不一定是第1类车牌，也有可能是第3类车牌，如图17所示；同理，如果直接取第3类模板的分割结果输出，并不能得到最优分割结果；而其他类别模板的分数最高时，将分数最高的模板分割结果输出就能得到最优的分割结果；之所以出现这种情况，是因为这三类这牌的样式太过于相似，如图18所示，而其他类别的车样式差异较大。因此，本发明中引入判别辅助模型进行最优分割结果的选取；其中，判别辅助模型训练过程如下：
1)收集并制作数据集，将第1类车牌、第2类车牌、第3类车牌的第一位和最后一位字符作为训练的正样本，将第1类车牌和第2类车牌的第一位字符前再取一个字符分割框里的图像、以及最后一位字符后再取一个字符分割框里的图像作为负样本；
2)对训练样本提取字符特征，此处的字符特征与训练评分模型所使用的特征相同，过程不在赘述；
3)利用字符特征训练一个基于支持向量机的二分类模型，作为判别辅助模型；
按照本发明中策略选出最优的分割结果，流程如图8所示，具体为：
1)待分割车牌为单行车牌
1-1-1、若pmax＝1，进一步判断对应的分割结果的最后一位分割框后再取一个字符框是否会超出测试图像，若是，则待分割车牌为第1类车牌，如图17所示，即输出对应的分割结果，否则，进行1-1-2；
1-1-2、采用判别辅助模型判断对应的分割结果的最后一位分割框后再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，如图16所示，即输出对应的分割结果；否则，进行1-1-3；
1-1-3、采用判别辅助模型进一步判断对应的分割结果的第1位是否为字符，若是，则输出对应的分割结果，否则，输出对应的分割结果；
1-2-1、若pmax＝2，进一步判断对应的分割结果的第一位分割框前再取一个字符框是否会超出测试图像，若是，则待分割车牌为第2类车牌，如图15所示，即输出对应的分割结果，否则，进行1-2-1；
1-2-1、采用判别辅助模型判断对应的分割结果的第一位分割框前再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，如图16所示，即输出对应的分割结果；否则，输出对应的分割结果；
1-3、若pmax＝3、4、5，则输出对应的分割结果；
2)待测车牌为双行车牌
pmax＝6、7，则输出对应的分割结果。
采用本发明基于多模板和多比例的车牌字符分割方法对多种待分割车牌图像进行字符分割，其结果如图19～图25依次为第1～第7类车牌分割结果图，图26为模糊第1类车牌分割结果图，图27为污损第1类车牌分割结果图，图28为模糊第6类车牌分割结果图，图29为污损第6类车牌分割结果图；由图可以看出，本发明能够实现多类别车牌以及模糊污损车牌的精准分割。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于多模板和多比例的车牌字符分割方法，包括以下步骤：
步骤1.训练单双行车牌判断模型
以单行车牌作为训练的正样本、双行车牌作为训练的负样本，对训练样本提取特征，并基于特征训练一个基于支持向量机的二分类模型，作为单双行车牌判断模型；
步骤2.训练评分模型
以字符图像作为训练的正样本、非字符图像作为训练的负样本，对训练样本提取字符特征，并基于字符特征训练一个基于支持向量机的评分模型，作为评分模型；
步骤3.训练判别辅助模型
以第1类车牌、第2类车牌、第3类车牌的第一位和最后一位字符作为训练的正样本，以第1类车牌和第2类车牌的第一位字符前再取一个字符分割框里的图像、以及最后一位字符后再取一个字符分割框里的图像作为负样本；对训练样本提取字符特征，并基于字符特征训练一个基于支持向量机的二分类模型，作为判别辅助模型；
步骤4.构造多种类别多种比例的模板
针对单行车牌，构建多比例模板：7个字符框从左至右依次表示为：
(0,0,αi·w,h)，(αi·w,0,αi·w,h)，(αi(L-5w),0,αi·w,h)，(αi(L-4w),0,αi·w,h)，(αi(L-3w),0,αi·w,h)，(αi(L-2w),0,αi·w,h)，(αi(L-w),0,αi·w,h)；
其中，h为标准模板的高、w为字符框的宽、L为标准模板的宽，α0,α1,…,αi,…,αn-1,αn表示n个比例系数；
针对双行车牌模板，构建多比例模板：
第一行：从左到右依次为：(αi·w2,0,αi·w1,h1)，(αi·(L-w2-w1),0,αi·w1,h1)，
第二行：从左到右依次为：(0,h-h2,αi·w2,h2)，(αi·w2,h-h2,αi·w2,h2)，(2(αi·w2),h-h2,αi·w2,h2)，(3(αi·w2),h-h2,αi·w2,h2)，(4(αi·w2),h-h2,αi·w2,h2)；
其中，h1为第一行中字符框的高、h2为第二行中字符框的高、w1为第一行中字符框的宽、w2为第二行中字符框的宽；
步骤5.采用步骤1训练的单双行车牌判断模型对待分割车牌进行单双行判断；若为单行车牌，则进行步骤6；若为双行车牌，则进行步骤8；
步骤6.单行车牌多类别多比例模板滑动评分
步骤6.1、计算归一化因子：
采用上述归一化因子对车牌模板进行归一化，归一化后尺寸为：
其中，rows为输入车牌图像的高；
步骤6.2、滑动评分：
对于第p类模板的第i种比例的模板滑动范围为 表示归一化后模板的宽，cols为输入车牌图像的宽；
当模板滑动至坐标m时，将模板分割出的多个图像取出，并对图像进行特征提取，再采用步骤2训练得评分模型对多个图像进行评分，并计算得平均分选取每一类模板中多比例模板的最高评分
步骤7.单行车牌选取最优分割结果
选取最大值：
根据上述选出最优的分割结果：
步骤7-1-1、若pmax＝1，进一步判断对应的分割结果的最后一位分割框后再取一个字符框是否会超出测试图像，若是，则待分割车牌为第1类车牌，输出对应的分割结果，否则，进行7-1-2；
步骤7-1-2、采用判别辅助模型判断对应的分割结果的最后一位分割框后再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，输出对应的分割结果；否则，进行7-1-3；
步骤7-1-3、采用判别辅助模型进一步判断对应的分割结果的第1位是否为字符，若是，则输出对应的分割结果，否则，输出对应的分割结果；
步骤7-2-1、若pmax＝2，进一步判断对应的分割结果的第一位分割框前再取一个字符框是否会超出测试图像，若是，则待分割车牌为第2类车牌，输出对应的分割结果，否则，进行7-2-2；
步骤7-2-2、采用判别辅助模型判断对应的分割结果的第一位分割框前再取一个字符框中内容是否为字符；若是，则待分割车牌为第3类车牌，输出对应的分割结果；否则，输出对应的分割结果；
步骤7-3-1、若pmax＝3、4、5，则输出对应的分割结果；
步骤8.双行车牌多类别多比例模板滑动评分
步骤8.1、首先要将模板尺寸归一化至车牌实际尺寸：归一化后尺寸为：
步骤8.2、滑动评分，对于第p类模板的第i种比例的模板采用步骤6.2相同滑动评分过程，得到每一类模板中多比例模板的最高评分
步骤9.双行车牌选取最优分割结果：
选取最大值：
根据上述对应输出分割结果：pmax＝6、7，输出对应的分割结果。
CN201910183838.1A 2019-03-12 2019-03-12 一种基于多模板和多比例的车牌字符分割方法 Active CN109993171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910183838.1A CN109993171B (zh) 2019-03-12 2019-03-12 一种基于多模板和多比例的车牌字符分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910183838.1A CN109993171B (zh) 2019-03-12 2019-03-12 一种基于多模板和多比例的车牌字符分割方法

Publications (2)

Publication Number Publication Date
CN109993171A true CN109993171A (zh) 2019-07-09
CN109993171B CN109993171B (zh) 2022-05-03

Family

ID=67130565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910183838.1A Active CN109993171B (zh) 2019-03-12 2019-03-12 一种基于多模板和多比例的车牌字符分割方法

Country Status (1)

Country Link
CN (1) CN109993171B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914845A (zh) * 2020-07-02 2020-11-10 浙江大华技术股份有限公司 一种车牌中字符分层方法、装置及电子设备
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207998A (zh) * 2012-12-24 2013-07-17 电子科技大学 一种基于支持向量机的车牌字符分割方法
CN103268489A (zh) * 2013-05-29 2013-08-28 电子科技大学 基于滑窗搜索的机动车号牌识别方法
CN104715252A (zh) * 2015-03-12 2015-06-17 电子科技大学 一种动态模板结合像素点的车牌字符分割方法
CN105184317A (zh) * 2015-08-29 2015-12-23 电子科技大学 一种基于svm分类的车牌字符分割方法
CN105447457A (zh) * 2015-11-15 2016-03-30 安徽清新互联信息科技有限公司 一种基于自适应特征的车牌字符识别方法
US20160350599A1 (en) * 2015-05-29 2016-12-01 Accenture Global Solutions Limited Video camera scene translation
CN106384113A (zh) * 2016-11-07 2017-02-08 湖南源信光电科技有限公司 基于投影和模板匹配的单双行车牌字符分割方法
CN106709530A (zh) * 2017-01-17 2017-05-24 中国科学院上海高等研究院 基于视频的车牌识别方法
CN108537226A (zh) * 2018-03-06 2018-09-14 北京邮电大学 一种车牌识别方法和装置
CN108734170A (zh) * 2018-05-25 2018-11-02 电子科技大学 基于机器学习和模板的车牌字符分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207998A (zh) * 2012-12-24 2013-07-17 电子科技大学 一种基于支持向量机的车牌字符分割方法
CN103268489A (zh) * 2013-05-29 2013-08-28 电子科技大学 基于滑窗搜索的机动车号牌识别方法
CN104715252A (zh) * 2015-03-12 2015-06-17 电子科技大学 一种动态模板结合像素点的车牌字符分割方法
US20160350599A1 (en) * 2015-05-29 2016-12-01 Accenture Global Solutions Limited Video camera scene translation
CN105184317A (zh) * 2015-08-29 2015-12-23 电子科技大学 一种基于svm分类的车牌字符分割方法
CN105447457A (zh) * 2015-11-15 2016-03-30 安徽清新互联信息科技有限公司 一种基于自适应特征的车牌字符识别方法
CN106384113A (zh) * 2016-11-07 2017-02-08 湖南源信光电科技有限公司 基于投影和模板匹配的单双行车牌字符分割方法
CN106709530A (zh) * 2017-01-17 2017-05-24 中国科学院上海高等研究院 基于视频的车牌识别方法
CN108537226A (zh) * 2018-03-06 2018-09-14 北京邮电大学 一种车牌识别方法和装置
CN108734170A (zh) * 2018-05-25 2018-11-02 电子科技大学 基于机器学习和模板的车牌字符分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YING-JIA BU 等: "A new method for license plate characters recognition based on sliding window search", 《2013 IEEE 11TH INTERNATIONAL CONFERENCE ON DEPENDABLE, AUTONOMIC AND SECURE COMPUTING》 *
YULEI NIU 等: "Multi-Modal Multi-Scale Deep Learning for Large-Scale Image Annotation", 《ARXIV平台在线公开:ARXIV.ORG/PDF/1709.01220.PDF》 *
李宇琦: "低质量监控视频中的车牌识别技术研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
鲁飞: "车牌定位与字符分割算法的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914845A (zh) * 2020-07-02 2020-11-10 浙江大华技术股份有限公司 一种车牌中字符分层方法、装置及电子设备
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备

Also Published As

Publication number Publication date
CN109993171B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
Tuggener et al. Deep watershed detector for music object recognition
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN104598885B (zh) 街景图像中的文字标牌检测与定位方法
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
Moussa et al. New features using fractal multi-dimensions for generalized Arabic font recognition
CN105787466B (zh) 一种车辆类型的精细识别方法及***
CN106875546A (zh) 一种增值税***的识别方法
CN112016605A (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN109993171A (zh) 一种基于多模板和多比例的车牌字符分割方法
CN110287959B (zh) 一种基于再识别策略的车牌识别方法
CN113191348B (zh) 一种基于模板的文本结构化提取方法及工具
CN104182769A (zh) 一种车牌检测方法及***
CN112364883A (zh) 一种基于单阶段目标检测和deeptext识别网络的美式车牌识别方法
CN111950583A (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN111428735B (zh) 一种基于迁移学习深层网络融合模型的货车品牌分类方法
CN111414938B (zh) 一种板式换热器内气泡的目标检测方法
CN109685061A (zh) 适用于结构化的数学公式的识别方法
CN108734170B (zh) 基于机器学习和模板的车牌字符分割方法
CN105069455B (zh) 一种***公章过滤的方法及装置
Kim et al. Text locating from natural scene images using image intensities
CN113033482A (zh) 一种基于区域注意力的交通标志检测方法
CN106844767B (zh) 格式文档关键信息块配准及提取的方法及装置
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant