CN106709530A

CN106709530A - 基于视频的车牌识别方法

Info

Publication number: CN106709530A
Application number: CN201710040890.2A
Authority: CN
Inventors: 刘立庄; 赵丹; 薛云松
Original assignee: Shanghai Advanced Research Institute of CAS
Current assignee: Shanghai Advanced Research Institute of CAS
Priority date: 2017-01-17
Filing date: 2017-01-17
Publication date: 2017-05-24

Abstract

本发明提供一种基于视频的车牌识别方法，包括步骤：1）设置检测区域及虚拟触发线；2）触发线触发时，先对相应区域进行粗定位，然后基于方向梯度直方图HOG特征和SVM分类器进行车牌鉴定；3）取连续多帧的车牌图片利用投影法进行字符分割，每个字符归一化后提取HOG特征，获取不同车牌图片对应字符特征间的L1‑BRD距离；4）算出每个字符的权重，得出多帧加权的特征，将此作为字符识别的特征；5）结合多分类的SVM分类器对车牌字符进行识别。本发明将基于多帧加权的直方图特征和多分类SVM分类器进行结合后对车牌字符进行识别，可以有效消除单帧车牌字符在分割或噪声造成的影响，提高车牌字符识别的准确率。

Description

基于视频的车牌识别方法

技术领域

本发明涉及智能交通领域，具体涉及一种基于视频的车牌识别方法。

背景技术

智能交通得到越来越广泛的应用，已经成为交通管理***不可缺少的一部分，它是通过视频监控***得到的道路监控视频利用计算机视觉技术对道路状况进行自动分析。

车牌识别技术是智能交通里非常重要的一部分，应用于交通管理***、车辆出入管理***等领域。

目前车牌识别的算法有很多，大致可以分为基于模板匹配、神经网络和支持向量机(SVM)三类方法：基于模板匹配的方法计算速度快，但是对低分辨率图像以及倾斜的车牌识别率较低；基于神经网络的方法在样本量不充足的条件下容易造成局部假饱和的情况，字符识别率很难达到很高的程度；SVM基于统计学***面，使正负样本的特征向量与超平面的距离最大化，SVM在小样本的限制下具有很好的适应性，在处理高维模式识别时也具有很大的优势。

然而，目前并没有基于视频的适合处理多帧联合图像的车牌识别方法，限制了车牌识别的发展。

基于以上所述，提供一种能够结合多帧联合的直方图特征和SVM分类器的车牌识别方法实属必要。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于视频的车牌识别方法，以实现一种能够结合多帧联合的直方图特征和SVM分类器的车牌识别方法。

为实现上述目的及其他相关目的，本发明提供一种基于视频的车牌识别方法，包括步骤：1)在道路上设定一个检测区域，在检测区域中设置一道虚拟触发线；2)当虚拟触发线触发时，先对相应区域进行粗定位，然后基于方向梯度直方图HOG特征和SVM分类器进行车牌鉴定真伪；3)取连续多帧的车牌图片利用投影法进行字符分割，每个字符归一化后提取HOG特征，获取不同车牌图片对应字符特征间的L1-BRD距离；4)算出每个字符的权重，得出多帧加权的特征，将此作为字符识别的特征；5)结合多分类的SVM分类器对车牌字符进行识别。

作为本发明的基于视频的车牌识别方法的一种优选方案，步骤2)中，判断触发线触发包括步骤：于检测区域前上方安装摄像头采集视频，对每帧图像进行灰度化处理，取触发线上相邻两帧图像的灰度值，做差求绝对值的和，若大于预设阈值，则判定有物体经过检测区域。

作为本发明的基于视频的车牌识别方法的一种优选方案，步骤2)对车牌区域进行粗定位包括步骤：第一步，在检测区域内提取出候选车牌区域，对图像进行高斯滤波，降低噪声影响，然后进行灰度化得到灰度图像；第二步，对得到的灰度图像进行二值化得到二值图像；第三步，对二值图像进行形态学的闭操作；第四步，对二值图像进行连通域标记；第五步，对标记的每个连通域取最小外接矩形，计算出矩形偏转角度，并筛选出角度偏转在预设角度内的矩形区域；第六步，计算第五步所筛选出的矩形区域的宽高比，并筛选出高宽比在预设范围内的矩形区域；第七步，通过旋转将第六步筛选出的矩形区域调整为水平，该矩形区域对应原图像即为车牌区域。

作为本发明的基于视频的车牌识别方法的一种优选方案，步骤2)中，基于HOG特征和SVM分类器对粗定位的车牌进行鉴定真伪，包括步骤：第一步，对车牌区域进行尺寸归一化处理；第二步，基于机器自学习的方法训练SVM分类器，使其能基于车牌区域的HOG特征识别车牌的真伪；第三步，基于训练好的SVM分类器得对车牌鉴定鉴定真伪。

作为本发明的基于视频的车牌识别方法的一种优选方案，步骤3)对定位到的车牌利用投影法进行字符分割，包括步骤：第一步，对车牌区域进行灰度化，获得灰度图像；第二步，对灰度图像进行二值化，获得二值图像；第三步，统计所述二值图像中白像素点数Num1及黑像素点数Num2，若Num1>Num2，对二值图像取反色；第四步，在垂直方向上向下投影，统计每列的白色像素点的数目，得到灰度统计直方图，然后从左向右扫描，记录白色像素点数大于阈值的横坐标值，得到m个连续的线段，然后对图像进行切割得到m个含有字符的图像块；第五步，对每一个字符的图像块，在水平方向进行投影，统计每行的白色像素点数，得到每一行的灰度统计直方图，从上至下扫描，记录像素点数大于阈值的行，将小于阈值的行切割掉，得到分割好的m个字符，其中，m为自然数，且m＝3～10。

进一步地，步骤3)中获取不同车牌图片对应字符特征间的L1-BRD距离包括：记录两帧得到车牌的中心坐标，若距离在一定阈值内，则记录为统一车牌bin-to-bin距离描述两个直方图相应的bin之间的距离，设表示目前统计到的直方图，共n个bin，h_i表示第i个bin的值，取得k帧车牌后，字符分割后，分别得到k组字符集合，每组含有m个字符，算出k组字符两两之间的L1-BRD距离d_i,j,i,j∈[1,k]；取可得到距离矩阵D，计算L1-BRD如式(1)：

进一步地，步骤4)包括：

计算距离矩阵D如式(2)：

将每组对应字符的特征与所有字符特征间距离的平方和与所有距离的平方和的比值作为该字符的权值，对应位置的k个字符特征h_i,i∈[1,k]，可以得到k帧加权直方图特征h，如式(3)、(4)、(5)：

作为本发明的基于视频的车牌识别方法的一种优选方案，步骤5)中，多分类的SVM分类器采用SVM分类器对第N类和其它N-1类样本构建超平面，通过一对一的方法来确定所有样本的正负。

如上所述，本发明的基于视频的车牌识别方法，具有以下有益效果：

本发明将基于多帧加权的直方图特征和多分类SVM分类器进行结合后对车牌字符进行识别，本发明的方法可以有效消除单帧车牌字符在分割或噪声造成的影响，提高车牌字符识别的准确率。本发明步骤简单，效果显著，在智能交通领域具有广泛的应用前景。

附图说明

图1显示为本发明的基于视频的车牌识别方法步骤1)所呈现的结构示意图。

图2显示为本发明的基于视频的车牌识别方法的步骤流程示意图。

元件标号说明

S11～S15 步骤1)～步骤5)

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1～图2。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1～图2所示，本实施例提供一种基于视频的车牌识别方法，包括步骤：

如图1～图2所示，首先进行步骤1)S11，在道路上设定一个检测区域A，在检测区域中设置一道虚拟触发线L。

如图1所示，然后进行步骤2)S12，当虚拟触发线触发时，先对相应区域进行粗定位，然后基于方向梯度直方图HOG特征和SVM分类器进行车牌鉴定真伪。

作为示例，判断触发线触发包括步骤：于检测区域前上方安装摄像头采集视频，对每帧图像进行灰度化处理，取触发线上相邻两帧图像的灰度值，做差求绝对值的和，若大于预设阈值，则判定有物体经过检测区域，即虚拟触发线触发。

作为示例，对车牌区域进行粗定位包括步骤：第一步，在检测区域内提取出候选车牌区域，对图像进行高斯滤波，降低噪声影响，然后进行灰度化得到灰度图像；第二步，对得到的灰度图像进行二值化得到二值图像；第三步，对二值图像进行形态学的闭操作；第四步，对二值图像进行连通域标记；第五步，对标记的每个连通域取最小外接矩形，计算出矩形偏转角度，并筛选出角度偏转在预设角度内的矩形区域；第六步，计算第五步所筛选出的矩形区域的宽高比，并筛选出高宽比在预设范围内的矩形区域；第七步，通过旋转将第六步筛选出的矩形区域调整为水平，该矩形区域对应原图像即为车牌区域。

具体地，包括：

步骤2-1)，已知车牌有大量边缘信息，而车辆又具有很多水平的边缘，为提取出车牌区域，避免车体的其他区域干扰，使用sobel边缘检测算子，对图像水平方向求导，可得垂直方向边缘。

步骤2-2)，对步骤2-1)得到灰度图像用OSTU法进行二值化。

步骤2-3)，得到二值图像后，为了后续用连通域获得车牌区域，需要让边缘区域连通起来，所以对二值图像进行形态学的闭操作。

步骤2-4)，对步骤2-3)到的二值图像，进行连通域标记，通过对车牌大小的先验认识，设置阈值排除面积大于500*150和小于50*15的区域。

步骤2-5)，对每个连通域取最小外接矩形，能够得到外接矩形的顶点坐标，通过顶点坐标可以计算出矩形偏转角度θ，筛选出角度偏转在正负15度内的区域。

步骤2-6)，中国车牌的一般大小是440mm*140mm，面积为440*140，宽高比为3.14，对7)得到的矩形区域，计算出宽高比bi，筛选出3<bi<4的区域。

步骤2-7)，对步骤2-6)得到的矩形区域，通过旋转将偏斜的区域调整为水平。该矩形区域对应原图像即为车牌的候选区域。

作为示例，基于HOG特征和SVM分类器对粗定位的车牌进行鉴定真伪，包括步骤：第一步，对车牌区域进行尺寸归一化处理；第二步，基于机器自学习的方法训练SVM分类器，使其能基于车牌区域的HOG特征识别车牌的真伪；第三步，基于训练好的SVM分类器得对车牌鉴定鉴定真伪。

在本实施例中，通过大量的测试视频能提取出大量的车牌候选区域，即为粗定位出的车牌，手动对粗定位的车牌进行标定，把真车牌标记为正样本，把非车牌样本标记为负样本，提取HOG特征后放入到SVM分类器中进行训练，然后利用训练好的SVM分类器对粗定到的车牌进行鉴定。

具体地，包括以下步骤：

步骤2-a)，实际应用中，车辆的纵向栅格、车灯、车辆的图案和复杂背景都会影响定位的结果，使得粗定位到的车牌候选区域含有一些非车牌区域。对已经得到的车牌候选区域，归一到128*32大小。

步骤2-b)，首先要训练SVM分类器，训练的第一步，获得样本数据。利用大量测试视频，对其进行步骤1)～步骤2)操作，得到大量车牌候选区域，里面分为两类图片，真正的车牌图片和不是车牌的图片，利用这些图片作为样本数据。

步骤2-c)，训练的第二步，图片贴上标签，成为学习数据，手工对图片进行分类，将真的车牌图片标为正样本，非车牌图片标为负样本。

步骤2-d)，对正负样本分别提取HOG特征，取4*4像素/cell，2*2cells/block。

步骤2-e)，由于样本数量较大，而样本维数较低，SVM的核函数选择rbf核。用之前标记好的样本训练SVM分类器。

步骤2-f)，对于得到的车牌候选区域使用训练得到的SVM分类器进行车牌鉴定。

如图1所示，接着进行步骤3)S13，取连续多帧的车牌图片利用投影法进行字符分割，每个字符归一化后提取HOG特征，获取不同车牌图片对应字符特征间的L1-BRD距离。

作为示例，步骤3)对定位到的车牌利用投影法进行字符分割，包括步骤：

第一步，对车牌区域进行灰度化，获得灰度图像。

第二步，对灰度图像进行二值化，获得二值图像；本实施例采用OSTU法对得到的灰度图像进行二值化。

第三步，统计所述二值图像中白像素点数Num1及黑像素点数Num2，若Num1>Num2，对二值图像取反色。

第四步，在垂直方向上向下投影，统计每列的白色像素点的数目，得到灰度统计直方图，然后从左向右扫描，记录白色像素点数大于阈值的横坐标值，得到m个连续的线段，然后对图像进行切割得到m个含有字符的图像块。

第五步，对每一个字符的图像块，在水平方向进行投影，统计每行的白色像素点数，得到每一行的灰度统计直方图，从上至下扫描，记录像素点数大于阈值的行，将小于阈值的行切割掉，得到分割好的m个字符，其中，m为自然数，且m＝3～10。由于中国车牌号为7位，因此，在本实施例中，取m＝7。

作为示例，获取不同车牌图片对应字符特征间的L1-BRD距离包括：记录两帧得到车牌的中心坐标，若距离在一定阈值内，则记录为统一车牌bin-to-bin距离描述两个直方图相应的bin之间的距离，设表示目前统计到的直方图，共n个bin，h_i表示第i个bin的值，取得k帧车牌后，字符分割后，分别得到k组字符集合，每组含有m个字符，算出k组字符两两之间的L1-BRD距离d_i,j,i,j∈[1,k]；为使其差异更大化，取可得到距离矩阵D，计算L1-BRD如式(1)：

在本实施例中，优选地，取k＝5。

BRD可以更准确的度量特征向量间的距离，但是对噪声比较敏感，而L1距离受噪声的影响很小，所以采用结合L1距离和BRD距离的方法，L1-BRD即两者的乘积。

具体地，本发明用bin-ratio-based直方图距离，Bin ratio被定义为直方图bin之间的比值。我们定义一个比率矩阵H＝(h_i/h_j)∈Rⁿ，它包含了直方图所有bin之间的比值。给2个直方图，我们定义它们的bin ratio-based距离是它们比值矩阵平方归一化后每个元素间的差求和。

BRD(Bin Ratio-Based Histogram Distance)是intra-cross-bin距离，与先前的bin-to-bin距离相对。BRD对局部匹配和直方图归一化具有鲁棒性，并且具有线性的计算复杂度。

L2归一化含有n个bins的直方图是一个列向量h∈Rⁿ，如式(1.1)：

现有两个L2归一化后的含有n个bins的直方图特征p和q，求其平方距离。可得到特征间的距离BRD(Bin Ratio-Based Histogram Distance)，得到式(1.2)：

其中P和Q是p和q比值矩阵。

式(1.2)表示的距离并不稳定，当pi和qi很小时，很小的变化都会造成所得距离差异很大，为了避免这种情况，在(1.2)中加入项1/q_i+1/p_i做除数，得到式(1.4)：

对比L1距离和L2距离这些针对n维向量的距离，BRD距离是n×n个比值的向量，所以它包含了比L1距离和L2距离更多的信息量。d_BRD(p,q)的具体推导过程在上述已给出，该距离只有O(n²)的时间复杂度。

BRD可以更准确的度量特征向量间的距离，但是对噪声比较敏感，而L1距离受噪声的影响很小，所以采用结合L1距离和BRD距离的方法，即两者的乘积，结果如式(1.5)，可以有效地消除噪声干扰及数值很小时的影响。

如图1所示，然后进行步骤4)S14，算出每个字符的权重，得出多帧加权的特征，将此作为字符识别的特征；

作为示例，步骤4)包括：

计算距离矩阵D如式(2)：

如图1所示，最后进行步骤5)S15，结合多分类的SVM分类器对车牌字符进行识别。

识别车牌字符的分类器采用SVM分类器，SVM主要解决两类分类问题，当处理多分类时需要构造合适的SVM多分类器。本文采用一对多组合的方法，就是把某一类别当成一类，剩余其它类别的样本当成另一类，这样就把问题转化为二分类问题。我们对第N类和其它N-1类样本构建超平面，通过一对一的方法来确定所有样本的正负。在分类过程中需要构造N个分类器。

中国的车牌号码一共有7位，第一位为各省份的简称，第二位为字母，后5位含有10个数字和除“I”“O”以外的24个大写字母。所以本发明需要构造3种类型的SVM分类器。

将大量车牌字符样本分为34类，然后利用上述方法的SVM分类器进行训练，将训练得到的SVM分类器对上述5帧加权直方图特征进行分类，识别出车牌字符。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于视频的车牌识别方法，其特征在于，包括步骤：

1)在道路上设定一个检测区域，在检测区域中设置一道虚拟触发线；

2)当虚拟触发线触发时，先对相应区域进行粗定位，然后基于方向梯度直方图HOG特征和SVM分类器进行车牌鉴定真伪；

3)取连续多帧的车牌图片利用投影法进行字符分割，每个字符归一化后提取HOG特征，获取不同车牌图片对应字符特征间的L1-BRD距离；

4)算出每个字符的权重，得出多帧加权的特征，将此作为字符识别的特征；

5)结合多分类的SVM分类器对车牌字符进行识别。

2.根据权利要求1所述的基于视频的车牌识别方法，其特征在于：步骤2)中，判断触发线触发包括步骤：于检测区域前上方安装摄像头采集视频，对每帧图像进行灰度化处理，取触发线上相邻两帧图像的灰度值，做差求绝对值的和，若大于预设阈值，则判定有物体经过检测区域。

3.根据权利要求1所述的基于视频的车牌识别方法，其特征在于：步骤2)对车牌区域进行粗定位包括步骤：

第一步，在检测区域内提取出候选车牌区域，对图像进行高斯滤波，降低噪声影响，然后进行灰度化得到灰度图像；

第二步，对得到的灰度图像进行二值化得到二值图像；

第三步，对二值图像进行形态学的闭操作；

第四步，对二值图像进行连通域标记；

第五步，对标记的每个连通域取最小外接矩形，计算出矩形偏转角度，并筛选出角度偏转在预设角度内的矩形区域；

第六步，计算第五步所筛选出的矩形区域的宽高比，并筛选出高宽比在预设范围内的矩形区域；

第七步，通过旋转将第六步筛选出的矩形区域调整为水平，该矩形区域对应原图像即为车牌区域。

4.根据权利要求1所述的基于视频的车牌识别方法，其特征在于：步骤2)中，基于HOG特征和SVM分类器对粗定位的车牌进行鉴定真伪，包括步骤：

第一步，对车牌区域进行尺寸归一化处理；

第二步，基于机器自学习的方法训练SVM分类器，使其能基于车牌区域的HOG特征识别车牌的真伪；

第三步，基于训练好的SVM分类器得对车牌鉴定鉴定真伪。

5.根据权利要求1所述的基于视频的车牌识别方法，其特征在于：步骤3)对定位到的车牌利用投影法进行字符分割，包括步骤：

第一步，对车牌区域进行灰度化，获得灰度图像；

第二步，对灰度图像进行二值化，获得二值图像；

第三步，统计所述二值图像中白像素点数Num1及黑像素点数Num2，若Num1>Num2，对二值图像取反色；

第四步，在垂直方向上向下投影，统计每列的白色像素点的数目，得到灰度统计直方图，然后从左向右扫描，记录白色像素点数大于阈值的横坐标值，得到m个连续的线段，然后对图像进行切割得到m个含有字符的图像块；

第五步，对每一个字符的图像块，在水平方向进行投影，统计每行的白色像素点数，得到每一行的灰度统计直方图，从上至下扫描，记录像素点数大于阈值的行，将小于阈值的行切割掉，得到分割好的m个字符，其中，m为自然数，且m＝3～10。

6.根据权利要求5所述的基于视频的车牌识别方法，其特征在于：步骤3)中获取不同车牌图片对应字符特征间的L1-BRD距离包括：记录两帧得到车牌的中心坐标，若距离在一定阈值内，则记录为统一车牌bin-to-bin距离描述两个直方图相应的bin之间的距离，设表示目前统计到的直方图，共n个bin，h_i表示第i个bin的值，取得k帧车牌后，字符分割后，分别得到k组字符集合，每组含有m个字符，算出k组字符两两之间的L1-BRD距离d_i,j,i,j∈[1,k]；取可得到距离矩阵D，计算L1-BRD如式(1)：

。

7.根据权利要求6所述的基于视频的车牌识别方法，其特征在于：步骤4)包括：

计算距离矩阵D如式(2)：

8.根据权利要求1所述的基于视频的车牌识别方法，其特征在于：步骤5)中，多分类的SVM分类器采用SVM分类器对第N类和其它N-1类样本构建超平面，通过一对一的方法来确定所有样本的正负。