CN103824066B

CN103824066B - 一种基于视频流的车牌识别方法

Info

Publication number: CN103824066B
Application number: CN201410100394.8A
Authority: CN
Inventors: 郑海舟; 杨延生
Original assignee: XIAMEN YIGE SOFTWARE TECHNOLOGY Co Ltd
Current assignee: XIAMEN YIGE SOFTWARE TECHNOLOGY Co Ltd
Priority date: 2014-03-18
Filing date: 2014-03-18
Publication date: 2017-10-10
Anticipated expiration: 2034-03-18
Also published as: CN103824066A

Abstract

本发明公开了一种基于视频流的车牌识别方法，包括以下步骤：S1、检测触发，定义一个矩形兴趣区域，采用帧差法得出矩形兴趣区域内的二值图像，根据二值图像的结果判断是否有车辆通行；S2、车牌定位，对图像中的检测区域进行车牌检测，把检测到的车牌切割出来，获得车牌图像；S3、车牌预处理，对车牌图像进行车牌倾斜校正和车牌精确切割；S4、车牌字符切割，对车牌图像上的字符进行切割，将其分解为单个字符图像；S5、车牌字符识别；S6、对每帧图像重复步骤S2至S5的操作，得到多个车牌识别结果；S7、结果投票。本发明基于多帧图像进行车牌识别，大大降低了单张图像识别错误带来的风险，提高了车牌的整体识别率。

Description

一种基于视频流的车牌识别方法

技术领域

本发明涉及智能交通领域，特别涉及一种基于视频流的车牌识别方法。

背景技术

目前的图像处理与识别技术得到了迅速的发展，其任务就是在装备了数字摄像设备和计算机信息处理***的软硬件的基础上，通过摄像设备采集视频，并将视频通过光纤传给计算后台处理器进行图像内容的提取与识别。

车牌识别是通过摄像机对车辆图像的采集后，采用相应的图像处理、模式识别和人工智能技术，在图像中找到车牌的位置，提取出车牌上的全部字符，再识别出车牌中的汉字、字母和数字，最后输出车牌的真实号码。从应用来看，车牌识别技术已经得到了广泛的应用。

而车牌识别一个很重要的应用就是在停车场或小区等场所的车辆出入管理上，通过对车辆进出时的识别来登记或收费。有别于传统用小票的方式，采用车牌识别的管理***更加智能，管理成本更低。

现在高端一些停车场或小区的出入口都采用了智能车牌识别来控制车辆的出入与收费。而现在市场上大部分类似产品的解决方案都是用地感线圈结合拍照识别的方式，通过地感线圈感应到车辆的驶入，触发像机进行抓拍，最后对拍到的图牌进行车牌提取与识别。但这种方式存在着车牌图像识别时机把握不准，车牌识别容错率低等问题。

发明内容

本发明的目的在于提供一种基于视频流的车牌识别方法，其大大降低了单张图像识别错误带来的风险，提高了车牌的整体识别率。

为实现上述目的，本发明采用以下技术方案：

一种基于视频流的车牌识别方法，包括以下步骤：

S1、检测触发，定义一个矩形兴趣区域，采用帧差法得出矩形兴趣区域内的二值图像，根据二值图像的结果判断是否有车辆通行；

S2、车牌定位，对图像中的检测区域进行车牌检测，把检测到的车牌切割出来，获得车牌图像；

S3、车牌预处理，对车牌图像进行车牌倾斜校正和车牌精确切割；

S4、车牌字符切割，对车牌图像上的字符进行切割，将其分解为单个字符图像；

S5、车牌字符识别，采用了SVM字符识别器对每个字符图像进行识别，最终获得整个车牌的识别结果；

S6、对每帧图像重复步骤S2至S5的操作，得到多个车牌识别结果；

S7、结果投票，对多个车牌识别结果进行投票与交叉对比，最终得到一个准确率最高的识别结果。

优选地，所述步骤S1具体包括以下分步骤：

S11、定义一个矩形兴趣区域，用以检测移动的车辆；

S12、获取矩形兴趣区域内的差值图

diflmg＝|curImg-preImg|

其中，difImg为差值图像，curImg为当前帧图像，preImg为前一帧图像；

S13、对步骤S11中得到的差值图像进行阈值化处理，获得二值图像

S14、计算二值图像的前景面积百分比

其中，foreArea为前景目标的面积，RectArea为兴趣区域的面积；

S15、预先设定检测阈值，根据前景面积百分比判断是否有车辆驶入，若areaRate大于检测阈值，则判定有车辆经过，如果小于检测阈值，则判定无车辆经过。

优选地，所述检测阈值为5％。

优选地，所述步骤S2具体包括以下分步骤：

S21、采用Sobel算子进行竖直边缘检测，获得边缘图像；

S22、对边缘图像进行形态学操作，获得候选车牌的连通区域；

S23、预先设定连通区域的筛选条件，进行车牌筛选，获得车牌区域；

S24、根据车牌区域的宽高比判断车牌是否完整，若不完整，则对车牌区域的左右两侧分别进行一定尺寸的拓展，获得车牌图像。

优选地，所述连通区域的筛选条件为：

其中，conW为连通区域的宽度，conH为连通区域的高度，stdPltSz是一个二元数组，stdPltSz[0]为场景下一般车牌的宽度，stdPltSz[1]为场景下一般车牌的高度。

优选地，所述步骤S3具体包括以下分步骤：

S31、车牌二值化，先对车牌图像进行数学形态学操作，获得一张只有车牌背景颜色而没有字符的背景图像，然后将车牌图像与所述背景图像进行差值运算，得到车牌差值图像，最后对车牌差值图像的竖直边缘周边像素点采样，对采样得到的颜色进行二聚类求取阈值，根据求取的阈值对车牌进行二值化处理；

S32、车牌倾斜校正，对车牌分别进行水平方向和竖直方向的修正；

S33、车牌精切割，将车牌以外的区域去除。

优选地，所述步骤S33的具体步骤如下：

S331、对车牌进行二值化；

S332、查找有效的车牌字符；

S333、遍历每个字符的外接矩形框内的点，如果不是字符上的点，则将原图中该位置的颜色值记录保存下来；

S334、对所有保存下来的颜色值的R，G，B分量分别求中值，得到一个最终的颜色值pltBgColor，遍历彩色图像中的点，将其颜色值与车牌背景色pltBgColor作比较，如果三个通道的差的绝对值都在40以内，则说明该点为背景点，此时，就可以得到一张二值图像，上面的白色代表车牌背景点；

S335、对步骤S334中得到的二值图像做形态学操作，以填充车符部分的空洞。定义一个水平方向的结构元素，长度为车牌宽度的1/8；

S336、遍历所有连通区域，选取出面积最大的连通区域作为车牌背景区域，将车牌图像按车牌背景区域的外接矩形裁剪；

优选地，所述步骤S7的结果投票具体通过以下方法实现：

首先，进行车牌分组，车牌可以划分到相同组的条件是：车牌号码与该组内的任何一个车牌有4个以上的字符相同；

然后，选取包含车牌结果最多的组作为最终用于投票的集合。如果有两个包含车牌结果最多的组，则计算出所有车牌所有字符的概率总和，取总体概率较高的一组作为最终用于投票的集合；

最后，对每个车牌字符位置上字符出现的次数进行投票，选取出现次数最多的字符作为最终结果，如果同时存在两个出现次数最多的字符，则计算这两个字符出现的概率，选取出现概率大的字符作为最终结果。

优选地，其还包括步骤S8，对车牌结果进行跟踪，根据字符匹配数量和坐标匹配结果判断是否有新的车辆出现，所述步骤S8位于步骤S6和S7之间。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明基于多帧图像进行车牌识别，大大降低了单张图像识别错误带来的风险，提高了车牌的整体识别率。

附图说明

图1为本发明实施例一的流程示意图。

图2示出了车牌定位步骤中得到的边缘图像。

图3示出了车牌定位步骤中得到的候选车牌的连通区域。

图4示出了车牌最终的定位结果。

图5示出了车牌分割的结果。

图6示出了车牌倾斜校正后的结果。

图7示出了车牌字符切割的最终结果。

图8示出了车辆行进至不同位置的帧图像。

图9为本发明实施例二的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

请参阅图1，本发明公开了一种基于视频流的车牌识别方法，其包括以下步骤：

S1、检测触发

定义一个矩形兴趣区域，采用帧差法得出矩形兴趣区域内的二值图像，根据二值图像的结果判断是否有车辆通行。其具体通过以下步骤实现：

S11、定义一个矩形兴趣区域，用以检测移动的车辆；

S12、获取矩形兴趣区域内的差值图

diflmg＝|curImg-preImg|

其中T为阈值，差值图像上大于T的像素点设为白色，差值图像上小于T的像素点设为黑色。在本实施例中，T取50。

S14、计算二值图像的前景面积百分比

其中，foreArea为前景目标的面积，RectArea为兴趣区域的面积；

S15、预先设定检测阈值，根据前景面积百分比判断是否有车辆驶入，若areaRate大于检测阈值，则判定有车辆经过，如果小于检测阈值，则判定无车辆经过。在本实施例中，检测阈值为5％。

S2、车牌定位

对图像中的检测区域进行车牌检测，把检测到的车牌切割出来，获得车牌图像。其具体通过以下步骤实现：

S21、采用Sobel算子进行竖直边缘检测，获得边缘图像(参考图2所示)。

Sobel算子主要用作边缘检测，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。Sobel算子比较简单，检测效率高，能够用来检测车牌字符在竖直方向上产生的纹理。

S22、对边缘图像进行形态学操作，获得候选车牌的连通区域(参考图3所示)。

形态学操作的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到图像像分析和识别的目的，它是由一组形态学的代数运算子组成，基本运算有4个：膨胀、腐蚀、开运算和闭运算。

在本实施例中，对边缘图像进行的形态学操作具体通过以下步骤实现：

1.定义水平方向上的线型结构元素，长度为标准车牌宽度的的1/5。

2.对边缘图像charEdge做水平方向闭运算。

3.接着对图像做填充孔洞的操作。

4.再用上面定义的水平结构算子对图像进行开运算。

5.定义竖直方向上的线型结构元素。

6.对图像进行开运算，避免车牌与其他干扰区域连接过长。

S23、预先设定连通区域的筛选条件，进行车牌筛选，获得车牌区域(参考图4所示)。

经过步骤S21和S22处理后，竖起纹理复杂的地方都会形成一个矩形块，而这里面有的是车牌，有的则是车身或路面上的有些纹理形成的，因此需要进行一些尺寸的筛选。根据场景下一般车牌的大小预先设定连通区域的筛选条件，然后遍历所有连通区域，若满足连通区域的筛选条件，则判定其为车牌区域。

在本实施例中，连通区域的筛选条件为：

其中，conW为连通区域的宽度，conH为连通区域的高度，stdPltSz是一个二元数组，其第一个元素为场景下一般车牌的宽度，第二个元素为场景下一般车牌的高度。

由于车牌光照或污损等原因，车牌字符上的边缘可能检测不到，这会导致在做形态学连接时车牌区域不完整，在后面分割过程中丢失字符。所以需要对得到的车牌区域进行判断来决定是否对左右进行一定的区域拓展。

基于先知经验，车牌宽度通常为车牌高度的5倍左右，因此首先判断得到的区域的宽高比，如果小于5，则将车牌区域的左右各扩展与正常车牌宽度相比少掉的尺寸，即5*PltH-PltW。

S3、车牌预处理

对车牌图像进行车牌倾斜校正和车牌精确切割，其通过以下步骤实现：

S32、车牌倾斜校正，对车牌分别进行水平方向和竖直方向的修正(参考图5和图6)。

S33、车牌精切割，将车牌以外的区域去除。其具体步骤如下：

S331、对车牌进行二值化。

S332、查找有效的车牌字符。

S333、遍历每个字符的外接矩形框内的点，如果不是字符上的点，则将原图中该位置的颜色值记录保存下来。

S334、对所有保存下来的颜色值的R，G，B分量分别求中值，得到一个最终的颜色值pltBgColor。遍历彩色图像中的点，将其颜色值与车牌背景色pltBgColor作比较，如果三个通道的差的绝对值都在40以内，则说明该点为背景点。此时，就可以得到一张二值图像，上面的白色代表车牌背景点。

S335、对步骤S335中得到的二值图像做形态学操作，以填充车符部分的空洞。定义一个水平方向的结构元素，长度为车牌宽度的1/8。

S336、遍历所有连通区域，选取出面积最大的连通区域作为车牌背景区域，将车牌图像按车牌背景区域的外接矩形裁剪。

S4、车牌字符切割

对车牌图像上的字符进行切割，将其分解为单个字符图像(参考图7所示)。车牌字符分割实际上就是找到车牌内的每一个字符，并用投影法找到车牌字符形成的波谷，从而确定字符的左右边界。该步骤具体通过以下步骤实现：

S41、对车牌二值化过程中得到的车牌差值图像进行竖直方向上的投影。

S42、对投影曲线进行分析，调用波峰查找函数求出曲线上的波谷位置。

S43、确定字符两侧的坐标，其具体通过以下步骤实现：

S431、将步骤S42中得到的波谷位置储存在一个一维数组中Valley＝[v₁，v₂，...，v_n]。

S432、遍历车牌的有效字符。

S433、对第i个字符，左边界x方向坐标为Lx，右边界x方向坐标为Rx。

S434、先找到与Lx左边最邻近的波谷位置，同理找到与Rx右边最邻近的波谷。

Lx＝min_0＜i≤N{Lx-Valley[i]}

Rx＝min_0＜i≤N{Rx-Valley[i]}

S435、经过上面的步骤，所有有效的字符已经精确了左右边界，所以这里先用中值法求出车牌字符的平均宽度。

charW＝median(PltCharW)

S436、在已经查找到的车牌字符最后一个后面盲推出一个车牌字符，盲推方法如下：以已经查到的字符最后一个LastChar的右边界加1为新的Rect的左边界Lx，然后从左边界加上一个平均字符宽度，得到候选的右边界Rx＝Lx+mCharW，遍历车牌投影曲线的所有波谷，找到与Rx与接近的那个波谷位置Vx，如果Lx-Vx满足0.6-1.4倍字符平均宽度，则字符的右边就是Vx，如果不满足则为Rx。

S437、将盲推得到的字符，从彩色图像中割出来，用灰度识别器进行识别，如果置信度高于0.6则说明该字符存在，然后继续后面按步骤6推断字符。如果置信度小于0.6则结束，说明已经找到了最后一个字符。

S438、找到最后一个字符后，开始向前推断，CharEndRect为已经推断好的字符中的最左边一个，这里查找车牌字符，找到与CharEndRect左边界最靠近的一个字符，判断其与CharEndRect的距离是不是满足0.5倍的mCharW以内，若满足，则直接将该字符保存到推断好的字符列表内，若不满足，则需要按步骤S436进行盲推。

S5、车牌字符识别

采用了SVM字符识别器对每个字符图像进行识别，最终获得整个车牌的识别结果。SVM字符识别器为SVM(support vector machine)支持向量机，其通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。SVM字符识别的关键点在于特征的选取，本实施例中选用了笔划斜率累积特征和字符像素分布直方图特征。

S6、对每帧图像重复步骤S2至S5的操作

视频流中包含采集到的车辆行进至不同位置的帧图像(参考图8所示)，对每帧图像重复步骤S2至S5的操作，得到多个车牌识别结果。

S7、结果投票

对步骤S6多个识别结果进行投票与交叉对比，最终得到一个准确率最高的识别结果。其具体通过以下方法实现：

首先，进行车牌分组，车牌可以划分到相同组的条件是：车牌号码与该组内的任何一个车牌有4个以上的字符相同。

然后，选取包含车牌结果最多的组作为最终用于投票的集合。如果有两个包含车牌结果最多的组，则计算出所有车牌所有字符的概率总和，取总体概率较高的一组作为最终用于投票的集合。

实施例二

本实施例与实施例一的不同之处在于:步骤S6与S7之间增加了步骤S8，对车牌结果进行跟踪，根据字符匹配数量和坐标匹配结果判断是否有新的车辆出现(参考图9所示)。该步骤主要用于判断连续识别过程中，什么时候是一辆新车出现，其具体通过以下步骤实现：

S81、计算字符匹配数量，按位置比较车牌号码与车辆记录栈中车牌结果，得到除了汉字位的6个位置中，字符相同的个数总和。若字符匹配数量为6个，则判定没有新的车辆出现；若字符匹配数量为小于6个，则执行步骤S72。

S82、坐标匹配，计算本个车牌中心坐标与车辆记录栈中最后一个中心坐标的移动矢量<dx,dy>，将dx,dy与车辆记录栈中的diffx、diffy作比较，判断是否满足以下关系：

(dx<＝2*abs(diffx)&&(dy>＝-2*abs(diffy))||(diffx＝＝0&&diffy＝＝0)

S83、若字符匹配数量大于或等于4且(dx<＝2*abs(diffx)&&

dy>＝-2*abs(diffy))||(diffx＝＝0&&diffy＝＝0)，则判定没有新的车辆出现。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于视频流的车牌识别方法，其特征在于，包括以下步骤：

S7、结果投票，对多个车牌识别结果进行投票与交叉对比，最终得到一个准确率最高的识别结果；

其中，所述步骤S2具体包括以下分步骤：

S21、采用Sobel算子进行竖直边缘检测，获得边缘图像；

S24、根据车牌区域的宽高比判断车牌是否完整，若不完整，则对车牌区域的左右两侧分别进行一定尺寸的拓展，获得车牌图像；

其中，步骤S23所述连通区域的筛选条件为：

其中，conW为连通区域的宽度，conH为连通区域的高度，stdPltSz是一个二元数组，stdPltSz[0]为场景下一般车牌的宽度，stdPltSz[1]为场景下一般车牌的高度；

其中，所述步骤S3具体包括以下分步骤：

S33、车牌精切割，将车牌以外的区域去除；

其中，所述步骤S33的具体步骤如下：

S331、对车牌进行二值化；

S332、查找有效的车牌字符；

S335、对步骤S334中得到的二值图像做形态学操作，以填充车符部分的空洞，定义一个水平方向的结构元素，长度为车牌宽度的1/8；

其中，所述步骤S7的结果投票具体通过以下方法实现：

然后，选取包含车牌结果最多的组作为最终用于投票的集合，如果有两个包含车牌结果最多的组，则计算出所有车牌所有字符的概率总和，取总体概率较高的一组作为最终用于投票的集合；

2.如权利要求1所述的一种基于视频流的车牌识别方法，其特征在于，所述步骤S1具体包括以下分步骤：

S11、定义一个矩形兴趣区域，用以检测移动的车辆；

S12、获取矩形兴趣区域内的差值图

diflmg＝|curImg-preImg|

S14、计算二值图像的前景面积百分比

其中，foreArea为前景目标的面积，RectArea为兴趣区域的面积；

3.如权利要求2所述的一种基于视频流的车牌识别方法，其特征在于：所述检测阈值为5％。

4.如权利要求1-3任一项所述的一种基于视频流的车牌识别方法，其特征在于：其还包括步骤S8，对车牌结果进行跟踪，根据字符匹配数量和坐标匹配结果判断是否有新的车辆出现，所述步骤S8位于步骤S6和S7之间。