CN101872416B - 对道路图像进行车牌识别的方法和*** - Google Patents

Abstract

描述了一种进行车牌识别的方法和***，该方法可以为智能交通***提供支持，并能广泛应用在停车场，收费卡口，刑事缉拿等方面。方法主要包括定位、字符分割、字符识别三个阶段。有较高的识别率，能够应对较复杂的环境并能达到实时处理的要求。***封装了上述方法，并提供了不同的参数，可灵活使用。便于分布，批量处理数据。

Description

对道路图像进行车牌识别的方法和***

技术领域

本发明属于数字图像处理及模式识别技术领域，具体涉及一种对道路图像进行车牌识别的方法和***。

背景技术

近年来，随着计算机及互联网技术的飞速发展，各种机动车数量的迅猛增长，各类信息包括与交通相关的信息呈现***式增长的态势，为了能够更加安全、高效的管理这些信息，智能交通***(Intelligence Transportation System)应运而生。智能交通***可以在收费卡口，停车场，刑事追踪等方面展现出强大的作用，而对车牌的检测和识别是其最为核心的组成部分。

目前，虽然现在已经有了很多相对成熟的车牌识别产品，但是更高的准确率，更少的耗时，依然吸引着人们去不断进行研究。实际上，随着相关领域的新发展，例如新的底层特征的发明，更好的分类算法的提出等，都为车牌识别算法的改进提供了新的机会。另外，现在商用的车牌识别***大多只对特定的条件下有比较好的效果，例如特定的光照，距离，角度，车牌制式(包括颜色、格式、文字)，而在变化了的环境下***的准确率可能会大大降低甚至失效，还没有哪个***可以在各种不同的条件下做到健壮稳定(与人识别车牌的能力还有很大差距)。在本文的第三部分会对关于这方面的一篇文章进行专门讨论。再有，对于自然条件拍摄的图片和视频，例如手持或车载摄像机拍摄下来的，进行车牌检测与识别也是一个值得研究的方向。

目前存在的一些车牌识别技术中，大都将整个识别分为三个过程，如图1所示，为b车牌定位，c车牌字符分割，d车牌字符识别。

其中对于b，使用的技术种类繁多，虽然可以分成几类，但类之间的界限并不是很明显。大致有如下一些方法：A边缘检测后二值化，这个是使用的最多的一种方法，它在与数学形态学方法结合后，就已经能够得到比较好的就结果了。很常用的一个边缘检测算子是纵向sobel算子。它的计算式为

而纵向边缘检测相较于横向，它的优势，而纵向边缘检测相较于横向，它的优势在于一个含有车牌的图像中车的横向边缘较多，而车牌上字符的纵向边缘较多。这种方法计算快速，效果较好，但是一个很大的缺点就是难以处理复杂的图像，如何有效地去除不相关的边缘信息，(例如车辆进气口，灯光区域，周围树木，粗糙的地面等)，是一个非常关键的问题.B数学形态学操作，主要是腐蚀、膨胀，开闭运算等。C连通区域分析(CCA)，最典型的是四连通和八连通方法以及各种聚类方法，与连通区域目的相同，分出一些候选区域。D分块分析。将图像分为若干块，分别计算其均值、方差、边缘信息等特征。滑动窗口。与分块思想类似，但是是逐点计算特征的。E彩色图像处理，依据RGB颜色信息。F各种分类器，包括Ada-Boost，SVM，ANN，GP，GA等。

对于c，现在的技术分为如下几类。A二值图像处理投影方法。是当前各种文献中使用最多的一种技术，通常的做法是先进行横向投影，剪切掉上下区域；然后进行纵向投影，切分出每一个字符。B局部自适应二值化。在很多文章中局部自适应二值化或者类似的方法，它通过分块、逐点或者分字符来计算某一区域内的均值，对比度等特征，然后分别进行二值化。出C倾斜校正方法。种类比较多，有利用HT定位车牌框的，也有使用颜色信息的，还有直方图分析的。D层次分割与合并、***方法。E数学形态学，腐蚀、膨胀运算。车牌字符分割这一步其实难度是比较大的，因为如果分割失误或者二值效果不好，后面的字符识别很有可能就会失效。而不同的光照条件，车牌周围的近似颜色或形状，不同的车牌制式，都会制约着车牌字符分割的方法，使得目前难以产生极其健壮的分割技术。多数方法都还只是在特定情况下表现出良好的性能。

对于d，OCR(光学字符识别)是模式识别领域的一个重要分支，它的目标是将图像形式的各种文字识别为文本形式下的。车牌字符识别便是OCR的一种特殊形式，车牌字符识别的过程可以简化为特征提取与特征匹配。针对字符图像的特征提取的方法多种多样，有逐像素特征提取法、骨架特征提取法、垂直方向数据统计特征提取法、基于网格的特征提取法、弧度梯度特征提取法等很多。另外不进行特征提取，或者说将字符图像的黑白值直接作为特征，依靠分类器的强大分类能力进行识别，也是一种可以采用的方式。而特征匹配的方法，主要分为以下三种A.基于统计/混合/分层次的分类器B.ANN.C.模板匹配法.其中ANN是最为常见的且性能较优的。

发明内容

本发明的目的在于提供一种对静态图像进行车牌识别的方法和***，旨在解决智能交通***(ATI)中的核心问题，获取监控图像中的车牌号码，为后面更深层次的应用做准备。

本发明提供的所述车牌识别的方法，包括车牌定位，车牌字符分割和车牌字符识别三个步骤；

所述车牌定位，是对输入的图像进行分割，得到一组车牌候选区。它的输入为一张图片，大小任意，然后进行预处理，基于DBSCAN的聚类两个步骤，输出一组车牌候选区；

所述预处理过程的任务是对原始彩色图像进行处理，生成一张包含边缘信息的二值图像。它包括图像灰度化，sobel纵向边缘检测+车牌颜色增强，图像二值化三个步骤。

所述的sobel纵向边缘检测+车牌颜色增强，是对全图进行sobel纵向检测，在检测过程中，对于边缘信息p(x，y)，若＞K，对其周围x*x邻域进行扫描，对其中每一行，如有车牌颜色出现，则增强p(x，y)10％；实施例中K＝30，x＝7；这里的车牌颜色只各种车牌中可能出现的颜色集合。

所述基于DBSCAN的聚类是使用DBSCAN密度聚类方法对二值图片进行聚类，将所有的点划分为几个高密度区，超过一定阈值T的区域称为候选区，阈值T根据实际的场景大小通过调试而确定。这里将临界半径分为RH和RW，表示长宽方向上的半径，一般RW＝3*RH；实施例中取RH＝10，RW＝30，T＝300；然后计算各个区域的属性，包括长、宽，长宽比等，删除区域两侧过少的点。最后对候选区的属性进行判断，排除不合形状的区域，输出可能的候选区。

所述的车牌字符分割，是对车牌候选区分别进行字符的分割，删除错误候选区，对每个其他候选得到一组字符块。它包含二次预处理和基于投影的分割两个步骤；

所述二次预处理过程，是先对区域图片进行灰度化，然后利用均值阈值将其二值化，最后通过水平投影，寻找投影图中上下低谷区域，认为其为无用区域，删除之。得到二值车牌局部图像。

所述基于投影的分割，它的输入为二值车牌局部图像，输出是一组图像字符块，通常为7个(车牌上的字符数)。首先进行垂直投影，认为波谷区为无用区，其它为字符区，以此划分出若干区域。然后对于区域进行分析判断，以排除非车牌区域。最后再对每一字符图像切除上下空白。生成一组字符区域。

所述车牌字符识别，是对每组字符块进行识别，排除错误候选区，生成识别出的车牌号码，车牌颜色以及车牌区域坐标。它的输入为单个二值区域，输入是识别出来的字符，包括汉字、数字和字母。首先如果区域的宽高比＞4，其区域内点密度大于某一阈值，则直接识别该字符为1。然后将整个二值图像序列作为特征，带入各自分类器进行分类，输出结果。如果识别的字符不为7个，则认为其为非车牌区域。最终生成识别出的车牌号码，车牌颜色以及车牌区域坐标。

所述的分类器，其特征在于，预先分别对数字、字符和汉字建立二值模板，分类时采用模板匹配的方式进行识别，输出识别结果。

本发明还提供一种车牌识别的***，包括实现所述的车牌识别方法三个步骤的三个模块：车牌定位模块、车牌字符分割模块和车牌字符识别模块。输入是一张图片，输入是若干子区域图片和识别结果描述文档xml文件。可以有多种参数选择，具有动态配置参数的功能，具有动态定义输出的功能，可以输出车牌局部图片、驾驶员位置局部图片、车标局部图片、车身局部图片、缩略图等，可以方便替换车牌识别方法，易于进行批量处理。

所述多种参数选择是指在程序名后加参数，plate，other，all，可以分别只识别车牌输出号码及位置，只计算输出其他局部图片(由车牌位置推断)和进行全部处理。实现了关键过程(车牌识别)和其他过程的分离。

所述的计算输出驾驶员位置局部图片，依据车牌位置和车型大小，估算驾驶员位置，并与原图像进行比对，校正后输出驾驶员位置局部图片。

所述的计算输出车标局部图片，依据车牌位置，对车牌上方区域进行扫描，寻找车标，在分割后输出车牌位置局部图片。

所述的计算输出车身局部图片，依据车牌位置和车型大小，估算车身位置，并与原图像进行比对，校正后输出车身局部图片。

附图说明

图1是车牌识别流程图。

图2是车牌定位模块流程图。

图3是车牌字符分割模块流程图。

图4是对一张图片进行识别的实施例图。

图5是车牌识别***的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了车牌识别方法的主要流程。包括车牌定位，车牌字符分割和车牌字符识别三个阶段。中间传递的值是1或多个车牌候选区域，在b、c、d依次的运行过程当中，错误的候选区被逐步抛弃。最终输出车牌号码。

图2示出了车牌定位模块流程。对于一张输入原始图片，例如图4左上角所示。首先对它进行灰度化，灰度化的公式为gray＝0.299R+0.587G+0.114B，其中gray代表灰度值，R，G，B分别为图像的三个分量。其次进行纵向sobel边缘检测，在纵向检测过程当中，进行对车牌颜色的增强，具体的规则是(蓝色举例)，对于边缘信息p(x，y)，若＞30，对其周围7*7邻域进行扫描，对其中每一行，如有蓝色点出现，则增强p(x，y)10％，这里蓝色指(G＜150，R＜150，B＞G，B＞R)。再次进行二值化，得到一幅黑白点图，如图4中右上角所示，不难看出，车牌附近的点比较密集，此为下一步聚类的基础。

之后采用DBSCAN密度聚类算法得到一组候选区，图2中虚线所示部分为聚类算法的具体步骤。它的大体思想就是对于密度比较高的区域，认为它们属于同一区域。在此实施例中，横向半径RH取值为10，纵向半径RW取值为30，密度阈值取250。之后进行后处理，删除两次空白区域，排除不合形状的区域，在此实施例中，认为车牌区域形状应满足：2.5＜长宽比＜7，80＜长＜220，20＜宽＜60。至此，定位阶段结束。图4中，右侧中部偏上的一张图可以看出，共分出了5个区域，这5个区域即为候选区。中部偏下的图片示出了车牌的那个候选区的局部图像。

图3示出了车牌字符分割模块流程。对于输入的每一个候选区，先进行一系列的预处理，包括灰度化，二值化和水平投影。图4中最下面中央的是二值化的结果，而它左边是其对应的水平投影图，它的上面是它在经过上下无用区间切割之后的结果。然后进行基于投影的分割，具体包括垂直投影、分出字符区和空白区；区域分析、淘汰错误候选；对单个字符细切分三个过程。结果如图4中央偏下的小图所示，由几条纵向白线切分出了各个字符。之后带入识别引擎进行文字的识别，输出车牌号码苏BPG016。如图4左侧中部小图所示。

图5示出了车牌识别***的大体流程。它支持三种不同的使用方式，分别为参数是all、无参数或参数other但无后续坐标的情况；参数plate的情况；参数other后面加上两组坐标的情况。在参数为all时，该***将进行全部操作，先定位并识别车牌，然后由其计算各种局部区域图片，最后输出。参数plate表示只识别车牌并输出，参数other表示只计算各种局部区域图片并输出。这里的局部区域包括，驾驶员区域，车标区域和车身区域。这些局部区域图片将会为智能交通***的其他后续应用提供一定的帮助。最后的输出中还包括一个xml文档，描述识别的结果。

Claims (3)

1.一种对道路图像进行车牌识别的方法，其特征在于，包括车牌定位，车牌字符分割和车牌字符识别三个步骤；

所述车牌定位，是对输入的图像进行分割，得到一组车牌候选区；

所述车牌字符分割，是对车牌候选区分别进行字符的分割，删除错误候选区，对每个其他候选得到一组字符块；

所述车牌字符识别，是对每组字符块进行识别，排除错误候选区，生成识别出的车牌号码，车牌颜色以及车牌区域坐标；

(1)所述车牌定位步骤中，输入为一张图片，大小任意，然后进行预处理、基于DBSCAN的聚类两个步骤；

所述预处理过程的任务是对原始彩色图像进行处理，生成一张包含边缘信息的二值图像；预处理过程包含图像灰度化，sobel纵向边缘检测+车牌颜色增强，图像二值化三个步骤；

所述基于DBSCAN的聚类的任务是对二值图像进行聚类处理，生成一组车牌候选区；其步骤为：使用DBSCAN密度聚类方法对二值图片进行聚类，将所有的点划分为几个高密度区，超过一定阈值T的区域称为候选区；这里将临界半径分为RH和RW，表示长宽方向上的半径，RW＝3*RH；然后计算各个区域的属性，包括长、宽，长宽比，删除区域两侧过少的点；最后对候选区的属性进行判断，排除不合形状的区域，输出可能的候选区；

所述的sobel纵向边缘检测+车牌颜色增强，其步骤为：对全图进行sobel纵向检测，在检测过程中，对于边缘信息p(x，y)，若大于K，对其周围x*x邻域进行扫描，对其中每一行，如有车牌颜色出现，则增强p(x，y)10％，这里的车牌颜色指各种车牌中可能出现的颜色集合；

(2)所述的车牌字符分割包含二次预处理和基于投影的分割两个步骤；

所述二次预处理过程是对每个候选区进行灰度化，局部二值化，水平投影操作，生成二值车牌图像；

所述基于投影的分割是对二值图像进行垂直投影，然后逐个字符切分，最后输出一组图像字符块；

所述的二次预处理，其步骤为：先对区域图片进行灰度化，然后利用均值阈值将其二值化，最后通过水平投影，寻找投影图中上下低谷区域，认为其为无用区域，删除之，得到二值车牌局部图像；

所述的基于投影的分割，其步骤为：首先进行垂直投影，认为波谷区为无用区，其它为字符区，以此划分出若干区域；然后对于区域进行分析判断，排除非车牌区域；最后再对每一字符图像切除上下空白；生成一组字符区域；

(3)所述的车牌字符识别，其步骤为：输入为单个二值区域，输出是识别出来的字符，包括汉字、数字和字母；首先如果区域的宽高比＞4，其区域内点密度大于某一阈值，则直接识别该字符为1；然后将整个二值图像序列作为特征，带入各自分类器进行分类，输出结果；如果识别的字符不为7个，则认为其为非车牌区域；最终生成识别出的车牌号码，车牌颜色以及车牌区域坐标；

用所述分类器进行分类，是预先分别对数字、字符和汉字建立二值模板，分类时采用模板匹配的方式进行识别，输出识别结果。

2.一种车牌识别的***，其特征在于，包括：车牌定位模块、车牌字符分割模块、车牌字符识别模块三个部分，是基于权利要求1所述的车牌识别方法的；输入是一张图片，输出是若干子区域图片和识别结果描述文档xml文件；

有多种参数选择，具有动态配置参数的功能，具有动态定义输出的功能，输出车牌局部图片、驾驶员位置局部图片、车标局部图片、车身局部图片、缩略图；方便替换车牌识别方法，易于进行批量处理；

所述多种参数选择是指在程序名后加参数plate或other或all，分别只识别车牌输出号码及位置，只计算输出其他局部图片和进行全部处理，实现关键过程和其他过程的分离。

3.根据权利要求2所述的车牌识别***，其特征在于计算输出所述驾驶员位置局部图片，是依据车牌位置和车型大小，估算驾驶员位置，并与原图像进行比对，校正后输出驾驶员位置局部图片；计算输出所述车标局部图片，是依据车牌位置，对车牌上方区域进行扫描，寻找车标，在分割后输出车牌位置局部图片；计算输出所述车身局部图片，是依据车牌位置和车型大小，估算车身位置，并与原图像进行比对，校正后输出车身局部图片。

Images