CN103116751A - 一种车牌字符自动识别方法 - Google Patents

Abstract

本发明公开了一种车牌字符自动识别方法，包括以下步骤：输入彩色车辆图像；对图像进行预处理；在不同光线条件下选择不同算法进行车牌定位；车牌进行水平倾斜矫正和垂直倾斜矫正；采用基于聚类连通和垂直投影的方法对步骤d得到的车牌进行字符分割；使用改进的模板匹配法对步骤e得到字符进行字符识别；输出步骤f的识别结果。本发明的车牌字符自动识别方法，显著地提高整个车牌字符自动识别***的使用性能。在所述车牌定位步骤中，本发明能够利用车牌区域的特点，在不同光线条件下选择不同算法进行车牌定位，保证在出现干扰的情况下也能准确定位车牌区域位置。

Description

一种车牌字符自动识别方法

技术领域

本发明属于计算机视觉和模式识别领域，涉及模式识别、数字图像处理、人工智能、计算机科学等多门学科，具体涉及一种车牌字符自动识别方法。

背景技术

随着城市规模的扩大，城市里面的机动车数量迅速增加，传统的人工管理交通已经不能适应这种变化。因此，智能交通***被大规模应用于城市交通管理和调度中。其中车牌识别(Vehicle License Plate Recognition，VLPR)是智能交通***中的核心。

车牌识别是现代智能交通***中的重要组成部分，应用十分广泛。它以模式识别、计算机视觉、数字图像处理等技术为基础。通过对车牌数据的一系列处理可以实现交通流量控制指标测量、车辆定位、高速公路超速自动化监管、交通违章抓拍、公路收费站和停车场收费管理等功能。汽车牌照的自动识别对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着重要的意义。

因此，需要一种车牌字符自动识别方法。

发明内容

发明目的：本发明针对现有技术在车牌识别方面存在的缺陷，提供一种车牌字符自动识别方法。

技术方案：为解决上述技术问题，本发明的一种车牌字符自动识别方法采用如下技术方案：

一种车牌字符自动识别方法，包括以下步骤：

a、输入彩色车辆图像；

b、对步骤a得到的彩色车辆图像进行预处理；

c、在白天光线比较好的情况下，采用基于颜色点对搜索和数学形态学的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位；在白天光线不佳或者夜晚情况下，采用基于灰度图像的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位；本发明以光照度8000lx为分界点，当光照度大于8000lx时，采用基于颜色点对搜索和数学形态学的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位；当光照度小于8000lx时，采用基于灰度图像的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位。

d、分别对步骤c定位得到的车牌进行水平倾斜矫正和垂直倾斜矫正；

e、采用基于聚类连通和垂直投影的方法对步骤d得到的车牌进行字符分割；

f、使用改进的模板匹配法对步骤e得到字符进行字符识别；

g、输出步骤f的识别结果。

有益效果：本发明的车牌字符自动识别方法，显著地提高整个车牌字符自动识别***的使用性能。在所述车牌定位步骤中，本发明能够利用车牌区域的特点，在不同光线条件下选择不同算法进行车牌定位，保证在出现干扰的情况下也能准确定位车牌区域位置。

更进一步的，步骤b中所述预处理包括图像平滑方法和/或滤波去噪方法。

更进一步的，步骤c中所述基于搜索颜色点对与数学形态学的车牌定位算法利用车牌底色与车牌字符颜色在灰度上的差异找出车牌所在区域。

更进一步的，假设车牌的字符颜色为A色，车牌的底色为B色，步骤c中所述所述基于搜索颜色点对与数学形态学的车牌定位算法包括以下步骤：

(1)对含有车辆的彩色图像进行灰度化和二值化处理，计算最大方差阈值，得到相应的二值图像；

(2)在计算机内存中开辟一块内存区域，用于存储二值图像数据，二值图像的长宽与彩色图像的长宽相等，每个像素点的值初始化为255；

(3)扫描二值图像中的A色像素点，如果在彩色图像相应位置左侧找到B色像素点，则认为这个A色像素点是车牌字符与车牌底色的起始边界点，即车牌字符的起始像素点，标记这个点的位置；

(4)继续扫描二值图像的A色像素点，如果在彩色图像相应位置的右侧找到B色像素点，则认为这个A色像素点是车牌字符与车牌底色的终止边界点，即车牌字符的终止像素点，并标记这个点的位置；

(5)如果车牌字符的起始像素点与车牌字符的终止像素点相差值在50个像素之内，则认为这块区域为车牌字符像素点区域，并在步骤3的图像中用黑色像素点标记这些点；

(6)完整扫描整幅图像，直到找出图像中的所有A色和B色颜色点对；

(7)使用二值开运算处理对步骤(6)得到的颜色点进行处理；

(8)使用腐蚀操作对二值开运算处理以后的颜色对进行处理，进一步扩大颜色点对的范围；

(9)使用膨胀操作对颜色点对进行处理，得到一片连续的像素点区域，这块区域就是车牌候选区。在光线比较充裕的情况下，采用基于颜色点对搜索和数学形态学的车牌定位算法，此算法在光线较佳的情况下具有很高的定位准确率；

更进一步的，步骤c中所述基于灰度图像的车牌定位算法包括以下步骤：

a、首先对对含有车辆的彩色图像进行灰度化和二值化处理；

b、采用每隔三行扫描一行的方法，标记黑白像素点变化次数最多的行号r_m，并记下变化次数m；

c、以r_m为基础，统计上下3行，判断其黑白像素点变化次数是否与r_m接近，车牌区域的黑白像素点的变化次数的范围是从0.75m到1.25m，即车牌中黑白变化的次数是在一个稳定范围之内，而非车牌区域的黑白像素变化次数是不稳定的；

d、重复步骤b和步骤c，得到车牌的上下边界，从而确定车牌候选区。

在光线不佳的情况下，采用改进的基于纹理特征的车牌定位算法，该算法每隔3行扫描一次，可以大大提高***的实时性。

更进一步的，步骤d中车牌的水平倾斜矫正和垂直倾斜矫正分别采用基于车牌边缘点纵坐标方差最小的水平倾斜校正法和基于单个字符垂直倾斜角度的车牌整体垂直倾斜校正法进行。在车牌倾斜校正步骤中，先进行车牌二值化，再进行不同方向上的校正。

更进一步的，步骤e中所述基于聚类连通和垂直投影的方法先找出图像中的连通域，再通过车牌的先验知识对连通域进行筛选。该算法是一种既能提高字符分割的准确率，鲁棒性又高的算法。

更进一步的，步骤e中所述基于聚类连通和垂直投影的方法包括以下步骤：

(1)对车牌图像进行二值化处理。

(2)将处理后的图像按行扫描，如两像素间距离d＜＝d_const，则认为这两个像素属于一类，也就是一个字符中的两个像素；

(3)筛选得到的各类，去掉高度小于Height/2的类，经过筛选以后得到类为7个字符和左右边框；

(4)把各类的起始位置按照从左到右的位置排序。车牌二值化采用改进型局部二值化法，实验证明该方法在光线不佳的情况下也能够很好的将车牌字符和背景去分离出来；

更进一步的，d定义为：

d(A,B)＝|x₁-x₂|+|y₁-y₂|，

汉字的d_const取值为2或者3，英文字符和数字的d_const取值为2。

更进一步的，步骤f中改进的模板匹配法包括以下步骤：

(1)建立匹配模板库；

(2)对车牌字符进行细化运算，使得字符的笔画宽度为一个像素宽度；

(3)对步骤(2)得到的车牌字符滤除离散噪声点；

(4)将经过细化和滤除离散噪声点以后的车牌字符进行归一化处理，归一化处理以后进行图像反转处理，将车牌背景变成白色，字符变成黑色；

(5)将步骤(4)得到的车牌字符图像与匹配模板库进行对比，得到匹配模板；

(6)扫描车牌字符图像，当遇到一个字符像素时，在匹配模板5×5的像素区域范围内寻找最近的字符像素点，并计算最近的字符像素点与匹配模板最近距离的大小，计算车牌字符像素与匹配模版的最小距离之和，找出车牌字符与匹配模板的最小距离之和；

(7)扫描匹配模版图像，当遇到一个字符像素时，在车牌字符5×5的像素区域范围内寻找最近的字符像素点，并计算最近的字符像素点与车牌字符最近距离的大小，计算匹配模版与车牌字符的最小距离之和，找出匹配模版与车牌字符的最小距离之和；

(8)比较(6)和(7)的最小距离之和，取小值对应模板作为车牌字符的匹配结果。

(9)按照上述步骤将车牌字符一一进行匹配，最终得到车牌信息。在所述字符识别步骤中，对模板匹配法进行了改进，进一步对分割后得到的车牌字符进行细化处理，显著提高了匹配成功率。

附图说明

图1本发明的车牌字符自动识别方法的流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明的车牌字符自动识别方法首先通过摄像机拍摄的图像或者视频截图，转换成数字化图像输入计算机(步骤101)，接着对输入图像进行预处理(步骤102)，然后根据不同的光线条件，运用不同的方法定位出车牌所在位置(步骤103)；接下来通过二值化、水平倾斜校正和垂直倾斜校正等数字图像处理方法实现对车牌图像的倾斜校正(步骤104)；再将单独的字符从车牌图像中分割出来(步骤105)；最后通过模式识别的技术实现对车牌字符的自动识别(步骤106)。

我国车牌主要有蓝底白字、黄底黑字、黑底白字、白底黑红字这四种。下面以蓝底白字车牌为例对本发明的车牌字符自动识别方法加以详细说明。

车牌定位一直是汽车牌照识别***中的难点，车牌图像中大量的干扰和光线照射强弱、车牌反光等因素都会影响车牌定位的准确性。本发明提出了两种车牌定位算法相结合的车牌定位算法：在白天光线比较好的情况下，采用基于颜色点对搜索和数学形态学的车牌定位算法；在白天光线不佳或者夜晚情况下采用一种新型的基于灰度图像的车牌定位算法。本发明中的车牌定位算法需要光线感应器的支持，通过光线感应器接收到的外部环境光线的强度来决定使用哪种算法进行车牌定位。本发明以光照度8000lx为分界点，当光照度大于8000lx时，采用基于颜色点对搜索和数学形态学的车牌定位算法对得到的彩色车辆图像进行车牌定位；当光照度小于8000lx时，采用基于灰度图像的车牌定位算法对得到的彩色车辆图像进行车牌定位。

由于车身上可能含有与车牌颜色相近的颜色，加上氧化导致车牌褪色等原因，这些干扰都可能降低车牌定位的精度。本发明提出的基于搜索颜色点对与数学形态学的车牌定位算法利用车牌底色与车牌字符颜色在灰度上的差异找出车牌所在区域，具有良好的抗干扰能力。具体步骤如下：

(1)对含有车辆的彩色图像进行灰度化和二值化处理，计算最大方差阈值，得到相应的二值图像；

(2)在计算机内存中开辟一块内存区域，用于存储8位的图像数据，图像长宽与彩色图像相等，每个像素点的值初始化为255；

(3)扫描二值图像中的白色像素点，如果在彩色图像相应位置左侧找到蓝色像素点，则认为这个白色像素点是车牌字符与车牌底色的起始边界点，即车牌字符的起始像素点，标记这个点的位置；

(4)继续扫描二值图像的白色像素点，如果在彩色图像相应位置的右侧找到蓝色像素点，则认为这个白色像素点是车牌字符与车牌底色的终止边界点，即车牌字符的终止像素点，并标记这个点的位置；

(5)如果车牌字符的起始像素点与车牌字符的终止像素点相差值在50个像素之内，则认为这块区域为车牌字符像素点区域，并在步骤3的图像中用黑色像素点标记这些点；

(6)完整扫描整幅图像，直到找出图像中的所有蓝白颜色点对；

(7)使用二值开操作运算处理对颜色点进行处理。

(8)使用腐蚀操作对开二值开操作以后的颜色对进行处理，连续进行十次，进一步扩大颜色点对的范围。

(9)使用膨胀操作继续对颜色点对进行处理，得到一片基本连续的像素点区域，这块区域就是车牌候选区。

注意本发明中所使用的蓝色是一个模糊定义，实际车牌中的蓝色有深蓝色和浅蓝色，还要考虑到由于氧化等原因，车牌的底色会变浅，所以只能为蓝色定义一个大概的限定条件。这个条件是根据经验设定的，根据不同的光线情况这个条件会发生改变。只要彩色图像中的像素点满足这个条件，都可以认为这个像素点为蓝色像素点。具体的，如果这个像素点满足以下以下三个条件：(1)B>1.5*R；(2)B>1.5*G；(3)B>100就认为这个像素点为蓝色像素点。同样，白色也是一个模糊概念。如果一个像素点满足以下四个条件：(1)R<0.4*S；(2)G<0.4*S；(3)B<0.4*S；(4)S>200就认为这个像素点为白色像素点。其中S＝R+G+B。

此时得到的车牌候选区，可能是车牌所在区域，也可能是噪声或干扰区域。可以利用车牌的先验知识去除伪车牌区域，从而得到真正的车牌区域。通常车牌区域的长与宽都应该大于一定的像素值，而车牌的长高之比应该在2∶1到4∶1之间。

在光线不佳或者夜晚情况下，车牌的颜色特征不明显，如果仍然采用基于颜色点对搜索算法可能找不到图像中的颜色点对，导致定位失败。本发明在光线不佳的情况下采用一种基于灰度图像的车牌定位新算法。首先对图像进行灰度化和二值化处理。因为汽车车牌一般悬挂在汽车底部，所以本发明采用从下往上的搜索方法，这样不仅能够提高搜索速度，也能提高搜索的成功率。采用每隔三行扫描一行的方法，标记黑白像素点变化次数最多的行号r_m，并记下变化次数m。一般说来车牌高度在50个像素左右，在车牌区域的水平扫描过程中，每隔3行就会出现黑白像素点变化次数比较多的行，这样的行会连续出现17次左右，记下这些行号r_i(i＝1,2…)，以r_i为基础，统计上下3行，判断其黑白像素点变化次数是否与r_i相似，根据经验可知车牌区域的黑白像素点的变化次数的范围是从0.75m到1.25m，所以车牌中黑白变化的次数是在一个稳定范围之内，而非车牌区域的黑白像素变化次数是不稳定的。通过上面算法定位出车牌的上下边界基本是车牌字符的高度，但是在实际处理中要将定位出来的上下边界范围扩大，这样做是为了给后续的车牌区域倾斜校正留有一定的处理空间，避免将车牌有用部分切除。

由于照相机的位置固定导致了拍摄角度的不同，定位以后得到的车牌图像或多或少存在倾斜的情况。倾斜会影响后续车牌字符分割，造成分割错误，所以在字符分割前要对车牌图像进行倾斜校正，为后面的字符能够准确分割做好准备。车牌倾斜分为三种模式：水平方向倾斜、垂直方向倾斜、水平叠加垂直方向倾斜，因此车牌倾斜校正可以从水平和垂直两个方向进行，通常先进行水平倾斜校正，确定车牌字符的上下边界，最后进行垂直倾斜校正。本发明使用的是基于垂直边缘点投影方差最小的车牌水平倾斜校正算法和基于水平边缘点方差最小的车牌垂直倾斜校正算法。

进行车牌倾斜校正前需要对灰度车牌图像进行二值化处理。本发明采用改进的局部二值化法，它在光照不均以及车牌有污损的情况下能够很好地将车牌字符和车牌背景分开。假设(x，y)是要二值化的像素点，其临近区域为一个w×w的窗口，灰度值为f(x，y)，计算每个像素点的阈值：

$T(x,y)=\mathrm{\&alpha;}(\underset{-w<l<w}{\overset{-w<k<w}{\max }}f(x+k,y+l)+\underset{-w<l<w}{\overset{-w<k<w}{\min }}f(x+k,y+l))$

这里的α是一个经验值，取值范围介于0.40与0.65之间。

通过统计得到字符像素点在整个车牌图像所占的比例在30％左右，如果考虑到噪声因素，这个比例会达到35％左右。因此可以设置一个全局阈值K。假设h(x，y)是车牌图像在某一灰度值的统计值，定义K为：

$k=\left\{g\right|\underset{0\&le;g\&le;255}{\max }\left[\frac{\underset{i=g}{\overset{255}{\mathrm{\&Sigma;}}}h(x,y)}{\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}h(x,y)}\right]\&GreaterEqual;35\%\}$

如果我们仅用全局阈值K对车牌进行二值化，很难消除光照不均或者背景剧烈变化对二值化带来的负面影响。因此必须结合阈值K和二值化法对车牌图像进行二值化处理才能达到理想的效果，具体步骤如下：

(1)计算全局阈值K。

(2)通过Bernsen二值化法得到所有像素点的局部阈值。

(3)取全局阈值K和局部阈值之间值较大者作为像素点的阈值。

在二值化过程中图像可能出现一些离散的噪声，因此去除噪声是必不可少的过程。常用的滤波法如均值滤波和中值滤波不适合处理字符图像，因为在滤波的过程中可能会滤除字符像素。本发明使用如下算法：

(1)按行扫描图像，发现一个白色像素点时，在其3×3的邻域内寻找白色像素点的数量，考虑与白色像素相邻的8个像素点。

(2)设定一个阈值，如果其周围白色像素点个数大于这个阈值，则认为这个点不是离散噪声点，否则将其当作噪声点去除。本发明中阈值取值为5。

(3)扫描整幅图像，将所有离散像素点去除。

进行水平倾斜校正前，需要先对二值化的车牌图像进行边缘检测。边缘检测利用图像一阶导数或二阶导数的过零点信息来提供判断边缘点的基本依据。本发明使用的是Sobel算子。

通过边缘检测后得到图像中所有边缘点，令这些边缘点的中心点为M(m_x,m_y)，可以由以下式求取：

$m_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i,$ $m_y=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i$

式中x_i与y_i为车牌边缘点的横坐标和纵坐标。

将车牌边缘图像所在坐标系原点移到M点，这时车牌边缘点纵坐标均值

坐标进行变换后，车牌边缘点的坐标发生了变化，其中：

u_i＝x_i-m_x,v_i＝y_i-m_y

假设B(u,v)为二维直角坐标系中一点，这个点与x轴的夹角为β，其纵坐标为v。B点绕中心顺时针方向旋转α角至点B'(u',v′)，点B'的纵坐标为v′，可以得到如下推导过程：

$v^{\&prime;}r\sin (\mathrm{\&beta;}-\mathrm{\&alpha;})=\frac{v\sin (\mathrm{\&beta;}-\mathrm{\&alpha;})}{\sin \mathrm{\&beta;}}=v\cos \mathrm{\&alpha;}-u\sin \mathrm{\&alpha;}$

经过坐标变换和边缘点旋转以后的方差如下：

${\mathrm{\&sigma;}}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(v_i\cos \mathrm{\&alpha;}-u_i\sin \mathrm{\&alpha;})}^2$

根据上面推导可知当边缘点纵坐标方差取得最小值时的旋转角即为水平倾斜角度，这里就是对σ²求导，在导数为零时的α角就是水平倾斜角度。

$\frac{{\mathrm{d\&sigma;}}^2}{\mathrm{d\&alpha;}}=\frac{2}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(v_i\cos \mathrm{\&alpha;}-u_i\sin \mathrm{\&alpha;})(-v_i\sin \mathrm{\&alpha;}-u_i\cos \mathrm{\&alpha;})=0$

将上式经过变换可得下式：

$\tan 2\mathrm{\&alpha;}=\frac{2\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{u}_i{v}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(u_i^2-v_i^2)}$

所以车牌在水平方向上倾斜角度为：

$\mathrm{\&alpha;}=\frac{1}{2}\arctan [\frac{2\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{u}_i{v}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(u_i^2-v_i^2)}$

将车牌沿着水平方向顺时针旋转α完成车牌的水平倾斜校正。

在经过水平倾斜校正以后的车牌图像中，车牌上下边框和左右边框、汽车保险杠等对车牌字符垂直倾斜校正产生干扰，影响垂直倾斜校正的准确性。因此必须准确确定字符的上下边界，字符的上下边界确定以后，既为垂直倾斜校正减少了干扰，又为字符分割减少了干扰。

使用Sobel垂直算子求取二值图像的垂直边缘，然后对垂直边缘进行水平方向上的投影，统计每行的白色像素点数目，如果大于设定的阈值，就认为是车牌字符区域，如果找到第一个白色像素点数量统计值小于阈值的行，则认为这行可能是字符区域的上边界或者下边界。在实际应用过程中，往往把字符的上下边界扩大2～3个像素，这样做是为了避免水平倾斜校正不完全带来字符像素损失。

单个字符的垂直倾斜角度和整个车牌的垂直倾斜角度是一致的，因此可以通过计算出单个车牌字符的垂直倾斜角度从而得到整个车牌在垂直方向上的倾斜角度。对于单个字符来说，当字符在垂直方向没有倾斜时，二值化后字符像素点在垂直方向上投影分布最密集，范围最小，相应投影点横坐标方差最小；当字符存在倾斜时，字符像素点在垂直方向上投影范围比较宽，相应投影点横坐标方差较大。字符在垂直方向上倾斜的越厉害，投影点的横坐标方差越大。所以可以对单个字符进行剪切变换后做垂直投影，横坐标方差取得最小值时对应的剪切角度就是单个字符的倾斜角度。

设字符点个数为M，字符像素点坐标为(x_i,y_i),i＝1,2…M，经过剪切变换后坐标变换为(x′_i,y_i)，投影点横坐标的方差定义为：

${\mathrm{\&sigma;}}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_i^{\&prime;}-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_k^{\&prime;})}^2$

这样可以得到：

${\mathrm{\&sigma;}}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[(\mathrm{xi}-\mathrm{yi}\&CenterDot;\tan \mathrm{\&theta;})-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(x_k-y_k\&CenterDot;\tan \mathrm{\&theta;})]}^2$

$=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[(x_i-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_k)-(y_i-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_k)\&CenterDot;\tan \mathrm{\&theta;}]}^2$

$=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[u_i-v_i\&CenterDot;\tan \mathrm{\&theta;}]}^2$

其中， $u_i=x_i-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_k,$ $v_i=y_i-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_k.$

要使字符像素点在垂直方向上的投影的横坐标方差σ²取得最小值，则需使σ²对θ的导数为0，求得θ'即为单个字符在垂直方向上的倾斜角度。公式推导如下：

$\frac{{\mathrm{d\&sigma;}}^2}{\mathrm{d\&theta;}}=-\frac{2{\sec }^2{\mathrm{\&theta;}}_0}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}[u_i-v_i\tan {\mathrm{\&theta;}}_0]\&CenterDot;v_i=0$

因为sec²θ₀≠0，所以有

可以得到字符和车牌在垂直方向上的倾斜角α为

$\mathrm{\&alpha;}={\mathrm{\&theta;}}_0=\arctan \frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{u}_i{v}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{v}_i^2}$

车牌图像经过倾斜校正已经基本满足车牌字符分割的要求，接下来只需将车牌区域中的字符单独切分出来。本发明提出了一种基于聚类连通和垂直投影的分割算法完成此步操作。

基于聚类分析的车牌字符分割算法先找出图像中的连通域，再通过车牌的先验知识对连通域进行筛选，此算法能够很好解决复杂背景条件下字符切分问题。具体算法描述如下：

(1)对车牌图像进行二值化处理。

(2)将处理后的图像按行扫描，如两像素间距离d＜＝d_const，则认为这两个像素属于一类，也就是一个字符中的两个像素。其中d定义为：

d(A,B)＝|x₁-x₂|+|y₁-y₂|

汉字的d_const取值和英文字符、数字的d_const取值不同。对于图像前(nWidth)/7部分d_const取3，这样做能够解决汉字不连通的问题；对图像后(nWidth*6)/7部分d_const取2。

(3)筛选得到的各类，去掉高度小于Height/2的类，经过筛选以后得到类为7个字符和左右边框。

(4)如果字符出现粘连问题，则类的数目小于7或者是某类宽度远大于类的平均宽度。此时用垂直投影法对这些类进行***处理，在类的中间附近区域寻找垂直投影局部极小值点从而找出两个字符的边界点。

(5)把各类的起始位置按照从左到右的位置排序。

(6)如果类的数目为7，则转到(7)。否则认为在分割时出现错误。

(7)如果某类的高度远远大于其余6个类，可能是车牌上下铆钉与车牌字符粘连的缘故，这时按照其余6个类高度的平均值进行修正；如果某类的宽度远远大于其余6个类，可能是车牌的最左边字符或者最右边字符与车牌的左右边框粘连的缘故，这时按照其余6个类宽度的平均值进行修正。

车牌字符识别是字符识别的一种，但是和其他字符识别(如印刷字符识别)不同，车牌字符有其自身特点：字符种类有限；车牌字符质量不如印刷字符；车牌字符有一定规律，即第一个字符为汉字字符，第二个字符为英文字符，第三、四个字符为英文字符或者数字字符，其余的字符为数字字符。根据这些特点，本发明提出了结合字符细化和最小距离模板匹配的方法。其基本思想就是将分割后的车牌字符进行二值化形态学中的细化运算，这样可以解决因为字体风格差异带来识别率不高的缺点，而且可以减少噪声的干扰，在一定程度上提高模板匹配法的识别率。具体步骤如下：

(1)建立匹配模板库，模板库包含我国各个省市的简称、26个大写英文字母、10个***数字，模版库每张图片的宽度为20像素，高度为40像素(需要说明的是本发明中识别的车牌仅是普通民用车牌，不包括警用和军用车牌)。

(2)对车牌字符进行细化运算，使得字符的笔画宽度变为一个像素宽度。

(3)由于细化以后可能会出现孤立的噪声点，这些噪声点会对最终的匹配结果产生影响，因此必须加以滤除。本发明中去除这些离散噪声点的思想是扫描图像中的黑色像素点，在其3×3临近区域内搜索黑色像素点，如果找到的黑色像素点少于2个，则认为这个点是离散噪声点并予以滤除。

(4)将经过细化和噪声去除以后的车牌字符进行归一化处理，即通过图像缩放将车牌字符图像变成20像素宽，40像素高的标准图片。归一化以后进行图像反转处理，将车牌背景变成白色，字符变成黑色，

(5)将车牌字符图像与模版库进行对比。设定第一个车牌字符只和32个省市简称进行匹配计算，第二个车牌字符只和26个大写英文字母进行匹配计算，第三个和第四个车牌字符与10个***数字还有26个大写英文之母进行匹配计算，最后两个车牌字符只和10个***数字进行匹配计算，这样做不仅提高算法的效率，还能提高识别的准确率。

(6)扫描车牌字符图像，当遇到一个字符像素时，在模板的相应位置一个设定范围内寻找最近的字符像素点，并计算最近距离的大小，在本发明中的范围设定为5×5的像素区域。计算车牌字符像素与所匹配模版的最小距离之和，找出车牌与匹配模版的最小距离之和。

(7)扫描匹配模版图像，当遇到一个字符像素时，在车牌字符的相应位置一个范围内寻找最近的字符像素点，并计算这个最近距离的大小，在本发明中的范围设定为5×5的像素区域。计算匹配模版与车牌字符的最小距离之和，找出匹配模版与车牌字符的最小距离之和。

(8)比较(6)和(7)的最小距离之和，取小值对应模板作为车牌字符的匹配结果。

(9)按照上述步骤将7个车牌字符一一进行匹配，最终得到车牌信息。

本发明的车牌字符自动识别方法，显著地提高整个车牌字符自动识别***的使用性能。在所述车牌定位步骤中，本发明能够利用车牌区域的特点，在不同光线条件下选择不同算法进行车牌定位，保证在出现干扰的情况下也能准确定位车牌区域位置。

Claims (10)

1.一种车牌字符自动识别方法，包括以下步骤：

a、输入彩色车辆图像；

b、对步骤a得到的彩色车辆图像进行预处理；

c、在白天光线比较好的情况下，采用基于颜色点对搜索和数学形态学的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位；在白天光线不佳或者夜晚情况下，采用基于灰度图像的车牌定位算法对步骤b得到的彩色车辆图像进行车牌定位；

d、分别对步骤c定位得到的车牌进行水平倾斜矫正和垂直倾斜矫正；

e、采用基于聚类连通和垂直投影的方法对步骤d得到的车牌进行字符分割；

f、使用改进的模板匹配法对步骤e得到字符进行字符识别；

g、输出步骤f的识别结果。

2.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤b中所述预处理包括图像平滑方法和/或滤波去噪方法。

3.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤c中所述基于搜索颜色点对与数学形态学的车牌定位算法利用车牌底色与车牌字符颜色在灰度上的差异找出车牌所在区域。

4.如权利要求1所述的车牌字符自动识别方法，其特征在于，假设车牌的字符颜色为A色，车牌的底色为B色，步骤c中所述所述基于搜索颜色点对与数学形态学的车牌定位算法包括以下步骤：

(1)对含有车辆的彩色图像进行灰度化和二值化处理，计算最大方差阈值，得到相应的二值图像；

(2)在计算机内存中开辟一块内存区域，用于存储二值图像数据，二值图像的长宽与彩色图像的长宽相等，每个像素点的值初始化为255；

(3)扫描二值图像中的A色像素点，如果在彩色图像相应位置左侧找到B色像素点，则认为这个A色像素点是车牌字符与车牌底色的起始边界点，即车牌字符的起始像素点，标记这个点的位置；

(4)继续扫描二值图像的A色像素点，如果在彩色图像相应位置的右侧找到B色像素点，则认为这个A色像素点是车牌字符与车牌底色的终止边界点，即车牌字符的终止像素点，并标记这个点的位置；

(5)如果车牌字符的起始像素点与车牌字符的终止像素点相差值在50个像素之内，则认为这块区域为车牌字符像素点区域，并在步骤3的图像中用黑色像素点标记这些点；

(6)完整扫描整幅图像，直到找出图像中的所有A色和B色颜色点对；

(7)使用二值开运算处理对步骤(6)得到的颜色点进行处理；

(8)使用腐蚀操作对二值开运算处理以后的颜色对进行处理，进一步扩大颜色点对的范围；

(9)使用膨胀操作对颜色点对进行处理，得到一片连续的像素点区域，这块区域就是车牌候选区。

5.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤c中所述基于灰度图像的车牌定位算法包括以下步骤：

a、首先对含有车辆的彩色图像进行灰度化和二值化处理；

b、采用每隔三行扫描一行的方法，标记黑白像素点变化次数最多的行号r_m，并记下变化次数m；

c、以r_m为基础，统计上下3行，判断其黑白像素点变化次数是否与第r_m行的变化次数接近，车牌区域的黑白像素点的变化次数的范围是从0.75m到1.25m，即车牌中黑白变化的次数是在一个稳定范围之内，而非车牌区域的黑白像素变化次数是不稳定的；

d、重复步骤b和步骤c，得到车牌的上下边界，从而确定车牌候选区。

6.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤d中车牌的水平倾斜矫正和垂直倾斜矫正分别采用基于车牌边缘点纵坐标方差最小的水平倾斜校正法和基于单个字符垂直倾斜角度的车牌整体垂直倾斜校正法进行。

7.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤e中所述基于聚类连通和垂直投影的方法先找出图像中的连通域，再通过车牌的先验知识对连通域进行筛选。

8.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤e中所述基于聚类连通和垂直投影的方法包括以下步骤：

(1)对车牌图像进行二值化处理。

(2)将处理后的图像按行扫描，如两像素间距离d＜＝d_const，则认为这两个像素属于一类，也就是一个字符中的两个像素；

(3)筛选得到的各类，去掉高度小于Height/2的类，经过筛选以后得到类为7个字符和左右边框；

(4)把各类的起始位置按照从左到右的位置排序。

9.如权利要求8所述的车牌字符自动识别方法，其特征在于，d定义为：

d(A,B)＝|x₁-x₂|+|y₁-y₂|，

汉字的d_const取值为2或者3，英文字符和数字的d_const取值为2。

10.如权利要求1所述的车牌字符自动识别方法，其特征在于，步骤f中改进的模板匹配法包括以下步骤：

(1)建立匹配模板库；

(2)对车牌字符进行细化运算，使得字符的笔画宽度为一个像素宽度；

(3)对步骤(2)得到的车牌字符滤除离散噪声点；

(4)将经过细化和滤除离散噪声点以后的车牌字符进行归一化处理，归一化处理以后进行图像反转处理，将车牌背景变成白色，字符变成黑色；

(5)将步骤(4)得到的车牌字符图像与匹配模板库进行对比，得到匹配模板；

(6)扫描车牌字符图像，当遇到一个字符像素时，在匹配模板5×5的像素区域范围内寻找最近的字符像素点，并计算最近的字符像素点与匹配模板最近距离的大小，计算车牌字符像素与匹配模版的最小距离之和，找出车牌字符与匹配模板的最小距离之和；

(7)扫描匹配模版图像，当遇到一个字符像素时，在车牌字符5×5的像素区域范围内寻找最近的字符像素点，并计算最近的字符像素点与车牌字符最近距离的大小，计算匹配模版与车牌字符的最小距离之和，找出匹配模版与车牌字符的最小距离之和；

(8)比较(6)和(7)的最小距离之和，取小值对应模板作为车牌字符的匹配结果。

(9)按照上述步骤将车牌字符一一进行匹配，最终得到车牌信息。

Images