CN103793708B - 一种基于仿射校正的多尺度车牌精准定位方法 - Google Patents

Abstract

本发明公开了一种基于仿射校正的多尺度车牌精准定位方法，首先利用车牌纹理信息和颜色特征检测出候选的“车牌斑块”，然后对每个候选“车牌”进行仿射校正，接着定义能量函数精准定位车牌位置，最后去除噪声并反算回原图车牌位置。本发明能从复杂环境下的多尺度影像中精准定位车牌，而且具有较高的鲁棒性、准确性和高速性，车牌的漏检率接近零。本发明还别具一格地引入了仿射校正，很好地解决了因图像视角带来的车牌定位难题，也为车牌准确的定位奠定了基础。同时，本发明还原创性地定义了能量函数来评价和精准定位车牌，这种方法利用了更多有利于车牌定位的深层次信息，让车牌定位更加准确，更加稳定，更加可靠。

Description

一种基于仿射校正的多尺度车牌精准定位方法

技术领域

本发明属于模式识别与计算机视觉领域，尤其涉及一种基于仿射校正的多尺度车牌精准定位方法。

背景技术

车牌检测定位技术是计算机视觉、数字图像处理与模式识别技术在智能交通领域应用的重要研究课题之一，它被广泛应用于道路交通监测、高速公路自动收费***、停车场管理***等许多交通管理***。随着近年来街景地图产品的快速发展，出于保护隐私的考虑需要检测定位车牌并模糊化，因此更高效、鲁棒的车牌检测定位技术成为了热点研究课题。

目前车牌检测定位方法主要有两种技术路线，一是基于空间信息的灰度图像处理方法，另一种是基于颜色特征的彩色图像处理方法。

基于空间信息的灰度图像处理方法。由于车牌区域在垂直方向存在丰富的边缘信息，因此可利用这一特征检测定位车牌。这是一种基于纹理信息的方法，对光照具有一定的稳定性，但是在环境复杂时，很难去掉非车牌因素的干扰，效果不理想。

基于颜色特征的彩色图像处理方法。利用车牌底色与车牌字符颜色的固有搭配来检测定位车牌区域。这种方法受光照、天气、拍摄视角影响很大，而且车牌颜色和种类繁多，这种方法有明显的局限性。

同时，一些基于统计和学***衡，并且漏检率和错误率较高，很难满足实际需求。由于车牌检测定位的实际环境比较复杂，且存在车牌视角变化、光照变化、气候条件、运动模糊等干扰，车牌快速准确的检测定位面临很大挑战。同时部分影像中具有多个车牌且图像尺寸较大，车牌所占区域分辨率低，存在部分遮挡，这也给车牌检测定位带来了困难。

发明内容

为了解决上述技术问题，能快速、稳定、准确地从复杂环境中检测定位出车牌，本发明提供了一种基于仿射校正的多尺度车牌精准定位方法。

本发明所采用的技术方案是：一种基于仿射校正的多尺度车牌精准定位方法，其特征在于，包括以下步骤：

步骤1：获取原始车牌图像A；

步骤2：对所述的原始车牌图像A进行粗检测，利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”集，然后利用原始车牌图像的几何特征对所述的候选的“车牌斑块”进行初步过滤，得到“车牌斑块”集B，并进行下述处理；

步骤3：对所述的“车牌斑块”集B进行车牌校正，依次对“车牌斑块”集B中每个“车牌斑块”B_i进行仿射校正，得到校正后的车牌图像C_i；

步骤4：对所述的校正后的车牌图像C_i进行车牌精准定位，利用车牌水平垂直梯度投影峰值，进行组合得到一系列矩形框，然后定义能量函数，通过评价矩形框能量的得分选出最佳矩形框，其位置就代表车牌位置；

步骤5：利用车牌校正的参数，将所述的车牌位置反算得到在所述的原始车牌图像A中的位置，最佳矩形框通过反算得到“车牌框”；

步骤6：判断，“车牌斑块”集B中每个“车牌斑块”是否都处理完毕？

若是，则执行下述步骤7；

若否，则回转执行所述的步骤3；

步骤7：利用非极大值抑制方法剔去部分伪车牌，在每个“车牌框”周围的预设范围内，选取能量最大的“车牌框”视为车牌，其余的“车牌框”视为伪车牌，将其丢弃；

步骤8：结果后处理，利用车牌本身的固有特性和车牌间的空间特性，来进一步剔除伪车牌；

步骤9：输出结果。

作为优选，步骤2中所述的利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”，其具体实现包括以下子步骤：

步骤2.1：对所述的原始车牌图像A进行边缘信息检测，利用原始车牌图像A的纹理信息对所述的原始车牌图像A进行检测，得到车牌边缘候选斑块图；

步骤2.2：对所述的原始车牌图像A进行颜色概率检测，得到车牌颜色候选斑块图；

步骤2.3：对所述的车牌边缘候选斑块图和车牌颜色候选斑块图求交集；

步骤2.4：去掉长宽比和面积不合要求的斑块，得到候选的“车牌斑块”。

作为优选，步骤2.1中所述的对原始车牌图像A进行边缘信息检测，得到车牌边缘候选斑块图，其具体实现包括以下子步骤：

步骤2.1.1：首先将所述的原始车牌图像A进行局部增强，然后进行灰度化处理，得到灰度图A₁；

步骤2.1.2：利用梯度算子卷积灰度图A₁，求得灰度图A₁的X、Y方向梯度图，分别对X、Y方向梯度图先进行归一化处理，然后设定合理阈值T₁，进行二值化处理，可分别得到二值图A_2X和A_2Y，对所得的二值图A_2X进行高斯平滑处理得到边缘信息密度图，剔除二值图中边缘密度小于预设阈值T₂的部分，剔除后的二值图作为车牌边缘候选斑块图的初始边缘检测结果图A₃；

步骤2.1.3：利用所述的二值图A_2X和A_2Y，进行形态学闭运算，然后均值滤波，选取合适阈值T₃进行二值化处理，将得到的两图像先进行“与运算”后进行形态学膨胀运算，得到新的二值图A₄，利用所述的新的二值图A₄约束所述的初始边缘检测结果图A₃；

步骤2.1.4：将灰度图A₁进行边缘轮廓检测，去掉长度大于预设范围T₄的边缘轮廓线，计算每条边缘轮廓线的最小外接矩形，去掉长宽大于预设范围T₅和面积大于预设范围T₆的最小外接矩形，将边缘轮廓检测保留下来的部分，进行形态学闭运算，得到的范围视作车牌候选区A₅，利用所述的车牌候选区A₅约束所述的初始边缘检测结果图A₃；

步骤2.1.5：将约束过后的初始边缘检测结果图A₃，进行形态学闭运算，得到车牌边缘候选斑块图。

作为优选，步骤2.2中所述的对原始车牌图像A进行颜色概率检测，得到车牌颜色候选斑块图，其具体实现包括以下子步骤：

步骤2.2.1：利用颜色统计模型分别对原始车牌图像A计算诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图；

步骤2.2.2：将所得的诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图进行高斯平滑和形态学运算，然后选取合适阈值T₇进行二值化，得到每种颜色车牌的背景和前景两张二值图，分别对每种颜色车牌的背景和前景两张二值图进行“与运算”，其结果分别代表每种颜色车牌候选区域；

步骤2.2.3：将每种颜色车牌候选区域进行并集运算，并且进行膨胀处理，得到车牌颜色候选斑块图。

作为优选，步骤3中所述的对所述的“车牌斑块”集B进行车牌校正，依次对“车牌斑块”集B中每个“车牌斑块”B_i进行仿射校正，得到校正后的车牌图像C_i；其具体实现包括以下子步骤：

步骤3.1：确定仿射校正区域；首先依次取出“车牌斑块”B_i，计算其最小外接矩形，将所述的最小外接矩形进行区域扩充，将扩充完成的矩形区域原图取出，进行灰度化处理，作为仿射变换区域图B₁；

步骤3.2：将所述的仿射变换区域图B₁进行旋转变换；将所述的仿射变换区域图B₁进行高斯平滑处理，去掉部分图像噪声，然后利用梯度算子进行卷积处理，计算出每像素X、Y方向梯度，求得每像素点的梯度方向，利用直方图统计梯度方向信息，计算出梯度主方向，根据该主方向对所述的仿射变换区域图B₁进行旋转变换，得到图B₂；

步骤3.3：将所述的图B₂进行错切变换；将所述的图B₂，按照步骤3.2的方法计算其梯度主方向，然后利用主方向对图B₂在X方向进行错切变换；

步骤3.4：计算仿射变换矩阵；根据旋转变换和错切变换参数，得到仿射变换矩阵；

步骤3.5：利用该矩阵对“车牌斑块”B_i进行校正，得到校正后的车牌图像C_i。

作为优选，步骤4中所述的对仿射校正后的车牌图像C_i进行车牌精准定位，其具体实现包括以下子步骤：

步骤4.1：确定车牌图像C_i的矩形框组合；根据车牌图像C_i的X、Y方向梯度投影峰值，确定可能的矩形框组合：首先将校正好的车牌图像C_i灰度化，计算其X、Y方向梯度图，然后在水平和垂直方向进行投影，统计X、Y方向投影峰值，组合这些峰值点，得到的点集作为矩形框的顶点集，任意选取不同两点可构成一系列矩形框，选取其中面积和长宽比合适的矩形框参与后续计算；

步骤4.2：从第一个矩形框开始，定义能量函数，计算所述的矩形框的能量项；其能量项包括以下四项，

边缘得分：边缘得分的计算公式为：

score_edge=(p_x×f_x×p_y×f_y)^1/4(式壹)

其中，p_x表示水平梯度精确率或查准率，p_y表示垂直梯度精确率或查准率，f_x表示水平梯度综合评价指标或F度量，f_y表示垂直梯度综合评价指标或F度量，查准率p和F度量f的计算公式为：

$p=\frac{{\mathrm{\Σ}}_{\mathrm{Rect}}\mathrm{Gradient}}{{\mathrm{Area}}_{\mathrm{Rect}}},r=\frac{{\mathrm{\Σ}}_{\mathrm{Rect}}\mathrm{Gradient}}{{\mathrm{Area}}_{\mathrm{Rect}}+{\mathrm{Area}}_{\stackrel{\‾}{\mathrm{Rect}}}},f=2\×\frac{p\×r}{p+r}$ （式贰）

其中，r表示查全率或召回率，∑_RectGradient表示矩形框Rect里的梯度累加值，Area_Rect表示矩形框Rect的面积，表示矩形框Rect外所占的车牌图像C_i面积；

混合高斯模型GMM分类得分：GMM得分的计算公式为：

${\mathrm{score}}_{\mathrm{GMM}}=1-\underset{n}{\mathrm{\Σ}}\frac{\min (P_{\mathrm{GMM}}^n\left(\stackrel{\‾}{\mathrm{Rect}}\right),P_{\mathrm{GMM}}^n\left(\mathrm{Rect}\right))}{{\mathrm{Area}}_{\mathrm{Rect}}+{\mathrm{Area}}_{\stackrel{\‾}{\mathrm{Rect}}}}$

其中，n代表第n个高斯分类，代表在矩形框框外像素属于第n类的概率和，代表在矩形框框里像素属于第n类的概率；

颜色对比度得分：颜色对比度得分的计算公式为：

${\mathrm{score}}_{\mathrm{cc}}={({\mathrm{score}}_{\mathrm{cc}}^1\×{\mathrm{score}}_{\mathrm{cc}}^2\×{\mathrm{score}}_{\mathrm{cc}}^3)}^{1/3}$ $\left\{\begin{array}{c}{\mathrm{score}}_{\mathrm{cc}}^1=\mathrm{dist}(H_{\mathrm{Rect}},H_{\stackrel{\‾}{\mathrm{Rect}}})\\ {\mathrm{score}}_{\mathrm{cc}}^2=1-\mathrm{dist}(H_{\mathrm{Left}},H_{\mathrm{Right}})\\ {\mathrm{score}}_{\mathrm{cc}}^3=1-\mathrm{dist}(H_{\mathrm{Top}},H_{\mathrm{Bottom}})\end{array}\right.$

其中，dist(H₁,H₂)代表直方图H₁和H₂的巴氏距离，HRect代表矩形框内所有像素的颜色分量直方图，代表矩形框外所有像素的颜色分量直方图，H_Left代表矩形框内左半部分中所有像素的颜色分量直方图，H_Right代表矩形框内右半部分中所有像素的颜色分量直方图，H_Top代表矩形框内上半部分中所有像素的颜色分量直方图，H_Bottom代表矩形框内下半部分中所有像素的颜色分量直方图，分别代表矩形框框内外、左右、上下颜色对比得分；

背景和前景颜色得分：背景和前景颜色得分的计算公式为：

${\mathrm{score}}_{\mathrm{color}}^{\mathrm{bg}}=f_{\mathrm{bg}}\×{\left(p_{\mathrm{bg}}\right)}^{\mathrm{\α}}$

${\mathrm{score}}_{\mathrm{color}}^{\mathrm{fg}}=f_{\mathrm{fg}}\×{\left(p_{\mathrm{fg}}\right)}^{\mathrm{\β}}$

${\mathrm{score}}_{\mathrm{color}}={({\mathrm{score}}_{\mathrm{color}}^{\mathrm{bg}}\×{\mathrm{score}}_{\mathrm{color}}^{\mathrm{fg}})}^{1/2}$

其中，score_color代表背景和前景颜色综合得分，代表背景颜色得分，代表前景颜色得分，p_bg代表背景颜色精确率或查准率，f_bg代表背景颜色综合评价指标或F度量，p_fg代表前景颜色精确率或查准率，f_fg代表前景颜色综合评价指标或F度量，它们的计算方法参考式贰，α和β为非负常数；

步骤4.3：计算所述的矩形框综合能量得分：

score_total=(score_edge×score_GMM×score_cc×score_color)^1/4

步骤4.4：判断，所述的车牌图像C_i的矩形框的综合能量得分是否全部计算完毕？

若是，则执行下述步骤4.5；

若否，则回转执行所述的步骤4.2；

步骤4.5：将每个矩形框的综合能量得分进行排序，选出能量得分最高的矩形框视为车牌框，

记录该矩形框位置和得分。

作为优选，步骤7中所述的利用非极大值抑制方法剔去部分伪车牌，在每个“车牌框”周围的一定范围内，选取能量最大的“车牌框”视为正确车牌，其余的“车牌框”视为伪车牌，将其丢弃；其具体实现包括以下子步骤：

步骤7.1：从第一个“车牌框”开始，逐个取出“车牌框”，计算其最小外接矩形；

步骤7.2：将该最小外接矩形扩大预设范围，在该范围搜索有没有其他“车牌框”；

步骤7.3：将搜索得到的“车牌框”按照其综合能量得分进行排序，保留综合能量得分最高的“车牌框”，去掉综合能量得分低的“车牌框”，去掉的“车牌框”不参与后述的计算；

步骤7.4：判断，所述的“车牌框”是否都处理完毕？

若是，则执行下述步骤7.5；

若否，则回转执行所述的步骤7.1；

步骤7.5：保存结果，流程结束。

作为优选，步骤8中所述的车牌本身的固有特性和车牌间的空间特性，其车牌本身的固有特性为车牌本身长宽比、面积、倾角范围等，其车牌本身的空间特性为空间上远处车牌比近处小。

相对于现有技术，本发明的有益效果是：能从复杂环境下的多尺度影像中精准定位车牌位置，而且具有较高的鲁棒性、准确性和高速性，车牌的漏检率接近零。在车牌粗定位时，充分利用车牌丰富的纹理信息，使得本方法对光照和天气有很强的稳定性，结合车牌鲜明的颜色特征，创造性的使用了颜色概率模型，使得复杂环境对车牌定位的干扰极大地减小。纹理信息和颜色信息的综合使用使得车牌定位的稳定性和准确性有了极大地提高，也极大程度减少了漏检。本发明还别具一格地引入了仿射校正，很好地解决了因图像视角带来的车牌定位难题，也为车牌准确的定位奠定了基础。

不仅如此，本发明还原创性地定义了能量函数来评价和精准定位车牌，这种方法利用了更多有利于车牌定位的深层次信息，让车牌定位更加准确，更加稳定，更加可靠。边缘能量项充分考虑到了车牌与背景环境的梯度差异；高斯混合模型分类能量项考虑到了车牌与环境在高斯混合模型中的分类差异性；颜色对比度能量项既考虑到了车牌与环境间的统计差异性，又考虑到了车牌内左右部分、上下部分的统计关联性；背景和前景颜色模型能量项不仅考虑到车牌的背景信息，更是创新地引入前景模型；这些能量项的相互权衡，让车牌检测更加准确，稳定，可靠。

附图说明

图1：为本发明方法实施例的流程图。

图2：为本发明方法实施例的车牌粗检测步骤的流程示意图。

图3：为本发明方法实施例的车牌仿射校正步骤的流程示意图。

图4：为本发明方法实施例的车牌精准定位步骤的流程示意图。

图5：为本发明方法实施例的非极大值抑制方法剔除部分伪车牌步骤的流程示意图。

具体实施方式

下面将结合附图以及具体实施方式对本发明作进一步描述。

详见图1、图2、图3、图4和图5，本发明所采用的技术方案是：一种基于仿射校正的多尺度车牌精准定位方法，包括以下步骤：

步骤1：获取原始车牌图像A；

步骤2：对原始车牌图像A进行粗检测，利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”，然后利用原始车牌图像的几何特征对候选的“车牌斑块”进行初步过滤，得到“车牌斑块”集B，并进行下述处理；其中利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”，其具体实现包括以下子步骤：

步骤2.1：对原始车牌图像A进行边缘信息检测，利用原始车牌图像A的纹理信息对原始车牌图像A进行检测，得到车牌边缘候选斑块图；其具体实现包括以下子步骤：

步骤2.1.1：首先将原始车牌图像A进行局部增强，然后进行灰度化处理，得到灰度图A₁；

步骤2.1.2：利用梯度算子卷积灰度图A₁，求得灰度图A₁的X、Y方向梯度图，分别对X、Y方向梯度图进行归一化处理，然后设定合理阈值T₁（本实施例为T₁=0.35），进行二值化处理，得到二值图A_2X和A_2Y，将所得的二值图A_2X，进行高斯平滑处理得到边缘信息密度图。剔除二值图中边缘密度小于预设阈值T₂（本实施例为T₂=0.25）的部分，剔除后的二值图作为车牌边缘候选斑块图的初始边缘检测结果图A₃；

步骤2.1.3：利用二值图A_2X和A_2Y，进行形态学闭运算，然后均值滤波，选取一定阈值T₃（本实施例为T₃=0.75），将得到的两图像先进行“与运算”后进行形态学膨胀运算，得到新的二值图A₄，利用新的二值图A₄约束初始边缘检测结果图A₃；通常求交集即可。

步骤2.1.4：将灰度图A₁进行边缘轮廓检测，去掉长度大于预设范围T₄的边缘轮廓线，计算每条边缘轮廓线的最小外接矩形，去掉长宽大于预设范围T₅（本实施例为宽度大于100或高度大于60）和面积过大于预设范围T₆（本实施例为面积大于3000）的最小外接矩形。将边缘轮廓检测保留下来的部分，进行形态学闭运算，得到的范围视作车牌候选区A₅，利用所述的车牌候选区A₅约束所述的初始边缘检测结果图A₃；通常求交集即可。

步骤2.1.5：将约束过后的初始边缘检测结果图A₃，进行形态学闭运算，得到车牌边缘检测斑块图。

步骤2.2：对原始车牌图像A进行颜色概率检测，得到车牌颜色候选斑块图；其具体实现包括以下子步骤：

步骤2.2.1：利用颜色统计模型分别对原始车牌图像A计算诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图；

步骤2.2.2：将所得的诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图进行高斯平滑和形态学运算，然后选取合适阈值T₇进行二值化，得到每种颜色车牌的背景和前景两张二值图，分别对每种颜色车牌的背景和前景两张二值图进行“与运算”，其结果分别代表每种颜色车牌候选区域；

步骤2.2.3：将每种颜色车牌候选区域进行并集运算，并且进行膨胀处理，得到车牌颜色候选斑块图。

步骤2.3：对车牌边缘候选斑块图和车牌颜色候选块图求交集；

步骤2.4：去掉长宽比和面积不合要求的斑块，得到候选的“车牌斑块”。

步骤3：“车牌斑块”集B进行车牌校正，依次对“车牌斑块”集B中每个“车牌斑块”B_i进行仿射校正，得到校正后的车牌图像C_i；其具体实现包括以下子步骤：

步骤3.1：确定仿射校正区域；首先依次取出“车牌斑块”B_i，计算其最小外接矩形，由于最小外接矩形仅包含候选车牌区域，这个区域可能过小，或者不准确，所以需要适当的扩充，将最小外接矩形进行区域扩充，扩大到原来N₁倍（本实施例N₁=3），将扩充完成的矩形区域原图C₁取出，进行灰度化处理，作为仿射变换区域图B₁。同时，取出扩大后的矩形框内斑块图，根据其最小外接矩形大小在水平和垂直方向进行一定程度的形态学膨胀运算得到斑块图M₁，步骤3和步骤4中所有用到的统计信息和面积计算仅考虑斑块图M₁中的像素。

步骤3.2：将仿射变换区域图B₁进行旋转变换；将仿射变换区域图B₁进行高斯平滑处理，去掉部分图像噪声，然后利用梯度算子进行卷积处理，计算出每像素X、Y方向梯度d_x和d_y，求得每像素点的梯度方向α=arctan(d_y/d_x)，利用直方图统计梯度方向信息，计算出梯度主方向，根据该主方向对仿射变换区域图B₁进行旋转变换，得到图B₂，并保留旋转矩阵R_y。

步骤3.3：将图B₂进行错切变换；将图B₂，按照步骤3.2的方法计算其梯度主方向，然后利用主方向对B₂在X方向进行错切变换；并保留错切变换矩阵R_x。

步骤3.4：计算仿射变换矩阵；根据旋转变换和错切变换参数，得到仿射变换矩阵M_affine=R_xR_y；

步骤3.5：利用该矩阵对“车牌斑块”B_i和斑块图M₁进行校正，得到校正后的车牌图像C_i和斑块图M₂。利用该矩阵还可以将精准定位完的车牌图像C_i反算回原图位置。

步骤4：对校正后的车牌图像C_i进行车牌精准定位，利用车牌水平垂直梯度投影峰值，进行组合得到一系列矩形框，然后定义能量函数，通过评价矩形框能量的得分选出最佳矩形框，框的位置就代表车牌位置；其具体实现包括以下子步骤：

步骤4.1：确定车牌图像C_i的矩形框组合；由于仿射变换后车牌区域被校正成为正立的矩形区域，根据车牌图像C_i的X、Y方向梯度投影峰值，确定可能的矩形框组合：首先将校正好的车牌图像C_i灰度化，计算其X、Y方向梯度图，然后在水平和垂直方向进行投影，统计X、Y方向投影峰值，若投影峰值个数太少（少于N₂=2个），返回不是车牌，若投影峰值个数过多（大于N₃=20个），则选取峰值最大的前N₄个，通常可以选择20个。组合这些峰值点，得到的点集视为矩形框的顶点集，任意选取不同两点可构成一系列矩形框，选取其中面积和长宽比合适的矩形框参与后续计算；

步骤4.2：从第一矩形框开始，定义能量函数，计算矩形框的能量项；其能量项包括以下四项，

边缘得分：车牌内存在字符，所以车牌内具有丰富的边缘，而车牌周围背景环境相对光滑，故边缘缺乏。这样就使得车牌与背景环境存在明显的梯度差异，车牌部分的水平和垂直边缘在垂直和水平梯度图中具有较高的强度，统计这些信息对车牌正确提取有积极意义。边缘得分的计算公式为：

score_edge=(p_x×f_x×p_y×f_y)^1/4(式壹)

其中，p_x表示水平梯度精确率或查准率（Precision），p_y表示垂直梯度精确率或查准率（Precision），f_x表示水平梯度综合评价指标或F度量（F-Measure），f_y表示垂直梯度综合评价指标或F度量（F-Measure），精确率p和F度量f的计算公式为：

$p=\frac{{\mathrm{\Σ}}_{\mathrm{Rect}}\mathrm{Gradient}}{{\mathrm{Area}}_{\mathrm{Rect}}},r=\frac{{\mathrm{\Σ}}_{\mathrm{Rect}}\mathrm{Gradient}}{{\mathrm{Area}}_{\mathrm{Rect}}+{\mathrm{Area}}_{\stackrel{\‾}{\mathrm{Rect}}}},f=2\×\frac{p\×r}{p+r}$ （式贰）

其中，r表示查全率或召回率（Recall），∑_RectGradient表示矩形框Rect里的梯度累加值，Area_Rect表示矩形框Rect的面积，表示矩形框Rect外所占的车牌图像C_i面积；

混合高斯模型GMM分类得分：利用高斯混合模型分类可以将车牌与环境分开，只需要保证车牌分类尽可能多的在矩形框内，环境分类尽可能的在矩形框外，当错分概率最小时得到的矩形框最佳。GMM得分的计算公式为：

${\mathrm{score}}_{\mathrm{GMM}}=1-\underset{n}{\mathrm{\Σ}}\frac{\min (P_{\mathrm{GMM}}^n\left(\stackrel{\‾}{\mathrm{Rect}}\right),P_{\mathrm{GMM}}^n\left(\mathrm{Rect}\right))}{{\mathrm{Area}}_{\mathrm{Rect}}+{\mathrm{Area}}_{\stackrel{\‾}{\mathrm{Rect}}}}$

其中，n代表第n个高斯分类，代表在矩形框框外像素属于第n类的概率和，代表在矩形框框里像素属于第n类的概率；

颜色对比度得分：考虑到车牌与环境间具有统计差异性，而车牌内左右部分、上下部分具有统计关联性，当框内与框外差距最大时，同时框内差距最小，这个矩形框就最佳。本实施例在统计颜色信息时主要统计RBG和H分量，通过计算直方图的巴氏距离来完成。颜色对比度得分的计算公式为：

${\mathrm{score}}_{\mathrm{cc}}={({\mathrm{score}}_{\mathrm{cc}}^1\×{\mathrm{score}}_{\mathrm{cc}}^2\×{\mathrm{score}}_{\mathrm{cc}}^3)}^{1/3}$

$\left\{\begin{array}{c}{\mathrm{score}}_{\mathrm{cc}}^1=\mathrm{dist}(H_{\mathrm{Rect}},H_{\stackrel{\‾}{\mathrm{Rect}}})\\ {\mathrm{score}}_{\mathrm{cc}}^2=1-\mathrm{dist}(H_{\mathrm{Left}},H_{\mathrm{Right}})\\ {\mathrm{score}}_{\mathrm{cc}}^3=1-\mathrm{dist}(H_{\mathrm{Top}},H_{\mathrm{Bottom}})\end{array}\right.$

其中，dist(H₁,H₂)代表直方图H₁和H₂的巴氏（Bhattacharyya）距离，H_Rect代表矩形框内所有像素的颜色分量直方图，代表矩形框外所有像素的颜色分量直方图，H_Left代表矩形框左半部分中所有像素的颜色分量直方图，H_Right代表矩形框右半部分中所有像素的颜色分量直方图，H_Top代表矩形框内上半部分中所有像素的颜色分量直方图，H_Bottom代表矩形框内下半部分中所有像素的颜色分量直方图，分别代表矩形框框内外、左右、上下颜色对比得分。这里的颜色分量可以是RGB空间各分量，也可以是其他空间颜色分量，如果是多个分量同时使用，求它们的几何平均值即可。

背景和前景颜色得分：车牌中不仅有蓝色或黄色背景，还有白色或黑色字符，引入背景前景模型在评价矩形框时不仅考虑颜色背景，也考虑了字符信息，这样评价更客观准确。背景和前景颜色得分的计算公式为：

${\mathrm{score}}_{\mathrm{color}}^{\mathrm{bg}}=f_{\mathrm{bg}}\×{\left(p_{\mathrm{bg}}\right)}^{\mathrm{\α}}$

${\mathrm{score}}_{\mathrm{color}}^{\mathrm{fg}}=f_{\mathrm{fg}}\×{\left(p_{\mathrm{fg}}\right)}^{\mathrm{\β}}$

${\mathrm{score}}_{\mathrm{color}}={({\mathrm{score}}_{\mathrm{color}}^{\mathrm{bg}}\×{\mathrm{score}}_{\mathrm{color}}^{\mathrm{fg}})}^{1/2}$

其中，score_color代表背景和前景颜色综合得分，代表背景颜色得分，代表前景颜色得分，p_bg代表背景颜色精确率或查准率（Precision），f_bg代表背景颜色综合评价指标或F度量（F-Measure），p_fg代表前景颜色精确率或查准率（Precision），f_fg代表前景颜色综合评价指标或F度量（F-Measure），它们的计算方法参考式贰，α和β为非负常数。

步骤4.3：计算矩形框综合能量得分：

score_total=(score_edge×score_GMM×score_cc×score_color)^1/4

步骤4.4：判断，车牌图像C_i的矩形框的综合能量得分是否全部计算完毕？

若是，则执行下述步骤4.5；

若否，则回转执行步骤4.2；

步骤4.5：将每个矩形框的综合能量得分进行排序，选出能量得分高的矩形框视为车牌框，记录该矩形框位置和得分。

步骤5：利用车牌校正的参数，将车牌位置反算回原始车牌图像A中的位置；先检查矩形框的综合能量得分是否大于阈值T₈（本实施例为T₈=0.2），若小于阈值则视为伪车牌，删除，若大于阈值则保留，这是一个简单的去噪过程。接着计算仿射变换矩阵M_affine的逆矩阵利用逆矩阵将车牌位置反算到原图位置，并记录下来。这样原来的“矩形框”经过反算，会得到在原图位置上的“车牌框”，这个“车牌框”可以不再是矩形。

步骤6：判断，是否每个过滤后的车牌图像B都处理完毕？

若是，则执行下述步骤7；

若否，则回转执行步骤3；

步骤7：利用非极大值抑制（Non-Maximum Suppression）方法剔去部分伪车牌，在每个“车牌框”周围的一定范围内，选取能量最大的“车牌框”视为正确车牌，其余的“车牌框”视为伪车牌，将其丢弃；其具体实现包括以下子步骤：

步骤7.1：从第一个“车牌框”开始，逐个取“车牌框”，计算其最小外接矩形；

步骤7.2：将该最小外接矩形扩大预设范围，本实施例扩大到原来5倍，在该范围搜索有没有其他“车牌框”；

步骤7.3：将搜索得到的“车牌框”按照其综合能量得分进行排序，保留综合能量得分最高的“车牌框”，去掉综合能量得分低的“车牌框”，去掉的“车牌框”不参与后述的计算；

步骤7.4：判断，所述的“车牌框”是否都处理完毕？

若是，则执行下述步骤7.5；

若否，则回转执行步骤7.1；

步骤7.5：保存结果，流程结束。

步骤8：结果后处理，利用车牌本身的固有特性和车牌间的空间特性进一步剔除伪车牌。提取出来的车牌框本身长宽比应接近3:1，面积不应过大或者过小，车牌的倾斜角度也不会太大，同时从空间上来讲，远处的车牌不可能比近处的大。通过一系列的后处理，可以进一步剔除伪车牌。

步骤9：输出结果。将约束后的车牌检测结果画在原图上，另存到一张结果图片中，车牌位置信息可以保存到文本文件，可以用于其他用途。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种各样的修改、补充或采用类似的方式替代，但不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于仿射校正的多尺度车牌精准定位方法，其特征在于，包括以下步骤：

步骤1：获取原始车牌图像A；

步骤2：对所述的原始车牌图像A进行粗检测，利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”集，然后利用原始车牌图像的几何特征对所述的候选的“车牌斑块”进行初步过滤，得到“车牌斑块”集B；

其中利用原始车牌图像A丰富的垂直纹理信息和鲜明的颜色特征检测出候选的“车牌斑块”，其具体实现包括以下子步骤：

步骤2.1：对所述的原始车牌图像A进行边缘信息检测，利用原始车牌图像A的纹理信息对所述的原始车牌图像A进行检测，得到车牌边缘候选斑块图；其具体实现包括以下子步骤：

步骤2.1.1：首先将所述的原始车牌图像A进行局部增强，然后进行灰度化处理，得到灰度图A₁；

步骤2.1.2：利用梯度算子卷积灰度图A₁，求得灰度图A₁的X、Y方向梯度图，分别对X、Y方向梯度图先进行归一化处理，然后设定合理阈值T₁，进行二值化处理，可分别得到二值图A_2X和A_2Y，对所得的二值图A_2X进行高斯平滑处理得到边缘信息密度图，剔除二值图中边缘密度小于预设阈值T₂的部分，剔除后的二值图作为车牌边缘候选斑块图的初始边缘检测结果图A₃；

步骤2.1.3：利用所述的二值图A_2X和A_2Y，进行形态学闭运算，然后均值滤波，选取合适阈值T₃进行二值化处理，将得到的两图像先进行“与运算”后进行形态学膨胀运算，得到新的二值图A₄，利用所述的新的二值图A₄约束所述的初始边缘检测结果图A₃；

步骤2.1.4：将灰度图A₁进行边缘轮廓检测，去掉长度大于预设范围T₄的边缘轮廓线，计算每条边缘轮廓线的最小外接矩形，去掉长宽大于预设范围T₅和面积大于预设范围T₆的最小外接矩形，将边缘轮廓检测保留下来的部分，进行形态学闭运算，得到的范围视作车牌候选区A₅，利用所述的车牌候选区A₅约束所述的初始边缘检测结果图A₃；

步骤2.1.5：将约束过后的初始边缘检测结果图A₃，进行形态学闭运算，得到车牌边缘候选斑块图；

步骤2.2：对所述的原始车牌图像A进行颜色概率检测，得到车牌颜色候选斑块图；

步骤2.3：对所述的车牌边缘候选斑块图和车牌颜色候选斑块图求交集；

步骤2.4：去掉长宽比和面积不合要求的斑块，得到候选的“车牌斑块”；

步骤3：对所述的“车牌斑块”集B进行车牌校正，依次对“车牌斑块”集B中每个“车牌斑块”B_i进行仿射校正，得到校正后的车牌图像C_i；

步骤4：对所述的校正后的车牌图像C_i进行车牌精准定位，利用车牌水平垂直梯度投影峰值，进行组合得到一系列矩形框，然后定义能量函数，通过评价矩形框能量的得分选出最佳矩形框，其位置就代表车牌位置；

所述的对仿射校正后的车牌图像C_i进行车牌精准定位，其具体实现包括以下子步骤：

步骤4.1：确定车牌图像C_i的矩形框组合；根据车牌图像C_i的X、Y方向梯度投影峰值，确定可能的矩形框组合：首先将校正好的车牌图像C_i灰度化，计算其X、Y方向梯度图，然后在水平和垂直方向进行投影，统计X、Y方向投影峰值，组合这些峰值点，得到的点集作为矩形框的顶点集，任意选取不同两点可构成一系列矩形框，选取其中面积和长宽比合适的矩形框参与后续计算；

步骤4.2：从第一个矩形框开始，定义能量函数，计算所述的矩形框的能量项；其能量项包括以下四项，

边缘得分：边缘得分的计算公式为：

score_edge＝(p_x×f_x×p_y×f_y)^1/4 (式壹)

其中，p_x表示水平梯度精确率或查准率，p_y表示垂直梯度精确率或查准率，f_x表示水平梯度综合评价指标或F度量，f_y表示垂直梯度综合评价指标或F度量，查准率p和F度量f的计算公式为：

其中，r表示查全率或召回率，∑_RectGradient表示矩形框Rect里的梯度累加值，Area_Rect表示矩形框Rect的面积，表示矩形框Rect外所占的车牌图像C_i面积；

混合高斯模型GMM分类得分：GMM得分的计算公式为：

${\mathrm{score}}_{GMM}=1-\underset{n}{\Σ}\frac{min\left(P_{GMM}^n\right(\stackrel{\‾}{\mathrm{Re}ct}),P_{GMM}^n(\stackrel{\‾}{\mathrm{Re}ct}\left)\right)}{{\mathrm{Area}}_{\mathrm{Re}ct}+{\mathrm{Area}}_{\stackrel{\‾}{\mathrm{Re}ct}}}$

其中，n代表第n个高斯分类，代表在矩形框框外像素属于第n类的概率和，代表在矩形框框里像素属于第n类的概率；

颜色对比度得分：颜色对比度得分的计算公式为：

${\mathrm{score}}_{cc}={({\mathrm{score}}_{cc}^1\×{\mathrm{score}}_{cc}^2\×{\mathrm{score}}_{cc}^3)}^{1/3}$

$\left\{\begin{array}{c}{\mathrm{score}}_{cc}^1=dist(H_{\mathrm{Re}ct},H_{\stackrel{\‾}{\mathrm{Re}ct}})\\ {\mathrm{score}}_{cc}^2=1-dist(H_{Left},H_{Right})\\ {\mathrm{score}}_{cc}^3=1-dist(H_{Top},H_{Bottom})\end{array}\right.$

其中，dist(H₁,H₂)代表直方图H₁和H₂的巴氏距离，H_Rect代表矩形框内所有像素的颜色分量直方图，代表矩形框外所有像素的颜色分量直方图，H_Left代表矩形框内左半部分中所有像素的颜色分量直方图，H_Right代表矩形框内右半部分中所有像素的颜色分量直方图，H_Top代表矩形框内上半部分中所有像素的颜色分量直方图，H_Bottom代表矩形框内下半部分中所有像素的颜色分量直方图，分别代表矩形框框内外、左右、上下颜色对比得分；

背景和前景颜色得分：背景和前景颜色得分的计算公式为：

${\mathrm{score}}_{color}^{bg}=f_{bg}\×{\left(p_{bg}\right)}^{\mathrm{\α}}$

${\mathrm{score}}_{color}^{fg}=f_{fg}\×{\left(p_{fg}\right)}^{\mathrm{\β}}$

${\mathrm{score}}_{color}={({\mathrm{score}}_{color}^{bg}\×{\mathrm{score}}_{color}^{fg})}^{1/2}$

其中，score_color代表背景和前景颜色综合得分，代表背景颜色得分，代表前景颜色得分，p_bg代表背景颜色精确率或查准率，f_bg代表背景颜色综合评价指标或F度量，p_fg代表前景颜色精确率或查准率，f_fg代表前景颜色综合评价指标或F度量，它们的计算方法参考式贰，α和β为非负常数；

步骤4.3：计算所述的矩形框综合能量得分：

score_total＝(score_edge×score_GMM×score_cc×score_color)^1/4

步骤4.4：判断，所述的车牌图像C_i的矩形框的综合能量得分是否全部计算完毕；

若是，则执行下述步骤4.5；

若否，则回转执行所述的步骤4.2；

步骤4.5：将每个矩形框的综合能量得分进行排序，选出能量得分最高的矩形框视为车牌框，记录该矩形框位置和得分；

步骤5：利用车牌校正的参数，将所述的车牌位置反算得到在所述的原始车牌图像A中的位置，最佳矩形框通过反算得到“车牌框”；

步骤6：判断，“车牌斑块”集B中每个“车牌斑块”是否都处理完毕；

若是，则执行下述步骤7；

若否，则回转执行所述的步骤3；

步骤7：利用非极大值抑制方法剔去部分伪车牌，在每个“车牌框”周围的预设范围内，选取能量最大的“车牌框”视为车牌，其余的“车牌框”视为伪车牌，将其丢弃；

步骤8：结果后处理，利用车牌本身的固有特性和车牌间的空间特性，来进一步剔除伪车牌；

步骤9：输出结果。

2.根据权利要求1所述的基于仿射校正的多尺度车牌精准定位方法，其特征在于：步骤2.2中所述的对原始车牌图像A进行颜色概率检测，得到车牌颜色候选斑块图，其具体实现包括以下子步骤：

步骤2.2.1：利用颜色统计模型分别对原始车牌图像A计算诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图；

步骤2.2.2：将所得的诸如蓝色、黄色类各色车牌的背景和前景颜色概率分布图进行高斯平滑和形态学运算，然后选取合适阈值T₇进行二值化，得到每种颜色车牌的背景和前景两张二值图，分别对每种颜色车牌的背景和前景两张二值图进行“与运算”，其结果分别代表每种颜色车牌候选区域；

步骤2.2.3：将每种颜色车牌候选区域进行并集运算，并且进行膨胀处理，得到车牌颜色候选斑块图。

3.根据权利要求1所述的基于仿射校正的多尺度车牌精准定位方法，其特征在于：步骤3中所述的对所述的“车牌斑块”集B进行车牌校正，依次对“车牌斑块”集B中每个“车牌斑块”B_i进行仿射校正，得到校正后的车牌图像C_i；其具体实现包括以下子步骤：

步骤3.1：确定仿射校正区域；首先依次取出“车牌斑块”B_i，计算其最小外接矩形，将所述的最小外接矩形进行区域扩充，将扩充完成的矩形区域原图取出，进行灰度化处理，作为仿射变换区域图B₁；

步骤3.2：将所述的仿射变换区域图B₁进行旋转变换；将所述的仿射变换区域图B₁进行高斯平滑处理，去掉部分图像噪声，然后利用梯度算子进行卷积处理，计算出每像素X、Y方向梯度，求得每像素点的梯度方向，利用直方图统计梯度方向信息，计算出梯度主方向，根据该主方向对所述的仿射变换区域图B₁进行旋转变换，得到图B₂；

步骤3.3：将所述的图B₂进行错切变换；将所述的图B₂，按照步骤3.2的方法计算其梯度主方向，然后利用主方向对图B₂在X方向进行错切变换；

步骤3.4：计算仿射变换矩阵；根据旋转变换和错切变换参数，得到仿射变换矩阵；

步骤3.5：利用该矩阵对“车牌斑块”B_i进行校正，得到校正后的车牌图像C_i。

4.根据权利要求1所述的基于仿射校正的多尺度车牌精准定位方法，其特征在于：步骤7中所述的利用非极大值抑制方法剔去部分伪车牌，在每个“车牌框”周围的一定范围内，选取能量最大的“车牌框”视为正确车牌，其余的“车牌框”视为伪车牌，将其丢弃；其具体实现包括以下子步骤：

步骤7.1：从第一个“车牌框”开始，逐个取出“车牌框”，计算其最小外接矩形；

步骤7.2：将该最小外接矩形扩大预设范围，在该范围搜索有没有其他“车牌框”；

步骤7.3：将搜索得到的“车牌框”按照其综合能量得分进行排序，保留综合能量得分最高的“车牌框”，去掉综合能量得分低的“车牌框”，去掉的“车牌框”不参与后述的计算；

步骤7.4：判断，所述的“车牌框”是否都处理完毕；

若是，则执行下述步骤7.5；

若否，则回转执行所述的步骤7.1；

步骤7.5：保存结果，流程结束。

5.根据权利要求1所述的基于仿射校正的多尺度车牌精准定位方法，其特征在于：步骤8中所述的车牌本身的固有特性和车牌间的空间特性，其车牌本身的固有特性为车牌本身长宽比、面积、倾角范围等，其车牌本身的空间特性为空间上远处车牌比近处小。