CN103699905A - 一种车牌定位方法及装置 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种车牌定位方法及装置，所述方法包括下述步骤：对车牌进行检测，检测得出精确的车牌区域；在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。本发明在识别出精确的车牌区域以后，通过车牌跟踪的方式再次得到精确的车牌区域，通过跟踪的方式替代重新进行车牌检测的过程，实现更快的再次检测识别到精确的车牌区域。

Description

一种车牌定位方法及装置

技术领域

本发明属于图像处理领域，尤其涉及一种车牌定位方法及装置。

背景技术

车牌识别已经被广泛使用在停车场出入口，商厦出入口等地方。车牌识别一般分为车牌检测，字符分割与识别以及车牌投票这三步。车牌检测，即从视频中检测到车牌，而车票检测又是车牌识别中非常重要的一步，也是最耗时的一步。车牌检测就是在车辆图像中检测车牌的位置。由于车牌识别设备一般都是在室外使用，车牌和背景的成像条件是不可控制的，光照，复杂背景，摄像机的安装角度和距离等给车牌检测带来了困难。车牌区域在整幅图像中所占的比例较小，要从整幅图像中检测出车牌区域必然要在大量的背景信息中进行搜索。现实生活中对车牌的识别应用场景都有对时间的限制，因此更加需要快速检测到车牌。基于视频的车牌检测方法有很多，包括基于线模板的二值化图像中的角检测算法，利用遗传算法检测车牌，还有基于Haar特征的Adaboost检测等。其中基于Haar特征的Adaboost训练模型进行全图搜索。该方法检测率高，但速度慢，全图进行Haar检测能准确检测到车牌，但是运算量大，如果应用在嵌入式设备中，嵌入式设备的运算速度难以达到要求。另外Haar检测对角度要求高，如果车牌角度超过了30度就会出现一定的漏检。由于车辆在卡口是一辆跟一辆，并且一车一卡，因此在检测出车辆的车牌区域以后还需要关注当前车辆的情况，直至能够识别出车牌信息为止。而在继续关注的过程中还需对车辆车牌进行检测，也就是还需要在图像中检测车牌区域，而常用的方法为重新进行计算和检测，而重新进行计算检测的计算量相对就比较大。

发明内容

本发明实施例的目的在于提供一种车牌定位方法及装置，旨在提供一种车牌定位方法，当识别出精确的车牌区域以后，通过车牌跟踪的方式再次得到精确的车牌区域，通过跟踪的方式替代重新进行车牌检测的过程，实现更快的再次检测识别到精确的车牌区域。

本发明实施例是这样实现的，一种车牌定位方法，所述方法包括下述步骤：

对车牌进行检测，检测得出精确的车牌区域；在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

进一步的，所述对车牌进行检测，检测得出精确的车牌区域的具体步骤包括：

使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；

对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；

在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；

通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

进一步的，所述方法在通过Haar模型对边缘密度大于等于阈值的方框进行检测步骤前还包括：

对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

进一步的，所述通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域的步骤包括：

通过级联的Adaboost算法对Haar特征进行训练得到Haar模型；

通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

进一步的，所述在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪的步骤前包括:

在车牌标定位中通过标定信号标定已检测到精确的车牌区域，并在下一帧图像中对检测到的精确车牌区域进行跟踪；

当根据跟踪获取得到车牌区域时，对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，清除在车牌标定位中的标定信号；

当在预设次数内通过跟踪并进行识别且识别结果满足识别要求时，更改车牌标定位中的标定信号，并根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

本发明实施例的另一目的在于提供一种车牌定位装置，所述装置包括：

车牌检测单元，用于对车牌进行检测，检测得出精确的车牌区域；

车牌跟踪单元，用于在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

进一步的，所述车牌检测单元包括：

方框区域提取单元，用于使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；

积分图计算单元，用于对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；

方框提取单元，用于在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；

车牌区域检测单元，用于通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

进一步的，所述装置还包括：

标定单元，用于对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

进一步的，所述车牌区域检测单元还包括：

模型训练单元，用于通过级联的Adaboost算法对Haar特征进行训练得到Haar模型；

精确检测单元，用于通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

进一步的，所述车牌跟踪单元包括：

标定单元，用于在车牌标定位中通过标定信号标定已检测到精确的车牌区域，并在下一帧图像中对检测到的精确车牌区域进行跟踪；

标定清除单元，用于当根据跟踪获取得到车牌区域时，对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，清除在车牌标定位中的标定信号；

标定更改单元，用于当在预设次数内通过跟踪并进行识别且识别结果满足识别要求时，更改车牌标定位中的标定信号，并根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

本发明实施例通过一种车牌定位方法及装置，首先通过HOG特征获取得到一些方框区域，同时对图像进行边缘计算计算得到图像的边缘积分图，通过得到的方框区域与边缘积分图再精确提取出符合预设条件的方框，最后通过Haar模型检测出车牌区域，由于首先采用了HOG特征进行检测可以实现大角度检测，同时HOG特征的模型对光线鲁棒，使得最后通过Haar模型检测到车牌的概率更高，在检测出车牌以后继续对车牌进行定位跟踪，通过跟踪的方式再次得到精确的车牌区域，当出现已经检测的到的车牌区域无法识别出车牌时，通过定位跟踪到的车牌区域来识别车牌，由于跟踪的方式比重新检测车牌速度更快，可以减少再次检测出车牌区域的运算量，加快识别车牌的速度。

附图说明

图1是本发明第一实施例提供的一种车牌定位方法的实现流程图；

图2是本发明第二实施例提供的一种车牌定位方法的实现流程图；

图3是本发明第二实施例提供的一种车牌定位装置的结构图；以及

图4是本发明第二实施例提供的一种车牌定位装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明第一实施例提供的一种车牌定位方法的实现流程，详述如下：

S101，对车牌进行检测，检测得出精确的车牌区域。

首先对车牌进行检测，通过对获取到的车牌的图像的处理，检测得出一个精确的车牌区域，其中对车牌的检测具体可以通过HOG（Histogram of orientedgradients）梯度方向直方图特征对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；之后对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；在边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；最后通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

S102，在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

由于在卡口车辆是一辆跟一辆，并且一车一卡，因此只需要关注当前车辆的情况。当视频中出现超过一个车牌，默认跟踪最靠近摄像机的那个车牌。如果没有正在跟踪的车牌，就检测车牌。如果能正常检测到车牌，就对字符进行分割和识别，如果字符识别的置信度满足要求，就把车牌进行跟踪，否则继续在下一帧检测车牌。如果有车牌在被跟踪，***不进行检测操作，通过对车牌跟踪找到车牌在当前帧的位置，然后对字符进行分割和识别，如果字符识别的置信度满足要求，就对车牌进行跟踪，否则删除车牌，在下一帧重新检测车牌。当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

本发明实施例通过上述方式，一种车牌定位方法，首先对车牌进行检测，检测得出精确的车牌区域，车牌检测可以通过HOG特征获取得到一些方框区域，同时对图像进行边缘计算计算得到图像的边缘积分图，通过得到的方框区域与边缘积分图再精确提取出符合预设条件的方框，最后通过Haar模型检测出车牌区域，由于首先采用了HOG特征进行检测可以实现大角度检测，同时HOG特征的模型对光线鲁棒，使得最后通过Haar模型检测到车牌的概率更高，在车牌区域检测出的条件下通过跟踪继续对车牌进行检测，由于车牌跟踪的速度比检测要快，以跟踪的方式再次检测出车牌区域可以减少通过常规检测方式的***运算量，减小***负荷，更快的检测到一个新的精确的车牌区域，以便在出现已经检测的到的车牌区域无法识别出车牌时，通过定位跟踪到的车牌区域来更快地识别出车牌。

实施例二：

图2示出了本发明第二实施例提供的一种车牌定位方法的实现流程，详述如下：

S201，对图像进行转换，将图像转换为灰度图；对图像进行缩放。首先将摄像头在捕捉到的图像进行图像转换处理，将图像转换为灰度图像，通过将图像转换为灰度图像，可以减少对图像处理的计算量，将转换后的图像进行缩放，具体的实施过程中可以把图片的宽度和高度各减少一半。将图像进行缩放后可以进一步减少对图像的计算量，提高检测出车牌区域的速度。

S202，使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域。

使用HOG模型对图像进行多尺度检测，其中HOG模型的获取可以通过摄像头在各个时段和天气条件下拍摄并储存大量停车场出入口的视频。在这些视频中，人工截取出每辆车的车牌图像，车牌图像作为正样本，人工截取出其中不是车牌的部分，截取出的非车牌图片作为负样本。使用HOG特征对每一幅正、负样本进行表征，形成HOG特征向量。HOG刻画图像的局部梯度幅值和方向特征，基于梯度特征对块的特征向量进行归一化处理。HOG允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感，能有效地刻画出边缘特征。对于角度大的车牌检测效果好。HOG特征是灰度图的梯度统计信息，而梯度主要存在于边缘的地方。计算图像的一阶梯度，梯度大小： $R(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y-1)-I(x,y+1))}^2},$ 梯度方向：Ang(x,y)=arccos(I(x+1,y)-I(x-1,y)/R)。梯度计算中具体可以，使用一维离散微分模版[-101]在水平方向上对样本图像进行处理，得到水平梯度图像；使用一维离散微分模版[-101]^T在垂直方向上对样本图像进行处理，得到垂直梯度图像。直方图方向具体的可以为9个，将每个分块中所有像素的一维梯度直方图累加到其中，就形成了最终的特征。最后通过最终的特征建立HOG模型，利用级联的Adaboost算法对HOG特征进行训练，最终得到5层的级联车牌强分类器模型，再使用HOG模型对图像进行多尺度检测，提取通过HOG模型检测的方框区域。

S203，对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图。

对图像进行边缘计算，计算经过边缘计算后的图像的积分图，计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图。

S204，在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框。

之后通过获得的HOG模型检测的方框区域的坐标在边缘积分图上框出疑似车牌区域，通过积分图计算这些区域的边缘密度，删除灰度图中边缘密度小于阈值的方框，提取边缘密度大于等于阈值的方框。其中使用积分图可以加快边缘密度的计算。为了避免一个方框的所有点的边缘值相加的重复计算，在算法中使用了积分图。积分图上的每个点(x,y)包含了从点(0,0)到点(x,y)所有的像素的边缘值。如果用I(x,y)表示边缘计算后的灰度图，II(x,y)表示计算出来的积分图，那么：

任意的一个矩形可以使用以下的方式计算：如果矩形的左上角为(x_lt,y_lt)，右下角的坐标为(x_rb,y_rb)，那么该矩形的积分图可以用下式计算：SUM_D=II(x_rb,y_rb)-II(x_lt,y_rb)-II(x_rb,y_lt)+II(x_lt,y_lt)，其中对于阈值的设定根据具体的应用场景以及训练的样本不同而有差异，在本实施例中设定的阈值为7。提取边缘密度大于等于阈值的方框。

S205，对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

在背景和车身存在一些矩形物体，特征与车牌类似，但边缘分布不均匀。例如有些车灯连同旁边的区域会被误检为车牌且边缘密度高，但它的边缘密度分布不均匀。我们需要对边缘密度大于等于阈值的方框进行平分，具体的可以把检测到的方框平均分成5块，分别计算这5块的平均边缘密度。然后计算这5块的平均密度的偏差，如果偏差在阈值内，表示这个区域的边缘分布式均衡的，是类似车牌的区域，对类似车牌的局域还可以采用方框的聚类，具体的为采用最近邻的方法，只要两两之间的重合达到60%就认为这两个框式属于一类的。聚类后根据预设的删除条件删除以部分方框：根据经验，一个车牌区域搜索出来的方框会很多，因此聚类后如果有类别包含的方框小于10个，就把整个类的所有方框删除。如果多个scale检测到的位置重合，仅保留中间的scale，删除其他的scale检测到的方框。同一个scale在检测过程中进行平移，如果检测到的多个方框出现相邻两个大面积重合，仅保留中央的方框，并把该方框向上、下、左和右方向分别扩大10%。最后把每一类所有方框所占面积连起来形成块，最后标定连起来形成块为类似车牌方框。

S206，通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

最后通过Haar模型对剩下的块进行检测，获得精确的车牌位置，其中Haar模型为利用级联的Adaboost算法对Haar特征进行训练的模型，将人工选取出大量车牌图片和非车牌图片作为训练集的正、负样本。使用Haar特征对每一幅正、负样本进行表征，形成特征向量，得到20层的级联车牌强分类器。形成Haar模型，通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

S207，在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

由于在卡口车辆是一辆跟一辆，并且一车一卡，因此只需要关注当前车辆的情况。在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

其中对车牌进行跟踪时，在具体的操作中为了提高跟踪定位车牌的有效率可以通过：首先判断是否已经有车牌被跟踪，***使用TrackFlag信号来表示，将TrackFlag信号作为车牌标定位的标定信号。如果当前没有车牌被跟踪TrackFlag信号清零（TrackFlag=0），执行车牌检测。如果已经有被跟踪的车牌（TrackFlag=1或者TrackFlag=2），则进行车牌跟踪。对跟踪到的车牌进行检测，如果车牌检测不成功，当前帧处理结束。如果车牌检测成功，设定TrackFlag=1，对检测到的车牌进行字符分隔与识别，等待字符分隔与识别的结果。如果字符分隔与识别显示字符识别的置信度满足要求，就把该车牌从下一帧开始进行跟踪，设置TrackFlag为1。如果对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，即置信度不满足时，表明当前检测的效果不理想，当前帧操作结束，清除在车牌标定位中的标定信号，TrackFlag值被清零，设置TrackFlag信号为0，在下一帧继续检测车牌。车牌跟踪如果不成功，删除当前跟踪目标，设置TrackFlag为0。如果车牌跟踪成功，对跟踪到的车牌进行字符分隔与识别，程序会等待字符分隔与识别的结果。如果分割与识别成功，就会更改TrackFlag的状态。如果分割与识别不成功，表明车牌质量不理想，在预设的次数内，例如三次跟踪中得到的车牌区域通过分割和识别都不成功时，删除跟踪对象，设置TrackFlag为0，当前帧操作结束。其中TrackFlag状态更新过程具体如下：TrackFlag的值为1和2都表示有车牌在被跟踪。***会统计识别出来的字符的单个字符的置信度，由于汉字的识别率较低，因此仅统计六个字母与数字。如果6个字符中置信度不达标的字符有0个或1个，表示跟踪到的车牌质量好，使用分割和识别后的车牌的信息更新被跟踪车牌的信息。如果6个字符中置信度不达标的字符有2个，表示车牌能被识别，但是质量不好。***不会立刻删除该车牌，而是允许车牌继续被跟踪，一旦容忍帧数超过了三帧，就认为该车牌质量不好，删除该车牌，重新检测车牌。如果6个字符中置信度不达标的字符超过2个，表示车牌识别效果差，删除当前跟踪的车牌，在下一帧重新检测车牌。每次跟踪的时候首先判断TrackFlag的状态，如果TrackFlag为1，继续跟踪。如果TrackFlag为2，先用上一帧识别后的车牌信息更新被跟踪的车牌的信息，然后再进行跟踪或者识别。

其中对车牌进行跟踪的方法采用：基于Kalman滤波器和SIFT特征点匹配的跟踪方法，具体入下：

1)提取上一帧获得的车牌图像的SIFT特征点；

其中SIFT特征向量提取的实现包括4个步骤:

a)检测尺度空间极值点，首先创建DOG（Difference of Gaussian）金字塔多尺度空间，在DOG空间中，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。通过以上方法获取的特征点称为候选特征点。

b)精确确定极值点位置，过滤部分位于边缘的特征点，余下的是SIFT特征点。

c)为每个特征点指定方向参数，梯度直方图的范围是0～360°，取每10°一个柱，总共分36个柱进行方向直方图的统计计算，为特征点赋予方向参数。

d)特征点描述子的生成，首先将坐标轴旋转为特征点的方向，对任意一个特征点，在其所在的尺度空间取以特征点为中心的16×16大小的邻域，再将此邻域均匀地分为4×4个子区域，对每个子区域计算梯度方向直方图(8个方向)。对4×4个子区域的8方向梯度直方图根据位置依次排序，这样就构成了一个4×4×8=128维的向量。最后将特征向量长度归一化，该向量就是SIFT特征点向量。

2)使用上一帧Kalman滤波器预测到的位置在当前帧截取该区域，然后往上、下、左和右四个方向各扩大10%。如果扩大后出现位置已经超出监控画面，返回跟踪失败。在扩大后的区域进行SIFT特征点匹配，如果匹配的点数大于阈值，则认为跟踪成功，否则返回跟踪失败。通过对比前后两帧的SIFT特征获取车牌的位移和缩放信息，利用车牌的位移和缩放信息和当前帧的特征点的对应位置找到车牌的精确位置。

SIFT特征点匹配包括两部分：

a)SIFT特征向量匹配:前一帧车牌的SIFT特征向量与当前帧包含车牌区域的SIFT特征向量生成后,采用特征点特征向量的欧氏距离作为两个区域的特征点的相似性判定度量。取前一帧车牌中的某个特征点,并找出其与当前帧车牌区域中欧氏距离最近的前两个关键点,在这两个关键点中,如果最近距离与次最近距离之间的比值小于某个阈值，则接受这一对匹配点,认为特征匹配。

b)目标匹配:：在a)匹配的基础上,记录匹配结果Ni,Ni表示前一帧车牌与当前帧包含车牌区域相匹配特征向量的个数,设N为前一帧车牌特征向量的总个数,则前一帧车牌与当前帧包含车牌区域的匹配率可记为:Pi=Ni/N.由于SIFT算法做图像匹配时,不同物体图像匹配率极低,因此可以利用这一特性来判别前一帧车牌与当前帧包含车牌区域的某部分是否匹配.设阈值为TH,当Pi>TH时,表明前一帧车牌与当前帧包含车牌区域的某部分匹配程度较高,可认为前一帧车牌与当前帧包含车牌区域的某部分匹配。

SIFT特征点匹配还需要后验证：

a)在前一帧车牌的SIFT特征向量与当前帧包含车牌区域的SIFT特征向量都生成后，采用特征点特征向量的欧式距离作为特征点的相似性判定度量。

b)采用Best Bin First（BBF）算法检索每个特征点的最近邻和次近邻特征点。假设与特征点的欧氏距离最近和次近的特征分别为E和E′，计算特征点与E和E′欧式距离的比率。如果值小于某一阈值，则认为匹配成功。本实施例中使用的阈值为0.6。

3)利用当前帧找到的车牌的位置信息更新Kalman滤波器，并预测车牌在下一帧的位置。

卡尔曼滤波器是最优化自回归数据处理算法，是一种高效的递归滤波器,它能够从一系列的不完全包含噪声的测量中,估计动态***的状态。一个离散控制过程的***,可以由***的运动方程和***的观测方程来表示：

X(k)=A*X(k-1)+B*U(k)+W(k)，其中X(k)是k时刻的***状态，X(k-1)是k-1时刻的***状态，W(k)为正态分布的运动向量，A和B是***函数。

Z(k)=H*X(k)+V(k)，Z(k)是k时刻***观测向量，U(k)是对应于k时刻对外部控制向量，V(k)为测量噪声向量，H测量***的参数。

现在的***状态是k,根据***的模型,可以基于***的上一状态而预测出现在状态。Kalman滤波器的五个函数如下：

预测：X(k|k-1)=A*X(k-1|k-1)+B*U(k)   （1）

其中X(k|k-1)是利用上一状态预测的结果，

X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量。

预测最小均方误差方差阵:P(k|k-1)=A*P(K|k-1)*A^T+Q  （2）

其中P(k|k-1)是X(k|k-1)对应的先验误差,P(k-1|k-1)是X(k-1|k-1)对应的后验误差，Q是***过程的先验概率，A^T表示A的转置矩阵。

滤波：X(k|k)=X(k|k-1)+K(k)*Z(k)-H*X(k|k-1)   （3）

其中K为卡尔曼增益矩阵，即：

$K\left(k\right)=\frac{P\left(k\right|k-1)*H^T}{(H*P\left(k\right|k-1)*H^T+R)}---\left(4\right)$

滤波误差方差阵:P(k|k)=(I-K(k)*H)*P(k|k-1)    （5）

4)根据跟踪结果对TrackFlag的状态进行更新，TrackFlag状态更新过程：

TrackFlag的值为1和2都表示有车牌在被跟踪。***会统计识别出来的字符的单个字符的置信度，由于汉字的识别率较低，因此仅统计六个字母与数字。如果6个字符中置信度不达标的字符有0个或1个，表示跟踪到的车牌质量好，使用分割和识别后的车牌的信息更新被跟踪车牌的信息，设置TrackFlag的值为2，在下一帧跟踪开始前执行更新。如果6个字符中置信度不达标的字符有2个，表示车牌能被识别，但是质量不好。***不会立刻删除该车牌，而是允许车牌继续被跟踪，设置TrackFlag的值为1，容忍帧数的值加1。一旦容忍帧数超过了三帧，就认为该车牌质量不好，删除该车牌，重新检测车牌，设置TrackFlag的值为0。如果6个字符中置信度不达标的字符超过2个，表示车牌识别效果差，删除当前跟踪的车牌，设置TrackFlag的值为0，在下一帧重新检测车牌。

本发明实施例通过上述方式，一种车牌定位方法，首先利用5层的HOG模型进行全图检测，然后对疑似车牌区域进行边缘密度检测以及边缘密度均衡检测。接着使用聚类的方法把靠近的区域聚集成疑似车牌区域。最后对剩下的几个车牌区域进行20层的Haar模型检测的方法。该方法比传统的全图进行Haar检测速度要快，并且利用HOG的特性能检测角度大的车牌，实验结果证明，该方法的检测率高，并且对光线鲁棒，在检测出车牌以后继续对车牌进行定位跟踪，当检测的到的车牌区域无法识别出车牌时，通过定位跟踪到的车牌区域来识别车牌，由于跟踪的方式比重新检测车牌速度更快，可以减少再次检测出车牌区域的运算量，加快识别车牌的速度，同时通过对检测和跟踪的结果进行标定，使得在检测跟踪识别的过程中能够有效的进行纠错，并选择获取得到的最优的车牌信息进行识别，以获取得到更好的识别效果。

实施例三：

图3示出了本发明第三实施例提供的一种车牌定位装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

车牌检测单元31，用于对车牌进行检测，检测得出精确的车牌区域。

车牌检测单元首先对车牌进行检测，通过对获取到的车牌的图像的处理，检测得出一个精确的车牌区域，其中对车牌的检测具体可以通过HOG（Histogram of oriented gradients）梯度方向直方图特征对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；之后对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；在边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；最后通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

车牌跟踪单元32，用于在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

由于在卡口车辆是一辆跟一辆，并且一车一卡，因此只需要关注当前车辆的情况。当视频中出现超过一个车牌，默认跟踪最靠近摄像机的那个车牌。如果没有正在跟踪的车牌，就检测车牌。如果能正常检测到车牌，就对字符进行分割和识别，如果字符识别的置信度满足要求，就把车牌进行跟踪，否则继续在下一帧检测车牌。如果有车牌在被跟踪，***不进行检测操作，通过对车牌跟踪找到车牌在当前帧的位置，然后对字符进行分割和识别，如果字符识别的置信度满足要求，就对车牌进行跟踪，否则删除车牌，在下一帧重新检测车牌。当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

本发明实施例通过上述方式，一种车牌定位装置，首先对车牌进行检测，检测得出精确的车牌区域，车牌检测可以通过HOG特征获取得到一些方框区域，同时对图像进行边缘计算计算得到图像的边缘积分图，通过得到的方框区域与边缘积分图再精确提取出符合预设条件的方框，最后通过Haar模型检测出车牌区域，由于首先采用了HOG特征进行检测可以实现大角度检测，同时HOG特征的模型对光线鲁棒，使得最后通过Haar模型检测到车牌的概率更高，在车牌区域检测出的条件下通过跟踪继续对车牌进行检测，由于车牌跟踪的速度比检测要快，以跟踪的方式再次检测出车牌区域可以减少通过常规检测方式的***运算量，减小***负荷，更快的检测到一个新的精确的车牌区域，以便在出现已经检测的到的车牌区域无法识别出车牌时，通过定位跟踪到的车牌区域来更快地识别出车牌。

实施例四：

图4示出了本发明第四实施例提供的一种车牌定位装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

图像转换缩放单元41，用于对图像进行转换，将图像转换为灰度图；对图像进行缩放。

图像转换缩放单元用于首先将摄像头在捕捉到的图像进行图像转换处理，将图像转换为灰度图像，通过将图像转换为灰度图像，可以减少对图像处理的计算量，之后将转换后的图像进行缩放，具体的实施过程中可以把图片的宽度和高度各减少一半。将图像进行缩放后可以进一步减少对图像的计算量，提高检测出车牌区域的速度。

方框区域提取单元42，用于使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域。

方框区域提取单元用于使用HOG模型对图像进行多尺度检测，其中HOG模型的获取可以通过摄像头在各个时段和天气条件下拍摄并储存大量停车场出入口的视频。在这些视频中，人工截取出每辆车的车牌图像，车牌图像作为正样本，人工截取出其中不是车牌的部分，截取出的非车牌图片作为负样本。使用HOG特征对每一幅正、负样本进行表征，形成HOG特征向量。HOG刻画图像的局部梯度幅值和方向特征，基于梯度特征对块的特征向量进行归一化处理。HOG允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感，能有效地刻画出边缘特征。对于角度大的车牌检测效果好。HOG特征是灰度图的梯度统计信息，而梯度主要存在于边缘的地方。计算图像的一阶梯度，梯度大小： $R(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y-1)-I(x,y+1))}^2},$ 梯度方向：Ang(x,y)=arccos(I(x+1,y)-I(x-1,y)/R)。梯度计算中具体可以，使用一维离散微分模版[-101]在水平方向上对样本图像进行处理，得到水平梯度图像；使用一维离散微分模版[-101]^T在垂直方向上对样本图像进行处理，得到垂直梯度图像。直方图方向具体的可以为9个，将每个分块中所有像素的一维梯度直方图累加到其中，就形成了最终的特征。最后通过最终的特征建立HOG模型，利用级联的Adaboost算法对HOG特征进行训练，最终得到5层的级联车牌强分类器模型，再使用HOG模型对图像进行多尺度检测，提取通过HOG模型检测的方框区域。

积分图计算单元43，用于对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图。

积分图计算单元用于对图像进行边缘计算，计算经过边缘计算后的图像的积分图，计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图。

方框提取单元44，用于在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框。

方框提取单元用于通过获得的HOG模型检测的方框区域的坐标在边缘积分图上框出疑似车牌区域，通过积分图计算这些区域的边缘密度，删除灰度图中边缘密度小于阈值的方框，提取边缘密度大于等于阈值的方框。其中使用积分图可以加快边缘密度的计算。为了避免一个方框的所有点的边缘值相加的重复计算，在算法中使用了积分图。积分图上的每个点(x,y)包含了从点(0,0)到点(x,y)所有的像素的边缘值。如果用I(x,y)表示边缘计算后的灰度图，II(x,y)表示计算出来的积分图，那么：

任意的一个矩形可以使用以下的方式计算：如果矩形的左上角为(x_lt,y_lt)，右下角的坐标为(x_rb,y_rb)，那么该矩形的积分图可以用下式计算：SUM_D=II(x_rb,y_rb)-II(x_lt,y_rb)-II(x_rb,y_lt)+II(x_lt,y_lt)，其中对于阈值的设定根据具体的应用场景以及训练的样本不同而有差异，在本实施例中设定的阈值为7。提取边缘密度大于等于阈值的方框。

标定单元45，用于对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

标定单元用于在背景和车身存在一些矩形物体，特征与车牌类似，但边缘分布不均匀。例如有些车灯连同旁边的区域会被误检为车牌且边缘密度高，但它的边缘密度分布不均匀。我们需要对边缘密度大于等于阈值的方框进行平分，具体的可以把检测到的方框平均分成5块，分别计算这5块的平均边缘密度。然后计算这5块的平均密度的偏差，如果偏差在阈值内，表示这个区域的边缘分布式均衡的，是类似车牌的区域，对类似车牌的局域还可以采用方框的聚类，具体的为采用最近邻的方法，只要两两之间的重合达到60%就认为这两个框式属于一类的。聚类后根据预设的删除条件删除以部分方框：根据经验，一个车牌区域搜索出来的方框会很多，因此聚类后如果有类别包含的方框小于10个，就把整个类的所有方框删除。如果多个scale检测到的位置重合，仅保留中间的scale，删除其他的scale检测到的方框。同一个scale在检测过程中进行平移，如果检测到的多个方框出现相邻两个大面积重合，仅保留中央的方框，并把该方框向上、下、左和右方向分别扩大10%。最后把每一类所有方框所占面积连起来形成块，最后标定连起来形成块为类似车牌方框。

车牌区域检测单元46，用于通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

车牌区域检测单元用于最后通过Haar模型对剩下的块进行检测，获得精确的车牌位置，其中Haar模型为利用级联的Adaboost算法对Haar特征进行训练的模型，将人工选取出大量车牌图片和非车牌图片作为训练集的正、负样本。使用Haar特征对每一幅正、负样本进行表征，形成特征向量，得到20层的级联车牌强分类器。形成Haar模型，通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

车牌跟踪单元47，用于在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。其中车牌跟踪单元具体包括：标定单元，用于在车牌标定位中通过标定信号标定已检测到精确的车牌区域，并在下一帧图像中对检测到的精确车牌区域进行跟踪；标定清除单元，用于当根据跟踪获取得到车牌区域时，对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，清除在车牌标定位中的标定信号；标定更改单元，用于当在预设次数内通过跟踪并进行识别且识别结果满足识别要求时，更改车牌标定位中的标定信号，并根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

由于在卡口车辆是一辆跟一辆，并且一车一卡，因此只需要关注当前车辆的情况。在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

本发明实施例通过上述方式，一种车牌定位装置，首先利用5层的HOG模型进行全图检测，然后对疑似车牌区域进行边缘密度检测以及边缘密度均衡检测。接着使用聚类的方法把靠近的区域聚集成疑似车牌区域。最后对剩下的几个车牌区域进行20层的Haar模型检测的方法。该方法比传统的全图进行Haar检测速度要快，并且利用HOG的特性能检测角度大的车牌，实验结果证明，该方法的检测率高，并且对光线鲁棒，在检测出车牌以后继续对车牌进行定位跟踪，当检测的到的车牌区域无法识别出车牌时，通过定位跟踪到的车牌区域来识别车牌，由于跟踪的方式比重新检测车牌速度更快，可以减少再次检测出车牌区域的运算量，加快识别车牌的速度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车牌定位方法，其特征在于，所述方法包括下述步骤：

对车牌进行检测，检测得出精确的车牌区域；

在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

2.如权利要求1所述的方法，其特征在于，所述对车牌进行检测，检测得出精确的车牌区域的具体步骤包括：

使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；

对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；

在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；

通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

3.如权利要求2所述的方法，其特征在于，所述方法在通过Haar模型对边缘密度大于等于阈值的方框进行检测步骤前还包括：

对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

4.如权利要求2所述的方法，其特征在于，所述通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域的步骤包括：

通过级联的Adaboost算法对Haar特征进行训练得到Haar模型；

通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

5.如权利要求1所述的方法，其特征在于，所述在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪的步骤前包括:

在车牌标定位中通过标定信号标定已检测到精确的车牌区域，并在下一帧图像中对检测到的精确车牌区域进行跟踪；

当根据跟踪获取得到车牌区域时，对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，清除在车牌标定位中的标定信号；

当在预设次数内通过跟踪并进行识别且识别结果满足识别要求时，更改车牌标定位中的标定信号，并根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

6.一种车牌定位装置，其特征在于，所述装置包括：

车牌检测单元，用于对车牌进行检测，检测得出精确的车牌区域；

车牌跟踪单元，用于在下一帧图像中对检测到的精确车牌区域进行跟踪，当根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

7.如权利要求6所述的装置，其特征在于，所述车牌检测单元包括：

方框区域提取单元，用于使用HOG模型对图像进行多尺度检测，并提取通过HOG模型检测的方框区域；

积分图计算单元，用于对图像进行边缘计算，并计算经过边缘计算后的图像的积分图，获取得到图像的边缘积分图；

方框提取单元，用于在所述边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；

车牌区域检测单元，用于通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

标定单元，用于对边缘密度大于等于阈值的方框进行平分，并计算平分后各方框的平均边缘密度，根据平均边缘密度得到平均边缘密度偏差，标定偏差在阈值范围内的方框为类似车牌方框。

9.如权利要求7所述的装置，其特征在于，所述车牌区域检测单元还包括：

模型训练单元，用于通过级联的Adaboost算法对Haar特征进行训练得到Haar模型；

精确检测单元，用于通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

10.如权利要求6所述的装置，其特征在于，所述车牌跟踪单元包括：

标定单元，用于在车牌标定位中通过标定信号标定已检测到精确的车牌区域，并在下一帧图像中对检测到的精确车牌区域进行跟踪；

标定清除单元，用于当根据跟踪获取得到车牌区域时，对跟踪到的车牌区域进行车牌识别，当在预设次数内通过跟踪并进行识别且识别出的结果不能满足识别要求时，清除在车牌标定位中的标定信号；

标定更改单元，用于当在预设次数内通过跟踪并进行识别且识别结果满足识别要求时，更改车牌标定位中的标定信号，并根据检测到的精确车牌区域识别出符合预设条件的车牌或根据跟踪的车牌区域识别出符合预设条件的车牌时，结束对车牌的定位跟踪。

Images