CN104036262B - 一种lpr车牌筛选识别的方法和*** - Google Patents
一种lpr车牌筛选识别的方法和*** Download PDFInfo
- Publication number
- CN104036262B CN104036262B CN201410306452.2A CN201410306452A CN104036262B CN 104036262 B CN104036262 B CN 104036262B CN 201410306452 A CN201410306452 A CN 201410306452A CN 104036262 B CN104036262 B CN 104036262B
- Authority
- CN
- China
- Prior art keywords
- car plate
- car
- region
- plate
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000006002 Pepper Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005530 etching Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000006698 induction Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 229910052704 radon Inorganic materials 0.000 description 7
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical group [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000010339 dilation Effects 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种LPR车牌筛选识别的方法，包括最优车牌采集的步骤和车牌定位的步骤。所述的最优车牌采集的步骤包括车牌过滤的步骤及提取车牌帧数的步骤；车牌过滤的步骤：通过ROI的界定，过滤掉车离摄像头较远或较近的情形；提取车牌帧数的步骤：由抓拍计数器控制，对进入识别区域的车牌连续抓拍N张图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒，抓拍计数器清零。不但可用于停车管理***还可实现公司车辆的智能管理，完成自动考勤的功能。且车牌的获取不再利用埋设地感线圈的方式，提高***寿命。
Description
技术领域
本发明涉及交通监控***技术领域，具体涉及一种筛选识别车牌的***。
背景技术
随着经济的增长和人们购买力的不断提高，国内汽车数量大规模增加，尤其是私家车数量的急剧增长，远远超过城市原本配备的停车位，导致国内停车难等问题日益凸显，如何在停车位资源一定的情况下实现对停车场科学、规范、统一的管理成为人们关注的重点。
车牌识别作为现代智能交通监控技术领域中的重要组成部分，在停车场管理方面扮演着重要的角色。除此之外，对智能车牌识别的应用还可实现公司车辆的智能管理，完成自动考勤的功能。
车牌识别是以计算机视觉、图像处理、模式识别等技术为基础，对前端摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成车牌识别的过程。众所周知，车牌的识别流程大致分为三个步骤，即：车牌的定位，字符分割以及字符的识别。
目前，车辆检测的传统手段是在路面下埋设地感线圈，车辆经过地感线圈时，地感线圈的电感量发生变化，致使当前线圈与其它电路的探测电路的输出的电信号发生变化，产生车辆检测信号，一般为频率信号，送处理机进行处理，得到车辆进、出停车场的信息。在实际应用中，采用地感线圈检测车辆的方法施工维护费用高、对路面破坏性大，受冰冻、盐碱、繁忙交通的影响大，使用寿命短，一般只有两年。
发明内容
针对以上现有技术中的缺陷，本发明的LPR识别***不但可用于停车管理***还可实现公司车辆的智能管理，完成自动考勤的功能。且车牌的获取不再利用埋设地感线圈的方式，提高***寿命。
***车牌的识别大致流程如图1所示，本发明重点在于对车牌的筛选和识别，具体技术方案如下：
一种LPR车牌筛选识别的方法，包括如下步骤：
最优车牌采集的步骤：
(1)车牌过滤的步骤：
通过识别区域(这里统称感兴趣区域ROI)的界定，可以过滤掉车离摄像头较远或者较近的情形。
(2)提取车牌帧数的步骤：车牌识别***设置有计数器，对进入识别区域的车牌连续抓拍N张(一般为3张)图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒(通常为1秒)，抓拍计数器清零。
车牌定位的步骤：
(1)灰度化处理颜色图的步骤：利用公式
Gray(i,j)＝R(i,j)*0.299+G(i,j)*0.587+B(i,j)*0.114
对采集到的颜色图进行灰度化处理。
(2)对灰度图进行top-hat变换，可有效地去除高光区域；优选的，top-hat变换中kernel取值为20*1；
(3)继续对灰度图进行二值化处理形成二值图，其阈值的选取优选为利用大津法求取；
(4)继续对二值图进行开闭运算操作，可以快速地消除图像中的椒盐噪声，优选方法如下：
步骤1：对图像进行闭运算操作，椒盐噪声区域缩小；执行的过程是在输入图像上用一个合适的结构元素B进行先膨胀后腐蚀的操作。该步骤可填充物体内细小空间、连接邻近物体、在不明显改变物体面积时平滑其边界。对于结构元素B的选取，需依据摄像机采集的图像中车牌大小而定，经实验测试B取24x 2效果最好。
步骤2：对图像进行开运算操作，非椒盐噪声区域会被融合；开运算可消除图像中的细小物体、在纤细处分离物体、平滑较大物体的边界时不明显改变其面积。经实验测试结构元素B取2x8最优。
步骤3：对图像进行腐蚀操作，椒盐噪声区域会再次缩小；结构元素取24x2。
步骤4：遍历所有区域，将区域面积小于40的区域去除(面积小于40的区域定义为椒盐噪声区域)；具体做法为搜索二值图像中所有连通域，利用车牌面积及长宽比等先验知识将面积较小以及长宽比不满足的区域滤除，面积阈值一般定为40较合适。
(5)优选的，还包括区域融合的步骤：
步骤1：二值图中所有轮廓外接矩形放入集合A中；
步骤2：找到集合A中所有二值图的颜色图，遍历集合A，若目标颜色(蓝、黄等)比率大于设定值，这里的设定值取0.02为最佳，则放入候选矩形集合B中；
步骤3：计算集合B中所有矩形的几何中心，判断集合B中矩形的位置关系，如果两个矩形边界的距离在限定范围内，这里，设定范围取10-15为最佳，且两个矩形中心点连线与水平线或竖直线之间的角度在设定阈值内，则表示两个矩形在同一水平或竖直方向，此时，在两个矩形中画线，使其融合，这里设定阈值取-10度到+10度之间为最佳。
(6)优选的，还包括搜索矩形区域的步骤：
步骤1：将经区域融合的二值图对应的矩形放入集合S中；
步骤2：剔除掉面积小于设定值或长宽比例不在设定范围的矩形，将经上述剔除操作后剩余的车牌归入车牌候选集中。
(7)筛选车牌的步骤：
步骤5.1：计算候选车牌区域中目标颜色(蓝、黄等)的比率；
步骤5.2：找到目标颜色比率最大的区域，若目标颜色比率的最大值大于设定值0.03则进行步骤5.3(经统计，设定值0.03为最佳)，否则直接将其丢弃；
步骤5.3：找到目标车牌的二值化黑白图；
步骤5.4：取区域的1/2高度，从左往右进行黑白跳变扫描，若黑白跳变的次数未超过设定值(经统计，设定值为14时最佳)则丢弃。
本发明还涉及一种LPR车牌筛选识别的***，包括最优车牌采集模块和车牌定位模块；
所述的最优车牌采集模块用于获取理想车牌后送入车牌定位模块进行筛选和识别。
所述的最优车牌采集模块包括车牌过滤单元和车牌帧数提取单元，所述的车牌过滤单元用于采集车离摄像头适当距离的车牌图像，所述的车牌帧数提取单元用于抓拍并过滤伪车牌。
所述的车牌定位模块包括灰度化处理单元、top-hat变换单元、二值化处理单元、开闭运算单元、车牌筛选单元，所述的灰度化处理单元用于对采集到的颜色图进行灰度化处理形成灰度图后送入top-hat变换单元，所述的top-hat变换单元用于对图像进行除高光区域处理后送入二值化处理单元，所述二值化处理单元用于对灰度图进行二值化处理后送入车牌筛选单元，所述的车牌筛选单元用于筛除非车牌图像。
附图说明
图1为车牌识别***的大致流程示意图；
图2为本发明的方法流程图；
图3为本发明筛选车牌的方法流程图；
图4为本发明中区域融合的过程及效果图；
图5为车牌旋转示意图；
图6为较为标准的车牌示意图；
图7为厚边框车牌示意图；
图8为左边框精确切割示意图，
图9为获取车牌倾斜角度示意图。
具体实施方式
下面结合附图对本发明作进一步说明，一种LPR车牌识别方法：
1.获取理想车牌
由于***是直接从摄像头的视频流中直接提取图像，车辆进入识别区域时的状态具有连续性、随机性。基于视频流的车牌识别就必须解决如何才能从连续的帧图像中提取最优的车牌。所谓最优车牌是指车牌的大小、位置、倾斜程度等因素对***当前算法适应性最好。这里最优车牌的提取主要是通过对识别区域的设定以及获取同一辆车图像的张数。
1.1ROI设定
通过识别区域(这里统称感兴趣区域ROI)的界定，可以过滤掉车离摄像头较远或者较近的情形。当车辆远离摄像头时，提取的车牌区域太小，分辨率不足；当车辆距离摄像头很近时，又会导致车牌区域的断裂因此ROI的选定是过滤非理想车牌的首要条件。ROI的选定可以根据具体的摄像头的位置、参数及车辆最佳位置的分布来确定使用的参数。这里ROI区域设定为：
ROI＝RECT(0,height/5,width,height/2).
其中width，height分别为输入图像的宽和高。设定ROI还可以减少大量不必要的运算，我们知道，车牌识别***的实时性要求很高，假如我们在识别上所花费的时间超越我们能容忍的限度，那么即使正确率再好的***也不具有实用的价值。
实践中，摄像头拍摄的距离为10m，车辆距离摄像头3m-8m时拍摄的照片中车牌的大小，清晰度是比较好的，因此ROI＝(0，height/5，width，height/2)。
1.2提取车牌帧数
由于同一辆车在进入识别区域时被抓拍的次数很多，因此我们需要限制抓拍的张数，一般来说同一辆车在不同的时刻抓拍3张就足够了。这里假设为需抓拍N张，继而在这抓拍的N张图像中作为一组进行识别，最后的识别结果由N个结果共同评判(评判的结果可以是：同一组中字符不足7位的以7位为准，都为7位的以首次抓拍的为准)。提取指定的帧数需在程序中设定一个抓拍计数器，每次处理完一张则加1，直到条件不满足时中止抓拍。需要注意到是，此处是在较为理想的情况下。但在实际的部署中，尤其是雨天，地上雨水反射光斑较多形成伪车牌区域，此时容易导致计数器失效，这种状况导致的结果是车辆漏识。(即假若由雨水导致计数器错误超过了设定的抓拍张数，如果此时没有被清零，那么待下一辆车进来时将会被直接忽略导致漏识)。这里解决的办法是，设置一个定时器，在实际的定位中，车牌位置一般都为连续的，在帧间隔不大于1s的情况下计数器在短时间内就会从1递增到N。在雨天时由于伪车牌区域大都由穿着蓝色衣服的行人走过引起，因此计数的间隔是随机的，并且计数间隔时间必然要比正常情形下的时间长。因此这里的做法是：
Step1.抓拍前一帧类车牌获取当前时间pre_time＝GetLocalTime()；Step2.抓拍下一帧类车牌获取当前时间curr_time＝GetLocalTime()；
则两次抓拍的时间差DiffTime＝curr_time–pre_time.如果时间差DiffTime的数值大于3s那么可以认定这两次的抓拍并不是同一车辆，或者此时计数器工作是由于伪车牌区域引起的，那么此时可以将抓拍计数器清零处理。
2、车牌定位
车牌的定位主要包含两个步骤，其一是车牌的粗定位，其二是精细定位。在车牌定位当中粗定位和精细定位处理的目标不同。在粗定位中，主要的目标是在整个输入图像中正确的寻找到车牌的大致位置，可以包含车牌也可以只包含车牌。此处车牌实际位置不要求很精确，但定位的区域中必须包含车牌。而精细定位的目标是在粗定位中得到的车牌进行车牌的标准化(包括车牌的旋转校正、上下边缘、左右边缘的切割等)，最后的车牌应只包含车牌背景及字符。
2.1粗定位(LPRCoarseLocate)
粗定位的主要工作包括对图像进行必要的预处理，如灰度化、二值化、滤噪等，再者执行数学形态学操作，对二值图进行膨胀腐蚀，为后续的搜索矩形区域做准备。主要的流程为：
2.1.1灰度化(cvCvtColor)
摄像头在采集图像的时候，所采集的数据一般是基于RGB颜色空间的3-通道(channels)的彩色图像，在车牌的粗定位中，需要进行的操作往往是不需要在颜色图下处理的。处理彩色图像所需的计算量是十分巨大的(为单通道的3倍)，粗定位中使用颜色图不仅会导致计算量的猛增，而且还会影响定位的精度。在这里，我们需要将颜色图进行灰度化处理。基于RGB颜色空间转灰度图的公式如下：
Gray(i,j)＝R(i,j)*0.299+G(i,j)*0.587+B(i,j)*0.114
其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量。
2.1.2.Top-hat
Top-hat变换也称顶帽变换，Top-hat变换可以有效的去除高光区域。车辆在日光下或是夜间，由于都会光照干扰，太亮的区域不仅会影响二值化效果，而且还干扰车牌区域。对灰度图像进行Top-hat变换可以有效的去除高光的影响。需要注意的是Top-hat变换的核大小的选取，结合车牌的特点以及减少对车牌区域的损坏一般来说取kernel＝20x 1较为合适。
Top-hat变换的原理为：
运算的步骤为首先对原始图像进行开运算，进而使用原图减去。
2.1.3二值化(cvThreshold)
执行上一步骤的处理后，灰度空间的维度在0-255之间，然而这对我们这样变换之后仍不是我们要的结果，相反我们所需要的是只有两色的图(一般为黑、白两色)，目标用白色填充，背景为黑色的二值图。二值化是进行图像分割的重要步骤，原理如下：
二值化主要的难点在于阈值的选择。一般情形下，有两种阈值的选择，一是基于全局的固定阈值，二是自适应阈值法。前者的计算方法是获取灰度图的平均值，然后在平均值的基础之上上下浮动，具体浮动数值参照实际的环境以及二值化的效果而定。自适应算法采用大津法(OTSU)求阈值。OTSU算法可以说是自适应计算单阈值的简单高效方法。具体如下：
设灰度图像灰度级是L，则灰度范围为[0,L-1]，利用OTSU算法计算图像的最佳阈值为:
t＝Max[w0(t)*(u0(t)-u)^2+w1(t)*(u1(t)-u)^2]其中的变量说明：当分割的阈值为t时，w0为背景比例，u0为背景均值，w1为前景比例，u1为前景均值，u为整幅图像的均值。
使以上表达式值最大的t，即为分割图像的最佳阈值。
上述方法在OpenCv库中已有实现，只需传入CV_THRESH_OTSU参数即可。
2.1.4膨胀腐蚀(cvMorphologyEx)
使用数学形态学在图像中的运用在滤噪方面的效果很好。如果图像出现很多椒盐噪声，那么当以合适的结构元素进行腐蚀，可以快速的消除这种噪声。而膨胀操作在区域的融合效果显著。一般对含车牌的图像进行处理，寻找出车牌的大致位置，最为突出也是最为有效的做法就是使用膨胀腐蚀的操作。在高级的图像处理中，可以提升为开运算和闭运算。这两种运算其实质也是膨胀腐蚀两种操作的组合，只不过在Opencv提供的函数中，两种运算是经过优化过后的。粗定位车牌主要的步骤是：
1).执行24x 2的闭运算CV_MOP_CLOSE
2).执行2x 8的开运算CV_MOP_OPEN
3).执行24x 2的闭运算
本发明优化了膨胀腐蚀操作，在开运算之前先进行闭运算，这样，进行开运算时可以减少椒盐噪声的相互融合。
2.1.5区域融合(MergeProbability)
区域的融合不是必须的，该步骤的提出是对于那些具有特殊性的车牌。在某些情况下，由于形态学kernel的限制，并且车牌区域较大的时候，会出现字符之间的断裂情况。融合算法首先应当考虑到情形判定两个区域之间的联系，即是否在同一水平、或者在同一竖直方向上，其次是要考虑车牌本身的特征。如车牌的颜色分布、字符纹理等先验知识。同时，为了避免区域的错误融合，还应做一些区域距离上的限制。比如设定阈值，距离在该范围之内的满足条件。这里给出区域融合的算法步骤：
Step 1.获取所有轮廓外接矩形放入集合A中。
Step 2.遍历A，并考察矩形颜色的分布，若目标颜色(蓝、黄)比率较大，则放入候选矩形集合B中。
Step 3.考察集合B中矩形位置关系，若在同一水平(同一竖直)方向，并且满足限定的距离时，在两个区域中画线，使其融合。对于区域融合，主要的难点在于如何合理的判定区域的正确性。由于我们所取得的区域并不一定只包含有车牌区域，还有可能与噪声粘连在一起，这样会导致区域过大过宽带情形，区域位置变得不太明显。这里算法所取得方法是，计算区域的几何中心，利用几何中心评判区域的位置。可靠性就会更高点。
2.1.6搜索矩形区域
在我国，标准的车牌是具有严格的尺寸和比例的(440mm x 140mm)，因此矩形作为车牌的一个重要的先验知识在车牌的定位中有重要作用。对包含车牌图像进行形态学的膨胀腐蚀之后，图像中留下的是许多大小形状各异的区块(block)，此时需要对整个图像的所有区块进行搜索放入一个集合中，这里假设为S。在S中我们需要进一步的对那些不符合车牌特征的区块剔除掉。筛选的条件为：
1.面积太小，如小于100；
2.长宽比例不符合，如取：
将满足上述条件的归入车牌候选集中(此处也为了日后支持多车牌识别的扩展)。要正确的将车牌从候选集筛选出，则需更精确的候选区域筛选。
2.1.7筛选候选区域
要正确的筛选车牌，此时就需更加细致的考虑车牌本身的其他特征，因为在候选集中的类区域与车牌的相似度是很高的。在众多的文献中提到，车牌较为显著的特征有：颜色、纹理以及比例。结合这三个特征在候选集中进行筛选，具体的做法是：
1).统计车牌背景颜色(蓝黄白黑，针对不同的车型)的比例及分布，若该比例占的比重很大，则进行步骤二，否则直接将其丢弃。
2).取区域的1/2高度，从左往右进行黑白跳变扫描。所谓的黑白跳变是指在二值图中，像素由白变黑或者由黑到白的变化次数。标准的车牌黑白跳变的次数>＝14。
2.2图像的形变及校正
在实际的识别场景中，由于摄像头的部署或者行驶的角度导致的车牌的倾斜。车牌的倾斜如不能很好的校正，那么对后部分的区域分割影响较大，如上下边缘切割导致字符不完整、字符的错切。对车牌图像校正首先的前提是需要得到倾斜的角度，其次是车牌的旋转。
2.2.1倾斜角计算(FindAngle)
倾斜角的计算对于图像的旋转校正是一个难点，计算的方法一般有两种，一是霍夫变换(Hough Transform)检测直线获得倾斜角；一是拉东变换(Radon Transform)。
Hough变换的基本原理：其基本原理在于利用点与线的对偶性，将原始图像空间给定的曲线通过曲线表达形式变为参数空间的一个点。这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题。也即把检测整体特性转化为检测局部特性。比如可以将Hough变换推广为检测直线、椭圆、圆、弧线等。
Hough变换的基本思想：在原始图像坐标系下的一个点对应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点，然后，原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有没有聚集点，这样的聚集点就对应了原始坐标系下的直线。
Radon变换的基本原理：一个平面内沿不同的直线(直线与原点的距离为d，方向角为alfa)对f(x，y)做线积分，得到的像F(d,alfa)就是函数f的Radon变换。也就是说，平面(d，alfa)的每个点的像函数值对应了原始函数的某个线积分值。
Radon变换的基本思想：Radon变换可以理解为图像在ρθ空间的投影,ρθ空间的每一点对应一条直线，而Radon变换是图像像素点在每一条直线上的积分。因此，图像中高灰度值的直线会在ρθ空间形成亮点，而低灰度值的线段在ρθ空间形成暗点。对直线的检测转化为在变换区域对亮点、暗点的检测。
注：此处的旋转角度的计算只限定于水平方向的倾斜的情况，竖直方向的倾斜角度暂未考虑。
具体方法如下:
步骤1：对原始车牌区域进行灰度化操作；
为了能够保留车牌的更为丰富的信息，本发明在计算车牌倾斜角α时所输入的图像为在原始采集图像上截取的子图，为了避免彩色图像带来的冗余计算，需将车牌图像进行灰度化处理。
步骤2：对灰度图进行平滑操作；
在通常的情况下，由于图像噪声往往以高斯分布的形式存在，噪声信息主要表现在图像中的高频部分。构造传统的高斯滤波器虽然可以滤除噪声，但是在某种程度上也会抑制边缘信息。基于本发明后续步骤对边缘信息的依赖，同时又能最大程度上降低噪声的干扰，本发明构造一种基于中值滤波器。该滤波器可以在滤噪的同时，尽可能的减少边缘信息的损失。
步骤3：对灰度图进行灰度拉伸；
灰度拉伸的目的是提高图像的对比度，执行一个T变换，将原始图像的像素范围在[p0,pk]的亮度p变换到一个新范围[q0,qk]内的亮度q。变换关系如下：
q(i，j)＝T(p(i，j))
步骤4：对灰度图进行sobel运算；
Sobel算子可以根据需要对边缘信息进行检测，本发明利用该特性构造一个水平方向Sobel核,对图像执行该运算，可以破坏竖直方向的边缘信息，使其分解为孤立的点，而只保留水平方向信息。
步骤5：将灰度图转化为二值图；
将步骤4中的sobel输出图像进行二值化处理。接着利用一种去除指定类型噪声的方法将图像中孤立的点滤除，此时图像中只包含有水平方向的线段。
步骤6：使用hough变换检测二值图中的直线；
在平面直角坐标系中一个点(x,y)的Hough变换的极坐标方程为：
λ＝x*cosθ+y*sinθ
经过该变换后，点(x,y)在Hough变换空间形成随θ变化的一条曲线，这样同一条直线上的点经过Hough变换空间形成的所有曲线将有一个共同的交点。算法设定一个累加数组A(θ,λ)，最终求取最大A(θ,λ)对应的θ，λ作为待求直线极坐标方程参数。
步骤7：根据直线斜率求得α角；
步骤6中所求得参数θ即为车牌倾斜角α。
2.2.2车牌旋转(ImageRotate)
有了旋转的角度，那么就可以进行旋转了。要对图像进行旋转就需先构造其旋转矩阵。
然后将旋转矩阵作为参数输入OpenCv库中的cvWarpAffine进行仿射变换。注：在进行图像变换的时候可以适当的扩展区域的上下边框，防止旋转后的车牌超出区域。
2.3精确定位(LPRPreciseLocate)
粗定位中只是初步的找到车牌的大致区域，此时的车牌仍旧包含有其他的噪声。所谓的精确定位是指定位的车牌中只包含有车牌底色和字符，其他的诸如边框、铆钉等都需滤除。精确定位在整个识别的流程之中是重中之重的，它不仅承自粗定位的结果，而且还关系着后期字符的分割和识别的效果。
精确定位主要有两个主题：
1)如何精确切除上下边框？
2)如何精确切除左右边框？
当然，在实际的操作中还涉及到很多的细节上的问题，如厚边框车牌等。一个良好的方法应该是能够胜任上述或者更多的适应条件。这里精确定位分为两个场景：
1).针对普通的车牌的精确分割：
普通车牌是指在图像清晰的前提下，车牌背景与字符有良好的对比度、车牌颜色标准、车牌边框内边缘与字符的间距大于5mm。如图7所示，对于此类的车牌处理的方法为：
Step 1.分析背景色的颜色分布。由于车牌的背景是已知的某一种颜色(这里假设为蓝底车牌)，对车牌的底色分布进行分析可以大致的确定车牌的边框位置(不包含边框)，这是因为对颜色检测，车牌的边框不可能是蓝色的。即对车牌从两个方向进行扫描，即从上往下，从下往上；当扫描到底色时停止扫描并进行切除边框的操作。
Step 2.上下边框精确切割。对颜色分布的分析，可以将上下边框去除，但上边框可能仍存在铆钉的影响，我们需要做的是只保留字符外接的最小矩形。具体的做法是基于一种扫描线去除上下边框的方法。
算法描述：a).截取车牌0.3宽度到0.7的宽度，从左至右，从车牌1/2高度到上边界进行扫描并统计像素跳变的次数nhop。假设扫描至第i行，有nhop＝0，记录当前的位置top，中止此次扫描。b).同样，从左至右，从车牌1/2高度到下边界进行扫描并统计像素跳变的次数。假设扫描至第j行，有nhop＝0，记录当前的位置bottom。则车牌的上下边界为[top,bottom]所在的范围。
Step 3.左右边框的精确切割。根据车牌的先验知识，每个字符之间都有一定宽度的间隔，上述的方法不再适应竖直方向的扫描。基于竖直方向的边框去除，一般基于投影的方式界定字符的边界。较标准的车牌并不需做太多的处理。
2).针对厚边框车牌的精确分割：厚边框车牌的特点是字符和最小外接矩形与边框的内边缘之间的距离很小，甚至粘连在一起。此类车牌给边框的去除带来了困难，特别是在车牌倾斜的情况下更难以去除。
针对此类车牌，基本做法可以依据情形1，但是在上下边框处理时，最好在最上和最下边缘多抹去2pixel的宽度，防止字符与边框之间的粘连。对于厚边框的判断通过从上往下及从下往上扫描时，找不到边框与字符的分界线则判定为厚边框。对于左右边框的情形，由于两边的边框情形不一致，通常采用不同的方法。
a).左边框：如图8所示对车牌进行竖直方向的直方图投影，然后在从左往右(0～0.3width之间)对直方图进行扫描，跟踪每一个柱状的宽度，若小于5pixels宽度，那么就可以认为该柱状是由边框产生的，此时将左边缘缩进。
b).右边框：由于右边缘的字符有可能为“1”，因此不能使用与去除左边框的方法。对于右边框可以在字符分割的时候剔除掉。
Claims (2)
1.一种LPR车牌筛选识别的方法，其特征在于，包括最优车牌采集的步骤和车牌定位的步骤；
所述的最优车牌采集的步骤包括车牌过滤的步骤及提取车牌帧数的步骤；
车牌过滤的步骤：通过ROI的界定，过滤掉车离摄像头较远或较近的情形；
提取车牌帧数的步骤：由抓拍计数器控制，对进入识别区域的车牌连续抓拍N张图像，超过N张中止抓拍；前一进入识别区域的帧类车牌与下一进入识别区域的帧类车牌抓拍间隔超过M秒，抓拍计数器清零；
所述的车牌定位的步骤包括：
步骤一：利用公式
Gray(i,j)＝R(i,j)*0.299+G(i,j)*0.587+B(i,j)*0.114
对采集到的颜色图进行灰度化处理形成灰度图；
步骤二：对灰度图进行top-hat变换；
步骤三：继续对灰度图进行二值化处理形成二值图；
步骤四：继续对二值图进行开闭运算操作；
步骤五：筛选车牌的步骤：
步骤5.1：计算候选车牌区域中目标颜色的比率；
步骤5.2：若目标车牌背景颜色比例大于设定值则进行步骤5.3，否则直接将其丢弃；
步骤5.3：找到目标车牌的二值化黑白图；
步骤5.4：取区域的1/2高度，从左往右进行黑白跳变扫描，若黑白跳变的次数未超过设定值则丢弃；
所述步骤二的top-hat变换中kernel取值为20*1；
所述步骤三采用大津法求取阈值；
所述步骤四中开闭运算操作包括如下步骤：
步骤4.1：对图像进行开闭运算，缩小椒盐噪声区域；
步骤4.2：对图像进行开运算操作，融合非椒盐噪声区域；
步骤4.3：对图像进行腐蚀操作，再次缩小椒盐噪声区域；
步骤4.4：遍历所有区域，将区域面积小于设定值的区域去除；
所述的步骤四对车牌进行开闭运算处理后还设有区域融合的步骤及搜索矩形区域的步骤：
所述的区域融合的步骤包括：
步骤1：二值图中所有轮廓外接矩形放入集合A中；
步骤2：找到集合A中所有二值图的颜色图，遍历集合A，若目标颜色比率大于设定值，则放入候选矩形集合B中；
步骤3：计算集合B中所有矩形的几何中心，判断集合B中矩形的位置关系，如果两个矩形边界的距离在限定范围内且与水平线或竖直线之间的角度在设定阈值内，则在两个矩形中画线，使其融合；
搜索矩形区域的步骤包括：
步骤1：将经区域融合的二值图中对应的矩形放入集合S中；
步骤2：剔除掉面积小于设定值或长宽比例不在设定范围的矩形，将经上述剔除操作后剩余的车牌归入车牌候选集中。
2.一种LPR车牌筛选识别的***，其特征在于，包括最优车牌采集模块和车牌定位模块；
所述的最优车牌采集模块用于获取理想车牌后送入车牌定位模块进行筛选和识别；
所述的最优车牌采集模块包括车牌过滤单元和车牌帧数提取单元，所述的车牌过滤单元用于采集车离摄像头适当距离的车牌图像，所述的车牌帧数提取单元用于抓拍并过滤伪车牌；
所述的车牌定位模块包括灰度化处理单元、top-hat变换单元、二值化处理单元、开闭运算单元、车牌筛选单元，所述的灰度化处理单元用于对采集到的颜色图进行灰度化处理形成灰度图后送入top-hat变换单元，所述的top-hat变换单元用于对图像进行除高光区域处理后送入二值化处理单元，所述二值化处理单元用于对灰度图进行二值化处理后送入车牌筛选单元，所述的车牌筛选单元用于筛除非车牌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410306452.2A CN104036262B (zh) | 2014-06-30 | 2014-06-30 | 一种lpr车牌筛选识别的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410306452.2A CN104036262B (zh) | 2014-06-30 | 2014-06-30 | 一种lpr车牌筛选识别的方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104036262A CN104036262A (zh) | 2014-09-10 |
| CN104036262B true CN104036262B (zh) | 2017-09-19 |
Family
ID=51467028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410306452.2A Expired - Fee Related CN104036262B (zh) | 2014-06-30 | 2014-06-30 | 一种lpr车牌筛选识别的方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104036262B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778450B (zh) * | 2015-03-30 | 2019-04-02 | 深圳市道通科技股份有限公司 | 一种车辆识别码图像的预处理方法及装置 |
| CN105005759B (zh) * | 2015-05-04 | 2018-10-02 | 南京理工大学 | 多特征融合的卡口图像前车窗的定位与提取方法 |
| CN106529535A (zh) * | 2016-11-10 | 2017-03-22 | 南京富士通南大软件技术有限公司 | 一种基于小波变换在复杂光照环境中车牌定位方法 |
| CN106910195B (zh) * | 2017-01-22 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种网页页面布局监测方法及装置 |
| CN107292898B (zh) * | 2017-05-04 | 2019-09-10 | 浙江工业大学 | 一种基于hsv的车牌阴影检测和去除方法 |
| CN107479061A (zh) * | 2017-08-25 | 2017-12-15 | 重庆交通大学 | 一种基于图像识别与雷达测距的安全预警方法及*** |
| CN108805007A (zh) * | 2018-04-18 | 2018-11-13 | 浙江百世技术有限公司 | 基于图像识别的班线空仓状态判断方法 |
| CN108665712A (zh) * | 2018-07-02 | 2018-10-16 | 大连海事大学 | 一种车辆越线违章行为监测方法及*** |
| CN109460044A (zh) * | 2019-01-10 | 2019-03-12 | 轻客小觅智能科技（北京）有限公司 | 一种基于二维码的机器人归位方法、装置及机器人 |
| CN109858484B (zh) * | 2019-01-22 | 2022-10-14 | 电子科技大学 | 一种基于偏斜评价的多类别变换车牌校正方法 |
| CN109753963A (zh) * | 2019-02-22 | 2019-05-14 | 山东大学 | 一种基于线结构光的轮胎标识自动识别***及其工作方法 |
| CN110503094A (zh) * | 2019-08-14 | 2019-11-26 | 中国电子科技集团公司第二十八研究所 | 职业证件照姓名牌识别方法、装置 |
| CN111783790A (zh) * | 2020-07-14 | 2020-10-16 | 成都四方伟业软件股份有限公司 | 一种手绘图预处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183425A (zh) * | 2007-12-20 | 2008-05-21 | 四川川大智胜软件股份有限公司 | 粤港两地车牌定位方法 |
| CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN101739566A (zh) * | 2009-12-04 | 2010-06-16 | 重庆大学 | 基于自适应投影模板法的车牌定位方法 |
| CN103065138A (zh) * | 2012-12-06 | 2013-04-24 | 新疆公众信息产业股份有限公司 | 一种机动车牌号的识别方法 |
| CN103824066A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 一种基于视频流的车牌识别方法 |
-
2014
- 2014-06-30 CN CN201410306452.2A patent/CN104036262B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183425A (zh) * | 2007-12-20 | 2008-05-21 | 四川川大智胜软件股份有限公司 | 粤港两地车牌定位方法 |
| CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN101739566A (zh) * | 2009-12-04 | 2010-06-16 | 重庆大学 | 基于自适应投影模板法的车牌定位方法 |
| CN103065138A (zh) * | 2012-12-06 | 2013-04-24 | 新疆公众信息产业股份有限公司 | 一种机动车牌号的识别方法 |
| CN103824066A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 一种基于视频流的车牌识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104036262A (zh) | 2014-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104036262B (zh) | 一种lpr车牌筛选识别的方法和*** | |
| CN103077384B (zh) | 一种车标定位识别的方法与*** | |
| CN105893949B (zh) | 一种复杂路况场景下的车道线检测方法 | |
| CN103116751B (zh) | 一种车牌字符自动识别方法 | |
| CN103235938B (zh) | 车牌检测与识别的方法及*** | |
| Nienaber et al. | Detecting potholes using simple image processing techniques and real-world footage | |
| CN102708356B (zh) | 一种基于复杂背景下的车牌自动定位和识别方法 | |
| CN109784344A (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
| CN105488492B (zh) | 一种彩色图像预处理方法、道路识别方法及相关装置 | |
| CN106650553A (zh) | 车牌识别方法及*** | |
| CN105718870A (zh) | 自动驾驶中基于前向摄像头的道路标线提取方法 | |
| CN105488454A (zh) | 基于单目视觉的前方车辆检测与测距 | |
| CN102314599A (zh) | 一种车道识别偏离检测方法 | |
| CN103324935B (zh) | 一种图像中对车辆进行定位与区域分割的方法与*** | |
| CN102419820A (zh) | 一种快速检测视频与图像中汽车车标的方法 | |
| CN101833859A (zh) | 基于虚拟线圈的自触发车牌识别方法 | |
| CN104778444A (zh) | 道路场景下车辆图像的表观特征分析方法 | |
| CN102842037A (zh) | 一种基于多特征融合的车辆阴影消除方法 | |
| CN109726717A (zh) | 一种车辆综合信息检测*** | |
| CN106887004A (zh) | 一种基于块匹配的车道线检测方法 | |
| Youjin et al. | A robust lane detection method based on vanishing point estimation | |
| CN102902957A (zh) | 一种基于视频流的自动车牌识别方法 | |
| CN105117726A (zh) | 基于多特征区域累积的车牌定位方法 | |
| CN104112139A (zh) | 一种lpr车牌精确定位的方法和*** | |
| CN110334625A (zh) | 一种面向自动泊车的停车位视觉识别***及其识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170919 |