发明内容
本发明的目的在于,克服现有车牌定位技术所存在的缺陷,而提供一种新的车牌定位方法,其可以在具有复杂场景的全景图中准确地定位车牌,适用范围广,抗干扰性较好。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。
本发明提供一种车牌定位方法,其包括步骤S1:对采集的全景图进行颜色检测,并提取所述全景图中的指定颜色的区域以作为车牌候选区域;步骤S2:提取所述车牌候选区域的边缘特征,利用所述边缘特征分割所述车牌候选区域,以生成车牌候选区域集;步骤S3:对所述车牌候选区域集中的车牌候选区域进行倾斜角度矫正操作;以及步骤S4:对所述车牌候选区域集的每一个车牌候选区域进行验证以剔除非车牌区域,从而筛选出车牌区域。
优选地,所述步骤S2和步骤S3之间,还进一步包括步骤S2a:对所述车牌候选区域集中的所述车牌候选区域依据预定的合并条件,合并满足所述合并条件的车牌候选区域,并将合并后的车牌候选区域作为新的车牌候选区域。
优选地,所述步骤S1包括步骤S11:将所述全景图由三基色格式图像转换成颜色空间格式图像;步骤S12:分别建立所述指定颜色的车牌候选区域的掩模二值图像;以及步骤S13:对所述掩模二值图像进行形态学闭运算操作以联通同一车牌的各个区域,并采取区域生长法提取掩模二值图像中的联通区域,以作为所述车牌候选区域。
优选地,所述指定颜色包括以下颜色中的至少一种:蓝色、黄色、白色。
优选地,所述颜色空间格式图像为HSV格式图像或者HSL格式图像。
优选地,所述步骤S2包括步骤S21:对所述车牌候选区域进行滤波处理以生成所述车牌候选区域的水平边缘图像;步骤S22:对所述水平边缘图像进行二值化处理,以生成对应的二值图像;步骤S23:对所述二值图像进行形态学闭操作,以联通相近的区域;以及步骤S24:采用区域生长法提取所述二值图像中的联通域,并生成所述车牌候选区域集。
优选地,所述步骤S22是动态地选取阈值以对所述水平边缘图像进行二值化处理。
优选地,所述步骤S22是以Otsu方法动态地选取阈值,以对所述水平边缘图像进行二值化处理。
优选地,所述步骤S23是将所述全景图分成多个区域,其中不同的区域分别采用不同的闭操作参数以分别进行形态学闭操作。
优选地,所述步骤S3包括步骤S31:检测车牌的倾斜角度;以及步骤S32:以所述车牌的倾斜角度旋转所述车牌候选区域,并在旋转后的三基色格式图像,并在旋转后的图像中重新确定车牌候选区域。
优选地,所述步骤S4包括以下步骤中的至少一项:步骤S41:对所述车牌候选区域集的每一个车牌候选区域进行形状验证,以剔除不符合预定车牌标准的车牌候选区域;步骤S42:对所述车牌候选区域集的每一个车牌候选区域进行边缘纹理验证,判定所述车牌候选区域是否是车牌区域,以剔除非车牌区域;以及步骤S43:对所述车牌候选集的每一个车牌候选区域进行分类器验证,提取所述车牌候选区域的特征并利用分类器进行分类识别。
优选地,所述步骤S41中预先设定车牌形状过滤标准,利用所述车牌形状过滤标准对所述车牌候选区域进行形状验证。
优选地,所述车牌形状过滤标准包括所述全景图中各个区域的车牌的最小尺寸和最大尺寸以及车牌宽高比的下限和上限。
优选地,所述步骤S42中的边缘纹理验证包括步骤S421:生成所述车牌候选区域的对应的二值图像;步骤S422:计算所述二值图像的每行中0-1的跳变点个数;步骤S423:判断每一行跳变点个数是否大于第一预设阈值,如是,则判定该行为有效行;步骤S424:判断所述二值图像中的有效行的数量是否大于第二预设阈值,如非,则判定该车牌候选区域为非车牌区域。
优选地,所述步骤43中的所述特征为局部二值化特征或者梯度直方图特征,而所述分类器为支持向量机或者AdaBoost分类器。
本发明所述的车牌定位方法,可以在具有复杂场景的全景图中准确地定位出车牌,其应用范围较广,抗干扰性较好,且其会对挑选出来的车牌候选区域进行倾斜角度矫正操作,并充分考虑了车牌尺寸的变化,因此本发明的车牌定位方法更加的准确,定位效果更加优秀。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的车牌定位方法其具体实施方式、方法、步骤、结构、特征及其功效,详细说明如下。
有关本发明的前述及其他技术内容、特点及功效,在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明,当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解,然而所附图式仅是提供参考与说明之用,并非用来对本发明加以限制。
图1为本发明所揭示的车牌定位方法的流程示意图,其中本发明所述的车牌定位方法可适用各类复杂场合的全景图中,例如具有复杂背景的街景全景图中。如图1所示,本发明的车牌定位方法包括:
步骤S1:对采集的全景图进行颜色检测,以提取所述全景图中的指定颜色的区域以作为车牌候选区域;
具体地,图2为步骤S1的具体的流程示意图。如图2所示,步骤S1包括:
步骤S11:将采集的全景图由三基色格式图像转换成颜色空间格式图像;
由各类监控装置所采集到的全景图一般为R、G、B三基色格式图像,在此,需要将所述三基色格式图像转换成对应的颜色空间格式图像,例如HSV格式图像,其包括色相(H)、饱和度(S)和明度(V)。其中,色相和饱和度对应于图片的色彩信息,而明度对应于图片的亮度信息。在本发明中,将采集的全景图由三基色格式图像转换成HSV格式图像,其可以减少光照对于车牌的影响。
三基色格式图像可利用下述公式而转换成HSV格式图像,
V=max
其中,R、G、B分别是三基色格式的全景图中的红、绿、蓝分量值,其取值范围为[0,1];而max为R、G、B中的最大值,而min为R、G、B中的最小值;H、S、V分别为HSV格式图像中的色相、饱和度、亮度分量值,其中色相H的取值范围为[0,360°),而饱和度S和亮度的取值范围分别为[0,1]。
虽然,上述实施例是将R、G、B三基色格式图像转换成HSV格式图像,但是,本领域技术人员可以理解的是,其也可以转换成其他格式的颜色空间格式图像,例如HSL格式图像。
步骤S12:分别建立指定颜色的车牌候选区域的掩模二值图像。
在本发明中,指定颜色为车牌的常用颜色,其包括蓝色、黄色和白色,则在步骤S12中会分别建立蓝色、黄色和白色的车牌候选区域的掩模二值图像BMask、YMask以及WMask。
具体地,若H(x,y)∈[HBmin,HBmax]、S(x,y)∈[SBmin,SBmax]、V(x,y)∈[VBmin,VBmax],则像素(x,y)被判定为蓝色像素,BMask(x,y)的值置为1;否则BMask(x,y)的值置为0;
若H(x,y)∈[HYmin,HYmax]、S(x,y)∈[SYmin,SYmax]、V(x,y)∈[VYmin,VYmax],则像素(x,y)被判定为黄色像素,YMask(x,y)的值置为1;否则YMask(x,y)的值置为0。
若S(x,y)≤SWmax、V(x,y)≥VYmin,那么像素(x,y)被判定为白色像素,WMask(x,y)的值置为1;否则WMask(x,y)的值置为1。
其中,H(x,y)、S(x,y)、V(x,y)分别是像素(x,y)色相、饱和度和亮度分量值。HBmin和HBmax、SBmin和SBmax、VBmin和VBmax分别是蓝色车牌色相、饱和度和亮度的下限和上限值。相对应的,HYmin和HYmax、SYmin和SYmax、VYmin和VYmax分别是黄色车牌色相、饱和度和亮度的下限和上限值;HWmin和HWmax、SWmin和SWmax、VWmin和VWmax分别是白色车牌色相、饱和度和亮度的下限和上限值。
步骤S13:对掩模二值图像BMask、YMask、WMask进行形态学闭运算操作以联通同一车牌的各个区域,并采取区域生长法提取二值图像BMask、YMask、WMask中的联通区域ROI,以作为车牌候选区域。
步骤S2:提取车牌候选区域的边缘特征,利用边缘特征分割所述车牌候选区域,以生成车牌候选区域集;
由于车牌区域含有丰富的边缘纹理,而车身区域中的纹理较少,因此可对步骤S1所生成的车牌候选区域ROI提取边缘特征,并利用边缘特征进一步分割步骤S1所生成的车牌候选区域ROI,从而利用像素的相对差值可以有效地减少光照对于车牌的影响。
具体地,图3为步骤S2的具体流程示意图。如图3所示,步骤S2包括:
步骤S21:对车牌候选区域ROI进行滤波处理,以生成车牌候选区域的水平边缘图像Edge;
其中,水平边缘图像Edge可利用下述公式而生成,
其中,ROI为步骤S1所生成的任一车牌候选区域的灰度图像,而w为ROI的宽度。此外,本领域技术人员可以理解的是,水平边缘图像也可以采取其他的方式而生成,例如sobel算法或者canny算子等等。
步骤S22:对水平边缘图像Edge进行二值化处理,以生成对应的二值图像EdgeBW。
其中,由于在自然环境中,车牌区域的对比度各不相同,则难以找到一个普遍适应的阈值来二值化水平边缘图像Edge,因此在本发明中,步骤S22是动态地选取第一阈值以对水平边缘图像Edge进行二值化处理,例如采用Otsu方法来动态地选取第一阈值。
步骤S23:对二值图像EdgeBW进行形态学闭操作,以联通相近的区域。
由于车牌区域在全景图中大小不一,因此在本发明中,可以将全景图分成多个区域,而对于不同的区域可以采用不同的闭操作参数,以分别对其进行形态学闭操作。因此,本发明可以在车牌候选区域进行联通的同时,避免车牌区域与车身区域相互粘连。
步骤S24:采用区域生长法提取二值图像EdgeBW中的联通域,并生成车牌候选区域集ROIs。
在本发明中,步骤S2与步骤S3之间可以进一步包括以下步骤:
步骤S2a:对车牌候选区域集ROIs中的车牌候选区域ROI依据预定的合并条件,合并满足预定合并条件的车牌候选区域ROI,并将合并后的车牌候选区域作为新的车牌候选区域。
由于中国的单排标准车牌中,前两个字符与后五个字符之间的间距比较大,因此车牌区域极易被分成两个部分,因此在本发明中,采用步骤S2a来合并车牌候选区域ROI以避免出现上述现象。而对于不存在此种情况的车牌(例如非中国车牌),则此步骤2a可以省去。
具体地,任取车牌候选区域集ROIs中的任意两个车牌候选区域ROI1与ROI2,如果ROI1和ROI2满足预定的合并条件:
min(rgt1,rgt2)+thresh1≥max(lft1,lft2)
min(btm1,btm2)+thresh2≥max(top1,top2)
则可以认定车牌候选区域ROI1和ROI2是属于同一车牌的两个候选区域,且将车牌候选区域ROI1和ROI2合并为一个新的车牌候选区域ROI,且ROI=ROI1∪ROI2,在车牌候选区域集ROIs中删除原有的车牌候选区域ROI1和ROI2,并添加新的车牌候选区域ROI。
其中,lft、rgt、top、btm分别代表车牌候选区域的左边缘、右边缘、上边缘和下边缘;而threash1、threash2分别代表两个阈值,其可以根据车牌处于全景图中的不同区域而相应地进行改变。
步骤S3:对车牌候选区域集中的车牌候选区域进行倾斜角度矫正操作;
在全景图的侧视区域中,车牌通常并不是处于水平方向,而是存在一定的倾斜角度,因此,在本发明中需要对倾斜的车牌进行矫正,使其处于水平放置的状态。图4为步骤S3的具体流程示意图。如图4所示,步骤S4包括:
步骤S31:检测车牌的倾斜角度θ;
其中,步骤S31可以利用randon变化方法来检测车牌的倾斜角度θ。具体地,对于车牌候选区域集ROIs中的每一个车牌候选区域ROI,以旋转角度θi旋转其R、G、B三基色格式图像,其中θi∈[θmin,θmax]。然后利用步骤S21-S23中的方法,生成对应的水平边缘图像Edge和二值图像EdgeBW,计算二值图像EdgeBW的水平投影的标准差Stddev,然后取标准差最大的旋转角度以作为车牌的倾斜角度θ。
其中,θmin和θmax分别为车牌旋转角度θi的下限和上限,在本发明中,可以限定如果车牌候选区域ROI按照顺时针旋转,则旋转角度θi为正值;对应地,如果车牌候选区域ROI按照逆时针旋转,则旋转角度θi为负值。
步骤S32:以车牌的倾斜角度θ旋转车牌候选区域ROI的R、G、B三基色格式图像,然后在旋转后的图像中重新确定车牌候选区域。
具体地,在利用步骤S31获得车牌的倾斜角度θ后,以倾斜角度θ来旋转此车牌候选区域ROI的R、G、B三基色格式图像,然后利用步骤S21-S23中的方法,生成旋转后对应的水平边缘图像Edge和二值图像EdgeBW,取其中的最大的联通区域ROI'来代替原有的车牌候选区域ROI,以作为车牌候选区域集ROIs中的新的车牌候选区域ROI。
步骤S4:对车牌候选区域集ROIs中的每一个车牌候选区域ROI进行验证以剔除非车牌区域,从而筛选出车牌区域。
在步骤S4中,其可以包括多个验证步骤,例如形状验证、边缘纹理验证、分类器验证等等。具体地,图5为步骤S4的具体流程示意图,其中步骤S4包括以下步骤中的至少一项:
步骤S41:对所述车牌候选区域集的每一个车牌候选区域进行形状验证,以剔除不符合预定车牌标准的车牌候选区域;
其中,在步骤S41中,可以预先设定车牌形状过滤标准,例如全景图中各个区域的车牌的最小尺寸和最大尺寸,以及车牌宽高比的下限和上限,以预先设定的车牌形状过滤标准来对车牌候选区域ROI进行形状验证,以剔除形状不符合车牌的车牌候选区域ROI。
步骤S42:对所述车牌候选区域集的每一个车牌候选区域进行边缘纹理验证,判定所述车牌候选区域是否是车牌区域,以剔除非车牌区域;
具体地,图6为步骤S42的具体流程示意图。如图6所示,步骤S42包括:
步骤S421:生成车牌候选区域ROI的对应的二值图像EdgeBW。
具体地,对于车牌候选区域集ROIs中的每一个车牌候选区域ROI,可以利用步骤S21-S23所述的方法,生成车牌候选区域ROI的对应的二值图像EdgeBW。
步骤S422:计算二值图像的每行中0-1的跳变点个数。
在本发明中,可以利用下述公式来计算每一行,例如第i行0-1的跳变点个数,
步骤S423:判断每一行的跳变点个数是否大于预设阈值threash3,如是,则判定该行为有效行。
例如,若第i行的调变点个数大于预设阈值threash3,则可以判定第i行为有效行。
步骤S424:判断二值图像中的有效行的数量是否大于预设阈值threash4,如果不是,则判定此车牌候选区域为非车牌区域。
例如,如果任一车牌候选区域ROI对应的二值图像中的有效行的数量小于预设阈值threash4,则可以判定此车牌候选区域ROI为非车牌区域,从车牌候选区域集ROIs中删除。
步骤S43:对所述车牌候选集的每一个车牌候选区域进行分类器验证,提取所述车牌候选区域的特征并利用分类器进行分类识别。
经过上述步骤41和步骤42后,大部分非车牌区域已经从车牌候选区域集ROIs中被剔除,但是还有一部分例如广告牌、树荫等在车身上的倒影区域,其很难经过上述两个步骤去除。因此在本发明中,其进一步包括分类器验证,提取车牌候选区域ROI中的一些特征,并利用分类器来进行分类识别,从而过滤掉广告牌和树荫等在车身上倒影区域。
由于车牌区域有很规则的纹理信息,因此在本发明中,可采用对于旋转缩放不敏感的局部纹理特征,例如局部二值化(LBP)特征或者梯度直方图(HOG)特征等,分类器可以选用支持向量机(SVM),Adaboost等。利用手工分好的车牌和非车牌样本集进行训练,并利用训练好的模型对车牌候选区域集ROIs中各个区域进行分类,剔除分类器认为的非车牌区域,最终车牌候选区域集ROIs中包含的区域即为街景全景图中车牌区域。
综上所述,本发明的车牌定位方法可以在具有复杂背景的全景图中准确地定位出车牌,其应用范围较广,抗干扰性较好,且其会对挑选出来的车牌候选区域进行倾斜角度矫正操作,并充分地考虑了车牌尺寸的变化,因此本发明的车牌定位方法更加的准确,定位效果更加优秀。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。