CN107273896A - 一种基于图像识别的车牌检测识别方法 - Google Patents

一种基于图像识别的车牌检测识别方法 Download PDF

Info

Publication number
CN107273896A
CN107273896A CN201710452538.XA CN201710452538A CN107273896A CN 107273896 A CN107273896 A CN 107273896A CN 201710452538 A CN201710452538 A CN 201710452538A CN 107273896 A CN107273896 A CN 107273896A
Authority
CN
China
Prior art keywords
image
character
car plate
detection
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710452538.XA
Other languages
English (en)
Inventor
姚建伟
夏雪松
郑伟伟
缪国华
孔维杰
龙华
于丽军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Nanzi Intelligent Polytron Technologies Inc
Original Assignee
Zhejiang Nanzi Intelligent Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Nanzi Intelligent Polytron Technologies Inc filed Critical Zhejiang Nanzi Intelligent Polytron Technologies Inc
Priority to CN201710452538.XA priority Critical patent/CN107273896A/zh
Publication of CN107273896A publication Critical patent/CN107273896A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能交通领域,特别是涉及一种基于图像识别的车牌检测识别方法。本发明完整的车辆识别流程包含运动车辆检测、图像预处理、车牌定位、字符切分、字符识别等部分,在车辆检测过程中采用背景差分法进行提取,背景差分法采用混合高斯背景模型进行背景更新;在图像二值化预处理过程中,采用基于边缘检测二值化法进行预处理,在车牌定位过程中采用基于边缘检测和先验知识的车牌定位方法对车牌进行定位,在字符识别过程中采用BP神经网络字符识别方法来完成所有车牌字符的识别。本发明的识别流程具有训练速度快、字符识别率高等优点,可以广泛应用于复杂的交通场景。

Description

一种基于图像识别的车牌检测识别方法
技术领域
本发明属于智能交通领域,特别是涉及一种基于图像识别的车牌检测识别方法。
背景技术
社会经济的发展促使道路交通迅速发展,机动车数量不断增加。为了解决地面交通迅速发展所引发的各种问题,智能交通***(Intelligent Transport System)被提到了重要位置。智能交通***是为了从根本上解决日益膨胀的地面交通的诸多困难而出现的一个新的技术领域,它是以信息技术为代表的高新技术在道路交通运输中的集成应用,是先进的信息技术、数据传输技术、控制技术及计算机处理技术等技术结合应用的综合管理***,使人、车、路与环境和谐结合,受到世界各国高度重视,发展极为迅速。
计算机视觉作为智能交通***中的一项重要技术,受到越来越多的重视。计算机视觉即是用各种成像***代替视觉感官作为视觉信息输入手段,由计算机来代替大脑完成处理与解释。计算机视觉不仅能使机器感知环境中的几何信息,包括位置、大小、形状、运动等,还能对它们进行描述、解释和理解。计算机视觉为交通***提供了直观方便的分析手段,交通环境中的大量信息如车辆、交通标志和路面标识等都来源于视觉。用计算机视觉来处理和理解这些信息是一种必然的选择。
作为智能交通***的重要组成部分,车牌识别***常用来监视交通状况、监督车辆行为,还可以用于停车场出入管理。虽然过去十年车牌识别技术取得很大的成就,并在很多实际场合中得以应用,但从复杂场景的图像中识别车牌仍然是一个艰巨的任务。现实中的交通摄像头是在动态变化的复杂环境中工作的,主要体现在天气环境变化的影响。不同的天气环境,甚至在一天中不同的时刻,摄像头录制的交通视频的效果都有差异,不同的天气环境对于视频质量造成的影响也不同。如果不能够根据天气情况自动调整车辆识别算法的相关参数或者阈值,就会造成车辆识别结果误差的增大,继而影响智能交通***中其他功能的实现,或者导致其他功能准确率的降低。因此,只有能够自动适应多种气候环境的视频车辆识别方法在智能交通***中才具有实用价值。
发明内容
针对目前车牌识别算法中存在的模型训练慢、字符识别准确率低等问题,本发明提出一种基于图像识别的车辆检测识别方法,其完整的车辆识别流程包含运动车辆检测、图像预处 理、车牌定位、字符切分、字符识别等部分。本发明通过具有训练速度快、字符识别率高等优点,可以广泛应用于复杂的交通场景。
为达到上述目的,本发明提供如下技术方案:
一种基于图像识别的车牌检测识别方法,具体包括以下步骤:
1)运动车辆检测
将车辆从视频中检测出来,将视频图像分为背景和运动目标,准确获取车辆图像;
2)图像二值化预处理
对车辆图像进行图像二值化预处理,突出车牌位置,区分车牌的字符和背景;
3)车牌定位
基于边缘检测和灰度跳变相结合的方法实现对车牌位置进行二次定位;
4)字符切分
在准确定位车牌的基础上,把采集的倾斜矫正后的车牌图像的字符切分为单个字符;
5)字符识别
利用模板匹配法和神经网络法将图像信息转化为字符信息,进行字符识别,把车辆和号牌对应起来,从而实现车牌检测识别。
作为优选,进一步,在步骤1)运动车辆检测中,采用背景差分法进行提取,背景差分法采用混合高斯背景模型进行背景更新。
作为优选,进一步,在步骤2)图像二值化预处理过程中,采用基于边缘检测二值化法进行预处理。
作为优选,进一步,在步骤3)车牌定位过程中,采用基于边缘检测和先验知识的车牌定位方法对车牌进行定位,对预处理的车辆图像检测边缘信息,并连通边缘,设定阈值去除伪车牌区域,记录待选车牌坐标。再利用灰度跳变法记录车牌坐标,两个坐标相互融合,获得准确车牌位置。
作为优选,进一步,在步骤4)字符切分过程中,通过车牌图像预处理、边框去除、字符切分和字符归一化将车牌图像的字符切分为单个字符。
作为优选,进一步,在步骤5)字符识别过程中,采用BP神经网络字符识别方法来完成所有车牌字符的识别。
有益效果
与传统的车牌识别***相比,本发明的技术方案具有以下优点,具体表现在:
1.运动车辆检测:将车辆从视频中检测出来,视频分为背景和运动目标,准确获取车辆图像。传统的混合高斯背景建模存在计算量大、处理速度慢、检测出的目标噪声较多等缺点, 经过研究改进了混合高斯背景建模法,优化了参数,减少了计算量,加快了检测速度,减少了检测目标的噪声,提高了检测目标的准确性。
2.图像二值化:在车牌定位和字符切分前需要预处理图像,二值化是图像预处理的重要部分。在车牌定位中,二值化的主要作用是突出车牌的位置信息,提出了基于边缘检测的二值化方法,二值化后图像较好的突出了车牌位置;在字符切分中,二值化的作用是准确区分车牌的字符和背景,改进了二值化方法,提出了多个阈值相结合的方法,融合不同阈值的图像,准确的区分了车牌字符和背景。
3.车牌定位:一般的方法定位车牌不准确,有时会出现定位为伪车牌的情况,直接影响后续处理,因此提出基于边缘检测和灰度跳变相结合的方法定位车牌,对车牌位置进行二次定位,确保定位的准确。
4.字符识别:车牌上的字符是根据规范制作印刷的,结构固定笔画规范。但是由于获取车牌的环境因素和车辆使用的因素,车牌字符也会模糊不清,有缺失、粘连等,同时汉字的笔画较复杂,更加大了识别的难度。传统的模板匹配法和神经网络法识别结果准确率不高,容易误判,改进了神经网络法和模板匹配法,对容易混淆字符进行二次区分,提高了识别率,同时改进了的BP神经网络学习训练方法,提高了网络的训练速度,提高了识别速度。
附图说明
图1为本发明的流程图;
具体实施方式
下面将结合本发明实施例和附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于图像识别的车牌检测识别方法,具体包括以下步骤:
1)运动车辆检测
将车辆从视频中检测出来,将视频图像分为背景和运动目标,准确获取车辆图像,此时采用背景差分法进行提取,并利用改进的混合高斯建模方法实现背景分离。
背景差分法是将输入图像与背景图像相减,除去当前帧中背景部分,提取前景,获取运动目标,假设It(x,y)为t时刻当前帧图像灰度值,Bt(x,y)为t时刻背景图像灰度值,根据以下判断点(x,y)是否为目标:
其中,T为阈值,Ot(x,y)=1时,(x,y)为t时刻目标点。
在此过程中,首先需要首先确定二值化阈值T,然后不断获取和更新背景图像Bt(x,y)。背景模型更新在本质上是数学统计学和概率论统计的共同结果,就是统计图像中各个像素概率值,概率最大的像素,也就是出现可能性最大的值就是背景像素。据此建立背景更新的数学模型,假设t时刻的背景图像为:
Bt(x,y)=U(It,It-1,…,It-(n-1)) (2)
其中,U为更新函数,It为t时刻的图像,n为背景图像序列长度。
其中,U为更新函数,不同的更新函数对应不同的更新算法,本申请中采用混合高斯建模法,混合高斯模型对一个像素点使用多个模型建模,这样可以避免某个像素点出现类似光线变化或是噪声干扰,就完全改变之前建立的模型的情况。在混合模型中引进了新的模型且新模型权重较小,这个新的模型不会占据主导地位,继续保留权重较大的原模型,只有这个新的权重较小的模型在此后帧中不断地被匹配,权重不断增大,才会取代之前权重较大的模型,成为主导。混合高斯模型不仅采用方差和期望判断背景模型的适应度,而且加入了权重作为依据来判断背景模型的适应度,从而提高模型算法的鲁棒性。
混合模型针对每帧图像上的像素点{x1,x2,…xt},建立k个单高斯模型组成的混合高斯模型,其概率模型为:
k为混合高斯模型的阶,就是混合高斯模型中单高斯模型的数量,ωi,t是t时刻第i个单高斯模型的权重,有:
μi,t,σi,t和η分别为t时刻第i个单高斯模型的期望、协方差矩阵和高斯概率密度函数,可表为
xi的维数为n,为了减少计算量,处理彩色图像时,假定图像中各像素R、G、B三颜色通道相互独立,具有相同的方差,且协方差矩阵满足:
处理灰度图像进行混合高斯模型建模时,简单取n=1,混合模型阶数k的大小决定了系 统对复杂背景适应的性能,随着k值得增大,处理能力增强,鲁棒性也增强,计算量也增大,处理时间也相应增长,本发明中取k≥3。
混合高斯模型法背景建模流程具体包括:
(1)参数初始化
与单高斯模型一样,混合高斯模型初始化,首先选取一段无运动目标的视频,在背景无运动目标时,连续采样n帧背景图像,由公式(7)计算取样时间内视频帧中每个像素的平均灰度值
fk表示第k帧图像上的像素值,背景模型初始化后,对于以后的每一帧图像,可以利用式(8)更新单高斯模型的期望和方差。
α是学习速率,模型的更新速度的快慢也就是背景模型适应变化的快慢,它的速率由的大小决定。背景模型更新后,将当前帧图像的像素点和对应的高斯模型匹配,若像素点|fkk|<T,则匹配成功,这个像素点为背景像素,反之则是判断这个像素为前景。
在本发明中,获取只包含背景的视频是比较困难的,因此,对混合模型参数初始化速度一般要求不是很高,可以简单让一个模型的权重值ωi,t初始值为1,根据图像中背景占大多数的实际情况,选取视频第一帧图像作为初始背景,像素值直接作为该模型的期望μ1,0。其余的k-1个模型令期望和权值全为0;最终令k个混合高斯分布模型的方差初始化较大,以利于初始模型更新速度更快。
(2)匹配模型
根据模型的两个特点:第一,场景中背景的像素点比运动的点的方差更小;第二,运动目标所导致的模型更新会使该模型的权重变小;因此将k个高斯模型根据大小排序,以后每获得一帧新图像,将当前帧的像素值和混合模型中k个高斯分布按照ω/σ大小顺序进行匹配,如果新获取的像素值与其任一高斯分布满足式(9),即可匹配。
|Iti,t-1|≤2.5σi,t-1 (9)
其中,It为当前帧中某一个像素的像素值,μi,t-1,σi,t-1分别为第i个高斯模型在上一时刻 的均值和标准差。
(3)更新模型参数
背景模型参数更新算法的优劣直接决定背景模型适应环境的能力和模型的鲁棒性,实际中要求模型更新算法要对环境变化更快的响应,同时对运动检测目标有较好的鲁棒性,因此背景模型参数的更新是混合高斯背景建模中的关键环节。在此,采用近似法对模型实时更新。
依据之前匹配结果,首先更新所有高斯模型的权重,假设模型已经训练了前面t-1帧,则当t帧时,第i个高斯模型权重更新公式为:
ωi,t=αωi,t+(1-α)Mi,j (10)
α为学习率,决定了更新的快慢,Mi,ji是当前像素在t时刻第i个高斯模型的匹配程度,1表示匹配,0表示不匹配。α决定了模型权重更新的速度,α越大,背景模型越稳定。高斯模型权重更新后,下一步对高斯模型自身的均值和方差更新。若当前像素与第i个模型不匹配,则模型参数不变,否则根据下式更新均值和方差。
其中ρ为学习因子,根据以下定义:
ρ=αη(xtii) (12)
如果任何模型也不匹配,就将模型表中最底部模型用新模型替换,新的模型的期望定义为当前像素点的像素值,方差定义为比较大的初始值,权重定义为比较小的初始值。这种更新模型的算法优点是,当像素背景、前景互相转化时,之前训练过的模型位于列表较前端,不会丢失,新的初始化模型只是替代了列表中最底部的模型,根据列表规则,底部的模型成为背景模型的概率是最低的。新的模型只有进行了若干帧训练,达到了足够的训练,其权值才会随之慢慢增大,最终替代列表顶端概率较大的背景模型,这就可以减少外界干扰带来的差错,增强鲁棒性,这也是混合高斯模型优于单高斯模型的改进。
虽然混合高斯模型获取的背景效果较好,计算也比较简单,但是经典算法中定义It(x,y)点像素R、G、B分量的方差一致,即在实际的彩色空间中,R、G、B分量中一个值恒定并不能代表这个像素的方差恒定,当像素的某一个颜色分量不变,另外两个颜色分量变化较大时,如果采用不变的颜色分量的方差作为总体方差,不能表明这个像素在背景前景的互相转化情况,因此将三个分量的方差单独定义,如公式(13)所示:
这样就更加准确的描述背景的变化,建模获得的背景更加接近真实情况。在传统的算法中,更新方差的函数是一个收敛于0的下降函数,这表示只有经过较长时间的积累,建立的背景才趋向于稳定,在一定条件下,可以认为方差为0。在现实中,由于噪声、光线变化、摄像机晃动以及传感器内部的漂移等,在检测同一位置时这种稳定对检测结果是不准确的,容易误判,使真实背景消失。因此对方差更新函数σ2进行适当改进,设定一个方差的下限,使模型对以上所述的微弱干扰噪声鲁棒性增强,本发明方差下限设定在初始值的20%。
对已经建立的混合高斯模型,需要区分模型中的背景和前景。根据以上所述,对于k个模型,按照ω/σ从大到小依次排列,因为图像中像素点背景状态的概率要远远大于前景的概率,依据高斯模型的更新算法,背景状态拥有较小的方差和较大的权重。所以位于k个模型列表的前端,成为背景概率较大,列表底部则对应着前景。我们将当前帧的每个像素点与列表顶端的模型进行匹配,匹配依据式(9)进行,即2.5倍方差认为匹配,否则不匹配,得到背景图像模板Bm,,匹配点是背景Bm(x,y)=0,否则为前景Bm(x,y)=1。根据背景模板Bm、背景B和原始帧I通过式(14)可以得到背景的更新图像B。
B=Bm×B+(1-Bm)×I (14)
背景点从原始帧中取,前景点从背景图像中获取。得到背景图像后用图像差分法式(1)来得到前景图像二值模板。
2)图像二值化预处理
在车牌定位以前需要对车辆图像进行预处理,减少图像的噪声的影响,增强原始图像的车牌信息,使得车牌统计特征更加突出,车牌位置更加明显,减少车牌定位和提取的复杂度,其具体包括:
(1)择加权平均值法处理图像,进行图像灰度处理:
赋予R、G、B不同的权值,灰度化的图像的R、G、B值取加权平均值,即:
R=G=B=(ωRR+ωGG+ωBB)/3 (15)
其中ωR、ωG、ωB分别为R、G、B的加权值,本发明中ωR=0.301、ωG=0.589、ωB=0.112。
(2)为了增强车牌部分和非车牌部分的对比度,使其对比度加大,提高识别率,需要对灰度化后的车辆图像进行灰度对比拉伸:
根据图像灰度直方图分布根据需要选择特定的灰度区间进行分段拉伸从而增加对比度的 操作,它将图像中某点(x,y)的灰度f(x,y)通过映射函数G,映射为输出图像灰度g(x,y):
g(x,y)=G(f(x,y)) (16)
如果一幅整体图像偏暗,图像的灰度一定集中在较暗的区域,可以用灰度拉伸功能来拉伸(斜率>1)物体灰度区间,将灰度从较暗得区域拉伸至较亮的区域改善图像整体亮度;同样如果图像偏亮,可以通过压缩(斜率<1)物将灰度集中在较亮的区域拉伸至较暗区域,改善图像质量,原来图像f(x,y)的灰度范围为(s1,s2),变换后的图像f(x,y)的灰度范围变为(r1,r2),可采用如下线性变换来实现:
g(x,y)=[(r1-r2)/(s1-s2)]f(x,y)+r1 (17)
(3)由于环境光线等影响,车牌图像中不可避免会出现一些噪点,在车牌识别前,如果不能除去或者抑制这些噪点,将影响车牌的定位,去除噪点常用的方法为图像平滑滤波。
(4)图像二值化
图像经过灰度处理以后每个像素只有一个像素值,像素值的大小决定了像素的明暗程度,图像二值化就是对原来的灰度图像的像素值进行阈值分割,将原来0-255的灰度值变换为两个值,一般为0(表示纯黑)和1(表示纯白),从而区分图像中的目标和背景。
基于边缘检测和灰度跳变相结合的方法实现对车牌位置进行二次定位,在此提出了基于边缘检测二值化方法,最大突出车牌的位置信息。具体如下:
(1)车辆图像灰度化;
(2)使用Sobel边缘算子检测灰度图像的边缘,并用形态处理连通边缘,只保留10%最强的边缘,记录边缘位置信息;
(3)将整个图像划分为没有重叠的子窗口(W*W),本发明中W=40;
(4)从上到下从左至右依次选中每一个子窗口,判断是否有(2)中边缘信息:如果有转入(5),如果没有转入(6);
(5)将这个区域内的阈值设置为原始图像在边缘位置的平均灰度值,二值化当前子窗口;
(6)将这个子窗口的像素值设定为与其相邻子窗口的像素值。
这种方法兼具了全局阈值和局部阈值的优点,不仅计算速度快,阈值的选取也考虑了像素邻域的影响,二值化后突出了车牌的位置信息,有利于定位车牌。
3)车牌定位
基于边缘检测和先验知识的车牌定位方法利用车牌区域丰富的纹理和车牌形状大小等信息完成车牌定位。在该方法中对预处理的车辆图像检测边缘信息,并连通边缘,设定阈值去除伪车牌区域,记录待选车牌坐标。再利用灰度跳变法记录车牌坐标,两个坐标相互融合,获得准确车牌位置。
(1)利用Sobel算子进行边缘检测,分别检测图像水平和垂直边缘信息;
(2)根据仿真对边缘检测过的图像进行两次闭运算,有效消除了检测的车牌的小间断;
(3)辆图像经过形态学操作后,得到包含伪值的候选区域,每个区域的形状也是不规则的,因此要对这些不规则区域进行操作,使这些区域变为近似规则的区域。对这些候选区域采取“关”操作处理,即采用了三次膨胀操作和一次腐蚀操作,使得每个区域变为联通区域,区域形状也近似规则。
4)字符切分
在准确定位车牌的基础上,把采集的倾斜矫正后的车牌图像的字符切分为单个字符;保证字符切分准确,将字符切分分为车牌图像预处理,边框去除、字符切分和字符归一化四个部分,图像预处理主要有图像二值化、图像锐化和倾斜校正。
图像二值化的具体步骤为:
(1)使用同态滤波去掉车牌图像的复杂光照的影响;
(2)用循环阈值法求得第一阈值,二值化图像;
(3)用Bernsen算法二值化图像;
(4)比对两幅二值化图像中相同点的像素值;
(5)根据灰度最小,融合两幅图像,即只有两个阈值同时判断为字符时,才二值化为字符,否则判断为背景,得到最终二值化图像;
(6)为了车牌字符符合看图习惯,突出字符,将二值化取反,即背景为白色,前景字符为黑色。
图像锐化增强采用微分滤波法进行图像增强,经过梯度锐化,原来图像边缘模糊的地方现在已经变得清晰可见,图像中细小的噪声已经被减弱甚至消除。
倾斜校正
车牌下底边两个端点的坐标分别为(x1,y1),(x2,y2),则车牌中任一像素(x,y)校正后的坐标可以表示为
去除车牌边框
根据《中华人民共和国机动车号牌》标准GA36-2007:车牌总长440mm,车牌中有7个字符和一个分割点,有字符区域的实际总长为409mm,宽140mm;其中每个字符45mm宽,90mm高,字符间距为10mm,其中第二、三个字符的间距(包含分割点)较为特殊,为34mm,最后 一个字符与第一个字符距车牌边界25mm。这样,车牌中每个字符平均宽度为:H/7(H为车牌图像的宽度)。由于第2、3个字符之间存在分割点,牌照左右两边与边框也都有一定的宽度,实际每个字符的宽度比H/7小。最小宽度为H/9。因此,字符的宽度在H/9到H/7之间。
去除车牌上下空白
假设车牌图像宽度为W,高度为H;设定阈值T=W/8,对图像进行逐行扫描,判断每一行中像素值连续1或者0的像素的长度,如果一行中连续像素长度大于阈值T则被判断为边框,否则为字符区。分别扫描车牌图像上下H/3。具体如下:
(1)自上向下逐行扫描至H/3,记录连续像素的长度;
(2)对每一行的最长像素长度进行判断,若长度大于阈值T,则该行为边框,继续判断下一行的最长像素线段长度;直至找不出大于阈值T的行,用X1记录该行的行号,X1-1就是图像的字符上边界;
(3)自下向上逐行扫描至H/3,记下首次出现最长像素线段长度小于T的行号,用X2标记,X2+1就是图像的字符下边界;
(4)原车牌图像X1-1到X2+1行,即为去除了上下边框的车牌图像。
去除左右边框
标准车牌中字符与边界的距离大于除了2、3字符间隔以外的其他字符间隔,可以用阈值T2来判断间隔的类型,进而除去边框。
字符切分采用基于先验知识和垂直投影相结合的字符切分法,具体步骤为:
根据车牌标准,车牌字符间隔中只有第三个字符与其相邻第二和第四个字符的间隔比较特殊,故需要特殊算法提取第三个字符,其他字符提取方法相同,算法如下
(1)垂直投影车牌图像,根据波谷位置确定第一个字符,波谷开始位置为X1,波谷结束位置X2,计算字符宽度,判断X2-X1-H/9>0是否成立,如果成立,则位置X2就是第一个字符的边界,否则合并第二个波峰,继续判断X2-X1-H/9>0是否成立,直至切分出第一个字符,字符边界X2
(2)用同样的方法提取出第二个字符,字符边界为X3
(3)提取第三个字符,由于第三位字符是分割符,不需要判断字符的宽度,直接根据波峰波谷位置确定,确定字符边界为X4
(4)依照步骤1方法依次找出后五个字符的边界X5,X6,X7,X8,X9,依照边界切分出7个字符和一个分割点;
(5)对切分得到的第三个字符进行垂直投影,若投影图中出现一个波谷且波谷长度小于H/36,则可判断这个就是分割符,按照边界除去分割点。
字符归一化
字符切分后,为了方便后续的识别,需要将字符图像归一化,将图像线性放大(缩小)到指定大小。假定原图大小为X×Y,归一化后大小为M×N,(x,y)为原图坐标,(m,n)为归一化后坐标,则某像素归一化前后的坐标关系为:
5)字符识别
利用模板匹配法和神经网络法将图像信息转化为字符信息,进行字符识别,把车辆和号牌对应起来,从而实现车牌检测识别。使用神经网络识别字符主要在于选取学习算法和使用大量的训练样本训练网络,算法的选取要满足稳定、快速收敛。
与传统的车牌识别***相比,本发明的技术方案具有以下优点,具体表现在:1.运动车辆检测:将车辆从视频中检测出来,视频分为背景和运动目标,准确获取车辆图像。传统的混合高斯背景建模存在计算量大、处理速度慢、检测出的目标噪声较多等缺点,经过研究改进了混合高斯背景建模法,优化了参数,减少了计算量,加快了检测速度,减少了检测目标的噪声,提高了检测目标的准确性。2.图像二值化:在车牌定位和字符切分前需要预处理图像,二值化是图像预处理的重要部分。在车牌定位中,二值化的主要作用是突出车牌的位置信息,提出了基于边缘检测的二值化方法,二值化后图像较好的突出了车牌位置;在字符切分中,二值化的作用是准确区分车牌的字符和背景,改进了二值化方法,提出了多个阈值相结合的方法,融合不同阈值的图像,准确的区分了车牌字符和背景。3.车牌定位:一般的方法定位车牌不准确,有时会出现定位为伪车牌的情况,直接影响后续处理,因此提出基于边缘检测和灰度跳变相结合的方法定位车牌,对车牌位置进行二次定位,确保定位的准确。4.字符识别:车牌上的字符是根据规范制作印刷的,结构固定笔画规范。但是由于获取车牌的环境因素和车辆使用的因素,车牌字符也会模糊不清,有缺失、粘连等,同时汉字的笔画较复杂,更加大了识别的难度。传统的模板匹配法和神经网络法识别结果准确率不高,容易误判,改进了神经网络法和模板匹配法,对容易混淆字符进行二次区分,提高了识别率,同时改进了的BP神经网络学习训练方法,提高了网络的训练速度,提高了识别速度。
最终,以上实施例和附图仅用以说明本发明的技术方案而非限制,尽管通过上述实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于图像识别的车牌检测识别方法,其特征在于,具体包括以下步骤:
1)运动车辆检测
在视频中发现运动车辆,并从中提取出包含车牌图像的车辆图像,将车辆从视频中检测出来,准确获取车辆图像;
2)图像二值化预处理
对车辆图像进行图像二值化预处理,突出车牌位置,区分车牌的字符和背景;
3)车牌定位
利用基于边缘检测和灰度跳变相结合的方法实现对车牌位置进行二次定位;
4)字符切分
在准确定位车牌的基础上,把采集的倾斜矫正后的车牌图像的字符切分为单个字符;
5)字符识别
利用模板匹配法和神经网络法将图像信息转化为字符信息,进行字符识别,把车辆和号牌对应起来,从而实现车牌检测识别。
2.根据权利要求1所述的一种基于图像识别的车牌检测识别方法,其特征在于:在步骤1)运动车辆检测中,在步骤1)运动车辆检测中,采用背景差分法进行提取,背景差分法采用混合高斯背景模型进行背景更新。
3.根据权利要求1所述的一种基于图像识别的车牌检测识别方法,其特征在于:在步骤2)图像二值化预处理过程中,采用基于边缘检测二值化法进行预处理。
4.根据权利要求1所述的一种基于图像识别的车牌检测识别方法,其特征在于:在步骤3)车牌定位过程中,采用基于边缘检测和先验知识的车牌定位方法对车牌进行定位,对预处理的车辆图像检测边缘信息,并连通边缘,设定阈值去除伪车牌区域,记录待选车牌坐标,
再利用灰度跳变法记录车牌坐标,两个坐标相互融合,获得准确车牌位置。
5.根据权利要求1所述的一种基于图像识别的车牌检测识别方法,其特征在于:在步骤4)字符切分过程中,通过车牌图像预处理、边框去除、字符切分和字符归一化将车牌图像的字符切分为单个字符。
6.根据权利要求1所述的一种基于图像识别的车牌检测识别方法,其特征在于:在步骤5)字符识别过程中, 采用BP神经网络字符识别方法来完成所有车牌字符的识别。
CN201710452538.XA 2017-06-15 2017-06-15 一种基于图像识别的车牌检测识别方法 Pending CN107273896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710452538.XA CN107273896A (zh) 2017-06-15 2017-06-15 一种基于图像识别的车牌检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710452538.XA CN107273896A (zh) 2017-06-15 2017-06-15 一种基于图像识别的车牌检测识别方法

Publications (1)

Publication Number Publication Date
CN107273896A true CN107273896A (zh) 2017-10-20

Family

ID=60066282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710452538.XA Pending CN107273896A (zh) 2017-06-15 2017-06-15 一种基于图像识别的车牌检测识别方法

Country Status (1)

Country Link
CN (1) CN107273896A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909659A (zh) * 2017-11-06 2018-04-13 南京邮电大学 一种基于无线视频传感器网络的智慧路边停车收费方法
CN108256493A (zh) * 2018-01-26 2018-07-06 中国电子科技集团公司第三十八研究所 一种基于车载视频的交通场景文字识别***及识别方法
CN108335294A (zh) * 2018-02-05 2018-07-27 贵州电网有限责任公司 复杂条件下的配电房异常状态图像识别方法
CN109063651A (zh) * 2018-08-06 2018-12-21 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备及存储介质
CN109241962A (zh) * 2018-08-30 2019-01-18 云南电网有限责任公司普洱供电局 一种字符识别方法及装置
CN109544492A (zh) * 2018-10-25 2019-03-29 东南大学 一种基于卷积神经网络的多聚焦图像融合数据集制作方法
CN109685100A (zh) * 2018-11-12 2019-04-26 平安科技(深圳)有限公司 字符识别方法、服务器及计算机可读存储介质
CN109743499A (zh) * 2018-12-29 2019-05-10 武汉云衡智能科技有限公司 一种应用于图像识别的变焦无人机和变焦无人机控制方法
CN109993138A (zh) * 2019-04-08 2019-07-09 北京易华录信息技术股份有限公司 一种车牌检测与识别方法及装置
CN110084232A (zh) * 2018-01-25 2019-08-02 浙江宇视科技有限公司 车牌中汉字字符的识别方法、装置及终端设备
CN110216082A (zh) * 2019-05-23 2019-09-10 上海交通大学 荧光标记种子动态识别方法和***
CN110619645A (zh) * 2019-09-25 2019-12-27 上海海瞩智能科技有限公司 一种桥吊下集装箱拖架的自动识别与定位装置及方法
CN110647795A (zh) * 2019-07-30 2020-01-03 正和智能网络科技(广州)有限公司 一种表格识别方法
CN110689761A (zh) * 2019-12-11 2020-01-14 上海赫千电子科技有限公司 一种自动泊车方法
CN110853391A (zh) * 2019-11-11 2020-02-28 王新晓 智能共享停车***
CN111126286A (zh) * 2019-12-22 2020-05-08 上海眼控科技股份有限公司 车辆动态检测方法、装置、计算机设备及存储介质
CN111325209A (zh) * 2018-12-14 2020-06-23 顺丰科技有限公司 一种车牌识别方法和***
CN111914833A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种运动车辆车牌识别***及方法
CN112052768A (zh) * 2020-08-28 2020-12-08 五邑大学 基于无人机的城市违章停车检测方法、装置及存储介质
CN112101343A (zh) * 2020-08-17 2020-12-18 广东工业大学 一种车牌字符分割与识别方法
CN112116723A (zh) * 2020-08-10 2020-12-22 中标慧安信息技术股份有限公司 一种基于车牌识别的无感收费方法及装置
CN112149581A (zh) * 2020-09-25 2020-12-29 北京嘀嘀无限科技发展有限公司 工况监控方法、***、装置、电子设备和可读存储介质
CN112348044A (zh) * 2019-08-09 2021-02-09 上海高德威智能交通***有限公司 车牌检测方法、装置及设备
CN113184202A (zh) * 2021-05-17 2021-07-30 湖北怡辉河天科技有限公司 基于图像识别技术的空中加油机输油软管预警方法及***
CN113392833A (zh) * 2021-06-10 2021-09-14 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法
CN113808048A (zh) * 2021-09-23 2021-12-17 安徽理工大学 一种采掘模拟场图像增强***
CN115052189A (zh) * 2022-06-06 2022-09-13 重庆法链科技有限责任公司 一种视频流识别***及方法
CN113392833B (zh) * 2021-06-10 2024-06-28 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050450A (zh) * 2014-06-16 2014-09-17 西安通瑞新材料开发有限公司 一种基于视频的车牌识别方法
CN105787524A (zh) * 2014-12-26 2016-07-20 中国科学院沈阳自动化研究所 基于OpenCV的车牌识别方法及***
CN106127143A (zh) * 2016-06-23 2016-11-16 昆明理工大学 一种高速公路违章停车检测方法
CN106485234A (zh) * 2016-10-21 2017-03-08 合肥哦走信息技术有限公司 一种基于智能交通***中车辆识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050450A (zh) * 2014-06-16 2014-09-17 西安通瑞新材料开发有限公司 一种基于视频的车牌识别方法
CN105787524A (zh) * 2014-12-26 2016-07-20 中国科学院沈阳自动化研究所 基于OpenCV的车牌识别方法及***
CN106127143A (zh) * 2016-06-23 2016-11-16 昆明理工大学 一种高速公路违章停车检测方法
CN106485234A (zh) * 2016-10-21 2017-03-08 合肥哦走信息技术有限公司 一种基于智能交通***中车辆识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭智辉: "基于视频的车辆识别***研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909659A (zh) * 2017-11-06 2018-04-13 南京邮电大学 一种基于无线视频传感器网络的智慧路边停车收费方法
CN110084232B (zh) * 2018-01-25 2021-01-29 浙江宇视科技有限公司 车牌中汉字字符的识别方法、装置及终端设备
CN110084232A (zh) * 2018-01-25 2019-08-02 浙江宇视科技有限公司 车牌中汉字字符的识别方法、装置及终端设备
CN108256493A (zh) * 2018-01-26 2018-07-06 中国电子科技集团公司第三十八研究所 一种基于车载视频的交通场景文字识别***及识别方法
CN108335294A (zh) * 2018-02-05 2018-07-27 贵州电网有限责任公司 复杂条件下的配电房异常状态图像识别方法
CN109063651A (zh) * 2018-08-06 2018-12-21 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备及存储介质
CN109241962A (zh) * 2018-08-30 2019-01-18 云南电网有限责任公司普洱供电局 一种字符识别方法及装置
CN109544492A (zh) * 2018-10-25 2019-03-29 东南大学 一种基于卷积神经网络的多聚焦图像融合数据集制作方法
CN109685100A (zh) * 2018-11-12 2019-04-26 平安科技(深圳)有限公司 字符识别方法、服务器及计算机可读存储介质
CN109685100B (zh) * 2018-11-12 2024-05-10 平安科技(深圳)有限公司 字符识别方法、服务器及计算机可读存储介质
CN111325209B (zh) * 2018-12-14 2024-06-07 顺丰科技有限公司 一种车牌识别方法和***
CN111325209A (zh) * 2018-12-14 2020-06-23 顺丰科技有限公司 一种车牌识别方法和***
CN109743499A (zh) * 2018-12-29 2019-05-10 武汉云衡智能科技有限公司 一种应用于图像识别的变焦无人机和变焦无人机控制方法
CN109993138A (zh) * 2019-04-08 2019-07-09 北京易华录信息技术股份有限公司 一种车牌检测与识别方法及装置
CN110216082A (zh) * 2019-05-23 2019-09-10 上海交通大学 荧光标记种子动态识别方法和***
CN110647795B (zh) * 2019-07-30 2023-08-11 正和智能网络科技(广州)有限公司 一种表格识别方法
CN110647795A (zh) * 2019-07-30 2020-01-03 正和智能网络科技(广州)有限公司 一种表格识别方法
CN112348044A (zh) * 2019-08-09 2021-02-09 上海高德威智能交通***有限公司 车牌检测方法、装置及设备
CN110619645A (zh) * 2019-09-25 2019-12-27 上海海瞩智能科技有限公司 一种桥吊下集装箱拖架的自动识别与定位装置及方法
CN110619645B (zh) * 2019-09-25 2022-11-25 上海海瞩智能科技有限公司 一种桥吊下集装箱拖架的自动识别与定位装置及方法
CN110853391A (zh) * 2019-11-11 2020-02-28 王新晓 智能共享停车***
CN110689761A (zh) * 2019-12-11 2020-01-14 上海赫千电子科技有限公司 一种自动泊车方法
CN111126286A (zh) * 2019-12-22 2020-05-08 上海眼控科技股份有限公司 车辆动态检测方法、装置、计算机设备及存储介质
CN111914833A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种运动车辆车牌识别***及方法
CN112116723B (zh) * 2020-08-10 2021-06-22 中标慧安信息技术股份有限公司 一种基于车牌识别的无感收费方法及装置
CN112116723A (zh) * 2020-08-10 2020-12-22 中标慧安信息技术股份有限公司 一种基于车牌识别的无感收费方法及装置
CN112101343A (zh) * 2020-08-17 2020-12-18 广东工业大学 一种车牌字符分割与识别方法
CN112052768A (zh) * 2020-08-28 2020-12-08 五邑大学 基于无人机的城市违章停车检测方法、装置及存储介质
CN112149581A (zh) * 2020-09-25 2020-12-29 北京嘀嘀无限科技发展有限公司 工况监控方法、***、装置、电子设备和可读存储介质
CN113184202A (zh) * 2021-05-17 2021-07-30 湖北怡辉河天科技有限公司 基于图像识别技术的空中加油机输油软管预警方法及***
CN113392833A (zh) * 2021-06-10 2021-09-14 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法
CN113392833B (zh) * 2021-06-10 2024-06-28 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法
CN113808048A (zh) * 2021-09-23 2021-12-17 安徽理工大学 一种采掘模拟场图像增强***
CN115052189A (zh) * 2022-06-06 2022-09-13 重庆法链科技有限责任公司 一种视频流识别***及方法

Similar Documents

Publication Publication Date Title
CN107273896A (zh) 一种基于图像识别的车牌检测识别方法
CN105373794B (zh) 一种车牌识别方法
CN108154102B (zh) 一种道路交通标志识别方法
CN105809138B (zh) 一种基于分块识别的道路警告标志检测与识别方法
CN104392205B (zh) 一种非正常车牌的识别方法和***
CN109657632B (zh) 一种车道线检测识别方法
CN102375982B (zh) 一种融合多字符特征的车牌定位方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN106650553A (zh) 车牌识别方法及***
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别***
CN107122777A (zh) 一种基于视频文件的车辆分析***及分析方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN103824091B (zh) 一种用于智能交通***的车牌识别方法
CN107169985A (zh) 一种基于对称帧间差分和背景更新的运动目标检测方法
CN101859382A (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和***
CN106529592A (zh) 一种基于混合特征与灰度投影的车牌识别方法
CN107194393B (zh) 一种检测临时车牌的方法及装置
CN101266654A (zh) 基于连通分量和支持向量机的图像文本定位方法和装置
CN104766344B (zh) 基于运动边缘提取器的车辆检测方法
CN104598907A (zh) 一种基于笔画宽度图的图像中文字数据提取方法
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
CN112818775A (zh) 基于区域边界像素交换的林区道路快速识别方法及***
CN115082776A (zh) 一种基于图像识别的电能表自动检测***及方法
CN114419006A (zh) 一种随背景变化的灰度视频文字类水印去除方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication