CN109977941A - 车牌识别方法及装置 - Google Patents

车牌识别方法及装置 Download PDF

Info

Publication number
CN109977941A
CN109977941A CN201811573659.0A CN201811573659A CN109977941A CN 109977941 A CN109977941 A CN 109977941A CN 201811573659 A CN201811573659 A CN 201811573659A CN 109977941 A CN109977941 A CN 109977941A
Authority
CN
China
Prior art keywords
license plate
mentioned
model
color
plate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811573659.0A
Other languages
English (en)
Inventor
王昕辰
胡锴
郑涤非
张维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING MIXISLINK TECHNOLOGY Co.,Ltd.
Original Assignee
Beijing Rong Chain Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rong Chain Technology Co Ltd filed Critical Beijing Rong Chain Technology Co Ltd
Priority to CN201811573659.0A priority Critical patent/CN109977941A/zh
Publication of CN109977941A publication Critical patent/CN109977941A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车牌识别方法及装置。其中,该方法包括:接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。本发明解决了传统的车牌识别方法识别车牌字符的识别准确率以及识别效率较低的技术问题。

Description

车牌识别方法及装置
技术领域
本发明涉及识别技术领域,具体而言,涉及一种车牌识别方法及装置。
背景技术
车牌识别作为智能交通***的基础核心技术,车牌检测定位则是车牌识别中的关键的环节之一。90年代以后,由于计算机性能的提升和图像处理技术的快速发展,车牌识别技术的识别效率得到了很大的提高,随后有应用数字图像处理技术完成了车牌识别***,并提出模板匹配的识别技术,以及通过光学字符识别技术利用边界跟踪技术对字符特征进行提取,后来又提出多样的轮廓和检测机制进行车牌定位然后基于连通域分析和欧式距离来对车牌字符进行分割。
但是,传统的车牌识别方法大多是人工对图像进行处理后通过总结图像特点,以实现车牌的定位和识别,由于目前的识别场景更加复杂(例如光照条件,变形车牌,污垢车牌等),导致对车牌字符的识别准确率以及识别效率较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车牌识别方法及装置,以至少解决传统的车牌识别方法识别车牌字符的识别准确率以及识别效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种车牌识别方法,包括:接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
进一步地,上述目标检测模型至少包括:YOLO V3目标检测模型;上述目标颜色模型至少包括:六角锥体HSV颜色模型;上述目标神经网络至少包括:基于门控循环单元GRU的目标神经网络。
进一步地,在接收待检测的目标图像之前,上述方法还包括:获取多个样本图像,其中,上述样本图像中至少包括:样本车牌和样本车牌区域;标注上述样本图像中的上述样本车牌和上述样本车牌区域;基于上述标注的样本图像训练得到上述目标检测模型。
进一步地,在接收待检测的目标图像之前,上述方法还包括:控制摄像设备拍摄目标物体得到图像序列,上述目标物体至少包括:车辆;通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
进一步地,在采用目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位之前,上述方法还包括:获取上述车牌的长宽尺寸数据和长宽比例;基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
进一步地,在基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位之前,上述方法还包括:检测上述目标图像的颜色模型是否为RGB颜色模型;在检测结果指示上述颜色模型为上述RGB颜色模型的情况下,将上述目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型。
进一步地,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位,包括:确定上述车牌的颜色信息;基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理;对进行上述颜色约束处理后的上述目标图像进行图像处理,其中,上述图像处理至少包括:灰度化处理和二值化处理;基于上述左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行二次定位。
根据本发明实施例的另一方面,还提供了一种车牌识别装置,包括:接收模块,用于接收待检测的目标图像;第一定位模块,用于采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;第二定位模块,用于基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;识别模块,用于采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
根据本发明实施例的另一方面,还提供了一种存储介质,上述存储介质包括存储的程序,其中,在上述程序运行时控制上述存储介质所在设备执行任意一项上述的车牌识别方法。
根据本发明实施例的另一方面,还提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行任意一项上述的车牌识别方法。
在本发明实施例中,通过接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息,达到了提高识别车牌字符的识别准确率以及识别效率的目的,从而实现了促进智能交通***的快速发展的技术效果,进而解决了传统的车牌识别方法识别车牌字符的识别准确率以及识别效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种车牌识别方法的流程图;
图2是根据本发明实施例的一种可选的车牌识别方法的流程图;以及
图3是根据本发明实施例的一种车牌识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种车牌识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种车牌识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,接收待检测的目标图像;
步骤S104,采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;
步骤S106,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;
步骤S108,采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
在一种可选的实施例中,在接收待检测的目标图像之前,通过控制设置在预定位置(例如,车库、公路、红绿灯路口等)的摄像设备拍摄机动车辆得到图像序列,并通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
可选的,上述目标图像可以但不限于为拍摄机动车辆的前部,或者拍摄机动车辆的后部得到的视频图像数据,该目标图像中至少包括:机动车辆的车牌区域,即,车牌设置区域。
在一种可选的实施例中,上述目标检测模型至少包括:YOLO V3目标检测模型;上述目标颜色模型至少包括:六角锥体HSV颜色模型;上述目标神经网络至少包括:基于门控循环单元GRU的目标神经网络。
其中,上述YOLO V3目标检测模型为一种采用深度卷积神经网络学得的特征来检测对象的目标检测模型。
需要说明的是,上述初次定位和二次定位的目的是为了在目标图像上确定一个尽可能小的车牌区域(或者,在目标图像上确定一个包围车牌区域的尽可能小的子图像矩形框),以便于对车牌区域进行内容识别得到车牌信息。
在本申请实施例中,上述YOLO V3目标检测模型可以对需要识别的目标图像进行自主学习并自主完善模型,整个过程中不需要人工干预,不仅能准确识别出目标图像中车牌信息,而且速度可以达到实时的要求;上述YOLO V3目标检测模型还可以使用全图作为内容信息,背景错误(把背景错认为物体)比较少,进而可以有效地提高车牌的定位能力、字符识别率、识别速度以及识别***的泛化能力。
可选的,GRU(Gated Recurrent Unit)是LSTM的一个变体,GRU保持了LSTM的效果同时又使结构更加简单,基于GRU的神经网络模型可对采集的文本信息进行序列自动标注和信息提取,从而可以很好的对二次定位后的车牌区域实现内容识别。
在本申请实施例中,基于GRU的神经网络模型的信息提取算法在准确率、召回率上都明显高于RNN模型,与LSTM模型效果相同,而由于结构优化,因此训练速度和预测速度都高于LSTM模型,因此,基于GRU的神经网络模型可以应用于大规模互联网公共数据信息提取场景,具有继续优化网络结构以取得更高的准确率和更强的通用性的优点。
在本发明实施例中,通过接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息,达到了提高识别车牌字符的识别准确率以及识别效率的目的,从而实现了促进智能交通***的快速发展的技术效果,进而解决了传统的车牌识别方法识别车牌字符的识别准确率以及识别效率较低的技术问题。
在一种可选的实施例中,在接收待检测的目标图像之前,上述方法还包括:
步骤S202,获取多个样本图像,其中,上述样本图像中至少包括:样本车牌和样本车牌区域;
步骤S204,标注上述样本图像中的上述样本车牌和上述样本车牌区域;
步骤S206,基于上述标注的样本图像训练得到上述目标检测模型。
可选的,上述多个样本图像可以但不限于为大量的车牌图片,上述样本图像中至少包括:样本车牌和样本车牌区域;通过对上述样本车牌和上述样本车牌区域进行标注处理,并基于标注后的样本图像对初始检测模型进行训练,得到上述目标检测模型。
在一种可选的实施例中,在接收待检测的目标图像之前,上述方法还包括:
步骤S302,控制摄像设备拍摄目标物体得到图像序列,上述目标物体至少包括:车辆;
步骤S304,通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
可选的,上述摄像设备可以但不限于为摄像机、旋转摄像头等,可以对目标物体进行录像、摄像等。
可选的,上述目标图像可以但不限于为拍摄机动车辆的前部,或者拍摄机动车辆的后部得到的视频图像数据,该目标图像中至少包括:机动车辆的车牌区域,即,车牌设置区域。
在一种可选的实施例中,在接收待检测的目标图像之前,通过控制设置在预定位置(例如,车库、公路、红绿灯路口等)的摄像设备拍摄机动车辆得到图像序列,并通过分析处理上述图像序列得到上述目标图像。
在一种可选的实施例中,在采用目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位之前,上述方法还包括:
步骤S402,获取上述车牌的长宽尺寸数据和长宽比例;
步骤S404,基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
可选的,上述长宽尺寸数据可以但不限于为长度数据、宽度数据,并依据长度数据和宽度数据计算得到上述长宽比例;上述修正处理可以但不限于为扩充修正处理。
在上述可选的实施例中,基于上述长宽尺寸数据和上述长宽比例,可以对初次定位得到的车牌区域进行筛选,确定是否为矩形区域等,并对初次定位得到的上述车牌区域进行归一化处理和扩充修正处理。
在一种可选的实施例中,在基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位之前,上述方法还包括:
步骤S502,检测上述目标图像的颜色模型是否为RGB颜色模型;
步骤S504,在检测结果指示上述颜色模型为上述RGB颜色模型的情况下,将上述目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型。
可选的,上述目标颜色模型可以但不限于为HSV颜色模型;需要说明的是,RGB颜色模型面向硬件,HSV颜色模型面向用户,三维表示从RGB沿立方体的对角线的白色顶点向黑色顶点观察,可以看到立方体的六边形外形,其中,六边形边界表示色调,水平轴表示饱和度,垂直轴表示明度。
在本申请实施例中,为了提高车牌字符定位的准确率,在检测到上述目标图像的颜色模型为RGB颜色模型的情况下,可以先将目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型,例如,将图像从RGB颜色空间转换到HSV颜色空间。
在一种可选的实施例中,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位,包括:
步骤S602,确定上述车牌的颜色信息;
步骤S604,基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理;
步骤S606,对进行上述颜色约束处理后的上述目标图像进行图像处理,其中,上述图像处理至少包括:灰度化处理和二值化处理;
步骤S608,基于上述左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行二次定位。
可选的,在上述实施例中,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位,也即,基于目标颜色模型和左右边缘回归模型,确定上述车牌区域的边缘位置,以实现精准定位上述车牌区域。
在上述可选的实施例中,在确定上述车牌的颜色信息之后,可以基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理,并对进行上述颜色约束处理后的上述目标图像进行灰度化处理和二值化处理;并且,由于在对图像边缘进行处理时参差不齐的边缘有很多毛刺点,还可以结合左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行修正,从而实现车牌区域精确定位。
需要说明的是,由于在现实环境中,同一场景的图像灰度变化在不同分辨率上有所不同,一个大的物体边缘即使在分辨率较低的图像中将被退化为“纹理”,另一方面,图像中的“噪声”也会表现为杂乱的灰度突变,为了提取目标图像中的像素信息计算RGB均值,并对目标图像进行简单聚类分块,还可以对处理的图像进行滤波降噪,使色块边界变得尽可能柔和。
图2是根据本发明实施例的一种可选的车牌识别方法的流程图,如图2所示,以下通过一种可选的车牌识别方法实施例,对本申请实施例所提供的车牌识别方法进行阐述说明:
步骤S702,接收待检测的目标图像;
步骤S704,采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌。
在一种可选的实施例中,在接收待检测的目标图像之前,通过控制设置在预定位置(例如,车库、公路、红绿灯路口等)的摄像设备拍摄机动车辆得到图像序列,并通过分析处理上述图像序列得到上述目标图像。
可选的,上述目标图像可以但不限于为拍摄机动车辆的前部,或者拍摄机动车辆的后部得到的视频图像数据,该目标图像中至少包括:机动车辆的车牌区域,即,车牌设置区域。
步骤S706,获取上述车牌的长宽尺寸数据和长宽比例;
步骤S708,基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
可选的,上述长宽尺寸数据可以但不限于为长度数据、宽度数据,并依据长度数据和宽度数据计算得到上述长宽比例;上述修正处理可以但不限于为扩充修正处理。
在上述可选的实施例中,基于上述长宽尺寸数据和上述长宽比例,可以对初次定位得到的车牌区域进行筛选,确定是否为矩形区域等,并对对初次定位得到的上述车牌区域进行归一化处理和扩充修正处理。
步骤S710,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;
步骤S712,采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
可选的,在上述实施例中,基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位,也即,基于目标颜色模型和左右边缘回归模型,确定上述车牌区域的边缘位置,以实现精准定位上述车牌区域。
在一种可选的实施例中,上述目标检测模型至少包括:YOLO V3目标检测模型;上述目标颜色模型至少包括:六角锥体HSV颜色模型;上述目标神经网络至少包括:基于门控循环单元GRU的目标神经网络。
需要说明的是,上述初次定位和二次定位的目的是为了在目标图像上确定一个尽可能小的车牌区域(或者,在目标图像上确定一个包围车牌区域的尽可能小的子图像矩形框),以便于对车牌区域进行内容识别得到车牌信息。
在本申请实施例中,上述YOLO V3目标检测模型可以对需要识别的目标图像进行自主学习并自主完善模型,整个过程中不需要人工干预,不仅能准确识别出目标图像中车牌信息,而且速度可以达到实时的要求;上述YOLO V3目标检测模型还可以使用全图作为内容信息,背景错误(把背景错认为物体)比较少,进而可以有效地提高车牌的定位能力、字符识别率、识别速度以及识别***的泛化能力。
需要说明的是,GRU(Gated Recurrent Unit)是LSTM的一个变体,GRU保持了LSTM的效果同时又使结构更加简单,基于GRU的神经网络模型可对采集的文本信息进行序列自动标注和信息提取,从而可以很好的对二次定位后的车牌区域实现内容识别。
在本申请实施例中,基于GRU的神经网络模型的信息提取算法在准确率、召回率上都明显高于RNN模型,与LSTM模型效果相同,而由于结构优化,因此训练速度和预测速度都高于LSTM模型,因此,基于GRU的神经网络模型可以应用于大规模互联网公共数据信息提取场景,具有继续优化网络结构以取得更高的准确率和更强的通用性的优点。
实施例2
根据本发明实施例,还提供了一种用于实施上述车牌识别方法的装置实施例,图3是根据本发明实施例的一种车牌识别装置的结构示意图,如图3所示,上述车牌识别装置,包括:接收模块30、第一定位模块32、第二定位模块34和识别模块36,其中:
接收模块30,用于接收待检测的目标图像;第一定位模块32,用于采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;第二定位模块34,用于基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;识别模块36,用于采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,例如,对于后者,可以通过以下方式实现:上述各个模块可以位于同一处理器中;或者,上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是,上述接收模块30、第一定位模块32、第二定位模块34和识别模块36对应于实施例1中的步骤S102至步骤S106,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是,本实施例的可选或优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
上述的车牌识别装置还可以包括处理器和存储器,上述接收模块30、第一定位模块32、第二定位模块34和识别模块36等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元,上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
根据本申请实施例,还提供了一种存储介质实施例。可选地,在本实施例中,上述存储介质包括存储的程序,其中,在上述程序运行时控制上述存储介质所在设备执行上述任意一种车牌识别方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中,上述存储介质包括存储的程序。
可选地,在程序运行时控制存储介质所在设备执行以下功能:接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
可选地,在程序运行时控制存储介质所在设备执行以下功能:获取多个样本图像,其中,上述样本图像中至少包括:样本车牌和样本车牌区域;标注上述样本图像中的上述样本车牌和上述样本车牌区域;基于上述标注的样本图像训练得到上述目标检测模型。
可选地,在程序运行时控制存储介质所在设备执行以下功能:控制摄像设备拍摄目标物体得到图像序列,上述目标物体至少包括:车辆;通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
可选地,在程序运行时控制存储介质所在设备执行以下功能:获取上述车牌的长宽尺寸数据和长宽比例;基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
可选地,在程序运行时控制存储介质所在设备执行以下功能:检测上述目标图像的颜色模型是否为RGB颜色模型;在检测结果指示上述颜色模型为上述RGB颜色模型的情况下,将上述目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型。
可选地,在程序运行时控制存储介质所在设备执行以下功能:确定上述车牌的颜色信息;基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理;对进行上述颜色约束处理后的上述目标图像进行图像处理,其中,上述图像处理至少包括:灰度化处理和二值化处理;基于上述左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行二次定位。
根据本申请实施例,还提供了一种处理器实施例。可选地,在本实施例中,上述处理器用于运行程序,其中,上述程序运行时执行上述任意一种车牌识别方法。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
可选地,上述处理器执行程序时,还可以获取多个样本图像,其中,上述样本图像中至少包括:样本车牌和样本车牌区域;标注上述样本图像中的上述样本车牌和上述样本车牌区域;基于上述标注的样本图像训练得到上述目标检测模型。
可选地,上述处理器执行程序时,还可以控制摄像设备拍摄目标物体得到图像序列,上述目标物体至少包括:车辆;通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
可选地,上述处理器执行程序时,还可以获取上述车牌的长宽尺寸数据和长宽比例;基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
可选地,上述处理器执行程序时,还可以检测上述目标图像的颜色模型是否为RGB颜色模型;在检测结果指示上述颜色模型为上述RGB颜色模型的情况下,将上述目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型。
可选地,上述处理器执行程序时,还可以确定上述车牌的颜色信息;基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理;对进行上述颜色约束处理后的上述目标图像进行图像处理,其中,上述图像处理至少包括:灰度化处理和二值化处理;基于上述左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行二次定位。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收待检测的目标图像;采用目标检测模型初次定位上述目标图像中的车牌区域,其中,上述车牌区域中至少包括:车牌;基于目标颜色模型和左右边缘回归模型对上述车牌区域进行二次定位;采用目标神经网络对上述二次定位后的车牌区域进行内容识别,得到上述车牌的车牌信息。
可选地,上述计算机程序产品执行程序时,还可以获取多个样本图像,其中,上述样本图像中至少包括:样本车牌和样本车牌区域;标注上述样本图像中的上述样本车牌和上述样本车牌区域;基于上述标注的样本图像训练得到上述目标检测模型。
可选地,上述计算机程序产品执行程序时,还可以控制摄像设备拍摄目标物体得到图像序列,上述目标物体至少包括:车辆;通过分析处理上述图像序列得到上述目标图像,其中,上述目标图像至少包括:视频图像。
可选地,上述计算机程序产品执行程序时,还可以获取上述车牌的长宽尺寸数据和长宽比例;基于上述长宽尺寸数据和上述长宽比例,对初次定位得到的上述车牌区域进行修正处理。
可选地,上述计算机程序产品执行程序时,还可以检测上述目标图像的颜色模型是否为RGB颜色模型;在检测结果指示上述颜色模型为上述RGB颜色模型的情况下,将上述目标图像的颜色模型从上述RGB颜色模型转换至上述目标颜色模型。
可选地,上述计算机程序产品执行程序时,还可以确定上述车牌的颜色信息;基于上述颜色信息和上述目标颜色模型,对上述目标图像进行颜色约束处理;对进行上述颜色约束处理后的上述目标图像进行图像处理,其中,上述图像处理至少包括:灰度化处理和二值化处理;基于上述左右边缘回归模型对进行上述图像处理后的目标图像中的上述车牌区域进行二次定位。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车牌识别方法,其特征在于,包括:
接收待检测的目标图像;
采用目标检测模型初次定位所述目标图像中的车牌区域,其中,所述车牌区域中至少包括:车牌;
基于目标颜色模型和左右边缘回归模型对所述车牌区域进行二次定位;
采用目标神经网络对所述二次定位后的车牌区域进行内容识别,得到所述车牌的车牌信息。
2.根据权利要求1所述的方法,其特征在于,所述目标检测模型至少包括:YOLO V3目标检测模型;所述目标颜色模型至少包括:六角锥体HSV颜色模型;所述目标神经网络至少包括:基于门控循环单元GRU的目标神经网络。
3.根据权利要求1所述的方法,其特征在于,在接收待检测的目标图像之前,所述方法还包括:
获取多个样本图像,其中,所述样本图像中至少包括:样本车牌和样本车牌区域;
标注所述样本图像中的所述样本车牌和所述样本车牌区域;
基于所述标注的样本图像训练得到所述目标检测模型。
4.根据权利要求1所述的方法,其特征在于,在接收待检测的目标图像之前,所述方法还包括:
控制摄像设备拍摄目标物体得到图像序列,所述目标物体至少包括:车辆;
通过分析处理所述图像序列得到所述目标图像,其中,所述目标图像至少包括:视频图像。
5.根据权利要求1所述的方法,其特征在于,在采用目标颜色模型和左右边缘回归模型对所述车牌区域进行二次定位之前,所述方法还包括:
获取所述车牌的长宽尺寸数据和长宽比例;
基于所述长宽尺寸数据和所述长宽比例,对初次定位得到的所述车牌区域进行修正处理。
6.根据权利要求1所述的方法,其特征在于,在基于目标颜色模型和左右边缘回归模型对所述车牌区域进行二次定位之前,所述方法还包括:
检测所述目标图像的颜色模型是否为RGB颜色模型;
在检测结果指示所述颜色模型为所述RGB颜色模型的情况下,将所述目标图像的颜色模型从所述RGB颜色模型转换至所述目标颜色模型。
7.根据权利要求6所述的方法,其特征在于,基于目标颜色模型和左右边缘回归模型对所述车牌区域进行二次定位,包括:
确定所述车牌的颜色信息;
基于所述颜色信息和所述目标颜色模型,对所述目标图像进行颜色约束处理;
对进行所述颜色约束处理后的所述目标图像进行图像处理,其中,所述图像处理至少包括:灰度化处理和二值化处理;
基于所述左右边缘回归模型对进行所述图像处理后的目标图像中的所述车牌区域进行二次定位。
8.一种车牌识别装置,其特征在于,包括:
接收模块,用于接收待检测的目标图像;
第一定位模块,用于采用目标检测模型初次定位所述目标图像中的车牌区域,其中,所述车牌区域中至少包括:车牌;
第二定位模块,用于基于目标颜色模型和左右边缘回归模型对所述车牌区域进行二次定位;
识别模块,用于采用目标神经网络对所述二次定位后的车牌区域进行内容识别,得到所述车牌的车牌信息。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的车牌识别方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的车牌识别方法。
CN201811573659.0A 2018-12-21 2018-12-21 车牌识别方法及装置 Pending CN109977941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811573659.0A CN109977941A (zh) 2018-12-21 2018-12-21 车牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811573659.0A CN109977941A (zh) 2018-12-21 2018-12-21 车牌识别方法及装置

Publications (1)

Publication Number Publication Date
CN109977941A true CN109977941A (zh) 2019-07-05

Family

ID=67076270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811573659.0A Pending CN109977941A (zh) 2018-12-21 2018-12-21 车牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN109977941A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807459A (zh) * 2019-10-31 2020-02-18 深圳市捷顺科技实业股份有限公司 车牌矫正方法、装置以及可读存储介质
CN112560728A (zh) * 2020-12-22 2021-03-26 上海哔哩哔哩科技有限公司 目标对象识别方法及装置
CN112686252A (zh) * 2020-12-28 2021-04-20 中国联合网络通信集团有限公司 一种车牌检测方法和装置
CN112699813A (zh) * 2020-12-31 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种基于改进mtcnn网络模型的多国车牌定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101261722A (zh) * 2008-01-17 2008-09-10 北京航空航天大学 电子警察后台智能管理和自动实施***
CN101789080A (zh) * 2010-01-21 2010-07-28 上海交通大学 车辆车牌实时定位字符分割的检测方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和***
EP3182334A1 (en) * 2015-12-17 2017-06-21 Xerox Corporation License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101261722A (zh) * 2008-01-17 2008-09-10 北京航空航天大学 电子警察后台智能管理和自动实施***
CN101789080A (zh) * 2010-01-21 2010-07-28 上海交通大学 车辆车牌实时定位字符分割的检测方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和***
EP3182334A1 (en) * 2015-12-17 2017-06-21 Xerox Corporation License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807459A (zh) * 2019-10-31 2020-02-18 深圳市捷顺科技实业股份有限公司 车牌矫正方法、装置以及可读存储介质
CN110807459B (zh) * 2019-10-31 2022-06-17 深圳市捷顺科技实业股份有限公司 车牌矫正方法、装置以及可读存储介质
CN112560728A (zh) * 2020-12-22 2021-03-26 上海哔哩哔哩科技有限公司 目标对象识别方法及装置
CN112560728B (zh) * 2020-12-22 2023-07-11 上海幻电信息科技有限公司 目标对象识别方法及装置
CN112686252A (zh) * 2020-12-28 2021-04-20 中国联合网络通信集团有限公司 一种车牌检测方法和装置
CN112699813A (zh) * 2020-12-31 2021-04-23 哈尔滨市科佳通用机电股份有限公司 一种基于改进mtcnn网络模型的多国车牌定位方法

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
Alvarez et al. Road detection based on illuminant invariance
Alvarez et al. Road scene segmentation from a single image
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
Rotaru et al. Color image segmentation in HSI space for automotive applications
CN109977941A (zh) 车牌识别方法及装置
CN109711264B (zh) 一种公交车道占道检测方法及装置
CN108154102B (zh) 一种道路交通标志识别方法
CN106022232A (zh) 基于深度学习的车牌检测方法
Ajmal et al. A comparison of RGB and HSV colour spaces for visual attention models
CN107480676B (zh) 一种车辆颜色识别方法、装置和电子设备
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN111325769B (zh) 一种目标对象检测方法及装置
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN107665327B (zh) 一种车道线检测方法及装置
Liu et al. Vision-based stop sign detection and recognition system for intelligent vehicles
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN113128507B (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200602

Address after: 207, 5th floor, 101 / F, 1-14 / F, building 4, yard 59, Chemical Road, Chaoyang District, Beijing 100000

Applicant after: BEIJING MIXISLINK TECHNOLOGY Co.,Ltd.

Applicant after: Shenhua hydrogen technology Rugao Co., Ltd

Address before: Room 504, 5th floor, Block C, Zhonghui Square, 11 Dongzhimen South Street, Dongcheng District, Beijing, 100010

Applicant before: BEIJING MIXISLINK TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705