CN113989794A - 一种车牌检测和识别方法 - Google Patents

一种车牌检测和识别方法 Download PDF

Info

Publication number
CN113989794A
CN113989794A CN202111339113.0A CN202111339113A CN113989794A CN 113989794 A CN113989794 A CN 113989794A CN 202111339113 A CN202111339113 A CN 202111339113A CN 113989794 A CN113989794 A CN 113989794A
Authority
CN
China
Prior art keywords
license plate
detection
plate
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111339113.0A
Other languages
English (en)
Other versions
CN113989794B (zh
Inventor
唐自兴
姚顾肖
刘星
马梦雪
孟涛
杨运红
杨亮亮
江发钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Raysharp Technology Co ltd
Original Assignee
Zhuhai Raysharp Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Raysharp Technology Co ltd filed Critical Zhuhai Raysharp Technology Co ltd
Priority to CN202111339113.0A priority Critical patent/CN113989794B/zh
Publication of CN113989794A publication Critical patent/CN113989794A/zh
Application granted granted Critical
Publication of CN113989794B publication Critical patent/CN113989794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车牌检测和识别方法,具体包括:车牌数据集的收集、车牌检测模型训练、车牌识别模型训练、车牌检测和识别等步骤。本车牌检测和识别方法利用训练好的模型对各种场景的数据进行检测,使用单阶段的网络进行检测并增加关键点检测的分支,可以减少计算步骤,在实际应用过程中也可以减少多个步骤抠图缩放操作所消耗的时间,同时提高了车牌检测和识别对场景的适应能力,针对车牌识别要么步骤多以及对国外车牌识别效果不好的情况,本发明使用目标检测的方法来进行车牌的字符识别,不需要分割直接检测所有字符的位置和类别信息,以及对应的自适应车牌矫正方法,可以解决多行字符车牌的矫正。

Description

一种车牌检测和识别方法
技术领域
本发明涉及车牌检测技术领域,具体涉及一种车牌检测和识别方法。
背景技术
基于深度学习技术的发展,图像检测和识别在监控摄像头领域有着广泛的应用,其中基于摄像头的车牌检测和识别技术,也得到广泛的应用,如停车场的自动化管理,高速路口车辆的检索等。
现有车牌检测技术,为了要对车牌进行矫正,需要对关键点检测或者矫正信息进行检测,关键点检测通常使用MTCNN(Multi-task convolutional neural network,多任务卷积神经网络)的方法进行检测得到关键点,车牌识别算法,要么对车牌字符进行分割,然后通过分类网络对字符进行分类识别,要么通过字符识别OCR(Optical CharacterRecognition,光学字符识别)方法对单行的车牌进行识别。但是,通过MTCNN算法进行车牌的检测以及关键点的检测,步骤比较多需要在O层才能提取到关键点,这样不利于板端的应用,需要多次的扣取图片使用多个网络进行推演,以及多次进行候选框的筛选。而通过字符分割的方法进行车牌识别,对于分割的方法由于存在分割的步骤受到光线气候的各种因素,有可能存在字符分割错误的情况导致最终识别错误,而导致识别效果较差。以及还有通过OCR的方法进行字符识别,这种方法对于国外车牌识别效果较差,因为国外车牌存在多行字符的情况。
发明内容
针对现有技术的不足,本发明提出了一种车牌检测和识别方法,利用训练好的模型对各种场景的数据进行检测,并增加关键点检测的分支,可以减少计算步骤,在实际应用过程中也可以减少多个步骤抠图缩放操作所消耗的时间,同时提高了车牌检测和识别对场景的适应能力。
为实现上述技术方案,本发明提供了一种车牌检测和识别方法,具体包括如下步骤:
S1、车牌数据集的收集:通过在互联网上相应的车辆网站上进行爬取数据,以及通过一些已有的大型数据集中进行筛选包含车牌的图片,手工标注一部分数据,用手工标注数据的图片进行模型训练,用训练好的模型去检测未标注的数据,得到未标注数据标签,人工再去纠正模型标注的这部分标签,添加新的数据集到以往数据集中,再次训练模型,不断的循环;
S2、车牌检测模型训练:基于yolov5框架对车牌检测进行训练,并在yolov5目标检测的基础上增加4个关键点检测的分支,4个关键点分别为车牌的4个顶点,同时增加相对应的loss函数,用于对关键点进行回归训;
S3、车牌识别模型训练:通过目标检测算法来对车牌中的字符进行识别,使用图像预处理操作,对车牌识别进行概率的高斯模糊处理,并将不包含车辆的大型数据集中随机图片作为车牌的背景图片,训练时将车牌图片贴到背景图片上以形成送入网络结构的数据;
S4、车牌检测和识别:对车牌进行检测,将检测的图片进行扣取抓图,然后对车牌使用关键点进行矫正得到矫正后车牌,最后通过车牌识别模型对矫正后的图片进行检测得到字符目标位置,对字符目标位置进行排序处理实现车牌识别。
优选的,所述步骤S4具体包括如下步骤:
S41、车牌检测:从视频流中获取原始数据为yuv格式,将yuv数据转换和缩放为AI运算模块支持的格式以及尺寸,并输入至步骤S2和S3中训练好的车牌检测模型和车牌识别模型,使用运算模块进行运算得到模型的输出特征,对输出的特征进行后处理,得到车牌的置信度、位置信息和关键点信息,利用跟踪算法对检测到的车牌位置信息进行跟踪,对于连续的帧进行处理,相同的目标形成相同的id,同时根据同一个id下所有目标的置信度信息,选择最优的目标进行抓拍;
S42、车牌矫正:利用抓拍的图片以及包括车牌位置以及关键点信息对图片矫正,使用仿射变化过程,矫正原始点为车牌在抓拍图片中的位置对应的关键点,使得矫正后的车牌尽量保持原比例;
S43、车牌识别:将矫正好的图片,进行对应的颜色转换,然后将数据送入到AI运算模块中,以及对输出的特征进行后处理操作,得到检测的每一个字符的类别信息和位置信息,将类别信息与预先设置好的字符进行对应能够得到每一个位置的字符信息,以及对于车牌字符依据位置信息进行排序操作,实现车牌识别。
优选的,所述步骤S42中,使用仿射变化过程,矫正原始点为车牌在抓拍图片中的位置对应的关键点的具体方法为:
S421、设定车牌的原始宽高比例和关键点形成的宽高比例相等,则plate_w=norm(point1-point2),plate_h=norm(point1-point3),其中point1为车牌左上角点,point2为车牌右上角点,point3为车牌左下角点,norm为两点距离,plate_w为车牌关键点代表的宽度,plate_h为车牌关键点代表的高度;
S422、将车牌矫正为一个320*160宽高的图像,当plate_w/plate_h<2时矫正为(x0,y0),(x1,y1)两点形成的矩形,其中(x0,y0)=(width/2-(height*plate_w/plate_h)/2,0);(x1,y1)=(width/2+(height*plate_w/plate_h)/2,height);当plate_w/plate_h>=2时矫正为(x2,y2),(x3,y3)两点形成的矩形,其中(x2,y2)=(0,height/2-(width*plate_h/plate_w)/2);(x3,y3)=(width,height/2+(width*plate_h/plate_w)/2),其中,width为前面车牌检测抓图的图片宽度,height为车牌检测抓图的图片高度。
优选的,所述步骤S1中车牌检测标注使用labelme标注工具将车牌标注为1个box和4个point,box为车牌位置的信息,4个poit为车牌中4个关键关键点的位置;车牌识别标注使用labelimg标注工具,标注的内容为每一个字符的位置以及对于的类型,总共类型为数字10个+大写字母26个=36个类别。
优选的,所述步骤S2中基于yolov5框架对车牌检测进行训练的具体方法为:
S21、增加卷积层结构,增加卷积为输入通道为256、输出通道为24、1x1的卷积层,得到输出特征为(N,24,H,W),N为训练时数据的batch大小,24为yolov5中3个anchor乘以关键点特征数目8,H,W分别为特征信息的高度和宽;
S22、增加相对应的loss函数,loss函数采用L2范数作为损失,
Figure BDA0003351788130000031
其中Pre为网络推演的结果,Target为数据集中标注的关键点信息,用于对关键点进行回归训练。
优选的,所述步骤S2中在对关键点进行回归训练时,可以收集一部分没有车牌的各个场景的数据集,将这部分图片合并入标注好的车牌检测数据集中作为背景图片进行训练,用以提高车牌各个场景适应能力和降低未知场景的误报。
优选的,所述步骤S2中,在对关键点进行回归训练时,可将训练好的车牌检测模型对检测存在车牌的图片进行校验,特别的将检测错误的图片提取出来,并将上述数据合并到前面的数据进行训练,训练后可降低对误报情况。
本发明提供的一种车牌检测和识别方法的有益效果在于:
1)本车牌检测和识别方法使用单阶段的网络进行检测,直接输出关点信息不需要多步操作,针对车牌识别要么步骤多以及对国外车牌识别效果不好的情况,本发明使用目标检测的方法来进行车牌的字符识别,不需要分割直接检测所有字符的位置和类别信息,以及对应的自适应车牌矫正方法,可以解决多行字符车牌的矫正;
2)本车牌检测和识别方法通过在单阶段网络中增加关键点检测的分支,可以减少如MTCNN的多阶段的检测方法的计算步骤,在实际应用过程中也可以减少多个步骤抠图缩放操作所消耗的时间,同时增加对误报数据图片的收集再进行训练,提高了车牌检测和识别的对场景的适应能力;
3)本车牌检测和识别方法可以对整个车牌中的所有字符进行同时检测,不需要分割步骤减少因为分割导致的识别错误的情况,并且可以不依赖于字符的位置以及车牌的行数进行识别,可以提高识别效率及准确率;
4)本车牌检测和识别方法利用训练好的模型对各种场景的数据进行检测,特别的对于误报的图片将误报的图片作为难例再次合并到已有的数据集中进行训练,大幅提高了模型的适应能力;
5)本车牌检测和识别方法通过车牌中的4个关键点对车牌进行矫正,使用一种输出图片固定,但是输出车牌位置可变的矫正方法,可以实现对欧洲和美洲车牌存在多行的情况进行准确识别。
附图说明
图1为本发明运行的流程图。
图2为本发明中车牌检测模型训练中的关键点卷积层结构图。
图3为本发明中车牌检测模型训练中降低误报流程图。
图4为本发明中车牌矫正的坐标图。
图5为本发明中车牌检测、车牌矫正和车牌识别的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本发明的保护范围。
实施例:一种车牌检测和识别方法。
参照图1至图5所示,一种车牌检测和识别方法,主要包括:车牌数据集的收集,车牌检测和车牌识别模型训练,车牌检测和车牌识别设备端应用。其中,车牌数据集的收集主要方法为从互联网中直接找到对应场景的图片数据,以及从以后的数据集中提取包含车牌的图片,通过模型进行标注人工进行校验的方法提高标注速度,然后利用前面收集好的数据集使用深度学习框架分别训练车牌检测的模型和车牌识别的模型,将训练好的模型转换到设备端,输入图片数据利用AI运算模块加载车牌检测模型对数据进行运算得到车牌位置信息,利用仿射变化矫正方法对车牌进行自适应的矫正,对矫正好的车牌送入到识别模型中进行识别得到字符的位置类别信息,然后进行排序操作得到车牌的车牌号信息。具体包括如下步骤:
S1、车牌数据集的收集:
车牌检测的图片主要为通过互联网上相应的车辆网站上进行爬取数据,以及通过一些已有的大型数据集中进行筛选包含车牌的图片。车牌识别的图片一部分从互联网上获取单独的车牌图片,一部分为前面车辆图片中将其中车牌的图片内容进行扣取下来。
车牌检测和识别的标注方法主要步骤类似,首先通过手工标注一部分数据,用这部分模型进行训练,用训练好的模型去检测未标注的数据,得到未标注数据标签,人工再去纠正模型标注的这部分标签,添加新的数据集到以往数据集中,再次训练模型,不断的循环。
车牌检测标注使用labelme标注工具,因为要标注车牌的关键点用于后面矫正用。车牌检测主要标注为1个box和4个point,box为车牌位置的信息,4个poit为车牌中4个关键关键点的位置,用于后面车牌矫正用。
车牌识别标注使用labelimg标注工具,标注的内容为每一个字符的位置以及对于的类型,总共类型为数字10个+大写字母26个=36个类别。
S2、车牌检测模型训练:
基于yolov5框架对车牌检测进行训练,由于车牌检测之后需要对车牌进行矫正,因此在yolov5目标检测的基础上,增加4个关键点检测的分支,4个关键点分别为车牌4个顶点,如图2所示,图2为增加卷积层结构,增加卷积为输入通道为256、输出通道为24、1x1的卷积层,得到输出特征为(N,24,H,W),N为训练时数据的batch(批处理)大小,24为yolov5中3个anchor(锚点)乘以关键点特征数目8(一个关键点包含x,y,4个关键点为8),H,W分别为特征信息的高度和宽。同时增加相对应的loss(损失)函数,loss函数采用L2范数作为损失,
Figure BDA0003351788130000051
其中Pre为网络推演的结果,Target为数据集中标注的关键点信息,用于对关键点进行回归训练,通过在单阶段网络中增加关键点检测的分支,可以减少如MTCNN的多阶段的检测方法的计算步骤,在实际应用过程中也可以减少多个步骤抠图缩放操作所消耗的时间,同时增加对误报数据图片的收集再进行训练,提高了车牌检测和识别的对场景的适应能力。
为了提高车牌检测模型的各个场景的适应能力,收集一部分没有车牌的各个场景的数据集,将这部分图片合并入标注好的车牌检测数据集中作为背景图片进行训练,用以提高车牌各个场景适应能力和降低未知场景的误报。对训练好的车牌检测模型会再次训练进行调优降低误报情况,具体为将训练好的车牌检测模型,用来去检测coco数据集这样的较大覆盖范围的数据,对检测存在车牌的图片进行校验,特别的将检测错误的图片提取出来,因为这些图片中存在该模型识别错误的误报数据称为难例,将难例数据合并到前面的数据进行训练,训练后就会降低对这种难例的误报情况,具体流程如图3所示。
S3、车牌识别模型训练:
通过目标检测算法来对车牌中的字符进行识别,主要是针对欧洲和美洲车牌,车牌存在多行字符的情况,通过字符识别(OCR)的方法通常只能对单行的字符进行很好的识别,但是对于多行的识别效果不好,而且由于OCR需要很多的数据集进行训练一般都是需要10万级或者更多才能达到较好的效果,而在训练过程中都是采集真实的数据集,比较难达到这种量级数据。训练过程使用图像预处理操作,如颜色变化,亮度变化,同时禁用左右翻转和上下镜像操作,因为字符翻转了就会存在相互错误识别的情况。为了提高车牌识别在运动情况下的准确率,增加对车牌识别自己进行概率的高斯模糊处理。为了提高字符识别的适应场景,将coco数据集或者不包含车辆的大型数据集中随机图片作为车牌的背景图片,训练时将车牌图片贴到背景图片上用形成送入网络结构的数据。利用训练好的模型对各种场景的数据进行检测,特别的对于误报的图片将误报的图片作为难例再次合并到已有的数据集中进行训练,大幅提高了模型的适应能力。
S4、车牌检测和识别:
车牌检测和识别设备端的应用主要包括,首先对车牌进行检测,将检测的图片进行扣取抓图,然后对车牌使用关键点进行矫正得到矫正后车牌,最后通过车牌识别模型对矫正后的图片进行检测得到字符目标位置,对字符目标位置进行排序处理实现车牌识别,具体包括:
S41、车牌检测:
从视频流中获取原始数据为yuv格式,将yuv数据转换和缩放为AI运算模块支持的格式以及尺寸,并输入至步骤S2和S3中训练好的车牌检测模型和车牌识别模型(训练好的模型转换到板端模型),使用运算模块进行运算得到模型的输出特征,对输出的特征进行后处理,得到车牌的置信度、位置信息和关键点信息。利用跟踪算法对检测到的车牌位置信息进行跟踪,对于连续的帧进行处理,相同的目标形成相同的id,同时根据同一个id下所有目标的置信度信息,选择最优的目标进行抓拍。
S42、车牌矫正:
利用抓拍的图片以及包括车牌位置以及关键点信息对图片矫正,在这里由于嵌入式设备AI运算模块,运算的输入图片需要是固定的,以及同时要保证矫正后的车牌尽量保持不变形的情况,本发明提出一种可变形的矫正方法,即:矫正处理使用仿射变化过程,矫正原始点为车牌在抓拍图片中的位置对应的关键点,矫正车牌的目标点这里为了使得矫正后的车牌尽量保持原比例,以及由于存在双行和三行车牌的存在,矫正的目标点会是一个变化值。具体参照图4所示,设定车牌的原始宽高比例和关键点形成的宽高比例相等,则plate_w=norm(point1-point2),plate_h=norm(point1-point3),其中point1为车牌左上角点,point2为车牌右上角点,point3为车牌左下角点,norm为两点距离,plate_w为车牌关键点代表的宽度,plate_h为车牌关键点代表的高度。将车牌矫正为一个320*160宽高的图像,当plate_w/plate_h<2时矫正为(x0,y0),(x1,y1)两点形成的矩形,其中(x0,y0)=(width/2-(height*plate_w/plate_h)/2,0);(x1,y1)=(width/2+(height*plate_w/plate_h)/2,height);当plate_w/plate_h>=2时矫正为(x2,y2),(x3,y3)两点形成的矩形,其中(x2,y2)=(0,height/2-(width*plate_h/plate_w)/2);(x3,y3)=(width,height/2+(width*plate_h/plate_w)/2),其中,width为前面车牌检测抓图的图片宽度,height为车牌检测抓图的图片高度,通过上述矫正方法可以尽量保持车牌数据为一个保持plate_w/plate_h的比例数据。通过车牌中的4个关键点对车牌进行矫正,使用一种输出图片固定,但是输出车牌位置可变的矫正方法,可以实现对欧洲和美洲车牌存在多行的情况进行准确识别。
S43、车牌识别:
将前面矫正好的图片,进行对应的颜色转换,然后将数据送入到AI运算模块中,以及对输出的特征进行后处理操作,得到检测的每一个字符的类别信息和位置信息,将类别信息与预先设置好的字符进行对应能够得到每一个位置的字符信息,以及对于车牌字符依据位置信息进行排序操作,实现车牌识别。其中欧洲车牌和美洲车牌排序方式不同,欧洲车牌存在多行字符情况,而美洲车牌存在两个小字符组成一列情况,同时美洲存在很多洲车牌中字母O和数字0难以区分,但是存在普遍规律,这里使用一个字符纠错过程对于连续数字中,那么这个字符为数字0,对于连续字母中那么这个为字母O,使用目标检测的方法来进行车牌的字符识别,不需要分割直接检测所有字符的位置和类别信息,以及对应的自适应车牌矫正方法,可以解决多行字符车牌的矫正。
本车牌检测和识别方法使用单阶段的网络进行检测,直接输出关点信息不需要多步操作,针对车牌识别要么步骤多以及对国外车牌识别效果不好的情况,本发明使用目标检测的方法来进行车牌的字符识别,不需要分割直接检测所有字符的位置和类别信息,以及对应的自适应车牌矫正方法,可以解决多行字符车牌的矫正。而且通过在单阶段网络中增加关键点检测的分支,可以减少如MTCNN的多阶段的检测方法的计算步骤,在实际应用过程中也可以减少多个步骤抠图缩放操作所消耗的时间,同时增加对误报数据图片的收集再进行训练,提高了车牌检测和识别的对场景的适应能力。本车牌检测和识别方法还可以对整个车牌中的所有字符进行同时检测,不需要分割步骤减少因为分割导致的识别错误的情况,并且可以不依赖于字符的位置以及车牌的行数进行识别,可以提高识别效率及准确率。本车牌检测和识别方法利用训练好的模型对各种场景的数据进行检测,特别的对于误报的图片将误报的图片作为难例再次合并到已有的数据集中进行训练,大幅提高了模型的适应能力。
以上所述为本发明的较佳实施例而已,但本发明不应局限于该实施例和附图所公开的内容,所以凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。

Claims (7)

1.一种车牌检测和识别方法,其特征在于具体包括如下步骤:
S1、车牌数据集的收集:通过在互联网上相应的车辆网站上进行爬取数据,以及通过一些已有的大型数据集中进行筛选包含车牌的图片,手工标注一部分数据,用手工标注数据的图片进行模型训练,用训练好的模型去检测未标注的数据,得到未标注数据标签,人工再去纠正模型标注的这部分标签,添加新的数据集到以往数据集中,再次训练模型,不断的循环;
S2、车牌检测模型训练:基于yolov5框架对车牌检测进行训练,并在yolov5目标检测的基础上增加4个关键点检测的分支,4个关键点分别为车牌的4个顶点,同时增加相对应的loss函数,用于对关键点进行回归训。
S3、车牌识别模型训练:通过目标检测算法来对车牌中的字符进行识别,使用图像预处理操作,对车牌识别进行概率的高斯模糊处理,并将不包含车辆的大型数据集中随机图片作为车牌的背景图片,训练时将车牌图片贴到背景图片上以形成送入网络结构的数据;
S4、车牌检测和识别:对车牌进行检测,将检测的图片进行扣取抓图,然后对车牌使用关键点进行矫正得到矫正后车牌,最后通过车牌识别模型对矫正后的图片进行检测得到字符目标位置,对字符目标位置进行排序处理实现车牌识别。
2.如权利要求1所述的车牌检测和识别方法,其特征在于,所述步骤S4具体包括如下步骤:
S41、车牌检测:从视频流中获取原始数据为yuv格式,将yuv数据转换和缩放为AI运算模块支持的格式以及尺寸,并输入至步骤S2和S3中训练好的车牌检测模型和车牌识别模型,使用运算模块进行运算得到模型的输出特征,对输出的特征进行后处理,得到车牌的置信度、位置信息和关键点信息,利用跟踪算法对检测到的车牌位置信息进行跟踪,对于连续的帧进行处理,相同的目标形成相同的id,同时根据同一个id下所有目标的置信度信息,选择最优的目标进行抓拍;
S42、车牌矫正:利用抓拍的图片以及包括车牌位置以及关键点信息对图片矫正,使用仿射变化过程,矫正原始点为车牌在抓拍图片中的位置对应的关键点,使得矫正后的车牌尽量保持原比例;
S43、车牌识别:将矫正好的图片,进行对应的颜色转换,然后将数据送入到AI运算模块中,以及对输出的特征进行后处理操作,得到检测的每一个字符的类别信息和位置信息,将类别信息与预先设置好的字符进行对应能够得到每一个位置的字符信息,以及对于车牌字符依据位置信息进行排序操作,实现车牌识别。
3.如权利要求1或2所述的车牌检测和识别方法,其特征在于,所述步骤S42中,使用仿射变化过程,矫正原始点为车牌在抓拍图片中的位置对应的关键点的具体方法为:
S421、设定车牌的原始宽高比例和关键点形成的宽高比例相等,则plate_w=norm(point1-point2),plate_h=norm(point1-point3),其中point1为车牌左上角点,point2为车牌右上角点,point3为车牌左下角点,norm为两点距离,plate_w为车牌关键点代表的宽度,plate_h为车牌关键点代表的高度;
S422、将车牌矫正为一个320*160宽高的图像,当plate_w/plate_h<2时矫正为(x0,y0),(x1,y1)两点形成的矩形,其中(x0,y0)=(width/2-(height*plate_w/plate_h)/2,0);(x1,y1)=(width/2+(height*plate_w/plate_h)/2,height);当plate_w/plate_h>=2时矫正为(x2,y2),(x3,y3)两点形成的矩形,其中(x2,y2)=(0,height/2-(width*plate_h/plate_w)/2);(x3,y3)=(width,height/2+(width*plate_h/plate_w)/2),其中,width为前面车牌检测抓图的图片宽度,height为车牌检测抓图的图片高度。
4.如权利要求1或3所述的车牌检测和识别方法,其特征在于,所述步骤S1中车牌检测标注使用labelme标注工具将车牌标注为1个box和4个point,box为车牌位置的信息,4个poit为车牌中4个关键关键点的位置;车牌识别标注使用labelimg标注工具,标注的内容为每一个字符的位置以及对于的类型,总共类型为数字10个+大写字母26个=36个类别。
5.如权利要求1所述的车牌检测和识别方法,其特征在于,所述步骤S2中基于yolov5框架对车牌检测进行训练的具体方法为:
S21、增加卷积层结构,增加卷积为输入通道为256、输出通道为24、1x1的卷积层,得到输出特征为(N,24,H,W),N为训练时数据的batch大小,24为yolov5中3个anchor乘以关键点特征数目8,H,W分别为特征信息的高度和宽;
S22、增加相对应的loss函数,loss函数采用L2范数作为损失,
Figure FDA0003351788120000021
其中Pre为网络推演的结果,Target为数据集中标注的关键点信息,用于对关键点进行回归训练。
6.如权利要求5所述的车牌检测和识别方法,其特征在于,所述步骤S2中在对关键点进行回归训练时,可以收集一部分没有车牌的各个场景的数据集,将这部分图片合并入标注好的车牌检测数据集中作为背景图片进行训练,用以提高车牌各个场景适应能力和降低未知场景的误报。
7.如权利要求5所述的车牌检测和识别方法,其特征在于,所述步骤S2中,在对关键点进行回归训练时,可将训练好的车牌检测模型对检测存在车牌的图片进行校验,特别的将检测错误的图片提取出来,并将上述数据合并到前面的数据进行训练,训练后可降低对误报情况。
CN202111339113.0A 2021-11-12 2021-11-12 一种车牌检测和识别方法 Active CN113989794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111339113.0A CN113989794B (zh) 2021-11-12 2021-11-12 一种车牌检测和识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111339113.0A CN113989794B (zh) 2021-11-12 2021-11-12 一种车牌检测和识别方法

Publications (2)

Publication Number Publication Date
CN113989794A true CN113989794A (zh) 2022-01-28
CN113989794B CN113989794B (zh) 2022-08-02

Family

ID=79748229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111339113.0A Active CN113989794B (zh) 2021-11-12 2021-11-12 一种车牌检测和识别方法

Country Status (1)

Country Link
CN (1) CN113989794B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937263A (zh) * 2022-05-05 2022-08-23 北京容联易通信息技术有限公司 一种基于视频智能分析的车辆轴数计数方法及***
CN116453103A (zh) * 2023-06-15 2023-07-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备
CN116958952A (zh) * 2023-07-11 2023-10-27 重庆大学 一种适用于高速公路监控视频下的车牌目标检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877050A (zh) * 2009-11-10 2010-11-03 青岛海信网络科技股份有限公司 一种车牌字符的自动提取方法
CN105512657A (zh) * 2015-08-20 2016-04-20 北京旷视科技有限公司 字符识别方法和设备
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技(深圳)有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN111540033A (zh) * 2019-01-18 2020-08-14 北京京东尚科信息技术有限公司 图像制作方法、装置、浏览器、计算机设备及存储介质
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及***
CN112257720A (zh) * 2020-11-20 2021-01-22 北京捍御者信息科技有限公司 提升车牌的中文字符自动检测识别率方法、装置及介质
CN112329881A (zh) * 2020-11-20 2021-02-05 珠海大横琴科技发展有限公司 车牌识别模型训练方法、车牌识别方法及装置
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别***及其方法
CN113052170A (zh) * 2021-03-22 2021-06-29 江苏东大金智信息***有限公司 一种无约束场景下的小目标车牌识别方法
CN113361467A (zh) * 2021-06-30 2021-09-07 电子科技大学 基于领域适应的车牌识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877050A (zh) * 2009-11-10 2010-11-03 青岛海信网络科技股份有限公司 一种车牌字符的自动提取方法
CN105512657A (zh) * 2015-08-20 2016-04-20 北京旷视科技有限公司 字符识别方法和设备
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技(深圳)有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN111540033A (zh) * 2019-01-18 2020-08-14 北京京东尚科信息技术有限公司 图像制作方法、装置、浏览器、计算机设备及存储介质
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及***
CN112257720A (zh) * 2020-11-20 2021-01-22 北京捍御者信息科技有限公司 提升车牌的中文字符自动检测识别率方法、装置及介质
CN112329881A (zh) * 2020-11-20 2021-02-05 珠海大横琴科技发展有限公司 车牌识别模型训练方法、车牌识别方法及装置
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别***及其方法
CN113052170A (zh) * 2021-03-22 2021-06-29 江苏东大金智信息***有限公司 一种无约束场景下的小目标车牌识别方法
CN113361467A (zh) * 2021-06-30 2021-09-07 电子科技大学 基于领域适应的车牌识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DELONG QI ET AL.: ""YOLO5Face: Why Reinventing a Face Detector"", 《ARXIV》, 27 May 2021 (2021-05-27), pages 1 - 8 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937263A (zh) * 2022-05-05 2022-08-23 北京容联易通信息技术有限公司 一种基于视频智能分析的车辆轴数计数方法及***
CN114937263B (zh) * 2022-05-05 2023-02-10 北京容联易通信息技术有限公司 一种基于视频智能分析的车辆轴数计数方法及***
CN116453103A (zh) * 2023-06-15 2023-07-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备
CN116453103B (zh) * 2023-06-15 2023-08-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、***及电子设备
CN116958952A (zh) * 2023-07-11 2023-10-27 重庆大学 一种适用于高速公路监控视频下的车牌目标检测方法
CN116958952B (zh) * 2023-07-11 2024-04-30 重庆大学 一种适用于高速公路监控视频下的车牌目标检测方法

Also Published As

Publication number Publication date
CN113989794B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN113989794B (zh) 一种车牌检测和识别方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪***及方法
CN107480585B (zh) 基于dpm算法的目标检测方法
CN109886978B (zh) 一种基于深度学习的端到端告警信息识别方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN110555464A (zh) 一种基于深度学习模型的车辆颜色识别方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN113255659A (zh) 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN114359088A (zh) 一种对视频特定目标人物进行打码处理的方法
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN113505808B (zh) 基于深度学习用于配电类设施开关检测识别算法
CN112001873B (zh) 一种基于集装箱x射线图像的数据生成方法
CN110766001B (zh) 基于cnn和rnn的银行卡***定位与端到端识别方法
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
Bala et al. Image simulation for automatic license plate recognition
CN114882469B (zh) 一种基于dl-ssd模型的交通标志检测方法及***
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114926829A (zh) 一种证件检测方法、装置、电子设备及存储介质
CN114639013A (zh) 基于改进Orient RCNN模型的遥感图像飞机目标检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant