CN115063785B - 高速公路场景使用目标识别模型定位车牌的方法及装置 - Google Patents

高速公路场景使用目标识别模型定位车牌的方法及装置 Download PDF

Info

Publication number
CN115063785B
CN115063785B CN202210988171.4A CN202210988171A CN115063785B CN 115063785 B CN115063785 B CN 115063785B CN 202210988171 A CN202210988171 A CN 202210988171A CN 115063785 B CN115063785 B CN 115063785B
Authority
CN
China
Prior art keywords
license plate
sample image
image
model
smearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210988171.4A
Other languages
English (en)
Other versions
CN115063785A (zh
Inventor
欧宪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lan You Technology Co Ltd
Original Assignee
Shenzhen Lan You Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lan You Technology Co Ltd filed Critical Shenzhen Lan You Technology Co Ltd
Priority to CN202210988171.4A priority Critical patent/CN115063785B/zh
Publication of CN115063785A publication Critical patent/CN115063785A/zh
Application granted granted Critical
Publication of CN115063785B publication Critical patent/CN115063785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/168—Smoothing or thinning of the pattern; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)

Abstract

本发明公开了高速公路场景使用目标识别模型定位车牌的方法及装置，通过获取目标识别模型的训练样本图像集，训练样本图像集中的样本图像均包括车牌号码区域；根据样本图像中的车牌号码所对应的底色，执行车牌号码涂抹操作以生成车牌涂抹样本图像，对车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；基于更新后的训练样本图像集，训练YOLOV5目标检测模型；获取待定位车牌的输入图像，基于YOLOV5目标检测模型执行车牌定位。与现有技术相比，通过涂抹消除号码可视性，模型训练时减少号码差异性，使得待识别的车牌特征，不会由于车牌内容的差别而影响车牌定位，实现少采集标本及节省模型训练时间。

Description

高速公路场景使用目标识别模型定位车牌的方法及装置
技术领域
本发明涉及车牌定位技术领域，具体而言，涉及一种高速公路场景使用目标识别模型定位车牌的方法及装置。
背景技术
在高速公路场景下分析定位高速行驶车辆的车牌外框，可以帮助行车车牌脱敏或者道路监控等项目使用。通过把高速公路场景下车辆行驶图片制作训练成目标检测模型，放到PC，车机等设备上运行，可以实时对高速上各种车辆的车-牌进行定位，从而进行业务上应用。
现有技术对于车牌的定位不能提取明显的车牌区域的共性特征，导致需要大量的训练时间以及训练样本量，才能获取一定精度以及准确度的车牌定位模型，大大耗费资源。
发明内容
有鉴于此，本发明实施例的目的在于提供去除车牌训练样本的异性特征从而突出共性特征标注成训练测试数据，可以大大减轻采集工作，加快模型训练时间，且提高定位效果。
本发明的第一方面提供了一种高速公路场景使用目标识别模型定位车牌的方法，所述方法包括：
S1，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；
S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；
S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型；
S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位。
进一步，所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：
S201，获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色，并建立第一映射关系；所述底色为所述文字或数字或字母对应的像素的颜色均值；所述第一映射关系包括车牌号、文字或数字或字母的顺序、外接矩形框四个顶点坐标以及底色；
S202，根据所述第一映射关系对所述文字或数字或字母对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像。
进一步，所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：
S211，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；
S212，根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。
进一步，所述对所述涂抹车牌图像执行第一图像处理，包括：
对所述涂抹车牌图像进行按所述YOLOV5目标检测模型训练尺寸进行等比例压缩；
对车牌外框外的部分车身结构一起标注，从而放大标识框，并作为车牌区域特征。
进一步，所述S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型，包括：
按运行端生成对应的YOLOV5目标检测模型，其中，模型原始文件转换成所述运行端硬件运行所需的运行模型。
进一步，所述S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位，包括：
S41，获取模型参数，对所述YOLOV5目标检测模型进行参数设置；所述模型参数包括模型大小、通道数、算力分配；
S42，将所述待定位车牌的输入图像输入至所述YOLOV5目标检测模型，获取不同层的输出结果；所述输出结果包括车牌类别、得分、归一化坐标；
S43，把模型输出结果得分按照第一预设阀值进行过滤，并对过滤后的得分进行排序；计算模型输出结果的交并比，若确定所述交并比超过第二预设阀值，则保留得分高的结果；将所述归一化坐标还原投影到原始图像坐标；
S44，按照原始图像坐标画出方框，并确定所述方框区域为车牌区域。
此外，本发明的第二方面提供了一种高速公路场景使用目标识别模型定位车牌的装置，所述装置包括获取模块、样本处理模块、训练模块以及定位模块，其中：
获取模块，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；
样本处理模块，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；
训练模块，基于更新后的训练样本图像集，训练YOLOV5目标检测模型；
定位模块，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位。
进一步，所述样本处理模块，还用于：
获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述文字或数字或字母的底色对其对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像。
或者，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。
此外，本发明的第三方面提供了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的高速公路场景使用目标识别模型定位车牌的方法。
此外，本发明的第四方面提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上所述的高速公路场景使用目标识别模型定位车牌的。
本发明的方案中，通过获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；基于更新后的训练样本图像集，训练YOLOV5目标检测模型；获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位。通过对于车牌定位模型的训练样本执行车牌涂抹处理，消除号码可视性，目的为了在模型训练和推理过程减少号码差异性，转为共同特性进行处理，使得待识别的车牌特征，不会由于各自文字或字母或数字的差别而导致车牌的特征差异大，从而使得训练样本的数量可以得到大大的减少，从而实现少采集标本及节省模型训练的时间。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例现有技术的现有技术训练样本的标注方式示意图；
图2是本发明实施例公开的同型号的车辆对比示意图；
图3是本发明实施例公开的高速公路场景使用目标识别模型定位车牌的方法的流程示意图；
图4是本发明实施例公开的模糊处理后的车牌区域示意图；
图5是本发明实施例公开的高速公路场景使用目标识别模型定位车牌的装置结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
现有技术的车牌定位方案的训练样本一般是采集大量各种角度，光照，天气等场景的各类车牌（蓝牌，绿牌，黄牌，黑牌，白牌）图片，训练成目标检测模型，再对图片，文件，实时流进行识别。如图1所示，现有技术训练样本的标注方式尽可能贴近车牌外框，参照CCPD开源的图片标注（对原始车牌图像执行了遮挡处理）。
本实施例，如图2所示（对原始车牌图像执行了遮挡处理），通过观察发现一些车牌区域，尤其是同型号的车辆除了车牌号码的不同，其他特征均几乎一致。而这样由于车牌号码的不同会构成特征之间的差异性，导致识别效率低，且这样的训练样本耗时，样本量大。
请参阅图3，图3是本发明实施例公开的一种高速公路场景使用目标识别模型定位车牌的方法的流程示意图。如图3所示，本发明实施例的一种高速公路场景使用目标识别模型定位车牌的方法，所述方法包括：
S1，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域。
具体地，本实施例，对于训练样本的图像集的来源，可以是基于采集的图片或对监控视频抽帧生成。一般在获得训练样本图像集后，需要对于其中的每张图像执行数据增强处理。数据增强处理一般包括：Mosic，主要通过多张的随机拼接，合成一张新的图，进行裁剪，缩放等多种操作，丰富了目标的尺度信息，使得模型对小目标的特征提取能力得到提升；随机透视，包括处理数据增强方式：如旋转，缩放，平移，裁剪，仿射/透视等操作；hsv颜色变换，包括在h（色度）通道，s（饱和度）通道，v（亮度）通道上做模型范围内的随机调整；自适应锚框计算，模型在初始锚点框的基础上输出对应的预测框，计算其与GT框之间的差距，并执行反向更新操作，从而更新整个网络的参数；自适应图片缩放，包括自适应的添加最少的黑边到缩放之后的图片，将填充的区域分散到两边；Resize，包括将原始图像正方形等比例压缩到模型训练大小，例如640*640。
S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集。
进一步，所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：S201，获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色，并建立第一映射关系；所述底色为所述文字或数字或字母对应的像素的颜色均值；所述第一映射关系包括车牌号、文字或数字或字母的顺序、外接矩形框四个顶点坐标以及底色；S202，根据所述第一映射关系对所述文字或数字或字母对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像。
进一步，所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：S211，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；S212，根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。如图4所示，为本实施例模糊处理后的车牌区域（对原始模糊之前的车牌图像执行了遮挡处理）。
具体地，本实施例，提取相同特征值：对车牌号码采用图片底色涂抹，按照唯一性比例将标注框的尺寸放大（框选范围尽可能不造成和其他物体，如广告牌等相似性），加入车身部分元素作为校验误差因素，这样同一款车型共同特征值就可以提取出来。其中，涂抹的方式有两种，可以通过获取车牌图像中的每个车牌文字或数字或字母对应的底色，底色为所述文字或数字或字母对应的像素的颜色均值。比如车牌字母A的底色，即可为在车牌中字母A所在的像素的所在颜色通道（比如RGB）的均值，将该均值确定为对应该字母的底色，并建立第一映射关系，第一映射关系包括车牌号、文字或数字或字母的顺序、外接矩形框四个顶点坐标以及底色。涂抹时，基于该映射关系，可以获取该字母A的外接矩形框的四个顶点坐标，并基于该车牌号中文字或数字或字母的顺序及其各自对应的底色，执行将该矩形框内的像素全部采用上述底色来替代。亦或者，根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，使得字母A的放大模糊，实现涂抹。亦或者，还可以基于人工手动对字母A执行涂抹，即基于上述底色执行字母A的涂抹使得字母A模糊，不可视。
进一步，所述对所述涂抹车牌图像执行第一图像处理，包括：对所述涂抹车牌图像进行按所述YOLOV5目标检测模型训练尺寸进行等比例压缩；对车牌外框外的部分车身结构一起标注，从而放大标识框，并作为车牌区域特征。
具体地，本实施例，在车牌号码底色涂抹后，模型训练和推理过程会对原始图像（如1080P）进行按模型训练尺寸等比例压缩，如1080P的尺寸是1920*1080，训练模型尺寸是640，压缩后尺寸是640*360，模型推理就在640*360这个尺寸进行检测车牌特征，因此车牌压缩后可能和指示牌，路牌在颜色形状上一致，造成误识别。为了解决上述问题，本实施例，通过对车牌外框外的部分车身结构一起标注，这样可以帮助降低误识别率，标注扩大范围首先由人工判断，需和其他物体颜色形状不一致，训练模型完成进行对验证集（由真实使用场景图片组成）进行验证，如果误识别率超过5%，则需要在原来基础上扩大5%的范围，直至误识别率小于5%。
S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型。进一步，所述S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型，包括：按运行端生成对应的YOLOV5目标检测模型，其中，模型原始文件转换成所述运行端硬件运行所需的运行模型。
具体地，本实施例，首先，构建模型，包括：模型参数设置，选择使用与硬件部署模型一致的模型；设置颜色通道，如R代表Red（红色），G代表Green（绿色），B代表Blue（蓝色），模型大小等。自定义学***均分到每个机器训练。YOLOV5：是由UitralyticsLLC公司发布的一种单阶段目标检测算法，对网络的宽度和深度用系数做了缩放，提供速度与精度权衡的多种选择。
而后，执行YOLOV5目标检测模型的网络层训练。训练特定的网络层：可对特定的网络层及参数进行训练，网络层来自模型参数设定；逐层释放：可训练的参数量发生变化，原来的算子不能再用，可释放该算子；逐层冻结：可训练的参数量发生变化，原来的算子不能再用，可冻结该算子；梯度反传：计算完训练流程的loss（损失）后，可对loss进行梯度(偏导数的向量)更新；loss反传：计算完训练流程的loss（损失）后，可对loss进行反传；梯度裁剪：计算完训练流程的loss（损失）后，可对loss进行梯度裁剪；优化器保存及优化：优化器状态保存后为节省内存，映射到cpu，完成载入后再转换后继续执行。
进一步，本实施例，通过标记数据集和训练参数，模型优化策略等送入神经网络架构进行训练，输出结果为模型文件（神经网络中各个神经元之间联接的权重值和各个神经元内的偏置值。保存训练端完整模型:保存评估效果好的模型原始文件，按运行端生成对应的模型:模型原始文件转换成硬件运行所需的运行模型（如int8，fp32，fp16等）。
S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位。
具体地，本实施例，对所述输入图像进行图像预处理操作。通过将输入图像转成B（蓝色）G（绿色）R（红色） 3通道：图片流一般是YUV或RGB，需转换成神经网络需要的BGR格式。Resize：等比压缩，如输入的是1920*1080，按比例压缩图片成640*360。
进一步，所述S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位，包括：S41，获取模型参数，对所述YOLOV5目标检测模型进行参数设置；所述模型参数包括模型大小、通道数、算力分配；S42，将所述待定位车牌的输入图像输入至所述YOLOV5目标检测模型，获取不同层的输出结果；所述输出结果包括车牌类别、得分、归一化坐标；S43，把模型输出结果得分按照第一预设阀值进行过滤，并对过滤后的得分进行排序；计算模型输出结果的交并比，若确定所述交并比超过第二预设阀值，则保留得分高的结果；将所述归一化坐标还原投影到原始图像坐标；S44，按照原始图像坐标画出方框，并确定所述方框区域为车牌区域。
具体地，本实施例，本实施例可以选择第一个n系列的640模型，算力4.5FLOPs（计算量，接近每秒5亿次的浮点运算），可以部署到配置一般的机器或服务器。模型说明：这个640是指640*640，模型训练时会把训练数据集的图片（例如：分辨率1920*1080）压缩成640*640正方形训练图片（训练损失小，可以对应横屏和竖屏的分辨率）。
进一步，本实施例通过获取不同层检出结果包括：获取三种层检出结果：小目标识别结果（小尺度8x8），中等目标识别结果（中尺度16x16）及大目标识别结果（大尺度32x32），结果包括：车牌类别（蓝色，黄色，绿色等），得分，归一化坐标（在图片中的某个矩形中建立一个平面直角坐标系，右为此坐标系x轴正方向，上为此坐标系y轴正方向，矩形内任意一点的坐标都可以用一个坐标的百分比来表示。
进一步，把模型输出结果得分按得分阀值（即第一预设阈值）过滤；把模型输出结果得分排序；计算模型输出结果的交并比，超过交并比阀值（即第二预设阈值）保留得分高的结果：交并比是指对二个预测结果的交集与并集的比值；归一化坐标还原投影到原始图像坐标：将压缩比例还原到用原始图像的长度和宽度进行计算坐标值。按照原始图像坐标画出方框：按照原始图像坐标（x（x坐标），y（y坐标），w（宽度），h（高度））画出方框。其中，交并比阀值（IoU），用相交面积和相并面积的比值来表示，默认是0.45（可配置）。比如对于一1080P图像，框选坐标为（852，668）、（852，710）、（980，668）、（980，710）。由四个点坐标得出的X，Y坐标最大最小值：Xmin：852；Ymin：668；Xmax：980；Ymax：710；图片参数：Width：1920、Height：1080；
由坐标转换成yolov5归一化坐标：
dw = 1. / 1920 宽度比例
dh = 1. / 1080 高度比例
x = (852 + 980) / 2.0 =916 二个X坐标的中间值
y = (668 + 710) / 2.0=689 二个Y坐标的中间值
w = 980- 852=128 二个X坐标的差值，就是框选宽度
h = 710 – 668=42 二个Y坐标的差值，就是框选高度
x = x * dw=916/1920=0.4770833333333333 二个X坐标的中间值除以原始图片高度；
w = w * dw=128/1920=0.0666666666666667 二个X坐标的差值除以原始图片高度；
y = y * dh=689/1080=0.637962962962963二个Y坐标的中间值除以原始图片高度；
h = h * dh=42/1080=0.0388888888888889 二个Y坐标的差值除以原始图片高度；
yolov5归一化坐标（x， y， w， h）：（0.4770833333333333，0.637962962962963，0.06666666666666667，0.03888888888888889）。
进一步，将yolov5归一化坐标转化成原始坐标：
x = 1920*0.4770833333333333=916 二个X坐标的中间值除以原始图片高度
w = 1920*0.0666666666666667=128 二个X坐标的差值除以原始图片高度
y = 1080*0.637962962962963=689 二个Y坐标的中间值除以原始图片高度
h = 1080*0.0388888888888889=42 二个Y坐标的差值除以原始图片高度
xmin=x-w/2=916-128/2=852 ；xmax=x+w/2=916+128/2=980；
ymin= y-h/2=689-42/2=668；ymax= y+h/2=689+42/2=710。
从而推出四个坐标为：（852，668）、（852，710）、（980，668）、（980，710）。
此外，本实施例的第二方面提供了一种高速公路场景使用目标识别模型定位车牌的装置，如图5所示，所述装置包括获取模块10、样本处理模块20、训练模块30以及定位模块40，其中：
获取模块10，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；
样本处理模块20，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；
训练模块30，基于更新后的训练样本图像集，训练YOLOV5目标检测模型；
定位模块40，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位。
进一步，所述样本处理模块20，还用于：获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述文字或数字或字母的底色对其对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像。
或者，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。
此外，本申请实施例还公开了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的高速公路场景使用目标识别模型定位车牌的方法。
此外，本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上所述的高速公路场景使用目标识别模型定位车牌的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种高速公路场景使用目标识别模型定位车牌的方法，其特征在于，所述方法包括：
S1，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；
S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；
S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型；
S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位；
所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：
S201，获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色，并建立第一映射关系；所述底色为所述文字或数字或字母对应的像素的颜色均值；所述第一映射关系包括车牌号、文字或数字或字母的顺序、外接矩形框四个顶点坐标以及底色；
S202，根据所述第一映射关系对所述文字或数字或字母对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像。
2.根据权利要求1所述的高速公路场景使用目标识别模型定位车牌的方法，其特征在于，所述S2，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，包括：
S211，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；
S212，根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。
3.根据权利要求1或2所述的高速公路场景使用目标识别模型定位车牌的方法，其特征在于，对所述车牌涂抹样本图像执行第一图像处理，包括：
对所述涂抹车牌图像进行按所述YOLOV5目标检测模型训练尺寸进行等比例压缩；
对车牌外框外的部分车身结构一起标注，从而放大标识框，并作为车牌区域特征。
4.根据权利要求3所述的高速公路场景使用目标识别模型定位车牌的方法，其特征在于，所述S3，基于更新后的训练样本图像集，训练YOLOV5目标检测模型，包括：
按运行端生成对应的YOLOV5目标检测模型，其中，模型原始文件转换成所述运行端硬件运行所需的运行模型。
5.根据权利要求4所述的高速公路场景使用目标识别模型定位车牌的方法，其特征在于，所述S4，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位，包括：
S41，获取模型参数，对所述YOLOV5目标检测模型进行参数设置；所述模型参数包括模型大小、通道数、算力分配；
S42，将所述待定位车牌的输入图像输入至所述YOLOV5目标检测模型，获取不同层的输出结果；所述输出结果包括车牌类别、得分、归一化坐标；
S43，把模型输出结果得分按照第一预设阀值进行过滤，并对过滤后的得分进行排序；计算模型输出结果的交并比，若确定所述交并比超过第二预设阀值，则保留得分高的结果；将所述归一化坐标还原投影到原始图像坐标；
S44，按照原始图像坐标画出方框，并确定所述方框区域为车牌区域。
6.一种高速公路场景使用目标识别模型定位车牌的装置，所述装置包括获取模块、样本处理模块、训练模块以及定位模块，其中：
获取模块，获取目标识别模型的训练样本图像集，所述训练样本图像集中的样本图像均包括车牌号码区域；
样本处理模块，根据所述样本图像中的车牌号码所对应的底色，执行所述车牌号码的涂抹操作以生成车牌涂抹样本图像，并对所述车牌涂抹样本图像执行第一图像处理，并基于处理后的车牌涂抹样本图像更新所述训练样本图像集；
训练模块，基于更新后的训练样本图像集，训练YOLOV5目标检测模型；
定位模块，获取待定位车牌的输入图像，基于所述YOLOV5目标检测模型执行车牌定位；
所述样本处理模块，还用于：
获取车牌图像中的每个车牌文字或数字或字母对应的外接矩形框，以及所述文字或数字或字母的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述文字或数字或字母的底色对其对应的外接矩形框执行填充涂抹着色，以生成涂抹车牌图像；
或者，获取车牌图像中的每个车牌文字或数字或字母对应的底色；所述底色为所述文字或数字或字母对应的像素的颜色均值；根据所述每个车牌文字或数字或字母对应的底色对所述每个车牌文字或数字或字母执行膨胀处理，以生成涂抹车牌图像。
7.一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的高速公路场景使用目标识别模型定位车牌的方法。
8.一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如权利要求1-5任一项所述的高速公路场景使用目标识别模型定位车牌的方法。
CN202210988171.4A 2022-08-17 2022-08-17 高速公路场景使用目标识别模型定位车牌的方法及装置 Active CN115063785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210988171.4A CN115063785B (zh) 2022-08-17 2022-08-17 高速公路场景使用目标识别模型定位车牌的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210988171.4A CN115063785B (zh) 2022-08-17 2022-08-17 高速公路场景使用目标识别模型定位车牌的方法及装置

Publications (2)

Publication Number Publication Date
CN115063785A CN115063785A (zh) 2022-09-16
CN115063785B true CN115063785B (zh) 2023-01-10

Family

ID=83207491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210988171.4A Active CN115063785B (zh) 2022-08-17 2022-08-17 高速公路场景使用目标识别模型定位车牌的方法及装置

Country Status (1)

Country Link
CN (1) CN115063785B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030247B (zh) * 2023-03-20 2023-06-27 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116958952B (zh) * 2023-07-11 2024-04-30 重庆大学 一种适用于高速公路监控视频下的车牌目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017028587A1 (zh) * 2015-08-14 2017-02-23 杭州海康威视数字技术股份有限公司 车辆监控的方法和装置、处理器、图像采集设备
CN106529592A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于混合特征与灰度投影的车牌识别方法
CN106815583A (zh) * 2017-01-16 2017-06-09 上海理工大学 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN109858542A (zh) * 2019-01-25 2019-06-07 广州云测信息技术有限公司 一种字符识别方法和装置
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN108681693B (zh) * 2018-04-12 2022-04-12 南昌大学 基于可信区域的车牌识别方法
CN112396076A (zh) * 2019-08-15 2021-02-23 杭州海康威视数字技术股份有限公司 车牌图像生成方法、装置及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017028587A1 (zh) * 2015-08-14 2017-02-23 杭州海康威视数字技术股份有限公司 车辆监控的方法和装置、处理器、图像采集设备
CN106529592A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于混合特征与灰度投影的车牌识别方法
CN106815583A (zh) * 2017-01-16 2017-06-09 上海理工大学 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN109858542A (zh) * 2019-01-25 2019-06-07 广州云测信息技术有限公司 一种字符识别方法和装置
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的车牌检测方法的研究及应用;张瑞文;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20210531(第5期);C034-374 *

Also Published As

Publication number Publication date
CN115063785A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN108416377B (zh) 柱状图中的信息提取方法及装置
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及***
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN111797766B (zh) 识别方法、识别装置、计算机可读存储介质和车辆
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN113673541B (zh) 一种用于目标检测的图像样本生成方法及应用
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN105678318A (zh) 交通标牌的匹配方法及装置
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN108460833A (zh) 一种基于bim构建传统建筑数字化保护与修复的信息平台
CN113269161A (zh) 一种基于深度学习的交通标识牌检测方法
CN111626241A (zh) 一种人脸检测方法及装置
CN111666811A (zh) 一种提取交通场景图像中交通标志牌区域方法及***
JP5201184B2 (ja) 画像処理装置及びプログラム
Bala et al. Image simulation for automatic license plate recognition
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
WO2022056875A1 (zh) 一种铭牌图像的分割方法、装置和计算机可读存储介质
CN112532938A (zh) 一种基于大数据技术的视频监控***
CN111325209A (zh) 一种车牌识别方法和***
CN110598697A (zh) 一种基于粗细字符定位的集装箱箱号定位方法
CN106203422B (zh) 基于hsv颜色空间的车牌遮挡检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant