CN116189191A - 一种基于yolov5的可变长车牌识别方法 - Google Patents

一种基于yolov5的可变长车牌识别方法 Download PDF

Info

Publication number
CN116189191A
CN116189191A CN202310219782.7A CN202310219782A CN116189191A CN 116189191 A CN116189191 A CN 116189191A CN 202310219782 A CN202310219782 A CN 202310219782A CN 116189191 A CN116189191 A CN 116189191A
Authority
CN
China
Prior art keywords
license plate
module
picture
data set
license
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310219782.7A
Other languages
English (en)
Inventor
陈琰
谢嘉健
赵瀚霖
许冠超
邱文斌
郑路璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310219782.7A priority Critical patent/CN116189191A/zh
Publication of CN116189191A publication Critical patent/CN116189191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于yolov5的可变长车牌识别方法，包括步骤：车牌定位、车牌纠偏和车牌识别。本发明通过人工筛选获取合格的训练集，训练YOLOV5S神经网络以准确获得车牌定位的结果，再通过训练STN网络对变形扭曲的车牌进行纠正以获得更好的车牌特征，最终通过训练LPRNet网络对车牌进行识别以得到准确的车牌信息。

Description

一种基于yolov5的可变长车牌识别方法
技术领域
本发明涉及车牌号码检测领域，尤其涉及一种基于yolov5的可变长车牌识别方法。
背景技术
随在城市交通管理、视频监控、车辆识别和停车场管理中车牌识别是一项富有挑战而重要的任务，图像的清晰度、光照条件、天气因素、图像形变和车牌字符的多变性使车牌识别问题变的比较复杂。车牌识别技术作为交通管理自动化的重要手段和车辆检测***的一个重要环节。在交通监视和控制中占有很重要的地位。
车牌识别技术的关键在于后面的三部分:车牌定位、车牌字符分割和车牌字符识别。
国内外的技术方案绝大多数都是利用文字纹理在车辆图像中的共性进行定位与识别，如国外的YuntaoCui提出了一种车牌识别***，在车牌定位以后，利用马尔科夫场对车牌特征进行提取和二值化，其重点工作是放在二值化上，最后对其样本的识别达到了较高的识别率；国内都华南理工大学的骆雪超，刘桂雄等提出了一种基于车牌特征信息的二值化的方法，该***对拍照效果较好的车牌的识别率达到96％。
然而现有技术中仍有一些难点需要解决，如：(1)拍摄车牌图像受环境因素干扰，如逆光、晚上光、光学成像发生衍射等，图片的质量很难保证；(2)其它字符区域的干扰，如车牌旁挂其它牌子，则车牌难以准确定位；(3)车牌出现污点变脏，字迹模糊和退色或者车牌磨损厉害，噪声污损严重；(4)车牌部分被遮挡和车牌变形；(5)图像背景复杂和一幅图像多车牌；(6)拍摄到的车牌是运动图像车牌，则车牌照片模糊失真，形成锯齿；(7)新型车牌识别模型迭代重新训练成本大。
发明内容
为克服现有技术的不足，本发明提出一种基于yolov5的可变长车牌识别方法。
本发明的技术方案是这样实现的：一种基于yolov5的可变长车牌识别方法，包括步骤：
S1：车牌定位；
所述S1包括步骤：
S11：数据准备，采集环境复杂多变情况下的车辆照片，制作成图片数据集；通过人工筛选方式，去除图片数据集中不含完整车牌的图片和损坏的图片，剔除相似度较高的图片，并对不同类型的车牌进行人工分类；对图片数据集中的每辆车图片样本，使用labelimg工具进行标签信息的标注，生成标注txt文件，所述txt文件中的数据集格式为yolo格式，txt文件中每行表示一个车牌的信息，包含车牌类别、车牌中心点横坐标、车牌中心点纵坐标、车牌宽度和车牌高度；将图片数据集中的图像分为训练数据集、验证数据集和测试数据集；
S12：训练YOLOV5S模型，所述YOLOV5S模型包括：ConvBNSiLU模块、BottleNeck1模块、BottleNeck2模块、C3模块和SPPF模块，其中所述ConvBNSiLU模块网络结构是由conv卷积层+bn层+silu激活层组成，所述BottleNeck1模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，再通过残差结构与初始输入相加，所述BottleNeck2模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，所述C3模块网络结构结构分为两支，一支经过ConvBNSiLU模块再经过多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，然后将两支进行concat操作，最后再经过ConvBNSiLU模块；所述SPPF模块包括3个串行的最大池化层，最大池化层的池化核大小均为5*5；
S2：车牌纠偏；
所述S2包括步骤：构建基于STN的网络模型结构，所述基于STN的网络输入为U，输出为V，所述基于STN的网络结构包括输入端、Localisation net、Grid generator和Sampler输出端，其中所述Localisation net输入U，输出变化参数Θ，参数Θ用来映射U和V的坐标关系；所述Grid generator根据V中的坐标点和变化参数Θ，计算出V相对于U中的坐标点；所述Sampler输出端根据Grid generator得到的一系列坐标和原图U来填充V；
S3：车牌识别；
所述S3包括步骤：使用LPRNet对车牌进行识别，所述LPRNet包括输入端、Backbone端、Neck端和Head，其中，所述输入端为94*24的RGB图片，所述Backbone端包括Small BasicBlock模块、Convolution、MaxPooling、avg pool、Dropout，所述Neck端通过avg pool层对四个尺度进行融合，所述Head是一个1*1的卷积，输入通道数为448加上预测字母数字的类别数，输出通道数则是预测字母数字的类别数。
进一步地，所述S11中采集环境复杂多变情况下的车辆照片，包括步骤：采集雨天、阴天、倾斜、模糊环境下的车牌照片。
进一步地，所述S11中剔除相似度较高的图片数据，其相似度的计算是通过直方图计算图片的相似度。
进一步地，所述S11中对不同类型的车牌进行人工分类包括步骤：将车牌按照新能源车牌、黄牌、两地牌和普通蓝牌进行人工分类。
进一步地，所述S11中将图片数据集中的图像分为训练数据集、验证数据集和测试数据集，其比例为8∶1∶1。
进一步地，所述S12中YOLOV5S模型的损失函数为：Loss＝λ1Lcls+λ2Lobj+λ3Lloc，其中λ1为0.5，λ2为1、λ3为0.05，Lcls为正样本的分类损失、Lobj为置信度损失、Lloc为正样本的定位损失。
进一步地，所述S12还包括步骤：在训练YOLOV5S模型过程中，通过数据增强方法扩充训练数据集，所述数据增强方法包括图片旋转、图片平移、图片翻折以及图片随机裁剪。
进一步地，所述S12在训练YOLOV5S模型过程中，训练周期为100，learning_rate为0.01，每隔20个epoch调整一次学习率，momentum为0.9，并生成权值文件，挑选出最佳的模型权重参数作为最优yolov5模型的权值，得到最优yolov5模型。
进一步地，本发明一种基于yolov5的可变长车牌识别方法，还包括步骤：后处理解码，使用argmax找到序列中每个位置的最大概率对应的类别，得到一个长度为18的序列，再对这个序列进行去除空白和去重重复，得到一个最终的预测序列。
本发明的有益效果在于，与现有技术相比，本发明通过人工筛选获取合格的训练集，训练YOLOV5S神经网络以准确获得车牌定位的结果，再通过训练STN网络对变形扭曲的车牌进行纠正以获得更好的车牌特征，最终通过训练LPRNet网络对车牌进行识别以得到准确的车牌信息。
附图说明
图1是本发明一种基于yolov5的可变长车牌识别方法流程示意图；
图2是本发明中车牌定位流程示意图；
图3是本发明中数据准备流程示意图；
图4是本发明中YOLOV5S网络结构中BottleNeck1模块结构示意图；
图5是本发明中YOLOV5S网络结构中BottleNeck2模块结构示意图；
图6是本发明中YOLOV5S网络结构中C3模块结构示意图；
图7是本发明中YOLOV5S网络结构中SPPF模块结构示意图；
图8是本发明中STN网络结构图；
图9是本发明中LPRNet网络结构图；
图10是本发明中small basic block网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1、图2和图3，本发明将通过从华南农业大学停车场采集得来视频图像，进行等比例抽帧数，其中每张图像的分辨率为720(宽度)×1160(高)×3(通道)，车辆照片的环境复杂多变(雨天、阴天、倾斜、模糊)情况的照片制作成数据集。然后通过人工筛选的方式，把不含完整车牌，已损坏图片均去除，因通过视频抽帧得到的图片数据，连续图片相似度会很高，故需要剔除相似度较高的图片数据(通过直方图计算图片的相似度的方法)，并对不同类型的车牌进行人工分类(如新能源汽车车牌，黄牌，两地牌，普通蓝牌)。
对每张数据集图片中的每辆车样本，使用labelimg工具进行标签信息的标注，将生成标注txt文件，txt文件中数据集格式为yolo格式，txt文件中每行表示一个车牌的信息，包含车牌类别、车牌中心点横坐标、车牌中心点纵坐标、车牌宽度和车牌高度。将标注好标签的数据集按照一定比例进行随机抽取，将图像分为训练数据集、验证数据集和测试数据集，该比例为8：1：1。
本发明中，YOLOV5S网络结构包括：
ConvBNSiLU模块，其网络结构是由conv卷积层+bn层+silu激活层组成，其中conv卷积层中参数k指的是卷积核，随后的数字是指卷积核大小，s是指stride，随后的数字是指stride大小，p是指padding，随后的数字是指padding大小，c是指输出channal，随后的数字是指channal大小；
BottleNeck1模块，如图4所示，其网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，再通过残差结构与初始输入相加；
BottleNeck2模块，如图5所示，其网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块；
C3模块，如图6所示，其网络结构是由是对残差特征进行学习的主要模块,其结构分为两支,一支经过ConvBNSiLU模块再经过上述指定多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，最后将两支进行concat操作。最后再经过ConvBNSiLU模块；
SPPF模块，如图7所示，其包括3个串行的最大池化层，最大池化层的池化核大小均为5*5。SPPF模块结构共为四支，第一支为经过1*1的ConvBNSiLU模块，第二支为第一支输出再经过一次最大池化层，第三支为第二支输出再经过一次最大池化层，第四支为第三支输出再经过一次最大池化层。最后将四支进行concat操作并再通过1*1的ConvBNSiLU模块。
图4-图7中，k指的是kernel，s指的是stride，p指的是padding，c指的是channel。输入640*640*3jpg图像到ConvBNSiLU(k6,s2,p2,c64)模块，输出得到320*320*64的特征图；再把该输出特征图输入到ConvBNSiLU(k6,s2,p1,c128)模块，输出得到160*160*128的特征图；把该输出特征图输入C3模块(其中BottleNeck选择1结构，重复三次)模块输出得到160*160*128的特征图；把该输出特征图输入ConvBNSiLU(k3,s2,p1,c256)模块输出得到80*80*256的特征图；再把该输出特征图输入C3模块(其中BottleNeck选择1结构，重复六次)模块输出得到80*80*256的特征图。该特征图分作两支，其中一只记作P1，另一支继续输入到ConvBNSiLU(k3,s2,p1,c256)模块输出得到40*40*512的特征图；把该输出特征图输入C3模块(其中BottleNeck选择1结构，重复九次)模块输出得到40*40*512的特征图。该特征图分作两支，其中一只记作P2，另一支继续输入到ConvBNSiLU(k3,s2,p1,c1024)模块输出得到20*20*1024的特征图；再把该输出特征图输入C3模块(其中BottleNeck选择1结构，重复三次)模块输出得到20*20*1024的特征图；再把该输出特征图输入SPPF模块输出得到20*20*1024的特征图；再把该输出特征图输入ConvBNSiLU(k1,s1,p0,c512)模块输出得到20*20*512的特征图。该特征图分作两支，其中一只记作F1，另一支继续输入到Upsample模块进行上采样输出得到40*40*512的特征图；再把该输出特征图输入Concat模块与P2进行特征融合输出得到40*40*512的特征图；再把该输出特征图输入C3模块(其中BottleNeck选择2结构，重复三次)模块输出得到40*40*512的特征图。
YOLOV5S模型损失函数分别由以下组成：分类损失(Classes loss)，采用的是BCEloss，只计算正样本的分类损失；置信度损失(Objectness loss)，采用的依然是BCE loss，指的是网络预测的目标边界框与GT Box的CIoU，这里计算的是所有样本的损失，定位损失(Location loss)，采用的是CIoU loss，只计算正样本的定位损失，
Loss＝λ1Lcls+λ2Lobj+λ3Lloc
其中，lambda为平衡系数，分别为0.5，1和0.05。
在对YOLOV5S模型训练时，把yolov5s预训练权重作为整个网络的训练权重进行训练，在训练过程中，通过数据增强方法扩充训练数据集，所述数据增强方法包括图片旋转、图片平移、图片翻折以及图片随机裁剪。图片旋转是指将图片进行任意角度的旋转；图片平移是指水平或垂直移动图片，使目标位于图片中心位置；图片翻折是指在水平或垂直方向进行翻折；图片随机裁剪是指随机裁剪图片中一部分区域，并将裁剪的区域调整为原始图片的比例大小。通过数据增强方法扩充训练数据集可以减少过拟合，提升模型泛化能力。
YOLOV5S模型训练周期为100，同时生成所需的权值文件。将得到的权值文件中，挑选出训练好后的最佳的模型权重参数作为最优yolov5模型的权值，即可得出最优yolov5模型。
请参见图8，为了解决车牌倾斜变形、拍摄角度不固定对于车牌识别的影响，提高车牌识别应用的鲁棒性和精度，使得网络具备平移、旋转、缩放、剪切不变性。构建基于STN的网络模型结构。STN网络结构主要由输入端，Localisation net,Grid generator,Sampler输出端构成。
Localisation net：是一个自己定义的网络，它输入U，输出变化参数Θ，这个参数用来映射U和V的坐标关系。本发明通过CNN提取图像的特征来预测变换矩阵θ。
Grid generator：根据V中的坐标点和变化参数Θ，计算出V相对于U中的坐标点(理解：比如V中的坐标(1,1)，与变化参数Θ相乘后，得到坐标(1.2，1.6)，即V中坐标(1,1)的像素值等于U中坐标(1.2，1.6)的像素值)。这里是因为V的大小是自己先定义好的，当然可以得到V的所有坐标点，而填充V中每个坐标点的像素值的时候，要从U中去取，所以根据V中每个坐标点和变化参数Θ进行运算，得到一个相对于U的坐标。
Sampler：要做的是填充V，根据Grid generator得到的一系列坐标和原图U(因为像素值要从U中取)来填充，因为计算出来的坐标可能为小数，故本模块要用双线性插值的方法来填充。
STN是可导的网络，所以***后续的LPRNet网络后它可以实现端对端的训练。新的重组网络具备了空间不变性，这让STN之后的网络的训练变得更加容易并提升了网络整体的表现力。
请参见图9，为了解决车牌号码长度不同，多行车牌，新型车牌等这些限制当前车牌识别技术精度的影响，车牌识别模块采用LPRNet(算法，该算法可以做到实时的高质量的，支持可变长车牌车牌识别网络结构。该算法不需要预先进行车牌字符分割，完全可以端到端的训练。因其没有使用rnn网络结构，故足够的轻量化。
LPRNet中的骨干网络如图10所示，其中输入端为94*24的RGB图片，Backbone端主要由Small Basic Block模块，Convolution，MaxPooling，avg pool，Dropout组成。
Neck端为了更好的利用backbone提取的特征，没有采取LPRNet论文中使用一个全连接层提取上下文信息，而是通过用avg pool层对四个尺度进行融合。
Head则是一个1*1的卷积，输入通道数为448加上预测字母数字的类别数(本方法中则是68)，输出通道数则是预测字母数字的类别数。故最后网络最后输出[68，18],其中68代表序列中每个位置字符为相应类别的概率，车牌字符共有68类，18代表字符序列长度。其中Small Basic Block的结构如图7所示。
基于STN的网络模型在训练时，把CCPD数据集训练完的权重作为整个网络的开始训练权重进行训练，在训练过程中，通过数据增强方法扩充训练数据集，所述数据增强方法包括图片旋转、图片平移、图片翻折以及图片随机裁剪。图片旋转是指将图片进行任意角度的旋转；图片平移是指水平或垂直移动图片，使目标位于图片中心位置；图片翻折是指在水平或垂直方向进行翻折；图片随机裁剪是指随机裁剪图片中一部分区域，并将裁剪的区域调整为原始图片的比例大小。通过数据增强方法扩充训练数据集可以减少过拟合，提升模型泛化能力。
Max_epoch为100,learning_rate为0.01，每隔20个epoch调整一次学习率，momentum为0.9，同时生成所需的权值文件。将得到的权值文件中，挑选出训练好后的最佳的模型权重参数作为最优LPRNet模型的权值，即可得出最优yolov5模型。
为了处理不定长序列对齐问题，即得到的预测序列长度和真实gt的序列是不一样长的，导致无法使用交叉熵等一些经典的loss函数。本发明采用CTC Loss。最后为了得到一个最终的预测序列，先用argmax找到序列中每个位置的最大概率对应的类别(贪婪搜索)，得到一个长度为18的序列，再对这个序列进行去除空白(’-‘字符，表示序列的当前位置没有字符)，去重重复(序列的相邻两个位置字符不能重复)，得到一个最终的预测序列。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于yolov5的可变长车牌识别方法，其特征在于，包括步骤：
S1：车牌定位；
所述S1包括步骤：
S11：数据准备，采集环境复杂多变情况下的车辆照片，制作成图片数据集；通过人工筛选方式，去除图片数据集中不含完整车牌的图片和损坏的图片，剔除相似度较高的图片，并对不同类型的车牌进行人工分类；对图片数据集中的每辆车图片样本，使用labelimg工具进行标签信息的标注，生成标注txt文件，所述txt文件中的数据集格式为yolo格式，txt文件中每行表示一个车牌的信息，包含车牌类别、车牌中心点横坐标、车牌中心点纵坐标、车牌宽度和车牌高度；将图片数据集中的图像分为训练数据集、验证数据集和测试数据集；
S12：训练YOLOV5S模型，所述YOLOV5S模型包括：ConvBNSiLU模块、BottleNeck1模块、BottleNeck2模块、C3模块和SPPF模块，其中所述ConvBNSiLU模块网络结构是由conv卷积层+bn层+silu激活层组成，所述BottleNeck1模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，再通过残差结构与初始输入相加，所述BottleNeck2模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，所述C3模块网络结构结构分为两支，一支经过ConvBNSiLU模块再经过多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，然后将两支进行concat操作，最后再经过ConvBNSiLU模块；所述SPPF模块包括3个串行的最大池化层，最大池化层的池化核大小均为5*5；
S2：车牌纠偏；
所述S2包括步骤：构建基于STN的网络模型结构，所述基于STN的网络输入为U，输出为V，所述基于STN的网络结构包括输入端、Localisation net、Grid generator和Sampler输出端，其中所述Localisation net输入U，输出变化参数Θ，参数Θ用来映射U和V的坐标关系；所述Grid generator根据V中的坐标点和变化参数Θ，计算出V相对于U中的坐标点；所述Sampler输出端根据Grid generator得到的一系列坐标和原图U来填充V；
S3：车牌识别；
所述S3包括步骤：使用LPRNet对车牌进行识别，所述LPRNet包括输入端、Backbone端、Neck端和Head，其中，所述输入端为94*24的RGB图片，所述Backbone端包括Small BasicBlock模块、Convolution、MaxPooling、avg pool、Dropout，所述Neck端通过avg pool层对四个尺度进行融合，所述Head是一个1*1的卷积，输入通道数为448加上预测字母数字的类别数，输出通道数则是预测字母数字的类别数。
2.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S11中采集环境复杂多变情况下的车辆照片，包括步骤：采集雨天、阴天、倾斜、模糊环境下的车牌照片。
3.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S11中剔除相似度较高的图片数据，其相似度的计算是通过直方图计算图片的相似度。
4.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S11中对不同类型的车牌进行人工分类包括步骤：将车牌按照新能源车牌、黄牌、两地牌和普通蓝牌进行人工分类。
5.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S11中将图片数据集中的图像分为训练数据集、验证数据集和测试数据集，其比例为8：1：1。
6.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S12中YOLOV5S模型的损失函数为：Loss＝λ1Lcls+λ2Lobj+λ3Lloc，其中λ1为0.5，λ2为1、λ3为0.05，Lcls为正样本的分类损失、Lobj为置信度损失、Lloc为正样本的定位损失。
7.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S12还包括步骤：在训练YOLOV5S模型过程中，通过数据增强方法扩充训练数据集，所述数据增强方法包括图片旋转、图片平移、图片翻折以及图片随机裁剪。
8.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，所述S12在训练YOLOV5S模型过程中，训练周期为100，learning_rate为0.01，每隔20个epoch调整一次学习率，momentum为0.9，并生成权值文件，挑选出最佳的模型权重参数作为最优yolov5模型的权值，得到最优yolov5模型。
9.如权利要求1所述的基于yolov5的可变长车牌识别方法，其特征在于，还包括步骤：后处理解码，使用argmax找到序列中每个位置的最大概率对应的类别，得到一个长度为18的序列，再对这个序列进行去除空白和去重重复，得到一个最终的预测序列。
CN202310219782.7A 2023-03-09 2023-03-09 一种基于yolov5的可变长车牌识别方法 Pending CN116189191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310219782.7A CN116189191A (zh) 2023-03-09 2023-03-09 一种基于yolov5的可变长车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310219782.7A CN116189191A (zh) 2023-03-09 2023-03-09 一种基于yolov5的可变长车牌识别方法

Publications (1)

Publication Number Publication Date
CN116189191A true CN116189191A (zh) 2023-05-30

Family

ID=86440373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310219782.7A Pending CN116189191A (zh) 2023-03-09 2023-03-09 一种基于yolov5的可变长车牌识别方法

Country Status (1)

Country Link
CN (1) CN116189191A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704487A (zh) * 2023-06-12 2023-09-05 三峡大学 一种基于Yolov5s网络和CRNN的车牌检测与识别方法
CN117010459A (zh) * 2023-10-07 2023-11-07 浙江大学 基于模块化和序列化自动生成神经网络的方法
CN117392659A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于无参数注意力机制优化的车辆车牌定位方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704487A (zh) * 2023-06-12 2023-09-05 三峡大学 一种基于Yolov5s网络和CRNN的车牌检测与识别方法
CN116704487B (zh) * 2023-06-12 2024-06-11 三峡大学 一种基于Yolov5s网络和CRNN的车牌检测与识别方法
CN117010459A (zh) * 2023-10-07 2023-11-07 浙江大学 基于模块化和序列化自动生成神经网络的方法
CN117010459B (zh) * 2023-10-07 2024-02-09 浙江大学 基于模块化和序列化自动生成神经网络的方法
CN117392659A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于无参数注意力机制优化的车辆车牌定位方法

Similar Documents

Publication Publication Date Title
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及***
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN116189191A (zh) 一种基于yolov5的可变长车牌识别方法
CN113902915B (zh) 一种基于低光照复杂道路场景下的语义分割方法及***
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN109902609A (zh) 一种基于YOLOv3的交通标志检测与识别方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113255659A (zh) 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN113160062A (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN115424017B (zh) 一种建筑物内外轮廓分割方法、装置及存储介质
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN112163508A (zh) 一种基于真实场景的文字识别方法、***及ocr终端
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及***
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和***
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN114066861B (zh) 一种基于交叉算法边缘检测理论和视觉特征的煤矸识别方法
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN115424243A (zh) 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质
CN114882469A (zh) 一种基于dl-ssd模型的交通标志检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination