CN113052170B - 一种无约束场景下的小目标车牌识别方法 - Google Patents
一种无约束场景下的小目标车牌识别方法 Download PDFInfo
- Publication number
- CN113052170B CN113052170B CN202110300861.1A CN202110300861A CN113052170B CN 113052170 B CN113052170 B CN 113052170B CN 202110300861 A CN202110300861 A CN 202110300861A CN 113052170 B CN113052170 B CN 113052170B
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- plate region
- scene
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 23
- 238000013145 classification model Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013518 transcription Methods 0.000 claims description 5
- 230000035897 transcription Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000010191 image analysis Methods 0.000 abstract description 9
- 238000012937 correction Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000011176 pooling Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。
Description
技术领域
本发明涉及一种无约束场景下的小目标车牌识别方法，属于智能视频和图像分析技术领域。
背景技术
自动车牌识别已在道路交通、停车场、小区中得到广泛应用，然而，这些应用基本都是在限定场景下进行的，主要体现在：对于道路交通、停车场出入口等用于识别车牌的摄像机，在工程实施和安装方面有着严格的要求，并且所拍摄车牌照片都相对正面、清晰，由此才能确保识别的准确率。
在现实情况下，人们常常需要在无约束场景下对小目标车牌进行准确识别，“无约束场景”是指对摄像机的角度、清晰度、光照条件等没有明确要求，照片可能在大角度下拍摄的、图像中的车牌可能会受光照影响甚至是失真的情况；“小目标车牌”是指车牌在整个视频或图像中占比较小，以至于常规算法无法检测出车牌的情况。
无约束场景下的小目标车牌识别是一件极具挑战性的工作，但对于道路交通、公安刑侦等应用有着非常重要的实用价值。。
发明内容
本发明所要解决的技术问题是提供一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，能够有效提高图像分析效率，获得更高的车牌识别精度。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种无约束场景下的小目标车牌识别方法，包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i2；
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；
步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；
步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；
步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；
步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
作为本发明的一种优选技术方案：所述步骤i1包括如下步骤i1-1至步骤i1-2；
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2；
步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。
作为本发明的一种优选技术方案：所述各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。
作为本发明的一种优选技术方案：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；
包含车牌区域图像最小矩形框的回归损失函数：
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度；
车牌区域图像四个角点坐标的检测损失函数：
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，表示x对应的检测损失函数。
作为本发明的一种优选技术方案：还包括如下步骤i1-i2，执行完步骤i1之后，进入步骤i1-i2；
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2；
所述步骤i2包括如下步骤i2-1至步骤i2-4；
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2；
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3；
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4；
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2。
作为本发明的一种优选技术方案：还包括执行如下过程，获得车牌分类模型；
收集指定各种类型的各幅车牌区域分类样本图像，并以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型；
则所述车牌内容识别模型的获得过程中：
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型；
则场景中车牌内容识别的过程中，还包括如下步骤BC，执行完步骤B之后，进入步骤BC；
步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C；
步骤C中，应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
作为本发明的一种优选技术方案，所述车牌分类模型的获得过程中：
收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、以及对比度变化、明度变化、饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
作为本发明的一种优选技术方案：所述步骤B中，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C。
本发明所述一种无约束场景下的小目标车牌识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。
附图说明
图1是本发明所设计无约束场景下的小目标车牌识别方法的流程示意图；
图2是本发明所设计中步骤i2-1至步骤i2-4的流程示意图；
图3是本发明所设计中车牌提取及矫正的应用示意图；
图4是本发明所设计中用于车牌分类的ResNet18网络结构；
图5是本发明所设计中车牌内容识别网络结构；
图6是本发明所设计中的车牌识别结果。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种无约束场景下的小目标车牌识别方法，实际应用当中，具体执行如下步骤i1至步骤i2，获得车牌区域图像检测模型。
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-i2。
实际应用当中，上述步骤i1具体执行如下步骤i1-1至步骤i1-2。
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2。
步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i1-i2。
这里各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。这里的几何畸变会影响样本标注的包围框，为此我们在对图像进行几何畸变的同时，对样本标注的包围框也进行了更新；对于光照畸变与几何畸变联合方法的执行，具体对随机抽取的四张图片首先进行光照畸变和几何畸变(特别地把图片缩小及旋转)，然后再进行随机位置的裁剪拼接合成新的图片；通过这里的方法，将获得大量的“无约束场景下的小目标车牌数据”。
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2。
对于这里的规则，诸如定义长度小于41像素并且宽度小于16像素的车牌为小尺寸范围车牌区域图像，其他的为大尺寸范围车牌区域图像；以及定义倾斜角度超出30度的车牌区域图像和倾斜角度未超出30度的车牌区域图像。
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型。
实际应用当中，如图2所示，具体设计步骤i2包括执行如下步骤i2-1至步骤i2-4。
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2。
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3。
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4。
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2。
对于上述步骤i2中的神经网络训练，实际应用当中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型，其中针对现有深度卷积网络YoloV5所包含的(1)包围框回归(bounding box regression)损失、(2)置信度损失、(3)分类损失，进行进一步应用设计，则包含车牌区域图像最小矩形框的回归损失函数应用如下：
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度。
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度。
车牌区域图像四个角点坐标的检测损失函数应用如下：
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，表示x对应的检测损失函数。
设计中，还加入车牌分类模型的获得，具体设计收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、以及对比度变化、明度变化、饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
对于残差网络ResNet18来说，设计在开源深度学习框架PyTorch上搭建残差网络ResNet18实现车牌分类，ResNet18网络结构如图4所示，ResNet18网络结构分为三个部分：
1)输入部分：是一个尺寸为7x7，步长为2的大卷积核，以及一个尺寸为3x3，步长为2的最大池化组成，通过这一步，一个224x224的输入图像就会变56x56大小的特征图，极大减少了存储所需大小。
2)中间的卷积部分：由4个块block1、block2、block3、block4组成，每个block通过3*3卷积的堆叠2次来实现信息的提取。
3)输出部分：通过全局自适应平滑池化，把所有的特征图拉成1*1，即把1x512x7x7的输入数据拉成1x512x1x1，然后接全连接层输出。
在训练之前需要准备训练数据集和测试集，数据集中的车牌通过resize操作统一为224*224的分辨率大小。除了原始数据集外，额外增加了人工生成的车牌数据并对其进行随机的透视变换与对比度、明度、饱和度变换进行数据增强。数据集准备完成后利用上面的ResNet18继续训练，训练采用交叉熵损失函数CrossEntropyLoss。
此外，还设计执行如下步骤ii1至步骤ii3，获得车牌内容识别模型。
步骤ii1.如图5所示，依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2。
这里的车牌内容识别初始模型，具体描述如下：
1)卷积层：使用深度CNN，对输入图像提取特征，得到特征图。
输入图像在进入卷积层前首先需要作缩放预处理，把车牌图像缩放为32×W×1的分辨率，即32为高，W为宽，可为任意数，1为通道数，表示灰度图像。
卷积运算由标准的CNN模型中的卷积层和最大池化层组成，包含一系列的卷积、最大池化、批量归一化等操作。
不能直接把CNN得到的特征图送入RNN进行训练的，需要进行一些调整，根据特征图提取RNN需要的特征向量序列。提取的特征序列中的向量是在特征图上从左到右按照顺序生成的，用于作为循环层的输入，每个特征向量表示了图像上一定宽度上的特征，默认的宽度是1，也就是单个像素。由于CRNN已将输入图像缩放到同样高度了，因此只需按照一定的宽度提取特征即可。
2)循环层：使用双向RNN(BLSTM)对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布。
一个特征向量就相当于图5循环层中的一个小矩形区域，RNN的目标就是预测这个矩形区域为哪个字符，即根据输入的特征向量，进行预测，得到所有字符的概率分布，这是一个长度为字符类别数的向量，作为CTC层的输入。
3)转录层：将LSTM网络预测的特征序列的结果进行整合，转换为最终输出的结果。
转录层采用CTC Loss损失函数，在训练时其目标是将可能映射(去重、去空)出的标签包含的路径的概率之和最大化(CTC假设每个时间片的输出是相互独立的，则路径的后验概率是每个时间片概率的累积)，在输出时根据给定输入搜索概率最大的路径进行搜索，从而最大可能地映射到正确结果的路径。
步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3。
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型。
对于上述步骤ii1至步骤ii3实现车牌内容识别模型的获得来说，若结合车牌分类模型的应用，则基于步骤ii1的执行，进一步设计执行如下步骤ii2至步骤ii3。
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3。
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型。
则基于所获车牌区域图像检测模型、车牌分类模型、车牌内容识别模型，进一步如图1所示，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别。
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B。
步骤B.如图3所示，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤BC。
步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C。
步骤C.应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码，如图6所示。
上述技术方案所设计一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种无约束场景下的小目标车牌识别方法，其特征在于：包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-i2；
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2；
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；步骤i2包括如下步骤i2-1至步骤i2-4；
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2；
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3；
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4；
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2；
步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；
步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；
步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
2.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i1包括如下步骤i1-1至步骤i1-2；
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2；步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。
3.根据权利要求2所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述指定各图像变形方法包括执行亮度变化、对比度变化、饱和度变化和噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。
4.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；
包含车牌区域图像最小矩形框的回归损失函数：
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度；
车牌区域图像四个角点坐标的检测损失函数：
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，表示x对应的检测损失函数。
5.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：还包括执行如下过程，获得车牌分类模型；
收集指定各种类型的各幅车牌区域分类样本图像，并以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型；
则所述车牌内容识别模型的获得过程中：
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型；
则场景中车牌内容识别的过程中，还包括如下步骤BC，执行完步骤B之后，进入步骤BC；步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C；
步骤C中，应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
6.根据权利要求5所述一种无约束场景下的小目标车牌识别方法，其特征在于，所述车牌分类模型的获得过程中：
收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、对比度变化、明度变化和饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
7.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤B中，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300861.1A CN113052170B (zh) | 2021-03-22 | 2021-03-22 | 一种无约束场景下的小目标车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300861.1A CN113052170B (zh) | 2021-03-22 | 2021-03-22 | 一种无约束场景下的小目标车牌识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052170A CN113052170A (zh) | 2021-06-29 |
| CN113052170B true CN113052170B (zh) | 2023-12-26 |
Family
ID=76513984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110300861.1A Active CN113052170B (zh) | 2021-03-22 | 2021-03-22 | 一种无约束场景下的小目标车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052170B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989794B (zh) * | 2021-11-12 | 2022-08-02 | 珠海安联锐视科技股份有限公司 | 一种车牌检测和识别方法 |
| CN113822278B (zh) * | 2021-11-22 | 2022-02-11 | 松立控股集团股份有限公司 | 一种无受限场景车牌识别方法 |
| CN115100506B (zh) * | 2022-06-27 | 2024-05-24 | 平安银行股份有限公司 | 双录场景下矫正屏幕的图像方法、服务器及*** |
| CN116246209B (zh) * | 2023-03-09 | 2024-02-13 | 彩虹鱼科技(广东)有限公司 | 基于偏移卷积核的广角镜头生物目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018112900A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳先进技术研究院 | 一种车牌识别方法及装置、用户设备 |
| CN109086722A (zh) * | 2018-08-06 | 2018-12-25 | 汉王科技股份有限公司 | 混合车牌识别方法、装置、电子设备 |
| CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
| CN111767944A (zh) * | 2020-05-27 | 2020-10-13 | 重庆大学 | 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法 |
| CN112232240A (zh) * | 2020-10-21 | 2021-01-15 | 南京师范大学 | 一种基于优化交并比函数的道路抛洒物检测与识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704857B (zh) * | 2017-09-25 | 2020-07-24 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
-
2021
- 2021-03-22 CN CN202110300861.1A patent/CN113052170B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018112900A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳先进技术研究院 | 一种车牌识别方法及装置、用户设备 |
| CN109086722A (zh) * | 2018-08-06 | 2018-12-25 | 汉王科技股份有限公司 | 混合车牌识别方法、装置、电子设备 |
| CN110427937A (zh) * | 2019-07-18 | 2019-11-08 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
| CN111767944A (zh) * | 2020-05-27 | 2020-10-13 | 重庆大学 | 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法 |
| CN112232240A (zh) * | 2020-10-21 | 2021-01-15 | 南京师范大学 | 一种基于优化交并比函数的道路抛洒物检测与识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于区域划分和霍夫变换的车牌倾斜校正;王越等;重庆理工大学学报( 自然科学);第31卷(第3期);第97-104页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052170A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052170B (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| US10198657B2 (en) | All-weather thermal-image pedestrian detection method | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| CN113255659B (zh) | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及*** | |
| CN110766020A (zh) | 一种面向多语种自然场景文本检测与识别的***及方法 | |
| WO2023082784A1 (zh) | 一种基于局部特征注意力的行人重识别方法和装置 | |
| CN111709416A (zh) | 车牌定位方法、装置、***及存储介质 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN114429457A (zh) | 一种基于双模态融合的风机叶片缺陷智能检测方法 | |
| CN113989794B (zh) | 一种车牌检测和识别方法 | |
| CN112347805A (zh) | 一种多目标二维码检测识别方法、***、装置及存储介质 | |
| CN111695373A (zh) | 斑马线的定位方法、***、介质及设备 | |
| CN113361467A (zh) | 基于领域适应的车牌识别方法 | |
| CN114550134A (zh) | 基于深度学习的交通标志检测与识别方法 | |
| CN116740652B (zh) | 一种基于神经网络模型的锈斑面积扩大的监测方法与*** | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN112001873B (zh) | 一种基于集装箱x射线图像的数据生成方法 | |
| CN117765485A (zh) | 基于改进的深度残差网络的车型识别方法、装置和设备 | |
| CN112528994A (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别*** | |
| Bala et al. | Image simulation for automatic license plate recognition | |
| CN116503622A (zh) | 基于计算机视觉图像的数据采集读取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |