CN110738139B - 一种融合Min-Max目标的NIN车牌识别方法 - Google Patents

一种融合Min-Max目标的NIN车牌识别方法 Download PDF

Info

Publication number
CN110738139B
CN110738139B CN201910917960.7A CN201910917960A CN110738139B CN 110738139 B CN110738139 B CN 110738139B CN 201910917960 A CN201910917960 A CN 201910917960A CN 110738139 B CN110738139 B CN 110738139B
Authority
CN
China
Prior art keywords
license plate
size
convolution kernel
layer
nin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910917960.7A
Other languages
English (en)
Other versions
CN110738139A (zh
Inventor
苏雪平
朱丹尧
陈宁
任劼
高蒙
段嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN201910917960.7A priority Critical patent/CN110738139B/zh
Publication of CN110738139A publication Critical patent/CN110738139A/zh
Application granted granted Critical
Publication of CN110738139B publication Critical patent/CN110738139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合Min‑Max目标的NIN车牌识别方法，首先采用平均值法对彩色原始图像进行灰度化处理及去噪；然后使用Sobel算子检测经处理后的去噪图像边缘，计算每个像素点的灰度值，得到多个单连通区域；计算单连通区域的长度、宽度，根据车牌的特征设定长、宽范围，删除不在此范围的单连通区域，再计算单连通区域的长宽比，删除不符合比例设定的单连通区域，得到车牌区域；对得到的车牌区域使用纵向和横向投影相结合的方法，确定字符边界，对确定边界的字符进行归一化处理，通过融合Min‑Max目标的NIN模型得到车牌识别结果。本发明解决了现有技术中存在的在复杂背景、车牌脏污等情况下，识别率不理想的问题。

Description

一种融合Min-Max目标的NIN车牌识别方法
技术领域
本发明属于车牌识别技术领域，具体涉及一种融合Min-Max目标的NIN车牌识别方法。
背景技术
无论是现在居多的燃油车辆还是未来将要出现的新能源车辆，车牌必不可少，其中车牌识别技术是识别车辆身份的主要手段。虽然车牌识别技术已得到广泛应用，但现有识别技术在复杂背景、车牌脏污等情况下，识别率不理想。针对这些问题，本发明提出融合Min-Max目标的NIN车牌识别方法，其目的是融合Min-Max目标的NIN模型增加网络卷积层的非线性能力、加快训练速度、实现特征的不变性，进而提高复杂场景下车牌识别的准确率。
Network in Network(NIN)模型，首先将传统卷积神经网络(ConvolutionalNeural Network,CNN)中卷积层的单层感知机替换成多层感知机(MultilayerPerceptron，MLP)，增加了网络卷积层的非线性能力；其次将全连接层替换成全局平均池化层，防止过拟合、减小网络的参数数量、加快训练速度。
目标识别的关键是不变的特征，但是当物***置变换、光照变化、形状变化、视角变化时，描述目标的特征向量也会发生相应的改变。然而，若把这些特征向量投影到一个高维特征空间(与特征向量的维数相同)，在空间中会形成一个低维流形。如果当属于每个特定对象的流形变得紧凑，并且两个流形之间的边界变大时，则实现了不变性。融合Min-Max目标的模型训练的特征具有如下两个优点：1)每个目标的流形尽可能紧凑；2)不同目标的流形之间的边界尽可能大。
发明内容
本发明的目的是提供一种融合Min-Max目标的NIN车牌识别方法，解决了现有技术中存在的在复杂背景、车牌脏污等情况下，识别率不理想的问题。
本发明所采用的技术方案是，一种融合Min-Max目标的NIN车牌识别方法，具体按照以下步骤实施：
步骤1、首先采用平均值法对彩色原始图像进行灰度化处理，再利用3*3的高斯平滑与中值滤波进行去噪；
步骤2、首先使用Sobel算子检测经步骤1处理后的去噪图像边缘，其次，计算每个像素点的灰度值，如果灰度大于阈值ε，则认为该像素点为边缘点；采用最大阈值法对检测边缘后的图像进行二值化，并进行形态学处理，得到多个单连通区域；
步骤3、计算单连通区域的长度、宽度，根据车牌的特征设定长、宽范围，删除不在此范围的单连通区域，再计算单连通区域的长宽比，删除不符合比例设定的单连通区域，得到车牌区域；
步骤4、对得到的车牌区域使用纵向和横向投影相结合的方法，确定字符边界，对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符；
步骤5、通过融合Min-Max目标的NIN模型得到车牌识别结果。
本发明的特点还在于，
步骤2具体如下：
步骤2.1、使用Sobel算子检测去噪后的图像边缘，其中两个方向的Sobel算子模板为
Figure BDA0002216656860000031
和
Figure BDA0002216656860000032
步骤2.2、计算每个像素点(x，y)的灰度值Gray，
Figure BDA0002216656860000033
如果灰度值Gray大于阈值ε，则认为该像素点为边缘点；
步骤2.3、进行形态学处理，即先通过膨胀，使其中部分轮廓突出，再腐蚀去掉部分细节，最后再膨胀使轮廓更加明显，得到多个单连通区域。
步骤3具体如下：
步骤3.1、先进行轮廓查找，接着通过计算轮廓面积，按照车牌的长宽比3:1确定图中最有可能是车牌的区域；
步骤3.2、利用霍夫变换检测直线，矫正倾斜的车牌图像；
步骤3.3、对车牌进一步裁剪，通过坐标改变裁剪区域大小，去除边框线及上下铆钉等干扰项，只保留车牌部分；
步骤3.4、对车牌灰度化、二值化处理，设定二值化阈值为170，保留黑底白字的图片。
步骤4具体如下：
步骤4.1、对得到的车牌区域进行纵向投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离，以此为分界线，分别向前、后方向进行切分，定位出字符的左右边界；
步骤4.2、对切分后的字符进行横向投影，确定字符具体的上下边界；
步骤4.3、对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符。
步骤5中融合Min-Max目标的NIN模型具体结构为：包括3个MLP卷积层，1个全局平均池化层，1个Min-Max目标层，1个softmax层，3个MLP卷积层结构相同，每个MLP卷积层共有6层：依次为1个5*5卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层，其中，5*5卷积层可以提取图像的局部特征，1*1卷积层有跨通道交互和信息整合作用，同时还能进行卷积核通道数的降维和升维，减少参数。
步骤5中融合Min-Max目标的NIN模型参数设置如下：
第一个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量160，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量96，扩充像素为0，卷积核的步长为1；
第二个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，充像素为0，积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
第三个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为1，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量10，扩充像素为0，卷积核的步长为1；
Min-Max目标层：
λ＝4×10-6
k＝5。
步骤5中Min-Max目标的全局平均池化层的损失函数如下：
Figure BDA0002216656860000051
其中，I(W，Xi，ci)为样本Xi分类误差，k是指将Min-Max目标嵌入到第k层，φ(Ak，c)为Min-Max目标函数，
Figure BDA0002216656860000052
表示所有训练样本在第k层生成的特征图集合，
Figure BDA0002216656860000053
表示对应的标签集合，λ表示调整权值的超参数，其中，φ(Ak，c)计算公式如下：
Figure BDA0002216656860000054
其中，S(B)为目标流形间的距离，S(W)为目标流形内的距离，
S(W)＝tr(S(w))   (3)
S(B)＝tr(S(B))   (4)
tr()表示矩阵的迹，其中S(W)和S(B)计算公式分别为：
Figure BDA0002216656860000055
Figure BDA0002216656860000056
Figure BDA0002216656860000057
为目标流形内的矩阵，
Figure BDA0002216656860000058
为目标流形间的矩阵，其中，
Figure BDA0002216656860000059
和
Figure BDA00022166568600000510
计算公式为：
Figure BDA00022166568600000511
Figure BDA00022166568600000512
nc＝|πc|,|πc|表示c类的样本集的索引集，n为小批量数据大小，
Figure BDA00022166568600000513
在训练过程中将损失函数嵌入NIN模型的全局平均池化层能够提高目标识别精度。
本发明的有益效果是，一种融合Min-Max目标的NIN车牌识别方法，通过对原始图像进行预处理、检测边缘并二值化、定位车牌区域、分割字符和数字、训练融合Min-Max目标的NIN模型并输出识别结果，可以有效减少噪声干扰、加快训练速度、提高识别的准确率。
附图说明
图1为本发明车牌识别流程图；
图2为本发明中融合Min-Max目标的NIN模型图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种融合Min-Max目标的NIN车牌识别方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、首先采用平均值法对彩色原始图像进行灰度化处理，再利用3*3的高斯平滑与中值滤波进行去噪；
步骤2、首先使用Sobel算子检测经步骤1处理后的去噪图像边缘，其次，计算每个像素点的灰度值，如果灰度大于阈值ε，则认为该像素点为边缘点；采用最大阈值法对检测边缘后的图像进行二值化，并进行形态学处理，得到多个单连通区域，具体如下：
步骤2.1、使用Sobel算子检测去噪后的图像边缘，其中两个方向的Sobel算子模板为
Figure BDA0002216656860000061
和
Figure BDA0002216656860000062
步骤2.2、计算每个像素点(x，y)的灰度值Gray，
Figure BDA0002216656860000063
如果灰度值Gray大于阈值ε，则认为该像素点为边缘点；
步骤2.3、进行形态学处理，即先通过膨胀，使其中部分轮廓突出，再腐蚀去掉部分细节，最后再膨胀使轮廓更加明显，得到多个单连通区域。
步骤3、计算单连通区域的长度、宽度，根据车牌的特征设定长、宽范围，删除不在此范围的单连通区域，再计算单连通区域的长宽比，删除不符合比例设定的单连通区域，得到车牌区域，具体如下：
步骤3.1、先进行轮廓查找，接着通过计算轮廓面积，按照车牌的长宽比3:1确定图中最有可能是车牌的区域；
步骤3.2、利用霍夫变换检测直线，矫正倾斜的车牌图像；
步骤3.3、对车牌进一步裁剪，通过坐标改变裁剪区域大小，去除边框线及上下铆钉等干扰项，只保留车牌部分；
步骤3.4、对车牌灰度化、二值化处理，设定二值化阈值为170，保留黑底白字的图片。
步骤4、对得到的车牌区域使用纵向和横向投影相结合的方法，确定字符边界，对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符，具体如下：
步骤4.1、对得到的车牌区域进行纵向投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离，以此为分界线，分别向前、后方向进行切分，定位出字符的左右边界；
步骤4.2、对切分后的字符进行横向投影，确定字符具体的上下边界；
步骤4.3、对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符。
如图2所示，步骤5、通过融合Min-Max目标的NIN模型得到车牌识别结果，其中融合Min-Max目标的NIN模型具体结构为：包括3个MLP卷积层，1个全局平均池化层，1个Min-Max目标层，1个softmax层，3个MLP卷积层结构相同，每个MLP卷积层共有6层：依次为1个5*5卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层，其中，5*5卷积层可以提取图像的局部特征，1*1卷积层有跨通道交互和信息整合作用，同时还能进行卷积核通道数的降维和升维，减少参数。
步骤5中融合Min-Max目标的NIN模型参数设置如下：
第一个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量160，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量96，扩充像素为0，卷积核的步长为1；
第二个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，充像素为0，积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
第三个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为1，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量10，扩充像素为0，卷积核的步长为1；
Min-Max目标层：
λ＝4×10-6
k＝5。
步骤5中Min-Max目标的全局平均池化层的损失函数如下：
Figure BDA00022166568600000913
其中，I(W，Xi，ci)为样本Xi分类误差，k是指将Min-Max目标嵌入到第k层，φ(Ak，c)为Min-Max目标函数，
Figure BDA0002216656860000091
表示所有训练样本在第k层生成的特征图集合，
Figure BDA0002216656860000092
表示对应的标签集合，λ表示调整权值的超参数，其中，φ(Ak，c)计算公式如下：
Figure BDA0002216656860000093
其中，S(B)为目标流形间的距离，S(W)为目标流形内的距离，
S(W)＝tr(S(w))   (3)
S(B)＝tr(S(B))   (4)
tr()表示矩阵的迹，其中S(W)和S(B)计算公式分别为：
Figure BDA0002216656860000094
Figure BDA0002216656860000095
Figure BDA0002216656860000096
为目标流形内的矩阵，
Figure BDA0002216656860000097
为目标流形间的矩阵，其中，
Figure BDA0002216656860000098
和
Figure BDA0002216656860000099
计算公式为：
Figure BDA00022166568600000910
Figure BDA00022166568600000911
nc＝|πc|,|πc|表示c类的样本集的索引集，n为小批量数据大小，
Figure BDA00022166568600000912
在训练过程中将损失函数嵌入NIN模型的全局平均池化层能够提高目标识别精度。
本发明一种融合Min-Max目标的NIN车牌识别方法，检测边缘过程中，通过最大阈值法产生二值图像，设定阈值为170，像素大于170的部分转换为255，小于的转换为0。形态学操作主要是先通过膨胀，使其中部分轮廓突出，再腐蚀去掉部分细节，最后再膨胀使轮廓更加明显，得到的图像上会分成几个区域。在车牌区域定位时，先进行轮廓查找，接着通过计算轮廓面积，按照车牌的长宽比(3:1)确定图中最有可能是车牌的区域。利用霍夫变换检测直线，矫正倾斜的车牌图像。之后对车牌进一步裁剪，通过坐标改变裁剪区域大小，去除边框线及上下铆钉等干扰项，只保留车牌部分。对车牌灰度化、二值化处理，设定二值化阈值为170，保留黑底白字的图片。
本发明一种融合Min-Max目标的NIN车牌识别方法，运用融合Min-Max目标的NIN模型增加网络卷积层的非线性能力、加快训练速度、实现特征的不变性，进而提高复杂场景下车牌识别的准确率。在开源的车牌数据集CCPD(Chinese City Parking Dataset，其中包含正样本约20万张，负样本约3万张)进行实验，识别率达到97.14％。

Claims (6)

1.一种融合Min-Max目标的NIN车牌识别方法，其特征在于，具体按照以下步骤实施：
步骤1、首先采用平均值法对彩色原始图像进行灰度化处理，再利用3*3的高斯平滑与中值滤波进行去噪；
步骤2、首先使用Sobel算子检测经步骤1处理后的去噪图像边缘，其次，计算每个像素点的灰度值，如果灰度大于阈值ε，则认为该像素点为边缘点；采用最大阈值法对检测边缘后的图像进行二值化，并进行形态学处理，得到多个单连通区域；
步骤3、计算单连通区域的长度、宽度，根据车牌的特征设定长、宽范围，删除不在此范围的单连通区域，再计算单连通区域的长宽比，删除不符合比例设定的单连通区域，得到车牌区域；
步骤4、对得到的车牌区域使用纵向和横向投影相结合的方法，确定字符边界，对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符；
步骤5、通过融合Min-Max目标的NIN模型得到车牌识别结果，融合Min-Max目标的NIN模型具体结构为：包括3个MLP卷积层，1个全局平均池化层，1个Min-Max目标层，1个softmax层，3个MLP卷积层结构相同，每个MLP卷积层共有6层：依次为1个5*5卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层、1个1*1的卷积层、1个Relu非线性层，其中，5*5卷积层可以提取图像的局部特征，1*1卷积层有跨通道交互和信息整合作用，同时还能进行卷积核通道数的降维和升维，减少参数。
2.根据权利要求1所述的一种融合Min-Max目标的NIN车牌识别方法，其特征在于，所述步骤2具体如下：
步骤2.1、使用Sobel算子检测去噪后的图像边缘，其中两个方向的Sobel算子模板为
Figure FDA0004038725090000021
和
Figure FDA0004038725090000022
步骤2.2、计算每个像素点(x,y)的灰度值Gray，
Figure FDA0004038725090000023
如果灰度值Gray大于阈值ε，则认为该像素点为边缘点；
步骤2.3、进行形态学处理，即先通过膨胀，使其中部分轮廓突出，再腐蚀去掉部分细节，最后再膨胀使轮廓更加明显，得到多个单连通区域。
3.根据权利要求2所述的一种融合Min-Max目标的NIN车牌识别方法，其特征在于，所述步骤3具体如下：
步骤3.1、先进行轮廓查找，接着通过计算轮廓面积，按照车牌的长宽比3:1确定图中最有可能是车牌的区域；
步骤3.2、利用霍夫变换检测直线，矫正倾斜的车牌图像；
步骤3.3、对车牌进一步裁剪，通过坐标改变裁剪区域大小，去除边框线及上下铆钉等干扰项，只保留车牌部分；
步骤3.4、对车牌灰度化、二值化处理，设定二值化阈值为170，保留黑底白字的图片。
4.根据权利要求3所述的一种融合Min-Max目标的NIN车牌识别方法，其特征在于，所述步骤4具体如下：
步骤4.1、对得到的车牌区域进行纵向投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离，以此为分界线，分别向前、后方向进行切分，定位出字符的左右边界；
步骤4.2、对切分后的字符进行横向投影，确定字符具体的上下边界；
步骤4.3、对确定边界的字符进行归一化处理，得到像素大小为32*40大小的字符。
5.根据权利要求4所述的一种融合Min-Max目标的NIN车牌识别方法，其特征在于，所述步骤5中融合Min-Max目标的NIN模型参数设置如下：
第一个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量160，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量96，扩充像素为0，卷积核的步长为1；
第二个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为2，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，充像素为0，积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
第三个MLP卷积层：
卷积核大小为5*5，卷积核数量192，扩充像素为1，卷积核的步长为1；
卷积核大小为1*1，卷积核数量192，扩充像素为0，卷积核的步长为1；
卷积核大小为1*1，卷积核数量10，扩充像素为0，卷积核的步长为1；
Min-Max目标层：
λ＝4×10-6
k＝5。
6.根据权利要求5所述的一种融合Min-Max目标的NIN车牌识别方法，其特征在于，所述步骤5中Min-Max目标的全局平均池化层的损失函数如下：
Figure FDA0004038725090000041
其中，I(W，Xi，ci)为样本Xi分类误差，k是指将Min-Max目标嵌入到第k层，φ(Ak，c)为Min-Max目标函数，
Figure FDA0004038725090000042
表示所有训练样本在第k层生成的特征图集合，
Figure FDA0004038725090000043
表示对应的标签集合，λ表示调整权值的超参数，其中，φ(Ak，c)计算公式如下：
Figure FDA0004038725090000044
其中，S(B)为目标流形间的距离，S(W)为目标流形内的距离，
S(W)＝tr(S(w))          (3)
S(B)＝tr(S(B))        (4)
tr()表示矩阵的迹，其中S(W)和S(B)计算公式分别为：
Figure FDA0004038725090000045
Figure FDA0004038725090000046
Figure FDA0004038725090000047
为目标流形内的矩阵，
Figure FDA0004038725090000048
为目标流形间的矩阵，其中，
Figure FDA0004038725090000049
和
Figure FDA00040387250900000410
计算公式为：
Figure FDA00040387250900000411
Figure FDA00040387250900000412
nc＝|πc|，|πc|表示c类的样本集的索引集，n为小批量数据大小，
Figure FDA00040387250900000413
在训练过程中将损失函数嵌入NIN模型的全局平均池化层能够提高目标识别精度。
CN201910917960.7A 2019-09-26 2019-09-26 一种融合Min-Max目标的NIN车牌识别方法 Active CN110738139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910917960.7A CN110738139B (zh) 2019-09-26 2019-09-26 一种融合Min-Max目标的NIN车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910917960.7A CN110738139B (zh) 2019-09-26 2019-09-26 一种融合Min-Max目标的NIN车牌识别方法

Publications (2)

Publication Number Publication Date
CN110738139A CN110738139A (zh) 2020-01-31
CN110738139B true CN110738139B (zh) 2023-04-07

Family

ID=69268221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910917960.7A Active CN110738139B (zh) 2019-09-26 2019-09-26 一种融合Min-Max目标的NIN车牌识别方法

Country Status (1)

Country Link
CN (1) CN110738139B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291806A (zh) * 2020-02-02 2020-06-16 西南交通大学 一种基于卷积神经网络工业产品标签号的识别方法
CN113139921B (zh) * 2021-05-12 2024-03-15 北京京东方光电科技有限公司 图像处理方法、显示装置、电子设备及存储介质
CN113361473B (zh) * 2021-06-30 2023-12-08 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN115131776B (zh) * 2022-04-12 2023-05-12 公安部交通管理科学研究所 一种融合新能源汽车特征的车牌图像字符分类识别方法
CN116311212B (zh) * 2023-05-15 2023-08-18 青岛恒天翼信息科技有限公司 基于高速摄像机实现运动状态下的船号识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108416348A (zh) * 2018-01-29 2018-08-17 重庆邮电大学 基于支持向量机和卷积神经网络的车牌定位识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074078A1 (ja) * 2009-12-15 2011-06-23 キヤノン株式会社 画像処理装置、画像処理方法、撮像システム及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108416348A (zh) * 2018-01-29 2018-08-17 重庆邮电大学 基于支持向量机和卷积神经网络的车牌定位识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈虹 ; 陈蕾 ; 蒋毅 ; .基于边缘检测及数学形态学的快速汽车车牌定位.交通与运输.(第02期),全文. *

Also Published As

Publication number Publication date
CN110738139A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110738139B (zh) 一种融合Min-Max目标的NIN车牌识别方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN109241973B (zh) 一种纹理背景下的字符全自动软分割方法
CN106815583B (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN105989334B (zh) 基于单目视觉的道路检测方法
CN102509112A (zh) 车牌识别方法及其识别***
CN110569782A (zh) 一种基于深度学习目标检测方法
CN111368742B (zh) 基于视频分析的双黄交通标线的重建识别方法及***
CN110751619A (zh) 一种绝缘子缺陷检测方法
Mei et al. A novel framework for container code-character recognition based on deep learning and template matching
CN114387592B (zh) 一种复杂背景下字符定位和识别方法
CN116934762B (zh) 锂电池极片表面缺陷的检测***及方法
Gu et al. Vision-based multi-scaled vehicle detection and distance relevant mix tracking for driver assistance system
Qin et al. Robust and accurate text stroke segmentation
Qian et al. A digit recognition system for paper currency identification based on virtual instruments
Aung et al. Study for license plate detection
CN113128500A (zh) 一种基于Mask-RCNN的非机动车车牌识别方法及***
CN115147823A (zh) 一种高效准确的车牌识别方法
CN111104885A (zh) 基于视频深度学习的车辆识别方法
Shuaishuai et al. Research on License Plate Recognition Algorithm Based on OpenCV
Kim Minimizing Illumination Effect in License Plate Recognition
Wang et al. Improved Object Detection in Forward-Looking Sonar Images with Attention-YOLOv8 and Denoising Algorithms
CN117315702B (zh) 基于集合预测的文本检测方法、***及介质
Martyshkin et al. Research of the Handwriting Recognition Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant