CN110674821B - 一种非机动车车牌识别方法 - Google Patents

一种非机动车车牌识别方法 Download PDF

Info

Publication number
CN110674821B
CN110674821B CN201910903527.8A CN201910903527A CN110674821B CN 110674821 B CN110674821 B CN 110674821B CN 201910903527 A CN201910903527 A CN 201910903527A CN 110674821 B CN110674821 B CN 110674821B
Authority
CN
China
Prior art keywords
license plate
motor vehicle
digit
character
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910903527.8A
Other languages
English (en)
Other versions
CN110674821A (zh
Inventor
吕浩
章熙
沈伟斌
冯吉红
潘庆
张宸逍
马震威
王效灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201910903527.8A priority Critical patent/CN110674821B/zh
Publication of CN110674821A publication Critical patent/CN110674821A/zh
Application granted granted Critical
Publication of CN110674821B publication Critical patent/CN110674821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种非机动车车牌识别方法，本发明先利用BP神经网络对对非机动车原车牌图像之中的数字进行数字识别，获取数字识别后的非机动车原车牌之中的数字区域。其次对所要识别的目标区域的名称进行搜索和扩展，对扩展后的完整目标区域作为样本输入，并构建Faster R‑CNN网络。然后进行目标区域检测提取。最后对提取到的非机动车目标区域，利用BP神经网络进行字符、数字的识别。本发明不仅保持了深度学习技术在目标检测识别上的优势，有效地增强了对非机动车车牌的目标区域检测的精准度以及检测识别的速度，还提升了BP神经网络对非机动车车牌之中的字符、数字的识别率。

Description

一种非机动车车牌识别方法
技术领域
本发明涉及一种目标检测识别的方法，具体是基于一种目标区域提取结合Faster-RCNN以及BP神经网络识别非机动车车牌字符、数字的方法。
背景技术
非机动车车牌与机动车车牌不同，机动车车牌的格式一般都是蓝底矩形，其上的字符为一个中文字符(一般为省市级的简称)加上一个英文字母，再加上其后五位字符(一般都是由字母和数字所组成)，其车牌除车牌号字符以外的前后左右各位置均无干扰，格式也较为统一。但是，非机动车车牌的格式一般由该市下辖的区名以及一连串数字组成，且该串数字长度不等，譬如某些颜色的非机动车车牌还存在不带市区号的现象，某些颜色的车牌区号用“临时”的字样代替，格式严重不统一，可谓五花八门，且在车牌的顶部位置，往往会出现“XX市”、“XX市交通局”、“电动自行车”等小字字样，若利用传统方法直接对车牌图像进行字符识别，在实践中发现，会出现如下错误：
①扫描字符时提示越界出错。
②扫描字符时误将上面的干扰字符作为车牌字符，识别出错。
③由于干扰字符太多，导致识别的车牌字符(包括数字)准确度降低。
发明内容
针对现有技术的不足，本发明提供了一种目标区域提取结合Faster-RCNN以及BP神经网络先检测提取非机动车车牌的目标区域、再在目标区域上识别非机动车车牌的字符、数字的方法。
本发明先利用特定方法获取到非机动车车牌中所要识别的目标区域，并将其作为样本以便后续训练Faster R-CNN网络，也就是将整个非机动车车牌图像看成一个原始图像，将要识别的非机动车车牌目标区域看成原始图像中所要检测的目标。即先利用BP神经网络识别非机动车车牌中的数字字符，以此获得非机动车车牌中的数字区域，再在该数字区域的基础之上利用边界扩展法，扩展至目标区域；再将该目标区域作为输入样本构建Faster R-CNN网络并在以后的检测中以该网络来检测并获取非机动车车牌的目标区域，然后再利用BP神经网络识别该车牌中的目标区域中的字符、数字。
步骤1、利用BP神经网络对对非机动车原车牌图像之中的数字进行数字识别。
步骤2、获取数字识别后的非机动车原车牌之中的数字区域。
步骤3、对非机动车原车牌图像所要识别的目标区域的名称进行搜索和扩展。
步骤4、对扩展后的完整目标区域作为样本输入，并构建Faster R-CNN网络。
步骤5、利用构建的网络对非机动车原车牌图像进行目标区域检测提取。
步骤6、对提取到的非机动车目标区域，利用BP神经网络进行字符、数字的识别。
本发明将BP神经网络、目标区域截取方法与Faster R-CNN网络方法相结合，不仅保持了深度学习技术在目标检测识别上的优势，有效地增强了对非机动车车牌的目标区域检测的精准度以及检测识别的速度，还提升了BP神经网络对非机动车车牌之中的字符、数字的识别率。
本发明将问题转化为利用Faster R-CNN以及其所带的边框拟合功能对原始的非机动车车牌中的特定目标的检测，实践证明，利用该种方法，可以有效“过滤”非机动车原车牌图像的上下、左右存在的干扰字符、并且提高BP神经网络对非机动车车牌图像之中的字符、数字的识别率。
附图说明
图1为该方法的步骤流程总图；
图2(a)为非机动车原始车牌图像的数字识别图；
图2(b)为图2(a)识别所得的数字区域；
图3为非机动车车牌底色为黄时的原图；
图4(a)为非机动车车牌底色为黄时所截得的数字区域；
图4(b)为非机动车车牌底色为黄时所扩展的非机动车车牌的目标区域；
图5为非机动车车牌底色为白时的原图；
图6为非机动车车牌底色为白时所截得的数字区域；
图7为非机动车车牌底色为白时所扩展的非机动车车牌的目标区域。
具体实施方式
以下结合附图对本发明作进一步说明，如图1所示，本发明具体包括以下步骤：
步骤1：对于所获得的非机动车原车牌图像，判断其底色，若为白，则车牌底色不变，若为黄，则分别将车牌底色转换为白色，并调用它们的图像直方图，设置背景像素的像素均值为N1，字符像素的像素均值为N2，其中(N1>N2)，对于底色为其他颜色的非机动车车牌，若有需要，亦可以将其底色变换为白色，将其字符、数字变换为黑色，此处以底色为白、字符、数字为黑和底色为黄、字符、数字为黑的非机动车车牌为例。
步骤2：识别该非机动车原车牌图像之中的数字，并获得数字区域，见图2(a)和图2(b)。
步骤3：第一次判断位数，若识别的非机动车车牌的底色为白色且所获取的数字区域之中的数字位数大于6位，则丢弃(见图5，若车牌底色为白色时，其上的数字至多为6位，若大于6位，即可判定所获取的非机动车原车牌图像之中的数字区域是错误的)；若识别的非机动车车牌的底色为黄色且所获取的数字区域之中的数字位数大于7位，则丢弃(见图3，若车牌底色为黄色时，其上的数字至多为7位，若大于7位，即可判定所获取的非机动车原车牌图像之中的数字区域是错误的)。
步骤4：第二次判断位数，若识别的非机动车车牌的底色为白色且所获取的数字区域之中的数字位数等于6位，则保留，转到步骤11；若识别的非机动车车牌的底色为黄色且所获取的数字区域之中的数字位数等于7位，则转到步骤10。
步骤5：第三次判断位数，若识别的非机动车车牌的底色为白色且所获取的数字区域之中的数字位数小于6位，则转到步骤7；若识别的非机动车车牌的底色为黄色且所获取的数字区域之中的数字位数小于7位，则转到步骤7。
步骤6：对步骤5中位数有所缺失的车牌，分别先做直方图均衡化、灰度化、边缘检测、以及形态学处理，先从该串缺失数字串的最左侧开始搜索其第一位数字的位置，以白底黑字(即白底非机动车车牌)的车牌为例，首先判断竖直方向上的每一列，若除自己本身以外，一个像素点的周边像素点的像素值σ满足
|σ-N2|<|σ-N1| (I)
的像素个数超过5个，则认为该像素在数字字符之上或数字字符旁边，若该像素所在列的像素值小于200的像素个数超过10个时，判断该像素点已经落在数字字符之上，字符的水平方向也基于此类方法判断。
步骤7：以该像素点为中心点，分别向左、向右进行搜索，直到左边和右边都出现像素值小于200的像素且不满足步骤6中所述条件时，判定这两个像素为该数字字符的边界像素，设这两个像素之间的每个像素点的距离为1，以此计算这两个像素的距离，设为该字符的最大宽度dx。
步骤8：按照步骤6、步骤7的方法迭代搜索，直到对每一个数字字符都得出了它们的最大宽度
Figure BDA0002212573900000031
(其中i表示步骤5中所得的数字字符的位数)，并求它们的平均值，设为
Figure BDA0002212573900000032
步骤9：设一个经验值为θ，阈值为T，此时从步骤5中所得的第一个数字字符的最左侧和最后一个字符的最右侧开始，按照步骤6、步骤7的方法搜索，若获得的字符最大宽度满足式(II)，则可以判断为另一个数字，扩展边界；
Figure BDA0002212573900000041
步骤10：若非机动车车牌的底色为黄色且所获取的数字区域中之中的数字位数正确，则将该图像作为非机动车原车牌之中的目标区域输出；若非机动车车牌的底色为白色且所获取的数字区域中之中的数字位数正确，则继续进行步骤11；否则继续执行步骤5—步骤9。
步骤11：继续按最左边第一位数字的最左侧进行搜索并对该数字字符进行区域标记求和，记为∑x1，若搜索到有像素值满足(I)式，则继续在垂直方向和水平方向按照步骤6的方法进行搜索，若该像素周边的像素值满足(I)式的像素个数小于3个，则按照区域搜索的方法对这些像素进行标记求和，记为∑x2，若
Figure BDA0002212573900000042
则判断该区域为中文字符与数字字符之间的分隔点，否则，以该像素点为中心，进行水平方向的向右搜索，直到出现水平方向上的某一个像素点的八邻域内的像素点的像素值均步满足(I)式为止，以该像素值所在列为分割线，分割车牌，并扩展边界至整个车牌图像的左侧边界，作为最终车牌目标区域，见图4(b)、、图6、图7。
步骤12：将步骤10、步骤11所得的非机动车车牌目标区域在原车牌图像中计算比例、边界角等相关参数，并作为输入Faster R-CNN网络的样本图像，构建的Faster R-CNN网络。
步骤13：再利用构建的Faster R-CNN网络检测并获取非机动车原车牌图像的目标区域。
步骤14：对步骤13中检测所得的非机动车原车车牌图像的目标区域，利用BP神经网络进行非机动车车牌的字符、数字识别。
说明：其中步骤1-步骤11阶段为样本采集阶段，包括数字区域的获得、目标区域的边界扩展、车牌数字位数的判别等；其中步骤12-步骤13阶段为构建网络训练阶段，包括Faster R-CNN网络的构建、利用构建的网络检测非机动车车牌原图像目标区域等；步骤14阶段为非机动车原始车牌图像目标区域字符识别阶段，包括对非机动车车牌原始图像目标区域进行字符、数字识别等。

Claims (1)

1.一种非机动车车牌识别方法，其特征在于：
将整个车牌图像看成一个原始图像，将要识别的非机动车车牌区域看成原始图像中所要检测的目标，利用BP神经网络识别非机动车车牌中的数字字符，以此获得非机动车车牌中的数字区域；
在上述数字区域的基础之上利用边界扩展法，扩展至目标区域；将该目标区域作为输入样本，构建Faster R-CNN网络，并在以后的检测中以该网络来检测非机动车车牌的目标区域；
再利用BP神经网络识别车牌中的目标区域中的字符、数字；
所述的原始图像需要做前处理，具体是：对于所获得的非机动车原始图像，判断其底色，若为白，则车牌底色不变；若为黄，则分别将车牌底色转换为白色，字符和数字转换为黑色，并调用它们的图像直方图，设置背景像素的像素均值为N1，字符像素的像素均值为N2，N1>N2；
所述的利用边界扩展法，扩展至目标区域具体是：
步骤1：第一次判断位数，若识别的车牌为白底车牌且数字位数大于6位，则丢弃；若识别的车牌为黄底车牌且数字位数大于7位，则丢弃；
步骤2：第二次判断位数，若识别的车牌为白底车牌且数字位数等于6位，则保留，转到步骤9；若识别的车牌为黄底车牌且数字位数等于7位，则转到步骤8；
步骤3：第三次判断位数，若识别的车牌为白底车牌且数字位数小于6位，则转到步骤4；若识别的车牌为黄底车牌且数字位数小于7位，则转到步骤4；
步骤4：对步骤3中位数有所缺失的车牌，分别先做直方图均衡化、灰度化、边缘检测、以及形态学处理，先从该串缺失数字串的最左侧开始搜索其第一位数字的位置，以白底黑字的车牌为例，首先判断竖直方向上的每一列，若除自己本身以外，一个像素的周边像素的像素值σ满足公式(I)的像素个数超过5个，
|σ-N2|<|σ-N1| (I)
则认为该像素在数字字符之上或数字字符旁边，若该像素所在列的像素值小于200的像素个数超过10个时，判断该像素点已经落在数字字符之上，字符的水平方向也基于此类方式判断；
步骤5：以该像素点为中心点，分别向左、向右进行搜索，直到左边和右边都出现像素值小于200的像素且不满足步骤4中公式(I)时，判定这两个像素为该数字字符的边界像素，设这两个像素之间的每个像素点的距离为1，以此计算这两个像素的距离，设为该字符的最大宽度dx；
步骤6：按照步骤4、步骤5的方式迭代搜索，直到对每一个数字字符都得出了它们的最大宽度
Figure FDA0003529064090000021
其中i表示步骤3中所得的数字字符的位数，并求它们的平均值，设为
Figure FDA0003529064090000022
步骤7：设一个经验值为θ，阈值为T，此时从步骤3中所得的第一个数字字符的最左侧和最后一个字符的最右侧开始，按照步骤4、步骤5的方式搜索，若获得的字符最大宽度满足式(II)，则判断为另一个数字，扩展边界；
Figure FDA0003529064090000023
步骤8：若非机动车车牌的底色为黄色且所获取的数字区域中之中的数字位数正确，则将该图像作为非机动车原车牌之中的目标区域输出；若非机动车车牌的底色为白色且所获取的数字区域中之中的数字位数正确，则继续进行步骤9；否则继续执行步骤3—步骤7；
步骤9：继续按最左边第一位数字的最左侧进行搜索并对该数字字符进行区域标记求和，记为∑x1，若搜索到有像素值满足(I)式，则继续在垂直方向和水平方向按照步骤4的方式进行搜索，若该像素周边的像素值满足(I)式的像素个数小于3个，则按照区域搜索的方式对这些像素进行标记求和，记为∑x2，若
Figure FDA0003529064090000024
则判断该区域为中文字符与数字字符之间的分隔点；否则，以该像素点为中心，进行水平方向的向右搜索，直到出现水平方向上的某一个像素点的八临域内的像素点像素值均步满足(I)式为止，以该像素值所在列为分割线，分割车牌，并扩展边界至整个车牌图像的左侧边界，作为最终车牌目标区域。
CN201910903527.8A 2019-09-24 2019-09-24 一种非机动车车牌识别方法 Active CN110674821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910903527.8A CN110674821B (zh) 2019-09-24 2019-09-24 一种非机动车车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903527.8A CN110674821B (zh) 2019-09-24 2019-09-24 一种非机动车车牌识别方法

Publications (2)

Publication Number Publication Date
CN110674821A CN110674821A (zh) 2020-01-10
CN110674821B true CN110674821B (zh) 2022-05-03

Family

ID=69078580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903527.8A Active CN110674821B (zh) 2019-09-24 2019-09-24 一种非机动车车牌识别方法

Country Status (1)

Country Link
CN (1) CN110674821B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置
CN112418221A (zh) * 2020-12-02 2021-02-26 福建亿安智能技术有限公司 一种实现非机动车牌识别和定位的方法
WO2022141073A1 (zh) * 2020-12-29 2022-07-07 深圳市锐明技术股份有限公司 车牌识别方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN102708356A (zh) * 2012-03-09 2012-10-03 沈阳工业大学 一种基于复杂背景下的车牌自动定位和识别方法
CN103824078A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 复杂场景多车牌定位方法
CN105894004A (zh) * 2014-12-16 2016-08-24 中防通用电信技术有限公司 一种针对车牌识别***中定位不全车牌的补全技术
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN102708356A (zh) * 2012-03-09 2012-10-03 沈阳工业大学 一种基于复杂背景下的车牌自动定位和识别方法
CN103824078A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 复杂场景多车牌定位方法
CN105894004A (zh) * 2014-12-16 2016-08-24 中防通用电信技术有限公司 一种针对车牌识别***中定位不全车牌的补全技术
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法

Also Published As

Publication number Publication date
CN110674821A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN110674821B (zh) 一种非机动车车牌识别方法
CN109886974B (zh) 一种***去除方法
CN107729899B (zh) 一种车牌号码识别方法及装置
CN107093172B (zh) 文字检测方法及***
dos Santos et al. Text line segmentation based on morphology and histogram projection
US8059868B2 (en) License plate recognition apparatus, license plate recognition method, and computer-readable storage medium
CN108596197B (zh) 一种***匹配方法及装置
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
CN105046252B (zh) 一种人民币冠字码识别方法
CN103824091B (zh) 一种用于智能交通***的车牌识别方法
CN105809138A (zh) 一种基于分块识别的道路警告标志检测与识别方法
CN102750540A (zh) 基于形态滤波增强的最稳定极值区视频文本检测方法
CN104361336A (zh) 一种水下视频图像的文字识别方法
JP5830338B2 (ja) 帳票認識方法および帳票認識装置
CN110309806B (zh) 一种基于视频图像处理的手势识别***及其方法
CN109241973B (zh) 一种纹理背景下的字符全自动软分割方法
CN116071763B (zh) 基于文字识别的教辅图书智能校编***
CN107527056B (zh) 一种基于粗定位车牌的字符分割方法
CN108133216A (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN109635799B (zh) 一种燃气表字轮数字的识别方法
CN113111878B (zh) 一种复杂背景下的红外弱小目标检测方法
EP3051461B1 (en) A computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN105335704B (zh) 一种基于双线性插值的车道线识别方法与装置
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lv Hao

Inventor after: Zhang Xi

Inventor after: Shen Weibin

Inventor after: Feng Jihong

Inventor after: Pan Qing

Inventor after: Zhang Chenxiao

Inventor after: Ma Zhenwei

Inventor after: Wang Xiaoling

Inventor before: Wang Xiaoling

Inventor before: Lv Hao

Inventor before: Zhang Xi

Inventor before: Feng Jihong

Inventor before: Shen Weibin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant