CN107506763B - 一种基于卷积神经网络的多尺度车牌精准定位方法 - Google Patents
一种基于卷积神经网络的多尺度车牌精准定位方法 Download PDFInfo
- Publication number
- CN107506763B CN107506763B CN201710792262.XA CN201710792262A CN107506763B CN 107506763 B CN107506763 B CN 107506763B CN 201710792262 A CN201710792262 A CN 201710792262A CN 107506763 B CN107506763 B CN 107506763B
- Authority
- CN
- China
- Prior art keywords
- license plate
- neural network
- convolutional neural
- scale
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的多尺度车牌精准定位方法,首先构建卷积神经网络对输入图像进行特征提取,然后基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取,最后基于多尺度特征对真正的车牌区域进行识别和精准定位。本发明使用卷积神经网络提取图像特征,识别效果好;对具有不同语义性和分辨率的特征进行了融合,对不同尺度的车牌都具有良好的识别能力;直接对车牌的角点进行预测和推断,构造出能精确覆盖车牌实际区域的四边形,定位精度高。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于卷积神经网络所构建,能对图像中的车牌进行精确定位,并对车牌尺度变化具有高度不变性的车牌检测方法。
背景技术
车牌识别是智能交通的核心技术之一,被广泛地应用于交通监测、道路管理、不停车收费***等领域。车牌识别包含三个步骤:车牌检测、车牌字符分割和车牌字符识别。其中,车牌检测是后续车牌字符分割与识别的基础,决定了整个***的识别性能,被认为是车牌识别中最重要的步骤。因此,设计和实现高性能的车牌检测算法,对车牌识别具有重要的意义。
车牌检测的目标是在输入图像中定位车牌的位置,并通过一定的几何形式对其进行指示。一般来说,车牌检测算法通常先对待检测图像进行特征提取,然后构建分类器基于提取到的特征信息对区域进行判定和识别。
传统车牌检测算法使用的特征可以分为三类。第一类是基于车牌自身结构的特征,如车牌的颜色、形状、对称性、灰度值、长宽比等;第二类是基于车牌字符特性的特征,如车牌字符的线型、长宽比、字符间距等;第三类是图像处理领域较为通用的特征描述算子,如SIFT(Scale Invariant Feature Transform),SURF(Speeded-Up Robust Features)、HOG(Histogram of Oriented Gradient)等。这些特征对于车牌信息具有一定的表达能力,但其设计过程非常复杂、自动化程度低,且通常只能表达较为浅层的信息,鲁棒性和适应性较弱。
此外,传统的车牌检测算法还面临两大挑战:首先,难以对图像中的车牌进行足够精准的定位。由于相机视角和仿射变换的影响,自然场景图像中的车牌往往具有一定程度的形变,其几何形状在图像中由矩形变为一般的四边形,而传统车牌检测算法的检测结果为矩形区域,无法精确覆盖实际的车牌区域,从而产生了检测结果与实际情况的不匹配,通常需要借助其他的方法来进一步对倾斜的车牌进行矫正。其次,难以对不同尺度的车牌进行有效识别。图像中的车牌尺度常常具有较大的差异性,而传统的车牌检测技术通常只对某一尺度范围内的车牌具有较好的检测能力,对尺度差异较大、特别是小尺寸的车牌,其识别效果往往不佳。
发明内容
为了解决以上技术问题,本发明提出了一种基于卷积神经网络的车牌检测方法,能对输入图像中的车牌进行精准定位,并对车牌尺度的变化具有高度的不变性。
本发明所采用的技术方案是:一种基于卷积神经网络的多尺度车牌精准定位方法,其特征在于,包括以下步骤:
步骤1:构建卷积神经网络对输入图像进行特征提取;
步骤2:基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取;
步骤3:基于多尺度特征对真正的车牌区域进行识别和精准定位。
本发明具有以下三个优点:
(1)高识别率;
本发明使用了卷积神经网络对输入图像进行特征提取,自动化程度高,识别效果好。经测试,本方法对车牌的召回率和识别精度均高达99%,且对极端环境的容忍力强,在图像较为模糊、存在噪声干扰的条件下,本方法的性能基本不受影响。
(2)精确定位;
本发明使用角点检测结合对称性约束的策略对车牌角点进行检测和推断,可以得到精确覆盖车牌实际位置的四边形区域。
(3)尺度不变性;
本发明在提取车牌候选区域和识别真正车牌区域时,都对不同层次的特征进行了融合,结合了高层特征的强语义性优势和低层特征的高分辨率优势,增强了***对多尺度目标,特别是小尺寸车牌的处理能力。
附图说明
图1为本发明实施例的整体网络结构示意图;其中,ConN表示卷积神经网络的第N个卷积层,poolN表示卷积神经网络的第N个池化层,fcN表示第N个全连接层;
图2为本发明实施例目标候选区域建议子模块的网络结构示意图;
图3为本发明实施例车牌检测子模块的网络结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1、图2和图3,本发明提供的一种基于卷积神经网络的多尺度车牌精准定位方法,包括以下步骤:
步骤1,构建卷积神经网络对输入图像进行特征提取:
使用5个卷积层对输入图像进行特征提取,每个卷积层后设置一个ReLU(Rectified Linear Unit,线性纠正单元)层对信号进行激活,从而向网络中引入非线性因素;前4个ReLU层后设置池化层进行最大值池化,从而减少需要训练的网络参数数量、降低模型的复杂度。
步骤2,构建目标候选区域建议子模块,基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取,包括以下子步骤:
步骤2.1,使用滑动窗口,对卷积神经网络不同层次上的特征进行提取与融合:
使用3×3的窗口在卷积神经网络所构建的特征映射图上滑动,为了提高对不同尺度车牌的检测能力,同时在第五个卷积层和第四个卷积层对应的特征映射图上进行搜索,从每个位置提取512维的特征矢量,并对两个层次上的特征矢量进行融合。
步骤2.2,对每个融合特征矢量所对应的输入图像区域参照若干具有不同尺度和长宽比的锚点,得到具有不同尺度和长宽比组合的初始车牌候选区域;
对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点,包括128×128、256×256、512×512三种尺度,0.4、0.5、0.6三种长宽比。
步骤2.3,基于提取的特征矢量对每个区域进行分类识别,保留含车牌概率最大的300个区域作为目标候选区域,并使用回归器对区域的位置进行调整:
使用分类器判定各个区域的类别(车牌还是背景),使用回归器对区域的位置进行调整。将被分类器判定为车牌得分最高的300个区域作为最终的车牌候选区域送入车牌检测子模块,进行更进一步的车牌识别和精准定位。
步骤3,构建车牌检测子模块,对真正的车牌区域进行识别和精准定位,包括以下子步骤:
步骤3.1,将目标候选区域建议子模块所提取的车牌候选区域映射到不同层次的特征图上,通过可变大小的池化操作(RoI池化)得到固定维度的特征矢量:
由于卷积神经网络中,高层的特征具有更强的语义性,低层的特征具有更高的分辨率,为了增强***对不同尺度车牌的检测能力,将目标候选区域建议子模块提取的车牌候选区域同时映射到第四个卷积层和第五个卷积层对应的特征图上,经过可变大小的池化操作(RoI池化),对每个候选区域提取两个7×7维度的特征矢量。
步骤3.2,对不同层次的特征进行融合:
对基于第四个卷积层和第五个卷积层所提取到的两个特征矢量进行融合,从而得到既具有强语义性又具备高分辨率的特征。
步骤3.3,基于融合的特征矢量对车牌候选区域进行分类识别,筛选真正的车牌区域,并利用回归器和对称性约束对车牌的角点进行检测和推断,从而得到能精确覆盖车牌实际区域的四边形:
将提取的车牌候选区域特征矢量送入两个并行的全连接层,一个作为分类器判定区域类别(车牌与背景),从而完成对真正车牌区域的识别,一个作为回归器对车牌的位置进行精准定位。
基于四个角点的坐标,便可以得到精确覆盖车牌实际区域的四边形。
具体实施时,本发明所提供方法可基于软件技术实现自动运行流程,也可采用模块化方式实现相应***。
本发明可以在基于卷积神经网络的车牌检测***上实现,***包含以下模块:
第一模块,通过卷积神经网络对输入图像的特征进行提取。
第二模块即目标候选区域建议子模块,使用滑动窗口在不同层次的特征映射图上滑动,提取每个位置的特征矢量对其进行融合,并针对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点得到初始的目标候选区域集合,然后使用分类器对各个区域进行识别,以包含车牌概率最大的300个区域作为提取的车牌候选区域,并使用回归器对区域的位置进行调整。
第三模块即车牌检测子模块,将第二模块所提取的车牌候选区域映射到不同层次的特征图上,通过可变大小的池化操作(RoI池化)得到固定维度的特征矢量,并对不同层次上提取的特征进行融合,得到既具有强语义性又具备高分辨率的特征,然后基于融合的特征矢量对车牌候选区域进行分类识别,筛选真正的车牌区域,并利用回归器和对称性约束对车牌的角点进行检测和推断,从而得到能精确覆盖车牌实际区域的四边形。
本发明使用卷积神经网络提取图像特征,识别效果好;对具有不同语义性和分辨率的特征进行了融合,对不同尺度的车牌都具有良好的识别能力;直接对车牌的角点进行预测和推断,构造出能精确覆盖车牌实际区域的四边形,定位精度高。应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于卷积神经网络的多尺度车牌精准定位方法,其特征在于,包括以下步骤:
步骤1:构建卷积神经网络对输入图像进行特征提取;
使用5个卷积层对输入图像进行特征提取,每个卷积层后设置一个线性纠正单元ReLU层对信号进行激活,从而向网络中引入非线性因素;前4个线性纠正单元ReLU层后设置池化层进行最大值池化;
步骤2:基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取;
步骤2.1:使用滑动窗口,对卷积神经网络不同层次上的特征进行提取与融合;
步骤2.2:对每个融合特征矢量所对应的输入图像区域参照若干具有不同尺度和长宽比的锚点,得到具有不同尺度和长宽比组合的初始车牌候选区域;
步骤2.3:基于融合的特征矢量对每个区域进行分类识别,保留含车牌概率最大的N个区域作为目标候选区域,并使用回归器对区域的位置进行调整;
步骤3:基于多尺度特征对真正的车牌区域进行识别和精准定位;
步骤3的具体实现包括以下子步骤:
步骤3.1:将提取的车牌候选区域映射到不同层次的特征图上,通过可变大小的池化操作得到固定维度的特征矢量;
步骤3.2:对不同层次上的特征进行融合;
步骤3.3:基于融合的特征矢量对车牌候选区域进行分类识别,筛选真正的车牌区域,并利用回归器和对称性约束对车牌的角点进行检测和推断,从而得到能精确覆盖车牌实际区域的四边形;
基于四个角点的坐标,得到精确覆盖车牌实际区域的四边形。
2.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法,其特征在于:步骤2.1中,使用3×3的窗口在卷积神经网络所构建的特征映射图上滑动,同时在第五个卷积层和第四个卷积层对应的特征映射图上进行搜索,从每个位置提取512维的特征矢量,并对两个层次上的特征矢量进行融合。
3.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法,其特征在于:步骤2.2中,对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点,包括128×128、256×256、512×512三种尺度,0.4、0.5、0.6三种长宽比。
4.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法,其特征在于:步骤2.3中,使用分类器判定各个区域的类别,类别包括车牌、背景,使用回归器对区域的位置进行调整;将被分类器判定为车牌得分最高的300个区域作为最终的车牌候选区域,进行更进一步的车牌识别和精准定位。
5.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法,其特征在于:步骤3.1中,将提取的车牌候选区域同时映射到第四个卷积层和第五个卷积层对应的特征图上,经过可变大小的池化操作,对每个候选区域提取两个7×7维度的特征矢量。
6.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法,其特征在于:步骤3.2中,对基于第四个卷积层和第五个卷积层所提取到的两个特征矢量进行融合,从而得到既具有强语义性又具备高分辨率的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710792262.XA CN107506763B (zh) | 2017-09-05 | 2017-09-05 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710792262.XA CN107506763B (zh) | 2017-09-05 | 2017-09-05 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107506763A CN107506763A (zh) | 2017-12-22 |
CN107506763B true CN107506763B (zh) | 2020-12-01 |
Family
ID=60694913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710792262.XA Active CN107506763B (zh) | 2017-09-05 | 2017-09-05 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107506763B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108444447B (zh) * | 2018-02-28 | 2020-09-25 | 哈尔滨工程大学 | 一种用于水下避障***中的渔网实时自主检测方法 |
CN110363211B (zh) * | 2018-04-10 | 2022-05-03 | 北京四维图新科技股份有限公司 | 检测网络模型和目标检测方法 |
CN108694401B (zh) * | 2018-05-09 | 2021-01-12 | 北京旷视科技有限公司 | 目标检测方法、装置及*** |
CN108830182B (zh) * | 2018-05-28 | 2020-08-07 | 浙江工商大学 | 一种基于级联卷积神经网络的道线检测方法 |
US11651206B2 (en) | 2018-06-27 | 2023-05-16 | International Business Machines Corporation | Multiscale feature representations for object recognition and detection |
CN109034152A (zh) * | 2018-07-17 | 2018-12-18 | 广东工业大学 | 基于lstm-cnn组合模型的车牌定位方法及装置 |
CN109190687A (zh) * | 2018-08-16 | 2019-01-11 | 新智数字科技有限公司 | 一种神经网络***及其识别车辆属性的方法 |
TWI677826B (zh) | 2018-09-19 | 2019-11-21 | 國家中山科學研究院 | 車牌辨識系統與方法 |
TWI717655B (zh) * | 2018-11-09 | 2021-02-01 | 財團法人資訊工業策進會 | 適應多物件尺寸之特徵決定裝置及方法 |
CN109583584B (zh) * | 2018-11-14 | 2020-07-10 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及*** |
CN109688293A (zh) * | 2019-01-28 | 2019-04-26 | 努比亚技术有限公司 | 一种拍摄方法、终端及计算机可读存储介质 |
CN111723795B (zh) * | 2019-03-21 | 2023-02-03 | 杭州海康威视数字技术股份有限公司 | 异常车牌识别方法、装置、电子设备及存储介质 |
CN110163193B (zh) * | 2019-03-25 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN110047102A (zh) * | 2019-04-18 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法、装置和*** |
CN110020651B (zh) * | 2019-04-19 | 2022-07-08 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
CN110414507B (zh) * | 2019-07-11 | 2022-07-26 | 深圳智优停科技有限公司 | 车牌识别方法、装置、计算机设备和存储介质 |
CN110705548A (zh) * | 2019-09-09 | 2020-01-17 | 创新奇智(南京)科技有限公司 | 一种由粗到精的车牌检测算法及其*** |
CN110598701A (zh) * | 2019-09-17 | 2019-12-20 | 中控智慧科技股份有限公司 | 车牌防伪方法、装置及电子设备 |
CN111259886A (zh) * | 2020-01-08 | 2020-06-09 | 上海眼控科技股份有限公司 | 车牌螺丝检测方法、电子装置、计算机设备和存储介质 |
CN111461128A (zh) * | 2020-03-31 | 2020-07-28 | 北京爱笔科技有限公司 | 一种车牌的识别方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139017A (zh) * | 2015-08-27 | 2015-12-09 | 重庆理工大学 | 融合仿射不变角点特征及视觉颜色特征的车牌定位算法 |
CN106355573A (zh) * | 2016-08-24 | 2017-01-25 | 北京小米移动软件有限公司 | 图片中目标物的定位方法及装置 |
-
2017
- 2017-09-05 CN CN201710792262.XA patent/CN107506763B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139017A (zh) * | 2015-08-27 | 2015-12-09 | 重庆理工大学 | 融合仿射不变角点特征及视觉颜色特征的车牌定位算法 |
CN106355573A (zh) * | 2016-08-24 | 2017-01-25 | 北京小米移动软件有限公司 | 图片中目标物的定位方法及装置 |
Non-Patent Citations (3)
Title |
---|
"The Recognition of License Plate Restrictions Based on Faster R-CNN";Xi Wang;《2017 2nd International Conference on Manufacturing Science and Information Engineering》;20170620;全文 * |
"基于联合层特征的卷积神经网络在车标识别中的应用";张力等;《计算机应用》;20160210(第2期);第444-448页 * |
"摄像头网络中车辆检测和识别方法的研究";彭锦佳;《中国硕士学位论文全文数据库》;20170715(第7期);第10-12页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107506763A (zh) | 2017-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107506763B (zh) | 一种基于卷积神经网络的多尺度车牌精准定位方法 | |
CN111723748B (zh) | 一种红外遥感图像舰船检测方法 | |
CN107729801B (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别*** | |
Luvizon et al. | A video-based system for vehicle speed measurement in urban roadways | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
Jiao et al. | A configurable method for multi-style license plate recognition | |
WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
CN109271991B (zh) | 一种基于深度学习的车牌检测方法 | |
CN110119726B (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
US10558844B2 (en) | Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification | |
TW201814591A (zh) | 偵測物體的裝置與方法、製造處理器的方法以及建構積體電路的方法 | |
KR102190527B1 (ko) | 자동 영상 합성 장치 및 방법 | |
Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
Nandi et al. | Traffic sign detection based on color segmentation of obscure image candidates: a comprehensive study | |
Zhang et al. | Road recognition from remote sensing imagery using incremental learning | |
CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
CN113159043B (zh) | 基于语义信息的特征点匹配方法及*** | |
CN110223310B (zh) | 一种基于深度学习的线结构光中心线和箱体边缘检测方法 | |
CN105989334A (zh) | 基于单目视觉的道路检测方法 | |
Sugiharto et al. | Traffic sign detection based on HOG and PHOG using binary SVM and k-NN | |
CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
CN111738036A (zh) | 图像处理方法、装置、设备及存储介质 | |
Gu et al. | Embedded and real-time vehicle detection system for challenging on-road scenes | |
CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |