CN107392115B - 一种基于分层特征提取的交通标志识别方法 - Google Patents

一种基于分层特征提取的交通标志识别方法 Download PDF

Info

Publication number
CN107392115B
CN107392115B CN201710523176.9A CN201710523176A CN107392115B CN 107392115 B CN107392115 B CN 107392115B CN 201710523176 A CN201710523176 A CN 201710523176A CN 107392115 B CN107392115 B CN 107392115B
Authority
CN
China
Prior art keywords
traffic sign
image
hog
sign
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710523176.9A
Other languages
English (en)
Other versions
CN107392115A (zh
Inventor
陈长宝
杜红民
侯长生
孔晓阳
王茹川
郭振强
郧刚
王磊
王莹莹
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan Smart City Design Research Institute Co ltd
Original Assignee
Zhongyuan Smart City Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan Smart City Design Research Institute Co ltd filed Critical Zhongyuan Smart City Design Research Institute Co ltd
Priority to CN201710523176.9A priority Critical patent/CN107392115B/zh
Publication of CN107392115A publication Critical patent/CN107392115A/zh
Application granted granted Critical
Publication of CN107392115B publication Critical patent/CN107392115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于分层特征提取的交通标志识别方法，通过对交通标志图像进行分割和汉字定位来实现交通标志的第一次粗略分类，将指路标志分类出来，识别出具体的指路标志；通过对交通标志图像提取颜色纹理边缘方向特征CEDD，并基于稀疏表示的分类方法，在样本库中筛选出与交通标志区域最接近的样本种类，提取交通标志图像和该样本种类的样本集合的分层HOGm(i=1,2,3)特征，并基于SVM实现交通标志的精确识别；通过二次识别方法由粗到精的分层检测识别提高了交通标志识别的准确性和实时性，同时也扩大了交通标志识别的识别范围。

Description

一种基于分层特征提取的交通标志识别方法
技术领域
本发明涉及一种交通标志识别方法，具体的说，涉及了一种基于分层特征提取的交通标志识别方法。
背景技术
交通标志是一种用文字或符号传递引导、限制、警告或指示信息的道路设施。交通标志时交通信息的重要载体，乐意给司机和行人准确的交通引导，及时准确地识别交通标志信息对于交通安全至关重要。交通标志的识别是通过对外界道路交通图像进行处理和识别的过程，具体的说交通标志的识别过程包括交通标志的监测、特征提取和分类识别，其中，交通标志的检测和识别可以利用交通标志的形状、颜色和文字等具有区分性的特征，例如；圆形、三角形、矩形等作为形状特征普遍用在交通标志识别***中。
现阶段，交通标志识别方法多用来监测和识别警告标志、禁令标志、指示标志这三种，对于常见的指路标志则很少有相应的识别方法；并且交通标志方法多采用阈值分割或模板匹配方法来进行交通标志的监测，并对检测到的交通标志区域提取颜色或形状不变矩特征，最后利用神经网络分类或状态机进行分类，总体来说现阶段交通标志识别方法的识别范围窄、准确率不高且运算时间长，无法满足用户的需求。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种基于分层特征提取的交通标志识别方法。
为了实现上述目的，本发明所采用的技术方案是：一种基于分层特征提取的交通标志识别方法，包括以下步骤：
S1，在检测到的原始交通图像中对交通标志区域进行检测和定位，并对检测出的交通标志区域进行盲复原处理，得到交通标志图像；
S2，将交通标志图像分割成子块，遍历所有的子块进行文字定位，以判断交通标志图像中是否存在汉字区域,若存在汉字区域，则说明交通标志为指路标志，继续执行S3；若不存在汉字区域，则说明交通标志不是指路标志，直接执行步骤S4；
S3，将所述指路标志的汉字区域分割成多个单个文字区域，提取每个文字区域的汉字特征，并利用BP神经网络对提取的汉字特征进行分类处理，检测出所述指路标志的文字信息；
S4，从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD，对颜色纹理边缘方向特征CEDD进行归一化，归一化的样本库颜色纹理边缘方向特征CEDD构成字典，采用稀疏求解的方法对交通标志图像进行稀疏表示，并利用基于稀疏表示的分类方法，对样本库中的图像进行粗略筛选，获得与交通标志图像最接近的类别；
S5，提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGm(i=1,2,3)特征；
S6，通过SVM对标准的每类交通标志样本集合的分层HOGm(i=1,2,3)特征进行训练，得到SVM分类器；
S7，将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
基于上述，S5中，提取交通标志图像和交通标志样本集合的分层HOG特征的步骤相同，具体如下：
步骤1，将图像进行二值化处理和标准化处理，得到灰度图像；
步骤2，对灰度图像进行三次HOG特征的提取，得到不同的三幅HOG(n)特征提取图像，其中n=1,2,3；
步骤3，统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征，将所有子块图像的HOG特征顺序级联，形成每幅HOG(n)特征提取图像的特征向量，每幅HOG(n)特征提取图像的特征向量即为步骤1中所述图像的一个分层HOG特征。
基于上述，若S2中已判断交通标志为指路标志，则进一步提取交通标志图像的RGB彩色信息，分别计算绿色、蓝色像素数占总像素数的比重，取占最大比例的颜色为此交通标志图像的主色，若主色为蓝色，则为普通道路指路标志；若为绿色，则为高速道路或城市快速路指路标志。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明通过对交通标志图像进行分割和汉字定位来实现交通标志的第一次粗略分类，将指路标志分类出来，识别出具体的指路标志；通过对交通标志图像提取颜色纹理边缘方向特征CEDD，并基于稀疏表示的分类方法，在样本库中筛选出与交通标志区域最接近的样本种类，提取交通标志图像和该样本种类的样本集合的分层HOGm(i=1,2,3)特征，并基于SVM实现交通标志的精确识别；通过二次识别方法以及由粗到精的分层检测识别提高了交通标志识别的准确性和实时性，同时也扩大了交通标志识别的识别范围。
附图说明
图1是本发明的流程示意图。
图2是本发明采取的颜色纹理边缘方向特征CEDD提取方法的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于分层特征提取的交通标志识别方法，包括以下步骤：
S1，在检测到的原始交通图像中对交通标志区域进行检测和定位，并对检测出的交通标志区域进行盲复原处理，获得高清晰度的交通标志图像；
S2，将交通标志图像分割成子块，遍历所有的子块进行文字定位，以判断交通标志图像中是否存在汉字区域,若存在汉字区域，则说明交通标志为指路标志，继续执行S3；若不存在汉字区域，则说明交通标志不是指路标志，直接执行步骤S4；
S3，将所述指路标志的汉字区域分割成多个单个文字区域，提取每个文字区域的汉字特征，并利用BP神经网络对提取的汉字特征进行分类处理，检测出所述指路标志的文字信息；
S4，从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD，对颜色纹理边缘方向特征CEDD进行归一化，归一化的样本库的颜色纹理边缘方向特征CEDD构成字典，采用稀疏求解的方法对交通标志图像进行稀疏表示，并利用基于稀疏表示的分类方法，对样本库中的图像进行粗略筛选，获得与交通标志图像最接近的类别；样本库中包含每类交通标志的多个样本，具体为：主色为黄色、形状为三角形的警告标志，主色为红色、形状为圆形、三角形或八角形的禁令标志，主色是蓝色，形状为圆形或三角形的指示标志；
S5，提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGm(i=1,2,3)特征；
S6，通过SVM对标准的每类交通标志样本集合的分层HOGm(i=1,2,3)特征进行训练，得到SVM分类器；
S7，将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
具体的，步骤S3中选取 Gabor 特征和网格特征的提取方法提取特征，并使用 BP神经网络分类器对提取的特征进行处理，实现对汉字图像的文字识别功能，构建二级神经网络，先针对汉字结构进行粗分类，然后根据分类结果再在二级网络中进行细分类，从而识别出所述指路标志的文字信息。
由于指路标志包括普通道路指路标志、高速道速指路标志和城市快速路指路标志，其中，指路标志的形状为矩形，且普通道路指路标志为蓝底、白图案，城市快速路或高速公路为绿底、白图案。因此若通过步骤S2已经识别出当前交通标志图像为指路标志时，还想进一步识别当前交通标志为普通道路指路标志、高速道速指路标志或城市快速路指路标志，则需提取当前交通标志图像的RGB彩色信息，分别计算绿色、蓝色像素数占总像素数的比重，取占最大比例的颜色为此交通标志图像的主色，若主色为蓝色，则为普通道路指路标志；若为绿色，则为高速道路或城市快速路指路标志。
具体的，步骤S4选取颜色纹理边缘方向特征CEDD作为筛选层的分类特征的原因有以下几点：1）CEDD既包含了图像的颜色信息，又包含了图像的边缘信息，是一个颜色信息和边缘信息结合的特征，能够更好的表示图像的视觉信息；2）CEDD计算简单，准确性较高。所以颜色纹理边缘方向特征CEDD符合图像筛选层的特征应具有的简单易实现，又能得到较好分类效果的特点。
颜色纹理边缘方向特征CEDD提取可分为两个模块，分别是颜色模块和纹理边缘模块。颜色模块是用来提取图像的颜色信息，纹理边缘模块是用来提取图像的纹理边缘信息，如图2所示为本发明采取的颜色纹理边缘方向特征CEDD提取方法。
CEDD直方图由6个纹理边缘区域组成，其边缘纹理分别是无边缘信息、无方向边缘、水平方向边缘、垂直方向边缘、45方向边缘、135方向边缘，然后在每一维纹理边缘信息中加入24维颜色信息。因此，颜色纹理边缘方向特征CEDD中包含了图像的颜色和边缘纹理特性，是一个6*24=144维的直方图特征。
利用Lasso求稀疏解，获得稀疏表示，并采用基于稀疏表示的方法对样本库中的图像进行分类，优选的，本文采用SRC分类，在分类时，结合了重构残差来分类，从而筛选出与交通标志图像最接近的类别。把图像进行分类的目的是减少后期SVM分类识别时需要特征匹配的图像数目，提高了识别的性能，减少识别所需的时间。
具体的，S5中，提取交通标志图像和交通标志样本集合的分层HOG特征的步骤相同，具体如下：
步骤1，将图像进行二值化处理和标准化处理，得到灰度图像；
步骤2，对灰度图像进行三次HOG特征的提取，得到不同的三幅HOG(n)特征提取图像，其中n=1,2,3；
步骤3，统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征，将所有子块图像的HOG特征顺序级联，形成每幅HOG(n)特征提取图像的特征向量，每幅HOG(n)特征提取图像的特征向量即为步骤1中所述图像的一个分层HOG特征。
通过提取分层HOGi(i=1,2,3)特征，能够提取到图像更多更丰富的边缘梯度信息，能够提高交通标志识别的准确度和实时性。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (3)

1.一种基于分层特征提取的交通标志识别方法，其特征在于，包括以下步骤：
S1，在检测到的原始交通图像中对交通标志区域进行检测和定位，并对检测出的交通标志区域进行盲复原处理，得到交通标志图像；
S2，将交通标志图像分割成子块，遍历所有的子块进行文字定位，以判断交通标志图像中是否存在汉字区域,若存在汉字区域，则说明交通标志为指路标志，继续执行S3；若不存在汉字区域，则说明交通标志不是指路标志，直接执行步骤S4；
S3，将所述指路标志的汉字区域分割成多个单个文字区域，提取每个文字区域的汉字特征，并利用BP神经网络对提取的汉字特征进行分类处理，检测出所述指路标志的文字信息；
S4，从交通标志图像和样本库中提取颜色纹理边缘方向特征CEDD，对颜色纹理边缘方向特征CEDD进行归一化，归一化的样本库颜色纹理边缘方向特征CEDD构成字典，采用稀疏求解的方法对交通标志图像进行稀疏表示，并利用基于稀疏表示的分类方法，对样本库中的图像进行粗略筛选，获得与交通标志图像最接近的类别；
S5，提取交通标志图像的分层HOGi(i=1,2,3)特征和最接近类别的交通标志样本集合的分层HOGm(m=1,2,3)特征；
S6，通过SVM对标准的每类交通标志样本集合的分层HOGm(m=1,2,3)特征进行训练，得到SVM分类器；
S7，将交通标志图像的分层HOGi(i=1,2,3)特征代入SVM分类器完成交通标志的精确识别。
2.根据权利要求1所述的基于分层特征提取的交通标志识别方法，其特征在于，S5中，提取交通标志图像和交通标志样本集合的分层HOG特征的步骤相同，具体如下：
步骤1，将图像进行二值化处理和标准化处理，得到灰度图像；
步骤2，对灰度图像进行三次HOG特征的提取，得到不同的三幅HOG(n)特征提取图像，其中n=1,2,3；
步骤3，统计每幅HOG(n)特征提取图像的所有子块图像的HOG特征，将所有子块图像的HOG特征顺序级联，形成每幅HOG(n)特征提取图像的特征向量，每幅HOG(n)特征提取图像的特征向量即为步骤1中进行二值化处理前的所述图像的一个分层HOG特征。
3.根据权利要求1或2所述的基于分层特征提取的交通标志识别方法，其特征在于：若S2中已判断交通标志为指路标志，则进一步提取交通标志图像的RGB彩色信息，分别计算绿色、蓝色像素数占总像素数的比重，取占最大比例的颜色为此交通标志图像的主色，若主色为蓝色，则为普通道路指路标志；若为绿色，则为高速道路或城市快速路指路标志。
CN201710523176.9A 2017-06-30 2017-06-30 一种基于分层特征提取的交通标志识别方法 Active CN107392115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710523176.9A CN107392115B (zh) 2017-06-30 2017-06-30 一种基于分层特征提取的交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710523176.9A CN107392115B (zh) 2017-06-30 2017-06-30 一种基于分层特征提取的交通标志识别方法

Publications (2)

Publication Number Publication Date
CN107392115A CN107392115A (zh) 2017-11-24
CN107392115B true CN107392115B (zh) 2021-01-12

Family

ID=60334570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710523176.9A Active CN107392115B (zh) 2017-06-30 2017-06-30 一种基于分层特征提取的交通标志识别方法

Country Status (1)

Country Link
CN (1) CN107392115B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法
CN111144218A (zh) * 2019-11-29 2020-05-12 中科曙光(南京)计算技术有限公司 车辆行驶过程中交通标志识别方法、装置
CN111192456A (zh) * 2020-01-14 2020-05-22 泉州市益典信息科技有限公司 一种道路交通运行态势多时间尺度预测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024152B (zh) * 2010-12-14 2013-01-30 浙江大学 一种基于稀疏表达和字典学习进行交通标志识别的方法
CN102521616B (zh) * 2011-12-28 2014-04-09 江苏大学 基于稀疏表示的行人检测方法
US9092692B2 (en) * 2012-09-13 2015-07-28 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
CN104616021B (zh) * 2014-12-24 2020-05-05 清华大学 交通标志图像处理方法及装置
CN105389550B (zh) * 2015-10-29 2018-07-17 北京航空航天大学 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN105447503B (zh) * 2015-11-05 2018-07-03 长春工业大学 基于稀疏表示lbp和hog融合的行人检测方法
CN106709412B (zh) * 2015-11-17 2021-05-11 腾讯科技（深圳）有限公司 交通标志检测方法和装置
CN105787475A (zh) * 2016-03-29 2016-07-20 西南交通大学 一种复杂环境下的交通标志检测与识别方法

Also Published As

Publication number Publication date
CN107392115A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN105373794B (zh) 一种车牌识别方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN101937508B (zh) 一种基于高清图像的车牌定位与识别方法
CN102163284B (zh) 面向中文环境的复杂场景文本定位方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN103226696B (zh) 车牌的识别***及方法
CN106709530A (zh) 基于视频的车牌识别方法
CN108090459B (zh) 一种适用于车载视觉***的交通标志检测识别方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别***
CN101872416A (zh) 对道路图像进行车牌识别的方法和***
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN103390167A (zh) 一种多特征的分层交通标志识别方法
CN101122952A (zh) 一种图片文字检测的方法
CN109726717A (zh) 一种车辆综合信息检测***
CN105354533B (zh) 一种基于词袋模型的卡口无牌车辆车型识别方法
US9129156B2 (en) Method for detecting and recognizing an object in an image, and an apparatus and a computer program therefor
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法
Azad et al. A novel and robust method for automatic license plate recognition system based on pattern recognition
CN105184301B (zh) 一种利用四轴飞行器判别车辆方位的方法
CN108875803A (zh) 一种基于视频图像的危化品运输车辆检测与识别方法
CN108664969A (zh) 基于条件随机场的路标识别方法
Ingole et al. Characters feature based Indian vehicle license plate detection and recognition
CN113837094A (zh) 基于全色高分遥感图像的路况快捷分析方法
Mammeri et al. North-American speed limit sign detection and recognition for smart cars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant