CN106529391B - 一种鲁棒的限速交通标志检测与识别方法 - Google Patents

一种鲁棒的限速交通标志检测与识别方法 Download PDF

Info

Publication number
CN106529391B
CN106529391B CN201610810614.5A CN201610810614A CN106529391B CN 106529391 B CN106529391 B CN 106529391B CN 201610810614 A CN201610810614 A CN 201610810614A CN 106529391 B CN106529391 B CN 106529391B
Authority
CN
China
Prior art keywords
significance
map
model
superpixel
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610810614.5A
Other languages
English (en)
Other versions
CN106529391A (zh
Inventor
赵祥模
刘占文
沈超
王润民
徐江
高涛
杨楠
***
王姣姣
周洲
樊星
林杉
张珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610810614.5A priority Critical patent/CN106529391B/zh
Publication of CN106529391A publication Critical patent/CN106529391A/zh
Application granted granted Critical
Publication of CN106529391B publication Critical patent/CN106529391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鲁棒的限速交通标志检测与识别方法，首先建立多特征融合的显著性模型，再通过对每一层的多特征融合显著性模型进行更新与迭代，得到层次显著性度图；然后对多层显著度图进行求解，得到最优显著度图，并在最优显著图上获得ROI，将获得的ROI送入基于超像素预训练好的CNN模型中，对ROI进行分类，给出识别结果；本发明算法基于先验位置与边界特征的显著性模型能够更好地突出两侧的交通标志，通过多层次融合后的显著度图有效地利用了图像的结构信息，且保留了圆形标志内的诸多小尺度细节信息，使目标更完整均匀，有利于提高识别的效率与精度。

Description

一种鲁棒的限速交通标志检测与识别方法
技术领域
本发明属于计算机视觉领域，涉及一种图像识别方法，具体涉及一种鲁棒的限速交通标志检测与识别方法。
背景技术
随着经济技术的发展，汽车在人们日常生活中扮演着越来越重要的角色，人们对汽车的需求也越来越多，包括各种安全辅助驾驶技术逐渐出现，如自适应巡航控制***、防撞***、预期感知碰撞***、车位识别***和夜视***等。当科学技术发展到一定程度，最终就会实现安全、高效的汽车无人驾驶技术，即实现无人驾驶车。据统计，每年在交通事故中死亡的人数大约有100万人，并且由人为操作失误造成的死亡事故占绝大部分；而无人驾驶技术可以在很大程度上降低出现人为操作失误的情况，与传统汽车相比更具安全性。无人驾驶车一直以来都是研究热点，因为它在许多领域都具有广阔的应用前景，如在军事领域可以代替人员完成侦查、巡逻、搜索、营救、运输物资等任务；而对道路中的限速交通标志进行检测与识别是无人驾驶车研究中的一项关键技术，其结果将直接影响无人驾驶车的速度以及安全性。
目前有许多关于交通标志检测与识别方法的传统方法用于限速交通标志的检测与识别，如基于模板匹配交通标志检测与识别算法、基于HOG特征+SVM分类器的交通标志检测与识别算法、基于LogitBoost瀑布型级联分类器结合的交通标志检测与识别的方法、基于BP神经网络的交通标志检测与识别算法等。由于交通标志受到使用年限与外界环境的影响，易产生污损褪色、扭曲失真、反光等问题，上述识别方法都仅仅对目标图像的某一特征进行分析，对目标图像中的有效信息利用不足，从而导致对目标检测与识别准确率比较低，实际检测与识别效果不佳。
发明内容
针对上述现有技术存在的不足，本发明的目的在于，借鉴人类视觉注意机制机理，提出一种基于先验信息约束与多级特征融合的图模型层次显著性检测模型，提取感兴趣区域ROI，再结合CNN对候选区进行特征提取与分类，建立一个鲁棒的限速交通标志识别***，解决现有技术对目标检测与识别准确率低的问题。
为解决上述技术问题，本发明采用了以下技术方案：
一种鲁棒的限速交通标志检测与识别方法，具体包括以下步骤：
步骤一：使用过分割方法，对原始图像进行超像素分割，由原始图像分割后的超像素图映射得到无向权图；
步骤二：根据步骤一得到的无向权图，利用目标的先验位置约束特征与局部特征，建立多特征融合的显著性模型，其中，局部特征包括颜色特征和边界特征；
步骤三，基于步骤二得到的多特征融合的显著性模型，建立多层显著度图中第一层顶点的合并规则函数，通过对多层显著度图中每一层的多特征融合的显著性模型进行更新与迭代，得到多层显著度图；
步骤四，对多层显著度图进行求解，得到最优显著度图，在最优显著度图上获得ROI图像；
步骤五：选取部分训练样本对CNN模型进行训练，得到训练好的CNN模型；
步骤六：使用训练好的CNN模型对步骤四获得的ROI图像进行识别；
本发明还有如下区别技术特征：
进一步的，所述的步骤一中无向权图表示为：G＝(V,E)，其中，V为无向权图中顶点的集合，由超像素区域表示，V＝{1，2，…，i}，E为无向权图中边的集合。
进一步的，步骤二的具体步骤包括：
步骤2.1：假设xi为超像素区域Ri的像素，计算超像素区域Ri内xi像素的数量，记为N(xi)；假设先验位置为xc，设定位置先验概率pc及加权值λ，λ一般取0.1～0.2，计算显著性的贡献度，公式如下：
步骤2.2：设Ωi为超像素区域Ri的邻域，计算Ri与Ωi内相邻超像素区域Rj的边界强度B(Ri,Rj)，对边界强度求和，记为计算超像素区域Ri的邻域Ωi内超像素区域Rj的数量N(Rj)；分别计算超像素区域Ri，Rj的颜色均值Ci，Cj；最后，计算每个超像素邻域对比度Ni，作为无向权图中每个顶点的显著度值，计算公式如下：
步骤2.3：基于步骤2.1得到的先验位置的约束函数和步骤2.2得到的邻域对比度，建立多特征融合的显著性模型：
si＝Li*Ni
进一步的，步骤三的具体步骤包括：
步骤3.1：设S(R1，R2)为超像素区域R1与超像素区域R2的显著相关性，当R1、R2相邻，且R1、R2的显著相关性在R1的邻域Ω1与R2的邻域Ω2内都为最小时，合并；否则，不合并；
其中，P(R1,R2)表示超像素区域R1与超像素区域R2合并的概率，s1，s2分别表示多特征融合显著性模型中超像素区域R1，R2对应的显著度值；si，sj表示多特征融合显著性模型中超像素区域R1，R2所对应超像素邻域的显著度值。
步骤3.2：区域合并后，重复步骤二，对邻域对比度Ni和先验位置约束函数Li进行更新，得到下一层的显著度图S1，依次迭代，直至使得最大的限速标志在最顶层显著度图中呈现出大尺度结构为止，即目标与背景的边界强度相差较大时，最终得到多层显著度图。
进一步的，步骤四的具体步骤包括：
步骤4.1：利用最小化代价函数对多层显著度图进行求解，得到最优显著度图；
步骤4.2：根据目标的形状特性，在目标中取长宽比为1：1～2：1的区域作为检测窗口，去除检测窗口中最小与最大的超像素区域，在最优显著度图上滑动检测窗口获得ROI图像；
更进一步的，步骤4.1的具体步骤包括：
步骤4.1.1：将无向权图中每个顶点si作为一个随机事件，随机变量集S＝{Si|i∈V}定义为集合V上关于邻域***Ω的马尔可夫随机场；基于先验位置约束特征与局部特征信息，建立多层显著度图中第一层S0中每一个超像素的显著度惩罚函数：
其中， 表示S0中区域i在l层显著度图中对应的显著度值，Vl表示Sl对应的图模型的顶点集合，θ为构建原始显著图所需的参数集，包括λ、xp、ki三个参数，λ为加权值，xp为假设的先验位置，ki为过分割得到的超像素区域数目；
步骤4.1.2：建立多层显著度图中层与层之间顶点互作用的显著度惩罚函数：
即l层顶点i的显著度变为合并后的l+1层顶点j的显著度所需的代价；其中 表明边缘能量项只计算交界处的对比度，分别为l层区域i与l+1层区域p的邻域局部对比度，为l层区域i与l+1层区域p的先验位置约束的差异，采用欧式距离衡量，平衡因子β用来平衡两个代价项的影响；
步骤4.1.3：最后基于图割的能量最小化算法求解最小化代价函数，得到最优的显著度图；
进一步的，步骤五的具体步骤包括：
步骤5.1：使用过分割方法对选取的训练样本进行超像素分割，得到每一个训练样本的超像素图，在每一个训练样本中随机选取比例为10％～30％的超像素作为该训练样本的中心，以该训练样本边界的平均像素值对超像素图进行扩展填充，得到与步骤四所获得的ROI图像大小相同的填充图像；
步骤5.2：根据填充图像与训练样本的面积重叠率确定填充图像标签，当重叠率大于50％时，填充图像的标签为1；当重叠率小于50％时，其标签为0；
步骤5.3：对经过步骤5.2的填充图像送入CNN模型进行训练，得到训练好的CNN模型；
进一步的，步骤六的具体步骤为：针对目标，采用训练后的CaffeNet模型对步骤四得到的ROI图像进行分类，由分类器给出最终的分类结果；
本发明专利的有益效果体现在：
(1)综合考虑目标图像的先验位置约束特征与局部特征，对目标图像的信息充分利用，更加有利于限速标志的准确检测。
(2)通过构建层次显著性模型以及最优显著度图，最大程度增强限速标志的显著性，降低背景的显著性，从而提高检测效果。
(3)在训练与识别阶段，将视觉注意机制机理引入到目标检测中，并针对限速标志的采用超像素预训练策略对CNN进行训练，从而提高CNN模型的学习与识别能力，最终产生的效果是传统方法所不可及的。
附图说明
图1是本发明方法的流程图。
图2是层次合并规则示意图。
图3是具体层次合并过程示意图。
图4是基于最优显著图获取ROI示意图。
图5是超像素预训练策略。
图6是CNN框架。
图7是试验结果。
以下结合附图与具体实施方式对本发明进一步解释说明。
具体实施方式
为了使本发明的目的、技术方案及优势更加清楚，结合附图及实施例对本发明做进一步详细说明；一种鲁棒的限速交通标志检测与识别方法，其特征在于，借鉴人类视觉注意机制机理，提出一种基于先验信息约束与多级特征融合的图模型层次显著性检测模型，提取感兴趣区域ROI，再结合CNN对候选区进行特征提取与分类，建立一个鲁棒的限速交通标志识别***；具体包括以下步骤：
步骤一：使用过分割方法，对原始图像进行超像素分割，由原始图像分割后的超像素图映射得到无向权图，表示为：G＝(V,E)，其中，V为无向权图中顶点的集合，由超像素区域表示，V＝{1，2，...，i}，E为无向权图中边的集合；
步骤二：在步骤一得到的无向权图的基础上，利用目标的先验位置约束特征与局部特征，建立多特征融合的显著性模型，其中，局部特征包括颜色特征和边界特征；
步骤2.1：假设xi为超像素区域Ri的像素，计算超像素区域Ri内xi像素的数量，记为N(xi)；假设先验位置为xc，设定位置先验概率pc及加权值λ(一般取0.1～0.2)，计算显著性的贡献度，公式如下：
步骤2.2：设Ωi为超像素区域Ri的邻域，计算Ri与Ωi内相邻超像素区域Rj的边界强度B(Ri,Rj)，对边界强度求和，记为计算超像素区域Ri的邻域Ωi内超像素区域Rj的数量N(Rj)；分别计算超像素区域Ri，Rj的颜色均值Ci，Cj；最后，计算每个超像素邻域对比度Ni，作为无向权图中每个顶点的显著度值，计算公式如下：
步骤2.3：基于步骤2.1得到的先验位置的约束函数和步骤2.2得到的邻域对比度，建立多特征融合的显著性模型：
si＝Li*Ni
步骤三，基于步骤二得到的多特征融合的显著性模型，建立多层显著度图中第一层顶点的合并规则函数，通过对层显著度图中每一层的多特征融合的显著性模型进行更新与迭代，得到多层显著度图S0,S1,S2,S1,…,Sk，层次合并规则示意图如图2所示；
步骤3.1：设S(R1，R2)为超像素区域R1与超像素区域R2的显著相关性，当R1、R2相邻，且R1、R2的显著相关性在R1的邻域Ω1与R2的邻域Ω2内都为最小时，合并；否则，不合并；
其中，P(R1,R2)表示超像素区域R1与超像素区域R2合并的概率，s1，s2分别表示多特征融合显著性模型中超像素区域R1，R2对应的显著度值；si，sj表示多特征融合显著性模型中超像素区域R1，R2所对应超像素邻域的显著度值。
步骤3.2：区域合并后，重复步骤二，对邻域对比度Ni和先验位置约束函数Li进行更新，得到下一层的显著度图S1，依次迭代，直至使得最大的限速标志在最顶层显著度图中呈现出大尺度结构为止，即当达到多层显著度图S4时，最终得到多层显著度图，针对具体检测任务，层次合并过程如图3所示；
步骤四，对多层显著度图进行求解，得到最优显著度图，在最优显著度图上滑动检测窗口，获得ROI图像，针对具体检测任务，获取ROI的过程如图4所示；
步骤4.1：利用马尔可夫随机场和吉布斯分布的等价性，并采用两项基因团势能构建融合多层显著度图的代价函数，利用最小化代价函数对多层显著度图进行求解，得到最优显著度图；
步骤4.1.1：将无向权图中每个顶点si作为一个随机事件，随机变量集S＝{Si|i∈V}定义为集合V上关于邻域***Ω的马尔可夫随机场；基于先验位置约束特征与局部特征信息，建立多层显著度图中第一层S0中每一个超像素的显著度惩罚函数：
其中， 表示S0中区域i在l层显著度图中对应的显著度值，Vl表示Sl对应的图模型的顶点集合，θ为构建原始显著图所需的参数集，包括λ、xp、ki三个参数，λ为加权值，xp为假设的先验位置，ki为过分割得到的超像素区域数目；
步骤4.1.2：建立多层显著度图中层与层之间顶点互作用的显著度惩罚函数：
即l层顶点i的显著度变为合并后的l+1层顶点j的显著度所需的代价；其中 表明边缘能量项只计算交界处的对比度，分别为l层区域i与l+1层区域p的邻域局部对比度，为l层区域i与l+1层区域p的先验位置约束的差异，采用欧式距离衡量，平衡因子β用来平衡两个代价项的影响；
步骤4.1.3：最后基于图割的能量最小化算法求解最小化代价函数，得到最优的显著度图；
步骤4.2：根据限速标志的形状特性，在限速标志中取长宽比为2:1的区域作为检测窗口，去除检测窗口中最小与最大的超像素区域，在最优显著度图上滑动检测窗口获得ROI图像；
步骤五：选取部分训练样本对CNN模型进行训练，得到训练CNN模型；
步骤5.1：使用过分割方法对选取的训练样本进行超像素分割，得到每一个训练样本的超像素图，在每一个训练样本中随机选取比例为10％～30％的超像素作为该训练样本的中心，其中，对于面积大的样本选取比例为10％，面积小的样本选取比例为30％，以该训练样本边界的超像素的平均像素值进行扩展填充，得到与CNN输入ROI图像大小相同的填充图像，具体超像素预训练策略如图5所示；
步骤5.2：根据填充图像与训练样本的面积重叠率确定填充图像标签，当重叠率大于50％时，填充图像的标签为1；当重叠率小于50％时，其标签为0；
步骤5.3：对经过步骤5.2的填充图像送入CNN模型进行训练，得到训练CNN模型，如图6所示；
步骤六：使用训练CNN模型对步骤四获得的ROI图像进行识别，具体步骤为：针对目标，采用训练后的CaffeNet架构对步骤四得到的ROI图像进行分类，其中，CaffeNet架构是由5层卷积层构成的，各卷积层配置分别为9×9×84conv→2×2maxpooling→3×3×126conv→2×2maxpooling→4×4×252conv→1×1×66conv→3×3×126conv→2×2maxpooling；最后，由softmax分类器给出最终的分类结果。
效果分析：
为验证本发明方法的有效性，选取GSTDB作为检测数据集，GSTRB作为训练数据集，训练样本大小15Pixels×15Pixels到250Pixels×250Pixels不等，对训练样本进行过分割并扩展填充为与输入CNN的ROI大小相等，都为48Pixels×48Pixels，最终得到基于超像素CNN预训练策略的训练样本集包含100多万张训练图像，50多万个用于交叉验证的样本图像；为使得目标图像中左、中、右区域的先验概率占据合理比例，调整其限速标志先验概率分别为26.7％、22.2％和52.1％；分别选择GC、BL和BSCA算法与本发明进行对比，得到实验结果如图7所示；
可以看出，针对限速标志检测任务，GC算法利用全局对比度检测如图7中弱对比度的测试图像时，检测结果很不理想；BSCA算法基于图像四周边界目标出现概率较小的先验信息，因此中心区域的显著度明显较高，针对具体检测任务鲁棒性差；而BL算法与本发明算法都保留了较完整的图像大尺度结构信息；同时本发明算法基于先验位置与边界特征的显著性模型能够更好地突出两侧的交通标志，通过多层次融合后的显著度图有效地利用了图像的结构信息，且保留了圆形标志内的诸多小尺度细节信息，使目标更完整均匀，有利于提高识别的效率与精度；另外，基于相同的数据集对SVM分类器进行训练和测试，总的识别正确率为95.73％，而本发明中CNN的识别正确率为97.85％，再次验证了针对具体限速交通标志的本发明具有更好特征提取与分类能力。

Claims (7)

1.一种鲁棒的限速交通标志检测与识别方法，步骤一：使用过分割方法，对原始图像进行超像素分割，由原始图像分割后的超像素图映射得到无向权图；其特征在于，还包括以下步骤：
步骤二：根据步骤一得到的无向权图，利用目标的先验位置约束特征与局部特征，建立多特征融合的显著性模型，其中，局部特征包括颜色特征和边界特征；具体包括：
步骤2.1：假设xi为超像素区域Ri的像素，计算超像素区域Ri内xi像素的数量，记为N(xi)；假设先验位置为xc，设定位置先验概率pc及加权值λ，λ一般取0.1～0.2，计算显著性的贡献度，公式如下：
步骤2.2：设Ωi为超像素区域Ri的邻域，计算Ri与Ωi内相邻超像素区域Rj的边界强度B(Ri,Rj)，对边界强度求和，记为计算超像素区域Ri的邻域Ωi内超像素区域Rj的数量N(Rj)；分别计算超像素区域Ri，Rj的颜色均值Ci，Cj；最后，计算每个超像素邻域对比度Ni，作为无向权图中每个顶点的显著度值，计算公式如下：
步骤2.3：基于步骤2.1得到的先验位置的约束函数和步骤2.2得到的邻域对比度，建立多特征融合的显著性模型：
si＝Li*Ni；
步骤三，基于步骤二得到的多特征融合的显著性模型，建立多层显著度图中第一层顶点的合并规则函数，通过对多层显著度图中每一层的多特征融合的显著性模型进行更新与迭代，得到多层显著度图；
步骤四，对多层显著度图进行求解，得到最优显著度图，在最优显著度图上获得ROI图像；
步骤五：选取部分训练样本对CNN模型进行训练，得到训练好的CNN模型；
步骤六：使用训练好的CNN模型对步骤四获得的ROI图像进行识别。
2.如权利要求1所述的鲁棒的限速交通标志检测与识别方法，其特征在于，所述的步骤一中无向权图表示为：G＝(V,E)，其中，V为无向权图中顶点的集合，由超像素区域表示，V＝{1，2，…，i}，E为无向权图中边的集合。
3.如权利要求1所述的鲁棒的限速交通标志检测与识别方法，其特征在于，步骤三的具体步骤包括：
步骤3.1：设S(R1，R2)为超像素区域R1与超像素区域R2的显著相关性，当R1、R2相邻，且R1、R2的显著相关性在R1的邻域Ω1与R2的邻域Ω2内都为最小时，合并；否则，不合并；
其中，P(R1,R2)表示超像素区域R1与超像素区域R2合并的概率，s1，s2分别表示多特征融合显著性模型中超像素区域R1，R2对应的显著度值；si，sj表示多特征融合显著性模型中超像素区域R1，R2所对应超像素邻域的显著度值；
步骤3.2：区域合并后，重复步骤二，对邻域对比度Ni和先验位置约束函数Li进行更新，得到下一层的显著度图S1，依次迭代，直至使得最大的限速标志在最顶层显著度图中呈现出大尺度结构为止，即目标与背景的边界强度相差较大时，最终得到多层显著度图S0，S1，…，Sk。
4.如权利要求1所述的鲁棒的限速交通标志检测与识别方法，其特征在于，步骤四的具体步骤包括：
步骤4.1：利用最小化代价函数对多层显著度图进行求解，得到最优显著度图；
步骤4.2：根据目标的形状特性，在目标中取长宽比为1：1～2：1的区域作为检测窗口，去除检测窗口中较小与较大的超像素区域，在最优显著度图上滑动检测窗口获得ROI图像。
5.如权利要求4所述的鲁棒的限速交通标志检测与识别方法，其特征在于，步骤4.1的具体步骤包括：
步骤4.1.1：将无向权图中每个顶点Si作为一个随机事件，随机变量集S＝{Si|i∈V}定义为集合V上关于邻域***Ω的马尔可夫随机场；基于先验位置约束特征与局部特征信息，建立多层显著度图中第一层S0中每一个超像素的显著度惩罚函数：
其中， 表示S0中区域i在l层显著度图中对应的显著度值，Vl表示Sl对应的图模型的顶点集合，θ为构建原始显著图所需的参数集，包括λ、xp、ki三个参数，λ为加权值，xp为假设的先验位置，ki为过分割得到的超像素区域数目；
步骤4.1.2：建立多层显著度图中层与层之间顶点互作用的显著度惩罚函数：
即l层顶点i的显著度变为合并后的l+1层顶点j的显著度所需的代价；其中 表明边缘能量项只计算交界处的对比度，分别为l层区域i与l+1层区域p的邻域局部对比度，为l层区域i与l+1层区域p的先验位置约束的差异，采用欧式距离衡量，平衡因子β用来平衡两个代价项的影响；
步骤4.1.3：最后基于图割的能量最小化算法求解最小化代价函数，得到最优的显著度图。
6.如权利要求1所述的鲁棒的限速交通标志检测与识别方法，其特征在于，步骤五的具体步骤包括：
步骤5.1：使用过分割方法对选取的训练样本进行超像素分割，得到每一个训练样本的超像素图，在每一个训练样本中随机选取比例为10％～30％的超像素作为该训练样本的中心，以该训练样本边界的平均像素值对超像素图进行扩展填充，得到与步骤四所获得的ROI图像大小相同的填充图像；
步骤5.2：根据填充图像与训练样本的面积重叠率确定填充图像标签，当重叠率大于50％时，填充图像的标签为1；当重叠率小于50％时，其标签为0；
步骤5.3：对经过步骤5.2的填充图像送入CNN模型进行训练，得到训练好的CNN模型。
7.如权利要求1所述的鲁棒的限速交通标志检测与识别方法，其特征在于，步骤六的具体步骤为：针对目标，采用训练后的CaffeNet模型对步骤四得到的ROI图像进行分类，由分类器给出最终的分类结果。
CN201610810614.5A 2016-09-08 2016-09-08 一种鲁棒的限速交通标志检测与识别方法 Active CN106529391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610810614.5A CN106529391B (zh) 2016-09-08 2016-09-08 一种鲁棒的限速交通标志检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610810614.5A CN106529391B (zh) 2016-09-08 2016-09-08 一种鲁棒的限速交通标志检测与识别方法

Publications (2)

Publication Number Publication Date
CN106529391A CN106529391A (zh) 2017-03-22
CN106529391B true CN106529391B (zh) 2019-06-18

Family

ID=58343556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610810614.5A Active CN106529391B (zh) 2016-09-08 2016-09-08 一种鲁棒的限速交通标志检测与识别方法

Country Status (1)

Country Link
CN (1) CN106529391B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909059A (zh) * 2017-11-30 2018-04-13 中南大学 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
CN108898078A (zh) * 2018-06-15 2018-11-27 上海理工大学 一种多尺度反卷积神经网络的交通标志实时检测识别方法
CN111383473B (zh) * 2018-12-29 2022-02-08 安波福电子(苏州)有限公司 基于交通标志限速指示的自适应巡航***
CN116978233B (zh) * 2023-09-22 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种面向事故多发区的主动可变限速方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226820A (zh) * 2013-04-17 2013-07-31 南京理工大学 改进的二维最大熵分割夜视图像融合目标检测算法
CN104462502A (zh) * 2014-12-19 2015-03-25 中国科学院深圳先进技术研究院 一种基于特征融合的图像检索方法
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226820A (zh) * 2013-04-17 2013-07-31 南京理工大学 改进的二维最大熵分割夜视图像融合目标检测算法
CN104462502A (zh) * 2014-12-19 2015-03-25 中国科学院深圳先进技术研究院 一种基于特征融合的图像检索方法
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Robust Chinese Traffic Sign Detection and Recognition with Deep Convolutional Neural Network;Rongqiang Qian 等;《2015 11th International Conference on Natural Computation (ICNC)》;20160111;第791-796页
Traffic Sign Recognition Using Deep Convolutional Networks and Extreme Learning Machine;Yujun Zeng等;《International Conference on Intelligent Science and Big Data Engineering》;20151022;第272-280页
Visual saliency detection based on multi-scale and multi-channel mean;Lang Sun等;《Multimedia Tools and Applications》;20160131;第667-684页
卷积神经网络分类模型在模式识别中的新进展;胡正平 等;《燕山大学学报》;20150731;第283-291页
基于视觉注意机制的弱对比度下;刘占文 等;《中国公路学报》;20160831;第124-133页

Also Published As

Publication number Publication date
CN106529391A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN112101221B (zh) 一种用于交通信号灯实时检测与识别的方法
CN102509091B (zh) 一种飞机尾号识别方法
CN111178213A (zh) 一种基于深度学习的航拍车辆检测方法
CN106529391B (zh) 一种鲁棒的限速交通标志检测与识别方法
CN111104903A (zh) 一种深度感知交通场景多目标检测方法和***
CN108427919B (zh) 一种基于形状引导显著性模型的无监督油罐目标检测方法
CN112084890A (zh) 基于gmm和cqfl的多尺度识别交通信号标志的方法
Li et al. Cluster naturalistic driving encounters using deep unsupervised learning
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111462140A (zh) 一种基于区块拼接的实时图像实例分割方法
Fan et al. Pavement cracks coupled with shadows: A new shadow-crack dataset and a shadow-removal-oriented crack detection approach
CN111950583A (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
Kuchkorov et al. Traffic and road sign recognition using deep convolutional neural network
CN115984537A (zh) 图像处理方法、装置及相关设备
BARODI et al. Improved deep learning performance for real-time traffic sign detection and recognition applicable to intelligent transportation systems
CN104331708B (zh) 一种人行横道线自动检测分析方法及***
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN112949595A (zh) 一种基于YOLOv5改进行人车辆安全距离检测算法
Lee et al. Pix2Pix-based data augmentation method for building an image dataset of black ice
Goel et al. Enhancement of Potholes Detection using SSD Algorithm
Shi et al. Traffic Sign Instances Segmentation Using Aliased Residual Structure and Adaptive Focus Localizer
Chen et al. Road segmentation via iterative deep analysis
Tang et al. A Comparison of Road Damage Detection Based on YOLOv8
Ng et al. Real-Time Detection of Objects on Roads for Autonomous Vehicles Using Deep Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant