CN103544484A - 一种基于surf的交通标志识别方法及*** - Google Patents

Abstract

本发明涉及图像识别技术领域，尤其涉及一种基于SURF的交通标志识别方法及***。该方法包括：根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；抽取和描述所述交通标志的SURF特征值；在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。该方法提高了交通标志识别的效率。

Description

一种基于SURF的交通标志识别方法及***

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于SURF的交通标志识别方法及***。

背景技术

交通标志识别***是驾驶辅助***的一个重要组成部分，它可以通过显示器，监控设备或者语音自动地提示驾驶员有关交通标志的信息，交通标志识别***可以通过降低驾驶员注意力分散来增加驾驶员的安全，从而有效地减少交通事故的发生数量，因而备受关注。现有的交通标志识别方法包括：对含有交通标志的低照度场景图像进行HSI变换，计算低照度场景图像的积分直方图并采用阈值法和数学形态学方法检测交通标志感兴趣区域；对交通标志感兴趣区域使用SIFT(Scale Invariant Feature Transform，即尺度不变特征变换)算法计算其尺度不变特征点的描述子，并和标准库中的图像匹配得到匹配点对；以尺度不变特征点的坐标为图像中心点，取子图；对子图分别计算融合了色调、饱和度和亮度后的改进颜色量化直方图及归一化的改进颜色直方图；计算匹配点对中的两个匹配点的直方图的夹角；去除夹角差异过大的匹配点对；去除无一一匹配的匹配点；根据匹配点数获得低照度场景图片的交通标志识别结果。

现有的交通标志识别***在低照度场景下适应性强，准确率高，然而还存在如下缺点：***鲁棒性仍然不够；交通标志识别速度较低；交通标志识别***依赖昂贵的硬件设备。

发明内容

本发明的目的在于提出一种基于SURF的交通标志识别方法及***，从而提高交通标志识别速度。为达此目的，本发明采用以下技术方案：

一种基于SURF的交通标志识别方法，包括：

根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；

检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；

抽取和描述所述交通标志的SURF特征值；

在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

一种基于SURF的交通标志识别***，其特征在于，包括：

颜色分割模块，用于根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；

形状定位模块，用于检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；

SURF特征提取模块，用于抽取和描述所述交通标志的SURF特征值；

搜索匹配模块，用于在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

上述技术方案提出的基于SURF的交通标志识别方法及***，使用SURF算法来提取目标的局部特征具有较高的鲁棒性，速度较SIFT快了很多，通过颜色形状对来对交通标志特征模板库进行细分的策略，减少了算法在匹配时的搜索匹配运算次数，提高了交通标志识别的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，并不构成对本发明的限定。在附图中：

图1是本发明第一实施例中提供的基于SURF的交通标志识别方法的实现流程图。

图2是交通标志颜色和形状的分类图。

图3是本发明第二实施例中提供的基于SURF的交通标志识别方法的实现流程图。

图4是本发明第三实施例中提供的基于SURF的交通标志识别***的结构示意图。

图5(a)是本发明第四实施例中的待识别源图像。

图5(b)是本发明第四实施例中的待识别源图像的灰度图。

图5(c)是本发明第四实施例中的待识别源图像预处理后的图像。

图5(d)是本发明第四实施例中的待识别源图像的阈值分割图像。

图5(e)是本发明第四实施例中的待识别源图像的定位图像。

图5(f)是本发明第四实施例中的待识别源图像的匹配图像。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明第一实施例中提供的基于SURF的交通标志识别方法的实现流程图，该实现流程包括：

步骤101、根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色。

因为交通标志主要有红、黄和蓝3种区分颜色，所以只需要提取这3种颜色，就可以锁定交通标志候选区域。HSI颜色空间中色调H(Hue)的分布情况可知，红色像素对应的H范围为θ_r∈[270°，360]∪[0°，20°)，蓝色像素对应的H范围为θ_b∈[45°，75°]，黄色像素对应的H范围为θ_y∈[210°，270°]。色饱和度S取值范围为[0.25，1]。根据图像中色调H值，选择出图像中色调H为红色、蓝色或黄色的区域，该区域中的图形可能为交通标志，即其可能为交通标志候选区域。

根据图像的色调值提取所述图像的交通标志候选区域，包括：计算所述图像的色调；根据所述图像的色调值和预设的红色、黄色和蓝色像素的色调范围，分割所述图像中红色、黄色或蓝色三种颜色区域；对所述图像进行阈值分割得到所述图像的交通标志候选区域。

步骤102、检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型。

新国标中交通标志总共有114种(不包括派生标志)，颜色主要为红、黄和蓝三种颜色，其几何外形为圆形54种、三角形45种、矩形13种、正八边形1种和倒三角形1种。根据交通标志颜色与外形的对应关系，把其中113种交通标志大致划分为5类。如图2所示，分类后，其中禁令标志类1有38种，禁令标志类2有1种，警告标志类3有45种，指示标志类4有16种，指示标志类5有13种。

因此，利用颜色和形状特征从每一幅图像中来检测交通标志候选区域是一种有效的方法。获得的交通标志候选区域的几何外形，结合所述交通标志候选区域的颜色，能够获取所述交通标志的类型，即可获取所述交通标志是属于禁令标志类1、禁令标志类2、警告标志类3、指示标志类4或者属于指示标志类5的类型。在获得的交通标志候选区域的几何外形时，对使用Canny算法获得所述交通标志候选区域的图像边缘，然后通过计算质心到边缘的距离来锁定检测出的边缘图形中的圆形、三角形或矩形区域。

检测所述交通标志候选区域的形状之后，还包括：计算所述交通标志候选区域的面积S；若S大于预设的阈值S_T，则保留所述交通标志候选区域；若S不大于预设的阈值S_T，则删除所述交通标志候选区域。

计算所述交通标志候选区域的面积S。

步骤103、抽取和描述所述交通标志的SURF特征值；

从每一个交通标志目标对象中准确地提取有效特征对于整个交通标志识别具有重要意义。由前面的步骤已经检测出交通标志候选区域，因此特征提取只需要集中在所述交通标志候选区域。

使用SURF（Speeded up Robust Features）特征提取算法来提取交通标志候选区域的特征数据。SURF特征提取与描述算法的输入为根据检测结果粗分类的交通标志分割二值图，输出为经过SURF描述的特征点的特征向量集合。使用SURF获得交通标志特征向量集合的数学描述如下。建立一个交通标志模板库，其中有N个标准模板，第K个交通标志模板图像对应的SURF描述特征向量集合可以表示为：

V^(k)=(ν₁ ^(k),ν₂ ^(k),…,ν_n ^(k))

其中，ν_i ^(k)表示模板库中第K个模板的第i个特征向量，n=64，表示SURF描述子的64维特征向量。包含N个交通标志模板图像的SURF描述子特征向量库可以表示为：

$V=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{v}^{\left(k\right)}$

其中，V表示模板特征向量库，N=113，表示113种交通标志。

按照颜色形状分类结果V又可以拆分为模板特征向量子库V_μ，μ=1,2,3,4,5。即：

$V=\underset{\mathrm{\μ}=1}{\overset{5}{\mathrm{\Σ}}}{V}_{\mathrm{\μ}}$

待识别交通标志图像的SURF描述特征向量集合可以表示为：

$V^{*}=(v_1^{*},v_2^{*},...,v_n^{*})$

其中，ν_i ^*表示待识别图像的第i个特征向量，V^*表示待识别图像的SURF描述子特征向量集合，即为待识别交通标志的SURF特征值。

步骤104、在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

在预置的模板特征向量子库V_μ中采用基于加权欧几里德距离的最近K邻域算法（K-Nearest Neighbor）进行搜索匹配所述交通标志的SURF特征。提取得到待识别交通标志分割图像的SURF描述特征向量集合V^*后，使用基于加权的欧几里德距离的最近邻搜索算法，在交通标志模板特征向量库V中进行匹配。加权的欧几里德距离法是对欧几里德距离法的改进。对于待识别交通标志的特征向量集合V^*与标准模板库第K个特征向量集合V^(k)，其加权的欧几里德距离定义如下：

$D(V^{*},V^{\left(k\right)})=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i{(v_i^{*}-v_i^{\left(k\right)})}^2}$

其中，ρ_i表示对特征向量ν_i的加权系数，这样做可以平衡各个特征向量对于最终识别结果的作用。选取使函数D取最小值的K所对应的图像为匹配结果。关于ρ_i的选取方法，这里取列的方差的倒数作为加权系数：

${\mathrm{\ρ}}_i=\frac{N}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(v_i^{\left(k\right)}-\stackrel{\‾}{v_i})}^2}$

式中：

$\stackrel{\‾}{v_i}=\frac{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{v_i}^{\left(k\right)}}{N}$

其中，表示所有特征向量求平均。

本实施例中，基于SURF的交通标志识别方法，使用SURF算法来提取目标的局部特征具有较高的鲁棒性，速度较SIFT快了很多，通过颜色形状对来对交通标志特征模板库进行细分的策略，减少了算法在匹配时的搜索匹配运算次数，提高了交通标志识别的效率。

在图3中示出了本发明的第二实施例。本实施例中和本发明的第一实施例属于同一构思，在本实施例中未详尽描述的细节内容，可以参考第一实施例。

图3是本发明第二实施例中提供的基于SURF的交通标志识别方法的实现流程图，该实现流程包括：

步骤301、从获取的视频中抽取图像，对所述图像进行直方图均衡化与高斯滤波。

视频是由安装在移动车辆上的摄像头实时获取的。因此,图像的亮度,对比度,清晰度和场景噪音由于天气以及光线条件随着时间和地点的改变而有很大的差异。这些因素会增加识别的难度，降低识别的准确率。为了克服上述因素的影响，首先对抽取的图像帧进行图像增强与复原。其步骤如下：从获取的视频中抽取帧，对其进行直方图均衡化与高斯滤波，以增强图像的对比度，消除噪声，改善待检测图像的质量。

步骤302、将所述图像从RGB颜色空间转换到HSI颜色空间。

由于摄像机获取的图像一般是RGB格式的，RGB颜色空间的图像容易受到光照的影响，因此，将图像转换到HSI颜色空间。RGB颜色空间是工业界的一种颜色标准，是通过对红(R)、绿(G)和蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，其中，R、G和B分别为代表红、绿和蓝三个通道的颜色。HSI颜色空间以色调、饱和度及强度三种基本特征量来感知颜色。色调H(Hue)与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。饱和度S(Saturation)表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看起来就会越鲜艳，反之亦然。强度I(Intensity)对应于成像亮度和图像灰度，是颜色的明亮程度。

将图像由RGB颜色空间转换到HSI颜色空间的转换公式如下：

$H=\left\{\begin{array}{c}\mathrm{\θ},B\≤G\\ 360-\mathrm{\θ},B>G\end{array}\right.,$

其中， $\mathrm{\θ}={\cos }^{-1}\left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-G)(R-B)]}^{\frac{1}{2}}}\right\}$

$S=1-\frac{3[\min (R,G,B)}{(R+G+B)}$

$I=\frac{1}{3}(R+G+B)$

其中H的范围为[0°，360°]，S、I的范围为[0,1]。

步骤303、根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色。

根据图像中色调H值，选择出图像中色调H为红色、蓝色或黄色的区域，该区域中的图形可能为交通标志，即其可能为交通标志候选区域。

步骤304、检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型。

根据交通标志颜色与外形的对应关系，把其中113种交通标志大致划分为5类。利用颜色和形状特征从每一幅图像中来检测交通标志候选区域是一种有效的方法。获得的交通标志候选区域的几何外形，结合所述交通标志候选区域的颜色，能够获取所述交通标志的类型，即可获取所述交通标志是属于禁令标志类1、禁令标志类2、警告标志类3、指示标志类4或者属于指示标志类5的类型。

步骤305、抽取和描述所述交通标志的SURF特征值。

使用SURF特征提取算法来提取交通标志候选区域的特征数据。基于SURF算法来获取所述交通标志的SURF特征值。SURF（speeded up robust features）算法是对SIFT算法的深度改进。SURF算法的整体流程同SIFT类似，但在描述符构造过程中采用了与SIFT不同的方法：它是基于积分图像和Hessian矩阵的，用积分图像构造尺度空间，用快速Hessian算子检测特征点，用SURF描述符去描述特征点。SURF算法是对SIFT算法的改进，在性能损失很小的情况下换来了计算的大幅提高，因而比SIFT算法在车牌字符识别更有应用价值。

步骤306、在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

在预置的模板特征向量子库中采用基于加权欧几里德距离的最近K邻域算法（K-Nearest Neighbor）进行搜索匹配所述交通标志的SURF特征。提取得到待识别交通标志分割图像的SURF描述特征向量集合V^*后，使用基于加权的欧几里德距离的最近邻搜索算法，在交通标志模板特征向量库V中进行匹配。加权的欧几里德距离法是对欧几里德距离法的改进。对于待识别交通标志的特征向量集合V^*与标准模板库第K个特征向量集合V^(k)，其加权的欧几里德距离定义如下：

$D(V^{*},V^{\left(k\right)})=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i{(v_i^{*}-v_i^{\left(k\right)})}^2}$

其中，ρ_i表示对特征向量ν_i的加权系数，这样做可以平衡各个特征向量对于最终识别结果的作用。选取使函数D取最小值的K所对应的图像为匹配结果。

本实施例，对含有交通标志的图像进行预处理，能够有效降低图像识别的难度，从而提高交通标志识别的准确率。

在图4中示出了本发明的第三实施例。

图4是本发明第三实施例中提供的基于SURF的交通标志识别***的结构示意图。如图4所示，本实施例所述的交通识别***包括：颜色分割模块401，用于根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；形状定位模块402，用于检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；SURF特征提取模块403，用于抽取和描述所述交通标志的SURF特征值；搜索匹配模块404，用于在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

该***，还包括：面积计算模块，用于计算所述交通标志候选区域的面积S；候选区域筛选模块，若S大于预设的阈值S_T，则用于保留所述交通标志候选区域；候选区域删除模块，若S不大于预设的阈值S_T，则用于删除所述交通标志候选区域。

所述颜色分割模块401包括：色调获取模块，用于计算所述图像的色调；区域选择模块，用于根据所述图像的色调值和预设的红色、黄色和蓝色像素的色调范围，分割所述图像中红色、黄色或蓝色三种颜色区域；阈值分割模块，用于对所述图像进行阈值分割得到所述图像的交通标志候选区域。

该***，还包括：图像预处理模块，用于从获取的视频中抽取图像，对所述图像进行直方图均衡化与高斯滤波；图像格式转换模块，用于将所述图像从RGB颜色空间转换到HSI颜色空间。

本实施例中提出的交通标志识别***能够整合现有的车载视频获取设备、车载视频传输网络和车载计算设备。随着电子产品价格越来越便宜，各种硬件设备的性能也越来越强大，因此能够以较低的成本来构建一个车载交通标志识别***。

在图5(a)-图5(f)中示出了本发明的第四实施例。

本实施例中，使用的实验设备包括：一台Acer4741G笔记本电脑，主频2.4GHz、内存2G和一个工业摄像头用以模拟在智能汽车上的交通标志识别环境。笔记本电脑模拟车载计算机，摄像头作为视频获取设备。编程环境为Microsoft Visual Studio2010，使用开放源代码计算机视觉库Opencv2.3.1。在本实施例中，选取30幅含有交通标志的图像进行测试，所有图像的尺寸规范化为300乘以200像素，所有标志模板尺寸规范化为30乘以30像素。本实施例，三个颜色区域中，色调H的选择阈值θ分别为300，60和260，S阈值为0.3。

使用SURF特征提取算法来提取交通标志图像的稳定有效特征向量。这里，使用红色外接矩形来限定每一个交通标志区域的定位结果。图5(a)是本实施例中用于识别的含有交通标志的源图像；图5(b)是图5(a)中源图像的灰度图；图5(c)是图5(b)经过直方图均衡化与高斯滤波后效果图，经过处理后的图像对比度得到增强，图像细节变得清晰；图5(d)是阈值分割图像；交通标志的定位结果如图5(e)红色矩形区域所示。最后就是在标准模板库中搜索，对定位的交通标志进行匹配，并把使得距离函数值最小的模板作为匹配的结果输出在图像的右上方，如图5(f)所示。

对30幅交通标志图像的实验情况统计如下表1和表2所示，本实施例中，30幅图像的平均识别时间为0.083秒每帧，识别率为96.7%，算法具有较好的准确率和实时性。

表1交通标志测试样本数据

表2与其他交通标志识别方法的比较

本发明提出的交通标志识别算法可以集成智能汽车的各种设备。算法通过把图像从RGB空间转换到HIS空间，在HSI颜色空间根据颜色信息对目标区域进行粗定位，克服了RGB空间受光照影响等缺点。使用SURF来提取目标的局部特征具有较高的鲁棒性，速度较SIFT快了很多。而通过颜色形状对来对交通标志特征模板库进行细分的策略，减少了算法在匹配时的搜索匹配运算次数。实验结果显示：对30幅图像的测试结果统计，算法的平均识别速度可达到0.083秒每帧，平均准确率为96.7%。目前，交通标志识别***因为其依赖一些昂贵的硬件设备仅出现在高价汽车上。本发明提出的基于SURF的交通标志识别***成本较低。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于SURF的交通标志识别方法，其特征在于，包括：

根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；

检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；

抽取和描述所述交通标志的SURF特征值；

在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

2.根据权利要求1所述的方法，其特征在于，所述检测所述交通标志候选区域的形状之后，还包括：

计算所述交通标志候选区域的面积S；

若S大于预设的阈值S_T，则保留所述交通标志候选区域；

若S不大于预设的阈值S_T，则删除所述交通标志候选区域。

3.根据权利要求1或2所述的方法，其特征在于，所述根据图像的色调值提取所述图像的交通标志候选区域，包括：

计算所述图像的色调；

根据所述图像的色调值和预设的红色、黄色和蓝色像素的色调范围，分割所述图像中红色、黄色或蓝色三种颜色区域；

对所述图像进行阈值分割得到所述图像的交通标志候选区域。

4.根据权利要求1或2所述的方法，其特征在于，所述根据图像的色调值提取所述图像的交通标志候选区域之前，还包括：

从获取的视频中抽取图像，对所述图像进行直方图均衡化与高斯滤波；

将所述图像从RGB颜色空间转换到HSI颜色空间。

5.一种基于SURF的交通标志识别***，其特征在于，包括：

颜色分割模块，用于根据图像的色调值提取所述图像的交通标志候选区域，并获取所述交通标志候选区域的颜色；

形状定位模块，用于检测所述交通标志候选区域的形状，并根据所述交通标志候选区域的形状和颜色获得交通标志的类型；

SURF特征提取模块，用于抽取和描述所述交通标志的SURF特征值；

搜索匹配模块，用于在预置的模板特征向量子库中搜索匹配所述交通标志的SURF特征值，识别所述图像中的交通标志。

6.根据权利要求5所述的***，其特征在于，所述***还包括：

面积计算模块，用于计算所述交通标志候选区域的面积S；

候选区域筛选模块，若S大于预设的阈值S_T，则用于保留所述交通标志候选区域；

候选区域删除模块，若S不大于预设的阈值S_T，则用于删除所述交通标志候选区域。

7.根据权利要求5或6所述的***，其特征在于，所述颜色分割模块包括：

色调获取模块，用于计算所述图像的色调；

区域选择模块，用于根据所述图像的色调值和预设的红色、黄色和蓝色像素的色调范围，分割所述图像中红色、黄色或蓝色三种颜色区域；

阈值分割模块，用于对所述图像进行阈值分割得到所述图像的交通标志候选区域。

8.根据权利要求5或6所述的***，其特征在于，所述***还包括：

图像预处理模块，用于从获取的视频中抽取图像，对所述图像进行直方图均衡化与高斯滤波；

图像格式转换模块，用于将所述图像从RGB颜色空间转换到HSI颜色空间。

Images