CN112101283A - 一种交通标志智能识别方法及*** - Google Patents

Abstract

本发明公开了一种交通标志智能识别方法，用于识别交通标志，解决了现有技术中采集到的交通标志图像会出现失真的情况，因此使得后续的处理结果不准确，降低了交通标志识别的准确性的技术问题，其包括：对采集到的图像进行降噪预处理，得到预处理图像；对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；对所述待识别图像进行识别；通过对采集到的图像进行了降噪处理，降低了采集到的图像失真的几率，因此提升了后续处理结果的准确性，提升了交通标志识别的准确性。

Description

一种交通标志智能识别方法及***

技术领域

本发明涉及人工智能技术领域，尤其涉及一种交通标志智能识别方法及***。

背景技术

交通标志识别技术是智能交通***的重要组成部分，在驾驶辅助***、无人驾驶汽车等领域具有广泛的应用前景。

交通标志识别技术需要用到图像处理的方法，从而消除采集到的交通标志图像中的无用信息。

但是，由于自然场景中交通标志受到诸多室外复杂自然环境、运动模糊及标志自身几何结构的影响，采集到的交通标志图像会出现失真的情况，因此使得后续的处理结果不准确，降低了交通标志识别的准确性。

发明内容

本发明的主要目的在于提供一种交通标志智能识别方法及***，旨在解决现有技术中采集到的交通标志图像会出现失真的情况，因此使得后续的处理结果不准确，降低了交通标志识别的准确性的技术问题。

为实现上述目的，本发明第一方面提供一种交通标志智能识别方法，包括：对采集到的图像进行降噪预处理，得到预处理图像；对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；对所述待识别图像进行识别。

本申请第二方面提供一种交通标志智能识别***，包括：预处理模块，用于对采集到的图像进行降噪预处理，得到预处理图像；检测及分割模块，用于对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；图像识别模块，用于对所述待识别图像进行识别。

本发明提供一种交通标志智能识别方法及***，有益效果在于：通过对采集到的图像进行了降噪处理，降低了采集到的图像失真的几率，因此提升了后续处理结果的准确性，提升了交通标志识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例交通标志智能识别方法的流程示意图；

图2为本发明实施例交通标志智能识别方法的尺寸缩小方法的插值示意图；

图3为本发明实施例交通标志智能识别方法的尺寸缩小方法的原图及缩小后图像的对比示意图；

图4为本发明实施例交通标志智能识别方法的三角形标志检测算法示意图；

图5为本发明实施例交通标志智能识别方法获取的原图、连通域标记示意图及最终定位图；

图6为本发明实施例交通标志智能识别方法的最终分割图及待识别图像；

图7为本发明实施例交通标志智能识别方法的标准图像的标准化示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为一种交通标志智能识别方法，包括：S1、对采集到的图像进行降噪预处理，得到预处理图像；S2、对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；S3、对待识别图像进行识别。

在对交通标志进行识别的过程中，通过对采集到的图像进行了降噪处理，降低了采集到的图像失真的几率，因此提升了后续处理结果的准确性，提升了交通标志识别的准确性。

对采集到的图像进行降噪预处理包括：使用双线性插值的方法对采集到的图像进行尺寸缩小；使用直方图均衡化的方法将缩小后的图像进行增量；使用中值滤波的方法将增量后的图像进行降噪处理，得到预处理图像。

为了提高检测和识别的速度，首先在保证标志信息完整的前提下，采用降采样方法对采集的交通标志实景图像进行抽样处理，降低了图像分辨率，减少了处理的数据量，同时对图像进行了归一化处理，便于后续的检测与识别：其次，为解决获取的交通标志图像对比度不足问题，在研究分析常用图像增强算法的基础上，采用了直方图均衡化的方法对图像进行亮度增强处理；最后，研究了图像的去噪方法，通过对比实验，最终选用中值滤波算法对交通标志实景图进行去噪处理，有效降低了图像的噪声。

上述中的降采样方法，即为尺寸缩小的方法，该方法有两个作用，首先，通过尺寸的缩小使得原图像大小与显示区域相符；其次，通过尺寸的缩小使得缩放后的图像比原图像的质量更加清晰，大大提高了检测的速率。

尺寸缩小的原理及过程如下：将一副尺寸为a*b的原图像M,进行N倍的降采样，得到尺寸为(a/N)*(b/M)的缩放图像，此时N必须是a和b的公约数。当缩小图像用矩阵形式表示，那么就是把原图像N*N窗口内图像的像素值用窗口内所有像素的平均值来表示。此时，窗口中所有像素的平均值为：

在本实施例中，采用双线性插值的方法作为尺寸缩小的方法，双线性插值方法的原理及实现过程为：利用原始图像中四个点的像素值得到整个缩放图像的像素。假设求未知函数f在点P＝(x,y)的值，即如图2的差值示意图所示，通过四个Q点的像素值求O点像素值；已知Q11＝(x1,y1)，Q12＝(x1,y2)，Q21＝(x2,y1)以及Q22＝(x2,y2)四个点的值。

在x方向上线性插值有：

y方向插值有：

根据上述三个公式得f(x,y):

图像的双线性插值仅使用四个相邻点，因此上式分母为1.然后插值公式就简化为：f(x,y)≈f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy+f(0,1)(1-x)y+f(1,1)xy

或者用矩阵运算表示为：

通过降采样的抽样过程对图像尺寸进行缩减，主要采用双线性插值算法对实际场景中的道路图像进性运算后，通过实验发现，将原始图像尺寸2500*1550缩小为500*310，即缩小为原来的1/6倍，(N＝6)，效果最好，因此在本实施例中，将采集到的图像缩小6倍，尺寸缩小如图3(a)及图3(b)所示，图3(a)为原图，图3(b)中的四幅图为原图分别为原来的1/2(N＝2)、1/4(N＝4)、1/6(N＝6)、1/8(N＝8)的缩小图。

上述中的图像增量的方法，采用直方图均衡化的方法，直方图均衡化即为非线性地延伸图像，使得某个灰度范围内的像素值数量大致相等。直方图实质是一种数学统计关系，主要表示图像中每个灰度发生的频率大小。它主要有以下作用，首先反映了整个图像的灰度分布状况，其次根据灰度频率知道图像亮度对比和平均亮度。

灰度直方图主要是对图像中各灰度级像素的数量反映，是一种灰度级函数。该横坐标一般代表图像的各个灰度级，用r表示，纵坐标代表每个灰度的频率pr(r)，完整的坐标***中可以看出图像的灰度分布特征，它表示的是图像灰度级的分布情况。也就是说，如果大多数像素都集中在低灰度区域，则图像显得很暗。如果高灰度区像素较多，则该图像会很亮。

对灰度图像进行直方图均衡化使用opencv图像处理工具箱函数cv EqualizeHist。直方图均衡化之后能够看出许多图像的细节信息，并且图像变得更清晰。

为了比较预处理前后图像中每个灰度级发生的频率变化，分别对均衡化处理之前和之后的图像绘制对应的直方图，均衡化之后的直方图分布比原直方图更均匀。像素相对较少的原始灰度分配给其他灰度，像素相对集中。均衡处理后，灰度范围变大，对比度变大，锐度变大，实现了图像亮度的有效增强。因此，本文将通过直方图均衡化方法对交通标志图像进行图像增亮的预处理。

在本实施例中，降噪处理使用的是中值滤波的方法，中值滤波是图像平滑处理过程中去噪效果较好的一种非线性滤波。它的基本原理是：按灰度级的不同对邻域内的像素值进行排序，将该序列中的像素值用该附近像素的中间像素值代替。这样做不用创造新的像素值，只是取周围像素值作为它的输出。首先用窗口W来对图像上的像素进行扫描，然后对其排序，并将其用公式表示为：g(x,y)＝med{f(x-k,y-l)，(k,l∈W)}通常窗口中的像素个数是奇数，这样可以出现中间像素值作为中值。若为偶数，中值就为中间两个像素平均值。

中值滤波是一种经典平滑去噪方法，对于边缘模糊的图像，使用中值滤波最有效，因为它可以很好的保存图像和其他细节信息。

在其他实施例中，滤波方法还可使用均值滤波、双边滤波及高斯滤波。

对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像包括：将预处理图像从RGB色彩模型转换为HSV模型表示；使用HSV模型对预处理图像的颜色特征进行检测并进行阈值分割，得到具有连通域的颜色阈值分割图；获取颜色阈值分割图上各连通域的角点；根据角点确定各连通域是否为交通标志的形状，若是，将该连通域保留在颜色阈值分割图上，若否，将该连通域从颜色阈值分割图上去除；从颜色阈值分割图上的连通域找出交通标志图像的连通域；将连通域包含的交通标志图像从预处理图像上图像分割并处理，得到交通标志图像的待识别图像。

RGB模型面向机器，而HSI模型与人的颜色感知一一对应，因此实际应用中经常要用到RGB和HSI之间的模型转换。

首先，将R，G和B各分量值取值范围设定为[0，1]，然后根据以下公式计算出相应的H，S和I分量值：

目前，RGB颜色模型和HSV颜色模型在图像检测识别中广泛使用。计算机一般使用RGB颜色模型中对图像进行存储显示。因此，HSV空间中图像的颜色信息的获得，必须通过RGB颜色模型与HSV颜色模型之间的转化。HSV和RGB色彩模型都是使用三个通道来表示颜色信息，其变换可通过下述方法实现：

将预处理图像从RGB色彩模型转换为HSV模型表示包括：将RGB的三个分量R、G、B归一化到[0，1]的范围内，并将HSV的三个分量H、S、V的取值范围定义为H[0,360)，S[0，1]，V[0，1]；RGB色彩模型与HSV模型的转换关系为：

V＝max(R,G,B)

S＝(max(R,G,B)-min(R,G,B))/max(R,G,B)

若R＝max(R,G,B),则

H′＝(G-B)/(max(R,G,B)-min(R,G,B))

若G＝max(R,G,B),则

H′＝2+(B-R)/(max(R,G,B)-min(R,G,B))

若B＝max(R,G,B)，则

H′＝4+(R-G)/(max(R,G,B)-min(R,G,B))

其中，当H′≥0时，H＝H'×60；当H'<0时，H＝H'×60+360。

本实施例使用HSV颜色模型进行标志检测分割，其中，H、S、V各参数阈值范围如表1所示：

表1

其中，还需对待检测图像进行形态学处理、区域填充及分割，形态学基本操作由腐蚀，膨胀，开放操作和闭合操作四部分组成。对交通标志颜色分割后的噪声二值图像进行形态学基本操作，得到形态学处理图；区域填充是给出一个区域的边界，填充图像需要通过区域阈值删除非目标项目。填充后得到区域填充图，最终根据区域填充图进行分割。

分割时，首先需要检测待识别图像上的交通标志是何种形状的标志，一般情况下，交通标志的形状为三角形、矩形及圆形，最后再对交通标志进行分割。

其中，检测待识别图像上的交通标志是何种形状的标志基于HSV颜色模型和角点形状检测，其是基于颜色的交通标志检测方法和基于形状的交通标志检测方法的基础上实现的。将两种方法结合并改进的一种同时采用颜色特征和形状线索特征的道路标志检测方法。所谓的角点检测指在图像中寻找角点，然后通过合适位置的角点确定形状的位置。

其中，三角形标志的检测方式如下：

首先为三角形标志的三个角建立合适的掩模。三角形标志为顶角朝上的正三角形，每个角都是60°。可以建立如下表2和表3的掩模。由于三角形是轴对称图形，它的左下角和右下角是对称的，所以它左下角和右下角的掩模也是对称的。这里只给出它的左下角的掩模。右下角可通过对称得出。

-6	-11	-11	-6	0	-6	-11	-11	-6
									-11	-18	-18	-11	0	-11	-18	-18	-11
-11	-18	-18	-11	0	-11	-18	-18	-11
									-6	-11	-11	-6	0	-6	-11	-11	-6
-6	-11	-11	12	12	12	-11	-11	-6
									-11	-18	-19	19	20	19	-18	-18	-11
-11	-18	17	19	20	19	17	-18	-11
									-6	-11	10	12	12	12	10	-11	-6
0	12	20	20	12	20	20	12	0

表2三角形标志上顶角掩模表

-6	-11	-11	-6	0	-6	7	7	4
									-11	-18	-18	-11	0	-11	13	13	8
-11	-18	-18	-11	0	10	17	17	10
									-6	-11	-11	-6	0	12	19	19	12
0	0	0	0	0	12	20	20	12
									-6	-11	-11	-6	0	-6	-11	-11	-6
-11	-18	-18	-11	0	-11	-18	-18	-11
									-11	-18	-18	-11	0	-11	-18	-18	-11
-6	-11	-11	-6	0	-6	-11	-11	-6

表3三角形标志左下角掩模表

检测三角形标志的步骤如下所述：

(1)通过掩模寻找到上顶角、左下角和右下角。

(2)研究这三个角的位置，判断它们能不能构成三角形。

检测算法步骤如下所述：

(1)扫描整个图像从左到右，从上到下。通过与三角形上顶角的掩模计算卷积找到上项角。

(2)从这个上顶角开始，过其作两条斜率分别为52°和68°的两条射线。并在这两条直线和标志高度限制或者图像边缘限制的区域内，通过三角形左下角的掩模搜索左下角。如果找到了左下角，执行步骤(3).如果区域搜索完毕没有找到左下则返回步骤(1)。

(3)找到左下角后，可以同寻找左下角一样，过上顶点作两条斜率为-52°和-68°的射线。然后再这两条射线和高度限制或图像限制的区域内通过三角形右下角的掩模寻找右下角。如果找到了，那么这三个角形成了一个三角形，那么三角形标志检测到了。如果区域搜索完毕没有找到右下角则返回步骤2。

整个算法如图4所示，左边灰色区域为左下角的搜索区域，右边灰色区域为右下角的搜索区域。comer1、comer 2、comner 3分别为三角形的上顶角、左下角和右下角。Heightmin为标志的最小高度，Height max为标志的最大高度，Her ght cor 2为左下角角点的高度。a为左下角角点处左边搜索区域的宽度。

其中，矩形标志的检测方式如下：

矩形四个角都是直角，为矩形左下角建立如下3.4表的掩模。矩形也是一个轴对称图形。其它三个角的掩模可以通过左下角的掩模对称变换得到。

-6	-11	-11	-6	0	-6	7	7	4
									-11	-18	-18	-11	0	-11	13	13	8
-11	-18	-18	-11	0	10	17	17	10
									-6	-11	-11	-6	0	12	19	19	12
0	0	0	0	0	12	20	20	12
									-6	-11	-11	-6	0	-6	-11	-11	-6
-11	-18	-18	-11	0	-11	-18	-18	-11
									-11	-18	-18	-11	0	-11	-18	-18	-11
-6	-11	-11	-6	0	-6	-11	-11	-6

表4矩形标志左下角掩模

检测矩形标志的步骤如下所述：

(1)通过掩模寻找到矩形标志的四个角。

(2)研究这四个角的位置，判断它们能不能构成矩形。

检测算法步骤如下所述：

(1)从左到右，从上到下一次扫描图像，并计算与矩形左上角掩模的卷积。找到左上角，执行步骤(2)。

(2)过这个点作两条斜率为-85°和-95°的射线。然后在这两条射线和标志高度限制或者图像边缘限制的区域内通过矩形左下角掩模寻找到矩形的左下角。如果找到了执行步骤(3)，如果区域搜索完毕没有找到左下角则返回步骤(1)。

(3)过左下角顶点作两条斜率为+5°和-5°的射线.然后在这两条射线和标志宽度限制或图像边缘限制的区域内通过矩形右下角掩模寻找矩形的右下角。如果找到了执行步骤(4)，如果区域搜索完毕没有找到右下角则返回步骤(2)。

(4)过右下角顶点作两条斜率为85°和95°的射线。然后在这两条射线和高度限制或图像边缘限制的区域内通过矩形右上角掩模寻找矩形的右上角。如果找到了，则认为检测到矩形标志了。如果区域搜索完毕没有找到右上角则返回步骤(3)。

其中，圆形标志的检测方式如下：

圆形标志的检测与矩形标志的检测一样。甚至可以完全用矩形的掩模来检测圆形标志。当然检测的不再是角，而是圆周上位于45°、135°、225°和315°处的圆弧。由于使用阈值，并且图像中的图形往往也不是理想的图形。所以往往要检测的角的位置或者圆弧位置会有很多点的卷积达到阈值，这时候需要计算质心。矩形和圆形标志的区别就在这里，矩形标志这些满足阈值的点往往是分布集中，而圆形标志这些点则大致分布在细长的圆弧形区域内。可以通过这个方式来最终区别检测的到底是矩形标志还是圆形标志。

从而，将待识别图像上的颜色特征阈值分割后，得到了连通域就很多，之后在颜色阈值分割图上进行角点形状的检测，得到的连通域就减少了很多，此时根据交通标志的连通域是面积最大的。针对一幅图像多个交通标志的情况，将各连通域按面积大小排序后，若当前连通域的面积大于前一个连通域面积的50％，则认为当前连通域仍是一个交通标志的连通域，而如果当前连通域的面积小于前一个连通域面积的50％，则认为这幅图像中的连通域已优选完毕，当前连通域及其后的连通域为非交通标志图像的连通域。

因此，从颜色阈值分割图上的连通域找出交通标志图像包括：将各连通域按面积大小降序排列；若当前连通域的面积大于前一个连通域面积的50％，则将当前连通域作为一个交通标志图像；若当前连通域的面积小于前一个连通域面积的50％，则将当前连通域及其后的连通域作为非交通标志图像。

以图5(a)为例，将各连通域按面积降序排序后，面积最大的连通域面积为8457，其次的连通域面积为8338，再次的连通域为307，根据上文中介绍的连通域优选算法，可得出图像中包含两个交通标志的结论，与实际观察结果一致。然后在经过优选、符合条件的连通域中，选取面积最小的那个，以它的面积作为阈值，将面积小于此阈值的连通域删去，最终定位图如图5(b)所示；图5(a)的左图为原图，右图为连通域标记示意图，图5(b)为连通域代表的交通标志的最终定位图。

在最终定位图的的基础上，根据最小包围矩形(BoundingBox)原理，即可在原图中分割出交通标志，即如图6(a)所示的最终分割图像。

最终分割图与模板库中的图还是有差别的，不利于之后的模板匹配识别所以在最终分割图上经过二值化、反色、尺寸归一化后，得到用于进行交通标志的待识别图像，即如图6(b)所示的待识别图像。

因此，将连通域包含的交通标志图像从预处理图像上图像分割并处理，得到交通标志图像的待识别图像包括：使用最小包围矩形的方式，在预处理图像上分割出交通标志图像；将交通标志图像进行二值化、反色及尺寸归一化处理，得到用于进行交通标志识别的待识别图像。

本实施例提供的待识别图像进行识别的方法有三种，分别为：基于Pearson相关系数的识别方法、基于SURF特征的识别方法，以及基于BP神经网络的识别方法。

另外，上述三种识别方法，有些许用到标准库，而标准库的建立，选取了131个交通上的交通标志图像，其包含了全部的禁令标志图像、指示标志图像和警告标志图像，这些图像均为标准图像。通过二值化、反色、擦除边缘、归一化处理后，得到标准库；请参阅图7，为一个标准图像经过上述处理后的各种形态(原图中除人形标志外，其他的标志位红色)。

其中，使用Pearson相关系数的识别方法时，对待识别图像进行识别包括：提取标准图像及待识别图像的水平方向、垂直方向、45°方向及135°的四个方向灰度分布，标准图像为标准库中的标准交通标志图像；计算标准图像及待识别图像四个方向上的perason相关系数；计算四个方向的每个方向上标准图像及待识别图像perason相关系数的平均值；将平均值的最大值与预先设置的平均值阈值对比，若平均值的最大值大于平均阈值，则将待识别图像与标准图像相匹配，并将标准图像作为识别结果。

Pearson相关系数识别方法是提取标准图像和待识别图像的水平、垂直、45°和135°方向的灰度分布。通过对源标志图像和模板标志图像的四个方向Pearson相关系数计算，同时设定平均系数的阈值大小，当计算出的相关系数取值为最大值且该值大于设定阀值时，判定两张标志图像匹配成功。

本设计使用的标准库中的标准图像尺寸为86*86，即长为86个像素、宽为86个像素。进行匹配时，首先将待识别图像的尺寸归一化为86*86，随后进行Pearson相关系数的计算：

(1)垂直方向

逐个计算标准图像与待识别图像对应列的Pearson相关系数，由于图像共有86列，故会得到86个列相关系数值，计算这86个值的平均值得到待识别图像与这一个标准图的垂直方向相关系数。由于共有131个标准图像，故会得到一个1*131的相关系数矩阵。

(2)水平方向

逐个计算标准图像与待识别图像对应行的Pearson相关系数，由于图像共有86行，故会得到86个行相关系数值，计算这86个值的平均值得到待识别图像与这一个标准图像的水平方向相关系数。由于共有131个标准图像，故会得到第二个1*131的相关系数矩阵。

(3)45°方向

45°方向的Pearson相关系数计算相对比较复杂，由于无法直接提取图像在45°方向上的像素排列，故把图像顺时针旋转45°，即转化为提取水平方向的像素排列的问题。最后得到第三个1*131的相关系数矩阵。

(4)135°方向

类似于45°方向的情况，图像在处理之前顺时针旋转135°.最后，获得第四个1*131相关系数矩阵。最终得到的4*131的相关系数矩阵。

计算待识别图像与每一个标准图像得到的4个不同方向相关系数的平均值，并按降序排序，取阀值为0.4，若相关系数排序后的最大值大于0.4，则取相关系数最大的值，其代表的图像即为识别出的交通标志。若相关系数排序后的最大值仍小于0.4，则认定该待识别图像在标准库中无匹配。

其中，使用基于SURF特征的识别方法时，对待识别图像进行识别包括：对待检测图像进行粗分类；对粗分类后的待检测图像进行SUFR特征点提取；获取预先粗分类后标准图像的SUFR特征点的标准特征点及描述；将待检测图像的SUFR特征点与标准特征点进行匹配，若匹配成功，则将标准特征点代表的标准图像的描述作为识别结果。

SURF(加速稳健特征)算法是一种鲁棒的局部特征点检测和描述算法，其原理及实现过程如下：

1.构建黑寨矩阵

通过构建Hessian(黑塞矩阵)来生成用于特征提取的所有兴趣点，并构建Hessian矩阵如下：

构建Hessian矩阵通过高斯卷积进行图像的滤波，滤波后的Hessian矩阵表示为：

当此矩阵最大值时，当前点比邻域中的其它点亮度更亮或更暗，以这个方式来定位关键点的位置。

在离散数字图像中，一阶导数是代表相邻像素之间的灰度差如下式所示：

Dx＝f(x+l，y)-f(x，y)；

事实上，Hessian矩阵的判别式是当前点的水平方向的二阶偏导数乘以垂直方向的二阶偏导数再减去当前点的水平、垂直的二阶偏导数的平方如下式所示：

det(H)＝Dxx*D yy-Dxy*Dxy；

Hessian矩阵判别式中的f(x，y)是原始图像的高斯卷积。由于高斯检验服从正态分布，因此系数从中心点越往外系数逐渐降低。为了提高操作速度，SURF算法使用盒式滤波器近似替代高斯滤波器，所以0.9的加权因子乘以Dxy以平衡由于使用盒式滤波器近似而导致的误差如下式所示：

det(H)＝Dxx*D yy-(0.9*Dxy)^2

2.构建尺度空间

SURF的尺度空间构造由L个○组成。在SURF尺度空间的构造中，不同组图像尺寸大小是完全相同的，唯一不同的是所使用的盒式滤波器的模板大小会随着空间的构造不断增大；对于同组不同层的图像盒式滤波器的模板大小是一致的，但是模糊系数会逐渐变大。

3.特征点定位

对于特征点的定位过程来说，SURF和SIFT是完全保持一致的，通过Hessian矩阵处理像素点与二维领域和尺度空间领域中的26个点进行大小比较，初步定位出关键点，然后通过阀值的设定去除弱关键点和错误定位关键点，最终保留的强关键点就是特征稳定点。

4.特征点主方向分配

SIFT特征点方向分配是将统计的梯度直方图中bin最大或超过其80％的方向作为主方向。

SURF特征点方向分配是在包含特征点的整个区域中，计算60°度扇区中的所有水平和垂直方向上的har小波特征统计并求和计数，以0.2弧度的间隔旋转扇，再次进行特征区域的求和计数，找到具有最大特征总和的扇区就是特征点的主要方向。

5.生成特征点描述子

在SIFT特征点描述子的构建中，它通过采集特征点周围的4*4个块区域，并计算每个块内的8个梯度方向。用4*4*8＝128维向量作为SIFT特征的描述子。

在SURF特征点描述子的构建中，特征点用正方形包围，将这个正方形分为16个区域块，计算每个小块中25个像素的四个方向的Haar小波特征。Haar小波特征具有四个方向：水平方向值，垂直方向值，水平绝对值和垂直绝对值，将得到的4个方向的值作为每个小区域块的的特征向量，则共有SURF特征的描述子为4*4*4-64维向量，其比SIFT特征描述子小2倍。

SURF通过两个特征点之间的欧式距离大小来确定两者匹配度。若距离近则匹配度好，反之亦然；其中，两者矩阵迹线符号一样，代表两个特征在对比度变化方向相同。若正负号不同，就是两个特征在相反方向上具有对比度的变化。即使欧式距离为0，则直接排除。

基于SURF特征的识别方法的步骤如下：

第一步：对上述131个模板库中的交通标志图像，通过SURF特征进行特征的提取和描述，从而得到131个对应的特征向量集合，把这些集合按照颜色和形状特征分为黄色三角形、红色圆形、蓝色矩形、蓝色圆形四类，就会得到4个特征向量子库。

第二步：对基于HSV颜色和角点形状检测和分割的交通标志图像进行粗分类。

第三步：对检测与分割得到的交通标志图像进行SURF特征的提取和描述，把该特征向量与模板库中建立的相应粗分类的特征向量子库，通过两个特征点间几组特征向量的相似度计算，选择相似度最大的几组进行求和Sum，显示Sum最大的那个样本图像就是该标志表示的类型。最终输出匹配结果Sum与该标志含义。

其中，使用基于BP神经网络的识别方法时，对待识别图像进行识别包括：使用预先改进过的一个BP神经网络待识别图像进行分类，分类的类别包括交通标志中的禁止标志、警告标志及指示标志；使用预先改进过的两个BO神经网络及标准图像的样本库对分类后的待识别图像进行细化，细化至待检测图像与样本库中的一个标准图像相对应，将待检测图像对应的标准图像作为识别结果；BP神经网络的改进包括：将(0.01，0.8)设定为BP神经网络的学习速率选取区间，在BP神经网络接连两次迭代梯度方向相反后，将学习速率减半处理，在BP神经网络接连两次迭代梯度方向相同后，将学习速率加倍；获取BP神经网络的动量项权值，将动量项权值加一个随机数；将BP神经网络的Sigmoid函数的输出范围(0，1)修改为(-1/2，1/2)。

BP神经网络分为两个过程：信息的正向传输和错误信号的反向传播.1988年，RobertHecht Nielsen提出了万能近定理：隐层BP网络可以逼近任何类型的闭区间连续函数，所以三层BP网络可以完成任何m维到n维的映射。

在BP神经网络中会提前确定输入层和输出层中的节点数量，对于隐含层节点的数量不会提前规定，但是它的数量确实会影响该神经网络的性能。隐含层节点数量可以根据以下公式得出：

上述公式4.22中，h代表隐含层节点的数量，m，n分别代表输入和是输出层节点的数量，a输入层与输出层之间的调整常数，a取值范围为[1～10]。

正向传递子过程：假设每个节点输出值xj，它的取值由所有节点i和节点j之间的权重wij，所有节点j的阀值bj和激活函数f共同决定。

具体计算方法如下：

x_j＝f(S_j)

该式中f函数一般为S型函数。

反向传递子过程：对于BP神经网络而言，输入层节点是没有阀值。设输出层结果为dj，误差信号的传递是基于Widrow-Hoff学习规则反向进行。误差函数如下所示：

BP神经网络主要目的是降低误差函数值使其达到最小值，使用的的方法是不断的调整阀值和权值。Widrow-Hoff学***方和下降最快的方向，对阈值和权值不断调整。由梯度下降法可知，权重修正与当前位置E(w，b)的梯度成正比。对于第j个输出节点有下列公式：

假设选择激活函数为：

对于wij有：

通过改变神经元之间的连接权重来减少***的实际输出和预期输出的误差，Widrow-Hoff学习规则(纠错学习规则或8学习规则)实质上就是通过改变神经元之间的连接权值而降低***的实际与预期输出误差值。

上式是隐含层与输出层之间的权值的计算以及输出层的阀值调整量的计算。而计算输入层与隐含层之间对于阀值的调整量更加复杂。设隐含层第i节点与输入层第k个节点之间权值为wki，则有如下计算：

其中有：

按照梯度下降法原理，对隐含层和输出层之间的权值和阀值进行如下调整：

输入层与隐含层之间的权值和阀值调整如下：

但是，传统的BP神经网络收敛速递较慢，本申请实施例对BP神经网络进行了三点改进，分别为：以自适应方式对学习速率进行调整、增加动量项设置，以及Sigmoid型函数输出范围的修改。

1.以自适应方式对学习速率进行调整：

BP算法的学习速率通常是由人为确定的，没有统一的标准，如果我们将学习的速率选择过大，就会使的网络因为过分的修正无法收敛；反之，若选取的速率太小，就会导致训练时间的延长，收敛速度的减慢。一般情况下，将(0.01，0.8)作为速率的选取区间，本文将通过自适应方式对学习速率进行调整：

w(k+1)＝w(k)+α(k)D(k)；α(k)＝2^λα(k-1)；λ＝sign[D(k)D(k-1)]

当接连两次迭代梯度方向相反，代表该学习速率下降速率太快，需将步长减半处理，当两次方向相同，代表速率下降太慢，此时应将步长做加倍处理。

2.增加动量项设置：

一般情况下，BP算法最优点的确定是根据误差函数梯度下降的方向。它一般根据某一时刻梯度下降的方向来进行权值的调整，不考虑之前时刻的梯度方向，从而造成了收敛缓慢、训练时间过长等问题。将原来设置的动量项权值增加一个小的随机数，就可以减小误差曲面局部细节变化对该网络产生的影响，很好的解决了网络中“局部极小点”的存在性问题。表示如下：

w(k+1)＝w(k)+α[(1-η)D(k)+ηD(k-1)]

其中w(k)、w(k+1)表示k、k+1时刻的权值向量。D(k-1)、D(k)分别表示k-1、k时刻的负梯度。学习速率用α表示，范围为α>0。动量因子用η表示，范围为0<η<1。

3.Sigmoid型函数输出范围的修改：

Sigmoid函数，输出范围为(0，1)，其中一半接近0，会造成权值调整量的减少甚至是起不到调整作用，使的训练更长。所以本文通过对Sigmoid函数范围的缩小，减少训练时长，减少收敛循环的次数，有效提高了收敛速度。通过函数

将输出范围变为(-1/2,1/2)。

本申请实施例还提供一种交通标志智能识别***，包括：预处理模块，用于对采集到的图像进行降噪预处理，得到预处理图像；检测及分割模块，用于对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；图像识别模块，用于对所述待识别图像进行识别。

预处理模块包括：尺寸缩小单元、增量单元及降噪单元；尺寸缩小单元用于使用双线性插值的方法对采集到的图像进行尺寸缩小；增量单元用于使用直方图均衡化的方法将缩小后的图像进行增量；降噪单元用于使用中值滤波的方法将增量后的图像进行降噪处理，得到预处理图像。

检测及分割模块包括：模型转换单元、阈值分割单元、角点获取单元、形状判断单元、连通域获取单元及分割处理单元；模型转换单元用于将预处理图像从RGB色彩模型转换为HSV模型表示；阈值分割单元用于使用HSV模型对预处理图像的颜色特征进行检测并进行阈值分割，得到具有连通域的颜色阈值分割图；角点获取单元用于获取所述颜色阈值分割图上各连通域的角点；形状判断单元用于根据所述角点确定各连通域是否为交通标志的形状，若是，将该连通域保留在颜色阈值分割图上，若否，将该连通域从颜色阈值分割图上去除；连通域获取单元用于从颜色阈值分割图上的连通域找出交通标志图像的连通域；分割处理单元用于将连通域包含的交通标志图像从预处理图像上图像分割并处理，得到交通标志图像的待识别图像。

模型转换单元包括：RGB分量归一化子单元、HSV定义单元及转换单元；RGB分量归一化子单元用于将RGB的三个分量R、G、B归一化到[0，1]的范围内；HSV定义单元及转换单元用于将HSV的三个分量H、S、V的取值范围定义为H[0,360)，S[0，1]，V[0，1]；转换单元用于根据转换关系将RGB色彩模型转换为HSV模型。

其中，上述转换关系为：V＝max(R,G,B)

S＝(max(R,G,B)-min(R,G,B))/max(R,G,B)

若R＝max(R,G,B),则

H′＝(G-B)/(max(R,G,B)-min(R,G,B))

若G＝max(R,G,B),则

H′＝2+(B-R)/(max(R,G,B)-min(R,G,B))

若B＝max(R,G,B)，则

H′＝4+(R-G)/(max(R,G,B)-min(R,G,B))

其中，当H′≥0时，H＝H'×60；当H'<0时，H＝H'×60+360。

连通域获取单元包括：排序子单元及判断子单元；排序子单元用于将各连通域按面积大小降序排列；判断子单元用于判断当前连通域的面积是否大于前一个连通域的面积，若是则将当前连通域作为一个交通标志图像的连通域；若否，则将当前连通域及其后的连通域作为非交通标志图像的连通域。

分割处理单元包括：最小包围矩形子单元及处理子单元；最小包围矩形子单元用于使用最小包围矩形的方式，在预处理图像上分割出交通标志图像；处理子单元用于将交通标志图像进行二值化、反色及尺寸归一化处理，得到用于进行交通标志识别的待识别图像。

在本实施例中，图像识别模块包括：灰度提取单元、perason相关系数计算单元、平均值计算单元及对比单元；灰度提取单元用于提取标准图像及待识别图像的水平方向、垂直方向、45°方向及135°的四个方向灰度分布，所述标准图像为标准库中的标准交通标志图像；perason相关系数计算单元用于计算标准图像及待识别图像四个方向上的perason相关系数；平均值计算单元用于计算四个方向的每个方向上标准图像及待识别图像perason相关系数的平均值；对比单元用于将所述平均值的最大值与预先设置的平均值阈值对比，若所述平均值的最大值大于所述平均阈值，则将所述待识别图像与所述标准图像相匹配，并将标准图像作为识别结果。

在其他实施例中，图像识别模块包括：粗分类单元、待检测图像SUFR特征点提取单元、标准图像SUFR特征点获取单元及匹配单元；粗分类单元用于对待检测图像进行粗分类；待检测图像SUFR特征点提取单元用于对粗分类后的待检测图像进行SUFR特征点提取；标准图像SUFR特征点获取单元用于获取预先粗分类后标准图像的SUFR特征点的标准特征点及描述；匹配单元用于将待检测图像的SUFR特征点与所述标准特征点进行匹配，若匹配成功，则将标准特征点代表的标准图像的描述作为识别结果。

在其他实施例中，图像识别模块包括：分类单元及细化单元；分类单元用于使用预先改进过的一个BP神经网络待识别图像进行分类，分类的类别包括交通标志中的禁止标志、警告标志及指示标志；细化单元用于使用预先改进过的两个BO神经网络及标准图像的样本库对分类后的待识别图像进行细化，细化至待检测图像与样本库中的一个标准图像相对应，将待检测图像对应的标准图像作为识别结果。

其中，BP神经网络的改进包括：将(0.01，0.8)设定为BP神经网络的学习速率选取区间，在BP神经网络接连两次迭代梯度方向相反后，将学习速率减半处理，在BP神经网络接连两次迭代梯度方向相同后，将学习速率加倍；获取BP神经网络的动量项权值，将所述动量项权值加一个随机数；将BP神经网络的Sigmoid函数的输出范围(0，1)修改为(-1/2，1/2)。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种交通标志智能识别方法及***的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种交通标志智能识别方法，其特征在于，包括：

对采集到的图像进行降噪预处理，得到预处理图像；

对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；

对所述待识别图像进行识别。

2.根据权利要求1所述的交通标志智能识别方法，其特征在于，

所述对采集到的图像进行降噪预处理包括：

使用双线性插值的方法对采集到的图像进行尺寸缩小；

使用直方图均衡化的方法将缩小后的图像进行增量；

使用中值滤波的方法将增量后的图像进行降噪处理，得到预处理图像。

3.根据权利要求1所述的交通标志智能识别方法，其特征在于，

所述对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像包括：

将预处理图像从RGB色彩模型转换为HSV模型表示；

使用HSV模型对预处理图像的颜色特征进行检测并进行阈值分割，得到具有连通域的颜色阈值分割图；

获取所述颜色阈值分割图上各连通域的角点；

根据所述角点确定各连通域是否为交通标志的形状，若是，将该连通域保留在颜色阈值分割图上，若否，将该连通域从颜色阈值分割图上去除；

从颜色阈值分割图上的连通域找出交通标志图像的连通域；

将连通域包含的交通标志图像从预处理图像上图像分割并处理，得到交通标志图像的待识别图像。

4.根据权利要求3所述的交通标志智能识别方法，其特征在于，

所述将预处理图像从RGB色彩模型转换为HSV模型表示包括：

将RGB的三个分量R、G、B归一化到[0，1]的范围内，并将HSV的三个分量H、S、V的取值范围定义为H[0,360)，S[0，1]，V[0，1]；

RGB色彩模型与HSV模型的转换关系为：

V＝max(R,G,B)

S＝(max(R,G,B)-min(R,G,B))/max(R,G,B)

若R＝max(R,G,B),则

H′＝(G-B)/(max(R,G,B)-min(R,G,B))

若G＝max(R,G,B),则

H′＝2+(B-R)/(max(R,G,B)-in(R,G,B))

若B＝max(R,G,B)，则

H′＝4+(R-G)/(max(R,G,B)-min(R,G,B))

其中，当H′≥0时，H＝H'×60；当H'<0时，H＝H'×60+360。

5.根据权利要求4所述的交通标志智能识别方法，其特征在于，

所述从颜色阈值分割图上的连通域找出交通标志图像的连通域包括：

将各连通域按面积大小降序排列；

若当前连通域的面积大于前一个连通域面积的50％，则将当前连通域作为一个交通标志图像的连通域；

若当前连通域的面积小于前一个连通域面积的50％，则将当前连通域及其后的连通域作为非交通标志图像的连通域。

6.根据权利要求5所述的交通标志智能识别方法，其特征在于，

所述将连通域包含的交通标志图像从预处理图像上图像分割并处理，得到交通标志图像的待识别图像包括：

使用最小包围矩形的方式，在预处理图像上分割出交通标志图像；

将交通标志图像进行二值化、反色及尺寸归一化处理，得到用于进行交通标志识别的待识别图像。

7.根据权利要求1所述的交通标志智能识别方法，其特征在于，

所述对所述待识别图像进行识别包括：

提取标准图像及待识别图像的水平方向、垂直方向、45°方向及135°的四个方向灰度分布，所述标准图像为标准库中的标准交通标志图像；

计算标准图像及待识别图像四个方向上的perason相关系数；

计算四个方向的每个方向上标准图像及待识别图像perason相关系数的平均值；

将所述平均值的最大值与预先设置的平均值阈值对比，若所述平均值的最大值大于所述平均阈值，则将所述待识别图像与所述标准图像相匹配，并将标准图像作为识别结果。

8.根据权利要求1所述的交通标志智能识别方法，其特征在于，

所述对所述待识别图像进行识别包括：

对待检测图像进行粗分类；

对粗分类后的待检测图像进行SUFR特征点提取；

获取预先粗分类后标准图像的SUFR特征点的标准特征点及描述；

将待检测图像的SUFR特征点与所述标准特征点进行匹配，若匹配成功，则将标准特征点代表的标准图像的描述作为识别结果。

9.根据权利要求1所述的交通标志智能识别方法，其特征在于，

所述对所述待识别图像进行识别包括：

使用预先改进过的一个BP神经网络待识别图像进行分类，分类的类别包括交通标志中的禁止标志、警告标志及指示标志；

使用预先改进过的两个BO神经网络及标准图像的样本库对分类后的待识别图像进行细化，细化至待检测图像与样本库中的一个标准图像相对应，将待检测图像对应的标准图像作为识别结果；

BP神经网络的改进包括：

将(0.01，0.8)设定为BP神经网络的学习速率选取区间，在BP神经网络接连两次迭代梯度方向相反后，将学习速率减半处理，在BP神经网络接连两次迭代梯度方向相同后，将学习速率加倍；

获取BP神经网络的动量项权值，将所述动量项权值加一个随机数；

将BP神经网络的Sigmoid函数的输出范围(0，1)修改为(-1/2，1/2)。

10.一种交通标志智能识别***，其特征在于，包括：

预处理模块，用于对采集到的图像进行降噪预处理，得到预处理图像；

检测及分割模块，用于对预处理图像进行交通标志的检测及分割，得到交通标志图像的待识别图像；

图像识别模块，用于对所述待识别图像进行识别。

Images