CN101702197A - 一种道路交通标志的检测方法 - Google Patents

Abstract

本发明公开了一种道路交通标志的检测方法，通过分析道路交通标志的基本颜色和基本几何形状，提出颜色形状对、并根据颜色形状对构造了道路交通标志的颜色与几何形状的关系模型，利用该模型进行道路交通标志的检测，大大提高了道路交通标志检测的有效性和检测正确率；该模型覆盖了中国所有三大类116种交通标志，有利于构筑一个比较完善的TSR***；在检测的同时将道路交通标志初步分为七个交通标志子类，即实现道路交通标志的粗分类。这样，有效地降低了道路交通标志识别(TSR)***的复杂性，有利于提高TSR***的实时性和有效性；此外，可以大幅度化简交通标志信息的复杂性，这是实现快速检测、并在检测阶段同时解决粗分类问题的基础。

Description

一种道路交通标志的检测方法

技术领域

本发明涉及一种道路交通标志的识别方法，尤其是涉及一种道路交通标志的检测方法。

背景技术

智能交通***(Intelligent Transportation System，ITS)是为解决日益严重的城市交通状况而提出的，是一个集检测、通信、控制和计算机等技术为一体的综合信息***，目前已经成为广受关注的科技领域。道路交通标志识别(Traffic Sign Recognition，TSR)是智能交通***的重要组成部分。道路交通标志识别主要包括两个基本技术环节：首先是交通标志的检测，包括交通标志的定位及必要的预处理；其次是交通标志的判别，包括交通标志的特征提取与分类。其中，交通标志的检测是要解决的关键问题，是实现交通标志正确判别的前提。

目前的交通标志检测研究主要是通过两条技术路线进行的。首先，由于颜色信息容易受到光照等因素的影响，而灰度图像需要处理的信息量较少，因此，很多交通标志检测的研究都是基于灰度图像进行的，但基于灰度图像的交通标志检测方法由于不同颜色的灰度级别有时相差很小，难以区分，尤其当实景交通标志图像的对比度较小或光照不均匀以及有类似交通标志特征的干扰时，这种方法都会增加误识率。其次，就是基于彩色图像的交通标志检测，颜色是交通标志的重要属性，相对于背景区域，其颜色大都是鲜明醒目的，与周围区域形成较强的颜色对比；同时，彩色图像提供的信息比灰度图像更加丰富，因此，随着计算机处理能力的迅速提高，应用彩色图像处理技术进行道路交通标志检测的研究开始增加。基于彩色图像的交通标志检测方法主要有以下几种：

(1)利用交通标志的颜色信息进行图像分割，然后根据交通标志的大小、长宽比及其在图像中的位置检测出交通标志；

(2)应用交通标志的颜色和形状信息检测出交通标志；

(3)利用颜色空间对交通标志场景图进行分割后，采用遗传算法进一步检测出交通标志。

上述几种基于彩色图像的交通标志检测方法虽然改善了交通标志的检测效果，但检测对象(即交通标志)普遍比较单一，多以某一类(如禁令标志或指示标志或警告标志)或仅选某一类中的若干个交通标志作为检测对象，当检测对象的样本数较多时，这些方法的检测正确率明显下降，从而降低了检测对象的识别率。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高道路交通标志检测的有效性，且检测正确率较高的交通标志检测方法。

本发明解决上述技术问题所采用的技术方案为：一种道路交通标志的检测方法，道路交通标志具有基本颜色和基本几何形状两种属性，所述的基本颜色包括红色、蓝色、黄色、黑色和白色，所述的基本几何形状包括圆形、矩形、正三角形、倒三角形及正八边形，所述的道路交通标志包括禁令标志、指示标志及警告标志，该检测方法包括以下步骤：

①通过分析道路交通标志的基本颜色，确定以红色为基本颜色的道路交通标志为禁令标志，确定以蓝色为基本颜色的道路交通标志为指示标志，确定以黑色为基本颜色的道路交通标志为警告标志或为禁令标志；通过分析道路交通标志的基本几何形状，确定以倒三角形为基本几何形状的道路交通标志为禁令标志，确定以正八边形为基本几何形状的道路交通标志为禁令标志，确定以圆形为基本几何形状的道路交通标志为禁令标志或为指示标志，确定以矩形为基本几何形状的道路交通标志为指示标志，确定以正三角形为基本几何形状的道路交通标志为警告标志；

②将基本颜色中的红色记为C₁，将基本颜色中的蓝色记为C₂，将基本颜色中的黑色记为C₃，将基本几何形状中的倒三角形记为S₁，将基本几何形状中的正八边形记为S₂，将基本几何形状中的圆形记为S₃，将基本几何形状中的矩形记为S₄，将基本几何形状中的正三角形记为S₅，记基本颜色的集合为VC，VC＝{C₁，C₂，C₃}，记基本几何形状的集合为VS，VS＝{S₁，S₂，S₃，S₄，S₅}；由第i个基本颜色C_i与第j个基本几何形状S_j构成颜色形状对(C_i，S_j)，其中，i＝1，2，…，n，j＝1，2，…，m，n＝3，m＝5，记禁令标志的所有颜色形状对构成的集合为VCSP₁，VCSP₁＝{(C₁，S₁)，(C₁，C₂)，(C₁，S₃)，(C₃，S₃)}，记指示标志的所有颜色形状对构成的集合为VCSP₂，VCSP₂＝{(C₂，S₃)，(C₂，S₄)}，记警告标志的所有颜色形状对构成的集合为VCSP₃，VCSP₃＝{(C₃，S₅)}，记道路交通标志的所有颜色形状对的集合为VCSP_CN，VCSP_CN＝{VCSP₁，VCSP₂，VCSP₃}＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)，(C₂，S₃)，(C₂，S₄)，(C₃，S₅)}；根据禁令标志的所有颜色形状对、指示标志的所有颜色形状对及警告标志的所有颜色形状对，构造道路交通标志的颜色与几何形状的关系，表示为

$\left\{\begin{array}{c}\mathrm{TSR}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)\\ \mathrm{TSG}=(C_2,S_3)+(C_2,S_4)\\ \mathrm{TSW}=(C_3,S_5)\\ \mathrm{TS}=\mathrm{TSR}+\mathrm{TSG}+\mathrm{TSW}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)+(C_2,S_3)+(C_2,S_4)+(C_3,S_5)\end{array}\right.$

其中，TSR、TSG、TSW、TS均为逻辑变量，TS表示通过摄像装置获取的道路交通场景图像中存在道路交通标志，TSR表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在指示标志，TSW表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在警告标志；根据道路交通标志的颜色与几何形状的关系，将道路交通标志粗分类为七个交通标志子类，该七个交通标志子类分别为红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志、蓝色-圆形交通标志、蓝色-矩形交通标志、黑色-正三角形交通标志，其中，红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志为禁令标志，蓝色-圆形交通标志、蓝色-矩形交通标志为指示标志，黑色-正三角形交通标志为警告标志；

③通过摄像装置获取道路交通场景图像，定义当前获取的道路交通场景图像为当前道路交通场景图像，将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间，RGB颜色空间的3个颜色分量分别为红色R、绿色G和蓝色B，HSI颜色空间的3个颜色分量分别为色调H、饱和度S和强度I；

④根据道路交通标志的基本颜色，采用基于HSI颜色空间的颜色提取方法对当前道路交通场景图像进行颜色提取，得到二值图像；

⑤采用边缘检测方法对二值图像进行边缘检测，以去除噪声点，得到疑似道路交通标志区域；

⑥根据道路交通标志的基本几何形状及道路交通标志的所有颜色形状对，判断疑似道路交通标志区域是否为确实的道路交通标志区域；当疑似道路交通标志区域确定为确实的道路交通标志区域时，则根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测；当疑似道路交通标志区域确定为非道路交通标志区域时，则不进行处理并结束。

所述的步骤③中将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间的具体过程为：首先分别对RGB颜色空间的3个颜色分量进行归一化处理，得到3个颜色分量各自的归一化值，记红色R的归一化值为r，记绿色G的归一化值为g，记蓝色B的归一化值为b，

然后利用红色R的归一化值r、绿色G的归一化值g及蓝色B的归一化值b分别计算HSI颜色空间的3个颜色分量，

其中，

函数arctan()为求正切函数，函数min()为求最小值函数。

所述的步骤④中对当前道路交通场景图像进行颜色提取所采用的基于HSI颜色空间的颜色提取方法的具体过程为：④-1、对于道路交通标志的基本颜色中的红色，将红色相应的色调H的值的取值范围设定为[315°，360°]∪[0°，25°]；对于道路交通标志的基本颜色中的蓝色，将蓝色相应的色调H的值的取值范围设定为[200°，260°]，并将蓝色相应的饱和度S的值的取值范围设定为[0.2，+∞]；对于道路交通标志的基本颜色中的黑色，将黑色相应的饱和度S的值的取值范围设定为[0.2，+∞]；④-2、遍历当前道路交通场景图像的每个像素点，判断像素点的色调H的值是否属于[315°，360°]∪[0°，25°]，如果是，则将该像素点的像素值置为0，否则，判断像素点的色调H的值是否属于[200°，260°]且像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，再判断像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，将该像素点的像素值置为1；④-3、获得二值图像。

所述的步骤⑤中的边缘检测方法为数学形态学中的膨胀与腐蚀运算。

所述的步骤⑥的具体步骤为：⑥-1、利用公知的霍夫变换获取疑似道路交通标志区域的基本几何形状，然后判断疑似道路交通标志区域的基本几何形状是否属于基本几何形状的集合VS，如果是，则继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志，不进行处理并结束；⑥-2、根据道路交通标志的颜色几何形状对，判断疑似道路交通标志区域的基本颜色与基本几何形状构成的二元对是否属于道路交通标志的所有颜色形状对的集合VCSP_CN，如果是，则确定该疑似道路交通标志区域为确实的道路交通标志区域，并继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志区域，不进行处理并结束；⑥-3、根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测。

与现有技术相比，本发明的优点如下：

1.通过分析道路交通标志的基本颜色和基本几何形状，提出颜色形状对、并根据颜色形状对构造了道路交通标志的颜色与几何形状的关系模型，利用该模型进行道路交通标志的检测，大大提高了道路交通标志检测的有效性和检测正确率；该模型覆盖了中国所有三大类116种交通标志，有利于构筑一个比较完善的TSR***；

2.在检测的同时将道路交通标志初步分为七个交通标志子类，即实现道路交通标志的粗分类，这样，有效地降低了道路交通标志识别(TSR)***的复杂性，有利于提高TSR***的实时性和有效性；

3.可以大幅度化简交通标志信息的复杂性，这是实现快速检测、并在检测阶段同时解决粗分类问题的基础；

4.由于本发明方法提出了颜色形状对的概念，即考虑了道路交通标志的基本颜色与基本几何形状之间的唯一的确定性关系，这样不仅能使后续的道路交通标志检测能够有效地检测出道路交通标志，而且可使得在检测的过程中同时实现道路交通标志的粗分类，本发明方法构造的道路交通标志的颜色与几何形状的关系模型为后续的道路交通标志的有效检测提供了良好的基础。

附图说明

图1为禁令标志、指示标志和警告标志的部分典型样本示例；

图2为禁令标志、指示标志和警告标志与颜色的关系示意图；

图3为禁令标志、指示标志和警告标志与几何形状的关系示意图；

图4为道路交通标志的颜色与几何形状之间唯一确定关系的基本框架示意图；

图5为本发明方法的基本处理框图；

图6a为模拟的道路交通场景图像；

图6b为颜色提取后得到的二值图像；

图6c为边缘检测后得到的疑似道路交通标志区域；

图6d为检测得到的道路交通标志。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

我国直接与道路交通安全有关的交通标志共有116个(不包括可派生的交通标志)，分为三大类，分别为禁令标志、指示标志和警告标志。其中，禁令标志42个，指示标志29个，警告标志45个，图1给出了三类标志的部分典型样本示例。目前，对交通标志的检测提出了两类方法，即基于灰度图像的交通标志检测方法和基于彩色图像的交通标志检测方法，其中基于彩色图像的交通标志检测方法为了提高交通标志检测的有效性，充分利用了交通标志的两个突出特征即颜色和几何形状信息，但却忽略了交通标志的另一个重要特征，即其颜色与几何形状之间具有唯一的确定性关系。

而本发明在分析了道路交通标志的基本颜色和基本几何形状这两种属性的基础上，提出了颜色形状对的概念，即考虑了道路交通标志的基本颜色与基本几何形状之间的唯一的确定性关系，这样不仅能使后续的道路交通标志检测能够有效地检测出道路交通标志，而且可使得在检测的过程中同时实现道路交通标志的粗分类。在颜色形状对的基础上，构造道路交通标志的颜色与几何形状的关系模型，该模型为后续的道路交通标志的有效检测提供了良好的保障。同时在道路交通标志的颜色与几何形状的关系模型的基础上提出了一种新的道路交通标志检测方法，该方法覆盖了所有三大类116个中国道路交通标志，在实现检测的同时将道路交通标志初步分为七个交通标志子类，即实现道路交通标志的粗分类，这样有效地降低了道路交通标志识别(TSR)***的复杂性，提高了TSR***的实时性和有效性。

首先分别对各类道路交通标志的基本颜色和基本几何形状进行分析。从116个道路交通标志可知，该116个道路交通标志主要由五种基本颜色构成，分别为红色、蓝色、黄色、黑色和白色。其中，禁令标志以红色为其基本颜色，白色为其底色，内核图案以黑色为主，另有两个特殊的禁令标志为白底黑色；指示标志的基本颜色为蓝色，内核图案以白色为主；警告标志以黄色为其基本颜色，边框及其内核图案为黑色。考虑到45个警告标志中有约四分之一的标志内核图案的黑色成分较多，以至于黄色部分不能形成一个规则的形状，如图1中的警告标志W10所示。因此，若采用黄色作为警告标志的基本颜色建立“颜色与几何形状的关系模型”，将会使道路交通标志检测方法对警告标志的检测变得很复杂。考虑到警告标志的外缘都是具有一定宽度的黑色，且具有规则的形状属性，于是，本发明采用黑色作为警告标志的基本颜色。

另外，从图1中可获知，大部分道路交通标志都有一个很细的外轮廓线。但实践表明，拍摄得到的道路交通标志实景图中，这些很细的外轮廓线都比较模糊，甚至看不到，因此，这些很细的外轮廓线对道路交通标志识别的影响完全可以忽略不计。于是，若忽略白色、黄色和其它次要因素，则颜色与三大类道路交通标志之间的关系可用图2表示，具体表述如下：1)、以红色为基本颜色的道路交通标志必为禁令标志；2)、以蓝色为基本颜色的道路交通标志必为指示标志；3)、以黑色为基本颜色的道路交通标志或为警告标志、或为禁令标志。

我国的116个道路交通标志共有五种基本几何形状，分别为圆形、矩形、正三角形、倒三角形和正八边形。其中，圆形、矩形和正三角形的数量较多，为三大类道路交通标志的主要几何形状，倒三角形和正八边形各有1个，且都是禁令标志，其余40个禁令标志均为圆形；29个指示标志有圆形和矩形两种几何形状；45个警告标志的基本几何形状为正三角形。因此，几何形状与三大类道路交通标志之间的关系如图3所示，具体表述如下：1)、圆形或为禁令标志、或为指示标志；2)、矩形必为指示标志；3)、正三角形必为警告标志；4)、倒三角形和正八边形必为禁令标志。

其次，确定颜色形状对及颜色形状对集合。根据以上对三大类116个道路交通标志的颜色属性与几何形状属性的分析，可以得出一个重要的结论：道路交通标志的颜色与几何形状之间的确存在着唯一确定性的关系，即红色圆形、红色倒三角形、红色八边形和黑色圆形的标志均为禁令标志，蓝色圆形和蓝色矩形的标志均为指示标志，黑色正三角形的标志为警告标志。图4给出了道路交通标志的颜色与几何形状之间唯一确定性关系的基本框架示意图。

本发明定义的颜色形状对及颜色形状对集合如下。

颜色形状对的定义：记拍摄得到的道路交通标志实景图像区域为A，道路交通标志实景图像区域A具有n个基本颜色和m个基本几何形状，记第i个基本颜色为C_i，记第j个基本几何形状为S_j，根据道路交通标志实景图像区域A的第i个基本颜色C_i和第j个基本几何形状S_j，构建一个二元对(C_i，S_j)，令CSP_k＝(C_i，S_j)|k＝1，2，…，l，其中，i＝1，2，…，n，j＝1，2，…，m，l＝n×m，确定二元对CSP_k为道路交通标志实景图像区域A的一个颜色形状对(CSP，Color-Shape Pair)。

颜色形状对集合的定义：记拍摄得到的道路交通标志实景图像区域为A，道路交通标志实景图像区域A具有n个基本颜色和m个基本几何形状，记第i个基本颜色为C_i，记基本颜色的集合为VC，VC＝{C₁，C₂，…，C_n}，记第j个基本几何形状为S_j，记基本几何形状的集合为VS，VS＝{S₁，S₂，…，S_m}；根据道路交通标志实景图像区域A的第i个颜色属性C_i和第j个几何形状属性S_j，构建道路交通标志实景图像区域A中的颜色形状对，记为CSP_k，CSP_k＝(C_i，S_j)|k＝1，2，…，l，记由l个颜色形状对组成的颜色形状对集合为VCSP，VCSP＝{CSP_k|k＝1，2，…，l}，或VCSP＝{(C_i，S_j)|i＝1，2，…，n，j＝1，2，…，m}，其中，l＝n×m。

如果在后续的交通标志检测过程中利用本发明提出的颜色形状对，则可以在检测时寻找到满***通标志颜色与几何形状匹配的有效区域。下面，以指示标志为例进一步说明本发明提出的颜色形状对。首先，指示标志的基本颜色为蓝色，其次，指示标志的形状为圆形或矩形。这样，指示标志应具有固定的颜色形状对(蓝色，圆形)与(蓝色，矩形)。依此类推，便可以得到以颜色形状对表示的颜色与几何形状的关系模型。

在此，用C₁、C₂、C₃和C₄分别表示我国道路交通标志的基本颜色为红色、蓝色、黑色和其它颜色，其它颜色包括白色和黄色；用S₁、S₂、S₃、S₄、S₅和S₆分别表示我国道路交通标志的基本几何形状为倒三角形、正八边形、圆形、矩形、正三角形和其它形状，其他形状包括道路交通标志内核图案的各种形状。那么，根据上面对道路交通标志基本颜色和基本几何形状的分析以及颜色形状对和颜色形状对集合的定义可知，我国三大类116个道路交通标志的基本颜色的集合可表示为VC＝{C₁，C₂，C₃}，基本几何形状的集合可表示为VS＝{S₁，S₂，S₃，S₄，S₅}，记我国道路交通标志的所有颜色形状对的集合为VCSP_CN，记禁令标志的所有颜色形状对的集合为VCSP₁，记指示标志的所有颜色形状对的集合为VCSP₂，记警告标志的所有颜色形状对的集合为VCSP₃，其中，VCSP₁、VCSP₂、VCSP₃均为VCSP_CN的子集，根据分析可得到VCSP₁＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)}，VCSP₂＝{(C₂，S₃)，(C₂，S₄)}，VCSP₃＝{(C₃，S₅)}，VCSP_CN＝{VCSP₁，VCSP₂，VCSP₃}＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)，(C₂，S₃)，(C₂，S₄)，(C₃，S₅)}

由上述分析可知，我国道路交通标志可用7个颜色形状对来描述，其中，禁令标志有4个、指示标志有2个、警告标志有1个颜色形状对。如果用逻辑变量TS来表示道路交通场景图中存在道路交通标志，用TSR、TSG、TSW分别表示道路交通场景图中存在禁令标志、指示标志和警告标志，则建立道路交通标志的颜色与几何形状的关系(Color-Geometric Model，CGM)，道路交通标志的颜色与几何形状的关系用逻辑表达式可表示为：

$\left\{\begin{array}{c}\mathrm{TSR}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)\\ \mathrm{TSG}=(C_2,S_3)+(C_2,S_4)\\ \mathrm{TSW}=(C_3,S_5)\\ \mathrm{TS}=\mathrm{TSR}+\mathrm{TSG}+\mathrm{TSW}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)+(C_2,S_3)+(C_2,S_4)+(C_3,S_5)\end{array}\right.$

该道路交通标志的颜色与几何形状的关系模型表明，我国的三大类116个道路交通标志可以由7个颜色形状对来表示，每个颜色形状对表示道路交通标志的1个子类。因此，116个道路交通标志被分为7个子类，实现了道路交通标志的粗分类，具体分类情况为：(1)、42个禁令标志分为4个子类：38个红色圆形标志，2个黑色圆形标志，1个红色倒三角形标志，1个正八边形标志；这4个子类分别对应于颜色形状对(C₁，S₃)，(C₃，S₃)，(C₁，S₁)，(C₁，S₂)；(2)、29个指示标志分为2个子类：16个蓝色圆形标志，13个蓝色矩形标志；这2个子类分别对应于颜色形状对(C₂，S₃)，(C₂，S₄)；(3)、45个警告标志只有1个子类，对应于颜色形状对(C₃，S₅)。

由于116个道路交通标志被分为7个子类，每个子类的样本数大为减少，因此将大大提高道路交通标志识别(TSR)***的识别效率和识别正确率。

在上述分析的基础上，本发明提出了一种道路交通标志的检测方法，如图5所示，该检测方法包括以下步骤：

①通过分析道路交通标志的基本颜色，确定以红色为基本颜色的道路交通标志为禁令标志，确定以蓝色为基本颜色的道路交通标志为指示标志，确定以黑色为基本颜色的道路交通标志为警告标志或为禁令标志；通过分析道路交通标志的基本几何形状，确定以倒三角形为基本几何形状的道路交通标志为禁令标志，确定以正八边形为基本几何形状的道路交通标志为禁令标志，确定以圆形为基本几何形状的道路交通标志为禁令标志或为指示标志，确定以矩形为基本几何形状的道路交通标志为指示标志，确定以正三角形为基本几何形状的道路交通标志为警告标志。

②将基本颜色中的红色记为C₁，将基本颜色中的蓝色记为C₂，将基本颜色中的黑色记为C₃，将基本几何形状中的倒三角形记为S₁，将基本几何形状中的正八边形记为S₂，将基本几何形状中的圆形记为S₃，将基本几何形状中的矩形记为S₄，将基本几何形状中的正三角形记为S₅，记基本颜色的集合为VC，VC＝{C₁，C₂，C₃}，记基本几何形状的集合为VS，VS＝{S₁，S₂，S₃，S₄，S₅}；由第i个基本颜色C_i与第j个基本几何形状S_j构成颜色形状对(C_i，S_j)，其中，i＝1，2，…，n，j＝1，2，…，m，n＝3，m＝5，记禁令标志的所有颜色形状对构成的集合为VCSP₁，VCSP₁＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)}，记指示标志的所有颜色形状对构成的集合为VCSP₂，VCSP₂＝{(C₂，S₃)，(C₂，S₄)}，记警告标志的所有颜色形状对构成的集合为VCSP₃，VCSP₃＝{(C₃，S₅)}，记道路交通标志的所有颜色形状对的集合为VCSP_CN，VCSP_CN＝{VCSP₁，VCSP₂，VCSP₃}＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)，(C₂，S₃)，(C₂，S₄)，(C₃，S₅)}；根据禁令标志的所有颜色形状对、指示标志的所有颜色形状对及警告标志的所有颜色形状对，构造道路交通标志的颜色与几何形状的关系，表示为

$\left\{\begin{array}{c}\mathrm{TSR}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)\\ \mathrm{TSG}=(C_2,S_3)+(C_2,S_4)\\ \mathrm{TSW}=(C_3,S_5)\\ \mathrm{TS}=\mathrm{TSR}+\mathrm{TSG}+\mathrm{TSW}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)+(C_2,S_3)+(C_2,S_4)+(C_3,S_5)\end{array}\right.$

其中，TSR、TSG、TSW、TS均为逻辑变量，TS表示通过摄像装置获取的道路交通场景图像中存在道路交通标志，TSR表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在指示标志，TSW表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在警告标志；根据道路交通标志的颜色与几何形状的关系，将道路交通标志粗分类为七个交通标志子类，该七个交通标志子类分别为红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志、蓝色-圆形交通标志、蓝色-矩形交通标志、黑色-正三角形交通标志，其中，红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志为禁令标志，蓝色-圆形交通标志、蓝色-矩形交通标志为指示标志，黑色-正三角形交通标志为警告标志。

③通过摄像装置获取道路交通场景图像，定义当前获取的道路交通场景图像为当前道路交通场景图像，将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间，RGB颜色空间的3个颜色分量分别为红色R、绿色G和蓝色B，HSI颜色空间的3个颜色分量分别为色调H、饱和度S和强度I。由于HSI颜色空间能够体现出人类视觉特征，且HSI颜色空间表示的道路交通场景图像的颜色属性和几何形状属性更为明显，易于后续的颜色提取、边缘检测等。

在此，将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间的具体过程为：首先分别对RGB颜色空间的3个颜色分量进行归一化处理，得到3个颜色分量各自的归一化值，记红色R的归一化值为r，记绿色G的归一化值为g，记蓝色B的归一化值为b，

然后利用红色R的归一化值r、绿色G的归一化值g及蓝色B的归一化值b分别计算HSI颜色空间的3个颜色分量，

其中，函数arctan()为求正切函数，函数min()为求最小值函数。

④根据道路交通标志的基本颜色，采用基于HSI颜色空间的颜色提取方法对当前道路交通场景图像进行颜色提取，即可得到二值图像。

在此，基于HSI颜色空间的颜色提取方法是根据道路交通标志的基本颜色确定HSI颜色空间的颜色分量的取值范围的，当前道路交通场景图像中的各个像素点由HIS颜色空间的三个颜色分量表示，道路交通标志的基本颜色有红色、蓝色和黑色，在具体的颜色提取过程中只用到了色调H和饱和度S两个颜色分量，道路交通标志的基本颜色对应的色调H和饱和度S的取值范围如表1所示。在此，颜色提取方法的具体过程为：④-1、对于道路交通标志的基本颜色中的红色，将红色相应的色调H的值的取值范围设定为[315°，360°]∪[0°，25°]；对于道路交通标志的基本颜色中的蓝色，将蓝色相应的色调H的值的取值范围设定为[200°，260°]，并将蓝色相应的饱和度S的值的取值范围设定为[0.2，+∞]；对于道路交通标志的基本颜色中的黑色，将黑色相应的饱和度S的值的取值范围设定为[0.2，+∞]；④-2、遍历当前道路交通场景图像的每个像素点，判断像素点的色调H的值是否属于[315°，360°]∪[0°，25°]，如果是，则将该像素点的像素值置为0，否则，判断像素点的色调H的值是否属于[200°，260°]且像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，再判断像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，将该像素点的像素值置为1；④-3、获得二值图像。

表1道路交通标志的基本颜色对应的色调H和饱和度S的取值范围表

基本颜色	H值	S值
			红色	[315°，360°]∪[0°，25°]	-
蓝色	[200°，260°]	(0.2，+∞)
			黑色	-	(0.2，+∞)

表1中“—”表示不予考虑。

⑤采用边缘检测方法对二值图像进行边缘检测，以去除噪声点，得到疑似道路交通标志区域。

边缘检测又称边缘提取，相关的具体方法有很多，在此具体实施例中以采用数学形态学中的膨胀与腐蚀运算为例，腐蚀是膨胀的对偶运算，它们都不是可逆运算，相应的公式如下：

a.二值膨胀

设向量加法的两个操作数分别来自于X和B，并且取到任意可能的组合，则膨胀运算

可定义为：

b.二值腐蚀

设向量减法的两个操作数分别来自于X和B，并且取到任意可能的组合，则腐蚀运算

可定义为：

在此，利用形态学中的膨胀与腐蚀运算对二值图像进行腐蚀和膨胀，膨胀与腐蚀进行的次数取决于有效像素点的数量，是一个变量。

⑥根据道路交通标志的基本几何形状及道路交通标志的所有颜色形状对，判断疑似道路交通标志区域是否为确实的道路交通标志区域，当疑似道路交通标志区域确定为确实的道路交通标志区域时，则根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测；当疑似道路交通标志区域确定为非道路交通标志区域时，则不进行处理并结束。具体步骤为：

⑥-1、利用公知的霍夫变换获取疑似道路交通标志区域的基本几何形状，然后判断疑似道路交通标志区域的基本几何形状是否属于基本几何形状的集合VS，如果是，则继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志，不进行处理并结束；⑥-2、根据道路交通标志的颜色几何形状对，判断疑似道路交通标志区域的基本颜色与基本几何形状构成的二元对是否属于道路交通标志的所有颜色形状对的集合VCSP_CN，如果是，则确定该疑似道路交通标志区域为确实的道路交通标志区域，并继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志区域，不进行处理并结束；⑥-3、根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测与粗分类。

上述步骤⑥-1中对于疑似道路交通标志区域的基本几何形状的获取可采用现有的任意成熟的几何形状判别方法，其中，以霍夫变换的效果较好，因此在此具体实施例中采用霍夫变换来实现几何形状的判别。

在利用本发明方法进行道路交通标志检测后，检测的结果实际上是一个粗分类的结果，对于粗分类后的每个交通标志子类的后续处理均可通过一个分类器或判别器进行处理，且复杂度不同。例如，交通标志子类1和交通标志子类2由于都只包含了一个道路交通标志，所以后续处理很简单，只要一个判别器即可，目的是滤除误检测的结果。而交通标志子类7就不同了，共有45个道路交通标志，涵盖了整整一大类道路交通标志——警告标志，因此，交通标志子类7的后续处理比较复杂，需要进一步进行细分类和判别。

以下为通过仿真实验来说明本发明方法的可行性和可实现性。

由于获得全部116个道路交通标志的实际场景图像比较困难，因此除了采用部分道路交通场景图像作为实验对象之外，主要是采用了大量模拟的道路交通场景图像作为实验对象。所谓模拟的道路交通场景图像，就是将116个道路交通标志的标准图形(包括扭曲变形的图形)分别粘贴在不同的实拍道路交通场景图像上来代替实拍的道路交通标志。模拟的道路交通场景图像的数据共有4组，其中1组是直接采用标准的道路交通标志制作的，另外3组是模拟几何失真的，即采用扭曲度分别为5°、10°和15°的标准道路交通标志制作的模拟的道路交通场景图像。每组数据均有116个道路交通标志，共有464幅模拟的道路交通场景图像。

图6a给出了一幅模拟的道路交通场景图像，采用基于HSI颜色空间的颜色提取方法对图6a所示的图像进行颜色提取，得到的二值图像如图6b所示，但由于提取得到的二值图像往往存在很多的噪声点，从图6b中也可以看出，为去除图6b所示的图像中的噪声点，需对图6b所示的图像进行边缘检测，由于本发明主要采用了腐蚀和膨胀运算来实现边缘检测，在此，经腐蚀膨胀后得到疑似道路交通标志区域如图6c所示。在对图6c所示的图像进行基本几何形状判定时，由于考虑到基本几何形状的集合VS中的道路交通标志的基本几何形状的拐角特征，因此在仿真实验中利用现有的拐角模板匹配法确定疑似道路交通标志区域的基本几何形状，然后根据道路交通标志的颜色几何形状对，判断疑似道路交通标志区域的基本颜色与基本几何形状构成的二元对是否属于道路交通标志的所有颜色形状对的集合VCSP_CN，经判断后图6b所示的图像满足条件，再根据道路交通标志的颜色与几何形状的关系模型及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测，检测得到的结果如图6d所示。

从上述仿真实验的过程和结果来看，采用本发明方法进行道路交通标志的检测的正确率能够达到100％，证明本发明方法具有良好的准确性、鲁棒性和实时性，从而证明了本发明方法的可行性和可实现性，同时检测结果表明本发明方法不仅同时实现了三大类道路交通标志的粗分类，而且直接将这三大类116个道路交通标志分为七个交通标志子类。

为了进一步验证本发明方法的有效性，对4组道路交通标志进行了细分类(即判别)研究，4组道路交通标志即其中1组是标准的道路交通标志及另外3组是采用扭曲度分别为5°、10°和15°的道路交通标志。未经本发明方法处理的对象为116个道路交通标志，每个道路交通标志对应一个判别器，而经本发明方法处理后的对象为七个交通标志子类，每个交通标志子类对应一个判别器，可知本发明方法对道路交通标志的判别更为有效，且所使用的判别器也更少。在此，采用支持向量机网络作为判别***，分别对现有的基于彩色图像的交通标志检测方法检测得到的结果与本发明方法检测得到的结果进行判别，判别的正确率如表2所示。

表2采用支持向量机网络作为判别***分别对现有的基于彩色图像的交通标志检测方法与本发明方法检测得到的结果进行判别的正确率比较

从表2中可以看出本发明方法能够为后续的道路交通标志的判别提供良好地保障，大大提高了判别的正确率。

Claims (5)

1.一种道路交通标志的检测方法，道路交通标志具有基本颜色和基本几何形状两种属性，所述的基本颜色包括红色、蓝色、黄色、黑色和白色，所述的基本几何形状包括圆形、矩形、正三角形、倒三角形及正八边形，所述的道路交通标志包括禁令标志、指示标志及警告标志，其特征在于该检测方法包括以下步骤：

①通过分析道路交通标志的基本颜色，确定以红色为基本颜色的道路交通标志为禁令标志，确定以蓝色为基本颜色的道路交通标志为指示标志，确定以黑色为基本颜色的道路交通标志为警告标志或为禁令标志；通过分析道路交通标志的基本几何形状，确定以倒三角形为基本几何形状的道路交通标志为禁令标志，确定以正八边形为基本几何形状的道路交通标志为禁令标志，确定以圆形为基本几何形状的道路交通标志为禁令标志或为指示标志，确定以矩形为基本几何形状的道路交通标志为指示标志，确定以正三角形为基本几何形状的道路交通标志为警告标志；

②将基本颜色中的红色记为C₁，将基本颜色中的蓝色记为C₂，将基本颜色中的黑色记为C₃，将基本几何形状中的倒三角形记为S₁，将基本几何形状中的正八边形记为S₂，将基本几何形状中的圆形记为S₃，将基本几何形状中的矩形记为S₄，将基本几何形状中的正三角形记为S₅，记基本颜色的集合为VC，VC＝{C₁，C₂，C₃}，记基本几何形状的集合为VS，VS＝{S₁，S₂，S₃，S₄，S₅}；由第i个基本颜色C_i与第j个基本几何形状S_j构成颜色形状对(C_i，S_j)，其中，i＝1，2，…，n，j＝1，2，…，m，n＝3，m＝5，记禁令标志的所有颜色形状对构成的集合为VCSP₁，VCSP₁＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)}，记指示标志的所有颜色形状对构成的集合为VCSP₂，VCSP₂＝{(C₂，S₃)，(C₂，S₄)}，记警告标志的所有颜色形状对构成的集合为VCSP₃，VCSP₃＝{(C₃，S₅)}，记道路交通标志的所有颜色形状对的集合为VCSP_CN，VCSP_CN＝{VCSP₁，VCSP₂，VCSP₃}＝{(C₁，S₁)，(C₁，S₂)，(C₁，S₃)，(C₃，S₃)，(C₂，S₃)，(C₂，S₄)，(C₃，S₅)}；根据禁令标志的所有颜色形状对、指示标志的所有颜色形状对及警告标志的所有颜色形状对，构造道路交通标志的颜色与几何形状的关系，表示为

$\left\{\begin{array}{c}\mathrm{TSR}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)\\ \mathrm{TSG}=(C_2,S_3)+(C_2,S_4)\\ \mathrm{TSW}=(C_3,S_5)\\ \mathrm{TS}=\mathrm{TSR}+\mathrm{TSG}+\mathrm{TSW}=(C_1,S_1)+(C_1,S_2)+(C_1,S_3)+(C_3,S_3)+(C_2,S_3)+(C_2,S_4)+(C_3,S_5)\end{array}\right.$

其中，TSR、TSG、TSW、TS均为逻辑变量，TS表示通过摄像装置获取的道路交通场景图像中存在道路交通标志，TSR表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在指示标志，TSW表示道路交通场景图像中存在禁令标志，TSG表示道路交通场景图像中存在警告标志；根据道路交通标志的颜色与几何形状的关系，将道路交通标志粗分类为七个交通标志子类，该七个交通标志子类分别为红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志、蓝色-圆形交通标志、蓝色-矩形交通标志、黑色-正三角形交通标志，其中，红色-倒三角形交通标志、红色-正八边形交通标志、红色-圆形交通标志、黑色-圆形交通标志为禁令标志，蓝色-圆形交通标志、蓝色-矩形交通标志为指示标志，黑色-正三角形交通标志为警告标志；

③通过摄像装置获取道路交通场景图像，定义当前获取的道路交通场景图像为当前道路交通场景图像，将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间，RGB颜色空间的3个颜色分量分别为红色R、绿色G和蓝色B，HSI颜色空间的3个颜色分量分别为色调H、饱和度S和强度I；

④根据道路交通标志的基本颜色，采用基于HSI颜色空间的颜色提取方法对当前道路交通场景图像进行颜色提取，得到二值图像；

⑤采用边缘检测方法对二值图像进行边缘检测，以去除噪声点，得到疑似道路交通标志区域；

⑥根据道路交通标志的基本几何形状及道路交通标志的所有颜色形状对，判断疑似道路交通标志区域是否为确实的道路交通标志区域，当疑似道路交通标志区域确定为确实的道路交通标志区域时，则根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测；当疑似道路交通标志区域确定为非道路交通标志区域时，则不进行处理并结束。

2.根据权利要求1所述的一种道路交通标志的检测方法，其特征在于所述的步骤③中将当前道路交通场景图像的颜色空间从RGB颜色空间变换至HSI颜色空间的具体过程为：首先分别对RGB颜色空间的3个颜色分量进行归一化处理，得到3个颜色分量各自的归一化值，记红色R的归一化值为r，记绿色G的归一化值为g，记蓝色B的归一化值为b，

然后利用红色R的归一化值r、绿色G的归一化值g及蓝色B的归一化值b分别计算HSI颜色空间的3个颜色分量，

其中，

函数arctan()为求正切函数，函数min()为求最小值函数。

3.根据权利要求1或2所述的一种道路交通标志的检测方法，其特征在于所述的步骤④中对当前道路交通场景图像进行颜色提取所采用的基于HSI颜色空间的颜色提取方法的具体过程为：④-1、对于道路交通标志的基本颜色中的红色，将红色相应的色调H的值的取值范围设定为[315°，360°]∪[0°，25°]；对于道路交通标志的基本颜色中的蓝色，将蓝色相应的色调H的值的取值范围设定为[200°，260°]，并将蓝色相应的饱和度S的值的取值范围设定为[0.2，+∞]；对于道路交通标志的基本颜色中的黑色，将黑色相应的饱和度S的值的取值范围设定为[0.2，+∞]；④-2、遍历当前道路交通场景图像的每个像素点，判断像素点的色调H的值是否属于[315°，360°]∪[0°，25°]，如果是，则将该像素点的像素值置为0，否则，判断像素点的色调H的值是否属于[200°，260°]且像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，再判断像素点的饱和度S的值是否属于[0.2，+∞]，如果是，则将该像素点的像素值置为0，否则，将该像素点的像素值置为1；④-3、获得二值图像。

4.根据权利要求3所述的一种道路交通标志的检测方法，其特征在于所述的步骤⑤中的边缘检测方法为数学形态学中的膨胀与腐蚀运算。

5.根据权利要求4所述的一种道路交通标志的检测方法，其特征在于所述的步骤⑥的具体步骤为：⑥-1、利用公知的霍夫变换获取疑似道路交通标志区域的基本几何形状，然后判断疑似道路交通标志区域的基本几何形状是否属于基本几何形状的集合VS，如果是，则继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志，不进行处理并结束；⑥-2、根据道路交通标志的颜色几何形状对，判断疑似道路交通标志区域的基本颜色与基本几何形状构成的二元对是否属于道路交通标志的所有颜色形状对的集合VCSP_CN，如果是，则确定该疑似道路交通标志区域为确实的道路交通标志区域，并继续执行，否则，确定该疑似道路交通标志区域为非确实的道路交通标志区域，不进行处理并结束；⑥-3、根据道路交通标志的颜色与几何形状的关系及确实的道路交通标志区域的基本颜色和基本几何形状，确定确实的道路交通标志区域所属的交通标志子类，实现道路交通标志的检测。

Images