CN105893971A - 一种基于Gabor和稀疏表示的交通信号灯识别方法 - Google Patents

Abstract

本发明涉及一种基于Gabor和稀疏表示的交通信号灯识别方法，该方法包括以下步骤：1)对感兴趣区域进行二维Gabor小波滤波，获取滤波后的Gabor图像，作为测试样本，所述感兴趣区域即为交通信号灯区域；2)基于训练好的过完备字典，采用正交匹配追踪算法求解所述测试样本的稀疏系数，所述过完备字典的训练基于K‑SVD算法实现；3)利用所述稀疏系数与过完备字典进行图像重构获得与各交通信号灯类别对应的重构图像，根据测试样本与各重构图像间的残差判定测试样本所属交通信号灯类别。与现有技术相比，本发明采用Gabor结合稀疏表示进行交通信号灯识别，可以克服箭头信号灯方向识别误差大的缺点，对图像中较小的圆形和箭头信号灯也可以正确识别。

Description

一种基于Gabor和稀疏表示的交通信号灯识别方法

技术领域

本发明涉及一种图像识别方法，尤其是涉及一种基于Gabor和稀疏表示的交通信号灯识别方法。

背景技术

交通信号灯检测与识别是智能交通的重要组成部分，是汽车辅助驾驶的重要环节。对交通信号灯的检测与识别，近年来国内外研究学者提出了很多方法。

缪小冬等人提出采用改进的多尺度Log Gabor小波进行交通标志的多分辨率特征提取，根据不同尺度下的特征信息进行相位一致性计算，提取能够有效克服曝光影响的目标相位信息，通过优化的多分类支持向量机(SVM)进行多目标分类(参考文献《复杂环境中交通标志的实时识别方法》)。

汪驭超等人提出基于支持向量机的交通标志识别方法，对图像分割处理后的灰度图进行Gabor滤波，将提取的特征量与数据库中的基准元素通过使用SVM算法进行分类(参考文献《基于Matlab分析的Gabor滤波技术和SVM在交通标志识别中的应用研究》)。

谷明琴等人提出一种结合形状标记图和Gabor波的交通标志识别方法(参考文献《形状标记图和Gabor小波的交通标志识别》)，对交通标志感兴趣区域的灰度图像进行Gabor小波变换，获得其不同角度和尺度的小波图像，用二维独立分量分析法提取其主特征，并送入线性支持向量机来判断感兴趣区域所属的交通标志类型。

谷明琴等人提出交通信号灯识别方法，首先对原图像预处理，过滤不符合形态学准则的区域；计算候选区域的圆形度和背板的颜色信息，把圆形度符合和背板为黑色的区域作为交通信号灯区域；并将检测到的交通信号灯区域图像从RGB空间转换到HSV空间中，用颜色直方图对图像的H分量进行分布统计，根据其分布特征来识别交通信号灯的类型(参考文献《应用圆形度和颜色直方图的交通信号灯识别》)。

专利申请CN104050447A提出一种交通信号灯识别方法，将原始图像中灯板区域的图像从RGB空间转换到YCbCr空间；根据交通信号灯的特征确定交通信号灯候选区域；将原始图像中交通信号灯候选区域的图像灰度化和归一化，对灰度化和归一化后的图像进行Gabor小波变换；对Gabor小波图像的幅值进行采样，得到特征向量；比较特征向量与训练样本的相似度，确定交通信号灯的类别。

但目前交通信号灯检测与识别领域仍有许多问题没有得到很好地解决，尤其是在交通信号灯识别方面，主要存在以下问题：(1)对距离较远、图像中所占像素面积较小的信号灯，识别的准确率不高；(2)对不同光照环境下(例如白天日光强烈时及夜晚等)采集的信号灯图像，像素颜色失真大，信号灯边缘不清，对圆形信号灯的识别和箭头信号灯方向的识别带来误差。

朱杰等人提出基于字典学习方法的核稀疏表示方法进行了人脸识别(参考文献《基于字典学习的核稀疏表示人脸识别方法》)。首先先用PCA降维，然后分别采用稀疏表示分类(SRC)，Meterface学习方法，核稀疏表示分类(Kernel SRC)，基于核字典的Meterface(Kernel Meterface)稀疏表示分类实现了人脸识别。

王伟等人提出基于在线字典学习(ODL)和稀疏表示的高速限速标志识别方法(参考文献《基于字典学习的稀疏表示限速标志识别方法》)。在线字典学习(Online Dictionary Learning)可以利用样本的结构关系，效率高于传统的字典学习。

熊承义等人提出(参考文献《基于字典优化的稀疏表示人脸识别》)采用低秩矩阵恢复的字典优化设计来增强稀疏表示人脸识别的性能。首先对存在非受控干扰成分的训练字典进行低秩矩阵恢复，获得相对“干净”的训练图像进行特征提取，然后采用分块相似性先验嵌入稀疏编码的方法实现对人脸图像的分类。

王国权等人在传统的小波变换人脸识别基础上，加入稀疏表示的方法对人脸进行识别(参考文献《基于小波变换和稀疏表示的人脸识别方法研究》)。小波变换将人脸图像分解为一幅低频图像和三幅高频图像。用正交投影的方法对低频人脸图像进行识别得到低频人脸图像分类隶属度。用基于领域能量的方法把三幅高频人脸图像融合为一幅高频人脸图像，然后用稀疏表示的方法进行识别得到高频人脸图像分类隶属度。最后把高、低频分类隶属度融合确定人脸图像所属类别。

段菲等人提出基于多尺度稀疏表示的场景分类框架(参考文献《基于多尺度稀疏表示的场景分类》)。首先从图像中提取多个尺度的局部特征，利用稀疏表示对每个尺度的特征单独学习字典，然后为图像各尺度上的局部特征依据与其对应尺度的字典进行编码，并按照空间金字塔表示方法和特征各维最大汇总对各尺度上的特征编码分别汇总。最后将不同尺度上汇总的特征串接，形成对图像最终描述的全局向量。对三个常用标准场景库上的图像进行了分类。

何玲丽等人提出基于对称Gabor特征的稀疏表示人脸识别(参考文献《基于对称Gabor特征和稀疏表示的人脸识别》)。首先把人脸图像进行镜像变换，将人脸分解为奇偶对称脸，分别提取Gabor特征，得到Gabor奇偶对称特征。通过加权因子，将奇偶特征融合生成新的特征。最后用新的特征构成超完备字典进行稀疏表示人脸分类。

如上所述，现有关于Gabor和稀疏表示方法实现分类识别已有许多文献报道，但并未有将Gabor和稀疏表示方法同时用于交通信号灯检测与识别领域的技术方案，上述参考文献具体采用的技术手段也与本发明不相同。

发明内容

为解决汽车辅助驾驶中车辆前方交通信号灯识别误差大的缺点，本发明提出采用Gabor结合稀疏表示的交通信号灯识别方法，实现圆形信号灯和箭头信号灯的类型识别。这种方法可以克服箭头信号灯方向识别误差大的缺点，对图像中较小的圆形和箭头信号灯也可以正确识别。

本发明的目的是为了克服汽车辅助驾驶中车辆前方的圆形和箭头形交通信号灯识别误差大的缺点，提供一种识别精确度较高的基于Gabor和稀疏表示的交通信号灯识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于Gabor和稀疏表示的交通信号灯识别方法，该方法包括以下步骤：

1)对感兴趣区域进行二维Gabor小波滤波，获取滤波后的Gabor图像，作为测试样本，所述感兴趣区域即为交通信号灯区域；

2)基于训练好的过完备字典，采用正交匹配追踪算法求解所述测试样本的稀疏系数，所述过完备字典的训练基于K-SVD算法实现；

3)利用所述稀疏系数与过完备字典进行图像重构获得与各交通信号灯类别对应的重构图像，根据测试样本与各重构图像间的残差判定测试样本所属交通信号灯类别。

所述过完备字典的训练具体为：

1a)输入训练样本集Y和稀疏度T，Y＝[y₁,...,y_N]∈R^m×N，所述训练样本集Y包含各种类别的多张交通信号灯图像；

1b)初始化字典D和迭代次数k，D＝D₀，k＝1，其中D₀∈R^m×K为服从高斯分布的随机字典；

1c)采用以下公式对训练样本集进行稀疏编码：

$\begin{array}{ccc}X=\arg \underset{X}{min}{||Y-DX||}_2^2& s.t.& \∀i,{||x_i||}_0\≤T\end{array}$

其中，X＝[x₁,...,x_i,...,x_N]∈R^K×N表示Y的稀疏系数矩阵，表示重构误差；

1d)计算残差矩阵E_k：

$E_k=Y-{\Σ}_{i\≠k}{d}_i{x}_T^i$

其中，d_i为字典D的第i列，为稀疏系数矩阵X中d_i对应的第i行；

1e)计算E_k收缩的结果

$E_R^k=E_k{\mathrm{\Ω}}_k$

其中，Ω_k为N×|ω_k|矩阵，该矩阵中(ω_k(i),i)位置的值为1，其它位置均为0，集合ω_k定义为表示用到d_k所有信号集合{y_i}的索引构成的集合，即的点的索引值的集合；

1f)对进行SVD分解：用U的第一列更新d_k，同时用V的第一列与Δ(1,1)的乘积更新

1g)令k＝k+1，并判别是否满足停止迭代条件，若是，则将字典D输出作为过完备字典，若否，则返回步骤1c)继续执行。

步骤g)中，所述停止迭代条件迭代次数达到迭代最大次数或重构误差小于误差设定值。

所述步骤2)中，采用正交匹配追踪算法求解所述测试样本的稀疏系数具体为：

2a)获取过完备字典D＝[d₁,...,d_K]∈R^m×K、测试样本y以及稀疏度T；

2b)初始化，令残差r₀＝y，索引集迭代次数t＝1，原子矩阵D₀＝0；

2c)求与残差最匹配的列d_i所对应的索引号λ_t：

${\mathrm{\&lambda;}}_t=\arg \underset{i}{max}\left|<r_{t-1},d_i>\right|$

2d)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录所选的原子矩阵

2e)利用最小二乘法计算x_t：

$x_t=\arg \underset{x}{max}{||y-D_{t}x||}_2^2={\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y$

2f)更新残差：

$r_t=y-D_t{x}_t=y-D_t{\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y$

2g)判断t是否满足t＜T，若是，则执行步骤2h)，若否，则令t＝t+1并跳转至步骤2c)；

2h)输出稀疏系数：

$x=D_t{\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y.$

所述步骤3)中，根据测试样本与各重构图像间的残差判定测试样本所属交通信号灯类别具体为：

3a)获取过完备字典D＝[D₁,...,D_i,...,D_K]∈R^m×K，D_i表示所有属于第i类交通信号灯类别的图像集合；

3b)对测试样本y进行稀疏编码：

或

其中，x为测试样本的稀疏系数；

3c)逐一计算y于每个类型中的残差：

$r_i\left(y\right)={||y-D_i{\mathrm{\&delta;}}_i\left(\hat{x}\right)||}_2$

其中，为与类别i相关的稀疏系数，则为x在字典D上的稀疏表示；

3d)比较残差，实现测试样本y类别的判定：

$identity\left(y\right)=\arg \underset{i}{min}{r}_i\left(y\right).$

所述交通信号灯类别包括圆形和箭头形，所述箭头形包括上箭头型、左箭头型、右箭头型和转弯型。

与现有技术相比，本发明具有以下有益效果：

(1)本发明首先采用二维Gabor小波变换对交通信号灯的特征进行提取，然后基于训练好的字典，采用正交匹配追踪算法(Orthogonal Matching Pursuit，OMP)对稀疏系数进行求解，采用稀疏表示的方法对测试样本进行分类识别，识别精度较高；

(2)本发明采用Gabor结合稀疏表示的交通信号灯识别方法，实现对圆形信号灯和箭头信号灯的类型识别，可以克服箭头信号灯方向识别误差大的缺点，对图像中较小的圆形和箭头信号灯也可以正确识别。

附图说明

图1是本发明交通灯类型识别的流程图；

图2是本发明交通灯检测与识别的流程图；

图3是本发明交通灯定位的流程图；

图4是本发明箭头交通灯的Gabor描述图；

图5是本发明稀疏度为10的训练字典图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本实施例提供一种基于Gabor和稀疏表示的交通信号灯识别方法，如图1所示，该方法包括以下步骤：

在步骤S1中，对原始输入图像进行检测，获取交通信号灯区域，即为感兴趣区域，感兴趣区域是通过交通信号灯检测在原始输入图像上进行定位得到的交通灯区域。关于交通信号灯检测的内容参考发明专利“基于形状和颜色特征的交通信号灯检测与识别方法，专利号201310111825.6”。

在步骤S2中，对所述交通信号灯区域进行二维Gabor小波滤波，获取滤波后的Gabor图像，作为测试样本。

在步骤S3中，输入训练好的过完备字典，过完备字典采用K-SVD算法(K mean-Singular Value Decomposition，K均值奇异值分解)进行字典学习并生成。

在步骤S4中，采用正交匹配追踪算法(Orthogonal Matching Pursuit，OMP)求解所述测试样本的稀疏系数。

在步骤S5中，采用稀疏表示的方法对测试样本进行分类识别：利用所述稀疏系数与过完备字典进行图像重构获得与各交通信号灯类别对应的重构图像，根据测试样本与各重构图像间的残差判定测试样本所属交通信号灯类别。Gabor滤波根据参数设置可以保留图像的全局和细节信息，其优点在图像压缩、纹理分析、图像分割和识别等方面已被证明。基于稀疏表示的识别方法具有识别率高、鲁棒性强等优势，近年来在图像去噪与恢复、图像超分辨、图像的检测与识别等方面取得了较好的效果。

本发明在已经检测出交通灯区域的基础上对交通信号灯类型进行识别，具体包括识别出信号灯是圆形还是箭头形，并识别出箭头信号灯的上箭头型、左箭头型、右箭头型和转弯(调头)型四种类型。

上述交通信号灯识别方法中各步骤的具体原理如下：

1、稀疏表示

稀疏表示通过利用训练样本的线性组合对测试样进行描述，把对交通灯进行方向判别变成对多个线性回归模型进行分类。首先要将交通灯图像全部转化成列向量v∈R^m，m即为特征向量的维数。假设在第i类训练样本中总共有n_i幅图像，v_i,j表示第i类中的第j幅图像，则所有属于第i类的训练样本图像集合可以表示成：根据线性子空间定理将属于第i类的测试样本y用公式(1)进行描述：

$y={\mathrm{\&alpha;}}_{i,1}{v}_{i,1}+{\mathrm{\&alpha;}}_{i,2}{v}_{i,2}+\mathrm{...}+{\mathrm{\&alpha;}}_{i,n_i}{v}_{i,n_i}---\left(1\right)$

把所有用于训练的图像进行结合以形成字典D，如公式(2)所示：

$D=\&lsqb;D_1,\mathrm{...},D_i,\mathrm{...}{D}_k\&rsqb;=\&lsqb;v_{1,1},\mathrm{...},v_{i,1},\mathrm{...},v_{i,n_i},\mathrm{...},v_{k,n_k}\&rsqb;\&Element;R^{m\&times;N}---\left(2\right)$

其中k表示交通灯的类别，n_k表示属于第k类的训练样本数量，N则表示训练样本图像总数。对于测试样本y可以通过公式(3)进行描述。

y＝Dx (3)

理想状态下信号的稀疏表示系数为其中x内不为零的项仅仅和训练集的第i类相对应，由此可见，x中具有测试样本的类型信息。所以对测试样本进行类型判别就转化为对其稀疏系数进行求解。只要训练样本的数量够大，求出来的系数就是稀疏的。

2、Gabor小波滤波

Gabor函数通过采用尺度不一样的滤波器能够检测到各种尺度下图像上对应的局部特性。二维Gabor函数可以用公式(4)进行表示：

$g(x,y)=\&lsqb;\frac{1}{2{\mathrm{\&pi;\&sigma;}}_x{\mathrm{\&sigma;}}_y}\&rsqb;\exp \&lsqb;-\frac{1}{2}(\frac{x^2}{{{\mathrm{\&sigma;}}_x}^2}+\frac{y^2}{{{\mathrm{\&sigma;}}_y}^2})+2\mathrm{\&pi;}jwx\&rsqb;---\left(4\right)$

其中σ_x和σ_y是表示其在x和y轴上的标准方差，w则是表示高斯函数的复调制频率，其傅里叶变换式如式(5)所示：

$g(u,v)=\exp \{-\frac{1}{2}\&lsqb;\frac{{(u-w)}^2}{{{\mathrm{\&sigma;}}_u}^2}+\frac{v^2}{{{\mathrm{\&sigma;}}_v}^2}\&rsqb;\}---\left(5\right)$

其中

将g(x,y)作为母小波，通过一定地尺度扩张以及旋转变换就能够获得一些性质比较接近的滤波器，亦即Gabor小波，如公式(6)所示。

g_mn(x,y)＝a^-mg(x′,y′),a＞1,m,n∈Z (6)

其中x′＝a^-m(x cosθ+y sinθ)；y′＝a^-m(-x sinθ+y cosθ)；θ＝nπ/K；a^-m为尺度因子；S和K是尺度和方向的数目m＝0......S-1；n＝0......K-1。只要更改m与n的数值就能够获得一些方向与尺度不一样的滤波器组。

将交通灯灰度图像I(x,y)与Gabor函数的卷积结果如公式(7)所示，作为Gabor滤波结果如公式(8)所示：

O_m,n(x,y)＝I(x,y)*g_m,n(x,y) (7)

$G_{m,n}(x,y)=\sqrt{{\left(real\right(O_{m,n}\left(x,y\right)\left)\right)}^2+{\left(im\right(O_{m,n}\left(x,y\right)\left)\right)}^2}---\left(8\right)$

3、K-SVD字典学习

字典学习性能的好坏会直接影响到对信号稀疏表示的结果。基于逼近的字典学习模型可以利用公式(9)进行描述：

$\begin{array}{cc}<D,X>=\arg \underset{D,X}{min}{||Y-DX||}_2^2& st.\&ForAll;i,{||x_i||}_0\&le;T\end{array}---\left(9\right)$

其中D＝[d₁,...,d_k]∈R^m×K表示学习得到的字典，X＝[x₁,...,x_N]∈R^K×N表示Y的稀疏系数矩阵，Y＝[y₁,...,y_N]∈R^m×N表示输入信号，T则表示稀疏约束因子，为重构误差。

K-SVD算法通过K次奇异值分解一列一列地对字典原子实现更新，该算法首先假定字典D与系数矩阵X均为固定的，接下来将要更新字典的第k列即d_k，令系数矩阵X中d_k对应的第k行为那么公式(10)中的逼近项即能表示为公式(10)，如下所示。

${||Y-DX||}_2^2={||Y-\underset{j=1}{\overset{K}{\&Sigma;}}{d}_j{x}_T^j||}_2^2={||(Y-\underset{j\&NotEqual;k}{\&Sigma;}{d}_j{x}_T^k)-d_k{x}_T^k||}_2^2={||E_k-d_k{x}_T^k||}_2^2---\left(10\right)$

上式将DX分解为K个秩为1的矩阵的和，按照假设其中K-1项是固定的，剩下的那个就是要处理的第k个。矩阵E_k代表剔除原子d_k剩下的部分在全部N个样本内引起的偏差。

定义集合为用到d_k所有信号集合{y_i}的索引构成的集合，即的点的索引值。定义Ω_k为N×|ω_k|矩阵，在(ω_k(i),i)处的值都设置成1，其它点均设置成0。定义和分别代表Y、E_k剔除零输入之后的收缩效果，表示当前使用的原子即d_k的样本集，则表示剔除不受d_k影响的样本之后，忽略d_k在受其影响的成分当中时所带来的误差。

此时，由公式(10)得到的解和有相同的支撑，就不会出项“发散”现象。公式(10)转化为公式(11)，如下所示：

${||E_k{\mathrm{\&Omega;}}_k-d_k^k{x}_T{\mathrm{\&Omega;}}_k||}_2^2={||E_R^k-d_k^k{x}_R||}_2^2---\left(11\right)$

对做SVD分解，则有：令为U的第一列，则为d_k的更新结果。同时，用V的第一列和Δ(1,1)的乘积更新逐列进行更新结束之后，通过新生成的字典实现稀疏分解，并且判别是不是已经满足终止条件(事先选择好的迭代次数或重构误差)，以此决定是不是需要继续进行迭代。

K-SVD算法具体步骤如下所示：

(1)输入训练样本集Y和稀疏度T；

(2)初始化字典D＝D₀和迭代次数k＝1，其中D₀∈R^m×K为服从高斯分布的随机字典；

(3)用公式(12)进行稀疏编码，如下所示：

$\begin{array}{ccc}X=\arg \underset{X}{min}{||Y-DX||}_2^2& s.t.& \&ForAll;i,{||x_i||}_0\&le;T\end{array}---\left(12\right)$

(5)用公式(13)计算残差矩阵，如下所示：

$E_k=Y-{\&Sigma;}_{i\&NotEqual;k}{d}_i{x}_T^i---\left(13\right)$

(5)根据公式(14)计算E_k收缩的结果，如下所示：

$E_R^k=E_k{\mathrm{\&Omega;}}_k---\left(14\right)$

(6)对进行SVD分解:并同时更新d_k和

(7)令k＝k+1,并判别是不是达到停止迭代的要求，若达到要求便将字典D进行输出，否则回到步骤(3)继续执行。

4、OMP求解稀疏系数

本发明采用正交匹配追踪算法(OMP)来对稀疏系数进行求解，OMP算法的具体运算步骤如下：

(1)输入过完备字典D＝{d₁,...,d_n}、测试样本y以及选取的稀疏度T；

(2)初始化，令残差r₀＝y，索引集迭代次数t＝1；

(3)求与残差最匹配的列d_i所对应的索引号，如公式(15)所示：

${\mathrm{\&lambda;}}_t=\arg \underset{i}{max}\left|<r_{t-1},d_i>\right|---\left(15\right)$

(4)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录所选的原子矩阵

(5)利用最小二乘法对x_t进行计算，如公式(16)所示：

$x_t=\arg \underset{x}{max}{||y-D_{t}x||}_2^2={\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y---\left(16\right)$

(6)根据公式(17)更新残差：

$r_t=y-D_t{x}_t=y-D_t{\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y---\left(17\right)$

(7)如果t＜T，则令t＝t+1并跳转至步骤(3)；

(8)如果t＝T，输出稀疏系数，如公式(18)所示：

$x=D_t{\left(D_t^T{D}_t\right)}^{-1}{D}_t^{T}y---\left(18\right)$

5、稀疏表示分类识别

基于稀疏表示的分类方法主要是根据测试样本在各个类别中的重构误差来判断，如公式(19)所示：

$l=\arg \underset{i}{min}\left({||y-D_i{\mathrm{\&delta;}}_i\left(\hat{x}\right)||}_2\right)---\left(19\right)$

式中Di为第i类训练样本，为与类别i相关的稀疏系数，则为重构误差。

利用稀疏表示进行交通灯类型识别的具体操作流程如下所示：

(1)输入训练样本集合D＝[D₁,D₂,...,D_n]∈R^m×n以及测试样本y∈R^m；

(2)对字典D中各列进行归一化处理，该归一化处理也可在字典D生成之前进行；

(3)对y进行稀疏编码，如公式(20)所示：

或

其中||x||₀为x的l₀范数，也就是x内不为零的元素数量，而其中的则为x在字典D上的稀疏表示。当稀疏满足一定的稀疏度时，l₀范数优化问题与l₁范数优化问题等价，式中||x||₁表示x的l₁范数。

(4)逐一计算y于每个类型中的重构误差，如公式(21)所示：

$r_i\left(y\right)={||y-D_i{\mathrm{\&delta;}}_i\left(\hat{x}\right)||}_2---\left(21\right)$

(5)通过比较重构误差，实现测试样本y类型的判别，如公式(22)所示：

$identity\left(y\right)=\arg \underset{i}{min}{r}_i\left(y\right)---\left(22\right)$

信号灯检测与识别***的处理流程图如图2所示。本发明提出的方法属于该处理流程中的第4部分“信号灯类型判定”。该处理流程图中第1部分至第3部分“图像获取”、“交通信号灯定位”和“信号灯颜色判别”详见发明专利“基于形状和颜色特征的交通信号灯检测与识别方法，专利号201310111825.6”。本发明对信号灯检测与识别***处理流程中所有部分进行举例说明。

图像获取：

首先采集车辆前方道路图像，对输入视频图像进行预处理。摄像头可以安装在车内的后视镜处，拍摄车辆行驶前方的道路及信号灯路况。图像处理***可以采用笔记本电脑或嵌入式图像处理器完成。识别结果可以通过语音输出给使用者。语音输出模块可以采用笔记本电脑或嵌入式处理器内部的语音输出模块。对图像进行预处理，即对图像进行中值滤波。然后提取信号灯区域和背板区域，进行信号灯定位。对检测到的信号灯进行颜色识别，识别出信号灯的红、绿和黄三种颜色。最后对检测到的信号灯类型进行判定，判定检测出的信号灯是圆形还是箭头形，并识别判定箭头信号灯的类型，包括上箭头型、左箭头型、右箭头型和转弯(调头)型四种。最后给出信号灯颜色和类型的识别结果。

交通信号灯定位：

交通信号灯定位采用提取信号灯区域和背板区域的方法。在进行交通信号灯定位时，天空背景杂散光的干扰会给信号灯的检测带来误差。根据亮度检测信号灯时，会将混在楼宇与树木间的小块天空区域误识别为交通信号灯。采用提取信号灯区域和背板区域的交通信号灯定位方法，可以避免小块天空带来的干扰。“交通信号灯定位”流程图如图3所示。首先将采集到的交通信号灯图像进行分割和形态学处理。然后根据交通灯的几何特征进行面积过滤和外接矩形过滤，最后根据前面过滤所得结果于原图像上对交通灯进行定位。图像分割步骤采用在hsv色彩空间的v通道分量图像中通过亮度检测，检测出像素面积符合要求的信号灯区域。像素面积阈值根据拍摄距离，摄像头分辨率进行实验设定。几何特征过滤步骤筛选信号灯区域面积在一定范围内的候选交通信号灯。通过灰度阈值分割检测矩形背板区域。当信号灯区域在背板区域范围内时，判定为信号灯。

信号灯颜色判定：

信号灯颜色判定采用根据信号灯区域像素颜色比例的信号灯颜色识别方法，可以减小由于颜色失真引起的颜色识别误差。确定上述信号灯区域(包括背板)后，在hsv色彩空间，统计信号灯区域内h分量像素值分布比例。除去黑色和白色以外，确定h分量中偏红色或绿色的像素个数。通过h分量的灰度直方图确定信号灯颜色。

信号灯类型判定：

信号灯类型判定处理流程如图1所示，下面对流程图中处理步骤的参数设置进行举例说明。首先采用二维Gabor小波变换对交通信号灯的特征进行提取。将交通灯候选区域的灰度图像与Gabor函数的卷积结果作为Gabor滤波后的图像。对于Gabor滤波器的选取，通过在方向和尺度不同时的多次实验，设置尺度S＝4，方向K＝6时可以表达图像的特征。中心频率取卷积模板取5×5时滤波结果比较理想。对于Gabor的3种特征，实验中主要采用Gabor滤波器的幅值特征来对图像进行描述。通过实验确定采用6个方向和4种尺度，中心频率选择卷积模板取5×5的Gabor滤波器对图像进行滤波，提取交通信号灯的幅值特征。箭头交通信号灯的Gabor描述如图4所示。

每幅图像经过Gabor小波滤波后会生成S×K幅维数相同的图像，实验中利用2500幅图像来进行训练，采用6个方向与4种尺度。通过使用Gabor函数对2500幅图像进行滤波之后就会产生60000幅图像，该数据量太大，从而导致对其进行后续处理时比较困难。所以本发明对每幅图像进行Gabor滤波后，选取适合的系数对生成的24幅图像进行加权平均处理，使滤波的结果(24幅图像)变为一幅图像。

字典训练过程中主要与稀疏度、字典个数和迭代次数这三个参数相关，不同的参数训练出来的字典不一样。本发明用圆形和箭头交通信号灯共2500幅图像进行字典训练，其中箭头交通灯包括上箭头型、左箭头型、右箭头型和转弯(调头)型共四种类型。每种类型的交通信号灯各取500幅图像，一共2500幅图像。为了方便处理，预处理阶段已经将训练样本归一化处理为16×16大小的图像。经过实验，采用稀疏度T＝10，字典个数D＝200，迭代次数取40时训练的字典识别率最高，因此后续实验中采用该字典训练参数。稀疏度为10时的字典如图5所示。

在对字典学习完毕之后，利用OMP算法来对测试样本的稀疏系数进行求解,求取测试样本与重构图像的残差，实现测试样本的交通灯类型识别，给出是圆形、上箭头型、左箭头型、右箭头型和转弯(调头)型中的一种类型。稀疏度和迭代次数分别取10和40时，字典个数取200时，对600幅图像中共1200个交通信号灯进行识别，类型识别率可以达到98.75％。

Claims (3)

1.一种基于Gabor和稀疏表示的交通信号灯识别方法，其特征在于，该方法包括以下步骤：

1)对感兴趣区域进行二维Gabor小波滤波，获取滤波后的Gabor图像，作为测试样本，所述感兴趣区域即为交通信号灯区域；

2)基于训练好的过完备字典，采用正交匹配追踪算法求解所述测试样本的稀疏系数，所述过完备字典的训练基于K-SVD算法实现；

3)利用所述稀疏系数与过完备字典进行图像重构获得与各交通信号灯类别对应的重构图像，根据测试样本与各重构图像间的残差判定测试样本所属交通信号灯类别。

2.根据权利要求1所述的基于Gabor和稀疏表示的交通信号灯识别方法，其特征在于，所述过完备字典的训练具体为：获取各种类别的多张交通信号灯图像，采用K-SVD算法进行字典学习，生成过完备字典。

3.根据权利要求1所述的基于Gabor和稀疏表示的交通信号灯识别方法，其特征在于，所述交通信号灯类别包括圆形和箭头形，所述箭头形包括上箭头型、左箭头型、右箭头型和转弯型。