CN104021378A - 基于时空关联与先验知识的交通信号灯实时识别方法 - Google Patents

Abstract

基于时空关联与先验知识的交通信号灯实时识别方法属于智能交通行业的交通信息检测领域。本发明首先利用先验知识在原始图像上定位感兴趣区域，通过经验值过滤掉与红绿灯无关的区域。然后，提取信号灯红绿色区域并在此基础上利用形状特征过滤。之后读入过滤后的子区域，依次提取子区域的HOG特征，再利用分类器对信号灯样本进行训练。最后，依据分类器的判别函数对当前信号灯进行识别。如前方绿灯，可以行驶；如果前方红灯，发出停车信号。如果二者都存在，依据时空关联信息与所在车道决定行驶与否。本发明符合红绿灯的检测识别特点，能够实时准确地检测出红绿灯信息，运用于智能车当中，辅助其正确安全行驶。

Description

基于时空关联与先验知识的交通信号灯实时识别方法

技术领域

本发明是一种利用视频图像基于时空关联与先验知识的实时动态信号灯识别方法，属于智能交通行业的交通信息检测领域。

背景技术

随着社会和经济的快速发展，智能车辆越来越受到人们的关注。原因在于以下：智能车辆能够替代驾驶员驾驶，减少交通事故的发生，甚至使色盲色弱患者驾驶汽车成为可能。对于车辆的行驶，在路口准确的实时的识别红绿灯颜色是必须的。因此，对于解决无人驾驶的实时动态红绿灯检测识别，还有提升与进步的空间。

要解决这个问题，首先必须要能够从复杂的背景图片中获得红绿灯的大概位置，然后再进一步定位和识别，并判断红绿灯的具体信息。目前，对于信号灯的识别方法主要是依据信号灯的各种特征信息。该方法检测有一定的准确率，但是实时性与广泛适用性不强，并不适用于智能车。

发明内容

本发明的目的在于将本发明实时运行于智能车当中，准确识别路口红绿灯信息，提高其行驶的安全性，提出了一种基于时空关联与先验知识的交通信号灯实时识别方法。

为了实现上述目的，本发明采取了如下技术方案：

首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1.2米，摄像头广角大于120度，分辨率大于640*480。

一、基于先验知识确定图像的感兴趣区域(ROI)。结合摄像头安装位置和信号灯在图像中的位置，利用该时空关联信息确定获取图像的ROI。信号灯由远及近的过程当中，在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯，故确定上半部分为获取图像的ROI。

二、提取ROI的红绿色区域。摄像机捕获图像类型为RGB，但由于RGB颜色空间受光照影响较大，具有不稳定性，而信号灯的颜色在YCbCr空间下更容易分割，故将捕获图片的颜色空间由RGB转换为YCbCr。转换过后分别提取ROI中红色及绿色区域。以此颜色区域来初步定位信号灯。

三、对提取出来的红、绿色区域利用形状特征进行过滤，以排除其他红、绿色非信号灯物体的干扰。形状特征包括面积特征、外接矩形特征及密度特征等等，以信号灯的实际形状特征值作为阈值，进一步精确定位信号灯。

四、提取红绿色区域的HOG特征。信号灯背板的边缘是一个明显的特征，HOG本质上是梯度信息的统计，而梯度主要存在于边缘的地方，所以HOG特征适用于信号灯的特征提取，该特征提取完成后作为分类器的输入项，通过分类器(本发明是SVM分类器)来识别判断检测区域是否为信号灯。

五、SVM分类器训练信号灯样本，生成信号灯分类器。采集实际路况下的视频作为实验数据，从视频中截取信号灯图片，包括红、绿色状态的圆形灯，箭头灯作为训练样本，训练生成2组分类器，每组分类器能够识别4种类型的信号灯。(圆形，左转，直行，右转)

六、结合先验知识，时空关联与分类器识别信号灯。首先利用分类器判别函数识别信号灯的类别，之后结合先验知识，时空关联进一步精确识别信息，以排除错误的识别结果。

一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：

(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；

(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：

$\left\{\begin{array}{c}Y=0.257\×R+0.564\×G+0.098\×B+16\\ \mathrm{Cb}=-0.148\×R-0.291\×G+0.439\×B+128\\ \mathrm{Cr}=0.439\×R-0.368\×G-0.071\×B+128\end{array}\right.$

(1)

在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；R_min为红色阈值的最小值108，R_max为红色阈值的最大值160.G_min为绿色阈值的最小值10，G_max为绿色阈值的最大值60.f(x,y)表示点(x,y)处的像素值；

{f(x,y)|R_min≤f_cb≤R_max},Color＝Red

{f(x,y)|G_min≤f_cb≤G_max},Color＝Green

(2)

颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；

$\stackrel{\‾}{C_{\mathrm{RGB}}(R,G,B)}=\left\{\begin{array}{c}{\left(\mathrm{255,0,0}\right)}^T,\mathrm{Color}=\mathrm{Red}\\ {\left(\mathrm{0,255,0}\right)}^T,\mathrm{Color}=\mathrm{Green}\\ {\left(\mathrm{128,128,128}\right)}^T,\mathrm{Color}=\mathrm{Else}\end{array}\right.$

(3)

(3)特征过滤；将上图颜色区域进行二值化，依次依据以下特征过滤；

过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；；

假定图像有N_r个候选区域，记为R_i,i＝1,...N_r；A_max表示轮廓面积的最大值，取值为8000，A_min表示轮廓面积的最小值，取值为60；(R_i(A))表示第i个轮廓的面积；

$\mathrm{Bool}\left(R_i\left(A\right)\right)=\left\{\begin{array}{c}1,A_{\max }\≤A\≤A_{\min }\\ 0\end{array}\right.$

(4)

过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率R_wh，比率满足以下条件的区域保留；

$\mathrm{Bool}\left(R_i\left(R_{\mathrm{wh}}\right)\right)=\left\{\begin{array}{c}\mathrm{1,0.8}\≤R_{\mathrm{wh}}\≤1.5\\ 0\end{array}\right.$

(5)

过滤条件3：密度；求二值图中每个轮廓的密度；对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大；f(x,y)表示二值图中点(x,y)处的像素值，A为轮廓面积；密度大于0.6的区域保留；

$\mathrm{\ρ}=\frac{A}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}f(x,y)}$

(6)

(4)对保留下来的红绿色区域依次提取HOG特征；

(5)采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器；训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头；负样本为从获取的视频图像中随机剪切出的非信号灯图片；；训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器；

(6)信号灯的识别；信号灯的识别；对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器来依次进行分类识别,得到对应的分类结果；分类结果包括信号灯的颜色及类型:圆形、左转、直行、右转；

在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息；

之后利用时空关联信息进行识别；

时间关联：

(1)利用帧间图像在时间序列上连续的特点进行识别；通过该特征，确保错误识别结果不发出；

(2)利用同一个信号灯的颜色变换顺序特点进行识别；

空间关联：

(1)利用信号灯在空间中的位置关系进行识别；

(2)利用信号灯本身在水平方向平行的位置关系进行识别。

与现有的检测方法相比，本发明具有如下优点：(1)该发明是应用于无人驾驶车之上，速度较快，每帧的处理时间在100ms左右(分辨率1000*1000)，有较强的实用价值。(2)本发明能够识别多种类型的红绿灯，能有效避免车尾灯等其他物体的干扰。(3)本发明不同于已有的方法识别红绿灯，结合了时空关联与先验知识，采用了机器学习方法，提高了准确率和实时性。如附图6所示，经过时空关联信息判断图6为识别错误结果，识别信息不发出。附图7，显示了每帧处理时间及识别结果信息。

附图说明

图1本发明的信号灯识别流程图；

图2摄像机捕获的原图；

图3颜色提取结果图；

图4特征过滤结果图；

图5红绿灯识别结果图；

图6时空关联结果图；

图7每帧处理时间结果图。

具体实施方式

下面结合附图对本发明作进一步说明：

首先，首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480。通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image。结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯。故设定感兴趣区域(ROI)为图片的上半部分；

其次，提取信号灯的颜色。摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示。

$\left\{\begin{array}{c}Y=0.257\×R+0.564\×G+0.098\×B+16\\ \mathrm{Cb}=-0.148\×R-0.291\×G+0.439\×B+128\\ \mathrm{Cr}=0.439\×R-0.368\×G-0.071\×B+128\end{array}\right.$

(1)

颜色空间转换过后可以看出，在cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域。R_min为红色阈值的最小值108，R_max为红色阈值的最大值160.G_min为绿色阈值的最小值10，G_max为绿色阈值的最大值60.f(x,y)表示点(x,y)处的像素值。

{f(x,y)|R_min≤f_cb≤R_max},Color＝Red

{f(x,y)|G_min≤f_cb≤G_max},Color＝Green

(2)

颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱，如附图3所示。

$\stackrel{\‾}{C_{\mathrm{RGB}}(R,G,B)}=\left\{\begin{array}{c}{\left(\mathrm{255,0,0}\right)}^T,\mathrm{Color}=\mathrm{Red}\\ {\left(\mathrm{0,255,0}\right)}^T,\mathrm{Color}=\mathrm{Green}\\ {\left(\mathrm{128,128,128}\right)}^T,\mathrm{Color}=\mathrm{Else}\end{array}\right.$

(3)

第三，特征过滤。将上图颜色区域进行二值化，依次依据以下特征过滤。

过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留。比如红色的旗子，其面积太大而不满足阈值范围，可以通过该条件将其过滤掉。

假定图像有N_r个候选区域，记为R_i,i＝1,...N_r。A_max表示轮廓面积的最大值，取值为8000，A_min表示轮廓面积的最小值，取值为60。(R_i(A))表示第i个轮廓的面积。

$\mathrm{Bool}\left(R_i\left(A\right)\right)=\left\{\begin{array}{c}1,A_{\max }\≤A\≤A_{\min }\\ 0\end{array}\right.$

(4)

过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率R_wh，比率满足以下条件的区域保留。

$\mathrm{Bool}\left(R_i\left(R_{\mathrm{wh}}\right)\right)=\left\{\begin{array}{c}\mathrm{1,0.8}\≤R_{\mathrm{wh}}\≤1.5\\ 0\end{array}\right.$

(5)

过滤条件3：密度；求二值图中每个轮廓的密度。对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大。A_i为第i个轮廓的面积，Sum_i为第i个轮廓内所有像素点个数的总和。ρ表示轮廓的密度，密度大于0.6的区域保留。

$\mathrm{\ρ}=\frac{A_i}{{\mathrm{Sum}}_i}$

(6)

第四，对保留下来的红绿色区域依次提取HOG特征。HOG特征较好的表征了物体的梯度方向特征，而信号灯的边缘明显，适用于采用该特征。

第五，采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器。训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头。负样本为从获取的视频图像中随机剪切出的非信号灯图片。正负样本的采集要包括不同天气，不同时间段等情况，以保证训练的分类器有足够的泛化能力。训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器。

最后，信号灯的识别。对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器(每个分类器已经训练好，权重a和偏置b已知)来依次进行分类识别(分类器的识别函数是ax+b>0，当前特征满足哪个分类器的识别函数，信号灯的类型就是该分类器的类型),即可得到对应的分类结果。分类结果包括信号灯的颜色及类型(圆形、左转、直行、右转)。

例如，如果当前图像是一个右转的绿色信号灯，那么在提取完绿色灯的HOG特征之后，选择绿色类别的分类器组。(该组有绿色圆形、绿色左转、绿色直行、绿色右转4个分类器)，首先把x代入绿色圆形分类器，不满足该分类器的识别函数，故不是圆形灯，继续下一步；把x代入绿色左转分类器，不满足，下一步；把x代入绿色直行分类器，不满足，下一步；把x代入绿色右转分类器，满足，得到结果为绿色圆形信号灯。

同时，由于一组信号灯的个数一到三个不等，故还要对每个识别结果附加上位置信息。在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息。以附图中的图2为例，图2中有2个信号灯，左侧是红色直行，右侧为绿色右转。通过上述分类器识别可以识别出存在2个灯，红色直行与绿色右转，接下来就是求出这2个区域的中心坐标，比较横坐标的大小可知红色区域靠左，绿色区域靠右，故最终结果为2个灯：左侧红色直行，右侧绿色右转。

之后利用时空关联信息进行精确识别。

时间关联：

(1)利用帧间图像在时间序列上连续的特点进行精确识别。通过该特征，确保错误识别结果不发出。以一个红色信号灯为例，识别结果第1到N(20<＝N<＝40)帧为红色，如果第N+1帧到N+i帧(5<＝i<＝10)图像识别结果为绿色或者没有检测到，而第N+i+1帧到N+M(20<M<40)帧识别结果为红色，则本发明的识别结果为红色。因从时间关联性上来说，只有红灯持续一段时间后，绿灯才能出现。

(2)利用同一个信号灯的颜色变换顺序特点进行精确识别。在时间关联性方面，同一个信号灯以绿灯--黄灯--红灯--绿灯的顺序变换。如果识别结果第1到N(80<＝N<＝200)帧为绿灯，N+1到N+M(1<＝M<＝200)帧为红灯，则识别发生错误，该几帧结果丢弃。

空间关联：

(1)利用信号灯在空间中的位置关系进行精确识别。以一组信号灯有3个灯为例。一般情况下3个灯指示的顺序为左转—直行—右转或左转—直行—直行或直行—直行—直行，但如果识别结果出现右转—直行—直行等非正常情况，则将该帧结果丢弃。因从空间关联性上来说，右转车道是不可能位于最左侧的，由于空间关系上该位置顺序的出现，依据空间关联原则能够识别出更精确的结果信息，从而保障智能车准确、实时、安全的通过路口。

(2)利用信号灯本身在水平方向平行的位置关系进行精确识别。以一组信号灯有3个灯为例。3个灯的位置在水平方向上必然是平行的，也就是说3个灯的纵坐标位置应相差不大。故从空间关系上来说，如果识别结果中包含多个灯，某个灯与其他灯的纵位置坐标有较大差距，则必定有错误结果出现，可结合其他信息排除。

其中，L_i为第i个信号灯的中心纵坐标，D为阈值100。

Claims (1)

1.一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：

(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；

(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：

$\left\{\begin{array}{c}Y=0.257\&times;R+0.564\&times;G+0.098\&times;B+16\\ \mathrm{Cb}=-0.148\&times;R-0.291\&times;G+0.439\&times;B+128\\ \mathrm{Cr}=0.439\&times;R-0.368\&times;G-0.071\&times;B+128\end{array}\right.---\left(1\right)$

在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；R_min为红色阈值的最小值108，R_max为红色阈值的最大值160.G_min为绿色阈值的最小值10，G_max为绿色阈值的最大值60.f(x,y)表示点(x,y)处的像素值；

{f(x,y)|R_min≤f_cb≤R_max},Color＝Red

{f(x,y)|G_min≤f_cb≤G_max},Color＝Green     (2)

颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；

$\stackrel{\&OverBar;}{C_{\mathrm{RGB}}(R,G,B)}=\left\{\begin{array}{c}{\left(\mathrm{255,0,0}\right)}^T,\mathrm{Color}=\mathrm{Red}\\ {\left(\mathrm{0,255,0}\right)}^T,\mathrm{Color}=\mathrm{Green}\\ {\left(\mathrm{128,128,128}\right)}^T,\mathrm{Color}=\mathrm{Else}\end{array}\right.---\left(3\right)$

(3)特征过滤；将上图颜色区域进行二值化，依次依据以下特征过滤；

过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；；

假定图像有N_r个候选区域，记为R_i,i＝1,...N_r；A_max表示轮廓面积的最大值，取值为8000，A_min表示轮廓面积的最小值，取值为60；(R_i(A))表示第i个轮廓的面积；

$\mathrm{Bool}\left(R_i\left(A\right)\right)=\left\{\begin{array}{c}1,A_{\max }\&le;A\&le;A_{\min }\\ 0\end{array}\right.---\left(4\right)$

过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率R_wh，比率满足以下条件的区域保留；

$\mathrm{Bool}\left(R_i\left(R_{\mathrm{wh}}\right)\right)=\left\{\begin{array}{c}\mathrm{1,0.8}\&le;R_{\mathrm{wh}}\&le;1.5\\ 0\end{array}\right.---\left(5\right)$

过滤条件3：密度；求二值图中每个轮廓的密度；对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大；f(x,y)表示二值图中点(x,y)处的像素值，A为轮廓面积；密度大于0.6的区域保留；

$\mathrm{\&rho;}=\frac{A}{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}f(x,y)}---\left(6\right)$

(4)对保留下来的红绿色区域依次提取HOG特征；

(5)采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器；训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头；负样本为从获取的视频图像中随机剪切出的非信号灯图片；；训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器；

(6)信号灯的识别；信号灯的识别；对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器来依次进行分类识别,得到对应的分类结果；分类结果包括信号灯的颜色及类型:圆形、左转、直行、右转；

在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息；

之后利用时空关联信息进行识别；

时间关联：

(1)利用帧间图像在时间序列上连续的特点进行识别；通过该特征，确保错误识别结果不发出；(2)利用同一个信号灯的颜色变换顺序特点进行识别；

空间关联：

(1)利用信号灯在空间中的位置关系进行识别；

(2)利用信号灯本身在水平方向平行的位置关系进行识别。