CN104766071B

CN104766071B - 一种应用于无人驾驶汽车的交通灯快速检测算法

Info

Publication number: CN104766071B
Application number: CN201510208977.7A
Authority: CN
Inventors: 沈涛; 漆晶; 李静雯; 王润; 曾裕; 刘江
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2015-04-28
Filing date: 2015-04-28
Publication date: 2018-02-02
Anticipated expiration: 2035-04-28
Also published as: CN104766071A

Abstract

本发明公开了一种应用于无人驾驶汽车的交通灯快速检测算法，包括以下步骤：S1.根据采集到的每一帧图像各通道的值选取红色和绿色的候选区域，所述候选区域包括若干个连通域；S2.根据上一帧图像中的红绿灯区域位置和传感器的数据，并结合红绿灯的高度范围，预测当前帧图像中红绿灯区域的位置，形成预测区域；S3.对当前帧图像中连通域的形状和颜色进行识别，当同一形状和颜色的连通域出现在预测区域，则该连通域为红绿灯区域。本发明使用摄像头采集的上一个时刻的图像(上一帧)和现在时刻的图像(本帧)，并使用传感器采集两个时刻之间的车速、车转向角与时间变化的曲线和两个时刻的摄像头与水平面的夹角，利用交通灯的高度符合国标的特点，达到缩小检测范围、提高检测精度的交通灯颜色形状检测的目的。

Description

一种应用于无人驾驶汽车的交通灯快速检测算法

技术领域

本发明涉及交通信息检测领域，具体涉及一种应用于无人驾驶汽车的交通灯快速检测算法。

背景技术

现有的交通灯检测识别技术绝大多数使用的是计算机图形图像处理技术、机器学习等技术。大体的思路无非是：颜色空间转换后，使用一定阈值提取到可能是红绿灯的区域，然后使用复杂的算法或者机器学习的方法去掉一定程度的非交通灯的区域。这些方法的缺点是非常明显的，经常会出现交通等检测不到，或者虚景率过高的情况，例如，路旁的LED显示牌、阳光照射下的红色物体都会出现被检测为交通灯，尤其是夜晚的时候更是无能为力；与此同时，算法复杂度过高导致处理时间过长也是一个致命的缺点，毕竟在自动驾驶设备中，需要非常快速的检测、识别能力。

以上提及的方法都适用于比较通用的环境，使用以上算法的设备都仅仅是“驾驶辅助设备”，仅仅起到提示、警示的作用，并不可以代替人类本身，所以并不适用于自动驾驶汽车的***中。

发明内容

有鉴于此，本发明的目的是提供了提出一种应用于无人驾驶汽车的交通灯快速检测算法，具有检测范围小、检测精度高的特点。

本发明的目的是通过以下技术方案来实现的，

一种应用于无人驾驶汽车的交通灯快速检测算法，包括以下步骤：

S1.根据采集到的每一帧图像各通道的值选取红色和绿色的候选区域，所述候选区域包括若干个连通域；

S2.根据上一帧图像中的红绿灯区域位置和传感器的数据，并结合红绿灯的高度范围，预测当前帧图像中红绿灯区域的位置，形成预测区域；

S3.对当前帧图像中连通域的形状和颜色进行识别，当同一形状和颜色的连通域出现在预测区域，则该连通域为红绿灯区域。

优选的，所述步骤S1还包括步骤S11.在选取红色和绿色的候选区域时，还包括将每一帧图像由RGB颜色空间转换到CIE L*a*b*颜色空间，使用a通道和b通道的值判断并选取红色和绿色的候选区域。

优选的，所述步骤S1还包括步骤S12.利用形态学方法对候选区域进行处理。

优选的，所述形态学方法具体包括：膨胀过程、填充过程、腐蚀过程、再膨胀过程。

优选的，对连接域的形状识别方法具体包括以下子步骤：

S21.提取红绿灯的连通域，并对连通域图片进行HOG特征提取；

S22.将提取的特征放入提前训练完成的SVM的模型中进行判决，得出此连通域对应的交通灯的形状信息。

优选的，所述步骤S2具体包括以下子步骤：

S21.利用摄像机视角和红绿灯高度范围，利用连通域的质心在图像的位置，并使用上一帧图像采集时刻摄像头与水平的夹角，计算出某个连通域的对应的实物与摄像机的实际距离；

S22.记录采集上一帧图像时刻到采集当前帧图像时刻之间的车速和转向角随时间变化的曲线，并且利用上一时刻摄像机和实物之间的距离，计算当前时刻的摄像机和同一个实物之间的距离；

S23.通过当前时刻的摄像机和实物之间的距离，以及摄像机的视角、摄像机当前时刻与水平的夹角和红绿灯的高度，结合一定的误差，预测在当前帧图片中此实物对应连通域的质心在图像中的大概区域，则该区域为预测区域。

由于采用了上述技术方案，本发明具有如下的优点：

本发明使用摄像头采集的上一个时刻的图像(上一帧)和现在时刻的图像(本帧)，并使用传感器采集两个时刻之间的车速、车转向角与时间变化的曲线和两个时刻的摄像头与水平面的夹角，利用交通灯的高度全都符合国标的特点，达到缩小检测范围、提高检测精度的交通等颜色形状检测的目的，并且具有以下优点。

1.使用无人驾驶汽车中较为常见的传感器预测当前帧中符合GB的交通灯的位置，极大地去除了非交通灯的发光物体造成的虚景；

2.使用Lab颜色空间进行颜色筛选，更符合人眼的特点；

3.使用了经典的图像处理算法，优化处理二值图片

4.利用SVM和HOG作为形状识别模块，因为HOG会提供位置和形状信息且SVM线性分类器的速度快、判决准确。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为一定亮度下的颜色与a、b取值的关系；

图2为a-b平面分割示意图；

图3为填充多连通域流程图；

图4为红绿灯外接框；

图5为HOG特征的提取过程；

图6为HOG特征组合示意图；

图7为t_n时刻图像中某连通域的坐标系示意图；

图8为摄像机原理说明；

图9为t_n时刻实际场景的侧面图；

图10为汽车行驶示意图；

图11为t_n到t_n+1时刻实际场景俯视图；

图12为t_n+1时刻实际场景的侧面图；

图13为本发明所述方法流程图；

图14为本发明所述方法具体流程图；其中：数据1表示存储上一帧检测到所有连通域的信息，如在图像上的位置、形状、质心、颜色以及计算的车到实际物体之间的垂直距和水平距离；数据2表示由两帧之间采集到的速度、转向角、转向角数据。需要说明的是将当前数据1中拷贝到数据2，并增加预测1中每个连通域在下一帧图像中大致位置。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明使用摄像头采集的上一个时刻的图像(上一帧)和现在时刻的图像(本帧)，并使用传感器采集两个时刻之间的车速、车转向角与时间变化的曲线和两个时刻的摄像头与水平面的夹角，利用交通灯的高度全都符合国标的特点，达到缩小检测范围、提高检测精度的交通等颜色形状检测的目的。

优选的，所述步骤S1还包括步骤S11.在选取红色和绿色的候选区域时，还包括将每一帧图像由RGB颜色空间转换到Lab颜色空间，使用a通道和b通道的值判断并选取红色和绿色的候选区域。

CIE L*a*b*颜色模型是由亮度(L)和有关色彩的a,b三个要素组成。L表示亮度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。L的值域由0到100，a和b的值域都是由+127至-128，如图1所示

Lab颜色模型是基于人对颜色的感觉，且用数值描述正常视力的人能够看到的所有颜色。因为Lab描述的是颜色的显示方式，而不是设备生成颜色所需的特定色料的数量，所以Lab被视为与设备无关的颜色模型。再结合交通灯只有三种颜色的特点，采用Lab颜色空间只需设置三个阈值，大大提高颜色识别的鲁棒性，因此本发明将RGB颜色空间转化为Lab颜色空间，具体转化公式如下：

a＝500×[f(X)-f(Y)]

b＝200×[f(Y)-f(Z)]

其中，

X、Y、Z、t表示中间变量。

由图1可知，各种颜色可以由a、b这两个通道的值组成，因此本发明利用分割a-b平面的方法获得红色和绿色候选区域，也就是满足区域的ab值范围的对应候选区域。其中，候选区域仅仅表示这个区域可能是红绿灯，还需要进一步的筛选。

本发明对图像逐个像素的进行筛选，符合条件的给予保留。确定筛选条件为：

红色区域：b＞-2.55a+510

绿色区域：b＞3.19a-63.75

作为对本实施例的改进，所述步骤S1还包括步骤S12.利用形态学方法对候选区域进行处理。

上一个步骤选择的红色和绿色区域存在众多的问题：首先，很多区域是因为图像噪声而生成的噪点；其次，因为在拍摄发光物体会出现光晕效应而导致交通灯的中心为白色，致使区域的连通域为多连通域；最后，由于红绿灯是由许多LED组成，所以交通灯对应的区域可能是一些密集的离散的点的集合，但彼此不连通。采用形态学方面的处理可以有效的抑制以上提到的三个问题。

由于采集的画面处于运动的状态，再加上天气影响以及采集过程的噪声影响，因此采集到的图像变得模糊并且出现噪声点。因此在对候选区进行筛选之前，还需要进一步对其处理以最大限度消除噪声。此外，交通灯在光晕效应下，致使红绿灯中心的区域变为了白色，前述的算法仅仅可以检测到周围的光晕，而不能真正的检测到红绿灯本身，使得候选区域成为多连通域；最后，因交通灯是离散的LED灯组成，导致候选区域也是离散的点集组成。本发明使用数学形态学的技术对二值图像进行处理，解决以上提到三个问题。

数学形态学是一门建立在集论基础上的学科，是几何形态学分析和描述的有力工具。目前，数学形态学已在计算机视觉、信号处理与图像分析、模式识别、计算方法与数据处理等方面得到了极为广泛的应用。数学形态学中二值图像的形态变换是一种针对集合的处理过程。其形态算子的实质是表达物体或形状的集合与结构元素间的相互作用，结构元素的形状就决定了这种运算所提取的信号的形状信息。可以用来解决抑制噪声、特征提取、边缘检测、图像分割、形状识别、纹理分析、图像恢复与重建、图像压缩等图像处理问题。

经过大量的实验验证，发现对候选区域使用了先采用半径N膨胀，之后填充多连通域为单联通域，再半径为2N腐蚀，最后半径为N膨胀的算法，可以有效的解决以上提到的三个问题。下面分别介绍三种算法：

膨胀

膨胀是将与候选区接触的所有背景点合并到该区域内，使边界向外部扩张的过程。可以用来填补物体中的空洞。膨胀是用一定大小的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“或”操作，如果都为0，结果图像的该像素为0，否则为1，具体公式为：

Src()表示原二值图像；des()表示输出二值图像；elements()表示膨胀单元的形状。

腐蚀

腐蚀是一种消除边界点，使边界向内部收缩的过程。可以用来消除小且无意义的图像点。腐蚀是用一定大小的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，具体公式为：

填充多连通域

填充多连通域的时候需要用到一种迭代画图的算法，其算法的流程图如图3所示。之所以使用先膨胀、再填充、再腐蚀，最后膨胀的流程，是因为先小规模的膨胀将一些没有完全闭合的多连通域进行闭合，之后进行填空操作；然后为了去掉在得到候选区域时得到的小的连通域，这些连通域不可能是红绿灯，考虑到刚刚进行了膨胀，所以这里的腐蚀需要增大腐蚀的半径，这里选取为膨胀的2倍；最后，再对图像进行小规模的膨胀，将连通域恢复为处理前大小。

考虑图像亮度的因素处理图片

交通灯是自发光的物体，那么它对应的区域在CIE L*a*b*颜色空间中L通道的值就会比较的高，利用这一特点，可以消除亮度比较低的区域，去除一定数量的虚景。其具体步骤包括：

首先，需要将Lab颜色空间中的L通道中的值进行归一化，以提高方法的鲁棒性，逐个像素的归一化亮度值的计算公式为：

L_Channel[i][j]＝floor(255×(L_Channel[i][j]-MinVal)/MaxVal-MinVal)

Floor()表示向下取整；Lchanne[i][j]表示(i,j)点CIEL*a*b*中L通道的值；MinVal表示最小值；MaxVal表示最大值。

然后，根据L通道值进行筛选

一般的红绿灯是自发光物体，会比虚景的亮度高，所以需要把亮度信息(L通道的值)和候选区域结合起来，筛选去除掉亮度较低的区域。筛选条件为：

Luminosity Threshold表示亮度阈值；Image[i][j]表示(i,j)点像素值；Luminosity[i][j]表示(i,j)点像素L通道的值。

连通域的形状判断并筛选

无论是圆形还是箭头形状的交通灯，它们的形状和面积都是有共同的特点的，利用共同的特点即可去除少量的虚景。在保留下来的区域中，利用HOG描述子和SVM线性分类器对颜色的形状进行判断，作为下一个步骤的操作的数据基础。其具体包括：

一、根据交通灯的形状特点筛选

1、像素个数条件：在图片中存在的红绿灯的大小应该在一定范围内。当一个连通域的像素过多或者过少，可以认为这个连通域不可能是红绿灯，即可删除此连通域。

2、外接矩形条件：考虑到红绿灯的外形特征，无论是圆形的红绿灯，还是箭头形状的红绿灯，它们的外接框的形状都类似于正方形。如图4，如果一个连通域的外接矩形框的长边与短边之比大于一个阈值，说明这个连通域的外接矩形框偏离了正方形，即删去这个连通域。

二、连通域形状判断

考虑到HOG(方向梯度直方图，Histogram of Oriented Gradient,)特征有丰富的边缘信息，再结合不同位置子图的HOG特征保留着空间信息，所以可以用HOG特征表示一个红绿灯连通域。然后使用SVM(支持向量机，Support Vector Machine)进行训练和判决，SVM是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。

1、连通域形状判断

如图5所示，首先将所有红绿灯连通域图片缩放至同一大小；为了增加边缘的信息，需要对边缘补充一定的黑色区域；最后将整个图片分为3*3个cell，并使2*2个cell组成一个block，最后使用HOG提取特征。为了保证空间信息，需要将每一个cell中的特征向量拼在一起作为红绿灯图片的HOG特征。如图6所示：

2、SVM训练及预测

SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题.简单地说，就是升维和线性化。一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性。所以SVM会使得预测变得又快又准确。而在使用SVM时，完全可以把它作为一个黑盒来使用，并不需要考虑其内部复杂的数学推导，仅仅把使用HOG提取到的特征方进去进行训练和预测即可。

3、求取连通域质心

针对二维离散的点且每个点具有相同的值(质量)，所以质心的坐标为：

X表示质心的X坐标，Y表示质心的Y坐标；X_i表示第i个点的X坐标，Y_i表示第i个点的Y坐标，N为连通域内的像素的数量。

为了能精确地判断以上图像处理过程中筛选保留下来的连通域哪些为红绿灯，需要利用上一帧图像处理过程中筛选保留下来的连通域，和在上一帧图像获取时刻与本帧图像获取时刻的水平仪数据，以及两个时刻之间的车速和转向角随时间变化的曲线。当上一帧各个连通域对应实物的高度符合国标规定的红绿灯的高度，那么根据计算将能够预测其在当前帧将会出现在什么位置；再由本帧图像处理得到的结果有存在于预测位置的连通域，并且形状与颜色与上一帧完全相同，那个就可以判断符合这些条件本帧的某连通域为红绿灯。具体为：

S23.通过当前时刻的摄像机和实物之间的距离，以及摄像机的视角、摄像机当前时刻与水平的夹角和红绿灯的高度，预测在当前帧图片中此实物对应连通域的质心在图像中的大概区域，则该区域为预测区域。

当然在进行预测的时候，假设：

A)路面是平整的；

B)行车时不存在侧面倾斜的情况，水平仪仅仅获取沿着驾驶方向倾斜的数据。

符号规定：

则具体过程包括：

1、计算摄像头与红绿的垂直距离与水平距离

这里仅仅取上一个时刻的已经处理的图像中的某一个连通域作为分析过程的举例，其他所有连通域的处理过程是完全相同的。

为了表述方面明了，设上一帧的时刻为t_n，当前的时刻为t_n+1，假设取出的连通域质心的坐标为(a_n,b_n)，如图7所示：

进一步分析图像中存在于摄像头中那个视角之上，如图7所示，图像上的某一点都对应着一条视线，换句话说，一条视线上所有的点都对应图像上的同一点。

所以，仅仅需要根b_n和h_n这两个已知量就可以求出这条视线的与摄像头中心线在侧面投影的夹角。公式为：

下面转到t_n时刻时的实际场景中，依然仅仅考虑侧面图的情况，根据上文中提到的摄像头在拍摄物体时的相关特征，并且考虑到水平仪的数据，可将真实的行车时的描述为如图9所示的侧面图：

其中β为摄像头中心实现与水平地面的夹角，利用公式(1)的结果和β的值即可求出在本图中的相关数据：

根据图像中水平方向和数值方向是成比例的，所以可以方面地求出水平方向想的距离：

2、根据速度、转向角数据计算当前的位置

下面根据汽车在t_n到t_n+1时刻之间的车速随时间变化的曲线v_n(t)，转向角随时间变化的曲线θ_n(t)，可计算得到t_n和t_n+1时刻汽车的相对位置和角度。

首先计算在t_n到t_n+1之间的任意一个时间与t_n时刻汽车的相对夹角Θ_n(t)：

利用已经计算求得的Θ_n(t)和v_n(t)可以计算求解出t_n+1时刻相对于t_n时刻的汽车在沿着汽车在t_n时刻方向的移动距离与垂直于这个方向移动的距离：

那么在t_n+1时刻的车头指向与t_n时刻的车头指向的夹角Δθ为：

3根据当前位置和上一帧拍摄时刻的位置进行几何分析

上文中已经计算了t_n到时刻的W_n和L_n，同时也求得在t_n到t_n+1时刻之间汽车的相关的运动信息ΔLp_n、ΔLv_n和Δθ_n，现在需要使用集合分析的方法推导出t_n+1时刻的W_n和L_n，图11表示了t_n到t_n+1时刻实际场景俯视图：

根据上文已经求得的数据，可知：

EF＝ΔLp_n EG＝ΔLv_n FM＝L_n MN＝W_n L_n+1＝IN W_n+1＝GI

所以有：

EM＝L_n-ΔLp_n (9)

JN＝(L_n-ΔLp_n)tanΔθ_n+ΔLv_n+W_n (10)

4预测质心在当前时刻拍摄的图像上的位置

同样的，在t_n+1时刻，无人驾驶汽车***同时捕捉了一张路况的照片和水平仪数据，现在需要利用水平仪数据β_n+1配合上一步骤求得的L_n+1和W_n+1，在如果上一帧中某连通域满***通灯的高度条件，计算出在本帧中其质心应该出现的位置，t_n+1时刻实际场景的侧面图如图12所示：

根据图7，图8所示，在图12所示有下列关系成立：

所以可求得：

5根据预测位置和当前的图像信息确定红绿灯位置

将上一帧已经处理图片中的每一个连通域的质心都在当前帧图像中得到了预测。现在，需要判断本帧中通过图像处理后那些连通域是需要识别的交通灯区域。

判断当前已经图像处理后的每个连通域，检测此连通域的质心是否包含于中某个形状颜色完全相同的连通域的预测区域内，如果存在这样的预测区域，则当参与判断的此连通域为交通灯，反之亦然。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种应用于无人驾驶汽车的交通灯快速检测算法，其特征在于：包括以下步骤：

S3.对当前帧图像中连通域的形状和颜色进行识别，当同一形状和颜色的连通域出现在预测区域，则该连通域为红绿灯区域；

所述步骤S2具体包括以下子步骤：

S23.通过当前时刻的摄像机和实物之间的距离，以及摄像机的视角、摄像机当前时刻与水平的夹角和红绿灯的高度，结合一定的误差，预测在当前帧图片中此实物对应连通域的质心在图像中的区域范围，则该区域为预测区域。

2.根据权利要求1所述的应用于无人驾驶汽车的交通灯快速检测算法，其特征在于：所述步骤S1还包括步骤S11.在选取红色和绿色的候选区域时，还包括将每一帧图像由RGB颜色空间转换到CIE L*a*b*颜色空间，使用a通道和b通道的值判断并选取红色和绿色的候选区域。

3.根据权利要求1或2所述的应用于无人驾驶汽车的交通灯快速检测算法，其特征在于：所述步骤S1还包括步骤S12.利用形态学方法对候选区域进行处理。

4.根据权利要求3所述的应用于无人驾驶汽车的交通灯快速检测算法，其特征在于：所述形态学方法具体包括：膨胀过程、填充过程、腐蚀过程、再膨胀过程。

5.根据权利要求1所述的应用于无人驾驶汽车的交通灯快速检测算法，其特征在于：对连接域的形状识别方法具体包括以下子步骤：

S21.提取红绿灯的连通域，并对连通域图片进行HOG特征提取；

S22.将提取的特征放入已经训练完成的SVM的模型中进行判决，得出此连通域对应的交通灯的形状信息。