CN107992788B - 识别交通灯的方法、装置及车辆 - Google Patents

Abstract

本公开提供了一种识别交通灯的方法、装置及车辆。该方法采用由单个摄像机与TOF传感器组合成的图像采集装置来采集图像。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力。本公开中结合飞行时间传感器，以获取深度图像，并且采用基于道路标线的检测方法进行交通灯的识别，使得交通灯的识别结果更加准确。

Description

识别交通灯的方法、装置及车辆

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种识别交通灯的方法、装置及车辆。

背景技术

随着社会经济的快速发展，车辆越来越普及，但与此同时，交通事故的发生率也日益提高。为避免交通事故的发生，智能交通***越来越得到重视，而交通信号灯的识别是智能交通***的一个重要方面。

目前的交通灯识别方法能够识别的交通灯的种类不够全面，且识别的准确率无法满足用户的需求，主要原因在于现有的传感器技术以及摄像头自身的局限性，使得交通灯的识别存在缺陷。

发明内容

本公开的目的是提供一种识别交通灯的方法、装置及车辆，以能够识别更多类型的交通灯，且提高识别交通灯的准确率。

为了实现上述目的，本公开提供一种识别交通灯的方法，所述方法包括：

获得针对同一个拍摄区域的彩色图像和深度图像；

从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

根据所述候选道路标线的形状特征，确定目标道路标线；

根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型。

可选地，根据所述候选道路标线的形状特征，确定目标道路标线，包括：

对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

可选地，根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框，包括：

根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

根据所述交通灯候选区域的深度信息，确定交通灯背景框。

可选地，根据所述交通灯候选区域的深度信息，确定交通灯背景框，包括：

根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

可选地，对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框，包括：

对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

本公开还提供一种识别交通灯的装置，所述装置包括：

图像获取模块，用于获得针对同一个拍摄区域的彩色图像和深度图像；

候选道路标线分割模块，用于从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

目标道路标线确定模块，用于根据所述候选道路标线的形状特征，确定目标道路标线；

交通灯背景框确定模块，用于根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

目标交通灯提取模块，用于结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

形状类型确定模块，用于将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

目标交通灯类型确定模块，用于结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型。

可选地，所述目标道路标线确定模块包括：

形状类型确定子模块，用于对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

目标道路标线确定子模块，用于将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

可选地，所述交通灯背景框确定模块包括：

标线确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

深度信息确定子模块，用于根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

第一确定子模块，用于根据所述交通灯候选区域的深度信息，确定交通灯背景框。

可选地，所述第一确定子模块包括：

候选区域确定子模块，用于根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

第二确定子模块，用于对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

可选地，所述第二确定子模块包括：

行坐标范围确定子模块，用于对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

列坐标范围确定子模块，用于对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

第三确定子模块，用于结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

本公开还提供了一种车辆，所述车辆包括：

单个摄像机，用于采集彩色图像；

TOF传感器，用于采集深度图像；以及

根据本公开提供的上述识别交通灯的装置。

本公开提出利用单个摄像机与TOF传感器组合成的图像采集装置来识别交通灯的方法。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。相关技术中，交通灯的识别都是以单个摄像头拍摄图像为基础的，单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力，本公开中除单个摄像头以外，还采用了飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种识别交通灯的方法的流程图；

图2是根据一示例性实施例示出的模板道路标线的示意图；

图3是根据一示例性实施例示出的两类道路标线与交通灯背景框的相对位置关系的示意图；

图4是根据一示例性实施例示出的确定交通灯背景框边缘的深度信息的示意图；

图5是根据一示例性实施例示出的确定交通灯背景框的过程的示意图；

图6是根据一示例性实施例示出的一种识别交通灯的装置的示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

相关技术中，交通灯的识别方法能够识别的交通灯的种类不够全面，且识别的准确率无法满足用户的需求，主要原因在于现有的传感器技术以及摄像头自身的局限性，使得交通灯的识别存在缺陷。

为解决该技术问题，本公开提出一种利用由单个摄像机与TOF(中文：飞行时间；英文：Time of Flight)传感器组合成的图像采集装置来识别交通灯的方法。其中，飞行时间传感器是指TOF像素传感器的阵列或集合，其中TOF像素传感器可以是光传感器、相位传感器等，可以检测来自脉冲光源、调制光源的光在TOF像素传感器与被检测物体之间传播的飞行时间，从而检测物体的距离并获取深度图像。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像，利用两种图像的交织映射关系，结合道路标线检测方法，根据道路标线与交通灯的相对位置关系来识别交通灯。下面分别对本公开提供的识别交通灯的方法、装置及车辆进行说明。

请参考图1，图1是根据一示例性实施例示出的一种识别交通灯的方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11：获得针对同一个拍摄区域的彩色图像和深度图像；

步骤S12：从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

步骤S13：根据所述候选道路标线的形状特征，确定目标道路标线；

步骤S14：根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

步骤S15：结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

步骤S16：将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

步骤S17：结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型。

本公开提出利用单个摄像机与TOF传感器组合成的图像采集装置来识别交通灯的方法。针对同一拍摄区域，通过单个摄像头获得彩色图像，通过飞行时间传感器获得深度图像。相关技术中，交通灯的识别都是以单个摄像头拍摄图像为基础的，单个摄像头通常用于获取彩色图像的颜色或亮度信息，不具备获取被拍摄物体与摄像头之间的距离的能力，本公开中除单个摄像头以外，还采用了飞行时间传感器，以获取深度图像，使得交通灯的识别结果更加准确。

在实际应用中，单个摄像头和飞行时间传感器组合成的图像采集装置可以安装在汽车的车身上，一种可能的安装方式是：将该图像采集装置安装在车内后视镜前方的挡风玻璃处。这样能够保证在汽车的行驶过程中，该图像采集装置可以实时采集前方道路的图像，从而实时识别交通灯。

可选地，单个摄像头和飞行时间传感器组合成的图像采集装置在车身上的安装位置及安装角度可根据实际采集回来的图像进行标定，以便于在图像处理过程中，可以剔除不可能为道路标线的物体，从而减少图像处理的区域和数据量。

在实际应用中，交通灯背景框与网状线、中心圈两类道路标线之间有固定的相对位置关系，因此，本公开提供的识别交通灯的方法是以道路标线的定位为基础的，在确定道路标线的位置之后，利用道路标线与交通灯背景框的相对位置关系，定位交通灯背景框，然后再定位交通灯。因此，在获取针对同一拍摄区域的彩色图像和深度图像之后，先对彩色图像进行处理，确定道路标线的位置。

在实际应用中，网状线和中心圈两类道路标线的颜色分为白色和黄色，因此，可从获得的彩色图像中提取出颜色为白色或黄色的区域作为候选道路标线，即可能是道路标线的区域。

从获得的彩色图像中提取出颜色为白色或黄色的区域，有多种可能的实施方式。针对RGB(R：红色；G：绿色；B：蓝色)格式的彩色图像，以道路标线可能的白、黄两种颜色的R、G、B三个分量为阈值，对整张彩色图像进行筛选，保留R、G、B三个分量在阈值范围内的像素点，由这些像素点组成的区域则可能是道路标线。除RGB格式外，也可在Lab、YUV等格式下对彩色图像进行类似的分割处理，区别在于，在不同格式下，针对白、黄两种颜色所设定的阈值有所不同。

经过以上处理过程，得到突出候选道路标线的二值化图像，其中，白色区域为符合道路标线可能的白或黄两种颜色特性的候选道路标线，黑色区域为其他无关信息。其中，白色区域可能是网状线或中心圈两类目标道路标线，也可能是显示为白色或黄色的其他干扰区域，如汽车尾灯、广告牌等。因此，需要对得到的候选道路标线进行筛选，从中提取出目标道路标线。

步骤S13中，根据所述候选道路标线的形状特征，确定目标道路标线，该步骤包括：

对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

从得到的候选道路标线中筛选出目标道路标线，这里采用的方法是先提取候选道路标线的形状特征，将该形状特征与模板道路标线的形状特征进行匹配，筛选出与模板道路标线的形状特征一致的目标道路标线，并确定目标道路标线的类型。其中，形状特征包括道路标线的轮廓形状以及道路标线中的角点的数量和位置，该角点是指道路标线中所有实线的交叉点。

首先，提取候选道路标线的形状特征。在实际应用中，网状线和中心圈两类道路标线均为实线，具有规定的形状特征，如图2所示，图2是根据一示例性实施例示出的模板道路标线的示意图，图中模板道路标线a、b属于中心圈道路标线，模板道路标线c、d属于网状线道路标线。其中，模板道路标线b由一个圆和若干线段构成，而模板道路标线a、c、d均是由若干线段构成的，因此，通过对候选道路标线进行直线和圆的检测，便可以将候选道路标线中的所有直线和圆提取出来，进而确定候选道路标线的形状特征。

对候选道路标线进行直线和圆的检测可采用相关直线和圆的检测算法，例如Hough变换算法等，对二值化图像经过此检测之后，二值化图像中部分不具备直线或圆的干扰区域便不会被检测出来，由此排除这些干扰区域。

在实际行驶过程中，由于使用的镜头不同，图像采集装置采集到的彩色图像可能存在畸变(如使用超广角镜头时)，即实际为直线的地方变成曲线，四方形的物体出现卷翘或膨鼓。对于没有发生畸变的候选道路标线，直接采用相关直线检测算法便可以将候选道路标线中的所有直线都提取出来，而对于发生畸变的候选道路标线则需要更多的处理才能提取出全部直线。

因为道路标线的曲率半径不可能太小，且摄像机投影原理使得近处道路标线相对远处道路标线的成像像素点更多，所以，对于发生畸变的候选道路标线来说，排列成直线的像素点占整个实线道路标线的成像像素点的大部分。因此，采用相关直线检测算法可以检测出发生畸变的候选道路标线中的大部分像素点，也就是排列成直线的像素点。

接着以这些检测出的大部分像素点为基础，查找组成发生畸变的候选道路标线的其余像素点。由于实线道路标线的像素点的位置总是连续变化的，也就是说在突出候选道路标线的二值化图像中，显示为白色的实线道路标线的像素点是相互连通的，根据实线道路标线中已知的某个像素点的位置，便可以确定与该像素点相连的像素点的位置。因此，根据检测出的直线两端的像素点的位置，查找与该像素点相连通的像素点的位置，并将查找到的像素点的位置并入该实线，重复这个查找和并入的过程，便可以提取出整个实线道路标线。

因为网状线和中心圈两类道路标线的种类较少且特征明显，如图2所示，网状线和中心圈皆为封闭的图形且由多条直线交叉组合而成，故这里先判断候选道路标线的形状特征，与模板道路标线的形状特征进行对比，筛选出目标道路标线，并确定目标道路标线的类型，其中，形状特征包括道路标线的轮廓形状以及道路标线中的角点的数量和位置。

如图2所示，网状线和中心圈两类道路标线的模板共有四种，轮廓均为标准的矩形或圆形，整个图案的角点个数较多且角点的位置固定。下面以图2中的四种模板道路标线为例，对模板道路标线的形状特征进行说明。

模板道路标线a的轮廓为矩形，整个图案的角点个数为8个；模板道路标线b的轮廓为圆形，整个图案的角点个数为10个；模板道路标线c的轮廓为矩形，整个图案的角点个数为5个；模板道路标线d的轮廓为矩形，整个图案的角点个数为164个；各模板道路标线中的角点的位置如图2所示。

在前文中已提取出了候选道路标线的所有直线和圆，以此为基础确定候选道路标线的形状特征。首先提取候选道路标线的曲率特征，确定候选道路标线的轮廓形状。利用候选道路标线的轮廓线上相邻两个像素点来计算曲率，重复计算多次，得到轮廓线上各点的曲率，以曲率为特征描述候选道路标线的轮廓形状。再用角点检测的方法检测候选道路标线中的角点的数量和位置。最后将得到的候选道路标线的形状特征，与模板道路标线的形状特征进行对比。

若候选道路标线的形状特征能够与某个模板道路标线的形状特征匹配，则说明该候选道路标线为目标道路标线，且可以确定目标道路标线的类型；若候选道路标线的形状特征不能与任何一个模板道路标线的形状特征匹配，则说明该候选道路标线是干扰区域，如汽车尾灯、广告牌等，予以排除。

举个例子，若得到某个候选道路标线的轮廓为矩形，且角点检测结果显示角点数量近似为5个，且角点的位置与图2中模板道路标线c近似，则判定该候选道路标线为目标道路标线，且该目标道路标线的类型是模板道路标线c对应的类型。

确定目标道路标线的类型之后，进而根据目标道路标线与交通灯背景框的相对位置关系，从深度图像中确定交通灯背景框，该步骤包括：

根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

根据所述交通灯候选区域的深度信息，确定交通灯背景框。

在实际应用中，网状线道路标线和中心圈道路标线与交通灯背景框的相对位置关系不同，因此只有确定了目标道路标线的类型，才能确定目标道路标线与交通灯背景框之间的相对位置关系，由此才能得到交通灯背景框的位置。

要利用相对位置关系，就需要以深度图像中的深度信息为依据。本公开中采用单个摄像头和飞行时间传感器组合成的图像采集装置进行图像采集，获得的针对同一区域的彩色图像和深度图像之间存在交织映射的关系，因此可根据彩色图像中得到的目标道路标线，在深度图像中找到对应的标线。

请参考图3，图3是根据一示例性实施例示出的两类道路标线与交通灯背景框的相对位置关系的示意图。举个例子，两类中心圈的边缘与交通灯背景框的边缘的水平距离D在10米左右，两类网状线的边缘与交通灯背景框的边缘的水平距离D在5米左右，而交通灯背景框本身的安装高度h在5米左右。

网状线与中心圈道路标线一般位于道路的十字交叉口或丁字交叉口，在行驶过程中，车身上的图像采集装置相对于两类道路标线的距离随时间总是变化的，同样的，车身上的图像采集装置相对于交通灯背景框的距离随时间也总是变化的。也就是说，在获得的深度图像中，两类道路边线的边缘的深度信息和交通灯背景框的边缘的深度信息是未知的。而两类道路标线的边缘与交通灯背景框的边缘的水平距离(如10米或5米)，以及交通灯背景框本身的安装高度(如5米)是恒定不变的。

因为在深度图像中确定了标线的位置，所以可得到标线的边缘的深度信息，再根据两类道路标线的边缘与交通灯背景框的边缘的水平距离，以及交通灯背景框本身的安装高度，便可以确定交通灯背景框的边缘的深度信息。

举例来说，请参考图4，图4是根据一示例性实施例示出的确定交通灯背景框边缘的深度信息的示意图。图中，已知交通灯背景框本身的安装高度为h(如前面例子中设定的5米)，标线的边缘与交通灯背景框的边缘的水平距离为D(如前面例子中设定的10米或5米)。根据深度图像中确定的标线的位置，得到标线的边缘的深度信息为d₁。根据h、D和d₁三个已知量来确定交通灯背景框的边缘的深度信息d₂。在实际情况下，车辆与标线的边缘的距离较远，因此车身上的图像采集装置与标线的边缘的距离d₁，可近似等于图像采集装置与标线的边缘的水平距离，所以，交通灯背景框的边缘的深度信息d₂可通过以下公式，得到近似值。

得到交通灯背景框的边缘的深度信息，也就是交通灯候选区域的深度信息之后，确定深度图像中交通灯背景框的位置，该过程包括以下步骤：

根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

虽然在深度图像中，组成交通灯候选区域的各个像素点的深度信息不同，但因为在实际情况下交通灯背景框与图像采集装置之间的距离较远，所以在深度图像中，组成交通灯候选区域的各个像素点的深度信息近似相等，即各个像素点的深度信息的差值在很小范围内。

首先，设定一个预设差值范围(例如小于0.1m)，深度信息的差值在预设差值范围内的像素点组成一个连通域，由此，在深度图像中可确定出多个连通域，再对这多个连通域进行判断。当某个连通域内的像素点的深度信息近似于求得的交通灯候选区域的深度信息(即上述d₂)，则判断该连通域为交通灯候选区域。

得到的交通灯候选区域只是交通灯背景框的大致区域，为了能够利用模板匹配方法进行交通灯的识别，需要得到准确的交通灯背景框，因此，这里需要根据交通灯候选区域，来确定交通灯背景框。

对交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框，该步骤包括：

对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

请参考图5，图5是根据一示例性实施例示出的确定交通灯背景框的过程的示意图，其中图5(a)是对交通灯候选区域进行水平投影的示意图，图5(b)是对交通灯候选区域进行垂直投影的示意图，图5(c)是交通灯背景框的示意图。

首先将交通灯候选区域进行水平投影，如图5(a)所示，假设得到的交通灯候选区域如图所示，将交通灯候选区域水平投影至图像的行坐标轴上，并在行坐标轴上进行一维查找，即可确定该交通灯候选区域的行坐标范围；

然后对交通灯候选区域进行垂直投影，如图5(b)所示，将交通灯候选区域垂直投影至图像的列坐标轴上，并在列坐标轴上进行一维查找，即可确定该交通灯候选区域的列坐标范围；

确定了交通灯候选区域的行坐标范围和列坐标范围之后，即可确定该交通灯候选区域对应的交通灯背景框的四条边在图像中的具***置，也就确定了该交通灯背景框，如图5(c)所示。

经过以上步骤，在深度图像中确定了交通灯背景框，再结合彩色图像中的颜色信息，就可以从交通灯背景框中提取目标交通灯。

交通灯通常显示为红、黄、绿三种颜色，根据此颜色特性，从获得的彩色图像中分割出符合颜色特性的彩色区域，也就是交通灯可能存在的区域。

从获得的彩色图像中分割出符合颜色特性的彩色区域，有多种可能的实施方式。例如，针对RGB(R：红色；G：绿色；B：蓝色)格式的彩色图像，以交通灯可能的三种灯光颜色的R、G、B三个分量为阈值，对整张彩色图像进行筛选，保留R、G、B三个分量在阈值范围内的像素点，由这些像素点组成的区域则是交通灯可能存在的区域。除RGB格式外，也可在Lab、YUV等格式下对彩色图像进行类似的分割处理，区别在于，在不同格式下，针对红、黄、绿三种颜色所设定的阈值有所不同。

利用彩色图像和深度图像之间的交织映射的关系，根据彩色图像中得到的符合颜色特性的交通灯可能存在的区域，在深度图像中找到相对应的目标区域。找出与前面得到的交通灯背景框相重叠的目标区域，这些目标区域则是目标交通灯，由此便实现了从交通灯背景框中提取目标交通灯。

在实现目标交通灯定位之后，对目标交通灯的类型进行识别。交通灯的类型包括灯光颜色和形状类型，其中，根据彩色图像的颜色信息，可以直接确定目标交通灯的灯光颜色。剩下的就是确定目标交通灯的形状类型，可以采用模板匹配的方法进行确定。

确定目标交通灯的形状类型的一种可能的实施方式是：对目标交通灯进行水平投影和垂直投影，获取组成目标交通灯的像素点在图像坐标系中的分布情况，与模板交通灯进行对比，从而确定目标交通灯的形状类型。

结合目标交通灯的灯光颜色和形状类型，最终确定目标交通灯的类型，由此实现了交通灯的识别。

本公开还提供一种识别交通灯的装置，请参考图6，图6是根据一示例性实施例示出的一种识别交通灯的装置的示意图。如图6所示，该装置600包括：

图像获取模块601，用于获得针对同一个拍摄区域的彩色图像和深度图像；

候选道路标线分割模块602，用于从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

目标道路标线确定模块603，用于根据所述候选道路标线的形状特征，确定目标道路标线；

交通灯背景框确定模块604，用于根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

目标交通灯提取模块605，用于结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

形状类型确定模块606，用于将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

目标交通灯类型确定模块607，用于结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型。

可选地，所述目标道路标线确定模块包括：

形状类型确定子模块，用于对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

目标道路标线确定子模块，用于将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

可选地，所述交通灯背景框确定模块包括：

标线确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

深度信息确定子模块，用于根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

第一确定子模块，用于根据所述交通灯候选区域的深度信息，确定交通灯背景框。

可选地，所述第一确定子模块包括：

候选区域确定子模块，用于根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

第二确定子模块，用于对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

可选地，所述第二确定子模块包括：

行坐标范围确定子模块，用于对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

列坐标范围确定子模块，用于对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

第三确定子模块，用于结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

此外，本公开还提供了一种车辆，该车辆包括单个摄像机，用于采集彩色图像；TOF传感器，用于采集深度图像；以及根据本公开提供的上述识别交通灯的装置。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种识别交通灯的方法，其特征在于，所述方法包括：

获得针对同一个拍摄区域的彩色图像和深度图像；

从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

根据所述候选道路标线的形状特征，确定目标道路标线，所述形状特征包括所述候选道路标线的轮廓形状以及所述候选道路标线的角点的数量和位置；

根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型；

根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框，包括：

根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

根据所述交通灯候选区域的深度信息，确定交通灯背景框。

2.根据权利要求1所述的方法，其特征在于，根据所述候选道路标线的形状特征，确定目标道路标线，包括：

对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

3.根据权利要求1所述的方法，其特征在于，根据所述交通灯候选区域的深度信息，确定交通灯背景框，包括：

根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

4.根据权利要求3所述的方法，其特征在于，对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框，包括：

对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

5.一种识别交通灯的装置，其特征在于，所述装置包括：

图像获取模块，用于获得针对同一个拍摄区域的彩色图像和深度图像；

候选道路标线分割模块，用于从所述彩色图像中分割出具有白或黄任一种颜色特性的候选道路标线；

目标道路标线确定模块，用于根据所述候选道路标线的形状特征，确定目标道路标线，所述形状特征包括所述候选道路标线的轮廓形状以及所述候选道路标线的角点的数量和位置；

交通灯背景框确定模块，用于根据所述目标道路标线与交通灯背景框的相对位置关系，从所述深度图像中确定所述交通灯背景框；

目标交通灯提取模块，用于结合所述交通灯背景框和所述彩色图像，提取出目标交通灯；

形状类型确定模块，用于将所述目标交通灯与模板交通灯进行匹配，确定所述目标交通灯的形状类型；

目标交通灯类型确定模块，用于结合所述目标交通灯的灯光颜色和形状类型，确定所述目标交通灯的类型；

所述交通灯背景框确定模块包括：

标线确定子模块，用于根据所述彩色图像和所述深度图像之间的映射关系，从所述深度图像中确定出与所述目标道路标线对应的标线；

深度信息确定子模块，用于根据所述标线与交通灯背景框的相对位置关系，确定交通灯候选区域的深度信息；

第一确定子模块，用于根据所述交通灯候选区域的深度信息，确定交通灯背景框。

6.根据权利要求5所述的装置，其特征在于，所述目标道路标线确定模块包括：

形状类型确定子模块，用于对所述候选道路标线进行直线和圆的检测，确定所述候选道路标线的形状特征；

目标道路标线确定子模块，用于将所述候选道路标线的形状特征与模板道路标线的形状特征进行比较，确定目标道路标线。

7.根据权利要求5所述的装置，所述第一确定子模块包括：

候选区域确定子模块，用于根据所述交通灯候选区域的深度信息，确定所述交通灯候选区域；

第二确定子模块，用于对所述交通灯候选区域进行水平投影和垂直投影，以确定交通灯背景框。

8.根据权利要求7所述的装置，所述第二确定子模块包括：

行坐标范围确定子模块，用于对所述交通灯候选区域进行水平投影，以确定所述交通灯候选区域的行坐标范围；

列坐标范围确定子模块，用于对所述交通灯候选区域进行垂直投影，以确定所述交通灯候选区域的列坐标范围；

第三确定子模块，用于结合所述交通灯候选区域的行坐标范围和列坐标范围，确定交通灯背景框。

9.一种车辆，其特征在于，所述车辆包括：

单个摄像机，用于采集彩色图像；

TOF传感器，用于采集深度图像；以及

根据权利要求5-8任一项所述的识别交通灯的装置。

Images