CN105930819A - 基于单目视觉和gps组合导航***的实时城区交通灯识别*** - Google Patents

Abstract

本发明公开了一种基于单目视觉和GPS组合导航***的实时城区交通灯识别***，该***通过交互图像标注、相机标定、三维位置恢复等方法步骤离线创建交通灯地图，给出交通灯在全局定位的GPS坐标系下的位置坐标及语义属性。在线检测时，以创建的离线交通灯地图为先验，结合位姿定位求解交通灯在图像中的大致范围，从而确定感兴趣区域，在感兴趣区域中利用交通灯的形态信息进行交通灯的颜色分割与形状识别。该交通灯识别***可适应于多种不同路况和场景，实现多种环境下的交通灯稳定且长距离的检测感知。由于***采用低成本、低功耗的导航设备、图像采集设备及计算平台，可广泛应用于无人驾驶汽车视觉导航、智能车视觉辅助驾驶等领域。

Description

基于单目视觉和GPS组合导航***的实时城区交通灯识别***

技术领域

本发明属于计算机视觉与智能交通领域，涉及城区环境下的实时交通灯识别，尤其涉及一种基于单目视觉和GPS组合导航***的实时城区交通灯识别***。

背景技术

智能车辆(Intelligent Vehicle，IV)是一个集环境感知、动态决策与规划、智能控制与执行等多功能于一体的综合***，是衡量一个国家整体科研实力和工业水平的重要标志。作为智能车三大关键技术之一的环境感知技术，现阶段以主动传感激光、雷达及结构光为主的传感***，已经取得了部分成功的应用，但该类传感器存在功耗大、体积大、造价昂贵等问题，制约了其在智能车技术研发和应用上的推广。而被动可见光传感，即相机，则在功耗、体积、造价方面具有显著优势。近年来，大量研究团队和机构在利用可见光传感完成交通场景感知方面做出了很多卓有成效的研究，基于视觉的交通要素和障碍物感知成为该领域的研究热点。

交通灯信号的识别与很多因素紧密相关，如天气、相机特性及参数设置、周围环境等。阳光强烈的晴天、光线较弱的阴雨天气、低可见度的雾霾天气、逆光行驶、树木遮挡的暗场景、无遮挡的亮场景等情况下，相机采集的图像效果各不相同，可能引起交通灯在图像中呈现出色彩失真、过曝等现象，从而影响交通灯信号的检测效果。另外，交通场景中的汽车刹车灯、广告牌、行人等因素会引入干扰，可能使识别***产生虚警，增加了交通灯识别的难度。因此，如何设计实现一套能尽可能充分利用图像信息、适应***的各类外部环境变化和车体姿态变化，能长时间长距离稳定运行，同时又具有低成本、低功耗、高移植性的交通灯检测***以满足无人驾驶、汽车辅助驾驶等领域应用需求已成为研究热点。

发明内容

本发明的目的在于提供一种基于单目视觉和GPS组合导航***的实时城区交通灯识别***。

为了实现上述目的，本发明采用了以下技术方案：

包括离线交通灯三维地图创建和模式学习模块、在线图像感兴趣区域提取模块以及图像交通灯识别模块；所述离线交通灯三维地图创建和模式学习模块包括交通灯三维地图创建子模块，交通灯颜色概率模型训练子模块和交通灯形状分类器训练子模块；所述在线图像感兴趣区域提取模块利用离线创建的交通灯三维地图，通过坐标转换对实时采集的图像进行感兴趣区域的提取；所述图像交通灯识别模块对提取的感兴趣区域利用经过训练的交通灯颜色概率模型和交通灯形状分类器进行交通灯的在线识别，并结合历史帧图像识别结果输出时域关联的交通灯识别结果。

所述交通灯三维地图创建子模块用于采集无人车的全局位姿信息和由该无人车获取的交通灯图像，并在获取到对于每个交通灯的多帧图像的交通灯真值后，结合采集的对应时刻的无人车全局位姿信息，通过三角测量法获取对应交通灯的三维坐标，所述交通灯真值是指交通灯在图像上的位置。

所述全局位姿信息由安装于无人车上的惯性导航***获取。

所述交通灯颜色概率模型训练子模块用于根据交通灯的红绿黄颜色数据进行高斯模型拟合，从而得到红绿黄颜色的高斯模型。

所述交通灯形状分类器训练子模块用于根据不同形状的交通灯图像进行形状分类的训练，从而得到可以进行形状分类的随机森林分类器。

所述在线图像感兴趣区域提取模块需要进行车***姿的获取，并使用车***姿信息判断是否进行交通灯识别，在确定无人车接近设置交通灯的路口后使无人车开始交通灯图像在线采集，并利用无人车的实时全局位姿信息对交通灯三维地图中该路口处对应交通灯的三维坐标信息进行坐标转换，通过坐标转换将该交通灯的三维坐标投影到在线采集的对应帧图像上，利用交通灯在图像上的投影位置确定图像上包含交通灯的感兴趣区域。

在已经进行稳定检测(例如，已完成连续5帧以上图像的检测)后，当前帧图像的感兴趣区域根据上一帧图像的感兴趣区域获得。

所述图像交通灯识别模块在提取的感兴趣区域内进行交通灯的识别，识别过程包括使用交通灯颜色概率模型对感兴趣区域进行分割，对分割后的连通域使用交通灯形状分类器进行形状识别，从而得到实时采集的图像中交通灯的颜色信息和形状信息。

本发明的有益效果体现在：

本发明所述交通灯识别***通过离线交通灯三维地图创建和模式学***台，可广泛应用于无人驾驶汽车视觉导航、智能车视觉辅助驾驶等领域。

进一步的，本发明所述交通灯识别***主要利用了多传感器提供的数据，如位姿数据、图像数据，通过交互图像标注、相机标定、三维位置恢复等方法步骤离线创建交通灯地图，给出交通灯在全局定位的GPS坐标系下的位置坐标及语义属性。在线检测时，以创建的离线地图为先验，定位交通灯在图像中的范围并由此确定感兴趣区域。在感兴趣区域中对交通灯进行颜色分割与形状识别。最后，通过单交通灯的时域关联增加识别结果的可靠性。该交通灯识别***可适应于多种不同路况和场景，例如光照变化、多类型的复杂场景等，实现城区环境下的交通灯稳定且长距离的检测感知。

附图说明

图1为本发明的***硬件关系图。

图2为本发明的***流程框图。

图3为本发明定义的路***通场景示意图。

图4为本发明车体坐标系、激光坐标系和摄像机坐标系的定义示意图，其中：(a)侧视图，(b)俯视图。

图5为本发明定义的地球坐标及东北天坐标示意图。

图6为本发明的交通灯H通道和S通道直方图统计示意图。

图7为本发明的笛卡尔坐标系下交通灯红绿黄颜色统计直方图(a)及交通灯红绿黄颜色高斯模型拟合图(b)。

图8为本发明的交通灯的四种形状类型示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明提出的交通灯地图创建及识别***实验平台的硬件设备包括车载相机、全局位姿测量***、三维激光雷达、工控机及千兆网交换机等数据传输设备。其中，车载相机安装在无人车车顶前方，便于感知无人车前方的交通灯。全局位姿测量***采用GPS/INS惯导***，由惯性测量单元、GPS接收机、GPS天线及用于差分的数据传输单元组成，其中惯性测量单元和GPS天线安装在无人车后轴中心的竖直线上，与车体坐标系的坐标原点在XY坐标下一致。工控机安装在无人车内部，用于数据处理计算和软件、程序的运行。千兆网交换机安装车内适当位置。

该交通灯识别***工作原理：主要包括离线创建地图和在线实时检测(识别)，利用加州大学标定工具箱和CMU激光相机联合标定工具箱完成相机的内参和外参标定，标定后通过相机及惯导***实时采集获取能观测到交通灯的图像序列及其对应的位姿数据，并利用时间戳对齐图像序列和位姿数据，对图像中的交通灯使用程序标注(由于针对的同一个交通灯的多帧连续图像较为相似，因此可以在人工标注第一帧后，由程序完成对同样颜色交通灯的标注)和人工标注结合进行真值(指在图像中的实际位置)标注，从采集得到的数据中恢复出交通灯的三维位置，即结合交通灯在图像中标注出的真值、相机的内外参数和对齐后的位姿数据，通过三角测量求解出交通灯在东北天坐标系下的三维位置并添加语义(例如交通灯形状)，从而完成交通灯地图的创建，用于后续在线检测；在线实时检测中，根据当前位姿数据和交通灯地图数据，实时计算地图中的各个交通灯到无人车的距离。如果交通灯在相机的图像采集范围内，将交通灯从东北天坐标系转换到图像坐标系，并确定在图像中的位置，获得包含有交通灯的感兴趣区域。基于感兴趣区域进行颜色概率图的获取，完成了颜色分割和颜色识别，基于分割后的结果进行形状的识别。最终获取单帧的交通灯识别结果，并基于多帧图像的识别结果进行时域关联，得到稳定准确的输出结果。

目前该***已集成安装于西安交通大学人工智能与机器人研究所视觉认知计算与智能车实验室的“夸父一号”无人驾驶平台上，并顺利完成数百个路***通灯的检测，并完成上述路段的自主导航驾驶。

(一)实验平台硬件介绍

1)相机和镜头：

识别交通灯使用的相机为加拿大PointGrey公司的GrassHopper2高分辨率CCD摄像机，其具体参数如表1所示。摄像机配套的镜头为Kowa手动光圈百万像素镜头，由于交通灯尺寸较小，为了能尽早在图像中观测交通灯并且使其在图像中点像素数足够多，选择焦距较长的镜头。本发明中选择的Kowa镜头焦距为25mm，其详细参数如表2所示。

表1 GrassHopper2摄像机规格指标

表2 Kowa镜头规格指标

2)GPS/INS惯导***：

实验平台安装的惯导***为加拿大NovAtel公司的SPAN-LCI。由惯性测量单元(IMU)、GPS接收机和GPS天线等组成，同时，配备了数据传输单元(DTU)传输差分改正数，组合多种定位设备实现高精度的全局定位。

使用的惯导***的各项性能指标如表3所示：

表3 SPAN-LCI惯导***性能指标

3)工控机：

实验平台使用的工控机为凌华公司的车载刀片服务器ADLINK嵌入式电脑，体积小、可挂式安装、运算速度快，同时配置了固态硬盘，其指标如表4所示：

表4 ADLINK工控机性能指标

4)三维激光雷达(主要用于摄像机的外参标定)：

实验平台上安装的三维激光雷达是美国Velodyne公司生产的64线激光雷达HDL-64E，其扫描线数多、覆盖范围广、数据量丰富，可以较逼真的还原场景。

各硬件的连接关系如图1所示。***计算负载在车载刀片服务器ADLINK嵌入式电脑(分为位姿工控机、交通灯工控机以及激光工控机)上进行；所有模块间通过千兆以太网，以UDP数据包方式进行通信。***能够以每秒10HZ的频率稳定提供车载摄像机前>＝100m(具体距离可以根据实际情况调整)范围内的交通灯检测结果。***成本低廉、功耗低，且具有较高的整体移植性，适合批量推广应用。

摄像机离线标定时，需要对齐激光数据和图像数据。激光数据从三维激光雷达获取，原始数据通过千兆以太网传输到激光工控机，经过数据解析从极坐标系转换到激光坐标系下，同时也存储了经过时间戳同步后的激光数据对应时间戳。图像数据通过摄像机抓取，然后通过千兆网接口传输到交通灯工控机上，同时保存对准后的图像时间戳。

在线检测时，惯导***的各个传感器实时采集定位数据，通过串口及网口传输到位姿工控机后经过一系列的滤波处理得到平滑准确的全局位姿数据，然后通过公用的千兆网交换机发送到交通灯工控机。交通灯工控机上既有从摄像机获取的图像，同时有接收到的带同步时间戳的全局位姿数据，经过插值对齐结合二者完成交通灯识别过程，并且将识别的结果通过公用千兆网交换机发送到路径规划与行为控制模块，最终以指令的方式控制无人车在有交通灯路口的行为。

(二)本发明的软件***介绍如下：

1)开发平台

本发明采用windows 7操作***作为软件的运行平台，Windows操作***具有支持图形化显示和多任务机制，操作简单，实时性高，运行稳定等优点。程序主要在VisualStudio 2005编译环境下C++语言开发，程序开发过程中使用了OpenCV库辅助图像处理过程，同时部分开发和测试在MATLAB平台上完成。

2)***框架设计

整个***如图2所示，输入为GPS数据和图像序列，设计工作包含两大部分：(1)车载摄像机内外参数的标定，交通灯地图的创建，颜色高斯概率模型的学习以及形状随机森林分类器的训练；(2)交通灯实时检测程序的开发。

城区交通场景中的一个典型的十字路口如图3所示。路口四个方向都设立了交通灯，便于各个方向的来往车辆都能在路口清楚地观察到交通信号。以图3中场景为例具体介绍***工作原理及各个关键部分的设计方案。假设图3中黑色的车为无人车，要在真实道路环境中无人驾驶时，首先程序开启后需要将离线获得的交通灯地图、摄像机标定参数、交通灯颜色模型、形状分类器等数据文件加载到程序，便于后续计算中方便获取，加载完成后开始实时识别程序(即交通灯实时检测程序)。

识别过程中主要包括计算无人车到前方路口距离、单帧图像交通灯识别、时域关联三个重要过程。

(1)计算无人车到前方路口的距离

为了减少不必要的计算量、误检与虛警，在创建好的交通灯地图及实时全局定位的辅助下，考虑到观测交通灯摄像机的硬件性能指标，只考虑在距离前方路口一定距离范围内(例如100米)启动交通灯识别程序并向无人车路径规划与行为控制模块发送实时识别结果。在程序中上述过程即实时计算当前车体的全局位姿与地图中前方路口点的距离，路口点如图3中所示，如果距离值大于100米则更新全局位姿重新计算，直到距离小于等于100米才启用交通灯识别过程，即利用摄像机采集的图像、惯导***解算的全局位姿依次完成基于单帧图像的交通灯识别过程，进一步通过时域关联给出最终结果。

(2)基于单帧图像的交通灯识别

本发明介绍了交通灯地图的创建及使用、交通灯检测和交通灯识别的具体原理及方法实现，从地图先验信息、颜色信息及形态语义信息等多方面入手完成城区交通环境下交通灯的实时识别，需要将上述信息进行综合，共同完成单帧图像中的交通灯识别。

***分为在线与离线两部分。离线部分即先验知识，包括GIS地图给出的有交通灯的路口点坐标、该路口点交通灯的位置坐标及语义信息及统计多帧不同交通场景和光照条件下图像创建得到的交通灯颜色模型、训练得到的四种不同形状(圆形、箭头形，参见图8)分类器。这些先验知识在程序最初启动时，全部读取进来用于辅助实时在线检测过程。在线检测时实时读取摄像机采集的图像及与其对应时刻车体的全局位姿数据，根据当前车***姿数据及摄像机标定参数计算摄像机能观测到的交通灯在图像上可能出现的感兴趣区域。然后，在得到的感兴趣区域内利用建立的交通灯颜色模型基于颜色概率判断对图像进行颜色分割。在此基础上，对分割得到的候选连通域基于分类器的交通灯形状识别方法与四种形状模板进行匹配，若匹配到某一形状，则将该连通域的语义信息标注为对应的语义，否则认为该候选连通域为非交通灯将其排除。这样，每个候选连通域都具有语义及颜色信息，在创建交通灯地图的时候添加了语义信息，因此可以进一步对比验证识别的正确性，当给出的语义信息与地图标注一致时认为识别是正确匹配的并作为识别结果输出，否则认为该候选连通域为错误匹配的区域，排除其为正确的识别结果，从而实现了单帧图像上的交通灯识别。

(3)时域关联

基于单帧图像的检测结果仅由当前图像决定，而实际情景中由于交通灯变化的连续性，连续多帧图像之间是有规律可循的。例如，若连续多帧图像中交通灯都表现为红色，则在接下来的一帧图像中交通灯为红色的可能性较大。若下一帧图像中的交通灯为绿色，那么可能是信号灯颜色变为通行，也可能是算法产生了误检，这时如果结合后续几帧图像的识别结果，对这一帧的识别结果的可靠性就能得到很大的提升。如果后续多帧均为绿色交通灯，那这一帧应当是正检，如果后续几帧多为红色交通灯，则这一帧可以认为是误检。

因此，对得到的基于单帧图像的识别结果需要联系之前的多帧识别结果共同决定最终识别结果，比较简单而有效的做法是连续统计多帧识别结果(例如采用10帧)，若多于5帧识别结果为红色或绿色的某种形状的交通灯，输出该类型的交通灯。这样，通过时域关联，***的鲁棒性得到了提升。

参见图4，本发明采用广泛使用的张正友标定法标定摄像机内部参数(即内参)。标定的思路为，首先只考虑摄像机4个线性参数进行初步标定，计算得到内参初始值，在此基础上标定畸变参数，然后以线性参数为初始值，对标定参数进行重新优化，直至得到收敛的线性和非线性参数。内参标定主要用于坐标间旋转平移矩阵的求解。

对于外部参数(即外参)的标定，本发明以车体坐标系[X_v Y_v Z_v]为标定时的世界坐标系，如图4所示，坐标原点O_v定义在无人车的后轴中心，以车头方向为X_v的正方向，以垂直车身向左为Y_v的正方向，以垂直车体向上为Z_v的正方向定义车体坐标系。三维激光雷达安装在无人车顶部，激光坐标系[X_l Y_l Z_l]三个坐标轴的定义与车体坐标系平行，坐标原点O_l定义在激光雷达中心。摄像机安装在车顶前部，摄像机坐标系[X_c Y_c Z_c]原点O_c在摄像机光心处，沿光轴方向向前为X_c的正方向，沿CCD平面水平方向向右为Y_c的正方向，垂直于X_c和Y_c平面向上为Z_c的正方向。

标定车载摄像机的外部参数，即求取摄像机坐标系与车体坐标系之间的旋转矩阵R_c-v和平移矩阵T_c-v。通常通过获取同时能在摄像机坐标系和车体坐标系下观测的特征点坐标对，来优化计算求解摄像机坐标系到车体坐标系之间的旋转矩阵R_c-v和平移矩阵T_c-v。实际操作时，数据采集时对实验环境有要求并且需要消耗大量的时间和人力。在测量方式比较粗糙的情况下，特征点在车体坐标系中的位置测量精度较低，尤其是竖直方向。考虑到实验平台的组成结构，车体坐标系与激光坐标系三个轴的方向平行，因此两个坐标系之间旋转矩阵R_l-v为单位阵，只存在平移量T_l-v，很容易测量，而摄像机坐标系与激光坐标系之间的旋转矩阵R_c-l和平移矩阵T_c-l标定时，比较容易获得对同一物体的不同观测，数据采集操作更简单方便，标定精度也较高。

设两个坐标系中能同时观测到的一点在激光坐标系下的坐标为X_l，在摄像机坐标系下的坐标为X_c，根据下式：

$\left\{\begin{array}{c}{X}_1=\[R_{c-1}|T_{c-1}\]X_c\\ X_v=\[R_{1-v}|T_{1-v}\]X_1\end{array}\right.---(2-1)$

可以推得

X_v＝[R_c-v|T_c-v]X_c＝[R_l-v|T_l-v][R_c-l|T_c-l]X_c (2-2)

其中，R_l-v和T_l-v通过测量获得。因此，将摄像机坐标系到车体坐标系的外部参数求取，转换为摄像机坐标系到激光坐标系之间的外部参数求取。

本发明利用标定摄像机内参时使用的标定板完成摄像机与激光坐标系的联合标定。将标定板摆放不同的姿态和位置，保证其在两个坐标系均可观测，然后采集对应的图像和激光数据组成数据对。

对于图像数据，利用张正友标定法标定时定义标定板黑白格图形的两条边缘为X轴和Y轴，垂直于标定板平面方向为Z轴。对标定板图像数据进行处理，不仅可以返回摄像机的内部参数，还能返回标定板坐标系到摄像机坐标系的旋转、平移变换关系，并以标定板平面法向量θ_c,i和其到摄像机坐标系距离α_c,i表示第i帧图像中标定板相对于摄像机坐标系的位姿。对于激光数据，手动选取出位于标定板平面的激光数据点后，利用RANSAC方法和最小二乘法鲁棒的估计第i帧标定板平面相对于激光坐标系的位姿，其中标定板平面法向量用θ_l,i表示，平面到激光坐标系原点的距离为α_l,i。由此，标定激光坐标系与摄像机坐标系之间的位姿变换即求解使标定板通过两种不同的数据观测方式在同一坐标系中的表示差别最小的旋转矩阵与平移矩阵。

参见图5，本发明中定义的车体坐标系是一个局部坐标系，在无人车行驶的过程中车体坐标系的坐标原点随着车体一起移动，因此需要将恢复出的交通灯三维位置转换到一个固定的坐标系下便于后续使用。在无人车中，通常将GPS数据用东北天坐标系表示，因此将交通灯地图转换至东北天坐标系下存储。东北天坐标系通常简写为ENU，其中整个坐标系的原点选取在地球表面上的一个固定点，三个坐标轴中E轴指向东，N轴指向北，U轴沿当地的地球垂线方向指向天。无人车在局部范围内运动，因此使用东北天坐标系较地球坐标系更容易描述其运动状态和位置信息。无人车上安装的GPS设备解算出无人车当前时刻在地球坐标系下的位置，因此实际使用时需要确定地球坐标系与东北天坐标系之间的转换关系。如果地球上有一点P在当地东北天坐标系(ζENU)下的坐标向量表示为r_n(e,n,u)，在地球坐标系(OX_eY_eZ_e)下的坐标向量为r_e(x_e,y_e,z_e)，经纬度海拔为(λ,φ,h)，那么地球坐标系到东北天坐标系的转换公式为：

$\left[\begin{array}{c}e\\ n\\ u\end{array}\right]=\left[\begin{array}{ccc}-\sin \mathrm{\λ}& \cos \mathrm{\λ}& 0\\ -\cos \mathrm{\λ}\sin \mathrm{\φ}& -\sin \mathrm{\λ}\sin \mathrm{\φ}& \cos \mathrm{\φ}\\ \cos \mathrm{\λ}\cos \mathrm{\φ}& \sin \mathrm{\λ}\cos \mathrm{\φ}& \sin \mathrm{\φ}\end{array}\right](\left[\begin{array}{c}{x}_e\\ y_e\\ z_e\end{array}\right]-\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right])$

其中，x₀,y₀,z₀为东北天坐标系的坐标原点。

当前无人车的坐标为[x_p y_p z_p]^T时，东北天坐标系与车体坐标系之间的转换关系公式为：

$\left[\begin{array}{c}{x}_{enu}\\ y_{enu}\\ z_{enu}\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& 0\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]+\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\end{array}\right]$

车体坐标系与东北天坐标系之间的转换关系公式为：

$\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& sin\mathrm{\θ}& 0\\ -sin\mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{enu}-x_p\\ y_{enu}-y_p\\ z_{enu}-z_p\end{array}\right]$

从图像恢复交通灯三维位置的方法，使用了最小二乘三角测量，结合多帧位姿下的图像序列中对同一交通灯的不同观测，优化求解出交通灯在东北天坐标系下的三维位置。其中下标p表示当前车***姿坐标，θ为车体朝向角。

设标注的图像中交通灯真值坐标为x，要恢复的交通灯的三维坐标为X，第i帧数据的投影矩阵为P_i，则对于每帧数据有：

dx_i＝P_iX

其中，

$P_i=K\[R_{l-c}|T_{l-c}\]\left[\begin{array}{cc}{R}_{v-l}& T_{v-l}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{enu-v,i}& T_{enu-v,i}\\ 0& 1\end{array}\right]$

K为摄像机内部参数，R_l-c(R₁)和T_l-c(T₁)为激光坐标系与摄像机坐标系的旋转平移变换关系，R_v-l(R₂)和T_v-l(T₂)为车体坐标系与激光坐标系的变换关系，R_enu-v和T_enu-v为东北天坐标系转换到车体坐标系的变换关系。d为线性尺度因素，为了消除线性尺度因素，利用叉积将上式改写为：

x_i×dx_i＝x_i×P_iX

即

x_i×P_iX＝0

将上述等式改写为X的线性等式，如下：

AX＝0

A为一个3n×4(n表示车体坐标个数，即位置个数)的矩阵，其中

$\begin{array}{cc}A=\left[\begin{array}{c}{\[x_1\]}_{\×}{P}_1\\ {\[x_2\]}_{\×}{P}_2\\ ...\end{array}\right]& {\[x\]}_{\×}=\left[\begin{array}{ccc}0& -1& v\\ 1& 0& -u\\ -v& u& 0\end{array}\right]\end{array}$

其中，[u v]为标注得到的交通灯在图像中位置x的横纵坐标。然后，对矩阵A进行SVD分解，A＝USV^T，交通灯的三维位置X的解为矩阵A最小特征值对应的归一化特征向量，即归一化的V的最后一列。

从图像及对应的位姿数据中恢复出多个交通灯的三维位置后，将其按统一格式存储为交通灯地图形式，作为在线检测时的先验信息。交通灯识别程序运行时，首先加载交通灯地图的东北天坐标，然后实时计算地图中的各个交通灯到无人车的距离。如果交通灯在摄像机的采集范围内，将其从东北天坐标系转换到图像坐标系，并确定在图像中的大致范围辅助检测。

记在摄像机的采集范围内的某个交通灯的东北天坐标为[x_lenu,y_lenu,z_lenu]^T，当前时刻无人车在东北天坐标系下的位置为[x_penu,y_penu,z_penu]^T、航向角为θ_penu，由此可得地图中该交通灯在车体坐标系中的坐标[x_lv,y_lv,z_lv]^T为

$\left[\begin{array}{c}{x}_{lv}\\ y_{lv}\\ z_{lv}\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{cos\θ}}_{penu}& {\mathrm{sin\θ}}_{penu}& 0\\ -{\mathrm{sin\θ}}_{penu}& {\mathrm{cos\θ}}_{penu}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{enu}-x_{penu}\\ y_{enu}-y_{penu}\\ z_{enu}-z_{penu}\end{array}\right]$

然后根据摄像机的外部参数R₁,T₁,R₂,T₂和基于张正友标定法标定得到的内部参数矩阵K，交通灯在图像坐标系中的坐标为

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\[\begin{array}{cc}{R}_1& T_1\end{array}\]\left[\begin{array}{cc}{R}_2& T_2\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{lv}\\ y_{lv}\\ z_{lv}\\ 1\end{array}\right]$

若[u,v]在图像尺寸的范围内，表示摄像机当前时刻能看到交通灯，且其在图像中的位置为[u,v]。但实际上，恢复得到的交通灯三维位置通过变换映射到图像上后，不可能完全与图像上的交通灯完全重合。这个偏差是由于多方面的误差引起的，如摄像机内部参数和外部参数的标定误差、无人车位姿的误差及图像真值标注的误差等引起的，标定误差越小、位姿越准确，交通灯映射到图像上的位置越准确，越利于检测。

参见图6和图7，为了建立交通灯的三种颜色即红色、黄色和绿色的颜色模型，在不同的光照条件、不同的交通场景、不同的视角条件下采集各种颜色的交通灯的图像，并基于HSV颜色空间对图像标注真值提取出属于交通灯的像素，然后对H通道和S通道进行统计。在H通道中，绿色分布在180度附近、黄色分布在60度附近、红色分布在0度和360度附近，并呈现为近似高斯分布的形态。在S通道中三种颜色的规律相同，只有当饱和度的值达到一定的值后，才可能属于交通灯并且饱和度值越高越可能属于交通灯。将色度和饱和度组成的极坐标系转换为笛卡尔坐标系，转换公式为：

$\left\{\begin{array}{c}x=s\×cos\left(h\right)\\ y=s\×sin\left(h\right)\end{array}\right.$

其中，h为色度值，取值范围为[0,360)，代表角度。s为饱和度值，取值范围为[0,1]，代表幅值。3种交通灯颜色在该坐标系下的概率分布基本符合高斯模型的钟型特征，因此可以利用如下模型来描述3种颜色的概率分布。

$f\left(v\right)=e^{-0.5*(v-\mathrm{\μ})*{\mathrm{\Σ}}^{-1}*{(v-\mathrm{\μ})}^T}$

其中v＝[x y]，μ为统计得到的v的均值，Σ是对应的协方差矩阵，T表示矩阵旋转。

分别使用三个二维高斯模型拟合三种颜色的交通灯的分布情况，并将其规一化到取值范围为[0,1]之间的概率密度函数，通过标注的多组真值计算均值和协方差矩阵，由此建立红黄绿三种颜色的二维高斯概率模型。

本发明进行随机森林的机器学习算法的训练，以便于对交通灯形状进行分类，步骤如下：

a)特征选取

本发明选择了形状参数(Form Factor)、圆心径(Circular diameter)、五阶中心矩(2维)组成的4维特征，来描述候选连通域的形状。

形状参数定义如下式所示：

$F=\frac{\left|\right|B|{|}^2}{4\mathrm{\π}A}$

其中，A为连通域的面积，B为连通域的周长，连续情况下圆的F值等于1，是所有形状中最小的。

圆心径定义如下式所示：

$C=\frac{M_R}{{\mathrm{\σ}}_R}$

$M_R=\frac{1}{k}\underset{i=1}{\overset{k}{\Σ}}\left|\right|(x_i,y_i)-(\stackrel{\‾}{x},\stackrel{\‾}{y})\left|\right|$

${\mathrm{\σ}}_R=\frac{1}{k}{\[\underset{i=1}{\overset{k}{\Σ}}\left|\right|(x_i,y_i)-(\stackrel{\‾}{x},\stackrel{\‾}{y})-M_R|{|}^2\]}^{\frac{1}{2}}$

其中，M_R为重心到边界的平均距离，σ_R为重心到边界的方差。k表示连通域内像素个数，(x，y)表示图像中像素的横纵坐标，表示连通域内像素点坐标的均值。

五阶中心矩定义如下式所示：

$m_{50}=\underset{x}{\Σ}\underset{y}{\Σ}{x}^{5}f(x,y)$

$m_{05}=\underset{x}{\Σ}\underset{y}{\Σ}{y}^{5}f(x,y)$

其中，x,y为二值图像(二值图像由上文颜色分割后获得，包含候选连通域)上像素点横纵坐标，f(x,y)取值为1或0，(取1表示白色，取0表示黑色)。m₅₀和m₀₅的幅值可以度量所分析的区域对于垂直和水平轴线的不对称性，很适合交通灯的形状识别。

b)分类器选择

对于由a)提取出来的形状参数、圆心径和五阶中心矩特征，选择随机森林模型进行分类识别。随机森林是一个由多棵决策树组成的分类器，每一棵决策树的训练集是通过对输入训练样本及其特征维度的随机采样而得到的，且其输出结果是由各决策树输出结果的众数而定。随机森林分类器的泛化误差由单个决策树的分类强度和决策树之间的相互关系共同决定的。

其具体学习算法过程为：

1创建训练集，设有N个样本，每个样本的特征维度为M。

2获取当前节点所能采用的特征维度数

3从N个训练样本中以有放回抽样的方式，取样n次，形成一个训练集(即boostrap取样)，并用未抽取到的样本作预测，评估其误差。

4对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征，计算其最佳的***方式。

5每棵树都会完整成长而不会剪枝(Pruning)。

总之，与传统的交通灯识别***相比，本发明充分利用了图像数据和车***姿数据信息，利用车***姿数据与图像数据创建了离线的交通灯地图，有效提高了交通灯识别的准确率和稳定性，在接近有交通灯的路口才开始进行识别，提高了***的效率，并且大大减少了误检和虚警。本发明采用了随机森林算法进行形状的识别，对不同形状的交通灯具有更高的识别率，并且使用颜色高斯模型进行图像分割，对不同光照强度下的交通灯都能进行稳定检测，极大地提高了***的适应性。由于***采用低成本、低功耗的导航设备、图像采集设备及计算平台，可广泛应用于无人驾驶汽车视觉导航、智能车视觉辅助驾驶等领域。

Claims (8)

1.基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：包括离线交通灯三维地图创建和模式学习模块、在线图像感兴趣区域提取模块以及图像交通灯识别模块；所述离线交通灯三维地图创建和模式学习模块包括交通灯三维地图创建子模块，交通灯颜色概率模型训练子模块和交通灯形状分类器训练子模块；所述在线图像感兴趣区域提取模块利用离线创建的交通灯三维地图，通过坐标转换对实时采集的图像进行感兴趣区域的提取；所述图像交通灯识别模块对提取的感兴趣区域利用经过训练的交通灯颜色概率模型和交通灯形状分类器进行交通灯的在线识别，并结合历史帧图像识别结果输出时域关联的交通灯识别结果。

2.根据权利要求1所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述交通灯三维地图创建子模块用于采集无人车的全局位姿信息和由该无人车获取的交通灯图像，并在获取到对于每个交通灯的多帧图像的交通灯真值后，结合采集的对应时刻的无人车全局位姿信息，通过三角测量法获取对应交通灯的三维坐标，所述交通灯真值是指交通灯在图像上的位置。

3.根据权利要求2所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述全局位姿信息由安装于无人车上的惯性导航***获取。

4.根据权利要求1所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述交通灯颜色概率模型训练子模块用于根据交通灯的红绿黄颜色数据进行高斯模型拟合，从而得到红绿黄颜色的高斯模型。

5.根据权利要求1所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述交通灯形状分类器训练子模块用于根据不同形状的交通灯图像进行形状分类的训练，从而得到可以进行形状分类的随机森林分类器。

6.根据权利要求1所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述在线图像感兴趣区域提取模块在确定无人车接近设置交通灯的路口后使无人车开始交通灯图像在线采集，并利用无人车的实时全局位姿信息对交通灯三维地图中该路口处对应交通灯的三维坐标信息进行坐标转换，通过坐标转换将该交通灯的三维坐标投影到在线采集的对应帧图像上，利用交通灯在图像上的投影位置确定图像上包含交通灯的感兴趣区域。

7.根据权利要求6所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：在已经进行稳定检测后，当前帧图像的感兴趣区域根据上一帧图像的感兴趣区域获得。

8.根据权利要求1所述基于单目视觉和GPS组合导航***的实时城区交通灯识别***，其特征在于：所述图像交通灯识别模块在提取的感兴趣区域内进行交通灯的识别，识别过程包括使用交通灯颜色概率模型对感兴趣区域进行分割，对分割后的连通域使用交通灯形状分类器进行形状识别，从而得到实时采集的图像中交通灯的颜色信息和形状信息。