CN104504363A - 基于时空关联的人行道实时识别方法 - Google Patents

Abstract

基于时空关联的人行道实时识别方法属于智能车无人驾驶领域。通过智能车上的GPS装置获取路口触发点信息，包括路口类型、距离，当距离小于100米时将会及时启动人行道识别程序。包括步骤：通过智能车上的摄像机获取车辆前方的路面图像，对原始图像进行灰度化、逆透视变换、自适应二值化处理，然后对逆透视灰度图像进行双极性分割提取候选区域，再使候选区域与二值化图像进行融合，然后对融合图像进行轮廓提取，最后根据人行道约束条件进行识别。当连续3帧图像都识别到人行道则认为稳定识别到了人行道并将其结果进行返回。本发明结合时空关联信息，全面地进行判断、检测、识别，极大地减少运算开销还极大地提高人行道识别的准确性和实时性。

Description

基于时空关联的人行道实时识别方法

技术领域：

本发明是基于时空关联的人行道实时识别方法，属于智能车无人驾驶技术领域。

背景技术：

安全驾驶、智能交通越来越受人们关注和重视，无人驾驶智能车的研究也已成为热点。人行道是重要的交通标识，因此人行道识别技术是智能车无人驾驶技术的重要组成，正确的人行道识别可以保证智能车辆能够在城市路口中减速、避免碰撞到人行道上的行人，从而提高无人驾驶的安全性。因此，人行道的正确、实时识别对智能车无人驾驶有着很重要的作用。

公开号为CN102509089A的中国专利申请《逐行扫描识别斑马线及测量斑马线距离的方法》公开了一种逐行扫描识别斑马线的方法，所述识别斑马线的方法包括下述步骤：构建包括奇小波函数和偶小波函数在内的小波函数模板；逐行扫描待检测图像，将每扫描行中所有像素点的灰度值向量分别与奇小波函数和偶小波函数作卷积运算；定义响应函数公式，并根据公式计算扫描行中所有像素点对应的响应函数向量；根据响应函数值及设定阈值识别斑马线。

因为这种方法是对图像进行逐行扫描，因此极大地增加了计算量，会很大程度影它的检测速度，不能够很好的满足智能驾驶的实时性要求。此外，该方法中涉及到阈值并没有具体的说明，因此在真正使用中很难把握，很容易受到天气、光照以及路上车辆等因素的影响，从而降低了其检测效果，很容易出现错检或漏检的现象。

发明内容：

本发明的目的在于克服现有方法存在抗干扰性弱、识别正确率低、识别速度慢、成本高以及耗能大等缺点，提出了基于时空关联的人行道实时识别方法

为了实现上述目的，本发明采取了如下的技术方案：

步骤1：传感器安装；

步骤1-1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零；

步骤1-2：将GPS装置安装在智能车顶平面处并使其位于智能车辆中心线上；

步骤2：实时接收GPS的路口触发点信息，所述的路口是指智能车辆所在的路段中离智能车辆最近的路口；所述的触发点信息结构为(路口类型，距离)，其中距离是指智能车辆里路口中心的距离，单位为米；

步骤3：当接收的距离小于100米时，立即启动人行道识别程序；当接收的距离大于100米时，关闭人行道识别程序；

步骤4：人行道识别；

步骤4-1：从摄像机中获取原始路面图像Img,先对图像Img进行灰度化处理得到灰度图像grayImg,再对图像grayImg进行逆透视变换得到鸟瞰图像birdeyeImg,然后对图像birdeyeImg进行自适应二值化处理得到二值图像binaryImg；

步骤4-2：对步骤4-1中的鸟瞰图像birdImg进行双极性分割提取候选区域，再使候选区域与二值化图像binaryImg进行融合，然后对融合图像进行轮廓提取，最后根据人行道约束条件进行识别；所述的人行道约束条件是指人行道中白色条带的宽W满足40<W<50,白色条带高H满足300<H<500,白色条带间宽w满足55<w<65,白色条带数量N满足3<N<10,其中W、H、w单位是厘米；

步骤5：判断人行道识别结果的稳定性；所述的稳定性是指正确连续地识别到人行道；利用帧间关联的连续性，来判断停止结果识别结果正确性和连续性，即当连续3帧图像以上都识别到人行道时则认为稳定地识别到了人行道。

本发明的有益效果是：

本发明通过可行的技术方案，有以下几点有益效果：

1.充分利用空间关联将提高了人行道识别的实时性、降低了识别开销节约了成本、减少了错误识别的机会；克服了传统识别方法中只基于视频图像识别带来的开销大、误检高的缺点，因为传统的识别方法需要对所有道路图像进行识别，没有人行道的路段也要识别，如高速公路，这样就加大了运算开销、提高了硬件成本，而且还增大了误检率；

2.充分利用时间关联将提高了人行道识别的正确率；时间关联就是帧间关联，根据图相连帧间图像内容变化小的特点，判断相连数帧图像的识别结果是否一致来判断识别的稳定性和正确性，这样极大地提高了识别的正确性，虽然也会造成一定的漏检，当着符合智能车决策的要求，即返回给决策层的识别结果必须是可靠的否则将会干扰决策判断；传统的识别方法只对单帧图像做处理，识别结果很不稳定，常常会出现误检，即本来道路上没有人行道却识别出有人行道，这样不满足实际的应用；

附图说明：

图1本发明的流程示意图

图2实例中的一幅原始图像

图3连续三帧的检测结果图

具体实施方式：

采用本发明的方法，给出一个非限定性的实例，结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、智能车测试场地进行实现，为了保证无人驾驶智能汽车以及人员安全，所用平台和场地均为无人驾驶技术专业实验平台和测试场地。所使用的一些通用技术如图像采集、图像变换等不在详细叙述。

本发明的实施方式如下：

1.按照步骤1要求安装单目摄像机和GPS装置，本实例所用平台已安装所需装置，只需要稍作调整便可以进行实验。

2.按照步骤2、3、4、5的详细步骤进行实现，其中所涉及到的参数如下：识别程序启动距离为100m；智能车辆最高时速60km/h,当接收到100m的触发点时减速至10km/h；摄像机获取的原始图像大小为640×480,逆透视的鸟瞰图像大小是300×550；鸟瞰图像的视野范围是横向视野10米，纵向最远视野18米；

3.单位性 $H=\left|\begin{array}{ccc}1.34444439& -5.68090379e-1& 200\\ -2.13162821e-14& -3.18647474e-1& 267\\ -4.85722573e-17& -1.81058492e-3& 1\end{array}\right|;$

4.实例停止线识别与测距结果：每帧图像处理时间是15ms；人行道识别正确率为100％。

本发明更进一步要求：

1.步骤1中安装的单目摄像机要求具有自动曝光、感兴趣区域可设置、自动白平衡等功能，以方便图像的采集以及节约处理时间；安装的GPS装置不要求高精度，误差只要控制在10米就可以，其目的是可采用低精度GPS以降低成本；

2.步骤2中的触发点信息结构(路口类型，距离)可以具体数字化(整型数据L，整型数据S)，路口类型可以用L＝1代表十字路口，L＝2代表丁字路口，如果还有其他类型的路口，可以依次扩展；距离S的单位是米(m)；触发点只在路口方圆1000米(1公里)范围内选取，目的是减少触发点的采集工作以及减少GPS的发送运算开销；

3.步骤3中的启动人行道识别程序的分界距离100米可以根据实际使用情况进行变动，其变动的依据是智能车辆的行驶速度范围以及每帧图像的处理时间，要求识别的帧数不少于100帧；如果车速范围为36千米/小时到108千米/小时,即10米/秒到30米/秒，那么智能车辆将在3.3秒到10秒的时间范围内通过100米的路程；如果每帧图像的处理时间是20毫秒(ms)，那么该路程内将识别165帧到500帧图像，所以小于100米时开始启动识别程序是满足实际应用的；

4.步骤4中对原始图像先进行灰度化处理在逆透视处理会比先逆透视处理在灰度化的开销更小，从而进一步提高识别的实时性；逆透视处理之前需要先通过摄像机标定获取其内外参数以及计算图像地面平面(图像坐标系)与实际路面平面(世界坐标系)的对应关系矩阵H，H也称单应性，然后通过H对灰度图像进行逆透视变换；

5.步骤4中判断人行道的一些约束条件范围应该根据实际情况调整，根据交通部门规定的人行道标准要求白色条带宽度规格是45cm，规定白色条带长300cm到500cm，规定白色条带间宽60cm；白色条带数量N应根据鸟瞰图像的横向视野范围而改变，如视野范围时900cm，那么N约等于900/(45+60)±1；

6.步骤5中判断判断是否稳定识别时的条件是连续3帧图像识别到人行道，其中的3帧是根据鸟瞰图像的视野范围以及车速共同决定的，在车速极慢或者视野能看得很远时可以将这一条件放大一些，比如5帧，反则也可是2帧图像。

Claims (1)

1.基于时空关联的人行道实时识别方法，其特征在于，包括以下步骤：

步骤1：传感器安装；

步骤1-1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零；

步骤1-2：将GPS装置安装在智能车顶平面处并使其位于智能车辆中心线上；

步骤2：实时接收GPS的路口触发点信息，所述的路口是指智能车辆所在的路段中离智能车辆最近的路口；所述的触发点信息结构为路口类型和距离，其中距离是指智能车辆里路口中心的距离，单位为米；

步骤3：当接收的距离小于100米时，立即启动人行道识别程序；当接收的距离大于100米时，关闭人行道识别程序；

步骤4：人行道识别；

步骤4-1：从摄像机中获取原始路面图像Img,先对图像Img进行灰度化处理得到灰度图像grayImg,再对图像grayImg进行逆透视变换得到鸟瞰图像birdeyeImg,然后对图像birdeyeImg进行自适应二值化处理得到二值图像binaryImg；

步骤4-2：对步骤4-1中的鸟瞰图像birdImg进行双极性分割提取候选区域，再使候选区域与二值化图像binaryImg进行融合，然后对融合图像进行轮廓提取，最后根据人行道约束条件进行识别；所述的人行道约束条件是指人行道中白色条带的宽W满足40<W<50,白色条带高H满足300<H<500,白色条带间宽w满足55<w<65,白色条带数量N满足3<N<10,其中W、H、w单位是厘米；

步骤5：判断人行道识别结果的稳定性；所述的稳定性是指正确连续地识别到人行道；利用帧间关联的连续性，来判断停止结果识别结果正确性和连续性，即当连续3帧图像以上都识别到人行道时则认为稳定地识别到了人行道。