CN105989334A - 基于单目视觉的道路检测方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的在线道路检测方法，主要包括：(1)对第一帧图像进行道路边缘区域正负样本采样，并在选取得到的正负样本中提取局部特征描述子，使用结构支持向量机作为分类器训练得到初始帧样本的分类平面；(2)对于后续测试帧图像，利用上一帧的道路区域位置确定测试帧的候选样本采样区域，并利用前一帧训练得到的结构支持向量机确定测试帧中样本的道路归属。同时采用随机抽样一致性方法用两条相交直线拟合道路边缘位置，最终确定道路区域。利用本发明，可以得到道路的准确位置，从而为汽车辅助驾驶，行人车辆检测等提供有效的先验信息。

Description

基于单目视觉的道路检测方法

技术领域

本发明属于计算机视觉和机器学习技术领域，特别涉及一种基于单目视觉的在线道路检测方法。

背景技术

近年来，随着公路里程数和汽车数量的不断增加，交通事故造成的人员伤亡和财产损失也在快速增加。2012年我国因交通事故死亡人数达5.9万人，直接财产损失11.7亿元。在此背景下，汽车辅助驾驶***，包括车道偏离预警、行人预警、异常检测等，能够有效提高汽车驾驶安全，降低人员伤亡和财产损失。该***的一项关键技术就是道路检测，因为道路检测可以为汽车辅助驾驶***提供关键的约束信息。

根据使用的传感器类型划分，道路检测技术可以分为主动式道路检测和被动式道路检测。其中主动式道路检测指的是使用主动传感器(如激光雷达)直接获取场景的第三维信息，然后通过检测平面区域进一步确定道路区域。这种主动式方法虽然可以得到较好的结果，但是场景中多个传感器使用时会存在相互干扰，除此之外，主动式传感器造价昂贵，不适宜大范围推广。而基于单目摄像头的被动式检测方法造价低，便于推广。因此我们选择被动式道路检测方法，即基于单目视觉的道路检测方法。

目前，通过单目视觉进行道路检测的方法主要分为两类：

第一种是基于特征描述的方法。这类方法手动选取或自动学习图像的有效特征表达，通过分类器或者贝叶斯方法确定道路区域或者道路边缘位置。J.Alvarez等人在文献“J.Alvarez and A.Lopez.Road Detection based on IlluminantInvariance.IEEE Transactions on Intelligent Transportation Systems,12(1):184-193,2011”中提出了光照不变特征用于道路检测。该方法通过摄像机参数得到光照不变特征，然后用似然分类器确定道路区域。此方法需要知道摄像机的内参，但是一般情况下这些参数需要通过标定获取。

第二种是基于道路模型的方法。这类方法根据先验知识，通过用直线、二次函数或其他函数拟合确定道路边界，从而确定道路区域。王永忠等人申请的专利技术“基于Haar纹理的非结构化道路检测方法”(申请号：2012103158588申请日：2012.08.30申请公布号：CN102915441A)中公开了一种基于Haar特征的道路检测方法。该方法首先通过设计哈尔小波(Haar)矩形模板，实现哈尔小波纹理特征的快速提取，并通过正交校正，在角度和距离的约束下，结合像素点纹理方向，采用投票机制确定道路消失点，最后利用道路的色彩信息和方向一致性信息实现道路检测。该方法存在的不足是默认假设道路边界可以通过同顶点的两条射线拟合，在道路明显弯曲的情况下检测精度偏低。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于单目视觉的道路检测方法，通过分类器检测道路边界，从而提高道路检测精度。

本发明的技术方案是：

一种基于单目视觉的道路检测方法，其特殊之处在于：包括以下步骤：

1)对于输入图像序列的第一帧，手动选取道路边缘位置，然后进行正负类样本选取，根据采样得到的正负类样本，提取局部特征描述子，计算每个样本的特征表达，组成训练数据集；

2)对于步骤1)中得到的样本特征表达的训练数据集，使用结构支持向量机作为分类器，训练求解得到分类器的超平面参数；

3)对于后续帧图像，选取前一帧道路边缘位置的一个邻域作为该帧道路边缘位置的候选区域，均匀采样选取测试像素点，根据步骤1)中的样本特征表达方法，用局部特征描述子描述测试像素点；根据步骤2)使用的分类器，计算所有测试像素点的分类结果，根据测试得到的正类样本位置，得到正类样本二值图；

4)使用超像素分割方法计算候选区域的边缘二值图，和正类样本二值图进行“或”操作，得到候选边缘像素点集合；采用随机抽样一致性方法，通过两条相交的直线拟合得到最终的道路边缘位置，拟合直线相交区域的内部即为该帧图像的道路检测结果；

5)根据直线拟合结果和分类器分类结果，确定错误划分的像素点，全部重新加入训练数据集，更新分类器；

6)对于最新输入的帧图像，重复步骤2)到步骤5)，完成所有图像的道路检测。

基于以上步骤，还可以包括步骤7)：

根据手动标记结果，计算道路区域检测的精确度。

优选的步骤1)中正类样本的选取是对边缘位置的像素点均匀采样；负类样本的选取是在距离道路边缘位置一定像素的区域内，随机选取样本点。

优选的步骤1)中采样时进行了正负类样本平衡处理。

正类样本的数目和负类样本的数目都是2000。

所述步骤1)中的局部特征描述子包括尺度不变特征转换、方向梯度直方图和局部二值模式。

本发明的优点是：

1)本发明采用了在线更新分类器的方法，可以适应道路场景发生变换的情形；

2)本发明采用了结构支持向量机作为分类器，考虑了正负类样本数据分布的结构特性，进一步增强了分类精度；

3)本发明选取了分类出错的样本点更新训练数据集，使得训练过程更具有针对性，提高了道路检测精度。

附图说明

图1为本发明基于单目视觉的道路检测方法流程图；

图2为本发明在四组测试数据集上的道路检测结果。

具体实施方式

下面结合图1对本发明做出进一步说明。

本发明提出一种基于单目视觉在线学习的道路检测方法。该方法通过使用在线结构性支持向量机(Structured Support Vector Machine，简称SSVM)获取输入数据的结构分布，同时在线更新分类器使其可以适应环境变化。结合图1，输入视频，I＝{I_t|t＝1,2……,n}，n为视频帧数。本发明的实现步骤如下：

步骤1，对于输入的单目图像，判断是否是第一帧，如果是第一帧，则执行步骤2，否则执行步骤3。

步骤2，初始输入数据I₁处理。

(2a)对于输入的第一帧数据I₁，归一化图像到300×500大小。正类样本使用手动标记方法确定道路边缘位置，用二值图R₁描述道路边缘位置；

(2b)均匀采样道路边缘位置的像素点为正类样本。

(2c)局部特征描述子提取。

对于样本中的每个像素点，选取了三种当前最有效的局部特征描述子，分别是尺度不变特征转换(Scale Invariant Feature Transform，简称SIFT)，方向梯度直方图(Histogram of Oriented Gradient，简称HOG)和局部二值模式(LocalBinary Patterns，简称LBP)，进行局部特征描述。对于尺度不变特征转换(SIFT)，选取以该像素为中心的4×4邻域，提取直方图8个方向的统计特征，特征维数是4×4×8＝128，得到的SIFT特征可以表示为{d_i|i＝1,2……,l}(其中l为样本个数)。对于方向梯度直方图(HOG)，特征维数是31，表示为{h_i|i＝1,2……,l}。对于局部二值模式特征(LBP)，特征维数是10，表示为{I_i|i＝1,2……,l}。最后，第i个样本点的特征表达为x_i＝[d_i；h_i；I_i],i＝1,2……,l。

(2d)根据步骤(2c)计算得到特征描述子，则正类样本可以表示为T_p＝{(x_i,+1)|i＝1……,l_p}，其中l_p为正类样本数目。对于负类样本，选取距离道路边界为d＝30个像素点的，宽度h＝10的区域为负类样本候选区域，均匀采样，根据步骤(2c)，得到负类样本描述T_n＝{(x_i,-1)|i＝1……,l_n}，其中l_n为负类样本数目。

关于负类样本的选取，主要是考虑到道路场景的复杂性，远离道路区域的位置都可以看做是背景信息，对确定道路边缘位置影响较小，所以该发明从距离道路边缘一定位置的区域选取负类样本，使得分类器更具有针对性。考虑到分类器的样本均衡问题，在该发明中正负类样本数目l_p＝l_n＝2000。

(2e)根据步骤(2d)得到的正负训练样本，则训练数据，T＝{T_p∪T_n}＝{(x_i,y_i)|y_i∈{+1,-1},i＝1,2……,l_n+l_p},然后训练SSVM分类器，即求解如下公式中的w：

s.t.w′Ψ(x_i,y_i)-w′Ψ(x_i,y)+ξ_i≥Δ(y_i,y),

其中：Δ(y_i,y)＝(1-y_iy)/2，平衡因子C＝1，Ψ(x_i,y_i)是经典SVM中的核函数，此处为高斯核函数。

步骤3，第i帧图像I_i道路检测

(3a)根据第i-1帧检测得到的道路边缘位置R_i-1，确定距离该边缘位置d＝50的区域为候选区域S_i。为了降低计算量，对该候选区域均匀采样，然后根据步骤(2c)计算局部特征，得到测试样本{x_i|i＝1,2……,m}，其中测试样本个数m＝1000。

(3b)根据训练好的分类器w，测试测试样本{x_i|i＝1,2……,m}，得到对应样本的标签，测试结果D＝{(x_i,y_i)|y_i∈{+1,-1},i＝1,2……,m}，根据测试得到的正类样本位置，得到正类样本二值图

(3c)使用简单线性迭代聚类(Simple Linear Iterative Clustering，简称SLIC)作为超像素分割方法对I_i进行超像素分割，保留候选区域S_i中的超像素块的边缘位置二值图融合更新候选道路边缘位置二值图使用随机抽样一致性(RANdom SAmple Consensus，简称RANSAC)方法，用两条相交直线拟合二值图R_i，得到最终的道路边缘位置R_i，其中拟合直线相交区域内部即为该帧图像的道路检测结果。

步骤4，训练数据集T更新及分类器更新

(4a)根据最终的道路边缘位置二值图R_i和正类样本二值图可以容易确定分类错误划分的样本点集合D_wrong＝{(x_i,y_i)|y_i∈{+1,-1},i＝1,2……,k}，其中k是错误划分样本个数。

(4b)更新原始训练样本集T_new＝{T∪T_wrong}，根据样本均衡约束和训练集样本数目的约束，分别对训练集中地正负类样本均匀采样，使得l_p＝l_n＝2000，得到更新后的训练样本集T＝{(x_i,y_i)|y_i∈{+1,-1},i＝1,2……,l_n+l_p}，更新分类器。

步骤5，计算检测精确度

对于其余所有输入图像，重复步骤(2)～步骤(4)，完成所有帧图像的道路检测。根据手动标记的道路边缘位置，计算检测结果与真实区域的重合率，得到道路检测的精确度。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-2130 3.40GHZ、内存16G、WINDOWS 7操作***上，运用MATLAB软件进行的仿真。

实验中使用的测试视频分别是结构性道路(白天)，结构性道路(黄昏)，非结构性高速公路和非结构性土质道路四种场景，为了验证该发明的有效性，手动标记了此四种视频的道路区域作为真实结果。

2.仿真内容

选取四种场景下的视频分别测试本发明的道路检测算法，计算每种视频的检测精度，求取平均值作为本发明算法的精确度，其中道路检测结果如图2.为了对比本发明的有效性，选取了K.Kong等人在文献“H.Kong,J.Audibert,and J.Ponce.Vanishing Point Detection for Road Detection.In Proceedings of IEEEConference on Computer Vision and Pattern Recognition,96-103,2009”中提到的基于消失点的道路检测方法。对比结果如表1所示。

表1 道路检测精确度

从表1可已看出，本发明的检测精确度对比消失点方法要高出19％。这是因为，本发明采用了在线更新策略更新分类器，可以适应汽车在行驶过程中场景发生变化的情形。同时，该发明使用了结构性分类器进一步挖掘样本内部的结构信息，提升了分类器的分类精度。除此之外，通过选取错误划分的样本加入训练集，使得分类器的训练更具有针对性，提高了道路检测精度。

Claims (6)

1.一种基于单目视觉的道路检测方法，其特征在于：包括以下步骤：

1)对于输入图像序列的第一帧，手动选取道路边缘位置，然后进行正负类样本选取，根据采样得到的正负类样本，提取局部特征描述子，计算每个样本的特征表达，组成训练数据集；

2)对于步骤1)中得到的样本特征表达的训练数据集，使用结构支持向量机作为分类器，训练求解得到分类器的超平面参数；

3)对于后续帧图像，选取前一帧道路边缘位置的一个邻域作为该帧道路边缘位置的候选区域，均匀采样选取测试像素点，根据步骤1)中的样本特征表达方法，用局部特征描述子描述测试像素点；根据步骤2)使用的分类器，计算所有测试像素点的分类结果，根据测试得到的正类样本位置，得到正类样本二值图；

4)使用超像素分割方法计算候选区域的边缘二值图，和正类样本二值图进行“或”操作，得到候选边缘像素点集合；采用随机抽样一致性方法，通过两条相交的直线拟合得到最终的道路边缘位置，拟合直线相交区域的内部即为该帧图像的道路检测结果；

5)根据直线拟合结果和分类器分类结果，确定错误划分的像素点，全部重新加入训练数据集，更新分类器；

6)对于最新输入的帧图像，重复步骤2)到步骤5)，完成所有图像的道路检测。

2.根据权利要求1所述的基于单目视觉的道路检测方法，其特征在于：

还包括步骤7)：

根据手动标记结果，计算道路区域检测的精确度。

3.根据权利要求1或2所述的基于单目视觉的道路检测方法，其特征在于：步骤1)中正类样本的选取是对边缘位置的像素点均匀采样；负类样本的选取是在距离道路边缘位置一定像素的区域内，随机选取样本点。

4.根据权利要求3所述的基于单目视觉的道路检测方法，其特征在于：步骤1)中采样时进行了正负类样本平衡处理。

5.根据权利要求4所述的基于单目视觉的道路检测方法，其特征在于：正类样本的数目和负类样本的数目都是2000。

6.根据权利要求1或2所述的基于单目视觉的道路检测方法，其特征在于：所述步骤1)中的局部特征描述子包括尺度不变特征转换、方向梯度直方图和局部二值模式。