CN106446785A

CN106446785A - 基于双目视觉的可行道路检测方法

Info

Publication number: CN106446785A
Application number: CN201610766183.7A
Authority: CN
Inventors: 李宏亮; 王久圣; 廖伟军; 孙文龙; 习自
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2016-08-30
Filing date: 2016-08-30
Publication date: 2017-02-22

Abstract

本发明提供一种基于双目视觉的可行道路检测方法，先利用双目视觉的左右两幅图像，通过视差信息粗略估计出道路区域；然后对整幅图像提取颜色、梯度和纹理等特征信息，利用分类器进一步检测道路区域；融合前两步的道路检测结果，建立道路区域和非道路区域的二维颜色直方图，计算各像素点的道路概率，利用概率再次更新可行道路的检测结果。基于双目视觉的可行道路检测方法可以快速有效地检测出图像中的可行道路区域，该方法不基于任何预先假设，所以可以适应各种场景。此外该方法没有利用图像分割方法，大大减少了计算量，满足了实时处理的要求，同时还精确地检测出可行道路区域。

Description

基于双目视觉的可行道路检测方法

技术领域

本发明涉及道路检测技术。

背景技术

随着计算机处理能力和图像处理技术的快速发展，基于双目视觉的检测与导航技术已经成为近年来机器视觉研究领域的一大热点。研究表明，人类感知到的外部信息中有80％以上是靠视觉获得的，其余的20％来自听觉、嗅觉、触觉等感觉器官。基于视觉的检测与导航技术，正是从生物学角度模仿高等动物的视觉***，相比于激光、雷达和超声等技术视觉***，其包含更丰富的信息。

而双目视觉相对于传统的单目视觉而言具有更大优势。双目视觉***主要由两台摄像机组成，二者同时对空间中同一目标进行拍摄，由于二者的视场不同，导致场景中的同一像素点在不同的采集图片上存在视差，通过提取视差就可以得到物体的景深信息，而景深信息在目标检测与识别中可以发挥不可替代的作用；此外，双目视觉***还可以扩大观察范围，达到视觉信息互补的目的。正是由于双目视觉***具有如此优势，近年来该***被广泛应用于工业检测、物体识别、工件定位、机器人引导、医学影像、物***置姿态的三维检测以及车道偏离预警***等诸多领域。

近几年来，随着车辆拥有量的增加和道路交通状况的日益复杂，交通安全问题越来越受到国家与人民的重视，由此激发的智能无人驾驶、无人机、智能移动机器人等领域的技术研究愈演愈热，而在这些技术研究中道路检测技术是关键点之一。道路检测技术对各种道路场景进行感知和理解，将检测结果输出给导航***或路径规划***，以便指导移动设备下一步应该采取何种动作。因此，道路检测结果的好坏将直接影响移动设备自主导航的准确性。

目前对于道路检测技术的研究主要有道路线检测和道路区域检测，道路线检测一般应用于公路场景下的辅助驾驶***中，针对性比较强，不能广泛应用；道路区域检测应用范围广，其技术主要分为两大类：基于道路模型的匹配法和基于道路特征的图像特征法。匹配法根据道路的先验知识建立道路模型，利用模型参数进行道路匹配，该方法可以有效克服路面污染、阴影和光照不均匀等环境因素，但当道路不符合预先假设时，模型就会失效。特征法主要是利用道路与非道路区域在图像特征上的差异进行道路检测，这些特征包括形状、灰度、纹理和对比度等，比较好的方法有基于超像素分割的道路检测，但该方法计算量比较大，在一些嵌入式平台上很难达到实时检测的要求。

现有的道路检测方法大多都具有很强的针对性，只有在特定的假设条件下才能取得较好的结果，当道路不符合预先假设时，方法就会失效。而一些适用范围广的方法，计算量都比较大，算法复杂度也比较高，在一些平台上很难达到实时检测的要求。

发明内容

本发明所要解决的技术问题是，提供一种利用双目视觉的视差信息和传统的道路特征，快速有效的进行可行道路检测的方法。

本发明为解决上述技术问题所采用的技术方案是，基于双目视觉的可行道路检测方法，包括以下步骤：

训练阶段：

步骤一：在训练样本沿着可行道路区域的边界标注；

步骤二：对每个训练样本进行分块，根据边界标注计算各块内的百分比；包含道路区域的比例高于预设第一百分比认为该方块属于道路块，为正样本，包含道路区域的比例高于预设第二百分比认为该方块属于非道路块，为负样本；第一百分比与第二百分比的设置满足：第一百分比大于第二百分比，且第一百分比+第二百分比小于或等于100％；

步骤三：对正负样本进行特征提取；

步骤四：将正负样本特征输入SVM分类器进行训练；

检测阶段：

步骤一：通过双目摄像头得到左右两幅校正好的检测图像，利用最小代价的匹配算法计算出H-W视差图D(h，w)，

D(h，w)＝ar gmin_dC_m(h，w，d)

C_m(h，w，d)＝L(h，w)-R(h，w+d)，(h＝1，2，…，H w＝1，2，…，W)

其中，argmin_d表示目标函数取最小值时的差异值d，d＝0，1，…，15代表左图像相对右图像的匹配搜索范围，C_m(h，w，d)为搜索范围内取左图像与右图像之差，(h，w)表示一个像素点，，L(h，w)为左图像第(h，w)点的像素值，R(h，w+d)为右图像第(h，w+d)点的像素值，H和W分别为左图像的高度和宽度；

将H-W视差图D(h，w)转换坐标系生成H-d图N(h，d)：

N(h，d)＝n_d(h)

其中，n_d(h)是H-W视差图D(h，w)中第h行中像素值等于差异值d的像素个数，对H-d图N(h，d)二值化后进行斜线段检测，得到检测图像中基于双目视觉的可行道路区域；

步骤二：对检测图像的左图像提取特征，将特征输入到SVM分类器中，得到检测图像中基于特征的可行道路区域；

步骤三：取基于双目视觉的可行道路区域与基于特征的可行道路区域的交集作为检测图像的道路区域，其余区域作为非道路区域；

步骤四：对道路区域与非道路区域分别计算Y分量和U分量的2维直方图，再计算出每一对Y分量和U分量属于道路的概率作为道路点概率；当像素点的一对Y和U属于道路的概率大于预设概率，则认为是道路像素点，否则为非道路像素点，从而得到最终的可行道路区域。

本发明先利用双目视觉的左右两幅图像，通过视差信息粗略估计出道路区域；然后对整幅图像提取颜色、梯度和纹理等特征信息，利用分类器进一步检测道路区域；融合前两步的道路检测结果，建立道路区域和非道路区域的二维颜色直方图，计算各像素点的道路概率，利用概率再次更新可行道路的检测结果。基于双目视觉的可行道路检测方法可以快速有效地检测出图像中的可行道路区域，该方法不基于任何预先假设，所以可以适应各种场景。此外该方法没有利用图像分割方法，大大减少了计算量，满足了实时处理的要求，同时还精确地检测出可行道路区域。

本发明的有益效果是，结合双目视觉的视差信息和传统的道路特征，融合两次粗略的道路检测结果，初步保证具有正确的道路区域，然后利用颜色直方图重新对道路区域进行更新，以此提高道路检测的精度。该方法计算量少，速度快，精度高，能够满足嵌入式***对道路检测的实时性要求。

附图说明

图1为本发明的可行道路检测流程图。

具体实施方式

本发明基于双目视觉***，先提取样本特征训练分类器，在测试阶段，先通过双目摄像头采集到左右两幅校正好的图像，再利用最小代价的匹配算法计算出视差图，将该视差图转换坐标系生成H-d图，对该图二值化后检测斜线段，该斜线段对应着的d点就是属于道路的像素点，通过以上方法可以粗略检测图像中的可行道路区域。然后，将左图像提取特征，并将特征输入到训练好的SVM分类器中，判断该小块是否属于道路区域，这样可以再次粗略地检测出图像中的可行道路区域。接着，取两次检测的道路区域的交集作为道路区域，剩下的区域作为非道路区域。对两个区域分别计算Y和U的2维直方图，再计算出每一对Y和U属于道路的概率，利用此概率重新判断图像的每一个像素点是否属于道路，最终得到更加精准的可行道路区域。

本发明分为可行道路检测训练和测试两个阶段。具体步骤如下，

训练阶段：

步骤一：收集数据并标注。在网络上收集大量的包含各种道路的图片，随机选取一半的样本作为训练数据，剩余的作为测试数据。然后对每一张包含道路的图片，沿着可行道路区域的边界标注GroundTruth。

步骤二：生成正负样本库。对于任意一张训练图片，将其均匀的分割成128x128的方块，各方块之间没有重叠区域，多余的像素不做处理。根据图片的GroundTruth标注信息，计算各个方块内包含道路区域的百分比。若该比例高于80％则认为该方块属于道路块，裁剪出来放入正样本库；若该比例低于10％则认为该方块属于非道路块，裁剪出来放入负样本库。

步骤三：提取特征。读入正负样本库中的每一样本，将其降采样到32x32尺寸，通过RGB颜色通道计算YUV颜色通道，然后对Y通道计算梯度幅值GM和局部二值模式LBP值。

对于R通道图像，求取4x4块里面所有元素的和作为一维特征

其中R_ij为R通道图像里第i个4x4块里面的第j个像素点，f_Ri为第i维特征。

这样R通道图像可以生成64维R特征

F_R＝[f_R1，f_R2，…，f_R64] (2)

对于G、B、Y、U和V通道图像以及梯度幅值GM图像，同样进行R通道的操作，这样可以生成特征维度均为64维的G特征、B特征、Y特征、U特征、V特征和GM特征。对于局部二值模式LBP，统计其直方图，

其中LBP(i，j)为LBP图里第i行第j列对应的值，f_LBPk为LBP图里值为k的个数，k＝1，2，…，58代表LBP值的取值范围。

这样LBP图就可以生成58维的LBP特征

F_LBP＝[f_LBP1，f_LBP2，…，f_LBP58] (4)

将以上特征串起来，最终一幅图像可取出506维特征

F＝[F_R，F_G，F_B，F_Y，F_U，F_V，F_GM，F_LBP] (5)

对于本领域而言，对车道的判断通常是提取梯度和梯度方向等特征信息。本实施例提供一种联合特征的提取方法，但本发明的特征提取不限于此特定方法。

步骤四：训练SVM分类器。读入步骤四提取的正负样本特征，设置SVM分类器参数，然后进行训练。

测试阶段：

步骤一：利用双目图像初步检测可行道路区域。通过双目摄像头得到左右两幅校正好的图像，利用最小代价的匹配算法计算出H-W视差图D(h，w)：

D(h，w)＝argmin_dC_m(h，w，d) (6)

C_m(h，w，d)＝L(h，w)-R(h，w+d)，(h＝1，2，…，H w＝1，2，…，W) (7)

其中C_m(h，w，d)为代价，argmin_d表示是目标函数取最小值时的差异值d，d＝0，1，…，15也代表左图像相对右图像的匹配搜索范围，C_m(h，w，d)为搜索范围内取左图像与右图像之差，这里也为代价值，(h，w)表示一个像素点，L(h，w)为左图像第(h，w)点的像素值，R(h，w+d)为右图像第(h，w+d)点的像素值，H和W分别为左图像的高度和宽度。

将H-W视差图转换坐标系生成H-d图N(h，d)：

N(h，d)＝n_d(h) (8)

其中n_d(h)是D(h，w)图的第h行中像素值等于d的像素个数。

对该图二值化后检测斜线段，该斜线段对应着的d点就是属于道路的像素点，通过以上方法可以粗略检测图像中的可行道路区域。

步骤二：利用SVM分类器检测可行道路区域。取左图像均匀分割成32x32的小块，各小块之间没有重叠区域，多余的像素不做处理。对每一个32x32的小块提取训练阶段所述的506维特征，并将特征输入到之前训练好的SVM分类器中，判断该小块是否属于道路区域，这样可以再次粗略地检测出图像中的可行道路区域。

步骤三：计算二维颜色直方图更新检测结果。取两次检测的道路区域的交集作为道路区域，剩下的区域作为非道路区域。对两个区域分别计算Y和U的2维直方图，再计算出每一对Y和U属于道路的概率

其中N_road(Y，U)代表道路区域中一对Y和U出现的个数，N_unroad(Y，U)代表非道路区域中一对Y和U出现的个数。

利用此概率重新判断图像的每一个像素点是否属于道路，当该像素点一对Y和U属于道路的概率大于预设概率0.5，则认为是道路像素点，否则为非道路像素点。这样最终得到更加精准的可行道路区域。

Claims

1.基于双目视觉的可行道路检测方法，其特征在于，包括以下步骤：

1)训练阶段：

步骤1-1)：对每个训练样本进行分块，对每分块标注类别，属于道路的块为正样本，属于非道路的块为负样本；

步骤1-2)：对正负样本进行特征提取；

步骤1-3)：将正负样本特征输入SVM分类器进行训练；

2)检测阶段：

步骤2-1)：通过双目摄像头得到左右两幅校正好的检测图像，利用最小代价的匹配算法计算出H-W视差图D(h，w)，

D(h，w)＝argmin_dC_m(h，w，d)

将H-W视差图D(h，w)转换坐标系生成H-d图N(h，d)：N(h，d)＝n_d(h)

步骤2-2)：对检测图像的左图像提取特征，将特征输入到SVM分类器中，得到检测图像中基于特征的可行道路区域；

步骤2-3)：取基于双目视觉的可行道路区域与基于特征的可行道路区域的交集作为检测图像的道路区域，其余区域作为非道路区域；

步骤2-4)：对道路区域与非道路区域分别计算Y分量和U分量的2维直方图，再计算出每一对Y分量和U分量属于道路的概率作为道路点概率；当像素点的一对Y和U属于道路的概率大于预设概率，则认为是道路像素点，否则为非道路像素点，从而得到最终的可行道路区域。

2.如权利要求1所述基于双目视觉的可行道路检测方法，其特征在于，步骤1-1)具体为：在训练样本沿着可行道路区域的边界标注；对每个训练样本进行分块，根据边界标注计算各块内的百分比；包含道路区域的比例高于预设第一百分比认为该方块属于道路块，为正样本，包含道路区域的比例高于预设第二百分比认为该方块属于非道路块，为负样本；第一百分比与第二百分比的设置满足：第一百分比大于第二百分比，且第一百分比+第二百分比小于或等于100％。

3.如权利要求1所述基于双目视觉的可行道路检测方法，其特征在于，第一百分比为80％，第二百分比为10％。

4.如权利要求1所述基于双目视觉的可行道路检测方法，其特征在于，特征提取的具体方法为：

对图像的RGB颜色通道和YUV颜色通道提取R通道特征FR、G通道特征FG、B通道特征FB、Y通道特征FY、U通道特征FU和V通道特征FV，对Y通道计算梯度幅值GM和局部二值模式LBP值，提取梯度幅值GM特征F_GM和LBP特征F_LBP，组合提取联合特征F＝[F_R，F_G，F_B，F_Y，F_U，F_V，F_GM，F_LBP]。