CN107167811A

CN107167811A - 基于单目视觉与激光雷达融合的道路可行驶区域检测方法

Info

Publication number: CN107167811A
Application number: CN201710283453.3A
Authority: CN
Inventors: 郑南宁; 余思雨; 刘子熠
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2017-04-26
Filing date: 2017-04-26
Publication date: 2017-09-15
Anticipated expiration: 2037-04-26
Also published as: CN107167811B

Abstract

本发明公开了一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，属于智能交通领域。现有的无人车道路检测方法主要是基于单目视觉、立体视觉、激光传感器和多传感器融合等的方法，存在对光照不鲁棒、三维匹配复杂、激光稀疏和整体融合效率低等缺点。一些有监督的方法虽然取得较好的精度，但训练过程复杂，泛化效果差。本发明提出的基于单目视觉与激光雷达融合的道路可行驶区域检测方法，使用超像素与点云数据融合，利用特征使机器自学习出道路区域，通过贝叶斯框架融合各个特征得到的道路信息以确定最终区域。本方法不需要强假设信息和复杂训练过程，泛化性和鲁棒性优越，速度极快，精度极高，在实际应用中更加易于推广和使用。

Description

基于单目视觉与激光雷达融合的道路可行驶区域检测方法

技术领域

本发明属于智能交通领域中的方法研究，涉及一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法。

背景技术

近年以来，道路检测一直是无人驾驶领域研究的重要内容。目前广泛采用的道路检测方法有：单目视觉方法、立体视觉方法、激光雷达方法和基于融合的方法。其中，单目视觉方法只考虑了场景的视觉信息，极易受光照条件，天气状况影响；立体视觉的方法在三维重建上时间耗费巨大，不适用于实际运用；激光雷达的方法存在点云数据稀疏的缺点。基于像素信息和深度信息融合的道路检测方法既充分利用了来自照相机提供的关于场景的纹理、颜色等信息，又结合激光雷达的深度信息弥补视觉信息对环境不鲁棒的缺点，在算法效率上克服了非融合方法效率低，难以进行实时运算，难以实际运用的问题，故基于融合的道路检测方法迅速发展起来为无人车道路检测的首选。基于融合的道路检测方法是在单目视觉,激光雷达方法，传感器融合等基础上发展起来的一种最佳的道路检测。从而在工程实际中,尤其在无人车驾驶中得到了广泛的应用。

无人车道路检测还分为有监督方法与无监督方法。由于路面信息的多样性、场景信息的复杂性和光照天气条件的多变性，无人车对于道路检测方法的鲁棒性和泛化性能要求很高。故无监督的无人车道路检测方法也是无人驾驶领域研究的重要内容。一方面，无监督的道路检测方法不需要大量的标记数据和费时的训练过程，能够根据提取的特征自主地学习出道路信息，是一种高泛化能力的方法。另一方面，现实世界的交通场景复杂多变，在不可能为无人驾驶提供所有场景的训练样本的情况下，有监督的方法在遇到与训练样本的场景相差较大的驾驶场景时危险性极大，而无监督的道路检测方法对几乎所有场景鲁棒，适用于无人驾驶的实际应用。

发明内容

本发明的目的在于提供一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法。

为达到上述目的，本发明采用了以下技术方案。

首先，该融合的方法使用超像素与激光点云数据的融合，将点云数据按照激光参数标定投影到超像素分割后的图片上，超像素方法充分利用了场景的纹理特征，极大地缩小定位道路区域的范围，大大提升了算法效率；其次，运用三角剖分寻找点的空间关系，根据得出的空间关系三角形建立无向图和并计算每一点的法向量，根据无向图分类障碍点；然后，本方法采用基于最小滤波的方法定义新的特征(ray)，并找到道路区域的初始备选区域，进一步缩小道路区域的检测范围，极大提升算法效率；通过定义新的特征(level)从深度信息方面数值化各点的可行驶程度，有效地利用了深度信息。另外，融合方法还利用一种无监督的融合方法，即基于自学习的贝叶斯框架，融合各个特征(颜色特征，level特征，法向量特征，强度特征)学习到的备选道路区域的概率信息，这种算法效率高，鲁棒性能强。

所述超像素与激光点云数据融合具体步骤如下：

利用已有的结合边缘分割的改进的线性迭代聚类的方法对相机采集的图片进行超像素分割，将图片分割为N个超像素，每个超像素p_c＝(x_c,y_c,z_c,1)^T包含若干个像素点，其中x_c,y_c,z_c表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的RGB均统一为该超像素内所有像素点的平均RGB。再利用已有的标定技术将激光雷达获得的每一点 p_l＝(x_l,y_l,z_l,1^T)投影到超像素分割后的图片上，最终得到点集其中 P_i＝(x_i,y_i,z_i,u_i,v_i)，x_i,y_i,z_i表示该点的激光坐标系下的位置信息的，(u_i,v_i)表示该点对应的相机坐标系下的位置信息。最后通过共点约束，只保留被投影在超像素边缘附近的激光点。

基于最小滤波的方法定义新的特征(ray)找到道路区域的初始备选区域；具体步骤如下：

首先，定义该道路区域的初始备选区域为其中， S_i代表是超像素S_i所包含的所有像素点的集合，定义I_DRM为”direction ray map”，并点集将P_i＝(x_i,y_i,z_i,u_i,v_i)的(u_i,v_i)坐标转化到以图片最后一行的中心点 (P_base)为原点的极坐标下，则有是点集(u_i,v_i)的真子集，其中表示第i个点属于第h角度，表示的是中的障碍点的集合，计算方法见后文及流程图。

其次，为解决激光射线泄露的问题，采用最小滤波的方法处理得到的I_DRM得到期望的I_DRM，最终得到

定义新的特征(level)；具体步骤如下：

定义每一点的level特征为算法见流程图，并与超像素结合得到超像素S_i的level特征L(S_i)：

所述采用自学习的贝叶斯框架来融合的具体步骤如下：

首先，结合初始备选区域为分别利用者4种特征无监督学习地备选区域的概率。

对于初始备选区域为中的超像素点S_i，S_i包含的每一个像素点 P_i＝(x_i,y_i,z_i,u_i,v_i)的RGB值已经统一了，利用高斯参数μ_c和自学习颜色特征，公式如下：

θ＝45°

利用高斯参数μ_l和自学习超像素S_i的level特征L(S_i)的公式为：

利用高斯参数μ_n和自学习超像素S_i的法向量特征N(S_i)的公式为：

定义Sg(S_i)为穿过超像素S_i的ray的数量，自学习超像素S_i的强度特征 Sg(S_i)的公式为：

最后，建立贝叶斯框架融合4种特征，公式如下：

其中，p(S_i＝R|Obs)表示超像素S_i属于道路区域的概率，Obs表示基于这4种特征的观测。

本发明的有益效果体现在：

其一，由于传统的融合方法采用全局融合，这大大限制了这些算法的实用性和计算效率。本发明提出使用超像素与激光点云数据的融合。该方法极大缩小了道路区域的备选范围，极大提升了算法效率。其二，因此，本发明提出的新的特征(ray)找到道路区域的初始备选区域，进一步缩小道路区域的检测范围，极大提升算法效率。其三，本发明提出的level特征从深度信息方面数值化各点的可行驶程度，克服了深度信息的稀疏问题，有效地利用了深度信息，对算法精度贡献极大。其四，本发明提出的利用强度特征量化超像素与深度信息的融合关系，充分考虑了视觉信息近大远小的问题，对算法精度贡献极大。故算法具有较为重要的研究意义和广泛的工程应用价值。其五，自学习的贝叶斯框架，融合各个特征学习到的备选道路区域的概率信息，这种算法效率高，鲁棒性能强

附图说明

图1是基于单目视觉与激光雷达融合的道路可行驶区域检测方法原理框图；

图2是得到ray特征的算法流程图；

图3是由未利用最小滤波处理ray泄露(下)与使用后(上)的初始备选区域效果图；

图4是得到level特征的算法流程图；

图5是由颜色特征自学习得到的备选道路区域概率分布效果图；

图6是由level特征自学习得到的备选道路区域概率分布效果图；

图7是由法向量特征自学习得到的备选道路区域概率分布效果图；

图8是由强度特征自学习得到的备选道路区域概率分布效果图；

图9是自学习的贝叶斯框架的融合得到的最终区域的概率分布图；

具体实施方式

参照图1所示，利用已有的结合边缘分割的改进的线性迭代聚类的方法对相机采集的图片进行超像素分割，将图片分割为N个超像素，每个超像素p_c＝(x_c,y_c,z_c,1)^T包含若干个像素点，其中x_c,y_c,z_c表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的RGB均统一为该超像素内所有像素点的平均RGB。再利用已有的标定技术和旋转矩阵和转化矩阵按照公式(1)得到转化矩阵

利用旋转矩阵和建立2个坐标系的转化关系，如公式(2)：

将激光雷达获得的每一点p_l＝(x_l,y_l,z_l,1)^T投影到超像素分割后的图片上，如公式(3)：

得到点集其中P_i＝(x_i,y_i,z_i,u_i,v_i)，x_i,y_i,z_i表示该点的激光坐标系下的位置信息的，(u_i,v_i)表示该点对应的相机坐标系下的位置信息。最后，只保留超像素边缘附近的激光点。

利用数据融合分类障碍点，得到映射关系ob(P_i)，ob(P_i)＝1表示P_i为障碍点，反之为0。对于P_i的坐标系(u_i,v_i)运用三角剖分(Delaunay triangulation)，得到众多空间三角形和生成无向图E表示图中与节点P_i存在关联关系的边缘的集合。剔除坐标系(u_i,v_i)下欧式距离不满足公式(4)的边缘 (P_i,P_j)：

||P_i-P_j||＜ε…………………………………………………………………(4)

定义为与P_i连接的点的集合为Nb(P_i)，则与有关的空间三角形的表面即为 {(u_j,v_j)|j＝iorP_j∈Nb(P_i)}。计算各个空间三角形的法向量，显然，当P_i周围的空间三角形越平坦接近地面，P_i成为非障碍点的可能性越大，我们取P_i周围的空间三角形的法向量的平均值作为P_i的法向量公式(5) 表示ob(P_i)的判断方法：

基于最小滤波的方法定义ray特征并找到道路区域的初始备选区域首先，根据如图2所示的算法流程图得到”direction ray map”--I_DRM，其中，表示根据上一步障碍点分类方法计算的中的障碍点的集合，表示P_i属于第h角度。算法将P_i＝(x_i,y_i,z_i,u_i,v_i) 的(u_i,v_i)坐标转化到以图片最后一行的中心点(P_base)为原点的极坐标下，则有是点集(u_i,v_i)的真子集。其次，如图3所示，由于激光数据的稀疏性，需要处理ray泄露的问题，本方法创新地采用最小滤波的方法处理得到的I_DRM得到期望的I_DRM。结合超像素分割，定义该道路区域的初始备选区域为其中，S_i代表是超像素S_i所包含的所有像素点的集合，最终融合超像素得到

定义level特征，图4给出计算属于第h角度的每一点的level特征公式(6)表示，与超像素结合得到超像素S_i的level特征L(S_i)：

如图5，利用颜色特征得到的备选道路区域的可行驶度概率信息。对于初始备选区域中的超像素点S_i，S_i包含的每一个像素点P_i＝(x_i,y_i,z_i,u_i,v_i)的 RGB值已经统一了，由于RGB颜色对光照条件和天气状况不鲁棒，故利用颜色空间转换方法，将处于RBG空间的原始图像I转化为 illuminant-invariant颜色空间下的图像I_log，如公式(7)：

其中I_log(u,v)是在I_log坐标系(u,v)下的像素值，I_R,I_G,I_B表示I的RGB值，θ表示正交于光照变化线的不变角度。公式(8)利用高斯参数μ_c和自学习颜色特征以得到备选道路区域的可行驶度概率信息：

如图6，利用level特征得到的备选道路区域的可行驶度概率信息。公式 (9)利用高斯参数μ_l和自学习超像素S_i的level特征L(S_i)：

如图7，利用法向量特征得到的备选道路区域的可行驶度概率信息。计算中的超像素S_i的法向量特征N(S_i)，即S_i中的法向量最低的点的高度坐标值如公式(10)：

公式(11)利用高斯参数μ_n和自学习超像素S_i的法向量特征N(S_i)：

如图8，利用强度特征得到的备选道路区域的可行驶度概率信息。Sg(S_i) 为穿过超像素S_i的ray的数量，自学习超像素S_i的强度特征Sg(S_i)如公式(12)：

最后，如图9，建立贝叶斯框架融合4种特征得到自学习的贝叶斯框架的融合得到的最终区域的概率分布图，如公式(13)：

其中，p(S_i＝R|Obs)表示超像素S_i属于道路区域的概率，Obs表示基于这4种特征的观测，从图9可以看出本方法很好地完成了道路检测任务。

为了证明本方法的优势，我们在ROAD-KITTI benchmark上利用3中不同环境的数据集，标记的城市环境(Urban Marked，UM)，多标记的城市环境(Urban Multiple Marked，UMM)和未标记的城市环境(Urban Unmarked， UU)测试本方法，从最大F-measure(Max F-measure，MaxF)，平均精度 (Average Precision，AP)，精度(Precision，PRE)，召回率(Recall，REC)，假阳性率(False Positive Rate，FPR)，和假阴性率(False NegativeRate，FNR) 这六个指标进行分析。分析的同时，进行对比实验，与目前已公布的在 ROAD-KITTI benchmark数据集上利用激光取得了最好效果的方法 MixedCRF和融合方法RES3D-Velo对比，对比结果见表1--4。

表1是本方法(Ours Test)，MixedCRF，RES3D-Velo在UM数据集上的对比实验结果：

表1在UM数据集上的对比实验结果

表2是本方法(Ours Test)，MixedCRF，RES3D-Velo在UMM数据集上的对比实验结果：

表2在UMM数据集上的对比实验结果

表3是本方法(Ours Test)，MixedCRF，RES3D-Velo在UU数据集上的对比实验结果：

表3在UU数据集上的对比实验结果.

表4是本方法(Ours Test)，MixedCRF，RES3D-Velo在URBAN(即UM， UMM，UU整体考虑)数据集上的实验结果的平均值的对比结果：

表4在URBAN数据集的对比实验结果.

MixedCRF是需要训练的方法，本方法在不需要任何训练的条件下得到了相似的精度，并且在AP这一项指标上取得了最高的精度，说明了本方法的优越性。

为了表明本方法所采用的自学***均精度(Average Precision，AP)，精度(Precision， PRE)，召回率(Recall，REC)，假阳性率(False Positive Rate，FPR)，和假阴性率(False Negative Rate，FNR)这六个指标，分析单一采用ray特征得到的初始备选区域(Initial)，颜色特征(Color)，强度特征(Strength)，level 特征和法向量特征(Normal)的精度，与贝叶斯框架融合(Fusion)精度对比，对比结果见表5--8。

表5是单一采用ray特征得到的初始备选区域(Initial)、颜色特征(Color)，强度特征(Strength)、level特征和法向量特征(Normal)，与贝叶斯框架融合(Fusion)在UM数据集上的对比结果：

表5Comparison on UM Training Set(BEV).

表6是单一采用ray特征得到的初始备选区域(Initial)、颜色特征(Color)，强度特征(Strength)、level特征和法向量特征(Normal)，与贝叶斯框架融合(Fusion)在UMM数据集上的对比结果：

表6Comparison on UMM Training Set(Bev).

表7是单一采用ray特征得到的初始备选区域(Initial)、颜色特征(Color)，强度特征(Strength)、level特征和法向量特征(Normal)，与贝叶斯框架融合(Fusion)在UU数据集上的对比结果：

表7Comparison on UU Training Set(Bev).

表8是单一采用ray特征得到的初始备选区域(Initial)、颜色特征(Color)，强度特征(Strength)、level特征和法向量特征(Normal)，与贝叶斯框架融合(Fusion)在UM，UMM，UU数据集上的实验结果的平均值的对比结果：

表8Comparison on URBAN Training Set(BEV).

由表4和表8可知，基于单目视觉与激光雷达融合的道路可行驶区域检测方法取得了当前的最高精度AP，AP也是衡量检测方法的最重要指标，在其他指标上也取得了良好优势，故本方法适用于实际应用。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims

1.一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，其特征在于：

首先，该融合的方法使用超像素与激光点云数据的融合，将点云数据按照激光参数标定投影到超像素分割后的图片上；

其次，运用三角剖分寻找点的空间关系，根据得出的空间关系三角形建立无向图和并计算每一点的法向量，根据无向图分类障碍点；

然后，采用基于最小滤波的方法找到道路区域的初始备选区域，进一步缩小道路区域的检测范围；通过定义新的特征(level)从深度信息方面数值化各点的可行驶程度，另外，融合方法还利用一种无监督的融合方法，即基于自学习的贝叶斯框架，融合各个特征，即颜色特征，level特征，法向量特征，强度特征学习到的备选道路区域的概率信息。

2.根据权利要求1所述基于单目视觉与激光雷达融合的道路可行驶区域检测方法，所述超像素与激光点云数据融合具体步骤如下：

利用线性迭代聚类对相机采集的图片进行超像素分割，将图片分割为N个超像素，每个超像素p_c＝(x_c,y_c,z_c,1)^T包含若干个像素点，其中x_c,y_c,z_c表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的RGB均统一为该超像素内所有像素点的平均RGB，再利用标定技术将激光雷达获得的每一点p_l＝(x_l,y_l,z_l,1)^T投影到超像素分割后的图片上，激光与点云融合中，提出了共点约束，共点约束指，在超像素与激光点云数据融合的过程中只保留在超像素边缘附近的激光点，最终得到点集其中P_i＝(x_i,y_i,z_i,u_i,v_i)，x_i,y_i,z_i表示该点的激光坐标系下的位置信息的，(u_i,v_i)表示该点对应的相机坐标系下的位置信息。

3.根据权利要求1所述基于单目视觉与激光雷达融合的道路可行驶区域检测方法，其特征在于：基于最小滤波的方法定义，找到道路区域的初始备选区域；具体步骤如下：

首先，定义该道路区域的初始备选区域为其中，S_i代表是超像素S_i所包含的所有像素点的集合，定义I_DRM为“方向射线图(direction ray map)”，并将点集P_i＝(x_i,y_i,z_i,u_i,v_i)的(u_i,v_i)坐标转化到以图片最底部一行的中心点(P_base)为原点的极坐标下，则有是点集(u_i,v_i)的真子集，其中表示第i个点属于第h角度，表示的是中的障碍点的集合，计算过程如下：

1)初始化I_DRM为大小与原始输入图片相同的全0矩阵；

2)对于第h角度的所有点的集合找到其中的障碍点集合

3)如果构造容器否则，

4)将归入I_DRM；

5)如果h＝H，结束；否则，返回2；

其次，为“射线泄露”的问题，采用最小滤波的方法进行后续处理，得到期望的I_DRM，最终得到

4.根据权利要求1所述基于单目视觉与激光雷达融合的道路可行驶区域检测方法，其特征在于：定义新的特征(level)；level特征表示对应点的可行驶程度，计算过程如下：

1)初始化第h角度的所有点的集合中每一点的level特征

2)对于中的第i个点，如果

3)如果i≤N^(h)，返回2；

4)如果h＝H，结束；否则，返回1；

并与超像素结合得到超像素S_i的level特征L(S_i)：

。

5.根据权利要求1所述基于单目视觉与激光雷达融合的道路可行驶区域检测方法，其特征在于：采用自学习贝叶斯框架来融合；具体步骤如下：

采用四中特征进行自学习--颜色特征，level特征，法向量特征，强度特征，首先，结合初始备选区域为分别利用者四种特征无监督学习地备选区域的概率；

对于初始备选区域为中的超像素点S_i，S_i包含的每一个像素点P_i＝(x_i,y_i,z_i,u_i,v_i)的RGB值已经统一了，利用高斯参数μ_c和自学习颜色特征，公式如下：

定义Sg(S_i)为穿过超像素S_i的ray的数量，自学习超像素S_i的强度特征Sg(S_i)的公式为：

最后，建立贝叶斯框架融合4种特征，公式如下：

其中，p(S_i＝R|Obs)表示超像素S_i属于道路区域的概率，Obs表示基于这四种特征的观测。