CN106529415A - 结合特征和模型的道路检测方法 - Google Patents

Abstract

本发明公开了一种结合特征和模型的道路检测方法，包括以下步骤：S1：通过摄像头实时采集车道图像信息；S2：采用基于多层神经网络的道路分割方法进行道路分割，找出其中道路区域；S3：根据道路区域和非道路区域的分割结果找出道路边界；S4：对道路的边界点进行提取，使用条件概率密度传播算法估计消失点位置，对道路消失点位置进行跟踪；S5：使用将消失点位置融合到二次曲线道路道路边界拟合过程中的启发式拟合算法拟合道路模型。本发明的道路检测方法在复杂环境下依然保持较好的鲁棒性，并具有较强的实时性，具有一定的理论价值和实际应用价值。

Description

结合特征和模型的道路检测方法

技术领域

本发明具体涉及一种结合特征和模型的道路检测方法。

背景技术

视听觉信息的认知计算是信息科学、生命科学和梳理科学的交叉学科，其发展水平反映了国家信息服务及相关产业的综合实力，无人驾驶技术是视听觉信息处理基础理论研究、视听觉认知相关的脑—机接口等关键技术的集成，也是国家视听觉信息处理领域的整体研究实力的体现。其中基于计算机视觉的道路检测技术，是无人驾驶汽车智能导航***的核心技术之一。

现实中的道路可以分为结构化和非结构化道路，目前非结构化道路路面环境较为复杂、路面特征易受天气、光照变化的干扰等客观原因，精确、实时的非结构道路检测仍然是一个富有挑战性的问题，在已有的非结构化道路检测算法研究中，基于特征的道路检测算法鲁棒性较强，但存在算法复杂度过高、环境适应能力不足的问题；基于模型的道路检测算法实时性较好，但仍然存在对阴影、光照变化的鲁棒性较差的问题。

发明内容

本发明要解决的技术问题是提供一种结合特征和模型的道路检测方法。

结合特征和模型的道路检测方法，包括以下步骤：

S1：通过摄像头实时采集车道图像信息；

S2：采用基于多层神经网络的道路分割方法进行道路分割，找出其中道路区域；

S3：根据道路区域和非道路区域的分割结果找出道路边界；

S4：对道路的边界点进行提取，使用条件概率密度传播算法估计消失点位置，对道路消失点位置进行跟踪；

S5：使用将消失点位置融合到二次曲线道路道路边界拟合过程中的启发式拟合算法拟合道路模型。

进一步的，所述基于多层神经网络的道路分割方法如下：

S2-1：将图像从RGB色彩空间转换到HSV色彩空间，将道路区域与非道路区域样本中每一个像素点的色调和饱和度作为像素的特征向量作为多层神经网络输入向量提供给输入层，每一个输入层节点的输出结果等于输入特征向量中的对应分量；

S2-2：依据网络连接，隐含层节点对各个输入进行加权求和，得到的标量称为净激活，即：

其中，i为输入层节点的索引，d为输入层节点数，j为隐含层节点的索引，ω_ij为输入层节点i到隐含层节点j的权值，ω_j0为附加特征值x₀＝1与附加权值ω₀的积；

每个隐含层节点以净激活作为输入，并激发一个输出分量，这个分量是净激活的非线性函数，选用非线性函数如下：

S2-3：每个输出层节点将接受隐含层节点的输出信号，计算其净激活：

其中，j为隐含层节点的索引，η_H为隐含层节点数，k为输出层节点的索引，ω_kj为输入层节点j到隐含层节点k的权值；

输出层节点以类似方法激发输出层分量：

使用多层神经网络进行分类判决的过程可以被描述为计算输出层节点各输出分量的过程；

S2-4：使用分块分割的方法，并使用基于隶属概率的判决结果修正策略进行优化，具体如下：

(1)将图像分割成N*N的方块，每个方块的四个角区域称为角点，假设任意一个像素点x都属于道路区域R或者非道路区域NR，即x∈{R,NR}，则角点C∈{R,NR}，且角点C属于道路区域R或者非道路区域NR的隶属概率可以定义为：

其中，N为角点区域内像素点个数；

(2)依据分块中四个角点的类型判别结果及隶属概率，可以将分块划分为三类：

如果某分块四个角点都属于道路区域R，则该分块也属于道路区域R，且隶属概率为：

如果某分块四个角点都属于非道路区域NR，则该分块也属于非道路区域NR，且隶属概率为：

如果某分块四个角点中，既有属于道路区域R，也有属于非道路区域NR的角点，则该分块属于混合区域MIX，且隶属概率为各角点属于判决分类的隶属概率的均值；

(3)假定属于混合区域MIX的分块只会出现在属于道路区域R的分块与非道路区域NR之间；以行为主序从左到右扫描分块，如果遇到混合快，则测试其左右分块属性是否相同，如果其左右分块中有属于混合区域MIX的分块，则测试分块再向左或向右移动；如果该块的左右分块属性相同，都属于道路区域R，或者都属于非道路区域NR，则测试该分块的隶属概率，如果该分块的隶属概率低于一个给定的阈值，则其属性被修正为其左右块属性相同；如果该分块的隶属概率高于一定给定的阈值，则不更改其属性。

进一步的，道路的边界点进行提取方法如下：

S4-1：对图像建立坐标系，通常以图像左上角为原点，向右为x轴方向，向下为y轴方向，以y轴为主方向，从左到右扫描图像所有像素点；

S4-2：对于每一行像素点序列，找出其中连续的属于道路区域的像素点作为候选道路子线段，如果一行像素点中包含多条候选道路子线段，合并其中距离较为接近的子线段；

S4-3：记录每一条道路线段的左右边界坐标，将其作为候选道路边界点；

S4-4：将扫描点向下一行移动，直到所有像素点扫描完毕，记录下所有候选道路边界点集。

进一步的，将消失点位置融合到道路边界拟合过程中的启发式拟合算法具体如下：

S5-1：对于图像序列中的第n帧，图像中道路消失点Zn的位置的观察值定义为第n帧的道路边界拟合结果LRn和LRn的交点；

S5-2：通过第n帧道路消失点的位置的观察值Zn,使用天剑概率密度传播算法来计算第n+1帧道路消失点的位置的先验概率；

S5-3：根据步骤S5-2对第n+1帧消失点位置的预测结果，以及对第n+1帧图像的候选道路边界点集使用最小二乘法对道路的左右边界线LRn+1和LRn+1进行初步拟合，拟合的过程中，道路消失点的权重大于其他道路边界点权值；

S5-4：计算所有提取的道路边界点与拟合出的道路边界方程之间的距离，如果某点与道路边界方程距离大于所有道路边界点与边界方程之间距离的均值，该店将被排除，并根据该点的坐标，寻找该点所在行的候选道路子线段，如果能找出一条子线段边界点与道路边界方程的距离接近，则替换该边界点为候选道路边界点，否则，排除该点；

S5-5：使用新的道路边界点集与第n+1帧消失点位置的预测结果再次使用最小二乘法拟合道路的左右边界线LRn+1和LRn+1，并计算LRn+1和LRn+1的交点作为第n+1帧道路消失点的观察值Zn+1；

S5-6：使用条件概率密度传播算法计算后验概率。

本发明的有益效果是：

(1)改进了基于多层神经网络的道路分割方法，通过多层神经网络对道路与非道路区域样本各像素的色调、饱和度进行学习，并使用学习后的网络来分类新的像素点，达到提升算法的对抗阴影与光照变化鲁棒性的目的；同时采用了分块分类的方法抑制摄像头采集过程产生的随机噪音，并设计了基于隶属概率的判决结果修正策略，以达到减轻道路区域与非道路区域中干扰物影响的目的；

(2)采用条件概率密度传播算法对道路消失点进行跟踪和预测，并将道路消失点的预测结果融入道路边界拟合过程，弥补了基于单帧图像处理的传统算法没有充分利用视频流中各帧之间相关性的缺点，达到了增强算法稳定性与鲁棒性的目的。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

实验1本发明的方法实际处理效果和传统算法效果进行比对。

一、像素级的定量检测性能评估

使用像素级的定量评估方法，将最终检测结果分为四类，所有类别如下表1所示。

表1像素级的定量评估方法定义

表1中，TN为真实值为非道路区域，算法检测值也为非道路区域的像素点个数；FN为真实值为道路区域，算法检测值为非道路区域的像素点个数；FP为真实值为非道路区域，算法检测值为道路区域的像素点个数；TP为真实值为道路区域，算法检测值也为道路区域的像素点个数。

在对各像素进行判别的基础上，定量分析方法的统计性能指标如下表2所示。

表2像素级的定量评估方法性能指标

本发明提出的算法与现有的核密度估计算法在不同场景中所统计的各性能指标上的对比如表3所示。

表3各性能指标对比分析

相对于传统算法，本发明的算法在多种场景中各性能指标都有所提升，检测精度最高达978％,检测质量最高达94.3％，检出率最高达97.5％。

二、消失点估计的性能分析

对一个完整的视频序列使用不同方法的检测结果进行定量分析，结果如表3所示。

表3消失点估计的性能定量分析

如上表中所示，在检测质量与检测精度的平均性能上，使用消失点估计启发式道路拟合方法能够获得3％左右的提升，检出率也有一定的提升。

Claims (4)

1.结合特征和模型的道路检测方法，其特征在于，包括以下步骤：

S1：通过摄像头实时采集车道图像信息；

S2：采用基于多层神经网络的道路分割方法进行道路分割，找出其中道路区域；

S3：根据道路区域和非道路区域的分割结果找出道路边界；

S4：对道路的边界点进行提取，使用条件概率密度传播算法估计消失点位置，对道路消失点位置进行跟踪；

S5：使用将消失点位置融合到二次曲线道路道路边界拟合过程中的启发式拟合算法拟合道路模型。

2.根据权利要求1所述的道路检测方法，其特征在于，所述基于多层神经网络的道路分割方法如下：

S2-1：将图像从RGB色彩空间转换到HSV色彩空间，将道路区域与非道路区域样本中每一个像素点的色调和饱和度作为像素的特征向量作为多层神经网络输入向量提供给输入层，每一个输入层节点的输出结果等于输入特征向量中的对应分量；

S2-2：依据网络连接，隐含层节点对各个输入进行加权求和，得到的标量称为净激活，即：

${\mathrm{net}}_j=\underset{i=1}{\overset{d}{\mathrm{\Σ}}}{x}_i{\mathrm{\ω}}_{ji}+{\mathrm{\ω}}_{j0}=\underset{i=0}{\overset{d}{\mathrm{\Σ}}}{x}_i{\mathrm{\ω}}_{ji}={\mathrm{\ω}}_j^{i}x,$

其中，i为输入层节点的索引，d为输入层节点数，j为隐含层节点的索引，ω_ij为输入层节点i到隐含层节点j的权值，ω_j0为附加特征值x₀＝1与附加权值ω₀的积；

每个隐含层节点以净激活作为输入，并激发一个输出分量，这个分量是净激活的非线性函数，选用非线性函数如下：

$y_j=f\left({\mathrm{net}}_j\right)=\tanh x_j=\frac{e^{x_j}-e^{-x_j}}{e^{x_j}+e^{-x_j}};$

S2-3：每个输出层节点将接受隐含层节点的输出信号，计算其净激活：

${\mathrm{net}}_k=\underset{j=1}{\overset{{\mathrm{\η}}_H}{\Σ}}{y}_j{\mathrm{\ω}}_{kj}+{\mathrm{\ω}}_{k0}=\underset{j=0}{\overset{{\mathrm{\η}}_H}{\Σ}}{y}_j{\mathrm{\ω}}_{kj}={\mathrm{\ω}}_k^{j}y,$

其中，j为隐含层节点的索引，η_H为隐含层节点数，k为输出层节点的索引，ω_kj为输入层节点j到隐含层节点k的权值；

输出层节点以类似方法激发输出层分量：

$z_k=f\left({\mathrm{net}}_k\right)=\tanh y_k=\frac{e^{y_k}-e^{-y_k}}{e^{y_k}+e^{-y_k}};$

使用多层神经网络进行分类判决的过程可以被描述为计算输出层节点各输出分量的过程；

S2-4：使用分块分割的方法，并使用基于隶属概率的判决结果修正策略进行优化，具体如下：

(1)将图像分割成N*N的方块，每个方块的四个角区域称为角点，假设任意一个像素点x都属于道路区域R或者非道路区域NR，即x∈{R,NR}，则角点C∈{R,NR}，且角点C属于道路区域R或者非道路区域NR的隶属概率可以定义为：

$p(C\∈R)=\underset{i=1}{\overset{N}{\Σ}}if(x_i\∈R)/N$

$p\left(C\∈NR\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}if\left(x_i\∈NR\right)/N$

其中，N为角点区域内像素点个数；

(2)依据分块中四个角点的类型判别结果及隶属概率，可以将分块划分为三类：

如果某分块四个角点都属于道路区域R，则该分块也属于道路区域R，且隶属概率为：

$p(block\∈R)=\underset{i=1}{\overset{4}{\Σ}}p(C_i\∈R)/4;$

如果某分块四个角点都属于非道路区域NR，则该分块也属于非道路区域NR，且隶属概率为：

$p(block\∈NR)=\underset{i=1}{\overset{4}{\Σ}}p(C_i\∈NR)/4;$

如果某分块四个角点中，既有属于道路区域R，也有属于非道路区域NR的角点，则该分块属于混合区域MIX，且隶属概率为各角点属于判决分类的隶属概率的均值；

(3)假定属于混合区域MIX的分块只会出现在属于道路区域R的分块与非道路区域NR之间；以行为主序从左到右扫描分块，如果遇到混合快，则测试其左右分块属性是否相同，如果其左右分块中有属于混合区域MIX的分块，则测试分块再向左或向右移动；如果该块的左右分块属性相同，都属于道路区域R，或者都属于非道路区域NR，则测试该分块的隶属概率，如果该分块的隶属概率低于一个给定的阈值，则其属性被修正为其左右块属性相同；如果该分块的隶属概率高于一定给定的阈值，则不更改其属性。

3.根据权利要求1所述的道路检测方法，其特征在于，道路的边界点进行提取方法如下：

S4-1：对图像建立坐标系，通常以图像左上角为原点，向右为x轴方向，向下为y轴方向，以y轴为主方向，从左到右扫描图像所有像素点；

S4-2：对于每一行像素点序列，找出其中连续的属于道路区域的像素点作为候选道路子线段，如果一行像素点中包含多条候选道路子线段，合并其中距离较为接近的子线段；

S4-3：记录每一条道路线段的左右边界坐标，将其作为候选道路边界点；

S4-4：将扫描点向下一行移动，直到所有像素点扫描完毕，记录下所有候选道路边界点集。

4.根据权利要求1所述的道路检测方法，其特征在于，将消失点位置融合到道路边界拟合过程中的启发式拟合算法具体如下：

S5-1：对于图像序列中的第n帧，图像中道路消失点Zn的位置的观察值定义为第n帧的道路边界拟合结果LRn和LRn的交点；

S5-2：通过第n帧道路消失点的位置的观察值Zn,使用天剑概率密度传播算法来计算第n+1帧道路消失点的位置的先验概率；

S5-3：根据步骤S5-2对第n+1帧消失点位置的预测结果，以及对第n+1帧图像的候选道路边界点集使用最小二乘法对道路的左右边界线LRn+1和LRn+1进行初步拟合，拟合的过程中，道路消失点的权重大于其他道路边界点权值；

S5-4：计算所有提取的道路边界点与拟合出的道路边界方程之间的距离，如果某点与道路边界方程距离大于所有道路边界点与边界方程之间距离的均值，该店将被排除，并根据该点的坐标，寻找该点所在行的候选道路子线段，如果能找出一条子线段边界点与道路边界方程的距离接近，则替换该边界点为候选道路边界点，否则，排除该点；

S5-5：使用新的道路边界点集与第n+1帧消失点位置的预测结果再次使用最小二乘法拟合道路的左右边界线LRn+1和LRn+1，并计算LRn+1和LRn+1的交点作为第n+1帧道路消失点的观察值Zn+1；

S5-6：使用条件概率密度传播算法计算后验概率。