CN105261020B - 一种快速车道线检测方法 - Google Patents

Abstract

本发明公开一种快速车道线检测方法，其首先将获取到的道路前视图通过逆透视变换方法转换成直观鸟瞰图，针对鸟瞰图做相应的高斯滤波去噪和二值化处理然后运用快速霍夫变换检测相关车道线区域，并对其进行区域分组以减少运算量，最后通过改进的RANSAC算法对相关车道线区域进行车道线筛选和拟合。本发明的优点是可以在复杂环境中较准确的提取到车道线，并且实时性较好，同时兼具弯道识别功能。本发明可以在复杂环境中较准确的提取到车道线，并且实时性较好，同时兼具弯道识别功能。

Description

一种快速车道线检测方法

技术领域

本发明属于数字图像识别技术领域，具体涉及一种快速车道线检测方法。

背景技术

随着汽车的普及和车祸的频发，汽车安全驾驶越来越受人关注。而大部分的车祸都是由于驾驶员的不良习惯导致的。因此，高级驾驶员辅助***(Advanced DriverAssistance System，ADAS)的提出可以有效的减小车祸的发生几率。同时车道偏离检测是高级驾驶员是高级驾驶员辅助***中重要的一环，因此快速准确的识别道路上的车道线显得尤为重要。

在ADAS中，经常会使用到各种各样的传感器装备，例如激光雷达、GPS等。但是通过视觉传感器，利用计算机视觉方法检测车道线不仅可以大大节约成本，并且检测效果也很好。目前，通过图像识别技术对车道线进行检测的方法包括基于图像特征的识别的车道线检测方法和基于模型的识别的车道线检测方法两大类。

基于特征的识别的车道线检测方法主要分为在灰度图中基于边缘特征的识别和在彩色图中基于道路颜色纹理的识别等。在灰度图中的边缘特征提取，大部分都采用了霍夫变换来进行车道的提取，但是霍夫变换的计算复杂度比较大，因此运行速度比较慢，同时对于弯道的提取比较困难。基于道路颜色纹理的识别大多数是将RGB颜色空间转化为HSI颜色空间，然后对一个像素的色度和亮度分别建模。但是在每个像素上进行操作，因此对道路上的光线以及阴影较为敏感。

基于模型的识别则的车道线检测方法分为直线模型、样条曲线模型、线性抛物线模型、二次曲线模型和双曲线模型等。这些模型都是属于几何模型，简单固定的模型不能很好的针对复杂多变的车道进行拟合，但是类似B样条曲线、二次曲线等较为灵活的模型可以有效的对车道进行拟合，但是仅仅使用基于模型的识别对于车道破损以及图像噪声会导致拟合失败。

发明内容

本发明所要解决的技术问题是现有车道线检测方法存在的不足，提供一种快速车道线检测方法，其可以在复杂环境中较准确的提取到车道线，并且实时性较好，同时兼具弯道识别功能。

为解决上述问题，本发明是通过以下技术方案实现的：

一种快速车道线检测方法，具体包括如下步骤：

步骤1、通过安装在车辆上的摄像头获取到道路的图像，并且记录下相关参数，即摄像头的离地高度、偏航角、螺旋角、焦距、光学中心坐标和所获取图像的图片大小；

步骤2、针对获取到的图像和参数，进行感兴趣区域的设定和逆透视变换，将图像转换为鸟瞰图；

步骤3、利用二维高斯滤波处理对鸟瞰图进行去噪，并且将去噪后的图像进行二值化处理；

步骤4、针对二值化后的图片，首先利用霍夫变换进行直线检测，得到一组候选车道线，然后利用距离权重公式对候选车道线进行简单筛选和左右候选车道线分组，得到左候选车道线区域和右候选车道线区域；

步骤5、利用随机抽样一致性算法对分别对左候选车道线区域和右候选车道线区域进行筛选，并分别对左候选车道线区域和右候选车道线区域直线和曲线进行拟合，得到最终的左车道线和右车道线。

上述步骤2具体为：

首先，根据获取到的图像设定合理的感兴趣区域；

然后，将该感兴趣区域中的每个像素点做矩阵变换，将图像坐标系转换为世界坐标系；

最后，将世界坐标系转换为鸟瞰图的图像坐标系。

上述步骤3中，对鸟瞰图进行二维高斯滤波处理去噪处理时，需要先将鸟瞰图离散化为对像素点后，再对这些像素点进行去噪处理。

步骤3中，对鸟瞰图进行二维高斯滤波处理去噪的过程包括在垂直方向采用高斯低通滤波处理的过程和在水平方向采用二阶高斯差分滤波处理的过程。

上述步骤4中，利用霍夫变换进行直线检测的过程如下：

首先，设置霍夫变换的搜索步长及搜索空间r和φ的范围，即r_min≤r≤r_max，φ_min≤φ≤φ_max；

然后，建立二维投票累加器A(r,φ)，初始累加器中每个元素设为零；

接着，随机输入一定数量的二值化后图像中的非零点(x_i,y_i)，i＝1,2,3...n，并且利用步长将自变量φ的值在其范围内离散化，从φ_min开始根据设置的步长在霍夫空间中依次从小到大取φ值，因此每个非零点和取到的不同φ值可以根据确定的极坐标方程计算对应的r值，一旦计算出r，就在r值和φ值对应的二维投票累加器A(r,φ)的中加1；

最后，二维投票累加器A(r,φ)的最终累加值即为霍夫值，找出相应图像平面共线点的累加器的局部极大值，当局部最大值满足设定的最小阈值时，则为检测出的直线。

上述步骤4中，对候选车道线进行分组的过程具体为：

首先，从检测出的直线中选定一条直线作为基本直线，并分别计算余下直线与该基本直线的距离值d；

接着，对所有检测出的直线进行分组，即当距离值d小于等于设置的距离阈值时，则分为一组；当距离值d大于设置的距离阈值时，则分为另外一组；

最后，根据两组直线与图片边缘的交点，设置矩形框将已经分好的左右车道线组框住，从而得到左候选车道线区域和右候选车道线区域。

上述步骤5具体为：

步骤5.1、分别将获取到的左候选车道线区域和右候选车道线区域从中间分为向前和向后两个子区域，并从向前子区域和向后子区域中随机获取样本点；

步骤5.2、利用最小二乘法对区域中的样本点进行直线和曲线的拟合；利用整体的区域即向前子区域和向后子区域的样本点进行直线拟合，同时利用向前子区域的样本点进行曲线拟合；

步骤5.3、计算曲线的拟合度；

步骤5.4、如果步骤5.3中拟合度达不到最低要求，将重新从步骤5.1开始随机选取样本点。

与现有技术相比，本发明的有益效果是：

1、本发明通过逆透视变换得到鸟瞰图，可以直观的看到图像中车道线的形状，并且可以有效的排除相关干扰信息。

2、本发明在霍夫变换处理后引入了一种区域分组的方法，有效的减少了算法运算量。

3、本发明通过改进了一般的RANSAC(Random Sample Consensus,随机采样一致)算法，设置相关的拟合度计算公式，提高了检测的准确度并且减少了运算量。

附图说明

图1为本发明所设计的快速车道线检测的流程图。

图2为候选车道线的随机采样点区域。

图3为贝塞尔曲线。

具体实施方式

以下结合附图和实施例对本发明作详细说明：本实施例在以本发明技术方案为前提下进行实施的例子，给出了详细的实施方式和过程，但本发明的保护范围不应限于下述的实施例。

一种快速车道线检测方法，如图1所示，具体包括如下步骤：

步骤1、通过安装在车辆前方的摄像头获取到道路的图像，并且记录下相关参数。

本发明根据安装在汽车前方的摄像头，获取到道路图像，并且同时记录下摄像头焦距、光学中心坐标、安装的摄像头离地面的高度、偏航角、螺旋角、获取到的图片尺寸等参数。

本发明实例中摄像头焦距分解到坐标轴上的坐标为(350,360)，光学中心坐标为(320,240)，安装的摄像头离地面距离为1.3米，偏航角为0度，螺旋角为-9度，进行车道线识别的图片尺寸大小为640×480。

步骤2、针对获取到的图像和参数，进行感兴趣区域的设定和逆透视变换，将前视图转换为鸟瞰图。

根据获取到的图像设定合理的感兴趣区域，将该区域中的每个像素点做矩阵变换，将前视图的图像坐标系转换为世界坐标系，然后再将世界坐标系转换为鸟瞰图的图像坐标系。因此，将前视图转换为鸟瞰图。

步骤3、利用二维高斯滤波处理对鸟瞰图进行去噪，并且将去噪后的图像进行二值化处理。

本发明采用二维异向高斯滤波处理。在垂直方向采用高斯低通滤波，其卷积公式为式(1)，其中ρ_y根据具体车道线情况进行设置(本发明实施过程中设为9)；在水平方向则采用二阶高斯差分滤波，其卷积公式为式(2)，其中ρ_x根据具体车道线情况进行设置(本发明实施过程中设为23)。

在实际操作时，本发明将这些滤波处理离散化为对像素点的操作，从而是效果更加明显，即让车道线在较暗背景下显得更亮，然后根据公式(3)将图片像素进行二值化处理。

其中，κ为根据图像具体情况设定的参数，T为所有像素中的最大值，B为所有像素中最小值。

步骤4针对二值化后的图片，利用快速霍夫变换进行直线检测，通过设置相应搜索步长和霍夫空间的大小，得到一组候选车道线，然后利用距离权重公式对候选车道线进行简单筛选和左右车道线分组。

在图像空间中两个点可以确定一条直线，根据极坐标方程(4)形式，通过计算也就确定了极坐标方程中r和φ，得到x-y坐标系中一条极坐标方程形式的直线，根据点线对偶性，则相当于点(r,φ)确定了这条直线。但是当通过坐标空间转换，将由x和y为坐标轴的空间转化为由r和φ为坐标轴的霍夫空间，那么极坐标方程(4)在霍夫空间中显示的是一条正弦曲线。因此在图像空间中的每一个点(x_i,y_i)，代入方程(4)中，在由r和φ为坐标轴的霍夫空间中显示得为一条正弦曲线，而有多少条正弦曲线的交于一点就代表着有多少点可以共线，当达到一定数量时，表示图像中有一定数量的点在一条直线上。

本发明将采用标准霍夫变换中的极坐标方程的形式(4)：

r＝x sinφ+y cosφ (4)

其中：r是图像空间中坐标原点到该直线的距离，而图像中的坐标原点指在图像左上角第一个像素点坐标；φ是直线与轴的夹角。

根据上述原理，本发明检测直线的具体步骤如下：

首先，设置r和φ的范围，即：r_min≤r≤r_max，φ_min≤φ≤φ_max。其搜索步长为3，设置长为(r_max-r_min)/3，宽为(φ_max-φ_min)/3的搜索空间。

然后，建立二维投票累加器A(r,φ)，初始累加器中每个元素设为零。

接着，随机输入一定数量的二值化后图像中的非零点(x_i,y_i)，i＝1,2,3...n，并且利用步长将自变量φ的值在其范围内离散化，从φ_min开始根据设置的步长在霍夫空间中依次从小到大取φ值，因此每个非零点和取到的不同φ值可以根据确定的极坐标方程(4)计算对应的r值，一旦计算出r，就在r值和φ值对应的A(r,φ)单元累加器中加1。

A(r,φ)＝A(r,φ)+1

最后，二维投票累加器A(r,φ)的累加值即为霍夫值，其代表的是有多少点是共线的，并且所共线这条直线是由参数r和φ控制的极坐标方程。而局部最大的霍夫值，即表示该参数r和φ控制的极坐标方程是局部最多点共线的。找出相应图像平面共线点的累加器的局部极大值，当局部最大值满足其最小阈值时，则为检测出的直线。

上述对候选车道线进行分组的过程具体如下：

每条检测出来的直线都有其参数r和φ。因此本发明以其中一条直线为基本直线，然后利用公式(5)，计算余下直线与该基本直线的距离值。

假设检测出的第一条线段为(r₁，φ₁)、第二条线段为(r₂，φ₂)，则这两条直线距离关系的计算公式为

d＝|r₁-r₂|+λ|φ₁-φ₂| (5)

其中λ为权重系数，并且

另外，通过公式(6)保证参数φ_i同号，从而计算更准确。

当d值小于设置的距离阈值，则分为一组，大于设置的距离阈值，则分为另外一组。根据每一组的直线与图片边缘的交点，设置矩形框将已经分好的左右车道线组框住，从而得到候选车道线的相关区域。

步骤5、为了防止出现将左右车道检测到一起的情形，因此要对检测出相关直线区域进行分组后，再采取RANSAC算法时，结果更为精确。本发明利用改进的RANSAC(随机抽样一致性)算法对候选车道线进行筛选，最后用直线和三阶贝塞尔曲线对车道线进行拟合。

步骤5.1、随机选取非零样本点。车道线前视图中，近视场也就是靠近图片最下方的区域近似为车道线直线区域，是否有弯道取决于远视场区域，即道路图片中消失点区域，因此为了减少计算量，只对远视场进行曲线拟合，对整体选取的ROI区域用直线拟合。根据获取到的候选车道线区域，从中间分为两个子区域向前和向后随机获取相应的样本点，如图2。所以上方区域的样本点供曲线拟合用，整体区域所有样本点供直线拟合用。

步骤5.2、利用最小二乘法同时对相应区域车道线做直线和曲线的拟合。

(1)直线的拟合

根据上一步骤中的霍夫变换，得到若干条候选车道线，转换为标准直线方程y＝ax+b形式拟合。并且根据随机选取的候选车道线区域中的样本点，计算点到该直线的距离，假设候选车道线共有N条，设第k条直线y＝a_kx+b_k，根据上一步骤中取n个样本点，然后计算点(x_i,y_i)到直线的距离大小：

然后将所有距离求和，即

若d_k小于设置阈值d^*，那么就是确定的直线形式车道线，反之则是误检。若全未达到，则重新从步骤5.1开始。

(2)曲线的拟合

曲线拟合主要根据三阶贝塞尔曲线形式(8)：

其中，t∈[0,1]，P(0)＝P₀，P(1)＝P₃。一条三阶贝塞尔曲线基本形状就是由P₁和P₂控制。

因此计算的重点在于计算P₁和P₂。假设有n个样本点，其中点可以表示为q_i＝(u_i,v_i)，设t_i∈[0,1]为q_i到q₁累积欧式距离比例，具体公式如下：

其中，q₀＝q₁，并且而且t₁＝0和t_n＝1表示 曲线的起点和终点。

同时定义：

通过P＝(TM)^*Q，其中(TM)^*是(TM)的伪逆矩阵。从而计算出所有的控制点。所有控制点计算出来后便可以用贝塞尔曲线的公式进行拟合。

步骤5.3、计算曲线的拟合度，其拟合度公式为式(10)

式中：score为曲线拟合度，s为原始曲线的参数(曲线的像素值总和)；L＝l/v-1，l是曲线长度，该长度可以根据贝塞尔曲线性质计算出来，v是图片高度，因此，如果L＝0意味着是一条很长的曲线，如果L＝-1则意味着该曲线很短。θ表示着曲线弯曲度，定义为θ＝θ'/2，θ'为控制点间线条的弯曲差异度，即θ'＝cos(θ₁-θ₂)，θ₁和θ₂为曲线前后弯曲角度，可以通过检测出的曲线中得出，如图3，其中m₁和m₂是根据相应情况自行设定的限制参数。

步骤5.4、如果步骤5.3中拟合度达不到最低要求，将重新从步骤5.1开始随机选取样本点。

本发明公开了一种基于鸟瞰图分析和改进RANSAC的快速车道线检测算法。它首先将获取到的道路前视图通过逆透视变换方法转换成直观鸟瞰图，针对鸟瞰图做相应的高斯滤波去噪和二值化处理然后运用快速霍夫变换检测相关车道线区域，并对其进行区域分组以减少运算量，最后通过改进的RANSAC算法对相关车道线区域进行车道线筛选和拟合。本发明具有较好的鲁棒性和实时性，并且兼具一定的弯道识别功能，从而实现在复杂的道路环境中较为准确快速提取到车道线，以防止车辆在行驶过程中发生车道偏离。

Claims (4)

1.一种快速车道线检测方法，其特征是，具体包括如下步骤：

步骤1、通过安装在车辆上的摄像头获取到道路的图像，并且记录下相关参数，即摄像头的离地高度、偏航角、螺旋角、焦距、光学中心坐标和所获取图像的图像大小；

步骤2、针对获取到的图像和参数，进行感兴趣区域的设定和逆透视变换，将图像转换为鸟瞰图；

步骤3、利用二维高斯滤波处理对鸟瞰图进行去噪，在垂直方向采用高斯低通滤波，在水平方向则采用二阶高斯差分滤波，去噪之后的图像会使车道线在较暗的背景下凸显其车道线的特征，然后再进行二值化处理，为了防止因光线影响而导致车道线与道路路面差异性过小，因此采用考虑全局性的二值化处理，即：

其中，κ为根据图像具体情况设定的参数，T为所有像素中的最大值，B为所有像素中最小值；

步骤4、针对二值化后的图像，首先利用霍夫变换进行直线检测，得到一组候选车道线，然后利用距离权重公式对候选车道线进行简单筛选和左右候选车道线分组，即：

假设检测出的第一条线段为(r₁，φ₁)、第二条线段为(r₂，φ₂)，其中r_i是图像空间中坐标原点到线段的距离，φ_i是线段与轴的夹角，并且这两个参数可以通过霍夫变换直接得到，那么，这两条直线距离关系的计算公式为d＝|r₁-r₂|+λ|φ₁-φ₂|

其中λ为权重系数，并且

另外，通过上述公式保证参数φ_i同号，从而计算更准确；

当d值小于等于设置的距离阈值，则分为一组，大于设置的距离阈值，则分为另外一组，根据每一组的直线与图像边缘的交点，设置矩形框将已经分好的左右车道线组框住，从而得到候选车道线的相关区域；

步骤5、利用随机抽样一致性算法分别对左候选车道线区域和右候选车道线区域进行筛选，并且在每个车道线区域的部分进行拟合，在区域的近视场中用直线模型拟合，根据随机选取的候选车道线区域中的样本点，计算点到直线的距离，假设候选车道线共有N条，设第k条直线y＝a_kx+b_k，根据上一步骤中取n个样本点，然后计算点(x_i,y_i)到直线的距离大小：

然后将所有距离求和，即

若d_k小于设置阈值d^*，那么就是确定的直线形式车道线，反之则是误检；若全未达到，则重新选取样本点；

远视场则采用贝塞尔曲线拟合，曲线拟合主要根据三阶贝塞尔曲线形式：

其中，t∈[0,1]，P(0)＝P₀，P(1)＝P₃；一条三阶贝塞尔曲线基本形状就是由P₁和P₂控制；

因此计算的重点在于计算P₁和P₂；假设有n个样本点，其中点可以表示为q_i＝(u_i,v_i)，设t_i∈[0,1]为q_i到q₁累积欧式距离比例，具体公式如下：

其中，q₀＝q₁，并且而且t₁＝0和t_n＝1表示曲线的起点和终点；

同时定义：

通过P＝(TM)*Q，其中(TM)*是(TM)的伪逆矩阵；从而计算出所有的控制点；所有控制点计算出来后便可以用贝塞尔曲线的公式进行拟合；

同时定义计算曲线的拟合度，其拟合度公式为

式中：score为曲线拟合度，s为原始曲线的参数即曲线的像素值总和；L＝l/v-1，l是曲线长度，该长度可以根据贝塞尔曲线性质计算出来，v是图像高度，因此，如果L＝0意味着是一条很长的曲线，如果L＝-1则意味着该曲线很短；θ表示着曲线弯曲度，定义为θ＝θ'/2，θ'为控制点间线条的弯曲差异度，即θ'＝cos(θ₁-θ₂)，θ₁和θ₂为曲线前后弯曲角度，可以通过检测出的曲线中得出，其中m₁和m₂是根据相应情况自行设定的限制参数；

利用双模型拟合可以有效减少误检，从而较为准确得到最终的左车道线和右车道线。

2.根据权利要求1所述的一种快速车道线检测方法，其特征是，步骤2具体为：

首先，根据获取到的图像设定合理的感兴趣区域；

然后，将该感兴趣区域中的每个像素点做矩阵变换，将图像坐标系转换为世界坐标系；

最后，将世界坐标系转换为鸟瞰图的图像坐标系。

3.根据权利要求1所述的一种快速车道线检测方法，其特征是，步骤3中，对鸟瞰图进行二维高斯滤波处理去噪处理时，需要先将鸟瞰图离散化为像素点后，再对这些像素点进行去噪处理。

4.根据权利要求1所述的一种快速车道线检测方法，其特征是，步骤4中，利用霍夫变换进行直线检测的过程如下：

首先，设置霍夫变换的搜索步长及搜索空间r和φ的范围，即r_min≤r≤r_max，φ_min≤φ≤φ_max；

然后，建立二维投票累加器A(r,φ)，初始累加器中每个元素设为零；

接着，随机输入一定数量的二值化后图像中的非零点(x_i,y_i)，i＝1,2,3...n，并且利用步长将自变量φ的值在其范围内离散化，从φ_min开始根据设置的步长在霍夫空间中依次从小到大取φ值，因此每个非零点和取到的不同φ值可以根据确定的极坐标方程计算对应的r值，一旦计算出r，就在r值和φ值对应的二维投票累加器A(r,φ)中加1；

最后，二维投票累加器A(r,φ)的最终累加值即为霍夫值，找出相应图像平面共线点的累加器的局部极大值，当局部最大值满足设定的最小阈值时，则为检测出的直线。