CN106682586A - 一种复杂光照条件下基于视觉的实时车道线检测的方法 - Google Patents

Abstract

一种复杂光照条件下基于视觉的实时车道线检测的方法属于计算机视觉和无人智能驾驶领域。在图像预处理时对不同光照图像进行光照估计和光照颜色校正，使其恢复到标准白光下。采用高斯滤波去除图像采集过程中引入的噪声，再对图像二值化处理和边缘提取，在提取过程中对原图像进行区域划分，利用改进的Hough变换得到车道候选线，建立动态感兴趣区域(ROI)，通过基于动态感兴趣区域(ROI)的Hough变换，及kalman滤波对车道线实时跟踪，实现对车道线模型的约束和更新，算法加入了车道线检测失效判别模块，以提高检测的可靠性。该发明速度快且鲁棒性好，在复杂光照条件下获得良好的车道线检测效果,提高了车辆在动态识别车道线的能力，提升了无人车自动驾驶的安全性。

Description

一种复杂光照条件下基于视觉的实时车道线检测的方法

技术领域

本发明涉及一种复杂光照条件下基于视觉的实时车道线检测的方法，属于车辆自主驾驶和计算机辅助驾驶技术领域。

背景技术

近年来,随着公路里程的不断增加和汽车产业的不断发展,交通安全问题也日益严重道，路上的车辆越来越多，发生的事故也在逐年增长，交通事故所带来的伤亡及财产损失是触目惊心，为减少交通事故的发生,运用计算机辅助驾驶***等科技手段保障行车的安全成为了一种趋势，实现这类***面临的首要关键问题就是实现快速准确地从车载视频图像中检测车道线，这可以让车辆按照实时路况准确规范行驶,以保证车辆和行人的安全。

现阶段车道识别的方法主要分两种：图像特征法和模型匹配法。

1、基于图像特征法的基本思想是利用车道边界或标志线与周围环境在图像特征上的不同进行检测。特征差异包括形状、纹理、连续性、灰度和对比度等。Donald等人利用车道线的几何信息对Hough变换参数限制的方法进行高速情况下车道线检测；Lee提出了一个通过边缘公布函数和车辆运动方向的变化估计预测车道线方向的偏移预警***；Mastorakis利用车道线的直线特征筛选出最有可能的标识线；Wang和Hu分别提出利用车道线上梯度相反方向的性质、车道线区域颜色特征来进行车道线的识别。这类方法借用图像分割和阈值化等技术，算法较为简单，但阴影遮挡、光线变化、噪声、车道边界或标志线不连续性等因素都可能造成车道的无法识别。

2、基于模型匹配的方法主要是针对结构化道路的较强几何特征，利用二维或三维曲线进行车道线建模，常用的二维车道模型有直线模型和抛物线模型。B-Snake车道模型提供初始定位后，将车道线检测问题通过道路模型转换为确定样条曲线所需的控制点问题；采用了将Hough变换与抛物线模型结合在一起来检测车道线，并先用直线模型得到道路标识线的初步参数后， 再在此基础上利用双曲线模型检测车道线，取得了较好的检测结果；Mechat采用基于SVM的方法对车道线进行建模，并采用标准的卡尔曼滤波器进行估计跟踪。这类方法在建立道路参数模型的基础上，分析图像中的目标信息以确定模型参数，具有不受路面状况干扰的特点，但由于计算复杂度较高，算法的时间开销较大。

因此，在实际研究中要将图像特征法和道路模型匹配法结合起来，从而正规化车道识别问题。

发明内容

本发明针对现有车道线检测技术在复杂光线下检测车道线的识别率低，对图像没有进行很好预处理，使失真图像矫正到标准白光下。而且原有的算法比较复杂，效率低，实时性差的缺点，提出了——一种复杂光照条件下基于视觉的实时车道线检测的方法，对图像进行光照处理矫正到标准白光下，利用车道线像素的信息进行车道线检测和趋势的判断，算法具有良好的实时性，高效率得检测车道线。

为实现上述目的，发明人提供了一种光照预处理的方法和车道线检测的方法，所述方法如下步骤：在图像预处理时对不同光照图像进行光照估计和光照颜色矫正，使其恢复到标准白光下。采用高斯滤波除去图像采集过程中引入的噪声，再对图像进行二值化处理和边缘提取，在提取过程中对原图像进行区域划分，利用改进的Hough变换得到车道候选线，建立动态的感兴趣区域(ROI)，通过基于动态的感兴趣区域(ROI)的Hough变换实现对车道线模型的约束和更新，及Kalman滤波对车道线实时跟踪，算法加入了车道线检测失效判别模块，以提高检测的可靠性。

在结构化的公路上，车道线信息主要是集中在图像的中下部,由于考虑到在不同情况下的摄像机安装，或将车头显示在图像中。

本方法采用的步骤如下：对图像进行降采样，并设定感兴趣区域(ROI)，由于视频图像中相邻的图像之间有较大的相关性，大部分图像信息对于车道线检测是无用的，通过寻找对车道线检测有用的感兴趣区域，不但 可以降低算法的运算量，而且还能简化车道线的识别。在结构化的公路上，车道线有用信息主要是集中在图像的中下部是感兴趣区域，由于考虑到在不同情况下的摄像机安装，或将车头显示在图像中(0～0.1H)。W_image表示图像的宽度，H_image定义为图像的高度。这样我们可以缩小图像有效检测区域的范围。

车道检测的方法，对感兴趣区域图像预处理--进行颜色矫正，本方法采用的步骤如下：首先从监控相机等图像采集装置中获得感兴趣区域图像ψ，对感兴趣区域图像ψ进行颜色校正，得到校正后图像ψ₁；

具体步骤如下：

图像的光照估计的目的是将未知光照条件下的图像校正到标准白光下的图像，这个过程简要概括为首先估计出图像成像时的光照颜色，然后利用Von Kries模型将图像映射到标准白光下。也就可以获得更好的图像的白平衡效果。一般可分为以下步骤：

(1)、样本块提取首先从图像中提取样本块。对每个图像样本块，估计照射在该块上的有效光照。

(2)、利用现有的单光照条件下的光照估计算法进行光照估计。基于Grey-Edge颜色恒常性算法框架通过变换参数，***地产生多个不同的颜色恒常性特征值提取方法。

(3)、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇。因此，所有的光照估计值被聚类到M类(M为场景中的光照个数)。

(4)、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后(M为场景中的光照数)，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就可以得到每种光照的照射位置。由此得到一个光照映射图，即每个像素属于M个光照中的某一个。通过后向映射，可得到每个像素的光照估计值，及像素所在光照类的聚类中心值。

(5)、对于重叠光照的区域，在后向映射的光照估计值的分类结果上 使用高斯滤波器

(6)、颜色校正，利用每个像素的光照估计值可以把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。目前最常用的对角模型来校正图像。

利用图像颜色校正的方法，其特征在于：所述(1)假设每个图像样本块5×5像素并且满足光照在该样本上的光照值是均匀分布的条件(只有一种颜色的光照射到该样本上)。

图像光照估计来校正图像颜色的方法，选择的样本块的大小一样，满足以下条件：样本块5×5像素且包含光照颜色信息来准确地估计照射在该样本块上的光照的性质。

基于Grey-Edge颜色恒常性算法框架通过变换参数，如下所示，通过变换参数n，q和σ(n是阶乘，q是明科夫斯范式，σ是高斯滤波器的核函数大小)，ε是一个取值范围[0,1]的常数，f(x)表示空间中x点处的光照值；0表示无反射，1表示全反射；e是指数e，***地产生多个不同的颜色恒常性特征值提取方法。

在该框架下，分割图像得到许多图像的样本块。假设每个样本块是5×5像素并且满足在该样本块中光照是均匀分布的假设。在每个样本块上，使用常用的单光照的颜色恒常性算法估计该样本块上的光照值。

利用图像光照估计来校正图像颜色的方法，考虑以下五种有代表性的方法：

利用图像光照估计来校正图像颜色的方法，五种候选颜色恒常性计算集合Γ＝{e^0,1,0,e^0,∞,0,e^0,∞,1,e^1,1,1,e^2,1,1}。每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。

利用图像光照估计来校正图像颜色的方法，样本块的特征向量可以描述为F‘＝[R,G,B]，R,G,B为图像的颜色通道，使用归一化的光照估计值，如下所示，这样样本块的特征向量就转化成F＝[r,g]，一个1×2的向量。

利用图像光照估计来校正图像颜色的方法，在光照估计值组成的色度空间中，在对各个样本块的光照估计值进行聚类后，第j个样本块的光照估计值到第i聚类中心的距离可以使用欧氏距离计算，该欧式距离用d_i表示，d_k表示k[0,M]中第k个样本块聚类中心的距离，Z是总共的样本块，那么该样本块位于第i个光照区域的概率p_j,i如下计算：

第i个光照的覆盖区域概率其中p_j,i表示第j个块被第i个光照照射的概率并且p是输入图像中样本块的总数。

利用图像光照估计来校正图像颜色的方法，为了获得平滑连续的光照 分布，在光照覆盖区域概率映射图上进行滤波，我们使用两种滤波器，分别是高斯和中值两种滤波器，高斯滤波器考虑了空间位置信息计算每个估计光照范围的逐个像素概率，中值滤波器的优点是能很好地保留边的信息，使其用于有明显的光照变化的场景。

利用图像光照估计来校正图像颜色的方法，图像每个像素的光照估计值根据如下式进行计算：

其中I_e是场景上的光照估计值，I_e,j是第i个光照的估计值，m_i(x)表示第i个光照对位于x处的像素的贡献；Z表示总共的样本块，如果m_i值较大，那么意味着第i个光照对此像素的影响大，特别地如果m_i(x)＝1意味着此像素完全处于第i个光照的照射下。光照的覆盖区域概率映射图和输入图像一样大。

利用图像光照估计来校正图像颜色的方法，在得到每个像素的光照估计值之后，根据对角模型逐个像素进行校正，其中f^u(x)表示在未知光照照射下x处的像素值，f^c(x)表示经过校正后其在标准光照照射下呈现出的像素值。Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵，如下式所示：f^c(x)＝Λ^u,c(x)f^u(x)。

利用图像光照估计来校正图像颜色的方法，对角校正模型如下式所示，其中，表示成像时位置：

其中，x表示在图像空间中某一点，R通道测量的光照值；x表示在图像空间中某一点，R通道估计的光照值；空间中某一点R通道的测量光照值比上估计的光照值。为空间中某一点G通道的测量光照值比上估计的光照值；为空间中某一点B通道的测量光照值比上估计 的光照值；Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵。

感兴趣区域图像预处理-----颜色矫正后图像灰度化，如下式所示；G_ray＝R*0.299+G*0.587+B*0.114,其中，式中：R、G、B分别表示红、蓝、绿通道分量值；G_ray表示转换后像素的灰度值。在车道线上更多想要保存到白色和黄色的信息，因此在保证车道线提取误差范围内，弱化了B通道分量值的比例。灰度转换公式如下式：G_ray＝R*0.5+G*0.5。

选取车道线模型，其特征在于：道路的绝大部分路段都是直线路段，将直线模型作为车道线模型计算出的误差仅为3mm。因此，本方法采用直线模型作为车道线的模型。

对灰度化图像车道线边缘提取，其特征在于：在实际道路环境中，车道线通常具有比周围路面更高的亮度，进行灰度化处理后，车道线的灰度值较高。由按行扫描的灰度图可知，车道线部分的值比其两边的值要高，形成一个波峰；呈现从左到右是先升后降趋势；我们利用这些特性，通过计算相邻图像像素的变化来判断车道线的边缘。

基于改进Hough变换的车道线检测方法，其特征在于：Hough变换检测直线的坑噪性能强，能将断开的边缘连接起来，非常适合用于检测不连续的车道标识线。它根据图像空间和Hough参数空间的对偶性原理，将图像中的每个特征点映射到参数空间的累加阵列的多个单元中，统计各个单元的计数以检测出极值，从而确定是否存在直线并获得直线参数。

经典的Hough变换对图像空间中的每一个点映射到极坐标后进行投票统计，当ρ、θ_p的量化越细时，检测的精度就会越高，量化过粗，检测的结果又不会准确。为了解决垂直直线斜率无限大的问题，一般通过如下的直线—极坐标方程进行Hough变换，即ρ＝x cosθ_p+y sinθ_p，为了减少运算复杂度，提高计算的效率，本文在经典Hough变换上做了相应的条件约束，使之能够更适应车道线检测。

需要对检测出车道线进行约束---帧间关联约束，在实际采集***以及大部分的智能车辆***中，车载相机直接获得的是视频流信息，视频流中的 相邻两帧图像间往往具有很大的冗余性。车辆运动在时间上和空间上都具有连续性，由于车载相机的采样频率快(100fps左右)，在图像帧的采样周期内，车辆只是前进了一段很短的距离，道路场景的变化十分微小，表现为前后帧间的车道线位置变化缓慢，因此前一帧图像为后一帧图像提供了非常强的车道线位置信息。为了提高车道线识别算法的稳定性和准确性，本文引入了帧间关联性约束。

步骤如下：假设在当前帧中检测到的车道线个数为m_l条，用集合L_l＝{L₁,L₂,…,L_m}表示；保存的历史帧中检测到的车道线数有n_l个，用集合E_l＝{E₁,E₂,…,E_n}表示；帧间关联约束滤波器用K_l表示，令K_l＝{K₁,K₂,…,K_n}。

首先建立一个C_l＝m_l×n_l的矩阵，矩阵C_l中的元素c_ij表示当前帧中的第i条直线L_i和历史帧中的第j条直线E_j间的距离Δd_ij，其中Δd_ij的计算公式为：T_l是表示矩阵转秩A,B分别代表的是直线L_i、E_j的两个端点。

然后在矩阵C_l中，统计第i行中Δd_ij<T的个数e_i，若e_i<1，说明当前车道线没有与之相关联的前帧车道线，因此将该条车道线作为全新的车道线，更新下一帧帧间关联约束的历史帧信息。

若e_i＝1，则认为当前帧车道线L_i和历史帧车道线E_j在前后帧间是同一条车道线；当e_i>1时，用向量V_i记录当前帧第i行中满足条件的车道线位置，即：在V_i中统计非零元素所在的列j的所有元素V_j，得到V_j中最小的元素，即：(Δd_ij)_min＝min{V_j}(V_j≠0)。

当则得到当前帧车道线L_i和历史帧车道线E_j在前后帧间是同一条车道线。当前帧检测得到的车道线符合帧间相关联约束，则认为在前后帧中是同一条车道线，并显示当前车道线的位置；否则，舍弃当前检测出的车道线。如果累计帧间关联约束次数大于T_α(T_α＝3)，则更新历史帧车道线的参数。

检测出车道线，基于Kalman滤波车道线线跟踪，其特征在于：对结构化道路而言，连续两帧图像中的车道线位置相差不大，可以利用相邻帧之 间的车道线位置的相关性，用前一帧图像获得的信息指导下一帧车道线的检测，以实现车道线的实时跟踪。

失效判别其特征在于：当受到严重干扰如道路中行车或其它物体将车道标识线遮挡，转弯或车辆换道等情况，算法会产生较大误差甚至失效。因此要在检测中加入失效判别机制。一旦约束算法失效的情况下能及时恢复对道路标识线的正确识别。

附图说明

图1为本发明具体实施方式所述的车道检测方法流程图；

图2是本发明具体实施方式所述的利用光照估计来校正图像颜色的方法的流程图；

图3是本发明具体实施方式所述的车道线模型

图4是本发明具体实施方式所述的感兴趣区域。

图5是本发明具体实施方式所述的边缘检测图。

图6是本发明具体实施方式所述的车道线滤波效果。

图7是本发明具体实施方式所述的车道线实验检测结果----路面有污损图

图8是本发明具体实施方式所述的车道线实验检测结果----对向车辆雾天开灯

图9是本发明具体实施方式所述的车道线实验检测结果----常见路面标志的干扰

图10是本发明具体实施方式所述的车道线实验检测结果---傍晚行车

具体实施方式

为详细说明技术方案的技术内容构造特征所实现目的及效果,以下结合具体实例，并配合附图详予说明。

一、总体思路

为了提高车道线识别的实时性和可靠性，提出一种基于视觉的复杂光照条件下实时车道线检测算法。在提取过程中对原图像进行区域划分，再对图像预处理不同光照图像进行光照估计和光照颜色矫正，使其恢复到标准白光下。采用高斯滤波去除图像采集过程中引入的噪声，再对图像进行二值化处理和边缘提取，利用改进的Hough变换得到车道候选线，建立动态的ROI，通过基于动态ROI的Hough变换实现对车道线模型的约束和更新，算法加入了车道线检测失效判别模块，以提高检测的可靠性。如图1所示。

二、确定感兴趣区域

由于视频图像中相邻的图像之间有较大的相关性，大部分图像信息对于车道线检测是无用的，通过寻找对车道线检测有用的感兴趣区域，不但可以降低算法的运算量而且能简化车道线的识别，如图3所示。

在结构化的公路上，车道线有用信息主要是集中在图像的中下部是感兴趣区域，由于考虑到在不同情况下的摄像机安装，或将车头显示在图像中。W_image表示图像的宽度，H_image定义为图像的高度。这样我们可以缩小图像有效检测区域的范围。

三、对感兴趣区域图像预处理--进行颜色矫正本方法采用的步骤如下：首先从监控相机等图像采集装置中获得感兴趣区域图像ψ，对感兴趣区域图像ψ进行颜色校正，得到校正后图像ψ₁；如图2所示，具体步骤如下：

图像的光照估计的目的是将未知光照条件下的图像校正到标准白光下的图像，这个过程简要概括为首先估计出图像成像时的光照颜色，然后利用Von Kries模型将图像映射到标准白光下。也就可以获得更好的图像的白平衡效果。一般可分为以下步骤：

(1)、样本块提取首先从图像中提取样本块。对每个图像样本块，估计照射在该块上的有效光照。

(2)、利用现有的单光照条件下的光照估计算法进行光照估计。基于Grey-Edge颜色恒常性算法框架通过变换参数，***地产生多个不同的颜色恒 常性特征值提取方法。

(3)、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇。因此，所有的光照估计值被聚类到M类(M为场景中的光照个数)。

(4)、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后(M为场景中的光照数)，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就可以得到每种光照的照射位置。由此得到一个光照映射图，即每个像素属于M个光照中的某一个。通过后向映射，可得到每个像素的光照估计值，及像素所在光照类的聚类中心值。

(5)、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器。

(6)、颜色校正，利用每个像素的光照估计值可以把输入图像校正到标准光照下，得到在标准光照下的输出图像，从而消除场景中光照的影响。目前最常用的对角模型来校正图像。

利用图像颜色校正的方法，其特征在于：所述(1)假设每个图像样本块5×5像素并且满足光照在该样本上的光照值是均匀分布的条件(只有一种颜色的光照射到该样本上)。

利用图像光照估计来校正图像颜色的方法，选择的样本块的大小一样，满足以下条件：样本块5×5像素且包含光照颜色信息来准确地估计照射在该样本块上的光照的性质。

基于Grey-Edge颜色恒常性算法框架通过变换参数，如下所示，通过变换参数n，q和σ(n是阶乘，q是明科夫斯范式，σ是高斯滤波器的核函数大小)，f(x)表示空间中x点处的光照值；ε是一个取值范围[0,1]的常数，0表示无反射，1表示全反射；e是指数e，***地产生多个不同的颜色恒常性特征值提取方法。

在该框架下如下式，分割图像得到许多图像的样本块。假设每个样本块是5×5像素并且满足在该样本块中光照是均匀分布的假设。在每个样本块 上，使用常用的单光照的颜色恒常性算法估计该样本块上的光照值。

利用图像光照估计来校正图像颜色的方法，考虑以下五种有代表性的方法：

利用图像光照估计来校正图像颜色的方法，五种候选颜色恒常性计算集合Γ＝{e^0,1,0,e^0,∞,0,e^0,∞,1,e^1,1,1,e^2,1,1}。每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。

利用图像光照估计来校正图像颜色的方法，样本块的特征向量可以描述为F‘＝[R,G,B]，R,G,B为图像的颜色通道，使用归一化的光照估计值，如下所示，这样样本块的特征向量就转化成F＝[r,g]，一个1×2的向量：

利用图像光照估计来校正图像颜色的方法，在光照估计值组成的色度空间中，在对各个样本块的光照估计值进行聚类后，第j个样本块的光照估计值到第i聚类中心的距离可以使用欧氏距离计算，该欧式距离用d_i表示，

d_k表示k[0,M]中第k个样本块聚类中心的距离，Z是总共的样本块，那么该样本块位于第i个光照区域的概率p_j,i如下计算：

第i个光照的覆盖区域概率其中p_j,i表示第j个块被第i个光照照射的概率并且p是输入图像中样本块的总数。

利用图像光照估计来校正图像颜色的方法，为了获得平滑连续的光照分布，在光照覆盖区域概率映射图上进行滤波，我们使用两种滤波器，分别是高斯和中值两种滤波器，高斯滤波器考虑了空间位置信息计算每个估计光照范围的逐个像素概率，中值滤波器的优点是能很好地保留边的信息，使其用于有明显的光照变化的场景。

利用图像光照估计来校正图像颜色的方法，图像每个像素的光照估计值根据如下式进行计算：

其中I_e是场景上的光照估计值，I_e,j是第i个光照的估计值，m_i(x)表示第i个光照对位于x处的像素的贡献；Z表示总共的样本块，

如果m_i值较大，那么意味着第i个光照对此像素的影响大，特别地如果m_i(x)＝1意味着此像素完全处于第i个光照的照射下。光照的覆盖区域概率映射图和输入图像一样大。

利用图像光照估计来校正图像颜色的方法，在得到每个像素的光照估计值之后，根据对角模型逐个像素进行校正，其中f^u(x)表示在未知光照照射下x处的像素值，f^c(x)表示经过校正后其在标准光照照射下呈现出的像素值。

Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵，如下式所示：f^c(x)＝Λ^u,c(x)f^u(x)。

利用图像光照估计来校正图像颜色的方法，对角校正模型如下式所示，其中，表示成像时位置：

其中，x表示在图像空间中某一点，R通道测量的光照值；x表示在图像空间中某一点，R通道估计的光照值；空间中某一点R通道的测量光照值比上估计的光照值。为空间中某一点G通道的测量光照值比上估计的光照值；为空间中某一点B通道的测量光照值比上估计的光照值；。Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵。

三、感兴趣区域图像预处理-----颜色矫正后图像灰度化

如下式所示；G_ray＝R*0.299+G*0.587+B*0.114,其中，式中：R、G、B分别表示红、蓝、绿通道分量值；G_ray表示转换后像素的灰度值。在车道线上更多想要保存到白色和黄色的信息，因此在保证车道线提取误差范围内，弱化了B通道分量值的比例。灰度转换公式如下式：G_ray＝R*0.5+G*0.5。

四、车道线模型

车道线模型，如图3，其特征在于：道路的绝大部分路段都是直线路段，将直线模型作为车道线模型计算出的误差仅为3mm。因此，本方法采用直线模型作为车道线的模型。

其中：(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)是车道线中的坐标，p表示直线位置横向偏向中心垂线的距离，d表示直线消失点距下边线的距离。车道线的斜率角度截距b_τ＝y-kx。

对灰度化图像车道线边缘提取，其特征在于：在实际道路环境中，车道线通常具有比周围路面更高的亮度，进行灰度化处理后，车道线的灰度值较高。由按行扫描的灰度图可知，车道线部分的值比其两边的值要高，形成一个波峰；呈现从左到右是先升后降趋势；我们利用这些特性，通过计算 相邻图像像素的变化来判断车道线的边缘。

具体步骤如下：

设某点是(x,y)，满足y∈[0,H_image)且x∈[2,W_image-2)。x,y分别是像素点的列和行，W_image表示图像的宽度，H_image定义为图像的高度。

Step1：计算点(x,y)水平线附近的均值。其中t∈[1,3,5,7,……]，t＝5能取得很好的效果。

Step2：计算边缘提取阈值T。

Step3：计算边缘的升变点e_p和降变点e_v。

Step4：车道线的升变点和降变点在图像中是成对出现的，并且之间满足一定的距离。比较升变点和降变点的宽度，剔除不满足的点：Δw＝ep(x)-ev(x)。

若Δw>W_max，则认为是不可能出现的车道线，则要舍弃。其中，e_p(x)和e_v(x)分别表示升变点和降变点的列像素坐标，W_max为车道线在图像中占有的最大的像素个数。

五、边缘提取

基于改进Hough变换的车道线检测方法，其特征在于：Hough变换检测直线的坑噪性能强，能将断开的边缘连接起来，非常适合用于检测不连续的车道标识线。它根据图像空间和Hough参数空间的对偶性原理，将图像中的每个特征点映射到参数空间的累加阵列的多个单元中，统计各个单元的计数以检测出极值，从而确定是否存在直线并获得直线参数。

经典的Hough变换对图像空间中的每一个点映射到极坐标后进行投票统计，当ρ、θ_p的量化越细时，检测的精度就会越高，量化过粗，检测的结果又不会准确。为了解决垂直直线斜率无限大的问题，一般通过如下的直线—极坐标方程进行Hough变换，即ρ＝x cosθ_p+y sinθ_p，为了减少 运算复杂度，提高计算的效率，本文在经典Hough变换上做了相应的条件约束，使之能够更适应车道线检测，如图5所示。

给定直线所在大致区域的距离误差限d_h、Hough变换的一系列参数以及均值误差阈值ε_h。改进的Hough变换，算法的具体步骤如下：

Step1.在给定参数下，对车道线特征进行基于概率的Hough变换操作，获取直线；

Step2.对每一个通过Hough变换检测得到的直线，在所有的特征点集S中寻找距离直线不大于d_h的特征点，构成集合E_h；

Step3.利用最小二乘法确定集合E的回归直线参数k_h和b_h，以及均方误差e_h；

Step4.对集合E_h中的任一特征点(x_i,y_i)，所有满足的k_hx_i+b_h>y_i的特征点构成子集E_pos，所有满足的k_hx_i+b_h<y_i的特征点构成子集E_neg；

Step5.在集合E_pos和E_neg中，找出误差最大的点和其中d_h(P)表示点P到回归直线的距离；

Step6.移除点P_p和P_n，更新集合E_pos、E_neg和E_h，重复步骤3，直至误差e_h小于ε_h。

六、车道线进行约束---帧间关联约束

在实际采集***以及大部分的智能车辆***中，车载相机直接获得的是视频流信息，视频流中的相邻两帧图像间往往具有很大的冗余性。车辆运动在时间上和空间上都具有连续性，由于车载相机的采样频率快(100fps左右)，在图像帧的采样周期内，车辆只是前进了一段很短的距离，道路场景的变化十分微小，表现为前后帧间的车道线位置变化缓慢，因此前一帧图像为后一帧图像提供了非常强的车道线位置信息。为了提高车道线识别算法的稳定性和准确性，本文引入了帧间关联性约束。

设计的帧间平滑模型如下式：该式中，Line代表当前帧的认可检测结果，ω_i表示的是权重取值范围是(0,1),l_i表示第i帧的帧内检测结果,z表示关联的帧数。通过对当前帧以及前z帧的帧内检测结果加 权的方式得到了当前帧的认可检测结果。根据该模型，可以得到帧间检测算法。

设置一个帧间缓冲区，如果缓冲区大小为z的话，那么缓冲区存放了当前帧以及之前z-1帧的帧内检测结果。根据性质当z值设置增大时当前帧的检测准确度上升，误检和错检率下降。z过大时，将导致认可检测无法表示当前帧内真实信息，导致检测失败、算法失效程序中断，程序重新执行。因此z的大小直接影响当前帧的检测车道线的精确度。

当z＝1时，检测等同于帧内检测效果，帧间平滑失去意义。z＝15时，意味着同时14帧前的道路情况影响到当前的检测结果，缓冲区的增大带来算法的减慢和帧间平滑聚类算法性能的下降。经过实验结果分析，CUP每处理一张图像耗时40毫秒，1秒要处理25帧图像，z∈[1,25]某一个值能使算法检测的效果达到最优，这个参数值自适应设置，与帧间平滑模型中权重ω_i和噪声的阈值R_th有关。满足如下关系：权重的设置满足于下式：ω_-z+1≤ω_-z+2≤…≤ω_-1≤ω₀；

噪声的阈值R_th，断标准如下：该式表示结果中，第t条车道线特征在z帧内的总加权和占总帧数的比率必须大于阈值R_th，否则认为是噪声车道线。

R_th计算公式：其中c为修正因子区0.2<c<0.3，以保留尖锐的边缘和图像的细节，N_c为图像的像素点数，η为噪声方差。

七、基于Kalman滤波车道线线跟踪

其特征在于：对结构化道路而言，连续两帧图像中的车道线位置相差不大，可以利用相邻帧之间的车道线位置的相关性，用前一帧图像获得的信息指导下一帧车道线的检测，以实现车道线的实时跟踪，如图6所示。

失效判别其特征在于：当受到严重干扰如道路中行车或其它物体将车道标识线遮挡，转弯或车辆换道等情况，算法会产生较大误差甚至失效。因此要在检测中加入失效判别机制。一旦约束算法失效的情况下能及时恢复对 道路标识线的正确识别。如果检测出车道线参数满足以下情况中的一种，本文就判定为算法失效程序中断，程序重新执行。

(1)在动态动态感兴趣区域内，Hough变换检测到的直线个数为零。

(2)不满足车道线约束条件的帧数大于T_β(T_β＝5)。

(3)从当前一帧检测出的车道线参数相对于上一帧发生了突变，即直线的斜率变化率不应超过10度，截距不超过15个像素。

图6-10是车道线检测效果图。

Claims (10)

1.一种复杂光照条件下基于视觉的实时车道线检测的方法，其特征在于，所述方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果即图像降采样设置感兴趣区域，图像预处理，建立车道线模型，Hough变换候选车道线，kalman滤波，判别模块；

(1)对感兴趣区域图像预处理--进行颜色校正；

步骤一、样本块提取首先从图像中提取ψ个样本块；对每个图像样本块，估计照射在该块上的有效光照；

步骤二、利用现有的单光照条件下的光照估计算法进行光照估计；基于Grey-Edge颜色恒常性算法框架通过变换参数，产生多个不同的颜色恒常性特征值提取方法；

步骤三、样本块光照估计值的聚类，把来自于同一光照下的图像块被聚类到一起以形成一个大的图像块，以便产生一个更为准确的光照估计值，同一光照照射下的块更易于聚类到同一簇；所有的光照估计值被聚类到M类；其中M为场景中的光照个数；

步骤四、聚类结果的后向映射在把基于样本块的光照估计值聚类到M类后，把聚类的结果逐个映射到原始图像，也就是说，属于同一样本块的像素属于同一聚类，这样就得到每种光照的照射位置；由此得到一个光照映射图，即每个像素属于M个光照中的某一个；通过后向映射，得到每个像素的光照估计值，及像素所在光照类的聚类中心值；

步骤五、对于重叠光照的区域，在后向映射的光照估计值的分类结果上使用高斯滤波器；

步骤六、颜色校正，利用每个像素的光照估计值把输入图像校正到标准光照下，得到在标准光照下的输出图像

(2)颜色校正后图像灰度化，如下式所示；其中，式中：R、G、B分别表示红、蓝、绿通道分量值；G_ray表示转换后像素的灰度值；G_ray＝R*0.5+G*0.5

(3)对灰度化图像车道线边缘提取后进行改进的Hough变换，具体步骤如下：

Step1.在给定参数下，对车道线特征进行基于概率的Hough变换操作，获取直线；

Step2.对每一个通过Hough变换检测得到的直线，在所有的特征点集S中寻找距离直线不大于d_h的特征点，构成集合E_h；

Step3.利用最小二乘法确定集合E的回归直线参数k_h和b_h,其中k_h是直线的斜率，b_h是直线的截距，以及均方误差e_h；

Step4.对集合E_h中的任一特征点(x_i,y_i)，所有满足的k_hx_i+b_h>y_i的特征点构成子集E_pos，所有满足的k_hx_i+b_h<y_i的特征点构成子集E_neg；

Step5.在集合E_pos和E_neg中，找出误差最大的点P_p和P_n，

Step6.移除点P_p和P_n，更新集合E_pos、E_neg和E_h，重复步骤3，直至误差e_h小于ε_h；

(4)检测出车道线，基于Kalman滤波车道线线跟踪，

(5)车道线帧间关联关系

(6)如果检测出车道线参数满足以下情况中的一种，就判定为算法失效；程序中断，程序从头开始执行，

1)在动态感兴趣区域内，Hough变换检测到的直线个数为零；

2)不满足车道线约束条件的帧数大于T_β,T_β＝5；

3)从当前一帧检测出的车道线参数相对于上一帧发生了突变，即直线的斜率变化率不应超过10度，截距不超过15个像素。

2.根据权利要求1所述利用图像光照估计来校正图像颜色的方法，选择的样本块的大小一样，满足以下条件：样本块5×5像素并且包含光照颜色信息来准确地估计照射在该样本块上的光照的性质。

3.根据权利要求1所述，其特征在于：五种候选颜色恒常性计算集合Γ＝{e^0,1,0,e^0,∞,0,e^0,∞,1,e^1,1,1,e^2,1,1}；每个样本块的特征是由选择的颜色恒常性算法的光照估计值组成。

4.根据权利要求1所述的方法，其特征在于：样本块的特征向量描述为F‘＝[R,G,B]，R,G,B为图像的颜色通道，使用归一化的光照估计值，如下所示，这样样本块的特征向量就转化成F＝[r,g]，一个1×2的向量：

5.根据权利要求1所述的方法，其特征在于：在光照估计值组成的色度空间中，在对各个样本块的光照估计值进行聚类后，第j个样本块的光照估计值到第i聚类中心的距离使用欧氏距离计算，该欧式距离用d_i表示，d_k表示k[0,M]中第k个样本块聚类中心的距离，Z是总共的样本块，那么该样本块位于第i个光照区域的概率p_j,i如下计算：

第i个光照的覆盖区域概率其中p_j,i表示第j个块被第i个光照照射的概率并且M是输入图像中样本块的总数。

6.根据权利要求1所述的方法，其特征在于：图像每个像素的光照估计值根据如下式进行计算：

其中I_e是场景上的光照估计值，I_e,j是第i个光照的估计值，m_i(x)表示第i个光照对位于x处的像素的贡献；Z表示总共的样本块。

7.根据权利要求1所述的方法，其特征在于：在得到每个像素的光照估计值之后，根据对角模型逐个像素进行校正，其中f^u(x)表示在未知光照照射下x处的像素值，f^c(x)表示经过校正后其在标准光照照射下呈现出的像素值；Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵，如下式所示：f^c(x)＝Λ^u,c(x)f^u(x)。

8.根据权利要求1所述方法，其特征在于：对角校正模型如下式所示，其中，表示成像时位置：

其中，x表示在图像空间中某一点，R通道测量的光照值；x表示在图像空间中某一点，R通道估计的光照值；空间中某一点R通道的测量光照值比上估计的光照值；为空间中某一点G通道的测量光照值比上估计的光照值；为空间中某一点B通道的测量光照值比上估计的光照值；Λ^u,c(x)是在x处从未知光照到标准光照的映射矩阵。

9.根据权利要求1所述的方法，其特征在于，对灰度化图像车道线边缘提取，设某点是(x,y)，满足y∈[0,h_image)且x∈[2,w_iamge-2)；x,y分别是像素点的列和行，w_iamge是图像的宽度，h_iamge是图像的高度；

Step1：计算点(x,y)水平线附近的均值；其中，t＝5；

Step2：计算边缘提取阈值T；

Step3：计算边缘的升变点e_p和降变点e_v；

e_p∈{f(x+2,y)-f(x,y)>T}

e_v∈{f(x+2,y)-f(x,y)<-T}

Step4：车道线的升变点和降变点在图像中是成对出现的，并且之间满足一定的距离；比较升变点和降变点的宽度，剔除不满足的点：Δw＝e_p(x)-e_v(x)；

若Δw>W_max，则认为是不可能出现的车道线，则要舍弃；其中，e_p(x)和e_v(x)分别表示升变点和降变点的列像素坐标，W_max为车道线在图像中占有的最大的像素个数。

10.根据权利要求1所述的方法，其特征在于，设计的帧间平滑模型如下式：该式中，Line代表当前帧的认可检测结果，ω_i表示的是权重取值范围是(0,1),l_i表示第i帧的帧内检测结果,z表示关联的帧数；通过对当前帧以及前z帧的帧内检测结果加权的方式得到了当前帧的认可检测结果；根据该模型，得到帧间检测算法；设置一个帧间缓冲区，如果缓冲区大小为z的话，那么缓冲区存放了当前帧以及之前z-1帧的帧内检测结果；根据性质当z值设置增大时当前帧的检测准确度上升，误检和错检率下降；z∈[1,25]且满足如下关系：权重的设置满足于下式：ω_-z+1≤ω_-z+2≤…≤ω_-1≤ω₀；噪声的阈值R_th，断标准如下：该式表示结果中，第t条车道线特征在z帧内的总加权和占总帧数的比率必须大于阈值R_th，否则认为是噪声车道线；R_th计算公式：其中c为修正因子区0.2<c<0.3，以保留尖锐的边缘和图像的细节，N_c为图像的像素点数，η为噪声方差。