CN109583365B - 基于成像模型约束非均匀b样条曲线拟合车道线检测方法 - Google Patents

Abstract

基于成像模型约束非均匀B样条曲线拟合车道线检测方法，首先对图像进行中值滤波和直方图均衡化处理，得到增强后的车道线图像；其次采用Canny算子对图像进行边缘检测，得到车道线边缘图像；然后对边缘图像进行Hough变换直线检测，提高边缘连续性的同时减少背景干扰边缘；再次基于“相机光轴与道路平面平行”以及“左右车道线平行”的假设，在相机几何成像模型的基础上，推导车道线‑相机成像模型约束下的控制点估算模型；最后结合车道线边缘像素位置信息求解非均匀B样条曲线模型参数，实现车道线拟合。本发明能有效提高提高控制点定位精度和车道线检测准确度，提高基于曲线拟合的车道线检测算法对背景干扰的鲁棒性。

Description

基于成像模型约束非均匀B样条曲线拟合车道线检测方法

技术领域

本发明属于交通视频检测领域，具体涉及一种基于成像模型约束非均匀B样条曲线拟合车道线检测方法。

背景技术

当前无人驾驶技术是智能交通领域的研究热点，国内外众多科研院所、企业的大量科研投入大大推进了无人驾驶技术的迅猛发展。车道线作为车辆进行车道保持、变道等驾驶行为的必要信息，是无人车行车环境感知中的一项重要环境数据，因此车道线检测方法的性能优劣对无人车环境感知***性能乃至整个无人车驾驶***的安全性有着不可忽视的影响。

车道线检测的主要目的是从视频图像中提取车道线的位置信息。目前常用的车道线检测方法大致可分为基于区域、基于特征和基于模型三类，而其中以基于模型的车道线检测方法最为普遍。这类方法通常基于结构化道路的车道线走向可以用特定的数学模型来逼近这一思想，针对直线型、抛物线型、蛇型等不同走向的车道线采用直线、抛物线、双曲线、样条曲线等数学模型来拟合，从而在保证车道线检测准确性的同时大大降低检测成本。其中样条曲线由分段多项式表达，可精确拟合任意形状的曲线，因此在车道线检测中得到了广泛应用。分析相关研究可知控制点的确定是B样条曲线拟合车道线的关键，然而车辆遮挡、树荫、建筑物阴影、路面破损等干扰，为模型控制点的提取增加了不少难度，从而影响车道线拟合的准确性甚至导致拟合失败。因此，如何有效地提高控制点提取对背景干扰(车辆遮挡、树荫、建筑物阴影、路面其他标识、路面破损等)的鲁棒性，提高控制点定位精度的同时兼顾算法时间成本，成为提高基于样条曲线模型的车道线检测方法效率的关键问题。

发明内容

本发明的目的在于克服传统基于样条曲线模型的车道线检测方法易受背景干扰，导致控制点定位不准或失败的问题，提供基于成像模型约束非均匀B样条曲线拟合车道线检测方法，该方法能够有效提高控制点定位精度的同时兼顾算法时间成本，得到较好的检测结果，有效地提高了车道线检测效率。

为了实现上述目的，本发明采取如下的技术解决方案予以实现：

基于成像模型约束非均匀B样条曲线拟合车道线检测方法，包括以下步骤：

步骤一：图像预处理；

从卡内基梅隆图像数据库中的车道线标准图像库中获取原始车道线图像I，对原始车道线图像I进行中值滤波去除椒盐噪声，再进行直方图均衡化增强图像的亮度和对比度，使边缘特征突出，得到增强后的车道线图像I₁；

步骤二：边缘检测；

对增强后的车道线图像I₁采用Canny算子进行边缘检测，得到初始车道线边缘图像I₂；

步骤三：Hough直线检测；

对步骤二中得到的初始车道线边缘图像I₂进行Hough直线检测，保留包含直线检测结果的边缘，去除其余干扰边缘，得到边缘图像I₃；

步骤四：推导成像模型约束条件；

推导得到的成像模型约束条件为：

在世界坐标系中长度为ΔY的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

在世界坐标系中宽度为ΔX的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

步骤五：非均匀B样条曲线控制点提取；

以对应世界坐标系中ΔY的长度在图像中按成像模型约束设置扫描线，每条扫描线与左右车道边缘的交点即为一对控制点；

步骤六：车道线拟合；

由步骤五得到非均匀B样条曲线控制点信息，再利用NUBS插值方法对左右车道线进行拟合，完成对车道线的检测。

本发明进一步的改进在于，步骤一中，进行中值滤波时，采用中值滤波函数f^(x,y)为：

其中f^(x,y)为中值滤波输出，S_xy表示中心在(x,y)，尺寸为M×N的矩形子图像窗口的坐标组， f(a,b)为坐标为(a,b)的像素灰度值。

本发明进一步的改进在于，步骤一中，进行直方图均衡化时，直方图均衡化函数s_k为：

其中s_k为直方图均衡化输出，r_k代表离散灰度级，0≤r_k≤255，k＝0,1,2,…,n-1，n_i为图像中出现灰度r_i的像素数，n是图像中的像素总数，

就是概率论中的频数。

本发明进一步的改进在于，步骤二的具体步骤如下：

(1)用高斯滤波器平滑图像I₁；

高斯平滑函数G(x,y)为：

用G(x,y)与增强后的车道线图像I₁进行卷积，得到平滑图像f₁；

f₁(x,y)＝I₁(x,y)*G(x,y) (4)

(2)用一阶偏导的有限差分来计算梯度的幅值和方向，得到梯度图像f₂；

一阶微分卷积模板

(3)对梯度幅值进行非极大值抑制，得到非极大值抑制图像f₃；

在梯度图像f₂的每一点上，将8邻域的中心像素S与沿着梯度线的两个像 素相比；如果 S的梯度值不比沿梯度线的两个相邻像素梯度值大，则令S＝0；

(4)用双阈值算法检测和连接边缘；

对非极大值抑制图像f₃设置两个阈值T₁和T₂，T₁＝0.4T₂，将梯度值小于T₁的像素的灰度值设为0，得到图像f₄；然后将梯度值小于T₂的像素的灰度值设为0，得到图像f₅；以图像f₅为基础，以图像f₄为补充，连结图像的边缘，得到初始车道线边缘图像I₂。

本发明进一步的改进在于，步骤三的具体步骤如下：

(1)Hough直线检测；

对于直角坐标系中的任意一点A(x₀,y₀)，经过点A的直线满足

y＝kx+l(5)

其中k是斜率，l是截距，则在X-Y平面过点A(x₀,y₀)的直线簇均用式(5)表示，对于垂直于X轴的直线斜率是无穷大的则无法表示；因此将直角坐标系转换到极坐标系；

在极坐标系中表示直线的方程为ρ＝xcosθ+ysinθ(6)

其中ρ为原点到直线的法线距离，θ为法线与X轴的正向夹角；则图像空间中的一点对应极坐标系ρ-θ中的一条正弦曲线；通过检测ρ-θ空间的交集点来检测图像空间中的直线；将ρ，θ离散化，在参数θ对应的每一取值，分别按照公式(6)计算相应的参数ρ的取值，然后在相应的参数累加单元中加1；最后统计每个累加单元的取值，大于预设的阈值H则认为该组参数是图像空间内的直线的参数，从而在图像中标记出直线；

(2)去除干扰边缘；

对步骤(1)标记出的直线中的每一个边缘像素，搜索包含该像素的整条边缘并保留，剔除与标记的直线无共同像素点的边缘，从而得到边缘图像I₃。

本发明进一步的改进在于，步骤四的具体过程为：

假设相机光轴与车辆行驶道路平面平行以及左右车道线平行；

已知世界坐标系(X,Y,Z)和图像坐标系(U,V)，相机最大水平视角为α，最大垂直视角为β，相机安装位置在世界坐标系中的坐标为C(d,0,h)，其中h为相机安装高度，即相机在世界坐标系Z轴上的值，d为相机安装水平偏移，即相机在世界坐标系中X轴上的值；相机光轴与车辆行驶道路平面平行，与车道线夹角为γ；根据相机几何成像模型，世界坐标系(X,Y,Z)中路面上某点P(x,y,0)与图像坐标系(U,V)中相对坐标点Q(u,v)的映射模型为：

式中H_I，W_I分别为相机成像后图像的水平、垂直分辨率；

根据相机成像原理，成像后图像中车道线线段长度是随着世界坐标系中车道线线段与相机距离的增加而缩短，同理，在世界坐标系中路面上相同的左右车道线间距，在近视场中成像得到的车道线间距较宽，在远视场中成像得到的车道线间距较窄；再结合几何相机成像模型，推导出在世界坐标系中长度为ΔY的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

在世界坐标系中宽度为ΔX的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

本发明进一步的改进在于，步骤五的具体过程为：

从车道线边缘图像底部开始，在v_i行设置水平扫描线Line i，m≤i≤n，在Line i与左右车道线的交点处得到控制点对(Li，R_i)，其中L_i的坐标为(u_i,v_i)，R_i坐标为(u_i',v_i)；根据成像模型约束条件定义v_i计算公式为：

根据式(8)、(10)、(11)推导出：

其中v₁，Δv₁为预设值；将式(14)代入式(13)依次求出v_i的值；由此求出第i条扫描线Line i所确定的控制点纵坐标等于v_i；从扫描线中点分别向左右两边搜索边缘点，得到的第一对扫描线与左右车道线的交点即为控制点，从而确定一对控制点的坐标(u_i,v_i)和(u′_i,v_i)。

本发明进一步的改进在于，步骤五的具体过程为：

假设左右车道线平行，求解第i条扫描线Line i所确定的控制点L_i、R_i的横坐标u_i和u′_i；根据成像模型约束条件以及式(14)推导出Δu_i+1与Δu_i的关系式为：

u′_i＝u_i+Δu_i (16)

其中相机光轴与车道线夹角γ按如下公式计算：

对于车道线边缘缺失导致控制点丢失的情况，在相邻控制点对L₁、L₂已知的情况下，根据公式(15)-(17)计算出该控制点的横坐标u₂；对于由虚假边缘导致的控制点错误定位的情况，验证所有相邻控制点对间距宽度比值是否满足式(15)，从而检测错误控制点坐标并根据式 (15)-(17)对其进行重新定位。

本发明进一步的改进在于，步骤六的具体过程为：

假设B样条曲线S由n+1个控制点集合{P₀,P₁,...P_n}构成，则曲线S上的各点满足：

其中B_i,m(o)为基本B样条函数，2≤m≤n+1，t_min≤u≤t_max，t_j为节点，j＝0,...,i+m，当各节点 t_j之间等距时，称该B样条曲线为均匀B样条曲线，否则为非均匀B样条曲线；根据NUBS 插值法，若已知m对控制点，m≥3，则车道线采用m-1阶多项式函数进行拟合；若能够确定 4对控制点，则采用三阶多项式函数进行NUBS插值从而拟合出车道线；若只确定了3对控制点，则采用二阶多项式函数拟合车道线。

与现有技术相比，本发明具有的有益效果：本发明首先对图像进行中值滤波和直方图均衡化处理，得到增强后的车道线图像；其次采用Canny算子对图像进行边缘检测，得到车道线边缘图像；然后对边缘图像进行Hough变换直线检测，提高边缘连续性的同时减少背景干扰边缘；最后结合车道线边缘像素位置信息求解非均匀B样条曲线模型参数，实现车道线拟合。本发明能有效提高提高控制点定位精度和车道线检测准确度，提高基于曲线拟合的车道线检测算法对背景干扰的鲁棒性。

进一步的，基于“相机光轴与道路平面平行”以及“左右车道线平行”的假设，在相机几何成像模型的基础上，推导车道线-相机成像模型约束下的控制点估算模型；能够降低车辆遮挡、树荫、建筑物阴影、路面破损以及各种非车道线路面标线对控制点确定造成的干扰，提高非均匀B样条曲线控制点提取方法的鲁棒性，提高车道线检测准确度。

附图说明

图1是相机在世界坐标系中的位置示意图；

图2是车道线连续情况下的控制点确定过程示意图；

图3是车道线检测结果一；

图4是车道线不连续情况下的控制点确定过程示意图；

图5是车道线检测结果二；

图6是基于成像模型约束的非均匀B样条曲线拟合车道线检测算法流程图。

具体实施方式

下面结合附图对本发明进行详细说明。

本发明提供的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，包括以下步骤：

步骤一：图像预处理；

从卡内基梅隆图像数据库中的车道线标准图像库中获取原始车道线图像I，对原始车道线图像I进行中值滤波去除椒盐噪声，再进行直方图均衡化增强图像的亮度和对比度，使边缘特征突出，得到增强后的车道线图像I₁。

中值滤波函数f^(x,y)

其中f^(x,y)为中值滤波输出，S_xy表示中心在(x,y)，尺寸为M×N的矩形子图像窗口的坐标组， f(a,b)为坐标为(a,b)的像素灰度值。

直方图均衡化函数s_k

其中s_k为直方图均衡化输出，r_k代表离散灰度级(0≤r_k≤255，k＝0,1,2,…,n-1)，n_i为图像中出现r_i这种灰度的像素数，n是图像中的像素总数，

就是概率论中的频数。

步骤二：边缘检测；

对增强后的车道线图像I₁采用Canny算子进行边缘检测，得到初始车道线边缘图像I₂。

具体步骤如下：

(1)用高斯滤波器平滑图像I₁；

高斯平滑函数G(x,y)

用G(x,y)与图像I₁进行卷积，得到平滑图像f₁

f₁(x,y)＝I₁(x,y)*G(x,y) (4)

(2)用一阶偏导的有限差分来计算梯度的幅值和方向，得到梯度图像f₂；

一阶微分卷积模板

(3)对梯度幅值进行非极大值抑制，得到非极大值抑制图像f₃；

在梯度图像f₂的每一点上，将8邻域的中心像素S与沿着梯度线的两个像 素相比。如果 S的梯度值不比沿梯度线的两个相邻像素梯度值大，则令S＝0。

(4)用双阈值算法检测和连接边缘。

对非极大值抑制图像f₃设置两个阈值T₁和T₂，T₁＝0.4T₂。把梯度值小于T₁的像素的灰度值设为0，得到图像f₄。然后把梯度值小于T₂的像素的灰度值设为0，得到图像f₅。以图像f₅为基础，以图像f₄为补充来连结图像的边缘，得到边缘图像I₂。

步骤三：Hough直线检测；

对步骤二中得到的车道线边缘图像I₂进行Hough直线检测，只保留那些包含直线检测结果的边缘，去除其余干扰边缘，得到边缘图像I₃。具体步骤如下：

(1)Hough直线检测；

对于直角坐标系中的任意一点A(x₀,y₀)，经过点A的直线满足

y＝kx+l(5)

其中k是斜率，l是截距。那么在X-Y平面过点A(x₀,y₀)的直线簇均可以用式(5)表示，但对于垂直于X轴的直线斜率是无穷大的则无法表示。因此将直角坐标系转换到极坐标系就能解决该特殊情况。

在极坐标系中表示直线的方程为ρ＝xcosθ+ysinθ(6)

其中ρ为原点到直线的法线距离，θ为法线与X轴的正向夹角。则图像空间中的一点对应极坐标系ρ-θ中的一条正弦曲线。通过检测ρ-θ空间的交集点来检测图像空间中的直线。将ρ，θ离散化，在参数θ对应的每一取值，分别按照公式(6)计算相应的参数ρ的取值，然后在相应的参数累加单元中加1。最后统计每个累加单元的取值，大于预设的阈值H就认为该组参数便是图像空间内的直线的参数，从而在图像中标记出直线；

(2)去除干扰边缘；

对步骤(1)标记出的直线中的每一个边缘像素，搜索包含该像素的整条边缘并保留，剔除那些与标记的直线无共同像素点的边缘，从而得到边缘图像I₃。

步骤四：成像模型约束条件推导；

基于相机几何成像模型，在“相机光轴与车辆行驶道路平面平行”以及“左右车道线平行”的假设基础上，推导成像模型约束条件。

已知世界坐标系(X,Y,Z)和图像坐标系(U,V)，相机最大水平视角为α，最大垂直视角为β，相机安装位置在世界坐标系中的坐标为C(d,0,h)，其中h为相机安装高度，即相机在世界坐标系Z轴上的值，d为相机安装水平偏移，即相机在世界坐标系中X轴上的值。相机光轴与车辆行驶道路平面平行，与车道线夹角为γ。根据相机几何成像模型，可知世界坐标系(X,Y,Z) 中路面上某点P(x,y,0)与图像坐标系(U,V)中相对坐标点Q(u,v)的映射模型为：

式中H_I，W_I分别为相机成像后图像的水平、垂直分辨率。

根据相机成像原理可知，成像后图像中车道线线段长度是随着世界坐标系中车道线线段与相机距离的增加而缩短的，即在世界坐标系中路面上长度相等的车道线线段，在近视场中成像得到的车道线线段较长，而在远视场中成像得到的车道线线段较短。同理，在世界坐标系中路面上相同的左右车道线间距，在近视场中成像得到的车道线间距较宽，而在远视场中成像得到的车道线间距较窄。根据这一成像事实，结合前述相机成像模型，可以推导出在世界坐标系中长度为ΔY的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

而在世界坐标系中宽度为ΔX的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

步骤五：非均匀B样条曲线控制点提取；

为了求解NUBS曲线模型参数，需要首先确定合适的控制点，方法为：从车道线边缘图像底部开始，以“对应世界坐标系中ΔY的长度”在图像中按成像模型约束设置扫描线，每条扫描线与左右车道边缘的交点即为一对控制点。该过程的数学描述如下：从车道线边缘图像底部开始，在v_i行设置水平扫描线Line i(m≤i≤n)，在Line i与左右车道线的交点处得到控制点对(Li，R_i)，其中L_i的坐标为(u_i,v_i)，R_i坐标为(u_i',v_i)。由于车道线在图像中整体呈纵向延伸趋势，各控制点对的纵坐标依次减小，该趋势不受相机光轴与车道线夹角γ影响，因此为简化计算过程忽略γ的值，根据成像模型约束定义v_i计算公式为：

根据式(8)、(10)、(11)推导出：

其中v₁，Δv₁为预设值。将式(14)代入式(13)即可依次求出v_i的值。由此可以求出第i条扫描线Line i所确定的控制点纵坐标等于v_i。从扫描线中点分别向左右两边搜索边缘点，得到的第一对扫描线与左右车道线的交点即为控制点，进而可得知该控制点对的横坐标，从而确定其坐标(u_i,v_i)和(u′_i,v_i)。

上述控制点确定过程是在假设左右车道线均无遮挡，即每条扫描线确定的控制点就是扫描线与左右车道线的交点。然而，实际检测得到的车道线往往存在由于车辆遮挡、树荫、建筑物阴影、路面破损造成的干扰边缘或不连续边缘。此外，虚车道线边缘也是不连续的。这样就会造成扫描线与左车道线或者右车道线的交点不是实际的正确交点，或者不存在交点。

针对上述问题，本发明在前述控制点确定方法的基础上，结合“左右车道线平行”的假设，求解第i条扫描线Line i所确定的控制点L_i、R_i的横坐标u_i和u′_i。根据成像模型约束以及式 (12)推导出Δu_i+1与Δu_i的关系式为：

u′_i＝u_i+Δu_i (16)

其中相机光轴与车道线夹角γ按如下公式计算：

对于车道线边缘缺失导致控制点丢失的情况，可以在相邻控制点对L₁、L₂已知的情况下，用根据公式(15)-(17)计算出该控制点的横坐标u₂；对于由虚假边缘导致的控制点错误定位的情况，可以验证所有相邻控制点对间距宽度比值是否满足式(15)，从而检测错误控制点坐标并根据式(15)-(17)对其进行重新定位。

步骤六：车道线拟合。

由步骤五所述控制点确定方法得到了车道线边缘控制点信息，就可以利用NUBS插值方法对左右车道线进行拟合。B样条曲线数学模型为：

假设B样条曲线S由n+1个控制点集合{P₀,P₁,...P_n}构成，则曲线S上的各点满足：

其中B_i,m(o)为基本B样条函数，2≤m≤n+1，t_min≤u≤t_max，t_j(j＝0,...,i+m)为节点，当各节点 t_j之间等距时，称该B样条曲线为均匀B样条曲线，否则为非均匀B样条曲线。根据NUBS 插值法可知：若已知m(m≥3)对控制点，则车道线可用m-1阶多项式函数进行拟合。若能够确定4对控制点，则可采用三阶多项式函数进行NUBS插值从而拟合出车道线；若只确定了3 对控制点，则可采用二阶多项式函数拟合车道线。

将步骤五所确定的控制点坐标代入式(18)，求解出样条曲线S(u)并在原始车道线图像I中显示出来，完成对车道线的检测。

下面通过一个具体实施例进行说明。

参见图6，本发明的方法对一幅大小为W_I×H_I(240×256)的车道线图像进行边缘检测，经成像模型约束结合车道线边缘位置信息来确定控制点，从而求解非均匀B样条曲线参数，实现车道线检测。

具体采用以下几个步骤实现：

步骤一：从卡内基梅隆图像数据库中的车道线标准图像库中获取原始车道线图像I，对图像I进行中值滤波去除椒盐噪声，再进行直方图均衡化增强图像的亮度和对比度，使边缘特征突出，得到增强后的车道线图像I₁。本发明中中值滤波时取3×3的矩形子图像窗口，直方图均衡化时灰度离散参数r_k范围为0≤r_k≤255。

步骤二：对增强后的原始车道线图像I₁采用Canny算子进行边缘检测，得到初始车道线边缘图像I₂。本发明中进行边缘检测时采用的高斯平滑函数的平滑参数σ＝1，一阶微分卷积模板

双阈值T₁和T₂为默认值，满足T₁＝0.4T₂。

步骤三：对步骤二中得到的初始车道线边缘图像I₂采用Hough算法进行Hough直线检测，对标记出的直线中的每一个边缘像素，搜索包含该像素的整条边缘并保留，剔除那些与标记的直线无共同像素点的边缘，从而得到边缘图像I₃。本发明中Hough算法的参数均为默认值；

步骤四：从车道线边缘图像I₃底部开始，在vi行设置水平扫描线Line i(2≤i≤6)，在Line i与左右车道线的交点处得到控制点对(Li，R_i)，其中L_i的坐标为(u_i,v_i)，R_i坐标为(u_i',v_i)。本发明中v₁＝0，Δv₁＝20为预设值。将式(14)代入式(13)即可依次求出v_i的值。由此可以求出第i 条扫描线Line i所确定的控制点纵坐标等于v_i。从扫描线中点分别向左右两边搜索边缘点，得到的第一对扫描线与左右车道线的交点即为控制点，进而可得知该控制点对的横坐标，从而确定其坐标(u_i,v_i)和(u′_i,v_i)。

实际检测得到的车道线由于车辆遮挡、树荫、建筑物阴影、路面破损或虚车道线造成的干扰边缘或不连续边缘。对于车道线边缘缺失导致控制点丢失的情况，可以在相邻控制点对 L₁、L₂已知的情况下，用根据公式(15)-(17)计算出该控制点的横坐标u₂；对于由虚假边缘导致的控制点错误定位的情况，可以验证所有相邻控制点对间距宽度比值是否满足式(15)，从而检测错误控制点坐标并根据式(15)-(17)对其进行重新定位。

步骤五：由步骤四所述控制点确定方法得到了车道线边缘控制点信息，就可以利用NUBS 插值方法对左右车道线进行拟合。若能够确定4对控制点，则可采用三阶多项式函数进行 NUBS插值从而拟合出车道线；若只确定了3对控制点，则可采用二阶多项式函数拟合车道线。将步骤四所确定的控制点坐标代入式(18)，求解出样条曲线S(u)并在原始车道线图像I中显示出来，完成对车道线的检测。

对于一幅大小为240×256的车道线图像进行中值滤波和直方图均衡化操作，采用Canny 边缘检测算子提取车道线的边缘特征。然后对车道线边缘图像进行Hough直线检测：结合“近视场的车道线边缘呈直线型”的特点，对车道线边缘图像进行Hough直线检测，只保留那些包含直线检测结果的边缘，据此进一步消除那些由背景建筑、树荫、障碍物、路面孔洞、裂缝等形成的干扰边缘。

图1是相机在世界坐标系中的位置示意图，根据相机成像原理，推导出成像模型如式 (11)-(12)。

图2是车道线边缘连续情况下的控制点确定过程示意图。预设v₁＝0，Δv₁＝20，将式(14) 代入式(13)即可依次求出v_i的值：v₂＝167，v₃＝117，v₄＝78，v₅＝46，v₆＝21。从车道线边缘图像底部开始，在v_i行设置水平扫描线Line i(2≤i≤6)，在Line i与左右车道线的交点处得到控制点对(Li,R_i)，其中L_i的坐标为(u_i,v_i)，R_i坐标为(u′_i,v_i)。由此可以求出第i条扫描线Line i所确定的控制点纵坐标等于v_i。从扫描线中点分别向左右两边搜索边缘点，得到的第一对扫描线与左右车道线的交点即为控制点，进而可得知该控制点对的横坐标，从而确定其坐标(u_i,v_i) 和(u_i',v_i)。据此得到5组控制点对坐标{(92,21)(117,21)}，{(80,46)(145,46)}，{(67,78)(175,78)}， {(51,117)(212,117)}，{(33,167)(254,167)}。然后根据NUBS插值算法，采用四阶多项式函数进行NUBS插值，得到的拟合曲线显示在车道线图像中如图3所示。

图4是车道线边缘不连续情况下的控制点确定过程示意图。同样预设v₁＝0，Δv₁＝20，将式(14)代入式(13)即可依次求出v_i的值：v₂＝167，v₃＝117，v₄＝78，v₅＝46，v₆＝21。从车道线边缘图像底部开始，在v_i行设置水平扫描线Line i(2≤i≤6)，其中Line 5和Line 6与左车道线的交点缺失，只初步确定出3个左车道线控制点分别为{(15,167),(39,117),(59,78)}；5个右车道线控制点分别为{(253,167),(213,117),(181,78),(155,46),(134,21)}。根据式(10)-(12)估算出Δu₅＝80，u₅＝75；Δu₆＝46，u₆＝88。从而确定出左车道线缺失的两个控制点坐标分别为(75,46)， (88,21)。然后根据NUBS插值算法，采用四阶多项式函数进行NUBS插值，得到的拟合曲线显示在车道线图像中如图5所示。

从图3和5可以看出，按照上述方法进行车道线检测，实现了较好的检测结果。本实施例表明，本发明的方案能有效提高非均匀B样条曲线模型的控制点定位准确度和成功率，同时兼顾计算量，有较好的检测准确率和实时性。

以上给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡是在本申请方案基础上做的同等变换均落入本发明的保护范围。

Claims (7)

1.基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，包括以下步骤：

步骤一：图像预处理；

从卡内基梅隆图像数据库中的车道线标准图像库中获取原始车道线图像I，对原始车道线图像I进行中值滤波去除椒盐噪声，再进行直方图均衡化增强图像的亮度和对比度，使边缘特征突出，得到增强后的车道线图像I₁；

步骤二：边缘检测；

对增强后的车道线图像I₁采用Canny算子进行边缘检测，得到初始车道线边缘图像I₂；

步骤三：Hough直线检测；

对步骤二中得到的初始车道线边缘图像I₂进行Hough直线检测，保留包含直线检测结果的边缘，去除其余干扰边缘，得到边缘图像I₃；

步骤四：推导成像模型约束条件；

推导得到的成像模型约束条件为：

在世界坐标系中长度为ΔY的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

在世界坐标系中宽度为ΔX的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

步骤四的具体过程为：

假设相机光轴与车辆行驶道路平面平行以及左右车道线平行；

已知世界坐标系(X,Y,Z)和图像坐标系(U,V)，相机最大水平视角为α，最大垂直视角为β，相机安装位置在世界坐标系中的坐标为C(d,0,h)，其中h为相机安装高度，即相机在世界坐标系Z轴上的值，d为相机安装水平偏移，即相机在世界坐标系中X轴上的值；相机光轴与车辆行驶道路平面平行，与车道线夹角为γ；根据相机几何成像模型，世界坐标系(X,Y,Z)中路面上某点P(x,y,0)与图像坐标系(U,V)中相对坐标点Q(u,v)的映射模型为：

式中H_I，W_I分别为相机成像后图像的水平、垂直分辨率；

根据相机成像原理，成像后图像中车道线线段长度是随着世界坐标系中车道线线段与相机距离的增加而缩短，同理，在世界坐标系中路面上相同的左右车道线间距，在近视场中成像得到的车道线间距较宽，在远视场中成像得到的车道线间距较窄；再结合几何相机成像模型，推导出在世界坐标系中长度为ΔY的车道线线段对应的图像坐标系中第u列中的线段长度Δv为：

在世界坐标系中宽度为ΔX的左右车道线间距对应的图像坐标系中第v行中的间距宽度Δu为：

步骤五：非均匀B样条曲线控制点提取；

以对应世界坐标系中ΔY的长度在图像中按成像模型约束设置扫描线，每条扫描线与左右车道边缘的交点即为一对控制点；具体过程为：

从车道线边缘图像底部开始，在v_i行设置水平扫描线Line i，m≤i≤n，在Line i与左右车道线的交点处得到控制点对(Li，R_i)，其中L_i的坐标为(u_i,v_i)，R_i坐标为(u_i',v_i)；根据成像模型约束条件定义v_i计算公式为：

根据式(8)、(10)、(11)推导出：

其中v₁，Δv₁为预设值；将式(14)代入式(13)依次求出v_i的值；由此求出第i条扫描线Line i所确定的控制点纵坐标等于v_i；从扫描线中点分别向左右两边搜索边缘点，得到的第一对扫描线与左右车道线的交点即为控制点，从而确定一对控制点的坐标(u_i,v_i)和(u_i',v_i)；

步骤六：车道线拟合；

由步骤五得到非均匀B样条曲线控制点信息，再利用NUBS插值方法对左右车道线进行拟合，完成对车道线的检测。

2.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤一中，进行中值滤波时，采用中值滤波函数f^(x,y)为：

其中f^{^}(x,y)为中值滤波输出，S_xy表示中心在(x,y)，尺寸为M×N的矩形子图像窗口的坐标组，f(a,b)为坐标为(a,b)的像素灰度值。

3.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤一中，进行直方图均衡化时，直方图均衡化函数s_k为：

其中s_k为直方图均衡化输出，r_k代表离散灰度级，0≤r_k≤255，k＝0,1,2,…,n-1，n_i为图像中出现灰度r_i的像素数，n是图像中的像素总数，

就是概率论中的频数。

4.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤二的具体步骤如下：

(1)用高斯滤波器平滑图像I₁；

高斯平滑函数G(x,y)为：

用G(x,y)与增强后的车道线图像I₁进行卷积，得到平滑图像f₁；

f₁(x,y)＝I₁(x,y)*G(x,y)(4)

(2)用一阶偏导的有限差分来计算梯度的幅值和方向，得到梯度图像f₂；

一阶微分卷积模板

(3)对梯度幅值进行非极大值抑制，得到非极大值抑制图像f₃；

在梯度图像f₂的每一点上，将8邻域的中心像素S与沿着梯度线的两个像 素相比；如果S的梯度值不比沿梯度线的两个相邻像素梯度值大，则令S＝0；

(4)用双阈值算法检测和连接边缘；

对非极大值抑制图像f₃设置两个阈值T₁和T₂，T₁＝0.4T₂，将梯度值小于T₁的像素的灰度值设为0，得到图像f₄；然后将梯度值小于T₂的像素的灰度值设为0，得到图像f₅；以图像f₅为基础，以图像f₄为补充，连结图像的边缘，得到初始车道线边缘图像I₂。

5.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤三的具体步骤如下：

(1)Hough直线检测；

对于直角坐标系中的任意一点A(x₀,y₀)，经过点A的直线满足

y＝kx+l(5)

其中k是斜率，l是截距，则在X-Y平面过点A(x₀,y₀)的直线簇均用式(5)表示，对于垂直于X轴的直线斜率是无穷大的则无法表示；因此将直角坐标系转换到极坐标系；

在极坐标系中表示直线的方程为

ρ＝xcosθ+ysinθ(6)

其中ρ为原点到直线的法线距离，θ为法线与X轴的正向夹角；则图像空间中的一点对应极坐标系ρ-θ中的一条正弦曲线；通过检测ρ-θ空间的交集点来检测图像空间中的直线；将ρ，θ离散化，在参数θ对应的每一取值，分别按照公式(6)计算相应的参数ρ的取值，然后在相应的参数累加单元中加1；最后统计每个累加单元的取值，大于预设的阈值H则认为参数是图像空间内的直线的参数，从而在图像中标记出直线；

(2)去除干扰边缘；

对步骤(1)标记出的直线中的每一个边缘像素，搜索包含该像素的整条边缘并保留，剔除与标记的直线无共同像素点的边缘，从而得到边缘图像I₃。

6.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤五的具体过程为：

假设左右车道线平行，求解第i条扫描线Line i所确定的控制点L_i、R_i的横坐标u_i和u'_i；根据成像模型约束条件以及式(14)推导出Δu_i+1与Δu_i的关系式为：

u’_i＝u_i+Δu_i (16)

其中相机光轴与车道线夹角γ按如下公式计算：

对于车道线边缘缺失导致控制点丢失的情况，在相邻控制点对L₁、L₂已知的情况下，根据公式(15)-(17)计算出该控制点的横坐标u₂；对于由虚假边缘导致的控制点错误定位的情况，验证所有相邻控制点对间距宽度比值是否满足式(15)，从而检测错误控制点坐标并根据式(15)-(17)对其进行重新定位。

7.根据权利要求1所述的基于成像模型约束非均匀B样条曲线拟合车道线检测方法，其特征在于，步骤六的具体过程为：

假设B样条曲线S由n+1个控制点集合{P₀,P₁,...P_n}构成，则曲线S上的各点满足：

其中B_i,m(o)为基本B样条函数，2≤m≤n+1，t_min≤u≤t_max，t_j为节点，j＝0,...,i+m，当各节点t_j之间等距时，称该B样条曲线为均匀B样条曲线，否则为非均匀B样条曲线；根据NUBS插值法，若已知m对控制点，m≥3，则车道线采用m-1阶多项式函数进行拟合；若能够确定4对控制点，则采用三阶多项式函数进行NUBS插值从而拟合出车道线；若只确定了3对控制点，则采用二阶多项式函数拟合车道线。

Images