CN105160309A - 基于图像形态学分割及区域生长的三车道检测方法 - Google Patents

Abstract

本发明涉及一种基于图像形态学分割及区域生长的三车道检测方法，包括：一种利用车道标识线的形状及与路面的相对灰度，通过图像形态学对车道标识线进行分割的方法；一种以加权最小二乘法拟合消失点的方法；以区域生长的方法形成车道标识线感兴趣区(ROI)并迭代搜索车道标识线特征点的方法。本发明针对于智能车辆在城市结构化多车道道路行驶过程中车载视觉***对多车道道路感知的问题，通过图像形态学预处理以及迭代求解车道标识线的方法以适应多车道环境。算法新颖，适应性强，具有较强的光照鲁棒性，且运算量较小易于编程实现，提高了车载视觉***的模块，进一步提高了智能车环境感知模块的效率以及环境适应能力。

Description

基于图像形态学分割及区域生长的三车道检测方法

技术领域

本发明涉及一种基于图像形态学分割及区域生长的三车道检测方法，属于车载视觉相关领域。

背景技术

为避免由驾驶员不当驾驶行为而造成的交通事故并解放人类的驾驶行为，能够自主规划并执行驾驶行为的智能车辆的研究逐渐被人们重视。近年来，在很多国家的相关科研院所及车辆厂商均设有智能车的开发研究机构。智能车技术在以美国为首的部分国家已经得到了政府机构的大力重视，例如12年美国内华达州车辆管理局已经开始为智能车发放行驶牌照，同一时期，德国的智能车也得到了柏林政府的行驶许可，这些都意味着智能车的产业化及产品化的逐步临近。同样在我国，国防科大的HQ3及清华大学的THMR-V等为代表的智能车已经通过一系列道路试验，技术日趋成熟。车载环境感知***作为智能车的输入采集设备，起到了传统驾驶中代替人类感官的重要功能。为保证智能车安全行驶，车载环境感知***需要采集设备及算法的有效支撑。

常用的车载环境感知***中包含了定位***及局部环境感知***两个方面，前者主要以全球定位***(GPS)为主，并辅助以惯性导航等；后者主要包括车载激光雷达(LIDAR)及车载机器视觉(VISION)***。其中，机器视觉***主要起到行车环境监控的作用，其中包括了行车道路环境以及障碍物信息。当前常见的基于车载视觉的车道检测***主要是以模型或特征的方法得到车辆所在车道的左右两条标志线信息，从而对智能车进行局部路径规划。然而由于城市道路一般都是较为复杂的多车道行车环境，所以这种单一车道检测的研究有很大的局限性。所以在此基础上有部分学者展开了对于多车道检测的研究，而其中三车道模型由于其可随车辆位置而扩展至整个路面范围而最具代表性。而相对于单车道的简单环境，对于左中右三条车道的车道标识线的检测则更容易受到复杂环境的影响，从而降低检测稳定性。其中，三车道检测的干扰因素主要来自于行车环境干扰及车道标识线间干扰这两个方面，前者主要原因是道路标志线受路面车辆、其它标志及周边环境的影响，从而造成遮挡或易于其它物体混淆；后者主要由于多车道环境的车道标识线数目较多，相互间难以界定。

基于图像形态学分割及区域生长的三车道检测方法首先通过图像形态学预处理对车道标识线进行分割以降低环境干扰，而后以直线为基础分别对每条车道线进行区域生长以寻找车道线标志点，最终以每条车道线的标志点为基础对车道线进行拟合，得到精准稳定的车道信息。

发明内容

针对多车道环境的复杂性，以及多车道标识线间相互干扰的问题，提出了一种基于图像形态学分割及区域生长的三车道检测方法。采用该方法的机器视觉***可以在实际复杂道路情况下有效识别三车道的车道标识线，提高了车道识别的可靠性和准确性。

一种基于图像形态学分割及区域生长的三车道检测方法，包括以下步骤：

步骤1，图像预处理。

步骤1.1：图像灰度化。

步骤1.2：图像滤波。

由于行车环境噪声及硬件噪声的影响，图像中包含了部分噪声信息，需对噪声进行滤波。采用双边滤波器(Bilateralfilter)对图像滤波，这样在滤除噪点的同时能够尽可能的保存图像中物体的边缘信息。

步骤1.3：感兴趣区(ROI)选定。

摄像头捕捉的智能车辆前方道路图像中包含了部分天空、建筑等无用的图像信息，需要首先划定感兴趣区域(ROI)，以对车道范围进行初步划定，在减少了无用信息的同时也加快了图像处理速度。在视频流中，根据上一个视频帧的车道消失线位置确定当前视频帧的感兴趣区范围。

步骤2，车道标识线分割。

步骤2.1：图像形态学变换。

步骤2.2：边缘提取。

对经图像形态学变换而得到的图像进行Canny边缘提取，以得到整齐的车道标识线轮廓。

步骤3，车道标识线范围界定。

步骤3.1：直线搜寻。

经预处理的图像包含了车道标识线信息及少数干扰信息，采用投票的方法以直线为基础寻找车道标识线轮廓边缘以确定每条车道标识线边缘的大***置。采用Hough变换(HT)在Canny边缘图像中搜寻呈直线特征的边缘。

步骤3.2：消失点约束直线。

将Hough线以加权最小二乘法(WLS)拟合交点作为道路消失点，以消失点为中心建立中心圆，以中心圆筛选Hough线。

步骤3.3：直线聚类。

为了将由同一条车道标识线而产生的多条边缘线合并，且将相近的直线归为一类，通过DBSCAN在极坐标中对直线聚类。

步骤3.4：直线模板匹配。

对分类后的直线以位置及极角进行分类，对应三车道模型的四条车道标识线，从而确定车道标识线的搜寻范围。

步骤4，车道标识线拟合。

步骤4.1：车道标识线区域生长。

在这里分近视景区及远视景区，对于近视景区以直线模板为基础建立单一矩形车道线ROI区域，对于远视景区，以区域生长的方法建立若干相连通的矩形车道线ROI区域。

步骤4.2：车道标识线特征点提取。

在所得ROI区域内，以灰度值为特征寻找车道线点，并对多个目标点进行合并。

步骤4.3：最小二乘法(LS)拟合车道线。

与现有方法相比，本发明具有以下优点：

(1)本方法针对于复杂的多车道环境提出了基于图像形态学的道路图像预处理方法，该方法利用了车道标识线的灰度及形状特征对车道线有效分割，用于提高车道检测的抗干扰性。此外，该方法不依赖于图像整体灰度，可以在夜间及强光条件下应用，也提高了该车道检测方法的环境适应性；

(2)在直线筛选及分类过程中，采用最小二乘法拟合消失点及DBSCAN聚类方法，进一步提升直线识别算法的抗干扰性；

(3)本发明区别于传统三车道检测方法，采用“两步式”的方法，即首先以区域生长的方法确定每条车道标识线的ROI区域，而后在ROI区域内搜寻车道标识线特征点，该方法能够有效克服由车道线间相互影响而带来的误识别问题。

附图说明

图1为车载视觉***框架示意图；

图2为本发明所涉及的方法流程图；

图3为图像形态学变换算法示意图；

图4为图像形态学处理结果图；

图5为车道线匹配模板示意图；

图6为车道线ROI生长示意图；

图7为基于图像形态学分割及区域生长的三车道检测方法结果图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

基于图像形态学分割及区域生长的三车道检测方法***架构示意图如图1所示。本发明所述方法的流程图如图2所示，包括以下步骤：

步骤1，图像预处理。

步骤1.1：图像灰度化。

基于图像形态学分割及区域生长的三车道检测方法利用车道标识线灰度信息对其进行提取。利用车道标识线的灰度及形状信息即将其与道路范围内的其他物体进行区分，所以这里使用灰度图像进行道路识别算法。此外，相对于三通道的彩色图像，灰度图像能够保证方法的实时性。采用加权平均法，如式(1)，对摄像头采集的原始图像进行灰度化处理。

P_Gray＝0.299×P_Red+0.587×P_Green+0.144×P_Blue(1)

其中，P_Gray为像素点灰度值；P_Red、P_Green、P_Blue分别为彩色图中像素点的红、绿、蓝分量。该方法利用更加接近于人类感知的加权算式对图像进行灰度化，贴近观测值。下述步骤均在该灰度图像中完成。

步骤1.2：图像滤波。

为了在滤除噪点的同时能够尽可能的保存图像中一些重要物体的边缘信息，如车道、道路边缘、车辆等，采用双边滤波器(Bilateralfilter)对步骤1.1得到的灰度图像进行滤波。

其中，双边滤波器的输出为像素点邻域的加权组合，其特点是经双边滤波的图像像素点的灰度值与其周边的像素点加权相关，且权值取决于像素点与周边像素点灰度值是否接近，也就是说当目标像素点与周边像素点灰度相近时滤波作用明显；反之，滤波作用较弱。

该方法适用于该车道检测方法，由于方法检测对象为道路标识线信息，并不关注如标识线或道路范围内部细微的纹理信息，所以通过双边滤波可以消除道路标识线及道路的纹理信息。

步骤1.3：感兴趣区(RegionOfInterest)选定。

摄像头拍摄的原始图像中包含了车道以及车道上方的大部分天空、建筑及周边环境区域，这些区域在道路识别过程中不包含有用信息，所以为提高运算速度，确保智能车行驶的实时性，在图像预处理阶段将这些部分进行去除，将感兴趣区定义为图像下方包含车道范围的矩形区域。

根据视频连贯性，在视频初始图像帧不设定感兴趣区域，在之后的第i帧图像中，根据i-1帧车道标识线的消失点位置设定感兴趣区上部边缘。为保证道路截取的完整性，实验中对消失点向y轴负方向取35像素的余量。感兴趣区为矩形，左右及下部边缘与图像边缘一致。

$T_{ROI}\left(i\right)=\{\begin{array}{cc}0& (i=1)\\ Y_{(i-1)}-35& (i>1)\end{array}---\left(2\right)$

其中，T_ROI(i)为第帧感兴趣区上部边缘位置，Y_i-1表示第i-1帧消失点y值。下述步骤均在该ROI区域内进行。

步骤2，车道标识线分割。

步骤2.1：图像形态学变换。

经预处理后，得到了经滤波及ROI限定的灰度图像，为了将目标车道标识线与道路及周边环境进行区别，对图像进行车道标识线进行分割。区别传统基于灰度阈值的分割方法，本专利采用基于灰度级微分和目标形状的方法，利用车道线的灰度及形状特征对其进行分割。

在上述灰度图像感兴趣区中进行图像形态学变换，如式(3)。

T(f)＝f-(fοb)(3)

式中f为原图像数据，b为图像形态学内核，符号“ο”表示以内核对原图做开运算(OpenOperation)。其中开运算可分解为腐蚀运算(ErosionOperation)和膨胀运算(dilationOperation)两种图像形态学运算。

其中符号表示以内核对原图做腐蚀运算，符号表示以内核对原图做膨胀运算。腐蚀与膨胀运算定义如式(5)、(6)。其中b_(m，n)为内核在(m,n)点的灰度值，当(m，n)在核b范围内时b(m,n)取1，反之取0。

其中符号“∧”表示逻辑与运算，“∨”表示逻辑或运算。可以看到膨胀就是核b对图像f的图像卷积，腐蚀与膨胀互为逆运算。

图3可看出，经上述运算后，图像中灰度值相对邻域较大，且宽度范围比图像形态学内核h窄的区域将会被分割，而其余部分的灰度值将被消除。

根据上述条件，对该运算内核进行调整，以用于车道线分割。首先针对车道线大体呈纵向排列的规律选用1×L_core的矩形内核，以确保横向排列且纵向范围较窄的物体不会被内核b分割。此外，车道线可以通过上述分割的条件如式(7)所示。

且L_core为整数(7)

整理得

其中，L_core为横向内核尺寸，L_line为车道线横向宽。另外，根据摄像机的成像模型可得图像中第y行车道线宽度最大值L_line：

其中，λ为车道线实际宽度，h为摄像头光轴距地面的高度，d为摄像头前瞻距，为相机焦距，τ为相机像素点距，为图像上边界纵坐标，y_t为图像下边界纵坐标值。

沿y方向将图像分为k个区域，在第ω(ω＝1，２，3...)个区域式(9)可改写为：

将式(10)带入式(8)，取满足条件的最小的L_core，即

图4为经上述变内核的图像形态学处理前后的道路实对比图。

步骤2.2：边缘提取。

为获取经图像形态学分割的车道标识线的位置信息，需要对车道标识线进行描述。在步骤2.1的基础上对车道标识线进行边缘提取。这里采用线性模型对车道标识线进行表述，即寻找车道标识线的左右边界线用以描述车道标识线位置。这里采用Canny算子对图像进行边缘提取，得到车道标识线边界图。

步骤3，车道标识线范围界定。

步骤3.1：直线搜寻。

在上述车道标识线边界图中采用投票的方法以直线为基础寻找车道标识线轮廓边缘以确定每条车道标识线边缘的大***置。采用一种改进Hough变换在Canny边缘图像中搜寻呈直线特征的边缘。方法如下：

(1)在Canny图像中寻找边缘点，假设边缘点数目为N。

(2)对点P_i(x_i，y_i)(i＝1,2,…,N)，都有对应的ρ＝x_icos(θ)+y_isin(8)，在极坐标系ρ-θ中画出这N个点所得到的N个方程。

(3)在极坐标系ρ-θ中得到上述N个方程的落点分布函数G(ρ，θ)G(ρ，θ)表示了在极坐标系中上述N条曲线经过点(ρ，θ)处的次数。

(4)设P(ρ，θ)＝G(ρ，θ)f(θ)，即在θ轴方向对G(ρ，θ)进行加权调整，权值也就是分布函数f(θ)。

(5)以Hough阈值γ对P(ρ，θ）进行分割，当P_i(ρ_i，θ_i)≥γ时，在ρ-θ坐标系中保留该点。

(6)将所有经分割并保留的P_i(ρ_i，θ_i)转换至图像坐标系，对应ρ_i＝xcos(θ_i)+ysin(θ_i)

其中，f(θ)为Hough变换的加权调整函数。

$f\left(\mathrm{\&theta;}\right)=\{\begin{array}{c}\frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{\frac{-{(\mathrm{\&theta;}-\frac{\mathrm{\&pi;}}{4})}^2}{2}},(\mathrm{\&theta;}<\frac{\mathrm{\&pi;}}{2})\\ \frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{\frac{-{(\mathrm{\&theta;}-\frac{3\mathrm{\&pi;}}{4})}^2}{2}},(\mathrm{\&theta;}>\frac{\mathrm{\&pi;}}{2})\end{array}---\left(12\right)$

步骤3.2：消失点约束直线。

经步骤3.1中改进Hough所得的直线符合车道线所呈大体角度，但仍会因为路面文字或周边道路而存在部分干扰直线，这里采用消失点的方法对上述步骤中所得直线进行二次约束吗，同时产生的消失点也用作下一帧的ROI设定。消失点为道路车道标识线在图像远方的交点，在工程中可通过消失点对车道标识线进行筛选，即在Hough直线簇中保留通过消失点周边的直线，认定这些直线为车道标识线。

以加权最小二乘法(WLS)拟合步骤3.1中的Hough线，得到的交点作为道路消失点。

假设消失点距离直线的误差

ε＝y-Kx-B(13)

构造误差函数Q，

$Q={\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{\mathrm{\&epsiv;}}_{\mathrm{\&alpha;}}^2={\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}\&lsqb;W_{\mathrm{\&alpha;}}{(y-K_{\mathrm{\&alpha;}}x-B_{\mathrm{\&alpha;}})}^2\&rsqb;---\left(14\right)$

其中，N₁为步骤3.1后所剩Hough线个数，K_α、B_α为直线参数。当误差函数取极值时认为消失点处于实际位置。

$\frac{dQ}{dy}=N_{1}y-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}=0---\left(15\right)$

$\frac{dQ}{dx}=y{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}-x{\left({\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{B}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}=0---\left(16\right)$

整理得第i帧消失点位置：

$X_i=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}-N_1{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}}{N_1{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2-{\left({\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2}---\left(17\right)$

$Y_i=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}}{N_1{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2-{\left({\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2}---\left(18\right)$

其中，W_α为加权最小二乘法权值，使该权值反比于直线与第i-1帧消失点距离，即：

$W_{\mathrm{\&alpha;}}=\{\begin{array}{cc}1/N_1& (i=1)\\ \frac{\frac{1}{\left|K_{\mathrm{\&alpha;}}{X}_{i-1}+B_{\mathrm{\&alpha;}}-Y_{i-1}\right|}}{{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}\frac{1}{\left|K_{\mathrm{\&alpha;}}{X}_{i-1}+B_{\mathrm{\&alpha;}}-Y_{i-1}\right|}}& (i>1)\end{array}---\left(19\right)$

以消失点为圆心，半径45像素点作圆，保留步骤3.1中通过该圆的直线。

步骤3.3：直线聚类。

为了将由同一条车道标识线而产生的多条边缘线合并，将极角及空间位置相近的直线归为一类，通过DBSCAN在极坐标中对直线聚类。在直线的ρθ参数空间内，设置聚类半径为r＝14，最小聚类点数为1，以DBSCAN对直线在参数空间投影点进行聚类。对第β类的M条直线进行合并：

$\left\{\begin{array}{c}{\mathrm{\&rho;}}_{\mathrm{\&beta;}}=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^M{\mathrm{\&rho;}}_{\mathrm{\&beta;}\mathrm{\&alpha;}}}{M}\\ {\mathrm{\&theta;}}_{\mathrm{\&beta;}}=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^M{\mathrm{\&theta;}}_{\mathrm{\&beta;}\mathrm{\&alpha;}}}{M}\end{array}\right.,(M\&GreaterEqual;1)---\left(20\right)$

其中，(ρ_G，θ_β)为第β类直线在极坐标下的合并点。将上述经聚类的直线点转化至图像坐标系，得到了数条直线。

步骤3.4：直线模板匹配。

对步骤3.3所得直线进行模板匹配。图5为直线模板图示，将上述步骤分类后的直线以位置及极角进行分类，与图中四条车道线所在直线的位置进行匹配，匹配步骤如下：

(1)以直线极角θ为依据分别匹配四条车道线。

(2)匹配顺序为内车道线一、内车道线二、外车道线一、外车道线二。

(3)在中线某一侧无法匹配到车道线的情况下，置内车道线为该侧通过消失点的水平线。

(4)在中线一侧存在内车道线但无外车道线的情况下。

(5)中线的每一侧最多匹配两条车道线，删除多余未被匹配的车道线。

以所得的直线模板为基础进行下述步骤的车道标识线拟合。

步骤4，车道标识线拟合。

步骤4.1：车道标识线区域生长。

经过模板匹配后，四条直线分别粗略标定了四条车道线的大***置，以该模板为基础建立车道标识线ROI区域，并利用该ROI区域搜寻车道线标识点。

在摄像头捕捉的车道图像中，由于投影变换，车道标识线线在图像下方呈现大体直线的特征，利用这一特征分近视景区与远视景区建立标识线感兴趣区，在近视景区根据步骤3.4所得直线建立一个以直线为中心的矩形ROI区域；在远视景区采用区域生长的方法以多个矩形ROI迭代的方法根据车道线实际形状组成感兴趣区。如图6。

其中，近视景区ROI以模板为基础得到，远视景区ROI与远视景区特征点一起以递归方法得出。

步骤4.2：车道标识线特征点提取。

在所得ROI区域内，以灰度值为特征寻找车道线点，并对多个目标点进行合并。

其中，道路实际宽度为D_lane取3米，设车道标识线ROI宽度D_roi-δD_lane，比例系数δ取0.25。定义近视景区ROI区域为矩形，以步骤3所得4条(或小于4条)直线模板为ROI中轴，D_roi为半径建立矩形区域，定义为ROI_O。在远视景区，第l(l≥1)个ROI区域及其特征点迭代求解过程如下：

(1)取ROI_t-1区域内所求的y值最小的车道线点P(x，y)作为第t个区域的种子点S_t；

(2)以S_t为种子点，D_lane/2为半径得到ROI_t:

(3)在ROI_t内以坐标轴y的负方向进行逐行扫描，在第y₀行扫描出多个边缘点Γ₁(x₁，y₀)，Γ₂(x₂，y₀)，…，Γ_Z(x_Z，y₀)，(Z≥1)时取在第y行无边缘点的情况下删除P_y(x，y)；

(4)处理第t+1个区域。

步骤4.3：最小二乘法(LS)拟合车道线。

经上述步骤后得到对应四条车道标识线的特征点集合，对这四个特征点集分别以三次曲线模型拟合车道线，模型如下：

f(x)＝a₀x³+a₁x²+a₂x+a₃(21)

构造曲线

y＝f(x)+ε₀(22)

其中误差为ε，误差平方和

$Q={\&Sigma;}_{\mathrm{\&alpha;}=1}^D{{\mathrm{\&epsiv;}}_0}^2={\&Sigma;}_{\mathrm{\&alpha;}=1}^D{\&lsqb;y_{\mathrm{\&alpha;}}-(a_0{x}_{\mathrm{\&alpha;}}^3+a_1{x}_{\mathrm{\&alpha;}}^2+a_2{x}_{\mathrm{\&alpha;}}+a_3)\&rsqb;}^2---\left(23\right)$

取极值求解得

$\left[\begin{array}{c}{a}_3\\ a_2\\ a_1\\ a_0\end{array}\right]={\left[\begin{array}{cccc}D& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^5\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^5& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^6\end{array}\right]}^{-1}\&times;\left[\begin{array}{c}\underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3{y}_{\mathrm{\&alpha;}}\end{array}\right]---\left(24\right)$

其中，D为所拟合曲线的特征点数目。

经拟合后的四条曲线车道标识线信息送至上位机进行决策以执行底层局部路径规划，此外曲线信息在输出显示模块与相机输入图像叠加于车载显示模块输出显示。图6为采用基于图像形态学分割及区域生长的三车道检测方法所识别的车道线的输出显示结果。

以如下平台验证专利算法有效性：IntelCORE^TMl5-2450MCPU2.50GHz，内存4.00GB。借助Visiostudio2008及OpenCV平台对5段连续的视频进行实验，以图像为单位统计，样本共计4854张，图像大小为640*480。本文算法成功率为95.7％。平均运行时间为21.1ms，满足应用的实时性要求。其中图像形态学预处理1.1ms，车道线识别共计9.8ms，边侧车道判定0.3ms其余为传统滤波预处理、Canny算法及显示等耗时。

对比于传统的基于灰度值的图像预处理方法，在实验中单独验证了本文的图像形态学车道标识线分割算法：在传统的“灰度化-二值化”图像预处理环节中加入本专利中的变内核图像形态学车道标识线分割算法作为实验组，以传统的“灰度化-二值化”预处理作为参照组，并抽取实验组中的随机80张图像进行同样方法的车道检测实验，实验结果如表1所示：

表1：车道标识线分割算法性能对比

其中，含基于图像形态学车道标识线分割算法的车道线检测有效避免了传统算法中绝大多数由于环境或路面其他车辆干扰而产生的误检。

Claims (1)

1.基于图像形态学分割及区域生长的三车道检测方法，包括以下步骤：

步骤1，图像预处理；

步骤1.1：图像灰度化；

采用加权平均法，如式(1)，对摄像头采集的原始图像进行灰度化处理；

P_Gray＝0.299×P_Red+0.587×P_Green+0.144×P_Blue(1)

其中，P_Gray为像素点灰度值；P_Red、P_Green、P_Blue分别为彩色图中像素点的红、绿、蓝分量；

步骤1.2：图像滤波；

采用双边滤波器对步骤1.1得到的灰度图像进行滤波；

步骤1.3：感兴趣区选定；

根据视频连贯性，在视频初始图像帧不设定感兴趣区域，在之后的第i帧图像中，根据i-1帧车道标识线的消失点位置设定感兴趣区上部边缘；为保证道路截取的完整性，实验中对消失点向y轴负方向取35像素的余量；感兴趣区为矩形，左右及下部边缘与图像边缘一致；

$T_{ROI}\left(i\right)=\{\begin{array}{cc}0& (i=1)\\ Y_{(i-1)}-35& (i>1)\end{array}---\left(2\right)$

其中，T_ROI(1)为第i帧感兴趣区上部边缘位置，Y_i-1表示第i-1帧消失点y值；下述步骤均在该ROI区域内进行；

步骤2，车道标识线分割；

步骤2.1：图像形态学变换；

在上述灰度图像感兴趣区中进行图像形态学变换，如式(3)；

T(f)＝f-(fоb)(3)

式中f为原图像数据，b为图像形态学内核，符号“о”表示以内核对原图做开运算；.其中开运算分解为腐蚀运算和膨胀运算两种图像形态学运算；

其中符号表示以内核对原图做腐蚀运算，符号表示以内核对原图做膨胀运算；腐蚀与膨胀运算定义如式(5)、(6)；其中b_(m，n)为内核在(m,n)点的灰度值，当(m，n)在核b范围内时b(m,n)取1，反之取0；

其中符号表示逻辑与运算，表示逻辑或运算；膨胀就是核b对图像f的图像卷积，腐蚀与膨胀互为逆运算；

对式(3)中的内核b进行调整，以用于车道线分割；首先针对车道线大体呈纵向排列的规律选用1×L_core的矩形内核，以确保横向排列且纵向范围较窄的物体不会被内核b分割；此外，车道线通过上述分割的条件如式(7)所示；

且L_core为整数(7)

整理得

其中，L_core为内核横向尺寸，L_line为图像中车道线横向宽；另外，根据摄像机的成像模型得图像中车道线宽度最大值L_line在y坐标方向的函数式：

其中，λ为车道线实际宽度，h为摄像头光轴距地面的高度，d为摄像头前瞻距，为相机焦距，τ为相机像素点距，y₀为图像上边界纵坐标，y_t为图像下边界纵坐标值；

沿y方向将图像分为k个区域，在第ω(ω＝1,2,3…)个区域式(9)改写为：

将式(10)带入式(8)，取满足条件的最小的L_core，即

步骤2.2：边缘提取；

在步骤2.1经图像形态学变换后的图像中以Canny算法做图像边缘提取；

步骤3，车道标识线范围界定；

步骤3.1：直线搜寻；

在上述车道标识线边界图中采用投票的方法以直线为基础寻找车道标识线轮廓边缘以确定每条车道标识线边缘的大***置；采用一种改进Hough变换在Canny边缘图像中搜寻呈直线特征的边缘；方法如下：

(1)在Canny图像中寻找所有边缘点，假设边缘点数目为N；

(2)对点P_i(x_i，y_i)，(i＝1,2,…,N)，都有对应的ρ-x_icos(θ)+y_isin(θ)，在极坐标系ρ-θ中画出这N个点所得到的N个方程；

(3)在极坐标系ρ-θ中得到上述N个方程的落点分布函数G(ρ，θ)，G(ρ，θ)表示了在极坐标系中上述N条曲线经过点(ρ，θ)处的次数；

(4)设P(ρ，θ)＝G(ρ，θ)f(θ)，即在θ轴方向对G(ρ，θ)进行加权调整，权值也就是分布函数f(θ)；

(5)以Hough阈值γ对P(ρ，θ)进行分割，当P_i(ρ_i，θ_i)≥γ时，在ρ-θ坐标系中保留该点；

(6)将所有经分割并保留的P_i(ρ_i，θ_i)转换至图像坐标系，对应ρ_i＝xcos(θ_i)+ysin(θ_i)

其中，f(θ)为Hough变换的加权调整函数；

$f\left(\mathrm{\&theta;}\right)=\{\begin{array}{c}\frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{\frac{-{(\mathrm{\&theta;}-\frac{\mathrm{\&pi;}}{4})}^2}{2}},(\mathrm{\&theta;}<\frac{\mathrm{\&pi;}}{2})\\ \frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{\frac{-{(\mathrm{\&theta;}-\frac{3\mathrm{\&pi;}}{4})}^2}{2}},(\mathrm{\&theta;}>\frac{\mathrm{\&pi;}}{2})\end{array}---\left(12\right)$

步骤3.2：消失点约束直线；经步骤3.1中改进Hough所得的直线符合车道线所呈大体角度，但仍会因为路面文字或周边道路而存在部分干扰直线，这里采用消失点的方法对上述步骤中所得直线进行二次约束吗，同时产生的消失点也用作下一帧的ROI设定；消失点为道路车道标识线在图像远方的交点，通过消失点对车道标识线进行筛选，即在Hough直线簇中保留通过消失点周边的直线，认定这些直线为车道标识线；

以加权最小二乘法拟合步骤3.1中的Hough线，得到的交点作为道路消失点；

消失点距离直线的误差

ε＝y-Kx-B(13)

构造误差函数Q，

$Q={\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{\mathrm{\&epsiv;}}_{\mathrm{\&alpha;}}^2={\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}\&lsqb;W_{\mathrm{\&alpha;}}{(y-K_{\mathrm{\&alpha;}}x-B_{\mathrm{\&alpha;}})}^2\&rsqb;---\left(14\right)$

其中，N₁为步骤3.1后所剩Hough线个数，K_α、B_α为直线参数；当误差函数取极值时认为消失点处于实际位置；

$\frac{dQ}{dy}=N_{1}y-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}=0---\left(15\right)$

$\frac{dQ}{dx}=y{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}-x{\left({\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2-{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{B}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}=0---\left(16\right)$

整理得第i帧消失点位置：

$X_i=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}-N_1{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}}{N_1{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2-{\left({\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2}---\left(17\right)$

$Y_i=\frac{{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}-{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K}_{\mathrm{\&alpha;}}{B}_{\mathrm{\&alpha;}}}{N_1{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W_{\mathrm{\&alpha;}}}^2{K_{\mathrm{\&alpha;}}}^2-{\left({\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}=1}^{N_1}{W}_{\mathrm{\&alpha;}}{K}_{\mathrm{\&alpha;}}\right)}^2}---\left(18\right)$

其中，W_α为加权最小二乘法权值，使该权值反比于直线与第i-1帧消失点距离，即：

$W_{\mathrm{\&alpha;}}=\{\begin{array}{cc}1/N_1& (i=1)\\ \frac{\frac{1}{\left|K_{\mathrm{\&alpha;}}{X}_{i-1}+B_{\mathrm{\&alpha;}}-Y_{i-1}\right|}}{{\&Sigma;}_{\mathrm{\&alpha;}=1}^{N_1}\frac{1}{\left|K_{\mathrm{\&alpha;}}{X}_{i-1}+B_{\mathrm{\&alpha;}}-Y_{i-1}\right|}}& (i>1)\end{array}---\left(19\right)$

以消失点为圆心，半径45像素点作圆，保留步骤3.1中通过该圆的直线；

步骤3.3：直线聚类；

为了将由同一条车道标识线而产生的多条边缘线合并，将极角及空间位置相近的直线归为一类，通过DBSCAN在极坐标中对直线聚类；在直线的ρ-θ参数空间内，设置聚类半径为r＝14，最小聚类点数为1，以DBSCAN对步骤3.2中所得直线在参数空间投影点进行聚类；对第β类的M条直线进行合并：

$\left\{\begin{array}{c}{\mathrm{\&rho;}}_{\mathrm{\&beta;}}=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^M{\mathrm{\&rho;}}_{\mathrm{\&beta;}\mathrm{\&alpha;}}}{M}\\ {\mathrm{\&theta;}}_{\mathrm{\&beta;}}=\frac{{\&Sigma;}_{\mathrm{\&alpha;}=1}^M{\mathrm{\&theta;}}_{\mathrm{\&beta;}\mathrm{\&alpha;}}}{M}\end{array}\right.,(M\&GreaterEqual;1)---\left(20\right)$

其中，(ρ_β，θ_β)为第β类直线在极坐标下的合并点；将上述经聚类的直线点转化至图像坐标系，得到了数条直线；

步骤3.4：直线模板匹配；

对步骤3.3所得直线进行模板匹配；将上述步骤分类后的直线以位置及极角进行分类并进行匹配，匹配步骤如下：

(1)以直线极角θ为依据分别匹配四条车道线；

(2)匹配顺序为内车道线一、内车道线二、外车道线一、外车道线二；

(3)在中线某一侧无法匹配到车道线的情况下，置内车道线为该侧通过消失点的水平线；

(4)在中线一侧存在内车道线但无外车道线的情况下；

(5)中线的每一侧最多匹配两条车道线，删除多余未被匹配的车道线；

步骤4，车道标识线拟合；

步骤4.1：车道标识线区域生长；

经过模板匹配后，四条直线分别粗略标定了四条车道线的大***置，以该模板为基础建立车道标识线ROI区域，用以搜寻车道线标识点；

在摄像头捕捉的车道图像中，由于投影变换，车道标识线线在图像下方呈现大体直线的特征，利用这一特征分近视景区与远视景区建立标识线感兴趣区，在近视景区根据步骤3.4所得直线建立一个以直线为中心的矩形ROI区域；在远视景区采用区域生长的方法以多个矩形ROI迭代的方法根据车道线实际形状组成感兴趣区；

其中，近视景区ROI以模板为基础，D_lane/2为半径得到，远视景区ROI与远视景区特征点一起以递归方法得出；

步骤4.2：车道标识线特征点提取；

在所得ROI区域内，以灰度值为特征寻找车道线点，并对多个目标点进行合并；

其中，道路实际宽度为D_lane取3米，设车道标识线ROI宽度D_rvl＝δD_lane，比例系数δ取0.25；定义近视景区ROI区域为矩形，以步骤3所得4条或小于4条的直线模板为ROI中轴，D_rvl为半径建立矩形区域，定义为ROI₀；在远视景区，第t个ROI区域，其中(t≥1)及其特征点迭代求解过程如下：

(1)取ROI_t-1区域内所求的y值最小的车道线点P(x，y)作为第t个区域的种子点S_t；

(2)以S_t为种子点，D_lane/2为半径得到ROI_t；

(3)在ROI_t内以坐标轴y的负方向进行逐行扫描，在第y₀行扫描出多个边缘点P₁(x₁，y₀)，P₂(x₂，y₀)，…，P_Z(x_Z，y₀)，其中z≥1时取在第y行无边缘点的情况下删除P_y(x，y)；

(4)处理第t+1个区域；

步骤4.3：最小二乘法(LS)拟合车道线；

经上述步骤后得到对应四条车道标识线的特征点集合，对这四个特征点集以三次曲线模型拟合车道线，模型如下：

f(x)＝a₀x³+a₁x²+a₂x+a₃(21)

构造曲线

y＝f(x)+ε₀(22)

其中误差为ε，误差平方和

$Q={\&Sigma;}_{\mathrm{\&alpha;}=1}^D{{\mathrm{\&epsiv;}}_0}^2={\&Sigma;}_{\mathrm{\&alpha;}=1}^D{\&lsqb;y_{\mathrm{\&alpha;}}-(a_0{x}_{\mathrm{\&alpha;}}^3+a_1{x}_{\mathrm{\&alpha;}}^2+a_2{x}_{\mathrm{\&alpha;}}+a_3)\&rsqb;}^2---\left(23\right)$

取极值求解得

$\left[\begin{array}{c}{a}_3\\ a_2\\ a_1\\ a_0\end{array}\right]={\left[\begin{array}{cccc}D& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^5\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^4& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^5& \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^6\end{array}\right]}^{-1}\&times;\left[\begin{array}{c}\underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^2{y}_{\mathrm{\&alpha;}}\\ \underset{\mathrm{\&alpha;}=1}{\overset{D}{\&Sigma;}}{x}_{\mathrm{\&alpha;}}^3{y}_{\mathrm{\&alpha;}}\end{array}\right]---\left(24\right)$

其中，D为所拟合曲线的特征点数目；

经拟合的车道标识线在输出显示模块送显并送至上位机进行决策以执行局部路径规划。