CN102663356B - 车道线提取及偏离预警方法 - Google Patents

车道线提取及偏离预警方法 Download PDF

Info

Publication number
CN102663356B
CN102663356B CN201210085354.1A CN201210085354A CN102663356B CN 102663356 B CN102663356 B CN 102663356B CN 201210085354 A CN201210085354 A CN 201210085354A CN 102663356 B CN102663356 B CN 102663356B
Authority
CN
China
Prior art keywords
line
section
lane
point
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210085354.1A
Other languages
English (en)
Other versions
CN102663356A (zh
Inventor
宋晓琳
高巧明
张伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuzhou Bo Shi Wei car Polytron Technologies Inc
Original Assignee
LIUZHOU BOSHIWEI AUTOMOBILE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIUZHOU BOSHIWEI AUTOMOBILE TECHNOLOGY Co Ltd filed Critical LIUZHOU BOSHIWEI AUTOMOBILE TECHNOLOGY Co Ltd
Priority to CN201210085354.1A priority Critical patent/CN102663356B/zh
Publication of CN102663356A publication Critical patent/CN102663356A/zh
Application granted granted Critical
Publication of CN102663356B publication Critical patent/CN102663356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种车道线提取及偏离预警方法。其特点是图像预处理步骤:对摄像头标定得到原始图像的逆投影透射图,提取单线的DLD特征图像和双线DLDLD特征图像,根据两种特征抽取算子并进行二值化处理,对二值化图像中的白色像素进行自底向上的聚类膨胀处理;在预先定义的栅格中对上述特征点进行连续线性分段函数拟合,并记录各分段函数的始末点坐标和相应斜率;对特征点进行虚实线判断,通过多线段追踪步骤、多段线的扩展步骤、查验步骤、车道线确定步骤进行车道确定,作出偏离预警决策。其优点是车道线检测算法适用于各种复杂的城市道路,且由于需要其较低的计算量,在低端硬件下就能运行,简单安全可靠。

Description

车道线提取及偏离预警方法
技术领域
本发明是涉及一种对机动车行驶时提供安全预警的方法,特别是涉及一种车道线提取及偏离预警方法。
背景技术
目前约有50%的汽车交通事故是因为汽车偏离正常的行驶车道引起的,究其主要原因主要是驾驶员心神烦乱、注意力不集中或驾驶疲劳等。车道偏离预警***能够在无意识(驾驶员未打转向灯)偏离原车道时,能在偏离车道0.5秒~1秒之前发出警报,为驾驶员提供更多的反应时间,大大减少了因车道偏离引发的碰撞事故。而车道线检测是车道偏离预警和智能车导航研究的关键组成部分,目前采用的车道线检测方法和车道偏离预警决策所采用的检测算法都比较复杂,需要较大的计算量,需要在较高端的硬件下才能运行,因而影响了该技术的应用。
发明内容
本发明的目的就是提供一种车道线检测算法适用于各种复杂的城市道路,且由于需要其较低的计算量,在低端硬件下就能运行,简单可靠的车道线提取及偏离预警方法。
本发明的解决方案是这样的:
本发明包括步骤:
(1)、图像预处理步骤:对摄像头标定得到原始图像的逆投影透射图,提取单线的DLD特征图像和双线DLDLD特征图像,根据两种特征抽取算子并进行二值化处理,对二值化图像中的白色像素进行自底向上的聚类膨胀处理;
(2)、对聚类处理后的二值化图像进行连续分段函数拟合步骤:将待处理图像区域进行栅格化,在栅格内对各特征像素点进行误差最小二乘法拟合,在预先定义的栅格中对上述特征点进行连续线性分段函数拟合,并记录各分段函数的始末点坐标和相应斜率,若某一段函数线的终点与临近函数线的起点坐标一致或距离小于3~7个像素,则认为是二者组成一个多段线;若二者坐标不一致且距离大于或等于3~7个像素,则认为本段函数线为单独的一个线段,此时也特别地认为该线段是一种包含栅格数量为1的多段线;
(3)、虚实线判断步骤:
实线:定义为若某一栅格内一段函数线的终点与临近栅格内函数线的起点坐标一致或距离小于3~7个像素,认为这两个函数栅格内的函数线属于同一多段线。当栅格数量Num不小于5~7时,认为该多段线为实线;
虚线:定义为若某一栅格内一段函数线的终点与临近栅格内函数线的起点坐标一致或距离小于3~7个像素,认为这两个函数栅格内的函数线属于同一多段线。栅格数量Num小于5~7的多段线为虚线;
(4)、车道提取步骤:该步骤包括:
1)多线段追踪步骤:对提取出的处于最底部的本帧多段线与前帧多段线(即跟踪线)进行匹配分别得到候选实线和候选虚线,并以满足匹配条件的候选线为下一次跟踪匹配过程的参考起始线,本帧中与前帧多段线匹配的多段线,认为跟踪成功;本帧中不匹配的多段线认为跟踪不成功;
2)、为多段线的扩展步骤:在虚线匹配中,第一条虚线跟踪步骤完成且确定后,以位于最底部的跟踪匹配成功的此条多段线为参考起始线,对本帧内其他多段线进行匹配,以获得该多段线所在车道线的全部多段线部分,并认为此多段线相互关联;
3)、查验步骤;对于多个关联的多段线组成的新多段线,对其按一定规则进行评估,若满足阈值要求,则认为是一个有效的车道线,确定候选车道p;
4)、车道线确定步骤:根据分类函数对所得的候选车道线p,采用进行计分,其中(0,0)原点定义在摄像头与地面垂直交点处;若该候选车道线p是由前帧追踪所得,则本帧候选车道线应得分值为当前分值和前帧车道线对应分值之和,以便形成积累效应;当分值不小于某一定阀值时确定为有效车道线,理想阀值设定范围为0.95~1.6;反之确定为非有效的车道线;
(4)、偏离预警决策步骤:对有效车道线,延伸获取其与处理图像区域边框的交点位置坐标,并选择左右车道线中最顶端端点与边框的交点位置坐标的沿宽度方向的子坐标值colNum,colNum的有效取值范围是0~Width,计算该值与图像宽度中心的距离Dis=|Width/2-cloNum|,同时,计算左向偏置距离L_Dist和右向偏置距离R_Dist;初始时设定L_Dist和R_Dist变量的值为Max=A*Width,其中A为比例系数,A为整数且不小于2,设定车道偏离预警距离阀值设定为DisWarn=K*Width,其中K为预警比例系数,K值取值系数范围为0.1~0.5,当左向偏置距离L_Dist或右向偏置距离R_Dist超出车道偏离预警距离阀值时报警。
更具体的方法还包括:
步骤(1)还包括步骤:
确定车道线待处理区域步骤:在原始道路图像中,获得该道路图像的灰度形式,确定车道线待处理区域,高度值 NumRows = ( 1 3 ~ 1 2 ) * Height .
对于单线的DLD特征图像,单车道线的特征抽取算子为:
DLD(x,y)=max{min{p(x,y)-p(x-2,y),p(x,y)-p(x+2,y)},0}
对于双线DLDLD特征图像,双车道线的特征抽取算子为:
DLDLD(x,y)=max{min{p(x-3,y)-p(x-5,y),p(x-3,y)-p(x,y),p(x+3,y)-p(x+5,y),p(x+3,y)-p(x,y)},0}
其中(x,y)为某像素点坐标,p(x,y)为该像素点的像素值。
采用局部邻域的均值阀值对抽取的两种特征算子进行二值化,二值化的推荐局部窗口范围为(15~32)*1像素,当本待处理像素点的像素值大于或等于周围像素点像素平均值时,则将本待处理像素点像素值设为255;否则设定为0。
步骤(2)还包括步骤:
预先定义栅格,每个栅格的大小推荐设置为宽*高=(20~30)*(10~20)像素。
1)、定义点A与线段之间距离:设定r为所在直线,A⊥r为过A点在相对直线r的垂足,那么点A与线段之间的距离d(A,
2)、定义点A与多段线p之间的距离:多段线p={P0...Pn}表示多段线p由P0...Pn等一系列点顺序构成,则点A与多段线p之间的距离d(A,p)定义为连接A点与p上最近点之间的线段的长度,点A⊥p即为p上所述离A最近的点;
同时令表示k为使得A到Pi距离最小时,i的值。那么显然有:
A⊥p∈{Pk-1,Pk+1},准确表达为:
特别地,当k=0或k=n时,A⊥p可简化表示为此时点A与多段线p之间的距离d(A,p)=d(A,A⊥p);
3)、定义多段线a,b之间的距离:如下图5所示,多段线a={A0...Am},多段线b={B0...Bn},其中Bf=A0⊥b,Af=B0⊥a,Bb=Am⊥b,Ab=Bn⊥a,定义 多段线a、b之间的最小距离定义为 d min ( a , b ) = min ( min i ∈ { 0 . . . m } ( d ( A i , b ) ) , min j ∈ { 0 . . . m } ( d ( B j , a ) ) ) , 则多段线a、b之间的距离定义为: d ( a , b ) = max ( 2 * area ( a , b ) length ( a ) [ V 0 , V 1 ] + length ( b ) [ V 3 , V 2 ] , d min ( a , b ) ) , 其中图中阴影部分表示多段线a、b之间的覆盖面积,length(p)[vm,vm]代表由点Vm和点Vn所限定的多段线p之间的长度。
步骤(4)的多线段追踪步骤中包括步骤:
1)、对于实车道线,假设本帧(T时刻)候选多段线表示为{cs0...csh-1}(其中csj(j∈0...h-1)是代表组成该多段线的多个子多段线),对应的前帧(T-1时刻)多段线表示为{ts0...tsk},则本帧候选多段线分值分配公式为: score ( ts i , cs j ) = d ( ts i , cs j ) length ( cs j ) , j ∈ { 0 . . . h - 1 } ; 则获得最低值的候选多线段csj在本帧内被选择,供后续处理,从而看出2条线越近,候选多段线越长score值越小,获得最小值的多段线被选择,然后自动成为下一帧候选线的参考线;
2)、对于虚车道线,本算法利用该分量和前后帧多段线距离的综合因素决定多段线的选择使得可信度提高,准确度大;本帧内的候选虚车道线段表示为{cd0...cdn-1},对应的前帧候选虚车道线段表示为{td0...tdk-1},则本帧候选虚车道线段分值分配公式为:
score(tdi,cdj)=d(tdi,cdj)2+xj 2,j∈{0...k-1};其中xj是cdj线段的顶上第一个点的x分量;加上该分量的好处是虚车道线段离摄像头越近,其精度也越高,本身值也越小,而获得最小分值的cdj在本帧内被选择,共后续处理;当确定了第一段虚线段后,以该段为起始线来对其他关联的虚车道线段进行分类,最终迭代产生新的跟踪多段线cp;本算法采用了如下准则:
上述算法用第一段虚线段作为比较的基准(即tdi)将其他虚线段(即cdk,cdh等)通过此算法进行两两比较,当两条虚线段与基准相互比较时,如果分别在阀值的两端,则取比阀值小的那条虚线段;但是当两条虚线段与基准相互比较时都同时比阀值小或大的时候则求与cp,tdi距离之和最小的虚线段,两两比较完之后,直到没有任何较近线段的剩余,最后确定第二条虚线段;重复上述过程依次求出以下虚线段。
步骤(4)的多线段扩展步骤中包括步骤:
在追踪阶段获得各候选多段线,对各多段线之间的位置关系进行确认,当满足下列关系时的多段线视为有效候选多段线:无论实线还是虚线,候选多段线的第一个点(自底向上)需离下方参考多段线的最后一个顶点距离较近,即候选多段线的第一个点落在阴影区域内,而该阴影区域由两个线段的方向夹角θ、连接角φ、扇形角、径向半径和横向宽度等限定,其中θ角为8~15度,φ角为2~5度,扇形角大小为25~40度,径向半径大小为30~50像素,横向宽度为的16~20像素;对于虚车道线,虚线段长度和间隔长度的比例关系应该相等,推荐比例在2∶3与1∶1之间;具有关联性的各多段线扩张生成候选车道线p。
本发明的优点是车道线检测算法适用于各种复杂的城市道路,且由于需要其较低的计算量,在低端硬件下就能运行,简单可靠。
附图说明
附图是本发明的实施例。
附图1是车道线检测方法的原理流程图。
附图2是图像处理区域示意图(下方为图像处理区域)。
附图3是从投射图到逆投射图的变换示意图。
附图4是聚类算法扩展示意图。
附图5是栅格设置示意图。
附图6是垂足在线段BC上的示意图。
附图7是垂足不在线段BC上的示意图。
附图8是点A与多段线p之间的距离的示意图。
附图9中多段线之间的距离示意图。
附图10是关联性查验示意图。
附图11是偏离预警决策流程图。
具体实施方式
本发明的附图1表示了车道线检测算法的基本框架。首先是(一)预处理的过程,通过摄像头标定得到原始图像的逆投影透射图,通过二值化DLD滤波(单线)和DLDLD滤波(双线)特征图像,再对其进行聚类膨胀处理,将各可能特征点进行融合;随后在预先定义的栅格中对上述特征点进行连续线性分段函数拟合,并记录各分段函数的始末点坐标和相应斜率(若某一段函数线的终点与临近函数线的起点坐标一致或接近,则认为是二者组成一个多段线;若二者坐标不一致,则认为本段函数线为单独的一个线段;以下统称为多段线);完成以上步骤就能提取出多段线(此类多段线不仅包含车道线形成的多段线,也包含其他干扰因素等形成的多段线)。然后是(二)车道线提取的过程,对提取出的处于最底部的本帧多段线与前帧多段线(即跟踪线)进行匹配分别得到候选实线和候选虚线,并以满足匹配条件的候选线为下一次跟踪匹配过程的参考起始线(本帧中与前帧多段线匹配的多段线,认为跟踪成功;本帧中不匹配的多段线认为跟踪不成功);在虚线匹配中,第一条虚线跟踪步骤完成且确定后,以位于最底部的跟踪匹配成功的此条多段线为参考起始线,对本帧内其他多段线进行匹配,以获得该多段线所在车道线的全部多段线部分,并认为此多段线相互关联,该步骤称为多段线的扩展。最后对于多个关联的多段线组成的新多段线,对其按一定规则进行评估,若满足阈值要求,则认为是一个有效的车道线,此步骤称为查验;为防止新出现车道线的漏检,非有效的车道线保留若干帧以上。本车道检测算法将单线和双线的识别步骤分开处理,因此程序需分别对同一副道路图像处理两次。
具体步骤:
一、预处理过程
1、在原始道路图像中,获得该道路图像的灰度形式,确定车道线待处理区域,高度值其中Height为图像高度,如图2所示。结合摄像头标定信息(摄像头标定方法采用专利公开号为CNl537749A的一种车载摄像机外部参数标定方法),对摄像头采集的道路图像进行逆透射变换处理,将图像上的透射投影图转换为对道路平面上的鸟瞰图,即逆透射图,如附图3所示。
2、将逆透射图进行二值化滤波处理,找出可能的车道标志线,主要有三个步骤:
A特征抽取
从逆透射图中提取出DLD特征(单线)图和DLDLD特征(双线)图,对单双线的不同特点采用不同的特征抽取算子。假设某像素点坐标为(x,y),像素值为p(x,y)。则对于单车道线的特征抽取算子为:
DLD(x,y)=max{min{p(x,y)-p(x-2,y),p(x,y)-p(x+2,y)},0}
对双车道线的特征抽取算子为:
DLDLD(x,y)=max{min{p(x-3,y)-p(x-5,y),p(x-3,y)-p(x,y),p(x+3,y)-p(x+5,y),p(x+3,y)-p(x,y)},0}
B平均亮度二值化
采用局部邻域的均值阀值对上述结果进行二值化,二值化的推荐局部窗口范围为(15~32)*1像素。这能有效减小汽车和路边物体产生的阴影对检测结果的影响。当本待处理像素点的像素值大于或等于周围像素点像素平均值时,则将本待处理像素点像素值设为255;否则设定为0。
C聚类膨胀扩展
对上述二值化图像中的白色像素点进行自底向上的聚类扩展处理,法则如下图4所示。所谓膨胀就是对二值化边界点进行扩充,将于物体接触的所有背景点合并到物体中,使边界向外部扩张的过程。如果两个物体之间的距离比较近,则膨胀运算可能会把两个物体连通到一起,如附图4所示,其中黑色部分为参考像素点,周围斜线部分为扩展候选像素点。其中,最顶端的扩展点有利于减小噪声(比如脏污和阴影)对车道线连续性的影响。
3、将聚类处理后的二值化图像进行连续分段函数拟合。为便于处理,将待处理图像区域进行栅格化,在栅格内对各特征像素点进行误差最小二乘法拟合,同时定义该函数线段的起点为最下端的像素点,终点为最上端的像素点。若某一段函数线的终点与临近函数线的起点坐标一致或接近(距离小于3个像素),则认为是二者组成一个多段线,依此类推,可以组成由多个栅格内的线段组成的多段线。若栅格数量Num不小于5~7,则认为是实线,否则认为是虚线;若二者坐标不一致,则认为本段函数线为单独的一个线段,此时该单独的线段属于虚线,且栅格数量Num=l,但也认为属于一种多段线,由此以上二者统称为多段线。
待处理图像区域的栅格设置示意图如附图5所示,每个栅格的大小推荐设置为宽*高=(20~30)*(10~20)像素。
二、车道线提取过程
图像进行完预处理后,可以提取出多段线,接下来就进行车道线检测。车道线检测分为3个步骤:多段线追踪、多段线扩展和车道线查验。
在进行讨论之前,先作以下定义:
(a)定义点A与线段之间距离:设定r为所在直线,A⊥r为过A点在相对直线r的垂足,该垂足有两种状态,第一种如附图6所示,垂足在线段BC上,第二种如附图7所示,垂足不在线段BC上;那么点A与线段之间的距离d(A,
(b)定义点A与多段线p之间的距离:多段线p={P0...Pn}表示多段线p由P0...Pn等一系列点顺序构成,如附图8所示,则点A与多段线p之间的距离d(A,p)定义为连接A点与p上最近点之间的线段的长度,点A⊥p即为p上所述离A最近的点。
同时令表示k为使得A到Pi距离最小时,i的值。那么显然有:
A⊥p∈{Pk-1,Pk+1},准确表达为:
特别地,当k=0或k=n时,A⊥p可简化表示为此时点A与多段线p之间的距离d(A,p)=d(A,A⊥p)。
(c)定义多段线a,b之间的距离:如附图9所示,多段线a={A0...Am},多段线b={B0...Bn},其中Bf=A0⊥b,Af=B0⊥a,Bb=Am⊥b,Ab=Bn⊥a,定义 多段线a、b之间的最小距离定义为
d min ( a , b ) = min ( min i ∈ { 0 . . . m } ( d ( A i , b ) ) , min j ∈ { 0 . . . m } ( d ( B j , a ) ) ) , 则多段线a、b之间的距离定义为:
d ( a , b ) = max ( 2 * area ( a , b ) length ( a ) [ V 0 , V 1 ] + length ( b ) [ V 3 , V 2 ] , d min ( a , b ) ) , 其中图中阴影部分表示多段线a、b之间的覆盖面积,length(p)[vm,vn]代表由点Vm和点Vn所限定的多段线p之间的长度。
1、多段线追踪阶段
基于以上定义,确认提取多段线时,首先将本帧提取的候选多段线与前帧获取的候选多段线进行比较分析以实施跟踪。
(1)对于实车道线,假设本帧(T时刻)候选多段线表示为{cs0...csh-1}(其中csj(j∈0...h-1)是代表组成该多段线的多个子多段线),对应的前帧(T-1时刻)多段线表示为{ts0...tsk},则本帧候选多段线分值分配公式为: score ( ts i , cs j ) = d ( ts i , cs j ) length ( cs j ) , j ∈ { 0 . . . h - 1 } ; 则获得最低值的候选多线段csj在本帧内被选择,供后续处理,从而看出2条线越近,候选多段线越长score值越小,获得最小值的多段线被选择,然后自动成为下一帧候选线的参考线。
(2)对于虚车道线,由于候选虚线太短,若继续使用上式容易产生较大误差,本算法使用了另外一种策略。利用该分量和前后帧多段线距离的综合因素决定多段线的选择使得可信度提高,准确度大。本帧内的候选虚车道线段表示为{cd0...cdh-1},对应的前帧候选虚车道线段表示为{td0...tdk-1},则本帧候选虚车道线段分值分配公式为:score(tdi,cdj)=d(tdi,cdj)2+xj 2,j∈{0...k-1}。其中xj是cdj线段的顶上第一个点的x分量。加上该分量的好处是虚车道线段离摄像头越近,其精度也越高,本身值也越小,而获得最小分值的cdj在本帧内被选择,共后续处理。当确定了第一段虚线段后,以该段为起始线来对其他关联的虚车道线段进行分类,最终迭代产生新的跟踪多段线cp。本算法采用了如下准则:
此算法的含义在于用第一段虚线段作为比较的基准(即tdi)将其他虚线段(即cdk,cdh等)通过此算法进行两两比较,当两条虚线段与基准相互比较时,如果分别在阀值的两端,则取比阀值小的那条虚线段。但是当两条虚线段与基准相互比较时都同时比阀值小或大的时候则求与cp,tdi距离之和最小的虚线段,两两比较完之后(直到没有任何较近线段的剩余),最后确定第二条虚线段。重复上述过程依次求出以下虚线段,为了确保所求的多段线的正确性还会在后面进行查验。
2、多段线扩展阶段
对跟踪成功和未成功的多段线进行多种附件条件分析,来判断各多段线之间的关联性,使得各关联的多段线可以扩展成一个完整的候选车道线。在追踪阶段获得各候选多段线,但为使车道线连接平滑,没有错误分叉,需要对以上各多段线之间的位置关系进行确认,当满足下列关系时的多段线视为有效候选多段线:
无论实线还是虚线,候选多段线的第一个点(自底向上)需离下方参考多段线的最后一个顶点距离较近,即候选多段线的第一个点落在阴影区域内,而该阴影区域由两个线段的方向夹角θ、连接角φ、扇形角、径向半径和横向宽度等限定,如附图10所示,本例中推荐θ角为8~15度,φ角为2~5度,扇形角大小为25~40度,径向半径大小为30~50像素,横向宽度为的16~20像素。不仅如此,对于虚车道线,虚线段长度和间隔长度的比例关系应该相等,推荐比例在2∶3与1∶1之间。具有关联性的各多段线扩张生成候选车道线p。
2.车道线确定阶段
经过以上步骤后,根据一定的分数函数对所得的候选车道线p进行计分。
其中(0,0)原点定义在摄像头与地面垂直交点处。同时若该候选车道线p是由前帧追踪所得,则本帧候选车道线应得分值为当前分值和前帧车道线对应分值之和,以便形成积累效应。当分值不小于某一定阀值时确定为有效车道线,理想阀值设定范围为0.95~1.6;反之确定为非有效的车道线。认为非有效的车道线,为防止检测判断错误也并不被立即放弃,而是保留若干帧以上,为防止新出现车道线的漏检,以供后续参考分析,推荐采用保留5~20帧。所以该公式的使用,具有两点好处:对于较远的线,只有经过多帧的连续确认才被视为有效车道线,保证了较高的准确性;对于较近的长线,则很容易被视为有效车道线。
偏离预警决策阶段
对以上阶段确定的有效车道线,延伸获取其与处理图像区域边框的交点位置坐标,并选择左右车道线中最顶端端点与边框的交点位置坐标的沿宽度方向的子坐标值colNum,其中colNum的有效取值范围是0~Width(其中Width为图像宽度)。并计算该值与图像宽度中心的距离Dis=|Width/2-cloNum|(其中Width为图像宽度,||表示取绝对值)。同时,计算左向偏置距离L_Dist和右向偏置距离R_Dist,(初始时设定L_Dist和R_Dist变量的值为Max=A*Width,其中A为比例系数,A为整数且不小于2)。显然,但车辆从左侧偏离车道时,图像中车道线顶端点靠右侧显示;反之,靠左侧显示。同时设定,车道偏离预警距离阀值设定为DisWarn=K*Width,其中K为预警比例系数,K值取值系数范围为0.1~0.5,推荐采用K=0.3。偏离预警决策流程如附图10所示。

Claims (6)

1.一种车道线提取及偏离预警方法,其特征在于包括步骤: 
(1)、图像预处理步骤:对摄像头标定得到原始图像的逆投影透射图,提取单线的DLD特征图像和双线DLDLD特征图像,根据两种特征抽取算子并进行二值化处理,对二值化图像中的白色像素进行自底向上的聚类膨胀处理; 
对于单线的DLD特征图像,单车道线的特征抽取算子为: 
DLD(x,y)=max{min{p(x,y)-p(x-2,y),p(x,y)-p(x+2,y)},0} 
对于双线DLDLD特征图像,双车道线的特征抽取算子为: 
DLDLD(x,y)=max{min{p(x-3,y)-p(x-5,y),p(x-3,y)-p(x,y), 
p(x+3,y)-p(x+5,y),p(x+3,y)-p(x,y)},0} 
其中(x,y)为某像素点坐标,p(x,y)为该像素点的像素值; 
(2)、对聚类处理后的二值化图像进行连续分段函数拟合步骤:将待处理图像区域进行栅格化,在栅格内对各特征像素点进行误差最小二乘法拟合,在预先定义的栅格中对上述特征点进行连续线性分段函数拟合,并记录各分段函数的始末点坐标和相应斜率,若某一段函数线的终点与临近函数线的起点坐标一致或距离小于3~7个像素,则认为是二者组成一个多段线;若二者坐标不一致且距离大于或等于3~7个像素,则认为本段函数线为单独的一个线段; 
(3)、虚实线判断步骤: 
实线:定义为若某一栅格内一段函数线的终点与临近栅格内函数线的起点坐标一致或距离小于3~7个像素,认为这两个函数栅格内的函数线属于同一多段线,当栅格数量Num不小于5~7时,认为该多段线为实线; 
虚线:定义为若某一栅格内一段函数线的终点与临近栅格内函数线的起点坐标一致或距离小于3~7个像素,认为这两个函数栅格内的函数线属于同一多段线,栅格数量Num小于5~7的多段线为虚线; 
(4)、车道提取步骤:该步骤包括: 
1)、多线段追踪步骤:对提取出的处于最底部的本帧多段线与前帧多段线进行匹配分别得到候选实线和候选虚线,并以满足匹配条件的候选线为下一次跟踪匹配过程的参考起始线,本帧中与前帧多段线匹配的多段线,认为跟踪成功;本帧中不匹配的多段线认为跟踪不成功; 
2)、为多段线的扩展步骤:在虚线匹配中,第一条虚线跟踪步骤完成且确定后,以位于最底部的跟踪匹配成功的此条多段线为参考起始线,对本帧内其他多段线进行匹配,以获得该多段线所在车道线的全部多段线部分,并认为此多段线相互关联; 
3)、查验步骤:对于多个关联的多段线组成的新多段线,对其按一定规则进行评估,若满足阈值要求,则认为是一个有效的车道线,确定候选车道p; 
4)、车道线确定步骤:根据分类函数对所得的候选车道线p,采用进行计分,其中(0,0)原点定义在摄像头与地面垂直交点处,d((0,0),p)代表由原点和线段p之间的距离,length(p)代表由多段线p所决定的两端点[Vm Vn]所限定的线段长;若该候选车道线p是由前帧追踪所得,则本帧候选车道线应得分值为当前分值和前帧车道线对应分值之和,以便形成积累效应;当分值不小于某一定阀值时确定为有效车道线,理想阀值设定范围为0.95~1.6;反之确定为非有效的车道线; 
(5)、偏离预警决策步骤:对有效车道线,延伸获取其与处理图像区域边框的交点位置坐标,并选择左右车道线中最顶端端点与边框的交点位置坐标的沿宽度方向的子坐标值colNum,colNum的有效取值范围是0~Width,其中Width为图像宽度,计算子坐标值colNum与图像宽度中心的距离Dis=|Width/2-cloNum|,同时,计算左向偏置距离L_Dist和右向偏置距离R_Dist;初始时设定L_Dist和R_Dist变量的值为Max=A*Width,其中A为比例系数,A为整数且不小于2,设定车道偏离预警距离阀值设定为DisWarn=K*Width,其中K为预警比例系数,K值取值系数范围为0.1~0.5,当左向偏置距离L_Dist或右 向偏置距离R_Dist超出车道偏离预警距离阀值时报警。 
2.根据权利要求1所述的车道线提取及偏离预警方法,其特征在于步骤(1)包括确定车道线待处理区域步骤:在原始道路图像中,获得该道路图像的灰度形式,确定车道线待处理区域,高度值 其中Height为图像高度。 
3.根据权利要求1所述的车道线提取及偏离预警方法,其特征在于步骤(1)包括步骤:采用局部邻域的均值阀值对抽取的两种特征算子进行二值化,二值化的推荐局部窗口范围为(15~32)*1像素,当待处理像素点的像素值大于或等于周围像素点像素平均值时,则将待处理像素点像素值设为255;否则设定为0。 
4.根据权利要求1所述的车道线提取及偏离预警方法,其特征在于步骤(2)包括步骤:预先定义栅格,每个栅格的大小推荐设置为宽*高=(20~30)*(10~20)像素。 
5.根据权利要求1所述的车道线提取及偏离预警方法,其特征在于步骤(2)包括步骤: 
1)、定义点A与线段之间距离:设定r为所在直线,A⊥r为过A点在相对直线r的垂足,那么点A与线段之间的距离为
2)、定义点A与多段线p之间的距离:多段线p={P0...Pn}表示多段线p由 
P0...Pn等一系列点顺序构成,则点A与多段线p之间的距离d(A,p)定义为连接A点与p上最近点之间的线段的长度,点A⊥p即为p上离A最近的点; 
同时令表示k为使得A到Pi距离最小时,i的值,那么显然有: 
A⊥p∈{Pk-1,Pk+1},准确表达为:
特别地,当k=0或k=n时,A⊥p可简化表示为此时点A与多段线p之间的距离d(A,p)=d(A,A⊥p); 
3)、定义多段线a,b之间的距离:多段线a={A0...Am},多段线b={B0...Bn},其中Bf=A0⊥b,Af=B0⊥a,Bb=Am⊥b,Ab=Bn⊥a,多段线a、b之间的最小距离定义为 则多段线a、b之间的距离定义为: 其中area(a,b)部分表示多段线a、b之间的覆盖面积,代表由点Vm和点Vn所限定的多段线p之间的长度。 
6.根据权利要求1所述的车道线提取及偏离预警方法,其特征在于步骤(4)的多线段扩展步骤中包括步骤: 
在追踪阶段获得各候选多段线,对各多段线之间的位置关系进行确认,当满足下列关系时的多段线视为有效候选多段线:无论实线还是虚线,候选多段线的第一个点自底向上需离下方参考多段线的最后一个顶点距离较近,即候选多段线的第一个点落在阴影区域内,而该阴影区域由两个线段的方向夹角θ、连接角φ、扇形角、径向半径和横向宽度限定,其中θ角为8~15度,φ角为2~5度,扇形角大小为25~40度,径向半径大小为30~50像素,横向宽度为16~20像素;对于虚车道线,虚线段长度和间隔长度的比例关系应该相等,推荐比例在2:3与1:1之间;具有关联性的各多段线扩张生成候选车道线p。 
CN201210085354.1A 2012-03-28 2012-03-28 车道线提取及偏离预警方法 Active CN102663356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210085354.1A CN102663356B (zh) 2012-03-28 2012-03-28 车道线提取及偏离预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210085354.1A CN102663356B (zh) 2012-03-28 2012-03-28 车道线提取及偏离预警方法

Publications (2)

Publication Number Publication Date
CN102663356A CN102663356A (zh) 2012-09-12
CN102663356B true CN102663356B (zh) 2015-04-08

Family

ID=46772840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210085354.1A Active CN102663356B (zh) 2012-03-28 2012-03-28 车道线提取及偏离预警方法

Country Status (1)

Country Link
CN (1) CN102663356B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475729B (zh) * 2013-09-18 2016-07-20 南京载玄信息科技有限公司 一种物联网应用的轨迹特征点提取方法
CN104517111B (zh) * 2013-09-27 2018-09-07 比亚迪股份有限公司 车道线检测方法、***、车道偏离预警方法及***
CN103996053B (zh) * 2014-06-05 2017-03-22 中交第一公路勘察设计研究院有限公司 基于机器视觉的车道偏离报警方法
CN105835891A (zh) * 2016-01-26 2016-08-10 乐卡汽车智能科技(北京)有限公司 防止车道偏离的***及方法
FR3047932B1 (fr) * 2016-02-19 2018-03-16 Peugeot Citroen Automobiles Sa Dispositif et procede d'estimation du niveau d'attention d'un conducteur d'un vehicule
CN106203273B (zh) * 2016-06-27 2019-11-01 开易(北京)科技有限公司 多特征融合的车道线检测***、方法及高级驾驶辅助***
WO2018053836A1 (zh) * 2016-09-26 2018-03-29 深圳市锐明技术股份有限公司 成对车道线检测方法及装置
CN106803066B (zh) * 2016-12-29 2020-11-13 广州大学 一种基于Hough变换的车辆偏航角确定方法
CN107133600A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种基于帧间关联的实时车道线检测方法
CN107273935B (zh) * 2017-07-09 2020-11-27 北京流马锐驰科技有限公司 一种基于自适应K-Means的车道标志分组方法
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN109421708B (zh) * 2017-08-23 2020-10-23 比亚迪股份有限公司 车道线偏离报警方法和装置
CN109774711B (zh) * 2017-11-15 2020-11-06 财团法人车辆研究测试中心 可权重调变车道模型的车辆横向控制***及其方法
TWI645999B (zh) * 2017-11-15 2019-01-01 財團法人車輛研究測試中心 可權重調變車道模型之車輛橫向控制系統及其方法
CN108052880B (zh) * 2017-11-29 2021-09-28 南京大学 交通监控场景虚实车道线检测方法
CN110395257B (zh) * 2018-04-20 2021-04-23 北京图森未来科技有限公司 一种车道线实例检测方法和装置、自动驾驶车辆
CN108875657A (zh) * 2018-06-26 2018-11-23 北京茵沃汽车科技有限公司 一种车道线检测方法
WO2020087322A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 车道线识别方法和装置、车辆
CN111750878B (zh) * 2019-03-28 2022-06-24 北京魔门塔科技有限公司 一种车辆位姿的修正方法和装置
CN110110029B (zh) * 2019-05-17 2021-08-24 百度在线网络技术(北京)有限公司 用于匹配车道的方法和装置
CN110232368B (zh) * 2019-06-20 2021-08-24 百度在线网络技术(北京)有限公司 车道线检测方法、装置、电子设备及存储介质
CN112304291B (zh) * 2019-07-26 2023-12-22 厦门雅迅网络股份有限公司 基于hud的车道线显示方法及计算机可读存储介质
CN110796066B (zh) * 2019-10-26 2022-09-20 武汉中海庭数据技术有限公司 一种车道线组构建方法及装置
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
CN112233447A (zh) * 2020-09-30 2021-01-15 上海博泰悦臻电子设备制造有限公司 变道提醒方法及相关设备
CN113361368B (zh) * 2021-06-01 2024-03-19 福建福昕软件开发股份有限公司 基于桌面软件通过函数拟合识别pdf内多类线条的方法
CN113705513B (zh) * 2021-09-03 2023-09-26 北京百度网讯科技有限公司 模型训练和车道线预测方法、电子设备和自动驾驶车辆
CN114136327B (zh) * 2021-11-22 2023-08-01 武汉中海庭数据技术有限公司 一种虚线段的查全率的自动化检查方法及***
CN118093747A (zh) * 2024-01-16 2024-05-28 宁波大学 一种海量顶点的多段线简化的分布式并行方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1775601A (zh) * 2005-11-18 2006-05-24 吉林大学 车辆行驶轨迹预估及车道偏离评价方法
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和***
EP1918897A2 (en) * 2006-07-06 2008-05-07 Samsung Electronics Co., Ltd. Apparatus and method for generating driver assistance information of traveling vehicle
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
CN101804814A (zh) * 2010-01-08 2010-08-18 北京世纪高通科技有限公司 一种确定车道偏离的方法、装置和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1775601A (zh) * 2005-11-18 2006-05-24 吉林大学 车辆行驶轨迹预估及车道偏离评价方法
EP1918897A2 (en) * 2006-07-06 2008-05-07 Samsung Electronics Co., Ltd. Apparatus and method for generating driver assistance information of traveling vehicle
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和***
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
CN101804814A (zh) * 2010-01-08 2010-08-18 北京世纪高通科技有限公司 一种确定车道偏离的方法、装置和***

Also Published As

Publication number Publication date
CN102663356A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN102663356B (zh) 车道线提取及偏离预警方法
Chen et al. Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review
CN106778593B (zh) 一种基于多地面标志融合的车道级定位方法
CN102646199B (zh) 复杂场景中的车型识别方法
US20210350149A1 (en) Lane detection method and apparatus,lane detection device,and movable platform
CN109670376B (zh) 车道线识别方法及***
CN111337941A (zh) 一种基于稀疏激光雷达数据的动态障碍物追踪方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
US20120140061A1 (en) Multi-Object Appearance-Enhanced Fusion of Camera and Range Sensor Data
CN102398598A (zh) 使用前视和后视摄像机的车道融合***
CN102700548A (zh) 具有前摄像机和后摄像机的稳健的车辆侧向控制
CN105912998A (zh) 一种基于视觉的车辆防碰撞预警方法
Bouain et al. Multi-sensor fusion for obstacle detection and recognition: A belief-based approach
Wen et al. Recovery of urban 3D road boundary via multi-source data
CN114937255A (zh) 一种激光雷达与相机融合的检测方法及装置
CN103295003A (zh) 一种基于多特征融合的车辆检测方法
CN117292358A (zh) 目标识别方法、装置、电子设备及计算机可读存储介质
Jung et al. Intelligent Hybrid Fusion Algorithm with Vision Patterns for Generation of Precise Digital Road Maps in Self-driving Vehicles.
US11891069B2 (en) Grid-based road model with multiple layers
CN115063771B (zh) 对障碍物的距离检测的纠错方法、***、存储介质及设备
EP4047563A1 (en) Lane-type and roadway hypotheses determinations in a road model
Puthon et al. A complete system to determine the speed limit by fusing a GIS and a camera
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles
US20220101023A1 (en) Road-Perception System Configured to Estimate a Belief and Plausibility of Lanes in a Road Model
CN111174796B (zh) 一种基于单灭点的导航方法、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: No. 19 A District 545006 building the Guangxi Zhuang Autonomous Region Liuzhou Liu Dong New Area chuyang road 3 No. 218

Patentee after: Liuzhou Boshiwei Automobile Technology Co., Ltd.

Address before: 545006 the Guangxi Zhuang Autonomous Region Liuzhou city and the District Real Estate Comprehensive Building 507

Patentee before: Liuzhou Boshiwei Automobile Technology Co., Ltd.

CP01 Change in the name or title of a patent holder

Address after: 545006 Workshop No. 218, No. 19 Chuyang Road, Liudong New District, Liuzhou City, Guangxi Zhuang Autonomous Region

Patentee after: Liuzhou Bo Shi Wei car Polytron Technologies Inc

Address before: 545006 Workshop No. 218, No. 19 Chuyang Road, Liudong New District, Liuzhou City, Guangxi Zhuang Autonomous Region

Patentee before: Liuzhou Boshiwei Automobile Technology Co., Ltd.

CP01 Change in the name or title of a patent holder