CN102609938B - 一种从单幅图像检测道路消失点的方法 - Google Patents

一种从单幅图像检测道路消失点的方法 Download PDF

Info

Publication number
CN102609938B
CN102609938B CN201210012694.1A CN201210012694A CN102609938B CN 102609938 B CN102609938 B CN 102609938B CN 201210012694 A CN201210012694 A CN 201210012694A CN 102609938 B CN102609938 B CN 102609938B
Authority
CN
China
Prior art keywords
image
straight line
road
length
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210012694.1A
Other languages
English (en)
Other versions
CN102609938A (zh
Inventor
陆系群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201210012694.1A priority Critical patent/CN102609938B/zh
Publication of CN102609938A publication Critical patent/CN102609938A/zh
Application granted granted Critical
Publication of CN102609938B publication Critical patent/CN102609938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种从单幅图像检测道路消失点的方法。利用一幅道路图像中位于道路的标识线,或车辆轨迹上的像素点梯度方向应具有一致性,以及位于道路路面的像素点具有相似的纹理色彩特征,采用基于线段方法来检测图像中道路消失点。本发明的结合了基于图像边缘方法和基于图像纹理方法的优点,利用基于图像纹理方法中方向一致性概念去除一般道路图像中存在很多和道路不相关的直线,利用位于道路路面上像素点具有相似的纹理色彩特征等特点,能提高检测道路消失点的正确度,计算复杂度低,可以应用于实时道路监控,智能行走机器人或自动驾驶汽车等计算机视觉***。

Description

一种从单幅图像检测道路消失点的方法
技术领域
本发明涉及一种检测道路消失点的方法,尤其是涉及一种从单幅图像检测道路消失点的方法。
背景技术
实时道路监控,智能行走机器人或自动驾驶汽车等计算机视觉***面临的一个重要问题就是检测前方可行走道路的边界,而道路消失点可以帮助计算机推断道路边界,根据透视原理两条平行直线相交于无穷远的一点,这点就是投影到图像平面上的消失点。
目前从单幅图像中检测道路消失点的方法主要可以分为两类:基于图像边缘方法和基于图像纹理方法。基于图像边缘方法(如Y.Wang,E.K.Teoh,and D.Shen,“Lane detection andtracking using B-snake,”Image and Vision Computing 22:269-280,2004)一般分为三个步骤:采用边缘检测算子,如Canny算子检测图像中的边缘,然后根据Hough变换检测图像中的直线,最后计算这些直线的交点,离所有直线距离最近的那个交点就是检测到的消失点。虽然这种方法计算简单,但它的局限性在于一般道路图像中存在很多干扰因素,如道路两旁的树木,房屋或天空的云彩等等,这些干扰因子通常会引入和道路边沿不相关的直线,导致最后检测的消失点和道路真实消失点相差很远。而且这些方法在面向没有明显路面标识的道路图像可能效果比较差,针对这一情况基于图像纹理方法(如H.Kong,J.-Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.On Image Processing,19(8):2211-2220,2010,和P.Moghadam,J.A.Starzyk,and W.S.Wijesoma,“Fast vanishing point detection inunstructured environments,”IEEE Trans.On Image Processing,2011等)则采用一组空间方向滤波器阵列,如Gabor滤波器,检测图像中每个像素点的纹理方向,然后采用投票策略,获得票数最多的像素点被确定为道路的消失点。这类方法的局限性在于投票过程计算复杂度高,不适用于实时应用***,另外如果道路场景中存在一些与车辆轨迹相比具有较强的边缘强度的对象,如广告牌,或车辆等,则投票结果会出现很大的偏差,因为投票点的资格一般由像素点上方向滤波器响应的强度决定。
发明内容
本发明的目的在于提供一种从单幅图像检测道路消失点的方法,结合了基于图像边缘方法和基于图像纹理方法的各自优点,利用一般道路图像中的直线信息,采用基于图像纹理方法中常用的方向一致性概念,去除图像中与道路不相关的边缘点,然后采用最小二乘方法对这些图像边缘拟合得到直线的参数矢量,根据相交的每两条直线上像素点的梯度方向和直线方向一致性测度,以及相交的两条直线和图像边界所包裹区域内像素点纹理色彩的差异性,构造一个能量函数,具有最小能量的直线交点就是检测到的道路消失点。
本发明采用的技术方案包括如下步骤:
利用一幅道路图像中位于道路的标识线,或车辆轨迹上的像素点梯度方向应具有一致性,以及位于道路路面的像素点具有相似的纹理色彩特征,采用基于线段方法来检测图像中道路消失点,具体步骤如下:
(1)输入一幅道路图像;
(2)设定一个长度阈值T1,角度偏差阈值T2,以及将用于直线拟合图像边缘的数目N1,长度阈值逐次减少的数值T3,和满足方向一致性要求的图像边缘的数目N2
(3)采用图像边缘检测方法得到道路图像中每个像素点的梯度方向和边缘点;
(4)采用光栅扫描方式和八连通方法去除图像中孤立的边缘点,连接边缘点,得到图像边缘;
(5)检查前一步骤(4)得到的所有图像边缘的长度是否满足步骤(2)事先设置好的长度阈值T1,如果在当前长度阈值T1下,能收集到的用于直线拟合N1条符合长度要求的图像边缘,则跳转到下一步骤(6),反之则逐渐减少长度阈值T1,每次从当前长度阈值T1减少T3,直到能收集到N1条符合长度要求的图像边缘;
(6)针对得到的N1条满足长度要求的图像边缘,计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值:
C i = Σ p k , p k + 1 ∈ edge _ list ( i ) | θ ^ ( p k ) - θ ^ ( p k + 1 ) | , - - - ( 1 )
其中pk和pk+1是第i条满足长度要求图像边缘上的两个像素点,
Figure BDA0000131334120000022
Figure BDA0000131334120000023
分别是这两个像素点上的梯度方向,符号||表示求绝对值,Ci就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值;
(7)依据公式(1),将N1条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列,然后从小到大选择N2条方向一致性较好的图像边缘,即它们的方向一致性测度值C比较小;
(8)针对从步骤(7)得到的每一条满足长度和方向一致性要求的图像边缘,假设第i条满足长度和方向一致性要求图像边缘上共有ni个点,这些点构成如下齐次坐标矩阵Ai
A i = x 1 i y 1 i 1 · · · · · · · · · x n i i y n i i 1 , - - - ( 2 )
其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标,上标i表示满足长度和方向一致性要求图像边缘的序号,而下标则表示在该图像边缘上像素点的序号,范围从1到ni,然后采用奇异值分解方法分解这些得到的矩阵Ai,这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N2,矩阵Ai最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[ai bi ci],该直线方程为aix+biy+ci=0,换句话说是采用最小二乘方法得到这些图像边缘拟合的直线;
(9)根据所得到直线的参数,计算这些直线之间的交点,假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[ai bi ci]和通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点;
(10)针对每两条相交的直线,从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异:
COR ( l i s ) = # ( | &theta; ^ ( p k ) - &theta; ( l i ) | < T 2 , p k &Element; l i s ) length ( l i s ) , - - - ( 3 )
s表示直线li和直线lj的交点,其中
Figure BDA0000131334120000033
表示直线li从交点s开始沿着直线朝向图像下方的那一段,pk表示位于线段
Figure BDA0000131334120000034
上的一个像素点,而表示该像素点上的梯度方向,θ(li)表示直线li的方向(即
Figure BDA0000131334120000036
),T2就是步骤(2)中设置的角度偏差阈值,#是一个计数器,计算位于
Figure BDA0000131334120000037
上有多少个像素点的梯度方向和直线方向θ(li)之间绝对值差异小于角度偏差阈值T2
Figure BDA0000131334120000038
表示直线li从交点s开始沿着直线朝向图像下方那一段的长度,公式(3)中
Figure BDA0000131334120000039
值越小标明直线段
Figure BDA00001313341200000310
上像素点的梯度方向和所在直线的方向越一致;
(11)一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的,而不会朝向图像上方,所以图像中直线方向的范围应该是
Figure BDA00001313341200000311
其中180°方向直线和0°方向直线同属水平线,垂直向下的直线应该是90°,现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性:
CTdiff ( l i s , l j s ) = | | 1 # ( &Omega; 1 ) &Sigma; p 1 &Element; &Omega; 1 c ( p 1 ) - 1 # ( &Omega; 2 ) &Sigma; p 2 &Element; &Omega; 2 c ( p 2 ) | | - - - ( 4 )
直线li和直线lj相交于s点,其中
Figure BDA00001313341200000313
Figure BDA00001313341200000314
分别表示直线li和直线lj从交点s开始沿着各自直线朝向图像下方的那一段,相交直线和图像边界所包裹的图像区域被通过交点s,并均分直线li和直线lj之间夹角的中分线分成两个部分:Ω1和Ω2,公式(4)就是用来计算这两部分之间的纹理色彩的差异性,#(Ω1)和#(Ω2)表示分别落在Ω1和Ω2区域内的像素点个数,而p1和p2分别表示落在Ω1和Ω2内的像素点,c(p1)和c(p2)表示这些点上的色彩,符号||||表示区域Ω1和Ω2之间色彩平均差异的范数;
(12)依照公式(3)和(4),构造相交于s点直线段
Figure BDA0000131334120000042
的能量函数:
E ( l i s , l j s ) = CTdiff ( l i s , l j s ) - COR ( l i s ) - COR ( l j s ) - - - ( 5 )
检查每两条相交直线的能量函数,具有最小能量直线对的交点就是检测到的道路消失点。
所述的输入一幅道路图像是具有明显路面标识的城市道路图像,或是只有车辆轨迹的沙漠、雪地道路图像。
所述的输入图像尺寸为180×240的图像,检测每一幅图像消失点所需的时间为0.3~0.5秒,目前测试程序是在Matlab环境下编写的,因此能应用于实时道路监控,智能行走机器人或自动驾驶汽车***。
本发明具有的有益效果是:
本发明结合了基于图像边缘方法和基于图像纹理方法的优点,利用基于图像纹理方法中方向一致性概念去除一般道路图像中存在很多和道路不相关的直线,利用位于道路路面上像素点具有相似的纹理色彩特征等特点,能提高检测道路消失点的正确度,计算复杂度低,可以应用于实时道路监控,智能行走机器人或自动驾驶汽车等计算机视觉***。
附图说明
图1是本发明的流程图。
图2是本发明和其他三种方法(Y.Wang,E.K.Teoh,and D.Shen,“Lane detection andtracking using B-snake,”Image and Vision Computing 22:269-280,2004,H.Kong,J.-Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.On Image Processing,19(8):2211-2220,2010,和P.Moghadam,J.A.Starzyk,and W.S.Wijesoma,“Fast vanishing pointdetection in unstructured environments,”IEEE Trans.On Image Processing,2011)的道路消失点检测结果准确度比较效果图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
如图1所示,本发明采用的步骤如下:
(1)输入一幅道路图像。
(2)设置长度阈值T1,一般初始值为输入图像高度的一半,设置公式(3)中检查方向一致性角度偏差阈值T2为3°,设置用于直线拟合的图像边缘的数目为N1,通常为10条左右;设置长度阈值每次减少的数值T3,通常为5个像素点;以及满足方向一致性要求的图像边缘数目N2,一般为5条。
(3)采用一维平滑滤波算子[0.037659 0.249153 0.426375 0.249153 0.037659]和一维差分滤波算子[0.109604 0.276691 0.000000-0.276691-0.109604]分别作用于图像的行和列,得到图像水平方向的差分数值;然后将上述一维平滑滤波算子和一维差分滤波算子再分别作用于图像的列和行,得到图像垂直方向的差分数值;由此计算图像中每个像素点梯度的方向和大小,然后采用Canny图像边缘检测算子检测图像中的边缘点。
(4)采用光栅扫描方式和八连通方法去除图像中孤立的边缘点,连接边缘点,得到图像边缘,即如果一个像素点的八个邻近像素点有一个像素点已经被判定为边缘点,这连接这两个边缘点,反之则作为孤立的边缘点,后续步骤不予考虑。
(5)检查前一步骤(4)得到的所有图像边缘的长度是否满足步骤(2)事先设置好的长度阈值T1,如果在当前长度阈值T1下,能收集到的用于直线拟合N1条符合长度要求的图像边缘,则跳转到下一步骤(6),反之则逐渐减少长度阈值T1,每次从当前长度阈值T1减少T3,直到能收集到N1条符合长度要求的图像边缘。
(6)针对得到的N1条满足长度要求的图像边缘,计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值:
C i = &Sigma; p k , p k + 1 &Element; edge _ list ( i ) | &theta; ^ ( p k ) - &theta; ^ ( p k + 1 ) | , - - - ( 1 )
其中pk和pk+1是第i条满足长度要求图像边缘上的两个像素点,
Figure BDA0000131334120000052
Figure BDA0000131334120000053
分别是这两个像素点上的梯度方向,符号||表示求绝对值,Ci就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值。
(7)依据公式(1),将N1条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列,然后从小到大选择N2条方向一致性较好的图像边缘,即它们的方向一致性测度值C比较小;
(8)针对从步骤(7)得到的每一条满足长度和方向一致性要求的图像边缘,假设第i条满足长度和方向一致性要求图像边缘上共有ni个点,这些点构成如下齐次坐标矩阵Ai
A i = x 1 i y 1 i 1 &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; x n i i y n i i 1 , - - - ( 2 )
其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标,上标i表示满足长度和方向一致性要求图像边缘的序号,而下标则表示在该图像边缘上像素点的序号,范围从1到ni,然后采用奇异值分解方法分解这些得到的矩阵Ai,这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N2,矩阵Ai最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[ai bi ci],该直线方程为aix+biy+ci=0,换句话说是采用最小二乘方法得到这些图像边缘拟合的直线;
(9)根据所得到直线的参数,计算这些直线之间的交点,假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[ai bi ci]和
Figure BDA0000131334120000061
通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点;
(10)针对每两条相交的直线,从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异:
COR ( l i s ) = # ( | &theta; ^ ( p k ) - &theta; ( l i ) | < T 2 , p k &Element; l i s ) length ( l i s ) , - - - ( 3 )
s表示直线li和直线lj的交点,其中表示直线li从交点s开始沿着直线朝向图像下方的那一段,pk表示位于线段
Figure BDA0000131334120000064
上的一个像素点,而
Figure BDA0000131334120000065
表示该像素点上的梯度方向,θ(li)表示直线li的方向(即
Figure BDA0000131334120000066
),T2就是步骤(2)中设置的角度偏差阈值,#是一个计数器,计算位于
Figure BDA0000131334120000067
上有多少个像素点的梯度方向和直线方向θ(li)之间绝对值差异小于角度偏差阈值T2
Figure BDA0000131334120000068
表示直线li从交点s开始沿着直线朝向图像下方那一段的长度,公式(3)中
Figure BDA0000131334120000069
值越小标明直线段
Figure BDA00001313341200000610
上像素点的梯度方向和所在直线的方向越一致;
(11)一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的,而不会朝向图像上方,所以图像中直线方向的范围应该是
Figure BDA00001313341200000611
其中180°方向直线和0°方向直线同属水平线,垂直向下的直线应该是90°,现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性:
CTdiff ( l i s , l j s ) = | | 1 # ( &Omega; 1 ) &Sigma; p 1 &Element; &Omega; 1 c ( p 1 ) - 1 # ( &Omega; 2 ) &Sigma; p 2 &Element; &Omega; 2 c ( p 2 ) | | - - - ( 4 )
直线li和直线lj相交于s点,其中
Figure BDA00001313341200000613
Figure BDA00001313341200000614
分别表示直线li和直线lj从交点s开始沿着各自直线朝向图像下方的那一段,相交直线和图像边界所包裹的图像区域被通过交点s,并均分直线li和直线lj之间夹角的中分线分成两个部分:Ω1和Ω2,公式(4)就是用来计算这两部分之间的纹理色彩的差异性,#(Ω1)和#(Ω2)表示分别落在Ω1和Ω2区域内的像素点个数,而p1和p2分别表示落在Ω1和Ω2内的像素点,c(p1)和c(p2)表示这些点上的色彩,符号||||表示区域Ω1和Ω2之间色彩平均差异的范数;
(12)依照公式(3)和(4),构造相交于s点直线段
Figure BDA00001313341200000615
Figure BDA00001313341200000616
的能量函数:
E ( l i s , l j s ) = CTdiff ( l i s , l j s ) - COR ( l i s ) - COR ( l j s ) - - - ( 5 )
检查每两条相交直线的能量函数,具有最小能量直线对的交点就是检测到的道路消失点。
目前通过Google Image从互联网上下载了上千幅道路图像,这些图像中道路状况差别很大,有明显路面标识的城市道路、只有车辆轨迹的沙漠和雪地道路、高速公路、道路周围光照很暗的道路或夜间道路等。分别采用本发明的方法和三种基于图像边缘和基于图像纹理方法(Y.Wang,E.K.Teoh,and D.Shen,“Lane detection and tracking using B-snake,”Image andVision Computing 22:269-280,2004,H.Kong,J.-Y.Audibert,and J.Ponce,“General roaddetection from a single image,”IEEE Trans.On Image Processing,19(8):2211-2220,2010,和P.Moghadam,J.A.Starzyk,and W.S.Wijesoma,“Fast vanishing point detection in unstructuredenvironments,”IEEE Trans.On Image Processing,2011)对这上千幅道路图像进行测试,同时邀请了5个人分别对这上千幅图像中的道路消失点进行手工标识,因为这5个人的手工标识的道路消失点差别不大,把手工标识中间位置作为道路消失点的真实位置,从而可以评估这四种方法检测道路消失点的准确度:
NormDist = | | v e ( x e , y e ) - v t ( x t , y t ) | | Diag Length - - - ( 6 )
其中ve(xe,ye)表示一幅图像中检测到的消失点空间位置,vt(xt,yt)则表示该图像道路消失点的真实位置,Diag Length是输入图像对角线的长度。如果NormDist越接近1,则表明检测到的消失点和真实的消失点之间偏差很大;如果NormDist越接近0,则表明检测到的消失点和真实的消失点非常相近。
由于这些输入图像的空间尺寸为:高180个像素点、宽240个像素点,所以NormDist为0.1时意味着检测到道路消失点和真实的道路消失点之间的偏差达到30个像素点,这是一个很大的误差,所以只考虑NormDist小于0.1情况。在附图2中给出一个NormDist累计直方图,对于一个好的消失点检测方法,它的NormDist累计直方图曲线应该像阶跃曲线,也就是说针对所有图像:检测到的消失点和真实的消失点之间没有任何偏差,所以累计直方图曲线在NormDist为零时就达到输入图像的数目,因此如果在NormDist累计直方图中曲线越高,表示在越多图像中检测到的消失点和真实的消失点之间偏差比较小,也就是针对越多图像检测的准确度越高。从图2可以看出本发明方法比其他三种方法准确度都要高,尤其是在NormDist误差比较小的时候。

Claims (3)

1.一种从单幅图像检测道路消失点的方法,其特征在于:利用一幅道路图像中位于道路的标识线,或车辆轨迹上的像素点梯度方向应具有一致性,位于道路路面的像素点具有相似的纹理色彩特征,采用基于线段方法来检测图像中道路消失点,具体步骤如下: 
(1)输入一幅道路图像; 
(2)设定一个长度阈值T1,角度偏差阈值T2,以及将用于直线拟合图像边缘的数目N1,长度阈值逐次减少的数值T3,和满足方向一致性要求的图像边缘的数目N2; 
(3)采用图像边缘检测方法得到道路图像中每个像素点的梯度方向和边缘点; 
(4)采用光栅扫描方式和八连通方法去除图像中孤立的边缘点,连接边缘点,得到图像边缘; 
(5)检查前一步骤(4)得到的所有图像边缘的长度是否满足步骤(2)事先设置好的长度阈值T1,如果在当前长度阈值T1下,能收集到的用于直线拟合N1条符合长度要求的图像边缘,则跳转到下一步骤(6),反之则逐渐减少长度阈值T1,每次从当前长度阈值T1减少T3,直到能收集到N1条符合长度要求的图像边缘; 
(6)针对得到的N1条满足长度要求的图像边缘,计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值: 
其中pk和pk+1是第i条满足长度要求图像边缘上的两个像素点,
Figure FDA0000397313460000012
分别是这两个像素点上的梯度方向,符号||表示求绝对值,Ci就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值; 
(7)依据公式(1),将N1条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列,然后从小到大选择N2条方向一致性较好的图像边缘,即它们的方向一致性测度值C比较小; 
(8)针对从步骤(7)得到的每一条满足长度和方向一致性要求的图像边缘,假设第i条满足长度和方向一致性要求图像边缘上共有ni个点,这些点构成如下齐次坐标矩阵Ai: 
其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标,上标i表示满足长度和方向一致性要求图像边缘的序号,而下标则表示在该图像边缘上像素点的序号,范围从1到ni,然后采用奇异值分解方法分解这些得到的矩阵Ai,这些 矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N2,矩阵Ai最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[ai bi ci],该直线方程为aix+biy+ci=0,换句话说是采用最小二乘方法得到这些图像边缘拟合的直线; 
(9)根据所得到直线的参数,计算这些直线之间的交点,假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[ai bi ci]和[aj bj cj],通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点; 
(10)针对每两条相交的直线,从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异: 
Figure FDA0000397313460000021
s表示直线li和直线lj的交点,其中表示直线li从交点s开始沿着直线朝向图像下方的那一段,pk表示位于线段
Figure FDA0000397313460000023
上的一个像素点,而表示该像素点上的梯度方向,θ(li)表示直线li的方向即
Figure FDA0000397313460000025
T2就是步骤(2)中设置的角度偏差阈值,#是一个计数器,计算位于
Figure FDA0000397313460000026
上有多少个像素点的梯度方向和直线方向θ(li)之间绝对值差异小于角度偏差阈值T2
Figure FDA0000397313460000027
表示直线li从交点s开始沿着直线朝向图像下方那一段的长度,公式(3)中值越小标明直线段
Figure FDA0000397313460000029
上像素点的梯度方向和所在直线的方向越一致; 
(11)一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的,而不会朝向图像上方,所以图像中直线方向的范围应该是[0°,180°),其中180°方向直线和0°方向直线同属水平线,垂直向下的直线应该是90°,现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性: 
Figure FDA00003973134600000210
直线li和直线lj相交于s点,其中
Figure FDA00003973134600000211
Figure FDA00003973134600000212
分别表示直线li和直线lj从交点s开始沿着各自直线朝向图像下方的那一段,相交直线和图像边界所包裹的图像区域被通过交点s,并均分直线li和直线lj之间夹角的中分线分成两个部分:Ω1和Ω2,公式(4)就是用来计算这两部分之间的纹理色彩的差异性,#(Ω1)和#(Ω2)表示分别落在Ω1和Ω2区域内的像素点个数,而p1和p2分别表示落在Ω1和Ω2内的像素点,c(p1)和c(p2)表示这些点上的色彩,符号|| ||表示区域Ω1和Ω2之间色彩平均差异的范数; 
(12)依照公式(3)和(4),构造相交于s点直线段
Figure FDA00003973134600000213
Figure FDA00003973134600000214
的能量函数: 
Figure FDA0000397313460000031
检查每两条相交直线的能量函数,具有最小能量直线对的交点就是检测到的道路消失点。 
2.根据权利要求1所述的一种从单幅图像检测道路消失点的方法,其特征在于:所述的输入一幅道路图像是具有明显路面标识的城市道路图像,或是只有车辆轨迹的沙漠和雪地道路图像。 
3.根据权利要求1所述的一种从单幅图像检测道路消失点的方法,其特征在于:所述的输入一幅道路图像的空间尺寸为:高为180个像素点,宽为240个像素点的图像,检测每一幅图像消失点所需的时间为0.3~0.5秒,目前测试程序是在Matlab环境下编写的,因此能应用于实时道路监控,智能行走机器人或自动驾驶汽车***。 
CN201210012694.1A 2012-01-16 2012-01-16 一种从单幅图像检测道路消失点的方法 Active CN102609938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210012694.1A CN102609938B (zh) 2012-01-16 2012-01-16 一种从单幅图像检测道路消失点的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210012694.1A CN102609938B (zh) 2012-01-16 2012-01-16 一种从单幅图像检测道路消失点的方法

Publications (2)

Publication Number Publication Date
CN102609938A CN102609938A (zh) 2012-07-25
CN102609938B true CN102609938B (zh) 2014-04-16

Family

ID=46527284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210012694.1A Active CN102609938B (zh) 2012-01-16 2012-01-16 一种从单幅图像检测道路消失点的方法

Country Status (1)

Country Link
CN (1) CN102609938B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915441A (zh) * 2012-08-30 2013-02-06 杭州电子科技大学 基于Haar纹理的非结构化道路检测方法
CN104331873A (zh) * 2013-07-22 2015-02-04 浙江大学 一种从单幅图像检测道路的方法
CN103714538B (zh) * 2013-12-20 2016-12-28 中联重科股份有限公司 道路边缘检测方法、装置及车辆
CN105303522B (zh) * 2014-06-30 2018-09-28 高德软件有限公司 一种图像去雾处理方法及装置
CN104240247B (zh) * 2014-09-10 2017-04-12 无锡儒安科技有限公司 一种基于单张图片的建筑物俯视轮廓的快速提取方法
KR101610036B1 (ko) * 2014-12-05 2016-04-07 현대모비스 주식회사 터널 판단 장치 및 터널 판단 방법
CN104835183B (zh) * 2015-04-15 2017-11-03 东南大学 基于ncc的道路消失线检测方法
CN105138955A (zh) * 2015-07-10 2015-12-09 深圳市中天安驰有限责任公司 一种道路消失点的检测方法
CN106599868B (zh) * 2016-12-22 2019-06-18 合肥工业大学 一种多车道线的测距方法
CN109035285B (zh) * 2017-06-12 2021-05-11 深圳怡化电脑股份有限公司 图像边界确定方法及装置、终端及存储介质
CN107977664B (zh) * 2017-12-08 2019-12-31 重庆大学 一种基于单幅图像的道路消失点检测方法
CN108960055B (zh) * 2018-05-30 2021-06-08 广西大学 一种基于局部线段模式特征的车道线检测方法
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
CN101520852A (zh) * 2008-02-29 2009-09-02 富士通株式会社 消失点检测装置和检测方法
EP2098992A1 (en) * 2006-11-08 2009-09-09 NEC Corporation Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2098992A1 (en) * 2006-11-08 2009-09-09 NEC Corporation Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
CN101520852A (zh) * 2008-02-29 2009-09-02 富士通株式会社 消失点检测装置和检测方法
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法

Also Published As

Publication number Publication date
CN102609938A (zh) 2012-07-25

Similar Documents

Publication Publication Date Title
CN102609938B (zh) 一种从单幅图像检测道路消失点的方法
Xing et al. Advances in vision-based lane detection: Algorithms, integration, assessment, and perspectives on ACP-based parallel vision
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
Son et al. Real-time illumination invariant lane detection for lane departure warning system
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及***
Borkar et al. A novel lane detection system with efficient ground truth generation
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
US8154594B2 (en) Mobile peripheral monitor
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US8180100B2 (en) Plane detector and detecting method
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
WO2015010451A1 (zh) 一种从单幅图像检测道路的方法
US20090169052A1 (en) Object Detector
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
WO2019071212A1 (en) SYSTEM AND METHOD FOR DETERMINING A CURVE
CN109726627A (zh) 一种神经网络模型训练及通用接地线的检测方法
JP2013239168A (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
Pinggera et al. High-performance long range obstacle detection using stereo vision
US20150302611A1 (en) Vehicle dimension estimation from vehicle images
CN111476242A (zh) 一种激光点云语义分割方法及装置
DE102013227222A1 (de) Gerät und Verfahren für das Extrahieren eines Merkmalpunktes zum Erkennen eines Hindernisses, wobei ein Laserscanner benutzt wird
Muresan et al. Real-time object detection using a sparse 4-layer LIDAR
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
Xu et al. Road lane modeling based on RANSAC algorithm and hyperbolic model
Cela et al. Lanes detection based on unsupervised and adaptive classifier

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant