CN103714538B - 道路边缘检测方法、装置及车辆 - Google Patents

道路边缘检测方法、装置及车辆 Download PDF

Info

Publication number
CN103714538B
CN103714538B CN201310711070.3A CN201310711070A CN103714538B CN 103714538 B CN103714538 B CN 103714538B CN 201310711070 A CN201310711070 A CN 201310711070A CN 103714538 B CN103714538 B CN 103714538B
Authority
CN
China
Prior art keywords
line segment
straight
road
pixel
curb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310711070.3A
Other languages
English (en)
Other versions
CN103714538A (zh
Inventor
高灿
郑庆华
曾杨
易尧
龙亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN201310711070.3A priority Critical patent/CN103714538B/zh
Publication of CN103714538A publication Critical patent/CN103714538A/zh
Application granted granted Critical
Publication of CN103714538B publication Critical patent/CN103714538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种道路边缘检测方法,包括:获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;对图像帧进行边缘检测以获取多个边缘点;利用多个边缘点提取多个直线线段;根据当前道路的路缘结构特性从多个直线线段中提取路缘线段。本发明还公开了一种道路边缘检测装置、车辆。通过上述方式,本发明能够实现自动检测车辆所行驶的当前道路的路缘线段,降低机手的操作复杂度且检测精度较高。

Description

道路边缘检测方法、装置及车辆
技术领域
本发明涉及信息处理领域,特别是涉及一种道路边缘检测方法、装置及车辆。
背景技术
有人驾驶车辆或自动驾驶车辆等车辆在行驶的过程中,经常需要检测车辆所行驶的当前道路的路缘线段,以便后续计算车辆与路缘线段之间的实际距离,保证车辆的安全行驶。现有技术中通常采用以下两种方法进行道路边缘的检测:一种为机手通过车辆上的反光镜检测当前道路的路缘线段;另一种为在车辆中安装摄像头,在采集到道路边缘图像后实时传送该图像至车辆中,以供机手进行人工检测道路边缘。
本申请发明人在长期研发中发现,现有技术的两种道路边缘检测方法对于机手的操作要求较为复杂,机手劳动强度较大;在夜晚等光线环境较暗的情况下,机手难以看清道路边缘,检测精度较低。
发明内容
本发明主要解决的技术问题是提供一种道路边缘检测方法、装置及车辆,能够实现自动检测车辆所行驶的当前道路的路缘线段,降低机手的操作复杂度且检测精度较高。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种道路边缘检测方法,包括:获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;对图像帧进行边缘检测,以获取多个边缘点;利用多个边缘点提取多个直线线段;根据当前道路的路缘结构特性从多个直线线段中提取路缘线段。
其中,对图像帧进行边缘检测的步骤进一步包括:从图像帧中获取预先设定的标定点周围预定区域内的局部图像;在局部图像内进行边缘检测。
其中,在局部图像内进行边缘检测的步骤进一步包括:计算局部图像内的像素点的灰度均值;根据局部图像内的像素点的灰度均值设定canny边缘检测算法的低阈值参数和高阈值参数,利用canny边缘检测算法在局部图像内进行边缘检测。
其中,根据当前道路的路缘结构特性从多个直线线段中提取路缘线段的步骤包括:根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段。
其中,根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段之前进一步包括:从多个直线线段中删除斜率不满足预定斜率要求的直线线段。
其中,根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果从多个直线线段中提取路缘线段的步骤包括:利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系,其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得;在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的直线线段。
其中,根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段的步骤包括:计算每一直线线段与相邻的直线线段之间或每一直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定直线线段两侧的像素颜色差异;从多个直线线段中提取直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段。
其中,根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段的步骤包括:利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系,其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得;在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段;计算每一备选直线线段与相邻的备选直线线段之间或每一备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定备选直线线段两侧的像素颜色差异;从多个备选直线线段中提取备选直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
其中,方法进一步包括:利用已获得的路缘线段对后续获取的后续图像帧的多个直线线段进行跟踪,进而从后续图像帧的多个直线线段中提取路缘线段。
其中,方法进一步包括:根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。
为解决上述技术问题,本发明采用的另一技术方案是:提供一种道路边缘检测装置,包括:图像帧获取模块,用于获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;边缘检测模块,用于对图像帧进行边缘检测,以获取多个边缘点;直线线段提取模块,用于利用多个边缘点提取多个直线线段;路缘线段提取模块,根据当前道路的路缘结构特性从多个直线线段中提取路缘线段。
其中,边缘检测模块进一步用于从图像帧中获取预先设定的标定点周围预定区域内的局部图像,并在局部图像内进行边缘检测。
其中,边缘检测模块进一步用于计算局部图像内的像素点的灰度均值,并根据局部图像内的像素点的灰度均值设定canny边缘检测算法的低阈值参数和高阈值参数,以及利用canny边缘检测算法在局部图像内进行边缘检测。
其中,路缘线段提取模块进一步用于根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段。
其中,直线线段提取模块进一步用于在路缘线段提取模块根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段之前,从多个直线线段中删除斜率不满足预定斜率要求的直线线段。
其中,路缘线段提取模块进一步用于利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系,并在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的直线线段,其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得。
其中,路缘线段提取模块进一步用于计算每一直线线段与相邻的直线线段之间或每一直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定直线线段两侧的像素颜色差异,进而从多个直线线段中提取直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段。
其中,路缘线段提取模块进一步用于利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系,并在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段,其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得;路缘线段提取模块进一步用于计算每一备选直线线段与相邻的备选直线线段之间或每一备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定备选直线线段两侧的像素颜色差异,进而从多个备选直线线段中提取备选直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
其中,路缘线段提取模块进一步用于利用已获得的路缘线段对后续获取的后续图像帧的多个直线线段进行跟踪,进而从后续图像帧的多个直线线段中提取路缘线段。
其中,装置进一步包括:实际距离计算模块,用于根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。
为解决上述技术问题,本发明采用的又一技术方案是:提供一种车辆,该车辆包括上一技术方案的道路边缘检测装置。
本发明的有益效果是:区别于现有技术的情况,本发明通过获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;对图像帧进行边缘检测以获取多个边缘点;进一步利用多个边缘点提取多个直线线段;最后根据当前道路的路缘结构特性从多个直线线段中提取路缘线段;能够实现自动检测车辆所行驶的当前道路的路缘线段,降低机手的操作复杂度且检测精度较高。
附图说明
图1是本发明道路边缘检测方法第一实施方式的流程图;
图2是本发明道路边缘检测方法第二实施方式的流程图;
图3是本发明道路边缘检测方法第二实施方式中车辆与道路边缘的示意图;
图4是本发明道路边缘检测方法第二实施方式中包含道路边缘信息的图像帧的示意图;
图5是本发明道路边缘检测方法第二实施方式中像素距离与实际距离的示意图;
图6是本发明道路边缘检测装置一实施方式的原理框图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,均属于本发明保护的范围。
请参阅图1,本发明道路边缘检测方法第一实施方式包括:
步骤S101:获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;
在本步骤中,包含车辆所行驶的当前道路的道路边缘信息的图像帧具体可由安装于车辆上的摄像机或照相机等图像采集设备进行采集,摄像机可为数字摄像机或模拟摄像机。摄像机的摄像头可为红外摄像头,以使得在白天和夜间均能进行图像的采集。在其他实施方式中,摄像机及摄像头也可为其他种类,此处不作过多限制。车辆可为处于有人驾驶状态或自动驾驶状态的车辆。上述图像帧除了包含道路边缘信息,还可包括栽种于道路旁的树木、安装于道路旁的路灯、路旁的建筑物等其他道路上的信息。
步骤S102:对图像帧进行边缘检测,以获取多个边缘点;
在本步骤中,边缘检测是图像处理和计算机视觉中的常见技术手段,边缘检测的目的是识别数字图像中亮度变化明显的点,即边缘点。边缘检测的算法可以是canny边缘检测算法或本领域公知的其他算法,下文将以canny边缘检测算法为例对具体的边缘检测方式进行详细描述。
步骤S103:利用多个边缘点提取多个直线线段;
在本步骤中,可利用Hough变换或本领域公知的其他算法从步骤S102中获取的多个边缘点提取多个直线线段。这些直线线段中包含了包括道路边缘信息在内的所有可能的边缘信息。
步骤S104:根据当前道路的路缘结构特性从多个直线线段中提取路缘线段。
在本步骤中,路缘结构包括车道线(车道白线或车道黄线等)、和/或路面石、和/或路缘石等结构在内的所有路缘结构。路缘线段对应包括车道线的左侧线、右侧线,和/或路面石的左侧线、右侧线,和/或路缘石的左侧线、右侧线。路缘结构特性可通过针对各种不同道路设计预先获得的先验数据进行整理获得,主要可以包括不同道路的车道线的宽度、路面石宽度、人行道宽度以及上述不同区域的颜色变化规律等信息。
可以理解,本发明道路边缘检测方法第一实施方式通过获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;对图像帧进行边缘检测以获取多个边缘点;进一步利用多个边缘点提取多个直线线段;最后根据当前道路的路缘结构特性从多个直线线段中提取路缘线段,能够实现自动检测车辆所行驶的当前道路的路缘线段,降低机手的操作复杂度且检测精度较高。
请一并参阅图2-5,本发明道路边缘检测方法第二实施方式包括:
步骤S201:获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;
在本步骤中,该图像帧具体由安装于车辆上的摄像机或照相机等图像采集设备进行采集。具体来说,如图3所示,本实施方式的图像采集设备包括前置图像采集设备3和/或侧置图像采集设备4,前置图像采集设备3具体安装于车辆的驾驶室1前方以采集包含车辆前方的道路边缘5的相关信息的图像帧,直线31为前置图像采集设备3的视角中轴线,侧置图像采集设备4具体安装于车辆的车身2侧边以采集包含车辆侧边的道路边缘5的相关信息的图像帧,直线41为侧置图像采集设备4的视角中轴线。下文将以前置图像采集设备3所拍摄的图像帧为例对本发明进行描述,侧置图像采集设备4所拍摄的图像帧的具体处理方式与前置图像采集设备3所拍摄的图像帧类似,在此不再赘述。
步骤S202:从图像帧中获取预先设定的标定点周围预定区域内的局部图像;
在本步骤中,从图像帧中获取预先设定的标定点P周围预定区域内的局部图像,其过程具体如下所述:
将图像帧进行灰度变换,该图像帧一般为彩色图像,通过灰度变换将RGB彩色图像转换为灰度图像,以提升对图像帧处理的速度。
获取以标定点P为中心且区域大小为s×t的局部图像Rst,图像区域Rst的大小的选择以能够覆盖图4中的车道线51、路面石52和路缘石53为佳。标定点P可根据实际检测需要进行选取设定,对于前置图像采集设备3,如需检测与车辆距离较远的道路边缘,则选取离车辆较远距离的一点作为前端的标定点;对于侧置图像采集设备4,可在侧置图像采集设备4的视角中轴线41上选取一点作为侧端的标定点。前端的标定点以及侧端的标定点在设定之后,无需重复进行设定。当然,在其他实施例中,可以在选取上述局部图像Rst之后再进行灰度变化,或者当后续的边缘检测算法和直线提取算法允许的情况下也可不进行灰度变换。
此外,在设定标定点P之后进一步包括获取标定系数λ,标定系数λ可由预先设定的标定点P在空间坐标系下的实际坐标和标定点P在图像坐标系下的图像坐标计算获得,以前置图像采集设备3采集的图像帧为例,标定点P在空间坐标系下的横坐标为x实际,标定点P在图像坐标系下的横坐标为x图像,前置图像采集设备3的视角中轴线31与经过标定点P且垂直于y轴的标定点直线6的交点在空间坐标系以及图像坐标系下的横坐标分别为x实际′、x图像′,则标定系数为保证道路边缘检测的精度,标定系数λ应小于1,即实际单位距离至少对应1个图像像素距离。
步骤S203:在局部图像内进行边缘检测;
在本步骤中,在局部图像内进行边缘检测的步骤包括:
计算局部图像内的像素点的灰度均值,具体如下公式(1)所示:
BL = 1 R st Σ R st f ( x , y ) - - - ( 1 )
其中,BL为局部图像内的像素点的灰度均值,f(x,y)为局部图像内像素点的灰度值。
根据局部图像内的像素点的灰度均值BL设定canny边缘检测算法的低阈值参数和高阈值参数,利用canny边缘检测算法在局部图像内进行边缘检测。canny边缘检测算法是John F.Canny于1986年开发出来的一个多级边缘检测算法,本实施方式利用canny边缘检测算法在局部图像内进行边缘检测的具体过程如下所述:
利用高斯滤波器平滑上述局部图像以去除图像噪声,提高道路边缘检测的精度。
获取局部图像内各像素点的梯度值以及方向值,具体如下公式(2)、(3)所示:
M ( x , y ) = g x 2 + g y 2 - - - ( 2 )
α ( x , y ) = arctan [ g y g x ] - - - ( 3 )
其中,M(x,y)为像素点的梯度值,α(x,y)为像素点的方向值,gx、gy分别为像素点在图像坐标系的x轴方向和y轴方向上的偏导。gx、gy可由Sobel模板对应求得,Sobel模板采用Sobel算子,该算子包含两组3×3矩阵,分别为横向及纵向,两组矩阵分别为: - 1 0 1 - 2 0 2 - 1 0 1 , 1 2 1 0 0 0 - 1 - 2 - 1 , 将上述两组矩阵与图像作平面卷积,即可分别得出横向及纵向的亮度差分近似值,即gx、gy
利用像素点的梯度值M(x,y)以及方向值α(x,y)进行非最大值抑制以获取候选像素点,候选像素点中包含了局部图像内的所有边缘点以及部分非边缘点。
根据局部图像内的像素点的灰度均值BL设定canny边缘检测算法的低阈值参数和高阈值参数,具体如下公式(4)、(5)所示:
TL=BL×γ (4)
TH=3×TL (5)
其中,TL为低阈值参数,TH为高阈值参数,γ为光线差异度系数,γ可通过实验测定或者通过EM算法求最优值。EM(Expectation-maximization algorithm)算法即为最大期望算法,EM算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量。
利用低阈值参数TL、高阈值参数TH进一步在候选像素点中获取多个边缘点。其中,小于低阈值参数TL的候选像素点为非边缘点,大于高阈值参数TH的候选像素点为边缘点,在TL-TH之间的候选像素点可能为边缘点,本实施方式在TL-TH之间选取邻近高阈值参数TH一定范围的候选像素点以及选取大于高阈值参数TH的候选像素点为边缘点。
步骤S204:利用多个边缘点提取多个直线线段;
在本步骤中,具体通过Hough变换方式利用多个边缘点提取多个直线线段,Hough变换是一种使用表决原理的参数估计技术,其利用图像空间和Hough参数空间的点线对偶性,把图像空间中的检测问题转换到参数空间。通过Hough变换方式提取直线线段的第一步为获取多个边缘点对应的直线线段的极坐标方程,具体如下公式(6)所示:
ρ=xcosθ+ysinθ (6)
其中,公式(6)为直线线段的极坐标方程,x、y分别为边缘点在图像坐标系中的横坐标、纵坐标,ρ为边缘点的极径,θ为边缘点的极角。
第二步为将直线线段的极坐标方程转换为对应的直角坐标方程。
步骤S205:从多个直线线段中删除斜率不满足预定斜率要求的直线线段;
在本步骤中,由成像原理可知,当车辆沿直线道路行驶时,其两侧的道路边缘在所拍摄的图像帧是成一定斜率的。例如,对于车辆的右侧道路边缘在图像帧中的斜率是负的,而对于车辆的左侧道路边缘在图像帧中的斜率是正的,而路面石52之间的边缘线在图像帧上的斜率基本接近于零。因此,根据标定点P的选取位置不同,并根据以获取的当前道路的路缘结构的先验信息,通过成像原理可以计算出不同道路边缘在图像帧中的理论斜率,同时考虑一定的冗余误差,进而可确定不同道路边缘的斜率要求,进而排除明显不是道路边缘线的直线线段,例如路面石52之间的边缘线的直线线段,能够提高后续道路边缘检测的效率。
进一步,在其他实施方式中,可通过车辆的GPS功能或者角度感应器等检测车辆行驶方向,从而根据车辆行驶方向改变上述斜率要求,例如,当车辆向右侧转向时,车辆的右侧道路边缘在图像帧中的斜率则趋近于零,因此需要根据实际情况调整上述斜率要求。
因此上述通过Hough变换方式提取直线线段的第二步之前还包括:限定极角θ的取值范围而计算对应的极径ρ,并将对应的ρ、θ参数矩阵单元累加计数,选择ρ、θ参数矩阵单元中较大的累加单元进而确定满足预定斜率要求的直线线段的极坐标方程具体如下公式(7)所示:
ρi=xcosθi+ysinθi (7)
在本实施方式中,θi的取值范围为[-90,0]。
进一步将满足预定斜率要求的直线线段的极坐标方程(7)转换为直角坐标方程,具体如下公式(8)所示:
y=fi(x) (8)
其中,公式(8)为满足预定斜率要求的直线线段的直角坐标方程。
步骤S206:根据当前道路的路缘结构特性从多个直线线段中提取路缘线段;
在本步骤中,可以根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段。
当根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果从多个直线线段中提取路缘线段时,其具体包括:
利用标定系数λ将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系。当前道路的道路边缘之间的实际距离为道路边缘的先验信息,具体包括路缘石53的左侧线531与右侧线532的实际距离Scurb、路面石52的左侧线521与右侧线522的实际距离Sround以及车道线51的左侧线511与右侧线512的实际距离Swhite,Swhite的数值范围一般分别为12-15cm、40cm、10-12cm,上述先验信息的数值范围也可为其他大小,此处不作过多限制。获取直线线段之间的像素距离的过程具体如下所述:
获取满足预定斜率要求的直线线段与标定点直线6的交点在图像坐标系中的坐标,具体为:当图像帧为前置图像采集设备3所采集时,标定点直线6为经过标定点P且垂直于y轴的直线,获取直线线段与标定点直线6的交点在图像坐标系中的横坐标,具体如下公式(9)所示:
xi=fi'(yP) (9)
其中,xi为直线线段与标定点直线6的交点在图像坐标系中的横坐标,yP为标定点P在图像坐标系中的纵坐标。
对直线线段与标定点直线6的交点在图像坐标系中的横坐标xi按大小进行排序,进一步利用交点的横坐标xi获取直线线段之间的像素距离,具体如下公式(10)所示:
dk=|xi-xj| (10)
其中,dk为直线线段之间的像素距离,i<j。
此外,当图像帧为侧置图像采集设备4所采集时,标定点直线为经过标定点P且垂直于x轴的直线,同理此时通过获取直线线段与标定点直线的交点在图像坐标系中的纵坐标进而获取直线线段之间的像素距离。
在获取直线线段之间的像素距离后,利用标定系数λ将道路边缘之间的实际距离和直线线段之间的像素距离转换到同一坐标系,其包括将实际距离转换为对应的像素距离以使实际距离和像素距离同处于一个图像坐标系下,或者将直线线段之间的像素距离转换为对应的实际距离以使实际距离和像素距离同处于一个空间坐标系下。例如为将实际距离转换到图像坐标系下,则上述各个实际距离Scurb、Sround、Swhite对应的像素距离为dcurb、dground、dwhite d curd = S curd λ , d ground = S round λ , d white = S white λ . 可以理解,将像素距离转换为对应的实际距离则为:将像素距离dk乘以标定系数λ则可获得对应的实际距离。
进一步在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的直线线段。以在图像坐标系下为例,差值小于冗余误差的直线线段之间的像素距离具体如下公式(11)、(12)、(13)所示:
Dcurb={dk:|dcurb-dk|<e} (11)
Dground={dk:|dground-dk|<e} (12)
Dwhite={dk:|dwhite-dk|<e} (13)
其中,ε为冗余误差,0<ε<0.5*min{dcurb,dground,dwhite}。Dcurb、Dground、Dwhite为路缘石、路面石以及车道线对应的差值小于冗余误差ε的直线线段之间的像素距离,进一步获取Dcurb、Dground、Dwhite对应的差值小于冗余误差ε的直线线段,差值小于冗余误差ε的直线线段即为路缘线段,路缘线段包括路缘石53的左侧线531与右侧线532、路面石52的左侧线521与右侧线522以及车道线51的左侧线511与右侧线512。
当根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段,其具体包括:
计算每一直线线段与相邻的直线线段之间或每一直线线段两侧的预定侧向宽度范围内的像素点的灰度均值。当图像帧为前置图像采集设备3所采集时,灰度均值具体如下公式(14)所示:
V D type t = 1 | d type t | &Sigma; x i t < r < x j t f ( r , y P ) - - - ( 14 )
其中,为每一直线线段与相邻的直线线段之间或预定侧向宽度范围内的像素点的灰度均值,type∈{curb,ground,white}, 分别表示Dtype中第t个候选的左右侧直线线段与经过标定点P且垂直于y轴的标定点直线6的交点的横坐标,或者形成预定侧向宽度范围的左、右横坐标。预定侧向宽度范围可以设定为相邻直线线段之间的像素距离的1/2、1/3等宽度范围,预定侧向宽度范围也可设置为例如2个像素单位距离等固定值;例如对于直线线段a,其两侧的预定侧向宽度范围可分别设置为直线线段a与相邻的左侧、右侧直线线段之间的像素距离的1/4。可以理解,当图像帧为侧置图像采集设备4所采集时,对应利用直线线段与经过标定点P且垂直于x轴的标定点直线的交点的纵坐标,以及标定点P的横坐标获取灰度均值。
进一步根据灰度均值确定直线线段两侧的像素颜色差异,像素颜色差异即为直线线段两侧的灰度均值的差值;从多个直线线段中提取直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段,所提取的直线线段即为路缘线段。路缘线段包括路缘石53的左侧线531与右侧线532、路面石52的左侧线521与右侧线522以及车道线51的左侧线511与右侧线512。其中,路缘石53的左右侧直线之间的实际灰度均值为Vcurb,路面石52的左右侧直线之间的实际灰度均值为Vground,车道线51的左右侧直线之间的实际灰度均值为Vwhite,三种实际灰度均值的大小关系为:Vwhite>Vcurb>Vground。例如得到直线线段b两侧的像素颜色差异为c,而当前道路的路缘石53的左侧线531两侧的像素颜色差异也为c,因此即可确定直线线段b对应为路缘石53的左侧线531。
进一步,在本实施例中,采用距离计算和颜色对比的两种方式同时对路缘线段进行提取,即根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段,其具体包括:
利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系;在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段。
计算每一备选直线线段与相邻的备选直线线段之间或每一备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定备选直线线段两侧的像素颜色差异;从多个备选直线线段中提取备选直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
步骤S207:利用已获得的路缘线段对后续获取的后续图像帧的多个直线线段进行跟踪,进而从后续图像帧的多个直线线段中提取路缘线段;
利用已获得的路缘线段对后续获取的后续图像帧的多个直线线段进行跟踪,进而从后续图像帧的多个直线线段中提取路缘线段。具体可利用近邻法或者卡尔曼滤波器法对后续图像帧的多个直线线段进行跟踪。
利用近邻法对直线线段进行跟踪的过程具体包括:获取后续图像帧的多个直线线段在图像坐标系下的坐标,进而将该坐标减去上一图像帧各路缘线段在图像坐标系下的坐标,两个坐标误差小于冗余误差ε时,则确定后续图像帧的直线线段与上一图像帧的路缘线段为同一直线。例如利用上述公式(9)获取后续图像帧的直线线段与经过标定点P且垂直于y轴的标定点直线6的交点在图像坐标系下的横坐标;将交点的横坐标减去上一图像帧各路缘线段与标定点直线6的交点的横坐标,若该直线线段与某一路缘线段两者横坐标的差值小于冗余误差ε则确定为同一直线:|x″-x′|<e,其中x″为后续图像帧的直线线段与标定点直线6的交点的横坐标,x′为上一图像帧的某一路缘线段与标定点直线6的交点的横坐标。
卡尔曼滤波器是一种由卡尔曼(Kalman)提出的用于时变线性***的递归滤波器,该时变线性***可用包含正交状态变量的微分方程模型来描述,卡尔曼滤波器是将过去的测量估计误差合并到新的测量误差来估计将来的误差。卡尔曼滤波器法通过将直线线段、路缘线段的坐标点数据表示为卡尔曼滤波器,利用卡尔曼滤波器的原理,对各直线线段进行跟踪。
在完成一图像帧的各直线线段的跟踪后,重复更新当前各路缘线段的坐标信息。在水渍、阴影、遮挡等复杂工况下,某些图像帧的真实路缘可能难以检测,通过以上两种跟踪方法利用道路边缘结构的历史信息数据能够实现在复杂工况下对直线线段进行跟踪,进而提取路缘线段。
步骤S208:根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。
根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。本实施方式中为利用路缘线段中的路面石52的右侧线522在图像坐标系下的像素坐标进而计算实际距离:当图像帧为前置图像采集设备3所采集时,如图5所示,获取路缘线段中的路面石52的右侧线522与标定点直线6的交点的横坐标x1,以及前置图像采集设备3的视角中轴线31与标定点直线6的交点的横坐标x2,将两个横坐标x1、x2相减而获得右侧线522与视角中轴线31之间的像素距离L1=|x1-x2|,进一步利用标定系数λ以及像素距离L1计算路缘线段在空间坐标系下相对于车辆的实际距离S1=λ×L1;当图像帧为侧置图像采集设备4所采集时,标定点在侧置图像采集设备4的视角中轴线41上,此时标定点直线为经过标定点P且垂直于x轴的直线,标定点直线即为侧置图像采集设备4的视角中轴线41,此时获取右侧线522与标定点直线的交点的纵坐标L2,进而利用标定系数λ以及该纵坐标L2计算路缘线段在空间坐标系下相对于车辆的实际距离S2=λ×L2
在其他实施方式中,也可利用例如路缘石53的左侧线531等其他路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离,此处不作过多限制。
对于利用侧置图像采集设备采集的图像帧而对应计算当前时刻路缘线段相对于车辆的实际距离,可进一步对当前时刻的实际距离进行判断,若当前时刻的实际距离小于某一预设距离阈值,则通过发出警示声音或文字显示等方式提示当前时刻车辆与路缘线段的实际距离已超出安全距离范围,则机手或自动驾驶***会根据该提示信息调整车辆与路缘线段的实际距离。对于利用前置图像采集设备采集的图像帧而对应获得路缘线段相对于车辆的实际距离,该实际距离为对车辆在未来某一时刻与路缘线段之间的实际距离的预判,同样可对该实际距离进行判断,若其超过某一预设距离阈值,则同样发出提示信息以提示车辆即将与路缘线段的实际距离超出安全距离范围,则机手或自动驾驶***可提前调整车辆与路缘线段的实际距离。
此外,在计算得到路缘线段在空间坐标系下相对于车辆的实际距离后,进一步在车辆上实时显示路缘线段与车辆的实际距离,具体可通过安装于车辆上的显示屏进行实际距离的实时显示。上述提示信息同样可在车辆上进行显示。
可以理解,本发明道路边缘检测方法第二实施方式通过获取包含车辆所行驶的当前道路的道路边缘信息的图像帧,从图像帧中获取预先设定的标定点周围预定区域内的局部图像;对局部图像内进行边缘检测以获取多个边缘点;进一步利用多个边缘点提取多个直线线段;从多个直线线段中删除斜率不满足预定斜率要求的直线线段;根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段;利用已获得的路缘线段对后续图像帧的多个直线线段进行跟踪进而从后续图像帧的多个直线线段中提取路缘线段;最后根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。
通过上述方式,能够实现自动检测车辆所行驶的当前道路的路缘线段,降低机手的操作复杂度且检测精度较高。此外通过在局部图像内进行边缘检测以及删除斜率不满足预定斜率要求的直线线段,能够提高道路边缘检测的效率;通过在后续图像帧上对直线线段进行跟踪同样能够实现快速提取路缘线段;最后根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离,能够实现自动测量当前时刻车辆与路缘线段之间的实际距离以及预判未来某一时刻车辆与路缘线段之间的实际距离,降低机手的操作复杂度且获得的距离精度较高,实现车辆的安全驾驶。
请参阅图6,本发明道路边缘检测装置一实施方式包括:
图像帧获取模块71、边缘检测模块72、直线线段提取模块73以及路缘线段提取模块74。
图像帧获取模块71用于获取包含车辆所行驶的当前道路的道路边缘信息的图像帧。图像帧获取模块71具体为上述各实施方式所述的前置图像采集设备或侧置图像采集设备。
边缘检测模块72用于对图像帧进行边缘检测,以获取多个边缘点。
边缘检测模块72进一步用于从图像帧中获取预先设定的标定点周围预定区域内的局部图像,并在局部图像内进行边缘检测。
在局部图像内进行边缘检测的过程中边缘检测模块72进一步用于计算局部图像内的像素点的灰度均值,并根据局部图像内的像素点的灰度均值设定canny边缘检测算法的低阈值参数和高阈值参数,以及利用canny边缘检测算法在局部图像内进行边缘检测。
直线线段提取模块73用于利用多个边缘点提取多个直线线段。
路缘线段提取模块74用于根据当前道路的路缘结构特性从多个直线线段中提取路缘线段。路缘线段提取模块74进一步用于根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段。
直线线段提取模块73进一步用于在路缘线段提取模块74根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和/或根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段之前,从多个直线线段中删除斜率不满足预定斜率要求的直线线段。
当路缘线段提取模块74用于根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果从多个直线线段中提取路缘线段时,其进一步用于:
利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系;并在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的直线线段。其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得。
当路缘线段提取模块74用于根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段时,其进一步用于:
计算每一直线线段与相邻的直线线段之间或每一直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定直线线段两侧的像素颜色差异;进而从多个直线线段中提取直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段。
当路缘线段提取模块74用于根据当前道路的道路边缘之间的实际距离与直线线段之间的像素距离的对比结果和根据当前道路的道路边缘两侧的实际颜色差异与直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段时,其进一步用于:
利用标定系数将在空间坐标系下获取的当前道路的道路边缘之间的实际距离和在图像坐标系下获取的直线线段之间的像素距离转换到同一坐标系;并在同一坐标系下对当前道路的道路边缘之间的实际距离和直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段。其中标定系数由预先设定的标定点在空间坐标系下的实际坐标和标定点在图像坐标系下的图像坐标计算获得。
路缘线段提取模块74进一步用于计算每一备选直线线段与相邻的备选直线线段之间或每一备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据灰度均值确定备选直线线段两侧的像素颜色差异;进而从多个备选直线线段中提取备选直线线段两侧的像素颜色差异与当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
在提取路缘线段后,路缘线段提取模块74进一步用于利用已获得的路缘线段对后续获取的后续图像帧的多个直线线段进行跟踪,进而从后续图像帧的多个直线线段中提取路缘线段。
此外,道路边缘检测装置进一步包括:实际距离计算模块,用于根据路缘线段在图像坐标系下的像素坐标计算路缘线段在空间坐标系下相对于车辆的实际距离。
本发明还提供了一种车辆,该车辆包括上述实施方式所述的道路边缘检测装置,通过该道路边缘检测装置实现车辆在行驶过程中实时自动检测当前道路的道路边缘。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (21)

1.一种道路边缘检测方法,其特征在于,包括:
获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;
对所述图像帧进行边缘检测,以获取多个边缘点;
利用所述多个边缘点提取多个直线线段;
根据当前道路的路缘结构特性从多个直线线段中提取路缘线段,该步骤包括:
根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从所述多个直线线段中提取所述路缘线段。
2.根据权利要求1所述的方法,其特征在于,所述对所述图像帧进行边缘检测的步骤进一步包括:
从所述图像帧中获取预先设定的标定点周围预定区域内的局部图像;
在所述局部图像内进行边缘检测。
3.根据权利要求2所述的方法,其特征在于,所述在所述局部图像内进行边缘检测的步骤进一步包括:
计算所述局部图像内的像素点的灰度均值;
根据所述局部图像内的像素点的灰度均值设定canny边缘检测算法的低阈值参数和高阈值参数,利用所述canny边缘检测算法在所述局部图像内进行边缘检测。
4.根据权利要求1所述的方法,其特征在于,所述根据所述当前道路的路缘结构特性从所述多个直线线段中提取路缘线段的步骤还包括:
根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果从所述多个直线线段中提取所述路缘线段。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果和根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从所述多个直线线段中提取所述路缘线段之前进一步包括:
从所述多个直线线段中删除斜率不满足预定斜率要求的所述直线线段。
6.根据权利要求4所述的方法,其特征在于,所述根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果从所述多个直线线段中提取所述路缘线段的步骤包括:
利用标定系数将在空间坐标系下获取的所述当前道路的道路边缘之间的实际距离和在图像坐标系下获取的所述直线线段之间的像素距离转换到同一坐标系,其中所述标定系数由预先设定的标定点在所述空间坐标系下的实际坐标和所述标定点在所述图像坐标系下的图像坐标计算获得;
在所述同一坐标系下对所述当前道路的道路边缘之间的实际距离和所述直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的所述直线线段。
7.根据权利要求1所述的方法,其特征在于,所述根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从所述多个直线线段中提取所述路缘线段的步骤包括:
计算每一所述直线线段与相邻的所述直线线段之间或每一所述直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据所述灰度均值确定所述直线线段两侧的像素颜色差异;
从所述多个直线线段中提取所述直线线段两侧的像素颜色差异与所述当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段。
8.根据权利要求4所述的方法,其特征在于,所述根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果和根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从所述多个直线线段中提取所述路缘线段的步骤包括:
利用标定系数将在空间坐标系下获取的所述当前道路的道路边缘之间的实际距离和在图像坐标系下获取的所述直线线段之间的像素距离转换到同一坐标系,其中所述标定系数由预先设定的标定点在所述空间坐标系下的实际坐标和所述标定点在所述图像坐标系下的图像坐标计算获得;
在所述同一坐标系下对所述当前道路的道路边缘之间的实际距离和所述直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段;
计算每一所述备选直线线段与相邻的所述备选直线线段之间或每一所述备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据所述灰度均值确定所述备选直线线段两侧的像素颜色差异;
从所述多个备选直线线段中提取所述备选直线线段两侧的像素颜色差异与所述当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
9.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
利用已获得的所述路缘线段对后续获取的后续图像帧的多个所述直线线段进行跟踪,进而从后续图像帧的多个所述直线线段中提取所述路缘线段。
10.根据权利要求1-9任意一项所述的方法,其特征在于,所述方法进一步包括:
根据所述路缘线段在图像坐标系下的像素坐标计算所述路缘线段在空间坐标系下相对于所述车辆的实际距离。
11.一种道路边缘检测装置,其特征在于,包括:
图像帧获取模块(71),用于获取包含车辆所行驶的当前道路的道路边缘信息的图像帧;
边缘检测模块(72),用于对所述图像帧进行边缘检测,以获取多个边缘点;
直线线段提取模块(73),用于利用所述多个边缘点提取多个直线线段;
路缘线段提取模块(74),用于根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从多个直线线段中提取路缘线段。
12.根据权利要求11所述的道路边缘检测装置,其特征在于,
所述边缘检测模块(72)进一步用于从所述图像帧中获取预先设定的标定点周围预定区域内的局部图像,并在所述局部图像内进行边缘检测。
13.根据权利要求12所述的道路边缘检测装置,其特征在于,
所述边缘检测模块(72)进一步用于计算所述局部图像内的像素点的灰度均值,并根据所述局部图像内的像素点的灰度均值设定canny边缘检测算法的低阈值参数和高阈值参数,以及利用所述canny边缘检测算法在所述局部图像内进行边缘检测。
14.根据权利要求11所述的道路边缘检测装置,其特征在于,
所述路缘线段提取模块(74)进一步用于根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果从所述多个直线线段中提取所述路缘线段。
15.根据权利要求14所述的道路边缘检测装置,其特征在于,
所述直线线段提取模块(73)进一步用于在所述路缘线段提取模块(74)根据所述当前道路的道路边缘之间的实际距离与所述直线线段之间的像素距离的对比结果和根据所述当前道路的道路边缘两侧的实际颜色差异与所述直线线段两侧的像素颜色差异的对比结果从所述多个直线线段中提取所述路缘线段之前,从所述多个直线线段中删除斜率不满足预定斜率要求的所述直线线段。
16.根据权利要求14所述的道路边缘检测装置,其特征在于,
所述路缘线段提取模块(74)进一步用于利用标定系数将在空间坐标系下获取的所述当前道路的道路边缘之间的实际距离和在图像坐标系下获取的所述直线线段之间的像素距离转换到同一坐标系,并在所述同一坐标系下对所述当前道路的道路边缘之间的实际距离和所述直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的所述直线线段,其中所述标定系数由预先设定的标定点在所述空间坐标系下的实际坐标和所述标定点在所述图像坐标系下的图像坐标计算获得。
17.根据权利要求11所述的道路边缘检测装置,其特征在于,
所述路缘线段提取模块(74)进一步用于计算每一所述直线线段与相邻的所述直线线段之间或每一所述直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据所述灰度均值确定所述直线线段两侧的像素颜色差异,进而从所述多个直线线段中提取所述直线线段两侧的像素颜色差异与所述当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的直线线段。
18.根据权利要求14所述的道路边缘检测装置,其特征在于,
所述路缘线段提取模块(74)进一步用于利用标定系数将在空间坐标系下获取的所述当前道路的道路边缘之间的实际距离和在图像坐标系下获取的所述直线线段之间的像素距离转换到同一坐标系,并在所述同一坐标系下对所述当前道路的道路边缘之间的实际距离和所述直线线段之间的像素距离进行差值运算,并从中选择差值小于冗余误差的多个备选直线线段,其中所述标定系数由预先设定的标定点在所述空间坐标系下的实际坐标和所述标定点在所述图像坐标系下的图像坐标计算获得;
所述路缘线段提取模块(74)进一步用于计算每一所述备选直线线段与相邻的所述备选直线线段之间或每一所述备选直线线段两侧的预定侧向宽度范围内的像素点的灰度均值,并根据所述灰度均值确定所述备选直线线段两侧的像素颜色差异,进而从所述多个备选直线线段中提取所述备选直线线段两侧的像素颜色差异与所述当前道路的道路边缘两侧的实际颜色差异一致或在误差允许范围内的备选直线线段。
19.根据权利要求11所述的道路边缘检测装置,其特征在于,
所述路缘线段提取模块(74)进一步用于利用已获得的所述路缘线段对后续获取的后续图像帧的多个所述直线线段进行跟踪,进而从后续图像帧的多个所述直线线段中提取所述路缘线段。
20.根据权利要求11-19任意一项所述的道路边缘检测装置,其特征在于,所述装置进一步包括:
实际距离计算模块,用于根据所述路缘线段在图像坐标系下的像素坐标计算所述路缘线段在空间坐标系下相对于所述车辆的实际距离。
21.一种车辆,其特征在于,所述车辆包括如权利要求11-20任意一项所述的道路边缘检测装置。
CN201310711070.3A 2013-12-20 2013-12-20 道路边缘检测方法、装置及车辆 Active CN103714538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310711070.3A CN103714538B (zh) 2013-12-20 2013-12-20 道路边缘检测方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310711070.3A CN103714538B (zh) 2013-12-20 2013-12-20 道路边缘检测方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN103714538A CN103714538A (zh) 2014-04-09
CN103714538B true CN103714538B (zh) 2016-12-28

Family

ID=50407481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310711070.3A Active CN103714538B (zh) 2013-12-20 2013-12-20 道路边缘检测方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN103714538B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927526B (zh) * 2014-04-30 2017-02-15 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
JP6576664B2 (ja) * 2015-03-31 2019-09-18 株式会社ミツトヨ エッジ検出偏り補正値計算方法、エッジ検出偏り補正方法、及びプログラム
TWI609807B (zh) * 2016-05-17 2018-01-01 緯創資通股份有限公司 影像評估方法以及其電子裝置
CN106546185B (zh) * 2016-10-18 2019-09-20 福州觉感视觉软件科技有限公司 一种基于机器视觉检测的轮廓质量检测方法
CN106491039B (zh) * 2016-11-14 2019-01-08 浙江工业大学 一种摆动式擦窗机器人玻璃边缘检测方法
CN106491040B (zh) * 2016-11-14 2019-04-09 浙江工业大学 一种摆动式擦窗机器人玻璃边缘触碰检测处理方法
CN106491042B (zh) * 2016-11-14 2019-01-08 浙江工业大学 一种摆动式擦窗机器人玻璃边缘处向下移动处理方法
CN106650726A (zh) * 2016-12-05 2017-05-10 渤海大学 一种车牌识别方法
CN107133625B (zh) * 2017-03-31 2020-05-22 纵目科技(上海)股份有限公司 一种黄色车道线的提取方法及***、车载终端
CN107194940A (zh) * 2017-05-23 2017-09-22 北京计算机技术及应用研究所 一种基于颜色空间与线段的彩色图像轮廓提取方法
CN107862699B (zh) * 2017-09-22 2020-11-10 中国科学院深圳先进技术研究院 骨骼ct图像的骨骼边缘提取方法、装置、设备及存储介质
CN108416306B (zh) * 2018-03-12 2020-12-25 海信集团有限公司 连续型障碍物检测方法、装置、设备和存储介质
CN109740469B (zh) * 2018-12-24 2021-01-22 百度在线网络技术(北京)有限公司 车道线检测方法、装置、计算机设备和存储介质
CN114359871A (zh) * 2021-12-31 2022-04-15 中国第一汽车股份有限公司 车辆可行驶区域的区域边缘检测方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314599A (zh) * 2011-10-11 2012-01-11 东华大学 一种车道识别偏离检测方法
CN102521589A (zh) * 2011-11-18 2012-06-27 深圳市宝捷信科技有限公司 一种车道线检测的方法及***
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN103400150A (zh) * 2013-08-14 2013-11-20 浙江大学 一种基于移动平台进行道路边缘识别的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
CN101567086B (zh) * 2009-06-03 2014-01-08 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102436644B (zh) * 2011-11-02 2013-10-16 南京物联网研究院发展有限公司 基于自适应边缘配准的非结构化道路检测方法
CN102609938B (zh) * 2012-01-16 2014-04-16 浙江大学 一种从单幅图像检测道路消失点的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314599A (zh) * 2011-10-11 2012-01-11 东华大学 一种车道识别偏离检测方法
CN102521589A (zh) * 2011-11-18 2012-06-27 深圳市宝捷信科技有限公司 一种车道线检测的方法及***
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN103400150A (zh) * 2013-08-14 2013-11-20 浙江大学 一种基于移动平台进行道路边缘识别的方法及装置

Also Published As

Publication number Publication date
CN103714538A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN103714538B (zh) 道路边缘检测方法、装置及车辆
US10846874B2 (en) Method and apparatus for processing point cloud data and storage medium
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
Son et al. Real-time illumination invariant lane detection for lane departure warning system
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN107045629B (zh) 一种多车道线检测方法
CN105426864B (zh) 一种基于等距边缘点匹配的多车道线检测方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN105678285B (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN103413308B (zh) 一种障碍物检测方法和装置
CN101382497B (zh) 基于路况监控视频的能见度检测方法
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN105987684A (zh) 一种基于单目视觉的农业车辆导航线检测***及方法
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
CN102592454A (zh) 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
CN103206957B (zh) 车辆自主导航的车道线检测与跟踪方法
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN106529443A (zh) 改进霍夫变化检测车道线的方法
CN107644528A (zh) 一种基于车辆跟踪的车辆排队长度检测方法
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN103544489A (zh) 一种车标定位装置及方法
CN109190483A (zh) 一种基于视觉的车道线检测方法
Li et al. A lane marking detection and tracking algorithm based on sub-regions
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
CN103679121A (zh) 采用视差图像检测路边的方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant