CN111126306A - 一种基于边缘特征及滑动窗的车道线检测方法 - Google Patents

一种基于边缘特征及滑动窗的车道线检测方法 Download PDF

Info

Publication number
CN111126306A
CN111126306A CN201911364127.0A CN201911364127A CN111126306A CN 111126306 A CN111126306 A CN 111126306A CN 201911364127 A CN201911364127 A CN 201911364127A CN 111126306 A CN111126306 A CN 111126306A
Authority
CN
China
Prior art keywords
image
lane line
pixel
search
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911364127.0A
Other languages
English (en)
Inventor
袁国慧
周祥东
张文超
彭真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Rothwell Electric Co ltd
Original Assignee
Jiangsu Rothwell Electric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Rothwell Electric Co ltd filed Critical Jiangsu Rothwell Electric Co ltd
Priority to CN201911364127.0A priority Critical patent/CN111126306A/zh
Publication of CN111126306A publication Critical patent/CN111126306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边缘特征及滑动窗的车道线检测方法，包括如下步骤：S1使用车载摄像机从不同角度拍摄多张棋盘格照片，利用张氏标定法进行畸变系数计算，对待检测图像进行校正得到校正图像；S2对校正图像进行透视变换，得到路面俯视图；S3在路面俯视图中提取HLS颜色特征和使用Sobel算子提取边缘特征，组合两种特征实现车道线分割；S4采用二次曲线作为车道线模型使用滑动窗多项式拟合来求解车道线的二次曲线参数；S5绘制二次多项式拟合的车道线，并使用逆透视变换反投影到校正图像，实现车道线检测在校正图像上的可视化效果。本发明能够兼顾实时性和鲁棒性，可以简单快速实现车道线检测。

Description

一种基于边缘特征及滑动窗的车道线检测方法
技术领域
本发明涉及自动驾驶图像处理技术领域，具体涉及一种基于边缘特征及滑动窗的车道线检测方法。
背景技术
随着汽车产业与公路交通建设的快速发展，交通安全问题日趋严重，运用计算机技术手段对车辆驾驶***进行辅助成为未来发展的一种趋势，通过实现汽车的智能化，逐步实现汽车的自动驾驶。基于视觉信息的车道线识别与检测是自动驾驶领域中一个重要的问题，其需要从车载摄像机拍摄的视频或者数字图像信息中，将车道线与道路背景进行快速准确地分离，进一步获得车道线位置及走向信息。
目前国内外现有的车道线检测方法主要可分为基于模型的方法和基于特征的方法。基于模型的方法主要是基于不同的车道线曲线模型，如直线模型，二次曲线模型、双曲线模型等，获取车道线特征图中位于车道线上的像素点，使用Hough变换等来拟合车道线曲线模型的参数，根据曲线模型参数来获取车道线位置即走向信息。其特点是使用较多且复杂的参数建立车道线模型，对于较为复杂的车道线实用性较差，算法设计也存在较大的复杂度，一定程度上降低了算法检测的鲁棒性和实时性。基于特征的方法主要是基于车道线颜色特征、边缘特征等从原始图像中获取到车道线边缘特征图像，进一步通过划分搜索区域，确定不同搜索区域内车道线的偏离点，根据偏离点的位置坐标判断车道线位置及走向信息。其特点是算法设计简单，在保证算法复杂度较低的情况下仍能保证车道线检测的准确性和实时性，并且可以适应较为复杂的难以建立曲线模型的车道线。
发明内容
针对现有算法中模型参数较多比较复杂、实时性差的缺点，本发明提供了一种基于边缘特征及滑动窗的车道线检测方法，通过融合车道线HLS通道的颜色特征以及基于Sobel算子提取车道线边缘特征，进一步使用滑动窗多项式拟合算法进行车道线检测，算法具有良好的实时性以及准确性。
本发明为了实现上述目的具体采用以下技术方案：
一种基于边缘特征及滑动窗的车道线检测方法，包括如下步骤：
S1：使用车载摄像机从不同角度拍摄多张棋盘格照片，利用张氏标定法进行畸变系数计算，根据畸变系数对车载摄像机拍摄的待检测图像进行畸变校正，得到校正图像；
S2：对校正图像进行透视变换，得到路面俯视图；
S3：在路面俯视图中提取HLS颜色特征和使用Sobel算子提取边缘特征，组合两种特征实现车道线分割；
S4：采用二次曲线作为车道线模型使用滑动窗多项式拟合得到车道线的二次曲线参数；
S5：根据二次曲线参数绘制二次多项式拟合的车道线，并使用逆透视变换反投影到校正图像，实现车道线检测在校正图像上的可视化效果。
进一步的，所述S1具体包括如下步骤：
S1.1：设置一个棋盘格标定板，通过移动车载摄像机，从不同角度、距离拍摄10幅畸变棋盘格图像；
S1.2：找到每幅畸变棋盘格图像中的棋盘格角点，将畸变棋盘格角点在像素坐标系下的位置信息与棋盘格角点在世界坐标系下的位置信息进行一一对应；
S1.3：使用张氏标定法根据S1.2中得到的角点信息进行相机标定，得到车载摄像机的内参矩阵mtx及畸变系数矩阵dist；
S1.4：根据S1.3中得到的内参矩阵mtx及畸变系数矩阵dist对车载摄像机拍摄的待检测图像A1进行畸变校正，得到校正图像A2。
进一步的，所述S2具体包括如下步骤：
S2.1：获取校正图像A2中四个关键像素点的位置坐标数组src及进行图像扭转之后与四个像素点相对应的位置坐标数组dst；
S2.2：使用S2.1中的数组src及dst进行透视变换计算，得到用于透视变换的扭转矩阵M以及用于恢复图像的反扭转矩阵Minv；
S2.3：根据S2.2中扭转矩阵M对校正图像A2进行透视变换得到路面俯视图A3。
进一步的，所述S3具体包括如下步骤：
S3.1：针对路面俯视图A3，将路面俯视图A3从RGB颜色空间转换到HLS颜色空间，对S通道和L通道应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P1，其中S通道阈值条件为[140，255]，L通道阈值条件为[120，255]；
S3.2：针对路面俯视图A3，将图像A3转换为灰度图，得到图像A4，对图像A4进行边缘提取处理，边缘提取处理使用Sobel算子；
其中，横向Sobel算子为
Figure BDA0002337961120000031
纵向Sobel算子为
Figure BDA0002337961120000032
S3.3：利用横向Sobel算子对图像A4进行卷积运算，得到图像A4的横向梯度gx，然后将gx归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P2，其中阈值条件为[25，200]；
S3.4：利用纵向Sobel算子对图像A4进行卷积运算，得到图像A4的纵向梯度gy，然后将gy归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P3，其中阈值条件为[25，200]；
S3.5：根据S3.3和S3.4中图像A4的横向梯度gx和纵向梯度gy，计算梯度幅值mag和梯度方向dir：
Figure BDA0002337961120000033
Figure BDA0002337961120000034
进一步将mag归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P4，其中阈值条件为[30，100]；对dir应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P5，其中阈值条件为[0.8，1.2]；
S3.6：堆栈通道信息P1、P2、P3、P4、P5得到通道信息P6，对于任意一个像素点，若P2等于1并且P3等于1，或者P4等于1并且P5等于1，则通道信息P6为1，进一步将P1和P6进行二进制或操作，当P1和P6至少一个为1时，将该像素点的像素值置为1，得到二值图像即车道线边缘特征图像A5。
进一步的，所述S4具体包括如下步骤：
S4.1：按照x轴方向将图像A5从中间一分为二划分为左右两个搜索区域，然后对图像A5左右两个搜索区域的像素在x方向上做直方图统计，定位直方图峰值位置x1和x2作为左右两条车道线的搜寻起点x1和x2；
S4.2：使用滑动窗多项式拟合来获取车道边界，设置矩形搜寻窗口宽度width和高度height，其中width为手工设定，height为图片大小除以预先设置的搜寻窗口数目，对于左右两条车道线，分别以搜寻起点x1、x2作为当前搜寻窗口的基点，并以当前基点作为搜寻窗口底边中心分别得到第一个搜寻窗口；预先设置的搜寻窗口数目为9；
S4.3：对第一个搜寻窗口统计搜寻窗口区域内非零像素个数，计算非零像素坐标的均值作为当前搜寻窗口的车道线中心点位置；若搜寻窗口内非零像素个数m大于预设的阈值条件最小非零像素个数n，则将搜寻窗口内非零像素横坐标的平均值作为生成的第二个搜寻窗口的基点横坐标，若m不满足阈值条件n，则生成的第二个搜寻窗口的基点横坐标为第一个搜寻窗口的基点横坐标，生成的第二个搜寻窗口的基点纵坐标为第一个搜寻窗口的上边界的纵坐标；
S4.4：将生成的第二个搜寻窗口作为S4.3中的第一个搜寻窗口，重复执行S4.3，依次迭代检测直至生成的第二搜寻窗口上边界达到图像A5的上边界，循环结束后对所有搜寻窗口的车道线中心点位置做四阶多项式拟合，得到当前搜寻对应的车道线曲线参数。
进一步的，所述S5具体包括如下步骤：
S5.1：创建一张与图像A5大小一致的空白图片，根据S4.4中拟合得到的左右两条车道线曲线参数在图片上绘制左右两条车道线对应的四阶多项式曲线；
S5.2：用颜色填充左右两条曲线中间的多边形得到图片A6；
S5.3：使用反扭转矩阵Minv将图片A6进行逆透视变换到车载摄像机视角，得到车道线标记图片A7；
S5.4：将车道线标记图片A7以0.3的权重覆盖到校正图像A2上，即将车道线标记图片A7中各点像素值乘以0.3的权重与校正图像A2各点像素值对应相加，实现车道线检测在原图上的可视化效果。
本发明的有益效果如下：
1、本发明利用张氏标定法对车载摄像机进行相机标定将车载摄像机直接拍摄得到的待检测图像校正得到校正图像，去除待检测图像畸变带来的影响，进一步将校正图像进行透视变换得到路面俯视图，在路面俯视图中提取车道线的HLS通道的颜色特征和基于Soble算子的边缘特征，并进一步融合颜色特征和边缘特征，能够减小环境噪声带来的干扰，实现车道线的准确分割，对于不同车载摄像机拍摄的视频图像的车道线检测仍保持较高的鲁棒性。
2、本发明采用滑动窗多项式拟合，通过设置搜寻窗口内有效像素个数阈值条件调整搜寻窗口位置，进一步定位多个搜寻窗口内车道线中心点位置，使用四阶多项式对车道线中心点位置进行拟合获取车道线位置及走向信息，最终反投影到校正图像实现车道线检测在校正图像上的可视化效果，对于较为复杂的车道线能够保证车道线检测的鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的方法流程图。
图2是本发明车载摄像机标定用到的棋盘格示意图；
图3是本发明车载摄像机直接拍摄的道路图像示意图；
图4是本发明车载摄像机拍摄的道路图像进行校正后的校正图像示意图；
图5是本发明校正图像进行透视变换后路面俯视图的示意图；
图6是本发明对路面俯视图提取颜色和边缘特征组合后的车道线边缘特征示意图；
图7是本发明的搜寻窗口及拟合车道线示意图；
图8是本发明车道线检测结果可视化示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种基于边缘特征及滑动窗的车道线检测方法，包括如下步骤：
S1：使用车载摄像机从不同角度拍摄多张棋盘格照片，利用张氏标定法进行畸变系数计算，根据畸变系数对车载摄像机拍摄的待检测图像进行畸变校正，得到校正图像；
S2：对校正图像进行透视变换，得到路面俯视图；
S3：在路面俯视图中提取HLS颜色特征和使用Sobel算子提取边缘特征，组合两种特征实现车道线分割；
S4：采用二次曲线作为车道线模型使用滑动窗多项式拟合得到车道线的二次曲线参数；
S5：根据二次曲线参数绘制二次多项式拟合的车道线，并使用逆透视变换反投影到校正图像，实现车道线检测在校正图像上的可视化效果。
具体的，所述S1具体包括如下步骤：
S1.1：设置一个棋盘格标定板，通过移动车载摄像机，从不同角度、距离拍摄10幅畸变棋盘格图像，如图2所示；
S1.2：找到每幅畸变棋盘格图像中的棋盘格角点，将畸变棋盘格角点在像素坐标系下的位置信息与棋盘格角点在世界坐标系下的位置信息进行一一对应；
S1.3：使用张氏标定法根据S1.2中得到的角点信息进行相机标定，得到车载摄像机的内参矩阵mtx及畸变系数矩阵dist；
S1.4：根据S1.3中得到的内参矩阵mtx及畸变系数矩阵dist对车载摄像机拍摄的待检测图像A1(如图3所示)进行畸变校正，得到与图3对应的校正图像A2(如图4所示)。
具体的，所述S2具体包括如下步骤：
S2.1：获取校正图像A2中四个关键像素点的位置坐标数组src及进行图像扭转之后与四个像素点相对应的位置坐标数组dst；
S2.2：使用S2.1中的数组src及dst进行透视变换计算，得到用于透视变换的扭转矩阵M以及用于恢复图像的反扭转矩阵Minv；
S2.3：根据S2.2中扭转矩阵M对校正图像A2进行透视变换得到与图4对应的路面俯视图A3(如图5所示)。
具体的，所述S3具体包括如下步骤：
S3.1：针对路面俯视图A3，将路面俯视图A3从RGB颜色空间转换到HLS颜色空间，对S通道和L通道应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P1，其中S通道阈值条件为[140，255]，L通道阈值条件为[120，255]；
S3.2：针对路面俯视图A3，将图像A3转换为灰度图，得到图像A4，对图像A4进行边缘提取处理，边缘提取处理使用Sobel算子；
其中，横向Sobel算子为
Figure BDA0002337961120000071
纵向Sobel算子为
Figure BDA0002337961120000072
S3.3：利用横向Sobel算子对图像A4进行卷积运算，得到图像A4的横向梯度gx，然后将gx归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P2，其中阈值条件为[25，200]；
S3.4：利用纵向Sobel算子对图像A4进行卷积运算，得到图像A4的纵向梯度gy，然后将gy归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P3，其中阈值条件为[25，200]；
S3.5：根据S3.3和S3.4中图像A4的横向梯度gx和纵向梯度gy，计算梯度幅值mag和梯度方向dir：
Figure BDA0002337961120000081
Figure BDA0002337961120000082
进一步将mag归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P4，其中阈值条件为[30，100]；对dir应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P5，其中阈值条件为[0.8，1.2]；
S3.6：堆栈通道信息P1、P2、P3、P4、P5得到通道信息P6，对于任意一个像素点，若P2等于1并且P3等于1，或者P4等于1并且P5等于1，则通道信息P6为1，进一步将P1和P6进行二进制或操作，当P1和P6至少一个为1时，将该像素点的像素值置为1，得到二值图像即车道线边缘特征图像A5(如图6所示)；
具体的，所述S4具体包括如下步骤：
S4.1：按照x轴方向将图像A5从中间一分为二划分为左右两个搜索区域，然后对图像A5左右两个搜索区域的像素在x方向上做直方图统计，定位直方图峰值位置x1和x2作为左右两条车道线的搜寻起点x1和x2；
S4.2：使用滑动窗多项式拟合来获取车道边界，设置矩形搜寻窗口宽度width和高度height，其中width为手工设定，height为图片大小除以预先设置的搜寻窗口数目，对于左右两条车道线，分别以搜寻起点x1、x2作为当前搜寻窗口的基点，并以当前基点作为搜寻窗口底边中心分别得到第一个搜寻窗口；预先设置的搜寻窗口数目为9；
S4.3：对第一个搜寻窗口统计搜寻窗口区域内非零像素个数，计算非零像素坐标的均值作为当前搜寻窗口的车道线中心点位置；若搜寻窗口内非零像素个数m大于预设的阈值条件最小非零像素个数n，则将搜寻窗口内非零像素横坐标的平均值作为生成的第二个搜寻窗口的基点横坐标，若m不满足阈值条件n，则生成的第二个搜寻窗口的基点横坐标为第一个搜寻窗口的基点横坐标，生成的第二个搜寻窗口的基点纵坐标为第一个搜寻窗口的上边界的纵坐标；
S4.4：将生成的第二个搜寻窗口作为S4.3中的第一个搜寻窗口，重复执行S4.3，依次迭代检测直至生成的第二搜寻窗口上边界达到图像A5的上边界，得到的所有搜索窗口如图7所示，循环结束后对所有搜寻窗口的车道线中心点位置做四阶多项式拟合，得到当前搜寻对应的车道线曲线参数。
具体的，所述S5具体包括如下步骤：
S5.1：创建一张与图像A5大小一致的空白图片，根据S4.4中拟合得到的左右两条车道线曲线参数在图片上绘制左右两条车道线对应的四阶多项式曲线，可得到左右两条车道线曲线如图7所示；
S5.2：用颜色填充左右两条曲线中间的多边形得到图片A6；
S5.3：使用反扭转矩阵Minv将图片A6进行逆透视变换到车载摄像机视角，得到车道线标记图片A7；
S5.4：将车道线标记图片A7以0.3的权重覆盖到校正图像A2上，即将车道线标记图片A7中各点像素值乘以0.3的权重与校正图像A2各点像素值对应相加，如图8所示，实现车道线检测在原图上的可视化效果。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，包括如下步骤：
S1：使用车载摄像机从不同角度拍摄多张棋盘格照片，利用张氏标定法进行畸变系数计算，根据畸变系数对车载摄像机拍摄的待检测图像进行畸变校正，得到校正图像；
S2：对校正图像进行透视变换，得到路面俯视图；
S3：在路面俯视图中提取HLS颜色特征和使用Sobel算子提取边缘特征，组合两种特征实现车道线分割；
S4：采用二次曲线作为车道线模型使用滑动窗多项式拟合得到车道线的二次曲线参数；
S5：根据二次曲线参数绘制二次多项式拟合的车道线，并使用逆透视变换反投影到校正图像，实现车道线检测在校正图像上的可视化效果。
2.根据权利要求1所述的一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，所述S1具体包括如下步骤：
S1.1：设置一个棋盘格标定板，通过移动车载摄像机，从不同角度、距离拍摄10幅畸变棋盘格图像；
S1.2：找到每幅畸变棋盘格图像中的棋盘格角点，将畸变棋盘格角点在像素坐标系下的位置信息与棋盘格角点在世界坐标系下的位置信息进行一一对应；
S1.3：使用张氏标定法根据S1.2中得到的角点信息进行相机标定，得到车载摄像机的内参矩阵mtx及畸变系数矩阵dist；
S1.4：根据S1.3中得到的内参矩阵mtx及畸变系数矩阵dist对车载摄像机拍摄的待检测图像A1进行畸变校正，得到校正图像A2。
3.根据权利要求1所述的一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，所述S2具体包括如下步骤：
S2.1：获取校正图像A2中四个关键像素点的位置坐标数组src及进行图像扭转之后与四个像素点相对应的位置坐标数组dst；
S2.2：使用S2.1中的数组src及dst进行透视变换计算，得到用于透视变换的扭转矩阵M以及用于恢复图像的反扭转矩阵Minv；
S2.3：根据S2.2中扭转矩阵M对校正图像A2进行透视变换得到路面俯视图A3。
4.根据权利要求1所述的一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，所述S3具体包括如下步骤：
S3.1：针对路面俯视图A3，将路面俯视图A3从RGB颜色空间转换到HLS颜色空间，对S通道和L通道应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P1，其中S通道阈值条件为[140，255]，L通道阈值条件为[120，255]；
S3.2：针对路面俯视图A3，将图像A3转换为灰度图，得到图像A4，对图像A4进行边缘提取处理，边缘提取处理使用Sobel算子；
其中，横向Sobel算子为
Figure FDA0002337961110000021
纵向Sobel算子为
Figure FDA0002337961110000022
S3.3：利用横向Sobel算子对图像A4进行卷积运算，得到图像A4的横向梯度gx，然后将gx归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P2，其中阈值条件为[25，200]；
S3.4：利用纵向Sobel算子对图像A4进行卷积运算，得到图像A4的纵向梯度gy，然后将gy归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P3，其中阈值条件为[25，200]；
S3.5：根据S3.3和S3.4中图像A4的横向梯度gx和纵向梯度gy，计算梯度幅值mag和梯度方向dir：
Figure FDA0002337961110000023
Figure FDA0002337961110000024
进一步将mag归一化到[0，255]，并应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P4，其中阈值条件为[30，100]；对dir应用阈值过滤进行二值化处理，满足阈值条件的像素点处的像素值置为1，不满足则像素值置为0，得到在此阈值条件下的通道信息P5，其中阈值条件为[0.8，1.2]；
S3.6：堆栈通道信息P1、P2、P3、P4、P5得到通道信息P6，对于任意一个像素点，若P2等于1并且P3等于1，或者P4等于1并且P5等于1，则通道信息P6为1，进一步将P1和P6进行二进制或操作，当P1和P6至少一个为1时，将该像素点的像素值置为1，得到二值图像即车道线边缘特征图像A5。
5.根据权利要求1所述的一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，所述S4具体包括如下步骤：
S4.1：按照x轴方向将图像A5从中间一分为二划分为左右两个搜索区域，然后对图像A5左右两个搜索区域的像素在x方向上做直方图统计，定位直方图峰值位置x1和x2作为左右两条车道线的搜寻起点x1和x2；
S4.2：使用滑动窗多项式拟合来获取车道边界，设置矩形搜寻窗口宽度width和高度height，其中width为手工设定，height为图片大小除以预先设置的搜寻窗口数目，对于左右两条车道线，分别以搜寻起点x1、x2作为当前搜寻窗口的基点，并以当前基点作为搜寻窗口底边中心分别得到第一个搜寻窗口；预先设置的搜寻窗口数目为9；
S4.3：对第一个搜寻窗口统计搜寻窗口区域内非零像素个数，计算非零像素坐标的均值作为当前搜寻窗口的车道线中心点位置；若搜寻窗口内非零像素个数m大于预设的阈值条件最小非零像素个数n，则将搜寻窗口内非零像素横坐标的平均值作为生成的第二个搜寻窗口的基点横坐标，若m不满足阈值条件n，则生成的第二个搜寻窗口的基点横坐标为第一个搜寻窗口的基点横坐标，生成的第二个搜寻窗口的基点纵坐标为第一个搜寻窗口的上边界的纵坐标；
S4.4：将生成的第二个搜寻窗口作为S4.3中的第一个搜寻窗口，重复执行S4.3，依次迭代检测直至生成的第二搜寻窗口上边界达到图像A5的上边界，循环结束后对所有搜寻窗口的车道线中心点位置做四阶多项式拟合，得到当前搜寻对应的车道线曲线参数。
6.根据权利要求1所述的一种基于边缘特征及滑动窗的车道线检测方法，其特征在于，所述S5具体包括如下步骤：
S5.1：创建一张与图像A5大小一致的空白图片，根据S4.4中拟合得到的左右两条车道线曲线参数在图片上绘制左右两条车道线对应的四阶多项式曲线；
S5.2：用颜色填充左右两条曲线中间的多边形得到图片A6；
S5.3：使用反扭转矩阵Minv将图片A6进行逆透视变换到车载摄像机视角，得到车道线标记图片A7；
S5.4：将车道线标记图片A7以0.3的权重覆盖到校正图像A2上，即将车道线标记图片A7中各点像素值乘以0.3的权重与校正图像A2各点像素值对应相加，实现车道线检测在原图上的可视化效果。
CN201911364127.0A 2019-12-26 2019-12-26 一种基于边缘特征及滑动窗的车道线检测方法 Pending CN111126306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911364127.0A CN111126306A (zh) 2019-12-26 2019-12-26 一种基于边缘特征及滑动窗的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911364127.0A CN111126306A (zh) 2019-12-26 2019-12-26 一种基于边缘特征及滑动窗的车道线检测方法

Publications (1)

Publication Number Publication Date
CN111126306A true CN111126306A (zh) 2020-05-08

Family

ID=70502853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911364127.0A Pending CN111126306A (zh) 2019-12-26 2019-12-26 一种基于边缘特征及滑动窗的车道线检测方法

Country Status (1)

Country Link
CN (1) CN111126306A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693566A (zh) * 2020-05-12 2020-09-22 江苏理工学院 一种基于红外热成像技术的汽车尾气检测装置及检测方法
CN112017249A (zh) * 2020-08-18 2020-12-01 东莞正扬电子机械有限公司 车载摄像头滚转角获取、安装角度校正方法及设备
CN112241714A (zh) * 2020-10-22 2021-01-19 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备
CN112270690A (zh) * 2020-10-12 2021-01-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112488046A (zh) * 2020-12-15 2021-03-12 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN113343742A (zh) * 2020-12-31 2021-09-03 浙江合众新能源汽车有限公司 一种车道线检测方法、一种车道线检测***
CN114089786A (zh) * 2021-09-29 2022-02-25 北京航空航天大学杭州创新研究院 一种基于无人机视觉的沿山区公路自主巡检***
CN115908201A (zh) * 2023-01-09 2023-04-04 武汉凡德智能科技有限公司 一种图像畸变的热区快速修正方法及装置
US11682190B2 (en) * 2019-04-10 2023-06-20 Axis Ab Method, system, and device for detecting an object in a distorted image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN109785291A (zh) * 2018-12-20 2019-05-21 南京莱斯电子设备有限公司 一种车道线自适应检测方法
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置
CN110414385A (zh) * 2019-07-12 2019-11-05 淮阴工学院 一种基于单应性变换和特征窗口的车道线检测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN109785291A (zh) * 2018-12-20 2019-05-21 南京莱斯电子设备有限公司 一种车道线自适应检测方法
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置
CN110414385A (zh) * 2019-07-12 2019-11-05 淮阴工学院 一种基于单应性变换和特征窗口的车道线检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG1688899: "车道检测(Advanced Lane Finding Project", 《GITHUB.COM》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682190B2 (en) * 2019-04-10 2023-06-20 Axis Ab Method, system, and device for detecting an object in a distorted image
CN111693566B (zh) * 2020-05-12 2023-04-28 江苏理工学院 一种基于红外热成像技术的汽车尾气检测装置及检测方法
CN111693566A (zh) * 2020-05-12 2020-09-22 江苏理工学院 一种基于红外热成像技术的汽车尾气检测装置及检测方法
CN112017249A (zh) * 2020-08-18 2020-12-01 东莞正扬电子机械有限公司 车载摄像头滚转角获取、安装角度校正方法及设备
CN112270690A (zh) * 2020-10-12 2021-01-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112270690B (zh) * 2020-10-12 2022-04-26 淮阴工学院 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法
CN112241714A (zh) * 2020-10-22 2021-01-19 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备
CN112241714B (zh) * 2020-10-22 2024-04-26 北京字跳网络技术有限公司 图像中指定区域的识别方法、装置、可读介质和电子设备
CN112488046A (zh) * 2020-12-15 2021-03-12 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN112488046B (zh) * 2020-12-15 2021-07-16 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN113343742A (zh) * 2020-12-31 2021-09-03 浙江合众新能源汽车有限公司 一种车道线检测方法、一种车道线检测***
CN114089786A (zh) * 2021-09-29 2022-02-25 北京航空航天大学杭州创新研究院 一种基于无人机视觉的沿山区公路自主巡检***
CN115908201A (zh) * 2023-01-09 2023-04-04 武汉凡德智能科技有限公司 一种图像畸变的热区快速修正方法及装置
CN115908201B (zh) * 2023-01-09 2023-11-28 武汉凡德智能科技有限公司 一种图像畸变的热区快速修正方法及装置

Similar Documents

Publication Publication Date Title
CN111126306A (zh) 一种基于边缘特征及滑动窗的车道线检测方法
CN109785291B (zh) 一种车道线自适应检测方法
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN109784344B (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN109145915B (zh) 一种复杂场景下车牌快速畸变矫正方法
US7664315B2 (en) Integrated image processor
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及***
WO2022078074A1 (zh) 车辆与车道线的位置关系检测方法、***和存储介质
CN113298810B (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN105488501A (zh) 基于旋转投影的车牌倾斜矫正的方法
CN107563330B (zh) 一种监控视频中的水平倾斜车牌矫正方法
Youjin et al. A robust lane detection method based on vanishing point estimation
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和***
CN106875430B (zh) 动态背景下基于固定形态的单一运动目标追踪方法和装置
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN113762134B (zh) 基于视觉的汽车泊车中周围障碍物的检测方法
CN111881878B (zh) 一种环视复用的车道线识别方法
CN114241436A (zh) 一种改进色彩空间和搜索窗口的车道线检测方法及***
CN112116644A (zh) 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN111428538B (zh) 一种车道线提取方法、装置和设备
CN111626180B (zh) 基于偏振成像的车道线检测方法及其装置
CN112070081B (zh) 一种基于高清视频的智能化车牌识别方法
JP4639044B2 (ja) 輪郭形状抽出装置
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508