CN105740805B - 一种基于多区域联合车道线检测方法 - Google Patents

一种基于多区域联合车道线检测方法 Download PDF

Info

Publication number
CN105740805B
CN105740805B CN201610057089.4A CN201610057089A CN105740805B CN 105740805 B CN105740805 B CN 105740805B CN 201610057089 A CN201610057089 A CN 201610057089A CN 105740805 B CN105740805 B CN 105740805B
Authority
CN
China
Prior art keywords
image
edge
perspective
multizone
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610057089.4A
Other languages
English (en)
Other versions
CN105740805A (zh
Inventor
田雨农
范玉涛
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Yun de Xingye Technology Co.,Ltd.
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610057089.4A priority Critical patent/CN105740805B/zh
Publication of CN105740805A publication Critical patent/CN105740805A/zh
Application granted granted Critical
Publication of CN105740805B publication Critical patent/CN105740805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多区域联合车道线检测方法，包括以下步骤：对摄像头采集的图像中车道线进行标定，实现目标区域的透视变换；对透视变换后的区域进行二值化，并进行边缘提取；对边缘提取后的图像进行附加缓冲区分割，得到多幅边缘图像；从多幅边缘图像中获取车道线信息。本发明通过透视变换改变检测的方向，可以增加车道线的特征，对于后续的检测与识别提供更好的特征，最终提高车道线识别的准确率。采用多区域的联合检测的策略，对于Hough变换过程中的投票过程的求最大值耗时问题，提出一种多区域的联合检测和重叠检测方法。

Description

一种基于多区域联合车道线检测方法
技术领域
本发明涉及一种车道线检测方法，具体说是一种基于多区域联合车道线检测方法。
背景技术
汽车自动驾驶技术包括视频摄像头、雷达传感器以及激光测距器来了解周围的交通状况，并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。这一切都通过谷歌的数据中心来实现，谷歌的数据中心能处理汽车收集的有关周围地形的大量信息。就这点而言，自动驾驶汽车相当于谷歌数据中心的遥控汽车或者智能汽车。汽车自动驾驶技术物联网技术应用之一。
目前，现有的自动驾驶中通常采用霍夫变换识别车道线，实现自动驾驶的实时路况检测。但是，霍夫变换在对车道线检测时，构造的投票表过于巨大，每次计算最大值耗时严重，并且对于多条车道线的检测往往需要大量增加最大响应条数，这给实际应用带来的诸多不便。本发明针对自动驾驶中的图像识别领域中的车道线检测技术，提出一种新的车道线检测方法。
发明内容
为解决上述技术问题，本发明提出一种基于多区域联合车道线检测方法。
本发明采用的技术方案如下：一种基于多区域联合车道线检测方法，包括以下步骤：
对摄像头采集的图像中车道线进行标定，实现目标区域的透视变换；
对透视变换后的区域进行二值化，并进行边缘提取；
对边缘提取后的图像进行附加缓冲区分割，得到多幅边缘图像；
从多幅边缘图像中获取车道线信息。
所述对摄像头采集的图像中车道线进行标定包括以下步骤：
在摄像头采集的图像中将两条相邻车道线内侧四点作为标定的4个点；
以左上点为原点，水平向右为X正方向、竖直向下为Y正方向建立直角坐标系；
根据标定的4个点在直角坐标系的坐标得到透视系数；
将所有区域的所有点分别按照各自区域的透视系数进行透视变换。
所述透视系数通过下式得到
其中，m1～m8为透视系数；xi、yi为4个点在直角坐标系的坐标，xi’、yi’为透视后的4个点在直角坐标系的坐标；i＝1...n，n＝4。
所述将所有区域的所有点分别按照各自区域的透视系数进行透视变换通过以下公式实现：
其中，u、w、v为透视变换后任意点在直角坐标系的坐标，x’、y’为摄像头采集到的图像的灰度图上的任意点在直角坐标系的坐标；透视系数矩阵包括m1～m8和1。
所述对透视变换后的区域进行二值化，并进行边缘提取包括以下步骤：
设定两个滤波器的尺寸；
分别将两个滤波器对透视变换后的区域进行滤波得到两幅图像；将两幅图像做差，得到目标特征的二值化图像；
将二值化图像从最左侧开始，将第i列像素值减去第i+1列像素值，得到的差作为第i+1列像素值；此时获得目标左边缘图像；
将二值化图像从最右侧开始，将第i列像素值减去第i-1列像素值，得到的差作为第i-1列像素值；此时获得目标右边缘图像；i＝1...w；
在目标左边缘图像中从左上角开始查询目标左边缘；在目标右边缘图像中从左上角开始查询目标右边缘；当目标左边缘和目标右边缘均查询到时，则将目标左边缘位置与目标右边缘位置取平均值，作为提取的目标中心线。
所述对边缘提取后的图像进行附加缓冲区分割，得到多幅边缘图像包括以下步骤：
将边缘提取后的图像垂直分为k个区域，k＝(设定车道线条数/2)+1；
将每个区域的分割边缘延伸c个像素作为缓冲区，c＝边缘提取后的图像宽度×阈值；得到多幅边缘图像。
所述从多幅边缘图像中获取车道线信息包括以下步骤：
将每个图像进行霍夫变换，得到霍夫半径和霍夫角；
对霍夫半径进行投票，取投票数最多的前若干组霍夫半径和霍夫角，即为车道线信息。
所述从多幅边缘图像中获取车道线信息后，将多幅边缘图像的车道线信息整合，得到多条车道线，并映射回原图像。
本发明具有以下有益效果及优点：
1.本发明通过透视变换改变检测的方向，可以增加车道线的特征，对于后续的检测与识别提供更好的特征，最终提高车道线识别的准确率。
2.本发明采用多区域的联合检测的策略，对于Hough变换过程中的投票过程的求最大值耗时问题，提出一种多区域的联合检测和重叠检测方法。
附图说明
图1是本发明的方法流程图；
图2是本发明的方法原始图像；
图3是本发明的方法透视图像；
图4是本发明的方法二值化图像；
图5是本发明的方法边缘检测图像；
图6是本发明的方法Hough变换结果图像(以图中左部分为例)；
图7是本发明的方法最终结果图像。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
本发明首先对于车辆前方图像如图2所示，进行透视变换，如图3所示；对于透视变换的图像进行二值化处理，如图4所示；对于二值化结果进行边缘检测，如图5所示；对于边缘检测的结果图进行Hough变换检测直线，如图6所示；对于获得的直线映射回原始图像作为显示，如图7所示。
如图1所示，本发明包括以下步骤：
1.以视频的一幅图像作为样本进行标定处理，人工选定4个任意矩形的4个角点作为4个特征点(本发明中选择两条相邻的虚车道线的内侧4个点作为特征点)，对于图像上映射的4个点的坐标选择以图像左上点为原点，向右为X正方向，向下为Y正方向，中的图像区域中间偏下的位置。
2.根据下列方程求解透视系数：
其中，m1,…,m8为透视系数(向量)，xi,yi为原始坐标，xi’,yi’为透视之后的坐标,i＝1,…,4。n＝4。
3.将整个区域按照该透视进行变换，即
其中，u,v,w为透视后坐标，x’、y’为原始坐标。M矩阵为透视系数矩阵，其元素为m1,…,m8,1。
最终得到的透视图的结果如图3所示。
4.对透视变换后的各区域进行二值化，采用双尺度滤波，并进行边缘提取包括以下步骤：
设定第一滤波器3*3和第二滤波器的尺寸101*101；
分别将第一滤波器和第二滤波器对透视变换后的区域进行滤波得到两幅图像；将两幅图像的像素值做差，得到目标特征的二值化图像；
在目标左边缘图像中从左上角开始遍历整幅图像；当遍历检测到当前的像素值为0，下一个像素值为1时，记录当前像素的列标签，继续遍历，当检测到当前元素值为1，下一个元素值为0时，再次记录当前元素的列信息，将该列标签与之前的列标签计算平均值，将平均值所在的列，该行的元素值赋为1，其他所有的值为0，这样得到了边缘图像。图像中的边缘信息则代表了车道线信息。
5.对于边缘结果图按照车道线检测的需求，本发明的需求为检测当前和左右相邻的共4条车道线，将图像分为3各区域，左、中、右三个部分(如图6)，在每个部分的边缘多延伸20各像素(边缘提取后的图像宽度×阈值，阈值为0.05)作为缓冲区，这样可以有效的解决便道时，图像分割对车道线识别造成的相应值过小的问题。
6.根据得到的边缘信息利用霍夫变换检测车道线
通过得到的边缘图，将图像中边缘点进行Hough变换，对于所有的边缘点的坐标x,y带入如下公式计算r:
r＝x×sinθ+y×cosθ
其中，θ设定范围为0到π之间，每隔0.03取一个值进行计算，将所有半径r进行投票统计，票数最高的前20条所对应的r和θ就是检测的车道线。
7.根据透视的车道线间隔参数进行车道线过滤
选定Yp等于图像中间位置，大小为图像高度的一半，带入Hough变换公式计算Xp：
其中，Xp表示纵坐标为Yp时各车道线的横坐标，Yp为图像高度的一半，r为霍夫半径，θ为霍夫角；
将多个Xp排序，从最小值开始，当某相邻两个Xp之间的间隔小于3/4车道线宽度时，删除这两个Xp中的较大值，剩余的为检测出的车道线。
8.联合多区域车道线信息
将得到的3区域的车道线信息进行整合，即多个车道线的信息(霍夫角和霍夫半径)构成霍夫角矩阵和霍夫半径矩阵，并映射回原始图像作为最终的结果。

Claims (7)

1.一种基于多区域联合车道线检测方法，其特征在于包括以下步骤：
对摄像头采集的图像中车道线进行标定，实现目标区域的透视变换；
对透视变换后的区域进行二值化，并进行边缘提取；
对边缘提取后的图像进行附加缓冲区分割，得到多幅边缘图像；
从多幅边缘图像中获取车道线信息；
所述对透视变换后的区域进行二值化，并进行边缘提取包括以下步骤：
设定两个滤波器的尺寸；
分别将两个滤波器对透视变换后的区域进行滤波得到两幅图像；将两幅图像做差，得到目标特征的二值化图像；
将二值化图像从最左侧开始，将第i列像素值减去第i+1列像素值，得到的差作为第i+1列像素值；此时获得目标左边缘图像；
将二值化图像从最右侧开始，将第i列像素值减去第i-1列像素值，得到的差作为第i-1列像素值；此时获得目标右边缘图像；i＝1...h；
在目标左边缘图像中从左上角开始查询目标左边缘；在目标右边缘图像中从左上角开始查询目标右边缘；当目标左边缘和目标右边缘均查询到时，则将目标左边缘位置与目标右边缘位置取平均值，作为提取的目标中心线。
2.根据权利要求1所述的一种基于多区域联合车道线检测方法，其特征在于所述对摄像头采集的图像中车道线进行标定包括以下步骤：
在摄像头采集的图像中将两条相邻车道线内侧四点作为标定的4个点；
以左上点为原点，水平向右为X正方向、竖直向下为Y正方向建立直角坐标系；
根据标定的4个点在直角坐标系的坐标得到透视系数；
将所有区域的所有点分别按照各自区域的透视系数进行透视变换。
3.根据权利要求2所述的一种基于多区域联合车道线检测方法，其特征在于所述透视系数通过下式得到
其中，m1～m8为透视系数；xi、yi为4个点在直角坐标系的坐标，xi’、yi’为透视后的4个点在直角坐标系的坐标；i＝1...n，n＝4。
4.根据权利要求2所述的一种基于多区域联合车道线检测方法，其特征在于所述将所有区域的所有点分别按照各自区域的透视系数进行透视变换通过以下公式实现：
其中，u、w、v为透视变换后任意点在直角坐标系的坐标，x’、y’为摄像头采集到的图像的灰度图的任意点在直角坐标系的坐标；m1～m8、1为透视系数矩阵M的元素。
5.根据权利要求1所述的一种基于多区域联合车道线检测方法，其特征在于所述对边缘提取后的图像进行附加缓冲区分割，得到多幅边缘图像包括以下步骤：
将边缘提取后的图像垂直分为k个区域，k＝(设定车道线条数/2)+1；
将每个区域的分割边缘延伸c个像素作为缓冲区，得到多幅边缘图像；其中，c＝边缘提取后的图像宽度×阈值。
6.根据权利要求1所述的一种基于多区域联合车道线检测方法，其特征在于所述从多幅边缘图像中获取车道线信息包括以下步骤：
将每个图像进行霍夫变换，得到霍夫半径和霍夫角；
对霍夫半径进行投票，取投票数最多的前若干组霍夫半径和霍夫角，即为车道线信息。
7.根据权利要求1所述的一种基于多区域联合车道线检测方法，其特征在于所述从多幅边缘图像中获取车道线信息后，将多幅边缘图像的车道线信息整合，得到多条车道线，并映射回原图像。
CN201610057089.4A 2016-01-27 2016-01-27 一种基于多区域联合车道线检测方法 Active CN105740805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610057089.4A CN105740805B (zh) 2016-01-27 2016-01-27 一种基于多区域联合车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610057089.4A CN105740805B (zh) 2016-01-27 2016-01-27 一种基于多区域联合车道线检测方法

Publications (2)

Publication Number Publication Date
CN105740805A CN105740805A (zh) 2016-07-06
CN105740805B true CN105740805B (zh) 2019-06-07

Family

ID=56247750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610057089.4A Active CN105740805B (zh) 2016-01-27 2016-01-27 一种基于多区域联合车道线检测方法

Country Status (1)

Country Link
CN (1) CN105740805B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734105B (zh) * 2018-04-20 2020-12-04 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN111428538B (zh) * 2019-01-09 2023-06-27 阿里巴巴集团控股有限公司 一种车道线提取方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034304A1 (de) * 2007-07-24 2009-04-16 Nec Electronics Corp., Kawasaki Eingebautes Bildverarbeitungsgerät für Fahrzeuge
CN101469991A (zh) * 2007-12-26 2009-07-01 南京理工大学 全天时结构化道路多行道线检测方法
CN102629326A (zh) * 2012-03-19 2012-08-08 天津工业大学 一种基于单目视觉的车道线检测方法
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034304A1 (de) * 2007-07-24 2009-04-16 Nec Electronics Corp., Kawasaki Eingebautes Bildverarbeitungsgerät für Fahrzeuge
CN101469991A (zh) * 2007-12-26 2009-07-01 南京理工大学 全天时结构化道路多行道线检测方法
CN102629326A (zh) * 2012-03-19 2012-08-08 天津工业大学 一种基于单目视觉的车道线检测方法
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于改进Hough变换和透视变换的透视图像矫正";代勤等;《液晶与显示》;20120831;第552-556页

Also Published As

Publication number Publication date
CN105740805A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN105261020B (zh) 一种快速车道线检测方法
CN104766058B (zh) 一种获取车道线的方法和装置
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测***及方法
WO2022016563A1 (zh) 一种植保无人机地面监控***及其监控方法
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US9454692B2 (en) Method for identifying and positioning building using outline region restraint of mountain
CN107330376A (zh) 一种车道线识别方法及***
CN103714538B (zh) 道路边缘检测方法、装置及车辆
CN104463877B (zh) 一种基于雷达影像与电子海图信息的岸线配准方法
CN102567979A (zh) 车载红外夜视***及其多源图像融合方法
CN105740809A (zh) 一种基于机载摄像机的高速公路车道线检测方法
CN107665327B (zh) 一种车道线检测方法及装置
CN109409205A (zh) 基于线间距特征点聚类的航拍视频公路车道线检测方法
CN106407924A (zh) 基于路面特征的双目道路识别检测方法
CN106897681A (zh) 一种遥感图像对比分析方法及***
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN109949593A (zh) 一种基于路口先验知识的交通信号灯识别方法及***
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN104112118B (zh) 用于车道偏离预警***的车道线检测方法
CN108416798A (zh) 一种基于光流的车辆距离估计方法
CN111382658A (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 116023 room 226, floor 2, No. 12, Renxian street, Qixianling, Lingshui Town, Ganjingzi District, Dalian City, Liaoning Province

Patentee after: Dalian Yun de Xingye Technology Co.,Ltd.

Address before: 116023 floor 11, No. 7, Huixian Park, high tech Industrial Park, Dalian, Liaoning Province

Patentee before: DALIAN ROILAND TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right