CN108171154A - 一种自动驾驶中目标检测与车道检测结合的方法 - Google Patents

一种自动驾驶中目标检测与车道检测结合的方法 Download PDF

Info

Publication number
CN108171154A
CN108171154A CN201711440959.7A CN201711440959A CN108171154A CN 108171154 A CN108171154 A CN 108171154A CN 201711440959 A CN201711440959 A CN 201711440959A CN 108171154 A CN108171154 A CN 108171154A
Authority
CN
China
Prior art keywords
detection
lane
offset
automatic pilot
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711440959.7A
Other languages
English (en)
Inventor
陈越凡
张伟
王文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bang Bang Electronic Technology (shanghai) Co Ltd
Original Assignee
Bang Bang Electronic Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bang Bang Electronic Technology (shanghai) Co Ltd filed Critical Bang Bang Electronic Technology (shanghai) Co Ltd
Priority to CN201711440959.7A priority Critical patent/CN108171154A/zh
Publication of CN108171154A publication Critical patent/CN108171154A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种自动驾驶中目标检测与车道检测结合的方法，尤其涉及基于CNN的车辆及行人实时检测、车道线检测、偏移量及车辆变道信息分析。一种自动驾驶中目标检测与车道检测结合的方法，包括以下步骤：S1，对得到的视频图像信息进行基于CNN的车辆及行人实时检测与分析；S2，对得到的视频图像信息进行基于Hough车道线的检测，同时进行偏移量、变道信息的分析与标记；S3，将Hough车道线检测结果、偏移量和变道信息添加到车辆行人目标检测结果中，并输出最终结果。本发明在确保自动驾驶中实时目标检测与车道检测，提升目标及车道的检测精度和鲁棒性。

Description

一种自动驾驶中目标检测与车道检测结合的方法
技术领域
本发明涉及一种自动驾驶中目标检测与车道检测结合的方法，尤其涉及基于CNN的车辆及行人实时检测、车道线检测、偏移量及车辆变道信息分析。
背景技术
机器视觉、深度学习在自动驾驶领域发展速度飞速，机器视觉处理多年来一直存在于卷积神经网络的应用中，这些算法能够从传感器的输入的数据提取有用的信息。对于场景的分析CNN是非常高效的，能够分辨出很多对象如汽车、人、动物、道路标志、道路交叉点、路边标志(物体)，能够确定场景中的相关现实对象。所有这些操作都是实时的，只要传感器部分设置完成后，后续的融合/决策操作就会发生。无论是一个还是所有传感器(LIDAR(激光探测与测量)、雷达、摄像头、红外传感器)的输入数据有所改变，***就会立刻做出最佳的决策。比如刹车的场景(远超过驾驶员的反应时间)，汽车自动驾驶***会立刻分析距离、感应速度，做出刹车操作的反应时间是任何人为操作所不能及的。
目前，国内外学者已经提出了很多车道线检测算法，主要分为两类：一类是基于图像特征的检测方法，即特征驱动法，是基于道路图像的一些特征(如车道线颜色、宽度以及边缘等特征)将图像的所有点标记为车道线点和非车道线点，这种机制要求道路的车道线颜色较为明显，边缘较为清晰，否则无法得到准确的检测结果；另一类方法是基于模型的检测方法，是根据提取的特征对预先定义好的车道线模型进行匹配，将车道线的提取转化为车道线模型中参数的计算问题。
自动驾驶技术已然成为当今热点内容，但自动驾驶中视觉目标检测与分析方法依旧较为分散，有效结合多项检测内容，提升检测精确度与提高鲁棒性，对理论研究及实际应用都有重要的参考价值。
发明内容
为了克服现有技术的不足，本发明结合无人驾驶中机器视觉多种方法及数据分析，提供了一种自动驾驶中高检测精准度、高鲁棒性实时目标检测与车道检测方法。
为了实现以上目的，本发明采用以下技术方案：提供了一种自动驾驶中目标检测与车道检测结合的方法，包括：基于CNN的车辆行人目标检测，内含创建车辆及行人数据集；改进的Hough车道线检测，内含Hough直线检测，角度与距离约束保持车道线方法，提供偏移量及车辆变道信息。包括以下步骤：S1，对得到的视频图像信息进行基于卷积神经网络的车辆及行人实时检测与分析；S2，对得到的视频图像信息进行基于Hough车道线的检测，同时进行偏移量、变道信息的分析与标记；S3，将Hough车道线检测结果、偏移量和变道信息添加到车辆行人目标检测结果中，并输出最终结果。
进一步地，所述S1步骤包括：S101，特定目标数据集建立；S102，车辆及行人实时检测与分析。所述S2步骤包括：S201，图像预处理，输出图像大小为M*N，用于新输入单帧图像Hough之间检测的准备，包括灰度化、二值化、形态学处理、canny边缘检测与高斯模糊；S202，车道线检测，包括Hough直线检测，检测预处理后图像中的直线信息，采用角度、区域及长度约束，采用多点拟合的方式确定车道线，考虑车辆行驶过程引起的镜头晃动，采用滤波的方式进行车道线保持；S203，偏移量和变道信息分析，将所述拟合后的左右车道线与图像底边两交点的中点N/2进行比较，如果所得拟合点横坐标大于N/2则认定为偏左，反之则认定为偏右，若图像坐标系中斜率(角度)发生较大改变后，则认定为变道。所述S3步骤包括：将车道线及偏移量和变道信息以标注信息加到目标检测结果上叠加显示。
根据本发明实施例的自动驾驶中目标检测与车道线检测结合的方法，通过对特定目标数据集制作，采用基于CNN的实时目标检测，减低内存消耗，大幅提升目标检测的准确率和检测速度；采用Hough车道线检测与偏移及变道分析，有效的将自动驾驶中的两项视觉检测内容结合，具有非常高的使用价值与经济利益。
附图说明
结合附图，通过下文的详细说明，可更清楚地理解本发明的上述及其他特征和优点，其中：
图1为根据本发明实施例的目标检测与车道结合的模块图；
图2为根据本发明实施例的Hough车道线检测，偏移量及变道信息分析模块图；
图3为根据本发明实施例的图像坐标系建立方案；
图4为根据本发明实施例的车道线区域约束图；
图5为根据本发明实施例的车道线检测左右车道拟合图；
图6为根据本发明实施例的偏移量分析图。
具体实施方式
参见本发明具体实施例的附图，下文将更详细地描述本发明。然而，本发明可以以许多不同形式实现，并且不应解释为受在此提出之实施例的限制。相反，提出这些实施例是为了达成充分及完整公开，并且使本技术领域的技术人员完全了解本发明的范围。
现详细说明根据本发明实施例的自动驾驶中目标检测与车道线检测结合方法，包括：基于CNN的车辆行人目标检测，内含创建车辆及行人数据集；改进的Hough车道线检测，内含Hough直线检测，角度与距离约束保持车道线方法，提供偏移量及车辆变道信息。包括以下步骤：S1，对得到的视频图像信息进行基于卷积神经网络的车辆及行人实时检测与分析；S2，对得到的视频图像信息进行基于Hough车道线的检测，同时进行偏移量、变道信息的分析与标记；S3，将Hough车道线检测结果、偏移量和变道信息添加到车辆行人目标检测结果中，并输出最终结果。所述S1步骤包括：S101，特定目标数据集建立；S102，车辆及行人实时检测与分析。所述S2步骤包括：S201，图像预处理，输出图像大小为M*N，用于新输入单帧图像Hough之间检测的准备，包括灰度化、二值化、形态学处理、canny边缘检测与高斯模糊；S202，车道线检测，包括Hough直线检测，检测预处理后图像中的直线信息，采用角度、区域及长度约束，采用多点拟合的方式确定车道线，考虑车辆行驶过程引起的镜头晃动，采用滤波的方式进行车道线保持；S203，偏移量和变道信息分析，将所述拟合后的左右车道线与图像底边两交点的中点N/2进行比较，如果所得拟合点横坐标大于N/2则认定为偏左，反之则认定为偏右，若图像坐标系中斜率(角度)发生较大改变后，则认定为变道。所述S3步骤包括：将车道线及偏移量和变道信息以标注信息加到目标检测结果上叠加显示。
本发明共有两个模块组成，一为CNN车辆及行人目标实时检测，二为Hough车道线检测及偏移量与变道信息分析。
实现过程结构如图1所示，输入视频单帧到CNN目标检测与Hough车道线检测，将车道线及偏移量与变道信息结果标注到CNN检测结果上，输出最终检测结果。
Hough车道线及偏移量与变道信息分析结构如图2所示，由单帧图像预处理、Hough直线检测、直线角度长度约束、多点拟合及偏移量与变道分析。
图3为图像坐标系建立方案，区域限定部分主要为附图4展示内容。
车道线约束与拟合实现，拟合前后具体如附图5所示，具体为阈值范围内的斜率线段，线段长度超过一定值则对其两端点进行标记，如果超过两点，则采用多点拟合，否则采用两点拟合，并获拟合后的直线与限定区域上下交点，实现车道线的拟合。
偏移量分析原理，可结合附图6，具体为：获取拟合后车道线与图像底边交点A，B坐标，拟合后的直线与限定区域上下交点分别为：A2(XA2,YA2)、B2(XB2,YB2)、A1(XA1,YA1)、B1(XB1,YB1)。并计底边交点A1(XA1,YA1)与B1(XB1,YB1)的中点MAB的坐标，底边中心点M坐标信息。根据实际距离与图像距离的比例关系，根据M与MAB间隔计算偏移距离。
变道分析原理，可结合附图6，具体为：偏移量达到一定阈值时，A1A2或B1B2斜率值已超出约束范围，判定为变道，偏离左侧多，为左变道，否则为向右变道。其中，A1A2和B1B2车道线的斜率分别为：
根据本发明实施例的自动驾驶中目标检测与车道检测结合方法，通过对特定目标数据集制作，采用基于CNN实时目标检测，降低内存损耗，提升检测速度；采用Hough车道线检测与偏移及变道分析，有效的将自动驾驶中的两项视觉检测内容结合，具有非常高的使用价值与经济利益。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种自动驾驶中目标检测与车道检测结合的方法，其特征在于，包括以下步骤：S1，对得到的视频图像信息进行基于CNN的车辆及行人实时检测与分析；S2，对得到的视频图像信息进行基于Hough车道线的检测，同时进行偏移量、变道信息的分析与标记；S3，将Hough车道线检测结果、偏移量和变道信息添加到车辆行人目标检测结果中，并输出最终结果。
2.根据权利要求1所述的自动驾驶中目标检测与车道检测结合的方法，其特征在于，所述S1步骤包括：S101，特定目标数据集建立；S102，车辆及行人实时检测与分析。
3.根据权利要求1所述的自动驾驶中目标检测与车道检测结合的方法，其特征在于，所述S2步骤包括：S201，图像预处理，输出图像大小为M*N，用于新输入单帧图像Hough之间检测的准备，包括灰度化、二值化、形态学处理、canny边缘检测与高斯模糊；S202，车道线检测，包括Hough直线检测，检测预处理后图像中的直线信息，采用角度、区域及长度约束，采用多点拟合的方式确定车道线，采用滤波的方式进行车道线保持；S203，偏移量和变道信息分析，将所述拟合后的左右车道线与图像底边两交点的中点N/2进行比较，如果所得拟合点横坐标大于N/2则认定为偏左，反之则认定为偏右，若图像坐标系中斜率(角度)发生较大改变后，则认定为变道。
4.根据权利要求1所述的自动驾驶中目标检测与车道检测结合的方法，其特征在于，所述S3步骤包括：将车道线及偏移量和变道信息以标注信息加到目标检测结果上叠加显示。
CN201711440959.7A 2017-12-27 2017-12-27 一种自动驾驶中目标检测与车道检测结合的方法 Pending CN108171154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711440959.7A CN108171154A (zh) 2017-12-27 2017-12-27 一种自动驾驶中目标检测与车道检测结合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711440959.7A CN108171154A (zh) 2017-12-27 2017-12-27 一种自动驾驶中目标检测与车道检测结合的方法

Publications (1)

Publication Number Publication Date
CN108171154A true CN108171154A (zh) 2018-06-15

Family

ID=62522093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711440959.7A Pending CN108171154A (zh) 2017-12-27 2017-12-27 一种自动驾驶中目标检测与车道检测结合的方法

Country Status (1)

Country Link
CN (1) CN108171154A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407679A (zh) * 2018-12-28 2019-03-01 百度在线网络技术（北京）有限公司 用于控制无人驾驶汽车的方法和装置
CN110530863A (zh) * 2019-08-27 2019-12-03 南京末梢信息技术有限公司 一种汽车轮毂混包检测装置及方法
CN110525436A (zh) * 2019-08-27 2019-12-03 中国第一汽车股份有限公司 车辆换道控制方法、装置、车辆和存储介质
CN110967025A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线筛选方法及***
CN111127651A (zh) * 2020-03-31 2020-05-08 江苏广宇科技产业发展有限公司 基于高精度可视化技术的自动驾驶测试开发方法及装置
CN111383464A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆变道识别方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105632186A (zh) * 2016-03-11 2016-06-01 博康智能信息技术有限公司 检测车辆加塞行为的方法和装置
CN105966398A (zh) * 2016-06-21 2016-09-28 广州鹰瞰信息科技有限公司 一种对车辆偏离车道进行预警的方法和装置
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107133600A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种基于帧间关联的实时车道线检测方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的***及方法
CN107516078A (zh) * 2017-08-18 2017-12-26 电子科技大学 一种车道线检测稳固方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105632186A (zh) * 2016-03-11 2016-06-01 博康智能信息技术有限公司 检测车辆加塞行为的方法和装置
CN105966398A (zh) * 2016-06-21 2016-09-28 广州鹰瞰信息科技有限公司 一种对车辆偏离车道进行预警的方法和装置
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107133600A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种基于帧间关联的实时车道线检测方法
CN107516078A (zh) * 2017-08-18 2017-12-26 电子科技大学 一种车道线检测稳固方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕亚运: "基于机器视觉的车道线偏移检测与预警***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
鱼兆伟: "基于动态感兴趣区域的光照无关车道线检测算法", 《计算机工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967025A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线筛选方法及***
CN109407679A (zh) * 2018-12-28 2019-03-01 百度在线网络技术（北京）有限公司 用于控制无人驾驶汽车的方法和装置
CN111383464A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆变道识别方法、装置、电子设备和介质
CN111383464B (zh) * 2018-12-28 2022-11-18 沈阳美行科技股份有限公司 车辆变道识别方法、装置、电子设备和介质
CN110530863A (zh) * 2019-08-27 2019-12-03 南京末梢信息技术有限公司 一种汽车轮毂混包检测装置及方法
CN110525436A (zh) * 2019-08-27 2019-12-03 中国第一汽车股份有限公司 车辆换道控制方法、装置、车辆和存储介质
CN110530863B (zh) * 2019-08-27 2022-04-05 南京末梢信息技术有限公司 一种汽车轮毂混包检测装置及方法
CN111127651A (zh) * 2020-03-31 2020-05-08 江苏广宇科技产业发展有限公司 基于高精度可视化技术的自动驾驶测试开发方法及装置

Similar Documents

Publication Publication Date Title
CN108171154A (zh) 一种自动驾驶中目标检测与车道检测结合的方法
CN105261020B (zh) 一种快速车道线检测方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
US8750567B2 (en) Road structure detection and tracking
CN105336169B (zh) 一种基于视频判断交通拥堵的方法和***
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN107025432B (zh) 一种高效的车道线检测跟踪方法及***
Nieto et al. Road environment modeling using robust perspective analysis and recursive Bayesian segmentation
CN103797529B (zh) 三维物体检测装置
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN110738121A (zh) 一种前方车辆检测方法及检测***
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN108596081A (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
CN112069944A (zh) 一种道路拥堵等级确定方法
CN109446919A (zh) 一种基于端到端学习的视觉车道保持方法
Mulyanto et al. Real-time human detection and tracking using two sequential frames for advanced driver assistance system
CN102768726A (zh) 一种预防行人碰撞的行人检测方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN112793567A (zh) 一种基于路况检测的辅助驾驶方法及***
CN108764075A (zh) 岸桥下集装箱卡车定位的方法
CN108764338A (zh) 一种应用于视频分析的行人跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615