CN109242776B - 一种基于视觉***的双车道线检测方法 - Google Patents

一种基于视觉***的双车道线检测方法 Download PDF

Info

Publication number
CN109242776B
CN109242776B CN201811055117.4A CN201811055117A CN109242776B CN 109242776 B CN109242776 B CN 109242776B CN 201811055117 A CN201811055117 A CN 201811055117A CN 109242776 B CN109242776 B CN 109242776B
Authority
CN
China
Prior art keywords
lane line
detection method
picture
line detection
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811055117.4A
Other languages
English (en)
Other versions
CN109242776A (zh
Inventor
杜跃通
顾晓东
黄可欣
王士昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Junying Tianda Artificial Intelligence Research Institute Co ltd
Original Assignee
Jiangsu Junying Tianda Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Junying Tianda Artificial Intelligence Research Institute Co ltd filed Critical Jiangsu Junying Tianda Artificial Intelligence Research Institute Co ltd
Priority to CN201811055117.4A priority Critical patent/CN109242776B/zh
Publication of CN109242776A publication Critical patent/CN109242776A/zh
Application granted granted Critical
Publication of CN109242776B publication Critical patent/CN109242776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉***的双车道线检测方法，对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；对图片在三通道的基础上加入位置通道；对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取；对特征进行上采样和多尺度预测；通过卷积运算输出n x 1 x 1 x 2的张量特征；通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。本发明图片的语义解析能力高，并且特征提取充分，结果准确度高。

Description

一种基于视觉***的双车道线检测方法
技术领域
本发明涉及一种双车道线检测方法，特别是一种基于视觉***的双车道线检测方法。
背景技术
目前现有的车道线检测方法采用的有基于特征提取的方法（Roberts算子,Sobel算子、Prewitt算子、Krisch边缘算子,高斯-拉普拉斯算子）和基于神经网络模型的方法（Baseline，ReNet，DenseCRF，MRFNet，ResNet-50，ResNet-101，SCNN）。其中基于特征提取的方法由于边缘连续性 ,边缘光滑性,边缘细化程度,边缘的定位，抗噪性等方面的天然劣势，尤其在抗噪性方面的巨大劣势制约着自动驾驶视觉***的可靠性。而基于神经网络模型的方法虽然在一定程度上缓解了上述问题，但其方法大多是GPU级的，不能满足工程上的实时性，检测精度不够高，图片语义信息的解析能力较差。总的来说，现有车道线检测方法存在如下缺陷：
（1）检测准确度还有待提高：现有方法在检测车道线时，尤其在在包括交通拥挤，夜晚，车辆大转弯，车道线不连续，阴影较多，数据部分缺失等复杂场景下检测准确度会大幅降低。
（2）检测速度较低：现有方法检测速度大都在gpu级别，在自动驾驶领域，gpu级别的检测方法显然满足不了实时检测的要求，对于车道线检测的工程化要求至少要在CPU级别能够每秒检测多张图片，这样在出现特殊情况时车辆才能做出迅速反应。
（3）对图片语义信息的解析能力较差：基于特征提取的方法在抗噪性等方面有着天然劣势。基于神经网络模型的方法虽然在一定程度上缓解了上述问题，但在无人驾驶领域，我们认为车辆只需要关注车辆左右的两条车道即可，对于其他车道的过分关注增加了车辆需要处理的信息，占用了较多计算资源。现有方法由于对图片语义信息的解析能力较差而更多的通过图片外部特征处理，得到除左右车道线外的其他无用车道线。
发明内容
本发明所要解决的技术问题是提供一种基于视觉***的双车道线检测方法，提高语义解析能力。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于视觉***的双车道线检测方法，其特征在于包含以下步骤：
步骤一：对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；
步骤三：对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征；
步骤四：对特征进行上采样和多尺度预测；
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标；
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
进一步地，所述步骤二具体为，在原图片的三色通道的基础上加入位置通道。
进一步地，所述步骤四中采用双线性插值算法对特征进行上采样。
进一步地，所述步骤四中多尺度预测对第八层和第十四层同时进行预测。
本发明与现有技术相比，具有以下优点和效果：本发明对图片用3 x 3或1 x 1的卷积结构和池化操作进行压缩，中间夹杂使用上采样方法来提高预测精度，将特征压缩到1x 1时则认为其为车道线上的部分坐标点，之后使用曲线拟合拟合出车辆左右的两条车道线，图片的语义解析能力高，并且特征提取充分，结果准确度高。
附图说明
图1是本发明的实施例的数据形式表格。
图2是本发明的实施例的车道检测结果展示图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
本实施例以将图片处理为 288 x 288 x 3为例，
一种基于视觉***的双车道线检测方法，包含以下步骤：
步骤一：对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；在原图片的三色通道的基础上加入位置通道，使之结构为288 x 288 x （3+1）（即三色通道和位置通道），加入位置通道后图片的内部关联性更强，从而使图片的语义解析能力提升。
步骤三：对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征。
步骤四：采用双线性插值算法对特征进行上采样和多尺度预测对第八层和第十四层同时进行预测；不同于一般意义的多尺度预测，本网络只针对合并后的层进行预测而不会对较深的层直接预测，因为较深的层虽然特征提取充分，但位置信息丢失过多；此操作可使预测准确度提升。
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标。
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
如图1所示，展示了数据在各步骤处理的结果，在步骤三中经过了7层卷积和5层池化操作，使特征提取较为充分。
由图2可以看出，此网络具有较高的语义解析能力，所框出的点的位置不仅包括了白色车道线的位置也包括了没有车道线标记但实际位于车道线上的位置以及被其他障碍物遮挡的位置。同时，可以看出此网络对大转弯的车道线识别能力也很强
同时，在cpu上此网络可达到6fps的速度，超过其他已知网络。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.一种基于视觉***的双车道线检测方法，其特征在于包含以下步骤：
步骤一：在神经结构训练时，将车道线的已标记关键点进行多点插值处理得到密度更高的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；
步骤三：对图片用7层3 x 3或1 x 1的卷积核和池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征；
步骤四：对特征进行上采样和多尺度预测；
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标；
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
2.按照权利要求1所述的一种基于视觉***的双车道线检测方法，其特征在于：所述步骤二具体为，在原图片的三色通道的基础上加入位置通道。
3.按照权利要求1所述的一种基于视觉***的双车道线检测方法，其特征在于：所述步骤四中采用双线性插值算法对特征进行上采样。
4.按照权利要求1所述的一种基于视觉***的双车道线检测方法，其特征在于：所述步骤四中，网络一共十五层并从第零层开始计数，多尺度预测对网络的第八层和第十四层同时进行预测。
CN201811055117.4A 2018-09-11 2018-09-11 一种基于视觉***的双车道线检测方法 Active CN109242776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811055117.4A CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉***的双车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811055117.4A CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉***的双车道线检测方法

Publications (2)

Publication Number Publication Date
CN109242776A CN109242776A (zh) 2019-01-18
CN109242776B true CN109242776B (zh) 2023-04-07

Family

ID=65067324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811055117.4A Active CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉***的双车道线检测方法

Country Status (1)

Country Link
CN (1) CN109242776B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084095B (zh) * 2019-03-12 2022-03-25 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质
CN110414386B (zh) * 2019-07-12 2022-01-21 武汉理工大学 基于改进scnn网络的车道线检测方法
CN113011293B (zh) * 2021-03-05 2022-09-30 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN115019278B (zh) * 2022-07-13 2023-04-07 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN105335704A (zh) * 2015-10-16 2016-02-17 河南工业大学 一种基于双线性插值的车道线识别方法与装置
CN107144234A (zh) * 2017-04-21 2017-09-08 南京理工大学 一种城轨车辆轮对踏面轮廓拟合方法
CN107392929A (zh) * 2017-07-17 2017-11-24 河海大学常州校区 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN105335704A (zh) * 2015-10-16 2016-02-17 河南工业大学 一种基于双线性插值的车道线识别方法与装置
CN107144234A (zh) * 2017-04-21 2017-09-08 南京理工大学 一种城轨车辆轮对踏面轮廓拟合方法
CN107392929A (zh) * 2017-07-17 2017-11-24 河海大学常州校区 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Employing a fully convolutional neural network for road marking detection;Luiz Ricardo T. Horita et al.;《2017 Latin American Robotics Symposium(LARS) and 2017 Brazilian Symposium on Robotics(SBR)》;20171101;全文 *
道路车道线图像预处理数据信息获取;侯枫 等;《民营科技》;20170520;全文 *

Also Published As

Publication number Publication date
CN109242776A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109242776B (zh) 一种基于视觉***的双车道线检测方法
AU2019213369B2 (en) Non-local memory network for semi-supervised video object segmentation
WO2018103608A1 (zh) 一种文字检测方法、装置及存储介质
CN110610510B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN107274445B (zh) 一种图像深度估计方法和***
CN104766076B (zh) 一种视频图像文字的检测方法和装置
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN109711407B (zh) 一种车牌识别的方法及相关装置
WO2022001091A1 (zh) 一种危险驾驶行为识别方法、装置、电子设备及存储介质
CN112651979A (zh) 肺部x光图像分割方法、***、计算机设备及存储介质
CN110942071A (zh) 一种基于车牌分类和lstm的车牌识别方法
CN112651423A (zh) 一种智能视觉***
WO2023207778A1 (zh) 数据修复方法、装置、计算机及可读存储介质
CN112767418A (zh) 基于深度感知的镜子图像分割方法
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
CN111882581B (zh) 一种深度特征关联的多目标跟踪方法
CN113139544A (zh) 一种基于多尺度特征动态融合的显著性目标检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115908789A (zh) 跨模态特征融合及渐近解码的显著性目标检测方法及装置
CN114445651A (zh) 一种语义分割模型的训练集构建方法、装置及电子设备
EP2024936A1 (en) Multi-tracking of video objects
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法
CN112784745A (zh) 基于置信度自适应和差分增强的视频显著物体检测方法
CN115661482B (zh) 一种基于联合注意力的rgb-t显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Du Yuetong

Inventor after: Gu Xiaodong

Inventor after: Huang Kexin

Inventor after: Wang Shizhao

Inventor before: Du Yuetong

Inventor before: Gu Xiaodong

Inventor before: Huang Kexin

Inventor before: Wang Shizhao

GR01 Patent grant
GR01 Patent grant