CN115376091A - 一种利用图像分割辅助的车道线检测方法 - Google Patents

一种利用图像分割辅助的车道线检测方法 Download PDF

Info

Publication number
CN115376091A
CN115376091A CN202211289904.1A CN202211289904A CN115376091A CN 115376091 A CN115376091 A CN 115376091A CN 202211289904 A CN202211289904 A CN 202211289904A CN 115376091 A CN115376091 A CN 115376091A
Authority
CN
China
Prior art keywords
lane line
segmentation
lane
network
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211289904.1A
Other languages
English (en)
Inventor
刘寒松
王永
王国强
刘瑞
焦安健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211289904.1A priority Critical patent/CN115376091A/zh
Publication of CN115376091A publication Critical patent/CN115376091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车道线检测技术领域，涉及一种利用图像分割辅助的车道线检测方法，先对图像进行采集，利用分割标注工具标注出的车道线用于车道线分割，再设计车道特征提取网络，在车道线特征提取网络后面加入两个分支，一个分支为车道线分割网络，一个分支为车道线检测网络，其中分割分支是为了辅助车道线的检测，只参与训练过程，不参与推理过程；然后设计能量损失进行车道线分割和检测的联合训练，保存训练结果最好的模型，并用该模型的检测分支用于测试车道线检测，整个过程提升了车道线检测的精度和速度。

Description

一种利用图像分割辅助的车道线检测方法
技术领域
本发明属于车道线检测技术领域，涉及一种利用图像分割辅助的车道线检测方法。
背景技术
车道线检测是无人驾驶技术中最重要的感知模块，在无人驾驶车辆行驶过程中起着重要作用，目前，在车道线检测过程中存在各式各样的难题，其中主要的难点有：
（1）检测的车道线形状存在不确定性，存在差异，导致训练回归的目标不唯一；
（2）检测到的车道线偏移量不准确，导致在上下采样处理的过程中存在偏差；
（3）由于车辆遮挡、车道线不连续，各种不同的光照条件等情况导致车道较难检测；
现有的车道线检测算法主要有传统的基于图像处理的检测算法和基于深度学***移不变性、可扩展等特点，在图像分类、目标检测等领域取得了优秀的成绩，但是现有的基于卷积神经网络的方法，或速度不能满足要求，或精度偏低，速度和精度不能同时满足实际需求，因此，亟需一种能够同时保证速度和精度的车道线检测方法。
发明内容
本发明的目的在于克服现有技术存在的缺点，设计提供一种利用图像分割辅助的车道线检测方法，在满足检测速度的同时提高检测精度。
为实现上述目的，本发明具体包括如下步骤：
（1）采集含有车道线的图像并进行标注：
利用车载摄像头收集20000张含有各种车道线的图像，将图像缩放到分辨率为512×256像素，并利用分割标注工具将车道线分割出来；
（2）车道特征提取：
将步骤（1）得到的图像输入主干网络进行特征提取，然后将提取的特征输入PAN网络进行特征融合，主干网络和PAN（Pixel Aggregation Network）网络构成车道特征提取网络，选取PAN最右上侧的车道线特征（用符号E表示）用于后续的车道线分割与检测；
（3）车道线分割：
将步骤（2）PAN最右上侧的车道线特征输入车道线分割网络进行分割得到分割结果；
（4）车道线检测：
将步骤（2）PAN最右上侧的车道线特征输入车道线检测网络进行车道线检测，得到车道线检测结果；
（5）训练车道线分割和检测网络：
利用步骤（1）中图像分割工具标注的图像构建数据集，将数据集按8：1：1的数量比 划分为训练集、验证集和测试集，车道线分割网络的能量函数采用二值交叉熵损失，用
Figure 593084DEST_PATH_IMAGE001
表示，车道线的先验特征回归能量损失采用Smooth L1损失，用
Figure 945568DEST_PATH_IMAGE002
表示，总的能量损失为
Figure 888116DEST_PATH_IMAGE003
，其中
Figure 607941DEST_PATH_IMAGE004
和
Figure 622034DEST_PATH_IMAGE005
为权重参数，训练500个迭代后终止，保 存参数模型；
（6）测试车道线检测网络：
将测试集的图像缩放到512×256×3，输入步骤（5）训练好的车道线检测网络中，得到车道线检测结果。
作为本发明的进一步技术方案， 步骤（1）所述车道线分割采用语义分割，车道线像素标注为1，背景标注为0。
作为本发明的进一步技术方案，步骤（2）所述主干网络选用ResNet50网络。
作为本发明的进一步技术方案，步骤（3）所述车道线分割网络采用语义分割策略将车道线分为前景车道线和背景区域，车道线分割网络由卷积层、BN（批量标准化）和RELU层构成。
作为本发明的进一步技术方案，步骤（4）的具体过程为：步骤（2）PAN最右上侧的车道线特征经过一个卷积层进行卷积操作后，再进行拉平操作得到一维特征的向量，最后输出为车道线的检测结果，车道线采用先验特征回归方法得到，车道线的先验特征包含两个方面的信息，一个是车道线的长度信息，长度信息通过在纵轴上均匀采样得到，在纵轴上采样32个采样点（把原始图像平均分为64×32个块，每个块的大小为8×8个像素），另外一个是车道线的起始点坐标和与水平线的夹角，为使先验特征能学习，初始化时假定车道线为左侧、中左、中右和右侧四条，四条车道线的起点分别为（1,1）、（170,1）、（340,1）和（512,1），初始夹角为45度、60度、120度和135度，车道线的先验特征共有64个，每个先验特征的维度为44个，其中32个维度为每个分块中心点的横坐标，8个维度为对应的车道线起点，4个维度为车道线与横坐标的夹角。
与现有技术相比，本发明先对图像进行采集，利用分割标注工具标注出的车道线用于车道线分割，再设计车道特征提取网络，在车道线特征提取网络后面加入两个分支，一个分支为车道线分割网络，一个分支为车道线检测网络，其中分割分支是为了辅助车道线的检测，只参与训练过程，不参与推理过程；然后设计能量损失进行车道线分割和检测的联合训练，保存训练结果最好的模型，并用该模型的检测分支用于测试车道线检测，整个过程提升了车道线检测的精度和速度。
附图说明
图1为本发明进行车道线检测的整体网络结构图。
图2为本发明进行车道线检测的流程图。
图3为车道线初始点和初始角度示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例1：
本实施例采用如图1所示车道线检测网络结构图实现车道线检测，具体过程为：
（1）采集含有车道线的图像并进行标注：
利用车载摄像头收集20000张含有各种车道线的图像，把图像缩放到分辨率为512×256像素，利用分割标注工具把车道线分割出来，其中分割时采用语义分割，即车道线像素标注为1，背景标注为0；
（2）设计车道线特征提取网络并提取车道线特征：
为了平衡车道线检测的速度和精度问题，本实施例选用ResNet50作为主干网络，由于车道线由近及远特征相当于是由细到粗，因此在ResNet50的基础上，再利用 PAN（Pixel Aggregation Network）进行特征融合，在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去，称之为“双塔战术”，车道线特征提取网络结构图如说明书附图1中ResNet和PAN所示，选取PAN最右上侧特征（用符号E表示）用于后续的车道线分割与检测，因为此特征从上到下，从下到上融合了不同特征的信息，包含了车道线不同尺度、不同层次的特征，更利于后续车道线的检测和分割，为了辅助车道线的检测，在车道线特征提取网络后面加入两个分支，一个分支为车道线分割网络，一个分支为车道线检测网络；因为采用了PAN网络，使得图像的深层特征和浅层特征充分融合，提升了精度；
（3）设计车道线分割网络并进行车道线分割：
车道线分割网络采用语义分割策略，即利用提取的车道线特征把车道线分为前景车道线和背景区域，在步骤（2）中提取的特征E后面加入卷积层，后面紧跟着BN（批量标准化）和RELU层，最后输出为车道线分割结果，该车道线分割网络是为了辅助步骤（4）车道线的检测，只参与训练过程，不参与推理过程；
（4）设计车道线检测网络并进行车道线检测：
将步骤（2）中的特征E作为输入，后续跟着一个卷积层，卷积后得到的特征图进行拉平操作，使之变成一个一维特征的向量，最后输出为车道线的检测结果，车道线采用先验特征回归方法得到，车道线的先验特征包含两个方面的信息，一个是车道线的长度信息，长度信息通过在纵轴上均匀采样得到，在纵轴上采样32个采样点（把原始图像平均分为64×32个块，每个块的大小为8×8个像素），另外一个是车道线的起始点坐标和与水平线的夹角，为使先验特征能学习，初始化时假定车道线为左侧、中左、中右和右侧四条，四条车道线的起点分别为（1,1）、（170,1）、（340,1）和（512,1），初始夹角为45度、60度、120度和135度，车道线初始点和初始角度示意图如图3所示，车道线的高度根据实验测试设定为图像的2/3处，车道线的先验特征共有64个，每个先验特征的维度为44个，其中32个维度为每个分块中心点的横坐标，8个维度为对应的车道线起点，4个维度为车道线与横坐标的夹角；
（5）训练车道线分割和检测网络：
利用步骤（1）中图像分割工具标注的图像构建数据集，数据集按照8：1：1的数量比 例划分为训练集、验证集和测试集，车道线分割分支的能量函数采用二值交叉熵损失，用
Figure 563445DEST_PATH_IMAGE001
表示，车道线的先验特征回归能量损失采用Smooth L1损失，用
Figure 519637DEST_PATH_IMAGE002
表示，总的能量损 失为
Figure 444868DEST_PATH_IMAGE003
，其中
Figure 669176DEST_PATH_IMAGE004
和
Figure 792990DEST_PATH_IMAGE005
为权重参数，通过实验发现，分别取 值为0.3和0.7的时候能够取得好的效果，因此在训练过程中
Figure 77341DEST_PATH_IMAGE006
，
Figure 302917DEST_PATH_IMAGE005
=0.7；训练 500个迭代终止，保存参数模型，得到训练好的网络；
（6）测试车道线检测网络：
将测试集的图像缩放到512×256×3，送入步骤（6）训练好的网络，得到车道线检测结果，在测试过程中，车道线分割分支不再起作用，即不参与推理，节省了推理时间。
实施例2：
本实施例采用实施例1的方法对公开的CULane车道线检测数据集进行测试，在ResNet50的主干网络下，达到了81.1%的精度，好于现有的车道线算法，另外，在ResNet50的主干网络下，达到了90帧每秒的检测速度；在ResNet18的主干网络下，达到了79.2%的精度，另外，在ResNet18的主干网络下，达到了125帧每秒的检测速度，在精度和速度方面达到了很好的平衡。
本文中未详细说明的网络结构、函数、算法均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种利用图像分割辅助的车道线检测方法，其特征在于，具体过程为：
（1）采集含有车道线的图像并进行标注：
利用车载摄像头收集20000张含有各种车道线的图像，将图像缩放到分辨率为512×256像素，并利用分割标注工具将车道线分割出来；
（2）车道特征提取：
将步骤（1）得到的图像输入主干网络进行特征提取，然后将提取的特征输入PAN网络进行特征融合，主干网络和PAN网络构成车道特征提取网络，选取PAN最右上侧的车道线特征用于后续的车道线分割与检测；
（3）车道线分割：
将步骤（2）PAN最右上侧的车道线特征输入车道线分割网络进行分割得到分割结果；
（4）车道线检测：
将步骤（2）PAN最右上侧的车道线特征输入车道线检测网络进行车道线检测，得到车道线检测结果；
（5）训练车道线分割和检测网络：
利用步骤（1）中图像分割工具标注的图像构建数据集，将数据集按8：1：1的数量比划分 为训练集、验证集和测试集，车道线分割网络的能量函数采用二值交叉熵损失，用
Figure 355940DEST_PATH_IMAGE001
表 示，车道线的先验特征回归能量损失采用Smooth L1损失，用
Figure 537523DEST_PATH_IMAGE002
表示，总的能量损失为
Figure 992775DEST_PATH_IMAGE003
，其中
Figure 236805DEST_PATH_IMAGE004
和
Figure 271758DEST_PATH_IMAGE005
为权重参数，训练500个迭代后终止，保 存参数模型；
（6）测试车道线检测网络：
将测试集的图像缩放到512×256×3，输入步骤（5）训练好的车道线检测网络中，得到车道线检测结果。
2.根据权利要求1所述利用图像分割辅助的车道线检测方法，其特征在于， 步骤（1）所述车道线分割采用语义分割，车道线像素标注为1，背景标注为0。
3.根据权利要求2所述利用图像分割辅助的车道线检测方法，其特征在于，步骤（2）所述主干网络选用ResNet50网络。
4.根据权利要求3所述利用图像分割辅助的车道线检测方法，其特征在于，步骤（3）所述车道线分割网络采用语义分割策略将车道线分为前景车道线和背景区域，车道线分割网络由卷积层、批量标准化和RELU层构成。
5.根据权利要求4所述利用图像分割辅助的车道线检测方法，其特征在于，步骤（4）的具体过程为：步骤（2）PAN最右上侧的车道线特征经过一个卷积层进行卷积操作后，再进行拉平操作得到一维特征的向量，最后输出为车道线的检测结果，车道线采用先验特征回归方法得到，车道线的先验特征包含两个方面的信息，一个是车道线的长度信息，长度信息通过在纵轴上均匀采样得到，在纵轴上采样32个采样点，即将原始图像平均分为64×32个块，每个块的大小为8×8个像素，另外一个是车道线的起始点坐标和与水平线的夹角，为使先验特征能学习，初始化时假定车道线为左侧、中左、中右和右侧四条，四条车道线的起点分别为（1,1）、（170,1）、（340,1）和（512,1），初始夹角为45度、60度、120度和135度，车道线的先验特征共有64个，每个先验特征的维度为44个，其中32个维度为每个分块中心点的横坐标，8个维度为对应的车道线起点，4个维度为车道线与横坐标的夹角。
CN202211289904.1A 2022-10-21 2022-10-21 一种利用图像分割辅助的车道线检测方法 Pending CN115376091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289904.1A CN115376091A (zh) 2022-10-21 2022-10-21 一种利用图像分割辅助的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289904.1A CN115376091A (zh) 2022-10-21 2022-10-21 一种利用图像分割辅助的车道线检测方法

Publications (1)

Publication Number Publication Date
CN115376091A true CN115376091A (zh) 2022-11-22

Family

ID=84074116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289904.1A Pending CN115376091A (zh) 2022-10-21 2022-10-21 一种利用图像分割辅助的车道线检测方法

Country Status (1)

Country Link
CN (1) CN115376091A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN113011338A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种车道线检测方法及***
CN113111707A (zh) * 2021-03-07 2021-07-13 上海赛可出行科技服务有限公司 一种基于卷积神经网络的前车检测与测距方法
CN113313047A (zh) * 2021-06-11 2021-08-27 中国科学技术大学 一种基于车道结构先验的车道线检测方法及***
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
CN114283395A (zh) * 2022-01-07 2022-04-05 北京三快在线科技有限公司 车道线检测的方法、装置、设备及计算机可读存储介质
CN114463721A (zh) * 2022-01-30 2022-05-10 哈尔滨理工大学 一种基于空间特征交互的车道线检测方法
CN114581887A (zh) * 2022-03-07 2022-06-03 上海人工智能创新中心 车道线的检测方法、装置、设备和计算机可读存储介质
CN114782915A (zh) * 2022-04-11 2022-07-22 哈尔滨工业大学 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487862A (zh) * 2020-10-28 2021-03-12 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN113111707A (zh) * 2021-03-07 2021-07-13 上海赛可出行科技服务有限公司 一种基于卷积神经网络的前车检测与测距方法
CN113011338A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种车道线检测方法及***
CN113313047A (zh) * 2021-06-11 2021-08-27 中国科学技术大学 一种基于车道结构先验的车道线检测方法及***
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
CN114283395A (zh) * 2022-01-07 2022-04-05 北京三快在线科技有限公司 车道线检测的方法、装置、设备及计算机可读存储介质
CN114463721A (zh) * 2022-01-30 2022-05-10 哈尔滨理工大学 一种基于空间特征交互的车道线检测方法
CN114581887A (zh) * 2022-03-07 2022-06-03 上海人工智能创新中心 车道线的检测方法、装置、设备和计算机可读存储介质
CN114782915A (zh) * 2022-04-11 2022-07-22 哈尔滨工业大学 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵晓丽: "《面向图像分割的智能算法》", 31 August 2021, pages: 56 - 57 *

Similar Documents

Publication Publication Date Title
CN111461134B (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN109635744B (zh) 一种基于深度分割网络的车道线检测方法
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与***
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测***及方法
CN111401384A (zh) 一种变电设备缺陷图像匹配方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN113221740B (zh) 一种农田边界识别方法及***
CN107480585B (zh) 基于dpm算法的目标检测方法
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN112949493A (zh) 一种结合语义分割和注意力机制的车道线检测方法及***
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN113706562A (zh) 图像分割方法、装置、***及细胞分割方法
CN113065404B (zh) 基于等宽文字片段的火车票内容检测方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination