CN108009524B - 一种基于全卷积网络的车道线检测方法 - Google Patents

一种基于全卷积网络的车道线检测方法 Download PDF

Info

Publication number
CN108009524B
CN108009524B CN201711420524.6A CN201711420524A CN108009524B CN 108009524 B CN108009524 B CN 108009524B CN 201711420524 A CN201711420524 A CN 201711420524A CN 108009524 B CN108009524 B CN 108009524B
Authority
CN
China
Prior art keywords
lane line
layer
convolution
loss
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711420524.6A
Other languages
English (en)
Other versions
CN108009524A (zh
Inventor
周巍
臧金聚
张冠文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201711420524.6A priority Critical patent/CN108009524B/zh
Publication of CN108009524A publication Critical patent/CN108009524A/zh
Application granted granted Critical
Publication of CN108009524B publication Critical patent/CN108009524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于全卷积网络的车道线检测方法，涉及交通信息检测领域，本发明对全卷积车道线检测网络的输出特征图进行概率运算，得到输入图片中每块区域出现车道线的概率，并设定预测概率阈值，实现车道线的提取与检测。本发明能够同时实现直线型车道线和弯曲型车道线的检测，使用车道线检测损失函数对全卷积车道线检测网络进行训练，提升车道线的检测效果，卷积神经网络从车道线分类数据集中学习车道线的抽象特征，而不是简单地提取车道线的外部特征；只需存储车道线检测网络模型就能够实现对新输入图像的检测，节省存储空间，适用于车载嵌入设备；采用小型浅层的全卷积车道线检测网络进行检测加速，检测速度较快。

Description

一种基于全卷积网络的车道线检测方法
技术领域
本发明涉及交通信息检测领域，尤其是一种车道线检测方法
背景技术
智能驾驶需要对交通环境、态势进行感知与理解，车辆的交通环境包括周围车辆，车道线以及交通信号灯等，车道线检测对于控制车辆在安全区域内行驶有着极其重要的作用。当车辆发生偏移较大时利用车道线检测能够对驾驶员及时报警，调整汽车行驶方向，避免交通事故发生。
车道线检测技术主要分为三种：基于颜色特征的检测技术，基于纹理特征的检测技术和基于多特征融合的检测技术。颜色特征分为灰度特征和彩色特征，对于灰度特征而言，车道线像素的灰度通常要远大于非车道线像素的灰度。国外研究人员通过选定合适的阈值对车道线像素与非车道线像素进行区分，从而检测出车道线。基于彩色特征的检测技术利用图像中的色彩信息特征检测出道路边界及车道标识，湖南大学汽车车身先进设计制造国家重点实验室的研究人员利用RGB颜色空间以及车道线亮度特性，优先对白色和黄色的像素点进行处理，增加车道线像素的占有率，提高车道线与背景区域之间的对比度，从而检测出车道线。上海交通大学的研究人员利用HSV颜色空间将色彩分为色度、饱和度及亮度，设定车道线的对应阈值并据此对颜色进行归类，将归类结果中占主导地位的对应颜色作为识别结果从而检测出车道线及其所属类型。当数据较大时，基于颜色特征的检测方法常将大量的背景区域检测出来，检测准确度不高。
基于纹理的检测方法则是通过统计区域中像素点的纹理强度和纹理方向，获得满足车道线检测要求的结果，具有抗噪能力较强等特点。Graovac S和Goma A将车道线区域和背景区域的纹理特征和道路结构作为信息源，根据统计信息获取最佳的车道线区域。吉林大学的刘富利用不同频率多方向的Gabor模板对拍摄图像进行变换分析，根据像素点的纹理强度以及方向特征值投票获得道路消失点，并利用从有效投票区域中提取的直线斜率建立通过消失点的道路方程，在非结构道路中划分出道路区域。此外，东南大学自动化学院的研究人员使用多尺度稀疏编码，在大尺度上使用道路局部纹理信息，在中小尺度上使用道路的上下文结构特征进行道路划分，从而更加有效地区分出道路与周边环境的相似纹理。由于受光照等因素的干扰，拍摄图像中的纹理不一定是三维物体表面的真实纹理，这在一定程度上影响了基于纹理特征的检测方法的效果。
基于多特征融合的检测方法通过运用不同特征的特性来提高车道线检测效果。湖南大学的学者王科使用车道线消失点和车道线消失线对道路区域进行分割，并对拍摄图像进行方向随动滤波处理，然后融合道路纹理方向、边界平行度，像素灰度值等多种特征构造出车道线置信函数，采用Hough变换对车道线进行提取。基于多特征融合的检测方法虽然检测效果较好，但是图像处理过程较为复杂，对于运行环境的要求较高，不适用于车载嵌入式设备。
发明内容
为了克服现有技术的不足，本发明提出了一种全卷积网络实现车道线检测的方法，针对嵌入式应用问题，本发明在保证车道线检测效果的前提下，构建小型、浅层的卷积神经网络，实现节省存储空间、加快车道线检测速度目的，车道线全卷积检测网络能够对输入图片中一定大小的区域进行检测，检测区域的大小为检测网络中所有池化层池化核大小的乘积。本发明对全卷积车道线检测网络的输出特征图进行概率运算，得到输入图片中每块区域出现车道线的概率，并设定预测概率阈值，实现车道线的提取与检测。
本发明解决其技术问题所采用的技术方案包括以下步骤：
第一步：构建车道线分类网络
车道线分类网络由三个卷积层、三个池化层和两个全连接层构成，车道线分类网络的输入限制为为n×n像素大小且包含车道线的图片，输出为输入图片中所包含车道线的类别序号，序号0代表背景区域，序号1代表黄色实线，序号2代表黄色虚线，序号3代表白色实线，序号4代表白色虚线，车道线分类网络中每个卷积层之后均连接一个池化层，并且每个卷积层与激活函数相连，第一个全连接层与最后一个池化层相连，并与激活函数相连，即车道线分类网络具体结构按照卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3，全连接层1、全连接层2顺序相连，卷积层1、卷积层2、卷积层3及全连接层均分别与激活函数相连，损失层和准确率层同时与全连接层2相连，损失层与准确率层二者之间不相连，并且，标签信息需要作为底层输入连接到损失层与准确率层，车道线分类网络中池化层的池化方式采用MAX池化方式，MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；
第二步：训练车道线分类网络模型
在车道线分类数据集上对第一步中构建的车道线分类网络进行训练，得到车道线分类网络模型，原始视频序列中的车道线标记信息包括车道线的类别信息及车道线边界点在视频帧中的像素点位置信息，利用车道线的边界点位置信息进行直线拟合，得到车道线两条边线的边界方程，然后依据标记信息在两条边线上选取坐标点形成矩形框，利用矩形框将原始视频序列中对应位置的车道线区域截取出来，截取的车道线区域均保存为n×n大小的图片，与第一步中分类网络的输入图片大小一致，将截取的车道线区域图片制作为lmdb数据库格式的车道线分类数据集，车道线分类数据集包含训练集和测试集，在训练集上对车道线分类网络进行训练，在测试集上对所得模型的效果进行检验，得到车道线分类网络模型；
第三步：将车道线分类网络中的全连接层修改为卷积层，构建全卷积车道线检测网络，并将第二步中得到的车道线分类网络模型转化为初始化检测网络模型，用于初始化全卷积车道线检测网络，车道线分类网络的图片输入像素大小为n×n，结合车道线分类网络结构及表1所示分类网络参数设置；
表1 车道线分类网络结构及参数配置
Figure BDA0001522853500000031
Figure BDA0001522853500000041
将由全连接层1转化而来的转化卷积层1的卷积核的大小设为4×4，由全连接层2转化而来的转化卷积层2的卷积核的大小设为1×1，由全连接层转化得到的卷积层的卷积核个数与原全连接层的输出个数保持一致；
所述车道线分类网络模型转化为初始化检测网络模型的步骤为：
将车道线分类网络模型中全连接层的参数矩阵展开成列向量，然后将该列向量中的元素值依次赋给由全卷积车道线检测网络中对应由全连接层转化而来的转化卷积层参数矩阵展开的列向量中的元素，全卷积车道线检测网络中其余层的参数直接由分类网络模型获得，得到初始化检测网络模型，初始化检测网络模型将作为全卷积车道线检测网络的初始模型，应用于全卷积车道线检测网络的训练过程；
第四步：训练车道线检测网络模型
利用第三步中得到的初始化检测网络模型中的参数对全卷积车道线检测网络中各网络层的参数进行对应赋值，完成检测网络的初始化，并利用车道线检测损失在检测数据集上对全卷积车道线检测网络进行训练，由于车道线检测任务需要识别车道线的类别以及车道线在图像中的位置，检测损失包括分类损失和回归损失，回归损失即位置损失，车道线检测损失定义L如式(1)所示：
L＝αLC+βLR (1)
其中，α代表分类损失在检测损失中的比例系数，β代表回归损失在检测损失中的比例系数，LC为分类损失，LR为回归损失；
分类损失代表预测标签与真实数据之间的损失，分类损失定义如式(2)所示：
Figure BDA0001522853500000042
其中，M代表检测网络输入图片的个数，K代表标签矩阵的通道个数，与车道线含背景区域的类别总数保持一致，H代表网络末端卷积层输出特征图的高度，W代表网络末端卷积层输出特征图的高度，H和W与标签矩阵中每个通道中子矩阵的高度和宽度一致，g(i,k,h,w)代表真实数据标签数组中(i,k,h,w)处的标签值，表示第i张输入图片经过卷积之后的特征图上(h,w)处标签类别为k的概率，标签数组中数值为0或1，“0”代表(h,w)处的标签类别不是k，“1”代表(h,w)处的标签类别是k，当k为0时，代表背景区域，当k为1时，代表黄色实线，当k为2时，代表黄色虚线，当k为3时，代表白色实线，当k为4时，代表白色虚线；p(i,k,h,w)表示第i张输入图片经过卷积之后的特征图上(h,w)处类别k的预测概率，概率值为(0,1]区间之内的小数，检测损失层使用Softmax算法将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(3)所示：
Figure BDA0001522853500000051
其中，y(i,c,h,w)＝y'(i,c,h,w)-max(y'(i,k,h,w)),k∈{0,1,2,3,4}，y'(i,c,h,w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y'(i,k,h,w))代表第i张特征图(h,w)位置上五个通道之中像素点的最大值，k为对特征图通道进行遍历时的通道序号，由于每张特征图包含5个通道，因此k在{0,1,2,3,4}中取值；
回归损失代表检测网络预测的车道线位置与标签数据中车道线位置之间损失，利用式(3)中的预测概率能够判断特征图中车道线的位置，然后通过与标签数据中的车道线位置进行比较计算回归损失，所述比较的详细步骤为：
选定特征图中的某一行，将此行中预测出现车道线的列位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的列位置存在向量L即标签位置向量中，所述列位置即横坐标，然后求解P和L之间的L2损失，即可得到特征图中某一行的回归损失，输出的回归损失可由特征图上所有行的回归损失求和计算平均值获得，计算方式如式(4)所示：
Figure BDA0001522853500000052
其中，D(j(i,k,h)-g'(i,k,h))为预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)作差得到的向量，j(i,k,h)代表第i张图片输出特征图中第h行类别为k的列位置的集合，即预测位置向量，将特征图中每个像素点的预测概率p(i,k,h,w)与预测概率阈值进行比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w)记为0，若t(i,k,h,w)＝1，则将w存入j(i,k,h)中，t(i,k,h,w)的定义如式(5)所示：
Figure BDA0001522853500000061
其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道线类别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道线类别k，t(i,k,h,w)为“0”时代表(h,w)处不属于车道线类别k，k为0时代表背景区域，g'(i,k,h)是标签位置向量，获取过程与j(i,k,h)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据g(i,k,h,w)进行0和1的判别，如果g(i,k,h,w)值为1，则将w保存到g'(i,k,h)中，如果g(i,k,h,w)值为0，则对w不予保存；
||D(j(i,k,h)-g'(i,k,h))||2代表预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)之间的L2损失，即向量D(j(i,k,h)-g'(i,k,h))模的平方，||D(j(i,k,h)-g'(i,k,h))||2的计算分为以下四种情况，所述元素为车道线的信息：
●j(i,k,h)中没有元素，g'(i,k,h)中没有元素：说明预测位置向量与标签位置向量都没有车道线出现，则||D(j(i,k,h)-g'(i,k,h))||2＝0；
●j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000062
●j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000063
●j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000064
式(6)至式(8)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(8)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分置为0；
本发明根据反向传播(Back Propagation，BP)算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络更新，网络更新梯度计算方式如式(9)所示：
Figure BDA0001522853500000071
更新梯度中分类损失的导数计算方式如式(10)所示：
Figure BDA0001522853500000072
Figure BDA0001522853500000073
C代表网络末端卷积层输出特征图的总通道数，c代表网络末端卷积层输出特征图的通道序号；
根据||D(j(i,k,h)-g'(i,k,h))||2的定义形式，回归损失导数计算如下：
●j(i,k,h)中没有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000074
●j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000075
●j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000076
●j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000077
式(12)至式(15)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(15)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量中g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分的导数置为0；
将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，并将分类损失的比例系数、回归损失的比例系数及预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递(BackPropagation，BP)算法对全卷积车道线检测网络进行训练，得到车道线检测网络模型，利用所得车道线检测网络模型实现对车道线的检测。
本发明的有益效果是能够同时实现直线型车道线和弯曲型车道线的检测，使用车道线检测损失函数对全卷积车道线检测网络进行训练，提升车道线的检测效果。并且与传统的车道线检测方法相比，直接将原始拍摄图像作为输入，省去复杂的图像预处理过程；卷积神经网络从车道线分类数据集中学习车道线的抽象特征，而不是简单地提取车道线的外部特征；只需存储车道线检测网络模型就能够实现对新输入图像的检测，节省存储空间，适用于车载嵌入设备；采用小型浅层的全卷积车道线检测网络进行检测加速，检测速度较快。
附图说明
图1是本发明车道线分类网络结构示意图。
图2是本发明全卷积车道线检测网络结构示意图。
图3是本发明整体流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明实例按照图3中流程进行实施，首先进行车道线分类网络的搭建，并在分类数据集上对车道线分类网络进行训练，得到车道线分类网络模型。然后本发明将该模型转化为初始化检测网络模型对全卷积车道线检测网络进行初始化，并利用定义的车道线检测损失在检测数据集上对全卷积车道线检测网络进行训练，得到车道线检测网络模型。本发明实例以Caffe框架作为实验平台，在Caffe框架中搭建车道线分类网络，并在车道线分类数据集上对车道线分类网络进行训练，得到车道线分类网络模型。本发明实例将车道线分类网络中的全连接层修改为卷积层，构建适用于全卷积车道线检测网络，并根据车道线检测损失的定义在Caffe框架中实现检测损失层。通过设置检测损失层的参数，在检测数据集上对全卷积车道线检测网络进行训练，得到车道线检测网络模型。
第一步：构建车道线分类网络
车道线分类网络由三个卷积层、三个池化层和两个全连接层构成，车道线分类网络的输入限制为为n×n像素大小且包含车道线的图片，输出为输入图片中所包含车道线的类别序号，序号0代表背景区域，序号1代表黄色实线，序号2代表黄色虚线，序号3代表白色实线，序号4代表白色虚线，车道线分类网络中每个卷积层之后均连接一个池化层，并且每个卷积层与激活函数相连，第一个全连接层与最后一个池化层相连，并与激活函数相连，即车道线分类网络具体结构按照卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3，全连接层1、全连接层2顺序相连，卷积层1、卷积层2、卷积层3及全连接层均分别与激活函数相连，损失层和准确率层同时与全连接层2相连，损失层与准确率层二者之间不相连，并且，标签信息需要作为底层输入连接到损失层与准确率层，车道线分类网络中池化层的池化方式采用MAX池化方式，MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；
第二步：训练车道线分类网络模型
在车道线分类数据集上对第一步中构建的车道线分类网络进行训练，得到车道线分类网络模型，原始视频序列中的车道线标记信息包括车道线的类别信息及车道线边界点在视频帧中的像素点位置信息，利用车道线的边界点位置信息进行直线拟合，得到车道线两条边线的边界方程，然后依据标记信息在两条边线上选取坐标点形成矩形框，利用矩形框将原始视频序列中对应位置的车道线区域截取出来，截取的车道线区域均保存为n×n大小的图片，与第一步中分类网络的输入图片大小一致，将截取的车道线区域图片制作为lmdb数据库格式的车道线分类数据集，车道线分类数据集包含训练集和测试集，在训练集上对车道线分类网络进行训练，在测试集上对所得模型的效果进行检验，得到车道线分类网络模型；
第三步：将车道线分类网络中的全连接层修改为卷积层，构建全卷积车道线检测网络，并将第二步中得到的车道线分类网络模型转化为初始化检测网络模型，用于初始化全卷积车道线检测网络，车道线分类网络的图片输入像素大小为n×n，结合车道线分类网络结构及表1所示分类网络参数设置；
表1 车道线分类网络结构及参数配置
网络层 卷积核个数 卷积核大小 步长 补零
卷积层1 32 5×5 1 2
激活函数1 32 -- -- --
池化层1 32 2×2 2 0
卷积层2 32 5×5 1 2
激活函数2 32 -- -- --
池化层2 32 2×2 2 0
卷积层3 64 3×3 1 1
激活函数3 64 -- -- -
池化层3 64 2×2 2 0
全连接层1 64 -- -- --
激活函数4 -- -- -- --
全连接层2 5 -- -- --
损失层 -- -- -- --
准确率层 -- -- -- --
将由全连接层1转化而来的转化卷积层1的卷积核的大小设为4×4，由全连接层2转化而来的转化卷积层2的卷积核的大小设为1×1，由全连接层转化得到的卷积层的卷积核个数与原全连接层的输出个数保持一致；
所述车道线分类网络模型转化为初始化检测网络模型的步骤为：
将车道线分类网络模型中全连接层的参数矩阵展开成列向量，然后将该列向量中的元素值依次赋给由全卷积车道线检测网络中对应由全连接层转化而来的转化卷积层参数矩阵展开的列向量中的元素，全卷积车道线检测网络中其余层的参数直接由分类网络模型获得，得到初始化检测网络模型，初始化检测网络模型将作为全卷积车道线检测网络的初始模型，应用于全卷积车道线检测网络的训练过程；
第四步：训练车道线检测网络模型
利用第三步中得到的初始化检测网络模型中的参数对全卷积车道线检测网络中各网络层的参数进行对应赋值，完成检测网络的初始化，并利用车道线检测损失在检测数据集上对全卷积车道线检测网络进行训练，由于车道线检测任务需要识别车道线的类别以及车道线在图像中的位置，检测损失包括分类损失和回归损失，回归损失即位置损失，车道线检测损失定义L如式(1)所示：
L＝αLC+βLR (1)
其中，α代表分类损失在检测损失中的比例系数，β代表回归损失在检测损失中的比例系数，LC为分类损失，LR为回归损失；
分类损失代表预测标签与真实数据之间的损失，分类损失定义如式(2)所示：
Figure BDA0001522853500000111
其中，M代表检测网络输入图片的个数，K代表标签矩阵的通道个数，与车道线含背景区域的类别总数保持一致，H代表网络末端卷积层输出特征图的高度，W代表网络末端卷积层输出特征图的高度，H和W与标签矩阵中每个通道中子矩阵的高度和宽度一致，g(i,k,h,w)代表真实数据标签数组中(i,k,h,w)处的标签值，表示第i张输入图片经过卷积之后的特征图上(h,w)处标签类别为k的概率，标签数组中数值为0或1，“0”代表(h,w)处的标签类别不是k，“1”代表(h,w)处的标签类别是k，当k为0时，代表背景区域，当k为1时，代表黄色实线，当k为2时，代表黄色虚线，当k为3时，代表白色实线，当k为4时，代表白色虚线；p(i,k,h,w)表示第i张输入图片经过卷积之后的特征图上(h,w)处类别k的预测概率，概率值为(0,1]区间之内的小数，检测损失层使用Softmax算法将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(3)所示：
Figure BDA0001522853500000112
其中，y(i,c,h,w)＝y'(i,c,h,w)-max(y'(i,k,h,w)),k∈{0,1,2,3,4}，y'(i,c,h,w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y'(i,k,h,w))代表第i张特征图(h,w)位置上五个通道之中像素点的最大值，k为对特征图通道进行遍历时的通道序号，由于每张特征图包含5个通道，因此k在{0,1,2,3,4}中取值；
回归损失代表检测网络预测的车道线位置与标签数据中车道线位置之间损失，利用式(3)中的预测概率能够判断特征图中车道线的位置，然后通过与标签数据中的车道线位置进行比较计算回归损失，所述比较的详细步骤为：
选定特征图中的某一行，将此行中预测出现车道线的列位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的列位置存在向量L即标签位置向量中，所述列位置即横坐标，然后求解P和L之间的L2损失，即可得到特征图中某一行的回归损失，输出的回归损失可由特征图上所有行的回归损失求和计算平均值获得，计算方式如式(4)所示：
Figure BDA0001522853500000121
其中，D(j(i,k,h)-g'(i,k,h))为预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)作差得到的向量，j(i,k,h)代表第i张图片输出特征图中第h行类别为k的列位置的集合，即预测位置向量，将特征图中每个像素点的预测概率p(i,k,h,w)与预测概率阈值进行比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w)记为0，若t(i,k,h,w)＝1，则将w存入j(i,k,h)中，t(i,k,h,w)的定义如式(5)所示：
Figure BDA0001522853500000122
其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道线类别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道线类别k，t(i,k,h,w)为“0”时代表(h,w)处不属于车道线类别k，k为0时代表背景区域，g'(i,k,h)是标签位置向量，获取过程与j(i,k,h)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据g(i,k,h,w)进行0和1的判别，如果g(i,k,h,w)值为1，则将w保存到g'(i,k,h)中，如果g(i,k,h,w)值为0，则对w不予保存；
||D(j(i,k,h)-g'(i,k,h))||2代表预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)之间的L2损失，||D(j(i,k,h)-g'(i,k,h))||2的计算分为以下四种情况，所述元素为车道线的信息：
●j(i,k,h)中没有元素，g'(i,k,h)中没有元素：说明预测位置向量与标签位置向量都没有车道线出现，则||D(j(i,k,h)-g'(i,k,h))||2＝0；
●j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000131
●j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000132
●j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000133
式(6)至式(8)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(8)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分置为0；
本发明根据反向传播(Back Propagation，BP)算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络更新，网络更新梯度计算方式如式(9)所示：
Figure BDA0001522853500000134
更新梯度中分类损失的导数计算方式如式(10)所示：
Figure BDA0001522853500000141
Figure BDA0001522853500000142
C代表网络末端卷积层输出特征图的总通道数，c代表网络末端卷积层输出特征图的通道序号；
根据||D(j(i,k,h)-g'(i,k,h))||2的定义形式，回归损失导数计算如下：
●j(i,k,h)中没有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000143
●j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000144
●j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure BDA0001522853500000145
●j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure BDA0001522853500000146
式(12)至式(15)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(15)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量中g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分的导数置为0；
将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，并将分类损失的比例系数、回归损失的比例系数及预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递(BackPropagation，BP)算法对全卷积车道线检测网络进行训练，得到车道线检测网络模型，利用所得车道线检测网络模型实现对车道线的检测。
本发明实例包括以下步骤：
第一步：构建车道线分类网络。在Caffe框架中进行车道线分类网络的搭建，车道线分类网络结构如图1所示，车道线分类网络中各网络层参数的设置如表1所示。
第二步：训练车道线分类网络模型。本发明实例在车道线分类数据集上对车道线分类网络进行训练，训练集与测试集图片大小采用32×32像素大小的图片。训练集与测试集中图片数量之比为5：1。本实施例采用如下策略对车道线分类网络进行训练，训练网络每次输入1000张图片，将整个训练集输入训练完毕之后在测试集上进行一次测试，训练的初始学习率设为0.001，每训练200个epoch就将学习率乘以0.1进行降低，本实施例对网络训练1000个epoch得到车道线分类网络模型；所得车道线分类网络模型对于背景区域及每类车道线的分类准确率均在92％以上，分类准确率较高，效果较好。
第三步：将车道线分类网络中的全连接层修改为卷积层，构造全卷积车道线检测网络模型，并将第二步中得到的分类网络模型转化为初始化检测网络模型，全卷积车道线检测网络结构如图2所示，各层参数设置如表2所示。
表2全卷积车道线检测网络结构及参数配置
Figure BDA0001522853500000151
Figure BDA0001522853500000161
第四步：训练车道线检测网络模型。本实施例在Caffe中编写车道线检测损失层，并将检测损失层中分类损失的比例系数设为0.5，回归损失的系数设为0.5，预测概率阈值设为0.8，利用由车道线分类网络模型转化得到的初始化检测网络模型对检测网络进行参数初始化。在检测数据集上对全卷积车道线检测网络训练，训练的初始学习率设为0.00001，并在整个训练过程中保持不变。每次输入10张图片对网络进行训练，共训练100个epoch得到车道线检测网络模型，利用所得车道线检测网络模型实现对车道线的检测。
由车道线分类网络模型转化得到的初始化检测网络模型的检测效果中存在大量的杂点(将背景区域检测为车道线区域的点)，这些杂点对下一步进行车道线的拟合造成极大的干扰。训练得到的全卷积检测网络模型的检测效果相比于初始化检测网络模型，车道线检测网络模型对于车道线内部区域的检测能力有所减弱，但仍能检测出车道线的边界区域点。尤为重要的是，车道线检测网络模型去除了大量的杂点，降低了下一步车道线拟合的复杂度。通过对比初始化检测网络模型和车道线检测网络模型的检测效果，本发明中定义的检测损失函数中的回归损失部分可以对车道线的检测位置做出修正，提高车道线的检测效果。
本发明采用二次曲线模型对提取出的车道线区域点进行车道线拟合，车道线检测网络模型对于路况良好的车道线检测效果较好，对于路况较差、存在磨损、反光及车辆等物体遮挡的车道线检测效果不理想。由于同种颜色的实线与虚线之间特征相接近，深度学习技术无法对其进行精确识别，车道线检测网络模型会出现同种颜色的实线与虚线之间误判的情况。
车道线检测网络模型检测大小为1024×1280的图片，平均耗时为54.57ms(对新输入图片进行检测只执行网络的正向传播过程)，速度可达18FPS，检测速度较快。并且，车道线检测网络模型大小仅为440kb，所占存储空间较小，适用于车载嵌入式设备。
总之，车道线检测网络模型能够实现车道线检测任务，所占存储空间较小，并且检测速度较快，符合应用的实时性，达到发明目的。

Claims (1)

1.一种基于全卷积网络的车道线检测方法，其特征在于包括下述步骤：
第一步：构建车道线分类网络
车道线分类网络由三个卷积层、三个池化层和两个全连接层构成，车道线分类网络的输入限制为为n×n像素大小且包含车道线的图片，输出为输入图片中所包含车道线的类别序号，序号0代表背景区域，序号1代表黄色实线，序号2代表黄色虚线，序号3代表白色实线，序号4代表白色虚线，车道线分类网络中每个卷积层之后均连接一个池化层，并且每个卷积层与激活函数相连，第一个全连接层与最后一个池化层相连，并与激活函数相连，即车道线分类网络具体结构按照卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3，全连接层1、全连接层2顺序相连，卷积层1、卷积层2、卷积层3及全连接层均分别与激活函数相连，损失层和准确率层同时与全连接层2相连，损失层与准确率层二者之间不相连，并且，标签信息需要作为底层输入连接到损失层与准确率层，车道线分类网络中池化层的池化方式采用MAX池化方式，MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；
第二步：训练车道线分类网络模型
在车道线分类数据集上对第一步中构建的车道线分类网络进行训练，得到车道线分类网络模型，原始视频序列中的车道线标记信息包括车道线的类别信息及车道线边界点在视频帧中的像素点位置信息，利用车道线的边界点位置信息进行直线拟合，得到车道线两条边线的边界方程，然后依据标记信息在两条边线上选取坐标点形成矩形框，利用矩形框将原始视频序列中对应位置的车道线区域截取出来，截取的车道线区域均保存为n×n大小的图片，与第一步中分类网络的输入图片大小一致，将截取的车道线区域图片制作为lmdb数据库格式的车道线分类数据集，车道线分类数据集包含训练集和测试集，在训练集上对车道线分类网络进行训练，在测试集上对所得模型的效果进行检验，得到车道线分类网络模型；
第三步：将车道线分类网络中的全连接层修改为卷积层，构建全卷积车道线检测网络，并将第二步中得到的车道线分类网络模型转化为初始化检测网络模型，用于初始化全卷积车道线检测网络，车道线分类网络的图片输入像素大小为n×n，结合车道线分类网络结构及表1所示分类网络参数设置；
表1 车道线分类网络结构及参数配置
网络层 卷积核个数 卷积核大小 步长 补零 卷积层1 32 5×5 1 2 激活函数1 32 -- -- -- 池化层1 32 2×2 2 0 卷积层2 32 5×5 1 2 激活函数2 32 -- -- -- 池化层2 32 2×2 2 0 卷积层3 64 3×3 1 1 激活函数3 64 -- -- - 池化层3 64 2×2 2 0 全连接层1 64 -- -- -- 激活函数4 -- -- -- -- 全连接层2 5 -- -- -- 损失层 -- -- -- -- 准确率层 -- -- -- --
将由全连接层1转化而来的转化卷积层1的卷积核的大小设为4×4，由全连接层2转化而来的转化卷积层2的卷积核的大小设为1×1，由全连接层转化得到的卷积层的卷积核个数与原全连接层的输出个数保持一致；
所述车道线分类网络模型转化为初始化检测网络模型的步骤为：
将车道线分类网络模型中全连接层的参数矩阵展开成列向量，然后将该列向量中的元素值依次赋给由全卷积车道线检测网络中对应由全连接层转化而来的转化卷积层参数矩阵展开的列向量中的元素，全卷积车道线检测网络中其余层的参数直接由分类网络模型获得，得到初始化检测网络模型，初始化检测网络模型将作为全卷积车道线检测网络的初始模型，应用于全卷积车道线检测网络的训练过程；
第四步：训练车道线检测网络模型
利用第三步中得到的初始化检测网络模型中的参数对全卷积车道线检测网络中各网络层的参数进行对应赋值，完成检测网络的初始化，并利用车道线检测损失在检测数据集上对全卷积车道线检测网络进行训练，由于车道线检测任务需要识别车道线的类别以及车道线在图像中的位置，检测损失包括分类损失和回归损失，回归损失即位置损失，车道线检测损失定义L如式(1)所示：
L＝αLC+βLR (1)
其中，α代表分类损失在检测损失中的比例系数，β代表回归损失在检测损失中的比例系数，LC为分类损失，LR为回归损失；
分类损失代表预测标签与真实数据之间的损失，分类损失定义如式(2)所示：
Figure FDA0003014681830000031
其中，M代表检测网络输入图片的个数，K代表标签矩阵的通道个数，与车道线含背景区域的类别总数保持一致，H代表网络末端卷积层输出特征图的高度，W代表网络末端卷积层输出特征图的高度，H和W与标签矩阵中每个通道中子矩阵的高度和宽度一致，g(i，k，h,w)代表真实数据标签数组中(i，k，h,w)处的标签值，表示第i张输入图片经过卷积之后的特征图上(h,w)处标签类别为k的概率，标签数组中数值为0或1，“0”代表(h,w)处的标签类别不是k，“1”代表(h,w)处的标签类别是k，当k为0时，代表背景区域，当k为1时，代表黄色实线，当k为2时，代表黄色虚线，当k为3时，代表白色实线，当k为4时，代表白色虚线；p(i，k，h,w)表示第i张输入图片经过卷积之后的特征图上(h,w)处类别k的预测概率，概率值为(0,1]区间之内的小数，检测损失层使用Softmax算法将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(3)所示：
Figure FDA0003014681830000032
其中，y(i，c，h，w)＝y'(i，c，h，w)-max(y'(i，k，h，w)),k∈{0,1,2,3,4}，y'(i，c，h，w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y'(i,k,h,w))代表第i张特征图(h,w)位置上五个通道之中像素点的最大值，k为对特征图通道进行遍历时的通道序号，由于每张特征图包含5个通道，因此k在{0,1,2,3,4}中取值；
回归损失代表检测网络预测的车道线位置与标签数据中车道线位置之间损失，利用式(3)中的预测概率能够判断特征图中车道线的位置，然后通过与标签数据中的车道线位置进行比较计算回归损失，所述比较的详细步骤为：
选定特征图中的某一行，将此行中预测出现车道线的列位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的列位置存在向量L即标签位置向量中，所述列位置即横坐标，然后求解P和L之间的L2损失，即可得到特征图中某一行的回归损失，输出的回归损失可由特征图上所有行的回归损失求和计算平均值获得，计算方式如式(4)所示：
Figure FDA0003014681830000041
其中，D(j(i,k,h)-g'(i,k,h))为预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)作差得到的向量，j(i,k,h)代表第i张图片输出特征图中第h行类别为k的列位置的集合，即预测位置向量，将特征图中每个像素点的预测概率p(i,k,h,w)与预测概率阈值进行比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w)记为0，若t(i,k,h,w)＝1，则将w存入j(i,k,h)中，t(i,k,h,w)的定义如式(5)所示：
Figure FDA0003014681830000042
其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道线类别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道线类别k，t(i,k,h,w)为“0”时代表(h,w)处不属于车道线类别k，k为0时代表背景区域，g'(i,k,h)是标签位置向量，获取过程与j(i,k,h)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据g(i,k,h,w)进行0和1的判别，如果g(i,k,h,w)值为1，则将w保存到g'(i,k,h)中，如果g(i,k,h,w)值为0，则对w不予保存；
||D(j(i,k,h)-g'(i,k,h))||2代表预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)之间的L2损失，即向量D(j(i,k,h)-g'(i,k,h))模的平方，||D(j(i,k,h)-g'(i,k,h))||2的计算分为以下四种情况，所述元素为车道线的信息：
·j(i,k,h)中没有元素，g'(i,k,h)中没有元素：说明预测位置向量与标签位置向量都没有车道线出现，则||D(j(i,k,h)-g'(i,k,h))||2＝0；
·j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure FDA0003014681830000043
·j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure FDA0003014681830000051
·j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure FDA0003014681830000052
式(6)至式(8)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i，k，h)有元素，则w代表标签位置向量g'(i，k，h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(8)中，w”为标签位置向量g'(i，k，h)中的任意元素，w'为标签位置向量g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i，k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分置为0；
根据反向传播算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络更新，网络更新梯度计算方式如式(9)所示：
Figure FDA0003014681830000053
更新梯度中分类损失的导数计算方式如式(10)所示：
Figure FDA0003014681830000054
Figure FDA0003014681830000055
C代表网络末端卷积层输出特征图的总通道数，c代表网络末端卷积层输出特征图的通道序号；
根据||D(j(i,k,h)-g'(i,k,h))||2的定义形式，回归损失导数计算如下：
·j(i,k,h)中没有元素，g'(i,k,h)中没有元素：
Figure FDA0003014681830000056
·j(i,k,h)中没有元素，g'(i,k,h)中有元素：
Figure FDA0003014681830000061
·j(i,k,h)中有元素，g'(i,k,h)中没有元素：
Figure FDA0003014681830000062
·j(i,k,h)中有元素，g'(i,k,h)中有元素：
Figure FDA0003014681830000063
式(12)至式(15)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(15)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量中g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分的导数置为0；
将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，并将分类损失的比例系数、回归损失的比例系数及预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递算法对全卷积车道线检测网络进行训练，得到车道线检测网络模型，利用所得车道线检测网络模型实现对车道线的检测。
CN201711420524.6A 2017-12-25 2017-12-25 一种基于全卷积网络的车道线检测方法 Active CN108009524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711420524.6A CN108009524B (zh) 2017-12-25 2017-12-25 一种基于全卷积网络的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711420524.6A CN108009524B (zh) 2017-12-25 2017-12-25 一种基于全卷积网络的车道线检测方法

Publications (2)

Publication Number Publication Date
CN108009524A CN108009524A (zh) 2018-05-08
CN108009524B true CN108009524B (zh) 2021-07-09

Family

ID=62061049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711420524.6A Active CN108009524B (zh) 2017-12-25 2017-12-25 一种基于全卷积网络的车道线检测方法

Country Status (1)

Country Link
CN (1) CN108009524B (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846328B (zh) * 2018-05-29 2020-10-16 上海交通大学 基于几何正则化约束的车道检测方法
CN108960055B (zh) * 2018-05-30 2021-06-08 广西大学 一种基于局部线段模式特征的车道线检测方法
CN110555877B (zh) * 2018-05-31 2022-05-31 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备、可读介质
CN110378174A (zh) * 2018-08-10 2019-10-25 北京京东尚科信息技术有限公司 道路线提取方法和装置
US10262214B1 (en) * 2018-09-05 2019-04-16 StradVision, Inc. Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
CN110879943B (zh) * 2018-09-05 2022-08-19 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及***
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN109300139B (zh) * 2018-09-30 2021-10-15 百度在线网络技术（北京）有限公司 车道线检测方法和装置
CN109345547B (zh) * 2018-10-19 2021-08-24 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN109472272A (zh) * 2018-11-05 2019-03-15 四川长虹电器股份有限公司 一种基于自编码卷积网络的线条检测方法
CN111209780A (zh) * 2018-11-21 2020-05-29 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及可读存储介质
CN111259705B (zh) * 2018-12-03 2022-06-10 魔门塔(苏州)科技有限公司 一种特殊线型车道线检测方法及***
CN111259704B (zh) * 2018-12-03 2022-06-10 魔门塔(苏州)科技有限公司 一种虚线车道线端点检测模型的训练方法
CN109635744B (zh) * 2018-12-13 2020-04-14 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109740469B (zh) * 2018-12-24 2021-01-22 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111369566B (zh) * 2018-12-25 2023-12-05 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN109631794A (zh) * 2018-12-28 2019-04-16 天津大学 基于卷积神经网络的目标物体弯曲度测量方法
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109871778B (zh) * 2019-01-23 2022-11-15 长安大学 基于迁移学习的车道保持控制方法
CN110020592B (zh) * 2019-02-03 2024-04-09 平安科技（深圳）有限公司 物体检测模型训练方法、装置、计算机设备及存储介质
CN109886176B (zh) * 2019-02-14 2023-02-24 武汉大学 复杂驾驶场景下的车道线检测方法
CN109961013A (zh) * 2019-02-21 2019-07-02 杭州飞步科技有限公司 车道线的识别方法、装置、设备及计算机可读存储介质
CN109934272B (zh) * 2019-03-01 2022-03-29 大连理工大学 一种基于全卷积网络的图像匹配方法
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN109902758B (zh) * 2019-03-11 2022-05-31 重庆邮电大学 基于深度学习的车道区域识别的数据集标定方法
CN111914596B (zh) * 2019-05-09 2024-04-09 北京四维图新科技股份有限公司 车道线检测方法、装置、***及存储介质
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测***及方法
CN110232368B (zh) * 2019-06-20 2021-08-24 百度在线网络技术（北京）有限公司 车道线检测方法、装置、电子设备及存储介质
CN112131914B (zh) * 2019-06-25 2022-10-21 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN110348383B (zh) * 2019-07-11 2020-07-31 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 一种基于卷积神经网络回归的道路中心线和双线提取方法
CN110414386B (zh) * 2019-07-12 2022-01-21 武汉理工大学 基于改进scnn网络的车道线检测方法
CN110363160B (zh) * 2019-07-17 2022-09-23 河南工业大学 一种多车道线识别方法及装置
CN112241670B (zh) * 2019-07-18 2024-03-01 杭州海康威视数字技术股份有限公司 图像处理方法及装置
CN112241669B (zh) * 2019-07-18 2024-06-28 杭州海康威视数字技术股份有限公司 目标识别方法、装置、***及设备、存储介质
CN110487562B (zh) * 2019-08-21 2020-04-14 北京航空航天大学 一种用于无人驾驶的车道保持能力检测***及方法
CN112446230B (zh) * 2019-08-27 2024-04-09 中车株洲电力机车研究所有限公司 车道线图像的识别方法及装置
CN110569384B (zh) * 2019-09-09 2021-02-26 深圳市乐福衡器有限公司 Ai扫描方法
CN111046723B (zh) * 2019-10-17 2023-06-02 安徽清新互联信息科技有限公司 一种基于深度学习的车道线检测方法
CN110920631B (zh) * 2019-11-27 2021-02-12 北京三快在线科技有限公司 控制车辆的方法、装置、电子设备及可读存储介质
CN112926354A (zh) * 2019-12-05 2021-06-08 北京超星未来科技有限公司 一种基于深度学习的车道线检测方法及装置
CN111008600B (zh) * 2019-12-06 2023-04-07 中国科学技术大学 一种车道线检测方法
CN112926365B (zh) * 2019-12-06 2024-07-12 广州汽车集团股份有限公司 一种车道线检测方法及其***
CN111126327B (zh) * 2019-12-30 2023-09-15 中国科学院自动化研究所 车道线检测方法、***、车载***及车辆
CN111259796A (zh) * 2020-01-16 2020-06-09 东华大学 一种基于图像几何特征的车道线检测方法
CN111460984B (zh) * 2020-03-30 2023-05-23 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN111553210B (zh) * 2020-04-16 2024-04-09 雄狮汽车科技(南京)有限公司 车道线检测模型的训练方法、车道线检测方法及装置
US11828620B2 (en) 2020-08-07 2023-11-28 Grabtaxi Holdings Pte. Ltd. Method of predicting road attributes, data processing system and computer executable code
CN112215795B (zh) * 2020-09-02 2024-04-09 苏州超集信息科技有限公司 一种基于深度学习的服务器部件智能检测方法
CN112434591B (zh) * 2020-11-19 2022-06-17 腾讯科技（深圳）有限公司 车道线确定方法、装置
CN112560717B (zh) * 2020-12-21 2023-04-21 青岛科技大学 一种基于深度学习的车道线检测方法
CN112287912B (zh) * 2020-12-25 2021-03-30 浙江大华技术股份有限公司 基于深度学习的车道线检测方法以及装置
CN112758107B (zh) * 2021-02-07 2023-01-03 的卢技术有限公司 一种车辆自动变道方法、控制装置、电子设备及汽车
CN113011338B (zh) * 2021-03-19 2023-08-22 华南理工大学 一种车道线检测方法及***
CN113095164A (zh) * 2021-03-22 2021-07-09 西北工业大学 基于强化学习和标志点表征的车道线检测定位方法
CN113221643B (zh) * 2021-04-06 2023-04-11 中国科学院合肥物质科学研究院 一种采用级联网络的车道线分类方法及***
CN113052135B (zh) * 2021-04-22 2023-03-24 淮阴工学院 一种基于深层神经网络Lane-Ar的车道线检测方法及***
CN113392704B (zh) * 2021-05-12 2022-06-10 重庆大学 一种山地道路边线位置检测方法
CN113239865B (zh) * 2021-05-31 2023-03-10 西安电子科技大学 基于深度学习的车道线检测方法
CN113487542B (zh) * 2021-06-16 2023-08-04 成都唐源电气股份有限公司 一种接触网导线磨耗区域的提取方法
CN113591756B (zh) * 2021-08-06 2024-06-28 南京空天宇航科技有限公司 基于异质信息交互卷积网络的车道线检测方法
CN113822218A (zh) * 2021-09-30 2021-12-21 厦门汇利伟业科技有限公司 车道线检测方法及计算机可读存储介质
CN114463720B (zh) * 2022-01-25 2022-10-21 杭州飞步科技有限公司 一种基于线段交并比损失函数的车道线检测方法
CN114724119B (zh) * 2022-06-09 2022-09-06 天津所托瑞安汽车科技有限公司 车道线提取方法、检测设备及存储介质
CN115082888B (zh) * 2022-08-18 2022-10-25 北京轻舟智航智能技术有限公司 一种车道线检测方法和装置
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608456A (zh) * 2015-12-22 2016-05-25 华中科技大学 一种基于全卷积网络的多方向文本检测方法
CN105631426A (zh) * 2015-12-29 2016-06-01 中国科学院深圳先进技术研究院 对图片进行文本检测的方法及装置
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群***及神经网络视觉导航方法
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
CN107424161A (zh) * 2017-04-25 2017-12-01 南京邮电大学 一种由粗至精的室内场景图像布局估计方法
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608456A (zh) * 2015-12-22 2016-05-25 华中科技大学 一种基于全卷积网络的多方向文本检测方法
CN105631426A (zh) * 2015-12-29 2016-06-01 中国科学院深圳先进技术研究院 对图片进行文本检测的方法及装置
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群***及神经网络视觉导航方法
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
CN107424161A (zh) * 2017-04-25 2017-12-01 南京邮电大学 一种由粗至精的室内场景图像布局估计方法
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Traffic sign detection and recognition using fully convolutional network guided proposals;Yingying Zhu等;《Neurocomputing》;20161231;第758-766页 *
一种实时的城市道路车道线识别方法及实现;曾治等;《电子技术与软件工程》;20151231;第88-90页 *

Also Published As

Publication number Publication date
CN108009524A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009524B (zh) 一种基于全卷积网络的车道线检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109635744B (zh) 一种基于深度分割网络的车道线检测方法
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN106845487B (zh) 一种端到端的车牌识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN108154160B (zh) 车牌颜色识别方法及***
CN106022232A (zh) 基于深度学习的车牌检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN107729801A (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别***
Zhu et al. Automatic recognition of lactating sow postures by refined two-stream RGB-D faster R-CNN
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN110363160B (zh) 一种多车道线识别方法及装置
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN110032952B (zh) 一种基于深度学习的道路边界点检测方法
CN107292933B (zh) 一种基于bp神经网络的车辆颜色识别方法
CN108334881A (zh) 一种基于深度学习的车牌识别方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN111460894B (zh) 一种基于卷积神经网络的车标智能检测方法
CN108664969B (zh) 基于条件随机场的路标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant