CN114429621A - 一种基于ufsa算法改进的车道线智能检测方法 - Google Patents

一种基于ufsa算法改进的车道线智能检测方法 Download PDF

Info

Publication number
CN114429621A
CN114429621A CN202111611111.2A CN202111611111A CN114429621A CN 114429621 A CN114429621 A CN 114429621A CN 202111611111 A CN202111611111 A CN 202111611111A CN 114429621 A CN114429621 A CN 114429621A
Authority
CN
China
Prior art keywords
lane line
ufsa
algorithm
images
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111611111.2A
Other languages
English (en)
Inventor
张茜茜
李君�
于心远
沈国丽
朱明浩
仲星
刘子怡
刘兴鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202111611111.2A priority Critical patent/CN114429621A/zh
Publication of CN114429621A publication Critical patent/CN114429621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于UFSA算法改进的车道线智能检测方法，包括获取车道线图像，并对车道线图像进行预处理，得到车道线数据集；将车道线数据集划分为独立不重复的训练集、验证集和测试集；对训练集和验证集中各车道线图像进行标注和分类；分别对训练集、验证集和测试集中各车道线图像进行特征提取；对UFSA算法所采用的Resnet18网络模型进行改进，利用训练集和验证集对改进后的Resnet18网络模型进行训练和验证，得到训练好的的车道线检测模型；利用训练好的的车道线检测模型对测试集进行检测，得到检测结果。本发明方法实现了准确的定位和车道线检测，有效缓解城市交通负担和交通事故，为自动驾驶辅助，保障驾驶的安全性。

Description

一种基于UFSA算法改进的车道线智能检测方法
技术领域
本发明涉及一种基于UFSA算法改进的车道线智能检测方法，属于车道线检测技术领域。
背景技术
随着城镇化的加快和汽车保有量的增加，城市交通负担日益加重，交通事故频发，人们驾驶车辆的压力倍增。为了有效缓解交通的压力和避免车辆道路事故的增多，并保障驾驶的安全性，近年来在世界范围内针对为驾驶员提供帮助的车辆驾驶辅助***的研发蓬勃展开。这些***通过从车辆载有的传感器获取输入，利用***输出的某种形式的反馈信号指导驾驶员安全驾驶。车道偏离预警和车道保持、车道变换和前向碰撞预警、自适应巡航控制及盲点检测***等都属于驾驶辅助***的范畴。车道标线检测则是组成这些***的核心部分。所以研究车道线检测有重大理论价值和现实意义。
更为精确有效地从图像中检测出车道线是近些年来相关研究人员广泛关注的问题，人们针对车道线检测方法进行了大量研究。目前，对于车道检测有两种主流的方法，即传统的图像检测处理方法和深度分割方法。
传统的图像检测处理方式—深度分割UFSA算法存在许多问题，如：难以获取过于丰富的图像信息，难以捕获长距离的上下文信息，可能会丢失边界信息等。由于车道线检测应用场景对于车道线边界信息极为敏感，不仅需要关注对象的几何形状，更需要关注边缘信息，如颜色、纹理和照明等，因此传统的图像处理方式很难适用于车道线检测这一特殊场景。
发明内容
本发明所要解决的技术问题是：提供一种基于UFSA算法改进的车道线智能检测方法，对UFSA算法进行改进，使得改进后的算法定位和分类更准确，在一定程度上缓解了交通负担和交通事故，保障驾驶的安全性。
本发明为解决上述技术问题采用以下技术方案：
一种基于UFSA算法改进的车道线智能检测方法，所述车道线智能检测方法包括如下步骤：
步骤1，从基准数据集CULane中获取车道线图像，并对车道线图像进行预处理，得到车道线数据集；
步骤2，将车道线数据集划分为独立不重复的训练集、验证集和测试集；
步骤3，对训练集和验证集中各车道线图像进行标注和分类；
步骤4，分别对训练集、验证集和测试集中各车道线图像进行特征提取，获得训练集、验证集和测试集中各车道线图像的特征；
步骤5，对UFSA算法所采用的Resnet18网络模型进行改进，即用L-Dice损失函数替换Softmax损失函数，利用训练集和验证集对改进后的Resnet18网络模型进行训练和验证，得到训练好的的车道线检测模型；
步骤6，利用训练好的的车道线检测模型对测试集进行检测，得到检测结果。
作为本发明的一种优选方案，步骤1所述基准数据集CULane，共包含133235张图像，其中，训练图像88880张，验证图像9675张，测试图像34680张。
作为本发明的一种优选方案，步骤1所述对车道线图像进行预处理，得到车道线数据集，具体为：将车道线图像格式化为设定大小，从而得到车道线数据集。
作为本发明的一种优选方案，所述步骤2中，采用随机抽样法对车道线数据集进行划分。
作为本发明的一种优选方案，所述步骤3中，利用目标检测标注工具对车道线图像进行标注和分类。
作为本发明的一种优选方案，步骤5所述改进后的Resnet18网络模型，其损失函数定义为：
Ltotal＝Lcls+αLstr+β(μLseg+γLL-Dice)
其中，Ltotal表示总体的损失函数，Lcls表示分类损失，Lstr表示结构损失，Lseg和LL-Dice均表示分割损失，α、β、μ和γ均表示损失系数，μ设置为0.7，γ设置为0.3。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明利用基准数据集对改进的Resnet18网络模型进行训练，得到车道线智能检测模型，由此可以对车道线快速定位，比起以往的方法更高效，节省了大量的时间和人工成本。
2、本发明改进的Resnet18网络模型中加入L-Dice损失函数，模型更关注边缘信息，如颜色、纹理和照明等，使得检测和分类更准确。
3、本发明改进的Resnet18网络模型中加入L-Dice损失函数，使得输出不同层的特征图更精确，优化了输出数据，提高定位准确性。
4、本发明方法可以有效地缓解日益加重的城市交通负担和频繁的交通事故，有效地减少了人们驾驶车辆的压力。同时，也保障了驾驶的安全性。
附图说明
图1是本发明一种基于UFSA算法改进的车道线智能检测方法的架构图；
图2是本发明提出的Dice Loss示意图；
图3是UFSA网络结构的简易图；
图4是改进后UFSA网络结构的简易图；
图5是本发明实施例改进前后检测车道线的效果图，其中，(a)为改进前，(b)为改进后。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明公开了一种基于UFSA(Ultra Fast Structure-aware)算法改进的车道线智能检测方法，鉴于原算法在车道线检测时会有丢失边界信息的缺点，该进点主要包括将原始辅助分割分支的Softmax损失函数，改进融合为L-Dice(Lane Dice Loss)损失函数，该函数使得算法更加关注车道边界的信息。通过消融实验验证了上述改进的有效性，且改进无需添加任何计算量。
如图1所示，本发明提出的一种基于UFSA算法改进的车道线智能检测方法，具体包括以下步骤：
步骤1，从基准数据集CULane中获取车道线图像，并对车道线图像进行预处理，得到车道线数据集；
车道线图像提取来源于CULane基准数据集，数据集标注采用中心打点式以json文件储存，一张道路图片的标注为一个元组。CULane数据集用于行车道检测学术研究的大规模挑战性数据集，一共包含133235张图像，分为88880张训练图像，9675张验证图像和34680张测试图像。预处理指的是将车道线图像格式化为设定大小，以得到车道线数据集。
步骤2，将车道线数据集划分为独立不重复的训练集、验证集和测试集；这里可以采用随机抽样法进行划分。
步骤3，对训练集和验证集中各车道线图像进行标注和分类；这里可以采用目标检测标注工具对车道线图像进行标注和分类。
步骤4，分别对训练集、验证集和测试集中各车道线图像进行特征提取，获得训练集、验证集和测试集中各车道线图像的特征。
步骤5，对UFSA算法所采用的Resnet18网络模型进行改进，即将原始辅助分割分支的Softmax损失函数，改进为L-Dice损失函数，利用训练集和验证集对改进后的Resnet18网络模型进行训练和验证，得到训练好的的车道线检测模型；
步骤6，利用训练好的的车道线检测模型对测试集进行检测，得到检测结果。
边界检测的一个直接解决方案是将其视为语义分割问题。在标注中简单地将边界记为1和其他区域记为0，即将其表示为一个二分类语义分割问题，以二值交叉熵为损失函数。然而，交叉熵具有两个局限性：标签分布高度不平衡和边界相邻像素点的交叉熵损失难确定问题。交叉熵损失值只考虑微观意义上的损失，而不是考虑全局。
Dice Loss损失可以很好地解决上述存在的问题，该损失起源于20世纪40年代，是用来测量两个样本之间的相似性，示意图如图2所示。它是由米勒塔里等人应用到计算机视觉中，并在2016年进行三维医学图像分割。其数学表达式为：
Figure BDA0003434915560000051
上式显示的骰子系数方程，其中pi和gi分别表示的是像素预测值和真实值，值为0或1。在车道线检测场景中，表示像素是否为边界，是值为1，不是值为0。分母是预测值和真实值的总边界像素和，分子是正确预测的总边界像素和，只有当pi和gi值(两值为1)匹配时，损失函数才递增。在该发明中，将Dice Loss定义为L-Dice(Lane Dice Loss)，并将此时的分割损失定义为LL-Dice。
原始损失函数的定义是为：
Ltotal＝Lcls+αLstr+βLseg
Lseg对应于分割损失，Lstr对应结构损失，Lcls对应分类损失，α和β是为损失系数。
那么，总体的损失函数重新定义为：
Ltotal＝Lcls+αLstr+β(μLseg+γLL-Dice)
其中，分割损失Lseg的系数μ设置为0.7，分割损失LL-Dice的系数γ设置为0.3。
图3和图4分别为传统的UFSA网络结构和改进后UFSA网络结构。
针对车道线检测选用香港中文大学发布的CULane数据集进行相关实验和研究，大部分车道线明显且清晰，车道线弯曲程度小。
如表1所示，对CULane基准数据集详细地介绍。
表1数据集描述
Figure BDA0003434915560000052
数据集分为三个部分：训练集、验证集和测试集。在CULane数据集时，训练迭代次数设置为50；批处量大小为32，基础学习率初始为4e-4，其中动量和权重衰减分别配置0.9和0.00055。训练误差和验证误差使用均方误差，训练结束时训练误差收敛为0.0044，验证误差收敛为0.0045。
准确率和召回率是评价目标检测识别算法时最常用的两项评估指标。准确率用来衡量输出的预测结果中为正确检测为真实值的比例，而召回率是用来衡量输出的预测结果之中所包含的应该被正确检测数量的比例。
其中,准确率和召回率的计算公式为：
Figure BDA0003434915560000061
Figure BDA0003434915560000062
TP为真正例，指模型将正类别样本正确预测为正类别；TN为真负例，指模型将负类别样本正确预测为负类别；FP为假正例，指将负类别样本错误的预测为正类别；FN为真负例，将负类别样本错误的预测为负类别。
使用的车道线检测算的是基于深度学***均，用于判断分类模型的优劣，精准率和回归率两个因素决定，计算公式为：
Figure BDA0003434915560000063
将β参数设置为1时，即F值函数设为常见的F1，它综合了准确率和召回率的结果，F1越高这说明分割模型越优秀。
本发明基于Resnet-18网络模型进行修改，添加L-Dice损失，进行实验，如表2所示。
表2UFSA算法改进前后对模型性能影响对比
实验 L-Dice F1分数/％
实验1 68.4
实验2 √ 69.3
表2所示是本发明实验改进的内容，其中实验1是UFSA原算法的方法，对应的F1分数为68.4％；实验2是基于UFSA原算法添加L-Dice损失的检测结果，对应的F1分数为69.3％，比原UFSA的精度提高了0.9％，此实验证明了分类损失L-Dice的有效性，缓解了网络卷积和池化提取车道特征丢失重要信息、大感受野时，不能获取更丰富、捕获长距离的上下文信息等问题的存在。
该改进部分实验是基于公开数据集CULane数据集进行，进行了大量的实验验证。表3为CULane数据集基于不同算法下，9个场景的识别精度。本发明基于Resnet-18改进的检测精度，如表所示。9种场景分别为：Normal、Crowded、Night、No-line、Shadow、Arrow、Dazzlelight、Curve、Crossroad，原算法在Resnet-18对应的精度分别为：87.7％，66.0％，62.1％，40.2％，62.8％，81.0％，58.4％，57.9％，1743；本发明实验对应的精度分别为：89.1％，68.0％，64.1％，42.1％，63.4％，83.1％，58.7％，59.4％，2336。改进后比改进前，前8个场景精度分别提高为：1.4％，2.0％，2.0％，1.9％，0.6％，2.1％，0.3％，1.5％，而第9个场景的检测识别精度较低，误检的车道线与改进前相比较多，但总体检测效果良好。原Resnet-18综合检测精度为68.4％，而改进后为69.9％，提高了1.5％；同时，检测速度也较之前明显变快，由322.5FPS变为301.7FPS。
表3在CULane数据集下，9个场景的识别精度。其中，测试阈值设为0.5，图片分辨率设为1640×590，“-”表示结果不可得。
Figure BDA0003434915560000071
图5是本发明实施例改进前后检测车道线的效果图，其中，(a)为改进前，(b)为改进后。本发明基于UFSA算法改进的车道线智能检测方法，旨在规范驾驶，可以提升违法驾驶的规范性，降低因不规范驾驶而造成的交通事故，同时提升车道线检测的效果。该发明可适用于不同的检测场景，又可以给出车道线具体的位置。该发明在一定程度上提高了驾驶的安全性，降低了交通事故的增长率，实现智能化检测。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于UFSA算法改进的车道线智能检测方法，其特征在于，所述车道线智能检测方法包括如下步骤：
步骤1，从基准数据集CULane中获取车道线图像，并对车道线图像进行预处理，得到车道线数据集；
步骤2，将车道线数据集划分为独立不重复的训练集、验证集和测试集；
步骤3，对训练集和验证集中各车道线图像进行标注和分类；
步骤4，分别对训练集、验证集和测试集中各车道线图像进行特征提取，获得训练集、验证集和测试集中各车道线图像的特征；
步骤5，对UFSA算法所采用的Resnet18网络模型进行改进，即用L-Dice损失函数替换Softmax损失函数，利用训练集和验证集对改进后的Resnet18网络模型进行训练和验证，得到训练好的的车道线检测模型；
步骤6，利用训练好的的车道线检测模型对测试集进行检测，得到检测结果。
2.根据权利要求1所述的基于UFSA算法改进的车道线智能检测方法，其特征在于，步骤1所述基准数据集CULane，共包含133235张图像，其中，训练图像88880张，验证图像9675张，测试图像34680张。
3.根据权利要求1所述的基于UFSA算法改进的车道线智能检测方法，其特征在于，步骤1所述对车道线图像进行预处理，得到车道线数据集，具体为：将车道线图像格式化为设定大小，从而得到车道线数据集。
4.根据权利要求1所述的基于UFSA算法改进的车道线智能检测方法，其特征在于，所述步骤2中，采用随机抽样法对车道线数据集进行划分。
5.根据权利要求1所述的基于UFSA算法改进的车道线智能检测方法，其特征在于，所述步骤3中，利用目标检测标注工具对车道线图像进行标注和分类。
6.根据权利要求1所述的基于UFSA算法改进的车道线智能检测方法，其特征在于，步骤5所述改进后的Resnet18网络模型，其损失函数定义为：
Ltotal＝Lcls+αLstr+β(μLseg+γLL-Dice)
其中，Ltotal表示总体的损失函数，Lcls表示分类损失，Lstr表示结构损失，Lseg和LL-Dice均表示分割损失，α、β、μ和γ均表示损失系数，μ设置为0.7，γ设置为0.3。
CN202111611111.2A 2021-12-27 2021-12-27 一种基于ufsa算法改进的车道线智能检测方法 Pending CN114429621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111611111.2A CN114429621A (zh) 2021-12-27 2021-12-27 一种基于ufsa算法改进的车道线智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111611111.2A CN114429621A (zh) 2021-12-27 2021-12-27 一种基于ufsa算法改进的车道线智能检测方法

Publications (1)

Publication Number Publication Date
CN114429621A true CN114429621A (zh) 2022-05-03

Family

ID=81311413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611111.2A Pending CN114429621A (zh) 2021-12-27 2021-12-27 一种基于ufsa算法改进的车道线智能检测方法

Country Status (1)

Country Link
CN (1) CN114429621A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法

Similar Documents

Publication Publication Date Title
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及***
WO2017156772A1 (zh) 一种乘客拥挤度的计算方法及其***
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN101859382B (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN102509091B (zh) 一种飞机尾号识别方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN111460919B (zh) 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN110866430B (zh) 一种车牌识别方法及装置
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN105260712A (zh) 一种车辆前方行人检测方法及***
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN114359876B (zh) 一种车辆目标识别方法及存储介质
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN103310006A (zh) 一种车辆辅助驾驶***中的感兴趣区域提取方法
CN114049572A (zh) 识别小目标的检测方法
CN104915642A (zh) 前方车辆测距方法及装置
CN113095152A (zh) 一种基于回归的车道线检测方法及***
CN112487905A (zh) 一种车辆周边行人危险等级预测方法及***
CN109543498B (zh) 一种基于多任务网络的车道线检测方法
CN114463715A (zh) 一种车道线检测方法
CN112215073A (zh) 高速运动场景下的交通标线快速识别与循迹方法
Huang et al. A safety vehicle detection mechanism based on YOLOv5
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN114429621A (zh) 一种基于ufsa算法改进的车道线智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination