CN116311136A - 用于辅助驾驶的车道线参数计算方法 - Google Patents

用于辅助驾驶的车道线参数计算方法 Download PDF

Info

Publication number
CN116311136A
CN116311136A CN202310325104.9A CN202310325104A CN116311136A CN 116311136 A CN116311136 A CN 116311136A CN 202310325104 A CN202310325104 A CN 202310325104A CN 116311136 A CN116311136 A CN 116311136A
Authority
CN
China
Prior art keywords
lane line
model
vehicle
training
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310325104.9A
Other languages
English (en)
Inventor
刘伯禹
王永强
周聪玲
王昊
蔡磊
张玉东
黄相迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202310325104.9A priority Critical patent/CN116311136A/zh
Publication of CN116311136A publication Critical patent/CN116311136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及辅助驾驶技术领域，具体为一种用于辅助驾驶的车道线参数计算方法，包括以下步骤：利用车载摄像头获取用于进行模型训练的图像数据集，划分训练集和测试集，并对训练集进行数据增强和标注；搭建残差神经网络模型，调节模型训练的约束参数；将车道线训练集输入到网络模型中进行训练，得到模型训练收敛效果最好的模型；将与测试的数据输入到训练好的模型中，输出车辆相邻的左右两车道线坐标；将两车道线的坐标点进行分类，划分车辆的左右两车道线，输出车道线方程；通过车道线方程，计算出车道线的曲率半径和车辆偏离的中心距离。本发明能够为辅助驾驶提供最重要的环境感知，能够实时检测出前方道路的车道线位置。

Description

用于辅助驾驶的车道线参数计算方法
技术领域
本发明涉及辅助驾驶技术领域，具体为一种用于辅助驾驶的车道线参数计算方法。
背景技术
辅助驾驶***主要是利用不同类型的车载传感器来收集车辆周边的环境情况信息，通过电子控制单元将采集到的信息进行分析、处理和判断等流程，然后再向控制执行装置下达指令来提醒驾驶员进行相应的操作。辅助驾驶主要分为感知、决策、控制和执行四个模块。而车道线参数检测属于辅助驾驶中非常重要的感知模块，它能为辅助驾驶的后续三个模块做出先导作用。这项技术对于能够主动减少交通事故的发生存在着十分重要的现实意义。
对于辅助驾驶的车道线检测，传统的车道检测方法一般是首先通过安装在车辆上的视觉传感器获取道路图像后，利用车道线的边缘、颜色或纹理方向等，通过Hough变换、边缘检测滤波等方式将车道线从背景区域中分离出来。如中国专利公开了一种确定驾驶辅助***和/或自动驾驶***的控制参数的方法，申请号：202211083416.5，该方法包括以下步骤：获取本车辆和周围车辆的行驶数据，其中，所述行驶数据包括本车辆和周围车辆的姿态信息以及本车辆与周围车辆之间的位置关系(S1)；获取本车辆当前所在的行车道的车道线信息(S2)；基于所述行驶数据和所述车道线信息确定驾驶辅助***和/或自动驾驶***的控制参数(S3)。这种方法的缺点是：车道线检测算法应用场景比较受限制，工作量大且鲁棒性较差，对车道线的粉刷工艺要求较高，当行车环境出现明显变化时，车道线的检测效果不佳；除去光照和邻近车辆的影响外，传统车道线检测算法也很难处理车道中间的指示箭头和人行道。所以很难满足辅助驾驶的实时性和准确性需求。
发明内容
针对现有技术的不足，本发明提供了一种用于辅助驾驶的车道线参数计算方法。
为实现以上目的，本发明通过以下技术方案予以实现：一种用于辅助驾驶的车道线参数计算方法，包括以下步骤：S01：利用车载摄像头获取用于进行模型训练的图像数据集，划分训练集和测试集，并对训练集进行数据增强和标注；
S02：搭建残差神经网络模型，建立用于车道线检测的损失函数，调节模型训练的约束参数；
S03：将车道线训练集输入到网络模型中进行训练，观察训练效果，得到模型训练收敛效果最好的模型；
S04：将与测试的数据输入到训练好的模型中，进行模型预测，划定选取范围，输出车辆相邻的左右两车道线坐标；
S05：将两车道线的坐标点进行分类，划分车辆的左右两车道线，并对其进行拟合，输出车道线方程；
S06：通过车道线方程，计算出车道线的曲率半径和车辆偏离的中心距离。
优选地，在S01中，图像分辨率设置为1280×720，收集不同天气、路况的车道线数据集，对数据集进行8:2的比例划分训练集与测试集，并对训练集样本进行偏移、旋转、添加噪声数据增强的操作。
优选地，S02中，利用ResNet34残差网络作为主干卷积神经网络模型，该网络包括了7×7的卷积层，3×3最大池化层，4个残差模块和全连接层。
优选地，S03中，模型训练好之后，将模型嵌入到车辆的行车记录仪中，进行实时检测，车载摄像头拍摄前方道路图像，通过模型得到检测结果，观测检测结果是否准确，若不准确，需要返回到模型训练前，调整参数进行重新训练。
优选地，S05中，采用最小二乘法拟合车道线。
本发明的有益效果是：本发明能够为辅助驾驶提供最重要的环境感知，能够实时检测出前方道路的车道线位置，让车辆能够去跟踪车道线行驶，防止驾驶员由于疲劳等身体原因，出现偏离车道的情况。
本发明会根据车道线的检测结果，去计算出车辆相邻的左右两车道线的曲率半径，当曲率半径过小时，辅助驾驶***会指示车辆减速，防止车辆在速度很快的情况下大转弯，进一步防止车辆出现侧滑，甚至翻车的情况。
本发明会根据车道线的检测结果，去计算车辆偏离中心位置的距离，指示车辆尽可能的保持在两车道中心的位置行驶，防止出现压线行驶等交通违规的情况。
附图说明
图1为本发明的流程图；
图2为本发明中残差网络结构图；
图3为本发明中待检测的道路图像图；
图4为本发明中检测出车道线的道路图像图；
图5为本发明中进行车道线点拟合后的道路图像图；
图6为本发明中车道线拟合结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
下面结合图1对算法过程以及原理进行描述。
用于辅助驾驶的车道线参数计算方法包括以下步骤：
通过车载摄像头获取用于进行模型训练的图像数据集，图像分辨率设置为1280×720，收集不同天气、路况的车道线数据集，用以增加模型的泛化性。对数据集进行8:2的比例划分训练集与测试集，并对训练集样本进行偏移、旋转、添加噪声等数据增强的操作。对训练集样本进行标注工作，生成文本文档存入到数据文件夹中。
将数据集输入到深度学***化处理，展成一维向量进行输出。该网络相比于传统的VGG网络，复杂度降低，所需要的参数量下降；ResNet34的网络深度更深，不会出现梯度消失的现象，解决了深层次的网络退化问题；在增加网络层数的过程中，训练精度逐渐趋于饱和，继续增加层数，也不会出现过拟合的现象。
损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。该发明用到了分类损失函数
Figure BDA0004152968910000041
其中LCE为交叉熵损失函数，Pi,j,:代表第i条车道线在第j行的预测结果，Ti,j,:由事先标注的数据集得到，为真实的车道线位置，此损失函数用以表示车道线的模型预测位置与实际位置的偏差；该发明也运用到了车道线的结构损失函数，包括相似度损失函数
Figure BDA0004152968910000042
和形状损失函数Loci,j＝argmaxkPi,j,k，s.t.k∈[1,w],相似度损失函数表示相邻两行所有单元存在车道线概率差值的总和，即存在车道线相邻位置的概率越相似，损失率越小；而形状损失函数表示车道线的弯曲程度，大部分车道线都可以近似看作为直线，即车道线越平滑，损失率越小。
待神经网络模型和损失函数均建立好之后，可以对车道线的数据集进行训练，通过训练过程实时观测训练结果，确保得到收敛效果好、损失率低且精度高的检测模型。
模型训练好之后，可以将模型嵌入到车辆的行车记录仪中，进行实时检测，车载摄像头拍摄前方道路图像，通过模型得到检测结果。观测检测结果是否准确，若不准确，需要返回到模型训练前，调整参数进行重新训练。
模型预测结果准确，可以得到前方道路的车道线位置，模型最多可检测出4条车道线，包括最左侧、左侧、右侧和最右侧车道，检测结果以坐标点的形式贴合在图像的车道线上，如图4所示；得到检测结果，可图中所有坐标点进行输出。
但实际检测车道线参数时，车辆只根据离车辆最近的左右两条车道线行驶，所以仅需要输出车辆相邻的左右两条车道线的数据坐标。
由于车载摄像头固定在行驶车辆内部，所以拍摄的前方道路图像在偏移和角度方面是不会有很大变动的。划定左右两车道线的截取范围，筛选范围内存在的坐标点。图像坐标的横向分辨率为1280，可以设置中心线的横坐标为640，将范围内存在的点进行分类，将横坐标小于640的坐标点分类为左侧车道线，将横坐标大于640的坐标点分类为右侧车道线。
以图4为例，输出车辆相邻的左右两车道线坐标点。
左车道线点坐标：[219,709],[232,699],[241,689],[251,679],[259,669],[269,659],[279,649],[290,639],[300,629],[310,619],[321,609],[332,599],[342,589],[351,579],[361,569],[372,559],[382,549],[392,539],[402,529],[412,519],[423,509],[432,499],[441,489],[451,479],[462,469],[474,458],[481,449],[491,439],[500,429],[509,419],[519,409],[531,399],[541,389],[551,379],[560,368]；
右车道线点坐标：[702,368],[714,379],[727,389],[737,399],[748,409],[759,419],[770,429],[780,439],[790,449],[801,458],[814,469],[826,479],[837,489],[848,499],[860,509],[869,519],[881,529],[891,539],[903,549],[913,559],[923,569],[936,579],[946,589],[956,599],[968,609],[980,619],[991,629],[1002,639],[1015,649],[1026,659],[1038,669],[1047,679],[1058,689],[1070,699],[1082,709]。
得到车辆相邻的左右两车道线坐标点，对其进行拟合。
目前车道线拟合常用的方法有最小二乘法、bez ier、B样条、Ransac等。
本发明采用最小二乘法拟合车道线。
最小二乘法拟合曲线，给定x＝f(y)在点y1,y2,…,yn处的数值x1,x2,…,xn，求得一次多项式p(x)＝a0+a1y+…amym∈∏m(m+1<n),使得
Figure BDA0004152968910000061
设
Figure BDA0004152968910000062
Figure BDA0004152968910000063
则
Figure BDA0004152968910000064
联立方程组，
Figure BDA0004152968910000065
求解方程组，可得到a0,a1,…,am,从而可到f(x)的最小二乘法拟合多项式，p(y)＝a0+a1y+…+amym。
在拟合之前需要定义道路图像中像素个数与实际车道的比率，沿车辆前方行驶的方向覆盖大约30米，按照我国对公路每条机动车道的宽度标准，三级以上多车道公路每条机动车道宽度为3.5～3.75米，本发明将车道宽度定义为3.5米。根据检测出车辆相邻左右两车道线的起点坐标，对左右两个起点坐标点横坐标进行相减，可以得出两车道线之间的像素宽度，与实际车道宽度做商，可以得出比例因子，同时像素宽度的一半加上左车道线的横坐标，就可以判断出车道的中心位置，与拍摄图像的中心位置作差，可以得出车辆实际偏离中心的距离，如输出的值小于0，则为向左偏离；相反，若输出的值大于0，则为向右偏离。
以图5为例，车辆偏离中心的距离为，向左偏离了0.044m。
由于车道线不会出现弯曲程度突变的情况，所以本发明使用最小二乘法拟合二次曲线即可。以图4为例，左车道线给定x＝f(y)在坐标点219,232，…，560处的数值709,699，…，368。根据坐标点，只取前三项系数，求解得到a0＝6.054×10-5,a1＝0.060251,a2＝1.22248478，代入到p(y)中，可得到左车道线方程p1(y)＝6.054×10-5y2+0.060251y+1.22248478；同理，可得到右车道线方程pr(y)＝-1.912×10-5y2-0.05739505y+3.60988679。
根据求解得到的车辆相邻的左右两车道线方程，可进一步求解车道线y米远处的曲率半径，车道线上某点的曲率半径是该点的密切圆的半径，在
Figure BDA0004152968910000071
存在的条件下，/>
Figure BDA0004152968910000072
设车道线方程为x＝f(y)，且f(y)具有二阶导数。由于tanα＝x′,所以
Figure BDA0004152968910000073
即/>
Figure BDA0004152968910000074
Figure BDA0004152968910000075
根据密切圆面积求导公式
Figure BDA0004152968910000076
从而得曲率半径公式/>
Figure BDA0004152968910000077
根据ISO 15623前向碰撞预警国际标准，人的反应时间T平均为0.66s，而汽车在高速行驶最高可达120km/h，则车辆根据曲率情况可进行车速变更的距离为v×T＝22m，所以车辆需要检测到前方22米远处的曲率半径，本发明设置到检测y＝25米处的曲率半径。以图5为例，求解得到左车道线曲率半径为8308.45m，右车道线曲率半径为26282.05m。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种用于辅助驾驶的车道线参数计算方法，其特征在于：包括以下步骤：S01：利用车载摄像头获取用于进行模型训练的图像数据集，划分训练集和测试集，并对训练集进行数据增强和标注；
S02：搭建残差神经网络模型，建立用于车道线检测的损失函数，调节模型训练的约束参数；
S03：将车道线训练集输入到网络模型中进行训练，观察训练效果，得到模型训练收敛效果最好的模型；
S04：将与测试的数据输入到训练好的模型中，进行模型预测，划定选取范围，输出车辆相邻的左右两车道线坐标；
S05：将两车道线的坐标点进行分类，划分车辆的左右两车道线，并对其进行拟合，输出车道线方程；
S06：通过车道线方程，计算出车道线的曲率半径和车辆偏离的中心距离。
2.根据权利要求1所述的用于辅助驾驶的车道线参数计算方法，其特征在于：在S01中，图像分辨率设置为1280×720，收集不同天气、路况的车道线数据集，对数据集进行8:2的比例划分训练集与测试集，并对训练集样本进行偏移、旋转、添加噪声数据增强的操作。
3.根据权利要求1所述的用于辅助驾驶的车道线参数计算方法，其特征在于：S02中，利用ResNet34残差网络作为主干卷积神经网络模型，该网络包括了7×7的卷积层，3×3最大池化层，4个残差模块和全连接层。
4.根据权利要求1所述的用于辅助驾驶的车道线参数计算方法，其特征在于：S03中，模型训练好之后，将模型嵌入到车辆的行车记录仪中，进行实时检测，车载摄像头拍摄前方道路图像，通过模型得到检测结果，观测检测结果是否准确，若不准确，需要返回到模型训练前，调整参数进行重新训练。
5.根据权利要求1所述的用于辅助驾驶的车道线参数计算方法，其特征在于：S05中，采用最小二乘法拟合车道线。
CN202310325104.9A 2023-03-30 2023-03-30 用于辅助驾驶的车道线参数计算方法 Pending CN116311136A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310325104.9A CN116311136A (zh) 2023-03-30 2023-03-30 用于辅助驾驶的车道线参数计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310325104.9A CN116311136A (zh) 2023-03-30 2023-03-30 用于辅助驾驶的车道线参数计算方法

Publications (1)

Publication Number Publication Date
CN116311136A true CN116311136A (zh) 2023-06-23

Family

ID=86801289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310325104.9A Pending CN116311136A (zh) 2023-03-30 2023-03-30 用于辅助驾驶的车道线参数计算方法

Country Status (1)

Country Link
CN (1) CN116311136A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682087A (zh) * 2023-07-28 2023-09-01 安徽中科星驰自动驾驶技术有限公司 基于空间池化网络车道检测的自适应辅助驾驶方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682087A (zh) * 2023-07-28 2023-09-01 安徽中科星驰自动驾驶技术有限公司 基于空间池化网络车道检测的自适应辅助驾驶方法
CN116682087B (zh) * 2023-07-28 2023-10-31 安徽中科星驰自动驾驶技术有限公司 基于空间池化网络车道检测的自适应辅助驾驶方法

Similar Documents

Publication Publication Date Title
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及***
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
CN102222236B (zh) 图像处理***及位置测量***
EP2372304B1 (en) Vehicle position recognition system
CN109334563B (zh) 一种基于道路前方行人和骑行者的防碰撞预警方法
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
CN108645375B (zh) 一种用于车载双目***快速车辆测距优化方法
CN107463890A (zh) 一种基于单目前视相机的前车检测与跟踪方法
US11829131B2 (en) Vehicle neural network enhancement
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN113095152A (zh) 一种基于回归的车道线检测方法及***
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN110991264A (zh) 前方车辆检测方法和装置
CN112991732A (zh) 一种基于双目相机的实时弯道侧翻预警***与方法
CN116311136A (zh) 用于辅助驾驶的车道线参数计算方法
CN113569778A (zh) 基于多模态数据融合的路面湿滑区域检测及预警方法
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN115880658A (zh) 一种夜间场景下汽车车道偏离预警方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination