CN115909241A - 一种车道线检测方法、***、电子设备和存储介质 - Google Patents

Abstract

本公开涉及辅助驾驶领域，具体涉及一种车道线检测方法、***、电子设备和存储介质。所述方法包括如下步骤：获取具有车道线的原始图片，在原始图片中以车道线为中心进行标注得到的标注图片，若干张所述标注图片组成训练数据集；采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。本公开保证了各种场景下的训练效果，使得网络模型可以准确处理诸多场景下的情况，从而提升车道线检测算法的运行效率。

Description

一种车道线检测方法、***、电子设备和存储介质

技术领域

本公开涉及辅助驾驶领域，具体涉及一种车道线检测方法、***、电子设备和存储介质。

背景技术

基于光学图像的车道检测方法是现代驾驶辅助***的关键组成部分，车道线检测非常具有挑战性。车道的外观通常是非常简单，没有为车道线检测提供复杂或独特的特征，增加了假阳性检测的风险。此外，车道模式的不同，使得独立的车道建模变得困难。目前大多数现有的车道线检测方法需要对车道进行严格的假设，然而这些方法特别是在城市情况下，并不总是有效的。

以前的算法往往存在各种各样的问题，传统图像处理的车道线检测方法应用场景受限，霍夫直线检测算法准确但不能做弯道检测，拟合方法可以检测弯道但是不稳定，仿射变换可以做多车道检测但在遮挡等情况下干扰严重。采取transformer方案的检测方法有着不易部署的缺点。SCNN表现效果较好但速度较慢，仅能达到7.5FPS，在实际部署时无法做到实时检测，满足不了辅助驾驶或者自动驾驶条件的需求；。

发明内容

本公开提供一种一种车道线检测方法、***、电子设备和存储介质，能够解决背景技术中提到的最少一个问题，针对辅助驾驶或自动驾驶领域，多种场景下实时快速准确地对道路上多条车道线的进行检测，以及对车辆产生道路偏移时提出预警。为解决上述技术问题，本公开提供如下技术方案：

作为本公开实施例的一个方面，提供一种车道线检测方法，包括如下步骤：

S10、获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

S20、采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

S30、网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

S40、图像中每条车道线的关键点顺次相连得到对应的车道线形状；

S50、根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

较佳地，所述原始图片中包括了多种场景下的道路，所述多种场景下的道路包括如下场景中的至少两种：城市、乡村、高速公路、夜间、社区、收费站和停车场。

较佳地，以车道线为中心进行标注的标注类型包括如下类型中的至少一种：包括单独的虚线或实线的正常车道线、虚实相连的线、鱼骨线、一条实线和一条虚线并行的虚实线、双实线。

较佳地，所述S50还包括如下步骤：

S501、标定车辆中心位置；

S502、统计训练数据集中若干张所述标注图片中的左、右车道线，压线，和行驶偏离多种场景的Embedding值区间；

S503、根据网络模型输出的车道线的Embedding值与预先标定进行对比，得到此时车辆当前的左右车道线，并判断此时车辆所处状态是处于正常行驶还是行驶偏离状态。

较佳地，在S50之后，还包括如下步骤：S60、根据评估预测效果校正网络模型在哪个场景下表现效果较差，通过数据回收机制有针对性的筛选场景，以增加筛选出的场景的训练样本并训练所述网络模型。

较佳地，S60还包括对夜间场景进行筛选的步骤：通过标注图片的图像灰度值判断图像是否为夜间图像。

较佳地，S60还包括对直道和弯道进行筛选的步骤：根据所述车道线的关键点的坐标进行多项式拟合得到拟合曲线表达式；根据拟合曲线表达式计算多个曲线上点的曲率；判断所述多个曲率的最大值是否超出弯道阈值，如果超出弯道阈值，则判断为弯道，如果未超出弯道阈值，则判断为直道。

作为本公开实施例的另一个方面，一种车道线检测***，包括：

训练数据集获取模块，获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

网络模型训练模块，采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

Embedding值获取模块，网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

车道线获取模块，图像中每条车道线的关键点顺次相连得到对应的车道线形状；

行驶偏离判断模块，根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

作为本公开实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的车道线检测方法。

作为本公开实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的车道线检测方法。

本公开应用自制的数据集进行训练，保证了各种场景下的训练效果，使得网络模型可以准确处理诸多场景下的情况；将车道线检测转化为关键点检测的方式，实现关键点到所属车道线的并行分配过程，从而极大提升车道线检测算法的运行效率，并且有效建模形状复杂的车道线实例；通过embedding值与标定比对来判断车辆是否偏离的方案相比较其他方案更为合理。

附图说明

图1为本公开实施例1中的车道线检测方法的流程图；

图2为本公开实施例1中的网络模型结构图；

图3为本公开实施例中的S30的具体实现步骤；

图4为本公开实施例2中的车道线检测***示意框图；

图5为本公开实施例3中的电子设备示意框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

此外，本公开还提供了车道线检测***、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种车道线检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

车道线检测方法的执行主体可以是计算机或者其他能够实现车道线检测的装置，例如，方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为车载终端设备、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备等。在一些可能的实现方式中，该车道线检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

实施例1

作为本公开实施例的一个方面，提供一种车道线检测方法，如图1所示，包括如下步骤：

S10、获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

S20、采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

S30、网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

S40、图像中每条车道线的关键点顺次相连得到对应的车道线形状；

S50、根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

基于上述配置本公开实施例可以应用自制的数据集进行训练，保证了各种场景下的训练效果，使得网络模型可以准确处理诸多场景下的情况；将车道线检测转化为关键点检测的方式，实现关键点到所属车道线的并行分配过程，从而极大提升车道线检测算法的运行效率，并且有效建模形状复杂的车道线实例；通过embedding值与标定比对来判断车辆是否偏离的方案相比较其他方案更为合理。

下面分别对本公开实施例的各步骤进行详细说明。

S10、获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

其中，车道线的原始图片可先由行车记录仪采集视频数据，再将视频通过抽帧、筛选等方式得到，也可以通过其他方式收集得到；可再将每张原始图片中的车道线沿中心以折线的形式进行标注形成相应的训练标签(ground truth，gt)，原始图片最好包含以下场景：城市、乡村、高速公路、夜间、社区、收费站、停车场等，以使得网络模型在训练过程中可以适应多种变化的场景；

本实施例中，以车道线为中心进行标注的标注类型包括包括如下中的至少一种：单独的虚线或实线的正常车道线、虚实相连的线、鱼骨线、一条实线和一条虚线并行的虚实线、双实线等。

正常车道线：正常车道线主要包括单独的虚线或实线，通过沿车道线中心标记若干点，每个点根据对应位置设置属性(实线点或虚线点)，顺次相连得到若干条折线以贴合图像中车道线；

虚实相连的线：虚实相连的线常见于路口之前，虚线部分的标记点设置虚线属性，实线部分的标记点设置实线属性，两部分点顺次连接为同一条车道线；

鱼骨线：鱼骨线特征为中间是虚线，虚线两侧为白色减速块，该种车道线进行标注时只需标注中间白色虚线；

虚实线：该种情况表现为一条实线和一条虚线并行，标注该情况车道线时只需标注实线；

双实线：该种情况表现为两条实线并行，标注该情况车道线时只需标注相对靠近车辆的实线。

S20、采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

其中，本实施例采用的网络模型如图2所示，网络的输入为图像数据，训练标签gt包括每张图像中每条车道线的位置(像素点顺次连接表示)、颜色等信息；

网络的backbone特征提取部分采用深度残差网络，在保证充分提取特征的同时，避免了梯度消失问题；neck部分采取FPN特征复用模块(特征金字塔网络)，对backbone部分不同维度的维特征图进行特征复用；检测头head部分结合前面网络提取的特征输出所检测地每条车道线的关键点Keypoint，Embedding值，车道线类型TypeSegmentation和颜色ColorSegmentation。模型的多个检测头通过共用残差网络提取的特征，检测出不同的信息，提升了网络的速度，实现了网络能够达到实时检测的要求。采取自多种场景下的大量图片数据，使得模型提取到不同场景下车道线的特征，可以提高多种场景下不同车道线类型的检测效果。在图像上顺次连接模型检测出的关键点就可以得到输出车道线的形状。

其中，将车道线检测任务转为检测关键点的方式，使用后处理对实例进行划分，包括以下步骤：

S201、采样关键点，获取图片中所有关键点的坐标及其到所属车道线起始点的偏移量；

S202、将第一步获取的关键点坐标与偏移量相加，得到每个关键点所指向的车道线起始点坐标；

S203、获取图中所有车道线对应的起始点坐标，以起始点为中心，划定一定范围，所有指向起始点落在这一范围内的关键点都属于同一条车道线，将这些关键点顺序连接，即可恢复完整的车道线形状。

S204、将网络输出的车道线形状通过均值采样结合多项式拟合的方式进行后处理，使得车道线更加平滑地贴合图像中原有车道线的形状。

S205、统计假阳性(FP)、假阴性(FN)、真阳性(TP)和真阴性(FN)样本数量，计算查准率(Precision)、召回率(Recall)和F1指标，评估预测效果：

S30、网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

S40、图像中每条车道线的关键点顺次相连得到对应的车道线形状；

S50、根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

作为一种优选的实施方式，所述S50还包括如下步骤：

S501、标定车辆中心位置；

S502、统计训练数据集中若干张所述标注图片中的左、右车道线，压线，和行驶偏离多种场景的Embedding值区间；

S503、根据网络模型输出的车道线的Embedding值与预先标定进行对比，得到此时车辆当前的左右车道线，并判断此时车辆所处状态是处于正常行驶还是行驶偏离状态。

本实施例中，在S50之后，还包括如下步骤：S60、根据评估预测效果校正网络模型在哪个场景下表现效果较差，通过数据回收机制有针对性的筛选场景，以增加筛选出的场景的训练样本并训练所述网络模型。采用所述训练数据集对网络模型进行训练时还包括对夜间场景进行筛选的步骤：通过标注图片的图像灰度值判断图像是否为夜间图像。其中，可采用如下步骤实现：

S601、读取原始图片，转换为灰度图，并获取所述灰度图的所有像素值；

S602、设置灰度阈值并计算该阈值以下的像素个数；

S603、设置比例参数，对比该参数与低于该阈值的像素占比，如果低于参数则预测为白天，高于参数则预测为黑夜。比如，该参数设置为0.8，像素的灰度值低于阈值50的个数占整幅图像所有像素个数的90％，则认为该图像偏暗，故预测为黑夜，否则为白天。

本实施例中，采用所述训练数据集对网络模型进行训练时还包括对直道和弯道进行筛选的步骤：根据所述车道线的关键点的坐标进行多项式拟合得到拟合曲线表达式；根据拟合曲线表达式计算多个曲线上点的曲率；判断所述多个曲率的最大值是否超出弯道阈值，如果超出弯道阈值，则判断为弯道，如果未超出弯道阈值，则判断为直道。比如，根据每条车道线关键点的坐标点(x,y)进行多项式y＝f(x)拟合，得到曲线来表示车道线；曲线中在y方向上以均匀取若干值计算对应点曲率K，其中曲率K的计算公式表示为：

其中，

和

分别表示多项式y＝f(x)的二阶导数和一阶导数；

取这若干个曲率K中的最大值来表示该车道线；选取车道线训练数据集，统计部分图像中车道线的曲率K值来确定弯道的阈值；数据筛选中计算所选图像中车道线的拟合曲率与统计阈值比较，以此判断车道线是直道或弯道。上述方法应用了以最小二乘法为基本原理的多项式拟合方式，并结合图像y轴像素上均值采样的方法对每条车道线进行后处理，使得最终输出的车道线更加平滑。

在一些实施例中，还对训练好的网络模型对训练数据进行清洗，可以通过如下方式实现：与上文中的gt进行对比，通过损失函数筛选出表现效果较差的图像，所述损失函数可包括loss_kps、loss_kps_offset和loss_embedding。

其中，loss_kps为GaussianFocalLoss、loss_kps_offset为L1Loss，loss_embedding为DiscrimativeLosss。

实施例2

作为本公开实施例的另一个方面，提供一种车道线检测***100，如图4所示，包括：

训练数据集获取模块1，用于获取具有车道线的原始图片，在原始图片中以车道线为中心进行标注得到的标注图片，若干张所述标注图片组成训练数据集；

其中，车道线的原始图片可先由行车记录仪采集视频数据，再将视频通过抽帧、筛选等方式得到，也可以通过其他方式收集得到；可再将每张原始图片中的车道线沿中心以折线的形式进行标注形成相应的训练标签(ground truth，gt)，原始图片最好包含以下场景：城市、乡村、高速公路、夜间、社区、收费站、停车场等，以使得网络模型在训练过程中可以适应多种变化的场景；

本实施例中，以车道线为中心进行标注的标注类型包括包括如下中的至少一种：单独的虚线或实线的正常车道线、虚实相连的线、鱼骨线、一条实线和一条虚线并行的虚实线、双实线等。

正常车道线：正常车道线主要包括单独的虚线或实线，通过沿车道线中心标记若干点，每个点根据对应位置设置属性(实线点或虚线点)，顺次相连得到若干条折线以贴合图像中车道线；

虚实相连的线：虚实相连的线常见于路口之前，虚线部分的标记点设置虚线属性，实线部分的标记点设置实线属性，两部分点顺次连接为同一条车道线；

鱼骨线：鱼骨线特征为中间是虚线，虚线两侧为白色减速块，该种车道线进行标注时只需标注中间白色虚线；

虚实线：该种情况表现为一条实线和一条虚线并行，标注该情况车道线时只需标注实线；

双实线：该种情况表现为两条实线并行，标注该情况车道线时只需标注相对靠近车辆的实线。

网络模型训练模块2，采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

其中，本实施例采用的网络模型如图2所示，网络的输入为图像数据，训练标签gt包括每张图像中每条车道线的位置(像素点顺次连接表示)、颜色等信息；

网络的backbone特征提取部分采用深度残差网络，在保证充分提取特征的同时，避免了梯度消失问题；neck部分采取FPN特征复用模块(特征金字塔网络)，对backbone部分不同维度的维特征图进行特征复用；检测头head部分结合前面网络提取的特征输出所检测地每条车道线的关键点Keypoint，Embedding值，车道线类型TypeSegmentation和颜色ColorSegmentation。模型的多个检测头通过共用残差网络提取的特征，检测出不同的信息，提升了网络的速度，实现了网络能够达到实时检测的要求。采取自多种场景下的大量图片数据，使得模型提取到不同场景下车道线的特征，可以提高多种场景下不同车道线类型的检测效果。在图像上顺次连接模型检测出的关键点就可以得到输出车道线的形状。

Embedding值获取模块3，网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

车道线获取模块5，图像中每条车道线的关键点顺次相连得到对应的车道线形状；

行驶偏离判断模块5，根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

其中，行驶偏离判断模块5还可以包括：标定车辆中心位置；统计训练数据集中若干张所述标注图片中的车道线在多种场景下的行驶偏离时的Embedding值区间；根据网络模型输出的车道线的Embedding值与预先标定的标定中心对比，将左右侧车道线中Embedding绝对值最小的车道线作为车辆行驶当前道路两边车道线；例如，统计多种不同场景下的车道线embedding值(左、右车道线，压线等)，确定车道线所符合这些情况下embedding值的范围；对比当前左右车道线的Embedding值是否处于Embedding值区间内，以判断此时车辆所处状态是处于正常行驶还是行驶偏离状态。

本实施例中，本实施例中的方法还包括数据回收模块6，所述数据回收模块6根据评估预测效果校正网络模型在哪个场景下表现效果较差，通过数据回收机制有针对性的筛选场景，以增加筛选出的场景的训练样本并训练所述网络模型

在一些实施例中，采用所述训练数据集对网络模型进行训练时还包括对夜间场景进行筛选：通过标注图片的图像灰度值判断图像是否为夜间图像。其中，可采用如下方式实现：读取原始图片，转换为灰度图，并获取所述灰度图的所有像素值；设置灰度阈值并计算该阈值以下的像素个数；设置比例参数，对比该参数与低于该阈值的像素占比，如果低于参数则预测为白天，高于参数则预测为黑夜。比如，该参数设置为0.8，像素的灰度值低于阈值50的个数占整幅图像所有像素个数的90％，则认为该图像偏暗，故预测为黑夜，否则为白天。

本实施例中，采用所述训练数据集对网络模型进行训练时还包括对直道和弯道进行筛选的步骤：根据所述车道线的关键点的坐标进行多项式拟合得到拟合曲线表达式；根据拟合曲线表达式计算多个曲线上点的曲率；判断所述多个曲率的最大值是否超出弯道阈值，如果超出弯道阈值，则判断为弯道，如果未超出弯道阈值，则判断为直道。比如，根据每条车道线关键点的坐标点(x,y)进行多项式y＝f(x)拟合，得到曲线来表示车道线；曲线中在y方向上以均匀取若干值计算对应点曲率K，其中曲率K的计算公式表示为：

其中，

和

分别表示多项式y＝f(x)的二阶导数和一阶导数；

取这若干个曲率K中的最大值来表示该车道线；选取车道线训练数据集，统计部分图像中车道线的曲率K值来确定弯道的阈值；数据筛选中计算所选图像中车道线的拟合曲率与统计阈值比较，以此判断车道线是直道或弯道。上述方法应用了以最小二乘法为基本原理的多项式拟合方式，并结合图像y轴像素上均值采样的方法对每条车道线进行后处理，使得最终输出的车道线更加平滑。

在一些实施例中，还对训练好的网络模型对训练数据进行清洗，可以通过如下方式实现：与上文中的gt进行对比，通过损失函数筛选出表现效果较差的图像，所述损失函数可包括loss_kps、loss_kps_offset和loss_embedding。

其中，loss_kps为GaussianFocalLoss、loss_kps_offset为L1Loss，loss_embedding为DiscrimativeLosss。

实施例3

一种电子设备，如图5所示，包括存储器330、处理器310及存储在存储器330上并可在处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现实施例1中的车道线检测方法。

本公开实施例3仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器310、至少一个存储器330、连接不同***组件(包括存储器和处理器)的通信总线340。

通信总线340包括数据总线、地址总线和控制总线。

存储器330可以包括易失性存储器，例如随机存取存储器(RAM)和/或高速缓存存储器，还可以进一步包括只读存储器(ROM)。

存储器330还可以包括具有一组(至少一个)程序模块的程序工具，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。

电子设备也可以与一个或多个外部设备(例如键盘、指向设备等)通信。这种通信可以通过通信接口320(输入/输出(I/O)接口)进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1中的车道线检测方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的车道线检测方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种车道线检测方法，其特征在于，包括如下步骤：

S10、获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

S20、采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

S30、网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

S40、图像中每条车道线的关键点顺次相连得到对应的车道线形状；

S50、根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

2.如权利要求1所述的车道线检测方法，其特征在于，所述原始图片中包括了多种场景下的道路，所述多种场景下的道路包括如下场景中的至少两种：城市、乡村、高速公路、夜间、社区、收费站和停车场。

3.如权利要求1或2所述的车道线检测方法，其特征在于，以车道线为中心进行标注的标注类型包括如下类型中的至少一种：包括单独的虚线或实线的正常车道线、虚实相连的线、鱼骨线、一条实线和一条虚线并行的虚实线、双实线。

4.如权利要求2所述的车道线检测方法，其特征在于，所述S50还包括如下步骤：

S501、标定车辆中心位置；

S502、统计训练数据集中若干张所述标注图片中的左、右车道线，压线，和行驶偏离多种场景的Embedding值区间；

S503、根据网络模型输出的车道线的Embedding值与预先标定进行对比，得到此时车辆当前的左右车道线，并判断此时车辆所处状态是处于正常行驶还是行驶偏离状态。

5.如权利要求2所述的车道线检测方法，其特征在于，在S50之后，还包括如下步骤：S60、根据评估预测效果校正网络模型在哪个场景下表现效果较差，通过数据回收机制有针对性的筛选场景，以增加筛选出的场景的训练样本并训练所述网络模型。

6.如权利要求5所述的车道线检测方法，其特征在于，S60还包括对夜间场景进行筛选的步骤：通过标注图片的图像灰度值判断图像是否为夜间图像。

7.如权利要求5所述的车道线检测方法，其特征在于，S60还包括对直道和弯道进行筛选的步骤：根据所述车道线的关键点的坐标进行多项式拟合得到拟合曲线表达式；根据拟合曲线表达式计算多个曲线上点的曲率；判断所述多个曲率的最大值是否超出弯道阈值，如果超出弯道阈值，则判断为弯道，如果未超出弯道阈值，则判断为直道。

8.一种车道线检测***，其特征在于，包括：

训练数据集获取模块，获取具有车道线的原始图片，在原始图片中以车道线的中心进行标注得到标注图片，若干张所述标注图片组成训练数据集；

网络模型训练模块，采用所述训练数据集对网络模型进行训练，所述网络模型包括深度残差网络、特征金字塔网络以及多个检测头，所述深度残差网络用于对标注图片进行特征提取得到不同维度的多维特征图；所述特征金字塔网络将所述多维特征图实现特征复用；所述多个检测头用于根据特征复用后的多维特征图检测车道线的关键点、Embedding值、车道线类型和颜色；

Embedding值获取模块，网络模型输出的关键点通过Embedding值进行聚类得到图像中每条车道线对应的关键点，将聚类中心的Embedding值作为整条车道线的Embedding值；

车道线获取模块，图像中每条车道线的关键点顺次相连得到对应的车道线形状；

行驶偏离判断模块，根据车辆中心位置、关键点、Embedding值、车道线类型和颜色判断车辆是否处于行驶偏离状态。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的车道线检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述的车道线检测方法。

Images