CN109886081A

CN109886081A - 一种车道线形点串提取方法和装置

Info

Publication number: CN109886081A
Application number: CN201811649999.7A
Authority: CN
Inventors: 熊迹; 刘奋; 罗跃军
Original assignee: Wuhan Zhonghai Data Technology Co Ltd
Current assignee: Wuhan Zhonghai Data Technology Co Ltd
Priority date: 2018-12-31
Filing date: 2018-12-31
Publication date: 2019-06-14

Abstract

本发明实施例提供一种车道线形点串提取方法和装置，在训练阶段采用了原始图像训练数据、实例训练数据和二值化训练数据，首先通过编码器加载这些训练数据，然后通的译码器的上采样功能分割出车道线信息，并利用dbsan聚类算法实现车道线的实例分割，在推理阶段，嵌入分支译码器输出的数据为实例数据，分割分支译码器输出的数据为二值化数据，将实例数据和二值化数据相融合，然后利用dbsan聚类算法，可实现对图片中不同的车道线进行实例分割。最后将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

Description

一种车道线形点串提取方法和装置

技术领域

本发明实施例涉及汽车无人驾驶道路标志提取技术领域，更具体地，涉及一种车道线形点串提取方法和装置。

背景技术

高质量的无人驾驶汽车研究工作起步较晚，21世纪初才开始有相关的研究，随着软硬件及相关技术的发展，越来越多的机构和企业开始研究无人驾驶及其相关技术。

在自动驾驶领域，车道线检测一直是关注的重点，主流检测方法分为传统的车道线检测方法和基于深度学习的检测方法，由于传统的车道线检测方法在恶劣环境，图像不清晰等条件下鲁棒性较差。而基于计算机视觉的深度学习技术的更新呈爆发状态。

基于传统方法的车道线检测：李亚娣等人为了解决在夜晚车道线图像比较昏暗，不清晰，而导致车道线检测失效，采用otsu和canny算子相结合的方法，选择图像下半固定区域对车道线进行提取，实现了在夜间对车道线的检测。而鱼兆伟等人认为这种方法，并不适应于路况不好即路面颠簸的情况，提出了一种新的车道线检测方法，该方法基于动态感兴趣区域(roi)算法，可解决路况颠簸的情况。而王鑫等人则采用了双重roi和变间距扫描的方法，可完成对左右车道线区域的快速检测。为了突出车道线检测的实时性，李亭亭等人融合卡尔曼滤波和RANSAC算法可对车道线实时检测与跟踪，但当车道线被污染或部分缺损时，该算法便存在失效的问题。周涛等人利用单目摄像机，实现了车道线的检测与跟踪，但没有实现对车道线的类别进行区分。

上述方法在对车道线特征提取时，很难满足各种实际路况和环境状态，车道线检测的鲁棒性和泛化能力不足。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种车道线形点串提取方法和装置。

第一方面，本发明实施例提供一种车道线形点串提取方法，包括：

获取道路原始图像，提取所述道路原始图像中的二值化分割信息和实例信息；所述二值化分割信息中包括背景信息和车道线信息，所述实例信息包括车道线分类信息；

将所述二值化分割信息和所述实例信息融合后进行聚类，得到实例化目标数据，获取所述实例化目标数据的二值化数据，并获取所述二值化数据的最优连通域的周长，对所述周长进行多边形拟合处理，得到车道线形点串。

作为优选的，提取所述道路原始图像中的二值化分割信息和实例信息前，还包括：

获取原始图像训练数据、实例训练数据和二值化训练数据，并基于编码器进行训练，得到用于提取所述道路原始图像中的二值化分割信息和实例信息的编码器。

作为优选的，获取原始图像训练数据、实例训练数据和二值化训练数据，具体包括：

获取已标注车道线的原始图片，对所述原始图片进行增广，并调整原始图片大小，得到用于训练的原始图像训练数据、实例训练数据和二值化训练数据。

作为优选的，所述编码器包括resnet编码器和pspnet编码器；

所述resnet编码器包括50层的网络层，训练参数为batch_size＝4，decay_rate＝0.1，epoch＝80000，训练的类别为2，验证集的参数为：batch_size＝4；

所述pspnet编码器包括至少4种不同尺度的池化核。

作为优选的，提取所述道路原始图像中的二值化分割信息和实例信息，具体包括：

基于所述编码器提取所述道路原始图像中的二值化分割信息和实例信息；基于嵌入式译码单元输出道路原始图像的实例信息，基于分割式译码单元输出道路原始图像的二值化分割信息。

作为优选的，将所述二值化分割信息和所述实例信息融合后进行聚类，具体包括：

将所述二值化分割信息和所述实例信息融合，并基于dbsan聚类算法进行聚类，以得到所述二值化分割信息的实例化目标数据。

作为优选的，并获取所述二值化数据的最优连通域的周长，具体包括：

对所述实例化目标数据进行连通域分析，去掉小于面积阈值的连通域，得到实例化目标数据的最优连通域，并计算所述最优连通域的周长。

第二方面，本发明实施例提供一种车道线形点串提取装置，包括：

第一模块，用于获取道路原始图像，提取所述道路原始图像中的二值化分割信息和实例信息；所述二值化分割信息中包括背景信息和车道线信息，所述实例信息包括车道线分类信息；

第二模块，用于将所述二值化分割信息和所述实例信息融合后进行聚类，得到实例化目标数据，获取所述实例化目标数据的二值化数据，并获取所述二值化数据的最优连通域的周长，对所述周长进行多边形拟合处理，得到车道线形点串。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提出了一种车道线形点串提取方法和装置，在训练阶段采用了原始图像训练数据、实例训练数据和二值化训练数据，所以通过编码器的加载这些训练数据，然后通的译码器的上采样功能可分割出车道线信息，然后利用dbsan聚类算法实现车道线的实例分割，在推理阶段，嵌入分支译码器输出数据为实例数据，分割分支译码器输出数据为二值化数据，将实例数据和二值化数据相融合，然后利用dbsan聚类算法，可实现对图片中不同的车道线进行实例分割。可将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的车道线形点串提取方法示意图；

图2为根据本发明实施例的车道线形点串提取装置示意图；

图3为根据本发明实施例的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于车道线在图片中表现为细长，同时车道线存在残缺或被遮挡的现象，现有的基于深度学习的车道线检测算法，检测速度不高，不能完成对车道线有效信息的提取，现有的基于深度学习的车道线检测算法，算法过于复杂，训练速度比较慢，推理的速度也比较慢，不能满足对车道线检测时的速度要求，在遇到车道线残缺或被遮挡时，检测精度明显下降；算法训练模型比较大，不能嵌入到存储环境比较小的工控机，而只能嵌入到大型服务器或高性能计算能力的pc端。因此本发明各实施例在训练阶段采用了原始图像训练数据、实例训练数据和二值化训练数据，所以通过编码器的加载这些训练数据，然后通的译码器的上采样功能可分割出车道线信息，然后利用dbsan聚类算法实现车道线的实例分割，将实例数据和二值化数据相融合，然后利用dbsan聚类算法，可实现对图片中不同的车道线进行实例分割。以下将通过多个实施例进行展开说明和介绍。

图1为本发明实施例提供的一种车道线形点串提取方法，包括：

在本实施例中，通过提取道路原始图像中的二值化分割信息和实例信息，将分割出的图像数据进行二值化，计算目标连通域，去掉小于面积阈值的连通域。然后计算目标图像的周长，最后利用多边形拟合算法，提取目标的轮廓点，得到车道线形点串。

为了压缩车道线信息，将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

在上述实施例的基础上，提取所述道路原始图像中的二值化分割信息和实例信息前，还包括：

训练数据包括三类数据：原始图像训练数据、实例训练数据和二值化训练数据。由于在训练阶段采用了原始图像训练数据、实例训练数据和二值化训练数据，所以通过编码器的加载这些训练数据，然后通过采样可分割出车道线信息。

现有的车道线检测方法，当车道线被遮挡或车道线残缺时，检测精度会大幅度下降，不利于对车道线形点数据进行提取。本发明实施例中，在模型训练阶段，对训练数据的标注，采用的是预测式标注，即当车道线被遮挡时，根据车道线的连续性去预测车道线可能的位置，所以训练模型在推理阶段，会体现该模型对车道线的预测能力，同样也可有效解决车道线被遮挡的情况。

在上述各实施例的基础上，获取原始图像训练数据、实例训练数据和二值化训练数据，具体包括：

在本实施例中，训练数据的处理具体包括：

S11、获取n张已经对车道线标注了的图片；

S12、对n张图片进行增广，增广方式包括：增加遮挡噪声，黑白椒盐噪声，高斯滤波。使原始的训练数据达到4n。

S13、获取图像并对图像进行预处理，resize大小，满足训练要求。

S14、resize方法采用双线性插值方法，resize的长宽比例为1:2。

在上述各实施例的基础上，所述编码器包括resnet编码器和pspnet编码器；

所述pspnet编码器包括至少4种不同尺度的池化核。

在本实施例中，训练过程具体包括：

S21、将编码器即resnet+pspnet用于对数据的训练，resnet选择50层的网络层(包含卷积层和全连接层)；

S22、训练的参数为batch_size＝4，decay_rate＝0.1，epoch＝80000，训练的类别设置为2，验证集的参数为：batch_size＝4；

S23、pspnet网络下采样为不同尺度的信息特征，一般选择4种不同尺度的池化核第一种池化核大小为1*1，第二种池化核大小为6*6，第三种池化核大小为9*9，第四行池化核大小为12*12。

在本实施例中，骨干网为resnet编码器，然后将resnet输出的特征，下采样为不同尺度的信息特征，第一行池化核大小为1*1，第二行池化核大小为6*6，第三行池化核大小为9*9，第四行池化核大小为12*12。再通过双线插值使池化后的特征尺寸达到未下采样之前的特征尺寸。然后将不同池化核池化后的特征进行融合。

车道线由于透视的原因随着距离增加，车道线会变得越来越狭小，因此本实施例中通过能检测细小目标的深度学习网络，能对细长小目标进行精确分割。可实现对车道线关键点高精度的提取，降低车道线几何结构的冗余信息。

在上述各实施例的基础上，提取所述道路原始图像中的二值化分割信息和实例信息，具体包括：

在本实施例中，嵌入分支译码器输出数据为实例信息，分割分支译码器输出数据为二值化分割信息；具体的：

S31、译码器分为嵌入式译码单元和分割式译码单元，嵌入式译码单元主要输出的是图像的实例信息，分割式译码单元输出的是二值化分割信息。

S32、将s31提到的两种信息进行融合；

在上述各实施例的基础上，将所述二值化分割信息和所述实例信息融合后进行聚类，具体包括：

S33、并利用dbsan聚类算法进行聚类，可完成对分割数据的实例化。

在上述各实施例的基础上，并获取所述二值化数据的最优连通域的周长，具体包括：

对所述实例化目标数据进行连通域分析，获取实例化目标数据的最优连通域，并计算所述最优连通域的周长。

在本实施例中，将分割结果，用传统图像处理方法，提取不同目标的有效形点，即首先将分割出的图像数据进行二值化，二值化方法选用otsu,接着计算目标连通域，去掉小于面积阈值的连通域。然后计算目标图像的周长，最后利用多边形拟合算法，提取目标的轮廓点。

具体包括：

S41：逐个提取实例化目标数据，然后进行二值化(otsu)处理；

S42：将s41的二值化数据经过连通域的计算，去掉小于面积阈值的连通域，可获取最优连通域信息，然后计算连通域的周长，通过该周长完成多边形拟合算法的处理，可实现对车道线关键点的提取。

本实施例中还提供一种车道线形点串提取装置，基于上述各实施例中的车道线形点串提取方法，如图2所示，包括：

第一模块50获取道路原始图像，提取所述道路原始图像中的二值化分割信息和实例信息；所述二值化分割信息中包括背景信息和车道线信息，所述实例信息包括车道线分类信息；

第二模块60将所述二值化分割信息和所述实例信息融合后进行聚类，得到实例化目标数据，获取所述实例化目标数据的二值化数据，并获取所述二值化数据的最优连通域的周长，对所述周长进行多边形拟合处理，得到车道线形点串。

图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储在存储器830上并可在处理器810上运行的计算机程序，以执行上述各实施例提供的车道线形点串提取方法，例如包括：

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的车道线形点串提取方法，例如包括：

本发明实施例还提供本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行如上述的车道线形点串提取方法，例如包括：

综上所述，本发明实施例提供的一种车道线形点串提取方法和装置，在训练阶段采用了原始图像训练数据、实例训练数据和二值化训练数据，所以通过编码器的加载这些训练数据，然后通的译码器的上采样功能可分割出车道线信息，然后利用dbsan聚类算法实现车道线的实例分割，在推理阶段，嵌入分支译码器输出数据为实例数据，分割分支译码器输出数据为二值化数据，将实例数据和二值化数据相融合，然后利用dbsan聚类算法，可实现对图片中不同的车道线进行实例分割。可将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种车道线形点串提取方法，其特征在于，包括：

2.根据权利要求1所述的车道线形点串提取方法，其特征在于，提取所述道路原始图像中的二值化分割信息和实例信息前，还包括：

3.根据权利要求1所述的车道线形点串提取方法，其特征在于，获取原始图像训练数据、实例训练数据和二值化训练数据，具体包括：

4.根据权利要求2所述的车道线形点串提取方法，其特征在于，所述编码器包括resnet编码器和pspnet编码器；

所述pspnet编码器包括至少4种不同尺度的池化核。

5.根据权利要求2所述的车道线形点串提取方法，其特征在于，提取所述道路原始图像中的二值化分割信息和实例信息，具体包括：

6.根据权利要求1所述的车道线形点串提取方法，其特征在于，将所述二值化分割信息和所述实例信息融合后进行聚类，具体包括：

7.根据权利要求1所述的车道线形点串提取方法，其特征在于，并获取所述二值化数据的最优连通域的周长，具体包括：

8.一种车道线形点串提取装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。