CN114283395A - 车道线检测的方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种车道线检测的方法、装置、设备及计算机可读存储介质，属于自动驾驶技术领域。该方法包括：提取待检测图像的第一特征；基于图像的第一特征预测图像中的消失点和车道线，基于预测结果得到图像的消失点掩码和车道线掩码；基于消失点掩码和车道线掩码获取车道线的中心线和偏移量；利用中心线和偏移量确定出图像中的车道线。本方法基于消失点掩码和车道线掩码得到车道线的中心线和偏移量，使得图像中的消失点的信息和车道线的像素信息得到利用，基于车道线的中心线和偏移量来预测车道线，使得检测车道线的效率更高，准确度也更高。

Description

车道线检测的方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及自动驾驶技术领域，特别涉及一种车道线检测的方法、装置、设备及计算机可读存储介质。

背景技术

自动驾驶技术作为计算机视觉研究的焦点，主要依赖于地图构建和场景感知，而地图构建和场景感知要求对交通场景达到全面的理解。交通场景中，车道线是道路的重要标识之一，因此，车道线检测是全面理解交通场景的重要步骤。

相关技术中，车道线检测是基于语义分割的方法直接对带有车道线信息的图像进行检测，并利用后处理的方法引入消失点信息帮助进行车道线检测，最终通过掩码的形式将检测结果进行输出。

然而，上述方法中，基于语义分割的方法直接对带有车道线信息的图像进行检测的方式使得检测到车道线准确度不高，利用后处理的方式引入消失点信息帮助进行车道线检测的方式效率低。

发明内容

本申请实施例提供了一种车道线检测的方法、装置、设备及计算机可读存储介质，可用于解决相关技术中的问题。所述技术方案如下：

一方面，本申请实施例提供了一种车道线检测的方法，所述方法包括：

提取待检测图像的第一特征，所述图像中包括车道线；

基于所述图像的第一特征预测所述图像中的消失点和车道线，基于预测结果得到所述图像的消失点掩码和车道线掩码，所述消失点掩码用来指示所述消失点的位置，所述车道线掩码用于指示所述车道线的位置；

基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量；

利用所述中心线和所述偏移量确定出所述图像中的车道线。

在一种可能的实现方式中，所述基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量，包括：

基于所述第一特征提取所述图像的第二特征，根据所述图像的第二特征得到所述图像的第二特征映射，所述第二特征的维度高于所述第一特征的维度；

基于所述第二特征映射和车道线掩码生成特征图；

基于所述消失点掩码所指示的所述消失点的位置，在所述第二特征映射中生成所述车道线的候选线；

根据所述候选线在所述第二特征映射中的位置提取所述特征图中的像素，得到车道线描述子，对所述车道线描述子进行分类与回归，得到所述车道线的中心线和偏移量。

在一种可能的实现方式中，所述基于所述消失点掩码所指示的所述消失点的位置，在所述第二特征映射中生成所述车道线的候选线，包括：

在所述第二特征映射中以所述消失点掩码所指示的所述消失点的位置为中心，在参考范围的矩形区域中每隔参考数量个像素生成一个参考点；

以所述参考点为一个端点在角度范围中每间隔参考角度生成一条所述参考点到所述第二特征映射边缘的线，得到所述车道线的候选线。

在一种可能的实现方式中，所述基于所述第二特征映射和车道线掩码生成特征图，包括：

基于所述第二特征映射和所述车道线掩码按照如下公式生成所述特征图：

M_A＝F_A×P_P+F_A

其中M_A为所述特征图，F_A为所述第二特征映射，P_P为所述车道线掩码。

在一种可能的实现方式中，所述对所述车道线描述子进行分类与回归，得到所述车道线的中心线和偏移量，包括：

对所述车道线描述子进行分类，得到所述车道线最小外接矩形短边的中心线，所述中心线垂直平分所述最小外接矩形的短边；

对所述中心线进行回归，得到所述中心线与所述车道线之间的偏移量。

在一种可能的实现方式中，所述利用所述中心线和所述偏移量确定出所述图像中的车道线，包括：

基于所述偏移量对所述中心线对应的坐标进行调整，得到所述车道线上的关键点的坐标；

基于所述关键点的坐标确定所述车道线。

在一种可能的实现方式中，所述利用所述中心线和所述偏移量确定出所述图像中的车道线之后，还包括：

基于透视图注意力图谱确定第一损失函数，基于车道线结构关系确定第二损失函数；

基于所述第一损失函数和所述第二损失函数中的至少一个约束所述车道线的成像细节。

在一种可能的实现方式中，所述透视注意力图谱是基于所述车道线上的点的缩放比例与到所述消失点的距离成反比生成的。

在一种可能的实现方式中，所述车道线结构关系包括车道线之间的平行关系，所述基于所述第一损失函数和所述第二损失函数中的至少一个约束所述车道线的成像细节之前，还包括：

将所述车道线与所述特征图拼接；

将所述车道线与所述特征图拼接后得到的拼接特征映射转换为鸟瞰图，所述鸟瞰图中还原了所述车道线之间的平行关系。

另一方面，提供了一种车道线检测的装置，所述装置包括：

提取模块，用于提取待检测图像的第一特征，所述图像中包括车道线；

预测模块，用于基于所述图像的第一特征预测所述图像中的消失点和车道线，基于预测结果得到所述图像的消失点掩码和车道线掩码，所述消失点掩码用来指示所述消失点的位置，所述车道线掩码用于指示所述车道线的位置；

获取模块，用于基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量；

确定模块，用于利用所述中心线和所述偏移量确定出所述图像中的车道线。

在一种可能的实现方式中，所述获取模块，包括：

提取单元，用于基于所述第一特征提取所述图像的第二特征，根据所述图像的第二特征得到所述图像的第二特征映射，所述第二特征的维度高于所述第一特征的维度；

第一生成单元，用于基于所述第二特征映射和车道线掩码生成特征图；

第二生成单元，用于基于所述消失点掩码所指示的所述消失点的位置，在所述第二特征映射中生成所述车道线的候选线；

分类回归单元，用于根据所述候选线在所述第二特征映射中的位置提取所述特征图中的像素，得到车道线描述子，对所述车道线描述子进行分类与回归，得到所述车道线的中心线和偏移量。

在一种可能的实现方式中，所述第二生成单元，用于在所述第二特征映射中以所述消失点掩码所指示的所述消失点的位置为中心，在参考范围的矩形区域中每隔参考数量个像素生成一个参考点；

以所述参考点为一个端点在角度范围中每间隔参考角度生成一条所述参考点到所述第二特征映射边缘的线，得到所述车道线的候选线。

在一种可能的实现方式中，所述第一生成单元，用于基于所述第二特征映射和所述车道线掩码按照如下公式生成所述特征图：

M_A＝F_A×P_P+F_A

其中M_A为所述特征图，F_A为所述第二特征映射，P_P为所述车道线掩码。

在一种可能的实现方式中，所述分类回归单元，用于对所述车道线描述子进行分类，得到所述车道线最小外接矩形短边的中心线，所述中心线垂直平分所述最小外接矩形的短边；

对所述中心线进行回归，得到所述中心线与所述车道线之间的偏移量。

在一种可能的实现方式中，所述确定模块，用于基于所述偏移量对所述中心线对应的坐标进行调整，得到所述车道线上的关键点的坐标；

基于所述关键点的坐标确定所述车道线。

在一种可能的实现方式中，所述装置，还包括：

约束模块，用于基于透视图注意力图谱确定第一损失函数，基于车道线结构关系确定第二损失函数；基于所述第一损失函数和所述第二损失函数中的至少一个约束所述车道线的成像细节。

在一种可能的实现方式中，所述透视注意力图谱是基于所述车道线上的点的缩放比例与到所述消失点的距离成反比生成的。

在一种可能的实现方式中，所述车道线结构关系包括车道线之间的平行关系，所述装置，还包括：

拼接模块，用于将所述车道线与所述特征图拼接；

转换模块，用于将所述车道线与所述特征图拼接后得到的拼接特征映射转换为鸟瞰图，所述鸟瞰图中还原了所述车道线之间的平行关系。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的车道线检测的方法。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的车道线检测的方法。

另一方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的车道线检测的方法。

本申请实施例提供的技术方案至少带来如下有益效果：

本申请实施例提供的技术方案通过提取并利用图像的第一特征预测消失点和车道线，得到消失点掩码和车道线掩码。基于消失点掩码和车道线掩码得到车道线的中心线和偏移量，使得图像中的消失点的信息和车道线的像素信息得到利用。基于车道线的中心线和偏移量来确定车道线，使得检测车道线的效率更高，准确性也更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种车道线检测的方法的实施环境的示意图；

图2是本申请实施例提供的一种车道线检测的方法的流程图；

图3是本申请实施例提供的一种车道线检测的方法的整体框架图；

图4是本申请实施例提供的一种基于消失点在第二特征映射中生成候选线的示意图；

图5是本申请实施例提供的一种基于消失点在第二特征映射中引导并生成候选线的示意图；

图6是本申请实施例提供的一种基于边框—中心线表示车道线的示意图；

图7是本申请实施例提供的一种生成鸟瞰图的方法流程图；

图8是本申请实施例提供的一种第三特征映射中车道线的示意图；

图9是本申请实施例提供的一种鸟瞰图中车道线的示意图；

图10是本申请实施例提供的一种车道线检测的装置的示意图；

图11是本申请实施例提供的一种服务器的结构示意图；

图12是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例提供了一种车道线检测的方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括：终端11和服务器12。其中，终端11安装有能够拍摄图像的摄像头，可以实时地获取带有车道线信息的图像，并能够上传到服务器12。服务器12可以对终端11上传的带有车道线信息的图像进行车道线检测，并可以将检测结果返回给终端11。终端11能够接收来自服务器12的信息并显示。可选地，终端11还安装有处理器，可以对带有车道线信息的图像进行车道线检测。终端11还可以从服务器12上获取需要显示的信息。当然，终端11也可以对获取的信息进行存储。

可选地，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如导航仪、PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。

本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于上述图1所示的实施环境，本申请实施例提供一种车道线检测的方法，该方法应用于计算机设备，该计算机设备可以为服务器12，也可以为终端11。本申请实施例以该方法应用于终端11为例进行说明。如图2所示，本申请实施例提供的方法可以包括如下步骤201至步骤204。

步骤201，提取待检测图像的第一特征。

待检测图像为终端获取的带有车道线等道路信息的图像，是需要检测车道线的图像。可选地，终端可以是手机、导航仪等可以获取图像的设备，可选地，终端还可以是光学摄像头，包括单摄像头、多摄像头等。其中，车道线是带有特定含义的道路划线，例如，导向车道线、道路上的白虚线、白实线等。例如，该图像为图3中的301所示的图像。

在一种可能的实现方式中，提取待检测图像的第一特征，包括采用第一神经网络提取图像的第一特征。可选地，第一神经网络可以是任一移去全局池化层和全连接层的残差网络。示例性地，在利用第一神经网络提取图像第一特征的过程中，首先得到5个残差连接的模块，分别记为ε_i(π_i)(i＝1,2,…5)。为获得更大尺度的特征映射，使ε₅(π₅)通过256个通道的3×3卷积，并对卷积结果进行2倍上采样，将上采样后的结果与ε₄(π₄)进行对应元素逐个相加得到ε₄ ^′(π^′ ₄)，ε₄ ^′(π^′ ₄)是图像经过第一神经网络提取第一特征后得到的第一特征映射。示例性地，第一神经网络对应图3中的302。

其中，第一特征映射是对图像数据的一种表达，是常见的深度学习特征。示例性地，对于H×W的输入图像，经第一神经网络提取特征后输出的特征映射的大小为

步骤202，基于图像的第一特征预测图像中的消失点和车道线，基于预测结果得到图像的消失点掩码和车道线掩码。

在一种可能实现的方式中，基于图像的第一特征预测图像中的消失点和车道线，基于预测结果得到图像的消失点掩码和车道线掩码，包括：将步骤201中提取图像的第一特征得到的第一特征映射作为第二神经网络的输入，通过第二神经网络预测出图像中的消失点和车道线，并将消失点的位置和车道线的位置通过掩码的形式输出。示例性地，步骤202对应图3中的303生成消失点掩码和图3中306生成车道线掩码。消失点掩码对应图3中的305，车道线掩码对应图3中的307。消失点是指图像中的线条在远处汇聚的点，在本申请实施例中，消失点指的是车道线在远处汇聚的点。

第二神经网络是用来预测消失点和车道线的神经网络，本申请实施例不对第二神经网络的组成做限制。可选地，第二神经网络的组成包括空洞空间卷积池化金字塔304、3*3卷积、归一化函数softmax。其中，空洞空间卷积池化金字塔利用空洞空间卷积池化金字塔对第一特征映射进行空洞卷积和下采样，进行空洞卷积和下采样的作用是将特征映射的分辨率融合，从而使得经过空洞空间卷积池化金字塔处理后的第一特征映射可以提取多个分辨率。softmax可以将多个特征按照各自的权重进行乘加并得到结果，softmax在第二神经网络中的作用是将输入到softmax的特征进行归一化处理。

需要说明的是，图3中303和306所示的过程中均未将第二神经网络的全部组成画出，画出的内容仅为帮助理解本申请实施例。

图像掩码是将图像中的目标位置突出显示，示例性地，本申请实施例中的消失点掩码和车道线掩码是将消失点和车道线分别突出显示，可选地，如图3中305，将消失点所在的目标区域显示为白色，除消失点之外的非目标区域显示为黑色。

在示例性实施例中，消失点的预测是将真实的消失点进行人工标注，利用第二神经网络学习真实的消失点使得预测的消失点逼近真实的消失点。其中，约束预测的消失点逼近真实的消失点是通过损失函数来实现的。可选地，用于约束预测的消失点逼近真实的消失点的损失函数可以为交叉熵损失函数：

其中，

为消失点预测分支，G_V为人工标注的真实的消失点，BCE(，)为交叉熵损失函数。人工标注的真实的消失点是指人为的将真实的消失点进行标注，作用是使得第二神经网络学习真实的消失点，并通过损失函数对预测的消失点进行约束，使得预测的消失点逼近真实的消失点。

在示例性实施例中，车道线的预测是将真实的车道线进行人工标注，利用第二神经网络学习真实的车道线使得预测的车道线逼近真实的车道线。其中，约束预测的车道线逼近真实的车道线是通过损失函数来实现的。可选地，用于约束预测的车道线逼近真实的车道线的损失函数可以为交叉熵损失函数：

其中，

为预测车道线的分支，G_P为人工标注的真实的车道线，BCE(，)为交叉熵损失函数。人工标注的真实的车道线是指人为的将真是的车道线进行标注，作用是使得第二神经网络学习真实的车道线，并通过损失函数对预测的车道线进行约束，使得预测的车道线逼近真实的车道线。

得到消失点掩码和车道线掩码，包括：通过第二神经网络得到预测的消失点和预测的车道线后，将预测的消失点和预测的车道线通过掩码的形式输出。也就是说，将第一特征映射输入到第二神经网络后，根据人工标注的样本不同，输出消失点掩码或者车道线掩码。例如，人工标注的样本为真实的消失点时，通过本步骤输出消失点掩码，人工标注的样本为真实的车道线时，通过本步骤输出车道线掩码。

步骤203，基于消失点掩码和车道线掩码获取车道线的中心线和偏移量。

在一种可能的实现方式中，该步骤203包括步骤2031-步骤2035。

步骤2031，基于第一特征提取图像的第二特征，得到图像的第二特征映射。

其中，第二特征的维度高于第一特征的维度。在一种可能的实现方式中，基于第一特征提取图像的第二特征，得到图像的第二特征映射指的是调用第三神经网络在第一特征映射的基础上再次提取第二特征，得到图像的第二特征映射，其中，第三神经网络对应图3中的308。本申请实施例不对第三神经网络的组成做限制。可选地，第三神经网络是包括几个卷积层的神经网络，利用第三神经网络提取第二特征的过程是对第一特征映射进行多次卷积处理并得到图像的第二特征映射。本申请实施例不对第三神经网络包括的卷积层的数量进行限定，第三神经网络卷积层的数量可基于应用场景设定。

步骤2032，基于第二特征映射和车道线掩码生成特征图。

在一种可能实现的方式中，第二特征映射和车道线掩码按照公式M_A＝F_A×P_P+F_A来生成特征图，其中，M_A为特征图，P_P为车道线掩码，F_A为第二特征映射。示例性地，特征图对应图3中的310。

步骤2033，基于消失点掩码所指示的消失点的位置，在第二特征映射中生成车道线的候选线。

在一种可能的实现方式中，基于消失点掩码所指示的消失点的位置，在第二特征映射中生成车道线的候选线，包括：在第二特征映射中以消失点掩码所指示的消失点的位置为中心，在参考范围的矩形区域中每隔参考数量个像素生成一个参考点；以参考点为一个端点在角度范围中每间隔参考角度生成一条参考点到第二特征映射边缘的线，得到车道线的候选线。

示例性地，基于消失点掩码所指示的消失点的位置，在第二特征映射中生成车道线的候选线的过程可认为是图3中305到309的过程。

本步骤将结合图4所示的一种基于消失点在第二特征映射中生成候选线的示意图和图5所示的一种基于消失点在第二特征映射中引导并生成候选线的示意图来辅助说明。图4和图5仅为了辅助说明该步骤的内容，并不代表实际的意义。

如图4所示，401所示的网格为第二特征映射上的像素点；402所示的点为第二特征映射上的消失点，第二特征映射上的消失点是根据步骤202预测到的消失点所在的位置在第二特征映射上对应的位置得到的消失点；403所示的虚线为候选线。其中，候选线403可以理解为是以消失点402为一个端点且在第二特征映射内的线，可选地，候选线403可以是以消失点402为一个端点到第二特征映射边缘的线。

在一种可能的实现方式中，基于消失点生成候选线是在第二特征映射中以消失点402为一个端点，生成到第二特征映射边缘的线。示例性地，生成的候选线的角度范围是[0,180]，每间隔参考角度例如5度生成一个候选线，则共生成37个候选线。

如图5所示，501所示的网格为第二特征映射上的像素点，502所示的点是以消失点为中心在W_anchor×W_anchor的矩形区域中每间隔S_anchor个像素生成的参考点，503所示的点为第二特征映射上的消失点，504所示的虚线为候选线。其中，候选线504可以是以消失点503为端点且在第二特征映射内的线，也可以是以参考点502为端点且在第二特征映射内的线。可选地，候选线504可以是以消失点503或者参考点502为端点到第二特征映射边缘的线。其中，W_anchor和S_anchor为可设定值，参考点502包含消失点503。

在一种可能的实现方式中，基于消失点在第二特征映射中引导并生成候选线是在第二特征映射中以参考点502为端点，生成到第二特征映射边缘的线。示例性地，生成的候选线的角度范围是[0,180]，每间隔参考角度例如5度取一个候选线，共生成候选线的数量为：候选线的数量＝37×参考点的数量。其中，37是指每一个参考点按照生成的候选线的角度范围是[0,180]，每间隔5度生成一个候选线的方法都会生成37个候选线。

实际上，图5代表的方法生成的候选线包含了图4代表的方法所生成的候选线，所以，为保证生成的候选线足够稠密，本步骤中选用图5所代表的方法来生候选线，对图4所示的方法进行说明是为了帮助说明本步骤中生成候选线的整个过程。需要说明的是，图4和图5中的候选线用虚线表示仅为方便区分，并不代表生成的候选线是虚线的含义。另外，图4和图5中并未将所有的候选线画出，仅画出部分候选线用于帮助理解本实施例。

步骤2034，根据候选线在第二特征映射中的位置提取特征图中的像素，得到车道线描述子。

在一种可能实现的方式中，根据候选线在第二特征映射中的位置提取特征图中的像素是指根据在第二特征映射中生成的候选线的位置，提取特征图对应位置的像素，利用每一个候选线对应提取到的像素串为一个车道线描述子。其中，车道线描述子对应3中的311。

步骤2035，对车道线描述子进行分类与回归，得到车道线的中心线和偏移量。

在一种可能的实现方式中，对车道线描述子进行分类是将车道线描述子作为第四神经网络的输入，利用第四神经网络对车道线描述子进行分类，得到中心线。第四神经网络是可以对车道线描述子进行分类的神经网络，例如，对应图3中的312。其中，312所代表的神经网络包含第四神经网络，还包含第五神经网络。

本申请实施例不对第四神经网络的组成做限制，能完成本步骤中对车道线描述子分类的神经网络均可作为第四神经网络，示例性地，第四神经网络是包括几层卷积的神经网络，卷积的层数可基于应用场景设定。分类是二分类，对车道线描述子的分类结果是将车道线描述子区分为是中心线或者不是中心线，分类结果对应图3中的314。

在图3中的314中，conf⁰与conf^L-1是第0个和第L-1(L为不小于2的整数)个车道线描述子是中心线的置信度，当车道线描述子的置信度超过置信度阈值时认为该车道线描述子为中心线，置信度的阈值通过线之间的非极大值来抑制与控制。Type⁰与Type^L-1是第0和第L-1个车道线描述子的类型，车道线描述子的类型可以是中心线，或者不是中心线。其中，中心线指的是图像中车道线的最小外接矩形中垂直平分矩形短边的线，如图6中的604所示。

在一种可能的实现方式中，在第四神经网络对车道线描述子进行分类时利用损失函数对分类结果进行约束。示例性地，对分类结果进行约束是通过如下损失函数L_C来实现的。

其中，

为第四神经网络预测到的中心线，

为人工标注真实的中心线，L_lane为车道线。

在一种可能的实现方式中，对车道线描述子的回归是在得到分类结果的基础上进行的，对车道线描述子进行分类后得到是中心线的车道线描述子后，再对是中心线的车道线描述子进行回归处理。在一种可能的实现方式中，回归是指将车道线的中心线作为输入，利用第五神经网络对中心线进行回归，得到车道线与中心线的偏移量。第五神经网络是可以预测车道线与中心线的偏移量的神经网络，本申请对第五神经网络是哪种具体的神经网络不做限制，示例性地，第五神经网络由几层卷积组成，卷积的层数可基于应用场景设定。

车道线与中心线的偏移量是指车道线和中心线在横坐标上的差值，偏移量的预测结果对应图3中的313。其中，Len指的是预测的车道线的长度，

指的是车道线上的关键点到与车道线对应的中心线的横向距离。

指的是第0条车道线上的第0个关键点的偏移量，

指的是第0条车道线上的第L-1个关键点的偏移量，

指的是第L-1条车道线上的第0个关键点的偏移量，

指的是第L-1条车道线上的第L-1个关键点的偏移量。其中，关键点是车道线上等纵坐标间隔的点，纵坐标间隔是可设定值，本申请实施例对纵坐标间隔是哪一个具体值不做限制。

在一种可能的实现方式中，在利用第五神经网络对中心线进行回归得到偏移量时利用损失函数对分类结果进行约束。示例性地，对偏移量的约束是通过如下损失函数L_R来实现的。

其中，

为第五神经网络预测到的偏移量，

为人工标注真实的偏移量，SL1(，)代表smooth L1损失函数。

步骤204，利用中心线和偏移量确定出图像中的车道线。

在一种可能的实现方式中，利用中心线和偏移量可以预测出图像中的车道线可以基于本申请实施例提供的一种边框—中心线表示车道线的方法实现，为方便理解边框—中心线表示车道线的方法，本步骤将结合图6来说明。

图6中，601指的是含有车道线的图像，602指的是车道线，603指的是车道线的最小外接矩形R，604指的是中心线L_center，605指的是角θ，606指的是车道线上的关键点，607指的是车道线与中心线L_center的偏移量。

R 603是根据车道线的掩码计算得到，其中，定义R的长与宽为h与w，L_center604是垂直于R短边的中心线。角θ605是x轴正半轴与L_center之间顺时针的夹角，其中，x轴是直角坐标系中水平方向的坐标轴。车道线上的关键点606通过对车道线602取一系列纵坐标间隔相等的关键点得到，纵坐标间隔是可设定值，本申请实施例对纵坐标间隔是哪一个具体值不做限制。

一系列纵坐标间隔相等的关键点的纵坐标集合为Y＝{y_i}，相应的横坐标集合为X＝{x_i}，其中：

其中，P是贯穿图像601长度H的关键点的数目，H为图像长度。对于一个确定的图像来说P和H是已知的，所以车道线上的关键点606的纵坐标是已知的。L_center可以使用直线的一般式表示为：

ax+by+c＝0,a≠0or b≠0

其中，a、b、c能够使用θ与在L_center上的任意一点计算出来。当L_center上点的纵坐标是y_center时，相应的横坐标为：

根据x_center可以得到车道线与中心线在横坐标上的偏移量ΔX：

进而得到车道线的横坐标X：

其中，x_i是车道线与中心线为同一纵坐标时车道线上点的横坐标。

由

可知，通过中心线上点的横坐标和偏移量相加可以得到车道线上点的横坐标。另外，车道线上的关键点606的纵坐标是已知的。所以通过中心线和偏移量可以得到车道线上关键点的坐标，进而利用车道线上的关键点得到车道线。

本步骤204中，中心线和偏移量由步骤2035得到，得到中心线和偏移量后，再基于边框—中心线的方法，将中心线和偏移量相加可以得到预测的车道线，预测到的车道线对应图3中的315。

在一种可能的实现方式中，在得到预测的车道线结果后，为使得预测的车道线在成像细节上更优，需要基于透视注意力图谱得到的第一损失函数和基于车道线结构关系得到的第二损失函数中的至少一个约束预测的车道线的成像细节。

在成像的过程中，远处的物体在图像上会变得较小，远处的距离信息没有得到应有的重视，并且车道线上的点的缩放比例与到消失点的距离成反比。在一中可能实现的方式中，基于注意力的权重与到消失点的距成二维高斯分布，在全图上生成透视注意力图谱，生成的透视注意力图谱对应图3中的316。透视注意力图谱根据图像上的点到消失点的距离自适应的调整第一损失函数的权重，保证了远处的偏移量回归的准确性。

车道线上的点的缩放比例与到消失点的距离成反比指的是车道线上距离消失点越近的点，缩放比例就越大，在图像上形成的点就越小。反之，车道线上距离消失点越远的点，缩放比例越小，在图像上形成的点就越大。

在一种可能的实现方式中，透视注意力图谱根据图像上的点到消失点的距离自适应地调整第一损失函数的权重是指，图像中车道线上的点距离消失点越近，权重越大。因为车道线上的点与消失点的距离与缩放比例成反比，所以车道线上的点距离消失点越小缩放比例就越大，越容易被忽略，所以需要根据图像上的点到消失点的距离自适应地调整第一损失函数的权重。自适应地调整第一损失函数的权重能够使得距离消失近的点可以在成像过程中获得更多的关注。可选地，第一损失函数可以为：

其中，L_lane为车道线，L为车道线的数量，p代表第p个关键点，L1(，)为范数损失函数，

为预测的偏移量，

为真实偏移量，|·|代表归一化到[0,1]。

基于透视注意力图谱得到的第一损失函数对预测的车道线进行约束，使得预测的车道线在成像细节上更优，其中，基于透视注意力图谱得到的第一损失函数对预测的车道线进行约束的关系通过图3中316到315的虚线箭头体现。

实际中的车道线都会遵守默认的结构关系。例如车道线之间的平行关系，但由于成像的原因，车道线之间的平行关系在视角转换后不再存在，但可以通过几何关系去还原，利用还原后的平行的车道线可以对预测的车道线的成像细节进行约束。

本申请实施例不对如何得到车道线的平行关系进行限定，例如，参见图7，包括但不限定采用图7所示的方法得到车道线的平行关系。

701，将预测到的车道线和特征图进行拼接，得到拼接后的第三特征映射。

预测到的车道线是步骤204得到的车道线，特征图是步骤2032中得到的特征图。将预测到的车道线和特征图拼接是将预测到的车道线和特征图的特征进行拼接得到第三特征映射，拼接后的第三特征映射中的车道线如图8所示，801所指示的为一条车道线。

702，调用第六神经网络学习H矩阵。

在一种可能实现的方式中，H矩阵是一个3*3的矩阵，第六神经网络用于学习H矩阵，H矩阵是可以将图像转换为该图像鸟瞰图的矩阵。本申请实施例不对第六神经网络的组成做限制，可以学习并得到H矩阵的神经网络均可作为第六神经网络，示例性地，第六神经网络包括几层卷积，卷积的层数可根据应用场景设置，本申请实施例对此不做限制。其中，第六神经网络对应图3中的317，矩阵H对应图3中的318。

703，通过H矩阵将第三特征映射转换为鸟瞰图。

在一种可能实现的方式中，通过H矩阵将第三特征映射转换为鸟瞰图指的是利用H矩阵对第三特征映射进行IPM(Inverse Perspective Mapping，逆透视变换)处理，得到鸟瞰图。鸟瞰图中车道线如图9所示，901所指示的为一条车道线，其中，鸟瞰图对应图3中的319。拼接后的特征中每一条车道线L_Lane经过转换后得到鸟瞰图中L^′ _Lane，在鸟瞰图中不同的L^′ _Lane保持平行关系。因此对于一张图片中的两个车道线L_Lane1和L_Lane2，通过第六神经网络学***行的L^′ _Lane1和L^′ _Lane2。L^′ _Lane1和L^′ _Lane2可以通过以下的线性表达式拟合：

a₁*x+b₁*y+c₁＝0

a₂*x+b₂*y+c₂＝0

因L^′ _Lane1和L^′ _Lane2相互平行，因此可以得到a₁*b₂＝a₂*b₁。扩展到所有的车道线，可以得到如下的第二损失函数L_L：

其中，i和j代表的是第i条车道线和第j条车道线，a_i、b_i和a_j、b_j代表的是第i条车道线和第j条车道线用一般式表时的系数，L1(，)为范数损失函数，L代表车道线的数量。

基于车道线结构关系得到的第二损失函数对预测的车道线的成像细节进行约束，使得预测的车道线在成像细节上更优。

需要说明的是，图8和图9仅为帮助理解本实施例，并不构成对车道线的结构关系的约束，也不构成对车道线数量的约束。

上述方法通过提取并利用图像的第一特征预测消失点和车道线，得到消失点掩码和车道线掩码。基于消失点掩码和车道线掩码得到车道线的中心线和偏移量，使得图像中的消失点的信息和车道线的像素信息得到利用。基于车道线的中心线和偏移量来确定车道线，使得检测车道线的效率更高，准确性也更高。基于透视注意力图谱得到的第一损失函数和基于车道线结构关系得到的第二损失函数中的至少一个约束预测的车道线的成像细节，使得检测得到的车道线的成像细节更优。

参见图10，本申请实施例提供了一种车道线检测的装置，该装置包括：

提取模块1001，用于提取待检测图像的第一特征，图像中包括车道线；

预测模块1002，用于基于图像的第一特征预测图像中的消失点和车道线，基于预测结果得到图像的消失点掩码和车道线掩码，消失点掩码用来指示消失点的位置，车道线掩码用于指示车道线的位置；

获取模块1003，用于基于消失点掩码和车道线掩码获取车道线的中心线和偏移量；

确定模块1004，用于利用中心线和偏移量确定出图像中的车道线。

在一种可能的实现方式中，获取模块1003，包括：

提取单元，用于基于第一特征提取图像的第二特征，根据图像的第二特征得到图像的第二特征映射，第二特征的维度高于第一特征的维度；

第一生成单元，用于基于第二特征映射和车道线掩码生成特征图；

第二生成单元，用于基于消失点掩码所指示的消失点的位置，在第二特征映射中生成车道线的候选线；

分类回归单元，用于根据候选线在第二特征映射中的位置提取特征图中的像素，得到车道线描述子，对车道线描述子进行分类与回归，得到车道线的中心线和偏移量；

在一种可能的实现方式中，第二生成单元，用于在第二特征映射中以消失点掩码所指示的消失点的位置为中心，在参考范围的矩形区域中每隔参考数量个像素生成一个参考点；

以参考点为一个端点在角度范围中每间隔参考角度生成一条参考点到第二特征映射边缘的线，得到车道线的候选线。

在一种可能的实现方式中，第一生成单元，用于基于第二特征映射和车道线掩码按照如下公式生成特征图：

M_A＝F_A×P_P+F_A

其中M_A为特征图，F_A为第二特征映射，P_P为车道线掩码。

在一种可能的实现方式中，分类回归单元，用于对车道线描述子进行分类，得到车道线最小外接矩形短边的中心线，中心线垂直平分最小外接矩形的短边；

对中心线进行回归，得到中心线与车道线之间的偏移量。

在一种可能的实现方式中，确定模块1004，用于基于偏移量对中心线对应的坐标进行调整，得到车道线上的关键点的坐标；

基于关键点的坐标确定车道线。

在一种可能的实现方式中，该装置还包括：

约束模块，用于基于透视图注意力图谱确定第一损失函数，基于车道线结构关系确定第二损失函数；基于第一损失函数和第二损失函数中的至少一个约束车道线的成像细节。

在一种可能的实现方式中，透视注意力图谱是基于车道线上的点的缩放比例与到消失点的距离成反比生成的。

在一种可能的实现方式中，车道线结构关系包括车道线之间的平行关系，该装置还包括：

拼接模块，用于将车道线与特征图拼接；

转换模块，用于将车道线与特征图拼接后得到的拼接特征映射转换为鸟瞰图，鸟瞰图中还原了车道线之间的平行关系。

上述装置通过提取并利用图像的第一特征预测消失点和车道线，得到消失点掩码和车道线掩码。基于消失点掩码和车道线掩码得到车道线的中心线和偏移量，使得图像中消失点的信息和车道线的像素信息得到利用。基于车道线的中心线和偏移量来确定车道线，使得检测车道线的效率更高，准确性也更高。基于透视注意力图谱得到的第一损失函数和基于车道线结构关系得到的第二损失函数中的至少一个约束预测的车道线的成像细节，使得预测的车道线的成像细节更优。

需要说明的是，上述图10提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11是本申请实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1101和一个或多个存储器1102，其中，该一个或多个存储器1102中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1101加载并执行，以使该服务器实现上述各个方法实施例提供的车道线检测的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

图12是本申请实施例提供的一种电子设备的结构示意图。该电子设备可以是终端，该终端可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行，以使该终端实现本申请中方法实施例提供的车道线检测的方法。

在一些实施例中，终端还可选包括有：***设备接口1203和至少一个***设备。处理器1201、存储器1202和***设备接口1203之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1203相连。具体地，***设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

***设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和***设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和***设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置在终端的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏1205可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件1208可以是基于美国的GPS(Global PositioningSystem，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。

电源1209用于为终端中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo(商标)时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在终端的前面板。接近传感器1216用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种车道线检测的方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种车道线检测的方法。

在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种车道线检测的方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种车道线检测的方法，其特征在于，所述方法包括：

提取待检测图像的第一特征，所述图像中包括车道线；

基于所述图像的第一特征预测所述图像中的消失点和车道线，基于预测结果得到所述图像的消失点掩码和车道线掩码，所述消失点掩码用来指示所述消失点的位置，所述车道线掩码用于指示所述车道线的位置；

基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量；

利用所述中心线和所述偏移量确定出所述图像中的车道线。

2.根据权利要求1所述的方法，其特征在于，所述基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量，包括：

基于所述第一特征提取所述图像的第二特征，根据所述图像的第二特征得到所述图像的第二特征映射，所述第二特征的维度高于所述第一特征的维度；

基于所述第二特征映射和车道线掩码生成特征图；

基于所述消失点掩码所指示的所述消失点的位置，在所述第二特征映射中生成所述车道线的候选线；

根据所述候选线在所述第二特征映射中的位置提取所述特征图中的像素，得到车道线描述子，对所述车道线描述子进行分类与回归，得到所述车道线的中心线和偏移量。

3.根据权利要求2所述的方法，其特征在于，所述基于所述消失点掩码所指示的所述消失点的位置，在所述第二特征映射中生成所述车道线的候选线，包括：

在所述第二特征映射中以所述消失点掩码所指示的所述消失点的位置为中心，在参考范围的矩形区域中每隔参考数量个像素生成一个参考点；

以所述参考点为一个端点在角度范围中每间隔参考角度生成一条所述参考点到所述第二特征映射边缘的线，得到所述车道线的候选线。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第二特征映射和车道线掩码生成特征图，包括：

基于所述第二特征映射和所述车道线掩码按照如下公式生成所述特征图：

M_A＝F_A×P_P+F_A

其中M_A为所述特征图，F_A为所述第二特征映射，P_P为所述车道线掩码。

5.根据权利要求2所述的方法，其特征在于，所述对所述车道线描述子进行分类与回归，得到所述车道线的中心线和偏移量，包括：

对所述车道线描述子进行分类，得到所述车道线最小外接矩形短边的中心线，所述中心线垂直平分所述最小外接矩形的短边；

对所述中心线进行回归，得到所述中心线与所述车道线之间的偏移量。

6.根据权利要求1所述的方法，其特征在于，所述利用所述中心线和所述偏移量确定出所述图像中的车道线，包括：

基于所述偏移量对所述中心线对应的坐标进行调整，得到所述车道线上的关键点的坐标；

基于所述关键点的坐标确定所述车道线。

7.根据权利要求1-6任一所述的方法，其特征在于，所述利用所述中心线和所述偏移量确定出所述图像中的车道线之后，还包括：

基于透视图注意力图谱确定第一损失函数，基于车道线结构关系确定第二损失函数；

基于所述第一损失函数和所述第二损失函数中的至少一个约束所述车道线的成像细节。

8.根据权利要求7所述的方法，其特征在于，所述透视注意力图谱是基于所述车道线上的点的缩放比例与到所述消失点的距离成反比生成的。

9.根据权利要求7所述的方法，其特征在于，所述车道线结构关系包括车道线之间的平行关系，所述基于所述第一损失函数和所述第二损失函数中的至少一个约束所述车道线的成像细节之前，还包括：

将所述车道线与所述特征图拼接；

将所述车道线与所述特征图拼接后得到的拼接特征映射转换为鸟瞰图，所述鸟瞰图中还原了所述车道线之间的平行关系。

10.一种车道线检测的装置，其特征在于，所述装置包括：

提取模块，用于提取待检测图像的第一特征，所述图像中包括车道线；

预测模块，用于基于所述图像的第一特征预测所述图像中的消失点和车道线，基于预测结果得到所述图像的消失点掩码和车道线掩码，所述消失点掩码用来指示所述消失点的位置，所述车道线掩码用于指示所述车道线的位置；

获取模块，用于基于所述消失点掩码和车道线掩码获取所述车道线的中心线和偏移量；

确定模块，用于利用所述中心线和所述偏移量确定出所述图像中的车道线。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至9任一所述的车道线检测的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至9任一所述的车道线检测的方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现如权利要求1至9任一所述的车道线检测的方法。

Images