CN113449650A - 一种车道线检测***及方法 - Google Patents

Abstract

本发明公开了一种车道线检测***及方法，***包括：摄像头信号获取模块、激光雷达信号获取模块、时空配准模块、摄像头信号预处理模块及多任务车道线检测模块；本发明融合了激光雷达和摄像头的信息，能够适应光照条件变化下的车道线检测任务；使用多任务思想建立车道线检测模型，同时确定车道线位置并识别车道线的类型，提高了网络效率，优化了资源配置。

Description

一种车道线检测***及方法

技术领域

本发明属于智能驾驶技术领域，具体涉及一种车道线检测***及方法。

背景技术

随着汽车保有量的日益增加，道路交通逐渐趋于密集化和复杂化，进而导致驾驶压力的增大，使得驾驶员在正常交通场景下的驾驶能力下降，大大增加了交通事故的发生几率。其中，换道行为是导致交通事故和交通拥堵的重要致因之一，尤其在城市区域，车流密度大，极易发生换道碰撞事故，甚至导致连环追尾碰撞。相对于人类驾驶，智能驾驶***具有反应时间短、感知精度高等优点，因此研究智能驾驶技术对于减少因人为因素导致的交通事故具有十分重要的意义。

目前换道决策技术的研究中，大多集中于其他车辆运动状态对决策的影响，然而现实交通状况下，换道决策的执行必须符合交通法规，这就需要***能分析车道线信息。然而现有技术中，只能对是否存在车道线进行分类，而换道决策需要更加具体的车道线信息，如是否为虚线。激光雷达可以全天候工作，且较视觉传感器有更远的检测距离，可以提供曲率信息；相机可以获取更丰富的场景信息，天气条件良好，近距离的检测效果具有很高的准确性，对二者进行信息融合可以实现传感器数据互补，从而获得更完备的车道线信息，提高***的车道线检测能力。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种车道线检测***及方法，以解决现有技术中恶劣光照条件下的车道线检测的问题；本发明融合了激光雷达和摄像头的信息，能够适应光照条件变化下的车道线检测任务；使用多任务思想建立车道线检测模型，同时确定车道线位置并识别车道线的类型，提高了网络效率，优化了资源配置。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种车道线检测***，包括：摄像头信号获取模块、激光雷达信号获取模块、时空配准模块、摄像头信号预处理模块及多任务车道线检测模块；其中，

所述摄像头信号获取模块，用于采集行驶车辆前方道路图像数据；

所述激光雷达信号获取模块，用于感知行驶车辆前方道路场景点云数据；

所述时空配准模块包括：传感器数据时间配准和传感器数据空间配准；传感器数据时间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据统一到相同的时间坐标系下；传感器数据空间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据转换到相同的坐标系中；

所述摄像头信号预处理模块，用于将经过时间配准、空间配准后的道路图像数据进行逆透视变换，提取图像中的ROI区域；

所述多任务车道线检测模块，用于建立多任务车道线检测模型，其包括：图像特征提取模块、点云特征提取模块、特征融合模块、车道线生成模块及车道线分类模块；

所述图像特征提取模块，将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

所述点云特征提取模块，将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；

所述特征融合模块，基于特征融合网络将所述车道线位置特征向量F₁和车道线特征向量F₃进行融合，根据输入的特征向量动态调整激光雷达和摄像头特征的注意力权重，计算注意力权重和原特征向量的加权和，作为融合后的车道线位置特征向量；

所述车道线生成模块，将融合后得到的车道线位置特征向量，输入车道线生成网络，确定车道线的位置，并基于最小二乘法，拟合车道线；

所述车道线分类模块，将融合后得到的位置特征向量和车道线类别特征向量F₂输入车道线分类网络，由SoftMax函数输出车道线检测的多类别的概率分布。

进一步地，所述摄像头信号预处理模块用于逆透视变换和提取ROI区域；设摄像头与地面之间的高度值为h，对应的俯仰角为θ，横摆角为α，f_u为图像平面在u方向上的等效焦距，f_v为图像平面在v方向上的等效焦距，(c_u,c_v)对应的是图像平面的光学中心；根据摄像头的安装位置确定上述各参数，然后通过变换矩阵T确定路面中的任意一点与图像坐标系的对应关系：

式中，a₁＝cosθ,a₂＝cosα,b₁＝sinθ,b₂＝sinα，通过奇异值分解对变换矩阵T广义逆矩阵进行求解，完成图像的逆透视变换。

截取经逆透视变换后的下部分图像为车道线检测的ROI区域。

进一步地，所述车道线位置特征向量F₁和车道线类别特征向量F₂的计算过程为：基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

进一步地，所述车道线特征向量F₃的计算过程为：基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合。

进一步地，所述车道线分类模块输出的车道线类别为：无车道线，白实线，白虚线，白色双实线，单黄实线，双黄实线。

本发明还提供一种车道线检测方法，步骤如下：

1)获取行驶车辆前方图像集合I及点云集合P；

2)对所述图像集合I及点云集合P进行时间配准和空间配准；

3)对经过时空配准后的图像作逆透视变换，并提取图像中的ROI区域；

4)建立多任务车道线检测模型；

5)采集行驶车辆前方图像和对应的点云数据，建立真实车道线位置和类别标签，用于训练步骤4)中所建立的多任务车道线检测模型，以获取所建立的车道线检测模型的网络参数，以降低损失函数为目标训练多任务车道线检测模型；

6)将训练好的模型用于检测当前场景，获取场景中的图像和点云数据，经过步骤2)和3)处理后，作为车道线检测模型的输入，得到当前行驶车辆前方的车道线位置和车道线类别。

进一步地，所述对所述图像集合I及点云集合P进行时间配准采用选择最小二乘配准法，内插外推法或拉格朗日插值法。

进一步地，所述对所述图像集合I及点云集合P进行空间配准具体包括：通过图像坐标系、像素坐标系和世界坐标系为中介，实现激光雷达坐标和相机坐标系之间的转化，经过时空配准后的点云集合记为

图像数据记为

进一步地，所述步骤4)具体包括：将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

进一步地，所述步骤4)具体还包括：将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合。

进一步地，所述步骤4)具体还包括基于特征融合网络融合特征向量：动态调整激光雷达和摄像头特征的权重值α_i；所述激光雷达和摄像头特征的注意力权重α_i的计算过程如下所示：

e_i＝tanh(WF_i+UO)

α_i＝exp(e_i)/∑_kexp(e_k)

式中，i∈{1,3}，W，U为训练得到的注意力权重的系数矩阵，O为当前的车道线位置的输出矩阵；

经特征融合网络融合后的特征向量为原特征向量与注意力权重的加权和，用公式表示如下：

F＝∑_iα_iF_i

式中，F为融合后的特征向量，F_i为原特征向量。

进一步地，所述步骤4)具体还包括确定车道线位置：选择全连接层来拟合车道线位置；

O＝FC(F)

其中，O＝{o₁，o₂，...，o_n}＝{(x₁，y₁)，(x₂，y₂)，...，(x_n，y_n)}为一组待拟合的数据点集合，选择二次曲线为拟合后的表达式：

y＝a₀+a₁x+a₂x²

式中，a₀，a₁，a₂为待求取的位置参数。

进一步地，所述步骤4)具体还包括基于SoftMax函数拟合得到属于不同车道线类别的概率分布：P(c)＝SoftMax([F，F₃])。

进一步地，所述步骤5)中的损失函数L包括：中心坐标误差函数L_coor和分类误差函数L_clas；其中，

L＝L_coor+L_clas

式中，中心坐标误差函数L_coor用于评估目标预测框中心横纵坐标的准确度，具体计算为

式中，λ_coor为坐标误差的权重系数；B为每个网格产生的候选框数量；

为第i个网格的第j个预测框中存在车道线的可能性，若存在则

否则为0；x_i，y_i分别为预测的第i个滑动窗口第中心点的横坐标和总坐标，

分别为对应的真实横坐标和纵坐标；检测车道线包含6个类别，即class＝{无车道线，白实线，白虚线，白色双实线，单黄实线，双黄实线}，分类误差函数L_clas为：

式中，p_i和

分别表示第i个单元格内车道线目标真实概率和预测概率。

本发明的有益效果：

本发明同时利用摄像头和激光雷达传感器检测车道线位置，并对车道线分类；

一方面，弥补了摄像头在夜间环境下检测的局限性，对二者进行信息融合可以实现传感器数据互补，从而获得更完备的车道线信息，提高***的车道线检测能力；

另一方面，对车道线结果进行了细分，为换道决策提供了更精准有效的支持信息。获得行驶车辆前方图像后，进行了逆透视变换和提取了ROI区域，可有效提高车道线检测的效率。

附图说明

图1为本发明***的结构原理图。

图2为本发明方法的原理图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种车道线检测***，包括：摄像头信号获取模块、激光雷达信号获取模块、时空配准模块、摄像头信号预处理模块及多任务车道线检测模块；其中，

所述摄像头信号获取模块，用于采集行驶车辆前方道路图像数据；

所述激光雷达信号获取模块，用于感知行驶车辆前方道路场景点云数据；

所述时空配准模块包括：传感器数据时间配准和传感器数据空间配准；传感器数据时间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据统一到相同的时间坐标系下；传感器数据空间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据转换到相同的坐标系中；

所述摄像头信号预处理模块，用于将经过时间配准、空间配准后的道路图像数据进行逆透视变换，提取图像中的ROI区域；

所述摄像头信号预处理模块用于逆透视变换和提取ROI区域；设摄像头与地面之间的高度值为h，对应的俯仰角为θ，横摆角为α，f_u为图像平面在u方向上的等效焦距，f_v为图像平面在v方向上的等效焦距，(c_u,c_v)对应的是图像平面的光学中心；根据摄像头的安装位置确定上述各参数，然后通过变换矩阵T确定路面中的任意一点与图像坐标系的对应关系：

式中，a₁＝cosθ,a₂＝cosα,b₁＝sinθ,b₂＝sinα，通过奇异值分解对变换矩阵T广义逆矩阵进行求解，完成图像的逆透视变换。

所述多任务车道线检测模块，用于建立多任务车道线检测模型，其包括：图像特征提取模块、点云特征提取模块、特征融合模块、车道线生成模块及车道线分类模块；

所述图像特征提取模块，将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

所述车道线位置特征向量F₁和车道线类别特征向量F₂的计算过程为：基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

所述点云特征提取模块，将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；

所述车道线特征向量F₃的计算过程为：基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合。

所述特征融合模块，基于特征融合网络将所述车道线位置特征向量F₁和车道线特征向量F₃进行融合，根据输入的特征向量动态调整激光雷达和摄像头特征的注意力权重，计算注意力权重和原特征向量的加权和，作为融合后的车道线位置特征向量；

所述车道线生成模块，将融合后得到的车道线位置特征向量，输入车道线生成网络，确定车道线的位置，并基于最小二乘法，拟合车道线；

所述车道线分类模块，将融合后得到的位置特征向量和车道线类别特征向量F₂输入车道线分类网络，由SoftMax函数输出车道线检测的多类别的概率分布。

其中，截取经逆透视变换后的下部分图像为车道线检测的ROI区域。

参照图2所示，本发明的一种车道线检测方法，步骤如下：

1)获取行驶车辆前方图像集合I及点云集合P；示例中，通过车载摄像头及激光雷达采集车辆前方图像数据及点云数据。

2)对所述图像集合I及点云集合P进行时间配准和空间配准；所述对所述图像集合I及点云集合P进行时间配准采用选择最小二乘配准法，内插外推法或拉格朗日插值法；

所述对所述图像集合I及点云集合P进行空间配准具体包括：通过图像坐标系、像素坐标系和世界坐标系为中介，实现激光雷达坐标和相机坐标系之间的转化，经过时空配准后的点云集合记为

图像数据记为

3)对经过时空配准后的图像作逆透视变换，并提取图像中的ROI区域；

4)建立多任务车道线检测模型，基于图像特征提取网络、点云特征提取网络、特征融合网络，车道线生成网络和车道线分类网络；将上述步骤2)和3)处理后的数据作为网络的输入，得到车道线的位置和车道线多类别的概率分布；示例中，具体包括：

将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合；

基于特征融合网络融合特征向量：动态调整激光雷达和摄像头特征的权重值α_i；所述激光雷达和摄像头特征的注意力权重α_i的计算过程如下所示：

e_i＝tanh(WF_i+UO)

α_i＝exp(e_i)/∑_kexp(e_k)

式中，i∈{1,3}，W，U为训练得到的注意力权重的系数矩阵，O为当前的车道线位置的输出矩阵；

经特征融合网络融合后的特征向量为原特征向量与注意力权重的加权和，用公式表示如下：

F＝∑_iα_iF_i

式中，F为融合后的特征向量，F_i为原特征向量。

确定车道线位置：选择全连接层来拟合车道线位置；

O＝FC(F)

其中，O＝{o₁，o₂，...，o_n}＝{(x₁，y₁)，(x₂，y₂)，...，(x_n，y_n)}为一组待拟合的数据点集合，选择二次曲线为拟合后的表达式：

y＝a₀+a₁x+a₂x²

式中，a₀，a₁，a₂为待求取的位置参数。

基于SoftMax函数拟合得到属于不同车道线类别的概率分布：

P(c)＝SoftMax([F，F₃])。

5)采集行驶车辆前方图像和对应的点云数据，建立真实车道线位置和类别标签，用于训练步骤4)中所建立的多任务车道线检测模型，以获取所建立的车道线检测模型的网络参数，以降低损失函数为目标训练多任务车道线检测模型；

所述步骤5)中的损失函数L包括：中心坐标误差函数L_coor和分类误差函数L_clas；其中，

L＝L_coor+L_clas

式中，中心坐标误差函数L_coor用于评估目标预测框中心横纵坐标的准确度，具体计算为

式中，λ_coor为坐标误差的权重系数；B为每个网格产生的候选框数量；

为第i个网格的第j个预测框中存在车道线的可能性，若存在则

否则为0；x_i，y_i分别为预测的第i个滑动窗口第中心点的横坐标和总坐标，

分别为对应的真实横坐标和纵坐标；检测车道线包含6个类别，即class＝{无车道线，白实线，白虚线，白色双实线，单黄实线，双黄实线}，分类误差函数L_clas为：

式中，p_i和

分别表示第i个单元格内车道线目标真实概率和预测概率。

6)将训练好的模型用于检测当前场景，获取场景中的图像和点云数据，经过步骤2)和3)处理后，作为车道线检测模型的输入，得到当前行驶车辆前方的车道线位置和车道线类别。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种车道线检测***，其特征在于，包括：摄像头信号获取模块、激光雷达信号获取模块、时空配准模块、摄像头信号预处理模块及多任务车道线检测模块；

所述摄像头信号获取模块，用于采集行驶车辆前方道路图像数据；

所述激光雷达信号获取模块，用于感知行驶车辆前方道路场景点云数据；

所述时空配准模块包括：传感器数据时间配准和传感器数据空间配准；传感器数据时间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据统一到相同的时间坐标系下；传感器数据空间配准用于将摄像头信号获取模块、激光雷达信号获取模块获取的数据转换到相同的坐标系中；

所述摄像头信号预处理模块，用于将经过时间配准、空间配准后的道路图像数据进行逆透视变换，提取图像中的ROI区域；

所述多任务车道线检测模块，用于建立多任务车道线检测模型，其包括：图像特征提取模块、点云特征提取模块、特征融合模块、车道线生成模块及车道线分类模块；

所述图像特征提取模块，将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

所述点云特征提取模块，将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；

所述特征融合模块，基于特征融合网络将所述车道线位置特征向量F₁和车道线特征向量F₃进行融合，根据输入的特征向量动态调整激光雷达和摄像头特征的注意力权重，计算注意力权重和原特征向量的加权和，作为融合后的车道线位置特征向量；

所述车道线生成模块，将融合后得到的车道线位置特征向量，输入车道线生成网络，确定车道线的位置，并基于最小二乘法，拟合车道线；

所述车道线分类模块，将融合后得到的位置特征向量和车道线类别特征向量F₂输入车道线分类网络，输出车道线检测的多类别的概率分布。

2.根据权利要求1所述的车道线检测***，其特征在于，所述摄像头信号预处理模块用于逆透视变换和提取ROI区域；设摄像头与地面之间的高度值为h，对应的俯仰角为θ，横摆角为α，f_u为图像平面在u方向上的等效焦距，f_v为图像平面在v方向上的等效焦距，(c_u,c_v)对应的是图像平面的光学中心；根据摄像头的安装位置确定上述各参数，然后通过变换矩阵T确定路面中的任意一点与图像坐标系的对应关系：

式中，a₁＝cosθ,a₂＝cosα,b₁＝sinθ,b₂＝sinα，通过奇异值分解对变换矩阵T广义逆矩阵进行求解，完成图像的逆透视变换。

3.根据权利要求1所述的车道线检测***，其特征在于，所述车道线位置特征向量F₁和车道线类别特征向量F₂的计算过程为：基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

4.根据权利要求1所述的车道线检测***，其特征在于，所述车道线特征向量F₃的计算过程为：基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合。

5.一种车道线检测方法，其特征在于，步骤如下：

1)获取行驶车辆前方图像集合I及点云集合P；

2)对所述图像集合I及点云集合P进行时间配准和空间配准；

3)对经过时空配准后的图像作逆透视变换，并提取图像中的ROI区域；

4)建立多任务车道线检测模型；

5)采集行驶车辆前方图像和对应的点云数据，建立真实车道线位置和类别标签，用于训练步骤4)中所建立的多任务车道线检测模型，以获取所建立的车道线检测模型的网络参数，以降低损失函数为目标训练多任务车道线检测模型；

6)将训练好的模型用于检测当前场景，获取场景中的图像和点云数据，经过步骤2)和3)处理后，作为车道线检测模型的输入，得到当前行驶车辆前方的车道线位置和车道线类别。

6.根据权利要求5所述的车道线检测方法，其特征在于，所述对所述图像集合I及点云集合P进行时间配准采用选择最小二乘配准法，内插外推法或拉格朗日插值法。

7.根据权利要求6所述的车道线检测方法，其特征在于，所述对所述图像集合I及点云集合P进行空间配准具体包括：通过图像坐标系、像素坐标系和世界坐标系为中介，实现激光雷达坐标和相机坐标系之间的转化，经过时空配准后的点云集合记为

图像数据记为

8.根据权利要求5所述的车道线检测方法，其特征在于，所述步骤4)具体包括：将经过预处理后的道路图像数据，输入图像特征提取网络，得到车道线位置特征向量F₁和车道线类别特征向量F₂；

基于YOLO v3模型，作为图像特征提取网络，并增加两个MLP层，作为车道线位置特征提取分支和车道线类别特征提取分支；用公式表示如下：

式中，F₁为车道线位置特征向量，F₂为车道线类别特征向量，

为经过预处理后的图像数据。

9.根据权利要求8所述的车道线检测方法，其特征在于，所述步骤4)具体还包括：将经过时间配准、空间配准的道路场景点云数据输入点云特征提取网络，得到车道线特征向量F₃；基于YOLO v3模型，作为点云特征提取网络，用公式表示如下：

式中，F₃为车道线特征向量，

为经过时空配准后的点云集合。

10.根据权利要求9所述的车道线检测方法，其特征在于，所述步骤4)具体还包括基于特征融合网络融合特征向量：动态调整激光雷达和摄像头特征的权重值α_i；所述激光雷达和摄像头特征的注意力权重α_i的计算过程如下所示：

e_i＝tanh(WF_i+UO)

α_i＝exp(e_i)/∑_kexp(e_k)

式中，i∈{1,3}，W，U为训练得到的注意力权重的系数矩阵，O为当前的车道线位置的输出矩阵；

经特征融合网络融合后的特征向量为原特征向量与注意力权重的加权和，用公式表示如下：

F＝∑_iα_iF_i

式中，F为融合后的特征向量，F_i为原特征向量。

Images