CN116630559A - 一种轻量级道路语义地图的构建方法 - Google Patents

Abstract

本发明公开了一种轻量级道路语义地图的构建方法。本发明选择道路场景中具有代表性、稳定存在且具有一定几何性质的语义目标，如路面箭头、车道线、斑马线，路面上方标志牌、交通灯。首先通过神经网络提取语义目标类别，并获得各语义目标在地图中的初始位置。在初始位置上，采用各目标的国标道路模板构建地面语义特征，利用激光雷达辅助构建路面上方目标语义特征，并利用重投影误差最小化来优化这些地图特征要素的位置。最终获得语义信息丰富、特征位置准确的轻量化3D语义地图。本发明建立的语义地图轻量化的同时具有稳定性，存储稳定不变的道路结构边缘信息或者关键点信息，并且不会随环境变化而变化，因此可用于长期高精定位。

Description

一种轻量级道路语义地图的构建方法

技术领域

本发明涉及一种环境地图构建方法，特别是涉及了一种轻量级道路语义地图的构建方法。

背景技术

建图是自动驾驶技术中比较基础且关键的环节。利用先验环境地图，不仅能提高车辆定位的精度，也能对传感器无法探测的部分进行补充，可进行实时状况的检测和外部信息的反馈，更能有效地为无人驾驶提供最新的路况，为路径规划和导航打下基础。根据地图的不同表示方法，环境先验地图可大致分为拓扑地图、3D点云地图和语义地图这三种。

拓扑地图是一种类似于拓扑结构的图，节点之间的边表示不同位置之间的关系，一般用于表示路网地图。其特点是结构最为简单，存储量小。通过匹配轨迹与拓扑地图中的转弯等信息，能够缓解里程计定位带来的漂移，但由于拓扑地图包含的路网节点信息有限，导致定位精度不高，并且在没有转弯的场景中修正效果不佳。

随着SLAM技术的发展，一些基于SLAM技术构建的3D点云地图也得到广泛研究。根据传感器的不同，又可分为基于激光雷达和基于视觉构建的3D点云地图。激光雷达3D点云地图精度高、地图点云密集、可视化效果好，定位精度高。但缺点是点云配准需要耗费较大算力，地图消耗的存储也较大。视觉3D点云地图的优势在于摄像头低成本，数据更容易获得，定位精度也不低。但其建图和定位易受环境光照和季节等变化的影响，长期定位的可靠性较低。

发明内容

为了解决背景技术中存在的问题，本发明目的在于提供一种轻量级道路语义地图的构建方法，适用于面向道路场景下的轻量级建图问题。本发明提出的语义特征点地图构建方法，能提取道路中结构化的语义特征点信息，将“稳定”的语义元素进行保留，地图保证轻量化的同时更具有稳定性，能得到精度高且轻量化的语义特征点地图。将语义特征点作为地图要素，也十分有利于后续车辆定位时的特征匹配，并降低环境光照变化等对车辆定位的影响。

本发明通过神经网络提取道路场景中具有代表性、稳定存在且具有一定几何性质的语义目标，并结合ORB-SLAM2框架获得语义目标在地图中的初始位置。采用国标道路模板构建地面语义特征，利用激光雷达辅助构建路面上方语义特征，并基于重投影误差最小化方法优化地图特征位置，最终获得了语义信息丰富、特征位置准确的轻量化语义地图。

本发明采用的技术方案的步骤如下：

1)通过神经网络提取采集的各图像中的各语义目标后，获得图像语义特征集合，并且获取各语义目标在地图中的初始位置；

2)根据各语义目标在地图中的初始位置，对图像语义特征集合进行修正和定位，获得语义特征点集；

3)利用最小化重投影误差的方法对获得的语义特征点集进行优化，从而获得轻量化3D语义地图。

所述1)中，各语义目标为地面语义目标和路面上方语义目标，地面语义目标包括路面箭头、车道线和斑马线，路面上方语义目标包括路上标志牌和交通灯。

所述2)具体为：

所述图像语义特征集合包括地面语义特征集合和路面上方语义特征集合，根据语义目标在地图中的初始位置，采用国标道路模板对地面语义特征集合进行修正和定位，获得地面语义特征点集；利用激光雷达辅助对路面上方语义特征集合进行修正和定位，获得路面上方特征点集合。

所述2)中，所述地面语义特征集合包括车道线集合、斑马线集合和路面箭头集合；基于语义目标在地图中的初始位置，再结合车道线先验知识，采用RANSAC方法对车道线集合进行直线拟合以及车道线的前后端点位置估计，获得修正车道线特征点集，然后结合车道分界线先验知识，基于修正车道线点集提取获得车道虚线特征点集，由修正车道线特征点集和车道虚线特征点集组成车道线特征点集；

结合斑马线先验知识，采用RANSAC方法对斑马线集合进行直线拟合以及直线斜率修正，获得斑马线特征点集；

利用DBSCAN对路面箭头集合进行聚类，得到各个实例的聚类中心，将不同的路面箭头国标模板带入对应实例的聚类中心，再结合路面箭头与车道线平行的先验知识，计算获得各类路面箭头的特征点，从而获得路面箭头特征点集，由车道线特征点集、斑马线特征点集和路面箭头特征点集组成地面语义特征点集。

所述2)中，建立点云地图，将距离激光雷达预设范围内的点云投影至像素坐标系下后，获得像素点云，根据路面上方语义特征集合，保留像素点云中在像素语义目标框内的点云后再进行DBSCAN聚类，获得多个实例对应的类心，接着根据牌状物语义法向量与地面平行、与车道线平行的先验信息，提取各实例对应类心的牌状特征点后，获得路面上方特征点集合。

所述3)中，由含有位姿真值的多帧图像对应语义特征点集构成地图点集合，对当前地图点集合进行位姿优化，使得重投影误差最小，获得位姿优化后的地图点集合，计算公式如下：

其中，b_j表示地图点集合中的第j个地图特征点，C_i表示第i帧图像的相机位姿，z_ij表示第i帧图像中第j个地图特征点的观测值，g(·)表示图像的重投影变换，n表示包含位姿真值的图像总帧数，m表示地图点总数，‖‖²表示计算距离平方；

再根据位姿优化后的地图点集合以及不含有位姿真值的多帧图像对应语义特征点集构建获得轻量化3D语义地图。

本发明首先通过目标检测和车道线检测网络提取语义目标信息，再通过ORB-SLAM2框架建图，获得带有语义信息的特征点，转换至ENU坐标系下，得到语义特征的初始位置。针对SLAM建立的语义特征点误差问题，本发明提出基于道路国标的特征定位和激光雷达辅助的特征定位，来确定语义要素的位置，并提出利用最小化重投影误差来优化语义地图。本发明构建的语义地图特征丰富，位置较为准确，同时存储量小。

与现有技术相比，本发明的有益效果在于：

1)本发明提取道路场景中具有代表性、长期不变、易于观察且具有一定几何性质的3D语义特征，所建立的轻量化地图具有稳定性和较强的环境适应性，能用于高效、可靠的定位；

2)本发明利用ORB-SLAM建立语义目标初始位置，并利用道路国标先验信息，对地面语义特征进行构建，利用激光雷达辅助建立特征点，对牌状物语义信息进行构建。方法实施简单，成本低；

3)本发明利用最小化重投影误差的方法对语义特征点位置进行优化，能得到相对准确的地图特征点位置。

总的来说，本发明建立的语义地图轻量化的同时具有稳定性，存储稳定不变的道路结构边缘信息或者关键点信息，并且不会随环境变化而变化，因此可用于长期高精定位。

附图说明

图1是车道线和斑马线语义地图构建示例。

图2是路面箭头国标及模板坐标转换。

图3是牌状物特征点求解示意图。

图4是语义特征点重投影图像。

图5是时空道宇地图。

图6是本发明建立的轻量化语义地图。

图7是地图特征投影至图像坐标系结果。

图8是本发明的方法流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

如图8所示，本发明包括如下步骤：

1)通过神经网络提取采集的各图像中的各语义目标后，获得图像语义特征集合，并且获取各语义目标在地图中的初始位置；

对于所要构建的轻量化语义特征点地图，本发明选择提取具有长期稳定不变、在道路场景中能被经常观察到的、并且具有几何意义的语义特征。各语义目标为地面语义目标和路面上方语义目标，地面语义目标包括路面箭头、车道线和斑马线，路面上方语义目标包括路上标志牌和交通灯。具体实施中，为了从图像中获取这些语义目标，通过YOLOv5网络提取路面箭头、斑马线、路上标志牌、交通灯信息，用RESA网络提取车道线信息，将检测图像对应的语义目标标签结果用单通道的图片保存。利用ORB-SLAM2框架获取带语义标签的ORB特征点在全局地图中的初步3D位置。ORB-SLAM2***输入信息除了双目图像，还有一张左目图像对应语义目标标签结果。提出的语义缓存向量L，表示建立的地图点在更新时，被各个关键帧观察到不同语义的次数。更新完成后特征点的语义标签，是语义缓存向量中最大数值对应的语义标签：

l＝max(L)

L＝[O_trafficlight，O_arrow，O_sign，O_lane，O_zebra]

其中，l表示地图点最终被赋予的语义值，max()表示取最大值，O_trafficlight、O_arrow、O_sign、O_lane、O_zebra分别表示被观测到为交通灯、路面箭头、标志牌、车道线、斑马线语义的次数。

构建的初步地图点包含三维位置坐标和语义类别值，再将背景语义点剔除，获得稀疏的三维语义特征点。并通过坐标系转换，将建立的三维语义特征点投影至ENU坐标系下，获得初级稀疏语义地图。

2)根据各语义目标在地图中的初始位置，对图像语义特征集合进行修正和定位，获得语义特征点集；

2)具体为：

图像语义特征集合包括地面语义特征集合和路面上方语义特征集合，根据语义目标在地图中的初始位置，采用国标道路模板对地面语义特征集合进行修正和定位，获得地面语义特征点集；利用激光雷达辅助对路面上方语义特征集合进行修正和定位，获得路面上方特征点集合。

其中，地面语义特征集合包括车道线集合、斑马线集合和路面箭头集合；对于车道线集合，基于语义目标在地图中的初始位置，再结合车道线先验知识，即道路国标中车道线平行，且车道线间距3.5米，采用RANSAC方法对车道线集合进行直线拟合以及车道线的前后端点位置估计，获得修正车道线特征点集，然后结合车道分界线先验知识，即虚线标准长度为2米，相邻两虚线间隔4米，基于修正车道线点集提取获得车道虚线特征点集，由修正车道线特征点集和车道虚线特征点集组成车道线特征点集。

RANSAC算法是一种迭代的参数估计方法，它通过随机选择一部分数据并使用这些数据进行模型拟合和评估，以识别数据中的异常值和噪声。该算法假设“内点”能适应数据拟合出的模型，而“外点”作为数据噪声，通过反复选择数据集中的点估计模型，通过迭代方式得到“内点”数比较理想的模型。

通过RANSAC算法，拟合车道线，分为以下几步：

S1.在数据点集中选择两个点。

S2.使用这两个点计算数据模型y＝kx+b₁中的参数k，b₁。对于四车道来说，利用四条车道线平行的先验信息，得到它们的斜率k相同。利用城市车道线间距3.5米的先验知识，算出其他三条车道参数b₂，b₃，b₄。

S3.将所有数据点带入模型，计算“内点”数目。由于数据点可能跟四条车道线的任意一条匹配，因此若该点到任意一条直线的距离小于预设的误差阈值，则认为该点为内点。预设的误差阈值是0.2，即点到任意一条直线距离小于0.2米，则该点为内点。

S4.当内点数大于总点数的一定比例，则将当前模型作为最终的拟合模型，否则返回S1。其中，预设内点率阈值是90％，即内点数占总点数的90％以上的模型作为理想模型，并结束迭代。

在拟合后的直线中，按照道路国家标准车行道分界线(虚线标准长度为2米，相邻两虚线间隔4米)，提取虚线特征点。如图1所示，图1的(a)是步骤1)建立的三维语义特征点图的局部鸟瞰图，包含车道线、标志牌、斑马线特征点语义信息。图1的(b)是利用道路国标建图的结果，灰线表示道路国标对车道线的建图结果，中间两根线是车道线虚线。

对于斑马线集合，结合斑马线先验知识，即斑马线与车道线垂直，满足道路国家标准斑马线宽度，具体为：每根斑马线宽0.45米，间隔0.6米。采用RANSAC方法对斑马线集合进行直线拟合以及直线斜率修正，获得斑马线特征点集，如图1的黑色特征所示；其中，斑马线与车道线垂直是用于调整斑马线前后两端线的斜率。

对于路面箭头集合，首先，用DBSCAN对路面箭头集合进行聚类，得到各个实例的聚类中心，将不同的路面箭头国标模板带入对应实例的聚类中心，再结合路面箭头与车道线平行的先验知识，计算获得各类路面箭头的特征点，从而获得路面箭头特征点集，由车道线特征点集、斑马线特征点集和路面箭头特征点集组成地面语义特征点集。

各类路面箭头国标尺寸如图2的(a)所示(单位为厘米)，通过国标尺寸算出路面箭头模板中关键点的坐标。以直行箭头为例，如图2的(b)所示，其坐标轴朝向为y轴，原点为箭头中心点位置(单位为米)。通过DBSCAN聚类方法，得出各个箭头实例中心后，利用箭头朝向和车道线方向相同的先验知识，将模板箭头旋转至车道线方向，中心平移至聚类中心位置，就能得到模板点在ENU坐标系下的位置，如下式：

其中，A_m是模板的坐标，x_i，y_i表示模板点在模板坐标系下的x轴和y轴的值，每个模板包含n个坐标点，例如直行箭头含7个点，θ是世界坐标系下车道线朝向角度，x_center，y_center是聚类中心c点在ENU坐标系下的x轴和y轴的值，A是通过变换后各个模板特征点在ENU坐标系下的x轴和y轴坐标，如图2的(c)所示。由于将路面视作水平面，因此z轴坐标不需要进行转换。

通过道路国标对语义特征进行约束，能有效且相对准确地建立地面的语义特征地图。并且，本发明也能知道每个语义特征点所对应的语义实例。

对于路面上方语义特征集合，路面上方语义特征集合包括路上标志牌语义集合和交通灯语义集合，用LeGO-LOAM建立点云地图，将距离激光雷达预设范围(具体实施中设置为50米)内的点云投影至像素坐标系下后，获得像素点云，根据路面上方语义特征集合的路上标志牌语义集合和交通灯语义集合，保留像素点云中在像素语义目标框内的点云后再进行DBSCAN聚类，获得多个实例对应的类心c，满足c＝(c_x，c_y，c_z)，c_x，c_y，c_z表示类心在世界坐标系下的x轴、y轴、z轴的值，接着根据牌状物语义法向量与地面平行、与车道线平行的先验信息，提取各实例对应类心的牌状特征点后，获得路面上方特征点集合。

通过牌状物语义与地面垂直的先验信息，可以分别沿着第一方向向量和第二方向向量/>找到离平面α:z＝c_z(经过类心且平行地面)最远的点所在的平行于α的面，α₁:z＝z₁、α₂:z＝z₂；再通过牌状物面的法向量与车道线方向平行的先验信息(假设某根车道线的直线方程为/>沿着第三方向向量/>和第四方向向量/>找到离平面β:y＝k*x+c_y-k*c_x(经过类心且平行车道线)最远的两个点所在的平行于β的面，β₁:y＝k*x+b₂、β₂:y＝k*x+b₃。类心c到这四个面交线的四个垂足作为牌状物的四个特征点，如图3所示。

3)利用最小化重投影误差的方法对获得的语义特征点集进行优化，从而获得轻量化3D语义地图。

由于数据采集过程中，很多(并非所有)位置可以获取精度较高的RTK-GPS信息。将RTK-GPS和图像帧进行数据对齐后，将图像帧对应的RTK位置作为相机位置C_w，并计算对应RTK前后帧的航向角和俯仰角来计算旋转矩阵

3)中，由含有位姿真值的多帧图像对应语义特征点集构成地图点集合，利用列文伯格-马夸尔特算法，即Levenberg–Marquardt算法对当前地图点集合进行位姿优化，使得重投影误差最小，获得位姿优化后的地图点集合，计算公式如下：

其中，b_j表示地图点集合中的第j个地图特征点，C_i表示第i帧图像的相机位姿，z_ij表示第i帧图像中第j个地图特征点的观测值(即投影坐标)，g(·)表示图像的重投影变换，n表示包含位姿真值的图像总帧数，m表示地图点总数，‖ ‖²表示计算距离平方。

再根据位姿优化后的地图点集合以及不含有位姿真值的多帧图像对应语义特征点集构建获得轻量化3D语义地图。

优化后的地图语义特征点投影至图像中，如图4所示，只包含距离相机平面30米范围内的语义特征点。蓝色点、红色点、黄色点、橙色点、绿色点分别代表斑马线、路面箭头、标志牌、交通灯、车道线虚线特征点。从图中可以看出，地图语义特征投影后的点与图像语义目标的关键点位置较为吻合，说明地图精度较高。

利用自行搭建的数据采集平台在某地进行了数据采集，用于语义建图实验。在采集车辆顶部部署了RealSense d455双目相机(该相机采集彩色单目图像和双目灰度图像)、Velodyne HDL-32E激光雷达和星网宇达差分GPS，供电***由12v的车载电源提供。和某公司建立的商用语义地图作为对比参考。

某公司建立的高精地图(部分)如图5的(a)所示。在WGS-84坐标系下，它可以利用QGIS软件进行展示。这是一张800m×800m范围的语义地图，图5的(b)是图5的(a)的局部放大图。直线代表车道的中心线和边界线，线段的两端点用于控制线段的形状。多边形表示路面箭头所在的位置和路面斑马线所在的位置。此外，还有一些不明显的线段，如灰色框框出来的部分，是标志牌的鸟瞰图位置，黑色框框出来的部分，是交通灯的鸟瞰图位置。

本发明使用自行采集的数据集，建立了某地的3D语义特征点地图，如图6的(a)所示，包含标志牌、交通灯、路面箭头、斑马线对应的语义特征点。图6的(b)是图6的(a)中黑色框的局部放大图。图5所示的时空道宇地图，对于路面箭头、斑马线、交通灯、标志牌语义，时空道宇地图只包含这些语义实例的中心位置信息；对于车道线语义，时空道宇地图包含实线的端点位置，而不包含车道线虚线的端点位置。而本发明建立的轻量化语义地图能为每个语义目标实例提供丰富和更精确的语义特征点3D位置信息，能支持更高精度的定位。

与图5的(b)相比，本发明建立的语义地图更准确，因为将地图点通过重投影回图像坐标系，本发明建立的语义特征点地图与图像提取到的特征点更贴合，如图7所示。图7中，黑色、白色分别表示本发明建立的语义特征点地图和时空道宇地图投影至图像的特征，只包含距离相机平面30米范围内的语义特征点。与本发明建立的地图相比，时空道宇地图多了路面箭头信息，缺少了标志牌信息，这是因为本发明在实际采集数据的过程中，发现道路进行了修缮更新，相应位置的路面箭头被去除，并多了一些标志牌。因此本发明地图比时空道宇地图更新，语义特征更准。

在地图大小方面，本发明在某地场景2.3km路程中建立的轻量化语义地图大小仅需252KB，而相应的时空道宇地图存储量为508KB，LeGO-LOAM建立的稠密点云地图存储量大约1.7GB，ORB-SLAM2建立的稀疏地图存储量大约2.3MB。可以看出，本发明建立的轻量级语义特征点地图在存储量方面也占据较大优势。

实验结果表明，本发明构建的语义地图特征更丰富，位置更准确，同时存储量也更小。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种轻量级道路语义地图的构建方法，其特征在于，包括如下步骤：

1)通过神经网络提取采集的各图像中的各语义目标后，获得图像语义特征集合，并且获取各语义目标在地图中的初始位置；

2)根据各语义目标在地图中的初始位置，对图像语义特征集合进行修正和定位，获得语义特征点集；

3)利用最小化重投影误差的方法对获得的语义特征点集进行优化，从而获得轻量化3D语义地图。

2.根据权利要求1所述的一种轻量级道路语义地图的构建方法，其特征在于，所述1)中，各语义目标为地面语义目标和路面上方语义目标，地面语义目标包括路面箭头、车道线和斑马线，路面上方语义目标包括路上标志牌和交通灯。

3.根据权利要求1所述的一种轻量级道路语义地图的构建方法，其特征在于，所述2)具体为：

所述图像语义特征集合包括地面语义特征集合和路面上方语义特征集合，根据语义目标在地图中的初始位置，采用国标道路模板对地面语义特征集合进行修正和定位，获得地面语义特征点集；利用激光雷达辅助对路面上方语义特征集合进行修正和定位，获得路面上方特征点集合。

4.根据权利要求3所述的一种轻量级道路语义地图的构建方法，其特征在于，所述2)中，所述地面语义特征集合包括车道线集合、斑马线集合和路面箭头集合；基于语义目标在地图中的初始位置，再结合车道线先验知识，采用RANSAC方法对车道线集合进行直线拟合以及车道线的前后端点位置估计，获得修正车道线特征点集，然后结合车道分界线先验知识，基于修正车道线点集提取获得车道虚线特征点集，由修正车道线特征点集和车道虚线特征点集组成车道线特征点集；

结合斑马线先验知识，采用RANSAC方法对斑马线集合进行直线拟合以及直线斜率修正，获得斑马线特征点集；

利用DBSCAN对路面箭头集合进行聚类，得到各个实例的聚类中心，将不同的路面箭头国标模板带入对应实例的聚类中心，再结合路面箭头与车道线平行的先验知识，计算获得各类路面箭头的特征点，从而获得路面箭头特征点集，由车道线特征点集、斑马线特征点集和路面箭头特征点集组成地面语义特征点集。

5.根据权利要求3所述的一种轻量级道路语义地图的构建方法，其特征在于，所述2)中，建立点云地图，将距离激光雷达预设范围内的点云投影至像素坐标系下后，获得像素点云，根据路面上方语义特征集合，保留像素点云中在像素语义目标框内的点云后再进行DBSCAN聚类，获得多个实例对应的类心，接着根据牌状物语义法向量与地面平行、与车道线平行的先验信息，提取各实例对应类心的牌状特征点后，获得路面上方特征点集合。

6.根据权利要求1所述的一种轻量级道路语义地图的构建方法，其特征在于，所述3)中，由含有位姿真值的多帧图像对应语义特征点集构成地图点集合，对当前地图点集合进行位姿优化，使得重投影误差最小，获得位姿优化后的地图点集合，计算公式如下：

其中，b_j表示地图点集合中的第j个地图特征点，C_i表示第i帧图像的相机位姿，z_ij表示第i帧图像中第j个地图特征点的观测值，g(·)表示图像的重投影变换，n表示包含位姿真值的图像总帧数，m表示地图点总数，‖‖²表示计算距离平方；

再根据位姿优化后的地图点集合以及不含有位姿真值的多帧图像对应语义特征点集构建获得轻量化3D语义地图。