CN115496873A - 一种基于单目视觉的大场景车道建图方法及电子设备 - Google Patents

Abstract

本发明利用单目摄像头进行大场景车道建图方法及电子设备，其是利用室外车载环境下的道路平面属性，结合车载摄像头标定的先验信息，恢复单目建图尺度及抑制尺度漂移，且进一步利用路面平面属性对摄像头数据进行反向投影，以此构建室外大场景基于车道的地图。其使用单一消费级传感器并结合独特的建图方法实现稳定建图，建图精度高，成本高低。

Description

一种基于单目视觉的大场景车道建图方法及电子设备

技术领域

本发明用于智能无人车自动驾驶领域，更具体涉及无人驾驶感知中的地图构建。

背景技术：

随着传感器的更新换代，人工智能、导航定位、智能控制等一系列相关技术的发展，无人驾驶已不是那么遥不可及。导航定位是无人驾驶技术中不可或缺非常重要的一环，目前在预制作地图上进行定位仍是主流方案。

随着同步定位与建图（Simultaneouslocalizationandmapping，SLAM）技术飞速发展，其中视觉SLAM大量应用于AR、机器人、无人机等领域。但由于单目视觉SLAM面临的尺度缺失以及SLAM创建地图数据过于单一等问题，使大场景环境下单目视觉建图难以应用。

专利文献CN201710645663.2 一种无人驾驶汽车自主定位与地图构建的方法及***，利用车轮里程计、IMU惯性测量单元、全景摄像头、三维激光雷达等多种传感器进行建图。该方法使用SLAM技术将多种传感器数据进行融合，此需要多种专业高精度采集设备，成本较高，难以推广到消费级乘用车上。专利文献CN202010710365.9提供了 一种基于单目视觉的移动机器人半稠密地图构建方法，利用单目视觉进行半稠密建图，旨在将传统特征点SLAM半稠密建图中加入语义识别的语义信息。该方法仅应用于室内中小场景，在室外大场景环境下难以应用。

发明内容

本发明的目的是提供利用单目视觉在大场景下对车辆行驶该道路建图的方法及电子设备，利用室外车载环境下的道路平面属性，结合车载摄像头标定的先验信息，恢复单目建图尺度及抑制尺度漂移，且进一步利用路面平面属性对摄像头数据进行反向投影，以此构建室外大场景基于车道的地图。

本发明的技术方案如下：

本发明提出一种利用单目摄像头进行大场景车道建图方法，包括如下主要步骤：

步骤1、 标定车载前视摄像头，获取相机内参与相机相对于车辆的外参。

步骤2、在车辆行驶中用单目摄像头采集数据，利用神经网络对地面元素进行识别，地面元素包括车道线、斑马线、箭头。

步骤3、利用单目ORB_SLAM对采集的数据进行里程计追踪及点云构建。

步骤4、用RANSANC方法对点云进行地平面拟合，获取地平面表达方程。

步骤5、利用相机位姿、地平面方程计算相机离地面距离，关联相机外参恢复地图尺度，并***优化防止尺度飘逸。

步骤6、自适应IPM投影，将神经网络的识别结果投影到地平面上生成地平面元素点云，每一帧生产一份点云。

步骤7、将点云子图按ORB_SLAM追踪位姿进行叠加，对点云重叠部分进行概率统计判断是背景或者元素。

步骤8、单目ORB_SLAM追踪失败后，重新初始化，重复步骤2-步骤7，另构建一份新的点云子图，采用NDT点云匹配将多份点云子图拼接为大场景道路地图。

本发明在另一方面还提供一种电子设备，其包括：

一个或多个处理器。

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现以上所述的利用单目摄像头进行大场景车道建图方法的步骤。

采用以上技术方案，本发明至少具有如下优点：

1、本发明是利用室外车载环境下的道路平面属性，结合车载摄像头标定的先验信息，恢复单目建图尺度及抑制尺度漂移，且进一步利用路面平面属性对摄像头数据进行反向投影，以此构建室外大场景基于车道的地图。其使用单一消费级传感器并结合独特的建图方法实现稳定建图，建图精度高，成本高低。

2、本发明利用预先标定的相机与地面距离，通过在线构建三维环境稀疏点云，拟合地平面，以此计算出真实物理距离与计算距离之间的比率，可以克服单目视觉SLAM面临的尺度缺失和尺度随时间漂移以及SLAM创建地图数据过于单一等问题，可以实现大场景环境下单目视觉建图。

3、本发明使用单一消费级传感器（例如前视摄像头）进行稳定建图。，利用摄像头外参的先验信息解决单目尺度缺失与尺度漂移问题，配合单目视觉里程计与地面的平面约束实现地面车道元素建图，可以用到消费级乘用车上，服了现有技术在传感器配置上采用多种传感器，成本高，且导致需要对多种传感器数据进行融合，数据处理复杂且不准确的问题。

4、本发明利用室外车载环境下的道路平面属性，将语义信息使用IPM算法投影到地平面上以此实现地面元素构建，使用多次构建子图利用点云NDT配准，实现大场景地面建图，在算法原理与结构、成图格式方面均显著优于现有技术。

附图说明：

图1为 本发明方法的步骤框图；

图2为 本发明方法中的车体与相机坐标系示例图；

图3为 本发明方法中的语义识别mask（上）和IPM投影（下）示意图；

图4为 本发明方法用ORB_SLAM算法构建的稀疏点云图；

图5为 本发明方法中对点云进行地平面拟合结果图；

图6为 本发明方法中多子图NDT配准结果图。

具体实施方式：

以下将通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

参见图1，本实施例说明利用单目摄像头进行大场景车道建图方法的详细步骤：

步骤1、标定车载前视摄像头，获取相机内外参数：

对车体传感器（本实施例利用车载前视摄像头）进行标定，获取相机内参与相机相对于车辆的外参。

如图2所示，标定得到的相机内参：焦距（fx、fy）、主点坐标（cx、cy）。相机外参：相机光心在车体坐标系下的坐标值（X、Y、Z）、相机坐标系在车体坐标系下的偏转角（Roll、Pitch、Yaw）。

步骤2、采集图像数据，利用卷积神经网络识别地面元素：

单目摄像头采集数据，利用卷积神经网络对地面元素进行识别。

如图3的上图所示，具体是使用卷积神经网络的语义分割对单目摄像头采集到的前视图像上的地面元素进行语义识别，得到地面元素的像素mask。这里的地面元素包括车道线、斑马线、箭头等。

步骤3、图像数据输入ORB_SLAM进行里程计追踪及点云构建：

利用ORB_SLAM对单目摄像头采集数据进行里程计追踪及点云构建。

具体是，将前视摄像头采集的连续视频流数据作为输入，输入ORB_SLAM算法进行建图追踪，ORB_SLAM算法得到实时相机位置与姿态（x、y、z、roll、pitch、yaw）、稀疏特征点点云及各点三维坐标（xi、yi、zi），如图4所示。至此步骤得到的相机位置与点云中点的位置与真实物理世界之间存在一个未知缩放比例s。

ORB_SLAM是开源的SLAM算法模块，用此算法模块计算连续视频流数据采集时摄像头的相对位移及相对姿态变化，此为对数据的里程轨迹进行追踪。ORB_SLAM算法计算里程的同时，生成三维世界特征点的稀疏点云表示，即进行了点云图的构建，此为建图。ORB_SLAM建图追踪即在对每帧进行定位的同时构建出周边的环境地图，即为同步定位与建图SLAM。

步骤4、对点云进行地平面拟合：

用RANSANC方法对点云进行地平面拟合，获取地平面表达方程，如图5所示：

4.1、将点云三维坐标投影到当前图像上得到像素坐标，对应地面语义mask判断是否地面点，得到地面点云集合Pg[p0、p1、p2…pn]；

4.2、从Pg内随机抽取五点，计算这五点三维坐标均值[x_,y_,z_]及三维坐标的协方差矩阵∑。对∑进行特征分解得到三个特征值由大到小分别为λ0、λ1、λ2，与对应的特征向量v0、v1、v2。如果①10*λ2<λ1 、②λ0<2*λ1，则认为此五点近似位于同于平面上，进行下一步，回到步骤2）。

本步骤中，计算五点三维坐标均值，旨在用最少的点表示此点云的所有维度，四点及以下都不足以稳定计算此点云特征维度。

4.3、 利用此五点的三维坐标计算平面方程的最小二乘解；

4.4、对Pg中每一点计算到平面距离d，如果d<6*λ0，则认为此点落在平面上为内点，得到内点集合Pin[pin0、pin1、pin2…pinn]；

4.5、 重复执行步骤2）、3）、4）十次，得到内点数最多一次的计算结果。

这里，为经验确定，次数越多计算量越大，得到的结果越准确。当然也可以为其他值，但在十次附近最佳。

4.6、利用所有内点的三维坐标计算平面方程的最小二乘解，得到拟合的地面方程参数(a、b、c、d)，地平面方程为a*x+b*y+c*z+d=0。

步骤5、恢复地图尺度

利用相机位姿、地平面方程计算相机离地面距离，关联相机外参恢复地图尺度，并***优化防止尺度飘逸。

在本步骤中，计算连续十帧相机位置(x、y、z)与地平面（a、b、c、d）之间的平均距离D，真实物理世界相机离地面距离即为相机外参中的Z，以此计算尺度s=Z/D。以此对ORB_SLAM计算结果进行缩放。单目相机SLAM中所说的尺度，就是所构建的地图与真实世界之间的缩放比例。

步骤6、自适应IPM投影：

自适应IPM投影，将神经网络的识别结果投影到地平面上生成地平面元素点云子图，每一帧生产一份点云图。

在本步骤中，利用相机位置姿态、地平面方程计算相机相对于地平面的位置姿态T，使用此位姿T对语义识别的地面元素mask进行IPM投影，将神经网络的识别结果投影到地平面上生成地平面元素点云，每一帧生产一份点云。IPM投影为根据相机成像模型原理，模拟地平面在图像上成像过程，将图片上的像素点反向计算到地平面上，此过程可以概括为一个投影变换。参见图3的下图。

步骤7、重叠部分进行概率统计

将点云子图按ORB_SLAM追踪位姿进行叠加，对点云重叠部分进行概率统计判断是背景或者元素。

由于不同帧的IPM投影视野有重合部分，因此，利用相机位置姿态将投影重叠部分进行叠加，针对每一个投影栅格mask落在此处为地面元素或背景的次数进行计数，取次数大的标签为此栅格标签，得到栅格图，再转换为点云。

步骤8、多份地图NDT点云匹配

单目ORB_SLAM追踪失败后，重新初始化另构建一份新的点云地图，采用NDT点云匹配将多份点云地图拼接为大场景道路地图。

在本步骤中，以一次ORB_SLAM初始化成功到ORB_SLAM追踪失败期间的计算结果为一份点云子图，多次执行步骤2到步骤8得到多份不同覆盖范围的子图，最终利用NDT算法将不同子图进行配准合并，最终得到一份大场景点云语义地图。NDT算法为点云匹配算法，可以计算两份有少量重叠的点云之间的相对位置与旋转，得到相对位移与旋转后可以将两份点云进行拼接。如图6所示。

在另一实施例中，提供一种电子设备，其包括：

一个或多个处理器。

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现前一实施例所述的利用单目摄像头进行大场景车道建图方法的步骤。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。 此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本 公开的思想，其同样应当视为本发明所公开的内容。

Claims (8)

1.一种利用单目摄像头进行大场景车道建图方法，其特征在于，包括如下步骤：

步骤1、标定车载前视摄像头，获取相机内参与相机相对于车辆的外参；

步骤2、在车辆行驶中用单目摄像头采集数据，利用神经网络对地面元素进行识别，地面元素包括车道线、斑马线、箭头；

步骤3、利用单目ORB_SLAM对采集的数据进行里程计追踪及点云构建；

步骤4、用RANSANC方法对点云进行地平面拟合，获取地平面表达方程；

步骤5、利用相机位姿、地平面方程计算相机离地面距离，关联相机外参恢复地图尺度，并***优化防止尺度飘移；

步骤6、自适应IPM投影，将神经网络的识别结果投影到地平面上生成地平面元素点云，每一帧产生一份此帧对应的点云；

步骤7、将多个帧对应的点云按ORB_SLAM追踪位姿进行叠加，对点云重叠部分进行概率统计判断是背景或者元素，生成点云子图；

步骤8、单目ORB_SLAM追踪失败后，重新初始化，重复步骤2-步骤7，另构建一份新的点云子图，采用NDT点云匹配将多份点云子图拼接为大场景道路地图。

2.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤1，标定得到的相机内参包括：焦距（fx、fy）、主点坐标（cx、cy）；相机外参包括：相机光心在车体坐标系下的坐标值（X、Y、Z）、相机坐标系在车体坐标系下的偏转角（Roll、Pitch、Yaw）。

3.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤3利用单目ORB_SLAM对采集的数据进行里程计追踪及点云构建包括：将前视摄像头采集的连续视频流数据作为输入，输入ORB_SLAM算法进行建图追踪，ORB_SLAM算法得到实时相机位置与姿态（x、y、z、roll、pitch、yaw）、稀疏特征点点云及各点三维坐标（xi、yi、zi）。

4.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤4用RANSANC方法对点云进行地平面拟合，获取地平面表达方程具体包括；

步骤4.1、将点云三维坐标投影到当前图像上得到像素坐标，对应地面语义mask判断是否地面点，得到地面点云集合Pg[p0、p1、p2…pn]；

步骤4.2、从Pg内随机抽取五点，计算这五点三维坐标均值[x_,y_,z_]及三维坐标的协方差矩阵∑；

对∑进行特征分解得到三个特征值由大到小分别为λ0、λ1、λ2，与对应的特征向量v0、v1、v2；

如果①10*λ2<λ1 、②λ0<2*λ1，则认为此五点近似位于同于平面上，进行下一步，回到步骤4.2；

步骤4.3、利用此五点的三维坐标计算平面方程的最小二乘解；

步骤4.4、对Pg中每一点计算到平面距离d，如果d<6*λ0，则认为此点落在平面上为内点，得到内点集合Pin[pin0、pin1、pin2…pinn]；

步骤4.5、重复执行步骤4.2、4.3、4.4；

步骤4.6、利用所有内点的三维坐标计算平面方程的最小二乘解，得到拟合的地面方程参数(a、b、c、d)，地平面方程为a*x+b*y+c*z+d=0。

5.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤5，计算连续多帧相机位置(x、y、z)与地平面（a、b、c、d）之间的平均距离D，真实物理世界相机离地面距离即为相机外参中的Z，计算尺度s=Z/D，s是相机位置与点云中点的位置与真实物理世界之间缩放比例，以此对ORB_SLAM计算结果进行缩放。

6.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤6，利用相机位置姿态、地平面方程计算相机相对于地平面的位置姿态T，使用此位姿T对语义识别的地面元素识别结果进行IPM投影，得到此帧的地平面元素点云，每一帧生产一份点云。

7.根据权利要求1所述的利用单目摄像头进行大场景车道建图方法，其特征在于，所述步骤8，以一次ORB_SLAM初始化成功到ORB_SLAM追踪失败期间的计算结果为一份点云子图，此点云子图为多帧点云的叠加，多次执行步骤2到8得到多份不同覆盖范围的点云子图，最终利用NDT算法将不同子图进行配准合并，得到一份大场景点云语义地图。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现权利要求1至7中任一项所述的利用单目摄像头进行大场景车道建图方法的步骤。

Images