CN112308904A - 一种基于视觉的建图方法、装置及车载终端 - Google Patents

Abstract

本发明实施例公开一种基于视觉的建图方法、装置及车载终端。该方法包括：获取相机设备采集的道路图像；根据预设的边缘强度，提取道路图像的边缘特征图；根据运动检测设备采集的数据，确定与道路图像对应的定位位姿；基于三维重建算法和定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息；按照预设点密度从边缘特征图的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至地图；其中，定位位姿为地图所在的世界坐标系中的位姿。应用本发明实施例提供的方案，能够增加地图中用于视觉定位的有效信息量。

Description

一种基于视觉的建图方法、装置及车载终端

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种基于视觉的建图方法、装置及车载终端。

背景技术

在智能驾驶技术领域中，对车辆进行定位是智能驾驶中的重要环节。通常，当车辆行驶时，可以根据卫星定位***确定车辆位姿。但是，当车辆行驶至卫星信号较弱或无信号的场景中时，为了精确地确定车辆的定位位姿，可以基于视觉定位的方式进行定位。

基于视觉的定位建立在预先构建的高精度地图的基础上。在高精度地图的建图方案中，大多数的建图方案都是针对道路上常见的标志物进行建模。标志物一般可以包括地面的车道线、地面标志线、交通标识牌和路灯杆等。在建图时，从道路图像中提取标志物的语义信息，并将语义信息的位置添加至地图中。在对车辆进行定位时，根据车辆上的相机设备采集的道路图像的语义信息与高精度地图中的语义信息之间的匹配得到。

但是，上述建图方案严重依赖于道路上的标志物，当场景中的标志物稀少甚至没有标志物时，高精度地图难以给出足够的有效信息用于视觉定位，高精度地图中用于视觉定位的有效信息量不足。

发明内容

本发明提供了一种基于视觉的建图方法、装置及车载终端，以增加地图中用于视觉定位的有效信息量。具体的技术方案如下。

第一方面，本发明实施例公开了一种基于视觉的建图方法，包括：

获取相机设备采集的道路图像；

根据预设的边缘强度，提取所述道路图像的边缘特征图；

根据运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

可选的，根据预设的边缘强度，提取道路图像的边缘特征图的步骤，包括：

基于边缘特征提取模型，提取所述道路图像的边缘特征图；其中，所述边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；所述边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

可选的，所述基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息的步骤，包括：

基于三维重建算法，确定所述边缘特征图中每个点在相机坐标系中的三维坐标；其中，所述相机坐标系为所述相机设备对应的三维坐标系；

根据所述定位位姿确定所述相机坐标系与所述世界坐标系之间的转换矩阵，根据所述转换矩阵，对所述三维坐标进行转换，得到所述边缘特征图中每个点在所述世界坐标系中的位置信息。

可选的，所述按照预设点密度从所述边缘特征图的各个点中选择地图点的步骤，包括：

根据具有预设体素尺寸的八叉树算法，在所述地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于所述八叉树立方体网格中的所述边缘特征图的点中选择一个点，作为与所述八叉树立方体网格对应的地图点。

可选的，在将各个地图点在世界坐标系中的位置信息添加至所述地图之后，还包括：

将所述道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与所述道路图像对应的回环检测图像；

对从所述回环检测图像到所述道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

在修正对应的地图点的位置信息之后，针对所述地图中的每个八叉树立方体网格，当所述八叉树立方体网格中存在多于一个地图点时，删除所述八叉树立方体网格中的地图点，使得所述八叉树立方体网格中剩余的地图点为一个。

可选的，所述将道路图像与各个历史道路图像进行匹配的步骤，包括：

将所述道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

可选的，每个点在所述世界坐标系中的位置信息包括：每个点在所述世界坐标系中的坐标位置和该点的法向量信息。

第二方面，本发明实施例公开了一种基于视觉的建图装置，包括：

获取模块，被配置为获取相机设备采集的道路图像；

提取模块，被配置为根据预设的边缘强度，提取所述道路图像的边缘特征图；

定位模块，被配置为根据运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块，被配置为基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

添加模块，被配置为按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

可选的，所述提取模块，具体被配置为：

基于边缘特征提取模型，提取所述道路图像的边缘特征图；其中，所述边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；所述边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

可选的，所述确定模块，具体被配置为：

基于三维重建算法，确定所述边缘特征图中每个点在相机坐标系中的三维坐标；其中，所述相机坐标系为所述相机设备对应的三维坐标系；

根据所述定位位姿确定所述相机坐标系与所述世界坐标系之间的转换矩阵，根据所述转换矩阵，对所述三维坐标进行转换，得到所述边缘特征图中每个点在所述世界坐标系中的位置信息。

可选的，所述添加模块，具体被配置为：

根据具有预设体素尺寸的八叉树算法，在所述地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于所述八叉树立方体网格中的所述边缘特征图的点中选择一个点，作为与所述八叉树立方体网格对应的地图点。

可选的，所述装置还包括：

匹配模块，被配置为在将各个地图点在世界坐标系中的位置信息添加至所述地图之后，将所述道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与所述道路图像对应的回环检测图像；

修正模块，被配置为对从所述回环检测图像到所述道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

删除模块，被配置为在修正对应的地图点的位置信息之后，针对所述地图中的每个八叉树立方体网格，当所述八叉树立方体网格中存在多于一个地图点时，删除所述八叉树立方体网格中的地图点，使得所述八叉树立方体网格中剩余的地图点为一个。

可选的，所述匹配模块，将所述道路图像与各个历史道路图像进行匹配时，包括：

将道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

第三方面，本发明实施例公开了一种车载终端，包括：处理器、相机设备和运动检测设备；所述处理器包括：

获取模块，用于获取所述相机设备采集的道路图像；

提取模块，用于根据预设的边缘强度，提取所述道路图像的边缘特征图；

定位模块，用于根据所述运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块，用于基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

添加模块，用于按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

可选的，所述提取模块，具体用于：

基于边缘特征提取模型，提取所述道路图像的边缘特征图；其中，所述边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；所述边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

可选的，所述确定模块，具体用于：

基于三维重建算法，确定所述边缘特征图中每个点在相机坐标系中的三维坐标；其中，所述相机坐标系为所述相机设备对应的三维坐标系；

根据所述定位位姿确定所述相机坐标系与所述世界坐标系之间的转换矩阵，根据所述转换矩阵，对所述三维坐标进行转换，得到所述边缘特征图中每个点在所述世界坐标系中的位置信息。

可选的，所述添加模块，具体用于：

根据具有预设体素尺寸的八叉树算法，在所述地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于所述八叉树立方体网格中的所述边缘特征图的点中选择一个点，作为与所述八叉树立方体网格对应的地图点。

可选的，所述装置还包括：

匹配模块，用于在将各个地图点在世界坐标系中的位置信息添加至所述地图之后，将所述道路图像与各个历史道路图像进行匹配，当匹配成功时，根据匹配成功的历史道路图像确定与所述道路图像对应的回环检测的匹配图像；

修正模块，用于对从所述回环检测图像到所述道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

删除模块，用于在修正对应的地图点的位置信息之后，针对所述地图中的每个八叉树立方体网格，当所述八叉树立方体网格中存在多于一个地图点时，删除所述八叉树立方体网格中的地图点，使得所述八叉树立方体网格中剩余的地图点为一个。

可选的，所述匹配模块，将道路图像与各个历史道路图像进行匹配时，包括：

将道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

由上述内容可知，本发明实施例提供的基于视觉的建图方法、装置及车载终端，可以根据预设的边缘强度，提取道路图像的边缘特征图，根据运动检测设备采集的数据，确定与道路图像对应的定位位姿，基于三维重建算法和定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息，按照预设点密度从边缘特征图的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至地图。本发明实施例根据从道路图像得到的边缘特征图中选择地图点，将地图点的位置信息添加至地图，道路图像的边缘特征图能够提取图像中的结构化特征，这些结构化特征会更丰富且抗噪，即便场景中的标志物稀疏甚至没有标志物，也能提取到足够多有效的地图点。因此，本发明实施例能够增加地图中用于视觉定位的有效信息量。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、从道路图像中提取结构化的边缘特征图，从边缘特征图中提取点云数据用于地图构建，能够得到更加稠密的地图信息，增加地图中的有效信息量。

2、采用八叉树维护地图点的密度，这样能够使得选择的地图点满足预设点密度要求。

3、根据三维重建，确定边缘特征图中每个点在相机坐标系中的坐标，并将相机坐标系中的坐标转换至世界坐标系中，得到边缘特征图中每个点在世界坐标系中的位置，能够更准确地确定边缘特征图中每个点的位置信息。

4、通过回环检测对地图点的位置信息进行修正，并删除重复的地图点，能够消除累积误差，提高地图中地图点数据的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于视觉的建图方法的一种流程示意图；

图2为本发明实施例提供的基于视觉的建图方法的一种架构示意图；

图3为本发明实施例提供的基于视觉的建图装置的一种结构示意图；

图4为本发明实施例提供的车载终端的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种基于视觉的建图方法、装置及车载终端，能够增加地图中用于视觉定位的有效信息量。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于视觉的建图方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial personal Computer，IPC)等车载终端。本实施例中，车载终端可以安装于车辆中，车辆是指智能车辆。该方法具体包括以下步骤。

S110：获取相机设备采集的道路图像。

其中，相机设备可以按照预设的频率采集道路图像。道路图像可以包括道路标志物或者相机设备的图像采集范围内的其他任何物体的图像数据。

本实施例中，道路图像所在的场所可以是户外，也可以为停车场。相机设备可以设置在车辆中，或者机器人等可移动的智能产品中。以下均以相机设置在车辆中为例来说明，但是这并不表示本实施例就限定在车辆中。

道路图像可以是车辆行驶在各种道路上时相机设备采集的车辆周围环境的图像。其中，道路可以是任何车辆能够行驶的地方，例如城市道路、乡村道路、山区道路、停车场道路等，驶入停车位的过程中采集的图像也可以包含在道路图像中。

S120：根据预设的边缘强度，提取道路图像的边缘特征图。

图像中的边缘是指周围像素灰度有阶跃变化的像素点的集合。边缘点两侧像素的灰度值有显著的差异。边缘强度，可以理解为边缘点梯度的幅值。边缘特征图可以理解为与道路图像尺寸一致的包含边缘特征的数据。在边缘特征图包含道路图像中的边缘线条的位置信息。边缘线条由边缘点组成。

提取的边缘特征图为在道路图像所在的图像坐标系中表示的位置信息。边缘特征图中的边缘点为图像坐标系中的位置。

上述提取道路图像的边缘特征图，可以理解为，对道路图像进行特征提取，得到边缘特征图。具体的，在提取道路图像的边缘特征图时，可以将预设的边缘强度作为阈值，从道路图像中提取出边缘强度大于该阈值的边缘，得到边缘特征图。也可以是，在道路图像的局部范围内，提取出边缘强度较大的边缘，例如在有棱线的柱子中，柱子内部的棱线的梯度在整个道路图像范围内可能不是较大的，但是在柱子范围内该棱线的边缘强度较大，因此也作为边缘提取的对象。上述两种方案也可以结合起来。

根据预设的边缘强度提取的边缘特征图能够体现道路图像中的结构化特征。具体的，可以采用canny算子、sobel算子和LoG算子提取道路图像的边缘特征图。

在另一种实施方式中，本步骤还可以包括：基于边缘特征提取模型，提取道路图像的边缘特征图。

其中，边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到。边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

基于边缘特征提取模型，提取道路图像的边缘特征图，可以包括：将道路图像输入边缘特征提取模型，并获取边缘特征提取模型输出的该道路图像的边缘特征图。

在训练阶段，可以获取多个样本道路图像和标注的边缘特征，将样本道路图像输入边缘特征提取模型；边缘特征提取模型根据模型参数提取样本道路图像的特征向量，并对特征向量进行回归，得到样本道路图像的参考边缘特征；将参考边缘特征与标注的边缘特征进行比对，得到差异量；当该差异量大于预设差异阈值时，返回执行将样本道路图像输入边缘特征提取模型的步骤；当该差异量不大于预设差异阈值时，确定边缘特征提取模型训练完成。

其中，标注的边缘特征体现了预设的边缘强度。也就是说，样本道路图像中的边缘特征是按照预设的边缘强度作为标准进行标注的。采用上述机器学习的方法训练得到的边缘特征提取模型，能够提取更准确的边缘特征。边缘特征提取模型也可以称为边缘检测器。

S130：根据运动检测设备采集的数据，确定与道路图像对应的定位位姿。

其中，定位位姿为地图所在的世界坐标系中的位姿。运动检测设备可以包括惯性测量单元(Inertial Measurement Unit，IMU)和/或轮速计等传感器。运动检测设备采集的数据的时刻与相机设备采集的道路图像的时刻，可以为相互关联的时刻，例如两者的采集时刻可以为同一时刻或者时间差很短的时刻。

根据运动检测设备采集的数据，确定与道路图像对应的定位位姿，具体可以包括：获取上一定位位姿，根据该上一定位位姿和运动检测设备采集的数据，确定与该道路图像对应的定位位姿。其中，上一定位位姿可以为确定的上一时刻的定位位姿。

在另一种实施方式中，本步骤还可以包括：根据运动检测设备采集的数据，以及该道路图像中的道路特征与预设地图中道路特征的匹配结果，确定车辆的与该道路图像对应的定位位姿。在这种实施方式中，将该道路图像中的道路特征与预设地图中道路特征进行匹配，对应的是另一种基于视觉的定位方法。

在另一种实施方式中，运动检测设备还可以包括全球定位***(GlobalPositioning System，GPS)。当运动检测设备包括GPS时，可以尽可能消除根据IMU、轮速计等定位过程中的累计误差，提高定位位姿的准确性。

本步骤中确定的定位位姿，为用于将边缘特征图中的特征点与地图中的位置信息进行关联的定位位姿，是比较准确的车辆的定位位姿。

S140：基于三维重建算法和上述定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息。

每个点在世界坐标系中的位置信息包括：每个点在世界坐标系中的坐标位置和该点的法向量信息。该点的法向量信息表示该点所在平面的法向量。在世界坐标系中，该点的坐标位置可以采用三个坐标(a，b，c)表示，该点的法向量信息可以采用三个参量(A，B，C)表示。每个点的位置信息包含了6个维度的信息，这种表示方式可以等价于采用一个平面A(x-a)+B(y-b)+C(z-c)＝0来表示每个点。

S150：按照预设点密度从边缘特征图的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至地图。

由于边缘特征图中的点数量非常多，将所有点都作为地图点，会使得处理过程变得繁杂且并不能有效地提高准确性。为了降低处理的复杂度，本步骤中按照预设点密度从边缘特征图中的各个点中选择地图点进行地图构建。

将各个地图点在世界坐标系中的位置信息添加至地图，可以理解为将各个地图点与位置信息的对应关系添加至地图中。

由上述内容可知，本实施例可以根据从道路图像得到的边缘特征图中选择地图点，将地图点的位置信息添加至地图，道路图像的边缘特征图能够提取图像中的结构化特征，这些结构化特征会更丰富，且能够在长时间、光照变换或季节变化等情况下依旧拥有稳定的外观，即更鲁棒，即便场景中的标志物稀疏甚至没有标志物，也能提取到足够有效的地图点。因此，本实施例能够增加地图中用于视觉定位的有效信息量。

综上，本实施例与传统的特征检测的区别还包括，传统的特征检测需要明确待检测特征为车道线、人行道、交通标识牌、路灯杆等人造物体的语义特征。如果场景中没有这些语义特征，可能无法进行地图构建，或者寻找新的特征，重新定义新的特征。而本实施例中提取的边缘特征更加泛化，包含场景中的人造物体和自然物体，适应性更强。

在本发明的另一实施例中，基于图1所示实施例，步骤S150，按照预设点密度从边缘特征图的各个点中选择地图点的步骤，包括以下步骤1a和2a。

步骤1a：根据具有预设体素尺寸的八叉树算法，在地图中构建八叉树立方体网格。

其中，预设体素尺寸可以包括但不限于2cm或其他值。当预设体素尺寸为2cm时，在地图中构建的八叉树立方体网格的尺寸为2cm*2cm*2cm。

本实施例中，可以采用八叉树算法维护地图中的八叉树立方体网格，每个八叉树立方体网格对应一个地图点。

步骤2a：针对每个八叉树立方体网格，从处于八叉树立方体网格中的边缘特征图的点中选择一个点，作为与八叉树立方体网格对应的地图点。

在具体实施时，针对地图中的每个八叉树立方体网格，判断该八叉树立方体网格中是否存在边缘特征图中的点，如果存在，则从处于该八叉树立方体网格中的点中选择一个点，作为与该八叉树立方体网格对应的地图点。如果该八叉树立方体网格中不存在边缘特征图中的点，则继续判断下一个八叉树立方体网格。

综上，本实施例采用八叉树算法维护地图中地图点的密度，这样能够使得选择的地图点满足预设点密度要求。

在本发明的另一实施例中，基于图1所示实施例，步骤S140，基于三维重建算法和定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息的步骤，包括以下步骤1b～2b。

步骤1b：基于三维重建算法，确定边缘特征图中每个点在相机坐标系中的三维坐标。

其中，相机坐标系为相机设备对应的三维坐标系。

在确定边缘特征图中每个点在相机坐标系中的三维坐标时，可以基于至少两个相机设备在同一时刻采集的道路图像，根据不同道路图像之间像素点的匹配关系，以及相机设备之间的距离和相机设备的相机参数，确定道路图像中每个像素点的三维坐标。也可以基于一个相机设备连续采集的多个道路图像，根据采集多个道路图像过程中车辆的运动数据，确定道路图像中的点在相机坐标系中的三维坐标。当确定了道路图像中像素点的三维坐标时，根据道路图像与边缘特征图中点的对应关系，可以确定边缘特征图中每个点的三维坐标。

在另一实施方式中，还可以采用块匹配算法(Patch Match)确定边缘特征图中每个点在相机坐标系中的三维坐标，即对每个点进行三维重建。

步骤2b：根据定位位姿确定相机坐标系与世界坐标系之间的转换矩阵，根据该转换矩阵，对上述三维坐标进行转换，得到边缘特征图中每个点在世界坐标系中的位置信息。

上述定位位姿表示车辆在世界坐标系中的位姿，相机设备设置于车辆中且与车辆之间的相对位置是固定的，因此，根据定位位姿可以确定相机坐标系与世界坐标系之间的转换矩阵。

综上，本实施例提供了确定边缘特征图中每个点在世界坐标系中的位置信息的具体实施方式，确定各个点在相机坐标系中的三维坐标，根据转换矩阵将该三维坐标转换至世界坐标系中，能够更准确地确定边缘特征图中每个点的位置信息。

在本发明的另一实施例中，基于上述实施例，在将各个地图点在世界坐标系中的位置信息添加至地图之后，该方法还可以包括以下步骤1c～3c。

步骤1c：将道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与道路图像对应的回环检测图像。

其中，各个历史道路图像为进行过地图点构建的道路图像。

在车辆行走的过程中，可以将相机设备采集的道路图像以及从该道路图像确定的地图点、该道路图像对应的定位位姿均可以存储起来，存储的道路图像作为历史道路图像。

其中，各个历史道路图像可以为在预设时长内采集的道路图像。

将道路图像与各个历史道路图像进行匹配，可以直接将道路图像与各个历史道路图像进行图像匹配。也可以是，将道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配，当匹配成功时，匹配成功的边缘特征图对应的历史道路图像为回环检测图像。将边缘特征图进行匹配的方式能够提高匹配效率。

当匹配成功时，认为车辆回到了以前建过图的地方，该道路图像对应的地点与回环检测图像对应的地点为同一地点。

步骤2c：对从回环检测图像到道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息。

当车辆在移动的过程中又回到同一地点时，行驶轨迹形成闭环。本实施例的回环检测可以对根据运动检测设备推测的车辆位姿进行修正。当修正每个道路图像对应的定位位姿后，对应地可以根据步骤S140修正对应的地图点的位置信息。由于根据运动检测设备的数据确定的定位位姿存在累积误差，而回环检测能够尽可能减小这种累积误差，提高定位位姿的准确性，进而提高地图点的准确性。

步骤3c：在修正对应的地图点的位置信息之后，针对地图中的每个八叉树立方体网格，当该八叉树立方体网格中存在多于一个地图点时，删除该八叉树立方体网格中的地图点，使得该八叉树立方体网格中剩余的地图点为一个。

在删除该八叉树立方体网格中的地图点时，可以针对该八叉树立方体网格中的地图点进行随机删除，也可以保留位置最接近于八叉树立方体网格中心的地图点，删除其他地图点。

在修正对应的地图点的位置信息之后，地图点的位置信息变化可能导致八叉树立体网格中的地图点不止一个。本步骤能够删除八叉树立方体网格中重复的地图点，维护地图点的密度。

综上，本实施例中通过回环检测对已经构建的地图点的位置进行修正，并删除重复的地图点，能够消除累积误差，提高地图中地图点的准确性。

图2为本发明实施例提供的基于视觉的建图方法的一种框架示意图。其中，该框架包括前端、中端和后端各个部分。车辆四周的前、后、左、右的相机设备采集多路道路图像。前端为运动检测设备，包括IMU或轮速计等智能车辆常用传感器。前端的作用是利用多传感器融合进行位姿估计，并将当前道路图像帧的定位位姿输出至MVS建图模块。

中端包括边缘检测器和MVS(Multi-View Stereo，多视角立体视觉)建图模块。边缘检测器在确定道路图像的边缘特征图后，将边缘特征图输入值MVS建图模块。

MVS建图模块在得到多路道路图像、定位位姿和边缘特征图之后，对边缘特征图中的点进行三维重建，得到边缘特征图中的点在世界坐标系中的坐标和法向量，并将边缘特征图中的点在世界坐标系中的坐标和法向量输入地图管理器。

地图管理器的功能包括至少2个。一个功能是采用八叉树算法维护地图点的密度，从MVS建图模块输入的信息中选择地图点，并添加至高精度地图中。另一个功能是，根据回环检测模块输出的匹配图像对已经添加至高精度地图中的点进行修正和滤除。

回环检测根据多路道路图像和历史道路图像进行回环检测，并将检测到的匹配图像发送至地图管理器。

图3为本发明实施例提供的基于视觉的建图装置的一种结构示意图。该装置与图1所示方法实施例相对应。该装置可应用于电子设备。该装置包括：

获取模块310，被配置为获取相机设备采集的道路图像；

提取模块320，被配置为根据预设的边缘强度，提取道路图像的边缘特征图；

定位模块330，被配置为根据运动检测设备采集的数据，确定与道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块340，被配置为基于三维重建算法和所述定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息；

添加模块350，被配置为按照预设点密度从边缘特征图的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至地图。

在本发明的另一实施例中，基于图3所示实施例，提取模块320具体被配置为：

基于边缘特征提取模型，提取道路图像的边缘特征图；其中，边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；边缘特征提取模型使得道路图像与对应的边缘特征图相关联。

在本发明的另一实施例中，基于图3所示实施例，确定模块340具体被配置为：

基于三维重建算法，确定边缘特征图中每个点在相机坐标系中的三维坐标；其中，相机坐标系为相机设备对应的三维坐标系；

根据定位位姿确定相机坐标系与世界坐标系之间的转换矩阵，根据转换矩阵，对三维坐标进行转换，得到边缘特征图中每个点在世界坐标系中的位置信息。

在本发明的另一实施例中，基于图3所示实施例，添加模块350，具体被配置为：

根据具有预设体素尺寸的八叉树算法，在地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于八叉树立方体网格中的边缘特征图的点中选择一个点，作为与八叉树立方体网格对应的地图点。

在本发明的另一实施例中，基于图3所示实施例，该装置还包括：

匹配模块(图中未示出)，被配置为在将各个地图点在世界坐标系中的位置信息添加至地图之后，将道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与道路图像对应的回环检测图像；

修正模块(图中未示出)，被配置为对从所述回环检测图像到所述道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

删除模块(图中未示出)，被配置为在修正对应的地图点的位置信息之后，针对所述地图中的每个八叉树立方体网格，当所述八叉树立方体网格中存在多于一个地图点时，删除所述八叉树立方体网格中的地图点，使得所述八叉树立方体网格中剩余的地图点为一个。

在本发明的另一实施例中，基于图3所示实施例，匹配模块，将道路图像与各个历史道路图像进行匹配时，包括：

将道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

在本发明的另一实施例中，基于图3所示实施例，每个点在世界坐标系中的位置信息包括：每个点在世界坐标系中的坐标位置和该点的法向量信息。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

图4为本发明实施例提供的车载终端的一种结构示意图。该车载终端，包括：处理器410、相机设备420和运动检测设备430；处理器410包括(以下模块未示出)：

获取模块，用于获取相机设备420采集的道路图像；

提取模块，用于根据预设的边缘强度，提取道路图像的边缘特征图；

定位模块，用于根据运动检测设备430采集的数据，确定与道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块，用于基于三维重建算法和定位位姿，确定边缘特征图中每个点在世界坐标系中的位置信息；

添加模块，用于按照预设点密度从边缘特征图的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至地图。

在本发明的另一实施例中，基于图4所示实施例，提取模块，具体用于：

基于边缘特征提取模型，提取道路图像的边缘特征图；其中，边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；边缘特征提取模型使得道路图像与对应的边缘特征图相关联。

在本发明的另一实施例中，基于图4所示实施例，确定模块具体用于：

基于三维重建算法，确定边缘特征图中每个点在相机坐标系中的三维坐标；其中，相机坐标系为相机设备420对应的三维坐标系；

根据定位位姿确定相机坐标系与世界坐标系之间的转换矩阵，根据转换矩阵，对三维坐标进行转换，得到边缘特征图中每个点在世界坐标系中的位置信息。

在本发明的另一实施例中，基于图4所示实施例，添加模块，具体用于：

根据具有预设体素尺寸的八叉树算法，在地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于八叉树立方体网格中的边缘特征图的点中选择一个点，作为与八叉树立方体网格对应的地图点。

在本发明的另一实施例中，基于图4所示实施例，该装置还包括：

匹配模块(图中未示出)，用于在将各个地图点在世界坐标系中的位置信息添加至地图之后，将道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与道路图像对应的回环检测图像；

修正模块(图中未示出)，用于对从回环检测图像到道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

删除模块(图中未示出)，用于在修正对应的地图点的位置信息之后，针对地图中的每个八叉树立方体网格，当该八叉树立方体网格中存在多于一个地图点时，删除该八叉树立方体网格中的地图点，使得该八叉树立方体网格中剩余的地图点为一个。

在本发明的另一实施例中，基于图4所示实施例，匹配模块，将道路图像与各个历史道路图像进行匹配时，包括：

将道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

在本发明的另一实施例中，基于图4所示实施例，每个点在世界坐标系中的位置信息包括：每个点在世界坐标系中的坐标位置和该点的法向量信息。

该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于视觉的建图方法，其特征在于，包括：

获取相机设备采集的道路图像；

根据预设的边缘强度，提取所述道路图像的边缘特征图；

根据运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

2.如权利要求1所述的方法，其特征在于，所述根据预设的边缘强度，提取所述道路图像的边缘特征图的步骤，包括：

基于边缘特征提取模型，提取所述道路图像的边缘特征图；其中，所述边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；所述边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

3.如权利要求1所述的点方法，其特征在于，所述基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息的步骤，包括：

基于三维重建算法，确定所述边缘特征图中每个点在相机坐标系中的三维坐标；其中，所述相机坐标系为所述相机设备对应的三维坐标系；

根据所述定位位姿确定所述相机坐标系与所述世界坐标系之间的转换矩阵，根据所述转换矩阵，对所述三维坐标进行转换，得到所述边缘特征图中每个点在所述世界坐标系中的位置信息。

4.如权利要求1所述的方法，其特征在于，所述按照预设点密度从所述边缘特征图的各个点中选择地图点的步骤，包括：

根据具有预设体素尺寸的八叉树算法，在所述地图中构建八叉树立方体网格；

针对每个八叉树立方体网格，从处于所述八叉树立方体网格中的所述边缘特征图的点中选择一个，作为与所述八叉树立方体网格对应的地图点。

5.如权利要求4所述的方法，其特征在于，在将各个地图点在世界坐标系中的位置信息添加至所述地图之后，还包括：

将所述道路图像与各个历史道路图像进行匹配，当匹配成功时，将匹配成功的历史道路图像确定为与所述道路图像对应的回环检测图像；

对从所述回环检测图像到所述道路图像之间的每个道路图像的定位位姿进行修正，得到每个修正后的定位位姿；根据每个修正后的定位位姿，修正对应的地图点的位置信息；

在修正对应的地图点的位置信息之后，针对所述地图中的每个八叉树立方体网格，当所述八叉树立方体网格中存在多于一个地图点时，删除所述八叉树立方体网格中的地图点，使得所述八叉树立方体网格中剩余的地图点为一个。

6.如权利要求5所述的方法，其特征在于，所述将所述道路图像与各个历史道路图像进行匹配的步骤，包括：

将所述道路图像的边缘特征图与各个历史道路图像的边缘特征图进行匹配。

7.如权利要求1～6任一项所述的方法，其特征在于，每个点在所述世界坐标系中的位置信息包括：每个点在所述世界坐标系中的坐标位置和该点的法向量信息。

8.一种基于视觉的建图装置，其特征在于，包括：

获取模块，被配置为获取相机设备采集的道路图像；

提取模块，被配置为根据预设的边缘强度，提取所述道路图像的边缘特征图；

定位模块，被配置为根据运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块，被配置为基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

添加模块，被配置为按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

9.如权利要求8所述的装置，其特征在于，所述提取模块，具体被配置为：

基于边缘特征提取模型，提取所述道路图像的边缘特征图；其中，所述边缘特征提取模型为根据样本道路图像以及按照预设的边缘强度标注的边缘特征图训练得到；所述边缘特征提取模型使得所述道路图像与对应的边缘特征图相关联。

10.一种车载终端，其特征在于，包括：处理器、相机设备和运动检测设备；所述处理器包括：

获取模块，用于获取所述相机设备采集的道路图像；

提取模块，用于根据预设的边缘强度，提取所述道路图像的边缘特征图；

定位模块，用于根据所述运动检测设备采集的数据，确定与所述道路图像对应的定位位姿；其中，定位位姿为地图所在的世界坐标系中的位姿；

确定模块，用于基于三维重建算法和所述定位位姿，确定所述边缘特征图中每个点在所述世界坐标系中的位置信息；

添加模块，用于按照预设点密度从所述边缘特征图的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述地图。

Images