CN114612616A - 建图方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种建图方法、装置、电子设备和存储介质，该方法包括：对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。本公开提高了建图精度。

Description

建图方法、装置、电子设备和存储介质

技术领域

本公开涉及建图技术领域，尤其涉及一种建图方法、装置、电子设备和存储介质。

背景技术

建图与定位技术是自动驾驶领域的核心技术之一。在无人驾驶场景，通常首先需要对环境进行建图，然后在建好的地图中实现定位功能。建图的精度会很大程度地影响定位的精度，因此想要实现高精度定位首先要建立高精度地图。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种建图方法、装置、电子设备和存储介质，提高了建图精度。

第一方面，本公开实施例提供了一种建图方法，该方法包括：

对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

第二方面，本公开实施例还提供了一种建图装置，该装置包括：

分割模块，用于对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

确定模块，用于根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

重建模块，用于基于多传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

后处理模块，用于基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云进行后处理，获得所述预设场景的语义地图。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的建图方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的建图方法。

本公开实施例提供的建图方法，通过结合图像和点云实现建图，而不是单纯基于点云或者图像实现建图，可提高建图精度。具体的，对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例中的一种建图方法的流程图；

图2为本公开实施例中的一种对原始图像进行语义分割的流程示意图；

图3为本公开实施例中的一种点云图像同步投影建图模块的工作流程图；

图4为本公开实施例中的一种过滤前的点云效果示意图；

图5为本公开实施例中的一种过滤后的点云效果示意图；

图6为本公开实施例中的一种后处理的流程图；

图7为本公开实施例中的一种建图方法的流程图；

图8为本公开实施例中的一种建图装置的结构示意图；

图9为本公开实施例中的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

图1为本公开实施例中的一种建图方法的流程图。该方法可以由建图装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中。如图1所示，该方法具体可以包括如下步骤：

步骤110、对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像。

其中，预设场景可以是园区或者交通道路等需要构建地图的场所。预设场景的原始图像可以通过车载相机拍摄获得。

对原始图像进行语义分割的目的是识别原始图像中的不同物体，若原始图像中包含多个不同物体，通过语义分割获得的带有语义标签的第一图像包括多个标志，每个标志所在的位置存在像素值，没有标志的位置的像素值为0。不同的标志表示不同的物体，例如路牌、人行道或者马路沿等。每个标志对应一个语义标签，或者说是类别标签，用于表示该物体的类别(例如路牌、人行道等类别)。

示例性的，对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像，包括：

将所述原始图像输入至训练过的深度神经网络模型，获得带有语义标签的第一图像。其中，深度神经网络模型的网络可以是Upernet，Upernet的架构是SwinTransformer。深度神经网络模型的输入是通过车载相机拍摄到的预设场景的原始图像，输出是带有语义标签的第一图像。

进一步的，可以参考如图2所示的一种对原始图像进行语义分割的流程示意图，包括：将原始图像数据输入至语义分割网络-获得去除背景，保留道路标识(例如路牌、人行道)的分割结果-由分割结果组成的道路标识的掩膜(掩膜即为即带有语义标签的第一图像)。

步骤120、根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云。

由于点云自身缺乏语义信息，因此较难直接对点云进行精确的语义分割，因此在本实施例中借助带有语义标签的第一图像确定点云的语义信息，从而提高建图精度。

可选的，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，所述方法还包括：

根据所述第一图像的时间戳以及所述点云的时间戳对所述第一图像与所述点云进行数据关联处理，获得时间同步的第一图像与点云的组合，其中，所述第一图像是在预设的相机参数下采集获得的图像。

即每个组合包括一帧第一图像和一帧点云，该第一图像的时间戳与该点云的时间戳相同或者接近。换言之，同一组合中的第一图像和点云是在同一时刻被采集到的。可以理解的是第一图像是基于原始图像进行语义分割获得的，因此第一图像的时间戳即为原始图像的时间戳。

可选的，假设第一图像a的时间戳为t1，某帧点云b的时间戳是t2，若t1和t2满足关系abs(t1-t2)＜T，则确定第一图像a与点云b是时间同步的一个组合，其中abs()表示取绝对值的函数，T表示预先设定的阈值。

一方面，通过对第一图像和点云进行数据关联处理，可使每帧点云都有一帧第一图像与之对应。另一方面，通过调整相机的外参，可使每帧点云中的点和与之时间同步的第一图像中的像素相对应，进而可基于像素的语义信息确定点云中各点的语义信息。调整后的相机参数即为上述预设的相机参数。

示例性的，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，包括：

将同一组合中的点云投影至所述同一组合中的第一图像，以使所述点云中的点与所述第一图像中的像素相对应；将所述第一图像中与所述点云中目标点对应的像素的语义标签确定为所述目标点的语义标签。即将点云中的点投影到与之对应的第一图像中，第一图像中的每个标志对应有一个语义标签(具体可以是像素的RGB值，没有语义标签的像素的RGB值为0)，在将点云投影到第一图像后，可以确定点云中每个点对应像素的语义标签，如此可为点云中的每个点赋予语义标签，去除RGB值为0的点，以达到减少大量不相关点的目的，提高后续的数据处理效率。

为了进一步减少噪点的干扰，可为每个语义标签设置强度阈值，对强度较低的点进行过滤。例如语义标签“路牌”对应的预设强度阈值为I0，语义标签“路牌”下目标点o的强度为I1，若I1＜I0，则将目标点0过滤掉。

概括性的，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，还包括：

根据预设强度阈值，分别针对相同语义标签下的点云进行过滤，以减少噪声点；其中，所述预设强度阈值基于语义标签的类别确定，不同类别的语义标签对应的预设强度阈值不同。

步骤130、基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图。

其中，所述传感器数据至少包括GPS数据。

在一些可选实施方式中，所述基于传感器数据以及所述带有语义标签的点云进行三维重建之前，所述方法还包括：将所述传感器数据(例如GPS数据)与点云(包括带有语义标签的点云和不带有语义标签的点云)进行数据关联处理，以将传感器数据与点云进行关联，关联后的数据用于三维重建。三维重建的实质是将采集到的所有帧的点云放到一起，获得预设场景的点云地图。具体的，通过关联后的数据(包括GPS数据、轮速计数据、惯性测量单元的数据等)确定每帧点云的位姿，然后基于点云的位姿将全部帧的点云合并在一起构成完整的点云地图。

进一步的，可将上述数据关联的操作、确定点云语义的操作以及三维重建的操作集成到同一软件模块，该软件模块可定义为点云图像同步投影建图模块，该模块的工作流程可以参考如图3所示的一种流程示意图，具体包括基于点云、第一图像以及GPS数据进行数据关联-删除无效数据-点云投影-保留带有标签的点-强度过滤-判断是否全部数据处理完成-如果是，获得带有语义标签的点云地图-如果否，返回执行点云投影的步骤。

步骤140、基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

其中，对所述带有语义标签的点云地图进行后处理的目的是继续丰富点云地图的语义信息(例如确定车道线方向、车道线长度、中心点等语义信息)，以获得高精度语义地图。

示例性的，所述基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图，包括：

对所述点云地图中带有语义标签的点云进行栅格化处理，获得过滤后的点云；基于预设聚类算法对所述过滤后的点云进行聚类，获得多个点云聚类簇；基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向；至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图。

所述对所述带有语义标签的点云进行栅格化处理，获得过滤后的点云，包括：

将所述带有语义标签的点云按照预设大小(例如是2m*2m的大小)划分为多个栅格；根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云；其中，点云中各点的权重基于各点与目标车辆之间的距离、所述距离中的最大值、所述距离中的最小值、距离置信度、角度置信度以及各点与所述目标车辆的连线和所述目标车辆的行进方向之间的夹角确定，以使距离目标车辆越近的点，所述夹角越小，所述权重越大；距离目标车辆越远的点，所述夹角越大，所述权重越小。其中，目标车辆指载着雷达和相机采集针对预设场景的原始图像和点云的车辆。

可选的，所述根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云，包括：

若同一栅格中点云中点的数量超过预设阈值，则按照各点的权重从低到高的顺序对各点进行过滤，优先过滤掉权重较低的点，获得过滤后的点云。

示例性的，所述点云中目标点的所述权重基于如下算式确定：

其中，w_p表示目标点p的权重，α表示距离置信度，β表示角度置信度，d_p表示目标点p与目标车辆之间的距离，d_min表示所述最小值，d_max表示所述最大值，θ_p表示目标点p与目标车辆的连线与采集目标点p时目标车辆的行进方向之间的夹角。通过上述算式确定的目标点的权重可保证距离目标车辆越近，所述夹角越小，所述权重越大；距离目标车辆越远，所述夹角越大，所述权重越小。

示例性的，可以参考如图4所示的一种过滤前的点云效果示意图，以及如图5所示的一种过滤后的点云效果示意图。通过以栅格为单元对点云进行过滤，可实现均匀的点云稀疏化处理，从而降低点云数据量，提高建图效率；另一方面，通过结合权重对点云进行过滤，可有效去除点云中的噪声点，从而保证建图精度。

进一步的，所述基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向，包括：

通过第一算法对车道线的点云聚类簇进行方向拟合，获得车道线的第一方向；通过第二算法对车道线的点云聚类簇进行方向拟合，获得车道线的第二方向；根据预设角度差阈值以及所述第一方向与所述第二方向的角度差确定车道线的最终方向。

可选的，所述第一算法为端点法，所述第二算法为随机抽样一致性算法。其中，端点法首先求得车道线的两个端点，然后通过这两个端点来确定车道线的方向。随机抽样一致性算法采用迭代的方式从一组聚类簇中估计出数学模型的参数来确定车道线的方向。

具体的，可通过下面的规则比较通过两种方法分别计算的车道线方向：

abs(θ_p-θ_r)＜θ_thre

上式中，θ_p是通过端点法计算出的方向角度，θ_r是通过随机抽样一致性算法计算出的方向角度，θ_thre是设定的角度差阈值。如果两种方法计算出的角度差小于阈值，那么就采用随机抽样一致性算法计算出的角度作为最终的车道线方向角度；如果两种方法计算出的角度差大于阈值，则采用端点法计算出的角度作为最终的车道线方向角度。采用此策略的原因是每种算法都有其局限性，而需要建图的预设场景确相对复杂，因此较难通过一种算法在不同的预设场景中获得较好的结果。例如随机抽样一致性算法在大多数情况下比端点法计算的车道线方向角度要更准确，但是随机抽样一致性算法依赖于迭代次数、误差计算方式等外部参数，在少量极端情况下，会出现较大的拟合误差。端点法虽然大部分时候的拟合误差比随机抽样一致性算法要大，但是几乎不会出现较大误差，所以通过比较两种方法差值来确定选用哪种拟合方法，可以更准确的拟合车道线的方向，从而提高建图精度。

可选的，所述预设聚类算法为基于密度的聚类算法。基于密度的聚类算法通过一组邻域来描述样本集的紧密程度，参数∈描述了某一样本的邻域距离阈值，参数MinPts描述了某一样本的距离为∈的邻域中样本个数的阈值。基于密度的聚类算法可以发现任意形状的聚类簇，既适用于凸样本集，也适用于非凸样本集，并且对异常点不敏感。可以通过对距离阈值∈和邻域中样本个数阈值MinPts联合调参，来聚类不同场景和不同的道路标识，可提高建图的鲁棒性。

在一些可选实施方式中，所述至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图，包括：

至少根据所述车道线的方向将所述点云聚类簇中的点处理为矢量化的线，并根据各点的语义标签为所述线添加语义属性(例如类别、端点、中心点、长度和方向等)，获得所述预设场景的语义地图。其中，不同类别的道路标识的处理方法不同，例如车道线最长为20米，并且间隔1米取一个点，菱形标志需要提取4个顶点，在矢量化处理的过程中，通过给不同的道路标识增加限定值(例如对于线属性的道路标识，设置最大长度和最小长度)，可减少语义地图的误检，从而提高建图效率和精度。

示例性的，参考如图6所示的一种后处理的流程示意图，其包括：针对带有语义标签的点云进行点云分块-获得带有点云标签的点云块-点云栅格化-点云过滤-点云聚类-道路标识拟合-道路语义标识矢量化-高精度语义地图。

其中，后处理中涉及的相关操作可集成为后处理模块。概括性的，本公开实施例提供的建图方法涉及三个模块，分别是语义分割模块、点云图像同步投影建图模块和后处理模块，每个模块可以独立运行，在出现问题时可以逐个检查每个模块的输出，以达到快速定位问题的目的，且可针对单独的模块进行调整优化，使得可扩展性更强。

示例性的，参考如图7所示的一种建图方法的流程示意图，其包括：将通过相机采集的原始图像输入至语义分割网络，获得道路标识的掩膜(即带有语义标签的第一图像)，结合点云、GPS数据等进行同步投影建图，获得带有语义标签的点云，接着对点云进行分块和后处理，获得初版局部语义地图，然后进行显示，即语义地图可视化，基于显示的语义地图确定是否需要修改，如果是，通过人工进行修改，如果否获得最终局部语义地图，还可根据需要进行坐标系转换，获得最终语义地图。

本实施例提供的建图方法，通过结合图像和点云实现建图，而不是单纯基于点云或者图像实现建图，实现了对更多语义信息的提取以及对位置信息的精确确定，提高了建图精度；通过增加后处理操作，使得建图方法具有更好的鲁棒性，可以支持更多的场景和道路标识

图8为本公开实施例中的一种建图装置的结构示意图。如图8所示：该装置包括：分割模块810、确定模块820、重建模块830和后处理模块840。其中，分割模块810，用于对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；确定模块820，用于根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；重建模块830，用于基于多传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；后处理模块840，用于基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云进行后处理，获得所述预设场景的语义地图。

可选的，还包括：同步模块，用于所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，根据所述第一图像的时间戳以及所述点云的时间戳对所述第一图像与所述点云进行数据关联处理，获得时间同步的第一图像与点云的组合，其中，所述第一图像是在预设的相机参数下采集获得的图像。

可选的，确定模块820包括：投影单元，用于将同一组合中的点云投影至所述同一组合中的第一图像，以使所述点云中的点与所述第一图像中的像素相对应；确定单元，用于将所述第一图像中与所述点云中目标点对应的像素的语义标签确定为所述目标点的语义标签。

可选的，确定模块820还包括：过滤单元，用于根据预设强度阈值，分别针对相同语义标签下的点云进行过滤，以减少噪声点；其中，所述预设强度阈值基于语义标签的类别确定，不同类别的语义标签对应的预设强度阈值不同。

可选的，后处理模块840包括：处理单元，用于对所述点云地图中带有语义标签的点云进行栅格化处理，获得过滤后的点云；聚类单元，用于基于预设聚类算法对所述过滤后的点云进行聚类，获得多个点云聚类簇；拟合单元，用于基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向；矢量化单元，用于至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图。

可选的，所述处理单元包括：划分子单元，用于将所述带有语义标签的点云按照预设大小划分为多个栅格；过滤子单元，用于根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云；其中，点云中各点的权重基于各点与目标车辆之间的距离、所述距离中的最大值、所述距离中的最小值、距离置信度、角度置信度以及各点与所述目标车辆的连线和所述目标车辆的行进方向之间的夹角确定。

可选的，所述过滤子单元具体用于若同一栅格中点云中点的数量超过预设阈值，则按照各点的权重从低到高的顺序对各点进行过滤，获得过滤后的点云。

可选的，所述点云中目标点的所述权重基于如下算式确定：

其中，w_p表示目标点p的权重，α表示距离置信度，β表示角度置信度，d_p表示目标点p与目标车辆之间的距离，d_min表示所述最小值，d_max表示所述最大值，θ_p表示目标点p与目标车辆的连线与采集目标点p时目标车辆的行进方向之间的夹角。

可选的，所述拟合单元包括：第一拟合子单元，用于通过第一算法对车道线的点云聚类簇进行方向拟合，获得车道线的第一方向；第二拟合子单元，用于通过第二算法对车道线的点云聚类簇进行方向拟合，获得车道线的第二方向；确定子单元，用于根据预设角度差阈值以及所述第一方向与所述第二方向的角度差确定车道线的最终方向。

可选的，所述第一算法为端点法，所述第二算法为随机抽样一致性算法；所述预设聚类算法为基于密度的聚类算法。

可选的，所述矢量化单元具体用于：至少根据所述车道线的方向将所述点云聚类簇中的点处理为矢量化的线，并根据各点的语义标签为所述线添加语义属性，获得所述预设场景的语义地图。

本公开实施例提供的建图装置，可执行本公开方法实施例所提供的建图方法中的步骤，具备执行步骤和有益效果此处不再赘述。

图9为本公开实施例中的一种电子设备的结构示意图。下面具体参考图9，其示出了适于用来实现本公开实施例中的电子设备500的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的方法。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，从而实现如上所述的建图方法。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：在确定向车辆推送升级包完成时，基于升级策略确定所述车辆是否符合升级安全条件；若确定所述车辆符合所述升级安全条件，则发送第一升级提示信息。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

可选的，当上述一个或者多个程序被该电子设备执行时，该电子设备还可以执行上述实施例所述的其他步骤。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

方案1、一种建图方法，所述方法包括：

对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

方案2、根据方案1所述的方法，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，所述方法还包括：

根据所述第一图像的时间戳以及所述点云的时间戳对所述第一图像与所述点云进行数据关联处理，获得时间同步的第一图像与点云的组合，其中，所述第一图像是在预设的相机参数下采集获得的图像。

方案3、根据方案2所述的方法，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，包括：

将同一组合中的点云投影至所述同一组合中的第一图像，以使所述点云中的点与所述第一图像中的像素相对应；

将所述第一图像中与所述点云中目标点对应的像素的语义标签确定为所述目标点的语义标签。

方案4、根据方案3所述的方法，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，还包括：

根据预设强度阈值，分别针对相同语义标签下的点云进行过滤，以减少噪声点；其中，所述预设强度阈值基于语义标签的类别确定，不同类别的语义标签对应的预设强度阈值不同。

方案5、根据方案1所述的方法，所述基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图，包括：

对所述点云地图中带有语义标签的点云进行栅格化处理，获得过滤后的点云；

基于预设聚类算法对所述过滤后的点云进行聚类，获得多个点云聚类簇；

基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向；

至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图。

方案6、根据方案5所述的方法，所述对所述带有语义标签的点云进行栅格化处理，获得过滤后的点云，包括：

将所述带有语义标签的点云按照预设大小划分为多个栅格；

根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云；

其中，点云中各点的权重基于各点与目标车辆之间的距离、所述距离中的最大值、所述距离中的最小值、距离置信度、角度置信度以及各点与所述目标车辆的连线和所述目标车辆的行进方向之间的夹角确定。

方案7、根据方案6所述的方法，所述根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云，包括：

若同一栅格中点云中点的数量超过预设阈值，则按照各点的权重从低到高的顺序对各点进行过滤，获得过滤后的点云。

方案8、根据方案6所述的方法，所述点云中目标点的所述权重基于如下算式确定：

其中，w_p表示目标点p的权重，α表示距离置信度，β表示角度置信度，d_p表示目标点p与目标车辆之间的距离，d_min表示所述最小值，d_max表示所述最大值，θ_p表示目标点p与目标车辆的连线与采集目标点p时目标车辆的行进方向之间的夹角。

方案9、根据方案5所述的方法，所述基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向，包括：

通过第一算法对车道线的点云聚类簇进行方向拟合，获得车道线的第一方向；

通过第二算法对车道线的点云聚类簇进行方向拟合，获得车道线的第二方向；

根据预设角度差阈值以及所述第一方向与所述第二方向的角度差确定车道线的最终方向。

方案10、根据方案9所述的方法，所述第一算法为端点法，所述第二算法为随机抽样一致性算法；

所述预设聚类算法为基于密度的聚类算法。

方案11、根据方案5所述的方法，所述至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图，包括：

至少根据所述车道线的方向将所述点云聚类簇中的点处理为矢量化的线，并根据各点的语义标签为所述线添加语义属性，获得所述预设场景的语义地图。

方案12、一种建图装置，所述装置包括：

分割模块，用于对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

确定模块，用于根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

重建模块，用于基于多传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

后处理模块，用于基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云进行后处理，获得所述预设场景的语义地图。

方案13、一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如方案1-11中任一项所述的方法。

方案14、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如方案1-11中任一项所述的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种建图方法，其特征在于，所述方法包括：

对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

基于传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云之前，所述方法还包括：

根据所述第一图像的时间戳以及所述点云的时间戳对所述第一图像与所述点云进行数据关联处理，获得时间同步的第一图像与点云的组合，其中，所述第一图像是在预设的相机参数下采集获得的图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，包括：

将同一组合中的点云投影至所述同一组合中的第一图像，以使所述点云中的点与所述第一图像中的像素相对应；

将所述第一图像中与所述点云中目标点对应的像素的语义标签确定为所述目标点的语义标签。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云，还包括：

根据预设强度阈值，分别针对相同语义标签下的点云进行过滤，以减少噪声点；其中，所述预设强度阈值基于语义标签的类别确定，不同类别的语义标签对应的预设强度阈值不同。

5.根据权利要求1所述的方法，其特征在于，所述基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云地图进行后处理，获得所述预设场景的语义地图，包括：

对所述点云地图中带有语义标签的点云进行栅格化处理，获得过滤后的点云；

基于预设聚类算法对所述过滤后的点云进行聚类，获得多个点云聚类簇；

基于至少两种用于确定车道线方向的预设算法对车道线的点云聚类簇进行方向拟合，获得车道线的方向；

至少根据所述车道线的方向对所述多个点云聚类簇分别进行矢量化，获得所述预设场景的语义地图。

6.根据权利要求5所述的方法，其特征在于，所述对所述带有语义标签的点云进行栅格化处理，获得过滤后的点云，包括：

将所述带有语义标签的点云按照预设大小划分为多个栅格；

根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云；

其中，点云中各点的权重基于各点与目标车辆之间的距离、所述距离中的最大值、所述距离中的最小值、距离置信度、角度置信度以及各点与所述目标车辆的连线和所述目标车辆的行进方向之间的夹角确定。

7.根据权利要求6所述的方法，其特征在于，所述根据点云中各点的权重分别对各栅格中的点云进行过滤，获得过滤后的点云，包括：

若同一栅格中点云中点的数量超过预设阈值，则按照各点的权重从低到高的顺序对各点进行过滤，获得过滤后的点云。

8.一种建图装置，其特征在于，所述装置包括：

分割模块，用于对针对预设场景采集的原始图像进行语义分割，获得带有语义标签的第一图像；

确定模块，用于根据所述第一图像确定针对所述预设场景采集的点云中各点的语义标签，获得带有语义标签的点云；

重建模块，用于基于多传感器数据以及所述带有语义标签的点云进行三维重建，获得带有语义标签的点云地图；

后处理模块，用于基于至少两种用于确定车道线方向的预设算法对所述带有语义标签的点云进行后处理，获得所述预设场景的语义地图。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images