CN111784836B - 高精地图生成方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种高精地图生成方法、装置、设备及可读存储介质，涉及自动驾驶技术领域。具体实现方案为：电子设备获取激光雷达采集到的N帧点云和相机采集到的N帧图像，该N帧点云中的点云和N帧图像中的图像一一对应。对于N帧点云中的每两帧相邻的点云，以下称之为第k帧点云和第k+1帧点云，电子设备在构建第k个目标函数的时候考虑根据第k个语义约束，并根据构建出的第k个目标函数确定第k帧点云和第k+1帧点云分别在世界坐标系下的位置。该过程中，由于在构建目标函数的时候考虑了根据图像得出的语义，使得构建出的目标函数更加准确，因此，可以提升点云拼接的精度，避免高精地图上出现重影。

Description

高精地图生成方法、装置、设备及可读存储介质

技术领域

本申请实施例涉及自动驾驶技术领域，尤其涉及一种高精地图生成方法、装置、设备及可读存储介质。

背景技术

高精地图在位置查找、自动导航、乃至自动驾驶等场景起到至关重要的作用。自动驾驶过程中，自动驾驶车辆按照预先在高精度地图上规划好的导航路径行驶，导航路径至少要精确到车道级别。因此，制作高精度地图时，需要在高精度地图上绘制出车道线。

通常情况下构建高精地图时，采用激光扫描的方式获取环境的点云数据，对连续获取到的多帧点云进行拼接，得到3维的雷达(lidar)底图，根据3维的雷达底图得到二维的反射值底图，从反射值底图中分割出车道线、对分割出的车道线进行矢量化及人工修正，从而得到标注出车道线的高精地图。该过程中，对点云进行拼接时，主要基于迭代最近点(iterative closest point，ICP)算法，使用点云的几何位置信息，优化两帧点云之间的旋转矩阵和平移矩阵，使得两帧点云之间的平均距离最小。

然而，由于遮挡和视觉变化，基于ICP的拼接算法得到的高精地图会出现车道线出现重影的问题。

发明内容

本申请实施例提供一种高精地图生成方法、装置、设备及可读存储介质，通过基于相机拍摄的图像的语义信息对点云拼接进行约束，提升点云拼接的精度，避免高精地图上出现重影。

第一方面，本申请实施例提供一种高精地图生成方法，包括：

电子设备获取激光雷达采集到的N帧点云和相机采集到的N帧图像，该N帧点云中的点云和N帧图像中的图像一一对应。对于N帧点云中的每两帧相邻的点云，以下称之为第k帧点云和第k+1帧点云，电子设备在构建第k个目标函数的时候考虑根据第k个语义约束，并根据构建出的第k个目标函数确定第k帧点云和第k+1帧点云分别在世界坐标系下的位置。该过程中，由于在构建目标函数的时候考虑了根据图像的特征，使得构建出的目标函数更加准确，因此，可以提升点云拼接的精度，避免高精地图上出现重影。

第二方面，本申请实施例提供一种高精地图生成装置，包括：

获取模块，用于获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数；

构造模块，用于对于第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，所述第k个目标函数用于所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云；

确定模块，用于根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置；

生成模块，用于根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。

第三方面、本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第一方面任意可能实现的方法。

第四方面，本申请实施例提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

第五方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述电子设备执行上述第一方面或第一方面的各种可能的实现方式中的方法。

第六方面，本申请实施例提供一种高精地图生成方法，包括：获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数，根据第k帧图像和第k+1帧图像，拼接第k帧点云和第k+1帧点云以得到高精地图，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云。

上述申请中的一个实施例具有如下优点或有益效果：由于在构建目标函数的时候考虑了根据图像得出的语义，使得构建出的目标函数更加准确，因此，可以提升点云拼接的精度，避免高精地图上出现重影。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的高精地图生成方法所适用的网络架构示意图；

图2是本申请实施例提供的高精地图生成方法的流程图；

图3A是本申请实施例提供的高精地图生成方法中第k帧鸟瞰图的示意图；

图3B是本申请实施例提供的高精地图生成方法中第k+1帧鸟瞰图的示意图；

图4是本申请实施例提供的高精地图生成方法的过程示意图；

图5为本申请实施例提供的高精地图生成装置的结构示意图；

图6为本申请实施例提供的另一个高精地图生成装置的结构示意图；

图7是用来实现本申请实施例的高精地图生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

高精地图在自动驾驶技术中起着举足轻重的作用，其他模块，如感知、路径规划等模块都依赖高精地图。构建高精地图的自动化程度直接影响自动驾驶车辆能否安全行驶。当前，构建高精地图的一般流程为：采集多帧点云数据，拼接多帧点云数据得到lidar底图，将lidar底图映射到二维空间，得到反射值底图，基于反射值底图分割出车道线区域后，对车道线进行矢量化和人工修正等。拼接多帧点云时，当前采用的拼接算法为ICP算法，拼接时主要使用了点云的几何位置信息。然而，由于遮挡和视觉变化，会造成拼接出现重影问题。

有鉴于此，本申请实施例提供一种高精地图生成方法、装置、设备及可读存储介质，通过基于相机拍摄的图像的语义信息对点云拼接进行约束，提升点云拼接的精度，避免高精地图上出现重影。

图1是本申请实施例提供的高精地图生成方法所适用的网络架构示意图。请参照图1，该网络架构主要包括电子设备1、网络2和车辆3，网络2为在电子设备1和车辆3之间提供通信链路的介质，网络2采用无线通信链路等，车辆3上配置有激光雷达4和相机5，激光雷达4用于对车辆周围环境进行探测得到N帧点云，相机(camera)5用于对车辆周围环境进行探测得到N帧图像，激光雷达4和相机5在探测时被设置为同步探测，使得一帧点云对应一帧图像。车辆3将通过激光雷达4获取到的N帧点云以及通过相机5获取到的N帧图像发送给电子设备1，由电子设1根据N帧点云和N帧图像生成高精地图。

图2是本申请实施例提供的高精地图生成方法的流程图，本实施例的执行主题是电子设备，本实施例包括：

101、获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数。

示例性的，点云是采用激光扫描方式获取到的，当一束激光照射到物体表面时，所反射的激光携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点的信息，由于扫描极为精细，则能够得到大量的激光点，因而就可以形成物体的激光点云数据。

请参照图1，车辆上的激光雷达探测车辆周围环境可以得到点云数据，该点云数据包含道路对象对应的激光点，即激光雷达发出的激光投射到道路对象形成的激光点。激光雷达每扫描一周，可以扫描到一帧点云。同时，车辆上的相机也不断的拍摄车辆周围环境，得到多帧图像。车辆通过激光雷达获取到的N帧点云以及通过相机获取到的N帧图像发送给电子设备。其中，道路对象可以是车道线、停止线等，

102、对于所述N帧点云中每两帧相邻的点云，所述每两帧相邻的点云包括第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数。

其中，所述第k个目标函数用于使得所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，所述第k帧点云和第k+1帧点云的距离最小，k＝{1，……，N-1}。其中，第k帧点云上的点与第k+1帧点云上的点的平均距离是指：将第k帧点云中的点作为基准点，在第k+1帧点云中搜索出与该基准点距离最近的点作为该基准点的参考点。如此一来，能够根据多对基准点和参考点得到多个最小距离，该些最小距离的平均距离即为第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，该平均距离也称之为第k帧点云和第k+1帧点云的平均距离。

示例性的，对于两帧相邻的点云，以下称之为第k帧点云和第k+1帧点云，电子设备为该两帧点云构造第k个目标函数目标函数，该目标函数的作用在于使得第k帧点云和第k+1帧点云的距离最小。构造目标函数时，同时考虑根据第k帧图像和第k+1帧图像得到的第k个语义约束，该第k个语义约束的作用在于使得第k帧图像和第k+1帧图像中相同道路对象一致。

例如，一个64线激光雷达0.1秒扫描一圈，则该激光雷达1秒钟可以获得10帧点云，同时，相机在1秒内获取10帧图像，对于第1帧点云和第2帧点云，电子设备根据第1个语义约束、第1帧点云和第2帧点云构建第1个目标函数。第1个语义约束可以是根据第1帧图像和第2帧图像得到。

103、根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置。

示例性的，在得到第k个目标函数时，电子设备使用广义迭代最近点(Generalized-Iterative closest point，G-ICP)算法拼接第k帧点云和第k+1帧点云，即电子设备不断的调整第k帧点云和第k+1帧点云在世界坐标系下的位置，使得第k帧点云和第k+1帧点云之间的平均距离满足第k个目标函数，即使得第k帧点云和第k+1帧点云之间的平均距离最小。

根据上述可知，可以根据N帧图像和N帧点云得到(N-1)个目标函数，比如第k帧点云和第k+1帧点云的第k个目标函数，第k+1帧点云和第+2帧点云的第k+1个目标函数。点云拼接过程实质上就是根据该N-1个目标函数调整N帧点云中每帧点云的位置的过程，对N帧点云整体进行调整后，任意相邻的两帧点云之间的距离达到最小。以下若未做特殊说明，两帧点云之间的距离指：将两帧点云中的一帧点云作为源(source，src)点云，将另一帧点云作为目的(destination)点云，对于源点云中3D位置上的每个点，在目的点云中搜索与其最近的点，得到多个最小距离，该些最小距离的平均值即为源点云和目的点云之间的距离。

需要说明的是，虽然上述实施例中，基于每相邻两帧点云构造目标函数，从而构建出N-1个目标函数。例如，共有5帧点云，第1帧点云和第2帧点云的目标函数为第1个目标函数，第2帧点云和第3帧点云的目标函数为第2个目标函数，第3帧点云和第4帧点云的目标函数为第3个目标函数，第4帧点云和第5帧点云的目标函数为第4个目标函数。然而，本申请实施例并不依次为限制，其他可行的实现方式中，也可以设置一个关键帧，利用关键帧构建目标函数。例如，一共有5帧点云，令第1帧点云为关键帧，则可以利用第1帧点云和第2帧点云得到第1个目标函数，根据第1帧点云和第3帧点云得到第2个目标函数，根据第1帧点云和第4帧点云得到第3个目标函数，根据第1帧点云和第5帧点云得到第4个目标函数。

104、据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。

示例性的，确定出第k帧点云和第k+1帧点云在世界坐标系下的位置后，将第k帧点和第k+1帧点云投影到二维空间从而得到高精地图。

本申请实施例提供的高精地图生成方法，电子设备获取激光雷达采集到的N帧点云和相机采集到的N帧图像，该N帧点云中的点云和N帧图像中的图像一一对应。对于N帧点云中的每两帧相邻的点云，以下称之为第k帧点云和第k+1帧点云，电子设备在构建第k个目标函数的时候考虑根据第k个语义约束，并根据构建出的第k个目标函数确定第k帧点云和第k+1帧点云分别在世界坐标系下的位置。该过程中，由于在构建目标函数的时候考虑了根据图像的特征，使得构建出的目标函数更加准确，因此，可以提升点云拼接的精度，避免高精地图上出现重影。

下面，对上述实施例中，电子设备如何针对第k帧点云和第k+1帧点云构建第k个目标函数进行详细说明。

电子设备针对第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数时，先确定出所述第k帧图像中的道路对象在所述第k帧点云中的3D位置，对于所述3D位置中的每个激光点，根据所述第k个语义约束从所述第k+1帧点云中确定出参考激光点，所述参考激光点与所述第k帧点云中的对应激光点的距离最小且语义相同。然后，确定所述第k帧点云中的各激光点与对应的参考激光点之间的距离，得到多个距离，利用所述多个距离中的最小距离构造所述第k个目标函数。

示例性的，对于第k帧点云和第k帧图像，电子设备从第k帧图像中提取出道路对象后，可以根据该道路对象反算出该道路对象在第k帧点云中的3D位置。之后，将第k帧点云作为源(source，src)点云，将第k+1帧点云作为目的(destination)点云，对于源点云中3D位置上的每个点，在目的点云中搜索与其最近的点。为清楚起见，以下将源点云中的点称为基准点，将目的点云中与该基准点最近的点称为参考点。搜索过程中，先根据第k个语义约束，从第k+1帧点云中确定出与第k帧点云上的点类型一致的点的集合，再从集合中确定出与第k帧点云上的点距离最近的点。

上述实施例中，第k帧图像例如为短焦图像，电子设备在确定第k帧图像中的道路对象在第k帧点云中的3D位置时，根据所述第k帧图像的语义，将所述第k帧图像投影到所述第k帧点云上得到第k帧鸟瞰图，从所述第k帧鸟瞰图中确定出所述第k帧图像中的道路对象的3D位置。

示例性的，假设第k帧图像的语义包括各种不同车道线的颜色即位置，如黄实线的车道线和黄实线的车道线所在的位置，白实线车道线和白实线车道线的位置，以及各白虚线的车道线和白虚线车道线的位置。t+1时刻的第k+1帧鸟瞰图还包括白色斑马线，则第k+1帧鸟瞰图的语义还包括斑马线和斑马线的位置。第k帧鸟瞰图和第k+1帧鸟瞰图可参见图3A和图3B。

图3A是本申请实施例提供的高精地图生成方法中第k帧鸟瞰图的示意图，图3B是本申请实施例提供的高精地图生成方法中第k+1帧鸟瞰图的示意图。请参照图3A，t时刻的第k帧鸟瞰图包含黄实线的车道线、白实线的车道线以及白虚线的车道线，第k帧图像的语义包括各种不同车道线的颜色即位置，如黄实线的车道线和黄实线的车道线所在的位置，白实线车道线和白实线车道线的位置，以及各白虚线的车道线和白虚线车道线的位置。t+1时刻的第k+1帧鸟瞰图还包括白色斑马线，则第k+1帧鸟瞰图的语义还包括斑马线和斑马线的位置。根据第k帧图像的语义和第k+1帧图像的语义得到的第k个语义约束包括：第k帧鸟瞰图中第一位置和第k+1帧鸟瞰图中的第二位置均为白实线车道线。由于车辆移动、遮挡等原因，第一位置和第二位置可能出现偏差。

电子设备从第k帧图像中提取出道路对象后，根据该道路对象的位置信息和属性信息等，反算出该道路对象在第k帧鸟瞰图中的3D位置。例如，电子设备根据t时刻的第k帧图像中道路对象的位置信息和属性信息等，可以将第k帧图像投影到第k帧点云中得到第k帧鸟瞰图，从第k帧鸟瞰图中确定出黄实线车道线的3D位置、白实线车道线的3D位置以及白虚线车道线的3D位置，同理，根据t+1时刻的第k+1帧鸟瞰图可以确定出黄实线车道线的3D位置、白实线车道线的3D位置、白虚线车道线的3D位置以及斑马线的3D位置。由于车辆在不停的移动以及视角等问题，第k帧鸟瞰图中的黄实线的3D位置和第k+1帧鸟瞰图中的黄实线的3D位置可能会出现偏差从而出现重影；同理，第k帧鸟瞰图中的白实线的3D位置和第k+1帧鸟瞰图中的白实线的3D位置可能会出现偏差。当对第k帧鸟瞰图中黄实线车道线的3D位置上的基准点，从第k+1帧鸟瞰图中搜索对应参考点时，先从第k+1帧鸟瞰图中，确定出黄实线车道线的3D位置，然后从黄实线车道线的3D位置上搜索与第k帧鸟瞰图上的基准点对应的参考点。对第k帧鸟瞰图中车道对象上的每个点进行同样的处理，即可得到多个距离，根据该些距离中的最小距离构建一个目标函数。采用该种方案，实现在构建目标函数的过程中增加鸟瞰图的语义约束的目的。

构建出目标函数后，电子设备在根据所述第k个目标函数，确定所述第k帧鸟瞰图和所述第k+1帧鸟瞰图在世界坐标系下的位置时，根据所述目标函数，调整所述第k帧鸟瞰图和所述第k+1帧鸟瞰图之间的平移矩阵和旋转矩阵，使得所述第k帧鸟瞰图和所述第k+1帧鸟瞰图的距离最小，根据调整后的第k帧鸟瞰图和第k+1帧鸟瞰图，确定所述第k帧鸟瞰图和所述第k+1帧鸟瞰图在世界坐标系下的位置。

示例性的，电子设备根据激光雷达的中心点在世界坐标系下的坐标得到平移矩阵。根据激光雷达的中心点的滚转角、俯仰角、偏航角得到旋转矩阵。然后，根据平移矩阵和旋转矩阵挪动第k帧鸟瞰图和第k+1帧鸟瞰图，使得第k帧鸟瞰图和第k+1帧鸟瞰图之间的距离最小，从而完成第k帧鸟瞰图和的k+1帧鸟瞰图的拼接。之后，将调整后的第k帧鸟瞰图映射到二维空间，即可得到第k帧鸟瞰图在世界坐标系下的位置，同理，将调整后的第k+1帧鸟瞰图映射到二维空间，即可得到第k+1帧鸟瞰图在世界坐标系下的位置。采用该种方案，实现鸟瞰图拼接并将拼接后的鸟瞰图转换到世界坐标系下的目的。

图4是本申请实施例提供的高精地图生成方法的过程示意图。请参照图4，高精地图生成过程中，主要包括构造语义约束、语义重建、基于语义约束构造目标函数、拼接点云和将拼接后的3D点云转换成2D的底图的步骤。下面对该些步骤进行详细说明。

首先，构造语义约束。

构造语义约束的过程中，电子设备根据所述第k帧图像提取出所述第k帧图像的语义，根据所述第k+1帧图像提取出所述第k+1帧图像的语义，根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束。

示例性的，可预先训练一个分割模型，该分割模型用于对第k帧图像中的每个像素都做分类，即获取图像中每个像素属于什么对象的像素，例如，可采用卷积神经网络的方式对像素进行分类。其中，对象可以是道路对象，如车道线、停止线等，也可以是非道路对象，如车辆、行人等。每帧图像的语义包含第k帧图像中车道线的位置信息、属性信息等。其中，属性信息用于指示车道线的类型，如黄实线、白实线、黄虚线或白虚线等。采用该种方案，实线根据相邻两帧图像构造出语义约束的目的。

对于相邻的两帧图像，即第k帧图像和第k+1帧图像，电子设备根据该两帧图像的语义构造第k个语义约束。构造第k个语义约束的过程中，电子设备根据所述第k帧图像的语义和所述第k+1帧图像的语义，确定出同时存在于所述第k帧图像和所述第k+1帧图像中的目标道路对象，根据所述目标道路对象，构造所述第k个语义约束。例如，第k帧图像的语义表示第k帧图像中存在黄实线的车道线的位置和白实线的车道线的位置，第k+1帧图像中存在黄实线的车道线，则构建出的第k个语义约束为黄实线的车道线在第k帧图像和第k+1帧图像中的位置较近。采用该种方案，实现构造出语义约束的目的。

其次，语义重建。

语义重建的过程即为根据第k帧图像的语义，将第k帧图像投影到第k帧点云上，得到第k帧鸟瞰图的过程。

再次，基于语义约束构造目标函数。

对于每一对点云和图像，电子设备都可以根据从图像中学习出的车道线的位置信息和属性信息等语义，之后，电子设备根据图像和单帧点云的对应关系，利用图像中的车道线的位置信息和属性信息从鸟瞰图中确定出车道线等道路对象在鸟瞰图中的3D位置。之后，在构造目标函数函数时，在语义约束的基础上，增加来自分割模型的语义约束。

示例性的，对于第k帧鸟瞰图中车道线的3D位置中的每个点，先根据第k个语义约束，从第k+1帧鸟瞰图中确定出与第k帧鸟瞰图上的点类型一致的点的集合，再从集合中确定出与第k帧鸟瞰图上的点距离最近的点。例如，第k帧鸟瞰图的3D位置为白实线车道线的3D位置，对于该3D位置上的点，从第k+1帧鸟瞰图的白实线车道线的3D位置上或附近搜索出参考点，进而确定第k帧鸟瞰图上的点和第k+1帧鸟瞰图上的参考点之间的距离。

如此一来，可以得到多个距离，根据该些距离中的最小距离构建第k个目标函数。

再次，拼接点云。

得到第k个目标函数后，电子设备根据该第k个目标函数调整第k帧点和第k+1帧鸟瞰图，使得第k帧鸟瞰图上的点和第k+1帧鸟瞰图上的点的平均距离最小。

最后，将拼接后的3D鸟瞰图转换成2D的底图。

示例性的，电子设备将拼接后的3D鸟瞰图中的激光点投影到2维空间，从而将3D鸟瞰图转换为2D的底图。

在得到高精地图后，就可以利用该高精地图控制车辆的行驶路段、对车辆进行导航等，实现车辆的自动驾驶。

图5为本申请实施例提供的高精地图生成装置的结构示意图。该装置可以集成在电子设备中或通过电子设备实现。如图5所示，在本实施例中，该高精地图生成装置100可以包括：

获取模块11，用于获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数；

构造模块12，用于对于第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，所述第k个目标函数用于使得所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云；

确定模块13，用于根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置；

生成模块14，用于根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。

一种可行的设计中，所述构造模块12，用于根据所述第k帧图像的语义，将所述第k帧图像投影到所述第k帧点云上得到第k帧鸟瞰图，从所述第k帧鸟瞰图中确定出所述第k帧图像中的道路对象的3D位置，根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数，所述第k+1帧鸟瞰图是将所述第k帧图像投影到所述第k+1帧点云上得到的。

一种可行的设计中，所述构造模块12，在根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数时，用于对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点，所述参考激光点与所述第k帧鸟瞰图中的对应激光点的距离最小且语义相同，所述第k个语义约束约束用于使得所述第k帧图像和所述第k+1帧图像中相同道路对象一致，确定所述第k帧鸟瞰图中的各激光点与对应的参考激光点之间的距离，得到多个距离，利用所述多个距离中的最小距离构造所述第k个目标函数。

一种可行的设计中，所述确定模块13，用于根据所述目标函数，调整所述第k帧鸟瞰图和第k+1帧鸟瞰图，使得所述第k帧鸟瞰图和所述第k+1帧鸟瞰图之间的距离最小，确定调整后的第k帧鸟瞰图和第k+1帧鸟瞰图在世界坐标系下的位置；将调整后的第k帧鸟瞰图在世界坐标系下的位置作为所述第k帧点云在世界坐标系下的位置，将调整后的第k+1帧鸟瞰图在世界坐标系下的位置作为所述第k+1帧点云在世界坐标系下的位置。

一种可行的设计中，所述构造模块12，在对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点之前，还用于根据所述第k帧图像提取出所述第k帧图像的语义，根据所述第k+1帧图像提取出所述第k+1帧图像的语义，根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束。

一种可行的设计中，所述道路对象包括车道线，所述第k帧图像的语义包括所述车道线在所述第k帧图像中的位置信息和/或属性信息，所述属性信息用于指示所述车道线的类型。

一种可行的设计中，所述构造模块12，在根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束时，根据所述第k帧图像的语义和所述第k+1帧图像的语义，确定出同时存在于所述第k帧图像和所述第k+1帧图像中的目标道路对象，根据所述目标道路对象，构造所述第k个语义约束。

图6为本申请实施例提供的另一个高精地图生成装置的结构示意图。请参照图6，一种可行的设计中，高精地图生成装置100还包括：

控制模块15，用于在所述生成模块14根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图之后，根据所述高精地图控制车辆的行驶路线。

本申请实施例提供的装置，可用于如上实施例中电子设备执行的方法，其实现原理和技术效果类似，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图7是用来实现本申请实施例的高精地图生成方法的电子设备的框图。如图7所示，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器21、存储器22，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图7中以一个处理器21为例。

存储器22即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的高精地图生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的高精地图生成方法。

存储器22作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的高精地图生成方法对应的程序指令/模块(例如，附图5所示的获取模块11、构造模块12、确定模块13和生成模块14；附图6中的控制模块15)。处理器21通过运行存储在存储器22中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的高精地图生成方法。

存储器22可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储用于执行高精地图生成方法的电子设备创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置23和输出装置24。处理器21、存储器22、输入装置23和输出装置24可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置23可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置24可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例还提供一种高精地图生成方法，包括：获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数，根据第k帧图像和第k+1帧图像，拼接第k帧点云和第k+1帧点云以得到高精地图，所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云。

该实施例的具体实现原理可以参见上述实施例的记载，此处不再赘述。

根据本申请实施例的技术方案，电子设备获取激光雷达采集到的N帧点云和相机采集到的N帧图像，该N帧点云中的点云和N帧图像中的图像一一对应。对于N帧点云中的每两帧相邻的点云，以下称之为第k帧点云和第k+1帧点云，电子设备在构建第k个目标函数的时候考虑根据第k个语义约束，并根据构建出的第k个目标函数确定第k帧点云和第k+1帧点云分别在世界坐标系下的位置。该过程中，由于在构建目标函数的时候增加了语义约束，使得构建出的目标函数更加准确，因此，可以提升点云拼接的精度，避免高精地图上出现重影。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种高精地图生成方法，其中，包括：

获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数；

对于所述N帧点云中每两帧相邻的点云，所述每两帧相邻的点云包括第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，所述第k个目标函数用于使得所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小；

根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置；

根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。

2.根据权利要求1所述的方法，其中，所述根据所述第k帧图像、所述第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，包括：

根据所述第k帧图像的语义，将所述第k帧图像投影到所述第k帧点云上得到第k帧鸟瞰图；

从所述第k帧鸟瞰图中确定出所述第k帧图像中的道路对象的3D位置；

根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数，所述第k+1帧鸟瞰图是将所述第k帧图像投影到所述第k+1帧点云上得到的。

3.根据权利要求2所述的方法，其中，所述根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数，包括：

对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点，所述参考激光点与所述第k帧鸟瞰图中的对应激光点的距离最小且语义相同，所述第k个语义约束约束用于使得所述第k帧图像和所述第k+1帧图像中相同道路对象一致；

确定所述第k帧鸟瞰图中的各激光点与对应的参考激光点之间的距离，得到多个距离；

利用所述多个距离中的最小距离构造所述第k个目标函数。

4.根据权利要求2或3所述的方法，其中，所述根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置，包括：

根据所述目标函数，调整所述第k帧鸟瞰图和第k+1帧鸟瞰图，使得所述第k帧鸟瞰图和所述第k+1帧鸟瞰图之间的距离最小；

确定调整后的第k帧鸟瞰图和第k+1帧鸟瞰图在世界坐标系下的位置；将调整后的第k帧鸟瞰图在世界坐标系下的位置作为所述第k帧点云在世界坐标系下的位置，将调整后的第k+1帧鸟瞰图在世界坐标系下的位置作为所述第k+1帧点云在世界坐标系下的位置。

5.根据权利要求3所述的方法，其中，所述对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点之前，还包括：

根据所述第k帧图像提取出所述第k帧图像的语义；

根据所述第k+1帧图像提取出所述第k+1帧图像的语义；

根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束。

6.根据权利要求5所述的方法，其中，所述道路对象包括车道线，所述第k帧图像的语义包括所述车道线在所述第k帧图像中的位置信息和/或属性信息，所述属性信息用于指示所述车道线的类型。

7.根据权利要求5所述的方法，其中，所述根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束，包括：

根据所述第k帧图像的语义和所述第k+1帧图像的语义，确定出同时存在于所述第k帧图像和所述第k+1帧图像中的目标道路对象；

根据所述目标道路对象，构造所述第k个语义约束。

8.根据权利要求1-3任一项所述的方法，其中，所述根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图之后，还包括：

根据所述高精地图控制车辆的行驶路线。

9.一种高精地图生成装置，其中，包括：

获取模块，用于获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数；

构造模块，用于对于第k帧点云和第k+1帧点云，根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，所述第k个目标函数用于使得所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云；

确定模块，用于根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置；

生成模块，用于根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。

10.根据权利要求9所述的装置，其中，所述构造模块，用于根据所述第k帧图像的语义，将所述第k帧图像投影到所述第k帧点云上得到第k帧鸟瞰图，从所述第k帧鸟瞰图中确定出所述第k帧图像中的道路对象的3D位置，根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数，所述第k+1帧鸟瞰图是将所述第k帧图像投影到所述第k+1帧点云上得到的。

11.根据权利要求10所述的装置，其中，所述构造模块，在根据位于所述3D位置的每个激光点和第k+1帧鸟瞰图，构建所述第k个目标函数时，用于对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点，所述参考激光点与所述第k帧鸟瞰图中的对应激光点的距离最小且语义相同，所述第k个语义约束约束用于使得所述第k帧图像和所述第k+1帧图像中相同道路对象一致，确定所述第k帧鸟瞰图中的各激光点与对应的参考激光点之间的距离，得到多个距离，利用所述多个距离中的最小距离构造所述第k个目标函数。

12.根据权利要求10或11所述的装置，其中，

所述确定模块，用于根据所述目标函数，调整所述第k帧鸟瞰图和第k+1帧鸟瞰图，使得所述第k帧鸟瞰图和所述第k+1帧鸟瞰图之间的距离最小，确定调整后的第k帧鸟瞰图和第k+1帧鸟瞰图在世界坐标系下的位置；将调整后的第k帧鸟瞰图在世界坐标系下的位置作为所述第k帧点云在世界坐标系下的位置，将调整后的第k+1帧鸟瞰图在世界坐标系下的位置作为所述第k+1帧点云在世界坐标系下的位置。

13.根据权利要求11所述的装置，其中，所述构造模块，在对于所述3D位置中的每个激光点，根据第k个语义约束从所述第k+1帧鸟瞰图中确定出参考激光点之前，还用于根据所述第k帧图像提取出所述第k帧图像的语义，根据所述第k+1帧图像提取出所述第k+1帧图像的语义，根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束。

14.根据权利要求13所述的装置，其中，

所述道路对象包括车道线，所述第k帧图像的语义包括所述车道线在所述第k帧图像中的位置信息和/或属性信息，所述属性信息用于指示所述车道线的类型。

15.根据权利要求13所述的装置，其中，

所述构造模块，在根据所述第k帧图像的语义和所述第k+1帧图像的语义，构造所述第k个语义约束时，根据所述第k帧图像的语义和所述第k+1帧图像的语义，确定出同时存在于所述第k帧图像和所述第k+1帧图像中的目标道路对象，根据所述目标道路对象，构造所述第k个语义约束。

16.根据权利要求9-11任一项所述的装置，其中，还包括：

控制模块，用于在所述生成模块根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图之后，根据所述高精地图控制车辆的行驶路线。

17.一种电子设备，其中，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种高精地图生成方法，其中，包括：

获取包含道路对象的N帧点云和N帧图像，所述N帧点云中的点云和所述N帧图像中的图像一一对应，N≥2且为整数；

根据第k帧图像和第k+1帧图像，拼接第k帧点云和第k+1帧点云以得到高精地图，所述第k帧点云和所述第k+1帧点云是所述N帧点云中任意相邻的两帧点云；

所述根据第k帧图像和第k+1帧图像，拼接第k帧点云和第k+1帧点云以得到高精地图，包括：根据第k帧图像、第k+1帧图像、所述第k帧点云和第k+1帧点云，构建第k个目标函数，所述第k个目标函数用于使得所述第k帧点云上的点与所述第k+1帧点云上的点的平均距离最小，其中，

所述平均距离是指将第k帧点云中的点作为基准点，在第k+1帧点云中确定出与所述基准点距离最近的点作为所述基准点的参考点；

根据所述第k个目标函数，确定所述第k帧点云和所述第k+1帧点云在世界坐标系下的位置；

根据所述第k帧点云在所述世界坐标系下的位置，生成高精地图。