CN112212873A - 一种高精地图的构建方法及装置 - Google Patents

Abstract

公开了一种高精地图的构建方法、装置、计算机可读存储介质和电子设备，该方法包括：确定至少一帧图像的第一逆透视变换图像；根据所述第一逆透视变换图像，确定第一路面地图；根据所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；根据所述第一路面参数和第一相机位姿，获取第二路面参数和第二相机位姿；根据所述第一路面地图、所述第二路面参数和所述第二相机位姿，构建所述高精地图。本申请通过视觉传感器对路面元素进行采集，并利用优化路面参数和优化相机位姿进行高精地图的构建，可以有效改善高精地图的准确度。

Description

一种高精地图的构建方法及装置

技术领域

本申请涉及电子地图技术领域，且更具体地，涉及一种高精地图的构建方法及装置。

背景技术

高精地图在自动驾驶的定位和规划中扮演着重要的角色，高精地图的构建过程中对路面元素的采集是至关重要的，现有的高精地图的构建过程多采用激光雷达对路面元素进行采集。

利用激光雷达对路面元素进行采集，需要路面元素有较好的反射能力，而在路面元素反射能力不足时，会使得利用激光雷达采集到的路面元素不够准确，从而导致利用激光雷达采集到的路面元素构建的高精地图的准确度不高。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种高精地图的构建方法、装置、计算机可读存储介质及电子设备，其通过视觉传感器对路面元素进行采集，并利用优化路面参数和优化相机位姿进行高精地图的构建，可以有效改善高精地图的准确度。

根据本申请的一个方面，提供了一种高精地图的构建方法，包括：

确定至少一帧图像的第一逆透视变换图像；

根据所述第一逆透视变换图像，确定第一路面地图；

根据所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；

根据所述第一路面参数和第一相机位姿，获取第二路面参数和第二相机位姿；

根据所述第一路面地图、所述第二路面参数和所述第二相机位姿，构建所述高精地图。

根据本申请的第二方面，提供了一种高精地图的构建装置，包括：

图像确定模块，用于确定至少一帧图像的第一逆透视变换图像；

地图确定模块，用于根据所述图像确定模块确定的所述第一逆透视变换图像，确定第一路面地图；

参数获取模块，用于根据所述图像确定模块确定的所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；

优化模块，用于根据第一相机位姿和所述参数获取模块获取的所述第一路面参数，获取第二路面参数和第二相机位姿；

地图构建模块，用于根据所述地图确定模块确定的所述第一路面地图、所述优化模块获取的所述第二路面参数和所述第二相机位姿，构建所述高精地图。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的高精地图的构建方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的高精地图的构建方法。

与现有技术相比，本申请提供的高精地图的构建方法、装置、计算机可读存储介质及电子设备，至少包括以下有益效果：

一方面，本实施例考虑到利用激光雷达对路面元素进行采集，路面元素可能存在反射能力不足的情况，因此采用视觉传感器对图像进行采集，使得采集到的每帧图像均可以准确的反映出场景结构中的路面元素，进一步利用路面参数对路面元素进行表示，并对路面参数进行优化得到优化路面参数，同时对采集图像的相机位姿进行优化得到优化相机位姿，利用优化路面参数和优化相机位姿进行高精地图的构建，可以有效改善高精地图的准确度。

另一方面，本实施例以视觉传感器进行图像的采集，避免使用价格昂贵的激光雷达对图像进行采集，可以节约成本，有利于市场的推广。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的高精地图的构建方法的流程示意图；

图2是本申请一示例性实施例提供的高精地图的构建方法中对路面元素进行采集的示意图；

图3是本申请一示例性实施例提供的高精地图的构建方法中一种步骤10的流程示意图；

图4是本申请一示例性实施例提供的高精地图的构建方法中另一种步骤10的流程示意图；

图5是本申请一示例性实施例提供的高精地图的构建方法中步骤20的流程示意图；

图6是本申请一示例性实施例提供的高精地图的构建方法中步骤30的流程示意图；

图7是本申请一示例性实施例提供的高精地图的构建装置的结构示意图；

图8是本申请一示例性实施例提供的高精地图的构建装置中一种图像确定模块61的结构示意图；

图9是本申请一示例性实施例提供的高精地图的构建装置中另一种图像确定模块61的结构示意图；

图10是本申请一示例性实施例提供的高精地图的构建装置中地图确定模块62的结构示意图；

图11是本申请一示例性实施例提供的高精地图的构建装置中参数获取模块63的结构示意图；

图12是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

高精地图中准确的路面元素信息是实现自动驾驶的基础条件，目前常常利用激光雷达对路面元素进行采集，并基于路面元素对激光的反射值进行高精地图的构建，因此利用激光雷达对路面元素进行采集时，对路面元素有反射性要求，当路面元素的反射能力不足时，激光雷达采集到的路面元素的准确度不高，从而导致利用激光雷达采集到的路面元素构建的高精地图的准确度不高。

本实施例提出了一种高精地图的构建方法，考虑到利用激光雷达对路面元素进行采集，路面元素可能存在反射能力不足的情况，因此采用视觉传感器对图像进行采集，使得采集到的每帧图像均可以准确的反映出场景结构中的路面元素，进一步利用路面参数对路面元素进行表示，并对路面参数进行优化得到优化路面参数，同时对采集图像的相机位姿进行优化得到优化相机位姿，利用优化路面参数和优化相机位姿进行高精地图的构建，可以有效改善高精地图的准确度。不仅如此，本实施例以视觉传感器进行图像的采集，避免使用价格昂贵的激光雷达对图像进行采集，可以节约成本，有利于市场的推广。

在介绍本申请的基本构思之后，下面将结合附图来具体介绍本申请所述提供技术方案的各种非限制性实施例。

示例性方法

图1是本申请一示例性实施例提供的高精地图的构建方法的流程示意图。

本实施例可应用在电子设备上，具体可以应用于服务器或一般计算机上，如图1所示，本申请一示例性实施例提供的高精地图的构建方法至少包括如下步骤：

步骤10，确定至少一帧图像的第一逆透视变换图像。

采用视觉传感器对场景结构中的路面元素进行采集，采集到的图像具有较激光雷达获取到的点云数据更为丰富的图像信息，可以准确的反映出场景结构中的路面元素。车辆在行驶过程中，视觉传感器会不断地采集图像，因此会获取到至少一帧图像，然后对采集到的图像做逆透视变换以得到第一逆透视变换图像。逆透视变换主要是将图像从图像坐标系映射到世界坐标系中，利用图像中的有效信息来重建世界坐标系下的某个平面的信息通常为道路平面的信息，利用逆透视变换从图像恢复道路平面的俯视图，可以有效地消除透视形变，有利于后续对路面元素的检测和识别。

具体地，因为视觉传感器采集的图像中不仅包括路面元素，还包括天空、车辆等与路面元素无关的图像信息，因此在获取到一帧图像后，以路面元素为特征对图像进行特征提取，根据特征提取结果，对图像进行逆透视变换，从而避免对图像中全部的像素点进行逆透视变换，有效地降低计算量，提高逆透视变换速率。

步骤20，根据第一逆透视变换图像，确定第一路面地图。

利用视觉传感器对图像进行采集的目的在于构建高精地图，因此在得到第一逆透视变换图像后，确定第一路面地图即初始路面地图，该第一路面地图可以是通过对第一逆透视变换图像进行特征关联得到的，则第一路面地图中包括了用于构建第一路面地图的各个第一逆透视变换图像中的所有的路面元素。

具体地，当第一逆透视变换图像对应的为第一帧图像时，则将第一逆透视变换图像对应的全部路面元素进行构建，以形成第一路面地图；当第一逆透视变换图像对应的为非第一帧图像时，则可以将第一逆透视变换图像中的路面元素与第一路面地图中的路面元素进行特征比较，确定第一逆透视变换图像对应在第一路面地图中的位置，将包括在第一逆透视变换图像中的路面元素却没有包括在第一路面地图中的路面元素在第一路面地图中进行相应的构建，从而使得第一路面地图中的路面元素越来越丰富。

步骤30，根据第一逆透视变换图像，获取图像中的路面元素对应的第一路面参数。

对图像进行逆透视变换，可以得到图像中的路面元素与第一逆透视变换图像间的转换关系。逆透视变换是将图像从图像坐标系映射到世界坐标系中，但是为了获取到第一逆透视变换图像，需要再将世界坐标系映射转换到图像坐标系中，因此在确定了第一逆透视变换图像后，可以确定图像中的路面元素和第一逆透视变换图像中路面元素的转换关系，根据该转换关系确定第一路面参数，使得第一路面参数可以表示图像中的路面元素。

车辆在行驶的过程中，视觉传感器对图像的采集速率是非常快的，因此在相邻的两帧图像中会存在重叠区域，该重叠区域对应是同一场景结构中的路面元素，则相邻两帧重叠区域的场景结构中的路面元素可以利用同一第一路面参数表示。例如，对于第一帧图像和第二帧图像的重叠区域，可以利用第一帧图像对应的第一路面参数进行表示，第二帧图像和第三帧图像的重叠区域，可以利用第三帧图像对应的第一路面参数进行表示，则第二帧图像对应的路面元素可以利用第一图像对应的第一路面参数和第三帧图像对应的第一路面参数进行表示，从而有效的减少第一路面参数的个数。在获取到第一路面参数后，可以将第一路面参数与第一路面地图中的路面元素进行关联，从而有利于利用第一路面参数实现对第一路面地图的优化。

步骤40，根据第一路面参数和第一相机位姿，获取第二路面参数和第二相机位姿。

在利用视觉传感器采集的图像进行高精地图的构建时，需要确定采集每一帧图像的相机位姿，通常可以通过安装在车辆上的定位装置获取第一相机位姿，如惯性测量单元、卫星定位装置等，第一相机位姿可以粗略的表示出车辆的位置和姿态，通常为了改善高精地图的准确度，会对第一相机位姿进行优化得到第二相机位姿即优化相机位姿，第二相机位姿可以准确的表示车辆的位置和姿态。

第一路面参数对应的是图像中的路面元素，而视觉传感器在对图像进行采集时可能会因路况等原因导致图像中的路面元素采集的不够完整准确，通常为了得到完整准确的第一路面参数，会在同一路段进行多次行驶，如图2所示，车辆处于1号位置和2号位置时视觉传感器采集到的路面元素是不同的。具体地，在车辆第一次在对某一路段进行行驶，车辆在左侧车道行驶时，位于车辆前方的右侧车道和中间车道都存在行驶车辆，此时视觉传感器采集到的图像中没有右侧车道和中间车道的路面元素，则相应得到的第一路面参数不能完整的表示出图像对应的场景结构中的所有的路面元素；当车辆第二次在该路段进行行驶，车辆位于中间车道，且左侧车道和右侧车道都没有车辆，利用此时采集到的图像得到的第一路面参数可以完整的表示出图像对应的场景结构中的路面元素，因此随着车辆对各路段行驶次数的增加，第一路面参数是不断优化的，得到第二路面参数即优化路面参数，第二路面参数可以清楚完整的表示图像采集的场景结构中的路面元素。

具体地，可以构建如下所示的基于相机位姿和路面参数为待求节点的图模型：

e_k,i(x)＝z_k,i-π(T_k,Pgd_i)

其中，x^*表征相应的最优求解结果；

F(x)表征最小二乘误差函数；

N_k表征总的观测次数；

N_i表征第一路面地图中第一路面参数的个数；

Ω_k,i表征第k次观测中第i个第一路面参数的信息矩阵；

e_k,i(x)表征第k次观测中第i个第一路面参数的误差函数；

z_k,i表征第k次观测中第i个第一路面参数对应的图像观测信息，如像素坐标、语义类别等；

π(·)表征投影函数；

T_k表征第k次观测时的第一相机位姿；

Pgd_i表征第i个第一路面参数。

上述图模型涉及非线性最小二乘模型，可以利用列文伯格-马夸尔特法或高斯-牛顿法进行求解，得到第二相机位姿和第二路面参数。

步骤50，根据第一路面地图、第二路面参数和第二相机位姿，构建高精地图。

利用第二路面参数和第二相机位姿对第一路面地图进行优化，得到高精地图，则得到的高精地图的准确度较高。具体地，在得到高精地图后还可以对高精地图进行闭环检测，并根据闭环检测的结果对高精地图进行全局优化，该全局优化可以利用上述构建的图模型，并获取最优相机位姿和最优路面参数，从而使得利用最优相机位姿和最优路面参数构建的高精地图的准确度更高。在一种可能的实现方式中，将各个车辆采集到的高精地图上传至云端，并对各个车辆采集到的高精地图进行进一步的优化，从而得到准确度更高的高精地图。

本实施例提供的高精地图的构建方法的有益效果至少在于：

一方面，本实施例采用视觉传感器对图像进行采集，并利用逆透视变换对图像进行处理，获取图像中的路面元素的俯视图即第一逆透视变换图像，进一步利用第一路面参数对图像中的路面元素进行表示，考虑到车辆行驶过程中状态的变化及路况的变化可能使得获取的第一路面参数不能准确的表示图像中的路面元素，因此对第一路面参数进行优化得到第二路面参数，同时对第一相机位姿进行优化得到第二相机位姿，从而使得利用第二路面参数和第二相机位姿对高精地图进行构建时，可以有效改善高精地图的准确度。

另一方面，本实施例以视觉传感器对图像进行采集，避免使用价格昂贵的激光雷达对图像进行采集，可以节约成本，有利于市场的推广；同时本实施例可以实现全部流程的自动化，不需要人工参与，降低人工成本的同时，增加了构建高精地图的效率和准确度。

图3示出了如图1所示的实施例中确定至少一帧图像的第一逆透视变换图像的流程示意图。

如图3所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤10所示的确定至少一帧图像的第一逆透视变换图像，具体可以包括如下步骤：

步骤1011：获取至少一帧图像中的路面元素的像素坐标。

逆透视变换是将图像从图像坐标系映射到世界坐标系中，因此在进行逆透视变换前，需要确定图像中的各个像素点的像素坐标。具体地，对图像进行以路面元素为特征的特征提取，得到路面元素对应的特征点，进而在进行逆透视变换时，仅对路面元素对应的特征点进行逆透视变换，可以有效的降低计算量，改善高精地图的构建效率。

步骤1012：根据路面元素的像素坐标、第一相机位姿和定位信息，通过三维逆透视变换确定图像的第一逆透视变换图像。

通常在进行逆透视变换时，常常会利用图像中的有效信息来重建世界坐标系下的某个平面的信息通常为道路平面的信息，即在进行逆透视变换时，认为道路平面应该是平坦的，从而导致得到的第一逆透视变换图像无法提供路面的起伏信息，不利于车辆自动驾驶的实现。本实施例中，利用定位信息提供视觉传感器采集图像时在世界坐标系中相应的高度信息和角度信息，因为视觉传感器在不同高度进行投影得到的路面元素的高度是不同的，视觉传感器在不同角度下进行投影得到的路面元素的角度也是不同的，因此在对视觉传感器在不同高度信息和角度信息下投影得到的第一逆透视变换图像进行关联拼接后得到的三维初始路面地图，可以表示出路面的起伏情况。

具体地，利用前一时刻的先验相机位姿和车辆底盘提供的速度信息和角度信息可以获取相机在空间的三维状态，其中车辆底盘提供的速度信息和角度信息也可以为惯性测量单元提供的加速度信息和角速度信息，或者融合多个装置提供的定位信息确定相机在空间的三维状态，例如该定位信息包括车辆在世界坐标系中X轴、Y轴和Z轴的数值信息以及在世界坐标系中的角度信息，其中根据Y轴的数值信息即可以获取车辆在世界坐标系中的高度信息，此时可以直接将该Y轴的数值信息确定为相机采集图像时相应的高度信息；因为各个获取定位信息的装置在车辆上的安装高度和相机在车辆上的安装高度不同，因此还可以根据相机初始标定的角度和高度，以及该Y轴的数值信息和定位信息包括的角度信息，获取相机采集图像时在世界坐标系中的高度信息和角度信息。根据相机采集图像时在世界坐标系中的高度信息和角度信息进行逆透视变换，可以得到具有三维信息的第一逆透视变换图像。在以往的逆透视变换中，获取到的道路平面的信息是基于高度信息为零的假设，从而难以区分高架桥上的路面元素和地面上的路面元素，而本实施例中通过定位信息提供进行逆透视变换时的高度信息，从而使得获取到的路面元素具有三维信息。

本实施例中，通过定位信息提供视觉传感器采集图像时在世界坐标系中相应的高度信息和角度信息，并结合定位信息提供的高度信息和角度信息进行三维逆透视变换，使得确定的第一逆透视变换图像具有路面元素的三维信息，从而可以根据第一逆透视变换图像构建出可以反映路面起伏情况的高精地图，有效改善高精地图的准确度。

图4示出了如图1所示的另一个实施例中确定至少一帧图像的第一逆透视变换图像的流程示意图。

如图4所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤10所示的确定至少一帧图像的第一逆透视变换图像，具体可以包括如下步骤：

步骤1021：对至少一帧图像进行语义分割，获取图像中的路面元素分别对应的语义信息。

对图像进行语义分割，根据图像的内容从像素的角度分割出图像中的不同对象，在本实施例中，可以对图像中的车道线、停止线、斑马线、路面箭头、路面标志等进行语义分割，获取图像中的路面元素分别对应的语义信息。

步骤1022：根据语义信息和第一相机位姿，获取携带有语义信息的第一逆透视变换图像。

对图像进行语义分割，使得图像中的特征点带有相应的语义信息，则在根据第一相机位姿进行逆透视变换时，得到的第一逆透视变换图像携带有相应的语义信息。语义信息有利于第一逆透视变换图像间的关联与拼接，在对两帧第一逆透视变换图像进行关联时，可以首先考虑各个特征点的语义信息，如对应语义信息为车道线的特征点和对应语义信息为停止线的特征点不会进行关联，从而可以改善第一逆透视变换图像的在构建第一路面地图的效率。

在本实施例中对图像进行语义分割，获取携带有语义信息的第一逆透视变换图像，有利于后续对第一逆透视变换图像进行关联和拼接，提高第一路面地图的构建效率。并且利用携带有语义信息的第一逆透视变换图像进行高精地图的构建，使得构建出的高精地图为携带有语义信息的路面地图，带有语义信息的路面地图更容易被识别，有利于自动驾驶的实现。

图5示出了如图1所示的实施例中根据第一逆透视变换图像，确定第一路面地图。

如图5所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤20所示的确定第一路面地图的步骤，具体可以包括如下步骤：

步骤201：对第一逆透视变换图像进行关联，确定第二路面地图。

在对图像进行以路面元素为特征的特征提取后，进行逆透视变换得到第一逆透视变换图像，对各个不同的第一逆透视变换图像中相同的路面元素进行关联，确定第二路面地图。

步骤202：获取第三逆透视变换图像。

目前在进行图像处理时，多按照图像的时序对图像进行处理，此时第三逆透视变换图像对应于第一逆透视变换图像的后续图像，例如，第三逆透视变换图像为当前时刻最新采集到的第一逆透视变换图像。在一种可能的实现方式中，存在不按照时序进行图像处理的情况，例如，在获取到一系列图像后，按照定位信息对图像进行处理，此时则可以在还没有用于确定第二路面地图的第一逆透视变换图像中进行选取，选取出第三逆透视变换图像。

步骤203：对第二路面地图中的路面元素与第三逆透视变换图像中的路面元素的特征进行匹配，确定第二匹配度。

在利用视觉传感器采集的图像进行高精地图的构建时，为了尽可能保证构建的高精地图的准确度，车辆往往在同一路段会进行多次行驶，以避免因图像中的路面元素被遮挡而造成的高精地图不准确，因此可能会出现第三逆透视变换图像中的路面元素都包括于第二路面地图中的情况，因为第二路面地图中包括有第三逆透视变换图像前的所有的第一逆透视变换图像中的路面元素，为了确定第三逆透视变换图像中的路面元素是否已经全部包括于第二路面地图中，需要对第二路面地图中的路面元素与第三逆透视变换图像中的路面元素的特征进行匹配，确定第二匹配度。

需要说明的是，在对第二路面地图中的路面元素与第三逆透视变换图像中的路面元素的特征进行匹配时，确定第三逆透视变换图像对应的第一相机位姿，因为路面元素种类较少，可能会出现在不同的路段对应的路面元素是相同的情况，因此在进行匹配时，需要确定第三逆透视变换图像对应的第一相机位姿，了解第三逆透视变换图像对应在第二路面地图中的位置，如此才能保证最终建立的第一路面地图是准确的。

步骤204：若第二匹配度满足第二预设条件，基于第三逆透视变换图像及第二路面地图，确定第一路面地图。

若第二匹配度满足第二预设条件，第二预设条件可以为大于某个阈值，该阈值的大小可以根据用户的需求自行设定，当第二匹配度大于某个阈值时，即第三逆透视变换图像中的路面元素在一定程度上已经包括于第二路面地图中，此时可以利用第三逆透视变换图像对第二路面地图进行优化，确定第一路面地图。例如，在车辆第二次对某一路段进行观测时，得到的第三逆透视变换图像和车辆第一次对该路段进行观测时得到的第一逆透视变换图像相差不多，则此时确定出的第二匹配度满足第二预设条件，因此仅利用第三逆透视变换图像对第二路面地图进行优化更新即可。

步骤205：若第二匹配度不满足第二预设条件，则对第三逆透视变换图像和第一逆透视变换图像进行关联，确定第一路面地图。

若第二匹配度不满足第二预设条件，即在第三逆透视变换图像中存在较多不包括于第二路面地图中的路面元素，此时将第三逆透视变换图像中路面元素与第一逆透视变换图像中的路面元素进行关联，构建第一路面地图。其中，在车辆第一次在路段进行快速行驶时，或者车辆第一次对某路段进行行驶时，因路况较为拥堵，使得视觉传感器采集到的图像中的路面元素不完整，当车辆第二次在该路段进行行驶时，视觉传感器采集到的图像对应的第三逆透视变换图像与第二路面地图中的路面元素进行特征匹配时，通常第二匹配度不满足第二预设条件，因此需要利用第三逆透视变换图像对第二路面地图进行构建。

需要说明的是，因为视觉传感器对图像的采集是实时的，因此第三逆透视变换图像也可以是实时采集到的最新的图像对应的第一逆透视变换图像，则获取到新一帧图像对应的第三逆透视变换图像时，上一时刻的第三逆透视变换图像则成为第一逆透视变换图像，则此时在步骤204和步骤205确定所述第一路面地图后，还可以加入将所述第一路面地图更新为第二路面地图，此时可以表示视觉传感器采集图像构建第一路面地图的整个循环过程。

在本实施例中，利用第三逆透视变换图像完成对第二路面地图的优化或构建以确定第一路面地图，确保构建的第一路面地图的准确度和完整性，进而可以保证最终得到的高精地图的准确度和完整性。

图6示出了如图1所示的实施例中根据第一逆透视变换图像，获取图像中的路面元素对应的第一路面参数的流程示意图。

如图6所示，在上述图1所示实施例的基础上，本申请一个示例性实施例中，步骤30所示的获取图像中的路面元素对应的第一路面参数的步骤，具体可以包括如下步骤：

步骤301：获取第二逆透视变换图像；

按时序对图像进行处理时，第二逆透视变换图像对应于第一逆透视变换的后续图像，在一种可能的实现方式中，第二逆透视变换图像为当前时刻最新采集到的第一逆透视变换图像；在不按时序对图像进行处理时，在一种可能的实现方式中，第二逆透视变换图像可以在还没有用于确定第一路面参数的第一逆透视变换图像中进行选取，选取出第二逆透视变换图像。

步骤302：对第一逆透视变换图像中的路面元素与第二逆透视变换图像的特征进行匹配，确定第一匹配度；

车辆在行驶过程中视觉传感器对图像的采集的速率，导致相邻的两帧图像常常会有大部分的重叠区域，重叠区域对应的是同一场景结构中的路面元素，因此如果可以利用同一第一路面参数进行表示，则可以有效降低第一路面参数的数量，从而有利于后续对第一路面参数进行优化，为了确定第一逆透视变换图像和第二逆透视变换图像的重叠区域，需要对第一逆透视变换图像中的路面元素与第二逆透视变换图像的特征进行匹配，确定第一匹配度。

具体地，当获取到第二逆透视变换图像后，选取一帧第一逆透视变换图像，可以根据时间顺序对第一逆透视变换图像进行选取，例如选取的第一逆透视变换图像可以为第二逆透视变换图像的上一帧图像对应的第一逆透视变换图像；也可以根据定位信息进行第一逆透视变换图像的选取，选择定位信息与第二逆透视变换图像对应的定位信息最接近的第一逆透视变换图像进行特征匹配。

步骤303：当第一匹配度满足第一预设条件时，确定第一逆透视变换图像和第二逆透视变换图像对应的投影参数；

第一预设条件可以为大于某一阈值，当第一匹配度大于某一阈值时，即第一逆透视变换图像和第二逆透视变换图像有较大的重叠区域，此时确定第一逆透视变换图像和第二逆透视变换图像对应的投影参数，如将图像变换为该第一逆透视变换图像时对应的相机的俯仰角以及视觉传感器采集图像时对应的高度信息、相机的横滚角等，因为视觉传感器在不同高度进行投影得到的路面元素的高度是不同的，视觉传感器在不同角度下进行投影得到的路面元素的角度也是不同的，因此可以利用投影参数表示图像中的路面元素。

步骤304：根据投影参数，确定图像中的路面元素对应的第一路面参数。

在确定了第一逆透视变换图像对应的投影参数和第二逆透视变换图像对应的投影参数后，将第一逆透视变换图像和第二逆透视变换图像中的重叠部分利用同一投影参数进行表示，从而确定该路面元素对应的第一路面参数。

在本实施例中，确定第一逆透视变换图像和第二逆透视变换图像的投影参数，利用投影参数确定出第一逆透视变换图像和第二逆透视变换图像中重叠区域对应的第一路面参数，随着相机对图像的采集，场景结构中的路面元素对应的第一路面参数被不断确认，从而从每帧图像中的路面元素转化为第一路面参数对应的路面元素，利用第一路面参数更容易实现对路面元素的优化，并且因为是不断将重叠部分的路面元素利用一个第一路面参数进行表示，使得第一路面参数对应的图像的数量可以有效的降低，从而提高高精地图的构建效率。

示例性装置

基于与本申请方法实施例相同的构思，本申请实施例还提供了一种高精地图的构建装置。

图7示出了本申请一示例性实施例提供的高精地图的构建装置的结构示意图。

如图7所示，本申请一示例性实施例提供的高精地图的构建装置，包括：

图像确定模块61，用于确定至少一帧图像的第一逆透视变换图像；

地图确定模块62，用于根据所述图像确定模块61确定的所述第一逆透视变换图像，确定第一路面地图；

参数获取模块63，用于根据所述图像确定模块61确定的所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；

优化模块64，用于根据第一相机位姿和所述参数获取模块63获取的所述第一路面参数，获取第二路面参数和第二相机位姿；

地图构建模块65，用于根据所述地图确定模块62确定的所述第一路面地图、所述优化模块64获取的所述第二路面参数和所述第二相机位姿，构建所述高精地图。

如图8所示，在一个示例性实施例中，图像确定模块61，包括：

坐标获取单元6111，用于获取至少一帧图像中的路面元素的像素坐标；

第一图像确定单元6112，用于根据所述路面元素的像素坐标、第一相机位姿和定位信息，通过三维逆透视变换确定所述图像的第一逆透视变换图像。

如图9所示，在另一个示例性实施例中，图像确定模型61，包括：

语义分割单元6121，用于对至少一帧图像进行语义分割，获取图像中的路面元素分别对应的语义信息；

第二图像确定单元6122，用于根据语义信息和第一相机位姿，获取携带有语义信息的第一逆透视变换图像。

如图10所示，在一个示例性实施例中，地图确定模块62，包括：

第一地图确定单元621，用于对第一逆透视变换图像进行关联，确定第二路面地图；

第一图像获取单元622，用于从图像确定模块61中确定出第三逆透视变换图像；

第一匹配度确定单元623，用于对第二路面地图中的路面元素与第三逆透视变换图像中的路面元素的特征进行匹配，确定第二匹配度；

第二地图确定单元624，用于若第二匹配度满足第二预设条件，基于第三逆透视变换图像及第二路面地图，确定第一路面地图；

第三地图确定单元625，用于若第二匹配度不满足第二预设条件，则对第三逆透视变换图像和第一逆透视变换图像进行关联，确定第一路面地图。

如图11所示，在一个示例性实施例中，参数获取模块63，包括：

第二图像获取单元631，用于从图像确定模块61中确定出第二逆透视变换图像；

第二匹配度确定单元632，用于对第一逆透视变换图像中的路面元素与第二逆透视变换图像的特征进行匹配，确定第一匹配度；

投影参数确定单元633，用于当第一匹配度满足第一预设条件时，确定第一逆透视变换图像和第二逆透视变换图像对应的投影参数；

参数获取单元634，用于根据投影参数，确定图像中的路面元素对应的第一路面参数。

示例性电子设备

图12图示了根据本申请实施例的电子设备的框图。

如图12所示，电子设备100包括一个或多个处理器101和存储器102。

处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本申请的各个实施例的高精地图的构建方法以及/或者其他期望的功能。

在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图12中仅示出了该电子设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的高精地图的构建方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的高精地图的构建方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种高精地图的构建方法，包括：

确定至少一帧图像的第一逆透视变换图像；

根据所述第一逆透视变换图像，确定第一路面地图；

根据所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；

根据所述第一路面参数和第一相机位姿，获取第二路面参数和第二相机位姿；

根据所述第一路面地图、所述第二路面参数和所述第二相机位姿，构建所述高精地图。

2.根据权利要求1所述的方法，其中，所述确定至少一帧图像的第一逆透视变换图像，包括：

获取至少一帧图像中的路面元素的像素坐标；

根据所述路面元素的像素坐标、第一相机位姿和定位信息，通过三维逆透视变换确定所述图像的第一逆透视变换图像。

3.根据权利要求1所述的方法，其中，所述根据所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数，包括：

获取第二逆透视变换图像；

对所述第一逆透视变换图像中的路面元素与所述第二逆透视变换图像的特征进行匹配，确定第一匹配度；

当所述第一匹配度满足第一预设条件时，确定所述第一逆透视变换图像和所述第二逆透视变换图像对应的投影参数；

根据所述投影参数，确定所述图像中的路面元素对应的第一路面参数。

4.根据权利要求1所述的方法，其中，所述根据所述第一逆透视变换图像，确定第一路面地图，包括：

对所述第一逆透视变换图像进行关联，确定第二路面地图；

获取第三逆透视变换图像；

对所述第二路面地图中的路面元素与所述第三逆透视变换图像中的路面元素的特征进行匹配，确定第二匹配度；

若所述第二匹配度满足第二预设条件，基于所述第三逆透视变换图像及所述第二路面地图，确定所述第一路面地图。

5.根据权利要求4所述的方法，其中，还包括：

若所述第二匹配度不满足所述第二预设条件，则对所述第三逆透视变换图像和所述第一逆透视变换图像进行关联，确定所述第一路面地图。

6.根据权利要求1所述的方法，其中，所述确定至少一帧图像的第一逆透视变换图像，包括：

对至少一帧图像进行语义分割，获取所述图像中的路面元素分别对应的语义信息；

根据所述语义信息和第一相机位姿，获取携带有所述语义信息的第一逆透视变换图像。

7.一种高精地图的构建装置，包括：

图像确定模块，用于确定至少一帧图像的第一逆透视变换图像；

地图确定模块，用于根据所述图像确定模块确定的所述第一逆透视变换图像，确定第一路面地图；

参数获取模块，用于根据所述图像确定模块确定的所述第一逆透视变换图像，获取所述图像中的路面元素对应的第一路面参数；

优化模块，用于根据第一相机位姿和所述参数获取模块获取的所述第一路面参数，获取第二路面参数和第二相机位姿；

地图构建模块，用于根据所述地图确定模块确定的所述第一路面地图、所述优化模块获取的所述第二路面参数和所述第二相机位姿，构建所述高精地图。

8.根据权利要求7所述的装置，其中，所述图像确定模块，包括：

坐标获取单元，用于获取至少一帧图像中的路面元素的像素坐标；

图像确定单元，用于根据所述路面元素的像素坐标、第一相机位姿和定位信息，通过三维逆透视变换确定所述图像的第一逆透视变换图像。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的高精地图的构建方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的高精地图的构建方法。

Images