CN111780771B - 一种定位方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请披露了一种定位方法，其特征在于，所述方法包括：获取图像信息；基于所述图像信息检测路标矢量信息；基于矢量语义地图确定局部矢量语义地图，其中所述矢量语义地图为包括路标语义特征的矢量地图；基于所述路标矢量信息和局部矢量语义地图进行匹配；基于匹配结果确定定位结果。

Description

一种定位方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及无人驾驶领域，具体涉及一种定位方法、装置、电子设备及存储介质。

背景技术

车辆的精确定位是智能驾驶领域需要解决的一个关键问题，目前应用于智能驾驶的定位技术主要有GPS定位方法，基于基站等外部设施的定位方法，基于车载传感器例如摄像头，激光雷达，惯性测量仪等的定位方法。其中，GPS定位方法应用较为普遍，但是在具有高大遮挡物的场景以及地库场景GPS容易失效，而基于基站的定位方法则依赖于外部设施的建立，具有一定局限性，同时应用成本较高，因此，基于车载传感器的定位技术是目前智能驾驶领域的主要研究热点。同时，在众多车辆传感器中，激光雷达具有较高的精度，但同样具有成本高的缺点，惯性测量仪在大范围定位区域的场景下容易飘移，而基于摄像头的视觉定位技术成本低，同时精度也有一定保证，因此有着广泛的发展前景。

目前基于视觉的定位技术应用中，以直接法，特征点法，光流法为主，这些方法在保证精度的同时也具有一定的鲁棒性，然而，在如光照变化较大或者较为空旷不易提取特征点的场景下，这些方法同样容易失效。

发明内容

针对现有技术中的定位成本高、光照变化大等场景下不易提取特征点等问题，本申请实施例提出了一种定位方法、装置、电子设备及计算机可读存储介质。

本申请实施例的第一方面提供了一种定位方法，包括：获取图像信息；基于所述图像信息检测路标矢量信息，所述路标矢量信息为表征路标的矢量信息；基于矢量语义地图确定局部矢量语义地图，其中所述矢量语义地图为包括路标语义特征的矢量地图；基于所述路标矢量信息和局部矢量语义地图进行匹配；基于匹配上的局部语义地图中的路标，确定定位结果。

在一些实施例中，所述获取图像信息包括对图像信息进行预处理，所述预处理包括灰度图变换，去畸变。

在一些实施例中，所述基于所述图像信息检测路标矢量信息包括：基于语义分割算法获取路标的所有像素点；基于形状拟合算法对像素点进行拟合，获取路标矢量信息。

在一些实施例中，所述基于所述图像信息检测路标矢量信息包括：基于深度学习检测算法获取路标矢量信息。

在一些实施例中，所述矢量语义地图的构建过程包括：基于感知点云数据和定位数据建立全局点云地图；基于所述全局点云地图提取点云语义信息，获取点云语义地图；基于点云语义地图筛选路标点云；将筛选出的每个路标点云群进行形状拟合，确定每个路标的形状特征矢量；基于路标的形状特征矢量建立矢量语义地图。

在一些实施例中，所述基于全局点云地图提取点云语义信息，获取点云语义地图，包括：采用以下任一方法获取语义信息：人工标注；聚类；基于深度学习算法的语义分割。其中，所述点云语义地图中每个点云都至少存在一个语义标签。

在一些实施例中，所述路标包括路面路标和非路面空间路标。

在一些实施例中，所述基于所述路标矢量信息和局部矢量语义地图进行匹配包括：当路标矢量信息对应为路面路标时，将所述路标矢量信息俯视变换至道路平面进行匹配；当路标矢量信息对应为非路面空间路标时，将局部语义地图中的非路面空间路标透视变换至图像平面进行匹配。

在一些实施例中，所述方法进一步包括：路标匹配满足以下条件：所述路标矢量信息与所述矢量语义地图中的路标具备相同的语义标签；所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离小于预设阈值；所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离在候选路标中最小。

在一些实施例中，所述基于矢量语义地图确定局部矢量语义地图，包括：基于外部定位源或运动趋势确定车辆的初始定位估计值；基于初始定位估计值，确定预设范围内预设数量的路标矢量信息。

在一些实施例中，所述基于匹配上的局部语义地图中的路标，确定定位结果，包括：基于函数T^*＝argmin∑e(m_i,M_i)确定定位结果，其中T^*为车辆定位结果的最优解，e为与T相关的观测误差函数，m为图像中的路标矢量信息，M为局部语义地图中的路标矢量信息。

本申请实施例的第二方面提供了一种定位装置，包括：信息获取单元，用于获取图像信息；路标获取单元，用于基于所述图像信息检测路标矢量信息，所述路标矢量信息为表征路标的矢量信息；地图查询单元，用于基于矢量语义地图确定局部矢量语义地图，其中所述矢量语义地图为包括路标语义特征的矢量地图；匹配单元，用于基于所述路标矢量信息和局部矢量语义地图进行匹配；定位单元，用于基于匹配上的局部语义地图中的路标，确定定位结果。

在一些实施例中，所述定位装置还包括预处理单元，用于对图像信息进行预处理，所述预处理包括灰度图变换，去畸变。

在一些实施例中，所述路标获取单元具体用于：基于语义分割算法获取路标的所有像素点；基于形状拟合算法对像素点进行拟合，获取路标矢量信息。

在一些实施例中，所述路标获取单元具体用于：基于深度学习检测算法获取路标矢量信息。

在一些实施例中，所述矢量语义地图的构建过程包括：基于感知点云数据和定位数据建立全局点云地图；基于所述全局点云地图提取点云语义信息，获取点云语义地图；基于点云语义地图筛选路标点云；将筛选出的每个路标点云群进行形状拟合，确定每个路标的形状特征矢量；基于路标的形状特征矢量建立矢量语义地图。

在一些实施例中，所述基于全局点云地图提取点云语义信息，获取点云语义地图，包括：采用以下任一方法获取语义信息：人工标注；聚类；基于深度学习算法的语义分割；其中，所述点云语义地图中每个点云都至少存在一个语义标签。

在一些实施例中，所述路标包括路面路标和非路面空间路标。

在一些实施例中，所述匹配单元具体用于：当路标矢量信息对应为路面路标时，将所述路标矢量信息俯视变换至道路平面进行匹配；当路标矢量信息对应为非路面空间路标时，将局部语义地图中的非路面空间路标透视变换至图像平面进行匹配。

在一些实施例中，所述匹配单元进行路标匹配时遵循以下条件：所述路标矢量信息与所述矢量语义地图中的路标具备相同的语义标签；所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离小于预设阈值；所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离在候选路标中最小。

在一些实施例中，所述地图查询单元具体用于：基于外部定位源或运动趋势确定车辆的初始定位估计值；基于初始定位估计值，确定预设范围内预设数量的路标矢量信息。

在一些实施例中，所述定位单元具体用于：基于函数T^*＝argmin∑e(m_i,M_i)确定定位结果，其中T^*为车辆定位结果的最优解，e为与T相关的观测误差函数，m为图像中的路标矢量信息，M为局部语义地图中的路标矢量信息。

本申请实施例的第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的定位方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的定位方法。

本发明提出一种基于路标级语义的定位框架，该框架中路标的检测使用深度学习算法，相较于传统方案具有更强的鲁棒性，在光照变化较大的场景下也可以保证定位效果，同时由于其稀疏性，地图的储存空间需求量小，实时定位消耗的计算资源较低，此外，该框架利用了传统方法没有利用的高级语义信息，对其是一个很好的补充。

本申请相比于现有技术，具有如下有益效果：

一、路标的检测使用深度学习算法，相较于传统方案具有更强的鲁棒性；

二、在光照变化较大的场景下也可以保证定位效果，同时由于其稀疏性，地图的储存空间需求量小，实时定位消耗的计算资源较低；

三、利用了传统方法没有利用的高级语义信息，提高了定位精度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构和操作。

图1为本申请实施例提供的一种智能驾驶车辆的应用场景图；

图2为本申请公开实施例提供的智能驾驶***200的功能框图；

图3示出了根据本申请实施例提供的定位子模块300的功能模块框图；

图4是本申请实施例提供的一种全局路标语义地图的建图方法流程图；

图5示出了根据本申请实施例提供的一种基于矢量语义地图进行车辆定位的方法流程图；

图6示出了一种适于用来实现根据本申请实施方式的电子设备的结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“***”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。

本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。

本实施例的技术方法，主要用于对处于自动驾驶过程中的车辆进行定位。

图1为本申请实施例提供的一种智能驾驶车辆的应用场景图。如图1所示，所述应用场景包括多个智能驾驶车辆110-1,110-2…110-3，和云端服务器120。在一些实施例中，智能驾驶车辆包括传感器组111，智能驾驶***112，底层执行***113以及其他用于车辆行驶的组件或模块。其中，所述多个智能驾驶车辆具备相同或类似的功能架构。

在一些实施例中，所述智能驾驶车辆110可以支持人工驾驶和智能驾驶。在一些实施例中，当所述智能驾驶车辆110处于人工驾驶模式时，驾驶员可以通过操作控制车辆行驶的装置驾驶车辆，例如制动踏板，方向盘和油门踏板等。在一些实施例中，当所述智能驾驶车辆110处于智能驾驶模式时，所述智能驾驶***112可以基于传感器组111的传感信息对周围环境进行感知及对所述智能驾驶车辆进行定位，并根据感知信息和定位结果，对所述智能驾驶车辆的行驶进行规划决策，并基于规划决策生成控制指令，将控制指令下发至底层执行***113用于控制车辆行驶。

在一些实施例中，所述传感器组111用于感知车辆周围环境、对车辆进行定位及获得车辆状态。所述传感器组包括但不限于摄像头、激光雷达、毫米波雷达、GPS(GlobalPositioning System，全球定位***)、IMU(Inertial Measurement Unit，惯性测量单元)、轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器等。

在一些实施例中，所述智能驾驶***112用于在智能驾驶模式下控制车辆行驶。所述智能驾驶***112可以接收来自传感器组的传感信息，并基于传感信息确定所述智能驾驶车辆的周围环境信息、位姿及车辆状态。所述智能驾驶***根据行驶信息及环境信息、位姿及车辆状态生成所述智能驾驶车辆的规划决策信息，其后，基于所述规划决策信息生成控制信息，并将控制信息下发至底层执行***113用于控制车辆。在一些实施例中，所述智能驾驶***还可与云端服务器进行无线通信，进行信息交互，所述信息交互包括但不限于传感信息，环境信息，位姿，车辆状态，云端指令，智能驾驶车辆规划决策信息，地图信息等。

在一些实施例中，所述智能驾驶***112可以是软件***、硬件***或者软硬件结合的***。例如，智能驾驶***是运行在操作***上的软件***，车载硬件***是支持操作***运行的硬件***。

在一些实施例中，底层执行***113用于执行车辆的行驶。所述底层执行***113包括但不限于底盘***、驱动***、转向***、制动***等。所述底层执行***113在人工驾驶模式下，接收来自操作装置的信息，控制车辆行驶。所述底层执行***113在智能驾驶模式下，接收来自于智能驾驶***的控制指令，控制车辆行驶。其中，由于底层执行***在现有车辆***中属于车辆领域成熟***，因此在此不再赘述。

在一些实施例中，所述云端服务器120可以用于统一调度智能驾驶车辆和与智能驾驶车辆进行信息交互。

图2是根据本公开实施例中的智能驾驶***200的功能框图。在一些实施例中，智能驾驶***200与图1所述的智能驾驶***112具备相同或近似的结构。如图2所示，智能驾驶***200包括感知模块210、定位模块220、规划模块230、控制模块240及其他可用于控制车辆智能驾驶的功能模块或组件。

在一些实施例中，所述感知模块210用于获取智能驾驶车辆周围环境的感知信息。在一些实施例中，感知模块210获取传感器组的传感信息、道路设备或云端服务器的交互信息生成感知信息。所述感知信息科包括但不限于以下至少一个：障碍物信息、道路标志/标记、行人/车辆信息、可行驶区域。

在一些实施例中，所述定位模块220用于获取车辆的定位信息。其中定位信息包括车辆位姿，车辆位姿包括车辆坐标以及车辆航向与各坐标轴的夹角。在一些实施例中，所述定位模块220可以基于多种定位方法或装置进行定位。所述定位源包括但不限于GPS定位源、视觉定位源和激光雷达定位源等。在一些实施例中，所述定位模块220在存在多种定位源时，可以选择置信度较高的定位源，也可以进行融合定位。在一些实施例中，所述定位模块220进一步包括定位子模块221，其中定位子模块221用于基于路标语义地图对车辆进行定位，获取车辆位姿。

在一些实施例中，所述规划模块230用于进行路径规划和决策。在一些实施例中，规划模块230基于感知模块210生成的感知信息和定位模块220生成的定位信息，生成规划和决策信息。在一些实施例中，规划模块202可结合V2X数据、高精度地图等数据中的至少一种，生成规划和决策信息。其中，决策信息可包括但不限于以下至少一种：行为(例如包括但不限于跟车、超车、停车、绕行等)、车辆航向、车辆速度、车辆的期望加速度、期望的方向盘转角等。

在一些实施例中，所述控制模块240用于基于规划和决策信息生成车辆底层执行***的控制指令，并下发控制指令，以使车辆底层执行***控制车辆按照期望路径行驶。其中，控制指令可包括但不限于：方向盘转向、横向控制指令、纵向控制指令等。

在一些实施例中，所述智能驾驶***还包括地图模块(图中未示出)。其中地图模块用于提供智能驾驶***在控制车辆行驶过程中使用到的地图，所述地图包括高精度地图，全局视觉地图，全局路标语义地图、路标矢量语义地图等。其中全局路标语义地图是指基于路标语义所建立的全局地图，可以用于基于路标对车辆进行定位。其中所述全局路标语义地图和路标矢量语义地图的建图方法流程可以参考图5。

图3示出了定位子模块300的功能模块框图。在一些实施例中，定位子模块300用于基于路标矢量语义地图对车辆进行定位。其中，所述定位子模块300与图2中所述的定位子模块221具备相同的或者类似的功能。如图3所示，所述定位子模块300包括信息获取单元310、路标获取单元320、地图查询单元330、匹配单元340、定位单元350以及其他可用于车辆定位的功能单元模块或组件。

在一些实施例中，所述信息获取单元310用于获取传感信息。其中所述传感信息包括图像信息或点云数据。在一些实施例中，所述图像信息是实时图像，所述图像信息可以是单帧图像，也可以是多个摄像头同步获取的多帧图像。所述点云数据可以是激光雷达所采取的激光点云数据。在一些实施例中，信息获取单元310在获取传感信息后，对传感信息进行预处理。所述预处理包括但不限于图像灰度图变换，去畸变等。所述预处理可以是由所述定位子模块中额外包括的预处理单元执行，或者由信息获取单元中额外包括的预处理子单元执行。

在一些实施例中，所述路标获取单元320用于获取路标矢量信息。在一些实施例中，所述路标获取单元320可以使用但不限于基于深度学习的检测算法、语义分割算法等可以获取路标信息的算法。在一些实施例中，所述路标获取单元320可以是路标检测器。在一些实施例中，所述基于深度学习的检测算法可以直接输出路标矢量信息；所述语义分割算法一般是像素级的，可以输出属于某一路标的所有像素点坐标，然后通过形状拟合算法(例如，直线拟合算法，多边形拟合算法)对像素点群进行拟合，从而获取路标矢量信息。在一些实施例中，所述路标矢量信息是指路标形状的矢量表达，例如，电线杆的端点坐标，交通标志盘的角点或圆心坐标和半径等。在一些实施例中，所述路标获取单元320的输出结果中包含所述检测出的一个或多个路标矢量信息对应于路面路标或者非路面空间路标的label。

在一些实施例中，所述地图查询单元330用于确定局部语义地图。在一些实施例中，所述地图查询单元330可以是一个地图查询器，其中，地图查询器可以根据输入的查询点和查询范围以及查询数量，输出范围内的局部路标用于后续匹配。在一些实施例中，为了高效地实现地图查询，需要事先将矢量语义地图结构化，该过程可以在建图的时候进行，也可以在定位程序初始化的时刻进行，其核心思想是将地图里的路标坐标以欧式距离度量的方式聚类，可以使用但不限于KD-Tree,Kmeans等算法。结构化之后，所述地图查询单元330可以快速查询到指定坐标附近之内预设范围内指定数量的路标ID，作为待匹配的局部语义地图。其中，所述指定坐标可以是车辆当前定位的初始估计值，所述定位的初始估计值可以根据其他定位源确定，例如GPS、视觉SLAM、激光雷达SLAM等；在没有外部定位源时，所述指定坐标可以是根据上一时刻定位值和运动趋势，估计得到本时刻的定位初始估计值。

在一些实施例中，所述匹配单元340用于将所述路标矢量信息与局部语义地图的路标进行匹配，获取匹配路标。在一些实施例中，所述匹配单元根据不同的路标采用不同的匹配方法，例如，路标包括路面路标和非路面空间路标，其中，路面路标包括但不限于车道线、人行道等，非路面空间路标包括但不限于电线杆、交通标志等。在一些实施例中，针对所述非路面空间路标(即路标矢量信息对应为非路面空间路标时)，匹配单元通过透视变换，将所述非路面空间路标投影至图像平面上，从而与所述路标矢量信息进行匹配；针对所述路面路标(即路标矢量信息对应为路面路标时)，由于透视变换会产生较大的形变，造成误匹配，因此匹配单元利用俯视变换，将所述路标矢量信息投影到道路平面，从而与局部语义地图中的路标进行匹配。在一些实施例中，所述匹配单元基于公式1进行所述路标矢量信息和局部语义地图的路标进行匹配：

其中，d为度量距离，m为检测路标，M为地图路标，p表示透视变换，h表示俯视变换，f表示距离度量函数。在一些实施例中，由于路标本身存在不同的形状特征，如点，线，圆，多边形等，不同的形状对应的距离函数f的定义也不同，例如，针对点的距离度量函数可以是欧式距离；针对线的距离度量函数可以是一条线的两个端点到另一条线的平均欧式距离；针对多边形的距离度量函数可以是对应端点的平均欧氏距离。在一些实施例中，所述检测路标是指路标获取单元320从所述传感数据中获取的路标。

在一些实施例中，所述检测路标和地图路标基于度量距离，在满足下述条件时，视为匹配路标；

1)检测路标和地图路标具备相同的语义标签；

2)度量距离小于预设阈值；

3)度量距离在彼此未被匹配的候选路标中皆为最小。

在一些实施例中，定位单元350用于基于匹配路标优化定位结果，确定车辆位姿。在一些实施例中，所述定位单元350可以采用基于非线性优化的方法最小化观测误差函数，从而确定车辆位姿的最优解。在一些实施例中，所述非线性优化方法可以是最小二乘法。当基于最小二乘法最小化观测误差函数时可以根据公式2确定：

T^*＝arg min∑e(m_i,M_i) (2)

其中T^*为车辆定位结果T的最优解，e为与定位结果T相关的观测误差函数。

在一些实施例中，所述观测误差函数基于不同形状的路标采用不同的观测误差函数。其中观测误差函数可以采用公式3表示：

其中p_i为第i个匹配上的检测路标端点或角点，P_i为第i个匹配上的地图路标端点或角点，v_i为第i个匹配上的检测直线参数，n为路标角点数量。

在一些实施例中，所述非线性优化算法可以结合随机一致性算法同时使用用于对车辆定位结果进行优化。例如，所述随机一致性算法可以是RANSAC算法。在一些实施例中，当输入图像是多帧时，可以将所述多帧图像的匹配结果统一到最小化观测误差函数中，从而确定的最优解即为车辆位姿。

图4示出了全局路标语义地图的建图方法流程图。在一些实施例中，所述全局路标语义地图可以由专门的建图车辆进行建图，也可以由智能驾驶车辆进行建图。在此，假设全局路标语义地图的建图方法主体为建图设备。其中，所述建图设备可以位于智能驾驶车辆，也可以位于建图车辆。在一些实施例中，当所述建图设备位于智能驾驶车辆时，其在智能驾驶车辆行驶过程中，建图设备可根据获取的信息对已有的全局路标语义地图进行更新优化。如图4所示，全局路标语义地图的建图过程如下所述：

在步骤402中，建图设备获取建图区域传感数据及定位信息。其中所述传感数据是指通过安装于车辆的感知设备，例如，激光雷达，视觉传感器等，获取的激光点云数据或图像数据。所述定位信息是指通过GPS、视觉定位源、激光雷达定位源或其他定位源获取的定位信息。

在步骤404中，建图设备基于传感数据和定位数据，构建全局点云地图。在一些实施例中，建图设备通过将单帧传感数据与定位信息相关联，铺设至全局坐标系，从而构建全局点云地图。在一些实施例中，所述单帧传感数据包含感知设备获取的多个点云的空间坐标等信息。

在步骤406中，建图设备基于所述全局点云地图提取点云语义信息。其中建图设备可以通过人工标注的方式获取点云语义信息。建图设备还可以通过语义分割或聚类的方式获取全局点云地图中的点云语义信息。所述语义分割可以是基于深度学习算法的语义分割算法。在一些实施例中，建图设备可以基于点云语义信息基于全局点云地图中的每个点云添加语义标签，即所述全局点云地图中的每个点云都存在至少一个语义标签。所述语义标签可以是车道线、电线杆、建筑、车辆、行人、其他类型等。

在步骤408中，建图设备基于点云语义信息筛选出路标点云，并构建矢量语义地图。其中，所述路标点云包括但不限于车道线、人行道、电线杆、交通标志牌等。在一些实施例中，建图设备基于点云语义地图信息筛选出路标点云后，基于每个独立的路标点云群，建图设备通过包括但不限于形状拟合，直线拟合等方法确定所述路标点云群的形状特征矢量。例如，所述路标点云群为车道线时，其特征矢量可以使用直线的参数进行描述；所述路标点云群为电线杆时，其特征矢量可以使用两个端点的三维空间坐标表示；所述路标点云群为交通标志牌时，基于交通标志牌为矩形或圆形，其特征矢量可以使用四个角点三维坐标或圆心坐标以及其半径大小表示。在一些实施例中，建图设备基于筛选出的路标点云的形状特征矢量构建矢量语义地图。其中，所述的矢量语义地图将点云信息转化为矢量信息，从而大大缩小了地图的存储量。

在一些实施例中，建图设备可以将所述矢量语义地图进行结构化，用于实现高效的地图查询，其中所述结构化矢量语义地图是指将地图里的路标坐标以欧式距离度量的方式聚类。其中所述聚类可以采用KD-Tree、Kmeans等算法。在一些实施例中，所述结构化矢量地图可以在由建图设备在构建矢量语义地图后执行，也可以在车辆基于矢量语义地图进行定位时执行，例如在车辆进行初始化定位时执行结构化矢量语义地图。

图5示出了一种基于矢量语义地图进行车辆定位的方法流程图。其中，该方法的执行主体为车载设备。在一些实施例中，该方法的执行主体可以是如图2所示的定位模块或定位子模块。为了方便解释和描述，以下以车载设备为执行主体解释本公开实施例，但其并不影响本公开实施例的公开范围。

在步骤502中，所述车载设备获取传感信息。所述传感信息包括图像信息或点云数据。在一些实施例中，所述车载设备在获取传感信息后，对传感信息进行预处理。所述预处理包括但不限于图像灰度图变换，去畸变等。

在步骤504中，所述车载设备基于所述传感信息获取路标矢量信息。在一些实施例中，所述车载设备可以使用但不限于基于深度学习的检测算法、语义分割算法等可以获取路标信息的算法。其中，所述路标矢量信息是指采用矢量表达的路标，例如，电线杆的端点坐标，交通标志盘的角点或圆心坐标和半径等。所述路标矢量信息根据不同的路标具备不同的矢量表示形式。

在步骤506中，所述车载设备基于初始定位信息获取局部语义地图。在一些实施例中，所述初始定位信息是指车辆当前定位的估计值，所述初始定位信息可以根据其他定位源确定，例如GPS、视觉SLAM、激光雷达SLAM等；在没有外部定位源时，所述指定坐标可以是根据上一时刻定位值和运动趋势，估计得到本时刻的初始定位信息。在一些实施例中，所述车载设备可以基于初始定位信息查询指定范围内指定数量的路标ID，作为待匹配的局部语义地图。在一些实施例中，所述车载设备可以在获取初始定位信息时对所述矢量语义地图结构化，其中结构化后的矢量语义地图能够能加高效的确定局部语义地图。在一些实施例中，所述结构化矢量语义地图是指将地图里的路标坐标以欧氏距离度量的方式聚类。在一些实施例中，结构化语义地图的步骤还可以在建图时实现。

在步骤508中，所述车载设备基于所述局部语义地图匹配所述路标矢量信息，获取匹配路标。在一些实施例中，所述车载设备根据不同的路标采用不同的匹配方法。例如，路标包括路面路标和非路面空间路标。在一些实施例中，当所述路标矢量信息为路面路标时，车载设备将所述路标矢量信息投影至道路平面，从而与地图路标进行匹配，确定匹配路标。当所述路标矢量信息为非路面空间坐标时，车载设备将所述局部语义地图中的非路面空间路标投影至图像平面，从而与所述路标矢量信息进行匹配。在一些实施例中，所述车载设备可以基于确定所述路标矢量信息与所述局部语义地图中地图路标的度量距离，并基于度量距离确定匹配路标。在一些实施例中，当所述路标矢量信息和地图路标满足下述条件时，所述地图路标为匹配路标：

1)检测路标和地图路标具备相同的语义标签；

2)度量距离小于预设阈值；

3)度量距离在彼此未被匹配的候选路标中皆为最小。

在一些实施例中，所述车载设备可以基于距离度量函数确定所述路标矢量信息与所述局部语义地图中地图路标的度量距离。所述度量距离可以基于以下公式4确定：

其中，d为度量距离，m为检测路标，M为地图路标，p表示透视变换，h表示俯视变换，f表示距离度量函数。

在一些实施例中，距离度量函数针对不同形状的路标具有不同的定义。例如，针对点的距离度量函数可以是欧式距离；针对线的距离度量函数可以是一条线的两个端点到另一条线的平均欧式距离；针对多边形的距离度量函数可以是对应端点的平均欧氏距离。

在步骤510中，车载设备基于匹配路标确定车辆定位。在一些实施例中，车载设备可以通过最小化观测误差函数的方式确定车辆位姿的最优解。其中最小化观测误差函数可以根据下述公式5确定：

T^*＝arg min∑e(m_i，M_i) (5)

其中T^*为车辆定位结果T的最优解，e为与定位结果T相关的观测误差函数，m_i为图像中第i个匹配上的路标矢量信息，M_i为局部语义地图中第i个匹配上的路标矢量信息。

在一些实施例中，车载设备可以根据不同形状的路标采用不同的观测误差函数。例如，根据路标分别为点状路标、线状路标或多边形路标定义不同的观测误差函数。更为具体的，可以根据下述公式确定观测误差函数：

其中p_i为第i个匹配上的检测路标端点或角点，P_i为第i个匹配上的地图路标端点或角点，v_i为第i个匹配上的检测直线参数，n为路标角点数量。

在一些实施例中，所述车载设备可以基于非线性优化的方法最小化观测误差函数，从而确定车辆位姿的最优解。在一些实施例中，所述车载设备可以结合非线性优化和随机一致性算法对车辆定位结果进行优化。

在一些实施例中，当所述车载设备接收到多帧图像时，可以将多帧图像的匹配结果统一到最小化观测误差函数中，从而确定的最优解即为车辆位姿。

本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如构建路标矢量语义地图或基于路标矢量语义地图进行车辆定位的方法中各实施例的步骤，为避免重复描述，在此不再赘述。

图6是适于用来实现根据本申请实施方式的电子设备的结构示意图。

如图6所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行前述的实施方式中的各种处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行前述定位方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

附图中的流程图和框图，图示了按照本申请各种实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。

综上所述，本申请提出了一种定位方法、装置、电子设备及其计算机可读存储介质。本申请实施例基于路标级语义的定位框架，该框架中路标的检测使用深度学习算法，相较于传统方案具有更强的鲁棒性，在光照变化较大的场景下也可以保证定位效果，同时由于其稀疏性，地图的储存空间需求量小，实时定位消耗的计算资源较低，此外，该框架利用了传统方法没有利用的高级语义信息，对其是一个很好的补充。

应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (22)

1.一种定位方法，其特征在于，所述方法包括：

获取图像信息；

基于所述图像信息检测路标矢量信息，所述路标矢量信息为表征路标的矢量信息；

基于矢量语义地图确定局部矢量语义地图，其中所述矢量语义地图为包括路标语义特征的矢量地图；

基于所述路标矢量信息和局部矢量语义地图进行匹配；

基于匹配上的局部语义地图中的路标，确定定位结果；

基于匹配上的局部语义地图中的路标，确定定位结果，包括：

基于函数T^*＝argmin∑e确定定位结果T，其中T^*为车辆定位结果T的最优解，e为与定位结果T相关的观测误差函数；其中，基于不同形状的路标采用不同的观测误差函数，所述观测误差函数为：

其中，p_i为第i个匹配上的检测路标端点或角点，P_i为第i个匹配上的地图路标端点或角点，v_i为第i个匹配上的检测直线参数，n为路标角点数量。

2.根据权利要求1所述的定位方法，其特征在于，所述获取图像信息包括对图像信息进行预处理，所述预处理包括灰度图变换，去畸变。

3.根据权利要求1所述的定位方法，其特征在于，所述基于所述图像信息检测路标矢量信息包括：

基于语义分割算法获取路标的所有像素点；

基于形状拟合算法对像素点进行拟合，获取路标矢量信息。

4.根据权利要求1所述的定位方法，其特征在于，所述基于所述图像信息检测路标矢量信息包括：

基于深度学习检测算法获取路标矢量信息。

5.根据权利要求1所述的定位方法，其特征在于，所述矢量语义地图的构建过程包括：

基于感知点云数据和定位数据建立全局点云地图；

基于所述全局点云地图提取点云语义信息，获取点云语义地图；

基于点云语义地图筛选路标点云；

将筛选出的每个路标点云群进行形状拟合，确定每个路标的形状特征矢量；

基于路标的形状特征矢量建立矢量语义地图。

6.根据权利要求5所述的定位方法，其特征在于，所述基于全局点云地图提取点云语义信息，获取点云语义地图，包括：

采用以下任一方法获取语义信息：

人工标注；聚类；基于深度学习算法的语义分割；

其中，所述点云语义地图中每个点云都至少存在一个语义标签。

7.根据权利要求5所述的定位方法，其特征在于，所述路标包括路面路标和非路面空间路标。

8.根据权利要求7所述的定位方法，其特征在于，所述基于所述路标矢量信息和局部矢量语义地图进行匹配包括：

当路标矢量信息对应为路面路标时，将所述路标矢量信息俯视变换至道路平面进行匹配；

当路标矢量信息对应为非路面空间路标时，将局部语义地图中的非路面空间路标透视变换至图像平面进行匹配。

9.根据权利要求1所述的定位方法，其特征在于，进一步包括，路标匹配满足以下条件：

所述路标矢量信息与所述矢量语义地图中的路标具备相同的语义标签；

所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离小于预设阈值；

所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离在候选路标中最小。

10.根据权利要求1所述的定位方法，其特征在于，所述基于矢量语义地图确定局部矢量语义地图，包括：

基于外部定位源或运动趋势确定车辆的初始定位估计值；

基于初始定位估计值，确定预设范围内预设数量的路标矢量信息。

11.一种定位装置，其特征在于，包括：

信息获取单元，用于获取图像信息；

路标获取单元，用于基于所述图像信息检测路标矢量信息，所述路标矢量信息为表征路标的矢量信息；

地图查询单元，用于基于矢量语义地图确定局部矢量语义地图，其中所述矢量语义地图为包括路标语义特征的矢量地图；

匹配单元，用于基于所述路标矢量信息和局部矢量语义地图进行匹配；

定位单元，用于基于匹配上的局部语义地图中的路标，确定定位结果；

所述定位单元具体用于：

基于函数T^*＝argmin∑e确定定位结果T，其中T^*为车辆定位结果T的最优解，e为与定位结果T相关的观测误差函数；其中，基于不同形状的路标采用不同的观测误差函数，所述观测误差函数为：

其中，p_i为第i个匹配上的检测路标端点或角点，P_i为第i个匹配上的地图路标端点或角点，v_i为第i个匹配上的检测直线参数，n为路标角点数量。

12.根据权利要求11所述的定位装置，其特征在于，还包括预处理单元，用于对图像信息进行预处理，所述预处理包括灰度图变换，去畸变。

13.根据权利要求11所述的定位装置，其特征在于，所述路标获取单元具体用于：

基于语义分割算法获取路标的所有像素点；

基于形状拟合算法对像素点进行拟合，获取路标矢量信息。

14.根据权利要求11所述的定位装置，其特征在于，所述路标获取单元具体用于：基于深度学习检测算法获取路标矢量信息。

15.根据权利要求11所述的定位装置，其特征在于，所述矢量语义地图的构建过程包括：

基于感知点云数据和定位数据建立全局点云地图；

基于所述全局点云地图提取点云语义信息，获取点云语义地图；

基于点云语义地图筛选路标点云；

将筛选出的每个路标点云群进行形状拟合，确定每个路标的形状特征矢量；

基于路标的形状特征矢量建立矢量语义地图。

16.根据权利要求15所述的定位装置，其特征在于，所述基于全局点云地图提取点云语义信息，获取点云语义地图，包括：

采用以下任一方法获取语义信息：

人工标注；聚类；基于深度学习算法的语义分割；

其中，所述点云语义地图中每个点云都至少存在一个语义标签。

17.根据权利要求15所述的定位装置，其特征在于，所述路标包括路面路标和非路面空间路标。

18.根据权利要求17所述的定位装置，其特征在于，所述匹配单元具体用于：

当路标矢量信息对应为路面路标时，将所述路标矢量信息俯视变换至道路平面进行匹配；

当路标矢量信息对应为非路面空间路标时，将局部语义地图中的非路面空间路标透视变换至图像平面进行匹配。

19.根据权利要求11所述的定位装置，其特征在于，所述匹配单元进行路标匹配时遵循以下条件：

所述路标矢量信息与所述矢量语义地图中的路标具备相同的语义标签；

所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离小于预设阈值；

所述路标矢量信息与所述矢量语义地图中的路标之间的度量距离在候选路标中最小。

20.根据权利要求11所述的定位装置，其特征在于，所述地图查询单元具体用于：

基于外部定位源或运动趋势确定车辆的初始定位估计值；

基于初始定位估计值，确定预设范围内预设数量的路标矢量信息。

21.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-10中任一项所述的定位方法。

22.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-10中任一项所述的定位方法。

Images