CN117948969A - 用于车辆定位的方法、设备、***和计算机可读存储介质 - Google Patents

Abstract

本公开提供用于车辆定位的方法、设备、***和计算机可读存储介质。该方法包括：获得车辆所在场景的融合地图，其包括描述场景的点云底图和矢量地图；通过相机单元拍摄车辆在场景内的周围环境的至少一个图像帧并从至少一个图像帧中提取多个特征点；将多个特征点与点云底图中的点云数据进行匹配，以根据匹配的结果确定车辆在矢量地图内的位置；以及通过惯性测量单元测量车辆在场景内的相对位移，并根据相对位移更新车辆在矢量地图内的位置。该方法能够充分发挥IMU定位响应速度快、算力资源消耗小、运行效率高的优点，与此同时，还能够通过单位置点的视觉重定位进行定时定距纠偏，避免因定位误差累积导致的漂移，提供准确的定位结果。

Description

用于车辆定位的方法、设备、***和计算机可读存储介质

技术领域

本公开涉及车辆领域，更具体地，涉及用于车辆定位的方法、设备、***和计算机可读存储介质。

背景技术

车辆定位技术作为提升驾乘体验的关键技术之一，可以通过各种定位手段和多种传感器实现车辆的精确定位，从而向车辆的驾驶员或者向车辆内的驾驶辅助***或自动驾驶***提供重要的位置信息以便做出合适驾驶决策。目前最常见的车辆定位技术为全球定位***(GPS)技术，其能在室外环境下实现较高精度的定位，但在室内环境下常常面临信号易被衰减或遮挡、定位精度下降甚至失效等问题。

车辆定位技术在室内环境下的最主要应用是室内停车场内的车辆定位。然而，商场、小区和办公楼所提供的大型室内停车场往往存在地形路线复杂、线路不清晰等问题，若无法在停车场内对车辆进行准确定位，则会使驾驶员无法判断其在室内停车场内所处位置，进而影响其做出准确的驾驶决策。

因此，需要一种能够有效地进行车辆定位，尤其是在停车场等室内场景下准确地进行车辆定位的技术。

发明内容

根据本公开的一个方面，提供了一种用于车辆定位的方法，包括：获得车辆所在场景的融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图；通过相机单元拍摄所述车辆在所述场景内的周围环境的至少一个图像帧并从所述至少一个图像帧中提取多个特征点；将所述多个特征点与所述点云底图中的点云数据进行匹配，以根据所述匹配的结果确定所述车辆在所述矢量地图内的位置；以及通过惯性测量单元测量所述车辆在所述场景内的相对位移，并根据所述相对位移更新所述车辆在所述矢量地图内的位置。

根据本公开的另一方面，提供了一种用于车辆定位的设备，包括：无线通信单元，被配置为获得车辆所在场景的融合地图所述融合地图包括描述所述场景的点云底图和矢量地图；车载相机单元，被配置为拍摄所述车辆在所述场景内的周围环境的至少一个图像帧；特征提取单元，被配置为从所述至少一个图像帧中提取多个特征点；特征匹配单元，被配置为将所述多个特征点与所述点云底图中的点云数据进行匹配；惯性测量单元，被配置为测量所述车辆在所述场景内的相对位移；以及坐标计算单元，被配置为根据所述匹配的结果确定所述车辆在所述矢量地图内的位置，并且根据所述相对位移更新所述车辆的位置。

根据本公开的另一方面，提供了一种用于车辆定位的***，包括云端服务器和车端导航***。所述云端服务器包括：存储单元，被配置为存储至少一个场景的至少一个融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图。所述车端导航***包括：无线通信单元，被配置为获得车辆所在场景的融合地图；车载相机单元，被配置为拍摄所述车辆在所述场景内的周围环境的至少一个图像帧；特征提取单元，被配置为从所述至少一个图像帧中提取多个特征点；特征匹配单元，被配置为将所述多个特征点与所述点云底图中的点云数据进行匹配；惯性测量单元，被配置为测量所述车辆在所述场景内的相对位移；以及坐标计算单元，被配置为根据所述匹配的结果确定所述车辆在所述矢量地图内的位置，并且根据所述相对位移更新所述车辆的位置。

根据本公开的另一方面，提供了一种用于车辆定位的设备。该设备包括：其上存储有计算机指令的存储器以及处理器。所述指令在由所述处理器运行时使得所述处理器执行：获得车辆所在场景的融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图；通过相机单元拍摄所述车辆在所述场景内的周围环境的至少一个图像帧并从所述至少一个图像帧中提取多个特征点；将所述多个特征点与所述点云底图中的点云数据进行匹配，以根据所述匹配的结果确定所述车辆在所述矢量地图内的位置；以及通过惯性测量单元测量所述车辆在所述场景内的相对位移，并根据所述相对位移更新所述车辆在所述矢量地图内的位置。

根据本公开的又一方面，提供了一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器执行：获得车辆所在场景的融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图；通过相机单元拍摄所述车辆在所述场景内的周围环境的至少一个图像帧并从所述至少一个图像帧中提取多个特征点；将所述多个特征点与所述点云底图中的点云数据进行匹配，以根据所述匹配的结果确定所述车辆在所述矢量地图内的位置；以及通过惯性测量单元测量所述车辆在所述场景内的相对位移，并根据所述相对位移更新所述车辆在所述矢量地图内的位置。

根据本公开上述各个方面所提供的车辆定位技术，通过将基于特征点匹配的视觉重定位与基于航迹推算的IMU定位相融合，能够充分发挥IMU定位响应速度快、算力资源消耗小、运行效率高的优点，与此同时，还能够通过单位置点的视觉重定位进行定时定距纠偏，避免因定位误差累积导致的漂移，从而提供准确的车辆定位结果。

附图说明

从下面结合附图对本公开实施例的详细描述中，本公开的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本公开实施例的用于车辆定位的方法的流程图。

图2是根据本公开实施例的用于车辆定位的方法中拍摄的车辆在场景内的周围环境的一个图像帧的示意图。

图3示出了根据本公开实施例的用于车辆定位的方法中的视觉与IMU融合的概念示意图。

图4示出了根据本公开实施例的用于车辆定位的方法中构建融合地图的方法的示意图。

图5示出了根据本公开实施例的用于车辆定位的方法中构建融合地图的方法的流程图。

图6示出了根据本公开实施例的用于车辆定位的方法中所采用的环视相机单元的示意图。

图7示出了根据本公开实施例的用于车辆定位的方法中将图像帧中的特征点与点云底图中的点云数据进行匹配的方法的流程图。

图8示出了根据本公开实施例的用于车辆定位的设备的示意性硬件框图。

图9示出了根据本公开实施例的用于车辆定位的设备的示意性结构框图。

具体实施方式

为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。

首先对常见的几种车辆定位技术进行简单描述。如上所述，GPS定位技术在室内场景下会由于信号遮挡出现定位精度低的问题，无法适用于室内环境下的车辆准确定位。现有的一些车辆室内定位方法应用了惯性测量单元 (IMU)定位技术，其借助于航迹推算算法，根据车辆的已知位置以及IMU 测量的车辆加速度、角速度等，推算出车辆的下一位置。然而，IMU定位技术存在的问题是其定位误差会随着时间不断累积，导致出现定位漂移问题。

为了克服IMU定位技术存在的上述误差累积和定位漂移的问题，可以采用视觉定位技术作为替代。当前的用于车辆定位的视觉处理方案包括对在车辆处获取的周围环境的图像进行本地处理以获取经处理的图像，将经处理的图像在本地或在云端与地图进行匹配以确定该车辆的当前位置。例如，实时定位与建图(SLAM)技术可以被用于车辆定位领域中，其通过预先扫描室内环境的点云底图，然后将预先构建的点云底图与车辆拍摄的真实世界图像进行特征点匹配或点云数据匹配，从而实现室内定位功能。

然而，现有的例如基于SLAM的视觉定位技术方案可能存在一些问题。首先，现有的SLAM技术需要使用车载相机的全部视频数据制作点云底图，但其中很多数据(例如，相邻视频数据)为重复数据，其存储资源消耗大。不仅如此，SLAM技术需要借助于视觉特征提取、匹配与计算，其算力资源消耗也较大。第二，在车辆位于室内的情况下，照明条件可能不均匀，从而造成在车辆处拍摄的图像的明暗程度不稳定，如果对图像不加以筛选，基于亮度不足的图像进行的定位可能是不准确的。第三，与传统的车辆定位的室外环境相比，室内环境可能更为复杂，传统的单目SLAM定位技术等仅具有单一视角，无法覆盖室内环境的不同角度的特征。因此，基于SLAM的视觉定位技术也具有一定的局限性，无法满足车辆室内定位不断增长的需求。有鉴于此，本公开提出一种视觉与IMU融合的车辆定位技术。

接下来，对本公开中视觉与IMU融合的车辆定位技术的基本思想进行简要的概述。首先，考虑到停车场等室内场景的网络环境可能不佳，若将车辆所拍摄图像中的特征点或点云数据发送到云端进行匹配，可能需要花费较长的数据传输时间，因此本公开实施例中将室内场景的预制地图提供给车辆以进行车端定位。其次，为了克服IMU定位容易产生漂移且SLAM定位耗费算力资源等问题，本公开实施例中先进行SLAM定位以便确定车辆在室内场景内的绝对位置，然后切换到IMU定位以逐步推算出车辆在室内场景内的后续位置。通过采用本公开实施例中视觉与IMU融合的车辆定位技术，可以实现响应速度快、存储和算力资源消耗小、无累积定位误差等优点。以下结合附图和示例，详细介绍本公开提供的用于车辆定位的方法和设备。

首先，参照图1-图9来描述根据本公开实施例的用于车辆定位的方法。

图1示出了根据本公开实施例的用于车辆定位的方法的流程图。可以理解，虽然本公开实施例中以室内停车场作为需要进行车辆定位的场景进行的描述，但上述应用场景仅是示意性举例，本公开不以此为限。例如，本公开实施例所提出的用于车辆定位的方法可以用于大型仓储物流中心等室内定位场景，当然也可以用于车辆在室外场景中的准确定位。

如图1所示，在步骤S101，可以获得车辆所在场景的融合地图，该融合地图包括描述该场景的点云底图和矢量地图。根据本公开的实施例，车辆所在场景可以是诸如停车场等室内场景。在该实施例中，融合地图可以涵盖车辆所在的场景的详细信息，包括描述该停车场的点云底图和矢量地图。以车辆位于停车场的情况为例，其中：点云底图中包括在停车场内的道路和路口处对停车场内存在的各个物体(诸如，立柱、标识牌等)测量的点云数据，其适用于与车辆实际拍摄到的图像进行匹配从而进行视觉重定位；而矢量地图包括描述该停车场内的道路和路口的几何特性的矢量图形元素(例如，点、线、矩形、多边形、圆和弧线等等)，其适用于呈现在车载显示器上以供驾驶员实时观察了解其所处位置。需说明的是，融合地图所包含的点云底图和矢量地图是彼此相关联的，也即，停车场内的每个位置(例如，道路或路口) 都可以通过特定的矢量图形元素进行表示，且从该位置处能观察或测量到的点云图案也是该位置所独有的，二者具有唯一的映射关系。关于融合地图的具体构建过程将在下文中详细描述。

如上所述，考虑到停车场等室内场景的网络环境可能不佳，在该步骤S101 中，优选的，可以在车辆进入到该场景之前获得其融合地图。在此情况下，与云端定位方式中需要将点云数据或特征点数据发送到云端相比，可以避免因网络传输条件影响导致上传数据缓慢或获得匹配结果缓慢的缺点，从而能够通过在车端进行匹配和定位的方式满足车辆定位的即时性需求。

在步骤S102中，可以通过相机单元拍摄该车辆在该场景内的周围环境的至少一个图像帧并从该至少一个图像帧中提取多个特征点。这里，车辆的周围环境的图像帧可以是指以车辆为拍摄点获取的当前位于车辆周围的环境图像。作为非限制性实例，在车辆当前位于室内停车场的情况下，车辆的周围环境的图像数据可以是室内停车场的包括汽车、道路、路口、立柱、标识牌等等的图像。这里，特征点可以是指能够表征周围环境中的物体，从而能够通过特征点匹配实现车辆的定位。

在本公开的实施例中，对图像帧进行视觉处理从而提取特征点可以借助于SLAM建模来实现。应理解的是，本公开中的处理不限于SLAM建模，而是可以包括能够提取特征点以进行特征点匹配的任何图像处理方法。

图2是根据本公开实施例的用于车辆定位的方法中拍摄的车辆在场景内的周围环境的一个图像帧的示意图。如图2的虚线框中所示，所拍摄的图像中包括了室内停车场内的立柱(例如，结构柱或承重柱)和标志牌(例如，方向指示牌)，这些物体是有助于进行视觉特征点匹配的代表性物体。在该步骤S102中，可以通过各种图像处理算法从图像帧中进行特征点提取。作为示意性举例，可以使用尺度不变特征变换(SIFT)、快速鲁棒特征(SURF)、梯度位置方向直方图(GLOH)等算法来提取上述代表性物体的角点和边缘等特征。作为非限制性示例，对于图2中所示的方向指示牌，可以提取其角点 P11、P12、P13、P14作为特征点，从而用于特征点匹配。关于如上所描述的特征提取算法的具体实现，在此不予赘述。

在步骤S103中，可以将该多个特征点与该点云底图中的点云数据进行匹配，以根据匹配的结果确定该车辆在该矢量地图内的位置。可以理解，由于点云底图包括了预先针对该场景内的各个物体测量得到的整个场景的点云数据，因此将实际拍摄到的图像帧中所提取的特征点与其进行匹配，即可根据提取到的特征点与点云数据间的相似性确定拍摄地点在场景内的具***置。也即，可以根据提取出的特征点与点云数据之间的匹配程度以及点云底图与矢量地图之间的映射关系，根据视觉定位算法确定车辆在矢量地图内的位置。需说明的是，因为该场景内的物体是静止不动的，因此与IMU定位的位置推算算法相比，基于视觉定位算法所确定的位置可以被视为一种绝对位置。

在步骤S104中，通过惯性测量单元测量该车辆在该场景内的相对位移，并根据该相对位移更新该车辆在该矢量地图内的位置。在该步骤S104中，可以在步骤S103中成功进行视觉重定位的基础上，开始切换到IMU定位。在本公开实施例中，在视觉重定位得到的绝对位置基础上，可以使用惯性测量单元测量车辆的相对位移，并根据所估计的相对位移来推算车辆在矢量地图内的最新位置，从而不断地根据惯性测量单元测量得到的数据进行更新。可以理解，本公开实施例中通过惯性测量单元所测得的偏移可以是二维空间中的偏移，当然也可以包括垂直高度方向上的偏移，本公开不以此为限。

图3示出了根据本公开实施例的用于车辆定位的方法中的视觉与IMU融合的概念示意图。如图3所示，车辆在停车场内从A点行驶到B点的路线中需要不断地对其进行定位，从而有助于驾驶员时刻了解其所在位置以便进行车辆操纵。从图3中可见，从A点到B点的路线中描绘了多个黑色实心圆圈，其中在每个黑色实心圆圈处，均可以通过车辆的相机单元拍摄周围环境的图像帧，从中提取多个特征点并将之与点云底图中的点云数据进行匹配，从而通过视觉重定位技术来确定车辆在矢量地图内的位置(上述过程也可称为单点视觉重定位)。此后，也即在两个黑色实心圆圈之间，车辆切换到IMU定位，以便持续地多次频繁地基于IMU测得的相对位移来更新车辆的位置，直到下一个黑色实心圆圈处再次进行基于特征点匹配的视觉定位。在本公开实施例中，根据特征点的匹配的结果确定车辆的位置可以以第一频率运行，而根据惯性测量单元测量的相对位移更新该车辆的位置可以以第二频率运行，并且该第一频率低于该第二频率。简言之，在本公开实施例中，IMU定位的运行频率要高于视觉重定位的运行频率，实现了以基于航迹推算的IMU定位为主，基于特征点匹配的视觉重定位的定时定距修正的融合定位模式。

可以理解，上述第一频率和第二频率可以根据车载导航***的计算能力、定位的准确度和响应速度、车辆所在场景的面积大小和其中存在的物体杂乱程度等来确定，本公开不对其进行限制，只要视觉与IMU融合定位方式中是以IMU定位为主且视觉重定位辅助纠偏即可。当然可以理解，两次视觉重定位之间的时间或距离也可以根据上述需求来确定，本公开不对其限制。

根据本公开的视觉与IMU融合的车辆定位技术，其提出了以基于航迹推算的IMU定位为主，基于特征点匹配的视觉重定位作为单点定时定距修正的融合定位方式，能够充分发挥IMU定位响应速度快、数据使用量小、算力资源消耗小、运行效率高的优点，在两个单点视觉重定位之间的短距离内替代纯视觉重定位，避免了车辆行驶过程中沿途的所有位置点都进行视觉重定位而过分消耗算力资源的缺点。与此同时，通过单位置点的视觉重定位，能够定时定距纠偏，避免了仅使用IMU定位情况下距离起始点距离越长位置漂移越大的缺陷，从而提供准确的室内定位结果以满足室内导航需求。

如前所述，现有的基于特征点匹配的视觉重定位的方案中需要使用相机的全部视频数据制作点云底图，但其中很多数据(例如，相邻视频数据)为重复数据，其存储资源消耗大。举例来说，30fps的相机产生的点云数据在 200MB/km，这无论是将地图数据下载到车端导航***、还是在车端导航***内加载地图数据以进行导航时都会导致过长的下载或加载运行时间，导致用户体验不佳。在本公开实施例中，为增加地图的交互效率、增加下载速度、优化室内场景预制地图，优选的，融合地图大小应小于例如20MB。下面将结合图4和图5具体描述根据本公开实施例中以道路和交叉路口为单位，构建适于在室内导航中使用的低数据量的融合地图的方法。

图4示出了根据本公开实施例的用于车辆定位的方法中构建融合地图的方法的示意图。如图4所示，其示出了与图3类似的室内停车场环境内的地形图，其包括交叉路口(node)以及无交叉路口包含于其中的独立道路(link)。如上所述，融合地图中的点云底图包括描述在该场景内的道路和路口处对该场景内的物体测量的点云数据，并且融合地图中的矢量地图包括描述该场景内的道路和路口的几何特性的矢量图形元素。在本公开实施例中，可以对该场景内的每个道路和每个路口分别建立对应的点云数据子集，以产生整个场景的点云底图的点云数据。此后，可以将由各个点云数据子集所构成的点云数据与矢量地图中的各个矢量图形元素进行映射以构建该融合地图。

图5示出了根据本公开实施例的用于车辆定位的方法中构建融合地图的方法的流程图。如图5所示，对该场景内的每个道路和每个路口分别建立对应的点云数据子集可以开始于：获得该场景内的每个道路和每个路口的稠密点云数据子集，并确定各个稠密点云数据子集的第一数据总量是否超过预定阈值(例如，20MB)。可以理解，该预定阈值可以通过室内场景的面积大小、场景内物体和布局的复杂度、车端导航单元的计算能力等来确定，本公开实施例并不限于上述具体数值。当第一数据总量不超过预定阈值时，即可将各个稠密点云数据子集直接作为点云数据。然而，当第一数据总量超过预定阈值时，可以将各个稠密点云数据子集均转化为稀疏点云数据子集以产生点云数据。此后，可以进一步判断稀疏化的点云数据子集是否满足大小要求。

继续参照图5，可以确定各个稀疏点云数据子集的第二数据总量是否超过该预定阈值(例如，20MB)。当第二数据总量不超过该预定阈值时，即可将各个稀疏点云数据子集直接作为该点云数据。然而，当第二数据总量超过该预定阈值时，则按照预定间隔对每个道路的稀疏点云数据子集进行手动抽样，并将每个路口的稀疏点云数据子集以及每个道路的手动抽样后的稀疏点云数据子集作为点云数据。换言之，如果转化为稀疏点云数据子集后依旧不能满足上述的预定阈值要求，则手动打标，即：对于每条道路每间隔预定间隔地面距离(例如，0.5米)记录一次点云数据，同时对于每个交叉路口均记录该处点云数据，从而将手动打标后得到的点云数据子集构成点云数据。此后，将彼此关联的点云底图和矢量地图存储于云端服务器以供车辆下载使用。

另一方面，如上所述，室内场景下拍摄得到的图像质量可能不高或者单目视觉重定位仅具有单一视角，因此视觉定位技术存在一定的局限性。有鉴于此，本公开实施例中还提出一种基于从不同角度拍摄的多路图像帧中选择优选帧进行特征点匹配的改进的视觉定位方式。具体地，本公开实施例中的相机单元包括环绕车辆布置的多个相机。相应的，通过相机单元拍摄的至少一个图像帧可以是彼此间具有不同视角的多路图像帧。

图6示出了根据本公开的实施例的用于车辆定位的方法中所采用的安装有多个相机的车辆的示意图。在图6所示的实例中，车辆的前侧部分、右侧部分、后侧部分、左侧部分分别安装有作为前视摄像头的相机A、作为右摄像头的相机B、作为后视摄像头的相机C和作为左摄像头的相机D，这些相机可以被配置为分别拍摄周围环境的位于车辆前方、右侧、后方、左侧的部分。优选地，相机A、B、C和D可以一起构成环视相机单元，从而提供车辆周围360度的全视场视角的环境图像。此外，图6中还示出了惯性测量单元IMU，其可以提供惯性测量信息，使得车端导航可以使用视觉信息连同惯性测量信息进行融合定位，如以上所描述的。

应理解的是，图6中示出的相机A至D为车载相机，但本公开不限于此。附加地或替代性地，用于车辆的定位的相机也可以是能够拍摄图像并将拍摄到的图像传送给车辆的其他装置，作为非限制性示例，这样的装置可以是车辆200的乘员(诸如，驾驶员等)携带的移动装置(诸如，手机等)。

相应的，在本公开的实施例中，为了进行车端特征匹配，可以无需将多路图像帧的所有图像帧的特征点均与预制融合地图中的点云数据进行匹配，而是筛选出多路图像帧中的优选的图像帧，而仅对优选图像帧进行特征匹配。如此一来，能够在使用环视相机获得全视场视角的同时，通过按照置信度进行图像帧的筛选过滤，避免过多的数据量参与到特征匹配运算中以耗费算力资源，在保证低数据量的同时实现准确的重定位。

作为置信度过滤机制下的特征点匹配的示意性举例，在本公开实施例中，可以通过相机单元的多个相机以不同角度拍摄车辆的周围环境的多路图像帧。然后，可以从多路图像帧中的每路图像帧中提取特征点，并计算每路图像帧中提取的特征点的置信度。此后，可以根据每路图像帧的置信度从多路图像帧中选择优选帧。例如，可以从多路图像帧中按照顺序选择首个置信度高于阈值(作为非限制性示例，阈值为70％)的帧或选择置信度最高的帧作为优选帧。作为非限制性示例，对于N路图像帧在某一时刻的N个图像帧，可以计算该N个图像帧的置信度，并且选择其中置信度最高的一个图像帧作为N 路图像帧在该时刻的优选帧。在本公开中，置信度可以是表征该图像帧质量的值，例如，图像帧中提取出的特征点越多，则该图像帧的置信度越高。

最后，可以将所选择的优选帧中的多个特征点与点云底图中的点云数据进行匹配从而根据匹配结果确定车辆在矢量地图内的位置，完成视觉重定位。以这样的方式，可以将相对高质量的图像帧的特征点用于车端视觉重定位中的特征点匹配，从而提高特征点匹配的准确度；并且，对于N路图像帧，可以仅将一路图像帧的数据量用于特征点建模和匹配运算，从而在保证全视角视觉重定位的基础上并没有显著增加其匹配过程中的运算数据量及算力资源，其数据量与车载的单相机进行单目视觉定位情况下基本保持一致。

再一方面，室内场景可能相对面积较大，因此如果在进行特征匹配时在整个点云底图的范围内进行查找匹配，会显著降低定位的响应速度且会消耗较多的算力资源。有鉴于此，本公开还提出首先在局部邻近范围内进行点云特征匹配、如果失败则转换到全局范围进行匹配的视觉重定位方式。以下将结合图7描述本公开实施例的局部加全局的特征点匹配方式。

图7示出了根据本公开实施例的用于车辆定位的方法中将图像帧中的特征点与点云底图中的点云数据进行匹配的方法的流程图。如图7所示，首先通过相机单元拍摄车辆在场景内的周围环境的至少一个图像帧。例如，在车辆配备单个车载相机时，可以从该相机所拍摄的图像帧中提取特征并与点云底图中的点云数据进行匹配。在车辆配备多个相机以构成环视相机***时，在不考虑计算数据量和算力资源消耗的情况下，可以将其拍摄的多路图像帧均与点云数据进行匹配。在此情况下，优选的，可以将如上所描述的满足置信度阈值的一路图像帧中的多个特征点与点云底图中的点云数据进行匹配。

此后，可以将所确定的图像帧中所提取的特征点与车辆的当前位置对应的部分点云数据进行匹配。在本公开实施例中，该部分点云数据包括在车辆的当前位置的预定范围内的道路和路口的点云数据子集。相应的，如果所提取的特征点在点云数据中存在匹配，则视觉重定位成功，从而根据点云底图与矢量地图的映射关系确定车辆在矢量地图内的绝对位置。可以理解，上述预定范围可以根据室内环境所占据的面积大小、车载导航***的计算能力、定位的准确度和响应速度要求等确定，本公开不限制其具体数值。

然而，若所提取的特征点在部分点云数据中不存在匹配，则需扩大匹配的范围在整个点云底图中寻找匹配。具体地，可以将这些特征点与点云底图中的全部点云数据进行匹配。与在部分点云数据中进行匹配相类似的，如果所提取的特征点在全部点云数据中存在匹配，则视觉重定位成功，从而根据点云底图与矢量地图的映射关系确定车辆在矢量地图内的绝对位置。当然，如果在全部点云数据中仍不存在匹配，则可判定视觉重定位失败。此后，可以在间隔预定距离后再次拍摄车辆周围环境的图像帧并重复上述过程，直至视觉重定位成功。根据本公开实施例，通过将点云底图按照道路和路口单位进行分割并且相应的创建与道路和路口对应的点云数据子集，在进行特征点匹配时，可以有效地较少视觉匹配过程中回环查找的数据量，增加查找效率。

可以理解，当视觉重定位成功、亦即成功确定车辆在矢量地图内的绝对位置后，可以切换到高运行频率的IMU定位方式，从而减少定位过程中使用的数据量、有效节约算力资源并且提升定位的响应速度和运行效率。当然，在间隔预定时间或者间隔预定距离后，可以再次进行一次视觉重定位，从而定时或定距地校正因IMU定位引起的误差累积和定位漂移，并且往复进行低频的视觉重定位和高频的IMU定位，如以上结合图3所描述的。

返回图1，如上所述，需要对车辆进行定位的场景可以包括室内停车场。相应的，根据本公开实施例的用于车辆定位的方法还可以包括：将矢量地图以及车辆在矢量地图内的位置呈现给车辆的驾驶员，从而有助于驾驶员及时了解其在场景中所处的位置以便于做出合适的导航决策。例如，在通过视觉定位确定车辆在矢量地图内的绝对位置并且通过IMU定位实时更新车辆在矢量地图内的最新位置的情况下，可以基于实时位置坐标来渲染要在车辆的显示器上显示的矢量地图，从而将定位结果呈现给驾驶员以便于人机交互。

以上已经结合附图对根据本公开实施例的用于车辆定位的方法进行了描述，该方法能够克服IMU定位技术容易产生漂移且SLAM定位技术耗费算力资源等问题。根据本公开的实施例的视觉与IMU融合的车辆定位技术，能够充分发挥IMU定位响应速度快、算力资源消耗小、运行效率高的优点，与此同时，还能够通过单位置点的视觉重定位进行定时定距纠偏，避免因定位误差累积导致的漂移，提供准确的定位结果。

根据本公开的另一方面，提供一种用于车辆定位的设备，以下结合图8 详细描述用于车辆定位的设备200。

图8示出了根据本公开实施例的用于车辆定位的设备的结构框图。如图 8所示，该设备200包括无线通信单元U201、车载相机单元U202、特征提取单元U203、特征匹配单元U204、惯性测量单元U205、坐标计算单元U206。所述各个部件可分别执行上文中结合图1-图7描述的车辆定位方法的各个步骤/功能，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的详细描述。

无线通信单元U201可以获得车辆所在场景的融合地图，该融合地图包括描述该场景的点云底图和矢量地图。根据本公开的实施例，车辆所在场景可以是诸如停车场等室内场景。在该实施例中，融合地图中可以包括描述该停车场的点云底图和矢量地图，其中：点云底图中包括在停车场内的道路和路口处对停车场内存在的各个物体(诸如，立柱、标识牌等)测量的点云数据；而矢量地图包括描述该停车场内的道路和路口的几何特性的矢量图形元素(例如，点、线、矩形、多边形、圆和弧线等等)。需说明的是，融合地图所包含的点云底图和矢量地图是彼此相关联的。优选的，无线通信单元U201 可以在车辆进入到该场景之前获得其融合地图。在此情况下，可以避免因网络传输条件影响导致上传数据缓慢或获得匹配结果缓慢的问题，从而能够通过在车端进行匹配和定位的方式满足定位的即时性需求。在本公开实施例中，可以通过WiFi、蜂窝、蓝牙等技术来获得上述融合地图，本公开不以此为限。

车载相机单元U202可以拍摄该车辆在该场景内的周围环境的至少一个图像帧。仍以室内停车场为例，车载相机单元U202所拍摄的图像中包括了室内停车场内的立柱(例如，结构柱或承重柱)和标志牌(例如，方向指示牌)，这些物体是有助于进行视觉特征点匹配的代表性物体。

特征提取单元U203可以从该至少一个图像帧中提取多个特征点。在本公开实施例中，特征提取单元U203可以通过各种图像处理算法从图像帧中进行特征点提取，诸如尺度不变特征变换(SIFT)、快速鲁棒特征(SURF)、梯度位置方向直方图(GLOH)等算法，提取上述代表性物体的角点和边缘等特征。关于如上所描述的特征提取算法的具体实现，在此不予赘述。

特征匹配单元U204可以将该多个特征点与该点云底图中的点云数据进行匹配。在本公开实施例中，由于点云底图包括了预先针对该场景内的各个物体测量得到的整个场景的点云数据，因此将实际拍摄到的图像帧中所提取的特征点与其进行匹配，上述匹配过程可以根据提取到的特征点与点云数据间的相似性确定，具体过程不予赘述。

惯性测量单元U205可以测量该车辆在该场景内的相对位移。在本公开实施例中，惯性测量单元U205可以包括加速度计、陀螺仪等，用于测量车辆在该场景中的加速度和角速度等，从而用于估计车辆在场景内的相对位移，以进行位置估算。

坐标计算单元U206可以根据该匹配的结果确定该车辆在该矢量地图内的位置，并且根据该相对位移更新该车辆的位置。如上该，因为该场景内的物体是静止不动的，因此与IMU定位的位置推算算法相比，基于视觉定位算法所确定的位置可以被视为一种绝对位置。因此，在特征匹配单元U204提供的匹配的结果基础上可以成功进行视觉重定位以确定车辆在场景内的绝对位置，此后可以切换到IMU定位，从而根据惯性测量单元U205提供的相对位移不断地更新车辆在场景内的位置。在本公开实施例中，坐标计算单元 U206可以在视觉重定位得到的绝对位置基础上，使用惯性测量单元测量车辆的相对位移，并根据所估计的相对位移来推算车辆在矢量地图内的最新位置，从而不断地根据惯性测量单元测量得到的数据进行更新。

可选的，该设备200还可以包括显示器(未示出)，用于将矢量地图以及车辆在矢量地图内的位置呈现给车辆的驾驶员，从而有助于驾驶员及时了解其在场景中所处的位置以便于做出合适的导航决策。

根据本公开的再一方面，提供一种用于车辆定位的设备，以下结合图9 详细描述用于车辆定位的设备300。

图9示出了根据本公开实施例的用于车辆定位的设备的硬件框图。如图 9所示，该设备300包括处理器U301和存储器U302。

处理器U301可以是能够实现本公开各实施例的功能的任何具有处理能力的设备，例如其可以是设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。

存储器U302可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器，也可以包括其它可移动/不可移动的、易失性/非易失性计算机***存储器，例如硬盘驱动器、软盘、CD-ROM、 DVD-ROM或者其它光存储介质。

在本实施例中，存储器U302中存储有计算机程序指令，并且处理器U301 可以运行存储器U302中存储的指令。在所述计算机程序指令被所述处理器运行时，使得所述处理器执行本公开实施例的用于车辆定位的方法。关于用于车辆定位的方法与上文中针对图1-图7描述的基本相同，因此为了避免重复，不再赘述。

以上已经结合附图对根据本公开实施例的用于车辆定位的设备进行了描述，该设备能够克服IMU定位技术容易产生漂移且SLAM定位技术耗费算力资源等问题。根据本公开的实施例的视觉与IMU融合的车辆定位技术，能够充分发挥IMU定位响应速度快、算力资源消耗小、运行效率高的优点，与此同时，还能够通过单位置点的视觉重定位进行定时定距纠偏，避免因定位误差累积导致的漂移，提供准确的定位结果。

根据本公开的又一方面，提供一种用于车辆定位的***。该***可以包括如上参考图8和图9描述的用于车辆定位的设备(也可称之为车端导航***)以及云端服务器。关于用于车辆定位的设备的细节可以参考图8和图9，在此不予赘述。云端服务器可以包括存储单元，其被配置为存储至少一个场景的融合地图。例如，该云端服务器可以维护多个室内停车场的多个融合地图。相应的，可以响应于车端导航***的请求将特定场景的融合地图下发到车辆，以进行车辆的室内导航使用。

根据本公开的用于车辆定位的方法/设备还可以通过提供包含实现所述方法或者设备的程序代码的计算机程序产品来实现，或者通过存储有这样的计算机程序产品的任意存储介质来实现。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开的实施例中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开的实施例中涉及的器件、设备、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、设备、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何部分，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现。所述硬件可以是利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器 (DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP 和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。所述软件可以存在于任何形式的计算机可读的有形存储介质中。通过例子而不是限制，这样的计算机可读的有形存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他有形介质。如在此使用的，盘包括紧凑盘 (CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种用于车辆定位的方法，包括：

获得车辆所在场景的融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图；

通过相机单元拍摄所述车辆在所述场景内的周围环境的至少一个图像帧并从所述至少一个图像帧中提取多个特征点；

将所述多个特征点与所述点云底图中的点云数据进行匹配，以根据所述匹配的结果确定所述车辆在所述矢量地图内的位置；以及

通过惯性测量单元测量所述车辆在所述场景内的相对位移，并根据所述相对位移更新所述车辆在所述矢量地图内的位置。

2.根据权利要求1所述的方法，其中，根据所述匹配的结果确定所述车辆的位置以第一频率运行，并且根据所述相对位移更新所述车辆的位置以第二频率运行，其中，所述第一频率低于所述第二频率。

3.根据权利要求1所述的方法，其中，所述点云底图包括描述在所述场景内的道路和路口处对所述场景内的物体测量的点云数据，并且所述矢量地图包括描述所述场景内的道路和路口的几何特性的矢量图形元素，并且其中，

所述方法还包括通过以下方式预先构建所述融合地图：

对所述场景内的每个道路和每个路口分别建立对应的点云数据子集以产生所述点云数据；以及

将所述点云数据与所述矢量图形元素进行映射以构建所述融合地图。

4.根据权利要求3所述的方法，其中，对所述场景内的每个道路和每个路口分别建立对应的点云数据子集包括：

获得所述场景内的每个道路和每个路口的稠密点云数据子集，并确定各个稠密点云数据子集的第一数据总量是否超过预定阈值，

其中：当所述第一数据总量不超过所述预定阈值时，将各个稠密点云数据子集作为所述点云数据，以及

当所述第一数据总量超过所述预定阈值时，将各个稠密点云数据子集均转化为稀疏点云数据子集以产生所述点云数据。

5.根据权利要求4所述的方法，其中，将各个稠密点云数据子集均转化为稀疏点云数据子集以产生所述点云数据包括：

确定各个稀疏点云数据子集的第二数据总量是否超过所述预定阈值，

其中：当所述第二数据总量不超过所述预定阈值时，将各个稀疏点云数据子集作为所述点云数据，以及

当所述第二数据总量超过所述预定阈值时，按照预定间隔对每个道路的稀疏点云数据子集进行手动抽样，并将每个路口的稀疏点云数据子集以及每个道路的手动抽样后的稀疏点云数据子集作为所述点云数据。

6.根据权利要求3-5中任一项所述的方法，其中，所述相机单元包括环绕所述车辆布置的多个相机，并且其中，通过相机单元拍摄所述车辆在所述场景内的周围环境的至少一个图像帧并从所述至少一个图像帧中提取多个特征点包括：

通过所述多个相机以不同角度拍摄所述车辆的周围环境的多路图像帧；

从所述多路图像帧中的每路图像帧中提取特征点；

计算每路图像帧中提取的特征点的置信度；

根据每路图像帧的置信度从所述多路图像帧中选择优选帧；以及

将所述优选帧中的特征点作为所述多个特征点。

7.根据权利要求6所述的方法，其中，将所述多个特征点与所述点云底图中的点云数据进行匹配，以根据所述匹配的结果确定所述车辆在所述矢量地图内的位置包括：

将所述多个特征点与所述点云底图中与所述车辆的当前位置对应的部分点云数据进行匹配，其中，所述部分点云数据包括在所述车辆的当前位置的预定范围内的道路和路口的点云数据子集；

其中：当所述多个特征点与所述部分点云数据匹配成功时，根据所述匹配的结果以及所述点云底图与所述矢量地图之间的映射关系，确定所述车辆在所述矢量地图内的位置，

当所述多个特征点与所述部分点云数据匹配失败时，将所述多个特征点与所述点云底图中的全部点云数据进行匹配，并根据所述多个特征点与全部点云数据匹配的结果确定所述车辆在所述矢量地图内的位置。

8.根据权利要求1所述的方法，其中，所述场景包括室内停车场，

所述方法还包括：将所述矢量地图以及所述车辆在所述矢量地图内的位置呈现给所述车辆的驾驶员。

9.一种用于车辆定位的设备，包括：

无线通信单元，被配置为获得车辆所在场景的融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图；

车载相机单元，被配置为拍摄所述车辆在所述场景内的周围环境的至少一个图像帧；

特征提取单元，被配置为从所述至少一个图像帧中提取多个特征点；

特征匹配单元，被配置为将所述多个特征点与所述点云底图中的点云数据进行匹配；

惯性测量单元，被配置为测量所述车辆在所述场景内的相对位移；以及

坐标计算单元，被配置为根据所述匹配的结果确定所述车辆在所述矢量地图内的位置，并且根据所述相对位移更新所述车辆的位置。

10.一种用于车辆定位的***，包括：

根据权利要求9所述的用于车辆定位的设备；以及

云端服务器，

其中：

所述云端服务器包括存储单元，被配置为存储至少一个场景的至少一个融合地图，所述融合地图包括描述所述场景的点云底图和矢量地图。

11.一种用于车辆定位的设备，包括：

存储器，其上存储有计算机指令；和

处理器，

其中所述指令在由所述处理器运行时使得所述处理器执行根据权利要求1-8中的任一项所述的方法。

12.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器执行根据权利要求1-8中的任一项所述的方法。