CN117522969A - 一种联合地库定位方法、***、车辆、存储介质及设备 - Google Patents

Abstract

本申请公开了一种联合地库定位方法、***、车辆、存储介质及设备，属于数据处理技术领域。该方法主要包括：根据相机拍摄到的图片对应的全景拼接图获取车辆的初始位姿；在全景拼接图中提取地面标识的特征线段以及特征点的描述信息与像素信息；根据特征线段，将地面标识与3维地面标识地图进行匹配，获取第一误差信息；根据特征点对应的描述信息与像素信息，将特征点与3维地库特征点地图进行匹配，获取第二误差信息；根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。通过地库中特征标识与3维地图的匹配，以在3维地图中对地面标识与特征点的定位，提高定位的准确性。

Description

一种联合地库定位方法、***、车辆、存储介质及设备

技术领域

本申请涉及数据处理技术领域，特别涉及一种联合地库定位方法、***、车辆、存储介质及设备。

背景技术

空间中物体的重定位，是自动驾驶车辆与3维地图对应程度的重要体现，在自动驾驶车辆在行驶过程中，准确的定位信息能够使得自动驾驶车辆对环境的感知更加准确。例如，定位到正前方5米处存在立柱的定位信息，则自动驾驶车辆会判断到行驶到正前方4米处停止前进，若立柱实际定位在正前方3米处，即出现点位错误的情况，则自动驾驶车辆在行驶到正前方3米处就会撞墙，而无法前进到正前方4米处。

在现有技术中，一般采用GPS(全球定位***)的方式进行定位，但是当GPS应用于地库或高层时，往往会失效，因此GPS的定位方式存在一定的局限性；基于GPS的局限性，采取的另一用方式为在固定的物体贴上遮光条等具有强反射性物体，再通过该反射性物体对激光雷达或毫米波雷达的反射效果，以补足GPS的局限性问题。但是该方式需要同时装有GPS与雷达，而雷达的价格昂贵，成本高。

发明内容

针对现有技术存在的需要同时装有GPS与雷达，而雷达的价格昂贵，成本高的问题，本申请主要提供一种联合地库定位方法、***、车辆、存储介质及设备。

第一方面，本申请实施例提供一种联合地库定位方法，其包括：对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；对全景拼接图进行全局初始化，获取车辆实时的初始位姿；在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息；根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。本申请的技术方案基于纯视觉的方式，由于固定的物体，如地面标识、立柱等不随环境的变化而发生变化，鲁棒性非常强，因此通过地库中固定的特征物体及特征点对应的特征标识对3维地图的匹配，以在3维地图中对车辆进行定位，提高定位的准确性。

可选地，根据地面标识分别对应的特征线段，将地面标识信息与预建立的3维地面标识地图进行匹配，获取初始位姿3维地面标识地图中位姿信息之间的第一误差信息，包括：利用地面标识分别对应的特征线段，建立地面标识对应的2维特征图；对3维地面标识地图进行图像分割，获取每一帧的3维地面标识地图，其中每一帧的3维地面标识地图包含车辆在该时刻对应的位姿信息；以及将3维地面标识地图投影到2维特征图中，计算位姿信息与初始位姿的重合程度，获取第一误差信息。其中将局部地面标识地图分别投影当前特征2D地图中，与当前特征2D地图中地面标识进行匹配，提高后续匹配的准确率，避免由于3D地图中特征元素过多，造成混淆，使得出现匹配错误的情况。

可选地，根据所述特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息，包括：分别计算3维地库特征点地图中的描述信息与特征点对应的描述信息之间的相似度；以及将相似度大于或等于预设相似阈值的3维地库特征点地图中的描述信息对应的3维地库特征点地图中的特征点，作为3维地图点；计算获取3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息。

可选地，计算获取3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息，包括：将3维地图点投影到以车辆为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息。

可选地，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息，包括：对第一误差信息与第二误差信息分别进行判断，其中，若第一误差信息小于或等于第一误差阈值，且第二误差信息小于或等于第二误差阈值，则将初始位姿作为车辆的位姿信息；若第一误差信息大于第一误差阈值和/或第二误差信息大于第二误差阈值，则对初始位姿进行修正，将修正后的初始位姿作为车辆的位姿信息。

可选地，利用车辆装载的位置传感器***获取的IMU信息与轮速信息，计算获取车辆的轮速轨迹信息；根据多帧的图片获取车辆的视觉轨迹信息；对轮速轨迹信息与视觉轨迹信息进行融合，获取车辆的位姿信息。由于利用相机获取的图片对应的是视觉里程计，相对于IMU信息与轮速信息计算生成的轮速里程计而言，频率较低；若定位的时刻不是相机的拍摄时间，因此利用视觉里程计无法获得定位信息，而高频的轮速里程计存有对应时刻的定位信息，因此将视觉里程计与轮速里程计进行融合，获取定位时刻的视觉里程计对应的位姿信息，提高位姿信息的精度。

第二方面，本申请实施例提供一种联合地库定位***，其包括：图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；信息提取模块，在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；地面标识匹配模块，根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与3维地面标识地图中位姿信息之间的第一误差信息；特征点匹配模块，根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及定位模块，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

第三方面，本申请实施例提供一种车辆，其特征在于，车辆包括上述方案中的联合地库定位***，其中联合地库定位***包括：图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；信息提取模块，在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；地面标识匹配模块，根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与3维地面标识地图中位姿信息之间的第一误差信息；特征点匹配模块，根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及定位模块，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令***作以执行上述方案中的联合地库定位方法。

第五方面，本申请实施例提供一种计算机设备，其包括：至少一个处理器，处理器和存储器耦合，存储器存储有计算机指令，其特征在于，计算机指令以执行方案一中的联合地库定位方法。

第六方面，本申请实施例提供一种计算机程序产品，其包含计算机指令，该计算机指令***作以执行上述方案中的基于特征点的地库定位方法。

对于以上第二方面至第六方面对应方案的有益效果，参照前述第一方面中方案的有益效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一种联合地库定位方法的一个可选实施方式的示意图；

图2是本申请一种联合地库定位***的一个可选实施方式的示意图；

图3是本申请一种计算机设备的一个具体实施方式示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

空间中物体的重定位，是自动驾驶车辆与3维地图对应程度的重要体现，在自动驾驶车辆在行驶过程中，准确的定位信息能够使得自动驾驶车辆对环境的感知更加准确。例如，定位到正前方5米处存在立柱的定位信息，则自动驾驶车辆会判断到行驶到正前方4米处停止前进，若立柱实际定位在正前方3米处，即出现点位错误的情况，则自动驾驶车辆在行驶到正前方3米处就会撞墙，而无法前进到正前方4米处。

在现有技术中，一般采用GPS的方式进行定位，但是当GPS应用于地库或高层时，往往会失效，因此GPS的定位方式存在一定的局限性；基于GPS的局限性，采取的另一用方式为在固定的物体贴上遮光条等具有强反射性物体，再通过该反射性物体对激光雷达或毫米波雷达的反射效果，以补足GPS的局限性问题。但是该方式需要同时装有GPS与雷达，而雷达的价格昂贵，成本高。

针对现有技术存在的问题，本申请主要提供一种联合地库定位方法、***、车辆、存储介质及设备。该方法主要包括：对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；对全景拼接图进行全局初始化，获取车辆实时的初始位姿；在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息；根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

本申请基于纯视觉的方式，由于固定的物体，如地面标识、立柱等不随环境的变化而发生变化，鲁棒性非常强，因此通过地库中固定的特征物体及特征点对应的特征标识对3维地图的匹配，以在3维地图中对车辆进行定位，提高定位的准确性。

下面，以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面述及的具体的实施例可以相互结合形成新的实施例。对于在一个实施例中描述过的相同或相似的思想或过程，可能在其他某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请一种联合地库定位方法的一个可选实施方式。

在图1所示的可选实施方式中，联合地库定位方法主要包括步骤S101，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围。

在该可选实施方式中，由于视觉的图片并不受环境、场景等外因的限制，GPS因受到高层的限制，使得在建立同一楼层的地图时，无法利用GPS获取精准的定位，因此采用利用视觉感知的相机建立该楼层的地图，以便进行定位；例如，在地下车库中对驶入车库的车辆进行实时定位时，在车辆周围安装相机，在进入车库时，各个相机实时拍摄图片；将图片进行编码，并在数据库中储存该图片对应的位姿信息，优选地相机可选用鱼眼相机。为后续的检索步骤提供基础；因此，在全局初始化的过程中，首先根据车辆周围装载的多个相机实时拍摄的图片，拼接获得全景拼接图。

在图1所示的可选实施方式中，联合地库定位方法还包括步骤S102，对全景拼接图进行全局初始化，获取车辆实时的初始位姿。

在该可选实施方式中，将全景拼接图输入预设的深度学习模型中，由模型输出描述该全景拼接图各个地面标识方位关系、大小形状等特性的描述信息；例如，全景拼接图的场景为地库的一个十字路口，道路上有减速带、车道线、左拐箭头、右拐箭头、斑马线、引导线等，道路两旁的车位线。根据该全景拼接图的描述信息获取车辆的初始位姿，为后续的重定位步骤提供基础。

在本申请的一个可选实例中，根据全景拼接图的描述信息在预建立的全局初始化模型中检索与之匹配的描述信息，将该描述信息所属类型的位姿信息作为车辆初始位姿；或将在预建立的全局初始化模型中检索获取的位姿信息作为先验位姿，对预建立的3维特征点地图与该全景拼接图中的特征点进行匹配，根据匹配成功的3维特征点地图中局部特征点地图对应的位姿信息，对先验位姿进行修正，获取自动驾驶车辆在当前帧的初始位姿；当相机为鱼眼相机或针孔相机时，在获取先验位姿后，将全景拼接图转换为柱面全景图，利用预建立的3维特征点地图与该柱面全景图中的特征点进行匹配，根据匹配成功的3维特征点地图中局部特征点地图对应的位姿信息，对先验位姿进行修正，获取车辆在的初始位姿。

在图1所示的可选实施方式中，联合地库定位方法还包括步骤S103，在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息。

在该可选实施方式中，将全景拼接图输入预设的深度学习模型中，由模型输出描述该全景拼接图中各个特征点的描述信息；例如，全景拼接图中的某一特征点所处环境为，道路旁灯牌的右上角的角点，则该特征点的描述信息则描述该角点的高度、方位、与其它特征点之间的关系等信息。并且提取该特征点所处全景拼接图中的像素位置对应的像素信息。同时，提取全景拼接图中地面标识对应的特征线段。其中，描述信息与像素信息的生成以及特征线段的提取为后续的匹配及修正提供必要的特征基础。

在图1所示的可选实施方式中，联合地库定位方法还包括步骤S104，根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息。

在该可选实施方式中，利用地面标识对应的特征线段建立具有特征线段的当前特征2维地图；将3维地面标识地图投影当前特征2维地图中，与当前特征2维地图中地面标识进行匹配，将匹配成功的3维地面标识地图中局部地面标识地图所对应车辆的位姿信息，计算初始位姿与位姿信息之间误差，将该误差作为第一误差信息，为后续利用第一误差信息修正初始位姿提供重要基础。

在本申请的一个可选实施例中，根据地面标识分别对应的特征线段，将地面标识信息与预建立的3维地面标识地图进行匹配，获取初始位姿3维地面标识地图中位姿信息之间的第一误差信息，包括：利用地面标识分别对应的特征线段，建立地面标识对应的2维特征图；对3维地面标识地图进行图像分割，获取每一帧的3维地面标识地图，其中每一帧的3维地面标识地图包含车辆在该时刻对应的位姿信息；以及将3维地面标识地图投影到2维特征图中，计算位姿信息与初始位姿的重合程度，获取第一误差信息。

在该可选实施例中，在利用3维地面标识地图匹配时，首先对该3维地面标识地图进行图像分割，将其他不必要的特征元素滤除，获取各个时刻下3维地面标识地图分别对应的局部地面标识地图。将局部地面标识地图分别投影当前特征2维地图中，与当前特征2维地图中地面标识进行匹配，提高后续匹配的准确率，避免由于3维地图中特征元素过多，造成混淆，使得出现匹配错误的情况。将匹配成功的局部地面标识地图所对应车辆的位姿信息与初始位姿进行对比，计算位姿信息与初始位姿的重合程度，获取第一误差信息，为后续利用第一误差信息修正初始位姿提供重要基础。

在本申请的一个可选实例中，在利用3维地面标识地图匹配时，首先对该3维地面标识地图进行图像分割，将其他不必要的特征元素滤除，获取各个时刻下3维地面标识地图分别对应的局部地面标识地图。将局部地面标识地图分别投影当前特征2维地图中，与当前特征2维地图中地面标识进行匹配，提高后续匹配的准确率，避免由于3维地图中特征元素过多，造成混淆，使得出现匹配错误的情况。将匹配成功的局部地面标识地图所对应车辆的位姿信息与初始位姿进行对比，计算位姿信息与初始位姿的重合程度，获取第一误差信息，为后续利用第一误差信息修正初始位姿提供重要基础。

在图1所示的可选实施方式中，联合地库定位方法还包括步骤S105，根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息。

在该可选实施方式中，将全景拼接图中特征点的描述信息与3维地库特征点地图中特征点的描述信息进行匹配，获取全景拼接图中特征点在3维地库特征点地图中对应的3维地图点；根据3维地图点在相机坐标系中的像素位置，确定该3维地图点的像素信息，计算该3维地图点的像素信息与该全景拼接图中特征点的像素信息之间的像素误差，作为第二误差信息，为后续利用第二误差信息确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。

在本申请的一个可选实施例中，根据所述特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息，包括：分别计算3维地库特征点地图中的描述信息与特征点对应的描述信息之间的相似度；以及将相似度大于或等于预设相似阈值的3维地库特征点地图中的描述信息对应的3维地库特征点地图中的特征点，作为3维地图点；计算获取3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息。

在该可选实施例中，分别对比3维地库特征点地图中的特征点与全景拼接图中的特征点分别对应描述信息的相似性，将与该全景拼接图中的特征点相似性大于或等于预设相似阈值的描述信息对应的3维地库特征点地图中的特征点确定为3维地图点。

在本申请的一个可选实例中，分别计算3维地库特征点地图中的描述信息与特征点对应的描述信息之间的相似度；将相似度大于或等于预设相似阈值的3维地库特征点地图中的描述信息对应的3维地库特征点地图中的特征点，作为3维地图点；将3维地图点投影到以车辆为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差。

在本申请的一个可选实施例中，计算获取3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息，包括：将3维地图点投影到以车辆为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差，获取第二误差信息。

在该可选实施例中，以车辆为中心建立相机坐标系，将该3维地图点投影到该相机坐标系中，获取3维地图点对应的像素信息；计算该全景拼接图中的特征点的像素信息与3维地图点的像素信息之间的像素误差，为后续利用像素误差确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。

在图1所示的可选实施方式中，联合地库定位方法还包括步骤S106，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

在该可选实施方式中，根据前述获取的第一误差信息与第二误差信息对初始位姿进行修正，获取准确的位姿信息，提高车辆定位的精度。

在本申请的一个可选实施例中，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息，包括：对第一误差信息与第二误差信息分别进行判断，其中，若第一误差信息小于或等于第一误差阈值，且第二误差信息小于或等于第二误差阈值，则将初始位姿作为车辆的位姿信息；若第一误差信息大于第一误差阈值和/或第二误差信息大于第二误差阈值，则对初始位姿进行修正，将修正后的初始位姿作为车辆的位姿信息。

在该可选实施例中，根据前述获取的第一误差信息与第二误差信息对初始位姿进行修正，获取准确的位姿信息，提高车辆定位的精度。其中，预先设置误差阈值，预设误差值即为允许的误差范围的上限阈值，当第一误差信息与第二误差信息均小于或等于预设误差阈值，则此时无需对初始位姿进行修正，将初始位姿直接作为车辆在当前帧的位姿信息；若第一误差信息和/或第二误差信息大于预设误差阈值，则对初始位姿进行修正，将修正后的初始位姿作为车辆的位姿信息。

在本申请的一个可选实施例中，基于特征点的地库定位方法还包括：利用车辆装载的位置传感器***获取的IMU信息与轮速信息，计算获取车辆的轮速轨迹信息；根据多帧的地库鱼眼图片获取车辆的视觉轨迹信息；对轮速轨迹信息与视觉轨迹信息进行融合，获取车辆的位姿信息。

在该可选实施例中，由于利用相机获取的图片对应的是视觉里程计，相对于IMU信息与轮速信息计算生成的轮速里程计而言，频率较低；若当前时刻不是鱼眼相机的拍摄时间，因此利用视觉里程计无法获得定位信息，而高频的轮速里程计存有对应时刻的定位信息，因此将视觉里程计与轮速里程计进行融合，获取当前时刻的视觉里程计对应的位姿信息，提高该位姿信息的精度。

在本申请的一个可选实例中，根据当前帧之前的历史帧下，利用鱼眼相机获取的地库鱼眼图片对应的是视觉里程计，与该历史帧的IMU信息与轮速信息计算生成的轮式里程计，计算两者之间的转换关系，利用该转换关系，将当前帧的轮式里程计对应时刻的位姿信息转换为当前帧的视觉里程计对应的位姿信息。

图2示出了本申请一种联合地库定位***的可选实施方式。

在图2所示的具体实施方式中，联合地库定位***主要包括：图片拼接模块201，多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块202，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；信息提取模块203，在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；地面标识匹配模块204，根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与3维地面标识地图中位姿信息之间的第一误差信息；特征点匹配模块205，根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及定位模块206，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

在本申请的一个可选实施例中，本申请一种联合地库定位***中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

本申请提供的联合地库定位***，可用于执行上述任一实施例描述的联合地库定位方法，其实现原理和技术效果类似，在此不再赘述。

本申请采用的可选实施方式中，一种车辆，其包括上述方案中的联合地库定位***，其中联合地库定位***包括：图片拼接模块，多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；信息提取模块，在全景拼接图中分别提取车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；地面标识匹配模块，根据地面标识分别对应的特征线段，将地面标识与预建立的3维地面标识地图进行匹配，获取初始位姿与3维地面标识地图中位姿信息之间的第一误差信息；特征点匹配模块，根据特征点对应的描述信息与像素信息，将特征点与预建立的预建立的3维地库特征点地图进行匹配，获取初始位姿与预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及定位模块，根据第一误差信息与第二误差信息对初始位姿进行优化，获取车辆的位姿信息。

本申请提供的车辆，可用于执行上述任一实施例描述的联合地库定位方法，其实现原理和技术效果类似，在此不再赘述。

在本申请的另一个可选实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令***作以执行上述实施例中描述的联合地库定位方法。

在本申请的一个可选实施方式中，如图3所示，一种计算机设备，其包括：至少一个处理器，处理器和存储器耦合，存储器存储有计算机指令，该计算机指令被处理器执行时实现上述任一方案中的联合地库定位方法。

在本申请的另一个具体实施方式中，一种计算机程序产品，其包含计算机指令，该计算机指令***作以执行上述任一方案中的基于特征点的联合地库定位方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种联合地库定位方法，其特征在于，包括：

对多个相机实时分别拍摄到的图片进行图像拼接，获取所述图片对应的全景拼接图，其中所述图片中的图像信息为同一楼层不同角度的环境信息，所述相机装载在车辆的周围；

对所述全景拼接图进行全局初始化，获取所述车辆实时的初始位姿；

在所述全景拼接图中分别提取所述车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；

根据所述地面标识分别对应的特征线段，将所述地面标识与预建立的3维地面标识地图进行匹配，获取所述初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息；

根据所述特征点对应的描述信息与像素信息，将所述特征点与预建立的预建立的3维地库特征点地图进行匹配，获取所述初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及

根据所述第一误差信息与所述第二误差信息对所述初始位姿进行优化，获取所述车辆的位姿信息。

2.根据权利要求1所述的联合地库定位方法，其特征在于，所述根据所述地面标识分别对应的特征线段，将所述地面标识信息与预建立的3维地面标识地图进行匹配，获取所述初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息，包括：

利用所述地面标识分别对应的特征线段，建立所述地面标识对应的2维特征图；

对所述3维地面标识地图进行图像分割，获取每一帧的所述3维地面标识地图，其中所述每一帧的所述3维地面标识地图包含所述车辆在该时刻对应的位姿信息；以及

将所述3维地面标识地图投影到所述2维特征图中，计算所述位姿信息与所述初始位姿的重合程度，获取所述第一误差信息。

3.根据权利要求1所述的联合地库定位方法，其特征在于，所述根据所述特征点对应的描述信息与像素信息，将所述特征点与预建立的预建立的3维地库特征点地图进行匹配，获取所述初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息，包括：

分别计算所述3维地库特征点地图中的描述信息与所述特征点对应的描述信息之间的相似度；以及

将所述相似度大于或等于预设相似阈值的所述3维地库特征点地图中的描述信息对应的所述3维地库特征点地图中的特征点，作为所述3维地图点；

计算获取所述3维地图点对应的像素信息与所述特征点的像素信息之间的像素误差，获取所述第二误差信息。

4.根据权利要求3所述的联合地库定位方法，其特征在于，所述计算获取所述3维地图点对应的像素信息与所述特征点的像素信息之间的像素误差，获取所述第二误差信息，包括：

将所述3维地图点投影到以所述车辆为中心建立的相机坐标系中，获取所述3维地图点对应的像素信息；以及

计算所述3维地图点对应的像素信息与所述特征点的像素信息之间的像素误差，获取所述第二误差信息。

5.根据权利要求1-4任一项所述的联合地库定位方法，其特征在于，所述根据所述第一误差信息与所述第二误差信息对所述初始位姿进行优化，获取所述车辆的位姿信息，包括：

对所述第一误差信息与所述第二误差信息分别进行判断，其中，

若所述第一误差信息小于或等于第一误差阈值，且所述第二误差信息小于或等于第二误差阈值，则将所述初始位姿作为所述车辆的位姿信息；

若所述第一误差信息大于所述第一误差阈值和/或所述第二误差信息大于所述第二误差阈值，则对所述初始位姿进行修正，将修正后的所述初始位姿作为所述车辆的位姿信息。

6.根据权利要求1所述的联合地库定位方法，其特征在于，还包括：

利用所述车辆装载的位置传感器***获取的IMU信息与轮速信息，计算获取所述车辆的轮速轨迹信息；

根据多帧的图片获取所述车辆的视觉轨迹信息；

对所述轮速轨迹信息与所述视觉轨迹信息进行融合，获取所述车辆的位姿信息。

7.一种联合地库定位***，其特征在于，包括：

图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取所述图片对应的全景拼接图，其中所述图片中的图像信息为同一楼层不同角度的环境信息，所述相机装载在车辆的周围；

初始化模块，对所述全景拼接图进行全局初始化，获取所述车辆实时的初始位姿；

信息提取模块，在所述全景拼接图中分别提取所述车辆周围的地面标识分别对应的特征线段以及特征点分别对应的描述信息与像素信息；

地面标识匹配模块，根据所述地面标识分别对应的特征线段，将所述地面标识与预建立的3维地面标识地图进行匹配，获取所述初始位姿与所述3维地面标识地图中位姿信息之间的第一误差信息；

特征点匹配模块，根据所述特征点对应的描述信息与像素信息，将所述特征点与预建立的预建立的3维地库特征点地图进行匹配，获取所述初始位姿与所述预建立的3维地库特征点地图中位姿信息之间的第二误差信息；以及

定位模块，根据所述第一误差信息与所述第二误差信息对所述初始位姿进行优化，获取所述车辆的位姿信息。

8.一种车辆，其特征在于，所述车辆包括如权利要求7所述的联合地库定位***。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令***作以执行权利要求1-6中任一项所述的联合地库定位方法。

10.一种计算机设备，其特征在于，包括：

至少一个处理器，所述处理器和存储器耦合，所述存储器存储有计算机指令，其特征在于，所述计算机指令被所述处理器执行时实现如权利要求1-6中任一项所述的联合地库定位方法。