CN111220154A - 车辆定位方法、装置、设备和介质 - Google Patents

Abstract

本申请实施例公开了一种车辆定位方法、装置、设备和介质，涉及智能驾驶技术领域，其中，该方法包括：获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿；基于所述预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿。本申请实施例可以实现利用低成本的传感器部署，提高车辆定位精度，并且可以适用较为广泛的定位环境。

Description

车辆定位方法、装置、设备和介质

技术领域

本申请实施例涉及计算机技术，具体涉及智能驾驶技术，尤其涉及一种车辆定位方法、装置、设备和介质。

背景技术

目前，车辆定位通常采用的方案包括：基于全球定位***(Global PositioningSystem，GPS)的定位方法、基于激光雷达(Light Detection and Ranging，LiDAR)的定位方法、基于超宽带(Ultra Wide Band，UWB)基站的定位方法、以及基于相机的纯视觉定位方法。

然而，上述方法中涉及的GPS***、激光雷达以及UWB基站等，在硬件部署方面成本较高，虽然基于相机的纯视觉定位成本较低，但是定位精度无法得到保证。

发明内容

本申请实施例公开一种车辆定位方法、装置、设备和介质，以实现利用低成本的传感器部署，提高车辆定位精度。

第一方面，本申请实施例公开了一种车辆定位方法，包括：

获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；

利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿；

基于所述预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；

利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿。

上述申请中的一个实施例具有如下优点或有益效果：通过融合车辆当前时刻的惯性测量数据、车辆轮速、车辆所处环境的目标图像、以及包括车辆当前所处环境信息的高精地图，实现了车辆定位过程中对环境信息以及高精地图的充分利用，得到了高精度的车辆定位结果，并且所依赖的传感器部署成本很低。

可选的，利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿，包括：

对所述目标图像进行识别，确定目标元素；

确定所述目标元素的图像特征点在所述高精地图上的位置坐标；

利用所述图像特征点在所述目标图像上的像素坐标和所述图像特征点在所述高精地图上的位置坐标，构建几何约束关系；

基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

可选的，基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿，包括：

利用用于采集所述目标图像的车载相机，在当前时刻以及上一时刻采集的多帧图像，构建所述车载相机在相邻时刻之间的位姿约束关系；

利用所述几何约束关系和所述车载相机的所述位姿约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

可选的，对所述目标图像进行识别，确定目标元素，包括：

对所述目标图像进行识别，得到识别结果；

根据用于采集所述目标图像的车载相机的视野约束，对所述识别结果进行数据剔除；

从经过所述数据剔除后的识别结果中确定所述目标元素。

上述申请中的一个实施例具有如下优点或有益效果：根据车载相机的视野约束对图像识别结果进行数据剔除，避免了感知误识别对车辆定位结果的影响，提高了定位方案的鲁棒性、可靠性。

可选的，确定所述目标元素的图像特征点在所述高精地图上的位置坐标，包括：

将所述高精地图重投影至所述目标图像对应的成像平面；

确定所述目标元素在重投影后的高精地图上对应的地图元素；

根据所述地图元素与所述目标元素之间特征点的对应关系，确定所述目标元素的图像特征点在所述高精地图上的位置坐标。

上述申请中的一个实施例具有如下优点或有益效果：通过确定图像上特征点在高精地图上的位置坐标，使得可以利用行车环境中实体的精确位置表示来修正车辆当前的位姿，从而得到高精度的车辆定位结果。

可选的，利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿，包括：

基于车辆运动学模型，利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的所述预测位姿。

可选的，基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿，还包括：

对所述车载相机采集的所述多帧图像进行特征点提取与特征点跟踪，构建车辆在相邻时刻之间的位姿约束关系，以利用构建的所述车载相机和所述车辆的位姿约束关系、以及所述几何约束关系，对所述预测位姿进行修正。

可选的，在所述获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像之后，所述方法还包括：

利用预设数据检测算法，对所述惯性测量数据、所述车辆轮速以及所述目标图像上的感知元素进行数据检测，以剔除异常数据。

上述申请中的一个实施例具有如下优点或有益效果：通过异常数据剔除，保证了定位结果的准确性，提高了定位方案的鲁棒性、可靠性。

可选的，所述方法还包括：

在车辆定位过程中，利用所述目标图像上目标特征点的预测像素坐标与观测像素坐标之间的偏差，确定用于采集所述目标图像的车载相机是否异常；

其中，所述目标特征点的预测像素坐标是基于所述目标特征点在上一帧图像的像素坐标而预测得到，或者基于所述目标特征点在所述上一帧图像中，对应至所述高精地图中的位置坐标而预测得到。

上述申请中的一个实施例具有如下优点或有益效果：通过车载相机的异常检测，避免了车辆定位过程中异常图像数据的使用，提高了定位方案的鲁棒性、可靠性。

第二方面，本申请实施例还公开了一种车辆定位装置，包括：

数据获取模块，用于获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；

预测位姿确定模块，用于利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿；

高精地图获取模块，用于基于所述预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；

数据融合模块，用于利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿。

第三方面，本申请实施例还公开了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例任一所述的车辆定位方法。

第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请实施例任一所述的车辆定位方法。

根据本申请实施例的技术方案，通过融合车辆当前时刻的惯性测量数据、车辆轮速、车辆所处环境的目标图像、以及包括车辆当前所处环境信息的高精地图，得到高精度的车辆定位结果，由于整个定位过程中，所依赖的车载传感器件，例如惯性测量单元和相机，相对于全球定位******、激光雷达等，均属于低成本的传感器件，因此，本申请实施例实现了利用低成本的传感器部署，提高车辆定位精度的效果。

与现有定位方案相比，本申请实施例方案还存在以下优点：1)由于本申请实施例方案不需要依赖全球定位***，因此，定位结果不会受到GPS信号质量的影响，可以适用较为广泛的定位环境，即使在室内或者地下等GPS信号质量较差的停车场景中，本申请实施例方案也具有可用性，并能保证定位精度；2)本申请实施例方案不需要依赖激光雷达，因此，也不需要对载***姿进行连续跟踪，不会产生因为位姿跟踪失败等原因导致的点云误匹配，进而导致车辆定位错误的现象；3)本申请实施例方案不需要依赖场地部署定位基站，因此，定位实现过程不会受到场地即行车环境的限制；4)本申请实施例方案可以解决现有的纯视觉定位方案中存在的漂移误差问题，提高了车辆定位精度，使得车辆在任意的行车场景中，例如开放式道路场景中，都可以实现高精度的定位功能。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例公开的一种车辆定位方法的流程图；

图2是根据本申请实施例公开的另一种车辆定位方法的流程图；

图3是根据本申请实施例公开的又一种车辆定位方法的流程图；

图4是根据本申请实施例公开的一种车辆定位装置的结构示意图；

图5是根据本申请实施例公开的一种电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请实施例公开的一种车辆定位方法的流程图，本实施例可以适用于车辆自主定位的场景中，例如自动驾驶车辆自动泊车定位等。本实施例方法可以由车辆定位装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的具有计算能力的电子设备上，该电子设备可以是车载设备。

如图1所示，本实施例公开的车辆定位方法可以包括：

S101、获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像。

在本实施例中，车辆上部署有惯性测量单元(Inertial measurement unit，IMU)、里程计或轮速计、相机，分别用于采集惯性测量数据、车辆轮速、以及车辆当前时刻所处环境的目标图像，目标图像是指车载相机当前拍摄的用于当前车辆定位的图像。

可选的，在获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像之后，本实施例方法还包括：

利用预设数据检测算法，对惯性测量数据、车辆轮速以及目标图像上的感知元素进行数据检测，以剔除异常数据，从而避免异常数据的使用，导致最终的车辆定位结果不准确。其中，预设数据检测算法包括卡方检测算法，例如在停车过程中，当车辆以前进档溜坡时轮速计输出的数据为正数，当车辆以倒退档向后溜坡时轮速计输出的数据为负值，通过检测不同车辆状态下的数据正负号，判断是否存在异常的轮速数据；通过相机拍摄的图像与车辆当前所处位置的高精地图进行比较，判断图像上显示的物体对象，即感知元素，是否明显偏离高精地图上对应的地图元素位置，从而确定图像数据是否异常。并且，如果在特定时间内，包括车载相机、轮速计和惯性测量单元在内的任一传感器连续输出异常数据，则发出传感器异常提示，并将该异常传感器进行隔离，等待对该异常传感器进行修复。

S102、利用惯性测量数据与车辆轮速，计算车辆当前时刻的预测位姿。

当前时刻的惯性测量数据中包括了车辆的三轴姿态角及加速度，结合车辆轮速，利用车辆的运动学原理，便可以实时递推得到车辆当前时刻的预测位姿，包括车辆的6自由度位姿，还可以得到车辆的速度。可选的，可以基于车辆运动学模型，利用惯性测量数据与车辆轮速，计算车辆当前时刻的预测位姿。其中，车辆运动学模型可以反映车辆位置、速度、加速度等与时间的关系，本实施例对该模型的具体形式不作限定，在实际应用中，可以根据需求进行合理设置，例如可以在现有的单车模型上进行改进，得到所需模型。

S103、基于预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图。

基于预测位置坐标，可以从本地或者网络中调用包括车辆当前所处环境信息的高精地图。高精地图中包括了详细的室内外环境信息，具有较高的数据精度，能够辅助车辆，尤其是自动驾驶车辆，实现高精度的定位功能。高精地图中可以包括环境实体的高精度位姿数据、以及环境实体的几何结构、尺寸等信息，以车道线为例，高精地图中包括了该车道线的形状、车道线类型、颜色、以及该车道线上任意点的位置坐标。

S104、利用目标图像和高精地图，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

针对车辆当前所处环境，可以利用与车辆定位相关的任意可用的数据融合方法，例如卡尔曼滤波紧耦合算法等，建立目标图像和高精地图之间的关联关系，并用该关联关系对车辆的预测位姿进行修正，即实现图像数据、高精地图、惯性测量数据、车辆轮速之间的数据融合，得到高精度的车辆定位结果。

对于车辆部署的各传感器而言，在正常工作状态下，各传感器当前观测值与根据车辆之前状态计算的预测值之间的偏差，满足特定的概率模型，该概率模型即用于衡量预测值和观测值之间的偏差程度，其具体实现形式本实施例不作具体限定，例如可以是由协方差矩阵确定的概率模型，此时，预测值和预测值之间的偏差服从卡方分布。当出现明显违背概率模型的传感器观测值时，则可以判断该观测值出现异常，进而对应的传感器存在异常。因此，以车载相机为例，本实施例方法还包括：在车辆定位过程中，利用目标图像上目标特征点的预测像素坐标与观测像素坐标之间的偏差，确定用于采集目标图像的车载相机是否异常；其中，目标特征点的预测像素坐标是基于目标特征点在上一帧图像的像素坐标而预测得到，或者基于目标特征点在上一帧图像中，对应至高精地图中的位置坐标而预测得到，像素预测可以结合车辆运动状态的变化而实现。目标特征点的观测像素是指目标特征点在当前时刻拍摄的图像上的实际像素坐标。目标特征点可以是目标图像上任意的特征点，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。目标特征点在高精地图上存在对应的位置坐标，并且，像素坐标和位置坐标之间可以建立数值映射关系。

本实施例中通过目标特征点的预测像素坐标和观测像素坐标之间的比较，以判断车载相机是否异常，这不仅实现了在车辆定位过程中增加对相机是否异常的检测机制，提高了定位方案的鲁棒性、可靠性，而且避免了异常图像数据的利用而导致车辆定位结果不准确的现象发生。

根据本实施例的技术方案，通过融合车辆当前时刻的惯性测量数据、车辆轮速、车辆所处环境的目标图像、以及包括车辆当前所处环境信息的高精地图，得到高精度的车辆定位结果，由于整个定位过程中，所依赖的车载传感器件，例如惯性测量单元和相机，相对于全球定位******、激光雷达等，均属于低成本的传感器件，因此，本实施例实现了利用低成本的传感器部署，提高车辆定位精度的效果。

与现有定位方案相比，本实施例方案还存在以下优点：1)由于本实施例方案不需要依赖全球定位***，因此，定位结果不会受到GPS信号质量的影响，可以适用较为广泛的定位环境，即使在室内或者地下等GPS信号质量较差的停车场景中，本实施例方案也具有可用性，并能保证定位精度；2)本实施例方案不需要依赖激光雷达，因此，也不需要对载***姿进行连续跟踪，不会产生因为位姿跟踪失败等原因导致的点云误匹配，进而导致车辆定位错误的现象；3)本实施例方案不需要依赖场地部署定位基站，因此，定位实现过程不会受到场地即行车环境的限制；4)本实施例方案可以解决现有的纯视觉定位方案中存在的漂移误差问题，提高了车辆定位精度，使得车辆在任意的行车场景中，例如开放式道路场景中，都可以实现高精度的定位功能。

图2是根据本申请实施例公开的另一种车辆定位方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，本实施例方法可以包括：

S201、获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像。

S202、利用惯性测量数据与车辆轮速，计算车辆当前时刻的预测位姿。

S203、基于预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图。

S204、对目标图像进行识别，确定目标元素。

具体的，可以利用任意的图像识别技术，对当前时刻的目标图像进行识别，即得到视觉语义信息，确定出目标元素。目标元素可以是目标图像上感知元素中的一种或者多种，包括人工标志和自然定位元素，人工标志例如具有定位作用的二维码标识，自然定位元素包括但不限于：车道线、车位角点、车位线、交通标志牌、减速带、路面箭头等。在实际应用中，可以预先确定使用的目标元素的类型，本实施例对此不作具体限定。对于二维码标识，可以通过识别二维码，获取其中的定位信息，然后用于对车辆预测位姿的修正。

可选的，对目标图像进行识别，确定目标元素，包括：

对目标图像进行识别，得到识别结果；

根据用于采集目标图像的车载相机的视野约束，对识别结果进行数据剔除；

从经过数据剔除后的识别结果中确定目标元素。

例如，将目标图像上存在的属于当前时刻下相机视场角之外的感知数据剔除、将超出相机感知距离的感知数据剔除、将在相机视场角内位于障碍物之后的感知数据剔除等，从而避免感知误识别对车辆定位结果的影响。

此外，操作S202至操作S204，并无严格的执行顺序限定，不应将图2所示的逻辑顺序理解为对本实施例的具体限定。

S205、确定目标元素的图像特征点在高精地图上的位置坐标。

在目标图像上识别出目标元素后，可以利用地图匹配技术，基于目标元素的类别语义、几何特征、纹理特征、空间位置等信息在当前高精地图上匹配出对应的地图元素，即实现行车环境中同一实体在目标图像和高精地图上的关联，进而可以确定目标特征点在高精地图上的位置坐标。

可选的，确定目标元素的图像特征点在高精地图上的位置坐标，包括：

将高精地图重投影至目标图像对应的成像平面，即基于车辆当前位姿，将高精地图重投影至用于拍摄目标图像的车载相机在当前时刻下的成像平面；

确定目标元素在重投影后的高精地图上对应的地图元素；

根据地图元素与目标元素之间特征点的对应关系，确定目标元素的图像特征点在高精地图上的位置坐标。

S206、利用图像特征点在目标图像上的像素坐标和图像特征点在高精地图上的位置坐标，构建几何约束关系。

S207、基于几何约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

高精地图中的位置坐标属于世界坐标系下的绝对位置。将目标图像上的目标元素关联到高精地图，便可以确定该目标元素在行车环境中的精确姿态表示，进而利用构建的几何约束关系对车辆的预测位姿进行修正，即相当于利用行车环境中已知目标元素的精确姿态来修正车辆当前的预测位姿，从而可以得到高精度的车辆定位结果。

具体的，在本实施例中，可以同时根据视觉语义信息、元素几何形状、空间相对关系、以及重投影误差最小原则，将目标图像上的感知识别元素与高精度地图数据进行关联匹配。示例性的，根据识别的不同自然定位元素之间的相对位置关系，进行感知数据剔除，例如在目标图像上识别的自然定位元素之间应满足近大远小，应保持真实世界中左右、以及上下的相对位置关系不变，否则需要剔除不符合要求的感知数据；根据重投影误差进行迭代筛选，剔除重投影误差较大时对应的不良感知数据，最后将目标地图和高精地图之间关联成功的目标元素进行缓存，以等待被利用。

进一步的，基于几何约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿，包括：

利用用于采集目标图像的车载相机，在当前时刻以及上一时刻采集的多帧图像，构建车载相机在相邻时刻之间的位姿约束关系，该位姿约束关系可以用于反应车载相机在相邻时刻的位姿变化；

利用几何约束关系和车载相机的位姿约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

进一步的，基于几何约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿，还包括：对车载相机采集的多帧图像进行特征点提取与特征点跟踪，构建车辆在相邻时刻之间的位姿约束关系，以利用构建的车载相机和车辆的位姿约束关系、以及几何约束关系，对预测位姿进行修正，以进一步确保车辆定位的准确性。关于图像特征点的提取与跟踪，可以利用现有技术中任意可用的图像特征提取与跟踪技术实现，本实施例不作具体限定。

图3作为示例，示出了本实施例公开的又一种车辆定位方法的流程图。如图3所示，本实施例方案中的数据输入源包括惯性测量单元、轮速计、高精地图、车载相机；通过对环境图像进行识别，可以得到图像上包括的感知识别自然定位元素，同时对环境图像进行特征点提取与跟踪，可以构建车辆在相邻时刻的帧间位姿约束，以用于后续的预测位姿修正；将高精地图数据和识别的自然定位元素进行关联，关联过程中可以进行感知数据的剔除等操作；在定位过程中，随着车辆运动状态的变化，利用惯性测量数据和车辆轮速可以进行实时的车辆预测位姿的递推更新；在具体定位处理过程中，需要将图像-高精地图关联成功后得到的感知数据以及位置坐标、轮速数据、惯性测量数据、环境图像上提取与跟踪的特征点按照时间进行数据对齐；在后端利用对齐后的多源数据进行状态估计，即多源数据融合，确定出车辆的高精度定位结果，其中多源数据融合方法包括但不限于卡尔曼滤波紧耦合方法等；在确定车辆的高精度定位结果之前，还可以执行对包括惯性测量单元、轮速计和车载相机在内的车载传感器的异常检测与隔离，避免异常数据对定位结果的影响。此外，在图3中，横向各环节可以并行执行，纵向各环节可以串行执行。

根据本实施例的技术方案，通过融合车辆当前时刻的惯性测量数据、车辆轮速、车辆所处环境的目标图像、以及包括车辆当前所处环境信息的高精地图，实现了车辆定位过程中对环境信息以及高精地图的充分利用，得到了高精度的车辆定位结果，由于整个定位过程中，所依赖的车载传感器件，例如惯性测量单元和相机，相对于全球定位******、激光雷达等，均属于低成本的传感器件，因此，本实施例实现了利用低成本的传感器部署，提高车辆定位精度的效果；并且，本方案中提供了异常数据检测与隔离，使得定位方案具有较高的鲁棒性、可靠性。

如图4所示，本实施例公开的车辆定位装置300可以包括数据获取模块301、预测位姿确定模块302、高精地图获取模块303、数据融合模块304，其中：

数据获取模块301，用于获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；

预测位姿确定模块302，用于利用惯性测量数据与车辆轮速，计算车辆当前时刻的预测位姿；

高精地图获取模块303，用于基于预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；

数据融合模块304，用于利用目标图像和高精地图，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

可选的，数据融合模块304包括：

图像识别单元，用于对目标图像进行识别，确定目标元素；

图像与地图关联单元，用于确定目标元素的图像特征点在高精地图上的位置坐标；

几何约束关系构建单元，用于利用图像特征点在目标图像上的像素坐标和图像特征点在高精地图上的位置坐标，构建几何约束关系；

目标位姿确定单元，用于基于几何约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

可选的，目标位姿确定单元包括：

相机位姿约束关系构建子单元，用于利用用于采集目标图像的车载相机，在当前时刻以及上一时刻采集的多帧图像，构建车载相机在相邻时刻之间的位姿约束关系；

位姿修正子单元，用于利用几何约束关系和车载相机的位姿约束关系，对预测位姿进行修正，得到车辆在当前时刻的目标位姿。

可选的，图像识别单元包括：

图像识别子单元，用于对目标图像进行识别，得到识别结果；

数据剔除子单元，用于根据用于采集目标图像的车载相机的视野约束，对识别结果进行数据剔除；

目标元素确定子单元，用于从经过数据剔除后的识别结果中确定目标元素。

可选的，图像与地图关联单元包括：

地图重投影子单元，用于将高精地图重投影至目标图像对应的成像平面；

地图元素确定子单元，用于确定目标元素在重投影后的高精地图上对应的地图元素；

位置坐标确定子单元，用于根据地图元素与目标元素之间特征点的对应关系，确定目标元素的图像特征点在高精地图上的位置坐标。

可选的，预测位姿确定模块302具体用于：

基于车辆运动学模型，利用惯性测量数据与车辆轮速，计算车辆当前时刻的预测位姿。

可选的，目标位姿确定单元还包括：

车辆位姿约束关系构建子单元，用于对车载相机采集的多帧图像进行特征点提取与特征点跟踪，构建车辆在相邻时刻之间的位姿约束关系；

相应的，位姿修正子单元具体用于：利用构建的车载相机和车辆的位姿约束关系、以及几何约束关系，对预测位姿进行修正。

可选的，本实施例装置还包括：

数据检测模块，用于在数据获取模块301执行获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像的操作之后，利用预设数据检测算法，对惯性测量数据、车辆轮速以及目标图像上的感知元素进行数据检测，以剔除异常数据。

可选的，本实施例装置还包括：

相机检测模块，用于在车辆定位过程中，利用目标图像上目标特征点的预测像素坐标与观测像素坐标之间的偏差，确定用于采集目标图像的车载相机是否异常；

其中，目标特征点的预测像素坐标是基于目标特征点在上一帧图像的像素坐标而预测得到，或者基于目标特征点在上一帧图像中，对应至高精地图中的位置坐标而预测得到。

本申请实施例所公开的车辆定位装置300可执行本申请实施例所公开的车辆定位方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，图5是用于实现本申请实施例中车辆定位方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。典型的，本申请实施例公开的电子设备可以是一种车载设备。

如图5所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器***。图5中以一个处理器401为例。

存储器402即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的车辆定位方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的车辆定位方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中车辆定位方法对应的程序指令/模块，例如，附图4所示的数据获取模块301、预测位姿确定模块302、高精地图获取模块303、数据融合模块304。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的车辆定位方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据车辆定位方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至用于实现本实施例中车辆定位方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于实现本实施例中车辆定位方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与用于实现本实施例中车辆定位方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(Light Emitting Diode，LED)；触觉反馈装置例如，振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序，也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***，例如，作为数据服务器，或者实施在包括中间件部件的计算***，例如，应用服务器，或者实施在包括前端部件的计算***，例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信，例如通信网络，来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过融合车辆当前时刻的惯性测量数据、车辆轮速、车辆所处环境的目标图像、以及包括车辆当前所处环境信息的高精地图，得到高精度的车辆定位结果，由于整个定位过程中，所依赖的车载传感器件，例如惯性测量单元和相机，相对于全球定位******、激光雷达等，均属于低成本的传感器件，因此，本申请实施例实现了利用低成本的传感器部署，提高车辆定位精度的效果。

与现有定位方案相比，本申请实施例方案还存在以下优点：1)由于本申请实施例方案不需要依赖全球定位***，因此，定位结果不会受到GPS信号质量的影响，可以适用较为广泛的定位环境，即使在室内或者地下等GPS信号质量较差的停车场景中，本申请实施例方案也具有可用性，并能保证定位精度；2)本申请实施例方案不需要依赖激光雷达，因此，也不需要对载***姿进行连续跟踪，不会产生因为位姿跟踪失败等原因导致的点云误匹配，进而导致车辆定位错误的现象；3)本申请实施例方案不需要依赖场地部署定位基站，因此，定位实现过程不会受到场地即行车环境的限制；4)本申请实施例方案可以解决现有的纯视觉定位方案中存在的漂移误差问题，提高了车辆定位精度，使得车辆在任意的行车场景中，例如开放式道路场景中，都可以实现高精度的定位功能。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种车辆定位方法，其特征在于，包括：

获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；

利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿；

基于所述预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；

利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿。

2.根据权利要求1所述的方法，其特征在于，利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿，包括：

对所述目标图像进行识别，确定目标元素；

确定所述目标元素的图像特征点在所述高精地图上的位置坐标；

利用所述图像特征点在所述目标图像上的像素坐标和所述图像特征点在所述高精地图上的位置坐标，构建几何约束关系；

基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

3.根据权利要求2所述的方法，其特征在于，基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿，包括：

利用用于采集所述目标图像的车载相机，在当前时刻以及上一时刻采集的多帧图像，构建所述车载相机在相邻时刻之间的位姿约束关系；

利用所述几何约束关系和所述车载相机的所述位姿约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

4.根据权利要求2所述的方法，其特征在于，对所述目标图像进行识别，确定目标元素，包括：

对所述目标图像进行识别，得到识别结果；

根据用于采集所述目标图像的车载相机的视野约束，对所述识别结果进行数据剔除；

从经过所述数据剔除后的识别结果中确定所述目标元素。

5.根据权利要求2所述的方法，其特征在于，确定所述目标元素的图像特征点在所述高精地图上的位置坐标，包括：

将所述高精地图重投影至所述目标图像对应的成像平面；

确定所述目标元素在重投影后的高精地图上对应的地图元素；

根据所述地图元素与所述目标元素之间特征点的对应关系，确定所述目标元素的图像特征点在所述高精地图上的位置坐标。

6.根据权利要求1所述的方法，其特征在于，利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿，包括：

基于车辆运动学模型，利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的所述预测位姿。

7.根据权利要求3所述的方法，其特征在于，基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿，还包括：

对所述车载相机采集的所述多帧图像进行特征点提取与特征点跟踪，构建车辆在相邻时刻之间的位姿约束关系，以利用构建的所述车载相机和所述车辆的位姿约束关系、以及所述几何约束关系，对所述预测位姿进行修正。

8.根据权利要求1所述的方法，其特征在于，在所述获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像之后，所述方法还包括：

利用预设数据检测算法，对所述惯性测量数据、所述车辆轮速以及所述目标图像上的感知元素进行数据检测，以剔除异常数据。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在车辆定位过程中，利用所述目标图像上目标特征点的预测像素坐标与观测像素坐标之间的偏差，确定用于采集所述目标图像的车载相机是否异常；

其中，所述目标特征点的预测像素坐标是基于所述目标特征点在上一帧图像的像素坐标而预测得到，或者基于所述目标特征点在所述上一帧图像中，对应至所述高精地图中的位置坐标而预测得到。

10.一种车辆定位装置，其特征在于，包括：

数据获取模块，用于获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像；

预测位姿确定模块，用于利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的预测位姿；

高精地图获取模块，用于基于所述预测位姿中的预测位置坐标，调用包括车辆当前所处环境信息的高精地图；

数据融合模块，用于利用所述目标图像和所述高精地图，对所述预测位姿进行修正，得到车辆在当前时刻的目标位姿。

11.根据权利要求10所述的装置，其特征在于，所述数据融合模块包括：

图像识别单元，用于对所述目标图像进行识别，确定目标元素；

图像与地图关联单元，用于确定所述目标元素的图像特征点在所述高精地图上的位置坐标；

几何约束关系构建单元，用于利用所述图像特征点在所述目标图像上的像素坐标和所述图像特征点在所述高精地图上的位置坐标，构建几何约束关系；

目标位姿确定单元，用于基于所述几何约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

12.根据权利要求11所述的装置，其特征在于，所述目标位姿确定单元包括：

相机位姿约束关系构建子单元，用于利用用于采集所述目标图像的车载相机，在当前时刻以及上一时刻采集的多帧图像，构建所述车载相机在相邻时刻之间的位姿约束关系；

位姿修正子单元，用于利用所述几何约束关系和所述车载相机的所述位姿约束关系，对所述预测位姿进行修正，得到车辆在当前时刻的所述目标位姿。

13.根据权利要求11所述的装置，其特征在于，所述图像识别单元包括：

图像识别子单元，用于对所述目标图像进行识别，得到识别结果；

数据剔除子单元，用于根据用于采集所述目标图像的车载相机的视野约束，对所述识别结果进行数据剔除；

目标元素确定子单元，用于从经过所述数据剔除后的识别结果中确定所述目标元素。

14.根据权利要求11所述的装置，其特征在于，所述图像与地图关联单元包括：

地图重投影子单元，用于将所述高精地图重投影至所述目标图像对应的成像平面；

地图元素确定子单元，用于确定所述目标元素在重投影后的高精地图上对应的地图元素；

位置坐标确定子单元，用于根据所述地图元素与所述目标元素之间特征点的对应关系，确定所述目标元素的图像特征点在所述高精地图上的位置坐标。

15.根据权利要求10所述的装置，其特征在于，所述预测位姿确定模块具体用于：

基于车辆运动学模型，利用所述惯性测量数据与所述车辆轮速，计算车辆当前时刻的所述预测位姿。

16.根据权利要求12所述的装置，其特征在于，目标位姿确定单元还包括：

车辆位姿约束关系构建子单元，用于对所述车载相机采集的所述多帧图像进行特征点提取与特征点跟踪，构建车辆在相邻时刻之间的位姿约束关系；

相应的，所述位姿修正子单元具体用于：利用构建的所述车载相机和所述车辆的位姿约束关系、以及所述几何约束关系，对所述预测位姿进行修正。

17.根据权利要求10所述的装置，其特征在于，所述装置还包括：

数据检测模块，用于在所述数据获取模块执行所述获取当前时刻下车辆的惯性测量数据、车辆轮速以及车辆所处环境的目标图像的操作之后，利用预设数据检测算法，对所述惯性测量数据、所述车辆轮速以及所述目标图像上的感知元素进行数据检测，以剔除异常数据。

18.根据权利要求10所述的装置，其特征在于，所述装置还包括：

相机检测模块，用于在车辆定位过程中，利用所述目标图像上目标特征点的预测像素坐标与观测像素坐标之间的偏差，确定用于采集所述目标图像的车载相机是否异常；

其中，所述目标特征点的预测像素坐标是基于所述目标特征点在上一帧图像的像素坐标而预测得到，或者基于所述目标特征点在所述上一帧图像中，对应至所述高精地图中的位置坐标而预测得到。

19.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的车辆定位方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的车辆定位方法。

Images