CN112304322B - 一种视觉定位失效后的重启方法及车载终端 - Google Patents

Abstract

本发明实施例公开一种视觉定位失效后的重启方法及车载终端。该方法包括：当检测到车辆在停车场内的视觉定位失效时，基于视觉定位失效之前车辆的第一定位位姿，对惯性测量单元采集的第一数据进行轨迹推算，得到第二定位位姿；当确定第二定位位姿指示的位置处于初始化区域中时，基于图像采集设备采集的第一道路图像的道路特征和第二定位位姿，通过位姿回归模型确定车辆的第三定位位姿；根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定车辆的第四定位位姿；基于第四定位位姿启动视觉定位。应用本发明实施例提供的方案，能够在视觉定位失效后重新启动视觉定位。

Description

一种视觉定位失效后的重启方法及车载终端

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种视觉定位失效后的重启方法及车载终端。

背景技术

在智能驾驶技术领域中，对车辆进行定位是智能驾驶中的重要环节。通常，当车辆在户外行驶时，可以根据全球导航卫星***(Global Navigation Satellite System，GNSS)和惯性测量单元(Inertial Measurement Unit，IMU)采集的数据，经过综合定位后确定车辆精确的定位位姿。当车辆行驶至卫星定位信号较弱或无信号的停车场中时，为了精确地确定车辆的定位位姿，可以采用视觉定位与IMU结合的方式。

其中，在采用视觉定位时，通常可以预先建立高精度地图与停车场中的道路特征之间的对应关系，当相机采集到道路图像时，基于用于启动视觉定位的初始车辆位姿，将道路图像中的道路特征与高精度地图中的道路特征进行匹配，根据匹配结果即可以确定基于视觉定位的车辆位姿。在实际应用中，道路图像中的道路特征被遮挡或者设备出现故障等原因，均可能会导致视觉定位失效。因此，当视觉定位失效后，需要一种重新启动视觉定位的方法。

发明内容

本发明提供了一种视觉定位失效后的重启方法及车载终端，以在视觉定位失效后重新启动视觉定位。具体的技术方案如下。

第一方面，本发明实施例公开了一种视觉定位失效后的重启方法，包括：

当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据；

基于视觉定位失效之前所述车辆的第一定位位姿，对所述第一数据进行轨迹推算，得到所述车辆的第二定位位姿；

当确定所述第二定位位姿指示的位置处于所述停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像；其中，所述第一道路图像为在所述初始化区域中采集的图像；

基于所述第一道路图像的道路特征和所述第二定位位姿，通过位姿回归模型确定所述车辆的第三定位位姿；其中，所述位姿回归模型为预先根据在所述初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到；

根据所述第三定位位姿，将所述第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定所述车辆的第四定位位姿；

基于所述第四定位位姿启动视觉定位。

可选的，采用以下方法检测车辆在停车场内的视觉定位是否失效：

在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；其中，所述第二道路图像为在停车场内采集的图像；

确定所述第一道路特征与所述第二道路特征之间的映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述待检测位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差，作为所述待检测位姿的定位精度；

根据所述待检测位姿的定位精度与预设精度阈值之间的大小关系，确定所述车辆在停车场内的视觉定位是否失效。

可选的，所述根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差的步骤，包括：

将所述映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

可选的，采用以下方式建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

可选的，所述求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数的步骤，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

可选的，所述位姿回归模型采用以下方式训练得到：

获取在所述初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注的车辆位姿；

检测每个样本停车场图像的道路特征；

基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；

确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；

当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的步骤；

当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。

可选的，所述基于所述第四定位位姿启动视觉定位的步骤，包括：

基于所述第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测，得到多个车辆定位位姿；

获取多个第一道路图像对应的所述车辆的多个第四定位位姿；其中，所述多个第一道路图像为在所述初始化区域中采集的图像；

确定多个第四定位位姿和多个车辆定位位姿之间的残差；

当所述残差小于预设残差阈值时，基于所述多个第四定位位姿启动视觉定位。

可选的，所述确定多个第四定位位姿和多个车辆定位位姿之间的残差的步骤，包括：

通过最小二乘法求解以下函数，得到多个第四定位位姿和多个车辆定位位姿之间的刚性变换矩阵T：

将求解得到的所述T代入

得到多个第四定位位姿和多个车辆定位位姿之间残差；

其中，所述

为第i个第四定位位姿，所述

为第i个车辆定位位姿，所述N为所述第四定位位姿或车辆定位位姿的总数量，所述min为求最小值函数，所述||·||为范数符号。

第二方面，本发明实施例公开了一种车载终端，包括：处理器、图像采集设备和惯性测量单元；所述处理器包括：数据获取模块、位姿推算模块、图像获取模块、第一确定模块、第二确定模块和视觉启动模块；

数据获取模块，用于当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据；

位姿推算模块，用于基于视觉定位失效之前所述车辆的第一定位位姿，对所述第一数据进行轨迹推算，得到所述车辆的第二定位位姿；

图像获取模块，用于当确定所述第二定位位姿指示的位置处于所述停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像；其中，所述第一道路图像为在所述初始化区域中采集的图像；

第一确定模块，用于基于所述第一道路图像的道路特征和所述第二定位位姿，通过位姿回归模型确定所述车辆的第三定位位姿；其中，所述位姿回归模型为预先根据在所述初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到；

第二确定模块，用于根据所述第三定位位姿，将所述第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定所述车辆的第四定位位姿；

视觉启动模块，用于基于所述第四定位位姿启动视觉定位。

可选的，所述处理器还包括：失效检测模块，用于采用以下操作检测车辆在停车场内的视觉定位是否失效：

在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；其中，所述第二道路图像为在停车场内采集的图像；

确定所述第一道路特征与所述第二道路特征之间的映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述待检测位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差，作为所述待检测位姿的定位精度；

根据所述待检测位姿的定位精度与预设精度阈值之间的大小关系，确定所述车辆在停车场内的视觉定位是否失效。

可选的，所述失效检测模块，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定映射误差对应的第一定位误差时，包括：

将所述映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

可选的，所述处理器包括：关系建立模块，用于采用以下操作建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

可选的，所述关系建立模块，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数时，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

可选的，所述处理器还包括：模型训练模块，用于采用以下操作训练得到所述位姿回归模型：

获取在所述初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注的车辆位姿；

检测每个样本停车场图像的道路特征；

基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；

确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；

当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的操作；

当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。

可选的，所述视觉启动模块，具体用于：

基于所述第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测，得到多个车辆定位位姿；

获取多个第一道路图像对应的所述车辆的多个第四定位位姿；其中，所述多个第一道路图像为在所述初始化区域中采集的图像；

确定多个第四定位位姿和多个车辆定位位姿之间的残差；

当所述残差小于预设残差阈值时，基于所述多个第四定位位姿启动视觉定位。

可选的，所述视觉启动模块，确定多个第四定位位姿和多个车辆定位位姿之间的残差时，包括：

通过最小二乘法求解以下函数，得到多个第四定位位姿和多个车辆定位位姿之间的刚性变换矩阵T：

将求解得到的所述T代入

得到多个第四定位位姿和多个车辆定位位姿之间残差；

其中，所述

为第i个第四定位位姿，所述

为第i个车辆定位位姿，所述N为所述第四定位位姿或车辆定位位姿的总数量，所述min为求最小值函数，所述||·||为范数符号。

由上述内容可知，本发明实施例提供的视觉定位失效后的重启方法及车载终端，可以在检测到车辆在停车场内的视觉定位失效时，基于失效之前的第一定位位姿对惯性测量单元采集的第一数据进行轨迹推算，得到第二定位位姿，根据第二定位位姿可以判断车辆所处的位置。当确定车辆所处的位置处于停车场内的初始化区域中时，基于第一道路图像的道路特征和第二定位位姿，通过位姿回归模型确定车辆更精确的第三定位位姿，根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据该匹配结果，能够进一步提到定位位姿的精度。这样确定的定位位姿的精度能够达到启动视觉定位的要求，因此能够在视觉定位失效后重新启动视觉定位。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、当车辆在停车场中行驶时，根据视觉进行的定位失效时，可以根据IMU的数据对车辆的位姿进行推算，根据推算得到的定位位姿可以确定车辆是否行驶至初始化区域，并通过位姿回归模型和与预设地图中道路特征的匹配进一步提供定位位姿的精度。这为在视觉定位失效后重新启动视觉定位提供了可行的解决方式。

2、根据视觉定位中当前时刻道路特征之间的映射误差，以及预设的目标地图区域中映射误差与定位误差之间的对应关系，可以确定当前时刻的映射误差对应的定位误差，根据该定位误差能够确定视觉定位是否失效。这为检测视觉定位是否失效提供了可实施方式。

3、在建立映射误差与定位误差之间的对应关系时，首先得到一个图像帧对应的样本道路特征和预设地图中匹配成功的道路特征，以及该图像帧对应的标准定位位姿，在该标准定位位姿的基础上增加多个扰动量，基于建立的残差函数，求解得到该地图区域中的对应关系。这样能够更快速地建立不同地图区域中的对应关系，也为确定车辆的定位误差提供了可实施的方式。

4、将在初始化区域内针对多帧图像确定的初始化位姿与根据车轮速检测设备确定的位姿进行交叉验证，判断位姿初始化是否成功，能够更准确地判断车辆的位姿初始化是否成功，即判断确定的定位位姿的精确度是否足够。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视觉定位失效后的重启方法的一种流程示意图；

图2为本发明实施例提供的停车场地面标志线及初始化区域的一种示意图；

图3为根据第一道路图像确定的地面图像的一种示意图；

图4为本发明实施例提供的检测视觉定位是否失效的一种流程示意图；

图5为本发明实施例提供的车载终端的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种视觉定位失效后的重启方法及车载终端，能够在视觉定位失效后重新启动视觉定位。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的视觉定位失效后的重启方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial personal Computer，IPC)等车载终端。该方法具体包括以下步骤。

S110：当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据。

当车辆行驶至卫星定位信号较弱或无信号的停车场中时，为了精确地确定车辆的定位位姿，可以采用视觉定位的方式，或者视觉定位与其他传感器数据定位相结合的方式。其中，停车场可以为室内停车场或地下车库等。

在确定车辆的位姿时，可以根据图像采集设备采集的道路图像的道路特征与预设地图中的道路特征进行匹配，确定车辆位姿，这可以称为视觉定位。图像采集设备可以设置于车辆中。当图像采集设备采集的图像中道路特征很少，或者设备故障等原因导致无法进行视觉定位时，则确定视觉定位失效。

预设地图可以为预先建立的高精度地图。该预设地图中可以包括各个位置点的道路特征。预设地图中的位置点可以二维坐标点或三维坐标点表示。

惯性测量单元(IMU)可以设置于车辆中。第一数据可以包括车辆的角速度、加速度等信息。本发明中的车辆可以理解为智能车辆，该智能车辆中可以设置多种传感器设备，包括图像采集设备和IMU。图像采集设备和IMU可以均按照一定的周期采集数据。

S120：基于视觉定位失效之前车辆的第一定位位姿，对第一数据进行轨迹推算，得到车辆的第二定位位姿。

其中，第一定位位姿可以为视觉定位失效之前最新的定位位姿，选择该最新的定位位姿推算出的第二定位位姿更准确。位姿包括车辆的位置和姿态等信息。

第一定位位姿可以理解为车辆在预设地图中的位姿。由于IMU采集的第一数据表示当前时刻相对于上一时刻的加速度和角速度信息，基于该第一定位位姿对第一数据进行轨迹推算，可以得到车辆的第二定位位姿。

在基于第一定位位姿对第一数据进行轨迹推算时，可以采用以下公式确定车辆的第二定位位姿：

P₀(t₂)＝P₀(t₁)+R₀(t₁)·v(t₁)(t₂-t₁)

R₀(t₂)＝(t₂-t₁)·R₀(t₁)·R_z(ω(t₂))·R_y(ω(t₂))·R_x(ω(t₂))

其中，v(t₂)＝v(t₁)+R₀(t₁)·a，

ω(t₂)和a分别为第一数据中的角速度和加速度，t₂为第二定位位姿对应的时刻，t₁为第一定位位姿对应的时刻。x、y、z为IMU所在坐标系的坐标轴。P₀(t₁)和R₀(t₁)分别为第一定位位姿中车辆的位置和姿态，P₀(t₂)和R₀(t₂)分别为第二定位位姿中车辆的位置和姿态。

当视觉定位失效时，可以采用IMU的推算结果确定车辆的位姿。该位姿的精度可能较低，但是可以粗略地确定车辆在预设地图中的位置。

S130：当确定第二定位位姿指示的位置处于停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像。

其中，第一道路图像为在初始化区域中采集的图像。初始化区域为预先设定的预设地图中的坐标区域，在该初始化区域内，任意两个位置的观测或同一位置的不同角度观测存在显著差异。也就是说，初始化区域中包含足够多标志性的道路特征。在该初始化区域中，可以精确地确定车辆的位置，作为对视觉定位***进行重启时的初始定位位置。初始化区域可以为以预设位置点为圆心、以预设距离为半径的圆形区域。例如，预设距离可以为15m或其他数值。

参见图2，该图2为本发明实施例提供的停车场地面标志线及初始化区域的一种示意图。其中，显示了停车场地面的标志线，以及停车场通道的墙壁(采用粗线表示)，初始化区域采用较大圆形区域表示。当车辆位于A点时，根据IMU的推算结果能够定位到较大圆形区域中。图2中较小的圆圈范围表示能够正常启动视觉定位***的初始位姿范围。

本步骤中，IMU的推算结果起到的作用是确定车辆已经进入以15m为半径的初始化区域内，这样可以避免在有类似地形的区域发生误检。停车场中的初始化区域可以为多个。

获取图像采集设备采集的停车场内的第一道路图像，可以理解为，获取图像采集设备在第一时刻采集的第一道路图像，第一时刻为与确定第二定位位姿相关联的时刻，该第二定位位姿为能够指示车辆处于初始化区域中的位姿。相关联的时刻，可以理解为相同时刻，或者两个时间差较短的时刻。

S140：基于第一道路图像的道路特征和第二定位位姿，通过位姿回归模型确定车辆的第三定位位姿。

本步骤中，可以检测第一道路图像中的道路特征。本发明中的道路特征包括但不限于：道路上的车道线、路灯杆、交通牌、边缘线、停止线、红绿灯和地面的其他标识。边缘线包括但不限于车道边缘线和泊车位边缘线。

在一种实施方式中，检测第一道路图像中的道路特征的步骤具体可以包括：将第一道路图像转换至俯视图坐标系下，得到地面图像；对地面图像进行二值化处理，得到处理后图像；根据处理后图像中的信息，确定第一道路图像的道路特征。

其中，地面图像可以为灰度图像。对地面图像进行二值化处理时，可以采用大津法确定用于区分地面图像前景与背景部分的像素阈值，根据该确定的像素阈值对地面图像进行二值化处理，得到包含前景部分的处理后图像。

根据处理后的图像中的信息确定第一道路图像的道路特征时，可以直接将处理后的图像作为道路特征，也可以根据处理后图像中各个标志物之间的相对位置信息作为道路特征。

参见图3，该图3为根据第一道路图像确定的地面图像的一种示意图。其中的线为墙壁线和地面上的车道线，对该地面图像进行二值化处理后，可以得到包含道路特征的图像，其中的道路特征可以为各种线条之间的相对位置等。

上述位姿回归模型为预先根据在初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到。该位姿回归模型能够根据训练好的模型参数使得第一道路图像的道路特征和第二定位位姿，与第三定位位姿相关联。

本步骤具体可以包括：将第一道路图像的道路特征和第二定位位姿作为输入信息输入位姿回归模型，获取位姿回归模型输出的车辆的定位位姿，作为第三定位位姿。其中，第三定位位姿为比第二定位位姿更精确的车辆位姿。位姿回归模型根据训练好的模型参数可以在第二定位位姿的基础上，根据从第一道路图像的道路特征中提取的特征向量进行回归，得到第三定位位姿。

位姿回归模块可以采用多级位姿回归器(Cascaded Pose Regression，CPR)。多级位姿回归器采用以下原理公式，确定第三定位位姿：

P_reg＝CPR(P_GPS,I_seg)

其中，P_GPS为第二定位位姿，I_seg为第一道路图像的道路特征。P_GPS和I_seg为CPR的输入信息，P_reg为CPR输出的第三定位位姿。

本步骤能够基于道路特征和第二定位位姿，通过多级位姿回归器确定车辆更准确的位姿，在步骤S130确定车辆进入以15m为半径的初始化区域的基础上，使得定位的位姿更精确。本步骤也可以理解为，识别出图3在图2中的位置。

S150：根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定车辆的第四定位位姿。

第一道路图像中的道路特征会受到遮挡等外部因素的影响，这使得第三定位位姿与真实的车辆位姿之间可能存在偏差或者发生误检。因此，通过本步骤可以进一步提高车辆位姿的精确性。

本步骤中，在得到第三定位位姿之后，可以将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配成功的位置点确定更精确的第四定位位姿。

S160：基于第四定位位姿启动视觉定位。

第四定位位姿，可以理解为在初始化区域中定位得到的能够满足一定精度要求的车辆初始位姿。该车辆初始位姿能够用于启动基于视觉的车辆定位。

由上述内容可知，本实施例可以在检测到车辆在停车场内的视觉定位失效时，基于失效之前的第一定位位姿对惯性测量单元采集的第一数据进行轨迹推算，得到第二定位位姿，根据第二定位位姿可以判断车辆所处的位置。当确定车辆所处的位置处于停车场内的初始化区域中时，基于第一道路图像的道路特征和第二定位位姿，通过位姿回归模型确定车辆更精确的第三定位位姿，根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据该匹配结果，能够进一步提到定位位姿的精度。这样确定的定位位姿的精度能够达到启动视觉定位的要求，因此能够在视觉定位失效后重新启动视觉定位。

在本发明的另一实施例中，基于图1所示实施例，可以采用图4所示流程示意图检测车辆在停车场内的视觉定位是否失效，具体包括以下步骤。

S410：在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取预设地图中与第一道路特征匹配成功的第二道路特征。

其中，第二道路图像为在停车场内采集的图像。第二道路图像可以为视觉定位未失效时图像采集设备采集的图像，也可以为视觉定位失效时采集的图像。第二道路图像可以理解为在采集第一道路图像之前采集的图像。

S420：确定第一道路特征与第二道路特征之间的映射误差。

其中，第一道路特征为道路图像中的道路特征，采用的是道路图像中的位置表示。第二道路特征为预设地图中的道路特征，采用的是预设地图所在坐标系中的坐标来表示。

在确定映射误差时，可以将第一道路特征和第二道路特征映射到同一坐标系中后确定映射误差。本步骤具体可以包括以下实施方式：

实施方式一，根据待检测位姿，以及第一道路特征在道路图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置；计算第一映射位置与第二道路特征在预设地图中的位置之间的误差，得到映射误差。

在本实施方式中，通过将第一道路特征映射到预设地图所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到映射误差。

根据待检测位姿，以及第一道路特征在道路图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置时，具体可以根据图像坐标系与世界坐标系之间的转换关系，以及待检测位姿，将第一道路特征在道路图像中的位置转换至世界坐标系中，得到第一映射位置。其中，图像坐标系为道路图像所在的坐标系，世界坐标系为预设地图所在的坐标系。图像坐标系与世界坐标系之间的转换关系，可以通过图像坐标系与相机坐标系之间的内参矩阵，以及相机坐标系与世界坐标系之间的旋转矩阵和平移矩阵得到。

实施方式二，根据待检测位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至道路图像所在坐标系中的第二映射位置；计算第一道路特征在道路图像中的位置与第二映射位置之间的误差，得到映射误差。

在本实施方式中，通过将第二道路特征映射到道路图像所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到映射误差。

根据待检测位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至道路图像所在坐标系中的第二映射位置时，可以根据图像坐标系与世界坐标系之间的转换关系，以及待检测位姿，将第二道路特征在预设地图中的位置转换至图像坐标系中，得到第二映射位置。

上述两种实施方式对应两种不同的映射方式，在实际应用中可以择一使用。

S430：从预设地图包含的多个不同地图区域中，确定待检测位姿所在的目标地图区域。

本实施例中，可以预先根据预设地图包含的道路特征，将预设地图划分成多个不同地图区域，每个地图区域中的道路特征之间具有关联性或者位置相近性。地图区域可以为圆形区域、矩形区域或其他区域形状。

在确定目标地图区域时，具体可以将待检测位姿中的位置坐标所在的地图区域确定为目标地图区域。

S440：根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定上述映射误差对应的第一定位误差，作为待检测位姿的定位精度。

本实施例中，可以预先建立各个不同地图区域中映射误差与定位误差之间的对应关系，从各个不同地图区域中映射误差与定位误差之间的对应关系中，确定目标地图区域中映射误差与定位误差之间的对应关系。

其中，映射误差与定位误差之间的对应关系可以采用以定位误差为变量的映射误差函数表示。在确定上述映射误差对应的第一定位误差时，可以将该映射误差代入映射误差函数，得到该映射误差对应的第一定位误差。

定位误差可以理解为当前的定位位姿与真实的定位位姿之间的差值，也可以表示定位位姿的精度。例如定位误差可以为5cm、10cm等，即表示当前的定位位姿的精度为5cm、10cm。

步骤S420中确定映射误差时采用的映射方式，应与在建立映射误差与定位误差之间的对应关系时采用相同的映射方式。

S450：根据待检测位姿的定位精度与预设精度阈值之间的大小关系，确定车辆在停车场内的视觉定位是否失效。

本步骤中，具体可以判断待检测位姿的定位精度与预设精度阈值之间的差值绝对值是否大于预设差值阈值，如果大于，则确定车辆在停车场内的视觉定位失效。如果不大于，则确定视觉定位未失效。

在另一种实施方式中，为了更准确地确定视觉定位是否失效，可以获取连续的预设数量个道路图像帧对应的定位精度，当预设数量个定位精度大于预设精度阈值时，可以确定视觉定位失效。

综上，本实施例可以根据视觉定位中当前时刻道路特征之间的映射误差，以及预设的目标地图区域中映射误差与定位误差之间的对应关系，可以确定当前时刻的映射误差对应的定位误差，根据该定位误差能够确定视觉定位是否失效。这为检测视觉定位是否失效提供了可实施方式。

在本发明的另一实施例中，基于图4所示实施例，S440，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定映射误差对应的第一定位误差的步骤，包括：

将上述映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与该映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

本实施例中，不同地图区域对应的映射误差函数的表达形式不同，具体可以是函数系数不同。上述映射误差函数g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀为抛物面，映射误差cost可以理解为平面，将映射误差cost代入映射误差函数g₀，即是求抛物面与平面的交点。根据数学知识可知，该交点为椭圆，椭圆上的点都是求解得到的定位误差(Δx,Δy)。而求解得到的多个定位误差中的最大值即为椭圆的长轴和短轴(x_err和y_err)。

综上，本实施例提供了根据映射误差函数确定上述映射误差对应的第一定位误差的具体实施方式，本方法在实际应用中更易于实施。

在本发明的另一实施例中，基于上述实施例，可以采用以下步骤1a～4a建立目标地图区域中映射误差与定位误差之间的对应关系：

步骤1a：获取在目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征。

其中，上述标准定位位姿为图像采集模块采集样本道路图像时确定的车辆的定位位姿，标准定位位姿可以理解为不存在定位误差的定位位姿。

步骤2a：对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿。扰动定位位姿可以理解为以标准定位位姿为基准得到的车辆的虚拟定位位姿。

步骤3a：根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差。

针对不同的扰动定位位姿，可以根据步骤S420中提到的映射方式，将样本道路特征和第三道路特征映射到同一坐标系中后确定扰动映射误差。本步骤可以包括以下实施方式；

针对每个扰动定位位姿，根据该扰动定位位姿，以及样本道路特征在样本道路图像中的位置，计算样本道路特征映射至预设地图中的第三映射位置，计算第三映射位置与第三道路特征在预设地图中的位置之间的误差，得到扰动映射误差；或者，

针对每个扰动定位位姿，根据该扰动定位位姿，以及第三道路特征在预设地图中的位置，计算第三道路特征映射至样本道路图像所在坐标系中的第四映射位置，计算第四映射位置与样本道路特征在样本道路图像中的位置之间的误差，得到扰动映射误差。

当已知道路图像中的道路特征和预设地图中匹配成功的道路特征，以及对应的定位位姿时，映射误差match_err可以采用以下函数表示：

match_err＝MapMatching(p_pose,I_seg,I_map)

其中，p_pose为定位位姿，I_seg为道路图像中的道路特征，I_map为预设地图中匹配成功的道路特征。

步骤4a：基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。

其中，预先设定的目标地图区域中的与定位误差相关的映射误差函数，可以理解为预设的包含未知量的映射误差函数。例如，可以将映射误差函数设置为以下二次曲面形式：

g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f

多个扰动定位位姿对应的扰动映射误差可以采用以下函数表示：

match_err＝MapMatching(p_gt+Δp,I_seg,I_map)

本步骤在具体实施时可以包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数。在标准定位位姿足够精确的情况下，求解得到的g₀应为抛物面。

其中，映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；p_gt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，I_seg为样本道路特征，I_map为第三道路特征；MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。g(Δx,Δy)-MapMatching(p_gt+Δp,I_seg,I_map)表示映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差。

代表以a,b,c,d,e,f为待求解量的最小值函数。||·||为范数符号。

针对预设地图中的每个地图区域，均可以采用上述方式求解得到对应的映射误差函数g。

综上，本实施例中，在建立映射误差与定位误差之间的对应关系时，首先得到一个图像帧对应的样本道路特征和预设地图中匹配成功的道路特征，以及该图像帧对应的标准定位位姿，在该标准定位位姿的基础上增加多个扰动量，基于建立的残差函数，求解得到该地图区域中的对应关系。这样能够更快速地建立不同地图区域中的对应关系，也为确定车辆的定位误差提供了可实施的方式。

在本发明的另一实施例中，基于图1所示实施例，位姿回归模型采用以下步骤1b～5b训练得到。

步骤1b：获取在初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注的车辆位姿。

其中，标注的车辆位姿可以理解为样本停车场图像对应的车辆位姿的真实值、标准值。样本车辆位姿可以为在采集每个样本停车场图像时根据IMU的推算结果确定的车辆位姿，也可以为对标注的车辆位姿添加预设扰动后得到的车辆位姿。预设扰动可以理解为预设修改。样本车辆位姿可以理解为用于输入位姿回归模型的车辆位姿初始值，位姿回归模型在该车辆位姿初始值的基础上对样本停车场图像进行回归。

在一种实施方式中，可以预先在初始化区域内通过图像采集设备采集大量的样本停车场图像，以及根据IMU的推算结果确定的样本车辆位姿。在采集每个样本停车场图像时，可以通过离线定位的方式确定该样本停车场图像对应的标注的车辆位姿。

在另一实施方式中，可以直接使用预设地图中的道路特征和多个虚拟行驶轨迹，模拟车辆中的图像采集模块的采集过程，得到大量模拟图像，作为样本停车场图像。并且，可以直接根据预设地图确定模拟图像对应的标注的车辆位姿。

步骤2b：检测每个样本停车场图像的道路特征。

本步骤的具体说明可以参见步骤S140中对确定第一道路图像的道路特征的说明部分。

步骤3b：基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿。

其中，当位姿回归模型采用多级位姿回归器时，可以直接将多级位姿回归器中已经在其他方面训练过的模型参数，作为本步骤中模型参数的初始值。通过大量的训练过程，不断地修正模型参数，使其逐渐接近真实值。

步骤4b：确定参考车辆位姿与标注的车辆位姿之间的差异量。具体的，可以采用残差函数确定参考车辆位姿与标注的车辆位姿之间的差异量。

步骤5b：当差异量大于预设差异量阈值时，修正模型参数，返回执行步骤3b。当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。

其中，预设差异量阈值为预先根据经验设定的值。当差异量大于预设差异量阈值时，认为需要继续训练模型。在修正模型参数时，可以根据该差异量修正模型参数。例如，可以根据该差异量和与上次训练过程的差异量相比得到的变化趋势，修正模型参数。

综上，本实施例提供了对位姿回归模型进行训练的一种具体实施方式，能够提高位姿回归模型的准确性，进而提高定位的精确性。

在本发明的另一实施例中，基于图1所示实施例，步骤S160，基于第四定位位姿启动视觉定位的步骤，具体可以包括步骤1c～4c。

步骤1c：基于第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测，得到多个车辆定位位姿。

其中，根据车轮速检测设备检测的车辆各个轮子的速度，可以得到车辆速度。第二数据可以理解为多个时刻对应的车辆速度。

在基于第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测时，可以基于第一定位位姿、第二数据和第一数据，确定车辆定位位姿。具体的，可以将第二数据中的车辆速度作为v(t₁)，采用步骤S120中确定第二定位位姿的方式，来确定多个车辆定位位姿。

步骤2c：获取多个第一道路图像对应的车辆的多个第四定位位姿。其中，多个第一道路图像为在初始化区域中采集的图像。

其中，多个第一道路图像可以理解为图像采集设备采集的图像帧中的多个图像。

具体的，可以按照预设的初始定位频率，采用图1中的步骤S110～150确定多个第四定位位姿，并将每个第四定位位姿存储至预设存储空间。在获取上述多个第一道路图像对应的车辆的第四定位位姿时，可以从预设存储空间获取。

步骤3c：确定多个第四定位位姿和多个车辆定位位姿之间的残差。

本步骤具体可以包括：确定一一对应的第四定位位姿和车辆定位位姿之间的残差。所确定的残差可以是每个第四定位位姿和对应的车辆定位位姿之间的残差的和，也可以是由每个第四定位位姿和对应的车辆定位位姿之间的残差组成的残差向量。

步骤4c：当残差小于预设残差阈值时，基于多个第四定位位姿启动视觉定位。其中，预设残差阈值可以为预先根据经验确定的值。当残差小于预设残差阈值时，认为第四定位位姿足够精确，可以基于第四定位位姿启动视觉定位。

基于多个第四定位位姿启动视觉定位时，具体可以基于最新的第四定位位姿启动视觉定位。

综上，本实施例中，将在初始化区域内针对多帧图像确定的初始化位姿与根据车轮速检测设备确定的位姿进行交叉验证，判断位姿初始化是否成功，能够更准确地判断车辆的位姿初始化是否成功，即判断确定的定位位姿的精确度是否足够。

在本发明的另一实施例中，步骤3c，确定多个第四定位位姿和多个车辆定位位姿之间的残差的步骤，具体可以包括：

通过最小二乘法求解以下函数，得到多个第四定位位姿和多个车辆定位位姿之间的刚性变换矩阵T，将求解得到的T代入

得到多个第四定位位姿和多个车辆定位位姿之间残差：

其中，

为第i个第四定位位姿，

为第i个车辆定位位姿，N为第四定位位姿或车辆定位位姿的总数量，min为求最小值函数，||·||为范数符号。

在初始化区域内，根据多个第一道路图像确定的第四定位位姿可以采用第一轨迹

表示，根据车轮速检测设备采集的数据确定的多个车辆定位位姿可以采用第二轨迹

表示。求解

公式，可以理解为确定将第一轨迹变换至第二轨迹时的最小变换量。计算trace_init和trace_odom中每一项的残差大小，即计算

可以得到两个轨迹的匹配程度，当该匹配程度大于预设匹配度阈值时，确定初始化定位成功。本实施例能够更准确地确定残差。

在本发明的另一实施例中，基于图1所示实施例，步骤S150，根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定所述车辆的第四定位位姿的步骤，具体可以包括步骤1d～4d。

步骤1d：将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，得到预设地图中匹配成功的第四道路特征。

步骤2d：以第三定位位姿作为估计位姿的初始取值，根据估计位姿的取值，确定第一道路图像的道路特征与第四道路特征之间的参考映射误差。

本步骤中确定参考映射误差时可以参考步骤S420中提供的两种映射方式中的一种，将第一道路图像的道路特征与第四道路特征映射至同一坐标系后确定两者之间的参考映射误差。

步骤3d：当参考映射误差大于预设误差阈值时，调整车辆的估计位姿，并执行步骤2d中根据估计位姿的取值，确定第一道路图像的道路特征与第四道路特征之间的参考映射误差的步骤。

当参考映射误差大于预设误差阈值时，认为该估计位姿与车辆的真实定位位姿之间还存在较大差距，可以继续进行迭代。

步骤4d：当参考映射误差不大于预设误差阈值时，根据车辆的当前估计位姿确定车辆的第四定位位姿。

当参考映射误差不大于所述预设误差阈值时，认为该估计位姿与车辆的真实定位位姿非常接近，定位精度已经达到要求。

综上，本实施例提供了基于道路图像的道路特征与预设地图中的道路特征之间的匹配结果，通过迭代方式确定车辆的定位位姿的方式，能够更准确地确定车辆的定位位姿。

图5为本发明实施例提供的车载终端的一种结构示意图。该车载终端包括：处理器510、图像采集设备520和惯性测量单元530。处理器510包括：数据获取模块、位姿推算模块、图像获取模块、第一确定模块、第二确定模块和视觉启动模块；(图中未示出)

数据获取模块，用于当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据；

位姿推算模块，用于基于视觉定位失效之前车辆的第一定位位姿，对第一数据进行轨迹推算，得到车辆的第二定位位姿；

图像获取模块，用于当确定第二定位位姿指示的位置处于停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像；其中，第一道路图像为在初始化区域中采集的图像；

第一确定模块，用于基于第一道路图像的道路特征和第二定位位姿，通过位姿回归模型确定车辆的第三定位位姿；其中，位姿回归模型为预先根据在初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到；

第二确定模块，用于根据第三定位位姿，将第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定车辆的第四定位位姿；

视觉启动模块，用于基于第四定位位姿启动视觉定位。

在本发明的另一实施例中，基于图5所示实施例，处理器510还包括：失效检测模块，用于采用以下操作检测车辆在停车场内的视觉定位是否失效：

在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取预设地图中与第一道路特征匹配成功的第二道路特征；其中，第二道路图像为在停车场内采集的图像；

确定第一道路特征与第二道路特征之间的映射误差；

从预设地图包含的多个不同地图区域中，确定待检测位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差，作为待检测位姿的定位精度；

根据待检测位姿的定位精度与预设精度阈值之间的大小关系，确定车辆在停车场内的视觉定位是否失效。

在本发明的另一实施例中，基于图5所示实施例，失效检测模块，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定映射误差对应的第一定位误差时，包括：

将映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

在本发明的另一实施例中，基于图5所示实施例，处理器510包括：关系建立模块，用于采用以下操作建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征；

对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。

在本发明的另一实施例中，基于图5所示实施例，关系建立模块，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数时，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；p_gt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，I_seg为样本道路特征，I_map为第三道路特征；MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

在本发明的另一实施例中，基于图5所示实施例，处理器510还包括：模型训练模块，用于采用以下操作训练得到位姿回归模型：

获取在初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注的车辆位姿；

检测每个样本停车场图像的道路特征；

基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；

确定参考车辆位姿与标注的车辆位姿之间的差异量；

当差异量大于预设差异量阈值时，修正模型参数，返回执行基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的操作；

当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。

在本发明的另一实施例中，基于图5所示实施例，视觉启动模块，具体用于：

基于第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测，得到多个车辆定位位姿；

获取多个第一道路图像对应的车辆的多个第四定位位姿；其中，多个第一道路图像为在初始化区域中采集的图像；

确定多个第四定位位姿和多个车辆定位位姿之间的残差；

当残差小于预设残差阈值时，基于多个第四定位位姿启动视觉定位。

在本发明的另一实施例中，基于图5所示实施例，视觉启动模块，确定多个第四定位位姿和多个车辆定位位姿之间的残差时，包括：

通过最小二乘法求解以下函数，得到多个第四定位位姿和多个车辆定位位姿之间的刚性变换矩阵T：

将求解得到的T代入

得到多个第四定位位姿和多个车辆定位位姿之间残差；

其中，

为第i个第四定位位姿，

为第i个车辆定位位姿，N为第四定位位姿或车辆定位位姿的总数量，min为求最小值函数，||·||为范数符号。

该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种视觉定位失效后的重启方法，其特征在于，包括：

当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据；

基于视觉定位失效之前所述车辆的第一定位位姿，对所述第一数据进行轨迹推算，得到所述车辆的第二定位位姿；

当确定所述第二定位位姿指示的位置处于所述停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像；其中，所述第一道路图像为在所述初始化区域中采集的图像；

基于所述第一道路图像的道路特征和所述第二定位位姿，通过位姿回归模型确定所述车辆的第三定位位姿；其中，所述位姿回归模型为预先根据在所述初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到；

根据所述第三定位位姿，将所述第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定所述车辆的第四定位位姿；

基于所述第四定位位姿启动视觉定位。

2.如权利要求1所述的方法，其特征在于，采用以下方法检测车辆在停车场内的视觉定位是否失效：

在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；其中，所述第二道路图像为在停车场内采集的图像；

确定所述第一道路特征与所述第二道路特征之间的映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述待检测位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差，作为所述待检测位姿的定位精度；

根据所述待检测位姿的定位精度与预设精度阈值之间的大小关系，确定所述车辆在停车场内的视觉定位是否失效。

3.如权利要求2所述的方法，其特征在于，所述根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差的步骤，包括：

将所述映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g₀，求解得到多个定位误差(Δx,Δy)：

g₀(Δx,Δy)＝a₀Δx²+b₀ΔxΔy+c₀Δy²+d₀Δx+e₀Δy+f₀

其中，所述a₀、b₀、c₀、d₀、e₀、f₀为预先确定的函数系数；

将求解得到的多个定位误差中的最大值确定为与所述映射误差对应的第一定位误差r：

其中，

且

C＝2(a₀e₀ ²+c₀d₀ ²+(f₀-cost)b₀ ²-2b₀d₀e₀-a₀c₀(f₀-cost))。

4.如权利要求2或3所述的方法，其特征在于，采用以下方式建立目标地图区域中映射误差与定位误差之间的对应关系：

获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；

对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；

根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；

基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。

5.如权利要求4所述的方法，其特征在于，所述求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数的步骤，包括：

求解以下最小值函数

得到a₀、b₀、c₀、d₀、e₀和f₀，将求解得到的所述a₀、b₀、c₀、d₀、e₀和f₀代入g后的函数作为映射误差函数；

其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx²+bΔxΔy+cΔy²+dΔx+eΔy+f；所述p_gt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述I_seg为所述样本道路特征，所述I_map为所述第三道路特征；所述MapMatching(p_gt+Δp,I_seg,I_map)为多个扰动定位位姿p_gt+Δp对应的扰动映射误差。

6.如权利要求1所述的方法，其特征在于，所述位姿回归模型采用以下方式训练得到：

获取在所述初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注的车辆位姿；

检测每个样本停车场图像的道路特征；

基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿；

确定所述参考车辆位姿与所述标注的车辆位姿之间的差异量；

当所述差异量大于预设差异量阈值时，修正所述模型参数，返回执行所述基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的步骤；

当所述差异量不大于所述预设差异量阈值时，确定所述位姿回归模型训练完成。

7.如权利要求1所述的方法，其特征在于，所述基于所述第四定位位姿启动视觉定位的步骤，包括：

基于所述第一定位位姿，对车轮速检测设备采集的第二数据进行轨迹推测，得到多个车辆定位位姿；

获取多个第一道路图像对应的所述车辆的多个第四定位位姿；其中，所述多个第一道路图像为在所述初始化区域中采集的图像；

确定多个第四定位位姿和多个车辆定位位姿之间的残差；

当所述残差小于预设残差阈值时，基于所述多个第四定位位姿启动视觉定位。

8.如权利要求7所述的方法，其特征在于，所述确定多个第四定位位姿和多个车辆定位位姿之间的残差的步骤，包括：

通过最小二乘法求解以下函数，得到多个第四定位位姿和多个车辆定位位姿之间的刚性变换矩阵T：

将求解得到的所述刚性变换矩阵T代入

得到多个第四定位位姿和多个车辆定位位姿之间残差；

其中，所述

为第i个第四定位位姿，所述

为第i个车辆定位位姿，所述N为所述第四定位位姿或车辆定位位姿的总数量，所述min为求最小值函数，所述||·||为范数符号。

9.一种车载终端，其特征在于，包括：处理器、图像采集设备和惯性测量单元；所述处理器包括：数据获取模块、位姿推算模块、图像获取模块、第一确定模块、第二确定模块和视觉启动模块；

数据获取模块，用于当检测到车辆在停车场内的视觉定位失效时，获取惯性测量单元采集的第一数据；

位姿推算模块，用于基于视觉定位失效之前所述车辆的第一定位位姿，对所述第一数据进行轨迹推算，得到所述车辆的第二定位位姿；

图像获取模块，用于当确定所述第二定位位姿指示的位置处于所述停车场内预设的初始化区域中时，获取图像采集设备采集的停车场内的第一道路图像；其中，所述第一道路图像为在所述初始化区域中采集的图像；

第一确定模块，用于基于所述第一道路图像的道路特征和所述第二定位位姿，通过位姿回归模型确定所述车辆的第三定位位姿；其中，所述位姿回归模型为预先根据在所述初始化区域内采集的多个样本道路图像以及对应的样本车辆位姿和标注的车辆位姿训练得到；

第二确定模块，用于根据所述第三定位位姿，将所述第一道路图像的道路特征与预设地图中各个位置点的道路特征进行匹配，根据匹配结果确定所述车辆的第四定位位姿；

视觉启动模块，用于基于所述第四定位位姿启动视觉定位。

10.如权利要求9所述的终端，其特征在于，所述处理器还包括：失效检测模块，用于采用以下操作检测车辆在停车场内的视觉定位是否失效：

在根据第二道路图像中的第一道路特征与预设地图中预先建立的道路特征之间的匹配结果进行车辆定位，得到车辆的待检测位姿时，获取所述预设地图中与所述第一道路特征匹配成功的第二道路特征；其中，所述第二道路图像为在停车场内采集的图像；

确定所述第一道路特征与所述第二道路特征之间的映射误差；

从所述预设地图包含的多个不同地图区域中，确定所述待检测位姿所在的目标地图区域；

根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的第一定位误差，作为所述待检测位姿的定位精度；

根据所述待检测位姿的定位精度与预设精度阈值之间的大小关系，确定所述车辆在停车场内的视觉定位是否失效。

Images