CN112700468A

CN112700468A - 位姿确定方法及装置、电子设备和存储介质

Info

Publication number: CN112700468A
Application number: CN201911011940.XA
Authority: CN
Inventors: 章国锋; 李津羽; 鲍虎军
Original assignee: Zhejiang Shangtang Technology Development Co Ltd
Current assignee: Zhejiang Shangtang Technology Development Co Ltd
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2021-04-23

Abstract

本公开涉及一种位姿确定方法及装置、电子设备和存储介质。所述位姿确定方法包括：获取待处理帧序列；获取与待处理帧序列对应的第一运动信息；从平面地图数据库中，读取至少一个平面的平面信息，其中，平面地图数据库包括待处理帧序列所在空间包含的地标点和平面；根据待处理帧序列、第一运动信息和平面信息，确定与待处理帧序列对应的位姿。通过上述过程，可以在基于待处理帧序列和第一运动信息确定位姿的过程中，通过一个或多个平面的平面信息，将属于平面的地标点约束在平面上，减小平面上的点在缺乏运动或是纯旋转的场景中发生深度发散的可能性，从而提升通过确定位姿来进行跟踪的过程的稳定性和鲁棒性。

Description

位姿确定方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉领域，尤其涉及一种位姿确定方法及装置、电子设备和存储介质。

背景技术

视觉惯导跟踪***具有成本低，效果好，应用广的诸多优点。得益于相机和惯导传感器在智能手机中的广泛使用，视觉惯导跟踪可以很好地实现手机移动平台上的跟踪，从而支持更加沉浸式的移动增强现实应用。此外，在机器人、自动驾驶等诸多领域，视觉惯导跟踪***也具有巨大的潜力和广泛的前景。

然而，视觉惯导跟踪***在设备缺乏运动，或设备纯旋转时，由于视觉无法提供深度等信息，使得惯导传感器存在的积累误差难以被及时纠正，从而降低整个***跟踪的稳定性，而不稳定的跟踪结果反过来使得深度估计愈发不准确，最终使得整个***变得不再鲁棒。

发明内容

本公开提出了一种位姿确定方案。

根据本公开的一方面，提供了一种位姿确定方法，包括：

获取待处理帧序列；

获取与所述待处理帧序列对应的第一运动信息；

从平面地图数据库中，读取至少一个平面的平面信息，其中，所述平面地图数据库包括所述待处理帧序列所在空间包含的地标点和平面；

根据所述待处理帧序列、所述第一运动信息和所述平面信息，确定与所述待处理帧序列对应的位姿。

通过上述过程，可以在基于待处理帧序列和第一运动信息确定位姿的过程中，通过一个或多个平面的平面信息，将属于平面的地标点约束在平面上，减小平面上的点在缺乏运动或是纯旋转的场景中发生深度发散的可能性，从而提升通过确定位姿来进行跟踪的过程的稳定性和鲁棒性。

在一种可能的实现方式中，所述根据所述待处理帧序列、所述第一运动信息和所述平面信息，确定与所述待处理帧序列对应的位姿，包括：

对所述待处理帧序列进行特征跟踪，得到所述待处理帧序列包含的多个关键点，其中，所述关键点为位于帧上的二维坐标点；

根据所述关键点，结合所述平面信息，得到与所述关键点对应的地标点的位置信息；

根据所述位置信息，结合所述第一运动信息，确定与所述待处理帧序列对应的位姿。

通过上述过程，可以在位置信息中添加每个平面的平面约束，从而使得基于位置信息确定的位姿中也添加了每个平面的平面约束，继而将属于平面的地标点有效的约束在空间的平面上，且不受平面朝向或是数量的限制，从而有效减小由于各种误差导致属于平面的点发生深度发散的可能性，约束跟踪，提升位姿确定结果的鲁棒性。

在一种可能的实现方式中，所述根据所述关键点，结合所述平面信息，得到与所述关键点对应的地标点的位置信息，包括：

根据每个所述平面的平面信息，将与所述关键点对应的地标点划分为位于所述平面上的平面地标点，以及位于所述平面外的空间地标点；

将所述平面地标点投影至所属平面，得到平面地标投影点；

分别获取所述空间地标点和所述平面地标投影点在对应的帧上的像素坐标，作为所述位置信息。

通过将平面地标点投影至平面，得到平面地标投影点，然后将平面地标投影点和空间地标点在对应的帧上的像素坐标作为位置信息，可以将属于平面的地标点固定于相应的平面上，从而减小平面上的点由于深度误差所带来的噪音，进一步地，在跟踪装置缺乏有效运动时，通过上述过程，可以使得平面信息更好地固定三维点深度，减小深度发散，从而尽可能的减少跟踪失效的可能性；同时，由于是将平面地标投影点投影至所属平面来实现平面约束的添加，因此在增加平面约束时，不会受到平面朝向和平面数量的限制，因此本公开实施例提出的位姿确定方法在使用时可以不局限于具有水平平面的场景，而是可以基本适用于大部分场景，扩大了位姿确定方法的适用范围，提升了实用性。

在一种可能的实现方式中，所述根据所述位置信息，结合所述第一运动信息，确定与所述待处理帧序列对应的位姿，包括：

根据所述位置信息，统计所述地标点的观测误差；

根据所述第一运动信息，统计所述待处理帧序列的运动误差；

根据所述观测误差和所述运动误差得到总体误差，将在所述总体误差达到预设条件时的位姿，作为与所述待处理帧序列对应的位姿。

通过上述过程，可以将添加了平面约束的观测误差与运动误差结合起来，从而通过计算得到待处理帧序列对应的位姿，通过这一过程，可以在求解位姿时，有效的将视觉信息、运动信息和平面信息结合起来，通过平面信息减小视觉信息的深度发散，同时结合运动信息，来提升确定的位姿的准确性，继而提升跟踪的稳定性和鲁棒性。

在一种可能的实现方式中，所述根据所述位置信息，统计所述地标点的观测误差，包括：

根据所述空间地标点在对应的帧上的像素坐标，统计所述空间地标点的观测误差；

根据所述平面地标投影点在对应的帧上的像素坐标，统计所述平面地标投影点的观测误差；

将所述空间地标点的观测误差和所述平面地标投影的观测误差之和，作为所述地标点的观测误差。

通过上述过程，可以有效的将空间地标点和平面地标投影点的观测误差进行分别求解，在计算平面地标投影点的观测误差时，基于平面和平面地标投影点之间的位置关系，将其深度的表达形式与空间地标点的深度的表达形式进行区分，从而减小属于平面的地标点在位姿确定过程中发生深度发散的可能性，提升位姿确定结果的准确性，继而提升跟踪的鲁棒性和稳定性；而且由于空间地标点的观测误差与平面地标投影点的观测误差是分别计算的，因此在无法探测到空间的平面信息时，也可以得到空间地标点的观测误差，从而仍可以通过后续过程进行位姿求解，即在探测不到平面信息的特殊状况下，本公开实施例中提出的方法仍然可以进行求解，进一步提升了跟踪过程的鲁棒性和稳定性。

在一种可能的实现方式中，所述方法还包括：

对所述平面地图数据库进行更新。

通过对平面地图数据库进行更新，可以根据位姿确定过程中获取的帧以及得到的地标点，进一步修正空间的有关信息，从而便于提升后续位姿确定结果的准确性，也提升了整体跟踪过程的鲁棒性和稳定性。

在一种可能的实现方式中，所述根据所述位姿，对所述平面地图数据库进行更新，包括：

通过平面提取，对所述平面地图数据库进行更新；和/或，

对所述平面地图数据库进行平面扩展。

通过平面提取和平面扩展，可以基于位姿确定过程得到的信息，对空间中的地标点和平面进行扩大与更正，提升检测到的平面的准确性，同时，更新后的平面又可以进一步应用于后续的位姿确定过程中，再去提升后续位姿确定的准确性；通过二者之间不断的正向反馈，可以更加有效地提升整个跟踪过程的准确性。

在一种可能的实现方式中，所述通过平面提取，对所述平面地图数据库进行更新，包括：

根据所述待处理帧序列的顺序，依次将所述待处理帧序列包括的每个帧作为替换帧；

通过所述替换帧对滑动帧序列进行更新，其中，所述滑动帧序列用于生成所述平面；

根据更新后的滑动帧序列，通过平面提取生成平面，更新所述平面地图数据库。

通过上述过程，可以充分利用在位姿确定过程中得到的信息，如待处理帧序列本身以及待处理帧序列对应的关键点和地标点等，来更新滑动帧序列，从而通过平面提取更新平面地图数据库，进一步提升位姿确定过程与平面信息之间的相关性，从而同时提升位姿确定的准确性和平面信息的精度，也可以同时降低整个方法过程中的计算量，减小重复计算的可能性。

在一种可能的实现方式中，所述通过所述替换帧对滑动帧序列进行更新，包括：

对所述滑动帧序列的最后一帧进行关键帧判断；

在所述滑动帧序列的最后一帧为关键帧时，对所述滑动帧序列的第一帧进行边缘化处理，将所述替换帧加入所述滑动帧序列；

在所述滑动帧序列的最后一帧为非关键帧时，将所述滑动帧序列的最后一帧替换为所述替换帧。

通过在滑动帧序列的最后一帧为关键帧时，对滑动帧序列的第一帧进行边缘化处理，然后将替换帧加入滑动帧序列，在滑动帧序列的最后一帧为非关键帧时，将滑动帧序列的最后一帧替换为替换帧，可以在保留滑动帧序列所需信息的同时，保证滑动帧序列内所包含的帧的数量不超过需求，在边缘化时，通过先边缘化后替换的方式，可以减小滑动帧序列发生多次边缘化的可能性，提升滑动帧序列中信息的可靠性，从而提升后续平面提取结果的准确性，进一步增加整个跟踪过程的可靠性。

在一种可能的实现方式中，所述根据更新后的滑动帧序列，通过平面提取生成平面，更新所述平面地图数据库之前，还包括：

根据更新后的滑动帧序列对应的地标点，进行集束优化。

通过集束优化，可以基于滑动帧序列中产生的误差的能量，对滑动帧序列进行优化，从而可以使得在平面提取前，基于优化得到更为准确的滑动帧序列对应的地标点的坐标，同时由于地标点的坐标更为精确，因此可以进一步修正滑动帧序列中每一帧所对应的位姿。

在一种可能的实现方式中，所述根据更新后的滑动帧序列对应的地标点，进行集束优化，包括：

根据所述位姿的确定过程，得到与更新后的滑动帧序列对应的平面地标点和空间地标点，分别作为滑动平面地标点和滑动空间地标点；

根据所述滑动平面地标点所属平面的平面信息，得到所述滑动平面地标点的无结构平面距离误差；

根据所述无结构平面距离误差，通过计算得到滑动空间地标点的坐标。

通过集束优化对与滑动帧序列对应的地标点进行求解时，位于平面上的滑动平面地标点，因为无结构平面距离误差的存在而消除了变量，从而在集束优化的过程中只需求解滑动空间地标点的坐标，保持了集束优化的稀疏性，从而降低了由于边缘化所增加的计算成本。

在一种可能的实现方式中，所述对所述平面地图数据库进行平面扩展，包括：

根据所述位姿的确定过程，得到与所述待处理帧序列对应的待扩展地标点；

对所述待扩展地标点进行平面位置比较，分别确定所述待扩展地标点与所述平面地图数据库包含的每个平面之间的位置关系；

在所述待扩展地标点位于所述平面地图数据库包含的至少一个平面上的情况下，将所述待扩展地标点添加至所属平面。

通过上述过程，可以将位姿确定过程中得到的相关信息，如地标点或是关键点等继续利用，从而将平面地图数据库中已有的平面进行扩展，进一步提升平面信息的准确性的同时，由于利用了位姿确定过程中得到的信息，因此可以降低计算量，提高整个方法的计算效率。

在一种可能的实现方式中，所述根据所述位姿的确定过程，得到与所述待处理帧序列对应的待扩展地标点，包括：

根据所述位姿的确定过程，得到所述待处理帧序列包含的关键点；

对所述关键点进行三角化，得到与所述待处理帧序列对应的待扩展地标点。

通过上述过程，可以将位姿确定过程中未被充分利用的关键点，进一步用于平面扩展中，从而进一步提升了平面扩展的准确性，继而提升整个跟踪过程的精度和鲁棒性。

在一种可能的实现方式中，所述对所述待扩展地标点进行平面位置比较，包括：

计算所述待扩展地标点与待比较平面的第一重投影误差；

将所述待扩展地标点分别投影至所述待比较平面，得到待扩展地标投影点；

计算所述待扩展地标投影点与所述待比较平面的第二重投影误差；

在所述第二重投影误差与所述第一重投影误差之间的变化量不超过阈值时，所述待扩展地标点位于所述待比较平面上。

通过计算待扩展地标点的第一重投影误差与第二重投影误差之间的变化量，来确定待扩展地标点是否属于平面上，这种实现方式可以将由于平移运动小而导致的误差较大散布在空间中距离所属平面较远的平面地标点，扩展至平面之中，从而进一步提升了平面地图数据库内平面信息的准确性，继而提升了整个跟踪过程的精度和鲁棒性。即使在运动退化时，存在部分地标点，通过重投影误差一致性的判断被错误地添加到了其本身不属于的平面上，但是这一过程也会有助于将该地标点保持在一个合理的深度范围内，而且在深度可观测后，这些被错误添加到平面上的地标点也可以通过有效地转化方式从平面中去掉。

在一种可能的实现方式中，所述方法还包括：

读取当前状态下的第二运动信息；

根据所述第二运动信息，结合与所述待处理帧序列对应的位姿，得到当前状态下的位姿。

通过读取当前状态下的第二运动信息，根据第二运动信息结合与待处理帧序列对应的位姿，得到当前状态下的位姿，可以使得最终获取或是输出的位姿更加准确，进一步提升位姿确定方法的精确度。

根据本公开的一方面，提供了一种位姿确定装置，包括：

待处理帧序列获取模块，用于获取待处理帧序列；

第一运动信息获取模块，用于获取与所述待处理帧序列对应的第一运动信息；

平面信息读取模块，用于从平面地图数据库中，读取至少一个平面的平面信息，其中，所述平面地图数据库包括所述待处理帧序列所在空间包含的地标点和平面；

位姿确定模块，用于根据所述待处理帧序列、所述第一运动信息和所述平面信息，确定与所述待处理帧序列对应的位姿。

在一种可能的实现方式中，所述位姿确定模块包括：

关键点获取单元，用于对所述待处理帧序列进行特征跟踪，得到所述待处理帧序列包含的多个关键点，其中，所述关键点为位于帧上的二维坐标点；

位置信息生成单元，用于根据所述关键点，结合所述平面信息，得到与所述关键点对应的地标点的位置信息；

位姿确定单元，用于根据所述位置信息，结合所述第一运动信息，确定与所述待处理帧序列对应的位姿。

在一种可能的实现方式中，所述位置信息生成单元用于：

将所述平面地标点投影至所属平面，得到平面地标投影点；

在一种可能的实现方式中，所述位姿确定单元用于：

根据所述位置信息，统计所述地标点的观测误差；

在一种可能的实现方式中，所述位姿确定单元进一步用于：

在一种可能的实现方式中，所述装置还包括：

平面地图数据库更新模块，用于对所述平面地图数据库进行更新。

在一种可能的实现方式中，所述平面地图数据库更新模块，包括：

平面提取单元，用于通过平面提取，对所述平面地图数据库进行更新；和/或，

平面扩展单元，用于对所述平面地图数据库进行平面扩展。

在一种可能的实现方式中，所述平面提取单元包括：

替换帧确定子单元，用于根据所述待处理帧序列的顺序，依次将所述待处理帧序列包括的每个帧作为替换帧；

滑动帧序列更新子单元，用于通过所述替换帧对滑动帧序列进行更新，其中，所述滑动帧序列用于生成所述平面；

平面提取子单元，用于根据更新后的滑动帧序列，通过平面提取生成平面，更新所述平面地图数据库。

在一种可能的实现方式中，所述滑动帧序列更新子单元用于：

对所述滑动帧序列的最后一帧进行关键帧判断；

在一种可能的实现方式中，所述平面提取子单元之前，还包括：

集束优化子单元，用于根据更新后的滑动帧序列对应的地标点，进行集束优化。

在一种可能的实现方式中，所述集束优化子单元用于：

在一种可能的实现方式中，所述平面扩展单元包括：

待扩展地标点获取子单元，用于根据所述位姿的确定过程，得到与所述待处理帧序列对应的待扩展地标点；

位置关系确定子单元，用于对所述待扩展地标点进行平面位置比较，分别确定所述待扩展地标点与所述平面地图数据库包含的每个平面之间的位置关系；

平面扩展子单元，用于在所述待扩展地标点位于所述平面地图数据库包含的至少一个平面上的情况下，将所述待扩展地标点添加至所属平面。

在一种可能的实现方式中，所述待扩展地标点获取子单元用于：

在一种可能的实现方式中，所述位置关系确定子单元用于：

计算所述待扩展地标点与待比较平面的第一重投影误差；

在一种可能的实现方式中，所述装置还用于：

读取当前状态下的第二运动信息；

根据本公开的一方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行上述位姿确定方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述位姿确定方法。

在本公开实施例中，通过采集待处理帧序列，获取第一运动信息，并从平面地图数据库中，读取至少一个平面的平面信息，可以根据待处理帧序列、第一运动信息和平面信息，来确定与待处理帧序列对应的位姿。通过上述过程，可以在基于待处理帧序列和第一运动信息确定位姿的过程中，通过一个或多个平面的平面信息，将属于平面的地标点约束在平面上，减小平面上的点在缺乏运动或是纯旋转的场景中发生深度发散的可能性，从而提升通过确定位姿来进行跟踪的过程的稳定性和鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的位姿确定方法的流程图。

图(2a)-图(2d)示出根据本公开实施例的采用不同策略的滑动帧序列进行边缘化的示意图；

图(2a)示出不添加平面信息的情况下，滑动帧序列先加入替换帧再对第一帧边缘化的示意图；

图(2b)示出不添加平面信息的情况下，滑动帧序列的最后一帧被替换的示意图；

图(2c)示出添加平面信息的情况下，滑动帧序列先对第一帧边缘化再加入替换帧的示意图；

图(2d)示出添加平面信息的情况下，滑动帧序列的最后一帧被替换的示意图。

图(3a)-图(3b)示出根据本公开实施例的采用不同策略的滑动帧序列的集束优化的示意图；

图(3a)示出未添加无结构平面距离误差的集束优化示意图；

图(3b)示出添加无结构平面距离误差的集束优化示意图。

图4示出根据本公开实施例的位姿确定装置的框图

图5示出根据本公开一应用示例的示意图。

图6示出根据本公开实施例的一种电子设备的框图。

图7示出根据本公开实施例的一种电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的位姿确定方法的流程图，该方法可以应用于位姿确定装置，位姿确定装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。

在一些可能的实现方式中，该位姿确定方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

如图1所示，所述位姿确定方法可以包括：

步骤S11，获取待处理帧序列。

步骤S12，获取与待处理帧序列对应的第一运动信息。

步骤S13，从平面地图数据库中，读取至少一个平面的平面信息，其中，平面地图数据库包括待处理帧序列所在空间包含的地标点和平面。

步骤S14，根据待处理帧序列、第一运动信息和平面信息，确定与待处理帧序列对应的位姿。

上述公开实施例可以应用于对目标对象进行跟踪的过程之中，其中，对目标对象进行跟踪的装置在本公开实施例中可以被称为跟踪装置，其实现方式也不受限定，可以为终端设备、服务器或其他处理设备等，终端设备的实现方式可以参考上述公开实施例，在此不再赘述。跟踪的目标对象，可以根据跟踪需求灵活选择，在此也不做限定。当本方法应用于对目标对象进行跟踪过程时，其确定的位姿为跟踪装置的位姿，位姿确定装置与跟踪装置二者之间的关系不受限定，在一种可能的实现方式中，位姿确定装置可以与跟踪装置为同一装置，即跟踪装置在进行跟踪的同时，根据跟踪过程产生的信息来不断确定自身的位姿；在一种可能的实现方式中，位姿确定装置可以与跟踪装置为不同装置，即跟踪装置在跟踪过程中，不断将跟踪产生的信息传递至位姿确定装置，然后位姿确定装置根据接收的信息，来计算跟踪装置的位姿，当跟踪装置与位姿确定装置不同时，二者之间的信息传递方式在本公开实施例中不做限制，可以根据实际情况进行灵活选择。

上述公开实施例中，步骤S11获取的待处理帧序列，可以是跟踪装置在对目标对象进行跟踪的过程中所采集的帧序列，其包含的帧的数量在本公开实施例中不受限制，可以根据实际情况灵活选择与确定。获取待处理帧序列的方式也不受限定，在一种可能的实现方式中，可以为跟踪装置通过具有图像采集功能的模块，如摄像头等，对目标对象进行扫描跟踪，从而得到待处理帧序列，然后将采集的内容传递至位姿确定装置中。

步骤S12中获取的与待处理帧序列对应的第一运动信息，其具体包含的信息内容也可以根据实际情况灵活确定。在一种可能的实现方式中，第一运动信息可以为跟踪装置在进行待处理帧序列的采集过程中所产生的与运动相关的信息，如跟踪装置采集待处理帧序列时的加速度或是角速度等，在一种可能的实现方式中，第一运动信息可以为惯性测量信息，惯性测量信息可以是通过惯性测量单元(IMU，Inertial Measurement Unit)所得到的信息，包括跟踪装置在采集待处理帧序列时三个轴向的加速度和角速度信号。基于上述公开实施例可以看出，在一个示例中，跟踪装置可以包括惯性测量单元和相机，相机可以采集待处理帧序列，惯性测量单元可以采集第一运动信息。

步骤S13中读取的平面信息，可以为待处理帧序列所在空间包含的平面的相关信息。

其中，待处理帧序列所在空间，可以是待处理帧序列的图像中所对应的空间，即跟踪装置采集的图像中所显示的空间，在一种可能的实现方式中，当跟踪装置对目标对象进行连续跟踪时，可以认为待处理帧序列所在空间，与跟踪装置在采集待处理帧序列之前采集的前序帧序列所在空间，以及在采集待处理帧序列之后采集的后序帧序列所在空间，均为同一空间，即跟踪装置在跟踪过程中，任一时刻所采集的帧序列，均位于同一空间中，这一空间可以被记为目标对象所在空间。后续公开实施例中，均以跟踪过程所对应的空间不随时间而改变为例进行阐述，并将跟踪过程所对应的空间简称为空间。

地标点为空间内包含的可以被观测到的三维坐标点，其中，被观测到是指该地标点在图像上存在与之对应的二维坐标点，即该点可以从图像上进行观察，通过地标点，可以对空间内任意对象进行位置求解，因此在求解跟踪对象的位姿时，可以将位姿求解过程转换为对跟踪装置所对应的地标点的相关位置坐标的求解过程。在一个示例中，在位姿求解时，可以通过哈密顿四元数q_i来表示三维旋转，通过C(q_i)来表示与三维旋转对应的旋转矩阵，在一个示例中，当跟踪装置由IMU单元和相机共同构成时，IMU单元与相机之间的刚性连接关系可以被事先校准，因此IMU单元相对于帧图像的位姿可以表示为

和

相机相对于帧图像的位姿可以表示为

和

读取的平面数量在本公开实施例中不做限定，可以根据平面地图数据库中包含的平面的数量灵活确定。在一种可能的实现方式中，读取的平面的数量可以与平面地图数据库包含的平面的数量一致，即读取平面地图数据库包含的所有平面的平面信息。

平面信息的具体信息内容的实现形式，在本公开实施例中也不做限制。在一种可能的实现方式中，平面信息可以认为由平面所包含的每一个地标点的位置坐标共同构成。由于平面也属于空间内，因此空间中包含的地标点，与平面之间可以存在两种位置关系，一种是位于平面上，另一种是位于平面外，一个平面可以认为是由无数个属于平面上的点共同构成的，因此可以将平面信息表示为平面包含的所有地标点的位置坐标或是平面满足的位置方程等，在一个示例中，可以将平面信息表示为平面的法向量n_s和其到原点的有符号距离d_s，对于一个平面s，若某一地标点x位于平面上，则该地标点可以满足

通过步骤S13还可以看出，平面信息是通过读取平面地图数据库来得到。在一种可能的实现方式中，平面地图数据库可以用于储存空间的有关信息，上述公开实施例已经提出空间可以包括地标点和平面，因此平面地图数据库可以包括空间包含的地标点和平面的相关信息，比如地标点的坐标，平面包含的地标点坐标或是平面满足的位置方程等。其中，在一种可能的实现方式中，平面地图数据库中包括的平面以及地标点的信息，可以在初始化后，基于位姿确定的过程进行不断更新来得到，即在跟踪装置在对目标对象开始跟踪时，平面地图数据库可以通过初始化来得到初始的平面信息和地标点。在后续的跟踪中，由于跟踪装置需要基于地标点来确定位姿，因此还可以不断根据待处理帧序列得到新的地标点或是修正原有地标点，这些地标点可以不断存储进平面地图数据库中来更新平面地图数据库，同时，也可以根据这些新的地标点，来得到空间内新的平面或是对原有的平面进行扩展或修正。具体的过程可以参考后续公开实施例，在此暂且不做展开。

上述公开实施例中提到的平面地图数据库的初始化方式在本公开实施例中不做限制，任何可以基于初始采集到的帧或是运动信息来对空间内的平面进行提取的方式均可以作为初始化的实现方式，根据实际情况进行灵活选择即可。在一种可能的实现方式中，平面地图数据库的初始化方式可以为：将IMU的测量结果预先集成到相对运动约束中，根据跟踪装置在对目标对象进行跟踪时所采集的初始帧，建立一个仅包含视觉信息的运动恢复结果(SFM，Struct From Motion)，然后将其与集成的IMU的测量结果的预积分进行对齐，从而求解初始状态，得到空间内可以检测到的初始平面，并将这一结果存储在平面地图数据库内，完成对平面地图数据库的初始化。

由于平面地图数据库中的内容可以不断基于位姿确定结果进行更新，因此平面地图数据库内包含的平面的数量在本公开实施例中不做限制，可以根据对空间的帧序列进行平面检测和提取得到的结果灵活确定，可以为1个，也可以为多个，在对空间对应的图像进行平面检测的结果为0时，也可以认为平面的数量为0。

除此之外，平面地图数据库还可以包括其他与位姿确定相关的信息，在一个示例中，平面地图数据库还可以包括位姿确定过程中已确定的历史位姿等，并可以根据跟踪过程中不断得到的位姿确定结果，对平面地图数据库内存储的位姿进行更新。

在采集了待处理帧序列，获取了第一运动信息，并读取了至少一个平面的平面信息后，可以通过步骤S14，确定与待处理帧序列对应的位姿，即跟踪装置在采集待处理帧序列的过程中的位姿。步骤S14的具体确定过程可以根据实际情况灵活选择，在此先不做展开，可以参考后续公开实施例。

通过上述各公开实施例，可以在基于待处理帧序列和第一运动信息确定位姿的过程中，通过一个或多个平面的平面信息，将属于平面的地标点约束在平面上，减小平面上的点在缺乏运动或是纯旋转的场景中发生深度发散的可能性，从而提升通过确定位姿来进行跟踪的过程的稳定性和鲁棒性。

通过上述各公开实施例可以看出，在上述过程中，步骤S11和步骤S12的实现方式均不受限制，可以根据实际情况灵活确定。在一种可能的实现方式中，在位姿确定装置与跟踪装置一致时，步骤S11和步骤S12的实现方式可以为主动获取；在一种可能的实现方式中，在位姿确定装置与跟踪装置不一致时，步骤S11和步骤S12的实现方式可以为接收跟踪装置获取的待处理帧序列和第一运动信息。而步骤S13的实现方式同样不受限制，在一种可能的实现方式中，平面地图数据库可以设置于位姿确定装置内，因此位姿确定装置可以直接读取从平面地图数据库中读取平面信息，具体读取的平面数量可以参考上述公开实施例中提出的实现方式，在此不再赘述。

在一种可能的实现方式中，步骤S14可以包括：

步骤S141，对待处理帧序列进行特征跟踪，得到待处理帧序列包含的多个关键点，其中，关键点为位于帧上的二维坐标点。

步骤S142，根据关键点，结合平面信息，得到与关键点对应的地标点的位置信息。

步骤S143，根据位置信息，结合第一运动信息，确定与待处理帧序列对应的位姿。

上述公开实施例中，关键点可以为位于帧上的特征点，由于其位于帧上，因此关键点属于二维坐标点。上述各公开实施例中已经提出，地标点是属于空间的三维坐标点，因此，当属于某一帧的关键点在连续的帧序列中持续存在时，根据其在帧序列中位置的移动情况，则可以将这一关键点对应到空间中，即在位姿确定过程中，得到的关键点可能在空间中存在对应的地标点。

步骤S141的实现方式不受限定，即对待处理帧序列进行特征跟踪的方式，在本公开实施例中不受限制，在一个示例中，对待处理帧序列进行特征跟踪的方式可以为，对待处理帧序列中的目标对象进行特征检测，得到关键点，再对关键点进行特征跟踪，特征检测和跟踪的方式可以根据实际情况灵活选择，在一个示例中，可以通过Shi-Tomasi关键点探测器检测关键点，然后再通过KLT(Kanade Lucas Tomasi)特征***实现对关键点的跟踪。

特征跟踪所得到的待处理帧序列包含的关键点的数量不受限制，可以根据实际情况灵活确定，在一个示例中，得到的关键点数量可以在3个以上，在一个示例中，得到的关键点数量可以在5个以上。

上述公开实施例中已经提出，关键点在空间中可以存在对应的地标点，通过步骤S141得到与待处理帧序列包含的关键点后，可以进一步确定其映射在空间中的地标点，上述公开实施例中已经提出，位姿确定的结果需要基于平面约束来得到，因此步骤S142中，可以根据关键点，结合平面信息，来得到与关键点对应的地标点的位置信息，从而使得位置信息中添加了平面约束，位置信息的具体实现方式可以参考下述各公开实施例，在此先不做展开。

在得到了基于平面约束的位置信息后，可以基于此位置信息，结合第一运动信息通过步骤S143来确定与待处理帧序列对应的位姿，步骤S143的具体实现方式可以根据位置信息的具体形式来灵活确定，同样参考后续各公开实施例，在此不再赘述。

通过对待处理帧序列进行跟踪得到多个关键点，然后结合平面信息得到与关键点对应的地标点的位置信息，再基于此位置信息结合第一运动信息来确定位姿，通过上述过程，可以在位置信息中添加每个平面的平面约束，从而使得基于位置信息确定的位姿中也添加了每个平面的平面约束，继而将属于平面的地标点有效的约束在空间的平面上，且不受平面朝向或是数量的限制，从而有效减小由于各种误差导致属于平面的点发生深度发散的可能性，约束跟踪，提升位姿确定结果的鲁棒性。

在一种可能的实现方式中，步骤S142可以包括：

步骤S1421，根据每个平面的平面信息，将与关键点对应的地标点划分为位于平面上的平面地标点，以及位于平面外的空间地标点。

步骤S1422，将平面地标点投影至所属平面，得到平面地标投影点。

步骤S1423，分别获取空间地标点和平面地标投影点在对应的帧上的像素坐标，作为位置信息。

上述公开实施例中已经提出，平面地图数据库中包含了空间内每个平面的平面信息，而对于同属于空间的地标点和平面来说，地标点与平面之间可以存在两种位置关系，即地标点在平面上，和地标点在平面外，因此，对于待处理帧序列检测出的关键点来说，当其在空间中存在对应的地标点时，可以根据读取的平面信息，将其划分为两种类型，即当地标点属于平面时，可以将其记为平面地标点，当地标点不属于平面，位于平面外时，可以将其记为空间地标点。

上述公开实施例中已经提出，步骤S142的目的在于将属于平面的地标点约束在平面上，即对平面地标点添加平面约束。在一种可能的实现方式中，可以通过步骤S1422对平面地标点添加约束，即将平面地标点投影至该平面地标点所在的平面上，并将投影的点记为平面地标投影点，然后可以将平面地标投影点和空间地标点在空间中相关的坐标信息作为位置信息，由于在实际求解过程中，可以直接获取的数据为地标点对应的关键点在帧上的像素坐标，因此在一个示例中，可以将空间地标点和平面投影地标点在对应的帧上的像素坐标，来作为位置信息，用于步骤S143中的位姿求解。

通过将平面地标点投影至平面，得到平面地标投影点，然后将平面地标投影点和空间地标点在对应的帧上的像素坐标作为位置信息，可以将属于平面的地标点固定于相应的平面上，从而减小平面上的点由于深度误差所带来的噪音，进一步地，在跟踪装置缺乏有效运动时，通过上述过程，可以使得平面信息更好地固定三维点深度，减小深度发散，从而尽可能的减少跟踪失效的可能性；同时，由于是将平面地标点投影至所属平面来实现平面约束的添加，因此在增加平面约束时，不会受到平面朝向和平面数量的限制，因此本公开实施例提出的位姿确定方法在使用时可以不局限于具有水平平面的场景，而是可以基本适用于大部分场景，扩大了位姿确定方法的适用范围，提升了实用性。

在一种可能的实现方式中，步骤S143可以包括：

步骤S1431，根据位置信息，统计地标点的观测误差。

步骤S1432，根据第一运动信息，统计待处理帧序列的运动误差。

步骤S1433，根据观测误差和运动误差得到总体误差，将在总体误差达到预设条件时的位姿，作为与待处理帧序列对应的位姿。

上述公开实施例中，统计地标点的观测误差的具体计算方式，可以根据实际情况灵活选择相应的计算方式，不局限于下述各公开实施例。通过上述公开实施例可以看出，位置信息可以包括空间地标点和平面地标投影点在对应的帧上的像素坐标，因此，可以基于空间地标点和平面地标投影点的实际情况，来确定地标点的观测误差。在一种可能的实现方式中，步骤S1431可以包括：

步骤S14311，根据空间地标点在对应的帧上的像素坐标，统计空间地标点的观测误差。

步骤S14312，根据平面地标投影点在对应的帧上的像素坐标，统计平面地标投影点的观测误差。

步骤S14313，将空间地标点的观测误差和平面地标投影的观测误差之和，作为地标点的观测误差。

上述公开实施例中，观测误差的具体计算方式不受限制，任何可以用于计算地标点的观测误差的计算公式，均可以作为本公开实施例中的实现方式，不局限于下述公开实施例。在一个示例中，空间地标点的观测误差可以通过下述公式(1)的形式进行表示：

其中，u_ik为帧I_i上与空间地标点x_k对应的关键点的估计坐标值，

为帧I_i上与空间地标点x_k对应的关键点的实际坐标值，M为观测到的空间地标点的个数，ψ为空间地标点的观测误差的信息矩阵。

在一个示例中，平面地标投影点的观测误差可以通过下述公式(2)的形式进行表示：

其中，

为帧I_i上与属于平面s的平面地标投影点x_k对应的关键点的估计坐标值，

为帧I_i上与属于平面s的平面地标投影点x_k对应的关键点的实际坐标值，P为平面的个数。

上述公开实施例中，u_ik等估计值可以与跟踪装置的位姿之间建立数学关系，从而用于位姿的求解，在一个示例中，u_ik与位姿

和

之间的参数关系可以通过下述公式(3)的形式进行表达：

其中，K为相机的内参矩阵，Π为投影变换。

基于公式(3)，可以建立起公式(1)与位姿之间的关系，即得到空间地标点的观测误差。进一步地，上述公开实施例中已经提出，地标点x_k是可以通过对帧序列进行观测得到的三维点，将观测的第一个关键帧记为参考帧I_ref(k)，则地标点x_k可以通过反参数化进一步被表示为如下述公式(4)的形式：

其中，λ_k为从参考帧I_ref(k)中投射光线所得到的地标点x_k的深度，公式(4)中的u_k是u_ref(k),k的缩写，即参考帧I_ref(k)上与空间地标点x_k对应的关键点的估计坐标值。

上述公开实施例中还提出过，若某一地标点位于平面上，则其与平面之间将满足一定的公式关系，因此，对于被固定于平面s上的平面投影地标点，可以从上述公开实施例中提出的参考帧I_ref(k)中投射光线，找到该平面投影地标点与平面之间的相交深度

这一深度可以被表示为如下述公式(5)的形式：

基于公式(5)和公式(3)，可以建立起公式(2)与位姿之间的关系，即得到平面地标投影点的观测误差。

综合上述各公开实施例，可以分别得到空间地标点的观测误差和平面地标投影点的观测误差，将二者相加，可以得到地标点的观测误差。通过上述过程，可以有效的将空间地标点和平面地标投影点的观测误差进行分别求解，在计算平面地标投影点的观测误差时，基于平面和平面地标投影点之间的位置关系，将其深度的表达形式与空间地标点的深度的表达形式进行区分，从而减小属于平面的地标点在位姿确定过程中发生深度发散的可能性，提升位姿确定结果的准确性，继而提升跟踪的鲁棒性和稳定性；而且由于空间地标点的观测误差与平面地标投影点的观测误差是分别计算的，因此在无法探测到空间的平面信息时，也可以得到空间地标点的观测误差，从而仍可以通过后续过程进行位姿求解，即在探测不到平面信息的特殊状况下，本公开实施例中提出的方法仍然可以进行求解，进一步提升了跟踪过程的鲁棒性和稳定性。

同样地，上述公开实施例中，统计运动误差的具体计算方式，可以根据实际情况灵活选择相应的计算方式，不局限于下述公开实施例。在一个示例中，可以将获取的跟踪装置的IMU数据进行预积分，得到预积分结果，然后根据预积分结果进行误差计算。在一个示例中，运动误差可以通过下述公式(6)的形式进行表示：

其中，r_IMU为对当前位姿的预测误差，Φ为当前位姿预测误差的信息矩阵。

通过公式(6)，可以得到位姿确定过程中的运动误差，继而可以将其与上述公开实施例中得到的观测误差进行结合，得到总体误差，在一个示例中，总体误差可以等于观测误差与运动误差之和，通过步骤S1433可以看出，在总体误差达到预设条件时，其对应的位姿为待处理帧序列对应的位姿，即得到位姿确定结果。

预设条件的具体条件可以根据实际情况进行设置，在一种可能的实现方式中，可以认为在总体误差达到最小为预设条件，即当总体误差达到最小值时，得到位姿确定结果，在一个示例中，可以将这一过程通过下述公式(7)的形式进行表示：

通过步骤S1431至S1433，可以将添加了平面约束的观测误差与运动误差结合起来，从而通过计算得到待处理帧序列对应的位姿，通过这一过程，可以在求解位姿时，有效的将视觉信息、运动信息和平面信息结合起来，通过平面信息减小视觉信息的深度发散，同时结合运动信息，来提升确定的位姿的准确性，继而提升跟踪的稳定性和鲁棒性。

在通过上述各公开实施例的方式，确定了跟踪装置的位姿后，由于跟踪过程一般是连续的，跟踪装置还可能继续进行跟踪，因此可以根据确定位姿过程中获取以及得到的有关信息，进一步对空间内的平面和地标点进行增加或更正，因此，在一种可能的实现方式中，本公开实施例提出的位姿确定方法，还可以包括：

步骤S15，对平面地图数据库进行更新。

步骤S15的实现方式不受限定，任何可以对平面地图数据库进行更新的方式均可以作为本公开实施例的实现方式。在一种可能的实现方式中，步骤S15可以包括：

步骤S151，通过平面提取，对平面地图数据库进行更新。和/或，

步骤S152，对平面地图数据库进行平面扩展。

上述公开实施例中，步骤S151和步骤S152之间的关系不受限定，即对平面地图数据库进行更新时，可以同时进行平面提取和平面扩展，也可以仅进行平面提取或平面扩展，根据实际情况进行选择即可。在实际应用中，当存在其他的平面地图数据库更新方式时，也可以作为步骤S15的实现方式。

步骤S151的实现方式可以灵活选择，不局限于下述公开实施例，在一种可能的实现方式中，步骤S151可以包括：

步骤S1511，根据待处理帧序列的顺序，依次将待处理帧序列包括的每个帧作为替换帧。

步骤S1512，通过替换帧对滑动帧序列进行更新，其中，滑动帧序列用于生成平面。

步骤S1513，根据更新后的滑动帧序列，通过平面提取生成平面，更新平面地图数据库。

上述公开实施例中已经提出，平面可以由空间中的多个地标点共同构成，而被观测到的地标点是基于采集的帧中包含的关键点映射到空间而成，因此，需要通过获取的帧来进行平面提取得到空间中的平面，然而在跟踪过程中会连续不断采集无数的帧，如果每次都基于所有的帧来进行平面提取，这将显著增加计算量，从而降低整个方法的效率。因此，在本公开实施例中，提出了可以不断更新的滑动帧序列，在更新平面时，首先更新滑动帧序列，然后可以基于更新的滑动帧序列中包含的帧来通过平面提取生成平面，滑动帧序列包含的帧的数量在本公开实施例中不做限制，根据实际情况进行灵活设定即可。

滑动帧序列的更新方式可以根据实际情况灵活选择，不局限于下述各公开实施例。通过上述公开实施例中的步骤S11可以看出，在确定位姿的过程中，会获取待处理帧序列，待处理帧序列中包含的帧和关键点用来确定位姿后，也可以进一步用于进行平面地图数据库的更新，因此在一种可能的实现方式中，可以通过步骤S1511提出的实现方式，按照待处理帧序列本身的帧排列顺序，依次将每个帧作为替换帧，然后通过步骤S1512，每一次都用替换帧来更新滑动帧序列，再通过步骤S1513来对更新的滑动帧序列进行平面提取生成平面，从而完成对平面地图数据库的更新。

步骤S1512的实现方式也不受限定，即替换帧具体如何实现对滑动帧序列的更新，可以根据需求进行灵活确定。在一种可能的实现方式中，步骤S1512可以包括：

步骤S15121，对滑动帧序列的最后一帧进行关键帧判断。

步骤S15122，在滑动帧序列的最后一帧为关键帧时，对滑动帧序列的第一帧进行边缘化处理，将替换帧加入滑动帧序列。

步骤S15123，在滑动帧序列的最后一帧为非关键帧时，将滑动帧序列的最后一帧替换为替换帧。

上述公开实施例中，关键帧可以为在跟踪目标对象的过程中目标对象处于关键动作的帧，具体如何判断滑动帧序列中的最后一帧是否为关键帧，其判断方式不受限制，任何关键帧检测的方法均可以作为步骤S15121的实现方式。在一个示例中，判断滑动帧序列的最后一帧是否为关键帧的方式可以为：先找到滑动帧序列中与最后一帧距离最近的关键帧，然后将最后一帧与这一关键帧进行视差匹配，如果匹配后得到的视差超过预设的阈值，这一阈值在本公开实施例中不做限制，则可以将滑动帧序列的最后一帧认为是关键帧。如果匹配数低于下限，或是在最后一帧的T帧内不存在关键帧，T的数量也可以根据实际情况进行灵活设定，则也可以将滑动帧序列的最后一帧认为是关键帧。

在滑动帧序列的最后一帧是非关键帧时，可以通过步骤S15123用替换帧来直接替换滑动帧序列的最后一帧，在滑动帧序列的最后一帧是关键帧时，其对平面提取具有较为重要的作用，因此可以将最后一帧保留，将滑动帧序列的第一帧进行边缘化(marginalization)处理。边缘化处理的方式不受限制，可以根据实际情况灵活选择，在一个示例中，边缘化处理可以是将联合概率分布分解为边缘概率分布和条件概率分布的过程，这样可以将滑动帧序列中较旧的状态边缘化出滑动帧序列，同时保留其信息。

在一种可能的实现方式中，对滑动帧序列的第一帧进行边缘化时，可以先对滑动帧序列的第一帧边缘化，再将替换帧加入滑动帧序列，也可以先将替换帧加入滑动帧序列，然后对滑动帧序列的第一帧边缘化。通过步骤S15122可以看出，在本公开实施例中，对滑动帧序列的第一帧进行边缘化时，也可以先对第一帧边缘化，然后将替换帧加入滑动帧序列。

图(2a)-图(2d)示出根据本公开实施例的采用不同策略的滑动帧序列进行边缘化的示意图。其中，图(2a)为不添加平面信息的情况下，滑动帧序列先加入替换帧再对第一帧边缘化的示意图，图(2b)为不添加平面信息的情况下，滑动帧序列的最后一帧被替换的示意图，图(2c)为添加平面信息的情况下，滑动帧序列先对第一帧边缘化再加入替换帧的示意图，图(2d)为添加平面信息的情况下，滑动帧序列的最后一帧被替换的示意图。

在本公开实施例中，将滑动帧序列包含的帧的数量记为N，通过图(2a)-图(2d)可以看出，在将替换帧加入到滑动帧序列之前，对滑动帧序列的第一帧进行边缘化，将使得边缘化因子可以对滑动帧序列中的前N-1帧均进行约束，而不包含替换帧的边缘，当加入的替换帧被替换时，由于边缘化因子不包含替换帧的边缘，因此此时替换帧的边缘不会被边缘化，减小发生双向边缘化的可能性。

通过上述过程可以得到更新的滑动帧序列，但是在滑动帧序列的更新过程中，可能存在计算误差，这将影响后续基于滑动帧序列进行平面提取的结果准确性。因此可以在步骤S1513之前，增加相应的优化步骤，来降低计算误差，在一种可能的实现方式中，步骤S1513之前还可以包括：

步骤S1514，根据更新后的滑动帧序列对应的地标点，进行集束优化。

集束优化(BA，Bundle Adjustment)可以基于滑动帧序列中产生的误差的能量，对滑动帧序列进行优化，从而可以使得在平面提取前，基于优化得到更为准确的滑动帧序列对应的地标点的坐标，同时由于地标点的坐标更为精确，因此可以进一步修正滑动帧序列中每一帧所对应的位姿。

步骤S1514的实现方式不做限制，任何集束优化的方式均可以作为步骤S1514的实现方式，比如根据重投影误差进行集束优化，或是根据相对运动误差进行集束优化等，根据实际情况进行确定，不局限于下述公开实施例。在一种可能的实现方式中，上述公开实施例中提出的边缘化过程可以使得滑动帧序列的第一帧滑出序列，然而，由于滑动帧序列的第一帧所对应的地标点仍处于滑动帧序列，这将使得滑动帧序列中的关于地标点的信息矩阵变得密集，从而增加集束优化过程的计算成本。因此，在一种可能的实现方式中，可以对滑动帧序列进行带有无结构误差的集束优化，来弱化由于边缘化所增加的计算误差，基于此，在一种可能的实现方式中，步骤S1514可以包括：

步骤S15141，根据位姿的确定过程，得到与更新后的滑动帧序列对应的平面地标点和空间地标点，分别作为滑动平面地标点和滑动空间地标点。

步骤S15142，根据滑动平面地标点所属平面的平面信息，得到滑动平面地标点的无结构平面距离误差。

步骤S15143，根据无结构平面距离误差，通过计算得到滑动空间地标点的坐标。

在一种可能的实现方式中，步骤S15141的实现方式可以为：通过上述各公开实施例可以看出，在位姿确定的过程中，可以将待处理帧序列对应的地标点划分为平面地标点和空间地标点，而滑动帧序列的更新也是基于待处理帧序列中的帧进行更新的，因此自然地，在更新的滑动帧序列中，可以直接包含待处理帧序列对应的平面地标点和空间地标点，加之滑动帧序列中未被替换的帧本身也包含了对应的地标点，基于其和平面之前的关系，这些地标点也可以被分为位于平面外的空间地标点和位于空间内的平面地标点。

除此之外，在一种可能的实现方式中，对于待处理帧序列，其检测到的关键点在确定位姿的过程中，可能还无法映射到空间中，即不存在对应的地标点，但是在位姿确定后，还可以将这些进行三角化(triangulate)，从而获取其在空间中对应的地标点，在将这些关键点三角化得到对应的地标点后，也可以进一步基于平面信息，将这些地标点划分为空间地标点和平面地标点。

为了将这些与滑动帧序列对应的平面地标点和空间地标点，与前述公开实施例中提出的在位姿确定过程中与待处理帧序列对应的平面地标点和空间地标点区分开，在本公开实施例中，统一将与滑动帧序列的平面地标点称为滑动平面地标点，将与滑动帧序列对应的空间地标点称为滑动空间地标点。

通过上述各公开实施例，可以得到滑动平面地标点和滑动空间地标点。上述公开实施例中已经提出，带有无结构误差的集束优化的目的为弱化由于边缘化所增加的计算误差，因此，在本公开实施例中，其弱化的方式可以为根据滑动平面地标点所属平面的平面信息，来得到更新后的滑动平面地标点的无结构平面距离误差，然后再通过无结构平面距离误差，结合集束优化中所需要的其他误差进行进一步求解，这样，在通过集束优化对与滑动帧序列对应的地标点进行求解时，位于平面上的滑动平面地标点，因为无结构平面距离误差的存在而消除了变量，从而在集束优化的过程中只需求解滑动空间地标点的坐标，保持了集束优化的稀疏性，从而降低了由于边缘化所增加的计算成本。

无结构平面距离误差的具体求解方式不局限于下述公开实施例，可以根据实际情况进行灵活的变形等。在一种可能的实现方式中，步骤S15142的实现方式可以为：

上述公开实施例中已经提出，与滑动帧序列对应的地标点可以通过对滑动帧序列中关键点进行三角化而得到，在一个示例中，可以通过构造矩阵A和向量b，来将帧{I_i}上的所有关键点的观测值

进行三角化，具体的构造方式可以通过下述公式(8)的形式进行表示：

基于公式(8)，可以通过对A_kx_k＝b_k求解来得到地标点x_k。其中，行向量r_ij是

的行，即

标量p_ij是

对应的列向量，即

通过2个或更多未退化的关键点的观测值，A_k可以不少于4行而且满秩，继而可以得到x_k的最小二乘解。

然而当只有一个关键点的观测值

或者帧{I_i}的运动有限时，A_k将为病态矩阵，此时可以根据平面信息来对矩阵进行规范化，即对于一个属于平面s的地标点x_sk，可以将公式(8)扩展为下述公式(9)：

公式(9)中扩展的行与平面约束

相对应，并被ω_k加权。通过对矩阵A_k进行扩展，A_skx_sk＝b_sk的解被平面结构规范化。只要相机的中心不在平面上，A_sk永远满秩。因此可以重写x_sk的闭式解，作为相关状态观察x_sk的函数，该函数可以通过下述公式(10)来表示：

由于平面地标点x_sk位于平面上，因此可以通过下述公式(11)将平面距离误差最小化：

尽管矩阵A_sk的大小取决于特征跟踪的长度，但是

和A_skb_sk的大小分别为3×3和3×1，从而可以有效计算误差函数和相应的雅可比矩阵。

图(3a)-图(3b)示出根据本公开实施例的采用不同策略的滑动帧序列的集束优化的示意图，其中图(3a)为未添加无结构平面距离误差的集束优化示意图，图(3b)为添加无结构平面距离误差的集束优化示意图。从图中可以看出，对于平面地标点，通过本公开实施例中提出的无结构误差的集束优化方式，可以将原有的重投影误差通过无结构平面距离误差完全替代。对于具有m个观测值的地标点，m个重投影误差项可以被1个无结构平面距离误差代替。平面地标点的状态不再与其无结构平面距离误差相关，因此平面地标点可以无需进行边缘化。集束优化期间平面的参数可以被固定，在集束优化完成后，可以更新与滑动帧序列对应的位姿，继而再基于更新的位姿重新确定滑动帧序列对应的地标点坐标，继而更新平面信息。

上述公开实施例中阐述了通过平面提取实现平面数据库更新的实现方式，在一种可能的实现方式中，还可以通过平面扩展的方式，实现平面地图数据库的更新。平面扩展的具体方式可以根据实际情况灵活选择，不局限于下述各公开实施例。在一种可能的实现方式中，由于在位姿确定的过程中，可以得到与待处理帧序列对应的地标点，因此可以通过判断这些地标点与平面之间的从属关系，将位于平面上的地标点，添加到平面地图数据库中已有的平面中，从而实现对平面的扩展。根据这一原理，在一种可能的实现方式中，步骤S152可以包括：

步骤S1521，根据位姿的确定过程，得到与待处理帧序列对应的待扩展地标点。

步骤S1522，对所述待扩展地标点进行平面位置比较，分别确定所述待扩展地标点与所述平面地图数据库包含的每个平面之间的位置关系。

步骤S1523，在待扩展地标点位于平面地图数据库包含的至少一个平面上的情况下，将待扩展地标点添加至所属平面。

上述公开实施例中，步骤S1521的实现方式不受限定，可以根据实际情况灵活选择。在一种可能的实现方式中，可以直接将待处理帧序列对应的地标点，作为待扩展的地标点。上述公开实施例中提出过，待处理帧序列中通过特征检测与跟踪提取到的一些关键点，可能在位姿确定的过程中不存在对应的地标点，这些关键点可以通过三角化映射到空间中，因此，在一种可能的实现方式中，待扩展地标点也可以是待处理帧序列中提取到的关键点被三角化后得到的地标点。因此，在一种可能的实现方式中，步骤S1521可以包括：

步骤S15211，根据位姿的确定过程，得到待处理帧序列包含的关键点。

步骤S15212，对关键点进行三角化，得到与待处理帧序列对应的待扩展地标点。

由于待扩展地标点的获取方式可以根据实际情况灵活决定，因此，得到的待扩展的地标点数量不受限制，可以根据实际的获取方式进行确定。

步骤S1522的实现方式也不受限定，在一种可能的实现方式中，可以通过待扩展地标点到平面的距离等指标来判断这一待扩展地标点是否属于该平面，若得到的距离小于设定的阈值，则可以认为该地标点位于平面上，若得到的距离大于设定的阈值，则可以认为该地标点位于平面外。因此，可以分别计算待扩展地标点到平面地图数据库中包含的每个平面的距离，然后根据这些距离判断该待扩展地标点属于哪一个或哪几个平面，或是不属于任何平面。

在一种可能的实现方式中，也可以通过判断该地标点在平面上的重投影误差一致性的方法，来判断这一地标点是否属于该平面。重投影误差一致性的判断过程可以为，将地标点直接投射到平面上，然后判断投射后的点是否仅带来了有限的重投影误差增加。如果重投影误差增大有限，说明这个点很有可能位于这个平面上。因此，在一种可能的实现方式中，步骤S1522可以包括：

步骤S15221，计算待扩展地标点与待比较平面的第一重投影误差。

步骤S15222，将待扩展地标点分别投影至待比较平面，得到待扩展地标投影点。

步骤S15223，计算待扩展地标投影点与待比较平面的第二重投影误差。

步骤S15224，在第二重投影误差与第一重投影误差之间的变化量不超过阈值时，待扩展地标点位于待比较平面上。

上述公开实施例中，待比较平面可以为待扩展地标点需要进行位置比较的平面，在一种可能的实现方式中，待扩展地标点可以与平面地图数据库中的每个平面进行位置比较，因此，可以将平面地图数据库中包含的每个平面分别作为待比较平面，与待扩展地标点进行位置比较，从而确定待扩展地标点与每个平面之间的位置关系。

第一重投影误差可以认为是待扩展地标点与待比较平面之间的误差，在一个示例中，第一重投影误差可以通过下述公式(12)进行表示：

第二重投影误差可以认为是待扩展地标点在投影到待比较平面后，在平面上投影得到的待扩展地标投影点与待比较平面之间的误差，在一个示例中，第二重投影误差可以通过下述公式(13)进行表示：

在通过公式(12)和公式(13)得到第一重投影误差和第二重投影误差后，可以通过步骤S15224，比较ε_k与

之间的变化量，当比较得到的变化量不超过阈值时可以认为待扩展地标点位于待比较平面上。

具体的比较过程和阈值设定，在本公开实施例中不做限制，在一个示例中，可以将第一重投影误差和第二重投影误差作差，根据差值与阈值的比较判断变化量是否超过阈值。在一个示例中，可以直接比较第二重投影误差与第一重投影误差之间的关系，来判断二者之间的变化量是否超过阈值，举例来说，可以判断第二重投影误差是否满足

即第二重投影误差不超过一个根据第一重投影误差来确定的阈值，α与γ的值可以根据实际情况进行设定，在一个示例中，可以设定α＝1.2，γ＝0.5。

进一步地，在一种可能的实现方式中，为了减小发生更大误差的可能性，在进行平面扩展时，即使重投影误差的变化量在阈值内，也不会将距离平面过远的点添加到局部平面区域。确定一个地标点是否距离平面的距离过远的方式在本公开实施例中不做限制，在一个示例中，可以将一个平面分为12个扇形区域，每个扇形区域的角度为30°。对于一个扇形区域τ，其半径r_τ由与当前扇形区域的中心的距离最远的平面地标点决定。当一个地标点与该扇形区域的中心距离超过μr_τ时，可以认为该地标点x_k距离平面过远，也就是说，地标点x_k只有在与扇形区域的中心距离在μr_τ以内时，才可以被添加到该平面上，μ的数值可以根据实际情况进行设定，在一个示例中，μ可以满足μ＝1.2。

本公开实施例中提出的方法可以用于确定跟踪装置的位姿，然而在通过上述公开实施例中提出的位姿确定方法得到位姿后，将该确定的位姿输出时，跟踪装置本身的运动状态可能会发生变化，因此可以进一步对跟踪装置的位姿进行修正。因此，在一种可能的实现方式中，本公开实施例提出的位姿确定方法，还可以包括：

步骤S16，读取当前状态下的第二运动信息。

步骤S17，根据第二运动信息，结合与待处理帧序列对应的位姿，得到当前状态下的位姿。

其中，当前状态可以认为是需要获取位姿时跟踪装置对应的状态，比如说需要进行位姿输出时，跟踪装置的状态，而获取的第二运动信息，其实现形式与第一运动信息的实现方式相同，在此不再赘述，在一个示例中，当前状态下的第二运动信息可以是需要进行位姿输出时跟踪装置的IMU值。

步骤S17的实现方式不受限定，任何可以基于第二运动信息和与待处理帧序列对应的位姿来得到当前状态下跟踪装置位姿的方式，均可以作为步骤S17的实现方式。在一种可能的实现方式中，可以根据需要进行位姿输出时跟踪装置的IMU值，对根据待处理帧序列确定的位姿进行进一步的修正，从而得到当前状态下的位姿。

图4示出根据本公开实施例的位姿确定装置的框图。如图所示，所述位姿确定装置20可以包括：

待处理帧序列获取模块21，用于获取待处理帧序列。

第一运动信息获取模块22，用于获取与待处理帧序列对应的第一运动信息。

平面信息读取模块23，用于从平面地图数据库中，读取至少一个平面的平面信息，其中，平面地图数据库包括待处理帧序列所在空间包含的地标点和平面。

位姿确定模块24，用于根据待处理帧序列、第一运动信息和平面信息，确定与待处理帧序列对应的位姿。

在一种可能的实现方式中，位姿确定模块包括：关键点获取单元，用于对待处理帧序列进行特征跟踪，得到待处理帧序列包含的多个关键点，其中，关键点为位于帧上的二维坐标点；位置信息生成单元，用于根据关键点，结合平面信息，得到与关键点对应的地标点的位置信息；位姿确定单元，用于根据位置信息，结合第一运动信息，确定与待处理帧序列对应的位姿。

在一种可能的实现方式中，位置信息生成单元用于：根据每个平面的平面信息，将与关键点对应的地标点划分为位于平面上的平面地标点，以及位于平面外的空间地标点；将平面地标点投影至所属平面，得到平面地标投影点；分别获取空间地标点和平面地标投影点在对应的帧上的像素坐标，作为位置信息。

在一种可能的实现方式中，位姿确定单元用于：根据位置信息，统计地标点的观测误差；根据第一运动信息，统计待处理帧序列的运动误差；根据观测误差和运动误差得到总体误差，将在总体误差达到预设条件时的位姿，作为与待处理帧序列对应的位姿。

在一种可能的实现方式中，位姿确定单元进一步用于：根据空间地标点在对应的帧上的像素坐标，统计空间地标点的观测误差；根据平面地标投影点在对应的帧上的像素坐标，统计平面地标投影点的观测误差；将空间地标点的观测误差和平面地标投影的观测误差之和，作为地标点的观测误差。

在一种可能的实现方式中，装置还包括：平面地图数据库更新模块，用于对平面地图数据库进行更新。

在一种可能的实现方式中，平面地图数据库更新模块，包括：平面提取单元，用于通过平面提取，对平面地图数据库进行更新；和/或，平面扩展单元，用于对平面地图数据库进行平面扩展。

在一种可能的实现方式中，平面提取单元包括：替换帧确定子单元，用于根据待处理帧序列的顺序，依次将待处理帧序列包括的每个帧作为替换帧；滑动帧序列更新子单元，用于通过替换帧对滑动帧序列进行更新，其中，滑动帧序列用于生成平面；平面提取子单元，用于根据更新后的滑动帧序列，通过平面提取生成平面，更新平面地图数据库。

在一种可能的实现方式中，滑动帧序列更新子单元用于：对滑动帧序列的最后一帧进行关键帧判断；在滑动帧序列的最后一帧为关键帧时，对滑动帧序列的第一帧进行边缘化处理，将替换帧加入滑动帧序列；在滑动帧序列的最后一帧为非关键帧时，将滑动帧序列的最后一帧替换为替换帧。

在一种可能的实现方式中，平面提取子单元之前，还包括：集束优化子单元，用于根据更新后的滑动帧序列对应的地标点，进行集束优化。

在一种可能的实现方式中，集束优化子单元用于：根据位姿的确定过程，得到与更新后的滑动帧序列对应的平面地标点和空间地标点，分别作为滑动平面地标点和滑动空间地标点；根据滑动平面地标点所属平面的平面信息，得到滑动平面地标点的无结构平面距离误差；根据无结构平面距离误差，通过计算得到滑动空间地标点的坐标。

在一种可能的实现方式中，平面扩展单元包括：待扩展地标点获取子单元，用于根据位姿的确定过程，得到与待处理帧序列对应的待扩展地标点；位置关系确定子单元，用于对待扩展地标点进行平面位置比较，分别确定待扩展地标点与平面地图数据库包含的每个平面之间的位置关系；平面扩展子单元，用于在待扩展地标点位于平面地图数据库包含的至少一个平面上的情况下，将待扩展地标点添加至所属平面。

在一种可能的实现方式中，待扩展地标点获取子单元用于：根据位姿的确定过程，得到待处理帧序列包含的关键点；对关键点进行三角化，得到与待处理帧序列对应的待扩展地标点。

在一种可能的实现方式中，位置关系确定子单元用于：计算待扩展地标点与待比较平面的第一重投影误差；将待扩展地标点分别投影至待比较平面，得到待扩展地标投影点；计算待扩展地标投影点与待比较平面的第二重投影误差；在第二重投影误差与第一重投影误差之间的变化量不超过阈值时，待扩展地标点位于待比较平面上。

在一种可能的实现方式中，装置还用于：读取当前状态下的第二运动信息；根据第二运动信息，结合与待处理帧序列对应的位姿，得到当前状态下的位姿。

应用场景示例

通用的视觉惯导跟踪***存在若干难以解决的缺陷：在设备缺乏运动，或设备纯旋转时，由于视觉无法提供深度的信息，而惯导提供的主要是运动信息，惯导传感器存在的偏移将使得整个***的跟踪变得不稳定，而不稳定的跟踪结果反过来使得深度估计愈发不准确，最终使得整个***变得不再鲁棒。即使向***中添加地平面约束来防止深度发散，也无法适应所有的跟踪场景，大大降低了***的使用范围。

因此，一个适用范围广且鲁棒性较高的位姿确定方法，可以有效应用于视觉惯导跟踪***中，具有较高的实用价值。

图5示出了根据本公开一应用示例的示意图，如图所示，本公开实施例提出了一种视觉惯导跟踪***，该***可以通过上述公开实施例中提出过的位姿确定方法，来不断确定自身的位姿，从而实现对目标对象的跟踪。

如图所示，该视觉惯导跟踪***的主要跟踪过程可以为：该***通过IMU模块来采集惯性测量数据，通过图像采集模块(Image模块)来采集由多个连续的帧所构成的帧序列，然后将采集到的IMU数据输入到预积分模块(Pre-Integration模块)进行预积分处理，得到IMU的预积分结果，同时对采集的帧序列输入到特征跟踪模块(Feature Tracking模块)进行特征跟踪，识别出帧序列中包含的一系列关键点。

在Pre-Integration模块和Feature Tracking模块均完成相应的操作后，可以将得到的操作结果输入到结合平面信息的位姿求解模块(VIP-PnP模块)中，VIP-PnP模块基于Pre-Integration和Feature Tracking模块的输入结果，结合平面地图数据库模块(PlaneMap模块)中存储的平面信息，通过上述公开实施例中提出的公式(7)，可以求解出跟踪装置的位姿。

其中，Plane Map模块存储的信息主要包括两部分，一是Plane平面信息，即跟踪装置所在空间中可以探测到的平面的信息，其具体表现形式可以参考各上述公开实施例，在此不再赘述；另一个是Map地图信息，这一信息主要是跟踪装置所在空间中可以被观测到的地标点的坐标位置，以及跟踪装置的历史位姿等信息。Plane Map模块存储的信息可以随着VIP-PnP的求解结果不断进行更新，而初始化过程可以参考上述公开实施例，在此不再赘述。

在通过VIP-PnP求解出跟踪装置的位姿后，一方面，可以将VIP-PnP模块得到的位姿与当前时刻IMU模块采集到的IMU数据进行进一步结合，来通过Pose Propagation位姿传播模块，对跟踪装置的位姿进行进一步修正，并输出到对应的地方中，在本公开应用示例中，可以将位姿传播模块(Pose Propagation模块)得到的位姿输出到跟踪装置的运动控制模块，从而控制跟踪装置调整自身的位姿，实现更好的跟踪。

另一方面，可以将VIP-PnP模块在求解位姿时新增的帧序列，以及求解时一并得到的与Image采集的帧序列对应的关键点和地标点的位置信息，进一步传递到后续模块，用于对Plane Map中的内容进行更新。

在本公开应用示例中，可以将新增的帧序列逐帧输入到滑动窗口(SlidingWindow)中，然后通过关键帧评估模块(Keyframe Evaluation模块)对滑动窗口内的最后一帧进行关键帧检测，同时可以将得到的关键点和特征点输入到三角化模块(Triangulation模块)进行点云三角化，得到更多的地标点。其中，滑动窗口主要用于确定平面提取的基础，即是通过哪些帧来进行平面提取，在本公开应用示例中，平面提取是通过参考滑动窗口中包含的帧以及与这些帧对应的地标点来实现的。滑动窗口包含的帧，可以随着VIP-PnP输出的帧序列进行更新。

根据Keyframe Evaluation的监测结果，可以判断滑动窗口中的最后一帧是否为关键帧，从图中可以看出，在滑动窗口的最后一帧不是关键帧时，可以直接进入到滑动窗口管理模块(Sliding Window Management模块)，此时可以直接用新增的帧替换掉滑动窗口中的最后一帧；在最后一帧是关键帧时，则可以首先通过平面扩展模块(Plane Expansion模块)，对已有的平面进行扩展，具体的扩展方式可以参考上述公开实施例中提出的与公式(12)和公式(13)相关的一系列描述，在此不再赘述。

通过Plane Expansion模块，可以进一步将属于平面的地标点固定于平面上，在扩展后，一方面可以将扩展的结果存储到Plane Map中，来实现对Plane Map中平面信息的更新，另一方，可以将此平面扩展结果，一并输入到Sliding Window Management模块，实现对滑动窗口的更新。在本公开实施例中，当滑动窗口的最后一帧不是关键帧时，可以先将滑动窗口中的第一帧进行边缘化，然后再将新增的帧加入到滑动窗口中，从而完成对滑动窗口的更新。在更新了滑动窗口后，还可以进一步通过带有无结构误差的集束优化模块(BAwith Structureless Error模块)，对滑动窗口进行带有无结构误差的集束优化，得到更为准确的地标点的坐标。其中，带有无结构误差的集束优化的实现方式可以参考上述公开实施例中与公式(8)至公式(11)相关的描述，在此不再赘述。

无论是直接将滑动窗口的最后一帧进行替换得到的更新的滑动窗口，还是对滑动窗口的第一帧进行边缘化，然后将新增的帧加入到滑动窗口中，并进行了带有无结构误差的集束优化所得到的更新的滑动窗口，其包含的信息均可以进入到新平面探测模块(NewPlane Detection模块)进行平面提取，并将提取结果输入到Plane Map中，实现对PlaneMap的更新，而更新后的Plane Map所包含的信息可以进一步用于VIP-PnP中进行后续的位姿确定，从而实现连续的跟踪过程。

通过实验可以证明，本应用示例提出的视觉惯导跟踪***，无论是跟踪准确程度、跟踪精度、跟踪鲁棒性和跟踪效率，均相对于目前的跟踪过程具有显著提升，且可以应用于大部分场景中，无需在采集图像时保持与地平面水平也可以实现有效跟踪。

更进一步地，本公开实施例提出的方法，还可以应用于对场景中多种不同的水平面进行重建，或是实现在场景中的增强现实(AR)体验，比如在平面上添加虚拟物体，或是让虚拟物体与真实平面发生碰撞等交互场景中。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。

在实际应用中，上述存储器可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器提供指令和数据。

上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

电子设备可以被提供为终端、服务器或其它形态的设备。

基于前述实施例相同的技术构思，本公开实施例还提供了一种计算机程序，该计算机程序被处理器执行时实现上述方法。

图6是根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图6，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关人员信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图7是根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图7，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种位姿确定方法，其特征在于，包括：

获取待处理帧序列；

获取与所述待处理帧序列对应的第一运动信息；

2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理帧序列、所述第一运动信息和所述平面信息，确定与所述待处理帧序列对应的位姿，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述关键点，结合所述平面信息，得到与所述关键点对应的地标点的位置信息，包括：

将所述平面地标点投影至所属平面，得到平面地标投影点；

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述位置信息，结合所述第一运动信息，确定与所述待处理帧序列对应的位姿，包括：

根据所述位置信息，统计所述地标点的观测误差；

5.根据权利要求4所述的方法，其特征在于，所述根据所述位置信息，统计所述地标点的观测误差，包括：

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：

对所述平面地图数据库进行更新。

7.根据权利要求6所述的方法，其特征在于，所述根据所述位姿，对所述平面地图数据库进行更新，包括：

通过平面提取，对所述平面地图数据库进行更新；和/或，

对所述平面地图数据库进行平面扩展。

8.一种位姿确定装置，其特征在于，包括：

待处理帧序列获取模块，用于获取待处理帧序列；

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。