CN112484719A - 用于利用惯性约束来增强非惯性跟踪***的***和方法 - Google Patents

Abstract

一种用于生成装置的跟踪状态的***和方法包括使来自外感受传感器和惯性测量单元（IMU）的测量数据同步。处理单元被编程为：使测量信号中的一者偏移一时间偏移，该时间偏移使以下两者之间的总误差最小化：通过外感受传感器数据在由外感受传感器采样速率定义的时间间隔内预测的该装置的旋转变化，和由IMU传感器数据在该时间间隔内预测的该装置的旋转变化。

Description

用于利用惯性约束来增强非惯性跟踪***的***和方法

技术领域

本申请总体上涉及用于利用惯性测量来增强非惯性跟踪***的***。

背景技术

空间定位在机器人和增强现实中用于跟踪装置的自运动。在增强现实中，当用户在环境中移动时，准确的跟踪使得能够真实地增强虚拟内容。类似地，在机器人学中，跟踪使得能够推断机器人和环境之间的空间关系，并且因此使得能够实现交互。该跟踪***形成诸如全息透镜、神奇飞跃（Magic Leap）、头戴式显示器（Occulus Rift）、HTC Vive等的增强现实（AR）和虚拟现实（VR）装置以及诸如Roomba、Pepper等的机器人***的一个组成部分。

跟踪***采用不同的传感器对环境进行观测，并推断关于装置的位置和取向（状态）。用于跟踪的传感器可以被广泛地分为外感受的或本体感受的。外感受传感器（诸如，摄像机、LIDAR（激光成像、检测和测距传感器）和声纳）使得能够基于来自外部世界的测量来观测运动。本体感受传感器（诸如，惯性测量单元（IMU）和里程表）使得能够基于***或装置内部的测量来观测运动。近年来，在装置外部没有任何传感器的情况下执行的“内向外（inside-out）跟踪”已经越来越受欢迎。外感受传感器的选择主要基于环境和应用用例，而最常用的本体感受传感器是惯性测量单元。

发明内容

一种用于跟踪装置的位置和取向的基于控制器的方法包括使用来自以第一速率被采样的外感受传感器的测量结果来预测装置的第一跟踪状态，以及使用来自以与第一速率异步的第二速率被采样的惯性测量单元（IMU）的测量结果来生成装置的第二跟踪状态。该方法还包括通过估计时间偏移将第一和第二跟踪状态同步到公共时域，该时间偏移使第一和第二跟踪状态之间随时间的变化之间的误差最小化，使得与第一跟踪状态相关联的第一时间序列和与第二跟踪状态相关联的第二时间序列在时间上对准。该方法还包括将第一跟踪状态和第二跟踪状态对准到惯性参考系，并通过使成本函数最小化来生成惯性辅助跟踪状态，该成本函数包括使用移位了所述时间偏移的第二跟踪状态传播先前状态估计值而导出的第一残差项和从第一跟踪状态导出的第二残差项。

该方法还可以包括通过搜索使相对于一组观测结果的测量误差最小化的状态估计值来预测第一跟踪状态，其中特定于ES的运动状态在局部坐标系中。该方法还可包括使用来自IMU的重力矢量来生成将局部坐标系对准到惯性参考系的变换。该方法还可包括基于在由第一速率定义的时间间隔内第一跟踪状态的最近预测之间的差异来预测第一取向变化，以及基于在该时间间隔内第二跟踪状态来预测第二取向变化。该方法还可以包括通过在时间间隔内对第二跟踪状态的样本进行积分来预测第二取向变化。第二速率可大于第一速率，并且可来自IMU的预定数量的样本进行积分以预测第二变化，所述预定数量基于第一速率与第二速率的比率。该方法可以进一步包括使用优化算法来使误差最小化。

一种用于装置的位置和取向跟踪***，包括：控制器，其与外感受传感器核和惯性测量单元（IMU）通信，所述外感受传感器核以第一速率对外感受传感器进行采样并生成第一组测量数据，惯性测量单元（IMU）以与第一速率异步的第二速率对IMU传感器进行采样并生成第二组测量数据，所述控制器其被编程为根据通过将第一和第二组测量数据同步到公共时域而导出的跟踪状态来跟踪装置的运动，其中，第一和第二组测量数据通过将其中一组测量数据偏移一时间偏移而被同步，该时间偏移使由第一组测量数据在由第一速率定义的时间间隔内预测的装置取向变化和由第二组测量数据在该时间间隔内预测的装置取向变化之间的总误差最小化。

外感受传感器可以是摄像机。跟踪状态可以包括装置的位置、装置的速度和装置的取向中的一者或多者。所述控制器可进一步被编程为以一时间量更新所述时间偏移，所述时间量使由基于第二组测量数据来预测装置运动的模型和基于移位了所述时间偏移和所述时间量的第一组测量数据预测装置运动的模型所估计的运动状态之间的距离最小化。控制器可进一步被编程为接收基于IMU数据的活动类型，并将该活动类型传送到外感受传感器核。控制器可被编程为接收基于IMU数据的活动类型，并基于该活动类型改变用于估计跟踪状态的模型。控制器可进一步被编程为通过使成本函数最小化来估计跟踪状态，该成本函数包括通过传播从第二组测量数据导出的先前跟踪状态而估计的跟踪状态和由所述模型基于活动类型预测的跟踪状态之间的差异。控制器可进一步被编程为执行优化方法来使总误差最小化。

一种用于使来自惯性测量单元（IMU）和外感受传感器（ES）的测量数据同步而在其间没有公共电测量触发信号的设备，其包括：控制器，所述控制器与外感受传感器核和惯性测量单元（IMU）通信，该外感受传感器核被配置成以第一速率对外感受传感器进行采样，所述惯性测量单元（IMU）被配置成以与外感受传感器异步的第二速率对IMU传感器进行采样，所述控制器被编程为：基于在由第一速率定义的时间间隔内的最近ES取向数据之间的差异来预测第一取向变化；基于在该时间间隔内的IMU取向数据来预测第二取向变化、并且使来自ES的测量数据偏移一时间偏移，该时间偏移使第一变化和第二变化之间的误差最小化，使得与第一变化相关联的第一时间序列和与第二变化相关联的第二时间序列在时间上对准。

控制器可进一步被编程为以一时间量更新所述时间偏移，该时间量使由基于IMU数据来预测状态的模型和基于移位了所述时间偏移的外感受传感器数据来预测状态的模型估计的跟踪状态之间的距离最小化。控制器可进一步被编程为接收基于IMU数据的活动类型，并将该活动类型传送到外感受传感器核。控制器可进一步被编程为在时间间隔内对采样的IMU数据执行积分，以用于预测第二旋转变化。控制器可进一步被编程为使用时间偏移来来使用于生成跟踪状态的信号在时间上移位从而估计装置的跟踪状态。

附图说明

图1描绘了用于装置的跟踪***的可能架构。

图2描述了通用惯性辅助跟踪***的方块图。

图3描述了用于对IMU数据和外感受传感器数据进行采样的可能的时序图。

图4描绘了用于估计由外感受传感器和IMU估计的状态之间的时间对准的方块图。

图5描绘了惯性坐标系、IMU坐标系和外感受传感器坐标系之间的可能关系。

图6描绘了将IMU和外感受传感器数据对准到惯性坐标系的方块图。

图7描绘了通过取决于位姿估计的历史重新参数化约束来消除特定于外感受传感器的状态的示意图。

图8描绘了移动装置的可能的***架构。

图9描绘了使用专用IMU-外感受传感器融合核的可能的***架构。

图10描绘了位置和取向跟踪***的可能操作序列的流程图，该***包括在没有公共电测量触发信号的情况下使来自惯性测量单元（IMU）和外感受传感器（ES）的测量数据同步。

具体实施方式

本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。这些图不一定是按比例的；一些特征可能被放大或被最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅作为用于教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解的那样，参考任何一幅附图图示和描述的各种特征可以与一幅或多幅其他附图中图示的特征相结合，以产生没有明确图示或描述的实施例。所示特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定的应用或实施方式是期望的。

本文公开了一种跟踪***，其通过融合来自外感受传感器和IMU的观测结果来估计装置的位置和取向。所公开的方法将外感受传感器特定的处理与IMU特定的处理分开。这种方法提供了清晰的接口驱动分离，其不需要开发人员具备IMU的专业知识。为了实现这一点，引入了时间同步和惯性坐标对准算法，其使得来自IMU和外感受传感器的测量结果能够对准。使用了分布式状态估计方法，其中特定于外感受传感器的状态的消除被重新参数化为取决于于位置和取向估计的历史。所公开的***和方法利用现代传感器中枢中可用的重力、活动感测和偏差估计来提供鲁棒的状态估计。最后，所公开的方法呈现了算法块在不同计算单元中的灵活分布。

外感受传感器与IMU的融合使得能够实现对高动态运动的鲁棒跟踪。IMU是本体感受传感器，其包括一个或多个加速度计和陀螺仪。IMU可被配置成测量主体沿着/围绕一根或多根轴线的加速度和旋转速率。随着微机电***（MEMS）的出现，商业级IMU已经变得更便宜，并且也可广泛获得。

图1描绘了跟踪***100的方块图。跟踪***100可集成为诸如蜂窝电话、平板电脑或机器人***的装置的一部分。跟踪***100可包括应用处理单元102。应用处理单元102可包括用于执行指令的处理器。应用处理单元102可包括用于存储程序/应用程序和数据的易失性和非易失性存储器。应用处理单元102可包括用于与外部装置或部件通信的附加输入和输出。应用处理单元102可存储和执行应用程序110。应用程序110可以是用于执行一组特定操作的程序或指令序列。应用处理单元102可以是计算***，诸如包含在移动电话或平板电脑中的计算***。应用处理单元102可以是可耦合到诸如机器人的移动平台的控制器。

跟踪***100可包括由应用处理单元102驱动的显示器112。显示器112可以是提供显示和输入能力的触摸屏或头戴式显示器。应用处理单元102可实施操作***（OS） 114，该操作***被配置成管理被编程到应用处理单元102中的应用程序。操作***114可管理应用处理单元102的低级特征，并向应用程序110提供对低级特征的访问。应用程序110可包括用于实施AR和/或VR***的指令。例如，应用程序110可被配置成将虚拟对象定位到附近环境的图像上。此外，应用程序110可被编程为当装置或跟踪***100的位置/取向改变时，在图像内重新定位虚拟对象。

跟踪***100可包括外感受传感器104。外感受传感器104可以是全球定位***（GPS）传感器、LIDAR、摄像机和/或声纳传感器。外感受传感器104可包括传感器预处理核来管理物理感测装置。核可包括用于执行程序指令和存储数据的处理器和存储器。外感受传感器104可被配置成传送原始传感器数据。在其他示例中，传感器预处理核可处理来自外感受传感器104的观测结果，以向应用处理单元102提供经处理的输入，而不是传送原始传感器数据。这种处理可特定于相关联的外感受传感器技术。传感器预处理核可以以预定的时间间隔对对应的传感器进行采样。

跟踪***100可以包括IMU 106。IMU 106可包括三轴加速度计和三轴陀螺仪。IMU106可为每根轴线提供加速度和旋转速率信息。IMU 106可包括IMU融合核，以管理IMU 106的特征。IMU融合核可以以预定的时间间隔对加速度计和陀螺仪传感器进行采样。IMU融合核的示例是博世Sensrotech BHI160。用于装置的对应数据表中描述了示例性特征和功能，该数据表通过引用并入本文。在一些示例中，IMU 106可与应用处理单元102集成（例如，与控制器或处理器一起钎焊在板上）。在其他示例中，IMU 106可以是与应用处理单元102通信的外部装置。

外感受传感器104和IMU 106可与应用处理单元102通信。应用处理单元102可实施应用编程接口（API） 108，其被配置成管理传感器（例如，外感受传感器104和IMU 106）和应用程序110之间的通信和信息交换。API 108可定义预定数量的接口或功能，这些接口或功能可由应用程序110执行，以与外感受传感器104和IMU 106交换数据。

现有的传感器融合方法被专门用于特定的外感受传感器104，诸如GPS、LIDAR、摄像机和声纳。虽然有可能将算法从一种外感受传感器104扩展到另一种，但是这种扩展需要密集的硬件改变，这需要专家知识和对整个***的重新配置以获得合适的性能。另外，现有方法没有将外感受传感器特定的处理与IMU特定的处理分开。这使得不熟悉IMU的开发人员很难并入这种跟踪算法。本文公开的惯性辅助定位算法利用***架构来操作，当与包括但不限于摄像机、LIDAR传感器和声纳传感器的不同外感受传感器一起使用时，该***架构不强加硬件限制。

可实施外感受传感器104和IMU 106之间的精确时间同步和外部校准，以实现鲁棒的传感器融合。在一些***中，获得时间同步和外部校准的过程可能与硬件实现密切相关。这阻碍了算法从一种***到另一种***的互操作性。本文公开的***引入了特定的软件功能，包括时间同步功能和惯性坐标对准功能，所述功能基于来自IMU 106和外感受传感器104的测量来估计时间偏移和外部校准。这种改进的方法去除了时间同步的硬件要求，时间同步需要明确的触发信号来使测量同步。另外，所公开的策略去除了先前外部校准的要求。该改进的方法进一步允许不同传感器单元更简单地集成到***中。

外感受传感器特定的计算可与IMU特定的计算分开。这种计算划分提供了清晰的接口驱动的分离，其不需要开发人员具有IMU 106的专业知识。然而，这种划分将优化过程分为两个阶段。在第一阶段，可仅执行特定于外感受传感器104的优化。在第二阶段，IMU信息可与来自外感受传感器优化的结果合并，以实现鲁棒的跟踪。IMU优化要求与外感受传感器104的独立性允许开发人员专注于对外感受传感器特定算法的改进。

外感受传感器104可被配置成取决于传感器的类型来提供数据。外感受传感器104可以是各种类型的传感器中的一种或多种，诸如GPS、LIDAR、摄像机和声纳。外感受传感器104的输出类型可取决于正在采用的传感器技术的类型。例如，摄像机***可提供用于处理的图像。在其他示例中，声纳或LIDAR传感器可提供关于到不同位置处的物体的距离的信息。

图2描绘了包括用于惯性辅助跟踪算法的一组可能的处理块的方块图200，该惯性辅助跟踪算法可以被实施为跟踪***的一部分。特征提取块204可被配置成处理来自外感受传感器104的观测结果，以提取可以在时间上随着位置和取向的变化而被辨别的不同特征。特定的特征提取算法可取决于正在使用的外感受传感器104的特定类型。例如，特征提取块204可被配置成检测摄像机视野中的各种对象或特征。在一些配置中，特征提取块204可以在传感器预处理核中实施。

特征匹配块206可被配置成搜索在不同时间实例下捕获的传感器测量结果之间的匹配，并生成对应关系。特征匹配块206可被配置成从观测数据中识别不同时间实例下的相同特征。可通过使用***或装置的预测运动来改进特征提取和特征匹配。预测的运动可减少计算时间并改进函数的准确度。例如，***的预测运动的知识可以用于预测从观测结果中识别的特征的位置移动。它可通知特征匹配块206在哪里搜索特征，并且可缩小搜索区域。在一些配置中，特征匹配块206可在传感器预处理核中实施。

可以定义运动预测接口，以便于将预测的运动参数传送到特征匹配块206。例如，该接口可定义允许特征匹配块206请求和接收预测的运动参数的功能。预测的运动参数可包括装置位置、装置取向、速度和加速度信息。

取决于来自外感受传感器104的测量结果的维度的最小解算器208可被实施成确定针对外感受传感器状态估计210的初始状态估计，

。最小解算器208可在应用处理单元102中实施。最小解算器208可使用观测对应关系的子集（

）来估计（

）。最小解算器208可实施数值算法，以基于由外感受传感器104感测和提供的样本的多个观测结果来估计传感器位置。最小解算器208可使用最小可能的观测结果子集来生成对***的位置、取向和状态的初始估计。因为最小解算器208使用最小可能的子集，所以它可能够提供快速初始估计，然而，小的子集大小可导致误差。例如，当摄像机被用作外感受传感器104时，可以使用透视n点（PnP）算法。类似地，其他几何解算器可以用于其他外感受传感器。为了改进最小解算器的鲁棒性，可实施随机采样一致性方案（RANSAC）。最小解算器208使用的点或特征的数量可取决于所实施的特定策略。例如，可实施三点、五点和/或八点策略。

外感受状态估计块210可在外感受传感器104的局部坐标系中估计特定于外感受传感器104的状态（

）。状态估计可以使用滤波器或优化器来执行。例如，可利用扩展卡尔曼滤波算法（或其变型）和非线性最小二乘估计（NLSQ）算法。外感受传感器104的状态可包括装置的位置

、速度

、角速度

和取向（四元数）

。取向可表达为四元数或表达为相对于参考的三个角度。速度可表达为具有幅度和方向的矢量。可针对***/装置和在环境中识别的界标L来识别状态。状态估计块210的目的可以是在给定观测结果

和测量协方差λ的情况下使测量误差最小化，如下所示：

（1）。

特征提取块204、特征匹配块206、最小解算器块208和外感受状态估计块210可被实施为外感受传感器处理例程的一部分。

IMU融合核的示例是博世Sensortech BHI160。可以以预定间隔对IMU 106的传感器进行采样。可接收和处理来自IMU 106的传感器数据。一些处理操作可由IMU融合核执行。重力估计块224可被配置成基于来自IMU 106的观测结果来生成重力矢量。重力矢量可定义IMU 106相对于重力的力的取向。

活动辨别块226可被配置成识别高级活动类型。例如，活动辨别块226可将IMU 106的运动状态识别为静止的、手中运行和/或在车内。可类似地定义其他运动状态。该活动可通过处理来自IMU 106的加速度计和陀螺仪数据来辨别。可基于对应的标准来感测每种活动类型。活动辨别块226可处理速度和加速度数据以确定运动状态。例如，响应于加速度和速度小于对应的阈值，运动状态可被定义为静止的。响应于速度超过速度阈值，运动状态可以被定义为在车内。响应于速度在预定范围内且加速度遵循预定曲线，运动状态可被定义为手中运行。活动识别可用于预测运动。

零速度偏差估计块228可被配置成估计与IMU 106相关联的偏差或偏移。可能有益的是了解传感器（例如，加速度计和陀螺仪）在静止条件期间的偏移或偏差。由于噪声和/或产生公差，当输出应当为零时，传感器可输出非零值。例如，当传感器静止时，加速度和/或角速率值可被测量为非零值，而期望值应当为零。可估计偏差或偏移值，并从测量值中减去该偏差或偏移值，以减少测量误差。偏置或偏移值可被计算并存储在非易失性存储器中以备后用。

重力估计块224、活动辨别块226和零速度偏差估计228可在IMU传感器中枢中实施。以下描述了融合外感受传感器测量和IMU传感器测量，以改进***的整体性能。

外感受传感器104和IMU 106可单独地测量或估计类似的装置运动参数（例如，位置、取向、速度、运动方向）。但是，由于采样差异，运动参数可能无法及时对准。为了获得改进的跟踪，测量可以被同步到公共时钟域。时间同步块212可被实施成使IMU传感器测量和外感受传感器测量同步。在没有公共硬件触发信号的情况下，IMU 106和外感受传感器104可能不会同时触发测量。时间同步块212可被配置成确定来自IMU 106和外感受传感器104的测量之间的时间偏移。然后，可使用估计的时间偏移使来自IMU 106或外感受传感器104的测量进行时移，使得可以像同时采样一样利用测量。外感受传感器状态测量结果

可通过时间戳

获得，而IMU测量结果

可通过IMU时间戳

获得。

可以以不同的时间和速率对外感受传感器104和IMU传感器106进行采样。在不考虑时间差的情况下，将外感受传感器测量结果和IMU传感器测量结果相结合会导致状态估计不准确。为了将外感受传感器测量结果与IMU传感器测量结果融合，所有测量结果都可以被时移至单个时钟域。一些***设计可在外感受传感器104和IMU 106之间实施明确的触发信号或共享时钟，以强制同时触发。即使利用硬件同步，在测量结果的采样、采集和传送期间也会引入不同的延迟，这些延迟并未完全考虑在内。时间同步块212可被配置成执行时间同步，以确定传感器测量结果之间的时间偏移。

图3描绘了示例时序图300，其示出了用于外感受传感器104和IMU 106的采样和采集时间。第一时序图301描绘了用于外感受传感器104的采样和采集时间。外感受传感器采样时刻302被示为虚线。外感受传感器采集时间304被示为实线。外感受传感器采样时刻302可表示外感受传感器104在其处被触发以生成测量结果或样本的时间。外感受传感器采集时间304可表示处理单元在其处接收观测结果的时间，并且可包括将样本传输到处理单元的时间。在外感受传感器采样时刻302和外感受传感器采集时间304之间可存在外感受传感器样本采集（ES-SA）延迟314。ES-SA 延迟314可并入用于触发和收集观测数据的时间，使得对应的数据准备好进行处理。注意，外感受传感器采样时刻302可存在于每个外感受传感器采集时间304之前，并且在该示意图中没有全部示出。每个外感受传感器采样时刻302和外感受传感器采集时间304可通过对应的时间戳来识别。时间戳可通过对在外感受传感器采集时间304和/或外感受传感器采样时刻302处的时钟或定时器值进行锁存或采样来生成。

第二时序图305描绘了用于IMU 106的采样和采集时间。IMU传感器采样时刻306被示为虚线。IMU传感器采集时间308被示为实线。IMU传感器采样时刻306以表示IMU 106在其处被触发以生成测量结果或样本的时间。IMU传感器采集时间308可表示处理单元在其处接收观测结果的时间，并且可包括将样本传输到处理单元的时间。在IMU传感器采样时刻306和IMU传感器采集时间308之间可存在IMU样本采集（IMU-SA）延迟316。IMU-SA延迟316可并入用于触发和收集观测数据的时间，使得对应的数据准备好进行处理。注意，IMU传感器采样时刻306可出现在每个IMU传感器采集时间308之前，并且在该示意图中没有全部示出。每个IMU传感器采样时刻306和IMU传感器采集时间308可通过对应的时间戳来识别。

IMU 106和外感受传感器104可不经由硬件触发器同步。也就是说，处理单元可不同时触发对应的观测。传感器采样时间偏移310可存在于外感受传感器采样时刻302和IMU传感器采样时刻306之间。传感器采样时间偏移310可表示IMU传感器106和外感受传感器104在其处被触发或采样的时间差。

外感受传感器采集时间302可周期性地发生，由外感受性传感器采样周期303分开。IMU传感器采集时间308可周期性地发生，由IMU传感器采样时间周期312分开。外感受传感器采样周期303和IMU传感器采样周期312可不同。外感受传感器采样周期303可定义用于从外感受传感器104采集数据的外感受传感器采样频率（例如，频率是时间周期的倒数）。IMU传感器采样周期312可定义用于从IMU 106采集数据的IMU传感器采样频率。外感受传感器采样频率可不同于IMU传感器采样频率。例如，IMU传感器采样频率可大于外感受传感器采样频率。

时间同步块212可实施时间对准过程。图4描绘了用于时间同步块212的可能的方块图400。外感受状态估计块210可为外感受传感器104的每次测量生成并输出时间戳

。时间戳（

）可以是表示在其处触发外感受传感器测量的时刻的采样的计时器值。

频率估计块404可被配置成估计外感受传感器测量的频率。外感受传感器采样周期303可被估计为连续时间戳之间的差异（例如

），其中n是表示外感受传感器104的采样时刻的整数。该频率可以是外感受传感器采样时间周期303的倒数。频率估计块404可使用估计的频率来确定原始陀螺仪信息的预积分的时间间隔（ΔT*）。该时间间隔可以被提供给预积分块230。时间间隔（ΔT*）可定义原始IMU传感器数据在其内被积分的时间周期。时间间隔（ΔT*）允许一致的时间间隔，以用于对来自外感受传感器104和IMU传感器106的测量结果进行比较。由于采样的异步性质，同一时间间隔内由IMU数据和ES数据预测的运动参数可能不同。

预积分块230可基于在时间间隔内的IMU数据生成表示取向变化的Δqʹ(n)值。预积分块230可与IMU传感器中枢密切实施，以基于规定的时间间隔（τ_I0-τ_Ik)）将原始IMU测量结果（加速度

、角速度

）快速转换成预积分值。IMU可提供采样加速度计和陀螺仪测量结果：

（2）

（3）

其中b _g 和b _a 表示影响测量的偏差，η _g 和η _a 表示测量噪声，并且

表示旋转矩阵。

IMU样本可以以比外感受传感器样本更高的频率生成，因此连续外感受传感器测量之间的测量结果可以被预积分。基于在Δt_k处采样的IMU测量结果，预测值可以从间隔Δ T ^* 内的运动积分中导出，如下所示：

（4）

（5）

（6）。

时间间隔可对应于从频率估计中导出的ΔT*值。预积分块230的所得输出还可被表示为速度的变化或移位Δv、位置的变化或移位Δp+以及取向的变化或移位Δq'，其可以直接并入惯性辅助状态估计器中。预积分降低了惯性辅助状态估计器的延迟和计算要求。预积分取决于积分持续时间ΔT*或（t_E[n]-t_E[n-1]）以及局部参考系S_te[n-1]。例如，预积分可通过以下等式来实施：

（7）

（8）

（9）。

在上述等式中，IMU测量结果（

，

）以及IMU融合中枢提供的加速度计和陀螺仪偏差b _g 、b _a 可用于估计速度变化Δv、位置变化Δp+和取向移位Δq'。预积分块230可提供取向变化作为取向变量的最新值之间的差值。对于预积分计算，可使用与n和n-1个外感受传感器样本相关联的时间间隔。

粗略时间对准块408可被配置成确定传感器之间的粗略时间偏移δ _tc （例如，传感器采样时间偏移310）。外感受传感器状态估计块210可包含取向数据（q _e ），从该取向数据导出两个连续外感受传感器估计值之间的相对取向（Δq(n)）。可以以不同于外感受传感器的采样速率的速率对IMU传感器数据进行采样。在其中IMU传感器采样速率大于外感受传感器采样速率的配置中，时间间隔（ΔT*）可包括数个IMU传感器样本。外感受传感器时间戳可定义时间间隔的开始和结束时间值。预积分块230可基于IMU传感器数据提供对相似时帧（ΔT*）内的旋转或取向的估计。例如，预积分块230可对时间间隔（ΔT*）内的旋转/取向测量结果进行积分，以生成相对旋转或取向Δqʹ(n)。因为可以以不同的速率对外感受传感器104和IMU 106进行采样，所以对于每个时间间隔（ΔT*）可存在多个IMU传感器样本。IMU 106的样本数量可基于外感受传感器104的采样速率与IMU 106的采样速率的比率。在一些情况下，预积分块230可对一些IMU传感器样本执行部分积分。例如，时间间隔（ΔT*）内的第一个和最后一个IMU传感器样本可被部分积分。结果可以是在同一时间间隔内对应于外感受传感器估计值Δq(n)的Δqʹ(n)值。在数个时间间隔（ΔT*）内，Δqʹ(n)值和Δq(n)值可定义对应的时间序列或波形。

两个连续外感受传感器估计值之间的相对取向Δq(n)可与由预积分块230在数个IMU样本上生成的对应的相对取向Δqʹ(n)进行比较。粗略时间对准块408可使用优化方法/算法来执行。例如，可实施在三阶特殊正交组（SO3）空间中设计的有限脉冲响应（FIR）滤波器，以确定传感器之间的粗略时间偏移δt _c 。还可实施波形比较算法来确定Δq信号之间的粗略时间偏移δt _c 。粗略时间对准块408可使相对取向Δq波形或时间序列中的一者移位以匹配另一者。导致波形或时间序列对准的时移可定义粗略时间偏移δt _c 。可基于粗略时间对准来校正外感受传感器测量的时间戳。例如，粗略时间偏移δt _c 可通过找到减少由IMU 106和外感受传感器104估计的取向移位之间的差异所需的最小样本数量Δn来确定：

（10）

（11）。

***可以搜索采样偏移，该采样偏移给出由连续外感受传感器测量结果估计的Δq和从同一间隔内的IMU测量结果导出的移位的Δqʹ之间的最小总误差。***可使由Δq(n)和Δqʹ(n+Δn)表示的数据集之间的对称差异最小化。Δn代表以样本数量表示的外感受传感器104和IMU 106之间的采样偏移。Δn值可以是具有正值或负值的整数。为了将偏移从样本数量转换为时间偏移，该值可以乘以时间间隔。取决于不同的配置，IMU数据可移位至外感受传感器数据之前或之后。在一些配置中，可存储对取向值的缓冲区，以便能够实现对最佳偏移的搜索。

惯性辅助优化块410可表示该过程中的其余块。例如，块214至220与优化过程有关。惯性辅助优化块410可被配置成细化粗略时间对准δ _tc ，以在优化阶段中在线估计最终时间对准。最终时间偏移δt _f 可以如下确定：

（12）

（13）。

最终时间偏移在优化过程中使用，以将测量结果与同一时间帧对准。f(X,t)可表示在时间t处的状态估计。f _pred (X, t)可表示基于活动的预测状态，如将在本文稍后描述。该优化可试图使由状态估计器估计的状态和所预测的基于活动的状态之间的误差或距离最小化，所预测的基于活动的状态通过过程时间偏移和附加偏移而时移。使功能最小化的附加时间偏移值可以是最终时间偏移值。最终时间偏移可被估计为使通过使用IMU样本数据估计的状态和由外感受传感器模型预测的状态之间的距离的时间量最小化，该外感受传感器模型移位了所述时间偏移。

时间同步功能212可被编程到所述核或处理器中的一者或多者中。时间同步功能212可被配置成将来自***中的IMU 106和外感受传感器104的测量数据同步到公共时域，该***在IMU 106和外感受传感器104之间没有公共电测量触发信号。实施时间同步功能的处理器或核可以以第一速率从外感受传感器104接收取向数据，并以第二速率从IMU 106接收取向数据。核或处理器可被编程为基于在由第一速率定义的时间间隔内来自外感受传感器104的最近取向数据之间的差异来预测第一取向变化。核或处理器可被编程为基于来自IMU 106的同一时间间隔内的取向数据来预测第二取向变化。核或处理器可使来自传感器***中的一个的测量数据偏移一时间偏移，该时间偏移使第一变化和第二变化之间的误差最小化，使得与第一变化和第二变化相关联的波形或时间序列在时间上对准。

再次参考图2，惯性坐标对准块214可被实施成将来自IMU 106和外感受传感器104的测量结果转换到惯性坐标系。在VR/AR应用中，由于重力矢量的知识，与惯性参考系的对准使得能够实现基于物理的呈现（rendering）和更好的环境几何估计。

图5描绘了可以为跟踪***定义的坐标系的示意图。在VR/AR应用中，由于重力矢量504的知识，与惯性坐标系502的对准使得能够实现基于物理的呈现和对环境几何形状的更好估计。可为外感受传感器104定义外感受传感器坐标系508，并且该坐标系508从惯性参考系502偏移。然而，外感受传感器104相对于惯性坐标系502的初始位置和取向是不可观测的。这样，由外感受传感器104估计并在外感受传感器坐标系508中表示的位置和取向不与惯性坐标系502对准。IMU坐标系506可由IMU传感器106定义，并且也可从惯性坐标系502偏移。有可能在IMU 106和外感受传感器104之间执行预先校准，或者使用图像来估计重力矢量，以将外感受传感器104与惯性坐标系502对准。可确定将IMU坐标转换到惯性坐标系502的IMU-惯性坐标系变换T_IB 512。例如，IMU-惯性坐标系变换T_IB 512可以是乘以测量值以将测量值转换成惯性坐标系的矩阵。外感受传感器坐标系508和IMU坐标系506之间的变换T_IE510可被确定为转换测量的外感受传感器值以匹配测量的IMU传感器值的变换。

再次参考图2，***可包括被配置成将跟踪数据变换到惯性坐标系502的惯性坐标对准块214。图6描绘了用于将坐标对准到惯性坐标系502（如可被实施为惯性坐标对准块214的一部分）的可能的一组特征的方块图600。在执行了时间同步之后，可确定IMU 106和外感受传感器104与惯性坐标系502的对准。惯性坐标初始化块602可接收来自重力估计块224和磁力计604的输入，该磁力计为相对于地球磁北的取向提供信号。可相对于IMU坐标系506来初始地定义IMU 106测量结果。可使用由IMU传感器中枢估计的重力矢量来执行IMU106与重力矢量504（来自重力估计块224）的初始对准。例如，IMU 106可包括被定位成测量竖直加速度/减速度的加速度计。当IMU 106被定位在水平表面上时，预期的输出将是重力加速度。与已知的重力加速度的任何偏差可以是IMU 106不是水平（例如，斜的或倾斜的）的结果。

磁力计604可为北方向提供坐标信息。可定义惯性坐标系502，使得各轴线与重力矢量和磁北方向具有预定关系。磁力计信号可为惯性坐标系502提供取向。在知道了惯性坐标系502的取向和重力矢量504的情况下，可确定IMU-惯性坐标系变换T_IB 512。可通过应用IMU-惯性坐标系变换T_IB 512来将IMU-坐标系506中的坐标变换到惯性坐标系502。例如，IMU-惯性坐标系变换T_IB 512可被表达为矩阵，并且可通过T_IB对IMU-坐标矢量进行运算，从而得出惯性坐标矢量。

接下来，可估计外感受传感器104的坐标***和IMU 106的坐标***之间的变换。旋转对准块606可接收来自外感受状态估计210和预积分块230的输入。外感受状态估计210和预积分块230中的每一者可提供在公共时间间隔内旋转取向（例如，q）的估计值。可假定，在该时间间隔期间，外感受传感器104和IMU 106已以相同方式移动。旋转移动的任何差异可以是由于传感器的相对对准引起的。在知道了由两个传感器提供的旋转估计值的情况下，可计算变换T_IE510，使得通过将变换T_IE 510应用于外感受坐标，得出了IMU坐标。外感受状态估计210可估计状态X _E = [R, t, ϕ _E ]，其中R表示***相对于惯性参考系的旋转，t表示***相对于惯性坐标系的位置，并且ϕ _E 表示取决于外感受传感器104的支持状态。

平移对准块608可被实施成以类似的方式执行平移对准。例如，可从由外感受状态估计210和预积分块230估计的平移元素（例如，速度和位置）来确定平移变换矩阵。可对平移变换矩阵应用该数据，从而得出惯性坐标系中的估计值。可将这些变换组合为单个变换，该单个变换将与外感受传感器相关联的状态信息转换到惯性坐标系502中。

外感受到IMU变换可被定义为T_IE = [R_IE, t_IE]，其中R_IE和t_IE表示旋转变换以及从感受传感器坐标系508到IMU坐标系506的平移偏移。为了估计旋转变换，可如下使用在外感受坐标系（

）和惯性坐标系（

）中获得的两个连续时间戳t1和t2之间的相对旋转：

（14）。

可通过使用诸如梅山（Umeyama）方法或类似方法的方法来估计平移偏移。

再次参考图2，运动预测块216可被实施成预测装置的运动。运动预测块216可接收来自活动辨别块226的活动输入。运动预测块216还可被提供有惯性坐标系502中的状态信息。运动预测块216可为来自外感受传感器104中的被跟踪特征中的每一者提供附加运动估计值。运动预测块216可进一步为特征匹配块206提供输出，以便于跟踪特征。

惯性辅助优化中强加的时间约束可基于用于基于先前状态来预测当前状态的预测模型。通常使用连续速度模型或平稳运动模型（stationary motion model）。然而，现代IMU融合中枢提供关于活动的信息，该信息可以用于选择要使用的适当运动模型。由IMU传感器中枢估计的活动可以用于启用如下文描述的自适应预测模型：

（15）

其中，if activity=in-vehicle：如果活动=在车内；

if activity=in-vehicle： 如果活动=在运行；

if activity=stationary： 如果活动=静止的。

上次的状态和当前状态之间的时间间隔可被表示为ΔT。预测模型的一阶导数和二阶导数分别被定义为f'和f''。预测状态的变化可被表示为f _pred (X)。该示例使用三个模型，但是如果定义了附加活动状态，则可并入附加模型。可基于非线性最小二乘准则的最小值来估计状态：

（16）

（17）

（18）

（19）。

可在惯性辅助跟踪算法中使用状态估计器来估计***相对于惯性坐标系502的位置和取向。除了位置和取向之外，状态估计器还可包含特定于IMU 106的附加状态（诸如，偏差）以及特定于外感受传感器104的状态（诸如，界标距离）。这增加了被估计的状态的数量，且因此增加了状态估计器的复杂性。约束聚合块218可被实施成去除仅取决于外感受传感器104的状态。例如，可用与过去的位置和取向有关的约束来代替状态信息（诸如，由外感受传感器104识别的界标）。可通过X_I=[p, q, t, ϕ_I, Ε _E ]来定义将由惯性辅助状态估计器220估计的状态，其中ϕ_I表示取决于IMU传感器的支持状态，并且Ε _E 表示从外感受状态估计块210的先前执行中聚合的状态。

状态估计可被划分为两个阶段。可在单独的估计器中估计由外感受传感器104支持的状态，并且该结果可用于驱动惯性辅助状态估计器220。这种分离会导致状态的早期线性化，并且不能捕获外感受传感器104和IMU状态之间的所有相关性。然而，它降低了计算复杂性，因为它减少了要同时估计的变量的数量。可在惯性辅助状态估计器220中使用从外感受状态估计器210导出的约束而非所得状态。这使得通过惯性辅助跟踪执行的最终优化能够间接地并入外感受约束和本体感受约束。

可由外感受状态估计器210来估计状态X _E =[p _E , q _E , ϕ _E ]。ϕ _E 由外感受传感器104观测到的所有界标组成。该项可以容易地变成无界的，并且不适合于传递到惯性辅助状态估计器220。由外感受传感器104估计的状态ϕ _E 尽管被表示为独立的，但它可以被重新参数化为取决于先前估计的位置和取向的历史[q_1:n, p_1:n]。状态ϕ _E 的这种重新参数化消除了仅取决于外感受传感器104的状态。在数学上，这可以被看作是仅外感受传感器状态到零空间上的投影以将它们去除。例如，考虑到在来自基于运动的跟踪的结构中的界标情况，状态估计中表示的界标实际上是对多个视图的三角测量的结果。界标可被识别或存在于连续的图像中。当相同的特征或界标存在于多幅图像中时，位姿（pose）之间可能存在约束。可在不包括界标或特征位置的情况下表达该约束。

可实施最大的后验估计。由取决于外感受传感器104的状态ϕ _E 连接的约束可如下被边缘化：

（20）

（21）。

在边缘化期间，ϕ _E 中的约束由具有简化表示的Ε _E 来代替。可假定这些状态是随机变量，并且P(X)表示随机变量X的概率密度函数。

图7是描绘特定于由外感受传感器104识别的界标的信息的重新参数化或变换的示意图700。可识别当前摄像机位姿702（p _tk ）。可相对于当前摄像机位姿702来识别环境中的一个或多个界标704。可在不同的摄像机位姿（例如，在不同时间下的位姿）中识别界标704中的每一个。界标704中的每一个可与一组先前摄像机位姿相关联。例如，界标可与当前摄像机位姿702（p _tk ）、第一先前摄像机位姿705（p _tk-1 ）、第二先前摄像机位姿706（p _tk-2 ）和第三先前摄像机位姿708（p _tk-3 ）相关联。图7表示这样的情况，即，其中通过相对于在时间t _k 下的当前位姿702以及过去的位置p和取向q状态来定义约束，从而基于成本来消除界标704（L）。变换可被呈现为：

（22）。

从外感受传感器104获得的约束可与由IMU提供的时间约束相结合，以估计装置的最终位置和取向。可基于通过使用IMU测量来传播先前状态X _k-1 而估计的状态和由预测模型f _pred 预测的状态之间的差异来估计来自IMU的时间约束。在所公开的方法中，可使用自适应预测模型，其取决于由IMU融合中枢确定的活动。另外，还可计算外感受传感器104的残差。残差可被表达为：

（23）

（24）

（25）。

其中l_j将界标及其在图像帧i上的对应测量结果表示为Z = {z_ij}。项r _ext 表示重投影误差。项

表示内在矩阵，项

表示旋转，并且项p _i 表示平移。函数π(x,y,z) = [x/z, y/z]。成本函数可如下被定义为残差的函数：

（26）。

应用处理单元102可被编程为实施用于使成本函数最小化的策略。等式（26）表示最小二乘最小化问题，其可以使用Gauss Netwon或Lavenberg Marquert优化技术来解决。与IMU预测相关联的协方差由Σ_i表示，与外感受传感器测量相关联的协方差由Σ_r表示。

现代IMU融合中枢包括活动辨别特征，其将***的运动状态识别为静止的、手中运行（in-hand running）、在车内等。类似地，还可在IMU融合中枢中估计重力矢量的方向和IMU偏差。由IMU融合中枢执行的估计独立于跟踪算法并将IMU的特性考虑在内。IMU融合中枢提供估计值，所述估计值可用作到惯性辅助跟踪算法的附加输入。

在原始传感器输入和经处理的高频位置以及取向输出之间存在多个不同的计算单元。这种计算划分使得能够在降低应用处理器上的负荷的同时实现更高的总处理能力。例如，IMU可包括处理器，并且外感受传感器104可具有对应的处理器。另外，应用处理器可执行使用跟踪数据并可以执行处理的应用程序。

现有的方法常常忽略不同的计算单元，并且依赖于应用处理器来进行完整的传感器融合。然而，所提出的***可以被实施成利用可用数量的计算单元。图8呈现了用于典型的基于智能手机的***的第一示例***架构800，该***架构具有专用的仅IMU融合核804（诸如，Bosch Sensortech的BHI160）和传感器处理核806（诸如，Pixel Visual核）。***架构800可包括IMU 106。***架构800可包括与IMU 106相关联和/或集成的仅IMU融合核804。仅IMU融合核804可包括处理单元或控制器，该处理单元或控制器被配置成执行用于处理来自IMU 106的测量结果的程序或指令。

***架构800可包括外感受传感器104。***架构800可包括与外感受传感器104相关联和/或集成的传感器处理核806。传感器处理核806可包括处理单元或处理器，该处理单元或处理器被配置成执行用于处理来自外感受传感器104的测量结果的程序或指令。在一些示例中，外感受传感器104可以是作为智能手机的一部分的摄像机。

***架构800可包括应用处理器802。例如，应用处理器802可以是智能手机的计算单元。可利用一个或多个应用程序来对应用处理器802进行编程。例如，可利用第一应用程序812和第二应用程序814来对应用处理器802进行编程。应用处理器802可进一步被编程为实施IMU-外感受传感器融合特征808。IMU-外感受传感器融合特征808可被配置成实施上文描述的传感器融合策略。

应用处理器802可进一步被编程为实施应用程序接口（API）810。接口API 810可被配置成在传感器处理核806、IMU-外感受传感器融合特征808、以及第一应用程序812和第二应用程序814之间提供接口。接口API 810可定义例程和接口以以便便于传感器和软件元素之间的通信。

仅IMU融合核804可实施利用零速度进行偏差校正和重力估计的算法。硬件融合核的输出可与重力、偏差和运动状态估计值融合。传感器处理核806可被配置成执行特定于外感受传感器104的功能，诸如特征提取、特征匹配和传感器调节。本文中在上文详细描述了IMU-外感受传感器融合特征808。在该示例中，由应用处理器802实施IMU-外感受传感器融合特征808。应用处理器802可被编程为执行用作传感器预处理核806和IMU-外感受传感器融合特征808之间的接口API 810的代码。在应用处理器802上具有接口API 810增加了对外感受传感器104的选择的灵活性，并且去除了对经由物理导线进行同步的任何硬件依赖性。

图9呈现了第二种可能的架构900，其中IMU-外感受传感器融合特征被卸载（offloaded）到IMU-外感受传感器融合核908中。第二架构900包括可作为智能手机的一部分的应用处理器902。IMU-外感受传感器融合核908可包括处理单元或控制器，该处理单元或控制器被配置成执行用于实施IMU-外感受传感器融合特征808的程序或指令。第二架构900从应用处理器902去除了处理开销。在这种配置中，IMU-外感受传感器融合核908和仅IMU融合核804可被集成到单个单元中。

可利用第一应用程序912和第二应用程序914来对应用处理器902进行编程。应用处理器902可进一步被编程为实施接口API 910。接口API 910可被配置成在传感器处理核806、IMU-外感受传感器融合特征908、以及第一应用程序912和第二应用程序914之间提供接口。

这种配置的好处在于，应用处理器902（和开发人员/编程人员）无需执行融合传感器数据的任务。可使得开发人员能够生成应用程序，而不必考虑传感器融合任务。应用程序912、914可使用API 910来访问跟踪数据。API 910提供对外感受传感器和IMU的选择的灵活性。

作为示例，图2中描述的特征可以由不同的处理器执行。可在传感器处理核806中实施特征提取块204。可在传感器处理核806中实施特征匹配块206。可通过API 910传递关于运动预测的信息。可在应用处理器902中实施最小解算器208和约束边缘化。可在IMU-外感受传感器融合核908中实施时间同步212、惯性坐标对准214、运动预测216、约束聚合218和惯性辅助优化220。可在仅IMU融合核804中实施预积分230、重力估计224、活动辨别226和偏差估计228。

图10描绘了用于位置和取向跟踪***的可能的操作序列的流程图1000。在操作1002处，控制器可接收来自外感受传感器的数据。ES数据可以以第一速率被接收，并且可包括ES取向数据。在操作1004处，控制器可实施指令以基于ES数据来预测在一时间间隔内的位置和取向的变化。该变化可基于在由第一速率定义的时间间隔内的最新ES数据之间的差异。对变化的预测可如本文中先前描述的那样。在操作1006处，控制器可接收来自IMU的数据。IMU数据可以以与ES的第一速率异步的第二速率被接收，并且包括IMU取向数据。在操作1008处，控制器可实施指令以基于IMU数据来预测在该时间间隔内的位置和取向的变化。

在操作1010处，控制器可生成时间偏移，如本文中先前描述的那样。时间偏移可使由ES预测的变化和由IMU预测的变化之间的误差最小化，使得与ES和IMU预测的变化相关联的波形或时间序列在时间上对准。在一些示例中，可通过使用有限脉冲响应算法来使误差最小化。最终时间偏移可被估计为一时间量，该时间量使由基于IMU样本数据来估计状态的模型和基于ES样本数据来预测状态的模型的所估计的状态之间的距离最小化，所述ES样本数据移位了该时间偏移。时间偏移将由外感受传感器和IMU生成的信号同步到公共时域。通过将信号对准到公共时域，传感器的经同步的传感器输出值可同时表示相关联的装置的位置和取向。在操作1012处，控制器可应用时间偏移。例如，时间偏移可被添加到ES数据的时间戳以与IMU数据对准。在操作1014处，控制器可估计跟踪状态，如本文中先前描述的那样。在操作1016处，控制器可根据跟踪状态来操作装置。装置的操作可取决于特定的应用。例如，AR/VR应用可将虚拟对象叠覆在包括附近环境的图像数据的显示图像上。

本文中公开的过程、方法或算法可以是可递送到处理装置、控制器或计算机的/由处理装置、控制器或计算机实施，所述处理装置、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以许多形式存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在不可写存储介质（诸如，ROM装置）上的信息以及可变更地存储在可写存储介质（诸如，软盘、磁带、CD、RAM装置以及其他磁和光介质）上的信息。还可以在软件可执行对象中实施过程、方法或算法。替代地，可以使用合适的硬件部件（诸如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或其他硬件部件或装置）或者硬件、软件和固件部件的组合来全部或部分地具体实施过程、方法或算法。

虽然上文描述了示例性实施例，但是这些实施例并不旨在描述由权利要求涵盖的所有可能的形式。说明书中使用的词语是描述性的词语，而不是限制性的词语，并且应理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如先前描述的，各种实施例的特征可以进行组合以形成本发明的可能未被明确描述或图示的另外的实施例。虽然各种实施例可能已被描述为提供了优点或就一个或多个期望特性而言优于其他实施例或现有技术实施方式，但本领域普通技术人员认识到，为了实现期望的整体***属性，会在一个或多个特征或特性方面做出妥协，这取决于具体的应用和实施方式。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、尺寸、服务能力、重量、可制造性、易于组装性等。因而，在任何实施例被描述为就一个或多个特性而言不如其他实施例或现有技术实施方式理想的方面来说，这些实施例并非在本公开的范围之外，并且对于特定应用而言可能是期望的。

Claims (20)

1.一种用于跟踪装置的位置和取向的方法，所述方法包括：

通过控制器进行以下步骤：

使用来自以第一速率被采样的外感受传感器（ES）的测量结果来预测所述装置的第一跟踪状态；

使用来自以与所述第一速率异步的第二速率被采样的惯性测量单元（IMU）的测量结果来生成所述装置的第二跟踪状态；

通过估计时间偏移来将所述第一跟踪状态和第二跟踪状态同步到公共时域，所述时间偏移使所述第一跟踪状态和第二跟踪状态之间的随时间的变化之间的误差最小化，使得与所述第一跟踪状态相关联的第一时间序列以及与所述第二跟踪状态相关联的第二时间序列在时间上对准；

将所述第一跟踪状态和所述第二跟踪状态对准到惯性参考系；以及

通过使成本函数最小化来生成惯性辅助跟踪状态，所述成本函数包括以下各者：第一残差项，其从使用移位了所述时间偏移的所述第二跟踪状态传播先前状态估计值导出；以及从所述第一跟踪状态导出的第二残差项。

2.根据权利要求1所述的方法，其还包括：通过搜索使相对于一组观测结果的测量误差最小化的状态估计值来预测所述第一跟踪状态，其中，特定于所述ES的运动状态在局部坐标系中。

3.根据权利要求2所述的方法，其还包括：使用来自所述IMU的重力矢量来生成用于将所述局部坐标系对准到惯性参考系的变换。

4.根据权利要求1所述的方法，其还包括：基于在由所述第一速率定义的时间间隔内的所述第一跟踪状态的最近预测值之间的差异来预测第一取向变化，以及基于在所述时间间隔内的所述第二跟踪状态来预测第二取向变化。

5.根据权利要求4所述的方法，其还包括：通过在所述时间间隔内对所述第二跟踪状态的样本进行积分来预测所述第二取向变化。

6.根据权利要求5所述的方法，其中，所述第二速率大于所述第一速率，并且对来自所述IMU的样本的预定数量进行积分以预测所述第二变化，所述预定数量基于所述第一速率与所述第二速率的比率。

7.根据权利要求1所述的方法，其还包括：使用优化算法来使所述误差最小化。

8.一种用于装置的位置和取向跟踪***，包括：

控制器，其与所述外感受传感器核和惯性测量单元（IMU）通信，所述外感受传感器核以第一速率对外感受传感器进行采样并生成第一组测量数据，所述IMU以与所述第一速率异步的第二速率对IMU传感器进行采样并生成第二组测量数据，所述控制器被编程为通过将所述第一组测量数据和第二组测量数据同步到公共时域而根据跟踪状态来跟踪所述装置的运动，其中，所述第一组测量数据和第二组测量数据通过使其中一组测量数据偏移一时间偏移而被同步，所述时间偏移使由所述第一组测量数据在由所述第一速率定义的时间间隔内预测的所述装置的取向变化和由所述第二组测量数据在所述时间间隔内预测的所述装置的取向变化之间的误差最小化。

9.根据权利要求8所述的***，其中，所述外感受传感器是摄像机。

10.根据权利要求8所述的***，其中，所述跟踪状态包括所述装置的位置、所述装置的速度和所述装置的取向中的一者或多者。

11.根据权利要求8所述的***，其中，所述控制器进一步被编程为以一时间量来更新所述时间偏移，所述时间量使以下两者之间的距离最小化：基于所述第二组测量数据来预测装置运动的模型估计的运动状态，和基于移位了所述时间偏移和所述时间量的所述第一组测量数据来预测装置运动的模型估计的运动状态。

12.根据权利要求8所述的***，其中，控制器进一步被编程为：接收基于IMU数据的活动类型，并且将所述活动类型传送到所述外感受传感器核。

13.根据权利要求8所述的***，其中，所述控制器被编程为：接收基于IMU数据的活动类型，并且基于所述活动类型来改变用于估计所述跟踪状态的模型。

14.根据权利要求13所述的***，其中，所述控制器进一步被编程为通过使成本函数最小化来估计所述跟踪状态，所述成本函数包括通过传播从所述第二组测量数据导出的先前跟踪状态而估计的跟踪状态和由所述模型基于所述活动类型预测的跟踪状态之间的差异。

15.根据权利要求8所述的***，其中，所述控制器进一步被编程为执行优化方法以使所述总误差最小化。

16.一种用于使来自惯性测量单元（IMU）和外感受传感器（ES）的测量数据同步而其间没有公共电测量触发信号的设备，包括：

控制器，其与外感受传感器核和惯性测量单元（IMU）通信，所述外感受传感器核被配置成以第一速率对外感受传感器进行采样，所述IMU被配置成以与所述外感受传感器异步的第二速率对IMU传感器进行采样，所述控制器被编程为：基于在由所述第一速率定义的时间间隔内的最近ES取向数据之间的差异来预测第一取向变化；基于在所述时间间隔内的IMU取向数据来预测第二取向变化；以及使来自所述ES的测量数据偏移一时间偏移，所述时间偏移使所述第一变化和所述第二变化之间的误差最小化，使得与所述第一变化相关联的第一时间序列以及与所述第二变化相关联的第二时间序列在时间上对准。

17.根据权利要求16所述的设备，其中，所述控制器进一步被编程为以一时间量来更新所述时间偏移，所述时间量使由以下跟踪状态之间的距离最小化：基于IMU数据来预测状态的模型估计的跟踪状态，和基于移位了所述时间偏移的外感受传感器数据来预测状态的模型估计的跟踪状态。

18.根据权利要求16所述的设备，其中，所述控制器进一步被编程为：接收基于IMU数据的活动类型，并且将所述活动类型传送到所述外感受传感器核。

19.根据权利要求16所述的设备，其中，所述控制器进一步被编程为在所述时间间隔内对所述采样的IMU数据执行积分以用于预测所述第二旋转变化。

20.根据权利要求16所述的设备，其中，所述控制器进一步被编程为：使用所述时间偏移来使用于生成所述跟踪状态的信号在时间上移位从而估计装置的跟踪状态。

Images