CN104737205B - 自适应尺度及/或重力估计 - Google Patents

自适应尺度及/或重力估计 Download PDF

Info

Publication number
CN104737205B
CN104737205B CN201380055388.9A CN201380055388A CN104737205B CN 104737205 B CN104737205 B CN 104737205B CN 201380055388 A CN201380055388 A CN 201380055388A CN 104737205 B CN104737205 B CN 104737205B
Authority
CN
China
Prior art keywords
estimation
target
mobile device
image
scale factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380055388.9A
Other languages
English (en)
Other versions
CN104737205A (zh
Inventor
A·拉马南达恩
C·布鲁纳
M·拉马钱德兰
M·R·查里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104737205A publication Critical patent/CN104737205A/zh
Application granted granted Critical
Publication of CN104737205B publication Critical patent/CN104737205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明呈现用于在移动装置中估计重力及/或尺度的***、设备和方法。使用基于图像的姿势与基于惯性的姿势之间的差异来更新重力及/或尺度的所述估计。所述基于图像的姿势是从两个姿势计算得到，且使用在所述差异之前的尺度的所述估计进行缩放。所述基于惯性的姿势是从加速度计测量值计算得到，所述加速度计测量值通过重力的所述估计进行调整。

Description

自适应尺度及/或重力估计
相关申请案的交叉参考
本申请案主张2013年8月29日申请的标题为“自适应尺度及/或重力估计(Adaptive Scale and/or Gravity Estimation)”的第14/014,174号美国申请案的权益及优先权，所述申请案又根据35U.S.C.§119(e)主张2013年3月15日申请的第61/801,741号美国临时申请案及2012年11月5日申请的第61/722,601号美国临时申请案的权益及优先权，所述两个申请案标题为“自适应尺度及/或重力估计(Adaptive Scale and/or GravityEstimation)”。前述美国申请案的全文特此以引用的方式并入本文中。
技术领域
本发明大体上涉及尺度及/或重力估计领域中的***、设备和方法，且更确切地说，涉及通过将由重力的早先估计形成的基于惯性的姿势与由尺度的早先估计形成的基于图像的姿势进行比较而估计尺度及/或重力。
背景技术
一些***对图像使用计算机视觉算法以用于扩增实境(AR)应用并确定尺度的估计。尺度的估计乘以姿势以确定物体与相机有多远。其它***使用惯性传感器通过确定重力的估计而确定移动(例如，经由航迹推测)。由重力的估计调整加速度计测量值以确定线性加速度。需要用以协调使用相机及惯性传感器两者确定***的尺度及重力两者的装置。
发明内容
所揭示的是用于估计移动装置中的姿势的***、设备和方法。
根据一些方面，所揭示的是用于在移动装置中进行估计的方法，所述方法包括：从在第一时间在目标与所述移动装置的相机的第一位置之间俘获的第一图像确定第一姿势，其中所述第一图像含有所述目标；从在第二时间在所述目标与所述相机的第二位置之间俘获的第二图像确定第二姿势，其中所述第二图像含有所述目标；使用缩放因数的第一估计而计算所述第一姿势与所述第二姿势之间的基于图像的姿势；从所述移动装置的加速度计接收从所述第一时间到所述第二时间的测量；基于来自所述加速度计的所述测量及重力向量的第一估计而形成基于惯性的姿势；计算所述基于图像的姿势与所述基于惯性的姿势之间的差异；及基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者。
根据一些方面，所揭示的是用于在移动装置中进行估计的所述移动装置，所述移动装置包括：相机，其经配置以：在第一时间且在所述相机的第一位置处俘获含有目标的第一图像；及在第二时间且在所述相机的第二位置处俘获含有所述目标的第二图像；加速度计，其经配置以提供从所述第一时间到所述第二时间的测量；及处理器，其耦合到所述相机及所述加速度计且经配置以：从所述第一图像确定所述移动装置的所述目标之间的第一姿势；从所述第二图像确定所述移动装置的所述目标之间的第二姿势；使用缩放因数的第一估计计算所述第一姿势与所述第二姿势之间的基于图像的姿势；基于所述测量及重力向量的第一估计而形成基于惯性的姿势；计算所述基于图像的姿势与所述基于惯性的姿势之间的差异；及基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者。
根据一些方面，所揭示的是用于在移动装置中进行估计的所述移动装置，所述移动装置包括：用于从在第一时间在目标与所述移动装置的相机的第一位置之间俘获的第一图像确定第一姿势的装置，其中所述第一图像含有所述目标；用于从在第二时间在所述目标与所述相机的第二位置之间俘获的第二图像确定第二姿势的装置，其中所述第二图像含有所述目标；用于使用缩放因数的第一估计而计算所述第一姿势与所述第二姿势之间的基于图像的姿势的装置；用于从所述移动装置的加速度计接收从所述第一时间到所述第二时间的测量的装置；用于基于来自所述加速度计的所述测量及重力向量的第一估计而形成基于惯性的姿势的装置；用于计算所述基于图像的姿势与所述基于惯性的姿势之间的差异的装置；及用于基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者的装置。
根据一些方面，所揭示的是一种非暂时性计算机可读存储媒体，其包含存储在其上的用于供移动装置在所述移动装置中进行估计的程序代码，所述程序代码包括用以进行以下操作的程序代码：从在第一时间在目标与所述移动装置的相机的第一位置之间俘获的第一图像确定第一姿势，其中所述第一图像含有所述目标；从在第二时间在所述目标与所述相机的第二位置之间俘获的第二图像确定第二姿势，其中所述第二图像含有所述目标；使用缩放因数的第一估计而计算所述第一姿势与所述第二姿势之间的基于图像的姿势；从所述移动装置的加速度计接收从所述第一时间到所述第二时间的测量；基于来自所述加速度计的所述测量及重力向量的第一估计而形成基于惯性的姿势；计算所述基于图像的姿势与所述基于惯性的姿势之间的差异；及基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者。
应理解，所属领域的技术人员将从以下详细描述而容易地明了其它方面，其中借助于说明展示且描述各种方面。图式和详细描述将被视为本质上是说明性的而非限制性的。
附图说明
将参看图式仅通过实例方式来描述本发明的实施例。
图1说明根据本发明的一些实施例的实例装置。
图2说明根据本发明的一些实施例的图1中说明的装置的实例框图。
图3说明根据本发明的一些实施例的图1中说明的装置的实例框图。
图4说明根据本发明的一些实施例的估计姿势、惯性导航***的状态、尺度及/或重力的方法的实例。
图5到7展示根据本发明的一些实施例的固定平面目标及垂直重力向量。
图8展示根据本发明的一些实施例的移动装置及固定平面目标。
图9涉及各种参考***。
图10展示两个姿势测量。
图11说明缩放模糊性。
图12及13展示根据本发明的一些实施例的用以校正基于惯性的姿势与基于图像的姿势之间的误差的模块。
图14展示根据本发明的一些实施例的用于改进重力向量及尺度的方法。
具体实施方式
以下结合附图而陈述的详细描述希望作为对本发明的各个方面的描述，而不希望表示其中可实践本发明的仅有方面。提供本发明中所描述的每一方面仅作为本发明的实例或说明，且其不应必然地解释为比其它方面优选或有利。详细描述包含用于提供对本发明的彻底理解的目的的特定细节。然而，所属领域的技术人员将明白，可在没有这些特定细节的情况下实践本发明。在一些情况下，以框图的形式展示众所周知的结构及装置以便避免混淆本发明的概念。首字母缩写词及其它描述性术语可仅出于便利及清晰的目的而使用，且不希望限制本发明的范围。
如本文所使用，移动装置有时被称作移动站(MS)或用户装备(UE)，例如蜂窝式电话、移动电话或其它无线通信装置、个人通信***(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航信号的其它合适的移动装置。术语“移动装置”也希望包含(例如)通过短程无线、红外线、缆线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。而且，“移动站”既定包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够(例如)经由因特网、WiFi或其它网络与服务器通信，并且不管是在装置处、服务器处还是在与网络相关联的另一装置处发生卫星信号接收、辅助数据接收及/或位置相关处理。上述各者的任何可操作组合也被视为“移动装置”。
本文中描述了至少尺度及/或重力估计的实施例。在一些实施例中，所述尺度及/或重力估计是基于来自一或多个惯性传感器的一或多个图像及/或输入。在一些实施例中，所述尺度及/或重力估计可与图像处理、计算机视觉、物体及/或移动跟踪及/或扩增实境一起使用。下文关于扩增实境应用、装置及/或情形描述一或多个实施例，但实施例不限于所描述的内容。例如，本文中的实施例可以用于其中例如基于来自一或多个惯性传感器的一或多个图像及/或输入来估计尺度及/或重力的任何情形或功能中。
在一些实施例中，大体上实时地执行如本文所描述的功能。在其它实施例中，存储图像及/或传感器测量值以供稍后处理，或处理是基于所存储及/或所接收的图像及/或传感器测量值。在一些实施例中，可在移动装置(例如智能电话或平板计算机或其它装置)处执行本文中描述的所述功能中的一者或全部。在一些实施例中，可至少部分基于从移动装置接收的信息在服务器或其它计算装置处执行本文中描述的功能中的一或多者。在一些实施例中，可在移动装置与服务器或与所述移动装置通信的其它计算装置之间拆分本文中描述的功能中的一或多者的性能。
某些实施例可包含处理图像或其它视觉输入(例如)以便识别更多目的或目标及/或跟踪元件及/或装置的移动，例如俘获图像或其它视觉输入的装置。在一些情况及/或应用中，例如扩增实境(AR)应用中，使用视觉辅助惯性导航***(INS)可提供比仅视觉方法大体上改进的性能。例如，使用视觉辅助INS在使用已知及/或固定目标的应用中可为有益的。惯性传感器可短期准确地跟踪且可以用于跟踪快速电话移动，例如，在一些实施例中，典型地用于游戏或AR应用。此外，使惯性传感器输入及/或测量与计算机视觉融合可减轻(例如)在长期单独使用惯性传感器的情况下可出现的平移中的潜在漂移。A视觉辅助惯性导航***可提供稳健跟踪，甚至在照明及/或特征点计数降低时也如此。
在一些实施例中，INS包括例如仅使用陀螺仪信息的仅姿态INS。在一些实施例中，所述INS包括例如使用加速度计及陀螺仪测量两者的6自由度(DOF)INS。在除了陀螺仪信息之外还使用加速度计信息时(例如在6DOF INS中)，知晓(例如)固定目标框架中的如由重力向量表示的重力可为有益的。此外，知晓目标的尺度(例如)以使得可将目标的特征的位置从一或多个单位转换到一或多个其它单位(例如从针对目标正规化的单位转换到度量单位)可为有益的。可以针对目标大小正规化的单位表达已知目标上的特征的位置以支持各种目标大小。目标大小可在本文中被称为目标的尺度且由缩放因数界定。在一些实施例中，加速度计可使用视觉模态(例如图像或视觉输入)以度量单位提供特征位置。特征位置从针对目标大小正规化的单位转换到度量单位可因此对于加速度计的至少此使用是有益的。
在一些实施例中，目标的重力向量及/或尺度可为已知的或从尺度信息的用户输入及/或观看一些已知定向上的目标(例如，以使得重力向量是已知的)来确定。如果目标尺度及重力向量是已知的，那么使用过滤器的基于视觉的INS(例如，基于经扩展卡尔曼过滤器(EKF)的视觉辅助INS)可以用于估计相机姿势(或俘获视觉输入的另一传感器的姿势)及/或惯性传感器校准。在一些实施例中，基于EKF的视觉辅助INS可提供至多线性化误差的对相机姿势及惯性传感器校准的最佳估计。
在一些实施例中，可自适应地估计例如呈目标的重力向量及/或尺度的形式的重力。例如，视觉测量可与惯性测量融合使用以估计姿势(例如身体或装置姿势)以及不同的偏差及/或重力。在一些实施例中，使用过滤器从目标及惯性传感器读数的特征点估计位姿。此外，可在过滤器中估计重力及目标尺度。一些此类实施例可在不具有来自用户的输入及/或不需要已知目标定向的情况下执行此类估计。此外，在一些实施例中，可从零开始及/或在不具有已知目标(例如，无参考)的情况下确定此类估计。一些实施例可与扩增实境应用一起使用。
图1说明具有扩增实境功能的装置。如图1所示，具有扩增实境功能的装置(ARD)或移动装置100可包含外壳101、显示器102、一或多个扬声器104及/或一或多个硬件或软件按钮106。在一些实施例中，可包含麦克风来代替按钮106中的一者或作为按钮106的补充。可为触摸屏显示器的显示器102可说明由相机105俘获的图像，或任何其它所要的用户接口信息。当然，移动装置100可包含未说明的额外组件，且可省略一或多个组件。
移动装置100可包括任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信***(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它移动平台。移动平台可能够接收无线通信及/或导航信号，例如导航定位信号。术语ARD还可包含例如通过短程无线、红外、有线连接或其它连接与个人导航装置(PND)通信的装置，而不管在所述装置处或PND处是否发生卫星信号接收、辅助数据接收及/或位置相关处理。ARD还可包含所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机、智能电话、数码相机等，其能够俘获用于跟踪的图像及/或能够执行扩增实境功能。
图2说明移动装置100的元件的实例框图。移动装置100可包含用于俘获环境的图像(其可为视频的个别照片或帧)的相机105，或可包含另一视觉传感器。移动装置100还可包含传感器116，例如惯性传感器，其可提供移动装置100可借以确定其位置及/或定向或姿势的数据。传感器116的实例可包含加速度计116-1、石英传感器、陀螺仪116-2、用作线性加速度计的微机电***(MEMS)传感器以及磁力计。例如，传感器116可包括陀螺仪(例如，最小化偏差的经校准陀螺仪)及加速度计。移动装置100还可包含用户接口110，用户接口110包含能够显示图像的显示器102。用户接口110还可包含用户可经由其将信息输入到移动装置100中的小键盘114或其它输入装置。在需要时，可将虚拟小键盘与触摸传感器集成到显示器102中。用户接口110还可包含麦克风116-3及一或多个扬声器104(例如，如果所述移动平台是蜂窝式电话)。
移动装置100的移动平台进一步包含控制单元120，控制单元120连接到相机105及传感器116以及用户接口110连同任何其它所要特征，且与之通信。控制单元120可由一或多个处理器122及相关联的存储器/存储装置124提供。控制单元120还可包含软件126以及硬件128及固件130。控制单元120包含经配置以跟踪移动装置100的位置及/或由移动装置100所监视的一或多个物体的位置的跟踪单位132。控制单元120可进一步包含经配置以在移动装置100的显示器102上呈现扩增实境内容的扩增实境单元134。出于清楚起见，与处理器122、存储器124、硬件128及/或固件130分开地说明跟踪单元132及扩增实境单元134，但可在这些组件中的任一者中组合或可在所有这些单元中实施。在一些实施例中，例如以分布方式跨越处理器122、存储器124、硬件128及/或固件130实施扩增实境单元134的部分。在一些实施例中，处理器122及/或硬件128基于软件126中的指令及固件130而实施扩增实境单元134。在一些实施例中，由扩增实境单元134及/或由处理器122、存储器124、硬件128及/或固件130中的一或多者实施所述跟踪单元。当然，移动装置100可包含未说明的额外组件，且可省略一或多个组件。
在一些实施例中，可使用计算机视觉姿势测量将相机姿势、加速度计偏差、陀螺仪偏差、相机-惯性校准、目标框架中的重力向量及目标尺度联合地观测为未知数。例如，可在对未知数(例如，恒定偏差、恒定相机-惯性校准等)及/或运动(例如，非零平移加速及/或旋转速度等)的某些约束下可观测这些未知数。例如，可将相机105的姿势、传感器116的加速度计的偏差、传感器116的陀螺仪116-2的偏差及/或相机-传感器校准的校准可联合地观测为未知数。
在以下实施例中，X表示一或多个INS状态。例如，X可表示相机姿势、加速度计及/或陀螺仪偏差等。此外，Y在下文描述的实施例中表示重力及/或目标尺度参数。另外，C在下文描述中表示由视觉模态计算的相机105的姿势。
贝叶斯理念可以用于最大化计算机视觉姿势(C)、INS状态(X)及尺度及重力(Y)的联合概率分布。在以下公式1中展示此关系。
[X*,Y*]＝arg max p(X,Y,C) (1)
如本文中所使用，符号X*及Y*表示X及Y的最大A后验(MAP)估计。然而，所属领域的技术人员将了解，可替代地或另外导出INS状态、重力及/或尺度的其它估计。在一些实施例中，arg max表示最大值的自变量，例如，给定函数对于其达到其最大值的给定自变量的点集合。
可使用自适应方法计算MAP估计。例如，可使用过滤器计算MAP估计。在图3中说明过滤器302的实例。过滤器302可为处理器122中或专用硬件中的功能或模块。在一些实施例中，过滤器(例如过滤器302)包括EKF。可在跟踪单元132、扩增实境单元134中及/或处理器122、存储器124、硬件128及/或固件130中的任一者中实施过滤器。在一些实施例中，与上述组件中的任一者分开地实施过滤器。
在一些实施例中，状态空间由陀螺仪偏差、姿态、加速度计偏差、位置，速度、角速度、角加速度、平移加速度、平移加速度变化率、重力及/或目标尺度组成。可使用来自陀螺仪116-2的陀螺仪测量值、来自加速度计116-1的加速度计测量值及/或来自相机105的姿势测量值来更新状态。
在一些实施例中，握持例如移动装置100等装置的用户通常导致足够的旋转以允许EKF在短时间(例如2-3秒)内实现重力及加速度计消歧。此外，将相对高的过程噪声指派给目标尺度的状态可改进收敛。例如，已经展示1e-1的过程噪声以在约3到4秒内实现收敛。可相应地确定调度。例如，可职第一秒内设定高过程噪声(以允许快速收敛)且随后稍后减小以考虑目标的大小未改变的事实。以此方式，可在不具有来自用户的输入的情况下执行实施例。此外，过滤器甚至在没有先前信息是已知时在数秒内“绷紧”且可产生改进的跟踪。
图4说明实例过程400。在402处，例如使用相机105获得一或多个视觉测量值。在404处，例如使用传感器116获得一或多个惯性传感器测量值。在一些实施例中，在404处从陀螺仪及加速度计获得测量值。
在406处，例如使用扩增实境单元134、处理器122、存储器124、硬件128及/或固件130基于在402及404处获得的测量值来计算姿势、INS状态、尺度及/或重力。可在406处依据式1计算这些参数中的一或多者的MAP估计。
在一些实施例中，在406处执行的计算包括在414处例如使用过滤器302对来自402及/或404的测量值进行过滤。在一些实施例中，406进一步包括在416处更新惯性传感器(例如传感器116)及/或扩增实境应用的状态或其它状态。扩增实境单元134、跟踪单元132、处理器122、存储器124、硬件128及/或固件130可以用于执行416。
在一些实施例中，过程400进一步包括基于在406处自适应地计算的参数中的一或多者而跟踪元件(例如目标)或装置(例如，移动装置100或实施过程400的其它装置)的移动。例如，跟踪单元132可执行132。
上述实施例的优点可包含相对于视觉目标对重力的快速及准确估计，以及对视觉目标的尺度的快速及准确估计。例如，尺度或缩放因数可包括实际目标大小与数据库中的目标大小之间的比率。可因此使用加速度计作为陀螺仪的添加以将来自计算机视觉的姿势与惯性传感器测量值融合，其在一些实施例中可最佳达到线性化误差。此外，可以绝对尺寸确定尺度扩增。因此，扩增的大小可不是目标大小的函数。此外，扩增可相对于重力而定向(例如，在游戏中，可预期图与重力排成行)。
在一些实施例中，可估计x及y上的尺度(或任何两个维度)。例如，常常以不正确的纵横比(例如，“使图像配合到所选择的纸大小”)打印目标。对x及y上的目标尺度的估计可解决此问题。此外，可依据上述实施例从自然特征***导出计算机视觉姿势。在一些实施例中，除了惯性测量值之外，可将PTAM姿势测量值输入到EKF框架中，例如可供应到过滤器302中，从而除了改进的跟踪稳健性之外还获得尺度及重力。
在一些实施例中，如果移动视觉传感器以使得目标不再在视图中，那么随后改变目标的定向以使得重力向量改变方向，且随后移动视觉是以使得目标处于视图中，本文中描述的实施例可在性能上(例如，在渐进时间上)没有差异或具有极少差异的情况下执行。例如，此可使用自适应重力估计来实现。
在一些实施例中，如果移动视觉传感器以使得目标不再在视图中，那么用不同大小的类似目标替换所述目标，且随后移动视觉是以使得目标处于视图中，本文中描述的实施例可在性能上(例如，在渐进时间上)没有差异或具有极少差异的情况下执行。例如，此可使用自适应尺度估计而实现。
图5到7展示根据本发明的一些实施例的固定平面目标500及垂直重力向量。在图5中，相对于全局参考***(GRS 520)展示固定平面目标500。X轴及Y轴形成由经度及纬度表示的平面。Z轴表示理论重力或对于世界的一定部分的实际重力的方向[0,0,1]，其在GRS520中可表示为(例如)圣地亚哥的[0,0,9.79]。固定平面目标500未相对于GRS520移动且未使其对准X-Y平面。可垂直于固定平面目标500的平面(其独立于目标参考***(TRS 530)设定重力向量的第一猜测或第一估计G 510。可接收、预设、在每次出现时设定、在先前确定第一估计G 510，或存储在存储器中且对于不同AR应用可为共同或唯一的。在图6中，相对于GRS 520展示G 510、重力向量的估计。在此实例中，在[x,y,z]GRS方面的G大致等于[0.1,0.05,0.9]GRS。在图7中，在目标参考***(TRS 530)(实心轴线)中相对于GRS 520(虚线)展示固定平面目标500。固定平面目标500界定TRS530。固定平面目标500的平面处于TRS 530的X-Y平面中。沿着Z轴引导G 510以使得重力的初始猜测或估计是[x,y,z]TRS＝[0,0,1]TRS。
图8展示根据本发明的一些实施例的移动装置100及固定平面目标500。移动装置100包含相机105及加速度计116-1。朝向固定平面目标500引导相机105。相对于固定平面目标500的测量值可在TRS 530中产生。来自相机105的例如图像等测量值在相机参考***(CRS 540)中产生。来自加速度计116-1的测量值在加速度计参考***(ARS 550)中产生。
图9涉及各种参考***。展示三个参考***：(1)目标参考***(TRS 530)，有时被称作目标参考帧；(2)相机参考***(CRS 540)，有时被称作相机参考帧；及(3)加速度计参考***(ARS 550)，有时被称作加速度计参考帧。为了在TRS 530与CRS 540之间转换，使用计算机视觉(CV)算法从图像确定姿势。所述姿势可界定平移向量及旋转矩阵，其各自是可变的且取决于相机105与固定平面目标500之间的相关关系。为了在CRS 540与ARS 550之间转换，可使用恒定姿势。可由恒定平移向量及恒定旋转矩阵界定恒定姿势。所述恒定平移向量可包括移位标量且在相机105与加速度计116-1之间。如果在CRS540与ARS 550之间不存在旋转，那么身份矩阵可用于所述旋转矩阵。然而，在一些实施方案中，相机105及加速度计被焊接到共同电路板动的不同部分上或单独的但连接的电路板上。为了考虑归因于组件未对准而产生的略微偏移，恒定旋转矩阵可略微不同于身份矩阵。为了在TRS 530与ARS 550之间转换，所述计算可找到CRS 540中的中间值，或可组合头两个平移向量及头两个矩阵以形成可变平移向量及可变旋转矩阵。
图10到14的以下描述将来自加速度计116-1的基于惯性的姿势860与来自来自相机105的第一图像610及第二图像710的基于图像的姿势880进行比较。图10展示假设相机105已从第一时间630处的第一位置620移动到第二时间730处的第二位置720。图10还展示CV算法产生第一姿势600及第二姿势700，其导致基于图像的姿势880。图11展示针对相机图像假设的缩放因数中的变化。图12及图13展示来自加速度计116-1及陀螺仪116-2的读数帮助确定基于惯性的姿势860。在图13中，基于惯性的姿势860与基于图像的姿势880的比较产生具有角度误差及标量误差的误差向量。所述误差向量在卡尔曼过滤器文献中被称为创新序列或创新向量。图14展示在移动装置中进行估计的方法。
图10展示两个姿势测量。在所述实例中，从第一位置620(从固定平面目标500的相对定向及距离)且在第一时间630处俘获第一图像610。可从CV算法(例如)计算TRS530与CRS540之间的第一姿势600。从第一时间630到第二时间730，相机105从第一位置620移动到第二位置720。可通过使用来自加速度计116-1的加速度计测量值810及来自陀螺仪116-2的陀螺仪测量值820计算的姿势或平移向量及旋转矩阵来界定所述移动，如下文参考图12及13所解释。在第二位置720处及第二时间730处，相机105俘获第二图像710。再次，从CV算法(例如)确定相机105与固定平面目标500之间的第二姿势700。从第一姿势600到第二姿势700的平移及旋转可因此界定CV或基于图像的姿势880及对应的旋转矩阵。
图11说明缩放模糊性。相机105仅从单一图像无法确定固定平面目标500的尺度。从相机105的观点来看，固定平面目标500可较小且靠近相机105(例如，固定平面目标500-1)，可为平均大小及与相机105的距离(例如，固定平面目标500-2)，或可较大且远离相机105(例如，固定平面目标500-3)。为了适应不同大小的固定平面目标500，使用缩放因数。例如，固定平面目标500-1是由缩放因数0.5表示，固定平面目标500-2是由缩放因数1.0表示，且固定平面目标500-2是由缩放因数2.0表示。所述缩放因数考虑到固定平面目标500远离相机105的距离。
图12及13展示根据本发明的一些实施例的用以校正基于惯性的姿势与基于图像的姿势之间的误差的模块。首先，解释用以确定基于惯性的姿势的过程。在图12中，由处理器从加速度计116-1接收加速度计测量值810。在可确定姿势之前，由减法器150从加速度计测量值810移除归因于重力而产生的加速度。减法器150可为处理器122中的功能或模块。为了确定归因于重力而产生的加速度，由补偿器140在用于每一加速度计测量值810的第一时间与第二时间之间补偿重力向量的当前猜测或当前估计832。补偿器140可为处理器122中的功能或模块。补偿器140累加陀螺仪测量值820且将结果添加到重力向量的当前估计832。在第一时间处设定重力向量的当前估计832，其中可将重力向量的第一估计832设定为垂直于固定平面目标500的向量。补偿器140的操作导致与特定陀螺仪测量值820相关联的经调整的猜测或经调整的估计840。减法器150从加速度计测量值810减去重力向量的经调整的估计840的结果可为不具有重力的加速度向量850。处理在图13中继续。
在图13的比较中，可直接从基于惯性的姿势860与基于图像的姿势880之间的向量差异计算误差向量。图13的元件中的每一者可为处理器122中的功能或模块。可解出基于惯性的姿势860的新值以用于使误差向量最小化。类似地，可解出基于图像的姿势880的新向量以用于使误差向量最小化。然而，如果估计新的缩放因数及新的重力向量两者，那么可在所述两个解决方案之间选择(例如)如由对应的卡尔曼过滤器增益(例如，从经扩展卡尔曼过滤器(EKF)算法)指定的折中方案或平均值，其提供中间结果。以此方式，误差向量可以用于确定重力的更好的估计。类似地，误差向量可以用于确定缩放因数515的更好的估计。
在图13中，由累加器160累加不具有重力的加速度向量850。累加器160通过二重积分(例如通过航迹推测))从加速度向量850计算平移。累加器160的结果是基于惯性的姿势860。比较器170确定误差向量且将所述误差向量转译为重力向量的下一猜测或下一估计830。延迟单元190接受重力向量的下一估计830且产生重力向量的当前估计832。当前估计832在第一时间与第二时间之间的周期T内保持恒定。
还是在图13中，确定基于图像的姿势880。基于图像的姿势880应等于基于惯性的姿势860。由比较器170比较两个向量(860,880)以形成重力向量的下一估计830及缩放因数的下一估计890，其分别被延迟单元190及194延迟以保持当前值。
由产生器180使用第一姿势600及第二姿势700来计算姿势之间的平移向量，进而产生未经缩放的基于图像的姿势870。未经缩放的基于图像的姿势870乘以缩放因数的当前估计892以产生经缩放的基于图像的姿势880。比较器170接受基于图像的姿势880以及基于惯性的姿势860以确定重力向量的下一估计830及缩放因数的下一估计890。下一估计830可为使误差向量最小化的重力值。下一估计890可为使误差向量最小化的缩放因数。或者，下一估计830及下一估计890可为这两个解决方案之间的折中方案。
图14展示根据本发明的一些实施例的用于改进重力向量及尺度的方法1000。在一些实施例中，可假设缩放因数且确定重力向量的下一估计830。在其它实施例中，假设重力向量且确定缩放因数的下一估计890。但在其它实施例中，如以下实例中所展示而确定重力的猜测或估计830及缩放因数的估计890两者。
在1010处，在移动装置100中的处理器(例如，图2的处理器122)设定重力向量的第一估计832(上文还描述为G 510)。例如，重力向量的第一估计832可垂直于通过固定平面目标500形成的平面。在1015处，处理器设定缩放因数的第一估计892。例如，缩放因数的第一估计832可被设定为单位。处理器可执行1010及1015两者或1010或1015。作为在1010及/或1015中设定重力向量及/或缩放因数的第一估计的替代，例如，重力向量的第一估计及/或尺度的第一估计可被预设、在先前确定、在先前设定在存储器中，针对各种AR应用而不同，或在每次需要时设定。
在1020处，处理器从在固定平面目标500与相机105的第一位置620之间在第一时间630处俘获的第一图像610确定第一姿势600，其中第一图像610含有固定平面目标500的图像。
在1030处，处理器从在固定平面目标500与相机105的第二位置720之间在第二时间730处俘获的第二图像710确定第二姿势700，其中第二图像710也含有固定平面目标500的图像。
在1040处，处理器计算第一姿势600与第二姿势700之间的基于图像的姿势880。
在1050处，处理器接收从第一时间630到第二时间730的加速度计测量值810。
在1060处，处理器减去重力向量的第一估计832及加速度计测量值810以形成用于加速度计测量值810中的每一者的加速度向量850。
在1070处，处理器从用于加速度计测量值810中的每一者的加速度向量850形成基于惯性的姿势860。
在1080处，处理器基于基于图像的姿势880与基于惯性的姿势860之间的差异而形成重力向量的第二估计830。在1085处，处理器还基于基于图像的姿势880与基于惯性的姿势860之间的差异而形成缩放因数的第二估计890。处理器可执行1080及1085两者或1080或1085。
处理在1030处以细化的值(重力的第二估计830及缩放因数的第二估计890)、新的陀螺仪及加速度计测量值迭代地重复。总之，一些实施例使用图2的处理器122及/或跟踪单元132及/或图3的过滤器302来执行图14的元件。在一些实施例中，1010及/或1015由比较器170及/或相机105及/或传感器116执行。在一些实施例中，1020及/或1030由相机105执行。在一些实施例中，1040由产生器180执行。在一些实施例中，1050由从加速度计116-1接收加速度计测量值810的减法器150执行。在一些实施例中，1060由减法器150执行。在一些实施例中，1070由累加器160执行。在一些实施例中，1080及1085由比较器170执行。
根据应用，本文中所描述的方法可以通过各种装置来实施。举例来说，这些方法可以硬件、固件、软件或其任何组合来实施。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文所描述的功能的其它电子单元，或其组合内。
对于固件和/或软件实施方案，可用执行本文中所描述功能的模块(例如，程序、功能等等)实施方法。在实施本文所描述的方法中，可以使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可以存储在存储器中，并且由处理器单元来执行。存储器可以实施于处理器单元内或处理器单元外部。如本文所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储器并且不限于任何特定类型的存储器或数目的存储器，或任何类型的存储存储器的媒体。
如果在固件及/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在非暂时性计算机可读媒体上。实例包含经编码有数据结构的非暂时性计算机可读媒体，和经编码有计算机程序的计算机可读媒体。非暂时性计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类非瞬时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用于存储指令或数据结构的形式的所要程序代码且可由计算机存取的媒体；如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
除存储在计算机可读媒体上之外，还可将指令及/或数据作为通信设备中所包含的传输媒体上的信号来提供。举例来说，通信设备可包含具有指示指令和数据的信号的收发器。所述指令及数据经配置以致使一个或多个处理器实施权利要求书中概述的功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的传输媒体。在第一时间，通信设备中所包含的传输媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的传输媒体可包含用以执行所揭示的功能的信息的第二部分。
提供对所揭示方面的先前描述以使任何所属领域的技术人员能够制造或使用本发明。所属领域的技术人员将容易明白对这些方面的各种修改，且在不脱离本发明的精神或范围的情况下，本文中所界定的一般原理可应用于其它方面。

Claims (39)

1.一种用于在移动装置中进行估计的方法，所述方法包括：
从在目标与所述移动装置的相机的第一位置之间在第一时间处俘获的第一图像确定第一姿势，其中所述第一图像含有所述目标；
从在所述目标与所述相机的第二位置之间在第二时间处俘获的第二图像确定第二姿势，其中所述第二图像含有所述目标；
使用缩放因数的第一估计来计算所述第一姿势与所述第二姿势之间的基于图像的姿势；
从所述移动装置的加速度计接收从所述第一时间到所述第二时间的测量值；
基于来自所述加速度计的所述测量值及重力向量的第一估计而形成基于惯性的姿势；
计算所述基于图像的姿势与所述基于惯性的姿势之间的差异；及
基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者。
2.根据权利要求1所述的方法，其进一步包括在所述第一时间处从所述第一位置俘获所述第一图像及在所述第二时间处从所述第二位置俘获所述第二图像。
3.根据权利要求1所述的方法，其进一步包括假设所述目标包括平面目标。
4.根据权利要求1所述的方法，其进一步包括假设所述目标包括固定目标。
5.根据权利要求1所述的方法，其中所述重力向量的所述第一估计垂直于所述目标。
6.根据权利要求1所述的方法，其中所述重力向量的所述第一估计是沿着目标参考***TRS中的Z轴。
7.根据权利要求1所述的方法，其中所述第一姿势及所述第二姿势是在相机参考***CRS中，且其中所述测量值是在加速度计参考***ARS中。
8.根据权利要求1所述的方法，其进一步包括针对来自所述加速度计的所述测量值中的每一者通过累加的陀螺仪测量值调整所述重力向量的所述第一估计以补偿所述移动装置的旋转。
9.根据权利要求1所述的方法，其进一步包括通过针对来自所述加速度计的所述测量值中的每一者减去所述重力向量的所述第一估计而正规化来自所述加速度计的所述测量值。
10.根据权利要求1所述的方法，其中形成所述基于惯性的姿势包括航迹推测。
11.根据权利要求1所述的方法，其中基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者包括：基于所述差异而形成所述重力向量的所述第二估计。
12.根据权利要求1所述的方法，其中基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者包括：基于所述差异而形成所述缩放因数的所述第二估计。
13.根据权利要求1所述的方法，其中基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者包括：基于所述差异而形成所述重力向量的所述第二估计及所述缩放因数的所述第二估计两者。
14.根据权利要求13所述的方法，其进一步包括∶
从在所述目标与所述相机的第三位置之间在第三时间处俘获的第三图像确定第三姿势，其中所述第三图像含有所述目标；
基于所述缩放因数的所述第二估计来计算所述第二姿势与所述第三姿势之间的下一基于图像的姿势；
从所述加速度计接收从所述第二时间到所述第三时间的接下来的测量值；
基于来自所述加速度计的接下来的测量值及所述重力向量的所述第二估计而形成下一基于惯性的姿势；及
计算所述下一基于图像的姿势与所述下一基于惯性的姿势之间的下一差异。
15.根据权利要求14所述的方法，其进一步包括基于所述下一差异而形成所述重力向量的第三估计或所述缩放因数的第三估计中的至少一者。
16.根据权利要求1所述的方法，其进一步包括将所述缩放因数的估计应用于扩增实境AR应用，其中所述缩放因数的所述估计是基于所述缩放因数的所述第一估计。
17.根据权利要求1所述的方法，其进一步包括将所述重力向量的估计应用于扩增实境AR应用，其中所述重力向量的所述估计是基于所述重力向量的所述第一估计。
18.一种用于在移动装置中进行估计的所述移动装置，所述移动装置包括：
相机，其经配置以：
在第一时间及所述相机的第一位置处俘获含有目标的第一图像；及
在第二时间及所述相机的第二位置处俘获含有所述目标的第二图像；
加速度计，其经配置以提供从所述第一时间到所述第二时间的测量值；及
处理器，其耦合到所述相机及所述加速度计且经配置以：
从所述第一图像确定所述移动装置的所述目标之间的第一姿势；
从所述第二图像确定所述移动装置的所述目标之间的第二姿势；
使用缩放因数的第一估计来计算所述第一姿势与所述第二姿势之间的基于图像的姿势；
基于所述测量值及重力向量的第一估计而形成基于惯性的姿势；
计算所述基于图像的姿势与所述基于惯性的姿势之间的差异；及
基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者。
19.根据权利要求18所述的移动装置，其中所述目标包括平面目标。
20.根据权利要求18所述的移动装置，其中所述目标包括固定目标。
21.根据权利要求18所述的移动装置，其中所述重力向量的所述第一估计垂直于所述目标。
22.根据权利要求18所述的移动装置，其中所述重力向量的所述第一估计是沿着目标参考***TRS中的Z轴。
23.根据权利要求18所述的移动装置，其中所述处理器进一步经配置以针对所述测量值中的每一者通过累加的陀螺仪测量值调整所述重力向量的所述第一估计以补偿所述移动装置的旋转。
24.根据权利要求18所述的移动装置，其中所述处理器进一步经配置以通过针对所述测量值中的每一者减去所述重力向量的所述第一估计而正规化所述测量值。
25.根据权利要求18所述的移动装置，其中所述经配置以基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者的处理器包括：所述经配置以基于所述差异而形成所述重力向量的所述第二估计及所述缩放因数的所述第二估计两者的处理器。
26.根据权利要求18所述的移动装置，其中所述经配置以形成所述基于惯性的姿势的处理器包括经配置以进行航迹推测的处理器。
27.根据权利要求18所述的移动装置，其中所述经配置以基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者的处理器包括：经配置以基于所述差异而形成所述重力向量的所述第二估计的处理器。
28.根据权利要求18所述的移动装置，其中所述经配置以基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者的处理器包括：经配置以基于所述差异而形成所述缩放因数的所述第二估计的处理器。
29.根据权利要求18所述的移动装置，其中所述经配置以基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者的处理器包括：经配置以基于所述差异而形成所述重力向量的所述第二估计及所述缩放因数的所述第二估计两者的处理器。
30.根据权利要求29所述的移动装置，其中所述处理器进一步经配置以：
从在所述目标与所述相机的第三位置之间在第三时间处俘获的第三图像确定第三姿势，其中所述第三图像含有所述目标；
基于所述缩放因数的所述第二估计来计算所述第二姿势与所述第三姿势之间的下一基于图像的姿势；
从所述加速度计接收从所述第二时间到所述第三时间的接下来的测量值；
基于来自所述加速度计的接下来的测量值及所述重力向量的所述第二估计而形成下一基于惯性的姿势；及
计算所述下一基于图像的姿势与所述下一基于惯性的姿势之间的下一差异。
31.根据权利要求30所述的移动装置，其中所述处理器进一步经配置以基于所述下一差异而形成所述重力向量的第三估计或所述缩放因数的第三估计中的至少一者。
32.根据权利要求18所述的移动装置，其中所述处理器进一步经配置以将所述缩放因数的估计应用于扩增实境AR应用，其中所述缩放因数的所述估计是基于所述缩放因数的所述第一估计。
33.根据权利要求18所述的移动装置，其中所述处理器进一步经配置以将所述重力向量的估计应用于扩增实境AR应用，其中所述重力向量的所述估计是基于所述重力向量的所述第一估计。
34.一种用于在移动装置中进行估计的所述移动装置，所述移动装置包括：
用于从在目标与所述移动装置的相机的第一位置之间在第一时间处俘获的第一图像确定第一姿势的装置，其中所述第一图像含有所述目标；
用于从在所述目标与所述相机的第二位置之间在第二时间处俘获的第二图像确定第二姿势的装置，其中所述第二图像含有所述目标；
用于使用缩放因数的第一估计来计算所述第一姿势与所述第二姿势之间的基于图像的姿势的装置；
用于从所述移动装置的加速度计接收从所述第一时间到所述第二时间的测量值的装置；
用于基于来自所述加速度计的所述测量值及重力向量的第一估计而形成基于惯性的姿势的装置；
用于计算所述基于图像的姿势与所述基于惯性的姿势之间的差异的装置；及
用于基于所述差异而形成所述重力向量的第二估计或所述缩放因数的第二估计中的至少一者的装置。
35.根据权利要求34所述的移动装置，其中所述目标包括平面目标。
36.根据权利要求34所述的移动装置，其中所述重力向量的所述第一估计垂直于所述目标。
37.根据权利要求34所述的移动装置，其进一步包括用于针对所述测量值中的每一者通过累加的陀螺仪测量值调整所述重力向量的所述第一估计以补偿所述移动装置的旋转的装置。
38.根据权利要求34所述的移动装置，其进一步包括用于通过针对所述测量值中的每一者减去所述重力向量的所述第一估计而正规化所述测量值的装置。
39.根据权利要求34所述的移动装置，其中所述用于基于所述差异而形成所述重力向量的所述第二估计或所述缩放因数的所述第二估计中的至少一者的装置包括：用于基于所述差异而形成所述重力向量的所述第二估计及所述缩放因数的所述第二估计两者的装置。
CN201380055388.9A 2012-11-05 2013-10-08 自适应尺度及/或重力估计 Expired - Fee Related CN104737205B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261722601P 2012-11-05 2012-11-05
US61/722,601 2012-11-05
US201361801741P 2013-03-15 2013-03-15
US61/801,741 2013-03-15
US14/014,174 2013-08-29
US14/014,174 US9159133B2 (en) 2012-11-05 2013-08-29 Adaptive scale and/or gravity estimation
PCT/US2013/063900 WO2014070391A1 (en) 2012-11-05 2013-10-08 Adaptive scale and/or gravity estimation

Publications (2)

Publication Number Publication Date
CN104737205A CN104737205A (zh) 2015-06-24
CN104737205B true CN104737205B (zh) 2017-08-25

Family

ID=50622423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055388.9A Expired - Fee Related CN104737205B (zh) 2012-11-05 2013-10-08 自适应尺度及/或重力估计

Country Status (6)

Country Link
US (1) US9159133B2 (zh)
EP (1) EP2915139B1 (zh)
JP (1) JP6215337B2 (zh)
KR (1) KR20150082382A (zh)
CN (1) CN104737205B (zh)
WO (1) WO2014070391A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
JP2016070891A (ja) * 2014-10-01 2016-05-09 日本電信電話株式会社 映像データ処理装置及び映像データ処理プログラム
DE102015203968A1 (de) * 2014-12-12 2016-06-16 Robert Bosch Gmbh Vorrichtung zum Abgleich und Selbsttest von Inertialsensoren und Verfahren
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10238962B2 (en) 2015-12-27 2019-03-26 Spin Master Ltd. System and method for recharging battery in augmented reality game system
US10197998B2 (en) * 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
EP3236211A1 (en) * 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
RU2626755C1 (ru) * 2016-07-18 2017-07-31 Общество с ограниченной ответственностью "НАСТЭК" (ООО "НАСТЭК") Устройство для определения положения объекта в пространстве
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
WO2020024909A1 (zh) * 2018-08-02 2020-02-06 广东虚拟现实科技有限公司 定位跟踪方法、终端设备及计算机可读取存储介质
US10955245B2 (en) * 2019-04-30 2021-03-23 Samsung Electronics Co., Ltd. System and method for low latency, high performance pose fusion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989126A (zh) * 2009-08-07 2011-03-23 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486613B2 (ja) * 2001-03-06 2004-01-13 キヤノン株式会社 画像処理装置およびその方法並びにプログラム、記憶媒体
FR2828315B1 (fr) * 2001-07-31 2005-08-05 Sagem Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images
JP4743818B2 (ja) * 2003-04-04 2011-08-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP4914019B2 (ja) * 2005-04-06 2012-04-11 キヤノン株式会社 位置姿勢計測方法及び装置
JP4977995B2 (ja) * 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
WO2008111692A1 (en) * 2007-03-13 2008-09-18 Research Institute Of Industrial Science & Technology Landmark for position determination of mobile robot and apparatus and method using it
TWI356357B (en) * 2007-12-24 2012-01-11 Univ Nat Chiao Tung A method for estimating a body pose
JP4956456B2 (ja) * 2008-02-05 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8493453B2 (en) 2009-06-05 2013-07-23 Apple Inc. Image capturing devices using orientation detectors to implement automatic exposure mechanisms
CN101729665B (zh) 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
FR2960082B1 (fr) * 2010-05-17 2012-08-10 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
US9160980B2 (en) 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
US9341720B2 (en) * 2011-01-11 2016-05-17 Qualcomm Incorporated Camera-based position location and navigation based on image processing
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8509483B2 (en) * 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
JP5726024B2 (ja) * 2011-09-05 2015-05-27 キヤノン株式会社 情報処理方法および装置
US8965057B2 (en) * 2012-03-02 2015-02-24 Qualcomm Incorporated Scene structure-based self-pose estimation
US9123135B2 (en) * 2012-06-14 2015-09-01 Qualcomm Incorporated Adaptive switching between vision aided INS and vision only pose
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
JP6109213B2 (ja) * 2015-02-02 2017-04-05 キヤノン株式会社 情報処理装置および方法、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989126A (zh) * 2009-08-07 2011-03-23 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-time Onboard Visual-Inertial State Estimation and Self-Calibration of MAVs in Unknown Environments;Stephan Weiss et al.;《2012 IEEE International Conference on Robotics and Automation》;20120514;第1-8页 *
Visual-Inertial Navigation, Mapping and Localization: A Scalable Real-Time Causal Approach;Eagle S. Jones et al.;《International Journal of Robotics Research》;20110430;第30卷(第4期);第1-38页 *
基于双目视觉和惯性器件的微小型无人机运动状态估计方法;李建 等;《航空学报》;20111225;第32卷(第12期);第2310-2317页 *

Also Published As

Publication number Publication date
US20140126771A1 (en) 2014-05-08
CN104737205A (zh) 2015-06-24
JP6215337B2 (ja) 2017-10-18
US9159133B2 (en) 2015-10-13
KR20150082382A (ko) 2015-07-15
WO2014070391A1 (en) 2014-05-08
EP2915139B1 (en) 2020-04-22
EP2915139A1 (en) 2015-09-09
JP2016505809A (ja) 2016-02-25

Similar Documents

Publication Publication Date Title
CN104737205B (zh) 自适应尺度及/或重力估计
JP5930451B2 (ja) ジャイロスコープの調整およびジャイロカメラのアライメント
US11481982B2 (en) In situ creation of planar natural feature targets
CN110133582B (zh) 补偿电磁跟踪***中的畸变
US9316513B2 (en) System and method for calibrating sensors for different operating environments
US8933986B2 (en) North centered orientation tracking in uninformed environments
TWI533692B (zh) 使用影像穩定校正捲動快門
EP2933605A1 (en) A device orientation correction method for panorama images
EP3759431A1 (en) Methods and apparatus for planar magnetometer calibration, heading determination, gyroscope assisted magnetometer amplitude calibration, magnetometer amplitude and alignment calibration, magnetometer mapping, and sensor fusion
CN109791048A (zh) 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和***
WO2014022664A2 (en) Method and apparatus for data fusion of a three axis magnetometer and three axis accelerometer
TWI691731B (zh) 位置追蹤系統及方法
WO2013148585A1 (en) System and method for determining navigational states based on a uniform external magnetic field
JP2017073753A (ja) 補正方法、プログラム及び電子機器
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
WO2023140990A1 (en) Visual inertial odometry with machine learning depth
US20240071018A1 (en) Smooth object correction for augmented reality devices
CN108507567A (zh) 姿态四元数确定方法、装置及用户朝向确定方法、装置
KR20180086004A (ko) 증강현실 객체 추적 시스템
CN108801248B (zh) 基于ukf的平面视觉惯性导航方法
CN118276672A (zh) 用于在头戴显示设备显示画面的方法、装置、设备及介质
CN116958198A (zh) 基于视觉惯性里程计的运动轨迹漂移检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825

Termination date: 20201008

CF01 Termination of patent right due to non-payment of annual fee