CN106062821A - 用于不受限制的slam的基于传感器的相机运动检测 - Google Patents

Abstract

本发明呈现用于基于以下操作而进行单眼视觉同时定位与地图绘制SLAM的技术：在相机执行全景SLAM的同时使用至少一个运动传感器在所述相机的移动中检测平移运动，并且初始化三维地图以用于追踪有限特征。运动传感器可以包含一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)、视觉(相机)或构建到移动装置中的任何其它传感器。

Description

用于不受限制的SLAM的基于传感器的相机运动检测

相关案件的交叉参考

本申请案是专利合作条约申请案并且主张2014年3月14日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERA MOTION DETECTIONFOR UNCONSTRAINED SLAM)”的第61/953,122号美国临时申请案以及2015年3月12日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERAMOTION DETECTION FOR UNCONSTRAINED SLAM)”的第14/645,675号非临时申请案的权益和优先权，所述申请案以引用的方式并且出于所有目的全文并入本文中。本申请案还以引用的方式全文并入2014年1月9日递交的且标题为“具有常规及全景相机移动的单眼视觉SLAM”的美国申请案14/151,766。

技术领域

本文中所揭示的标的物通常涉及位置检测并且确切地说涉及同时定位与地图绘制(SLAM)。

背景技术

视觉同时定位与地图绘制(VSLAM)***可以处理耦合到装置的单个相机的输入并且随着相机的移动连续地累积环境的图(也称为模型)。视觉SLAM***同时追踪相对于图的装置的位置及定向(姿态)。视觉SLAM***可以不同模式操作以用于追踪装置并且基于装置的移动构造所述图。举例来说，虽然装置经历包含平移运动的一般运动，但是装置可过渡到一般运动模式并且构造用于一般运动的图。类似地，当装置仅旋转而未从一个位置移动到另一个位置时，装置可切换到仅旋转模式并且构造仅旋转图。

本发明的某些方面论述用于稳健地从仅旋转模式切换到一般运动模式的技术。

发明内容

本文中所揭示的标的物通常涉及相机运动检测并且确切地说涉及同时定位与地图绘制(SLAM)。

本发明的各方面提供用于稳健地检测一般和仅旋转相机运动之间的过渡的技术和对应的全景/3D追踪和地图绘制模式。不正确的过渡可能通过错误地测量的特征破坏3D和全景图并且引起追踪失败。与例如模型选择算法的现有仅视觉方法相比，本发明的各方面可以使用一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)和视觉(相机)传感器。

本发明的某些方面使用3DOF旋转运动模型在从全景图中追踪相机时检测从仅旋转模式到一般运动模式的过渡。在仅旋转模式时，视觉全景图追踪器将平移运动编码为其旋转运动估计中的额外的虚拟旋转。同时，测量来自运动传感器的旋转。视差角度通过计算可以在确定平移运动中使用的视觉与运动传感器旋转估计之间的差异衍生。可靠地确定视差角度且因此确定平移运动允许触发新3D地图的初始化，其允许全部6DOF中的相机的连续追踪。

本发明的方面描述用于在追踪全景同时定位与地图绘制(SLAM)模式中的装置时检测平移运动的实例方法、设备、非暂时性计算机可读媒体和装置，检测平移运动包含确定装置的基于视觉的旋转运动角度，其中基于视觉的旋转运动角度通过以下项确定：在多个关键帧上执行图像处理；在所述多个关键帧之间确定装置的基于传感器的旋转运动角度，其中基于传感器的旋转运动角度是使用耦合到装置的一或多个运动传感器确定的；确定装置的视差角度，其中视差角度通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度确定；将视差角度与阈值进行比较；以及基于高于所述阈值的视差角度检测平移运动。在某些方面，运动传感器可以包含陀螺仪、加速计、磁力计、相机或用于检测运动的任何其它合适的传感器。

在某些方面，非暂时性计算机可读储存媒体可以包含可由处理器执行的指令以用于执行如本文所述的同时定位与地图绘制(SLAM)的方面。此外，用于在全景同时定位与地图绘制(SLAM)模式中追踪装置时检测平移运动的装置或设备可以包含用于存储图和其它数据结构的存储器、耦合到装置/设备以用于获得关于物理场景的信息的一或多个相机，以及耦合到存储器并且经配置以执行本文中描述的本发明的方面的一或多个处理器。

本发明的方面进一步包含使用所述多个关键帧之间的至少视差角度确定平移运动。本发明的某些方面还可以包含确定相对于装置的一或多个特征的深度信息，方法是使用至少平移运动三角计算一或多个特征与装置的距离。并且，本发明的某些方面进一步包含至少基于平移运动的检测初始化三维(3D)图以用于追踪一般运动模式中的装置。某些方面可以包含基于检测平移运动切换到六个自由度(6DOF)SLAM地图绘制。本发明的某些方面包含至少基于平移运动的检测使用两个关键帧初始化三维(3D)图以用于使用3D地图的立体初始化追踪装置。在本发明的某些方面，基于视觉的旋转运动角度和基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

前文已经相当广泛地概述了实例的特征和技术优点，以便使以下的具体实施方式可以得到更好理解。将在下文中描述额外特征和优点。所揭示的概念和具体实例可以容易地用作用于修改或设计用于执行本发明的相同目的的其它结构的基础。此类等效构造不脱离所附权利要求书的精神和范围。当结合附图考虑时，关于本发明的组织和操作方法两者的被认为是本文中所揭示的概念的特性的特征连同相关联的优点一起将从以下描述得到更好理解。图式中的每一者都仅出于说明和描述的目的提供且并不提供为对权利要求书的限制的界定。

附图说明

本发明的各方面借助于实例来说明。参考图式提供以下描述，其中相同的参考标号始终用以指代相同的元件。尽管本文中描述一或多种技术的各种细节，但其它技术也是可能的。在一些情况下，以框图形式示出熟知结构和装置以便有助于描述各种技术。

可参照说明书及图式的剩余部分来实现对由本发明提供的实例的性质及优点的进一步理解，其中贯穿若干图式使用类似参考标号来指代类似组件。在一些情况下，子标签与参考标号相关联以表示多个类似组件中的一者。当在无说明书的情况下将参考标号与现有子标签进行参考时，参考标号是指全部此类类似组件。

图1是根据本发明的某些方面的***的框图。

图2说明根据本发明的某些方面用于产生例子SLAM***的图的流程图。

图3说明根据本发明的某些方面在时间t处包含有限3D特征的全局SLAM图表示。

图4说明根据本发明的某些方面在时间t+1处包含有限3D特征和无限3D特征的全局SLAM图表示。

图5说明根据本发明的某些方面在时间t+2处包含有限3D特征和无限3D特征的全局SLAM图表示。

图6说明根据本发明的某些方面在时间t+3处包含有限3D特征和无限3D特征的全局SLAM图表示。

图7说明根据本发明的某些方面在时间t+4处包含有限3D特征和无限3D特征的全局SLAM图表示。

图8说明根据本发明的某些方面在时间t+5处包含有限3D特征和无限3D特征的全局SLAM图表示。

图9是说明根据本发明的某些方面的实例平移SLAM模块的方面的框图。

图10说明用于执行根据本发明的一或多个方面的方法的流程图。

具体实施方式

现将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可以实施本发明的一或多个方面的特定实施例，但可以使用其它实施例，且可以在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

现将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可以实施本发明的一或多个方面的特定实施例，但可以使用其它实施例，且可以在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

词语“示范性”或“实例”在本文中是指“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

虽然不限于，但是本发明的方面涉及同时定位与地图绘制(SLAM)***，例如视觉SLAM(VSLAM)和空中协作视觉同时定位与地图绘制(C-VSLAM)。SLAM***可以处理单个相机的输入并且随着相机移动而连续地累积环境的图(也称为模型)。环境的图可表示环境的某些方面，例如，三维(3D)特征。视觉SLAM***可以经配置以同时追踪相对于图的相机的位置及定向(姿态)。某些优化SLAM***可从地图绘制中解耦追踪并且异步地运行这些任务。在某些实施方案中，追踪和地图绘制功能可以使用可以在多核处理器上平行执行的单独的处理线程执行。基于关键帧的SLAM***从传入相机图像流或视频内容中分开地选择帧并且使用这些帧用于地图绘制(例如，以扩展所述图)和追踪。此类谨慎地选择的相机图像帧可被称为关键帧。

具有六个自由度(6DOF)的SLAM***采用一般相机运动(包含平移和任选地旋转的运动)且应用运动恢复结构技术以创建3D特征图。运动恢复结构技术可以包含从二维关键帧中提取关于环境的3D信息。来自多个相机视点的观察的3D地图特征的稳固三角测量需要由平移或一般相机运动引起的足够的视差。视差角度是在由两个视点之间的装置的平移运动引起的两个视点之间的角度。如本文所述，6DOF运动和一般运动可互换使用而不会偏离本发明的范围。

相比之下，全景SLAM***采用仅旋转相机运动且在三个自由度(3DOF)中追踪相机。因为没有观察到视差，所以特征点不是三角形的且因此可以仅描述为射线或不含深度信息的特征。如本文所述，此类射线点特征被称作无限特征，并且包含深度信息的来自6DOFSLAM的3D点特征被称作有限特征。如本文所述，全景SLAM可被称为3DOFSLAM并且全景旋转可被称为3DOF旋转，并且可互换使用而不会偏离本发明的范围。

不受限制的SLAM(USLAM)***处理一般和仅旋转相机运动这两者。取决于当前相机运动，这些SLAM***应用运动恢复结构或全景追踪和地图绘制技术中的任一者，产生一组3D和全景图。一般相机运动被绘制成由具有允许全部6DOF中的相机的追踪的有限深度的特征组成的3D地图。相比之下，仅旋转相机运动被绘制成由具有允许仅随着3DOF旋转追踪相机的有限深度的特征组成的全景图。USLAM也可被称作混合SLAM(HSLAM)，并且在整个本说明书中这些术语可互换使用而不脱离本发明的范围。

取决于用户执行的相机运动，USLAM地图绘制和追踪允许用户在一般运动与纯旋转运动之间无缝地切换。在一个实施例中，USLAM地图绘制利用6DOF和全景关键帧以估计三维(3D)图的新的部分。组合6DOF和全景信息的此类图可被称为全局SLAM图。因此，全局SLAM图可以被描述为一或多个一般运动图和全景图的容器。全局SLAM图也可以被称为混合图，并且可与全局SLAM图互换使用而不偏离本发明的范围。

USLAM***通常旨在每当可能的时候将一般运动图和全景图合并到具有普通坐标系(包含普通标尺)的较大图中。举例来说，USLAM***可以图对之间的足够的重叠合并一般运动图与全景图。一般而言，全局SLAM图可通常包含不连接的若干图，意味着个体3D/全景图之间的空间变换是未知的(或仅部分地已知的)。

根据本发明的某些方面，在全景SLAM模式中操作的装置可以经历平移运动。在某些实例中，平移运动可以是由装置的用户引起的例如水平移动等无意运动的结果。传统上，此类平移运动引起在全景SLAM中追踪特征的误差和损失。

本发明的方面描述用于稳健地检测平移运动和仅旋转运动模式与一般运动模式以及对应的全景/3D追踪和地图绘制模式之间的转换的技术。不正确的过渡可能通过错误地测量的特征破坏3D和全景图并且引起追踪失败。与例如模型选择算法等现有仅视觉方法相比，本发明的方面使用一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)、视觉(相机)或任何其它传感器。

如下文中以进一步的细节所描述，在某些方面，USLAM***经配置以处理旋转远离场景的绘制的部分(也称为从6DOF到全景地图绘制的过渡)。检测到这些旋转并且选择用于累积包含无限特征的全景图的特殊“全景”(也称为3DOF)关键帧。全景图注册为3D地图的一部分。在一些实例中，全景关键帧使用最后一个一般运动关键帧作为基础以随着相机旋转远离场景的绘制的部分构造全景图。

USLAM***支持从全景图过渡到另一3D地图。远离场景的所绘制部分的相机平移是通过将视觉和运动传感器姿态进行比较、随后将新3D地图(与其它3D地图不一致)初始化来检测，所述新3D地图被添加到全局SLAM图。

具体而言，描述了使用3DOF旋转运动模型用于在从全景图中追踪相机时检测从仅旋转到一般运动的过渡的技术。在两个相机视点之间检测的平移运动的检测可以通过比较使用图像处理技术和传感器采集的旋转角度来执行。使用图像处理检测的也被称作基于视觉旋转运动角度的旋转角度可以包含由于平移运动引入的虚拟角度分量。另一方面，也被称作基于传感器的旋转运动角度的来自传感器的旋转角度表示两个相机视图之间的装置的实际(或接近实际)旋转。视差角度，也就是说通过平移运动引入的两个视点之间的角度，可以通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度来计算。关键帧可以使用视差和覆盖率试探法来选择。视差角度取决于平移运动的基线和场景深度且因此可用于确定平移运动。两个视图之间的所确定的平移运动用于三角测量通常在两个视图中观察到的特征，因此确定特征的深度。两个相机视图被选择为6DOF关键帧且与三角形有限特征一起添加到新3D地图。继而，新3D地图被添加到全局SLAM图。因此，可靠地确定视差角度允许稳健地将新3D地图初始化，这允许在全部6DOF中连续地追踪相机。

本文中描述的技术使得能够使用在全景SLAM模式中操作时检测到的平移运动用额外的6DOF图填充全局SLAM图，增强全局SLAM图的质量。此外，技术可防止由于全景SLAM模式中的平移运动造成的追踪的特征的损失，方法是适当地检测平移运动且使用6DOF SLAM继续追踪。

图1是说明其中可实践本发明的方面的***的框图。***可以是装置100，所述装置可以包含一或多个通用处理器161、图像处理模块171、追踪模块181、地图绘制模块180和存储器164，所述地图绘制模块包含6DOF SLAM模块173、3DOF SLAM模块175和地图绘制模式切换模块179。装置100还可以包含通过软件接口、硬件接口或其某一组合直接或间接地耦合追踪模块181、图像处理模块171和地图绘制模块180(6DOF SLAM模块173、3DOF SLAM模块175和地图绘制模式切换模块179)的一或多个总线177或信号线。为了清楚起见，模块170、171、173、175、179、180和181与处理器161和/或硬件162单独地说明，但是可以基于软件165和固件163中的指令在处理器161和/或硬件162中组合和/或实施(或在处理器161和/或硬件162上执行)。控制单元160可以经配置以实施用于执行如下文所述的USLAM的方法。举例来说，控制单元160可经配置以实施图2-10中所描述的移动装置100的功能。在某些实施例中，软件165或固件163指令可以存储在非暂时性计算机可读媒体上。

装置100可以是移动装置、无线装置、蜂窝电话、扩增实境装置(AR)、个人数字助理、可穿戴式装置(例如，眼镜、手表、头饰、头戴式装置(HMD)或类似身体附接装置)、移动计算机、平板电脑、个人计算机、膝上型计算机、数据处理装置/***，或具有处理能力的任何类型的装置。

在一个实施例中，装置100是移动/便携式平台。装置100可以包含用于捕获图像的装置，例如，相机114，并且还可以包含运动传感器111，例如，加速计、陀螺仪、电子指南针或其它类似运动传感元件。此类运动传感器111可以用于确定基于传感器的旋转运动角度且因此确定与装置100相关联的平移运动。

装置100还可在正向或后向相机(例如，相机114)上捕获图像。装置100可进一步包含用户接口150，所述用户接口包含用于显示扩增实境图像的装置，例如，显示器112。用户接口150还可以包含虚拟或物理键盘、小键盘152或用户可以将信息输入到移动装置100中的其它输入装置。如果需要，通过触摸屏/传感器将虚拟小键盘集成到显示器112中可免除键盘或小键盘152。用户接口150还可以包含麦克风154和扬声器156，例如，前提是装置100是移动平台，例如，蜂窝电话。装置100可以包含与本发明无关的其它元件，例如，卫星定位***接收器、电力装置(例如，电池)，以及通常与便携式和非便携式电子装置相关联的其它组件。

装置100可充当移动或无线装置并且可通过无线网络经由基于或另外支持任何合适的无线通信技术的一或多个无线通信链路来通信。举例来说，在一些方面中，装置100可为客户端或服务器并且可与无线网络相关联。在一些方面中，网络可包括人体局域网或个人局域网(例如，超宽带网络)。在一些方面中，网络可包括局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准中的一或多者，例如，3G、LTE、高级LTE、4G、CDMA、TDMA、OFDM、OFDMA、WiMAX和Wi-Fi。类似地，无线装置可支持或以其它方式使用多种对应调制或多路复用方案中的一或多者。移动无线装置可以无线方式与其它移动装置、蜂窝电话、其它有线及无线计算机、互联网网站等通信。

如上文所述，装置100可以是便携式电子装置(例如，智能手机、专用扩增实境(AR)装置、游戏装置或具有AR处理和显示能力的其它装置)。实施本文所描述的AR***的装置可用于多种环境中(例如，商场、街道、办公室、家庭，或用户可使用其装置的任何地方)。用户可以在多种情况中与其装置100的多个特征介接。在AR情境中，用户可使用其装置来通过其装置的显示器观察现实世界的表示。用户可通过使用其装置的相机与其带有AR功能的装置相互作用以接收现实世界图像/视频且以将额外的或替代信息叠加到装置上的所显示的现实世界图像/视频上的方式来处理图像。当用户在其装置上观察AR实施时，可在装置显示器上实时替换或更改现实世界对象或场景。虚拟对象(例如，文本、图像、视频)可***到装置显示器上描绘的场景的表示中。

根据本发明的各方面，USLAM***170可以使用从非暂时性计算机可读媒体中取回的指令来执行。在一个实施方案中，指令作为软件165存储在存储器164中。指令可以使用一或多个处理器161执行。

在某些实施例中，USLAM***170的组件可以包含(1)地图绘制模块180，(2)追踪模块181和(3)由地图绘制模块180和追踪模块181共享的全局SLAM图数据结构。另外，USLAM***170可以包含图像处理模块171。

在一个实施例中，USLAM***170维持可以实施为具有有限和无限特征的图的数据库的全局SLAM图。全局SLAM图166的部分可以在存储器165中缓冲。图数据库可以包含多个3D地图。在某些实施方案中，在任何给定时间点处，可以激活3D地图中的仅一者。

追踪模块181处理在帧速率下来自相机的视频流并且追踪相对于激活的3D地图的一般和仅旋转相机运动这两者。通用姿态估计器组合有限和无限3D地图特征这两者的测量结果，并且自动计算6DOF或3DOF姿态。6DOF姿态确定相对于3D地图的相机图像的3DOF旋转(也称为定向)和3DOF位置(也称为平移)。3DOF姿态仅确定相对于3D地图的3DOF旋转。在某些实施方案中，追踪模块181还选择传递到地图绘制模块180的关键帧。对应于所计算的姿态的DOF计数，这些关键帧可被称为6DOF关键帧或3DOF关键帧。

地图绘制模块180基于通过追踪模块181选择的6DOF和全景关键帧扩展和精炼全局SLAM图。关键帧可以使用视差和覆盖率试探法来选择。视差是在两个相机帧的观察方向之间(例如，在当前帧与现有关键帧之间)到通常观察的场景几何形状(也称为有限3D地图特征)上的角度。覆盖率是由有限特征突起覆盖的帧面积比。

地图绘制模块180可以包含6DOF SLAM模块173、全景SLAM模块175和地图绘制模式切换模块179。6DOF SLAM模块173和全景SLAM模块175可以存取和更新存储在存储器164中的全局SLAM图166。

在一些实施例中，6DOF SLAM模块173可以产生具有来自所捕获图像的有限特征的关键帧。6DOF SLAM模块173可以在确定所捕获图像满足从已经与全局SLAM图相关联的先前关键帧的阈值平移之后产生关键帧。如上文所论述，6DOF SLAM模块173可以产生包含从两个或两个以上关键帧(例如，关键帧对，或大于一对关键帧)中三角测量的3D特征点的图并且在全局SLAM图165中***图。

在某些其它实施例中，全景SLAM模块175创建具有无限特征的全景图。在某些其它实施例中，全景SLAM模块175还可以将多个所捕获图像缝合在一起到通过仅旋转相机运动获取的图像的粘性集合中。使用3DOF SLAM的USLAM***170(例如，通过全景SLAM模块175的旋转追踪)可以计算与6DOF SLAM的6DOF(即，通过6DOF SLAM模块173计算的)相比的三个旋转自由度(3DOF)。全景SLAM模块175可以使用相对旋转使旋转关键帧彼此相关。USLAM***170可以在不满足最小阈值视差或平移时绕过或跳过特征点三角测量。举例来说，当相机的位置尚未改变且由于先前关键帧仅已发生纯旋转时，将不满足最小阈值视差或平移。

本发明的某些方面描述用于在以全景SLAM模式操作时基于在相机的移动中检测平移运动的单眼VSLAM的技术。平移运动可以使用来自运动传感器111的旋转运动计算。运动传感器111可以包含例如加速计、陀螺仪等惯性传感器和例如磁力计等磁传感器。此外，运动传感器还可包含相机传感器和用于确定运动的相关联的硬件和/或软件逻辑。基于在执行全景SLAM时检测平移运动，可以初始化由6DOF关键帧和有限图特征组成的新3D地图，产生到6DOF SLAM的切换且相对于新3D地图连续追踪相机。

根据某些实施例，平移运动的检测通过地图绘制模式切换模块179执行。两个相机视图之间的平移运动的检测可以通过比较使用图像处理技术和传感器采集的旋转角度来执行。使用图像处理检测的也被称作基于视觉旋转运动角度的旋转角度可以包含由于平移运动引入的虚拟角度分量。另一方面，来自传感器的也被称作基于传感器的旋转运动角度的旋转角度表示在两个相机视图之间的装置的实际旋转。视差角度，也就是说通过平移运动引入的两个视点之间的角度，可以通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度来计算。随后，可以使用视差角度计算平移运动。在某些方面，高于某一阈值的平移运动(通过视差角度指示)可用作从全景SLAM地图绘制切换到6DOF SLAM地图绘制的指示。

从全景SLAM地图绘制切换到6DOF SLAM地图绘制，其中平移运动是可供使用的，允许使全局SLAM图丰富，方法是包含用于点特征的深度，否则的话将不具有与它们相关联的此类深度信息。

图2说明根据本发明的某些方面的不受限制的SLAM***170的流程图。在图2中，标记为202和204的框表示3D地图。每个3D地图可以被当作包括多个全景和一般运动图的容器处理。当***启动时，使用一或多个初始化方法，第一3D地图得到初始化(框106)，所述初始化方法例如(a)使用至少两个关键帧(用户执行平移/一般相机运动)的立体初始化，(b)检测已知的追踪目标或任何其它合适的方法。

随后，取决于通过用户执行的相机运动可以执行不同地图绘制模式：在一般相机运动的阶段期间通过6DOF SLAM模块173执行总体6DOF地图绘制210，并且在纯旋转相机运动的阶段期间通过全景SLAM模块175执行3DOF地图绘制112。对应地，地图绘制引擎可以：

a.当检测到纯旋转运动时(使用基于视觉的方法)从6DOF地图绘制210过渡到3DOF地图绘制212；以及

b.当检测到一般运动时(使用基于视觉的方法)从3DOF地图绘制212过渡到6DOF地图绘制210并且相机朝向已知的图区域移动(已经以3D绘制的场景的部分)。

在某些实例中，当检测到一般运动时(使用视觉和运动传感器)地图绘制模块180从3DOF地图绘制212过渡到3D地图初始化208并且相机朝向未知的图区域(未以3D绘制的场景的部分)移动。下文中进一步详细描述了从3DOF地图绘制212到3D地图初始化208的过渡。

类似于先前相对于框206、210和212描述的过程，对于未知的图区域3D可以执行图初始化208和(6DOF和3DOF)地图绘制。对新3D地图204进行初始化并且地图绘制模块180可以执行用于一般运动的6DOF地图绘制214和用于纯旋转运动的3DOF地图绘制216，且二者之间的过渡随着过渡的进行在已知的图区域内。

图3说明在时间t处包含有限3D特征306的全局SLAM图表示。有限特征可以通过6DOF SLAM模块173检测且存储为3D地图的一部分。框302和304表示随时间推移与相机的不同位置和定向相关联的关键帧。虚线框302表示在过去的时间t-1处出现的关键帧，而实线框304表示在时间t处的当前帧。图3说明用于一般相机运动的6DOF地图绘制，而相机姿态完全限制在6DOF地图绘制内。在对场景的新的部分成像的同时当6DOF关键帧产生足够视差到现有关键帧时选择6DOF关键帧。足够视差是6DOF地图绘制110的稳固特征三角测量所希望的。在一个实施例中，当将6DOF关键帧***到3D地图中时，添加新的有限图特征。

图4说明根据本发明的某些方面在时间t+1处包含有限3D特征306和无限特征410的全局SLAM图表示的部分。

框302、304和408表示随时间推移与相机的不同位置和定向相关联的关键帧。虚线框302和304表示在过去的时间t-1和t处出现的关键帧，而实线框408表示在时间t+1处的当前帧。当***检测到纯旋转相机运动时，选择构成新全景图且界定其旋转中心的参考全景关键帧408。应注意参考全景关键帧408具有6DOF姿态且因此相对于3D地图是完全局部的。纯旋转相机运动可以基于追踪6DOF姿态的历史检测。举例来说，如果当前帧相对于包含于6DOF帧历史中的帧示出了低视差和足够的角度差异，那么可以假定纯旋转。在某些实施方案中，作为***参考全景关键帧的一部分，可将一或多个新无限图特征***在图中。

图5说明根据本发明的某些方面在时间t+2处包含有限3D特征306和无限特征410的全局SLAM图表示的部分。框302、304、408和512表示随时间推移与相机的不同位置和定向相关联的关键帧。虚线框302、304和408表示在过去的时间t-1、t和t+1处出现的关键帧，而实线框表示在时间t+2处的当前帧512。

在执行连续纯旋转相机运动时，全景模块175继续基于低覆盖率和足够的旋转选择依赖性全景关键帧512。低覆盖率指示相机继续探索未被进行地图绘制的场景区域。旋转可以计算为当前帧的观察方向与当前全景图的关键帧姿态之间的差异角度。这些关键帧被称作依赖性关键帧，因为它们采用来自参考全景关键帧的其3D位置。在某些实施方案中，作为***全景关键帧的一部分，可将一或多个新无限图特征***在3D地图中。

图6说明根据本发明的某些方面在时间t+3处包含有限3D特征306和无限特征410的全局SLAM图表示的部分。虚线框302、304和其它未标号的框表示在过去的时间t-1、t、t+1和t+2处出现的关键帧，而实线框表示在时间t+3处的当前帧614。如图6中所示，如果相机从全景中心移开并且回到已经已知的3D地图区域使得可以估计完整的6DOF姿态，那么***针对已经初始的3D地图202(如参考图2所描述)从3DOF地图绘制212切换到6DOF地图绘制210。

图7说明根据本发明的某些方面在时间t+4处包含有限3D特征306和无限特征410的全局SLAM图表示的部分。虚线框302、304和716表示在过去的时间t-1、t、t+1、t+2和t+3处出现的关键帧，而实线框718表示在时间t+4处的当前帧。当相机装置远离全景中心朝向未知的场景区域平移时，一旦发现两个关键帧提供足够的视差，则初始化新3D地图(框208)。

在某些实施例中，装置的相机平移通过比较针对参考关键帧716(例如，全景图的参考关键帧)与当前帧718之间的运动的从视觉和惯性/磁传感器中独立地且同时地估计的两个3DOF旋转来确定。视觉旋转(也称为3DOF姿态)是从全景图的无限特征中估计的。因为全景图追踪并不允许测量平移，所以所得旋转估计包含虚拟旋转。从运动传感器中估计的传感器3DOF旋转表示关键帧(716和718)之间的装置的真实(或接近真实)旋转。基于传感器的旋转运动角度可以使用定制传感器融合框架计算或可以使用通过现代移动OS平台提供的API呼叫检索。

根据本发明的各方面，并不从一或多个传感器中直接地估计平移，而是实际上确定旋转运动，且接着用于估计平移运动。通过不依赖于直接地衍生自一或多个传感器的平移运动，本发明的方面避免了加速计偏移的众所周知的问题。换句话说，从惯性/磁传感器中估计3DOF旋转与估计完整6DOF姿态相比更稳固。

为了确定相机平移，地图绘制模式切换模块179可以检测针对参考关键帧716与当前帧718之间的旋转的视觉和传感器3DOF旋转估计之间的差异。如使用实验所确定的，所得差异旋转角度大致对应于用于视觉旋转的估计的图像特征的平均视差角度。因此，地图绘制模式切换模块179可以确定方便的且可配置的阈值视差角度偏移以触发从3DOF全景到6DOF一般地图绘制和追踪的过渡。阈值可以确保在随后的图初始化步骤中的稳固的特征三角测量。

在图8中，在时间t+5处，新的3D地图可以得到初始化，如先前相对于框208所描述。一旦已经触发过渡，则从不同视图中创建允许用于6DOF中的相机装置的连续追踪的新3D地图。新3D地图通过从2D观察中三角测量有限3D特征而从一对关键帧(例如，用于旋转比较的参考帧和当前帧)中初始化。为此任务，可以使用任何立体初始化方法(例如宽基线匹配结合5点算法)。应注意“新”3D地图(锯齿)720和“旧”3D地图(锯齿)306可以是不连接的。两个图之间的空间变换可以仅部分地已知的，例如，两个3D地图中的每一个可具有不同标尺。新3D地图720被添加到全局SLAM图并且设置为“激活的”。如通过框822所显示，额外的一般运动可以用于通过有限3D特征进一步优化新3D地图720。

图9是说明根据本发明的某些方面的实例平移SLAM模块的方面的框图。地图绘制模式切换模块179可以包含基于视觉的旋转运动确定器模块902、基于传感器的旋转角度确定器模块904、视差角度确定器模块906、平移运动确定器模块908、SLAM切换模块910和深度确定模块912。地图绘制模式切换模块179的组件可以耦合到图像处理模块171、运动传感器模块111、3DOF SLAM模块175和6DOF SLAM模块173。图9中所描述的模块可以基于软件165和固件163中的指令使用图1中所描述的组件组合和/或实施，例如，处理器161和/或硬件162。在某些实施例中，软件165或固件163指令可以存储在非暂时性计算机可读媒体上。

在某些实施方案中，在仅旋转模式中操作时，图像处理模块171可以从相机114中采集若干图像或关键帧以用于进一步处理。图1的追踪模块181可以使用关键帧针对全景图追踪装置。另外，地图绘制模块180可以检测额外的无限特征并且将这些特征***到3D地图中。

基于视觉的旋转运动确定器902可以从图像处理模块171接收关键帧并且使用图像处理技术针对在两个关键帧之间装置所经历的旋转确定基于视觉的旋转运动角度。由于装置所经历的平移运动，被称作虚拟角度的额外的旋转角度分量可以编码为基于视觉的旋转运动角度的一部分。本质上，在全景模式时SLAM***期望仅旋转运动并且假定装置经历仅旋转运动来计算基于视觉的旋转运动角度。因此，任何平移运动错误地编码为基于视觉旋转运动的一部分。在某些实例中，平移运动可以由于在全景SLAM模式中在用户的一部分上的无意的水平移动。

同时，基于传感器的旋转运动确定器904可以在计算基于视觉的旋转运动角度的相同周期中确定基于传感器的旋转运动角度。举例来说，如果基于视觉的旋转运动角度是针对关键帧对(包括参考关键帧和当前关键帧)计算的，那么在采集参考关键帧和当前关键帧的时间处基于传感器的旋转运动角度也是使用传感器读数计算的。基于传感器的旋转运动角度表示关键帧之间的装置的实际(或接近实际)旋转角度。

视差角度确定器模块906通过比较基于传感器的旋转运动角度与基于视觉的旋转运动角度确定视差角度。视差角度，也就是说通过平移运动引入的在两个视点之间的角度，也表示基线和场景深度之间的差异。在某些实施例中，视差角度是针对阈值角度比较的。如果视差角度低于或等于阈值，那么视差角度可以忽略为噪声。

如果视差角度高于阈值，那么平移运动被确定为平移运动确定器模块908的一部分。平移运动确定器模块908使用视差角度确定平移运动。一旦确定平移运动，则深度确定器模块912可以确定相对于装置的一或多个特征的深度，方法是使用平移运动三角计算一或多个特征与装置的距离。SLAM切换模块910可以将地图绘制模块180从全景SLAM模块175切换到6DOF SLAM模块173。在某些实例中，当相机移动到激活的3D地图区域外部的新区域时，新3D地图也可以在切换到6DOF SLAM 173之前初始化。

图10说明用于执行根据本发明的一或多个方面的方法的流程图。根据一或多个方面，在图10中说明的流程图1000中描述的方法和/或方法步骤中的任一者和/或全部可通过装置100和/或在装置100中实施，图1中更详细地描述所述装置的组件。在一个实施例中，下文相对于图10所描述的方法步骤中的一或多个通过移动装置的处理器(例如处理器161或另一处理器)实施。另外或替代地,本文中所描述的方法和/或方法步骤中的任一个和/或全部可实施在计算机可读指令中,例如存储在计算机可读媒体(例如存储器164或另一计算机可读媒体)上的计算机可读指令。

在框1002处，装置的组件确定多个关键帧之间的装置的基于视觉的旋转运动角度，其中基于视觉的旋转运动角度通过在多个关键帧上执行图像处理来确定。

在框1004处，装置的组件确定多个关键帧之间的装置的基于传感器的旋转运动角度，其中基于传感器的旋转运动角度使用耦合到装置的一或多个运动传感器确定。所述一或多个传感器可以包含构建到装置中的惯性(陀螺仪、加速计)、磁性(指南针)和/或视觉(相机)传感器。

在框1006处，装置的组件确定装置的视差角度，其中视差角度通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度来确定。在某些方面，基于视觉的旋转运动角度和基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

在框1008处，装置的组件将视差角度与阈值进行比较。所述阈值可以是可配置的。

在框1010处，如果视差角度高于所述阈值，那么装置的组件检测平移运动。在某些实施方案中，如果视差角度等于或低于所述阈值，那么视差角度的改变可以被确定为是可忽略的。

在框1012处，装置的组件使用视差角度确定平移运动。另外，一旦确定视差角度，则装置的方面可以确定相对于装置的一或多个特征，方法是使用至少平移运动三角计算距离装置的一或多个特征的距离。

装置的组件可以至少基于平移运动的检测进一步初始化三维(3D)图以用于追踪在一般运动模式中的装置。装置的组件还可以切换到六个自由度(6DOF)SLAM地图绘制。在一个方面中，初始化三维(3D)图以用于追踪装置可以包括至少基于平移运动的检测使用两个关键帧的3D地图的立体初始化。

应了解，图10中所说明的特定步骤提供根据本发明的方面在操作模式之间切换的特定方法。步骤的其它顺序还可相应地在替代实施例中执行。举例来说，替代实施方案可以不同顺序执行上文所概述的步骤。为了说明，用户可以选择从第三操作模式变为第一操作模式，或在其之间的任何组合。此外，图10中说明的个体步骤可以包含可以个体步骤适合的各种顺序执行的多个子步骤。此外，可取决于特定应用而添加或移除额外步骤。所属领域的一般技术人员将认识到和理解所述过程的多个变体、更改和替代方案。

Claims (27)

1.一种用于在追踪全景同时定位与地图绘制SLAM模式中的装置时检测平移运动的方法，所述方法包括：

确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；

在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；

确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；

将所述视差角度与阈值进行比较；以及

基于所述视差角度高于所述阈值检测所述平移运动。

2.根据权利要求1所述的方法，其进一步包括在所述多个关键帧之间使用至少所述视差角度确定所述平移运动。

3.根据权利要求2所述的方法，其进一步包括确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算所述一或多个特征与所述装置的距离。

4.根据权利要求1所述的方法，其进一步包括至少基于所述平移运动的检测初始化三维3D地图以用于追踪在所述一般运动模式中的所述装置。

5.根据权利要求1所述的方法，其进一步包括基于检测平移运动切换到六个自由度6DOF SLAM地图绘制。

6.根据权利要求1所述的方法，其进一步包括至少基于所述平移运动的检测使用两个关键帧初始化三维3D地图以用于使用所述3D地图的立体初始化追踪所述装置。

7.根据权利要求1所述的方法，其中所述基于视觉的旋转运动角度和所述基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

8.根据权利要求1所述的方法，其中所述运动传感器包含陀螺仪、加速计或磁力计中的一或多个。

9.一种用于在追踪全景同时定位与地图绘制SLAM模式中的装置时检测平移运动的装置，所述装置包括：

存储器；

相机，其耦合到所述装置以用于获得关于所述物理场景的信息；以及

处理器，其耦合到所述存储器且经配置以：

确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；

在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；

确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；

将所述视差角度与阈值进行比较；以及

基于所述视差角度高于所述阈值检测所述平移运动。

10.根据权利要求11所述的装置，其进一步包括所述处理器经配置以在所述多个关键帧之间使用至少所述视差角度确定所述平移运动。

11.根据权利要求10所述的装置，其进一步包括所述处理器经配置以确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算一或多个特征与所述装置的距离。

12.根据权利要求9所述的装置，其进一步包括所述处理器至少基于所述平移运动的检测初始化三维3D地图以用于追踪在所述一般运动模式中的所述装置。

13.根据权利要求9所述的装置，其进一步包括所述处理器切换到六个自由度6DOFSLAM地图绘制。

14.根据权利要求9所述的装置，其进一步包括所述处理器至少基于所述平移运动的检测使用两个关键帧初始化三维3D地图以用于使用所述3D地图的立体初始化追踪所述装置。

15.根据权利要求9所述的装置，其进一步包括所述处理器至少基于所述平移运动的检测初始化三维3D地图以通过使用已知的追踪目标追踪所述装置。

16.根据权利要求9所述的装置，其中所述基于视觉的旋转运动角度和所述基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

17.根据权利要求9所述的装置，其中所述运动传感器包含陀螺仪、加速计或磁力计中的一或多个。

18.一种非暂时性计算机可读储存媒体，其中所述非暂时性计算机可读储存媒体包括可由处理器执行的指令以用于执行同时定位与地图绘制SLAM，所述指令包括进行以下项的指令：

确定所述装置的基于视觉的旋转运动角度，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；

在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；

确定所述装置的视差角度，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；

将所述视差角度与阈值进行比较；以及

基于所述视差角度高于所述阈值检测所述平移运动。

19.根据权利要求18所述的非暂时性计算机可读储存媒体，其进一步包括在所述多个关键帧之间使用至少所述视差角度确定所述平移运动。

20.根据权利要求19所述的非暂时性计算机可读储存媒体，其进一步包括所述处理器经配置以确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算所述一或多个特征与所述装置的所述距离。

21.根据权利要求18所述的非暂时性计算机可读储存媒体，其中所述基于视觉的旋转运动角度和所述基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

22.根据权利要求18所述的非暂时性计算机可读储存媒体，其中所述运动传感器包含陀螺仪、加速计或磁力计中的一或多个。

23.一种设备，其包括：

用于确定所述装置的基于视觉的旋转运动角度的装置，其中所述基于视觉的旋转运动角度通过在多个关键帧上执行图像处理确定；

用于在所述多个关键帧之间确定所述装置的基于传感器的旋转运动角度的装置，其中所述基于传感器的旋转运动角度是使用耦合到所述装置的一或多个运动传感器确定的；

用于确定所述装置的视差角度的装置，其中所述视差角度通过比较所述基于视觉的旋转运动角度与所述基于传感器的旋转运动角度确定；

用于将所述视差角度与阈值进行比较的装置；以及

用于基于所述视差角度高于所述阈值检测所述平移运动的装置。

24.根据权利要求23所述的设备，其进一步包括用于在所述多个关键帧之间使用至少所述视差角度确定所述平移运动的装置。

25.根据权利要求23所述的设备，其进一步包括确定相对于所述装置的一或多个特征的深度信息，方法是使用至少所述平移运动三角计算所述一或多个特征与所述装置的所述距离。

26.根据权利要求23所述的设备，其中所述基于视觉的旋转运动角度和所述基于传感器的旋转运动角度是针对在第一时间处采集的参考关键帧与在第二时间处采集的当前关键帧之间的运动检测的。

27.根据权利要求23所述的设备，其中所述运动传感器包含陀螺仪、加速计或磁力计中的一或多个。