CN107407567B

CN107407567B - 增强现实导航

Info

Publication number: CN107407567B
Application number: CN201680016358.0A
Authority: CN
Inventors: M·S·阿什曼; E·伊德; A·汤姆林; T·安布鲁斯
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2015-03-18
Filing date: 2016-02-23
Publication date: 2020-06-30
Anticipated expiration: 2036-02-23
Also published as: EP3271687A1; WO2016148851A1; US9304003B1; EP3271687B1; CN107407567A

Abstract

一种计算设备，包括包括(诸)传感器的位置传感器***，所述(诸)传感器被配置成测量周围环境的一个或多个参数，姿态追踪引擎，所述姿态追踪引擎被配置成基于所测得的周围环境的一个或多个参数来确定所述计算设备的当前姿态，制图引擎，所述制图引擎被配置成访问包括多个顶点的可遍历性图，每一个所述顶点具有一个本地坐标系，导航引擎，所述导航引擎被配置成标识所述可遍历性图中相对于当前姿态的附近的顶点，并且所述导航引擎被配置成确定所述可遍历性图中的所述附近的顶点和目标顶点之间的可遍历边的路径，以及显示器，所述显示器被配置成将对应于所述路径的导航可视化可视地呈现为所述环境的叠放。

Description

增强现实导航

背景技术

计算机辅助导航可被实时提供给用户。例如，全球定位***(GPS)设备可提供逐个转弯的指引。

概述

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

一种计算设备，包括：包括一个或多个传感器的位置传感器***，所述一个或多个传感器被配置成测量周围环境的一个或多个参数，姿态追踪引擎，所述姿态追踪引擎被配置成基于所测得的周围环境的一个或多个参数来确定所述计算设备的当前姿态，制图引擎，所述制图引擎被配置成访问包括多个顶点的可遍历性图，每一个所述顶点具有一个本地坐标系以及相对于所述本地坐标系的姿态，导航引擎，所述导航引擎被配置成标识所述可遍历性图中相对于当前姿态的附近的顶点，并且所述导航引擎被配置成确定所述可遍历性图中的所述附近的顶点和目标顶点之间的可遍历边的路径，以及显示器，所述显示器被配置成将对应于所述路径的导航可视化可视地呈现为所述环境的叠放。

附图简述

图1示出其中用户可与提供步行级导航的计算设备交互的示例环境。

图2示出图1中所示出的计算设备的示例***架构。

图3-5示出创建可被集成到可遍历性图中的顶点的可遍历路径的示例场景。

图6-8示出环境中的不同示例遍历路径。

图9示出根据图6－8中所示出的遍历路径创建的示例可遍历性图。

图10示出图9的可遍历性图，其中添加了推断的可遍历边。

图11示出图10的可遍历性图，其中冗余的边和顶点被移除。

图12-14示出示例场景，其中表面重构数据被用来从可遍历性图中移除穿过环境的表面的推断的可遍历边。

图15-16示出示例导航可视化，该导航可视化包括可遍历性图的可遍历边的路径的视觉表示。

图17-18示出示例导航可视化，该导航可视化包括对应于可遍历性图的可遍历边的路径的逐个转弯的导航指引。

图19示出示例头戴式计算***。

图20示出示例计算***。

详细描述

当前的导航方法采用全球定位***(GPS)和/或其它位置追踪***来追踪与用户相关联的计算设备的位置。然而，这类位置追踪***提供对于步行级导航而言不足够的位置追踪准确度。具体而言，在尝试追踪与位于室内的用户相关联的计算设备的位置时，这类位置追踪***明显受到准确度问题的影响。

本公开涉及一种用于向用户提供步行级导航指引的方法。更具体地，本公开涉及使用环境的锚定姿态的可遍历性图来向用户提供步行级导航指引。可遍历性图可使用从周围环境的一个或多个测得的参数中推导出的姿态追踪数据来创建(例如，根据所记录的一个或多个用户在他们在环境中走动时的行走模式来生成)。可遍历性图可包括多个顶点。具体而言，每一个顶点可与相对于一个不同本地坐标系的一个不同姿态相关联(例如，在6个自由度(6DOF)中)。此外，可遍历性图的顶点可通过可遍历边来连接，可遍历边既可表示可由用户遍历的已知的路径，也可表示推断的路径。例如，步行级导航指引可对应于沿可遍历性图的与用户相关联的计算设备的当前姿态附近(例如，最接近)的顶点和可遍历性图的目的地顶点之间的可遍历边的路径。

由于可遍历性图被锚定到多个不同地点的不同坐标系，因此可提供具有相对于GPS和其它位置追踪***提高的准确度水平的姿态追踪和导航。此外，这类方法可在GPS和其它位置追踪***不准确或不可用的环境(诸如室内)中提供准确的姿态追踪和导航。此外，这类方法所提供的姿态追踪和导航准确度的水平可允许步行级导航指引被实时地可视地呈现为周围环境的增强现实(AR)叠放。

图1示出其中用户102可与计算设备104交互的示例环境100。在这一示例中，环境100是建筑物内部的一间房间。环境100可延伸到建筑物的不同部分，诸如建筑物中的不同房间或不同楼层。环境100可涵盖任何合适大小的区域。例如，环境100可延伸到建筑物外部，诸如沿街道向下延伸到一不同建筑。此外，用户102可与计算设备104交互以接收具有任何合适大小的任何合适环境中的步行级导航指引。

计算设备104被描绘为包括位置传感器***106和透视显示器108的头戴式计算设备。位置传感器***106可包括被配置成测量周围环境100的一个或多个参数的一个或多个传感器。位置传感器***106所测得的一个或多个参数可被用于确定计算设备104在环境100中的当前姿态(例如，在6个DOF中)。计算设备104的当前姿态可被用于确定可指导用户102步行到环境100中的期望目的地的步行级导航指引。例如，在所例示的示例中，期望目的地可以是建筑物内部的一间不同房间、沿街道往下的某一位置、或步行距离内的另一位置。

在一个示例中，步行级导航指引可沿着环境100的可遍历性图。例如，可遍历性图可根据当用户102(和/或其他用户)在环境100中走动时所记录的他(和/或他们)的行走模式来生成。具体而言，步行级导航指引可对应于计算设备104的当前姿态附近(例如，最接近)的可遍历性图的顶点和可遍历性图的目的地顶点之间的可遍历边的最短路径。

透视显示器108可被配置成将步行级导航指引的导航可视化表示视觉地呈现为可透过透视显示器108看到的环境100的一部分的叠放。导航可视化可在用户102移动通过环境100时由显示器实时地视觉呈现。此外，响应于用户102在环境100中移动到不同姿态，沿可遍历性图的最短路径可基于不同姿态而更新，并且导航可视化的视觉呈现可被动态更新以反映经更新的最短路径。

图2示出图1中所示出的计算设备104的示例***架构。计算设备104可包括被配置成执行与提供步行级导航有关的不同操作的各种引擎。具体而言，计算设备104可包括姿态追踪引擎202、制图引擎204、图处理引擎206、表面重构引擎208、以及导航引擎210。

姿态追踪引擎202可被配置成基于由位置传感器***106的一个或多个传感器测得的周围环境的一个或多个参数来确定计算设备104的当前姿态。在一个示例中，当前姿态可以是一个包括平移分量(例如，X、Y、Z)的3-DOF姿态。换言之，该姿态可以是3D空间中的一个点。在另一示例中，当前姿态可以是一个包括平移分量(例如，X、Y、Z)和旋转分量((例如，俯仰、滚转、偏航)，或更一般的为3x3旋转矩阵)的6-DOF姿态。

在一个示例中，计算设备104的当前姿态可使用基于视野的即时定位和映射(SLAM)姿态追踪方法来确定。基于视野的SLAM可使用对图像关键帧的视觉特征追踪以及(例如，由惯性测量单元(IMU)提供的)位置数据来追踪计算设备相对于本地坐标***(或本地坐标框架)的姿态。在一些实现中，SLAM姿态追踪可使用由可被包括在位置传感器***106中的立体相机所提供的图像来执行。在一些实现中，基于视野的SLAM可使用由可被包括在位置传感器***106中的一个或多个深度相机所提供的深度图像来执行。

此外，在使用SLAM姿态追踪的实现中，姿态追踪引擎202可被配置成创建姿态图，该姿态图经由表示姿态图的边的变换将不同本地坐标系连接在一起。在一个示例中，边可被表示为可等同于6-DOF姿态的SE(3)变换。SE(3)变换可与附加的测量/视觉信息(例如，视觉标志物)一起使用以进行对于本地坐标框架的捆绑调整。姿态图可被查询以估计计算设备104在各本地坐标框架之间的相对姿态。此外，计算设备104的瞬时姿态可被一般地相对于“活跃”(例如，最接近的)本地坐标框架来追踪。

通过使用SLAM姿态追踪方法，姿态估计可被可靠地在带有最小偏移误差的情况下执行。具体而言，姿态估计中的相对于任何给定本地坐标框架的误差可与从该本地坐标框架到估计的姿态的距离有关。由于姿态图连接多个本地坐标框架，因此从姿态估计到任何给定本地坐标框架的距离可足够小以提供适合用于提供步行级导航指引的水平的姿态估计准确性。

SLAM仅仅是用于确定计算设备104的姿态的一个示例方法，并且姿态追踪引擎202可被配置成执行任何合适的方法来确定计算设备104的姿态。例如，姿态追踪引擎202可被配置成以合适的速度和精准性来确定计算设备104的姿态以实时生成步行级指引作为周围环境的AR叠放。

制图引擎204可被配置成创建环境100的可遍历性图。可遍历性图可包括多个顶点。多个顶点中的每一个可与姿态图的一个不同的本地坐标框架(或本地坐标系)相关联。多个顶点中的每一个可通过可遍历边连接到可遍历性图的至少一个其它顶点。

图3-5示出其中制图引擎204创建可被集成到可遍历性图300中的顶点的可遍历路径的示例场景。在图3中，在时间T1，用户102开始新的步行路径，其中姿态追踪引擎202活跃地追踪计算设备104的姿态。具体而言，制图引擎204创建可遍历性图300的第一顶点302。第一顶点302可包括标识符304和姿态306。标识符304可对应于附近的由姿态追踪引擎202所提供的姿态图的本地坐标框架。例如，附近的本地坐标框架可以是最接近的本地坐标框架。在一些实现中，标识符304可以是全局唯一标识符(GUID)。姿态306可以是由姿态追踪引擎202提供的当前姿态。姿态306可相对于对应于标识符304的本地坐标框架来表达。虽然姿态306被示出为6-DOF姿态，但是在一些实现中，姿态306可以是3-DOF姿态(例如，x、y、z)、2-DOF姿态(例如，x、y)、或另一种合适的姿态。

此外，制图引擎204可被配置成例如响应于计算设备104从最近创建的顶点行进指定距离而创建可遍历性图300上的新的顶点。换言之，指定距离可被维持在每一个创建的顶点和该顶点的前一顶点之间。在一个特定示例中，指定距离可被设置为1米。任何合适的步行级距离可被选择以将各顶点间隔开一固定距离。在其它实现中，除了距离以外的触发(例如，逝去的时间)可被用来创建新的顶点。此外，制图引擎204可被配置成响应于创建新的顶点而创建已知的可遍历边以将新的顶点连接到下一个最近创建的顶点。

需要注意，已知的可遍历边表示计算设备104(或另一计算设备)在可遍历性图的创建期间已实际遍历的路径。

在图4中，在时间T7，用户102已行走了足够远的距离以致使制图引擎204在可遍历性图300上创建7个顶点。可遍历性图300的每一个顶点包括一个与本地坐标系有关的不同姿态。在一些情况下，每一个顶点可与一个不同的本地坐标系有关。在其它情况下，多个顶点可共享相同的本地坐标系。例如，可遍历性图的空间上密集的各部分可包括共享一个共同的本地坐标系的多个顶点。另一方面，可遍历性图的空间上稀疏的各部分可包括各自与一个不同的本地坐标系有关的多个顶点。

在图5中，在时间T28，用户102已行走了足够远的距离以致使制图引擎204在可遍历性图上创建28个顶点。需要注意，虽然用户102所走过的路径自我交叉，但是制图引擎204仅在用户102实际走过的顶点之间创建已知的可遍历边。例如，制图引擎204在顶点308和顶点310之间创建已知的可遍历边。然而，制图引擎204不在顶点308和顶点312之间创建可遍历边，因为用户102并没有在顶点308和顶点312之间行走。

制图引擎204可被配置成只要姿态追踪引擎202在向制图引擎204提供姿态追踪数据就创建可遍历性图的顶点和边。如果姿态追踪引擎202不能向制图引擎204提供姿态追踪数据(例如，由于缺少特征识别的缘故)，则制图引擎204终结可遍历路径。随后，一旦姿态追踪数据变得可从姿态追踪引擎202获得，制图引擎204开始一条新的可遍历路径。

任何合适数量的可遍历路径可被集成到环境的可遍历性图中。图6-8示出示例环境600中的楼层平面图。例如，该环境可以是包括多个由各个走廊间隔开的多个办公室的办公楼。图6示出环境600中的第一遍历路径602。第一遍历路径602开始于楼层平面图的左上角，并且绕着两个中间的办公室一圈，并且通过中间的走廊返回到接近起始点。第一遍历路径602包括17个顶点。

图7示出环境600中的第二遍历路径604。第二遍历路径604开始于楼层平面图的左下角，并且通过办公楼的外侧走廊绕着三个中间的办公室一圈，并且返回到接近起始点。第二遍历路径604包括19个顶点。

图8示出环境600中的第三遍历路径606。第三遍历路径606开始于楼层平面图的左上角，并且通过中间的走廊行进以完成绕着一个中间的办公室的一圈，以返回到接近起始点。第三遍历路径包括12个顶点。

示例遍历路径中的每一个是在相同的环境中创建的，但是每一个遍历路径提供不同的数据点，这些数据点可被集成到环境600的可遍历性图中以提供相对于环境600的对于用户的准确姿态追踪和空间映射。

在一个示例中，第一遍历路径602、第二遍历路径604、以及第三遍历路径606可由同一计算设备在该计算设备在环境600中移动时的不同时刻生成。换言之，三个不同遍历路径在时间上不重叠。例如，用户102可在一整天的过程中在办公楼间移动时创建三个不同遍历路径。在这一示例中，制图引擎204可被配置成根据通过在计算设备104在环境中移动时追踪仅仅计算设备104的姿态而提供的姿态追踪数据(例如，不同遍历路径)来创建环境600的可遍历性图。

在一些实现中，可遍历性图可选地可根据对应于多个不同计算设备中的每一个的在这多个不同计算设备中的每一个在环境中移动时的姿态的姿态追踪数据来创建。例如，第一遍历路径602可由第一计算设备在该第一计算设备在环境600中移动时创建。此外，第二遍历路径604可由第二计算设备在该第二计算设备在环境600中移动时创建。再有，第三遍历路径606可由第三计算设备在该第三计算设备在环境600中移动时创建。在一个示例中，这三个不同的计算设备可同时在环境600中移动以创建三个不同遍历路径。在另一示例中，这三个不同的计算设备可在不同时间在环境600中移动以创建三个不同遍历路径。

在这类实现中，当可遍历性图是通过从不同计算设备收集姿态追踪数据和/或遍历路径而创建时，网络可访问服务计算设备可被实现以收集并将遍历路径集成到可遍历性图中。

返回图2，在一个示例中，计算设备104可被配置成将由姿态追踪引擎202确定的姿态估计数据(例如，相对于本地坐标框架估计的姿态)和由制图引擎204确定的环境100的遍历路径(和/或其它姿态追踪数据)发送给制图服务计算设备212以集成到环境100的可遍历性图中。具体而言，制图服务计算设备212可被配置成从在环境100中移动的不同计算设备的各个制图引擎接收估计的相对姿态、本地坐标框架、以及环境100的遍历路径。制图服务计算设备212可被配置成将每一个接收到的遍历路径集成到环境100的可遍历性图中。相应地，在这类实现中，制图服务计算设备212可被配置成将可遍历性图的各部分和与视觉追踪数据绑定的对应的本地坐标框架分享给作出请求的计算设备。这类信息可允许作出请求的计算设备准确地相对于附近的本地坐标框架估计设备姿态。在一个示例中，制图引擎204可被配置成访问环境100的可遍历性图、相关联的本地坐标框架、和/或视觉追踪数据以准确地估计计算设备104的姿态以便提供步行级AR导航指引。

在另一实现中，与制图服务计算设备分开的姿态追踪服务计算设备可被配置成管理从不同客户端计算设备收集的姿态追踪数据。在这类实现中，客户端计算设备可请求访问来自姿态追踪服务计算设备的姿态追踪数据、本地坐标框架、和/或视觉追踪数据。此外，客户端计算设备可分开地请求访问来自制图服务计算设备的可遍历性图。

图9示出通过组合图6－8中所示出的遍历路径来创建的示例可遍历性图900。具体而言，三个不同的遍历路径可被空间上彼此配准以创建可遍历性图900。

返回图2，在一些实现中，可遍历性图可由制图引擎204在计算设备104上本地地创建。在一些实现中，可遍历性图可由制图服务计算设备212远程地创建。在又一实现中，图处理引擎206可被配置成将由制图引擎204创建的各段顶点和已知的可遍历边(也称为遍历路径)集成到环境100的可遍历性图中。

此外，图处理引擎206可被配置成在将新的可遍历路径合并到可遍历性图中时执行各种推断、确认、以及折叠/移除操作来维持顶点和可遍历边的合理成长。在一个示例中，图处理引擎206可被配置成标识间隔距离小于距离阈值的可遍历性图的几对之前未连接的顶点。可以采用任何合适的距离阈值。在一个示例中，距离阈值可以是50厘米。此外，图处理引擎206可被配置成对于标识出的每一对之前未连接的顶点，创建该对顶点之间的推断的可遍历边。推断的可遍历边指示在确定沿可遍历性图的可遍历路径时可被考虑的潜在的可遍历路径以向用户提供导航指引。

图10示出可遍历性图900，其中添加了推断的可遍历边。具体而言，已知的可遍历边由实线指示，而推断的可遍历边由虚线指示。通过向可遍历性图添加推断的可遍历边，其中可遍历路径相交的完整的子图可被创建。附加的相交可允许在提供沿可遍历性图的步行级导航指引时标识更短的导航路径。

返回图2，图处理引擎206可被进一步配置成对可遍历性图执行折叠操作以缩小可遍历性图的尺寸和级数。在一个示例中，图处理引擎206可被配置成从可遍历性图中折叠任何具有小于长度阈值的长度的推断的可遍历边。例如，长度阈值可小于距离阈值。需要注意，折叠操作可包括移除和/或合并可遍历性图的一个或多个顶点。此外，图处理引擎206可被配置成对于连接到被折叠的推断的可遍历边的每一对顶点，从可遍历性图中移除该对顶点中的一个顶点。此外，图处理引擎206可被配置成在该对顶点中的剩余顶点和可遍历性图的最接近于该剩余顶点的顶点之间创建新的推断的边。以此方式，多段路径可被简化成更少(例如，更长)的段，使得可遍历性图将不包括冗余的多段路径，该多段路径遍历一个也被更少的(例如单个)段遍历的范围。

图11示出经历了由图处理引擎206执行的折叠操作之后的可遍历性图900。具体而言，短的推断的可遍历边、冗余的边、以及冗余的或者孤立的顶点在可遍历性图中被折叠。这样的操作可被执行以确保可遍历性图保持计算上的轻量以允许实时提供步行级导航。

返回图2，在一些实现中，计算设备104可选地可包括表面重构引擎208。表面重构引擎208可被配置成使用由位置传感器***106的一个或多个传感器提供的一个或多个测得的参数来标识环境100的表面。在一个示例中，位置传感器***106可包括立体相机，并且表面重构引擎208可被配置成分析由立体相机提供的图像以标识环境中的表面。在另一示例中，位置传感器***106可包括飞行时间(TOF)深度相机，并且表面重构引擎208可被配置成分析由TOF深度相机提供的深度图像以标识环境中的表面。此外，在任一示例中，图像可被空间地配准到由姿态追踪引擎202创建的关键帧。图处理引擎206可利用这类空间配准来标识可遍历性图的穿过表面重构引擎208所标识的表面的推断的可遍历边。在一个示例中，图处理引擎206可被配置成从可遍历性图中移除/折叠任何穿过已被表面重构引擎208所标识的表面的标识的推断的可遍历边。此外，在一些实现中，图处理引擎206可被配置成从确认任何推断的可遍历边未穿过已被表面重构引擎所标识的表面。这类表面分析可任选地由制图服务计算设备212执行。

图12-14示出示例场景，其中表面重构数据被用来从可遍历性图中移除穿过环境的表面的推断的可遍历边。图12示出包括可遍历性图的一部分1202的环境1200。该部分1202包括已知的可遍历边(由实线指示)以及推断的可遍历边(由虚线指示)。

图13示出包括由表面重构引擎208标识的表面的环境1200。在这一示例中，表面重构引擎208标识位于走廊中间的柱子1300，可遍历性图的一部分1202位于该处。图处理引擎206标识推断的可遍历边1302穿过柱子1300的至少一个表面。因此，如图14中所示，图处理引擎206从可遍历性图的该部分1202中移除该推断的可遍历边。该推断的可遍历边可被从可遍历性图中移除以便避免将用户指引到柱子1300中去的导航指引。

返回图2，在一些实现中，由计算设备104本地的执行的操作可改为由制图服务计算设备212执行。例如，制图服务计算设备212可被配置成基于从计算设备104接收的传感器数据(例如，图像数据)来执行姿态追踪操作，并且被配置成将所确定的计算设备104的姿态发送给计算设备。作为另一示例，制图服务计算设备212可被配置成基于计算设备104(和/或其它计算设备)的遍历路径(和/或其它姿态追踪数据)来执行可遍历性图创建操作。作为另一示例，制图服务计算设备212可被配置成以如以上讨论的相同的方式对可遍历性图执行推断以及折叠/移除操作。作为另一示例，制图服务计算设备212可被配置成为计算设备104执行导航操作。

此外，在其中表面重构操作由计算设备104执行的实现中，计算设备104可被配置成将表面重构数据发送给制图服务计算设备212。制图服务计算设备212可被配置成使用该表面重构数据来确认可遍历性图的推断的可遍历边。在其它实现中，制图服务计算设备212可被配置成基于从计算设备104接收的传感器数据(例如，图像数据)来执行表面重构操作以标识环境中的表面。此外，制图服务计算设备212可被配置成确认可遍历性图中的未穿过环境中的被标识的表面的边。

以上描述的操作的任意组合可由制图服务计算设备212代表计算设备104执行。在一些实现中，制图服务计算设备212可在计算设备104能够与制图服务计算设备212通信时(例如，当计算设备104“在线”时)执行这类操作。此外，计算设备104可在计算设备104不能够与制图服务计算设备212通信时(例如，当计算设备104“离线”时)执行这类操作。在其它实现中，由客户端计算设备的各模块中的每一个本地执行的操作可由独立的服务计算设备远程地执行。

继续图2，导航引擎210可被配置成确定给用户102的步行级导航指引，该步行级导航指引可允许用户102被指引到环境100中的期望目的地。具体而言，导航引擎210可被配置成标识可遍历性图中的相对于姿态追踪引擎202所提供的计算设备104的当前姿态的附近的顶点。在一个示例中，附近的顶点是最接近于当前姿态的顶点。在另一示例中，可选择不是最接近的顶点的附近的顶点。例如，可选择第二接近的、第三接近的、第四接近的、或其它的顶点。

导航引擎210可被配置成确定该附近的顶点和可遍历性图的目的地顶点之间的可遍历边的路径。例如，目的地顶点可以是可遍历性图的最接近于用户102所提供的位置的顶点。在另一示例中，可遍历性图的顶点可被标注为对应于各个感兴趣的目的地，并且用户102可选择一个给定顶点作为目的地顶点。

通常，所确定的路径可以是附近的顶点和目的地顶点之间的可遍历边的最短路径。这一路径可包括已知的可遍历边和推断的可遍历边。在一个示例中，导航引擎210可使用Dijkstra算法来确定最短路径。在另一示例中，导航引擎210可使用A*算法来确定最短路径。导航引擎210可采用任何合适的算法来确定沿可遍历性图的最短路径。

在一些情况下，导航引擎210可确定除了沿可遍历性图到达目的地顶点的最短路径之外的路径。在一些实现中，用户102可选择影响路径确定的各种导航约束。例如，用户102可实施指示用户102不想走楼梯的导航约束。因此，导航引擎210可确定将用户102指引到电梯的路径，即使上楼梯的路径可能更短。换言之，导航引擎210可被配置成将确定沿可遍历性图的路径之外的导航信息(例如，用户约束、语义标签、以及其它元数据)纳入考虑以便向用户提供导航指引。

此外，随着用户102在环境100中移动导致计算设备104的当前姿态改变，导航引擎210可被配置成响应于当前姿态的改变而重新标识附近的顶点。此外，导航引擎210可被配置成响应于附近的顶点的改变而重新确定最短路径。换言之，每当最接近顶点未被包括在之前计算的路径中时，导航引擎210重新计算最短路径。

继续图2，显示器108可被配置成将对应于导航引擎210所确定的路径的导航可视化可视地呈现为环境100上的叠放。导航可视化可包括任何合适的AR文本、图像、和/或视频，其向用户102可视地呈现沿可遍历性图的路径的导航指引。导航可视化的叠放可被呈现在显示器108的任何合适的可视部分上。此外，导航可视化可以任何合适的方式增强环境100。

在一些场景中，导航可视化可以是身体锁定的，使得导航可视化在显示器108上的位置在用户102在环境100中移动时保持相对于用户102固定。在一些场景中，导航可视化可以是世界锁定的，使得导航可视化在显示器108上的位置保持相对于环境中的3D点固定而随着用户102在环境100中移动而改变相对于用户102的位置。

图15-16示出示例导航可视化1500，该导航可视化包括可遍历性图的可遍历边的路径的视觉表示。图15示出用户102通过头戴式计算设备104的显示器108(图1中示出)的视野1510看到的环境100。在例示的示例中，导航可视化1500包括接近路径的位置的3D管道的视觉表示。3D管道1500可表现为漂浮在环境100中。3D管道1500可被视觉地分配到表示路径的可遍历边的段1502。每一段1502可由表示路径的各顶点的3D管道的各个横截面1504的视觉表示来限定。

在头戴式计算设备104包括表面重构引擎208的实现中，显示器108可被配置成使用由表面重构引擎208提供的表面重构数据来用显著的外观(例如，实线、较低的透明度、或更鲜亮的颜色)来呈现可由用户102从当前姿态直接看到的3D管道1500的部分。此外，显示器108可被配置成使用表面重构引擎208所提供的表面重构数据以较不显著的外观(例如，虚线、更多的透明度、较不鲜明的颜色)在视野1510中显示可能被环境100中的现实世界表面所遮挡3D管道1500的一部分。这样的视觉特征可向用户102提供自然和沉浸式AR体验。

在这一示例中，计算设备104被放置在用户102的头上。如此，计算设备104的姿态坐标框架和用户102的头一起移动。为了使用户102能够实际地在视野1510中看到3D管道1500，显示器108可被配置成相对于计算设备104的高度偏移3D管道1500的高度。在一个示例中，3D管道的高度可以比计算设备104的高度低50厘米。

在图16中，用户102已追随3D管道1500出了房间并进入走廊。随着用户102在环境100中移动，显示器108更新视野1510中3D管道1500的呈现以对应于路径的最接近于计算设备104的当前姿态的顶点。

3D管道1500仅仅是沿可遍历性图的路径的视觉表示的一个示例。路径的任何合适的视觉表示可由显示器108可视地呈现。例如，路径可通过显示在环境100的表面上的线(诸如沿着地板)可视地表示。在另一示例中，路径可通过对应于路径的各顶点的闪烁的路标、回转、或圆环来可视地表示。作为另一示例，路径可通过在用户前方从一个顶点到另一顶点行进的精灵或其它动画来表示。

图17-18示出示例导航可视化1700，该导航可视化1700包括对应于可遍历性图的可遍历边的路径的逐个转弯的导航指引。图17示出用户102通过头戴式计算设备104的显示器108(图1中示出)的视野1710看到的环境100。在例示的示例中，逐个转弯的导航指引1700被呈现在显示器108的视野1710的右上角以便不完全遮挡用户102的视野。逐个转弯的导航指引1700可被显示在显示器108的视野1710的任何部分中。在一些实现中，逐个转弯的导航指引1700可以是身体锁定的。在其它实现中，逐个转弯的导航指引1700可以被显示为使得看上去位于环境的表面上。由此，逐个转弯的导航指引1700在显示器108的视野1710中的位置可基于用户102可透过显示器108的视野1710看到的环境100中的表面而改变。

在图18中，用户102已追随逐个转弯的导航指引1700出了房间并进入走廊。随着用户102在环境100中移动，显示器108更新视野1710中逐个转弯的导航指引1700的呈现以对应于路径的最接近于计算设备104的当前姿态的顶点。

在以上描述的示例中，计算设备104是头戴式计算设备，而显示器108是透视显示器，该透视显示器可被配置成视觉地呈现路径的导航可视化的增强现实图像。在其它实现中，计算设备可包括被配置成显示环境的图像的显示器，并且导航可视化可被作为环境的图像的叠放来呈现。例如，计算设备可以是包括相机和显示器的智能电话。

图19以具有透视显示器1902的一副可穿戴眼镜形式示出头戴式计算设备1900的非限制性示例。该头戴式计算设备可代表图1中示出的计算设备104。头戴式计算设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在观察者的一只或两只眼睛前方。此外，本文所描述的各实现可以与任何其它合适的计算***联用，包括但不限于移动计算设备、智能电话、膝上型计算机、台式计算机、平板计算机、以及其它可穿戴计算机。

计算设备1900包括透视显示器1902和控制器1904。透视显示器1902可以使得图像(诸如全息对象)被递送到计算设备1900佩戴者的眼睛。透视显示器1902可被配置成向透过该透明显示器观察物理环境的穿戴者在视觉上增强现实世界物理环境的外观。在一个示例中，透视显示器1902可被配置成在图形用户界面上显示一个或多个用户界面(UI)对象。在一些实现中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前方的虚拟对象。同样地，在一些实现中，在图形用户界面上呈现的UI对象可以纳入通过透视显示器1902被看到的现实世界环境的现实世界对象的元素。在其它示例中，透视显示器1902可被配置成视觉地呈现一个或多个其他图形对象，诸如与步行级导航指引相关联的虚拟对象。

任何合适的机制可被用于经由透视显示器1902显示图像。例如，透视显示器1902可包括位于透镜1906内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透视显示器1902可包括位于计算设备1900的框架内的显示设备(诸如举例而言，硅上液晶(LCOS)设备或OLED微显示器)。在该示例中，透镜1906可用作或以其它方式包括用于将光从显示设备递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像，同时还允许穿戴者查看物理环境中的物理对象，因此创建了混合现实环境。

头戴式计算设备1900还可包括各种位置传感器***1908以向控制器1904提供周围环境的测得的参数和其它信息。此类传感器可包括但不限于，一个或多个面向内的图像传感器1910a和1910b、一个或多个面向外的图像传感器1912a和1912b、IMU 1914、以及一个或多个话筒1916。一个或多个面向内的图像传感器1910a、1908b可被配置成从穿戴者的眼睛获取注视追踪数据形式的图像数据(例如，传感器1910a可获取穿戴者的一只眼睛的图像数据，而传感器1908b可获取穿戴者的另一只眼睛的图像数据)。头戴式计算设备1900可被配置成基于接收自图像传感器1910a、1910b的信息用任何合适的方式来确定穿戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源1918a、11918b(诸如红外光源)可被配置成使得从穿戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器1910a、1910b然后可被配置成捕捉佩戴者眼睛的图像。如从收集自图像传感器1910a、1910b的图像数据确定的闪烁和瞳孔的图像可被控制器1904用于确定每一只眼睛的光轴。使用这一信息，控制器1904可被配置成确定佩戴者的注视方向。控制器1904可被配置成附加地确定穿戴者正注视的物理和/或虚拟对象的身份。

一个或多个面向外的图像传感器1912a、1912b可被配置成接收来自头戴式计算设备1900所处的物理环境的物理环境数据。来自面向外的传感器1912a、1912b的数据还可被用于确定(例如，来自成像环境特征的)6-DOF姿态数据，这使得能实现对头戴式计算设备1900在现实世界环境中的姿态追踪。

IMU 1914可被配置成将头戴式计算设备1900的位置和/或取向数据提供给控制器1904。在一个实现中，IMU 1914可被配置为三轴或三自由度位置传感器***。这一示例位置传感器***可例如包括用于指示或测量头戴式计算设备1900在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。

如以上所讨论的，面向外的传感器1912a、1912b和IMU 1914可被协同使用以确定头戴式计算设备1900的6-DOF姿态。例如，可使用SLAM姿态追踪方法来估计姿态。

头戴式计算设备1900还可支持其他合适的定位技术，诸如GPS或其他位置追踪***。此外，尽管描述了位置传感器***的具体示例，但将理解，任何其他合适的位置传感器***可被使用。例如，头部姿势和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)、以及其它数据源。

继续图19，音频输出可以经由一个或多个扬声器(诸如扬声器1920)被呈现给穿戴者。在一些实现中，沿可遍历性图的路径的逐个转弯的导航指引可通过扬声器1920可听地呈现。

控制器1904可包括与头戴式计算设备1900的位置传感器***1908和透视显示器1902进行通信的逻辑机和存储机，如以下参考图20更详细地讨论的。

在一些实现中，本文中描述的方法和过程可以与一个或多个计算设备的计算***绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图20示意地示出代表本说明书通篇讨论的各种计算设备(诸如图1中示出的计算设备104以及图19中示出的计算设备1900)的计算***2000的非限制性实现。以简化形式示出了计算***2000。计算***2000可采取以下形式：一个或多个头戴式计算设备、个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、和/或其它计算设备。

计算***2000包括逻辑机2002和存储机2004。计算***2000可任选地包括显示子***2006、输入子***2008、通信子***2010和/或在图20中未示出的其他组件。

逻辑机2002包括被配置成执行指令的一个或多个物理设备。例如，逻辑机2002可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

逻辑机2002可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机2002可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机2002的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机2002的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑机2002的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储机2004包括被配置成保持可由逻辑机2002执行的指令以实现此处描述的方法和过程的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机2004的状态(例如，保存不同的数据)。

存储机2004可以包括可移动和/或内置设备。存储机2004可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机2004可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

存储机2004包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机2002和存储机2004的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。

术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算***2000的一方面。在某些情况下，可以通过执行由存储机2002所保持的指令的逻辑机2004来实例化模块、程序或引擎。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个***组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。

在被包括时，显示子***2006可用于呈现由存储机2004保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机2004保持的数据，并由此变换了存储机2004的状态，因此同样可以转变显示子***2006的状态以视觉地表示底层数据的改变。显示子***2006可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机2002和/或存储器机2004组合在共享封装中，或者此类显示设备可以是***显示设备。

在包括输入子***2008时，输入子***2008包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实现中，输入子***2008可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或***的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。

当包括通信子***2010时，通信子***2010可被配置成将计算***2000与一个或多个其他计算设备通信地耦合。通信子***2010可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***2010可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实现中，通信子***2010可允许计算***2000经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实现或示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括本文公开的各种过程、***和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims

1.一种计算设备，包括：

包括一个或多个传感器的位置传感器***，所述一个或多个传感器被配置成测量周围环境的一个或多个参数；

姿态追踪引擎，所述姿态追踪引擎被配置成基于所测得的周围环境的一个或多个参数来确定所述计算设备的当前姿态；

制图引擎，所述制图引擎被配置成访问包括多个顶点的可遍历性图，每一个所述顶点具有一个本地坐标系，所述可遍历性图包括之前已被遍历过的一对连接的顶点之间的已知的可遍历边，以及之前还未被遍历过的一对之前未连接的顶点之间的推断的可遍历边，所述推断的可遍历边基于所述一对之前未连接的顶点之间的距离小于阈值距离来选择；

导航引擎，所述导航引擎被配置成标识所述可遍历性图中相对于所述当前姿态的附近的顶点，并且所述导航引擎被配置成确定所述可遍历性图中的所述附近的顶点和目的地顶点之间的可遍历边的路径；以及

显示器，所述显示器被配置成将对应于所述路径的导航可视化可视地呈现为所述环境的叠放。

2.如权利要求1所述的计算设备，其特征在于，所述导航引擎被配置成响应于所述当前姿态的改变而重新标识附近的顶点，并且被配置成响应于所述附近的顶点的改变而重新确定所述路径。

3.如权利要求1所述的计算设备，其特征在于，所述可遍历性图根据由计算设备在所述环境中移动时所捕获的姿态追踪数据来创建。

4.如权利要求1所述的计算设备，其特征在于，所述可遍历性图根据由多个计算设备在所述环境中移动时所捕获的姿态追踪数据来创建。

5.如权利要求1所述的计算设备，其特征在于，所述可遍历性图不包括遍历已被单线段遍历过的范围的冗余的多段路径。

6.如权利要求1所述的计算设备，其特征在于，还包括：

表面重构引擎，所述表面重构引擎被配置成使用所述一个或多个测得的参数来标识所述环境中的表面，以及

其中所述可遍历性图包括已被确认为不穿过所标识的表面的推断的可遍历边。

7.如权利要求1所述的计算设备，其特征在于，所述导航可视化包括从所述附近的顶点到所述目的地顶点的路径的视觉呈现的导航可视化。

8.如权利要求1所述的计算设备，其特征在于，所述导航可视化包括沿从所述附近的顶点到所述目的地顶点的路径的逐个转弯的导航指引。

9.如权利要求1所述的计算设备，其特征在于，所述计算设备是头戴式计算设备，并且所述显示器是透视显示器，所述透视显示器被配置成视觉地呈现所述导航可视化的增强现实图像。

10.一种计算设备，包括：

制图引擎，所述制图引擎被配置成访问包括多个顶点的可遍历性图，每一个所述顶点具有一个本地坐标系，所述多个顶点中的每一个通过之前已被遍历的已知的可遍历边连接到所述可遍历性图的至少一个其它顶点；

图处理引擎，所述图处理引擎被配置成标识所述可遍历性图的之前未连接的顶点配对，所述之前未连接的顶点配对间隔小于距离阈值的距离，并且所述图处理引擎被配置成为每一个所标识的之前未连接的顶点配对创建未连接的顶点配对之间的推断的可遍历边；

导航引擎，所述导航引擎被配置成标识所述可遍历性图中相对于当前姿态的附近的顶点，并且所述导航引擎被配置成确定所述可遍历性图中的所述附近的顶点和目的地顶点之间的已知的可遍历边和推断的可遍历边的最短路径，以及

显示器，所述显示器被配置成将对应于所述最短路径的导航可视化可视地呈现为所述环境的叠放。

11.如权利要求10所述的计算设备，其特征在于，所述导航引擎被配置成响应于所述当前姿态的改变而重新标识附近的顶点，并且被配置成响应于所述附近的顶点的改变而重新确定所述路径。

12.如权利要求10所述的计算设备，其特征在于，所述可遍历性图根据由计算设备在所述环境中移动时所捕获的姿态追踪数据来创建。

13.如权利要求10所述的计算设备，其特征在于，所述可遍历性图根据由多个计算设备在所述环境中移动时所捕获的姿态追踪数据来创建。

14.如权利要求10所述的计算设备，其特征在于，所述图处理引擎被配置成将多段路径简化成更少的段。

15.如权利要求10所述的计算设备，其特征在于，还包括：

其中所述图处理引擎被进一步配置成创建已被确认为不穿过所标识的表面的推断的可遍历边。

16.如权利要求10所述的计算设备，其特征在于，所述导航可视化包括从所述附近的顶点到所述目的地顶点的最短路径的视觉呈现的导航可视化。

17.如权利要求10所述的计算设备，其特征在于，所述导航可视化包括沿从所述附近的顶点到所述目的地顶点的最短路径的逐个转弯的导航指引。

18.一种头戴式计算设备，包括：

制图引擎，所述制图引擎被配置成访问包括多个顶点的可遍历性图，所述可遍历性图包括之前已被遍历过的一对连接的顶点之间的已知的可遍历边，以及之前还未被遍历过的一对之前未连接的顶点之间的推断的可遍历边，所述推断的可遍历边基于所述一对之前未连接的顶点之间的距离小于阈值距离来选择；

导航引擎，所述导航引擎被配置成标识所述可遍历性图中相对于当前姿态的附近的顶点，并且确定所述可遍历性图中的所述附近的顶点和目的地顶点之间的可遍历边的最短路径，以及

透视显示器，所述透视显示器被配置成视觉地呈现所述最短路径的导航可视化的增强现实图像。

19.如权利要求18所述的头戴式计算设备，其特征在于，所述导航引擎被配置成响应于所述当前姿态的改变而重新标识附近的顶点，并且被配置成响应于所述附近的顶点的改变而重新确定所述路径。