CN113811840A - 减弱模式 - Google Patents

Abstract

本公开描述了用于根据物理屏蔽模式处于活动态来在增强型现实布景中显示虚拟对象的技术。在一些示例中，***获取物理布景中的一个或多个物理元素的上下文数据，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据。在一些示例中，响应于获取物理布景中的一个或多个物理元素的上下文数据，根据确定物理屏蔽模式处于活动态，***使得表示一个或多个物理元素的虚拟对象使用第一上下文数据而不使用第二上下文数据显示。

Description

减弱模式

相关申请的交叉引用

本专利申请要求2019年4月15日提交的标题为“ATTENUATING MODE IN ASIMULATED REALITY SETTING”的美国临时专利申请序列号62/834,266的优先权，该美国临时专利申请全文以引用方式并入本文。

技术领域

本公开整体涉及增强型现实布景，并且更具体地涉及用于减弱增强型现实布景中的虚拟对象与物理对象之间的关联的技术。

背景技术

在增强型现实布景中，用户的移动可由基于用户的虚拟对象复制。然而，虚拟对象可能复制用户不希望在增强型现实布景中复制的移动。

发明内容

本文描述了用于根据减弱模式(例如，物理屏蔽模式)处于活动态来在增强型现实布景中显示虚拟对象的技术。利用这些技术，用户可执行动作，而该动作不由基于用户的虚拟对象复制。

在一些实施方案中，描述了一种方法。该方法包括：获取物理布景中的一个或多个物理元素的上下文数据，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据；以及响应于获取物理布景中的一个或多个物理元素的上下文数据：根据确定减弱(例如，物理屏蔽)模式处于活动态，使得表示该一个或多个物理元素的虚拟对象使用该第一上下文数据而不使用该第二上下文数据显示。

在一些实施方案中，描述了非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：获取物理布景中的一个或多个物理元素的上下文数据，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据；以及响应于获取物理布景中的一个或多个物理元素的上下文数据：根据确定物理屏蔽模式处于活动态，使得表示该一个或多个物理元素的虚拟对象使用该第一上下文数据而不使用该第二上下文数据显示。

在一些实施方案中，描述了暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：获取物理布景中的一个或多个物理元素的上下文数据，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据；以及响应于获取物理布景中的一个或多个物理元素的上下文数据：根据确定物理屏蔽模式处于活动态，使得表示该一个或多个物理元素的虚拟对象使用该第一上下文数据而不使用该第二上下文数据显示。

在一些实施方案中，描述了一种***。该***包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：获取物理布景中的一个或多个物理元素的上下文数据，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据；以及响应于获取物理布景中的一个或多个物理元素的上下文数据：根据确定物理屏蔽模式处于活动态，使得表示该一个或多个物理元素的虚拟对象使用该第一上下文数据而不使用该第二上下文数据显示。

在一些实施方案中，描述了一种***。该***包括：用于获取物理布景中的一个或多个物理元素的上下文数据的装置，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据；以及用于响应于获取该物理布景中的该一个或多个物理元素的该上下文数据而执行以下操作的装置：根据确定物理屏蔽模式处于活动态，使得表示该一个或多个物理元素的虚拟对象使用该第一上下文数据而不使用该第二上下文数据显示。

附图说明

图1A至图1B描绘了在各种计算机增强型现实技术中使用的示例性***。

图2A示出了增强型现实布景的示例，其中虚拟对象对应于物理用户。

图2B示出了根据物理屏蔽模式未处于活动态来显示虚拟对象的示例。

图2C至图2E示出了根据物理屏蔽模式处于活动态来显示虚拟对象的示例。

图2F示出了根据物理屏蔽模式未处于活动态来显示虚拟对象的附加示例。

图2G示出了根据缺席模式处于活动态来显示虚拟对象的示例。

图3是示出用于基于物理屏蔽模式是否处于活动态来显示虚拟对象的方法的流程图。

具体实施方式

描述了用于与各种增强型现实技术相关地使用此类***的电子***和技术的各种示例。

物理布景是指各种人可在不使用电子***的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。

与物理布景相比，增强型现实(ER)布景是指各种人通过使用电子***可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER***检测到人向上看，ER***可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER布景中的虚拟对象的属性的调整。

人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测音频对象和/或仅与其交互。

虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。

混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。

在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子***可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，***可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。

增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子***可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当***捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子***中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影***以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。

AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。

增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。

各种***允许人们感测ER布景和/或与其交互。例如，头戴式***可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式***内。头戴式***可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式***中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子***可以是基于投影的***。在基于投影的***中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的***还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER***的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。

图1A和图1B示出了用于在各种增强型现实技术中使用的示例性***100。

在一些示例中，如图1A所示，***100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些示例中，***100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型电脑)中实现，并且***100的其他元件在第二设备(例如，头戴式设备)中实现。在一些示例中，设备100a在基站设备或第二设备中实现。

如图1B所示，在一些示例中，***100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。

***100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。

***100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如

)进行通信的电路。

***100包括显示器120。一个或多个显示器120可具有不透明显示器。一个或多个显示器120可具有透明或半透明显示器，该显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。一个或多个显示器120可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。一个或多个显示器120的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板电脑、智能电话以及台式计算机或膝上型计算机。另选地，***100可以被设计为接收外部显示器(例如，智能电话)。在一些示例中，***100是基于投影的***，该***使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。

在一些示例中，***100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。

***100包括图像传感器108。图像传感器108任选地包括可操作以从物理布景获取物理元素的图像的一个或多个可见光图像传感器，诸如电荷耦合设备(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理布景的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理布景中。一个或多个图像传感器108还任选地包括一个或多个事件相机，该事件相机被配置为捕获物理布景中物理元素的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理元素与***100的距离。在一些示例中，***100组合使用CCD传感器、事件相机和深度传感器来检测***100周围的物理布景。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理环境中物理元素的图像。在一些示例中，***100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，***100使用一个或多个图像传感器108来检测***100和/或一个或多个显示器120在物理布景中的位置和取向。例如，***100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于物理布景中的一个或多个固定元件的位置和取向。

在一些示例中，***100包括麦克风112。***100使用一个或多个麦克风112来检测来自用户和/或用户的物理布景的声音。在一些示例中，一个或多个麦克风112包括麦克风阵列(包括多个麦克风)，麦克风任选地协同操作，以标识环境噪声或在物理布景的空间中定位声源。

***100包括用于检测***100和/或显示器120的取向和/或移动的取向传感器110。例如，***100使用一个或多个取向传感器110来跟踪***100和/或一个或多个显示器120的位置和/或取向的变化，诸如相对于物理布景中的物理元素。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

在图2A所示的示例中，两个虚拟头像(200,202)正在图2A的左侧所描绘的ER布景中参加与第三虚拟头像(未示出)的虚拟会议。图2A描绘了从第三虚拟头像的第一人称视角来看的ER布景，该第三虚拟头像与虚拟头像200和虚拟头像202一起坐在虚拟桌子204处。每个虚拟头像都是用于相应物理用户的头像。例如，虚拟头像200是图2A的右侧所描绘的物理布景208中的物理用户206的虚拟表示。又如，虚拟头像202是第二物理用户(未示出)的虚拟表示。类似地，第三虚拟头像是第三物理用户(未示出)的虚拟表示。

参考图2A至图2G，提供第三虚拟头像的第一人称视角以便示出虚拟头像200的移动或姿势如何描绘给第三物理用户。例如，第三物理用户经由显示器210查看虚拟头像200的移动或姿势，该显示器是由第三物理用户操作的***(例如，100)的一部分。因此，如果虚拟头像200复制物理用户206的一些移动，则第三物理用户将经由显示器210看到复制的移动。此外，如下文进一步讨论的，显示器210上的用户界面212包括物理屏蔽图标214和缺席图标216。

在图2A中，物理用户206可穿戴HMD设备(未示出)(例如，设备100a)。在一些实施方案中，***100的传感器捕获表示物理用户206的任何移动或姿势的数据(例如，上下文数据)。在一些实施方案中，传感器包括图像传感器108、取向传感器110、位置传感器116或它们的任何组合。例如，面向内的相机中的传感器捕获手臂、身体、头部和/或面部(例如，眼睛)移动。又如，面向内的相机捕获面部表情和/或物理用户的手臂、身体和/或头部的一个或多个姿势。在一些实施方案中，面向内的相机面向物理用户206，并且任选地定位在物理用户206周围和/或附近的各种位置处。在一些实施方案中，由物理用户206握持的物理控制器中的传感器捕获表示其手部的移动或姿势的数据。

参考图2A，在捕获关于物理用户206的数据时，***100使得虚拟头像200经由显示器210显示。***100使得虚拟头像200经由不同***的显示器(例如，210)显示。例如，***100通过将所捕获的数据的至少一部分传输到不同***来使得经由不同***的显示器显示。在一些实施方案中，所捕获的数据被配置为使得虚拟对象基于上下文数据的至少一部分在不同***处显示。当传感器捕获关于物理用户206的数据时，***100使得虚拟头像200根据物理用户206的移动而显示。因此，第三物理用户经由在显示器210上显示的虚拟头像200的移动来查看物理用户206的移动。在一些实施方案中，***100使得虚拟头像200基于确定物理屏蔽模式未处于活动态而进行该显示。下面参考图2C进一步讨论该物理屏蔽模式。

图2B示出了当传感器捕获关于物理用户206的数据时虚拟头像200复制物理用户206的移动的示例。重新参考图2A，假设物理用户206想要看其位于手臂220上的手表。在图2B中，物理用户206抬起手臂220并查看手表222。在物理用户206移动他的手臂看手表222时，***100使用上述传感器捕获表示物理用户206的移动的数据。此外，在物理用户206移动时，***100使得虚拟头像200使用所捕获的数据而显示。也就是说，虚拟头像200以复制物理用户206在物理布景208中的移动的方式显示。

如图2B所示，物理用户206的移动已由虚拟头像200复制。具体地，虚拟头像200以与物理用户206相同的方式抬起其手臂。然而，在一些情况下，这种移动的复制可能是用户不期望的。用户(例如，物理用户206)可以例如设法避免其他用户经由其相应***看到虚拟头像200在虚拟会议期间抬起其手臂。这样，用户可避免其他用户将该动作解释为例如用户无聊或缺乏考虑的迹象。因此，期望一种允许物理用户206执行动作而虚拟头像200不复制与该动作相关联的移动的技术。这还可包括在其发生时用户可能不会同时意识到的惯常或无意的动作。用户动作的示例包括但不限于打喷嚏、咳嗽、坐立不安、伸懒腰、抬起其手臂、眼睛抽搐、瘙痒、吞咽等。这些技术可有利地改善与其他参与者参与ER布景的用户的隐私。

图2C示出了上述技术的示例。进一步参考图2A，考虑物理用户206想要看他的手表的示例。在一些示例中，在看他的手表之前，物理用户206可启用物理屏蔽模式。即，***100在捕获关于物理用户206的数据(例如，看他的手表)之前检测物理屏蔽模式的激活。在检测到物理屏蔽模式的激活时，***100激活物理屏蔽模式。因此，尽管物理用户206已移动了他的手臂，但由于物理屏蔽模式处于活动态，因此虚拟头像200不复制该移动。在一些示例中，虚拟头像200的手臂完全不移动。值得注意的是，这与图2B中的先前示例形成对比，其中物理屏蔽模式未处于活动态，并且虚拟头像200确实复制了与物理用户206看他的手表相关联的移动。

在一些实施方案中，检测物理屏蔽模式的激活包括检测***100的硬件按钮(例如，物理控制器上的按钮)的激活。在一些实施方案中，检测物理屏蔽模式的激活包括检测用户的注视朝向预定位置(例如，用户界面212上的物理屏蔽图标214)持续至少阈值时间量。例如，***100显示与用户界面212相同或类似的用户界面。该用户界面任选地包括与用户界面212相同的用户界面元素(例如，214、216)中的一者或多者。为了激活物理屏蔽模式，物理用户206查看指示物理屏蔽模式的图标持续至少阈值时间量。例如，物理用户206查看用户界面的右上角持续至少阈值时间量，其中用户界面显示物理屏蔽图标(例如，214)。因此，***100确定物理用户206的注视已朝向物理屏蔽图标持续至少阈值时间量。在该确定的基础上，***100激活物理屏蔽模式。

由于物理屏蔽模式处于活动态，虚拟头像200复制物理用户206的一些移动。以举例的方式，虚拟头像200可以复制第一类型的移动(例如，头部移动)，而不是第二类型的移动(例如，用户查看手表)。例如，如图2C所描绘，物理用户206抬起其手臂并查看手表222。在物理用户206移动其手臂看手表222时，***100使用上述传感器捕获关于物理用户206的数据。在一些实施方案中，所捕获的数据包括表示手臂220的移动或姿势的手臂数据，以及表示头部224的移动或姿势的头部数据。所捕获的数据还可包括表示物理用户206的其他特征的移动诸如面部移动(例如，眼睛)和/或身体移动的数据。在一些实施方案中，手臂数据表示仅一只手臂(例如，220)的移动，而在其他实施方案中，手臂数据表示两只手臂的移动。

在一些实施方案中，***100使得虚拟头像仅使用所捕获的数据的一部分而显示。例如，在捕获关于物理用户206的数据时，***100使得虚拟头像200使用所捕获的数据而显示。由于物理屏蔽模式处于活动态，因此***100使得虚拟头像200使用所捕获的数据的一部分而不使用所捕获的数据的排除部分显示。在所描述的示例中，例如，所捕获的数据的排除部分是表示物理用户206的手臂移动的手臂数据。如图2C所示，***100使得虚拟头像200使用头部数据而不使用手臂数据显示。因此，即使物理用户206正在看手表222，虚拟头像200也不复制手臂的抬起，或者在一些示例中，也不复制头部224的移动。因此，查看虚拟头像200的其他物理用户不知道物理用户206看手表222。

如上文参考图2C所讨论的，如果物理屏蔽模式处于活动态(例如，被启用)，则***100使得虚拟头像200使用所捕获的数据的一部分而不使用所捕获的数据的排除(或排除)部分显示。相比之下，如图2B所示，如果物理屏蔽模式未处于活动态(例如，未启用、禁用)，则***100使得虚拟头像200使用所捕获的数据的该部分，同时还使用在图2C中物理屏蔽模式处于活动态时原本将被排除的部分来显示。因此，图2B中的虚拟头像200确实复制了与物理用户206看手表222相关联的手臂220的抬起，而在图2C中，虚拟头像200未复制手臂220的抬起。在一些实施方案中，虚拟头像200仍然复制图2B至图2C中的头部224的移动或姿势，因为在使得虚拟头像200显示时未排除头部数据。然而，在其他实施方案中，排除头部数据，使得头部224的移动或姿势不被虚拟头像200复制。

在一些实施方案中，在捕获关于物理用户206的数据时，***100识别要排除的捕获数据的一部分。例如，参考图2C，***100将表示手臂220的移动或姿势的数据识别为排除部分。在一些实施方案中，***100根据用户选择(例如，经由语音或用户界面)来识别排除部分。例如，***100显示具有可选选项(例如，手臂、头部、眼睛)的用户界面。当用户选择可选选项时，***100基于所选择的选项识别排除部分。在一些实施方案中，***100基于所捕获的数据与所存储的数据之间的例如阈值内的匹配来自动识别排除部分。例如，所存储的数据包括表示不被复制的某些用户移动的数据(例如，抬起手臂整理头发，抬起手臂看手表，眼睛抽搐)。在一些实施方案中，用户通过利用用户不希望复制的移动训练***来生成所存储的数据。

图2D示出了附加示例，其中虚拟头像200复制物理用户206的一些移动。如下所述，由于物理屏蔽模式处于活动态，***100使得虚拟头像200复制物理用户206的一部分而不是全部移动。如图所示，物理用户206从看手表222转换为整理他的头发。在该转换期间，***100继续捕获关于物理用户206的数据。类似于相对于图2C所述的示例，在捕获关于物理用户206的数据时，***100使得虚拟头像200使用所捕获的数据的一部分而不使用所捕获的数据的排除部分来显示。具体地讲，由于物理屏蔽模式处于活动态，***100使得虚拟头像200使用头部数据而不使用手臂数据来显示。因此，即使物理用户206正在用手臂220整理他的头发，虚拟头像200也不复制与手臂220相关联的移动或姿势。因此，其他物理用户不知道物理用户206整理他的头发。在一些实施方案中，***100使得虚拟头像200基于确定物理屏蔽模式处于活动态而进行该显示。

在一些实施方案中，***100使得虚拟头像200以虚拟头像200的移动不一定与用户的移动对应的方式显示。例如，图2C至图2D描绘了虚拟头像200利用其手臂执行一些移动，这些移动与手臂220的移动不对应。具体地讲，在捕获关于物理用户206的数据时，***100使得显示闲置动画。在一些实施方案中，***100使得闲置动画基于确定物理屏蔽模式处于活动态而进行该显示。这里，闲置动画对应于虚拟头像200的一部分(例如，手臂)。

如图2C至图2D所示，闲置动画涉及将手臂移动到手以自然方式重叠的位置，该位置进一步支持物理用户206没有看他的手表或整理他的头发的假象。在一些实施方案中，可针对每个用户调整闲置动画。例如，用户可从所显示的预定闲置动画列表中选择***可以在物理屏蔽模式下使用的预定闲置动画。例如，代替图2C至图2D中的闲置动画，***100任选地使得其中虚拟头像200交叉其手臂的闲置动画显示。在一些实施方案中，所显示的列表包括基于先前用户输入的用户创建的闲置动画。

如图2E所示，物理用户206将其手臂放回图2A所示的静止位置，同时物理屏蔽模式仍然处于活动态。由于物理屏蔽模式仍然处于活动态，因此在捕获关于物理用户206的数据时，***100继续使得虚拟头像200在不使用所捕获的数据的排除部分(例如，手臂数据)的情况下显示。因此，如例示的示例所示，即使物理用户206将他的双手放在两侧，虚拟头像200也被示出为双手彼此交叠放置。

参考图2F，物理用户206停用物理屏蔽模式。因此，在捕获关于物理用户206的数据时，***100使得虚拟头像200使用头部数据同时还使用原本将在图2E中排除的部分(例如，手臂数据)显示。因此，***100使得显示手臂与物理用户206的手臂处于相同姿势的虚拟头像200。在一些实施方案中，响应于物理屏蔽模式的停用，***100使得虚拟头像200的转换动作显示，其中虚拟头像200从屏蔽位置(例如，图2E中的手臂交叉)移动到未屏蔽位置(例如，图2F中的手臂分开)。在一些实施方案中，响应于物理屏蔽模式的停用，***100使得转换动作根据确定所捕获的数据指示虚拟头像(例如，200)的位置与虚拟头像所表示的物理用户(例如，206)的位置不对应(例如，匹配)而显示。

在一些实施方案中，物理用户206以与激活物理屏蔽模式相同的方式停用物理屏蔽模式，如上所述。例如，检测到硬件按钮的激活或检测到用户的注视朝向预定位置持续阈值时间量可将物理屏蔽模式的状态从活动态切换到非活动态，或反之亦然。

在一些实施方案中，物理用户206可通过将其自身定位在特定姿势来停用物理屏蔽模式。例如，物理用户206通过将他的手臂置于与他的虚拟头像的姿势匹配的姿势来停用物理屏蔽模式。在一些实施方案中，***100显示具有反映图2E中的虚拟头像200的手臂的姿势的3D视觉表示(例如，重像)的用户界面。为了停用物理屏蔽模式，物理用户206可将其手臂定位成与3D视觉表示的姿势匹配的姿势。换句话说，物理用户206可以通过将他的手臂从他的两侧(如图2E所示)移动到与虚拟头像200的手臂的姿势匹配的姿势(例如，一只手放置在另一只手上)来停用物理屏蔽模式。在一些实施方案中，***100捕获关于物理用户206的数据。在一些实施方案中，在捕获关于物理用户206的数据时，***100确定物理用户206的手臂的姿势例如在阈值内与3D视觉表示的姿势匹配。在一些实施方案中，根据该确定，***100停用物理屏蔽模式。

在一些示例中，物理用户206可能希望暂时离开虚拟会议。如图2G所示，例如，在离开会议时，物理用户206可通过启用缺席模式来提供其暂时缺席的指示。在一些实施方案中，物理用户206在从他的椅子上站起来之前激活缺席模式。在一些实施方案中，***100在捕获关于物理用户206的数据之前检测缺席模式的激活。在检测到缺席模式的激活时，***100激活缺席模式。

在一些实施方案中，缺席模式可以与物理屏蔽模式相同的方式激活或停用，如上所述。例如，检测缺席模式的激活可包括检测***100的硬件按钮的激活。又如，检测缺席模式的激活可包括检测用户的注视朝向预定位置(例如，缺席图标216)持续至少阈值时间量。

一旦缺席模式已被激活，物理用户206就可以从他的椅子上站起来，而虚拟头像200不复制物理用户206的任何后续移动或姿势。在一些实施方案中，在启用缺席模式时，***100继续捕获关于物理用户206的数据。在捕获关于物理用户206的数据时，***100使得虚拟头像200在不使用头部数据和不使用手臂数据的情况下显示。在一些实施方案中，***100使得虚拟头像200不使用所捕获的数据而显示。在一些实施方案中，在启用缺席模式时，***100不捕获关于物理用户206的数据。如图2G所示，激活缺席模式使得缺席模式处于活动态的视觉指示显示出来。在一些实施方案中，视觉指示包括替身头像226和/或缺席指示符228。

图3是示出用于基于物理屏蔽模式是否处于活动态来显示虚拟对象的方法300的流程图。在一些实施方案中，该方法由HMD设备(例如，100a)来执行。在一些实施方案中，该方法由***(例如，100)来执行。

在框302处，***(例如，100)获取(例如，捕获)物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)(例如，用户、人、身体、面部、头部、手、眼睛、肢体(例如，手臂、腿部))的上下文数据(例如，由传感器(例如，108、110、116)所捕获的数据、图像数据、语音数据)，其中该上下文数据包括第一上下文数据和不同于该第一上下文数据的第二上下文数据。在一些实施方案中，使用位于***或位于***外部的设备处的图像传感器和麦克风来获取上下文数据。

在一些实施方案中，所获取的上下文数据(例如，第一上下文数据和/或第二上下文数据)包括表示(例如，对应于，基于)一个或多个物理元素(例如，206、220、222、224)在物理布景(例如，208)中的移动的传感器数据。在一些实施方案中，该传感器数据使用捕获(例如，物理用户206的)眼睛移动的面向内的相机以及捕获(例如，物理用户206的)手臂(例如，220)移动或身体姿势的面向内的相机来捕获。

在一些实施方案中，在获取物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)的上下文数据之前：***(例如，100)接收用于启用物理屏蔽模式的请求(例如，激活用户界面(UI)元素(例如，214)(例如，按钮)或硬件按钮(例如，***100的硬件按钮)、用户手势、朝向预定位置(例如，214)的注视持续长于阈值时间量(例如，3秒、5秒或7秒)。在一些实施方案中，硬件按钮位于***(例如，100)处(例如，在物理控制器上)。在一些实施方案中，硬件按钮位于***外部的设备处。

在一些实施方案中，在获取物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)的上下文数据之前：响应于接收到激活物理屏蔽模式的请求，***(例如，100)启用物理屏蔽模式。在一些实施方案中，激活物理屏蔽模式的请求是针对一个或多个物理元素的一部分(例如，分立的身体部位)激活物理屏蔽模式的请求。

在框304处，***(例如，100)确定物理屏蔽模式是否处于活动态。在一些实施方案中，***外部的设备(例如，服务器)，而不是***，确定物理屏蔽模式是否处于活动态。在一些实施方案中，***在捕获关于物理用户(例如，206)的数据时确定物理屏蔽模式是否处于活动态。

在框306处，响应于获取物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)的上下文数据：根据确定物理屏蔽模式处于活动态(例如，被启用)，***(例如，100)使得表示一个或多个物理元素的虚拟对象(例如，头像)(例如，200)使用第一上下文数据而不使用第二上下文数据(例如，要排除(例如，忽略)的上下文数据的一部分)显示。在一些实施方案中，使得虚拟对象显示包括传输第一上下文数据而不传输第二上下文数据。在一些实施方案中，使得虚拟对象显示包括传输上下文数据的至少一部分，其中该上下文数据被配置为使得虚拟对象基于该上下文数据的至少一部分而显示。在使得虚拟对象显示之后，***返回到框302以重复上述技术。

在一些实施方案中，虚拟对象(例如，200)是一个或多个物理元素(例如，206、220、222、224)的真实感表示。在一些实施方案中，虚拟对象是一个或多个物理元素的抽象(例如，非现实的、卡通化、图形化)表示。在一些实施方案中，虚拟对象显示在不同***的显示器(例如，210)上。在一些实施方案中，虚拟对象基于由***(例如，100)传输的数据来显示，所传输的数据对应于一个或多个物理元素。在一些实施方案中，使得使用第一上下文数据而不使用第二上下文数据显示包括放弃传输第二上下文数据。在一些实施方案中，虚拟对象在ER布景中显示。

在一些实施方案中，使得表示一个或多个物理元素(例如，206、220、222、224)的虚拟对象(例如，200)使用第一上下文数据而不使用第二上下文数据显示包括识别所获取的上下文数据的一部分(例如，与一个或多个物理元素或其一部分对应的部分，要排除(例如，忽略)的上下文数据的部分)(例如，确定所获取的上下文数据的哪个部分将被排除)。在一些实施方案中，基于对一个或多个物理元素的一部分的用户选择来识别该部分。在一些实施方案中，用户选择发生在获取一个或多个物理元素的上下文数据之前。在一些实施方案中，基于所获取的上下文数据的该部分与预定义的用户数据(例如，对应于用户移动(例如，由物理用户206)的用户数据)之间的匹配(例如，在阈值内)来自动识别所获取的上下文数据的该部分。在一些实施方案中，在获取一个或多个物理元素的上下文数据之前捕获用户数据。在一些实施方案中，响应于获取该一个或多个物理元素的上下文数据，基于匹配自动识别所获取的上下文数据的该部分。在一些实施方案中，无论物理屏蔽模式是否处于活动态，都自动识别所获取的上下文数据的该部分。

在一些实施方案中，使得表示一个或多个物理元素(例如，206、220、222、224)的虚拟对象(例如，200)使用第一上下文数据而不使用第二上下文数据显示包括使得表示该一个或多个物理元素的虚拟对象在无需所获取的上下文数据的所识别的部分(例如，与一个或多个物理元素或其一部分对应的部分，要排除(例如，忽略)的上下文数据的部分)的情况下显示。在一些实施方案中，所识别的部分对应于(例如，是，包括)第二上下文数据。在一些实施方案中，所获取的上下文数据的所识别的部分对应于一个或多个物理元素(例如，手、手臂、眼睛)的一部分。在一些实施方案中，使得表示一个或多个物理元素(例如，206、220、222、224)的虚拟对象(例如，200)使用第一上下文数据和第二上下文数据显示包括放弃识别所获取的上下文数据的该部分(例如，要排除(例如，忽略)的上下文数据)。在一些实施方案中，使得表示一个或多个物理元素的虚拟对象使用第一上下文数据和第二上下文数据显示包括放弃确定所获取的上下文数据的哪个部分将被排除。

在一些实施方案中，使得表示一个或多个物理元素(例如，206、220、222、224)的虚拟对象(例如，200)使用第一上下文数据而不使用第二上下文数据显示包括使得预定的动画(例如，预定的闲置动画)(例如，对应于图2C至图2D中的虚拟头像200的手)显示。在一些实施方案中，预定的动画对应于一个或多个物理元素的一部分(例如，与所获取的上下文数据的所识别部分(例如，第二上下文数据、排除(例如，忽略)部分)对应的相同部分)。在一些实施方案中，使得表示一个或多个物理元素的虚拟对象使用第一上下文数据和第二上下文数据显示包括放弃使得预定的动画显示。在一些实施方案中，预定的动画与表示一个或多个物理元素的虚拟对象同时显示。在一些实施方案中，预定的动画对应于(例如，形成)表示一个或多个物理元素的虚拟对象的一部分。在一些实施方案中，预定的动画不对应于(例如，不基于)一个或多个物理元素的所获取的上下文数据(例如，移动或姿势)。

在框308处，响应于获取物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)的上下文数据：根据确定物理屏蔽模式未处于活动态(例如，未被启用)，***(例如，100)使得表示一个或多个物理元素的虚拟对象(例如，200)使用第一上下文数据和第二上下文数据(例如，要排除(例如，忽略)的上下文数据的一部分)显示。在使得虚拟对象显示之后，***返回到框302以重复上述技术。

在一些实施方案中，响应于获取物理布景(例如，208)中的一个或多个物理元素(例如，206、220、222、224)的上下文数据：根据确定缺席模式处于活动态，***(例如，100)使得表示一个或多个物理元素的虚拟对象(例如，200)在不使用第一上下文数据和第二上下文数据的情况下显示。在一些实施方案中，该缺席模式不同于物理屏蔽模式。在一些实施方案中，使得表示一个或多个物理元素的虚拟对象在不使用第一上下文数据和第二上下文数据的情况下显示包括使得缺席模式处于活动态的视觉指示(例如，226、228)显示(例如，视觉对象(例如，226)是单色的，或者视觉指示(例如，228)是UI元素或图形/视觉指示)。在一些实施方案中，使得表示一个或多个物理元素的虚拟对象在不使用第一上下文数据和第二上下文数据的情况下显示包括使得预定的动画显示。在一些实施方案中，视觉指示与预定动画的显示结合使用(例如，同时显示)。在一些实施方案中，***(例如，100)确定缺席模式是否处于活动态。在一些实施方案中，***外部的设备(例如，服务器)确定缺席模式是否处于活动态。在一些实施方案中，***在捕获关于物理用户的数据时确定缺席模式是否处于活动态。

Claims (17)

1.一种方法，包括：

获取物理布景中的一个或多个物理元素的上下文数据，其中所述上下文数据包括第一上下文数据和不同于所述第一上下文数据的第二上下文数据；以及

响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据：

根据确定物理屏蔽模式处于活动态，使得表示所述一个或多个物理元素的虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示。

2.根据权利要求1所述的方法，其中使得所述虚拟对象的所述显示包括传输所述第一上下文数据而不传输所述第二上下文数据。

3.根据权利要求1至2中任一项所述的方法，其中使得所述虚拟对象的所述显示包括传输所述上下文数据的至少一部分，其中所述上下文数据被配置为使得所述虚拟对象基于所述上下文数据的所述至少一部分而显示。

4.根据权利要求1至3中任一项所述的方法，还包括：

进一步响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据：

根据确定所述物理屏蔽模式未处于活动态，使得表示所述一个或多个物理元素的所述虚拟对象使用所述第一上下文数据和所述第二上下文数据显示。

5.根据权利要求1至4中任一项所述的方法，其中所获取的上下文数据包括表示所述一个或多个物理元素在所述物理布景中的移动的传感器数据。

6.根据权利要求1至5中任一项所述的方法，其中：

使得表示所述一个或多个物理元素的所述虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示包括：

识别所获取的上下文数据的一部分；以及

使得表示所述一个或多个物理元素的所述虚拟对象在无需所获取的上下文数据的所识别的部分的情况下显示。

7.根据权利要求6所述的方法，其中所获取的上下文数据的所述部分基于所获取的上下文数据的所述部分与预定义的用户数据之间的匹配来自动识别。

8.根据权利要求1至7中任一项所述的方法，其中：

使得表示所述一个或多个物理元素的所述虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示包括使得动画显示。

9.根据权利要求8所述的方法，其中所述动画对应于表示所述一个或多个物理元素的所述虚拟对象的一部分。

10.根据权利要求1至9中任一项所述的方法，还包括：

在获取所述物理布景中的所述一个或多个物理元素的所述上下文数据之前：

接收启用所述物理屏蔽模式的请求；以及

响应于接收到激活所述物理屏蔽模式的所述请求，启用所述物理屏蔽模式。

11.根据权利要求1至10中任一项所述的方法，还包括：

进一步响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据：

根据确定缺席模式处于活动态，使得表示所述一个或多个物理元素的所述虚拟对象在不使用所述第一上下文数据和所述第二上下文数据的情况下显示。

12.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。

13.一种***，所述***包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。

14.一种***，所述***包括：

用于执行根据权利要求1至11中任一项所述的方法的装置。

15.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取物理布景中的一个或多个物理元素的上下文数据，其中所述上下文数据包括第一上下文数据和不同于所述第一上下文数据的第二上下文数据；以及

响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据：

根据确定物理屏蔽模式处于活动态，使得表示所述一个或多个物理元素的虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示。

16.一种***，所述***包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取物理布景中的一个或多个物理元素的上下文数据，其中所述上下文数据包括第一上下文数据和不同于所述第一上下文数据的第二上下文数据；以及

响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据：

根据确定物理屏蔽模式处于活动态，使得表示所述一个或多个物理元素的虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示。

17.一种***，所述***包括：

用于获取物理布景中的一个或多个物理元素的上下文数据的装置，其中所述上下文数据包括第一上下文数据和不同于所述第一上下文数据的第二上下文数据；以及

用于响应于获取所述物理布景中的所述一个或多个物理元素的所述上下文数据而执行以下操作的装置：

根据确定物理屏蔽模式处于活动态，使得表示所述一个或多个物理元素的虚拟对象使用所述第一上下文数据而不使用所述第二上下文数据显示。

Images