CN117916691A - 用于基于情境状态启用输入模式的方法和设备 - Google Patents

Abstract

在一个具体实施中，提供了一种用于基于当前情境状态来动态地改变与内容相关联的感官和/或输入模式的方法。该方法包括：在处于第一情境状态时，根据第一呈现模式经由显示设备呈现扩展现实(XR)内容，并且使得第一组输入模式能够指向该XR内容；检测从该第一情境状态到第二情境状态的改变；以及响应于检测到从该第一情境状态到该第二情境状态的该改变，根据不同于该第一呈现模式的第二呈现模式经由该显示设备呈现该XR内容，并且使得不同于该第一组输入模式的第二组输入模式能够指向该XR内容。

Description

用于基于情境状态启用输入模式的方法和设备

技术领域

本公开整体涉及与内容相关联的感官和/或输入模式，并且具体地，涉及用于基于当前情境状态来动态地改变与内容相关联的感官和/或输入模式的***、设备和方法。

背景技术

在第一情境中显示的内容可能不适合于第二情境。例如，在骑自行车或驾驶汽车时，定时器小组件的呈现模式和输入模式在处于坐状态时可能并不合适。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作架构的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4A是根据一些具体实施的示例性内容递送架构的第一部分的框图。

图4B示出了根据一些具体实施的示例性数据结构。

图4C是根据一些具体实施的示例性内容递送架构的第二部分的框图。

图5A至图5L示出了根据一些具体实施的内容递送场景的实例的序列。

图6是根据一些具体实施的基于当前情境状态来动态地改变与内容相关联的感官和/或输入模式的方法的流程图表示。

图7示出了根据一些具体实施的各种候选呈现模式转变。

图8是根据一些具体实施的改进的呈现模式转变的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于基于当前情境状态来动态地改变与内容相关联的感官和/或输入模式的设备、***和方法。根据一些具体实施，该方法在包括非暂态存储器和一个或多个处理器的计算***处执行，其中该计算***通信地耦接到显示设备和一个或多个输入设备。该方法包括：在处于第一情境状态时，根据第一呈现模式经由显示设备呈现扩展现实(XR)内容，并且使得第一组输入模式能够指向XR内容；检测从第一情境状态到第二情境状态的改变；以及响应于检测到从第一情境状态到第二情境状态的改变，根据不同于第一呈现模式的第二呈现模式经由显示设备呈现XR内容，并且使得不同于第一组输入模式的第二组输入模式能够指向XR内容。

本文所公开的各种具体实施包括用于改进的呈现模式转变的设备、***和方法。根据一些具体实施，该方法在包括非暂态存储器和一个或多个处理器的计算***处执行，其中该计算***通信地耦接到显示设备和一个或多个输入设备。该方法包括：经由显示设备以第一呈现模式呈现第一用户界面(UI)元素，其中第一UI元素在第一呈现模式中与第一组描述符相关联；在以第一呈现模式呈现第一UI元素时，检测与将第一UI元素从第一呈现模式转变到第二呈现模式相关联的触发条件，其中第一UI元素在第二呈现模式中与不同于第一组描述符的第二组描述符相关联；以及响应于检测到触发条件：通过将第一组描述符转换为第二组描述符，将第一UI元素从第一呈现模式转变到第二呈现模式；以及经由显示设备以第二呈现模式呈现第一UI元素。

根据一些具体实施，一种电子设备包括一个或多个显示器、一个或多个处理器、非暂态存储器和一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个显示器、一个或多个处理器、非暂态存储器以及用于执行或使得执行本文所述的方法中的任一种方法的装置。

根据一些具体实施，一种计算***包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备进行通信的接口、以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质具有存储在其中的指令，这些指令当由具有与显示设备和一个或多个输入设备通信的接口的计算***的一个或多个处理器执行时，使得该计算***执行或使得执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种计算***包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备通信的接口、以及用于执行或使得执行本文所述的方法中的任一种方法的操作的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR***，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR***可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR***可检测呈现XR环境的电子设备(例如，膝上型计算机、平板计算机、移动电话等)的移动。因此，XR***可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR***调整图形内容的属性。

众多类型的电子***可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的***、可头戴式***、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入***(例如，手持式或可佩戴控制器)、智能电话、平板计算机、台式/膝上型计算机和扬声器阵列。头戴式***可包括不透明显示器和一个或多个扬声器。其他头戴式***可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式***可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式***可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、μLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括任选的控制器110和电子设备120(例如，平板计算机、移动电话、膝上型计算机、近眼***、可穿戴计算设备等)。

在一些具体实施中，控制器110被配置为管理和协调用户150以及任选地其他用户的XR体验(在本文中有时也称为“XR环境”或“虚拟环境”或“图形环境”)。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105位于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。

在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频(A/V)内容。在一些具体实施中，电子设备120被配置为向用户150呈现用户界面(UI)和/或XR环境128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。

根据一些具体实施，当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR体验，其中该物理环境包括处于电子设备120的视场(FOV)111内的桌子107。这样，在一些具体实施中，用户150将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在呈现XR体验时，电子设备120被配置为呈现XR内容(在本文中有时也称为“图形内容”或“虚拟内容”)，包括XR圆柱体109，并且使得能够实现显示器122上物理环境105(例如，包括桌子107或其表示)的视频透传。例如，包括XR圆柱体109的XR环境128是立体的或三维的(3D)。

在一个示例中，XR圆柱体109对应于头部/显示器锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转移动而改变时，XR圆柱体109保持显示在显示器122上的相同位置处。作为另一示例，XR圆柱体109对应于世界/对象锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转移动而改变时，XR圆柱体109保持显示在其原始位置处。因此，在该示例中，如果FOV 111不包括原始位置，则所显示的XR环境128将不包括XR圆柱体109。作为另一示例，XR圆柱体109对应于身体锁定内容，使得其保持在与用户150的身体的一定定位和旋转偏移量处。在一些示例中，电子设备120对应于近眼***、移动电话、平板计算机、膝上型计算机、可穿戴计算设备等等。

在一些具体实施中，显示器122对应于使得能够实现物理环境105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)投影到加成显示器上而呈现用户界面，其继而从用户150的角度叠加在物理环境105上。在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)显示在加成显示器上而呈现用户界面，其继而从用户150的角度叠加在物理环境105上。

在一些具体实施中，用户150穿戴电子设备120，诸如近眼***。因此，电子设备120包括被提供以显示XR内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的FOV。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于XR环境128的数据或者通过将对应于XR环境128的数据投影到用户150的视网膜上来呈现XR环境128。

在一些具体实施中，电子设备120包括显示XR环境128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备120)的接收器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)XR环境128。在一些具体实施中，将电子设备120替换成被配置为呈现XR内容的XR室、壳体或房间，在其中用户150不穿戴电子设备120。

在一些具体实施中，控制器110和/或电子设备120使得用户150的XR表示基于来自电子设备120和/或物理环境105内的任选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手部/肢体/手指/四肢跟踪数据等)在XR环境128内移动。在一些具体实施中，可选的远程输入设备对应于物理环境105内的固定或可移动的感官设备(例如，图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理环境105内时收集/捕获输入数据，并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手部相关联的手部跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节定位和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信***(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位***(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连***部件和控制***部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、触摸屏、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一者。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离该一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下文参照图2所述的下述程序、模块和数据结构或者它们的子集。

操作***230包括用于处理各种基础***服务和用于执行硬件相关任务的过程。

在一些具体实施中，数据获取器242被配置为从控制器110的I/O设备206、电子设备120的I/O设备和传感器306以及任选的远程输入设备中的至少一者获取数据(例如，所捕获的物理环境105的图像帧、呈现数据、输入数据、用户交互数据、相机姿态跟踪信息、眼睛跟踪信息、头部/身体姿态跟踪信息、手部/肢体/手指/四肢跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

在一些具体实施中，映射器和***引擎244被配置为映射物理环境105并且至少跟踪电子设备120或用户150相对于物理环境105的定位/位置。为此，在各种具体实施中，映射器和***引擎244包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器246被配置为至少向电子设备120和任选地一个或多个其他设备传输数据(例如，呈现数据，诸如与XR环境相关联的渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器246包括指令和/或用于指令的逻辑部件，以及启发法和用于启发法的元数据。

在一些具体实施中，隐私架构408被配置为摄取数据，并且基于一个或多个隐私过滤器来过滤该数据内的用户信息和/或标识信息。下文参考图4A更详细地描述隐私架构408。为此，在各种具体实施中，隐私架构408包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，运动状态估计器410被配置为基于输入数据来获取(例如，接收、检索或确定/生成)与电子设备120(和用户150)相关联的运动状态向量411(例如，包括与电子设备120相关联的当前运动状态)并且随时间推移而更新运动状态向量411。例如，如图4B所示，运动状态向量411包括电子设备120的运动状态描述符472(例如，静止、运动中、乘坐汽车、乘坐轮船、乘坐公共汽车、乘坐火车、乘坐飞机等)、与电子设备120相关联的平移移动值474(例如，航向、速度值、加速度值等)、与电子设备120相关联的角移动值476(例如，俯仰、翻滚和偏航维度中的每个维度的角速度值、角加速度值等)等。下文参考图4A更详细地描述运动状态估计器410。为此，在各种具体实施中，运动状态估计器410包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，眼睛跟踪引擎412被配置为基于输入数据来获取(例如，接收、检索或确定/生成)如图4B所示的眼睛跟踪向量413(例如，具有注视方向)并且随时间推移而更新眼睛跟踪向量413。例如，注视方向指示用户150当前正在查看的物理环境105中的点(例如，与相对于物理环境105或整个世界的x坐标、y坐标和z坐标相关联)、物理对象或感兴趣区域(ROI)。作为另一示例，注视方向指示用户150当前正在查看的XR环境128中的点(例如，与相对于XR环境128的x坐标、y坐标和z坐标相关联)、XR对象或感兴趣区域(ROI)。下文参考图4A更详细地描述眼睛跟踪引擎412。为此，在各种具体实施中，眼睛跟踪引擎412包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，身体/头部姿态跟踪引擎414被配置为基于输入数据来获取(例如，接收、检索或确定/生成)姿态表征向量415并且随时间推移而更新姿态表征向量415。例如，如图4B所示，姿态表征向量415包括头部姿态描述符492A(例如，向上、向下、中性等)、头部姿态的平移值492B、头部姿态的旋转值492C、身体姿态描述符494A(例如，站立、坐着、俯卧等)、身体部位/四肢/肢体/关节的平移值494B、身体部位/四肢/肢体/关节的旋转值494C等等。下文参考图4A更详细地描述身体/头部姿态跟踪引擎414。为此，在各种具体实施中，身体/头部姿态跟踪引擎414包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，作为控制器110的补充或替代，运动状态估计器410、眼睛跟踪引擎412和身体/头部姿态跟踪引擎414可位于电子设备120上。

在一些具体实施中，内容选择器422被配置为基于一个或多个用户请求和/或用户输入(例如，语音命令、从XR内容项或虚拟代理(VA)的用户界面(UI)菜单中的选择等)，从内容库425中选择XR内容(在本文中有时也被称为“图形内容”或“虚拟内容”)。下文参考图4A更详细地描述内容选择器422。为此，在各种具体实施中，内容选择器422包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，内容库425包括多个内容项，诸如听觉/视觉(A/V)内容、虚拟代理(VA)和/或XR内容、对象、项、场景等。例如，XR内容包括用户捕获的视频、电影、TV剧集和/或其他XR内容的3D重建。在一些具体实施中，内容库425由用户150预先填充或手动创作。在一些具体实施中，内容库425相对于控制器110位于本地。在一些具体实施中，内容库425位于远离控制器110的位置(例如，位于远程服务器、云服务器等处)。

在一些具体实施中，模式管理器440被配置为基于表征向量443来选择一组输入模式445和呈现模式447。下文参考图4A更详细地描述模式管理器440。为此，在各种具体实施中，模式管理器440包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，模式管理器440包括表征引擎442、输入模式选择器444和感官模式选择器446。

在一些具体实施中，表征引擎442被配置为如图4A所示的那样基于运动状态向量411、眼睛跟踪向量413和姿态表征向量415中的至少一者来确定/生成表征向量443。在一些具体实施中，表征引擎442还被配置为随时间推移而更新姿态表征向量443。如图4B所示，表征向量443包括运动状态信息4102、注视方向信息4104、头部姿态信息4106A、身体姿态信息4106B、四肢跟踪信息4106C、位置信息4108等。下文参考图4A更详细地描述表征引擎442。为此，在各种具体实施中，表征引擎442包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，输入模式选择器444被配置为基于表征向量443和与图4A所示的XR环境128相关联的XR环境描述符439(例如，XR环境128的场景描述和与其中的XR内容427相关联的信息)来选择用于与XR环境128交互的当前一组输入模式。例如，该一组输入模式可包括手部/四肢跟踪输入、眼睛跟踪输入、触摸输入、语音命令等中的至少一者。下文参考图4A更详细地描述输入模式选择器444。为此，在各种具体实施中，输入模式选择器444包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

在一些具体实施中，感官模式选择器446被配置为基于表征向量443来为XR环境128内的XR内容选择当前呈现模式。例如，呈现模式对应于用于媒体内容和/或XR内容的头部/显示器锁定呈现模式、身体锁定呈现模式、世界/对象锁定呈现模式、设备锁定呈现模式等中的一者。又如，呈现模式对应于外观类型或内容类型中的一者。在一些具体实施中，感官模式选择器446还被配置为基于表征向量443来为XR环境128内的XR内容选择当前触觉反馈模式、可听反馈模式和/或类似感官模式。在一些具体实施中，感官模式选择器446还被配置为基于用户输入、用户偏好、用户历史记录等来为XR环境128内的XR内容选择当前触觉反馈模式、可听反馈模式和/或类似感官模式。下文参考图4A更详细地描述感官模式选择器446。为此，在各种具体实施中，感官模式选择器446包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

在一些具体实施中，内容管理器430被配置为管理和更新XR环境128的布局、设置、结构等，包括VA、XR内容、与XR内容相关联的一个或多个用户界面(UI)元素等中的一者或多者。下文参考图4C更详细地描述内容管理器430。为此，在各种具体实施中，内容管理器430包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，内容管理器430包括帧缓冲器434、内容更新器436和反馈引擎438。在一些具体实施中，帧缓冲器434包括用于一个或多个过去实例和/或帧的XR内容、渲染的图像帧等。

在一些具体实施中，内容更新器436被配置为基于电子设备120或物理环境128内的物理对象的平移或旋转移动、用户输入(例如，情景的变化、手部/四肢跟踪输入、眼睛跟踪输入、触摸输入、语音命令、对物理对象的修改/操纵输入等)等来随时间推移修改XR环境105。为此，在各种具体实施中，内容更新器436包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，反馈引擎438被配置为生成与XR环境128相关联的感官反馈(例如，视觉反馈(诸如文本或照明变化)、音频反馈、触觉反馈等)。为此，在各种具体实施中，反馈引擎438包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，渲染引擎450被配置为渲染XR环境128(有时也称为“图形环境”或“虚拟环境”)或与该XR环境相关联的图像帧以及VA、XR内容、与XR内容相关联的一个或多个UI元素等。为此，在各种具体实施中，渲染引擎450包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，渲染引擎450包括姿态确定器452、渲染器454、任选的图像处理架构462和任选的合成器464。本领域的普通技术人员将理解，对于视频透传配置，可存在任选的图像处理架构462和任选的合成器464，但对于完全VR或光学透传配置，可移除该任选的图像处理架构和该任选的合成器。

在一些具体实施中，姿态确定器452被配置为确定电子设备120和/或用户150相对于A/V内容和/或XR内容的当前相机姿态。下文参考图4A更详细地描述姿态确定器452。为此，在各种具体实施中，姿态确定器452包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，渲染器454被配置为根据与其相关的当前相机姿态来渲染A/V内容和/或XR内容。下文参考图4A更详细地描述渲染器454。为此，在各种具体实施中，渲染器454包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，图像处理架构462被配置为从电子设备120和/或用户150的当前相机姿态获取(例如，接收、检索或捕获)包括物理环境105的一个或多个图像的图像流。在一些具体实施中，图像处理架构462还被配置为对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。下文参考图4A更详细地描述图像处理架构462。为此，在各种具体实施中，图像处理架构462包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，合成器464被配置为将经渲染的A/V内容和/或XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境128的经渲染的图像帧以供显示。下文参考图4A更详细地描述合成器464。为此，在各种具体实施中，合成器464包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

尽管数据获取器242、映射器和***引擎244、数据传输器246、隐私架构408、运动状态估计器410、眼睛跟踪引擎412、身体/头部姿态跟踪引擎414、内容选择器422、内容管理器430、操作模式管理器440以及渲染引擎450被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、映射器和***引擎244、数据传输器246、隐私架构408、运动状态估计器410、眼睛跟踪引擎412、身体/头部姿态跟踪引擎414、内容选择器422、内容管理器430、操作模式管理器440以及渲染引擎450的任何组合可位于单独的计算设备中。

在一些具体实施中，控制器110的功能和/或部件与下文在图3所示的电子设备120组合或由其提供。此外，图2更多地用作可存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120(例如，移动电话、平板计算机、膝上型计算机、近眼***、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、图像捕获设备370(一个或多个任选的面向内部和/或面向外部的图像传感器)、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制***部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧饱和度监测仪、血糖监测仪等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构化光、飞行时间、LiDAR等)、定位和映射引擎、眼睛跟踪引擎、身体/头部姿态跟踪引擎、手部/肢体/手指/四肢跟踪引擎、相机姿态跟踪引擎等中的至少一者。

在一些具体实施中，一个或多个显示器312被配置为向用户呈现XR环境。在一些具体实施中，一个或多个显示器312也被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实时视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。

在一些具体实施中，图像捕获设备370对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、IR图像传感器、基于事件的相机等。在一些具体实施中，图像捕获设备370包括透镜组件、光电二极管和前端架构。在一些具体实施中，图像捕获设备370包括面向外部和/或面向内部的图像传感器。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作***330和呈现引擎340。

操作***330包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现媒体项和/或XR内容。为此，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器470、交互处理程序420和数据传输器350。

在一些具体实施中，数据获取器342被配置为从电子设备120的I/O设备和传感器306、控制器110以及远程输入设备中的至少一者获取数据(例如，呈现数据，诸如与用户界面或XR环境相关联的经渲染的图像帧、输入数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手部/肢体/手指/四肢跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

在一些具体实施中，交互处理程序420被配置为检测与所呈现的A/V内容和/或XR内容的用户交互(例如，经由手部/四肢跟踪检测到的手势输入、经由眼睛跟踪检测到的眼睛注视输入、语音命令等)。为此，在各种具体实施中，交互处理程序420包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，呈现器470被配置为经由一个或多个显示器312呈现和更新A/V内容和/或XR内容(例如，与用户界面或XR环境128相关联的经渲染的图像帧，包括VA、XR内容、与XR内容相关联的一个或多个UI元素等)。为此，在各种具体实施中，呈现器470包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器350被配置为至少向控制器110传输数据(例如，呈现数据、位置数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手部/肢体/手指/四肢跟踪信息等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑部件，以及启发法和用于该启发法的元数据。

尽管数据获取器342、交互处理程序420、呈现器470和数据传输器350被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、交互处理程序420、呈现器470和数据传输器350的任何组合可以位于单独的计算设备中。

此外，图3更多地用作可存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A是根据一些具体实施的示例性内容递送架构的第一部分400A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容递送架构包括在计算***中，诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。

如图4A所示，控制器110、电子设备120和/或它们的组合的一个或多个本地传感器402获取与物理环境105相关联的本地传感器数据403。例如，本地传感器数据403包括物理环境105的图像或其流、物理环境105的同时定位与地图构建(SLAM)信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的维度信息、物理环境105内的对象的语义标签等。在一些具体实施中，本地传感器数据403包括未处理的或后处理的信息。

类似地，如图4A所示，与物理环境105内的可选远程输入设备相关联的一个或多个远程传感器404获取与物理环境105相关联的远程传感器数据405。例如，远程传感器数据405包括物理环境105的图像或其流、物理环境105的SLAM信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的维度信息、物理环境105内的对象的语义标签等。在一些具体实施中，远程传感器数据405包括未处理的或后处理的信息。

根据一些具体实施，隐私架构408摄取本地传感器数据403和远程传感器数据405。在一些具体实施中，隐私架构408包括与用户信息和/或标识信息相关联的一个或多个隐私过滤器。在一些具体实施中，隐私架构408包括选择加入特征部，其中电子设备120通知用户150正在监测哪些用户信息和/或标识信息以及将如何使用这些用户信息和/或标识信息。在一些具体实施中，隐私架构408选择性地防止和/或限制内容递送架构400A/400B或其部分获取和/或传输用户信息。为此，隐私架构408响应于提示用户150进行用户偏好和/或选择来接收来自用户150的用户偏好和/或选择。在一些具体实施中，隐私架构408防止内容递送架构400A/400B获取和/或传输用户信息，除非并且直到隐私架构408从用户150获取到知情同意。在一些具体实施中，隐私架构408匿名化(例如，加扰、模糊化、加密等)某些类型的用户信息。例如，隐私架构408接收指定隐私架构408将哪些类型的用户信息匿名化的用户输入。作为另一示例，隐私架构408独立于用户指定(例如，自动地)匿名化可能包括敏感和/或标识信息的某些类型的用户信息。

根据一些具体实施，运动状态估计器410在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，运动状态估计器410基于输入数据来获取(例如，接收、检索或确定/生成)运动状态向量411并且随时间推移而更新运动状态向量411。

图4B示出了根据一些具体实施的用于运动状态向量411的示例性数据结构。如图4B所示，运动状态向量411可以对应于N-元组表征向量或表征张量，其包括时间戳471(例如，运动状态向量411最近更新的时间)、用于电子设备120的运动状态描述符472(例如，静止、运动中、汽车、轮船、公共汽车、火车、飞机等)、与电子设备120相关联的平移移动值474(例如，航向、速度值、加速度值等)、与电子设备120相关联的角移动值476(例如，俯仰、翻滚和偏航维度中的每个维度的角速度值、角加速度值等)和/或杂项信息478。本领域的普通技术人员将理解，图4B中的运动状态向量411的数据结构仅仅是一个示例，其可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式构造。

根据一些具体实施，眼睛跟踪引擎412在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，眼睛跟踪引擎412基于输入数据来获取(例如，接收、检索或确定/生成)眼睛跟踪向量413并且随时间推移而更新眼睛跟踪向量413。

图4B示出了根据一些具体实施的用于眼睛跟踪向量413的示例性数据结构。如图4B所示，眼睛跟踪向量413可以对应于N-元组表征向量或表征张量，其包括时间戳481(例如，眼睛跟踪向量413最近更新的时间)、当前注视方向的一个或多个角度值482(例如，翻滚、俯仰和偏航值)、当前注视方向的一个或多个平移值484(例如，相对于物理环境105、整个世界等的x、y和z值)和/或杂项信息486。本领域的普通技术人员将理解，图4B中的眼睛跟踪向量413的数据结构仅仅是一个示例，该示例可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式被构造。

例如，注视方向指示用户150当前正在查看的物理环境105中的点(例如，与相对于物理环境105或整个世界的x坐标、y坐标和z坐标相关联)、物理对象或感兴趣区域(ROI)。作为另一示例，注视方向指示用户150当前正在查看的XR环境128中的点(例如，与相对于XR环境128的x坐标、y坐标和z坐标相关联)、XR对象或感兴趣区域(ROI)。

根据一些具体实施，身体/头部姿态跟踪引擎414在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，身体/头部姿态跟踪引擎414基于输入数据来获取(例如，接收、检索或确定/生成)姿态表征向量415并且随时间推移而更新姿态表征向量415。

图4B示出了根据一些具体实施的用于姿态表征向量415的示例性数据结构。如图4B所示，姿态表征向量415可以对应于N-元组表征向量或表征张量，其包括时间戳491(例如，姿态表征向量415最近更新的时间)、头部姿态描述符492A(例如，向上、向下、中性等)、头部姿态的平移值492B、头部姿态的旋转值492C、身体姿态描述符494A(例如，站立、坐着、俯卧等)、身体部位/四肢/肢体/关节的平移值494B、身体部位/四肢/肢体/关节的旋转值494C和/或杂项信息496。在一些具体实施中，姿态表征向量415还包括与手指/手部/四肢跟踪相关联的信息。本领域的普通技术人员将理解，图4B中的姿态表征向量415的数据结构仅仅是一个示例，该示例可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式被构造。根据一些具体实施，运动状态向量411、眼睛跟踪向量413和姿态表征向量415被统称为输入向量419。

根据一些具体实施，表征引擎442获取运动状态向量411、眼睛跟踪向量413和姿态表征向量415。在一些具体实施中，表征引擎442基于运动状态向量411、眼睛跟踪向量413和姿态表征向量415来获取(例如，接收、检索或确定/生成)表征向量443。

图4B示出了根据一些具体实施的用于表征向量443的示例性数据结构。如图4B所示，表征向量443可以对应于N-元组表征向量或表征张量，其包括时间戳4101(例如，表征向量443最近更新的时间)、运动状态信息4102(例如，运动状态描述符472)、注视方向信息4104(例如，眼睛跟踪向量413内的一个或多个角度值482和一个或多个平移值484的函数)、头部姿态信息4106A(例如，头部姿态描述符492A)、身体姿态信息4106B(例如，姿态表征向量415内的身体姿态描述符494A的函数)、四肢跟踪信息4106C(例如，与正由控制器110、电子设备120和/或它们的组合跟踪的用户150的四肢相关联的姿态表征向量415内的身体姿态描述符494A的函数)、位置信息4108(例如，家庭位置(诸如厨房或客厅)、车辆位置(诸如汽车、飞机等)等)和/或杂项信息4109。

根据一些具体实施中，输入模式选择器444基于表征向量443和与XR环境128相关联的XR环境描述符439(例如，XR环境128的场景描述和与其中的XR内容427相关联的信息)来选择用于与XR环境128交互的当前一组输入模式445。例如，该一组输入模式445可包括手部/四肢跟踪输入、眼睛跟踪输入、触摸输入、语音命令等中的至少一者。

根据一些具体实施，感官模式选择器446基于表征向量443来为XR环境128内的XR内容选择当前呈现模式447。例如，呈现模式447对应于用于媒体内容和/或XR内容的头部锁定呈现模式、身体锁定呈现模式、世界/对象锁定呈现模式、设备锁定呈现模式等中的一者。又如，呈现模式447对应于外观类型或内容类型中的一者。在一些具体实施中，感官模式选择器446还可基于表征向量443来为XR环境128内的XR内容选择触觉反馈模式、可听反馈模式和/或类似感官模式。

图4C是根据一些具体实施的示例性内容递送架构的第二部分400B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容递送架构包括在计算***中，诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。图4C类似于图4A并且改编自图4A。因此，图4A和图4C中使用了类似的参考标号。因此，为了简明起见，下文仅描述图4A和图4C之间的差异。

根据一些具体实施，交互处理程序420获取(例如，接收、检索或检测)由用户150提供的一个或多个用户输入421，该一个或多个用户输入与选择A/V内容、一个或多个VA和/或XR内容以供呈现相关联。例如，一个或多个用户输入421对应于从经由手部/四肢跟踪检测到的UI菜单中选择XR内容的手势输入、从经由眼睛跟踪检测到的UI菜单中选择XR内容的眼睛注视输入、从经由麦克风检测到的UI菜单中选择XR内容的语音命令等等。在一些具体实施中，内容选择器422基于一个或多个用户输入421(例如，语音命令、从XR内容项的菜单中的选择等)，从内容库425中选择XR内容427。

在各种具体实施中，内容管理器430基于表征向量443、所选一组输入模式445、所选呈现模式447、(任选地)用户输入421等来管理和更新XR环境128的布局、设置、结构等，该XR环境包括VA、XR内容、与XR内容相关联的一个或多个UI元素等中的一者或多者。为此，内容管理器430包括帧缓冲器434、内容更新器436和反馈引擎438。

在一些具体实施中，帧缓冲器434包括用于一个或多个过去实例和/或帧的XR内容、渲染的图像帧等。在一些具体实施中，内容更新器436基于表征向量443、所选一组输入模式445、所选呈现模式447、与修改和/或操纵XR内容或VA相关联的用户输入421、物理环境105内的对象的平移或旋转移动、电子设备120(或用户150)的平移或旋转移动等来随时间推移修改XR环境128。在一些具体实施中，反馈引擎438生成与XR环境128相关联的感官反馈(例如，视觉反馈(诸如文本或照明变化)、音频反馈、触觉反馈等)。

根据一些具体实施，姿态确定器452至少部分地基于姿态表征向量415来确定电子设备120和/或用户150相对于XR环境128和/或物理环境105的当前相机姿态。在一些具体实施中，渲染器454根据相对于其的当前相机姿态，渲染VA、XR内容427、与XR内容相关联的一个或多个UI元素等。

根据一些具体实施，任选的图像处理架构462从图像捕获设备370获取图像流，该图像流包括来自电子设备120和/或用户150的当前相机姿态的物理环境105的一个或多个图像。在一些具体实施中，图像处理架构462还对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。在一些具体实施中，任选的合成器464将经渲染的XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境128的经渲染的图像帧。在各种具体实施中，呈现器470经由一个或多个显示器312向用户150呈现XR环境128的经渲染的图像帧。本领域的普通技术人员将理解，任选的图像处理架构462和任选的合成器464可能不适用于完全虚拟环境(或光学透传场景)。

图5A至图5L示出了根据一些具体实施的内容递送场景的实例510至5120的序列。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，实例510至实例5120的序列由计算***渲染和呈现，该计算***为诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。

如图5A至图5L所示，内容递送场景包括物理环境105和显示在电子设备120的显示器122上(例如，与用户150相关联)的XR环境128。当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR环境128，该物理环境包括当前位于电子设备120的面向外部的图像传感器的FOV 111内的门115。因此，在一些具体实施中，用户150将电子设备120握持在他/她的左手中，类似于图1中的操作环境100。

换句话讲，在一些具体实施中，电子设备120被配置为在显示器122上呈现XR内容，并且实现物理环境105(例如，图5A至图5C中的位于电子设备120的FOV 111内的厨房的一部分)的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板计算机、膝上型计算机、近眼***、可穿戴计算设备等。

如图5A所示，在内容递送场景的实例510期间(例如，与时间T₁相关联)，电子设备120从面向北的方向呈现XR环境128，该XR环境包括虚拟代理(VA)505和物理环境105(例如，图5A至图5C中的厨房)的视频透传。在图5A中，XR环境128还包括与第一外观和第一呈现模式相关联的定时器小组件504A，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框517。例如，定时器小组件504A对应于文本、图像、图标、标志、视频内容、立体/3DXR内容等。例如，与定时器小组件504A相关联的第一外观对应于椭圆形状、第一尺寸、第一颜色、第一亮度等(例如，倒计时定时器的第一可视化)。本领域的普通技术人员将理解，定时器小组件504A仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。在一些具体实施中，定时器小组件504A的第一呈现模式对应于世界/对象锁定呈现模式，由此定时器小组件504A被锚定到物理环境105内的物理对象(例如，微波炉516)。

如图5A所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框517指示当前启用以下输入模式：四肢跟踪、眼睛跟踪、触摸和语音。本领域的普通技术人员将理解，文本框517仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。例如，可将文本框517替换为来自电子设备120等的音频输出。

在图5A中，电子设备120的面向外部的图像传感器的FOV 111朝向面向北的方向。例如，方向箭头任选地显示在XR环境128内。根据一些具体实施，图5A至图5C示出了用户150的当前身体姿态512。在图5A至图5C中，当前身体姿态512对应于站立姿态。如图5A所示，在内容递送场景的实例510期间(例如，与时间T₁相关联)，电子设备120检测对应于90°顺时针旋转移动515的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5B所示，在内容递送场景的实例520期间(例如，与时间T₂相关联)，响应于检测到图5A中的90°顺时针旋转移动515，电子设备120从面向东的方向呈现包括物理环境105(包括门115)的视频透传的XR环境128。在图5B中，XR环境128缺少VA 505和定时器小组件504A。如图5B所示，在内容递送场景的实例520期间(例如，与时间T₂相关联)，电子设备120检测对应于90°逆时针旋转移动525的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5C所示，在内容递送场景的实例530期间(例如，与时间T₃相关联)，响应于检测到图5B中的90°逆时针旋转移动525，电子设备120从面向北的方向呈现包括VA 505和物理环境105(例如，图5A至图5C中的厨房)的视频透传的XR环境128。如图5C所示，XR环境128还包括与第一外观和第一呈现模式(例如，世界/对象锁定呈现模式)相关联的定时器小组件504A，其中定时器小组件504A与微波炉516相邻，类似于图5A。在该示例中，定时器小组件504A与世界/对象锁定呈现模式相关联，以在用户150烹饪晚餐时帮助他/她。更具体地，定时器小组件504A可被锁定到炉盘以有助于正确地对炉盘上的食物或菜肴的烹饪进行定时。然而，如果用户150离开厨房，则电子设备120可将定时器小组件504A更改为头部/显示器锁定呈现模式，因此用户150在厨房外时也可保持对定时器小组件504A的跟踪。在一些具体实施中，用于在实例520和530期间与XR环境128交互的一组输入模式可与在实例510期间可用的那些输入模式相同。虽然并未示出，但显示器122可任选地在实例520和530期间呈现文本框517以指示可用的一组输入模式。

如图5D所示，在内容递送场景的实例540期间(例如，与时间T₄相关联)，电子设备120从面向北的方向呈现XR环境128，该XR环境包括物理环境105的视频透传(例如，图5D至图5F中来自汽车544的驾驶员座椅的视野)。在图5D中，XR环境128还包括与第二外观和第二呈现模式相关联的定时器小组件504B，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框547。例如，定时器小组件504B对应于文本、图像、图标、标志、视频内容、立体/3D XR内容等。例如，与定时器小组件504B相关联的第二外观对应于矩形形状、第二尺寸、第二颜色、第二亮度等(例如，倒计时定时器的第二可视化)。本领域的普通技术人员将理解，定时器小组件504B仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。在一些具体实施中，定时器小组件504B的第二呈现模式对应于头部/显示器锁定呈现模式，由此定时器小组件504B被锚定到显示器122上的预定义位置。

如图5D所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框547指示当前启用以下输入模式：眼睛跟踪和语音。本领域的普通技术人员将理解，文本框547仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。例如，可将文本框547替换为来自电子设备120等的音频输出。

在图5D中，电子设备120的面向外部的图像传感器的FOV当前朝向面向北的方向。例如，方向箭头任选地显示在XR环境128内。根据一些具体实施，图5D至图5F示出了用户150的当前身体姿态542。在图5D至图5F中，当前身体姿态542对应于在操作移动汽车544时的坐姿。如图5D所示，在内容递送场景的实例540期间(例如，与时间T₄相关联)，电子设备120检测对应于90°逆时针旋转移动545的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5E所示，在内容递送场景的实例550期间(例如，与时间T₅相关联)，响应于检测到图5D中的90°逆时针旋转移动545，电子设备120从面向西的方向(例如，来自汽车544的驾驶员侧车窗的视野)呈现包括物理环境105的视频透传的XR环境128，该物理环境包括山和树。在图5E中，XR环境128包括定时器小组件504B，该定时器小组件与在显示器122上与图5D中相同的位置中的第二外观和第二呈现模式(例如，头部/显示器锁定呈现模式)相关联。如图5E所示，在内容递送场景的实例550期间(例如，与时间T₅相关联)，电子设备120检测对应于90°顺时针旋转移动555的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5F所示，在内容递送场景的实例560期间(例如，与时间T₆相关联)，响应于检测到图5E中的90°顺时针旋转移动555，电子设备120从面向北的方向呈现包括物理环境105的视频透传的XR环境128。在图5F中，XR环境128包括定时器小组件504B，该定时器小组件与在与图5D和图5E中相同的位置中的第二外观和第二呈现模式(例如，头部/显示器锁定呈现模式)相关联。在该示例中，定时器小组件504B与头部/显示器锁定呈现模式相关联，以便在用户150正在驾驶汽车544时不遮挡他/她的视野。在一些具体实施中，用于在实例550和560期间与XR环境128交互的一组输入模式可与在实例540期间可用的那些输入模式相同。虽然并未示出，但显示器122可任选地在实例550和560期间呈现文本框547以指示可用的一组输入模式。

如图5G所示，在内容递送场景的实例570期间(例如，与时间T₇相关联)，电子设备120从面向北的方向呈现XR环境128，该XR环境包括VA 505和物理环境105(例如，包括绘画573和桌子574)的视频透传。在图5G中，XR环境128还包括邻近绘画573的与第一外观和第一呈现模式相关联的搜索结果576A，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框517。例如，搜索结果576A对应于由搜索命令产生的文本、图像、图标、标志、视频内容、立体/3D XR内容等，该搜索命令与由用户150提供的绘画573相关联(例如，“这是谁画的？”或“这幅绘画的标题是什么？”或“这幅绘画最初是什么时候创作的？”)。例如，与搜索结果576A相关联的第一外观对应于椭圆形状、第一尺寸、第一颜色、第一亮度等。本领域的普通技术人员将理解，搜索结果576A仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。在一些具体实施中，搜索结果576A的第一呈现模式对应于世界/对象锁定呈现模式，由此搜索结果576A被锚定到物理环境105内的物理对象(例如，绘画573)。

如图5G所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框517指示当前启用以下输入模式：四肢跟踪、眼睛跟踪、触摸和语音。本领域的普通技术人员将理解，文本框517仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。例如，可将文本框517替换为来自电子设备120等的音频输出。

在图5G中，电子设备120的面向外部的图像传感器的FOV 111朝向面向北的方向。例如，方向箭头任选地显示在XR环境128内。根据一些具体实施，图5G至图5I示出了用户150的当前身体姿态572。在图5G至图5I中，当前身体姿态572对应于桌子574处的坐姿。如图5G所示，在内容递送场景的实例570期间(例如，与时间T₇相关联)，电子设备120检测对应于90°顺时针旋转移动575的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5H所示，在内容递送场景的实例580期间(例如，与时间T₈相关联)，响应于检测到图5G中的90°顺时针旋转移动575，电子设备120从面向东的方向呈现包括物理环境105(包括门115)的视频透传的XR环境128。在图5H中，XR环境128缺少VA 505和搜索结果576A。如图5H所示，在内容递送场景的实例580期间(例如，与时间T₈相关联)，电子设备120检测对应于90°逆时针旋转移动585的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5I所示，在内容递送场景的实例590期间(例如，与时间T₉相关联)，响应于检测到图5H中的90°逆时针旋转移动585，电子设备120从面向北的方向呈现包括VA 505和物理环境105的视频透传的XR环境128。如图5I所示，XR环境128还包括与第一外观和第一呈现模式(例如，世界/对象锁定呈现模式)相关联的搜索结果576A，其中搜索结果576A与类似于图5G的绘画573相邻。在该示例中，搜索结果576A与世界/对象锁定呈现模式相关联以在用户150查看绘画573时对他/她进行教育。然而，如果用户150离开具有绘画573的房间，则电子设备120可将搜索结果576A更改为头部/显示器锁定呈现模式，因此用户150可在自己选择的时间阅览搜索结果576A。在一些具体实施中，用于在实例580和590期间与XR环境128交互的一组输入模式可与在实例570期间可用的那些输入模式相同。虽然并未示出，但显示器122可任选地在实例580和590期间呈现文本框517以指示可用的一组输入模式。

如图5J所示，在内容递送场景的实例5100期间(例如，与时间T₁₀相关联)，电子设备120从面向北的方向呈现XR环境128，该XR环境包括物理环境105的视频透传(例如，图5J至图5L中来自自行车的视野)。在图5J中，XR环境128还包括与第二外观和第二呈现模式相关联的搜索结果576B，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框547。例如，搜索结果576B对应于由用户150提供的搜索命令产生的文本、图像、图标、标志、视频内容、立体/3D XR内容等(例如，“我骑自行车多久了？”或“我明天的日程表上有什么安排？”或“什么时间日落？”)。例如，与搜索结果576B相关联的第二外观对应于矩形形状、第二尺寸、第二颜色、第二亮度等。本领域的普通技术人员将理解，搜索结果576B仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。在一些具体实施中，搜索结果576B的第二呈现模式对应于头部/显示器锁定呈现模式，由此搜索结果576B被锚定到显示器122上的预定义位置。

如图5J所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框547指示当前启用以下输入模式：眼睛跟踪和语音。本领域的普通技术人员将理解，文本框547仅仅是示例性可视化，其可在各种其他具体实施中修改或替换或省略。例如，可将文本框547替换为来自电子设备120等的音频输出。

在图5J中，电子设备120的面向外部的图像传感器的FOV当前朝向面向北的方向。例如，方向箭头任选地显示在XR环境128内。根据一些具体实施，图5J至图5L示出了用户150的当前身体姿态5102。在图5J至图5L中，当前身体姿态5102对应于在操作自行车5106时的坐姿。如图5J所示，在内容递送场景的实例5100期间(例如，与时间T₁₀相关联)，电子设备120检测对应于90°逆时针旋转移动5105的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5K所示，在内容递送场景的实例5110期间(例如，与时间T₁₁相关联)，响应于检测到图5J中的90°逆时针旋转移动5105，电子设备120从面向西的方向(例如，当扫视用户150的左侧时物理环境105的视野)呈现包括物理环境105的视频透传的XR环境128，该物理环境包括树。在图5K中，XR环境128包括搜索结果576B，该搜索结果与在显示器122上与图5J中相同的位置中的第二外观和第二呈现模式(例如，头部/显示器锁定呈现模式)相关联。如图5J所示，在内容递送场景的实例5110期间(例如，与时间T₁₁相关联)，电子设备120检测对应于90°顺时针旋转移动5115的电子设备120的相机姿态(或用户150的头部姿态)的改变。

如图5L所示，在内容递送场景的实例5120期间(例如，与时间T₁₂相关联)，响应于检测到图5K中的90°顺时针旋转移动5115，电子设备120从面向北的方向呈现包括物理环境105的视频透传的XR环境128。在图5L中，XR环境128包括搜索结果576B，该搜索结果与在与图5J和图5K中相同的位置中的第二外观和第二呈现模式(例如，头部/显示器锁定呈现模式)相关联。在该示例中，搜索结果576B与头部/显示器锁定呈现模式相关联，以便在操作自行车5106时不遮挡用户150的视野。在一些具体实施中，用于在实例5110和5120期间与XR环境128交互的一组输入模式可与在实例590期间可用的那些输入模式相同。虽然并未示出，但显示器122可任选地在实例5110和5120期间呈现文本框547以指示可用的一组输入模式。

图6是根据一些具体实施的基于当前情境状态来动态地改变与内容相关联的感官和/或输入模式的方法600的流程图表示。在各种具体实施中，方法600在包括非暂态存储器和一个或多个处理器的计算***处执行，其中该计算***通信地耦接到显示设备和一个或多个输入设备(例如，图1和图3所示的电子设备120；图1和图2中的控制器110；或它们的合适组合)。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，计算***对应于平板计算机、膝上型计算机、移动电话、近眼***、可穿戴计算设备等中的一者。在一些具体实施中，一个或多个输入设备对应于使用来自一个或多个面向外部的图像传感器的图像流的计算机视觉(CV)引擎、手指/手部/四肢跟踪引擎、眼睛跟踪引擎、触敏表面、一个或多个麦克风等。

如上文所讨论的，在第一情境中以特定模式呈现的内容(例如，XR或平面内容)可能不适合于第二情境。例如，在骑自行车或驾驶汽车时，定时器小组件的呈现模式和输入模式在处于坐状态时可能并不合适。为了改善这一问题，本文所述的技术基于诸如位置、运动状态、身体姿态、头部姿态、注视方向等的情境状态的改变来动态地改变关于内容的感官和/或输入模式。

如框610所表示的，在处于第一情境状态时，方法600包括根据第一呈现模式经由显示设备呈现扩展现实(XR)内容，并且使得第一组输入模式能够指向XR内容。在图5A中，例如，电子设备120从面向北的方向呈现XR环境128，该XR环境包括虚拟代理(VA)505和物理环境105(例如，图5A至图5C中的厨房)的视频透传。在图5A中，XR环境128还包括与第一外观和第一呈现模式相关联的定时器小组件504A(例如，XR内容)，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框517。例如，定时器小组件504A对应于文本、图像、图标、标志、视频内容、立体/3D XR内容等。例如，与定时器小组件504A相关联的第一外观对应于椭圆形状、第一尺寸、第一颜色、第一亮度等(例如，倒计时定时器的第一可视化)。在一些具体实施中，定时器小组件504A的第一呈现模式对应于世界/对象锁定呈现模式，由此定时器小组件504A被锚定到物理环境105内的物理对象(例如，微波炉516)。

在一些具体实施中，第一组输入模式包括音频命令、注视/眼睛跟踪输入、手部/四肢跟踪输入、触摸输入等中的至少一些。在一些具体实施中，XR内容对应于在XR环境内呈现的小组件、立体/3D的XR对象、通知、文本框、与搜索命令相关联的信息等。例如，在用户正坐在桌子旁时(例如，如图5G至图5I所示)，第一情境状态对应于静止运动状态和坐着的身体姿态。又如，在用户正在操作汽车时(例如，如图5D至图5F所示)，第一情境状态对应于运动中的运动状态和坐着的身体姿态。再如，在用户正在骑自行车时(例如，如图5J至图5L所示)，第一情境状态对应于运动中的运动状态和坐着/站立的身体姿态。

例如，第一呈现模式对应于头部或显示器锁定呈现模式，并且第一组输入模式包括眼睛跟踪输入和音频输入，而第一情境状态对应于交通工具(例如，自行车、汽车等)的操作。因此，在该示例中，计算***限制对用户视野的干扰和遮挡，以增加操作交通工具时的安全性。

又如，第一呈现模式对应于世界或对象锁定呈现模式，并且第一组输入模式包括手指跟踪输入、手部跟踪输入、四肢跟踪输入、眼睛跟踪输入、音频输入、或触摸输入，而第一情境状态对应于基本上静止的活动的执行(例如，在桌旁工作、烹饪晚餐、浏览媒体内容等)。因此，在该示例中，计算***扩展其特征集以在用户正在执行基本上静止的活动时增加功能。

在一些具体实施中，如框612所表示的，方法600包括获得包括至少第一位置、第一运动状态、第一身体姿态和第一注视方向的第一表征向量，其中第一情境状态基于第一表征向量。例如，参考图4A和图4B，计算***或其一部分(例如，图4A中的表征引擎442)基于运动状态向量411(例如，包括第一运动状态)、眼睛跟踪向量413(例如，包括第一注视方向)和姿态表征向量415(例如，包括第一身体姿态和第一头部姿态)来获得(例如，接收、检索、或确定/生成)表征向量443。

在一些具体实施中，获得第一表征向量对应于基于由计算***收集的传感器数据来生成第一表征向量。在一些具体实施中，由任选的远程传感器、电子设备120和控制器110的组合收集传感器数据。如图4A所示，例如，表征向量443基于本地传感器数据403和/或远程传感器数据405。

在一些具体实施中，显示设备对应于透明透镜组件，并且其中呈现XR内容包括将XR内容投影到透明透镜组件上。在一些具体实施中，显示设备对应于近眼***，并且其中呈现XR内容包括将XR内容与由面向外部的图像传感器捕获的物理环境的一个或多个图像进行合成。

如框620所表示的，方法600包括检测从第一情境状态到第二情境状态的改变。例如，计算***检测从图5A至图5C中的第一情境状态(例如，家庭位置、站立的身体姿态和混合运动状态)到图5D至图5F中的第二情境状态(例如，车辆位置、坐着的身体姿态和运动中的运动状态)的改变。例如，检测情境状态的改变对应于检测位置、运动状态、身体姿态、头部姿态或注视方向中的至少一者的改变。

如框630所表示的，响应于检测到从第一情境状态到第二情境状态的改变，方法600包括根据不同于第一视觉呈现的第二呈现模式经由显示设备呈现XR内容，并且使得不同于第一输入模式的第二组输入模式能够指向XR内容。例如，参考图4A和图4B，计算***或其一部分(例如，图4A中的感官模式选择器446)基于表征向量443(例如，与第二情境状态相关联)来为XR环境128内的XR内容选择呈现模式447。例如，参考图4A和图4B，计算***或其一部分(例如，图4A中的输入模式选择器444)基于表征向量443和与XR环境128相关联的XR环境描述符439(例如，XR环境128的场景描述和与其中的XR内容427相关联的信息)来选择用于与XR环境128交互的一组输入模式445。

在图5D中，例如，电子设备120呈现XR环境128，该XR环境包括物理环境105的视频透传(例如，图5D至图5F中来自汽车544的驾驶员座椅的视野)。在图5D中，XR环境128还包括与第二外观和第二呈现模式相关联的定时器小组件504B(例如，XR内容)，以及与用于与XR环境128交互的当前一组输入模式相关联的文本框547。例如，定时器小组件504B对应于文本、图像、图标、标志、视频内容、立体/3D XR内容等。例如，与定时器小组件504B相关联的第二外观对应于矩形形状、第二尺寸、第二颜色、第二亮度等(例如，倒计时定时器的第二可视化)。在一些具体实施中，定时器小组件504B的第二呈现模式对应于头部/显示器锁定呈现模式，由此定时器小组件504B被锚定到显示器122上的预定义位置。

在一些具体实施中，响应于检测到从第一情境状态到第二情境状态的改变，方法600包括选择与XR内容相关联的一个或多个不同的感官模式，诸如音频反馈模式(例如，无音频反馈、针对XR内容的选择动作和与XR内容的交互的音频反馈、针对XR内容的所有动作和与XR内容的交互的音频反馈等)、触觉反馈模式(例如，无触觉反馈、针对XR内容的选择动作和与XR内容的交互的触觉反馈、针对XR内容的所有动作和与XR内容的交互的触觉反馈等)等。例如，参考图4A和图4B，计算***或其一部分(例如，图4A中的感官模式选择器446)基于表征向量443(例如，与第二情境状态相关联)来选择与XR环境128内的XR内容相关联的一个或多个不同的感官模式。

在一些具体实施中，如框632所表示的，第一呈现模式和第二呈现模式对应于头部锁定呈现模式、显示器锁定呈现模式、身体锁定呈现模式、世界/对象锁定呈现模式、或设备锁定呈现模式中的一者。例如，图5A至图5C示出了其中当检测到电子设备120的相机姿态(或用户150的头部姿态)的旋转移动时将定时器小组件504A世界/对象锁定到物理环境105内的微波炉516的序列。又如，图5D至图5F示出了其中当检测到电子设备120的相机姿态(或用户150的头部姿态)的旋转移动时将定时器小组件504B头部/显示器锁定到显示器122上的预定义位置(例如，左上角)的序列。再如，图5G至图5I示出了其中当检测到电子设备120的相机姿态(或用户150的头部姿态)的旋转移动时将搜索结果576A世界/对象锁定到物理环境105内的绘画573的序列。再如，图5J至图5L示出了其中当检测到电子设备120的相机姿态(或用户150的头部姿态)的旋转移动时将搜索结果576B头部/显示器锁定到显示器122上的预定义位置(例如，左上角)的序列。

在一些具体实施中，如框634所表示的，第一呈现模式和第二呈现模式对应于外观类型或内容类型中的一者。例如，图5A至图5C示出了其中以第一外观(例如，椭圆形状)显示定时器小组件504A的序列。又如，图5D至图5F示出了其中以第二外观(例如，矩形形状)显示定时器小组件504B的序列。例如，外观类型对应于预定尺寸、颜色、纹理、亮度等中的至少一者。例如，内容类型对应于文本、图像、视频内容、立体/3D XR内容、音频内容、触觉反馈、小组件、通知、图标、标志等中的一者。

在一些具体实施中，如框636所表示的，第一组输入模式和第二组输入模式包括手指跟踪输入、手部跟踪输入、四肢跟踪输入、眼睛跟踪输入、音频输入或触摸输入中的至少一者。例如，图5A至图5C示出了其中第一组输入模式包括手部/四肢跟踪输入、眼睛跟踪输入、音频输入和触摸输入的序列。又如，图5D至图5F示出了其中第二组输入模式包括眼睛跟踪输入和音频输入的序列。在一些具体实施中，第一组输入模式和第二组输入模式包括至少一个不同的输入模式。因此，在一些具体实施中，输入模式中的一些输入模式可在输入模式中的第一组输入模式与第二组输入模式之间重叠。在一些具体实施中，第一组输入模式和第二组输入模式包括互斥的输入模式。

在一些具体实施中，第一情境状态对应于与坐着相关联的第一身体姿态，并且第二情境状态对应于与站立相关联的第二身体姿态。在一些具体实施中，第一情境状态对应于当前静止运动状态，并且第二情境状态对应于当前运动中的运动状态。例如，在用户正坐在桌子旁时(例如，如图5G至图5I所示)，第一情境状态对应于静止运动状态和坐着的身体姿态。又如，在用户正在操作汽车时(例如，如图5D至图5F所示)，第一情境状态对应于运动中的运动状态和坐着的身体姿态。再如，在用户正在骑自行车时(例如，如图5J至图5L所示)，第一情境状态对应于运动中的运动状态和坐着/站立的身体姿态。

在一些具体实施中，响应于检测到从第一情境状态到第二情境状态的改变，方法600还包括呈现(例如，显示视觉信息、提供音频输出、提供触觉反馈等)与第二情境状态相关联的指示。在一些具体实施中，计算***还呈现与当前情境状态(例如，永久或临时视觉、音频、触觉等反馈)相关联的指示。在一些具体实施中，当情境状态改变时，计算***还呈现与当前情境状态相关联的指示。(例如，永久或临时视觉、音频、触觉等反馈)。例如，与当前情境状态相关联的指示对应于具有文本、图像、图标等的视觉通知。又如，与当前情境状态相关联的指示对应于指示当前情境状态的可听鸣响或音频输出数据。

在一些具体实施中，响应于检测到从第一情境状态到第二情境状态的改变，方法600还包括呈现(例如，显示视觉信息、提供音频输出、提供触觉反馈等)与第二组输入模式相关联的指示。例如，参考图5G，电子设备120呈现XR环境128，该XR环境包括与用于与XR环境128交互的当前一组输入模式相关联的文本框517。如图5G所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框517指示当前启用以下输入模式：四肢跟踪、眼睛跟踪、触摸和语音。又如，参考图5J，电子设备120呈现XR环境128，该XR环境包括与用于与XR环境128交互的当前一组输入模式相关联的文本框547。如图5J所示，与用于与XR环境128交互的当前一组输入模式相关联的文本框547指示当前启用以下输入模式：眼睛跟踪和语音。

在一些具体实施中，计算***还呈现与第二组输入模式状态(例如，永久或临时视觉、音频、触觉等反馈)相关联的指示。例如，与第二组输入模式相关联的指示对应于具有文本、图像、图标等的视觉通知。又如，与第二组输入模式相关联的指示对应于指示第二组输入模式的可听鸣响或音频输出数据。

在一些具体实施中，响应于检测到从第一情境状态到第二情境状态的改变，方法600还包括基于第二情境状态来经由显示设备呈现一个或多个应用程序启动器选项。例如，在烹饪时，计算***为湿/干测量应用程序、定时器应用程序、食谱应用程序等提供可选择的应用程序启动器选项。又如，在驾驶时，计算***为导航应用程序和天气应用程序提供可选择的应用程序启动器选项。再如，在骑自行车时，计算***为计时应用程序、日历应用程序、导航应用程序和/或天气应用程序提供可选择的应用程序启动器选项。在一些具体实施中，作为应用程序启动器选项的补充或代替，计算***还可基于当前情境状态来提供加速器。

在一些具体实施中，在根据第二呈现模式呈现XR内容之后，方法600还包括：检测指向XR内容的用户输入；以及响应于检测到用户输入并且根据确定用户输入对应于第二组输入模式中的一者，基于用户输入来修改XR内容。例如，用户输入对应于手部/四肢跟踪输入、眼睛跟踪输入、音频/语音输入和触摸输入中的一者。例如，对XR内容的修改的幅度基于用户输入的幅度/位移。在一些具体实施中，修改XR内容对应于旋转、平移或缩放XR内容中的至少一种操作。在一些具体实施中，修改XR内容对应于改变XR内容的外观。例如，改变XR内容的外观对应于改变XR内容的颜色、改变XR内容的纹理、改变XR内容的形状、或者改变XR内容的亮度值中的至少一者。

在一些具体实施中，在根据第二呈现模式呈现XR内容之后，方法600还包括：检测指向XR内容的用户输入；以及响应于检测到用户输入并且根据确定用户输入不对应于第二组输入模式中的一者，放弃基于用户输入来修改XR内容。换句话讲，计算***在检测到用户输入之前保持所呈现的XR内容的外观。

图7示出了根据一些具体实施的各种候选呈现模式转变。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，图7示出了用于媒体内容和/或XR内容的多个候选呈现模式转变，包括：从世界锁定呈现模式到头部锁定呈现模式的转变702、从世界锁定呈现模式到身体锁定呈现模式的转变704、从头部锁定呈现模式到世界锁定呈现模式的转变706、从头部锁定呈现模式到身体锁定呈现模式的转变708、从身体锁定呈现模式到头部锁定呈现模式的转变712以及从身体锁定呈现模式到世界锁定呈现模式的转变714。本领域的普通技术人员将理解，计算***可根据不同于世界锁定、头部锁定和身体锁定呈现模式的其他呈现模式来呈现内容，并且因此，计算***可能够处理向或从其他呈现模式的转变。

根据一些具体实施，图7还示出了表710，其指示针对世界锁定内容启用六自由度(6DOF)世界跟踪，并且针对头部锁定和身体锁定内容禁用该六自由度世界跟踪。例如，当在世界锁定呈现模式中呈现内容时，计算***至少部分地基于CV技术、VIO、磁跟踪、IMU数据、加速度计数据、陀螺仪数据等来对物理环境105内的物理对象、物理环境105内的参考点等执行6DOF世界跟踪。任选地，在一些具体实施中，在以身体锁定呈现模式呈现内容时，计算***也执行6DOF世界跟踪。

此外，根据一些具体实施，表710指示针对世界锁定和身体锁定内容启用头部姿态跟踪，并且针对头部锁定内容禁用头部姿态跟踪。例如，在以世界锁定或身体锁定呈现模式呈现内容时，计算***或其部件(例如，图2和图4A中的身体/头部姿态跟踪引擎414)执行关于用户150的头部姿态跟踪。任选地，在一些具体实施中，在以头部锁定呈现模式呈现内容时，计算***或其部件(例如，图2和图4A中的身体/头部姿态跟踪引擎414)执行关于用户150的头部姿态跟踪。

此外，根据一些具体实施，表710指示针对身体锁定内容启用身体姿态跟踪，并且针对世界锁定和头部锁定内容禁用身体姿态跟踪。例如，在以身体锁定呈现模式呈现内容时，计算***或其部件(例如，图2和图4A中的身体/头部姿态跟踪引擎414)执行关于用户150的身体姿态跟踪。任选地，在一些具体实施中，在以世界锁定呈现模式或头部锁定呈现模式呈现内容时，计算***或其部件(例如，图2和图4A中的身体/头部姿态跟踪引擎414)执行关于用户150的身体姿态跟踪。

根据一些具体实施，计算***基于用户的头部姿态和/或身体姿态改变来更新世界锁定、头部锁定和/或身体锁定内容的位置、取向、比例等。根据一些具体实施，计算***基于对物理环境内经受6DOF世界跟踪的一个或多个物理对象的平移和/或旋转改变来更新世界锁定内容的位置、取向、比例等。

在一些具体实施中，计算***更新身体锁定内容以保持相对于用户身体的一部分(例如，躯干)的距离和取向偏移。例如，计算***呈现远离用户躯干5米并且与用户躯干的左侧成45度的身体锁定内容(例如，相对于用户面部的初始面向前的方向)。在该示例中，如果用户的头部旋转而躯干保持静止，则身体锁定虚拟对象将看起来在3D环境中在5米远且与用户躯干的左侧成45度处保持静止，该用户躯干可以在其视野中也可以不在其视野中。然而，继续该示例，如果用户的躯干旋转(例如，通过在椅子上旋转)，则身体锁定虚拟对象将遵循躯干旋转并且在3D环境内重新定位，使得虚拟对象仍远离5米并且与用户的躯干的左侧成45度(例如，随后相对于用户面部的面向前的方向)。

根据其他具体实施，计算***更新身体锁定内容以保持相对于用户身体的一部分(例如，躯干)的距离偏移，但不保持取向偏移。例如，计算***呈现远离用户躯干5米的身体锁定内容(例如，相对于用户面部的初始面向前的方向)。在该示例中，如果用户的躯干旋转(例如，通过在椅子上旋转)，则身体锁定虚拟对象将不遵循躯干旋转并且将保持相对于用户的初始面向前的方向5米远，即现在在用户的正后方。

图8是根据一些具体实施的改进的呈现模式转变的方法的流程图表示。在各种具体实施中，方法800在包括非暂态存储器和一个或多个处理器的计算***处执行，其中该计算***通信地耦接到显示设备和一个或多个输入设备(例如，图1和图3所示的电子设备120；图1和图2中的控制器110；或它们的合适组合)。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，计算***对应于平板计算机、膝上型计算机、移动电话、近眼***、可穿戴计算设备等中的一者。在一些具体实施中，一个或多个输入设备对应于使用来自一个或多个面向外部的图像传感器的图像流的计算机视觉(CV)引擎、手指/手部/四肢跟踪引擎、眼睛跟踪引擎、触敏表面、一个或多个麦克风等。

典型地，如果在两种呈现模式下使用相同类型的跟踪或坐标系，则在呈现模式之间转换UI元素或XR内容可能是可行的。然而，如果初始呈现模式或后续呈现模式中的任一者不使用相同类型的跟踪或坐标系，则呈现模式之间的转变可能是不可行的或可能是不流畅/不连续的。因此，根据一些具体实施，本文所述的方法通过将第一UI元素的第一组描述符转换为不同于第一组描述符的第二组描述符来提供从第一呈现模式到第二呈现模式的无缝转变。因此，本文所述的本发明使得UI元素(或XR内容)能够通过将UI元素的第一组描述符(例如，其对应于第一跟踪/坐标系)转换为不同于第一组描述符的第二组描述符(例如，其对应于第二跟踪/坐标系)，来在第一呈现模式与第二呈现模式之间转变(例如，从6DOF世界跟踪转变到更高级别语义跟踪，或从更高级别语义跟踪转变到6DOF世界跟踪)。

如框810所表示的，方法800包括经由显示设备以第一呈现模式呈现第一用户界面(UI)元素，其中第一UI元素在第一呈现模式中与第一组描述符相关联。在一些具体实施中，第一UI元素对应于2D媒体内容或3D/立体XR内容。例如，第一UI元素对应于XR环境内的扩展现实(XR)内容。在一些具体实施中，第一UI元素对应于示能表示、通知、文本框等。在一些具体实施中，在处于第一呈现模式下时，计算***执行无跟踪、6DOF世界跟踪、头部姿态跟踪和/或身体姿态跟踪的一些组合。

例如，在图5A中，电子设备120以第一呈现模式呈现包括定时器小组件504A(例如，第一UI元素或XR内容)的XR环境128。例如，定时器小组件504A对应于文本、图像、图标、标志、视频内容、3D/立体XR内容等。在一些具体实施中，定时器小组件504A的第一呈现模式对应于世界/对象锁定呈现模式，由此定时器小组件504A被锚定到物理环境105内经受6DOF世界跟踪的物理对象(例如，微波炉516)。

在一些具体实施中，显示设备对应于透明透镜组件，并且其中呈现第一UI元素内容包括将第一UI元素投影到透明透镜组件上。在一些具体实施中，显示设备对应于近眼***，并且其中呈现第一UI元素包括将第一UI元素与由面向外部的图像传感器捕获的物理环境的一个或多个图像进行合成。

如框820所表示的，在以第一呈现模式呈现第一UI元素时，方法800包括检测与将第一UI元素从第一呈现模式转变到第二呈现模式相关联的触发条件，其中第一UI元素在第二呈现模式中与不同于第一组描述符的第二组描述符相关联。例如，在以头部锁定呈现模式(例如，第一呈现模式)呈现第一UI元素时，计算***可不执行任何跟踪并且在相对于显示设备的特定(例如，静态)x、y像素坐标或相对于用户视野的特定(例如，静态)x、y、z坐标处呈现第一UI元素。继续该示例，计算***可任选地基于用户的头部姿态改变来更新第一UI元素的位置、取向、比例、外观等。又如，在以身体锁定呈现模式(例如，第一呈现模式)呈现第一UI元素时，计算***可执行头部和/或身体姿态跟踪。继续该示例，计算***可基于用户的头部和/或身体姿态改变来更新第一UI元素的位置、取向、比例、外观等。

例如，参考图4A和图4B，计算***或其一部分(例如，图4A中的表征引擎442)基于运动状态向量411(例如，包括第一运动状态)、眼睛跟踪向量413(例如，包括第一注视方向)和姿态表征向量415(例如，包括第一身体姿态和第一头部姿态)来获得(例如，接收、检索、或确定/生成)表征向量443，并且随时间推移更新表征向量443。根据一些具体实施，当表征向量443等的改变满足下文参考框822描述的至少一个转变标准时，计算***检测触发条件。

在一些具体实施中，如框822所表示的，该触发条件对应于以下各项中的一项：满足至少一个转变标准的情境的改变、满足至少一个转变标准的运动状态的改变、满足至少一个转变标准的头部姿态的改变、满足至少一个转变标准的身体姿态的改变、满足至少一个转变标准的注视方向的改变、满足至少一个转变标准的深度的改变等。

例如，当计算***检测到例如从生产能力状态(例如，内容创建)到娱乐或媒体浏览状态的改变、从第一应用程序(例如，文字处理器应用程序、电子表格编辑应用程序、日历应用程序、插图或图像编辑应用程序、视频编辑应用程序等)到第二应用程序(例如，web浏览器应用程序、社交媒体应用程序、消息传送应用程序、游戏应用程序、内容查看应用程序等)的改变、诸如从明亮房间移动到昏暗房间的环境照明的改变、诸如从安静空间移动到繁忙的机场航站楼或餐厅的环境音频的改变等时，情境的改变满足转变标准。又如，当计算***检测到例如从坐着或俯卧状态到诸如步行、跑步、骑自行车等运动中状态的改变时，运动状态的改变满足转变标准。

再如，当计算***检测到例如满足(例如，超过)确定性(预定义)或非确定性阈值的头部姿态的角位移值(或对其的改变)、角速度值(或对其的改变)、角加速度值(或对其的改变)或角跳动值(或对其的改变)时，头部姿态的改变满足转变标准。再如，当计算***检测到例如满足(例如，超过)确定性(预定义)或非确定性阈值的身体姿态的一些部分的角位移值(或对其的改变)、角速度值(或对其的改变)、角加速度值(或对其的改变)或角跳动值(或对其的改变)时，身体姿态的改变满足转变标准。再如，当计算***检测到例如满足(例如，超过)确定性(预定义)或非确定性阈值的注视方向的角位移值(或对其的改变)、角速度值(或对其的改变)、角加速度值(或对其的改变)或角跳动值(或对其的改变)时，注视方向的改变满足转变标准。再如，当计算***检测到例如相对于物理环境的均值、中值、平均或最大深度低于阈值深度值时，诸如当用户150接近物理环境105内的墙壁X cm以内时，深度的改变满足转变标准。

如框830所表示的，响应于检测到触发条件，方法800包括：通过将第一组描述符转换为第二组描述符，将第一UI元素从第一呈现模式转变到第二呈现模式；以及经由显示设备以第二呈现模式呈现第一UI元素。根据一些具体实施，第一组描述符可与第一坐标系(例如，世界坐标)相关联，并且第二组描述符可与不同于第一坐标系的第二坐标系(例如，相对于用户或用户的视野的球面或柱面座标)相关联。在一些具体实施中，第一组描述符可与物理对象或物理环境内的点相关联或从其导出，并且第二组描述符可与用户的身体和/或头部姿态相关联或从其导出。

根据一些具体实施，计算***在从第一呈现模式转变到第二呈现模式之前和之后保持第一UI元素的位置、取向、比例、外观等。根据一些具体实施，计算***在从第一呈现模式转变到第二呈现模式之前、期间和之后保持第一UI元素的位置、取向、比例、外观等。

例如，参考图4A和图7，计算***或其部件(例如，模式管理器440)响应于检测到触发条件(例如，满足上文关于框822描述的至少一个转变标准的表征向量443的改变)而将第一UI元素从第一呈现模式转变到第二呈现模式。在一些具体实施中，在处于第二呈现模式下时，计算***执行不同于第一呈现模式下的组合的无跟踪、6DOF世界跟踪、头部姿态跟踪和/或身体姿态跟踪的一些组合。

在一些具体实施中，计算***基于启发法将第一组描述符转换为第二组描述符，该启发法可增加呈现模式之间的转变的流畅性、遵循新的呈现模式、和/或与呈现模式之间的转变的适当隐喻保持一致。例如，第一组描述符对应于与相对于物理环境内的物理对象的6DOF中的平移和旋转相关联的属性或值(例如，对于世界锁定内容)，并且第二组描述符对应于与诸如相对于用户的角偏移等的语义信息相关联的属性或信息(例如，对于身体锁定内容)。例如，计算***将世界锁定内容的X、Y和Z坐标转换为相对于身体锁定或头部锁定内容的用户的身体和/或头部的圆面或球面坐标。又如，计算***将世界锁定内容的旋转值转换为身体锁定或头部锁定内容的旋转值。因此，根据一些具体实施，计算***提供一致的用户体验，使得虚拟对象在切换呈现模式之前和之后以相同的位置和/或取向出现。

在一些具体实施中，如框832所表示的，第一呈现模式对应于头部锁定呈现模式、身体锁定呈现模式或世界锁定呈现模式中的一者，并且第二呈现模式对应于不同于第一呈现模式的头部锁定呈现模式、身体锁定呈现模式或世界锁定呈现模式中的一者。例如，在图5A中，电子设备120以第一呈现模式(例如，世界/对象锁定呈现模式)呈现包括定时器小组件504A(例如，第一UI元素或XR内容)的XR环境128。

在一些具体实施中，如框834所表示的，第一组描述符包括与六自由度(6DOF)世界跟踪相关联的平移和旋转值，并且第二组描述符包括不与6DOF世界跟踪相关联的语义信息。例如，第一组描述符包括相对于物理环境105内的物理对象的平移和旋转值。又如，第一组描述符包括相对于XR环境128内的参考点或原点的平移和旋转值。再如，第一组描述符包括相对于物理环境105内的参考点或原点的平移和旋转值。例如，第二组描述符对应于更高级别语义信息，诸如相对于用户或用户的一部分(例如，用户的躯干)的x和y角偏移以及第二呈现模式(例如，头部锁定呈现模式或身体锁定呈现模式)的z深度与第一呈现模式(例如，世界锁定呈现模式)的6DOF世界跟踪信息。

例如，参考图7中的转变702，在处于第一呈现模式(例如，世界锁定呈现模式)下时，第一UI元素由包括用于6DOF世界跟踪的平移和/或旋转值的第一组描述符定义。继续参考转变702，在处于第二呈现模式(例如，头部锁定呈现模式)下时，第一UI元素由包括语义信息(诸如相对于显示设备的像素坐标等)的第二组描述符定义。

又如，参考图7中的转变704，在处于第一呈现模式(例如，世界锁定呈现模式)下时，第一UI元素由包括用于6DOF世界跟踪的平移和/或旋转值的第一组描述符定义。继续参考转变704，在处于第二呈现模式(例如，身体锁定呈现模式)下时，第一UI元素由包括语义信息(诸如相对于用户的当前身体和/或头部姿态的平移和/或旋转值)的第二组描述符定义。

在一些具体实施中，如框836所表示的，第一组描述符包括不与6DOF世界跟踪相关联的语义信息，并且第二组描述符包括与六自由度(6DOF)世界跟踪相关联的平移和旋转值。例如，参考图7中的转变706，在处于第一呈现模式(例如，头部锁定呈现模式)下时，第一UI元素由包括语义信息(诸如相对于显示设备的像素坐标等)的第一组描述符定义。继续参考转变706，在处于第二呈现模式(例如，世界锁定呈现模式)下时，第一UI元素由包括用于6DOF世界跟踪的平移和/或旋转值的第二组描述符定义。

又如，参考图7中的转变714，在处于第一呈现模式(例如，身体锁定呈现模式)下时，第一UI元素由包括语义信息(诸如相对于用户的当前身体和/或头部姿态的平移和/或旋转值)的第一组描述符定义。继续参考转变714，在处于第二呈现模式(例如，世界锁定呈现模式)下时，第一UI元素由包括用于6DOF世界跟踪的平移和/或旋转值的第二组描述符定义。

在一些具体实施中，第一UI元素在第一呈现模式下相对于用户的头部和/或身体姿态改变是动态的(例如，更新的)，并且第一UI元素在第二呈现模式下相对于用户的头部和/或身体姿态改变是静态的(例如，不更新的)。在一些具体实施中，第一UI元素在第一呈现模式下相对于用户的头部和/或身体姿态改变是静态的，并且第一UI元素在第二呈现模式下相对于用户的头部和/或身体姿态改变是动态的。

在一些具体实施中，第一UI元素在第一呈现模式下相对于经受6DOF世界跟踪的物理环境内的物理对象的平移和/或旋转姿态改变是动态的(例如，更新的)，并且第一UI元素在第二呈现模式下相对于经受6DOF世界跟踪的物理环境内的物理对象的平移和/或旋转姿态改变是静态的(例如，不更新的)。在一些具体实施中，第一UI元素在第一呈现模式下相对于经受6DOF世界跟踪的物理环境内的物理对象的平移和/或旋转姿态改变是静态的，并且第一UI元素在第二呈现模式下相对于经受6DOF世界跟踪的物理环境内的物理对象的平移和/或旋转姿态改变是动态的。

根据一些具体实施，计算***基于用户的头部姿态和/或身体姿态改变来更新世界锁定、头部锁定和/或身体锁定内容(例如，第一UI元素)的位置、取向、比例、外观等。根据一些具体实施，计算***基于对物理环境内经受6DOF世界跟踪的一个或多个物理对象的平移和/或旋转改变来更新世界锁定内容(例如，第一UI元素)的位置、取向、比例、外观等。

在一些具体实施中，方法800还包括经由显示设备呈现与将第一UI元素从第一呈现模式转变到第二呈现模式相关联的动画。在一些具体实施中，方法800还包括经由一个或多个输出设备提供与将第一UI元素从第一呈现模式转变到第二呈现模式相关联的反馈。在一些具体实施中，一个或多个输出设备对应于一个或多个显示器、扬声器、触觉引擎等。例如，反馈对应于视觉反馈，诸如在第一UI元素上呈现的聚光灯、围绕第一UI元素的框、邻近第一UI元素呈现或叠加在第一UI元素上的通知或文本框、UI内的横幅通知、第一UI元素的外观改变(例如，第一UI元素的亮度、颜色、纹理、对比度等的改变)等。又如，反馈对应于触觉反馈、听觉反馈等。

在一些具体实施中，方法800还包括：经由显示设备以第一呈现模式呈现第二UI元素，其中该第二UI元素在第一呈现模式中与第三组描述符相关联；在以第一呈现模式呈现第二UI元素时，检测触发条件；以及响应于检测到触发条件：通过将第三组描述符转换为第四组描述符来将第二UI元素从第一呈现模式转变到第二呈现模式，其中第二UI元素在第二呈现模式中与不同于第三组描述符的第四组描述符相关联；以及经由显示设备以第二呈现模式呈现第二UI元素。在一些具体实施中，在检测到触发条件时，计算***将第一UI元素和第二UI元素两者转变到第二呈现模式。在一些具体实施中，用于将第二UI元素从第一呈现模式转变到第二呈现模式的触发条件类似于上文关于框822描述的用于将第一UI元素从第一呈现模式转变到第二呈现模式的触发条件。在一些具体实施中，用于将第二UI元素从第一呈现模式转变到第二呈现模式的触发条件不同于上文关于框822描述的用于将第一UI元素从第一呈现模式转变到第二呈现模式的触发条件。

在一些具体实施中，方法800还包括：经由显示设备以第一呈现模式呈现第二UI元素，其中该第二UI元素在第一呈现模式中与第三组描述符相关联；在以第一呈现模式呈现第二UI元素时，检测触发条件；以及响应于检测到触发条件，保持以第一呈现模式呈现第二UI元素。在一些具体实施中，在检测到触发条件时，计算***将第一UI元素转变到第二呈现模式并且以第一呈现模式保持第二UI元素。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一媒体项可以被称为第二媒体项，并且类似地，第二媒体项可以被称为第一媒体项，这改变描述的含义，只要出现的“第一媒体项”被一致地重命名并且出现的“第二媒体项”被一致地重命名。该第一媒体项和该第二媒体项都是媒体项，但它们不是相同的媒体项。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”、“一”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (39)

1.一种方法，包括：

在包括非暂态存储器和一个或多个处理器的计算***处，其中所述计算***通信地耦接到显示设备和一个或多个输入设备：

在处于第一情境状态时，根据第一呈现模式经由所述显示设备呈现扩展现实(XR)内容，并且使得第一组输入模式能够指向所述XR内容；

检测从所述第一情境状态到第二情境状态的改变；以及

响应于检测到从所述第一情境状态到所述第二情境状态的所述改变，根据不同于所述第一呈现模式的第二呈现模式经由所述显示设备呈现所述XR内容，并且使得不同于所述第一组输入模式的第二组输入模式能够指向所述XR内容。

2.根据权利要求1所述的方法，还包括：

获得包括至少第一位置、第一运动状态、第一身体姿态和第一注视方向的第一表征向量，其中所述第一情境状态基于所述第一表征向量。

3.根据权利要求2所述的方法，其中获得所述第一表征向量对应于基于由所述计算***收集的传感器数据来生成所述第一表征向量。

4.根据权利要求1至3中任一项所述的方法，其中所述第一情境状态对应于与坐着相关联的第一身体姿态，并且所述第二情境状态对应于与站立相关联的第二身体姿态。

5.根据权利要求1至3中任一项所述的方法，其中所述第一情境状态对应于当前静止运动状态，并且所述第二情境状态对应于当前运动中的运动状态。

6.根据权利要求1至5中任一项所述的方法，其中所述第一呈现模式和所述第二呈现模式对应于头部锁定呈现模式、显示器锁定呈现模式、身体锁定呈现模式、对象锁定呈现模式、世界锁定呈现模式或设备锁定呈现模式中的一者。

7.根据权利要求1至6中任一项所述的方法，其中所述第一呈现模式和所述第二呈现模式对应于外观类型或内容类型中的一者。

8.根据权利要求1至7中任一项所述的方法，其中所述第一组输入模式和所述第二组输入模式包括手指跟踪输入、手部跟踪输入、四肢跟踪输入、眼睛跟踪输入、音频输入或触摸输入中的至少一者。

9.根据权利要求1至8中任一项所述的方法，其中所述第一组输入模式和所述第二组输入模式包括至少一个不同的输入模式。

10.根据权利要求1至8中任一项所述的方法，其中所述第一组输入模式和所述第二组输入模式包括互斥的输入模式。

11.根据权利要求1至10中任一项所述的方法，其中所述第一呈现模式对应于头部或显示器锁定呈现模式，并且所述第一组输入模式包括眼睛跟踪输入和音频输入，而所述第一情境状态对应于操作或交通工具。

12.根据权利要求1至10中任一项所述的方法，其中所述第一呈现模式对应于世界或对象锁定呈现模式，并且所述第一组输入模式包括手指跟踪输入、手部跟踪输入、四肢跟踪输入、眼睛跟踪输入、音频输入、或触摸输入，而所述第一情境状态对应于基本上静止的活动的执行。

13.根据权利要求1至12中任一项所述的方法，还包括：

响应于检测到从所述第一情境状态到所述第二情境状态的所述改变，经由所述显示设备呈现与所述第二情境状态相关联的指示。

14.根据权利要求1至13中任一项所述的方法，还包括：

响应于检测到从所述第一情境状态到所述第二情境状态的所述改变，经由所述显示设备呈现与所述第二组输入模式相关联的指示。

15.根据权利要求1至14中任一项所述的方法，还包括：

响应于检测到从所述第一情境状态到所述第二情境状态的所述改变，基于所述第二情境状态来经由所述显示设备呈现一个或多个应用程序启动器选项。

16.根据权利要求1至15中任一项所述的方法，还包括：

在根据第二呈现模式呈现所述XR内容之后，检测指向所述XR内容的用户输入；以及

响应于检测到所述用户输入并且根据确定所述用户输入对应于所述第二组输入模式中的一者，基于所述用户输入来修改所述XR内容。

17.根据权利要求16所述的方法，其中修改所述XR内容对应于旋转、平移或缩放所述XR内容中的至少一种。

18.根据权利要求16至17中任一项所述的方法，其中修改所述XR内容对应于改变所述XR内容的外观。

19.根据权利要求1至18中任一项所述的方法，其中所述显示设备对应于透明透镜组件，并且其中呈现所述XR内容包括将所述XR内容投影到所述透明透镜组件上。

20.根据权利要求1至18中任一项所述的方法，其中所述显示设备对应于近眼***，并且其中呈现所述XR内容包括将所述XR内容与由面向外部的图像传感器捕获的物理环境的一个或多个图像进行合成。

21.一种设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信；和

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中并且当由所述一个或多个处理器执行时使所述设备执行根据权利要求1至20中任一项所述的方法。

22.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备进行通信的接口的设备的一个或多个处理器执行时，使所述设备执行根据权利要求1至20中任一项所述的方法。

23.一种设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信，和

用于使所述设备执行根据权利要求1至20中任一项所述的方法的装置。

24.一种方法，包括：

在包括非暂态存储器和一个或多个处理器的计算***处，其中所述计算***通信地耦接到显示设备和一个或多个输入设备：

经由所述显示设备以第一呈现模式呈现第一用户界面(UI)元素，其中所述第一UI元素在所述第一呈现模式中与第一组描述符相关联；

在以所述第一呈现模式呈现所述第一UI元素时，检测与将所述第一UI元素从所述第一呈现模式转变到第二呈现模式相关联的触发条件，其中所述第一UI元素在所述第二呈现模式中与不同于所述第一组描述符的第二组描述符相关联；以及

响应于检测到所述触发条件：

通过将所述第一组描述符转换为所述第二组描述符，

将所述第一UI元素从所述第一呈现模式转变到所述第二呈现模式；以及

经由所述显示设备以所述第二呈现模式呈现所述第一UI元素。

25.根据权利要求24所述的方法，其中所述第一呈现模式对应于头部锁定呈现模式、身体锁定呈现模式或世界锁定呈现模式中的一者，并且其中第二呈现模式对应于不同于所述第一呈现模式的头部锁定呈现模式、身体锁定呈现模式或世界锁定呈现模式中的一者。

26.根据权利要求24至25中任一项所述的方法，其中所述触发条件对应于以下各项中的一项：满足至少一个转变标准的情境的改变、满足至少一个转变标准的运动状态的改变、满足至少一个转变标准的头部姿态的改变、满足至少一个转变标准的身体姿态的改变、或满足至少一个转变标准的注视方向的改变。

27.根据权利要求24至26中任一项所述的方法，其中所述第一组描述符包括与六自由度(6DOF)世界跟踪相关联的平移和旋转值，并且其中所述第二组描述符包括不与6DOF世界跟踪相关联的语义信息。

28.根据权利要求24至26中任一项所述的方法，其中所述第一组描述符包括不与六自由度(6DOF)世界跟踪相关联的语义信息，并且其中所述第二组描述符包括与6DOF世界跟踪相关联的平移和旋转值。

29.根据权利要求24至28中任一项所述的方法，还包括：

在以所述第一呈现模式呈现所述第一UI元素时，基于所述计算***的用户的头部姿态或身体姿态中的至少一者的改变来更新所述第一UI元素的位置、取向、比例或外观中的至少一者。

30.根据权利要求24至29中任一项所述的方法，还包括：

在以所述第一呈现模式呈现所述第一UI元素时，基于物理环境内的物理对象的至少一个平移或旋转值的改变来更新所述第一UI元素的位置、取向、比例或外观中的至少一者。

31.根据权利要求24至30中任一项所述的方法，还包括：

在将所述第一UI元素从所述第一呈现模式转变到所述第二呈现模式时，在从所述第一呈现模式转变到所述第二呈现模式之前和之后保持所述第一UI元素的位置、取向、比例或外观中的至少一者。

32.根据权利要求24至30中任一项所述的方法，还包括：

在将所述第一UI元素从所述第一呈现模式转变到所述第二呈现模式时，在从所述第一呈现模式转变到所述第二呈现模式之前、期间和之后保持所述第一UI元素的位置、取向、比例或外观中的至少一者。

33.根据权利要求24至32中任一项所述的方法，还包括：

经由所述显示设备呈现与将所述第一UI元素从所述第一呈现模式转变到所述第二呈现模式相关联的动画。

34.根据权利要求24至33中任一项所述的方法，还包括：

经由一个或多个输出设备提供与将所述第一UI元素从所述第一呈现模式转变到所述第二呈现模式相关联的反馈。

35.根据权利要求24至34中任一项所述的方法，还包括：

经由所述显示设备以所述第一呈现模式呈现第二UI元素，其中所述第二UI元素在所述第一呈现模式中与第三组描述符相关联；

在以所述第一呈现模式呈现所述第二UI元素时，检测所述触发条件；以及

响应于检测到所述触发条件：

通过将所述第三组描述符转换为第四组描述符来将所述第二UI元素从所述第一呈现模式转变到所述第二呈现模式，其中所述第二UI元素在所述第二呈现模式中与不同于所述第三组描述符的所述第四组描述符相关联；以及

经由所述显示设备以所述第二呈现模式呈现所述第二UI元素。

36.根据权利要求24至34中任一项所述的方法，还包括：

经由所述显示设备以所述第一呈现模式呈现第二UI元素，其中所述第二UI元素在所述第一呈现模式中与第三组描述符相关联；

在以所述第一呈现模式呈现所述第二UI元素时，检测所述触发条件；以及

响应于检测到所述触发条件，保持以所述第一呈现模式呈现所述第二UI元素。

37.一种设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信；和

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中并且当由所述一个或多个处理器执行时使所述设备执行根据权利要求24至36中任一项所述的方法。

38.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备进行通信的接口的设备的一个或多个处理器执行时，使所述设备执行根据权利要求24至36中任一项所述的方法。

39.一种设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信，以及

用于使所述设备执行根据权利要求24至36中任一项所述的方法的装置。