CN116719452A - 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 - Google Patents

用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 Download PDF

Info

Publication number
CN116719452A
CN116719452A CN202310683358.8A CN202310683358A CN116719452A CN 116719452 A CN116719452 A CN 116719452A CN 202310683358 A CN202310683358 A CN 202310683358A CN 116719452 A CN116719452 A CN 116719452A
Authority
CN
China
Prior art keywords
user interface
interface element
user
electronic device
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310683358.8A
Other languages
English (en)
Inventor
I·帕斯特拉纳文森特
J·R·达斯科拉
W·M·霍尔德
A·H·帕兰吉
A·M·伯恩斯
P·普拉·艾·柯尼萨
W·A·索伦蒂诺三世
S·O·勒梅
C·D·麦肯齐
P·L·哈加斯
邱诗善
B·H·博伊塞尔
J·拉瓦兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116719452A publication Critical patent/CN116719452A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法。在一些实施方案中，电子设备增强了与三维环境中的虚拟对象的交互。在一些实施方案中，电子设备增强了与可选择用户界面元素的交互。在一些实施方案中，电子设备增强了与滑块用户界面元素的交互。在一些实施方案中，电子设备移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作。

Description

用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示 能表示交互的方法
本申请是申请日为2021年9月25日、申请号为202180065816.0、发明名称为“用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法”的中国专利申请的分案申请，该中国专利申请要求2020年9月25日提交的美国临时申请63/083,802号以及2021年9月23日提交的美国临时申请63/261,555号的权益。
技术领域
本发明整体涉及计算机***，该计算机***具有呈现图形用户界面的显示生成部件和一个或多个输入设备，包括但不限于经由显示生成部件呈现包括虚拟对象的三维环境的电子设备。
背景技术
近年来，用于增强现实的计算机***的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机***和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的***、需要一系列输入来在增强现实环境中实现期望结果的***，以及虚拟对象操纵复杂、繁琐且容易出错的***，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机***来向用户提供计算机生成的体验，从而使得用户与计算机***的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的***减少或消除了与用于计算机***的用户界面相关联的上述缺陷和其他问题，这些计算机***具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机***是具有相关联显示器的台式计算机。在一些实施方案中，计算机***是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机***是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机***具有触控板。在一些实施方案中，计算机***具有一个或多个相机。在一些实施方案中，计算机***具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机***具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机***具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机***还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机***具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于导航用户界面和与这些用户界面交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的对象交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，电子设备增强了与可选用户界面元素的交互。在一些实施方案中，电子设备增强了与滑块用户界面元素的交互。在一些实施方案中，电子设备移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机***的操作环境的框图。
图2是示出根据一些实施方案的计算机***的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机***的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机***的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机***的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7D示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
图8A至图8M是示出根据一些实施方案的增强与可选用户界面元素的交互的方法的流程图。
图9A至图9E示出了根据一些实施方案的电子设备如何增强与滑块用户界面元素的交互的示例。
图10A至图10J是示出根据一些实施方案的增强与滑块用户界面元素的交互的方法的流程图。
图11A至图11D示出了根据一些实施方案的电子设备如何移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的示例。
图12A至图12O是示出根据一些实施方案的移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的方法的流程图。
图13A至图13F示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
图14A至图14L是示出根据一些实施方案的增强与可选用户界面元素的交互的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的***、方法和GUI提供了电子设备与三维环境中的对象交互并操纵三维环境中的对象的改进的方式。三维环境任选地包括一个或多个虚拟对象、处于电子设备的物理环境中的真实对象的一个或多个表示(例如，被显示为真实对象的照片真实感(例如，“透传”)表示或通过显示生成部件的透明部分对用户可见的表示)和/或用户在三维环境中的表示。
在一些实施方案中，电子设备促进与可选用户界面元素的交互。在一些实施方案中，电子设备在三维环境中呈现一个或多个可选用户界面元素。在一些实施方案中，响应于检测到指向相应可选用户界面元素的用户的注视，电子设备更新可选用户界面元素的外观，诸如增加可选用户界面元素与用户界面的另一部分的z间距。在一些实施方案中，电子设备响应于包括检测到用户的注视以及检测到用户利用其手执行预先确定的手势中的一者或多者的用户输入而选择用户界面元素和执行相关联动作。以此方式增强与可选用户界面元素的交互提供了利用电子设备进行选择和执行动作的高效且直观的方式。
在一些实施方案中，电子设备增强了与滑块用户界面元素的交互。在一些实施方案中，滑块用户界面元素包括对滑块用户界面的当前输入状态的指示。在一些实施方案中，响应于检测到用户的注视在滑块用户界面元素上，电子设备更新滑块用户界面元素以包括对滑块用户界面元素的多个可用输入状态的指示。电子设备任选地响应于包括检测到用户的注视和/或检测到用户执行预先确定的手势的输入而改变滑块用户界面元素的当前输入状态。增强与滑块用户界面元素的交互提供了调整滑块用户界面元素的输入状态和在与滑块相关联的电子设备上执行动作的高效方式。
在一些实施方案中，电子设备移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作。在一些实施方案中，电子设备显示与虚拟环境中的虚拟对象相关联的用户界面元素。在一些实施方案中，响应于检测到第一输入朝向用户界面元素，电子设备发起用于移动虚拟环境中相关联的虚拟对象的过程。在一些实施方案中，响应于检测到第二输入朝向用户界面元素，电子设备更新用户界面元素以包括多个可选选项，该多个可选选项当被选择时使得电子设备执行指向虚拟对象的相应动作。利用用户界面元素移动虚拟对象并增强指向虚拟对象的附加动作提供了与虚拟对象交互的高效方式。
在一些实施方案中，电子设备促进与可选用户界面元素的交互，并且响应于检测到选择输入的至少一部分指向可选用户界面元素而提供增强的视觉反馈。在一些实施方案中，电子设备在处于第二容器用户界面元素内的第一容器用户界面元素内呈现可选用户界面元素。在一些实施方案中，响应于检测到用户的注视指向可选用户界面元素，电子设备更新可选用户界面元素和第一容器用户界面元素的外观，诸如增加可选用户界面元素与第一容器用户界面元素的z间距以及增加第一容器用户界面元素与第二容器用户界面元素的z间距。在一些实施方案中，响应于选择输入的开始，电子设备减小可选用户界面元素与第一容器用户界面元素之间的视觉间距。在一些实施方案中，响应于与将可选用户界面元素的z高度减小超过可选用户界面元素与第一容器用户界面元素之间的视觉间距的量对应的选择输入的继续，电子设备通过根据输入的继续而减小可选用户界面元素和第一容器用户界面元素的z高度以及减小第一容器用户界面元素与第二容器用户界面元素之间的视觉间距来继续视觉反馈。在一些实施方案中，响应于与将可选择用户界面元素和第一容器用户界面元素的z高度减小大于第一容器用户界面元素与第二容器用户界面元素之间的z间距的量对应的选择输入的继续，电子设备根据输入的继续而减小可选择用户界面元素、第一容器用户界面元素和第二容器用户界面元素的z高度。以此方式增强与可选用户界面元素的交互提供了利用电子设备进行选择和执行动作的高效且直观的方式。
图1至图6提供了用于向用户提供CGR体验的示例性计算机***的描述(诸如下文相对于方法800、1000、1200和1400所述的)。在一些实施方案中，如图1中所示，经由包括计算机***101的操作环境100向用户提供CGR体验。计算机***101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个***设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和***设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机***101检测到的输入进行交互，这些输入使得生成CGR体验的计算机***生成与提供给计算机***101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子***帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子***进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子***可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该***可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用***经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该***感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件：有许多不同类型的电子***使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或***装设备195中的一个或多个***装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信***(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位***(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制***部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作***230和CGR体验模块240。
操作***230包括用于处理各种基础***服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或***设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或***设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或***装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或***设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各***部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作***330和CGR呈现模块340。
操作***330包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或***设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩***图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用***观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪***，该注视跟踪***包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在***区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪***中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪***的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪***(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪***可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪***使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪***尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪***可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机***101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，CGR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由电子设备的相机和显示器主动地或经由电子设备的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实***，其中三维环境基于由设备的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实***，该设备任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来如同它们存在于由电子设备显示的三维环境中一样。类似地，该设备任选地能够通过将虚拟对象放置在三维环境中在真实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来如同虚拟对象存在于真实世界(例如，物理环境)中一样。例如，该设备任选地显示花瓶，使得该花瓶看起来如同真实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的每个位置在物理环境中具有对应位置。因此，当设备被描述为在相对于物理对象的相应位置(例如，诸如在用户的手处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，设备在三维环境中的特定位置处显示虚拟对象，使得看起来如同虚拟对象在物理世界中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中与物理环境中如果该虚拟对象是该特定位置处的真实对象则将显示该虚拟对象的位置对应的位置处)。
在一些实施方案中，在三维环境中显示的存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或多只手与三维环境中的虚拟对象交互，就好像虚拟对象是物理环境中的真实对象。例如，如上文所述，设备的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手的表示(例如，以类似于在上文所述的三维环境中显示真实世界对象的方式)，或者在一些实施方案中，由于显示生成部件的正在显示用户界面或用户界面到透明/半透明表面上的投影或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影的一部分的透明度/半透明度，经由显示生成部件、经由透过用户界面看见物理环境的能力可看到用户的手。因此，在一些实施方案中，用户的手在三维环境中的相应位置处显示，并且被视为好像它们是三维环境中能够与三维环境中的虚拟对象交互的对象，就好像这些虚拟对象是物理环境中的真实物理对象。在一些实施方案中，用户能够移动他或她的手以使得手在三维环境中的表示结合用户的手的移动而移动。
在下文所述的实施方案中的一些实施方案中，设备任选地能够确定物理世界中的物理对象与三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正在与虚拟对象交互(例如，手是否正在触摸、抓取、握持等虚拟对象或处于距虚拟对象的阈值距离内)。例如，设备当确定用户是否正在与虚拟对象交互并且/或者用户正在如何与虚拟对象交互时确定用户的手与虚拟对象之间的距离。在一些实施方案中，设备通过确定手在三维环境中的位置与感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手与虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，设备任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的位置)处显示该一只或多只手。任选地将手在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手与虚拟对象之间的距离。在一些实施方案中，设备任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象与虚拟对象之间的距离。例如，当确定用户的一只或多只手与虚拟对象之间的距离时，设备任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位与用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，设备任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理世界。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，以及/或者由用户握持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则设备任选地确定三维环境中的对应定位，并且如果虚拟对象位于该对应虚拟定位处，则设备任选地确定用户的注视指向该虚拟对象。类似地，该设备任选地能够基于物理触笔的取向来确定该触笔在物理世界中指向的方向。在一些实施方案中，基于该确定，设备确定三维环境中与物理世界中触笔指向的位置对应的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可指用户(例如，设备的用户)在三维环境中的位置和/或设备在三维环境中的位置。在一些实施方案中，设备的用户正在握持、佩戴或以其他方式位于电子设备处或附近。因此，在一些实施方案中，设备的位置用作用户的位置的代理。在一些实施方案中，设备和/或用户在物理环境中的位置对应于三维环境中的相应位置。在一些实施方案中，相应位置是三维环境的“相机”或“视图”从其延伸的位置。例如，设备的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向由显示生成部件显示的物理环境的相应部分，则用户将从该位置看到物理环境中处于与在对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则设备和/或用户的位置是用户将看到物理环境中处于与在虚拟对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和真实世界对象)的这些虚拟对象的定位。
在本公开中，相对于与计算机***的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机***的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机***与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面杂乱、在一组条件已经被满足时执行操作而无需进一步的用户输入和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要***或计算机可读介质声明该***或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，***或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机***(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7D示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
图7A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境702。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境中利用参考图7A至图7D所述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图7A所示，三维环境702包括对话框706，该对话框包括文本710和多个可选选项708a-d。在一些实施方案中，电子设备101从电子设备101的用户在三维环境702中的视点呈现三维环境702。因此，在一些实施方案中，电子设备101在三维环境702中在距用户在三维环境702中的视点的各种距离(例如，各种z高度)处显示一个或多个对象。例如，对话框706显示有阴影，该阴影指示对话框相对于三维环境706(例如，设备101的物理环境)中的参考系的z高度。作为另一个示例，在图7A中，选项708a-708d显示为没有阴影，这指示选项708a-708d在与三维环境702中的对话框706的其余部分相同的z高度处显示。
在一些实施方案中，响应于检测到对该多个可选选项708a-d中的一个可选选项的选择，电子设备101执行与所选选项相关联的动作。在一些实施方案中，可选选项708a-d与包括在对话框706中的文本710相关。例如，文本710描述了具有多个可用配置的特征或设置，并且可选选项708a-d是能够选择的以根据由文本710描述的特征或设置的相应配置来配置电子设备101。
在一些实施方案中，如下文将参考图7B至图7D所述的，电子设备101响应于包括检测到用户的注视以及检测到用户的手704的定位和/或利用该用户的该手执行的手势的用户输入而检测对选项708a-d的选择。例如，电子设备101在以下情况下选择选项708a-d：响应于检测到用户的注视指向相应选项达预先确定的时间段(例如，0.2、0.5、1、2秒等)而未检测到附加输入；响应于检测到用户通过将其具有伸出的一根或多根手指的手(例如，呈指向手势)移动到与三维环境702对应的位置来“推动”相应选项，这对应于触摸选项并将其远离用户推动预先确定的量；和/或响应于检测到用户利用其手704执行预先确定的手势(例如，用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)(例如，捏合手势))，同时看向相应选项。在一些实施方案中，电子设备101在检测到选择时修改相应选项的外观。在检测到选择时修改相应选项的外观向用户提供了检测到选择的反馈，并且允许用户在做出选择之前纠正选择错误。
图7A示出了在电子设备101不检测朝向可选选项708a-d中的任一可选选项的输入时的对话框706。如上文所述，朝向可选选项708a-d的输入任选地包括检测到用户的注视指向可选选项708a-d中的一个可选选项以及/或者检测到具有相应手势和/或定位的用户的手704朝向选项708a-d中的一个选项。在图7A中，用户的注视(未示出)不指向可选选项708a-d中的一个可选选项。图7A中的用户的手704任选地不执行预先确定的手势中的一个预先确定的手势(例如，指向手势或捏合手势)并且/或者不在与三维环境702中的可选选项708a-d中的一个可选选项的位置对应的定位中。
在图7B中，电子设备101检测到朝向选项A 708a的输入开始。例如，电子设备101检测到用户的注视712朝向选项A 708a达预先确定的时间阈值(例如，0.1、0.2、0.5、1秒等)而未检测到附加输入(例如，包括检测用户的手704的输入)。作为另一个示例，电子设备101检测到用户的一根或多根(或全部)手指伸出的手704朝向三维环境702中的选项A 708a的位置伸出。在一些实施方案中，用户的手704做出指向手势(例如，一根或多根但非全部手指伸出)。在一些实施方案中，用户的手704不做出指向手势(例如，手704的所有手指都伸出)。在一些实施方案中，手的位置处于距与三维环境702中的选项708a对应的位置的阈值距离(例如，1、2、10、20、30厘米等)内。在一些实施方案中，手做出捏合手势的开始部分，诸如拇指和另一手指处于彼此的阈值距离(例如，0.5、1、2厘米等)内。电子设备101任选地同时检测用户对选项A 708a的注视712以及上文所述的手704的手势和/或定位。
响应于检测到注视712和/或手势和/或手704的位置，电子设备101在检测到注视和/或手势和/或定位时逐渐增加选项A 708a与对话框706的其余部分之间的z间距。在一些实施方案中，电子设备101在三维环境702中将选项708a朝向用户移动并且/或者在三维环境702中将对话框706的其余部分远离用户移动。在一些实施方案中，三维环境702包括从用户在三维环境702中的视点来看的多个可能z高度的分级级别。例如，在图7B中，选项A 708a以第一分级级别呈现，并且对话框706的其余部分以第二(例如，更低)分级级别呈现。在一些实施方案中，三维环境702包括处于距用户在三维环境702中的附加z高度处的附加分级级别的附加对象。
图7C示出了电子设备101检测到对选项A 708a的选择。在一些实施方案中，响应于当显示图7B所示的三维环境702时检测到对选项A 708a的选择，电子设备101减小选项A708a与对话框706的其余部分之间的z间距。在一些实施方案中，一旦选项A 708a的z高度达到对话框706的其余部分的z高度，电子设备101就选择选项A 708a并更新选项A 708a的颜色。
在一些实施方案中，通过以下方式检测到对选项A 708a的选择：检测到用户的注视712在选项A 708a上达长于图7B中的用户的注视712的持续时间的第二阈值时间(例如，0.2、0.5、1、2秒等)，而不检测附加输入(例如，经由用户的手704进行的附加输入)。在一些实施方案中，当检测到注视712在选项A 708a上达长于与图7B对应的时间量时，电子设备101逐渐减小选项A 708a与对话框706的其余部分之间的z间距。在一些实施方案中，一旦已经检测到注视712在选项A 708a上达第二阈值时间并且电子设备101在与对话框706相同的z高度处显示选项A 708a，电子设备101就更新选项A 708a的颜色并且根据选项A 708a执行操作。
在一些实施方案中，响应于在用户的注视712朝向选项A 708a时检测到用户利用其手704执行捏合手势而检测对选项A 708a的选择。在一些实施方案中，响应于在检测到注视712在选项A 708a上时检测到用户利用其手704执行捏合手势，电子设备101以比电子设备101响应于仅注视输入而减小选项A 708a与对话框706的其余部分之间的z间距的速度更快的速度逐渐减小选项A 708a与对话框706的其余部分之间的z间距。在一些实施方案中，一旦选项A 708a达到与对话框706的其余部分相同的z高度(例如，响应于维持捏合手势达阈值(例如，0.1、0.2、0.5秒等)时间)，电子设备101就更新选项A 708a的颜色708a。在一些实施方案中，电子设备101响应于当显示三维环境702时检测到捏合手势结束(例如，用户将其拇指远离另一手指移动)而执行与选项A 708a相关联的动作，如图7C所示。
在一些实施方案中，响应于检测到用户通过利用其手704做出指向手势以及将其手704在与朝向对话框706的其余部分对应的方向上从与图7B所示的三维环境702中的选项A 708a的位置对应的位置移动来“推动”选项A 708a，而检测到对选项A 708a的选择。在一些实施方案中，在用户的注视712朝向选项A 708a而未检测到捏合手势(或指向手势)时，电子设备101以预先确定的速度逐渐减小选项A 708a与对话框706的其余部分之间的z间距。在一些实施方案中，一旦用户开始如刚刚所述的那样朝向对话框706的其余部分“推动”选项A 708a，电子设备101就根据用户的手704朝向对话框706的其余部分的移动来更新选项A708a的z高度。例如，电子设备101更新选项A 708a的z定位的速度和距离对应于用户的手704朝向对话框706的其余部分移动的速度和距离。在一些实施方案中，响应于用户的手704的移动，同时维持与电子设备101在与对话框706的其余部分相同的z高度处显示选项A708a对应的指向手势，电子设备更新选项A 708a的颜色708a。在一些实施方案中，电子设备101响应于在已经将选项A 708a“推动”到与对话框706的其余部分相同的z高度之后检测到用户“推动”选项A 708a的结束(例如，用户停止执行指向手势，用户将手704远离与选项A708a对应的位置移动)而执行与选项A 708a相关联的动作。
在一些实施方案中，电子设备101响应于开始满足选择标准但最终不满足选择标准的输入而开始减小图7B所示的选项A 708a的z间距但不选择如上文所述的选项A 708a。例如，电子设备101检测到用户的注视712达大于与如图7B所示的三维环境702的显示对应的持续时间但小于与如图7C所示的三维环境702的显示对应的持续时间的持续时间。作为另一个示例，电子设备101当用户的注视712朝向选项708a达小于预先确定的阈值(例如，0.1、0.2、0.5、1秒等)的时间量时，检测用户利用其手101执行捏合手势。作为另一个示例，用户将选项A 708a从图7B所示的z高度“推动”小于图7B中的选项A 708a之间的z间距的距离。在一些实施方案中，响应于检测到与开始选择选项A 708a而不作出对选项A 708a的选择对应的输入，电子设备101动画化选项A 708a与对话框706的其余部分之间的间距，从而用惯性增加到图7B所示的间距。例如，电子设备101示出了选项A 708a与对话框706的其余部分之间的z间距的减速，随后增加选项A 708a与对话框706的其余部分之间的z间距。
在一些实施方案中，响应于当显示如图7C所示的三维环境702时检测到满足选择标准之后继续的选择输入，电子设备101在三维环境702中逐渐将包括文本710和选项708a-d的对话框706远离用户移动，同时维持选项A708a的已更新颜色，如图7D所示。例如，电子设备101当用户的注视712指向选项A 708a达长于与对选项A 708a的选择对应的阈值时间量(例如，0.1、0.2、0.5、1秒等)时，检测到用户维持捏合手势。在一些实施方案中，响应于检测到用户在对选项708a的选择之后维持捏合手势，电子设备101以预先确定的速率(例如，随着时间持续流逝)逐渐将对话框706远离用户移动。
作为另一个示例，电子设备101检测到用户通过将手704移动到与图7C中的对话框706后方的z高度对应的位置来“推动”选项A 708a超过图7C所示的对话框706的z高度。在一些实施方案中，响应于检测到用户“推动”选项A 708a超过图7C中的对话框706的z高度，电子设备101继续根据用户的手704在三维环境702中的移动的速度和距离来移动对话框706，如图7D所示。
在一些实施方案中，响应于检测到在三维环境702中将对话框706推动远离用户的输入的结束，电子设备101执行与选项A 708a对应的动作并且将对话框706移动回到图7A所示的三维环境702中的定位(例如，三维环境702中的对话框706的原始定位)。在一些实施方案中，对话框706以与选项A 708a用上文参考图7B所述的惯性移动的方式类似的方式用惯性从图7D中的定位移动到图7A中的定位。
在一些实施方案中，电子设备101在对话框706后面的z高度处显示附加用户界面元素。例如，对话框706在三维环境702中的对话框706后面显示的用户界面中显示。响应于将对话框706推动通过其后面的用户界面对象的输入(例如，捏合手势或推动手势)，电子设备101任选地根据附加输入将对话框706、对话框706和选项708a(以及选项708b-d)后面的对象中的每个对象推回。在一些实施方案中，对话框706后面的用户界面是三维环境702本身，并且设备101将三维环境702远离用户的视点移动，如同用户正在与推入三维环境702的方向相反的方向上移动一样。
在一些实施方案中，响应于检测到在三维环境702中将对话框706后面的对象推动远离用户的输入的结束，电子设备101执行与选项A 708a对应的动作，并且将包括文本710和选项708a-d的对话框706后面的对象移动回到检测到对选项A 708a的选择的开始之前的三维环境702中的定位(例如，图7A所示的三维环境702的状态)。在一些实施方案中，对话框706后面的对象以与选项A 708a用上文参考图7B所述的惯性移动的方式类似的方式用惯性从被推动远离用户的定位移动到其初始定位。
图8A至图8M是示出根据一些实施方案的基于用户的视点自动更新三维环境中的虚拟对象的取向的方法的流程图。在一些实施方案中，方法800在计算机***(例如，图1中的计算机***101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机***包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机***的一个或多个处理器诸如计算机***101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图7A中，方法800在与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图7A中，电子设备(例如，101)经由显示生成部件显示(802a)包括具有第一外观的相应用户界面元素(例如，708a)的用户界面。在一些实施方案中，相应用户界面元素在生成、显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示。在一些实施方案中，以第一外观显示相应用户界面元素包括以第一大小、颜色和/或半透明度显示相应用户界面元素并且/或者在用户界面的第一相应虚拟层内显示相应用户界面元素。在一些实施方案中，三维用户界面包括创建各种用户界面元素与用户之间的变化的虚拟距离的外观的多个虚拟层。例如，以第一外观显示相应用户界面元素包括以第一大小和第一颜色显示与相应用户界面元素后面的背景相同的虚拟层内的可交互元素(例如，可选选项，诸如按钮、指示由用户任选地设置的多个可能滑块定位中的一个可能滑块定位的滑块)。
在一些实施方案中，诸如在图7B中，当显示具有第一外观的相应用户界面元素(例如，708a)时，电子设备(例如，101)经由该一个或多个输入设备基于用户(例如，眼睛或手)的物理特征的姿势(例如，定位、取向和/或抓握)检测到(802b)该设备的用户的注意力指向相应用户界面元素。在一些实施方案中，电子设备经由眼睛跟踪设备检测到用户已经看向相应用户界面元素达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)，或者检测到用户正在看向相应用户界面元素而不考虑用户已经看向相应用户界面元素期间的时间长度。在一些实施方案中，电子设备经由手部跟踪设备检测到用户的手处于预先确定的位置内达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)。例如，预先确定的位置是以下位置中的一者：与相应用户界面元素的虚拟位置对应的位置(诸如，用户的手看起来在VR环境、MR环境或AR环境中重叠相应用户界面元素或在重叠相应用户界面元素的阈值距离(例如，1、3、10英寸)内的位置)和/或与物理位置对应的由显示生成部件显示相应用户界面元素的位置(诸如，触敏显示器上显示相应用户界面元素或其上方显示有用户界面元素(例如，如果手正悬停在触敏显示器上方的话)的位置)。在一些实施方案中，电子设备检测到输入设备的移动，将电子设备的输入焦点和/或在用户界面中显示的光标移动到用户界面内的相应用户界面元素的位置。
在一些实施方案中，诸如在图7B中，响应于检测到设备的用户的注意力指向相应用户界面元素(例如，708a)，根据确定满足一个或多个第一标准，电子设备(例如，101)更新(802c)相应用户界面元素(例如，708a)以在视觉上将相应用户界面元素与用户界面的与该相应用户界面元素(例如，708a)具有预先确定的空间关系(例如，由其包含、在其附近、与其相邻、与其横向相邻、与其水平相邻、与其竖直相邻)的部分(例如，706)分开，以具有不同于第一外观的第二外观。在一些实施方案中，在视觉上将相应用户界面元素与用户界面的该部分分开包括增加相应用户界面元素与用户界面的部分之间的z间距，诸如通过将相应用户界面元素显示为看起来更靠近用户在三维环境中的位置和/或将用户界面的该部分显示为看起来更远离用户在三维环境中的位置。在一些实施方案中，更新相应用户界面元素以具有不同于第一外观的第二外观包括更新用以显示相应用户界面元素的大小、颜色、定位和/或半透明度，以及/或者更新相应用户界面元素在其中显示的用户界面的虚拟层。例如，响应于第一用户输入，电子设备将相应用户界面元素从在用户界面的与用户界面元素后面的背景相同的层中以第一颜色显示更新为在用户界面的虚拟层内以第二颜色显示相应用户界面元素，该虚拟层在用户界面的其中显示有用户界面后面的背景的虚拟层的顶部上(例如，前面)。在该示例中，响应于第一输入，电子设备改变相应用户界面元素的颜色并且减小相应用户界面元素与用户之间的虚拟距离，使得相应用户界面元素(例如，按钮)向前弹出其上显示有该相应用户界面元素的背板。
在一些实施方案中，诸如在图7B中，在相应用户界面元素(例如，708a)具有第二外观时，电子设备(例如，101)经由该一个或多个输入设备基于用户(例如，眼睛或手)的物理特征的姿势(例如，定位、取向和/或抓握)检测到(802d)与相应用户界面元素(例如，708a)的激活对应的第二用户输入。在一些实施方案中，电子设备经由眼睛跟踪设备、手部跟踪设备、触敏表面(例如，触摸屏或触控板)、键盘或鼠标来检测姿势。例如，响应于经由眼睛跟踪设备检测到用户正在看向相应用户界面元素，电子设备更新用户界面元素的定位以从第一层移动到看起来更靠近用户的第二层。在该示例中，响应于经由手部跟踪设备检测到用户一起轻击其拇指和同一只手上的一根手指(例如，食指、中指、无名指或小指)，电子设备将相应用户界面元素从在第二层中显示更新为在看起来比第二层更远离用户的层(例如，第一层、第一层与第二层之间的层、第一层后面的层等)处显示。
在一些实施方案中，响应于检测到指向相应用户界面元素(例如，708a)的第二用户输入(802e)，根据确定第二用户输入满足一个或多个第二标准，电子设备(例如，101)执行(802f)与相应用户界面元素(例如，708a)相关联的选择操作，并且通过减少相应用户界面元素(例如，708a)与用户界面的与相应用户界面元素(例如，708a)具有预先确定的空间关系的部分(例如，706)之间的间距量来更新相应用户界面元素(例如，708a)，诸如在图7C中。在一些实施方案中，该一个或多个第二标准包括当电子设备使用眼睛跟踪设备检测到用户已经看向相应用户界面元素达任选地长于与第一用户输入相关联的时间阈值的阈值时间量(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、0.7、0.8、0.9、1、1.5、2、2.5秒等)时满足的标准。在一些实施方案中，该一个或多个第二标准包括当电子设备经由手部跟踪设备检测到用户已经执行预先确定的手势(例如，利用其手)，同时经由眼睛跟踪设备检测到用户在执行手势时正在看向相应用户界面元素时满足的标准。在一些实施方案中，预先确定的手势包括用户一起轻击其拇指和其手指中的一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，当电子设备经由手部跟踪设备检测到用户的手或用户的手的手指的位置对应于预先确定的位置(诸如，与用户界面中的预先确定的虚拟位置对应的位置)时，满足该一个或多个第二标准。例如，当电子设备使用手部跟踪设备检测到用户将其手从用户界面中用户界面的第一虚拟层中显示相应用户界面元素的虚拟位置移动到用户界面中用户界面的第二虚拟层中的虚拟位置(例如，第二虚拟层中与在用户界面中第一虚拟层中显示相应用户界面元素的虚拟位置后面的虚拟位置对应的虚拟位置)时，满足该一个或多个第二标准。在一些实施方案中，响应于检测到选择输入的抬离，诸如输入设备(例如，键盘、鼠标、触控板、遥控器等)的硬件键或按钮的释放或(例如，触敏显示器、触控板等的)触敏表面上的接触的抬离，满足该一个或多个第二标准。在一些实施方案中，在电子设备减小相应用户界面元素与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分之间的间距量时，电子设备以第三大小、第三颜色和/或第三半透明度显示相应用户界面元素，并且/或者在用户界面的第三虚拟位置处或第三虚拟层中显示相应用户界面元素。在一些实施方案中，第三大小、颜色、半透明度、虚拟位置和/或第三虚拟层不同于与相应用户界面元素的第二外观对应的第二大小、颜色、半透明度、虚拟位置和/或第二虚拟层。在一些实施方案中，第三大小、颜色、半透明度、虚拟位置和/或第三虚拟层和与相应用户界面元素的第二外观对应的第二大小、颜色、半透明度、虚拟位置和/或第二虚拟层相同。在一些实施方案中，第三大小、颜色、半透明度、虚拟位置和/或第三虚拟层不同于与相应用户界面元素的第一外观对应的第一大小、颜色、半透明度、虚拟位置和/或第一虚拟层。在一些实施方案中，第三大小、颜色、半透明度、虚拟位置和/或第三虚拟层和与相应用户界面元素的第一外观对应的第一大小、颜色、半透明度、虚拟位置和/或第一虚拟层相同。例如，当以相应用户界面元素与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分之间的减小的间距显示相应用户界面元素时，电子设备在曾以第一外观显示相应用户界面元素的用户界面的第一层中以不同于第一颜色和第二颜色的第三颜色显示相应用户界面元素。在一些实施方案中，将相应用户界面元素从第一外观更新为第二外观包括从在用户界面的第一虚拟层中显示相应用户界面元素转变为在用户界面中看起来比第一层更靠近用户的第二虚拟层中显示相应用户界面元素。在一些实施方案中，满足该一个或多个第二标准的第二用户输入对应于与将相应用户界面元素从第二虚拟层移动到第一虚拟层对应的输入的量值，并且电子设备在接收到第二输入时显示将用户界面元素从第二虚拟层移动到第一虚拟层的动画。在一些实施方案中，利用不同的输入设备来检测第一输入和第二输入。例如，检测到第一用户输入包括经由眼睛跟踪设备检测到用户的注视在相应用户界面元素上，同时经由手部跟踪设备检测到用户正在执行相应手势，并且检测到第二用户输入包括检测到用户的注视达超过阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、0.7、0.8、0.9、1、1.5、2、2.5秒等)的时间段，而未利用手部跟踪设备检测到输入。
在一些实施方案中，响应于检测到指向相应用户界面元素(例如，708a)的第二用户输入(802e)，诸如在图7B中，根据确定第二用户输入不满足该一个或多个第二标准，同时用户的注意力仍然被确定为指向相应用户界面元素(例如，708a)，电子设备(例如，101)放弃(802h)执行与相应用户界面元素(例如，708a)相关联的选择操作，而不减少相应用户界面元素(例如，708a)与用户界面的与相应用户界面元素具有预先确定的空间关系的部分(例如，706)之间的间距量。在一些实施方案中，根据确定第二用户输入不满足该一个或多个第二标准，电子设备继续以第二外观显示相应用户界面元素，并且继续在视觉上将相应用户界面元素和用户界面的与相应用户界面元素具有预先确定的空间关系的部分分开。在一些实施方案中，根据确定第二用户输入不满足该一个或多个第二标准，电子设备以第一外观显示相应用户界面元素。上述响应于第一用户输入而将相应用户界面元素更新为具有第二外观以及响应于满足该一个或多个第二标准的第二用户输入而将相应用户界面元素更新为被显示有距与用户界面的与相应用户界面元素具有预先确定的空间关系的部分增加的间距的方式，提供了向用户提供接收到第一用户输入和第二用户输入的反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当相应用户界面元素(例如，708a)具有第二外观时，诸如在图7B中，电子设备(例如，101)经由该一个或多个输入设备基于用户(例如，眼睛或手)的物理特征的姿势(例如，定位、取向和/或抓握)检测到(804a)该设备的用户的注意力不指向相应用户界面元素(例如，708b)。在一些实施方案中，电子设备经由眼睛跟踪设备检测到用户的注视朝向用户界面中除了相应用户界面元素之外的位置，并且/或者经由手部跟踪设备检测到用户将其手远离与相应用户界面元素相关联的预先确定的位置移动。在一些实施方案中，响应于检测到设备(例如，101)的用户的注意力不指向相应用户界面元素(例如，708a)，电子设备(例如，101)通过减少相应用户界面元素(例如，708a)与用户界面的与相应用户界面元素(例如，708a)具有预先确定的空间关系的部分(例如，706)之间的间距量来更新(804b)相应用户界面元素(例如，708a)。在一些实施方案中，电子设备放弃执行与相应用户界面元素相关联的选择操作。在一些实施方案中，电子设备在与用户界面的与相应用户界面元素具有预先确定的空间关系的部分相同的虚拟层中显示相应用户界面元素。
上述响应于检测到电子设备的用户的注意力不指向相应用户界面元素而减少相应用户界面元素与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分之间的间距量的方式，提供了恢复用户界面的与相应用户界面元素具有预先确定的空间关系的部分的外观而不需要附加用户输入来这样做的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，第二用户输入满足该一个或多个第二标准(806a)。在一些实施方案中，在检测到指向相应用户界面元素(例如，708a)的第二用户输入时并且在第二用户输入满足该一个或多个第二标准之前，诸如在图7B中，电子设备(例如，101)根据第二用户输入朝向满足一个或多个第二标准的进展，通过减少相应用户界面元素(例如，708a)与用户界面的与相应用户界面元素(例如，708a)具有预先确定的空间关系的部分(例如，706)之间的间距量来更新(806b)相应用户界面元素(例如，708a)。在一些实施方案中，电子设备显示当检测到第二用户输入时相应用户界面元素返回到与用户界面的与相应用户界面元素具有预先确定的空间关系的部分相同的虚拟层的动画。例如，响应于检测到用户的注视在相应用户界面元素上，电子设备当用户的注视保持在相应用户界面元素上时动画化将相应用户界面元素逐渐移动到用户界面的与相应用户界面具有预先确定的空间关系的部分，并完成动画，并且当用户将其注视保持在相应用户界面元素上时，根据确定预先确定的时间段(例如，0.1、0.2、0.3、0.4、0.5、1、2秒等)已过去，执行选择动作。
上述在检测到第二用户输入时在该第二用户输入满足该一个或多个第二标准之前减少相应用户界面元素与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分之间的间距量的方式，提供了向用户指示选择相应用户界面元素的进展的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，基于用户的物理特征的姿势检测到设备的用户的注意力指向相应用户界面元素(例如，708a)包括经由与电子设备(例如，101)通信的眼睛跟踪设备检测到用户的注视(例如，712)指向相应用户界面元素(例如，708a)(808a)。在一些实施方案中，电子设备根据确定用户的注视被保持在相应用户界面元素上达预先确定的时间段(例如，01、0.2、0.3、0.4、0.5、1秒等)而增加相应用户界面元素与用户界面的包含该相应用户界面元素的部分之间的间距。在一些实施方案中，电子设备响应于检测到用户的注视在相应用户界面元素上达任何时间段而(例如，在检测到注视后立即)发起将相应用户界面元素与用户界面的包含该相应用户界面元素的部分分开。在一些实施方案中，电子设备仅响应于注视输入(例如，不经由除了眼睛跟踪设备之外的输入设备接收附加输入)而发起将相应用户界面元素与用户界面的该部分分开。
上述基于注视来检测用户的注意力的方式，提供了发起对相应用户界面元素的选择而无需除了用户的注视之外的输入的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，基于用户的物理特征的姿势检测到设备的用户的注意力指向相应用户界面元素(例如，708a)包括经由与电子设备通信的眼睛跟踪设备和手部跟踪设备检测到用户的注视(例如，712)指向相应用户界面元素并且用户的手(例如，704)处于预先确定的姿势(810a)(例如，手势、位置、运动)。在一些实施方案中，电子设备响应于在检测到用户的注视在相应用户界面元素上时检测到非注视输入而增加相应用户界面元素与用户界面的包含该相应用户界面元素的部分之间的间距。在一些实施方案中，非注视输入是经由手部跟踪设备检测到的手势或定位。例如，手势是手的手指朝向三维环境中与相应用户界面元素对应的位置伸出。作为另一个示例，手势是用户的拇指朝向与拇指在同一只手上的手指(例如，食指、中指、无名指、小指)移动。作为另一个示例，电子设备检测到手处于三维环境的与相应用户界面元素对应的位置。例如，响应于当用户朝向三维环境中的相应用户界面元素伸出其手指时检测到用户的注视在相应用户界面元素上，电子设备开始将相应用户界面元素与用户界面的包含该相应用户界面元素的部分分开。
上述基于用户的注视和用户的手的姿势来检测用户的注意力的方式，提供了以对用户来说直观的方式发起对相应用户界面元素的选择的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，基于用户的物理特征的姿势检测到与相应用户界面元素(例如，708a)的激活对应的第二用户输入包括经由与电子设备通信的手部跟踪设备检测到电子设备的用户的手(例如，704)的一部分处于与相应用户界面元素(例如，708a)对应的位置(812a)。在一些实施方案中，检测到第二用户输入还包括检测到用手执行预先确定的手势(例如，用拇指触摸手指、以指向手势伸出一根或多根手指)。在一些实施方案中，检测到第二用户输入包括检测到当用户的手的一根或多根手指伸出(例如，用一根或多根手指指向)时用户的手处于在三维环境中的相应用户界面元素的位置的阈值距离(例如，1、2、3、5、10、15、20、30、50厘米)内的位置。例如，检测到第二输入包括检测到用户用一根或多根手指在三维环境中与相应用户界面元素对应的位置处“推动”相应用户界面元素。在一些实施方案中，检测到第二用户输入包括经由手部跟踪设备检测到用户的一根或多根手指的指尖处于三维环境中相应用户界面元素的位置的阈值距离(例如，1、2、3、5、10、15、20、30、50厘米)内，以及随后检测到当保持在与相应用户界面元素对应的位置处时手指/手/手臂朝向相应用户界面元素移动。
上述基于用户的手的一部分的位置来检测第二用户输入的方式，提供了接受输入的对用户来说直观且不需要用户操纵物理输入设备的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，基于用户的物理特征的姿势检测到与相应用户界面元素(例如，708a)的激活对应的第二用户输入包括经由与电子设备(例如，101)通信的眼睛跟踪设备和手部跟踪设备检测到当电子设备的用户的注视(例如，712)指向相应用户界面元素(例如，708a)时电子设备(例如，101)的用户的手(例如，704)执行相应手势(例如，用拇指触摸手指、以指向手势伸出一根或多根手指)(814a)。在一些实施方案中，检测到第二用户输入还包括检测到当手处于预先确定的位置(例如，在距三维环境中的相应用户界面元素的阈值距离(例如，5、10、20、30、45厘米等)内的位置)时用手执行预先确定的手势(例如，用拇指触摸手指、以指向手势伸出一根或多根手指)，同时经由眼睛跟踪设备检测到用户的注视朝向相应用户界面元素。例如，检测到第二输入包括检测到当用户正在看向相应用户界面元素时用户将其拇指轻击到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。
上述基于用户的手的一部分的位置来检测第二用户输入的方式，提供了接受输入的对用户来说直观且不需要用户操纵物理输入设备的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，在检测到指向相应用户界面元素(例如，708a)的第二用户输入之前，当相应用户界面元素(例如，708a)在视觉上与用户界面的部分(例如，706)分开时，以具有第一值的相应视觉特性(例如，除了相应用户界面元素与用户界面的包含该相应用户界面元素的部分之间的距离之外)显示相应用户界面元素(例如，708a)(816a)。在一些实施方案中，相应视觉特性是相应用户界面元素的大小、颜色、半透明度等。在一些实施方案中，诸如在图7C中，执行与相应用户界面元素(例如，708a)相关联的选择操作包括当相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量减小时(例如，当相应用户界面元素未与用户界面的该部分分开时)，以具有不同于第一值的第二值的相应视觉特性显示相应用户界面元素(816b)。例如，在检测到第二输入之前，电子设备以第一颜色显示相应用户界面元素，并且响应于第二用户输入(例如，选择)，电子设备执行选择动作，同时以不同于第一颜色的第二颜色显示相应用户界面元素。
上述作为选择操作的一部分而更新视觉特性的方式提供了确认对相应用户界面元素的选择的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，当第二用户输入包括电子设备(例如，101)的用户的指向相应用户界面元素(例如，708a)达长于时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1、2秒等)的注视时间(例如，712)时，第二用户输入满足该一个或多个第二标准(818a)。在一些实施方案中，响应于指向相应用户界面元素达长于时间阈值的注视而无附加的非注视输入，满足该一个或多个第二标准。在一些实施方案中，当用户的注视维持在相应用户界面元素上超过时间阈值时，电子设备逐渐减少相应用户界面元素与用户界面的该部分之间的间距量。在一些实施方案中，在经由除了注视跟踪设备之外的输入设备未检测到附加输入的情况下仅基于用户的注视而满足该一个或多个第二标准。
上述响应于用户的注视指向朝向相应用户界面元素达时间阈值而选择该相应用户界面元素的方式，提供了在不需要用户操纵物理输入设备的情况下选择相应用户界面元素的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在相应用户界面元素(例如，708a)具有第二外观时，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(820a)电子设备的用户的手(例如，704)在与用于与相应用户界面元素(例如，708a)交互的位置对应的相应位置处，诸如在图7B中。在一些实施方案中，手当处于预先确定的姿势(例如，一根或多根手指以指向手势伸出、近乎捏合手势中拇指在距另一根手指的阈值距离(例如，0.5、1、2厘米等)内)时在三维环境中的相应用户界面元素的阈值距离(例如，5、10、15、20、25、30、40厘米等)内。在一些实施方案中，诸如在图7C中，响应于检测到电子设备(例如，101)的用户的手(例如，704)处于相应位置处，电子设备(例如，101)更新(820b)相应用户界面元素(例如，708a)以进一步在视觉上将相应用户界面元素(例如，708a)与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分(例如，706)分开。在一些实施方案中，电子设备响应于当用户的注视在相应用户界面元素上以及/或者用户的手处于预先确定的姿势(例如，一根或多根手指“指向”相应用户界面元素)时手处于相应位置处而更新相应用户界面。在一些实施方案中，进一步在视觉上将相应用户界面元素和用户界面的与该相应用户界面元素具有预先确定的空间关系的部分分开包括以下中的一者或多者：在三维环境中朝向用户的视点移动相应用户界面元素，以及/或者在三维环境中远离用户的视点移动用户界面。
上述响应于在与用于与相应用户界面元素交互的位置对应的相应位置处检测到用户的手而更新相应用户界面以进一步在视觉上将相应用户界面元素与用户界面的与该相应用户界面元素具有预先确定的空间关系的部分分开的方式，使得用户界面元素更易于用户用手部移动或手势来进行选择，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，具有第二外观的相应用户界面元素(例如，708a)与用户界面中的第一分级级别相关联，并且用户界面的与该相应用户界面元素具有预先确定的空间关系的部分(例如，706)与不同于第一分级级别的第二分级级别相关联(822a)。在一些实施方案中，用户界面的与该相应用户界面元素具有预先确定的空间关系的部分显示在虚拟容器(例如，用户界面、背板等)内，该虚拟容器具有高于第二分级级别的第三分级级别，该第二分级级别高于第一分级级别。在一些实施方案中，分级级别限定了三维环境中相应用户界面元素距用户的视点的距离(例如，z深度)。例如，相应用户界面元素显示在用户的视点与用户界面的与相应用户界面元素具有预先确定的空间关系的部分之间。在一些实施方案中，响应于第二用户输入，相应用户界面元素的动态范围从第一分级级别扩展到第二分级级别。在一些实施方案中，分级级别是导航级别。例如，当前显示的用户界面处于第一分级级别，并且电子设备从其导航到当前用户界面的用户界面处于第二分级级别。
上述将具有第二外观的相应用户界面元素与第一分级级别相关联以及将用户界面的与该相应用户界面元素具有预先确定的空间关系的相应部分与第二分级级别相关联的方式，提供了使用户的注意力集中于相应用户界面元素以进行交互的高效方式，并且减少了用户的认知负担，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，检测到第二用户输入包括经由与电子设备通信的手部跟踪设备检测到来自电子设备的用户的手部输入，该手部输入对应于相应用户界面元素(例如，708a)朝向用户界面的该部分(例如，706)的往回移动(824a)。在一些实施方案中，相应用户界面元素显示在三维环境中的用户的视点与用户界面的该部分之间。在一些实施方案中，电子设备根据手部输入移动相应用户界面元素。在一些实施方案中，电子设备响应于与朝向用户界面的该部分推动相应用户界面元素对应的手部输入(例如，一根或多根手指从手伸出、触摸与相应用户界面元素对应的位置或在该位置的阈值距离(例如，0.5、1、2、3、5、10、20、30厘米等)内，以及远离用户、朝向用户界面的该部分推动相应用户界面元素)而朝向用户界面的该部分移动相应用户界面元素。在一些实施方案中，诸如在图7C中，响应于检测到第二用户输入(例如，包括手部输入)，电子设备(例如，101)更新(824b)相应用户界面元素(例如，708a)以减少相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量。在一些实施方案中，电子设备根据手部输入的特性(例如，移动的距离或速度、持续时间)减少相应用户界面元素与用户界面的该部分之间的间距量。例如，响应于检测到手朝向用户界面的该部分移动第一量，电子设备将相应用户界面元素与用户界面的该部分之间的间距减小第二量。在该示例中，响应于检测到手朝向用户界面的该部分移动大于第一量的第三量，电子设备将相应用户界面元素与用户界面的该部分之间的间距减小大于第二量的第四量。在一些实施方案中，诸如在图7C中，当手部输入对应于相应用户界面元素(例如，708a)到距用户界面(824c)的该部分(例如，706)的阈值距离(例如，0、0.5、1、2、3、5、10厘米等)内的移动时，第二用户输入满足该一个或多个第二标准。在一些实施方案中，该一个或多个第二标准包括当相应用户界面元素根据手部输入到达用户界面的该部分时满足的标准。在一些实施方案中，在检测到第二输入之前，相应用户界面元素显示在第一分级级别处，并且用户界面的该部分显示在第二分级级别处，并且在第一分级级别与第二分级级别之间没有分级级别(例如，未显示其他用户界面元素)。
上述当手部输入对应于相应用户界面元素到距用户界面的该部分的阈值距离内的移动时更新相应用户界面元素与用户界面的该部分之间的间距量以及满足该一个或多个第二标准的方式，提供了当用户提供第二输入时向用户提供反馈的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7D中，在第二用户输入满足该一个或多个第二标准之后，以及当相应用户界面元素(例如，708a)在距用户界面的该部分(例如，706)的阈值距离(例如，0、0.5、1、2、3、5、10厘米等)内时，电子设备(例如，101)经由手部跟踪设备检测到(826a)来自电子设备(例如，101)的用户的进一步手部输入，该进一步手部输入对应于相应用户界面元素(例如，708a)朝向用户界面的该部分(例如，706)的往回移动。在一些实施方案中，手的移动继续超过满足该一个或多个第二标准的量。在一些实施方案中，诸如在图7D中，响应于检测到进一步手部输入，电子设备(例如，101)根据该进一步手部输入移动(826b)相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)(例如，不改变相应用户界面元素与用户界面的该部分之间的间距量)。在一些实施方案中，当第一分级级别中的对象(例如，相应用户界面元素)被推动到第二分级级别中的对象(例如，用户界面的该部分)中时，两个级别中的对象响应于进一步用户输入而一起移动(例如，就好像它们都被包括在第二分级级别中)。在一些实施方案中，进一步手部输入使得电子设备将相应用户界面元素和用户界面的该部分进一步推动到第二分级级别之后的第三分级级别(例如，第二分级级别在第一分级级别与第二分级级别之间)。在一些实施方案中，电子设备在第三分级级别处显示用户界面的该部分的背板。在一些实施方案中，电子设备响应于进一步推动第一分级级别、第二分级级别和第三分级级别的进一步手部输入而将第三分级级别往回移动到第四分级级别，等等。在一些实施方案中，相应用户界面元素和用户界面的该部分根据进一步手部输入进行的移动基于该手部输入的移动的速度、方向和/或距离。在一些实施方案中，响应于检测到手朝向用户的躯干移动，电子设备显示用户界面元素和用户界面的该部分用惯性朝向三维环境中的用户移动。
上述响应于在相应用户界面元素在用户界面的该部分的阈值内时接收到的进一步手部输入而根据该进一步手部输入移动相应用户界面元素和用户界面的该部分的方式，提供了确认接收到该进一步手部输入的高效方式，并且减少了用户的认知负担，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，响应于检测到第二用户输入(828a)，根据确定手部输入对应于相应用户界面元素(例如，708a)朝向用户界面的该部分(例如，706)小于阈值移动量(例如，0.5、1、2、3、4、5、7、10、20厘米等，或者另外，相应用户界面元素与用户界面的该部分之间的距离)的往回移动，电子设备(例如，101)根据该手部输入将相应用户界面元素(例如，708a)朝向用户界面的该部分(例如，706)往回移动(828b)(例如，移动与手部输入的度量(例如，持续时间、速度、距离)成比例的量)，而不移动用户界面的该部分(例如，706)，以减少相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量，诸如在图7C中。在一些实施方案中，响应于与小于阈值移动量对应的手部输入，电子设备减小相应用户界面元素与用户界面的该部分之间的间距，而不根据手部输入移动用户界面的该部分。在一些实施方案中，电子设备将相应用户界面元素移动与手部输入的度量(例如，持续时间、速度、距离)成比例的量。例如，响应于检测到手移动第一量，电子设备将相应用户界面元素朝向用户界面的该部分移动第二量。作为另一个示例，响应于检测到手移动大于第一量的第三量，电子设备将相应用户界面元素朝向用户界面的该部分移动大于第二量的第四量。在一些实施方案中，第一阈值对应于相应用户界面元素到达用户界面的该部分的分级级别的移动量。在一些实施方案中，响应于手部输入对应于阈值移动量，该手部输入满足该一个或多个第二标准。在一些实施方案中，诸如在图7D中，响应于检测到第二用户输入(828a)，根据确定手部输入对应于相应用户界面元素(例如，708a)朝向用户界面的该部分(例如，706)大于阈值移动量(例如，但小于第二阈值(例如，1、2、3、4、5、7、10、20、30、40厘米等)，该第二阈值对应于在用户界面的该部分的分级级别之后的分级级别)的往回移动，电子设备(例如，101)根据该手部移动来移动(828c)相应用户界面元素(例如，706a)并且移动用户界面的该部分(例如，706)(例如，不改变相应用户界面元素与用户界面的该部分之间的间距量)。在一些实施方案中，当第一分级级别中的对象(例如，相应用户界面元素)被推动至少阈值量而被推动到第二分级级别中的对象(例如，用户界面的该部分)中时，两个级别中的对象响应于进一步用户输入而一起移动(例如，就好像它们都被包括在第二分级级别中)。在一些实施方案中，进一步手部输入(例如，超过第二阈值)使得电子设备将相应用户界面元素和用户界面的该部分进一步推动到第二分级级别之后的第三分级级别(例如，第二分级级别在第一分级级别与第二分级级别之间)。在一些实施方案中，电子设备在第三分级级别处显示用户界面的该部分的背板。在一些实施方案中，电子设备响应于进一步推动第一分级级别、第二分级级别和第三分级级别的进一步手部输入而将第三分级级别往回移动到第四分级级别，等等。
上述响应于超过阈值的手部输入而根据该手部输入移动用户界面的该部分的方式，提供了当手部输入超过阈值时向用户提供反馈的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，通过减少相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量来更新相应用户界面元素(例如，708a)包括根据第二用户输入的移动分量用惯性(例如，基于相应用户界面元素和用户界面的该部分的移动速率的模拟物理属性)移动相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)(830a)。在一些实施方案中，响应于检测到用户停止第二用户输入的移动分量或检测到第二用户输入的移动分量从朝向相应用户界面元素和用户界面的该部分移动改变为远离相应用户界面元素和用户界面的该部分移动，电子设备动画化减小相应用户界面元素与用户界面的该部分的间距的持续进展，但减速地进行减小。例如，第二用户输入包括用户的手朝向相应用户界面元素和用户界面的该部分的运动。在该示例中，响应于第二输入，电子设备将相应用户界面远离用户的视点且朝向用户界面的该部分移动，并且响应于检测到用户停止将其手朝向相应用户界面元素和用户界面的该部分移动，即使电子设备使相应用户界面元素朝向用户界面的该部分的运动减速，相应用户界面元素也继续用惯性朝向用户界面的该部分移动一段时间(例如，0.1、0.3、0.5秒)。在一些实施方案中，如果第二输入使得用户界面的该部分远离用户移动，则用户界面的该部分也用惯性移动(例如，在第二输入停止在从相应用户界面元素到用户界面的该部分的方向上移动之后，继续移动并减速一段时间段)。在一些实施方案中，如果第二输入不使得用户界面的该部分移动，则在第二输入停止在从相应用户界面元素到用户界面的该部分的方向上移动之后，用户界面的该部分继续不移动。在一些实施方案中，电子设备(例如，101)检测到(830b)指向图7C中的相应用户界面元素(例如，708a)的第二用户输入的终止。在一些实施方案中，用户停止看向相应用户界面元素，用户停止将其手朝向相应用户界面元素移动，用户停止执行预先确定的手势(例如，释放捏合手势)，将其手远离与相应用户界面元素的位置相关联的预先确定的位置移动，等等。在一些实施方案中，在第二用户输入不满足该一个或多个第二标准的情况下检测到第二用户输入的终止。在一些实施方案中，响应于检测到指向图7C中的相应用户界面元素(例如，708a)的第二用户输入的终止，电子设备(例如，101)在与相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)响应于第二用户输入而移动的方向相反的方向上移动(830c)相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)。在一些实施方案中，响应于检测到第二用户输入的终止，电子设备增加相应用户界面元素与用户界面的该部分之间的间距。在一些实施方案中，该一个或多个相应标准包括当第二输入不满足该一个或多个第二标准时、当用户继续看向相应用户界面元素时以及/或者直到接收到指向不同用户界面元素的附加输入时满足的标准。在一些实施方案中，如果第二输入使得用户界面的该部分远离用户移动，则响应于第二输入的终止，用户界面的该部分在朝向相应用户界面元素的方向上移动。在一些实施方案中，与用户界面的该部分移动的速度和/或持续时间相比，相应用户界面元素以更快的速度移动和/或移动更长的持续时间，使得相应用户界面元素与用户界面的该部分之间的距离响应于检测到第二输入的终止而增加。在一些实施方案中，如果第二输入不使得用户界面的该部分移动，则在电子设备检测到第二用户输入的终止之后，用户界面的该部分继续不移动。
上述响应于检测到第二用户输入的终止而用惯性移动相应用户界面元素以及在与响应于第二用户输入的方向相反的方向上移动相应用户界面元素和用户界面的该部分的方式，提供了向用户指示第二用户输入不满足该一个或多个第二标准的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，检测到第二用户输入包括检测到电子设备(例如，101)的用户的手(例如，704)的一部分处于与相应用户界面元素(例如，708a)对应的位置(832a)(例如，检测到用户用手的一根或多根手指“推动”相应用户界面元素)。在一些实施方案中，当相应用户界面元素(例如，708a)具有第二外观时，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(832b)包括当用户的手处于不与相应用户界面元素(例如，708a)对应的位置处时用户的手(例如，704)执行相应手势(例如，其中用户将拇指触摸有该拇指的手上的另一根手指(例如，食指、中指、无名指、小指)的捏合手势)的相应输入，诸如在图7B中。在一些实施方案中，当手不处于三维环境中与相应用户界面元素对应的位置(例如，不处于手不能在该处“推动”相应用户界面元素以选择该相应用户界面元素的位置，而是处于远离相应用户界面元素的位置的位置)时执行手势。在一些实施方案中，当手处于与相应用户界面元素对应的位置处时执行手势，并且电子设备的响应与用户已用手在不与相应用户界面元素对应的位置处执行手势相同。在一些实施方案中，响应于检测到相应输入(832c)，根据基于当用户的手(例如，704)处于不与相应用户界面元素(例如，708a)对应的位置处时用户的手(例如，704)执行相应手势的确定，相应输入满足一个或多个第三标准，电子设备(例如，101)通过以下方式来更新(832d)相应用户界面元素(例如，708a)：减少相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量，包括用惯性移动相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)，诸如在图7D中。在一些实施方案中，用惯性移动相应用户界面元素和用户界面的该部分包括：当接收到相应输入时逐渐增加相应用户界面元素和用户界面的该部分的移动速度，以及响应于该相应输入的终止而逐渐降低相应用户界面元素的移动速度。在一些实施方案中，响应于检测到相应输入(例如，用户在看向相应用户界面元素的同时执行捏合手势)，相应用户界面元素和/或用户界面的该部分朝向彼此移动，从而减小相应用户界面元素与用户界面的该部分之间的间距。在一些实施方案中，电子设备(例如，101)检测到(832e)相应输入的终止。在一些实施方案中，用户停止执行手势，诸如将拇指远离另一根手指移动，或者手部跟踪设备停止检测到用户的手，因为用户将手远离手部跟踪设备的检测区域移动。在一些实施方案中，响应于检测到相应输入的终止，电子设备(例如，101)在与相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)响应于该相应输入而移动的方向相反的方向上移动(832f)相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)。在一些实施方案中，响应于检测到相应用户输入的终止，电子设备增加相应用户界面元素与用户界面的该部分之间的间距。在一些实施方案中，根据确定在检测到相应输入的终止之前该相应输入满足该一个或多个第二标准，电子设备执行与相应用户界面元素相关联的选择操作，并且通过减少相应用户界面元素与用户界面的该部分之间的间距量来更新相应用户界面元素。在一些实施方案中，电子设备以与电子设备响应第二输入相同的方式响应相应输入。
上述响应于检测到相应用户输入的终止而用惯性移动相应用户界面元素以及在与响应于相应用户输入的方向相反的方向上移动相应用户界面元素和用户界面的该部分的方式，提供了向用户指示相应用户输入不满足该一个或多个第二标准的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，检测到第二用户输入包括检测到电子设备(例如，101)的用户的手(例如，704)的一部分处于与相应用户界面元素(例如，708a)对应的位置(834a)(例如，检测到用户用手的一根或多根手指“推动”相应用户界面元素)。在一些实施方案中，诸如在图7B中，当相应用户界面元素(例如，708a)具有第二外观时，电子设备(例如，101)经由与电子设备通信的眼睛跟踪设备检测到(834b)包括用户的注视(例如，712)指向相应用户界面元素(例如，708a)的相应输入。(例如，当用户的手处于不与相应用户界面元素对应的位置时)。在一些实施方案中，电子设备检测到用户的注视朝向相应用户界面元素，同时检测到用户的手处于与相应用户界面元素对应的位置，并且电子设备的响应与在手处于不与相应用户界面元素对应的位置的情况下在相应用户界面元素上检测到用户的注视相同。在一些实施方案中，诸如在图7B中，响应于检测到相应输入(834c)，根据基于用户的注视(例如，712)指向相应用户界面元素(例如，708a)(例如，基于一个或多个参数诸如注视的方向、持续时间等)的确定，相应输入满足一个或多个第三标准(例如，用户的注视保持在相应用户界面元素上达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5秒等)，电子设备(例如，101)通过以下方式来更新(834d)相应用户界面元素(例如，708a)：减少相应用户界面元素(例如，708a)与用户界面的该部分(例如，706)之间的间距量，包括用惯性移动相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)，诸如在图7C中。在一些实施方案中，用惯性移动相应用户界面元素和用户界面的该部分包括：当接收到相应输入时逐渐增加相应用户界面元素和用户界面的该部分的移动速度，以及响应于该相应输入的终止而逐渐降低相应用户界面元素的移动速度。在一些实施方案中，响应于检测到相应输入，相应用户界面元素和/或用户界面的该部分朝向彼此移动，从而减小相应用户界面元素与用户界面的该部分之间的间距。在一些实施方案中，电子设备(例如，101)检测到(834e)相应输入的终止(例如，检测到用户的注视背离相应用户界面元素和/或检测到用户闭上他们的眼睛达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.7、1秒等)。在一些实施方案中，响应于检测到相应输入的终止，电子设备(例如，101)在与相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)响应于该相应输入而移动的方向相反的方向上移动(834f)相应用户界面元素(例如，708a)和用户界面的该部分(例如，706)。在一些实施方案中，响应于检测到相应用户输入的终止，电子设备增加相应用户界面元素与用户界面的该部分之间的间距。在一些实施方案中，根据确定在检测到相应输入的终止之前该相应输入满足该一个或多个第二标准，电子设备执行与相应用户界面元素相关联的选择操作，并且通过减少相应用户界面元素与用户界面的该部分之间的间距量来更新相应用户界面元素。在一些实施方案中，电子设备以与电子设备响应第二输入相同的方式响应相应输入。
上述响应于检测到相应用户输入的终止而用惯性移动相应用户界面元素以及在与响应于相应用户输入的方向相反的方向上移动相应用户界面元素和用户界面的该部分的方式，提供了向用户指示相应用户输入不满足该一个或多个第二标准的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图9A至图9E示出了根据一些实施方案的电子设备如何增强与滑块用户界面元素的交互的示例。
图9A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境902。应当理解，在一些实施方案中，电子设备101在二维环境中实施本文参考图9A至图9E所述的一种或多种技术，而不脱离本公开的范围。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图9A示出了电子设备101在三维环境902中显示对话框906或控制元素。对话框906包括具有滑块用户界面元素908的当前输入状态的指示符910的滑块用户界面元素908。滑块用户界面元素908的当前输入状态的指示符910包括可选元素912，该可选元素当被选择时使得电子设备101发起改变滑块的当前输入状态的方式中的一种方式。如图9A所示，滑块用户界面元素908控制电子设备101的当前音量水平。在一些实施方案中，电子设备101呈现类似于控制电子设备101的其他设置和/或操作的滑块908的滑块用户界面元素。
如图9A中所示，滑块用户界面元素908被显示，而没有光标或除了当前输入状态指示符910之外的滑块用户界面元素908的其他可用输入状态的指示。在一些实施方案中，电子设备101响应于检测到用户的注视背离滑块用户界面元素908和/或对话框906(例如，用户的注视指向用户界面的另一个部分)以及/或者检测到用户的手904处于不与滑块用户界面元素908在三维环境902中的位置对应的位置，呈现如图9A中所示的滑块用户界面元素908。如下文将更详细地描述的，在一些实施方案中，电子设备101响应于输入(包括检测到用户用其手904执行预先确定的手势)而更新滑块用户界面元素908。在图9A中，用户不用其手904执行预先确定的手势。
图9B示出了电子设备101发起诸如通过响应于检测到用户的注视在对话框906或滑块用户界面元素908上而显示光标916和/或滑块用户界面元素908的可用输入状态的指示914a-g来改变滑块用户界面元素908的当前输入状态的过程。应当理解，在一些实施方案中，电子设备101显示可用输入状态的指示914a-g，而不显示光标916。在一些实施方案中，电子设备101显示光标916而不显示指示914a-g。在一些实施方案中，电子设备101响应于检测到用户的注视918a在对话框906内的任何地方而显示光标916和/或指示914a-g。在一些实施方案中，电子设备101不显示光标916和/或指示914a至图g，除非用户的注视918b指向滑块用户界面元素908。在一些实施方案中，电子设备101呈现用户注视的位置的指示，同时促进与图9A至图9E中所示的滑块用户界面元素908的交互。例如，显示注视的指示包括增加用户的注视所朝向的三维环境902的区域的亮度或明亮度。
在一些实施方案中，电子设备101基于用户的注视918b和/或用户的手904的位置中的一者或多者来在沿着滑块908的位置处显示光标916。例如，电子设备101最初在沿着滑块用户界面元素908的用户的注视918b所指向的位置处显示光标916。在一些实施方案中，电子设备101响应于检测到用户的手904的移动而更新光标916的位置。例如，响应于检测到手向左移动，电子设备101沿着滑块908向左移动光标916，并且响应于检测到手904向右移动，电子设备101沿着滑块908向右移动光标916。如下文将参考图9E所述的，响应于检测到用户用其手904执行预先确定的手势(例如，用拇指触摸与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)(例如，捏合手势))，电子设备101根据在手维持捏合手势时手904的进一步移动来移动滑块的当前输入指示符12和光标916。在一些实施方案中，当未检测到捏合手势时，电子设备101根据手的移动来移动光标916，而不更新滑块的当前输入状态。在一些实施方案中，光标916仅在滑块用户界面元素908沿其取向的维度上移动(例如，在图9B中水平地，对于垂直滑块用户界面元素垂直地)。因此，在一些实施方案中，电子设备101根据用户的手904的移动的水平分量来移动光标916，而不管用户的手904的移动的垂直分量。下文参考图9E描述了关于光标916的附加细节。
在一些实施方案中，当显示指示914a-g时，电子设备101响应于指向滑块908的当前输入状态的指示910的输入来更新滑块908的当前输入状态。如图9B中所示，电子设备101检测到用户的注视918z在滑块908的当前输入状态的指示910的端部912上。在一些实施方案中，响应于当在滑块用户界面元素908的端部912上检测到用户的注视918z时检测到用户用其手904执行预先确定的手势，电子设备101发起用于根据在维持手势时手904的移动来移动滑块的当前输入状态指示符910的过程。例如，预先确定的手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。在一些实施方案中，响应于检测到捏合手势，电子设备101停止显示914a-g。在一些实施方案中，响应于检测到捏合手势并且在用户根据在维持捏合手势时手904的移动来移动滑块用户界面元素908的当前输入状态指示符910时，电子设备101继续显示指示914a-g。在一些实施方案中，滑块用户界面元素908的当前输入状态指示符910对齐(snap)到指示914a-g中的一个指示。在一些实施方案中，可将滑块用户界面元素908的当前输入状态指示符910移动到指示914a-g之间的位置。在一些实施方案中，响应于检测到用户停止用其手904执行捏合手势(例如，检测到拇指和手指彼此分开)，电子设备101更新滑块用户界面元素908的当前输入状态并且维持滑块用户界面元素908的与更新的状态对应的当前输入状态的指示符910的显示。
在一些实施方案中，电子设备101更新滑块用户界面元素908的当前输入状态，并且响应于检测到对滑块的其他输入状态的指示910a-g中的一个指示的选择而移动滑块用户界面元素908的当前输入状态的指示914，如图9C至图9D中所示。图9C示出了电子设备101检测到对滑块用户界面元素908的输入状态的指示中的一个指示914e的选择。例如，在一些实施方案中，当显示滑块用户界面元素908时，电子设备101检测到用户的注视918c指向滑块用户界面元素908的输入状态的指示中的一个指示914e。响应于检测到用户的注视908c指向指示914e，电子设备101逐渐增加指示914e的大小。
一旦已经检测到注视918c达预先确定的阈值时间(例如，0.1、0.2、0.5、1、5、10、30秒等)，电子设备101就将滑块用户界面元素908的当前输入状态和该当前输入状态的指示910更新至与指示914e对应的位置，如图9D中所示。在一些实施方案中，当用户的注视918c已指向指示914e达小于阈值时间段时，电子设备101检测到用户用其手904执行捏合手势。在一些实施方案中，响应于当用户的注视918c指向指示914e时检测到用户的手904执行捏合手势，电子设备101将滑块的当前输入状态更新为对应于指示914e，如图9D中所示，而不管在指示914e上已经检测到注视918c多长时间。
在一些实施方案中，当响应于检测到用户的注视918c指向图9C中的指示914e达小于阈值时间而以比其他指示914a-d和914f-g更大的大小显示指示914e时，电子设备101检测到用户的注视在指示914a-d或914f-g中的不同指示上。例如，电子设备101检测到用户的注视朝向指示914f。在该示例中，响应于检测到用户的注视朝向指示914f，电子设备101将指示914e更新为与用户没有看向的指示914a-d和914g相同的大小，并且逐渐增加指示914f的大小。在一些实施方案中，响应于注视继续指向指示914f(例如，达先前所述的时间阈值)，或者响应于当注视保持在指示914f上时检测到捏合手势，而不管注视是否保持达时间阈值，电子设备101将滑块的当前输入状态更新为对应于指示914f，如上文所述。应当理解，电子设备101响应于检测到用户的注视在任何其他指示914a-d和914g上而产生类似的行为。
图9E示出了用户当电子设备101显示光标916时更新滑块用户界面元素908的当前输入状态。如上文参考图9B所述，电子设备101响应于当用户的注视指向滑块用户界面元素908的端部912时检测到捏合手势而根据在维持捏合手势时用户的手904的移动来更新光标916沿着滑块用户界面元素908的定位，如图9B中所示。在图9E中，电子设备101根据在维持捏合手势时用户的手904的移动来用光标916移动滑块用户界面元素908的当前输入状态的指示符910。在一些实施方案中，电子设备101响应于检测到捏合手势而停止显示图9B至图9D中所示的指示914a-g。在一些实施方案中，当用户用在维持捏合手势时手904的移动来操纵滑块用户界面元素908的当前输入状态指示符910时，继续显示指示914a-g。
在一些实施方案中，响应于检测到用户停止用其手904执行捏合手势，电子设备101将滑块用户界面元素908的当前输入状态更新为与当捏合手势停止时滑块用户界面元素908的当前输入状态的指示符910的定位对应的值。例如，响应于当显示如图9E中所示的滑块用户界面元素908时检测到用户停止执行捏合手势，电子设备101将滑块用户界面元素908的当前输入状态更新至图9E中所示的指示符910的定位，并且维持如图9E中所示的指示符910的显示。
图10A至图10J是示出根据一些实施方案的增强与滑块用户界面元素的交互的方法的流程图。在一些实施方案中，方法1000在计算机***(例如，图1中的计算机***101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机***包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机***的一个或多个处理器诸如计算机***101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图9A中，方法1000在与显示生成部件和一个或多个眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，眼睛跟踪设备是能够确定用户的注视的方向和/或位置的相机和/或运动传感器。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图9A中，电子设备(例如，101)经由显示生成部件120显示(1002a)滑块用户界面元素(例如，908)。在一些实施方案中，滑块用户界面元素包括与滑块用户界面元素的当前输入状态对应的输入点的当前表示以及与不同于滑块的当前输入状态的滑块的相应输入状态对应的输入点的相应表示(或各自与相应输入状态对应的多个相应输入点表示)。在一些实施方案中，电子设备最初在与当前输入状态对应的定位处显示具有滑块条的滑块用户界面元素，而不显示输入点的相应表示。在一些实施方案中，电子设备根据确定满足一个或多个第一标准而显示输入点的相应表示。该一个或多个第一标准任选地包括在以下条件下得以满足的标准：响应于经由眼睛跟踪设备检测到用户看向滑块用户界面元素；在一些实施方案中，响应于检测到用户看向滑块用户界面元素达长于预先确定的时间段(例如，01、0.2、0.3、0.4秒等)。在一些实施方案中，当显示具有输入点的当前表示和输入点的相应表示的滑块用户界面元素时，电子设备显示具有在沿着滑块用户界面元素的长度的各种位置处(例如，在沿着滑块的各种预先确定的输入定位处，诸如沿着滑块的10％、20％、30％等的定位处)的多个相应输入点表示的滑块用户界面元素。在一些实施方案中，输入点的相应表示是覆盖在滑块用户界面元素上显示的标记。例如，滑块用户界面元素包括从滑块的一端延伸到与滑块用户界面元素的当前输入状态对应的相应位置的滑块条，并且输入点的相应表示被显示为覆盖在滑块条上或者覆盖在滑块用户界面元素的除了滑块条之外的部分上。在一些实施方案中，当用户的注视与输入点的相应表示不一致时，以第一大小、第一颜色和/或以第一透明度显示输入点的相应表示。
在一些实施方案中，当显示滑块用户界面元素(例如，908)时，电子设备(例如，101)经由眼睛跟踪设备检测到(1002b)用户的注视(例如，918b)指向滑块用户界面元素(例如，908)，诸如在图9B中。在一些实施方案中，用户的注视被眼睛跟踪设备检测为指向滑块用户界面元素。在一些实施方案中，电子设备经由眼睛跟踪设备检测到用户的注视指向滑块用户界面元素达在第一时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5秒等)与大于第一时间阈值的第二时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5秒等)之间的一段时间。
在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，918b)指向滑块用户界面元素(例如，908)，电子设备(例如，101)经由显示生成部件在滑块用户界面元素(例如，908)上基于用户的注视方向确定的位置处以第一外观显示(1002c)输入点的表示(例如，914e)(例如，最初以第一外观显示输入点的表示，或者将输入点的表示的外观从先前外观改变为不同于第一外观的第一外观)。在一些实施方案中，输入点的表示是沿着滑块的与滑块的相应输入状态对应的多个相应位置中的一个相应位置。在一些实施方案中，电子设备显示沿着滑块的与滑块的相应输入状态对应的相应位置的视觉指示。在一些实施方案中，响应于检测到用户的注视在滑块用户界面元素上而显示视觉指示。在一些实施方案中，输入点的表示是滑块的当前输入状态的指示。在一些实施方案中，响应于检测到用户的注视在滑块用户界面元素上和/或在滑块的当前输入状态的指示上，电子设备更新滑块的当前输入状态的指示(例如，该指示的大小、颜色、不透明度等，或者向该指示添加附加视觉指示)。在一些实施方案中，更新输入点的相应表示包括以下中的一者或多者：更新用户界面的大小、颜色、半透明度和/或不透明度或更新该用户界面的其中显示输入点的相应表示的虚拟层(例如，在滑块元素的其余部分和/或其他相应输入点表示的前面弹出输入点的相应表示)。
在一些实施方案中，在以第一外观显示输入点的表示(例如，914e)(诸如，在图9B中)之后(1002d)，根据确定用户的注视(例如，918c)满足一个或多个第一标准(包括当用户的注视(例如，918c)指向输入点的表示(例如，914e)达长于时间阈值(诸如，在图9C中)(例如，第二时间阈值，诸如0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等)时满足的标准)，电子设备(例如，101)将滑块用户界面元素(例如，908)的当前输入状态设置为(1002e)与输入点的表示(例如，914e)对应的相应输入状态(诸如，在图9D中)。在一些实施方案中，根据确定用户的注视满足该一个或多个第一标准而没有与更新滑块的请求对应的附加输入(例如，没有经由手部跟踪设备检测到的输入)，电子设备将滑块用户界面元素的当前输入状态设置为与输入点的相应表示对应的相应输入状态。在一些实施方案中，将滑块用户界面元素的当前输入状态设置为与输入点的相应表示对应的相应输入状态包括更新滑块用户界面元素以用与相应输入状态(而不是先前输入状态)对应的位置显示滑块条。在一些实施方案中，根据确定用户的注视不满足该一个或多个标准，电子设备放弃更新滑块的当前输入状态。
上述响应于检测到用户的注视指向输入点的相应表示而将输入点的相应表示更新为具有第二外观以及根据确定用户的注视满足该一个或多个第一标准而将滑块用户界面元素的当前输入状态设置为相应输入状态的方式，提供了向用户提供他们的注视将使得和/或实际上使得滑块的输入状态改变的反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，918)指向滑块用户界面元素(例如，908)，电子设备(例如，101)经由显示生成部件在滑块用户界面元素上的不同位置处显示(1004a)多个输入点表示(例如，914a-g)，包括输入点的表示(例如，914e)。在一些实施方案中，输入点表示各自对应于滑块的相应输入状态。在一些实施方案中，滑块包括视觉指示符之间的附加输入状态。在一些实施方案中，滑块不包括视觉指示符之间的附加输入状态(例如，所有可能的输入状态用指示符来标记)。在一些实施方案中，当显示包括输入点的该多个表示(例如，914a-914g)的滑块用户界面元素时(例如，并且当用户的注视指向滑块用户界面元素时)，诸如在图9B中，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(1004b)包括用户的手(例如，704)执行相应手势的用户输入，诸如在图9B中。在一些实施方案中，手势之后是在维持相应手势时用户的手的移动，其中手的移动的量值对应于滑块用户界面元素上不与该多个输入点表示中的一个输入点表示对应的相应位置。在一些实施方案中，由手执行的相应手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，电子设备检测到用户将其拇指保持在其手指上，同时在指示符沿着来取向的方向上移动其手和/或手臂。例如，电子设备检测到手水平移动以改变水平滑块的输入状态。在一些实施方案中，电子设备根据移动的量值和/或速度和/或持续时间来更新滑块的当前输入状态。例如，响应于检测到用户将其手移动第一量，电子设备将滑块的当前输入状态的指示移动第二量，并且如果用户将其手移动第三量，则电子设备将滑块的当前输入状态的指示移动第四量。在一些实施方案中，诸如在图9D中，响应于检测到用户输入，电子设备(例如，101)将滑块用户界面元素(例如，908)的当前输入状态设置(1004c)为与该多个输入点表示中的一个输入点表示对应的第二相应输入状态。在一些实施方案中，与第二相应输入状态对应的输入点的表示是最靠近与手的移动量值对应的相应位置的输入点的表示。在一些实施方案中，滑块包括视觉指示符，该视觉指示符沿着滑块定位在与滑块的当前输入状态对应的位置处。在一些实施方案中，响应于检测到滑块上与用户的手的移动对应的位置不对应于输入点表示中的一个输入点表示，电子设备将滑块的当前输入状态移动到最靠近与手的移动对应的位置的输入点的表示。
上述响应于与不包括输入点的表示的位置对应的用户的移动而将滑块的当前输入状态设置为与输入点的表示对应的输入状态的方式，提供了选择与输入点的表示对应的输入状态的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的注视(例如，918)指向滑块用户界面元素(例如，908)，电子设备(例如，101)经由显示生成部件在滑块用户界面元素(例如，908)上的不同位置处显示(1005a)多个输入点表示(例如，914a-g)，包括输入点的表示(例如，914e)，诸如在图9B中。在一些实施方案中，输入点表示各自对应于滑块的相应输入状态。在一些实施方案中，滑块包括视觉指示符之间的附加输入状态。在一些实施方案中，滑块不包括视觉指示符之间的附加输入状态(例如，所有可能的输入状态用指示符来标记)。在一些实施方案中，当显示包括该多个输入点表示(例如，914a-g)的滑块用户界面元素(例如，908)时(例如，并且在用户的注视指向滑块用户界面元素时)，诸如在图9B中，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(1005b)包括用户的手(例如，904)执行相应手势以及随后在维持相应手势时用户的手(例如，904)的移动的用户输入，诸如在图9B中，其中手(例如，904)的移动的量值对应于滑块用户界面元素(例如，908)上不与该多个输入点表示(例如，914a-g)中的一个输入点表示对应的相应位置。在一些实施方案中，由手执行的相应手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，电子设备检测到用户将其拇指保持在其手指上，同时在指示符沿着来取向的方向上移动其手和/或手臂。例如，电子设备检测到手水平移动以改变水平滑块的输入状态。在一些实施方案中，电子设备根据移动的量值和/或速度和/或持续时间来更新滑块的当前输入状态。例如，响应于检测到用户将其手移动第一量，电子设备将滑块的当前输入状态的指示移动第二量，并且如果用户将其手移动第三量，则电子设备将滑块的当前输入状态的指示移动第四量。在一些实施方案中，当检测到手的手势和移动时，电子设备停止显示该多个输入点表示。在一些实施方案中，诸如在图9E中，响应于检测到用户输入，电子设备(例如，101)将滑块用户界面元素(例如，908)的当前输入状态设置(1005c)为与滑块用户界面元素(例如，908)上的相应位置对应的第二相应输入状态。在一些实施方案中，第二相应输入状态不对应于该多个输入点表示中的一个输入点表示。因此，在一些实施方案中，当使用如上所述的手势时，用户能够将滑块的当前输入状态设置为滑块内的任何状态。在一些实施方案中，滑块用户界面元素的第二相应输入状态基于当检测到预先确定的手势时用户的注视的位置以及在维持预先确定的手势时用户的手的移动的方向、距离、速度。
上述将当前输入状态设置为与用户的手部移动对应的位置(该位置不对应于该多个输入点表示中的一个输入点表示)的方式，有效地向用户提供了将滑块的输入状态微调到在该多个输入点表示之间或以其他方式不对应于该多个输入点表示中的一个输入点表示的输入状态的能力，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，918b)指向滑块用户界面元素，电子设备经由显示生成部件在滑块用户界面元素(例如，908)上显示(1006a)控制元素(例如，916)(例如，光标)，该控制元素指示滑块用户界面元素(例如，908)上与用户的手(例如，904)的预定义部分(例如，用户的手指中的一者或多者和/或用户的拇指)的当前位置对应的位置。在一些实施方案中，电子设备最初将光标放置在与用户的手的位置对应的位置处。例如，如果用户的手在三维环境的显示滑块的预先确定区域的左侧，则电子设备将光标显示在滑块的当前输入状态的左侧。作为另一个示例，如果用户的手在预先确定区域的右侧，则电子设备将光标显示在滑块的当前输入状态的右侧。在一些实施方案中，电子设备响应于经由手部跟踪设备检测到用户执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))而显示光标。在一些实施方案中，诸如在图9E中，当检测到在维持相应手势时用户的手(例如，904)的移动时，电子设备(例如，101)根据用户的手(例如，904)的移动来移动(1006b)滑块用户界面元素(例如，908)上的控制元素(例如，916)。在一些实施方案中，电子设备根据手在滑块沿着来取向的维度上的移动来移动光标。例如，响应于检测到手向上和向右移动，电子设备将通过向右移动水平滑块来更新水平滑块的当前输入状态，或者将通过向上移动垂直滑块来更新垂直滑块的当前输入状态。在一些实施方案中，电子设备响应于检测到手的移动而未检测到手正在执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))而移动光标而不更新当前输入状态。
上述显示和更新滑块的控制元素的方式，提供了向用户指示滑块的输入状态将如何响应于基于手部检测的输入而被更新的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，在以第一外观显示输入点的表示(例如，914e)之后，并且当用户的注视(例如，918c)指向输入点的表示(例如，914e)时但在用户的注视(例如，918c)指向输入点的表示(例如，914e)达长于时间阈值(0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等)之前，诸如在图9C中，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(1008a)用户的手(例如，904)执行相应手势，诸如在图9C中(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)、朝向滑块用户界面元素伸出一根或多根手指)。在一些实施方案中，诸如在图9D中，响应于检测到相应手势，电子设备(例如，101)将滑块用户界面元素(例如，908)的当前输入状态设置(1008b)为与输入点的表示(例如，914e)对应的相应输入状态(例如，在用户的注视已指向输入点的表示达阈值时间量(0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等)之前)。在一些实施方案中，电子设备响应于当用户的注视指向输入点的相应表示时检测到手势而将滑块用户界面元素的当前输入状态设置为与输入点的相应表示对应的相应输入状态。在一些实施方案中，电子设备响应于经由手部跟踪设备检测到用户的手处于预先确定的位置和/或执行预先确定的手势而更新滑块的输入状态。例如，预先确定的位置对应于在用户界面中显示滑块用户界面元素和/或输入点的相应表示的虚拟位置。作为另一个示例，预先确定的手势是用户轻击其拇指和手指(例如，食指、中指、无名指、小指)。在一些实施方案中，根据确定不满足该一个或多个第一标准并且/或者电子设备未检测到手势，电子设备放弃更新滑块用户界面元素的当前输入状态。
上述响应于手势而在达到阈值时间之前更新滑块的输入状态的方式，提供了以比阈值时间更少的时间与滑块交互的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，滑块用户界面元素(例如，908)包括指示滑块用户界面元素(例如，908)的当前输入状态的当前状态指示符(例如，910)(1010a)。在一些实施方案中，滑块包括条，该条的一端与该滑块的一端对准，该条的另一端(例如，当前状态指示符)与滑块的当前输入状态对准。在一些实施方案中，指示符是在与滑块的当前输入状态对应的位置处显示的视觉指示。在一些实施方案中，在以第一外观显示的输入点的表示(例如，914e)之后(1010b)，诸如在图9B中，根据确定用户的注视(例如，918c)满足该一个或多个第一标准(例如，注视保持在输入点的表示上达阈值时间量(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等))，诸如在图9C中，电子设备(例如，101)将当前状态指示符(例如，910)移动(1010c)到滑块用户界面元素(例如，908)上与输入点的表示(例如，914e)对应的位置，诸如在图9D中。在一些实施方案中，在以第一外观显示输入点的表示(例如，914e)之后(1010b)，诸如在图9B中，根据确定用户的注视(例如，918c)不满足该一个或多个第一标准并且当用户的注视(例如，918c)指向输入点的表示(例如，914e)时(例如，经由手部跟踪设备)检测到用户的手(例如，904)的相应手势，诸如在图9C中，电子设备(例如，101)将当前状态指示符(例如，910)移动(1010d)到滑块用户界面元素(例如，908)上与输入点的表示(例如，914e)对应的位置，诸如在图9D中。在一些实施方案中，电子设备响应于当注视已保持小于阈值时间量(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等)时检测到手的手势而将当前状态指示符移动到滑块元素上与输入点的表示对应的位置。在一些实施方案中，手势包括用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，在以第一外观显示输入点的表示(例如，914e)之后(1010b)，诸如在图9B中，根据确定(例如，经由手部跟踪设备)检测到用户的手(例如，904)的相应手势以及随后在维持相应手势时用户的手的移动，电子设备(例如，101)根据用户的手(例如，904)的移动来将当前状态指示符(例如，910)移动(1010e)到滑块用户界面元素(例如，908)上与输入点的表示(例如，914e)对应的位置，诸如在图9D中，其中用户的手(例如，904)的移动的量值(例如，距离、速度、持续时间)对应于滑块用户界面元素(例如，908)上与输入点的表示(例如，914e)对应的位置。在一些实施方案中，根据确定用户的手的移动的量值对应于滑块上与输入点的第二表示对应的第二位置，电子设备根据手的移动来将当前状态指示符移动到滑块元素上与输入点的第二表示对应的第二位置。因此，在一些实施方案中，电子设备响应于检测到以下中的任一者而更新滑块的当前输入状态：(1)用户的注视在输入点的表示上达阈值时间量；(2)当检测到手势时，用户的注视在输入点的表示上；或(3)用户用其手执行手势并且在滑块沿着来取向的方向上移动其手(例如，在保持手势时)。
上述响应于注视和非注视输入而更新滑块的方式，提供了更新滑块的输入状态的不同的快速且高效的方式，从而允许用户提供对他们而言方便且易于实现的输入，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当以第一外观显示输入点的表示(例如，914e)时，诸如在图9B中，电子设备(例如，101)经由眼睛跟踪设备检测到(1012a)用户的注视指向滑块用户界面元素(例如，908)上的第二位置处的第二输入点的第二表示(例如，914b)。在一些实施方案中，当用户的注视指向输入点的表示时，以不同于第一外观的外观(例如，大小、颜色、不透明度、半透明度、虚拟层、距用户的视点的距离)显示第二输入点的第二表示。在一些实施方案中，滑块包括多个输入点表示，并且当以第一外观显示用户当前正在看向的输入点的表示时，以除了第一外观之外的外观显示除了该输入点的该表示之外的输入点的表示中的一个或多个或全部表示。例如，当用户的注视指向输入点的表示时，以比用户正在看向的输入点的表示更小的大小显示其他输入点表示。在一些实施方案中，响应于检测到用户的注视指向输入点的第二表示(例如，914b)，电子设备(例如，101)在滑块用户界面元素(例如，908)上的第二位置处以第一外观显示(1012b)第二输入点的第二表示(例如，914b)(例如，并且将输入点的表示更新为以除了第一外观之外的外观显示)。例如，响应于检测到用户看向输入点的第二表示，电子设备以比输入点的第二表示更小的大小显示输入点的表示(例如，以及滑块的其他输入点表示中的一个或多个或全部输入点表示)。因此，在一些实施方案中，如果用户最初看向输入点的第一表示并且将其注视移动到输入点的第二表示，则电子设备响应于用户的注视在输入点的第二表示上而更新输入点的第二表示的外观(例如，并且还改变输入点的第一表示的外观)。
上述响应于用户的注视指向第二输入点的第二表示而更新第二输入点的第二表示的外观的方式，提供了改变要选择的输入点的表示的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，918b)指向滑块用户界面元素(例如，908)，电子设备(例如，101)经由显示生成部件在滑块用户界面元素(例如，908)上显示(1014a)控制元素(例如，916)(例如，光标，用户的手的表示)，该控制元素指示滑块用户界面元素(例如，908)上与用户的手(例如，904)的预定义部分(例如，一根或多根手指)的当前位置对应的位置。例如，根据确定用户的手位于空间中的预先确定的区域的左侧，电子设备在滑块的左侧显示控制元素。在一些实施方案中，诸如在图9E中，当检测到用户的手(例如，904)的预定义部分的移动时，电子设备(例如，101)根据用户的手(例如，904)的预定义部分的移动来移动(1014b)滑块用户界面元素(例如，908)上的控制元素(例如，916)。例如，响应于检测到手移动到右侧，电子设备将控制元素移动到右侧。在一些实施方案中，控制元素以与手的移动的速度成比例的速度移动并且/或者移动与手移动的距离成比例的距离。因此，在一些实施方案中，当用户用手部输入控制滑块的输入状态时，电子设备向用户提供视觉反馈。
上述当用户用其手的移动控制滑块时在滑块用户界面上显示并移动控制元素的方式，提供了向用户指示当提供了手部输入时滑块将响应于该手部输入而如何改变的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，在检测到用户的注视指向滑块用户界面元素(例如，908)之前，图9B中的输入点(例如，914e)的表示未被显示在滑块用户界面元素(例如，908)上(1016a)。在一些实施方案中，在检测到用户的注视在滑块用户界面元素上之前，电子设备显示具有滑块的当前输入状态的指示的滑块用户界面元素，而不显示滑块的其他相应输入状态的指示(例如，不显示滑块上的输入点的表示)。
上述响应于检测到用户的注视在滑块上而显示滑块的输入点的表示的方式，提供了向用户指示当用户看向滑块时滑块的输入状态是可变化的高效方式，并且当用户的注视不指向滑块时减少了用户的视觉杂乱和认知负担，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当显示包括输入点的表示(例如，914e)(例如，以及与滑块的多个相应输入状态对应的多个输入点表示)的滑块用户界面元素(例如，908)时，诸如在图9B中，电子设备(例如，101)经由与电子设备(例如，101)通信的手部跟踪设备检测到(1018a)包括用户的手(例如，904)执行相应手势以及随后在维持相应姿势时用户的手(例如，904)的移动的用户输入，诸如在图9E中。在一些实施方案中，相应手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)，并且电子设备在拇指正在触摸该手指时检测到手和/或手的手臂的移动。在一些实施方案中，电子设备根据在保持手势时手的移动来更新滑块的当前输入状态的指示的位置，并且响应于检测到用户释放手势(例如，将拇指和手指远离彼此移动)而最终确定滑块的输入状态。在一些实施方案中，诸如在图9E中，当检测到用户输入时，电子设备(例如，101)停止(1018b)在滑块用户界面元素(例如，908)上显示图9B中的输入点的表示(例如，914e)(例如，并且停止在滑块上显示多个输入点表示)。在一些实施方案中，在停止显示输入点的表示之后，电子设备继续显示滑块的当前输入状态的指示。在一些实施方案中，诸如在图9E中，响应于检测到用户输入(例如，响应于检测到用户停止手势，诸如将拇指和手指彼此移开)，电子设备(例如，101)根据用户的手(例如，904)的移动来将滑块用户界面元素(例如，908)的当前输入状态设置(1018c)为第二相应输入状态。在一些实施方案中，滑块的当前输入状态根据用户的手和/或手臂的移动的距离、速度和/或持续时间来移动。例如，当前输入状态将响应于距离和/或持续时间相对长和/或速度相对高的手部移动而移动的量比当前输入状态将响应于距离和/或持续时间相对短和/或速度相对低的手部移动而移动的量更大。在一些实施方案中，在用于更新滑块的当前输入状态的输入终止之后，电子设备显示具有输入点的表示的滑块用户界面元素。因此，在一些实施方案中，电子设备当检测到改变滑块的当前输入状态的输入(包括用户的手臂的移动)时，停止显示滑块的输入点的表示(例如，以及多个输入点表示)。
上述当检测到包括手部移动的输入时停止显示输入点的表示的方式，提供了减少用户在与滑块交互时的视觉杂乱和认知负担的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，电子设备(例如，101)经由手部跟踪设备检测到(1020a)用户的手(例如，904)的移动，诸如在图9E中。在一些实施方案中，根据确定在满足一个或多个标准(包括当用户的注视朝向滑块用户界面元素(例如，908)时满足的标准)的同时检测到用户的手(例如，904)的移动，电子设备(例如，101)根据用户的手(例如，904)的移动来更新(1020b)滑块用户界面元素(例如，908)的当前输入状态，诸如在图9E中。在一些实施方案中，该一个或多个标准还包括检测到用用户的手执行预先确定的手势(例如，捏合手势)。在一些实施方案中，根据用户的手的移动(例如，在维持捏合手势时)来更新滑块用户界面元素的当前输入状态包括根据手的移动的在滑块用户界面元素的方向上的分量来更新滑块的当前输入状态。例如，手向上和向右的移动使得水平滑块向右移动或垂直滑块向上移动。在一些实施方案中，根据确定在不满足该一个或多个标准(包括当用户的注视朝向滑块用户界面元素(例如，908)时满足的标准)的同时检测到用户的手(例如，904)的移动，电子设备(例如，101)放弃根据用户的手(例如，904)的移动来更新(1020c)滑块用户界面元素(例如，908)的当前输入状态。在一些实施方案中，响应于检测到用户的注视朝向包括滑块的控制元素而不满足该标准，除非注视朝向滑块本身。
上述在注视不指向滑块的情况下放弃更新滑块的当前输入状态的方式，提供了防止用户意外地更新滑块的输入状态的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，滑块用户界面元素被包括在用户界面的控制区域(例如，用户界面的包括多个用户界面元素的区域，该多个用户界面元素当***纵时使得电子设备改变和/或激活设置和/或执行另一个动作)中。在一些实施方案中，用户界面的控制区域在视觉上与用户界面的其余部分区分开(例如，控制区域是用户界面中的视觉容器)。在一些实施方案中，当在显示不具有输入点的表示的滑块用户界面元素时，电子设备经由眼睛跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))检测到用户的注视指向用户界面的控制区域而不指向滑块用户界面元素。在一些实施方案中，响应于检测到用户的注视指向用户界面的控制区域而不指向滑块用户界面元素，电子设备维持不具有输入点的表示的滑块用户界面元素的显示。在一些实施方案中，用户的注视指向控制区域的不包括用户界面元素的一部分(例如，控制区域的背景的一部分)。在一些实施方案中，用户的注视朝向控制区域中的另一个用户界面元素。在一些实施方案中，电子设备不显示输入点的表示(例如，或滑块的该多个输入点表示中的任一个其他输入点表示)，除非且直到用户的注视指向滑块(例如，或者在滑块的阈值距离(例如，0.5、1、2、3厘米等)内)。在一些实施方案中，响应于经由手部跟踪设备检测到用户执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))并且沿着滑块用户界面元素的方向移动手，而未检测到用户的注视在滑块用户界面元素上，电子设备放弃更新滑块用户界面元素的当前输入状态。
在一些实施方案中，诸如在图9A中，滑块用户界面元素(例如，908)包括在用户界面的控制区域(例如，906)(例如，用户界面的包括多个用户界面元素的区域，该多个用户界面元素当***纵时使得电子设备改变和/或激活设置和/或执行另一个动作)中(1022a)。在一些实施方案中，用户界面的控制区域在视觉上与用户界面的其余部分区分开(例如，控制区域是用户界面中的视觉容器)。在一些实施方案中，当显示不具有图9B中的输入点的表示(例如，914e)的滑块用户界面元素(例如，908)时，诸如在图9A中，电子设备(例如，101)经由眼睛跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))检测到(1022b)用户的注视(例如，918a)指向用户界面(例如，906)的控制区域(例如，不考虑用户的注视是否指向滑块用户界面元素)，诸如在图9B中。在一些实施方案中，用户的注视指向控制区域的不包括用户界面元素的一部分(例如，控制区域的背景的一部分)。在一些实施方案中，用户的注视朝向控制区域中的另一个用户界面元素。在一些实施方案中，响应于检测到用户的注视(例如，918a)指向用户界面的控制区域(例如，906)，电子设备(例如，101)显示(1022c)包括输入点的表示(例如，914e)的滑块用户界面元素(例如，908)，诸如在图9B中。在一些实施方案中，根据确定用户的注视不指向控制区域(例如，用户正在看向用户界面的不同部分、闭上他们的眼睛、将目光从显示生成部件移开)，电子设备显示不具有输入点的表示的滑块用户界面元素。在一些实施方案中，响应于经由手部跟踪设备检测到用户执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))并且沿着滑块用户界面元素的方向移动手，同时检测到用户的注视在控制区域上，电子设备根据用户的手的移动来更新滑块用户界面元素的当前输入状态。在一些实施方案中，响应于检测到用户的注视在控制区域上，电子设备更新控制区域中的一个或多个其他用户界面元素(例如，更新第二滑块以包括输入点的表示、更新一个或多个其他用户界面元素的颜色、大小、距用户的虚拟距离)。
上述响应于检测到用户的注视在控制区域的除了滑块之外的一部分上而显示输入点的表示的方式，提供了指示滑块的输入状态而不等待用户看向滑块的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的注视指向滑块用户界面元素(例如，908)，电子设备(例如，101)在滑块用户界面元素(例如，908)上显示(1024a)在滑块用户界面元素(例如，908)上的位置处的注视的视觉指示，该视觉指示基于用户的注视的方向和/或用户界面元素的在用户的注视位置处的一部分。在一些实施方案中，响应于检测到用户的注视从滑块的第一相应部分移动到滑块的第二相应部分，电子设备将视觉指示的位置更新为对应于滑块的第二相应部分。在一些实施方案中，视觉指示是用户正在看向的位置处的滑块的图标和/或修改该滑块的外观(例如，颜色、半透明度、不透明度等)中的一者。
上述显示用户的注视的视觉指示的方式，提供了指示检测到用户的注视并且/或者电子设备能够根据基于注视的输入来更新滑块的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在以第一外观显示输入点的表示(例如，914e)之后，诸如在图9B中，并且响应于检测到用户的注视(例如，918c)指向具有第一外观的输入点的表示(例如，914e)达小于时间阈值，诸如在图9C中(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、0.6、1秒等)，电子设备(例如，101)以不同于第一外观的第二外观(例如，大小、颜色、不透明度、半透明度、在显示滑块的三维环境中距用户的视点的距离)显示(1024b)输入点的表示(例如，914e)，诸如在图9C中。在一些实施方案中，当用户的注视保持在输入点的表示上时，电子设备逐渐更新输入点的表示的外观，直到达到阈值时间。例如，在检测到用户的注视在输入点的表示上之前，电子设备以第一大小显示输入点的表示，并且响应于检测到用户的注视在输入点的表示上，同时继续检测到用户的注视在输入点的表示上时，电子设备逐渐增加输入点的表示的大小直到达到阈值时间并且电子设备将滑块的输入状态更新为对应于输入点的相应表示。作为另一个示例，当用户的注视在输入点的表示上时，电子设备逐渐改变输入点的表示的颜色。
上述在用户的注视在输入点的表示上达小于阈值时间时更新输入点的表示的外观的方式，提供了向用户指示如果用户继续看向输入点的表示则将把滑块的输入状态更新为对应于输入点的表示的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图11A至图11D示出了根据一些实施方案的电子设备如何移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的示例。
图11A示出了电子设备100经由显示生成部件120在用户界面上显示三维环境1102。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器314任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
在图11A中，电子设备101在三维环境1102中显示应用程序的表示1106a、二维对象1106b和三维对象1106c。在一些实施方案中，应用程序的表示1106a包括应用的用户界面，包括可选选项、内容等。在一些实施方案中，二维对象1106b是文件或内容项，诸如文档、图像或视频内容。在一些实施方案中，二维对象1106b是与和表示1106a相关联的应用程序相关联或与不同应用程序相关联的对象。例如，表示1106a是电子邮件应用程序的表示，并且二维对象1106b是电子设备101响应于分开显示二维对象1106b的输入而在表示1106a的外部显示的电子邮件的附件。在一些实施方案中，三维对象1106c是虚拟对象或三维内容。在一些实施方案中，三维对象1106c与和表示1106a相关联的同一应用程序或不同应用程序相关联。
在一些实施方案中，响应于检测到用户的注视在相应虚拟对象(例如，表示1106a、二维对象1106b、三维对象1106c)上在一些实施方案中达预先确定的阈值时间(例如，0.1、0.2、0.5、1秒等)，电子设备101在相应虚拟对象附近显示用户界面元素1180a-1180c。在一些实施方案中，电子设备101响应于当用户的注视在相应虚拟对象(例如，表示1106a、二维对象1106b、三维对象1106c)上时检测到用户用其手1104b执行手势而显示用户界面元素1180a-c，而不管注视的持续时间如何(例如，即使检测到注视小于阈值时间)。在一些实施方案中，手势是捏合手势，该捏合手势包括用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。例如，响应于检测到用户的注视1110c在三维对象1106c上达阈值时间并且/或者同时检测到捏合手势，电子设备101显示用户界面元素1180c。作为另一个示例，响应于检测到用户的注视1110b在二维对象1106b上达阈值时间并且/或者同时检测到捏合手势，电子设备101显示用户界面元素1180b。作为另一个示例，响应于检测到用户的注视在应用程序的表示1106a上达阈值时间并且/或者同时检测到捏合手势，电子设备101显示用户界面元素1180a。与应用程序的表示1106a相关联的用户界面元素1180a任选地大于与三维环境1102中的对象相关联的用户界面元素1180b-c。在一些实施方案中，当与独立于三维环境中的其他对象显示的应用程序和/或虚拟对象的表示相关联地显示时，类似于用户界面元素1180a的用户界面元素以第一大小显示。在一些实施方案中，当与最初显示在另一个对象或应用程序用户界面内的对象的表示相关联地显示时，类似于用户界面元素1180b的用户界面元素以更小的第二大小显示。例如，表示1106a是独立显示的电子邮件应用程序的表示，并且对象1106b是最初显示在表示1106a内的电子邮件的附件。在一些实施方案中，即使对于与不同应用程序相关联的虚拟对象而言，与三维环境1102中的虚拟对象相关联的相应用户界面元素1180也是相同的。例如，二维对象1106b和三维对象1106c与不同应用程序相关联，但是用户界面元素1180b和用户界面元素1180c是相同的。在一些实施方案中，电子设备101一次显示与用户的注视所朝向的虚拟对象对应的一个用户界面元素1180。在一些实施方案中，电子设备101同时显示所有用户界面元素1180(例如，响应于检测到用户的注视在三维环境1102中的虚拟对象中的一个虚拟对象上)。
响应于当在二维对象1106b上检测到注视1110b时检测到用户的手1104a在二维对象1106b的右侧，电子设备101在二维对象1106b的右侧显示用户界面元素1180b。在一些实施方案中，如果电子设备101不是在二维对象1106b的右侧检测到手1104a，而是在二维对象1106b的左侧检测到手1104a，则电子设备101将在二维对象1106b的左侧显示用户界面元素1180b。在一些实施方案中，电子设备101类似地在三维对象1106c的当用户的注视1110c指向三维对象1106c时检测到用户的手1104a的一侧上显示用户界面元素1180c，并且类似地在表示1106a的当用户的注视指向表示1106a时检测到用户的手1104a的一侧上显示用户界面元素1180a。在一些实施方案中，如果当用户的注视1110b指向二维对象1106b时手1104a的位置改变，则电子设备101呈现用户界面元素1180b移动到与手的已更新定位对应的位置的动画。
在一些实施方案中，如果手处于预先确定的姿势并且在三维环境1102中的二维对象1106b的阈值距离(例如，1、5、10、30、50、100厘米等)内，诸如捏合手势的开始部分，其中拇指距另一根手指的距离小于阈值距离(例如，0.1、0.5、1、2、5、10、30厘米等)，则电子设备101仅响应于手1104a的定位而在二维对象1106b的右侧显示用户界面元素1180b。在一些实施方案中，响应于当用户的手1104a在三维环境1102中的对象1106b的阈值距离(例如，1、5、10、30、50、100厘米等)内时检测到捏合手势，电子设备101将用户界面元素1180b移动到与捏合对应的位置。例如，如果电子设备101检测到处于捏合手势的手1104a朝向二维对象1106b的右下角，则电子设备101在二维对象1106b的右下角(或者在一些实施方案中，在二维对象1106b的右侧的中间)显示用户界面元素1180b。如果电子设备101不是检测到处于捏合手势的开始部分的手1104a，而是检测到处于不同手势的手，诸如当手1104a在三维环境1102中的二维对象1106b的阈值距离(例如，1、5、10、20、50、100厘米等)内时一根或多根(但并非所有)手指伸出的指向手势，电子设备101更新用户界面元素1180b以便以类似于用户界面元素1180a包括与应用程序的表示1106a相关的可选选项1112a-e的方式包括与二维对象1106b相关的一个或多个可选选项，如将参考图11B所述的。
如果电子设备101当检测到用户的注视1110b在二维对象1106b上时没有检测到用户的手1104a在二维对象1106b的一侧上，则电子设备101将任选地以类似于电子设备101沿着图11A中的应用程序的表示1106a的底部边缘显示用户界面元素1180a的方式沿着二维对象1106b的底部边缘显示用户界面元素1180b。因为三维对象1106c是三维的，所以电子设备101任选地沿着三维对象1106c的前底部边缘(例如，而不是三维对象1106c的后(例如，更远)底部边缘)显示用户界面元素1180c。
在一些实施方案中，响应于检测到输入朝向用户界面元素1180中的一个用户界面元素，电子设备101更新用户界面元素1180以包括一个或多个可选选项，该一个或多个可选选项当被选择时使得电子设备101执行指向与用户界面元素1180相关联的虚拟对象的动作。在一些实施方案中，指向用户界面元素1180的输入包括注视输入。如图11A中所示，电子设备101检测到用户的注视1110a指向与应用程序1106a的表示1106a相关联的用户界面元素1180a。在一些实施方案中，检测到用户的注视1106a在用户界面元素1180a上达阈值持续时间(例如，0.1、0.2、0.5、1、5、10、30、50秒等)。在一些实施方案中，电子设备101当检测到用户的注视1106a在用户界面元素1180a上达小于阈值时间的持续时间时检测到用户用其手1104b执行捏合手势。响应于检测到用户的注视1110a在用户界面元素1180a上达阈值时间或任何持续时间，同时检测到用手1104b执行捏合手势，电子设备101更新用户界面元素1180a以包括与应用程序的表示1106a相关的多个可选选项1112a-e，如图11B中所示。
图11B示出了电子设备101响应于检测到输入中的一个输入指向参考图11A所述的用户界面元素1180a而在扩展用户界面元素1180a中显示可选选项1112a-e。在一些实施方案中，响应于检测到对选项1112a的选择，电子设备101停止显示表示1106a。在一些实施方案中，响应于检测到对选项1112b的选择，电子设备101发起与三维环境1102中的另一个用户共享表示1106a的过程。在一些实施方案中，响应于检测到对选项1112c的选择，电子设备101发起更新表示1106a在三维环境1102中的位置的过程。在一些实施方案中，响应于检测到对选项1112d的选择，电子设备101以全屏/完全沉浸模式显示表示1106a，该全屏/完全沉浸模式包括例如停止在三维环境1102中显示其他对象1106b-c(例如，虚拟和/或真实对象)。在一些实施方案中，响应于检测到对选项1112e的选择，电子设备101在与和表示1106a相关联的同一应用程序相关联的所有对象和表示彼此在三维环境1102中的阈值距离(例如，1、5、10、30、50厘米等)内显示这些对象和表示。在一些实施方案中，响应于当用户用其手1104c执行捏合手势时检测到用户的注视指向相应选项而检测到对选项1112a-e的选择。
在一些实施方案中，包括在用户界面对象1180a中的选项1112a-e是针对与表示1106a对应的应用程序定制的。因此，在一些实施方案中，针对不同应用程序显示的选项可不同于针对与表示1106a相关联的应用程序显示的选项1112a-e。例如，内容编辑应用程序任选地包括标记选项，而互联网浏览器任选地不包括标记选项。此外，在一些实施方案中，电子设备101根据选项是与应用程序的表示相关联还是与虚拟对象(例如，二维对象1106b、三维对象1106c)相关联而显示不同选项。例如，在与三维对象1106c相关联的表示1180c中显示的选项或在与二维对象1106b相关联的表示1180b中显示的选项任选地不同于选项1112a-e。例如，与二维对象1106b相关联的选项包括停止显示二维对象1106b的选项、与有权访问三维环境1102的另一个用户共享二维对象的选项、移动对象1106b的选项、以全屏或沉浸模式显示对象1106b的选项，以及编辑二维对象1106b(例如，经由标记或文本编辑应用程序)的选项。
如图11B所示，电子设备101检测到用户的注视1110d指向移动三维环境1102中的表示1106a的选项1112c。当检测到用户的注视1110d在选项1112c上时，电子设备101还检测到用户用手1104c执行捏合手势。在一些实施方案中，当用户用其手1104c维持捏合手势时，电子设备101根据手的移动来移动三维环境101中的应用程序的表示1106a。例如，响应于检测到手1104d朝向用户移动，电子设备101将表示1106a朝向三维环境1102中的用户移动，如图11D中所示。
参考图11D，当电子设备101根据在维持捏合手势手1104f的移动来移动应用程序的表示1106a时，电子设备101显示不具有可选选项1112a-e的用户界面元素1180a(例如，设备101将元素1180a收缩回其在图11A中所示的状态)。在一些实施方案中，响应于检测到捏合手势的结束，电子设备101维持应用程序的表示1106a在三维环境1102中的已更新位置处的显示，并且恢复可选选项1112a-e的显示(例如，设备101自动地将元素1180a重新扩展到其在图11B中所示的状态)。在一些实施方案中，电子设备101继续显示可选选项1112a-e，同时根据做出捏合手势的手1104f的移动来移动应用程序的表示1106a(例如，设备101将元素1180a维持其在图11B中所示的展开状态)。在一些实施方案中，用户能够在移动表示1106a时选择可选选项1112a-e。例如，电子设备101通过以下方式检测到对选项1112a-e的选择：检测到用户通过当手处于一根或多根手指伸出的指向手势时将手移动到三维环境1102中在三维环境1102中的所选择选项的阈值距离(例如，1、5、10、30、厘米等)内的位置来用其另一只手“按压”选项1112a-e中的一个选项。用户的另一只手的指向手指任选地选择选项1112a-e中的一个选项(例如，诸如参考方法800所述的)。
因此，电子设备101响应于用户输入指向用户界面元素1180而移动三维环境1102中的对象。现在将描述响应于检测到输入指向用户界面元素1180c而移动三维对象1106c。返回参考图11B，电子设备101当检测到用户的注视1110e在与三维对象1106c相关联的用户界面元素1180c上时检测到用户用手1104d执行捏合手势。响应于检测到用户的注视1110e在用户界面元素1180c上和捏合手势，电子设备101发起用于根据在维持捏合手势时手1104d的移动来移动三维环境1102中的三维对象1106c的过程。响应于移动三维对象1106c的输入，电子设备101将三维对象1106c的位置在三维环境1102中向上移位(例如，如从图11A至图11B的转变中所示)，并且响应于移动对象的输入的终止而显示与将显示(例如，放置)三维对象的定位对应的三维对象1106c的占有面积的指示1114。在一些实施方案中，指示1114具有与三维对象1106c的底表面相同的形状。在一些实施方案中，指示1114被显示为看起来就好像它在三维环境中的表面(例如，虚拟表面或电子设备101的物理环境中的真实表面的表示)上。
图11C示出了电子设备101根据维持捏合手势的手1104e的移动来继续移动三维对象1106c。如图11C所示，电子设备101响应于检测到移动输入的终止而继续显示将在三维环境1102中显示(例如，放置)三维对象1106c的位置的指示1114。
在一些实施方案中，如果三维对象1106c“对齐”到三维环境101中的表面，则电子设备101仅将三维对象1106c向上移位并显示指示1114。例如，在图11A中，对象1106c“对齐”到三维环境101中与电子设备101的物理环境中的地面对应的地面，并且电子设备101将三维对象1106c显示为看起来就好像它被放置在三维环境1102中的地面上。在一些实施方案中，当正在移动虚拟对象时，该对象“对齐”到三维环境1102中的用户的手的表示。在一些实施方案中，用户的手的表示是经由显示生成部件120显示的手的照片真实感表示或者是透过显示生成部件120的透明部分的手的视图。在一些实施方案中，当三维对象1106c在对象的预先确定的阈值(例如，1、10、50、100厘米等)内时，三维对象1106c仅对齐到三维环境1102中的某些对象，诸如用户的手和/或表面(例如，平坦或垂直表面)。
在一些实施方案中，当移动三维对象1106c时，电子设备101诸如通过改变用户界面元素1180c的大小或颜色来更新用户界面元素1180c的外观。在一些实施方案中，当移动三维对象1106c时，电子设备101响应于检测到手1104e(例如，相对于用户的手臂)的旋转而倾斜三维对象1106c。在一些实施方案中，响应于检测到移动输入的结束，即使当三维对象1106c响应于手1104e的旋转而倾斜时用户终止移动输入，电子设备101也以图11C所示的角度(例如，直立)显示三维对象1106c。在一些实施方案中，响应于检测到用户停止用其手1104e执行捏合手势(例如，通过将拇指和手指彼此移开)而检测到移动输入的结束。
在一些实施方案中，电子设备101当显示三维对象1106c时检测到移动输入的结束，如图11C所示。作为响应，电子设备101显示三维对象1106c，如图11D所示。在图11D中，电子设备101在三维环境1102中与图11C中的指示位置1114对应的位置处显示三维对象1106c。因此，响应于检测到图11C中的移动输入的终止，电子设备101将三维环境1102中的表示1106c降低到占有面积区域1114上，任选地降低与电子设备101响应于移动输入的开始而提升图11B中的表示1106c的量相同的量。
应当理解，除非另有说明，上文所述的元素1180a-c中的任一个元素的特性任选地类似地适用于元素1180a-c中的任一个元素。
图12A至图12O是示出根据一些实施方案的移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的方法的流程图。在一些实施方案中，方法1200在计算机***(例如，图1中的计算机***101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机***包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算机***的一个或多个处理器诸如计算机***101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图11A中，方法1200在与显示生成部件120和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备101处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图11A中，电子设备(例如，101)经由显示生成部件显示(1202a)用户界面(例如，三维环境、计算机生成现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)，该用户界面包括第一虚拟对象(例如，1106a)(例如，应用程序、应用程序的窗口、虚拟对象诸如虚拟时钟等)和与第一虚拟对象(例如，1106a)分开的、与第一虚拟对象(例如，1106a)相关联地显示的对应的相应用户界面元素(例如，1180a)。在一些实施方案中，对应的相应用户界面元素是在相对于第一虚拟对象的预先确定的位置处显示的水平条，诸如在第一虚拟对象的水平中心下方、覆盖在第一虚拟对象上等。用户界面任选地包括多个虚拟对象(例如，应用程序、窗口等)，并且每个虚拟对象任选地与其自己的相应用户界面元素相关联地显示。
在一些实施方案中，诸如在图11A中，当显示用户界面时，电子设备(例如，101)经由一个或多个输入设备检测到(1202b)指向相应用户界面元素(例如，1180a)的第一用户输入。在一些实施方案中，电子设备经由眼睛跟踪设备、手部跟踪设备、触敏表面(例如，触摸屏或触控板)、鼠标或键盘来检测第一输入。例如，电子设备经由眼睛跟踪设备检测到用户的注视朝向相应用户界面元素。作为另一个示例，电子设备当经由眼睛跟踪设备检测到用户看向相应用户界面元素时经由手部跟踪设备检测到用户执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))。在一些实施方案中，诸如在图11B中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1202c)，根据确定第一用户输入对应于在用户界面中移动第一虚拟对象(例如，1106a)的请求，电子设备(例如，101)根据第一用户输入在用户界面中移动(1202d)第一虚拟对象(例如，1106a)和相应用户界面元素(例如，1180a)，诸如在图11D中。在一些实施方案中，第一用户输入对应于在用户输入包括对相应用户界面元素的选择以及随后的定向输入的情况下在用户界面中移动第一虚拟对象的请求。在一些实施方案中，在检测到对相应用户界面元素的选择的阈值时间(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)内检测到定向输入。例如，电子设备经由眼睛跟踪设备检测到用户看向相应用户界面元素，并且经由手部跟踪设备检测到用户在看向相应用户界面元素时做出捏合手势并移动其手。在该示例中，响应于用户输入，电子设备根据用户的手的移动来移动第一虚拟对象和相应用户界面元素。在一些实施方案中，电子设备维持相应用户界面元素相对于第一虚拟对象的定位，同时移动第一虚拟对象和相应用户界面元素。在一些实施方案中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1202c)，诸如在图11A中，根据确定第一用户输入满足一个或多个标准(包括当第一用户输入是除了在用户界面中移动第一虚拟对象(例如，1106a)的输入之外的输入时满足的标准)，电子设备(例如，101)将相应用户界面元素(例如，1180a)的显示更新为(1202e)包括能够被选择来执行与第一虚拟对象(例如，1106a)相关联的一个或多个对应操作的一个或多个可选选项(例如，1110a-e)，诸如在图11B中。在一些实施方案中，如果第一用户输入不包括定向输入，则第一用户输入满足该一个或多个标准。在一些实施方案中，检测到第一用户输入包括经由眼睛跟踪设备检测到用户看向相应用户界面元素；在一些实施方案中，看向相应用户界面元素达长于预先确定的时间量(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒)而未检测到定向输入(例如，未经由手部跟踪设备检测到与移动用户界面元素的请求对应的手势)。在一些实施方案中，检测到第一用户输入包括经由眼睛跟踪设备检测到用户看向相应用户界面元素，同时经由手部跟踪设备检测到预先确定的手势。在一些实施方案中，预先确定的手势对应于选择相应用户界面元素的请求。在一些实施方案中，检测到预先确定的手势包括经由手部跟踪设备检测到用户轻击其拇指和手指(例如，食指、中指、无名指、小指)。在一些实施方案中，将相应用户界面元素的显示更新为包括该一个或多个可选选项包括更新相应用户界面元素的外观(例如，增加相应用户界面元素的大小、改变相应用户界面元素的颜色、半透明度等)以及在相应用户界面元素内显示该一个或多个可选选项。在一些实施方案中，该一个或多个可选选项包括当被选择时使得电子设备关闭第一虚拟对象(例如，停止显示第一虚拟对象)的选项。在一些实施方案中，该一个或多个可选选项包括当被选择时使得电子设备发起移动第一虚拟对象的过程的可选选项。在一些实施方案中，该一个或多个可选选项包括当被选择时使得电子设备发起使用电子设备可访问的应用程序或共享协议来共享第一虚拟对象的过程(例如，与三维环境中的另一个用户共享/使其对另一个用户可见)的可选选项。
上述根据确定第一用户输入对应于在用户界面中移动第一虚拟对象的请求而移动第一虚拟对象和相应用户界面元素以及根据确定第一用户输入满足一个或多个标准而将相应用户界面元素的显示更新为包括一个或多个可选选项的方式，提供了移动对象或获得对与对象相关的选项的访问的高效方式，这简化了用户与电子设备之间的交互(例如，通过减少输入的数量和移动第一虚拟对象或获得对与对象相关的选项的访问所需的时间)，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个标准包括当第一用户输入包括电子设备的用户的注视(例如，1110a)指向相应用户界面元素(例如，1180a)达长于时间阈值(1204a)(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)时满足的标准。在一些实施方案中，当电子设备经由眼睛跟踪设备检测到用户的注视在相应用户界面元素上达长于时间阈值而未经由另一输入设备检测到非注视输入时，第一用户输入满足该一个或多个标准。在一些实施方案中，当显示该一个或多个可选选项时，根据确定用户的注视不再指向相应用户界面元素，电子设备停止显示该一个或多个可选选项。因此，在一些实施方案中，响应于检测到用户的注视在相应用户界面元素上达长于时间阈值，电子设备显示该一个或多个可选选项。
上述响应于用户的注视在相应用户界面元素上而显示该一个或多个可选选项的方式，提供了在用户看向相应用户界面之前以视觉杂乱减少的方式显示相应用户界面元素并且当用户可能希望基于用户的注视来与可选选项交互时快速显示可选选项的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个标准包括当第一用户输入包括当用户的注视(例如，1110a)指向相应用户界面元素(例如，1180a)时电子设备的用户的手704执行相应手势时满足的标准(1205a)。在一些实施方案中，使用手部跟踪设备来检测手势。在一些实施方案中，手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，当电子设备在检测到用户的注视在相应用户界面元素上达至少预先确定的时间阈值(例如，0.1、0.2、0.3、0.4、0.5、1秒等)时检测到手势时，满足该一个或多个标准。在一些实施方案中，当电子设备在检测到用户的注视在相应用户界面元素上达任何时间量(例如，小于时间阈值)时检测到手势时，满足该一个或多个标准。在一些实施方案中，电子设备响应于检测到用户的注视在相应用户界面元素上达预先确定的阈值时间(例如，满足一个或多个第一标准的输入)或响应于当检测到手势时检测到用户的注视在相应用户界面元素上(例如，满足一个或多个第二标准的输入)而显示该一个或多个可选选项。在一些实施方案中，电子设备响应于检测到用户的注视在相应用户界面元素上达预先确定的阈值时间或当检测到手势时检测到用户的注视在相应用户界面元素上中的一者但不是两者而显示选项。因此，在一些实施方案中，电子设备响应于当检测到用户执行预先确定的手势时检测到用户的注视在相应用户界面元素上而显示该一个或多个可选选项。
上述响应于当用户执行手势时检测到用户的注视在相应用户界面元素上而显示该一个或多个可选选项的方式，提供了在不等待阈值时间(例如，仅在用户的注视保持在相应用户界面元素上达预先确定的阈值时间之后才显示选项)的情况下显示该一个或多个可选选项的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，当显示包括该一个或多个可选选项(例如，1112a-e)的相应用户界面元素(例如，1180a)时，电子设备(例如，101)经由该一个或多个输入设备(例如，手部跟踪设备)检测到(1206a)第二用户输入，该第二用户输入包括当用户的注视(例如，1110d)指向该一个或多个可选选项中的相应可选选项(例如，1112c)时电子设备的用户的手(例如，1104c)执行相应手势(例如，在一些实施方案中，手势是用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))。在一些实施方案中，响应于检测到第二用户输入(1206b)，诸如在图11B中，根据确定第二用户输入满足一个或多个第一标准，电子设备(例如，101)执行(1206c)与相应可选选项(例如，1112c)对应的相应操作。在一些实施方案中，根据确定用户在看向相应可选选项时执行手势，而不管用户的注视保持在相应可选选项上的持续时间，满足该一个或多个第一标准。在一些实施方案中，响应于检测到用户的注视在相应可选选项上并且在检测到手势之前，电子设备更新相应可选选项的视觉特性(例如，大小、颜色等)。例如，响应于检测到用户的注视在第一可选选项上，电子设备突出显示第一可选选项，并且响应于检测到用户的注视在第二可选选项上，电子设备突出显示第二可选选项。因此，在一些实施方案中，响应于当检测到用户用其手执行预先确定的手势时检测到用户的注视在相应可选选项上，电子设备执行与相应可选选项对应的操作。在一些实施方案中，根据确定第二用户输入不满足该一个或多个第一标准，电子设备放弃执行与相应可选选项对应的相应操作。
上述响应于注视和非注视输入而执行与相应可选选项相关联的操作的方式，提供了使得电子设备执行操作的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一用户输入对应于根据以下确定而在用户界面中移动第一虚拟对象(例如，1106c)的请求：第一用户输入包括当用户的注视(例如，1110e)指向相应用户界面元素(例如，1180c)时电子设备的用户的手(例如，1104d)执行相应手势，以及随后在检测到用户的手(例如，1104d)执行相应手势的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)内电子设备的用户的手(例如，1104d)的移动(1208a)，诸如在图11B中。在一些实施方案中，根据确定用户已看向相应用户界面元素达时间阈值而未执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))，电子设备显示该一个或多个可选选项。在一些实施方案中，根据确定用户已看向相应用户界面元素达时间阈值，同时在不移动手的情况下执行预先确定的手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))，电子设备显示该一个或多个可选选项。在一些实施方案中，响应于当在检测到注视在相应用户界面元素上的阈值时间内执行手势时检测到手的移动，电子设备根据用户的手的移动来移动第一虚拟对象和相应用户界面元素，而不显示该一个或多个可选选项。在一些实施方案中，第一用户输入对应于根据以下确定而在用户界面中移动第一虚拟对象的请求：第一用户输入包括当用户的注视在检测到用户的手执行的相应手势的时间阈值(例如，0.1、0.2、0.3、0.4、0.5、1秒等)内指向相应用户界面元素时电子设备的用户的手执行的相应手势。在一些实施方案中，第一用户输入对应于根据以下确定而在用户界面中移动第一虚拟对象的请求：第一用户输入包括当用户的注视指向相应用户界面元素时电子设备的用户的手执行的相应手势，以及随后在检测到用户的注视在相应用户界面元素上的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)内电子设备的用户的手的移动。
上述响应于在检测到用户的注视在相应用户界面元素上的阈值时间段内检测到手的移动而检测到移动第一虚拟对象的请求的方式，提供了根据手的移动来移动第一虚拟对象而无需发起移动第一虚拟对象的中间步骤的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当显示包括该一个或多个可选选项(例如，1112a-e)的相应用户界面元素时，诸如在图11B中，电子设备(例如，101)经由该一个或多个输入设备检测到(1210a)与移动用户界面中的第一虚拟对象(例如，1106a)的请求对应的第二用户输入，诸如在图11B中。在一些实施方案中，该一个或多个可选选项包括发起用于在用户界面中移动第一虚拟对象的过程的选项。在一些实施方案中，移动第一虚拟对象的请求是对发起用于移动第一虚拟对象的过程的选项的选择。在一些实施方案中，响应于当检测到用户执行手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))时检测到用户的注视在移动第一虚拟对象的选项上，电子设备选择移动第一虚拟对象的选项。在一些实施方案中，在用户界面中移动第一虚拟对象的请求不是对移动对象的选项的选择。例如，移动第一虚拟对象的请求是检测到用户看向相应用户界面元素的未显示可选选项的区域达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)和/或用户当执行手势(例如，将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))时看向相应用户界面元素的未显示可选选项的区域。在一些实施方案中，发起用于移动第一虚拟对象的过程包括根据由手部跟踪设备检测到的用户的手的移动来移动第一虚拟对象。在一些实施方案中，响应于检测到第二用户输入(1210b)，电子设备(例如，101)停止(1210c)显示图11B中的该一个或多个可选选项(例如，1112a-e)，同时维持相应用户界面元素(例如，1180a)的显示，诸如在图11D中。在一些实施方案中，响应于检测到第二用户输入(1210b)，电子设备(例如，101)根据第二用户输入在用户界面中移动(1210d)第一虚拟对象(例如，1106a)和相应用户界面元素(例如，1106a)，诸如在图11D中。在一些实施方案中，第二用户输入包括移动分量(例如，定向输入，诸如手或手臂的移动、用户的眼睛的移动、对定向键(例如，箭头键)的选择)，并且电子设备根据第二输入的移动的量值(例如，距离、持续时间、速度)来移动相应用户界面元素和第一虚拟对象。在一些实施方案中，诸如在图11D中，电子设备(例如，101)经由该一个或多个输入设备检测到(1210e)第二用户输入的结束。在一些实施方案中，第二用户输入的结束是用户停止提供输入。在一些实施方案中，第二用户输入的结束是用户停止用其手执行预先确定的手势。例如，预先确定的手势包括用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)(例如，捏合)，并且检测到手势的终止包括检测到用户将其拇指远离手指移动(例如，未捏合)。在一些实施方案中，第二用户输入的结束是用户将目光从相应用户界面元素和/或第一虚拟对象和/或用户界面移开。在一些实施方案中，响应于检测到第二用户输入的结束，电子设备(例如，101)(例如，自动地，无需用于显示该一个或多个可选选项的输入)将相应用户界面元素(例如，1180a)的显示更新(1210f)为包括能够被选择来执行与第一虚拟对象(例如，1106a)相关联的该一个或多个对应操作的该一个或多个可选选项(例如，1112a-e)，诸如在图11B中。例如，电子设备检测到对移动第一虚拟对象的选项的选择(例如，用户看向该选项并将其拇指触摸到手指)，并且响应于检测到对该选项的选择，电子设备停止显示该一个或多个可选选项并且发起用于移动第一虚拟对象的过程。在该示例中，电子设备根据在维持手势(例如，将拇指和手指保持在一起)时用户的手的移动来移动第一虚拟对象，并且响应于检测到用户停止执行手势(例如，用户分开其手指和拇指)而停止移动第一虚拟对象并在相应用户界面元素中(在其新位置处)重新显示该一个或多个可选选项。因此，在一些实施方案中，电子设备当用户移动第一虚拟对象时隐藏该一个或多个可选选项，并且响应于移动输入的结束而显示该一个或多个可选选项。
上述当移动第一虚拟对象时隐藏该一个或多个可选选项的方式，提供了当移动第一对象时减少用户的视觉杂乱和认知负担的高效方式，并且使得用户能够当移动第一虚拟对象时更好地看到三维环境，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，在检测到第一用户输入之前，以第一外观(例如，大小、定位、颜色、不透明度、半透明度)显示相应用户界面元素(例如，1180a)(1212a)。在一些实施方案中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1212b)，根据确定第一用户输入包括电子设备的用户的注视指向相应用户界面元素(例如，1180a)，电子设备(例如，101)经由显示生成部件以不同于第一外观的第二外观(例如，大小、定位、颜色、不透明度、半透明度)显示(1212c)相应用户界面元素(例如，1180a)。例如，电子设备响应于检测到用户的注视在相应用户界面元素上而增加相应用户界面元素的大小。在一些实施方案中，当第一用户输入不是移动对象的请求并且不满足该一个或多个标准时，电子设备响应于第一用户输入而更新相应用户界面元素的外观。例如，该一个或多个标准包括当用户的注视保持在相应用户界面元素上达预先确定的时间阈值(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)时满足的标准，并且电子设备响应于用户的注视保持小于预先确定的阈值时间(或不管用户的注视保持在相应用户界面元素上的持续时间如何)而更新相应用户界面元素的外观。
上述响应于检测到第一用户输入而更新第一相应用户界面元素的外观的方式，提供了向用户指示相应用户界面元素是可交互的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，在检测到第一用户输入之前，以第一外观(例如，大小、颜色、半透明度、不透明度、在三维环境中距用户的视点的距离)显示相应用户界面元素(例如，1180a)(1214a)。在一些实施方案中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1214b)，根据确定第一用户输入对应于在用户界面中移动第一虚拟对象(例如，1106a)的请求，电子设备(例如，101)经由显示生成部件以不同于第一外观的第二外观显示(1214c)相应用户界面元素(例如，1180a)。例如，在检测到第一用户输入之前，电子设备以第一颜色(例如，白色)显示相应用户界面元素，并且响应于第一用户输入，电子设备以第二颜色(例如，蓝色)显示相应用户界面元素。在一些实施方案中，当用户提供移动第一虚拟对象的进一步输入时，电子设备维持相应用户界面元素的第二外观。在一些实施方案中，当用户提供移动第一虚拟对象的进一步输入时，电子设备以第一外观或不同于第一外观和第二外观的第三外观显示相应用户界面元素。
上述响应于移动第一虚拟对象的请求而更新相应用户界面元素的外观的方式，提供了向用户指示第一对象处于电子设备能够更新第一对象的位置的模式的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，该一个或多个可选选项包括能够被选择来停止显示第一虚拟对象(例如，1106a)的相应选项(例如，1112a)(1216a)。在一些实施方案中，响应于检测到对相应选项的选择，电子设备停止显示第一虚拟对象和相应用户界面元素。在一些实施方案中，电子设备停止显示第一虚拟对象和相应用户界面元素而不退出与第一虚拟对象相关联的应用程序(例如，继续显示与和第一应用程序相关联的应用程序相关联的一个或多个附加虚拟对象)。在一些实施方案中，电子设备停止显示第一虚拟对象和相应用户界面元素并退出与第一虚拟对象相关联的应用程序(例如，停止显示与和第一虚拟对象相关联的应用程序相关联的一或多个其他虚拟对象)。在一些实施方案中，如果第一虚拟对象是与应用程序相关联的唯一虚拟对象，则电子设备退出与第一虚拟对象相关联的应用程序，并且如果第一虚拟对象不是与应用程序相关联的唯一虚拟对象，则电子设备不退出应用程序并且继续显示与应用程序相关联的一或多个附加虚拟对象。
上述在相应用户界面元素中包括能够被选择来停止显示第一虚拟对象的选项的方式，提供了停止显示第一虚拟对象的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，该一个或多个可选选项包括能够被选择来使得第一虚拟对象(例如，1106a)能够被另一哥用户访问的相应选项(例如，1112b)(1218a)。在一些实施方案中，响应于检测到对相应选项的选择，电子设备使得第一虚拟对象可被其他用户访问。在一些实施方案中，使得第一虚拟对象可被另一个用户访问包括用另一个用户的电子设备显示第一虚拟对象，用另一个用户的电子设备呈现与第一虚拟对象相关联的音频，以及/或者使得另一个用户能够提供指向第一虚拟对象的一个或多个输入。在一些实施方案中，电子设备使得第一虚拟对象对于存在于三维环境中的另一个用户可见，并且/或者使得三维环境中的另一个用户能够提供指向第一虚拟对象的输入。在一些实施方案中，电子设备将虚拟对象传输到另一个电子设备或用户账户，因此使得在另一个用户不存在于三维环境中的情况下，该另一个用户能够异步地或同步地查看第一虚拟对象(或第一虚拟对象的副本)。
上述在相应用户界面元素中包括使得第一虚拟对象可供另一个用户使用的选项的方式，提供了共享第一虚拟对象的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个可选选项包括能够被选择来增加经由显示生成部件显示第一虚拟对象(例如，1106a)的显示区域的相应选项(例如，1112d)(1220a)。在一些实施方案中，响应于检测到对相应选项的选择，电子设备以全屏或完全沉浸模式呈现第一虚拟对象。例如，第一虚拟对象是在检测到对相应选项的选择之前与一个或多个其他虚拟对象(和/或电子设备的物理环境中的物理对象的表示)同时显示的应用程序的用户界面。在该示例中，响应于检测到对相应选项的选择，电子设备增加应用程序的用户界面的显示区域以占据经由显示生成部件显示的全部或基本上全部用户界面(例如，80％、90％或整个用户界面，而不是一个或多个小***用户界面元素，诸如状态区域、导航区域等)，并且停止显示该一个或多个其他虚拟对象(和/或电子设备的物理环境中的物理对象的表示)。在一些实施方案中，响应于检测到对相应选项的选择，电子设备增加与该一个或多个可选选项相关联的用户界面的沉浸水平。
上述在相应用户界面元素中包括增加第一虚拟对象的显示区域的选项的方式，提供了增加第一虚拟对象的显示区域的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，该一个或多个可选选项包括能够被选择来分组多个虚拟对象(例如，与和第一虚拟对象相关联的同一应用程序相关联的多个虚拟对象)(包括第一虚拟对象(例如，1106a))的相应选项(例如，1112e)(1222a)。在一些实施方案中，在检测到对相应选项的选择之前，该多个虚拟对象中的一个或多个虚拟对象彼此间隔开大于阈值距离(例如，.01、.05、0.1、0.2、0.3、0.5、0.7、1米等)，并且响应于检测到对相应可选选项的选择，电子设备更新该多个虚拟对象中的一个或多个虚拟对象的位置，使得该多个对象中的所有对象在彼此的阈值距离内。在一些实施方案中，在检测到对相应选项的选择之前，该多个虚拟对象中的一个或多个虚拟对象彼此不重叠(例如，从三维环境中的用户的视点来看)，并且响应于检测到对相应可选选项的选择，电子设备更新该多个虚拟对象中的一个或多个虚拟对象的位置，使得该多个对象中的所有(或者除了一个对象之外的所有)对象与该多个对象中的至少一个其他对象重叠。在一些实施方案中，仅在电子设备正在显示与和第一虚拟对象相关联的应用程序相关联的多个对象的情况下才显示相应选项。
上述在相应用户界面元素中包括分组多个对象的选项的方式，提供了同时查看该多个对象中的所有对象的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，图11B中的该一个或多个可选选项(例如，1112a-e)包括能够被选择来发起用于编辑第一虚拟对象(例如，1106a)的过程的相应选项(1224a)。在一些实施方案中，响应于检测到对相应选项的选择，电子设备显示一个或多个编辑工具(例如，复制、粘贴、剪切、标记(例如，向对象添加手写绘图)、添加文本、裁剪、旋转、颜色设置(例如，亮度、对比度、饱和度)。在一些实施方案中，电子设备仅在第一虚拟对象是可编辑对象的情况下才显示相应选项。例如，如果第一虚拟对象是图像，则电子设备显示相应选项，并且如果第一虚拟对象是不支持编辑的应用程序(例如，web浏览器、电子邮件应用程序、视频流应用程序、音乐回放应用程序、电子书等)的用户界面，则电子设备不显示相应选项。
上述在相应用户界面元素中显示编辑虚拟对象的选项的方式，提供了使得设备显示编辑工具的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，用户界面包括三维环境1102(例如，计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)，并且根据第一用户输入在用户界面中移动第一虚拟对象(例如，1106c)和相应用户界面元素(例如，1180c)包括(1226a)：当移动第一虚拟对象(例如，1106c)时，经由显示生成部件显示三维环境1102的在第一虚拟对象(例如，1106c)的移动完成时由第一虚拟对象(例如，1106c)占据的一部分的与第一虚拟对象(例如，1106c)分开(并且与相应用户界面元素分开)的视觉指示1114(1226b)，诸如在图11B中。在一些实施方案中，电子设备识别电子设备的物理环境中的表面(例如，地面、桌子、墙壁)或三维环境中的虚拟表面，并且响应于与在表面的阈值距离(例如，5、10、15、20、25、30厘米等)内移动对象的请求对应的输入，将虚拟对象显示为就好像其搁置在表面上(例如，对于水平表面)或悬挂在表面上(例如，对于垂直表面)。在一些实施方案中，当电子设备检测到移动第一对象的输入时，根据确定当第一对象正被移动时该第一对象的当前定位在表面的阈值距离内，电子设备响应于移动对象的输入的终止而显示将与表面对准(例如，被显示为就好像正在触摸表面)的对象的表面的轮廓的指示。例如，当移动虚拟对象时，如果当对象当前未被显示在视觉指示的位置处时，电子设备检测到移动对象的输入的终止，则电子设备在三维环境的地面(例如，任选地，电子设备的物理环境的地面的表示)上将显示虚拟对象的位置处显示对象的底表面的轮廓。因此，在一些实施方案中，当用户移动虚拟对象时，电子设备显示与移动输入对应的对象的放置的指示。
上述当用户正在移动对象时高效地显示与移动输入对应的对象的放置的指示的方式，提供了对当对象正被移动时该对象的已更新定位的预览，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，根据确定第一虚拟对象(例如，1106a)是二维对象，将相应用户界面元素(例如，1180a)显示在第一虚拟对象(例如，1106a)的边缘处(1228a)。在一些实施方案中，显示相应用户界面元素的边缘在第一虚拟对象的预先确定的边缘(例如，底部边缘)处。在一些实施方案中，电子设备显示多个虚拟对象，每个虚拟对象具有沿着该多个虚拟对象的相同边缘显示的相关联的相应用户界面元素。例如，电子设备显示具有沿着底部边缘的相应用户界面元素的第一虚拟对象，并且显示具有沿着底部边缘的第二相应用户界面元素的第二虚拟对象。在一些实施方案中，电子设备在第一虚拟对象的相同边缘处显示相应用户界面元素，而不管用户相对于该对象的定位如何。在一些实施方案中，诸如在图11A中，根据确定第一虚拟对象(例如，1106c)是三维对象，将相应用户界面元素(例如，1180c)显示在第一虚拟对象(例如，1106c)的最靠近与电子设备的用户对应的位置的边缘处(1228b)。例如，电子设备在显示第一虚拟对象的三维环境中沿着最靠近用户的视点的底部边缘显示相应用户界面元素。在一些实施方案中，如果用户相对于第一虚拟对象的定位改变，则电子设备更新第一虚拟对象的显示相应用户界面元素的边缘。例如，当用户在三维环境中的位置最靠近对象的第一边缘时，电子设备沿着对象的第一边缘显示相应用户界面元素，并且当用户在三维环境中的位置最靠近对象的第二边缘时，电子设备沿着对象的第二边缘显示相应用户界面元素。
上述在二维对象的预先确定的边缘处和在三维对象的最靠近用户的边缘处显示相应用户界面元素的方式，提供了确保三维环境的相应用户界面元素对于用户可见并且在可预测且对于用户熟悉的位置处显示二维对象的相应用户界面元素的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，电子设备(例如，101)在用户界面中同时显示(1230a)第一虚拟对象(例如，1106a)和与第一虚拟对象(例如，1106a)分开的、与第一虚拟对象(例如，1106a)相关联地(例如，在第一虚拟对象附近、沿着第一虚拟对象的边缘等)显示的对应的相应用户界面元素(例如，1180a)(1230b)，以及第二虚拟对象(例如，1106b)和与第二虚拟对象(例如，1106b)分开的、与第二虚拟对象(例如，1106b)相关联地(例如，在第二虚拟对象附近、沿着第二虚拟对象的边缘等)显示的对应的相应用户界面元素(例如，1180b)(1230c)。在一些实施方案中，第一虚拟对象的对应的相应用户界面元素和对应的相应用户界面元素具有相同外观。在一些实施方案中，基于与相应用户用户界面元素相关联的相应虚拟对象的大小和/或距该相应虚拟对象的用户的视点的距离，相应用户界面元素具有不同大小。在一些实施方案中，与第二虚拟对象对应的相应用户界面元素具有和与第一虚拟对象对应的相应用户界面元素相同的功能。在一些实施方案中，响应于经由注视跟踪设备检测到用户的注视指向第一虚拟对象，电子设备显示具有与第一虚拟对象对应的相应用户界面元素的第一虚拟对象并且显示不具有与第二虚拟对象对应的相应用户界面元素的第二虚拟对象。在一些实施方案中，响应于经由注视跟踪设备检测到用户的注视指向第二虚拟对象，电子设备显示具有与第二虚拟对象对应的相应用户界面元素的第二虚拟对象并且显示不具有与第一虚拟对象对应的相应用户界面元素的第一虚拟对象。
上述高效地显示与第一虚拟对象和第二虚拟对象中的每一者对应的相应用户界面元素的方式，提供了与虚拟对象交互的一致方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，根据第一用户输入在用户界面中移动第一虚拟对象(例如，1106c)和相应用户界面元素(例如，1180c)包括(1232a)：根据确定满足该一个或多个相应标准(1232b)，在第一虚拟对象(例如，1106c)的移动开始时显示第一虚拟对象(例如，1106c)从初始定位提升的动画(1232c)(例如，当第一虚拟对象沿着三维环境(例如，虚拟表面或电子设备的物理环境中的表面的表示(例如，显示表面的照片真实感表示或使得用户能够透过显示生成部件的透明部分看到表面)的表面(例如，墙壁、地面、桌子等)取向时，满足该一个或多个相应标准)。在一些实施方案中，该一个或多个相应标准包括如果第一虚拟对象是三维对象则满足的标准。例如，在一些实施方案中，电子设备将虚拟对象显示为就好像它在三维环境中(例如，在VR环境中)或在电子设备的物理环境中(例如，在AR或MR环境中)被放置在地面或桌子上或悬挂在墙壁上(例如，响应于包括在不与提升第一虚拟对象对应的方向上的移动的输入)。例如，电子设备显示响应于水平移动输入或向下移动输入而从桌子向上移动第一虚拟对象的动画，并且在向上移动对象之后或在向上移动对象时，在与移动输入的方向一致的方向上移动对象。作为另一个示例，电子设备显示响应于垂直移动输入而将第一对象远离墙壁水平移动的动画，并且在将对象远离墙壁水平移动之后或在将对象远离墙壁水平移动时，在与移动输入的方向一致的方向上移动对象。在一些实施方案中，电子设备检测到包括在与提升第一虚拟对象对应的方向上的运动的移动输入，并且对象响应于该输入而进行的运动包括提升对象。在一些实施方案中，诸如在图11D中，根据确定满足一个或多个相应标准(1232b)，显示第一虚拟对象(例如，1106c)下降到第一虚拟对象(例如，1106c)的移动结束时的最终定位的动画(例如，响应于不与使对象下降对应的移动)(1232d)。例如，电子设备显示响应于在与移动输入的方向一致的方向上移动之后或在与移动输入的方向一致的方向上移动时水平或向上移动输入的结束而将第一虚拟对象朝向桌子的表面向下移动的动画。作为另一个示例，在与移动输入的方向一致的方向上移动对象之后或在与移动输入的方向一致的方向上移动对象时，电子设备显示响应于垂直移动输入而将第一对象远离墙壁水平移动的动画。在一些实施方案中，电子设备检测到包括在与使得第一虚拟对象下降对应的方向上的运动的移动输入，并且对象响应于该输入而进行的运动包括使得对象下降。因此，在一些实施方案中，在根据移动输入移动对象之前，电子设备将对象远离表面移动，并且响应于检测到移动输入的结束，电子设备将对象移动到沿着表面的位置。
上述在根据移动输入移动对象之前将对象远离表面移动并且在移动输入结束时将对象朝向表面移动的方式，提供了允许用户在到处移动对象时查看表面(例如，通过将对象远离遮挡表面的一部分的位置移动)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个相应标准包括当在检测到(1234a)用于在用户界面中移动第一虚拟对象(例如，1106c)的第一用户输入之前第一虚拟对象(例如，1106c)对齐到表面初始定位处时满足的标准。在一些实施方案中，当对象对齐到表面时，电子设备显示该对象，就好像该对象搁置在该表面上一样(例如，放置在地面或桌子上，悬挂在墙壁上)。在一些实施方案中，表面是三维环境中的虚拟表面。在一些实施方案中，表面是电子设备的物理环境中的真实表面，并且该电子设备显示该表面的照片真实感表示或者使用户能够通过显示生成部件的透明部分查看该表面。在一些实施方案中，电子设备响应于检测到对象在阈值距离(例如，1、2、3、4、5、7、10、20、30厘米等)内移动而将对象对齐到表面。在一些实施方案中，如果对象没有对齐到表面，则不满足该一个或多个标准。在一些实施方案中，不管对象是否对齐到表面，都满足该一个或多个标准。因此，在一些实施方案中，根据确定对象对齐到表面，在根据移动输入移动对象之前，电子设备将对象远离表面移动，并且响应于检测到移动输入的结束，电子设备将对象移动到沿着表面的位置。
上述在对象对齐到表面的情形下在根据移动输入移动对象之前将对象远离表面移动并且在移动输入结束时将对象朝向表面移动的方式，提供了允许用户在到处移动对象时查看表面(例如，通过将对象远离遮挡表面的一部分的位置移动)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，电子设备(例如，101)经由与电子设备通信的手部跟踪设备检测到(1236a)电子设备的用户的手(例如，1104a)(例如，的预定义部分)相对于第一虚拟对象(例如，1106b)处于相应位置处(例如，朝向第一虚拟对象的左、右、顶或底表面)。在一些实施方案中，诸如在图11A中，响应于检测到用户的手(例如，1104a)相对于第一虚拟对象(例如，1106b)处于相应位置处并且根据确定满足(1236b)一个或多个相应标准(例如，经由眼睛跟踪设备检测到用户的注视朝向第一虚拟对象和/或相应用户界面元素，和/或经由手部跟踪设备检测到用户执行预先确定的手势(例如，用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)))，根据确定相应位置对应于第一虚拟对象(例如，1106b)的第一侧，电子设备(例如，101)经由显示生成部件在第一虚拟对象(例如，1106b)的第一侧处显示(1236c)相应用户界面元素(例如，1180b)。在一些实施方案中，电子设备将相应用户界面元素的位置从在第一虚拟对象的预先确定的边缘处显示更新为在第一虚拟对象的第一侧处显示。例如，响应于检测到用户的手朝向第一虚拟对象的右侧，电子设备将相应用户界面元素从沿着第一虚拟对象的底部显示移动到沿着第一虚拟对象的右侧显示。在一些实施方案中，诸如在图11A中，响应于检测到用户的手(例如，1104a)相对于第一虚拟对象(例如，1106b)处于相应位置处，并且根据确定满足(1236b)一个或多个相应标准，根据确定相应位置对应于不同于第一虚拟对象(例如，1106b)的第一侧的第二侧，电子设备(例如，101)经由显示生成部件在第一虚拟对象(例如，1106b)的第二侧处显示(1236d)相应用户界面元素(例如，1180b)。例如，响应于检测到用户的手朝向第一虚拟对象的左侧，电子设备将相应用户界面元素从沿着第一虚拟对象的底部显示移动到沿着第一虚拟对象的左侧显示。又如，响应于检测到用户的手朝向第一虚拟对象的左侧，电子设备在第一虚拟对象的左侧上显示相应用户界面元素，而最初不在不同定位处显示相应用户界面元素。在一些实施方案中，当根据用户的手相对于第一虚拟对象的定位在该位置处显示相应用户界面元素时，响应于检测到用户的另一只手处于与第一虚拟对象对应的位置处(例如，在对象的另一侧上)，电子设备在与用户的另一只手对应的位置处显示第二相应用户界面元素。
上述在与用户的手相对于第一虚拟对象的位置对应的位置处显示相应用户界面元素的方式，提供了使用户能够用其手与相应用户界面元素交互(例如，通过将相应用户界面元素朝向用户的手移动)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个相应标准包括当用户的手(例如，1104b)相对于第一虚拟对象(例如，1106a)处于相应位置处时具有第一姿势时满足的标准(1238a)。在一些实施方案中，姿势是用户的拇指在与该拇指在同一只手上的手指(例如，食指、中指、无名指、小指)的阈值距离(例如，0.5、1、2厘米等)内。在一些实施方案中，检测到用户用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)对应于选择输入，并且姿势对应于选择输入的开始。
上述响应于检测到手的预先确定的姿势而在与用户的手相对于第一虚拟对象的位置对应的位置处显示相应用户界面元素的方式，提供了使用户能够用其手与相应用户界面元素交互(例如，通过将相应用户界面元素朝向用户的手移动)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，该一个或多个标准包括当电子设备的用户的手(例如，1104b)相对于第一虚拟对象(例如，1106c)处于相应位置处(例如，在第一虚拟对象的阈值距离(例如，1、2、3、5、10、15、30、50厘米等)内)并且用户的手(例如，1105b)具有第一姿势(例如，以“指向”手势伸出的一根或多根手指)时满足的标准(1240a)。在一些实施方案中，第一姿势不同于第二姿势(例如，用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))，如果检测到朝向第一虚拟对象的相应侧的第二姿势，则第二姿势使得电子设备在第一虚拟对象的相应侧上显示相应用户界面元素。在一些实施方案中，第一姿势不同于第二姿势(例如，用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))，如果在用户移动其手时检测到并维持(例如，在检测到用户对第一虚拟对象的注视的时间阈值内(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等))第二姿势，则第二姿势使得电子设备根据用户的手的移动来移动第一虚拟对象。在一些实施方案中，响应于在经由手部跟踪设备检测到用户的手当处于第一姿势(例如，以“指向”手势伸出的一根或多根手指)时在可选选项中的相应选项的阈值距离(例如，1、2、3、5、10、15、30、50厘米等)内时经由注视跟踪设备检测到用户的注视指向可选选项中的相应选项，电子设备执行与对可选选项中的相应选项的选择相关联的操作。
上述响应于检测到用户的手具有第一姿势而显示该一个或多个可选选项的方式，提供了执行与可选选项中的一者相关联的动作(例如，通过减少显示可选选项所花费的时间)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，用户的手(例如，1104a)的预定义部分(例如，拇指、手指等)相对于第一虚拟对象(例如，1106b)处于相应位置处，其中相应位置远离相应用户界面元素(例如，1180b)的位置(例如，至少阈值距离(例如，5、10、20、30、50厘米等))，电子设备(例如，101)经由手部跟踪设备检测到(1242a)用户的手(例如，1104a)的预定义部分执行相应手势(例如，用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指))。在一些实施方案中，电子设备还经由眼睛跟踪设备检测到用户的注视朝向第一虚拟对象和/或相应用户界面元素。在一些实施方案中，诸如在图11A中，响应于检测到用户的手(例如，1104a)的预定义部分执行相应手势，电子设备(例如，101)将相应用户界面元素(例如，1180b)移动(1242b)到用户的手(例如，1104a)的预定义部分的相应位置。在一些实施方案中，电子设备在手的位置处和/或在用户的拇指触摸另一根手指的位置处或在用户的拇指与手指之间显示相应用户界面元素的中心，并且在相对于相应用户界面元素的预先确定的位置处显示第一虚拟对象。例如，电子设备将第一对象显示在相应用户界面元素上方并且与相应用户界面元素中心对准。因此，在一些实施方案中，响应于检测到手势，电子设备将相应用户界面元素(和第一虚拟对象)移动到执行手势的位置处。
上述将相应用户界面元素移动到执行手势的位置处的方式，提供了移动相应用户界面元素(例如，不将用户界面元素拖到经更新位置)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，当在第一虚拟对象(例如，1106b)的第一侧处显示相应用户界面元素(例如，1180b)时，电子设备(例如，101)经由手部跟踪设备检测到(1244a)用户的手(例如，1104a)移动到对应于第一虚拟对象(例如，1106b)的第二侧(例如，第二侧不同于第一侧)的位置。在一些实施方案中，响应于检测到用户的手(例如，1104a)移动到对应于第一虚拟对象(例如，1106b)的第二侧的位置，电子设备(例如，101)经由显示生成部件显示(1244b)相应用户界面元素(例如，1180b)从第一虚拟对象(例如，1106b)的第一侧移动到第一虚拟对象(例如，1106b)的第二侧的动画。在一些实施方案中，电子设备以动画方式将相应用户界面元素的位置从在第一虚拟对象的第一边缘(例如，预先确定的边缘或任意边缘)处显示更新为在第一虚拟对象的第二侧处显示，诸如通过显示相应用户界面元素从虚拟对象的第一侧移动到第二侧。例如，响应于检测到用户的手朝向第一虚拟对象的右侧，电子设备显示将相应用户界面元素从沿着第一虚拟对象的底部显示移动到沿着第一虚拟对象的右侧显示的动画。
上述显示将相应用户界面元素移动到与用户的手相对于第一虚拟对象的位置对应的位置的动画的方式，提供了使用户能够用其手与相应用户界面元素交互(例如，通过将相应用户界面元素朝向用户的手移动)的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，用于在用户界面中移动第一虚拟对象(例如，1106c)的第一用户输入包括电子设备的用户的手(例如，1104d)(例如，和/或手臂)的移动(1246a)。在一些实施方案中，诸如在图11B中，在移动第一虚拟对象(例如，1106c)之前，第一虚拟对象(例如，1106c)具有相对于用户界面的预定义参考系的相应取向(例如，第一虚拟对象具有相对于预定义参考系中的“向上”方向在相应取向上取向的轴线)(1246b)。在一些实施方案中，当在用户界面中移动第一虚拟对象(例如，1106c)和相应用户界面元素(例如，1180c)时，电子设备(例如，101)检测到(1246c)用户的手(例如，1104d)的取向的改变。在一些实施方案中，响应于检测到用户的手(例如，1104d)的取向的改变，电子设备(例如，101)改变(1246d)第一虚拟对象(例如，1106c)的取向，使得其不再具有相对于预定义参考系的相应取向(例如，轴线不再在相对于预定义参考系中的“向上”方向的相应取向上取向)。在一些实施方案中，当移动第一虚拟对象时，第一虚拟对象的轴线在相对于用户的手的相应取向上是固定的(例如，使得轴在相对于用户的手的“向上”方向的相应取向上取向)。在一些实施方案中，诸如在图11D中，响应于检测到第一用户输入的结束，电子设备(例如，101)以相对于用户界面的预定义参考系的相应取向来显示(1248e)虚拟对象(例如，1106c)(例如，虚拟对象具有相对于用户界面的预定义参考系的相应取向，而不管在检测到第一用户输入的结束时虚拟对象是处于第一取向还是不同于第一取向的第二取向还是不同于第一取向和第二取向的第三取向)。在一些实施方案中，响应于第一用户输入的结束，电子设备以与在检测到第一输入之前显示第一虚拟对象的取向相同的取向来显示第一虚拟对象。因此，在一些实施方案中，电子设备在根据用户的手的旋转来移动第一虚拟对象时根据用户的手的旋转来旋转第一虚拟对象，并且响应于移动输入的结束而以相对于预定义参考系的相应取向来显示第一虚拟对象(例如，第一虚拟对象对齐回到其原始取向和/或与预定义参考系对准的取向)。
上述在根据用户的手的移动来移动第一虚拟对象时根据用户的手的旋转来旋转第一虚拟对象并且响应于移动输入的结束而以原始取向来显示第一虚拟对象的方式，提供了在电子设备根据手部移动来移动第一虚拟对象时接近用户的手的预先确定的部分显示第一对象而在第一输入的结束之后不维持对象的旋转的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当在用户界面中移动第一虚拟对象(例如，1106a)和相应用户界面元素(例如，1180a)(例如，根据第一用户输入)同时，电子设备(例如，101)经由手部跟踪设备检测到(1250a)电子设备的用户的手选择相应用户界面元素(例如，1180a)中的该一个或多个可选选项(例如，1112a-e)中的相应可选选项，诸如在图11B中。在一些实施方案中，电子设备根据用户的第一只手/手臂的移动来移动第一虚拟对象和相应用户界面元素，并且电子设备检测到通过用户的另一只手作出的选择输入。在一些实施方案中，选择相应可选选项的输入包括检测到另一只手的预先确定的姿势或手势，诸如用户朝向相应可选选项伸出其另一只手的一根或多根手指(例如，以“按压”该选项)和/或用拇指触摸与该拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，检测到选择输入包括在检测到另一只手的预先确定的姿势或手势时经由眼睛跟踪设备检测到用户的注视朝向相应可选选项。在一些实施方案中，响应于检测到用户的手选择相应可选选项，电子设备(例如，101)执行(1250b)与相应可选选项对应的相应操作。在一些实施方案中，电子设备在继续移动第一虚拟对象和相应用户界面元素时，执行相应可选选项。在一些实施方案中，电子设备停止移动第一虚拟对象和相应用户界面元素并且执行相应动作，同时在检测到对相应可选选项的选择时显示第一虚拟对象和相应用户界面元素的位置处显示第一虚拟对象和相应用户界面元素。在一些实施方案中，相应可选选项是停止显示第一虚拟对象的选项，并且响应于检测到对相应可选选项的选择，电子设备停止显示第一虚拟对象和相应用户界面元素。
上述在移动第一虚拟对象和相应用户界面元素时接受对相应可选选项的选择的方式，提供了执行与可选选项相关联的动作而无需终止第一虚拟对象的移动的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C中，当在用户界面中移动第一虚拟对象(例如，1106c)和相应用户界面元素(例如，1180c)时(1252a)，根据确定满足一个或多个相应标准，包括当第一虚拟对象(例如，1106c)在用户界面中的当前位置对应于物理对象在电子设备的环境中的位置(例如，在阈值距离(例如，1、2、5、10、20、30厘米等)内)时满足的标准(例如，电子设备在三维环境中显示物理对象的照片真实感表示或者使用户能够通过显示生成部件的透明部分查看该物理对象)，电子设备(例如，101)将第一虚拟对象(例如，1106c)对齐(1252b)到用户界面中与物理对象的位置对应的位置。在一些实施方案中，将第一虚拟对象对齐到与物理对象对应的位置包括显示第一虚拟对象，就好像其附接到或搁置在真实对象上一样。例如，电子设备显示第一虚拟对象，就好像其搁置在桌子或地面上或悬挂在墙壁上一样。在一些实施方案中，电子设备将第一虚拟对象对齐到用户的手(例如，用户的不移动虚拟对象的手)并且响应于用户的手的移动而更新虚拟对象的位置(例如，显示第一虚拟对象，就好像其搁置在用户的手中或粘在用户的手上一样)。在一些实施方案中，根据确定不满足一个或多个相应标准，电子设备放弃将第一虚拟对象对齐到与物理对象的位置对应的位置(例如，继续在三维环境中在其相应位置处显示虚拟对象)。
上述将第一虚拟对象对齐到物理对象的方式，提供了以减少用户的认知负担的方式自动定位第一虚拟对象的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，显示第一虚拟对象(例如，1106a)(例如，应用程序、应用程序的窗口、虚拟对象(诸如虚拟时钟)等)以及对应的相应用户界面元素(例如，1180a)包括(1250a)根据确定第一虚拟对象(例如，1106a)是应用程序的表示(例如，用户界面)，以第一外观(例如，大小、颜色、不透明度、形状等)显示相应用户界面元素(例如，1180a)(1250b)。在一些实施方案中，诸如在图11A中，显示第一虚拟对象(例如，1106c)(例如，应用程序、应用程序的窗口、虚拟对象(诸如虚拟时钟)等)以及对应的相应用户界面元素(例如，1180c)包括(1250a)根据确定第一虚拟对象(例如，1106c)是除了应用程序之外的内容(例如，视频内容、图像、音频播放器、文档)的表示，以不同于第一外观的第二外观(例如，大小、颜色、不透明度、形状等)显示相应用户界面元素(例如，1180c)(1250c)。例如，与在第一虚拟对象是应用程序的表示的情形下相比，在第一虚拟对象是内容的表示的情形下，电子设备以更小的大小显示相应用户界面元素。在一些实施方案中，响应于指向应用程序的表示的输入而显示内容的表示。例如，电子设备响应于用户选择(例如，用手势(例如，捏合、指向等))内容并且将其拖出应用程序的表示而显示与应用程序的表示分开的内容项。在一些实施方案中，无论第一虚拟对象是内容的表示还是应用程序的表示，电子设备都以相同的外观显示相应用户界面元素。
上述根据第一虚拟对象是内容的表示还是应用程序的表示而以不同的外观显示相应用户界面元素的方式，提供了在需要时扩展相应用户界面元素的功能性并且在不需要增加的功能性时减少由相应用户界面元素占据的显示区域的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11B中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1252a)，根据确定第一用户输入满足一个或多个标准(1252b)，根据确定第一虚拟对象(例如，1106a)是应用程序的表示(例如，用户界面)，相应用户界面元素(例如，1180a)包括能够被选择来执行与第一虚拟对象(例如，1106a)相关联的第一组对应操作的第一组一个或多个可选选项(例如，1112a-e)，并且不包括能够被选择来执行与第一虚拟对象(例如，1106a)相关联的第二组对应操作的第二组一个或多个可选选项(1252c)。例如，该一个或多个选项包括合并/收集与和第一虚拟对象相同的应用程序相关联的所有对象的选项，并且不包括将标记添加到第一虚拟对象的选项。在一些实施方案中，响应于检测到第一用户输入指向相应用户界面元素(例如，1180a)(1252a)，根据确定第一用户输入满足该一个或多个标准(1252b)，根据确定第一虚拟对象(例如，1106c)是除了应用程序之外的内容(例如，视频内容、图像、音频播放器、文档)的表示，相应用户界面元素(例如，1180c)包括不同于第一组一个或多个可选选项的第二组一个或多个可选选项(1252d)。例如，该一个或多个选项包括将标记添加到第一虚拟对象的选项，而不包括合并/收集与同一应用程序相关联的所有对象的选项。在一些实施方案中，无论第一虚拟对象是内容的表示还是应用程序的表示，第一虚拟对象都包括一个或多个选项。在一些实施方案中，不同应用程序的表示包括不同选项，并且不同内容的表示包括不同选项。例如，与消息收发应用程序相关联的相应用户界面元素不包括共享消息收发应用程序的表示的选项，但是与文字处理应用程序相关联的相应用户界面元素包括共享文字处理应用程序的选项。又如，视频内容项的相应表示包括以全屏模式查看视频内容的选项，但是与音频播放器的表示相关联的相应用户界面元素不包括以全屏模式显示音频播放器的选项。上述根据第一虚拟对象是内容的表示还是应用程序的表示在相应用户界面元素中呈现不同选项的方式，提供了通过放弃显示与第一虚拟对象不相关的选项来节省显示区域的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11D中，当显示第一虚拟对象(例如，1106a)而不显示相应用户界面元素时，电子设备(例如，101)经由与电子设备通信的眼睛跟踪设备检测到(1254a)电子设备的用户的注视指向第一虚拟对象(例如，1106a)。在一些实施方案中，响应于检测到用户的注视指向第一虚拟对象(例如，1106a)(例如，在阈值时间段(例如，0.02、0.05、0.1、0.2、0.25、0.3、0.5、1秒等)内或立即(不管用户注视第一虚拟对象的持续时间))，电子设备(例如，101)经由显示生成部件显示(1254b)与第一虚拟对象(例如，1106a)相关联(例如，在阈值距离(例如，0.5、1、2、5、10厘米等)内和/或沿着第一虚拟对象的边缘)的相应用户界面元素(例如，1180a)，诸如在图11A中。在一些实施方案中，当显示第一虚拟对象(例如，1106a)和与第一虚拟对象相关联的相应用户界面元素(例如，1180a)时，诸如在图11A中，电子设备(例如，101)经由眼睛跟踪设备检测到(1254c)用户的注视不指向第一虚拟对象(例如，1180a)(例如，检测到用户的注视指向由显示生成部件显示的不同对象，检测到用户闭上他们的眼睛达预先确定的时间(例如，0.2、0.3、0.4、0.5、1秒等))。在一些实施方案中，响应于检测到用户的注视不指向第一虚拟对象(例如，1106a)，电子设备(例如，101)停止显示(1254d)相应用户界面元素，同时维持第一虚拟对象(例如，1106a)的显示，诸如在图11D中。在一些实施方案中，电子设备放弃显示相应用户界面元素，除非且直到电子设备检测到用户注视指向第一虚拟对象。
上述除非且直到电子设备检测到用户注视指向第一虚拟对象才放弃显示相应用户界面元素的方式，提供了减少用户的视觉杂乱和认知负担的高效方式，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图13A至图13F示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
图13A示出了电子设备101a经由显示生成部件120显示三维环境和/或用户界面。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a在二维环境中利用参考图13A至图13F所述的一种或多种技术。如上参考图1至图6所述，电子设备101a任选地包括显示生成部件120a(例如，触摸屏)和多个图像传感器314a。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a交互时电子设备101a能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，示出和描述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测到物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测到用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图13A所示的三维环境包括多个可选选项1306、1308、1316、1318、1326和1328，每个选项例如在多个容器1302、1304、1312、1314、1322和1324内。例如，选项1306和1308显示在容器1304内，该容器显示在容器1302内；选项1316和1318显示在容器1314内，该容器显示在容器1312内；并且选项1326和1328显示在容器1324内，该容器显示在容器1322内。在一些实施方案中，电子设备101a不同时显示所有这些元素，并且下面描述的交互中的一个或多个交互可选地单独和/或在不同时间执行。在一些实施方案中，可选选项1306、1308、1316、1318、1326和1328能够被选择以使电子设备101a执行相关联动作，诸如呈现应用程序或文件、改变电子设备101a的设置、发起与另一个电子设备的通信、或导航用户界面。在一些实施方案中，容器1302、1304、1312、1314、1322和1324是用户界面元素，诸如窗口、转盘、背板或三维环境的其他视觉定义的区域。
如图13A所示，当电子设备101a未检测到电子设备101a的用户的一只或多只手的就绪状态时，电子设备101a显示可选选项1306、1308、1316、1318、1326和1328以及容器1302、1304、1312、1314、1322和1324而不在视觉上分开。即，选项1306和1308以及容器1302和1304与用户在三维环境中的视点相距相同的第一距离，选项1316和1318以及容器1312和1314与用户在三维环境中的视点相距相同的第二距离，并且选项1326和1328以及容器1322和1324与用户在三维环境中的视点相距相同的第三距离。在一些实施方案中，检测到电子设备101a的用户的一个或多个手的就绪状态包括检测到指示用户将基于由手提供的形状、姿势或手势来提供进一步输入的预先确定的手形和/或手势，如下文将参考图13B更详细地描述的。
图13B示出了电子设备101a响应于检测到用户的就绪状态而将可选选项1316和1318以及容器1312和1314的显示更新为包括可选选项1316和1318与容器1312之间、容器1312与1314之间、以及容器1312与三维环境(例如，其背景)之间的视觉间距。因为来自手1303a和/或1303b的选择输入不指向可选选项1306或1308，所以电子设备101a不将可选选项1306和1308显示为与容器1304具有视觉间距，并且不将容器1304显示为与容器1302具有视觉间距。因为来自手1303和/或1303b的选择输入不指向可选选项1326或1328，所以电子设备101a不将可选选项1326和1328显示为与容器1324具有视觉间距，并且不将容器1324显示为与1322 1302具有视觉间距。在图13B中，手1303a和注视1301a提供第一就绪状态，并且手1303b和注视1301b提供第二就绪状态。应当理解，图13B以手1303a和1303b以及注视1301a和1301b示出了多个并发就绪状态，作为例示电子设备101a如何响应例如不同类型的输入的差异的方式。例如，在一些实施方案中，由手1303a和注视1301a提供的就绪状态以及由手1303b和注视1301b提供的就绪状态不同时被检测到，而是在不同时间被检测到。
在一些实施方案中，电子设备101a检测到直接输入，该直接输入包括用户的手在与直接输入所指向的用户界面元素对应的位置处执行输入手势。在一些实施方案中，手1303a和注视1301a示出了用户的直接输入就绪状态。例如，引导直接就绪状态包括检测到当手1303a在可选选项1316的直接就绪状态阈值距离(例如，5、10、15、20、30或50厘米或1、2、3或5米)内时检测到该手处于预定义手形。例如，手形是指向手形，其中手1303a的一根或多根手指伸出并且一根或多根手指朝向手1303a的手掌蜷曲。在一些实施方案中，检测到直接就绪状态包括检测到用户的注视1301a指向可选选项1316。在一些实施方案中，检测到用户的注视1301a指向可选选项1316对于检测到直接就绪状态不是必需的。
在一些实施方案中，电子设备101a检测到间接输入，该间接输入包括当用户的注视指向输入所指向的用户界面元素时，用户的手在与输入所指向的用户界面元素的位置无关的位置处执行输入手势。在一些实施方案中，手1303b和注视1301b示出了用户的间接就绪状态。尽管图13B示出了手1303b在提供间接就绪状态时处于与用户界面元素1318对应的位置处，但是应当理解，在一些实施方案中，当手1303b处于与可选选项1318无关或相距大于直接就绪状态阈值距离(例如，5、10、15、20、30或50厘米或1、2、3或5米)的位置处时，检测到间接就绪状态。在一些实施方案中，检测到间接就绪状态包括在注视1301b指向可选选项1318时检测到手1303b处于预定义手形。例如，当用户的注视1301b指向可选选项1318时，手形是预备捏合手形，其中手1303b的拇指在手1303b的另一根手指(例如，食指)的阈值距离(例如，0.5、1、2、3或5厘米)内但不触摸另一根手指。
在一些实施方案中，确定间接就绪状态所指向的可选选项是基于检测到用户的注视。在一些实施方案中，如果用户的注视1301b从可选选项1318移动到三维环境中的不同可选选项，则电子设备101a减少可选选项1318与容器1314之间的视觉间距，并且增加用户的注视所指向的可选选项与靠近和/或包括该可选选项的容器之间的视觉间距。例如，如果注视1301b要从选项1318移动到选项1306，则电子设备101a将减少选项1318与容器1314之间的视觉间距量并且增加选项1306与容器1304之间的视觉间距量。
在一些实施方案中，当用户的注视指向输入所指向的用户界面元素时，电子设备101a能够检测空中手势输入，其中用户的手在与不同于输入所指向的用户界面元素的空中手势用户界面元素对应的位置处执行输入手势，如下文将参考图13C更详细地描述的。在一些实施方案中，检测到空中手势就绪状态包括当手与三维环境中的交互式用户界面元素相距大于直接就绪状态阈值距离(例如，5、10、15、20、30或50厘米、1、2、3或5米)时并且当用户的注视指向三维环境中的交互式用户界面元素时，检测到用户的手的预定义姿势，诸如上文所述的指向手形。
在一些实施方案中，确定空中手势就绪状态所指向的可选选项是基于检测到用户的注视。在一些实施方案中，如果当电子设备101a检测到空中手势就绪状态而非间接输入就绪状态时，用户的注视1301b从可选选项1318移动到三维环境中的不同可选选项，则电子设备101a减少可选选项1318与容器1314之间的视觉间距，并且增加用户的注视所指向的可选选项与靠近和/或包括该可选选项的容器之间的视觉间距。例如，如果注视1301b要从选项1318移动到选项1306，则电子设备101a将减少选项1318与容器1314之间的视觉间距量并且增加选项1306与容器1304之间的视觉间距量。
在一些实施方案中，电子设备101a能够经由触觉输入设备(诸如触笔、触控板、鼠标和键盘)检测到输入。在一些实施方案中，检测到触觉输入设备就绪状态包括检测到用户的身体(例如，手)处于输入设备的阈值距离(例如，1、2、3、5或10厘米)内而不触摸输入设备。在一些实施方案中，检测到触觉输入设备就绪状态包括检测到用户的注视指向三维环境中的相应交互式用户界面元素。在一些实施方案中，电子设备检测到触觉输入设备就绪状态而未检测到用户的注视指向三维环境中的相应交互式用户界面元素。
在图13B中，响应于由手1303a(和注视1301a)提供的直接就绪状态，电子设备101a显示容器1312和1314以及可选选项1316，其具有与在检测到图13A中的就绪状态之前这些元素的间距量相比增加的视觉间距。响应于由手1303b和注视1301b提供的间接就绪状态，电子设备101a显示容器1312和1314以及可选选项1318，其具有与在检测到图13A中的就绪状态之前这些元素的间距量相比增加的视觉间距。在一些实施方案中，电子设备通过调整与一个或多个元素相关联的大小、立体深度或虚拟阴影来调整元素的视觉间距。例如，图13B中的可选选项1316和1318的大小大于图13A中的可选选项1316和1318的大小。在一些实施方案中，图13B中的可选选项1316和1318的角度大小不大于图13A中的可选选项1316和1318的角度大小，但是可选选项1316和1318显得更大，因为它们更靠近用户在三维环境中的视点。
在一些实施方案中，可选选项与三维环境中的容器之间的视觉间距量取决于指向该可选选项的就绪状态的类型。例如，电子设备101a增加可选选项1316与容器1314的视觉间距量，其增量大于可选选项1318与容器1314之间的视觉间距的增量，因为手1303a(和注视1301a)提供指向可选选项1316的直接就绪状态，并且手1303b和注视1301b提供指向可选选项1318的间接就绪状态，如通过可选选项1316大于可选选项1318所表示的。在一些实施方案中，在指向可选选项的就绪状态是直接、间接或空中轻击就绪状态的情形下(例如，通过在不使用触觉输入设备的情况下检测到用户的手的形状、姿势或手势而提供的就绪状态)，与使用触觉输入设备提供就绪状态的情形相比，电子设备101a将可选选项与容器之间的视觉间距增加更大的量。在一些实施方案中，响应于检测到直接就绪状态，诸如由手1303a(和注视1301a)提供的直接就绪状态，用户的手1303a越靠近可选选项1316的当前或原始位置，电子设备101a就将可选选项1316移动得越靠近用户的视点。例如，如果用户将手1303a移动得更靠近选项1316，则电子设备101a将选项1316移动得更靠近用户的视点，并且如果用户将手1303a移动得更远离选项1316，则电子设备101a将可选选项1316移动得更远离用户的视点。
在一些实施方案中，响应于检测到指向相应可选选项的选择输入的开始，电子设备101a减少相应可选选项与靠近和/或包括相应可选选项的容器之间的视觉间距。图13C示出了电子设备101a响应于由手1303c、1303d和1303e以及注视1301a和1301b提供的选择输入的开始而显示可选选项1316和1326。例如，手1303c(和注视1301a)提供选择可选选项1316的直接输入。又如，手1303d、空中手势元素1310和/或注视1301b提供选择选项1326的空中手势输入。又如，手1303e和注视1301b提供选择选项1326的间接输入。在一些实施方案中，电子设备101a有可能经由触觉输入设备(诸如触笔、鼠标、键盘、触控板)检测到选择输入。因为来自手1303a和/或1303b的选择输入不指向可选选项1306或1308，所以电子设备101a不将可选选项1306和1308显示为与容器1304具有视觉间距，并且不将容器1304显示为与容器1302具有视觉间距。
在一些实施方案中，检测到由手1303c(和注视1301a)提供的直接选择输入的开始包括检测到手1303c(例如，其食指尖端)将可选选项1316从在输入开始之前显示的位置(例如，图13B所示的定位)朝向容器1314“推动”。如下文将参考图13D更详细地描述的，在一些实施方案中，当“推动”手势对应于将可选选项1316“推动”到图13C所示的容器1314的位置时，发生对可选选项1316的选择。如图13C所示，响应于检测到由手1303c(和注视1301a)提供的直接选择输入的开始，电子设备101a减少可选选项1316与容器1314之间的视觉间距量。在一些实施方案中，当电子设备101a更新可选选项1316在三维环境中的位置时(例如，当减少可选选项1316与容器1314之间的视觉间距时)，输入区域随可选选项1316移动，从而要求用户继续将其手1303c移动到可选选项1316的位置以继续进行选择输入。在一些实施方案中，当电子设备101a更新可选选项1316在三维环境中的位置时(例如，当减少可选选项1316与容器1314之间的视觉间距时)，输入区域保持在可选选项1316在接收到选择输入的开始之前被显示的位置处(例如，图13B中的可选选项1316的位置)。
在一些实施方案中，检测到由手1303e和注视1301b提供的间接选择输入的开始包括当注视1301b指向可选选项1301b时，检测到手1303e处于捏合手形，其中手1303e的拇指触摸手的另一根手指(例如，食指)。在一些实施方案中，当提供间接选择输入时，手1303e处于不对应于可选选项1326的位置处。如下文将参考图13D更详细地描述的，在一些实施方案中，当电子设备101a检测到捏合手形已维持预先确定的时间阈值(例如，0.1、0.2、0.3、0.5、1、2秒等)时，发生对可选选项1326的选择。如图13C所示，响应于检测到由手1303e和注视1301b提供的直接选择输入的开始(例如，当用户正在看向可选选项1326时检测到捏合手形持续小于时间阈值)，电子设备101a减少可选选项1326与容器1324之间的视觉间距量。如下文将参考图13D更详细地描述的，当手1303e维持捏合手势并且注视1301b保持在可选选项1326上时，电子设备101a继续将可选选项1326朝向容器1324移动，直到捏合手势和注视1301b已维持足够长的时间以使得可选选项1326到达容器1324。在一些实施方案中，如果用户将目光远离可选选项1326并且将注视1301b移动到三维环境中的不同可选选项1306、1308、1316、1318或1328，则电子设备101a将取消朝向选项1326的输入的开始并且将输入的开始朝向用户正在观看的可选选项。在一些实施方案中，响应于用户重定向注视1310b，电子设备101a可选地将可选选项1326显示为与容器1326具有减少的(例如，零)视觉间距，并且可选地增加用户正在观看的可选选项与靠近和/或包括用户正在观看的可选选项的容器之间的视觉间距。
在一些实施方案中，检测到由手1303d和注视1301b提供的空中手势选择输入的开始包括当注视1301b指向可选选项1326时检测到手1303d的(例如，其食指尖端)“推动”空中手势元素1310。在一些实施方案中，当提供空中手势选择输入时，手1303d处于不对应于可选选项1326的位置处。如下文将参考图13D更详细地描述的，在一些实施方案中，当电子设备101a检测到指向元素1310的(例如，持续时间、距离、速度等)推动运动对应于将选项1326移动到容器1324的位置时，发生对可选选项1326的选择。如图13C所示，响应于检测到由手1303d和注视1301b提供的空中手势输入的开始(例如，当用户正在看向可选选项1326时，检测到推动手势的量大于零但小于选择选项1326所需的量)，电子设备101a减少可选选项1326与容器1324之间的视觉间距量。例如，电子设备101a将可选选项1326远离用户的视点移动一定量，该量与手1303d将用户界面元素1310远离用户的视点推动的量对应。如下文将参考图13D更详细地描述的，当注视1301b保持在可选选项1326上时，随着手1303d(例如，其食指尖端)继续推动空中手势元素1310，电子设备101a继续将可选选项1326朝向容器1324移动。在一些实施方案中，如果用户将目光远离可选选项1326并且将注视1301b移动到三维环境中的不同可选选项1306、1308、1316、1318或1328，则电子设备101a将取消朝向选项1326的输入的开始并且将输入的开始朝向用户正在观看的可选选项。在一些实施方案中，响应于用户重定向注视1301b，电子设备101a将可选选项1326显示为与容器1326具有减少的(例如，零)视觉间距，并且增加用户正在观看的可选选项与靠近和/或包括用户正在观看的可选选项的容器之间的视觉间距。在一些实施方案中，当电子设备101a根据推动手势更新可选选项1326(例如，当减少可选选项1326与容器1324之间的视觉间距时)和空气手势元素1310在三维环境中的位置时，输入区域随着空气手势元素1310移动，从而要求用户继续将其手1303d移动到空气手势元素1310的位置以继续进行选择输入。在一些实施方案中，随着电子设备101a更新可选选项1326(例如，当减少可选选项1326与容器1324之间的视觉间距时)和空中手势元素1310在三维环境中的位置，输入区域保持在接收到选择输入的开始之前显示空中手势元素1310的位置处。
在一些实施方案中，如果用户在提供完整的选择输入之前停止经由手1303c、1303d或1303e以及注视1301a或1301b提供选择输入，则电子设备101a放弃对选择输入的开始所指向的可选选项的选择并且放弃与该可选选项相关联的操作的执行。在一些实施方案中，如下文将参考图13D更详细地描述的，响应于使得可选选项到达靠近和/或包括该可选选项的容器的完整的选择输入，电子设备101a执行与可选选项相关联的动作。
图13D示出了以上参考图13C描述的选择输入的继续。手1303c(和注视1301a)提供对可选选项1316的选择输入。手1303d和注视1301b提供对可选选项1326的选择输入。手1303e和注视1301b提供对可选选项1326的选择输入。应当理解，为了简洁起见，这些选择输入在一个图中示出，并且在一些实施方案中，这些选择输入不同时被检测到。因为由手1303c、1303d和/或1303e提供的选择输入不指向可选选项1306或1308，所以电子设备101a不将可选选项1306和1308显示为与容器1304具有视觉间距，并且不将容器1304显示为与容器1302具有视觉间距。
在一些实施方案中，检测到由手1303c(和注视1301a)提供的直接选择输入包括检测到手1303c将可选选项1316从在输入开始之前显示的位置(例如，图13B所示的定位)“推动”到超过容器1314的位置。该输入对应于对可选选项1316的选择，因为手1303c在处于指向手形时的移动量对应于至少可选选项1316与容器1314之间的距离。如图13D所示，响应于检测到由手1303c(和注视1301a)提供的直接选择输入，电子设备101a更新可选选项1316的颜色和/或减少容器1314与1312之间的视觉间距。在一些实施方案中，当可选选项1316到达容器1314时或在选择输入完成之后，电子设备101a还执行与可选选项1316相关联的动作(例如，电子设备停止检测手1303c处于指向手形或手移动远离可选选项1316)。在一些实施方案中，不管手1303c的移动超过选择的要求多少量(如果有的话)，电子设备101a都执行相同操作。在一些实施方案中，电子设备101a将容器1314朝向容器1312移动的距离对应于手1303c在选择输入之前移动超过容器1314的位置(例如，图13C中的容器1314的位置)的移动量。
在一些实施方案中，当电子设备101a更新可选选项1316在三维环境中的位置时(例如，当减少可选选项1316与容器1314之间的视觉间距时)，输入区域随可选选项1316移动，从而要求用户继续将其手1303c移动到可选选项1316的位置以继续进行选择输入。在一些实施方案中，当电子设备101a更新可选选项1316在三维环境中的位置时(例如，当减少可选选项1316与容器1314之间的视觉间距时)，输入区域保持在可选选项1316在接收到选择输入的开始之前被显示的位置处(例如，图13B中的可选选项1316的位置)。
在一些实施方案中，检测到由手1303e和注视1301b提供的间接选择输入包括当注视1301b指向可选选项1326时，检测到手1303e处于捏合手形，其中手1303e的拇指触摸手的另一根手指(例如，食指)。在一些实施方案中，当提供间接选择输入时，手1303e处于不对应于可选选项1326的位置处。如上文参考图13C所述，在一些实施方案中，当手1303e维持捏合手势并且注视1301b指向选项1326时，电子设备101a减少可选选项1326与容器1324之间的视觉间距量。在一些实施方案中，当电子设备101a检测到捏合手形已维持预先确定的时间阈值(例如，0.1、0.2、0.3、0.5、1或2秒)时，发生对可选选项1326的选择，该预先确定的时间阈值对应于将可选选项1326移动到容器1324的位置。如图13D所示，响应于检测到(例如，完成)选择输入，电子设备101a更新可选选项1326的颜色和/或将容器1324移动得更靠近三维环境中的容器1322，因为输入的持续时间超过预先确定的时间阈值。在一些实施方案中，电子设备101a将容器1324移动得更靠近容器1322的距离对应于输入被维持超过预先确定的阈值的时间量。在一些实施方案中，响应于选择输入，电子设备101a执行与选项1326相关联的操作。在一些实施方案中，不管手1303e的手势超过选择的要求多少时间量(如果有的话)，电子设备101a都执行相同操作。
在一些实施方案中，检测到由手1303d和注视1301b提供的空中手势选择输入包括当注视1301b指向可选选项1326时，检测到手1303d“推动”空中手势元素1310达与至少可选选项1326与容器1324之间的距离对应的量。在一些实施方案中，当提供空中手势选择输入时，手1303d处于不对应于可选选项1326的位置处。当电子设备101a检测到指向元素1310的(例如，持续时间、距离、速度等)推动运动对应于将选项1326移动到容器1324的位置时，发生对可选选项1326的选择。如图13D所示，响应于检测到对选项1326的选择，电子设备101a更新可选选项1326的颜色和/或将容器1324移动得更靠近容器1322，因为手1303d的移动和/或提供空中手势的持续时间超过预先确定的阈值。在一些实施方案中，电子设备101a将容器1324朝向容器1322移动的距离对应于手1303d的手势超过选择的要求的持续时间和/或移动。在一些实施方案中，响应于选择输入，电子设备101a执行与选项1326相关联的操作。在一些实施方案中，不管手1303d的手势超过选择的要求多少时间和/或移动量(如果有的话)，电子设备101a都执行相同操作。
在一些实施方案中，在对相应选项的选择已经发生之后并且在靠近可选选项的容器到达另一个容器之后，用户继续提供选择输入。在一些实施方案中，响应于选择输入继续超过可选选项的容器，电子设备101a更新两个容器的位置以将容器远离三维环境中的用户的视点移动。
例如，图13E示出了对应于更新可选选项后面的多个容器的定位的选择输入的继续。在一些实施方案中，响应于对应于更新可选选项后面的多个容器的定位的选择输入，电子设备101a执行与可选选项相关联的、将在输入对应于选择不将多个容器远离用户的视点移动的情况下已经执行的相同动作。
在图13E中，手1303c和可选的注视1301a提供对应于对元素1316的选择以及容器1314和1312远离用户视点的移动的直接输入。在一些实施方案中，容器1312远离用户的视点移动的距离对应于手1303c的移动超过与容器1314到达容器1312对应的距离的距离。在一些实施方案中，电子设备101a通过减小其虚拟阴影的大小和/或更新经由显示生成部件120显示容器1312的立体深度来表示容器1312的移动。在一些实施方案中，响应于检测到由手1303c提供的输入的结束，电子设备101a执行与可选选项1316相关联的动作。例如，直接选择输入的结束包括检测到用户将手(例如，手1303c或1303e)移动超过直接选择输入阈值距离(例如，1、5、10、15、30或50厘米或1、2或3米)和/或停止做出指向手形。在一些实施方案中，因为输入指向选项1316，所以电子设备101a响应于该输入而放弃更新其他可选选项1306、1308、1326和1328以及容器1302、1304、1322和1324的定位。
在图13E中，手1303d和注视1301b提供对应于对元素1326的选择以及容器1324和1322远离用户视点的移动的空中手势输入。在一些实施方案中，容器1322远离用户的视点移动的距离对应于手1303d的移动超过与容器1324到达容器1322对应的距离的距离。在一些实施方案中，电子设备101a通过减小其虚拟阴影的大小和/或更新经由显示生成部件120显示容器1322的立体深度来表示容器1322的移动。在一些实施方案中，响应于检测到由手1303d和注视1301b提供的输入的结束，电子设备101a执行与可选选项1326相关联的动作。例如，空中手势选择输入的结束包括检测到手1303d远离空中手势元素1310移动超过阈值距离(例如，1、5、10、15、30或50厘米或1、2或3米)和/或停止做出指向手形。在一些实施方案中，因为输入指向选项1326，所以电子设备101a响应于该输入而放弃更新其他可选选项1306、1308、1316、1318和1328以及容器1302、1304、1312和1314的定位。
在图13E中，手1303e和注视1301b提供对应于对元素1326的选择以及容器1324和1322远离用户视点的移动的间接输入。在一些实施方案中，容器1322移动的距离对应于手1303e维持捏合手势的持续时间，该持续时间超过与容器1324到达容器1322对应的持续时间阈值。在一些实施方案中，电子设备101a通过减小其虚拟阴影的大小和/或更新经由显示生成部件120显示容器1322的立体深度来表示容器1322的移动。在一些实施方案中，响应于检测到由手1303e和注视1301b提供的输入的结束，电子设备101a执行与可选选项1326相关联的动作。例如，间接选择输入的结束包括检测到用户用其手(例如，手1303c或1303e)通过将拇指移动远离其所触摸以做出作为捏合手势的一部分的捏合手形的手指来完成捏合手势。在一些实施方案中，因为输入指向选项1326，所以电子设备101a响应于该输入而放弃更新其他可选选项1306、1308、1316、1318和1328以及容器1302、1304、1312和1314的定位。
在图13F中，电子设备101a继续检测到上文参考图13A至图13E所述的输入，并且作为响应，电子设备101a更新容器1312和1322的定位以继续远离用户的视点移动。在图13F中，容器1312向后移动超过与其虚拟阴影的显示对应的点。在图13F中，电子设备101a使得容器1312、容器1314以及可选选项1316和1318更小，如图13F所示，并且在一些实施方案中，从用户的视点以增加的立体深度来显示这些元素以表示这些元素的继续移动。在一些实施方案中，容器1312、容器1314以及可选选项1316和1318具有与先前附图中相同的角度大小，并且在图13F中实际上并不更小，但是因为它们离用户的视点更远而显得更小。在一些实施方案中，容器1312和1314以及可选选项1316和1318的移动是响应于继续检测到由手1303c以及可选的注视1301a提供的直接输入的移动。在图13F中，容器1322向后移动超过与其虚拟阴影的显示对应的点。在图13F中，电子设备101a使得容器1322、容器1324以及可选选项1326和1328更小，如图13F所示，并且在一些实施方案中，从用户的视点以增加的立体深度来显示这些元素以表示这些元素的继续移动。在一些实施方案中，容器1322和1324以及可选选项1326和1328的移动是响应于继续检测到由手1303d和注视1301b提供的空中手势输入的移动。在一些实施方案中，容器1322、容器1324以及可选选项1326和1328具有与先前附图中相同的角度大小，并且在图13F中实际上并不更小，但是因为它们离用户的视点更远而显得更小。在一些实施方案中，容器1322和1324以及可选选项1326和1328的移动是响应于继续检测到由手1303e和注视1301b提供的间接输入的持续时间。
在一些实施方案中，如果容器1312和/或1322的移动导致这些元素中的一个元素移动到由电子设备显示的另一个元素和/或与其冲突，则电子设备101a也开始将该元素远离用户的视点移动或横向移动该元素。在一些实施方案中，响应于在图13C至图13F所示的状态中的任一个状态中检测到直接输入、间接输入或空中手势的结束，电子设备101a以视觉间距(诸如图13B中选项1316和1318以及容器1314和1312的视觉间距)显示输入所指向的元素。在一些实施方案中，响应于检测到用户的注视和/或指向元素的就绪状态，电子设备在输入结束之后以视觉间距显示元素。
在一些实施方案中，上文参考图13A至图13F所述的示例中的一个或多个示例应用于包括在可选用户界面元素后面的不同数量的容器(例如，一个容器、多于两个容器)的用户界面，包括根据上述方法800、1000和1200的用户界面。在一些实施方案中，电子设备更新容器的定位的方式根据可选用户界面元素后面的容器的类型和/或容器的数量而不同。例如，电子设备101a显示包括在视觉上与虚拟键盘的背板分开的虚拟键的软键盘。在一些实施方案中，虚拟键的输入位置是固定的并且不随着键响应于对键的选择移位而更新，但是其他可选选项的输入位置随着可选选项的位置响应于选择输入的至少一部分更新而更新。在一些实施方案中，响应于检测到对虚拟键盘的一个或多个键的选择，电子设备101a减少所选择的键与键盘的背板之间的视觉间距量，并且响应于输入而更新整个键盘的位置，该输入对应于将所选择的键移动得比在检测到对键的选择之前键与键盘的背板之间的视觉间距的距离更远。
图14A至图14L是示出根据一些实施方案的增强与可选用户界面元素的交互的方法的流程图。在一些实施方案中，方法1400在计算机***(例如，图1中的计算机***101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机***包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1400通过存储在非暂态计算机可读存储介质中并由计算机***的一个或多个处理器诸如计算机***101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图13A中，方法1400在与显示生成部件(例如，120)和一个或多个输入设备(例如，314)(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，101)处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图13A中，电子设备(例如，101a)经由显示生成部件(例如，120a)在三维环境(例如，生成、显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等))中显示(1402a)用户界面，该用户界面包括第一用户界面元素(例如，1316)、第二用户界面元素(例如，1314)以及第三用户界面元素(例如，1312)。在一些实施方案中，第一用户界面元素是交互式用户界面元素，诸如可选选项。在一些实施方案中，响应于检测到对第一用户界面元素的选择，电子设备执行动作，诸如启动应用程序、呈现内容项、修改由电子设备呈现的内容项的回放、导航到用户界面、发起与第二电子设备的通信或导航到用户界面。在一些实施方案中，其他动作也是可能的。
在一些实施方案中，诸如在图13B中，第一用户界面元素(例如，1316)显示在第二用户界面元素(例如，1314)的边界内并且在视觉上与第二用户界面元素在朝向电子设备的用户的视点的方向上分开(1402b)。在一些实施方案中，第二用户界面元素是包括一个或多个用户界面元素(例如，其他容器、可选选项、内容等)的容器，诸如背板、菜单或应用程序窗口，该一个或多个用户界面元素包括第一用户界面元素。例如，第二用户界面元素是包括多个可选选项的菜单，该多个可选选项包括第一用户界面元素。在一些实施方案中，第一用户界面元素、第二用户界面元素和第三用户界面元素在生成、显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示。在一些实施方案中，电子设备从与三维环境内的相应位置相关联的用户的视点显示三维环境。在一些实施方案中，电子设备在电子设备的物理环境中的移动导致用户的视点在三维环境中的对应移动。在一些实施方案中，第一用户界面元素在三维环境中在第二用户界面元素与用户的视点之间的位置处显示，并且与第二用户界面元素分开相应的非零距离(例如，1、2、3、5、10、15、20、30或50厘米)。在一些实施方案中，第一用户界面元素的位置与第二用户界面元素的边界内的位置分开。在一些实施方案中，第一用户界面元素对用户而言看起来就好像它正悬停在第二用户界面元素前面一样。在一些实施方案中，电子设备最初将第一用户界面元素显示为不与第二用户界面元素分开(例如，第一用户界面元素和第二用户界面元素与用户的视点相距相同距离)，并且响应于检测到用户的注视指向第一用户界面元素、第二用户界面元素或第三用户界面元素中的一者或多者以及检测到用户的手在处于预先确定的形状(例如，其中一根或多根手指伸出且一根或多根手指朝向手掌蜷曲的指向手形或其中用拇指触摸与拇指在同一只手上的另一根手指的捏合手形)时在距第一用户界面元素、第二用户界面元素或第三用户界面元素的阈值距离(例如，1、2、3、5、10、15或30厘米)内而使第一用户界面元素与第二用户界面元素分开。
在一些实施方案中，诸如在图13B中，第二用户界面元素(例如，1314)显示在第三用户界面元素(例如，1312)的边界内并且在视觉上与第三用户界面元素(例如，1312)在朝向电子设备的用户的视点的方向上分开(1402c)。在一些实施方案中，第三用户界面元素是包括一个或多个用户界面元素(例如，其他容器、可选选项、内容等)的容器，诸如背板、菜单或应用程序窗口，该一个或多个用户界面元素包括第二用户界面元素。例如，第三用户界面元素是包括一个或多个容器的应用程序窗口，该一个或多个容器包括第二用户界面元素和/或一个或多个可选选项和/或其他用户界面元素。在一些实施方案中，第二用户界面元素在三维环境中在第三用户界面元素与用户的视点之间的位置处显示，并且与第三用户界面元素分开相应的非零距离(例如，1、2、3、5、10、15、20、30或50厘米)。在一些实施方案中，第二用户界面元素的位置与第三用户界面元素的边界内的位置分开。在一些实施方案中，第二用户界面元素对用户而言看起来就好像它正悬停在第三用户界面元素前面一样。在一些实施方案中，电子设备最初将第二用户界面元素显示为不与第三用户界面元素分开(例如，第二用户界面元素和第三用户界面元素与用户的视点相距相同距离)，并且响应于检测到用户的注视指向第一用户界面元素、第二用户界面元素或第三用户界面元素中的一者或多者以及检测到用户的手在处于预先确定的形状(例如，其中一根或多根手指伸出且一根或多根手指朝向手掌蜷曲的指向手形或其中用拇指触摸与拇指在同一只手上的另一根手指的捏合手形)时在距第一用户界面元素、第二用户界面元素或第三用户界面元素的阈值距离(例如，1、2、3、5、10、15或30厘米)内而使第二用户界面元素与第三用户界面元素分开。
在一些实施方案中，诸如在图13C中，当显示用户界面时，电子设备(例如，101a)经由一个或多个输入设备检测到(1402d)指向第一用户界面元素(例如，1316)的第一输入。在一些实施方案中，第一输入是选择第一用户界面元素的输入。在一些实施方案中，检测到第一输入包括当经由手部跟踪设备检测到用户用其手做出捏合手势(其中用户用其拇指触摸同一只手上的另一根手指)时，经由眼睛跟踪设备检测到用户的注视指向第一用户界面元素。在一些实施方案中，检测到第一输入包括经由手部跟踪设备检测到用户在手处于指向手形(其中手的一根或多根手指朝向第一用户界面元素伸出且手的一根或多根手指朝向手掌蜷曲)时使用其手的伸出手指将第一用户界面元素朝向第二用户界面元素和第三用户界面元素“推动”。在一些实施方案中，检测到第一输入包括经由手部跟踪设备检测到用户在手处于捏合手形(其中拇指触摸同一只手上的另一根手指)时将第一用户界面元素朝向第二用户界面元素和第三用户界面元素“推动”。在一些实施方案中，检测到第一输入包括经由手部跟踪设备检测到用户在手处于第一用户界面元素的阈值距离(例如，0.5、1、2、3、5、10或30厘米)内时做出捏合手形。在一些实施方案中，使得第一用户界面元素朝向第二(例如，和第三)用户界面元素移动的其他输入是可能的。
在一些实施方案中，诸如在图13C中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足一个或多个标准(1402e)，根据确定第一输入对应于第一量值(例如，小于或等于在检测到第一输入之前第一用户界面元素与第二用户界面元素之间的(例如，非零)距离的量值)的输入，电子设备(例如，101a)根据第一输入将第一用户界面元素(例如，1316)远离用户的视点朝向第二用户界面元素(例如，1314)移动，而不在三维环境中移动第二用户界面元素(例如，1314)或第三用户界面(例如，1312)(1402f)。在一些实施方案中，如果第一输入将第一用户界面元素朝向第二用户界面元素移动而不延伸超过第二用户界面元素，则电子设备不移动第二用户界面元素或第三用户界面元素。在一些实施方案中，该一个或多个标准包括当第一输入使得第一用户界面元素朝向第二用户界面元素和第三用户界面元素移动时满足的标准。在一些实施方案中，响应于检测到选择输入指向第一用户界面元素，电子设备将第一用户界面元素朝向第二用户界面元素和第三用户界面元素移动。例如，响应于当用户做出如上文所述的捏合手势时检测到用户注视指向第一用户界面元素，电子设备在手指与拇指彼此接触时将第一用户界面元素以预先确定的速度(例如，恒定速度或随时间改变的速度)朝向第二用户界面元素移动，并且在第一用户界面元素到达第二用户界面元素时选择第一用户界面元素。又如，响应于当手处于第一用户界面元素的阈值距离内时检测到用户做出如上文所述的捏合手势，电子设备在手指与拇指彼此接触时将第一用户界面元素以预先确定的速度(例如，恒定速度或随时间改变的速度)朝向第二用户界面元素移动，并且在第一用户界面元素到达第二用户界面元素时选择第一用户界面元素。又如，响应于检测到用户将第一用户界面元素朝向第二和第三用户界面元素“推动”(例如，当手处于指向手形或捏合手形时)，电子设备将第一用户界面元素朝向第二用户界面元素和第三用户界面元素移动与用户的手/手指“推动”第一用户界面元素移动的距离对应的距离，并且在第一用户界面元素到达第二用户界面元素时选择第一用户界面元素。
在一些实施方案中，诸如在图13D中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足一个或多个标准(1402e)，根据确定第一输入对应于大于第一量值的第二量值(例如，大于在检测到第一输入之前第一用户界面元素与第二用户界面元素之间的(例如，非零)距离但小于或等于在检测到第一输入之前第一用户界面元素与第三用户界面元素之间的距离的量值)的输入，电子设备(例如，101a)根据第一输入将第一用户界面元素(例如，1316)远离用户的视点朝向第二用户界面元素(例如，1314)移动，并且将第二用户界面元素(例如，1314)朝向第三用户界面元素(例如，1312)移动，而不在三维环境中移动第三用户界面(例如，1312)(1402g)。在一些实施方案中，如果第一输入将第一用户界面元素移动超过(或经过)第二用户界面元素的位置而不延伸超过第三用户界面元素，则第一输入将第一用户界面元素移动到第二用户界面元素，然后继续移动第一用户界面元素，同时还根据第一输入移动第二用户界面元素。
在一些实施方案中，诸如在图13F中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足一个或多个标准(1402e)，根据确定第一输入对应于大于第二量值的第三量值(例如，大于在检测到第一输入之前第一用户界面元素与第三用户界面元素之间的距离的量值)的输入，电子设备(例如，101a)根据第一输入将第一用户界面元素(例如，1316)朝向第二用户界面元素(例如，1314)移动，将第二用户界面元素(例如，1314)朝向第三用户界面元素(例如，1312)，并且将第三用户界面元素(例如，1312)远离用户的视点移动(1402h)。在一些实施方案中，如果第一输入将第一用户界面元素移动超过(或经过)第二用户界面元素和第三用户界面元素的位置，则第一输入移动第一用户界面元素以到达第二用户界面元素，然后在继续移动第一用户界面元素以到达第三用户界面元素时移动第二用户界面元素，并且然后在根据第一输入继续移动第一用户界面元素和第二用户界面元素时移动第三用户界面元素。
响应于第一输入而根据第一输入的量值移动第一用户界面元素、第二用户界面元素和/或第三用户界面元素向用户提供了增强的视觉反馈，同时提供了指向第一用户界面元素的输入，这减少了用户错误以及纠正用户错误所需的时间和输入。
在一些实施方案中，诸如在图13B中，响应于检测到满足一个或多个第二标准(包括当检测到第一输入的结束时满足的标准)(1404a)，电子设备(例如，101a)经由显示生成部件将第一用户界面元素(例如，1316)显示为(1404b)在视觉上与第二用户界面元素(例如，1314)在朝向电子设备的用户的视点的方向上分开。在一些实施方案中，该一个或多个第二标准包括当用户的注视指向第一用户界面元素时满足的标准。在一些实施方案中，该一个或多个第二标准包括当电子设备检测到用户的预定义部分(例如，用户的手)处于就绪状态时满足的标准，该就绪状态包括检测到用户的预定义部分(例如，手)在处于预先确定的形状(例如，其中一根或多根手指伸出且一根或多根手指朝向手掌蜷曲的指向手形或其中用拇指触摸与拇指在同一只手上的另一根手指的捏合手形))时在距第一用户界面元素、第二用户界面元素或第三用户界面元素的阈值距离(例如，1、2、3、5、10、15或30厘米)内。在一些实施方案中，检测到第一输入的结束包括检测到用户处于手形中的预定义部分(例如，用户的手)不满足用于检测到输入的一个或多个标准。例如，检测到第一输入包括检测到用户的手处于捏合手形，并且检测到输入的结束包括检测到用户的手不再处于捏合手形。又如，检测到输入的结束包括不再经由检测到第一输入的输入设备(例如，手部跟踪设备)检测到用户的预定义部分(例如，手)(例如，因为用户将用户的预定义部分移出输入设备的范围)。在一些实施方案中，检测到输入的结束包括检测到用户的预定义部分(例如，手)的预定义移动。例如，检测到第一输入包括检测到用户将第一用户界面元素远离三维环境中的用户的视点“推动”，并且检测到第一输入的结束包括检测到用户的手朝向三维环境中的用户的视点运动。在一些实施方案中，响应于检测到满足该一个或多个第二标准时第一用户界面元素与第二用户界面元素之间的间距量与在检测到第一输入之前第一用户界面元素与第二用户界面元素之间的间距量相同。在一些实施方案中，响应于检测到满足该一个或多个第二标准时第一用户界面元素与第二用户界面元素之间的间距量与在检测到第一输入之前第一用户界面元素与第二用户界面元素之间的间距量不同。
在一些实施方案中，诸如在图13B中，响应于检测到满足一个或多个第二标准(包括当检测到第一输入的结束时满足的标准)(1404a)，电子设备(例如，101a)经由显示生成部件(例如，120a)将第二用户界面元素(例如，1314)显示为(1404c)在视觉上与第三用户界面元素(例如，1312)在朝向电子设备(例如，101)的用户的视点的方向上分开。在一些实施方案中，响应于检测到满足该一个或多个第二标准时第二用户界面元素与第三用户界面元素之间的间距量与在检测到第一输入之前第二用户界面元素与第三用户界面元素之间的间距量相同。在一些实施方案中，响应于检测到满足该一个或多个第二标准时第二用户界面元素与第三用户界面元素之间的间距量与在检测到第一输入之前第二用户界面元素与第三用户界面元素之间的间距量不同。响应于检测到满足该一个或多个第二标准而以视觉间距显示第一用户界面元素、第二用户界面元素和第三用户界面元素向用户提供了检测到第一输入的改进的视觉反馈，从而改进了提供给用户的视觉反馈。
在一些实施方案中，诸如在图13D中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足该一个或多个标准(1406a)，根据确定第一输入对应于大于相应量值的输入，电子设备(例如，101a)执行(1406b)与第一用户界面元素(例如，1316)相关联的操作。在一些实施方案中，输入的量值是第一用户界面元素响应于输入的移动分量基于输入的移动分量的持续时间、距离和/或速度在三维环境中移动的距离。例如，如果输入包括对方向选项(例如，键盘或虚拟键盘上的箭头键)的选择，则输入的量值基于方向选项被选择、点击或保持的持续时间。又如，如果输入包括用户的预定义部分(例如，用户的手)的移动，则输入的量值基于用户的预定义部分移动的距离、速度或持续时间。在一些实施方案中，相应量值大于或等于第一量值且小于第二量值。在一些实施方案中，相应量值是第一量值。在一些实施方案中，相应量值是第二量值。在一些实施方案中，相应量值对应于第一用户界面元素与第二用户界面元素之间的间距距离。例如，如果第一输入的量值足以“推动”第一用户界面元素以接触第二用户界面元素，则电子设备执行与第一用户界面元素相关联的操作。
在一些实施方案中，诸如在图13C中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足该一个或多个标准(1406a)，根据确定第一输入对应于小于相应量值的输入，电子设备(例如，101)放弃(1406c)执行与第一用户界面元素(例如，1316)相关联的操作。在一些实施方案中，相应量值对应于第一用户界面元素与第二用户界面元素之间的间距距离。例如，如果第一输入的量值不足以“推动”第一用户界面元素以接触第二用户界面元素，则电子设备放弃执行与第一用户界面元素相关联的操作。基于第一输入的量值来执行或不执行与第一用户界面元素相关联的操作向用户提供了通过在第一输入的量值达到相应量值之前停止输入来取消执行与第一用户界面元素对应的操作的输入的能力，从而减少用户错误并且减少校正用户错误所需的输入数量。
在一些实施方案中，诸如在图13B中，相应量值对应于在检测到第一输入之前在朝向电子设备(例如，101)的用户的视点的方向上第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)之间的视觉间距的量值(1408a)。在一些实施方案中，当响应于输入时，相应量值对应于第一用户界面元素与第二用户界面元素之间的视觉间距的量值，电子设备将三维环境中的第一用户界面元素移动等于第一用户界面元素与第二用户界面元素之间的视觉间距量的距离。在一些实施方案中，响应于输入具有使得电子设备将第一用户界面元素移动到第二用户界面元素的位置(例如，使第一用户界面元素与第二用户界面元素接触)的量值(例如，移动量)，电子设备执行与第一用户界面元素相关联的操作。根据第一输入的相应量值与第一用户界面元素与第二用户界面元素之间的视觉间距的量值对应来执行与第一用户界面元素相关联的操作向用户提供了在第一输入中包括的量值程度的增强视觉反馈以便执行与第一用户界面元素相关联的操作，从而向用户提供高效且改进的视觉反馈。
在一些实施方案中，诸如在图13E中，响应于检测到第一输入指向第一用户界面元素(例如，1316)，并且根据确定第一输入满足该一个或多个标准(1410a)，根据确定第一输入对应于量值大于相应量值的输入，电子设备(例如，101a)执行(1410b)与第一用户界面元素(例如，1316)相关联的操作，而不管与第一输入对应的量值超过相应量值多少量。在一些实施方案中，只要第一输入的量值等于或大于相应量值，电子设备就执行与第一用户界面元素相关联的操作。在一些实施方案中，相应量值大于第二量值。在一些实施方案中，相应量值大于第三量值。在一些实施方案中，响应于超过相应量值的输入，第一和/或第二和/或第三用户界面元素远离三维环境中的用户的视点移动的距离大于第一和/或第二和/或第三用户界面元素响应于相应量值的输入而远离三维环境中的用户的视点移动的距离。在一些实施方案中，由电子设备响应于检测到与相应量值对应的输入而执行的操作与由电子设备响应于检测到与大于相应量值的量值对应的输入而执行的操作相同。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，响应于与将第一相应用户界面元素“推动”到第二相应用户界面元素的请求对应的输入，电子设备执行相应动作。在一些实施方案中，响应于与将第一相应用户界面元素“推动”大于第一相应用户界面元素与第二相应用户界面元素之间的视觉间距的距离的请求对应的输入，电子设备执行相同的相应动作。不管与第一输入对应的量值超过相应量值多少量都执行与第一用户界面元素相关联的操作向用户提供了简化的用户输入标准，从而减少用户错误并且减少校正用户错误所需的用户输入。
在一些实施方案中，诸如在图13B中，将第一用户界面元素(例如，1316)和第二用户界面元素(例如，1314)显示为在视觉上在朝向电子设备(例如，101)的用户的视点的方向上分开包括以基于第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)之间的视觉间距所确定的大小来显示第一用户界面元素(例如，1316)或第二用户界面元素(例如，1316)(1412a)。在一些实施方案中，第一用户界面元素和第二用户界面元素以与第一用户界面元素与第二用户界面元素之间的视觉间距对应的大小来显示。例如，对于相对大的视觉间距量，以相对大的大小来显示第一用户界面元素(例如，与第一用户界面元素在被显示为与第二用户界面元素具有较小视觉间距时的大小相比)和/或以相对小的大小来显示第二用户界面元素(例如，与第二用户界面元素在被显示为与第一用户界面元素具有较小视觉间距时的大小相比)。又如，对于相对小的视觉间距量，以相对小的大小来显示第一用户界面元素(例如，与第一用户界面元素在被显示为与第二用户界面元素具有较大视觉间距时的大小相比)和/或以相对大的大小来显示第二用户界面元素(例如，与第二用户界面元素在被显示为与第一用户界面元素具有更大视觉间距时的大小相比)。在一些实施方案中，当第一用户界面元素与第二用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变第一用户界面元素和/或第二用户界面元素的大小。
在一些实施方案中，诸如在图13B中，将第二用户界面元素(例如，1314)和第三用户界面元素(例如，1312)显示为在视觉上在朝向电子设备的用户的视点的方向上分开包括以基于第二用户界面元素(例如，1314)与第三用户界面元素(例如，1312)之间的视觉间距所确定的大小来显示第二用户界面元素(例如，1314)或第三用户界面元素(例如，1312)(1412b)。在一些实施方案中，第二用户界面元素和第三用户界面元素以与第二用户界面元素与第三用户界面元素之间的视觉间距对应的大小来显示。例如，对于相对大的视觉间距量，以相对大的大小来显示第二用户界面元素(例如，与第二用户界面元素在被显示为与第三用户界面元素具有较小视觉间距时的大小相比)和/或以相对小的大小来显示第三用户界面元素(例如，与第三用户界面元素在被显示为与第二用户界面元素具有较小视觉间距时的大小相比)。又如，对于相对小的视觉间距量，以相对小的大小来显示第二用户界面元素(例如，与第二用户界面元素在被显示为与第三用户界面元素具有较大视觉间距时的大小相比)和/或以相对大的大小来显示第三用户界面元素(例如，与第三用户界面元素在被显示为与第二用户界面元素具有更大视觉间距时的大小相比)。在一些实施方案中，当第二用户界面元素与第三用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变第二用户界面元素和/或第三用户界面元素的大小。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备以由第一相应用户界面元素和/或第二用户界面元素的大小表示的视觉间距来显示第一相应用户界面元素和第二相应用户界面元素。使用用户界面元素的大小来表示用户界面元素之间的视觉间距(诸如第一用户界面元素与第二用户界面元素之间的视觉间距以及第二用户界面元素与第三用户界面元素之间的视觉间距)向用户提供了各种用户界面元素之间的间距的改进的视觉反馈，从而增强了在用户向***提供用户输入时的视觉反馈，这减少了用户错误。
在一些实施方案中，诸如在图13B中，将第一用户界面元素(例如，1316)和第二用户界面元素(例如，1314)显示为在视觉上在朝向电子设备的用户的视点的方向上分开包括以基于第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)之间的视觉间距所确定的不同立体深度来显示第一用户界面元素(例如，1316)或第二用户界面元素(例如，1314)(1414a)。在一些实施方案中，第一用户界面元素和第二用户界面元素以与第一用户界面元素与第二用户界面元素之间的视觉间距对应的立体深度来显示。例如，对于相对大的视觉间距量，第一用户界面元素与第二用户界面元素之间的立体深度大于对于相对小的视觉间距量而言第一用户界面元素与第二用户界面元素之间的立体深度的差。在一些实施方案中，当第一用户界面元素与第二用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变第一用户界面元素与第二用户界面元素之间的立体深度和/或第一用户界面元素和/或第二用户界面元素的立体深度。
在一些实施方案中，诸如在图13B中，将第二用户界面元素(例如，1314)和第三用户界面元素(例如，1312)显示为在视觉上在朝向电子设备的用户的视点的方向上分开包括以基于第二用户界面元素(例如，1314)与第三用户界面元素(例如，1312)之间的视觉间距所确定的不同立体深度来显示第二用户界面元素(例如，1314)或第三用户界面元素(例如，1312)(1414b)。在一些实施方案中，第二用户界面元素和第三用户界面元素以与第二用户界面元素与第三用户界面元素之间的视觉间距对应的立体深度来显示。例如，对于相对大的视觉间距量，第二用户界面元素与第三用户界面元素之间的立体深度大于对于相对小的视觉间距量而言第二用户界面元素与第三用户界面元素之间的立体深度的差。在一些实施方案中，当第二用户界面元素与第三用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变第二用户界面元素与第三用户界面元素之间的立体深度和/或第二用户界面元素和/或第三用户界面元素的立体深度。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备以由电子设备用以显示第一相应用户界面元素和/或第二用户界面元素的立体深度表示的视觉间距来显示第一相应用户界面元素和第二相应用户界面元素。使用用户界面元素之间的立体深度来表示用户界面元素之间的视觉间距(诸如第一用户界面元素与第二用户界面元素之间的视觉间距以及第二用户界面元素与第三用户界面元素之间的视觉间距)向用户提供了各种用户界面元素之间的间距的改进的视觉反馈，从而增强了在用户向***提供用户输入时的视觉反馈，这减少了用户错误。
在一些实施方案中，诸如在图13B中，将第一用户界面元素(例如，1316)和第二用户界面元素(例如，1314)显示为在视觉上在朝向电子设备的用户的视点的方向上分开包括以基于第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)之间的视觉间距所确定的一个或多个虚拟阴影来显示第一用户界面元素(例如，1316)或第二用户界面元素(例如，1314)(1416a)。在一些实施方案中，第一用户界面元素和/或第二用户界面元素以与第一用户界面元素与第二用户界面元素之间的视觉间距对应的虚拟阴影来显示。例如，电子设备以基于第一用户界面元素与第二用户界面元素之间的视觉间距量的大小和/或定位来显示覆盖在第二用户界面元素(例如，第二用户界面元素的一部分)上的第一用户界面元素的虚拟阴影。例如，对于相对大的视觉间距量，第一用户界面元素与第二用户界面元素上的虚拟阴影一起显示，该虚拟阴影与第一用户界面元素的距离与对于第一用户界面元素与第二用户界面元素之间相对小的视觉间距量而言虚拟阴影与第一用户界面元素的距离相比相对大。在一些实施方案中，虚拟阴影在包括横向分量的方向上远离第一用户界面元素显示(例如，在三维环境中朝向左侧或右侧)。在一些实施方案中，当第一用户界面元素与第二用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变由第一用户界面元素和/或第二用户界面元素投射的虚拟阴影的大小和/或定位。在一些实施方案中，电子设备在三维环境的(例如，虚拟、真实)表面(例如，地面、墙壁)上彼此相距对应于第一用户界面元素与第二用户界面元素之间的视觉间距量的距离处显示第一用户界面元素和第二用户界面元素的虚拟投影。
在一些实施方案中，诸如在图13B中，将第二用户界面元素(例如，1314)和第三用户界面元素(例如，1312)显示为在视觉上在朝向电子设备的用户的视点的方向上分开包括以基于第二用户界面元素(例如，1314)与第三用户界面元素(例如，1312)之间的视觉间距所确定的一个或多个虚拟阴影来显示第二用户界面元素(例如，1314)或第三用户界面元素(例如，1312)(1416b)。在一些实施方案中，第二用户界面元素和/或第三用户界面元素以与第二用户界面元素与第三用户界面元素之间的视觉间距对应的虚拟阴影来显示。例如，电子设备以基于第二用户界面元素与第三用户界面元素之间的视觉间距量的大小和/或定位来显示覆盖在第三用户界面元素(例如，第三用户界面元素的一部分)上的第二用户界面元素的虚拟阴影。例如，对于相对大的视觉间距量，第二用户界面元素与第三用户界面元素上的虚拟阴影一起显示，该虚拟阴影与第二用户界面元素的距离与对于第二用户界面元素与第三用户界面元素之间相对小的视觉间距量而言虚拟阴影与第二用户界面元素的距离相比相对大。在一些实施方案中，第二用户界面元素的虚拟阴影在包括横向分量的方向上远离第二用户界面元素显示(例如，在三维环境中朝向左侧或右侧)。在一些实施方案中，当第二用户界面元素与第三用户界面元素之间的视觉间距量改变时(例如，响应于用户输入)，电子设备改变由第二用户界面元素和/或第三用户界面元素投射的虚拟阴影的大小和/或定位。在一些实施方案中，电子设备在三维环境的(例如，虚拟、真实)表面(例如，地面、墙壁)上彼此相距对应于第二用户界面元素与第三用户界面元素之间的视觉间距量的距离处显示第二用户界面元素和第三用户界面元素的虚拟投影。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备以由第一相应用户界面元素和/或第二用户界面元素的虚拟阴影表示的视觉间距来显示第一相应用户界面元素和第二相应用户界面元素。使用虚拟阴影来表示用户界面元素之间的视觉间距(诸如第一用户界面元素与第二用户界面元素之间的视觉间距以及第二用户界面元素与第三用户界面元素之间的视觉间距)向用户提供了各种用户界面元素之间的间距的改进的视觉反馈，从而增强了在用户向***提供用户输入时的视觉反馈，这减少了用户错误。
在一些实施方案中，诸如在图13C中，该一个或多个标准包括当电子设备(例如，101)经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301a)指向第一用户界面元素(例如，1316)时满足的标准，并且三维环境中的用户界面还包括第四用户界面元素(例如，1326)、第五用户界面元素(例如，1324)和第六用户界面元素(例如，1322)(1418a)。在一些实施方案中，检测到用户注视指向第一用户界面元素使得电子设备将第一用户输入指向第一用户界面元素。在一些实施方案中，响应于在接收到用户输入时检测到用户注视指向不同用户界面元素，电子设备将用户输入指向另一个用户界面元素。
在一些实施方案中，诸如在图13C中，第四用户界面元素(例如，1326)显示在第五用户界面元素(例如，1324)的边界内并且在视觉上与第五用户界面元素(例如，1324)在朝向电子设备(例如，101)的用户的视点的方向上分开(1418b)。在一些实施方案中，第五用户界面元素是包括一个或多个用户界面元素(例如，其他容器、可选选项、内容等)的容器，诸如背板、菜单或应用程序窗口，该一个或多个用户界面元素包括第四用户界面元素。例如，第四用户界面元素是包括多个可选选项的菜单，该多个可选选项包括第四用户界面元素。在一些实施方案中，第四用户界面元素在三维环境中在第五用户界面元素与用户的视点之间的位置处显示，并且与第五用户界面元素分开相应的非零距离(例如，1、2、3、5、10、15、20、30或50厘米)。在一些实施方案中，第四用户界面元素的位置与第五用户界面元素的边界内的位置分开。在一些实施方案中，第四用户界面元素对用户而言看起来就好像它正悬停在第五用户界面元素前面一样。
在一些实施方案中，诸如在图13C中，第五用户界面元素(例如，1324)显示在第六用户界面元素(例如，1322)的边界内并且在视觉上与第六用户界面元素(例如，1322)在朝向电子设备的用户的视点的方向上分开(1418c)。在一些实施方案中，第六用户界面元素是包括一个或多个用户界面元素(例如，其他容器、可选选项、内容等)的容器，诸如背板、菜单或应用程序窗口，该一个或多个用户界面元素包括第五用户界面元素。例如，第六用户界面元素是包括一个或多个容器的应用程序窗口，该一个或多个容器包括第五用户界面元素和/或一个或多个可选选项和/或其他用户界面元素。在一些实施方案中，第五用户界面元素在三维环境中在第六用户界面元素与用户的视点之间的位置处显示，并且与第六用户界面元素分开相应的非零距离(例如，1、2、3、5、10、15、20、30或50厘米)。在一些实施方案中，第五用户界面元素的位置与第六用户界面元素的边界内的位置分开。在一些实施方案中，第五用户界面元素对用户而言看起来就好像它正悬停在第六用户界面元素前面一样。
在一些实施方案中，诸如在图13C中，当显示用户界面时，电子设备(例如，101a)经由一个或多个输入设备检测到(1418d)指向第四用户界面元素(例如，1326)的第二输入。在一些实施方案中，第二输入是选择第四用户界面元素的输入。在一些实施方案中，检测到第二输入包括当经由手部跟踪设备检测到用户用其手做出捏合手势(其中用户用其拇指触摸同一只手上的另一根手指)时，经由眼睛跟踪设备检测到用户的注视指向第四用户界面元素。在一些实施方案中，检测到第二输入包括经由手部跟踪设备检测到用户在手处于指向手形(其中手的一根或多根手指朝向第四用户界面元素伸出且手的一根或多根手指朝向手掌蜷曲)时使用其手的伸出手指将第四用户界面元素朝向第五用户界面元素和第六用户界面元素“推动”。在一些实施方案中，检测到第二输入包括经由手部跟踪设备检测到用户在手处于捏合手形(其中拇指触摸同一只手上的另一根手指)时将第四用户界面元素朝向第五用户界面元素和第六用户界面元素“推动”。在一些实施方案中，检测到第二输入包括经由手部跟踪设备检测到用户在手处于第四用户界面元素的阈值距离(例如，0.5、1、2、3、5、10或30厘米)内时做出捏合手形。在一些实施方案中，使得第四用户界面元素朝向第五(例如，和第六)用户界面元素移动的其他输入是可能的。
在一些实施方案中，诸如在图13C中，响应于检测到第二输入指向第四用户界面元素(例如，1326)，根据确定第二输入满足一个或多个第二标准，该一个或多个第二标准包括当电子设备(例如，101)经由眼睛跟踪设备(例如，314)检测到用户的注视指向第四用户界面元素(例如，1326)时满足的标准(1418e)，根据确定第二输入对应于第四量值(例如，小于或等于在检测到第二输入之前第四用户界面元素与第五用户界面元素之间的(例如，非零)距离的量值)的输入，电子设备(例如，101a)根据第二输入将第四用户界面元素(例如，1326)远离用户的视点朝向第五用户界面元素(例如，1324)移动，而不在三维环境中移动第五用户界面元素(例如，1324)或第六用户界面元素(例如，1326)(1418f)。在一些实施方案中，如果第二输入将第四用户界面元素朝向第五用户界面元素移动而不延伸超过第五用户界面元素，则电子设备不移动第五用户界面元素或第六用户界面元素。在一些实施方案中，该一个或多个标准包括当第二输入使得第四用户界面元素朝向第五用户界面元素和第六用户界面元素移动时满足的标准。在一些实施方案中，响应于检测到选择输入指向第四用户界面元素，电子设备将第四用户界面元素朝向第五用户界面元素和第六用户界面元素移动。例如，响应于当用户做出如上文所述的捏合手势时检测到用户注视指向第四用户界面元素，电子设备在手指与拇指彼此接触时将第四用户界面元素以预先确定的速度(例如，恒定速度或随时间改变的速度)朝向第五用户界面元素移动，并且在第四用户界面元素到达第五用户界面元素时选择第四用户界面元素。又如，响应于当手处于第四用户界面元素的阈值距离内时检测到用户做出如上文所述的捏合手势，电子设备在手指与拇指彼此接触时将第四用户界面元素以预先确定的速度(例如，恒定速度或随时间改变的速度)朝向第五用户界面元素移动，并且在第四用户界面元素到达第五用户界面元素时选择第四用户界面元素。又如，响应于检测到用户将第四用户界面元素朝向第五和第六用户界面元素“推动”(例如，当手处于指向手形或捏合手形时)，电子设备将第四用户界面元素朝向第五用户界面元素和第六用户界面元素移动与用户的手/手指“推动”第四用户界面元素移动的距离对应的距离，并且在第四用户界面元素到达第五用户界面元素时选择第四用户界面元素。
在一些实施方案中，诸如在图13D中，响应于检测到第二输入指向第四用户界面元素(例如，1326)，根据确定第二输入满足一个或多个第二标准，该一个或多个第二标准包括当电子设备(例如，101)经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301b)指向第四用户界面元素(例如，1326)时满足的标准(1418e)，根据确定第二输入对应于大于第四量值的第五量值(例如，大于在检测到第二输入之前第四用户界面元素与第五用户界面元素之间的(例如，非零)距离但小于或等于在检测到第一输入之前第四用户界面元素与第六用户界面元素之间的距离的量值)的输入，电子设备(例如，101a)根据第二输入将第四用户界面元素(例如，1326)远离用户的视点朝向第五用户界面元素(例如，1324)移动，并且将第五用户界面元素(例如，1324)朝向第六用户界面元素(例如，1322)移动，而不在三维环境中移动第六用户界面元素(例如，1322)(1418g)。在一些实施方案中，如果第二输入将第四用户界面元素移动超过(或经过)第五用户界面元素的位置而不延伸超过第六用户界面元素，则第二输入将第四用户界面元素移动到第五用户界面元素，然后继续移动第四用户界面元素，同时还根据第一输入移动第五用户界面元素。
在一些实施方案中，诸如在图13E中，响应于检测到第二输入指向第四用户界面元素(例如，1326)，根据确定第二输入满足一个或多个第二标准，该一个或多个第二标准包括当电子设备(例如，101a)经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301b)指向第四用户界面元素时满足的标准(1418e)，根据确定第二输入对应于大于第五量值的第六量值(例如，大于在检测到第二输入之前第四用户界面元素与第六用户界面元素之间的距离的量值)的输入，电子设备(例如，101a)根据第二输入将第四用户界面元素(例如，1326)远离用户的视点朝向第五用户界面元素(例如，1324)移动，将第五用户界面元素(例如，1324)朝向第六用户界面元素(例如，1322)，并且将第六用户界面元素(例如，1322)远离用户的视点移动(1418h)。在一些实施方案中，如果第二输入将第四用户界面元素移动超过(或经过)第五用户界面元素和第六用户界面元素的位置，则第二输入移动第四用户界面元素以到达第五用户界面元素，然后在继续移动第四用户界面元素以到达第六用户界面元素时移动第五用户界面元素，并且然后在根据第二输入继续移动第四用户界面元素和第五用户界面元素时移动第六用户界面元素。在一些实施方案中，电子设备基于检测到用户注视指向第一用户界面元素或第四用户界面元素和/或检测到用户的预定义部分(例如，手)处于第一用户界面元素或第四用户界面元素的预先确定的阈值距离(例如，1、2、3、4、5或10厘米)内来移动和/或选择第一用户界面元素或第四用户界面元素。根据第二用户输入指向第四用户界面元素的量值将第四、第五和/或第六用户界面元素远离三维环境中的用户的视点移动向用户提供了增强的视觉反馈，同时提供了第二用户输入，从而减少使用中的错误并且减少校正用户错误所需的时间和输入。
在一些实施方案中，诸如在图13B中，将第一用户界面元素(例如，1316)显示为在视觉上与第二用户界面元素(例如，1314)分开是响应于经由该一个或多个输入设备(例如，314)检测到相应输入状态(1420a)(例如，在指向第一用户界面元素的输入(诸如第一输入)之前的就绪状态)。在一些实施方案中，响应于检测到相应输入状态而将第二用户界面元素显示为在视觉上与第三用户界面元素分开。在一些实施方案中，在检测到相应输入状态之前，电子设备在第二用户界面元素的边界内显示第一用户界面元素，而不显示第一用户界面元素与第二用户界面元素之间的视觉间距(例如，第一用户界面元素和第二用户界面元素被显示在同一平面上和/或彼此接触，两者之间没有视觉间距)。在一些实施方案中，在检测到相应输入状态之前，电子设备在第三用户界面元素的边界内显示第二用户界面元素，而不显示第二用户界面元素与第三用户界面元素之间的视觉间距(例如，第二用户界面元素和第三用户界面元素被显示在同一平面上和/或彼此接触，两者之间没有视觉间距)。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到相应输入状态而将第一相应用户界面元素显示为在视觉上与第二相应用户界面元素分开。
在一些实施方案中，诸如在图13B中，根据确定相应输入状态是第一输入状态(例如，间接输入就绪状态)，第一用户界面元素(例如，1318)与第二用户界面元素(例如，1314)之间的间距的量值具有第一值(1420b)。在一些实施方案中，检测到第一输入状态包括当检测到用户的预定义部分处于预先确定的形状时，诸如经由手部跟踪设备检测到用户的手处于预定义手形(例如，其中手的拇指在手的手指的阈值距离(例如，0.5、1、2、3、4或5厘米)内的预备捏合手形)，经由眼睛跟踪设备检测到用户的注视指向第一用户界面元素。在一些实施方案中，第一输入状态是在检测到间接输入之前检测到的间接就绪状态。在一些实施方案中，检测到间接输入包括检测到间接输入就绪状态，随后当检测到执行预先确定的手势时，诸如其中当手与相应用户界面元素相距大于阈值距离(例如，1、2、3、4、5、10、15、20或30厘米)时用户的手的拇指触摸手的手指的捏合手势，检测到用户的注视指向相应用户界面元素。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到第一输入状态而将第一相应用户界面元素显示为在视觉上以第一值与第二相应用户界面元素分开。
在一些实施方案中，诸如在图13B中，根据确定相应输入状态是不同于第一输入状态的第二输入状态(例如，直接输入就绪状态)，第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)之间的间距的量值具有不同于(例如，大于或小于)第一值的第二值(1420c)。在一些实施方案中，检测到第二输入状态包括经由眼睛跟踪设备检测到用户的预定义部分在三维环境中的相应用户界面元素的阈值距离(例如，0.5、1、2、3、4、5、10、15或30厘米)内处于预先确定的形状，诸如经由手部跟踪设备检测到用户的手处于预定义手形(例如，其中手的拇指在手的手指的阈值距离(例如，0.5、1、2、3、4或5厘米)内的预备捏合手形，或其中一根或多根手指伸出且一根或多根手指朝向手掌蜷曲的指向手形)。在一些实施方案中，第二输入状态是在检测到直接输入之前检测到的直接输入就绪状态。在一些实施方案中，检测到直接输入包括检测到直接输入就绪状态，随后检测到执行预先确定的手势，诸如其中用户的手的拇指触摸手的手指的捏合手势，或其中当手处于指向或捏合手形同时手处于距相应用户界面元素的阈值距离(例如，1、2、3、4、5、10、15、20或30厘米)内时用户用食指的尖端将用户界面元素远离用户的视点“推动”的推动手势。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到第二输入状态而将第一相应用户界面元素显示为在视觉上以第二值与第二相应用户界面元素分开。根据确定检测到哪个相应输入状态来修改第一用户界面元素与第二用户界面元素之间的视觉间距量向用户提供了被提供到电子设备的用户输入的增强的视觉反馈，从而减少用户错误并且减少校正用户错误所需的输入的时间和数量。
在一些实施方案中，诸如在图13B中，检测到第一输入状态(例如，间接就绪状态)包括当检测到用户的预定义部分(例如，手)(例如，1303b)距三维环境中与第一用户界面元素(例如，1318)对应的位置比预先确定的阈值距离(例如，1、2、3、5、10、15、20、30或50厘米)更远时，经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301b)指向第一用户界面元素(例如，1318)(1422a)。在一些实施方案中，检测到第一输入状态包括当检测到用户的预定义部分在与第一用户界面元素对应的位置的阈值距离内时，检测到用户的预定义部分处于预先确定的形状，诸如经由手部跟踪设备检测用户的手处于预定义手形(例如，其中手的拇指在手的手指的阈值距离(例如，0.5、1、2、3、4或5厘米)内但不触摸手的手指的预备捏合手形)。
在一些实施方案中，诸如在图13B中，检测到第二输入状态(例如，直接就绪状态)包括检测到用户(例如，1303a)的预定义部分(例如，手)在三维环境中与第一用户界面元素(例如，1316)对应的位置的预先确定的阈值距离内(例如，当经由眼睛跟踪设备检测到用户的注视指向第一用户界面元素时)(1422b)。在一些实施方案中，检测到第二输入状态包括当用户的预定义部分处于与第一用户界面元素对应的位置的预先确定的阈值距离内时，检测到用户的预定义部分处于预定义形状(诸如预备捏合或指向手形)。在一些实施方案中，响应于检测到第二输入状态时第一用户界面元素与第二用户界面元素之间的间距的量值大于响应于检测到第一输入状态时第一用户界面元素与第二用户界面元素之间的间距的量值。根据用户的预定义部分与对应于第一用户界面元素的位置之间的距离(该距离与检测到的输入状态相关联)以不同的视觉间距量来显示第一用户界面元素和第二用户界面元素向用户提供了改进的视觉反馈，同时提供了输入，从而减少用户错误以及纠正用户错误所需的时间和输入。
在一些实施方案中，诸如在图13B中，检测到第一输入状态(例如，直接或间接就绪状态或其他空中手势(例如，虚拟输入设备交互)就绪状态)包括经由该一个或多个输入设备(例如，眼睛跟踪设备、手部跟踪设备、其他图像或范围传感器、头部跟踪设备、其他加速度计和/或陀螺仪、或麦克风)中的第一相应输入设备(例如，314)检测到用户(例如，1303a)的预定义部分与第一相应输入设备(例如，314)交互，而用户(例如，1303a)的预定义部分没有触摸第一相应输入设备(例如，314)(和/或同时用户的预定义部分保持比阈值距离更远，诸如距第一相应输入设备0.3、0.5、1、2、3、5或10厘米)(1424a)。在一些实施方案中，第一相应输入设备是跟踪用户的手的移动、定位和形状以检测用户输入的手部跟踪设备。在一些实施方案中，当检测到第一输入状态时，电子设备与第一相应输入设备(诸如眼睛跟踪设备、头部跟踪设备、手部跟踪设备和麦克风)通信，而不与第二相应输入设备(诸如触控板、鼠标、键盘、触笔、遥控器或未与电子设备的外壳集成的其它触觉输入设备)通信。在一些实施方案中，检测到第一输入状态包括经由手部跟踪设备检测到用户用其手做出预定义手形，诸如预备捏合手形或指向手形。
在一些实施方案中，检测到第二输入状态(例如，触觉输入设备就绪状态)包括经由不同于第一相应输入设备的第二相应输入设备(例如，触控板、鼠标、键盘、触笔、触摸屏等)检测到用户的预定义部分(例如，图13B中示出的用户的手1303a或1303b中的一只手)与第二相应输入设备交互，包括用户的预定义部分触摸第二相应输入设备(和/或第二相应输入设备的触敏表面)(和/或在其阈值距离，诸如0.3、0.5、1、2、3、5或10厘米内)(1424b)。在一些实施方案中，第二相应输入设备是基于用户触摸输入设备(诸如按压物理按钮、触摸触敏表面、或拾起并移动输入设备(诸如触笔或鼠标))检测到输入的触觉输入设备。在一些实施方案中，触觉输入设备就绪状态包括检测到用户触摸输入设备而不提供使得设备执行动作的输入，诸如触摸键盘、鼠标或触控板而不按压按钮或键或施加阈值量的压力或提供运动输入(诸如跨触敏表面的接触运动)以提供使得电子设备执行动作的输入。又如，触笔的就绪状态包括检测到用户握住触笔而不使用触笔执行与使得电子设备执行操作的输入对应的手势。在一些实施方案中，响应于检测到直接或间接就绪状态或其它空中手势就绪状态时第一用户界面元素与第二用户界面元素之间的视觉间距量大于响应于检测到触觉输入设备就绪状态时第一用户界面元素与用户界面元素之间的视觉间距量。根据输入状态是在用户的预定义部分触摸还是未触摸相应输入设备的情况下检测到的，以不同的视觉间距量来显示第一用户界面元素和第二用户界面元素向用户提供了增强的视觉反馈，同时提供了用户输入，从而减少用户错误并且减少纠正用户错误所需的输入和时间。
在一些实施方案中，根据确定相应输入状态是不同于第一输入状态(例如，间接输入就绪状态)和第二输入状态(例如，直接输入就绪状态)的第三输入状态(例如，触觉输入设备就绪状态)，第一用户界面元素与第二用户界面元素之间的间距的量值具有不同于第一值和第二值的第三值(1426a)。例如，图13B示出了指向选项1316的直接就绪状态和指向选项1310b的间接就绪状态，并且如果检测到第三输入状态，则视觉间距量将不同于选项1316和1318与元素1314的视觉间距量。在一些实施方案中，第三值小于第一值和第二值。在一些实施方案中，第一值小于第二值。在一些实施方案中，检测到第一输入状态或第二输入状态包括在用户不触摸第一相应输入设备(或第二相应输入设备)的情况下检测到与第一相应输入设备(例如，眼睛跟踪设备、手部跟踪设备)的交互并且没有与第二相应输入设备的交互，并且检测到第三输入状态包括当用户触摸第二相应输入设备时检测到与第二相应输入设备(例如，触控板、键盘、鼠标、触笔等)的交互。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到第三输入状态而将第一相应用户界面元素显示为在视觉上以第三值与第二相应用户界面元素分开。
在一些实施方案中，诸如在图13B中，检测到第一输入状态(例如，间接输入就绪状态)包括当经由该一个或多个输入设备(例如，手部跟踪设备、其他图像或范围传感器、头部跟踪设备、其他加速度计和/或陀螺仪、或麦克风)中的第一相应输入设备(例如，314)检测到用户的预定义部分(例如，1303b)距三维环境中与第一用户界面元素(例如，1318)对应的位置比预先确定的阈值距离(例如，0.5、1、2、3、5、10、15、20、30或50厘米)更远时，经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301b)指向第一用户界面元素(例如，1318)，以及经由第一相应输入设备(例如，314)检测到用户的预定义部分(例如，1303b)与第一相应输入设备(例如，314)交互，而用户的预定义部分(例如，1303b)没有触摸第一相应输入设备(例如，314)(例如，和/或同时用户的预定义部分保持比阈值距离更远，诸如距第一相应输入设备0.3、0.5、1、2、3、5或10厘米)(1426b)。在一些实施方案中，检测到第一输入状态包括当检测到用户的预定义部分在与第一用户界面元素对应的位置的阈值距离内时，检测到用户的预定义部分处于预先确定的形状，诸如经由手部跟踪设备检测用户的手处于预定义手形(例如，其中手的拇指在手的手指的阈值距离(例如，0.5、1、2、3、4或5厘米)内(例如，但不触摸手的手指)的预备捏合手形)。在一些实施方案中，第一相应输入设备是跟踪用户的手的移动、定位和形状以检测用户输入的手部跟踪设备。在一些实施方案中，当检测到第一输入状态时，电子设备与第一相应输入设备(诸如眼睛跟踪设备、头部跟踪设备、手部跟踪设备和麦克风)通信，而不与第二相应输入设备(诸如触控板、鼠标、键盘、触笔、遥控器或未与电子设备的外壳集成的其它触觉输入设备)通信。
在一些实施方案中，诸如在图13B中，检测到第二输入状态(例如，直接输入就绪状态)包括经由该一个或多个输入设备(例如，手部跟踪设备、其他图像或范围传感器、头部跟踪设备、其他加速计和/或陀螺仪、或麦克风)中的第一相应输入设备(例如，314)检测到用户的预定义部分(例如，1303a)距三维环境中与第一用户界面元素(例如，1316)对应的位置小于阈值距离(例如，0.5、1、2、3、5、10、15、20、30、或50厘米)，以及经由第一相应输入设备(例如，314)检测到用户的预定义部分(例如，1303a)与第一相应输入设备(例如，314)交互，而用户的预定义部分(例如，1303a)没有触摸第一相应输入设备(例如，314)(例如，和/或同时用户的预定义部分保持比阈值距离更远，诸如距第一相应输入设备0.3、0.5、1、2、3、5或10厘米)(1426c)。在一些实施方案中，检测到第二输入状态包括当用户的预定义部分处于与第一用户界面元素对应的位置的预先确定的阈值距离内时，检测到用户的预定义部分处于预定义形状(诸如预备捏合或指向手形)。
在一些实施方案中，检测到第三输入状态(例如，触觉输入就绪状态)包括经由不同于第一相应输入设备的第二相应输入设备(例如，触控板、鼠标、键盘、触笔、触摸屏等)检测到用户的预定义部分(例如，诸如图13B中的手1303a和1303b中的一只手)与第二相应输入设备交互，包括用户的预定义部分触摸第二相应输入设备(和/或第二相应输入设备的触敏表面)(和/或在其阈值距离，诸如0.3、0.5、1、2、3、5或10厘米内)(1426d)。在一些实施方案中，第二相应输入设备是基于用户触摸输入设备(诸如按压物理按钮、触摸触敏表面、或拾起并移动输入设备(诸如触笔或鼠标))检测到输入的触觉输入设备。在一些实施方案中，触觉输入设备就绪状态包括检测到用户触摸输入设备而不提供使得设备执行动作的输入，诸如触摸键盘、鼠标或触控板而不按压按钮或键或施加阈值量的压力或提供运动输入(诸如跨触敏表面的接触运动)以提供使得电子设备执行动作的输入。又如，触笔的就绪状态包括检测到用户握住触笔而不使用触笔执行与使得电子设备执行操作的输入对应的手势。在一些实施方案中，第一用户界面元素与第二用户界面元素之间的视觉间距量响应于检测到第一输入状态(例如，间接输入就绪状态)而最大，并且响应于检测到第三输入状态(例如，触觉输入就绪状态)而最小。
根据检测到的输入状态以不同的视觉间距量来显示第一用户界面元素和第二用户界面元素向用户提供了当前输入状态的增强的视觉反馈，同时提供了用户输入，从而减少用户错误并且减少纠正用户错误所需的时间和输入量。
在一些实施方案中，诸如在图13B中，电子设备(例如，101a)经由该一个或多个输入设备(例如，314)检测到(1428a)相应输入状态指向第一用户界面元素(例如，1316)，其中将第一用户界面元素(例如，1316)显示为在视觉上与第二用户界面元素(例如，1314)分开并且将第二用户界面元素(例如，1314)显示为在视觉上与第三用户界面元素(例如，1312)分开是响应于检测到相应输入状态指向第一用户界面元素(例如，1316)，并且第一用户界面元素(例如，1316)与第二用户界面元素(例如，1314)在视觉上分开第一量并且第二用户界面元素(例如，1314)与第三用户界面元素(例如，1312)在视觉上分开第二量。在一些实施方案中，相应输入状态是直接输入就绪状态、间接输入就绪状态或触觉输入就绪状态中的一者。在一些实施方案中，检测到直接输入就绪状态包括检测到(例如，经由手部跟踪设备)用户的预定义部分(例如，手)在与第一用户界面元素对应的位置的预定义阈值(例如，0.5、1、2、3、4、5、10、15、20、30或50厘米)距离内。在一些实施方案中，检测到间接输入就绪状态包括当检测到(例如，经由手部跟踪设备)用户的预定义部分(例如，手)大于与第一用户界面元素对应的位置的预定义阈值(例如，0.5、1、2、3、4、5、10、15、20、30或50厘米)距离时，经由眼睛跟踪设备检测到用户的注视指向第一用户界面元素。在一些实施方案中，检测到触觉输入就绪状态包括当输入焦点指向第一用户界面元素时，检测到用户正在触摸输入设备(例如，键盘、触控板、鼠标、触笔、触摸屏等)而不提供使得电子设备执行操作的输入。直接、间接和/或触觉就绪状态的附加或另选细节可选地如前所述。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到相应输入状态指向第一相应输入状态而将第一相应用户界面元素显示为在视觉上与第二相应用户界面元素分开。
在一些实施方案中，诸如在图13A中，在检测到相应输入状态之前，电子设备(例如，101a)经由显示生成部件(例如，120)将第一用户界面元素(例如，1316)显示为(1428b)在视觉上与第二用户界面元素(例如，1314)分开小于第一量的第三量，并且经由显示生成部件(例如，120)将第二用户界面元素(例如，1314)显示为在视觉上与第三用户界面元素(例如，1312)分开小于第二量的第四量。在一些实施方案中，第三量为零。在一些实施方案中，第三量大于零且小于第一量。在一些实施方案中，第四量为零。在一些实施方案中，第四量大于零且小于第二量。在一些实施方案中，响应于检测到相应输入状态指向第一用户界面元素，电子设备增加第一用户界面元素与第二用户界面元素之间的视觉间距量和/或增加第二用户界面元素与第三用户界面元素之间的视觉间距量。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，在未检测到相应输入状态时，电子设备将第一相应用户界面元素显示为在视觉上与第二相应用户界面元素分开比电子设备响应于检测到相应输入状态指向第一相应输入状态而显示的相应用户界面元素的视觉间距量更小的量。响应于检测到相应输入状态而增加第一用户界面元素与第二用户界面元素之间的视觉间距量和/或增加第二用户界面元素与第三用户界面元素之间的视觉间距量向用户提供了当前输入状态的增强的视觉反馈，同时提供了用户输入，从而改进视觉反馈。
在一些实施方案中，诸如在图13B中，将第一用户界面元素(例如，1318)显示为在视觉上与第二用户界面元素(例如，1312)分开是响应于经由眼睛跟踪设备(例如，314)检测到用户的注视(例如，1301b)指向第一用户界面元素(例如，1318)以及经由相应输入设备(例如，314)(例如，手部跟踪设备)检测到用户的预定义部分(例如，1303b)在三维环境中与第一用户界面元素(例如，1318)对应的位置的预先确定的阈值距离(例如，0.5、1、2、3、4、5、10、15、20、30或50厘米)内(例如，检测到间接或直接就绪状态)，其中第一用户界面元素(例如，1318)在视觉上与第二用户界面元素(例如，1314)分开第一量(1430a)。在一些实施方案中，电子设备响应于检测到用户的预定义部分在第一用户界面元素的预先确定的阈值距离内(例如，直接就绪状态)而将第一用户界面元素显示为在视觉上与第二用户界面元素分开。
在一些实施方案中，电子设备(例如，101a)经由相应输入设备检测到(1430b)用户的预定义部分(例如，图13B中的手1303b)移动得更靠近三维环境中与第一用户界面元素(例如，图13B中的1318)对应的位置。
在一些实施方案中，诸如在图13B中，响应于检测到用户(例如，1303a)的预定义部分更靠近三维环境中与第一用户界面元素(例如，1316)对应的位置(例如，但尚未到达与第一用户界面元素对应的位置)，电子设备(例如，101a)将第一用户界面元素(例如，1316)显示为(1430c)在视觉上与第二用户界面元素(例如，1314)分开不同于(例如，大于)第一量的第二量。在一些实施方案中，第一用户界面元素与第二用户界面元素之间的视觉间距量响应于检测到用户的预定义部分移动得更靠近三维环境中与第一用户界面元素对应的位置而增加。在一些实施方案中，响应于检测到用户的预定义部分移动得更靠近三维环境中与第一用户界面元素对应的位置，电子设备将第一用户界面元素移动得更靠近用户的预定义部分。在一些实施方案中，响应于检测到用户的预定义部分移动得更远离三维环境中与第一用户界面元素对应的位置，电子设备减少第一用户界面元素与第二用户界面元素之间的视觉间距量。在一些实施方案中，响应于检测到用户的预定义部分移动得更远离三维环境中与第一用户界面元素对应的位置，电子设备将第一用户界面元素移动得更远离用户的预定义部分。在一些实施方案中，诸如根据方法800的一个或多个步骤，电子设备呈现在第二相应用户界面元素的边界内显示的第一相应用户界面元素(例如，而不在附加用户界面元素的边界内显示第二相应用户界面元素)。在一些实施方案中，电子设备响应于检测到用户的预定义部分更靠近与第一相应用户界面元素对应的位置而将第一相应用户界面元素显示为在视觉上与第二相应用户界面元素分开不同的量。根据用户的预定义部分与对应于第一用户界面元素的位置之间的距离来修改第一用户界面元素与第二用户界面元素之间的视觉间距量向用户提供了当前输入状态的增强的视觉反馈，同时提供了输入，从而减少用户错误并且减少纠正用户错误所需的时间和输入。
在一些实施方案中，方法800、1000、1200和1400的各方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (19)

1.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面；
当显示具有所述第一外观的所述相应用户界面元素时，经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述电子设备的所述用户的注意力指向所述相应用户界面元素；
响应于检测到所述电子设备的所述用户的所述注意力指向所述相应用户界面元素，根据确定满足一个或多个第一标准，更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分在深度方向上分开以具有不同于所述第一外观的第二外观；
在所述相应用户界面元素具有所述第二外观时，经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入；以及
响应于检测到指向所述相应用户界面元素的所述第二用户输入：
根据确定所述第二用户输入满足一个或多个第二标准，执行与所述相应用户界面元素相关联的选择操作，并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间在所述深度方向上的间距量来更新所述相应用户界面元素；以及
根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素，放弃执行与所述相应用户界面元素相关联的所述选择操作，不减少所述相应用户界面元素和所F-EF239139D1
述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间在所述深度方向上的间距量。
2.根据权利要求1所述的方法，还包括：
在所述相应用户界面元素具有所述第二外观时，经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测所述电子设备的所述用户的所述注意力不指向所述相应用户界面元素；以及
响应于检测到所述电子设备的所述用户的所述注意力不指向所述相应用户界面元素，通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素。
3.根据权利要求1至2中任一项所述的方法，其中所述第二用户输入满足所述一个或多个第二标准，所述方法还包括：
在检测到所述第二用户输入指向所述相应用户界面元素时并且在所述第二用户输入满足所述一个或多个第二标准之前，根据所述第二用户输入朝向满足所述一个或多个第二标准的进展，通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素。
4.根据权利要求1至3中任一项所述的方法，其中基于所述用户的所述物理特征的所述姿势检测所述电子设备的所述用户的所述注意力指向所述相应用户界面元素包括经由与所述电子设备通信的眼睛跟踪设备检测所述用户的注视指向所述相应用户界面元素。
5.根据权利要求1至4中任一项所述的方法，其中基于所述用户的所述物理特征的所述姿势检测所述电子设备的所述用户的所述注意力指向所述相应用户界面元素包括经由与所述电子设备通信的眼睛跟踪设备和手部跟踪设备检测所述用户的注视指向所述相应用户界面元素并且所述用户的手处于预先确定的姿势。
6.根据权利要求1至5中任一项所述的方法，其中基于所述用户的所述物理特征的所述姿势检测对应于所述相应用户界面元素的所述激活的所述第二用户输入包括经由与所述电子设备通信的手部跟踪设备F-EF239139D1
检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处。
7.根据权利要求1至6中任一项所述的方法，其中基于所述用户的所述物理特征的所述姿势检测对应于所述相应用户界面元素的所述激活的所述第二用户输入包括经由与所述电子设备通信的眼睛跟踪设备和手部跟踪设备检测在所述电子设备的所述用户的注视指向所述相应用户界面元素时所述电子设备的所述用户的手执行相应手势。
8.根据权利要求1至7中任一项所述的方法，其中：
在检测所述第二用户输入指向所述相应用户界面元素之前，以具有第一值的相应视觉特性显示所述相应用户界面元素，同时所述相应用户界面元素在视觉上与所述用户界面的所述部分分开，并且执行与所述相应用户界面元素相关联的所述选择操作包括以具有不同于所述第一值的第二值的所述相应视觉特性显示所述相应用户界面元素，同时减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量。
9.根据权利要求1至8中任一项所述的方法，其中在所述第二用户输入包括所述电子设备的所述用户的注视指向所述相应用户界面元素达长于时间阈值时，所述第二用户输入满足所述一个或多个第二标准。
10.根据权利要求1至9中任一项所述的方法，还包括：
在所述相应用户界面元素具有所述第二外观时，经由与所述电子设备通信的手部跟踪设备检测所述电子设备的所述用户的手处于与用于与所述相应用户界面元素交互的位置对应的相应位置处；以及
响应于检测到所述电子设备的所述用户的所述手处于所述相应位置处，更新所述相应用户界面元素以进一步在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分分开。
11.根据权利要求1至10中任一项所述的方法，其中：
具有所述第二外观的所述相应用户界面元素与所述用户界面中的第一分级级别相关联，并且所述用户界面的与所述相应用户界面F-EF239139D1
元素具有所述预先确定的空间关系的所述部分与不同于所述第一分级级别的第二分级级别相关联。
12.根据权利要求1至11中任一项所述的方法，其中：
检测所述第二用户输入包括经由与所述电子设备通信的手部跟踪设备检测来自所述电子设备的所述用户的手部输入，所述手部输入与所述相应用户界面元素朝向所述用户界面的所述部分的往回移动对应，所述方法还包括：
响应于检测到所述第二用户输入，更新所述相应用户界面元素以减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量，
其中当所述手部输入对应于所述相应用户界面元素到距所述用户界面的所述部分的阈值距离内的移动时，所述第二用户输入满足所述一个或多个第二标准。
13.根据权利要求12所述的方法，还包括：
在所述第二用户输入满足所述一个或多个第二标准之后并且当所述相应用户界面元素在距所述用户界面的所述部分的所述阈值距离内时，经由所述手部跟踪设备检测来自所述电子设备的所述用户的进一步手部输入，所述进一步手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分的往回移动；以及
响应于检测到所述进一步手部输入，根据所述进一步手部输入移动所述相应用户界面元素和所述用户界面的所述部分。
14.根据权利要求12至13中任一项所述的方法，还包括：
响应于检测到所述第二用户输入：
根据确定所述手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分小于阈值移动量的往回移动，根据所述手部输入将所述相应用户界面元素朝向所述用户界面的所述部分往回移动而不移动所述用户界面的所述部分，以减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量；以及
根据确定所述手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分大于所述阈值移动量的往回移动，根F-EF239139D1
据所述手部输入来移动所述相应用户界面元素并且移动所述用户界面的所述部分。
15.根据权利要求1至14中任一项所述的方法，其中通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素包括根据所述第二用户输入的移动分量用惯性移动所述相应用户界面元素和所述用户界面的所述部分，所述方法还包括：
检测指向所述相应用户界面元素的所述第二用户输入的终止；以及
响应于检测到指向所述相应用户界面元素的所述第二用户输入的所述终止，在与所述相应用户界面元素和所述用户界面的所述部分响应于所述第二用户输入的所述移动相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。
16.根据权利要求15所述的方法，其中检测所述第二用户输入包括检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处，所述方法还包括：
当所述相应用户界面元素具有所述第二外观时，经由与所述电子设备通信的手部跟踪设备检测到相应输入，所述相应输入包括在所述用户的所述手处于不对应于所述相应用户界面元素的位置处时由所述用户的所述手执行的相应手势；
响应于检测到所述相应输入：
根据基于当所述用户的所述手处于不对应于所述相应用户界面元素的位置处时由所述用户的所述手执行的所述相应手势确定所述相应输入满足一个或多个第三标准，通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素，包括用惯性移动所述相应用户界面元素和所述用户界面的所述部分；
检测所述相应输入的终止；以及
响应于检测到所述相应输入的所述终止，在与所述相应用户界面元素和所述用户界面的所述部分响应于所述相应输入的所述移动F-EF239139D1
相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。
17.根据权利要求15至16中任一项所述的方法，其中检测所述第二用户输入包括检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处，该方法还包括：
当所述相应用户界面元素具有所述第二外观时，经由与所述电子设备通信的眼睛跟踪设备检测包括所述用户的注视指向所述相应用户界面元素的相应输入；
响应于检测到所述相应输入：
根据基于所述用户的所述注视指向所述相应用户界面元素确定所述相应输入满足一个或多个第三标准，通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素，包括用惯性移动所述相应用户界面元素和所述用户界面的所述部分；
检测所述相应输入的终止；以及
响应于检测到所述相应输入的所述终止，在与所述相应用户界面元素和所述用户界面的所述部分响应于所述相应输入的所述移动相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。
18.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至17所述的方法中的任一种方法的指令。
19.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至17所述的方法中的任一种方法。
CN202310683358.8A 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 Pending CN116719452A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063083802P 2020-09-25 2020-09-25
US63/083,802 2020-09-25
US202163261555P 2021-09-23 2021-09-23
US63/261,555 2021-09-23
CN202180065816.0A CN116324703A (zh) 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
PCT/US2021/071595 WO2022067342A2 (en) 2020-09-25 2021-09-25 Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180065816.0A Division CN116324703A (zh) 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法

Publications (1)

Publication Number Publication Date
CN116719452A true CN116719452A (zh) 2023-09-08

Family

ID=78303069

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180065816.0A Pending CN116324703A (zh) 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN202310683358.8A Pending CN116719452A (zh) 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180065816.0A Pending CN116324703A (zh) 2020-09-25 2021-09-25 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法

Country Status (7)

Country Link
US (1) US20220121344A1 (zh)
EP (1) EP4217835A2 (zh)
JP (1) JP2023543798A (zh)
KR (1) KR20230054733A (zh)
CN (2) CN116324703A (zh)
AU (2) AU2021349381B2 (zh)
WO (1) WO2022067342A2 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
EP3985486B1 (en) * 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
USD982031S1 (en) * 2020-12-21 2023-03-28 3Shape A/S Display screen or portion thereof with a transitional graphical user interface
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
AU2022210589A1 (en) * 2021-01-20 2023-09-07 Apple Inc. Methods for interacting with objects in an environment
EP4288950A1 (en) * 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220345591A1 (en) * 2021-04-22 2022-10-27 David Shau Underwater Camera Operations
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11836828B2 (en) * 2021-10-29 2023-12-05 Meta Platforms Technologies, Llc Controlling interactions with virtual objects
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023192413A1 (en) * 2022-03-31 2023-10-05 New York University Text entry with finger tapping and gaze-directed word selection
US20230350495A1 (en) * 2022-04-27 2023-11-02 Austin Vaday Fingerspelling text entry
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US11766614B1 (en) * 2022-05-20 2023-09-26 Pj Hammer Corporation Utilizing mobile device capabilities to keep a user engaged with a mobile application
WO2024064016A1 (en) * 2022-09-21 2024-03-28 Apple Inc. Devices, methods, and user interfaces for gesture-based interactions
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9811245B2 (en) * 2013-12-24 2017-11-07 Dropbox, Inc. Systems and methods for displaying an image capturing mode and a content viewing mode
WO2016137139A1 (en) * 2015-02-26 2016-09-01 Samsung Electronics Co., Ltd. Method and device for managing item
US10803716B2 (en) * 2017-09-08 2020-10-13 Hellofactory Co., Ltd. System and method of communicating devices using virtual buttons
US20190088149A1 (en) * 2017-09-19 2019-03-21 Money Media Inc. Verifying viewing of content by user
US11157159B2 (en) * 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar

Also Published As

Publication number Publication date
WO2022067342A2 (en) 2022-03-31
JP2023543798A (ja) 2023-10-18
WO2022067342A3 (en) 2022-07-21
US20220121344A1 (en) 2022-04-21
AU2021349381A1 (en) 2023-05-11
CN116324703A (zh) 2023-06-23
EP4217835A2 (en) 2023-08-02
AU2021349381B2 (en) 2024-02-22
KR20230054733A (ko) 2023-04-25
AU2024203393A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220084279A1 (en) Methods for manipulating objects in an environment
US11853527B2 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
US20220229524A1 (en) Methods for interacting with objects in an environment
US11720171B2 (en) Methods for navigating user interfaces
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
KR20230037054A (ko) 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230114043A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
EP4388502A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
CN117043720A (zh) 用于与环境中的对象进行交互的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination