CN116802589A - 基于手指操纵数据和非系留输入的对象参与 - Google Patents

Abstract

本发明提供了一种方法，包括：显示多个计算机生成的对象；以及经由通信接口从手指可穿戴设备获得手指操纵数据。在一些具体实施中，该方法包括接收包括多个非系留输入指示符值的非系留输入向量。该多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联。在一些具体实施中，该方法包括经由该通信接口从物理代理对象获得代理对象操纵数据。该代理对象操纵数据对应于与集成在该物理代理对象中的一个或多个传感器相关联的传感器数据。该方法包括基于该手指操纵数据、该非系留输入向量和该代理对象操纵数据的组合来注册关于该多个计算机生成的对象中的第一计算机生成的对象的参与事件。

Description

基于手指操纵数据和非系留输入的对象参与

技术领域

本公开涉及显示计算机生成的内容，并且具体涉及基于各种输入来参与计算机生成的内容。

背景技术

包括集成输入***的电子设备可以基于来自集成输入***的输入来操纵计算机生成的对象的显示。例如，集成输入***对应于肢体跟踪输入***或眼睛跟踪输入***中的一者。然而，利用来自集成输入***的输入来操纵计算机生成的对象带来了许多问题，诸如跟踪不准确和用户对操纵计算机生成的对象的控制有限。

发明内容

根据一些具体实施，在具有一个或多个处理器、非暂态存储器、显示器、非系留输入(untethered input)检测***和被提供以与手指可穿戴设备通信的通信接口的电子设备处执行一种方法。该方法包括在该显示器上显示多个计算机生成的对象。该方法包括经由该非系留输入检测***接收包括多个非系留输入指示符值的非系留输入向量。该多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联。该方法包括经由该通信接口从该手指可穿戴设备获得手指操纵数据。该方法包括基于该非系留输入向量的至少一部分和该手指操纵数据来注册关于该多个计算机生成的对象中的第一计算机生成的对象的参与事件。

根据一些具体实施，在具有一个或多个处理器、非暂态存储器、显示器和被提供以与手指可穿戴设备和物理代理对象通信的通信接口的电子设备处执行一种方法。该方法包括在该显示器上显示多个计算机生成的对象。该方法包括经由该通信接口从该物理代理对象获得代理对象操纵数据。该代理对象操纵数据对应于与集成在该物理代理对象中的一个或多个传感器相关联的传感器数据。该方法包括经由该通信接口从该手指可穿戴设备获得手指操纵数据。该方法包括基于该代理对象操纵数据的至少一部分和该手指操纵数据来注册关于该多个计算机生成的对象中的第一计算机生成的对象的参与事件。

根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器、显示器、非系留输入检测***，以及被提供以与手指可穿戴设备通信并且任选地与包括传感器的物理代理对象通信的通信接口。一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。该一个或多个程序包括用于执行或促使执行本文描述的任何方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是根据一些具体实施的便携式多功能设备的示例的框图。

图2是根据一些具体实施的手指可穿戴设备的示例的框图。

图3A至图3V是根据一些具体实施的基于手指操纵数据和非系留输入来注册各种参与事件的电子设备的示例。

图4是根据一些具体实施的基于手指操纵数据和非系留输入来注册参与事件的***的框图的示例。

图5是根据一些具体实施的非系留输入向量的示例。

图6是根据一些具体实施的基于手指操纵数据和非系留输入来注册参与事件的方法的流程图的示例。

图7是根据一些具体实施的基于手指操纵数据、非系留输入和代理对象操纵数据来注册参与事件的方法的流程图的示例。

具体实施方式

包括集成输入***的电子设备可以基于来自集成输入***的输入来操纵计算机生成的对象的显示。例如，集成输入***对应于肢体跟踪输入***或眼睛跟踪输入***中的一者。作为一个示例，电子设备利用来自肢体跟踪输入***的肢体跟踪输入以便标识用户的肢体满足相对于特定的计算机生成的对象的接近度阈值。因此，电子设备基于肢体跟踪输入来操纵特定的计算机生成的对象。利用来自集成输入***的输入来操纵计算机生成的对象带来了许多问题。例如，当物理对象遮挡(例如，阻挡)肢体的一部分时，肢体跟踪输入的可靠性相应地降低。作为另一示例，用户眼睛的有限移动性和用户肢体的不稳定降低了与操纵计算机生成的对象相关联的效率。作为又一示例，相对于显示器具有相对较深深度的计算机生成的对象(诸如位于场景背景中的计算机生成的对象)对于用户而言可能难以经由肢体跟踪来操纵，从而导致肢体跟踪不准确。

相比之下，本文所公开的各种具体实施包括用于基于来自手指可穿戴设备的手指操纵数据和非系留输入的组合来注册与计算机生成的对象的参与事件的方法、电子设备和***。因此，本文所公开的各种具体实施提供与计算机生成的对象的可靠且稳健的用户参与。电子设备经由通信接口从手指可穿戴设备接收手指操纵数据。手指可穿戴设备可以由用户的手指穿戴。在一些具体实施中，电子设备基于手指操纵数据以六个自由度(6DOF)跟踪手指。因此，即使当物理对象遮挡手指可穿戴设备的一部分时，电子设备也继续从手指可穿戴设备接收手指操纵数据。另外，电子设备使得能够基于手指操纵数据进行对象参与(例如，消歧、操纵等)，而与手指可穿戴设备和计算机生成的对象之间的表观距离无关。因此，与其他设备相比，使用手指操纵数据和非系留输入的组合使得用户在参与计算机生成的对象时能够具有更多的控制和准确度。

现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR***，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR***可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR***可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR***可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。

许多不同类型的电子***可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式***、基于投影的***、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入***(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式***可具有不透明显示器和一个或多个扬声器。其他头戴式***可被配置为接受不透明外部显示器(例如，智能电话)。头戴式***可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其他类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影***也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、***设备接口118、输入/输出(I/O)子***106、扬声器111、显示***112、惯性测量单元(IMU)130、图像传感器143(例如，相机)、接触强度传感器165、音频传感器113(例如麦克风)、眼睛跟踪传感器164(例如，包括在头戴式设备(HMD)内)、肢体跟踪传感器150以及其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备100滑动到或以其他方式附接到头戴式壳体)等中的一种。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。

在一些具体实施中，***设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。

I/O子***106将电子设备100上的输入/输出***设备诸如显示***112和其他输入或控制设备116与***设备接口118耦接。I/O子***106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器160、用于其他输入或控制设备的一个或多个输入控制器152、IMU控制器132、肢体跟踪控制器180和隐私子***170，以及通信接口190。一个或多个输入控制器152从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器152任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(USB)端口、触笔、手指可穿戴设备和/或指针设备诸如鼠标。一个或多个按钮任选地包括用于扬声器111和/或音频传感器113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获得关于电子设备100相对于特定对象的位置和/或定向的信息的定位***(例如，GPS)。在一些具体实施中，其他输入或控制设备116包括获取表征特定对象的深度信息的深度传感器和/或飞行时间传感器。

显示***112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从显示***112接收电信号和/或将电信号发送至该显示***。显示***112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。

显示***112可具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。显示***112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测显示***112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在显示***112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，显示***112和用户之间的接触点对应于用户的手指或手指可穿戴设备。

显示***112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。显示***112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与显示***112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。

用户任选地使用任何合适的物体或附加物诸如触笔、手指可佩戴设备、手指等来与显示***112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

扬声器111和音频传感器113提供用户与电子设备100之间的音频接口。音频电路从***设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路还接收由音频传感器113(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到***设备接口118以用于处理。音频数据任选地由***设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出***设备之间的接口，该可移除的音频输入/输出***设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。

惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。

图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在HMD内。

接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165与I/O子***106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的侧面上。

眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。

肢体跟踪传感器150获取指示用户的肢***置的肢体跟踪数据。例如，在一些具体实施中，肢体跟踪传感器150对应于获得指示特定对象内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中，肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。

在各种具体实施中，电子设备100包括隐私子***170，该隐私子***包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的肢体跟踪数据、眼睛注视数据和/或身***置数据中的用户信息。在一些具体实施中，隐私子***170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子***170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子***170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子***170从用户获取到知情同意。在一些具体实施中，隐私子***170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子***170接收指定隐私子***170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子***170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。

电子设备100包括通信接口190，该通信接口被提供以与手指可穿戴设备(诸如图2中所示的手指可穿戴设备200或图3A至图3V中的手指可穿戴设备320)通信。例如，通信接口190对应于蓝牙接口、IEEE 802.11x接口、近场通信(NFC)接口等中的一者。根据各种具体实施，电子设备100经由通信接口190从手指可穿戴设备获得手指操纵数据，如下面将进一步描述的。

图2是手指可穿戴设备200的示例的框图。手指可穿戴设备200包括存储器202(任选地包括一个或多个计算机可读存储介质)、存储器控制器222、一个或多个处理单元(CPU)220、***设备接口218、RF电路208和输入/输出(I/O)子***206。这些部件任选地通过一个或多个通信总线或信号线203进行通信。本领域的普通技术人员将理解，图2中所示的手指可穿戴设备200是手指可穿戴设备的一个示例，并且手指可穿戴设备200任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有部件的不同配置或布置。图2中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。

手指可穿戴设备200包括用于为各种部件供电的电力***262。电力***262任选地包括电力管理***、一个或多个电源(例如，电池、交流电(AC))、再充电***、电力故障检测电路、功率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))，以及与便携式设备和/或便携式附件中电力的生成、管理和分配相关联的任何其他部件。

存储器202任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个闪存存储器设备或其他非易失性固态存储器设备。手指可穿戴设备200的其他部件(诸如CPU 220和***设备接口218)对存储器202的访问任选地由存储器控制器222来控制。

***设备接口218可用于将手指可穿戴设备200的输入和输出***设备耦接到CPU220和存储器202。一个或多个处理器220运行或执行存储器202中所存储的各种软件程序和/或指令集以执行手指可穿戴设备200的各种功能并且处理数据。

在一些具体实施中，***设备接口218、CPU 220和存储器控制器222任选地在单个芯片诸如芯片204上实现。在一些具体实施中，它们在独立的芯片上实现。

RF(射频)电路208接收和发送也被称作电磁信号的RF信号。RF电路208将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与电子设备100或电子设备310、通信网络和/或其他通信设备进行通信。RF电路208任选地包括用于执行这些功能的熟知的电路，包括但不限于天线***、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路208任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和/或技术中的任一者，包括但不限于全球移动通信***(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。

I/O子***206将手指可穿戴设备200上的输入/输出***设备，诸如其他输入或控制设备216与***设备接口218耦接。I/O子***206任选地包括一个或多个位置传感器控制器258、一个或多个强度传感器控制器259、触觉反馈控制器261和用于其他输入或控制设备的一个或多个其他输入控制器260。一个或多个其他输入控制器260从其他输入或控制设备216接收电信号/将电信号发送到所述其他输入或控制设备。其他输入或控制设备216任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、点击轮等。在一些具体实施中，其他输入控制器260任选地耦接到以下各项中的任一者(或不耦接到以下各项中的任一者)：红外线端口和/或USB端口。

在一些具体实施中，手指可穿戴设备200包括输出与手指可穿戴设备200相关联的位置数据的一个或多个位置传感器266。位置数据指示手指可穿戴设备200的位置、取向或移动，诸如手指可穿戴设备200的旋转移动或平移移动。例如，位置传感器266包括提供3D旋转数据(诸如滚动、俯仰和偏航信息)的惯性测量单元(IMU)。为此，IMU可包括加速度计、陀螺仪和磁力计的组合。作为另一示例，位置传感器266包括提供3D位置数据和/或3D取向数据(诸如手指可穿戴设备200的位置)的磁传感器。例如，磁传感器测量弱磁场以便确定手指可穿戴设备200的位置。

在一些具体实施中，手指可穿戴设备200包括用于检测与由手指可穿戴设备200执行的手势相关联的接触的强度(例如，压力)的一个或多个接触强度传感器268。一个或多个接触强度传感器268输出与手指可穿戴设备200相关联的接触强度数据。作为一个示例，接触强度数据指示由(穿戴手指可穿戴设备的)手指轻击物理表面所施加的压力。一个或多个接触强度传感器268可包括干涉仪。一个或多个接触强度传感器268可包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器。

手指可穿戴设备200任选地包括用于在手指可穿戴设备200上生成触觉输出的一个或多个触觉输出发生器263。在一些具体实施中，术语“触觉输出”是指将由用户利用其触感检测到的电子设备(例如，电子设备100)的附件(例如，手指可穿戴设备200)相对于该附件的先前位置的物理位移、附件的部件相对于该附件的另一部件的物理位移或该部件相对于该附件的质心的位移。例如，在附件或附件的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，由物理位移生成的触觉输出将由用户解释为触感，该触感对应于所感知的附件或附件的部件的物理特征的变化。例如，部件(例如，手指可穿戴设备200的外壳)的移动任选地被用户解读为对物理致动按钮的“点击”。在一些情况下，用户将感觉到触感，诸如“点击”，即使当通过用户的移动而物理地被按压(例如，被移位)的与手指可穿戴设备相关联的物理致动按钮没有移动时。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“点击”)时，除非另外陈述，否则所生成的触觉输出对应于电子设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。

图2示出了与触觉反馈控制器261耦接的触觉输出发生器263。触觉输出发生器263任选地包括一个或多个电声设备诸如扬声器或其他音频部件，以及/或者将能量转换为线性运动的机电设备诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器，或其他触觉输出生成部件(例如，将电信号转换为电子设备上的触觉输出的部件)。触觉输出发生器263从触觉反馈***234接收触觉反馈生成指令并且在手指可穿戴设备200上生成能够被手指可穿戴设备200的用户感测的触觉输出。

在一些具体实施中，存储在存储器202中的软件部件包括操作***226、通信***(或指令集)228、定位***(或指令集)230、接触强度***(或指令集)232、触觉反馈***(或指令集)234，以及手势解释***(或指令集)236。此外，在一些具体实施中，存储器202存储与手指可穿戴设备相关联的设备/全局内部状态。设备/全局内部状态包括以下各项中的一个或多个：传感器状态，包括从手指可穿戴设备的各种传感器和其他输入或控制设备216获得的信息；位置状态，包括关于手指可穿戴设备关于电子设备(例如，电子设备100)的位置(例如，位置、取向、倾斜、滚动和/或距离)的信息；以及关于手指可穿戴设备的绝对位置的位置信息。

操作***226包括用于控制和管理一般***任务(例如，存储器管理、电源管理等)的各种软件部件和/或驱动程序，并且促进各种硬件和软件部件之间的通信。

通信***228促进与其他设备(例如，电子设备100或电子设备310)的通信，并且还包括适于直接耦接到其他设备或通过网络(例如，互联网、无线LAN等)间接耦接到其他设备的各种软件部件(例如，用于处理由RF电路208接收的数据)。

定位***230结合来自一个或多个位置传感器266的位置数据任选地检测关于手指可穿戴设备200的位置信息。定位***230任选地包括用于执行与检测手指可穿戴设备200的位置和检测手指可穿戴设备200在特定参照系中的位置变化相关的各种操作的软件部件。在一些具体实施中，定位***230检测手指可穿戴设备200相对于电子设备的位置状态，并且检测手指可穿戴设备200相对于电子设备的位置状态的变化。如上所述，在一些具体实施中，电子设备100或310确定手指可穿戴设备200相对于电子设备的位置状态，并且使用来自定位***230的信息来改变手指可穿戴设备200的位置状态。

接触强度***232结合来自一个或多个接触强度传感器268的接触强度数据，任选地检测与手指可穿戴设备200相关联的接触强度信息。接触强度***232包括用于执行与接触的检测相关的各种操作的软件部件，诸如检测手指可穿戴设备200与桌面之间的接触的强度和/或持续时间。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，接触点的移动由一系列接触强度数据表示。

触觉反馈***234包括各种软件部件，用于生成由触觉输出发生器263使用的指令以响应于用户与手指可穿戴设备200的交互在手指可穿戴设备200上的一个或多个位置处产生触觉输出。

手指可穿戴设备200任选地包括手势解释***236。手势解释***236与定位***230和/或接触强度***232协调，以便确定由手指可穿戴设备执行的手势。例如，手势包括以下各项中的一个或多个：捏合手势、拉动手势、捏合和拉动手势、旋转手势、轻击手势等。在一些具体实施中，手指可穿戴设备200不包括手势解释***，并且电子设备或***(例如，图4中的手势解释***445)基于来自手指可穿戴设备200的手指操纵数据来确定由手指可穿戴设备200执行的手势。在一些具体实施中，在手指可穿戴设备200处执行手势确定的一部分，并且在电子设备/***处执行手势确定的一部分。在一些具体实施中，手势解释***236确定与手势相关联的持续时间。在一些具体实施中，手势解释***236确定与由手指可穿戴设备200执行的手势相关联的接触强度。

上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些***(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些具体实施中，存储器202任选地存储上述***和数据结构的子集。此外，存储器202任选地存储上文未描述的附加的***和数据结构。

图3A至图3V是根据一些具体实施的基于手指操纵数据和非系留输入来注册各种参与事件的电子设备310的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图3A中所示，电子设备310与操作环境300相关联(例如，根据该操作环境来操作)。在各种具体实施中，电子设备310与图1的电子设备100类似，并且从该电子设备修改而来。在一些具体实施中，电子设备310生成上述XR设置中的一者。电子设备310包括与操作环境300的可视区域314相关联的显示器312。例如，在一些具体实施中，电子设备310包括与对应于可视区域314的视场相关联的图像传感器，并且电子设备310将来自图像传感器的传递图像数据与计算机生成的内容合成。作为另一示例，在一些具体实施中，电子设备310包括透视显示器312，该透视显示器使得环境光能够从物理环境进入，从而产生可视区域314。操作环境300包括物理桌子302，并且可视区域314包括物理桌子302的一部分。

此外，手指可穿戴设备320位于用户50的第一手部52的手指上。在一些具体实施中，手指可穿戴设备320类似于图2中所示出的手指可穿戴设备200，并且由该手指可穿戴设备修改而来。电子设备310包括通信接口(例如，图1中的通信接口190)，该通信接口被提供以与手指可穿戴设备320通信，并且任选地与包括传感器的物理代理对象通信。电子设备310从手指可穿戴设备320获得手指操纵数据。例如，电子设备310获得位置数据(例如，由手指可穿戴装置320的位置传感器输出)和接触强度数据(例如，由手指可穿戴设备320的接触强度传感器输出)的组合。

此外，在一些具体实施中，用户50的第二手部54正在握持电子设备310。例如，在一些具体实施中，电子设备310对应于智能电话、膝上型计算机、平板计算机等。

在一些具体实施中，电子设备310对应于包括集成显示器(例如，内置显示器)的头戴式设备(HMD)，该集成显示器显示操作环境300的表示。在一些具体实施中，电子设备310包括头戴式壳体。在各种具体实施中，可头戴壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备310)的接收器。例如，在一些具体实施中，电子设备310滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)操作环境300的表示。例如，在一些具体实施中，电子设备310对应于可附接到头戴式壳体的移动电话。

在一些具体实施中，电子设备310包括图像传感器，诸如场景相机。例如，图像传感器获得表征操作环境300的图像数据，并且电子设备310用计算机生成的内容合成图像数据，以便生成用于显示器312上的显示的显示数据。显示数据可以与XR环境相关联。例如，图像传感器获得表示物理桌子302的部分的图像数据，并且在显示器312上显示的所生成的显示数据还表示物理桌子302的部分(参见图3B)。

在一些具体实施中，电子设备310包括透视显示器。透视显示器允许来自物理环境的环境光穿过透视显示器，并且物理环境的表示基于该环境光。例如，透视显示器是半透明显示器，诸如具有光学透视的玻璃。在一些具体实施中，透视显示器是允许物理表面光学透视的附加显示器，诸如光学HMD(OHMD)。例如，不同于使用视频流的纯合成，附加显示器能够从显示器反射投影图像，同时使用户视觉能够透过显示器。在一些具体实施中，透视显示器包括光致变色透镜。HMD将计算机生成的对象添加到进入透视显示器的环境光，以便实现操作环境300的显示。例如，透视显示器312允许来自包括物理桌子302的部分的操作环境300的环境光，并且因此透视显示器312还表示物理桌子302的该部分(参见图3B)。

如图3A中进一步示出的，电子设备310建立与手指可穿戴设备320的通信链路，如由通信链路线322(仅出于说明性的目的而示出)所指示的。在电子设备310和手指可穿戴设备320之间建立链接有时被称为配对或网络共享。本领域的普通技术人员将理解，电子设备310可以根据各种通信协议(诸如蓝牙、IEEE 802.11x、NFC等)与手指可穿戴设备320通信。

在一些具体实施中，响应于建立与手指可穿戴设备320的通信链路，电子设备310(例如，自动地)在显示器312上显示多个计算机生成的对象。在一些具体实施中，响应于接收到用户输入，电子设备310在显示器312上显示多个计算机生成的对象。作为一个示例，如图3A和图3B所示，多个计算机生成的对象包括计算机生成的足球330、计算机生成的立方体332和计算机生成的篮球334。

图3C至图3G示出了利用眼睛跟踪和手指操纵数据的组合以便注册参与事件的电子设备310的示例。电子设备310包括接收非系留输入向量的非系留输入检测***，在图5中示出了其示例(非系留输入向量500)。非系留输入向量包括多个非系留输入指示符值。多个非系留输入指示符值中的每一个值与多个非系留输入模态(诸如眼睛跟踪模态、肢体跟踪模态、语音检测模态等等)中的一个非系留输入模态相关联。

例如，如图3C中所示，电子设备310包括非系留输入检测***340，该非系留输入检测***包括眼睛跟踪子***341。眼睛跟踪子***341输出一个或多个眼睛跟踪指示符值。例如，眼睛跟踪子***341包括眼睛跟踪传感器(例如，图1中的眼睛跟踪传感器164)和眼睛跟踪控制器(例如，图1中的眼睛跟踪控制器160)。一个或多个眼睛跟踪指示符值与眼睛跟踪模态相关联。例如，在一些具体实施中，一个或多个眼睛跟踪指示符值包括注视位置、注视强度、注视移动等。

此外，电子设备310包括对象消歧器342，该对象消歧器基于眼睛跟踪指示符值对一个或多个计算机生成的对象进行消歧。即，基于眼睛跟踪指示符值，对象消歧器342确定与用户50的一个或多个眼睛相关联的眼睛注视343(仅出于说明性的目的而示出的虚线)。基于眼睛注视343，对象消歧器342确定用户焦点与计算机生成的立方体332相关联(例如，被引导到其上)，如由光罩344所指示的。在一些具体实施中，电子设备310显示光罩344以便向用户50提供反馈，从而减少错误(例如，非预期的)输入并且减少电子设备310的资源利用。在一些具体实施中，代替显示光罩344，电子设备310提供用于指示对象消歧的另一种反馈模式，诸如触觉反馈或音频反馈。

在一些具体实施中，响应于确定用户焦点与计算机生成的立方体332相关联，电子设备310对计算机生成的立方体332进行消歧(例如，选择)。在一些具体实施中，电子设备310通过改变计算机生成的立方体332的外观来指示消歧，诸如将计算机生成的立方体332从具有实线改变为虚线，如图3D中所示。改变计算机生成的立方体332的外观向用户50提供反馈，从而减少错误的(例如，非预期的)输入并且减少电子设备310的资源利用。本领域的技术人员将了解，在一些具体实施中，电子设备310不改变消歧内容的外观，或与如参考图3D所描述的不同地改变外观。

如图3E和图3F中所示，手指可穿戴设备320执行与计算机生成的立方体332相关联(例如，被引导到其中)的逆时针旋转手势，如旋转指示符346所指示的(仅出于说明性的目的而示出)。因此，基于来自手指可穿戴设备320的位置数据(例如，IMU数据或磁传感器数据)，电子设备310确定手指可穿戴设备320执行逆时针旋转手势。

响应于确定手指可穿戴设备320执行与计算机生成的立方体332相关联的逆时针旋转手势，电子设备310相应地操纵计算机生成的立方体332。因此，如图3F中所示，电子设备310根据由手指可穿戴设备320执行的旋转手势在显示器312上旋转计算机生成的立方体332。例如，电子设备310将计算机生成的立方体332逆时针旋转到对应于与手指可穿戴设备320所执行的逆时针旋转手势相关联的旋转角度的角度。在一些具体实施中，在操纵计算机生成的立方体332之后，电子设备310将计算机生成的立方体332的外观恢复到预先选择的状态。例如，如图3G中所示，电子设备310将旋转的计算机生成的立方体332的外观从虚线改变回具有实线。

因此，如图3C至图3G中所示，电子设备310基于来自手指可穿戴设备320的手指操纵数据和眼睛跟踪指示符值来注册关于计算机生成的立方体332的参与事件。即，参与事件包括基于眼睛跟踪指示符值的计算机生成的立方体332的消歧(例如，选择)，以及基于手指操纵数据的消歧对象的操纵。本领域的普通技术人员将理解，在一些具体实施中，参与事件包括非系留输入和手指操纵数据的不同组合，诸如基于非系留输入来对对象进行消歧以及基于手指操纵数据来确认该消歧。

在一些具体实施中，电子设备310基于手指操纵数据操纵消歧的计算机生成的对象，而不依赖于手指可穿戴设备320与消歧的计算机生成的对象之间的距离。例如，当执行手势时，手指可穿戴设备320在可视区域314之外或者在可视区域314之内但是远离消歧的计算机生成的对象。作为一个示例，电子设备310基于眼睛跟踪输入(例如，眼睛注视指向计算机生成的对象内)来对计算机生成的对象进行消歧，并且此后使用指示在可视区域314之外执行的旋转手势的手指操纵数据以便旋转消歧的计算机生成的对象。

图3H至图3K示出了利用语音检测和手指操纵数据的组合以便注册参与事件的电子设备310的示例。如图3H中所示，电子设备310包括非系留输入检测***350，该非系留输入检测***自身包括语音检测子***351。语音检测子***351检测对应于“选择球”348的用户语音模式的(例如，来自用户50的)语音，并且输出一个或多个语音检测指示符值。语音检测指示符值与非系留输入向量的语音检测模态相关联。例如，语音检测指示符值包括语音内容指示符值、语音音调指示符值、语音幅度指示符值等的组合。为此，语音检测子***351包括检测语音的音频传感器(例如，麦克风)。在一些具体实施中，语音检测子***351包括在语义上标识语音内的语音模式的语音识别引擎。作为一个示例，在一些具体实施中，语音检测子***351基于来自音频传感器的音频数据来执行自然语言处理(NLP)以便生成语音内容指示符值。因此，语音检测子***351在语义上将用户语音模式标识为“选择球”。

基于语音检测指示符值，对象消歧器342对显示器312上的球进行消歧，但不对计算机生成的立方体332进行消歧，因为它不是球。如图3H中所示，对象消歧器342对计算机生成的足球330进行消歧，如第一线352a所指示的，并且对计算机生成的篮球334进行消歧，如第二线352b所指示的。第一线352a和第二线352b在图3H中仅出于说明性目的而示出。

在一些具体实施中，电子设备310基于消歧来改变计算机生成的足球330和计算机生成的篮球334的外观。例如，如图3I中所示，电子设备310将计算机生成的足球330和计算机生成的篮球334从具有实线改变为具有虚线。如上所述，改变外观为用户50提供了有用的反馈。

如图3J和图3K中所示，手指可穿戴设备320执行向下移动手势，如由移动线354(仅出于说明性目的而示出)所指示的。因此，基于来自手指可穿戴设备320的位置数据，电子设备310确定手指可穿戴设备320执行向下移动手势。例如，位置数据包括从集成在手指可穿戴设备320内的磁传感器输出的磁传感器数据。根据各种具体实施，磁传感器数据使得电子设备310能够执行手指可穿戴设备320的六个自由度(6DOF)跟踪。

响应于确定手指可穿戴设备320执行向下移动手势，电子设备310相应地操纵消歧的计算机生成的对象。即，如图3K中所示，电子设备310在显示器312上向下移动计算机生成的足球330和计算机生成的篮球334。例如，电子设备310将计算机生成的足球330和计算机生成的篮球334移动大约对应于与由手指可穿戴设备320执行的向下移动手势相关联的距离的距离。

在一些实施方案中，电子设备310基于在消歧的阈值时间内接收到手指操纵数据来操纵消歧的计算机生成的对象。例如，当电子设备310在对计算机生成对象进行消歧之后不到两秒内接收到指示特定手势(例如，旋转或移动)的手指操作数据时，电子设备310对消歧的计算机生成的对象进行操作，但在消歧后超过两秒后接收到该手指操作数据时不进行操作。

在一些具体实施中，电子设备310基于确定手指操纵数据指示操纵触发手势类型(例如，捏合、轻击等)来操纵消歧的计算机生成的对象。例如，响应于确定位置数据和接触强度数据一起指示用户的手指(用户的手指正在穿戴手指可穿戴设备32)轻击物理桌子，电子设备310开始利用随后的手指操纵数据以便操纵消歧的计算机生成的对象。

需注意，与参考图3E和图3F提供的手势示例相比，即使当手指可穿戴设备320被定位成远离对象超过阈值距离(例如，在可视区域之外)，或者被定位在与不用于生成可显示内容的相机(例如，用于肢体跟踪的相机)相关联的可视区域之外时，电子设备310也可以基于手指操纵数据来操纵对象。例如，当用户50坐在沙发上时，将第一手部52和手指可穿戴设备320搁置在沙发的边缘上，使得用户50能够有更舒适的体验，从而可能减少来自手指可穿戴设备320的错误输入。

因此，如图3H至图3K中所示，电子设备310基于语音检测指示符值和来自手指可穿戴设备320的手指操作信息来注册关于计算机生成的足球330和计算机生成的篮球334的参与事件。即，参与事件包括基于语音检测指示符值对计算机生成的足球330和计算机生成的篮球334的消歧(例如，选择)，以及基于手指操纵值对消歧的对象的操纵。

图3L至图3P示出了同时(或几乎同时)利用肢体跟踪和手指操纵数据的组合以便注册参与事件的电子设备310的示例。本领域的技术人员将了解，在一些具体实施中，电子设备310可以同时(或几乎同时)利用附加的或不同的非系留输入(诸如眼睛跟踪、语音检测等)，以便注册参与事件。

如图3L中所示，显示器312包括具有手指可穿戴设备320的第一手部52的表示，并且还包括用户50的第二手部54的表示。电子设备310包括非系留输入检测***355，该非系留输入检测***自身包括肢体跟踪子***356。肢体跟踪子***356输出一个或多个肢体跟踪指示符值。肢体跟踪指示符值与非系留输入向量的肢体跟踪模态相关联。例如，肢体跟踪指示符值包括肢***置指示符值、肢体平稳度指示符值、肢体移动指示符值等的组合。例如，肢体跟踪子***356包括肢体跟踪传感器(例如，图1中的肢体跟踪传感器150)和肢体跟踪感测控制器(例如，图1中的肢体跟踪感测控制器180)。在一些具体实施中，肢体跟踪子***356执行各种计算机视觉技术(任选地借助于神经网络)以便标识用户50的第二手部54。例如，肢体跟踪子***356关于来自图像传感器的传递图像数据执行语义分割。

作为一个示例，参考图3L，肢体跟踪子***356确定与第二手部54相关联的肢***置指示符值，如肢体跟踪线357所指示的(仅出于说明性目的而示出)。肢***置指示符值与第二手部54的中指相关联，但本领域的普通技术人员将理解，肢体指示符值可以与第二手部54的不同手指或多个手指和/或第二手部54的基部(例如，手掌)相关联。

基于肢体跟踪指示符值，对象消歧器342对计算机生成的篮球334进行消歧。例如，在一些具体实施中，因为肢***置指示符值指示第二手部54的中指比其他两个计算机生成的对象更靠近计算机生成的篮球334，所以对象消歧器342对计算机生成的篮球334进行消歧。例如，如图3M中所示，电子设备310将计算机生成的篮球334的外观从具有实线改变为虚线，如第三线358所指示的。仅出于说明的目的示出了第三线358。如上所述，改变消歧对象的外观向用户50提供反馈。

如图3N中所示，第二手部54开始执行向左移动，同时(或几乎同时)手指可穿戴设备320在物理桌子302上执行轻击手势。第二手部54的向左移动由移动线359指示，并且轻击手势由轻击指示符360指示，这两者仅出于说明性的目的而示出。因此，电子设备310在(经由肢体跟踪子***356)检测第二手部54的向左移动时从手指可穿戴设备320获得指示轻击手势的手指操纵数据。

如图3O中所示，第二手部54大约在完成向左移动的中途，而手指可佩戴件320已经完成轻击手势。肢体跟踪子***356相应地更新肢***置指示符值，并且将更新的肢***置指示符值输出到包括在电子设备310中的对象操纵器370。因此，对象操纵器370根据第二手部54的移动向左移动计算机生成的篮球334，如图3O中通过对象操纵线372(仅出于说明性的目的而示出)所示。此外，电子设备310基于手指操纵数据检测轻击手势。例如，在一些具体实施中，电子设备310基于来自手指可穿戴设备310的指示手指可穿戴设备310沿向下方向移动超过阈值距离的位置数据来检测轻击手势。作为另一示例，在一些具体实施中，电子设备310基于位置数据和接触强度数据的组合来检测轻击手势，该位置数据和接触强度数据指示穿戴手指可穿戴设备320的手指在物理桌子302上施加阈值量的力或压力，或者检测由用户50的手指在物理桌子302上施加的阈值量的力或压力。基于检测到轻击手势，对象操纵器370将计算机生成的篮球334的外观从在图3N中没有填充改变为在图3O中具有图案化填充。本领域的普通技术人员将理解，在一些具体实施中，响应于检测到由手指可穿戴设备320执行的特定手势，对象操纵器370以不同方式改变对象的外观，诸如调整对象的大小或移动对象。如图3P中所示，第二手部54完成向左移动。因此，对象操纵器370进一步向左移动图案化填充的计算机生成的篮球334。

图3Q至图3V示出了基于用户50对物理代理对象的对应的操纵来操纵计算机生成对象的示例。例如，如图3Q中所示，物理代理对象对应于位于物理桌子302上的物理汽车380。虽然物理汽车380被示出为呈现在显示器312中，但在一些具体实施中，物理汽车380可以不被显示或者不同的视觉表示(例如，幻影轮廓、不同形状等)可以被显示。根据各种具体实施，电子设备310接收非系留输入向量，并且使用该非系留输入向量以便跟踪物理汽车380。

为此，如图3R中所示，电子设备310包括非系留输入检测***382。非系留输入检测***382包括代理对象标识器384。代理对象标识器384输出与代理对象跟踪模态相关联的一个或多个代理对象跟踪指示符值。代理对象标识器384确定与物理汽车380相关联的代理对象位置指示符值，如由代理对象跟踪线386(仅出于说明性目的而示出)所指示的。例如，代理对象标识器384关于图像数据执行计算机视觉技术，以便标识物理汽车380。

如图3R中进一步示出的，手指可穿戴设备320在与显示器312相关联的可视区域内移动。如以上所讨论的，手指可穿戴设备320可以生成包括传感器数据的手指操纵数据，诸如位置数据(例如，IMU数据或磁传感器数据)和接触强度数据(例如，干涉仪数据)。电子设备310经由通信接口从手指可穿戴设备320获得手指操纵数据。

如图3R中进一步示出的，当前选择计算机生成的立方体332，如由具有虚线边界的计算机生成的立方体332所指示的。例如，电子设备310经由参考图3C和图3D描述的眼睛跟踪来选择计算机生成的立方体332。在一些具体实施中，计算机生成的立方体332可改为基于物理汽车380在距计算机生成的立方体332的阈值距离内来选择。

在一些具体实施中，电子设备310基于手指操纵数据和代理对象跟踪将物理代理对象与特定的计算机生成的对象相关联。当物理代理对象与特定的计算机生成的对象相关联时，电子设备310可基于物理代理对象的对应的操纵(例如，旋转、平移移动等)来操纵特定的计算机生成的对象。例如，参考图3S和图3T，手指可穿戴设备320向左朝向物理汽车380移动，如由移动线388(仅出于说明性目的而示出)所指示的。在向左移动之后，手指可穿戴设备320满足与物理汽车380相关联的接近度阈值。即，手指可穿戴设备320满足接近度阈值，因为手指操纵数据指示手指可穿戴设备320距接近度线390的距离小于阈值距离，如图3S和图3T中所指示的。仅出于说明性的目的而示出了接近度线390。在一些具体实施中，接近度阈值可以表示用户50正在握持代理对象的值。在一些具体实施中，可以使用其他接近度阈值。

在一些具体实施中，基于满足接近度阈值的手指可穿戴设备320和来自用户50的输入(例如，指示轻击或捏合手势的手指操纵数据的接触强度数据)，电子设备310将物理汽车380与所选择的计算机生成的对象(例如，计算机生成的立方体332)相关联。例如，当用户50抓持物理汽车380，将物理汽车380带到距计算机生成的立方体332的阈值距离内，并且在用户50的拇指和食指之间捏合物理汽车380时，物理汽车380可以与计算机生成的立方体332相关联。在一些具体实施中，当手指可穿戴设备320满足接近度阈值达至少阈值时间量时，电子设备310将物理汽车380与计算机生成的立方体332相关联。

如图3U和图3V中所示，当物理汽车380与计算机生成的立方体332相关联时，电子设备310基于物理汽车380的对应操纵来操纵计算机生成的立方体332。电子设备310利用由代理对象标识器384输出的一个或多个代理对象跟踪指示符值，以便操纵计算机生成的立方体332。例如，如图3U中所示，当第一手部52接触(例如，捏合)物理汽车380时，第一手部52逆时针旋转，如由逆时针指示符392(仅出于说明性目的而示出)所指示的。因此，如图3V所示，物理汽车380逆时针旋转，并且电子设备310相应地逆时针旋转计算机生成立方体332。

在一些具体实施中，物理代理对象(例如，物理汽车380)可以基于手指操纵数据与计算机生成的对象(例如，计算机生成的立方体332)解除关联。例如，响应于确定接触强度数据指示用户50不再执行捏合手势，电子设备310将代理对象与计算机生成的对象解除关联，使得物理代理对象的移动不再影响计算机生成的对象。作为另一示例，响应于确定手指操纵数据指示用户50正在执行另一捏合/轻击手势，电子设备310将代理对象与计算机生成的对象解除关联。

通过使用物理代理对象，用户50体验与保持和操纵物理代理对象相关联的触觉反馈，从而与纯肢体跟踪***相比提供增强的用户体验。此外，物理代理对象跟踪使得用户50能够操纵任何类型的物理对象以便操纵计算机生成的对象。另外，经由物理代理对象的操纵使得用户50能够避免与一些手持式控制器的使用相关联的不理想的角度。

在一些具体实施中，物理代理对象包括一个或多个传感器，诸如位置传感器和/或取向传感器。例如，一个或多个传感器输出由六个自由度(6DOF)信息表征的传感器数据。因此，除了或代替使用基于计算机视觉的物理代理对象跟踪，在一些具体实施中，当用户50操纵物理代理对象时，电子设备310基于来自物理代理对象的代理对象操纵数据(例如，传感器数据)操纵计算机生成的对象。

图4是根据一些具体实施的基于手指操纵数据和非系留输入来注册参与事件的***420的框图的示例。根据各种具体实施，***420或其部分被集成在电子设备(例如，电子设备100或电子设备310)中。

***420包括通信接口440(例如，图1中的通信接口190)，该通信接口被提供以与手指可穿戴设备410通信，并且任选地与包括传感器的物理代理对象411通信。在一些具体实施中，手指可穿戴设备410类似于图2中的手指可穿戴设备200或图3A至图3V中的手指可穿戴设备320中的一者并且从其修改而来。

***420经由通信接口440获得手指操纵数据412。在一些具体实施中，手指操纵数据412指示由手指可穿戴设备410执行的手势，诸如轻击手势、旋转手势、轻扫手势等等。为此，在一些具体实施中，***420包括基于手指操纵数据412确定手势的手势解释子***445。例如，手指操纵数据412包括与手指可穿戴设备410相关联的位置数据(例如，位置、取向、移动)和接触强度数据(例如，干涉仪数据)的组合，并且手势解释子***445基于手指操纵数据412确定手势。

在一些具体实施中，***420经由通信接口440从物理代理对象411获得代理对象操纵数据413。例如，在一些具体实施中，物理代理对象411包括一个或多个传感器，诸如取向/位置传感器(例如，IMU)。一个或多个传感器输出对应的传感器数据，***420经由通信接口440接收该数据。

***420包括输出非系留输入向量438的非系留输入检测***430。非系留输入向量438包括多个非系留输入指示符值。该多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联。为此，在各种具体实施中，非系留输入检测***430包括眼睛跟踪子***432、肢体跟踪子***434、语音检测子***436、代理对象标识器437等中的一个或多个。

眼睛跟踪子***432输出与眼睛跟踪模态相关联的一个或多个眼睛跟踪指示符值。例如，参考图5中示出的非系留输入向量500，一个或多个眼睛跟踪指示符值包括注视位置指示符值502a、注视强度指示符值502b和注视移动指示符值502c的组合，所有这些与眼睛跟踪模态512相关联。

肢体跟踪子***434输出与肢体跟踪模态相关联的一个或多个眼睛跟踪指示值。例如，参考非系留输入向量500，一个或多个肢体跟踪指示符值包括肢***置指示符值504a、肢体平稳度强度指示值504b和肢体移动指示符值504c的组合，所有这些与肢体跟踪模态514相关联。在一些具体实施中，肢体跟踪子***434执行计算机视觉技术以便标识用户的肢体。例如，在一些具体实施中，肢体跟踪子***434关于表示肢体的图像数据执行语义分割。

语音检测子***436输出与语音检测模态相关联的一个或多个语音检测指示符值。例如，参考非系留输入向量500，一个或多个语音检测指示符值包括语音内容指示符值506a、语音音调指示符值506b和语音幅度指示符值506c的组合，所有这些都与语音检测模态516相关联。

代理对象标识器437输出与代理对象跟踪模态相关联的一个或多个代理对象跟踪指示符值，该代理对象跟踪模态与物理代理对象相关联。例如，参考非系留输入向量500，代理对象跟踪指示符值包括代理对象位置指示符值508a和代理对象取向指示符值508b的组合，这两者都与代理对象跟踪模态518相关联。在一些具体实施中，代理对象标识器437执行计算机视觉技术以便标识物理代理对象。例如，在一些具体实施中，代理对象标识器437关于表示物理代理对象的图像数据执行语义分割。

***420包括参与事件检测器450。参与事件检测器450基于非系留输入向量438的至少一部分和手指操纵数据412来注册关于多个计算机生成的对象460中的第一计算机生成的对象的参与事件。参与事件可对应于对象的消歧、对象的消歧的确认、对象的操纵等的组合。为此，在一些具体实施中，参与事件检测器450包括对象消歧器452和对象操纵器454。对象消歧器452可以基于手指操纵数据412和非系留输入向量438的组合来对多个计算机生成的对象460中的一个或多个计算机生成的对象进行消歧。对象操纵器454可以基于手指操纵数据412和非系留输入向量438的组合来操纵(例如，经由显示器470改变其外观)多个计算机生成的对象460中的一个或多个计算机生成的对象。参考图3A至图3V描述了利用非系留输入向量438的一部分和手指操纵数据412来参与计算机生成的对象的各种示例。

在一些具体实施中，参与事件检测器450利用少于整个非系留输入向量438。例如，参与事件检测器450利用由眼睛跟踪子***432输出的眼睛跟踪指示符值和由肢体跟踪子***434输出的肢体跟踪指示符值，但不利用由语音检测子***436输出的语音检测指示符值。因此，在一些情况下，***420可以减少与处理某些非系留输入相关联的利用。另一方面，在一些具体实施中，参与事件检测器450利用整个非系留输入向量438，从而使得能够进行更大的用户控制。

图6是根据一些具体实施的基于手指操纵数据和不受限制的输入来注册参与事件的方法600的流程图的示例。在各种具体实施中，方法600或其部分由电子设备(例如，图1中的电子设备100、图3A至图3P中的电子设备310)执行。在各种具体实施中，方法600或其部分由头戴式设备(HMD)执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框602所表示，方法600包括在显示器上显示多个计算机生成的对象。例如，参考图3B，电子设备310在显示器312上显示计算机生成的足球330、计算机生成的立方体332和计算机生成的篮球334。

如框604所表示的，方法600包括经由非系留输入检测***接收包括多个非系留输入指示符值的非系留输入向量。例如，参考图4，非系留输入检测***对应于非系留输入检测***430。作为另一示例，如参考图3A至图3P所述，电子设备310接收各种非系留指示符值。如框606所表示的，多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联。例如，参考图5，多个非系留输入模态包括眼睛跟踪模态512、肢体跟踪模态514和语音检测模态516的组合。

如框608所表示的，方法600包括经由通信接口从手指可穿戴设备获得手指操纵数据。例如，参考图3A至图3P，电子设备310从手指可穿戴设备320获得各种类型的手指操纵数据。手指操纵数据可指示手指可穿戴设备的在性能阈值内的位置(例如，6个自由度)和接触强度(例如，力或压力)信息。在一些具体实施中，如框610所表示的，手指操纵数据指示由手指可穿戴设备执行的手势。例如，图2中的手势解释***236和图4中的手势解释子***445独立地或一起操作以便基于手指操纵数据确定(例如，标识)手势。

在一些具体实施中，如框612所表示的，手指操纵数据对应于与集成在手指可穿戴设备内的一个或多个传感器相关联的传感器数据。例如，在一些具体实施中，传感器数据包括从集成在手指可穿戴设备中的一个或多个位置传感器输出的位置数据。作为一个示例，位置数据指示手指可穿戴设备的旋转移动或平移移动，如图3E、图3F、图3J和图3K中所示出。位置数据可包括与集成在手指可穿戴设备内的惯性测量单元(IMU)相关联的IMU数据(例如，3D旋转数据)。位置数据还可包括与集成在手指可穿戴设备内的磁传感器相关联的磁传感器数据(例如，3D位置数据)，其中磁传感器感测弱磁场。

作为另一示例，在一些具体实施中，传感器数据包括从集成在手指可穿戴设备中的接触强度传感器输出的接触强度数据，诸如结合图3N和图3O中所示出的物理桌子302上的轻击手势360。作为一个示例，接触强度数据包括指示与由手指可穿戴设备执行的手势相关联的轻击压力的干涉仪数据。该干涉仪数据来自集成在手指可穿戴设备内的干涉仪。例如，干涉仪数据指示与穿戴手指可穿戴设备、接触物理对象的手指相关联的压力水平。作为一个示例，当手指接触物理表面时，手指可穿戴设备(例如，经由接触强度传感器)感测指腹的偏转。因此，本文所公开的各种具体实施使得用户能够感觉到用户正与之交互的物理表面(以及该物理表面的纹理)。

作为又一示例，在一些具体实施中，传感器数据包括位置数据与接触强度数据的组合。

如框614所表示的，方法600包括基于非系留输入向量的至少一部分和手指操纵数据来注册关于多个计算机生成的对象中的第一计算机生成的对象的参与事件。在一些具体实施中，注册参与事件基于整个非系留输入向量。在一些具体实施中，注册参与事件基于小于整个非系留输入向量。

如框616所表示的，在一些具体实施中，注册参与事件包括基于非系留输入向量的部分对多个计算机生成的对象中的第一计算机生成的对象进行消歧。在一些具体实施中，由图4中所示出的对象消歧器452执行消歧。例如，参考图3C至图3G，电子设备310基于包括在非系留输入向量中的眼睛跟踪指示符值来对计算机生成的立方体332进行消歧。作为另一示例，参考图3H和图3I，电子设备310基于与讲话“选择球”348相关联的语音检测指示符值来对计算机生成的足球330和计算机生成的篮球334进行消歧。作为又一示例，参考图3L和图3M，电子设备310基于与用户50的第二手部54相关联的肢体跟踪指示符值来对计算机生成的篮球334进行消歧。

在一些具体实施中，对多个计算机生成的对象中的第一计算机生成的对象进行消歧基于接近度阈值和/或时间阈值。为此，方法600包括基于非系留输入向量的部分来确定相应的位置。对多个计算机生成的对象中的第一计算机生成的对象进行消歧包括确定相应的位置满足关于多个计算机生成的对象中的第一计算机生成的对象的接近度阈值。例如，电子设备确定位置指示符值(例如，肢***置指示符值或眼睛注视指示符值)指示用户的手部或用户的眼睛注视的位置聚焦于显示器的接近多个计算机生成的对象中的第一计算机生成的对象的位置上。在一些具体实施中，对多个计算机生成的对象中的第一计算机生成的对象进行消歧包括确定相应的位置满足接近度阈值达阈值时间量。

如框618所表示的，在一些具体实施中，注册参与事件包括确认多个计算机生成的对象中的第一计算机生成的对象的消歧。例如，在基于眼睛跟踪指示符值来对特定的计算机生成的对象进行消歧之后，电子设备显示示能表示以实现对消歧的确认。继续该示例，示能表示可包括对应于“你正在看漂浮的篮球，请双击以确认选择篮球。”的文本。

如框620所表示的，在一些具体实施中，注册参与事件包括操纵多个计算机生成的对象中的第一计算机生成的对象。在一些具体实施中，操纵由图4中示出的对象操纵器454执行。例如，操纵可包括移动、旋转、调整大小、改变外观、(例如，沿轴线)平移、停止显示等中的一种或多种。作为一个示例，参考图3E和图3F，响应于指示旋转手势的手指操纵数据，电子设备310相应地旋转计算机生成的立方体332。作为另一示例，参考图3N和图3O，响应于指示轻击手势360的手指操纵数据，电子设备310改变计算机生成的篮球334的颜色。作为又一示例，参考图3N至图3P，响应于指示用户50的第二手部54的向左移动(如移动线359所指示的)的肢体指示符值，电子设备310相应地向左移动计算机生成的篮球334。

图7是根据一些具体实施的基于手指操纵数据、非系留输入和代理对象操纵数据来注册参与事件的方法700的流程图的示例。在各种具体实施中，方法700或其部分由电子设备(例如，图1中的电子设备100、图3A至图3V中的电子设备310)执行。在各种具体实施中，方法700或其部分由头戴式设备(HMD)执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法700中的一些操作任选地被组合，一些操作的顺序任选地被改变，并且一些操作任选地被省略。

如框702所表示，方法700包括在显示器上显示多个计算机生成的对象。例如，参考图3B，电子设备310在显示器312上显示计算机生成的足球330、计算机生成的立方体332和计算机生成的篮球334。

如框704所表示的，方法700包括经由非系留输入检测***接收包括多个非系留输入指示符值的非系留输入向量。例如，参考图4，非系留输入检测***对应于非系留输入检测***430。作为另一示例，如参考图3A至图3V所述，电子设备310接收各种非系留指示符值。如框706所表示的，多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联。例如，参考图5，多个非系留输入模态包括眼睛跟踪模态512、肢体跟踪模态514、语音检测模态516和代理对象跟踪模态518的组合。作为一个示例，参考图3R至图3V，电子设备310经由代理对象标识器384获得一个或多个代理对象跟踪指示符值。此外，电子设备310基于一个或多个代理对象跟踪指示符值来标识物理汽车380。

如框707所表示的，在一些具体实施中，该方法700包括经由通信接口从物理代理对象获得代理对象操纵数据。例如，参考图3Q至图3V，当物理代理对象380包括传感器时，电子设备310从物理代理对象380获得各种类型的代理对象操纵数据。代理对象操纵数据可指示与物理代理设备相关联的在性能阈值内的位置(例如，6个自由度(DOF))信息。在一些具体实施中，基于获得代理对象操纵数据，方法700放弃接收非系留输入向量(该非系留输入向量由框704表示)。

如框708所表示的，方法700包括经由通信接口从手指可穿戴设备获得手指操纵数据。例如，参考图3A至图3V，电子设备310从手指可穿戴设备320获得各种类型的手指操纵数据。手指操纵数据可指示手指可穿戴设备的在性能阈值内的位置(例如，6个自由度)和接触强度(例如，力或压力)信息。在一些具体实施中，如框710所表示的，手指操纵数据指示由手指可穿戴设备执行的手势。例如，图2中的手势解释***236和图4中的手势解释子***445独立地或一起操作以便基于手指操纵数据确定(例如，标识)手势。

在一些具体实施中，如框712所表示的，手指操纵数据对应于与集成在手指可穿戴设备内的一个或多个传感器相关联的传感器数据。例如，在一些具体实施中，传感器数据包括从集成在手指可穿戴设备中的一个或多个位置传感器输出的位置数据。作为一个示例，位置数据指示手指可穿戴设备的旋转移动或平移移动，如图3E、图3F、图3J和图3K中所示出。位置数据可包括与集成在手指可穿戴设备内的惯性测量单元(IMU)相关联的IMU数据(例如，3D旋转数据)。位置数据还可包括与集成在手指可穿戴设备内的磁传感器相关联的磁传感器数据(例如，3D位置数据)，其中磁传感器感测弱磁场。

作为另一示例，在一些具体实施中，传感器数据包括从集成在手指可穿戴设备中的接触强度传感器输出的接触强度数据，诸如结合图3N和图3O中所示出的物理桌子302上的轻击手势360。作为一个示例，接触强度数据包括指示与由手指可穿戴设备执行的手势相关联的轻击压力的干涉仪数据。该干涉仪数据来自集成在手指可穿戴设备内的干涉仪。例如，干涉仪数据指示与穿戴手指可穿戴设备、接触物理对象的手指相关联的压力水平。作为一个示例，当手指接触物理表面时，手指可穿戴设备(例如，经由接触强度传感器)感测指腹的偏转。因此，本文所公开的各种具体实施使得用户能够感觉到用户正与之交互的物理表面(以及该物理表面的纹理)。

作为又一示例，在一些具体实施中，传感器数据包括位置数据与接触强度数据的组合。

如框714所表示的，方法700包括基于代理对象操纵数据的至少一部分、非系留输入向量的一部分、手指操纵数据或它们的组合来注册关于多个计算机生成的对象中的第一计算机生成的对象的参与事件。在一些具体实施中，注册参与事件基于整个非系留输入向量。在一些具体实施中，注册参与事件基于少于整个非系留输入向量。在一些具体实施中，注册参与事件仅基于代理对象操纵数据和手指操纵数据，并且因此独立于非系留输入向量。

如框716所表示的，在一些具体实施中，注册参与事件包括基于非系留输入向量的部分对多个计算机生成的对象中的第一计算机生成的对象进行消歧。在一些具体实施中，由图4中所示出的对象消歧器452执行消歧。例如，参考图3C至图3G，电子设备310基于包括在非系留输入向量中的眼睛跟踪指示符值来对计算机生成的立方体332进行消歧。作为另一示例，参考图3H和图3I，电子设备310基于与讲话“选择球”348相关联的语音检测指示符值来对计算机生成的足球330和计算机生成的篮球334进行消歧。作为又一示例，参考图3L和图3M，电子设备310基于与用户50的第二手部54相关联的肢体跟踪指示符值来对计算机生成的篮球334进行消歧。

在一些具体实施中，对多个计算机生成的对象中的第一计算机生成的对象进行消歧基于接近度阈值和/或时间阈值。为此，方法700包括基于非系留输入向量的部分来确定相应的位置。对多个计算机生成的对象中的第一计算机生成的对象进行消歧包括确定相应的位置满足关于多个计算机生成的对象中的第一计算机生成的对象的接近度阈值。例如，电子设备确定位置指示符值(例如，肢***置指示符值或眼睛注视指示符值)指示用户的手部或用户的眼睛注视的位置聚焦于显示器的接近多个计算机生成的对象中的第一计算机生成的对象的位置上。在一些具体实施中，对多个计算机生成的对象中的第一计算机生成的对象进行消歧包括确定相应的位置满足接近度阈值达阈值时间量。

如框718所表示的，在一些具体实施中，注册参与事件包括确认多个计算机生成的对象中的第一计算机生成的对象的消歧。例如，在基于眼睛跟踪指示符值来对特定的计算机生成的对象进行消歧之后，电子设备显示示能表示以实现对消歧的确认。继续该示例，示能表示可包括对应于“你正在看漂浮的篮球，请双击以确认选择篮球。”的文本。

如框720所表示的，在一些具体实施中，注册参与事件包括操纵多个计算机生成的对象中的第一计算机生成的对象。在一些具体实施中，操纵由图4中示出的对象操纵器454执行。例如，操纵可包括移动、旋转、调整大小、改变外观、(例如，沿轴线)平移、停止显示等中的一种或多种。作为一个示例，参考图3E和图3F，响应于指示旋转手势的手指操纵数据，电子设备310相应地旋转计算机生成的立方体332。作为另一示例，参考图3N和图3O，响应于指示轻击手势360的手指操纵数据，电子设备310改变计算机生成的篮球334的颜色。作为又一示例，参考图3N至图3P，响应于指示用户50的第二手部54的向左移动(如移动线359所指示的)的肢体指示符值，电子设备310相应地向左移动计算机生成的篮球334。作为又一示例，参考图3R至图3V，基于手指操纵数据、代理对象跟踪和/或代理对象操纵数据的组合，电子设备310将物理汽车380与计算机生成的立方体332相关联，并且基于物理汽车380的对应的操纵(例如，旋转、沿轴线的平移移动等)来操纵计算机生成的立方体332。在一些具体实施中，物理代理对象包括向电子设备310输出代理对象操纵数据的一个或多个传感器，该电子设备继而操纵当前选择的计算机生成的对象。

本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。

本文所述的一些或所有方法和任务可由计算机***执行和完全自动化。在一些情况下，计算机***可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机***的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机***包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和***，并且不限于上述方法和***，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和***可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和***的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims (48)

1.一种方法，包括：

在具有一个或多个处理器、非暂态存储器、显示器、非系留输入检测***和被提供以与手指可穿戴设备通信的通信接口的电子设备处：

在所述显示器上显示多个计算机生成的对象；

经由所述非系留输入检测***接收包括多个非系留输入指示符值的非系留输入向量，其中所述多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联；

经由所述通信接口从所述手指可穿戴设备获得手指操纵数据；以及

基于所述非系留输入向量的至少一部分和所述手指操纵数据来注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。

2.根据权利要求1所述的方法，其中注册所述参与事件基于整个所述非系留输入向量。

3.根据权利要求1或2中任一项所述的方法，其中注册所述参与事件包括基于所述非系留输入向量的所述部分对所述多个计算机生成的对象中的所述第一计算机生成的对象进行消歧。

4.根据权利要求3所述的方法，还包括基于所述非系留输入向量的所述部分来确定相应的位置，其中对所述多个计算机生成的对象中的所述第一计算机生成的对象进行消歧包括确定所述相应的位置满足关于所述多个计算机生成的对象中的所述第一计算机生成的对象的接近度阈值。

5.根据权利要求4所述的方法，其中确定所述相应的位置满足所述接近度阈值达阈值时间量。

6.根据权利要求1至5中任一项所述的方法，其中所述非系留输入检测***包括输出一个或多个眼睛跟踪指示符值的眼睛跟踪子***，其中所述一个或多个眼睛跟踪指示符值与所述多个非系留输入模态中的眼睛跟踪模态相关联，并且其中注册所述参与事件基于所述一个或多个眼睛跟踪指示符值。

7.根据权利要求1至6中任一项所述的方法，其中所述非系留输入检测***包括输出一个或多个肢体跟踪指示符值的肢体跟踪子***，其中所述一个或多个肢体跟踪指示符值与所述多个非系留输入模态中的肢体跟踪模态相关联，并且其中注册所述参与事件基于所述一个或多个肢体跟踪指示符值。

8.根据权利要求1至7中任一项所述的方法，其中所述非系留输入检测***包括输出一个或多个语音检测指示符值的语音检测子***，其中所述一个或多个语音检测指示符值与所述多个非系留输入模态中的语音检测模态相关联，并且其中注册所述参与事件基于所述一个或多个语音检测指示符值。

9.根据权利要求1至8中任一项所述的方法，其中所述手指操纵数据指示经由所述手指可穿戴设备执行的手势。

10.根据权利要求1至9中任一项所述的方法，其中注册所述参与事件包括确认对所述多个计算机生成的对象中的所述第一计算机生成的对象的选择。

11.根据权利要求1至10中任一项所述的方法，其中注册所述参与事件包括操纵所述多个计算机生成的对象中的所述第一计算机生成的对象。

12.根据权利要求11所述的方法，其中操纵所述多个计算机生成的对象中的所述第一计算机生成的对象基于所述手指操纵数据。

13.根据权利要求12所述的方法，其中操纵所述多个计算机生成的对象中的所述第一计算机生成的对象是响应于确定所述手指操纵数据指示特定的手势类型。

14.根据权利要求11所述的方法，其中操纵所述多个计算机生成的对象中的所述第一计算机生成的对象基于从肢体跟踪子***输出的一个或多个肢体跟踪指示符值，并且其中所述肢体跟踪子***被包括在所述非系留输入检测***中。

15.根据权利要求1至14中任一项所述的方法，其中所述手指操纵数据对应于与集成在所述手指可穿戴设备内的一个或多个传感器相关联的传感器数据。

16.根据权利要求15所述的方法，其中所述传感器数据包括从集成在所述手指可穿戴设备中的一个或多个位置传感器输出的位置数据。

17.根据权利要求15至16中任一项所述的方法，其中所述传感器数据包括从集成在所述手指可穿戴设备中的接触强度传感器输出的接触强度数据。

18.根据权利要求1至17中任一项所述的方法，其中所述电子设备对应于头戴式设备(HMD)。

19.根据权利要求1至18中任一项所述的方法，还包括基于所述非系留输入向量来标识物理代理对象。

20.根据权利要求19所述的方法，其中所述非系留输入检测***包括代理对象标识器，所述代理对象标识器输出一个或多个代理对象跟踪指示符值，并且其中标识所述物理代理对象基于所述一个或多个代理对象跟踪指示符值。

21.根据权利要求19或20中任一项所述的方法，其中注册关于所述多个计算机生成的对象中的所述第一计算机生成的对象的所述参与事件包括将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联。

22.根据权利要求21所述的方法，其中将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联包括：

基于所述一个或多个代理对象跟踪指示符值来获得代理对象位置；以及

确定所述手指操纵数据指示在所述代理对象位置满足关于所述多个计算机生成的对象中的所述第一计算机生成的对象的接近度阈值时经由所述手指可穿戴设备执行的手势。

23.根据权利要求21所述的方法，其中所述非系留输入检测***包括输出一个或多个肢体跟踪指示符值的肢体跟踪子***，并且其中将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联还基于所述一个或多个肢体跟踪指示符值。

24.根据权利要求23所述的方法，其中将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联包括：

基于所述一个或多个肢体跟踪指示符值来获得肢***置；

基于所述一个或多个代理对象跟踪指示符值来获得代理对象位置；以及

确定所述肢***置满足关于所述代理对象位置的接近度阈值。

25.根据权利要求24所述的方法，其中将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联包括确定所述肢***置满足关于所述代理对象位置的所述接近度阈值达至少阈值时间量。

26.根据权利要求19至25中任一项所述的方法，还包括基于所述一个或多个代理对象跟踪指示符值来确定所述物理代理对象的位置变化，并且其中注册关于所述多个计算机生成的对象中的所述第一计算机生成的对象的所述参与事件包括基于所述位置变化来操纵所述多个计算机生成的对象中的所述第一计算机生成的对象。

27.根据权利要求19至26中任一项所述的方法，其中所述通信接口被提供以与所述物理代理对象通信，所述方法还包括经由所述通信接口从所述物理代理对象获得代理对象操纵数据，其中注册关于所述多个计算机生成的对象中的所述第一计算机生成的对象的所述参与事件包括基于所述代理对象操纵数据操纵所述多个计算机生成的对象中的所述第一计算机生成的对象。

28.根据权利要求19至27中任一项所述的方法，其中所述代理对象操纵数据对应于与集成在所述物理代理对象内的一个或多个传感器相关联的传感器数据。

29.根据权利要求28所述的方法，其中所述传感器数据包括从集成在所述物理代理对象中的一个或多个位置传感器输出的位置数据。

30.根据权利要求1至29中任一项所述的方法，其中在没有控制器的情况下接收所述非系留输入向量。

31.一种***，包括：

一个或多个处理器；

非暂态存储器；

显示器，所述显示器用于显示多个计算机生成的对象；

非系留输入检测***，所述非系留输入检测***用于接收包括多个非系留输入指示符值的非系留输入向量，其中所述多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联；

通信接口，所述通信接口用于从手指可穿戴设备获得手指操纵数据；以及

参与事件检测器，所述参与事件检测器用于基于所述非系留输入向量的至少一部分和所述手指操纵数据来注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。

32.根据权利要求31所述的***，其中所述手指操纵数据对应于与集成在所述手指可穿戴设备内的一个或多个传感器相关联的传感器数据。

33.根据权利要求32所述的***，其中所述传感器数据包括从集成在所述手指可穿戴设备中的一个或多个位置传感器输出的位置数据。

34.根据权利要求31至33中任一项所述的***，其中所述传感器数据包括从集成在所述手指可穿戴设备中的接触强度传感器输出的接触强度数据。

35.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有一个或多个处理器、显示器、非系留输入检测***和被提供以与手指可穿戴设备通信的通信接口的电子设备执行时，使得所述电子设备执行以下操作：

在所述显示器上显示多个计算机生成的对象；

经由所述非系留输入检测***接收包括多个非系留输入指示符值的非系留输入向量，其中所述多个非系留输入指示符值中的每一个值与多个非系留输入模态中的一个模态相关联；

经由所述通信接口从所述手指可穿戴设备获得手指操纵数据；以及

基于所述非系留输入向量的至少一部分和所述手指操纵数据来注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。

36.一种方法，包括：

在具有一个或多个处理器、非暂态存储器、显示器和被提供以与手指可穿戴设备和物理代理对象通信的通信接口的电子设备处：

在所述显示器上显示多个计算机生成的对象；

经由所述通信接口从所述物理代理对象获得代理对象操纵数据，其中所述代理对象操纵数据对应于与集成在所述物理代理对象中的一个或多个传感器相关联的传感器数据；

经由所述通信接口从所述手指可穿戴设备获得手指操纵数据；以及

基于所述代理对象操纵数据的至少一部分和所述手指操纵数据来注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。

37.根据权利要求36所述的方法，其中所述手指操纵数据指示经由所述手指可穿戴设备执行的手势。

38.根据权利要求36或37中任一项所述的方法，其中所述手指操纵数据对应于与集成在所述手指可穿戴设备中的一个或多个传感器相关联的传感器数据。

39.根据权利要求38所述的方法，其中所述传感器数据包括从集成在所述手指可穿戴设备中的一个或多个位置传感器输出的位置数据。

40.根据权利要求38或39中任一项所述的方法，其中所述传感器数据包括从集成在所述手指可穿戴设备中的接触强度传感器输出的接触强度数据。

41.根据权利要求36至40中任一项所述的方法，其中所述电子设备对应于头戴式设备(HMD)。

42.根据权利要求36至41中任一项所述的方法，其中注册关于所述多个计算机生成的对象中的所述第一计算机生成的对象的所述参与事件包括将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联。

43.根据权利要求42所述的方法，其中将所述物理代理对象与所述多个计算机生成的对象中的所述第一计算机生成的对象相关联包括：

基于所述代理对象操纵数据来获得代理对象位置；以及

确定所述手指操纵数据指示在所述代理对象位置满足关于所述多个计算机生成的对象中的所述第一计算机生成的对象的接近度阈值时经由所述手指可穿戴设备执行的手势。

44.根据权利要求36至43中任一项所述的方法，还包括基于所述代理对象操纵数据确定所述物理代理对象的位置变化，并且其中注册关于所述多个计算机生成的对象中的所述第一计算机生成的对象的所述参与事件包括基于所述位置变化来操纵所述多个计算机生成的对象中的所述第一计算机生成的对象。

45.根据权利要求36至44中任一项所述的方法，其中所述代理对象操纵数据对应于与集成在所述物理代理对象中的一个或多个传感器相关联的传感器数据。

46.根据权利要求45所述的方法，其中所述传感器数据包括从集成在所述物理代理对象中的一个或多个位置传感器输出的位置数据。

47.一种***，包括：

一个或多个处理器；

非暂态存储器；

显示器，所述显示器用于显示多个计算机生成的对象；

通信接口，所述通信接口用于从手指可穿戴设备获得手指操纵数据，并且从物理代理对象获得代理对象操纵数据，其中所述代理对象操纵数据对应于与集成在所述物理代理对象中的一个或多个传感器相关联的传感器数据；以及

参与事件检测器，所述参与事件检测器用于基于所述代理对象操纵数据的至少一部分和所述手指操纵数据注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。

48.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有一个或多个处理器、显示器和被提供以与手指可穿戴设备和物理代理对象通信的通信接口的电子设备执行时，使得所述电子设备：

在所述显示器上显示多个计算机生成的对象；

经由所述通信接口从所述物理代理对象获得代理对象操纵数据，其中所述代理对象操纵数据对应于与集成在所述物理代理对象中的一个或多个传感器相关联的传感器数据；

经由所述通信接口从所述手指可穿戴设备获得手指操纵数据；以及

基于所述代理对象操纵数据的至少一部分和所述手指操纵数据来注册关于所述多个计算机生成的对象中的第一计算机生成的对象的参与事件。