CN117980870A - 经由触控板的计算机生成的表示进行内容操纵 - Google Patents

Abstract

一种方法包括基于来自眼睛***的眼睛跟踪数据来确定内容操纵区域内的第一注视位置。该方法包括基于来自空间选择器***的空间选择器数据来确定与物理表面相关联的选择点。该方法包括基于第一注视位置和选择点来显示物理表面上的触控板的计算机生成的表示。在一些具体实施中，一种方法包括显示用户界面，该用户界面包括多个内容操纵区域、分别与该多个内容操纵区域相关联的多个示能表示以及触控板的计算机生成的表示。该方法包括经由空间选择器***检测指向与第一内容操纵区域相关联的第一示能表示的输入。该方法包括基于输入将触控板的计算机生成的表示与第一内容操纵区域相关联。

Description

经由触控板的计算机生成的表示进行内容操纵

技术领域

本公开涉及内容操纵，并且具体地涉及基于指向计算机生成的区域的输入进行内容操纵。

背景技术

电子设备可使得能够基于来自集成输入***的输入(诸如肢体跟踪输入)来操纵所显示的内容。利用来自集成输入***的输入来操纵内容引入了许多问题。例如，当物理对象遮挡用户的肢体的一部分时，肢体跟踪输入的可靠性相应地降低。作为另一示例，相对于显示器具有相对高深度的内容(诸如位于场景背景中的虚拟对象)对于用户而言可能难以操纵，从而引入了跟踪不准确性。

发明内容

根据一些具体实施，在具有非暂态存储器、一个或多个处理器、眼睛***、空间选择器***和显示器的电子设备处执行一种方法。该方法包括显示内容操纵区域。该方法包括基于来自眼睛***的眼睛跟踪数据来确定内容操纵区域内的第一注视位置。该方法包括基于来自空间选择器***的空间选择器数据来确定与物理表面相关联的选择点。该方法包括显示处于物理表面上的放置地点处的触控板的计算机生成的表示。放置地点是基于第一注视位置和选择点。

根据一些具体实施，在具有非暂态存储器、一个或多个处理器、空间选择器***和显示器的电子设备处执行一种方法。该方法包括显示用户界面，该用户界面包括多个内容操纵区域、分别与该多个内容操纵区域相关联的多个示能表示以及触控板的计算机生成的表示。该方法包括当显示用户界面时，经由空间选择器***检测指向多个示能表示中的第一示能表示的输入。第一示能表示与多个内容操纵区域中的第一内容操纵区域相关联。该方法包括响应于接收到输入，将触控板的该计算机生成的表示与第一内容操纵区域相关联。

根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器、显示器、空间选择器***和任选的眼睛***。一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是根据一些具体实施的电子设备的示例的框图。

图2是根据一些具体实施的配对输入设备的示例的框图。

图3A至图3U是根据一些具体实施的基于眼睛跟踪数据和空间选择器数据来定位触控板的计算机生成的表示的示例。

图4A至图4J是根据一些具体实施的利用触控板的计算机生成的表示来操纵对应内容操纵区域内的相应内容的示例。

图5是根据一些具体实施的基于眼睛跟踪数据和空间选择器数据来定位触控板的计算机生成的表示的方法的流程图的示例。

图6是根据一些具体实施的利用触控板的计算机生成的表示来操纵对应内容操纵区域内的相应内容的方法的流程图的示例。

具体实施方式

包括集成输入***的电子设备可基于来自集成输入***的输入来操纵计算机生成的对象的显示。例如，集成输入***包括肢体跟踪输入***和/或眼睛跟踪输入***。作为一个示例，基于来自肢体跟踪输入***的肢体跟踪输入，电子设备确定用户的对应肢体满足相对于特定的计算机生成的对象的接近度阈值。因此，电子设备基于肢体跟踪输入来操纵特定的计算机生成的对象。然而，利用来自集成输入***的输入来操纵计算机生成的对象引入了许多问题。例如，当物理对象遮挡(例如，阻挡)用户肢体的一部分时，肢体跟踪输入的可靠性对应地降低。作为另一示例，用户眼睛的有限移动性和用户肢体的不稳定降低了与操纵计算机生成的对象相关联的效率。作为又一示例，相对于显示器具有相对高深度的计算机生成的对象(诸如位于场景背景中的计算机生成的对象)对于用户而言可能难以操纵，从而引入了肢体跟踪和眼睛跟踪不准确性。

相比之下，本文所公开的各种具体实施包括用于经由触控板的计算机生成的表示内的输入来操纵内容操纵区域内的内容的方法、电子设备和***。触控板的计算机生成的表示与物理表面相关联。此外，在一些具体实施中，触控板的计算机生成的表示基本上与内容操纵区域正交。例如，触控板的计算机生成的表示覆盖于物理桌子的表面上，并且内容操纵区域基本上与物理桌子的表面正交。作为一个示例，内容操纵区域在显示器上取向以便模拟真实世界的电视。在一些具体实施中，用户的肢体在物理桌面的包括触控板的计算机生成的表示的部分上绘制路径。基于检测到触控板的计算机生成的表示内的路径，电子设备在内容操纵区域内显示对应的覆盖图。物理桌面上的路径通常比直接在内容操纵区域内的对应路径更稳定，因为内容操纵区域未覆盖在物理表面上(例如，内容操纵区域是浮动的)。因此，对应的覆盖图更准确地反映用户的意图，从而导致较少的校正操作以及因此较少的资源(例如，处理器)利用。

根据各种具体实施，电子设备基于眼睛跟踪数据和空间选择器数据而显示处于物理表面上的放置地点处的触控板的计算机生成的表示。为此，电子设备基于眼睛跟踪数据来确定内容操纵区域内的第一注视位置。此外，电子设备基于空间选择器数据来确定选择点。选择点与物理表面相关联(例如，位于物理表面上)。在一些具体实施中，放置地点基于第一注视位置而从选择点偏移。例如，当用户注视着内容操纵区域的左上角时，用户将肢体(例如，用户的手指)定位在距物理桌子的表面小于阈值距离处或者将配对输入设备(例如，触笔)定位在距物理桌子的表面小于阈值距离处。基于执行计算机视觉和/或基于来自配对输入设备例的传感器数据，电子设备确定物理桌面上的选择点。空间选择器数据可指示用户的肢体的位置或者配对输入设备(例如，触笔)的位置。例如，选择点是与物理桌面的接触点，或者是在肢体/配对输入设备悬停在物理桌面上方时处于肢体/配对输入设备正下方的物理桌面上的点。因此，在一些具体实施中，电子设备基于第一注视位置而将触控板的计算机生成的表示显示为从选择点偏移。即，基于触控板的计算机生成的表示的放置地点，选择点被定位在触控板的计算机生成的表示的左上角附近，从而反映用户的指向内容操纵区域的左上角的注视。因此，触控板的计算机生成的表示内的输入的起始点大致对应于用户正注视着内容操纵区域内的何处，从而使得用户能够执行更直观和准确的内容操纵操作。

在一些具体实施中，配对输入设备能够由用户的手指佩戴。在一些具体实施中，电子设备基于来自配对输入设备的传感器数据以六个自由度(6DOF)跟踪手指。因此，即使在物理对象遮挡配对输入设备的一部分时，电子设备也继续从配对输入设备接收传感器数据。另一方面，在物理对象遮挡用户的肢体时，其他设备无法跟踪该肢体。在一些具体实施中，在手指接触物理表面时，配对输入设备感测(例如，经由压力传感器)手指垫的偏转。因此，本文所公开的各种具体实施使得用户能够感觉到用户正与之交互的物理表面(以及该物理表面的纹理)。

根据各种具体实施，当显示触控板的计算机生成的表示时，电子设备显示多个内容操纵区域。在一些具体实施中，多个内容操纵区域中的每个内容操纵区域与对应的应用程序相关联。例如，第一内容操纵区域包括绘图内容(绘图应用程序的一部分)，第二内容操纵区域包括网页内容(例如，网页浏览器应用程序的一部分)等等。此外，电子设备显示分别与多个内容操纵区域相关联的多个示能表示。例如，基于经由空间选择器***检测到选择特定示能表示的输入，电子设备将触控板的计算机生成的表示与特定内容操纵区域相关联。当触控板的计算机生成的表示与特定内容操纵区域相关联时，指向触控板的计算机生成的表示内的输入导致电子设备在特定内容操纵区域内执行对应的内容操纵操作。在一些具体实施中，当触控板的计算机生成的表示与第一内容操纵区域相关联时，用户可将内容(例如，对象)从第一内容操纵区域拖放到第二内容操纵区域。例如，触控板的计算机生成的表示内的输入选择第一内容操纵区域内的对象，并且该输入将该对象拖到与第二内容操纵区域相关联的示能表示内，从而导致粘贴对象操作。

现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

图1是根据一些具体实施的电子设备100的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、一个或多个处理单元(CPU)120、显示***112、惯性测量单元(IMU)130、图像传感器143(例如，相机)、接触强度传感器165、眼睛跟踪传感器164(例如，被包括在头戴式设备(HMD)内)、肢体跟踪传感器150等。在一些具体实施中，电子设备100对应于移动电话、平板计算机、膝上型计算机、可佩戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备100滑入或以其他方式附连到头戴式壳体)等中的一者。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。

显示***112提供电子设备100与用户之间的输入接口和输出接口。显示***112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。

显示***112可具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。显示***112(与存储器102中的任何相关联的模块和/或指令集一起)检测显示***112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在显示***112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，显示***112与用户之间的接触点对应于用户的手指或配对输入设备。

在一些具体实施中，显示***112对应于集成在头戴式设备(HMD)(诸如，AR眼镜)中的显示器。例如，显示***112包括立体显示器(例如，立体对显示器)，该立体显示器为佩戴HMD的用户的眼睛提供(例如，模拟)立体感视觉。

显示***112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。显示***112任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与显示***112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。

用户任选地使用任何合适的物体或附加物(诸如触笔、配对输入设备、手指等)来与显示***112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。

图像传感器143捕获静态图像和/或视频。在一些具体实施中，图像传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在HMD内。

接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的侧面上。

眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。

肢体跟踪传感器150获取指示用户的肢***置的肢体跟踪数据。例如，在一些具体实施中，肢体跟踪传感器150对应于获得指示特定对象内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中，肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。

在各种具体实施中，电子设备100包括隐私子***170，该隐私子***包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的空间选择器数据(例如，肢体跟踪数据)、眼睛注视数据和/或身***置数据中的用户信息。在一些具体实施中，隐私子***170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子***170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子***170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子***170从用户获取到知情同意。在一些具体实施中，隐私子***170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子***170接收指定隐私子***170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子***170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。

电子设备100包括通信接口190，该通信接口被设置成与配对输入设备(诸如图2中示出的配对输入设备200或者配对输入设备330)通信。例如，通信接口190对应于蓝牙接口、IEEE 802.11x接口、近场通信(NFC)接口等中的一者。根据各种具体实施，电子设备100经由通信接口190从配对输入设备获得传感器数据，如下面将进一步描述的。

图2是配对输入设备200的示例的框图，该配对输入设备为诸如触笔或手指可佩戴设备。配对输入设备200包括存储器202(其任选地包括一个或多个计算机可读存储介质)、存储器控制器222、一个或多个处理单元(CPU)220、***设备接口218、RF电路208和输入/输出(I/O)子***206。这些部件任选地通过一个或多个通信总线或信号线203进行通信。本领域的普通技术人员将理解，图2中所示的配对输入设备200是配对输入设备的一个示例，并且配对输入设备200任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有部件的不同配置或布置。图2中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。

配对输入设备200包括用于为各种部件供电的电力***262。电力***262任选地包括电力管理***、一个或多个电源(例如，电池、交流电(AC))、再充电***、电力故障检测电路、功率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))，以及与便携式设备和/或便携式附件中电力的生成、管理和分配相关联的任何其他部件。

存储器202任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个闪存存储器设备或其他非易失性固态存储器设备。配对输入设备200的其他部件(诸如CPU 220和***设备接口218)对存储器202的访问任选地由存储器控制器222来控制。

***设备接口218可用于将配对输入设备200的输入和输出***设备耦接到CPU220和存储器202。一个或多个处理器220运行或执行存储器202中所存储的各种软件程序和/或指令集以执行配对输入设备200的各种功能并且处理数据。

在一些具体实施中，***设备接口218、CPU 220和存储器控制器222任选地在单个芯片诸如芯片204上实现。在一些具体实施中，它们在独立的芯片上实现。

RF(射频)电路208接收和发送也被称作电磁信号的RF信号。RF电路208将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与电子设备100或电子设备310、通信网络和/或其他通信设备进行通信。RF电路208任选地包括用于执行这些功能的熟知的电路，包括但不限于天线***、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路208任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和/或技术中的任一者，包括但不限于全球移动通信***(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。

I/O子***206将配对输入设备200上的输入/输出***设备(诸如其他输入或控制设备216)与***设备接口218耦接。I/O子***206任选地包括一个或多个位置传感器控制器258、一个或多个压力传感器控制器259、触觉反馈控制器261和用于其他输入或控制设备的一个或多个其他输入控制器260。一个或多个其他输入控制器260从其他输入或控制设备216接收电信号/将电信号发送到所述其他输入或控制设备。其他输入或控制设备216任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、点击轮等。在一些具体实施中，其他输入控制器260任选地耦接到以下各项中的任一者(或不耦接到以下各项中的任一者)：红外线端口和/或USB端口。

在一些具体实施中，配对输入设备200包括输出与配对输入设备200相关联的位置数据的一个或多个位置传感器266。位置数据指示配对输入设备200的位置、取向或移动，诸如配对输入设备200的旋转移动或平移移动。例如，位置传感器266包括提供3D旋转数据(诸如滚动、俯仰和偏航信息)的惯性测量单元(IMU)。为此，IMU可包括加速度计、陀螺仪和磁力计的组合。作为另一示例，位置传感器266包括提供3D位置数据(诸如配对输入设备200的位置)的磁传感器。例如，磁传感器测量弱磁场以便确定配对输入设备200的位置。

在一些具体实施中，配对输入设备200包括用于检测佩戴配对输入设备200的手指在物理对象上的接触强度(例如，力或压力)的一个或多个压力传感器268。一个或多个压力传感器268输出与配对输入设备200相关联的压力传感器数据。作为一个示例，压力传感器数据指示与佩戴配对输入设备200的手指在物理桌子的表面上轻击相关联的轻击手势的力或压力。一个或多个压力传感器268可包括干涉仪。一个或多个压力传感器268可包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器。

配对输入设备200任选地包括用于在配对输入设备200上生成触觉输出的一个或多个触觉输出发生器263。在一些具体实施中，术语“触觉输出”是指将由用户利用其触感检测到的电子设备(例如，电子设备100)的附件(例如，配对输入设备200)相对于该附件的先前位置的物理位移、附件的部件相对于该附件的另一部件的物理位移或该部件相对于该附件的质心的位移。例如，在附件或附件的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，由物理位移生成的触觉输出将由用户解释为触感，该触感对应于所感知的附件或附件的部件的物理特征的变化。例如，部件(例如，配对输入设备200的外壳)的移动任选地被用户解读为对物理致动按钮的“点击”。在一些情况下，即使在物理致动按钮不存在与通过用户的移动而物理地被按压(例如，被移位)的配对输入设备相关联的移动时，用户也将感觉到触感，诸如“点击”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“点击”)时，除非另外陈述，否则所生成的触觉输出对应于电子设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。

图2示出了与触觉反馈控制器261耦接的触觉输出发生器263。触觉输出发生器263任选地包括一个或多个电声设备诸如扬声器或其他音频部件，以及/或者将能量转换为线性运动的机电设备诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器，或其他触觉输出生成部件(例如，将电信号转换为电子设备上的触觉输出的部件)。触觉输出发生器263从触觉反馈***234接收触觉反馈生成指令并且在配对输入设备200上生成能够由配对输入设备200的用户感测的触觉输出。

在一些具体实施中，存储在存储器202中的软件部件包括操作***226、通信***(或指令集)228、定位***(或指令集)230、压力***(或指令集)232、触觉反馈***(或指令集)234，以及手势解释***(或指令集)236。此外，在一些具体实施中，存储器202存储与配对输入设备相关联的设备/全局内部状态。设备/全局内部状态包括以下各项中的一者或多者：传感器状态，包括从配对输入设备的各种传感器和其他输入或控制设备216获得的信息；位置状态，包括关于配对输入设备相对于电子设备(例如，电子设备100)的位置(例如，位置、取向、倾斜、滚动和/或距离)的信息；以及涉及配对输入设备的绝对位置的地点信息。

操作***226包括用于控制和管理一般***任务(例如，存储器管理、电源管理等)的各种软件部件和/或驱动程序，并且促进各种硬件和软件部件之间的通信。

通信***228促进与其他设备(例如，电子设备100或电子设备310)的通信，并且还包括适于直接耦接到其他设备或通过网络(例如，互联网、无线LAN等)间接耦接到其他设备的各种软件部件(例如，用于处理由RF电路208接收的数据)。

定位***230结合来自一个或多个位置传感器266的位置数据任选地检测涉及配对输入设备200的位置信息。定位***230任选地包括用于执行与检测配对输入设备200的位置和检测配对输入设备200在特定参考系中的位置变化相关的各种操作的软件部件。在一些具体实施中，定位***230检测配对输入设备200相对于电子设备的位置状态，并且检测配对输入设备200相对于电子设备的位置状态的变化。如上所述，在一些具体实施中，电子设备100或310使用来自定位***230的信息来确定配对输入设备200相对于电子设备的位置状态以及配对输入设备200的位置状态的变化。

压力***232结合来自一个或多个压力传感器268的压力传感器数据任选地检测与配对输入设备200相关联的接触强度信息。压力***232包括用于执行与接触的检测相关的各种操作的软件部件，诸如检测配对输入设备200与桌面之间的接触的强度和/或持续时间。确定接触点的移动任选地包括：确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，该接触点的移动由一系列压力数据表示。

触觉反馈***234包括各种软件部件，该各种软件部件用于生成由触觉输出发生器263使用的指令以响应于用户与配对输入设备200的交互而在配对输入设备200上的一个或多个地点处产生触觉输出。

配对输入设备200任选地包括手势解释***236。手势解释***236与定位***230和/或压力***232协调，以便确定由配对输入设备执行的手势。例如，手势包括以下各项中的一者或多者：捏合手势、拉动手势、捏合和拉动手势、旋转手势、轻击手势等。在一些具体实施中，配对输入设备200不包括手势解释***，并且电子设备或***(例如，图4中的手势解释***445)基于来自配对输入设备200的传感器数据来确定由配对输入设备200执行的手势。在一些具体实施中，手势确定的一部分在配对输入设备200处执行，并且手势确定的一部分在电子设备/***处执行。在一些具体实施中，手势解释***236确定与手势相关联的持续时间。在一些具体实施中，手势解释***236确定与手势相关联的压力，诸如与(佩戴配对输入设备200的)手指在物理表面上轻击相关联的压力量。

上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些***(例如，指令集)不必被实现为独立的软件程序、过程或模块，并且因此这些模块的各种子集任选地在各种实施方案中进行组合或以其他方式重新布置。在一些具体实施中，存储器202任选地存储上述***和数据结构的子集。此外，存储器202任选地存储上文未描述的附加的***和数据结构。

图3A至图3U是根据一些具体实施的基于眼睛跟踪数据和空间选择器数据来定位触控板的计算机生成的表示的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图3A所示，用户50面对着操作环境300的一部分，该操作环境包括第一物理墙302、第二物理墙304、物理桌子306和位于物理桌子306上的物理灯308。用户50的左手54握住电子设备310，诸如平板计算机或智能电话。电子设备310与操作环境300相关联(例如，根据该操作环境来操作)。为此，在一些具体实施中，电子设备310生成扩展现实(XR)设置，诸如生成增强现实(AR)环境、混合现实(MR)环境等。在各种具体实施中，电子设备310与图1的电子设备100类似，并且从该电子设备修改而来。

电子设备310包括与操作环境300的可视区域314相关联的显示器312。例如，在一些具体实施中，电子设备310包括与对应于可视区域314的视场相关联的图像传感器，并且电子设备310将来自图像传感器的传递图像数据与计算机生成的内容合成。又如，在一些具体实施中，电子设备310包括透视显示器312，该透视显示器使得环境光能够从物理环境的与可视区域314相关联的一部分进入。

在一些具体实施中，电子设备310对应于包括集成显示器(例如，内置显示器)的头戴式设备(HMD)，该集成显示器显示操作环境300的表示。在一些具体实施中，电子设备310包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备310)的接收器。例如，在一些具体实施中，电子设备310滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)操作环境300的表示。例如，在一些具体实施中，电子设备310对应于可附接到头戴式壳体的移动电话。

如图3B所示，用户50的左眼56聚焦在操作环境300的处于物理桌子306上方的第一部分322上，如由左眼56与第一部分322之间的注视线320所指示的。电子设备310包括眼睛***，该眼睛***生成指示用户50的左眼56的注视或聚焦的眼睛跟踪数据。本领域的普通技术人员将理解，在一些具体实施中，眼睛跟踪数据另外或另选地指示用户50的右眼58。如下文将描述的，电子设备310使用眼睛跟踪数据来确定内容操纵区域340内的一个或多个注视位置。

在一些具体实施中，电子设备310与配对输入设备进行配对，并且利用来自配对输入设备的传感器数据来定位触控板的计算机生成的表示。例如，如图3C所示，电子设备310与配对输入设备330进行配对，该配对输入设备能够由用户50的右手52物理地操纵。为此，在一些具体实施中，电子设备310包括被设置成与配对输入设备330通信的通信接口(例如，图1中的通信接口190)。电子设备310建立与配对输入设备330的通信链路，如由通信链路线332所指示的。在电子设备310与配对输入设备330之间建立链路有时被称为配对或网络共享(tethering)。本领域的普通技术人员将理解，电子设备310可根据多种通信协议(诸如蓝牙、IEEE 802.11x、NFC等)与配对输入设备330通信。电子设备310经由通信接口从配对输入设备330获得传感器数据。例如，电子设备310获得位置数据(例如，由配对输入设备330的位置传感器输出)与压力传感器数据(例如，由配对输入设备330的压力传感器输出)的组合。

尽管参考图3E至图3U和图4A至图4J描述的示例示出了配对输入设备330，但是各种具体实施包括在独立于传感器数据的情况下促进用户与触控板的计算机生成的表示的交互。例如，在一些具体实施中，电子设备310执行计算机视觉，以便跟踪用户50的肢体，诸如右手52的手指。作为一个示例，电子设备310包括生成图像数据的图像传感器(例如，相机)，并且电子设备310执行语义分割以便识别图像数据内的肢体。

如图3D所示，电子设备310在显示器312上显示内容操纵区域340。在一些具体实施中，内容操纵区域340与特定应用程序(诸如网页浏览器应用程序、文字处理应用程序、绘图应用程序等)相关联。值得注意的是，操作环境300的第一部分322(由左眼56聚焦)大致位于内容操纵区域340的中心处。基于眼睛跟踪数据，电子设备310确定第一注视位置341大致处于内容操纵区域340的中心处。

显示器312还包括处于可视区域314内的物理元件的各种表示。例如，显示器312包括第一物理墙302的一部分、第二物理墙304的一部分、物理桌子306的一部分和物理灯308的相应表示。

如图3E所示，配对输入设备330朝向物理桌子306的表面上的点向下移动，如移动线342所指示的。当配对输入设备330在显示器312上可见时，电子设备310从空间选择器***获得空间选择器数据。例如，在一些具体实施中，空间选择器***执行计算机视觉，以便在图像数据内跟踪配对输入设备330。作为另一示例，在一些具体实施中，空间选择器***从配对输入设备330上的传感器获得传感器数据，诸如压力传感器数据或接近传感器数据。作为又一示例，在一些具体实施中，空间选择器***执行计算机视觉，以便跟踪用户的肢体(例如，手指)。

如图3F所示，基于空间选择器数据，电子设备310确定物理桌子306的表面上的第一选择点344。例如，第一选择点344对应于配对输入设备330与物理桌子306的表面之间的接触点，这可由压力传感器数据来指示。作为另一示例，在配对输入设备330在物理桌子306的表面上方悬停小于阈值距离时，第一选择点344对应于物理桌子306的处于配对输入设备330正下方的点。电子设备310可利用计算机视觉或接近传感器数据来确定配对输入设备330何时悬停在距物理桌子306的表面小于阈值距离处。

如图3G所示，电子设备310在显示器312上显示处于物理桌子306的表面上的第一放置地点345处的触控板346的计算机生成的表示(为简洁起见，在下文中有时为“触控板346”或“触控板”)。例如，第一放置地点345大致对应于触控板346的中心。电子设备310基于第一注视位置341和第一选择点344来确定第一放置地点345。即，因为第一注视位置341大致处于内容操纵区域340的中心处，所以第一放置地点345同样大致处于触控板346的中心处。换句话说，在这种情况下，电子设备310不使触控板346的中心从第一选择点344偏移，因为用户50聚焦在内容操纵区域340的中心。基于检测到配对输入设备330在触控板346内的后续移动，电子设备310可在内容操纵区域340内显示对应标记，其中该对应标记起源于第一注视位置341。

在一些具体实施中，电子设备310在显示器312上显示用于操纵触控板346的各种触控板操纵示能表示。例如，如图3G所示，触控板操纵示能表示包括用于使触控板346移动的第一触控板操纵示能表示346a、用于调整触控板346的大小的第二触控板操纵示能表示346b以及用于以其他方式改变触控板346的外观的第三触控板操纵示能表示346c。

如图3H所示，电子设备310检测配对电子设备330在触控板346内的第一移动347。第一移动347对应于在物理桌子306的表面的一部分上朝向触控板346的左上角的对角线移动。例如，电子设备310基于来自配对电子设备330的计算机视觉和/或传感器数据来检测配对电子设备330的各种移动。

基于检测到第一移动347，电子设备310执行关于内容操纵区域340的第一内容操纵操作。例如，如图3I所示，电子设备310基于第一移动347在显示器312上显示第一绘图标记348。为此，在一些具体实施中，电子设备310确定触控板346与内容操纵区域340之间的映射。

触控板346可与第一尺寸特征(例如，第一显示面积)相关联，该第一尺寸特征不同于与内容操纵区域340相关联的第二尺寸特征(例如，第二显示面积)。在一些具体实施中，尽管各自的尺寸特征不同，但电子设备310根据共同的纵横比在触控板346与内容操纵区域340之间进行映射。例如，触控板346对应于30cm×30cm的正方形，并且内容操纵区域340对应于160cm×90cm的矩形(190cm宽，90cm高)。继续先前的示例，响应于检测到从触控板346的左边缘到触控板346的右边缘的30cm移动，电子设备310从内容操纵区域340的左边缘映射到内容操纵区域340的右边缘。因此，电子设备310将30cm移动(与触控板346相关联)缩放为190cm移动(与内容操纵区域340相关联)，以便将与触控板346相关联的移动正确地映射到内容操纵区域340。

如图3J所示，电子设备310检测指向第一触控板操纵示能表示346a的选择输入349。在一些具体实施中，如图3K所示，电子设备310在显示器312上显示第一触控板操纵示能表示346a内的灰色覆盖图，该灰色覆盖图指示对第一触控板操纵示能表示346a的选择。此外，电子设备310检测请求触控板346向右移动的拖动输入350。因此，如图3L所示，基于拖动输入350，电子设备310重新定位触控板346。

如图3M所示，电子设备310检测配对电子设备330在触控板346内的第二移动352。第二移动352对应于物理桌子306的表面上的向左移动。基于检测到第二移动352并且基于触控板346与内容操纵区域340之间的映射，电子设备310执行关于内容操纵区域340的第二内容操纵操作。例如，如图3N所示，电子设备310基于第二移动352在显示器312上显示第二绘图标记354。

根据各种具体实施，电子设备310基于检测到触控板解除请求而停止显示触控板346。触控板解除请求可基于眼睛注视变化、在配对输入设备330上执行的手势(例如，在配对输入设备330上的双击)、配对输入设备330的移动等来发起。例如，如图3O所示，配对输入设备330抬离物理桌子306的表面，如抬离线356所指示的。如图3P所示，基于检测到配对输入设备330的抬离，电子设备310停止显示触控板346。例如，基于来自配对输入设备330的指示压力水平下降到阈值以下的压力传感器数据，电子设备310停止显示触控板346。作为另一示例，基于来自配对输入设备330的指示配对输入设备330与物理表面之间的距离高于阈值的接近传感器数据，电子设备310停止显示触控板346。作为又一示例，基于独立于来自配对输入设备330的传感器数据来执行计算机视觉，电子设备310确定配对输入设备330与物理桌子306的表面之间的距离高于阈值，并且相应地停止显示触控板346。

随后，如图3Q所示，用户50的左眼56聚焦在操作环境300的第二部分357上。基于眼睛跟踪数据，电子设备310确定内容操纵区域340内的第二注视位置358。第二注视位置358处于内容操纵区域340的右上角附近。

根据各种具体实施，电子设备310基于注视位置来确定相对于选择点的偏移位置。此外，电子设备310基于偏移位置来设置放置地点(例如，对应于触控板的中心)。因此，电子设备310可基于用户正注视着内容操纵区域内的何处而使触控板346的中心从选择点偏移。

为此，在一些具体实施中，电子设备310确定内容操纵区域内与注视位置相交的第一向量。此外，电子设备310部分地基于第一向量来确定与放置地点相交的第二向量。例如，如图3R所示，电子设备310确定与第二注视位置358相交的第一向量359。第一向量359可起源于内容操纵区域340的中心，并且可终止于第二注视位置358。此外，基于空间选择器数据，电子设备310确定物理桌子306的表面上的第二选择点362，并且基于第一向量359来确定第二向量363。第二向量363与第二选择点362相交。例如，如图3S所示，第二向量363起源于第二选择点362，并且终止于与触控板346相关联的第二放置地点364。在一些具体实施中，基于第一向量359来确定第二向量363包括：对第一向量359取反。例如，第一向量359在内容操纵区域340内向上且向右指向(以大约45度)，并且电子设备310对第一向量359取反以便确定第二向量363在触控板346内向下且向左指向(以大约45度)。此外，在一些具体实施中，基于内容操纵区域340与触控板346之间的大小(例如，面积)的差异，电子设备310基于该大小差异来缩放经取反的第一向量359，以便确定第二向量363。因此，因为用户50注视着内容操纵区域340的右上角附近，所以电子设备310将触控板346放置成使得第二选择点362同样定位在触控板346的右上角附近。

如图3T所示，电子设备310检测配对电子设备330在触控板346内的第三移动365。第三移动365对应于物理桌子306的表面上的向左移动。基于检测到第三移动365并且基于触控板346与内容操纵区域340之间的映射，电子设备310执行关于内容操纵区域340的第三内容操纵操作。例如，如图3U所示，电子设备310基于第三移动365在显示器312上显示第三绘图标记366。

图4A至图4J是根据一些具体实施的利用触控板的计算机生成的表示(“触控板”)来操纵对应内容操纵区域内的相应内容的示例。

如图4A所示，电子设备310继续根据操作环境300来操作，并且因此电子设备310维持第一物理墙302、第二物理墙304、物理桌子306和物理灯308的相应表示的显示。此外，电子设备310维持物理桌子306的表面上的触控板346和触控板操纵示能表示346a-346c的显示。

此外，电子设备310在显示器312上显示包括第一内容操纵区域400和第二内容操纵区域406在内的多个内容操纵区域。第一内容操纵区域400包括各种绘图内容(包括树402)以及用于操纵绘图内容的绘图工具示能表示404。例如，第一内容操纵区域400包括与绘图应用程序相关联的绘图画布。第二内容操纵区域406包括与三角形有关的各种内容。例如，第二内容操纵区域406对应于包括关于三角形的基本信息的网页。本领域的普通技术人员将理解，在任何给定时间，多个内容操纵区域中的每个内容操纵区域可包括任何类型的内容或不包括内容。

此外，电子设备310在显示器312上显示分别与多个内容操纵区域相关联的多个示能表示。多个示能表示包括与第一内容操纵区域400相关联的第一示能表示412和与第二内容操纵区域406相关联的第二示能表示418。在一些具体实施中，多个示能表示中的每个示能表示与应用程序相关联。例如，第一示能表示412与绘图应用程序相关联，并且第二示能表示418与网页浏览器应用程序相关联。

在一些具体实施中，特定示能表示包括对应内容操纵区域内的内容的表示。例如，第一示能表示412包括树402的大小减小的表示414。

在一些具体实施中，特定示能表示包括指示对应应用程序的内容。例如，第二示能表示418包括指示对应应用程序为“网页浏览器”的文本。作为另一示例，在一些具体实施中，特定示能表示包括表示应用程序的应用程序图标。

根据各种具体实施，如下文将描述的，响应于检测到对特定示能表示的选择，电子设备310将触控板346与对应的内容操纵区域相关联。如图4A所示，电子设备310在显示器312上显示第一选择指示器416，该第一选择指示器指示触控板346当前与第一内容操纵区域400相关联。第一选择指示器416对应于围绕第一示能表示412的覆盖图，然而本领域的普通技术人员将理解，选择指示器能够以任何数量的方式来区分对应示能表示，包括但不限于显示处于示能表示内部的覆盖图、突出显示示能表示、放大示能表示、不强调(例如，淡出)其他示能表示等。另外，选择指示器可类似地应用于所选内容操纵区域(例如，400或406)。

如图4B所示，电子设备310检测配对输入设备330在触控板346上的第四移动424。为此，电子设备310包括上文所述的空间选择器***。例如，空间选择器***基于来自配对输入设备330的计算机视觉和/或传感器数据(例如，IMU数据、压力传感器数据、接近传感器数据等)来检测第四移动424。尽管参考图4B至图4I描述的示例包括由配对输入设备330提供的各种输入，但是本领域的普通技术人员将理解，在一些具体实施中，代替提供输入的配对输入设备330或者除了该配对输入设备之外，用户50的肢体(例如，左手54的手指)提供输入。例如，空间选择器***通过执行关于来自相机的图像数据的计算机视觉来跟踪肢体。

如图4C所示，响应于检测到第四移动424，电子设备310基于第四移动424在显示器312上显示第四绘图标记426。第四绘图标记426被显示在第一内容操纵区域400内，这是因为第一内容操纵区域400当前与触控板346相关联。此外，因为当前选择了绘图工具示能表示404的铅笔绘图示能表示，所以第四绘图标记426对应于铅笔标记。为了确定第四绘图标记426的地点，电子设备310确定第四移动424(在触控板346内)与第一内容操纵区域400的对应部分之间的映射。在一些具体实施中，电子设备310基于第四移动424更新第一示能表示412内的内容。例如，电子设备310在第一示能表示412内显示第四绘图标记426的表示428。

如图4D所示，电子设备310检测指向第二示能表示418内的第一输入430。例如，第一输入430对应于第二示能表示418内的轻击或双击。响应于检测到第一输入430，电子设备310将触控板346与第二内容操纵区域406相关联，并且将触控板346与第一内容操纵区域400取消关联。在一些具体实施中，基于检测到第一输入430，电子设备310将焦点从第一示能表示412移动到第二示能表示418。例如，如图4E所示，电子设备310显示围绕第二示能表示418的第二选择指示器431，并且停止显示第一选择指示器416。第二选择指示器431指示触控板346与第二内容操纵区域406之间的关联性。另外，选择指示器可类似地从第一内容操纵区域400移动到第二内容操纵区域406。

图4F至图4I示出了内容在内容操纵区域之间的拖放移动的示例。例如，拖放移动发起内容在内容操纵区域之间的复制和粘贴。如图4F所示，电子设备310开始检测触控板346上的第五移动434。响应于检测到第五移动434的初始接触点，电子设备310确定初始接触点与第二内容操纵区域406内的对应点之间的映射。即，基于初始接触点处于触控板346的右下角附近，该映射指示直角三角形同样处于第二内容操纵区域406的右下角附近。

在一些具体实施中，基于该映射，电子设备310选择直角三角形。此外，在一些具体实施中，基于该映射，电子设备310在视觉上将所选对象与其他对象区分开。例如，如图4G所示，电子设备310将直角三角形从具有实线边改变为虚线边。在视觉上区分所选对象会向用户50提供表明所选对象可被用作拖放移动的一部分的反馈。

如图4H所示，第五移动434朝向第一示能表示412进行。在一些具体实施中，随着第五移动434的进行，电子设备310显示拖放内容的表示。例如，电子设备310显示遵循第五移动434的直角三角形的(例如，大小减小的)表示436。表示436向用户50提供关于作为第五移动434的一部分哪个对象正被粘贴的进一步反馈。

如图4I所示，第五移动434在第一示能表示412内终止。响应于检测到第五移动434的终止，电子设备310在第一内容操纵区域400内显示复制的直角三角形438。复制的直角三角形438对应于第二内容操纵区域406内的直角三角形。在一些具体实施中，复制的直角三角形438在第一内容操纵区域400内的位置是基于第五移动434在第一示能表示412内的终止点。即，终止点处于第一示能表示412的右上角附近，并且相应地电子设备310将复制的直角三角形438放置在第一内容操纵区域400的右上角附近。

此外，在一些具体实施中，电子设备310基于第五移动434的终止来更新第一示能表示412内的内容。即，如图4I所示，电子设备310在第一示能表示412内显示直角三角形的表示436。

如图4J所示，尽管停止在显示器312上检测配对输入设备330，但电子设备310维持对第四绘图标记426、第四绘图标记426的表示428、复制的直角三角形438以及直角三角形的表示436的显示。

图5是根据一些具体实施的基于眼睛跟踪数据和空间选择器数据来定位触控板的计算机生成的表示(“触控板”)的方法500的流程图的示例。在各种具体实施中，方法500或其部分由电子设备(例如，图1中的电子设备100或者图3A至图3U中的电子设备310)执行。在各种具体实施中，方法500或其部分由头戴式设备(HMD)执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法500中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框502所表示的，方法500包括显示内容操纵区域，诸如图3D所示的内容操纵区域340。在一些具体实施中，内容操纵区域与应用程序相关联并且因此包括与应用程序相关联的内容。例如，内容操纵区域与绘图应用程序相关联，并且因此内容操纵区域包括绘图画布和用于操纵绘图画布内的内容的绘图工具示能表示(例如，铅笔、钢笔、橡皮擦)。

如框504所表示的，在显示内容操纵区域时，方法500包括基于来自眼睛***的眼睛跟踪数据来确定内容操纵区域内的第一注视位置。例如，参考图3D，基于眼睛跟踪数据，电子设备310确定第一注视位置341大致处于内容操纵区域340的中心处。

如框506所表示的，在显示内容操纵区域时，方法500包括基于来自空间选择器***的空间选择器数据来确定与物理表面相关联的选择点。空间选择器数据可指示配对输入设备或用户的肢体的位置。因此，空间选择器***可跟踪肢体(例如，手指)或配对输入设备(例如，触笔、手指可佩戴设备等)。在一些具体实施中，空间选择器数据指示操作环境内的三维(3D)位置。例如，如图3E和图3F所示，电子设备310跟踪配对输入设备330朝向物理桌子306的表面的移动。基于该跟踪，电子设备310确定物理桌子306的表面上的第一选择点344，如图3F所示。在一些具体实施中，选择点的确定是响应于确定配对输入设备或用户的肢体距物理表面小于阈值距离。

如框508所表示的，在一些具体实施中，空间选择器数据包括来自配对输入设备的传感器数据，诸如压力传感器数据或接近传感器数据。为此，在一些具体实施中，电子设备包括被设置成与配对输入设备通信的通信接口(例如，图1的通信接口190)。电子设备经由通信接口从配对输入设备接收传感器数据。

如框510所表示的，在一些具体实施中，空间选择器数据是经由计算机视觉技术来生成的，并且可独立于传感器数据。为此，在一些具体实施中，电子设备包括图像传感器，并且电子设备识别来自图像传感器的图像数据内的肢体。例如，计算机视觉技术包括语义分割，任选地借助于神经网络。

如框512所表示的，在一些具体实施中，方法500包括确定物理表面上的放置地点。放置地点是基于第一注视位置和选择点。例如，参考图3G，电子设备310基于第一注视位置341和第一选择点344来确定第一放置地点345。即，因为第一注视位置341大致处于内容操纵区域340的中心处，所以第一放置地点345使得第一选择点344同样大致处于触控板346的中心处。

如框514所表示的，在一些具体实施中，500包括将放置地点设置为偏移位置。为此，方法500包括基于第一注视位置来确定相对于选择点的偏移位置。例如，如框516所表示的，确定偏移位置包括：确定内容操纵区域内与第一注视位置相交的第一向量。此外，如框518所表示的，方法500包括部分地基于第一向量来确定触控板内的第二向量。第二向量与选择点相交。例如，如图3R所示，电子设备310确定第一向量359，该第一向量与内容操纵区域340内的第二注视位置358相交。此外，电子设备310基于第一向量359来确定第二向量363。第二向量363与触控板346内的第二选择点362相交，如图3S所示。例如，第一向量359起源于内容操纵区域340的中心并且终止于第二注视位置358，并且第二向量363起源于第二选择点362并且终止于第二放置地点364。在一些具体实施中，部分地基于第一向量来确定第二向量包括：对第一向量取反(以及任选地缩放该第一向量)。例如，参考图3R，第一向量359向上且向右指向(以大约45度)，并且因此电子设备310对第一向量359取反以便确定第二向量363。基于该取反，第二向量363向下且向左指向(以大约45度)。此外，基于内容操纵区域340和触控板346的相应大小，第二向量363可以是第一向量359的缩放版本(例如，更大或更小的量值)。例如，在触控板346是二英尺×二英尺的正方形，并且内容操纵区域340是四英尺×四英尺的正方形时，第二向量363是第一向量359的量值的一半。

如框520所表示的，500包括在物理表面上的放置地点处显示触控板。如框522所表示的，在一些具体实施中，触控板被显示为相对于放置地点基本上居中。例如，电子设备310显示相对于第一放置地点345和第二放置地点364基本上居中的触控板346，如分别在图3G和图3S中示出的。

在一些具体实施中，触控板包括第一选择点。例如，如图3G所示，触控板346包括第一选择点345。继续参考图3G，尽管显示器312包括用于第一注视位置341、第一选择点344和第一放置地点345的相应指示器(标线)，但是在一些具体实施中，显示器312不包括这些指示器中的一些或全部。

如框524所表示的，在一些具体实施中，500包括：在显示触控板时检测触控板解除请求；以及响应于检测到触控板解除请求而停止显示触控板。

例如，在一些具体实施中，检测触控板解除请求包括：基于空间选择器数据来确定肢体处于物理表面上的触控板上方超过阈值距离处。作为一个示例，如图3O所示，配对输入设备330抬离物理桌子306的表面，如抬离线356所指示的。如图3P所示，基于检测到配对输入设备330的抬离，电子设备310停止显示触控板346。

作为另一示例，在一些具体实施中，触控板解除请求是基于注视移动到内容操纵区域外部的地点。为此，方法500包括基于眼睛跟踪数据来确定从第一注视位置到第二注视位置的变化。此外，检测触控板解除请求包括：确定第二注视位置处于内容操纵区域外部超过阈值距离处。在一些具体实施中，检测触控板解除请求还包括：确定第二注视位置在至少阈值时间量内处于内容操纵区域外部超过阈值距离处。

作为又一示例，在一些具体实施中，触控板解除请求是基于在配对输入设备上执行的手势。例如，检测触控板解除请求包括：确定该手势对应于触控板解除手势，诸如在触笔上执行的轻击或双击手势。手势可基于经由通信接口来自配对输入设备的传感器数据(诸如，指示用户正在执行双击手势的触摸数据)来检测。

图6是根据一些具体实施的利用触控板的计算机生成的表示(“触控板”)来操纵对应内容操纵区域内的相应内容的方法600的流程图的示例。在各种具体实施中，方法600或其部分由电子设备(例如，图1中的电子设备100或者图4A至图4J中的电子设备310)执行。在各种具体实施中，方法600或其部分由HMD执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框602所表示的，方法600包括显示用户界面，该用户界面包括多个内容操纵区域、分别与该多个内容操纵区域相关联的多个示能表示以及与物理表面相关联的触控板。例如，参考图4A，电子设备310在显示器312上显示第一内容操纵区域400和第二内容操纵区域406、与第一内容操纵区域400相关联的第一示能表示412、与第二内容操纵区域406相关联的第二示能表示418以及触控板346。在一些具体实施中，多个示能表示靠近触控板的计算机生成的表示。

如框604所表示的，在一些具体实施中，多个示能表示中的每个示能表示与应用程序相关联。多个示能表示可与共同的应用程序或不同的应用程序相关联。例如，第一示能表示与特定网页浏览器应用程序的第一网页相关联，并且第二示能表示与该特定网页浏览器应用程序的第二网页相关联。作为另一示例，如框604所表示的并且参考图4A，第一示能表示412与绘图应用程序相关联，并且第二示能表示418与网页浏览器应用程序相关联。

如框606所表示的，在一些具体实施中，特定示能表示包括指示对应应用程序的应用程序图标。例如，特定示能表示包括铅笔图标以指示绘图应用程序。作为另一示例，参考图4B，第二示能表示418包括“网页浏览器”文本以指示第二示能表示418与网页浏览器应用程序相关联。

如框608所表示的，在一些具体实施中，特定示能表示包括对应内容操纵区域内的内容的表示。例如，参考图4A，第一示能表示412包括树402的大小减小的表示414，其中树402是在第一内容操纵区域400内显示的内容。

如框610所表示的，方法600包括在显示用户界面时经由空间选择器***检测指向多个示能表示中的第一示能表示的第一输入。第一示能表示与多个内容操纵区域中的第一内容操纵区域相关联。例如，参考图4D，电子设备310检测指向第二示能表示418内的第一输入430，该第二示能表示与第二内容操纵区域406相关联。为此，在一些具体实施中，空间选择器***使用计算机视觉和来自配对输入设备的传感器数据(例如，接近传感器数据、压力传感器数据、IMU数据)的组合，以便跟踪肢体或配对输入设备的位置。基于该跟踪，电子设备确定肢体或配对输入设备何时接触示能表示或距示能表示小于阈值距离，并且相应地确定肢体/配对输入设备处于示能表示内。例如，空间选择器***执行三维(3D)跟踪以便确定肢体/配对输入设备处于示能表示内。

如框612所表示的，方法600包括响应于检测到第一输入，将触控板的计算机生成的表示与第一内容操纵区域相关联。例如，响应于检测到指向图4D中的第二示能表示418内的第一输入430，电子设备310将触控板346与图4E中的第二内容操纵区域406相关联。此外，在一些具体实施中，响应于检测到指向第二示能表示418内的第一输入430，电子设备310将触控板346与先前与触控板346相关联的第一内容操纵区域400取消关联。

在一些具体实施中，进一步响应于接收到第一输入，方法600包括显示选择指示器，该选择指示器指示触控板与第一内容操纵区域的关联性。例如，显示选择指示器包括：将焦点放置在第一示能表示上，或以其他方式将第一示能表示与其他示能表示区分开。作为一个示例，基于检测到图4D中的第一输入430，电子设备310将焦点从图4E中的第一示能表示412移动到第二示能表示418。即，电子设备310停止显示第一选择指示器416(覆盖在第一示能表示412周围)，并且显示第二选择指示器431(覆盖在第二示能表示418周围)。

如框614所表示的，在一些具体实施中，当触控板与第一内容操纵区域相关联时，方法600包括经由空间选择器***来检测指向触控板内的第二输入。此外，如框616所表示的，响应于检测到第二输入，方法600包括根据第二输入执行关于第一内容操纵区域的第一内容操纵操作。

如框618所表示的，在一些具体实施中，第一内容操纵操作包括绘图操作或导航操作。例如，响应于检测到图4B中的第四移动424，电子设备310在显示器312上显示图4C中的第四绘图标记426。作为另一示例，导航操作包括在内容操纵区域内滚动浏览网页内容、在内容操纵区域内导航菜单等。

如框620所表示的，在一些具体实施中，第一内容操纵操作包括将对象从第一内容操纵区域粘贴到多个内容操纵区域中的第二内容操纵区域。

在一些具体实施中，用户输入选择第一内容操纵区域内的对象，并且执行手势以便将该对象粘贴到第二内容操纵区域。例如，配对输入设备接触触控板的中心，并且电子设备确定从触控板的中心到第一内容操纵区域内的咖啡杯的缩略图的映射。因此，电子设备选择咖啡杯的缩略图。随后，基于检测到特定手势类型(例如，在配对输入设备上的双击)，电子设备将咖啡杯的缩略图粘贴到第二内容操纵区域。

作为另一示例，如框622所表示的，对象的粘贴是通过拖放移动来发起。例如，参考图4F至图4I，电子设备310检测第五移动434。第五移动434对应于将直角三角形拖放到第一示能表示412内。即，第五移动434在触控板346内的映射到直角三角形的地点处开始，并且在与第一内容操纵区域400相关联的第一示能表示412内终止。因此，如图4J所示，电子设备310将复制的直角三角形438粘贴到第一内容操纵区域400。在一些具体实施中，复制的直角三角形438在第一内容操纵区域400内的地点是基于第五移动434在第一示能表示412内的终止点。在一些具体实施中，如图4H所示，当检测第五移动434时，方法600包括显示遵循第五移动434的直角三角形的表示436。

本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。

本文所述的一些或所有方法和任务可由计算机***执行和完全自动化。在一些情况下，计算机***可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机***的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机***包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。

所描述的技术可收集和使用来自各种来源的信息。在一些情况下，该信息可包括识别特定个体或可用于定位或联系特定个体的个人信息。该个人信息可包括人口统计数据、地点数据、电话号码、电子邮件地址、出生日期、社交媒体账号名称、工作或家庭地址、与用户的健康或健身水平相关联的数据或记录或者其他个人或识别信息。

个人信息的收集、存储、传递、公开、分析或其他用途应遵守既定的隐私政策或实践。应当实施和使用一般被认为满足或超过工业或政府要求的隐私政策和实践。个人信息应当被收集用于合法且合理的用途，并且不在这些用途之外共享或出售。信息的收集或共享应当在接收到用户的知情同意之后发生。

可以设想，在一些情况下，用户可选择性地阻止使用或访问个人信息。可提供硬件或软件特征来防止或阻止对个人信息的访问。应处理个人信息以降低无意或未经授权的访问或使用的风险。通过一旦不再需要就限制数据的收集和删除数据可降低风险。当适用时，数据去标识可用于保护用户的隐私。

尽管所描述的技术可广泛地包括个人信息的使用，但是可在不访问此类个人信息的情况下实施该技术。换句话说，本技术不会由于缺少一些或所有此类个人信息而被致使不可操作。

Claims (40)

1.一种方法，包括：

在包括非暂态存储器、一个或多个处理器、眼睛***、空间选择器***和显示器的电子设备处：

当在所述显示器上显示内容操纵区域时：

基于来自所述眼睛***的眼睛跟踪数据来确定所述内容操纵区域内的第一注视位置；

基于来自所述空间选择器***的空间选择器数据来确定与物理表面相关联的选择点；以及

在所述显示器上显示处于所述物理表面上的放置地点处的触控板的计算机生成的表示，其中所述放置地点是基于所述第一注视位置和所述选择点。

2.根据权利要求1所述的方法，其中所述空间选择器***包括被提供用于与配对输入设备通信的通信接口，其中所述空间选择器数据包括经由所述通信接口来自所述配对输入设备的传感器数据，并且其中确定所述选择点是至少部分地基于所述传感器数据。

3.根据权利要求2中任一项所述的方法，其中所述传感器数据包括从集成在所述配对输入设备中的一个或多个位置传感器输出的位置数据。

4.根据权利要求2或3中任一项所述的方法，其中所述传感器数据包括从所述配对输入设备输出的压力传感器数据或接近传感器数据。

5.根据权利要求1至4中任一项所述的方法，其中所述电子设备包括输出表示所述物理表面的图像数据的图像传感器，其中所述空间选择器***执行计算机视觉以便识别所述图像数据内的肢体，并且其中确定所述选择点是至少部分地基于对所述图像数据内的所述肢体的所述识别。

6.根据权利要求1至5中任一项所述的方法，其中显示所述触控板的所述计算机生成的表示是响应于基于所述空间选择器数据来确定肢体距所述物理表面小于阈值距离。

7.根据权利要求1至6中任一项所述的方法，还包括：

基于所述第一注视位置来确定相对于所述选择点的偏移位置；以及

将所述放置地点设置为所述偏移位置。

8.根据权利要求7所述的方法，其中确定所述偏移位置包括：

确定所述内容操纵区域内与所述第一注视位置相交的第一向量；以及

部分地基于所述第一向量来确定所述触控板的所述计算机生成的表示内的第二向量，其中所述第二向量与所述选择点相交。

9.根据权利要求8所述的方法，其中所述第一向量起源于所述内容操纵区域的中心并且终止于所述第一注视位置，并且其中所述第二向量起源于所述选择点并且终止于所述放置地点。

10.根据权利要求8所述的方法，其中部分地基于所述第一向量来确定所述第二向量包括：对所述第一向量取反。

11.根据权利要求1至10中任一项所述的方法，其中所述触控板的所述计算机生成的表示被显示为相对于所述放置地点基本上居中。

12.根据权利要求1至11中任一项所述的方法，还包括：

当显示所述触控板的所述计算机生成的表示时，检测触控板解除请求；以及

响应于检测到所述触控板解除请求，停止显示所述触控板的所述计算机生成的表示。

13.根据权利要求12所述的方法，其中检测所述触控板解除请求包括：基于所述空间选择器数据来确定肢体在所述物理表面上的所述触控板的所述计算机生成的表示上方超过阈值距离。

14.根据权利要求12或13中任一项所述的方法，还包括基于所述眼睛跟踪数据来确定从所述第一注视位置到第二注视位置的变化，并且其中检测所述触控板解除请求包括：确定所述第二注视位置在所述内容操纵区域外部超过阈值距离。

15.根据权利要求12至14中任一项所述的方法，还包括检测在所述配对输入设备上执行的手势，并且其中检测所述触控板解除请求包括：

确定所述手势对应于触控板解除手势。

16.根据权利要求12至15中任一项所述的方法，其中所述触控板的所述计算机生成的表示包括所述选择点。

17.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

眼睛***；

空间选择器***；

显示器；和

一个或多个程序，其中所述一个或多个程序存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：

当在所述显示器上显示内容操纵区域时：

基于来自所述眼睛***的眼睛跟踪数据来确定所述内容操纵区域内的第一注视位置；

基于来自所述空间选择器***的空间选择器数据来确定与物理表面相关联的选择点；以及

在所述显示器上显示处于所述物理表面上的放置地点处的触控板的计算机生成的表示，其中所述放置地点是基于所述第一注视位置和所述选择点。

18.根据权利要求17所述的电子设备，所述一个或多个程序包括用于以下操作的指令：

基于所述第一注视位置来确定相对于所述选择点的偏移位置；以及

将所述放置地点设置为所述偏移位置。

19.根据权利要求18所述的电子设备，其中确定所述偏移位置包括：

确定所述内容操纵区域内与所述第一注视位置相交的第一向量；以及

部分地基于所述第一向量来确定所述触控板的所述计算机生成的表示内的第二向量，其中所述第二向量与所述选择点相交。

20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有一个或多个处理器、眼睛***、空间选择器***和显示器的电子设备执行时，使得所述电子设备：

当在所述显示器上显示内容操纵区域时：

基于来自所述眼睛***的眼睛跟踪数据来确定所述内容操纵区域内的第一注视位置；

基于来自所述空间选择器***的空间选择器数据来确定与物理表面相关联的选择点；以及

在所述显示器上显示处于所述物理表面上的放置地点处的触控板的计算机生成的表示，其中所述放置地点是基于所述第一注视位置和所述选择点。

21.一种方法，包括：

在包括非暂态存储器、一个或多个处理器、空间选择器***和显示器的电子设备处：

在所述显示器上显示用户界面，所述用户界面包括：

多个内容操纵区域，

分别与所述多个内容操纵区域相关联的多个示能表示，和

与物理表面相关联的触控板的计算机生成的表示；

当显示所述用户界面时，经由所述空间选择器***检测指向所述多个示能表示中的第一示能表示的第一输入，其中所述第一示能表示与所述多个内容操纵区域中的第一内容操纵区域相关联；以及

响应于检测到所述第一输入，将所述触控板的所述计算机生成的表示与所述第一内容操纵区域相关联。

22.根据权利要求21所述的方法，还包括当所述触控板的所述计算机生成的表示与所述第一内容操纵区域相关联时：

经由所述空间选择器***检测指向所述触控板的所述计算机生成的表示内的第二输入；以及

响应于接收到所述第二输入，根据所述第二输入执行关于所述第一内容操纵区域的第一内容操纵操作。

23.根据权利要求22所述的方法，其中所述第一内容操纵操作包括所述第一内容操纵区域内的绘图操作。

24.根据权利要求22所述的方法，其中所述第一内容操纵操作包括关于所述第一内容操纵区域内的内容的导航操作。

25.根据权利要求22所述的方法，其中所述第一内容操纵区域包括对象，并且其中所述第一内容操纵操作包括将所述对象粘贴到所述多个内容操纵区域中的第二内容操纵区域。

26.根据权利要求25所述的方法，其中所述第二输入对应于在所述触控板的所述计算机生成的表示内的映射到所述第一内容操纵区域内的所述对象的地点处开始的拖放移动，其中所述拖放移动在所述多个示能表示中的第二示能表示内终止，并且其中所述第二示能表示与所述第二内容操纵区域相关联。

27.根据权利要求26所述的方法，还包括当检测到所述第二输入时，显示遵循所述拖放移动的所述对象的表示。

28.根据权利要求21至27中任一项所述的方法，其中所述多个示能表示中的至少一部分与共同的应用程序相关联。

29.根据权利要求21至27中任一项所述的方法，其中所述多个示能表示中的至少一部分与不同的应用程序相关联。

30.根据权利要求21至29中任一项所述的方法，其中所述多个示能表示中的特定示能表示包括指示对应应用程序的应用程序图标。

31.根据权利要求21至30中任一项所述的方法，其中所述多个示能表示的一部分中的每个示能表示包括所述多个内容操纵区域中的对应内容操纵区域内所显示的内容的表示。

32.根据权利要求21至31中任一项所述的方法，其中所述多个示能表示靠近所述触控板的所述计算机生成的表示。

33.根据权利要求21至32中任一项所述的方法，其中，在检测到所述第一输入之前，所述触控板的所述计算机生成的表示与第二内容操纵区域相关联，所述方法还包括响应于检测到所述第一输入，将所述触控板的所述计算机生成的表示与所述第二内容操纵区域取消关联。

34.根据权利要求21至33中任一项所述的方法，进一步响应于接收到所述第一输入，在所述显示器上显示选择指示器，所述选择指示器指示所述触控板的所述计算机生成的表示与所述第一内容操纵区域的关联性。

35.根据权利要求34所述的方法，其中显示所述选择指示器包括：将焦点放置在所述第一示能表示上。

36.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

空间选择器***；

显示器；和

一个或多个程序，其中所述一个或多个程序存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：

在所述显示器上显示用户界面，所述用户界面包括：

多个内容操纵区域，

分别与所述多个内容操纵区域相关联的多个示能表示，和

与物理表面相关联的触控板的计算机生成的表示；

当显示所述用户界面时，经由所述空间选择器***检测指向所述多个示能表示中的第一示能表示的第一输入，其中所述第一示能表示与所述多个内容操纵区域中的第一内容操纵区域相关联；以及

响应于检测到所述第一输入，将所述触控板的所述计算机生成的表示与所述第一内容操纵区域相关联。

37.根据权利要求36所述的电子设备，所述一个或多个程序包括指令，当所述触控板的所述计算机生成的表示与所述第一内容操纵区域相关联时，所述指令用于：

经由所述空间选择器***检测指向所述触控板的所述计算机生成的表示内的第二输入；以及

响应于接收到所述第二输入，根据所述第二输入执行关于所述第一内容操纵区域的第一内容操纵操作。

38.根据权利要求37所述的电子设备，其中所述第一内容操纵区域包括对象，并且其中所述第一内容操纵操作包括将所述对象粘贴到所述多个内容操纵区域中的第二内容操纵区域。

39.根据权利要求38所述的电子设备，其中所述第二输入对应于在所述触控板的所述计算机生成的表示内的映射到所述第一内容操纵区域内的所述对象的地点处开始的拖放移动，其中所述拖放移动在所述多个示能表示中的第二示能表示内终止，并且其中所述第二示能表示与所述第二内容操纵区域相关联。

40.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有一个或多个处理器、空间选择器***和显示器的电子设备执行时，使得所述电子设备：

在所述显示器上显示用户界面，所述用户界面包括：

多个内容操纵区域，

分别与所述多个内容操纵区域相关联的多个示能表示，和

与物理表面相关联的触控板的计算机生成的表示；

当显示所述用户界面时，经由所述空间选择器***检测指向所述多个示能表示中的第一示能表示的第一输入，其中所述第一示能表示与所述多个内容操纵区域中的第一内容操纵区域相关联；以及

响应于检测到所述第一输入，将所述触控板的所述计算机生成的表示与所述第一内容操纵区域相关联。