CN117765208A - 用于生成虚拟对象和声音的方法 - Google Patents

Abstract

本公开涉及用于生成虚拟对象和声音的方法。电子设备可用于生成虚拟对象。在一些示例中，为了减少不期望的伪影(例如，因握手和/或犹豫引起的缺陷)以免发生在虚拟对象中，将虚拟指针元素从输入设备的一部分偏移，并且使用该虚拟指针元素来在三维环境中生成虚拟对象。在一些示例中，为了改进所生成的虚拟对象的视觉特性，可应用包括各种物理模式的弹性模型。在一些示例中，响应于该虚拟指针元素的移动而生成声音。

Description

用于生成虚拟对象和声音的方法

相关申请的交叉引用

本申请要求2022年9月24日提交的美国临时申请63/377,026号、2023年9月20日提交的美国专利申请18/471,232号和2023年9月20日提交的美国专利申请18/471,237号的权益，这些申请的内容全文以引用方式并入本文以用于所有目的。

技术领域

本公开整体涉及包括显示器和处理电路的电子设备，并且更具体地涉及根据输入设备的移动在虚拟环境中生成虚拟对象的电子设备诸如计算机***。

背景技术

计算机生成的环境是其中显示供用户查看的至少一些对象是使用电子设备诸如计算机***生成的环境。虚拟对象由计算机生成并且被显示以供电子设备诸如头戴式显示器(HMD)的用户查看。然而，创建实物大小的虚拟对象可能是复杂的、耗时的，并且可引入不期望的结果。

发明内容

本公开整体涉及电子设备，并且更具体地涉及用于基于来自输入设备的输入、输入设备的移动、输入设备的移动相对于虚拟指针的移动的平移以及任选地弹性模型来生成虚拟对象的电子设备诸如计算机***。在一些示例中，一种电子设备包括处理电路，该处理电路被配置为呈现从输入设备(例如，控制器)的一部分偏移的虚拟指针元素和/或用户的用于在三维环境中生成虚拟对象的手。在一些示例中，当生成虚拟对象时，根据输入设备的移动相对于虚拟指针元素的移动的平移生成虚拟对象。在一些示例中，当生成虚拟对象时，根据将输入设备的移动相对于虚拟指针元素的移动平移的弹性模型生成虚拟对象。在一些示例中，弹性模型实施一个或多个物理分支，当生成虚拟对象时，该弹性模型应用于输入设备的移动相对于虚拟指针元素的移动的平移。例如，在生成虚拟对象时，弹性模型应用于输入设备的移动相对于虚拟指针元素的移动的平移，这使得虚拟指针元素在生成虚拟对象时发生延迟。因此，在一些示例中，所生成的虚拟对象的至少一部分基于相对于由输入设备的移动指示的位置的平移来在位置上偏移。在一些示例中，通过将弹性模型应用于输入设备的移动相对于虚拟指针的移动的平移，可实现对虚拟指针元素的更大电机控制，这继而减少显现在所生成的虚拟对象中的不期望的握手伪影。在一些示例中，任选地除减少不期望的握手伪影(例如，减少所生成的虚拟对象中归因于在握持输入设备时用户的手摇晃或其它非预期移动的不一致性)之外，电子设备直接生成大规模虚拟对象(例如，任选地而无需以小规模生成虚拟对象，然后调整大小到大规模)。在一些示例中，电子设备在超过用户的可及范围的距离处生成虚拟对象，任选地使得使用电子设备，用户可在第一位置处生成虚拟对象，而用户位于在物理空间和/或虚拟空间中超过用户的可及范围的第二位置处。在一些示例中，可根据输入设备的移动生成声音，其中基于虚拟指针元素的移动的特性(例如，速度)和/或虚拟指针元素的材料性质来调整声音的一个或多个特性(例如，音量、强度、音高)。以此方式，将声音与输入设备的移动结合和/或在生成虚拟对象时结合声音可提供更逼真且更沉浸式虚拟体验。

附图说明

图1示出了根据本公开的一些示例的显示计算机生成的环境的电子设备。

图2A至图2B示出了根据本公开的一些示例的***或设备的架构的示例性框图。

图3A示出了根据本公开的一些示例的使用虚拟指针元素示例性地生成一个或多个虚拟对象。

图3B示出了根据本公开的一些示例的在生成虚拟对象时的一定时间点处输入设备和虚拟指针元素之间的关系。

图3C示出了根据本公开的一些示例的在生成虚拟对象时的一定时间点处输入设备和虚拟指针元素之间的关系。

图3D示出了根据本公开的一些示例的输入设备在3D环境中朝向虚拟画架投射虚拟指针元素以生成虚拟艺术品。

图4示出了根据本公开的一些示例的示出用于弹性模型的相应输入的示例性框图。

图5示出了根据本公开的一些示例的从输入设备的一部分偏移的虚拟输入设备和虚拟指针元素。

图6示出了根据本公开的一些示例的示出虚拟指针元素的速度对强度的关系的各种声音特性的曲线图。

图7是示出根据本公开的一些示例的其中电子设备使用虚拟指针元素生成虚拟对象的方法的流程图。

图8是示出根据本公开的一些示例的其中电子设备使得根据输入设备的移动生成声音的方法的流程图。

图9是示出根据本公开的一些示例的其中电子设备更新虚拟指针元素的特性的方法的流程图。

具体实施方式

在以下对示例的描述中将参考形成以下描述的一部分的附图并且在附图中以举例的方式示出了可被实施的具体示例。应当理解，在不脱离所公开的示例的范围的情况下，可使用其他示例并且可进行结构性变更。

本公开整体涉及电子设备，并且更具体地涉及用于基于来自输入设备的输入、输入设备的移动、输入设备的移动相对于虚拟指针的移动的平移以及任选地弹性模型来生成虚拟对象的电子设备诸如计算机***。在一些示例中，一种电子设备包括处理电路，该处理电路被配置为呈现从输入设备(例如，控制器)的一部分偏移的虚拟指针元素和/或用户的用于在三维环境中生成虚拟对象的手。在一些示例中，当生成虚拟对象时，根据输入设备的移动向虚拟指元素的移动生成虚拟对象。在一些示例中，当生成虚拟对象时，根据将输入设备的移动相对于虚拟指针元素的移动平移的弹性模型生成虚拟对象。在一些示例中，弹性模型实施一个或多个物理分支，当生成虚拟对象时，该弹性模型应用于输入设备的移动相对于虚拟指针元素的移动的平移。例如，在生成虚拟对象时，弹性模型应用于输入设备的移动相对于虚拟指针元素的移动的平移，这使得虚拟指针元素在生成虚拟对象时发生延迟。因此，在一些示例中，所生成的虚拟对象的至少一部分基于相对于由输入设备的移动指示的位置的平移来在位置上偏移。在一些示例中，通过将弹性模型应用于输入设备的移动相对于虚拟指针的移动的平移，可实现对虚拟指针元素的更大电机控制，这继而减少显现在所生成的虚拟对象中的不期望的握手伪影。在一些示例中，除减少不期望的握手伪影之外，电子设备直接生成大规模虚拟对象(例如，任选地而无需以小规模生成虚拟对象，然后调整大小到大规模)。在一些示例中，电子设备在超过用户的可及范围的距离处生成虚拟对象，任选地使得使用电子设备，用户可在第一位置处生成虚拟对象，而用户位于在物理空间和/或虚拟空间中超过用户的可及范围(例如，在物理空间和/或虚拟空间中远离用户的位置0.5m、1m、5m、10m、25m或50m)的第二位置处。在一些示例中，可根据输入设备的移动生成声音，其中基于虚拟指针元素的移动的特性(例如，速度)和/或虚拟指针元素的材料性质来调整声音的一个或多个特性(例如，音量、强度、音高)。以此方式，将声音与输入设备的移动结合和/或在生成虚拟对象时结合声音可提供更逼真且更沉浸式虚拟体验。

图1示出了根据本公开的一些示例的显示计算机生成的环境的电子设备。在一些示例中，电子设备100是便携式电子设备，诸如平板计算机、膝上型计算机、智能电话或包括显示生成部件的另一设备。下面参照图2A至图2B的框图来描述电子设备100的示例性架构。在一些示例中，电子设备100可显示三维环境。在一些示例中，三维环境(例如，扩展现实(XR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境和/或增强现实(AR)环境)由电子设备诸如计算机***生成、显示或以其他方式使得能够通过该电子设备查看。例如，物理环境通过电子设备的显示生成部件的透明部分(例如，真的或真实透传)可见。在一些示例中，物理环境的表示经由显示生成部件在三维环境中显示。在一些示例中，物理环境是指人们在具有或不具有电子设备帮助的情况下可对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。

如图1所示，电子设备100正在呈现包括真实世界物理对象和虚拟对象的三维环境102(例如，计算机生成的环境)。如图所示，物理环境110可包括诸如输入设备(未示出)和椅子108的真实世界对象，并且真实世界对象的对应表示(例如，输入设备104和椅子108B)被显示在三维环境102中。三维环境102包括从输入设备104的一部分偏移的虚拟指针元素106以及根据输入设备104的移动生成的一个或多个生成虚拟对象。在一些示例中，电子设备100显示虚拟对象112(例如，无穷大符号)，而在三维环境102中不显示电子设备100物理地位于的物理环境的各部分(例如，三维环境中的一些内容或所有内容是虚拟内容)。相反地，在一些示例中，电子设备100捕获电子设备100周围的物理环境110的一个或多个图像并且在三维环境102中显示物理环境110的表示。例如，在图1中，电子设备100在三维环境102中正显示椅子的虚拟表示108B以及所生成的虚拟对象112。因此，三维环境102任选地重新创建物理环境110的各部分，使得三维环境对电子设备100的用户而言显现成好像用户物理地位于物理环境110中(例如，任选地从用户在物理环境中的当前位置的视角来看以及在用户当前正面向的方向上)那样。

图2A至图2B示出了根据本公开的一些示例的***或设备的架构的示例性框图。在一些示例中，设备200为便携式设备，诸如移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。如图2A所示，设备200任选地包括各种传感器(例如，一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218、一个或多个存储器220和/或通信电路222。一个或多个通信总线208任选地用于设备200的上述部件之间的通信。

通信电路222任选地包括用于与电子设备、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路222任选地包括用于使用近场通信(NFC)和/或短程通信诸如进行通信的电路。

处理器218任选地包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器(DSP)。在一些示例中，存储器220是存储计算机可读指令的非暂态计算机可读存储介质(例如，闪存存储器、随机存取存储器，或其他易失性或非易失性存储器或存储装置)，这些计算机可读指令被配置为由处理器218执行以执行下文所述的技术、过程和/或方法。在一些示例中，存储器220包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行***、装置和设备使用或与其结合的任何介质(例如，不包括信号)。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘，以及持久性固态存储器诸如闪存、固态驱动器等。

显示器生成部件214任选地包括单个显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些示例中，显示生成部件214包括多个显示器。在一些示例中，显示生成部件214包括具有触敏表面(例如，触摸屏)、投影仪、全息投影仪、视网膜投影仪等的显示器。

在一些示例中，设备200包括被配置为接收用户输入(触摸和/或接近输入)(诸如，轻击输入和轻扫输入或其他手势)的触敏表面209。在一些示例中，显示生成部件214和触敏表面209一起形成触敏显示器(例如，与设备200集成的触摸屏或在设备200外部与设备200通信的触摸屏)。

图像传感器206任选地包括一个或多个可见光图像传感器，诸如电荷耦合器件(CCD)传感器，以及/或者可操作以从真实世界环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器206任选地包括一个或多个红外(IR)或近红外(NIR)传感器，诸如无源或有源IR或NIR传感器，以用于检测来自真实世界环境的红外或近红外光。例如，有源IR传感器包括用于将红外光发射到真实世界环境中的IR发射器。图像传感器206任选地包括被配置为捕获真实世界环境中的物理对象的移动的一个或多个相机。图像传感器206任选地包括被配置为检测物理对象与设备200的距离的一个或多个深度传感器。在一些示例中，来自一个或多个深度传感器的信息可以允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些示例中，一个或多个深度传感器可以允许设备确定真实世界环境中的对象的纹理和/或形貌。

在一些示例中，设备200组合地使用CCD传感器、事件相机和深度传感器来检测设备200周围的物理环境。在一些示例中，图像传感器206包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器一起工作，并且任选地被配置为捕获真实世界环境中的物理对象的不同信息。在一些示例中，第一图像传感器是可见光图像传感器，并且第二图像传感器是深度传感器。在一些示例中，设备200使用图像传感器206来检测设备200和/或显示生成部件214在真实世界环境中的位置和取向。例如，设备200使用图像传感器206来跟踪显示生成部件214相对于真实世界环境中的一个或多个固定对象的位置和取向。

在一些示例中，设备200任选地包括手部跟踪传感器202和/或眼睛跟踪传感器212。手部跟踪传感器202被配置为跟踪相对于计算机生成的环境、相对于显示器生成部件214以及/或者相对于另一坐标系的用户的手部和/或手指的位置/定位，以及/或者用户的手部和/或手指的运动。眼睛跟踪传感器212被配置为跟踪用户的目光(更一般地，眼睛、面部和/或头部)相对于真实世界或计算机生成的环境和/或相对于显示生成部件214的位置和移动。在一些示例中，手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214一起实施(例如，在相同的设备中)。在一些示例中，手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214分开实施(例如，在不同的设备中)。

在一些示例中，手部跟踪传感器202使用从包括一只或多只手的真实世界捕获三维信息的图像传感器206(例如，一个或多个IR相机、3D相机、深度相机等)。在一些示例中，可以用足够的分辨率来分辨手部，以区分手指及其相应的位置。在一些示例中，一个或多个图像传感器206相对于用户定位以定义图像传感器的视场和交互空间，在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如，与用户的休息中的手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如，手势)的有利之处可能在于，手指/手部用于输入提供了不需要用户触摸或握持输入设备的输入方式，并且使用图像传感器允许跟踪而不需要用户在手部/手指上佩戴信标或传感器等。

在一些示例中，眼睛跟踪传感器212包括一个或多个眼睛跟踪相机(例如，IR相机)和/或向用户的眼睛发射光的照明源(例如，IR光源/LED)。眼睛跟踪相机可指向用户的眼睛，以直接或间接地从眼睛接收来自光源的反射光。在一些示例中，通过相应的眼睛跟踪相机和照明源单独地跟踪两只眼睛，并且可通过跟踪两只眼睛来确定目光。在一些示例中，通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如，主眼)。

设备200任选地包括麦克风213或其他音频传感器。设备200使用麦克风213来检测来自用户和/或用户的真实世界环境的声音。在一些示例中，麦克风213包括任选地一起操作的麦克风阵列(例如，以标识环境噪声或定位真实世界环境的空间中的声源)。

设备200任选地包括被配置为检测设备200和/或显示生成部件214的位置的位置传感器204。例如，位置传感器204任选地包括从一个或多个卫星接收数据并且允许设备200确定该设备在物理世界中的绝对位置的GPS接收器。

设备200任选地包括被配置为检测设备200和/或显示生成部件214的取向和/或移动的运动和/或取向传感器210。例如，设备200使用取向传感器210来跟踪设备200和/或显示生成部件214的位置和/或取向(例如，相对于真实世界环境中的物理对象)的变化。取向传感器210任选地包括一个或多个陀螺仪、一个或多个加速度计和/或一个或多个惯性测量单元(IMU)。

应当理解，图2A的架构是示例性架构，但***/设备200不限于图2A的部件和配置。例如，设备/***可包括处于相同或不同配置的更少的、附加的或其他的部件。在一些示例中，如图2B所示，设备200可与第二电子设备(例如，输入设备)诸如以上先前所描述的输入设备104通信。如图2B中所示，在一些示例中，***250可包括输入设备260(例如，对应于图1中的输入设备104)和电子设备270(例如，对应于以上参照图2A描述的设备200)。例如，如图2B所示，输入设备260任选地包括任选地通过通信总线208A进行通信的处理器218A、一个或多个存储器220A、通信电路222A以及一个或多个传感器224(例如，输入传感器诸如按钮、触敏表面等)。电子设备270(例如，对应于设备200)任选地包括各种传感器(例如，一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218B、一个或多个存储器220B和/或通信电路222B。一个或多个通信总线208B任选地用于设备270的上述部件之间的通信。设备260和设备270的部件的细节类似于上文关于设备200所讨论的对应的部件，并且为简洁起见在此不再重复。输入设备260和电子设备270任选地经由两个设备之间的有线或无线连接(例如，经由通信电路222A-222B)进行通信。

可以使用电子设备(例如，电子设备100、设备200、设备260)来显示计算机生成的环境，包括使用一个或多个显示生成部件。计算机生成环境可任选地包括各种图形用户界面(“GUI”)和/或用户界面元素/对象。现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选地)一个或多个相机的计算机***(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的示例。图3A至图3D示出了根据本公开的一些示例的用于根据来自输入设备的输入、输入设备的移动以及输入设备的移动相对于虚拟指针元素的移动的平移生成虚拟对象的示例性方式。

图3A至图3D示出了根据本公开的一些示例的使用虚拟指针元素106示例性地生成一个或多个虚拟对象306。如图所示，在图3A中，示出了包括真实世界物理对象(例如，手302、输入设备104和虚拟对象306(例如，无穷大符号))的三维环境102。如图所示，用户的手302被示出为握持输入设备104并且在一个或多个方向上移动输入设备104，以生成可在电子设备100的显示器上查看的虚拟对象306。例如，当生成虚拟对象306时，用户的手302在三维(3D)空间中从点A移动到点B，其中点A和点B具有对应的位置数据(例如，x、y、z空间坐标)。在一些示例中，虚拟指针元素106任选地表示用于在3D空间中创建虚拟对象的绘制工具或涂画工具的尖端。虚拟指针元素106可具有任何视觉特性诸如形状、大小、颜色，并且/或者可表示具有对应材料性质的特定对象和/或材料(例如，乳胶涂料、丙烯酸涂料、喷涂涂料、复合树脂、墨、玻璃、黏固粉或金属)。例如，虚拟指针元素106可以是对象诸如绿色喷涂涂料，该对象在用于生成虚拟对象306时类似于在真实世界物理环境中表面上喷涂涂料的感觉。

在一些示例中，虚拟指针元素106从输入设备104的一部分偏移一定偏移距离D，以使得能够在三维环境102中期望位置处生成虚拟对象306。例如，如果用户希望在位于距用户不可及距离处的墙壁上生成虚拟对象306(例如，无穷大符号)，则可经由输入设备104选择可选择特征。在一些示例中，输入设备104可任选地接收来自用户的输入以设置虚拟指针元素106的期望偏移距离。如图3A所示，虚拟指针元素106从输入设备104的末端部分向虚拟指针元素106的中心偏移一定距离D。

在一些示例中，当在三维环境102中生成虚拟对象时，用户的手302在物理环境中以不同速度和速度在各个方向上移动。例如，如图3A所示，在生成虚拟对象306(例如，无穷大符号)期间的一定时间点处，用户的手302被标识在包括第一位置(例如，点A)和第二位置(例如，点B)的一个或多个位置处。在一些示例中，当用户的手302移动以在三维环境中生成虚拟对象时，用户的手302在物理环境中在各个方向上移动，该手任选地由一个或多个手部跟踪传感器202跟踪和监视，如以上参照图2A至图2B所讨论。在一些示例中，输入设备104的移动基于一对一关系相对于虚拟指针元素106的移动平移，而不会在输入设备104和虚拟指针元素106之间发生任何延迟或等待时间。在一些示例中，由于输入设备104的移动和虚拟指针元素106的移动之间的一对一关系，相应的移动被精确地映射，这可使得在所生成的虚拟对象306中显现不期望的伪影(例如，因握手和/或犹豫引起的缺陷)。

在一些示例中，当生成虚拟对象306时，(例如，如图4中进一步所描述的)弹性模型任选地应用于输入设备104的移动相对于虚拟指针元素106的移动的平移。在一些示例中，弹性模型实施物理，该物理应用于输入设备的移动相对于虚拟指针元素的移动的平移、虚拟指针元素106的移动以及在三维环境中所生成的虚拟对象306。弹性模型实施任选地包括但不限于连续力学、弹性、线性动量、弹性势能、动能、平移惯性和/或材料性质的各种物理定律。例如，当应用弹性模型时，物理在3D环境中实施，并且任选地将材料性质分配给在3D环境中交互的元素。因此，当输入设备104移动时，虚拟指针元素106以延迟(或偏移)响应的方式对输入设备104的移动作出响应，从而增强虚拟体验并且使体验更逼真。

例如，如果选择乳胶涂料以表示用于在3D环境中生成虚拟对象306的虚拟指针元素106，则虚拟指针元素106将具有对应于乳胶涂料的对应材料性质(例如，质量、密度、弹性模量等)。因为虚拟指针元素106对应于乳胶涂料并且包括对应的质量、密度和其他材料性质，所以输入设备104的移动将由于与虚拟指针元素106相关联的对应质量而引起虚拟指针元素106的移动的延迟响应。在一些示例中，延迟响应取决于偏移距离D和/或与虚拟指针元素106相关联的质量的量。例如，如图3A所示，如果虚拟指针元素106表示质量为4.5kg(10磅)并且偏移距离为3米(例如，10英尺)的金属材料，则与质量为1kg(例如，2.2磅)并且偏移距离为1米(例如，3.2英尺)的聚合物材料相比，从点A到点B的延迟响应将更大。

如图3A所示，在一些示例中，虚拟表示304是当输入设备104动态地移动时或者当输入设备104停留在静态位置时输入设备104和虚拟指针元素106之间的关系的视觉表示。在一些示例中，当输入设备104移动，同时生成虚拟对象306时，虚拟表示304形成指示在输入设备104的移动和虚拟指针元素106的移动之间存在延迟响应的曲率形状。在一些示例中，虚拟表示304表示输入设备104(例如，虚拟输入设备)在3D环境中的扩展。在一些示例中，当实施弹性模型时，相应材料类型和/或相应配置(例如，杆、管等)应用于虚拟表示304，这任选地使得虚拟表示304以与该虚拟表示在真实世界物理环境中将如何反应一致的方式移动和反应。例如，如果虚拟表示304表示由石墨材料制成的圆柱形杆，则虚拟表示304可包括对应于石墨材料的弹性性质，诸如弹性模量、剪切模量和体积模量，这些弹性性质是与石墨材料的变形阻力以及该石墨材料变形和恢复到其原始形状的能力相关的特性。

在一些示例中，如果输入设备104保持在静态位置并且并不移动，则虚拟表示304的形状与在移动期间虚拟表示304的形状相比将更加线性，因为在将输入设备保持在静态位置时将施加更少的力。在一些示例中，应用弹性模型减少和/或消除可发生在虚拟对象306中的伪影，因为在输入设备104的移动和虚拟指针元素的移动之间引入的延迟在生成虚拟对象306时对虚拟指针元素106提供更大可控性。在一些示例中，如果弹性模型并未应用于输入设备104的移动相对于虚拟指针元素106的移动的平移，则虚拟表示304保持线性形状直线。因为相应材料类型和对应质量并未应用于虚拟表示304和/或虚拟指针元素106，所以输入设备104的移动不会使得对虚拟表示304施加任何弯曲应力或力，从而虚拟指针元素106以与输入设备104一对一的关系以一定偏移距离D移动并且在虚拟指针元素106和输入设备104之间具有最小延迟。

在一些示例中，当应用弹性模型时，虚拟指针元素106的延迟响应在输入设备104移动，同时生成虚拟对象306时使得虚拟对象306的一部分在3D环境中位置上偏移。在一些示例中，基于发生在输入设备104和虚拟指针元素106之间的延迟量，虚拟对象306在3D环境的位置上偏移。例如，输入设备104和虚拟指针元素106之间的较大延迟量可导致虚拟对象的一部分相对于由输入设备的移动指示的位置的较大偏移量。在一些示例中，输入设备104和虚拟指针元素106之间的延迟量可基于各种因素，诸如形状、大小、配置、偏移距离D(例如，从输入设备104的末端部分到虚拟指针元素106的距离)和/或应用于虚拟指针元素106和/或虚拟表示304的材料。例如，参照图3A，与具有聚合物材料性质的虚拟指针元素106相比，具有金属材料性质的虚拟指针元素106将具有更大质量。继续该示例，当输入设备104移动时，与对应于聚合物材料的虚拟指针元素106相比，对应于金属材料的虚拟指针元素106将具有更大延迟，因为更大质量使得在输入设备的移动相对于虚拟指针元素的移动平移中存在更大延迟。在一些示例中，给定输入设备104的相同移动，与对应于聚合物材料的虚拟指针元素106相比，对应于金属材料的虚拟指针元素106将响应于输入设备的移动而具有更慢加速度速度(例如，切向和/或成角)，因为金属材料的质量大于聚合物材料的质量。在一些示例中，与由具有聚合物性质的虚拟指针元素106创建的虚拟对象相比，由具有金属性质的虚拟指针元素106生成的虚拟对象306在位置上将具有更大偏移。在一些示例中，与由具有聚合物性质的虚拟指针元素106创建的虚拟对象相比，由具有金属性质的虚拟指针元素106生成的虚拟对象306在位置上将具有相同偏移。在一些示例中，与由具有聚合物性质的虚拟指针元素106创建的虚拟对象相比，由具有金属性质的虚拟指针元素106生成的虚拟对象306在位置上将具有更小偏移。各种虚拟指针元素的位置上的偏移任选地是可配置的(例如，响应于用户输入而是用户可配置的)。因此，在3D环境中生成虚拟对象306的实际位置将不对应于虚拟对象306的预期位置(例如，无一对一关系)，因为虚拟指针元素106的延迟响应使得虚拟对象在偏移位置处生成。

在图3A至图3C中，虚拟对象306任选地是三维对象。例如，图3A中的虚拟对象306的几何中心任选地不与虚拟对象306的任何部分重叠。例如，图3A中的虚拟对象306的一些部分与虚拟对象306的其他部分相比在深度上更接近于用户的视点，诸如关于如图3A中从用户的视点来看虚拟对象306的第一部分(例如，与正交于页面并且穿过虚拟对象306的几何中心的线相交的部分)在虚拟对象306的第二部分前面所示出的。在一些示例中，电子设备200基于弹性模型(例如，参照图4描述的弹性模型)，诸如基于线性动量、弹性势能、动能和/或影响弹性模型(例如，参照图4描述的弹性模型)或受该弹性模型影响的其他因素的改变来改变深度坐标。在一些示例中，电子设备200基于输入设备104的移动来调制(例如，改变)虚拟指针元素106的z深度位置。例如，响应于输入设备104的向上移动(例如，输入设备104的向上平移移动和/或输入设备104的尖端朝向向上方向(例如，与重力方向相反)的旋转移动)，电子设备200任选地增加虚拟指针元素106相对于用户位置的z深度位置，并且响应于输入设备104的向下移动(例如，输入设备104的向下平移移动和/或输入设备104的尖端朝向向下方向(例如，重力方向)的旋转移动)，电子设备200任选地减少虚拟指针元素106相对于用户位置的z深度位置。又如，响应于输入设备104的向上移动(例如，输入设备104的向上平移移动和/或输入设备104的尖端朝向向上方向(例如，与重力方向相反)的旋转移动)，电子设备200任选地减小虚拟指针元素106相对于用户位置的z深度位置，并且响应于输入设备104的向下移动(例如，输入设备104的向下平移移动和/或输入设备104的尖端朝向向下方向(例如，重力方向)的旋转移动)，电子设备200任选地增加虚拟指针元素106相对于用户位置的z深度位置。

图3B示出了根据本公开的示例的在生成虚拟对象306时的一定时间点处输入设备104和虚拟指针元素106之间的关系。如图所示，用户的手302被示出为使用输入设备104来在3D环境102中生成虚拟对象306(例如，“∞”)。在一些示例中，虚拟指针元素106从输入设备104的一部分偏移一定偏移距离D，以使得能够在3D环境102中期望位置处生成虚拟对象306。在一些示例中，输入设备104的移动和虚拟指针元素106的移动之间的关系基于任选地应用的弹性模型。在一些示例中，弹性模型实施物理并且将材料性质应用于(例如，诸如参照图3A所描述的)虚拟指针元素106、虚拟对象306和/或虚拟表示304，使得在3D环境中与虚拟元素的交互与它将如何好像这些虚拟元素是真实世界物理对象那样一致地反应(例如，在重力和物理的影响下)。

在一些示例中，所生成的虚拟对象306的一部分基于相对于由输入设备104的移动指示的位置的平移(例如，输入设备104的移动向虚拟指针元素106的移动的平移)来在位置上偏移。如上所述，在一些示例中，当应用弹性模型时，输入设备104的移动将引起虚拟指针元素106的移动的延迟响应(例如，虚拟指针元素106表现为好像其具有惯性并且抵抗移动的变化那样)。在一些示例中，当输入设备104正在移动时，根据确定输入设备104的跃度、加速度和/或速度是第一量，虚拟指针元素106的跃度、加速度和/或速度任选地是不同于(例如，小于或大于)第一量的第二量，并且根据确定输入设备104的跃度、加速度和/或速度是不同于第一量的第三量，虚拟指针元素106的跃度、加速度和/或速度任选地是不同于(例如，小于或大于)第二量的第四量。如图3B所示，当生成虚拟对象306时，在不应用弹性模型的情况下，虚拟指针元素106的移动的延迟响应使得虚拟指针元素106在相应时间处位于位置E处，而不是在相应时间处位于作为虚拟指针元素106的预期位置的位置F处。因此，虚拟对象的一部分基于相对于由输入设备的移动指示的位置(例如，位置F)的平移来在位置上偏移(例如，从位置E到位置F的距离)。

图3C示出了根据本公开的示例的在生成虚拟对象306时的一定时间点处输入设备104和虚拟指针元素106之间的关系。在一些示例中，虚拟指针元素106可设置为具有任何视觉特性，使得所生成的虚拟对象306可实现期望外观。例如，虚拟指针元素106可具有任何视觉特性诸如形状、大小、颜色，并且/或者可表示特定对象和/或材料(例如，乳胶涂料、丙烯酸涂料、喷涂涂料、复合树脂、墨、玻璃、黏固粉或金属)。例如，如图所示，物理项诸如绿色喷涂涂料被选择并应用于虚拟指针元素106并且用于生成虚拟对象306。当使用虚拟指针元素106创建虚拟对象306时，虚拟对象306可与所选择的物理项具有相同物理特性和外观。

图3D示出了根据本公开的一些示例的输入设备在3D环境中朝向虚拟画架310投射虚拟指针元素106以生成虚拟艺术品312a-312b(例如，涂料泼溅)。如图3D所示，3D环境包括输入设备104(例如，真实世界物理对象)、虚拟指针元素106、虚拟画架310、以及显示在虚拟画架310上的虚拟艺术品312a-312b。在一些示例中，虚拟指针元素106从输入设备104的一部分偏移一定偏移距离D。虚拟指针元素106可具有任何视觉特性诸如形状、大小、颜色，并且/或者可表示具有对应材料性质的特定对象和/或材料(例如，乳胶涂料、丙烯酸涂料、喷涂涂料、复合树脂、墨、玻璃、黏固粉或金属)。例如，如图3D所示，具有质量和密度的彩弹球应用于虚拟指针元素106。输入设备104用于将虚拟指针元素106对着虚拟画架310的显示表面抛掷，以创建虚拟艺术品312a-312b。因为虚拟指针元素106由具有质量的彩弹球表示，所以(例如，如以上参照图3A所讨论的)虚拟表示304形成曲率形状并且表示输入设备104和彩弹球(例如，虚拟指针元素106)之间的关系。当输入设备104用于将彩弹球朝向虚拟画架310的表面抛掷时，彩弹球沿飞行路径308移动并且接触虚拟画架310的显示表面以生成虚拟艺术品312a-312b。

在一些示例中，弹性模型实施物理，该物理应用于输入设备104的移动相对于虚拟指针元素106(例如，彩弹球)的移动的平移。在一些示例中，弹性模型包括牛顿运动定律，该牛顿运动定律可在将彩弹球朝向虚拟画架310抛掷时用于确定彩弹球的飞行路径308(例如，轨迹)。轨迹(例如，飞行路径)是移动对象(例如，彩弹球)在重力作用下沿循的路径。使用牛顿运动公式，飞行路径308和轨迹范围(例如，从虚拟指针元素106到虚拟画架310的距离)可基于参数诸如但不限于彩弹球的速度、发射角度和初始高度来确定。因此，为了从一定距离抛掷彩弹球使得该彩弹球可到达虚拟画架310的表面，输入设备104的用户可调整抛掷彩弹球的速度，调整抛掷彩弹球的发射角度和/或调整抛掷彩弹球的高度。在一些示例中，彩弹球响应于检测到达到输入设备104(和/或虚拟输入设备502)的阈值取向，在特定方向(例如，向前方向)上达到输入设备104(和/或虚拟输入设备502)的阈值速度，达到输入设备104(和/或虚拟输入设备502)的阈值跃度(例如，加速度的变化)，或者达到另一类型的阈值而变成射弹或类射弹。在一些示例中，彩弹球的轨迹不受重力影响。例如，彩弹球的轨迹任选地基于抛掷彩弹球的发射角度，而不受重力的影响。在一些示例中，当将彩弹球朝向在三维环境102中可见的真实表面(例如，或真实表面的表示)发射时，电子设备200在真实表面上生成虚拟312a-312b。例如，***任选地确定将接触彩弹球的真实表面的位置，并且当彩弹球到达真实表面时，电子设备在真实表面上的对应位置处显示虚拟艺术品。

图4示出了根据本公开的一些示例的示出用于弹性模型402的相应输入的示例性框图。当生成虚拟对象时任选地应用弹性模型402。在一些示例中，弹性模型将物理实施于虚拟环境中的用户交互，使得交互受物理定律支配。例如，如以上参照图3D所讨论，当跨房间抛掷彩弹球(例如，虚拟指针元素106)时，彩弹球受重力的影响，并且可应用牛顿运动定律以确定彩弹球行进的距离及其沿飞行路径的对应轨迹。通过在图3D所示的示例中实施弹性模型，彩弹球在虚拟环境中行进的路径可与该彩弹球在真实世界环境中将行进的方式一致，从而通过使虚拟体验更逼真来改进该虚拟体验。

如图4所示，弹性模型402被配置为任选地包括一个或多个物理分支，该一个或多个物理分支包括但不限于线性动量404、弹性势能406、动能408、牛顿运动定律410和平移惯性412。在一些示例中，弹性模型任选地接收材料性质414作为输入。一般来讲，线性动量404是对象的运动量的测量结果。线性动量可由如下公式表示：P＝(m)(v)，其中m是对象的质量，并且v是对象行进的速度。例如，参照图3A，虚拟指针元素106表示具有1kg的质量和2m/s的速度的丙烯酸涂料。速度(例如，速度和方向)任选地基于输入设备的移动相对于虚拟指针元素的移动的平移，而质量任选地基于材料性质414的类型。当虚拟指针元素106在3D环境中移动以使用丙烯酸涂料生成虚拟对象时，虚拟指针元素106具有2kg-m/s的对应线性动量。

弹性势能406是作为施加力以使弹性对象变形的结果存储的能量。能量被存储直到力被移除并且对象弹回其原始形状，从而在该过程中做功。变形可涉及压缩、拉伸或扭曲对象。弹性势能可由如下公式表示：其中k是对应于正存储弹性势能的对象的弹簧常数，并且Δx是对象被压缩或拉伸的距离。例如，参照图3A，如果虚拟表示304表示由铝材料制成的圆柱形杆并且虚拟指针元素106表示具有2kg质量的金属对象，则金属对象的重量可使得虚拟表示304伸展(或弯曲)。例如，施加在虚拟表示304的末端(例如，虚拟表示的触摸虚拟指针元素106的末端)处的金属对象的重量可使得虚拟表示304从其未拉伸(或未弯曲)状态拉伸(或弯曲)0.1米。因此，如果虚拟表示304具有0.81N/M的弹性常数，则虚拟表示304可存储/>的弹性势能。弹性势能任选地响应于输入设备104的移动相对于虚拟指针元素的移动的平移而被增大或释放。

动能408是对象因其运动而具有的能量。在一些示例中，动能是将给定质量的主体从静止加速到特定速度所需的功。例如，动能是对象因其运动诸如行走、跌倒、扔球、驾驶汽车等而产生的能量。动能可由以下公式表示：其中m是运动中的对象的质量，并且v是对象移动的速度。例如，参照图3D，当用户朝向画架抛掷彩弹球(例如，虚拟指针元素106)时，彩弹球具有可基于该彩弹球的质量和抛掷彩弹球的速度来确定的对应动能。在一些示例中，平移惯性412是当运动中的对象经受净外部力时由该对象提供的阻力或反向力的量度。换句话讲，平移惯性是对象将施加到外部相反力的阻力。在一些示例中，各种材料和对象的材料性质414可用作弹性模型的输入。

在一些示例中，弹性模型402利用虚假离心力。例如，电子设备200任选地基于输入设备104的角速度来改变偏移量(例如，图5的D2)，以便模拟因在虚拟表示的运动期间施加在虚拟表示304上的表观离心力而造成的图3B的虚拟表示304的纵向延伸。例如，响应于检测到输入设备104的角速度高于阈值速度(和/或响应于检测到输入设备104的角速度)，电子设备任选地基于角速度的量来增大图3B的虚拟表示304的距离(例如，纵向距离)，使得与输入设备104的更低角速度相比，输入设备104的更高角速度任选地导致虚拟表示304的更高纵向延伸。应当注意，在一些示例中，虚拟表示304因虚拟重力而弯曲，并且因此，甚至输入设备104的仅平移移动也可导致虚拟表示304的纵向延伸。

在一些示例中，弹性模型402利用对应于与电子设备接触的手姿势(例如，手位置和/或手取向)的输入来确定弹性参数。例如，当手302握持输入设备104时，根据确定手302的已与输入设备104接触并且最靠近输入设备104的尖端的位置是第一位置，弹性模型402任选地将第一弹性参数(例如，弹簧常数或另一弹性参数)设置为具有第一值，并且根据确定手302的已与输入设备104接触并且最靠近输入设备104的尖端的位置是电子设备上的与第一位置相比更靠近输入设备104的末端的第二位置，弹性模型402任选地将第一弹性参数设置为具有不同于第一值的第二值。继续该示例，与当第一弹性参数设置为第一值时相比，当第一弹性参数设置为第二值时，虚拟指针元素106任选地表现为具有更小弹性。

图5示出了从输入设备104的一部分偏移的虚拟输入设备502和虚拟指针元素106。在一些示例中，输入设备104任选地是便携式设备，诸如移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。在一些示例中，虚拟输入设备502包括一个或多个可选择特征，该一个或多个可选择特征可选择成在距输入设备104的末端部分的偏移距离处呈现虚拟输入设备502和/或虚拟指针元素106。例如，输入设备104的用户可分别针对虚拟输入设备502和虚拟指针元素106选择偏移距离D1(例如，0.2cm、0.5cm、0.1cm、2cm、3cm、5cm、10cm、15cm、30cm、80cm、150cm、200cm、5m、10m、15m、20m或小于偏移距离D2的另一距离)和偏移距离D2(例如，0.2cm、0.5cm、1cm、2cm、3cm、5cm、10cm、20cm、40cm、100cm、200cm、500cm、10m、12m、15m、20m或大于偏移距离D1的另一距离)。在一些示例中，偏移距离D1被定义为从输入设备104的第二部分到虚拟输入设备502的第一部分的距离。在一些示例中，偏移距离D2被定义为从输入设备104的第二部分到虚拟指针元素106的中心点的距离。

在一些示例中，输入设备104包括滑块控制特征，该滑块控制特征使得用户能够物理地激活滑块控制(例如，通过向前滑动滑块控制特征以延伸偏移距离或者向下滑动该滑块控制特征以减小偏移距离)以在距输入设备的一部分的期望偏移距离处显示虚拟输入设备502和虚拟指针元素106。在一些示例中，虚拟输入设备502包括一个或多个可选择特征，该一个或多个可选择特征选择成将特定材料类型或对象类型分配给虚拟指针元素106和/或虚拟表示304(例如，如以上参照图3A所讨论的)。例如，可通过选择输入设备104上的可选择特征中的一个可选择特征来向虚拟指针元素106分配红色丙烯酸涂料。在一些示例中，虚拟输入设备502包括可用于控制与虚拟对象相关联的一个或多个视觉特性(诸如形状、大小和/或颜色)的一个或多个可选择特征。在一些示例中，根据确定偏移距离(例如，投影在地上的图5的D1)是第一距离(任选地，当虚拟对象生成被发起时或刚好在这之前)，输入设备502具有第一大小，并且根据确定偏移距离(例如，投影在地上的图5的D1)是小于第一距离的第二距离(任选地，当虚拟对象生成被发起时或刚好在这之前)，输入设备502具有小于第一大小的第二大小。

在一些示例中，输入设备104任选地包括惯性测量单元(IMU)、压电传感器、加速计、陀螺仪和/或无线通信电路。在一些示例中，IMU被配置为检测输入设备104的运动和/或取向。在一些示例中，可确定输入设备104的特定取向和/或输入设备104的移动模式，这可指示使用输入设备104进行用户涂画、绘制和/或抛掷。在一些示例中，压电传感器被配置为检测施加到输入设备104的力的量。在一些示例中，压电传感器被配置为检测高于阈值或低于阈值的力。在一些示例中，压电传感器可沿输入设备104的外壳的内部表面(与外壳的可选择特征位于其上的侧面相对)设置。在一些示例中，加速计512被配置为测量电子设备的线性加速度。

在一些示例中，陀螺仪被配置为确定输入设备104的取向的改变。在一些示例中，陀螺仪和加速计可组合地确定输入设备104在三维物理空间中的位置和/或取向的改变。在一些示例中，陀螺仪可确定电子设备的角速度。在一些示例中，无线通信电路可将数据发射到另一电子设备或从另一电子设备接收数据，该另一电子设备诸如按钮或按键、鼠标、跟踪球、操纵杆、触摸传感器面板、触摸屏、头戴式耳机、手写笔、移动电话、计算***等。在一些示例中，无线通信电路被配置为将输入设备104的位置特性发射到电子设备(诸如HMD)以生成虚拟对象。尽管描述了无线通信电路506，但应当理解，可使用其他有线通信接口。在一些示例中，无线和/或有线通信接口可包括但不限于蜂窝、蓝牙和/或Wi-Fi通信接口。

图6示出了示出虚拟指针元素106的速度对强度的关系的各种声音特性的曲线图。在一些示例中，电子设备100包括音频扬声器，该音频扬声器被配置为使得音频扬声器根据输入设备104和/或虚拟指针元素106的移动生成声音。在一些示例中，声音特性可基于输入设备104和/或虚拟指针元素106的移动的特性来调整声音特性。如图6所示，示出对应于声音的音量602和音高604的声音特性的曲线图。一般来说，虚拟指针元素106(或输入设备104)的速度的增大影响声音的音量和音高的强度。例如，如图所示，声音的音量602随着虚拟指针元素106的速度增大而增大。在另一示例中，声音的音高604随着虚拟指针元素106的速度增大而增大。例如，参照图3D，可根据彩弹球(例如，虚拟指针元素106)朝向虚拟画架310移动生成声音。在一些示例中，彩弹球行进的速度越高，对应声音的音量越大和/或音高越大。在一些示例中，当彩弹球与虚拟画架310的表面碰撞时，音频扬声器生成对应于该碰撞的声音。

在一些示例中，可基于与虚拟指针元素106相关联的大小、配置、材料类型和/或对象类型来生成声音。例如，参照图3D，在虚拟指针元素106对着墙壁被投射并且破碎的情形下，与玻璃饮用杯相比，对应于大玻璃花瓶的虚拟指针元素将生成具有更大音量和更大音高的声音。在一些示例中，可基于虚拟指针元素的速度超过预定阈值来生成声音。在一些示例中，响应于超过预定阈值，电子设备的音频扬声器被配置为根据虚拟指针元素的速度生成声音。

在一些示例中，可基于与虚拟指针元素106相关联的事件或动作来生成声音。例如，响应于虚拟指针元素106绘制虚拟对象，虚拟指针元素106被拉伸以及/或者虚拟指针元素106与另一对象接触或碰撞而生成声音。例如，参照图3A，当移动输入设备104并且使用虚拟指针元素106来对虚拟对象306喷涂涂料时，所生成的音频声音被渲染为类似于从加压容器释放气溶胶的声音效果。在一些示例中，电子设备200将不同类型的音频(例如，不同歌曲或声音)与不同虚拟指针元素相关联，任选地使得第一类型的音频用于根据确定第一类型的虚拟指针元素在操作中重放，并且不同于第一类型的音频的第二类型的音频用于根据确定不同于第一类型的虚拟指针元素的第二类型的虚拟指针元素在操作中重放。

图7是示出根据本公开的示例的其中电子设备使用虚拟指针元素生成虚拟对象的方法的流程图。该方法可在包括如以上参照图1至图6所描述的***/设备250的电子设备200处或在任何其他合适的设备处执行。

如上所述，方法700提供其中电子设备可使用从输入设备104的一部分偏移的虚拟指针元素106生成虚拟对象的方式。通过根据输入、输入设备的移动、输入设备的移动相对于虚拟指针元素的移动的平移以及任选地弹性模型来生成虚拟对象，可生成具有不期望的伪影(例如，因握手和/或犹豫引起的缺陷)的虚拟对象。电子设备可以是移动电话、个人计算机、媒体播放器、平板计算机、可穿戴设备等、或包括触摸屏的任何其他设备。

在一些示例中，电子设备被配置为检测(702)输入设备。在一些示例中，输入设备可以是控制器、移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。在一些示例中，电子设备被配置为使用显示器呈现(704)从输入设备104的一部分偏移的虚拟指针元素106。在一些示例中，偏移量可以是由电子设备的用户指定的任何距离。偏移距离可经由输入设备的可选择特征接收。在一些示例中，虚拟指针元素106任选地表示用于在3D空间中创建虚拟对象的绘制工具或涂画工具的尖端。虚拟指针元素106可具有任何视觉特性，诸如形状、大小、颜色，并且/或者可表示特定对象和/或材料。在一些示例中，电子设备使用显示器同时呈现(例如，显示)虚拟指针元素(例如，图1的虚拟指针元素106)、虚拟输入设备(例如，图5的虚拟输入设备502)和虚拟表示(例如，图3A的虚拟表示304)。

在一些示例中，电子设备被配置为接收(706)请求使用虚拟指针元素生成虚拟对象的输入。例如，请求生成虚拟对象的输入可来自输入设备，其中输入设备的用户选择可选择选项以发起请求。在一些示例中，电子设备被配置为当生成虚拟对象时根据输入、输入设备的移动以及输入设备104的移动相对于虚拟指针元素106的移动的平移生成(708)虚拟对象。例如，用户可握持输入设备104并且在各个方向上移动输入设备，使得虚拟指针元素106可在3D环境中生成虚拟对象。因为虚拟指针元素106从输入设备104偏移一定距离，所以可通过调整偏移距离来在3D环境内的任何位置处生成虚拟对象。在一些示例中，虚拟对象的至少一部分基于相对于由输入设备的移动指示的位置的平移来在位置上偏移。例如，在一些示例中，当输入设备104移动时，虚拟指针元素106被延迟，这使得所生成的虚拟对象的一部分在位置上偏移。虚拟指针元素106中的延迟导致在3D环境中一定位置处创建虚拟对象，该位置在3D环境中从对象的预期位置偏移。在一些示例中，可根据弹性模型生成虚拟对象。在一些示例中，弹性模型可将材料性质应用于虚拟指针元素，并且输入设备的移动与虚拟指针元素的移动的交互可在各种物理模式下受弹性模型的影响。

图8是示出根据本公开的一些示例的其中电子设备使得根据输入设备的移动生成声音的方法800的流程图。该方法可在包括如以上参照图1至图6所描述的***/设备250的电子设备200处或在任何其他合适的设备处执行。

如上所述，方法800提供电子设备可使得基于输入设备104的移动特性来生成声音的方式。通过使得根据输入设备的移动(例如，经由音频扬声器)来生成声音，可连同虚拟对象的生成一起提供听觉反馈，如上所述。电子设备可以是移动电话、个人计算机、媒体播放器、平板计算机、可穿戴设备等、或包括显示器的任何其他设备。

在一些示例中，电子设备被配置为检测(802)输入设备。在一些示例中，输入设备可以是控制器、移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。在一些示例中，电子设备被任选地配置为使用显示器呈现(804)从输入设备104的一部分(或从输入设备104的表示)偏移的虚拟指针元素106。在一些示例中，偏移量可以是由电子设备的用户指定的任何距离。偏移距离可经由输入设备的可选择特征接收。在一些示例中，虚拟指针元素106任选地表示用于在3D空间中创建虚拟对象的绘制工具或涂画工具的尖端。虚拟指针元素106可具有任何视觉特性，诸如形状、大小、颜色，并且/或者可表示特定对象和/或材料。

在一些示例中，电子设备被配置为接收(806)包括输入设备104的移动的输入。例如，输入可包括生成虚拟对象的请求，其中输入设备在发起请求之后由输入设备的用户移动。在一些示例中，电子设备被配置为使得(808)音频扬声器(例如，图2B中的扬声器216)根据确定输入设备104的移动满足一个或多个标准生成声音，其中声音的特性基于输入设备104的移动的特性来调整。例如，当握持输入设备104的用户在各个方向上移动输入设备时，音频扬声器修改声音的特性(例如，使得虚拟指针元素106可在3D环境中生成虚拟对象，如以上先前所讨论的)。在一些示例中，声音的特性包括音高或音量，并且基于移动的特性来调整声音的特性包括根据移动的速度的增大(和/或移动方向的改变)增加音高或音量。在一些示例中，一个或多个标准包括当输入设备的移动超过速度阈值时满足的标准或者当输入设备的移动超过加速度阈值时满足的标准，如以上先前所讨论的。如本文所述，移动通常是指具有相关联的速度和/或加速度的位置/取向的变化。

图9是示出根据本公开的一些示例的其中电子设备更新虚拟指针元素的特性的方法900的流程图。该方法可在包括如以上参照图1至图6所描述的***/设备250的电子设备200处或在任何其他合适的设备处执行。

如上所述，方法900提供其中电子设备可调整从输入设备104的一部分偏移的虚拟指针元素106的特性的方式。通过响应于接收到请求对虚拟指针元素106的特性进行调整的输入而调整虚拟指针元素106的特性，可改变使用虚拟指针元素生成的虚拟对象的视觉外观。电子设备可以是移动电话、个人计算机、媒体播放器、平板计算机、可穿戴设备等、或包括显示器的任何其他设备。

在一些示例中，电子设备被配置为检测(902)输入设备。在一些示例中，输入设备可以是控制器、移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。在一些示例中，电子设备被配置为使用显示器呈现(904)从输入设备104的一部分偏移的虚拟指针元素106。在一些示例中，偏移量可以是由电子设备的用户指定的任何距离。偏移距离可经由输入设备的可选择特征接收。在一些示例中，虚拟指针元素106任选地表示用于在3D空间中创建虚拟对象的绘制工具或涂画工具的尖端。虚拟指针元素106可具有任何视觉特性，诸如形状、大小、颜色，并且/或者可表示特定对象和/或材料。

在一些示例中，电子设备被配置为接收(906)请求对虚拟指针元素的特性进行调整的输入。例如，请求对虚拟指针元素的特性进行调整的输入可来自输入设备，其中输入设备的用户选择可选择选项来发起请求。在一些示例中，电子设备被配置为调整(908)虚拟指针元素的特性，其中虚拟指针元素的特性包括虚拟指针元素从输入设备的一部分的偏移的量或虚拟指针的视觉特性。例如，握持输入设备104的用户可改变虚拟指针元素的特性以改变使用虚拟指针元素106生成的虚拟对象在3D环境中的外观。在一些示例中，视觉特性包括改变虚拟指针的大小。

因此，根据以上所述，本公开的一些示例涉及一种电子设备，包括：显示器；以及处理电路，该处理电路被配置为：检测输入设备；使用该显示器呈现从该输入设备的一部分偏移的虚拟指针元素；接收请求使用该虚拟指针元素生成虚拟对象的输入；并且响应于该输入，根据该输入设备的移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成该虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

附加地或另选地，在一些示例中，根据弹性模型生成该虚拟对象。附加地或另选地，在一些示例中，该弹性模型被配置为应用线性动量关系、弹性势能关系、动能关系、平移惯性关系、牛顿运动定律关系或它们的任何组合以生成该虚拟对象。附加地或另选地，在一些示例中，该虚拟指针元素根据该弹性模型在三维环境中沿路径穿行。附加地或另选地，在一些示例中，该输入设备的该移动相对于该虚拟指针元素的该移动的该平移在生成该虚拟对象时引起延迟响应。附加地或另选地，在一些示例中，该虚拟指针元素具有一个或多个对应材料性质，该一个或多个对应材料性质使得该虚拟指针元素根据该弹性模型使用该一个或多个对应材料性质在该三维环境中移动。附加地或另选地，在一些示例中，这些材料性质包括质量、密度、弹性模量或它们的任何组合。

附加地或另选地，在一些示例中，该虚拟指针元素具有真实世界对象的一个或多个对应特性，使用该虚拟指针元素生成的该虚拟对象包括该真实世界对象的一个或多个对应特性。附加地或替代地，在一些示例中，该输入设备包括被配置为接收请求调整该偏移的量的输入的一个或多个传感器，并且该处理电路被进一步配置为：根据请求调整该偏移的该量的该输入调整该虚拟指针元素从该输入设备的该部分的该偏移的量。附加地或另选地，在一些示例中，该输入设备包括被配置为接收请求调整该虚拟指针元素的视觉特性的输入的一个或多个传感器，并且该处理电路被进一步配置为：根据请求调整该虚拟指针元素的该视觉特性的该输入调整该虚拟指针元素的该视觉特性。附加地或另选地，在一些示例中，该电子设备还包括：音频扬声器。在一些示例中，该处理电路被进一步配置为：使得该音频扬声器根据确定该输入设备的该移动满足一个或多个标准生成声音，其中该声音的特性基于该移动的特性来调整。

附加地或另选地，在一些示例中，该声音的该特性包括音高或音量，并且基于该移动的特性来调整该声音的该特性包括根据该移动的速度的增大增加该音高或该音量。附加地或另选地，在一些示例中，该一个或多个标准包括当该输入设备的该移动超过速度阈值时满足的标准或者当该输入设备的该移动超过加速度阈值时满足的标准。

本公开的一些示例涉及一种电子设备，包括：显示器；以及处理电路，该处理电路被配置为：检测输入设备；使用该显示器呈现从该输入设备的一部分偏移的虚拟指针元素；接收包括该输入设备的移动的输入；并且使得音频扬声器根据确定该输入设备的该移动满足一个或多个标准生成声音，其中该声音的特性基于该输入设备的该移动的特性来调整。

附加地或另选地，在一些示例中，该电子设备还包括：该音频扬声器，或者该输入设备包括该音频扬声器。附加地或另选地，在一些示例中，该声音的该特性包括音高或音量，并且基于该移动的特性来调整该声音的该特性包括根据该移动的速度的增大增加该音高或该音量。附加地或另选地，在一些示例中，该一个或多个标准包括当该输入设备的该移动超过速度阈值时满足的标准或者当该输入设备的该移动超过加速度阈值时满足的标准。附加地或另选地，在一些示例中，该处理电路被进一步配置为：使用该显示器呈现从该输入设备的一部分偏移的虚拟指针元素；并且响应于该输入，根据该输入设备的该移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

附加地或另选地，在一些示例中，该处理电路被进一步配置为：使得该音频扬声器根据该虚拟指针元素的移动生成该声音。

附加地或另选地，在一些示例中，使得该音频扬声器根据该虚拟指针元素的该移动生成该声音包括根据确定该虚拟指针元素的速度是第一速度，该声音的音量或音高是第一音量或音高，并且根据确定该虚拟指针元素的速度是大于该第一速度的第二速度，该声音的音量或音高是大于该第一音量或音高的第二音量或音高。

附加地或另选地，在一些示例中，该处理电路被配置为：基于与该虚拟指针元素相关联的配置、材料类型和/或对象类型来生成该声音，使得根据确定与该虚拟指针元素相关联的该配置、材料类型和/或对象类型是与该虚拟指针元素相关联的第一配置、材料类型和/或对象类型，该声音的音量或音高是第一音量或音高，并且根据确定与该虚拟指针元素相关联的该配置、材料类型和/或对象类型是不同于与该虚拟指针元素相关联的该第一配置、材料类型和/或对象类型的与该虚拟指针元素相关联的第二配置、材料类型和/或对象类型，该声音的音量或音高是大于该第一音量或音高的第二音量或音高。

本公开的一些示例涉及一种电子设备，包括：显示器；以及处理电路，该处理电路被配置为：检测输入设备；使用该显示器呈现从该输入设备的一部分偏移的虚拟指针元素；接收请求调整该虚拟指针元素的特性的输入；并且调整该虚拟指针元素的该特性，其中该虚拟指针元素的该特性包括该虚拟指针元素从该输入设备的该部分的该偏移的量或该虚拟指针元素的视觉特性。

附加地或另选地，在一些示例中，该处理电路被进一步配置为：接收请求使用该虚拟指针元素生成虚拟对象的输入；并并且响应于该输入，根据该输入设备的移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成该虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

本公开的一些示例涉及一种方法，包括：检测输入设备；使用显示器呈现从该输入设备的一部分偏移的虚拟指针元素；接收请求使用该虚拟指针元素生成虚拟对象的输入；以及响应于该输入，根据该输入设备的移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成该虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

附加地或另选地，在一些示例中，根据弹性模型生成该虚拟对象。附加地或另选地，在一些示例中，该弹性模型被配置为应用线性动量关系、弹性势能关系、动能关系、平移惯性关系、牛顿运动定律关系或它们的任何组合以生成该虚拟对象。附加地或另选地，在一些示例中，该虚拟指针元素根据该弹性模型在三维环境中沿路径穿行。附加地或另选地，在一些示例中，该输入设备的该移动相对于该虚拟指针元素的该移动的该平移在生成该虚拟对象时引起延迟响应。附加地或另选地，在一些示例中，该虚拟指针元素具有一个或多个对应材料性质，该一个或多个对应材料性质使得该虚拟指针元素根据该弹性模型使用该一个或多个对应材料性质在该三维环境中移动。附加地或另选地，在一些示例中，这些材料性质包括质量、密度、弹性模量或它们的任何组合。

附加地或另选地，在一些示例中，该虚拟指针元素具有真实世界对象的一个或多个对应特性，使用该虚拟指针元素生成的该虚拟对象包括该真实世界对象的一个或多个对应特性。附加地或另选地，在一些示例中，该输入设备包括被配置为接收请求调整该偏移的量的输入的一个或多个传感器。在一些示例中，该方法还包括：根据请求调整该偏移的该量的该输入调整该虚拟指针元素从该输入设备的该部分的该偏移的量。

附加地或另选地，在一些示例中，该输入设备包括被配置为接收请求调整该虚拟指针元素的视觉特性的输入的一个或多个传感器。在一些示例中，该方法还包括：根据请求调整该虚拟指针元素的该视觉特性的该输入调整该虚拟指针元素的该视觉特性。附加地或另选地，在一些示例中，该方法还包括：使得音频扬声器根据确定该输入设备的该移动满足一个或多个标准生成声音，其中该声音的特性基于该移动的特性来调整。附加地或另选地，在一些示例中，该声音的该特性包括音高或音量，并且基于该移动的特性来调整该声音的该特性包括根据该移动的速度的增大增加该音高或该音量。附加地或另选地，在一些示例中，该一个或多个标准包括当该输入设备的该移动超过速度阈值时满足的标准或者当该输入设备的该移动超过加速度阈值时满足的标准。

本公开的一些示例涉及一种方法，包括：检测输入设备；接收包括该输入设备的移动的输入；以及使得音频扬声器根据确定该输入设备的该移动满足一个或多个标准生成声音，其中该声音的特性基于该输入设备的该移动的特性来调整。

附加地或另选地，在一些示例中，该声音的该特性包括音高或音量，并且基于该移动的特性来调整该声音的该特性包括根据该移动的速度的增大增加该音高或该音量。

附加地或另选地，在一些示例中，该一个或多个标准包括当该输入设备的该移动超过速度阈值时满足的标准或者当该输入设备的该移动超过加速度阈值时满足的标准。

附加地或另选地，在一些示例中，该方法包括：使用显示器呈现从该输入设备的一部分偏移的虚拟指针元素；以及响应于该输入，根据该输入设备的该移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

附加地或另选地，在一些示例中，该方法包括：使得该音频扬声器根据该虚拟指针元素的移动生成该声音。

附加地或另选地，在一些示例中，使得该音频扬声器根据该虚拟指针元素的该移动生成该声音包括根据确定该虚拟指针元素的速度是第一速度，该声音的音量或音高是第一音量或音高，并且根据确定该虚拟指针元素的速度是大于该第一速度的第二速度，该声音的音量或音高是大于该第一音量或音高的第二音量或音高。

附加地或另选地，在一些示例中，该方法包括：基于与该虚拟指针元素相关联的配置、材料类型和/或对象类型来生成该声音，其中根据确定与该虚拟指针元素相关联的该配置、材料类型和/或对象类型是与该虚拟指针元素相关联的第一配置、材料类型和/或对象类型，该声音的音量或音高是第一音量或音高，并且根据确定与该虚拟指针元素相关联的该配置、材料类型和/或对象类型是不同于与该虚拟指针元素相关联的该第一配置、材料类型和/或对象类型的与该虚拟指针元素相关联的第二配置、材料类型和/或对象类型，该声音的音量或音高是大于该第一音量或音高的第二音量或音高。

本公开的一些示例涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，这些指令在由电子设备的处理电路执行时使得该电子设备执行包括以下的方法：检测输入设备；接收包括该输入设备的移动的输入；以及使得音频扬声器根据确定该输入设备的该移动满足一个或多个标准生成声音，其中该声音的特性基于该输入设备的该移动的特性来调整。

附加地或另选地，在一些示例中，该声音的该特性包括音高或音量，并且基于该移动的特性来调整该声音的该特性包括根据该移动的速度的增大增加该音高或该音量。

附加地或另选地，在一些示例中，该一个或多个标准包括当该输入设备的该移动超过速度阈值时满足的标准或者当该输入设备的该移动超过加速度阈值时满足的标准。

附加地或另选地，在一些示例中，该方法包括：使用显示器呈现从该输入设备的一部分偏移的虚拟指针元素；以及响应于该输入，根据该输入设备的该移动以及该输入设备的该移动相对于该虚拟指针元素的移动的平移生成虚拟对象，其中该虚拟对象的至少一部分从由该输入设备的该移动指示的位置偏移。

附加地或另选地，在一些示例中，该方法包括：使得该音频扬声器根据该虚拟指针元素的移动生成该声音。

附加地或另选地，在一些示例中，使得该音频扬声器根据该虚拟指针元素的该移动生成该声音包括根据确定该虚拟指针元素的速度是第一速度，该声音的音量或音高是第一音量或音高，并且根据确定该虚拟指针元素的速度是大于该第一速度的第二速度，该声音的音量或音高是大于该第一音量或音高的第二音量或音高。

本公开的一些示例涉及一种方法，包括：检测输入设备；使用显示器呈现从该输入设备的一部分偏移的虚拟指针元素；接收请求调整该虚拟指针元素的特性的输入；以及调整该虚拟指针元素的该特性，其中该虚拟指针元素的该特性包括该虚拟指针元素从该输入设备的该部分的该偏移的量或该虚拟指针元素的视觉特性。

本公开的一些示例涉及非暂态计算机可读存储介质。该非暂态计算机可读存储介质可存储指令，这些指令在由包括处理电路的电子设备执行时可使得该处理电路执行上述方法中的任何一种方法。

尽管参照附图对本公开的示例进行了全面的描述，但应注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由所附权利要求所限定的本公开的示例的范围内。

Claims (40)

1.一种电子设备，包括：

显示器；和

处理电路，所述处理电路被配置为：

检测输入设备；

使用所述显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；

接收请求使用所述虚拟指针元素生成虚拟对象的输入；以及

响应于所述输入，根据所述输入设备的移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成所述虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

2.根据权利要求1所述的电子设备，其中根据弹性模型生成所述虚拟对象。

3.根据权利要求2所述的电子设备，其中所述弹性模型被配置为应用线性动量关系、弹性势能关系、动能关系、平移惯性关系、牛顿运动定律关系或它们的任何组合以生成所述虚拟对象。

4.根据权利要求2所述的电子设备，其中所述虚拟指针元素根据所述弹性模型在三维环境中沿路径穿行。

5.根据权利要求1所述的电子设备，其中所述输入设备的所述移动相对于所述虚拟指针元素的所述移动的所述平移在生成所述虚拟对象时引起延迟响应。

6.根据权利要求2所述的电子设备，其中所述虚拟指针元素具有一个或多个对应材料性质，所述一个或多个对应材料性质使得所述虚拟指针元素根据所述弹性模型使用所述一个或多个对应材料性质在三维环境中沿路径移动。

7.根据权利要求6所述的电子设备，其中所述材料性质包括质量、密度、弹性模量或它们的任何组合。

8.根据权利要求1所述的电子设备，其中所述虚拟指针元素具有真实世界对象的一个或多个对应特性，使用所述虚拟指针元素生成的所述虚拟对象包括所述真实世界对象的一个或多个对应特性。

9.根据权利要求1所述的电子设备，其中所述输入设备包括被配置为接收请求调整所述偏移的量的输入的一个或多个传感器，并且所述处理电路被进一步配置为：根据请求调整所述偏移的所述量的所述输入调整所述虚拟指针元素从所述输入设备的所述部分的所述偏移的量。

10.根据权利要求1所述的电子设备，其中所述输入设备包括被配置为接收请求调整所述虚拟指针元素的视觉特性的输入的一个或多个传感器，并且所述处理电路被进一步配置为：根据请求调整所述虚拟指针元素的所述视觉特性的所述输入调整所述虚拟指针元素的所述视觉特性。

11.根据权利要求1所述的电子设备，还包括：

音频扬声器；

其中所述处理电路被进一步配置为：使得所述音频扬声器根据确定所述输入设备的所述移动满足一个或多个标准生成声音，其中所述声音的特性基于所述移动的特性来调整。

12.根据权利要求11所述的电子设备，其中所述声音的所述特性包括音高或音量，并且基于所述移动的特性来调整所述声音的所述特性包括根据所述移动的速度的增大增加所述音高或所述音量。

13.根据权利要求11所述的电子设备，其中所述一个或多个标准包括当所述输入设备的所述移动超过速度阈值时满足的标准或者当所述输入设备的所述移动超过加速度阈值时满足的标准。

14.一种方法，包括：

检测输入设备；

使用显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；

接收请求使用所述虚拟指针元素生成虚拟对象的输入；以及

响应于所述输入，根据所述输入设备的移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成所述虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

15.根据权利要求14所述的方法，其中根据弹性模型生成所述虚拟对象。

16.根据权利要求15所述的方法，其中所述弹性模型被配置为应用线性动量关系、弹性势能关系、动能关系、平移惯性关系、牛顿运动定律关系或它们的任何组合以生成所述虚拟对象。

17.根据权利要求15所述的方法，其中所述虚拟指针元素根据所述弹性模型在三维环境中沿路径穿行。

18.根据权利要求14所述的方法，其中所述输入设备的所述移动相对于所述虚拟指针元素的所述移动的所述平移在生成所述虚拟对象时引起延迟响应。

19.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下的方法：

检测输入设备；

使用显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；

接收请求使用所述虚拟指针元素生成虚拟对象的输入；以及

响应于所述输入，根据所述输入设备的移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成所述虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

20.根据权利要求19所述的非暂态计算机可读存储介质，其中根据弹性模型生成所述虚拟对象。

21.一种电子设备，包括：

显示器；和

处理电路，所述处理电路被配置为：

检测输入设备；

接收包括所述输入设备的移动的输入；以及

使得音频扬声器根据确定所述输入设备的所述移动满足一个或多个标准生成声音，其中所述声音的特性基于所述输入设备的所述移动的特性来调整。

22.根据权利要求21所述的电子设备，其中所述声音的所述特性包括音高或音量，并且基于所述移动的特性来调整所述声音的所述特性包括根据所述移动的速度的增大增加所述音高或所述音量。

23.根据权利要求21所述的电子设备，其中所述一个或多个标准包括当所述输入设备的所述移动超过速度阈值时满足的标准或者当所述输入设备的所述移动超过加速度阈值时满足的标准。

24.根据权利要求21所述的电子设备，其中所述处理电路被进一步配置为：

使用所述显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；以及

响应于所述输入，根据所述输入设备的所述移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

25.根据权利要求24所述的电子设备，其中所述处理设备被进一步配置为：

使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音。

26.根据权利要求25所述的电子设备，其中使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音包括：

根据确定所述虚拟指针元素的速度是第一速度，所述声音的音量或音高是第一音量或音高；以及

根据确定所述虚拟指针元素的速度是大于所述第一速度的第二速度，所述声音的音量或音高是大于所述第一音量或音高的第二音量或音高。

27.根据权利要求25所述的电子设备，其中所述处理电路被配置为：基于与所述虚拟指针元素相关联的配置、材料类型和/或对象类型来生成所述声音，使得：

根据确定与所述虚拟指针元素相关联的所述配置、材料类型和/或对象类型是与所述虚拟指针元素相关联的第一配置、材料类型和/或对象类型，所述声音的音量或音高是第一音量或音高；以及

根据确定与所述虚拟指针元素相关联的所述配置、材料类型和/或对象类型是不同于与所述虚拟指针元素相关联的所述第一配置、材料类型和/或对象类型的与所述虚拟指针元素相关联的第二配置、材料类型和/或对象类型，所述声音的音量或音高是大于所述第一音量或音高的第二音量或音高。

28.一种方法，包括：

检测输入设备；

接收包括所述输入设备的移动的输入；以及

使得音频扬声器根据确定所述输入设备的所述移动满足一个或多个标准生成声音，其中所述声音的特性基于所述输入设备的所述移动的特性来调整。

29.根据权利要求28所述的方法，其中所述声音的所述特性包括音高或音量，并且基于所述移动的特性来调整所述声音的所述特性包括根据所述移动的速度的增大增加所述音高或所述音量。

30.根据权利要求28所述的方法，其中所述一个或多个标准包括当所述输入设备的所述移动超过速度阈值时满足的标准或者当所述输入设备的所述移动超过加速度阈值时满足的标准。

31.根据权利要求28所述的方法，包括：

使用显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；以及

响应于所述输入，根据所述输入设备的所述移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

32.根据权利要求31所述的方法，包括：

使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音。

33.根据权利要求32所述的方法，其中使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音包括：

根据确定所述虚拟指针元素的速度是第一速度，所述声音的音量或音高是第一音量或音高；以及

根据确定所述虚拟指针元素的速度是大于所述第一速度的第二速度，所述声音的音量或音高是大于所述第一音量或音高的第二音量或音高。

34.根据权利要求32所述的方法，包括：基于与所述虚拟指针元素相关联的配置、材料类型和/或对象类型来生成所述声音，其中：

根据确定与所述虚拟指针元素相关联的所述配置、材料类型和/或对象类型是与所述虚拟指针元素相关联的第一配置、材料类型和/或对象类型，所述声音的音量或音高是第一音量或音高；并且

根据确定与所述虚拟指针元素相关联的所述配置、材料类型和/或对象类型是不同于与所述虚拟指针元素相关联的所述第一配置、材料类型和/或对象类型的与所述虚拟指针元素相关联的第二配置、材料类型和/或对象类型，所述声音的音量或音高是大于所述第一音量或音高的第二音量或音高。

35.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的处理电路执行时，使得所述电子设备执行包括以下的方法：

检测输入设备；

接收包括所述输入设备的移动的输入；以及

使得音频扬声器根据确定所述输入设备的所述移动满足一个或多个标准生成声音，其中所述声音的特性基于所述输入设备的所述移动的特性来调整。

36.根据权利要求35所述的非暂态计算机可读存储介质，其中：

所述声音的所述特性包括音高或音量，并且基于所述移动的特性来调整所述声音的所述特性包括根据所述移动的速度的增大增加所述音高或所述音量。

37.根据权利要求35所述的非暂态计算机可读存储介质，其中所述一个或多个标准包括当所述输入设备的所述移动超过速度阈值时满足的标准或者当所述输入设备的所述移动超过加速度阈值时满足的标准。

38.根据权利要求35所述的非暂态计算机可读存储介质，其中所述方法包括：

使用显示器呈现从所述输入设备的一部分偏移的虚拟指针元素；以及

响应于所述输入，根据所述输入设备的所述移动以及所述输入设备的所述移动相对于所述虚拟指针元素的移动的平移生成虚拟对象，其中所述虚拟对象的至少一部分从由所述输入设备的所述移动指示的位置偏移。

39.根据权利要求38所述的非暂态计算机可读存储介质，其中所述方法包括：

使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音。

40.根据权利要求39所述的非暂态计算机可读存储介质，其中使得所述音频扬声器根据所述虚拟指针元素的移动生成所述声音包括：

根据确定所述虚拟指针元素的速度是第一速度，所述声音的音量或音高是第一音量或音高；以及

根据确定所述虚拟指针元素的速度是大于所述第一速度的第二速度，所述声音的音量或音高是大于所述第一音量或音高的第二音量或音高。