CN111240465B - 具有用于采样对象属性的手指设备的计算机*** - Google Patents

Abstract

本发明题为“具有用于采样对象属性的手指设备的计算机***”。***可以包括电子设备。电子设备可以包括被配置为被佩戴在用户的手指上的手指设备，并且可以包括其他电子设备。电子设备可以包括传感器。传感器可以测量关于与现实世界对象相关联的现实世界对象物理属性诸如表面轮廓和纹理的信息。所测量的物理属性可以被用于在计算机生成的现实环境中为用户重建所采样的物理对象。在呈现计算机生成的内容期间，可以呈现基于现实世界对象的所测量的视觉属性、音频属性、触觉属性和/或其他物理属性的视觉内容、音频内容、触觉内容和/或其他内容。可以使用头戴式设备、触觉设备和手指设备中的其他输出设备、和/或其他输出设备来呈现内容。

Description

具有用于采样对象属性的手指设备的计算机***

本专利申请要求2019年4月22日提交的美国专利申请No.16/390,521以及2018年11月29日提交的临时专利申请No.62/772,957的优先权，这些专利申请据此全文以引用方式并入本文。

技术领域

本发明整体涉及电子***，并且更具体地涉及具有电子设备诸如指戴式电子设备的***。

背景技术

电子设备(诸如计算机)可使用计算机鼠标和其他输入附件来控制。在计算机生成现实***中，可以使用力反馈手套来控制虚拟对象。移动电话可具有用于响应于触摸输入来创建触觉反馈的触摸屏显示器和振动器。

诸如这些设备对于用户来说可能不方便，可能是麻烦的或者不舒服的，或者可能提供不真实的输出。

发明内容

***可以包括电子设备。电子设备可以包括被配置为佩戴在用户的手指上的手指设备，并且可以包括头戴式设备和其他电子设备。电子设备可以包括传感器。当用户与用户周围环境中的现实世界对象交互时，一个或多个传感器可以被用于测量关于与现实世界对象相关联的现实世界对象物理属性的信息。所测量的物理属性可以包括属性诸如表面轮廓、纹理、对象颜色或其他视觉属性、温度、声学属性、力-距离特性、重量、和/或其他物理属性。

所测量的物理属性可以被用于为用户重建所采样物理对象的一部分的物理行为。例如，所采样的纹理可以叠加在正在计算机生成现实环境中呈现的对象的一部分上。在呈现计算机生成的内容期间，可以呈现包括现实世界对象的所测量的视觉属性、音频属性、触觉属性和/或其他所采样物理属性的视觉内容、音频内容、触觉内容和/或其他内容。可以利用头戴式设备、触觉设备和手指设备中的其他输出设备、和/或电子设备中的其他输出设备来呈现内容。

附图说明

图1为根据实施方案的具有电子设备的例示性***的示意图，所述电子设备用于对用户环境中的对象进行测量以及在用户与虚拟和现实世界对象交互时为用户提供输出。

图2为根据实施方案的已放置手指设备的用户的例示性手指的俯视图。

图3为根据实施方案的处于用户手指上的例示性手指设备的横截面侧视图。

图4为根据实施方案的例示性头戴式设备的俯视图，该头戴式设备具有被配置为支承显示器的支承结构和传感器诸如前置相机和凝视***。

图5为根据实施方案的例示性现实世界对象的透视图，用户在利用手指设备采集测量和/或接收输出时与所述现实世界对象交互。

图6、图7、图8、和图9为根据实施方案的示出例示性手指设备可以如何在采集现实世界对象上的测量中被使用的图示。

图10为根据实施方案的正利用例示性手指设备进行测量的具有可移动机构诸如按钮的现实世界对象的图示。

图11和图12为根据实施方案的与图10的可移动机构相关联的例示性所测量属性的图示。

图13、图14、和图15为根据实施方案的示出现实世界对象属性可以如何在现实世界对象上被测量以及被剪切粘贴或以其他方式结合到具有现实和虚拟内容的环境中的图示。

图16为根据实施方案的与操作具有电子设备的***相关联的例示性操作的流程图。

具体实施方式

电子设备可以被用于采集用户输入以及为用户提供输出。例如，电子设备可以捕捉关于用户周围环境中现实世界对象的物理属性的信息。位置传感器诸如惯性测量单元和能检测运动和位置的其他传感器、力传感器、图像传感器和其他传感器可以被用于在用户与物理世界交互时采集现实世界对象物理属性的测量值。纹理、视觉图案、所测量对象形状、和其他现实世界信息的样本可以被采集和存储。在使用回放装置诸如指戴式设备、头戴式设备和/或其他电子装置时，所取样的现实世界属性可以被提供给用户。所采样的现实世界对象属性可以例如在用户与现实世界和计算机生成内容交互时利用触觉输出设备、音频和视觉输出设备、和/或其他输出设备而被提供给用户。

允许用户采集现实世界对象物理属性的测量值并且为将所采样的属性提供给用户的电子***可以包括电子设备，诸如蜂窝电话和计算机。如果需要，电子***可以包括被配置为安置在用户身体上的可穿戴电子设备。例如，电子***可以包括被配置为佩戴在用户一个或多个手指上的设备。有时可以被称为手指设备或指戴式设备的这些设备可以被用于采集输入和提供输出。例如，手指设备可以包括测量对象表面形状以及对所施加的压力进行响应的传感器。现实世界对象的视觉外观和其他物理属性也可以利用手指设备中的传感器电路来测量。

可穿戴电子设备诸如头戴式设备也可以被用于测量现实世界对象的物理属性。当用户与真实对象和/或虚拟对象交互时，所采样的现实世界对象物理属性可以利用可穿戴电子设备被回放给用户。例如，当用户触摸现实世界对象时，可以利用手指设备中的触觉输出部件重建所采样的现实世界纹理。视觉内容诸如所采样的现实世界视觉属性也可以被提供给用户。例如，头戴式设备中的显示器可以被用于将现实世界对象的先前所采样的表面外观重叠到另一现实世界对象上。如果需要，在用户正与现实世界和虚拟内容交互时，来自手指设备或其他装置的触觉输出以及来自头戴式设备的视觉输出可以被同时并且彼此协调地提供给用户。

如果需要，其他输入可以利用一个或多个可穿戴电子设备或其他电子设备来采集，并且其他输出可以在用户正在使用电子***时被提供给用户。使用手指设备来采集输入和提供对应的触觉输出以及使用头戴式显示器来为用户显示视觉内容是例示性的。

在采样期间，用户可以利用一个或多个手指设备、头戴式设备和/或其他电子设备来测量现实世界对象物理属性。这些设备也可以在***操作期间采集用户输入。在回放操作期间，电子***可以为用户提供基于所采样的现实世界对象物理属性的计算机生成的内容(有时被称为虚拟内容)和/或可以为用户提供其他计算机生成的内容。用户输入可以被用于移动虚拟对象以及以其他方式控制***操作。如果需要，用户可以在与现实世界对象交互时接收来自电***的输出。例如，对应于先前所采样的现实世界对象纹理的触觉输出可以在用户正触摸现实世界对象时被提供给用户。这样，所采样现实世界纹理的计算机生成版本可以重叠在现实世界表面上的纹理上和/或可以替代与用户正在触摸的现实世界对象相关联的现实世界纹理。在一些配置中，触觉输出和其他输出可以在用户的手指正移动穿过空气而不接触任何现实世界对象时被提供。

触觉输出、视觉输出、音频输出和/或其他输出(例如，热等)可以由电子***中的一个或多个设备提供。一个或多个设备也可以被用于采集用户输入。在一些配置中，用户可以在使用电子***生成计算机生成的现实环境时使用手指设备。这种***可以包括生成视觉和音频输出的一个或多个电子设备诸如头戴式装置。头戴式设备可以包括具有显示器、并且如果需要的话还具有扬声器的眼镜、护目镜、头盔、或其他设备。在操作期间，手指设备可以采集用户输入，诸如关于手指设备与周围环境之间的交互(例如，用户手指与环境之间的交互，包括手指运动和与为用户显示的虚拟内容相关联的其他交互)的信息。用户输入可用于控制显示器上的视觉输出。在操作期间可以提供对应的触觉输出。这个触觉输出可以包括先前所采样的现实世界对象物理属性，诸如对象形状、纹理、对压力的响应等，并且可以利用手指设备而被提供给用户的手指。例如，触觉输出可用于在用户触摸真实对象时或当用户触摸虚拟对象时向用户的手指提供期望的纹理感觉。触觉输出也可以被用于创建止动器和其他触觉效果，产生使正悬停在空间中的虚拟对象对于触摸而言表现得真实的力反馈。

可将手指设备佩戴在用户任何或全部手指上(例如，食指、中指和拇指，用户一只手上的三个用户手指，双手上的一些或全部手指等)。为了在用户与周围对象交互时增强用户触摸的灵敏度，手指设备可具有倒U形状，或具有允许手指设备被佩戴在用户的指尖的顶部和侧面上同时使用户的指垫(finger pad)露出的其他结构。这允许用户在使用期间用用户手指的指垫部分来触摸对象。如果需要，可在用户的手指上、指关节之间和/或用户手指的其他部分上佩戴手指设备。在本文中有时将手指设备在用户的指尖上的使用描述为示例。

用户可使用手指设备与任何合适的电子装置进行交互。例如，用户可以使用一个或多个手指设备来与提供计算机生成现实环境的电子***交互。这个装置可以包括具有显示器的头戴式设备，并且如果需要的话还包括相关联的主机***，诸如头戴式显示器访问的计算机和/或云计算装置和/或利用主机***访问的云计算装置。计算机生成现实装置也可以包括设备诸如平板电脑、蜂窝电话、手表、耳塞、触笔、或其他附件、和/或其他电子装置。在一些***中，手指设备可以通过其他电子设备诸如触摸和/或力敏感触觉输出手套(有时被称为计算机生成现实控制器手套)、操纵杆、触摸板、触笔、键盘、计算机鼠标、和/或其他输入-输出设备来增强或替代。

图1是可以包括用于对现实世界对象物理属性进行采样的一个或多个手指设备和/或其他输入-输出设备的类型的例示性***的示意图。如图1所示，***8可包括电子设备，诸如手指设备10和其他电子设备24。每个手指设备10可被佩戴在用户手上的一根手指上。***8中的附加电子设备诸如设备24可以包括设备，诸如膝上型计算机、包含嵌入式计算机的计算机监视器、平板电脑、台式计算机(例如、具有集成计算机处理器和其他计算机电路的支架上的显示器)、蜂窝电话、媒体播放器、或其他手持或便携式电子设备、小型设备诸如腕表设备、挂件设备、头戴式耳机或耳机设备，头戴式设备诸如佩戴在用户头上的眼镜、护目镜、头盔或其他装置、或其他可穿戴或微型设备、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、遥控器、导航设备、嵌入式***诸如其中装置被安装在信息亭、汽车、飞机或其他交通工具中的***，可拆卸的电子装置外部箱壳、带子、腕带或发箍、可拆卸的设备盖、具有带子或具有其他结构以容纳和携带电子装置和其他物品的箱子或包、项链或手臂带、可以***电子装置或其他物品的钱包、袖子、口袋或其他结构、椅子、沙发或其他座椅的一部分(例如、靠垫或其他座椅结构)、衣物或其他可穿戴物品(例如、帽子、腰带、手腕带、发箍、袜子、手套、衬衫、裤子等)的一部分、鼠标、触控板、触笔、耳塞、或其他附件、或实现这些设备中两者或更多者的功能的装置。

如果需要，设备24可以包括基于云的计算装置(例如，通过互联网或其他广域网和/或通过局域网访问的一台或多台计算机)。网络通信路径可以是有线的和/或无线的。有时可以被称为服务器或在线计算机的基于云的计算机可以被用于存储所采样的现实世界对象物理属性和其他共享和/或用户生成的内容的库。例如，来自给定用户的所采样纹理可以被上载到在线计算机，然后被下载以用于供该用户或另一用户的计算机生成现实***使用。

在一些布置中，单个设备24(例如，头戴式设备)可以与一个或多个设备10一起使用。在其他布置中，多个设备24(例如，头戴式设备和相关联的主机计算机或者头戴式设备、主机计算机、和在线计算机)可以在具有一个或多个设备10的***8中使用。在另外的配置中，***8仅包括一个或多个设备10(例如，头戴式设备、蜂窝电话或指戴式设备等)。***10包括一个或多个设备10和一个或多个设备24的配置在本文中有时可以作为示例来描述。

对于一种例示性配置，设备10是具有具有抓握用户手指的U形主体的指戴式外壳(手指设备外壳)或者具有其他被配置为抵靠用户手指的形状的指戴式外壳的指戴式设备，并且设备(24)是蜂窝电话、平板电脑、膝上型计算机、腕表设备、头戴式设备、具有扬声器的设备、或其他电子设备(例如，具有显示器、音频部件和/或其他输出部件的设备)。具有U形外壳的手指设备可具有相对的左侧和右侧，相对的左侧和右侧配置为容纳用户的手指和顶部外壳部分，该顶部外壳部分联接该左侧和右侧并且与用户的指甲重叠。

设备10和设备24可包括控制电路12和控制电路26。控制电路12和控制电路26可包括用于支持***8的操作的存储和处理电路。存储和处理电路可以包括诸如非易失性存储器的存储器，(例如，闪存存储器或其他配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如，静态或动态随机存取存储器)等，控制电路12和26中的处理电路可以用于采集来自传感器和其他输入设备的输入，并且可以用于控制输出设备。处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、专用集成电路等。

为了支持设备10和设备24之间的通信和/或为了支持***8中的装置与外部电子装置之间的通信，控制电路12可使用通信电路14进行通信和/或控制电路26可以使用通信电路28进行通信。电路14和/或电路28可包括天线、射频收发器电路以及其他无线通信电路和/或有线通信电路。例如，电路14和/或电路26(其有时可被称为控制电路和/或控制和通信电路)可以经由无线链路38支持设备10和设备24之间的双向无线通信(例如，无线局域网链路、近场通信链路或其他合适的有线或无线通信链路(例如，

链路、

链路、60GHz链路或其他毫米波链路等))。设备10和设备24还可包括用于传输和/或接收有线和/或无线功率的电源电路，并且可包括电池。在设备10和设备24之间支持无线功率传输的结构中，可以使用感应功率传输线圈(作为示例)来支持带内无线通信。

设备10和设备24可包括输入-输出设备，诸如设备16和设备30。输入-输出设备16和/或输入-输出设备30可用于采集用户输入，用于采集关于用户周围环境的信息和/或向用户提供输出。设备16可包括传感器18，并且设备24可包括传感器32。传感器18和/或32可以包括力传感器(例如，应变仪、电容式力传感器、电阻式力传感器等)、音频传感器诸如麦克风、触摸传感器和/或接近传感器诸如电容传感器、光学传感器诸如发射和检测光的光学传感器、超声传感器、和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器、用于检测位置、取向和/或运动的传感器(例如，加速度计、磁传感器诸如罗盘传感器、陀螺仪和/或包含部分或全部这些传感器的惯性测量单元)、用于检测手指动作的肌肉活动传感器(EMG)、射频传感器、深度传感器(例如，三维光学传感器诸如被配置为将红外光的点投影到现实世界对象的三维表面上并通过利用红外图像传感器捕捉所述点的图像来感测三维形状的结构化光传感器和/或基于立体成像设备的光学深度传感器)、光学传感器诸如采集飞行时间测量值的自混合传感器和光探测及测距(lidar)传感器、光学传感器诸如利用相机中的数字图像传感器所采集的图像来采集位置和/或取向信息的视觉测距传感器、凝视跟踪传感器、具有数字图像传感器的可见光和/或红外相机、湿度传感器、水分传感器、检测手指弯曲和其他用户运动的传感器、和/或其他传感器。在一些布置中，设备10和/或设备24可使用传感器18和/或传感器32和/或其他输入-输出设备16和/或输入-输出设备30来采集用户输入(例如，按钮可用于采集按钮按压输入，与显示器重叠的触摸传感器可用于采集触摸屏输入，触摸板可用于采集触摸输入，麦克风可用于采集音频输入，加速度计可用于监测手指何时接触输入表面，并且因此可用于采集手指按压输入等)。如果需要，设备10和/或设备24可包括旋转按钮(例如，手表或手指设备上的表冠机构或旋转并且任选地可被按压以选择所感兴趣的项目的其他合适的旋转按钮)。可在设备16和/或设备30中包括字母数字按键和/或其他按钮。

设备16和设备30可包括触觉输出设备20和触觉输出设备34。触觉输出设备20和/或触觉输出设备34可产生由用户感测的运动(例如，通过用户的指尖感测的运动)。触觉输出设备20和/或34可以包括致动器，诸如电磁致动器、电机、压电致动器、电活性聚合物致动器、振动器、线性致动器、旋转致动器，弯曲可弯曲构件的致动器(例如，在手指中的一个或多个关节上施加弯曲力的致动器)、在设备10和/或24之间产生和/或控制排斥力和/或吸引力的致动器设备(例如，用于产生静电排斥和/或吸引的部件，诸如电极；用于产生超声输出的部件，诸如超声换能器；用于产生磁性相互作用的部件，诸如用于产生直流和/或交流磁场的电磁体、永磁体、磁性材料诸如铁或铁氧体；和/或用于在设备10和/或24之间产生排斥力和/或吸引力的其他电路)。在一些情况下，用于在设备10中产生力的致动器可用于挤压用户的手指和/或以其他方式与用户的指腹直接交互。在其他情况下，这些部件可用于彼此交互(例如，通过使用电磁体在一对设备10和/或设备10和设备(24)之间产生动态可调的电磁排斥力和/或吸引力)。

如果需要，输入-输出设备16和/或30可以包括其他设备22和/或36，诸如显示器。显示器可以包括例如液晶显示器、有机发光二极管显示器、或具有在上面为用户显示图像的像素阵列的其他显示器。例如，设备24和/或10可以包括为用户显示图像的安装在外部设备面上和/或可查看内部位置中的显示器。如果需要，输入-输出设备16和/或30可以包括将图像投影到用户附近的桌面或其他外部表面上的投影显示器(投影仪)。在这种类型的布置中，用户可以例如在使用设备10与所投影图像进行交互时查看正被设备10中的投影仪和/或被设备24中的投影仪投影到外部表面上的内容。如果需要，输入-输出设备16和/或30可以包括其他输入-输出设备，诸如状态指示灯(例如，用作功率指示器的设备10和/或24中的发光二极管，以及其他基于光的输出设备)、扬声器和其他音频输出设备、电磁体、永磁体、由磁性材料形成的结构(例如，被吸引到磁体诸如电磁体和/或永磁体的铁棒或其他铁磁构件)、电池等。设备10和/或24也可以包括被配置为发射和/或接收有线和/或无线功率信号的功率发射和/或接收电路。如果需要，其他设备22和36可以包括加热和/或冷却元件，诸如电阻加热器，基于珀尔帖效应的热电冷却元件、或其它可调温度源。

图2为用户的手指(手指40)和例示性手指安装设备10的俯视图。如图2所示，设备10可由安装在手指的尖端40上或附近(例如，部分或完全重叠的指甲42)的手指安装单元形成。如果需要，设备10可被佩戴在用户手指上的其他位置上，诸如在关节上，关节之间等，其中诸如设备10的设备被佩戴在手指40之间的构造也可被使用。如例示性任选部分10E和10B所示，设备10可以被配置为与手指40中的一个或多个关节重叠。这允许使用弯曲传感器来监测手指关节弯曲(例如，设备10的部分10B中的测量在用户手指弯曲时部分10E相对于设备10的其余部分的运动的弯曲传感器)。部分10B也可以包括将弯曲力施加到手指40的触觉输出设备(例如，对手指40施加趋于围绕设备10所重叠的关节弯曲手指40的力的电磁致动器)。

用户可以同时佩戴一个或多个设备10。例如，用户可在用户的无名指或食指上佩戴单个设备10。作为另一示例，用户可以在用户的拇指上佩戴第一设备10，在用户的食指上佩戴第二设备10，并且在用户的中指上佩戴可选的第三设备10。也可使用将设备10佩戴在其他手指上和/或用户的一只手或两只手的所有手指的布置方式。

控制电路12(以及如果需要，通信电路14和/或输入-输出设备16)可完全包含在设备10内(例如，在用于指尖安装单元的外壳中)和/或可包括联接到指尖结构的电路(例如，通过来自相关联腕带、手套、无指手套等的电线)。设备10具有安装在单个用户手指的尖端上的主体的配置在本文中有时被描述为示例。

图3为例示性手指设备(手指安装设备)10的横截面侧视图，其示出处于手指设备外壳44内和/或处于手指设备外壳44的表面上用于电子部件(例如，控制电路12、通信电路14和/或输入-输出设备16)的例示性安装位置46。如果需要，这些部件可结合到外壳44的其他部分中。

如图3所示，外壳44可具有U形状(例如，外壳44可为U形外壳结构，其面向下并覆盖用户手指40和指甲42的尖端的上表面)。在操作期间，用户可以压靠结构诸如结构50(例如，现实世界对象)。当手指40的底部(例如，指腹40P)抵靠结构50的表面48时，用户的手指可以压紧并迫使手指的一部分向外抵靠外壳44的侧壁部分(例如，用于通过力传感器或安装在外壳44侧部的其他传感器进行感测)。手指40在X-Y平面中的横向移动也可以使用外壳44的侧壁或外壳44的其他部分上的力传感器或其他传感器来感测(例如，因为横向移动将倾向于将手指40的部分按压在一些传感器上而不是其它传感器和/或将产生剪切力，该剪切力由配置为感测剪切力的力传感器进行测量)。

超声波传感器、光学传感器、惯性测量单元、应变仪和其他力传感器、射频传感器和/或其他传感器可用于采集指示手指40的活动的传感器测量。如果需要，这些传感器还可以用于映射三维物体的轮廓(例如，通过飞行时间测量和/或其他测量)。例如，超声波传感器(诸如二维图像传感器或具有单个超声换能器元件的超声传感器)可以发射在反射外部物体之后接收并处理的自由空间超声波声音信号。这允许生成指示外部对象的形状和位置的三维超声图。

在一些构造中，使用安装在外部电子装置中的传感器(例如，在计算机或其他台式设备中，在头戴式设备中或其他可穿戴设备中，和/或在与设备10分开的其他电子设备24中)来采集手指活动信息(位置、移动、取向等)。例如，光学传感器(诸如与设备10分开的图像传感器)可用于监测装置10以确定它们的位置、移动和/或取向。如果需要，设备10可包括无源光对准特征和/或有源光学对准特征，以帮助设备24中的图像传感器跟踪设备10的位置、取向和/或运动。例如，设备10可包括发光设备(诸如发光二极管和/或激光器)。发光设备可以以不对称图案布置在外壳44上，并且可以发射由设备24中的图像传感器、深度传感器和/或其他基于光的跟踪传感器电路检测到的光。通过处理所接收的图案形发射光，设备24能够确定设备10的位置、取向和/或运动。表面的位置(例如，表面轮廓)可以通过在设备10经历摇晃、经历触摸传感器触摸事件、或经历由于与表面接触而导致的其他适当传感器输出的峰值时测量设备10的位置来检测。摇晃可以在加速度计输出、电容式力传感器输出、应变仪输出、或设备10中的其他触摸和/或力感测电路输出中产生峰值。表面轮廓也可以光学地、利用射频信号、利用声学信号等来测量。

如果需要，可以执行涉及从已知身体部位取向(例如手指取向)进行推算以产生关于其他身体部位的取向信息(例如，利用反向运动学所估计的手腕和/或臂取向)的手指设备跟踪。如果需要，可将视觉测距传感器包括在设备10中。这些传感器可包括采集设备10的环境的图像数据的帧的图像传感器，并且可用于测量来自图像数据的帧的位置、取向和/或运动。如果需要，可以使用激光雷达、在多个方向上定向的超声波传感器、射频跟踪传感器和/或其他手指设备跟踪布置。

在一些构造中，用于控制***8的用户输入可包括用户手指输入和其他用户输入两者(例如，用户眼睛注视输入、用户语音输入等)。例如，当控制***8中的设备10和/或设备24时，凝视跟踪信息(诸如用凝视***测量的用户的凝视点)可与手指输入融合。手指输入可包括关于手指取向、位置和/或运动的信息，并且可包括关于手指如何强制按压表面的信息(例如，力信息)。通过监测手指位置，同时还测量触摸传感器输出、力传感器输出和/或来自其他传感器的输出，可以采集关于现实世界对象的表面形状和其他现实世界物理属性的信息。例如，如果用户触摸现实世界对象，则设备10可以检测到用户的手指已接触现实世界对象并且可以检测接触事件的位置，由此绘制现实世界对象的表面形状。这样，可以获取表面纹理、对象对所施加力的响应、全局表面形状、对象温度和其他现实世界对象物理属性。

例如，设备10中的传感器可以测量用户正在如何有力地使设备10(和手指40)靠着现实世界对象表面诸如表面48(例如，在平行于表面48的表面法线n的方向上，诸如图3的-Z方向)移动和/或用户正在如何有力地使设备10(和手指40)在与表面48相切的X-Y平面内移动。设备10在X-Y平面和/或Z方向上的移动方向也可以通过位置46处的力传感器和/或其他传感器18来测量。

结构50可以是设备24的外壳的一部分，可以是另一设备10的一部分(例如，另一外壳44)，可以是用户手指40或其他身体部位的一部分，可以是现实世界对象诸如桌子、可移动现实世界对象诸如瓶子或笔、或设备10外部的其他无生命对象的表面，和/或可以是用户可以在以期望的力沿期望的方向移动手指40时以手指40接触的任何其他现实世界对象、和/或用户可以利用设备10中的传感器测量的任何其他结构。因为手指运动可以被设备10感测，所以设备10也可以被用于采集指向输入(例如，在显示器诸如设备36中的显示器上移动光标或其他虚拟对象的输入)，可以被用来采集轻击输入、轻扫输入、捏拉缩放输入(例如，当使用一对设备10时)、或其他手势输入(例如，手指手势、手部手势、手臂运动等)，和/或可以被用于采集其他用户输入。

***8可包括光学传感器，诸如凝视检测传感器(有时称为凝视检测器、凝视***、凝视跟踪***或眼睛监测***)。用于***8的凝视跟踪***可以例如包括图像传感器、光源和/或用于监视用户眼睛的其他装置。该***可包括一个或多个可见和/或红外相机，其面向检视者的眼睛并捕捉检视者(用户)眼睛的图像。在***8的操作期间，***8中的控制电路(例如，联接到设备24中外壳的控制电路)可以使用凝视跟踪***来跟踪检视者的凝视。设备24中的相机和/或其他传感器可例如确定用户眼睛(例如，用户的瞳孔的中心)的位置，并且可确定用户眼睛取向的方向。

用户凝视的取向可以被用于确定用户眼睛被引导的计算机生成环境中的位置(有时被称为用户的凝视点)。如果需要，设备24和/或***8中的其他装置可以使用凝视跟踪信息(诸如关于用户的凝视点的信息)来确定在***8中采取哪些动作。例如，凝视跟踪***可以确定用户的凝视点指向第一对象而不是第二对象，并且可以通过假设用户在视觉上选择第一对象而不是第二对象来作出响应。手指输入和/或其他用户输入可以与输入(诸如在确定在***8中采取哪些动作时的注视点信息)结合使用。

具有凝视跟踪的例示性***在图4中示出。在图4的示例中，设备24为头戴式设备，其具有被配置为被佩戴在用户的头部上的头戴式支承结构116(有时被称为外壳)。设备24可包括诸如部件111的部件。部件111可以是例如显示器。显示器和其他设备可以被安装在结构116中用于在眼睛框120中为用户显示计算机生成的内容。面向后方的凝视跟踪***112可以监视眼睛框120中的用户眼睛104以确定用户凝视的方向106。附加传感器(例如，深度传感器114，有时可以被称为三维图像传感器)可以被用于确定用户视场中对象诸如图4的对象110的位置和/或其他属性。使用来自凝视***112和/或其他传感器(例如，深度传感器和/或确定用户距设备24的距离的其他传感器)的方向106和/或其他信息，设备24可以确定用户在对象110上的凝视点108的位置。

对象110可为现实世界对象(例如，用户或其他人的身体部位，具有诸如一个或多个设备24的电路的无生命物体，诸如铅笔、球、瓶子、杯子、桌子、墙壁等的非电子无生命物体)或者可以是由设备24中的显示器呈现给用户的眼睛104的计算机生成的(虚拟)对象(例如，透视显示***或显示***，其中虚拟内容叠加在用相机114捕获的显示器上的现实世界图像上)。使用关于用户凝视方向106的信息和关于用户与对象110之间的相对位置的信息(例如，来自设备24中的深度传感器的信息和/或关于向用户呈现的虚拟对象的信息)，设备24可以确定用户的凝视点108何时与对象110重合。

图4中所示类型的布置允许用户与现实世界内容和计算机生成(虚拟)内容进行交互。例如，用户可以通过将凝视点108指向该对象来选择感兴趣的对象(例如，超过预定的停留时间和/或直到接收到诸如手指输入的相关用户输入以确认选择为止)。使用手指设备10和/或***8中的其他装置，用户可对所选择的对象执行操作。在使用图4的设备24期间和/或在其他时间，***8中的一个或多个设备(例如，设备10)可以被用于采集现实世界对象的现实世界物理属性。这个所采样的现实世界信息然后可以在计算机生成的内容环境中以设备24和/或***8中的其他装置呈现给用户。

用户可在佩戴手指设备10的同时触摸用户环境中的物品。当使用者接触这些物品的表面时，利用设备10中的传感器进行的测量可用于确定物品的轮廓。这个信息然后可以与任选的附加传感器数据诸如深度传感器数据、相机图像、温度数据、关于对象对不同量的所施加力的响应的信息、以设备10中的一个或多个传感器捕捉的表面纹理数据、重量测量等组合以确定现实世界物品的物理属性诸如大小、形状、纹理、位置、温度、颜色和其他视觉外观等。可以在设备10中用于测量物品轮廓的传感器的示例包括可以跟踪设备10在三维中的取向、位置和/或移动的惯性测量单元以及设备10中可以感测用户何时接触物品表面的力和/或触摸传感器。设备10和/或设备24中的深度传感器也可用于采集用户环境中的对象的三维表面地图(表面轮廓信息)。如果需要，来自多个传感器(例如，头戴式设备中的深度传感器和手指设备中的触摸传感器)的输入可以组合以提高测量精度。例如，深度传感器可以测量面向用户的对象的正面的形状，而手指设备可以被用于测量与对象的背面相对的形状。

通常，在设备10中可以使用任何合适的传感器来采集关于现实世界对象物理属性的信息。这些传感器可以包括例如数字图像传感器(例如，在可见波长、红外波长、和/或紫外波长操作的相机)、应变传感器、超声传感器、直接接触传感器(例如，电容式触摸传感器、电阻式力传感器、电容式力传感器、和/或检测所施加的力的其他传感器、光学接触传感器、和/或检测设备10与外部表面之间的接触的其他传感器)、热传感器(例如，热电偶、固态温度传感器、热成像传感器、和/或被配置为测量温度的其他传感器)、三维传感器(例如，深度传感器诸如发射一组红外光束并且利用红外图像传感器测量被投影到附近三维对象上的对应点的位置的结构化光深度传感器、双目视觉三维传感器等)、lidar传感器、惯性测量单元传感器(例如，加速度计、罗盘、和/或陀螺仪)、充当接近传感器、力传感器、和/或触摸传感器的电容传感器、和/或其他传感器。

图5是包含现实世界和虚拟内容的例示性计算机生成的环境的透视图。在图5的示例中，用户正在利用手指设备10与现实世界对象130(例如，瓶子)交互。具体地，用户正在使用设备10上的传感器诸如触摸和/或力传感器或其他传感器来测量对象130的表面。通过在采集来自触摸和/或力传感器和/或其他传感器18的传感器数据时围绕对象130沿方向132和134移动手指设备10的位置，手指设备10可以绘制对象130的表面在三维中的位置，由此确定对象130的外部的全局形状和尺寸。在这些操作期间，可以感测对象130的表面中的局部变化(例如，纹理、凹陷、突起等)。例如，设备10可以确定对象130(例如)在位置136是平滑的并且在位置138具有纹理。

在采集关于对象130的形状和其他现实世界物理属性的信息之后，可以利用***8的输出资源将所采样的属性回放给用户。例如，已利用设备10中的力传感器或其他纹理敏感传感器采样的纹理可以利用设备10中的触觉输出设备呈现给用户。所回放的纹理可以被呈现在现实世界对象的表面的特定部分中。例如，凹陷和/或凹槽的所采样的粗糙纹理或图案和/或其他虚拟触觉内容可以在对象130的平滑区域136的区域140中被呈现(例如，以产生与瓶子上的虚拟压印标签相关联的纹理)。除了提供与虚拟对象相关联的触觉输出之外，***8还可以提供视觉输出、音频输出等。例如，设备24可以将计算机生成的图像重叠在区域140中(例如，在以设备10对现实世界对象进行现实世界对象属性感测操作期间所捕获的图像或其他虚拟内容)。设备24可以通过在头戴式设备中显示这些对象、通过利用显示投影仪将内容投影到对象上、和/或通过以其他方式重叠计算机生成的图像来在现实世界对象上重叠图像。

声音也可以与计算机生成的对象相关联地呈现。例如，设备10可以捕捉关于在粗糙织物上运行手指40的声音的信息。然后，当用户的手指在区域140上移动时，所采样的声音可以以设备24中的扬声器被回放给用户。如果需要，触觉输出也可以在用户的手指位于空气中并且不直接接触现实世界对象时以设备10呈现给用户。

如果需要，设备10中的温度传感器可以被用于测量现实世界物体的温度。在***8的操作期间，可以利用热电设备或其他用于提供所期望温度输出的设备(例如，电阻加热元件等)为用户重建所采样的温度。可以为手指40所触摸的现实世界对象上的每个位置采集所采样的现实世界对象物理属性诸如温度。插值技术可以被用于填充缺失的温度样本和/或其他现实世界属性测量值。

所采样的现实世界对象物理属性可以被存储在本地或在线库中以用于后续被该用户或其他人检索和使用。例如，用户可以从共享在线库获取关于对象的纹理和轮廓的信息。这个信息可以已经由用户以外的某个人采集并放置在库中。在用户的***8操作期间，用户的***8可以在为用户呈现虚拟内容中(例如，在呈现包括计算机生成的触觉输出、视觉输出、温度输出、音频输出等的虚拟内容中)使用关于对象的轮廓和/或对象的其他现实世界对象物理属性的信息。

例如，已知由用户之外的某个人采集并上载到在线库的现实世界立方体的表面的位置，用户的***8可以在一个或多个虚拟立方体表面上重叠虚拟视觉内容，并且可以每当***8确定用户的手指正在触摸虚拟立方体时就利用手指设备10中的触觉输出设备为用户的手指40提供对应的虚拟触觉输出以模拟那些表面的所采样纹理。

如果需要，可以使用触觉输出设备为立方体或其他对象的不同表面提供不同的虚拟纹理。例如，设备10中的电路可以每当用户的手指正在触摸立方体的第一侧面时就提供具有相对高振幅和频率的第一驱动信号。每当确定用户的手指正在触摸立方体的第二侧面时，可以利用手指设备10中的触觉输出组件向用户的手指提供不同的纹理。作为示例，如果用户触摸立方体的第二侧面，则较低频率和较低振幅的驱动信号可以被用于控制手指设备10中的触觉输出部件。结果，当触摸立方体的第一侧面时，用户将感觉到第一纹理，当触摸立方体的第二侧时，用户将感觉到第二纹理。如果需要，立方体和其他对象可以沿其边缘配备有触觉效果以产生形状和/或倒圆边缘，可以配备有与柔顺结构相关联的触觉效果，和/或可以配备有止动器、模拟运动阻力的力反馈、具有物理点击感的模拟按钮压下和/或释放的点击、和/或其他触觉效果。也可以利用头戴式设备中的显示器提供对应的视觉效果。

图6、图7、图8和图9示出了设备10可以如何使用传感器18采集来自现实世界对象诸如结构50的表面48的现实世界对象物理属性。

在图6的示例中，非接触式传感器正被用于感测现实世界对象诸如结构50的表面48。非接触式传感器可以是例如发射激光并且使用对应的光电探测器监测激光的反射部分、由此测量表面48的基于激光的传感器。其他传感器18(例如，三维结构化光传感器或其他三维传感器、二维图像传感器、射频传感器、声学传感器诸如超声传感器、和/或其它非接触式传感器)也可以被用于采集表面48的物理属性(例如，颜色、纹理、轮廓形状等)的测量值。

在图7的示例中，设备10正被用于利用间接接触布置采集关于结构50的信息。在这种类型的布置中，设备10的外壳壁和其他结构不直接接触表面48，而是借助于手指40与表面48之间的接触来采集关于表面48的信息。例如，如果用户在表面48的纹理化部分上移动手指40，则设备10中的惯性测量单元(例如，加速度计等)或其他传感器18可以感测手指10中反映纹理的对应振动。这样，即使设备10在物理属性测量操作期间不与表面48直接接触，设备10也可以采集关于表面48的形状及其对来自手指40的压力的响应的信息。

在图8中示出了用于采样与结构50相关联的物理属性的另一例示性布置。在图8的示例中，设备10(例如，设备10的外壳)具有突起部分诸如突起10P。突起10P延伸超过手指40的最外尖端，这允许设备10使用突起10P直接接触表面48并且由此采样物理属性诸如表面纹理(例如，使用基于突起10P中的应变仪的力传感器或利用惯性测量单元(例如，加速度计等))。传感器可以通过在手指40在结构50的表面上拖拽突起10P并因此拖拽设备10时测量设备10相对于结构50的移动来测量纹理。

在图9的示例中，用户已移动设备10，使得设备10暂时覆盖用户的指垫。设备10可以是例如有时被佩戴在手指40的上侧上的U形手指设备。当如图9所示进行配置时，在用户测量与表面48和结构50相关联的物理属性时，设备10可以直接接触表面48。在后续触觉回放以重建所采样的纹理期间，设备10可以以图9的指垫覆盖配置或以用户指垫暴露的图6或图7的配置而被佩戴。

所采样的现实世界对象可以是没有机械机构或电路的无生命对象(例如，对象诸如瓶子等)，或者可以是具有可移动按钮构件的按钮或其他具有可移动机构和/或电路的设备(例如，键盘、鼠标按钮等)。在图10的示例中，被采样的现实世界对象是按钮131(例如，电子设备中的字母数字键或其他按钮)。在按钮131操作期间，可以从用户的手指40采集用户输入诸如按钮按压输入。在期望采样按钮131的物理属性时，设备10可以在用户手指40在按钮131的表面上方移动(以测量按钮131的表面轮廓)时以及在手指40按压按钮131时被佩戴在用户手指40上。

如图10所示，按钮131可以具有弹片开关，诸如安装在印刷电路142上的开关144。引导结构146在用户按下和释放可移动按钮构件148时可以帮助沿竖直(Z轴)维度引导可移动按钮构件148。当可移动按钮构件148被向下按压时，按钮构件148压缩弹片开关144抵靠印刷电路142。在按钮构件148被释放时，弹片开关144将按钮构件148向上推动。通过监测按钮131中开关144的状态，按钮131正在其中操作的电子设备可以检测按钮131的状态(例如，断开或闭合)。同时，通过使用设备10中的传感器，按钮131的力-距离行为(力-位移特征)和关于按钮131的其他信息(例如，尺寸、形状、颜色等)可以被采集，从而允许***8在计算机生成环境中复制按钮131的性能。

图11是示出用户可以如何使用设备10来采集关于图10的按钮131的物理属性信息诸如关于按钮131的形状的信息的图示。用户可以例如在轻轻触摸按钮131的表面时在按钮131上沿方向X移动手指40。当用户将手指40移动到按钮131上的不同位置时，设备10中的惯性测量单元或其他位置传感器可以测量用户手指在竖直维度Z和水平维度X中的位置。通过采集这个位置信息(参见例如图11的曲线150)，设备10可以确定按钮131的表面的形状。

图12是示出设备10可以如何采集物理属性信息诸如关于按钮131对不同水平的所施加力的响应的信息的图示。用户可以例如在位置传感器测量设备10沿维度Z的位置以及力传感器测量所施加力F的对应量时沿向下(-Z)方向压靠按钮构件148。这允许设备10采集关于按钮131的力-按钮按压距离行为的信息(参见例如图12的曲线152)。按钮131的所采样的物理行为然后可以通过使用设备10中的触觉设备重建所采样的设备10和手指40上所施加力根据位移的行为来在计算机生成环境中重放给用户。

采样可以通过挤压对象或通过以其他方式使用一根或多根手指诸如手指40向物理对象的表面施加压力来执行(例如，当用户拾取对象、以手指40沿特定方向推动抵靠对象等时)。所施加的压力(力)的量以及所施加压力(力)的位置和方向可以由设备10在采样期间采集。然后可以分析这些测量结果以确定表面形状、表面刚度(例如，在压力下的响应，包括响应力量和响应力方向)以及其他属性。如果可移动电子部件诸如按钮131存在，则按钮对不同水平的所施加力的响应可以被采集，如结合图10、图11、和图12所述。如果不存在任何按钮，则可以采集关于对象的表面的位置和压力响应的信息。所采样的属性于是可以在***8的使用期间为用户回放(例如，定向触觉波形可以被应用于触觉输出设备以重建期望方向中的力或其他定向触觉输出等)。

如果需要，设备10中的麦克风可以在按钮131正被使用时采集声学测量(例如，按钮点击声)，并且设备24或***8中其他装置中的扬声器可以为用户重放所捕获的声音(例如，计算机生成的所采样声音可以在计算机生成的环境中被使用以重建与现实世界按钮交互的声体验)。通过采样与办公环境相关联的按钮和其他装置(例如，计算机键盘等)，***8可以以机械可移动结构重建用户的办公或其他装置的虚拟版本。如果需要，包括其他物理属性的电路和其他部件(例如，表现出特定光学特性、声学特性、热特性、气味和/或机械特性等的设备)的行为可以被采样并在计算机生成的环境中呈现给用户。

如果需要，纹理、表面形状、视觉外观、温度、声学特性、以及其他现实世界对象属性可以被编辑。例如，一个或多个个体可以使用一个或多个不同件电子装置(参见例如设备10、设备24等)来采集现实世界对象物理属性的测量值，并且这些所采样的物理属性然后可以被剪切粘贴和/或以其他方式编辑以创建期望的环境。

例如，考虑图13、图14和图15的例示性布置。

图13是所测量的物理属性MA作为距离X(例如，沿被测量的现实世界对象的表面的距离)的函数的图示。在图13的示例中，用户已在现实世界对象的表面上横向移动手指40和设备10。物理属性MA已由设备10作为距离X的函数进行测量。如图13所示，对应于所测量的物理属性MA的曲线156包括部分154，该部分对于后续在计算机生成的环境中的使用是所关注的。物理属性MA可以对应于物理表面位置(表面轮廓)、温度，光学特性诸如反射率、颜色等、局部位置(纹理)、刚度(例如，压力下的变形量)、阻力(例如，对沿特定方向施加的一个或多个不同量的力的阻力的量和/或方向)、和/或正被测量的现实世界对象的其他物理属性。

图14是显示现实世界对象的现实世界属性RA的图示。与图14的属性RA相关联的现实世界对象可以是与图13的图形相关联的现实世界对象之外的对象。在该示例中，已经在第一现实世界对象上测量了图13的例示性所测量属性MA，而图14的例示性现实世界属性RA与不同于第一现实世界对象的第二现实世界对象相关联。

图15示出了计算机生成的环境可以如何包括以手指设备10的触觉设备和/或设备24的显示和声学设备和/或***8中的其他装置正回放给用户的第一对象的所采样部分。如图15所示，与第一现实世界对象的所采样部分154相关联的虚拟输出可以重叠在与曲线158相关联的第二现实世界对象之上。已被第一现实世界对象的部分154的样本重叠的第二现实世界对象的部分可以由于部分154的样本而被遮蔽。例如，部分154中第一现实世界对象的视觉、触觉、声学和其他属性可以遮蔽第二现实世界对象的部分160中下面的视觉、触觉、声学和其他属性。第二现实世界对象的未被所重建的第一对象重叠的部分(参见例如图15的除部分154之外的区域中的曲线158)可以由用户直接感测。例如，第一对象可以是具有用户感兴趣的纹理和颜色的一件织物。这个纹理和颜色可以利用设备10来采样并且被重叠在第二对象诸如瓶子的给定部分上。当用户与瓶子交互时，织物的纹理和颜色可以替代瓶子的所述给定部分中瓶子的正常特征，而瓶子的其它部分可以具有瓶子的原始纹理和颜色。

结合图13、图14和图15描述的类型的所采样物理属性剪切粘贴操作可以由用户和/或其他人执行。要被结合到计算机生成的环境中的所采样内容可以从共享在线库和/或从用户的个人库中选择。传感器信息诸如用户以设备10采集的信息可以在用户的许可和/或其他保障的前提下利用在线库与其他人共享。如果需要，剪切粘贴属性可以包括响应力(例如，关于手指40响应于在给定位置处沿给定方向施加给定量的力而经历的阻力的量的信息)。触觉输出可以被用于重建模拟用户与所采样现实世界对象的交互的响应力反馈。这样，现实世界阻力(对所施加力的响应)可以被剪切粘贴到虚拟环境中。在采样温度测量值的场景中，剪切粘贴的温度读数可以被合并到虚拟环境中。在手指弯曲力在用户与现实世界对象交互期间(例如，利用图2的设备10的部分10B中的手指弯曲传感器)被测量的情形中，手指弯曲特性可以被剪切粘贴到虚拟环境中。在***8的使用期间，用户可以体验基于所采样的物理属性的所重建的温度、手指弯曲力和其他物理属性。

图16是可以与使用***8相关联的例示性操作的流程图。

在框160的操作期间，当用户和/或其他人与现实世界对象交互时，物理对象的现实世界对象物理属性可以利用设备10中的传感器18和/或***8中的其他传感器来测量。现实世界对象可以包括没有运动部件的无生命对象、按钮和具有响应于手指压力和/或其他所施加力而移动的机械机构的其他对象、电子电路(例如，触敏设备)和/或其他现实世界对象。

传感器18和/或***8中的其他传感器可以测量表面轮廓(例如，对象的表面的一些或全部总体(全局)形状)，可以测量局部表面属性(例如，纹理、局部化突起和/或凹槽等等)，可以测量光学特性(例如，颜色、视觉图案、可见、红外，和/或紫外光波长的反射率、吸收、透射)、电特性(无线电透明性、频率谐振、与非光波长的电磁信号的吸收、反射、和/或透射相关联的表面和内部结构)、声学属性、韧性(例如，刚度、柔度、弹性、硬度、和/或其他材料属性)、重量、各种使用条件下的扭矩(例如，当棍或棒球棒正来回摆动时用户手指上的扭矩)、摩擦(例如，设备10中剪力传感器所测量的静态摩擦系数和动态摩擦系数)、力-位移(力-距离)行为(例如，作为所施加的手指压力或其他所施加的力的函数的表面位置和/或其他属性的变化)、等等。

如果用户允许，在框160的操作期间所采集的信息可以通过将该信息上载到在线数据库来共享。也可以使用其中所采样的信息被本地存储或以其他方式不与其他人共享的配置。如果需要，在框160的操作期间采集所述信息中可以使用与用户在***8的使用期间在回放这个信息中所使用的不同的电子设备和/或不同类型的电子设备。也可以使用其中在采样和回放信息中使用相同类型的设备和/或相同电子设备的布置。

在框160的操作期间所采样的现实世界对象可以包括家用对象(杯子、瓶子、家具、衣服、和其他物品)，可以包括办公装置(计算机、键盘、附件诸如计算机鼠标等)，可以包括视频游戏装置(例如，道具剑或杖)，可以包括运动装置(例如，球拍、球、冰球、球杆、球棒、球棍、和/或其他运动装置)、和/或其他现实世界对象。

在框162的操作期间，***8(例如，设备10和设备24)可以提供输出以创建计算机生成的环境。输出可以包括对应于在框160的操作期间所测量的现实世界对象物理属性的输出(例如，可以为用户回放所采样的信息)。例如，计算机生成的环境可以包括利用设备10、设备24和/或具有传感器的其他电子装置测得并且正利用设备10和/或设备24被呈现给用户的表面形状、纹理、对象颜色和其他视觉外观属性、声音，力-位移特性和其他移动机构特性、重量、温度和/或其他现实世界对象物理属性。所测得的属性可以从本地存储和/或云存储(例如，通过利用无线和/或有线通信路径形成的具有本地和/或远程链路的通信网络访问的在线库)检索。所重建的物理对象属性可以被重叠在现实世界对象上。例如，所采样的纹理可以在瓶子或其他现实世界对象的一部分上重建，由此将对象的现实世界属性替换为所采样的属性。如果需要，可以在自由空间中(例如，当用户的手指正移动通过空气时)重建所重建的物理对象属性。视觉内容可以通过在头戴式设备或其他在现实世界图像上显示计算机生成的内容的设备中显示计算机生成的图像和/或通过利用投影仪(例如，设备10中的投影仪和/或设备24中的投影仪)将视觉内容投影到现实世界对象上来重叠在现实世界对象上。用户可以利用手指设备10和/或其他设备24提供用户输入。例如，用户可以利用手指设备提供用户输入诸如轻扫手势输入，并且这个输入可以被用于移动在用户正以头戴式设备中的显示器查看的计算机生成的内容中所显示的虚拟对象。基于所采样的现实世界对象物理属性进行呈现的计算机生成环境中的触觉输出和其他输出可以在用户正使用手指设备或其它设备提供用户输入时被呈现给用户。例如，基于所采样现实世界对象重量特性的触觉输出或其他输出可以在用户正以手指设备移动虚拟对象时被提供。

物理环境

物理环境是指人们在没有电子***帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实

相反，计算机生成现实(CGR)环境是指人们经由电子***感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3D或空间音频环境，所述3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子***可以具有透明或半透明显示器，人可以透过它直接查看物理环境。***可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。该***将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用***经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在通过不透明显示器呈现AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用***感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。作为另一示例，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。又如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

硬件

有许多不同类型的电子***使人能够感测和/或与各种CGR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。显示器可以利用数字光投影、有机发光二极管(OLED)、LED、微LED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

如上所述，本发明技术的一个方面是采集和使用信息诸如传感器信息。本公开构想，在一些情况下，可采集包括唯一地识别或可用于联系或定位特定人员的个人信息的数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量结果、药物信息、锻炼信息)、出生日期、用户名、口令、生物识别信息、或任何其他识别信息或个人信息。

本公开认识到在本发明技术中使用此类个人信息可用于使用户受益。例如，该个人信息数据可用于递送用户较感兴趣的目标内容。因此，使用此类个人信息数据使得用户能够对所递送的内容进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，某些健康数据的收集或访问可能受诸如健康保险流通与责任法案(HIPAA)的联邦和/或州法律的约束，而其他国家的健康数据可能受其他法规和政策的约束，并且应相应地加以处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。又如，用户可选择不提供特定类型的用户数据。再如，用户可以选择限制保持用户特定数据的时间长度。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用(“app”)时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。在适当的情况下，可以通过移除特定标识符(例如，出生日期等)、控制存储的数据的量或特征(例如，在城市级而非地址级收集位置数据)、控制数据的存储方式(例如，在用户之间聚合数据)和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用可包括个人信息数据的信息来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。

根据一个实施方案，提供了一种***，所述***包括被配置为耦接到用户手指的手指设备外壳、耦接到手指设备外壳的测量现实世界对象物理属性的传感器和被配置为提供输出以重建所测量的现实世界对象物理属性的输出设备。

根据另一实施方案，手指设备外壳被配置为当手指设备外壳耦接到手指时使手指尖端处的指垫未被覆盖，所述传感器包括耦接到手指设备外壳的惯性测量单元，所述现实世界对象物理属性包括利用惯性测量单元测量的现实世界对象的表面纹理，所述输出设备包括耦接到手指设备外壳的触觉输出设备，并且所述触觉输出设备被配置为基于利用惯性测量单元进行的表面纹理测量来提供触觉输出给手指。

根据另一实施方案，所述***包括具有被配置为显示图像的显示器的头戴式设备。

根据另一实施方案，所述显示器被配置为响应于从所述传感器获得的用户输入而移动所显示图像中的虚拟对象。

根据另一实施方案，所述***包括投影仪，所述投影仪耦接到手指设备外壳并且被配置为将图像投影到表面上。

根据另一实施方案，所述投影仪被配置为响应于从所述传感器获得的用户输入而移动所述表面上所述图像中的虚拟对象。

根据另一实施方案，所述传感器包括图像传感器。

根据另一实施方案，所述传感器包括选自由以下项组成的组的传感器：应变仪、超声传感器、通过直接接触表面来感测表面的直接接触传感器、温度传感器、光探测和测距传感器、加速度计、陀螺仪、罗盘和电容传感器。

根据另一实施方案，所述手指设备外壳具有被配置为在所述手指设备外壳耦接到所述手指时延伸超过所述手指的尖端的突起。

根据另一实施方案，所述输出设备包括触觉输出设备，所述现实世界对象物理属性包括现实世界对象的表面轮廓，并且所述触觉输出设备被配置为当手指移动通过空气而不接触任何现实世界对象时重建现实世界对象的表面轮廓。

根据另一实施方案，现实世界对象属性包括现实世界对象的表面纹理，所述输出设备包括耦接到手指设备外壳的触觉输出设备，并且所述触觉输出设备被配置为基于利用所述传感器进行的表面纹理的测量来提供触觉输出给手指。

根据另一实施方案，所述传感器包括被配置为将红外光的点投影到现实世界对象的三维表面上的三维光学传感器。

根据另一实施方案，所述输出设备包括可调温度源。

根据一个实施方案，提供了一种***，所述***包括具有被配置为在眼睛框中显示计算机生成的内容的显示器的头戴式设备、被配置为被佩戴在手指上的手指设备外壳、耦接到手指设备外壳的被配置为测量现实世界对象的现实世界对象物理属性的传感器、以及耦接到手指设备外壳的触觉输出设备，所述触觉输出设备被配置为在手指设备外壳提供移动计算机生成的内容中的对象的用户输入时基于所测量的现实世界对象物理属性提供触觉输出给手指。

根据另一实施方案，所述传感器包括加速度计。

根据另一实施方案，所述传感器包括选自由力传感器和触摸传感器组成的组的传感器。

根据另一种实施方案，传感器包括光学传感器。

根据另一实施方案，所述传感器包括图像传感器。

根据另一实施方案，所述***包括被配置为保持所测量的现实世界对象物理属性的在线库的计算装置，触觉输出设备被配置为基于从在线库检索的所测量的现实世界对象物理属性来提供触觉输出给手指。

根据一个实施方案，提供了一种方法，其包括具有显示器的头戴式设备在眼睛框中呈现计算机生成的视觉内容，以及在呈现计算机生成的视觉内容时，利用被配置为被佩戴在手指上的手指设备中的触觉输出设备提供触觉输出，触觉输出基于现实世界对象的所测量的表面轮廓。

根据另一实施方案，所述方法包括手指设备中的传感器测量现实世界对象的表面轮廓。

根据另一实施方案，所述传感器包括加速度计，并且测量轮廓包括在手指的尖端的指垫部分未被手指设备覆盖时使用加速度计测量表面的轮廓。

根据另一实施方案，所述方法包括手指设备中的传感器测量与现实世界对象相关联的力-位移特性，以及在呈现计算机生成的视觉内容时，使用触觉输出设备提供基于所测量的力-位移特性的触觉输出。

前述内容仅为例示性的并且可对所述实施方案作出各种修改。前述实施方案可独立实现或可以任意组合实现。

Claims (19)

1.一种具有用于采样对象属性的手指设备的***，包括：

手指设备外壳，所述手指设备外壳被配置为耦接到用户的手指；

传感器，所述传感器耦接到所述手指设备外壳，所述传感器测量现实世界对象物理属性，其中所述现实世界对象物理属性至少包括现实世界对象的表面纹理；和

输出设备，所述输出设备被配置为提供输出以重建所测量的现实世界对象物理属性，其中所述输出至少包括至少基于利用所述传感器进行的所述表面纹理的测量来提供的触觉输出。

2.根据权利要求1所述的***，其中所述手指设备外壳被配置为当所述手指设备外壳耦接到所述手指时使所述手指的尖端处的指垫未被覆盖，其中所述传感器包括耦接到所述手指设备外壳的惯性测量单元，其中所述现实世界对象物理属性包括利用所述惯性测量单元测量的现实世界对象的表面纹理，其中所述输出设备包括耦接到所述手指设备外壳的触觉输出设备，并且其中所述触觉输出设备被配置为基于利用所述惯性测量单元进行的所述表面纹理的测量来提供触觉输出给所述手指。

3.根据权利要求2所述的***，还包括具有被配置为显示图像的显示器的头戴式设备，其中所述显示器被配置为响应于从所述传感器获得的用户输入而移动所显示的图像中的虚拟对象。

4.根据权利要求2所述的***，还包括耦接到所述手指设备外壳并且被配置为将图像投影到表面上的投影仪，其中所述投影仪被配置为响应于从所述传感器获得的用户输入而移动所述表面上所述图像中的虚拟对象。

5.根据权利要求1所述的***，其中所述传感器包括图像传感器。

6.根据权利要求1所述的***，其中所述传感器包括选自由以下项构成的组的传感器：应变仪、超声传感器、通过直接接触表面来感测所述表面的直接接触传感器、温度传感器、光探测和测距传感器、加速度计、陀螺仪、罗盘和电容传感器。

7.根据权利要求1所述的***，其中所述手指设备外壳具有被配置为在所述手指设备外壳耦接到所述手指时延伸超过所述手指的尖端的突起。

8.根据权利要求1所述的***，其中所述输出设备包括触觉输出设备，其中所述现实世界对象物理属性包括现实世界对象的表面轮廓，并且其中所述触觉输出设备被配置为当所述手指移动通过空气而不接触任何现实世界对象时重建所述现实世界对象的所述表面轮廓。

9.根据权利要求1所述的***，其中所述传感器包括被配置为将红外光的点投影到现实世界对象的三维表面上的三维光学传感器。

10.根据权利要求1所述的***，其中所述输出设备包括可调温度源。

11.一种具有用于采样对象属性的手指设备的***，包括：

头戴式设备，所述头戴式设备具有被配置为在眼睛框中显示计算机生成的内容的显示器；

手指设备外壳，所述手指设备外壳被配置为被佩戴在手指上；

传感器，所述传感器耦接到所述手指设备外壳，所述传感器被配置为测量现实世界对象的现实世界对象物理属性；和

触觉输出设备，所述触觉输出设备耦接到所述手指设备外壳，其中所述触觉输出设备被配置为在所述手指设备外壳提供移动所述计算机生成的内容中的对象的用户输入时基于所测量的现实世界对象物理属性而提供触觉输出给所述手指。

12.根据权利要求11所述的***，其中所述传感器包括加速度计。

13.根据权利要求11所述的***，其中所述传感器包括选自由力传感器和触摸传感器组成的组的传感器。

14.根据权利要求11所述的***，其中所述传感器包括光学传感器。

15.根据权利要求11所述的***，其中所述传感器包括图像传感器。

16.根据权利要求11所述的***，还包括被配置为保持所测量的现实世界对象物理属性的在线库的计算装置，其中所述触觉输出设备被配置为基于从所述在线库检索的所测量的现实世界对象物理属性而提供触觉输出给所述手指。

17.一种用于具有用于采样对象属性的手指设备的***的方法，包括：

利用具有显示器的头戴式设备在眼睛框中呈现计算机生成的视觉内容；以及

在呈现所述计算机生成的视觉内容时，使用被配置为被佩戴在手指上的手指设备中的触觉输出设备提供触觉输出，其中所述触觉输出基于现实世界对象的所测量的表面轮廓。

18.根据权利要求17所述的方法，还包括：

利用所述手指设备中的传感器测量所述现实世界对象的所述表面轮廓，其中所述传感器包括加速度计，并且其中测量所述轮廓包括在所述手指的尖端的指垫部分未被所述手指设备覆盖时使用所述加速度计测量所述表面的所述轮廓。

19.根据权利要求17所述的方法，还包括：

利用所述手指设备中的传感器测量与所述现实世界对象相关联的力-位移特性；以及

在呈现所述计算机生成的视觉内容时，使用所述触觉输出设备提供基于所测量的力-位移特性的触觉输出。

Images