CN112106011A - 用于在用户身上产生局部触觉刺激的方法、设备和*** - Google Patents

用于在用户身上产生局部触觉刺激的方法、设备和*** Download PDF

Info

Publication number
CN112106011A
CN112106011A CN201980016018.1A CN201980016018A CN112106011A CN 112106011 A CN112106011 A CN 112106011A CN 201980016018 A CN201980016018 A CN 201980016018A CN 112106011 A CN112106011 A CN 112106011A
Authority
CN
China
Prior art keywords
transducers
wearable device
user
waves
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980016018.1A
Other languages
English (en)
Inventor
肖恩·杰森·凯勒
特里斯坦·托马斯·特鲁纳
赫尔沃耶·本科
雷蒙德·金
安德鲁·亚瑟·斯坦利
马西米利亚诺·迪卢卡
荣·威塞尔
邵奕天
巴拉特·丹杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Meta Platforms Technologies LLC
Original Assignee
University of California
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California, Facebook Technologies LLC filed Critical University of California
Publication of CN112106011A publication Critical patent/CN112106011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07749—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card
    • G06K19/07758—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag
    • G06K19/07762—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag the adhering arrangement making the record carrier wearable, e.g. having the form of a ring, watch, glove or bracelet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种在用户身上产生局部触觉刺激的方法，包括可穿戴设备，该可穿戴设备包括多个换能器，每个换能器可以生成通过介质传播离开可穿戴设备的一个或更多个波。该方法包括激活多个换能器中的两个或更多个换能器，至少部分基于介质的已知阻抗来选择由两个或更多个换能器生成的波的特征的值。该方法还包括由两个或更多个换能器生成在目标位置处相长干涉的波，以在可穿戴设备的用户身上产生触觉刺激，该波具有所选值。

Description

用于在用户身上产生局部触觉刺激的方法、设备和***
技术领域
本公开总体上涉及触觉刺激，包括但不限于在虚拟现实和/或增强现实设备的用户身上产生局部触觉刺激并向其提供触觉刺激。
背景
触觉或动觉通信通过向用户施加力、振动和/或运动来重新产生触摸的感觉。机械刺激皮肤可能会引起长程反应，包括在四肢传播的波。皮肤/肉(flesh)的粘弹性(viscoelasticity)产生依赖于频率的衰减和分散。对皮肤/肉的这种刺激会引发可以到达很远距离的行波，影响触觉定位和感知。然而，产生足够幅度的刺激是一个挑战。
概述
因此，需要用于产生具有足够幅度的局部刺激的方法、设备和***。一种解决方案是生成在目标位置处相长干涉(constructively interfere)的多个波(例如，超声波)。波的相长干涉导致用户感觉到触觉刺激。此外，时间反转聚焦方法可以用于针对用户身体上的目标位置处的刺激接触的波的合成。
在一些实施例中，可以在包括多个换能器(transducer)(例如，致动器)的可穿戴设备上实现上面解释的解决方案。在某些情况下，可穿戴设备佩戴在用户的手腕(或各种其他身体部位)上，并用于刺激可穿戴设备的直接接触区域之外的身体区域。此外，可穿戴设备可以与主机***(例如，虚拟现实设备和/或增强现实设备等)通信，并且可穿戴设备可以基于来自主机***的指令刺激身体。作为示例，主机***可以显示媒体内容(例如，视频数据)或者向用户提供伴随的音频信号(例如，主机***可以指示头戴式显示器显示视频数据)，并且主机***还可以指示可穿戴设备产生对应于向用户显示的图像的局部触觉刺激。由主机***显示的媒体内容或伴随的音频信号可以用于修改刺激的感知或认知解释(即，通过将感知的刺激位置朝向与对象的可见接触(seen contact)移动，或者通过修改感知的振动模式以更接近所产生的声音)。
本文描述的设备、***和方法提供的益处包括但不限于：(i)刺激可穿戴设备的直接接触区域之外的身体区域，(ii)根据视觉数据或由传感器(例如，可穿戴设备上的传感器)收集的其他数据产生不同幅度的触觉刺激，(iii)可穿戴设备不妨碍用户的手和/或手腕(或其他身体部位)的***，以及(iv)可以同时使用多个可穿戴设备。
(A1)根据一些实施例，在包括多个换能器(或单个换能器)的可穿戴设备处执行方法，其中每个换能器生成一个或更多个波(本文也称为“信号”)，这些波通过介质(例如，通过用户皮肤的子层、用户的肉、用户的骨骼等)传播离开可穿戴设备。该方法包括激活多个换能器中的两个或更多个换能器。该方法还包括至少部分地基于介质的已知阻抗来选择将由两个或更多个换能器(或单个换能器)生成的波的特征的值。该方法还包括由两个或更多个换能器生成在目标位置处相长干涉的波，以在可穿戴设备的用户身上产生触觉刺激，该波具有所选值。在一些实施例中，波是机械波(例如，声波、超声波等)。在一些实施例中，可穿戴设备被附连到用户的附肢(例如，手腕、前臂、二头肌、大腿、脚踝、胸部等)。在一些实施例中，目标位置在附肢上。例如，可穿戴设备可以附连到用户的手腕上，并且目标位置在附连到手腕上的用户的手上。在一些实施例中，目标位置在用户的手指、前臂、脚踝、小腿(calf)、二头肌、肋骨等上。
(A2)在A1的方法的一些实施例中，由两个或更多个换能器生成波包括在第一方向上将波传输到用户的手腕中，并且波在第二方向上远离手腕传播通过用户的身体，并且在目标位置处相长干涉。在一些实施例中，第一方向基本上垂直于第二方向。
(A3)在A1-A2中任一项的方法的一些实施例中，激活两个或更多个换能器包括：(i)在第一时间激活两个或更多个换能器中的第一换能器，以及(ii)在第一时间之后的第二时间激活两个或更多个换能器中的第二换能器。
(A4)在A1-A2中任一项的方法的一些实施例中，激活两个或更多个换能器包括同时激活两个或更多个换能器。
(A5)在A1-A4中任一项的方法的一些实施例中，还包括从与可穿戴设备通信的主机接收指令。响应于从主机接收到指令，执行激活两个或更多个换能器。
(A6)在A5的方法的一些实施例中，从主机接收的指令识别目标位置。
(A7)在A5-A6中任一项的方法的一些实施例中，可穿戴设备还包括与主机无线通信的通信无线电设备，并且通信无线电设备接收来自主机的指令。
(A8)在A1-A7中任一项的方法的一些实施例中，可穿戴设备还包括与多个换能器通信的控制器，并且控制器执行激活和选择。
(A9)在A1-A8中任一项的方法的一些实施例中，还包括，在包括第二多个换能器的第二可穿戴设备处，每个换能器可以生成通过介质传播离开第二可穿戴设备的一个或更多个波：(i)激活第二多个换能器中的两个或更多个换能器，(ii)至少部分地基于介质的已知阻抗来选择由第二多个换能器中的两个或更多个换能器生成的波的特征的第二值；以及(iii)由第二多个换能器中的两个或更多个换能器生成在不同的目标位置处相长干涉的波，以在用户身上产生第二触觉刺激，该波具有第二所选值。
(A10)在A9的方法的一些实施例中，(i)与第一可穿戴设备相关联的介质是第一介质，以及(ii)与第二可穿戴设备相关联的介质是第二介质，该第二介质具有与第一介质的已知阻抗不同的已知阻抗。
(A11)在A10方法的一些实施例中，基于第一介质和第二介质之间的阻抗差异，第二所选值不同于第一所选值。
(A12)在A1-A11中任一项的方法的一些实施例中，目标位置与可穿戴设备分开一定距离(例如，非零距离)。
(A13)在A1-A12中任一项的方法的一些实施例中，可穿戴设备还包括将被固定在用户的手腕周围的带，并且多个换能器中的每一个耦合到该带。
(A14)在A13的方法的一些实施例中，多个换能器中的换能器沿着带的周界径向间隔开。
(A15)在A13-A14中任一项的方法的一些实施例中，两个或更多个换能器通过至少一个其他换能器彼此分离。
(A16)在A13-A14中任一项的方法的一些实施例中，两个或更多个换能器在可穿戴设备上彼此相邻。
(A17)在A1-A16中任一项的方法的一些实施例中，多个换能器中的换能器在可穿戴设备上彼此等距间隔开。
(A18)在A1-A17中任一项的方法的一些实施例中，多个换能器是第一多个换能器，并且可穿戴设备还包括第二多个换能器。
根据一些实施例，可穿戴设备包括一个或更多个处理器/核心以及存储被配置为由一个或更多个处理器/核心执行的一个或更多个程序的存储器。一个或更多个程序包括用于执行上述方法(A1-A18)的操作的指令。根据一些实施例，非暂时性计算机可读存储介质中存储有指令，当由可穿戴设备的一个或更多个处理器/核心执行时，该指令使得可穿戴设备执行上述方法(A1-A18)的操作。根据一些实施例，一种***包括可穿戴设备、头戴式显示器(HMD)以及向HMD提供视频/音频馈送(feed)和向可穿戴设备提供指令的计算机***。
在另一方面，提供了一种可穿戴设备，并且该可穿戴设备包括用于执行本文描述的任何方法(A1-A18)的装置。
附图简述
为了更好地理解所描述的各种实施例，应该结合以下附图参考以下实施例的描述，在附图和说明书中，相同的附图标记指代相应的部分。
图1是示出根据各种实施例的示例性触觉***的框图。
图2是示出根据一些实施例的示例性可穿戴设备的框图。
图3是示出根据一些实施例的示例性计算机***的框图。
图4是根据一些实施例的用户手腕上的可穿戴设备的示例性视图。
图5是根据一些实施例的用户手腕上的可穿戴设备的示例性截面图。
图6A-图6B是根据一些实施例的可穿戴设备的示例性视图。
图7A-图7B是根据一些实施例的图6A的可穿戴设备的截面图。
图8示出了根据一些实施例的附连在用户手腕上的图6A的可穿戴设备。
图9A-图9B是根据一些实施例的生成波的图6A的可穿戴设备的不同视图。
图10是示出根据一些实施例的产生局部触觉刺激的方法的流程图。
图11是示出根据一些实施例的管理局部触觉刺激的产生的方法的流程图。
图12示出了彼此相长干涉的多个爬行波(crawling wave)。
图13示出了人工现实设备的实施例。
图14示出了增强现实头戴式装置(headset)和相应颈带的实施例。
图15示出了虚拟现实头戴式装置的实施例。
实施例的描述
现在将参考实施例，其示例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对各种所描述的实施例的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施各种所描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程、组件、电路和网络，以免不必要地模糊实施例的各个方面。
还应当理解，尽管在某些情况下，术语第一、第二等在本文用于描述各种元素，但这些元素不应当被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一可穿戴设备可以被称为第二可穿戴设备，并且类似地，第二可穿戴设备可以被称为第一可穿戴设备，而不脱离各种所描述的实施例的范围。除非另有说明，否则第一可穿戴设备和第二可穿戴设备都是可穿戴设备，但是它们不是相同的可穿戴设备。
在本文各种所描述的实施例的描述中使用的术语仅用于描述特定实施例的目的，而并不旨在是限制性的。如在各种所描述的实施例和所附权利要求的描述中所使用的，除非上下文清楚地另有指示，否则单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应当理解，本文使用的术语“和/或”指的是并包括一个或更多个相关列出项目的任何和所有可能的组合。还应当理解，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprises)”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。
如本文所使用的，术语“如果”可选地被解释为意指“当…时(when)”或“在……时(upon)”或“响应于确定”或“响应于检测”或“根据确定……”，这取决于上下文。类似地，短语“如果确定”或“如果检测到[所述条件或事件]”可选地被解释为意指“在确定……时”或“响应于确定”或“在检测到[所述条件或事件]时”或“响应于检测到[所述条件或事件]”或“根据检测到[所述条件或事件]的确定”，这取决于上下文。
如本文所使用的，术语“示例性的”是在“用作示例、实例或说明”的意义上使用的，而不是在“代表同类中最好”的意义上使用的。
图1是示出根据各种实施例的***100的框图。虽然示出了一些示例性特征，但是为了简洁起见，没有示出各种其他特征，以免模糊本文公开的示例性实施例的相关方面。为此，作为非限制性示例，***100包括可穿戴设备102，其与计算机***130(例如，主机***或主计算机)结合使用。在一些实施例中，***100提供具有触觉反馈的虚拟现实设备、具有触觉反馈的增强现实设备、其组合的功能，或者提供一些其他功能。下面参考图13-图15更详细地描述***100。
示例可穿戴设备102(例如，可穿戴设备102a)包括例如一个或更多个处理器/核心104(此后称为“处理器”)、存储器106、一个或更多个换能器阵列110、一个或更多个通信组件112和/或一个或更多个传感器114。在一些实施例中，这些组件通过通信总线108互连。对可穿戴设备102的这些组件的引用涵盖了包括一个或更多个这些组件(及其组合)的实施例。在一些实施例中，一个或更多个传感器114是一个或更多个换能器阵列110的一部分(例如，换能器阵列110中的换能器也执行一个或更多个传感器114的功能，下面将进一步详细讨论)。例如，换能器阵列110中的一个或更多个换能器可以是被配置成检测声波(例如，超声波)的电声换能器。
在一些实施例中，单个处理器104(例如，可穿戴设备102a的处理器104)执行用于控制多个可穿戴设备102(例如，可穿戴设备102b……102n)的软件模块。在一些实施例中，单个可穿戴设备102(例如，可穿戴设备102a)包括多个处理器104，例如一个或更多个可穿戴设备处理器(被配置为例如控制换能器阵列110的波116的传输)、一个或更多个通信组件处理器(被配置为例如控制由通信组件112传输的通信和/或通过通信组件112接收通信)和/或一个或更多个传感器处理器(被配置为例如控制传感器114的操作和/或从传感器114接收输出)。
可穿戴设备102被配置成经由换能器阵列110生成(和接收)波116(信号)。具体而言，可穿戴设备102被配置成生成波116，该波116刺激可穿戴设备的直接接触区域之外(即远离该直接接触区域)的穿戴者身体区域(尽管在一些情况下，所生成的波也可以刺激可穿戴设备的直接接触区域之下(例如在该处)的穿戴者区域)。在一些实施例中，各个换能器阵列110中的换能器是微型压电致动器/器件、振动触觉致动器等。在一些实施例中，各个换能器阵列110中的换能器是单极或多极音圈马达等。换能器阵列110被配置成响应于被可穿戴设备(例如，经由处理器104或可穿戴设备102中包括的一些其他控制器)激活而生成并传输波116。在一些实施例中，波116是机械波(例如，声波、超声波或各种其他机械波)。机械波是物质的振荡，它通过介质传递能量。如本文所述，“介质”是穿戴者的皮肤、肉、骨骼、血管等。由于可穿戴设备102的布置(例如，如图9A-图9B所示)，由阵列110中的相应换能器传输的波116产生垂直于传输方向的振荡或振动。例如，如果从阵列110中的相应换能器沿着Y轴(即，垂直于介质(即，穿戴者的皮肤/肉/骨骼))传输波116，则产生的振荡或振动沿着介质(至少最初)在X轴和/或Z轴上传播。在某些情况下，所产生的振荡或振动类似于石头撞击水体时产生的波纹。在其他情况下，所产生的振动类似于传输波116a、116b(图9A-图9B)，因为传输波116在冲击穿戴者身体时实质上转了90度。
在一些实施例中，可穿戴设备102基于各种因素来调整波116的一个或更多个特征(例如，波形特征(例如相位、增益、方向、振幅和/或频率))。例如，可穿戴设备102可以选择用于传输波116的特征的值，以考虑可穿戴设备的用户的特征。在一些实施例中，可穿戴设备102调整波116的一个或更多个特征，使得波116在预定位置(例如，目标位置)处会聚，导致受控的相长干涉图案。作为受控的相长干涉图案的结果，可穿戴设备的穿戴者在目标位置处感觉到触觉刺激。在一些实施例中，可穿戴设备102响应于用户移动来创建或调整波116的一个或更多个特征。下面参考图10进一步详细讨论选择波116的特征的值。
当两个或更多个波116彼此同相(in phase)并会聚成组合波时，发生波的相长干涉，使得组合波的振幅大于单个波的振幅。例如，从多个换能器到达一个位置的正弦波形的正峰值和负峰值“加在一起”，以产生更大的正峰值和负峰值。在一些实施例中，在发生波的相长干涉的位置处(即，在目标位置处)，用户感觉到触觉刺激(或感觉到最大量的触觉刺激)。因此，为了产生更强的触觉刺激，可以激活更多数量的换能器，从而更多的波“加在一起”。注意，用户也可以感觉到通过介质传播到目标位置的波；然而，相对于在目标位置处产生并感觉到的触觉刺激，这些触觉刺激不太明显。
作为一个示例，可穿戴设备102的两个换能器可以产生具有例如10,000,000Hz和10,000,010Hz的相应频率的波(即，振动)。在这种情况下，即使产生的波分别具有10,000,000Hz和10,000,010Hz的频率，用户也会感觉到10Hz(即，会感觉到拍频)。在另一个示例中，如果单个换能器产生频率为100,000,00Hz的波，但是波的振幅被以10Hz调制(例如，振幅调制，AM)，用户将感觉到10Hz。使用这一概念，通过使用具有异相波(waves out of phase)的多个换能器，或者通过使用来自异相换能器的AM，可以将以10Hz调制的多个波聚焦(即，相长干涉)在目标位置处。
如下面将更详细讨论的，由可穿戴设备102产生的触觉刺激可以对应于由头戴式显示器140显示的视觉数据。为了提供一些背景，由头戴式显示器140显示的视觉数据可以描绘昆虫在穿戴者手上爬行。可穿戴设备102可以产生一个或更多个触觉刺激来模拟，但不一定匹配，昆虫在穿戴者手上爬行的感觉。可以想象，昆虫在手上爬行是一种细微的感觉，因此可穿戴设备产生的触觉刺激也同样细微。此外，当昆虫在穿戴者的手上移动时，触觉刺激的位置(或多个位置)也会移动。作为另一个示例，由头戴式显示器140显示的视觉数据可以描绘穿戴者抓住对象(例如，棒球)。可穿戴设备102可以产生一个或更多个触觉刺激，以诱发对象被穿戴者的手抓住的感觉(例如，棒球被抓住的冲击力是相当大的，因此由可穿戴设备102产生的触觉刺激将是同样大的)。在又一示例中，由头戴式显示器140显示的视觉数据可以描绘黑暗洞穴中的用户，因此用户的视觉本质上不能被使用。在这样的示例中，可穿戴设备102可以产生一个或更多个触觉刺激来模拟在洞穴中遇到的感觉，例如，水滴落在用户身上的感觉，和/或蝙蝠飞过用户的手臂、腿和其他身体部位的感觉，这取决于所实现的可穿戴设备102的数量。
这样，穿戴者进一步沉浸在虚拟和/或增强现实中，使得穿戴者不仅看到昆虫在他或她的手上爬行，而且穿戴者“感觉”到昆虫在他或她的手上爬行。此外，可穿戴设备被设计成不限制穿戴者的手的移动，就像以前的一些触觉刺激设备的情况一样。例如，如图8所示，可穿戴设备600附连到用户的手腕，因此用户的手不受阻碍。
注意，由可穿戴设备102产生的触觉刺激可以对应于附加数据或事件(即，不限于由头戴式显示器140显示的视觉数据)。例如，由可穿戴设备102产生的触觉刺激可以对应于穿戴者的生理信息。生理信息可以由可穿戴设备102的传感器114(例如，IMU、心率传感器等)和/或其他设备的传感器(例如，传感器145和照相机139)收集。触觉刺激也可以对应于本体感觉事件，例如(例如，当穿戴者轻击虚拟对象时)由用户产生的机械刺激。用于机械刺激的信息也可以由可穿戴设备102的传感器114和/或其他设备的传感器(例如，传感器145和照相机139)收集。
计算机***130是执行虚拟现实应用和/或增强现实应用以处理来自头戴式显示器140上的传感器145和可穿戴设备102上的传感器114的输入数据的计算设备。计算机***130为(i)头戴式显示器140上的电子显示器144和(ii)可穿戴设备102(例如，图2A中的触觉设备102的处理器104，)提供输出数据。示例性计算机***130例如包括一个或更多个处理器/核心132、存储器134、一个或更多个通信组件136和/或一个或更多个照相机139。在一些实施例中，这些组件通过通信总线138互连。对计算机***130的这些组件的引用涵盖了包括一个或更多个这些组件(及其组合)的实施例。
在一些实施例中，计算机***130是耦合到头戴式显示器140的独立设备。例如，计算机***130具有用于控制计算机***130的一个或更多个功能的处理器/核心132，并且头戴式显示器140具有用于控制头戴式显示器140的一个或更多个功能的处理器/核心141。或者，在一些实施例中，头戴式显示器140是计算机***130的组件。例如，处理器132控制计算机***130和头戴式显示器140的功能。此外，在一些实施例中，头戴式显示器140包括与计算机***130的处理器132通信的处理器141。在一些实施例中，计算机***130和头戴式显示器140之间的通信经由通信总线138和通信总线146之间的有线连接而发生。在一些实施例中，计算机***130和头戴式显示器140共享单个通信总线。注意，在一些情况下，头戴式显示器140与计算机***130分离(未示出)。
计算机***130可以是任何合适的计算机设备，例如膝上型计算机、平板设备、上网本、个人数字助理、移动电话、智能电话、虚拟现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备等)、游戏设备、计算机服务器或任何其他计算设备。计算机***130有时被称为主机或主机***。在一些实施例中，计算机***130包括其他用户接口组件，例如键盘、触摸屏显示器、鼠标、跟踪板和/或任何数量的补充I/O设备，以向计算机***130添加功能。
在一些实施例中，计算机***130的一个或更多个照相机139用于促进虚拟现实和/或增强现实。此外，在一些实施例中，一个或更多个照相机139还充当投影仪以显示虚拟和/或增强图像(或者在一些实施例中，计算机***包括一个或更多个不同的投影仪)。在一些实施例中，计算机***130将由一个或更多个照相机139捕获的图像提供给头戴式显示器140的显示器144，并且显示器144转而显示所提供的图像。在一些实施例中，头戴式显示器140的处理器141处理所提供的图像。注意，在一些实施例中，一个或更多个照相机139是头戴式显示器140的一部分。
头戴式显示器140向用户呈现媒体。由头戴式显示器140呈现的媒体的示例包括图像、视频、音频或其某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从头戴式显示器140、计算机***130或两者接收音频信息，并基于音频信息呈现音频数据。示例性头戴式显示器140例如包括一个或更多个处理器/核心141、存储器142和/或一个或更多个显示器144。在一些实施例中，这些组件通过通信总线146互连。对头戴式显示器140的这些组件的引用涵盖了包括一个或更多个这些组件(及其组合)的实施例。注意，在一些实施例中，头戴式显示器140包括一个或更多个传感器145。或者，在一些实施例中，一个或更多个传感器145是主机***130的一部分。图14和图15示出了头戴式显示器140的附加示例(例如，AR***1400和VR***1500)。
电子显示器144根据从计算机***130接收的数据来向用户显示图像。在各种实施例中，电子显示器144可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。显示的图像可以是在虚拟现实、增强现实或混合现实中的。
可选传感器145包括一个或更多个硬件设备，其检测关于头戴式显示器140的空间和运动信息。空间和运动信息可以包括关于头戴式显示器140的位置、定向、速度、旋转和加速度的信息。例如，传感器145可以包括一个或更多个惯性测量单元(IMU)，其在用户佩戴头戴式显示器140时检测用户头部的旋转。然后，该旋转信息可以用于(例如，由计算机***130)调整显示在电子显示器144上的图像。在一些实施例中，每个IMU包括一个或更多个陀螺仪、加速度计和/或磁力计，以收集空间和运动信息。在一些实施例中，传感器145包括位于头戴式显示器140上的一个或更多个照相机。
在一些实施例中，如上所述，可穿戴设备102的换能器阵列110可以包括被配置为向可穿戴设备的用户生成波116的一个或更多个换能器(在一些实施例中，换能器还感测传输的波)。可穿戴设备102的集成电路(未示出)，例如控制器电路和/或波形发生器，可以控制换能器的行为(例如，图4中的控制器412)。例如，基于通过通信信号118(例如，指令)从计算机***130接收的信息，控制器电路可以选择用于生成波116的波形特征(例如，振幅、频率、轨迹、方向、相位以及其他特征)的值，波116将在用户身上的目标位置处提供足够的触觉刺激。至少在一些实施例中，控制器电路还为阵列110中的换能器选择特征的不同值，以有效地将传播的波导向目标位置。这样，控制器电路能够在目标位置处产生相长干涉。控制器电路还可以从换能器阵列110中识别换能器的子集，该子集将有效地传输波116，并且可以转而激活所识别的集合。
通信组件112包括用于与计算机***130通信的通信组件天线。此外，通信组件136包括与通信组件112通信的互补通信组件天线。下面参考图2和图3进一步详细讨论各个通信组件。
在一些实施例中，包含在通信信号118中的数据被可穿戴设备102使用，以用于选择由换能器阵列110用来传输波116的特征的值。在一些实施例中，包含在通信信号118中的数据通知计算机***130可穿戴设备102准备好使用。如下面将更详细描述的，计算机***130向可穿戴设备102发送指令，并且响应于接收到该指令，可穿戴设备生成波116，该波116在可穿戴设备102的穿戴者上产生触觉刺激。
在一些实施例中，可穿戴设备102将第一任务分配给换能器阵列110中的换能器的第一子集，将第二任务分配给换能器阵列110中的换能器的第二子集，等等。同一换能器可以被分配给多个子集，包括第一子集和第二子集。这样，不同的子集执行不同的任务(例如，在第一目标位置处产生第一触觉刺激，在第二目标位置处产生第二触觉刺激，等等)。此外，可以在第一时间点分配第一任务，并且可以在第二时间点分配第二任务(或者，这两个任务可以同时执行)。
传感器114和/或传感器145的非限制性示例包括，例如，红外传感器、热电传感器、超声波传感器、激光传感器、光学传感器、多普勒传感器、陀螺仪、加速度计、谐振LC传感器、电容传感器、心率传感器、声学传感器和/或感应传感器。在一些实施例中，传感器114和/或传感器145被配置为收集用于确定可穿戴设备的用户的手部姿势和/或介质的阻抗的数据。由这些传感器输出的传感器数据的示例包括：体温数据、红外测距仪数据、运动数据、活动识别数据、轮廓检测与识别数据、姿势数据、心率数据和其他可穿戴设备数据(例如，生物测定读数和输出、加速度计数据)。在一些实施例中，换能器本身用作传感器。
图2是示出根据一些实施例的代表性可穿戴设备102的框图。在一些实施例中，可穿戴设备102包括一个或更多个处理单元(例如，CPU、微处理器等)104、一个或更多个通信组件112、存储器106、一个或更多个换能器阵列110以及用于互连这些组件(有时称为芯片组)的一个或更多个通信总线108。在一些实施例中，如上面参考图1所述，可穿戴设备102包括一个或更多个传感器114。在一些实施例中(未示出)，可穿戴设备102包括一个或更多个输出设备，例如一个或更多个指示灯、声卡、扬声器、用于显示文本信息和错误代码的小显示器等。
各个换能器阵列110中的换能器生成波116(图1)。在一些实施例中，一个或更多个换能器包括例如能够生成波116(例如，声波、超声波等)的硬件。例如，每个换能器可以将电信号转换成超声波。一个或更多个换能器可以是微型压电换能器、电容换能器、单极或多极音圈马达和/或用于产生波116的任何其他合适的设备。波116可以是驻波(standingwave)。
在一些实施例中，一个或更多个换能器与用于生成波的振荡器和/或频率调制器耦合(或包括该振荡器和/或频率调制器)，使得波适于传输。振荡器和频率调制器可以是包含在可穿戴设备102中的集成电路的一部分。
通信组件112实现可穿戴设备102和一个或更多个通信网络之间的通信。在一些实施例中，通信组件112包括例如能够使用以下协议进行数据通信的硬件：多种无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任何一种、有线协议(例如，Ethernet、HomePlug等)，和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。
存储器106包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器106或者可选地存储器106内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器106或存储器106的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：
·操作逻辑216，其包括用于处理各种基本***服务和用于执行硬件相关任务的程序；
·通信模块218，其用于(例如，结合通信组件112)耦合到远程设备(例如，计算机***130、其他可穿戴设备等)和/或与该远程设备通信；
·传感器模块220，其用于(例如，结合传感器114和/或换能器阵列110)获取并处理传感器数据，以例如确定可穿戴设备102的定向(以及其他目的，例如确定可穿戴设备的用户的手部姿势)；
·波生成模块222，其用于(例如，结合换能器110)生成并传输波，包括但不限于在一个或更多个目标位置处产生触觉刺激。在一些实施例中，模块222还包括特征选择模块234或者与特征选择模块234相关联，特征选择模块234用来选择用于生成波的特征的值；和
·数据库224，其包括但不限于：
ο传感器信息226，其用于存储并管理由一个或更多个传感器(例如，传感器114、一个或更多个远程传感器和/或换能器)接收、检测和/或传输的数据；
ο设备设置228，其用于存储可穿戴设备102和/或一个或更多个远程设备的操作设置(例如，波的特征的所选值)；
ο通信协议信息230，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；和
ο已知阻抗232，其用于存储可穿戴设备的各种用户的阻抗。
在一些实施例中，波生成模块222的特征选择模块234可以用于选择传输波的特定频率。如上所述，波的其他特征可以包括相位、增益、振幅、方向，并且选择模块234可以为这些特征中的每一个选择特定值。在一些实施例中，选择模块234基于从计算机***130接收的信息来选择值(如下文更详细解释的)。在一些实施例中，计算机***130包括选择模块234，并向可穿戴设备102提供相关特征。
在一些实施例中(未示出)，可穿戴设备102包括位置检测设备，诸如GNSS(例如，GPS、GLONASS等)或其他地理位置接收器，用于确定可穿戴设备102的位置。此外，在一些实施例中，可穿戴设备102包括位置检测模块(例如，GPS、Wi-Fi、磁性或混合定位模块)，用于(例如，使用位置检测设备)确定可穿戴设备102的位置，以及将该位置信息提供给主机***130。
在一些实施例中(未示出)，可穿戴设备102包括存储在数据库224中的唯一标识符。在一些实施例中，可穿戴设备102向主机***130发送唯一标识符，以向主机***130标识其自身。当同时使用多个可穿戴设备时，这尤其有用。
在一些实施例中，可穿戴设备102包括一个或更多个惯性测量单元(IMU)，用于检测可穿戴设备102的运动和/或定向变化。在一些实施例中，检测到的可穿戴设备102的运动和/或定向(例如，对应于用户手部的移动的运动/定向变化)被用于操纵由头戴式显示器140显示的界面(或界面内的内容)。在一些实施例中，IMU包括一个或更多个陀螺仪、加速度计和/或磁力计来收集IMU数据。在一些实施例中，IMU测量多个轴(例如，三个轴、六个轴等)的运动和/或定向的变化。在这种情况下，IMU可以包括用于多个轴中的每一个的一个或更多个仪器。一个或更多个IMU可以是一个或更多个传感器114的一部分。
上述每个元件(例如，存储在可穿戴设备102的存储器106中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器106可选地存储上述模块和数据结构的子集。此外，存储器106可选地存储上面没有描述的附加模块和数据结构。
图3是示出根据一些实施例的代表性计算机***130的框图。在一些实施例中，计算机***130包括一个或更多个处理单元/核心(例如，CPU、GPU、微处理器等)132、一个或更多个通信组件136、存储器134、一个或更多个照相机139以及用于互连这些组件(有时称为芯片组)的一个或更多个通信总线308。在一些实施例中，计算机***130包括用于连接计算机***130和头戴式显示器140的头戴式显示器接口305。如上在图1中所讨论的，在一些实施例中，计算机***130和头戴式显示器140一起在单个设备中，而在其他实施例中，计算机***130和头戴式显示器140彼此分离。
虽然未示出，但是在一些实施例中，计算机***(和/或头戴式显示器140)包括一个或更多个传感器145(如上面参考图1所讨论的)。
通信组件136实现计算机***130和一个或更多个通信网络之间的通信。在一些实施例中，通信组件136包括例如能够使用以下协议进行数据通信的硬件：各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任一种、定制或标准有线协议(例如，Ethernet、HomePlug等)和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。
存储器134包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器134或者可选地存储器134内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器134或存储器134的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：
·操作逻辑316，其包括用于处理各种基本***服务和用于执行硬件相关任务的程序；
·通信模块318，其用于(结合通信组件136)耦合到远程设备(例如，可穿戴设备102a-102n、远程服务器(未示出)等)和/或与该远程设备通信；
·虚拟现实生成模块320，其用于生成虚拟现实图像并将相应的视频和音频数据发送到HMD 140(在一些实施例中，虚拟现实生成模块320是增强现实生成模块320(或者存储器134包括不同的增强现实生成模块)，用于生成增强现实图像并结合照相机139和HMD140投影那些图像)；
·指令模块322，其用于生成指令，当(例如，使用通信组件136)将该指令发送到可穿戴设备102时，使得可穿戴设备102激活两个或更多个换能器；
·显示模块324，其用于结合头戴式显示器140和/或照相机139来显示虚拟现实图像和/或增强现实图像；
·数据库326，其包括但不限于：
ο显示信息328，其用于存储虚拟现实图像和/或增强现实图像(例如，视觉数据)；
ο触觉信息330，其用于存储对应于所存储的虚拟现实图像和/或增强现实图像的触觉信息；
ο通信协议信息332，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；和
ο映射数据334，其用于存储并管理映射数据(例如，在用户身上映射一个或更多个可穿戴设备102)。
在图3所示的示例中，计算机***130还包括虚拟现实(和/或增强现实)应用336。在一些实施例中，虚拟现实应用336被实现为存储在存储设备上并由处理器执行的软件模块。每个虚拟现实应用336是一组指令，当由处理器执行时，生成虚拟现实内容以呈现给用户。虚拟现实应用336可以响应于经由头戴式显示器140或可穿戴设备102的移动从用户接收的输入来生成虚拟现实内容。虚拟现实应用336的示例包括游戏应用、会议应用和视频回放应用。
虚拟现实生成模块320是允许虚拟现实应用336结合头戴式显示器140和可穿戴设备102进行操作的软件模块。虚拟现实生成模块320可以从头戴式显示器140上的传感器145接收信息，并且可以转而将该信息提供给虚拟现实应用336。基于接收到的信息，虚拟现实生成模块320确定要提供给头戴式显示器140以通过电子显示器144呈现给用户的媒体内容。例如，如果虚拟现实生成模块320从头戴式显示器140上的传感器145接收到指示用户已经向左看的信息，则虚拟现实生成模块320为头戴式显示器140生成反映(mirror)用户在虚拟环境中的移动的内容。
类似地，在一些实施例中，虚拟现实生成模块320从可穿戴设备102上的传感器114接收信息，并将该信息提供给虚拟现实应用336。应用336可以使用该信息在应用336的虚拟世界中执行动作。例如，如果虚拟现实生成模块320从传感器114接收到用户已经举起他的手的信息，则虚拟现实应用336中的模拟手(例如，用户的化身)举起到相应的高度。如上所述，由虚拟现实生成模块320接收的信息还可以包括来自头戴式显示器140的信息。例如，头戴式显示器140上的照相机139可以捕获用户的移动(例如，用户手臂的移动)，并且应用336可以使用该附加信息来在应用336的虚拟世界内执行动作。
为了进一步用增强现实示例进行说明，如果增强现实生成模块320从传感器114接收到用户已经旋转了他的前臂的信息，而在增强现实中，用户界面(例如，键盘)显示在用户的前臂上，则增强现实生成模块320为头戴式显示器140生成反映用户在增强环境中的移动的内容(例如，用户界面根据用户前臂的旋转而旋转)。
每个上述元件(例如，存储在计算机***130的存储器134中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器134可选地存储上述模块和数据结构的子集。
图4是根据一些实施例的可穿戴设备102的示例视图400。视图400示出了用户的手408、用户的手腕404、用户的手臂406以及用户手臂406上的可穿戴设备102。这种布置仅仅是一种可能的布置，并且本领域技术人员将理解，本文的讨论不限于图4所示的布置。
可穿戴设备102包括可穿戴结构402，其可以是柔性机械基底，例如塑料(例如，聚乙烯或聚丙烯)、橡胶、尼龙、合成材料、聚合物等。在一些实施例中，可穿戴结构402被配置为佩戴在用户的手腕404或手臂406(以及各种其他身体部位)的至少一部分周围。可穿戴设备102包括换能器阵列110，换能器阵列110包括布置在可穿戴结构402上不同位置的多个换能器410。换能器410可以沿着面向手臂406的可穿戴结构402的内表面以一定图案排列，使得换能器410接触用户的皮肤。在另一个示例中，换能器可以沿着可穿戴结构602的内周界以径向图案排列(图6B)。
换能器410响应于从控制器412接收到一个或更多个控制信号而生成波(例如，图1中的波116)。一个或更多个控制信号指示换能器阵列110中的一个或更多个换能器410向用户的手腕或手臂发送波(例如，超声波)。在一些实施例中，可穿戴设备102包括安装在可穿戴结构402上的一个或更多个传感器(例如，图1中的传感器114)，以测量用户手腕或手臂的阻抗。在一些实施例中，如上所述，可穿戴结构402包括存储用户(或多个用户)的已知阻抗的存储器(例如，图1中的存储器106)。在一些实施例中，控制器412基于来自主机***(例如，图1中的计算机***130)的指令生成控制信号(或多个信号)。在一些实施例中，来自主机***的指令基于从可穿戴设备102的一个或更多个传感器接收的信息(例如，基于来自可选IMU的信息和/或来自传感器114(例如心率传感器)的信息)。替代地或附加地，控制器412可以基于从可穿戴设备102的一个或更多个传感器接收的信息生成控制信号(或多个信号)
可穿戴设备102被放置在用户的手臂406上，以向用户发送触觉刺激。例如，触觉刺激(例如，触觉反馈)包括触摸刺激、滑动刺激、拉动刺激、推动刺激、旋转刺激、热刺激和/或疼痛刺激。在一些实施例中，可穿戴设备102上的每个换能器410单独用于产生触觉刺激。或者，在一些实施例中，两个或更多个换能器一起用于产生触觉刺激。在一些实施例中，少于全部换能器的换能器用于产生触觉刺激。例如，第一组换能器(两个或更多个换能器)可以用于在第一位置处产生第一触觉刺激，并且第二组换能器(两个或更多个不同的换能器)可以用于在第二位置处产生第二触觉刺激。在一些实施例中，需要阈值数量的换能器来产生触觉刺激。例如，两个或更多个换能器需要生成超声波，以便可穿戴设备的用户能够感觉到触觉刺激。在一些实施例中，随着生成超声波的换能器的数量增加，用户感觉到的触觉刺激的幅度增加。
如上所述，由于换能器410生成的波116，振荡或振动沿着穿戴者的身体(例如在其内)传播。波116产生的振荡或振动在本文有时被称为爬行波(“爬行波现象”)。在本文中，爬行波现象指的是具有不同谐波/声激励的两个或更多个源(即，换能器)，其在穿戴者的身体中诱发移动干涉图案。由源生成的爬行波以取决于谐波频率(f1、f2)和剪切波(shearwave)速度(s)的相速度(v)移动穿过穿戴者的身体。在一些实施例中，以下等式表示爬行波的相速度(v)：
Figure BDA0002654978720000201
作为示例，当f1＝500Hz，f2＝501Hz，s＝5m/s时，产生相速度v≈1cm/s的结果。在一些实施例中，以上等式的参数值由计算机***130提供，或者这些值由可穿戴设备102基于来自计算机***130的指令来计算。
图12(视图B)示出了彼此相长干涉的多个爬行波的示例。如所示出的，爬行波在位置1202处相长干涉，这对应于触觉刺激。在一些实施例中，如下所述，时间反转聚焦技术(time reversal focusing technique)用于确定图12所示的爬行波的参数。例如，所确定的参数被用于在位置1202(图12)处产生触觉刺激。
在一些实施例中，换能器410使用时间反转信号处理将超声波聚焦到用户体内。换句话说，可穿戴设备是一种可以使用时间反转方法聚焦波的设备。时间反转信号处理利用了波的互易性，这种互易性不受非线性介质(如用户皮肤)的影响。为了使用时间反转技术聚焦超声波，对于每个换能器410，可穿戴设备用测试信号激活相应的换能器(例如，图12中示出的每个换能器)，并测量相应目标位置(例如，图12中的位置1202)处的响应。可以使用各种仪器(包括但不限于激光多普勒测振仪)来测量各个目标位置处的响应。此后，所测量的信号被时间反转。通过用所测量信号的时间反转版本激活换能器410(例如，全部或少于全部)，可以在目标位置处产生受激皮肤(或其他介质)响应(例如，信号在目标位置处相长干涉)。如本领域技术人员将理解的，在一些情况下，每个爬行波的参数是相同的，而在一些其他情况下，爬行波的参数是不同的。此外，第一换能器可以在第一时间被激活，并且第二换能器可以在第二时间(例如，在第一时间之后)被激活(或者在一些实施例中，每个换能器被同时激活)。
在一些实施例中，换能器阵列110包括被设计成与人类皮肤接触的换能器410。具有导电剂和填充物的接触区域可以在每个换能器后面用在可穿戴设备102上，以提高受试者的舒适度并降低接触阻抗(例如，如图5所示)。换能器和皮肤之间的导电剂可以是使用导电凝胶的“湿”连接，其可以由丙二醇和NaCl组成，或者是“干”连接，例如导电聚合物(例如，掺碳的PDMS)的薄层。
图5是根据一些实施例的(沿着图4中的线X-Y截取的)可穿戴设备的示例横截面500。截面图500示出了用户手臂406上的可穿戴设备102(如上面图4中所述)。如所示出的，每个换能器在用户的手臂406中生成并传输波116a-116d(例如，超声波)。导电剂502降低了在换能器410和手臂406的皮肤之间的接触处呈现给波116的阻抗。
如所示出的，传输的波116a-116d延伸到用户的身体中(例如，延伸到表皮、真皮、肌肉、肌腱、韧带、骨骼等中)。在某些情况下，传输的波116a-116d的冲击导致爬行波使用用户的身体作为媒介从冲击位置辐射出去(例如，如图12所示)。尽管示出了波116a-116d传播到用户身体内的最小距离，但是在一些情况下，波116a-116d传播通过身体的至少一半(例如，到达骨骼)。
图6A是根据一些实施例的可穿戴设备600的等距视图。可穿戴设备600是可穿戴设备102的示例。可穿戴设备600被配置为附连到用户身体的一部分。例如，可穿戴设备600被配置为附连到用户身体的手腕、前臂、脚踝、二头肌、小腿、大腿和各种其他部位。在一些实施例中，可穿戴设备600是刚性或半刚性结构。或者，在一些实施例中，可穿戴设备102是柔性结构。尽管可穿戴设备600被示出为连续的圆圈，但是可穿戴设备600可以被分开从而(例如，以类似于手表的方式)附连到用户的身体上。
图6B是根据一些实施例的可穿戴设备600的截面图。可穿戴设备600包括可穿戴结构602。可穿戴结构602环绕用户身体的一部分。可穿戴设备600还包括沿着可穿戴结构602的内周界定位的多个换能器410(图4)。该示例中的换能器410径向间隔开，使得换能器410环绕可穿戴结构602，并形成换能器的基本上连续的圆圈。在这种布置中，可穿戴设备600能够以360度的方式产生波116。在一些实施例中，可穿戴结构602将换能器410与用户的皮肤分隔开。或者，在一些实施例(未示出)中，换能器410与用户的皮肤直接接触(如上面参考图5所述，也可以包括导电剂)。
图7A-图7B是根据一些实施例的可穿戴设备600的截面图。图7A示出了沿着可穿戴结构602的长度的换能器410的单排布置。图7B示出了沿着可穿戴结构602的长度的换能器410A、410B的双排布置(其他布置也是可能的，例如三排布置)。在一些实施例中(未示出)，换能器交错排列，使得给定行中的换能器不平行，而是彼此偏移。
图8示出了附连在用户手腕上的可穿戴设备600。可穿戴设备600的左边是用户的手臂802，并且可穿戴设备600的右边是用户的手804。可穿戴设备600也可以附连到用户的脚踝或各种其他身体部位。
图9A是根据一些实施例的沿着“A”视图截取的可穿戴设备600的截面图900。为了便于说明，已从图9A中移除了用户的手臂。如所示出的，来自换能器阵列110的两个换能器410A、410B被激活(由阴影表示)，并且每个换能器生成各自的波116a、116b。在一些实施例中，可穿戴设备600至少部分基于期望的目标位置来选择性地激活换能器阵列110的子集。在该示例中，目标位置912朝向用户的手804的上部。因此，可穿戴设备600选择性地激活两个加阴影的换能器410A和410B(注意，所显示的选择仅用于说明目的)。响应于被激活，两个换能器410A和110B各自在可穿戴设备102正下方的用户体内生成波116a、116b(即，所生成的波116a、116b至少最初垂直于用户皮肤传播)。如将参考图9B解释的，在最初垂直于用户身体传播之后，所生成的波最终平行于用户身体传播。
图9B是根据一些实施例的示例俯视图902，其示出了沿着“B”视图截取的可穿戴设备600和用户的手臂。如所示出的，由两个换能器生成的两个波116a、116b平行于用户的身体，并且使用手臂作为介质。两个波116a、116b在最初垂直于用户的手臂传播之后，在接触用户的身体并与用户的身体相互作用之后，平行于用户的身体传播。两个波116a、116b在远离冲击位置的身体子层内传播。在一些实施例中，两个波116a、116b的方向不同，例如垂直于皮肤和与皮肤相切，这可以导致不同的传导速度和衰减。例如，一个波最初可以垂直于用户的手臂传播，而另一个波最初可以平行于用户的手臂传播。
每个波的特征的值由可穿戴设备600(或主机***130)选择，使得两个波116a、116b在目标位置912处相长干涉。注意，图9B中的两个波116a、116b被示出为基本上是正弦形状。然而，在一些情况下，两个波116a、116b类似于水体上的波纹(例如，如图12所示)。例如，第一波116a产生第一波纹，其在远离冲击位置的身体的子层内传播，而第二波116b产生第二波纹，其在远离冲击位置的身体的子层内传播。基于波纹的特征、传播介质和两个冲击位置的间隔，两个波116a、116b在目标位置912处相长干涉。
如下面将参考图10更详细解释的，至少部分地基于用户的特征和目标位置来选择波的特征的值。
图10是示出根据一些实施例在用户身上产生局部触觉刺激的方法1000的流程图。方法1000的步骤可以由可穿戴设备(例如，图1中的可穿戴设备102)来执行。图10对应于存储在计算机存储器或计算机可读存储介质(例如，可穿戴设备102的存储器106)中的指令。例如，方法1000的操作至少部分地由通信模块(例如，图2中的通信模块218)、波生成模块(例如，图2中的波生成模块222)和/或特征选择模块(例如，图2中的特征选择模块236)来执行。
方法1000在包括多个换能器(例如，图1中的换能器阵列110)的可穿戴设备处执行，其中每个换能器生成一个或更多个波(例如，图1中的波116)，这些波通过介质传播离开可穿戴设备。在一些实施例中，换能器是微型压电器件的阵列。替代地或附加地，在一些实施例中，换能器是单极或多极音圈马达的阵列。在一些实施例中，一个或更多个波是机械波，例如超声波、声波等。在一些实施例中，一个或更多个波是电磁波或各种其他波。在一些实施例中，介质是佩戴可穿戴设备的用户的皮肤(或肉、骨骼等)。例如，可穿戴设备可以附连到用户的手腕，并且一个或更多个波可以通过可穿戴设备下方的皮肤传播离开可穿戴设备。在一些实施例中，多个换能器接触用户的皮肤。在一些实施例中，可穿戴设备还包括带(例如，图4中的可穿戴结构402；图6A中的可穿戴结构602)以固定在用户的手腕(或其他身体部位)周围，并且多个换能器中的每一个耦合到(例如，集成到)带。在一些实施例中，多个换能器沿着带的周界径向间隔开(例如，图6B所示的换能器布置)。在一些实施例中，可穿戴设备包括容纳可穿戴设备的组件的外壳。
方法1000包括激活(1004)多个换能器中的两个或更多个换能器(例如，图9A中的换能器410A和410B)。在一些实施例中，控制器(例如，图4中的控制器412)执行激活。在一些实施例中，控制器是可穿戴设备的一部分。或者，在一些实施例中，控制器是主机***130(图1)的一部分。在一些实施例中，激活两个或更多个换能器包括同时激活两个或更多个换能器。或者，在一些实施例中，激活两个或更多个换能器包括：(i)在第一时间激活两个或更多个换能器中的第一换能器，以及(ii)在第一时间之后的第二时间激活两个或更多个换能器中的第二换能器。例如，在某些情况下(例如，取决于目标位置和每个换能器在可穿戴设备上的位置)，两个或更多个换能器在不同的时间被激活，以确保由两个或更多个换能器传输的波与另一个波在目标位置处相长干涉。在一些实施例中，每个相应激活之间的时间差基于可穿戴设备上的每个换能器之间的距离而增加。在一些实施例中，进一步根据波的特征的所选值来确定每个相应激活之间的时间差(下面讨论)。
注意，在一些实施例中，方法1000包括激活单个换能器。例如，代替包括多个换能器的可穿戴设备，可穿戴设备可以包括能够产生多个波的一个大换能器(例如，换能器具有可以在不同位置处被选择性激活的网格或层的形状)。当触觉刺激的幅度需要很小(即，几乎不可察觉)时，可能会出现这种情况。此外，在某些情况下，单个换能器能够产生不同幅度(大和小)的触觉刺激。在这样的实施例中，方法1000中的以下步骤可以由单个换能器执行。
方法1000还包括至少部分基于介质的已知阻抗来选择(1006)将由两个或更多个换能器生成的波的特征的值。在某些情况下，介质的已知阻抗是基于用户的特征来确定的。用户的特征包括但不限于年龄、性别、身体脂肪指数和身体面积。例如，老年男性用户的手腕可以具有第一已知阻抗，而年轻女性用户的小腿可以具有不同于第一已知阻抗的第二已知阻抗。鉴于这些差异，为第一已知阻抗生成的波的特征的所选值可以不同于为第二已知阻抗生成的波的特征的所选值。波的特征包括但不限于频率、振幅、相位、波长和增益。此外，在一些实施例中，波的形状包括但不限于正弦、三角形、正方形、不对称形状和任意形状。在一些实施例中，选择(1006)由两个或更多个换能器生成的波的特征的值还基于目标位置和换能器阵列110的布置(例如，考虑换能器阵列110(图4)和换能器阵列110(图6B)之间的差异)。
在一些实施例中，时间反转聚焦技术用于确定波的特征的值和时间偏移(如上面参考图4所解释的)。
方法1000还包括由两个或更多个换能器生成(1008)在目标位置处相长干涉的波，以在可穿戴设备的用户身上产生触觉刺激。波具有所选值。在一些实施例中，触觉刺激选自包括触摸刺激、滑动刺激、拉动刺激、推动刺激、旋转刺激、热刺激和疼痛刺激的组。例如，第一触觉刺激可以模拟用户手背上的呼吸(细微的触觉刺激)，并且第二触觉刺激可以模拟用户手掌上的火焰(强烈的触觉刺激)(例如，虚拟现实视频游戏中的穿戴者的角色正在点燃雪茄)。在一些实施例中，第一触觉刺激可以模拟用户的生理状态。例如，如果虚拟现实视频游戏中的穿戴者的角色正在跑步，则可以使用来自可穿戴设备102的传感器114(例如，可选IMU和/或传感器114(例如心率传感器))的数据来产生模拟穿戴者心跳的触觉刺激。在一些实施例中，可穿戴设备位于穿戴者的胸部上。
注意，目标位置可以位于穿戴者的另一只手臂/手上。例如，可穿戴设备102可以佩戴在穿戴者的左手上，并且目标位置可以在穿戴者的右前臂上。因此，当穿戴者的两个手臂开始接触时(即，如果穿戴者用他或她的右手食指触摸他或她的左前臂)，可以在右手食指中产生触觉刺激，当两个身体部位之间进行接触时，在左前臂中感觉到触觉刺激。由于在手臂和手中的感受器的不同分布，在手指而不是前臂上诱发局部刺激的感觉可能不太复杂。
在一些实施例中，方法1000还包括从与可穿戴设备通信的主机(例如，图1中的主机***130)接收指令。在一些实施例中，来自主机的指令基于从可穿戴设备102的一个或更多个传感器接收的信息(例如，基于来自可选IMU的信息和/或来自传感器114(例如心率传感器)的信息)。可选地或附加地，来自主机的指令基于从头戴式显示器的一个或更多个传感器接收的信息。替代地或附加地，来自主机的指令基于在主机处执行的应用(例如，图3中的VR/AR应用336)的媒体内容(例如，游戏或其他程序的视觉和/或音频数据)。此外，在一些实施例中，响应于从主机接收到指令，执行激活两个或更多个换能器。在一些实施例中，从主机接收的指令识别目标位置。在一些实施例中，目标位置与可穿戴设备分开一段距离。例如，可穿戴设备附连在用户的手腕上，而目标位置在用户的手上。
用上面的雪茄示例进一步说明。主机可以与头戴式显示器140(图1)传送视觉数据，其中当由头戴式显示器显示时，视觉数据描绘了虚拟现实视频游戏中点燃雪茄的穿戴者的角色。同时，主机可以向可穿戴设备传送指令，其中当由可穿戴设备执行该指令时，该指令使得可穿戴设备通过两个或更多个换能器生成波，该波产生模拟由头戴式显示器140显示的火焰的触觉刺激。可以想象，为了使触觉刺激逼真，触觉刺激与头戴式显示器140显示的视觉数据一致。此外，因为可穿戴设备附连在用户的手腕上，所以用户的手保持不受阻碍，这为用户带来了更真实的虚拟现实(或增强现实)体验。
此外，在从主机接收指令的那些实施例中，可穿戴设备包括与主机无线通信的通信无线电设备(例如，图1中的通信组件112)。通信无线电设备(例如，经由图1中的通信信号116)接收来自主机的指令。
在一些实施例中，由两个或更多个换能器生成波包括在第一方向上将波传输到用户的手腕(或身体的各种其他部位，取决于可穿戴设备的位置，例如脚踝、二头肌等)中。在这样的实施例中，波在第二方向上远离手腕传播通过用户的身体(例如，皮肤、肉、骨骼、血管等)，并且在目标位置处相长干涉。第一方向基本上垂直于第二方向。注意，通过用户身体传播的每个波可以在不同于第一方向和其他传播波的方向的唯一方向上传播。
在一些实施例中，两个或更多个换能器通过至少一个其他换能器彼此分离。或者，在一些实施例中，两个或更多个换能器在可穿戴设备上彼此相邻。在一些实施例中，多个换能器在可穿戴设备上彼此等距间隔开。在一些实施例中，两个或更多个换能器包括多个换能器中的所有换能器。
在一些实施例中，多个换能器是第一多个换能器，并且可穿戴设备还包括第二多个换能器。在一些实施例中，第一多个换能器生成第一频率的波，并且第二多个换能器生成不同于第一频率的第二频率的波。在一些实施例中，第一多个换能器和第二多个换能器生成频率基本相似的波。在一些实施例中，第一多个换能器和第二多个换能器排列成阵列。在图7A-图7B中进一步详细讨论了换能器的各种布置。
在一些实施例中，在30Hz和300Hz之间的频率范围内生成波。应当注意，根据具体情况，也可以使用更大(或更小)的频率。在一些实施例中，在20Hz和20,000Hz之间的频率范围内生成波。
在一些实施例中，方法1000还包括，在具有第二多个换能器的第二可穿戴设备(例如，图1中的可穿戴设备102b)处，激活第二多个换能器中的两个或更多个换能器，其中每个换能器可以生成通过介质传播离开第二可穿戴设备的一个或更多个波。第二可穿戴设备至少部分地基于介质的已知阻抗来选择由第二多个换能器中的两个或更多个换能器生成的波的特征的第二值。此外，第二可穿戴设备通过第二多个换能器中的两个或更多个换能器生成波，该波在不同的目标位置处相长干涉，以在用户身上产生第二触觉刺激。波具有第二所选值。
例如，第一可穿戴设备可以附连到用户的左手腕，并且第二可穿戴设备可以附连到用户的右手腕。在另一个示例中(或者除了前面的示例之外)，第一可穿戴设备可以附连到用户的左脚踝，并且第二可穿戴设备可以附连到用户的右脚踝。如上所述，可穿戴设备可以附连到各种身体部位。
在一些实施例中，与第一可穿戴设备相关联的介质是第一介质，而与第二可穿戴设备相关联的介质是具有与第一介质的已知阻抗不同的已知阻抗的第二介质。因此，基于第一介质和第二介质之间的阻抗差异，第二所选值可以不同于第一所选值。在一些实施例中，已知阻抗232存储在可穿戴设备(图2)的存储器106中。替代地或附加地，已知阻抗存储在主机***(图3)的存储器134中(未示出)。
在一些实施例中，方法1000包括激活第一可穿戴设备上的一个或更多个换能器和第二可穿戴设备上的一个或更多个换能器，而不是仅仅激活第一可穿戴设备上的换能器(或者除了激活第一可穿戴设备上的两个或更多个换能器之外)。
图11是示出根据一些实施例的管理局部触觉刺激的产生的方法1100的流程图。方法1100的步骤可以由主机***(例如，图1中的计算机***130)执行。图11对应于存储在计算机存储器或计算机可读存储介质(例如，计算机***130的存储器134)中的指令。例如，方法1000的操作至少部分地由通信模块(例如，图3中的通信模块318)、虚拟现实/增强现实生成模块(例如，图3中的虚拟现实生成模块320)、指令生成模块(例如，图3中的指令生成模块322)和/或显示模块(例如，图3中的显示模块324)来执行。在一些实施例中，主机***对应于AR***1400和/或VR***1500。
注意，可以结合方法1000的步骤来执行方法1100的步骤。主机***与至少一个可穿戴设备(例如，图1中的可穿戴设备102a)通信。然而，在一些实施例中，主机***与多个可穿戴设备通信，并且主机***使用映射数据334来管理每个可穿戴设备(图3)。注意，各种可穿戴设备不限于特定附肢，因此，主机***在***启动时更新映射数据334。为了完成更新，正被使用的可穿戴设备各自向主机***发送位置信息，并且主机***基于位置信息更新映射数据334。以这种方式，主机***可以确定第一可穿戴设备附连到左臂，即使第一可穿戴设备在***的先前使用期间附连到右臂。在一些实施例中，每个可穿戴设备具有允许主机***区分每个可穿戴设备的标识符(如上文参考图2所述)。标识符可以包括在位置信息中，或者可以单独发送。
方法1100包括生成(1104)对应于将由主机***显示的视觉数据的指令。在一些实施例中，主机***基于从可穿戴设备102上的传感器114接收的信息来生成指令。此外，主机***接收的信息还可以包括来自头戴式显示器140的信息。例如，头戴式显示器140上的照相机可以捕获可穿戴设备102的移动，并且主机***可以在生成指令时使用该附加信息。
方法1100还包括向与主机***通信的可穿戴设备发送(1106)指令(例如，从图1中的通信组件136以通信信号118发送指令)。当可穿戴设备接收到该指令时，该指令使得可穿戴设备激活包括在可穿戴设备中的两个或更多个换能器。
在发送指令之后(或同时)，该方法还包括显示视觉数据。例如，头戴式显示器140可以从主机***接收视觉数据，并且可以转而在显示器144上显示视觉数据。例如，如果主机***从可穿戴设备102的传感器114接收到用户已经在对应于虚拟环境中的咖啡杯的位置周围闭合了手指并举起了手的信息，则虚拟现实应用中的模拟手拿起虚拟咖啡杯并将其举到相应的高度。
结合显示视觉数据，可穿戴设备通过两个或更多个换能器生成在目标位置处相长干涉的波，以在可穿戴设备的用户(该用户是也佩戴头戴式显示器的同一用户)上产生触觉刺激。此外，在用户身上产生的触觉刺激对应于由主机***显示的视觉数据。例如，使用上面的咖啡杯示例，触觉刺激可以防止(或试图防止)用户的一个或更多个手指卷曲经过某一点，以模拟触摸固体咖啡杯的感觉。
为了进一步说明上述内容，下面提供了一个示例性实施例。
在特定示例中，主机130是附接到头戴式显示器140的虚拟(和/或增强)现实游戏设备(例如，如图1所示；图14中的AR***1400；图15中的VR 1500)。主机130指示头戴式显示器在用户玩虚拟现实视频游戏时显示游戏数据(例如，将由头戴式显示器显示的视频信息)。当由头戴式显示器显示时，游戏数据描绘了在虚拟现实视频游戏中昆虫在穿戴者的手上爬行。同时，主机可以向可穿戴设备传送指令，其中当由可穿戴设备执行该指令时，该指令使得可穿戴设备通过两个或更多个换能器生成波，该波产生模仿由头戴式显示器140显示的昆虫的触觉刺激(即，触觉刺激与由头戴式显示器140显示的游戏数据一致)。以这种方式，用户不仅在视觉上体验昆虫，而且在虚拟和/或增强现实中感觉到昆虫在他或她的手上爬行。
注意，可以产生多个触觉刺激来跟随由头戴式显示器140显示的视频信息。例如，可以在第一时间产生第一触觉刺激，可以在第二时间产生第二触觉刺激，等等。此外，如果多个可穿戴设备与主机通信，则可以在用户身体上的不同位置处产生多个触觉刺激。例如，第一触觉刺激可以由第一可穿戴设备在第一肢体处产生，第二触觉刺激可以由第二可穿戴设备在第二肢体处产生，等等。
本公开的实施例可以包括各种类型的人工现实***或结合各种类型的人工现实***来被实现。人工现实可以构成一种已经被虚拟对象改变以呈现给用户的现实形式。这样的人工现实可以包括和/或代表VR、AR、MR、混合现实，或者它们中的一个或多个的某种组合和/或变体。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如，在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，以在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。
可以在各种不同的形状因子和配置中实现人工现实***。一些人工现实***可以被设计成在没有近眼显示器(NED)的情况下工作，其示例是图13中的AR***1300。其他人工现实***可以包括也提供对现实世界的可视性的NED(例如，图14中的AR***1400)或者在视觉上使用户沉浸在人工现实中的NED(例如，图15中的VR***1500)。虽然一些人工现实设备可以是自主式***，但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、用户佩戴的设备(例如，可穿戴设备102a、可穿戴设备102b、…可穿戴设备102n)、一个或更多个其他用户佩戴的设备和/或任何其他合适的外部***。
图13-图15提供了***100中使用的设备的附加示例。图13中的AR***1300通常表示尺寸适合用户身体部位(例如，头部)的可穿戴设备。AR***1300可以包括可穿戴设备102的功能，并且可以包括附加功能。如所示出的，AR***1300包括框架1302(例如，带)和相机组件1304，相机组件1304耦合到框架1302并被配置为通过观察本地环境来收集关于本地环境的信息。AR***1300还可以包括一个或更多个换能器(例如，图4中的换能器410的实例)。在一个示例中，AR***1300包括输出换能器1308(A)和1308(B)以及输入换能器1310。输出换能器1308(A)和1308(B)可以向用户提供音频反馈、触觉反馈和/或内容，并且输入音频换能器可以捕获用户环境中的音频(或其他信号/波)。这样，AR***1300的换能器可以被配置成生成用于产生触觉刺激的波，如上面详细讨论的。
因此，AR***1300不包括位于用户眼睛前方的近眼显示器(NED)。无NED的AR***可以采用多种形式，例如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框、和/或任何其他合适类型或形式的装置。虽然AR***1300可以不包括NED，但AR***1300可以包括其他类型的屏幕或视觉反馈设备(例如，集成到框架1302的一侧内的显示屏)。
也可以在包括一个或更多个NED的AR***中实现在本公开中讨论的实施例。例如，如图14所示，AR***1400可以包括具有框架1410的眼镜设备1402，框架1410被配置为将左显示设备1415(A)和右显示设备1415(B)保持在用户的眼睛的前方。显示设备1415(A)和1415(B)可以一起或独立地起作用来向用户呈现图像或图像系列。虽然AR***1400包括两个显示器，但是可以在具有单个NED或两个以上NED的AR***中实现本公开的实施例。
在一些实施例中，AR***1400可以包括一个或更多个传感器，例如传感器1440。传感器1440可以响应于AR***1400的运动而生成测量信号，并且可以实质上位于框架1410的任何部分上。传感器1440可以包括位置传感器、惯性测量单元(IMU)、深度照相机组件、或其任何组合。在一些实施例中，AR***1400可以包括或不包括传感器1440，或者可以包括一个以上传感器。在传感器1440包括IMU的实施例中，IMU可以基于来自传感器1440的测量信号来生成校准数据。传感器1440的示例可以非限制地包括加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。上面也参考图1讨论了传感器(例如，头戴式显示器140的传感器145)。
AR***1400还可以包括具有被统称为声传感器1420的多个声传感器1420(A)-1420(J)的麦克风阵列。声传感器1420可以是检测由声波引起的气压变化的换能器。每个声传感器1420可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图14中的麦克风阵列可以包括例如十个声传感器：1420(A)和1420(B)，其可以被设计成放置在用户的相应耳朵内；声传感器1420(C)、1420(D)、1420(E)、1420(F)、1420(G)和1420(H)，其可以被定位在框架1410上的不同位置；和/或声传感器1420(I)和1420(J)，其可以被定位在相应的颈带1405上。在一些实施例中，颈带1405是计算机***130的示例。
麦克风阵列的声传感器1420的配置可以变化。尽管AR***1400在图14中被示为具有十个声传感器1420，但是声传感器1420的数量可以大于或小于十。在一些实施例中，使用更高数量的声传感器1420可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相反，使用更低数量的声传感器1420可以降低控制器1450处理所收集的音频信息所需的计算能力。此外，麦克风阵列的每个声传感器1420的位置可以变化。例如，声传感器1420的位置可以包括在用户身上的所定义的位置、在框架1410上的所定义的坐标、与每个声传感器相关联的定向、或者其某种组合。
声传感器1420(A)和1420(B)可以位于用户的耳朵的不同部位上，例如在耳廓后面或在耳廓或窝(fossa)内。或者，除了在耳道内部的声传感器1420之外，还可以有在耳朵上或耳朵周围的附加声传感器。将声传感器定位在用户的耳道旁边可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声传感器1420中的至少两个定位在用户的头部的任一侧上(例如，作为双耳麦克风)，AR设备1400可以模拟双耳听觉并捕获在用户的头部周围的3D立体声场。在一些实施例中，声传感器1420(A)和1420(B)可以经由有线连接来连接到AR***1400，并且在其他实施例中，声传感器1420(A)和1420(B)可以经由无线连接(例如，蓝牙连接)来连接到AR***1400。在还有其他实施例中，声传感器1420(A)和1420(B)可以根本不与AR***1400结合来被使用。
可以沿着眼镜腿(temple)的长度、横越镜梁(bridge)、在显示设备1415(A)和1415(B)的上方或下方、或者其某种组合来定位框架1410上的声传感器1420。声传感器1420可以被定向成使得麦克风阵列能够在佩戴AR***1400的用户周围的宽范围的方向上检测声音。在一些实施例中，可以在AR***1400的制造期间执行优化过程以确定在麦克风阵列中的每个声传感器1420的相对位置。
AR***1400还可以包括或连接到诸如颈带1405的外部设备(例如，配对设备)。如所示，颈带1405可以经由一个或更多个连接器1430耦合到眼镜设备1402。连接器1430可以是有线或无线连接器，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备1402和颈带1405可以独立地操作而在它们之间没有任何有线或无线连接。虽然图14示出了在眼镜设备1402和颈带1405上的示例位置中的眼镜设备1402和颈带1405的部件，但是这些部件可以位于眼镜设备1402和/或颈带1405的其他地方和/或在眼镜设备1402和/或颈带1405上不同地分布。在一些实施例中，眼镜设备1402和颈带1405的部件可以位于与眼镜设备1402、颈带1405或其某种组合配对的一个或更多个附加***设备上。此外，颈带1405通常表示任何类型或形式的配对设备。因此，颈带1405的下面的讨论也可以应用于各种其他配对设备，例如智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机等。
将诸如颈带1405的外部设备与AR眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然能够提供足够的电池和计算能力用于扩展的能力。AR***1400的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或者在配对设备和眼镜设备之间共享，因而总体上减小眼镜设备的重量、热分布和形状因子，同时仍然保持期望的功能。例如，颈带1405可以允许以其他方式将被包括在眼镜设备上的部件包括在颈带1405中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带1405也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带1405可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。因为在颈带1405中承载的重量可能比在眼镜设备1402中承载的重量对用户更低创，比用户容忍佩戴重的独立眼镜设备，用户可以在更长的时间段期间容忍佩戴更轻的眼镜设备以及携带或佩戴配对设备，从而使人工现实环境能够更充分地融入用户的日常活动中。
颈带1405可以与眼镜设备1402和/或其他设备通信地耦合。其他设备可以向AR***1400提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图14的实施例中，颈带1405可以包括两个声传感器(例如，1420(I)和1420(J))，其是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带1405还可以包括控制器1425和电源1435。
颈带1405的声传感器1420(I)和1420(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。在图14的实施例中，声传感器1420(I)和1420(J)可以定位在颈带1405上，从而增加在颈带声传感器1420(I)和1420(J)与定位在眼镜设备1402上的其他声传感器1420之间的距离。在一些情况下，增加在麦克风阵列的声传感器1420之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如，如果声音由声传感器1420(C)和1420(D)检测到并且在声传感器1420(C)和1420(D)之间的距离大于例如，在声传感器1420(D)和1420(E)之间的距离，则检测到的声音的所确定的源位置可以比如果声音由声传感器1420(D)和1420(E)检测到的更准确。
颈带1405的控制器1425可以处理由在颈带1405和/或AR***1400上的传感器生成的信息。例如，控制器1425可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器1425可以执行到达方向(DOA)估计以估计方向(检测到的声音从该方向到达麦克风阵列)。当麦克风阵列检测到声音时，控制器1425可以用该信息填充音频数据集。在AR***1400包括IMU的实施例中，控制器1425可以从位于眼镜设备1402上的IMU计算所有惯性和空间计算。连接器1430可以在AR***1400和颈带1405之间以及在AR***1400和控制器1425之间传送信息。信息可以是以光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由AR***1400生成的信息的处理移动到颈带1405可以减少在眼镜设备1402中的重量和热量，使它变得对用户来说更舒适。
颈带1405中的电源1435可以向眼镜设备1402和/或颈带1405提供电力。电源1435可以非限制地包括锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源1435可以是有线电源。在颈带1405上而不是在眼镜设备1402上包括电源1435可以帮助更好地分配由电源1435生成的重量和热量。
如所提到的，一些人工现实***可以实质上用虚拟体验代替用户对现实世界的一个或更多个感官知觉，而不是将人工现实与实际现实混合。这种类型的***的一个示例是头戴式显示***(例如图15中的VR***1500)，其主要或完全覆盖用户的视场。VR***1500可以包括前刚性主体1502和被成形为适配在用户的头部周围的带1504。VR***1500还可以包括输出音频换能器1506(A)和1506(B)。此外，虽然在图15中未示出，但是前刚性主体1502可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个IMU、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或***。尽管未示出，VR***1500可以包括计算机***130。
人工现实***可以包括各种类型的视觉反馈机构。例如，在AR***1400和/或VR***1500中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、和/或任何其他合适类型的显示屏。人工现实***可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。一些人工现实***还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子***，用户可以通过这些透镜来观看显示屏。
除了或代替使用显示屏，一些人工现实***还可以包括一个或更多个投影***。例如，在AR***1400和/或VR***1500中的显示设备可以包括(使用例如，波导)将光投射到显示设备中的微LED投影仪，例如允许环境光穿过的透明组合透镜。显示设备可以朝着用户的瞳孔折射所投射的光，并且可以使用户能够同时观看人工现实内容和现实世界。人工现实***还可以配置有任何其他合适类型或形式的图像投影***。
人工现实***也可以包括各种类型的计算机视觉部件和子***。例如，AR***1300、AR***1400和/或VR***1500可以包括一个或更多个光学传感器，例如二维(2D)或三维(3D)照相机、飞行时间深度传感器、单光束或扫频激光测距仪、3D LiDAR传感器、和/或任何其他合适类型或形式的光学传感器。人工现实***可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制现实世界的地图、向用户提供关于现实世界周围环境的背景、和/或执行各种其他功能。
人工现实***还可以包括一个或更多个输入和/或输出音频换能器。在图13和图15所示的示例中，输出音频换能器1308(A)、1308(B)、1306(A)和1506(B)可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器1310可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。
图13-图15中所示的人工现实***可以包括触感(即触觉)反馈***，该***可以被结合到头饰、手套、紧身衣、手持控制器、环境设备(例如椅子、地板垫等)中，和/或任何其他类型的设备或***，例如本文讨论的可穿戴设备102。另外，在一些实施例中，触觉反馈***可以与人工现实***结合(例如，AR***1300可以包括可穿戴设备102(图1))。触觉反馈***可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈***还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流***和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈***。
通过提供触觉感觉、可听内容和/或视觉内容，人工现实***可以创建整个虚拟体验或者增强用户在各种背景和环境中的现实世界体验。例如，人工现实***可以帮助或扩展用户在特定环境中的感知、记忆或认知。一些***可以增强用户与在现实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实***还可以用于教育目的(例如，用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如，作为助听器、助视器等)。本文公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。
一些AR***可以使用被称为“即时定位与地图构建”(SLAM)的技术来绘制用户的环境地图。SLAM地图构建和位置识别技术可以包括各种硬件和软件工具，这些工具可以创建或更新环境的地图，同时跟踪设备或用户在地图构建的环境中的位置和/或定向。SLAM可以使用许多不同类型的传感器来创建地图并确定设备或用户在地图中的位置。
例如，SLAM技术可以实现光学传感器来确定设备或用户的位置、定位或定向。包括WiFi、蓝牙、全球定位***(GPS)、蜂窝电话或其他通信设备在内的无线电也可以用于确定用户相对于无线电收发器或一组收发器(例如，WiFi路由器或GPS卫星组)的位置。诸如麦克风阵列的声传感器或者2D或3D声纳传感器也可以用于确定用户在环境内的位置。AR和VR设备(例如***1300、1400和1500)可以结合任何或所有这些类型的传感器来执行SLAM操作，例如创建并持续更新设备或用户的当前环境的地图。在本文描述的至少一些实施例中，由这些传感器生成的SLAM数据可以被称为“环境数据”，并且可以指示设备或用户的当前环境。该数据可以存储在本地或远程数据储存器(例如，云数据储存器)中，并且可以按需提供给用户的AR/VR设备。
当用户在给定环境中佩戴AR头戴式装置或VR头戴式装置时，用户可能正在与其他用户或用作音频源的其他电子设备进行交互。在一些情况下，希望确定音频源相对于用户位于哪里且然后将音频源呈现给用户好像它们来自音频源的位置一样。确定音频源相对于用户位于哪里的过程在本文可以被称为“定位”，并且再现音频源信号的回放以看起来好像它来自特定方向的过程在本文可以被称为“空间化”。
可以以多种不同的方式来执行定位音频源。在一些情况下，AR或VR头戴式装置可以发起DOA分析以确定声源的位置。DOA分析可以包括分析每个声音在AR/VR设备处的强度、频谱和/或到达时间以确定声音源自的方向。在一些情况下，DOA分析可以包括用于分析人工现实设备所位于的周围声学环境的任何合适的算法。
例如，DOA分析可以被设计成从麦克风接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如，延迟算法和求和算法，其中输入信号被采样，并且采样信号的得到的加权和延迟版本被一起取平均以确定到达方向。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计到达方向。在另一个实施例中，可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别麦克风阵列接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的到达方向。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。
在一些实施例中，不同的用户可能将声源感知为来自稍微不同的位置。这可能是每个用户具有独特的头部相关传递函数(HRTF)的结果，该头部相关传递函数可以由用户的包括耳道长度和耳鼓膜的定位的解剖结构决定。人工现实设备可以提供对准和定向指南，用户可以遵循该指南以基于他们的独特HRTF来定制呈现给用户的声音信号。在一些实施例中，AR或VR设备可以实现一个或更多个麦克风来收听用户环境中的声音。AR或VR设备可以使用各种不同的阵列传递函数(ATF)(例如，上面识别的任何DOA算法)来估计声音的到达方向。一旦到达方向被确定，人工现实设备就可以根据用户的独特HRTF来向用户回放声音。因此，使用ATF生成的DOA估计可用于确定声音播放的方向。回放声音可以基于特定用户如何根据HRTF听到声音被进一步改善。
除了执行DOA估计之外或者作为执行DOA估计的备选方案，人工现实设备可以基于从其他类型的传感器接收的信息来执行定位。这些传感器可以包括照相机、红外辐射(IR)传感器、热传感器、运动传感器、全球定位***(GPS)接收器，或者在某些情况下，检测用户眼睛移动的传感器。例如，人工现实设备可以包括眼睛***或凝视检测器，其确定用户正在看哪里。用户的眼球常常会看向声源，即使短暂地。由用户的眼球提供的这样的线索可以进一步帮助确定声源的位置。诸如照机机、热传感器和IR传感器的其他传感器也可以指示用户的位置、电子设备的位置、或另一声源的位置。可以单独或组合地使用任何或所有上述方法来确定声源的位置，并且还可以用于随着时间来更新声源的位置。
一些实施例可以实现所确定的DOA来为用户生成更多的定制的输出音频信号。例如，“声学传递函数”可以表征或定义如何从给定位置接收声音。更具体地，声学传递函数可以定义声音在其源位置处的参数与通过其检测声音信号(例如，由麦克风阵列检测或由用户的耳朵检测)的参数之间的关系。人工现实设备可以包括检测在设备的范围内的声音的一个或更多个声传感器。人工现实设备的控制器可以(例如，使用上面识别的任一方法)估计检测到的声音的DOA，并且基于检测到的声音的参数，可以生成特定于设备的位置的声学传递函数。因此，该定制的声学传递函数可以用于生成空间化的输出音频信号，其中声音被感知为来自特定位置。
事实上，一旦一个或更多个声源的位置是已知的，人工现实设备就可以将声音信号重新再现(即，空间化)成好像来自该声源的方向的声音。人工现实设备可以应用滤波器或其他数字信号处理，其改变声音信号的强度、频谱或到达时间。数字信号处理可以以使得声音信号被感知为源自所确定的位置这样的方式被应用。人工现实设备可以放大或抑制某些频率或者改变信号到达每个耳朵的时间。在一些情况下，人工现实设备可以创建特定于设备的位置和声音信号的检测到的到达方向的声学传递函数。在一些实施例中，人工现实设备可以在立体声设备或多扬声器设备(例如，环绕声设备)中重新再现源信号。在这种情况下，可以向每个扬声器发送单独且不同的音频信号。可以根据用户的HRTF以及根据对用户的位置和声源的位置的测量结果来将这些音频信号中的每一个改变成好像它们来自声源的所确定的位置一样的声音。因此，以这种方式，人工现实设备(或与该设备相关联的扬声器)可以将音频信号重新再现为好像源自特定位置的声音。
尽管一些不同的附图以特定的顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。虽然特别提到了一些重新排序或其他分组，但是对于本领域的普通技术人员来说，其他的将是显而易见的，因此本文呈现的排序和分组并不是备选方案的穷举列表。此外，应当认识到，可以用硬件、固件、软件或其任意组合来实现这些阶段。
为了解释的目的，已经参考具体实施例描述了前面的描述。然而，上述说明性讨论并不旨在是穷举的或将权利要求的范围限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用，从而使本领域的其他技术人员能够最佳地使用具有各种修改的实施例，以适合预期的特定用途。
注意，本文公开的实施例也可以与以下申请中描述的任何实施例相结合：2018年2月28日提交的标题为“Methods,Devices,and Systems for Creating HapticStimulations and Tracking Motion of a User”的第62/636,699号美国临时申请；2018年3月23日提交的标题为“Methods,Devices,and Systems for Determining Contact Ona User of a Virtual Reality and/or Augmented Reality Device”的第62/647,559号美国临时申请，以及2018年3月23日提交的标题为“Methods,Devices,and Systems forProjecting an Image Onto a User and Detecting Touch Gestures”第62/647,560号美国临时申请。
还应注意，本文公开的实施例还可以与以下申请中描述的任何实施例相结合：2019年1月7日提交的标题为“Methods,Devices,and Systems for Determining ContactOn a User of a Virtual Reality and/or Augmented Reality Device”的第16/241,890号美国发明专利申请、2019年1月7日提交的标题为“Methods,Devices,and Systems forDisplaying a User Interface on a User and Detecting Touch Gestures”的第16/241,893号美国发明专利申请和2019年1月7日提交的标题为“Methods,Devices,andSystems for Creating Haptic Stimulations and Tracking Motion of a User”的第16/241,871号美国发明专利申请，这些申请中的每一个通过引用以其整体被并入。

Claims (22)

1.一种方法，包括：
在包括多个换能器的可穿戴设备处，每个换能器能够生成通过介质传播离开所述可穿戴设备的一个或更多个波：
激活所述多个换能器中的两个或更多个换能器；
至少部分地基于所述介质的已知阻抗，选择将由所述两个或更多个换能器生成的波的特征的值；和
由所述两个或更多个换能器生成在目标位置处相长干涉的波，以在所述可穿戴设备的用户身上产生触觉刺激，所述波具有所选值。
2.根据权利要求1所述的方法，其中：
由所述两个或更多个换能器生成波包括在第一方向上将所述波传输到用户的手腕中；
所述波在第二方向上远离所述手腕传播通过用户的身体，并且在所述目标位置处相长干涉；和
所述第一方向基本上垂直于所述第二方向。
3.根据权利要求1-2中任一项所述的方法，其中，激活所述两个或更多个换能器包括：
在第一时间激活所述两个或更多个换能器中的第一换能器；和
在所述第一时间之后的第二时间激活所述两个或更多个换能器中的第二换能器。
4.根据权利要求1-3中任一项所述的方法，其中，激活所述两个或更多个换能器包括同时激活所述两个或更多个换能器。
5.根据权利要求1-4中任一项所述的方法，还包括，在所述可穿戴设备处：
从与所述可穿戴设备通信的主机接收指令，
其中，响应于从所述主机接收到所述指令，执行激活所述两个或更多个换能器。
6.根据权利要求1-5中任一项所述的方法，其中，从所述主机接收的指令识别所述目标位置。
7.根据权利要求1-6中任一项所述的方法，其中：
所述可穿戴设备还包括与所述主机无线通信的通信无线电设备；和
所述通信无线电设备接收来自所述主机的指令。
8.根据权利要求1-7中任一项所述的方法，其中：
所述可穿戴设备还包括与所述多个换能器通信的控制器；和
所述控制器执行所述激活和所述选择。
9.根据权利要求1-8中任一项所述的方法，其中：
所述可穿戴设备是第一可穿戴设备；
所选值是第一所选值；
所述多个换能器是第一多个换能器；
由所述两个或更多个换能器生成的波产生的触觉刺激是第一触觉刺激；和
所述方法还包括，在包括第二多个换能器的第二可穿戴设备处，每个换能器能够生成通过所述介质传播离开所述第二可穿戴设备的一个或更多个波：
激活所述第二多个换能器中的两个或更多个换能器；
至少部分地基于所述介质的已知阻抗，选择由所述第二多个换能器中的两个或更多个换能器生成的波的特征的第二值；和
由所述第二多个换能器中的两个或更多个换能器生成在不同目标位置处相长干涉的波，以在用户身上产生第二触觉刺激，所述波具有第二所选值。
10.根据权利要求1-9中任一项所述的方法，其中：
与所述第一可穿戴设备相关联的介质是第一介质；和
与所述第二可穿戴设备相关联的介质是具有与所述第一介质的已知阻抗不同的已知阻抗的第二介质。
11.根据权利要求1-10中任一项所述的方法，其中，基于所述第一介质和所述第二介质之间的阻抗差异，所述第二所选值不同于所述第一所选值。
12.根据权利要求1-12中任一项所述的方法，其中，所述目标位置与所述可穿戴设备分开一定距离。
13.根据权利要求1-12中任一项所述的方法，其中：
所述可穿戴设备还包括将被固定在用户的手腕周围的带；和
所述多个换能器中的每一个耦合到所述带。
14.根据权利要求1-13中任一项所述的方法，其中，所述多个换能器中的换能器沿着所述带的周界径向间隔开。
15.根据权利要求1-14中任一项所述的方法，其中，所述两个或更多个换能器通过至少一个其他换能器彼此分离。
16.根据权利要求1-15中任一项所述的方法，其中，所述两个或更多个换能器在所述可穿戴设备上彼此相邻。
17.根据权利要求1-16中任一项所述的方法，其中，所述多个换能器中的换能器在所述可穿戴设备上彼此等距间隔开。
18.根据权利要求1-17中任一项所述的方法，其中：
所述多个换能器是第一多个换能器，并且
所述可穿戴设备还包括第二多个换能器。
19.一种可穿戴设备，包括：
多个换能器，每个换能器被配置成生成通过介质传播离开所述可穿戴设备的一个或更多个波；
一个或更多个处理器；和
存储一个或更多个程序的存储器，当所述一个或更多个程序被所述一个或更多个处理器执行时，使得所述可穿戴设备：
激活所述多个换能器中的两个或更多个换能器；
至少部分地基于所述介质的已知阻抗，选择将由所述两个或更多个换能器生成的波的特征的值；和
由所述两个或更多个换能器生成在目标位置处相长干涉的波，以在所述可穿戴设备的用户身上产生触觉刺激，所述波具有所选值。
20.根据权利要求19所述的可穿戴设备，其中，当由所述一个或更多个处理器执行时，所述一个或更多个程序使得所述可穿戴设备执行权利要求2-18中任一项所述的方法。
21.一种存储一个或更多个程序的非暂时性计算机可读存储介质，所述一个或更多个程序被配置为由具有多个换能器的可穿戴设备的一个或更多个处理器执行，每个换能器被配置为生成通过介质传播离开所述可穿戴设备的一个或更多个波，所述一个或更多个程序包括指令，当所述指令被所述一个或更多个处理器执行时，使得所述可穿戴设备：
激活所述多个换能器中的两个或更多个换能器；
至少部分地基于所述介质的已知阻抗，选择将由所述两个或更多个换能器生成的波的特征的值；和
由所述两个或更多个换能器生成在目标位置处相长干涉的波，以在所述可穿戴设备的用户身上产生触觉刺激，所述波具有所选值。
22.根据权利要求21所述的非暂时性计算机可读存储介质，其中，所述一个或更多个程序还包括用于执行权利要求2-18中任一项所述的方法的指令。
CN201980016018.1A 2018-01-08 2019-01-08 用于在用户身上产生局部触觉刺激的方法、设备和*** Pending CN112106011A (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201862614790P 2018-01-08 2018-01-08
US62/614,790 2018-01-08
US201862636699P 2018-02-28 2018-02-28
US62/636,699 2018-02-28
US201862647559P 2018-03-23 2018-03-23
US201862647560P 2018-03-23 2018-03-23
US62/647,560 2018-03-23
US62/647,559 2018-03-23
US16/241,890 US10795445B2 (en) 2018-01-08 2019-01-07 Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device
US16/241,893 US10824235B2 (en) 2018-01-08 2019-01-07 Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
US16/241,890 2019-01-07
US16/241,871 US10678335B2 (en) 2018-01-08 2019-01-07 Methods, devices, and systems for creating haptic stimulations and tracking motion of a user
US16/241,900 2019-01-07
US16/241,900 US10684690B2 (en) 2018-01-08 2019-01-07 Methods, devices, and systems for creating localized haptic stimulations on a user
US16/241,871 2019-01-07
US16/241,893 2019-01-07
PCT/US2019/012721 WO2019136452A1 (en) 2018-01-08 2019-01-08 Methods, devices, and systems for creating localized haptic stimulations on a user

Publications (1)

Publication Number Publication Date
CN112106011A true CN112106011A (zh) 2020-12-18

Family

ID=67139112

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980017824.0A Pending CN112119367A (zh) 2018-01-08 2019-01-08 用于产生触觉刺激和跟踪用户运动的方法、设备和***
CN201980016018.1A Pending CN112106011A (zh) 2018-01-08 2019-01-08 用于在用户身上产生局部触觉刺激的方法、设备和***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980017824.0A Pending CN112119367A (zh) 2018-01-08 2019-01-08 用于产生触觉刺激和跟踪用户运动的方法、设备和***

Country Status (4)

Country Link
US (6) US10678335B2 (zh)
EP (4) EP3738019A4 (zh)
CN (2) CN112119367A (zh)
WO (4) WO2019136452A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
WO2019143189A1 (en) * 2018-01-18 2019-07-25 Samsung Electronics Co., Ltd. Electronic device and method of operating electronic device in virtual reality
US11243414B1 (en) * 2018-02-20 2022-02-08 Verily Life Sciences Llc Accommodative distance control system for ophthalmic devices
WO2019244716A1 (ja) * 2018-06-19 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
US10678334B1 (en) * 2018-11-30 2020-06-09 Facebook Technologies, Llc Systems and methods for providing substantially orthogonal movement of a device about a user's body part
WO2020121836A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 超音波ユーザーインターフェース装置
US10931972B2 (en) * 2019-01-24 2021-02-23 Dell Products, L.P. Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments
EP3867731B1 (en) * 2019-04-30 2024-02-14 Huawei Technologies Co., Ltd. Spatial-temporal haptic stimulation systems and methods
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
US20240061510A1 (en) * 2019-05-12 2024-02-22 NeuroHaptics, Inc. Motion sickness reduction, directional indication, and neural rehabilitation device
EP3977238B1 (de) * 2019-05-28 2023-12-06 Humain Solutions UG (Haftungsbeschränkt) Tragbare mensch-maschine schnittstelle und mit dieser ausführbares verfahren
US11231055B1 (en) 2019-06-05 2022-01-25 Facebook Technologies, Llc Apparatus and methods for fluidic amplification
US11098737B1 (en) 2019-06-27 2021-08-24 Facebook Technologies, Llc Analog fluidic devices and systems
US11371619B2 (en) 2019-07-19 2022-06-28 Facebook Technologies, Llc Membraneless fluid-controlled valve
US11347312B1 (en) * 2019-09-23 2022-05-31 Apple Inc. Ultrasonic haptic output devices
US11467664B2 (en) * 2019-10-11 2022-10-11 Carnegie Mellon University System and method for robust touch detection for on-skin augmented reality/virtual reality interfaces
US10956709B1 (en) * 2019-11-13 2021-03-23 Qualcomm Incorporated Anti-spoofing devices and methods involving acoustic shear waves
US11030865B1 (en) * 2019-12-13 2021-06-08 Facebook Technologies, Llc Systems and methods for delivering a plurality of haptic effects
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11409360B1 (en) * 2020-01-28 2022-08-09 Meta Platforms Technologies, Llc Biologically-constrained drift correction of an inertial measurement unit
WO2021169881A1 (zh) * 2020-02-24 2021-09-02 Oppo广东移动通信有限公司 头戴式设备的显示控制方法、设备及计算机存储介质
US11150737B2 (en) 2020-03-16 2021-10-19 Facebook Technologies, Llc Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
JP2021192157A (ja) * 2020-06-05 2021-12-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
EP4232886A1 (en) 2020-10-22 2023-08-30 Haptx, Inc. Actuator and retraction mechanism for force feedback exoskeleton
WO2022139643A1 (en) 2020-12-22 2022-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
US11199903B1 (en) * 2021-03-26 2021-12-14 The Florida International University Board Of Trustees Systems and methods for providing haptic feedback when interacting with virtual objects
US11614345B2 (en) * 2021-06-16 2023-03-28 Microsoft Technology Licensing, Llc Surface sensing via resonant sensor
US11984653B2 (en) 2021-09-27 2024-05-14 Microsoft Technology Licensing, Llc Optically transparent antennas on transparent substrates
CN114047817B (zh) * 2021-10-15 2023-04-07 中邮通建设咨询有限公司 一种元宇宙虚拟现实vr交互***
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US20230196765A1 (en) * 2021-12-21 2023-06-22 Meta Platforms Technologies, Llc Software-based user interface element analogues for physical device elements
US20230283706A1 (en) * 2022-03-01 2023-09-07 Google Llc Device Communications Using a Human Transmission Channel
US11829522B1 (en) 2022-05-24 2023-11-28 Microsoft Technology Licensing, Llc Head mounted device with segmented chassis
US11720168B1 (en) 2022-05-25 2023-08-08 Microsoft Technology Licensing, Llc Inferred body movement using wearable RF antennas
US11775057B1 (en) 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
GB2619043A (en) * 2022-05-25 2023-11-29 Sony Interactive Entertainment Inc Wearable data processing apparatus, system and method
US11983321B1 (en) 2023-04-10 2024-05-14 Htc Corporation Hand-free haptic feedback system and method
CN116500625B (zh) * 2023-06-29 2023-10-20 天津知海科技有限公司 恢复成像方法、装置、***、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620928A (zh) * 2011-03-17 2014-03-05 联合活跃驱动公司 多个同步振动致动器的非对称总体振动波形
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US20170102771A1 (en) * 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system
US20170115733A1 (en) * 2014-05-16 2017-04-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Haptic Feedback Generation
US20170179771A1 (en) * 2014-05-01 2017-06-22 Energous Corporation System And Methods For Using Sound Waves To Wirelessly Deliver Power To Electronic Devices

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080009764A1 (en) 2005-04-21 2008-01-10 Epi-Sci, Llc Method and system for detecting electrophysiological changes in pre-cancerous and cancerous tissue and epithelium
US8228818B2 (en) 2005-06-24 2012-07-24 At&T Intellectual Property Ii, Lp Systems, methods, and devices for monitoring networks
US7441173B2 (en) 2006-02-16 2008-10-21 Siemens Energy & Automation, Inc. Systems, devices, and methods for arc fault detection
WO2012127372A1 (en) 2011-03-18 2012-09-27 Koninklijke Philips Electronics N.V. Communication between a client device and a wireless peripheral unit
US20120290976A1 (en) * 2011-05-13 2012-11-15 Medtronic, Inc. Network distribution of anatomical models
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9817440B2 (en) * 2012-09-11 2017-11-14 L.I.F.E. Corporation S.A. Garments having stretchable and conductive ink
CN102929054B (zh) 2012-11-05 2015-03-25 京东方科技集团股份有限公司 一种阵列基板及像素的驱动方法
US9477312B2 (en) * 2012-11-05 2016-10-25 University Of South Australia Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves
WO2015102464A1 (ko) 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US20150227245A1 (en) 2014-02-10 2015-08-13 Polyera Corporation Attachable Device with Flexible Electronic Display Orientation Detection
KR101924702B1 (ko) * 2014-02-24 2019-02-20 소니 주식회사 다른 디바이스들에서의 기능들을 활성화하기 위해 착용형 디바이스들로부터 감각 정보를 취득하기 위한 스마트 착용형 디바이스 및 방법
US9652946B2 (en) * 2014-05-02 2017-05-16 Novasentis, Inc. Hands-free, wearable vibration devices and method
KR102229890B1 (ko) 2014-05-30 2021-03-19 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
US9400557B2 (en) 2014-06-25 2016-07-26 Intel Corporation Multimodal haptic effect system
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9600083B2 (en) 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions
US10234952B2 (en) * 2014-07-18 2019-03-19 Maxim Integrated Products, Inc. Wearable device for using human body as input mechanism
US9621973B2 (en) * 2014-09-22 2017-04-11 Samsung Electronics Company, Ltd Wearable audio device
US10419886B2 (en) * 2014-09-25 2019-09-17 Intel Corporation Context-based management of wearable computing devices
KR101603266B1 (ko) 2014-09-26 2016-03-15 엘지전자 주식회사 와치 타입의 단말기 및 그 동작 방법
US9797691B1 (en) 2014-11-03 2017-10-24 Lockheed Martin Corporation Ceramic armor buffers for enhanced ballistic performance
US9858719B2 (en) * 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
US10319473B2 (en) 2015-04-20 2019-06-11 Kali Care, Inc. Wearable system for healthcare management
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US10105187B2 (en) * 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US9858948B2 (en) 2015-09-29 2018-01-02 Apple Inc. Electronic equipment with ambient noise sensing input circuitry
WO2017059285A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US9794691B2 (en) * 2015-12-28 2017-10-17 Facebook, Inc. Using bone transducers to imply positioning of audio data relative to a user
CN106933364B (zh) * 2017-03-15 2019-09-27 京东方科技集团股份有限公司 字符输入方法、字符输入设备以及可穿戴设备
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10528133B2 (en) 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620928A (zh) * 2011-03-17 2014-03-05 联合活跃驱动公司 多个同步振动致动器的非对称总体振动波形
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US20170179771A1 (en) * 2014-05-01 2017-06-22 Energous Corporation System And Methods For Using Sound Waves To Wirelessly Deliver Power To Electronic Devices
US20170115733A1 (en) * 2014-05-16 2017-04-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Haptic Feedback Generation
US20170102771A1 (en) * 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Also Published As

Publication number Publication date
EP3769190A1 (en) 2021-01-27
US11042221B2 (en) 2021-06-22
US10795445B2 (en) 2020-10-06
US10678335B2 (en) 2020-06-09
EP3738018A4 (en) 2021-03-03
WO2019136450A1 (en) 2019-07-11
US11422628B2 (en) 2022-08-23
EP3769198A4 (en) 2021-04-21
WO2019136439A1 (en) 2019-07-11
US20190212822A1 (en) 2019-07-11
CN112119367A (zh) 2020-12-22
EP3738018A1 (en) 2020-11-18
US10824235B2 (en) 2020-11-03
US10684690B2 (en) 2020-06-16
EP3769198A1 (en) 2021-01-27
WO2019136452A1 (en) 2019-07-11
US20190212824A1 (en) 2019-07-11
US20190212821A1 (en) 2019-07-11
WO2019136441A1 (en) 2019-07-11
US20210011555A1 (en) 2021-01-14
EP3769190A4 (en) 2021-04-21
EP3738019A1 (en) 2020-11-18
EP3738019A4 (en) 2021-03-03
US20190212823A1 (en) 2019-07-11
US20200249762A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US11422628B2 (en) Methods, devices, and systems for modifying perceived haptic stimulations on a user
US10782782B1 (en) Devices, systems, and methods for radar-based artificial reality tracking
US11467670B2 (en) Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
US11941174B1 (en) Finger pinch detection
US11175731B1 (en) Apparatus, system, and method for directional acoustic sensing via wearables donned by users of artificial reality systems
US11150737B2 (en) Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
US20240095948A1 (en) Self-tracked controller
US11320527B1 (en) Devices, systems, and methods for radar-based artificial reality tracking
US11747462B1 (en) Devices, systems, and methods for radar-based artificial reality tracking
US11488361B1 (en) Systems and methods for calibrating wearables based on impedance levels of users' skin surfaces
US11722137B1 (en) Variable-distance proximity detector
US11287885B1 (en) Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Applicant after: THE REGENTS OF THE University OF CALIFORNIA

Address before: California, USA

Applicant before: Facebook Technologies, LLC

Applicant before: THE REGENTS OF THE University OF CALIFORNIA

CB02 Change of applicant information