CN117590934A - 一种使用多阶段手势来激活用户界面交互的方法及*** - Google Patents
一种使用多阶段手势来激活用户界面交互的方法及*** Download PDFInfo
- Publication number
- CN117590934A CN117590934A CN202311048811.4A CN202311048811A CN117590934A CN 117590934 A CN117590934 A CN 117590934A CN 202311048811 A CN202311048811 A CN 202311048811A CN 117590934 A CN117590934 A CN 117590934A
- Authority
- CN
- China
- Prior art keywords
- gesture
- user
- user interface
- wrist
- wearable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 230000003993 interaction Effects 0.000 title claims abstract description 45
- 230000003213 activating effect Effects 0.000 title claims description 53
- 230000004044 response Effects 0.000 claims abstract description 101
- 210000000707 wrist Anatomy 0.000 claims description 228
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000002567 electromyography Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000000977 initiatory effect Effects 0.000 claims description 16
- 238000003825 pressing Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 4
- 210000003811 finger Anatomy 0.000 description 79
- 210000003128 head Anatomy 0.000 description 78
- 230000000875 corresponding effect Effects 0.000 description 66
- 230000006870 function Effects 0.000 description 50
- 230000002093 peripheral effect Effects 0.000 description 47
- 238000004891 communication Methods 0.000 description 45
- 230000008859 change Effects 0.000 description 43
- 210000003813 thumb Anatomy 0.000 description 43
- 230000007246 mechanism Effects 0.000 description 39
- 230000008878 coupling Effects 0.000 description 38
- 238000010168 coupling process Methods 0.000 description 38
- 238000005859 coupling reaction Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 36
- 230000002232 neuromuscular Effects 0.000 description 31
- 230000000007 visual effect Effects 0.000 description 30
- 238000013519 translation Methods 0.000 description 27
- 230000009471 action Effects 0.000 description 22
- 230000003190 augmentative effect Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 15
- 238000012886 linear function Methods 0.000 description 13
- 230000000712 assembly Effects 0.000 description 12
- 238000000429 assembly Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012888 cubic function Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 7
- 238000010079 rubber tapping Methods 0.000 description 7
- 230000002354 daily effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 239000012530 fluid Substances 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 241001522296 Erithacus rubecula Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 239000004433 Thermoplastic polyurethane Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000003155 kinesthetic effect Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 150000002926 oxygen Chemical class 0.000 description 2
- 230000024159 perception of rate of movement Effects 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 229920005570 flexible polymer Polymers 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文中所描述的各种实施方式包括使用多阶段空中手势来以确保低误报率的方式激活用户界面交互的方法和***。在一方面，一种方法包括：在选通手势被维持的同时，接收对如下的第一指示：执行针对与多个值相关联的用户界面对象的、第一量级的调整手势。该方法还包括：响应于接收到第一指示，在基于第一量级移动经过该多个值中的一些值之后，将用户界面对象调整为具有第一状态。该方法还包括：在接收到释放选通手势的指示之后，响应于接收到对执行调整手势的第二指示，放弃调整用户界面对象，使得用户界面对象继续具有第一状态。
Description
优先权和相关申请
本申请要求以下优先权：
·2022年8月18日提交的名称为“Navigating a User Interface Using In-AirGestures Detected Via Neuromuscular-Signal Sensors of a Wearable Device,andSystems and Methods of Use Thereof”的申请号为63/399,187的美国临时专利申请；
·2022年8月18日提交的名称为“Multi-Stage Gestures Detected Based onNeuromuscular-Signal Sensors of a Wearable Device to Activate User-InterfaceInteractions with Low-False Positive Rates,and Systems and Methods of UseThereof”的申请号为63/399,188的美国临时专利申请；
·2022年10月10日提交的名称为“Multi-Stage Gestures Detected Based onNeuromuscular-Signal Sensors of a Wearable Device to Activate User-InterfaceInteractions with Low-False Positive Rates,and Systems and Methods of UseThereof”的申请号为63/414,880的美国临时专利申请；以及
·2022年10月10日提交的名称为“Navigating a User Interface Using In-AirGestures Detected Via Neuromuscular-Signal Sensors of a Wearable Device,andSystems and Methods of Use Thereof”的申请号为63/414,884的美国临时专利申请；
·2023年7月26日提交的申请号为18/359,855的美国非临时专利申请，
这些申请中的每个申请通过引用全部并入本文。
技术领域
本公开总体上涉及可穿戴设备(例如，腕式可穿戴设备和头部可穿戴设备)和用于使用可穿戴设备检测不同类型的手势的方法，并且更具体地涉及如下可穿戴设备：所述可穿戴设备被配置为检测与多阶段空中手势(例如，由用户手指在不接触任何电子设备的情况下在不同阶段执行的手势)对应的基于神经肌肉的信号，从而通过例如使多阶段手势的第一阶段的启动(priming)手势来触发手势交互，随后利用该多阶段手势的最后阶段的控制手势进行控制阶段，来帮助确保低误报率。
背景技术
用户通常携带多个电子设备来在他们的日常生活中辅助他们。例如，用户携带智能电话、智能手表和其它电子设备，这些设备例如通过允许他们发送消息和电子邮件并捕获图像和做笔记，来帮助使用户的一天更顺畅地进行。为了在这些设备上执行特定操作(诸如拍照或发送电子邮件)，用户可能需要在设备的显示器或键盘上执行多个操作。此外，许多设备需要用户打开/设置其设备并与该设备进行物理交互，这会降低用户体验并可能导致浪费有限计算和电力资源的、低效的人机交互，特别是对于可穿戴设备。此外，响应用户手势的设备存在误报(设备对无意的用户手势做出响应)，这也会降低用户体验并且也可能导致浪费有限计算和电力资源的、低效的人机交互，特别是对于可穿戴设备。这些潜在的问题可能发生在基于神经肌肉信号检测到的手势的上下文中，因为用户在日常交互中移动其手可能会错误地触发无意的手势序列。
如此，想要解决上述问题、缺点或领域中的一个或多个以供进一步探讨。
发明内容
如上面所讨论的，需要一种这样的可穿戴设备：该可穿戴设备可以检测多阶段空中手势以控制电子设备，而无需与电子设备进行物理交互或不需要用于用户手势的大的开放空间。具体地，通过将手势序列划分为启动阶段和控制阶段(其中，启动阶段用于触发手势序列，并且控制阶段用于确认继续进行该手势序列的意图)，向用户提供了使用空中手势以低误报率(例如，低于4％的误报率)控制可穿戴设备的直观、易记的方式。在一个示例中，启动手势可以包括按压并保持用户的中指和拇指(这随后可以诸如通过使得显示选项的菜单来使得激活用户界面)，随后是导航手势，该导航手势可以包括用户的手腕的旋转运动以在菜单的选项之间移动，随后是控制手势(例如，释放该按压并保持手势)，以在接收到控制手势时使得执行与当前聚焦的选项相关联的命令。如这个示例所示，向用户提供了启动手势交互的能力，使得如果启动了无意的手势交互，则如果该序列已经被无意地激活，则用户能够容易地退出该手势序列。
本文中所描述的***(例如，可穿戴设备)和方法通过允许用户使用由一个或多个可穿戴设备(例如，腕式可穿戴设备)检测的手势有效地与用户界面交互，解决了上述缺点中的至少一些缺点，该一个或多个可穿戴设备包括用于检测用户执行的手势的传感器。可穿戴设备处的各传感器可以包括肌电图(Electromyography，EMG)传感器(例如，用于检测肌肉反应)、惯性测量单元(Inertial Measurement Unit，IMU)传感器和飞行时间传感器(例如，用于检测空间距离)。
如本文中所描述的，由用户执行的多阶段空中手势可以对应于用于控制一个或多个可穿戴设备(例如，头部可穿戴设备、腕式可穿戴式设备、智能电话和/或中间设备)的操作。例如，用户在腕式可穿戴设备处(例如使用拇指和小指)执行的捏合手势可以使得在头部可穿戴设备上呈现菜单。此外，释放该手势可以选择该菜单内的用户界面元素。
本文中所描述的可穿戴设备在接收到或检测到用户的多阶段空中手势之后，可以向计算设备提供数据，该数据使得计算设备执行头部可穿戴设备或其它电子设备处的操作。计算设备可以是另一可穿戴设备或中间设备(例如，智能电话)。在一些情况下，可穿戴设备(或中间设备)被配置为使操作在其它电子设备(诸如智能电话)处执行。
这样，用户执行的多阶段空中手势可以直接使操作被执行，以控制一个或多个电子设备。用户执行的其它多阶段空中手势可以在头部可穿戴设备处或在另一电子设备处执行自动操作。例如，用户执行的多阶段空中手势(例如，捏合、轻击和响指手势)可以发起诸如捕获照片或视频的自动操作。在该示例中，使用手势的多个阶段防止了用户在其无意地执行如下手势时，无意地捕获图像：捏合、轻击或响指手势；或者作为与拍照无关的活动的一部分的手势。
作为说明性示例，假设一个叫罗宾(Robin)的人正在公园中散步，并且想在附近的鸟飞走之前快速捕获到它的图像。通常，罗宾将需要掏出她的手机或其它成像设备来拍照。此外，在罗宾取出她的手机或相机之后，她将需要执行多个操作来拍照。在这个过程中，这只鸟可能会受惊，并且在罗宾能够捕获到图像之前就飞走了。
本文中所描述的***允许罗宾快速捕获图像，而不需要在用户界面处执行多个操作或做出大手势(这可能会吓到鸟)。在这个示例中，罗宾可以利用由一个或多个可穿戴设备处的传感器检测的小空中手势来拍照和/或导航用户界面。这种图像捕获的方法对于罗宾来说是快速且高效的，并且可以在可穿戴设备处节省能量(例如，不需要显示，也不需要对多个图形用户界面的导航)。该照片可以在头部可穿戴设备、腕式可穿戴设备、智能电话和/或任何其它中间设备上显示给罗宾。这样，为罗宾提供了一种快速且高效地捕获图像的免手动方法。
假设罗宾可以通过执行轻击手势(例如，一个手指轻击另一手指)来捕获一只鸟的图像。虽然轻击手势对罗宾来说方便且容易执行，但由于该手势的简单性，这可能会导致如下附加问题：意外地捕获到无意的照片。然而，如果罗宾转而使用多阶段空中手势(诸如捏合，随后轻击，随后再响指)，罗宾将能够快速且有效地捕获到图像，同时避免意外的照片。使用多阶段空中手势还消除了罗宾在图形用户界面上执行多个操作步骤以捕获图像的需要。
继续该示例，假设在捕获图像之后，罗宾想要将捕获的图像发送给朋友。通常，罗宾将需要使用智能电话或其它中间设备来发送捕获的图像。此外，罗宾将可能需要在图形用户界面上执行多个操作步骤来发送电子邮件。利用本文中所描述的***，罗宾可以使用另一空中手势来发送捕获的图像，而不需要利用另一电子设备(诸如智能电话和/或膝上型计算机)。在该示例中，罗宾可以执行多阶段空中手势以与她的朋友共享捕获的图像，而无需在智能电话或其它中间设备上导航多个菜单和/或图形用户界面。
这些改进允许可穿戴设备被设计为使得它们对于日常使用是舒适的、功能性的、实用的和社会可接受的。此外，这些改进允许用户与可穿戴设备和/或用户界面交互，而不需要与这些设备中的任何设备直接物理接触。此外，用户还可以使用指定的特定多阶段空中手势来修改正在与哪个电子设备交互。所有这些都进一步推动了让更多用户在人工现实(人工现实(Artificial-Reality，AR)和虚拟现实(Virtual Reality，VR))空间中采用新兴技术的目标，以进行更多的用例，特别是在大的开放空间中的游戏用途之外。
此外，本文中所描述的***和方法可以允许更高效和简化的人机界面，因为所述***和方法可以向用户提供用于与电子设备和数字媒体交互的手段，而不会给用户带来不便或要求用户与任何电子设备进行物理交互。因此，这些改进通过提供更少的视觉元素简化了用户界面，并简化了用于与此类界面交互的用户输入。例如，如本文中所述的单个操作能够至少由多阶段空中手势来执行，并且多阶段空中手势的每个变型可以具有其自己的独立操作，从而进一步定义了用户可用的潜在交互模式。因此，用户可以执行更多操作，而无需应对在菜单或用户界面元素中滚动的不便。本文中所描述的手势和操作中的一些手势和操作可以在没有显示任何用户界面的情况下被执行，这允许用户在其在物理世界中执行其日常任务时，更无缝地与数字技术交互。
根据一些实施例，提供了一种使用在腕式可穿戴设备处检测到的多阶段空中手势来激活用户界面交互的方法。该方法包括：经由用户穿戴的腕式可穿戴设备的一个或多个传感器，接收从用户执行多阶段空中手势产生的数据；根据确定多阶段空中手势的第一阶段是启动手势，激活用户界面；以及根据确定多阶段空中手势的最后阶段是在启动手势之后的预定义阈值时间量内接收到的控制手势，执行与控制手势对应的针对用户界面的命令。
根据一些实施例，提供了一种使用用于与用户界面交互的选通(gating)空中手势的方法。该方法包括：在选通空中手势被维持的同时，接收对执行第一量级的调整空中手势的第一指示，该第一量级的调整空中手势指向经由头部可穿戴设备呈现的用户界面对象，该用户界面对象与多个值相关联。该方法还包括：响应于接收到对执行第一量级的调整空中手势的第一指示，在基于第一量级移动经过所述多个值中的一些值之后，将该用户界面对象调整为具有第一状态。该方法还包括：在接收到对释放选通空中手势的指示之后，响应于接收到对执行调整空中手势的第二指示，放弃调整该用户界面对象，使得该用户界面对象继续具有第一状态。该方法还包括：在选通空中手势被再次维持的同时，接收对执行与第一量级不同的第二量级的调整空中手势的第三指示，在该用户界面对象具有第一状态时，第二量级的调整空中手势指向该用户界面对象。该方法还包括：响应于接收到对执行第二量级的调整空中手势的第三指示，基于第二量级调整该用户界面对象以移动经过所述多个值中的更多值，使得该用户界面对象具有与第一状态不同的第二状态。
根据一些实施例，提供了一种使用多阶段空中手势进行用户界面交互的方法。该方法包括：经由用户穿戴的腕式可穿戴设备的一个或多个传感器接收从用户执行多阶段空中手势产生的数据。该方法还包括：根据确定多阶段空中手势的第一阶段是启动手势，识别用户的身体部位的初始位置。该方法还包括：根据确定多阶段空中手势的第二阶段是导航手势，基于在导航手势的执行期间身体部位的位置相对于初始位置的改变，来在用户界面中导航，其中，导航速度是基于身体部位的位置改变。
在一些实施例中，计算设备(例如，腕式可穿戴设备或头部可穿戴设备、或中间设备(诸如智能电话或者台式或膝上型计算机)，该中间设备被配置为协调在腕式可穿戴设备和头部可穿戴设备处的操作)包括一个或多个处理器、存储器、显示器(在一些实施例中，显示器可以是可选的(诸如对于可以协调腕式可穿戴设备和头部可穿戴设备处的操作的特定示例中间设备来说)，并且因此具有充足的处理和功率资源，但不需要具有其自己的显示器)、以及存储在该存储器中的一个或多个程序。所述程序被配置为由该一个或多个处理器来执行。该一个或多个程序包括用于执行(或使得执行)本文中所描述的各方法(例如，包括下面详细描述的方法800、850和1600)中的任何方法的指令。
在一些实施例中，非暂态计算机可读存储介质存储有一个或多个程序，该一个或多个程序被配置为由计算设备(例如，腕式可穿戴设备或头部可穿戴设备、或者中间设备(诸如智能电话或者台式或膝上型计算机)，该中间设备可以被配置为协调在腕式可穿戴设备和头部可穿戴设备处的操作)执行，该计算设备具有一个或多个处理器、存储器和显示器(在一些实施例中，显示器可以是可选的(诸如对于可以协调在腕式可穿戴设备和头部可穿戴设备处的操作的中间设备来说)，并且因此具有充足的处理和功率资源，但不需要具有其自己的显示器)。该一个或多个程序包括用于执行(或使得执行)本文中所描述的各方法(例如，包括下面详细描述的方法800、850和1600)中的任何方法的指令。
因此，公开了用于基于神经肌肉信号检测空中手势的方法、***和计算机可读存储介质。此类方法和***可以补充或替代用于手势检测的传统方法。
说明书中描述的特征和优点不一定包括所有内容，尤其是根据本公开中提供的附图、说明书和权利要求，一些附加特征和优点对于本领域普通技术人员来说是显而易见的。此外，应当注意，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并不一定被选择来描绘或限定本文中所描述的主题。
附图说明
为了能够更详细地理解本公开，可能通过参考各种实施例的特征进行了更具体的描述，且在附图中示出了这些特征中的一些特征。然而，所附附图仅示出了本公开的切题特征，因此不一定被认为是限制性的，这是因为如本领域技术人员在阅读本公开时将理解的那样，该描述可以通向其它有效特征。
图1A至图1F示出了根据一些实施例的与人工现实***(例如，至少包括虚拟现实头戴式视图器(headset)和腕式可穿戴设备)交互的示例用户场景。
图2A至图2C示出了根据一些实施例的与人工现实***(例如，至少包括增强现实眼镜和腕式可穿戴设备)交互的另一示例用户场景。
图3A至图3D示出了根据一些实施例的与人工现实***(例如，至少包括增强现实眼镜和腕式可穿戴设备)交互的另一示例用户场景。
图4A至图4D示出了根据一些实施例的与人工现实***(例如，至少包括增强现实眼镜和腕式可穿戴设备)交互的另一示例用户场景。
图5A至图5D示出了根据一些实施例的与可穿戴设备交互的示例用户场景。
图6A至图6D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图7A至图7S示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图8A和图8B是示出了根据一些实施例的用于激活用户界面交互的示例方法的流程图。
图8C和图8D是示出了根据一些实施例的用于激活用户界面交互的示例方法的流程图。
图9A至图9E示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图10A至图10H示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图11A至图11C示出了根据一些实施例的表示导航速度与手势距离之间的示例关系的曲线图。
图12A至图12D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图13是示出了根据一些实施例的用于使用多阶段空中手势进行用户界面交互的示例方法的流程图。
图14A至图14D-2示出了根据一些实施例的示例AR***。
图15A和图15B示出了根据一些实施例的示例腕式可穿戴设备。
图16A至图16C示出了根据一些实施例的示例人工现实***。
图17A和图17B示出了根据一些实施例的示例手持设备。
图18A至图18C示出了根据一些实施例的示例可穿戴手套。
根据惯例，附图中所示出的各特征不一定是按比例绘制的，并且在整个说明书和附图中可以使用相似的参考标号来表示相似的特征。
具体实施方式
本公开的实施例可以包括各种类型或各种实施例的人工现实***，或者可以结合各种类型或各种实施例的人工现实***来实现。人工现实构成了一种已被虚拟对象改变以呈现给用户的现实形式。这种人工现实可以包括和/或表示虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR)、混合现实(HybridReality)、或者这些中的一种或多种的某种组合和/或变型。人工现实内容可以包括完全生成的内容或与捕获的(例如，真实世界)内容结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，这些视频、音频、触觉反馈或其某种组合中的任何一种可以在单个通道中或在多个通道(诸如对观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与例如用于在人工现实中创建内容和/或以其它方式在人工现实中使用(例如，用于在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。
人工现实***可以以各种不同的外形要素和配置来实现。一些人工现实***包括近眼显示器(Near-Eye Display，NED)，NED提供对真实世界的可见性或者使用户在视觉上沉浸在人工现实中。虽然一些人工现实设备是独立式***，但其它人工现实设备与外部设备通信和/或协作以向用户提供人工现实体验。这些外部设备的示例包括手持控制器、移动设备、台式计算机、用户穿戴的设备、一个或多个其他用户穿戴的设备、和/或任何其它合适的外部***。
作为示例，假设罗宾(Robin)想要打开视频播放器应用，以经由她的增强现实眼镜播放视听内容。通常，罗宾需要操作她的眼镜上的多个按钮，或者取出连接的电子设备并在触摸显示器或键盘上导航，以打开视频播放器应用。此外，罗宾可能需要执行多个离散的步骤来找到和打开该应用。此外，如果罗宾处于公共空间，使用语音命令或大手势来打开该应用可能在社交上是不能接受的。利用这里描述的***，罗宾可以使用单个多阶段空中手势，来呈现菜单、导航到菜单内的视频播放器应用、并打开该视频播放器应用。例如，执行捏合(pinch)手势可以显示菜单，移动手腕可以允许在菜单中导航，并且释放捏合可以激活视频播放器应用的图标。这个示例中的手势很小且不显眼，不需要开放空间以供罗宾操纵或不需要操作手持设备。
图1A至图1F示出了根据一些实施例的与人工现实***交互的示例用户场景。图1A中的用户115穿戴着头部可穿戴设备110(例如，虚拟现实头戴式视图器)和腕式可穿戴设备120(例如，智能手表)。在一些实施例中，腕式可穿戴设备120是腕式可穿戴设备6000的实例。在一些实施例中，头部可穿戴设备110是增强现实***7000的实例。图1A中的用户115正在观看包括放射式菜单131的场景130。在图1A的示例中，用户115没有执行手势。
图1B示出了用户115执行涉及用户的小手指接触拇指的捏合手势(例如，启动手势)。图1B还示出了(响应于捏合手势)更新为包括如下内容的场景130：用于与放射式菜单131上的用户界面元素133(例如，对应于消息传递应用)交互的多个选项(例如，工具提示)。在图1B的示例中，这些选项包括用于(通过释放捏合手势)关闭工具提示的选项132-1、用于(通过将食指轻击该捏合)打开设置菜单的选项132-2、以及用于(通过将中指轻击该捏合)打开消息的选项132-3。
图1C示出了用户115旋转其手腕(例如，导航手势)，同时维持来自图1B的捏合手势。图1C还示出了根据手腕旋转来选择放射式菜单131内的用户界面元素135(例如，音乐应用)。图1C中示出的各选项136对应于与用户界面元素135的交互，并且包括用于(通过释放捏合手势)关闭工具提示的选项136-1、用于(通过增加捏合手势的力以满足特定标准)切换播放列表的选项136-2、以及用于(通过将食指轻击该捏合)播放音乐的选项136-3。
图1D示出了根据手腕旋转来选择放射式菜单131内的用户界面元素137(例如，相机应用)。图1D中示出的各选项138对应于与用户界面元素137的交互，并且包括用于(通过增加捏合手势的力以满足特定标准)打开设置菜单的选项138-1、用于(通过将食指轻击该捏合)观看用户的图片库的选项138-2、以及用于(通过将中指轻击该捏合)打开相机捕获模式的选项138-3。图1D还示出了用户115将其中指轻击该捏合以打开捕获模式下的相机(例如，控制手势)。
图1E中的用户115正在相机应用用户界面140活动(例如，相机应用是活动的并且处于捕捉模式)的情况下，观看场景130。在图1E的示例中，用户115没有执行手势(例如，已经释放了捏合手势)。在一些实施例中，根据用户执行图1D中的轻击手势，不再显示放射式菜单131(例如，完成了一多阶段手势)。在一些实施例中，根据用户释放捏合手势，不再显示放射式菜单131(例如，图1D中的中指轻击打开了相机用户界面140，并且释放捏合手势关闭了放射式菜单131)。
图1F示出了图1D的替代方案，其中，用户正在执行深捏合(deep pinch)(具有满足一个或多个预定义标准的对应力)，而不是将其中指轻击。图1F中的用户115正在相机设置用户界面142活动(例如，相机设置用户界面是具有多个设置选项的菜单)的情况下观看场景130。在图1F的示例中，用户115维持捏合手势，并且放射式菜单131仍被显示(在相机设置用户界面142后面)。在一些实施例中，根据用户执行深捏合手势，不再显示放射式菜单131(例如，深捏合手势是控制手势，并且响应于正在执行控制手势而停止显示放射式菜单)。尽管图1A至图1F被示出为由用户115穿戴着头部可穿戴设备110来执行，但在一些实施例中，用户115正穿戴着不同类型的显示器(例如，AR眼镜或镜片)，并且在一些实施例中，用户115正与不可穿戴显示器(例如，电视或监控显示器)上的用户界面进行交互。
在一些实施例中，腕式可穿戴设备120和/或头部可穿戴设备110向用户提供视觉、音频和/或触觉反馈，以指示：所执行的手势阶段已被检测到(例如，响应于各种类型的手势而提供不同反馈)。
图2A至图2C示出了根据一些实施例的与人工现实***交互的另一示例用户场景。图2A中的用户115穿戴着头部可穿戴设备202(例如，增强现实眼镜)和腕式可穿戴设备120(例如，智能手表)。在一些实施例中，头部可穿戴设备202是增强现实***7000的实例。图2A中的用户正在观看场景204，场景204包括具有用户消息210和通知212的通信界面208。通知212向用户指示，捏合手势将使用户消息210被发送到远程用户(约翰(John))。在图2A的示例中，腕式可穿戴设备120包括显示器，该显示器具有对应于(复制)通信界面208的用户界面214(例如，用户可以观看界面208或界面214(并且可选地与界面208或界面214交互))。图2A中的用户115没有执行手势。在一些实施例中，向用户115呈现用于与用户消息210相关的各动作的多个选项。例如，用于发送用户消息210的第一启动手势(诸如无名指捏合手势)以及用于删除用户消息210的第二启动手势(诸如小指捏合手势)。
图2B示出了用户115执行涉及用户的无名指接触拇指的捏合手势(例如，启动手势)。图2B还示出了(响应于捏合手势)更新为用通知216替代图2A中的通知212的场景204。通知216向用户指示，旋转其手腕将确认其想要向远程用户(John)发送用户消息210。在一些实施例中，向用户115呈现对应于与启动手势相关联的不同控制手势的多个选项。例如，用于确认想要发送消息210的第一控制手势(诸如手腕旋转)以及用于显示发送选项(例如，延迟发送或有条件发送)的第二控制手势(诸如手腕/手摇动)。
图2C示出了用户115在保持捏合手势的同时将其手腕旋转90度(例如，控制手势)。图2C还示出了(响应于控制手势)具有更新的通信界面208的场景204，更新的通信界面208具有元素220，元素220指示，用户消息210已经被发送给远程用户(John)。虽然图2C示出了用户115在执行手腕旋转(例如，控制手势)的同时保持捏合手势(例如，启动手势)，但在一些实施例中，用户在执行控制手势之前释放启动手势。例如，执行启动手势触发了定时器，在该定时器期间必须发生控制手势以确认发送用户消息210。尽管图2A至图2C被示出为由用户115穿戴着头部可穿戴设备202来执行，但在一些实施例中，用户115穿戴着不同类型的显示器(例如，VR头戴式视图器)，并且在一些实施例中，用户115正在与不可穿戴显示器(例如，电视或监控显示器)上的用户界面进行交互。
在一些实施例中，腕式可穿戴设备120和/或头部可穿戴设备202向用户提供视觉、音频和/或触觉反馈，以指示：所执行的手势阶段已被检测到(例如，响应于各种类型的手势而提供不同反馈)。
图3A至图3D示出了根据一些实施例的与人工现实***交互的另一示例用户场景。图3A中的用户115穿戴着头部可穿戴设备202(例如，增强现实眼镜)和腕式可穿戴设备120(例如，智能手表)。图3A中的用户115正在观看包括如下风景的场景302：用户希望针对该风景拍照。图3A中的用户115没有执行手势。
图3B示出了用户115执行涉及用户的中指接触拇指的捏合手势(例如，启动手势)。虽然图3B未示出响应于捏合手势而改变场景302，但在一些实施例中，场景302(和/或腕式可穿戴设备120的显示)更新为向用户115指示：检测到了捏合手势。例如，场景302可以更新为包括关于给定启动手势的情况下哪些控制手势可用的工具提示。作为另一示例，腕式可穿戴设备120和/或头部可穿戴设备202可以向用户提供视觉、音频和/或触觉反馈以指示：检测到了捏合手势。
图3C示出了在维持来自图3B的捏合手势的同时，用户115执行涉及用户的食指接触中指的轻击手势(例如，多阶段控制手势的第一阶段)。虽然图3C未示出响应于轻击手势而改变场景302，但在一些实施例中，场景302(和/或腕式可穿戴设备120的显示)更新为向用户115指示：检测到了轻击手势。例如，场景302可以更新为包括关于给定启动手势和轻击手势的情况下哪些控制手势可用的工具提示。作为另一示例，腕式可穿戴设备120和/或头部可穿戴设备202可以向用户提供视觉、音频和/或触觉反馈以指示：检测到了轻击手势(例如，不同于响应于捏合手势而提供的反馈)。
图3D示出了用户115执行涉及用户的食指和拇指以足够的力(例如，预设阈值以上的力)相互滑动的响指手势(例如，多阶段控制手势的第二阶段)。图3D还示出了更新为包括用户界面元素310的场景302，该用户界面元素310通知用户115：已经根据多阶段手势捕获了图像。在一些实施例中，腕式可穿戴设备120(例如经由音频或视觉警报)向用户通知该图像捕获。
在一些实施例中，腕式可穿戴设备120和/或头部可穿戴设备202向用户提供视觉、音频和/或触觉反馈以指示：所执行的手势阶段已被检测到(例如，响应于各种类型的手势而提供不同反馈)。
图4A至图4D示出了根据一些实施例的与人工现实***交互的另一示例用户场景。图4A中的用户115穿戴着头部可穿戴设备202(例如，增强现实眼镜)和腕式可穿戴设备120(例如，智能手表)。图4A中的用户115正在观看包括如下鸟的场景402：用户希望针对该鸟捕获视频。图4A中的用户115没有执行手势。
图4B示出了用户115执行涉及用户的中指接触拇指的捏合手势(例如，多阶段启动手势的第一阶段)。虽然图4B未示出响应于捏合手势而改变场景402，但在一些实施例中，场景402(和/或腕式可穿戴设备120的显示)更新为向用户115指示：检测到了捏合手势。例如，场景402可以更新为包括关于给定启动手势的情况下哪些控制手势可用的工具提示。
图4C示出了在维持来自图4B的捏合手势的同时，用户115执行涉及用户的食指接触中指两次的双击手势(例如，多阶段启动手势的第二阶段)。虽然图4C未示出响应于双击手势而改变场景402，但在一些实施例中，腕式可穿戴设备120和/或头部可穿戴设备202向用户提供视觉、音频和/或触觉反馈以指示：检测到了双击手势(例如，不同于响应于捏合手势而提供的反馈)。
图4D示出了用户115执行涉及用户的食指和拇指以足够的力(例如，预设阈值以上的力)相互滑动的响指手势(例如，控制手势)。图4D还示出了更新为包括用户界面元素406的场景402，该用户界面元素406通知用户115：场景正在被捕获/记录(例如，由头部可穿戴设备202上的相机捕获/记录)。在一些实施例中，腕式可穿戴设备120和/或头部可穿戴设备202向用户提供视觉、音频和/或触觉反馈以指示：所执行的手势阶段已被检测到(例如，响应于各种类型的手势而提供不同反馈)。
图5A至图5D示出了根据一些实施例的与可穿戴设备交互的示例用户场景。图5A中的用户115穿戴着包括显示器502(例如，在图5A中示出了一天中的时间)的腕式可穿戴设备120(例如，智能手表)。图5A中的用户115没有执行手势。
图5B示出了用户115执行涉及用户的食指接触拇指的捏合手势(例如，启动手势)。图5B还示出了(响应于捏合手势)更新为呈现放射式菜单504的显示器502。放射式菜单504包括与腕式可穿戴设备120上的不同应用对应的多个用户界面元素(图标)。图5B中的显示器502还示出了定时器元素506以向用户115指示用于输入控制手势的时间段(例如，5秒、10秒或20秒)。
图5C示出了用户115维持来自图5B的捏合手势。图5C还示出了呈现放射式菜单504和定时器元素506的显示器502。图5C中的定时器元素506指示：用于输入控制手势的时间段即将到期。
图5D示出了用户115维持来自图5B和图5C的捏合手势。图5D还示出了向用户115示出一天中的时间的显示器502，例如，根据用于输入控制手势的时间段已经到期，停止呈现放射式菜单504和定时器元素506。虽然图5B至图5D示出了用户115维持启动手势(例如，捏合手势)，但在一些实施例中，用户不维持启动手势(例如，执行响指手势)以触发对菜单和用于输入对应控制手势的定时器的呈现。在一些实施例中，用户115的可用多阶段手势包括一个或多个手势，该一个或多个手势包括三个或更多个阶段。在一些实施例中，多阶段手势的每个阶段的检测重置了、增加了时间，或开始了用于输入控制手势的新时间段。
在一些实施例中，腕式可穿戴设备120向用户115提供音频和/或触觉反馈以指示所执行的手势阶段已被检测到，和/或根据用于输入控制手势的时间段提供反馈，诸如提供触觉反馈以指示：时间段到期而没有检测到控制手势。
图6A至图6D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图6A中的用户115穿戴着腕式可穿戴设备120(例如，智能手表)，该腕式可穿戴设备120包括显示器502，该显示器502呈现与消息传递(例如，电子邮件)应用(例如，用户115响应于远程用户(Paul)而正在起草的消息)对应的用户界面602。图6A中的用户115没有执行手势。
图6B示出了更新为向用户115呈现通知604的显示器502。通知604向用户115指示可用的手势阶段(例如，用户的食指与拇指之间的捏合手势)和对应动作(例如，呈现可用选项)。在一些实施例中，响应于腕式可穿戴设备120检测到用户115已经停止提供针对回复消息的输入，呈现通知604。在一些实施例中，响应于来自用户的语音命令，呈现通知604。在一些实施例中，响应于来自用户的手势(例如，启动手势)，呈现通知604。
图6C示出了用户115执行涉及用户的食指接触拇指的捏合手势(例如，启动手势)。图6C还示出了(响应于捏合手势)更新为呈现各命令选项606的显示器502。这些命令选项606包括用于关闭并保存消息的选项606-1(对应于手腕的左旋转)、用于关闭消息而不保存消息的选项606-2(对应于手腕的右旋转)、以及用于发送消息的选项606-3(对应于捏合手势的力的增加)。在一些实施例中，呈现了其它选项，诸如用于执行拼写检查操作的选项(例如，对应于响指手势)。在图6C的示例中，每个选项606对应于针对给定启动手势(食指捏合手势)的可用控制手势。
图6D示出了用户115在保持图6C的捏合手势的同时将其手腕向右旋转(例如，控制手势)。图6D还示出了(响应于控制手势的)更新的用户界面602，该更新的用户界面602具有通知608，该通知608向用户指示消息已经被保存(并关闭)。虽然图6D示出了用户115在执行手腕旋转(例如，控制手势)的同时保持捏合手势(例如，启动手势)，但在一些实施例中，用户在执行控制手势之前释放启动手势。
图7A至图7S示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图7A中的用户115穿戴着头部可穿戴设备202(例如，增强现实眼镜)和腕式可穿戴设备120(例如，智能手表)。在一些实施例中，头部可穿戴设备202是增强现实***7000的实例。图7A中的用户115正在观看包括菜单704的场景702。菜单704包括与不同应用对应的多个用户界面元素(图标)，该多个用户界面元素包括图7A中的具有焦点的音乐应用的用户界面元素706-1。在图7A的示例中，腕式可穿戴设备120包括显示器，该显示器具有对应于(复制)场景702的用户界面708(例如，用户可以观看场景702或界面708(并且可选地与场景702或界面708交互))。用户界面708包括音乐应用的用户界面元素710-1。图7A中的用户115没有执行手势。
图7B示出了用户115执行涉及用户的食指接触拇指同时用户在第一方向上旋转其手腕的捏和转手势711(例如，导航手势)。具体地，用户的手腕在图7B中根据箭头712旋转。图7B还示出了(响应于捏和转手势)更新为滚动菜单704以将焦点给到电话应用的用户界面元素706-2的场景702。在一些实施例中，菜单704的滚动量对应于用户的手腕旋转的速度(例如，快速转(flick)动作比慢速转动动作引起更多的滚动)。在一些实施例中，菜单704的滚动量对应于用户手腕的旋转量(例如，90度的旋转比45度的旋转引起更多的滚动)。根据一些实施例，捏和转手势是多阶段手势，其中捏阶段是启动手势，并且转阶段是导航手势。
图7C示出了用户115已经停止维持(释放了)图7B中所示的捏和转手势。如图7C中所示，释放捏和转手势不激活所聚焦的用户界面元素(用户界面元素706-2)。在一些实施例中，释放导航手势使得激活菜单704内的具有焦点的用户界面元素。在一些实施例中，释放导航手势是否使得激活用户界面元素取决于一个或多个设置(例如，用户偏好)。在图7C的示例中，腕式可穿戴设备120包括对电话应用的用户界面元素710-2的聚焦。
图7D示出了用户115执行涉及用户的食指接触拇指同时用户在第一方向上旋转其手腕的捏和转手势(例如，导航手势)。具体地，用户的手腕在图7D中根据箭头722旋转。图7D还示出了(响应于捏和转手势)更新为滚动菜单704以将焦点给到锻炼应用的用户界面元素706-3的场景702。图7D包括响应于捏和转手势而指示菜单704的滚动量的箭头724(例如，与图7B中的更短箭头714相比，图7D中的更长箭头724指示发生了更多滚动)。
图7E示出了用户115执行涉及用户的食指接触拇指同时用户在第二方向(例如，与图7D中的第一方向相反)上旋转其手腕的捏和转手势(例如，导航手势)。具体地，用户的手腕在图7E中根据箭头726旋转。图7E还示出了(响应于捏和转手势)更新为根据箭头728滚动菜单704以将焦点给到消息传递应用的用户界面元素706-4的场景702。
图7F示出了用户115已经停止维持(释放了)图7E中所示的捏和转手势。如图7F所示，释放捏和转手势不会激活所聚焦的用户界面元素(用户界面元素706-4)。在图7F的示例中，腕式可穿戴设备120包括对消息传递应用的用户界面元素710-4的聚焦。
图7G示出了用户115执行涉及用户的食指接触拇指的捏合手势729。图7G还示出了(响应于捏合手势)更新为显示具有消息732-1和732-2的消息传递用户界面730的场景702(例如，激活图7F中的消息传递应用的用户界面元素706-4)。在一些实施例中，消息传递应用是根据一个或多个捏合手势729而被激活的，该捏合手势729具有与捏和转手势711不同的一个或多个特性。例如，在检测到捏合手势的阈值时间量内没有检测到转手势。作为另一示例，捏合手势729具有小于阈值时间量的持续时间(例如，快速捏合对应于激活手势，而长捏合对应于启动手势)。作为另一示例，捏合手势729具有用于激活手势的满足一个或多个标准的力分量(例如，深按压捏合手势是激活手势)。
图7H示出了用户115执行涉及用户的食指接触拇指同时用户在第一方向上旋转其手腕的捏和转手势740(例如，导航手势)。具体地，用户的手腕在图7H中根据箭头742旋转。图7H还示出了(响应于捏和转手势)更新为根据箭头744滚动消息传递用户界面730(例如，向下滚动来自各种人的消息)的场景702，使得消息732-3具有焦点。
图7I示出了用户115已经停止维持(释放了)图7H中所示的捏和转手势740。如图7I所示，释放捏和转手势不会激活所聚焦的消息732-3。在图7I的示例中，腕式可穿戴设备120包括对消息传递应用中的消息748(例如，对应于所聚焦的消息732-3)的聚焦。
图7J示出了用户115执行涉及用户的食指接触拇指的捏合手势750。图7J还示出了(响应于捏合手势)更新为激活与消息732-3相关联的功能的场景702。例如，响应于捏合手势750，显示表情菜单752并且给予表情754-1焦点。在一些实施例中，根据具有与捏和转手势不同的一个或多个特性的捏合手势750来激活消息功能。
图7K示出了用户115执行涉及用户在第一方向上水平地平移其手臂同时保持捏合手势750的捏和拖手势(例如，导航手势)。具体地，用户的手臂在图7K中根据箭头760以水平平移方式移动。图7K还示出了(响应于捏和拖手势)更新为焦点在表情菜单752中根据箭头758从表情754-1(在图7J中)移动到表情754-2(例如，在表情响应选项中向右滚动)的场景702。在一些实施例中，可以用捏和拖手势来替代捏和转手势(反之亦然)。例如，***(以相同方式)对这两个导航手势作出响应。在一些实施例中，每个捏和转手势被捏和拖手势所替代。在一些实施例中，每个捏和拖手势被捏和转手势所替代。
图7L示出了用户115已经停止维持(释放了)图7K中所示的捏和拖手势。如图7L所示，释放捏和拖手势选择所聚焦的表情(例如，图7K中的表情754-2)。如图7L所示，响应于消息732-3(如表情762所示)，根据在表情754-2具有焦点的同时用户释放捏和拖手势，发送表情754-2。在一些实施例中，表情754-2不是根据捏和拖手势被释放而被选择的(例如，选择表情754-2需要单独的手势或手势阶段，诸如深按压)。在图7L的示例中，腕式可穿戴设备120显示具有表情响应764(对应于表情762)的所聚焦的消息748。
图7M示出了用户115执行涉及用户的食指接触拇指同时用户在第二方向(与图7H中的第一方向相反)上旋转其手腕的捏和转手势765(例如，导航手势)。具体地，用户的手腕在图7M中根据箭头766旋转。图7M还示出了(响应于捏和转手势)更新为根据箭头768滚动消息传递用户界面730(例如，向上滚动来自各种人的消息)的场景702，使得消息732-1具有焦点。
图7N示出了用户115已经停止维持(释放了)图7M中所示的捏和转手势765。如图7N所示，释放捏和转手势不会激活所聚焦的消息732-1。在图7N的示例中，腕式可穿戴设备120包括对消息传递应用中的消息770(例如，对应于所聚焦的消息732-1)的聚焦。
图7O示出了用户115执行涉及用户的食指接触拇指的捏合手势771。图7O还示出了(响应于捏合手势771)更新为显示具有消息774-1和774-2的消息传递用户界面772(例如，对应于激活图7N中的消息732-1)的场景702。例如，消息774是用户115与姓名为玛丽(Mary)的人之间的消息。在一些实施例中，根据一个或多个捏合手势771激活与消息732-1相关联的功能，该捏合手势771具有一个或多个与捏和转手势和图7J中的捏合手势750不同的一个或多个特性。例如，捏合手势771具有大于预设力阈值的关联力(例如，深按压)，并且捏合手势750具有小于该预设力阈值的关联力(例如，轻按压)。
图7P示出了用户115执行涉及用户在第一方向上水平地平移其手臂同时维持捏合手势771的捏和拖手势(例如，导航手势)。具体地，用户的手臂在图7P中根据箭头776以水平平移方式移动。图7P还示出了(响应于捏和拖手势)更新为将焦点移动到快速响应菜单778中的快速响应选项780-3(例如，向右滚动浏览各快速响应选项)的场景702。
图7Q示出了用户115已经停止维持(释放了)图7P中所示的捏和拖手势。如图7Q所示，释放捏和拖手势选择所聚焦的快速响应选项(例如，图7P中的快速响应选项780-3)。如图7Q所示，响应于消息774-2，根据在快速响应选项780-3具有焦点的同时用户释放捏和拖手势，发送快速响应782。在一些实施例中，快速响应选项780-3不是根据捏和拖手势被释放而被选择的(例如，选择快速响应选项780-3需要单独的手势或手势阶段，诸如深按压)。在图7Q的示例中，腕式可穿戴设备120显示与快速响应782对应的所聚焦的消息784。
图7R示出了用户115执行涉及用户的中指接触拇指的捏合手势790。图7R还示出了(响应于捏合手势790)更新为显示具有消息791(例如，对应于快速响应782)和消息732-2的消息传递用户界面730(例如，对应于‘退出’和/或‘返回’命令)的场景702。
图7S示出了用户115执行涉及用户的中指接触拇指的捏合手势794(例如，对应于‘退出’和/或‘返回’命令)。图7S还示出了包括与不同应用对应的多个用户界面元素(图标)的菜单704，这些用户界面元素包括消息传递应用的用户界面元素706-4。在图7S的示例中，腕式可穿戴设备120包括对消息传递应用的用户界面元素710-4的显示。
虽然前面关于一系列图1A至图7S所描述的用户场景描述了由腕式可穿戴设备120以及头部可穿戴设备110和202执行操作，但在一些实施例中，所述操作的至少一个子集由与这些可穿戴设备通信的中间设备(诸如智能手机或个人计算机)来执行。例如，对用户移动的检测可以在可穿戴设备处发生，但对移动的解释(例如，识别与该移动对应的手势)可选地在中间设备处发生。在一些实施例中，腕式可穿戴设备120以及头部可穿戴设备110和202经由中间设备彼此通信(例如，腕式可穿戴设备120以及头部可穿戴设备110和202各自通信地耦接到中间设备，并且中间设备管理设备之间的交互)。
在一些实施例中，来自多个设备上的传感器的数据被组合(例如，在中间设备处)以检测空中手势。例如，来自头部可穿戴设备(例如，头部可穿戴设备202)的一个或多个光学传感器的数据可以与来自腕式穿戴式设备(例如，腕式可穿戴设备120)的EMG(Electromyography，肌电图)数据和/或IMU(Inertial Measurement Unit，惯性测量单元)数据组合，以识别与用户界面的第一滚动条而不是显示在不同位置处的第二滚动条对应的位置处的滑动手势。
此外，虽然关于一系列图1A至图7S描述的用户场景被描述为单独的序列，但在一些实施例中，这些用户场景彼此组合。例如，关于图2A至图2C描述的序列可以出现在关于图3A至图3D、图4A至图4D和图7A至图7S描述的序列之前(或之后)(例如，四个序列全部都可以在用户115晨间散步时发生)。
关于一系列图1A至图7S描述的用户场景涉及特定菜单和应用，诸如图1A中的放射式菜单131和图6A中的消息传递应用。然而，这些序列、手势、动作和操作可以与其它类型的菜单和应用(诸如网页浏览、笔记、社交媒体、文字处理、数据输入、编程等)结合使用。
图8A和图8B是示出根据一些实施例的用于激活用户界面交互的方法800的流程图。方法800在具有一个或多个处理器以及存储器的计算***(例如，可穿戴设备或中间设备)处执行。在一些实施例中，该存储器存储有一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图8A和图8B中所示的操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080或存储器7050)中的指令。在一些实施例中，计算***是可穿戴设备，诸如腕式可穿戴设备120或者头部可穿戴设备110或202。在一些实施例中，计算***是或包括中间设备，诸如智能电话或控制器。
***经由用户穿戴的腕式可穿戴设备(例如，腕式可穿戴设备120)的一个或多个传感器接收(802)从用户执行空中手势产生的数据。例如，该一个或多个传感器包括传感器6021(例如，EMG和/或IMU传感器)。
***根据确定空中手势的第一部分(阶段)是启动手势，来(例如经由一个或多个处理器6079)激活(804)用户界面。在一些实施例中，激活用户界面包括：使用户界面响应控制手势。在一些实施例中，激活用户界面包括：在用户界面上呈现在激活之前未呈现的至少一个元素。例如，如图1B所示，响应于捏合手势呈现选项132。
在一些实施例中，激活用户界面包括：(806)使用户界面响应附加手势。例如，图2B中的捏合手势使界面208响应手腕旋转手势(界面208先前不响应手腕旋转手势)。在一些实施例中，激活用户界面包括：改变腕式可穿戴设备或头部可穿戴设备的操作状态(例如，从显示模式到输入响应模式)。
在一些实施例中，***响应于启动手势而激活(808)腕式可穿戴设备的显示器。在一些实施例中，***响应于启动手势而激活头部可穿戴设备的显示器。在一些实施例中，在接收到启动手势之前，可穿戴设备(例如，腕式可穿戴设备120或头部可穿戴设备202)处于低功率或睡眠状态，并且可穿戴设备响应于启动手势而转换到全功率或唤醒状态。在一些实施例中，在接收到启动手势之前，使显示器变暗或关闭，并且响应于启动手势打开显示器或增加亮度。
在一些实施例中，激活用户界面包括：(810)在用户界面内显示菜单(例如，放射式菜单131)。在一些实施例中，菜单仅在预定时间量内可用(812)(例如，如图5A至图5D中所示)。在一些实施例中，***根据确定在预定时间量内没有检测到控制手势，来停止(814)在用户界面内显示菜单(例如，如先前参考图5D所述)。
***根据确定空中手势的第二部分(阶段)是控制手势，来(例如，经由一个或多个处理器6079)执行(816)与控制手势对应的针对用户界面的命令。例如，响应于图1D中的用户轻击手势(例如，控制手势)，用于相机应用的用户界面140在图1E中被呈现。
在一些实施例中，***基于启动手势和控制手势的组合，来识别(818)针对用户界面的命令。例如，多个命令可以用不同的控制手势来响应同一启动手势。作为另一示例，多个命令可以用不同的启动手势来响应同一控制手势。在这些示例中，启动手势和控制手势的组合被用来确定要执行哪个命令。
在一些实施例中，***接收(820)从用户执行第二空中手势产生的数据；根据确定第二空中手势的第一部分是第二启动手势，来激活用户界面；并且根据确定在预定时间量内没有检测到第二控制手势，来去激活用户界面(例如，如图5A至图5D所示)。在一些实施例中，***仅响应与启动手势对应的控制手势子集，并且根据确定在预定时间量内没有检测到来自该控制手势子集的控制手势，来去激活用户界面。在一些实施例中，该控制手势子集对应于***的操作状态和所执行的启动手势(例如，该控制手势子集基于***上的活动应用)。
图8C和图8D是示出根据一些实施例的用于激活用户界面交互的方法850的流程图。方法850在具有一个或多个处理器以及存储器的计算***(例如，可穿戴设备或中间设备)处执行。在一些实施例中，该存储器存储有一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图8C和图8D中所示的操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080或存储器7050)中的指令。在一些实施例中，计算***是可穿戴设备，诸如腕式可穿戴设备120或者头部可穿戴设备110或202。在一些实施例中，计算***是或包括中间设备，诸如智能电话。
***接收(852)从用户执行手势产生的数据。例如，***经由一个或多个传感器(例如，传感器6021)接收数据。在一些实施例中，***从一个或多个可穿戴设备(例如，腕式可穿戴设备120和/或头部可穿戴设备110或202)接收数据。
***确定(854)手势的第一部分是否是启动手势。例如，可穿戴设备(或中间设备)的一个或多个处理器6079分析数据，并确定手势是否是或包括启动手势。在一些实施例中，在确定手势的第一部分是启动手势之前，***处于低功率或睡眠状态，并且仅响应启动手势(例如，不响应控制手势或导航手势)。
根据确定手势的第一部分是启动手势，***激活(856)用户界面。在一些实施例中，激活用户界面包括以下项中的一项或多项：使用户界面响应更多手势/命令；将用户界面更新为包括先前未示出的一个或多个元素；以及增加用户界面的亮度、不透明度和/或大小。
根据确定手势的第一部分不是启动手势，***放弃激活用户界面(例如，返回到仅响应启动手势的状态)。
***确定(860)是否在预设时间量内检测到了手势的第二部分。例如，***响应于识别到启动手势而启动定时器(例如，5秒、15秒或30秒)。
根据确定在预设时间量内没有检测到手势的第二部分，***去激活(858)用户界面(例如，并且返回到响应启动手势的状态)。例如，***(和用户界面)返回到其在接收从用户执行手势生成的数据之前所处的状态。
根据确定在预设时间量内检测到手势的第二部分，***确定(862)手势的第二部分是否是控制手势。在一些实施例中，***确定第二部分是否是与第一部分相同的多阶段手势的一部分(例如，第二部分是否是给定启动手势的情况下的多阶段手势的有效第二阶段)。
根据确定手势的第二部分是控制手势，***执行(864)与控制手势对应的针对用户界面的命令。在一些实施例中，***基于启动手势和控制手势两者来识别命令。在一些实施例中，***基于包括启动手势和控制手势的多阶段手势的各阶段的组合来识别命令。在一些实施例中，***在执行命令之后去激活(858)用户界面。在一些实施例中，***根据该命令更新用户界面。
根据确定手势的第二部分不是控制手势，***去激活(858)用户界面(例如，并且返回到响应启动手势的状态)。
在一些实施例中，基于感测到的神经肌肉信号(例如，使用神经肌肉信号传感器(诸如腕式可穿戴设备的EMG感测电极)感测到的神经肌肉信号)而检测到的一组特定手势与相应动作(例如，可以在与神经肌肉信号传感器可位于的腕式可穿戴设备相同或不同的设备处执行的动作)相关联。在一个示例中，至少七个不同的手势各自与不同的相应动作相关联，具体地，(i)双食指轻击(例如，用户的拇指和食指进行两次接触的空中手势)与第一动作(例如，拍照)相关联；(ii)食指按压和保持(例如，用户的拇指和食指进行接触并且然后维持该接触至少15秒的空中手势)与第二动作(例如，开始或停止视频)相关联；(iii)双中指捏合(例如，用户的拇指与用户的中指进行两次接触的空中手势)与第三动作(例如，播放或暂停音乐)相关联；(iv)向上方向上的拇指滑动(例如，用户的拇指在向上方向上远离用户的身体经过用户食指的一部分的空中手势)与第四动作(例如，增加音量)相关联；(v)向下方向上的拇指滑动(例如，用户的拇指在向下方向上朝用户的身体移动经过用户食指的一部分的空中手势)与第五动作(例如，减小音量)相关联；(vi)向左方向上的拇指滑动(例如，用户的拇指在右到左方向上移动经过用户食指的一部分的空中手势)与第六动作相关联(例如，切换到先前播放的歌曲，或者切换到先前内容项，诸如先前观看的网页或照片)；以及(vii)向右方向上的拇指滑动(例如，用户的拇指在左到右方向上移动经过用户食指的一部分的空中手势)与第七动作(例如，切换到下一首歌曲，或者切换到下一内容项，诸如下一网页或照片)相关联。该示例手势空间还可以仅在接收到唤醒手势之后才可用，并且可以使用除了神经肌肉信号传感器之外的传感器(诸如使用来自惯性测量单元(IMU)的传感器)来检测该唤醒手势。通常，基于IMU的传感器可能不怎么耗电，并且因此，直到接收到基于IMU的唤醒手势之后对EMG手势空间进行选通可能有助于确保设备有效利用有限的电力和计算资源。
如本领域技术人员将理解的，方法800的各方面可以与方法850的各方面组合和/或用方法850的各方面替代。例如，方法800可以在方法850之前(或之后)执行。方法800可以包括方法850的操作，例如，来自方法800的操作可以在操作862之后执行。作为另一示例，可以用操作854替代操作804。
图9A至图9E示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图9A中的用户115穿戴着头部可穿戴设备110(例如，虚拟现实头戴式视图器)和腕式可穿戴设备120(例如，智能手表)。在图9A中，用户115正在经由头部可穿戴设备110观看场景130，并且用户115没有执行手势。
在图9B中，用户115正在使用用户的食指接触拇指来执行启动手势(例如，捏合手势)。图9B还示出了已经响应于捏合手势而更新的场景130。图9B中的场景130包括用户界面1220(例如，用户115可以滚动浏览的数字列表)。用户界面1220包括一个或多个数字和突显当前所选择数字(数字15)的焦点1222。在一些实施例中，焦点1222响应于检测到启动手势而出现在先前选择的数字上。在一些实施例中，焦点1222出现在数字列表的开始处(例如，最左边的数字)。在一些实施例中，在用户115执行一个或多个手势时，焦点1222根据所执行的手势(例如，在图9B至图9E中进一步描述)移动。在一些实施例中，焦点1222是光标。在一些实施例中，用户界面1220在启动手势被维持的同时显示。在一些实施例中，在执行启动手势之后，用户界面1220被显示预定时间量。在一些实施例中，焦点1222在启动手势被维持的同时显示(并且可操作)。在一些实施例中，在执行启动手势之后，焦点1222被显示(并且可操作)预定时间量。在一些实施例中，在执行启动手势之后的第一预定时间量后，焦点1222停止可操作和/或显示。在一些实施例中，在执行启动手势之后的第二预定时间量后，用户界面1220停止被显示。在一些实施例中，第二预定时间量比第一预定时间量更长。
图9B还示出了示出导航手势的平移距离与焦点1222的导航速度之间的关系的曲线图1290。图9B中的曲线图1290对应于第一时间点(例如，用户115已执行导航手势之前的时间点)，并且指示符1292指示导航速度为零(例如，在第一时间点没有导航发生)。在一些实施例中，焦点1222的导航速度对应于导航手势从初始起的平移距离。在一些实施例中，导航速度与平移距离之间的关系是线性关系，如虚线1291所示。在一些实施例中，用户115的手在启动手势被执行时的位置被设置为初始位置(例如，用于与后续导航手势一起使用)。
图9C示出了用户115执行导航手势(例如，作为水平平移的拖手势，其也在图7K中进行了示出和描述)。在图9C的示例中，在导航手势期间维持启动手势(例如，捏合手势)。图9C还示出了更新为通过以第一速度滚动浏览用户界面1220并将焦点1222从数字“15”移动到数字“19”来响应导航手势的场景130。在一些实施例中，平移的距离对应于导航的速度，如图9C中的曲线图1290所示。在一些实施例中，导航速度基于一个或多个设置(例如，由用户115设置或由***设置为默认)。例如，用户115可以调整用于调整虚线1291的斜率的设置。
图9C中的曲线图1290示出了焦点1222在第二时间点的导航速度，如指示符1292所示。根据一些实施例，焦点1222的导航速度基于导航手势的平移距离。指示符1292示出了，用户115已经将其手平移了第一距离并且正在以对应的第一速度滚动浏览用户界面元素。例如，随着用户115将其手平移得更远，用户界面元素能够更快地滚动，并且如果用户115在与初始距离相距一设置的距离处保持其手，则焦点1222将以基于该设置的距离的恒定速度来滚动。
图9D示出了用户115释放捏合手势(例如，启动手势)并将其手返回到初始开始位置。在一些实施例中，捏合手势的释放引起导航手势结束，并且返回到初始位置的后续移动不会引起用户界面1220的导航。在一些实施例中，如图9D中的曲线图1290所示，在没有启动手势的情况下，***不检测和/或响应导航手势。因此，在图9D中，***不响应用户115在释放捏合手势之后移动其手。在一些实施例中，用户115执行附加的启动手势和后续的导航手势，以恢复滚动浏览用户界面1220。例如，用户115可以继续执行图9B和图9C中所示的动作，以继续滚动浏览用户界面1220。
图9E示出了用户115在第三时间点执行启动手势(例如，捏合手势)和后续的导航手势(例如，其手的附加水平平移)。在图9E的示例中，用户115正在将其手平移比图9C中所示的先前平移更远的距离。图9E中的曲线图1290示出了焦点1222在第三时间点的导航速度，如指示符1292的位置所示。图9E还示出了焦点1222根据后续的导航手势从数字19(在图9D中)移动到数字40。在一些实施例中，焦点1222的导航速度基于平移的距离。在一些实施例中，焦点1222的导航速度与平移的速度无关。在一些实施例中，浏览用户界面1220的导航距离基于导航手势的距离、速度和/或持续时间。图9E中的指示符1292指示，用户115将其手平移了第二距离并且正在以对应的第二速度滚动浏览用户界面1220。在一些实施例中，随着用户115继续将其手平移得更远，导航的速度增加。
图9A至图9E示出了用户水平地导航的示例。在一些实施例中，用户使用图9A至图9E中示出和描述的手势竖直地导航。在一些实施例中，手势平移是水平的和/或竖直的。图9A至图9E示出了用户在特定方向上平移其手臂的示例。在一些实施例中，用户以与图9A至图9E中示出和描述的方式类似的方式通过平移其手而不是其手臂(例如，与用户的手腕的弯曲相关联的平移)来导航。在一些实施例中，用户能够通过沿着两个不同的轴平移其手和/或手臂来导航二维用户界面。在一些实施例中，用户通过旋转其手腕来导航(例如，如图10A至图10H所示)。在一些实施例中，导航包括控制光标在用户界面上的元素(例如，图标)之间的移动。在一些实施例中，导航包括将焦点从一个元素移动到另一元素(例如，不将焦点移动到不对应于元素的位置)。
图10A示出了用户115执行捏合并保持手势以执行启动手势并为后续的手势分配初始位置θ。在图10A的示例中，焦点1222在用户界面1220的数字40上(例如，作为图9A至图9E的序列的结果)。如图9A至图9E所示，在维持启动手势的同时，在场景130中显示用户界面1220。图10A还示出了曲线图1394，曲线图1394示出了在第一时间点(例如，在用户115已经执行导航手势之前)滚动的速度与用户的手势相对于所分配的初始位置的位置的关系。例如，图10A示出了用户的手势仍然维持在初始位置，并且因此没有发生滚动。图10A中的指示符1396表示手势仍处于初始位置θ，并且因此滚动速度为零。在图10A至图10H的示例中，导航速度与手位置之间的关系是具有第一阈值T1和第二阈值T2处的阶跃的阶跃函数。在一些实施例中，第一阈值和第二阈值是均匀间隔的(例如，阶跃具有相同的大小)。在一些实施例中，第一阈值和第二阈值不是均匀间隔的(例如，阈值具有不同的大小)。在一些实施例中，当导航手势离开初始位置(例如，非零速度对应于初始位置与第一阈值T1之间的距离)时，焦点1222开始移动。
在一些实施例中，阶跃函数包含死区(在该死区内，不会出现滚动)，使得在手位置在死区内时焦点1222不移动。例如，在初始位置θ与第一阈值T1之间可能存在第三阈值T0。在该示例中，与初始位置相距小于第三阈值T0的距离(例如，手腕旋转距离或手平移距离)的导航手势不会引起焦点1222的移动。
图10B示出了用户115在维持来自图10A的捏合手势的同时在第一方向上将其手腕旋转经过初始位置θ(例如，导航手势)。在一些实施例中，在用户将其手腕旋转经过初始位置θ时，焦点1222以与初始位置θ和第一阈值T1之间的阶跃对应的第一速度(例如，最大速度的25％)滚动通过用户界面1220中的数字。图10B还示出了焦点1222根据导航手势(手腕旋转)从数字40(在图10A中)移动到数字44。在图10B的示例中，显示了滚动速度用户界面元素1326。在一些实施例中，响应于检测到导航手势，显示滚动速度用户界面元素1326。在一些实施例中，响应于检测到启动手势，显示滚动速度用户界面元素1326。在一些实施例中，根据对应设置被启用来显示滚动速度用户界面元素1326(例如，用户115可以设置对滚动速度用户界面元素1326的切换显示的偏好)。在一些实施例中，滚动速度用户界面元素1326被显示在场景130中的一不同位置(例如，场景130的顶部或侧面)。在一些实施例中，滚动速度用户界面元素1326的位置是基于用户偏好和/或设备设置(例如，通过头部可穿戴设备110的活动应用或功能而设置的设备设置)。
滚动速度用户界面元素1326提供向用户115指示其当前的导航(滚动)速度的视觉指示符1328和数字指示符1330。在一些实施例中，滚动速度用户界面元素1326包括不同类型的速度指示(例如，原始速度数字和/或颜色指示符)。在一些实施例中，在用户顺时针将其手旋转经过初始位置θ时，焦点1222从左向右移动经过用户界面1220中的数字。此外，在用户115通过从初始位置θ在第一方向上(例如，顺时针)旋转其手来滚动浏览用户界面1220中的数字时，数字的值增加。在一些实施例中，在用户115从初始位置θ在第二方向上(例如，逆时针)旋转其手时，焦点1222从左向右移动经过用户界面1220中的数字。图10B中的曲线图1394示出了在第二时间点导航速度与手腕旋转角度的关系。例如，如图10B所示，用户115已经将其手腕旋转经过初始位置θ，但没有经过第一阈值T1。因此，用户115正在以图10B中的第一速度(S1)滚动浏览用户界面1220中的数字。
图10C示出了用户115将其手腕在第二方向上旋转回到初始位置θ，同时维持来自图10B的捏合手势。在一些实施例中，当用户将其手腕旋转回到初始位置θ时，导航速度返回到零(例如，导航手势结束)。图10C还示出了焦点1222根据导航手势(例如，手腕旋转)从数字44(在图10B中)移动到数字46。例如，随着用户115将其手腕朝初始位置θ旋转，焦点1222继续向右移动，并且一旦用户115将其手腕返回到初始位置θ，焦点1222就停止移动。如图10C所示，用户115手腕的相对位置确定焦点1222的移动方向。例如，当相对位置为初始位置的顺时针时，用户115手腕的移动方向(逆时针，返回到图10C中的初始位置)不改变焦点1222的移动方向。在一些实施例中，手腕远离初始位置θ的后续旋转(同时维持捏合手势)对应于导航手势的继续或新导航手势的开始。曲线图1394上的指示符1396示出了，在第三时间点，用户115已经将其手腕返回到初始位置θ并且滚动速度已经降到零。因此，在图10C中，滚动速度用户界面元素1326上的视觉指示符1328和数字指示符1330指示导航速度为零。
图10D示出了在第四时间点，用户115将其手腕在第二方向上旋转经过第三阈值(表示为-T1)，同时维持来自图10B的捏合手势。在一些实施例中，随着导航手势经过第三阈值-T1，焦点1222以比第一速度更快的第二速度(表示为S2)导航(例如，滚动通过数字)。在一些实施例中，第三阈值-T1与第一阈值T1在相反方向上(例如，逆时针旋转而不是顺时针旋转)对应于相同距离。在一些实施例中，第三阈值-T1与第一阈值T1对应于不同距离。图10D中的速度S2在第二方向上(例如，与图10B中的速度S1相比具有负角速度)。图10D还示出了焦点1222根据导航手势(例如，逆时针手腕旋转)从数字46(在图10C中)移动到数字25。图10D中的曲线图1394上的指示符1396指示用户115的手腕的旋转位置在第三阈值-T1与第四阈值(表示为-T2)之间，并且焦点1222的导航速度对应于逆时针方向上的第二阶跃。此外，数字指示符1330和视觉指示符1328已经更新为指示导航速度为向左方向上的最大速度的75％。
图10E示出了用户115将其手腕在第一方向上旋转回到初始位置θ(例如，类似于图10C)，同时维持来自图10B的捏合手势。在一些实施例中，当用户将其手腕旋转回到初始位置θ时，导航速度返回到零(例如，导航手势结束)。图10E还示出了焦点1222根据导航手势(例如，手腕旋转)从数字25(在图10D中)移动到数字23。例如，随着用户115将其手腕朝初始位置θ旋转，焦点1222继续向左移动，并且一旦用户115将其手腕返回到初始位置θ，焦点1222就停止移动。如图10E所示，用户115手腕的相对位置确定焦点1222的移动方向。例如，当相对位置是初始位置的顺时针时，用户115手腕的移动方向(顺时针，返回到图10E中的初始位置)不改变焦点1222的移动方向。
在一些实施例中，手腕远离初始位置θ的后续旋转(同时维持捏合手势)对应于导航手势的继续或新导航手势的开始。曲线图1394上的指示符1396示出了，在第五时间点，用户115已将其手腕返回到初始位置θ并且滚动速度已经降到零。因此，在图10E中，滚动速度用户界面元素1326上的视觉指示符1328和数字指示符1330指示导航速度为零。
图10F示出了在第六时间，用户115将其手腕在第一方向上旋转经过第二阈值T2，同时维持来自图10B的捏合手势。在一些实施例中，随着导航手势经过第二阈值T2，焦点1222以比第一速度(图10B中所示)更快且比第二速度S2更快的第三速度(表示为S3)导航(例如，滚动通过数字)。图10F中的速度S3在第一方向上(例如，与图10D中的速度S2相比具有负角速度)。图10E还示出了焦点1222根据导航手势(例如，顺时针手腕旋转)从数字23(在图10E中)移动到数字52。图10F中的曲线图1394上的指示符1396指示，用户115的手腕的旋转位置超过第二阈值T2，并且焦点1222的导航速度对应于顺时针方向上的第二阶跃。在一些实施例中，第二速度是最大滚动速度。例如，如果用户继续在第一方向上旋转其手腕，则导航(滚动)速度不会超过第二速度。在一些实施例中，根据用户115以最大速度滚动，显示用户界面元素1332，例如，在视觉上向用户115指示显示界面元素已经达到最大速度。在一些实施例中，除了提供用户界面元素1332之外或作为提供用户界面元素1332的替代，向用户115提供其它反馈(例如，触觉或听觉反馈)。此外，数字指示符1330和视觉指示符1328已经更新为指示导航速度是向右方向上的最大速度的100％。
图10G示出了在第七时间，用户115将其手腕在第二方向上旋转回到初始位置θ，同时维持来自图10B的捏合手势。在一些实施例中，当用户将其手腕旋转回到初始位置θ时，导航速度返回到零(例如，导航手势结束)。图10G还示出了焦点1222根据导航手势(例如，手腕旋转)从数字52(在图10F中)移动到数字56。例如，随着用户115将其手腕朝初始位置θ旋转，焦点1222继续向右移动，并且一旦用户115将其手腕返回到初始位置θ，焦点1222就停止移动。如图10G所示，用户115手腕的相对位置确定焦点1222的移动方向。例如，当相对位置是初始位置的顺时针时，用户115手腕的移动方向(逆时针，返回到图10G中的初始位置)不改变焦点1222的移动方向。在一些实施例中，手腕远离初始位置θ的后续旋转(同时维持捏合手势)对应于导航手势的继续或新导航手势的开始。曲线图1394上的指示符1396示出了在第七时间点，用户115已经将其手腕返回到初始位置θ，并且滚动速度已经降到零。因此，在图10G中，滚动速度用户界面元素1326上的视觉指示符1328和数字指示符1330指示导航速度为零。
图10H示出了用户115将其手腕在第二方向上旋转经过第二方向上的第三阈值-T1，同时维持来自图10B的捏合手势。在一些实施例中，随着导航手势经过第三阈值-T1，焦点1222以比第一速度更快的第二速度(表示为S2)导航(例如，滚动通过数字)。图10H中的速度S2在第二方向上(例如，与图10F中的速度S3相比具有负角速度)。图10H还示出了焦点1222根据导航手势(例如，逆时针手腕旋转)从数字56(在图10G中)移动到数字47。图10H中的曲线图1394上的指示符1396指示，用户115手腕的旋转位置在第三阈值-T1与第四阈值-T2之间，并且焦点1222的导航速度对应于逆时针方向上的第二阶跃。此外，数字指示符1330和视觉指示符1328已经更新为指示导航速度是向左方向上的最大速度的75％。在一些实施例中，响应于用户115将其手腕在第二方向上旋转经过第二方向上的第四阈值-T2，实现了第二方向上的最大导航速度(例如，对应于S3)。
图10A至图10H示出了用户水平地导航的示例。在一些实施例中，用户使用图10A至图10H中示出和描述的手势来竖直地导航。在一些实施例中，导航包括：控制光标在用户界面上的元素(例如，图标)之间的移动。在一些实施例中，导航包括：将焦点从一个元素移动到另一元素(例如，不将焦点移动到不对应于元素的位置)。
图11A至图11C示出了根据一些实施例的表示导航速度与手势距离之间的示例关系的曲线图。每个曲线图示出了导航速度与手势距离之间的关系(例如，表示***可以使用的不同函数)。在一些实施例中，不同函数可通过活动应用和/或***功能来选择。例如，第一应用可以选择线性函数，而第二应用可以选择阶跃函数。
图11A示出了导航速度与从初始位置(例如，由启动手势设置的初始位置)起的手势距离之间的线性函数。图11A中的线性函数以每个方向上的最大速度为界。例如，用户将其手或手臂在第一方向上(例如，向用户的右侧)平移距离DMAX，并且作为响应，焦点在第一导航方向上(例如，朝显示器的右侧)以对应的最大速度移动。作为另一示例，用户在第二方向上(例如，逆时针)将其手腕旋转距离-DMAX，并且作为响应，焦点在第二导航方向上(例如，朝显示器的底部)以对应的最大速度移动。在一些实施例中，线性函数是无界的。应用线性函数允许用户115以与其移动成比例的速度滚动浏览用户界面元素。例如，随着用户115增加其手腕的旋转，导航速度成比例地增大(或减小)。使用线性函数可以提供流畅且响应迅速的滚动体验。例如，用户115能够以类似于在摩托车上使用油门(例如，调高油门以提高摩托车的速度，以及调低油门以降低速度)的方式快速加速和减速。
图11B示出了导航速度与手势距离之间的阶跃函数。在一些实施例中，例如图10A至图10H中所示，沿着手势距离存在一个或多个阈值(例如，阶跃)，并且每个阈值与导航速度的增大(或减小)相关联。在一些实施例中，初始位置与第一阈值之间的距离用作死区(例如，如图11B所示)，在该死区中，导航速度保持在零。例如，对于开始导航浏览用户界面元素的用户115，用户手势在任何导航移动发生之前经过第一阈值。包括死区可以通过防止无意的移动导致无意的导航而使用户115受益。通过提供恒定的滚动同时要求用户较低的精度(例如，即使用户具有小的无意的移动，也恒定的滚动)，与图11B中所示的阶跃函数类似的阶跃函数可以是有益的。在一些实施例中，阶跃函数在两个方向上是对称的(例如，当用户115在第一方向或第二方向上旋转其手腕时，用户接收方向不同的类似结果)。在一些实施例中，阶跃函数的各阶跃相等。在一些实施例中，阶跃函数包括大小不同于其它阶跃(例如，对应于距离的较大改变和/或速度的较大改变)的一个或多个阶跃。在一些实施例中，阶跃函数包含取决于应用或用户偏好的不同值。例如，用户115可能想要在一个方向上快速滚动并且在沿相反方向滚动时具有更精细的调试(例如，以便更快且更精确地选择特定元素)。在一些实施例中，第一阈值与第二阈值之间的阶跃对应于更精细的调试移动，并且在第二阈值之后的阶跃对应于更快的滚动。例如，用户115可以旋转经过第二阈值以滚动浏览文件的多个页面，然后在第一阈值与第二阈值之间旋转以选择特定页面上的特定元素。
图11C示出了导航速度与手势距离之间的三次函数。图11C中的三次函数包括死区，并且该三次函数以每个方向上的最大速度为界。例如，用户将其手或手臂在第一方向上(例如，向用户的右侧)平移距离DMIN，并且作为响应，焦点在第一导航方向上(例如，朝显示器的右侧)以对应的最小速度移动。随着用户继续将其手或手臂在第一方向上朝DMAX平移，焦点的速度呈三次增大，直到在DMAX距离处达到最大速度为止。在一些实施例中，线性函数是无界的。在一些实施例中，三次函数不包括死区。图11C中所示的三次函数可能会使想要快速导航的用户受益，而不是使想要大手势距离的用户受益。
图11A至图11C中所示的函数是可由***用于导航的函数的示例。在一些实施例中，使用了其它函数(例如，二次函数或指数函数)。在一些实施例中，函数包括图11A至图11C中所示的函数的组合(例如，在初始位置与第一阈值距离之间是线性的并且在第一阈值与第二阈值之间是三次函数)。
图12A至图12D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图12A中的用户115穿戴着头部可穿戴设备110(例如，虚拟现实头戴式视图器)和腕式可穿戴设备120(例如，智能手表)。图12A中的用户115正在经由头部可穿戴设备110观看场景130，并且在图12A中，用户115没有执行手势。根据一些实施例，在场景130中显示(例如，在用户115执行启动手势之前显示)用户界面1220。在一些实施例中，根据在头部可穿戴设备110上激活第一应用，来显示用户界面1220。
图12B示出了用户115使用用户的食指接触拇指来执行启动手势(例如，捏合手势)。图12B还示出了响应于捏合手势而更新为包括焦点1522的显示(例如，数字15的突显，以指示数字15是激活的/被选择的元素)的场景130。在一些实施例中，基于先前手势(例如，引起数字15被给予焦点的先前导航手势)给予数字15焦点。在一些实施例中，根据一个或多个***设置，给予数字15焦点。例如，***可以被配置为响应于检测到启动手势而给予最左侧元素焦点。
图12B还示出了曲线图1590和曲线图1594，曲线图1590示出了手势平移距离与导航速度之间的线性关系(例如，对应于第二类型的导航手势)，曲线图1594示出了手势手腕旋转距离与导航速度之间的阶跃函数关系(例如，对应于第一类型的导航手势)。在图12B的示例中，指示符1592指示用户115在第一时间点没有从初始平移位置平移其手/手臂，并且指示符1596指示用户在第一时间点没有从初始旋转位置旋转其手腕。
图12C示出了用户115通过旋转其手腕来执行导航手势(例如，执行第一类型的导航手势)。在图12C的示例中，用户沿顺时针方向旋转了其手腕。图12C示出了焦点1522响应于用户115执行导航手势而从图12B中的数字15移动到数字19。此外，焦点1522的视觉外观已经在图12C中更新，以指示导航方向(例如，右侧比左侧更粗，以指示向右侧导航)。例如，焦点1522包括更粗的白色边框以指示用户115正在导航的方向。在一些实施例中，焦点1522的视觉外观是基于导航方向和/或导航速度。在一些实施例中，焦点的在与导航的方向相同的相应侧上的边缘在视觉上不同于该焦点的其它边缘。图12C示出了用户115在第一阈值与第二阈值之间(例如，对应于速度S1)旋转其手腕。在图12C中，分配给手腕旋转导航手势的导航速度是最大导航速度的25％。在一些实施例中，不显示用户界面元素1326和/或数字指示符1330(例如，焦点视觉外观(而不是用户界面元素1326和/或数字指示符1330)被用于指示导航速度)。在一些实施例中，***响应用户115执行其它类型的导航手势(例如，如图12D所示)。
图12C中的曲线图1594示出了在第二时间点、旋转导航手势的距离和在用户界面1220中的导航速度。图12C中的指示符1596指示，用户115已经将其手腕旋转至第一阈值与第二阈值之间。图12C中的曲线图1590指示平移距离为零(例如，用户尚未执行基于平移的导航手势)。
图12D示出了用户115通过将其手平移第一距离来执行导航手势(例如，执行第二类型的导航手势)。图12D示出了焦点1522响应于用户115执行基于平移的导航手势而从图12C中的数字19移动到数字10。此外，焦点1522的视觉外观已在图12D中更新，以指示导航方向(例如，左侧比右侧更厚，以指示向左侧导航)。图12D示出了对应于速度S4(例如，最大基于平移的导航速度的80％)的平移距离。在图12D中，分配给基于平移的导航手势的导航速度是最大(基于平移的)导航速度的80％。图12D中的曲线图1594示出了在第三时间点、旋转导航手势的距离和对应的导航速度(例如，零)。图12D中的指示符1596指示，用户115已经将其手腕返回到初始位置并且因此对应的导航速度为零。图12D中的曲线图1590中的指示符1592指示平移距离对应于速度S4。
因此，图12A至图12D示出了用户115使用不同类型的导航手势来移动用户界面1220内的焦点1522的示例。在一些实施例中，导航速度和/或导航加速度对于不同类型的导航手势是不同的。例如，基于平移的导航手势被用于在文件中的页面之间导航，并且旋转导航手势被用于在文件中的句子之间导航。在一些实施例中，用于设置距离与导航速度之间的关系的函数对于不同类型的导航手势是不同的(例如，阶跃函数被用于一种类型的手势，并且线性函数或三次函数被用于另一种类型的手势)。在一些实施例中，使用第一类型的导航手势来沿着第一轴导航，并且使用第二类型的导航手势来沿着第二轴导航。
图13是示出了根据一些实施例的用于使用多阶段空中手势进行用户界面交互的方法1600的流程图。方法1600在具有一个或多个处理器以及存储器的计算***(例如，可穿戴设备、移动设备和/或中间设备)处执行。在一些实施例中，存储器存储有一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图13中所示的操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080和/或存储器7050)中的指令。在一些实施例中，计算***是或包括可穿戴设备，诸如腕式可穿戴设备120或者头部可穿戴设备110或202。在一些实施例中，计算***是或包括中间设备，诸如智能电话。
***经由用户穿戴的腕式可穿戴设备的一个或多个传感器接收(1602)从用户执行多阶段手势产生的数据。例如，该一个或多个传感器包括传感器6021(例如，EMG和/或IMU传感器)。在一些实施例中，多阶段手势是多阶段空中手势。在一些实施例中，多阶段手势是具有空中分量和表面上分量的手势。
在一些实施例中，***根据确定多阶段手势的第一阶段是启动手势，识别(1604)用户的身体部位的初始位置。例如，***检测到用户执行捏合并保持手势，并且该捏合并保持手势被指定为启动手势(例如，图9B、图10A和图12B)。在一些实施例中，多种类型的手势被指定为启动手势(例如，基于食指的捏合手势、基于中指的捏合手势、双击手势和/或握拳手势)。在一些实施例中，启动手势是由用户的至少两个指骨执行的维持手势。
在一些实施例中，***根据确定多阶段手势的第二阶段是导航手势，基于在执行导航手势期间身体部位的位置相对于初始位置的改变，来在用户界面中导航(1606)，其中导航速度是基于身体部位的位置改变。例如，当用户将其手腕旋转经过特定阈值或将其手平移特定距离时，用户能够导航浏览用户界面元素，如图9A至图9E、图10A至图10H和图12A至图12D所示。在一些实施例中，基于身体部位的位置的改变在用户界面中导航包括：以第一方式导航。
在一些实施例中，根据确定多阶段空中手势的第一阶段是启动手势，***在用户界面内显示多个可选择的用户界面元素(例如，显示用户界面1220内的数字)和/或向用户提供指示用户可以执行附加手势的反馈(例如，显示命令选项606)。
在一些实施例中，根据确定多阶段空中手势的第三阶段是另一导航手势，***基于在执行该另一导航手势期间身体部位的位置相对于初始位置的改变，以第二方式在用户界面中导航。在一些实施例中，根据确定多阶段空中手势的第四阶段是控制手势，***执行与控制手势对应的针对用户界面的命令。例如，当检测到控制手势时，***执行与具有焦点的用户界面元素对应的功能。在一些实施例中，上述导航手势不同于上述另一导航手势。在一些实施例中，上述导航手势是第一类型的手势(例如，手腕旋转手势)，而上述另一导航手势是第二类型的手势(例如，平移手势)。
在一些实施例中，启动手势是维持手势(例如，捏合并保持手势或者维持握拳手势)。在一些实施例中，响应于启动手势，***激活用户界面；并且根据确定多阶段空中手势的第三阶段包括对维持手势的释放，去激活用户界面。在一些实施例中，***将对维持手势的释放解释为控制手势(例如，激活所选择的用户界面元素的功能)。
在一些实施例中，***：(i)经由腕式可穿戴设备的该一个或多个传感器接收从执行第二多阶段空中手势产生的数据；(ii)根据确定第二多阶段空中手势的第一阶段是另一启动手势，确定用户的身体部位的第二初始位置并激活用户界面；以及(iii)根据确定第二多阶段空中手势的第二阶段是另一导航手势，在执行该另一导航手势期间基于身体部位的位置相对于第二初始位置的改变，来在用户界面中导航，其中，针对该另一导航手势的导航速度是基于身体部位的位置相对于第二初始位置的改变。
在一些实施例中，导航手势包括用户的手从初始位置平移到第二位置。在一些实施例中，在用户界面中的导航速度与用户将其手从初始位置平移到第二位置的速度和/或距离成比例。在一些实施例中，导航手势包括用户的手腕在第一方向或第二方向上的旋转。在一些实施例中，导航速度与用户手腕的旋转角度成比例。在一些实施例中，导航速度是基于身体部位的位置改变的三次函数。在一些实施例中，导航速度是基于身体部位的位置改变的阶跃函数。在一些实施例中，导航速度是基于身体部位的位置改变的线性函数。
在一些实施例中，在用户界面中导航包括：(i)在检测到导航手势时，根据身体部位的位置改变小于第一阈值，放弃在用户界面中导航；以及(ii)根据身体部位的位置改变大于第一阈值，在用户界面中导航。
在一些实施例中，在用户界面中导航还包括：(i)根据确定身体部位的位置改变大于第一阈值并且小于第二阈值，以第一速度在用户界面中导航；以及(ii)根据确定身体部位的位置改变大于第二阈值，以大于第一速度的第二速度在用户界面中导航。
在一些实施例中，根据确定多阶段空中手势的第二阶段是导航手势，***使得在用户界面中显示导航指示符，其中，导航指示符指示导航速度。
在一些实施例中，根据确定身体部位的位置改变满足一个或多个标准，***停止增大导航速度并向用户提供指示导航速度处于上限的反馈。
在一些实施例中，根据确定多阶段空中手势的第一阶段是启动手势，***使用于检测一个或多个后续多阶段手势的预定时间窗口开始。在一些实施例中，检测到后续手势(例如，导航手势或控制手势)会重置用于检测另一后续手势的预定时间窗口。在一些实施例中，某些类型的后续手势会重置预定时间窗口(例如，导航手势会重置预定时间窗口，但控制手势不会)。
本公开的实施例可以包括各种类型或实施例的人工现实***，或者可以结合各种类型或实施例的人工现实***来实现。如本文中所述的，人工现实(AR)是由人工现实***在用户的物理环境中提供的、任何叠加的功能和/或感官可检测的呈现。此类人工现实可以包括和/或表示虚拟现实(VR)、增强现实、混合人工现实(Mixed Artificial-Reality，MAR)、或者这些的某种组合和/或变型。例如，用户可以执行空中滑动手势，以使得通过这样的歌曲提供API来跳过歌曲：该歌曲提供API在例如家庭扬声器处提供回放。本文中所描述的AR环境包括但不限于：VR环境(包括非沉浸式、半沉浸式和完全沉浸式VR环境)；增强现实环境(包括基于标记的增强现实环境、无标记的增强现实环境、基于位置的增强现实环境、和基于投影的增强现实环境)；混合现实；以及其它类型的混合现实环境。
人工现实内容可以包括完全生成的内容或与捕获的(例如，真实世界)内容结合的生成的内容。人工现实内容可包括视频、音频、触觉事件或其某种组合，这些视频、音频、触觉事件或其某种组合中的任何一种可在单个通道中或在多个通道(诸如对观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与例如用于在人工现实中创建内容和/或以其它方式在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。
如本文中所描述的手势可以包括空中手势、表面接触手势和/或其它手势，这些手势可以基于单手的移动或用户的多个手的组合的移动而被检测到且被确定，单手的移动例如是用户的手执行的单手手势，该单手手势是由可穿戴设备的一个或多个传感器(例如，腕式可穿戴设备的肌电图(EMG)和/或惯性测量单元(IMU))检测到的、和/或是经由由可穿戴设备的成像设备(例如，头部可穿戴设备的相机)捕获的图像数据而检测到的。在一些实施例中，空中表示用户手不接触表面、对象、或电子设备的部分，换言之，手势在3D空间中的开放空间中执行，并且不接触表面、对象或电子设备。更一般地，也考虑了表面接触手势(在表面、对象、用户的身体部位或电子设备处的接触)，在该表面接触手势中，在表面处检测到接触(或接触意图)(例如，在桌子上、在用户的手或另一手指上、在用户的腿、沙发、方向盘等上的单指或双指轻击)。可以使用图像数据和/或传感器数据(例如，由一个或多个生物电势传感器(例如，EMG传感器)感测到的神经肌肉信号或者来自其它传感器(诸如接近传感器、飞行时间传感器、惯性测量单元的传感器等)的其它类型的数据)来检测本文中所公开的不同手势，这些图像数据和/或传感器数据由用户穿戴的可穿戴设备和/或用户拥有的其它电子设备(例如，智能电话、膝上型计算机、成像设备、中间设备和/或本文中所描述的其它设备)来检测。
人工现实***可以以各种不同的外形要素和配置来实现。一些人工现实***包括近眼显示器(NED)，该NED提供对真实世界的可见性(例如，图16A中的增强现实***7000)或使用户在视觉上沉浸在人工现实中(例如，图16B-1中的虚拟现实***7010)。虽然一些人工现实设备是独立式***，但其它人工现实设备与外部设备通信和/或协作以向用户提供人工现实体验。这些外部设备的示例包括手持控制器、移动设备、台式计算机、用户穿戴的设备(例如，图15A中的可穿戴设备6000)、由一个或多个其它用户穿戴的设备、和/或任何其它合适的外部***。
示例***
图14A至图14D-2示出了根据一些实施例的示例AR***。图14A示出了AR***5000a和各第一示例用户交互，其使用腕式可穿戴设备6000、头部可穿戴设备(例如，AR***7000)和/或手持中间处理设备(Handheld Intermediary Processing Device，HIPD)8000。图14B示出了AR***5000b和各第二示例用户交互，其使用腕式可穿戴设备6000、AR***7000和/或HIPD 8000。图14C-1和图14C-2示出了AR***5000c和各第三示例用户交互，其使用腕式可穿戴设备6000、头部可穿戴设备(例如，VR头戴式视图器7010)和/或HIPD 8000。图14D-1和图14D-2示出了第四AR***5000d和各第四示例用户交互，其使用腕式可穿戴设备6000、VR头戴式视图器7010和/或设备9000(例如，可穿戴触觉手套)。以上示例AR***(在下面详细描述)可以执行以上参考图1A至图13描述的各种功能和/或操作。
下面参考图15A和图15B描述了腕式可穿戴设备6000及其部件；下面参考图16A至图16C描述了头部可穿戴设备及其部件；并且下面参考图17A和图17B描述了HIPD 8000及其部件。下面参考图18A至图18C描述了可穿戴手套及其部件。如图14A所示，腕式可穿戴设备6000、头部可穿戴设备和/或HIPD 8000可以经由网络5025(例如，蜂窝、近场、Wi-Fi、个域网或无线局域网(LAN))通信地耦接。此外，腕式可穿戴设备6000、头部可穿戴设备和/或HIPD8000还可以经由网络5025(例如，蜂窝、近场、Wi-Fi、个域网、无线LAN等)与一个或多个服务器5030、计算机5040(例如，膝上型计算机、计算机等)、移动设备5050(例如，智能电话、平板电脑等)和/或其它电子设备通信地耦接。类似地，设备9000也可以经由网络5025与腕式可穿戴设备6000、头部可穿戴设备、HIPD 8000、一个或多个服务器5030、计算机5040、移动设备5050和/或其它电子设备通信地耦接。
转到图14A，用户5002被示出为穿戴着腕式可穿戴设备6000和AR***7000，并将HIPD 8000放在其桌子上。腕式可穿戴设备6000、AR***7000和HIPD 8000促进了用户与AR环境的交互。具体地，如AR***5000a所示，腕式可穿戴设备6000、AR***7000和/或HIPD8000使得呈现一个或多个替身5004、一个或多个联系人的数字表示5006和一个或多个虚拟对象5008。如下所述，用户5002可以经由腕式可穿戴设备6000、AR***7000和/或HIPD 8000与一个或多个替身5004、一个或多个联系人的数字表示5006和一个或多个虚拟对象5008交互。
用户5002可以使用腕式可穿戴设备6000、AR***7000和/或HIPD 8000中的任何设备来提供用户输入。例如，用户5002可以执行一个或多个手势，该一个或多个手势由腕式可穿戴设备6000(例如，使用一个或多个EMG传感器和/或IMU，以下参考图15A和图15B进行描述)和/或AR***7000(例如，使用一个或多个图像传感器或相机，以下参考图16A和图16B-1和图16B-2进行描述)检测，以提供用户输入。可替代地或此外，用户5002可以经由在腕式可穿戴设备6000、AR***7000和/或HIPD 8000中的一个或多个触摸表面、和/或由在腕式可穿戴设备6000、AR***7000和/或HIPD 8000中的传声器捕获的语音命令，来提供用户输入。在一些实施例中，腕式可穿戴设备6000、AR***7000和/或HIPD 8000包括数字助理，以帮助用户提供用户输入(例如，完成操作序列、建议不同的操作或命令、提供提醒、或确认命令)。在一些实施例中，用户5002经由一个或多个面部姿态和/或面部表情提供用户输入。例如，腕式可穿戴设备6000、AR***7000和/或HIPD 8000的相机可以跟踪用户5002的眼睛以导航用户界面。
腕式可穿戴设备6000、AR***7000和/或HIPD 8000可以单独操作或结合操作，以允许用户5002与AR环境交互。在一些实施例中，HIPD 8000被配置为作为如下设备的中央枢纽或控制中心来运行：腕式可穿戴设备6000、AR***7000和/或另一通信耦接的设备。例如，用户5002可以在腕式可穿戴设备6000、AR***7000和/或HIPD 8000中的任何设备处提供输入以与AR环境交互，并且HIPD 8000可以识别一个或多个后端任务和前端任务以使得执行所请求的交互，并且可以分发指令以使得在腕式可穿戴设备6000、AR***7000和/或HIPD8000处执行一个或多个后端任务和前端任务。在一些实施例中，后端任务是用户不可感知的后台处理任务(例如，渲染内容、解压缩或压缩)，并且前端任务是用户可感知的面向用户的任务(例如，向用户呈现信息或向用户提供反馈)。如下面参考图17A和图17B描述的，HIPD8000可以执行后端任务，并向腕式可穿戴设备6000和/或AR***7000提供与所执行的后端任务对应的操作数据，使得腕式可穿戴设备6000和/或AR***7000可以执行前端任务。以此方式，HIPD 8000(其可具有比腕式可穿戴设备6000和/或AR***7000更多的计算资源和更大的热净空(Thermal headroom))执行了计算密集型任务，并且降低了腕式可穿戴设备6000和/或AR***7000的计算机资源利用率和/或电力使用。
在AR***5000a所示的示例中，HIPD 8000识别与如下用户请求相关联的一个或多个后端任务和前端任务：该用户请求用于发起与一个或多个其它用户(由替身5004和联系人的数字表示5006来表示)的AR视频呼叫；并且HIPD 8000分发指令，以使得执行该一个或多个后端任务和前端任务。具体地，HIPD 8000执行用于处理和/或渲染与AR视频呼叫相关联的图像数据(和其它数据)的后端任务，并向AR***7000提供与所执行的后端任务相关联的操作数据，使得AR***7000执行用于呈现AR视频呼叫的前端任务(例如，呈现替身5004和联系人的数字表示5006)。
在一些实施例中，HIPD 8000用作引起信息呈现的焦点或锚点。这允许用户5002通常知道信息呈现在哪里。例如，如AR***5000a所示，替身5004和联系人的数字表示5006被呈现在HIPD 8000之上。具体地，HIPD 8000和AR***7000结合操作以确定用于呈现替身5004和联系人的数字表示5006的位置。在一些实施例中，可以在与HIPD 8000相距预定距离(例如，在5米内)呈现信息。例如，如AR***5000a所示，虚拟对象5008被呈现在桌子上、与HIPD 8000相距一定距离。类似于以上示例，HIPD 8000和AR***7000可以结合操作以确定用于呈现虚拟对象5008的位置。可替代地，在一些实施例中，信息呈现不受HIPD 8000的约束。更具体地，替身5004、联系人的数字表示5006和虚拟对象5008不必在HIPD 8000的预定距离内呈现。
对在腕式可穿戴设备6000、AR***7000和/或HIPD 8000处提供的用户输入进行协调，使得用户可以使用任何设备来启动、继续和/或完成操作。例如，用户5002可以向AR***7000提供用户输入以使AR***7000呈现虚拟对象5008，并且在AR***7000呈现虚拟对象5008时，用户5002可以经由腕式可穿戴设备6000提供一个或多个手势以交互和/或操作虚拟对象5008。
图14B示出了用户5002穿戴着腕式可穿戴设备6000和AR***7000并手持HIPD8000。在AR***5000b中，腕式可穿戴设备6000、AR***7000和/或HIPD 8000被用于接收一个或多个消息和/或向用户5002的联系人提供一个或多个消息。具体地，腕式可穿戴设备6000、AR***7000和/或HIPD 8000检测并协调一个或多个用户输入以启动消息传递应用，并准备对经由消息传递应用接收到的消息的响应。
在一些实施例中，用户5002经由用户输入启动如下项上的应用：腕式可穿戴设备6000、AR***7000和/或HIPD 8000，该用户输入使该应用在至少一个设备上启动。例如，在AR***5000b中，用户5002执行与用于启动消息传递应用(由消息传递用户界面5012表示)的命令相关联的手势；腕式可穿戴设备6000检测该手势；并且基于确定用户5002穿戴着AR***7000，使AR***7000呈现消息传递应用的消息传递用户界面5012。AR***7000可以经由其显示器(例如，如用户5002的视野5010所示)向用户5002呈现消息传递用户界面5012。在一些实施例中，应用被启动并在检测用户输入以启动应用的设备(例如，腕式可穿戴设备6000、AR***7000和/或HIPD 8000)上运行，并且该设备向另一设备提供操作数据以使消息传递应用呈现。例如，腕式可穿戴设备6000可以检测用户输入以启动消息传递应用；启动并运行消息传递应用；以及向AR***7000和/或HIPD 8000提供操作数据以使消息传递应用呈现。可替代地，可以在除了检测到用户输入的设备之外的设备上启动和运行该应用。例如，腕式可穿戴设备6000可以检测与启动消息传递应用相关联的手势，并且可以使HIPD 8000运行消息传递应用并协调消息传递应用的呈现。
此外，用户5002可以在腕式可穿戴设备6000、AR***7000和/或HIPD 8000处提供用户输入，以继续和/或完成在另一设备处启动的操作。例如，在经由腕式可穿戴设备6000启动了消息传递应用之后，并且在AR***7000呈现消息传递用户界面5012时，用户5002可以在HIPD 8000处提供输入以准备响应(例如，由在HIPD 8000上执行的滑动手势示出)。在HIPD 8000上执行的用户5002的手势可以在另一设备上提供和/或显示。例如，在HIPD 8000上执行的用户5002的滑动手势被显示在由AR***7000显示的消息传递用户界面5012的虚拟键盘上。
在一些实施例中，腕式可穿戴设备6000、AR***7000、HIPD 8000和/或其它通信耦接的设备向用户5002呈现一个或多个通知。该通知可以是对新消息、呼入、应用更新或状态更新的指示。用户5002可以经由腕式可穿戴设备6000、AR***7000、HIPD 8000来选择该通知，并且使得在至少一个设备上呈现与该通知相关联的应用或操作。例如，用户5002可以接收对如下的通知：在腕式可穿戴设备6000、AR***7000、HIPD 8000和/或其它通信耦接的设备处接收到了消息，并且用户5002可以在腕式可穿戴设备6000、AR***7000和/或HIPD8000处提供用户输入以审阅该通知，并且检测到用户输入的设备可以使得在腕式可穿戴设备6000、AR***7000和/或HIPD 8000处启动和/或呈现与该通知相关联的应用。
虽然以上示例描述了用于与消息传递应用交互的、协调的输入，但本领域技术人员在阅读该描述时将理解，用户输入可以被协调以与任何数量的应用交互，这些应用包括但不限于游戏应用、社交媒体应用、相机应用、基于网页(Web)的应用和金融应用。例如，AR***7000可以向用户5002呈现游戏应用数据，并且HIPD 8000可以使用控制器来向游戏提供输入。类似地，用户5002可以使用腕式可穿戴设备6000来启动AR***7000的相机，并且用户可以使用腕式可穿戴设备6000、AR***7000和/或HIPD 8000来操作图像捕获(例如，放大或缩小、应用滤镜等)并捕获图像数据。
现在将在下面对如下内容进行更详细地讨论：已经更一般地论述的示例AR***、用于与此类AR***交互的设备以及其它计算***。为了便于参考，这里限定了这样的设备和部件的一些定义：这些设备和部件可被包括在下面讨论的示例设备中的一些或全部示例设备中。本领域技术人员将理解，下面描述的某些类型的部件可能更适合于特定的一组设备，而不太适合于另一组设备。但是，后续对这里限定的部件的参考应视为由所提供的定义所涵盖。
在下面讨论的一些实施例中，将讨论包括电子设备和***的、示例设备和***。此类示例设备和***并非旨在是限制性的，并且本领域技术人员将理解，可以使用本文中所描述的示例设备和***的替代设备和***来执行本文中所描述的操作并构造本文中所描述的***和设备。
如本文所述，电子设备是使用电能来执行一个或多个功能的设备。该电子设备可以是包含电子部件(诸如晶体管、电阻器、电容器、二极管和集成电路)的任何物理对象。电子设备的示例包括智能电话、膝上型计算机、数字相机、电视、游戏机和音乐播放器、以及本文中所讨论的示例电子设备。如本文所述，中间电子设备是这样的设备：该设备位于两个其它电子设备之间和/或一个或多个电子设备的部件子集之间，并且促进相应电子设备和/或电子部件之间的通信和/或数据处理和/或数据传送。
如本文所述，处理器(例如，中央处理单元(Central Processing Unit，CPU))是负责执行指令并控制电子设备(例如，计算机)的操作的电子部件。存在可以由本文中所描述的实施例互换地使用或特别要求的各种类型的处理器。例如，处理器可以是：(i)通用处理器，其被设计用于执行广泛的任务，诸如运行软件应用、管理操作***以及执行算术和逻辑运算；(ii)微控制器，其被设计用于特定任务，诸如控制电子设备、传感器和电机；(iii)图形处理单元(Graphics Processing Unit，GPU)，其被设计用于加速对图像、视频和动画(例如，虚拟现实动画，诸如三维建模)的创建和渲染；(iv)现场可编程门阵列(Field-Programmable Gate Array，FPGA)，其可以在制造后被编程和重配置，和/或可被定制为执行特定任务，诸如信号处理、加密和机器学习；(v)数字信号处理器(Digital SignalProcessor，DSP)，其被设计用于对信号(诸如音频、视频和无线电波)执行数学运算。本领域技术人员将理解，可以在本文中所描述的各种实施例中使用一个或多个电子设备的一个或多个处理器。
如本文中所述，存储器是指在计算机或电子设备中的这样的电子部件：所述电子部件存储数据和指令以供处理器访问和操作。存储器的示例可以包括：(i)随机存取存储器(Random Access Memory，RAM)，其被配置为临时存储数据和指令；(ii)只读存储器(Read-Only Memory，ROM)，其被配置为永久存储数据和指令(例如，***固件、和/或引导加载程序中的一个或多个部分)；(iii)闪存存储器(例如，USB驱动、存储卡和/或固态驱动(Solid-State Drive，SSD))，其可以被配置为在电子设备中存储数据；以及(iv)缓存存储器，其被配置为临时存储频繁访问的数据和指令。如本文所述，存储器可以包括结构化数据(例如，SQL数据库、MongoDB数据库、GraphQL数据和/或JSON数据)。存储器的其它示例可以包括：(i)简档数据，其包括用户账号数据、用户设置和/或由用户存储的其它用户数据；(ii)由一个或多个传感器检测和/或以其它方式获得的传感器数据；(iii)媒体内容数据，其包括存储的图像数据、音频数据、文档等；(iv)应用数据，其可以包括在应用的使用期间收集和/或以其它方式获得并存储的数据；和/或本文中所描述的任何其它类型的数据。
如本文中所述，控制器是管理和协调电子设备内其它部件的操作(例如，控制输入、处理数据和/或生成输出)的电子部件。控制器的示例包括：(i)微控制器，其包括通常在嵌入式***和物联网(Internet of Thing，IoT)设备中使用的小型、低功率控制器；(ii)可编程逻辑控制器(Programmable Logic Controller，PLC)，其可被配置为在工业自动化***中使用以控制和监测制造过程；(iii)片上***(System-on-a-Chip，SoC)控制器，其将多个部件(诸如处理器、存储器、I/O接口和其它***设备)集成到单个芯片中；和/或DSP。
如本文所述，电子设备的电力***被配置为将输入电力转换为可被用于操作设备的形式。电力***可以包括各种部件，这些部件包括：(i)电源，其可以是交流(AlternatingCurrent，AC)适配器或直流(Direct Current，DC)适配器电源；(ii)充电器输入，其可以被配置为使用有线连接和/或无线连接(其可以是***接口的一部分，诸如USB、微USB接口、近场磁耦接、磁感应和磁共振充电、和/或射频(Radio Frequency，RF)充电)；(iii)电源管理集成电路，其被配置为将电力分配给设备的各种部件并确保设备在安全限制内操作(例如，调节电压、控制电流和/或管理散热)；和/或(iv)电池，其被配置为存储电力以向一个或多个电子设备的部件提供可用电力。
如本文中所述，***接口是这样的电子部件(例如，电子设备的电子部件)：所述电子部件允许电子设备与其它设备或***设备通信，并且可以提供用于输入和输出数据和信号的手段。***接口的示例可以包括：(i)通用串行总线(Universal Serial Bus，USB)和/或微USB接口，其被配置用于将设备连接到电子设备；(ii)蓝牙接口，其被配置为允许设备彼此通信，蓝牙接口包括低功耗蓝牙(Bluetooth Low Energy，BLE)；(iii)近场通信(NearField Communication，NFC)接口，其被配置成用于诸如接入控制等操作的短距离无线接口；(iv)POGO管脚，其可以是被配置为提供充电接口的小的弹簧承载的管脚；(v)无线充电接口；(vi)GPS接口；(vii)Wi-Fi接口，其用于在设备与无线网络之间提供连接；(viii)传感器接口。
如本文中所述，传感器是被配置为检测物理和环境改变并产生电信号的电子部件(例如，电子设备(诸如可穿戴设备)中的电子部件和/或以其它方式与电子设备进行电子通信的电子部件)。传感器的示例可以包括：(i)用于收集成像数据的成像传感器(例如，包括布置在相应电子设备上的一个或多个相机)；(ii)生物电势信号传感器；(iii)用于检测例如角速度、力、磁场和/或加速度改变的惯性测量单元(例如，IMU)；(iv)用于测量用户的心率的心率传感器；(v)用于测量用户的血氧饱和度(SpO2)和/或其它生物识别数据的SpO2传感器；(vi)用于检测用户身体的一部分处的电势改变的电容式传感器(例如，传感器-皮肤接口)；光传感器(例如，飞行时间传感器、红外光传感器、可见光传感器等)等。如本文中所述，生物电势信号感测部件是用于测量体内的电活动的设备(例如，生物电势信号传感器)。一些类型的生物电势信号传感器包括：(i)脑电图(Electroencephalography，EEG)传感器，其被配置为测量脑中的电活动以诊断神经疾病；(ii)心电图(Electrocardiography，ECG或EKG)传感器，其被配置为测量心脏的电活动以诊断心脏问题；(iii)肌电图(Electromyography，EMG)传感器，其被配置为测量肌肉的电活动并诊断神经肌肉疾病；(iv)眼电(Electrooculography，EOG)传感器，其被配置为测量眼部肌肉的电活动以检测眼部运动并诊断眼部疾病。
如本文所述，存储在电子设备的存储器中的应用(例如，软件)包括存储在存储器中的指令。此类应用的示例包括：(i)游戏；(ii)文字处理器；消息传递应用；媒体流应用；金融应用；日历；时钟；用于实现不同相应电子设备之间的有线连接和/或无线连接的通信接口模块(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART或MiWi、定制或标准有线协议(例如，Ethernet或HomePlug)、和/或任何其它合适的通信协议)。
如本文中所述，通信接口是使不同的***或设备能够彼此交换信息和数据的机制，包括硬件、软件或者硬件和软件两者的组合。例如，通信接口可以指设备上的实现与其它设备的通信的物理连接器和/或端口(例如，USB、Ethernet、HDMI、蓝牙)。在一些实施例中，通信接口可以指实现不同软件程序彼此通信的软件层(例如，应用编程接口(Application Programming Interface，API)、和/或诸如HTTP和TCP/IP等协议)。
如本文中所述，图形模块是被设计为处理图形操作和/或过程的部件或软件模块，并且可以包括硬件模块和/或软件模块。
如本文中所述，非暂态计算机可读存储介质是可被用于以非暂态形式存储电子数据(例如，使得数据被永久存储直到其被有意删除或修改为止)的物理设备或存储介质。
示例腕式可穿戴设备
图15A和图15B示出了根据一些实施例的腕式可穿戴设备6000。图15A示出了腕式可穿戴设备6000的部件，这些部件可以单独使用或组合使用，组合包括这样的组合：所述组合包括其它电子设备和/或电子部件。
图15A示出了可穿戴带6010和手表主体6020(或舱(Capsule))耦接，如下所述，以形成腕式可穿戴设备6000。腕式可穿戴设备6000可以执行与在用户界面中导航和选择性地打开应用相关联的各种功能和/或操作、以及上面参考图1A-图6D描述的功能和/或操作。
如下面将更详细地描述的，由腕式可穿戴设备6000执行的操作可以包括：(i)向用户呈现内容(例如，经由显示器6005显示视觉内容)；(ii)检测(例如，感测)用户输入(例如，感测在***按钮6023上的触摸和/或在显示器6005的触摸屏处的触摸、由传感器(例如，生物电势传感器)检测到的手势)；(iii)经由一个或多个传感器6013感测生物识别数据(例如，神经肌肉信号、心率、温度和/或睡眠)；消息传递(例如，文本、语音和/或视频)；经由一个或多个成像设备或相机6025的图像捕获；无线通信(例如，蜂窝、近场、Wi-Fi和/或个域网)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；睡眠监测；等。
以上示例功能可以在手表主体6020中独立地执行、在可穿戴带6010中独立地执行、和/或经由手表主体6020与可穿戴带6010之间的电子通信来执行。在一些实施例中，在(例如，经由AR***5000a至5000d之一)呈现AR环境时，可以在腕式可穿戴设备6000上执行功能。如本领域技术人员在阅读本文所提供的描述时将理解的，本文中所描述的新型可穿戴设备可以与其它类型的AR环境一起使用。
可穿戴带6010可以被配置为由用户穿戴，使得可穿戴带6010的内表面与用户的皮肤接触。当用户穿戴时，传感器6013接触用户的皮肤。传感器6013可以感测生物识别数据，诸如用户的心率、饱和氧水平、温度、汗液水平、神经肌肉信号、或其组合。传感器6013还可以感测关于用户的环境的数据，该数据包括用户的运动、高度、位置、方位、步态、加速度、位置、或其组合。在一些实施例中，传感器6013被配置为跟踪可穿戴带6010的位置和/或运动。一个或多个传感器6013可以包括上面定义的和/或下面参考图15B讨论的传感器中的任何传感器。
一个或多个传感器6013可以被分布在可穿戴带6010的内侧和/或外表面上。在一些实施例中，一个或多个传感器6013沿着可穿戴带6010均匀间隔开。可替代地，在一些实施例中，一个或多个传感器6013位于沿着可穿戴带6010的不同点处。如图15A所示，一个或多个传感器6013可以是相同的或不同的。例如，在一些实施例中，一个或多个传感器6013可以被塑造为药丸式(例如，传感器6013a)、卵形、圆形、正方形、椭圆形(例如，传感器6013c)、和/或维持与用户的皮肤接触的任何其它形状(例如，使得可以在用户的皮肤处准确地测量神经肌肉信号和/或其它生物识别数据)。在一些实施例中，一个或多个传感器6013被对准以形成传感器对(例如，用于基于每个相应传感器内的差分感测来感测神经肌肉信号)。例如，传感器6013b与相邻传感器对准以形成传感器对6014a，并且传感器6013d与相邻传感器对准以形成传感器对6014b。在一些实施例中，可穿戴带6010不具有传感器对。可替代地，在一些实施例中，可穿戴带6010具有预定数量的传感器对(例如，一对传感器、三对传感器、四对传感器、六对传感器或十六对传感器)。
可穿戴带6010可以包括任何合适数量的传感器6013。在一些实施例中，传感器6013的数量和布置取决于使用可穿戴带6010的特定应用。例如，被配置为臂带、腕带或胸带的可穿戴带6010可以包括多个传感器6013，该多个传感器对于各个用例(诸如与游戏或一般日常用例相比的医疗用例)具有不同数量的传感器6013和不同布置。
根据一些实施例，可穿戴带6010还包括电接地电极和屏蔽电极。与传感器6013一样，电接地电极和屏蔽电极可以被分布在可穿戴带6010的内表面上，使得它们接触用户的皮肤的一部分。例如，电接地电极和屏蔽电极可以位于耦接机构6016的内表面或可穿戴结构6011的内表面。电接地电极和屏蔽电极可以形成和/或使用与传感器6013相同的部件。在一些实施例中，可穿戴带6010包括多于一个电接地电极和多于一个屏蔽电极。
传感器6013可以形成为可穿戴带6010的可穿戴结构6011的一部分。在一些实施例中，传感器6013与可穿戴结构6011平齐或基本上平齐，使得它们不会延伸超出可穿戴结构6011的表面。在与可穿戴结构6011平齐的同时，传感器6013仍被配置为(例如，经由皮肤接触表面)接触用户的皮肤。可替代地，在一些实施例中，传感器6013延伸超出可穿戴结构6011预定距离(例如，0.1mm-2mm)以接触并压入用户的皮肤。在一些实施例中，传感器6013被耦接到致动器(未示出)，该致动器被配置为调整传感器6013的延伸高度(例如，与可穿戴结构6011的表面相距的距离)，使得传感器6013接触并压入用户的皮肤。在一些实施例中，致动器在0.01mm-1.2mm之间调整延伸高度。这允许用户定制传感器6013的位置，以提高可穿戴带6010在穿戴时的整体舒适性，同时仍允许传感器6013接触用户的皮肤。在一些实施例中，当用户穿戴时，传感器6013与可穿戴结构6011不可区分。
可穿戴结构6011可以由弹性材料、弹性体等形成，弹性材料、弹性体等被配置为被拉伸和适配以供用户穿戴。在一些实施例中，可穿戴结构6011是纺织品或编织布。如上所述，传感器6013可以形成为可穿戴结构6011的一部分。例如，传感器6013可以被模制到可穿戴结构6011中或集成到编织布中(例如，传感器6013可以被缝合到织物中并模拟织物的柔韧性(例如，传感器6013可以由一系列编织的布条构造))。
可穿戴结构6011可以包括将传感器6013、电子电路和/或其它电子部件互连的柔性电子连接器(以下参照图15B描述)，这些柔性电子连接器被包括在可穿戴带6010中。在一些实施例中，柔性电子连接器被配置为将可穿戴带6010的传感器6013、电子电路和/或其它电子部件与另一电子设备(例如，手表主体6020)的相应传感器和/或其它电子部件互连。柔性电子连接器被配置为与可穿戴结构6011一起移动，使得用户对可穿戴结构6011的调整(例如，调整大小、拉动和/或折叠)不会对可穿戴带6010的部件的电耦接施加压力或拉力。
如上所述，可穿戴带6010被配置为由用户穿戴。具体地，可穿戴带6010可以被塑造为或以其它方式操作为由用户穿戴。例如，可穿戴带6010可以被塑造为具有基本上的圆形，使得它可以被配置为被穿戴在用户的下臂或手腕上。可替代地，可穿戴带6010可以被塑造为被穿戴在用户的另一身体部位(诸如用户的上臂(例如，二头肌周围)、前臂、胸部或腿)上。可穿戴带6010可以包括保持机构6012(例如，扣子或钩环紧固件)，该保持机构6012用于将可穿戴带6010固定到用户的手腕或其它身体部位。在可穿戴带6010被用户穿戴着时，传感器6013从用户的皮肤感测数据(称为传感器数据)。具体地，可穿戴带6010的传感器6013获得(例如，感测和记录)神经肌肉信号。
感测到的数据(例如，感测到的神经肌肉信号)可被用于检测和/或确定用户执行某些运动动作的意图。具体地，在用户执行肌肉活动(例如，运动和/或手势)时，传感器6013感测并记录来自用户的神经肌肉信号。检测到和/或确定的运动动作(例如，指骨(或手指)运动、手腕运动、手运动和/或其它肌肉意图)可被用于确定用于使计算设备执行一个或多个输入命令的控制命令或控制信息(在感测到数据之后执行某些命令的指令)。例如，感测到的神经肌肉信号可被用于控制被显示在腕式可穿戴设备6000的显示器6005上的某些用户界面，和/或可被发送到负责渲染人工现实环境的设备(例如，头戴式显示器)以在相关联的人工现实环境中执行动作，诸如以控制向用户显示的虚拟设备的运动。用户执行的肌肉活动可以包括：静态手势，诸如将用户的手掌向下放在桌子上；动态手势，诸如抓住物理对象或虚拟对象；以及另一个人感知不到的隐蔽手势，诸如通过共同收缩相对的肌肉或使用子肌肉活动来轻微地拉紧关节。用户执行的肌肉活动可以包括符号手势(例如，这样的手势：基于例如指定手势到命令的映射的手势词汇表，所述手势被映射到其它手势、交互或命令)。
传感器6013感测到的传感器数据可被用于向用户提供与物理对象(例如，与可穿戴带6010通信耦接的设备)和/或由人工现实***生成的、人工现实应用中的虚拟对象(例如，在显示器6005或另一计算设备(例如，智能电话)上呈现的用户界面对象)的增强交互。
在一些实施例中，可穿戴带6010包括一个或多个触觉设备6046(图15B，例如，振动触觉致动器)，该一个或多个触觉设备6046被配置为向用户的皮肤提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6013和/或触觉设备6046可以被配置为结合多个应用来操作，所述多个应用包括但不限于健康监测、社交媒体、游戏、和人工现实(例如，与人工现实相关联的应用)。
可穿戴带6010还可以包括用于将舱(例如，计算单元)或手表主体6020(经由手表主体6020的耦接表面)可拆卸地耦接到可穿戴带6010的耦接机构6016(例如，耦接机构的支架或形状可以对应于腕式可穿戴设备6000的手表主体6020的形状)。具体地，耦接机构6016可以被配置为容纳手表主体6020的靠近底侧的耦接表面(例如，与手表主体6020的显示器6005所在的前侧相对的一侧)，使得用户可以将手表主体6020向下推入耦接机构6016，以将手表主体6020附接到耦接机构6016。在一些实施例中，耦接机构6016可以被配置为容纳手表主体6020的顶侧(例如，与手表主体6020的显示器6005所在的前侧靠近的一侧)，手表主体6020被向上推入支架中，而不是被向下推入耦接机构6016中。在一些实施例中，耦接机构6016是可穿戴带6010的集成部件，使得可穿戴带6010和耦接机构6016是单个整体结构。在一些实施例中，耦接机构6016是一种类型的框架或外壳，该框架或外壳允许手表主体6020耦接表面保持在可穿戴带6010耦接机构6016(例如，支架、跟踪带、支撑底座或扣子)内或上。
耦接机构6016可以允许手表主体6020通过以下项可拆卸地耦接到可穿戴带6010：摩擦配合、磁耦接、基于旋转的连接器、剪切销耦接器、保持弹簧、一个或多个磁体、夹子、销轴、钩环紧固件或其组合。用户可以执行任何类型的运动，以将手表主体6020耦接到可穿戴带6010以及将手表主体6020与可穿戴带6010解耦接。例如，用户可以相对于可穿戴带6010扭转、滑动、转动、推、拉或旋转(或者其组合)手表主体6020，以将手表主体6020附接到可穿戴带6010以及将手表主体6020从可穿戴带6010拆卸。可替代地，如下面所讨论的，在一些实施例中，可以通过驱动释放机构6029，将手表主体6020与可穿戴带6010解耦接。
可穿戴带6010可以与手表主体6020耦接，以增加可穿戴带6010的功能(例如，将可穿戴带6010转换为腕式可穿戴设备6000、添加附加计算单元和/或电池以增加可穿戴带6010的计算资源和/或电池寿命、添加附加传感器以改进感测到的数据等)。如上所述，可穿戴带6010(和耦接机构6016)被配置为独立于手表主体6020操作(例如，独立于手表主体6020执行功能)。例如，耦接机构6016可以包括一个或多个传感器6013，当用户穿戴着可穿戴带6010时，该一个或多个传感器6013接触用户的皮肤，并提供用于确定控制命令的传感器数据。
用户可以将手表主体6020(或舱)从可穿戴带6010拆下，以便减少腕式可穿戴设备6000对用户的负担。对于手表主体6020是可拆卸的实施例，手表主体6020可以被称为可拆卸结构，使得在这些实施例中，腕式可穿戴设备6000包括可穿戴部分(例如，可穿戴带6010)和可拆卸结构(手表主体6020)。
转到手表主体6020，手表主体6020可以具有基本上的矩形或圆形。手表主体6020被配置为由用户穿戴在其手腕上或另一身体部位上。更具体地，手表主体6020按一定大小制作为容易由用户携带、附接在用户服饰的一部分上、和/或耦接到可穿戴带6010(形成腕式可穿戴设备6000)。如上所述，手表主体6020可以具有与可穿戴带6010的耦接机构6016对应的形状。在一些实施例中，手表主体6020包括单个释放机构6029或多个释放机构(例如，位于手表主体6020的相对两侧上的两个释放机构6029，诸如弹簧承载的按钮)，以将手表主体6020和可穿戴带6010解耦接。释放机构6029可以包括但不限于按钮、旋钮、塞子、手柄、杠杆、紧固件、扣子、拨盘、闩锁或其组合。
用户可以通过推、转动、抬起、按下、移动释放机构6029或对释放机构6029执行其它动作，来驱动释放机构6029。对释放机构6029的驱动可以将手表主体6020从可穿戴带6010的耦接结构6016释放(例如，解耦接)，从而允许用户独立于可穿戴带6010使用手表主体6020，反之亦然。例如，将手表主体6020从可穿戴带6010解耦接可以允许用户使用后置相机6025B来捕获图像。虽然释放机构6029被示出为位于手表主体6020的一角，但释放机构6029可以位于手表主体6020上便于用户驱动的任何位置。此外，在一些实施例中，可穿戴带6010还可以包括用于将手表主体6020从耦接机构6016解耦接的相应释放机构。在一些实施例中，释放机构6029是可选的，并且手表主体6020可以如上所述(例如，经由扭转或旋转)从耦接机构6016解耦接。
手表主体6020可以包括用于在手表主体6020执行各种操作的一个或多个***按钮6023和6027。例如，***按钮6023和6027可被用于打开或唤醒显示器6005(例如，从睡眠状态转换到激活状态)、解锁手表主体6020、增大或减小音量、增大或减小亮度、与一个或多个应用交互、和/或与一个或多个用户界面交互。此外或可替代地，在一些实施例中，显示器6005用作触摸屏，并且允许用户提供用于与手表主体6020交互的一个或多个输入。
在一些实施例中，手表主体6020包括一个或多个传感器6021。手表主体6020的传感器6021可以与可穿戴带6010的传感器6013相同或不同。手表主体6020的传感器6021可以分布在手表主体6020的内表面和/或外表面上。在一些实施例中，传感器6021被配置为在用户穿戴手表主体6020时接触用户的皮肤。例如，传感器6021可以被放置在手表主体6020的底侧，并且耦接机构6016可以是具有开口的支架，该开口允许手表主体6020的底侧直接接触用户的皮肤。可替代地，在一些实施例中，手表主体6020不包括被配置为接触用户的皮肤的传感器(例如，包括手表主体6020内部和/或外部的传感器，这些传感器被配置为感测手表主体6020的数据和手表主体6020的周围环境的数据)。在一些实施例中，传感器6013被配置为跟踪手表主体6020的位置和/或运动。
手表主体6020和可穿戴带6010可以使用有线通信方法(例如，通用异步收发机(Universal Asynchronous Receiver/Transmitter，UART)或USB收发器)和/或无线通信方法(例如，近场通信或蓝牙)来共享数据。例如，手表主体6020和可穿戴带6010可以共享由传感器6013和6021感测到的数据、以及应用和设备特定信息(例如，激活的和/或可用的应用、输出设备(例如，显示器和/或扬声器)、输入设备(例如，触摸屏、传声器和/或成像传感器))。
在一些实施例中，手表主体6020可以包括但不限于，前置相机6025A和/或后置相机6025B、传感器6021(例如，生物识别传感器、IMU、心率传感器、饱和氧传感器、神经肌肉信号传感器、高度计传感器、温度传感器、生物阻抗(Bioimpedance)传感器、计步器传感器、光学传感器(例如，成像传感器6063；图15B)、触摸传感器、汗液传感器等)。在一些实施例中，手表主体6020可以包括一个或多个触觉设备6076(图15B；振动触觉致动器)，该一个或多个触觉设备6076被配置为向用户提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6021和/或触觉设备6076还可以被配置为与多个应用结合操作，所述多个应用包括但不限于健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。
如上所述，手表主体6020和可穿戴带6010在耦接时可以形成腕式可穿戴设备6000。在耦接时，手表主体6020和可穿戴带6010用作单个设备以执行本文中所描述的功能(操作、检测和/或通信)。在一些实施例中，每个设备被提供有用于执行腕式可穿戴设备6000的一个或多个操作的特定指令。例如，根据确定手表主体6020不包括神经肌肉信号传感器，可穿戴带6010可以包括用于执行相关联指令的替代指令(例如，经由不同的电子设备向手表主体6020提供感测到的神经肌肉信号数据)。腕式可穿戴设备6000的操作可以由手表主体6020单独执行或由手表主体6020与可穿戴带6010结合(例如经由相应处理器和/或硬件部件)执行，反之亦然。在一些实施例中，腕式可穿戴设备6000、手表主体6020和/或可穿戴带6010的操作可以与另一通信耦接的设备(例如，HIPD 8000；图17A和图17B)的一个或多个处理器和/或硬件部件结合执行。
如下面参考图15B的框图所述，可穿戴带6010和/或手表主体6020可以各自包括独立地执行功能所需的独立资源。例如，可穿戴带6010和/或手表主体6020可以各自包括电源(例如，电池)、存储器、数据存储库、处理器(例如，中央处理单元(CPU))、通信、光源、和/或输入/输出设备。
图15B示出了根据一些实施例的如下计算***的框图：与可穿戴带6010对应的计算***(也称为可穿戴带计算***)6030、以及与手表主体6020对应的计算***(也称为手表主体计算***)6060。根据一些实施例，腕式可穿戴设备6000的计算***包括可穿戴带计算***6030和手表主体计算***6060的部件的组合。
手表主体6020和/或可穿戴带6010可包括手表主体计算***6060中示出的一个或多个部件。在一些实施例中，单个集成电路包括手表主体计算***6060的所有部件或大部分部件，这些部件被包括在单个集成电路中。可替代地，在一些实施例中，手表主体计算***6060的各部件被包括在多个集成电路中，这些集成电路通信地耦接。在一些实施例中，手表主体计算***6060被配置为(例如经由有线连接或无线连接)与可穿戴带计算***6030耦接，这允许计算***共享部件、分发任务、和/或执行本文中所描述的其它操作(单独地或作为单个设备)。
手表主体计算***6060可以包括一个或多个处理器6079、控制器6077、***设备接口6061、电力***6095和存储器(例如，存储器6080)，以上各项中的每项在上面进行了定义并且在下面进行更详细地描述。
电力***6095可以包括充电器输入6096、电力管理集成电路(Power-ManagementIntegrated Circuit，PMIC)6097和电池6098，这些中的每个都在上面进行了定义。在一些实施例中，手表主体6020和可穿戴带6010可以具有各自的电池(例如，电池6098和6059)，并且可以彼此共享电力。手表主体6020和可穿戴带6010可以使用各种技术来接收电荷。在一些实施例中，手表主体6020和可穿戴带6010可以使用有线充电组件(例如，电力线)来接收电荷。可替代地或此外，手表主体6020和/或可穿戴带6010可以被配置用于无线充电。例如，便携式充电设备可以被设计为与手表主体6020和/或可穿戴带6010的一部分匹配，并向手表主体6020和/或可穿戴带6010的电池无线地传送可用电力。手表主体6020和可穿戴带6010可以具有独立的电力***(例如，电力***6095和6056)，以使各自能够独立操作。手表主体6020和可穿戴带6010还可以经由各自的PMIC(例如，PMIC6097和6058)共享电力(例如，一个可以为另一个充电)，这些PMIC可以共享电导体和接地导体上的电力和/或无线充电天线上的电力。
在一些实施例中，***接口6061可以包括一个或多个传感器6021，在上面定义了下面列出的该一个或多个传感器6021中的许多传感器。各传感器6021可以包括一个或多个耦接传感器6062，该一个或多个耦接传感器6062用于检测手表主体6020何时与另一电子设备(例如，可穿戴带6010)耦接。各传感器6021可以包括成像传感器6063(相机6025和/或单独的成像传感器6063(例如，热成像传感器)中的一个或多个)。在一些实施例中，各传感器6021包括一个或多个SpO2传感器6064。在一些实施例中，各传感器6021包括一个或多个生物电势信号传感器(例如，EMG传感器6065和6035，EMG传感器6065和6035可以被布置在手表主体6020和/或可穿戴带6010的面向用户的部分上)。在一些实施例中，各传感器6021包括一个或多个电容式传感器6066。在一些实施例中，各传感器6021包括一个或多个心率传感器6067。在一些实施例中，各传感器6021包括一个或多个IMU传感器6068。在一些实施例中，一个或多个IMU传感器6068可以被配置为检测用户的手的移动或者手表主体6020被放置或被握持的其它位置)。
在一些实施例中，各***接口6061包括近场通信(Near-Field Communication，NFC)部件6069、全球定位***(Global-Position System，GPS)部件6070、长期演进(Long-Term Evolution，LTE)部件6071、和/或Wi-Fi和/或蓝牙通信部件6072。在一些实施例中，各***接口6061包括一个或多个按钮6073(例如，图15A中的***按钮6023和6027)，该一个或多个按钮6073在被用户选择时使操作在手表主体6020处被执行。在一些实施例中，各***接口6061包括一个或多个指示器，诸如发光二极管(Light Emitting Diode，LED)，以向用户提供视觉指示器(例如，接收到的消息、低电池电量、激活的传声器和/或相机)。
手表主体6020可以包括至少一个显示器6005，以向用户显示对信息或数据的可视表示，可视表示包括用户界面元素和/或三维虚拟对象。显示器还可以包括用于输入用户输入(诸如触摸手势、滑动手势等)的触摸屏。手表主体6020可以包括至少一个扬声器6074和至少一个传声器6075，以向用户提供音频信号并从用户接收音频输入。用户可以通过传声器6075提供用户输入，并且还可以从扬声器6074接收音频输出，作为由触觉控制器6078提供的触觉事件的一部分。手表主体6020可以包括至少一个相机6025，该至少一个相机6025包括前置相机6025A和后置相机6025B。相机6025可以包括超广角相机、广角相机、鱼眼相机、球形相机、长焦相机、深度感测相机或其它类型的相机。
手表主体计算***6060可以包括一个或多个触觉控制器6078和相关联的部件(例如，触觉设备6076)，该一个或多个触觉控制器6078和相关联的部件用于在手表主体6020处提供触觉事件(例如，响应于手表主体6020处的事件的振动感觉或音频输出)。触觉控制器6078可以与一个或多个触觉设备6076(诸如电声设备)通信，该一个或多个触觉设备6076(诸如电声设备)包括一个或多个扬声器6074中的扬声器和/或其它音频部件和/或将能量转换为线性运动的机电设备(诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器或其它触觉输出生成部件(例如，将电信号转换为设备上的触觉输出的部件))。触觉控制器6078可以提供手表主体6020的用户能够感测到的触觉事件。在一些实施例中，一个或多个触觉控制器6078可以接收来自各应用6082中的应用的输入信号。
在一些实施例中，计算***6030和/或计算***6060可以包括存储器6080，存储器6080可以由一个或多个控制器6077中的存储器控制器来控制。在一些实施例中，存储在存储器6080中的软件部件包括被配置为在手表主体6020处执行操作的一个或多个应用6082。在一些实施例中，该一个或多个应用6082包括游戏、文字处理器、消息传递应用、呼叫应用、网页浏览器、社交媒体应用、媒体流应用、金融应用、日历和/或时钟。在一些实施例中，存储在存储器6080中的软件部件包括如上定义的一个或多个通信接口模块6083。在一些实施例中，存储在存储器6080中的软件部件包括：用于渲染、编码和/或解码音频和/或视频数据的一个或多个图形模块6084；以及用于收集、组织和/或提供对存储在存储器6080中的数据6087的访问的一个或多个数据管理模块6085。在一些实施例中，一个或多个应用6082和/或一个或多个模块可以彼此结合工作，以在手表主体6020处执行各种任务。
在一些实施例中，存储在存储器6080中的软件部件可以包括一个或多个操作***6081(例如，基于Linux的操作***或Android操作***)。存储器6080还可以包括数据6087。数据6087可以包括简档数据6088A、传感器数据6089A、媒体内容数据6090和应用数据6091。
应当理解，手表主体计算***6060是手表主体6020内的计算***的示例，并且手表主体6020可以具有比手表主体计算***6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。手表主体计算***6060中示出的各种部件以硬件、软件、固件或其组合来实现，该硬件、软件、固件或其组合包括一个或多个信号处理和/或专用集成电路。
转向可穿戴带计算***6030，示出了可被包括在可穿戴带6010中的一个或多个部件。可穿戴带计算***6030可以包括比手表主体计算***6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，并且/或者可以具有各部件中的一些或所有部件的不同配置和/或布置。在一些实施例中，可穿戴带计算***6030的部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，可穿戴带计算***6030的各部件被包括多个集成电路中，这些集成电路通信地耦接。如上所述，在一些实施例中，可穿戴带计算***6030被配置为(例如经由有线或无线连接)与手表主体计算***6060耦接，这允许各计算***共享部件、分发任务和/或执行本文中所描述的其它操作(单独地或作为单个设备)。
类似于手表主体计算***6060，可穿戴带计算***6030可以包括一个或多个处理器6049、一个或多个控制器6047(包括一个或多个触觉控制器6048)、***接口6031(可以包括一个或多个传感器6013和其它***设备)、电源(例如，电力***6056)、以及存储器(例如，存储器6050)，该存储器包括操作***(例如，操作***6051)、数据(例如，数据6054，其包括简档数据6088B和/或传感器数据6089B)、和一个或多个模块(例如，通信接口模块6052和/或数据管理模块6053)。
根据以上定义，一个或多个传感器6013可以类似于计算***6060的传感器6021。例如，各传感器6013可以包括一个或多个耦接传感器6032、一个或多个SpO2传感器6034、一个或多个EMG传感器6035、一个或多个电容式传感器6036、一个或多个心率传感器6037、以及一个或多个IMU传感器6038。
***接口6031还可以包括与计算***6060的***接口6061中包括的那些部件类似的其它部件，这些部件包括如上参考***接口6061所述的NFC部件6039、GPS部件6040、LTE部件6041、Wi-Fi和/或蓝牙通信部件6042、和/或一个或多个触觉设备6046。在一些实施例中，***接口6031包括一个或多个按钮6043、显示器6033、扬声器6044、传声器6045和相机6055。在一些实施例中，***接口6031包括一个或多个指示器，诸如LED。
应当理解，可穿戴带计算***6030是可穿戴带6010内的计算***的示例，并且可穿戴带6010可以具有比可穿戴带计算***6030中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。可穿戴带计算***6030中示出的各种部件可以以硬件、软件、固件中的一个或组合(包括一个或多个信号处理和/或专用集成电路)来实现。
关于图15A的腕式可穿戴设备6000是可穿戴带6010和手表主体6020耦接的示例，因此腕式可穿戴设备6000将被理解为包括针对可穿戴带计算***6030和手表主体计算***6060所示出和描述的部件。在一些实施例中，腕式可穿戴设备6000在手表主体6020与可穿戴带6010之间具有分体式架构(例如，分体式机械架构、分体式电架构)。换言之，在可穿戴带计算***6030和手表主体计算***6060中示出的所有部件可以被容纳或以其它方式被布置在组合的手表设备6000中、或者在手表主体6020、可穿戴带6010和/或其部分(例如，可穿戴带6010的耦接机构6016)中的个体部件内。
上述技术可以与用于感测神经肌肉信号的任何设备(包括图15A和图15B的手臂可穿戴设备)一起使用，但也可以与用于感测神经肌肉信号的其它类型的可穿戴设备(诸如可具有更靠近大脑或脊柱的神经肌肉传感器的身体可穿戴或头部可穿戴设备)一起使用。
在一些实施例中，腕式可穿戴设备6000可以与下面描述的头部可穿戴设备(例如，AR***7000和VR头戴式视图器7010)和/或HIPD 8000结合使用；并且腕式可穿戴设备6000还可以被配置为用于允许用户控制人工现实方面(例如，通过使用基于EMG的手势来控制人工现实中的用户界面对象，和/或通过允许用户与腕式可穿戴设备上的触摸屏交互来也控制人工现实方面)。在一些实施例中，腕式可穿戴设备6000也可以与可穿戴服饰(诸如下面参考图18A至图18C描述的可穿戴手套)结合使用。在这样描述了示例腕式可穿戴设备之后，现在将注意力转向示例头部可穿戴设备，诸如AR***7000和VR头戴式视图器7010。
示例头部可穿戴设备
图16A至图16C示出了示例人工现实***，这些示例人工显示***包括AR***7000。在一些实施例中，AR***7000是如图16A所示的眼镜设备。在一些实施例中，VR***7010包括头戴式显示器(Head-Mounted Display，HMD)7012，如图16B-1和图16B-2所示。在一些实施例中，AR***7000和VR***7010包括一个或多个类似的部件(例如，用于呈现交互式人工现实环境的部件，诸如处理器、存储器和/或呈现设备，这些呈现设备包括一个或多个显示器和/或一个或多个波导)，关于图16C更详细地描述了这些部件中的一些部件。如本文中所述，头部可穿戴设备可以包括眼镜设备7002和/或头戴式显示器7012的部件。头部可穿戴设备的一些实施例不包括任何显示器(这些显示器包括关于AR***7000和/或VR***7010描述的任何显示器)。虽然在本文中将各示例人工现实***分别描述为AR***7000和VR***7010，但本文中所描述的各示例AR***中的任何一个或两者可以被配置为呈现基本上全部的用户视野中呈现的完全沉浸式VR场景，作为对呈现用户视野的比全部视野少的一部分视野内呈现的更微小的增强现实场景的补充或替代。
图16A示出了AR***7000(在本文中还可以被描述为增强现实眼镜和/或智能眼镜)的示例视觉描绘。AR***7000可以包括图16A中未示出的附加电子部件(诸如可穿戴附件设备和/或中间处理设备)，这些附加电子部件在电子通信中或以其它方式被配置为与眼镜设备结合使用。在一些实施例中，可穿戴附件设备和/或中间处理设备可以被配置为经由与耦接传感器7024电子通信的耦接机构而与眼镜设备耦接，其中，耦接传感器7024可以检测电子设备何时变得与眼镜设备物理耦接或电子耦接。在一些实施例中，眼镜设备被配置为耦接到外壳7090，外壳7090可以包括被配置为与附加附件设备耦接的一个或多个附加耦接机构。图16A中所示的部件可以以硬件、软件、固件或其组合(包括一个或多个信号处理部件和/或专用集成电路(Application-Specific Integrated Circuit，ASIC))来实现。
眼镜设备包括机械眼镜部件，机械眼镜部件包括框架7004，框架7004被配置为保持一个或多个镜片(例如，一个镜片或两个镜片7006-1和7006-2)。本领域的普通技术人员将理解，眼镜设备可以包括附加机械部件，诸如被配置为允许眼镜设备7002的框架7004的部分折叠和展开的铰链、被配置为跨越镜片7006-1与镜片7006-2之间的间隙并依靠在用户的鼻子上的桥梁、被配置为依靠在鼻梁上并为眼镜设备提供支撑的鼻垫、被配置为依靠在用户的耳朵上并为眼镜设备提供附加支撑的镜脚、被配置为从铰链延伸到眼镜设备的镜脚的镜腿等。本领域普通技术人员将进一步理解，AR***7000的一些示例可以不包括本文中所描述的机械部件。例如，被配置为向用户呈现人工现实的智能隐形眼镜可以不包括眼镜设备的任何部件。
眼镜设备包括电子部件，将在下面关于图16C更详细地描述这些电子部件中的许多电子部件。一些示例电子部件如图16A所示，这些电子部件包括声学传感器7025-1、7025-2、7025-3、7025-4、7025-5和7025-6，这些声学传感器可以沿着眼镜设备的框架7004的大部分分布。眼镜设备还包括位于框架7004的不同侧的左侧相机7039A和右侧相机7039B。并且眼镜设备包括嵌入到框架7004的一部分中的处理器7048(例如，集成微处理器，诸如ASIC)。
图16B-1和图16B-2示出了根据一些实施例的头戴式显示器(HMD)7012(例如，在本文中还被称为人工现实头戴式视图器、头部可穿戴设备或VR头戴式视图器)。如上所述，一些人工现实***(例如，AR***7000)可以基本上用虚拟体验(例如，AR***5000c和5000d)替代用户对真实世界的感官感知中的一个或多个感官感知，而不是将人工现实与实际现实混合。
HMD7012包括前体7014和形状适合用户的头部的框架7016(例如，条或带)。在一些实施例中，前体7014和/或框架7016包括这样的一个或多个电子元件(例如，显示器、IMU、跟踪发射器或检测器)：该一个或多个电子元件用于促进AR***和/或VR***的呈现、和/或与AR***和/或VR***的交互。在一些实施例中，如图16B-2所示，HMD7012包括输出音频转换器(例如，音频转换器7018-1)。在一些实施例中，如图16B-2所示，一个或多个部件(诸如一个或多个输出音频转换器7018-1和框架7016)(例如，框架7016的一部分或全部、和/或音频转换器7018-1)可以被配置为附接(例如，可拆卸地附接)到HMD7012和从HMD7012拆下。在一些实施例中，将可拆卸部件耦接到HMD7012使可拆卸部件进入与HMD7012的电子通信。
图16B-1和图16B-2还示出了VR***7010具有一个或多个相机，诸如左侧相机7039A和右侧相机7039B(其可以类似于眼镜设备7002的框架7004上的左侧相机和右侧相机)。在一些实施例中，VR***7010包括一个或多个附加相机(例如，相机7039C和7039D)，该一个或多个附加相机可以被配置为通过提供更多信息来增强由相机7039A和7039B获得的图像数据。例如，相机7039C可以被用于提供相机7039A和7039B未识别的颜色信息。在一些实施例中，相机7039A至7039D中的一个或多个相机可以包括可选的IR截止滤光器，IR截止滤光器被配置为从相应相机传感器处接收到的光移除IR光。
图16C示出了计算***7020和可选的外壳7090，它们中的每一个示出了可以被包括在AR***7000和/或VR***7010中的部件。在一些实施例中，取决于所描述的相应AR***的实际约束，可以在可选的外壳7090中包括更多或更少的部件。
在一些实施例中，计算***7020和/或可选的外壳7090可以包括一个或多个***接口7022、一个或多个电力***7042、一个或多个控制器7046(包括一个或多个触觉控制器7047)、一个或多个处理器7048(如上面定义的，包括所提供的示例中的任何示例)以及存储器7050，它们都可以彼此电子通信。例如，一个或多个处理器7048可以被配置为执行存储在存储器7050中的指令，所述指令可以使得一个或多个控制器7046中的控制器使多个操作在***接口7022的一个或多个***设备处执行。在一些实施例中，所描述的每个操作可以基于由电力***7042提供的电力而发生。
在一些实施例中，***接口7022可以包括被配置作为计算***7020的一部分的一个或多个设备，该一个或多个设备中的许多设备已经在上面被定义和/或关于图15A和图15B中所示的腕式可穿戴设备进行了描述。例如，***接口可以包括一个或多个传感器7023。一些示例传感器包括：一个或多个耦接传感器7024、一个或多个声学传感器7025、一个或多个成像传感器7026、一个或多个EMG传感器7027、一个或多个电容式传感器7028、和/或一个或多个IMU传感器7029；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。
在一些实施例中，***接口可以包括一个或多个附加***设备，该一个或多个附加***设备包括：一个或多个NFC设备7030、一个或多个GPS设备7031、一个或多个LTE设备7032、一个或多个Wi-Fi和/或蓝牙设备7033、一个或多个按钮7034(例如，包括可滑动或以其它方式可调整的按钮)、一个或多个显示器7035、一个或多个扬声器7036、一个或多个传声器7037、一个或多个相机7038(例如，包括左侧相机7039A和/或右侧相机7039B)、和/或一个或多个触觉设备7040；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的***设备。
AR***可以包括各种类型的视觉反馈机构(例如，呈现设备)。例如，AR***7000和/或VR***7010中的显示设备可以包括一个或多个液晶显示器(Liquid-CrystalDisplay，LCD)、发光二极管(Light Emitting Diode，LED)显示器、有机LED(Organic LED，OLED)显示器、和/或任何其它合适类型的显示屏。人工现实***可以包括单个显示屏(例如，被配置为被两只眼睛看到)，和/或可以为每只眼睛提供单独的显示屏，这可以允许用于变焦距调整和/或用于校正与用户的视力相关联的屈光不正的附加灵活性。AR***的一些实施例还包括具有一个或多个镜片(例如，传统的凹透镜或凸透镜、菲涅尔(Fresnel)透镜或可调整液体透镜)的光学子***，用户可以通过这些镜片观看显示屏。
例如，相应显示器可以被耦接到AR***7000的镜片7006-1和镜片7006-2中的每一个。耦接到镜片7006-1和镜片7006-2中的每一个的多个显示器可以一起或独立地用于向用户呈现一幅或一系列图像。在一些实施例中，AR***7000包括单个显示器(例如，近眼显示器)或多于两个显示器。在一些实施例中，可以使用第一组的一个或多个显示器来呈现增强现实环境，并且可以使用第二组的一个或多个显示器来呈现虚拟现实环境。在一些实施例中，结合向AR***7000的用户呈现人工现实内容来使用一个或多个波导(例如，作为将来自一个或多个显示器的光传送到用户的眼睛的手段)。在一些实施例中，一个或多个波导完全地或部分地被集成到眼镜设备7002中。作为显示屏的补充或替代，一些人工现实***包括一个或多个投影***。例如，AR***7000和/或虚拟现实***7010中的显示设备可以包括微LED投影仪，微LED投影仪(例如使用波导)将光投影到显示设备(诸如允许环境光经过的透明组合透镜(Clear combiner lenses))中。显示设备可以将投影的光折射到用户的瞳孔，并且可以使用户能够同时观看人工现实内容和真实世界两者。人工现实***还可以被配置有任何其它合适类型或形式的图像投影***。在一些实施例中，作为一个或多个显示器的补充或替代，提供一个或多个波导。
AR***7000或VR***7010的计算***7020和/或可选的外壳7090可以包括电力***7042的部件中的一些或全部部件。电力***7042可以包括一个或多个充电器输入7043、一个或多个PMIC 7044、和/或一个或多个电池7045。
存储器7050包括指令和数据，指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器7050内。例如，存储器7050可以包括：一个或多个操作***7051；一个或多个应用7052；一个或多个通信接口应用7053；一个或多个图形应用7054；一个或多个AR处理应用7055；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
存储器7050还包括可结合上述应用中的一个或多个应用使用的数据7060。数据7060可以包括：简档数据7061；传感器数据7062；媒体内容数据7063；AR应用数据7064；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
在一些实施例中，眼镜设备7002的控制器7046对由AR***7000内的眼镜设备7002和/或另一电子设备上的传感器7023生成的信息进行处理。例如，控制器7046可以对来自声学传感器7025-1和7025-2的信息进行处理。对于每个检测到的声音，控制器7046可以执行到达方向(Direction Of Arrival，DOA)估计，以估计检测到的声音到达AR***7000的眼镜设备7002的方向。在各声学传感器7025中的一个或多个声学传感器检测到声音时，控制器7046可以用信息(例如，在图16C中表示为传感器数据7062)填充(Populate)音频数据集合。
在一些实施例中，物理电子连接器可以在眼镜设备与另一电子设备之间和/或在AR***7000或VR***7010的一个或多个处理器与控制器7046之间传送信息。该信息可以处于光学数据形式、电数据形式、无线数据形式、或任何其它可传输的数据形式。将对眼镜设备生成的信息的处理移到中间处理设备可以减轻眼镜设备的重量和热量，使眼镜设备对用户更舒适和更安全。在一些实施例中，可选的可穿戴附件设备(例如，电子领带)经由一个或多个连接器耦接到眼镜设备。各连接器可以是有线连接器或无线连接器，并且可以包括电和/或非电(例如，结构)部件。在一些实施例中，眼镜设备和可穿戴附件设备可以独立地操作，而不需要在它们之间进行任何有线连接或无线连接。
在一些情况下，将诸如中间处理设备(例如，HIPD 8000)等外部设备与(例如作为AR***7000的一部分的)眼镜设备7002配对，使眼镜设备7002能够实现一副眼镜的类似外形要素，同时仍为所扩展的能力提供了足够的电池和计算能力。AR***7000的电池电力、计算资源和/或附加特征中的一些或全部可以由配对的设备来提供、或者在配对的设备与眼镜设备7002之间共享，因此总体上降低了眼镜设备7002的重量、热分布(Heat profile)和外形要素，同时允许眼镜设备7002保持其期望的功能。例如，可穿戴附件设备可以允许将如下部件以其它方式被包括在眼镜设备7002上的部件包括在可穿戴附件设备和/或中间处理设备中，从而将重量负荷从用户的头和颈部转移到用户的身体的一个或多个其它部位。在一些实施例中，中间处理设备具有更大的表面区域，在该表面区域上向周围环境扩散和分散热。因此，相比于单独使用眼镜设备7002时以其它方式可能具有的电池和计算能力，中间处理设备可以允许更大的电池和计算能力。因为可穿戴附件设备中承载的重量对用户的影响可能比眼镜设备7002中承载的重量对用户的影响小，所以相比于用户容忍单独穿戴更重的眼镜设备，用户可以容忍在更长的时间穿戴更轻的眼镜设备并且携带或穿戴配对的设备，从而使人工现实环境能够更充分地结合到用户的日常活动中。
AR***可以包括各种类型的计算机视觉部件和子***。例如，AR***7000和/或VR***7010可以包括一个或多个光学传感器，诸如二维(2D)或三维(3D)相机、飞行时间深度传感器、单波束或扫描激光测距仪、3D LiDAR(激光雷达)传感器、和/或任何其它合适类型或形式的光学传感器。AR***可以处理来自这些传感器中的一个或多个传感器的数据，以识别用户的位置和/或用户的真实世界物理环境的多个方面(包括真实世界对象在真实世界物理环境中的位置)。在一些实施例中，本文中所描述的方法被用于映射真实世界、向用户提供关于真实世界环境的上下文、和/或生成数字孪生体(例如，可交互的虚拟对象)、以及各种其它功能。例如，图16B-1和图16B-2示出了具有相机7039A至7039D的VR***7010，相机7039A至7039D可被用于提供深度信息，该深度信息用于创建体素场和二维网格，以向用户提供对象信息以避免碰撞。
在一些实施例中，AR***7000和/或VR***7010可以包括触觉(触觉的)反馈***，该触觉反馈***可以结合到头饰、手套、连体衣、手持控制器、环境设备(例如，椅子或脚垫)、和/或任何其它类型的设备或***(诸如本文中所讨论的可穿戴设备)中。触觉反馈***可以提供各种类型的皮肤反馈，包括振动、力、拉力、剪切、纹理和/或温度。触觉反馈***还可以提供各种类型的动觉反馈，诸如运动和顺应(compliance)。触觉反馈可以使用电机、压电致动器、流体***和/或各种其它类型的反馈机构来实现。触觉反馈***可以独立于其它人工现实设备(例如，关于图18A至图18C描述的触觉反馈***)、在其它人工现实设备内和/或结合其它人工现实设备来实现。
在诸如AR***7000和/或VR***7010等AR***的一些实施例中，环境光(例如，用户将正常看到的周围环境的实况馈送)可以穿过正呈现AR***的多个方面的相应头部可穿戴设备的显示元件。在一些实施例中，环境光可以经过用户的视野内呈现的AR环境的、比全部AR环境少的一部分AR环境(例如，AR环境的、与用户的真实世界环境中的物理对象在同一位置的一部分AR环境，该物理对象位于如下指定边界(例如，监护边界)内：该指定边界被配置为用户在其与AR环境交互时使用)。例如，视觉用户界面元素(例如，通知用户界面元素)可以被呈现在头部可穿戴设备处，并且一定量的环境光(例如，环境光的15％-50％)可以经过该用户界面元素，使得用户可以区分物理环境的、正在其上显示该用户界面元素的至少一部分。
示例手持中间处理设备
图17A和图17B示出了根据一些实施例的示例手持中间处理设备(HIPD)8000。HIPD8000是本文中所描述的中间设备的实例，使得HIPD 8000应被理解为具有关于上面定义的或以其它方式在本文中描述的任何中间设备所描述的特征，反之亦然。图17A示出了HIPD8000的俯视图8005和侧视图8025。HIPD 8000被配置为与和用户相关联的一个或多个可穿戴设备(或其它电子设备)通信地耦接。例如，HIPD 8000被配置为与用户的腕式可穿戴设备6000(或其部件，诸如手表主体6020和可穿戴带6010)、AR***7000和/或VR头戴式视图器7010通信地耦接。HIPD 8000可以被配置为由用户手持(例如，作为手持控制器)、被携带在用户人身上(例如，在用户的口袋中、在用户的包中等)、放在用户附近(例如，在坐在其桌子旁时放在其桌子上、在充电底座上等)、和/或放在与可穿戴设备或其它电子设备相距预定距离处或之内(例如，在一些实施例中，该预定距离是HIPD 8000可以成功地与诸如可穿戴设备等电子设备通信地耦接的最大距离(例如，10米))。
HIPD 8000可以独立地和/或结合一个或多个可穿戴设备(例如，腕式可穿戴设备6000、AR***7000和/或VR头戴式视图器7010)来执行各种功能。HIPD 8000被配置为增加和/或改进通信耦接的设备(诸如可穿戴设备)的功能。HIPD 8000被配置为执行与以下项相关联的一个或多个功能或操作：与通信耦接的设备的用户界面和应用交互、与AR环境交互、与VR环境交互、和/或作为人机接口控制器进行操作。此外，如下面将更详细地描述的，HIPD8000的功能和/或操作可以包括但不限于：任务卸载和/或传送；热量卸载和/或传送；6自由度(6DoF)射线投射和/或游戏(例如，使用成像设备或相机8014，成像设备或相机8014可被用于同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)和/或与其它图像处理技术一起使用)；便携式充电；消息传递；经由一个或多个成像设备或相机8022进行图像捕获；感测用户输入(例如，感测触摸输入表面8002上的触摸)；无线通信和/或互连(例如，蜂窝、近场、Wi-Fi、个域网等)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；睡眠监测等。上述示例功能可以在HIPD 8000中独立执行和/或以HIPD8000与本文中所描述的另一可穿戴设备之间的通信来执行。在一些实施例中，可以在HIPD8000上结合AR环境执行功能。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的新型HIPD 8000可以与任何类型的合适的AR环境一起使用。
在HIPD 8000与可穿戴设备和/或其它电子设备通信地耦接时，HIPD 8000被配置为执行在可穿戴设备和/或其它电子设备处发起的一个或多个操作。具体地，可以将可穿戴设备和/或其它电子设备的一个或多个操作转移到HIPD 8000以执行。HIPD 8000执行可穿戴设备和/或其它电子设备的一个或多个操作，并向可穿戴设备和/或其它电子设备提供与完成的操作对应的数据。例如，用户可以使用AR***7000发起视频流，并且与执行视频流相关联的后端任务(例如，视频渲染)可以被转移到HIPD 8000，HIPD 8000执行该后端任务，并将对应数据提供给AR***7000以执行与视频流相关联的剩余前端任务(例如，经由AR***7000的显示器呈现渲染的视频数据)。这样，与可穿戴设备相比具有更多计算资源和更大热净空的HIPD 8000可以为可穿戴设备执行计算密集型任务，以提高由可穿戴设备执行的操作的性能。
HIPD 8000包括在第一侧(例如，前表面)上的多触摸输入表面8002，该多触摸输入表面8002被配置为检测一个或多个用户输入。具体地，多触摸输入表面8002可以检测单轻击输入、多轻击输入、滑动手势和/或输入、基于力和/或基于压力的触摸输入、保持轻击等。多触摸输入表面8002被配置为检测电容式触摸输入和/或力(和/或压力)触摸输入。多触摸输入表面8002包括由表面凹陷限定的触摸输入表面8004和由基本上平坦的部分限定的触摸输入表面8006。触摸输入表面8004可以被布置为与触摸输入表面8006相邻。在一些实施例中，触摸输入表面8004和触摸输入表面8006可以是不同的尺寸、形状、和/或覆盖多触摸输入表面8002的不同部分。例如，触摸输入表面8004可以基本上是圆形的，并且触摸输入表面8006基本上是矩形的。在一些实施例中，多触摸输入表面8002的表面凹陷被配置为引导用户对HIPD 8000的操作。具体地，表面凹陷被配置为使得用户在单手握住时竖直地握住HIPD 8000(例如，使得所使用的成像设备或相机8014A和8014B指向天花板或天空)。此外，表面凹陷被配置为使得用户的拇指位于触摸输入表面8004内。
在一些实施例中，不同的触摸输入表面包括多个触摸输入区。例如，触摸输入表面8006至少包括触摸输入区8006内的触摸输入区8008和触摸输入区8008内的触摸输入区8010。在一些实施例中，各触摸输入区中的一个或多个触摸输入区是可选的和/或用户定义的(例如，用户可以基于其偏好来指定触摸输入区)。在一些实施例中，每个触摸输入表面和/或触摸输入区与预定的命令集合相关联。例如，在触摸输入区8008内检测到的用户输入使HIPD 8000执行第一命令，并且在触摸输入区8006内检测到的用户输入使HIPD 8000执行与第一命令不同的第二命令。在一些实施例中，不同的触摸输入表面和/或触摸输入区被配置为检测一种或多种类型的用户输入。不同的触摸输入表面和/或触摸输入区可以被配置为检测相同或不同类型的用户输入。例如，触摸输入区8008可以被配置为检测力触摸输入(例如，用户按下的量级)和电容式触摸输入，并且触摸输入区8006可以被配置为检测电容式触摸输入。
HIPD 8000包括一个或多个传感器8051，该一个或多个传感器8051用于感测在执行一个或多个操作和/或功能时使用的数据。例如，HIPD 8000可以包括IMU传感器，该IMU传感器与相机8014结合使用，以在AR或VR环境中进行3维对象操作(例如，放大、移动或销毁对象)。包括在HIPD 8000中的传感器8051的非限制性示例包括光传感器、磁力计、深度传感器、压力传感器和力传感器。下面参考图17B提供传感器8051的附加示例。
HIPD 8000可以包括一个或多个光指示器8012以向用户提供一个或多个通知。在一些实施例中，光指示器是LED或其它类型的照明设备。光指示器8012可以作为私密光来向用户和/或用户附近的其它人通知：成像设备和/或传声器是激活的。在一些实施例中，光指示器位于一个或多个触摸输入表面附近。例如，光指示器可以位于触摸输入表面8004周围。光指示器可以以不同的颜色和/或图案来照明，以向用户提供关于设备的一个或多个通知和/或信息。例如，位于触摸输入表面8004周围的光指示器可以在用户接收到通知(例如，消息)时闪烁，可以在HIPD 8000断电时变为红色，可以用作进度条(例如，灯环，其在任务完成时关闭(例如，0％到100％))，用作音量指示器等。
在一些实施例中，HIPD 8000在另一表面上包括一个或多个附加传感器。例如，如图17A所示，HIPD 8000包括HIPD 8000的边缘上的一个或多个传感器的集合(例如，传感器集合8020)。传感器集合8020在位于HIPD 8000的边缘上时，可以按预定倾斜角度(例如，26度)定位，这允许传感器集合8020在被放在桌子或其它平面上时朝向用户倾斜。可替代地，在一些实施例中，传感器集合8020位于与多触摸输入表面8002相对的表面(例如，背面)上。下面详细讨论传感器集合8020中的一个或多个传感器。
HIPD 8000的侧视图8025示出了传感器集合8020和相机8014B。传感器集合8020包括一个或多个相机8022A和8022B、深度投影仪8024、环境光传感器8028和深度接收器8030。在一些实施例中，传感器集合8020包括光指示器8026。光指示器8026可用作私密指示器，以让用户和/或用户周围的人知道相机和/或传声器是激活的。传感器集合8020被配置为捕获用户的面部表情，使得用户可以操纵定制替身(例如，显示用户的情绪，诸如用户的替身或数字表示上的微笑和/或笑声)。传感器集合8020可以被配置为侧立体RGB***、后间接飞行时间(indirect Time-of-Flight，iToF)***或后立体RGB***。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的HIPD 8000可以使用不同的传感器集合8020配置和/或传感器集合8020布置。
在一些实施例中，HIPD 8000包括的一个或多个触觉设备8071(例如，振动触觉致动器)，该一个或多个触觉设备8071被配置为提供触觉反馈(例如，动觉感觉)。传感器8051和/或触觉设备8071可以被配置为与多个应用和/或通信耦接的设备结合操作，所述多个应用和/或通信耦接的设备包括但不限于可穿戴设备、健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。
HIPD 8000被配置为在没有显示器的情况下操作。然而，在可选的实施例中，HIPD8000可以包括显示器8068(图17B)。HIPD 8000还可以包括一个或多个可选的***按钮8067(图17B)。例如，***按钮8067可被用于打开或关闭HIPD 8000。此外，HIPD 8000的外壳可以由聚合物和/或弹性体形成。HIPD 8000可以被配置为具有防滑表面，以允许HIPD 8000被放在表面上而不需要用户监视HIPD 8000。换言之，HIPD 8000被设计为使得不会容易滑出表面。在一些实施例中，HIPD 8000包括一个或多个磁体，该一个或多个磁体用于将HIPD 8000耦接到另一表面。这允许用户将HIPD 8000安装到不同的表面，并为用户提供使用HIPD8000的更大的灵活性。
如上所述，HIPD 8000可以分发和/或提供用于在HIPD 8000和/或通信耦接的设备处执行一个或多个任务的指令。例如，HIPD 8000可以识别要由HIPD 8000执行的一个或多个后端任务以及要由通信耦接的设备执行的一个或多个前端任务。虽然HIPD 8000被配置为卸载和/或传送通信耦接的设备的任务，但HIPD 8000可以(例如经由一个或多个处理器，诸如CPU 8077；17B)执行后端任务和前端任务两者。HIPD 8000可被用于执行(但不限于此)：增强呼叫(例如，接收和/或发送3D或2.5D实况体积式呼叫(live volumetric call)、实况数字人表示呼叫、和/或替身呼叫)、谨慎保密的消息传递、6DoF人像/风景游戏、AR/VR对象操作、AR/VR内容显示(例如，经由虚拟显示器呈现内容)、和/或其它AR/VR交互。HIPD8000可以单独或与可穿戴设备(或其它通信耦接的电子设备)结合执行上述操作。
图17B示出了根据一些实施例的HIPD 8000的计算***8040的框图。以上详细描述的HIPD 8000可以包括HIPD计算***8040中示出的一个或多个部件。HIPD 8000将被理解为包括下面针对HIPD计算***8040示出和描述的部件。在一些实施例中，HIPD计算***8040的各部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，HIPD计算***8040的各部件被包括在多个集成电路中，这些集成电路通信地耦接。
HIPD计算***8040可以包括：处理器(例如，CPU 8077、GPU和/或具有集成图形的CPU)；控制器8075；***接口8050，该***接口8050包括一个或多个传感器8051和其它***设备；电源(例如，电力***8095)；以及存储器(例如，存储器8078)，该存储器包括操作***(例如，操作***8079)、数据(例如，数据8088)、一个或多个应用(例如，应用8080)、一个或多个模块(例如，通信接口模块8081、图形模块8082、任务和处理管理模块8083、互操作性模块8084、AR处理模块8085和/或数据管理模块8086)。HIPD计算***8040还包括电力***8095，该电力***8095包括充电器输入和输出8096、PMIC 8097和电池8098，所有这些都在上面被定义。
在一些实施例中，***接口8050可以包括一个或多个传感器8051。各传感器8051可以包括与以上参考图15B描述的传感器类似的传感器。例如，各传感器8051可以包括成像传感器8054、(可选的)EMG传感器8056、IMU传感器8058和电容式传感器8060。在一些实施例中，各传感器8051可以包括用于感测压力数据的一个或多个压力传感器8052、用于感测HIPD 8000的高度的高度计8053、用于感测磁场的磁力计8055、用于确定相机与图像中的对象之间的差的深度传感器8057(或飞行时间传感器)、用于感测HIPD 8000的一部分的相对位移或位置改变的位置传感器8059(例如，柔性位置传感器)、用于感测施加到HIPD 8000的一部分的力的力传感器8061、和用于检测光量的光传感器8062(例如，环境光传感器)。各传感器8051可以包括图17B中未示出的一个或多个传感器。
类似于上面参考图15B描述的***设备，***接口8050还可以包括NFC部件8063、GPS部件8064、LTE部件8065、Wi-Fi和/或蓝牙通信部件8066、扬声器8069、触觉设备8071、以及传声器8073。如上面参考图17A所述，HIPD 8000可以可选地包括显示器8068和/或一个或多个按钮8067。***接口8050还可以包括一个或多个相机8070、触摸表面8072和/或一个或多个光发射器8074。以上参考图17A描述的多触摸输入表面8002是触摸表面8072的示例。光发射器8074可以是一个或多个LED、激光器等，并且可以被用于向用户投影或呈现信息。例如，各光发射器8074可以包括上面参照图17A描述的光指示器8012和8026。各相机8070(例如，上面在图17A中描述的相机8014和8022)可以包括一个或多个广角相机、鱼眼相机、球形相机、复眼相机(例如，立体和多相机)、深度相机、RGB相机、ToF相机、RGB-D相机(深度和ToF相机)、和/或其它可用的相机。相机8070可被用于：SLAM；6DoF射线投射、游戏、对象操作、和/或其它渲染；面部识别和面部表情识别等。
类似于上面参考图15B描述的手表主体计算***6060和可穿戴带计算***6030，HIPD计算***8040可以包括一个或多个触觉控制器8076和相关联的部件(例如，触觉设备8071)，该一个或多个触觉控制器8076和相关联的部件用于在HIPD 8000处提供触觉事件。
存储器8078可以包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其它非易失性固态存储器设备。HIPD 8000的其它部件(诸如一个或多个处理器和***接口8050)对存储器8078的访问可以由各控制器8075中的存储器控制器来控制。
在一些实施例中，存储在存储器8078中的软件部件包括一个或多个操作***8079、一个或多个应用8080、一个或多个通信接口模块8081、一个或多个图形模块8082、一个或多个数据管理模块8086，这些部件类似于上面参考图15B描述的软件部件。
在一些实施例中，存储在存储器8078中的软件部件包括任务和处理管理模块8083，该任务和处理管理模块8083用于识别与用户执行的操作相关联的一个或多个前端和后端任务，执行一个或多个前端和/或后端任务，并且/或者向引起一个或多个前端任务和/或后端任务被执行的一个或多个通信耦接的设备提供指令。在一些实施例中，任务和处理管理模块8083使用数据8088(例如，设备数据8090)，基于通信耦接的设备的计算资源、可用电力、热净空、正在进行的操作和/或其它因素来分发一个或多个前端和/或后端任务。例如，任务和处理管理模块8083可以根据对如下的确定：在通信耦接的AR***7000处执行的操作正在利用预定量(例如，至少70％)的、在AR***7000处可用的计算资源，使(在通信耦接的AR***7000处执行的该操作的)一个或多个后端任务在HIPD 8000处执行。
在一些实施例中，存储在存储器8078中的软件部件包括互操作性模块8084，该互操作性模块8084用于交换和利用接收到和/或提供给不同通信耦接的设备的信息。互操作性模块8084允许不同的***、设备和/或应用以协调的方式连接和通信，而无需用户输入。在一些实施例中，存储在存储器8078中的软件部件包括AR处理模块8085，AR处理模块8085被配置为至少基于传感器数据来处理信号，以供在AR和/或VR环境中使用。例如，AR处理模块8085可被用于3D对象操作、手势识别、和/或面部和面部表情识别。
存储器8078还可以包括数据8088，该数据8088包括结构化数据。在一些实施例中，数据8088包括简档数据8089、设备数据8090(包括与HIPD 8000通信地耦接的一个或多个设备的设备数据，诸如设备类型、硬件、软件和/或配置)、传感器数据8091、媒体内容数据8092和应用数据8093。
应当理解，HIPD计算***8040是HIPD 8000内的计算***的示例，并且HIPD 8000可以具有比HIPD计算***8040中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。HIPD计算***8040中示出的各种部件以硬件、软件、固件或其组合(包括一个或多个信号处理和/或专用集成电路)来实现。
上面在图17A和图17B中描述的技术可以与用作人机接口控制器的任何设备一起使用。在一些实施例中，HIPD 8000可以与一个或多个可穿戴设备(诸如头部可穿戴设备(例如，AR***7000和VR***7010)和/或腕式可穿戴设备6000(或其部件))结合使用。在一些实施例中，HIPD 8000与可穿戴服饰(诸如图18A至图18C的可穿戴手套)结合使用。在这样描述了示例HIPD 8000之后，现在将注意力转向示例反馈设备(诸如设备9000)。
示例反馈设备
图18A和图18B示出了示例触觉反馈***(例如，手可穿戴设备)，该示例触觉反馈***用于向用户提供关于用户与计算***(例如，由AR***7000或VR***7010呈现的人工现实环境)的交互的反馈。在一些实施例中，计算***(例如，AR***5000d)还可以基于在计算***内执行的动作和/或由AR***提供的交互(例如，所述动作和/或交互可以基于如下指令：结合执行计算***的应用的操作而执行所述指令)向一个或多个用户提供反馈。这种反馈可以包括视觉和/或音频反馈，并且还可以包括通过触觉组件(诸如设备9000的一个或多个触觉组件9062(例如，触觉组件9062-1、9062-2和9062-3))提供的触觉反馈。例如，触觉反馈可以防止用户的一个或多个手指弯曲经过某一点(或至少阻碍/抵制用户的一个或多个手指弯曲经过某一点的动作)，以模拟触摸固体咖啡杯的感觉。在驱动此类触觉效果时，设备9000可以(直接或间接)改变各触觉组件9062中的一个或多个触觉组件的加压状态。
各触觉组件9062中的每个触觉组件包括这样的机构：该机构在相应触觉组件9062从第一加压状态(例如，大气压力或放气)转换到第二加压状态(例如，充气到阈值压力)时，至少提供阻力。触觉组件9062的结构可以被集成到这样的各种设备中：这些设备被配置为接触或接近用户的皮肤，这些设备包括但不限于诸如手套穿戴设备、身体穿戴服饰设备和头戴式视图器设备等设备。
如上所述，本文中所描述的触觉组件9062可以被配置为在第一加压状态与第二加压状态之间转换，以向用户提供触觉反馈。由于人工现实的***的性质，在一次使用期间，触觉组件9062可能需要在两种状态之间转换数百次或可能数千次。因此，本文中所描述的触觉组件9062是耐用的，并且被设计为快速地从一个状态转换到一个状态。为了提供一些上下文，在第一加压状态下，触觉组件9062不会阻碍穿戴者的身体的一部分的***。例如，结合到手套中的一个或多个触觉组件9062由不阻碍穿戴者的手和手指的***的柔性材料(例如，静电拉链(Zipping)致动器)制成。触觉组件9062被配置为在处于第一加压状态时符合穿戴者的身体的部位的形状。然而，一旦处于第二加压状态，触觉组件9062可以被配置为限制和/或阻碍穿戴者的身体的该部位(例如，用户的手的附属结构)的***。例如，当触觉组件9062处于第二加压状态时，相应触觉组件9062(或多个相应触觉组件)可以限制穿戴者的手指的运动(例如，防止手指卷曲或伸展)。此外，一旦处于第二加压状态，触觉组件9062可以采取不同的形状，其中一些触觉组件9062被配置为采取平面、刚性形状(例如，平面和刚性的)，而一些其它触觉组件9062被配置为至少部分地弯曲(Curve)或弯折(Bend)。
作为非限制性示例，设备9000包括多个触觉设备(例如，一对触觉手套、以及腕式可穿戴设备(例如，关于图15A和图15B描述的腕式可穿戴设备中的任何一个)的触觉部件)，该多个触觉设备中的每个触觉设备可以包括服饰部件(例如，服饰9004)和耦接(例如，物理耦接)到服饰部件的一个或多个触觉组件。例如，触觉组件9062-1、9062-2、9062-3、...9062-N中的每个触觉组件被物理耦接到服饰9004，服饰9004被配置为接触用户的拇指和手指的相应指骨。如上所述，触觉组件9062被配置为向设备9000的穿戴者提供触觉模拟。每个设备9000的服饰9004可以是各款服饰(例如，手套、袜子、衬衫或裤子)中的一种。因此，用户可以穿戴多个设备9000，该多个设备9000皆被配置为向身体的穿戴着设备9000的相应部位提供触觉刺激。
图18C示出了根据一些实施例的设备9000的计算***9040的框图。计算***9040可以包括一个或多个***接口9050、一个或多个电力***9095、一个或多个控制器9075(包括一个或多个触觉控制器9076)、一个或多个处理器9077(如上面定义的，包括所提供的示例中的任何示例)、以及存储器9078，它们都可以彼此电子通信。例如，一个或多个处理器9077可以被配置为执行存储在存储器9078中的指令，所述指令可以使得一个或多个控制器9075中的控制器使多个操作在***接口9050的一个或多个***设备处被执行。在一些实施例中，所描述的每个操作可以基于由电力***9095提供的电力而发生。电力***9095包括充电器输入9096、PMIC9097和电池9098。
在一些实施例中，***接口9050可以包括被配置为计算***9040的一部分的一个或多个设备，已经在上面定义了和/或关于图15A和图15B中所示的腕式可穿戴设备描述了所述一个或多个设备中的许多设备。例如，***接口9050可以包括一个或多个传感器9051。一些示例传感器包括：一个或多个压力传感器9052、一个或多个EMG传感器9056、一个或多个IMU传感器9058、一个或多个位置传感器9059、一个或多个电容式传感器9060、一个或多个力传感器9061；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。
在一些实施例中，***接口可以包括一个或多个附加***设备，该一个或多个附加***设备包括一个或多个Wi-Fi和/或蓝牙设备9068；一个或多个触觉组件9062；一个或多个支撑结构9063(可以包括一个或多个囊状物(bladder)9064；一个或多个歧管(manifold)9065；一个或多个压力改变设备9067；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的***设备。
在一些实施例中，每个触觉组件9062包括支撑结构9063和至少一个囊状物9064。囊状物9064(例如，膜)是由耐用和抗穿刺性材料(诸如热塑性聚氨酯(ThermoplasticPolyurethane，TPU)、柔性聚合物等)制成的密封的可充气口袋。囊状物9064包含可添加到囊状物9064或从囊状物9064去除以改变囊状物9064内的压力(例如，流体压力)的介质(例如，诸如空气、惰性气体或甚至液体的流体)。支撑结构9063由比囊状物9064的材料更坚固和更坚硬的材料制成。耦接到相应囊状物9064的相应支撑结构9063被配置为在相应囊状物因囊状物内的压力(例如，流体压力)的改变而改变形状和大小时，加强相应囊状物9064。
设备9000还包括触觉控制器9076和压力改变设备9067。在一些实施例中，触觉控制器9076是计算机***9040的一部分(例如，与计算机***9040的一个或多个处理器9077电子通信的一部分)。触觉控制器9076被配置为控制压力改变设备9067的操作，并进而控制设备9000的操作。例如，控制器9076向压力改变设备9067发送一个或多个信号以激活压力改变设备9067(例如，开启和关闭压力改变设备9067)。一个或多个信号可以指定要由压力改变设备9067输出的期望压力(例如，磅每平方英寸)。一个或多个信号的生成以及进而由压力改变设备9067输出的压力可以基于由图14A和图14B中的传感器收集的信息。例如，一个或多个信号可以基于由14A和14B中的传感器收集的信息(例如，用户接触人工咖啡杯)，使压力改变设备9067在第一时间增加触觉组件9062内的压力(例如，流体压力)。然后，控制器可以基于由传感器9051收集的附加信息向压力改变设备9067发送一个或多个附加信号，使压力改变设备9067在第一时间之后的第二时间进一步增加触觉组件9062内的压力。此外，一个或多个信号可以使压力改变设备9067对设备9000-A中的一个或多个囊状物9064进行充气，而设备9000-B中的一个或多个囊状物9064保持不变。此外，一个或多个信号可以使压力改变设备9067将设备9000-A中的一个或多个囊状物9064充气到第一压力，并且将设备9000-A中的一个或多个其它囊状物9064充气到不同于第一压力的第二压力。取决于由压力改变设备9067服务的设备9000的数量以及设备9000中的囊状物的数量，可以通过一个或多个信号实现许多不同的充气配置，并且上面的示例并不意味着是限制性的。
设备9000可以包括压力改变设备9067与设备9000之间的可选的歧管9065。歧管9065可以包括一个或多个阀门(未示出)，该一个或多个阀门经由管道将触觉组件9062中的每个触觉组件与压力改变设备9067进行气动耦接。在一些实施例中，歧管9065与控制器9075通信，并且控制器9075控制歧管9065的一个或多个阀门(例如，控制器生成一个或多个控制信号)。歧管9065被配置为基于来自控制器9075的一个或多个控制信号，将压力改变设备9067与相同或不同的设备9000的一个或多个触觉组件9062可切换地耦接。在一些实施例中，设备9000可以包括多个压力改变设备9067，其中每个压力改变设备9067直接与单个(或多个)触觉组件9062进行气动耦接，而不是使用歧管9065将压力改变设备9067与触觉组件9062进行气动耦接。在一些实施例中，压力改变设备9067和可选的歧管9065被配置为一个或多个设备9000(未示出)的一部分，而在其它实施例中，压力改变设备9067和可选的歧管9065被配置为在设备9000外部。单个压力改变设备9067可以由多个设备9000共享。
在一些实施例中，压力改变设备9067是气动设备、液压设备、气动液压设备、或能够添加介质(例如，流体、液体、气体)并从一个或多个触觉组件9062去除介质的一些其它设备。
图18A至图18C中所示的设备可以经由有线连接(例如，经由总线)而被耦接。可替代地，图18A至图18C中所示的设备中的一个或多个设备可以(例如，经由短距离通信信号)被无线连接。
存储器9078包括指令和数据，指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器9078内。例如，存储器9078可以包括：一个或多个操作***9079；一个或多个通信接口应用9081；一个或多个互操作性模块9084；一个或多个AR处理应用9085；一个或多个数据管理模块9086；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
存储器9078还包括可以结合上述应用中的一个或多个应用使用的数据9088。数据9088可以包括：设备数据9090；传感器数据9091；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
已经如此描述了***框图并且然后描述了示例设备，现在将注意力转向某些示例实施例。
示例实施例
现在转向先前描述的方法、设备、***和计算机可读存储介质的一些示例实施例。
(A1)在一方面，一些实施例包括使用多阶段空中手势来激活用户界面交互的方法(例如，方法800)。在一些实施例中，该方法在具有存储器(例如，存储器6080)和一个或多个处理器(例如，一个或多个处理器6079)的可穿戴设备(例如，腕式可穿戴设备120)处执行。该方法包括：(i)经由用户(例如，用户115)穿戴的腕式可穿戴设备的一个或多个传感器(例如，传感器6021)接收从用户执行多阶段空中手势产生的数据(例如，传感器数据6089A)；(ii)根据确定多阶段空中手势的第一阶段是启动手势(例如，图1B中的捏合手势)，激活用户界面(例如，呈现放射式菜单131)；以及(iii)根据确定多阶段空中手势的最后阶段是在启动手势的预定义阈值时间量内接收到的控制手势(例如，图1D的轻击手势)，执行与控制手势对应的针对用户界面的命令。
在一些实施例中，可穿戴设备是腕式可穿戴设备，诸如智能手表(例如，腕式可穿戴设备120)。在一些实施例中，可穿戴设备包括惯性测量单元(IMU)。在一些实施例中，可穿戴设备是头部可穿戴设备，诸如智能眼镜(例如，头部可穿戴设备202)。本文中所描述的方法除了在可穿戴设备处执行之外，还可以在包括腕式可穿戴设备和头部可穿戴设备两者以及其它硬件附件或部件的人工现实***(例如，***5000a)处执行。
在一些实施例中，在用户完成执行本文中所描述的空中手势之前，通过使用来自一个或多个神经肌肉信号传感器的数据来检测该空中手势，从而例如在完成该空中手势之后检测执行该空中手势的意图，该空中手势可以被单独检测或基于用户执行空中手势的意图而确定。
在一些实施例中，本文中所描述的空中手势包括用户的手腕、肘部和肩部的运动(例如，手臂抬起或挥手手势)。在一些实施例中，空中手势是不接触可穿戴设备的手势。
在一些情况下，要求存在启动手势和控制手势这两者减少了(例如来自用户无意地执行手势的)误报。在一些实施例中，从由一个或多个EMG传感器收集的数据识别启动手势和控制手势。在一些实施例中，从由IMU传感器收集的数据识别启动手势，并且作为响应，激活EMG传感器(例如，以检测后续的控制手势)。在一些实施例中，多阶段手势的每个阶段由EMG传感器、或IMU传感器、或这两个传感器的组合来检测。在一些实施例中，使用其它类型的传感器来检测多阶段手势的至少一个阶段(例如，经由光学传感器和EMG传感器检测手势的阶段)。
(A2)在A1的一些实施例中：(i)启动手势包括捏合并保持手势，其中用户的手的至少两个指骨保持接触至少预设时间量；以及(ii)激活用户界面包括：在维持捏合并保持手势的同时在用户界面内显示多个可选择的用户界面元素(例如，如图1B至图1D所示)。在一些实施例中，捏合并保持手势使用两个指骨(例如，中指和拇指)。在一些实施例中，多阶段手势的每个阶段具有对应的手势力(例如，经由EMG传感器检测)，其中用于每个阶段的手势类型是基于对应的手势力量。
在一些实施例中，用户不太可能无意地执行的手势被指定为启动手势。例如，中指和拇指捏合手势被指定为启动手势，而食指和拇指捏合手势不被指定为启动手势。
(A3)在A2的一些实施例中，该方法还包括：根据基于来自腕式可穿戴设备的一个或多个传感器的数据确定捏合并保持手势不再被维持，来停止显示多个可选择的用户界面元素。在一些实施例中，激活用户界面还包括：根据捏合并保持手势被释放，停止显示多个可选择的用户界面元素。例如，在图1E中，用户115已经释放了图1D中所示的捏合手势，并且放射式菜单131不再被显示。
(A4)在A2或A3的一些实施例中，捏合并保持手势是利用在穿戴着腕式可穿戴设备的用户的手上的手指和拇指(例如，中指和拇指捏合)来执行的。
(A5)在A2至A4中的任何一个的一些实施例中：(i)多阶段空中手势还包括导航阶段；(ii)导航阶段包括用户的手腕的旋转，以在用户界面中的多个用户界面元素中导航并从多个用户界面元素中选择所选择的用户界面元素(例如，图1C示出了用户经由手腕的旋转来导航放射式菜单131)；以及(iii)控制手势包括对捏合并保持手势进行释放，以执行针对所选择的用户界面元素的命令(例如，如图1E中所示)。
(A6)在A2至A4中的任何一个的一些实施例中：(i)多阶段空中手势还包括导航阶段；以及(ii)导航阶段包括至少两个指骨中的第一指骨在该至少两个指骨中的第二指骨的表面上的滑动运动，第一指骨和第二指骨位于用户的手的不同手指。例如，启动阶段包括捏合手势，导航阶段包括处于捏合的一个指骨在捏合手势中的另一指骨的表面上的滑动运动，并且控制阶段包括捏合的力超过预设阈值的深捏合。
(A7)在A2至A4或A6中的任何一个的一些实施例中：(i)经由在用户的手的至少两个指骨之间的按压力来维持捏合并保持手势，该按压力不满足预设激活标准；(ii)控制手势包括用户的手的至少两个指骨之间的按压力的增加，使得按压力变为增加的按压力；以及(iii)根据满足预设激活标准的增加的按压力来执行命令。在一些实施例中，(i)捏合并保持手势在手指之间具有对应的力，该对应的力不满足预设激活标准；(ii)控制手势包括手指之间的力的增加；以及(iii)根据满足预设激活标准的力(例如，如先前关于图1D和图1F描述的)来执行命令。
在一些实施例中，存在针对手势的力的多个阈值。例如，启动手势包括力低于第一阈值的捏合；第一控制手势包括力高于第一阈值但低于第二阈值的捏合；并且第二控制手势包括力高于第二阈值的捏合。在该示例中，启动手势可以使菜单被显示，第一控制手势可以将菜单更新为包括初始响应于启动手势而没有显示的一个或多个元素，并且第二控制手势可以选择(激活)菜单中的突显的元素。
(A8)在A1至A7中的任何一个的一些实施例中，该方法还包括：基于启动手势和控制手势的组合来识别针对用户界面的命令。例如，用户界面响应多种启动手势，该多种启动手势用于启动不同类型的命令。在该示例中，对于每种启动手势，存在多个命令手势以从特定类型的多个命令中识别命令。这样，基于启动手势和控制手势两者来识别要执行的特定命令。
(A9)在A1至A8中的任何一个的一些实施例中，激活用户界面包括：呈现在激活用户界面之前未呈现的用户界面元素。例如，激活针对用户界面的命令，其中这些命令对应于附加手势。在一些实施例中，激活用户界面还包括：激活腕式可穿戴设备的一个或多个传感器。在一些实施例中，激活用户界面包括：启用用户界面的显示器。在一些实施例中，激活用户界面包括：更新用户界面的显示(例如，以显示先前未显示的菜单)。
(A10)在A1至A9中的任何一个的一些实施例中，该方法还包括：响应于启动手势，激活腕式可穿戴设备的显示器。在一些实施例中，激活显示器包括：增加供应给显示器的电力和/或增加显示器的亮度。在一些实施例中，腕式可穿戴设备不包括显示器，并且响应于启动手势，腕式可穿戴设备(例如通过对附加传感器和/或附加传感器逻辑通电)转换到响应控制手势的状态。在一些实施例中，腕式可穿戴设备包括显示器，并且激活用户界面包括：对腕式可穿戴设备的显示器供电。在一些实施例中，启动手势激活与腕式可穿戴设备分离的显示器(例如，头部可穿戴设备的显示器、电视的显示器或监视器的显示器)。在一些实施例中，激活显示器包括：向远程显示器发送指令以使其激活。例如，腕式可穿戴设备向头部可穿戴设备发送指令，以指示头部可穿戴设备激活其显示器。
(A11)在A1至A10中的任何一个的一些实施例中，该方法还包括：响应于启动手势，激活头部可穿戴设备的显示器。在一些实施例中，激活显示器包括：增加供应给显示器的电力和/或增加显示器的亮度。
(A12)在A1至A11中的任何一个的一些实施例中，该方法还包括：(i)接收从用户执行第二多阶段空中手势产生的数据；(ii)根据确定第二多阶段空中手势的第一部分是启动手势，激活用户界面；以及(iii)根据确定在启动手势的预定时间量内没有检测到控制手势，去激活用户界面(例如，如上关于图5A至图5D所述)。
在一些情况下，启动手势可能误报，并且因此，如果在之后的短时间内没有执行控制手势，则去激活用户界面，以防止执行不期望的命令。此外，如果执行了第二空中手势，但第二空中手势不是与启动手势对应的控制手势，则可以去激活用户界面(例如，如果用户界面是特定于启动手势的)。在一些实施例中，根据对命令进行执行，来去激活用户界面。在一些实施例中，在设置的时间量(例如，从执行命令起的设置的时间量或从激活起的设置的时间量)之后去激活用户界面。
(A13)在A1至A3、A5或A7至A12中的任何一个的一些实施例中，控制手势包括穿戴着腕式可穿戴设备的手腕的旋转运动。例如，手腕旋转被用于确认用户希望激活哪个用户界面(UI)元素。作为示例，当向远程用户发送消息时，发送动作通过手腕转动来选通以进行确认。在一些实施例中，使用可以与用于检测启动手势的一种类型的传感器(例如，神经肌肉信号传感器)不同的一种类型的传感器(例如，IMU传感器)来检测用户的手腕的旋转。这样，来自EMG传感器的数据可被用于启动EMG控制的动作，这可以帮助减少误报，这是因为IMU手腕转动手势可能在日常使用期间被错误地执行，但是利用有意的EMG手势启动IMU传感器有助于确保以较低的误报率(例如，降低到低于5％的误报率)正确地检测IMU手势。旋转运动可以是腕式可穿戴设备的转动轴(例如，围绕用户的手腕圆周延伸的轴)内的旋转运动。
(A14)在A1至A13中的任何一个的一些实施例中，激活用户界面包括：使多个用户界面元素被显示在用户界面内。在一些实施例中，所显示的菜单是放射式菜单或网格菜单。在一些实施例中，多个用户界面元素被显示在菜单、窗口或应用界面内。
(A15)在A14的一些实施例中，激活用户界面包括：使多个用户界面元素被显示预设时间量，并且当在预定义阈值时间量内没有检测到控制手势时，自动停止显示该多个用户界面元素，而无需来自用户的进一步指令。在一些实施例中，激活用户界面包括：使多个用户界面元素被显示预设时间量，并且当在预定时间量内没有检测到控制手势时，自动停止显示该多个用户界面元素。
在一些实施例中：(i)在腕式可穿戴设备处检测第二空中手势；(ii)根据确定第二空中手势是启动手势，使菜单被显示；以及(iii)根据确定第二空中手势不包括控制手势，停止显示菜单。在一些实施例中，在停止检测启动手势之后，菜单被显示预设时间量。
(A16)在A14或A15的一些实施例中，该方法还包括：根据(或结合)执行命令，去激活用户界面，去激活用户界面包括：停止显示多个用户界面元素。在一些实施例中，根据执行该命令，用户界面被关闭(或去激活)，但是显示器不被关闭(或去激活)。在一些实施例中，根据执行该命令，去激活显示器和用户界面。在一些实施例中，显示器和/或用户界面是否被去激活取决于被激活的命令的类型。
(A17)在A1或A8至A16中的任何一个的一些实施例中：(i)启动手势包括：用户的手的至少一个手指连续两次接触用户的手的至少一部分的双击手势；(ii)控制手势包括：用户的手的至少两个手指触摸并相互滑动的响指手势；以及(iii)基于启动手势和控制手势识别的命令包括：利用通信地耦接到腕式可穿戴设备的成像设备来捕获视频。用户的手的至少一个手指连续两次接触用户的手的至少一部分的双击手势包括：在彼此之间的预设时间阈值内检测到两次轻击(例如，在彼此之间的10、20或30毫秒内检测到两次轻击)。在一些实施例中，使用中指在食指上执行双击手势。然而，可以使用其它手指来执行双击手势。在一些实施例中，成像设备是智能电话的部件、头部可穿戴设备的部件或腕式可穿戴设备的部件。
(A18)在A17的一些实施例中，该方法还包括：(i)接收从用户执行第二多阶段空中手势产生的数据，其中：(a)第二多阶段空中手势的启动手势包括单轻击手势；(b)第二多阶段空中手势的控制手势包括响指手势；以及(ii)根据第二多阶段空中手势的启动手势和控制手势，执行与所述命令不同的新命令，新命令包括：利用成像设备捕获图像。在一些实施例中，图像包括静态图像。在一些实施例中，多幅图像(例如在多次曝光时)被捕获并被融合以创建完成的图像。例如，捕获图像包括：捕获高动态范围(High Dynamic Range，HDR)图像。
(A19)在A1至A18中的任何一个的一些实施例中，激活用户界面包括：使一个或多个选项被呈现给用户，该一个或多个选项对应于可用控制手势，各可用控制手势包括作为多阶段空中手势的最后阶段的控制手势。在一些实施例中，激活用户界面包括：使一个或多个选项被呈现给用户，该一个或多个选项对应于可用控制手势(例如，图6C中所示的选项606)。
(A20)在A1至A19中的任何一个的一些实施例中，该方法还包括：在确定多阶段空中手势的最后阶段是控制手势之后，并且在执行命令之前，使确认被呈现给用户，该确认请求用户确认对该命令的执行是用户想要的，其中，响应于用户确认对该命令的执行是想要的，执行命令。例如，响应于检测到多阶段空中手势，可穿戴设备使通知被显示给用户，该通知指示该命令响应于多阶段空中手势而被执行，并向用户提供确认或拒绝执行该命令的选项。在一些实施例中，该方法还包括：在确定多阶段空中手势的最后阶段是控制手势之后，并且在执行命令之前，使确认被呈现给用户，该确认请求用户确认对该命令的执行是用户想要的，其中，响应于用户确认对该命令的执行是想要的，执行该命令。
(A21)在A1至A20中的任何一个的一些实施例中：(i)在第一用户界面元素在用户界面内聚焦时，执行启动手势，以及(ii)该方法还包括：(a)结合激活用户界面，使得显示用于与第一用户界面元素交互的多个选项，该多个选项中的每个选项与针对用户界面的相应命令相关联；以及(b)根据确定在多阶段空中手势的最后阶段之前检测到的、多阶段空中手势的第二阶段是导航手势，在用于与第一用户界面元素交互的该多个选项中导航，直到该多个选项中的相应选项在用户界面内聚焦为止，该多个选项中的相应选项与所述命令相关联，以及(iii)在相应选项在用户界面内保持聚焦的同时执行控制手势，从而使得执行与相应选项相关联的命令。在一些实施例中，(i)激活用户界面包括：将焦点给予用户界面的第一用户界面元素；以及(ii)该方法还包括：(a)根据将焦点给予第一用户界面元素，使得显示用于与第一用户界面元素交互的多个第一选项；(b)根据确定多阶段空中手势的第二阶段是导航手势，将焦点移动到用户界面的第二用户界面元素；以及(c)根据将焦点移动到第二用户界面元素，使得显示用于与第二用户界面元素交互的多个第二选项，其中，该多个第二选项不同于该多个第一选项。
例如，哪个元素当前聚焦还可以使得放射式菜单的各选项发生改变。如果当检测到启动手势时焦点处于第一UI对象，则多个用户界面元素是与第一UI对象相关联的第一多个用户界面元素。如果当检测到启动手势时焦点处于与第一UI对象不同的第二UI对象，则多个用户界面元素是与第二UI对象相关联的第二多个用户界面元素。例如，可用的命令和对应的控制手势是基于哪个用户界面元素具有焦点。
(A22)在A1至A21中的任何一个的一些实施例中，腕式可穿戴设备的一个或多个传感器包括惯性测量单元(IMU)传感器和肌电图传感器中的一个或多个。
(B1)在另一方面，一些实施例包括一种用于选通调整手势的方法。该方法包括：(i)在维持选通空中手势(例如，图7B中的捏合手势)的同时，接收对执行第一量级(例如，在手腕转动手势期间手腕行进的速度和/或距离)的调整空中手势(例如，如图7D中所示的手腕转动手势)的第一指示，第一量级的调整空中手势指向经由头部可穿戴设备(例如，头部可穿戴设备202)呈现的用户界面对象(例如，图7D中的菜单704)，该用户界面对象与多个值(例如，对应于用户界面元素706)相关联；(ii)响应于接收到对执行第一量级的调整空中手势的第一指示，在基于第一量级移动经过该多个值中的一些值(例如，如图7D中所示滚动菜单704)之后，将用户界面对象调整为具有第一状态；(iii)在接收到释放选通空中手势的指示之后，响应于接收到执行调整空中手势的第二指示，放弃调整用户界面对象，使得用户界面对象继续具有第一状态；(iv)在再次维持选通空中手势的同时，接收执行与第一量级不同的第二量级的调整空中手势的第三指示，在用户界面对象具有第一状态时，第二量级的调整空中手势指向该用户界面对象；以及(v)响应于接收到执行第二量级的调整空中手势的第三指示，调整用户界面对象以基于第二量级移动经过该多个值中的更多值，使得用户界面对象具有不同于第一状态的第二状态(例如，如图7E所示，将菜单704滚动到用户界面元素706-4)。
作为示例，一旦选通手势被释放，用户可以将其手腕返回到其原始位置，然后利用调整空中手势再次执行选通手势，使得连续导航/调整用户界面元素。在一些实施例中，第一状态是在调整之后出现的UI对象的状态(并且不同于调整发生之前的、该UI对象的状态)。
在一些实施例中，第一指示包括来自不同设备(诸如包括神经肌肉信号传感器的腕式可穿戴设备)的与对调整空中手势的执行有关的数据。在一些实施例中，该多个值对应于菜单的多个可选择的选项、应用(诸如照片应用或消息传递应用)内的多个位置、音量滑块条的多个音量水平等。
(B2)在B1的一些实施例中，选通空中手势是用户的手指接触用户的拇指至少预定阈值时间量(例如，至少500毫秒、1秒或1.5秒)的空中捏合手势。
(B3)在B2的一些实施例中，该方法还包括：在用户界面对象具有第二状态的同时接收到释放选通空中手势的指示之后，使得响应于接收到对如下的指示，从用户界面对象内选择选项：选通空中手势包括持续少于预定阈值时间量的用户的手指与用户的拇指之间的接触。例如，如果选通手势(例如，拇指到食指捏合)被维持至少预定阈值时间量，则可以将该选通手势识别为选通手势，但是如果该选通手势持续较短时间段，则将该选通手势识别为选择手势。例如，图7G示出了，捏合手势729使得选择用户界面元素706-4(如图7F所示)。
(B4)在B1至B3中的任何一个的一些实施例中：(i)第一量级的调整空中手势是空中手腕转动手势，其中用户的手腕基本上围绕中心点在旋转方向上旋转(例如，在中心点的5度、10度或15度内)，以及(ii)将用户界面对象调整为具有第一状态还基于：根据旋转方向(例如，图7H中所示的捏和转手势)移动经过所述多个值中的一些值。例如，如果菜单是竖直菜单，则向左的旋转方向可以使得竖直菜单向上滚动，反之亦然。例如，如果菜单是水平菜单，则向左的旋转方向可以使得在向左方向上移动经过水平菜单，反之亦然。相同的行为/关系可被用于具有一定滑动尺度的值的UI对象(例如，音量滑块条)。
(B5)在B1至B3中的任何一个的一些实施例中，调整空中手势是用户的手的平移运动(例如，图7K中所示的平移手势)，其中用户的手在不同的第一空间位置和第二空间位置之间移动一定距离。
(B6)在B1至B5中的任何一个的一些实施例中，用户界面对象是音量滑块，并且所述多个值对应于音量滑块的相应音量级别。
(B7)在B1至B5中的任何一个的一些实施例中，用户界面对象是具有在竖直方向上显示的消息的聊天线程，并且所述多个值中的每个值对应于聊天线程内的相应竖直位置(例如，图7H中所示的消息732和/或图7O中所示的消息774)。
(B8)在B1至B5中的任何一个的一些实施例中，用户界面对象是包括多个可选择的选项的菜单，并且所述多个值中的每个值对应于该多个可选择的选项中的相应可选择的选项(例如，图7A中的菜单704和/或图7P中的菜单778)。
(B9)在B8的一些实施例中，菜单与消息传递应用相关联，并且该多个可选择的选项包括表情和快速响应消息(例如，图7P中的菜单778)。
(B10)在B1至B9中的任何一个的一些实施例中：(i)该调整空中手势的第一量级对应于与执行对第一量级的空中手势的调整相关联的速度和距离中的一个或两者，以及(ii)该调整空中手势的第二量级对应于与执行对第二量级的空中手势的调整相关联的速度和距离中的一个或两者(例如，在图7B中通过箭头714指示第一量级，并且在图7D中通过箭头724指示第二量级)。
(B11)在B1至B10中的任何一个的一些实施例中，使用与头部可穿戴设备(例如，头部可穿戴设备202)通信的腕式可穿戴设备(例如，腕式可穿戴设备120)的一个或多个传感器，来检测第一量级的调整空中手势的执行、选通空中手势的执行、选通空中手势的释放、以及第二量级的调整空中手势的执行。例如，中间设备(例如，HIPD 8000)可被用于辅助处理传感器信号(例如，EMG信号)以帮助检测手势。作为另一示例，来自腕式可穿戴设备和/或中间设备的数据可以被传送到头部可穿戴设备以允许其进行适当的UI调整。
(B12)在B11的一些实施例中，腕式可穿戴设备的一个或多个传感器包括多个神经肌肉信号传感器(例如，图15A中的传感器6013)。
(B13)在B11或B12的一些实施例中，腕式可穿戴设备(例如，腕式可穿戴设备6000)不包括显示器。例如，腕式可穿戴设备被用作与头部可穿戴设备一起使用的、用于基于EMG和/或IMU(和/或其它传感器信号)的手势的手势检测设备，并且腕式可穿戴设备没有其自己的显示器。
(B14)在B1至B13中的任何一个的一些实施例中，该方法还包括：(i)基于头部可穿戴设备的一个或多个传感器(例如，注视跟踪传感器和/或IMU跟踪头部位置传感器)确定用户的关注已经从用户界面对象转移到经由头部可穿戴设备呈现的新用户界面对象；以及(ii)在用户的关注保持在新用户界面对象上的同时，在执行调整空中手势的同时保持执行选通空中手势使得调整新用户界面对象而不是所述用户界面对象。
(B15)在B14的一些实施例中，调整新用户界面对象不同于将所述用户界面对象调整为具有第一状态。例如，不同的UI调整可用于/激活不同类型的UI元素(例如，滚动菜单，而不是调整滑动条的值)。
(C1)在一方面，一些实施例包括一种将多阶段空中手势用于用户界面交互的方法。在一些实施例中，该方法在具有存储器(例如，存储器6080)和一个或多个处理器(例如，一个或多个处理器6079)的可穿戴设备(例如，腕式可穿戴设备120)处执行。在一些实施例中，该方法在计算***(例如，包括多个设备，诸如可穿戴设备和中间设备)处执行。该方法包括：(i)经由用户穿戴的腕式可穿戴设备的一个或多个传感器接收从用户执行多阶段空中手势产生的数据，(ii)根据确定多阶段空中手势的第一阶段是启动手势，识别用户的身体部位的初始位置，以及(iii)根据确定多阶段空中手势的第二阶段是导航手势，在导航手势的执行期间基于身体部位的位置相对于初始位置的改变来在用户界面中导航，其中，导航速度是基于身体部位的位置改变。例如，响应于检测到用户115的手腕在第一方向上(例如，顺时针)旋转，***引起向右导航(例如，焦点在用户界面内向右移动和/或用户界面元素向左移动)。图10B示出了顺时针手腕旋转手势和在用户界面1220内向右的对应导航。继续该示例，响应于检测到用户115的手腕在第二方向上(例如，逆时针)旋转，***引起向左导航(例如，焦点在用户界面内向左移动和/或用户界面元素向右移动)。图10H示出了逆时针手腕旋转手势和在用户界面1220内向左的对应导航。在一些实施例中，导航的速度是基于在导航手势的执行期间身体部位的移动的速度和/或距离(例如，根据图11A至图11C中所示的曲线图)。例如，导航是基于手腕旋转、横向手臂移动和/或其它身体部位移动的速度和/或量。
(C2)在C1的一些实施例中，该方法还包括：根据确定多阶段空中手势的第一阶段是启动手势，在用户界面内显示多个可选择的用户界面元素和/或向用户提供指示用户可以执行附加手势的反馈。在一些实施例中，启动手势使得用户界面变得响应来自用户的附加手势(例如，在维持启动手势的同时和/或在释放启动手势之后的设置的时间量内)。
(C3)在C1或C2的一些实施例中，基于身体部位的位置改变在用户界面中导航包括：以第一方式导航(例如，导航页面和/或文件的章节)。在一些实施例中，该方法还包括：根据确定多阶段空中手势的第三阶段是另一导航手势，在该另一导航手势的执行期间基于身体部位的位置相对于初始位置的改变，以第二方式在用户界面中导航(例如，导航文件的句子)。在一些实施例中，多阶段空中手势包括第一导航手势(例如，在维持启动手势的同时)和在第一导航手势之后的第二导航手势(例如，另一种类型的导航手势)(例如，如先前关于图12A至图12D所述)。例如，用户可以执行从一个位置到另一位置的平移以滚动浏览多个用户界面元素，停止平移，并且然后旋转其手腕以进一步滚动浏览该多个用户界面元素。
(C4)在C3的一些实施例中，该方法还包括：根据确定多阶段空中手势的第四阶段是控制手势，执行与控制手势对应的针对用户界面的命令。在一些实施例中，当检测到控制手势时，控制手势使得激活与具有焦点的用户界面元素相关联的功能。
(C5)在C3或C4的一些实施例中，所述导航手势与所述另一导航手势不同。在一些实施例中，所述导航手势是手平移手势(例如，如先前关于图10B至图10H所述)，并且所述另一导航手势是手腕旋转手势(例如，如先前关于图9B至图9E所述)。在一些实施例中，所述导航手势和所述另一导航手势是相同类型的导航手势(例如，旋转手势或平移手势的两个实例)。
(C6)在C1至C5中的任何一个的一些实施例中，启动手势是维持手势，并且该方法还包括：(i)响应于启动手势，激活用户界面；以及(ii)根据确定多阶段空中手势的第三阶段包括释放所述维持手势，去激活用户界面。例如，用户界面仅在启动手势被维持的同时(并且可选地，在释放启动手势之后的预设时间量)才被激活。在一些实施例中，当用户释放启动手势时(例如，如先前关于图9D所述)，去激活用户界面，并且还结束多阶段空中手势(例如，结束与多阶段空中手势的第二阶段相关联的导航手势)。在一些实施例中，对所述维持手势的释放被***解释为控制手势，之后是多阶段手势的结束。
(C7)在C1至C6中的任何一个的一些实施例中，该方法还包括：(i)经由腕式可穿戴设备的一个或多个传感器接收从执行第二多阶段空中手势产生的数据，(ii)根据确定第二多阶段空中手势的第一阶段是另一启动手势，确定用户的身体部位的第二初始位置并激活用户界面，以及(iii)根据确定第二多阶段空中手势的第二阶段是另一导航手势，在该另一导航手势的执行期间基于身体部位的位置相对于第二初始位置的改变来在用户界面中导航，其中针对该另一导航手势的导航速度是基于身体部位的位置相对于第二初始位置的改变。在一些实施例中，所述启动手势和所述另一启动手势是相同手势(例如，捏合手势)的实例。在一些实施例中，所述启动手势和所述另一启动手势是不同手势的实例(例如，一个是捏合手势，并且另一个是握拳手势)。在一些实施例中，所述导航手势和所述另一导航手势是相同手势(例如，手腕转动手势)的实例。在一些实施例中，所述导航手势和所述另一导航手势是不同手势的实例(例如，一个是手腕转动手势，并且另一个是手平移手势，如先前关于图12A至图12D所述)。
(C8)在C1至C7中的任何一个的一些实施例中，所述导航手势包括将用户的手从初始位置平移到第二位置。例如，在用户维持启动手势(例如，捏合并保持手势)的同时，用户在平面上移动其手以在一个或多个用户界面元素中导航(例如，如先前关于图9C至图9E所述)。在一些实施例中，导航的速度是基于初始位置与第二位置之间的距离。
(C9)在C8的一些实施例中，在用户界面中的导航速度与用户将其手从初始位置平移到第二位置的速度和/或距离成比例。例如，用户移动其手越快，***在用户界面的用户界面元素中导航得越快(例如，如先前关于图9B至图9E所述)。例如，如果用户试图选择日历日期，则用户可以在缓慢移动其手的同时具有精确选择能力。在该示例中，如果用户想跳过多个日期，其可以在移动相同的距离的同时更快地移动其手来滚动更多的日期。例如，用户将其手滑动得越远，可用的数字范围越大，并且针对类似的距离，用户将其手的滑动得越快，滚动的数字越多。
(C10)在C1至C9中的任何一个的一些实施例中，导航手势包括用户的手腕在第一方向或第二方向上的旋转。例如，用户旋转其手腕以在多个用户界面元素中导航(例如，如先前关于图10A至图10H所述)。
(C11)在C10的一些实施例中，导航速度与用户的手腕的旋转角度成比例。例如，如果用户略微旋转其手腕，则在用户界面元素中导航得较慢(例如，更受控制)，并且如果用户更剧烈地旋转其手腕，则在用户界面元素中导航得更快(例如，更快地在各项中移动)。
(C12)在C1至C11中的任何一个的一些实施例中，导航速度是基于身体部位的位置改变的三次函数。在一些实施例中，不同的曲线(例如，线性函数(图11A)、阶跃函数(图11B)和三次函数(图11C))被用于确定在用户界面元素中导航得多快。在一些实施例中，取决于激活的应用和/或哪种类型的元素具有焦点，选择不同的曲线。
(C13)在C1至C11中的任何一个的一些实施例中，导航速度是基于身体部位的位置改变的阶跃函数。例如，图10B至图10H示出了根据阶跃函数的导航的示例。
(C14)在C1至C11中的任何一个的一些实施例中，导航速度是基于身体部位的位置改变的线性函数。例如，图9B至图9E示出了根据线性函数的导航的示例。
(C15)在C1至C14中的任何一个的一些实施例中，在用户界面中导航包括：在检测到导航手势的同时：(i)根据身体部位的位置改变小于第一阈值，放弃在用户界面中导航，以及(ii)根据身体部位的位置改变大于第一阈值，在用户界面中导航。在一些实施例中，导航的速度是低于第一阈值的零(例如，存在如图10B中的曲线图所示的死区)。在一些实施例中，导航的速度在身体部位的位置改变超过第一阈值时与身体部位的位置改变成比例(例如，如图12B至图12D所示)。在一些实施例中，在位置改变超过第一阈值时，速度是基于阶跃函数、线性函数、三次函数和/或另一函数。
(C16)在C15的一些实施例中，在用户界面中导航还包括：(i)根据确定身体部位的位置改变大于第一阈值且小于第二阈值，以第一速度在用户界面中导航，以及(ii)根据确定身体部位的位置改变大于第二阈值，以大于第一速度的第二速度在用户界面中导航。例如，当用户旋转其手腕经过初始位置时，用户以第一速度在用户界面中导航(例如，如图10D所示)。例如，第一速度以一定的进度缓慢地且单个地滚动数字，使得用户非常精细地控制其想要选择的数字。继续该示例，当用户旋转其手腕经过第一阈值时，用户以与第一速度不同的第二速度在用户界面中导航。例如，在用户正在轮换多个数字并想要从1跳到20的情况下，这些数字可以以更快的速度滚动，以跳过其它数字。
在一些实施例中，在初始位置与第一阈值之间定义了死区。例如，在死区中，用户可以旋转其手腕，但不在用户界面中导航。在一些实施例中，一旦用户旋转其手腕经过第一阈值(死区)，用户就以立方的尺度在用户界面中导航(例如，如图11C所示)。
(C17)在C1至C16中的任何一个的一些实施例中，该方法还包括：根据确定多阶段空中手势的第二阶段是导航手势，使得在用户界面中显示导航指示符(例如，用户界面元素1326)，其中导航指示符指示导航速度。例如，导航指示符向用户提供与导航速度、旋转角度、导航距离和/或导航方向有关的信息。例如，当用户在执行启动手势之后将其手腕旋转经过初始位置时，显示指示用户相对于初始位置已经旋转了其手腕多远的指示符。因此，在用户旋转其手腕以在用户界面项中导航时，用户具有与其当前导航得怎样有关的视觉提示。导航指示符可以通过帮助确保用户理解其手势如何影响用户界面，来提高清楚性和效率。
(C18)在C1至C17中的任何一个的一些实施例中，该方法还包括：根据确定身体部位的位置改变满足一个或多个标准，停止增加导航速度并向用户提供指示导航速度处于上限的反馈(例如，用户界面元素1332)。在一些实施例中，经由用户界面向用户提供反馈(例如，作为指示符和/或图标)。在一些实施例中，经由触觉反馈(例如，在腕式可穿戴设备和/或头部可穿戴设备处)将反馈提供给用户。在一些实施例中，提供反馈包括：提供音频反馈、触觉反馈和/或视觉反馈。提供导航速度处于上限的反馈通知用户其可以停止移动身体部位，因为进一步的移动不会增加速度。作为示例，在用户正在用户界面项中导航时，一旦身体部位的位置改变满足一个或多个标准(例如，最大距离阈值)，则导航速度受限，并且对应的导航处于最大速度。例如，如果用户继续移动身体部位经过距离阈值，则速度被维持在最大导航速度。在一些实施例中，最大速度与导航的方向无关。例如，在第一方向上导航(例如，向右滚动)时的最大速度与在第二方向上导航(例如，向左滚动)时的最大速度相同。
(C19)在C1至C18中的任何一个的一些实施例中，启动手势是由用户的至少两个指骨执行的维持手势。在一些实施例中，启动手势是由用户执行的维持捏合手势。例如，用户界面在启动手势被维持时被激活，并且在启动手势被释放时被去激活。
(C20)在C1至C18中的任何一个的一些实施例中，该方法还包括：根据确定多阶段空中手势的第一阶段是启动手势，启动用于检测一个或多个后续多阶段手势的预定时间窗口(例如，1秒、2秒、5秒或10秒)。例如，***响应在预定时间窗口内检测到的后续导航/控制手势，但不响应在预定时间窗口已经过去之后执行的后续导航/控制手势(除非后续导航/控制手势由不同的启动手势进行)。在一些实施例中，不维持启动手势，而是启动用于检测后续多阶段空中手势的预定义窗口。
在一些实施例中，利用光学传感器(例如，相机)或与惯性测量单元(IMU)相关联的传感器来检测以上(例如关于A1至A22、B1至B15和C1至C20)所述的各手势中的一个或多个手势，而不利用一个或多个神经肌肉信号传感器(或除了利用一个或多个神经肌肉信号传感器以外还利用上述传感器，经由对传感器输入进行融合，以检测本文中所描述的各种空中手势)。在一些实施例中，以上(例如关于A1至A22、B1至B15和C1至C20)所述的一个或多个手势被用户身体的其它部位执行的姿势(例如，头部姿势、腿部姿势或躯干姿势)替代。作为一个示例，可以使用神经肌肉信号传感器、来自IMU的数据和相机中的一个或多个来检测空中启动手势；作为另一示例，控制手势可以是用户摇头(如同用户在指示“否”)或用户点头(如同用户在指示“是”)。
在一些实施例中，可穿戴设备检测通过用户的脖子或背部行进的神经肌肉信号，在一些示例实施例中，这可以使用与VR护目镜(goggles)或AR眼镜耦接的神经肌肉信号传感器来完成。在一些实施例中，用对控制器(例如，手持控制器或脚踏控制器)的空中手势来替代(或执行)以上(例如关于A1至A22、B1至B15、C1至C20)所述的一个或多个手势。在一些实施例中，利用音频命令(例如，口语命令或诸如舌头点击的非词语命令)来替代以上(例如关于A1至A22、B1至B15、C1至C20)所述的一个或多个空中手势。
在另一方面，一些实施例包括计算***，该计算***包括一个或多个处理器以及耦接到该一个或多个处理器的存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行本文中所描述的方法(例如，上述方法800、850、1600和A1至A22、B1至B15、C1至C20)中的任何方法的指令。
在又一方面，一些实施例包括存储一个或多个程序的非暂态计算机可读存储介质，该一个或多个程序由计算***的一个或多个处理器来执行，该一个或多个程序包括用于执行本文中所描述的方法(例如，上述方法800、850、1600和A1至A22、B1至B15、C1至C20)中的任何方法的指令。
将理解，虽然术语“第一”、“第二”等在本文中可以被用于描述各种元素，但这些元素不应受这些术语的限制。这些术语仅被用于将一个元素与另一元素区分开。
本文中所使用的术语仅出于描述特定实施例的目的，并不旨在限制权利要求。如在实施例和所附权利要求的描述中所使用的，除非上下文另有明确指示，否则单数形式“一/一个(a)”、“一/一个(an)”和“该/所述(the)”也旨在包括复数形式。还将理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列项中的一个或多个项的任何和所有可能组合。还将理解，术语“包括”和/或“包括……的”在本说明书中使用时，指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元素、部件和/或其组合。
如在本文中所使用的，取决于上下文，术语“如果”可被解释为：“当所陈述的条件先例为真时”；或“在所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“响应于检测到”所陈述的条件先例为真。类似地，取决于上下文，短语“如果确定[所陈述的条件先例为真]”或“如果[所陈述的条件先例为真]”或“当[所陈述的条件先例为真]时”可以被解释为：“在确定所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“在检测到所陈述的条件先例为真时”；或“响应于在检测到”所陈述的条件先例为真。
出于解释的目的，前面的描述已经参考特定实施例进行了描述。然而，上面的说明性讨论并不旨在为详尽的，也不将权利要求限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。选择和描述实施例是为了最好地解释操作的原理和实际应用，从而使本领域其它技术人员能够实现。
Claims (20)
1.一种使用在腕式可穿戴设备处检测到的多阶段空中手势来激活用户界面交互的方法，所述方法包括：
经由用户穿戴的所述腕式可穿戴设备的一个或多个传感器，接收从所述用户执行所述多阶段空中手势产生的数据；
根据确定所述多阶段空中手势的第一阶段是启动手势，激活用户界面；以及
根据确定所述多阶段空中手势的最后阶段是在所述启动手势之后的预定义阈值时间量内接收到的控制手势，执行与所述控制手势对应的针对所述用户界面的命令。
2.根据权利要求1所述的方法，其中：
所述启动手势包括维持捏合并保持手势，在所述捏合并保持手势中，所述用户的手的至少两个指骨保持接触至少预设时间量；
激活所述用户界面包括：在所述捏合并保持手势被维持的同时，在所述用户界面内显示多个可选择的用户界面元素。
3.根据权利要求2所述的方法，还包括：根据基于来自所述腕式可穿戴设备的所述一个或多个传感器的数据确定所述捏合并保持手势不再被维持，来停止显示所述多个可选择的用户界面元素。
4.根据权利要求2所述的方法，其中：
所述多阶段空中手势还包括导航阶段；
所述导航阶段包括所述用户的手腕的旋转，以在所述用户界面中的多个用户界面元素中导航并从多个所述用户界面元素中选择所选择的用户界面元素；并且
所述控制手势包括释放所述捏合并保持手势，以执行针对所述所选择的用户界面元素的命令。
5.根据权利要求2所述的方法，其中：
所述多阶段空中手势还包括导航阶段；并且
所述导航阶段包括所述至少两个指骨中的第一指骨在所述至少两个指骨中的第二指骨的表面上的滑动运动，所述第一指骨和所述第二指骨处于所述用户的手的不同手指。
6.根据权利要求2所述的方法，其中：
所述捏合并保持手势经由所述用户的手的所述至少两个指骨之间的按压力而被维持，所述按压力不满足预设激活标准；
所述控制手势包括增加所述用户的手的所述至少两个指骨之间的按压力，使得所述按压力变为增加的按压力；并且
所述命令是根据所述增加的按压力满足所述预设激活标准而被执行的。
7.根据权利要求1所述的方法，还包括：基于所述启动手势和所述控制手势的组合识别针对所述用户界面的所述命令。
8.根据权利要求1所述的方法，其中，激活所述用户界面包括：呈现在激活所述用户界面之前未呈现的用户界面元素。
9.根据权利要求1所述的方法，还包括：响应于所述启动手势，激活所述腕式可穿戴设备的显示器或头部可穿戴设备的显示器。
10.根据权利要求1所述的方法，还包括：
接收从所述用户执行第二多阶段空中手势产生的数据；
根据确定所述第二多阶段空中手势的第一阶段是所述启动手势，激活所述用户界面；
根据确定在所述启动手势的预定义阈值时间量内没有检测到所述控制手势，去激活所述用户界面。
11.根据权利要求1所述的方法，其中，激活所述用户界面包括：使多个用户界面元素显示在所述用户界面内。
12.根据权利要求11所述的方法，其中：
激活所述用户界面包括：使所述多个用户界面元素被显示预设时间量，并且
当在所述预定义阈值时间量内没有检测到所述控制手势时，在没有来自所述用户的进一步指令的情况下，所述多个用户界面元素被自动停止显示。
13.根据权利要求11所述的方法，还包括：结合执行所述命令，去激活所述用户界面；去激活所述用户界面包括停止显示所述多个用户界面元素。
14.根据权利要求1所述的方法，其中：
所述启动手势包括双击手势，在所述双击手势中，所述用户的手的至少一个手指连续两次接触所述用户的所述手的至少一部分；
所述控制手势包括响指手势，在所述响指手势中，所述用户的手的至少两个手指触摸并相互滑动；并且
基于所述启动手势和所述控制手势识别的所述命令包括：利用通信地耦接到所述腕式可穿戴设备的成像设备来捕获视频。
15.根据权利要求1所述的方法，其中，激活所述用户界面包括：使一个或多个选项被呈现给所述用户，所述一个或多个选项对应于可用的控制手势，所述可用的控制手势包括作为所述多阶段空中手势的最后阶段的所述控制手势。
16.根据权利要求1所述的方法，还包括：
在确定所述多阶段空中手势的最后阶段是所述控制手势之后，并且在执行所述命令之前，使得向所述用户呈现确认，所述确认请求所述用户确认所述命令的执行是所述用户想要的，其中，所述命令是响应于所述用户确认所述命令的执行是想要的而被执行的。
17.根据权利要求1所述的方法，其中：
在第一用户界面元素在所述用户界面内聚焦时，所述启动手势被执行，并且
所述方法还包括：
结合激活所述用户界面，使得显示用于与所述第一用户界面元素交互的多个选项，所述多个选项中的每个选项与针对所述用户界面的相应命令相关联；以及
根据确定所述多阶段空中手势的在所述多阶段空中手势的最后阶段之前检测到的第二阶段是导航手势，在用于与所述第一用户界面元素交互的所述多个选项中导航，直到所述多个选项中的相应选项在所述用户界面内聚焦为止，所述多个选项中的所述相应选项与所述命令相关联，并且
其中，在所述相应选项在所述用户界面内保持聚焦时，所述控制手势被执行，从而使得执行与所述相应选项相关联的命令。
18.根据权利要求1所述的方法，其中，所述腕式可穿戴设备的所述一个或多个传感器包括惯性测量单元IMU传感器和肌电图传感器中的一个或多个。
19.一种***，包括：
一个或多个处理器；以及
耦接到所述一个或多个处理器的存储器，所述存储器包括用于以下操作的指令：
经由用户穿戴的腕式可穿戴设备的一个或多个传感器，接收从所述用户执行多阶段空中手势产生的数据；
根据确定所述多阶段空中手势的第一阶段是启动手势，激活用户界面；以及
根据确定所述多阶段空中手势的最后阶段是在所述启动手势之后的预定义阈值时间量内接收到的控制手势，执行与所述控制手势对应的针对所述用户界面的命令。
20.一种非暂态计算机可读存储介质，包括指令，所述指令在被可穿戴设备执行时，使所述可穿戴设备：
经由用户穿戴的腕式可穿戴设备的一个或多个传感器，接收从所述用户执行多阶段空中手势产生的数据；
根据确定所述多阶段空中手势的第一阶段是启动手势，激活用户界面；以及
根据确定所述多阶段空中手势的最后阶段是在所述启动手势之后的预定义阈值时间量内接收到的控制手势，执行与所述控制手势对应的针对所述用户界面的命令。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/399,188 | 2022-08-18 | ||
| US63/399,187 | 2022-08-18 | ||
| US63/414,880 | 2022-10-10 | ||
| US63/414,884 | 2022-10-10 | ||
| US18/359,855 | 2023-07-26 | ||
| US18/359,855 US20240061513A1 (en) | 2022-08-18 | 2023-07-26 | Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117590934A true CN117590934A (zh) | 2024-02-23 |
Family
ID=89917153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311048811.4A Pending CN117590934A (zh) | 2022-08-18 | 2023-08-18 | 一种使用多阶段手势来激活用户界面交互的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117590934A (zh) |
-
2023
- 2023-08-18 CN CN202311048811.4A patent/CN117590934A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977677B2 (en) | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions | |
| KR102637662B1 (ko) | 디바이스를 이용한 화면 처리 방법 및 장치 | |
| CN110168618B (zh) | 增强现实控制***和方法 | |
| US20190265802A1 (en) | Gesture based user interfaces, apparatuses and control systems | |
| TWI530860B (zh) | 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 | |
| US20240019938A1 (en) | Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof | |
| US20230359422A1 (en) | Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques | |
| US20230325002A1 (en) | Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques | |
| EP4325335A1 (en) | Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof | |
| CN117590934A (zh) | 一种使用多阶段手势来激活用户界面交互的方法及*** | |
| US20240061514A1 (en) | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof | |
| US20240169681A1 (en) | Arrangements of illumination sources within and outside of a digit-occluded region of a top cover of a handheld controller to assist with positional tracking of the controller by an artificial-reality system, and systems and methods of use thereof | |
| US20240192765A1 (en) | Activation force detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof | |
| US20240192766A1 (en) | Controlling locomotion within an artificial-reality application using hand gestures, and methods and systems of use thereof | |
| CN117590936A (zh) | 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其***和使用方法 | |
| US20240233233A1 (en) | Techniques for animating an avatar based on sensor data from an artificial-reality headset collected while preparing a speech-based communication, and systems and methods using these techniques | |
| US20240248553A1 (en) | Coprocessor for biopotential signal pipeline, and systems and methods of use thereof | |
| EP4372528A1 (en) | Power-efficient processing of neuromuscular signals to confirm occurrences of user gestures, and systems and methods of use thereof | |
| US20240118749A1 (en) | Systems for calibrating neuromuscular signals sensed by a plurality of neuromuscular-signal sensors, and methods of use thereof | |
| US20240077946A1 (en) | Systems and methods of generating high-density multi-modal haptic responses using an array of electrohydraulic-controlled haptic tactors, and methods of manufacturing electrohydraulic-controlled haptic tactors for use therewith | |
| US20230400958A1 (en) | Systems And Methods For Coordinating Operation Of A Head-Wearable Device And An Electronic Device To Assist A User In Interacting With The Electronic Device | |
| US20240148331A1 (en) | Systems for detecting fit of a wearable device on a user by measuring the current draw to amplify a biopotential signal sensor and method of use thereof | |
| US20240252050A1 (en) | Techniques for Using Inward-Facing Eye-Tracking Cameras of a Head-Worn Device To Measure Heart Rate, and Systems and Methods Using Those Techniques | |
| US20240233291A9 (en) | Presenting Meshed Representations of Physical Objects Within Defined Boundaries for Interacting With Artificial-Reality Content, and Systems and Methods of Use Thereof | |
| US20240225520A1 (en) | Techniques for utilizing a multiplexed stage-two amplifier to improve power consumption of analog front-end circuits used to process biopotential signals, and wearable devices, systems, and methods of use thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |