CN107896508A - 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/*** - Google Patents

Abstract

本发明目的为提供一种设备物理交互虚拟化技术，允许单个(通用)可穿戴平台模拟用户与(多种)输入设备间的物理交互。本发明旨在提供独特的以人为中心的“超级UI(用户界面)”，作为人与多种设备的之间直观“高速/并行”输入/交互能力的集成点。本发明包括可被其他可穿戴设备用于手势相关输入/输出的目的方法和装置与其它移动/可穿戴设备(例如智能手表/智能手机)集成以提供自然/直观、上下文敏感的手势输入，单手操作和高速并行输入/交互(可为双方向具有触觉/压力图案和视觉/音频反馈)为了便于更通用使用和功能扩展，提议的可穿戴式设备(类手套式可穿戴)也可能是模块化设计，使平台(可插拔)易于清洁/维护或用新硬件扩展。

Description

可以作为多个目标/端点(设备)和的整合点的以人为中心的 “设备的超UI”体系结构的方法和设备，以及面向“模块化”通 用控制器平台以及输入设备虚拟化的具有动态上下文意识的 手势输入的相关方法/***

相关申请的交叉引用

本申请要求2015年4月25日提交的美国临时专利申请第62/152883号的优先权，其全部公开在此通过引用并入本文。

技术领域和发明内容

随着移动、可穿戴计算平台的发展，VR(虚拟现实)/AR(增强现实)和物联网(IOT)，越来越多的设备被引入到人类、移动/可穿戴设备或家居中间，并且每种设备可能有“基于设备的”需要(来自用户的)不同方式进行交互的UI(诸如按钮，显示器屏幕，旋钮，开关，LED和声音等)。

本发明涉及一种设备物理交互虚拟化技术，其允许用单个(通用)的可穿戴平台模拟用户与(多个)输入设备的物理交互，这有助于跨不同设备的输入/交互，(对于诸如VR/AR的情况)允许快速切换输入/交互(虚拟)设备/方法，允许高速(自然地)急性并行输入/交互。

本发明还涉及一种独特的以人为中心的“超UI”，可以充当多个设备的集成点，在人与设备之间直观的“高速/并行”输入/交互功能。

本发明还包括与其他装置(例如但不限于智能手表/智能手机)整合的移动式/可穿戴方法和装置(可以被其他可穿戴设备的用于手势相关的输入/输出的目)，用于提供自然/直观(例如与真实地模拟按键、转动旋钮、“原力”直接远程交互/操纵所相关的技术)，上下文感知手势输入，单手操作和高速并行输入/交互(可以是双方向带反馈的，例如触觉/压力模式以及视觉/音频反馈)

为了更方便的使用和功能扩展，所提议的可穿戴设备(手套式穿戴设备)可能还具有使得该平台成为可插拔的模块化设计，并且可以轻松地进行清洁/维护或用新的硬件进行扩展。还包括使用这种技术的应用程序/软件(手套平台或伴随的智能可穿戴平台(例如智能手表)上的3方应用程序)的实施方案。

引言概念和优选实施例

一些定义/概念：

“可感的”-可以由用户特别是皮肤直接感受到的一些物理效果，例如在一个表面上多个点上的机械压力(图案)，触觉/振动(也可能有图案)，温度变化，气流/风吹等等，

一个(动态)压力模式由用户的静态压力图案“呈现”的时间序列组成(例如可以用于指示显示表面上的东西的方向或移动)

IMU-这里是指惯性测量单元，这是目前通常的集成电路MEMS器件/传感器，可以提供多个自由度(DOF)惯性和导航信号，如加速度(x，y，z轴上的投影)，旋转(角度速度，围绕x，y，z轴)，3d磁罗盘(x，y，z轴上的投影)等

按需显示器/屏幕：这可以是当用户使用可穿戴设备进行手势/运动输入进行交互时提供视觉反馈的那个屏幕/显示器，这(也)可以是可穿戴显示器，例如智能手表的显示器，作为用于手势输入的可穿戴装置(例如图1(a)中的101)的“智能手套”的手套手背面的显示器，或者也可以是用户正在佩戴的VR/AR显示器/眼镜，甚至是在“附近”的、当用户执行此类交互时，用户可以看到并连接到与手势控制相关的可穿戴设备的显示屏幕(例如笔记本电脑或平板电脑，台式计算机或智能电视机)。

人机工学模拟姿势/手势或“设备模拟特征手势”：这是一种用户可以在使用所提议的输入设备/输入方法时可舒适地使用的(肢体及可能还包括手掌的)姿势/手势。在某些情况下该姿势可以被保持很长的时间(例如多于几分钟)而不会疲劳，并且这样的姿势类似于用户在操纵由所提议的输入装置/输入方法所模拟的工具/装置时将使用的姿势。例如：

用于使用鼠标进行模拟的“人机工学模拟姿态”是“手掌面朝下”(并且可能与前臂被认为在某些公差范围内例如一定正负角度内保持“水平”)，并且此类公差范围可能是可调整/可配置的)，就像人们通常在平坦表面上使用鼠标的方式一样；使用游戏操纵杆或“操纵/转向杆”进行模拟的“人机工学模拟姿态”是手掌面朝向侧面，就像人们通常使用操纵杆/转向杆的方式一样。

使用遥控器进行模拟的“人机工学模拟姿势”是手掌面朝向上，就像人们通常使用遥控器的方式一样，而模拟智能手机/平板电脑的滑动/触摸的“人机工学模拟姿势”，就像人们通常如何使用智能手机/平板电脑一样，例如手掌向前或向下或以某种角度(可能是可配置的)(并且可能有1或2根手指戳在表面上)，在另一个示例中，用于瞄准武器(如枪)的“人机工学模拟姿势”可能是与用户持有这种武器的方式一模一样的(例如对步枪来说是使用双手，如果用户是右撇的则右手掌朝向侧面，并且食指放在“扳机”上，或者使用一个持有武器类的姿态的“象征性”的姿势(例如***，只需要一只手)来代表所有的武器，也可以为了舒适的目的优化姿势，例如允许肘部被支撑(在桌子上或在椅子的手臂上等)，并且为了例如更换武器的***等的相关的活动，“人机工学模拟姿势”可以是类似于或象征着活动的一些活动，例如把手掌从垂直方向(掌面朝向侧面)旋转到掌面朝上，使其与实际活动相同或接近，因此可以轻松地被理解或记忆，在大多数情况下几乎不需要学习。以上只是一些例子，一般来说，如果正在模拟的工具有一个把柄，那么默认的“人机工学模拟姿势”就是用户通常操纵这样的把柄所采取的姿态。

“设备模拟特征手势”可以被作为“提示”或“特征”手势(例如但不限于前面提到的“设备模拟特征手势”中提到的)手段，用于进入或退出(切换)上下文/输入设备的操作模式，并且可以作为以下讨论中的“上下文感知手势”输入方式以及智能切换的一部分。

(-上网感知手势和智能切换-)

有关“有上下文意识的”手势(和智能切换)输入方式(以及一些可能的实施例)：

一个计算机实现的用于“有上下文意识的”手势输入/识别/输入的方法通常包括：

基于当前的“上下文”或操作/输入模式来确定用户当前手势/(改变的)位置或用户身体部位的移动(例如但不限于手指，手，手腕，手臂等)的含义；每个独特的命令可能相对应于在同样上下文中独特的一个或多个手势；

当前的“上下文”或操作/输入模式(其在某些情况下可以动态地切换)可以基于用户的手势/手位置/移动来确定(例如，可以为控件定义一个区域，当(用户的手/手指)进入此区域时，上下文可以切换到用于这种控件的适当模式，并且当用户的手/手指移出区域时，如果“虚拟”控件不被设计为跟踪手的移动，则上下文可以切换到其他模式)，并且当前操作模式(如果有的话)/上下文可能基于当前控制或用户当前正在进行交互的被模拟的输入设备确定，并且也可能基于决定“上下文”的(基于上下文的或特定的)“命令”或

对应于一个可以指示开始或结束一个“上下文”或操作模式的手势(例如但不限于手/手指手势，可以是相对的/本地的或“全局”的)的事件/消息，例如上下文切换可以在当用户的手/手指进入用于操作特定控制/输入设备“独占”的区域(3D空间)时被触发，例如当用户的手指在(模拟/虚拟)按钮/键/旋钮或所选择的特定输入/控件的表面上时(或虚拟地“触碰”时)可以确定唯一的(或最佳的)操作/输入模式，或者当没有其他可用的上下文/操作模式可供切换时(例如当前应用/设备是用户正在进行交互的唯一设备，并且只有一种可能的方式与其进行交互)。这样的当前上下文可以退出或通过以下方式改变到另一个上下文(操作模式)：离开“操作区域“，使用在当前上下文中没有定义的“提示”/“特征”/“象征”手势(例如但不限于在上面”设备模拟特征手势“讨论中提到的那些)，用于表明退出此上下文/取消选择当前控件/设备，例如一个“释放”的手势(所有5个手指张开而伸直，彼此不相邻，手掌基本上不面向上(而面向侧面或向下))，或类似于“释放”的“丢弃”的手势--手臂运动从更靠近身体到远离身体的手势。

这种“退出当前上下文”也可以由用户进入其他上下文(例如通过进入其“独占操作区”或提示/象征/特征手势来选择新的控制/控制器)

基于前面提到的条件/逻辑/直觉手势(无需额外的用户干预，如按下按钮或发出语音命令)，上下文的“自动”切换也称为“智能切换”。

在一些有关一个给定的上下文的施例中，该上下文存在(有限数量的)被定义/训练/可识别的来自手/手指的某些部分的独特手势，并且手势识别/输入***可能仅“期待”这些可能的/预期的输入并过滤掉所有(例如相对于“当前”或“本地”上下文)其他的，可以检查在当前“上下文”中未定义的手势/姿势/运动输入(例如通过手势识别/输入***)用于“确定上下文”/“上下文切换”的命令/信号或“快捷方式”信号用于某些“上下文无关”的活动(例如复制-粘贴)。一旦发现这些“非本地上下文命令”，可能会触发上下文切换，或者可能会执行快捷方式/全局活动。

(在一些实施例中)期望上下文切换可以由来自“较低阶”的身体部分(在连接顺序中更接近身体的那些部分，例如手臂)的姿势，优先于考虑“较高阶”身体部位姿势(诸如手指)触发，例如，在一些相关实施例中，可以通过确定手背的姿态或“面向”方向/“俯仰角“来触发上下文切换，例如当手背是垂直(对地)时)上下文可能被切换到“操纵杆”或“指向”模式(可能取决于其他手指如食指手势)，而当手背面朝上时，上下文可能切换到“鼠标”或“键盘”模式，取决于其他手指如食指手势，当手背朝下(手掌向上)时，上下文可能会切换到“电视遥控”模式等。

此外，期望的上下文切换可以使用来自正在模拟的典型动作的“提示”或“自然特征手势”(例如但不限于在早前“设备模拟特征手势”部分中提到的那些)，例如(典型的)打字手势，抓住鼠标，在触摸屏上翻转页面，使用游戏摇杆，抓住遥控器等。

在相关实施例中，这种上下文确定或上下文切换活动可以包括(但不限于)使用手背的旋转/取向(或俯仰角)来确定我们是哪个模式/上下文，然后确定基于手势(如手掌，手腕和手指)的“命令”。一个普适/万能的“上下文无关”动作/命令可能是用小指“点击”，这意味着弹出“上下文”菜单，类似于鼠标右键。

在相关实施例中，在上下文改变之后，向用户给出反馈(例如但不限于触觉/力/可感的，视觉，音频等)。

在相关实施例中，上下文也可由用户选择进行交互的对象/环境/“议题”确定。

在一些相关实施例中，诸如“OK”符号/手势之类的象征手势可以被检测到，并用于确认(例如UI上的“OK”按钮)，并且可以检测“杀掉”手势并用于触发“取消“-”“中止”动作(如一个命令或状态更改)

“上下文感知”手势可以在多种不同的场景中使用

下面讨论的实施例中(例如与本规范的后面部分中的“以人为中心的超UI”或“设备虚拟化”相关的实施例)，其可以在人和机器之间提供更自然的交互，例如用姿势本身来“直观地(且可靠地)切换姿势的“模式”/“上下文“，

这种模式或上下文可能包括改变用于手势命令的目标/终点(例如设备或应用)，或者基于“提示”手势或一些与正在模拟的上下文或输入设备相关的典型“特征”手势(例如，面向下的平铺和手指拱起以使用鼠标“提示”或者侧面的手掌向上弯曲以提示“操纵杆”上下文/输入模式)以确定要切换去的适当的上下文。

在上下文感知手势和智能切换的相关实施例中，当使用基于身体部位/肢体/手掌动作/“姿势”或俯仰角改变的上下文切换时，“自动切换”是有条件的，例如上下文不应该在“输入捕获的/受保护的”活动或某种持续的活动(没有完成，在某些手势的中间)的中间切换。通常它自身一定是从相对的“静态”的位置开始，并且稳定了一段(可以配置的)时间(例如1秒)。它必须是一个拐点或“转折点”，而不是在一个持续的运动或(没有完成的)手势内。优先级或更多的“权重”可以分配给“手势/移动”中由手势识别/输入***考虑的所有相关部分(例如手指，手掌，手，手腕等)中间较慢移动/转动的部分或“更大”的部分，例如，在上下文切换中，手掌的取向被认为是与上下文切换高度相关的，例如手掌面向下并且同时手指自然地弯曲(不完全直线)可以表示使用鼠标，而手掌侧面方向手指弯曲更多(如抓握手柄)可能表示使用操纵杆，然而，期待模式切换不仅要依赖于这种手势而且还基于“运动状态”-例如为了让一个“特征姿势”的手势被认定为“上下文切换信号”，它必须被保持相对静止的一个(可能是可配置的)时间段，例如1或2秒，以确保上下文变化是有意的，并防止来自意外切换上下文的误操作。

讨论可能适合多个实施例的一些广泛适用(或典型)方面(其可以是从属权利要求的“特征”)：

与具有姿势/手运动/姿态信息的按需UI上所显示的设备或文档进行“远程”选择或交互

A.“指点和选择”风整的远程设备选择/互动

检测/识别(由用户手/手指)正在指向的“远程”设备有几种方法

例如：

1)“窄波束”/高方向性探测/感知远程设备的方式(风格)，通过使用具有“窄波束形状”/高度方向性探测/灵敏度范围的传感器例如但不限于：光/红外摄像头/传感器阵列，用于检测信标或从“目标”(设备))传送的信号(使得当可穿戴装置指向某一目标装置时，可穿戴装置可以“检测”目标装置的“特征”例如但不限于波长，发射的调制信号/代码)，或使用可穿戴设备上位于食指上的聚焦(窄波束/高方向性)红外/RF/超声发射器/发送器/传送器，而在相应的“目标”设备上具有接收器(以便在被指向时能接收到信号)，并且在设备上也可能具有部署的相应的定位机制(例如用于摄像头的标记/图案/信标/发射器或手指上的光/红外/超声/RF接收器/收发器，或来自手指发射器信号的接收器/收发器)

2)定向天线(RF方向“寻找”型检测)。

通过使用(作为)可穿戴装置附带的RF定向天线(例如但不限于环形天线)，例如在智能手表(或智能手套)腕部周围的环形结构内，基本上环形结构内部的管道形成环形天线，并连接到可穿戴设备(或环形结构内部的芯片)，对于在某个频率范围/波长范围内的RF信号是具有方向性的。具有显著不同方向特性的第二天线(例如它是“全向”天线，或者是可指向不同方向的定向天线，因为可以在可穿戴设备上使用第一“环”天线，使得当来自第1个“环”天线的信号(可能在不同的频率或调制)变为零/最弱(与面向其他方向的电平相比)时第二天线具有良好的接收效果，环形天线的轴线(平行于手臂的指向)指向目标设备的方向(并且可以使用这样的信息来确定/识别哪个设备用户所指向的位置，并使其成为可穿戴设备的选定设备进行通信/交互)。

其他类型的定向天线还可以帮助以类似的方式找到方向(当指向RF源的方向时，接收信号电平最小化或最大化，因此基本上可以使用可以使用的“极值”或“拐点”确定射频源的方向)

3)使用多感官传感器(例如重力和磁方向)和目标设备的位置信息(以及可能与边界条件，例如设备在墙的哪一侧放置/安装)来计算/确定用户应该指向的是哪个(固定位置之前已知的)设备。安装在墙壁上或与墙壁相邻放置的设备只能在大约80度(如果是角落)或160度(在墙上的房间的中间)范围内可见，因此通过决定用户的指向是否“这些设备的范围“将有助于提高确定目标设备的准确性(例如，从候选的设备列表中淘汰那些”不可能的角度“的设备。)

4)使用(创新)技术来确定自己在房间中的位置，以确定已知(预注册)设备的位置关系(例如朝向/方向/方位)

在另一个实施例中，具有至少一个摄像头和IMU单元(其可以分辨该手表的俯仰角并且期望地还具有磁方向)的可穿戴设备通过在穿戴式设备(诸如手腕上的智能手表)上使用摄像头来实现“查看“天花板的图片，通过光学图案识别或使用红外线标记/标记/信标(如红外线激光”扫描“设备投影)，穿戴式设备能够确定自己在房间的大致位置(也可能还有方向)，以及从方向或其他传感器显示用户指向的方向，先前在地图上注册的房间中的设备可以与方向(相对于用户/可穿戴设备)，使得当方向/位置匹配时(在可能配置的某个阀值内)，则可以将该设备视为“选择”以进行更多的通信/交互(与可穿戴设备)。为了防止意外(无意地)选择设备的“误操作”，选择手势需要相对稳定(从先前的移动)一段时间(可能是可配置的)，例如1-2秒，和(可选地)可能需要特殊的指点姿势。

一些可能的情况可能是：

通过“指向”选择/交互：--***的将用户“指点”手势解释为选择具有以下标准的“远程”设备：至少带有食指，伸直的并且平行或在30度内(或可配置的值不超过40度)的手掌表面，手指的方向在从该指尖到设备的方向的+-20度(或可配置值不超过30度)内，以及当条件满足时该设备被认为是“选择”用于(或定下来)交互。

检测方法/淘汰方法可以是各种各样的，并且通常例如单独地或组合地使用信标/标记/扬声器/麦克风/高方向性传感器(用于在用户指向的方向识别任何可能的设备的目的。通过提供端口接口(例如但不限于12C，SPI，USB，蓝牙等以及硬件端口/接口，但不限于图1b所示)，可穿戴设备可能允许扩展，并允许组件附加/分离，如图1b所示，其中可以更换手套(可穿戴)的手指部分，使用相同的端口/接口或附加有其他部件的具有不同功能的其他“手指部件”来增强/扩展可以将诸如图1b中的“窄波束”检测器/方向传感器103组件(例如但不限于摄像头，RF天线或IR信标)的装置附接到食指以执行“指点和选择”的这种传感器提供或增强了设备选择/去选择/通信的可靠性。

B.使用手势指点和选择(样式)位置并非宿主于可穿戴的UI(例如那些有VR的)可 穿戴设备上的“远程”文档/内容

在一个(独立)实施例中，在另一设备的屏幕上选择对象的方法，包括检测用户食指移动或指向方向，并使用移动(位置或增量)进行1)确定/识别用户旨在交互的设备(例如但不限于使用“A”中描述的方法)，然后在屏幕上，选择对象或提供一些“可视化的”指示装置(例如用于选择对象的光标，指针或手的象征图标)的导航，，以便当用户的食指在设备(屏幕)上指向虚拟对象(在例如±10度的误差阀值内)，对象可以被识别出来。

在一个实施例中，可穿戴设备与虚拟“仪表板”一起集成了运行在计算***上的多个设备(例如通过IoT网络)，运行在例如穿戴设备上，或连接到可穿戴设备的服务器计算机上，其可以生成用于显示(GUI)的合成/集成多设备信息，其可能显示在可穿戴设备的屏幕上或“按需显示/屏幕”上。用户可以通过GUI/集成仪表板来选择(或“放大”)特定设备，例如但不限于在仪表板/GUI中的“桌面”或“树”上选择一个图标。

C.“远程直接交互”(如选择/操纵，不指向选择)

■“类似原力的”直接远程交互

一种由一个或多个处理器执行的计算机实现的方法，用于向用户提供在实际或其他模拟情况下(如屏幕上或VR/AR/MR环境，视频游戏/模拟)与“远程”在手触(手可直接触及够到的)范围之外的对象/目标/端点的“类似原力的”的远程交互(类似于电影“星球大战”中描绘的“原力”交互)包括：

确定交互何时开始；

多种方式，

例如由软件事件触发(当进入某些模式，例如但不限于：在游戏例如“星球大战战斗前线”通过拾取进入“英雄”模式)，通过用户姿势变化触发的事件，例如检测到一个“类似原力的”准备姿势和/或同时检测肌肉肌电(例如通过EMG/MMG检测的手/手指肌肉激活)与所述这种“类似原力的”的准备姿势，该姿势/姿势变化非常类似于例如相关电影和游戏(例如“星球大战战斗前线”)中所描绘的用于开始使用原力的手势--例如通过检测用户的手的在大致垂直于手掌的平面与(垂直方向25度角之内)的方向的方向的短距离(不超过3英尺)远离使用者的身体方向的运动，手掌的旋转很少或没有旋转，并且该手掌的手指保持在接近电影星球大战中描绘的“原力”使用姿态，(如5个手指在5个手指之间的开放手势是手指全部完全平直，手势就像抓棒球(每个手指的曲率--从手指的基部到尖端的角度--在90度以内))，并且对于每个手指(拇指除外)，曲率在(曲率角)正或负35％内可被认为是相似的，并且中指在朝向上方的方向(与“直立”方向在80度角的范围内)，当该运动被检测到(通过诸如但不限于检测用户的手掌的角度/姿态/手势和运动以及每个手指(或主指)曲率和/或通过使用惯性和/或光学传感器(可能位于手套式可穿戴式(IMU/曲率传感器的情况下))或外部(如光学))进行相对角度/姿态/手势检测；

或者通过确定是否满足以下条件来检测“类原力选择”初始手势：1)手掌背离用户或者手的背面朝向用户，2)手势是一个相对开放的位置，如图3所示的位置1(实线)，其中手指和拇指没有显着弯曲/弯曲或紧密相邻(紧邻的装置并排，它们之间没有空间)；在检测到这种“类原力选择”的初始手势时，确定该手势的大体总的指点方向(可以使用诸如但不限于通过“平均”五个手指的矢量方向的算法来计算并获得一般的指向方向一种方法是使用向量加法来添加可能的手指的所有(归一化)方向向量，对于不同的手指可能具有可能的不同(可配置)“权重”，并且确定空间中的方向)，这样的平均算法可以具有诸如使用不同拇指的“权量”和所有其他手指可能会考虑到手掌的方向，手掌的“弯曲程度”应相对不弯曲太多，也可能是手指的“弯曲度”等。)；

在还有用户头部朝向或查找方向可用数据的情况下，则可选地，控制***可以进一步过滤掉手势的大体总的指点方向不在用户头部正在看的方向的情况的那些姿势(这可能是一个选项，如果相关情况未被滤除，将允许用户与他们不面向/看的远程对象交互)；

然后确定哪些远程对象/目标/端点用户打算选择/选择或交互，使用诸如但不限于以下方式：

1)在游戏/模拟中，在(可能由游戏/模拟确定的)用户的“原力交互作用”的有效范围(根据其到用户的距离和相对于用户手掌面朝向的角度)内选择对象/目标，

或者2)在用户大体总的指点方向的方向范围(例如在由大体总的指点方向定义的搜索“圆锥”的中心区域内，或者由手指的各个方向限定，并且确定物体是否在范围内(在该“圆锥”中))内搜索(并且可以提供反馈例如高亮，放大和/或触觉反馈)。

用于检测/识别正在被指向的“远程”设备的方法可以类似于(但不限于)在上文“A.指点和选择”风格的远程设备选择/交互部分中讨论的那些方法(如果所搜索的设备是在现实世界中的)，或如果互动的设定为为在虚拟世界中(例如游戏，模拟，3D软件/操作***等)/在GUI上，执行“虚拟对象”搜索，如光线跟踪或其他类型的对象查找方法(例如有那些的3D/游戏引擎提供的)，以找出用户指向的虚拟对象；

如果用户保持手势，开始“扫描”(改变手/手腕/手臂方向)，***将更新相关的方向指示区域，并确定远程对象是否在范围内。并且可以提供反馈，例如突出(视觉)或触觉/压力反馈(触觉)以指示对象/目标在范围内。

并且通过从诸如图3中的位置2(虚线)所示的方式检测从用户的“类原力选择”初始姿势到“类原力吸引姿势”的变化，通过例如但不限于：探测手(姿)势的“开放性”从“较宽的开放角度”到“较窄的开放角度”(限度是可以是可配置的或可定制的)来确定。比如在方式(但不限于)：

1)计算每个手指(新)指向方向(新)平均指向方向(向量)或手势的“大体总的指点方向”的相对角度(标量值)正如刚才提到的。如果所有5个(或可用的)值都在减小到尚未处于“完全关闭”水平的程度(例如在接近开放姿态和完全关闭位置的“中途”或“半抓取”)位置的范围内，并且期望的范围和/或检测机制可配置/可定制)(例如不是在一个或两个与平均值或比例显着不同的值或“变化”比例)的情况下，例如大于30％)，或者至少值不是以“矛盾的方式”移动-一些手指是“关闭”，而另外一些则是“打开”-这意味着手势或上下文的改变)，那么“吸引手势“可以确定/相关信息/事件可以触发；或

2)通过测量5(或可用)手指的“弯曲/弯曲度”来确定，例如但不限于从手指的“弯曲/弯曲”传感器的数据，当“度”所有相关手指的“弯曲/弯曲”增加到尚未处于“完全关闭”水平的程度(例如开放姿势和完全关闭位置的“中途”或“半抓”位置，并且限制/范围可配置并且期望地，所有手指以类似的方式移动，例如但不限于弯曲/弯曲的所有变化的比率在彼此的25％(或可配置值)内或平均值之间，或至少不是值不是以“矛盾的方式”移动-一些手指“关闭”，而其他一些则是“打开”-这意味着手势或上下文的改变)，则可以确定“吸引手势”相关消息/事件可以触发；

因此，当满足上述条件并且手指(在手上)的“平均”开放角度在极限下变为较小的值(与“力选择”中的手指的“平均”开放角度相比)时，那么我们可以确定这是“像吸引力”的手势，“选择锥”中当前的“远程对象”变为“选择”，并且可以生成用于所选择的远程对象的后续处理的事件/消息；类似地，当检测到时，类似于手的正常抓取动作(所有手指关闭)的“抓取”手势也可以用于表示某些含义，例如抓取对象，文档或内容(例如在虚拟世界UI的情况下)或在与远程设备交互的现实生活中，这可能被用于表示从“远程”设备用户与本地可穿戴的，移动的或“按需的”设备相互抓取“UI”或文档/内容(如适用)，“选择锥”中的当前“远程对象”变为“选择”，并且可以生成用于所选择的远程对象的后续处理的事件/消息；一些后续处理可以是例如(当在诸如游戏或3D GUI中的虚拟/模拟环境中)时，该对象可能被呈现为“吸引”的“像吸引手势的力”，并且似乎直接飞入用户手上的可穿戴/点播显示，或复制/移动(在将内容复制到剪贴板的情况下)用抓取手势；在现实世界中的“远程设备”情况下，设备的UI或可能被选择并且(有选择地)显示在可佩戴的屏幕上或用户可以看到的“按需”屏幕上，或者先前选择的文件/消息/内容远程设备可以通过“抓取”手势放在剪贴板上。

在相关实施例中，如上所述，用于确定肌肉肌肉的MMG可以使用麦克风和方法，例如但不限于以下文章：

http://www.academia.edu/5624561/Robust3ltra_low-cost_MMG_system_with_Brain-机器接口应用程序

典型的情况是：

在一个实施例中，(可能由诸如HMD或眼镜的VR/AR***)为用户提供三维“世界/虚拟工作空间”或“沙箱”建模的(3D)界面或游戏设置/环境用以交互，在其中一些对象看起来是“远程的”或距离用户的手触(手可直接触及够到的)范围之外的距离，并且可以被用户使用可穿戴设备以“类似原力”(如电影“星球大战”系列中所描绘的)的直接远程交互方式来操纵，(例如(但不限于))使用手势移动/旋转对象，而不实际触摸对象，通过直接将其移动到用户的”手“(视觉上)或移动到非常接近来远程抓取对象通过(易于触及)等可以将对象置于触觉范围内，以供用户操作，例如操纵。如果对象较大，则用户可以对对象进行自身运动，以使其可以在触觉范围内，或者使用操纵器远程操作(如操纵杆或鼠标)。

可穿戴控制***(也可以是一个超UI***)可以通过检测用户的特殊“类原力选择”来确定用户是否试图来“拾取”某些对象(使用这种“强制”的方式)(手势可能其他方式例如但不限于可通过EMG或MMG探测到的肌肉力量变化)，并“突出/高亮”候选物体(们)，如果物体太远，用户可能“伸手过去”以抓住一些一些物体或瞄准，这可以使得***“放大”该区域，从而使用户可以方便地选择，当用户真的想使用“类似原力”的方式抓到手中，他/她将收紧一点所有手指，就像“半抓”或上述提到的“类原力吸引”，其将“吸引”对象移到用户的手或“手的直接触及”范围内(手可触及)内，并且用户可以使用另一只手或该手(当改变为其他手势时)来操纵它

并且可选地当用户完成时，用户可以将其返回并且它将自动返回。

在(类似手套式的或类似手表式的)可穿戴解决方案(实施例)中，上下文可以通过穿戴确定并作为消息传递，或者可以暗示(上下文变化)信号并由应用程序确定，在传输的低级数据的之外也可以有“高级“消息(如食指弯曲20度)。

D.与“本地”可穿戴终端和软件/应用程序(可能连接到其他设备)的运动/位置姿势交互

一种可穿戴式信息***，用于促进与其他远程(例如不在用户手中的那些)设备(如IOT设备)通过网络(例如通过TCP/IP)进行交互，包括：

IMU/运动传感器(和其他种类的输入法)；显示屏(可能是触摸屏)；至少有一个处理器和相关的存储器/存储器用于执行命令和管理任务以及3个方案应用程序；无线通信单元，如Wifi，蓝牙和NFC(也可能与其他方法)；一个在处理器/OS上运行的软件/应用程序，其使用通信单元连接至少一个外部设备，例如IOT设备，并向显示器上的用户呈现UI；软件使用传感器捕获用户手势，并且对于特定的“识别”手势，例如旋转旋钮，打开/关闭开关，指向选择或导航，按下按钮，软件使用(动态)手势数据确定发送到IOT设备的UI控制命令和/或“消息/事件”，以便用户可以通过手势远程交互/控制IOT设备。

在一个实施例中，一种由可穿戴设备上的一个或多个处理器执行的用于基于运动/位置的手势交互的计算机实现的方法，包括：

从运动/位置传感器(例如IMU)数据中检测用户手势以确定手势(特定于应用/控制)，例如可以使用运动/位置传感器检测手腕转动，通过检查陀螺仪范围数据以检测旋转加速度手腕转动方向或通过检查加速度计的变化来确定手的重力方向变化和其他运动，以确定穿戴者已经转动(从初始位置)手腕的角度，这种变化可用于驱动/在屏幕上打开“虚拟旋钮”或视觉控件，打开/关闭开关，指向选择或导航，按一个按钮(在UI上)等；因此，基本上使用从可穿戴运动/位置收集的动态手势数据来确定UI控件的命令和/或“消息/事件”

在相关实施例中还包括使用该可穿戴设备与一个或多个“远程”设备(例如但不限于IOT设备)建立无线连接/通信，并且使用上述基于运动/位置的手势输入方法来进行对“远程”设备上控制的调整/输入、并可选地显示远程设备的UI界面(如果有的话)并更新任何改变。

在相关实施例中，使用可穿戴装置与一个或多个“远程”设备(例如但不限于IOT设备)建立无线连接/通信可包含使用“点和选择”(如在上面的A中所描述的)或“远程直接交互”(如上述C中所描述的)可能与这些方法所需要的硬件一起，来识别与之交互的设备，并且使用上述基于IMU的手势输入方法来进行对“远程”设备上控制的调整/输入、并可选地显示远程设备的UI界面(如果有的话)并更新任何改变。

在相关实施例中，用于与其他设备无线通信的可穿戴设备可以使用一个或多个IOT协议，例如(但不限于)以下(当与IOT设备通信时)：AllJoyn，线程(网络协议)，OIC(Open互联网联盟)，IIC(工业互联网联盟)等

E.(运动/位置)手势基于交互使用智能可穿戴设备(例如smart Watch)和附加的在位于同一只手上的用于与“远程”设备及“本地”智能可穿戴设备/智能移动终端进行交互的可穿戴设备(例如一个在手指上的环状设备上的IMU传感器

一种类似的UI，一个移动/可穿戴手势操纵的UI可以被认为是如下：

在一个实施例中，一个计算机实现的用于基于姿势的UI(例如但不限于：由在具有位置/运动传感器(例如IMU)的设备上或另一可穿戴的“处理“设备(例如但不限于一个连接到该设备的智能手机，智能手表，手套式可穿戴设备)上运行的控制/处理软件/应用程序实现的)由可穿戴设备上一个或多个处理器执行的方法，包括：接收来自可穿戴设备上的测量至少一个运动部分(例如手套的一部分或独立的指环)的运动/位置的框架/装置、用于提供相应的(例如但不限于指环或具有IMU传感器手套的一部分的)运动数据的运动/位置传感器的数据或消息，所述传感器数据表明(提示)了被测量的部分的用户的手势/姿势/移动(可能对参考坐标系是相对的)

将这样的数据/消息传递/引导到***的相关(期望可配置的)模块(例如但不限于识别或输入模块，第3方应用或插件模块)作为输入；

在涉及的穿戴式显示屏上呈现视觉显示/反馈

设备(例如具有OLED显示器或智能手表的智能手套，或用户佩戴的VR/AR显示器)；

在相关实施例中，用于更直观的用户输入的“上下文感知”风格和/或“智能切换”风格手势输入方法(如在前面的文本中所描述的)被使用。

在相关实施例中，期望控制/处理软件/应用程序(对于这种用户界面)也可以提供驱动对可穿戴设备的用户的(触觉)反馈。

在相关实施例中，期望来自测量对于前述实施例中被测量的肢体/身体部分有相对运动的不同的的身体/肢体的(可移动)部分的运动的“第二来源”之运动/位置(例如一个测量手指和/或手掌的运动，另一个测量手腕/手臂的运动)数据用于(更好地)确定用户的手势或提供更多种类的手势输入。例如，在一个具有显示器并且能够运行软件/应用程序的用户手腕或手背面的可佩戴/移动设备(例如智能手表或智能手套的一部分)可以与一个在用户手指上或测量其运动/位置的可穿戴设备或框架(例如但不限于手套或独立指环的一部分)进行通信，并与将来自“手指”传感器的位置/运动数据与来自其自身传感器的数据(例如IMU传感器)(例如加速器和陀螺仪，磁性测量腕部/手臂运动)结合，以为例如手势识别/输入或相关的操纵/控制提供更详细的手/姿势信息。

在一种以人为中心的基于IMU的设备UI的实施例中，a

提供手势输入(UI***或OS)的软件/应用程序(或计算机实现的方法)从来自用户手臂/手腕上的可佩戴装置，例如但不限于与位于相同臂的手的至少一个手指(例如位于戒指，手套)上的可穿戴设备上的至少一个IMU传感器的数据的智能手表(一起)，结合IMU(诸如“姿势”，“加速度/旋转”以及“磁性方向信息”的姿势)，并执行“2D或3D手势

识别/输入”，用于驱动/生成诸如选择(指向，点击，双击，拖放，拖放)或导航/缩放的UI事件(诸如滑动，橡皮筋将需要2个)的UI识别/输入(理想的上下文感知和/或智能切换)手指，抓住需要2个手指)，因此这样的操作通常需要另一只手接触可穿戴装置(例如手表)的表面，现在可以用单手执行。在相关实施例中，手势输入(从运动/位置传感器，位于提供手指或手指的运动数据的第1个穿戴式搭档/装置上)传送到可穿戴处理装置(例如智能手表或智能手套)，并组合(例如但不是限制：使用来自2个装置的相应轴的加速度/陀螺仪“参考”值以获得手指到可穿戴处理装置的关系运动)，以向可穿戴的(UI)的UI提供(手势解释)输入命令处理装置，如a点击，滑动指示器，导航/移动视图端口的方向，转动“旋钮”或翻转开关等，以便用户可以使用单手进行操作(通常需要两只手操作的应用程序一方面握住设备，另一方面触摸设备的屏幕)

在一个示例中，可以通过使用其上具有运动/位置传感器的手套的“环”或手指部分来检测“拨号”手势输入，例如但不限于IMU传感器，弯曲/弯曲传感器等，并且可以提供诸如来自智能手表的手/手套的其他部分的“第二源”运动/位置数据，更精确/独特的手势输入可以用于诸如驾驶相关(UI)控制，生成相关(UI)事件/消息等在上述的相关实施例中，对单手手势输入的视觉响应，例如滚动，突出显示，光标/窗口导航/移动，按钮点击，用于相应的UI控制(正在使用可穿戴设备选择/相互作用)的旋钮转动，由在可穿戴处理装置上运行的应用程序/软件的UI***生成并显示在可穿戴处理装置的屏幕上。

在相关实施例中，用于与其他设备无线通信的可穿戴设备可以使用一个或多个IOT协议，例如(但不限于)以下(当与IOT设备通信时)

AllJoyn，线程(网络协议)，OIC(开放互连联盟)，IIC(工业互联网联盟)等

在相关实施例中，可以对具有客户端/远程UI在可穿戴处理设备上运行并与可穿戴处理设备通信的3方设备执行这种交互。从而用户可以用一个单手手势输入方式来操作中操纵/操作第三方设备。

(-多设备复制粘贴，可以使用一些“点和选择类原力交互”的概念-)

快速有效地交换文件对于成功的业务通常很重要，即使在非商业环境中也是被期待的。

一个实施例涉及用于在不同设备(例如：源设备和目标/目的设备之间)之间选择和交换信息的(计算机/软件实现的)***和方法，包括使用独立于源以及目标的设备的可能情况，包括：

1.当检测到“源内容操作启动信号”时，例如(但不限于)检测“拖放”，抓取手势或从其他特征/符号手势输入或UI控制输入(例如对上下文菜单项的确认)产生的复制/剪切命令，明确来源(例如“源”设备上的文件/内容)；如果没有检测到源，则该过程将不会进行，并且状态/上下文/操作模式不被改变。如果可以确定来源并且源内容是有效的(通过相关的验证***)，则可以进入“复制/粘贴”或“拖放”的状态(并且控制方式是由手势转变为“捕获”意味着不切换到其他操作模式，直到放下或满足其它退出条件)，源位置信息可能被传送，并且根据实现，内容或“快捷”连接可能被放入剪辑板或缓冲器中用于“拖放”操作，并且期望发出视觉上(如光标的变化，用手动等突出显示和移动文件的图标)以及触觉(如压力或振动指示“抓住”或“粘性”)上的反馈；

2.在用户(在拖放的情况下保持某些抓取/拖动的手势)移动手/手臂时检测/明确拖放目标(如果不是相同的设备)，这是通过使用“波束”类(如“指点选择”)方式来检测/识别可能的目的地目标(在用户手的手势如指示或其他指示方向的方式指示的“波束”的区域中)“放下”或“粘贴”，“波束”类“指点选择”方法可以包括诸如但不限于红外线(红外线)，射频(特殊天线，超声波)或使用“NFC”(在这种情况下，用户正在4cm内握持或指向设备)。这样的目标也可能(用例如在视觉上像突出显示或改变颜色/边框，放大等等，也可能在手/手臂的不同部分中的触觉如不同种类的振动/压力等方式)对用户指示；

3.当一个拖放目标/粘贴目标可用时(并可以通过

检验/验证***的验证)，明确用户是否执行了“粘贴”/放下手势输入。当有这种特征/符号手势(或选择相关的UI命令)时，操作状态可能改变(例如从“拖动”到“丢弃”或正常的“不拖动”)，并且与目的地/目标设备进行通信，源的内容可以转移到目的地(可以是多种形式，例如但不限于在文件/内容交换***(例如与剪贴板相关的拖放控制器)的控制下，并将内容直接复制到目的地/目标(如果文件/内容交换有内容)。或者直接或者将2个设备(源和目标)隧道化，或者考虑运行文件/内容交换***的可穿戴设备的中继器，用于将内容交换/流传输到目的地/目标。

4.可选地(同时)可以提供诸如动画的视觉效果作为这种交换活动的反馈

5.在相关实施例中，可以使用IrDa/IR远程或NFC/RF)标签来协商通信信道(例如RF特别是蓝牙，配对密码等)

一个实施例涉及***和方法

文件/消息/内容可以在计算机和

便携式/可穿戴设备配备内存存储，网络接口和适当的软件。

在一个实施例中，具有指向/手势装置的穿戴式装置用于在计算机屏幕上识别/或选择文档。用于检索的文档的位置信息(文档的二进制版本或副本)被传送到可穿戴设备。然后可以将二进制版本“粘贴”到另一计算机上或者在可穿戴显示器上观看(具有这样的信息)。

本教导的另外的代表性实施例涉及计算机实现的方法/***，其包括在第一计算机显示UI上捕获/检测手势输入(诸如指向/点击/开始拖动)与可穿戴设备，其中显示文档在按需UI或第一计算机上，识别手势(诸如指向位置)尝试找出所选择的文件的路径/位置信息，将请求发送到与托管该文档/内容的计算机相连接的第一计算机，该计算机使用位置信息，所述请求从所述第一计算机请求所述文档的副本，从所述第一计算机在所述第二设备(例如所述可穿戴设备)接收所述副本，以及将所述副本呈现到所述第二计算机的按需UI或屏幕上设备。

本教导的其它代表性实施例涉及可穿戴设备，其包括耦合到存储器和手势的处理器

存储在存储器中的识别/输入应用/软件(与手势输入设备通信)。当由处理器执行时，操作手势识别/输入应用/软件被配置为通过(从)手势输入设备捕获/检测手势输入数据/消息/事件。可穿戴设备还包括在处理器的控制下的收发器，并且被配置为发送和接收数据以及存储在存储器中的文档/消息交换应用/软件模块。当由处理器执行时，操作

文件/消息交换应用程序/软件模块包括识别模块，该识别模块被配置为从用于文档/内容(选择/被交换))的手势识别/输入应用/软件(由手势输入设备提供)检查手势输入数据按需UI显示器(或第一计算机屏幕)，其中检查手势输入数据以识别与文档/内容及其计算机“容器”相关联的位置信息，以及通信模块，被配置为向计算机“容器“通过收发器的文档/内容，并使用位置信息，其中请求请求与位置信息相关联的文档的副本，其中，

通信模块还被配置为从第一计算机接收副本。

本教导的另外的代表性实施例涉及特别编程的计算机，其包括耦合到存储存储器的处理器，处理器控制下的网络接口，并且被配置为从一个或多个网络发送和接收数据，计算机标识符(ID)存储在表示专门编程的计算机的身份和位置的存储存储器中，以及存储在存储存储器中的文档/消息交换应用程序。当由处理器执行时，文档交换应用程序包括通信模块，该通信模块被配置为通过网络接口从可穿戴/移动设备接收请求，并使用包含在请求中的位置信息来检索文档的副本，或者发送相关消息与所述位置信息相关联，其中所述通信模块还被配置为将所述副本发送到所述可穿戴/移动设备。

本教导的另外的代表性实施例涉及具有其上记录有计算机程序逻辑的计算机可读介质的计算机程序产品。计算机程序产品包括用于捕获/检测由手势输入设备提供的输入数据/消息的代码，其中在第一计算机或按需UI上显示文档，用于检查相关联的手势输入数据/消息的代码识别与文档相关的位置信息(选择/被交换)，用于向包含该文档的计算机发送请求的代码

文件/内容，并且使用位置信息耦合到第一计算机显示器(或按需UI)，该请求从包含(所选择的)文档/内容的计算机请求文档的副本，用于在便携式设备处接收副本的代码以及用于转换可穿戴/移动设备的便携式显示器的多个像素中的一个的状态的代码，以将该副本呈现到设备显示器(或按需UI)上。

本教导的另外的代表性实施例涉及计算机实现的方法，其包括在计算平台上执行指令，使得二进制数字电子信号检测(在可穿戴设备上具有传感器)在第一计算机上指向/交互文档/内容的用户手势显示器，其中在第一计算机显示器上示出文档，在计算平台上执行指令，使得二进制数字电子信号从用户的手势识别与文档相关的位置信息，在计算平台上执行指令，使得二进制数字电子信号使用位置信息将请求发送到耦合到第一计算机显示器的第一计算机，该请求从第一计算机请求文档的副本，在计算平台上执行指令，使得二进制数字电子信号在便携式/可佩戴装置从第一公司计算机和在计算平台上执行指令，使得二进制数字电子信号将副本呈现到便携式显示器上

便携式/可佩戴装置。

(-以人为中心的“超UI”，可以使用一些“点和选择类原力交互”和多设备复制粘贴概念上面-)

以人为中心的“超级UI”，可以充当多个设备的集成点，包括：

#1)用户与用户无缝地通信其他设备/***(例如但不限于：RF，IR，超声波等)佩戴或移动的移动/可佩戴手段/设备)；

#2)基于“按需”的视觉显示(***)，可以使用所述移动/可穿戴装置作为输入设备(也可以作为输出设备)向用户提供用于设备的视觉/图形UI)他/她正在与(例如但不限于：通过所述移动/可穿戴装置的其它设备)进行交互，视觉显示(***)可以包括移动的，可穿戴的(例如VR/AR头盔)。眼镜，遮阳板等)或外部显示***上的“按需”显示(与用户无关的或由用户佩戴)与用户可移动/佩戴的***(使用移动/可佩戴***)；

#3)至少一个(3D)手势/手姿势/运动传感器***/手段作为(主)输入，这可以是例如一系列位于与用户手指一起移动的框架上，并且可能还有手(手掌)，手腕，手臂上的运动/位置和相关的传感器(例如但不限于IMU传感器和弯度-弯曲的传感器等)，这种传感器***可能是1)中的可穿戴设备的一部分，或者可以是独立的可穿戴的。也期望UI***还提供“触觉/压力”(或其他“可感的”的反馈类型)输出***(用于例如但不限于直接反馈，控制位置指示，控制面模拟等)；

使得当用户与多个“远程”设备(可能在同一时间)交互时，用户直接(例如在用户的触觉范围或用户的手被占用用于其他任务)不能很容易地达成时，以及/或与#2按需屏幕上显示的对象相对应，用户/人机对手的方向的手势/(手)姿态/动作可以由#3拾取，并被解释为输入到#2上显示的UI***以及期望用户输入的相关模块/设备，并且可能在必要时可以经由#1与其他设备通信(例如当用户与其他“远程”设备交互时)，并且还希望将设备的触觉反馈人的方向)可以通过触觉/压力“输出”的手段提供穿戴(如果有的话)

因此，可以实现诸如(但不限于)3D手势的直观的人机交互操纵3D用户界面(可以由按需显示***在沉浸式3D显示***中提供)；

在相关实施例中，移动/可穿戴设备的控制器/处理单元(诸如手势输入“智能”手套，智能手表)可以进一步协调设备的“任务管理/调度”和“通信”作为具有多个端点的“复制/粘贴”以及其上运行的相关软件，其中可能包括3方应用程序可以进一步整合设备，例如使用“统一GUI”而不是单独的UI。

在与上述所有相关的实施例中，用于与其他设备无线通信的可穿戴设备可以使用一个或多个IOT协议，例如(但不限于)以下(当与IOT设备通信时)

AllJoyn，线程(网络协议)，OIC(开放互连联盟)

，IIC(工业互联网联盟)等

(-软件(方法)集成(OS，应用程序，-)

由可穿戴设备上的一个或多个处理器执行的以计算机实现的方法(以人为中心的“超UI”)，包括：

从至少一个穿戴式的一个或多个传感器接收传感器数据

手势/姿势/运动输入装置，其可以容纳并与用户身体或肢体的至少一个(节)运动部分(例如(但不限于))容纳并移动：手指，手掌，手)，手腕，手臂等，传感器数据示出被测量的用户的手势/姿势/动作(可能相对于参考坐标系)；

提供图形用户界面的按需可视显示，例如在可穿戴设备(例如智能手套)上的显示屏幕上，在一个与用于手势输入的可穿戴设备(例如手势输入手套)共同使用的可穿戴处理设备(例如智能手表/智能电话)上，或用户正在佩戴的VR/AR显示器上；

基于传感器/数据数据确定按需显示环境的视觉反馈；并且期望地还可以通过触觉/压力“输出”装置提供触觉反馈(装置到人的方向)，

该手段可穿戴(如果有的话)与其他(必需的)(在按需显示器上显示的用户希望/选择的对象交互)装置/***(用户)进行通信/连接(无线地)

在相关实施例中，计算机实现的方法/***包括在手势识别/输入过程(或用于手势/运动识别/输入的传感器数据的处理)中使用“上下文感知和智能切换”方法(如早先文中所述)允许用户直观的控制和快速切换模式。

在相关实施例中，计算机实现的方法/***)包括使用“强制”远程直接交互方式，使用户能够选择和操纵“按需”显示器上显示的“远程”设备或虚拟对象。

在相关实施例中，计算机实现的方法/***还包括使用远程交互方式的“点和选择”使得用户能够选择和操纵“按需”显示器上显示的“远程”设备或虚拟对象。

在相关实施例中，计算机实现的方法/***包括使用“多设备复制粘贴”的交互/集成方法(如前文中所述)，以使得能够在2个(或更多个)设备之间传送内容/文档方便(以类似于用户在一个设备内执行此操作所需的操作)。

在相关实施例中，移动/可穿戴设备的控制器/处理单元可以包括(一个或多个)另外的任务，例如(但不限于)：协调“任务管理/调度”；管理平台上安装的3个协调“复制/粘贴”多个端点/设备(如上面的多设备复制粘贴部分所述)及其上运行的相关软件

在相关实施例中，计算机实现的方法可以进一步与多个设备集成，例如通过提供附加服务，例如(但不限于)以下中的一个或多个：

1.状态/语境管理；

2.手势翻译服务，也许带插件(可以是3方软件)；

3.输入法/虚拟输入设备管理；

4.反馈(视觉)和触觉管理，协调3D计算，碰撞检测和模型管理(例如插件)；

5.UI/显示管理；

6.通讯/连接/访问控制(连接设备)管理；

7.硬件扩展管理(如插件，驱动程序)。

因此，在这个平台上运行的(3方)应用程序只需要指定所需的输入设备类型(而不是实现这样做的详细代码)，和/或如何切换和输出特定的输入设备/输入模式；促进从应用程序到其他设备的通信(例如拖放)和/或支持硬件扩展。这些服务一起工作来支持应用程序，并允许应用程序和用户之间的“超UI”风格的交互。

(-智能手表或显示器(VR，AR)集成和相关控制***，运行应用程序)具有存储在其上的指令的计算机可读存储介质，当由一个或多个处理器执行时，使一个或多个处理器执行操作，包括：

在可穿戴装置(例如VR，AR***或智能手表，智能手套)的显示器上产生显示环境；

可穿戴手势输入装置，例如手套像框架，其中传感器在用手指和/或手掌覆盖/移动的部分上；

从所述可穿戴手势输入装置上的一个或多个传感器接收传感器数据(如上文1所述)，所述传感器数据指示用户的手势(可能相对于手臂或参考坐标系)；

基于用户的输入/命令提供关于UI的反馈，并且还期望地具有诸如由可穿戴手势输入设备提供的触觉/触觉能力的其他通道；

在相关实施例中，还包括在相关实施例中管理/运行(第三方)应用，所述显示环境是三维(3D)；

在相关实施例中，还包括以无线方式连接到另一设备(“远程设备”)，并允许使用存储或安装/管理的指令(例如第3方应用)与“远程设备”进行控制/交互，以便包括使用来自传感器的数据，例如将其解释为

命令/消息，可以基于手势或上下文感知手势来与/控制远程设备进行交互。

(整合架构视角)

以人为中心的“超级UI”，可以作为具有以下功能的多个设备的集成点：

架构包括用于存储，管理和运行应用程序的方法；

与其他“远程设备”无线通信；

将来自传感器的接受的手势数据与控制***，远程设备和反馈***集成，例如用存储的OS/软件或应用来解释手势数据(例如使用上下文感知输入法)，或者显示U1(反馈)并且可选地驱动“触觉“反馈；

在相关实施例中，存储在可穿戴设备上并且可以执行具有这种架构特征的软件/应用。

(-为上述应用提供服务的软件平台)

该框架/相关软件方法提供的一些关键服务包括：

状态/语境管理；

手势“翻译”/解释服务(插件，可以是第3方)；

输入法/虚拟输入设备管理；

反馈(视觉)和触觉管理，协调3D计算，碰撞检测和模型管理

UI/显示管理；

通信/连接/访问控制(conntected device)管理

硬件扩展管理(插件，驱动程序)

所以在app/plugin层面上，他们只需要指定所需的输入设备类型，如何切换和输出，输入法和输入状态由框架管理，可以改变图标/手的框架/光标根据当前的模式，反馈管理***提供反馈意见

与其他设备的通信(例如拖放)通过通信/访问控制进行管理，并且硬件即插即用由硬件扩展管理来处理。这些服务与他们支持的应用程序一起工作，以允许“超级UI”交互应用程序。

在与上述所有相关的实施例中，用于与其他设备无线通信的可穿戴设备可以使用一个或多个IOT协议，例如(但不限于)以下(当与IOT设备通信时)

AllJoyn，线程(网络协议)，OIC(开放互连联盟)

，IIC(工业互联网联盟)等

(-革命性的文字处理器)

在一种可能的场景/应用中，可以通过允许用户使用多个手指作为不同的工具和不同模式的上下文(语境)感知智能开关来创建“直接操纵”字处理器，使得当用户手掌朝下时，输入模式为(自动根据上下文)更改为“键盘”模拟，使用户可以直接键入文字处理器编辑器，而无需从“仅视觉虚拟键盘”中查看或选择，当用户的手掌正面朝前，其中一个手指指向某些文本的时候取决于用户正在使用哪个手指(可以分配给不同的工具，如选择/突出显示，下划线或粗体)、还可能进一步取决于用户的“深度”(确定)手指与文本的交互(例如，通过食指“穿透”显示文本的深度的“深按”交互可能表示文本的“划掉”)，还有许多其他使用多个手指分立的或组合的交互，符号手势(例如确认按钮的“Ok”手势或对话框上的取消按钮的“杀掉”手势)。

这种自然和多手指的“并行”风格的编辑(而不是一次选择一个工具)可以使编辑/更改更直接，直观和高效。

示例场景：在相关实施例/示例中，允许用户使用食指作为

“指针”(指示设备)并解释类“左点击”/“左(按钮)向下”事件(类似于鼠标左键/鼠标左按钮的意义和效果)作为(检测)拇指的弯曲或中指超过某个(可配置)阀值，使得***可以知道动作是有意的，并且这样的“左键”可以分配诸如选择或其他含义(诸如相应的鼠标事件)的含义，并且解释类“右击”事件(类似于鼠标右键/鼠标右按钮的意义和效果)(一般)(检测)小指在某个(可配置)阀值上的弯曲(以便***可以确定动作是故意的)，右键可以指定(或触发)上下文菜单/命令/状态信息的含义

在VR/AR UI***的实施例中，包括组合来自用户手指上可穿戴设备例如指环的(无线的)IMU数据，用户手臂上的穿戴式设备(例如手表)的IMU数据，以形成用于用户的眼镜/VR头盔上(同时)显示的“穿戴式UI”的手势操纵***，这样的UI向用户的手势输入(从IMU数据的组合中解释)提供反馈。

(并且在相关实施例中)，期望在一些实施例中，软件/应用可以在具有与该手套/头盔通信的显示器(例如智能手表)的可穿戴设备上运行

(～输入/输出设备虚拟化)

一种模拟硬件输入设备的输入/输出设备虚拟化***，其允许用户以类似的手势/手的移动/姿态来操作它，其包括：

1)用户穿戴在例如用户的手/手臂/手腕等的身体部分上的一个或一组合作的与正在被模拟的一个或多个输入设备的操作相关的可穿戴装置/装置，其可以与其他设备/***进行无线通信，例如但不限于RF(例如蓝牙，NFC，Wifi等))，红外线，超声波等；

2)至少一个(3D)手势/手姿势/运动传感器***/手段作为(主)输入，这可以是例如一系列位于与用户手指一起移动的框架上，并且可能还有手(手掌)，手腕，手臂上的运动/位置和相关的传感器(例如但不限于IMU传感器和弯度-弯曲的传感器等)，这种传感器***可能是1)中的可穿戴设备的一部分，或者可以是独立的可穿戴的。

也期望UI***还提供“触觉/压力”(或其他“可感的”的反馈类型)输出***(用于例如但不限于直接反馈，控制位置指示，控制面模拟等)；

可选地，一个被模拟的的“物理设备/仪器”(或其一部分，例如用户的手/手指等的交互区域)的视觉表示可以被呈现给用户(例如用于校准或校正击键)；

从而，手指(特别是诸如指尖的区域具有可感觉的反馈致动器的)与键/仪器操作区域之间的之间的(空间)关系，可以根据传感器***数据(例如来自IMU的加速度和/或数据的那些姿态数据，磁性“方向”数据(或可能来自捕获和集成这些数据的“手骨架模型”))来确定，并且可能与另加的弯曲/弯曲传感器的，来自(可选地)光学传感器在的其他数据一起(或这样的数据的组合以获得更可靠的位置)；

这样的数据可以确定控制是否被触摸，按下或其他情况例如半按下，同时按下多个控制/键等，并且某些事件/消息可以是执行生成或相应的过程/过程；使得对于消息/事件接收者软件/用户界面***或应用程序，用户与虚拟设备的这种交互的输出与物理(实际)设备相同，并且从用户的观点来说与所模拟的输入设备在互动与功能、交互所需的技能/手势(手/手臂/手指/手指相同或相似的方式)和反馈(视觉上，也许与触觉如压力/触觉图案)等方面与实际设备类似/接近。

在相关实施例中，所述空间关系数据可以来自相对位置或移动数据，或者可以从每个移动部分的位置或与相互作用的位置对象来计算。

在相关实施例中，提供“直接”/多感官反馈，包括提供(“具体对应”或“相应”的)“响应”或“反馈”(例如但不限于：通过位于可容纳指尖(和其他部分)的可穿戴式设备相应的部分上的触觉手段，根据手指与虚拟对象(键)之间的(“具体”)空间关系，加到使用者指尖上的压力/触觉图案，振动的图案/强度/频率变化等，例如，一个激活的“点”/“感素”元件在图案中可以意味着(在此的位置，可能是偏离中心的)(仅仅刚能)接触到虚拟物体但没有按压。

在相关实施例中，除了IMU之外，还可以使用光学***来跟踪基于手的可穿戴式设备(从而可以提高精度，并且可以通过参考其他方法，使用诸如但不限于卡尔曼滤波的方式减少特定于每个独立的方法的误差)，例如但不限于手套式的可穿戴设备，其包含：

可以放置在用户HMD/风镜/眼镜/AR眼镜上的至少一个摄像头，或者使用已经在用户所佩戴的设备的上摄像头，或至少一个由用户戴在颈部周围或身体前面的摄像头(如身体摄像机)，在大多数情况下能够“看到”用户的手；

在可穿戴设备(例如在该手套式的可穿戴设备的两侧)上可能有至少2个红外线信标(如红外LED)，可能受到控制/调制以与摄像头一起工作(可能配备过滤器，以允许来自信标灯的光信号例如红外灯通过，并可能过滤掉其他灯光，如“可见”光谱)；对由摄像头获取的信号使用光学运动/位置跟踪算法来确定与信标可佩戴者相对于照相机的方向和距离，从而确定用户身体/头部的相对位置，这可以使用例如，但不限于H.2***矢量检测(可以由摄像头本身)，用于快速确定信标的移动或其他图像处理/运动检测和图像的捕获/跟踪算法；使用立体摄像头也可以拍摄成对的图像，以确定穿戴式(或其上的信标)的相对位置；在相关实施例中，每个信标灯可能是

1)调制的或2)具有不同的图案/形状3)在IR中具有不同的颜色/波长(例如一个是850nm，另一个是900nm)或其他可视的“视觉”差异相机，使得从照相机拍摄的图像或图像序列很容易确定哪一部分图像对应于哪个信标(因为可能有多于一个)；并且从信标的尺寸和它们之间的距离可以建立从信标到相机的距离和相对位置，其可以用于捕获(例如但不限于容纳用户的手指的)穿戴设备的运动或位置。

由可穿戴设备上的一个或多个处理器执行的以计算机实现的方法(以人为中心的“超UI”)，包括：

从至少一个穿戴式的一个或多个传感器接收传感器数据

手势/姿势/运动输入装置，其可以容纳并与用户身体或肢体的至少一个(部分)运动部分(例如(但不限于))容纳并移动：手指，手掌，手)，手腕，手臂等，所述传感器数据指示被测量的部分用户的手势/姿势/移动(可能相对于参考坐标系)；

从传感器***数据(例如来自IMU的加速度和姿态数据，磁性的)中确定手指之间(特别是具有可感的反馈致动器的区域(例如指尖))的键(空间)关系到键/仪器操作区域“方向”数据(或可能来自捕获和集成这些数据的“手骨架模型”)，也可能与来自附加弯曲/弯曲传感器的其他数据(可选地)光学传感器(或这些数据的组合)获得更可靠的位置)；这样的数据可以确定控件是否被触摸，按下或其他情况例如半按下，同时按下多个控制/键等，并且可以生成某些事件/消息

程序/进程执行；期望地(可选地)呈现被模拟的“物理设备/仪器”(或其一部分，诸如用户的手/手指等的(附近)区域正在交互)的视觉表示)给用户(例如，用于校准或校正关键笔划)；与其他(必要)设备/***(用户)进行通信/连接

期望无线地/选择与在按需显示器上显示的对象交互或相关；

在相关实施例中，所述空间关系数据可以来自相对位置或移动数据，或者可以从每个移动部分的位置或与相互作用的位置对象来计算。

在相关实施例中，提供“直接”多模态反馈，包括提供(“特定”或“对应”)“响应”或“反馈”(例如但不限于：压力/触觉图案，振动模式/强度/频率例如，根据手指和病毒物体(键)之间的(“具体”)空间关系，位于可穿戴式可容纳指尖(和其他部分)的部分上的触觉手段的使用者指尖，模式中的一个激活的“点”/元素可能意味着(勉强/将将)接触虚拟对象(在这样的位置，可能是中心偏离)但不被按下，

1.应用程序，运行在其他设备例如iwatch上模拟一个乐器

(最受威胁的是那些不需要拖拉机的设备)

希望诸如智能手表之类的可穿戴装置使用这种虚拟化技术来模拟与手交互的物理设备，例如但不限于音乐乐器，键盘/键盘，遥控器，操纵杆，鼠标等。

还期望的是，由可穿戴设备(例如智能手表)存储和执行的软件/应用程序使用/整合了虚拟化技术来模拟与手相互作用的物理设备，例如但不限于音乐乐器，键盘/键盘，遥控器，操纵杆，鼠标等

在iPhone/iWatch键盘/游戏控制器的相关方法中，查看虚拟键盘：通过比较手指(静态)或10个手指的移动(找出哪个是手指移动到哪个方向)来识别手指的按键″够过去″手势，并且当检测到“按下”手势时，首先发出“触摸”的反馈(触觉)并且在屏幕上显示该键被用户触摸但没有被按下，然后当用户按下该键然后给予更多的触觉和视觉的反馈。

(--A(软件***，硬件平台使用输入/输出设备虚拟化，用于集成多设备，交换)-输入/输出设备虚拟化技术，允许多个不同的输入设备被模拟并能够在这些模拟设备/方法之间进行即时切换和高速并行输入(也可以作为多个设备的集成点)组成：

(这样)允许用户与多个(模拟)设备(一些可以在同一时间)交互，并且可选地提供模拟输入设备之间的快速切换(适合UI或用户选择)，而不需要任何物理控制器改变。这可以包括：1)建立通信通道，2)提供视觉/触觉反馈，以模拟适当/指定的设备(设备到人的方向)或“输出”；3)提供(“高速/平行”直观的)人机对话交互方向(输入)。协调这种可穿戴式的移动/可穿戴式或可穿戴式或智能手表上的控制器/处理单元可以进一步协调设备的“任务管理/调度”和“通信”，以及“复制/粘贴”多个端点及其上运行的相关软件，其中可以包括3个派对应用程序(每个应用程序各自运行)可以进一步整合设备，例如使用“统一GUI”而不是单独的UI。

期望的是，计算机***(例如但不限于诸如智能手表，智能手套或移动设备等的可穿戴设备)，采用这种虚拟化技术来与多个远程设备进行通信，并为用户提供与手的交互与用户正在交互的设备相对应(可能是多个不同的)输入方法。例如，用于桌面的鼠标模拟，与平板电脑的触摸屏交互，用于游戏控制台的操纵杆模拟，或用于诸如智能恒温器的IOT设备的手势输入(例如模拟旋转旋钮)。

(-硬件功能-手套特有)

在一个实施例中，诸如手套或手表的佩戴装置在手腕周围具有支架(或者手部的一部分，如果是小手套)，并且支架内部的导管形成环形形状的天线并连接到可穿戴的(或芯片内部)大括号)，这是方向性的。在可穿戴设备的内部有另一个天线，其计划

垂直于该环路的平面，使得当“内部”天线具有良好的接收，而来自该天线的信号(可能是2个不同的频率)变得最弱(零)时，这意味着环路指向该方向，并且这样的信息可用于确定/识别哪个设备用户正在指向，并使其成为可穿戴设备的选定设备进行通信/交互。

在相关实施例中，这样的可穿戴者可以是模块化设计，并且可以被拆卸，并且可以切换某些部件(例如食指部分)。

例如，可以去除或更换手套的“指尖”或“手指”部分。可以有多种模块化设计，例如但不限于：1)具有可拆卸手指(尖端)部分(带有传感器和可能的致动器)的3部分设计，其连接器连接到手套的“base”Valalm部分(带传感器，控制器和电源)，触觉“板”，其基本上是具有致动器的手套的“手掌”侧(并且可以是可选的)，以及用于控制器，通信，电源的基座部分并且能够连接到另外2部分。或者可选的设计可以是如图1(a)和(b)所示的2部分设计：可以移除“手指”部分具有传感器(例如运动/位置传感器，例如但不限于IMU传感器，弯曲传感器)和(可选)还具有致动器(例如触觉致动器阵列)，并且可以具有长连接器

(电子的，并且还可以与气动管/软管取决于手指部分中的致动器类型)，并且还可以具有柔性传感器。通过改变到具有不同配置的传感器和执行器的不同指尖，“交互式”手套可以从非触觉到触觉/压力类型等改变。如图1(c)所示的另外2部分设计也是可能的，其中手套可以“分成”到上部和下部，与上部可容纳大多数传感器的连接器连接(并且控制器在背部)，下部更多地用于“反馈”，并且可以容纳执行器。

在相关实施例中，可以改变手套的“表面/皮肤”或衬里。

如图2所示，穿戴者可以采用“部分手套”设计，其中仅收集几个手指(例如3个包括食指)的运动/位置数据，具有“指环”状(可以是柔性/弹性)可容纳手指的“卡架”并连接到位于手背的中央“帖片/补丁”状覆盖物上的控制器(其包含运动/传感器，例如用于手位置/运动信息的IMU传感器)；并且理想(期望)的情况，指环/卡架或贴片可以具有按钮/可触摸区域，以允许在交互中的附加/额外UI功能。

在相关实施例中，中央“贴片”和手指上的“卡架”/指环之间的连接器可以包含附加的弯曲/曲度传感器(例如电阻器)以提供附加的手势信息。

在与上述所有实施例相关的用于手势输入的可穿戴物的实施例中，还包括位于覆盖拇指的部分上的耳机/扬声器，以及位于小指或靠近它的手指(从拇指起“第四”指)的部分上拾音器或麦克风，所以当用户进行“电话手势”(拇指伸出，可能的小指也伸出来，向下指向，其它手指卷曲)靠近用户的脸部，耳机/扬声器和麦克风(对于分别用于耳机和扬声器)足够近)，耳机/扬声器和麦克风连接到控制***(可以进一步连接到

通信***)，并且它们可以在“电话”类手势情况下被激活(可选地，手势识别可能忽略小指手指姿势以便可能更广泛地采用这种手势)

在相关实施例中，这种可佩戴性可以无线地连接到移动通信***(诸如智能手表或智能电话)，以便为基于语音的通信提供语音服务(音频信号的拾取和输出)(例如用于放置电话呼叫，基于因特网的语音聊天)在移动通信***的实施例中，可携带上述耳机/扬声器和麦克风的手势输入(例如智能手套)的佩戴者还配备无线通信***，例如但不限于基带蜂窝通信***，3G，4G移动通信***(可能包括语音，也可能与数据服务一起)，wifi等

在相关实施例中，具有微电话扬声器组合的这种可穿戴可以连接到用于语音相关服务或控制的其他设备。

在相关实施例中，穿戴式装置还可以具有用于其他通信的装置，例如但不限于NFC，红外线，蓝牙，用于支持IOT协议的装置。

在与所有上述相关的实施例中，可穿戴设备可以包括与具有一个或多个IOT协议的无线通信的装置/模块，例如(但不限于)以下(当与IOT设备通信时)AllJoyn，线程(网络协议)，OIC(开放互连联盟)，IIC(工业互联网联盟)等。

由于合适的***，这里的手段，方法(例如但不限于传感器，致动器，控制器等)可以以各种各样的形式实现，其中一些可能与所公开的实施例中的一些完全不同。因此，本文公开的具体结构和功能细节仅仅是代表性的；

附图说明

图2描绘了一种“简约”风格的设计，其中手只3个手指的运动/位置通过“连接”了位于手背部的中央“补片”上的控制器(其包含用于手位置/运动信息的单词/传感器，例如IMU传感器)的指环形(可以是柔性/弹性)“卡架”被收集，。中央“补片”和手指上的“卡架”之间的连接器可以包含附加的弯曲/弯曲传感器(例如电阻)，以提供额外的手势信息，并且环/支架或补丁可以具有按钮/可触摸区域允许额外的UI功能。

图4描绘了具有按需(可穿戴)显示器的超UI的几种场景：在(a)中示出了用户的手与模拟的“旋钮”交互，其可以代表一个“远程”设备的控制，例如5英尺外的智能(IOT)的调温器，智能手表用户显示的(替代/可穿戴)接口佩戴：用户的运动/转动“虚拟旋钮”的手势可以由穿戴的穿戴设备(手套)用户捕获同样的手，它连接到智能手表，也许通过蓝牙无线连接，用户的“虚拟旋钮”转动等控件的交互可以改变远程设备的设置并反映在智能手表UI上；或者用户可以只与这个手表上运行的应用程序进行交互，并使用类似的交互来与其“调谐旋钮”进行交互，这样可以方便的单手操作，不需要另一只手相关输入的帮助，(b)显示了另一种情况，其中UI被显示在用作“HyperUI”的按需屏幕而不是智能手表屏幕的AR眼镜上，(c)示出可以在VR上显示的VR显示图像(对)HMD(省略右侧图像)，其中代替Ui的是一个模拟的控制(器)以及用户手在VR环境中的代表(或直接显示手的图像)，使得用户可以直接看到当他/她的手转动时调节的旋钮。

Claims (8)

1.一种由一个或多个处理器执行的计算机实现的方法，用于向用户提供在实际或其他模拟情况下(如屏幕上或VR/AR/MR环境，视频游戏/模拟)与“远程”在手触(手可直接触及够到的)范围之外的对象/目标/端点的“类似原力的”的远程交互(类似于电影“星球大战”中描绘的“原力”交互)

包括：确定交互何时开始；然后确定哪些远程对象/目标/端点用户打算选择/选择或交互。

2.根据权利要求1所述的方法，其特征在于，所述“确定何时开始交互”，包括多种方式，例如由软件事件触发(当进入某些模式，例如但不限于：在游戏例如“星球大战战斗前线”通过拾取进入“英雄”模式)，通过用户姿势变化触发的事件，例如检测到一个“类似原力的”准备姿势和/或同时检测肌肉肌电(例如通过EMG/MMG检测的手/手指肌肉激活)与所述这种“类似原力的”的准备姿势，该姿势/姿势变化非常类似于例如相关电影和游戏(例如“星球大战战斗前线”)中所描绘的用于开始使用原力的手势--例如通过检测用户的手的在大致垂直于手掌的平面的方向的方向的短距离(不超过3英尺)远离使用者的身体方向的运动，手掌的旋转很少或没有旋转，并且该手掌的手指保持在接近电影星球大战中描绘的“原力”使用姿态，当该运动被检测到(通过诸如但不限于检测用户的手掌的角度/姿态/手势和运动以及每个手指(或主指)曲率和/或通过使用惯性和/或光学传感器(可能位于手套式可穿戴式(IMU/曲率传感器的情况下))或外部(如光学))进行相对角度/姿态/手势检测；或者通过确定是否满足以下条件来检测“类原力选择”初始手势：1)手掌背离用户或者手的背面朝向用户，2)手势是一个相对开放的位置，如图3所示的位置1(实线)，其中手指和拇指没有显着弯曲/弯曲或紧密相邻(紧邻的装置并排，它们之间没有空间)；在检测到这种“类原力选择”的初始手势时，确定该手势的大体总的指点方向(可以使用诸如但不限于通过“平均”五个手指的矢量方向的算法来计算并获得一般的指向方向一种方法是使用向量加法来添加可能的手指的所有(归一化)方向向量，对于不同的手指可能具有可能的不同(可配置)“权重”，并且确定空间中的方向)，这样的平均算法可以具有诸如使用不同拇指的“权量”和所有其他手指可能会考虑到手掌的方向，手掌的“弯曲程度”应相对不弯曲太多，也可能是手指的“弯曲度”等。)；

在还有用户头部朝向或查找方向可用数据的情况下，则可选地，控制***可以进一步过滤掉手势的大体总的指点方向不在用户头部正在看的方向的情况的那些姿势(这可能是一个选项，如果相关情况未被滤除，将允许用户与他们不面向/看的远程对象交互)。

3.根据权利要求1所述的方法，其特征在于，确定哪些远程对象/目标/端点是用户想要选择或交互的，包括使用诸如但不限于以下的方式：1)在游戏/模拟中，在(可能由游戏/模拟确定的)用户的“原力交互作用”的有效范围(根据其到用户的距离和相对于用户手掌面朝向的角度)内选择对象/目标，

或者2)在用户大体总的指点方向的方向范围(例如在由大体总的指点方向定义的搜索“圆锥”的中心区域内，或者由手指的各个方向限定，并且确定物体是否在范围内(在该“圆锥”中))内搜索(并且可以提供反馈例如高亮，放大和/或触觉反馈)；

用于检测/识别正在被指向的“远程”设备的方法可以类似于(但不限于)在上文“A.指点和选择”风格的远程设备选择/交互部分中讨论的那些方法(如果所搜索的设备是在现实世界中的)，或如果互动的设定为为在虚拟世界中(例如游戏，模拟，3D软件/操作***等)/在GUI上，执行“虚拟对象”搜索，如光线跟踪或其他类型的对象查找方法(例如有那些的3D/游戏引擎提供的)，以找出用户指向的虚拟对象；

如果用户保持手势，开始“扫描”(改变手/手腕/手臂方向)，***将更新相关的方向指示区域，并确定远程对象是否在范围内，并且可以提供反馈，例如突出(视觉)或触觉/压力反馈(触觉)以指示对象/目标在范围内。

4.根据权利要求1所述的方法，其特征在于，通过从诸如图3中的位置2(虚线)所示的方式检测从用户的“类原力选择”初始姿势到“类原力吸引姿势”的变化，通过例如但不限于：探测手(姿)势的“开放性”从“较宽的开放角度”到“较窄的开放角度”(限度是可以是可配置的或可定制的)来确定，

例如以(但不限于)下列途径)：

3)计算每个手指(新)指向方向(新)平均指向方向(向量)或手势的“大体总的指点方向”的相对角度(标量值)正如刚才提到的。如果所有5个(或可用的)值都在减小到尚未处于“完全关闭”水平的程度(例如在接近开放姿态和完全关闭位置的“中途”或“半抓取”)位置的范围内，并且期望的范围和/或检测机制可配置/可定制)(例如不是在一个或两个与平均值或比例显着不同的值或“变化”比例)的情况下，例如大于30％)，或者至少值不是以“矛盾的方式”移动-一些手指是“关闭”，而另外一些则是“打开”-这意味着手势或上下文的改变)，那么“吸引手势“可以确定/相关信息/事件可以触发；或

4)通过测量5(或可用)手指的“弯曲/弯曲度”来确定，例如但不限于从手指的“弯曲/弯曲”传感器的数据，当“度”所有相关手指的“弯曲/弯曲”增加到尚未处于“完全关闭”水平的程度(例如开放姿势和完全关闭位置的“中途”或“半抓”位置，并且限制/范围可配置并且期望地，所有手指以类似的方式移动，例如但不限于弯曲/弯曲的所有变化的比率在彼此的25％(或可配置值)内或平均值之间，或至少不是值不是以“矛盾的方式”移动-一些手指“关闭”，而其他一些则是“打开”-这意味着手势或上下文的改变)，则可以确定“吸引手势”相关消息/事件可以触发；因此，当满足上述条件并且手指(在手上)的“平均”开放角度在极限下变为较小的值(与“力选择”中的手指的“平均”开放角度相比)时，那么我们可以确定这是“像吸引力”的手势，“选择锥”中当前的“远程对象”变为“选择”，并且可以生成用于所选择的远程对象的后续处理的事件/消息；类似地，当检测到时，类似于手的正常抓取动作(所有手指关闭)的“抓取”手势也可以用于表示某些含义，例如抓取对象，文档或内容(例如在虚拟世界UI的情况下)或在与远程设备交互的现实生活中，这可能被用于表示从“远程”设备用户与本地可穿戴的，移动的或“按需的”设备相互抓取“UI”或文档/内容(如适用)，“选择锥”中的当前“远程对象”变为“选择”，并且可以生成用于所选择的远程对象的后续处理的事件/消息；一些后续处理可以是例如(当在诸如游戏或3D GUI中的虚拟/模拟环境中)时，该对象可能被呈现为“吸引”的“像吸引手势的力”，并且似乎直接飞入用户手上的可穿戴/点播显示，或复制/移动(在将内容复制到剪贴板的情况下)用抓取手势；在现实世界中的“远程设备”情况下，设备的UI或可能被选择并且(有选择地)显示在可佩戴的屏幕上或用户可以看到的“按需”屏幕上，或者先前选择的文件/消息/内容远程设备可以通过“抓取”手势放在剪贴板上。

5.一种模拟硬件输入设备的输入/输出设备虚拟化***，其允许用户以类似的手势/手的移动/姿态来操作它，其包括：

1)用户穿戴在例如用户的手/手臂/手腕等的身体部分上的一个或一组合作的与正在被模拟的一个或多个输入设备的操作相关的可穿戴装置/装置，其可以与其他设备/***进行无线通信，例如但不限于RF(例如蓝牙，NFC，Wifi等))，红外线，超声波等；

2)至少一个(3D)手势/手姿势/运动传感器***/手段作为(主)输入，这可以是例如一系列位于与用户手指一起移动的框架上，并且可能还有手(手掌)，手腕，手臂上的运动/位置和相关的传感器(例如但不限于IMU传感器和弯度-弯曲的传感器等)，这种传感器***可能是1)中的可穿戴设备的一部分，或者可以是独立的可穿戴的。//两种情况

也期望UI***还提供“触觉/压力”(或其他“可感的”的反馈类型)输出***(用于例如但不限于直接反馈，控制位置指示，控制面模拟等)；

可选地，一个被模拟的的“物理设备/仪器”(或其一部分，例如用户的手/手指等的交互区域)的视觉表示可以被呈现给用户(例如用于校准或校正击键)；

从而，手指(特别是诸如指尖的区域具有可感觉的反馈致动器的)与键/仪器操作区域之间的之间的(空间)关系，可以根据传感器***数据(例如来自IMU的加速度和/或数据的那些姿态数据，磁性“方向”数据(或可能来自捕获和集成这些数据的“手骨架模型”))来确定，并且可能与另加的弯曲/弯曲传感器的，来自(可选地)光学传感器在的其他数据一起(或这样的数据的组合以获得更可靠的位置)；

这样的数据可以确定控制是否被触摸，按下或其他情况例如半按下，同时按下多个控制/键等，并且某些事件/消息可以是执行生成或相应的过程/过程；使得对于消息/事件接收者软件/用户界面***或应用程序，用户与虚拟设备的这种交互的输出与物理(实际)设备相同，并且从用户的观点来说与所模拟的输入设备在互动与功能、交互所需的技能/手势(手/手臂/手指/手指相同或相似的方式)和反馈(视觉上，也许与触觉如压力/触觉图案)等方面与实际设备类似/接近。

6.根据权利要求5所述的***，其特征在于，所述空间关系数据可以来自相对位置或移动数据，或者可以从每个移动部分的位置或与相互作用的位置对象来计算。

7.根据权利要求5所述的***，其特征在于，提供“直接”/多感官反馈，包括提供(“具体对应”或“相应”的)“响应”或“反馈”(例如但不限于：通过位于可容纳指尖(和其他部分)的可穿戴式设备相应的部分上的触觉手段，根据手指与虚拟对象(键)之间的(“具体”)空间关系，加到使用者指尖上的压力/触觉图案，振动的图案/强度/频率变化等，例如，一个激活的“点”/“感素”元件在图案中可以意味着(在此的位置，可能是偏离中心的)(仅仅刚能)接触到虚拟物体但没有按压。

8.根据权利要求5所述的***，其特征在于，除了IMU之外，还可以使用光学***来跟踪基于手的可穿戴式设备(从而可以提高精度，并且可以通过参考其他方法，使用诸如但不限于卡尔曼滤波的方式减少特定于每个独立的方法的误差)，例如但不限于手套式的可穿戴设备，其包含：

可以放置在用户HMD/风镜/眼镜/AR眼镜上的至少一个摄像头，或者使用已经在用户所佩戴的设备的上摄像头，或至少一个由用户戴在颈部周围或身体前面的摄像头(如身体摄像机)，在大多数情况下能够“看到”用户的手；

在可穿戴设备(例如在该手套式的可穿戴设备的两侧)上可能有至少2个红外线信标(如红外LED)，可能受到控制/调制以与摄像头一起工作(可能配备过滤器，以允许来自信标灯的光信号例如红外灯通过，并可能过滤掉其他灯光，如“可见”光谱)；对由摄像头获取的信号使用光学运动/位置跟踪算法来确定与信标可佩戴者相对于照相机的方向和距离，从而确定用户身体/头部的相对位置，这可以使用例如，但不限于H.2***矢量检测(可以由摄像头本身)，用于快速确定信标的移动或其他图像处理/运动检测和图像的捕获/跟踪算法；使用立体摄像头也可以拍摄成对的图像，以确定穿戴式(或其上的信标)的相对位置；在相关实施例中，每个信标灯可能是：

1)调制的或2)具有不同的图案/形状3)在IR中具有不同的颜色/波长(例如一个是850nm，另一个是900nm)或其他可视的“视觉”差异相机，使得从照相机拍摄的图像或图像序列很容易确定哪一部分图像对应于哪个信标(因为可能有多于一个)；并且从信标的尺寸和它们之间的距离可以建立从信标到相机的距离和相对位置，其可以用于捕获(例如但不限于容纳用户的手指的)穿戴设备的运动或位置。