CN113412084A - 来自多种类型的虚拟和/或增强现实环境内的神经肌肉激活的反馈 - Google Patents

Abstract

计算机化***、方法和存储关于方法的代码的计算机可读存储介质使得能够基于从用户感测到的神经肌肉信号向用户提供反馈。一个此种***包括神经肌肉传感器和至少一个计算机处理器。被布置在一个或更多个可穿戴设备上的传感器被配置为感测来自用户的神经肌肉信号。至少一个计算机处理器被编程为使用一个或更多个推理模型来处理神经肌肉信号，并基于以下中的一项或两项向用户提供反馈：经处理的神经肌肉信号和从经处理的神经肌肉信号导出的信息。该反馈包括与以下中的一项或两项有关的信息的视觉反馈：用户的至少一个运动单位的激活的定时和用户的至少一个运动单位的激活的强度。

Description

来自多种类型的虚拟和/或增强现实环境内的神经肌肉激活 的反馈

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求2018年11月16日提交的题为“FEEDBACK OFNEUROMUSCULAR ACTIVATION USING AUGMENTED REALITY”的序列号为62/768,741的美国临时专利申请的利益，该专利申请的全部内容通过引用并入本文。

发明领域

本技术涉及检测和解释用于在增强现实(AR)环境以及其他类型的扩展现实(XR)环境(诸如虚拟现实(VR)环境、混合现实(MR)环境等)中执行动作的神经肌肉信号的***和方法。

背景

AR***通过在真实世界环境的多个方面上叠加计算机生成的感知信息或虚拟信息，为用户提供对真实世界环境补充有虚拟信息的交互体验。在由AR***生成的AR环境内，真实世界环境中的物理对象可以用视觉指示器进行注释。视觉指示器可以为AR***的用户提供关于物理对象的信息。

在生成人体的肌肉骨骼表示以用于在AR环境中使用的一些计算机应用中，可能期望这些应用知道用户身体的一个或更多个部分的空间定位、取向和/或移动，以提供身体移动和/或身体定位的现实和准确表示。反映用户的定位、取向和/或移动的此类肌肉骨骼表示中的许多都存在缺点，包括有缺陷的检测和反馈机制、不准确的输出、滞后的检测和输出方案以及其他相关问题。

概述

根据本技术的多个方面，描述了一种基于从用户感测到的神经肌肉信号向用户提供反馈的计算机化***。该***可包括多个神经肌肉传感器和至少一个计算机处理器。多个神经肌肉传感器可以被配置为感测来自用户的多个神经肌肉信号，该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。至少一个计算机处理器可以被编程为：使用一个或更多个推理或统计模型来处理多个神经肌肉信号；以及基于以下中的一项或两项向用户提供反馈：经处理的多个神经肌肉信号，以及从经处理的多个神经肌肉信号导出的信息。反馈可以包括视觉反馈，其包括与以下中的一项或两项有关的信息：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。

在一个方面中，反馈可以包括听觉反馈、或触觉反馈、或听觉反馈和触觉反馈两者。听觉反馈和触觉反馈可以与以下中的一项或两项有关：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。

在另一个方面中，视觉反馈还可以包括与以下中的一项或两项有关的可视化：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。可视化可以在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内被提供。可视化可以描绘至少一个身体部位，其中该至少一个身体部位包括以下中的任一项或任意组合：用户的前臂、用户的手腕和用户的腿。

在该方面的一个变型中，至少一个计算机处理器可以被编程为向用户提供至少一个目标神经肌肉活动状态的可视化。该至少一个目标神经肌肉活动状态可与执行特定任务相关联。

在该方面的另一个变型中，至少一个计算机处理器可以被编程为基于以下中的一项或两项来确定相对于至少一个目标神经肌肉活动状态的偏差信息：多个神经肌肉信号和从该多个神经肌肉信号导出的信息。向用户提供的反馈可以包括基于偏差信息的反馈。

在该方面的又一个变型中，至少一个计算机处理器可以被编程为从以下中的一项或两项来计算肌肉疲劳的度量：多个神经肌肉信号和从该多个神经肌肉信号导出的信息。向用户提供的视觉反馈可以包括肌肉疲劳的度量的视觉指示。

在一个方面中，至少一个计算机处理器可以被编程为至少部分地基于以下中的一项或两项来预测用户执行的任务或活动的结果：多个神经肌肉信号和从该多个神经肌肉信号导出的信息。反馈可包括所预测的结果的指示。

在该方面的一个变型中，任务或活动可以与运动性移动或治疗性移动相关联。

如将理解的，本技术可包括由这些方面的***执行的方法或利用这些方面的***的方法，并还可以包括存储关于方法的代码的计算机可读存储介质。

根据本技术的多个方面，描述了一种基于从用户感测到的神经肌肉信号向用户提供反馈的计算机化***。该***可以包括多个神经肌肉传感器和至少一个计算机处理器。多个神经肌肉传感器可以被配置为感测来自用户的多个神经肌肉信号，可以被布置在一个或更多个可穿戴设备上。至少一个计算机处理器可以被编程为：使用一个或更多个推理或统计模型来处理多个神经肌肉信号；以及基于经处理的多个神经肌肉信号向用户提供反馈。反馈可以与用户的一个或更多个神经肌肉活动状态相关联。多个神经肌肉信号可与用户执行的运动性移动或治疗性移动有关。

在一个方面中，反馈可以包括以下中的任一项或任意组合：音频反馈、视觉反馈和触觉反馈。

在另一个方面中，反馈可以包括由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内的视觉反馈。

在该方面的一个变型中，视觉反馈可以包括以下中的一项或两项的可视化：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。该可视化可以描绘至少一个身体部位，其中该至少一个身体部位包括以下中的任一项或任意组合：用户的前臂、用户的手腕和用户的腿。例如，可视化可以包括用户的身体部位的虚拟表示或增强表示，并且该虚拟表示或该增强表示可以描绘该用户的该身体部位以比该用户的该身体部位的基于现实的激活力更大的激活力进行动作或以比该用户的该身体部位的基于现实的旋转程度更大的旋转程度移动。

在该方面的另一个变型中，至少一个计算机处理器可以被编程为向用户提供至少一个目标神经肌肉活动状态的可视化。该至少一个目标神经肌肉活动状态可与执行运动性移动或治疗性移动相关联。可视化可以包括用户的身体部位的虚拟表示或增强表示，并且虚拟表示或增强表示可以描绘该用户的该身体部位以比该用户的该身体部位的基于现实的激活力更大的激活力进行动作或以比该用户的该身体部位的基于现实的旋转程度更大的旋转程度移动。

在该方面的变型中，至少一个计算机处理器可以被编程为基于以下中的一项或两项确定相对于至少一个目标神经肌肉活动状态的偏差信息：多个神经肌肉信号和从该多个神经肌肉信号导出的信息。反馈可以包括基于偏差信息的可视化。在一个实现方式中，偏差信息可以从由至少一个计算机处理器处理的第二个多个神经肌肉信号导出。在另一个实现方式中，至少一个计算机处理器可以被编程为至少部分地基于偏差信息预测由用户执行的运动性移动或治疗性移动的结果，以及所述反馈可以包括所预测的结果的指示。

如将理解的，本技术可以包括由这些方面的***执行或利用这些方面的***的方法，并且还可以包括存储关于这些方法的代码的计算机可读存储介质。

例如，根据本技术的一个方面，描述了一种基于从用户感测到的神经肌肉信号向用户提供反馈的方法。该方法可由计算机化***执行，该方法可以包括：接收使用被布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器从用户感测到的多个神经肌肉信号；使用一个或更多个推理或统计模型处理多个神经肌肉信号；以及基于以下中的一项或两项向用户提供反馈：经处理的神经肌肉信号和从记录的神经肌肉信号导出的信息。反馈可以包括视觉反馈，该视觉反馈包括与以下中的一项或两项有关的信息：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。

在该方面的一个变型中，视觉反馈可以在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内提供。

在该方面的另一个变型中，反馈可以包括听觉反馈、或触觉反馈、或听觉反馈和触觉反馈，反馈与以下中的一项或两项有关：用户的至少一个运动单位的激活的定时，以及用户的至少一个运动单位的激活的强度。

根据本技术的多个方面，描述了一种用于基于从用户感测到的神经肌肉信号向用户提供反馈的计算机化***。该***可包括多个神经肌肉传感器和至少一个计算机处理器。多个神经肌肉传感器可以被配置为感测来自用户的多个神经肌肉信号，该多个神经肌肉传感器可以被布置在一个或更多个可穿戴设备上。至少一个计算机处理器可被编程为向用户提供与以下中的一项或两项相关联的反馈：用户的运动单位激活和肌肉激活中的一项或两项的定时，以及用户的运动单位激活和肌肉激活中的一项或两项的强度。反馈可基于以下中的一项或两项：多个神经肌肉信号，以及从多个神经肌肉信号导出的信息。

在一个方面中，反馈可以包括音频反馈、或触觉反馈、或音频反馈和触觉反馈。

在另一个方面中，反馈可以包括视觉反馈。

在该方面的一个变型中，视觉反馈可以在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内提供。在一个实现方式中，反馈可以包括对AR***的指令，以在AR环境内在用户的一个或更多个身体部位上投影以下项的可视化：定时，或强度，或定时和强度。在另一个实现方式中，反馈可以包括对VR***的指令，以在VR环境内在用户的一个或更多个身体部位的虚拟表示上显示以下项的可视化：定时，或强度，或定时和强度。

在一个方面中，至少一个计算机处理器可以被编程为至少部分地基于以下中的一项或两项来预测任务的结果：多个神经肌肉信号和从多个神经肌肉信号导出的信息。反馈可以包括所预测的结果的指示。

在一个方面中，反馈可以在感测多个神经肌肉信号期间被提供。

在另一个方面中，反馈可以实时被提供。

在该方面的变型中，多个神经肌肉信号可以在用户执行特定任务时被感测到，并且反馈可以在用户完成执行特定任务之前被提供。特定任务可以与运动性移动或治疗性移动相关联。例如，治疗性移动可以与监测与受伤相关联的恢复相关联。在另一个示例中，反馈可以至少部分地基于与执行特定任务相关联的人体工程学(ergonomics)。

在一个方面中，至少一个计算机处理器可以被编程为存储以下中的一项或两项：多个神经肌肉信号和从多个神经肌肉信号导出的信息。反馈可基于以下中的一项或两项：存储的多个神经肌肉信号和从多个神经肌肉信号导出的存储的信息。

在该方面的一个变型中，反馈可以在多个神经肌肉信号未被感测到时被提供。

在另一个方面中，至少一个计算机处理器可以被编程为向用户提供与执行特定任务相关联的目标神经肌肉活动的可视化。

在该方面的一个变型中，目标神经肌肉活动可以包括以下中的一项或两项：用户的运动单位激活或肌肉激活或运动单位激活和肌肉激活的目标定时，以及用户的运动单位激活或肌肉激活或运动单位激活和肌肉激活的目标强度。

在该方面的另一个变型中，目标神经肌肉活动的可视化可以包括在由增强现实(AR)***生成的AR环境中，将目标神经肌肉活动投影到用户的一个或更多个身体部位上。

在该方面的又一个变型中，目标神经肌肉活动的可视化可以包括对虚拟现实(VR)***的指令，以在由VR***生成的VR环境内显示以下项的可视化：用户的运动单位激活或肌肉激活或运动单位激活和肌肉激活的定时，或用户的运动单位激活或肌肉激活或运动单位激活和肌肉激活的强度，或用户的运动单位激活或肌肉激活或运动单位激活和肌肉激活的定时和强度两者。

在该方面的一个变型中，至少一个计算机处理器可以被编程为基于以下中的一项或两项来确定相对于目标神经肌肉活动的偏差信息：多个神经肌肉信号和从多个神经肌肉信号导出的信息。反馈可以包括基于偏差信息的反馈。在一个实现方式中，基于偏差信息的反馈可以包括偏差信息的可视化。例如，偏差信息的可视化可以包括在由增强现实(AR)***生成的AR环境中将偏差信息投影到用户的一个或更多个身体部位上。在另一个示例中，偏差信息的可视化可以包括被提供给虚拟现实(VR)***以在由VR现实***生成的VR环境内在用户的一个或更多个身体部位的虚拟表示上显示偏差信息的可视化的指令。在又一个实现方式中，至少一个计算机处理器可以被编程为至少部分地基于偏差信息预测任务的结果，并且基于偏差信息的反馈可以包括所预测的结果的指示。

在一个方面中，至少一个计算机处理器可以被编程为至少部分地基于以下中的一项或两项生成针对用户的目标神经肌肉活动：在由用户或不同用户对特定任务的一次或更多次执行期间感测到的神经肌肉信号和从所述神经肌肉信号导出的信息。

在该方面的一个变型中，至少一个计算机处理器可以被编程为基于一个或更多个标准，针对由用户或不同用户对特定任务的一次或更多次执行中的每一次，确定特定任务被良好执行的程度。目标神经肌肉活动可以是针对用户的基于特定任务的一次或更多次执行中的每一次被良好执行的程度而生成的。一个或更多个标准可以包括来自用户或来自不同用户的关于特定任务被良好执行的程度的指示。

在该方面的另一个变型中，至少一个计算机处理器可被编程为基于一个或更多个标准，针对用户或不同用户对特定任务的一次或更多次执行中的每一次，确定特定任务被不良(poorly)执行的程度。目标神经肌肉活动可以是针对用户的基于特定任务的一次或多次执行中的每一次被不良执行的程度而生成的。一个或更多个标准可以包括来自用户或不同用户的关于特定任务被不良执行的程度的指示。

在另一个方面中，至少一个计算机处理器可以被编程为根据以下中的一项或两项来计算肌肉疲劳的度量：多个神经肌肉信号和从该多个神经肌肉信号导出的信息。反馈可以包括肌肉疲劳的度量的指示。

在该方面的一个变型中，由至少一个计算机处理器对肌肉疲劳的度量的计算可以包括确定多个神经肌肉信号的频谱变化。

在该方面的另一个变型中，肌肉疲劳的度量的指示可以包括在由增强现实(AR)***生成的AR环境中将肌肉疲劳的度量的指示投影到用户的一个或更多个身体部位上。

在该方面的另一个变型中，肌肉疲劳的度量的指示可以包括提供给虚拟现实(VR)***以在由VR***生成的VR环境内显示肌肉疲劳的度量的指示的指令。

在该方面的另一个变型中，至少一个计算机处理器可以被编程为至少部分地基于肌肉疲劳的度量来确定提供给用户以改变用户的行为的指令。反馈可以包括对用户的指令。

在该方面的另一个变型中，至少一个计算机处理器可以被编程为基于肌肉疲劳的度量，确定用户的疲劳水平是否大于肌肉疲劳的阈值水平。如果疲劳水平被确定为大于肌肉疲劳的阈值水平，则肌肉疲劳的度量的指示可以包括关于疲劳水平的警报。

在一个方面中，多个神经肌肉传感器可以包括至少一个惯性测量单元(IMU)传感器。多个神经肌肉信号可以包括由至少一个IMU传感器感测到的至少一个神经肌肉信号。

在另一个方面中，***还可以包括至少一个辅助传感器，其被配置为感测针对用户的一个或更多个身体部位的定位信息。反馈可以基于定位信息。

在该方面的一个变型中，至少一个辅助传感器可以包括至少一个相机。

在一个方面中，向用户提供的反馈可以包括与用户对物理任务的执行相关联的信息。

在该方面的一个变型中，与物理任务的执行相关联的信息可以包括在物理任务的执行期间施加到物理对象的力是否大于阈值力的指示。

在该方面的另一个变型中，与物理任务的执行相关联的信息可以在物理任务的执行完成之前向用户提供。

如将理解的，本技术可以包括由这些方面的***执行或利用这些方面的***的方法，并且还可以包括存储关于方法的代码的计算机可读存储介质。

例如，根据本技术的一个方面，描述了一种用于提供反馈的方法，该提供反馈的方法用于基于从用户感测到的神经肌肉信号向用户提供反馈。该方法可以由计算机化***执行，该方法可以包括：使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器来感测来自用户的多个神经肌肉信号；以及向用户提供与以下中的一项或两项相关联的反馈：用户的运动单位激活或用户的肌肉激活或用户的运动单位激活和肌肉激活两者的定时，以及用户的运动单位激活或用户的肌肉激活或用户的运动单位激活和肌肉激活两者的强度。反馈可以基于以下中的一项或两项：感测到的神经肌肉信号和从感测到的神经肌肉信号导出的信息。

在另一个示例中，根据本技术的一个方面，描述了一种存储关于该方法的程序代码的非暂时性计算机可读存储介质。也就是说，程序代码在由计算机执行时使计算机执行该方法。

应理解的是，前述概念和下文更详细讨论的附加概念的所有组合(只要此类概念不是相互矛盾的)都被认为是本文公开的本发明的主题的一部分。特别地，出现在本公开末尾的所要求保护的主题的所有组合都被认为是本文公开的本发明的主题的一部分。

附图简述

本技术的各种非限制性实施例将参考以下附图进行描述。应理解的是，附图不一定按比例绘制。

图1是根据本文中所述技术的一些实施例的基于计算机的***的示意图，该基于计算机的***用于处理神经肌肉传感器数据(诸如从神经肌肉传感器获得的信号)以生成肌肉骨骼表示；

图2是根据本文中所述技术的一些实施例的分布式计算机***的示意图，该分布式计算机***将AR***与神经肌肉活动***集成在一起；

图3是根据本文中所述技术的一些实施例的用于使用神经肌肉信号来向用户提供反馈的过程的流程图；

图4示出了根据本文中所述技术的一些实施例的用于使用神经肌肉信号来确定强度、定时和/或肌肉激活的过程的流程图；

图5示出了根据本文中所述技术的一些实施例的用于使用神经肌肉信号以在AR环境中提供投影的可视化反馈的过程的流程图；

图6示出了根据本文中所述技术的一些实施例的用于在AR环境中使用神经肌肉信号来提供当前和目标肌肉骨骼表示的过程的流程图；

图7示出了根据本文中所述技术的一些实施例的用于使用神经肌肉信号来确定相对于目标肌肉骨骼表示的偏差并向用户提供反馈的过程的流程图；

图8示出了根据本文中所述技术的一些实施例的用于使用神经肌肉信号来获得目标神经肌肉活动的过程的流程图；

图9示出了根据本文中所述技术的一些实施例的用于使用神经肌肉活动来评估一个或更多个任务并提供反馈的过程的流程图；

图10示出了根据本文中所述技术的一些实施例的用于使用神经肌肉信号来监测肌肉疲劳的过程的流程图；

图11示出了根据本文中所述技术的一些实施例的用于向经训练的推理模型提供数据以获得肌肉骨骼信息的过程的流程图；

图12A、图12B、图12C和图12D示意性地示出了根据本文中所述技术的一些实施例的在其上结合了传感器电子器件的贴片式可穿戴***；

图13示出了根据本文中所述技术的一些实施例的在其上具有周向布置的EMG传感器的腕带；

图14A是根据本文中所述技术的一些实施例的可穿戴***，其具有围绕条带周向布置的十六个EMG传感器，该条带被配置为围绕用户的下臂或手腕穿戴；

图14B是穿过图14A中示出的十六个EMG传感器中的一个的横截面视图；

图15示意性地示出了根据本文中所述技术的一些实施例的基于计算机的***，该基于计算机***包括可穿戴部分和加密狗部分；

图16示出了XR实现方式的示例，其中关于用户的反馈可以经由XR头戴式装置向用户提供；以及

图17示出了XR实现方式的示例，其中关于用户的反馈可以向协助用户的另一个人提供。

详细描述

应理解，观察、描述和交流神经肌肉活动(诸如人通过移动一个或更多个身体部位(诸如手臂、手、腿、脚等)执行的神经肌肉活动)可能存在困难。特别地，可能难以处理此类一个或更多个身体部位中的运动单位激活和肌肉激活的定时和/或强度，以便向执行了或正在执行他或她的一个或更多个身体部位的特定移动的人提供反馈。人类要执行的熟练的运动动作可能需要运动单位和肌肉的精确协调的激活，并且学习此类熟练动作可能由于观察和交流运动单位激活和肌肉激活的困难而受阻。关于这些激活的交流困难也可能成为教练、训练员(人类训练员和自动/半自动训练员两者)、医疗提供者和指导人类在体育运动、表演艺术、康复和其他领域中执行特定动作的其他人的障碍。如将理解的，对于学习使用神经肌肉控制技术来控制一个或更多个***(例如，机器人***、工业控制***、游戏***、AR***、VR***、其他XR***等)的人来说，关于这些激活的精确反馈是期望的。

在本文中所述的本技术的一些实施例中，提供了用于执行对神经肌肉信号的感测和/或一个或更多个测量、对一个或更多个神经肌肉结构的激活的识别并向用户输送反馈以提供关于用户的一个或更多个神经肌肉激活的信息的***和方法。在一些实施例中，该反馈可以以以下中的任一项或任何组合被提供：视觉显示、XR显示(例如，MR、AR和/或VR显示)、触觉反馈、听觉信号、用户界面和能够协助用户执行特定移动或活动的另外的类型的反馈。此外，神经肌肉信号数据可以与其他数据组合，以向用户提供更准确的反馈。对用户的该反馈可以采取各种形式，例如，与用户的神经肌肉激活有关的一个或更多个定时、一个或更多个强度和/或一个或更多个肌肉激活。反馈可以即时(例如，实时或具有最小延迟的接近实时)或在完成移动或活动后的某个时间点输送给用户。

如将理解的，本文中所述的本技术的一些***可以在AR环境和/或VR环境内使用来向用户提供该反馈。例如，肌肉和一个或更多个运动单位激活的可视化可以在由AR或VR***产生的显示内投影在用户的身体上。其他反馈类型(诸如，例如，听觉音调或指令、触觉蜂鸣、电反馈等)可以单独地或与视觉反馈组合地进行提供。本技术的一些实施例可以提供一种***，该***能够通过神经肌肉信号测量或感测用户的一个或更多个移动，将该一个或更多个移动与所期望的一个或多个移动进行比较，并向用户提供关于所期望的一个或更多个移动与用户的测量的或感测到的(即实际的)一个或更多个移动之间的任何差异或相似性的反馈。

在本文中所述的技术的一些实施例中，传感器信号可用于预测关于用户身体(例如，腿、手臂和/或手)的一个或更多个部分的定位和/或移动的信息，用户身体可表示为多段铰接刚体***，该刚体***具有连接该刚体***的多个段的关节。例如，在手移动的情况下，由放置在用户身体(例如，用户的手臂和/或手腕)上的位置处的可穿戴神经肌肉传感器感测到的信号可以作为输入被提供给一个或更多个推理模型，该一个或更多个推理模型被训练以预测对例如在用户执行一个或更多个手移动时与和手相关联的基于计算机的肌肉骨骼表示中的多个刚体段相关联的定位(例如，绝对定位、相对定位、取向)和一个或更多个力的估计。与和手相关联的肌肉骨骼表示的节段相关联的定位信息和力信息的组合在本文中可称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的推理模型可以将由可穿戴神经肌肉传感器感测到的神经肌肉信号解释为定位和力的估计值(手部状态信息)，该定位和力的估计值被用于更新肌肉骨骼表示。因为神经肌肉信号可以被连续感测，所以肌肉骨骼表示可被实时更新，并且用户身体的一个或更多个部分的视觉表示可以基于从神经肌肉信号确定的手部状态的当前估计来进行呈现(例如，在AR或VR环境内的手)。如将理解的，使用用户的神经肌肉信号确定的对用户手部状态的估计可以被用于确定用户正在执行的姿势(gesture)和/或预测用户将执行的姿势。

在本技术的一些实施例中，感测神经肌肉信号的***可以与执行XR(例如，AR或VR或MR)功能的***耦合。例如，感测用于确定用户的身体部位(例如，手、手臂等)的定位的神经肌肉信号的***可以与AR***结合使用，使得组合***可以为用户提供改进的AR体验。由这些***得到的信息可以被用于改进用户的整体AR体验。在一个实现方式中，被包括在AR***中的相机可以捕获用于改进肌肉骨骼表示的模型的准确性和/或校准该模型的数据。此外，在另一个实现方式中，***经由感测到的神经肌肉信号获得的肌肉激活数据可以被用于生成可在AR环境中向用户显示的可视化。在又一个实现方式中，在AR环境中显示的信息可以被用作对用户的反馈，以允许用户更准确地执行例如用于向组合***的肌肉骨骼输入的姿势、或姿态(poses)、或移动等。此外，可以在组合***中提供控制特征，这可以允许预定的神经肌肉活动控制AR***的多个方面。

在本技术的一些实施例中，肌肉骨骼表示(例如，手部状态呈现)可以包括以不同水平对用户活动建模的不同类型的表示。例如，此类表示可以包括以下中的任一项或任何组合：仿生(现实)手的实际视觉表示、合成(机器人)手、低维嵌入空间表示(low-dimensional embedded-space representation)(例如。通过利用主成分分析(PCA)、等值线、局部线性嵌入(LLE)、可感测PCA和/或另一种合适的技术来产生低维表示)、以及可以用作基于姿势的控制操作(例如，控制另一个应用或另一个***等的一个或更多个功能)的输入信息的“内部表示(internal representation)”。也就是说，在一些实现方式中，手定位信息和/或力信息可以被提供作为用于下游算法的输入，而不需要直接被呈现。如上所述，由相机捕获的数据可用于协助创建实际的视觉表示(例如，使用由相机捕获的手图像改进用户手的XR版本)。

如上所述，测量(例如，感测和分析)神经肌肉信号、确定对一个或更多个神经肌肉结构的激活的识别并向用户输送反馈以提供关于用户的神经肌肉激活的信息可能是有益的。在本文中所述技术的一些实施例中，为了获得用于确定人类移动的参考，可以提供***用于测量和建模人类肌肉骨骼***。人类肌肉骨骼***的全部或部分可以被建模为多段铰接刚体***，其中关节形成不同节段之间的接口，并且关节角定义在模型中连接的节段之间的空间关系。

对关节处移动的约束受连接节段的关节类型和可能限制关节处移动的范围的生物结构(例如肌肉、肌腱、韧带)的制约。例如，连接上臂与躯干或人体(human subject)的肩关节以及连接大腿与躯干的髋关节是球窝关节，其允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和下臂(或前臂)的肘关节、以及连接人体的大腿和小腿的膝关节，允许的运动范围更为有限。在该示例中，多段铰接刚体***可用于对人类肌肉骨骼***的部分进行建模。然而，应理解的是，尽管人类肌肉骨骼***的一些节段(例如，前臂)可以在铰接刚体***中被近似为刚体，但此类节段可各自包括多个刚体结构(例如，前臂可以包括尺骨和桡骨)，这可能使节段内的移动更加复杂，刚体模型没有明确考虑这点。因此，用于与本文中所述技术的一些实施例一起使用的铰接刚体***的模型可以包括代表不是严格意义上的刚体的身体部位的组合的节段。应理解的是，除多段铰接刚体***外，其他物理模型可以被用于对人类肌肉骨骼***的部分进行建模，而不偏离本公开的范围。

继续上面的示例，在运动学中，刚体是展现出各种运动属性(例如，定位、取向、角速度、加速度)的对象。获知刚体的一个节段的运动属性使得能够基于节段连接方式的约束来确定刚体其他节段的运动属性。例如，手可以被建模为多段铰接体，其中手腕和每个手指的关节形成模型中的多个节段之间的接口。刚体模型中的节段的移动可以以铰接刚体***进行模拟，在铰接刚体***中节段相对于模型中其他节段的定位(例如，实际定位、相对定位或取向)信息是使用经训练的推理模型来预测的，如下面详细描述。

对于本技术的一些实施例，由肌肉骨骼表示近似的人体的部分可以是手或手与一个或更多个手臂段的组合。用于描述以下项的当前状态的信息在本文中被称为肌肉骨骼表示的“手部状态”(参见本文中关于手部状态的其他讨论)：节段之间定位关系、关于各个节段或节段的组合的力关系以及在肌肉骨骼表示中节段之间的肌肉和运动单位激活关系。然而，应理解的是，本文中描述的技术也适用于除手以外的身体部分(包括但不限于手臂、腿、脚、躯干、脖子或前述的任何组合)的肌肉骨骼表示。

除了空间(例如定位和/或取向)信息外，本技术的一些实施例使得能够预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段所施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在固体对象(诸如桌子)上的力和在两个节段(如两个手指)被捏在一起时施加的力。旋转力的示例包括但不限于当节段(诸如手腕或手指中的节段)相对于另一个节段扭曲或挠曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括以下中的一项或更多项：捏力信息、抓力信息以及关于通过肌肉骨骼表示进行表示的肌肉之间的共收缩力(co-contraction forces)的信息。应理解的是，可能有多个力与肌肉骨骼表示的节段相关联。例如，前臂段中有多块肌肉，并且作用在前臂段上的力可以基于单独肌肉或基于一个或更多个肌肉群(例如，屈肌、伸肌等)来预测。

如本文中所用，术语“姿势”可以指一个或更多个身体部位的静态或动态配置，其包括一个或更多个身体部位的定位和与该配置相关联的力。例如，姿势可以包括离散的姿势，诸如将手掌放在或按压在固体表面上、或抓住球、或将两个手指捏在一起(例如，以形成姿态)；或连续的姿势，诸如来回挥动手指、抓住和抛出球、在一个方向上旋转手腕；或离散和连续的姿势的组合。姿势可以包括隐蔽的姿势，其对另一个人来说可能是无法察觉的，诸如通过共收缩对立的肌肉或使用肌肉下激活来稍微绷紧关节。在训练推理模型时，姿势可以使用被配置为提示用户执行姿势的应用来定义，或可替代地，姿势可以由用户任意定义。用户执行的姿势可以包括符号姿势(例如，基于指定映射的姿势词汇表，映射到其他姿势、交互或命令的姿势)。在一些情况下，手和手臂的姿势可以是象征性的并且用于根据文化标准来进行交流。

根据本文中所述技术的一些实施例，由一个或更多个可穿戴传感器感测到的信号可以被用于控制XR***。本发明人发现，可以从这些感测到的信号和/或基于这些感测到的信号或从这些感测到的信号导出的信息中识别用户的多个肌肉激活状态，以使得能够改进对XR***的控制。神经肌肉信号可以直接用作XR***的输入(例如，通过使用运动单位动作电位作为输入信号)和/或神经肌肉信号可以(包括通过使用如本文中所述的推理模型)进行处理，以用于确定用户身体的部位(例如，手指、手、手腕、腿等)的移动、力和/或定位。XR***的各种操作可以基于所识别的肌肉激活状态来进行控制。XR***的操作可以包括用户可以基于来自一个或更多个可穿戴传感器的感测信号控制的XR***的任何方面。肌肉激活状态可以包括但不限于用户执行的静态姿势或姿态、用户执行的动态姿势或运动、用户的肌肉下激活状态、用户执行的肌肉绷紧或放松、或前述的任何组合。例如，XR***的控制可以包括基于一个或更多个单独的运动单位的激活的控制，例如，基于检测到的用户的肌肉下激活状态的控制，诸如感测到的肌肉的绷紧。对一个或更多个肌肉激活状态的识别可以允许分层或多级的方法来控制XR***的一个或更多个操作。例如，在第一层/级，一个肌肉激活状态可以指示XR***的模式将从第一模式(例如，XR交互模式)切换到第二模式(例如，用于控制XR***操作的控制模式)；在第二层/级，另一个肌肉激活状态可以指示要被控制的XR***的操作；以及在第三层/级，又一个肌肉激活状态可以指示如何控制XR***的所指示操作。将要理解的是，在不脱离本公开的范围的情况下，可以使用任何数量的肌肉激活状态和层。例如，在一些实施例中，一个或更多个肌肉激活状态可以对应于基于一个或更多个运动单位的激活的并发姿势，例如，用户的手在手腕处弯曲，同时指向食指。在一些实施例中，一个或更多个肌肉激活状态可以对应于基于一个或更多个运动单位的激活的姿势的序列，例如，用户的手在手腕处向上弯曲并且然后向下弯曲。在一些实施例中，单个肌肉激活状态既可以指示切换到控制模式，且也可以指示要被控制的XR***的操作。如将要理解的，短语“感测到的和记录的”、“感测到的和收集的”、“记录的”、“收集的”、“获得的”等当结合传感器信号使用时包括由传感器检测到或感测到的信号。如将要理解的，该信号可以被感测并被记录或被收集，而不被存储在非易失性存储器中，或者该信号可以被感测并被记录或被收集，并被存储在本地非易失性存储器或外部非易失性存储器中。例如，在检测或被感测到之后，信号可以“以检测到的方式”(即，原始)存储在传感器处，或信号可以在存储在传感器处之前在传感器处经历处理，或信号可以被传送(例如，经由蓝牙技术等)到外部设备用于处理和/或存储，或前述的任何组合。

根据本技术的一些实施例，肌肉激活状态可以至少部分地根据由一个或更多个可穿戴传感器获得的(例如，感测到的)原始(例如，未处理的)传感器信号来识别。在一些实施例中，肌肉激活状态可以至少部分地根据基于原始传感器信号的信息(例如，经处理的传感器信号)来识别，其中由一个或更多个可穿戴传感器获得的原始传感器信号被处理以执行例如放大、滤波、整流和/或其他形式的信号处理，这些示例在下面将更详细地进行描述。在一些实施例中，肌肉激活状态可以至少部分地根据接收传感器信号(传感器信号的原始版本或经处理版本)作为输入的一个或更多个经训练的推理模型的输出来识别。

如上所述，根据本文所述的技术中的一种技术或更多种技术，基于传感器信号确定的肌肉激活状态可以被用于控制XR***的多个方面和/或操作。该控制可以减少对繁琐和低效的输入设备(例如，键盘、鼠标、触摸屏等)的依赖的需求。例如，可以获得传感器数据(例如，从神经肌肉传感器获得的信号或从这些信号导出的数据)，并且可以根据传感器数据来识别肌肉激活状态，而无需用户携带控制器和/或其他输入设备，且无需用户记住复杂的按钮或按键操纵序列。而且，根据传感器数据识别神经肌肉激活状态(例如，姿态、姿势、与神经肌肉激活状态相关联的不同程度的力等)可以相对快速地被执行，由此减少与控制XR***相关联的响应时间和延迟。如上所述，由放置在用户身体上的位置处的可穿戴传感器感测到的信号可以作为输入被提供给经训练的推理模型，从而生成关于人体的多段铰接刚体模型的刚性节段的空间和/或力信息。空间信息可以包括例如一个或更多个节段的定位信息、一个或更多个节段的取向信息、节段之间的关节角，等等。基于输入，并且由于训练，推理模型可以隐式表示在定义的移动约束下铰接刚体的推断运动。经训练的推理模型可以输出可用于应用的数据，所述应用诸如用于在其中用户可以与物理和/或虚拟对象进行交互的XR环境中渲染用户身体的表示的应用和/或用于在用户执行物理活动时监测用户的移动以评估例如用户是否以期望的方式执行物理活动的应用。如将要理解的，来自经训练的推理模型的输出数据可以被用于除本文中具体识别的那些应用以外的其他应用。例如，由被定位在用户身上(例如，在用户的手腕或手臂上)的单个移动传感器获得的移动数据可以作为输入数据被提供给经训练的推理模型。由经训练的推理模型生成的相对应的输出数据可以被用于确定关于用户的多段铰接刚体模型的一个或更多个节段的空间信息。例如，输出数据可以被用于确定多段铰接刚体模型中一个或更多个节段的定位和/或取向。在另一个示例中，输出数据可以被用于确定多段铰接刚体模型中连接段之间的角度。

现在转到附图，图1示意性地示出了根据本文中所述技术的一些实施例的***100，例如神经肌肉活动***。该***可以包括一个或更多个传感器110，其被配置为感测(例如，检测、测量和/或记录)由在人体的一个或更多个部分内的运动单位的激活引起的信号。该激活可能涉及人体的一个或更多个部分的可见移动或肉眼不容易看到的移动。一个或更多个传感器110可以包括一个或更多个神经肌肉传感器，(例如，被携带在可穿戴设备上的)一个或更多个神经肌肉传感器被配置为感测由人体的骨骼肌中的神经肌肉活动引起的信号，而不需要使用辅助设备(例如，相机、全球定位***、激光扫描***)并且也不需要使用(即，不被携带在可穿戴设备上的)外部传感器或设备，如下文参考图13和图14A所讨论。如将要理解的，虽然不是需要的，但一个或更多个辅助设备可以结合一个或更多个神经肌肉传感器使用。

本文中所使用的术语“神经肌肉活动”是指支配肌肉的脊髓运动神经元或单元的神经激活、肌肉激活、肌肉收缩、或神经激活、肌肉激活和肌肉收缩的任何组合。一个或更多个神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、两个或更多个类型的EMG传感器、MMG传感器和SMG传感器的组合、和/或能够检测神经肌肉信号的任何合适类型的一个或更多个传感器。在本技术的一些实施例中，与在XR环境(例如，AR、MR和/或VR环境)中用户与物理对象的交互有关的信息可以从由一个或更多个神经肌肉传感器感测到的神经肌肉信号确定。当用户随时间移动时，与移动有关的空间信息(例如，定位和/或取向信息)和力信息可以基于感测到的神经肌肉信号进行预测。在一些实施例中，一个或更多个神经肌肉传感器可以感测与由外部对象引起的移动(例如，被外部对象推动的手的移动)有关的肌肉活动。

术语“神经肌肉活动状态”或“神经肌肉激活状态”可以包括与神经肌肉活动的一个或更多个特性有关的任何信息，包括但不限于：肌肉或肌肉下收缩的强度、由肌肉或肌肉下收缩所施加的力的量、姿态或姿势的执行和/或与该执行相关联的一个或更多个力的任何变化量、一个或更多个身体部位或节段的时空定位、与和手(如，手部状态)或其他身体部位相关联的肌肉骨骼表示的节段相关联的定位信息和力信息的组合、肌肉变得活跃和/或增加其激发率(firing rate)的任何模式、以及多节段铰接刚体模型中连接节段之间的角度。因此，术语“神经肌肉活动状态”或“神经肌肉激活状态”意在包括与感测的、检测的和/或记录的神经肌肉信号有关的任何信息和/或从这些神经肌肉信号导出的信息。

一个或更多个传感器110可以包括一个或更多个辅助传感器，诸如检测血管变化(例如血容量的变化)的一个或更多个光密度计(PPG)传感器和/或一个或更多个惯性测量单元或IMU，其使用例如加速度计、陀螺仪、磁力计或一个或更多个加速度计、陀螺仪和磁力计的任何组合测量运动的物理方面的组合。在一些实施例中，一个或更多个IMU可以被用于感测关于一个或更多个IMU所在的或附接到的身体部位的移动的信息，并且从所感测到的IMU数据导出的信息(例如，定位和/或取向信息)可以在用户随时间移动时被跟踪。例如，一个或更多个IMU可以被用于跟踪在用户随时间推移移动时用户身体的在用户躯干近侧的部分(例如，手臂、腿)相对于一个或更多个IMU的移动。

在包括至少一个IMU和一个或更多个神经肌肉传感器的实施例中，一个或更多个IMU和一个或更多个神经肌肉传感器可以被布置成检测人体的不同部位的移动。例如，一个或更多个IMU可以被布置成检测在躯干近侧的一个或更多个体节(body segments)的移动(例如，上臂的移动)，而神经肌肉传感器可被布置成检测在躯干远侧的一个或更多个体节内的运动单位活动(例如，下臂(前臂)或手腕的移动)。然而，应理解的是，传感器(即一个或更多个IMU和一个或更多个神经肌肉传感器)可以以任何合适的方式进行布置，并且本文中所述技术的实施例不受基于特定传感器布置的限制。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同定位在体节上，以使用不同类型的测量结果来跟踪该体节的运动单位活动和/或移动。在一个实现方式中，IMU和多个EMG传感器可以被布置在被构造成围绕用户的下臂或手腕穿戴的可穿戴设备上。在这种布置中，IMU可以被配置为随时间推移跟踪与一个或更多个手臂节段相关联的移动信息(例如，定位和/或取向)，以确定例如用户是抬起还是下垂他/她的手臂，而EMG传感器可以被配置为确定与手腕和/或手的肌肉中的肌肉或肌肉下结构的激活相关联的更精细或更微妙的移动信息和/或肌肉下信息。

在运动任务的执行期间，随着肌肉张力的增加，活跃神经元的激发率增加并且额外神经元可能变得活跃，这是被称为运动单位募集(recruitment)的过程。运动单位是由运动神经元和被该运动神经元的元轴突末端支配的骨骼肌纤维组成的。成群的运动单位经常一起工作以协调单个肌肉的收缩；肌肉内的所有运动单位被认为是运动池(motor pool)。

神经元变得活跃并增加其激发率的模式可能是定型化的，使得预期的运动单位募集模式(recruitment patterns)可以定义与标准或正常移动相关联的活动流形(activitymanifold)。在一些实施例中，因为运动单位激活的模式与预期或典型的运动单位募集模式不同，所以传感器信号可以识别“脱离流形(off-manifold)”的单个运动单位或一组运动单位的激活。本文中可将这种非流形的激活称为“肌肉下激活”或“肌肉下结构的激活”，其中肌肉下结构是指单个运动单位或一组与非流形的激活相关联的运动单位。非流形运动单位募集模式的示例包括但不限于选择性地激活高阈值的运动单位，而不激活通常在募集顺序中较早被激活的低阈值运动单位，以及跨相当大的范围调节运动单位的激发率，而不调节通常在典型运动单位募集模式中被共同调节的其他神经元的活动。一个或更多个神经肌肉传感器可相对于人体进行布置，以在没有可观察到的移动(即没有肉眼可轻易观察到的身体的对应移动)的情况下感测肌肉下激活。肌肉下激活可以至少部分地用于向AR或VR***提供信息和/或与AR或VR***产生的AR或VR环境中的物理对象进行交互。

一些或所有的传感器110可以各自包括被配置为感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，IMU的一个或更多个感测部件可以包括一个或更多个：加速度计、陀螺仪、磁力计或它们的任何组合，以测量或感测身体运动的特征，身体运动的特征的示例包括但不限于加速度、角速度和在身体运动期间围绕身体的磁场。在神经肌肉传感器的情况下，一个或更多个感测部件可以包括但不限于检测体表上的电位的电极(例如，用于EMG传感器的电极)、测量皮肤表面振动的振动传感器(例如，用于MMG传感器的振动传感器)、测量由肌肉活动引起的超声波信号的声学感测部件(例如，用于SMG传感器的声学感测部件)或它们的任何组合。可选地，一个或更多个传感器110可以包括以下中的任一项或任何组合：测量用户皮肤温度的热传感器(例如，热敏电阻器)；测量用户脉搏、心率的心电传感器；测量用户出汗状态的水分传感器；等等。根据本文中公开的技术的一些实施例，可作为一个或更多个传感器110的一部分的示例性传感器，在标题为“METHODS AND APPARATUSFOR INFERRING USER INTENT BASED ON NEUROMUSCULAR SIGNALS”的第10,409,371号美国专利中更详细地进行了描述，该专利的全部内容通过引用并入本文。

在一些实施例中，一个或更多个传感器110可以包括多个传感器110，并且多个传感器110中的至少一些可以被布置为被构造成穿戴在用户的身体的一个部位上或围绕该部位穿戴的可穿戴设备的一部分。例如，在一个非限制性示例中，IMU和多个神经肌肉传感器围绕可调节的和/或弹性的条带(诸如被构造成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地进行布，如下面更详细地描述。在一些实施例中，多个可穿戴设备(各自具有其上包括的一个或更多个IMU和/或一个或更多个神经肌肉传感器)可以被用于基于来自肌肉和/或肌肉下结构的激活和/或基于涉及身体多个部位的移动，确定与用户和物理对象的交互有关的信息。可替代地，传感器110中的至少一些可以被布置在可穿戴贴片上，该可穿戴贴片被配置为附连到用户身体的一部分。图12A至图12D示出了各种类型的可穿戴贴片。图12A示出了可穿戴贴片1202，其中用于电子传感器的电路可以被印刷在柔性基板上，该柔性基板被构造成粘附到手臂，例如在静脉附近，以感测用户体内的血流。可穿戴贴片1202可以是RFID类型的贴片，其可以在外部设备进行询问时无线传输感测到的信息。图12B示出了可穿戴贴片1204，其中电子传感器可以被结合在被构造成穿戴在用户的额头上的基板上，例如，以测量来自汗水的水分。可穿戴贴片1204可以包括用于无线通信的电路，或可以包括被构造成可连接到线缆(例如，附接到头盔(helmet)、头戴式显示器或另一个外部设备的线缆)的连接器。可穿戴贴片1204可以被构造成粘附到用户的前额，或者通过例如头带、无边帽等紧贴用户的前额。图12C示出了可穿戴贴片1206，其中用于电子传感器的电路可以被印刷在被构造成粘附到用户的颈部，例如，在用户的颈动脉附近的基板上，以感测流向用户大脑的血流。可穿戴贴片1206可以是RFID类型的贴片，或可以包括被构造成可以连接到外部电子器件的连接器。图12D示出了可穿戴贴片1208，其中电子传感器可以被结合在被构造成穿戴在用户心脏附近的基板上，例如，以测量用户的心率或测量流向/流出用户心脏的血流。如将要理解的，无线通信不限于RFID技术，并且可以采用其他通信技术。而且，如将要理解的，传感器110可以被结合在其他类型的可穿戴贴片上，该其他类型的可穿戴贴片可以与图12A至图12D中所示的那些可穿戴贴片不同地被构造。

在一个实现方式中，一个或更多个传感器110可以包括围绕被构造成围绕用户的下臂(例如，环绕用户的前臂)穿戴的条带(例如，可调节条带、弹性条带等)周向布置的十六个神经肌肉传感器。例如，图13示出了可穿戴***1300的实施例，其中神经肌肉传感器1304(例如，EMG传感器)围绕条带1302周向布置。应理解的是，可以使用任何合适数量的神经肌肉传感器，而且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴***所用于的特定应用。例如，可穿戴臂带或腕带可以被用于生成用于控制XR***、控制机器人、控制车辆、滚动文本、控制虚拟化身或任何其它合适的控制任务的控制信息。在一些实施例中，条带1302还可以包括如上面所讨论的一个或更多个IMU(未示出)以用于获得移动信息。

图14A至图14B和图15示出了本技术的可穿戴***的其它实施例。特别地，图14A示出了可穿戴***1400，其具有围绕被构造成围绕用户的下臂或手腕穿戴的弹性条带1420周向布置的多个传感器1410。传感器1410可以是神经肌肉传感器(例如，EMG传感器)。如图所示，可以有以规则的间距围绕弹性条带1420周向布置的十六个传感器1410。应理解的是，可以使用任何合适数量的传感器1410，并且间距不一定是规则的。传感器1410的数量和布置可以取决于可穿戴***所用于的特定应用。例如，当可穿戴***要穿戴在手腕上时，与穿戴在大腿上相比，传感器1410的数量和布置可以是不同的。可穿戴***(例如，臂带、腕带、大腿带等)可以被用于生成用于控制机器人、控制车辆、滚动文本、控制虚拟化身和/或执行任何其他合适的控制任务的控制信息。

在一些实施例中，传感器1410可以仅包括一组神经肌肉传感器(例如，EMG传感器)。在其它实施例中，传感器1410可以包括一组神经肌肉传感器和至少一个辅助设备。一个或更多个辅助设备可以被配置为连续感测和记录一个或多个辅助信号。辅助设备的示例包括但不限于IMU、麦克风、成像设备(例如相机)、用于与辐射生成设备(例如激光扫描设备)一起使用的基于辐射的传感器、心率监测器和可以捕获用户的状况或用户的其他特征的其它类型的设备。如图14A所示，传感器1410可以使用被结合到可穿戴***中的柔性电子器件1430耦合在一起。图14B示出了穿过图14A中示出的可穿戴***1400的传感器1410中的一个的横截面视图。

在一些实施例中，传感器1410的一个或更多个感测部件的一个或更多个输出可以使用硬件信号处理电路进行处理(例如，进行放大、滤波和/或整流)。在其它实施例中，可以使用软件对一个或更多个感测部件的一个或更多个输出进行至少一些信号处理。因此，对由传感器1410感测或获得的信号的信号处理可以由硬件或软件来执行，或由硬件和软件的任何合适组合来执行，而本文中所述技术的多个方面在这点上不受限制。下面结合图15更详细地讨论用于处理由传感器1410获得的数据的信号处理过程的非限制性示例。

图15示出了根据本文中所述技术的一些实施例的具有十六个传感器(例如EMG传感器)的可穿戴***1500的内部部件的示意图。如图所示，可穿戴***包括可穿戴部分1510和加密狗部分(dongle portion)1520。尽管没有示出，但加密狗部分1520与可穿戴部分1510(例如，经由蓝牙或另一种合适的短程无线通信技术)进行通信。可穿戴部分1510包括传感器1410，其示例在上面结合图14A和图14B进行了描述。传感器1410向模拟前端1530提供输出(例如，信号)，该模拟前端对信号执行模拟处理(例如，降噪、滤波等)。然后，由模拟前端1530产生的经处理的模拟信号被提供给模数转换器1532，该模数转换器1532将经处理的模拟信号转换为可以被一个或更多个计算机处理器处理的数字信号。根据一些实施例可以被使用的计算机处理器的示例是微控制器(MCU)1534。MCU 1534也可以接收来自其他传感器(例如，IMU 1540)和来自电源和电池模块1542的输入。如将要理解的，MCU 1534可以从未被具体示出的其他设备接收数据。MCU 1534的处理输出可以被提供给天线1550以用于传输到加密狗部分1520。

加密狗部分1520包括与可穿戴部分1510的天线1550通信的天线1552。天线1550和1552之间的通信可以使用任何合适的无线技术和协议进行，无线技术和协议的非限制性示例包括射频信号发送和蓝牙。如图所示，由加密狗部分1520的天线1552接收的信号可以被提供给主计算机，以用于进一步处理、用于显示和/或用于实现对一个或多个特定的物理或虚拟对象的控制(例如，以在AR环境中执行控制操作)。

尽管参照图14A、图14B和图15提供的示例是在与EMG传感器接合(interface)的情境下讨论的，但应理解，本文中所述的可穿戴***也可以用其它类型的传感器来实现，其他类型的传感器包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。

回到图1，在一些实施例中，由一个或更多个传感器110获得的传感器数据或信号可以被处理以计算额外的导出的测量结果，该额外导出的测量结果然后可以作为输入被提供给推理模型，如下面更详细地描述。例如，从IMU获得的信号可以被处理以导出取向信号，该取向信号规定了刚体的节段随时间推移的取向。一个或更多个传感器110可以使用与一个或更多个传感器110的感测部件集成的部件来实现信号处理，或者信号处理中的至少一部分可以由与一个或更多个传感器110的感测部件通信但不与该感测部件直接集成的一个或更多个部件执行。

***100还包括被编程为与一个或更多个传感器110通信的一个或更多个计算机处理器112。例如，由一个或更多个传感器110中的一个或更多个获得的信号可从一个或更多个传感器110输出并被提供给一个或更多个处理器112，一个或更多个处理器112可以被编程为执行一个或更多个机器学习算法以处理由一个或更多个传感器110输出的信号。一个或更多个算法可以处理信号以训练(或重新训练)一个或更多个推理模型114，并且经训练(或重新训练)的一个或更多个推理模型114可以被存储以供后续用于生成肌肉骨骼表示。如将理解的，在本技术的一些实施例中，一个或更多个推理模型114可以包括至少一个统计模型。根据本技术的一些实施例可以被使用来例如基于来自一个或更多个传感器110的信号预测手部状态信息的推理模型的非限制性示例在2017年7月25日提交的标题为“SYSTEM AND METHOD FOR MEASURING THE MOVEMENTS OF ARTICULATED RIGID BODIES”的第15/659,504号美国专利申请中进行了讨论，该专利申请通过引用以其全部内容并入本文。应理解的是，可以使用任何类型的推理模型或多种推理模型的任意组合，诸如预先训练的模型、利用用户输入进行训练的模型、和/或周期性地基于进一步输入调适或重新训练的模型。

一些推理模型可能长期专注于通过建立和拟合概率模型来产生推理，以计算置信度的定量度量，从而确定不太可能由噪声或随机产生的关系。机器学习模型可以致力于通常是在丰富且难处理(rich and unwieldy)的数据集中通过识别模式来产生预测。在某种程度上，强健的机器学习模型可能取决于在训练阶段期间所使用的可能与数据分析和统计学内在相关的数据集。因此，如本文中所用，术语“推理模型”应被广义地解释为包括被建立以产生推理、预测和/或以其他方式用于本文中所述的实施例的推理模型、机器学习模型、统计模型及它们的组合。

在本技术的一些实施例中，一个或更多个推理模型114可以包括神经网络，并且例如可以是循环神经网络(recurrent neural network)。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应理解的是，循环神经网络不限于是LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是以下中的任一项或任何组合：全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶递归神经网络(second orderrecurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。

在本技术的一些实施例中，一个或更多个推理模型114可以产生一个或更多个离散输出。例如，如经由从用户获得的神经肌肉信号检测到的，当所期望的输出是为了知道特定的激活模式(包括个别生物产生的神经尖峰事件)是否当前正在被用户执行时，可以使用离散输出(例如，分类标签)。例如，一个或更多个推理模型114可以被训练以估计用户是否正在激活特定运动单位、在特定定时处激活特定运动单位、以特定的激发模式激活特定运动单位、和/或激活运动单位的特定组合。在较短的时间尺度内，离散分类可以被输出，并在一些实施例中被用于估计特定运动单位是否在给定的时间量内激发了动作电位。在此种情况下，来自一个或更多个推理模型114的估计则可以被累积，以获得该运动单位的估计激发率。

在本技术的其中推理模型被实现为被配置为输出离散输出(例如，离散信号)的神经网络的实施例中，该神经网络可以包括归一化指数层，使得推理模型的输出加起来为1，并可以被解释为概率。例如，归一化指数层的输出可以是对应于一组相应控制信号的一组值，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，归一化指数层的输出可以是一组三个概率(例如，0.92，0.05和0.03)，指示检测到的活动模式是三个已知模式中的一个的相应概率。

应理解的是，当推理模型是被配置为输出离散输出(例如，离散信号)的神经网络时，不需要神经网络产生加起来为1的输出。例如，神经网络的输出层可以是S型层(sigmoidlayer)，而不是归一化指数层，这并不将输出限制为加起来为1的概率。在本技术的此类实施例中，神经网络可以用S型交叉熵成本(sigmoid cross-entropy cost)进行训练。此种实现方式在以下情况下可能是有利的：其中在阈值时间量内可能发生多个不同的控制动作，并且区分这些控制动作发生的顺序并不重要(例如，用户可以在阈值时间量内激活两种神经活动模式)。在一些实施例中，可以使用任何其他合适的非概率性多类分类器，本文中所述技术的多个方面在这点上不受限制。

在本文中所述技术的一些实施例中，一个或更多个推理模型114的输出可以是连续信号，而不是离散输出(例如，离散信号)。例如，一个或更多个模型114可以输出每个运动单位的激发率的估计值，或一个或更多个模型114可以输出对应于每个运动单位或肌肉下结构的时间序列电信号。此外，模型可以输出在指定功能组内(例如，在肌肉或肌肉群内)所有运动单位的平均激发率的估计。

应理解的是，本文中所述技术的多个方面并不限于使用神经网络，在一些实施例中也可以采用其他类型的推理模型。例如，在一些实施例中，一个或更多个推理模型114可以包括隐马尔可夫模型(HMM)、切换HMM(其中切换允许在不同的动态***之间转换(toggling))、动态贝叶斯网络和/或具有时间分量的任何其他合适的图形模型。此类推理模型中的任一个可以使用由传感器110获得的传感器信号进行训练。

作为另一个示例，在本技术的一些实施例中，一个或更多个推理模型114可以是或可以包括分类器，其将从由一个或更多个传感器110获得的传感器信号导出的特征作为输入。在此类实施例中，分类器可以使用从传感器信号提取的特征进行训练。分类器可以是例如支持向量机、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，本文中所述技术的各方面在这点上不受限制。向分类器提供的输入特征可以以任何合适的方式从传感器信号导出。例如，可以使用小波分析技术(如连续小波变换、离散时间小波变换等)、协方差技术、傅里叶分析技术(如短时傅里叶变换、傅里叶变换等)和/或任何其他合适类型的时频分析技术将传感器信号作为时间序列数据进行分析。作为一个非限制性示例，传感器信号可以使用小波变换进行变换，并且所产生的小波系数可以作为输入被提供给分类器。

在一些实施例中，一个或更多个推理模型114的参数值可以根据训练数据进行估计。例如，当一个或更多个推理模型是或包括神经网络时，神经网络的参数(例如，权重)可以根据训练数据进行估计。在一些实施例中，一个或更多个推理模型114的参数可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计。在其中一个或更多个推理模型114是或包括循环神经网络(例如，LSTM)的实施例中，一个或更多个推理模型114可以使用随机梯度下降和时间反向传播(backpropagation through tim)进行训练。训练可以采用以下中的任一种或任何组合：平方误差损失函数、相关损失函数(correlation lossfunction)、交叉熵损失函数和/或任何其他合适的损失函数，本文中所述技术的各方面在这点上不受限制。

***100还可以包括一个或更多个控制器116。例如，一个或更多个控制器116可以包括显示控制器，其被配置为在显示设备(例如，显示监视器)上显示视觉表示(例如，手的表示)。如本文中所讨论，一个或更多个处理器112可以实现一个或更多个经训练的推理模型，其接收由一个或更多个传感器110获得的传感器信号作为输入，并提供用于生成可用于控制例如AR或VR***的控制信号的信息(例如，预测的手部状态信息)作为输出。

***100还可以包括用户界面118。基于由一个或更多个传感器110获得并由一个或更多个处理器112处理的信号确定的反馈可以经由用户界面119向用户提供，以促进用户理解***100如何解释用户的肌肉活动(例如，预期的肌肉移动)。用户界面118可以以任何合适的方式实现，包括但不限于音频界面、视频界面、触觉界面和电刺激界面、或前述的任何组合。用户界面118可以被配置为产生视觉表示108(例如，用户的手、手臂和/或一个或更多个其他身体部位的视觉表示108)，该视觉表示可经由与***100相关联的显示设备显示。

如本文中所讨论，一个或更多个计算机处理器112可以实现被配置为至少部分地基于由一个或更多个传感器110获得的传感器信号预测手部状态信息的一个或更多个经训练的推理模型。预测的手部状态信息可以被用于更新肌肉骨骼表示或模型106，该肌肉骨骼表示或模型可以被用于基于更新的肌肉骨骼表示或模型106呈现视觉表示108(例如，图形表示)。当前手部状态的实时重建和反映肌肉骨骼表示或模型106中的当前手部状态信息的视觉表示108的后续呈现可以被用于向用户提供关于一个或更多个经训练的推理模型的有效性的视觉反馈，从而使用户能够例如做出调整，以便准确地表示预期的手部状态。如将要理解的，并非***100的所有实施例都包括被配置为呈现视觉表示108的部件。例如，在一些实施例中，即使没有基于更新的肌肉骨骼表示106的视觉表示被呈现，从经训练的推理模型输出的手部状态估计和对应的更新的肌肉骨骼表示106也可以被用于(例如，在VR环境中)确定用户的手的状态。

***100可以具有可以采取任何合适的形式的架构。本技术的一些实施例可以采用薄架构(thin architecture)，其中一个或更多个处理器112是或被包括作为与布置在一个或更多个可穿戴设备上的一个或更多个传感器110分开并与之通信的设备的一部分。一个或更多个传感器110可以被配置为以无线方式基本上实时地将传感器信号和/或从传感器信号中导出的信息流式传输给一个或更多个处理器112以进行处理。与一个或更多个传感器110分开并与之通信的设备可以是例如以下中的任一项或任何组合：远程服务器、台式计算机、笔记本计算机、智能手机、可穿戴电子设备(诸如智能手表)、健康监测设备、智能眼镜和AR***。

本技术的一些实施例可以采用厚架构(thick architecture)，其中一个或更多个处理器112可以与其上布置了一个或更多个传感器110的一个或更多个可穿戴设备集成在一起。在一些实施例中，由一个或更多个传感器110获得的感测到的信号的处理可以在多个处理器之间进行划分，其中至少一个处理器可与一个或更多个传感器110集成在一起，并且其中至少一个处理器可以被包括作为与一个或更多个传感器110分开并与之通信的设备的一部分。在这样的实现方式中，一个或更多个传感器110可以被配置为将感测到的信号中的至少一些传输到远离一个或更多个传感器110定位的第一计算机处理器。第一计算机处理器可以被编程为基于由一个或更多个传感器110获得的传输信号，训练一个或更多个推理模型114中的至少一个推理模型。然后，第一计算机处理器可以被编程为将经训练的至少一个推理模型传输到与其上布置了一个或更多个传感器110的一个或更多个可穿戴设备集成在一起的第二计算机处理器。第二计算机处理器可以被编程为使用从第一计算机处理器传输的经训练的至少一个推理模型来确定与穿戴一个或更多个可穿戴设备的用户和在AR环境中的物理对象之间的交互有关的信息。这样，训练过程和利用经训练的至少一个模型的实时过程可以通过使用不同的处理器来独立地被执行。

在本技术的一些实施例中，被配置为模拟XR环境(例如，VR环境、AR环境和/或MR环境)的计算机应用程序可以(例如，经由一个或更多个控制器116)被命令显示用户的手的视觉表示。可以基于一个或更多个经训练的推理模型的输出来显示在XR环境内的手的部分的定位、移动和/或施加的力。可基于当前重建的手部状态信息使用由一个或更多个传感器110获得并由一个或更多个经训练的推理模型114处理的连续信号动态地更新视觉表示，以提供实时更新的用户移动和/或手部状态的计算机生成的更新的表示。

由***100获得或向***100提供的信息(例如，来自AR相机的输入、来自一个或更多个传感器110的输入(例如，神经肌肉传感器输入)、来自一个或更多个辅助传感器的输入(例如，IMU输入)和/或任何其他合适的输入)可以被用于改进用户体验、准确性、反馈、推理模型、校准功能和在整个***中的其他方面。为此，例如，在AR环境中，***100可以包括AR***或可以结合AR***操作，该AR***包括一个或更多个处理器、相机和显示器(例如，用户界面118，或经由AR眼镜或另外的观看设备的另外的界面)，该显示器在用户的视野内提供AR信息。例如，***100可以包括将AR***与基于计算机的***耦合的***元件，该基于计算机的***基于传感器数据(例如，来自至少一个神经肌肉传感器的信号)生成肌肉骨骼表示。在该示例中，***可以经由专用或其他类型的计算机***进行耦合，该专用或其他类型的计算机***接收来自AR***和生成基于计算机的肌肉骨骼表示的***的输入。该基于计算机的***可以包括游戏***、机器人控制***、个人计算机、医疗设备、或能够解释AR和肌肉骨骼信息的另外的***。AR***和生成基于计算机的肌肉骨骼表示的***也可以被编程为直接通信。此种信息可以使用任何数量的接口、协议和/或介质进行通信。

如以上所讨论的，本技术的一些实施例涉及使用推理模型114来基于由可穿戴传感器获得的信号预测肌肉骨骼信息。同样如上文简要讨论的，在多节段铰接刚体模型中的节段之间的关节类型约束刚体的移动。推理模型114可以被用于预测肌肉骨骼定位信息，而不必在要在计算机生成的肌肉骨骼表示中表示的刚体的每个节段上放置传感器。此外，不同的个体在执行任务时趋于以特有的方式移动，这可以在个体用户行为的统计或数据模式中进行捕获。根据一些实施例，关于人体移动的这些约束中的至少一些可以明确地被结合到用于预测用户移动的一个或更多个推理模型(例如，一个或更多个模型114)中。此外或可替代地，约束可以由一个或更多个推理模型114通过基于从一个或更多个传感器110获得的传感器数据的训练来学习。强加在推理模型的构造上的约束可以是根据人类解剖学和人体物理学设置的那些约束，而从统计或数据模式导出的约束可以是根据从其已获得传感器数据的一个或更多个用户的人类行为设置的那些约束。约束可以包括由推理模型中的信息(例如，节点之间的连接权重)表示的推理模型本身的一部分。

如上所述，本技术的一些实施例涉及使用推理模型来预测信息以生成基于计算机的肌肉骨骼表示和/或实时更新基于计算机的肌肉骨骼表示。例如，预测的信息可以是预测的手部状态信息。推理模型可以被用于基于IMU信号、神经肌肉信号(例如，EMG、MMG和/或SMG信号)、外部或辅助设备信号(例如，相机或激光扫描信号)、或在用户执行一个或更多个移动时检测到的IMU信号、神经肌肉信号和外部设备信号的组合来预测手部状态信息。例如，如上所讨论，与AR***相关联的相机可以被用于捕获基于计算机的肌肉骨骼表示的人体的实际定位数据，并且该实际定位信息可以被用于改进表示的准确性。此外，推理模型的输出可以被用于在XR环境中生成基于计算机的肌肉骨骼表示的视觉表示。例如，肌肉群激发、正在施加的力、经由移动而被输入的文本或由基于计算机的肌肉骨骼表示产生的其他信息的视觉表示可以在XR***的视觉显示器中被呈现。在一些实施例中，其他输入/输出设备(例如，听觉输入/输出、触觉设备等)可以被用于进一步改进整个***的准确性和/或改进用户体验。如上所述，XR可以包括AR、VR、MR和其他机器产生现实的技术中的任一者或任何组合。

图2示出了根据本技术的一些实施例的基于XR的***200的示意图。基于XR的***可以是分布式计算机***，其将XR***201与神经肌肉活动***202集成在一起。神经肌肉活动***202可以类似于上面关于图1所述的***100。如将要理解的，代替XR***201，基于XR的***200可以包括AR***、VR***或MR***。

通常，XR***201可以采取一副护目镜或眼镜或防护眼镜、或向用户示出可以叠加在“现实”上的显示要素的其他类型的设备的形式。在一些情况下，该现实可以是用户对他或她自己的一个或更多个身体部位(例如，通过用户的眼睛观察的手臂和手、腿和脚等)的环境视图、或另一个人或化身的环境视图、或用户的环境的(例如，通过一个或更多个相机)捕获的视图。在一些实施例中，XR***201可以包括一个或更多个相机204，该一个或更多个相机204可以被安装在用户穿戴的设备内，该一个或更多个相机204可以捕获用户在用户的环境中所体验的包括用户自己的一个或更多个身体部位的一个或更多个视图。XR***201可以具有在用户穿戴的设备内和/或在***设备或计算机***内操作的一个或更多个处理器205，并且此类一个或更多个处理器205可以能够传输和接收视频信息和其他类型的数据(例如传感器数据)。如本文中所讨论的，用户的一个或更多个身体部位(例如，手和手指)的一个或更多个捕获的视频可以被用作推理模型的额外输入，使得推理模型能够更准确地预测用户的手部状态、移动和/或姿势。例如，从一个或更多个捕获的视频获得的信息可以被用于包括通过以下方式来训练推理模型以将神经肌肉激活模式或其他运动控制信号辨别为记录的：通过映射或以其他方式将在一个或更多个视频中记录的图像与在任一个或更多个移动、姿势和/或姿态被记录期间检测到的神经肌肉模式相关联。

XR***201还可以包括一个或更多个传感器207，诸如麦克风、GPS元件、加速度计、红外检测器触觉反馈元件或任何其他类型的传感器、或它们的任何组合，该一个或更多个传感器207将有助于基于用户的移动和/或运动活动向用户提供任何形式的反馈。在一些实施例中，XR***201可以是基于音频的或听觉的XR***，并且一个或更多个传感器207还可以包括一个或更多个头戴式耳机或扬声器。此外，XR***201还可以具有一个或更多个显示器208，除用户的现实视图之外，该一个或更多个显示器208允许XR***201向用户叠加和/或显示信息。XR***201还可以包括一个或更多个通信接口206，该一个或更多个通信接口206使信息能够被传送到一个或更多个计算机***(例如，游戏***或能够呈现或接收XR数据的其他***)。XR***可以采取多种形式并由多个不同的制造商提供。例如，多个实施例可以与一种或更多种类型的XR***或平台(诸如微软公司(美国华盛顿州雷德蒙市)提供的HoloLensTM全息现实眼镜；Magic LeapTM(美国佛罗里达州普兰顿市)提供的LightwearTMAR头戴式装置；Alphabet(美国加利福尼亚州山景城)提供的GoogleGlassTMAR眼镜；Osterhout Design Group(也称为ODG；美国加利福尼亚州旧金山市)提供的R-7智能眼镜***；由Facebook(美国加利福尼亚州门洛帕克市)提供的Oculus头戴式装置(例如Quest、Rift和Go)和/或Spark AR Studio装备；或任何其他类型的XR设备)相关联地被实现。虽然通过举例讨论，但应理解的是，一个或更多个实施例可以在一种类型的XR***或不同类型的XR***(例如AR、MR和/或VR***)的组合内被实现。

XR***201可以通过一种或更多种通信方案或方法与神经肌肉活动***202操作性地耦合，该一种或更多种通信方案或方法包括但不限于：蓝牙协议、Wi-Fi、类以太网的协议、或任何数量的连接类型、无线和/或有线。应理解的是，例如，***201和202可以直接连接或通过一个或更多个中间计算机***或网络元件耦合。图2中的双向箭头表示在***201和202之间的通信耦合。

如上所述，神经肌肉活动***202在结构和功能上可以与上面参照图1描述的***100类似。特别地，***202可包括一个或更多个神经肌肉传感器209、一个或更多个推理模型210，并可创建、维护和存储肌肉骨骼表示211。在本技术的一些实施例中，类似于上面讨论的***，***202可包括或可以被实现为可穿戴设备，诸如可以被用户穿戴的条带，以便收集(即，获得)并分析来自用户的神经肌肉信号。此外，***202可以包括一个或更多个通信接口212，该一个或更多个通信接口212允许***202诸如通过蓝牙、Wi-Fi和/或另外的通信方法与XR***201通信。值得注意的是，XR***201和神经肌肉活动***202可以交流信息，该信息可以被用于增强用户体验和/或允许XR***201更准确和有效地运作。在一些实施例中，***201和202可协作以确定用户的神经肌肉活动，并关于用户的神经肌肉活动向用户提供实时反馈。

尽管图2描述了将XR***201与神经肌肉活动***202集成在一起的分布式计算机***200，但将要理解的是，这些***201和202的集成实际上可以是非分布式的。在本技术的一些实施例中，神经肌肉活动***202可以被集成到XR***201中，使得神经肌肉活动***202的各种部件可以被视为XR***201的一部分。例如，由一个或更多个神经肌肉传感器209获得的神经肌肉信号的输入可以被视为对XR***201的输入中的另一个(例如，来自一个或更多个相机204、来自一个或更多个传感器207)。此外，XR***201可以执行对从一个或更多个神经肌肉传感器209以及从一个或更多个推理模型210获得的输入(例如，传感器信号)的处理。

图3示出了根据本技术的一些实施例的用于使用神经肌肉信号向用户提供反馈的过程300的流程图。如上所讨论的，在对神经肌肉活动的观察、检测、测量、处理和/或通信方面存在着挑战。本文中公开的***和方法能够获得(例如，检测、测量和/或记录)并处理神经肌肉信号，以确定肌肉或肌肉下激活(例如，信号特征和/或模式)和/或来自运动单位和肌肉活动的其他合适数据，并向用户提供有关此类激活的反馈。在一些实施例中，计算机***可以与用于获得(例如，检测、测量和/或记录)神经肌肉信号的一个或更多个传感器一起被提供。如本文中所讨论的，一个或更多个传感器可以被设置在条带上，该条带可以被放置在用户的附肢上，诸如被放置在用户的手臂或手腕上。在一些实施例中，该过程300可以至少部分地由基于XR的***200的神经肌肉活动***202和/或XR***201执行。

在块310处，***获得神经肌肉信号。神经肌肉信号可包括用户的一个或更多个肌肉激活状态，并且这些状态可以基于由神经肌肉活动***202的一个或更多个传感器获得的原始信号和/或经处理的信号(统称为“传感器信号”)和/或基于传感器信号或从传感器信号导出的信息(例如，手部状态信息)来识别。在一些实施例中，一个或更多个计算机处理器(例如，***100的一个或更多个处理器112，或基于XR的***201的一个或更多个处理器205)可以被编程为基于以下中的任一项或任何组合来识别肌肉激活状态：传感器信号、手部状态信息、静态手部状态信息(例如，姿态信息、取向信息)、动态手部状态信息(移动信息)、关于运动单位活动的信息(例如，关于肌肉下激活的信息)等。

在一些实施例中，神经肌肉活动***202的一个或更多个传感器209可以包括被布置在用户穿戴的可穿戴设备上的多个神经肌肉传感器209。例如，传感器209可以是被布置在可调节条带上的EMG传感器，该可调节条带被配置为围绕用户的手腕或前臂穿戴，以在用户执行肌肉激活(例如，移动、姿势)时感测并记录来自用户的神经肌肉信号。在一些实施例中，如图13所示，EMG传感器可以是被布置在条带1302上的传感器1304；在一些实施例中，如图14A所示，EMG传感器可以是被布置在弹性条带1420上的传感器1410。用户执行的肌肉和/或肌肉下激活可以包括静态姿势，诸如将用户的手掌朝下放在桌子上；动态姿势，诸如来回挥动手指；以及另一个人无法察觉的隐蔽姿势，诸如通过共同收缩对立的肌肉轻微绷紧关节，或使用肌肉下激活。用户执行的肌肉激活可以包括符号姿势(例如，诸如基于指定映射的姿势词汇表，被映射到其他姿势、交互或命令的姿势)。

除了多个神经肌肉传感器209之外，在本文中所述技术的一些实施例中，神经肌肉活动***202可以包括一个或更多个辅助传感器，该一个或更多个辅助传感器被配置为获得(例如，感测和/或记录)辅助信号，如上所讨论的，该辅助信号也可以作为输入被提供给一个或更多个经训练的推理模型。辅助传感器的示例包括IMU、成像设备、辐射检测设备(例如，激光扫描设备)、心率监视器或能够在一个或更多个肌肉激活的执行期间从用户感测生物物理信息的任何其他类型的生物传感器。此外，应理解的是，本技术的一些实施例可以使用执行骨骼跟踪的基于相机的***(例如，微软公司(美国华盛顿州雷德蒙市)提供的KinectTM***和Leap Motion公司(美国加利福尼亚州旧金山市)提供的LeapMotionTM***)来实现。应理解的是，可以使用硬件和/或软件的任何组合来实现本文中所述的各种实施例。

然后，过程300进行到块320，神经肌肉信号被处理。在块330处，基于经处理的神经肌肉信号向用户提供反馈。应理解的是，在本技术的一些实施例中，神经肌肉信号可以被记录；然而，即使在此类实施例中，处理和提供反馈可以连续发生，使得反馈可以近实时地被呈现给用户。在用户被训练的情况下，实时或近实时地提供的反馈可以被有利地使用，例如，向用户和/或教练或训练者提供的实时可视化训练用户正确执行特定移动或姿势。在一些其他实施例中，神经肌肉信号可以在后续时间里被记录并被分析，并且然后(例如，在回顾以前任务或活动的执行期间)被呈现给用户。在这些其他实施例中，反馈(例如，可视化)可以晚得多地被提供，例如，在分析神经肌肉活动的日志以用于诊断和/或跟踪人体工程学/健身/技能/依从性/放松时。在技能训练的场景中(例如体育、表演艺术、工业)，关于神经肌肉活动的信息可以作为用于训练用户执行一个或更多个特定技能的反馈来被提供。在一些情况下，神经肌肉激活的目标或期望模式也可以与反馈一起被呈现，和/或用户的实际或实现的模式相对于目标模式的偏差可以诸如通过向用户提供听觉音调、触觉蜂鸣、视觉指示、模板比较反馈或其他指示来被呈现或强调。用于任务(例如，移动等)的目标模式可以从用户或另一人的一个或更多个先前的激活模式产生，诸如在用户或另一个体特别良好地执行任务时的一个或更多个实例期间(例如，坐在办公桌前，他或她的手臂和手处于符合人体工程学的定位以最小化手腕污渍；使用适当的技术投掷足球或投篮；等等)。此外，应理解的是，与目标模型的比较反馈或偏差信息可以实时向用户提供、或稍后(例如，在离线审查时)向用户提供，或既实时向用户提供又稍后(例如，在离线审查时)向用户提供。在特定实施例中，偏差信息可以被用于预测任务或活动的结果，诸如，用户是否用糟糕的挥杆动作“斜击”了高尔夫球的轨迹、用过大的力量和/或以过陡的角度击打网球以导致球落入界外，等等。

在本技术的一些实施例中，以视觉显示的形式提供反馈，以向用户传达肌肉骨骼和/或神经肌肉激活的信息。例如，在XR显示器内，可以向用户显示指示，该指示识别激活的可视化，或指示用户执行的神经肌肉活动是可接受的(或不可接受的)的某些其他表示。在一个示例中，在XR实现方式中，肌肉激活和/或运动单位激活的可视化可以投影在用户的身体上。在该实现方式中，例如，用户的手臂内的激活肌肉的可视化可以在XR显示器内显示在用户的手臂上，因此用户可以经由XR头戴式装置可视化他或她的手臂的各种运动范围。例如，如图16所描绘的，用户1602可以通过在投掷球期间通过XR头戴式装置1606查看用户的手臂1604，在投掷期间观察手臂1604中的肌肉激活和/或运动单位激活的可视化。激活是根据由可穿戴***1608(例如，可穿戴***1400)的传感器在投掷期间感测到的用户的神经肌肉信号确定的。

在另一个示例中，在AR实现方式中，另一个人(例如，教练、训练员、理疗师、职业治疗师等)可以穿戴AR头戴式装置来观察用户的活动，同时用户穿戴例如附接有神经肌肉传感器的臂带(例如，以在用户投掷棒球、在画布上写字或画画等时进行观察)。例如，如图17所描绘的，教练1702可以观察高尔夫球员1706在挥动高尔夫球杆期间，该高尔夫球员的一个或两个手臂1704中的肌肉激活和/或运动单位激活的可视化。激活是根据高尔夫球员1706所穿戴的可穿戴***1708(例如，可穿戴***1400)的传感器感测到的高尔夫球员的神经肌肉信号确定的。可视化可以由教练1702经由AR头戴式装置1710看到。

在本技术的一些实施例中，反馈可以是视觉的，并且可以采取许多一种或更多种形式，并可以与其他类型的反馈(诸如非视觉反馈)组合。例如，除了视觉反馈外，还可以向用户提供听觉、触觉、电子或其他反馈。

图4示出了根据本文中所述技术的一些实施例的过程400的流程图，其中神经肌肉信号被用于确定一个或更多个肌肉激活的强度、定时和/或发生。根据这些实施例的***和方法可以帮助克服观察、描述和/或交流神经肌肉活动时的困难，诸如运动单位和/或肌肉激活的定时和/或强度。熟练的运动动作可能需要运动单位和/或肌肉的精确协调的激活，并且学习执行熟练动作可能因观察和交流此类激活的困难而受到阻碍。此外，关于此类激活的交流困难可能会成为教练和医疗提供者的阻碍。如将要理解的，在神经肌肉控制技术中需要关于人的熟练运动动作执行的反馈，在神经肌肉控制技术中人可以使用神经肌肉信号来控制一个或更多个设备。

在本技术的一些实施例中，过程400可以至少部分地由基于计算机的***(诸如基于XR的***200的神经肌肉活动***202和/或XR***201)执行。更具体地说，可以从穿戴一个或更多个神经肌肉传感器的用户获得神经肌肉信号，并且在块410处，神经肌肉信号可以被***接收。例如，一个或更多个传感器可以被布置在条带(例如，可穿戴***1300和1400的条带)上或在条带(例如，可穿戴***1300和1400的条带)内，并被定位在用户身体的区域上，诸如在手臂或手腕上。在块420处，对接收到的神经肌肉信号进行处理以确定这些信号的一个或更多个方面。例如，在块430，***可以确定特定运动单位的激活(例如，收缩)的强度或用户的一个或更多个运动单位群的强度。在该示例中，***可以确定一个或更多个运动单位的激发率和/或由一个或更多个运动单位生成的一个或更多个相关联的力。在动作460处，***可以以反馈将关于确定的强度的信息提供给用户，并且该反馈可以单独地被提供或与从神经肌肉信号导出的其他信息相结合地被提供。在块440处，***可以确定特定运动单位的活动时间。在特定实施例中，特定用户的最大肌肉激活或收缩状态可能先前被记录并被用作与在用户执行移动或练习期间检测并记录的用户的当前肌肉激活或收缩状态的比较者。例如，如果用户投掷棒球的最大速度是100mph，即快球，则在此种投掷快球期间检测到的用户手臂和肩部肌肉的肌肉激活或收缩状态可以被用于在视觉上将先前记录的肌肉激活或收缩状态与当前记录的用户连续执行投掷快球期间的状态进行比较。在另一个示例中，在医疗提供者的治疗期间，可以通过将先前记录的前臂肌肉激活状态与当前检测到的肌肉激活状态(例如，当用户在画布上画画时)进行比较来实时监测患有运动神经病的用户，并且当前与先前肌肉激活状态的此种实时比较反馈可以被呈现给用户和/或医疗提供者。在块440处，***还可以确定一个或更多个特定运动单位激活的定时。例如，可以从神经肌肉信号确定一个或更多个运动单位在一段时间内如何运作，并且可以向用户提供关于此种时间确定的反馈(例如，在块460处)。例如，一个或更多个特定运动单位的活动顺序和定时可以单独地或与先前从用户或不同的人收集的模型或目标信息结合地呈现给用户。而且，与例如一个或更多个特定肌肉激活有关的具体信息可以在块450处被确定，并在块460处作为反馈呈现给用户。如将要理解的，块430、440和450可以同时或依次被执行，或者在一些实施例中，可以仅执行这些动作中的一个或两个，而这些动作中的其他的一个或两个可以被省略。

图5示出了根据本文中呈现的技术的一些实施例的过程500的流程图，其中神经肌肉信号被处理以产生可在XR环境中投影的可视化。特别地，在XR环境中，可视化可以被投影在用户的身体部位(诸如用户的手臂)上，以向用户提供可能涉及该身体部位的反馈信息。例如，在一个实现方式中，投影可以包括视觉指示，其在投影的反馈信息内示出肌肉群激活和/或关节角的度数。在一个此种场景中，肌肉表示(例如，肌肉激活的动画视图)可以被投影在用户手臂的视图上，而通过接收并处理的神经肌肉信号测量的特定激活和/或关节角的指示可以通过肌肉表示来示出。然后，用户可以调整他/她的移动以实现不同的结果。在练***下激活要练习的特定肌肉群)，并且可以在反馈中提供的给定关节角下这样做。这样，用户可以监测和控制他或她的一个或更多个肌肉激活的强度或跟踪一个或更多个关节的运动范围。可以理解的是，此种反馈在其他场景中也将是有利的，包括但不限于：身体康复场景，其中用户努力加强肌肉和/或周围的韧带、肌腱、组织等，或增加关节的运动范围；体育运动执行场景，诸如投掷棒球、投篮、挥动高尔夫球杆或网球拍等；以及教练或指导场景，其中另一个人单独地或与用户组合地观察用户的肌肉激活和/或关节角反馈并向用户提供纠正性指导。

图6示出了根据本技术的一些实施例的过程600的流程图，其中神经肌肉信号被处理以产生可在XR环境中显示的可视化。特别地，过程600可以被执行以使用户能够在XR环境内观察目标或期望的神经肌肉活动的可视化以及用户执行的已实现的神经肌肉活动的可视化。过程600可以至少部分地由基于计算机的***执行，该基于计算机的***诸如基于XR的***200的神经肌肉活动***202和/或XR***201。在技能训练场景中(例如，体育运动、表演艺术、工业等)，关于目标神经肌肉活动的信息可以作为额外的反馈向用户提供。在一些情况下，神经肌肉激活的目标模式可以在显示器中(例如，在XR显示器或另一种类型的显示器内)被呈现给用户，和/或从用户的神经肌肉信号中获得的实现模式相对于目标模式的偏差可以被呈现或强调。此类偏差可以以一种或更多种形式呈现给用户，诸如以听觉音调、触觉蜂鸣、视觉指示(例如，已实现的模式的视觉表示重叠到目标模式的视觉表示，其中偏差被突出显示)等呈现给用户。可以理解的是，在一些情况下，已实现的模式和目标模式之间的偏差可以实时或近实时地生成并被提供给用户，而在其他情况下，此类偏差可以“离线”或事后被提供，诸如在用户以后要求时被提供。

创建目标模式的一种方式可以是在用户或另一个人特别好地执行所期望的激活任务时的一个或更多个实例期间，从一个或更多个先前执行的已实现的激活模式获得。例如，在一个场景中，专业人员(例如，运动员)可以良好地执行所期望的激活任务，并且可以在该任务的执行期间从专业人员获得神经肌肉信号。神经肌肉信号可被处理以获得视觉目标神经肌肉激活，这可作为反馈在例如XR环境中的显示器内被显示给用户。在本技术的各种实施例中，反馈可以作为单独的示例显示、作为嫁接或投影到用户的一个或更多个附肢上的激活、和/或作为可以与用户的实际或已实现的激活进行比较的激活来向用户示出。

在图6中，在块610处，***确定根据用户的身体或身体部位(例如，手、手臂、手腕、腿、脚等)建立的推理模型。如上面所讨论的，推理模型可以是或可以包括一个或更多个神经网络模型，其被训练以分类和/或评估从用户捕获的神经肌肉信号。推理模型可以被训练成辨别表征目标神经肌肉活动的一个或更多个模式。在块620处，***从用户在对应于目标神经肌肉活动的任务的执行期间所穿戴的一个或更多个传感器接收神经肌肉信号，并且在块630处，***基于所接收的神经肌肉信号和推理模型确定用户身体的一个或更多个部位(例如，一个或更多个附肢和/或一个或更多个其他身体部位)的当前表示。

在块640处，***在XR环境内投影用户的一个或更多个身体部位的当前表示。例如，XR显示器可以在一个或更多个身体部位(例如手臂)的实际视图上显示用户身体的图形表示，或者可以呈现模仿用户在XR环境中的外观的化身。此外，神经肌肉状态信息可以在该表示内被显示，诸如一个或更多个肌肉群内的肌肉活动的指示。在块650处，XR显示器还可以显示神经肌肉活动的目标表示。例如，目标表示可以被显示在与用户的一个或更多个身体部位的当前表示相同的显示器上，并且可以被示为投影到用户的视图(例如用户的实际附肢)上、或投影到用户的化身上或通过用户的附肢的一些其他表示被投影的图像，这不需要直接连接到用户。如上所讨论，此种反馈可以以其自身向用户提供，或与指示用户执行任务的其他类型的反馈(诸如触觉反馈、音频反馈和/或其他类型的反馈)组合地向用户提供。

图7示出了根据本技术的一些实施例的用于另一个过程700的流程图，其中对在任务(例如，移动)的执行期间从用户获得的神经肌肉信号进行处理，以确定用户的执行相对于目标执行的偏差，并以偏差信息的形式向用户提供反馈。由过程700产生的此种偏差信息可以帮助用户实现或执行例如与目标执行密切相关的期望移动。在一个实现方式中，偏差信息可以自动输入到***中，并且可以从与执行给定任务、活动或移动的正确或最佳方式有关的先前处理的输入中导出。在另一个实现方式中，除了自动输入的偏差信息外或作为其替代，偏差信息可由用户手动输入，以帮助用户实现更接近给定任务、活动或移动的目标的一个或更多个移动。例如，从用户的执行确定的已实现的模式相对于对应于目标执行的目标模式的偏差可以作为反馈向用户呈现或强调，反馈的形式为例如根据偏差量增加响度的听觉音调、根据偏差量增加振幅的触觉蜂鸣、或示出偏差量的视觉指示)，和/或用户可以通过例如在XR环境内作图或注释来手动更新偏差信息。

过程700可以至少部分地由基于计算机的***(诸如基于XR的***200的神经肌肉活动***202和/或XR***201)执行。在块710处，***可以接收神经肌肉活动的目标表示。例如，目标表示可以识别目标移动和/或一个或更多个目标肌肉激活。神经肌肉活动的目标表示可以是向***提供并用作参考信号的记录信号。在块720处，***可以接收在执行要评估的动作(例如，移动、姿势等)时从穿戴一个或更多个神经肌肉传感器的用户获得的神经肌肉信号。例如，用户可以穿戴携带传感器的条带(例如，图13和图14A中的条带)，该传感器感测来自用户的神经肌肉信号，并将感测到的神经肌肉信号实时向***提供，并(实时、近实时或在以后的时期(例如，在审查会议时))向用户提供反馈。在块730处，***可以确定通过将目标活动与基于接收的神经肌肉信号测量的活动进行比较而导出的偏差信息。向用户提供的反馈可以包括确定由用户执行的整个动作(例如，包括多个肌肉激活和/或物理移动的复杂移动)和/或该动作的具体要素(例如，特定的肌肉激活)的质量度量的参数。在一些实施例中，与用户的神经肌肉激活有关的关节角、一个或更多个运动单位定时、一个或更多个强度和/或一个或更多个肌肉激活可以关于目标活动来测量。特别地，可以在模型(例如，目标模型和要评估的用户模型)之间执行比较。此外，在一些实施例中，目标模型可以适应用户模型的具体情况，以提供更准确的比较(例如，基于用户和目标模型的模型执行者之间的尺寸差异，将目标模型归一化到特定用户)。

在块740处，可以基于偏差信息向用户提供反馈。特别地，偏差信息可以向用户指示活动或任务正确或不正确地被执行，或者向用户指示活动或任务被执行到范围内的某个测量质量。此种反馈可以是视觉的，诸如，通过在XR显示器内指示特定的肌肉群没有经由用户手臂上的投影被激活(例如，用户手臂上的肌肉群投影着色为红色)，或者该特定的肌肉群仅被部分激活(例如，激活到75％，而不是预期的最大收缩量的90％)。而且，与用户的神经肌肉激活有关的一个或更多个时间、一个或更多个强度和/或一个或更多个肌肉激活的显示可以在XR显示器内向用户显示(例如，作为到用户的身体上或用户的化身上的投影)。如上所讨论，视觉反馈可以单独地被提供，或与其他反馈(诸如听觉(例如，通过用户的移动不令人满意的语音指示)、触觉(诸如触觉蜂鸣、抵抗张力等)和/或其他反馈)组合地被提供。此种偏差信息可以有助于用户改进他或她的活动或任务的执行，并更准确地跟踪目标活动。该类型的反馈可以协助用户发展他们使用涉及神经肌肉信号的控制***的能力。例如，神经肌肉激活的可视化可以帮助用户学习激活肌肉或运动单位的非典型组合。

图8示出了根据本技术的一些实施例的用于基于接收的神经肌肉信号生成目标神经肌肉活动的过程800的流程图。过程800可以至少部分地由基于计算机的***(诸如基于XR的***200)执行。如上所讨论的，该***可以使用目标活动作为参考，通过该参考可以评估或测量用户的活动。为了引起此种目标活动，神经肌肉***或其他类型的***(例如，神经肌肉活动***202)可以接收神经肌肉信号(例如，在块810处)并可以基于这些信号生成目标神经肌肉活动的模型。此类神经肌肉信号可以作为其他类型的信号和/或数据(诸如，例如，相机数据)的补充被使用。此类神经肌肉信号可以从专业执行者(例如，运动员、训练员或另一个适当的熟练人员)采样，并建模以供用作目标活动。例如，高尔夫球挥杆活动可以从一个或更多个高尔夫球专业人员捕获、建模，并存储为目标活动以用于高尔夫球训练练习、游戏或其他***。

在一些情况下，从用户先前的活动的执行中采样的神经肌肉信号可用于基于用户先前的执行和用户当前的执行之间的计算偏差(例如，随时间推移用于训练和/或康复)评估用户随时间推移的进展。这样，***可以跟踪用户与参考活动有关的执行进展。

图9示出了根据本技术的一些实施例的用于基于比较的神经肌肉活动评估一个或更多个任务的过程900的流程图。过程900可以至少部分地由基于计算机的***(诸如基于XR的***200)执行。如上所讨论的，推理模型可被训练并用于对用户的神经肌肉活动以及目标或模型活动进行建模。而且，如上面参照图8所讨论，***可以能够接收目标神经肌肉活动(例如，在块910处)以用作参考。此种目标活动可以被预处理并被存储在存储器中(例如，在处理***、可穿戴设备等内)，以用于将来进行比较。在块920处，***可以接收并处理被监测的用户的神经肌肉信号。例如，可穿戴***的传感器(例如，图13所示的1300、图14所示的1400)可以被用户穿戴以感测来自用户的神经肌肉信号，并且该神经肌肉信号可以被提供给***以用于处理(例如，如上所讨论的，经由一个或更多个推理模型进行处理)。在块930处，***可以将来自传感信号的神经肌肉活动的要素与存储的参考进行比较。

在块940处，***可以确定对一个或更多个任务的评估。该评估可以是对复杂移动的整体评估和/或对一个或更多个具体要素(诸如肌肉移动)的评估。在块950处，反馈可以由***(例如，如上所述，在XR显示器中，其中具有或没有其他反馈通道)提供给用户。

在一些实现方式中，向用户提供的反馈是实时的或近实时提供的，这对训练是有利的。在其他实现方式中，反馈(例如，可视化)可以在稍后的时间(例如，在分析神经肌肉活动的日志以用于诊断的目的和/或用于人体工程学/健身/技能/依从性/放松跟踪时)被提供。在一些实施例中，诸如(实时)监测依从性跟踪任务，用户可以近实时地接收反馈。例如，用户可以被命令拧紧螺丝，并且基于用户的神经肌肉活动，***可以估计用户转动螺丝的紧度，并提供反馈以因此调整他或她对该任务的执行(例如，通过在XR环境中呈现文字和/或图像，示意用户需要继续拧紧螺丝)。此外，尽管目标活动可能需要高水平的技能才能良好地被执行(例如，准确击打高尔夫球)，但应理解的是，该***可以被用于测量需要任何技能水平的任何活动。

在本文中所述技术的一些实施例中，关于用户的肌肉激活的信息可能在用户以其他方式得到关于他或她的与肌肉激活对应的任务的执行的反馈之前很久就可以获得。例如，高尔夫球手可能必须等待好几秒才能得到挥杆的结果(例如，等待看到高尔夫球手打出的球是否偏离了期望的轨迹)，并且网球手可能必须等待挥拍的结果(例如，等待看到球落地后才能知道发球是在界内还是出界)。在诸如这些的情况下，***可以呈现从神经肌肉数据(可能与其他数据(诸如来自一个或更多个辅助传感器的数据)结合)导出的即时反馈，例如，指示***已经检测到发球将落入界外的音调。诸如这样的预先反馈可以被用于例如在允许的情况下中止任务的执行(例如，如果在高尔夫球员的上杆期间检测到错误)或者用更直接的反馈来促进训练。例如，***可以通过让用户(例如，用语音)指示运动动作(在该示例中为完成高尔夫球挥杆)的每个实例是否成功来进行训练，以提供监督训练数据。

在一些实施例中，在任务的执行期间或完成任务后向用户提供的反馈可能与用户准确和/或有效地执行任务的能力有关。例如，在任务的执行(例如，拧紧螺栓)期间记录的神经肌肉信号可以被用于确定用户是否准确和/或最佳地执行了任务，并且可以提供反馈以指导用户如何改进任务的执行(例如，提供更多的力，将手和/或手指置于替代配置中，将手和/或手臂和/或手指相对于彼此进行调整，等等)。在一些实施例中，关于任务的执行的反馈可以在任务完成之前被提供给用户，以便引导用户正确执行任务。在其他实施例中，反馈可以至少部分地在任务完成后提供给用户，以允许用户回顾他或她的任务执行，从而学习如何正确执行任务。

在与身体技能训练、增强和仪器有关的一些其他实施例中，***可以被用于在各种场景中进行监测、协助、记录和/或帮助用户。例如，***可用于跟随(例如，计数)活动，诸如编织或装配线活动。在此类情况下，***可以被适配为跟随用户的移动，使他或她的活动与一个或更多个指令、一个或更多个步骤、一个或更多个模式、一个或更多个配方(recipe(s))等保持一致。

此外，***可以被适配为提供错误检测和/或警报功能。例如，***可以用帮助、文件和/或其他反馈来提示用户，以使用户更有效率，并使用户在执行任务时保持正常状态。在任务被执行后，***可以计算有关任务执行的量度(例如，速度、准确性)。

在本技术的一些实施例中，***可以能够提供检查表监测，以协助用户执行整体活动或一组任务。例如，执行一些类型活动的外科医生、护士、飞行员、艺术家等可以通过具有能够确定活动的特定任务是否被正确执行的自动助手而受益。此种***可以能够确定检查表上的所有任务(例如，理疗步骤)是否被正确执行，并且可以能够向用户提供说明检查表上的任务已完成的某种类型的反馈。

本文中描述的方面可以与控制助手结合使用。例如，可以提供控制助手来平滑用户的输入动作，以便诸如在外科机械设备内平滑颤抖的手(例如Raven)、在CAD程序(例如AutoCAD)内控制绘图输入、在游戏应用内、以及在一些其他类型的应用内，实现所期望的输出控制。

本文中描述的各方面可用于其他应用，诸如生活记录应用或执行和跟踪活动检测的其他应用。例如，各种要素可以由***(例如，活动***，诸如Fitbit公司(美国加利福尼亚州旧金山市)提供的

等)实现，该***可以检测和辨别不同的活动，诸如进食、走路、跑步、骑自行车、写字、打字、刷牙等。此外，此种***的各种实现方式可以被适配为确定例如被辨别的活动被执行的频率、时间、数量。使用神经肌肉信号可以改进此类***的准确性，因为神经肌肉信号可以比由这些***所辨别的现有输入解释得更准确。此类***的一些另外的实现方式可以包括协助用户学习身体技能的应用。例如，用户对需要身体技能的活动(诸如演奏音乐、体育运动、控制悠悠球、编织、魔术等)的执行可以通过***来改进，该***可以检测并提供关于用户对此类技能的执行的反馈。例如，在一些实现方式中，***可以提供视觉反馈和/或可以以游戏化的形式呈现给用户的反馈。在一些实施例中，反馈可以以教导的形式(例如，由人工智能推理引擎和/或专家***)提供给用户，这可以协助用户学习和/或执行身体技能。

图10示出了根据本文中所述技术的一些实施例的用于监测肌肉疲劳的过程1000的流程图。特别地，意识到观察用户的肌肉疲劳并向用户(或向另一个***，或向另一个人(例如，训练者)等)提供肌肉疲劳的指示可能是有益的。过程1000可以至少部分地由基于计算机的***(诸如基于XR的***200)执行。在块1010处，***经由一个或更多个传感器(例如，在图13和图14A所示的可穿戴***1300和1400上，或另外的传感器布置)接收被监测的用户的神经肌肉信号。在块1020处，***可以从用户的神经肌肉信号计算或确定肌肉疲劳的度量。根据EMG信号随时间推移的频谱变化(例如，可以使用针对用户收集的历史神经肌肉信号)计算或确定疲劳。可替代地，可以根据用户的一个或更多个运动单位的激发模式来评估疲劳。可以使用用于基于神经肌肉信号计算或确定疲劳的其他方法，诸如将神经肌肉信号转化为主观疲劳分数的推理模型。在块1030处，***可以向用户(或向另一***、第三方(例如，训练者、医疗提供者)、或另一实体(例如，监测肌肉疲劳的车辆))提供肌肉疲劳的指示。例如，可以在视觉上(例如，通过XR环境中的投影，或另一种类型的视觉指示)、在听觉上(例如，指示疲劳发生的语音)提供指示，或提供另一种类型的指示。这样，可以收集关于用户的更详细的信息，并作为反馈被呈现。

例如，在安全或人体工程学应用中，可以向用户提供即时反馈(例如，警告)，其指示例如肌肉激活和疲劳水平，这可以通过EMG传感器或另一种合适类型的传感器捕获的数据中的频谱变化来检测，并且还可以向用户提供可能在姿势情境内的用户的肌肉激活和疲劳水平的日志的历史视图。***可以提供建议作为反馈，以根据用户的疲劳来(对于物理任务)改变技术或(对于虚拟任务)改变控制方案。例如，***可以被用于更改身体康复训练计划，诸如通过基于在当前康复训练内确定的疲劳评分，增加下一次训练的时间量。疲劳的度量可与其他指标相关联地使用，以警告用户或其他人与用户安全有关的一个或更多个问题。例如，***可以帮助确定人体工程学问题(例如，以检测用户是否举起过多的重量，或打字不恰当或用力过猛等)和恢复监测(例如，检测用户在受伤后自己是否用力过猛)。应理解的是，***的各种实施例可以将疲劳水平用作指标或用作任何目的的输入。

在本技术的一些实施例中，提供了***和方法，以用于通过输送关于患有影响他或她的神经肌肉***的损伤或疾病的患者的神经肌肉活动的反馈(即在沉浸式体验(诸如经由XR显示器、触觉反馈、听觉信号、用户界面和/或其他反馈类型)中来协助患者执行特定移动或活动)来协助、治疗或以其他方式使患者能够复原。对于参加神经康复的患者来说，这可能是由于损伤(例如周围神经损伤和/或脊髓损伤)、中风、脑瘫或另一种原因而需要的，可以提供关于神经肌肉活动模式的反馈，允许患者逐渐增加神经肌肉活动或以其他方式改进其运动单位输出。例如，在治疗的早期阶段期间，患者可能只能激活少量的运动单位，并且***可以提供反馈(例如，“高增益反馈”)，其示出患者身体的虚拟或增强部位的移动比实际发生的移动程度更高。随着治疗的进展，随着患者实现更好的运动控制，反馈提供的增益可以减少。在其他治疗示例中，患者可能患有运动障碍，诸如震颤，并通过特定于患者神经肌肉伤害的反馈来引导(例如，在反馈中示出较少的震颤)。因此，反馈可以被用于示出神经肌肉激活中的小的增量变化(例如，每个增量被辨别为患者可以实现)，以鼓励患者的康复进展。

图11示出了根据本文中所述技术的一些实施例的过程1100的流程图，其中输入被提供给经训练的推理模型。例如，过程1100可以至少部分地由基于计算机的***(诸如基于XR的***200)执行。在本技术的各种实施例中，可以通过使用IMU输入(1101)、EMG输入(1102)和相机输入(1103)来获得更准确的肌肉骨骼表示。这些输入中的每个都可以被提供给经训练的推理模型1110提供。推理模型可以能够提供一个或更多个输出，诸如肌肉骨骼状态的定位、力和/或表示。此类输出可以被***利用或被提供给其他***以产生关于用户的反馈。应理解的是，输入中的任一个可以与任何其他输入以任何组合进行使用，以导出任何输出，或者是单独的输出，或者是与任何输出列表或任何其他可能的输出组合的输出。例如，前臂定位信息可以基于IMU数据和相机数据的组合来被导出。在一个实现方式中，前臂定位的估计可以基于IMU数据生成，并基于地面真实的相机数据进行调整。而且，前臂定位和/或前臂取向可以单独使用相机数据而不使用IMU数据来被导出。在另一种场景中，EMG信号可以被用于导出仅限力的信息，以增强由相机模型***提供的仅限姿态的信息。输入和输出的其他组合也是可能的，并在本文中所述的各种实施例的范围内。

还应理解的是，此种输出可以在生成或不生成任何肌肉骨骼表示的情况下被导出。还应理解的是，一个或更多个输出可以被用作任何其他***的控制输入，诸如用于控制XR***的输入模式的基于EMG的控制，或反之亦然。

应理解的是，本文中所述的任何实施例都可以单独使用或与本文中所述的任何其他实施例以任何组合进行使用。另外的实施例在2019年1月25日提交的标题为“CALIBRATION TECHNIQUES FOR HANDSTATE REPRESENTATION MODELING USINGNEUROMUSCULAR SIGNALS”的第16/257,979号美国专利申请中更详细地进行了描述，该专利申请通过引用以其全部内容并入本文。

上述实施例可以以多种方式中的任一种实现。例如，实施例可以使用硬件、软件或其组合来实现。当使用软件实现时，包括软件的代码可以在任何合适的处理器或处理器集合上执行，无论是设置在单台计算机中还是分布在多台计算机中。应理解的是，执行上述功能的任何部件或部件集合可以被笼统地视为控制上述功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，诸如通过专用硬件或通过使用微码或软件编程的一个或更多个处理器来执行上述功能。

在这点上，应理解的是，本发明的实施例的一个实现方式包括至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，其用计算机程序(即多个指令)编码，该计算机程序当在处理器上执行时执行本文中所述技术的实施例的上面讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以加载到任何计算机资源上，以实现本文中讨论的本发明的各方面。此外，应理解的是，提到在执行时执行上面讨论的功能的计算机程序，并不限于在主机上运行的应用程序。相反，术语计算机程序在本文中是以通用的意义来指任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的上面讨论的方面。

本文中呈现的技术的各个方面可以单独使用、组合使用或以在上述实施例中没有具体讨论的各种布置使用，并因此在其应用中不限于前述描述和/或附图中阐述的部件的细节和布置。

而且，上述实施例中的一些可以实现为一个或更多个方法，其中已提供了一些示例。作为一个或更多个方法的一部分执行的动作可以以任何合适的方式排序。因此，可以构建实施例，其中动作的执行顺序与本文中示出或描述的不同，即使在说明性实施例中示出为顺序动作，也可以包括同时执行一些动作。本文中使用的短语和术语是为了描述的目的，并且不被视为限制性的。使用“包括(including)”、“包括(comprising)”、“具有”、“包含”、“涉及”以及它们的变体意图包括其后列出的项目和附加项目。

在详细描述了本发明的若干实施例后，本领域的技术人员将容易做出各种修改和改进。此类修改和改进意图在本发明的精神和范围内。因此，前述描述仅是举例说明，并不意味着是限制性的。本发明仅限于由所附权利要求书及其等同形式定义。

前述特征可以单独地或一起以任何组合被用于本文中讨论的实施例中的任一个。

此外，尽管可以指示本发明的优点，但应理解的是，并非本发明的每个实施例都将包括每个描述的优点。一些实施例可能没有实现本文中描述为有利的任何特征。因此，前述描述和附图仅是举例说明。

对所公开的实施例进行变化是可能的。例如，本技术的各个方面可以单独使用、组合使用或以在前述的实施例中没有具体讨论的各种布置使用，并因此其在应用中不限于前述描述中阐述或附图中示出的部件的细节和布置。一个实施例中描述的方面可以以任何方式与其他实施例中描述的方面组合。

在描述和/或权利要求书中使用序数术语(诸如“第一”、“第二”、“第三”等)来修饰元素，其本身并不意味着一个元素对另一个元素的任何优先级、优先权或顺序，或方法的动作被执行的时间顺序，而只是用作标签来区分具有一定名称的一个元素或动作与具有相同名称(但使用序数术语)的另一个元素或动作，以区别这些元素或动作。

在本说明书和权利要求书中使用的不定冠词“一个(a)”和“一个(an)”，除非明确相反指示，否则应理解为“至少一个”。

短语“至少一个”的任何使用，在提到一个或更多个元素的列表时，应理解为意味着从元素列表中的任何一个或更多个元素中选择的至少一个元素，但不一定包括元素列表内具体列出的每一个元素中的至少一个，且也不排除要素列表中元素的任何组合。该定义也允许元素可以可选地存在，而不是短语“至少一个”所指的元素列表内具体标识的元素，而不管与这些具体标识的元素相关还是无关。

对短语“相等”或“相同”的任何使用来提到两个值(如距离、宽度等)都意味着两个值在制造公差范围内是相同的。因此，两个值相等或相同，可能意味着这两个数值彼此之间的差异为±5％。

在本说明书和权利要求书中使用的短语“和/或”，应被理解为意思是这样连在一起的元素的“任一个或两个”，即在一些情况下连在一起的元素和在其他情况下不连在一起的元素。用“和/或”列出的多个元素应以相同方式来理解，即如此连结的元素中的“一个或更多个”。除了由“和/或”条款具体标识的元素外，其他元素也可以可选地存在，而不管与具体标识的这些元素相关还是无关。因此，作为非限制性示例，提到“A和/或B”，当与开放式语言诸如“包括”结合使用时，在一个实施例中，可以仅指A(可选地包括B以外的元素)；在另一个实施例中，仅指B(可选地包括A以外的元素)；在又一个实施例中，指A和B两者(可选地包括其他元素)；等等。

如本说明书和权利要求书中所用，“或”应理解为具有与上面定义的“和/或”相同的含义。例如，当分离列表中的项目时，“或”或“和/或”将被解释为包括，即包括多个要素或要素列表中的至少一个，而且包括一个以上，以及可选的附加未列出项目。只有相反地明确指示的术语，诸如“...中的仅一个”或“...中的正好一个”，或在权利要求书中使用时，“由...构成”将指代正好包括多个元素或要素列表中的一个元素。一般来说，当前面有排他性的术语，诸如“任一个”、“...中的一个”、“...中的仅一个”或“...中的正好一个”时，本文中使用的术语“或”将仅解释为指示排他性的选择(即“一个或另一个，但不是两者”)。“基本上由...构成”在权利要求书中使用时应具有其在专利法领域中使用的普通含义。

而且，本文中使用的短语和术语是为了描述的目的，并且不应视为限制性的。使用术语诸如“包括(including)”、“包括(comprising)”、“由...组成"、“具有”、“包含”和“涉及”以及它们在本文中的变型，意思是包括此后列出的项目和它们的等同形式、以及附加项目。

术语“大约”和“约”如果在本文中使用，可以理解为意思是在一些实施例中在目标值的±20％以内、在一些实施例中在目标值的±10％以内、在一些实施例中在目标值的±5％以内、以及在一些实施例中在目标值的±2％以内。术语“大约”和“约”可以等于目标值。

术语“基本上”如果在本文中使用，可以理解为意思是在一些实施例中在目标值的95％以内、在一些实施例中在目标值的98％以内、在一些实施例中在目标值的99％以内、以及在一些实施例中在目标值的99.5％以内。在一些实施例中，术语“基本上”可以等于目标值的100％。

Claims (63)

1.一种用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的计算机化***，所述***包括：

多个神经肌肉传感器，其被配置为感测来自所述用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个计算机处理器，其被编程为：

使用一个或更多个推理或统计模型处理所述多个神经肌肉信号，以及

基于以下中的一项或两项向所述用户提供反馈：

经处理的多个神经肌肉信号，以及

从所述经处理的多个神经肌肉信号导出的信息，

其中，所述反馈包括视觉反馈，所述视觉反馈包括与以下中的一项或两项有关的信息：

所述用户的至少一个运动单位的激活的定时，以及

所述用户的所述至少一个运动单位的所述激活的强度。

2.根据权利要求1所述的计算机化***，其中

向所述用户提供的所述反馈包括听觉反馈、或触觉反馈、或听觉反馈和触觉反馈两者，以及

所述听觉反馈和所述触觉反馈与以下中的一项或两项有关：

所述用户的所述至少一个运动单位的所述激活的所述定时，以及

所述用户的所述至少一个运动单位的所述激活的所述强度。

3.根据权利要求1所述的计算机化***，其中，

所述视觉反馈还包括与以下中的一项或两项有关的可视化：

所述用户的所述至少一个运动单位的所述激活的所述定时，以及

所述用户的所述至少一个运动单位的所述激活的所述强度，

在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内提供所述可视化，以及

所述可视化描绘了至少一个身体部位，所述至少一个身体部位包括以下中的任一项或任意组合：

所述用户的前臂，

所述用户的手腕，以及

所述用户的腿。

4.根据权利要求1所述的计算机化***，其中，

所述至少一个计算机处理器被编程为至少部分地基于以下中的一项或两项来预测由所述用户执行的任务或活动的结果：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括所预测的结果的指示。

5.根据权利要求4所述的计算机化***，其中，所述任务或活动与体育运动性移动或治疗性移动相关联。

6.根据权利要求3所述的计算机化***，其中，所述至少一个计算机处理器被编程为向所述用户提供至少一个目标神经肌肉活动状态的可视化，所述至少一个目标神经肌肉活动状态与执行特定任务相关联。

7.根据权利要求6所述的计算机化***，其中，

所述至少一个计算机处理器被编程为基于以下中的一项或两项确定相对于所述至少一个目标神经肌肉活动状态的偏差信息：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括基于所述偏差信息的反馈。

8.根据权利要求3所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为根据以下中的一项或两项来计算肌肉疲劳的度量：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述视觉反馈包括所述肌肉疲劳的度量的视觉指示。

9.一种用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的计算机化***，所述***包括：

多个神经肌肉传感器，其被配置为感测来自所述用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个计算机处理器，其被编程为：

使用一个或更多个推理或统计模型处理所述多个神经肌肉信号，以及

基于经处理的多个神经肌肉信号向所述用户提供反馈，

其中，向所述用户提供的所述反馈与所述用户的一个或更多个神经肌肉活动状态相关联，以及

其中，所述多个神经肌肉信号与由所述用户执行的体育运动性移动或治疗性移动有关。

10.根据权利要求9所述的计算机化***，其中，向所述用户提供的所述反馈包括以下中的任一项或任意组合：音频反馈、视觉反馈和触觉反馈。

11.根据权利要求9所述的计算机化***，其中，向所述用户提供的所述反馈包括在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内的视觉反馈。

12.根据权利要求11所述的计算机化***，其中，

向所述用户提供的所述视觉反馈包括以下中的一项或两项的可视化：

所述用户的至少一个运动单位的激活的定时，以及

所述用户的所述至少一个运动单位的所述激活的强度，

所述可视化描绘了至少一个身体部位，所述至少一个身体部位包括以下中的任一项或任意组合：

所述用户的前臂，

所述用户的手腕，以及

所述用户的腿。

13.根据权利要求11所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为向所述用户提供至少一个目标神经肌肉活动状态的可视化，以及

所述至少一个目标神经肌肉活动状态与执行所述体育运动性移动或所述治疗性移动相关联。

14.根据权利要求12所述的计算机化***，其中，

被呈现给所述用户的所述可视化包括所述用户的身体部位的虚拟表示或增强表示，以及

所述虚拟表示或所述增强表示描绘了所述用户的所述身体部位以比所述用户的所述身体部位的基于现实的激活力更大的激活力进行动作或以比所述用户的所述身体部位的基于现实的旋转程度更大的旋转程度移动。

15.根据权利要求13所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为基于以下中的一项或两项确定相对于所述至少一个目标神经肌肉活动状态的偏差信息：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括基于所述偏差信息的可视化。

16.根据权利要求15所述的计算机化***，其中，所述偏差信息是从由所述至少一个计算机处理器处理的第二多个神经肌肉信号导出的。

17.根据权利要求15所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为至少部分地基于所述偏差信息来预测由所述用户执行的所述体育运动性移动或所述治疗性移动的结果，以及

向所述用户提供的所述反馈包括所预测的结果的指示。

18.一种由计算机化***执行的用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的方法，所述方法包括：

接收使用多个神经肌肉传感器从所述用户感测到的多个神经肌肉信号，所述多个神经肌肉传感器布置在由所述用户穿戴的一个或更多个可穿戴设备上；

使用一个或更多个推理或统计模型处理所述多个神经肌肉信号；以及

基于以下中的一项或两项向所述用户提供反馈：经处理的多个神经肌肉信号和从记录的神经肌肉信号导出的信息，

其中，向所述用户提供的所述反馈包括视觉反馈，所述视觉反馈包括与以下中的一项或两项有关的信息：

所述用户的至少一个运动单位的激活的定时，以及

所述用户的所述至少一个运动单位的所述激活的强度。

19.根据权利要求18所述的方法，其中，向所述用户提供的所述视觉反馈包括在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内提供。

20.根据权利要求18所述的方法，其中，向所述用户提供的所述反馈包括与以下中的一项或两项有关的听觉反馈、或触觉反馈、或听觉反馈和触觉反馈：

所述用户的所述至少一个运动单位的所述激活的所述定时，以及

所述用户的所述至少一个运动单位的所述激活的所述强度。

21.一种用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的计算机化***，所述***包括：

多个神经肌肉传感器，其被配置为感测来自所述用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个计算机处理器，其被编程为向所述用户提供与以下中的一项或两项相关联的反馈：

以下中的一项或两项的定时：所述用户的运动单位激活，和所述用户的肌肉激活，以及

以下中的一项或两项的强度：所述用户的所述运动单位激活，和所述用户的所述肌肉激活，

其中，向所述用户提供的所述反馈基于以下中的一项或两项：

所述多个神经肌肉信号，以及

从所述多个神经肌肉信号导出的信息。

22.根据权利要求21所述的计算机化***，其中，向所述用户提供的所述反馈包括音频反馈、或触觉反馈、或音频反馈和触觉反馈。

23.根据权利要求21所述的计算机化***，其中，向所述用户提供的所述反馈包括视觉反馈。

24.根据权利要求23所述的计算机化***，其中，向所述用户提供的所述视觉反馈在由增强现实(AR)***生成的AR环境或由虚拟现实(VR)***生成的VR环境内提供。

25.根据权利要求24所述的计算机化***，其中，向所述用户提供的所述反馈包括对所述AR***的指令，以在所述AR环境内在所述用户的一个或更多个身体部位上投影以下项的可视化：所述定时，或所述强度，或所述定时和所述强度。

26.根据权利要求24所述的计算机化***，其中，向所述用户提供的所述反馈包括对所述VR***的指令，以在所述VR环境内在所述用户的一个或更多个身体部位的虚拟表示上显示以下项的可视化：所述定时，或所述强度，或所述定时和所述强度。

27.根据权利要求21所述的计算机化***，其中，

所述至少一个计算机处理器被编程为至少部分地基于以下中的一项或两项来预测任务的结果：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括所预测的结果的指示。

28.根据权利要求21所述的计算机化***，其中，向所述用户提供的所述反馈是在感测所述多个神经肌肉信号期间提供的。

29.根据权利要求28所述的计算机化***，其中，向所述用户提供的所述反馈是实时提供的。

30.根据权利要求28所述的计算机化***，其中，

所述多个神经肌肉信号在所述用户执行特定任务时被感测，以及

在所述用户完成执行所述特定任务之前向所述用户提供所述反馈。

31.根据权利要求30所述的计算机化***，其中，所述特定任务与体育运动性移动或治疗性移动相关联。

32.根据权利要求31所述的计算机化***，其中，所述治疗性移动与监测恢复相关联，所述恢复与损伤相关联。

33.根据权利要求30所述的计算机化***，其中，向所述用户提供的所述反馈至少部分地基于与执行所述特定任务相关联的人体工程学。

34.根据权利要求21所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为存储以下中的一项或两项：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈基于以下中的一项或两项：所存储的多个神经肌肉信号和所存储的从所述多个神经肌肉信号导出的信息。

35.根据权利要求34所述的计算机化***，其中，在没有感测到所述多个神经肌肉信号时提供向所述用户提供的所述反馈。

36.根据权利要求21所述的计算机化***，其中，所述至少一个计算机处理器被编程为向所述用户提供与执行特定任务相关联的目标神经肌肉活动的可视化。

37.根据权利要求36所述的计算机化***，其中，所述目标神经肌肉活动包括以下中的一项或两项：

所述用户的运动单位激活的目标定时，或所述用户的肌肉激活的目标定时，或所述用户的运动单位激活和肌肉激活的目标定时，以及

所述用户的运动单位激活的目标强度，或所述用户的肌肉激活的目标强度，或所述用户的运动单位激活和肌肉激活的目标强度。

38.根据权利要求36所述的计算机化***，其中，向所述用户提供的所述目标神经肌肉活动的所述可视化包括在由增强现实(AR)***生成的AR环境中将所述目标神经肌肉活动投影到所述用户的一个或更多个身体部位上。

39.根据权利要求36所述的计算机化***，其中，向所述用户提供的所述目标神经肌肉活动的所述可视化包括对虚拟现实(VR)***的指令，以在由所述VR***生成的VR环境内显示以下项的可视化：所述用户的运动单位激活的定时、或所述用户的肌肉激活的定时、或所述用户的运动单位激活和肌肉激活的定时；或者

所述用户的运动单位激活的强度、或所述用户的肌肉激活的强度、或所述用户的运动单位激活和肌肉激活的强度；或者

所述用户的运动单位激活的所述定时和所述强度两者、或所述用户的肌肉激活的所述定时和所述强度两者、或所述用户的运动单位激活和肌肉激活的所述定时和所述强度两者。

40.根据权利要求36所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为基于以下中的一项或两项确定相对于所述目标神经肌肉活动的偏差信息：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括基于所述偏差信息的反馈。

41.根据权利要求40所述的计算机化***，其中，基于所述偏差信息的所述反馈包括所述偏差信息的可视化。

42.根据权利要求41所述的计算机化***，其中，所述偏差信息的所述可视化包括在由增强现实(AR)***生成的AR环境中将所述偏差信息投影到所述用户的一个或更多个身体部位上。

43.根据权利要求41所述的计算机化***，其中，所述偏差信息的所述可视化包括向虚拟现实(VR)***提供的指令，以在由所述VR现实***生成的VR环境内、在所述用户的一个或更多个身体部位的虚拟表示上显示所述偏差信息的所述可视化。

44.根据权利要求40所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为至少部分地基于所述偏差信息来预测任务的结果，以及

基于所述偏差信息向所述用户提供的所述反馈包括所预测的结果的指示。

45.根据权利要求36所述的计算机化***，其中，所述至少一个计算机处理器还被编程为至少部分地基于以下中的一项或两项生成关于所述用户的所述目标神经肌肉活动：在由所述用户或由不同用户对所述特定任务的一次或更多次执行期间感测到的神经肌肉信号，和从所述神经肌肉信号导出的信息。

46.根据权利要求45所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为基于一个或更多个标准，针对由所述用户或由所述不同用户对所述特定任务的所述一次或更多次执行中的每一次，确定所述特定任务被良好执行的程度，以及

基于所述特定任务的所述一次或更多次执行中的每一次被良好执行的所述程度为所述用户生成所述目标神经肌肉活动。

47.根据权利要求46所述的计算机化***，其中，所述一个或更多个标准包括来自所述用户或来自所述不同用户的关于所述特定任务被良好执行的所述程度的指示。

48.根据权利要求45所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为基于一个或更多个标准，针对由所述用户或由不同用户对所述特定任务的所述一次或更多次执行中的每一次，确定所述特定任务被不良执行的程度，以及

基于所述特定任务的所述一次或更多次执行中的每一次被不良执行的所述程度为所述用户生成所述目标神经肌肉活动。

49.根据权利要求48所述的计算机化***，其中，所述一个或更多个标准包括来自所述用户或所述不同用户的关于所述特定任务被不良执行的所述程度的指示。

50.根据权利要求21所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为根据以下中的一项或两项计算肌肉疲劳的度量：所述多个神经肌肉信号和从所述多个神经肌肉信号导出的信息，以及

向所述用户提供的所述反馈包括肌肉疲劳的所述度量的指示。

51.根据权利要求50所述的计算机化***，其中，由所述至少一个计算机处理器对肌肉疲劳的所述度量的计算包括确定所述多个神经肌肉信号中的频谱变化。

52.根据权利要求50所述的计算机化***，其中，向所述用户提供的肌肉疲劳的所述度量的所述指示包括在由增强现实(AR)***生成的AR环境中将肌肉疲劳的所述度量的所述指示投影到所述用户的一个或更多个身体部位上。

53.根据权利要求50所述的计算机化***，其中，向所述用户提供的肌肉疲劳的所述度量的所述指示包括向虚拟现实(VR)***提供的指令，以在由所述VR***生成的VR环境内显示肌肉疲劳的所述度量的所述指示。

54.根据权利要求50所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为至少部分地基于肌肉疲劳的所述度量来确定提供给所述用户以改变所述用户的行为的指令，以及

向所述用户提供的所述反馈包括指令。

55.根据权利要求50所述的计算机化***，其中，

所述至少一个计算机处理器还被编程为基于肌肉疲劳的所述度量确定所述用户的疲劳水平是否大于肌肉疲劳的阈值水平，以及

如果确定所述疲劳水平大于肌肉疲劳的所述阈值水平，则向所述用户提供的肌肉疲劳的所述度量的所述指示包括关于所述疲劳水平的警报。

56.根据权利要求21所述的计算机化***，其中，

所述多个神经肌肉传感器包括至少一个惯性测量单元(IMU)传感器，以及

所述多个神经肌肉信号包括由所述至少一个IMU传感器感测到的至少一个神经肌肉信号。

57.根据权利要求21所述的计算机化***，还包括至少一个辅助传感器，所述至少一个辅助传感器被配置为感测关于所述用户的一个或更多个身体部位的定位信息，

其中，向所述用户提供的所述反馈基于所述定位信息。

58.根据权利要求57所述的计算机化***，其中，所述至少一个辅助传感器包括至少一个相机。

59.根据权利要求21所述的计算机化***，其中，向所述用户提供的所述反馈包括与由所述用户对物理任务的执行相关联的信息。

60.根据权利要求59所述的计算机化***，其中，与所述用户对所述物理任务的执行相关联的所述信息包括在对所述物理任务的执行期间施加到物理对象的力是否大于阈值力的指示。

61.根据权利要求59所述的计算机化***，其中，在完成对所述物理任务的执行之前向所述用户提供与对所述物理任务的执行相关联的所述信息。

62.一种由计算机化***执行的用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的方法，所述方法包括：

使用被布置在一个或更多个可穿戴设备上的多个神经肌肉传感器来感测来自所述用户的多个神经肌肉信号；以及

向所述用户提供与以下中的一项或两项相关联的反馈：

所述用户的运动单位激活的定时、或所述用户的肌肉激活的定时、或所述用户的运动单位激活和肌肉激活两者的定时，以及

所述用户的运动单位激活的强度、或所述用户的肌肉激活的强度、或所述用户的运动单位激活和肌肉激活两者的强度，

其中，向所述用户提供的所述反馈基于以下中的一项或两项：所感测到的神经肌肉信号，和从所述感测到的神经肌肉信号导出的信息。

63.一种存储程序代码的非暂时性计算机可读存储介质，所述程序代码在由计算机执行时，使所述计算机执行用于基于从用户感测到的神经肌肉信号向所述用户提供反馈的方法，其中，所述方法包括：

从所述用户获得多个神经肌肉信号，所述多个神经肌肉信号由被布置在所述用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器感测；以及

基于以下中的一项或两项向所述用户提供反馈：所感测到的神经肌肉信号，和从所述感测到的神经肌肉信号导出的信息，所述反馈与以下中的一项或两项相关联：

所述用户的运动单位激活的定时、或所述用户的肌肉激活的定时、或所述用户的运动单位激活和肌肉激活两者的定时，以及

所述用户的运动单位激活的强度、或所述用户的肌肉激活的强度、或所述用户的运动单位激活和肌肉激活两者的强度。

Images