CN106922185A - 经由可穿戴和移动设备的基于自然运动的控制 - Google Patents

经由可穿戴和移动设备的基于自然运动的控制 Download PDF

Info

Publication number
CN106922185A
CN106922185A CN201580052576.5A CN201580052576A CN106922185A CN 106922185 A CN106922185 A CN 106922185A CN 201580052576 A CN201580052576 A CN 201580052576A CN 106922185 A CN106922185 A CN 106922185A
Authority
CN
China
Prior art keywords
user
motion
sequence
control device
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580052576.5A
Other languages
English (en)
Inventor
王嘉平
李宇佳
黄学东
吴凌峰
熊炜
姚开盛
G·茨威格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106922185A publication Critical patent/CN106922185A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)

Abstract

“自然运动控制器”标识用户的身体的一个或多个部分的各种运动以与电子设备交互，由此实现各种自然用户接口(NUI)场景。自然运动控制器通过连结从多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口。这些分离的惯性传感器集中的每个惯性传感器集被耦合到分离的用户穿戴、携带或者手持的移动计算设备，或者提供与分离的用户穿戴、携带或者手持的移动计算设备有关的传感器数据。每个复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的运动识别模型。该运动识别模型然后被应用到复合运动识别窗口以标识一个或多个预定义运动的序列。所标识的运动然后被用作触发一个或多个应用命令的执行的基础。

Description

经由可穿戴和移动设备的基于自然运动的控制
背景技术
智能手表和其他可穿戴或移动计算设备提供各种水平的计算功能。这样的功能实现各种任务，诸如语音或数据通信、数据存储和传送、计算、媒体记录或回放、游戏、健康跟踪等。从硬件视角，许多智能手表和其他可穿戴或移动设备包括各种各样的传感器，诸如照相机、麦克风、扬声器、加速度计、显示设备、触敏表面等。智能手表和其他可穿戴或移动设备通常运行各种操作***并且常常运行各种应用中的任一个应用。许多这些设备还使用一些技术(诸如Wi-Fi、蓝牙、近场通信(NFC)等)提供与其他计算设备的无线连接性或交互性。
发明内容
提供以下概述以引入以在下文详细描述中进一步描述的简化形式的概念的选择。该概述不旨在标识所要求保护的主题的关键特征或基本特征，其也不旨在用作辅助确定所要求保护的主题的范围。进一步，虽然本文可以指出或讨论现有技术的某些缺点，但是所要求保护的主题不旨在被限于可以解答或解决那些现有技术的缺点中的任何或全部缺点的实现。该概述的唯一目的是以简化形式将所要求保护的主题的一些概念呈现作为稍后呈现的更详细描述的前序。
通常，如本文所描述的“自然运动控制器”提供用于标识用户的身体的一个或多个部分的运动以与电子设备交互的技术，从而使能各种自然用户接口(NUI)场景。有利地，自然运动控制器通过响应于用户的身体的一个或多个部分的所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行，来提供关于各种各样的计算设备和电子地控制或致动的设备或机器的增加的用户生产率和交互性。这些运动基于惯性传感器数据被标识、可选地与其他传感器数据(例如，光学、温度、接近等)组合、由耦合到一个或多个用户穿戴、携带或者手持的移动计算设备或者以与一个或多个用户穿戴、携带或者手持的移动计算设备相关联的传感器集返回。
在各种实现中，由自然运动控制器实现的过程中的一些过程通过周期性地或者连续地根据传感器数据构建复合运动识别窗口而开始。可以通过连结从多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段或者帧来构建这些运动识别窗口。这些分离的惯性传感器集中的每个惯性传感器集被耦合到分离的用户穿戴、携带或者手持的移动计算设备或者提供与分离的用户穿戴、携带或者手持的移动计算设备有关的传感器数据。每个复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的机器学习运动序列模型(在本文中还被称为“运动识别模型”)。该运动识别模型然后被应用到复合运动识别窗口，以标识用户的身体的一个或多个部分的一个或多个预定义运动的序列。
一旦这些预定义运动已经被标识，自然运动控制器就响应于所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行。例如，在各种实现中，用户手腕或者手臂扭转被检测为触发用户穿戴的智能手表等的通信部件的麦克风的激活的运动。然而，应当理解，自然运动控制器不限于基于扭转的运动或者麦克风或者其他通信设备的激活。
鉴于以上概述，清楚的是，在此所描述的自然运动控制器提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或致动的设备或机器交互从而实现各种NUI场景的各种技术。除刚刚描述的益处之外，当结合附图理解时，自然运动控制器的其他优点将从在下文中的详细描述变得明显。
附图说明
所要求保护的主题的特定特征、方面和优点将关于以下描述、所附的权利要求和附图变得更好理解，在附图中：
图1提供了图示用于实现如本文所描述的自然运动控制器的各种实现的程序模块的示例性架构流程图。
图2提供了用于训练如本文所描述的机器学习运动序列模型的示例性高级概述。
图3图示了如本文所描述的以穿戴在用户的手腕上的智能手表形式因子的用户穿戴控制设备。
图4图示了图示用于实现如本文所描述的自然运动控制器的各种实现的示例性方法的通用***流程图。
图5是描绘具有用于在实现如本文所描述的自然运动控制器的各种实现中使用的简化计算和I/O能力的简化通用计算设备的通用***图。
具体实施方式
在“自然运动控制器”的各种实现的以下描述中，对形成其一部分并且在其中以图示的方式示出在其中可以实践自然运动控制器的特定实现的附图进行参考。应当理解，在不脱离其范围的情况下，可以利用其他实现并且可以做出结构改变。
还应注意，出于清楚的缘故，特定术语将被恢复到在描述本文所描述的各种实现中，并且这些实现不旨在限于这样所选择的特定术语。此外，应当理解，每个特定术语包括以实现类似目的的宽泛类似的方式操作的所有其技术等同物。在此对“一个实现”或“另一实现”或“示例性实现”或“备选实现”或类似短语的引用意味着：结合实现所描述的特定特征、特定结构或特定特性可以被包括在自然运动控制器的至少一个实现中。进一步，贯穿说明书的这样的短语的出现不必全部指代相同实现，也不是相互排除其他实现的分离或备选的实现。
还应当理解，针对表示自然运动控制器的一个或多个实现的任何过程流的在此所描述或所图示的顺序未固有地指示对以所描述或所图示的顺序待实现的过程的任何要求，针对任何过程流的在此所描述或所图示的任何这样的顺序也不隐含自然运动控制器的任何限制。
如本文所利用的，术语“部件”、“***”、“客户端”等旨在指代计算机相关实体、硬件、软件(例如，在执行时)、固件或者其组合。例如，部件可以是在处理器上运行的过程、对象、可执行的、程序、函数、库、子例程、计算机或软件模块和硬件的组合。通过说明，在服务器和服务器二者上运行的应用可以是部件。一个或多个部件可以驻留在过程内并且部件可以被定位在一个计算机上和/或被分布在两个或更多个计算机之间。术语“处理器”通常被理解为指代硬件部件，诸如计算机***的处理单元。
此外，在不排除任何附加或者其他元素的情况下，可以使用在详细描述中或权利要求中的术语“包括”、“包含”、“具有”、“含有”和其变型和其他类似词语和短语旨在以作为开放式过渡词的术语“包括”类似的方式中是包括性的。
1.0介绍：
通常，如在此所描述的“自然运动控制器”提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或者致动的设备或机器交互并且控制计算设备和电子地控制或者致动的设备或机器的各种技术，从而实现各种自然用户接口(NUI)场景。用户设备的运动根据惯性传感器数据由机器学习运动序列模型被标识、可选地与其他传感器数据(例如，光学、温度、接近等)组合、由耦合到一个或多个用户穿戴、携带或者手持的移动计算设备或者以与其一个或多个用户穿戴、携带或者手持的移动计算设备关联的传感器集返回。注意，出于讨论的目的，不管那些设备的特定形式因子如何，这些用户穿戴、携带或手持的移动计算设备有时在本文中被称为“用户穿戴控制设备”。
通过响应于用户的身体的一个或多个部分的所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行，来实现由自然运动控制器使能的交互和控制。鉴于以下详细描述，这些能力提供各种优点和技术效果。这些优点和技术效果的示例包括但不限于由提供使得用户能够执行简单的身体运动以控制一个或多个计算设备和电子地控制或致动的设备或机器的设备和过程而造成的改进的用户效率。这样的能力还用来通过允许用户通过在不需要物理地与那些设备交互的情况下执行简单的身体部分运动，来自动地和/或远程地控制多个计算设备和电子地控制或致动的设备或机器或者与多个计算设备和电子地控制或致动的设备或机器交互，来增加用户交互性能。
在各种实现中，经由触发应用命令控制的计算设备和电子地控制或致动的设备或机器包括被用于提供对应于用户运动的传感器数据的用户穿戴控制设备。例如，具有惯性传感器的智能手表形式因子还可以包括响应于用户身体部分运动(诸如例如用户的手腕的扭转)而被触发或者被控制的各种通信能力。
然而，还应当理解，应用命令的触发可以被用于控制能够经由任何期望的有线或无线通信链路接收应用命令或对应用命令作出响应的任何本地或远程计算设备或电子地控制或致动的设备或机器，或者与任何本地或远程计算设备或电子地控制或致动的设备或机器进行交互。例如，触发的应用命令可以被用于控制设备或与设备进行交互，该设备包括但不限于：智能家居类型电器和开关、照相机、电视、计算设备、通信设备等。例如，从用户穿戴控制设备(诸如例如基于腕带或环的形式因子)接收到的惯性传感器数据可以指示运动(诸如例如用户挥动她的手或快拍她的手指)。这样的运动可以被用于发起或者触发针对能够接收应用命令或对应用命令作出响应的任何本地或远程计算设备或电子地控制或致动的设备或机器的任何预定义或用户定义的应用命令。
1.1***概述：
如上文所指出的，“自然运动控制器”提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或致动的设备或机器交互的各种技术，从而实现各种NUI场景。通过图1的通用***图图示以上概括的过程。特别地，图1的***图图示了用于实现如本文所描述的自然运动控制器的各种实现的程序模块之间的相互关系。此外，虽然图1的***图图示了自然运动控制器的各种实现的高级视图，但是图1不旨在提供如贯穿该文档所描述的自然运动控制器的每个可能实现的详尽或完整的图示。
另外，应当注意，任何框和可以由图1中的断线或虚线表示的框之间的互连表示本文所描述的自然运动控制器的备选实现，并且如下文所描述的这些备选实现中的任何或全部可以与贯穿该文档描述的其他备选实现组合使用。
通常，如由图1所图示的，由自然运动控制器所使能的过程通过应用传感器数据采集模块100以从一个或多个用户穿戴控制设备110接收传感器数据来开始操作。这些用户穿戴控制设备110的示例包括用户穿戴、携带或手持的控制设备，并且可选地包括附接到用户身体或被嵌入在用户身体内的一个或多个控制设备。这些用户穿戴控制设备110中的每个用户穿戴控制设备110包括至少分离的惯性传感器集和用于将惯性传感器数据传递到传感器数据采集模块110的通信能力。
在各种实现中，用户穿戴控制设备110中的一个或多个用户穿戴控制设备可以包括一个或多个附加的可选传感器120。这些可选的传感器120的示例包括但不限于接近传感器、光学传感器、温度传感器、生物传感器等。针对用户穿戴控制设备110的示例性形式因子130包括但不限于：智能手表、腕带、项链、眼睛佩戴的隐形眼镜、眼镜、衣服、腰带、鞋、戒指、牙齿表面或指甲上的设备、牙植入体、首饰、身体穿孔和植入体等。
对于一个或多个用户的每个用户而言，传感器数据采集模块100通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可选地可调整数目的顺序时段或者帧来构建复合运动识别窗口。该传感器数据采集模块100然后将这些运动识别窗口传递到机器学习运动序列模型140，机器学习运动序列模型140已经通过将一个或多个深度学习过程应用到对应于一个或多个预定义用户身体部分运动的惯性传感器数据的肯定和否定示例而被训练。该机器学习运动序列模型140然后根据从传感器数据采集模块100接收到的复合运动识别窗口来标识一个或多个对应的用户身体部分的序列。
在各种实现中，可选的模型更新模块150响应于从一个或多个用户的控制设备110接收到的传感器数据和/或用户反馈和/或自定义训练会话，而可选地重新训练机器学习运动序列模型140。在进一步的可选的实现中，模型更新模块150在每用户基础上可选地重新训练机器学习运动序列模型140的本地复制，使得与个体用户相关联的机器学习运动序列模型随时间日益地适于那些用户的特定运动。
应用命令触发模块160响应于由机器学习运动序列模型140返回的一个或多个预定义用户身体部分运动的一个或多个所标识的序列，而触发一个或多个应用命令的序列的执行。这些应用命令使得用户能够通过由机器学习运动序列模型140标识的用户身体部分运动来与计算设备和电子地控制或致动的设备或机器进行交互。
注意，在各种实现中，经由一个或多个应用命令的触发所控制的计算设备和电子地控制或致动的设备或机器包括用户穿戴控制设备110。例如，智能手表形式因子可以包括响应于由机器学习运动序列模型140标识的用户身体部分运动而被触发或被控制的各种通信能力。然而，还应当理解，应用命令触发模块160可以被用于控制能够经由任何期望的有线或接收应用命令或对应用命令作出响应的本地或远程计算设备或电子地控制或致动的设备或机器与其交互。
进一步，在各种实现中，应用命令触发模块160响应于两个或更多个不同的用户之间的、一个或多个用户身体部分的运动之间的同步，而可选地触发应用命令。这样的同步由可选的同步标识模块170确定，其操作以可选地确定(由机器学习运动序列模型140所标识的)两个或更多个用户的身体部分运动是否被同步。
在各种实现中，当一个用户的用户穿戴控制设备110在(经由可选的接近传感器的使用所确定的)一个或多个其他用户的用户穿戴控制设备的最小阈值距离内时，同步标识模块170标识同步的运动。在进一步的实现中，当与那些运动相关联的时间戳指示不用的用户(例如，彼此握手的两个用户)的身体部分运动之间的协调时，同步标识模块170标识同步的运动。还注意，在各种实现中，当确定两个或更多个用户的身体部分运动是同步的时，可以组合时间戳和阈值距离二者。
2.0自然运动控制器的操作细节：
以上所描述的程序模块被用于实现自然运动控制器的各种实现。以下章节提供自然运动控制器的各种实现和用于实现关于图1在章节1中所描述的程序模块的示例性方法的操作的详细讨论。特别地，以下章节提供自然运动控制器的各种实现的示例和操作细节，包括；
·自然运动控制器的操作概述；
·适于在训练运动序列模型中使用的示例性机器学习技术；
·针对基于自然运动的控制的经训练的模型的适配和使用；
·示例性控制运动；以及
·针对用户穿戴控制设备的示例性形式因子。
2.1操作概述：
如上文所指出的，本文所描述的自然运动控制器提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或致动的设备或机器交互的各种技术，从而实现各种NUI场景。在各种实现中，自然运动控制器的能力基于来自惯性传感器(包括被嵌入一个或多个穿戴、携带或者手持的移动计算设备中的、耦合到一个或多个穿戴、携带或者手持的移动计算设备的、或者与一个或多个穿戴、携带或者手持的移动计算设备相关联的加速度计和陀螺仪)的数据。从这样的设备所接收到的传感器数据被评价以获得基于模型的概率推理，以标识用户身体部分的特定运动或运动序列，用户身体部分包括但不限于：手指、手部、手臂、头部、眼睛、眼睑、嘴、舌头、牙齿、躯干、腿、脚，等等。注意，出于解释的目的，被用作用于触发应用命令的基础的身体部分运动有时在本文中被称为“控制运动”。
在各种实现中，自然运动控制器考虑传感器采样周期，其包括传感器数据(诸如与特定身体部分相关联的用户穿戴控制设备的当前加速度和角速度)以形成“帧”。N个连续的帧形成复合运动识别窗口，其中N是固定或者可调整的参数。复合运动识别窗口然后被提供到机器学习运动序列模型，以获得表示特定用户身体部分的预定义运动的识别结果，以及该识别结果然后被用于触发一个或多个应用命令的序列的执行。用于训练机器学习运动序列模型的技术的示例包括但不限于支持向量机(SVM)、深度神经网络(DNN)、递归神经网络(RNN)等。
取决于模型结构，可以提供不同类型的传感器数据。例如，基于RNN的模型可以直接地被应用到除了固定长度窗口或采样周期之外的输入帧流。在各种实现中，对于每个识别窗口而言，传感数据由特征向量(假定基于SVM和DNN的模型)或特征向量(假定基于RNN的模型)表示的序列。模型然后将这些特征表示当作输入并且计算预测输出(即，识别结果)，其表示所预测的运动或运动序列。
给定所预测的运动和应用命令的对应的触发，自然运动控制器提供支持任何期望的通信的计算设备和电子地控制或致动的设备或机器的交互和控制。在各种实现中，响应于基于来自被嵌入在智能手表设备自身中的惯性传感器的数据的身体运动，可以控制用户穿戴式设备(诸如例如智能手表)。这样的实现使能设备的单手无接触控制。例如，在各种实现中，在其上智能手表被穿戴的手腕的用户扭转足以产生触发应用命令(诸如例如使得集成到智能手表的麦克风能够从用户接收语音命令)的手腕的可识别的运动。
因此，与要求用户与控制设备(诸如智能手表)的触摸屏等交互的技术相反，自然运动控制器使用户免于出于交互目而使用她的手或手指物理地接触设备，从而显著地改进用户生产率和常常的用户安全性。例如，考虑其中用户正在双手中携带物品的情况。在这样的情况下，在不要求用户释放她正携带的物品以使用她的手指与该设备交互的情况下，简单的用户运动将使能与智能手表(或者其他计算设备和电子地控制或致动的设备)的控制和交互。类似地，考虑其中用户正在驾驶并且将基于智能手表的电话穿戴在他的手腕上的情况。在这样的情况下，用户可以通过简单的物理运动(例如，手腕扭转、叩击方向盘上的手指等)经由基于智能手表的电话来发起或接收呼叫，从而消除把目光从道路移开或者释放方向盘以在驾驶时与智能手表交互的任何需要，从而改进用户安全性。
2.2示例性机器学习技术：
以下段落提供可以适于由自然运动控制器使用的几个机器学习和建模技术的示例。应当理解，自然运动控制器不旨在限于下面所讨论的机器学习和建模技术的特定示例，并且这些示例仅被提供用于讨论和解释的目的。
2.2.1SVM建模技术：
支持向量机(SVM)是将特征向量x∈Rn当作输入并且计算输出类别标签y的一种类型的分类器。在标准二进制分类公式y∈{+1,-1}中，并且对于每个x而言，预测(其在自然运动控制器的情况下表示所预测的身体部分运动)被计算为sign(wTx)，其中w是参数向量。模型参数w使用标记的(x,y)对集被学习以最小化如由式1所图示的正则化损失函数，其中：
其中l通常是铰链损失l(yi,wTxi)＝max{0,1-yiwTxi}。对于像铰链损失的凸损失而言，该目标是凸函数并且可以使用许多凸优化方法而被高效地优化。在学习之后，参数w在识别***中被使用。注意，在自然运动控制器的情况下，标记的(x,y)对表示对应于预定义用户身体部分运动的肯定和否定地标记的示例。
SVM还可以通过核函数的使用而被扩展到非线性情况，并且通过使用像1对所有(1-versus-all)的策略或通过使用结构化多类别损失而被扩展到多类别情况。
2.2.2DNN建模技术：
深度神经网络(DNN)是一种类型的非线性分类器。当做出预测(其在自然运动控制器的情况中表示对应于所预测的身体部分运动的类别标签)时，DNN传递输入向量x(在该情况下表示惯性传感器数据)通过非线性转换的多个层并且最后到类别标签中。
通常，典型的DNN架构包括多个非线性层(还被称为隐藏层或神经元)。对于每个层而言，输入向量被映射到输出向量。例如，在层n中，输入向量hn被映射到输出向量hn+1如：
其中bn和wn是针对该层的参数，并且f是非线性函数。对于输入层(即，层0)、h0＝x，(即，传感器数据)。针对f的共同选择包括但不限于：逻辑函数(诸如)、双曲正切或“tanh”函数(诸如)、修正线性函数(诸如f(x)＝max{0,x})，等等。
输出层通常但是不必是softmax类型函数等，其将类别标签的条件概率分布建模为：
其中N是网络中的层数。计算最后的预测，如由式4所图示的，其中：
y*＝argmaxk p(y＝k|x) 式4
DNN常常被训练以最小化在训练(xt,yt)对集上定义的损失函数(其在自然运动控制器的情况下表示对应于预定义的用户身体部分运动的正和负地标记的示例)。例如，式5的负对数似然损失函数可以被用于这样的目的，其中：
minw,b-∑tlogp(yt|xt) 式5
2.2.3RNN建模技术：
递归神经网络(RNN)是针对顺序数据而设计的一种类型的神经网络。典型的基于RNN的架构由以下组成：底部处的输入层、具有不同时间的隐藏层之间的递归连接的中间的一个或多个隐藏层、以及顶部处的输出层。每层表示神经元集，并且层与权重U和V连接。输入层xt表示时间t处的输入信号，并且输出层yt产生类别标签上的概率分布。隐藏层ht维持传感器数据历史的表示。输入向量xt是针对帧t(或者帧t周围的上下文)的特征表示。输出向量yt具有等于可能运动的数目的维度。隐藏层和输出层中的值被计算如下：
其中f和g是元素级非线性。通常，g是softmax函数，并且f可以是任何期望的S型非线性函数。
基于RNN的模型使用标准反向传播被训练以最大化数据条件似然性：
注意，该模型不具有跨越时间的输出变量之间的直接相互依存性。因此，可以利用一系列在线决策来计算输出标签的最可能的序列：
这具有在线并且非常高效的优点，并且是比针对其他序列标签模型的动态编程搜索方法更快。
2.2.4LSTM建模技术：
长短期存储器(LSTM)模型是使用选通单元调制输入、输出和隐藏到隐藏转换的标准RNN模型的扩展。通过使用选通单元，LSTM的隐藏单元可以跟踪更长的历史并且因此通常提供长距离依存性的经改进的建模。
典型的LSTM架构实现以下操作：
其中it、ot和ft相应地是输入、输出和忘记门。存储器单元活动是ct。此外，xt和ht相应地是LSTM的输入和输出。元素智能乘积被表示为⊙。σ表示逻辑S型函数。LSTM的输出ht被传递到模型的输出以生成所预测的结果(其在自然运动控制器的情况中表示所预测的身体部分运动)，如由式10所图示的，其中：
yt＝Softmax(Whyht+by) 式10
通常，LSTM与RNN不同在于，递归连接在线性存储器单元活动之间，并且门被用于调制输入以丢弃过去的存储器活动并且调整输出。然而，与标准RNN一样，LSTM还被训练以优化条件似然性并且可以做出在线预测。
2.3针对自然运动控制的模型的适配和使用：
在各种实现中，用于使用任何期望的机器学习技术来训练机器学习运动序列模型的过程通常地包括数据采集过程。该数据采集过程包含对多个用户分派任务以执行表示多个正训练示例的特定预定义运动和表示负训练示例的多个其他运动(包括任意运动)。该过程被用于在用户正执行分派任务的运动时，从由多个用户穿戴、手持或携带的控制设备采集传感器数据。表示来自多个不同的用户的正和负标记的训练示例二者的所采集的数据然后被集中，并且被用于训练跨越所有用户工作得好的单个运动模型，以从预定义用户运动集标识用户身体部分运动或运动的序列。
注意，可以通过使用比当训练模型时的正示例更大数目的否定示例来降低假肯定运动标识增强模型性能。例如，可以从旨在明确地排除的特定运动采集否定示例。例如，当用户将他的手放到他的口袋中时，他可以将你的手腕扭转为总体运动的一部分。然而，假定手腕运动通常地旨在表示用于触发应用命令的预定义运动，则排除将手放置在口袋中的总体序列将是期望的。在这种情况下，将他的手连同手腕扭转放到他的口袋中的用户的整个序列的惯性传感器数据将被采集为针对模型训练目的的否定示例。
在各种实现中，在数个进展期中训练机器学习运动序列模型。例如，初始地经训练的模型可以针对惯性传感器数据运行，同时一个或多个用户执行各种运动。然而，无论何时任何运动序列触发假肯定时，使用该运动序列被采集并且被用作否定示例以重新训练模型的逐渐地更准确的实例。换句话说，可以通过运行部分地经训练的模型来采集附加的训练数据。
在各种实现中，每当由模型基于某个用户运动序列来识别身体部分运动时，用户指示正确或不正确(或相等状态指示器)。对应的运动序列将然后被标记为肯定或否定的并且被用于重新训练模型的后续实例。注意，来自多个用户的附加的肯定和否定示例被使用在该模型更新或者重新训练过程中，并且可以被执行这样的训练的多次迭代以生成增加的准确度的模型。
类似地，在各种实现中，在自然运动控制器返回关于用户身体部分运动的不正确的预测并且从而触发不正确的应用命令的情况下，用户接口机制可用于停止或过度该应用命令。对应的运动序列可以然后被标记为否定示例并且被用于重新训练方法的后续实例。进一步地，在自然运动控制器返回关于用户身体部分运动的不正确的预测的情况下，用户可以然后将他的运动调整到由模型所期望的那些运动，或者可以提供附加的肯定和/或否定示例以帮助重新训练模型来识别或标识该用户的特定运动。
图2图示了用于训练机器学习运动序列模型的示例性高级概述。注意，图2旨在鉴于前述讨论并且进一步鉴于关于以下各项的以下讨论被理解：训练数据采集(参见章节2.3.1)、特征提取(参见章节2.3.2)、上下文依存性的并入(参见章节2.3.3)、可选的后处理(参见章节2.3.4)和在每用户基础上的更新模型(参见章节2.3.5)。进一步地，图2不旨在提供可以适于使用在训练机器学习运动序列模型中的各种深度学习或其他机器学习技术的完全的说明或讨论。
通常，由图2所图示的示例性模型训练过程通过对多个用户分派任务以执行一个或多个预定义和/或任意身体部分运动的实例的训练数据采集模块200而开始操作。该训练数据采集模块200然后从(关于图1所描述的)用户穿戴控制设备110采集对应的惯性传感器数据210。
标记模块220然后通过将原始传感器数据的窗口或者帧转换为特征向量或者通过简单地提取原始传感器数据的窗口或者帧(这取决于针对特定深度学习或其他机器学习过程使用的输入的类型)，来从惯性传感器数据210提取特征。标记模块220然后将窗口或者帧标记为与预定义或用户定义的身体部分运动相关联的肯定或否定示例。这些过程的结果是标记的训练数据230集，其然后被传递到将深度学习或其他机器学习技术应用到经标记的训练数据上的训练机器学习运动序列140的模型训练和更新模块240。在各种实现中，当新标记的数据变得可用时和/或响应于用户自定义输入，模型训练和更新模块240可选地更新运动序列模型，如在以下段落中进一步详细讨论的。
2.3.1训练数据采集：
通常，可以使用用于生成肯定和否定标记的训练示例的任何期望的数据采集场景来采集序列数据。例如，在自然运动控制器的各种实现中，可以使用具有惯性传感器的可穿戴或移动设备来采集训练数据。在这样的实现中，当用户被引导以执行特定运动时，记录与特定用户穿戴控制设备相关联的惯性传感器集的输入传感器数据流。一旦运动已经被完成，用户就被引导以通过以下手段指示运动的完成，包括但不限于：按压按钮、点击屏幕以信号通知运动的结束、说词语或词语序列(诸如运动完成)等。还记录这些完成事件。然后，在训练期间，在每个完成事件之前的帧的几个窗口被标记为针对运动的肯定训练数据，并且从其他时段采样的窗口被用作否定背景训练数据。
2.3.2特征提取：
特征提取将原始传感器数据帧的窗口转换为适于由使用包括基于SVM和DNN的方法的技术而训练的机器学***均值、小波特征和标准化原始数据的特征向量。
2.3.3并入上下文依存性：
如上文所指出的，在各种实现中，当用户正执行一个或多个已知运动时，对从各种传感器接收到的数据(或者特征向量)训练机器学习运动序列模型。该训练数据然后被用作用于模型训练的输入特征。进一步地，在各种实现中，自然运动控制器可选地将任何期望的机器学习和建模技术适配为并入上下文依存性。
例如，当准备针对基于RNN和LSTM的运动序列模型中的每个帧的输入帧时，自然运动控制器可以将上下文窗口而不是单个帧用作输入，其可以使针对每个帧的预测更准确并且鲁棒。例如，通过将上下文长度表示为L，针对时间t的输入是[xt-L,xt-L+1,…,xt,…xt+L-1,xt+L]。作为结果的上下文窗口然后被用于实现将原始传感器数据的每个窗口或者帧转变为用于机器学***滑。
2.3.4后处理：
上文所描述的管线导致能够预测针对每个窗口(针对SVM和DNN)或者针对每个帧(RNN和LSTM)的运动类别标签(即，用户身体部分运动)的机器学***滑并且使他们更鲁棒，延长的预测窗口可选地被用于缓冲来自一些相对小数目的预测窗口或者帧中的每一个的预测结果。然后，延长的预测窗口上的主导预测(例如，起因于包括延长的预测窗口的三分之二顺序窗口或者帧的预测导致相同所预测的身体部分运动)可以被使用输出为用于使用在触发应用命令中的最可能的运动。
2.3.5在每用户基础上更新模型：
在各种实现中，进一步通过调整模型权重改进以关于特定身体部分运动增加模型锐利度来改进机器学习运动序列模型的性能。换句话说，如果由运动序列模型造成的两个不同的身体部分运动预测具有基于特定运动序列的类似概率或者得分，那么模型可以在响应于稍微不同的用户运动而在那些预测之间进行切换。在这样的情况下，进一步的训练可以被应用到运动序列模型以增加那些得分或者概率之间的对比度。该附加训练将确保一致性，使得当用户尝试与序列中的自然变化的结果相同的运动序列时，在不同的时间处未检测到不同的身体部分运动序列。这被完成的一个方式是当用户重复地执行与那些特定身体部分运动序列相关联的运动时，加强或者增加与特定身体部分运动序列相关联的模型序列模型中的权重。换句话说，模型权重适于加强对应于共同或者频繁的用户身体部分运动的输出。
类似地，在各种实现中，运动序列模型自动地适于特定用户的模式。例如，在各种实现中，用户反馈模式等提供被用于在每用户基础上重新训练或更新运动序列模型的附加肯定和/或否定示例。换句话说，在各种实现中，如果模型将不提供针对特定用户的可接受的结果，则自然运动控制器可以对用户分派任务以执行表示特定肯定示例(即，肯定标记的示例)或否定示例(例如，否定标记的示例)的运动序列的一个或多个实例。
更特别地，适配针对个体用户的运动序列模型涉及采集针对那些特定用户的附加训练数据。此处，基本概念在于，给定正被应用到特定用户的运动(即，惯性传感器数据)的经训练的运动序列模型，自然运动控制器将继续从该用户采集数据以用于在更新和重新训练模型中使用。在各种实现中，该数据采集还包含对用户分派任务以执行特定身体部分运动序列以采集附加的传感器数据。进一步地，在各种实现中，对用户分派任务以指示每当假肯定已经触发时，对应的传感器数据然后被用作否定示例。换句话说，运动序列模型的预测性行为可以通过利用对应于特定用户运动序列的惯性传感器数据更新模型而随时间日益地被适配到个体用户。
通常，经训练的运动序列模型与设定的预定义运动序列一起出现。然而，在各种实现中，自然运动控制器允许用户添加或者创建新或自定义运动序列和对应的激活命令。类似地，在各种实现中，自然运动控制器允许用户移除和/或退出现有运动序列和对应的激活命令。换句话说，在各种实现中，每个用户可以定义他自身的运动序列和相关联的激活命令，从而确保自然运动控制器在每用户基础上是完全地可自定义的。
除了在每用户基础上更新运动序列模型之外，在各种实现中，对应于个体匿名用户的身体部分运动的惯性传感器数据可以被上载到服务器或者云服务，并且被用于重新训练然后被推送或者传播回到其他用户的新的多用户运动序列模型。
在各种实现中，可以使用可用于个体用户的计算能力来本地执行对运动序列模型的重新训练或者更新。备选地或者组合地，在各种实现中，可以通过将与一个或多个用户的用户运动序列相关联的惯性传感器数据的标记的肯定和否定示例发送到用于远程模型更新的远程服务器或者基于云的***，来执行对运动序列模型的重新训练或者更新。作为结果的更新的运动序列模型可以然后被传播回一个或多个用户。
注意，在上文所描述的更新场景中的任一个更新场景中，运动序列模型更新或者调整的频率可以被设定到任何期望的时段(即，每小时、每天、每周等)。类似地，每当期望改进模型性能时，可以在按需基础上执行运动序列模型更新、重新训练或者调整。
2.4示例性控制运动：
通常，机器学习运动序列模型可以被训练以识别任何用户身体部分的运动或者多个运动的序列。进一步地，可以由运动序列模型标识的任何用户身体部分运动或者运动的序列可以被用于触发应用命令，其用于发起任何用户穿戴控制设备或任何其他计算设备或电子地控制或致动的设备或机器中的任何期望的响应或行为。如此，应当理解，以下段落中所讨论的示例性控制运动和贯穿该文档所讨论的任何控制运动表示控制运动的实际上无限的组合的仅有部分和可以响应于那些控制运动而由自然运动控制器触发的对应的应用命令。因此，所描述的控制运动和所描述的应用命令都不旨在限制可以被定义或者指定用于与自然运动控制器一起使用的控制运动和应用命令的范围。
鉴于前述讨论，出于解释和讨论的目的，下面概括了由来自对应的惯性传感器数据的运动序列模型可标识的几个示例性预定义身体部分运动和运动序列。
1.手腕扭转或者摇动。例如，图3图示了穿戴在用户的左手腕310上的智能手表形式因子300的用户穿戴控制设备。图3进一步图示了用户的左手腕310(其中扭转运动由严重弯曲的双面箭头指示)的轴向扭转320；
2.手指叩击；
3.拍手；
4.拍手指；
5.挥手；
6.移动或摇摆手臂；
7.眨眼；
8.移动眼睛；
9.点击或磨牙；
10.张嘴或闭嘴；
11.旋转头；
12.倾斜头；
13.点头或摇头；
14.扭转躯干；
15.与另一用户握手；
16.与另一用户顶拳；
17.跺脚；
18.连续数目的用户步伐；
19.等。
鉴于前述讨论，出于解释和讨论的目的，下面概括了响应于预定义运动和运动序列触发的几个示例性应用命令：
1.检测预定义身体部分运动或运动序列→开始或者执行应用命令；
2.检测预定义身体部分运动或运动序列→切换到应用中的另一会话或者窗口；
3.检测预定义身体部分运动或运动序列→发送消息；
4.检测预定义身体部分运动或运动序列→打开麦克风；
5.检测预定义身体部分运动或运动序列→发起通信设备(例如，使用手机或者其他通信设备接电话或者打电话)；
6.检测预定义身体部分运动或运动序列→控制外部设备(例如，朝向电视挥动手臂、照相机看到电视、惯性传感器检测运动、自然运动控制器根据当前状态而接通或者关断电视)。
2.4.1多个用户之间的同步控制运动：
在各种实现中，自然运动控制器自动地检测两个或更多个用户之间的、身体部分运动或运动序列之间的有意同步(作为时间和/或接近的函数)。这样的同步运动或同步序列以与个体用户的所标识的控制运动类似的方式被用于触发应用命令。
例如，考虑各自穿戴以形式因子(诸如智能手表、手镯、戒指等)的控制设备的两个或更多个用户的情况。在这样的情况下，被确定为同步的任何预定义用户身体部分运动(诸如例如用户顶拳、击掌、握手等)可以被用于发起或者触发应用命令。例如，同步用户运动(诸如两个用户之间的握手)的标识可以自动地发起与那些用户相关联的计算或者存储设备之间的数据或者联系人信息(诸如姓名、电话号码等)的交换。注意，在这样的情况下，用户可以可选地设定或者调整隐私简档以使能或者禁能这样的共享，并且可以设定选项(诸如提供这样的数据，只要另一用户作为回报也将共享这样的数据)。
2.4.2示例性使用场景：
鉴于前述讨论，出于解释和讨论的目的，下面概括了几个示例性使用场景：
1.用户执行运动或者运动序列以控制应用；
2.用户穿戴控制设备响应于所标识的运动或者运动序列而与其他穿戴、携带或者外部设备(例如，电话、磁带录音机、灯、电视等)交互或对其他穿戴、携带或者外部设备进行控制。
3.响应于同步运动或者运动序列的多个用户之间的交互。例如，成团或者成组的十个用户触发或者发起该组中的所有用户之间的数据共享、同步通信、同步电子日历等(可选地受制于个体用户的个体隐私设置)。
4.多个不同的用户的运动或运动序列交互以发起单个应用命令或命令序列。例如，如果大多数或者一些预定义阈值数目的不同用户执行预定义运动序列(例如，四个用户中的三个用户各自扭转其手腕)，则该共享的运动序列可以被用于触发预定义或者用户定义的应用命令的执行。例如，在十二个用户的组中，假定十二个用户中的七个用户做出由运动模型所标识的拇指向上运动，同时那些用户中的五个用户做出拇指向下运动，则可以触发由该组的七个用户大多数预期的应用命令；以及
5.多个控制设备(和对应的惯性传感器)还可以被放置在用户的身体上(或中)以采集手部、手臂、腿、躯干、头部等的运动，以及任何所标识的运动然后还被用于骨骼跟踪。例如，具有惯性传感器的手腕或手穿戴式控制设备可以被用于跟踪用户的运动并且然后复制比赛中的那些运动。例如，考虑其中数字化身的手部基于由来自惯性传感器数据的运动序列模型所标识的用户手部和手臂运动来模仿用户的那些手部的拳击比赛。有利地，这样的实现导致与用户身体或身体部分的视觉跟踪相比较显著地降低的计算开销以实现基于骨骼跟踪的应用。
2.4.3与附加的传感器组合：
在各种实现中，自然运动控制器将惯性传感器数据与从一个或多个附加的可选的传感器接收到的传感器数据进行组合。例如，惯性传感器通常包括传感器设备，包括但不限于加速度计和陀螺仪。然而，附加的传感器包括但不限于照相机、基于激光的设备、光传感器、接近传感器(例如，用户或者控制设备与身体或者其他设备多么接近)等。
这些附加的可选的传感器被使用在各种实现中以增强或者控制响应于经由从惯性传感器接收到的数据所标识的运动而触发的应用命令。例如，特定预定义的身体部分运动序列可以以亮光触发一个应用命令，但是以低光触发另一应用命令(或者防止应用命令的触发)。作为另一示例，各种传感器可以被用于确定用户在水环境(例如，游泳池、河、湖、海等)中并且可以然后使得自然运动控制器防水以标识针对各种目的的用户游泳运动。
2.5针对用户穿戴、携带或手持的设备的示例性形式因子：
如贯穿该文档所讨论的，自然运动控制器的机器学习运动序列模型考虑从身体穿戴式控制设备接收到的惯性传感器数据，以预测或标识用户身体部分运动或运动序列。可以以各种各样的形式因子中的任一个形式因子来实现这些用户穿戴控制设备。进一步地，取决于形式因子，那些控制设备可以被穿戴在用户的身体上、被耦合到用户的身体和/或被植入或以其他方式被***用户的身体中。鉴于这些考虑，出于解释和讨论的目的，下面概括了几个示例性控制设备形式因子(各自包含至少一个或多个惯性传感器和用于将传感器数据传递到自然运动控制器的能力)：
1.手表；
2.腕带；
3.智能手表；
4.眼镜；
5.隐形眼镜(具有用于检测眨眼运动或其他眼睛运动或运动序列的集成惯性传感器)；
6.衬衫、裤子、夹克、裙子或者其他衣物；
7.腰带；
8.鞋；
9.手镯、胸针、项链、戒指、耳环或者其他首饰；
10.牙齿、手指、指甲等上或内的表面或覆盖。例如，附接到指甲的惯性传感器允许用户随着预定义运动叩击手指以触发一个或多个应用命令。
11.牙植入(例如，利用控制设备替换一个或多个牙)。还可选地包括附加的功能(诸如小型化手机或通信能力)。使用这样的控制设备，例如，通过将用户点击牙齿一次或多次标识为预定义运动或运动序列以使能通信；
12.身体穿孔；
13.身体植入(例如，放置在身体中或上的小惯性传感器)；
14.护口器(例如，当体育运动或睡觉时，评估头或牙齿运动)。例如，标识对应于用户在睡觉时磨擦他的牙齿的运动，并且作为响应发起一个或多个应用命令。
15.等。
3.0自然运动控制器的操作概述：
通过图4的一般操作流程图图示了关于图1到图3上文所描述的过程的一些过程和章节1和2中上文所提供的详细描述的另一示图。特别地，图4提供了概括自然运动控制器的各种实现中的一些实现的操作的示例性操作流程图。注意，图4不旨在是本文所描述的自然运动控制器的各种实现的全部的详尽表示，并且仅出于解释的目的而提供图4中所表示的实现。
此外，应当注意，任何框和由图4中的断线或虚线表示的框之间的互连表示在此所描述的自然运动控制器的可选或备选实现，并且如下文所描述的这些可选或备选实现中的任何或全部可以与贯穿该文档描述的其他备选实现组合使用。
在各种实现中，如由图4所图示的，自然运动控制器通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据410的可调整数目的顺序时段构建400复合运动识别窗口420而开始操作，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备。自然运动控制器然后将复合运动识别窗口420传递到已经由一个多个基于机器的深度学习过程训练的前述机器学习运动序列模型140(在本文中还被称为“运动识别模型”)。
自然运动控制器然后将机器学习运动序列模型140应用440到复合运动识别窗口420以标识一个或多个用户身体部分的一个或多个预定义运动450的序列。自然运动控制器然后响应于所标识的一个或多个预定义运动的序列，而触发460一个或多个应用命令的序列的执行。
此外，在各种实现中，自然运动控制器响应于从一个或多个用户的控制设备接收到的传感器数据，而可选地周期性地重新训练470运动序列模型。另外，自然运动控制器可选地在每用户基础上，针对与个体用户的用户穿戴控制设备相关联的运动识别模型的本地复制，执行该重新训练。
4.0示例性操作环境：
在此所描述的自然运动控制器实现在许多类型的通用或专用计算***环境或配置中是可操作的。图5图示了在其上可以实现如本文所描述的自然运动控制器的各种实现和元件的通用计算机***的简化示例。应当注意，由图5中所示的简化计算设备500中的折线或虚线表示的任何框表示简化计算设备的备选的实现。如下文所描述的，可以组合贯穿该文档描述的其他备选实现使用任何或全部这些备选实现。
简化计算设备500通常地在具有至少一些最小计算能力的设备中被发现，诸如个人计算机(PC)、服务器计算机、手持式计算设备、膝上型计算机或移动计算机、通信设备(诸如手机和个人数字助理(PDA))、多处理器***、基于微处理器的***、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、以及音频或视频媒体播放器。
为了允许设备实现本文所描述的自然运动控制器实现，设备应当具有足够的计算能力和***存储器以使能基本计算操作。具体而言，图5中所示的简化计算设备500的计算能力一般地由(一个或多个)处理单元510图示，并且还可以包括(一个或多个)图形处理单元(GPU)515，其一者或二者与***存储器520通信。注意，简化计算设备500的(多个)处理单元510可以是专用微处理器(诸如数字信号处理器(DSP)、超长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或其他微处理器)或可以是具有一个或多个处理核心并且还可以将一个或多个基于GPU的核心或其他专用核心包括在多核心处理器中的常规中央处理单元(CPU)。
另外，简化计算设备500还可以包括其他部件，诸如例如通信接口530。简化计算设备500还可以包括一个或多个常规计算机输入设备540(例如，触摸屏、触敏表面、指点设备、键盘、音频输入设备、基于语音或声音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)或这样的设备的任何组合。
类似地，通过各种自然语言接口(NUI)场景使能与简化计算设备500和与自然运动控制器的任何其他部件或特征的各种交互，包括对一个或多个用户或与相关联的其他设备或***的输入、输出、控制、反馈和响应。由自然运动控制器使能的NUI技术和场景包括但不限于允许一个或多个用户以“自然的”方式而没有由输入设备(诸如鼠标、键盘、遥控器等)强加的人工约束来与自然运动控制器交互的接口技术。
通过使用各种技术使能这样的NUI实现，包括但不限于使用从经由麦克风或其他输入设备540或***传感器505采集的用户语音或发声导出的NUI信息。还通过使用各种技术使能这样的NUI实现，包括但不限于根据用户的面部表情并且根据用户的手部、手指、腕、臂、腿、身体、头、眼睛等的位置、运动或定向从***传感器505或其他输入设备540导出的信息，其中可以使用各种类型的2D或深度成像设备(诸如立体或飞行时间照相机***、红外照相机***、RGB(红、绿和蓝)照相机***等)或这样的设备的任何组合来采集这样的信息。
这样的NUI实现的进一步的示例包括但不限于从触摸和触笔识别、手势识别(在屏幕或显示面的屏幕上或其附近)、基于空气或接触的运动或手势、用户接触(在各种表面上，对象或其他用户)、基于盘旋的输入或动作等导出的NUI信息。这样的NUI实现还可以包括但不限于各种预测性机器智能过程的使用，其单独或组合其他NUI信息评价当前或过往用户行为、输入、动作等来预测信息(诸如用户意图、期望和/或目标)。不管基于NUI的信息的类型或源如何，这样的信息可以然后被用于发起、终止或控制自然运动控制器的一个或多个输入、输出、动作或功能特征，或与自然运动控制器的一个或多个输入、输出、动作或功能特征交互。
然而，应当理解，可以进一步通过将人工约束或附加信号的使用与NUI输入的任何组合进行组合来增大前述示例性NUI场景。可以通过输入设备540(诸如鼠标、键盘和遥控器)或通过各种远程或用户穿戴设备(诸如加速度计、用于接收代表由用户的肌肉生成的电信号的肌电信号的肌电图(EMG)信号)、心率监视器、用于测量用户发汗的流电皮肤导电传感器、用于测量或感测用户大脑活动或电场的可穿戴或远程生物传感器、用于测量用户体温改变或差分的可穿戴或远程生物传感器等，来施加或生成这样的人工约束或附加信号。从这些类型的人工约束或附加信号导出的任何这样的信息可以与任何一个或多个NUI输入组合以发起、终止或控制自然运动控制器的一个或多个输入、输出、动作或功能特征，或与自然运动控制器的一个或多个输入、输出、动作或功能特征交互。
简化计算设备500还可以包括其他任选的组件诸如一个或多个常规计算机输出设备550(例如，(一个或多个)显示设备555、音频输出设备、视频输出设备、用于发射有线或无线数据传输的设备等)。注意，针对通用计算机的典型的通信接口530、输入设备540、输出设备550和存储设备560对本领域的技术人员而言是众所周知的，并且将不在本文中详细描述。
图5中所示的简化计算设备500还可以包括各种计算机可读介质。计算机可读介质可以是可以经由存储设备560由计算设备500访问的任何可用介质，并且可以包括对于针对信息(诸如计算机可读指令或计算机可执行指令、数据结构、程序模块或其他数据)的存储可移除570和/或不可移除580的易失性介质和非易失性介质。
计算机可读介质包括计算机存储介质和通信介质。计算机存储介质指代有形计算机可读或机器可读介质或存储设备(诸如数字多用光盘(DVD)、蓝光光盘(BD)、压缩光盘(CD)、软盘、磁带驱动器、硬盘驱动器、光驱动器、固态存储器设备、随机访问存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储、智能卡、闪速存储器(例如，卡、棍和密钥驱动器)、磁带盒、磁带、磁盘存储、磁条或其他磁性存储设备)。此外，传播信号未被包括在计算机存储介质的范围内。
信息(诸如计算机可读指令或计算机可执行指令、数据结构、程序模块等)的保留还可以通过使用任何各种前述通信介质(与计算机存储介质相反)完成，以编码一个或多个经调制的数据信号或载波或其他传输机制或通信协议，并且可以包括任何有线或无线信息递送机制。注意，术语“经调制的数据信号”或“载波”通常指代具有其特性集中的一个或多个或以关于将信息编码在信号中的这样的方式被改变的信号。例如，通信介质可以包括有线介质(诸如携带一个或多个经调制的数据信号的有线网络或直接有线连接)和无线数据(诸如声音、射频(RF)、红外、激光和用于发射和/或接收一个或多个经调制的数据信号或载波的其他无线介质)。
可以从计算机可读介质或机器可读介质或存储设备和以计算机可执行指令或其他数据结构的形式的通信介质的任何期望的组合来存储、接收、发送或读取实现本文所描述的各种自然运动控制器实现中的一些或全部或其部分的软件、程序和/或计算机程序产品。此外，所要求保护的主题可以被实现为一种使用标准编程和/或工程技术产生软件、固件525、硬件或其任何组合以控制计算机来实现所公开的主题的方法、装置或制造品。如本文所使用的术语“制造品”旨在涵盖从任何计算机可读设备或介质可访问的计算机程序。
在计算机可执行指令(诸如正由计算设备执行的程序模块)的一般上下文中可以进一步描述本文所描述的自然运动控制器实现。通常，程序模块包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。自然运动控制器实现还可以实践在其中通过一个或多个远程处理设备执行任务的分布式计算环境中或通过一个或多个通信网络链接的一个或多个设备云内。在分布式计算环境中，程序模块可以定位在包括介质存储设备的本地计算机存储介质和远程计算机存储介质二者中。此外，前述指令可以部分或全部被实现为硬件逻辑电路，其可以或可以不包括处理器。
备选地或者附加地，可以至少部分通过一个或多个硬件逻辑组件执行本文所描述的功能。例如，并且非限制性地，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***(SOC)、复杂可编程逻辑器件(CPLD)，等等。
5.0其他实现：
以下段落概述在本文档中可以要求保护的实现的各种示例。然而，应当理解，下面概述的实现不旨在限制根据自然运动控制器的详细描述可以要求保护的主题。进一步地，可以在与贯穿详细描述所描述的实现中的一些或全部和附图中的一个或多个中所图示的任何实现和下文所描述的任何其他实现和示例的任何期望的组合主张下文所概述的实现中的任何或全部。另外，应当注意，以下实现旨在根据贯穿该文档所描述的详细描述和附图而被理解。
在各种实现中，由用于响应于用户身体部分的所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行的装置、过程或技术来实现自然运动控制器，从而通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
作为第一示例，在各种实现中，计算机实现的过程经由用于通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口的装置、过程或技术而提供，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备。该复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的运动识别模型。该过程然后通过将运动识别模型应用到复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列而进行继续。该过程然后通过响应于所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行、从而通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率而进行继续。
作为第二示例，在各种实现中，第一示例进一步经由用于响应于从一个或多个用户的控制设备接收到的传感器数据而重新训练运动识别模型的装置、过程或技术被修改。
作为第三示例，在各种实现中，第二示例进一步经由用于在与个体用户的用户穿戴控制设备相关联的运动识别的本地复制的每用户基础上重新训练运动识别模型被执行的装置、过程或技术被修改。
作为第四示例，在各种实现中，第一示例、第二示例和第三示例中的任一个进一步经由用于将多个用户穿戴控制设备中的至少一个实现为腕戴式控制设备的装置、过程或技术被修改，并且其中一个或多个预定义运动的序列包括用户的手腕的扭转。
作为第五示例，在各种实现中，第四示例进一步经由用于响应于用户的手腕的扭转而触发通信设备的通信会话的执行的装置、过程或技术被修改。
作为第六示例，在各种实现中，第一示例、第二示例和第三示例中的任一个进一步经由用于响应于在两个或更多个不同的用户之间的、一个或多个用户身体部分的运动之间的所标识的同步而触发一个或多个应用命令的序列的执行的装置、过程或技术被修改。
作为第七示例，在各种实现中，第六示例进一步经由用于通过比较与两个或更多个不同的用户的复合运动识别窗口相关联的时间戳来标识同步的装置、过程或技术被修改。
作为第八示例，在各种实现中，第六示例和第七示例中的任一个进一步经由用于响应于确定两个或更多个用户的用户穿戴控制设备在其他用户中的至少一个用户的用户穿戴控制设备中的至少一个用户穿戴控制设备的最小阈值距离内而标识同步的装置、过程或技术被修改。
作为第九示例，在各种实现中，第六示例和第七示例中的任一个进一步经由用于响应于所标识的同步而触发与两个或更多个用户相关联的计算设备之间的数据的自动交换的装置、过程或技术被修改。
作为第十示例，在各种实现中，第六示例和第七示例中的任一个进一步经由用于响应于所标识的同步而触发与两个或更多个用户相关联的计算设备之间的用户联系人信息的自动交换的装置、过程或技术被修改。
作为第十一示例，在各种实现中，***经由用于应用包括由计算设备可执行的程序模块的通用计算设备和计算机程序的装置、过程或技术而提供，其中计算设备由计算机程序的程序模块引导以提取来自从一个或多个分离的惯性传感器集接收到的加速度和角速度数据的一个或多个顺序时段的特征，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备。该***然后将所提取的特征传递到概率机器学习运动序列模型。该***然后将机器学习运动序列模型应用到所提取的特征以标识一个或多个用户身体部分的一个或多个对应的运动的序列。该***然后响应于所标识的运动的序列而触发一个或多个应用命令的序列的执行，从而通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
作为第十二示例，在各种实现中，第十一示例进一步经由用于将多个用户穿戴控制设备中的至少一个实现为腕戴式控制设备的装置、过程或技术被修改，并且其中运动的所标识的序列包括触发通信设备的通信会话的执行的用户的手腕的扭转。
作为第十三示例，在各种实现中，第十一示例和第十二示例中的任一个进一步经由用于标识用于触发一个或多个应用命令的序列的执行的、在两个或更多个不同的用户之间的、一个或多个用户身体部分的运动之间的同步的装置、过程或技术被修改。
作为第十四示例，在各种实现中，第十三示例进一步经由用于通过确定两个或更多个不同的用户的用户穿戴控制设备在其他用户的至少一个的用户穿戴控制设备中的至少一个的最小阈值距离内来标识同步、并且比较与从与两个或更多个不同的用户相关联的加速度和角速度数据所提取的特征相关联的时间戳的装置、过程或技术被修改。
作为第十五示例，在各种实现中，第十三示例和第十四示例中的任一个进一步经由用于触发与两个或更多个不同的用户相关联的计算设备之间的数据的自动交换的装置、过程或技术被修改。
作为第十六示例，在各种实现中，具有被存储在其中用于标识用户运动的计算机可执行指令的计算机可读介质经由用于通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口的装置、过程或技术被提供，所述指令使得计算设备执行包括***的方法，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备。该复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的运动识别模型。运动识别模型然后被应用到复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列。一个或多个应用命令的序列的执行响应于所标识的一个或多个预定义运动的序列而被触发，从而通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
作为第十七示例，在各种实现中，第十六示例进一步经由用于响应于从一个或多个用户的控制设备接收到的传感器数据而重新训练运动识别模型的装置、过程或技术被修改。
作为第十八示例，在各种实现中，第十六示例和第十七示例中的任一个进一步经由用于标识触发一个或多个应用命令的序列的执行的、在两个或更多个不同的用户之间的、一个或多个用户身体部分的运动之间的同步的装置、过程或技术被修改。
作为第十九示例，在各种实现中，第十八示例进一步经由用于当确定两个或更多个用户的用户穿戴控制设备在彼此的最小阈值距离内时通过比较与两个或更多个不同的用户的复合运动识别窗口相关联的时间戳来标识同步的装置、过程或技术被修改。
作为第二十示例，在各种实现中，第十八示例和第十九示例中的任一个进一步经由用于响应于所标识的同步而触发与两个或更多个用户相关联的计算设备之间的用户联系人信息的自动交换的装置、过程或技术被修改。
出于图示和说明的目的，已经呈现了自然运动控制器的前述描述。其不旨在是详尽的或者将所要求保护的主题限于所公开的精确形式。鉴于以上教导，许多修改和变型是可能的。进一步地，应当注意，前述备选实现中的任何或全部备选实现可以以期望形成自然运动控制器的附加混合实现的任何组合使用。应预期到，自然运动控制器的范围不由该详细描述而是由所附到其的权利要求所限制。虽然已经以特定于结构特征和/或方法动作的语言描述了主题，但是应理解到，所附的权利要求中定义的主题不必限于上文所描述的特定特征或动作。相反，上文所描述的特定特征和动作被公开为实现权利要求的示例形式并且其他等价特征和动作旨在处于权利要求的范围内。
上文已经描述了示例实现。当然，出于描述所要求保护的主题的目的，不可能描述部件或方法的每个可想到的组合，但是本领域的普通技术人员可以认识到，许多进一步的组合和置换是可能的。因此，所要求保护的主题旨在包含落在上文所描述的自然运动控制器的详细描述的精神和范围内的所有这样的变更、修改和变型。
关于由上文所描述的部件、设备、电路、***等所执行的各种功能，描述这样的部件使用的术语(包括对“装置”的引用)旨在除非另外指示，否则对应于执行所描述的部件(例如，功能等价)的指定功能的任何部件，即使未结构上等价于所公开的结构，其也执行所要求保护的主题的本文所图示的示例性方面中的功能。在该方面，还将认识到，前述实现包括***以及具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的计算机可读存储介质。
存在实现前述实现(诸如适当的应用编程接口(API)、工具箱、驱动器代码、操作***、控制、独立或可下载的软件对象等)的多种方式，其使得应用和服务能够使用本文所描述的实现。所要求保护的主题从API(或其他软件对象)的观点以及从根据本文所阐述的实现操作的软件或硬件对象的观点来预期该使用。因此，本文所描述的各种实现可以具有全部以硬件、或部分以硬件和部分以软件或全部以软件的方面。
已经关于多个部件之间的交互描述前述***。将理解到，这样的***和部件可以包括那些部件或指定的子部件、指定部件或子部件中的一些和/或附加部件，并且根据前述的各种置换和组合。子部件还可以被实现为通信地耦合到其他部件而不是被包括在父部件(例如，层次部件)内的部件。
此外，应注意到，一个或多个部件可以被组合为提供总体功能的单个部件或划分为多个分离的子部件，并且任何一个或多个中间层(诸如管理层)可以被提供以通信地耦合到这样的子部件以便提供集成的功能。本文所描述的任何部件还可以与本文未特别地描述但是通常由本领域的技术人员已知的一个或多个其他部件进行交互。

Claims (15)

1.一种计算机实现的方法，包括：
通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备；
将所述复合运动识别窗口传递到由一个或多个基于机器的深度学习过程训练的运动识别模型；
将所述运动识别模型应用到所述复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列；以及
响应于所标识的所述一个或多个预定义运动的序列，触发一个或多个应用命令的序列的执行，由此通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
2.根据权利要求1所述的计算机实现的方法，进一步包括：响应于从一个或多个用户的所述控制设备接收到的传感器数据，周期性地重新训练所述运动识别模型。
3.根据权利要求2所述的计算机实现的方法，其中重新训练所述运动识别模型在与个体用户的所述用户穿戴控制设备相关联的所述运动识别模型的本地复制的每用户基础上被执行。
4.根据权利要求1或权利要求2或权利要求3所述的计算机实现的方法，其中所述多个用户穿戴控制设备中的至少一个用户穿戴控制设备是腕戴式控制设备，并且其中所述一个或多个预定义运动的序列包括所述用户的手腕的扭转。
5.根据权利要求4所述的计算机实现的方法，其中所述用户的手腕的所述扭转触发通信设备的通信会话的执行。
6.根据权利要求1或权利要求2或权利要求3或权利要求4或权利要求5所述的计算机实现的方法，其中两个或更多个不同的用户之间的、一个或多个用户身体部分的所述运动之间的同步的标识触发所述一个或多个应用命令的序列的所述执行。
7.根据权利要求6所述的计算机实现的方法，其中所述同步通过比较与所述两个或更多个不同的用户的所述复合运动识别窗口相关联的时间戳而被标识。
8.根据权利要求6或权利要求7所述的计算机实现的方法，其中跟随确定所述两个或更多个用户的所述用户穿戴控制设备在其他用户中的至少一个用户的所述用户穿戴控制设备中的至少一个用户穿戴控制设备的最小阈值距离内，所述同步被标识。
9.一种***，包括：
通用计算设备；以及
计算机程序，其包括由所述计算设备可执行的程序模块，其中所述计算设备由所述计算机程序的所述程序模块引导以：
从加速度和角速度数据的一个或多个顺序时段提取特征，所述加速度和角速度数据从一个或多个分离的惯性传感器集被接收，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备；
将提取到的所述特征传递到概率机器学习运动序列模型；
将所述机器学习运动序列模型应用到提取到的所述特征以标识一个或多个用户身体部分的一个或多个对应的运动的序列；以及
响应于所标识的所述运动的序列，触发一个或多个应用命令的序列的执行，由此通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
10.一种计算机可读介质，其具有被存储在其中的用于标识用户运动的计算机可执行指令，所述指令使得计算设备执行一种方法，所述方法包括：
通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备；
将所述复合运动识别窗口传递到由一个或多个基于机器的深度学习过程训练的运动识别模型；
将所述运动识别模型应用到所述复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列；以及
响应于所标识的所述一个或多个预定义运动的序列，触发一个或多个应用命令的序列的执行，由此通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。
11.根据权利要求10所述的计算机可读介质，其中两个或更多个不同的用户之间的、一个或多个用户身体部分的所述运动之间的同步的标识触发所述一个或多个应用命令的序列的所述执行。
12.根据权利要求11所述的计算机可读介质，其中当确定所述两个或更多个用户的所述用户穿戴控制设备在彼此的最小阈值距离内时，所述同步通过比较与所述两个或更多个不同的用户的所述复合运动识别窗口相关联的时间戳而被标识。
13.根据权利要求11或权利要求12所述的计算机可读介质，其中所述一个或多个应用命令的序列的经触发的所述执行引起与所述两个或更多个用户相关联的计算设备之间的用户联系人信息的自动交换。
14.根据权利要求9所述的***，其中两个或更多个不同的用户之间的、一个或多个用户身体部分的所述运动之间的同步的标识触发所述一个或多个应用命令的序列的所述执行。
15.根据权利要求14所述的***，其中所述同步通过以下各项被标识：
确定所述两个或更多个不同的用户的所述用户穿戴控制设备在其他用户中的至少一个用户的所述用户穿戴控制设备中的至少一个用户穿戴控制设备的最小阈值距离内；以及
比较与从与所述两个或更多个不同的用户相关联的所述加速度和角速度数据提取到的所述特征相关联的时间戳。
CN201580052576.5A 2014-09-30 2015-09-28 经由可穿戴和移动设备的基于自然运动的控制 Withdrawn CN106922185A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/502,549 2014-09-30
US14/502,549 US20160091965A1 (en) 2014-09-30 2014-09-30 Natural motion-based control via wearable and mobile devices
PCT/US2015/052542 WO2016053822A1 (en) 2014-09-30 2015-09-28 Natural motion-based control via wearable and mobile devices

Publications (1)

Publication Number Publication Date
CN106922185A true CN106922185A (zh) 2017-07-04

Family

ID=54325696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052576.5A Withdrawn CN106922185A (zh) 2014-09-30 2015-09-28 经由可穿戴和移动设备的基于自然运动的控制

Country Status (6)

Country Link
US (1) US20160091965A1 (zh)
EP (1) EP3201729A1 (zh)
JP (1) JP2017537370A (zh)
KR (1) KR20170066539A (zh)
CN (1) CN106922185A (zh)
WO (1) WO2016053822A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762479A (zh) * 2018-04-02 2018-11-06 珠海格力电器股份有限公司 一种进行控制的方法与设备
CN108897231A (zh) * 2018-02-08 2018-11-27 深圳迈睿智能科技有限公司 行为预测***和行为预测方法
CN110914022A (zh) * 2017-08-10 2020-03-24 罗伯特·博世有限公司 直接教导机器人的***和方法
CN111183613A (zh) * 2017-07-05 2020-05-19 迈恩特公司 用于感测生物数据的方法及其在与联网设备的双向通信中的用途
CN111291804A (zh) * 2020-01-22 2020-06-16 杭州电子科技大学 基于注意力机制的多传感器时间序列分析模型
CN111694435A (zh) * 2020-06-16 2020-09-22 石亦磊 一种基于惯性传感单元的可穿戴触摸检测方法
CN111742328A (zh) * 2018-02-19 2020-10-02 博朗有限公司 用于对手持式消费装置的使用进行分类的***
CN112040060A (zh) * 2020-08-28 2020-12-04 北京纽曼凤凰科技有限公司 一种具有多种通信方式的界面的设计方法
CN113227941A (zh) * 2018-12-26 2021-08-06 三星电子株式会社 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备
CN113678087A (zh) * 2019-04-05 2021-11-19 谷歌有限责任公司 使用可穿戴设备进行推理生成的分布式机器学习模型
US11209908B2 (en) 2017-01-12 2021-12-28 Sony Corporation Information processing apparatus and information processing method
CN114503057A (zh) * 2019-09-19 2022-05-13 芬奇科技有限公司 基于图像和惯性测量单元两者的取向确定
CN115562499A (zh) * 2022-11-16 2023-01-03 深圳市未来感知科技有限公司 基于智能指环的精准交互控制方法、***及存储介质
CN116058814A (zh) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 心率检测方法及电子设备
US12045710B2 (en) 2018-02-19 2024-07-23 Braun Gmbh Apparatus and method for classifying the motion of a movable treatment device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US20160131677A1 (en) * 2014-11-10 2016-05-12 International Business Machines Corporation Motion pattern based event detection using a wearable device
US10019625B2 (en) * 2015-07-23 2018-07-10 Orcam Technologies Ltd. Wearable camera for reporting the time based on wrist-related trigger
JP2017175439A (ja) * 2016-03-24 2017-09-28 京セラ株式会社 電子機器
US10390082B2 (en) * 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
CN106231498A (zh) * 2016-09-27 2016-12-14 广东小天才科技有限公司 一种麦克风音频采集效果的调整方法及装置
US10890981B2 (en) 2016-10-24 2021-01-12 Ford Global Technologies, Llc Gesture-based vehicle control
JP6836447B2 (ja) * 2017-03-30 2021-03-03 アズビル株式会社 作業支援方法及び作業支援装置
US10484530B2 (en) 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US10194019B1 (en) * 2017-12-01 2019-01-29 Qualcomm Incorporated Methods and systems for initiating a phone call from a wireless communication device
KR101887314B1 (ko) * 2017-12-14 2018-08-09 세종대학교산학협력단 무인 항공기의 원격 제어 장치 및 방법과, 무인 항공기에 부착되는 움직임 제어 장치
GB2573091B (en) * 2018-02-19 2020-11-18 Valkyrie Industries Ltd Haptic feedback for virtual reality
FR3081107B1 (fr) * 2018-05-17 2021-08-20 Commissariat Energie Atomique Procede de reconnaissance automatique d'un geste predetermine d'un utilisateur
CN109101101B (zh) * 2018-08-30 2020-12-04 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN110890930B (zh) 2018-09-10 2021-06-01 华为技术有限公司 一种信道预测方法、相关设备及存储介质
US11507822B2 (en) * 2018-10-31 2022-11-22 General Electric Company Scalable artificial intelligence model generation systems and methods for healthcare
JP7271909B2 (ja) * 2018-11-09 2023-05-12 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN112334917A (zh) * 2018-12-31 2021-02-05 英特尔公司 对采用人工智能的***进行防护
US20220172594A1 (en) * 2019-03-18 2022-06-02 Georgia Tech Research Corporation Tracking and alert method and system for worker productivity and safety
JP6623366B1 (ja) * 2019-03-27 2019-12-25 株式会社ＭＡＲＵＩ−ＰｌｕｇＩｎ 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体
MX2021011834A (es) * 2019-03-29 2022-02-22 Saint Gobain Abrasives Inc Soluciones de rectificación de rendimiento.
CN110286718B (zh) * 2019-06-25 2022-09-20 赢富仪器科技(上海)有限公司 可穿戴设备及其佩戴生理信息的利用方法和计算机可读存储介质
US20220253140A1 (en) * 2019-07-03 2022-08-11 Brink Bionics Inc. Myoelectric wearable system for finger movement recognition
US20220269350A1 (en) * 2019-07-30 2022-08-25 Google Llc Detection and Classification of Unknown Motions in Wearable Devices
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification
US11157079B2 (en) * 2019-10-31 2021-10-26 Sony Interactive Entertainment Inc. Multi-player calibration of various stand-alone capture systems
KR102450044B1 (ko) * 2020-11-05 2022-10-04 가톨릭관동대학교산학협력단 관성 정보 기반 낙하 시 충격 가속도 크기 추정 장치, 그 추정 방법 및 이를 포함하는 충격 보호 시스템
US11395238B1 (en) * 2021-04-07 2022-07-19 Qualcomm Incorporated Enhanced radio wave exposure mitigation using a combination of proximity and inertial sensor data
WO2022232196A1 (en) * 2021-04-26 2022-11-03 The Trustees Of Dartmouth College Low power analog circuitry for artificial neural networks
CN113312994A (zh) * 2021-05-18 2021-08-27 中国科学院深圳先进技术研究院 一种手势分类识别方法及其应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US20080300055A1 (en) * 2007-05-29 2008-12-04 Lutnick Howard W Game with hand motion control
US20120323521A1 (en) * 2009-09-29 2012-12-20 Commissariat A L'energie Atomique Et Aux Energies Al Ternatives System and method for recognizing gestures
CN103217895A (zh) * 2013-04-07 2013-07-24 上海与德通讯技术有限公司 支持手势功能的电子腕表和电子通讯设备
CN103793042A (zh) * 2012-10-30 2014-05-14 莫凌飞 一种人体运动信息交互及显示的***和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8219028B1 (en) * 2008-03-31 2012-07-10 Google Inc. Passing information between mobile devices
US9235241B2 (en) * 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
US9442570B2 (en) * 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
US9244888B2 (en) * 2013-03-15 2016-01-26 Microsoft Technology Licensing, Llc Inferring placement of mobile electronic devices
JP6539272B2 (ja) * 2013-08-07 2019-07-03 ナイキ イノベイト シーブイ コンピュータにより実現される方法、非一時的かつコンピュータが読み取り可能な媒体、および単一装置
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US20080300055A1 (en) * 2007-05-29 2008-12-04 Lutnick Howard W Game with hand motion control
US20120323521A1 (en) * 2009-09-29 2012-12-20 Commissariat A L'energie Atomique Et Aux Energies Al Ternatives System and method for recognizing gestures
CN103793042A (zh) * 2012-10-30 2014-05-14 莫凌飞 一种人体运动信息交互及显示的***和方法
CN103217895A (zh) * 2013-04-07 2013-07-24 上海与德通讯技术有限公司 支持手势功能的电子腕表和电子通讯设备

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209908B2 (en) 2017-01-12 2021-12-28 Sony Corporation Information processing apparatus and information processing method
CN111183613A (zh) * 2017-07-05 2020-05-19 迈恩特公司 用于感测生物数据的方法及其在与联网设备的双向通信中的用途
US11962652B2 (en) 2017-07-05 2024-04-16 Myant Inc. Method for sensing of biometric data and use thereof for bidirectional communication with networked devices
CN110914022A (zh) * 2017-08-10 2020-03-24 罗伯特·博世有限公司 直接教导机器人的***和方法
CN110914022B (zh) * 2017-08-10 2023-11-07 罗伯特·博世有限公司 直接教导机器人的***和方法
CN108897231A (zh) * 2018-02-08 2018-11-27 深圳迈睿智能科技有限公司 行为预测***和行为预测方法
CN111742328A (zh) * 2018-02-19 2020-10-02 博朗有限公司 用于对手持式消费装置的使用进行分类的***
CN111742327B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN111771208A (zh) * 2018-02-19 2020-10-13 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN111771209A (zh) * 2018-02-19 2020-10-13 博朗有限公司 用于对可移动处理装置的运动进行分类的设备和方法
US12045710B2 (en) 2018-02-19 2024-07-23 Braun Gmbh Apparatus and method for classifying the motion of a movable treatment device
CN111742327A (zh) * 2018-02-19 2020-10-02 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN111771208B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
US11755686B2 (en) 2018-02-19 2023-09-12 Braun Gmbh System for classifying the usage of a handheld consumer device
US12033057B2 (en) 2018-02-19 2024-07-09 Braun Gmbh System for classifying the usage of a handheld consumer device
CN108762479A (zh) * 2018-04-02 2018-11-06 珠海格力电器股份有限公司 一种进行控制的方法与设备
CN113227941A (zh) * 2018-12-26 2021-08-06 三星电子株式会社 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备
US11941906B2 (en) 2018-12-26 2024-03-26 Samsung Electronics Co., Ltd. Method for identifying user's real hand and wearable device therefor
CN113678087A (zh) * 2019-04-05 2021-11-19 谷歌有限责任公司 使用可穿戴设备进行推理生成的分布式机器学习模型
CN114503057A (zh) * 2019-09-19 2022-05-13 芬奇科技有限公司 基于图像和惯性测量单元两者的取向确定
CN111291804A (zh) * 2020-01-22 2020-06-16 杭州电子科技大学 基于注意力机制的多传感器时间序列分析模型
CN111694435B (zh) * 2020-06-16 2024-02-02 石亦磊 一种基于惯性传感单元的可穿戴触摸检测方法
CN111694435A (zh) * 2020-06-16 2020-09-22 石亦磊 一种基于惯性传感单元的可穿戴触摸检测方法
CN112040060A (zh) * 2020-08-28 2020-12-04 北京纽曼凤凰科技有限公司 一种具有多种通信方式的界面的设计方法
CN116058814A (zh) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 心率检测方法及电子设备
CN115562499A (zh) * 2022-11-16 2023-01-03 深圳市未来感知科技有限公司 基于智能指环的精准交互控制方法、***及存储介质

Also Published As

Publication number Publication date
JP2017537370A (ja) 2017-12-14
KR20170066539A (ko) 2017-06-14
US20160091965A1 (en) 2016-03-31
WO2016053822A1 (en) 2016-04-07
EP3201729A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
CN106922185A (zh) 经由可穿戴和移动设备的基于自然运动的控制
US11151453B2 (en) Device and method for recommending product
US20220270509A1 (en) Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same
CN110569795B (zh) 一种图像识别方法、装置以及相关设备
Hasan et al. Innovative developments in HCI and future trends
US20240185584A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US10262462B2 (en) Systems and methods for augmented and virtual reality
US20190042574A1 (en) Electronic device and method for controlling the electronic device
EP3321787B1 (en) Method for providing application, and electronic device therefor
KR20200115231A (ko) 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
KR20190098781A (ko) 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
CN107735749A (zh) 基于压力的触觉
KR102414602B1 (ko) 데이터 인식 모델 구축 장치 및 이의 데이터 인식 모델 구축 방법과, 데이터 인식 장치 및 이의 데이터 인식 방법
Szwoch et al. Emotion recognition for affect aware video games
Drumond et al. An LSTM recurrent network for motion classification from sparse data
CN106068486A (zh) 交互式智能珠体
US20210033873A1 (en) Electronic device and method of controlling the same
US20230214458A1 (en) Hand Pose Estimation for Machine Learning Based Gesture Recognition
CN106794378A (zh) 用于游戏件的存储和充电设备
Raj et al. Different techniques for human activity recognition
KR20180074562A (ko) 전자 장치 및 이의 제어 방법
Halarnkar et al. Gesture recognition technology: A review
US11841920B1 (en) Machine learning based gesture recognition
Rizk et al. Cross-subject activity detection for covid-19 infection avoidance based on automatically annotated imu data
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170704