CN112771478A - 对环境中的物理对象的神经肌肉控制 - Google Patents
对环境中的物理对象的神经肌肉控制 Download PDFInfo
- Publication number
- CN112771478A CN112771478A CN201980063644.6A CN201980063644A CN112771478A CN 112771478 A CN112771478 A CN 112771478A CN 201980063644 A CN201980063644 A CN 201980063644A CN 112771478 A CN112771478 A CN 112771478A
- Authority
- CN
- China
- Prior art keywords
- physical object
- environment
- user
- neuromuscular signals
- activation state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002232 neuromuscular Effects 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 claims abstract description 118
- 230000004913 activation Effects 0.000 claims description 197
- 210000003205 muscle Anatomy 0.000 claims description 186
- 230000003190 augmentative effect Effects 0.000 claims description 105
- 238000004891 communication Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000001994 activation Methods 0.000 description 141
- 230000033001 locomotion Effects 0.000 description 55
- 230000001276 controlling effect Effects 0.000 description 47
- 238000013528 artificial neural network Methods 0.000 description 37
- 230000000694 effects Effects 0.000 description 27
- 210000000707 wrist Anatomy 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000000306 recurrent effect Effects 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 210000003811 finger Anatomy 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 210000001503 joint Anatomy 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 230000007115 recruitment Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000000245 forearm Anatomy 0.000 description 5
- 210000002346 musculoskeletal system Anatomy 0.000 description 5
- 239000004984 smart glass Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010009696 Clumsiness Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000002593 electrical impedance tomography Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/19—Controlling the light source by remote control via wireless transmission
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/196—Controlling the light source by remote control characterised by user interface arrangements
- H05B47/1975—Gesture control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
用于至少部分地基于神经肌肉信号来控制环境中的物理对象的方法和装置。该方法包括记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号,接收对环境中的物理对象的选择,以及至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。
Description
本申请根据35U.S.C.§119(e)要求2018年9月26日提交的标题为“NEUROMUSCULARCONTROL OF OBJECTS IN AN ENVIRONMENT”的美国临时专利申请序列号62/736,929的权益,并根据35U.S.C.§119(e)要求2019年6月25日提交的标题为“SYSTEM AND APPARATUSFOR MULTIMODAL CONNECTED DEVICE CONTROL BASED ON NEUROMUSCULAR SIGNALS”的美国临时专利申请序列号62/866,505的权益,这两个申请中的每一个的全部内容通过引用并入本文。
背景
传统上,包括灯、恒温器和扬声器在内的非网络连接设备(connected device)、家用电器(如微波炉、冰箱和煤气壁炉)或其他“哑(dumb)”对象/设备越来越多地嵌入允许设备通过网络(例如互联网)进行通信和交互的技术,以使设备的各种操作能够被远程控制。在流行文化中,连接设备的网络通常被称为“物联网”(IoT),并且IoT网络中支持网络的设备(network-enabled device)通常被称为IoT设备。用于控制IoT设备操作的一些传统技术包括使用安装在支持网络的计算设备上的应用来控制设备,该支持网络的计算设备例如是台式计算机、膝上型计算机、平板计算机、智能手表或智能手机。
概述
一些实施例涉及用于在用户环境中提供对物理对象(例如IoT设备)的一个或更多个操作的神经肌肉控制的技术。如下文更详细描述的,具有神经肌肉传感器的一个或更多个可穿戴设备被配置成检测和/或记录多个神经肌肉信号。检测到的和/或记录的神经肌肉信号由一个或更多个计算机处理器解释,以提供对用户环境中的对象的选择和/或在其选择之后控制用户环境中的对象的操作。在一些实施例中,向用户提供反馈,以使用户能够确定他们选择和/或控制其环境中的对象的意图(intention)是否被***正确地解释。
一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的对象的计算机化***。该***包括多个神经肌肉传感器和至少一个计算机处理器,该多个神经肌肉传感器被配置为检测和/或记录来自用户的多个神经肌肉信号,其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上,该至少一个计算机处理器被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。
一些实施例涉及一种由计算机化***执行的用于至少部分地基于神经肌肉信号来控制环境中的对象的方法。该方法包括检测和/或记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号,并且至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。
一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化***。该***包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器,以及至少一个计算机处理器,其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。该至少一个计算机处理器被编程为接收对环境中的物理对象的选择,并且至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选物理对象的操作。
在一个方面,接收对环境中的物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。
在另一方面,该***还包括至少一个存储设备,该存储设备被配置为存储描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的信息,并且确定对物理对象的选择至少部分地基于描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。
在另一方面,环境中的一个或更多个可选择的物理对象中的至少一些在环境中使用至少一个短程通信协议连接。
在另一方面,描述多个神经肌肉信号和环境中的一个或更多个可选择的对象之间的关联的所存储的信息包括至少一个推理模型,该推理模型被配置为将多个神经肌肉信号映射到环境中的一个或更多个可选择的物理对象。
在另一方面,至少一个计算机处理器还被编程为基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态(muscular activation state),并且接收对环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。
在另一方面,至少部分地基于所识别的肌肉激活状态接收对环境中的物理对象的选择包括使用肌肉激活状态与用户界面进行交互,以从多个可选择的物理对象中选择一个。
在另一方面,肌肉激活状态包括手势(gesture)、姿势(pose)或肌肉下激活状态(sub-muscular activation state)。
在另一方面,接收对环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择物理对象。
在另一方面,接收对环境中的物理对象的选择至少部分地基于在环境中物理对象和用户的接近度。
在另一方面,至少一个计算机处理器还被编程为检测计算机化***处于环境中的可选择的物理对象的特定范围内,并且响应于该检测在计算机化***和可选择的物理对象之间建立近场通信,并且接收对环境中的物理对象的选择至少部分地基于所建立的近场通信。
在另一方面,该***还包括被配置为从一个或更多个物理对象接收红外信号的红外接收器,并且接收对环境中的物理对象的选择至少部分地基于由红外接收器接收的红外信号。
在另一方面,该***还包括被配置为向一个或更多个物理对象发射广播红外信号的红外发射器,其中由红外接收器接收的红外信号是响应于发射广播红外信号而被接收的。
在另一方面,环境是由增强现实***生成的增强现实环境。
在另一方面,增强现实***被配置为在增强现实环境中显示用户界面(userinterface),并且接收对对象的选择包括经由用户界面接收对对象的选择。
在另一方面,接收对物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。
在另一方面,至少一个计算机处理器还被编程为至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号,并将控制信号提供给增强现实***,并且接收对环境中的物理对象的选择至少部分地基于提供给增强现实***的控制信号。
在另一方面,增强现实***被配置为在增强现实环境中显示光标,控制信号用于控制光标在增强现实环境中的显示位置,并且接收对环境中的物理对象的选择至少部分地基于光标在增强现实环境中的显示位置。
在另一方面,增强现实***包括至少一个相机和/或眼睛跟踪***,并且接收对环境中的物理对象的选择至少部分地基于由至少一个相机和/或眼睛跟踪***捕获的信息。
在另一方面,接收对环境中的物理对象的选择还至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息。
在另一方面,接收对环境中的物理对象的选择包括将环境分成多个空间区域,至少部分地基于惯性测量单元的定向来确定用户正指向多个空间区域中的哪一个,并选择用户正指向的空间区域内的物理对象。
在另一方面,该***还包括同步定位与地图构建***(simultaneous locationand mapping system),并且接收对环境中的物理对象的选择至少部分地基于由同步定位与地图构建***确定的信息。
在另一方面,接收对环境中的物理对象的选择至少部分地基于由至少一个麦克风捕获的信息。
在另一方面,计算机化***被配置为向用户提供物理对象已经被选择的指示。
在另一方面,所选物理对象被配置成在被选择时向用户提供指示。
在另一方面,至少一个计算机处理器还被编程为在选择物理对象时向用户提供指示。
在另一方面,环境是由增强现实***生成的增强现实环境,物理对象是在增强现实环境中观看的物理对象,并且增强现实***被配置为在选择了在增强现实环境中观看的物理对象时向用户提供指示。
在另一方面,提供物理对象已经被选择的指示包括在增强现实环境中呈现视觉指示。
在另一方面,该***还包括至少一个存储设备,该存储设备被配置为存储描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息,并且控制所选对象的操作包括至少部分地基于描述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。
在另一方面,描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的所存储的信息包括至少一个推理模型,该推理模型被训练成将多个神经肌肉信号映射到用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作。
在另一方面,至少一个计算机处理器还被编程为基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态,并且至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。
在另一方面,肌肉激活状态包括手势、姿势或肌肉下激活状态。
在另一个方面,环境是由增强现实***生成的增强现实环境,并且控制环境中的所选物理对象的操作包括通过提供给增强现实***的输入来控制所选物理对象的操作。
在另一方面,增强现实***被配置为在增强现实环境中显示控制界面,并且控制所选物理对象的操作包括通过用户与控制界面的交互来控制对象的操作。
在另一方面,控制所选物理对象的操作包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号,并将控制信号提供给增强现实***以与在增强现实环境中显示的控制界面交互。
在另一方面,增强现实***被配置为在增强现实环境中的第一位置处显示控制界面,在增强现实环境中观看的所选物理对象位于增强现实环境中的第二位置,并且在增强现实环境中,第一位置比第二位置更靠近用户。
在另一方面,增强现实***被配置为响应于与控制界面的交互向用户提供反馈。
在另一方面,反馈包括视觉反馈、听觉反馈和/或触觉反馈。
在另一方面,增强现实***被配置为在增强现实环境中显示用于第一对象的第一控制界面和用于第二对象的第二控制界面。
在另一方面,增强现实***被配置为当选择第一对象时显示第一控制界面,以及当选择第二对象时显示第二控制界面。
在另一方面,至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第一肌肉激活状态,该第一肌肉激活状态指示控制所选物理对象的操作的愿望(desire)。
在另一方面,第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。
在另一方面,至少一个计算机处理器还被编程为响应于检测到第一肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口(user interface)。
在另一方面,向所选物理对象发送指令包括发送指令以启用用户接口,并且至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态,其中控制所选物理对象的操作包括至少部分地基于第二肌肉激活状态来控制所选物理对象的操作。
一些实施例涉及一种方法和/或存储指令的至少一种非暂时性计算机可读存储介质,当由至少一个计算机处理器执行时,该指令使得至少一个计算机处理器执行该方法。该方法包括记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号,接收对环境中的物理对象的选择,以及至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选物理对象的操作。
在一个方面,接收对环境中的物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。
在另一方面,确定对物理对象的选择至少部分地基于描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。
在另一方面,该方法还包括基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态,并且接收对环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。
在另一方面,至少部分地基于所识别的肌肉激活状态来接收对环境中的物理对象的选择包括使用肌肉激活状态与用户界面进行交互,以从多个可选择的物理对象中选择一个。
在另一方面,接收对环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择物理对象。
在另一方面,接收对环境中的物理对象的选择至少部分地基于在环境中物理对象和用户的接近度。
在另一方面,该方法还包括检测计算机化***处于环境中的可选择的物理对象的特定范围内,并且响应于该检测在计算机化***和可选择的物理对象之间建立近场通信,并且接收对环境中的物理对象的选择至少部分地基于所建立的近场通信。
在另一方面,该方法还包括接收红外信号,并且接收对环境中的物理对象的选择至少部分地基于接收的红外信号。
在另一方面,该方法还包括向一个或更多个物理对象发射广播红外信号,并且由红外接收器接收的红外信号是响应于发射广播红外信号而被接收的。
在另一方面,环境是由增强现实***生成的增强现实环境,增强现实***被配置为在增强现实环境中显示用户界面,并且接收对对象的选择包括经由用户界面接收对对象的选择。
在另一方面,接收对物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。
在另一方面,该方法还包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号,并将控制信号提供给增强现实***,并且接收对环境中的物理对象的选择至少部分地基于提供给增强现实***的控制信号。
在另一方面,接收对环境中的物理对象的选择包括将环境分成多个空间区域,至少部分地基于惯性测量单元的定向来确定用户正指向多个空间区域中的哪一个,以及选择用户正指向的空间区域内的物理对象。
在另一方面,该方法还包括向用户提供物理对象已经被选择的指示。
在另一方面,环境是由增强现实***生成的增强现实环境,物理对象是在增强现实环境中观看的物理对象,并且增强现实***被配置为在选择了在增强现实环境中观看的物理对象时向用户提供指示。
在另一方面,该方法还包括在至少一个存储设备上存储描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息,并且控制所选对象的操作包括至少部分地基于描述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。
在另一方面,该方法还包括基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态,并且至少部分地基于所识别的肌肉激活状态来控制所选物理对象的操作。
在另一个方面,环境是由增强现实***生成的增强现实环境,并且控制环境中的所选物理对象的操作包括通过提供给增强现实***的输入来控制所选物理对象的操作。
在另一方面,该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于神经肌肉信号的信息,检测第一肌肉激活状态,该第一肌肉激活状态指示控制所选物理对象的操作的愿望。
在另一方面,第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。
在另一方面,该方法还包括响应于检测到第一肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。
在另一方面,向所选物理对象发送指令包括发送指令以启用用户接口,并且该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态,并且控制所选物理对象的操作包括至少部分地基于第二肌肉激活状态来控制所选物理对象的操作。
一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化***。该***包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器,以及至少一个计算机处理器,其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。该至少一个计算机处理器被编程为选择用户环境中的物理对象,向用户提供指示物理对象已经被选择的反馈,至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定第一肌肉激活状态,并且至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。
在一个方面,该***还包括至少一个存储设备,该存储设备被配置为存储描述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息,并且至少部分地基于所存储的信息来选择环境中的物理对象。
在另一方面,至少部分地用于确定第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录,至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态,并且至少部分地基于所确定的第二肌肉激活状态来选择用户环境中的物理对象。
在另一方面,选择物理对象至少部分地基于用户上下文和/或用户行为。
在另一方面,至少一个计算机处理器还被编程为接收来自用户的语音输入,并且至少部分地基于接收的语音输入来选择物理对象。
在另一方面,选择物理对象至少部分地基于用户和物理对象的接近度。
在另一方面,选择物理对象至少部分地基于相对于用户环境中其他可选择的物理对象、用户与所述物理对象的接近度。
在另一方面,向用户提供指示物理对象已经被选择的反馈包括指示所选物理对象提供反馈。
在另一方面,向用户提供指示物理对象已经被选择的反馈包括提供听觉反馈和振动反馈中的一个或更多个。
在另一方面,该***还包括至少一个存储设备,该存储设备被配置为存储描述用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括第一肌肉激活状态的相应肌肉激活状态之间的关联的信息,并且至少部分地基于描述用于所选物理对象的至少一个控制动作和第一肌肉激活状态之间的关联的所存储的信息来控制所选物理对象的操作。
在另一方面,至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态,该第二肌肉激活状态指示控制所选物理对象的操作的愿望。
在另一方面,至少一个计算机处理器还被编程为响应于检测到第二肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口,其中向所选物理对象发送指令包括发送指令以启用用户接口,并且在启用用户接口之后至少部分地基于第一肌肉激活状态来控制所选物理对象的操作。
一些实施例涉及一种方法和/或存储指令的至少一种非暂时性计算机可读存储介质,当由至少一个计算机处理器执行时,该指令使得至少一个计算机处理器执行该方法。该方法包括记录来自布置在一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号,选择用户环境中的物理对象,向用户提供指示物理对象已经被选择的反馈,至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定第一肌肉激活状态,以及至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。
在一个方面,该方法还包括在至少一个存储设备上存储描述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息,并且至少部分地基于所存储的信息来选择环境中的物理对象。
在另一方面,还至少部分地基于用户上下文和/或用户行为来选择物理对象。
在另一方面,该方法还包括从用户接收语音输入,并且至少部分地基于接收的语音输入来选择物理对象。
在另一方面,选择物理对象至少部分地基于用户和物理对象的接近度。
在另一方面,向用户提供指示物理对象已经被选择的反馈包括指示所选物理对象提供反馈。
在另一方面,该方法还包括由至少一个存储设备存储描述用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括第一肌肉激活状态的相应肌肉激活状态之间的关联的信息,并且至少部分地基于描述用于所选物理对象的至少一个控制动作和第一肌肉激活状态之间的关联的所存储的信息来控制所选物理对象的操作。
在另一方面,该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态,该第二肌肉激活状态指示控制所选物理对象的操作的愿望,并且响应于检测到第二肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。
在另一方面,向所选物理对象发送指令包括发送指令以启用用户接口,并且该方法还包括在启用用户接口之后至少部分地基于第一肌肉激活状态来控制所选物理对象的操作。
在另一方面,至少部分地用于确定第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录,该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态,并且至少部分地基于所确定的第二肌肉激活状态来选择用户环境中的物理对象。
应当认识到,前面的概念和下面更详细讨论的另外的概念的所有组合(假设这样的概念不是相互不一致的)被设想为本文公开的创造性主题的一部分。特别是,出现在本公开的结尾处的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。
附图简述
将参考下面的附图来描述技术的各种非限制性实施例。应当认识到,附图不一定按比例绘制。
图1是根据本文描述的技术的一些实施例的用于使用神经肌肉信号来控制环境中的对象的基于计算机的***的示意图;
图2是根据本文描述的技术的一些实施例的基于计算机的***的示意图,该基于计算机的***将增强现实(AR)***与神经肌肉活动***集成在一起;
图3是根据本文描述的技术的一些实施例的使用神经肌肉信号来选择和控制环境中的对象的过程的流程图;
图4示出了根据本文描述的技术的一些实施例的腕带,该腕带具有周向地布置在其上的EMG传感器;
图5示出了根据本文描述的技术的一些实施例的用户在键盘上打字时穿戴着图4的腕带;
图6A示出了根据本文描述的技术的一些实施例的可穿戴***,该可穿戴***具有围绕带周向布置的16个EMG传感器,该带被配置为围绕用户的下臂或手腕穿戴;
图6B是图6A中所示的16个EMG传感器之一的截面图;
图7A和图7B示意性地示出了基于计算机的***的部件,其中实现了本文描述的技术的一些实施例。图7A示出了基于计算机的***的可穿戴部分,并且图7B示出了连接到计算机的加密狗(dongle)部分,其中该加密狗部分被配置成与可穿戴部分通信;
图8A和图8B示出了根据一些实施例的使用短程无线技术自动选择物理对象的示例性场景;
图9示出了根据一些实施例的场景,其中用户可以选择和/或控制位于特定空间区域中的物理对象;
图10示出了根据一些实施例的用户可以选择和/或控制灯的操作的场景;以及
图11A-图11C示出了根据一些实施例的不同手势或姿势到设备的控制输入的映射。
详细描述
发明人已经发明了新颖的***和技术,用于至少部分地基于由布置在用户穿戴的一个或更多个可穿戴设备上的神经肌肉传感器记录或检测的神经肌肉信号来选择和/或控制用户环境中的物理对象(例如,IoT设备)。根据本发明的各种实施例,可以从记录的和/或检测到的信号和/或基于信号的信息中识别用户的多个肌肉激活状态,以使得当用户环境中的对象被配置成接收控制信号时,能够改善对这些对象的选择和/或控制。对对象的控制可以直接从神经肌肉活动设备执行,或者间接经由另一个***执行,例如增强现实(AR)***或任何扩展或交叉现实***(XR***或环境),包括但不限于混合现实(MR)、虚拟现实(VR)等。
本文公开的新颖***和技术克服了与以下相关联的一个或更多个问题,例如:(i)必须通过在物理上靠近设备来直接与设备交互,(ii)当前接口的不灵活和限制性,(iii)与对象或设备的单向语音交互的笨拙(例如,可能不提供反馈),(iv)当用户远离设备或在嘈杂的环境中时性能差,(v)在控制对象时缺乏私密性(例如,用户附近的其他人可能听到(overhear)控制命令),和/或(vi)与用于控制设备操作的各种应用的繁琐、不一致或低效的交互。
根据本发明的各种实施例,可以至少部分地基于所识别的用户的肌肉激活状态来控制物理对象和设备的一个或更多个操作。对象或设备的操作可以包括用户可以基于记录的或检测到的信号来控制的对象或设备的任何方面。肌肉激活状态可以包括但不限于由用户执行的静态手势或姿势、由用户执行的动态手势、用户的肌肉下激活状态、由用户执行的肌肉拉伸或放松、或前述的任意组合(统称为或单独称为“肌肉激活状态”)。多个肌肉激活状态的识别允许分层或多级别方法来控制对象的操作。例如,在第一层(layer)/级别(level),一个肌肉激活状态可以指示环境中的对象将被选择用于控制;在第二层/级别,另一个肌肉激活状态可以指示要控制的对象的特定操作;并且在第三层/级别,又一个肌肉激活状态可以指示如何控制对象的操作。应当理解,在不脱离本公开的范围的情况下,可以使用任何数量的肌肉激活状态和层。例如,在一些实施例中,单个肌肉激活状态既可以选择要控制的对象,也可以指示要控制的对象的操作。
在一个示例性实施例中,当用户执行第一手势时,可以记录或检测神经肌肉和/或辅助传感器信号。基于传感器信号识别的第一手势可以指示用户想要控制用户环境中的选定设备(例如,网络连接的或“智能”的恒温器)的操作/方面(例如,温度设置)。响应于***检测到第一手势,恒温器可以显示与恒温器相关联的温度刻度盘(temperature dial),或者可以向用户提供一些其他反馈,以向用户指示恒温器处于“温度控制”模式。当用户执行第二手势时,可以继续记录或检测传感器信号。响应于检测到第二手势或一系列手势,可以控制恒温器的温度设置,使得用户可以调节期望的温度。例如,一个或更多个顺时针旋转手势可以指示用户想要调高温度,而一个或更多个逆时针旋转手势可以指示用户想要调低温度。基于与这些动作相关联的传感器信号,所公开的示例性实施例可以识别特定手势和/或一系列手势,并且可以调节被控制的恒温器的温度设置。
如本文所用,术语“手势”指一个或更多个身体部位的静态或动态配置,包括一个或更多个身体部位的位置和与该配置相关联的力。例如,手势包括离散手势或“姿势”(例如将手掌向下压在实体表面上或抓住球)、连续手势(例如来回挥动手指或投掷球)、或离散手势和连续手势的组合(例如抓住并投掷球)。手势可以由被配置为提示用户执行手势的应用来定义,或者,手势可以由用户任意定义。在某些情况下,根据文化标准,手部和手臂手势可能是象征性的并用于交流。
根据一些实施例,可以至少部分地从由一个或更多个可穿戴传感器收集的原始(例如,未处理的)传感器信号中识别肌肉激活状态。在一些实施例中,可以至少部分地从基于经处理的传感器信号的信息中识别肌肉激活状态,其中使用放大、滤波、整流和/或其他形式的信号处理中的一种或更多种来处理由一个或更多个可穿戴传感器收集的原始传感器信号。在一些实施例中,可以至少部分地从一个或更多个经训练的推理模型的输出中识别肌肉激活状态,推理模型可以包括接收传感器信号(或传感器信号的经处理版本)作为一个或更多个输入的统计模型。
根据本发明的示例性实施例,基于记录的或检测到的传感器信号确定的肌肉激活状态可用于控制对象的各个方面/操作,从而减少对笨重且低效的输入设备的依赖。例如,可以检测和/或记录传感器数据,并且可以从获得的传感器数据中识别肌肉激活状态,而用户不必(1)在物理上非常靠近被控制的对象,或者(2)记住复杂的按钮或按键操作序列来控制对象的操作。为此,一些实施例涉及用于自然且直观地控制用户环境中的对象的技术,而不必(i)使用制造商提供的遥控器,(ii)靠近要控制的对象,或(iii)使用其他不灵活的控制技术。此外,根据本发明的实施例,从获得的传感器数据识别肌肉激活状态可以相对快速地执行,从而减少与控制对象的操作相关联的响应时间和等待时间。此外,一些实施例使得对对象的控制能够是用户可定制的,使得每个用户可以定义用于控制用户环境中的对象的一个或更多个方面/操作的用户特定控制方案。
如上面简要描述的,在一些实施例中,可以从记录的或检测到的传感器数据中直接识别各种肌肉激活状态。在其他实施例中,可以间接识别肌肉激活状态,包括至少部分地基于一个或更多个经训练的推理模型的一个或更多个输出。在一些实施例中,经训练的推理模型可以输出计算机生成的肌肉骨骼模型的节段(segment)的一个或更多个运动单元(motor unit)或肌肉激活,和/或位置、定向和/或力估计。在一个示例性实施例中,人类肌肉骨骼***的全部或部分可以被建模为多节段铰接刚体***,其中关节形成不同节段之间的接合部(interface),并且关节角度限定了模型中连接节段之间的空间关系。关节处运动的限制由连接节段的关节类型和限制关节处运动范围的生物结构(例如,肌肉、肌腱、韧带)决定。例如,连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节,其允许伸展和弯曲运动以及旋转运动。相比之下,连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。在该示例中,多节段铰接刚体***可用于对人体肌肉骨骼***的部分进行建模。然而,应当理解,人体肌肉骨骼***的一些节段(例如,前臂)虽然在铰接刚体***中近似为刚体,但是可以包括多个刚性结构(例如,前臂的尺骨和桡骨),这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此,与本文所描述技术的一些实施例一起使用的铰接刚体***的模型可以包括表示不是严格刚体的身体部位的组合的节段。应当理解,在不脱离本公开的范围的情况下,可以使用除多节段铰接刚体***之外的物理模型来对人体肌肉骨骼***的部分进行建模。
进一步地,在运动学中,刚体是表现出各种运动属性(例如,位置、定向、角速度、加速度)的物体。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如,手可以被建模为多节段铰接体,手腕和每个手指中的关节形成模型中多个节段之间的接合部。在一些实施例中,如下面更详细描述的,刚体模型中节段的运动可以被模拟为铰接刚体***,其中节段相对于模型中其他节段的位置(例如,实际位置、相对位置或定向)信息使用经训练的推理模型来被预测。
作为一个非限制性示例,本文描述的由肌肉骨骼表示近似的人体部分是手或者手和一个或更多个手臂节段的组合。在肌肉骨骼表示中,用于描述节段之间的位置关系、单个节段或节段组合的力关系、以及节段之间的肌肉和运动单元激活关系的当前状态的信息在本文被称为肌肉骨骼表示的手部状态(handstate)。然而,应当理解,本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示,这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。
除了空间(例如,位置/定向)信息之外,本发明的一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如,可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力,以及当两个节段(例如,两个手指)捏合(pinch)在一起时施加的力。旋转力的示例包括但不限于,当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中,被确定为当前手部状态估计的一部分的力信息包括捏合力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力的信息中的一个或更多个。
图1示出了根据本发明一些实施例的***100,例如神经肌肉活动***。该***包括一个或更多个传感器110,其被配置为检测和/或记录与人体的一个或更多个部分内的运动单元的激活相关的信号。传感器110可以包括多个神经肌肉传感器,其被配置为检测和/或记录由人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者前述的任意组合。在一些实施例中,用于选择和/或控制用户环境中的对象的信息可以至少部分地基于感测到的和/或检测到的神经肌肉信号和/或运动单元活动来被确定。
传感器110可以包括一个或更多个惯性测量单元(IMU),其使用例如加速度计、陀螺仪、磁力计或前述的任意组合来测量运动的物理方面的组合。在一些实施例中,IMU可以用于感测关于附接有IMU的身体部位的移动的信息,并且当用户随时间的推移而移动时,从检测到的数据导出的信息(例如,位置和/或定向信息)可以被跟踪。例如,当用户随时间的推移而移动时,一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如,手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中,IMU和神经肌肉传感器可以被布置成检测人体的相同或不同部位的移动。例如,IMU可以被布置成检测躯干近端的一个或更多个体段(例如,上臂)的移动,而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如,前臂或手腕)内的运动单元的活动。然而,应当理解,传感器可以以任何合适的方式被布置,并且本文所描述技术的实施例不限于基于任何特定的传感器布置。例如,在一些实施例中,至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上,以使用不同类型的测量来跟踪运动单元的活动和/或体段的移动。在下面更详细描述的一个实现方式中,一个IMU传感器和多个EMG传感器被布置在可穿戴设备上,该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这样的布置中,IMU传感器可以被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如,随时间的定位和/或定向),以确定例如用户是已经举起了还是已经放下了他们的手臂,而EMG传感器可以被配置成确定与手腕或手的肌肉中的肌肉下结构的激活相关联的肌肉下信息。
在执行运动任务期间,随着肌肉张力的增加,活跃神经元的放电率(firing rate)增加,并且额外的神经元可能变得活跃,这是被称为运动单元募集(recruitment)的过程。神经元变得活跃并增加其放电率的模式是定型的,使得预期的运动单元募集模式定义了与标准或正常移动相关联的活动流形(manifold)。一些实施例记录单个运动单元或一组运动单元的激活,所述单个运动单元或一组运动单元是“脱离流形的(off-manifold)”,因为运动单元激活的模式不同于预期的或典型的运动单元募集模式。这种脱离流形的激活在本文中被称为“肌肉下激活”或“肌肉下结构的激活”,其中肌肉下结构是指与脱离流形的激活相关联的单个运动单元或一组运动单元。脱离流形的运动单元的募集模式的示例包括但不限于选择性地激活高阈值运动单元而不激活通常会按照募集顺序较早激活的低阈值运动单元,以及在相当大的范围内调节运动单元的放电率而不调节通常会在典型的运动募集模式中共同调节的其他神经元的活动。在一些实施例中,多个神经肌肉传感器可以用于感测肌肉下激活,而没有可观察到的运动(observable movement)。根据本文描述的技术的一些实施例,肌肉下激活可以至少部分地用于控制用户环境中的对象。
每个传感器110包括被配置成感测关于用户或其环境的信息的一个或更多个感测部件。在IMU的情况下,感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合,以测量身体运动的特性,该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下,感测部件可以包括但不限于被配置为检测身体表面上的电势的电极(例如,对于EMG传感器)、被配置为测量皮肤表面振动的振动传感器(例如,对于MMG传感器)、和/或被配置为测量由肌肉活动产生的超声波信号的声学感测部件(例如,对于SMG传感器)。
在一些实施例中,多个传感器中的至少一些被布置为可穿戴设备的一部分,该可穿戴设备被配置成穿戴在用户身体部位之上或围绕用户身体部位穿戴。例如,在一个非限制性示例中,IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(诸如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。可替换地,至少一些传感器可以布置在可穿戴贴片上,该可穿戴贴片被配置成附着到用户身体的一部分。在一些实施例中,多个可穿戴设备(每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器)可用于基于来自涉及身体一个或更多个部位的肌肉下结构和/或运动的激活来生成选择和/或控制信息。
在一个实现方式中,16个EMG传感器围绕弹性带周向地布置,该弹性带被配置成围绕用户的下臂穿戴。例如,图4示出了围绕弹性带502周向地布置的EMG传感器504。应当理解,可以使用任何合适数量的神经肌肉传感器,并且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如,可穿戴臂带或腕带可以用于生成控制信息,以控制机器人、控制车辆、滚动浏览文本、控制虚拟化身或任何其他合适的控制任务。例如,如图5所示,用户506可以在手508上穿戴弹性带502。以这种方式,EMG传感器504可以被配置成在用户使用手指540控制键盘530时记录EMG信号。在一些实施例中,弹性带502也可以包括被配置成如上讨论地记录移动信息的一个或更多个IMU(未示出)。
图6A-图6B和图7A-图7B示出了本技术的可穿戴***的其他实施例。具体地,图6A示出了具有多个传感器610的可穿戴***,传感器610围绕弹性带620周向地布置,弹性带620被构造成穿戴在用户的下臂或手腕周围。传感器610可以是神经肌肉传感器(例如,EMG传感器)。如图所示,可以有十六个传感器610以规则的间隔围绕弹性带620周向地布置。应当理解,可以使用任何合适数量的传感器610,并且间隔不必是规则的。传感器610的数量和布置可以取决于使用可穿戴***的特定应用。例如,与大腿相比,当可穿戴***穿戴在手腕上时,传感器610的数量和布置可以不同。可穿戴***(例如,臂带、腕带、大腿带等)可用于生成控制信息,以用于控制XR***、控制机器人、控制车辆、滚动浏览文本、控制虚拟化身和/或执行任何其他合适的控制任务。
在一些实施例中,传感器610可以仅包括一组神经肌肉传感器(例如,EMG传感器)。在其他实施例中,传感器610可以包括一组神经肌肉传感器和至少一个辅助设备。辅助设备可以被配置为连续地感测和记录一个或更多个辅助信号。辅助设备的示例包括但不限于IMU、麦克风、成像设备(例如,相机)、与辐射产生设备(例如,激光扫描设备)一起使用的基于辐射的传感器、心率监视器以及可以捕获用户状况或用户的其他特征的其他类型的设备。如图6A所示,传感器610可以使用结合到可穿戴***中的柔性电子器件630被耦合在一起。图6B示出了图6A所示的可穿戴***的传感器610之一的截面图。
在一些实施例中,可以使用硬件信号处理电路来可选地处理(例如,执行放大、滤波和/或整流)传感器610的一个或更多个感测部件的输出。在其他实施例中,感测部件的输出的至少一些信号处理可以使用软件执行。因此,由传感器610采样的信号的信号处理可以由硬件或软件来执行,或者由硬件和软件的任何合适的组合来执行,因为本文描述的技术的方面不限于此方面。下面结合图7A和图7B更详细地讨论用于处理来自传感器610的记录数据的信号处理过程的非限制性示例。
图7A和图7B示出了根据本文所描述技术的一些实施例的具有16个传感器(例如,EMG传感器)的可穿戴***的内部部件的示意图。如图所示,可穿戴***包括可穿戴部分710(图7A)和加密狗部分720(图7B)。虽然未示出,但是加密狗部分720(例如,通过蓝牙或另一种合适的短程无线通信技术)与可穿戴部分710通信。如图7A所示,可穿戴部分710包括传感器610,传感器610的示例在上文结合图6A和图6B进行了描述。传感器610向模拟前端730提供输出(例如,信号),模拟前端730对该信号执行模拟处理(例如,降噪、滤波等)。由模拟前端730产生的经处理的模拟信号然后被提供给模数转换器732,模数转换器732将经处理的模拟信号转换成可由一个或更多个计算机处理器处理的数字信号。根据一些实施例,可以使用的计算机处理器的示例是微控制器(MCU)734。如图7A所示,MCU 734还可以接收来自其他传感器(例如,IMU 740)和来自电源和电池模块742的输入。应当理解,MCU 734可以从未具体示出的其他设备接收数据。MCU 734的处理输出可以被提供给天线750,用于传输到加密狗部分720(如图7B所示)。
加密狗部分720包括与可穿戴部分710的天线750通信的天线752。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线750和752之间的通信。如图所示,由加密狗部分720的天线752接收的信号可以被提供给主计算机用于进一步处理、用于显示和/或用于实现对特定物理或虚拟对象的控制(例如,在AR或VR环境中执行控制操作)。
虽然参考图6A、图6B、图7A和图7B提供的示例是在与EMG传感器的接口的上下文中讨论的,但是应当理解,本文描述的可穿戴***也可以用其他类型的传感器来实现,包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。
在一些实施例中,多个可穿戴设备(每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器)可用于基于与涉及身体一个或更多个部位的肌肉下结构和/或运动相关联的神经肌肉和/或运动单元激活来生成选择和/或控制信息。
在一些实施例中,可以可选地处理记录的传感器数据,以计算额外的导出测量值。例如,来自IMU传感器的所记录的信号可以被处理,以导出指定体段随时间推移的定向的定向信号。传感器可以使用集成感测部件的部件来实现信号处理,或者至少一部分信号处理可以由与传感器110的感测部件通信但不直接集成的一个或更多个部件来执行。
***100还包括被编程为与传感器110通信的一个或更多个计算机处理器112。例如,由一个或更多个传感器记录或检测的信号可以被提供给处理器112,处理器112可以被编程为执行一个或更多个机器学习算法,该机器学习算法处理由传感器110输出的信号以训练一个或更多个推理模型114,并且经训练的(或重新训练的)推理模型114可以被存储以供以后用于生成选择和/或控制信号,如下面更详细描述的。
在一些实施例中,推理模型114可以实现为神经网络,并且例如可以是循环神经网络。在一些实施例中,循环神经网络可以是长短期记忆(LSTM)神经网络。然而,应当理解,循环神经网络不限于LSTM神经网络,并且可以具有任何其他合适的架构。例如,在一些实施例中,循环神经网络可以是完全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络(recursive neuralnetwork)、Hopfield神经网络、联想记忆神经网络(associative memory neuralnetwork)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neuralnetwork)、二阶循环神经网络(second order recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中,可以使用不是循环神经网络的神经网络。例如,可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在一些实施例中,推理模型提供一个或更多个离散输出。例如,当期望的输出是知道在神经肌肉信号中是否检测到特定的激活模式(包括单独的神经尖峰事件(neuralspiking event))时,可以使用离散输出(例如,分类标签)。例如,可以训练模型来估计用户是否正在激活特定的运动单元、正在以特定的定时激活特定的运动单元、正在以特定的放电模式激活特定的运动单元、或者正在激活运动单元的特定组合。在较短的时间尺度上,在一些实施例中使用离散分类来估计特定的运动单元是否在给定的时间量内放电了动作电位。在这种场景下,这些估计然后可被累加,以获得该运动单元的估计的放电率。
在推理模型被实现为神经网络的实施例中,该神经网络配置为输出离散信号,该神经网络可以包括softmax层,使得输出加起来为1并且可以被解释为概率。softmax层的输出可以是对应于相应的控制信号集的值的集合,其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例,softmax层的输出可以是三个概率(例如,0.92、0.05和0.03)的集合,这三个概率指示检测到的活动模式是三个已知模式之一的相应概率。
应当理解,当推理模型被实现为被配置成输出离散信号的神经网络时,该神经网络不需要产生加起来为1的输出。例如,代替softmax层,神经网络的输出层可以是sigmoid层(其没有概率加起来为1的限制)。在这样的实施例中,可以用sigmoid交叉熵代价来训练神经网络。当多个不同的控制动作可能在阈值时间量内发生并且区分这些动作发生的顺序并不重要(例如,用户可能在阈值时间量内激活两种神经活动模式)时,在这种情况下这种实现方式可以是有利的。在一些实施例中,可以使用任何其他合适的非概率多级别分类器,因为本文所描述技术的各方面不限于该方面。
在一些实施例中,推理模型的输出可以是连续信号,而不是离散信号。例如,该模型可以输出每个运动单元的放电率的估计,或者该模型可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。
应当理解,本文所描述技术的各方面不限于使用神经网络,因为在一些实施例中可以采用其他类型的推理模型。例如,在一些实施例中,推理模型可以包括隐马尔可夫模型(HMM)、切换HMM(其中切换允许在不同动态***之间跳变)、动态贝叶斯网络(dynamicBayesian network)和/或具有时间分量的任何其他合适的图形模型。可以使用记录的传感器信号来训练任何这样的推理模型。
作为另一个示例,在一些实施例中,推理模型是将从记录的传感器信号中导出的特征作为输入的分类器。在这样的实施例中,可以使用从传感器数据提取的特征来训练分类器。分类器可以是支持向量机(support vector machine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器,因为本文所描述技术的各方面不限于该方面。要提供给分类器的输入特征可以以任何合适的方式从传感器数据导出。例如,可以使用小波(wavelet)分析技术(例如,连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如,短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例,可以使用小波变换来对传感器数据进行变换,并且可以将得到的小波系数作为输入提供给分类器。
在一些实施例中,可以根据训练数据来估计推理模型的参数的值。例如,当推理模型被实现为神经网络时,可以根据训练数据来估计神经网络的参数(例如,权重)。在一些实施例中,可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计推理模型的参数。在推理模型被实现为循环神经网络(例如,LSTM)的实施例中,可以使用随机梯度下降和时间反向传播来训练推理模型。训练可以采用交叉熵损失函数(cross-entropyloss function)和/或任何其他合适的损失函数,因为本文所描述技术的各方面不限于该方面。
***100还包括一个或更多个控制器116。例如,控制器116可以是被配置成在显示器上显示视觉表示(例如,手的视觉表示)的显示控制器。如下文更详细讨论的,一个或更多个计算机处理器可以实现一个或更多个经训练的推理模型,该推理模型接收作为输入的传感器信号,并提供作为输出的信息,该信息用于生成控制信号,以例如选择和控制用户环境中的对象。
一些实施例涉及至少部分地使用一个或更多个推理模型来将神经肌肉信号和/或从神经肌肉信号导出的信息映射到选择和/或控制信号。根据各种实施例,当用户执行一个或更多个肌肉或肌肉下激活时,推理模型可以接收IMU信号、神经肌肉信号(例如,EMG、MMG和SMG信号)、从神经肌肉信号提取的信息(例如,尖峰序列数据(spike train data))、外部设备或辅助设备信号(例如,相机或激光扫描信号)、或前述的任意组合作为输入。推理模型可用于预测选择和/或控制信息,而无需用户进行可感知的运动。
可选地,***100还包括用户接口118。基于由传感器110记录和/或检测并由处理器112处理的信号而确定的反馈可以经由用户接口118来提供,以便于用户理解***如何解释用户的意图。用户接口118可以以任何合适的方式实现,包括但不限于音频接口、视频接口、触觉接口和电刺激接口,或者前述的任意组合。
***100的架构可以采取任何合适的形式。一些实施例采用薄架构,其中处理器112作为一个或更多个设备的一部分(或多个部分)被包括,该一个或更多个设备与布置在一个或更多个可穿戴设备上的多个神经肌肉传感器110分离并与之通信。神经肌肉传感器可以被配置成基本实时地将多个神经肌肉信号和/或从多个神经肌肉信号导出的信息无线流式传送到处理器112,用于处理,包括但不限于选择和控制用户环境中的对象。与多个神经肌肉传感器分离并与之通信的设备可以是例如远程服务器、台式计算机、膝上型计算机、智能手机、诸如智能手表的可穿戴电子设备、健康监控设备、智能眼镜或增强现实***。
一些实施例采用厚架构,其中处理器112与一个或更多个可穿戴设备集成在一起,神经肌肉传感器110布置在该可穿戴设备上。在又一实施例中,神经肌肉信号的处理被划分在多个处理器之间,其中至少一个处理器与传感器110集成,并且其中至少一个处理器被包括作为与传感器110分离并与之通信的设备的一部分。在这样的实施方式中,神经肌肉传感器可以被配置成将至少一些记录的神经肌肉信号传输到远离传感器的第一计算机处理器。第一计算机处理器可以被编程为基于传输的神经肌肉信号来训练至少一个推理模型。然后,第一计算机处理器可以被编程为将经训练的至少一个推理模型传输到第二计算机处理器,该第二计算机处理器与其上布置有传感器的一个或更多个可穿戴设备集成在一起。第二计算机处理器可以被编程为使用从第一计算机处理器传输的至少一个经训练的推理模型来选择和/或控制用户环境中的对象。以这种方式,训练/拟合过程和使用经训练的模型的实时过程可以通过由不同的处理器执行来分离。
在一些实施例中,计算机应用可以被配置成模拟扩展现实、交叉现实或XR环境(例如,虚拟现实(VR)或增强现实(AR)环境),并且可以被指示显示诸如化身的视觉角色(例如,经由控制器116)。可以基于一个或更多个经训练的推理模型的输出来显示虚拟扩展现实环境中的视觉角色的部分的定位、移动和/或施加的力。当连续信号被传感器110记录并被经训练的推理模型104处理以提供实时更新的角色的移动的计算机生成的表示时,视觉表示可以被动态更新。
在任一***中生成的信息(AR相机输入、传感器输入)可用于改善用户体验、准确性、反馈、推理模型、校准功能和整个***的其他方面。为此,例如,在AR环境中,***100可以包括AR***,该AR***包括一个或更多个处理器、相机和(例如,经由AR眼镜或其他观看设备)在用户视野(view)内提供AR信息的显示器。***100还可以包括将AR***与基于计算机的***耦合的***元件,该基于计算机的***基于传感器数据生成肌肉骨骼表示。例如,这些***可以经由专用或其他类型的计算机***耦合,该计算机***从生成基于计算机的肌肉骨骼表示的AR***接收输入。这种***可以包括游戏***、机器人控制***、个人计算机或能够解释AR和肌肉骨骼信息的其他***。AR***和生成基于计算机的肌肉骨骼表示的***也可以被编程为直接或间接通信。这种信息可以使用任何数量的接口、协议或介质来传送。
如上所述,一些实施例涉及使用一个或更多个推理模型,以用于基于从可穿戴传感器记录的信号来预测肌肉骨骼信息。如上文在人体肌肉骨骼***的部分可被建模为多节段铰接刚体***的示例中简要讨论的,多节段铰接刚体模型中的节段之间的关节类型约束刚体的运动。附加地,不同的个体在执行可以在个体用户行为的统计模式中捕获到的任务时,倾向于以特有的方式移动。根据一些实施例,对人体运动的这些约束中的至少一些可以被明确地结合到用于预测的推理模型中。附加地或替代地,如上面简要讨论的,约束可以由推理模型通过基于记录的或检测到的传感器数据的训练来学习。
一些实施例涉及使用一个或更多个推理模型来预测信息,以实现基于计算机的肌肉骨骼表示的生成和/或实时更新。推理模型可用于基于以下信号来预测信息并维持肌肉骨骼表示的当前状态:IMU信号、神经肌肉信号(例如,EMG、MMG和SMG信号)、辅助或外部设备信号(例如,相机或激光扫描信号)、当用户执行一个或更多个肌肉收缩或运动时从用户检测到的任何信号、或前述的任何组合。例如,如上所述,与AR***相关联的相机可用于捕获与基于计算机的肌肉骨骼表示相关的实际位置数据,并且这种实际位置信息可用于提高表示的准确性。此外,推理模型的输出可用于在AR/VR环境中生成基于计算机的肌肉骨骼表示的视觉表示。例如,可以在AR***的视觉显示器中呈现以下项的视觉表示:肌肉群放电、施加力、通过移动输入的文本或由基于计算机的肌肉骨骼表示产生的其他信息。在一些实施例中,其他输入/输出设备(例如,听觉输入/输出、触觉设备等)可用于进一步提高整个***的准确性和/或用户体验。
图2示出了示例性实施例的示意图,其中基于分布式计算机的***200将增强现实(AR)***201与神经肌肉活动***202集成在一起。神经肌肉活动***202类似于上面参照图1描述的示例性***100。
通常,X现实或交叉现实***(例如增强现实(AR)***201)可以采取一副护目镜、眼镜、头戴式显示器或向用户显示显示元素的其他类型的设备的形式,这些显示元素可以叠加(superimpose)在“现实”上,在某些情况下,“现实”可以是用户对环境的观察(例如,通过用户的眼睛看到的),或者是用户对环境的观察的(例如,通过相机)捕获版本。在一些实施例中,AR***201可以包括安装在用户穿戴的设备内的一个或更多个相机(例如,相机204),该相机捕获用户在其环境中经历的一个或更多个观察。***201可以具有在用户设备内和/或在***设备或计算机***内操作的一个或更多个处理器205,并且这样的处理器可以发送和接收视频信息和其他类型的传感器数据。
AR***201还可以包括一个或更多个传感器207,例如麦克风、GPS元件、加速度计、红外探测器、触觉反馈元件或任何其他类型的传感器。在一些实施例中,AR***201可以是基于音频的或听觉的AR***,并且一个或更多个传感器207还可以包括一个或更多个耳机或扬声器。此外,AR***201还可以具有一个或更多个显示器208,除了AR***呈现的用户环境的视图之外,显示器208还允许AR***向用户覆盖(overlay)和/或显示信息。AR***201还可以包括一个或更多个通信接口(例如接口206),用于向一个或更多个计算机***(例如,游戏***或能够呈现或接收AR数据的其他***)传送信息。AR***可以采取多种形式,并由许多不同的制造商提供。例如,各种实施例可以结合一种或更多种类型的AR***来实现。例如,各种实施例可以用可从微软公司获得的HoloLens全息现实眼镜、可从Magic Leap获得的Lightwear AR头戴式装置(headset)、可从Alphabet获得的Google Glass AR眼镜、可从ODG获得的R-7智能眼镜***或任何其他类型的AR和/或VR设备来实现。尽管通过示例的方式进行了讨论,但是应当理解,一个或更多个实施例可以在VR***中实现。
AR***201可以通过一种或更多种通信方法可操作地耦合到神经肌肉活动***202,这些通信方法包括但不限于蓝牙协议、Wi-Fi、类似以太网的协议或任何数量的连接类型。应当理解,例如,***201和202可以直接连接或通过一个或更多个中间计算机***或网络元件耦合。
神经肌肉活动***202可以在结构和功能上类似于上面参照图1描述的示例性***100。具体地,***202可以包括一个或更多个神经肌肉传感器209、一个或更多个推理模型210,并且可以创建、维护和存储肌肉骨骼表示211。根据上面讨论的示例性实施例,***202可以包括诸如带的设备,用户可以穿戴该设备以收集和分析神经肌肉信号。此外,***202可以包括一个或更多个通信接口212,其允许***202例如通过蓝牙、Wi-Fi或其他通信方法与AR***201通信。值得注意的是,AR***201和神经肌肉活动***202可以传递信息,该信息可以用于增强用户体验和/或允许AR***更准确和有效地运行。
尽管图2描述了将AR***201与神经肌肉活动***202集成在一起的基于分布式计算机的***,但是应当理解,该集成本质上可以是非分布式的。在一些实施例中,神经肌肉活动***202可以集成到AR***201中,使得神经肌肉活动***202的各种部件可以被认为是AR***的一部分。例如,由神经肌肉传感器209记录的神经肌肉信号可以被视为对AR***201的任何其他输入(例如,来自相机204、传感器207的输入)。此外,从神经肌肉传感器209获得的传感器信号的处理可以集成到AR***201中。
图3示出了根据一些实施例(包括XR环境)的用于控制用户环境中的对象的操作的过程300。在动作310中,当用户激活一个或更多个运动单元时,由布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器检测和/或记录多个神经肌肉信号。过程300然后前进到动作320,在动作320中,可选地处理记录的神经肌肉信号。例如,记录的神经肌肉信号可以在被用于选择和/或控制用户环境中的对象之前被过滤、放大或以其他方式处理。
过程300然后前进到动作330,在动作330中,选择用户环境中的物理对象进行控制。在一些实施例中,至少部分地基于用户提供的信息来执行对对象的选择。用户可以(例如,通过触摸对象的一个或更多个部分)直接与对象交互来选择对象。可选地,用户可以通过如下操作来选择对象而不触摸对象:例如使用语音指令或者提供一些其他类型的输入,而不需要物理触摸对象。在其他实施例中,可以至少部分地基于记录的和/或检测到的神经肌肉信号或从记录的和/或检测到的神经肌肉信号导出的信息来执行对对象的选择。例如,如本文所述,可以根据至少部分地基于神经肌肉信号(例如,使用推理模型)确定的手势或姿势来选择对象。
在一些实施例中,可以自动执行对对象的选择(例如,无需用户输入),并且该选择可以部分或全部基于来自一个或更多个传感器(例如,被配置为跟踪用户在环境中看哪里的相机或眼睛跟踪设备)的信息。在又一实施例中,可以部分地基于自动化技术(例如,相机可以识别相机视场中的多个对象)并且部分地基于用户提供的信息(例如,至少部分地基于检测到和/或记录的神经肌肉信号来对相机视场中的所识别的多个对象之一进行用户选择)来执行对对象的选择。
在一些实施例中,可以至少部分地基于用户上下文和/或用户行为来执行对对象的选择。例如,对对象的选择可以至少部分地基于用户行为,例如关于用户和一个或更多个对象之间的一个或更多个最近交互的信息。例如,如果用户最近通过在新的音轨上按下播放来控制特定设备(例如智能扬声器),则可以自动选择智能扬声器,并且可以使用至少部分地基于检测到的和/或记录的神经肌肉信号确定的肌肉激活来改变所选择的智能扬声器的音量。在另一示例中,对对象的选择可以至少部分地基于用户上下文,例如用户的当前位置(例如,用户当前位于哪个环境(例如,房间))的信息。关于用户当前位置的信息可以以任何合适的方式确定,包括但不限于使用NFC、另一种近场技术和全球定位***(GPS)。至少部分地基于位置信息,可以选择用户环境中的物理对象(例如,特定房间中的灯开关)进行控制。
在至少部分地基于记录的和/或检测到的神经肌肉信号和/或从记录的和/或检测到的神经肌肉信号导出的信息来执行对对象选择的实施例中,***可以存储描述神经肌肉信号和/或从神经肌肉信号导出的信息和能够由用户选择的一个或更多个物理对象之间的关联的信息。该关联信息可以本地存储在***100中,或者远程存储在与***100直接或间接连接的连接***中。例如,检测到的和/或记录的神经肌肉信号和环境中能够由用户选择的一个或更多个物理对象之间的映射可以由一个或更多个存储的经训练的统计或推理模型来表示。一个或更多个推理模型可以被训练成提供与对特定对象的选择相关联的识别手势作为输出。例如,识别的“竖起大拇指”手势可以与对环境中的灯的选择相关联,而识别的“握紧拳头”手势可以与对环境中的恒温器的选择相关联。这样的设备可以在本文描述的环境中(例如,通过Wi-Fi、蓝牙等)连接。或者,在一些实施例中,对一个或更多个手势的识别可以与用户身体的一个或更多个部分(例如,用户的一只手或两只手)的肌肉骨骼表示相关联,并且一个或更多个经训练的推理模型的输出可以是更新肌肉骨骼表示的信息。在一些实施例中,记录的和/或检测到的神经肌肉信号可以直接映射到对用户环境中的一个或更多个物理对象的选择,而不使用识别的手势或肌肉骨骼表示。作为示例,一个或更多个经训练的推理模型可以包括多个经训练的推理模型,每个推理模型被训练来预测记录的神经肌肉信号是否与对用户环境中特定物理对象的选择相关联。
在一些实施例中,可以使用不依赖于记录的和/或检测到的神经肌肉信号的解释的技术,或者依赖于除了记录的和/或检测到的神经肌肉信号之外的信号并需要除了记录的和/或检测到的神经肌肉信号之外的信号的技术来执行对用户环境中的对象的选择。例如,在一些实施例中,可以至少部分地使用与用户相关联的通信设备(例如,用户的智能手机或与神经肌肉活动设备集成的通信设备)和与要选择的对象相关联的通信设备之间的无线通信来选择用户环境中的物理对象。例如,近场通信(NFC)可以在与用户相关联的NFC设备(例如,位于用户的智能手机内,与用户穿戴的可穿戴设备集成)和当用户靠近对象时与对象相关联的NFC设备之间建立,从而导致对对象的选择。在一些实施例中,NFC设备可以被实现为图4-图7所示的实施例中的部件,并且NFC设备可以使用射频识别(“RFID”)进行通信。在其他实施例中,可以使用诸如红外(IR)通信的视距无线通信技术来选择对象。在这样的实施例中,用户穿戴的IR通信设备(例如,与其上布置有神经肌肉传感器的可穿戴设备集成,包括图4-图7所示的示例性实施例)之间的IR通信可以被配置为发射由位于要选择的对象上的IR传感器读取的IR图案。或者,对象可以发射IR图案,该IR图案由与用户相关联的IR传感器读取,以唯一地识别要控制的对象。
在一些实施例中,当期望选择对象时,可以向用户环境中的一个或更多个对象发射广播信号,以指示对象开始发射IR图案,从而不需要一直发射IR图案。这种广播信号可以由***以各种方式发起和检测,包括通过检测用户的神经肌肉活动和响应于特定用户的神经肌肉活动而打开广播信号。可选地,对于上述一个或两个实施例,本文公开的***可以基于检测到的神经肌肉信号或图案以及从环境中的一个或更多个对象发出的信号的组合来选择用户环境中的一个或更多个对象。例如,与要控制的对象相关联的IR传感器只能由用户在对象发射由***定义的特定IR图案并且用户也同时产生特定神经肌肉信号或图案的特定时间期间选择。
图8A和图8B示出了根据本发明的一些实施例的场景,其中用户环境中的物理对象至少部分地基于用户和可选择的物理对象的接近度来被自动选择。如图8A所示,穿戴(例如,穿戴在手腕上)可穿戴设备802的用户801位于包括多个可选择的物理对象的房间中,这些物理对象包括智能灯803、智能恒温器804和智能手机805。当用户在房间中移动时,对用于控制的物理对象的自动选择可以基于可穿戴设备802相对于房间中的一个或更多个可选择的物理对象的接近度而改变。例如,图8A示出了用户801穿戴的可穿戴设备802最接近房间中所示的三个可选择的物理对象中的灯803(即,可穿戴设备802相对于恒温器804和智能手机805更靠近灯803)。响应于检测到灯803是离可穿戴设备802最近的可选择对象(或者例如在阈值距离内),无线通信会话806(例如,近场通信连接,诸如NFC、蓝牙、红外(IR)等)可以被建立,使得由可穿戴设备生成的控制命令(例如,响应于用户执行肌肉激活,其示例在本文进行了描述)可以被用于经由无线通信会话806控制所选对象的操作。
图8B示出了类似于图8A所示的场景,但是其中用户801已经在房间中移动,使得可穿戴设备802位于更靠近搁在桌子上的智能手机805的位置,而不是其他可选择的物理对象(即,智能灯803和智能恒温器804)。响应于确定可穿戴设备802相对于其他可选择的物理对象最靠近智能手机805,可以在可穿戴设备802和智能手机805之间建立通信会话806,以使用户801能够使用如本文所述的肌肉激活来控制智能手机805的一个或更多个操作。在一些实施例中,可以提供反馈来通知用户当前选择了环境中的哪个可选择的物理对象。
在采用无线通信技术进行对象选择的一些实施例中,可以在选择物理对象之前实施一种或更多种安全技术,以确保用户被授权选择对象进行控制。一种或更多种安全技术可能要求用户使用例如指纹或视网膜扫描仪或使用语音认证来认证他们的身份。在一些实施例中,至少部分地基于对由多个神经肌肉传感器记录和/或检测的神经肌肉信号的分析来执行用户认证。在这样的实施例中,***可以存储用于识别特定用户的一个或更多个用户认证模板,并且记录的和/或检测到的神经肌肉信号可以与所存储的用户认证模板进行比较以识别用户。
至少在某些情况下,对连接设备的访问控制和认证不是最佳的,尤其是在连接设备被许多用户访问的环境中(例如,连接家庭中的扬声器或门锁)。根据本文描述的各种实施例,可以通过检测用户的唯一神经肌肉信号(例如,如本文描述的由神经肌肉传感器的臂带或腕带阵列记录的神经肌肉信号)来实现对连接设备的用户的访问控制和认证。能够通过神经肌肉信号进行认证和/或访问控制的连接设备可以基于神经肌肉信号的唯一模式来自动识别连接设备附近的用户,允许该用户访问和控制连接设备和/或激活连接设备的个性化用户简档(user profile)。例如,穿戴如本文所述的具有神经肌肉传感器阵列的装置的用户可以进入具有被配置用于神经肌肉认证的连接灯的房间,从而使得连接灯例如加载针对该用户个性化的特定调色板或亮度等级。
在一些实施例中,通过将用户环境分成不同的空间区来执行对用户环境中要控制的物理对象的选择,其中能够选择的对象被布置在用户环境的不同空间区中。图9示出了一种场景,其中用户的环境被分成空间区(region)、区域(area)或地带(zone),其中包括可选择的物理对象。如图所示,穿戴(例如,穿戴在手腕上的)可穿戴设备802的用户901正站在用户视场内具有多个可选择的物理对象的房屋前面。第一空间区域906包括具有例如智能窗帘的窗户904。第二空间区域907包括门905,门905连接有智能钥匙锁或小键盘。第三空间区域908包括车库门903,车库门903连接有智能车库门开启器。用户可以指向三个空间区域(例如,区域906、907、908)中的一个,以指示用户想要控制哪个相应的对象(例如,前门智能钥匙锁或小键盘、智能窗帘、智能车库门开启器)。在图9所示的示例中,用户正指向第二空间区域907,因此,选择具有附于其上的智能锁或小键盘的门905进行控制。可以以任何合适的方式确定用户指向哪个区域。例如,从布置在用户身体上的IMU传感器(例如,与可穿戴设备802上的一个或更多个神经肌肉传感器集成)记录的信号可用于确定用户指向哪个方向。在另一示例中,布置在环境内(例如,在房子的一部分上)或布置在用户901穿戴的可穿戴设备上的一个或更多个相机或其他外部设备(未示出)可以用于确定用户正在指向的方向,以确定用户想要选择用户环境中的哪个对象。
在一些实施例中,至少部分地使用用户穿戴的增强现实(AR)***来执行对用户环境中要控制的对象的选择。例如,AR***可以包括相机或其他感测设备(例如,眼睛跟踪设备),其被配置为确定用户在用户的当前视场内正在看哪里。可以在由AR***生成的增强现实环境中显示用户视场内的可选择的物理对象的指示,以便于用户选择对象。用户可以通过查看AR环境中的对象、指向该对象、从呈现在AR***的用户界面上的可能选择的对象的列表中选择该对象、或者使用任何其他合适的选择技术来继续选择对象。例如,在一个实现中,AR***可以被配置为在AR环境中显示光标。用户与神经肌肉活动***和/或AR***的交互可以导致AR环境中光标的显示位置的改变,并且对对象的选择可以至少部分地基于光标的显示位置。在一些实施例中,对在AR环境中识别的对象的选择可以至少部分地基于记录的和/或检测到的神经肌肉信号来选择。
在一些实施例中,至少部分地使用同步定位与地图构建(SLAM)***来执行对用户环境中的对象的选择。在这样的实施例中,可以使用地图构建技术(例如基于LIDAR或基于相机的地图构建)来地图构建用户环境的至少一部分。基于用户在环境中指向的位置和环境地图构建信息,可以使用与用户相关联的传感器(例如,相机/激光传感器)来确定用户在环境中的位置以及用户可能在环境中指向什么对象。
在一些实施例中,前述技术的组合被组合以实现选择用户环境中的对象。例如,在包括AR***的实施例中,无线通信***(例如,IR通信)可以用于识别用户环境中的可选择和/或可控(例如,“智能”)设备或对象,并且AR***可以在AR环境中向用户显示关于无线通信***识别为可选择/可控的对象的指示。随后,用户可以至少部分地基于由用户穿戴的多个神经肌肉传感器记录和/或检测的神经肌肉信号来选择所指示的对象之一。也考虑了上述选择技术的其他组合,并且本公开的各方面不限于此方面。
返回到过程300,在选择了环境中的对象之后,过程300前进到动作340,在动作340中,可选地向用户提供反馈。这种反馈可以在用户执行控制所选对象的操作的动作之前向用户提供对象已经被选择的确认。在一些实施例中,待控制的一个或更多个对象在被选择时提供反馈。所选对象可以包括一个或更多个指示器(例如,可见的LED指示器、可听的扬声器指示器),其被配置为在被选择时提供反馈。由所选对象提供的反馈可以是视觉反馈、听觉反馈、振动反馈或前述的任意组合。例如,选择的灯可以在被选择时闪烁或发光,或者与扬声器集成的一个或更多个LED可以在选择扬声器时提供组合的视觉和听觉反馈。听觉反馈可以作为音调来被提供,或者语音反馈可以作为对象已经被选择的指示来被提供。在用户环境中选择不同的对象会导致提供不同类型的选择反馈。此外,用户环境中的一些物理对象尽管能够被选择,但可能没有被配置为提供任何选择反馈。
在一些实施例中,使用不同于所选对象的设备来提供选择反馈。例如,选择反馈可以由与其上布置有神经肌肉传感器的可穿戴设备相关联的指示器来提供。例如,LED和/或位于可穿戴设备上的被配置为提供触觉反馈的刺激器可以用于在选择对象时提供反馈。在这样的实施例中,对于不同类型的所选对象,提供给用户的反馈可能不同(例如,不同的振动模式)。或者,无论选择哪个对象,提供给用户的反馈可以是相同的。在后一种情况下,尽管这种反馈可能不提供选择了哪个对象的指示,但是该反馈将使用户能够理解已经选择了对象。
一些实施例包括被配置为显示AR环境的AR***。在这样的实施例中,AR***可以被配置为在选择对象时向用户提供选择反馈。例如,与所显示的AR环境中的所选对象相关联的和/或覆盖在该所选对象上的视觉指示器可用于提供指示该对象已被选择的反馈。或者,在选择对象时,可以在AR环境中显示所选对象的控制界面,以通知用户哪个对象被选择。可以使用任何合适的视觉指示器,并且本公开的各方面不限于此方面。在一些实施例中,AR***可以附加地或替代地提供除视觉反馈之外的反馈来指示对象选择。例如,这种类型的反馈包括但不限于听觉反馈、触觉反馈或者视觉反馈、听觉反馈、触觉反馈或任何其他感觉反馈中的任意两种或更多种的组合。
在一些实施例中,可以确定所选对象是否具有向用户提供选择反馈的能力。当确定所选对象能够向用户提供选择反馈时,可以不提供由另一设备(例如,与可穿戴设备相关联的设备)提供的附加反馈。然而,如果确定所选对象不具有向用户提供选择反馈的能力,则另一设备(例如,与可穿戴设备相关联的设备)可以在选择对象时提供反馈。
在一些实施例中,反馈可以仅在控制动作启动时提供给用户,从而不提供单独的选择反馈。例如,用户可以靠近他们家中的灯并用他们的手执行顺时针旋转手势。至少部分地基于检测到的和/或记录的对应于手势的神经肌肉信号生成的控制信号可用于(例如,通过增加亮度)控制灯的亮度。由此导致的亮度增加可以向用户提供反馈,即该灯被选择并且控制手势被正确识别。
在可选地向用户提供选择反馈之后,过程300前进到动作350,在动作350中,至少部分地基于由多个神经肌肉传感器检测和/或记录的神经肌肉信号来控制所选对象。例如,可以至少部分地基于从检测到的和/或记录的神经肌肉信号和/或从神经肌肉信号导出的信息中识别的一个或更多个肌肉激活状态,生成一个或更多个控制信号并将其传送给所选对象。一个或更多个控制信号可以控制所选对象的各种操作。一个或更多个控制信号可以触发或以其他方式导致执行一个或更多个动作或功能,以实现对所选对象的一个或更多个操作的控制。
可以基于根据检测到的和/或记录的神经肌肉信号确定的用户的第一肌肉激活状态来确定要控制的所选对象的操作。例如,第一肌肉激活状态可以指示用户想要控制用户环境中的所选灯的亮度。在一些实施方式中,响应于要控制的操作的确定,***100的一个或更多个计算机处理器可以生成第一控制信号并将其传送给所选对象。第一控制信号可以包括待控制对象的操作的标识。第一控制信号可以包括对所选对象的关于要控制的操作的指示。
在包括AR***的一些实施例中,控制信号也可以被发送到AR***以触发由AR***执行的动作。发送到AR***的控制信号可以是与第一控制信号相同的信号,也可以是不同的控制信号。例如,发送到AR***的控制信号可以指示AR***显示与所选对象相关联的屏幕(例如,设置屏幕,通过该设置屏幕可以控制所选灯的亮度)。在另一个示例中,AR***对控制信号的接收可以使AR***向用户传达(例如,通过在AR***提供的AR环境中显示)关于如何使用由神经肌肉活动***感测的肌肉激活来控制所选对象的操作的一个或更多个指令。例如,一个或更多个指令可以指示顺时针旋转手势可以用于增加所选灯的亮度和/或逆时针旋转手势可以用于降低所选灯的亮度。在一些实施例中,一个或更多个指令可以包括如何执行手势来控制所选对象的操作的视觉演示和/或文本描述。在一些实施例中,一个或更多个指令可以隐含地指示用户,例如,经由空间排列的菜单,该菜单隐含地指示顺时针旋转手势可以用于增加所选灯的亮度。
在一些实施例中,从记录的和/或检测到的神经肌肉信号中识别的第二肌肉激活状态可用于生成提供给所选对象的第二控制信号,以控制其操作。例如,第二肌肉激活状态可以包括一个或更多个第二肌肉激活状态,例如,一个或更多个顺时针旋转手势以指示用户想要增加所选灯的亮度,一个或更多个逆时针旋转手势以指示用户想要降低所选灯的亮度,和/或顺时针和逆时针手势的组合以将亮度调节到期望的水平。***100的一个或更多个计算机处理器可以生成一个或更多个第二控制信号并将其传送给所选对象,以实现对操作的控制。
图10示出了一种场景,其中穿戴虚拟头戴式装置的用户1001和结合了神经肌肉传感器的可穿戴设备802使用肌肉激活状态来控制用户环境中智能灯1002的操作。为了能够控制灯1002,可以以任何合适的方式来选择灯,其示例在上文中讨论,并且包括但不限于基于接近度的选择、基于由可穿戴设备802检测到的用户的一个或更多个识别的肌肉激活状态的选择、基于语音输入的选择、基于指向的选择、基于用户上下文和/或用户行为的选择、或者上述的任意组合。一旦被选择,用户可以执行一个或更多个肌肉激活来控制所选灯1002的操作。例如,用户可以首先使用语音命令选择灯1002进行控制。随后,用户可以用他们的手执行模拟用户转动转盘的动态手势,该手势由可穿戴设备802解释以控制灯1002的操作(例如,亮度),而无需物理触摸灯。尽管用户1001在图10中被示为穿戴虚拟头戴式装置,但是应当理解,并非所有实施例都需要使用虚拟/增强/扩展现实头戴式装置,并且图10中所示的虚拟头戴式装置仅是为了说明而提供的。
在一些实施例中,第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的静态手势(例如,姿势)。在一些实施例中,第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的动态手势。在其他实施例中,第一肌肉激活状态和/或第二肌肉激活状态可以包括用户的肌肉下激活状态。在其他实施例中,第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的肌肉拉伸。在一些实施例中,检测到的力(例如,由用户执行的肌肉拉伸)可以与由用户执行的手势相结合,以提供改善的动态范围。例如,用户可以在捏合两个手指的同时旋转他们的手腕/前臂,以控制所选灯的亮度,其中在两个被捏合的手指之间施加的力的大小调节用户想要的是大的变化(例如,通过用力捏合施加大的力)还是小的变化(例如,通过轻轻捏合两个手指)。
在上述示例中,基于两种(例如,第一和第二)肌肉激活状态来控制所选灯的亮度,一种用于选择要控制的操作,并且另一种用于执行该操作。然而,应当理解,这种控制可以基于一种或两种以上的肌肉激活状态来实现,而不脱离本公开的范围。在只有一种肌肉激活状态的情况下,该肌肉激活状态可用于确定或选择要控制的所选对象的操作,并向所选对象提供控制信号以控制操作。例如,可以识别肌肉激活状态(例如,顺时针旋转手势),其指示用户想要增加所选灯的亮度,并且可以基于单个肌肉激活状态向所选灯提供控制信号以增加其亮度。
上述示例控制信号涉及用于控制选定灯的亮度的信号。然而,应当理解,可以基于所记录的神经肌肉信号来识别一个或更多个肌肉激活状态,并且可以生成适当的控制信号并将其传送到所选对象,以控制所选对象的不同方面/操作。例如,控制信号可以包括打开或关闭所选对象、调节所选对象的音量或调节所选对象的一些其他操作参数的信号。
应当理解,虽然上述示例描述了第一和第二肌肉激活状态,但是可以识别附加的或替代的肌肉激活状态,并用于控制所选对象的各个方面/操作,以实现分层或多级别方法来控制所选对象或同时控制多个所选对象。例如,当用户希望切换到用于控制扬声器操作的第二模式(例如,控制模式)时,所选对象可以在第一模式(例如,可控扬声器的播放模式)下操作。在这种情况下,用户的第三肌肉激活状态(例如,用于从播放模式切换到控制模式)可以根据原始的或经处理的信号和/或根据基于记录的信号的信息来被识别。基于所识别的第三肌肉激活状态,所选对象(例如,可控扬声器)的操作可以从第一模式切换/改变到第二模式。作为另一个示例,一旦处于控制模式,可以根据原始的或经处理的信号和/或根据基于记录的信号的信息来识别第四肌肉激活状态。与所选对象相关联的特定设备或功能(例如,显示设备、相机设备、音频设备等)可以被选择用于基于第四肌肉激活状态来控制。这样,第三肌肉激活状态可用于改变所选对象的模式(例如,将所选电视的当前模式改变为控制模式),第四肌肉激活状态可用于选择所选对象的特定部分来控制(例如,所选电视上的相机)。在其他实施例中,一种肌肉激活状态可用于选择所选部分的功能(例如,选择相机上的缩放功能),而另一种肌肉激活状态可用于调整所选功能(例如,拉近(zoom in)和拉远(zoom out))。
在一些实施例中,在控制所选对象的至少一个操作之前,检测到的和/或记录的多个神经肌肉信号和/或基于检测到的和/或记录的多个神经肌肉信号的信息可用于检测用户与对象交互的愿望。对用户与对象进行交互的愿望的检测可以与对要控制的对象的选择(如上文关于过程300中的动作330所述)同时进行。或者,可以在选择对象之后但在控制所选对象之前,检测用户与对象交互的愿望。在一些实施例中,可以根据对检测到的和/或记录的多个神经肌肉信号的分析和/或根据对基于多个神经肌肉信号的信息的分析来检测第一肌肉激活状态(例如,手势或肌肉拉伸),其中第一肌肉激活状态指示与对象交互的愿望。例如,第一肌肉激活状态可以是对象的“唤醒”手势。响应于检测到该对象的唤醒手势,可以向该对象发送指令以启用或禁用该对象的用户接口或执行一些其他动作。使用神经肌肉唤醒手势来提供用于控制用户环境中的对象的个性化访问可以改善用户隐私,并且还可以具有其他益处,包括但不限于延长电池寿命、降低处理功率以及提高这种***的准确性。
在一些实施例中,一些对象可以包括用于控制设备的操作或用于监控环境中用户行为的用户接口。例如,基于麦克风或基于相机的***可以连续观察用户的行为,以确定用户希望何时以及如何与***交互。如果***在不需要的时候记录用户行为,这样的***可能会带来很大的隐私风险。为此,一些实施例涉及至少部分地基于检测到的和/或记录的神经肌肉信号来启用或禁用对象或设备的用户接口,以确保对象/设备仅在用户希望进行这种观察时才观察用户行为。例如,具有用户接口的对象可以被配置成连续观察用户行为。在检测到第一肌肉激活状态时,可以向对象发送控制信号以禁用用户接口,使得用户接口不再持续观察用户行为。用户可以执行第二肌肉激活状态(其可以与第一肌肉激活状态相同或不同)来启用用户接口。在一些实施例中,用户接口可以仅在用户执行特定肌肉激活状态时被启用。例如,用户可以接近具有基于麦克风的用户接口的对象,并且握紧他们的拳头以指示用户希望向该对象发送控制指令。响应于检测到握紧的拳头肌肉激活状态,神经肌肉活动***可以向对象发送控制指令,以启用对象的基于麦克风的用户接口(例如,通过将用户接口置于收听模式)。当保持握紧的拳头状态时,用户可以提供一个或更多个语音命令来向对象提供输入。用户然后可以释放他们握紧的拳头,这导致检测到禁用基于麦克风的用户接口的第二肌肉激活状态。以这种方式,用于向对象提供输入的基于麦克风的用户接口仅在用户想要提供输入时才被启用。
本文描述的用于使用神经肌肉信号来至少部分地基于手势、姿势、移动或施加在用户关节上的力来选择和/或控制物理对象的***和方法可以用于多种物理对象,其示例包括但不限于智能耳塞/耳机、智能眼镜(或其他智能头戴式显示器)、智能手机、智能手表、连接的平板电脑或其他可穿戴或手持个人计算设备。尽管许多连接设备被配置为使用语音命令,但是本文描述的***和方法使得用户能够使用基于手势、姿势或从神经肌肉信号导出的其他运动和/或力的命令来对听觉(例如,通过“可听见的”或其他连接的耳机或扬声器***)或视觉(例如,在智能手表或智能手机的屏幕上)做出反应。例如,具有多个神经肌肉传感器的可穿戴腕带装置可以被配置成允许用户(例如,通过具有视觉、触觉和/或听觉警报的可穿戴或手持设备)以小而细微的手势响应智能助手(例如,通过用户腿上的手指轻击(tap)以接受会议邀请或确认酒店预订;或者桌面上的滑动(swipe)手势来忽略通知;或者捏合(pinch)手势以播放从朋友那里接收的视频;或者轻弹(flick)手势以向同事发送消息)。
如以上一些示例性场景中所述,具有多个连接设备的环境可能需要特定的控制,使得用户可以将他们的控制意图指向特定的连接设备。根据各种实施例,神经肌肉激活的手势或其他模式可以用于从一个连接设备切换到另一个用于后续控制,其中后续控制可以基于神经肌肉控制信号、语音信号和/或任何其他控制模态,其示例如上所述。例如,将语音控制与基于手势、姿势或由神经肌肉***施加的其他运动/力模式的控制相结合,可以实现对用户环境中的物理对象的更可靠、多样、离散和/或个性化形式的控制。
下面的表1列出了基于神经肌肉信号的各种(非限制性)控制形式,其可以使用本发明的各种实施例来实现。
表1:基于神经肌肉信号的对物理对象的控制的示例形式
在图11A-图11C所示的一个说明性实施例中,穿戴其中结合有多个神经肌肉传感器的可穿戴设备802的用户1101使用不同的交互原语来控制连接设备(例如,智能手机1103)的操作。例如,轻弹手势1104(图11A)或捏合轻击(pinch tap)1105(图11B)可用于提供离散输入,例如选择智能手机1103或选择智能手机1103的特征来控制。作为另一个示例,手腕旋转手势1106(图11C)可以用于1D旋转控制(例如,在滚轮选择器(wheel selector)上),以提供连续输出,例如改变智能手机1103的屏幕亮度。
通知通常是智能/虚拟助手***的重要组成部分,可通过智能耳塞、头戴式显示器、诸如智能手机1103(或其他智能连接设备)的移动设备获得。在一些实施例中,轻弹手势1104可以用作通知的消除机制(dismissal mechanism)。
在日历示例中,例如在用户的智能手机1103上执行的智能/虚拟助手可以通知用户她的下一次会议即将到来,允许如下使用上述手势:
·轻弹手势1104(图11A)可以彻底消除通知。类似于消除移动或台式计算机上的通知。智能/虚拟助手可能不会再就此打扰用户。
·食指捏合轻击手势1105(图11B捏合食指和拇指)可以设置打盹警报。智能/虚拟助手将在几分钟后再次通知用户。
·中指捏合轻击手势(捏合中指和拇指)可能会使智能/虚拟助手参与。一旦参与,智能/虚拟助手可以询问用户在再次通知用户之前她应该等待多长时间。
·然后,用户可以开始旋转她的手腕1106(图11C),以选择智能/虚拟助手接下来将提供通知的时间。随着用户手腕的旋转(例如,顺时针方向),到下一个通知时的时间增加,并且随着时间量的变化,智能/虚拟助手可以可选地提供听觉反馈。如果到下一个通知时的时间在未来太远,用户可以在另一个方向(例如,在逆时针方向)向后旋转他们的手腕,这可以使到下一个通知时的时间减少。
·当设置了期望的时间时,另一个捏合轻击1105(例如,图11B)可以设置警报,并且智能/虚拟助手可以在该时间量过去之后再次通知用户。在该过程的任何点,轻弹手势1104(图11A)可用于导致时间设置过程结束。
虽然上述使用神经肌肉活动***来响应和/或设置物理设备上的通知的示例描述了解释用户正在执行的手势和/或姿势,但是应当理解,使用本文描述的一种或更多种技术来选择和/或控制物理对象可以使用任何肌肉激活状态来执行,包括但不限于其中不需要用户的可感知运动的肌肉下激活。在用户希望在不改变他们的手的位置的情况下控制物理对象的场景中,使用肌肉下控制可能特别有用,其示例包括但不限于,在将双手保持在交通工具的转向部件(例如,自行车或滑板车(scooter)的车把、汽车的方向盘等)上的同时与音乐应用进行交互、控制电子设备而不必脱下手套或者(例如,在寒冷的天气中)不必将手从口袋中拿出,在驾驶时与汽车中的可选择对象(例如,GPS***)交互,并且同时将双手保持在方向盘上,并且当用户的手不可用(例如,用户正拿着物体或抱着孩子)来使用钥匙解锁门时用智能锁解锁门。
可以以多种方式中的任一种来实现上述实施例。例如,可以使用硬件、软件或其组合来实现实施例。当以软件实现时,软件代码可以在任何合适的处理器或处理器集群上被执行,无论是在单个计算机中被提供还是分布在多个计算机当中。应当认识到,执行上述功能的任何部件或部件集群可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。可以以多种方式(例如利用专用硬件或者利用使用微代码或软件被编程为执行上面列举的功能的一个或更多个处理器)来实现一个或更多个控制器。
在这方面,应当理解,本发明实施例的一个实现包括编码有计算机程序(即,多个指令)的至少一个非暂时性计算机可读存储介质(例如,计算机存储器、便携式存储器、光盘等),该计算机程序当在处理器上执行时,执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的,使得存储在其上的程序可以被加载到任何计算机资源上,以实现本文所讨论的本发明的各方面。此外,应当认识到,对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主机计算机上运行的应用程序。相反,术语“计算机程序”在本文中以一般意义使用,以指代任何类型的计算机代码(例如,软件或微代码),其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用,组合使用,或者在前面描述的实施例中没有具体讨论的各种布置中使用,因此它们的应用不限于前面描述中阐述的或附图中示出的部件的细节和布置。例如,在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。
此外,本发明的实施例可以被实现为一种或更多种方法,已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地,可以构造实施例,其中动作以与所示出的不同的顺序被执行,这可以包括同时执行一些动作,即使在说明性实施例中被示为顺序动作。
在权利要求中使用顺序术语例如“第一”、“第二”、“第三”等来修改权利要求元素并不单独地暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权、或顺序或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。
本文所使用的措辞和术语是为了描述的目的,且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。
已经详细描述了本发明的几个实施例,本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本发明的精神和范围内。因此,前面的描述仅仅是作为示例,且并不旨在为限制性的。本发明仅由所附权利要求及其等同物限定。
Claims (91)
1.一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化***,所述***包括:
多个神经肌肉传感器,所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号,其中,所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上;以及
至少一个计算机处理器,所述至少一个计算机处理器被编程为:
接收对所述环境中的物理对象的选择;以及
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,控制所述环境中的所选物理对象的操作。
2.根据权利要求1所述的计算机化***,其中,接收对所述环境中的物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。
3.根据权利要求1所述的计算机化***,还包括:
至少一个存储设备,其被配置为存储描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的信息,
其中,确定对所述物理对象的选择至少部分地基于描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。
4.根据权利要求3所述的计算机化***,其中,所述环境中的一个或更多个可选择的物理对象中的至少一些在所述环境中使用至少一个短程通信协议连接。
5.根据权利要求3所述的计算机化***,其中,描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的对象之间的关联的所存储的信息包括至少一个推理模型,所述推理模型被配置为将所述多个神经肌肉信号映射到所述环境中的一个或更多个可选择的物理对象。
6.根据权利要求1所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息,识别肌肉激活状态,并且
其中,接收对所述环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。
7.根据权利要求6所述的计算机化***,其中,至少部分地基于所识别的肌肉激活状态接收对所述环境中的物理对象的选择包括使用所述肌肉激活状态与用户界面进行交互,以从多个可选择的物理对象中选择一个。
8.根据权利要求6所述的计算机化***,其中,所述肌肉激活状态包括手势、姿势或肌肉下激活状态。
9.根据权利要求1所述的计算机化***,其中,接收对所述环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择所述物理对象。
10.根据权利要求1所述的计算机化***,其中,接收对所述环境中的物理对象的选择至少部分地基于在所述环境中所述物理对象和用户的接近度。
11.根据权利要求10所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
检测所述计算机化***处于所述环境中的可选择的物理对象的特定范围内;以及
响应于所述检测,在所述计算机化***和所述可选择的物理对象之间建立近场通信,
其中,接收对所述环境中的物理对象的选择至少部分地基于所建立的近场通信。
12.根据权利要求1所述的计算机化***,还包括:
红外接收器,其被配置为从一个或更多个物理对象接收红外信号,并且
其中,接收对所述环境中的物理对象的选择至少部分地基于由所述红外接收器接收的红外信号。
13.根据权利要求12所述的计算机化***,还包括:
红外发射器,其被配置为向所述一个或更多个物理对象发射广播红外信号,其中,由所述红外接收器接收的红外信号是响应于发射所述广播红外信号而被接收的。
14.根据权利要求1所述的计算机化***,其中,所述环境是由增强现实***生成的增强现实环境。
15.根据权利要求14所述的计算机化***,其中,所述增强现实***被配置成在所述增强现实环境中显示用户界面,并且
其中,接收对所述对象的选择包括经由所述用户界面接收对所述对象的选择。
16.根据权利要求14所述的计算机化***,其中,接收对所述物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。
17.根据权利要求16所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号;以及
向所述增强现实***提供所述控制信号,
其中,接收对所述环境中的物理对象的选择至少部分地基于提供给所述增强现实***的所述控制信号。
18.根据权利要求17所述的计算机化***,其中,所述增强现实***被配置成在所述增强现实环境中显示光标,
其中,所述控制信号用于控制所述光标在所述增强现实环境中的显示位置,并且
其中,接收对所述环境中的物理对象的选择至少部分地基于所述光标在所述增强现实环境中的显示位置。
19.根据权利要求14所述的计算机化***,其中:
所述增强现实***包括至少一个相机和/或眼睛跟踪***,并且
接收对所述环境中的物理对象的选择至少部分地基于由所述至少一个相机和/或所述眼睛跟踪***捕获的信息。
20.根据权利要求19所述的计算机化***,其中,接收对所述环境中的物理对象的选择还至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息。
21.根据权利要求1所述的计算机化***,其中,接收对所述环境中的物理对象的选择包括:
将所述环境分成多个空间区域;
至少部分地基于惯性测量单元的定向来确定用户正指向所述多个空间区域中的哪一个;以及
选择用户正指向的空间区域内的物理对象。
22.根据权利要求1所述的计算机化***,还包括同步定位与地图构建***,其中,接收对所述环境中的物理对象的选择至少部分地基于由所述同步定位与地图构建***确定的信息。
23.根据权利要求1所述的计算机化***,其中,接收对所述环境中的物理对象的选择至少部分地基于由至少一个麦克风捕获的信息。
24.根据权利要求1所述的计算机化***,其中,所述计算机化***被配置为向用户提供所述物理对象已经被选择的指示。
25.根据权利要求24所述的计算机化***,其中,所选物理对象被配置成在被选择时向用户提供所述指示。
26.根据权利要求24所述的计算机化***,其中,所述至少一个计算机处理器还被编程为在选择所述物理对象时向用户提供所述指示。
27.根据权利要求24所述的计算机化***,其中:
所述环境是由增强现实***生成的增强现实环境,
所述物理对象是在所述增强现实环境中观看的物理对象,并且
所述增强现实***被配置成在选择了在所述增强现实环境中观看的物理对象时向用户提供所述指示。
28.根据权利要求27所述的计算机化***,其中,提供所述物理对象已经被选择的指示包括在所述增强现实环境中呈现视觉指示。
29.根据权利要求1所述的计算机化***,还包括:
至少一个存储设备,其被配置为存储描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息,
其中,控制所选对象的操作包括至少部分地基于描述所述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。
30.根据权利要求29所述的计算机化***,其中,描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的所存储的信息包括至少一个推理模型,所述推理模型被训练成将所述多个神经肌肉信号映射到用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作。
31.根据权利要求1所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息,识别肌肉激活状态,并且
其中,至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。
32.根据权利要求1所述的计算机化***,其中,所述肌肉激活状态包括手势、姿势或肌肉下激活状态。
33.根据权利要求1所述的计算机化***,其中,所述环境是由增强现实***生成的增强现实环境,并且
其中,控制所述环境中的所选物理对象的操作包括通过提供给所述增强现实***的输入来控制所选物理对象的操作。
34.根据权利要求33所述的计算机化***,其中,所述增强现实***被配置为在所述增强现实环境中显示控制界面,并且
其中,控制所选物理对象的操作包括通过用户与所述控制界面的交互来控制所述对象的操作。
35.根据权利要求34所述的计算机化***,其中,控制所选物理对象的操作包括:
至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号;以及
向所述增强现实***提供所述控制信号,以与在所述增强现实环境中显示的控制界面交互。
36.根据权利要求32所述的计算机化***,其中:
所述增强现实***被配置成在所述增强现实环境中的第一位置处显示所述控制界面,
在所述增强现实环境中观看的所选物理对象位于所述增强现实环境中的第二位置,并且
在所述增强现实环境中,所述第一位置比所述第二位置更靠近用户。
37.根据权利要求33所述的计算机化***,其中,所述增强现实***被配置为响应于与所述控制界面的交互向用户提供反馈。
38.根据权利要求37所述的计算机化***,其中,所述反馈包括视觉反馈、听觉反馈和/或触觉反馈。
39.根据权利要求36所述的计算机化***,其中,所述增强现实***被配置为在所述增强现实环境中显示用于第一对象的第一控制界面和用于第二对象的第二控制界面。
40.根据权利要求39所述的计算机化***,其中,所述增强现实***被配置为当选择所述第一对象时显示所述第一控制界面,以及当选择所述第二对象时显示所述第二控制界面。
41.根据权利要求1所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,检测第一肌肉激活状态,所述第一肌肉激活状态指示控制所选物理对象的操作的愿望。
42.根据权利要求41所述的计算机化***,其中,所述第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。
43.根据权利要求41所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
响应于检测到所述第一肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。
44.根据权利要求43所述的计算机化***,其中,向所选物理对象发送指令包括发送指令以启用所述用户接口,并且其中,所述至少一个计算机处理器还被编程为:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,检测第二肌肉激活状态,
其中,控制所选物理对象的操作包括至少部分地基于所述第二肌肉激活状态来控制所选物理对象的操作。
45.一种由计算机化***执行的用于至少部分地基于神经肌肉信号来控制环境中的物理对象方法,所述方法包括:
记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号;
接收对所述环境中的物理对象的选择;以及
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,控制所述环境中的所选物理对象的操作。
46.根据权利要求45所述的方法,其中,接收对所述环境中的物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。
47.根据权利要求45所述的方法,其中,确定对所述物理对象的选择至少部分地基于描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。
48.根据权利要求45所述的方法,还包括:
基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来识别肌肉激活状态,并且
其中,接收对所述环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。
49.根据权利要求48所述的方法,其中,至少部分地基于所识别的肌肉激活状态接收对所述环境中的物理对象的选择包括使用所述肌肉激活状态与用户界面进行交互,以从多个可选择的物理对象中选择一个。
50.根据权利要求48所述的方法,其中,接收对所述环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择所述物理对象。
51.根据权利要求48所述的方法,其中,接收对所述环境中的物理对象的选择至少部分地基于在所述环境中所述物理对象和用户的接近度。
52.根据权利要求51所述的方法,还包括:
检测所述计算机化***处于所述环境中的可选择的物理对象的特定范围内;以及
响应于所述检测,在所述计算机化***和所述可选择的物理对象之间建立近场通信,
其中,接收对所述环境中的物理对象的选择至少部分地基于所建立的近场通信。
53.根据权利要求45所述的方法,还包括接收红外信号,
其中,接收对所述环境中的物理对象的选择至少部分地基于接收的红外信号。
54.根据权利要求53所述的方法,还包括向所述一个或更多个物理对象发射广播红外信号,
其中,由所述红外接收器接收的红外信号是响应于发射所述广播红外信号而被接收的。
55.根据权利要求45所述的方法,其中:
所述环境是由增强现实***生成的增强现实环境,
所述增强现实***被配置成在所述增强现实环境中显示用户界面,并且
接收对所述对象的选择包括经由所述用户界面接收对所述对象的选择。
56.根据权利要求55所述的方法,其中,接收对所述物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。
57.根据权利要求56所述的方法,还包括:
至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号;以及
向所述增强现实***提供所述控制信号,
其中,接收所述环境中的物理对象的选择至少部分地基于提供给所述增强现实***的所述控制信号。
58.根据权利要求45所述的方法,其中,接收对所述环境中的物理对象的选择包括:
将所述环境分成多个空间区域;
至少部分地基于惯性测量单元的定向来确定用户正指向所述多个空间区域中的哪一个;以及
选择用户正指向的空间区域内的物理对象。
59.根据权利要求45所述的方法,还包括向用户提供所述物理对象已经被选择的指示。
60.根据权利要求59所述的方法,其中:
所述环境是由增强现实***生成的增强现实环境,
所述物理对象是在所述增强现实环境中观看的物理对象,并且
所述增强现实***被配置成在选择了在所述增强现实环境中观看的物理对象时向用户提供所述指示。
61.根据权利要求45所述的方法,还包括:
在至少一个存储设备上存储描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息,
其中,控制所选对象的操作包括至少部分地基于描述所述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。
62.根据权利要求45所述的方法,还包括:
基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息,识别肌肉激活状态,并且
其中,至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。
63.根据权利要求45所述的方法,其中,所述环境是由增强现实***生成的增强现实环境,并且
其中,控制所述环境中的所选物理对象的操作包括通过提供给所述增强现实***的输入来控制所选物理对象的操作。
64.根据权利要求45所述的方法,还包括:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述神经肌肉信号的信息,检测第一肌肉激活状态,所述第一肌肉激活状态指示控制所选物理对象的操作的愿望。
65.根据权利要求64所述的方法,其中,所述第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。
66.根据权利要求65所述的方法,还包括:
响应于检测到所述第一肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。
67.根据权利要求66所述的方法,其中,向所选物理对象发送指令包括发送指令以启用所述用户接口,并且其中,所述方法还包括:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,检测第二肌肉激活状态,
其中,控制所选物理对象的操作包括至少部分地基于所述第二肌肉激活状态来控制所选物理对象的操作。
68.至少一个非暂时性计算机可读存储介质,其存储指令,当由至少一个计算机处理器执行时,所述指令使所述至少一个计算机处理器执行根据权利要求45-67中任一项的方法。
69.一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化***,所述***包括:
多个神经肌肉传感器,所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号,其中,所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上;以及
至少一个计算机处理器,所述至少一个计算机处理器被编程为:
选择用户的环境中的物理对象;
向用户提供指示所述物理对象已经被选择的反馈;
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来确定第一肌肉激活状态;以及
至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。
70.根据权利要求69所述的计算机化***,还包括:
至少一个存储设备,其被配置为存储描述所述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息,
其中,选择所述环境中的物理对象至少部分地基于所存储的信息。
71.根据权利要求69所述的计算机化***,其中:
至少部分地用于确定所述第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录,
所述至少一个计算机处理器还被编程为至少部分地根据所述多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态,并且
选择用户的所述环境中的物理对象至少部分地基于所确定的第二肌肉激活状态。
72.根据权利要求69所述的计算机化***,其中,选择所述物理对象至少部分地基于用户上下文和/或用户行为。
73.根据权利要求69所述的计算机化***,其中:
所述至少一个计算机处理器还被编程为接收来自用户的语音输入,并且
选择所述物理对象至少部分地基于接收的语音输入。
74.根据权利要求69所述的计算机化***,其中,选择所述物理对象至少部分地基于用户和所述物理对象的接近度。
75.根据权利要求74所述的计算机化***,其中,选择所述物理对象至少部分地基于相对于用户的所述环境中的其他可选择的物理对象、用户与所述物理对象的接近度。
76.根据权利要求69所述的计算机化***,其中,向用户提供指示所述物理对象已经被选择的反馈包括指示所选物理对象提供所述反馈。
77.根据权利要求69所述的计算机化***,其中,向用户提供指示所述物理对象已经被选择的反馈包括提供听觉反馈和振动反馈中的一个或更多个。
78.根据权利要求69所述的计算机化***,还包括:
至少一个存储设备,其被配置为存储描述用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括所述第一肌肉激活状态的相应肌肉激活状态之间的关联的信息,
其中,控制所选物理对象的操作至少部分地基于描述用于所选物理对象的至少一个控制动作和所述第一肌肉激活状态之间的关联的所存储的信息。
79.根据权利要求69所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,检测第二肌肉激活状态,所述第二肌肉激活状态指示控制所选物理对象的操作的愿望。
80.根据权利要求79所述的计算机化***,其中,所述至少一个计算机处理器还被编程为:
响应于检测到所述第二肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口,其中,向所选物理对象发送指令包括发送指令以启用所述用户接口;以及
在启用所述用户接口之后,至少部分地基于所述第一肌肉激活状态来控制所选物理对象的操作。
81.一种由计算机化***执行的用于至少部分地基于神经肌肉信号来控制环境中的物理对象的方法,所述方法包括:
记录来自布置在一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号;
选择用户的环境中的物理对象;
向用户提供指示所述物理对象已经被选择的反馈;
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来确定第一肌肉激活状态;以及
至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。
82.根据权利要求81所述的方法,还包括:
在至少一个存储设备上存储描述所述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息,
其中,选择所述环境中的物理对象至少部分地基于所存储的信息。
83.根据权利要求81所述的方法,其中,选择所述物理对象还至少部分地基于用户上下文和/或用户行为。
84.根据权利要求81所述的方法,还包括:
从用户接收语音输入,
其中,选择所述物理对象至少部分地基于接收的语音输入。
85.根据权利要求81所述的方法,其中,选择所述物理对象至少部分地基于用户和所述物理对象的接近度。
86.根据权利要求81所述的方法,其中,向用户提供指示所述物理对象已经被选择的反馈包括指示所选物理对象提供所述反馈。
87.根据权利要求81所述的方法,还包括:
由至少一个存储设备存储描述用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括所述第一肌肉激活状态的相应肌肉激活状态之间的关联的信息,
其中,控制所选物理对象的操作至少部分地基于描述用于所选物理对象的至少一个控制动作和所述第一肌肉激活状态之间的关联的所存储的信息。
88.根据权利要求81所述的方法,还包括:
至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息,检测第二肌肉激活状态,所述第二肌肉激活状态指示控制所选物理对象的操作的愿望;以及
响应于检测到所述第二肌肉激活状态,向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。
89.根据权利要求88所述的方法,其中,向所选物理对象发送指令包括发送指令以启用所述用户接口,并且其中,所述方法还包括:
在启用所述用户接口之后,至少部分地基于所述第一肌肉激活状态来控制所选物理对象的操作。
90.根据权利要求88所述的方法,其中:
至少部分地用于确定所述第一肌肉激活状态的所述多个神经肌肉信号在第一时间段期间被记录,
所述方法还包括至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态,以及
选择用户的所述环境中的物理对象至少部分地基于所确定的第二肌肉激活状态。
91.至少一个非暂时性计算机可读存储介质,其存储指令,当由至少一个计算机处理器执行时,所述指令使得所述至少一个计算机处理器执行根据权利要求81-90中任一项的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862736929P | 2018-09-26 | 2018-09-26 | |
US62/736,929 | 2018-09-26 | ||
US201962866505P | 2019-06-25 | 2019-06-25 | |
US62/866,505 | 2019-06-25 | ||
PCT/US2019/053234 WO2020069181A1 (en) | 2018-09-26 | 2019-09-26 | Neuromuscular control of physical objects in an environment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112771478A true CN112771478A (zh) | 2021-05-07 |
Family
ID=69884253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980063644.6A Pending CN112771478A (zh) | 2018-09-26 | 2019-09-26 | 对环境中的物理对象的神经肌肉控制 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10921764B2 (zh) |
EP (1) | EP3857342A4 (zh) |
CN (1) | CN112771478A (zh) |
WO (1) | WO2020069181A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023279600A1 (zh) * | 2021-07-08 | 2023-01-12 | 歌尔股份有限公司 | 耳机的音效调节方法、装置及可读存储介质 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
CN112040858B (zh) | 2017-10-19 | 2024-06-07 | 元平台技术有限公司 | 用于识别与神经肌肉源信号相关的生物结构的***和方法 |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
EP3857342A4 (en) | 2018-09-26 | 2021-12-01 | Facebook Technologies, LLC. | NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT |
EP3843435B1 (en) * | 2018-09-30 | 2024-04-10 | Huawei Technologies Co., Ltd. | Data transmission method and electronic device |
CN113423341A (zh) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | 用于可穿戴电极传感器***的自动校准的方法和装置 |
CN110673896A (zh) * | 2019-09-29 | 2020-01-10 | 北京小米移动软件有限公司 | 近场通信卡片激活方法和装置 |
US11677834B2 (en) * | 2020-06-05 | 2023-06-13 | Whoborn Inc. | Extended reality system based on multimodal interfaces |
GB2596541B (en) * | 2020-06-30 | 2023-09-13 | Sony Interactive Entertainment Inc | Video processing |
CN111787264B (zh) * | 2020-07-21 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
CN112034985A (zh) * | 2020-09-01 | 2020-12-04 | 中国平安财产保险股份有限公司 | 增强现实影像展示方法、装置、设备及存储介质 |
CN112116070B (zh) * | 2020-09-07 | 2024-04-05 | 北方工业大学 | 地铁车站环境参数监测方法及装置 |
CN112558775A (zh) * | 2020-12-11 | 2021-03-26 | 深圳大学 | 基于表面肌电信号识别的无线键盘输入方法及装置 |
US11868531B1 (en) * | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US20230076068A1 (en) * | 2021-09-03 | 2023-03-09 | Meta Platforms Technologies, Llc | Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof |
US20230359422A1 (en) * | 2022-05-03 | 2023-11-09 | Meta Platforms Technologies, Llc | Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques |
US20240061514A1 (en) * | 2022-08-18 | 2024-02-22 | Meta Platforms Technologies, Llc | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
US20240077935A1 (en) * | 2022-09-01 | 2024-03-07 | Youjean Cho | Virtual interfaces for controlling iot devices |
US20240192765A1 (en) * | 2022-12-08 | 2024-06-13 | Meta Platforms Technologies, Llc | Activation force detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102202725A (zh) * | 2008-10-21 | 2011-09-28 | Med-El电气医疗器械有限公司 | 用于面神经刺激的***和方法 |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
US20140028712A1 (en) * | 2012-07-26 | 2014-01-30 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
JP2018026066A (ja) * | 2016-08-12 | 2018-02-15 | 株式会社スキップ | 制御システム |
Family Cites Families (251)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4055168A (en) | 1976-09-21 | 1977-10-25 | The Rockefeller University | Posture training device |
IL78244A0 (en) | 1986-03-24 | 1986-07-31 | Zvi Kamil | Instrumentation amplifier arrangement |
US5625577A (en) | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
JP3103427B2 (ja) | 1992-04-01 | 2000-10-30 | ダイヤメディカルシステム株式会社 | 生体電気現象検出装置 |
EP0959444A4 (en) | 1996-08-14 | 2005-12-07 | Nurakhmed Nurislamovic Latypov | METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6658287B1 (en) | 1998-08-24 | 2003-12-02 | Georgia Tech Research Corporation | Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity |
US6745062B1 (en) | 1998-10-05 | 2004-06-01 | Advanced Imaging Systems, Inc. | Emg electrode apparatus and positioning system |
US6244873B1 (en) | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
US6774885B1 (en) | 1999-01-20 | 2004-08-10 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
US6411843B1 (en) | 1999-05-28 | 2002-06-25 | Respironics, Inc. | Method and apparatus for producing a model EMG signal from a measured EMG signal |
US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
US20030184544A1 (en) | 2000-07-24 | 2003-10-02 | Prudent Jean Nicholson | Modeling human beings by symbol manipulation |
AU2002230578A1 (en) | 2000-10-30 | 2002-05-15 | Naval Postgraduate School | Method and apparatus for motion tracking of an articulated rigid body |
US20030144829A1 (en) | 2002-01-25 | 2003-07-31 | Geatz Michael W. | System and method for sensing and evaluating physiological parameters and modeling an adaptable predictive analysis for symptoms management |
JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
US6942621B2 (en) | 2002-07-11 | 2005-09-13 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for detecting weak physiological signals |
EP1537823A1 (en) | 2002-09-11 | 2005-06-08 | National Institute of Information and Communications Technology Incorporated Administrative Agency | Active muscle display device |
KR100506084B1 (ko) | 2002-10-24 | 2005-08-05 | 삼성전자주식회사 | 경혈점 탐색 장치 및 방법 |
US7787946B2 (en) | 2003-08-18 | 2010-08-31 | Cardiac Pacemakers, Inc. | Patient monitoring, diagnosis, and/or therapy systems and methods |
CN1838933B (zh) | 2003-08-21 | 2010-12-08 | 国立大学法人筑波大学 | 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序 |
JP4178186B2 (ja) | 2003-08-21 | 2008-11-12 | 国立大学法人 筑波大学 | 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム |
US7565295B1 (en) | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
US7574253B2 (en) | 2003-09-26 | 2009-08-11 | Northwestern University | Signal processing using non-linear regression with a sinusoidal model |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
WO2005122900A1 (ja) | 2004-06-16 | 2005-12-29 | The University Of Tokyo | 筋骨格モデルに基づく筋力取得方法及び装置 |
WO2006074029A2 (en) | 2005-01-06 | 2006-07-13 | Cyberkinetics Neurotechnology Systems, Inc. | Neurally controlled and multi-device patient ambulation systems and related methods |
WO2006105094A2 (en) | 2005-03-29 | 2006-10-05 | Duke University | Sensor system for identifying and tracking movements of multiple sources |
US7428516B2 (en) | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
US8190249B1 (en) | 2005-08-01 | 2012-05-29 | Infinite Biomedical Technologies, Llc | Multi-parametric quantitative analysis of bioelectrical signals |
US7725147B2 (en) | 2005-09-29 | 2010-05-25 | Nellcor Puritan Bennett Llc | System and method for removing artifacts from waveforms |
US8280503B2 (en) | 2008-10-27 | 2012-10-02 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
JP4826459B2 (ja) | 2006-01-12 | 2011-11-30 | 株式会社豊田中央研究所 | 筋骨格モデル作成方法、人体応力/ひずみ推定方法、プログラムおよび記録媒体 |
US8762733B2 (en) | 2006-01-30 | 2014-06-24 | Adidas Ag | System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint |
US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
US7827000B2 (en) | 2006-03-03 | 2010-11-02 | Garmin Switzerland Gmbh | Method and apparatus for estimating a motion parameter |
US8311623B2 (en) | 2006-04-15 | 2012-11-13 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for estimating surface electromyography |
JP2009534108A (ja) | 2006-04-21 | 2009-09-24 | クァンタム・アプライド・サイエンス・アンド・リサーチ・インコーポレーテッド | 電気信号測定システム |
WO2007137047A2 (en) | 2006-05-16 | 2007-11-29 | Greer Douglas S | Modeling the neocortex |
US7661068B2 (en) | 2006-06-12 | 2010-02-09 | Microsoft Corporation | Extended eraser functions |
US9405372B2 (en) | 2006-07-14 | 2016-08-02 | Ailive, Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
US7848797B2 (en) | 2006-08-17 | 2010-12-07 | Neurometrix, Inc. | Motor unit number estimation (MUNE) for the assessment of neuromuscular function |
US8437844B2 (en) | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
US7885732B2 (en) * | 2006-10-25 | 2011-02-08 | The Boeing Company | Systems and methods for haptics-enabled teleoperation of vehicles and other devices |
US20080221487A1 (en) | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
ATE513508T1 (de) | 2007-04-24 | 2011-07-15 | Koninkl Philips Electronics Nv | Sensoranordnung und verfahren zur überwachung physiologischer parameter |
FR2916069B1 (fr) | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | Procede de traitement pour la capture de mouvement d'une structure articulee |
DE102007044555A1 (de) | 2007-07-18 | 2009-01-22 | Siemens Ag | Optische Koppelvorrichtung und Verfahren zu deren Herstellung |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP5559691B2 (ja) | 2007-09-24 | 2014-07-23 | クアルコム,インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
US20090082692A1 (en) * | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
US7714757B2 (en) | 2007-09-26 | 2010-05-11 | Medtronic, Inc. | Chopper-stabilized analog-to-digital converter |
US8343079B2 (en) | 2007-10-18 | 2013-01-01 | Innovative Surgical Solutions, Llc | Neural monitoring sensor |
FI20075798A0 (fi) | 2007-11-12 | 2007-11-12 | Polar Electro Oy | Elektrodirakenne |
GB0800144D0 (en) | 2008-01-04 | 2008-02-13 | Fitzpatrick Adam P | Electrocardiographic device and method |
US9597015B2 (en) | 2008-02-12 | 2017-03-21 | Portland State University | Joint angle tracking with inertial sensors |
US20100030532A1 (en) | 2008-06-12 | 2010-02-04 | Jasbir Arora | System and methods for digital human model prediction and simulation |
US9037530B2 (en) | 2008-06-26 | 2015-05-19 | Microsoft Technology Licensing, Llc | Wearable electromyography-based human-computer interface |
US8447704B2 (en) | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
US8444564B2 (en) | 2009-02-02 | 2013-05-21 | Jointvue, Llc | Noninvasive diagnostic system |
US8764676B2 (en) | 2009-05-07 | 2014-07-01 | Massachusetts Eye & Ear Infirmary | Signal processing in physiological noise |
US8376968B2 (en) | 2009-05-15 | 2013-02-19 | The Hong Kong Polytechnic University | Method and system for quantifying an intention of movement of a user |
US20100315266A1 (en) | 2009-06-15 | 2010-12-16 | Microsoft Corporation | Predictive interfaces with usability constraints |
EP2459062A4 (en) | 2009-07-30 | 2017-04-05 | University of Cape Town | Non-invasive deep muscle electromyography |
US8718980B2 (en) | 2009-09-11 | 2014-05-06 | Qualcomm Incorporated | Method and apparatus for artifacts mitigation with multiple wireless sensors |
KR101152841B1 (ko) * | 2009-09-29 | 2012-07-03 | 한국과학기술원 | 근육 진동 신호를 이용한 팔 굽힘 힘 추정장치 및 방법 |
US20110077484A1 (en) | 2009-09-30 | 2011-03-31 | Nellcor Puritan Bennett Ireland | Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters |
TWI496558B (zh) | 2009-10-20 | 2015-08-21 | Tatung Co | 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法 |
US8421634B2 (en) | 2009-12-04 | 2013-04-16 | Microsoft Corporation | Sensing mechanical energy to appropriate the body for data input |
WO2011072684A1 (en) | 2009-12-16 | 2011-06-23 | Ictalcare A/S | A system for the prediction of epileptic seizures |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
JP5471490B2 (ja) | 2010-01-20 | 2014-04-16 | オムロンヘルスケア株式会社 | 体動検出装置 |
US9268990B2 (en) | 2010-03-16 | 2016-02-23 | Carlo Trugenberger | Apparatus and method for producing an identification device |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
FR2962821B1 (fr) | 2010-07-13 | 2013-02-22 | Commissariat Energie Atomique | Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe. |
WO2012018821A2 (en) | 2010-08-02 | 2012-02-09 | The Johns Hopkins University | Method for presenting force sensor information using cooperative robot control and audio feedback |
US20120066163A1 (en) | 2010-09-13 | 2012-03-15 | Nottingham Trent University | Time to event data analysis method and system |
US20130123656A1 (en) | 2010-11-15 | 2013-05-16 | Sandy L. Heck | Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System |
WO2012155157A1 (en) | 2011-05-06 | 2012-11-15 | Azoteq (Pty) Ltd | Multiple media capacitive sensor |
EP2721582A4 (en) | 2011-06-20 | 2015-03-25 | Nokia Corp | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR IMPLEMENTING DETAILED POSITION PROVISIONS OF OBJECTS |
US9128521B2 (en) | 2011-07-13 | 2015-09-08 | Lumo Bodytech, Inc. | System and method of biomechanical posture detection and feedback including sensor normalization |
WO2013029196A1 (zh) | 2011-08-26 | 2013-03-07 | 国立云林科技大学 | 回馈控制的穿戴式上肢电刺激装置 |
KR20190133080A (ko) | 2011-09-19 | 2019-11-29 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
US20130077820A1 (en) | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
FR2981561B1 (fr) | 2011-10-21 | 2015-03-20 | Commissariat Energie Atomique | Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants |
ITTO20111024A1 (it) | 2011-11-08 | 2013-05-09 | Bitron Spa | Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali. |
WO2013071285A1 (en) | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
JP2013206273A (ja) | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法、および情報処理システム |
US10130298B2 (en) | 2012-04-03 | 2018-11-20 | Carnegie Mellon University | Musculoskeletal activity recognition system and method |
US9867548B2 (en) | 2012-05-25 | 2018-01-16 | Emotiv, Inc. | System and method for providing and aggregating biosignals and action data |
US9278453B2 (en) | 2012-05-25 | 2016-03-08 | California Institute Of Technology | Biosleeve human-machine interface |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US20150366504A1 (en) | 2014-06-20 | 2015-12-24 | Medibotics Llc | Electromyographic Clothing |
US10921886B2 (en) | 2012-06-14 | 2021-02-16 | Medibotics Llc | Circumferential array of electromyographic (EMG) sensors |
US9814426B2 (en) | 2012-06-14 | 2017-11-14 | Medibotics Llc | Mobile wearable electromagnetic brain activity monitor |
US9891718B2 (en) | 2015-04-22 | 2018-02-13 | Medibotics Llc | Devices for measuring finger motion and recognizing hand gestures |
US8484022B1 (en) | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
US20150182165A1 (en) | 2012-08-03 | 2015-07-02 | Neurotopia, Inc. | Neurophysiological training headset |
US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
US9351653B1 (en) | 2012-11-29 | 2016-05-31 | Intan Technologies, LLC | Multi-channel reconfigurable systems and methods for sensing biopotential signals |
US10009644B2 (en) | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
US20140196131A1 (en) | 2013-01-07 | 2014-07-10 | Salutron, Inc. | User authentication based on a wrist vein pattern |
US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
WO2014130871A1 (en) | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control |
US20140245200A1 (en) | 2013-02-25 | 2014-08-28 | Leap Motion, Inc. | Display control with gesture-selectable control paradigms |
US20140249397A1 (en) | 2013-03-01 | 2014-09-04 | Thalmic Labs Inc. | Differential non-contact biopotential sensor |
US9436287B2 (en) | 2013-03-15 | 2016-09-06 | Qualcomm Incorporated | Systems and methods for switching processing modes using gestures |
US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
US9766709B2 (en) | 2013-03-15 | 2017-09-19 | Leap Motion, Inc. | Dynamic user interactions for display control |
US20140277622A1 (en) | 2013-03-15 | 2014-09-18 | First Principles, Inc. | System and method for bio-signal control of an electronic device |
IN2013MU01148A (zh) | 2013-03-26 | 2015-04-24 | Tata Consultancy Services Ltd | |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9717440B2 (en) | 2013-05-03 | 2017-08-01 | The Florida International University Board Of Trustees | Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments |
WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
US10314506B2 (en) | 2013-05-15 | 2019-06-11 | Polar Electro Oy | Heart activity sensor structure |
US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
US9218574B2 (en) | 2013-05-29 | 2015-12-22 | Purepredictive, Inc. | User interface for machine learning |
CN105263448B (zh) | 2013-05-31 | 2018-05-04 | 哈佛大学校长及研究员协会 | 用于辅助人体运动的软机器护甲 |
KR101933921B1 (ko) | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
US9383819B2 (en) | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
EP3003149A4 (en) | 2013-06-03 | 2017-06-14 | Kacyvenski, Isaiah | Motion sensor and analysis |
US11083402B2 (en) | 2013-06-04 | 2021-08-10 | Medtronic, Inc. | Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal |
KR101501661B1 (ko) | 2013-06-10 | 2015-03-12 | 한국과학기술연구원 | 착용형 근전도 센서 시스템 |
WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
US10402517B2 (en) | 2013-06-26 | 2019-09-03 | Dassault Systémes Simulia Corp. | Musculo-skeletal modeling using finite element analysis, process integration, and design optimization |
US9408316B2 (en) | 2013-07-22 | 2016-08-02 | Thalmic Labs Inc. | Systems, articles and methods for strain mitigation in wearable electronic devices |
US20150029092A1 (en) | 2013-07-23 | 2015-01-29 | Leap Motion, Inc. | Systems and methods of interpreting complex gestures |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
WO2015027089A1 (en) | 2013-08-23 | 2015-02-26 | Thalmic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
US20150140934A1 (en) | 2013-09-10 | 2015-05-21 | Playtabase, LLC | Wireless motion activated user device with bi-modality communication |
US9483123B2 (en) | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
WO2015044851A2 (en) | 2013-09-25 | 2015-04-02 | Mindmaze Sa | Physiological parameter measurement and feedback system |
US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
CN103777752A (zh) | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
GB2519987B (en) | 2013-11-04 | 2021-03-03 | Imperial College Innovations Ltd | Biomechanical activity monitoring |
US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
CN105722479B (zh) | 2013-11-13 | 2018-04-13 | 赫尔实验室有限公司 | 用于控制大脑机器接口和神经假肢***的*** |
WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
US20150157944A1 (en) | 2013-12-06 | 2015-06-11 | Glenn I. Gottlieb | Software Application for Generating a Virtual Simulation for a Sport-Related Activity |
US9367139B2 (en) | 2013-12-12 | 2016-06-14 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
US10585484B2 (en) * | 2013-12-30 | 2020-03-10 | Samsung Electronics Co., Ltd. | Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device |
US9659403B1 (en) | 2014-01-06 | 2017-05-23 | Leap Motion, Inc. | Initializing orientation in space for predictive information for free space gesture control and communication |
US9524580B2 (en) | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
JP2017509386A (ja) | 2014-02-14 | 2017-04-06 | サルミック ラブス インコーポレイテッド | 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス |
US10254843B2 (en) | 2014-02-28 | 2019-04-09 | Vikas Gupta | Gesture operated wrist mounted camera system |
US10613642B2 (en) | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
US20150261306A1 (en) | 2014-03-17 | 2015-09-17 | Thalmic Labs Inc. | Systems, devices, and methods for selecting between multiple wireless connections |
US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
US20150296553A1 (en) | 2014-04-11 | 2015-10-15 | Thalmic Labs Inc. | Systems, devices, and methods that establish proximity-based wireless connections |
US9858391B2 (en) | 2014-04-17 | 2018-01-02 | The Boeing Company | Method and system for tuning a musculoskeletal model |
US20170080346A1 (en) | 2014-05-01 | 2017-03-23 | Mohamad Abbas | Methods and systems relating to personalized evolving avatars |
US20150325202A1 (en) | 2014-05-07 | 2015-11-12 | Thalmic Labs Inc. | Systems, devices, and methods for wearable computers with heads-up displays |
US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
USD717685S1 (en) | 2014-05-15 | 2014-11-18 | Thalmic Labs Inc. | Expandable armband |
KR101666399B1 (ko) | 2014-05-15 | 2016-10-14 | 한국과학기술연구원 | 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
USD756359S1 (en) | 2014-05-15 | 2016-05-17 | Thalmic Labs Inc. | Expandable armband device |
US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
US10782657B2 (en) | 2014-05-27 | 2020-09-22 | Ultrahaptics IP Two Limited | Systems and methods of gestural interaction in a pervasive computing environment |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
WO2015199747A1 (en) | 2014-06-23 | 2015-12-30 | Thalmic Labs Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US10216274B2 (en) | 2014-06-23 | 2019-02-26 | North Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US9552069B2 (en) | 2014-07-11 | 2017-01-24 | Microsoft Technology Licensing, Llc | 3D gesture recognition |
US9734704B2 (en) | 2014-08-12 | 2017-08-15 | Dominick S. LEE | Wireless gauntlet for electronic control |
WO2016041088A1 (en) | 2014-09-19 | 2016-03-24 | Sulon Technologies Inc. | System and method for tracking wearable peripherals in augmented reality and virtual reality applications |
US9811555B2 (en) | 2014-09-27 | 2017-11-07 | Intel Corporation | Recognition of free-form gestures from orientation tracking of a handheld or wearable device |
WO2016076376A1 (ja) | 2014-11-12 | 2016-05-19 | 京セラ株式会社 | ウェアラブル装置 |
US9720515B2 (en) | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
US9612661B2 (en) | 2015-01-02 | 2017-04-04 | Wearable Devices Ltd. | Closed loop feedback interface for wearable devices |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
US20160274758A1 (en) | 2015-03-20 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for mitigating false positives in human-electronics interfaces |
KR102325342B1 (ko) * | 2015-04-01 | 2021-11-11 | 삼성전자주식회사 | 무선 통신 연결 방법 및 장치 |
US10432842B2 (en) | 2015-04-06 | 2019-10-01 | The Texas A&M University System | Fusion of inertial and depth sensors for movement measurements and recognition |
WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
GB2537899B (en) | 2015-04-30 | 2018-02-21 | Hy5Pro As | Control of digits for artificial hand |
US9654477B1 (en) | 2015-05-05 | 2017-05-16 | Wells Fargo Bank, N. A. | Adaptive authentication |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
MX2017015590A (es) | 2015-06-02 | 2018-07-06 | Battelle Memorial Institute | Manga neuronal para estimulacion, deteccion y registro neuromuscular. |
US20180333575A1 (en) | 2015-06-02 | 2018-11-22 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
EP3302688B1 (en) | 2015-06-02 | 2020-11-04 | Battelle Memorial Institute | Systems for neural bridging of the nervous system |
US11589814B2 (en) | 2015-06-26 | 2023-02-28 | Carnegie Mellon University | System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition |
US9240069B1 (en) | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
WO2017019991A1 (en) | 2015-07-29 | 2017-02-02 | Sensel Inc. | Systems and methods for manipulating a virtual environment |
KR101626748B1 (ko) | 2015-08-03 | 2016-06-14 | 숭실대학교산학협력단 | 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법 |
US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
US9824287B2 (en) | 2015-09-29 | 2017-11-21 | Huami Inc. | Method, apparatus and system for biometric identification |
US10459537B2 (en) | 2015-09-30 | 2019-10-29 | Stmicroelectronics, Inc. | Encapsulated pressure sensor |
WO2017062544A1 (en) | 2015-10-06 | 2017-04-13 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity |
US9881273B2 (en) | 2015-10-28 | 2018-01-30 | Disney Interprises, Inc. | Automatic object detection and state estimation via electronic emissions sensing |
US10595941B2 (en) | 2015-10-30 | 2020-03-24 | Orthosensor Inc. | Spine measurement system and method therefor |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10776712B2 (en) | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
CN105511615B (zh) | 2015-12-04 | 2019-03-05 | 深圳大学 | 基于emg的可穿戴式文本输入***及方法 |
US20170188980A1 (en) | 2016-01-06 | 2017-07-06 | Empire Technology Development Llc | Wearable sensor based body modeling |
US11402402B2 (en) | 2016-01-12 | 2022-08-02 | Bigmotion Technologies Inc. | Systems and methods for human body motion capture |
US20170259167A1 (en) | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
US9864434B2 (en) | 2016-03-30 | 2018-01-09 | Huami Inc. | Gesture control of interactive events using multiple wearable devices |
US10503253B2 (en) | 2016-03-31 | 2019-12-10 | Intel Corporation | Sensor signal processing to determine finger and/or hand position |
US10331265B2 (en) | 2016-03-31 | 2019-06-25 | Sensel, Inc. | Human-computer interface system |
US10852835B2 (en) | 2016-04-15 | 2020-12-01 | Board Of Regents, The University Of Texas System | Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities |
US10256535B2 (en) | 2016-04-19 | 2019-04-09 | Skyworks Solutions, Inc. | Selectively shielding radio frequency module with multi-layer antenna |
US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
US10203751B2 (en) | 2016-05-11 | 2019-02-12 | Microsoft Technology Licensing, Llc | Continuous motion controls operable using neurological data |
CN109661251A (zh) | 2016-05-31 | 2019-04-19 | 斯高弗盖斯特实验室公司 | 神经刺激装置和方法 |
US10426371B2 (en) | 2016-06-07 | 2019-10-01 | Smk Corporation | Muscle condition measurement sheet |
KR101790147B1 (ko) | 2016-06-22 | 2017-10-25 | 재단법인 실감교류인체감응솔루션연구단 | 가상 객체 조작 시스템 및 방법 |
KR20190025965A (ko) | 2016-07-01 | 2019-03-12 | 엘.아이.에프.이. 코포레이션 에스.에이. | 복수의 센서들을 갖는 의복들에 의한 바이오메트릭 식별 |
US10409371B2 (en) | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
WO2018022657A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | System and method for measuring the movements of articulated rigid bodies |
US20190223748A1 (en) | 2018-01-25 | 2019-07-25 | Ctrl-Labs Corporation | Methods and apparatus for mitigating neuromuscular signal artifacts |
US10496168B2 (en) | 2018-01-25 | 2019-12-03 | Ctrl-Labs Corporation | Calibration techniques for handstate representation modeling using neuromuscular signals |
EP3487395A4 (en) | 2016-07-25 | 2020-03-04 | CTRL-Labs Corporation | METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS |
WO2018022658A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Adaptive system for deriving control signals from measurements of neuromuscular activity |
US10489986B2 (en) * | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US10765363B2 (en) | 2016-09-30 | 2020-09-08 | Cognionics, Inc. | Headgear for dry electroencephalogram sensors |
US10084612B2 (en) * | 2016-10-05 | 2018-09-25 | International Business Machines Corporation | Remote control with muscle sensor and alerting sensor |
US10162422B2 (en) | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
US10070799B2 (en) * | 2016-12-02 | 2018-09-11 | Pison Technology, Inc. | Detecting and using body tissue electrical signals |
US10646139B2 (en) | 2016-12-05 | 2020-05-12 | Intel Corporation | Body movement tracking |
US20190025919A1 (en) * | 2017-01-19 | 2019-01-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in an augmented reality system |
EP3609402A4 (en) | 2017-04-14 | 2020-12-16 | Rehabilitation Institute Of Chicago D/B/A Shirley | PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES |
US11259746B2 (en) | 2017-07-10 | 2022-03-01 | General Electric Company | Method and system for neuromuscular transmission measurement |
US10481699B2 (en) | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
US20190076716A1 (en) | 2017-09-12 | 2019-03-14 | Intel Corporation | Activity training system |
CN112040858B (zh) | 2017-10-19 | 2024-06-07 | 元平台技术有限公司 | 用于识别与神经肌肉源信号相关的生物结构的***和方法 |
US10606620B2 (en) | 2017-11-16 | 2020-03-31 | International Business Machines Corporation | Notification interaction in a touchscreen user interface |
US20190150777A1 (en) | 2017-11-17 | 2019-05-23 | Ctrl-Labs Corporation | Dual-supply analog circuitry for sensing surface emg signals |
US10827942B2 (en) * | 2018-01-03 | 2020-11-10 | Intel Corporation | Detecting fatigue based on electroencephalogram (EEG) data |
WO2019148002A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
WO2019147956A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Visualization of reconstructed handstate information |
WO2019147949A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Real-time processing of handstate representation model estimates |
WO2019147928A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Handstate reconstruction based on multiple inputs |
US20190247650A1 (en) | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
US20190324549A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Systems, devices, and methods for providing immersive reality interface modes |
US10861242B2 (en) * | 2018-05-22 | 2020-12-08 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
WO2019226259A1 (en) * | 2018-05-25 | 2019-11-28 | Ctrl-Labs Corporation | Methods and apparatus for providing sub-muscular control |
EP3857342A4 (en) | 2018-09-26 | 2021-12-01 | Facebook Technologies, LLC. | NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT |
-
2019
- 2019-09-26 EP EP19864100.3A patent/EP3857342A4/en active Pending
- 2019-09-26 CN CN201980063644.6A patent/CN112771478A/zh active Pending
- 2019-09-26 WO PCT/US2019/053234 patent/WO2020069181A1/en unknown
- 2019-09-26 US US16/584,484 patent/US10921764B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102202725A (zh) * | 2008-10-21 | 2011-09-28 | Med-El电气医疗器械有限公司 | 用于面神经刺激的***和方法 |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
US20140028712A1 (en) * | 2012-07-26 | 2014-01-30 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
JP2018026066A (ja) * | 2016-08-12 | 2018-02-15 | 株式会社スキップ | 制御システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023279600A1 (zh) * | 2021-07-08 | 2023-01-12 | 歌尔股份有限公司 | 耳机的音效调节方法、装置及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020069181A1 (en) | 2020-04-02 |
EP3857342A4 (en) | 2021-12-01 |
EP3857342A1 (en) | 2021-08-04 |
US10921764B2 (en) | 2021-02-16 |
US20200097083A1 (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10921764B2 (en) | Neuromuscular control of physical objects in an environment | |
US11543887B2 (en) | User interface control of responsive devices | |
US11474604B2 (en) | User interface control of responsive devices | |
US10970936B2 (en) | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment | |
US11493993B2 (en) | Systems, methods, and interfaces for performing inputs based on neuromuscular control | |
US20200097081A1 (en) | Neuromuscular control of an augmented reality system | |
EP3843617B1 (en) | Camera-guided interpretation of neuromuscular signals | |
US11567573B2 (en) | Neuromuscular text entry, writing and drawing in augmented reality systems | |
JP6669069B2 (ja) | 検出装置、検出方法、制御装置、および制御方法 | |
US20230113991A1 (en) | Biopotential-Based Gesture Interpretation With Machine Labeling | |
CN114730215A (zh) | 用于远程控制环境中的设备的***和方法 | |
CN114255511A (zh) | 用于手势识别的控制器和方法以及手势识别设备 | |
CN117897678A (zh) | 多设备手势控制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
CB02 | Change of applicant information |