JP2021535465A - 神経筋信号のカメラ誘導による解釈 - Google Patents
神経筋信号のカメラ誘導による解釈 Download PDFInfo
- Publication number
- JP2021535465A JP2021535465A JP2021506985A JP2021506985A JP2021535465A JP 2021535465 A JP2021535465 A JP 2021535465A JP 2021506985 A JP2021506985 A JP 2021506985A JP 2021506985 A JP2021506985 A JP 2021506985A JP 2021535465 A JP2021535465 A JP 2021535465A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- information
- neuromuscular
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002232 neuromuscular Effects 0.000 title claims abstract description 391
- 238000000034 method Methods 0.000 claims abstract description 278
- 210000003205 muscle Anatomy 0.000 claims abstract description 98
- 238000003860 storage Methods 0.000 claims abstract description 81
- 210000005036 nerve Anatomy 0.000 claims abstract description 57
- 210000003811 finger Anatomy 0.000 claims description 69
- 230000033001 locomotion Effects 0.000 claims description 68
- 210000000245 forearm Anatomy 0.000 claims description 60
- 230000000007 visual effect Effects 0.000 claims description 49
- 230000036544 posture Effects 0.000 claims description 46
- 210000000707 wrist Anatomy 0.000 claims description 39
- 210000003813 thumb Anatomy 0.000 claims description 34
- 230000003190 augmentative effect Effects 0.000 claims description 27
- 239000003550 marker Substances 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000001537 neural effect Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000000638 stimulation Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 210000003857 wrist joint Anatomy 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 79
- 230000008569 process Effects 0.000 description 40
- 230000004913 activation Effects 0.000 description 33
- 238000001994 activation Methods 0.000 description 33
- 238000013528 artificial neural network Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 21
- 210000004247 hand Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000010304 firing Methods 0.000 description 7
- 210000001503 joint Anatomy 0.000 description 7
- 238000003825 pressing Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 210000002346 musculoskeletal system Anatomy 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 206010049816 Muscle tightness Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000002593 electrical impedance tomography Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/30—Input circuits therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報が使用される、コンピュータ化システム、方法、およびこれらの方法を実装するためのコードを記憶したコンピュータ可読記憶媒体が提供される。1つのそのようなシステムは、少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、ユーザからの複数の神経筋信号を感知して記憶するように構成された複数の神経筋センサーと、少なくとも1つのコンピュータプロセッサとを含む。複数の神経筋センサーは、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置される。少なくとも1つのコンピュータプロセッサは、複数の神経筋信号および少なくとも1つの画像に少なくとも部分的に基づいて、1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、1つまたは複数の推論モデルを較正するようにプログラムされる。【選択図】図10
Description
関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、「CAMERA−GUIDED INTERPRETATION OF NEUROMUSCULAR SIGNALS」と題する2018年8月31日に出願した、米国仮特許出願第62/726、159号の米国特許法第119(e)条による利益を主張するものである。
本出願は、その内容全体が参照により本明細書に組み込まれる、「CAMERA−GUIDED INTERPRETATION OF NEUROMUSCULAR SIGNALS」と題する2018年8月31日に出願した、米国仮特許出願第62/726、159号の米国特許法第119(e)条による利益を主張するものである。
本技術は、拡張現実環境または仮想現実環境内で機能を実行する際に使用するための神経筋信号を検出および解釈し、神経筋信号を解釈するために使用されるモデルを較正する、システムおよび方法に関する。
人体の筋骨格表現を生成するいくつかのコンピュータアプリケーションにおいて、アプリケーションが、ユーザの身体の空間的位置調整、方向、および動きを知り、身体の動きの写実的表現を提供することが望ましい。たとえば、拡張現実(AR)環境または仮想現実(VR)環境内で、ユーザの手の空間的位置を追跡することは、アプリケーションがAR環境またはVR環境内で手の動きを表すことを可能にし、これは、ユーザがAR環境またはVR環境内で仮想オブジェクトと(たとえば、把持することまたは操作することによって)対話することができるようにする。ユーザの身体の異なる部分に関する位置情報および/または方向情報を取得するために、ユーザの身体の異なる部分に貼り付けられた慣性計測装置(IMU)など、着用可能センサーを使用して、ユーザの身体の動きを追跡するための技法が開発されている。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムが提供される。このシステムは、少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも1つのコンピュータプロセッサとを備え得る。少なくとも1つのプロセッサは、複数の神経筋信号および少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、1つまたは複数の推論モデルを較正するようにプログラムされ得る。
一態様では、少なくとも1つのパラメータの更新は、1つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルを較正するために少なくとも1つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新、1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新のうちのいずれか1つまたは任意の組み合わせを含み得る。
別の態様では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも1つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも1つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が1つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように1つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、コンピュータ化システムは、拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムをさらに備え得る。少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
本態様の変形形態では、少なくとも1つのカメラは、XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、少なくとも1つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにXRシステムに命令するようにさらにプログラムされ得る。
本態様の別の変形形態では、少なくとも1つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにXRシステムに命令するようにさらにプログラムされ得る。
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
本態様の別の変形形態では、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、ユーザによって実行されるジェスチャは特定のジェスチャに整合すると検出され得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
本態様の様々な変形形態では、視覚表現はXR環境内にあり得る。
本態様の変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの1つであってよい。
本態様の変形形態では、少なくとも1つの画像は、ユーザによるジェスチャの実行中に少なくとも1つのカメラによってキャプチャされ得、少なくとも1つのコンピュータプロセッサは、ユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させるようにさらにプログラムされ得る。一例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内に完全に含まれているかどうかを示し得る。別の例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。別の例では、少なくとも1つのコンピュータプロセッサは、フィードバックをXR環境内で提供するようにXRシステムに命令し得る。別の例では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を含み得る。たとえば、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメント(segment)に関する位置情報を含むかどうかを判定するようにさらにプログラムされ得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することを含み得る。
一態様では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されるXR環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
本態様の別の変形形態では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、1つまたは複数の推論モデルの少なくとも1つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも1本の指の長さを備え得る。
一態様では、少なくとも1つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。1つまたは複数の推論モデルの少なくとも1つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも1つのコンピュータプロセッサによって、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像および少なくとも1つの画像から導出された情報のうちの一方または両方を受信することと、少なくとも1つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、少なくとも1つのプロセッサによって、複数の神経筋信号および少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、1つまたは複数の推論モデルを較正することとを含み得る。
一態様では、少なくとも1つのパラメータの更新は、1つまたは複数の推論モデルを較正するために複数の神経筋信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルを較正するために少なくとも1つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新と、1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも1つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも1つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が1つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように1つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することとをさらに含み得る。少なくとも1つのプロセッサは、拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムと通信中であり得る。
本態様の変形形態では、少なくとも1つのカメラは、XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、この方法は、少なくとも1つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにXRシステムに命令することをさらに含み得る。
本態様の別の変形形態では、この方法は、少なくとも1つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにXRシステムに命令することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
これらの態様のうちのいくつかの変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
これらの態様のうちのいくつかの変形形態では、視覚表現はXR環境内にあり得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの1つであってよい。
これらの態様のうちのいくつかの変形形態では、少なくとも1つの画像は、ユーザによるジェスチャの実行中に、少なくとも1つのカメラによってキャプチャされ得る。この方法は、少なくとも1つのプロセッサが、ユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内に完全に含まれているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内で完全または部分的に遮蔽されているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、少なくとも1つのコンピュータプロセッサは、XRシステムにフィードバックをXR環境内に提供させ得る。
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、この方法は、少なくとも1つのコンピュータプロセッサによって、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することを含み得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されたXR環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、少なくとも1つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
本態様の別の変形形態では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、この方法は、少なくとも1つのコンピュータプロセッサによって、少なくとも1つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、1つまたは複数の推論モデルの少なくとも1つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも1本の指の長さを備え得る。
一態様では、少なくとも1つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。1つまたは複数の推論モデルの少なくとも1つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、そのコードが、少なくとも1つのコンピュータによって実行されるとき、少なくとも1つのコンピュータに筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像および少なくとも1つの画像から導出された情報のうちの一方または両方を受信することと、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、複数の神経筋信号および少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、1つまたは複数の推論モデルを較正することとを含み得る。
一態様では、少なくとも1つのパラメータの更新は、1つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルを較正するために少なくとも1つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新、1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新のうちのいずれか1つまたは任意の組み合わせを含む。
一態様では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも1つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも1つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が1つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように1つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、少なくとも1つのコンピュータは、拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムと通信中であり得る。この方法は、少なくとも1つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変形形態では、少なくとも1つのカメラは、XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにXRシステムに命令することをさらに含み得る。
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにXRシステムに命令することをさらに含み得る。
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
本態様の別の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
これらの態様のうちのいくつかの変形形態では、視覚表現はXR環境内にあり得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの1つであってよい。
これらの態様のうちのいくつかの変形形態では、少なくとも1つの画像は、ユーザによるジェスチャの実行中に少なくとも1つのカメラによってキャプチャされ得る。この方法は、ユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内に完全に含まれているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも1つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、フィードバックはXR環境内に提供させられ得る。
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、この方法は、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することを含み得る。
一態様では、この方法は、少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されたXR環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合する場合、少なくとも1つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように1つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変更形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
これらの態様のうちのいくつかの変形形態では、1つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、この方法は、少なくとも1つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。1つまたは複数の推論モデルに関連する少なくとも1つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、1つまたは複数の推論モデルの少なくとも1つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも1本の指の長さを備え得る。
一態様では、少なくとも1つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。1つまたは複数の推論モデルの少なくとも1つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムが提供される。このシステムは、少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも1つのコンピュータプロセッサとを備え得る。少なくとも1つのプロセッサは、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも1つの画像に基づく情報を提供し、トレーニングされた推論モデルの出力に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定し、位置情報、または力情報、または位置情報および力情報の両方を出力するようにプログラムされ得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか1つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
一態様では、少なくとも1つのコンピュータプロセッサは、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定し、複数の神経筋信号および少なくとも1つの画像に基づいて情報を判定するために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重するようにさらにプログラムされ得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つのコンピュータプロセッサは、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定するようにさらにプログラムされ得る。
一態様では、2つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図(EMG)センサーを含み得る。少なくとも1つのコンピュータプロセッサは、複数のEMGセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定し、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも1つの画像によってキャプチャされ得る。2つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。少なくとも1つのコンピュータプロセッサは、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも1つを判定するようにプログラムされ得る。
本態様の変形形態では、少なくとも1つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも1つの画像をキャプチャし得る。1つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。少なくとも1つのコンピュータプロセッサは、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定するようにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、コンピュータ化システムは、少なくとも1つの慣性計測装置(IMU)センサーをさらに備え得る。少なくとも1つのコンピュータプロセッサは、少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。さらなる変形形態では、少なくとも1つのコンピュータプロセッサは、少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定し、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整するようにプログラムされ得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも1つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも2つが接触していることを判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも2つの間にかけられた力を判定することによって、力情報を判定し得る。
様々なさらなる変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも2つは、ユーザの親指およびユーザの少なくとも1本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指とユーザの少なくとも1本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも1本の他の指との間にかけられた力を判定し得る。トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指の先とユーザの少なくとも1本の他の指の先とが接触しているとさらに判定し得る。
一態様では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定し、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定するようにさらにプログラムされ得る。
本態様の変形形態では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像から、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定し、複数の神経筋信号のみに基づいて、力情報を判定するようにプログラムされ得る。
本態様の別の変形形態では、物理的オブジェクトは、柔軟な(pliable)面を有し得る。少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持していると判定し、複数の神経筋信号、および少なくとも1つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定するようにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
これらの態様のうちのいくつかの変形形態では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、少なくとも1つの画像に基づく情報は、少なくとも1つの画像の画像信号および少なくとも1つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。少なくとも1つのコンピュータプロセッサは、面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定するようにさらにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実(XR)システムによって生成されたXR環境内に表示される仮想オブジェクトであってよい。少なくとも1つのコンピュータプロセッサは、ユーザの手がXR環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定するようにさらにプログラムされ得る。
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも1つのプロセッサによって、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、少なくとも1つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、少なくとも1つのプロセッサによって、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも1つの画像に基づく情報を提供することと、少なくとも1つのプロセッサによって、トレーニングされた推論モデルの出力に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、少なくとも1つのプロセッサによって、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか1つまたは任意の組み合わせを含む筋骨格位置情報であってよい。
一態様では、この方法は、少なくとも1つのプロセッサによって、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定することと、少なくとも1つのプロセッサによって、複数の神経筋信号および少なくとも1つの画像に基づいて情報を判定するために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、少なくとも1つのプロセッサによって、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定することをさらに含み得る。
一態様では、2つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図(EMG)センサーを含み得る。この方法は、少なくとも1つのプロセッサによって、複数のEMGセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも1つの画像によってキャプチャされ得る。2つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、少なくとも1つのプロセッサによって、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも1つを判定することをさらに含み得る。
本態様の変形形態では、少なくとも1つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも1つの画像をキャプチャし得る。1つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。この方法は、少なくとも1つのプロセッサによって、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定することをさらに含み得る。
本態様のうちのいくつかの変形形態では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの慣性計測装置(IMU)センサーによって感知され記録されたIMU信号を受信することと、少なくとも1つのプロセッサによって、IMU信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、少なくとも1つのプロセッサによって、IMU信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも1つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも2つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも2つの間にかけられた力を判定することによって、力情報を判定し得る。
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも2つは、ユーザの親指およびユーザの少なくとも1本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指とユーザの少なくとも1本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも1本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指の先とユーザの少なくとも1本の他の指の先とが接触していると判定し得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、少なくとも1つのプロセッサによって、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
本態様の変形形態では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、少なくとも1つのプロセッサによって、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
本態様の別の変形形態では、物理的オブジェクトは、柔軟な面を有し得る。この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、少なくとも1つのプロセッサによって、複数の神経筋信号、および少なくとも1つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
一態様では、少なくとも1つの画像に基づく情報は、少なくとも1つの画像の画像信号および少なくとも1つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であり得る。この方法は、少なくとも1つのプロセッサによって、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実(XR)システムによって生成されたXR環境内で表示される仮想オブジェクトであってよい。この方法は、少なくとも1つのプロセッサによって、ユーザの手がXR環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも1つのコンピュータによって実行されるとき、少なくとも1つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも1つの画像に基づく情報を提供することと、トレーニングされた推論モデルの出力に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか1つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
一態様では、この方法は、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定することと、複数の神経筋信号および少なくとも1つの画像に基づいて情報を判定するために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定することをさらに含み得る。
一態様では、2つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図(EMG)センサーを含み得る。この方法は、複数のEMGセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも1つの画像によってキャプチャされ得る。2つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも1つを判定することをさらに含み得る。
本態様の変形形態では、少なくとも1つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも1つの画像をキャプチャし得る。1つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首の上またはユーザの前腕の上に着用され得る。この方法は、複数の神経筋信号および少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、この方法は、少なくとも1つの慣性計測装置(IMU)センサーによって感知され記録されたIMU信号を受信することと、IMU信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、IMU信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも1つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも2つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも2つの間にかけられた力を判定することによって、力情報を判定し得る。
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも2つは、ユーザの親指およびユーザの少なくとも1本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指とユーザの少なくとも1本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも1本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも1つの画像に基づいて、ユーザの親指の先とユーザの少なくとも1本の他の指の先とが接触していると判定し得る。
一態様では、この方法は、少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
本態様の変形形態では、この方法は、少なくとも1つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
本態様の別の変形形態では、物理的オブジェクトは柔軟な面を有し得る。この方法は、少なくとも1つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、複数の神経筋信号、および少なくとも1つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を含み得る。
一態様では、少なくとも1つの画像に基づく情報は、少なくとも1つの画像の画像信号および少なくとも1つの画像の画像信号から導出された情報のうちの一方または両方を含み得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。この方法は、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実(XR)システムによって生成されたXR環境内で表示される仮想オブジェクトであってよい。この方法は、ユーザの手がXR環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムが提供される。このシステムは、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、複数の神経筋信号が感知され記録される間に、少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、少なくとも1つのコンピュータプロセッサとを備え得る。少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像から取得された情報に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、複数の神経筋信号に基づいて力情報を判定し、位置情報を力情報に関連付け、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、更新された推論モデルをメモリ内に記憶させるようにプログラムされ得る。
一態様では、少なくとも1つのコンピュータプロセッサは、少なくとも1つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定し得る。
一態様では、少なくとも1つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか1つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、少なくとも1つのコンピュータプロセッサは、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定し、推論モデルをトレーニングするために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重するようにプログラムされ得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つのコンピュータプロセッサは、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定するようにさらにプログラムされ得る。
一態様では、少なくとも1つの所定の特性は、神経筋入力信号の1つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか1つまたは任意の組み合わせを備え得る。
一態様では、コンピュータ化システムは、少なくとも1つの慣性計測装置(IMU)センサーをさらに備え得る。少なくとも1つのコンピュータプロセッサは、少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的に基づいて、位置情報を判定するようにさらにプログラムされ得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法が提供される。この方法は、少なくとも1つのプロセッサによって、ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、ユーザの複数の神経筋信号を受信することと、少なくとも1つのプロセッサによって、複数の神経筋信号が感知され記録される間に、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、少なくとも1つのプロセッサによって、少なくとも1つの画像から取得された情報に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、少なくとも1つのプロセッサによって、複数の神経筋信号に基づいて力情報を判定することと、少なくとも1つのプロセッサによって、位置情報を力情報に関連付けることと、少なくとも1つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、少なくとも1つのプロセッサによって、更新された推論モデルをメモリ内に記憶させることとを含み得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
一態様では、少なくとも1つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか1つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定することと、少なくとも1つのプロセッサによって、推論モデルをトレーニングするために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、少なくとも1つのプロセッサによって、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定することをさらに含み得る。
一態様では、少なくとも1つの所定の特性は、神経筋入力信号の1つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか1つまたは任意の組み合わせを備え得る。
一態様では、この方法は、少なくとも1つのプロセッサによって、少なくとも1つの慣性計測装置(IMU)センサーから出力されたIMU信号を受信することと、少なくとも1つのプロセッサによって、少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
本明細書で説明する技術の態様によれば、コードを記録した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも1つのコンピュータによって実行されるとき、少なくとも1つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知および記録される、ユーザの複数の神経筋信号を受信することと、複数の神経筋信号が感知され記録される間に、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、少なくとも1つの画像から取得された情報に基づいて、ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、複数の神経筋信号に基づいて力情報を判定することと、位置情報を力情報に関連付けることと、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、更新された推論モデルをメモリ内に記憶させることとを含み得る。
一態様では、この方法は、少なくとも1つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
一態様では、少なくとも1つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか1つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも1つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせを含み得る。
一態様では、この方法は、複数の神経筋信号の第1の品質、または少なくとも1つの画像の第2の品質、または第1の品質および第2の品質の両方を判定することと、推論モデルをトレーニングするために、第1の品質および第2の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも1つの画像、または複数の神経筋信号および少なくとも1つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第1の品質は、複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも1つの画像の第2の品質は、ユーザの手が少なくとも1つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも1つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも1つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、第2の品質がしきい値よりも高いとの判定に応じて、第1の品質を判定することをさらに含み得る。
一態様では、少なくとも1つの所定の特性は、神経筋入力信号の1つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか1つまたは任意の組み合わせを備え得る。
一態様では、この方法は、少なくとも1つの慣性計測装置(IMU)センサーから出力されたIMU信号を受信することと、少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
一態様では、1つまたは複数の着用可能デバイスは、その上に含まれた少なくとも1つの位置マーカーを含み得る。位置情報は、少なくとも1つの画像内でキャプチャされた少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定され得る。
前述の概念および以下でより詳細に論じる追加の概念のすべての組み合わせは(そのような概念が相矛盾しないことを条件に)本明細書で開示する発明性のある主題の部分であると企図されることを諒解されたい。具体的には、本開示の最後に出現する、特許請求される主題のすべての組み合わせは、本明細書で開示する発明性のある主題の部分であることが企図される。
本技術の様々な非限定的な実施形態は、以下の図面を参照しながら説明される。これらの図面は必ずしも一定の尺度で示されているとは限らないことを諒解されたい。
いくつかの実施形態は、神経筋センサーを介して神経筋信号を感知するシステムを、拡大現実(XR)機能を実行するシステムに結合させることに関する。諒解されるように、XR機能は、拡張現実(AR)機能、仮想現実(VR)機能、複合現実(MR)機能、などを含み得る。具体的には、身体部分(たとえば、手、腕、など)の位置を判定するために神経筋信号を感知するシステムは、改善されたXR体験をユーザに提供するためにXRシステムと併せて使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なXR体験を改善するために使用され得る。身体部分に関連する筋骨格表現がセンサーデータに基づいて生成される実施形態では、XRシステム内のカメラは、筋骨格表現のモデルの精度を改善するために使用される、および/またはモデルを較正するために使用され得るデータをキャプチャし得る。さらに、別の実装形態では、センサーデータは、XR環境内でユーザに対して可視化され表示され得る筋肉活性化情報を提供し得る。さらに別の実装形態では、XR環境内の表示情報は、ユーザがシステムに対するそのユーザの筋骨格入力(たとえば、動き入力)をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号が、XRシステム自体の動作を含めて、XRシステム要素を制御することを可能にする制御特徴が提供され得る。
本発明者らは、カメラまたは神経筋センサーのいずれも、それ自体、理想的な入力システムではないことを認識している。XRシステムによって提供されるカメラなどのカメラは、関節セグメントが明らかに視野内にあるとき、(他の骨格セグメントと外部オブジェクトの両方に対して)良好な位置情報を提供し得るが、視野の制約および遮蔽により限定される可能性があり、力の測定には不適切であり得る。同時に、神経筋センサー(たとえば、筋電図(EMG)信号、または本明細書で説明するような神経筋信号の別のモダリティ)による信号の測定は、それ自体では、ユーザが自らにかけている力とユーザが外部オブジェクトにかけている力との間を区別するには不十分である可能性があり、そのような信号は、骨格形状、たとえば、指の長さに関して十分正確な情報を提供し得ない。いくつかの実施形態によれば、より正確かつより現実的なユーザ体験を提供するために、XRシステムおよび神経筋センサーベースのシステムの精度を高めることは有益であることを諒解されたい。
諒解されるように、推論モデルは、ユーザのタイプ(たとえば、典型的な成人男性、典型的な子ども、典型的な成人女性)に対する一般化された骨格形状に関連し得るか、または特定のユーザ(たとえば、Jane Miller、Henry Smith)に対するユーザ固有の骨格情報に関連し得る。
いくつかの実施形態によれば、システムは、神経筋信号、および動きおよび力発生に対する神経筋信号の関係の解釈を改善するためにカメラ情報を使用するように構成される。たとえば、ユーザの身体のセグメントの位置、ユーザの身体の動き、および/またはユーザの身体のセグメントによってもたらされる力の表現をより正確に表すために、神経筋信号に関連して、インサイドアウトカメラ(inside−out camera)および/またはXRシステムに関連する他のカメラシステムが使用され得る。たとえば、画像、ビデオ、画像の時系列、など、カメラ情報が、神経筋信号からのデータに対してグラウンドトゥルースラベルを提供することによって神経筋系を較正するために使用され得る。一実装形態では、システムは、XRディスプレイまたは他のスクリーン(スマートフォン、スマートウォッチ、タブレットコンピュータ、ラップトップ、デスクトップコンピュータ、ARディスプレイ、VRディスプレイ、などを含み得る)を通してユーザに提供されるプロンプト(たとえば、手のジェスチャ、視覚的または可聴的に提供される言語情報(たとえば、語(たとえば、「拳」)または句(たとえば、「親指を立てるジェスチャをする」))を使用して較正動作を実行することができ、ここで、ユーザは、整合がいつ生じるかを検出する際に、随意に、カメラの助けを得て、自らの手の姿勢をXRディスプレイ上に投影された手の姿勢と整合させるように求められる。さらに、カメラデータを使用して骨格形状の形状モデルを較正するなど、神経筋系を較正するために、他のタイプのカメラデータが使用され得る。たとえば、形状モデルの指の長さは、カメラデータを使用して検証および/または補正され得る。別の例では、ユーザの身体の2つ以上の部分が接触している(たとえば、親指の先と人差し指の先が「摘まむ」姿勢で接触している)と判定するためにカメラ情報が使用され得る。そのような場合、ユーザの身体の1つまたは複数の部分(すなわち、手、指、および/または手首)を自動的に識別し、ユーザの身体のそれらの部分の相対的位置を判定するために画像が処理され得る。たとえば、処理されたカメラ情報は、四元数、またはユーザの身体の一部分のセグメントおよび関節を表すための別の数学的枠組みに変換され得る。
いくつかの実施形態では、神経筋信号、カメラデータ、または両方が、筋骨格表現またはジェスチャのリアルタイム判定を提供するために使用され得る。たとえば、神経筋(たとえば、EMG)情報およびIMU情報はより正確な筋骨格表現を判定するために使用され得るため、さらにいっそう正確かつ一致した表現を作成するために、カメラデータなど、他のデータが使用され得る。さらに、リアルタイム筋骨格表現を判定するために、数あるセンサーデータの中でも、1つまたは複数のカメラからの信号、1つまたは複数のデバイスからの神経筋信号を含むが、これらに限定されない、複数の信号が使用され得ることを諒解されたい。IMUデータおよび/またはカメラデータなど、他のデータが、筋骨格表現に対する推論モデルをトレーニングし改善するために、ならびに骨格位置のリアルタイム表現を改善するために使用され得る。諒解されるように、推論モデルは、結果を推論するために確率分布に基づいて統計的推計を利用するモデルであり得、この点で、推論モデルは、統計モデルを備え得る。
本明細書で使用される「ジェスチャ」という用語は、1つまたは複数の身体部分の位置を含む、1つまたは複数の身体部分およびその構成に関連する力の統計的または動的な構成を指す。たとえば、ジェスチャは、手のひらを固体面の上に置くかもしくは押し付ける、またはボールを把持するなど、離散的ジェスチャ、指を前後に振る、ボールを把持して投げるなど、連続ジェスチャ、または離散的ジェスチャと連続ジェスチャの組み合わせを含む。ジェスチャは、対立筋を共収縮することまたは筋肉下(sub−muscular)活性化を使用することによって、関節を若干緊張させるなど、別の人物には知覚できない、内密の(covert)ジェスチャを含み得る。ジェスチャは、ジェスチャを実行するようにユーザを促すように構成されたアプリケーションによって定義され得るか、または代替として、ジェスチャは、ユーザによって任意に定義され得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ(たとえば、他のジェスチャ、対話、またはコマンドへのマッピングを指定するジェスチャ語彙に基づいて、たとえば、他のジェスチャ、対話、またはコマンドにマッピングされたジェスチャ)を含み得る。場合によっては、手および腕のジェスチャは、象徴的であり得、文化的基準に従って通信するために使用され得る。
いくつかの実施形態では、システムは、神経筋信号とカメラデータ(たとえば、カメラからのカメラ信号または画像信号)を組み合わせて、ユーザの身体のセグメント(すなわち、骨格セグメント)の位置を推論または再構築し得る。システムは、その信号の品質に基づいて、各信号に与えられた影響レベルを調整するように適合され得る。カメラ信号(たとえば、カメラからの画像信号)の場合、信号を信頼できないないものまたは不正確にさせる視野制限または遮蔽制限が存在し得る。EMGセンサーからの信号など、神経筋信号の場合、EMG信号を信頼できないものにする、生み出されたEMGアーチファクトが存在し得る(または、以下で説明するように、他のアーチファクトが神経筋信号の代替モダリティから導出された神経筋信号内に存在する)。そのような場合、システムは、(たとえば、手の状態またはジェスチャを判定するために)信号のうちのいずれかが使用されるべきか、または両方が使用されるべきかを判定するために、信号の各々の品質レベルを査定するように構成され得る。システムは、異なるタイプの信号源(たとえば、異なるセンサータイプ)の間で信号が使用される程度を調整するために、加重方法または別の組み合わせ方法を使用することもできる。また、特定の信号源に対する信頼性が高いとき、別のソースまたはモデルをトレーニングおよび/または補正するために、そのソースからの信号が使用され得る。たとえば、手がカメラの明瞭な視野内にある場合、神経筋信号の品質が評価され得、手の状態モデルの再トレーニングが実行され得る。
いくつかの実施形態では、システムは、神経筋信号に基づいて筋骨格表現を生成するための第1の推論モデル、およびカメラ入力(すなわち、カメラから取得された入力)に基づいて筋骨格表現を生成するため第2の推論モデルを含み得る。システムは、ユーザの手のすべてまたは一部分がカメラの視野内にあるかどうかなど、カメラ入力に関連する情報に少なくとも部分的に基づいて、ユーザの手の状態を表すために、第1の推論モデルの使用と第2の推論モデルの使用との間を遷移するように構成され得る。たとえば、ユーザの手(または、ユーザの身体の別の部分)がカメラの視野の中にあるとき、ユーザの手のセグメントの位置を判定するために、第2の推論モデルが使用されてよく、ユーザの手が完全にまたは部分的にカメラの視野の外にあるとき(ユーザの身体が完全にまたは部分的に遮蔽されている場合を含めて)、手の状態を表すユーザの手のセグメントの部分を判定するために、第1の推論モデルが使用されてよい。代替実装形態として、神経筋信号およびカメラ入力の両方を受信する単一の推論モデルが使用されてよく、上記で説明したように、入力の寄与が加重され得る。ユーザの手がカメラの視野の外にある場合、ユーザの手がカメラの視野の外にあるとき、位置情報を推定するためのカメラ入力の信頼の欠如を反映するために、カメラ入力加重は、ゼロまたは何らかの他の小さな値に設定され得る。
いくつかの実施形態では、1つまたは複数のカメラからのデータは、腕、手、前腕、またはユーザの身体の別の部分の位置を判定するために使用され得る。また、カメラデータは、前腕の方向を測定するためにIMU情報を使用し、手および手首の構成および力を判定するために神経筋信号を使用して、前腕位置のIMUベースの推定におけるズレの除去に努めるために使用され得る。この実施形態では、特に、IMUベースのシステムを精錬して、多関節剛体(articulated rigid bodies)の1つまたは複数の位置を追跡するためにカメラが使用されるとき、神経筋センサーの帯域(たとえば、EMGセンサーの帯域)に対する位置追跡基準マークが使用され得る。諒解されるように、単一のカメラからのデータが使用されてよく、または2つ以上のカメラからのデータが使用されてもよい。
いくつかの実施形態によれば、カメラデータは、オブジェクト(たとえば、手、指、または別の物理的オブジェクト)が力を受けているかどうかを判定するために使用され得る。たとえば、カメラデータは、誰かが自由に移動しているかまたはオブジェクトおよび/または面(ユーザの身体の別の部分を含み得る)に押し付けているかを区別し、どのオブジェクトおよび/または面が対話の対象であるか、面および/またはオブジェクト上のどの位置が接触されているかを判定するために使用可能であり、骨格構成、位置、および/または力を推定するのに役立ち得る。カメラデータは力がかけられているかどうかを判定するために使用され得るが、カメラデータは、かけられている力の大きさを判定するためには特に適していないことを諒解されたい。このために、他の入力信号(たとえば、神経筋信号)が、かけられた力の量を判定するために使用されてよく、骨格構成および/または位置を判定するのに役立ち得る。
XRユーザがそのユーザの自らの身体に自己力をかけている(たとえば、ユーザが自らの腕を摘まんでいる)とき、カメラは、骨格構成および/または位置(たとえば、腕に接触する際にどの関節セグメントが関連するか)を判定するのに役立つことができ、神経筋センサーは、力の強度を判定するために使用され得る。このようにして、腕の位置および/または手の位置ならびに力のより正確な表現が構築され得る。さらに、カメラによって判定される物理的状況は、たとえば、ユーザが特定の環境で一定の動きを実行する可能性が高い場合、神経筋信号からの筋骨格表現を推定するための前例(priors)を知らせることができることをより一般に諒解されよう。
いくつかの実施形態は、関節が剛体系の複数のセグメントを接続する、マルチセグメント多関節剛体系として表現され得る、ユーザの腕および/または手の部分の位置および動きに関する情報を予測することに関する。たとえば、手の動きの場合、ユーザの身体(たとえば、ユーザの腕および/または手首)上のロケーションに配置された着用可能な神経筋センサーによって感知され記録された信号は、ユーザが1つまたは複数の手の動きを実行するとき、位置(たとえば、絶対的位置、相対的位置、方向)および手に関連するコンピュータベースの筋骨格表現内の複数の剛体セグメントに関連する力の推定を予測するためにトレーニングされる推論モデルに対する入力として提供され得る。手に関連する筋骨格表現のセグメントに関連する位置情報および力情報の組み合わせは、本明細書において、口語で筋骨格表現の「手の状態」と呼ばれる。ユーザが異なる動きを実行するにつれて、トレーニングされた推論モデルは、着用可能な神経筋センサーによって記録された神経筋信号を、筋骨格表現を更新するために使用される位置および力の推定(手の状態情報)に解釈する。神経筋信号は、連続的に感知され記録されるため、筋骨格表現は、リアルタイムで更新され、現在の手の状態推定に基づいて(たとえば、拡大現実環境内で)手の視覚表現がレンダリングされ得る。諒解されるように、ユーザの手の状態の推定は、ユーザによって実行されているジェスチャを判定するために、かつ/またはユーザが実行することになるジェスチャを予測するために、使用され得る。
いくつかの実施形態によれば、筋骨格表現(たとえば、手のレンダリング)は、生体模倣(現実的な)手、人工的(ロボットの)手の実際の視覚表現、ならびに(たとえば、他のアプリケーション、システム、などに対する)ジェスチャ制御のための入力としての役割を果たす抽象的な「内部表現」を含み得る。すなわち、手の位置および/または力は、ダウンストリームアルゴリズム(たとえば、XRシステム内の制御アルゴリズム)に提供され得るが、直接的にレンダリングされ得ない。いくつかの実施形態では、カメラデータは、実際の視覚表現を作成する(たとえば、カメラデータに基づいて、ユーザの手のXRバージョンを改善する)際に役立つように使用され得る。
いくつかの実施形態によれば、EMGの状況で受信される情報(たとえば、力)は、コンピュータシステム(たとえば、XRシステム)のモードを制御するために使用され得る。たとえば、(たとえば、指または手によってかけられるような、しきい値量を超える)力の検出は、たとえば、対話支援インターフェースを開くため、グローバルシステムプロパティメニューを開くため、またはモデル切替え機能を実行するためなど、XRシステムを制御するために使用され得る。システムは、位置関連、力関連、またはジェスチャ関連のイベントによりウェイクするか、またはユーザがシステムにそのイベントで従事していることに応じる(たとえば、ユーザが拳を握り締めることは、結果として、ウェイク信号をXRシステムに送らせる)ため、そのようなデュアルモード入力は、たとえば、「ウェイク」信号をXRシステムまたは重い計算コスト(たとえば、高い電力使用)を有する他のタイプのシステムに提出することをやはり含み得る。別の実装形態では、神経筋信号の任意の数の組み合わせが、コンピュータシステムを制御するためにカメラデータとともに使用され得る。たとえば、ユーザがXR環境内でオブジェクトを選択しているシナリオにおいて、カメラデータは、ユーザの姿勢を判定するために使用され得、EMG信号は、(たとえば、EMG信号を通じてかけられた力を検出することによって)オブジェクトが活動のために選択されていることをXRシステムに知らせるために使用され得る。異なるタイプの入力データを使用した制御モードの任意の組み合わせが実行され得ることを諒解されたい。
いくつかの実施形態は、神経筋信号を感知するシステムを、XR機能(たとえば、AR機能、VR機能、など)を実行するシステムに結合させることに関する。具体的には、身体部分(たとえば、手、腕、など)の位置を判定するために神経筋信号を感知するシステムは、改善されたXR体験をユーザに提供するためにXRシステムとともに使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なXR体験を改善するために使用され得る。一例では、ARシステム内のカメラは、筋骨格表現のモデルの精度を改善するため、モデルを較正するため、および/またはカメラ信号と神経筋信号の任意の組み合わせを使用してシステムを制御するために使用されるデータをキャプチャし得る。さらに、別の実装形態では、筋肉活性化データは、XR環境内でユーザに対して視覚化され表示され得る。さらに別の例では、XR環境内の表示情報は、ユーザがシステムに対するその筋骨格入力をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号がXRシステム要素を制御することを可能にするための制御特徴が提供され得る。
上記で論じたように、本技術のいくつかの実施形態によれば、システムは、神経筋信号、および動き、位置、および力生成に対するその関係の解釈を改善するためにカメラ情報を使用するように構成される。諒解されるように、カメラ情報は、たとえば、カメラによってキャプチャされた少なくとも1つの画像に対応する画像信号であり得、したがって、本明細書で使用される、カメラからの画像は、カメラからの画像信号を指すと理解され得る。カメラは、ユーザの画像をキャプチャまたは記録することが可能な、静止カメラ、ビデオカメラ、赤外線カメラ、などであってよい。カメラが光の特定の波長範囲内でのみ画像をキャプチャし得るように、1つまたは複数のフィルタがカメラ上で使用され得る。諒解されるように、画像は、信号としてキャプチャされ記録され得る、静止画像、一連の静止画像(または、画像シーケンス)、動画像(または、ビデオシーケンス)、などであってよい。「カメラ情報」、「カメラデータ」、および「カメラ信号」という用語は、本明細書において、カメラによってキャプチャされ得るユーザに関する情報を表すために使用され得る。様々な実施形態は、「ある(a)」カメラまたは「その(the)」カメラを指すことがあるが、そのような実施形態は、1つのカメラの代わりに2つ以上のカメラを利用し得ることを理解されたい。さらに、カメラ情報は、可視光によって生み出された画像、無可視(たとえば、赤外線)光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および2つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか1つまたは任意の組み合わせに関係することがある。たとえば、無可視光は、ユーザ内の血流の指示を提供し得、ユーザの状態を推論するために使用され得る、ユーザの身体内の熱分布を示す画像をキャプチャするために使用され得る(たとえば、ユーザの指によってもたらされる力は、力をもたらしていない指とは異なる血流パターンを有し得る)。
カメラは、ユーザの上に(たとえば、ユーザによって着用された頭部装着型ディスプレイ上に、またはユーザの手の上に着用された手袋の上に)装着されてよく、またはユーザおよび/またはユーザの環境をキャプチャするためにユーザの外部に装着されてもよい。カメラがユーザの上に装着されるとき、カメラは、ユーザの環境および/またはユーザの身体の部分をキャプチャするために使用され得る(たとえば、手に装着されたカメラは、ユーザの他の手の画像をキャプチャするために使用され得る)。
ユーザの身体上のロケーションに配置された着用可能センサーによって感知され記録された信号は、人体のマルチセグメント多関節剛体モデルの剛体セグメントに関する空間情報を生成するようにトレーニングされた推論モデルに対する入力として提供され得る。空間情報は、たとえば、1つまたは複数のセグメントの位置情報、1つまたは複数のセグメントの方向情報、セグメント間の関節角度、などを含み得る。トレーニングの結果として、推論モデルは、定義された動き制約下の多関節剛体の推論される動きを暗示的に表し得る。トレーニングされた推論モデルは、ユーザが物理的オブジェクトまたは仮想オブジェクトと対話する仮想環境内でユーザの身体の表現をレンダリングする、および、たとえば、ユーザが所望の方法で身体活動を実行してるかどうかを査定するために、ユーザが身体活動を実行するにつれて、ユーザの動きを監視する、などの適用例に使用可能なデータを出力し得る。諒解されるように、トレーニングされた推論モデルからの出力データは、本明細書で具体的に識別される適用例以外の適用例に対して使用され得る。
たとえば、ユーザの上に(たとえば、ユーザの手首または腕の上に)位置する単一の動きセンサーによって取得された動きデータは、入力データとしてトレーニングされた推論モデルに提供され得る。トレーニングされた推論モデルによって生成される、対応する出力データは、ユーザに対するマルチセグメント多関節剛体モデルの1つまたは複数のセグメントに関する空間情報を判定するために使用され得る。たとえば、出力データは、マルチセグメント多関節剛体モデル内の1つまたは複数のセグメントの位置および/または方向を判定するために使用され得る。別の例では、出力データは、マルチセグメント多関節剛体モデル内の接続されたセグメント間の角度を判定するために使用され得る。
以下で論じるように、入力データをトレーニングされた推論モデルに提供するために、異なるタイプのセンサーが使用され得る。
本明細書で説明するように、いくつかの実施形態では、様々な筋肉活性化状態は、記録されたセンサーデータから直接識別され得る。他の実施形態では、手の状態、ジェスチャ、姿勢、など(筋肉活性化状態と総称される)は、トレーニングされた推論モデルの出力に少なくとも部分的に基づいて識別され得る。いくつかの実施形態では、トレーニングされた推論モデルは、コンピュータ生成された筋骨格モデルのセグメントに対する運動単位、もしくは筋肉活性化および/または位置、方向、および/または力の推定を出力し得る。一例では、関節が異なるセグメント間のインターフェースを形成し、関節角度がモデル内の接続されたセグメント間の空間的関係を定義して、ヒト筋骨格系のすべてまたは部分がマルチセグメント多関節剛体系としてモデル形成され得る。
関節における動きに対する制約は、関節における動きの範囲を制限し得る、セグメントおよび生物学的構造(たとえば、筋肉、腱、靱帯)を接続するタイプの関節によって規定される。たとえば、上腕をヒト被験者の身体の胴体に接続する肩関節、および上腿を胴体と接続する股関節は、伸長および屈曲の動き、ならびに回転運動を可能にする球関節および臼状関節である。対照的に、上腕および前腕(lower arm)(または、前腕(forearm))を接続する肘関節、および上腿および下腿またはヒト被験者を接続する膝関節は、より限定された範囲の動きができるようにする。この例では、マルチセグメント多関節剛体系は、ヒト筋骨格系の部分をモデル形成するために使用され得る。しかしながら、ヒト筋骨格系のいくつかのセグメント(たとえば、前腕)は多関節剛体系における剛体として近似し得るが、そのようなセグメントは、各々、剛体モデルによって明確に考慮されないセグメント内のより複雑な動きを可能にする複数の剛体構造を含み得る(たとえば、前腕は、尺骨および橈骨を含み得る)ことを諒解されたい。したがって、本明細書で説明する技術のいくつかの実施形態とともに使用するための多関節剛体系のモデルは、厳密には剛体ではない身体部分の組み合わせを表すセグメントを含んでよい。マルチセグメント多関節剛体系以外の物理的モデルは、本開示の範囲から逸脱せずに、ヒト筋骨格系の部分をモデル形成するために使用され得ることを諒解されよう。
上記の例を続けると、運動学において、剛体は、動きの様々な属性(たとえば、位置、方向、角速度、加速)を示すオブジェクトである。剛体の1つのセグメントの動き属性を知ることは、剛体の他のセグメントに対する動き属性が、それらのセグメントがどのように接続されるかに対する制約に基づいて判定されることを可能にする。たとえば、手は、手首および各指の中の関節がモデル内で複数のセグメント間のインターフェースを形成する、マルチセグメント多関節体としてモデル形成され得る。いくつかの実施形態では、剛体モデル内のセグメントの動きは、以下でより詳細に説明するように、モデル内の他のセグメントに対するセグメントの位置(たとえば、実際の位置、相対的位置、または方向)情報がトレーニングされた推論モデルを使用して予測される、多関節剛体系としてシミュレートされ得る。
1つの非限定的な例として本明細書で説明するような、筋骨格表現によって近似される人体の部分は、手、または手と1つまたは複数の腕セグメントの組み合わせである。筋骨格表現において、セグメント間の位置関係、個々のセグメントまたはセグメントの組み合わせに対する力関係、およびセグメント間の筋肉および運動単位の活性化関係の現在の状態を記述するために使用される情報は、本明細書において、筋骨格表現の手の状態と呼ばれる。しかしながら、本明細書で説明する技法は、腕、脚、足、胴体、首、または前述の任意の組み合わせを含むが、これらに限定されない、手以外の身体の部分の筋骨格表現にも適用可能であることを諒解されたい。
空間(たとえば、位置および/または方向)情報に加えて、いくつかの実施形態は、筋骨格表現の1つまたは複数のセグメントに関連する力情報の予測を可能にする。たとえば、1つまたは複数のセグメントによってもたらされる直線力または回転(トルク)力が推定され得る。直線力の例は、テーブルなどの固体オブジェクトに対して指または手を押し付ける力、および2つのセグメント(たとえば、2本の指)が共に摘まんでいるときにもたらされる力、を含むが、これらに限定されない。回転力の例は、手首または指などのセグメントが別のセグメントに対してねじられているかまたは曲げられているときに起こされる回転力を含むが、これに限定されない。いくつかの実施形態では、現在の手の状態推定の一部分として判定される力情報は、摘まむ力情報、把持力情報、および筋骨格表現によって表される筋肉間の共収縮力に関する情報のうちの1つまたは複数を含む。
次に図面を参照すると、図1は、本明細書で説明する技術のいくつかの実施形態によるシステム100、たとえば、神経筋活動システムを概略的に示す。システム100は、人体の骨格筋内の神経筋活動から起こる信号を感知して記録するように構成された複数のセンサー110(たとえば、神経筋センサー)を含む。本明細で使用される「神経筋活動」という用語は、筋肉、筋肉活性化、筋収縮、または神経活性化、筋肉活性化、および筋収縮の任意の組み合わせを刺激する脊髄運動ニューロンの神経活性化を指す。神経筋センサーは、1つまたは複数の筋電図(EMG)センサー、1つまたは複数の筋音図法(MMG)センサー、1つまたは複数のソノミオグラフィ(sonomyography)(SMG)センサー、2つ以上のタイプのEMGセンサー、MMGセンサー、およびSMGセンサーの組み合わせ、および/または神経筋信号を検出することができる任意の好適なタイプの1つまたは複数のセンサーを含み得る。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、そこから神経筋センサーによって筋肉活性化が感知される筋肉によって制御される人体の部分の動きに関する筋肉活動を感知するために使用され得る。空間情報(たとえば、位置および/または方向情報)および動きを記述する力情報は、ユーザが経時的に移動するにつれて感知された神経筋信号に基づいて予測され得る。
運動タスクの実行中に筋肉の緊張が高まるにつれて、活性ニューロンの発火率が高まり、追加のニューロンが活発になることがあり、これは、運動単位漸増(recruitment)と呼ばれるプロセスである。予想される運動単位漸増パターンが標準または通常の動きに関連する活性多様体(activity manifold)を定義し得るように、ニューロンが活発になりその発火率を高めるパターンは類型的である。いくつかの実施形態は、単一の運動単位、または、運動単位活性化のパターンが予想されるまたは典型的な運動単位漸増パターンとは異なる「非多様体(off−manifold)」である運動単位のグループの活性化を記録し得る。そのような非多様体活性化は、本明細書において、「筋肉下活性化」または「筋肉下構造の活性化」と呼ばれることがあり、この場合、筋肉下構造は、単一の運動単位、または非多様体活性化に関連する運動単位のグループを指す。非多様体運動単位漸増パターンの例は、通常、漸増順序で早期に活性化されることになる低しきい値運動単位を活性化せずに高しきい値運動単位を選択的に活性化すること、および、通常、典型的な運動単位漸増パターンにおいて共変調されることになる他のニューロンの活動を変調せずにかなりの範囲にわたって運動単位の発火率を変調すること、を含むが、これらに限定されない。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、観察可能な動きなしに、すなわち、容易に観察され得る人体の対応する動きなしに、筋肉下活性化を感知するために使用され得る。筋肉下活性化は、本明細書で説明する技術のいくつかの実施形態による拡張現実システムを制御するために少なくとも部分的に使用され得る。
センサー110は、たとえば、加速度計、ジャイロスコープ、磁力計、または1つまたは複数の加速度計、ジャイロスコープ、および磁力計の任意の組み合わせを使用して、動きの物理的側面の組み合わせを測定する、1つまたは複数の慣性計測装置(IMU)を含み得る。いくつかの実施形態では、IMUは、IMUが取り付けられた身体の部分の動きに関する情報を感知するために使用可能であり、感知されたデータから導出される情報(たとえば、位置および/または方向情報)は、ユーザが経時的に移動するにつれて追跡され得る。たとえば、1つまたは複数のIMUは、ユーザが経時的に移動するにつれて、IMUに対するユーザの胴体の近位にあるユーザの身体の部分(たとえば、腕、脚)の動きを追跡するために使用され得る。
少なくとも1つのIMUおよび複数の神経筋センサーを含む実施形態では、IMUおよび神経筋センサーは、人体の異なる部分の動きを検出するように配置され得る。たとえば、IMUは、胴体の近位にある1つまたは複数の身体セグメントの動き(たとえば、上腕の動き)を検出するように配置されてよく、神経筋センサーは、胴体に対して遠位の1つまたは複数の身体セグメントの動き(たとえば、前腕(lower arm)(前腕(forearm))または手首の動き)を検出するように配置されてよい。(「前腕(lower arm)」および「前腕(forearm)」という用語は、本明細書で互換的に使用され得る。)しかしながら、センサー(すなわち、IMUおよび神経筋センサー)は、任意の好適な方法で配置されてよく、本明細書で説明する技術の実施形態は、特定のセンサー配置に基づいて限定されないことを諒解されたい。たとえば、いくつかの実施形態では、少なくとも1つのIMUおよび複数の神経筋センサーは、異なるタイプの測定を使用して、身体セグメントの動きを追跡するために身体セグメント上の同一場所に配置され得る。以下でより詳細に説明する一実装形態では、IMUおよび複数のEMGセンサーは、ユーザの前腕または手首の周りに着用されるように構築された着用可能デバイス上に配置される。そのような配置では、IMUは、たとえば、ユーザがその腕を上げたかまたは下げたかを判定するために、1つまたは複数の腕セグメントに関連する動き情報(たとえば、位置調整および/または方向)を経時的に追跡するように構成され得、EMGセンサーは、たとえば、ユーザが開いた手の構成を有するかまたは閉じた手の構成を有するかを判定するために手首および/または手のセグメントに関連する動き情報を判定するように、または手首および/または手の筋肉の筋肉下構造の活性化に関連する筋肉下情報を判定するように、構成され得る。
センサー110のうちのいくつかまたはすべては、ユーザに関する情報を感知するように構成された、1つまたは複数の感知構成要素を含み得る。IMUの場合、IMUの感知構成要素は、その例が、身体の動きの間の身体の周りの加速、角速度、および磁場を含むが、これらに限定されない、身体の動きの特性および/または身体の動きに関する特性を測定または感知するための、1つまたは複数の加速度計、ジャイロスコープ、磁力計、またはそれらの任意の組み合わせを含み得る。神経筋センサーの場合、感知構成要素は、1つまたは複数の身体の面上の電位を検出する電極棒(たとえば、EMGセンサー用)、皮膚表面振動を測定する振動センサー(たとえば、MMGセンサー用)、筋肉活動から起こる超音波信号を測定する音響感知構成要素(たとえば、SMGセンサー用)を含み得るが、これらに限定されない。
いくつかの実施形態では、複数のセンサー110のうちの少なくともいくつかは、ユーザの身体の一部分の上にまたはその部分の周りに着用されるように構築された着用可能デバイスの一部分として配置され得る。たとえば、1つの非限定的な例では、IMUおよび複数の神経筋センサーは、ユーザの手首または腕の周りに着用されるように構成された、リストバンドまたはアームバンドなどの、調整可能なかつ/またはゴムのバンド上に、周辺に配置され得る。代替として、センサー110のうちの少なくともいくつかは、ユーザの身体の一部分に貼り付けられるように構築された着用可能パッチ上に配置され得る。いくつかの実施形態では、筋肉下構造からの活性化に基づいて、かつ/または身体の複数の部分に関連する動きに基づいて、制御情報を生成するために、各々がその上に1つまたは複数のIMUおよび/または神経筋センサーを含めた複数の着用可能デバイスが使用され得る。
一実装形態では、センサー110は、ユーザの前腕の周りに(たとえば、ユーザの前腕を取り囲むように)着用されるように構築されたバンド(たとえば、ゴムバンド)の周り周辺に配置された16個の神経筋センサーを含み得る。たとえば、図12は、神経筋センサー1204(たとえば、EMGセンサー)がゴムバンド1202の周り周辺に配置された着用可能システムの一実施形態を示す。任意の好適な数の神経筋センサーが使用されてよく、使用される神経筋センサーの数および配置は、着用可能システムが使用される特定の適用例に依存し得ることを諒解されたい。たとえば、着用可能なアームバンドまたはリストバンドは、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、または任意の他の好適な制御タスクのための制御情報を生成するために使用され得る。いくつかの実施形態では、ゴムバンド1202は、上記で論じたように、動き情報を感知して記録するように構成された、1つまたは複数のIMU(図示せず)を含んでもよい。
図13A〜図13Bおよび図14A〜図4Bは、本技術の着用可能システムの他の実施形態を示す。具体的には、図13Aは、ユーザの前腕または手首の周りに着用されるように構築されたゴムバンド1320の周り周辺に配置された複数のセンサー1310を備えた着用可能システムを示す。センサー1310は、神経筋センサー(たとえば、EMGセンサー)であってよい。示すように、規則的な間隔でゴムバンド1320の周り周辺に配置された16個のセンサー1310が存在し得る。任意の好適な数のセンサー1310が使用されてよく、間隔は規則的でなくてもよいことを諒解されたい。センサー1310の数および配置は、着用可能システムが使用される特定の適用例に依存し得る。たとえば、着用可能システムが、腿と比較して、手首の上に着用されるとき、センサー1310の数および配置は異なり得る。着用可能システム(たとえば、アームバンド、リストバンド、腿バンド、など)は、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、および/または任意の他の好適な制御タスクを実行するための制御情報を生成するために使用され得る。
いくつかの実施形態では、センサー1310は、神経筋センサー(たとえば、EMGセンサー)のセットのみを含み得る。他の実施形態では、センサー1310は、神経筋センサーのセット、および少なくとも1つの補助デバイスを含み得る。補助デバイスは、1つまたは複数の補助信号を連続的に感知して記録するように構成され得る。補助デバイスの例は、IMU、マイクロフォン、撮像デバイス(たとえば、カメラ)、放射線発生デバイス(たとえば、レーザー走査デバイス)とともに使用するための放射線ベースのセンサー、心拍数モニタ、およびユーザの状態またはユーザの他の特性をキャプチャし得る他のタイプのデバイスを含むが、これらに限定されない。図13Aに示すように、センサー1310は、着用可能システム内に組み込まれたフレキシブルエレクトロニクス1330を使用して共に結合され得る。図13Bは、図13Aに示した着用可能システムのセンサー1310のうちの1つを通した断面図を示す。
いくつかの実施形態では、センサー1310の感知構成要素のうちの1つまたは複数の出力は(たとえば、増幅、フィルタリング、および/または整流を実行するために)ハードウェア信号処理回路を使用して随意に処理され得る。他の実施形態では、感知構成要素の出力の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、本明細書で説明する技術の態様はこの点で限定されないため、センサー1310によってサンプリングされる信号の信号処理は、ハードウェアによって、またはソフトウェアによって、またはハードウェアとソフトウェアの任意の好適な組み合わせによって、実行され得る。センサー1310から記録されたデータを処理するために使用される信号処理手順の非限定的な例について、図14Aおよび図14Bに関して以下でより詳細に論じる。
図14Aおよび図14Bは、本明細書で説明する技術のいくつかの実施形態による、16個のセンサー(たとえば、EMGセンサー)を備えた着用可能システムの内部構成要素を備えた概略図を示す。示すように、着用可能システムは、着用可能部分1410(図14A)およびドングル部分1420(図14B)を含む。示されていないが、ドングル部分1420は、(たとえば、Bluetoothまたは別の好適な短距離ワイヤレス通信技術を介して)着用可能部分1410と通信している。図14Aに示すように、着用可能部分1410は、その例が図13Aおよび13Bに関して上記で説明されたセンサー1310を含む。センサー1310は、記録された信号に対してアナログ処理(たとえば、雑音低減、フィルタリング、など)を実行するアナログフロントエンド1430に出力(たとえば、記録された信号)を提供する。アナログフロントエンド1430によって生み出された、処理されたアナログ信号は、次いで、処理されたアナログ信号を1つまたは複数のコンピュータプロセッサによって処理され得るデジタル信号に変換するアナログ・デジタル変換機1432に提供される。いくつかの実施形態に従って使用され得るコンピュータプロセッサの一例は、マイクロコントローラ(MCU)1434である、図14Aに示すように、MCU1434は、他のセンサー(たとえば、IMU1440)から、かつ電力およびバッテリーモジュール1442から、入力を受信することもできる。諒解されるように、MCU1434は、具体的に示されていない他のデバイスからデータを受信し得る。MCU1434による処理出力は、図14Bに示すように、ドングル部分1420への送信のためにアンテナ1450に提供され得る。
ドングル部分1420は、着用可能部分1410のアンテナ1450と通信するアンテナ1452を含む。アンテナ1450と1452との間の通信は、その非限定的な例が、無線周波数シグナリングおよびBluetoothを含む、任意の好適なワイヤレス技術およびプロトコルを使用して生じ得る。示すように、ドングル部分1420のアンテナ1452によって受信された信号は、さらなる処理のために、表示のために、かつ/または特定の物理的なまたは仮想の1つまたは複数のオブジェクトの制御を実施するために(たとえば、AR環境またはVR環境内の制御動作を実行するために)ホストコンピュータに提供され得る。
図13A、図13B、図14A、および図14Bを参照して提供される例についてEMGセンサーとのインターフェースの状況で論じるが、本明細書で説明する着用可能システムは、筋音図法(MMG)センサー、ソノミオグラフィ(SMG)センサー、および電気インピーダンストモグラフィー(EIT)センサーを含むが、これらに限定されない、他のタイプのセンサーを用いて実装されてもよいことを理解されたい。
図1を参照すると、いくつかの実施形態では、以下でより詳細に説明するように、センサー110によって記録されるセンサーデータは、次いで、推論モデルに対する入力として提供され得る追加の導出された測定値を計算するために随意に処理され得る。たとえば、IMUからの記憶された信号は、経時的に剛体のセグメントの方向を指定する方向信号を導出するために処理され得る。センサー110が、センサー110の感知構成要素と統合された構成要素を使用して信号処理を実装することができるか、または信号処理のうちの少なくとも一部分が、センサー110の感知構成要素と通信しているが、その感知構成要素と直接統合されていない、1つまたは複数の構成要素によって実行され得る。
システム100は、センサー110と通信するようにプログラムされた、1つまたは複数のコンピュータプロセッサ112をやはり含む。たとえば、センサー110のうちの1つまたは複数によって記録された信号は、センサー110から出力され、センサー110によって出力された信号を処理するために1つまたは複数の機械学習アルゴリズムを実行するようにプログラムされ得るプロセッサ112に提供され得る。以下でより詳細に説明するように、アルゴリズムは、1つまたは複数の推論モデル114をトレーニングする(または、再トレーニングする)ために信号を処理することができ、生じた、トレーニングされた(または、再トレーニングされた)推論モデル114は、制御信号を生成し、XRシステムを制御する際に後で使用するために記憶され得る。
いくつかの実施形態では、推論モデル114は、ニューラルネットワークを含み得、たとえば、再帰型ニューラルネットワークであってよい。いくつかの実施形態では、再帰型ニューラルネットワークは、長短期メモリ(LSTM)ニューラルネットワークであってよい。しかしながら、再帰型ニューラルネットワークは、LSTMニューラルネットワークであると限定されず、任意の他の好適なアーキテクチャを有し得ることを諒解されたい。たとえば、いくつかの実施形態では、再帰型ニューラルネットワークは、完全な再帰型ニューラルネットワーク、ゲート付き再帰型ニューラルネットワーク、回帰的ニューラルネットワーク、Hopfieldニューラルネットワーク、連想記憶ニューラルネットワーク、Elmanニューラルネットワーク、Jordanニューラルネットワーク、エコーステート(echo state)ニューラルネットワーク、および二次再帰型ニューラルネットワーク、ならびに/または任意の他の好適なタイプの再帰型ニューラルネットワークのうちのいずれか1つまたは任意の組み合わせであってよい。他の実施形態では、再帰型ニューラルネットワークではないニューラルネットワークが使用されてよい。たとえば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、および/またはフィードフォーワードニューラルネットワークが使用されてよい。
いくつかの実施形態では、推論モデル114は、離散的出力を生み出すことができる。離散的出力(たとえば、離散的分類)は、たとえば、所望の出力が活性化の特定のパターン(個々のニューラルスパイキング(neural spiking)イベントを含めて)が現在ユーザによって実行されているかどうかを知るためであるときに使用され得る。たとえば、推論モデル114は、ユーザが特定の運動単位を活性化しているか、特定のタイミングで特定の運動単位を活性化しているか、特定の発火パターンで特定の運動単位を活性化しているか、または運動単位の特定の組み合わせを活性化しているかを推定するようにトレーニングされ得る。より短い時間規模で、離散的分類は、いくつかの実施形態では、特定の運動単位が所与の時間量内で活動電位を発火したかどうかを推定するために使用され得る。そのようなシナリオでは、これらの推定は、次いで、その運動単位に対して推定される発火率を取得するために蓄積され得る。
推論モデルが離散的出力を出力するように構成されたニューラルネットワークとして実装される実装形態では、ニューラルネットワークは、推論モデルの出力の合計が1になり、確率として解釈され得るように、ソフトマックス層である出力層を含み得る。たとえば、ソフトマックス層の出力は、各値が、ユーザが特定の制御活動を実行することを望む確率を示す、制御信号のそれぞれのセットに対応する値のセットであり得る。1つの非限定的な例として、ソフトマックス層の出力は、活動の検出されたパターンが3つの知られているパターンのうちの1つであるそれぞれの確率を示す3つの確率(たとえば、0.92、0.05、および0.03)のセットであってよい。
推論モデルが離散的出力(たとえば、離散信号)を出力するように構成されたニューラルネットワークであるとき、ニューラルネットワークは、合計が1になる出力を生み出すことを要求されないことを諒解されたい。たとえば、いくつかの実施形態の場合、ソフトマックス層の代わりに、ニューラルネットワークの出力層は、合計が1になる確率に出力を限定しない、シグモイド層であり得る。そのような実施形態では、ニューラルネットワークは、シグモイド交差エントロピーコストを用いてトレーニングされ得る。そのような実装形態は、複数の異なる制御活動がしきい値時間量内に生じる可能性があり、これらの制御活動が生じる順序を区別することが重要ではない(たとえば、ユーザは2つのパターンの神経活動をしきい値時間量内で活性化し得る)場合、有利であり得る。いくつかの実施形態では、本明細書で説明する技法の態様はこの点で限定されないため、任意の他の好適な非確率的マルチクラス分類器が使用され得る。
いくつかの実施形態では、推論モデル114の出力は、離散信号ではなく、連続信号であり得る。たとえば、モデル114は、各運動単位の発火率の推定を出力し得るか、またはモデル114は、各運動単位または筋肉下構造に対応する時系列電気信号を出力し得る。
いくつかの実施形態では、他のタイプの推論モデルが採用され得るため、本明細書で説明する技法の態様は、ニューラルネットワークを使用することに限定されないことを諒解されたい。たとえば、いくつかの実施形態では、推論モデル114は、隠れマルコフモデル(HMM)、切替えが、異なる動的システム、動的ベイジアンネットワーク間でトグルすることを可能にする、切替えHMM、および/または時間成分を有する任意の他の好適なグラフィカルモデルを備え得る。任意のそのような推論モデルは、記録されたセンサー信号を使用してトレーニングされ得る。
別の例として、いくつかの実施形態では、推論モデル114は、記録されたセンサー信号から導出された特徴を入力として利用する分類器であり得る。そのような実施形態では、分類器は、センサー信号から抽出された特徴を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、分類器は、たとえば、サポートベクトルマシン、混合ガウスモデル、回帰ベースの分類器、決定木分類器、ベース分類器、および/または任意の他の好適な分類器であってよい。分類器に提供されることになる入力特徴は、任意の好適な方法でセンサー信号から導出され得る。たとえば、センサー信号は、ウェーブレット解析技法(たとえば、連続ウェーブレット変換、離散型時間ウェーブレット変換、など)、フーリエ解析技法(たとえば、短期フーリエ変換、フーリエ変換、など)、および/または任意の他の好適なタイプの時間周波数解析技法を使用して、時系列データとして解析され得る。1つの非限定的な例として、センサー信号は、ウェーブレット変換を使用して変換されてよく、生じるウェーブレット係数は、分類器に対する入力として提供され得る。
いくつかの実施形態では、推論モデル114のパラメータに関する値は、トレーニングデータから推定され得る。たとえば、推論モデル114がニューラルネットワークであるとき、ニューラルネットワークのパラメータ(たとえば、重み)がトレーニングデータから推定され得る。いくつかの実施形態では、推論モデル114のパラメータは、勾配降下技法、確率的勾配降下技法、および/または任意の他の好適な反復最適化技法を使用して推定され得る。推論モデル114が再帰型ニューラルネットワーク(たとえば、LSTM)である実施形態では、推論モデル114は、確率的勾配降下および通時的逆伝搬を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、トレーニングは、二乗誤差損失関数または交差エントロピー損失関数および/または任意の他の好適な損失関数を採用し得る。
システム100は、1つまたは複数のコントローラ116を随意に含んでもよい。たとえば、コントローラ116は、視覚表現(たとえば、手の表現)を表示するように構成されたディスプレイコントローラを含み得る。以下でより詳細に論じるように、1つまたは複数のコンピュータプロセッサ112は、センサー110によって感知され記録された信号を入力として受信し、制御信号を生成し、拡張現実システムを制御するために使用され得る情報(たとえば、予測された手の状態情報)を出力として提供する、1つまたは複数のトレーニングされた推論モデルを実装し得る。
システム100は、ユーザインターフェース118を随意に含んでもよい。システム100がユーザの意図する活性化をどのように解釈するかをユーザが理解することを促すために、センサー110によって記録され、プロセッサ112によって処理される信号に基づいて判定されるフィードバックがユーザインターフェース118を介して提供され得る。ユーザインターフェース118は、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気的刺激インターフェース、または前述の任意の組み合わせを含むが、これらに限定されない、任意の好適な方法で実装され得る。
いくつかの実施形態では、仮想現実(VR)環境または拡張現実(AR)環境をシミュレートするコンピュータアプリケーションは、(たとえば、コントローラ116を介して)アバターなどの視覚的キャラクターを表示することによって視覚表現を提供するように命令され得る。仮想現実環境内の視覚的キャラクターの部分によってかけられた位置調整、動き、および/または力は、トレーニングされた推論モデル114の出力に基づいて表示され得る。視覚表現は、リアルタイムで更新されるキャラクターの動きのコンピュータ生成された視覚表現を提供するために、センサー110によって感知され記録され、トレーニングされた推論モデル114によって処理される連続信号として動的に更新され得る。
いずれかのシステム(ARカメラ入力、センサー入力)内で生成された情報は、ユーザ体験、精度、フィードバック、推論モデル、較正関数、およびシステム全体における他の側面を改善するために使用され得る。このために、AR環境内で、たとえば、システム100は、ユーザの視野内にAR情報を提供する、1つまたは複数のプロセッサ、カメラ、およびディスプレイ(たとえば、ユーザインターフェース118、またはAR眼鏡または他の視覚デバイスを介した他のインターフェース)を含むARシステムを含み得る。システム100は、ARシステムをセンサーデータに基づいて筋骨格表現を生成するコンピュータベースシステムと結合させるシステム要素を含んでもよい。たとえば、システムは、専用コンピュータシステム、またはARから入力を受信する他のタイプのコンピュータシステムおよびコンピュータベースの筋骨格表現を生成するシステムを介して結合され得る。そのようなシステムは、ゲームシステム、ロボット制御システム、パーソナルコンピュータ、またはARおよび筋骨格情報を解釈することが可能な他のシステムを含み得る。ARシステム、およびコンピュータベースの筋骨格表現を生成するシステムは、直接通信するようにプログラムされてもよい。そのような情報は、任意の数のインターフェース、プロトコル、または媒体を使用して通信され得る。
上記で論じたように、いくつかの実施形態は、着用可能なセンサーによって感知され記録された信号に基づいて、筋骨格情報を予測するための推論モデルを使用することに関する。ヒト筋骨格系の部分がマルチセグメント多関節剛体系としてモデル形成され得る例において上記で短く論じたように、マルチセグメント多関節剛体モデル内のセグメント間の関節のタイプは、剛体の動きを制約する制約としての役割を果たし得る。加えて、異なる人間一人一人は、個々のユーザ行動に概して適用可能であり得る統計的パターンでキャプチャされ得るタスクを実行するとき、特徴的な方法で移動し得る。人体の動きに対するこれらの制約のうちの少なくともいくつかは、いくつかの実施形態によれば、ユーザの動きの予測のために使用される推論モデル内に明示的に組み込まれ得る。追加または代替として、上記で短く論じたように、これらの制約は、記録されたセンサーデータに基づくトレーニングを通じて推論モデルによって学習され得る。
上記で論じたように、いくつかの実施形態は、手の状態情報を予測して、コンピュータベースの筋骨格表現の生成および/またはコンピュータベースの筋骨格表現のリアルタイム更新を可能にするために、推論モデルを使用することに関する。推論モデルは、IMU信号、神経筋信号(たとえば、EMG、MMG、および/またはSMG信号)、外部デバイス信号(たとえば、カメラ信号またはレーザー走査信号)、またはIMU信号、神経筋信号、およびユーザが1つまたは複数の動きを実行するにつれて検出された外部デバイス信号の組み合わせに基づいて、手の状態情報を予測するために使用され得る。たとえば、上記で論じたように、ARシステムに関連するカメラは、コンピュータベースの筋骨格表現のヒト被験者の実際の位置のデータをキャプチャするために使用可能であり、そのような実際の位置情報は、表現の精度を改善するために使用され得る。さらに、推論モデルの出力は、XR環境内でコンピュータベースの筋骨格表現の視覚表現を生成するために使用され得る。たとえば、筋肉群の発火、かけられた力、動きを介して入力されたテキスト、またはコンピュータベースの筋骨格表現によって生み出された他の情報の視覚表現は、XRシステムの視覚的ディスプレイ内にレンダリングされ得る。いくつかの実施形態では、他の入力/出力デバイス(たとえば、聴覚入力/出力、触覚デバイス、など)が、システム全体の精度をさらに改善するために、かつ/またはユーザ体験を改善するために使用され得る。
本明細書で説明する技法のいくつかの実施形態は、神経筋センサーによって感知され記録された神経筋信号から識別された情報である筋肉活性化状態情報をマッピングして信号を制御するために、少なくとも部分的に、推論モデル使用することに関する。推論モデルは、IMU信号、神経筋信号(たとえば、EMG、MMG、および/またはSMG信号)、外部デバイス信号(たとえば、カメラ信号またはレーザー走査信号)、またはIMU信号、神経筋信号、およびユーザが1つまたは複数の筋肉下活性化、1つまたは複数の動き、および/または1つまたは複数のジェスチャを実行するにつれて検出された外部デバイス信号の組み合わせを入力として受信し得る。推論モデルは、ユーザが知覚可能な動きを行う必要なしに、制御情報を予測するために使用され得る。
図2は、拡張現実(AR)システム201を神経筋活動システム202と統合する分散型コンピュータベースシステムであってよいARベースのシステム200の概略図を示す。神経筋活動システム202は、図1に関して上記で説明したシステム100と同様である。
概して、ARシステム201など、拡張現実は、一対のゴーグルもしくは眼鏡、またはアイウェア、またはユーザの「現実」に重ね合わせることができる表示要素をユーザに示す、他のタイプの表示デバイスの形をとってよい。この現実は、場合によっては、(たとえば、ユーザの目を通して見た)環境のユーザの視野、または環境のユーザの視野の(たとえば、カメラによって)キャプチャされたバージョンであり得る。いくつかの実施形態では、ARシステム201は、ユーザの環境内でユーザが体験する1つまたは複数の視野をキャプチャする、ユーザによって着用されるデバイス内に装着され得る、1つまたは複数のカメラ(たとえば、カメラ204)を含み得る。システム201は、ユーザによって着用されるデバイス内で、かつ/または周辺デバイスまたはコンピュータシステム内で動作する1つまたは複数のプロセッサ205を有してよく、そのようなプロセッサ205は、ビデオ情報および他のタイプのデータ(たとえば、センサーデータ)を送信および受信することが可能であり得る。
ARシステム201は、マイクロフォン、GPS要素、加速度計、赤外線検出器、触覚フィードバック要素、もしくは任意の他のタイプのセンサー、またはそれらの任意の組み合わせなど、1つまたは複数のセンサー207を含んでもよい。いくつかの実施形態では、ARシステム201は、オーディオベースのARシステムまたは聴覚ARシステムであってよく、1つまたは複数のセンサー207は、1つまたは複数のヘッドフォンまたはスピーカーを含んでもよい。さらに、ARシステム201は、ARシステム201が、ARシステム201によって提示されるようなユーザの環境の視野をユーザに提供することに加えて、情報をオーバレイしかつ/またはユーザに表示することを可能にする、1つまたは複数のディスプレイ208を有し得る。ARシステム201は、情報が1つまたは複数のコンピュータシステム(たとえば、ゲームシステム、またはARデータをレンダリングまたは受信することが可能な他のシステム)に通信されることを可能にする、1つまたは複数の通信インターフェース206を含んでもよい。ARシステムは、多くの形をとってよく、いくつかの異なる製造業者から入手可能である。たとえば、様々な実施形態は、Microsoft Corporation(Redmond、Washington、USA)から入手可能なHoloLensホログラフィックリアリティ眼鏡、Magic Leap(Plantation、Florida、USA)からのLightwear ARヘッドセット、Alphabet(Mountain View、California、USA)から入手可能なGoogle Glass AR眼鏡、Osterhout Design Group(ODGとも呼ばれる、San Fransico、California、USA)から入手可能なR−7Smartglassシステム、または任意の他のタイプのARおよび/またはVRデバイスなど、1つまたは複数のタイプのARシステムに関連して実装され得る。例として論じるが、1つまたは複数の実施形態は、VRシステム内で実装され得ることを諒解されたい。
ARシステム201は、Bluetoothプロトコル、Wi−Fi、Ethernetのようなプロトコル、または任意の数の接続タイプ、ワイヤレスおよび/またはワイヤードを含むが、これらに限定されない、1つまたは複数の通信方式または通信方法論によって神経筋活動システム202に動作可能に結合され得る。たとえば、システム201および202は、1つまたは複数の中間コンピュータシステムまたはネットワーク要素を通して直接接続または結合され得ることを諒解されたい。図2の両矢印は、システム201および202間の通信結合を表す。
先に述べたように、神経筋活動システム202は、構造および機能の点で、図1を参照して上記で説明したシステム100と同様であってよい。具体的には、システム202は、1つまたは複数の神経筋センサー209、1つまたは複数の推論モデル210を含んでよく、筋骨格表現211を作成し、保持し、記憶することができる。上記で論じた実施形態と同様の、1つの例示的な実施形態では、システム202は、ユーザから神経筋信号を集めて解析するためにユーザによって着用され得るバンドなど、着用可能なデバイスを含み得るか、または着用可能なデバイスとして実装され得る。さらに、システム202は、Bluetooth、Wi−Fi、または他の通信方法など、システム202がARシステム201と通信することを可能にする1つまたは複数の通信インターフェース212を含み得る。とりわけ、ARシステム201および神経筋活動システム202は、ユーザ体験を拡張するために、かつ/またはARシステム201がより正確かつ効果的に機能することができるように、使用され得る情報を通信し得る。
図2は、ARシステム201を神経筋活動システム202と統合する分散型コンピュータベースシステム200を示すが、これらのシステム201および202の統合は、本質的に非分散型であり得ることを理解されよう。いくつかの実施形態では、神経筋活動システム202は、神経筋活動システム202の様々な構成要素がARシステム201の部分と見なされ得るように、ARシステム201内に統合されてよい。たとえば、神経筋センサー209からの入力は、(たとえば、カメラ204からの、センサー207からの)ARシステム201へのもう1つの入力として扱われてよい。加えて、神経筋センサー209から取得された入力(たとえば、センサー信号)の処理はARシステム201内に統合されてよい。
図3は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号、およびカメラまたは信号入力を処理するためのプロセス300のフローチャートを示す。プロセス300は、たとえば、ARベースのシステム200、ARシステム201、神経筋活動システム202、および/またはシステム201、202が信号入力を提供する、別個のコンピュータシステムなど、システム上で実装され得る。一実装形態では、プロセス300は、神経筋活動システム202によって実行され得る。活動310において、センサー信号は、神経筋活動システム202の1つまたは複数のセンサー(本明細書で「生センサー信号」と呼ばれることもある)によって感知および記録され得る。いくつかの実施形態では、センサーは、ユーザによって着用される着用可能なデバイス上に配置された複数の神経筋センサー209(たとえば、EMGセンサー)を含み得る。たとえば、センサー209は、ユーザが様々な動きまたはジェスチャを実行するにつれて、ユーザからの神経筋信号を記録するためにユーザの手首または前腕の周りに着用されるように構成されたゴムバンド上に配置されたEMGセンサーであってよい。いくつかの実施形態では、EMGセンサーは、図12に示すように、バンド1202上に配置されたセンサー1204であってよい。いくつかの実施形態では、EMGセンサーは、図13Aに示すように、ゴムバンド1320上に配置されたセンサー1310であってよい。ユーザによって実行されるジェスチャは、ユーザの手のひらをテーブルの上に載せるなどの静止ジェスチャ、指を前後に振るなどの動的ジェスチャ、および対立筋を共収縮することによって関節を若干緊張させる、オブジェクトまたは面の上を圧迫する、または筋肉下活性化を使用するなど、別の人物には知覚不可能な内密のジェスチャを含み得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ(たとえば、たとえば、他のジェスチャ、対話、またはコマンドに対するマッピングを指定するジェスチャ語彙に基づいて、他のジェスチャ、対話、またはコマンドにマッピングされるジェスチャ)を含み得る。
複数の神経筋センサーに加えて、本明細書で説明する技法のいくつかの実施形態は、上記で論じたように、1つまたは複数のトレーニングされた推論モデルに対する入力として提供されてもよい補助信号を記録するように構成された、1つまたは複数の補助センサーを含み得る。補助センサーの例は、IMU、撮像デバイス、放射線検知デバイス(たとえば、レーザー走査デバイス)、心拍数モニタ、または1つまたは複数の動きまたはジェスチャの実行中、ユーザからの生物物理学的情報を感知して記録するように構成された、任意の他のタイプのバイオセンサーを含む。一実施形態によれば、活動320において、図3のプロセス300に示すように、システムは、1つまたは複数のカメラ入力を受信し処理する。そのような入力は、画像、ビデオ、ストリーム、などの信号など、1つまたは複数の生信号、もしくは検出されたオブジェクト、3Dモデル、などの表現の信号など、1つまたは複数の前処理された形態の信号、および/またはカメラ入力の状態を反映する情報など、他の情報を含み得る。さらに、いくつかの実施形態は、たとえば、Microsoft Corporation(Redmond、Washington、USA)から入手可能なKinectシステムおよびLeap Motion,Inc.(San Fransicso、California、USA)から入手可能なLeap Motionシステムなど、骨格追跡を実行するカメラベースのシステムを使用して実装され得ることを諒解されたい。本明細書で説明する様々な実施形態を実装するために、ハードウェアおよび/またはソフトウェアの任意の組み合わせが使用され得ることを諒解されたい。
活動310および320は、1つまたは複数のセンサー(たとえば、EMGセンサー、IMU)によって感知され記録された信号および/または1つまたは複数のカメラからのカメラ入力信号を含み得る生センサー信号が随意に処理される、処理活動自体を含んでもよい。いくつかの実施形態では、生センサー信号は、(たとえば、増幅、フィルタリング、および/または整流を実行するために)ハードウェア信号処理回路を使用して処理され得る。他の実施形態では、生センサー信号の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、1つまたは複数のセンサーによって感知され記録された、かつ/または1つまたは複数のカメラから取得された、生センサー信号の信号処理は、ハードウェア、またはソフトウェア、またはハードウェアとソフトウェアの任意の好適な組み合わせを使用して実行され得る。いくつかの実装形態では、生センサー信号は、他の信号データを導出するために処理され得る。たとえば、1つまたは複数のIMUによって記録された加速度計データは、筋肉の活性化中またはジェスチャの実行中に、1つまたは複数の筋肉に関連して導出された信号データを判定するために統合および/またはフィルタリングされ得る。
プロセス300は、次いで、活動330に進み、ここで、生センサー信号(たとえば、神経筋信号およびカメラ入力信号)または生センサー信号の処理されたバージョンは、上記で説明したように、手の状態情報など、ユーザ動き情報を生み出すように構成された、トレーニングされた推論モデルに対する入力として随意に提供される。
プロセス300は、次いで、活動340に進み、ここで、トレーニングされた推論モデルの出力が提供される。たとえば、いくつかの実施形態では、生センサー信号、処理されたセンサー信号、および/またはトレーニングされた推論モデルの出力(たとえば、手の状態情報および/またはトレーニングされた推論モデルの他のレンダリングされた出力、など)に基づいて、システムの制御出力が提供される。たとえば、いくつかの実施形態では、ARシステム201は、ARシステム201(または、他のシステムディスプレイ)がレンダリングされたジェスチャとして表示され得る、レンダリングされた出力を受信し得る。
いくつかの実施形態によれば、1つまたは複数のコンピュータプロセッサ(たとえば、システム100のプロセッサ112、またはARベースのシステム200のプロセッサ205)は、生センサー信号(たとえば、上記で論じたセンサーによって感知され記録された信号および/またはカメラ入力信号)および/またはこれらの信号に基づく情報からユーザの1つまたは複数の筋肉活性化状態を識別するようにプログラムされ得る。信号 生センサー信号に基づく情報は、処理されたセンサー信号(たとえば、処理されたEMG信号)に関連する情報、および/またはトレーニングされた推論モデルの出力に関連する情報(たとえば、手の状態情報)を含み得る。ユーザの1つまたは複数の筋肉活性化状態は、ユーザによって実行される静止ジェスチャ、ユーザによって実行される動的ジェスチャ、ユーザの筋肉下活性化状態、および/またはユーザによって実行される筋肉の緊張を含み得る。ユーザの1つまたは複数の筋肉活性化状態は、生センサー信号内で検出された筋肉活動および/または1つまたは複数の運動単位活性化の1つまたは複数のパターン、および/またはユーザによって実行される様々な動きまたはジェスチャに関連する、生センサー信号に基づく情報によって定義され得る。
図4は、本明細書で説明する技術のいくつかの実施形態による、ARベースのシステム内でジェスチャ情報を処理するためのプロセス400のフローチャートである。具体的には、ARシステムがユーザ体験を提供するための神経筋活動システムに関連して使用され得る、いくつかの異なる使用シナリオが存在し得る。図4に示すように、プロセス400に従って、活動410において、ARベースのシステムは、ARベースのシステムのディスプレイ内でモデルジェスチャをユーザに表示するように構成され得る。たとえば、ARベースのシステムは、投げる動きまたはユーザが模倣するかまたは学習することを望む他のジェスチャタイプを表示するように適合され得る。このために、ARベースのシステムは、ユーザが特定のジェスチャを真似ることを試みる間、ジェスチャの一例をユーザに表示し得る。活動420において、神経筋活動システムは、ジェスチャを真似る間に、ユーザによって生み出された神経筋信号を処理する。活動430において、神経筋活動システムは、真似されたジェスチャがそのジェスチャのモデルに整合するかどうかを判定する。そのような判定は、たとえば、1つまたは複数の3D基準モデルを使用して、ユーザが真似たジェスチャを測定するか、またはそのジェスチャをジェスチャの基準モデルと比較する推論モデルの出力を比較することによって行われ得る。許容可能な整合は、一定の事前定義された範囲または2つ以上の基準モデル間の誤差レベル内で生じ得る。整合が生じるかどうかを判定するために、カメラデータ(たとえば、カメラからの入力信号)が(単独で、または神経筋信号と組み合わせて)使用されてもよいことを諒解されたい。たとえば、神経筋信号(たとえば、EMG信号)が入手可能でない場合、整合は、もっぱらカメラデータを使用して検出され得る。
さらに、推論モデルは、モデル間の整合の指示を提供するようにトレーニングされてもよい。活動440において、ARディスプレイ内の表示指示(たとえば、光、またはジェスチャが整合したかまたは整合しなかったかを識別する他のインジケータ)、オーディオ出力(たとえば、「よくできました」、「整合」、など、発話に対するオーディオ信号)、触覚フィードバック、電気的刺激、および/またはユーザが知覚可能な他の出力など、フィードバックがユーザに提供され得る(図5に関して以下で詳細に説明する)。そのような比較の一態様は、ジェスチャが正確に(または、不正確に)完了されることになるかどうかについての予測を含み得ることを諒解されたい。たとえば、ARベースのシステム内のハードウェアおよび/またはソフトウェアは、ユーザがジェスチャを成功裏に完了する可能性があるかどうかを判定することが可能な予測測定のためのルーチンを実行し得る。1つの例示的な実装形態では、予測測定が、ユーザが成功しないことを示すとき、オーディオ出力がユーザに提示され得る。
諒解されるように、ユーザに対するフィードバックは、カメラに対するユーザの位置に関係し得る。たとえば、ユーザがカメラの視野から完全にまたは部分的に遮蔽されている場合、フィードバックは、ユーザの身体の関連する部分がいつ視野内にあるかをユーザに知らせることができる。
いくつかの実施形態では、ジェスチャの予測に基づいて、ジェスチャの完了前に、いくつかの出力がユーザに配信され得ることを諒解されたい(たとえば、ユーザがジェスチャを完了する前に、ユーザは、ジェスチャの実行に対するユーザの試行が成功しないことを示す電気的刺激を受けることができる)。また、整合動作は、推論モデルをトレーニングするため、ARベースのシステムの較正のため、および/またはAR状況におけるユーザのトレーニングのために実行され得るが、筋骨格推論モデルをリアルタイムでトレーニングおよび/または補正して、より正確な関節角度予測を作成するために、たとえば、EMG信号と関節角度とを対にするデータが使用され得ることを諒解されたい。しかしながら、ジェスチャ分類器の場合、ユーザが所与のジェスチャを実行しているかどうかを具体的に判定することが望ましい場合がある。そのような場合、モデルを回帰させる対象である関節角度に対する整合を検出するか、またはその関節角度をターゲットにすることによって、ジェスチャラベルなど、トレーニングおよび/または分類データを提供するために使用可能な情報を取得するために、1つまたは複数のカメラ(たとえば、カメラ204)が使用され得る。
図5は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号とカメラ入力信号を統合し、フィードバックをユーザに提供するためのプロセス500のフローチャートである。プロセス500は、図2のARベースのシステム200によって実行され得る。活動510において、神経筋活動システム202は、図3を参照して上記で論じたのと同様の方法で信号を受信し処理する。さらに、活動520において、システム200は、図3を参照して(たとえば、活動320において)上記で論じたのと同様の方法でカメラ入力を受信し処理する。活動530において、システム200は、フィードバックをユーザに(たとえば、ARベースのシステム200のディスプレイ208のうちの1つまたは複数の中で)表示する。代替として、システム200は、オーディオフィードバック、触覚フィードバック、またはユーザによって知覚可能な他の出力など、いくつかの異なる方法でフィードバックを提供し得る。このために、神経筋活動システム202は、フィードバック出力を表示または生成するために、ARベースのシステム200の他の部分に出力を提供することが可能であり得る。いくつかの実装形態では、ARベースのシステム200は、フィードバックをユーザに提供またはレンダリングすることができる、1つまたは複数のオーディオ出力、ディスプレイ、インジケータ、および/または他のタイプの出力デバイスを有し得る。代替として、システム200は、出力信号(たとえば、制御信号)を1つまたは複数の第三者システム(たとえば、マネージャシステム、監視システム、監督システム、または他のタイプの第三者システム)に提供またはレンダリングするように構成され得る。
図6は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス600のフローチャートである。プロセス600は、図2のARベースのシステム200によって実行され得る。活動610において、システム200は、カメラ入力(たとえば、キャプチャされた画像の入力信号)を受信して処理する。一実施形態では、活動620において、システム200は、キャプチャされた画像からまたは他の入力(たとえば、神経筋データ)から位置情報を判定する。活動630において、システム200は、判定された位置情報に基づいて推論モデルのパラメータを更新し得る。たとえば、神経筋活動システム202が手の位置および/または腕の位置を判定する状況において、カメラ入力データ(たとえば、手および/または腕の画像)は、較正活動において特定の推論モデルに関する位置情報を補正するために、すなわち、推論モデルを較正するために、使用され得る。2つ以上のデータソース(たとえば、カメラデータおよびEMGデータ)が存在する場合、推論モデルは、それらのソースからのデータが同時に取得されることを要求し得る。たとえば、EMGベースの位置情報に対応する信号に誤差またはズレが存在することがあり、カメラ入力信号から判定されたグラウンドトゥルース位置は、EMGベースの推論モデルのパラメータを調整するために使用され得る。このようにして、EMGベースの推論モデルの精度は、EMGベースの推論モデルを較正するために、EMG信号およびカメラ入力信号の両方を使用することによって改善され得る。そのようなプロセスは、ユーザが離散的ジェスチャを実行する、かつ/または「通常の」動作においてリアルタイムでジェスチャを実行する較正動作の部分として使用されてよく、ジェスチャに対する推論モデルは、モデルに対する神経筋信号を提供するソース以外の信号源によって生成されたグラウンドトゥルースデータに基づいて調整される必要があり、他の信号源は、たとえば、カメラであってよい。いくつかの実施形態では、カメラデータは、(たとえば、回帰モデルに対する)連続関節角度を推定するために、または(たとえば、分類器に対する)離散的ジェスチャを識別するために、使用され得る。
図7は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス700のフローチャートである。プロセス700は、図2のARベースのシステム200によって実行され得る。図6の活動610と同様に、活動710において、システム200は、カメラ入力(たとえば、キャプチャされた画像の入力信号)を受信して処理する。活動720において、システム200は、キャプチャされた画像から形状情報を判定する。たとえば、手の画像をキャプチャするとき、セグメントの長さ、関節の位置、および手の他の形状関係など、形状情報がキャプチャされ得る。活動730において、そのような形状情報は、推論モデルの1つまたは複数のパラメータを更新するために使用され得る。1つの例示的な実装形態では、システム200は、手のEMGモデルによって使用される形状を補正し得る。たとえば、カメラによってキャプチャされた画像は、EMGベースの信号を使用して生成された画像よりもユーザの手の形状を正確に描写し得ることを諒解されたい。たとえば、カメラによってキャプチャされるような指のセグメントの長さの画像は、手の形状のEMGベースの推論モデルを更新するために使用され得る。これは、特に、EMGベースの推論モデルがその特定のユーザと使用するために補正または更新されるときに適切であり得る。
図8は、本明細書で説明する技術のいくつかの実施形態による、位置情報および力情報を判定するためのプロセスのフローチャート800である。具体的には、上記で論じたように、AR環境内の位置情報および力情報をより正確に判定するために神経筋情報およびカメラ入力情報の両方を使用することが有益であり得る。プロセス800は、図2のARベースのシステム200によって実行され得る。活動810において、神経筋活動システム202は、神経筋入力信号を受信して処理する。さらに、活動820において、ARシステム201は、少なくとも1つのカメラ入力信号を受信して処理する。活動830において、神経筋入力信号およびカメラ入力信号が推論モデルに提供される。両方の入力に基づいて、システム200は、位置情報を(たとえば、活動840において)判定し得、力情報を(たとえば、活動860において)判定し得る。位置情報および力情報は、たとえば、ARディスプレイ内にユーザの手の表現をレンダリングするために使用され得る。たとえば、この表現は、ユーザの手および指といった付属肢のより正確な位置、ならびに手および/または指といった付属肢のうちのいずれかにかけられ得る何らかの力を示し得る。1つの特定の例では、システム200は、ユーザの親指が同じ手の人差し指を圧迫している、ユーザの手の位置をより正確にレンダリングし得る。カメラ入力は人差し指と親指とが接触している視覚指示を提供し得るが、神経筋信号は人差し指および親指によって同じ相対レベルで力が加えられていること(たとえば、人差し指および親指が軽量の力で共に圧迫されていること)を示し得るため、カメラ入力は特に有用であり得る。このように、システム200は、ユーザの手の手の状態情報をより正確に表すことができる。随意に、システム200は、活動850および870において、それぞれ位置情報および力情報を出力として提供し得る。そのような出力は、指示を提供し、出力または他の表現をレンダリングし、かつ/または他のシステムを制御するために、1つまたは複数の他のシステムによって使用され得る。
いくつかの実装形態では、カメラ入力信号は、1つまたは複数の指がユーザの親指と接触しているかどうかを判定し、接触している場合、どの指が親指と接触しているかを判定するために処理され得る。一実施形態では、接触が存在する場合、次いで、神経筋入力信号を提供した神経筋センサーから記録された信号電力(たとえば、EMG信号電力)の対数に応じて、または力の大きさを推論するための別の信号処理技法を用いて、アフィン変換として、親指と接触している指との間の力の大きさが推定され得る。アフィン変換関数の係数は、ユーザが最初にそれらの指に軽く触れ、次いで、後で、それらの指の間の摘まむ力に対応する最大随意収縮を生み出す較正段階によって判定され得る。この実装形態では、推論モデルは、わずかな最大随意収縮単位で力を出力し得る。いくつかの実装形態では、アフィン変換関数の係数は、親指に接触している指のセットに対して特定であり得る。同様に、EMG信号電力のアフィン変換関数は、ユーザがオブジェクトまたは面に力をかけている場合、較正され得る。
図9は、本明細書で説明する技術のいくつかの実施形態による、入力信号の品質を判定し、それらの品質に基づいてモデル関数を実行するためのプロセス900のフローチャートである。プロセス900は、図2のARベースのシステム200によって実行され得る。たとえば、一定の入力信号は一定の状況において他の入力信号よりも信頼できるものであり得ることを諒解されたい。たとえば、カメラ入力信号は、モデル形成されることになるオブジェクトが、カメラの視野から遮蔽されているか、またはカメラの視野内にまったくないとき、情報に対する信頼性はより低い可能性がある。同様に、神経筋信号は、変化する物理的条件、雑音、または他の干渉によって生成される誤差を含み得る。したがって、システムが、モデルが適切に更新され得るように、特定の入力信号の品質を適応的に判定することが有利であり得る。
活動910において、システム200は、(たとえば、神経筋活動システム202によって受信される)神経筋信号を受信して処理する。活動920において、ARシステム201は、1つまたは複数のカメラ入力信号を受信して処理する。活動930において、システム200は、神経筋信号の品質を判定する。たとえば、神経筋活動システム202または別の好適なシステムは、神経筋信号が使用されるべきであるかどうかを判定し、使用されるべきである場合、何のレベルで使用されるべきかを判定し得る。たとえば、神経筋信号の一定の部分は正確であり得る(たとえば、力測定)が、神経筋信号の他の部分は正確でない可能性がある(たとえば、絶対的な前腕位置)。神経筋信号の一定の部分は、一定の時間枠内で、変化する条件下で、信頼できるものであり得る。たとえば、低周波数(たとえば、20Hz未満)または高周波数(たとえば、500Hzを超える)においてかなりの力(たとえば、所定のしきい値を上回る力)を有するEMG信号は、低品質のEMG信号を示し得る。
活動940において、システム200は、カメラ入力信号の品質を判定し得る。上記で論じたように、カメラ信号は、一定のオブジェクトが視野内にあるとき、特定の品質レベルのものであると判定されてよく、カメラ信号は、オブジェクトが遮蔽されているかまたは視野内にないとき、より低い品質レベルであると判定されてよい。活動950において、システム200は、カメラ入力信号および神経筋信号の判定された品質に基づいて、信号を推論モデルに提供し得る。たとえば、1つまたは複数のカメラ入力信号または神経筋信号は、推論モデル内に入力されるのに先立って、フィルタリングまたは廃止され(deprecated)得る。別の実装形態では、推論モデルは、変化する条件下でトレーニングされてよく、異なる品質の信号に応じてトレーニングされてよい。別の実装形態では、2つのタイプの入力の各々から別個のベイズ予測およびベイズ信頼性が判定されてよく、(たとえば、加重平均をとることによって)2つの予測を組み合わせるためにベイズ手法が使用され得る。活動960において、システム200は、推論モデルの出力を提供する。
図10は、本明細書で説明する技術のいくつかの実施形態による、1つまたは複数のEMGセンサー1040およびカメラ1060を利用するシステム1000の1つの例示的な実装形態を示す図である。たとえば、図10は、ユーザの腕、および、1つまたは複数の関節およびセグメントからなり、筋骨格表現として示され得る、付いた手(「腕/手」)1010を示す。より具体的には、ユーザの手のセグメント1020は、関節によって接続されている。腕および手の位置、および腕および手のセグメントの長さは、システム1000によって判定され、モデル筋骨格表現の3次元空間内に位置し得る。さらに、ユーザの手は、補間された前腕セグメント1030をやはり含み得る。上記で論じたように、神経筋活動システムは、ユーザの手/腕の位置の1つまたは複数の表現を判定するために使用され得る。このために、ユーザは、筋骨格表現を判定するために使用される神経筋信号を感知して記録する、1つまたは複数のEMGセンサー1040を備えるバンドを着用し得る。EMGセンサー1040が神経筋信号を感知して記録するのと同時に、カメラ1060は、カメラの視野1050内のオブジェクトをキャプチャするために使用され得る。たとえば、図10において、カメラの視野1050は、ユーザの腕/手1010を含む。カメラデータは、EMGセンサー1040によって判定された神経筋活動信号に加えて、位置、形状、およびユーザの腕/手1010によってかけられている力を再構築するために使用され得る。さらに、システム1000からの出力は、システム1000がユーザの腕/手1010の表現をARディスプレイまたは他のタイプのシステム内などにレンダリングすることができるように提供され得る。
図11は、本明細書で説明する技術のいくつかの実施形態による、トレーニングされた推論モデルに対する入力を処理するプロセス1100を示す図である。たとえば、IMU入力(1101)、EMG入力(1102)、およびカメラ入力(1103)を使用することによって、筋骨格表現のより正確な表現が取得され得ることを諒解されたい。これらの入力1101、1102、1103の各々は、トレーニングされた推論モデル1110に提供され得る。推論モデル1110は、位置、力、および/または筋骨格状態の表現など、1つまたは複数の出力を提供するように構築され得る。そのような出力は、上記で論じたような、指示または表示のために、またはフィードバックをユーザに提供するために、ARシステムなど、1つまたは複数のシステムに提供され得る。入力1101、1102、1103のうちのいずれも、トレーニングされた推論モデルから出力を導出するために任意の他の入力との任意の組み合わせで使用され得ることを諒解されたい。たとえば、前腕の位置情報は、IMU入力1101およびカメラ入力1103の組み合わせに基づいて導出され得る。一実装形態では、前腕の位置の推定は、IMU入力1101に基づいて生成され、カメラ入力1103から取得されたグラウンドトゥルースデータに基づいて調整され得る。また、前腕の位置および/または前腕の方向は、IMU入力1101なしに、カメラ入力1103のみを使用して導出され得る。別のシナリオでは、EMG入力1102(たとえば、EMG信号)は、力専用情報を導出して、カメラモデルシステムによって提供された姿勢専用情報を拡張するために使用され得る。入力の他の組み合わせは、所望の出力を取得するために使用されてよく、本明細書で説明する様々な実施形態の範囲内である。
いずれかの筋骨格表現の生成の有無にかかわらず、そのような出力が導出され得ることを諒解されたい。ARシステムに提供される制御入力信号として使用される、EMGベースの制御信号の出力など、1つまたは複数の出力が、任意の他のシステムに対する制御入力として使用され得ることをやはり諒解されたい。
本明細書で説明したいずれの実施形態も、単独で、または本明細書で説明したいずれかの他の実施形態と組み合わせて使用され得ることを諒解されたい。さらに、本明細書で説明した一実施形態の部分は、本明細書で説明した1つまたは複数の他の実施形態の部分と組み合わされてよい。加えて、本明細書で説明した実施形態は、全体または一部において、参照により本明細書に組み込まれる、2019年1月25日に出願した、「CALIBRATION TECHNIQUES FOR HANDSTATE REPRESENTATION MODELING USING NEUROMUSCULAR SIGNALS」と題する米国特許出願第16/257,979号、および参照により本明細書に組み込まれる、2017年7月25日に出願した、「SYSTEM AND METHOD FOR MEASURING THE MOVEMENTS OF ARTICULATED RIGID BODIES」と題する米国特許出願第15/659,504号において説明された実施形態とともに使用され得る。
上記の実施形態は、多数の方法のうちのいずれかで実装され得る。たとえば、これらの実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装され得る。ソフトウェアを使用して実装されるとき、ソフトウェアを備えるコードは、単一のコンピュータ内に提供されるか、または複数のコンピュータにわたって分散されて提供されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの収集物の上で実行され得る。上記で説明した機能を実行するいずれの構成要素または構成要素の収集物も、一般に、上記で論じた機能を制御する、1つまたは複数のコントローラと見なされ得ることを諒解されたい。1つまたは複数のコントローラは、専用ハードウェアとともに、または上記で列挙した機能を実行するためにマイクロコードまたはソフトウェアを使用してプログラムされた1つまたは複数のプロセッサとともになど、多数の方法で実装され得る。
この点で、本発明の実施形態の一実装形態は、プロセッサ上で実行されるとき、本明細書で説明した技術の実施形態の上記で論じた機能を実行するコンピュータプログラム(すなわち、複数の命令)を用いて符号化された、少なくとも1つの非一時的コンピュータ可読記憶媒体(たとえば、コンピュータメモリ、ポータブルメモリ、コンパクトディスク、など)を備えることを諒解されたい。コンピュータ可読記憶媒体は、本明細書で論じた本発明の態様を実装するために、その上に記憶されたプログラムが任意のコンピュータリソース上にロードされ得るように、移送可能であり得る。加えて、実行されると、上記で論じた機能を実行するコンピュータプログラムの参照は、ホストコンピュータ上で実行するアプリケーションプログラムに限定されないことを諒解されたい。むしろ、コンピュータプログラムという用語は、本明細書において、本発明の上記で論じた態様を実装するようにプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコード(たとえば、ソフトウェアまたはマイクロコード)を指すために一般的な意味で使用される。
本明細書で提示した技術の様々な態様は、単独で、組み合わせて、または上記で説明した実施形態において具体的に論じられていない様々な配置で使用可能であり、したがって、その適用例を前述の説明および/または図面において記載された構成要素の詳細および配置に限定しない。
また、上記で説明した実施形態のうちのいくつかは、そのうちのいくつかの例が提供されている、1つまたは複数の方法として実装され得る。方法の部分として実行される活動は、任意の好適な方法で順序付けられてよい。したがって、例示的な実施形態において連続的な活動として示されているとしても、いくつかの活動を同時に実行することを含み得る、本明細書で示した、または説明したのとは異なる順序で活動が実行される実施形態が構築され得る。本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「有する」、「包含する」、「関連する」、およびそれらの変形態の使用は、その後に列挙する項目および追加の項目を網羅することを意味する。
本発明のいくつかの実施形態を詳細に説明してきたが、様々な修正および改善は、当業者に容易に浮かぶであろう。そのような修正および改善は、本発明の趣旨および範囲内であることが意図される。したがって、前述の説明は、単なる例であり、限定的であることは意図されない。本発明は、以下の特許請求の範囲およびその均等物によって定義されるようにのみ限定される。
前述の特徴は、本明細書で論じた実施形態のうちのいずれかにおいて、別々に、または任意の組み合わせで一緒に使用され得る。
さらに、本発明の利点が示されることがあるが、本発明のすべての実施形態がすべての説明した利点を含むことにはならないことを諒解されたい。いくつかの実施形態は、本明細書で利点として説明した任意の特徴を実装しないことがある。したがって、前述の説明および添付の図面は、単なる例示である。
開示した実施形態に対する変形形態が可能である。たとえば、本技術の様々な態様は、単独で、組み合わせて、または前述で説明した実施形態において具体的に論じていない様々な配置で使用可能であり、したがって、これらの態様は、適用の際に、前述の説明で記載した、または図面に示した、構成要素の詳細および配置に限定されない。一実施形態において説明した態様は、他の実施形態において説明した態様といずれかの方法で組み合わされてよい。
要素を修正するための、説明および/または請求項における「第1の」、「第2の」、および「第3の」、などの順序を示す用語の使用は、それ自体、別の要素に対する1つの要素の何らかの優先度、優位、または順序、または方法の活動が実行される時間的順序を含意せず、ある名称を有する1つの要素または活動を同じ名称を有する別の要素または活動と区別してそれらの要素または活動を区別するための(しかしながら、順序を示す用語を使用するための)標示として単に使用される。
明細書および請求項において、本明細書において使用した不定冠詞「a」および「an」は、それと異なる明記がない限り、「少なくとも1つ」を意味すると理解すべきである。
1つまたは複数の要素のリストを参照する際の「少なくとも1つ」という句のいずれの使用も、要素のリスト内の要素のうちのいずれか1つまたは複数から選択された少なくとも1つの要素を意味するが、要素のリスト内に具体的に列挙されたあらゆる要素のうちの少なくとも1つを必ずしも含むとは限らず、要素のリスト内の要素のいずれの組み合わせも排除しないことを理解されたい。この定義は、具体的に識別された要素に関係しようと、または無関係であろうと、「少なくとも1つ」という句が指す要素のリスト内で具体的に識別される要素以外の要素が随意に存在し得ることをやはり可能にする。
2つの値(たとえば、距離、幅、など)を参照する際の「等しい」または「同じ」という句のいずれの使用も、2つの値が製造公差において同じであることを意味する。したがって、等しいまたは同じである2つの値は、これらの2つの値が±5%だけ互いと異なることを意味し得る。
明細書および請求項において、本明細書において使用した「および/または」という句は、そのように結合された要素、すなわち、場合によっては、結合的に存在するか、または他の場合には、分離的に存在する要素の「いずれかまたは両方」を意味すると理解されたい。「および/または」とともに列挙された複数の要素は、同じように、すなわち、そのように結合された要素の「1つまたは複数の」と解釈されるべきである。具体的に識別された要素に関係しようと、または無関係であろうと、「および/または」節によって具体的に識別される要素以外の他の要素が随意に存在し得る。したがって、非限定的な例として、「Aおよび/またはB」の参照は、「含む/備える」などのオープンエンド型(open−ended)用語とともに使用されるとき、一実施形態において、Aのみ(随意に、B以外の要素を含む)を指し得、別の実施形態において、Bのみ(随意に、A以外の要素を含む)を指し得、さらに別の実施形態において、AとBの両方(随意に、他の要素を含む)、などを指し得る。
明細書および請求項において、本明細で使用される「または」は、上記で定義した「および/または」と同じ意味を有すると理解すべきである。たとえば、リスト内の項目を分離するとき、「または」または「および/または」は、包括的、すなわち、少なくとも1つを包括するが、いくつかの要素または要素のリストのうちの1つを超える要素も含み、また、随意に、追加の列挙されない項目も含むと解釈すべきである。「のうちの1つのみ」または「のうちのまさに1つ」など、その反対が明確に示されるか、または請求項において使用されるときのみ、「からなる」は、いくつかの要素または要素のリストのうちのまさに1つの要素の包括を指すことになる。概して、本明細で使用される「または」という用語は、「いずれか」、「のうちの1つ」、「のうちの1つのみ」、または「のうちのまさに1つ」など、排他性の用語が先行するときのみ、排他的な代替(すなわち、「両方ではなく、1つまたはもう1つの」)を示すと解釈するべきである。「本質的に〜からなる」は、請求項において使用されるとき、特許法の分野で使用されるその通常の意味を有するものとする。
また、本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「からなる」、「有する」、「包含する」、および「関連する」などの用語、ならびに本明細書におけるその変形態の使用は、その後に列挙する項目およびその均等物、ならびに追加の項目を網羅することを意味する。
「およそ」および「約」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の±20%内を意味し、いくつかの実施形態では、目標値の±10%内を意味し、いくつかの実施形態では、目標値の±5%以内を意味し、いくつかの実施形態では、目標値の±2%以内を意味すると解釈され得る。「およそ」および「約」という用語は、目標値に等しくてよい。
「実質的に」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の95%内を意味し、いくつかの実施形態では、目標値の98%内を意味し、いくつかの実施形態では、目標値の99%以内を意味し、いくつかの実施形態では、目標値の99.5%以内を意味すると解釈され得る。いくつかの実施形態では、「実質的に」という用語は。目標値の100%に等しくてよい。
Claims (204)
- 筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムであって、
少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
前記複数の神経筋信号および前記少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、前記1つまたは複数の推論モデルを較正するようにプログラムされた少なくとも1つのコンピュータプロセッサと
を備える、コンピュータ化システム。 - 前記少なくとも1つのパラメータの前記更新が、
前記1つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを較正するために前記少なくとも1つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
前記1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新、
前記1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新
のうちのいずれか1つまたは任意の組み合わせを含む、請求項1に記載のコンピュータ化システム。 - 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能である、請求項1に記載のコンピュータ化システム。 - 前記少なくとも1つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項1に記載のコンピュータ化システム。
- 前記少なくとも1つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項1または4に記載のコンピュータ化システム。
- 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項1に記載のコンピュータ化システム。 - 前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記1つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記1つまたは複数の推論モデルをトレーニングすることを含む、請求項1に記載のコンピュータ化システム。
- 拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムをさらに備え、前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新する
ようにさらにプログラムされる、請求項1に記載のコンピュータ化システム。 - 前記少なくとも1つのカメラが、前記XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項8に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、
前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記XRシステムに命令する
ようにさらにプログラムされる、請求項8に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記XRシステムに命令する
ようにさらにプログラムされる、請求項8に記載のコンピュータ化システム。 - 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項8に記載のコンピュータ化システム。
- 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項8に記載のコンピュータ化システム。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項8に記載のコンピュータ化システム。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項8に記載のコンピュータ化システム。
- 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項8に記載のコンピュータ化システム。
- 前記視覚表現が前記XR環境内にある、請求項14から16のいずれか一項に記載のコンピュータ化システム。
- 前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの1つである、請求項8に記載のコンピュータ化システム。 - 前記少なくとも1つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも1つのカメラによってキャプチャされ、
前記少なくとも1つのコンピュータプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させるようにさらにプログラムされる、
請求項8に記載のコンピュータ化システム。 - 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内に完全に含まれているかどうかを示す、請求項19に記載のコンピュータ化システム。
- 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項19に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、前記フィードバックを前記XR環境内で提供するように前記XRシステムに命令する、請求項19に記載のコンピュータ化システム。
- 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を含む、請求項19に記載のコンピュータ化システム。
- 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項23に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、前記少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むかどうかを判定するようにさらにプログラムされ、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記少なくとも1つの画像が前記筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することを含む、
請求項1に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されたXR環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新する
ようにさらにプログラムされる、請求項1に記載のコンピュータ化システム。 - 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項26に記載のコンピュータ化システム。
- 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能である、請求項26に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータを更新することを含む、
請求項1に記載のコンピュータ化システム。 - 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも1本の指の長さを含む、請求項29に記載のコンピュータ化システム。
- 前記少なくとも1つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項1に記載のコンピュータ化システム。
- 筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法であって、
少なくとも1つのコンピュータプロセッサによって、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像および前記少なくとも1つの画像から導出された情報のうちの一方または両方を受信することと、
前記少なくとも1つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号および前記少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、前記1つまたは複数の推論モデルを較正することと
を含む、方法。 - 前記少なくとも1つのパラメータの前記更新が、
前記1つまたは複数の推論モデルを較正するために前記複数の神経筋信号を前処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを較正するために前記少なくとも1つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
前記1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新、
前記1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新
のうちのいずれか1つまたは任意の組み合わせを含む、請求項32に記載の方法。 - 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能である、請求項32に記載の方法。 - 前記少なくとも1つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項32に記載の方法。
- 前記少なくとも1つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項32または35に記載の方法。
- 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項32に記載の方法。 - 前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記1つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記1つまたは複数の推論モデルをトレーニングすることを含む、請求項32に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することと
をさらに含み、
前記少なくとも1つのプロセッサが、拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムと通信中である
請求項32に記載の方法。 - 前記少なくとも1つのカメラが、前記XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項39に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記XRシステムに命令すること
をさらに含む、請求項39に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記XRシステムに命令すること
をさらに含む、請求項39に記載の方法。 - 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項39に記載の方法システム。
- 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項39に記載の方法。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項39に記載の方法。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項39に記載の方法。
- 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項39に記載の方法。
- 前記視覚表現が前記XR環境内にある、請求項45から47のいずれか一項に記載の方法。
- 前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの1つである、請求項39に記載の方法。 - 前記少なくとも1つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも1つのカメラによってキャプチャされる、請求項39に記載の方法であって、
前記少なくとも1つのプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させることをさらに含む、前記方法。 - 前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内に完全に含まれているかどうかを示す、請求項50に記載の方法。
- 前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項50に記載の方法。
- 前記少なくとも1つのコンピュータプロセッサが、前記XRシステムに前記フィードバックを前記XR環境内で提供させる、請求項50に記載の方法。
- 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を含む、請求項50に記載の方法。
- 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項54に記載の方法。
- 前記少なくとも1つのコンピュータプロセッサによって、前記少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記少なくとも1つの画像が前記筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することを含む、
請求項32に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されたXR環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも1つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することと
をさらに含む、
請求項32に記載の方法。 - 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項57に記載の方法。
- 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能である、請求項57に記載の方法。 - 前記少なくとも1つのコンピュータプロセッサによって、前記少なくとも1つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
をさらに含み、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータを更新することを含む、
請求項32に記載の方法。 - 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも1本の指の長さを含む、請求項60に記載の方法。
- 前記少なくとも1つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項32に記載の方法。
- コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも1つのコンピュータによって実行されるとき、前記少なくとも1つのコンピュータに筋骨格表現を生成するために使用される1つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させ、前記方法が、
少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像および前記少なくとも1つの画像から導出された情報のうちの一方または両方を受信することと、
ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
前記複数の神経筋信号および前記少なくとも1つの画像に少なくとも部分的に基づいて1つまたは複数の推論モデルに関連する少なくとも1つのパラメータを更新することによって、前記1つまたは複数の推論モデルを較正することと
を含む、非一時的コンピュータ可読記憶媒体。 - 前記少なくとも1つのパラメータの前記更新が、
前記1つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを較正するために前記少なくとも1つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新
前記1つまたは複数の推論モデルの1つまたは複数のアーキテクチャの更新、
前記1つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記1つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記1つまたは複数の推論モデルのうちの少なくとも1つに対して使用される重みの更新
のうちのいずれか1つまたは任意の組み合わせを含む、請求項63に記載の記憶媒体。 - 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表現を生成するために使用可能である、請求項63に記載の記憶媒体。 - 前記少なくとも1つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項63に記載の記憶媒体。
- 前記少なくとも1つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項63または66に記載の記憶媒体。
- 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項63に記載の記憶媒体方法。 - 前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記1つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも1つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記1つまたは複数の推論モデルをトレーニングすることを含む、請求項63に記載の記憶媒体。
- 前記少なくとも1つのコンピュータが、拡大現実(XR)環境を生成し、視覚表現を表示するXRシステムと通信中であり、
前記方法が、
前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することと
をさらに含む、請求項63に記載の記憶媒体。 - 前記少なくとも1つのカメラが、前記XRシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項70に記載の記憶媒体。
- 前記方法が、
前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記XRシステムに命令すること
をさらに含む、請求項70に記載の記憶媒体。 - 前記方法が、
前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記XRシステムに命令すること
をさらに含む、請求項70に記載の記憶媒体。 - 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項70に記載の記憶媒体。
- 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項70に記載の記憶媒体。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を含む、請求項70に記載の記憶媒体。
- 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を含む、請求項70に記載の記憶媒体。
- 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項70に記載の記憶媒体。
- 前記視覚表現が前記XR環境内にある、請求項76から78のいずれか一項に記載の記憶媒体。
- 前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの1つである、請求項70に記載の記憶媒体。 - 前記少なくとも1つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも1つのカメラによってキャプチャされ、
前記方法が、
前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させること
をさらに含む、
請求項70に記載の記憶媒体。 - 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内に完全に含まれているかどうかを示す、請求項81に記載の記憶媒体。
- 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも1つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項81に記載の記憶媒体。
- 前記フィードバックが前記XR環境内で提供される、請求項81に記載の記憶媒体。
- 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの1つまたは複数を含む、請求項81に記載の記憶媒体。
- 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項85に記載の記憶媒体。
- 前記方法が、
前記少なくとも1つの画像が筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むかどうかを判定すること
をさらに含み、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新は、前記少なくとも1つの画像が前記筋骨格表現の少なくとも2つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することを含む、
請求項63に記載の記憶媒体。 - 前記方法が、
前記少なくとも1つの画像に少なくとも部分的に基づいて、拡大現実(XR)システムによって生成されたXR環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも1つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記1つまたは複数の推論モデルを更新することと
をさらに含む、請求項63に記載の記憶媒体。 - 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項88に記載の記憶媒体。
- 前記1つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせの表示を生成するために使用可能である、請求項88に記載の記憶媒体。 - 前記方法が、
前記少なくとも1つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
をさらに含み、
前記1つまたは複数の推論モデルに関連する前記少なくとも1つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータを更新することを含む、
請求項63に記載の記憶媒体。 - 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも1本の指の長さを含む、請求項91に記載の記憶媒体。
- 前記少なくとも1つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記1つまたは複数の推論モデルの前記少なくとも1つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項63に記載の記憶媒体。
- 動的に更新された筋骨格情報を提供するためのコンピュータ化システムであって、
少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
少なくとも1つのコンピュータプロセッサであって、
トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも1つの画像に基づく情報を提供し、
前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定し、
前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力する
ようにプログラムされた、少なくとも1つのコンピュータプロセッサと
を備える、コンピュータ化システム。 - 前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度.
のうちのいずれか1つまたは任意の組み合わせを含む筋骨格位置情報である、請求項94に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定し、
前記複数の神経筋信号および前記少なくとも1つの画像に基づいて前記情報を判定するために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重する
ようにさらにプログラムされる、請求項94に記載のコンピュータ化システム。 - 前記複数の神経筋信号の前記第1の品質が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項96に記載のコンピュータ化システム。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または、前記ユーザの前記手のうちの少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項96に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定するようにさらにプログラムされる、請求項96に記載のコンピュータ化システム。
- 前記2つ以上の接続された筋骨格セグメントが、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図(EMG)センサーを含み、
前記少なくとも1つのコンピュータプロセッサが、
前記複数のEMGセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定し、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定する
ようにさらにプログラムされる、
請求項94に記載のコンピュータ化システム。 - 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも1つの画像によってキャプチャされ、
前記2つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記少なくとも1つのコンピュータプロセッサが、
前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも1つを判定する
ようにプログラムされる、
請求項94に記載のコンピュータ化システム。 - 前記少なくとも1つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも1つの画像をキャプチャし、
前記1つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕に着用され、
前記少なくとも1つのコンピュータプロセッサが、前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定するようにプログラムされる、
請求項101に記載のコンピュータ化システム。 - 少なくとも1つの慣性計測装置(IMU)センサーをさらに備え、
前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定するようにさらにプログラムされる、
請求項100に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つのIMUセンサーから出力された前記IMU信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定し、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整する
ようにさらにプログラムされる、請求項103に記載のコンピュータ化システム。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項94に記載のコンピュータ化システム。 - 前記トレーニングされた推論モデルが、
前記少なくとも1つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項94に記載のコンピュータ化システム。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項106に記載のコンピュータ化システム。
- 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも2つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項106に記載のコンピュータ化システム。 - 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つが、前記ユーザの親指および前記ユーザの少なくとも1本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指との間にかけられた力を判定する、
請求項108に記載のコンピュータ化システム。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも1本の他の指の先とが接触していると判定する、請求項109に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定し、
前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定する
ようにさらにプログラムされる、請求項94に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像から、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定し、
前記複数の神経筋信号のみに基づいて、前記力情報を判定する
ようにプログラムされる、請求項111に記載のコンピュータ化システム。 - 前記物理的オブジェクトが柔軟な面を有し、
前記少なくとも1つのコンピュータプロセッサが、
前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持していると判定し、
前記複数の神経筋信号、および前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定する
ようにプログラムされる、
請求項111に記載のコンピュータ化システム。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像.
のうちのいずれか1つまたは任意の組み合わせを含む、請求項94または113に記載のコンピュータ化システム。 - 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項94または111に記載のコンピュータ化システム。
- 前記少なくとも1つの画像に基づく前記情報が、前記少なくとも1つの画像の画像信号および前記少なくとも1つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項94または111に記載のコンピュータ化システム。
- 前記物理的オブジェクトが面であり、
前記少なくとも1つのコンピュータプロセッサが、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定するようにさらにプログラムされる、
請求項111に記載のコンピュータ化システム。 - 前記仮想オブジェクトが、拡大現実(XR)システムによって生成されたXR環境内に表示される仮想オブジェクトであり、
前記少なくとも1つのコンピュータプロセッサが、前記ユーザの前記手が前記XR環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定するようにさらにプログラムされる、
請求項111に記載のコンピュータ化システム。 - 動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法であって、
少なくとも1つのプロセッサによって、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、
前記少なくとも1つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
前記少なくとも1つのプロセッサによって、トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも1つの画像に基づく情報を提供することと、
前記少なくとも1つのプロセッサによって、前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
前記少なくとも1つのプロセッサによって、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
を含む、方法。 - 前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度.
のうちのいずれか1つまたは任意の組み合わせを含む筋骨格位置情報である、請求項119に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号および前記少なくとも1つの画像に基づいて前記情報を判定するために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重することと
をさらに含む、請求項119に記載の方法。 - 前記複数の神経筋信号の前記第1の品質が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項121に記載の方法。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項121に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定すること
をさらに含む、請求項121に記載の方法。 - 前記2つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図(EMG)センサーを含み、
前記少なくとも1つのプロセッサによって、前記複数のEMGセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項119に記載の方法。 - 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも1つの画像によってキャプチャされ、
前記2つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも1つを判定すること
をさらに含む、請求項119に記載の方法。 - 前記少なくとも1つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも1つの画像をキャプチャし、
前記1つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定すること
をさらに含む、請求項126に記載の方法。 - 前記少なくとも1つのプロセッサによって、少なくとも1つの慣性計測装置(IMU)センサーによって感知され記録されたIMU信号を受信することと、
前記少なくとも1つのプロセッサによって、前記IMU信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項126に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記IMU信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
をさらに含む、請求項128に記載の方法。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項119に記載の方法。 - 前記トレーニングされた推論モデルが、
前記少なくとも1つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項119に記載の方法。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項131に記載の方法。
- 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも2つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項131に記載の方法。 - 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つが、前記ユーザの親指および前記ユーザの少なくとも1本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指との間にかけられた力を判定する、
請求項133に記載の方法。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも1本の他の指の先とが接触していると判定する、請求項134に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
前記少なくとも1つのプロセッサによって、前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
をさらに含む、請求項119に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
をさらに含む、請求項136に記載の方法。 - 前記物理的オブジェクトが柔軟な面を有する、請求項136に記載の方法であって、
前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号、および前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
をさらに含む、前記方法。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項119または138に記載の方法。 - 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項119または136に記載の方法。
- 前記少なくとも1つの画像に基づく前記情報が、前記少なくとも1つの画像の画像信号および前記少なくとも1つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項119または136に記載の方法。
- 前記物理的オブジェクトが面である、請求項136に記載の方法であって、
前記少なくとも1つのプロセッサによって、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
をさらに含む、前記方法。 - 前記仮想オブジェクトが、拡大現実(XR)システムによって生成されたXR環境内で表示される仮想オブジェクトである、請求項136に記載の方法であって、
前記少なくとも1つのプロセッサによって、前記ユーザの前記手が前記XR環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
をさらに含む、前記方法。 - コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも1つのコンピュータによって実行されるとき、前記少なくとも1つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも1つの画像に基づく情報を提供することと、
前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも1つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
を含む、非一時的コンピュータ可読記憶媒体。 - 前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度.
のうちのいずれか1つまたは任意の組み合わせを含む筋骨格位置情報である、請求項144に記載の記憶媒体。 - 前記方法が、
前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定することと、
前記複数の神経筋信号および前記少なくとも1つの画像に基づいて前記情報を判定するために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重することと
をさらに含む、請求項144に記載の記憶媒体。 - 前記複数の神経筋信号の前記第1の品質が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項146に記載の記憶媒体。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項146に記載の記憶媒体。
- 前記方法が、前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定することをさらに含む、請求項146に記載の記憶媒体。
- 前記2つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図(EMG)センサーを含み、
前記方法が、
前記複数のEMGセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、
請求項144に記載の記憶媒体。 - 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも1つの画像によってキャプチャされ、
前記2つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記方法が、
前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも1つを判定すること
をさらに含む、
請求項144に記載の記憶媒体。 - 前記少なくとも1つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも1つの画像をキャプチャし、
前記1つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
前記方法が、
前記複数の神経筋信号および前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか1つまたは任意の組み合わせを判定すること
をさらに含む、
請求項151に記載の記憶媒体。 - 前記方法が、
少なくとも1つの慣性計測装置(IMU)センサーによって感知され記録されたIMU信号を受信することと、
前記IMU信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項150に記載の記憶媒体。 - 前記方法が、
前記IMU信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
前記少なくとも1つのカメラによってキャプチャされた前記少なくとも1つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
をさらに含む、請求項153に記載の記憶媒体。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項144に記載の記憶媒体。 - 前記トレーニングされた推論モデルが、
前記少なくとも1つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項144に記載の記憶媒体。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項156に記載の記憶媒体。
- 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも2つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項156に記載の記憶媒体。 - 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも2つが、前記ユーザの親指および前記ユーザの少なくとも1本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも1本の他の指との間にかけられた力を判定する、
請求項158に記載の記憶媒体。 - 前記トレーニングされた推論モデルが、前記少なくとも1つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも1本の他の指の先とが接触していると判定する、請求項159に記載の記憶媒体。
- 前記方法が、
前記少なくとも1つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
をさら含む、請求項144に記載の記憶媒体。 - 前記方法が、
前記少なくとも1つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
をさらに含む、請求項161に記載の記憶媒体。 - 前記物理的オブジェクトが柔軟な面を有し、
前記方法が、
前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
前記複数の神経筋信号、および前記少なくとも1つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
をさらに含む、請求項161に記載の記憶媒体。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項144または163に記載の記憶媒体。 - 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項144または161に記載の記憶媒体。
- 前記少なくとも1つの画像に基づく前記情報が、前記少なくとも1つの画像の画像信号および前記少なくとも1つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項144または161に記載の記憶媒体。
- 前記物理的オブジェクトが面であり、
前記方法が、
前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
をさらに含む、請求項161に記載の記憶媒体。 - 前記仮想オブジェクトが、拡大現実(XR)システムによって生成されたXR環境内で表示される仮想オブジェクトであり、
前記方法が、
前記ユーザの前記手が前記XR環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
をさらに含む、請求項161に記載の記憶媒体。 - 筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムであって、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された1つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
前記複数の神経筋信号が感知され記録される間に、少なくとも1つの画像をキャプチャするように構成された、少なくとも1つのカメラと、
少なくとも1つのコンピュータプロセッサであって、
前記少なくとも1つの画像から取得された情報に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、
前記複数の神経筋信号に基づいて力情報を判定し、
前記位置情報を前記力情報に関連付け、
更新された推論モデルを生み出すために、前記推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、
前記更新された推論モデルをメモリ内に記憶させる
ようにプログラムされた
少なくとも1つのコンピュータプロセッサと
を備える、コンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、前記少なくとも1つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定する、請求項169に記載のコンピュータ化システム。
- 前記少なくとも1つの画像が、ビデオを形成する一連の時系列画像を含む、請求項169に記載のコンピュータ化システム。
- 前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせに対応する、請求項169または171に記載のコンピュータ化システム。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項169に記載のコンピュータ化システム。 - 前記少なくとも1つのコンピュータプロセッサが、
前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定し、
前記推論モデルをトレーニングするために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重する
ようにプログラムされる、請求項169に記載のコンピュータ化システム。 - 前記複数の神経筋信号の前記第1の品質が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項174に記載のコンピュータ化システム。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項174に記載のコンピュータ化システム。
- 前記少なくとも1つのコンピュータプロセッサが、前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定するようにさらにプログラムされる、請求項174に記載のコンピュータ化システム。
- 前記少なくとも1つの所定の特性が、
前記神経筋入力信号の1つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか1つまたは任意の組み合わせを含む、請求項169に記載のコンピュータ化システム。 - 少なくとも1つの慣性計測装置(IMU)センサー
をさらに備え、
前記少なくとも1つのコンピュータプロセッサが、前記少なくとも1つのIMUセンサーから出力されたIMU信号に少なくとも部分的に基づいて、前記位置情報を判定するようにさらにプログラムされる、
請求項169に記載のコンピュータ化システム。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項169に記載のコンピュータ化システム。 - 筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法であって、
少なくとも1つのプロセッサによって、ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号が感知され記録される間に、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、
前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像から取得された情報に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
前記少なくとも1つのプロセッサによって、前記複数の神経筋信号に基づいて力情報を判定することと、
前記少なくとも1つのプロセッサによって、前記位置情報を前記力情報に関連付けることと、
前記少なくとも1つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
前記少なくとも1つのプロセッサによって、前記更新された推論モデルをメモリ内に記憶させることと
を含む、方法。 - 前記少なくとも1つのプロセッサによって、前記少なくとも1つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定することをさらに含む、請求項181に記載の方法。
- 前記少なくとも1つの画像が、ビデオを形成する一連の時系列画像を含む、請求項181に記載の方法。
- 前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせに対応する、請求項181または183に記載の方法。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像.
のうちのいずれか1つまたは任意の組み合わせを含む、請求項181に記載の方法。 - 前記少なくとも1つのプロセッサによって、前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定することと、
前記少なくとも1つのプロセッサによって、前記推論モデルをトレーニングするために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重することと
をさらに含む、請求項181に記載の方法。 - 前記複数の神経筋信号の前記第1の信号が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項186に記載の方法。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項186に記載の方法。
- 前記少なくとも1つのプロセッサによって、前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定すること
をさらに含む、請求項186に記載の方法。 - 前記少なくとも1つの所定の特性が、
前記神経筋入力信号の1つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか1つまたは任意の組み合わせを含む、請求項181に記載の方法。 - 前記少なくとも1つのプロセッサによって、少なくとも1つの慣性計測装置(IMU)センサーから出力されたIMU信号を受信することと、
前記少なくとも1つのプロセッサによって、前記少なくとも1つのIMUセンサーから出力された前記IMU信号に少なくとも部分的に基づいて、前記位置情報を判定することと
をさらに含む、請求項181に記載の方法。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項181に記載の方法。 - コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも1つのコンピュータによって実行されるとき、前記少なくとも1つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
ユーザによって着用される1つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
前記複数の神経筋信号が感知され記録される間に、少なくとも1つのカメラによってキャプチャされた少なくとも1つの画像を受信することと、
前記少なくとも1つの画像から取得された情報に基づいて、前記ユーザの2つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
前記複数の神経筋信号に基づいて力情報を判定することと、
前記位置情報を前記力情報に関連付けることと、
更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも1つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
前記更新された推論モデルをメモリ内に記憶させることと
を含む、
非一時的コンピュータ可読記憶媒体。 - 前記方法が、
前記少なくとも1つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定すること
をさらに含む、請求項193に記載の記憶媒体。 - 前記少なくとも1つの画像が、ビデオを形成する一連の時系列画像を含む、請求項193に記載の記憶媒体。
- 前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか1つまたは任意の組み合わせに対応する、請求項193または195に記載の記憶媒体。 - 前記少なくとも1つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
2つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか1つまたは任意の組み合わせを含む、請求項193に記載の記憶媒体。 - 前記方法が、
前記複数の神経筋信号の第1の品質、または前記少なくとも1つの画像の第2の品質、または前記第1の品質および前記第2の品質の両方を判定することと、
前記推論モデルをトレーニングするために、前記第1の品質および前記第2の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも1つの画像、または前記複数の神経筋信号および前記少なくとも1つの画像の両方に加重することと
をさらに含む、請求項193に記載の記憶媒体。 - 前記複数の神経筋信号の前記第1の品質が、前記複数の神経筋信号のうちの少なくとも1つが少なくとも1つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項198に記載の記憶媒体。
- 前記少なくとも1つの画像の前記第2の品質が、前記ユーザの手が前記少なくとも1つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも1つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも1つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項198に記載の記憶媒体。
- 前記方法が、
前記第2の品質がしきい値よりも高いとの判定に応じて、前記第1の品質を判定すること
をさらに含む、請求項198に記載の記憶媒体。 - 前記少なくとも1つの所定の特性が、
前記神経筋入力信号の1つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか1つまたは任意の組み合わせを含む、請求項193に記載の記憶媒体。 - 前記方法が、
少なくとも1つの慣性計測装置(IMU)センサーから出力されたIMU信号を受信することと、
前記少なくとも1つのIMUセンサーから出力された前記IMU信号に少なくとも部分的に基づいて、前記位置情報を判定することと
をさらに含む、請求項193に記載の記憶媒体。 - 前記1つまたは複数の着用可能デバイスが、その上に含まれた少なくとも1つの位置マーカーを含み、
前記位置情報が、前記少なくとも1つの画像内でキャプチャされた前記少なくとも1つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項193に記載の記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862726159P | 2018-08-31 | 2018-08-31 | |
US62/726,159 | 2018-08-31 | ||
PCT/US2019/049094 WO2020047429A1 (en) | 2018-08-31 | 2019-08-30 | Camera-guided interpretation of neuromuscular signals |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021535465A true JP2021535465A (ja) | 2021-12-16 |
Family
ID=69639787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506985A Pending JP2021535465A (ja) | 2018-08-31 | 2019-08-30 | 神経筋信号のカメラ誘導による解釈 |
Country Status (5)
Country | Link |
---|---|
US (3) | US20200073483A1 (ja) |
EP (2) | EP4241661A1 (ja) |
JP (1) | JP2021535465A (ja) |
CN (1) | CN112996430A (ja) |
WO (1) | WO2020047429A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20200073483A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
CN110300542A (zh) | 2016-07-25 | 2019-10-01 | 开创拉布斯公司 | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
WO2019051606A1 (en) * | 2017-09-15 | 2019-03-21 | Tandemlaunch Inc | SYSTEM AND METHOD FOR CLASSIFYING PASSIVE HUMAN DEVICE INTERACTIONS VIA CURRENT DEVICE CONTEXT PERCEPTION |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11474593B2 (en) | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
US10416755B1 (en) | 2018-06-01 | 2019-09-17 | Finch Technologies Ltd. | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US11009941B2 (en) | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
CN113423341A (zh) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | 用于可穿戴电极传感器***的自动校准的方法和装置 |
JP7342491B2 (ja) * | 2019-07-25 | 2023-09-12 | オムロン株式会社 | 推論装置、推論方法、及び推論プログラム |
US10976863B1 (en) * | 2019-09-19 | 2021-04-13 | Finch Technologies Ltd. | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user |
US11175729B2 (en) | 2019-09-19 | 2021-11-16 | Finch Technologies Ltd. | Orientation determination based on both images and inertial measurement units |
WO2021071915A1 (en) | 2019-10-08 | 2021-04-15 | Unlimited Tomorrow, Inc. | Biometric sensor array |
US11645756B2 (en) * | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
US20210319619A1 (en) * | 2020-04-08 | 2021-10-14 | The Boeing Company | Method for Ergonomic Scoring From Webcam |
US11797086B2 (en) * | 2020-04-30 | 2023-10-24 | Tap Systems Inc. | Wearable finger tap detection system with low power mode |
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
CN112454333B (zh) * | 2020-11-26 | 2022-02-11 | 青岛理工大学 | 基于图像分割及表面肌电信号的机器人示教***及方法 |
WO2022192859A1 (en) * | 2021-03-07 | 2022-09-15 | Liquid Wire Llc | Devices, systems, and methods to monitor and characterize the motions of a user via flexible circuits |
JP2022136727A (ja) * | 2021-03-08 | 2022-09-21 | 株式会社Jvcケンウッド | カメラ装置及びカメラシステム |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US20220374085A1 (en) * | 2021-05-19 | 2022-11-24 | Apple Inc. | Navigating user interfaces using hand gestures |
CN113657243B (zh) * | 2021-08-13 | 2022-04-12 | 黄理鑫 | 一种针对非接触式仿生学遥控手势性能影响的测试方法 |
US12039804B2 (en) * | 2021-08-27 | 2024-07-16 | Rapsodo Pte. Ltd. | Intelligent analysis and automatic grouping of activity sensors |
WO2023034631A1 (en) * | 2021-09-03 | 2023-03-09 | Meta Platforms Technologies, Llc | Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof |
US11829531B2 (en) * | 2021-09-13 | 2023-11-28 | Htc Corporation | Human-computer interaction method and system and non-transitory computer readable storage medium |
US11662815B2 (en) * | 2021-10-08 | 2023-05-30 | Meta Platforms Technologies, Llc | Apparatus, system, and method for detecting user input via hand gestures and arm movements |
US20230297167A1 (en) * | 2022-03-15 | 2023-09-21 | Port 6 Oy | Detecting user input from multi-modal hand bio-metrics |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0639754A (ja) * | 1992-07-27 | 1994-02-15 | Nippon Telegr & Teleph Corp <Ntt> | ロボットハンド制御装置 |
JP2001054507A (ja) * | 1999-08-17 | 2001-02-27 | Sony Corp | 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法 |
WO2010095636A1 (ja) * | 2009-02-20 | 2010-08-26 | 国立大学法人東京大学 | 筋張力推定法及び装置 |
JP2015514467A (ja) * | 2012-03-27 | 2015-05-21 | ビー10ニックス エッセ.エッレ.エッレ. | 筋肉活動の取得および分析用のシステムならびにその動作方法 |
US20180024635A1 (en) * | 2016-07-25 | 2018-01-25 | Patrick Kaifosh | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
Family Cites Families (475)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1411995A (en) | 1919-06-20 | 1922-04-04 | Raymond W Dull | Link belt |
US3580243A (en) | 1968-10-21 | 1971-05-25 | Marquette Electronics Inc | Means and method for subtracting dc noise from electrocardiographic signals |
US3620208A (en) | 1969-11-03 | 1971-11-16 | Atomic Energy Commission | Ekg amplifying electrode pickup |
US3880146A (en) | 1973-06-04 | 1975-04-29 | Donald B Everett | Noise compensation techniques for bioelectric potential sensing |
US4055168A (en) | 1976-09-21 | 1977-10-25 | The Rockefeller University | Posture training device |
LU84250A1 (de) | 1982-07-01 | 1984-03-22 | Mardice Holding | Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen |
WO1986004696A1 (en) | 1985-02-05 | 1986-08-14 | Victor Alexander Milles | Method for fabricating jewellery parts or wrist watches |
US5003978A (en) | 1985-08-21 | 1991-04-02 | Technology 21, Inc. | Non-polarizable dry biomedical electrode |
IL78244A0 (en) | 1986-03-24 | 1986-07-31 | Zvi Kamil | Instrumentation amplifier arrangement |
EP0226533B1 (fr) | 1986-04-01 | 1988-11-09 | Altop Sa | Montre montée sur une pince |
EP0301790A3 (en) | 1987-07-24 | 1990-06-06 | BioControl Systems, Inc. | Biopotential digital controller for music and video applications |
USD322227S (en) | 1989-03-23 | 1991-12-10 | North American Watch Company | Watch |
US5625577A (en) | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
US5081852A (en) | 1991-02-14 | 1992-01-21 | Cox Michael F | Display bracelet |
JP3103427B2 (ja) | 1992-04-01 | 2000-10-30 | ダイヤメディカルシステム株式会社 | 生体電気現象検出装置 |
US5251189A (en) | 1992-10-16 | 1993-10-05 | Timex Corporation | Wristwatch radiotelephone |
JPH06216475A (ja) | 1993-01-21 | 1994-08-05 | Matsushita Electric Ind Co Ltd | フレキシブル基板 |
USD348660S (en) | 1993-04-29 | 1994-07-12 | Micro-Integration Corp. | Hand-held computer input device |
US5482051A (en) | 1994-03-10 | 1996-01-09 | The University Of Akron | Electromyographic virtual reality system |
DE4412278A1 (de) | 1994-04-09 | 1995-10-12 | Bosch Gmbh Robert | Starre und flexible Bereiche aufweisende Leiterplatte |
US6032530A (en) | 1994-04-29 | 2000-03-07 | Advantedge Systems Inc. | Biofeedback system for sensing body motion and flexure |
US5605059A (en) | 1995-03-09 | 1997-02-25 | Woodward; Robin | Sleeved bangle bracelet |
US6238338B1 (en) | 1999-07-19 | 2001-05-29 | Altec, Inc. | Biosignal monitoring system and method |
JP3141737B2 (ja) | 1995-08-10 | 2001-03-05 | 株式会社セガ | 仮想画像生成装置及びその方法 |
US5683404A (en) | 1996-06-05 | 1997-11-04 | Metagen, Llc | Clamp and method for its use |
AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6880364B1 (en) | 1998-04-23 | 2005-04-19 | Michael F. Vidolin | Friendship band with exchangeable closed loop members |
EP1107693A4 (en) | 1998-08-24 | 2003-03-19 | Univ Emory | METHOD AND APPARATUS FOR PREDICTING THE APPEARANCE OF CRISES BASED ON CHARACTERISTICS DERIVED FROM SIGNALS INDICATING BRAIN ACTIVITY |
WO2000017848A1 (en) | 1998-09-22 | 2000-03-30 | Vega Vista, Inc. | Intuitive control of portable data displays |
US6745062B1 (en) | 1998-10-05 | 2004-06-01 | Advanced Imaging Systems, Inc. | Emg electrode apparatus and positioning system |
US6244873B1 (en) | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
US6774885B1 (en) | 1999-01-20 | 2004-08-10 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
US7640007B2 (en) | 1999-02-12 | 2009-12-29 | Fisher-Rosemount Systems, Inc. | Wireless handheld communicator in a process control environment |
US6411843B1 (en) | 1999-05-28 | 2002-06-25 | Respironics, Inc. | Method and apparatus for producing a model EMG signal from a measured EMG signal |
US6972734B1 (en) | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
US6807438B1 (en) | 1999-08-26 | 2004-10-19 | Riccardo Brun Del Re | Electric field sensor |
JP4168221B2 (ja) | 1999-09-06 | 2008-10-22 | 株式会社島津製作所 | 身体装着型表示システム |
US6527711B1 (en) | 1999-10-18 | 2003-03-04 | Bodymedia, Inc. | Wearable human physiological data sensors and reporting system therefor |
JP4763200B2 (ja) | 1999-11-11 | 2011-08-31 | ザ・スウォッチ・グループ・マネージメント・サービシイズ・エイ ジー | フレキシブル・リストバンド中に組み込まれたプリント回路を含んでいる電子腕時計 |
GB0004688D0 (en) | 2000-02-28 | 2000-04-19 | Radley Smith Philip J | Bracelet |
KR100810989B1 (ko) | 2000-04-17 | 2008-03-11 | 바이보메트릭스, 인크. | 생리학 신호의 보행 모니터링을 위한 시스템 및 방법 |
US6510333B1 (en) | 2000-05-16 | 2003-01-21 | Mark J. Licata | Sensor for biopotential measurements |
US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
AU2001278318A1 (en) | 2000-07-24 | 2002-02-05 | Jean Nicholson Prudent | Modeling human beings by symbol manipulation |
US20030036691A1 (en) | 2000-08-10 | 2003-02-20 | Stanaland Thomas G. | Capacitively coupled electrode system with variable capacitance for sensing potentials at the surface of tissue |
US6487906B1 (en) | 2000-09-18 | 2002-12-03 | Advantedge Systems Inc | Flexible film sensor system for monitoring body motion |
WO2002037827A2 (en) | 2000-10-30 | 2002-05-10 | Naval Postgraduate School | Method and apparatus for motion tracking of an articulated rigid body |
US6743982B2 (en) * | 2000-11-29 | 2004-06-01 | Xerox Corporation | Stretchable interconnects using stress gradient films |
US20020077534A1 (en) | 2000-12-18 | 2002-06-20 | Human Bionics Llc | Method and system for initiating activity based on sensed electrophysiological data |
WO2002065904A1 (en) | 2001-02-23 | 2002-08-29 | Cordless Antistatic Research Inc. | Enhanced pickup bio-electrode |
JP2002358149A (ja) | 2001-06-01 | 2002-12-13 | Sony Corp | ユーザ入力装置 |
USD459352S1 (en) | 2001-08-10 | 2002-06-25 | Michael C. Giovanniello | Wireless mouse wristband |
US20030051505A1 (en) | 2001-09-14 | 2003-03-20 | Robertson Catrina M. | Selectively self-adjustable jewelry item and method of making same |
US6755795B2 (en) | 2001-10-26 | 2004-06-29 | Koninklijke Philips Electronics N.V. | Selectively applied wearable medical sensors |
US6865409B2 (en) | 2001-11-07 | 2005-03-08 | Kinesense, Inc. | Surface electromyographic electrode assembly |
JP4391717B2 (ja) | 2002-01-09 | 2009-12-24 | 富士通マイクロエレクトロニクス株式会社 | コンタクタ及びその製造方法並びにコンタクト方法 |
WO2003063684A2 (en) | 2002-01-25 | 2003-08-07 | Intellipatch, Inc. | Evaluation of a patient and prediction of chronic symptoms |
JP2003220040A (ja) | 2002-01-31 | 2003-08-05 | Seiko Instruments Inc | 生体情報観測装置 |
JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
CA2379268A1 (en) | 2002-03-26 | 2003-09-26 | Hans Kolpin | Skin impedance matched biopotential electrode |
WO2003082103A1 (en) | 2002-03-29 | 2003-10-09 | Koninklijke Philips Electronics N.V. | A wearable monitoring system and method of manufacturing of a wearable monitoring system |
US6942621B2 (en) | 2002-07-11 | 2005-09-13 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for detecting weak physiological signals |
US6984208B2 (en) | 2002-08-01 | 2006-01-10 | The Hong Kong Polytechnic University | Method and apparatus for sensing body gesture, posture and movement |
WO2004023996A1 (ja) | 2002-09-11 | 2004-03-25 | National Institute Of Information And Communications Technology Incorporated Administrative Agency | 活動筋肉表示装置 |
EP1408443B1 (en) | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
KR100506084B1 (ko) | 2002-10-24 | 2005-08-05 | 삼성전자주식회사 | 경혈점 탐색 장치 및 방법 |
US7491892B2 (en) | 2003-03-28 | 2009-02-17 | Princeton University | Stretchable and elastic interconnects |
US20040194500A1 (en) | 2003-04-03 | 2004-10-07 | Broadway Entertainment, Inc. | Article of jewelry |
US7028507B2 (en) | 2003-04-03 | 2006-04-18 | Broadway Entertainment, Inc. | Article of jewelry |
US7265298B2 (en) | 2003-05-30 | 2007-09-04 | The Regents Of The University Of California | Serpentine and corduroy circuits to enhance the stretchability of a stretchable electronic device |
KR20060023149A (ko) | 2003-06-12 | 2006-03-13 | 컨트롤 바이오닉스 | 상호작용 통신 및 분석을 위한 방법, 시스템 및 소프트웨어 |
US7022919B2 (en) | 2003-06-30 | 2006-04-04 | Intel Corporation | Printed circuit board trace routing method |
ATE413902T1 (de) | 2003-08-18 | 2008-11-15 | Cardiac Pacemakers Inc | Patientenüberwachungssystem |
CN1838933B (zh) | 2003-08-21 | 2010-12-08 | 国立大学法人筑波大学 | 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序 |
TWI240819B (en) | 2003-08-21 | 2005-10-01 | Toppoly Optoelectronics Corp | Flexible printed circuit board (FPC) for liquid crystal display (LCD) module |
JP4178186B2 (ja) | 2003-08-21 | 2008-11-12 | 国立大学法人 筑波大学 | 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム |
US7559902B2 (en) | 2003-08-22 | 2009-07-14 | Foster-Miller, Inc. | Physiological monitoring garment |
US7565295B1 (en) * | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
US7574253B2 (en) | 2003-09-26 | 2009-08-11 | Northwestern University | Signal processing using non-linear regression with a sinusoidal model |
US20050070227A1 (en) | 2003-09-30 | 2005-03-31 | Chih-Hsiang Shen | Detecting and actuating method of bluetooth devices and a control system thereof |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
USD502662S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
USD503646S1 (en) | 2004-02-23 | 2005-04-05 | Broadway Entertainment, Inc. | Bracelet |
USD502661S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
EP1721237B1 (en) | 2004-02-27 | 2012-08-29 | Simon Richard Daniel | Wearable modular interface strap |
KR100541958B1 (ko) | 2004-04-21 | 2006-01-10 | 삼성전자주식회사 | 연성인쇄회로기판 |
US7173437B2 (en) | 2004-06-10 | 2007-02-06 | Quantum Applied Science And Research, Inc. | Garment incorporating embedded physiological sensors |
WO2005122900A1 (ja) | 2004-06-16 | 2005-12-29 | The University Of Tokyo | 筋骨格モデルに基づく筋力取得方法及び装置 |
US8061160B2 (en) | 2004-08-17 | 2011-11-22 | Carissa Stinespring | Adjustable fashion mechanism |
KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
KR100680023B1 (ko) | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법 |
WO2006074029A2 (en) | 2005-01-06 | 2006-07-13 | Cyberkinetics Neurotechnology Systems, Inc. | Neurally controlled and multi-device patient ambulation systems and related methods |
WO2006086504A2 (en) | 2005-02-09 | 2006-08-17 | Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California | Method and system for training adaptive control of limb movement |
US8702629B2 (en) | 2005-03-17 | 2014-04-22 | Great Lakes Neuro Technologies Inc. | Movement disorder recovery system and method for continuous monitoring |
US20070132785A1 (en) | 2005-03-29 | 2007-06-14 | Ebersole John F Jr | Platform for immersive gaming |
WO2006105094A2 (en) | 2005-03-29 | 2006-10-05 | Duke University | Sensor system for identifying and tracking movements of multiple sources |
USD535401S1 (en) | 2005-06-21 | 2007-01-16 | Biocare Systems, Inc. | Heat and light therapy device |
US7428516B2 (en) | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
US8190249B1 (en) | 2005-08-01 | 2012-05-29 | Infinite Biomedical Technologies, Llc | Multi-parametric quantitative analysis of bioelectrical signals |
US7086218B1 (en) | 2005-08-18 | 2006-08-08 | M & J - R & R Grosbard, Inc. | Linked ring structures |
US7725147B2 (en) | 2005-09-29 | 2010-05-25 | Nellcor Puritan Bennett Llc | System and method for removing artifacts from waveforms |
US7271774B2 (en) | 2005-10-21 | 2007-09-18 | Suunto Oy | Electronic wearable device |
US7517725B2 (en) | 2005-11-28 | 2009-04-14 | Xci, Inc. | System and method for separating and packaging integrated circuits |
US8280503B2 (en) | 2008-10-27 | 2012-10-02 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
USD543212S1 (en) | 2006-01-04 | 2007-05-22 | Sony Computer Entertainment Inc. | Object for interfacing with a computer program |
US7809435B1 (en) | 2006-01-11 | 2010-10-05 | Iq Biolabs, Inc. | Adjustable wireless electromyography sensor and system |
JP4826459B2 (ja) | 2006-01-12 | 2011-11-30 | 株式会社豊田中央研究所 | 筋骨格モデル作成方法、人体応力/ひずみ推定方法、プログラムおよび記録媒体 |
US8762733B2 (en) | 2006-01-30 | 2014-06-24 | Adidas Ag | System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint |
US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
US7827000B2 (en) | 2006-03-03 | 2010-11-02 | Garmin Switzerland Gmbh | Method and apparatus for estimating a motion parameter |
WO2007120819A2 (en) | 2006-04-15 | 2007-10-25 | The Board Of Regents Of The Leland Stanford Junior University | Systems and methods for estimating surface electromyography |
EP2010053A4 (en) | 2006-04-21 | 2010-05-12 | Quantum Applied Science And Re | SYSTEM FOR MEASURING ELECTRIC SIGNALS |
US7636549B2 (en) | 2006-04-21 | 2009-12-22 | Abbott Medical Optics Inc. | Automated bonding for wireless devices |
US7558622B2 (en) | 2006-05-24 | 2009-07-07 | Bao Tran | Mesh network stroke monitoring appliance |
GB2453263A (en) | 2006-05-16 | 2009-04-01 | Douglas S Greer | System and method for modeling the neocortex and uses therefor |
US7661068B2 (en) | 2006-06-12 | 2010-02-09 | Microsoft Corporation | Extended eraser functions |
US9405372B2 (en) | 2006-07-14 | 2016-08-02 | Ailive, Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
GB0614261D0 (en) | 2006-07-18 | 2006-08-30 | Univ Sussex The | Electric Potential Sensor |
US7844310B2 (en) | 2006-07-20 | 2010-11-30 | L3 Communications Corporation | Wearable communication device with contoured back |
US7848797B2 (en) | 2006-08-17 | 2010-12-07 | Neurometrix, Inc. | Motor unit number estimation (MUNE) for the assessment of neuromuscular function |
US8437844B2 (en) | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
US8212859B2 (en) | 2006-10-13 | 2012-07-03 | Apple Inc. | Peripheral treatment for head-mounted displays |
US7885732B2 (en) | 2006-10-25 | 2011-02-08 | The Boeing Company | Systems and methods for haptics-enabled teleoperation of vehicles and other devices |
US8082149B2 (en) | 2006-10-26 | 2011-12-20 | Biosensic, Llc | Methods and apparatuses for myoelectric-based speech processing |
US20080136775A1 (en) | 2006-12-08 | 2008-06-12 | Conant Carson V | Virtual input device for computing |
US20080221487A1 (en) * | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
EP1970005B1 (en) * | 2007-03-15 | 2012-10-03 | Xsens Holding B.V. | A system and a method for motion tracking using a calibration unit |
ATE513508T1 (de) | 2007-04-24 | 2011-07-15 | Koninkl Philips Electronics Nv | Sensoranordnung und verfahren zur überwachung physiologischer parameter |
FR2916069B1 (fr) | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | Procede de traitement pour la capture de mouvement d'une structure articulee |
US8718742B2 (en) | 2007-05-24 | 2014-05-06 | Hmicro, Inc. | Integrated wireless patch for physiological monitoring |
US20090007597A1 (en) | 2007-07-02 | 2009-01-08 | Hanevold Gail F | Body attached band with removal visual image pockets |
JP2010533559A (ja) | 2007-07-16 | 2010-10-28 | サンライズ メディカル エイチエイチジー インコーポレイテッド | 生理的データ収集システム |
DE102007044555A1 (de) | 2007-07-18 | 2009-01-22 | Siemens Ag | Optische Koppelvorrichtung und Verfahren zu deren Herstellung |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP5057070B2 (ja) | 2007-07-31 | 2012-10-24 | 株式会社エクォス・リサーチ | 心電センサー |
US7925100B2 (en) | 2007-07-31 | 2011-04-12 | Microsoft Corporation | Tiled packaging of vector image data |
US20090031757A1 (en) | 2007-08-01 | 2009-02-05 | Funki Llc | Modular toy bracelet |
JP4434247B2 (ja) | 2007-08-10 | 2010-03-17 | ソニー株式会社 | リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法 |
US9046919B2 (en) | 2007-08-20 | 2015-06-02 | Hmicro, Inc. | Wearable user interface device, system, and method of use |
CN101874404B (zh) | 2007-09-24 | 2013-09-18 | 高通股份有限公司 | 用于语音和视频通信的增强接口 |
US20090082692A1 (en) | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
US7714757B2 (en) | 2007-09-26 | 2010-05-11 | Medtronic, Inc. | Chopper-stabilized analog-to-digital converter |
US8343079B2 (en) | 2007-10-18 | 2013-01-01 | Innovative Surgical Solutions, Llc | Neural monitoring sensor |
US8159313B2 (en) | 2007-10-22 | 2012-04-17 | D-Wave Systems Inc. | Systems, methods, and apparatus for electrical filters and input/output systems |
FI20075798A0 (fi) | 2007-11-12 | 2007-11-12 | Polar Electro Oy | Elektrodirakenne |
GB0800144D0 (en) | 2008-01-04 | 2008-02-13 | Fitzpatrick Adam P | Electrocardiographic device and method |
US8355671B2 (en) | 2008-01-04 | 2013-01-15 | Kopin Corporation | Method and apparatus for transporting video signal over Bluetooth wireless interface |
US10969917B2 (en) | 2008-01-30 | 2021-04-06 | Apple Inc. | Auto scanning for multiple frequency stimulation multi-touch sensor panels |
US9597015B2 (en) | 2008-02-12 | 2017-03-21 | Portland State University | Joint angle tracking with inertial sensors |
US20110018754A1 (en) | 2008-03-28 | 2011-01-27 | Akira Tojima | Remote operation apparatus, operation target apparatus, method for controlling remote operation apparatus, method for controlling operation target apparatus, and remote operation system |
US20090251407A1 (en) | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Device interaction with combination of rings |
WO2009134823A2 (en) | 2008-05-01 | 2009-11-05 | 3M Innovative Properties Company | Stretchable conductive connector |
US20100030532A1 (en) | 2008-06-12 | 2010-02-04 | Jasbir Arora | System and methods for digital human model prediction and simulation |
JP2010000283A (ja) | 2008-06-23 | 2010-01-07 | Shimadzu Corp | リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム |
US8207473B2 (en) | 2008-06-24 | 2012-06-26 | Imec | Method for manufacturing a stretchable electronic device |
US8447704B2 (en) | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
US9037530B2 (en) * | 2008-06-26 | 2015-05-19 | Microsoft Technology Licensing, Llc | Wearable electromyography-based human-computer interface |
US8170656B2 (en) | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
WO2010003175A1 (en) | 2008-07-07 | 2010-01-14 | Heard Systems Pty Ltd | A system for sensing electrophysiological signals |
EP2321013A4 (en) | 2008-07-29 | 2011-11-23 | James B Klassen | EQUILIBRIUM LEARNING SYSTEM |
US8389862B2 (en) | 2008-10-07 | 2013-03-05 | Mc10, Inc. | Extremely stretchable electronics |
US9393418B2 (en) | 2011-06-03 | 2016-07-19 | Great Lakes Neuro Technologies Inc. | Movement disorder therapy system, devices and methods of tuning |
US8647287B2 (en) | 2008-12-07 | 2014-02-11 | Andrew Greenberg | Wireless synchronized movement monitoring apparatus and system |
US9439566B2 (en) | 2008-12-15 | 2016-09-13 | Proteus Digital Health, Inc. | Re-wearable wireless device |
US7870211B2 (en) | 2008-12-23 | 2011-01-11 | At&T Mobility Ii Llc | Conversation message routing supporting dynamic class transitions |
WO2010086034A1 (en) | 2009-01-30 | 2010-08-05 | Interuniversitair Microelektronica Centrum Vzw | Stretchable electronic device |
WO2010086033A1 (en) | 2009-01-30 | 2010-08-05 | Interuniversitair Microelektronica Centrum Vzw | Stretchable electronic device |
US8444564B2 (en) | 2009-02-02 | 2013-05-21 | Jointvue, Llc | Noninvasive diagnostic system |
USD661613S1 (en) | 2009-02-19 | 2012-06-12 | 1922 Manifatture Preziose Torino SpA | Jewelry |
US20100228487A1 (en) * | 2009-03-05 | 2010-09-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Postural information system and method |
US20100249635A1 (en) | 2009-03-26 | 2010-09-30 | Cordial Medical Europe B.V. | Hearing screening system for a subject or a patient, and a method for hearing screening |
EP2236078A1 (en) | 2009-04-02 | 2010-10-06 | Koninklijke Philips Electronics N.V. | Processing a bio-physiological signal |
US8764676B2 (en) | 2009-05-07 | 2014-07-01 | Massachusetts Eye & Ear Infirmary | Signal processing in physiological noise |
EP2429390B1 (en) | 2009-05-15 | 2015-09-09 | Nox Medical | System and methods using flexible capacitive electrodes for measuring biosignals |
US8376968B2 (en) | 2009-05-15 | 2013-02-19 | The Hong Kong Polytechnic University | Method and system for quantifying an intention of movement of a user |
US20100315266A1 (en) | 2009-06-15 | 2010-12-16 | Microsoft Corporation | Predictive interfaces with usability constraints |
US8427977B2 (en) | 2009-06-23 | 2013-04-23 | CSC Holdings, LLC | Wireless network polling and data warehousing |
KR101377779B1 (ko) | 2009-06-26 | 2014-03-25 | 비덱스 에이/에스 | Eeg 모니터링 장치 및 그것에 메세지를 제시하는 방법 |
US8883287B2 (en) | 2009-06-29 | 2014-11-11 | Infinite Corridor Technology, Llc | Structured material substrates for flexible, stretchable electronics |
JP5545574B2 (ja) | 2009-07-15 | 2014-07-09 | 国立大学法人 筑波大学 | 分類推定システムおよび分類推定プログラム |
JP5662443B2 (ja) | 2009-07-30 | 2015-01-28 | ユニバーシティ・オブ・ケープ・タウンUniversity Of Cape Town | 非侵襲性深部筋肉筋電図検査法 |
US8718980B2 (en) | 2009-09-11 | 2014-05-06 | Qualcomm Incorporated | Method and apparatus for artifacts mitigation with multiple wireless sensors |
FR2950713A1 (fr) | 2009-09-29 | 2011-04-01 | Movea Sa | Systeme et procede de reconnaissance de gestes |
US20110077484A1 (en) | 2009-09-30 | 2011-03-31 | Nellcor Puritan Bennett Ireland | Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters |
TWI496558B (zh) | 2009-10-20 | 2015-08-21 | Tatung Co | 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法 |
KR101708682B1 (ko) | 2010-03-03 | 2017-02-21 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
US8421634B2 (en) | 2009-12-04 | 2013-04-16 | Microsoft Corporation | Sensing mechanical energy to appropriate the body for data input |
US8620361B2 (en) | 2009-12-08 | 2013-12-31 | At&T Mobility Ii Llc | Intelligent routing of SMS and MMS messages to short codes |
WO2011070554A2 (en) | 2009-12-13 | 2011-06-16 | Ringbow Ltd. | Finger-worn input devices and methods of use |
WO2011072684A1 (en) | 2009-12-16 | 2011-06-23 | Ictalcare A/S | A system for the prediction of epileptic seizures |
US20110151974A1 (en) * | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Gesture style recognition and reward |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
JP5471490B2 (ja) | 2010-01-20 | 2014-04-16 | オムロンヘルスケア株式会社 | 体動検出装置 |
SG182687A1 (en) | 2010-02-01 | 2012-08-30 | Widex As | Portable eeg monitor system with wireless communication |
US20110213278A1 (en) | 2010-02-26 | 2011-09-01 | Apdm, Inc. | Movement monitoring system and apparatus for objective assessment of movement disorders |
US20110224556A1 (en) | 2010-03-10 | 2011-09-15 | Sotera Wireless, Inc. | Body-worn vital sign monitor |
US9268990B2 (en) | 2010-03-16 | 2016-02-23 | Carlo Trugenberger | Apparatus and method for producing an identification device |
KR101114870B1 (ko) | 2010-03-22 | 2012-03-06 | (주)헤리트 | 지능형 led 조명 제어 시스템 및 제어 방법 |
US20110248914A1 (en) | 2010-04-11 | 2011-10-13 | Sherr Alan B | System and Method for Virtual Touch Typing |
CA2796451A1 (en) | 2010-04-16 | 2011-10-20 | Nicholas J. Mastandrea | Wearable motion sensing computing interface |
JP5702947B2 (ja) | 2010-04-22 | 2015-04-15 | 矢崎総業株式会社 | 配線材 |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
KR101130697B1 (ko) | 2010-05-07 | 2012-04-02 | 삼성전자주식회사 | 복수 층의 신축성 배선 |
WO2011150407A2 (en) | 2010-05-28 | 2011-12-01 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
US20110313762A1 (en) | 2010-06-20 | 2011-12-22 | International Business Machines Corporation | Speech output with confidence indication |
USD643428S1 (en) | 2010-07-07 | 2011-08-16 | Iota, Inc. | Wearable mobile accessory |
US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
FR2962821B1 (fr) | 2010-07-13 | 2013-02-22 | Commissariat Energie Atomique | Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe. |
WO2012018821A2 (en) | 2010-08-02 | 2012-02-09 | The Johns Hopkins University | Method for presenting force sensor information using cooperative robot control and audio feedback |
US20120066163A1 (en) | 2010-09-13 | 2012-03-15 | Nottingham Trent University | Time to event data analysis method and system |
US20130123656A1 (en) | 2010-11-15 | 2013-05-16 | Sandy L. Heck | Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System |
US10244988B2 (en) | 2010-12-16 | 2019-04-02 | Nokia Technologies Oy | Method, apparatus and computer program of using a bio-signal profile |
US20120203076A1 (en) | 2011-02-08 | 2012-08-09 | Jean Pierre Fatta | Portable Physiological Data Monitoring Device |
KR101448106B1 (ko) | 2011-02-17 | 2014-10-08 | 주식회사 라이프사이언스테크놀로지 | 무구속 근전도 신호를 이용한 재활상태 분석방법 |
KR101206280B1 (ko) | 2011-02-28 | 2012-11-29 | (주)락싸 | 전기적 비접촉 전위 센서 회로 |
USD646192S1 (en) | 2011-03-11 | 2011-10-04 | Jamie Renae Woode | Bracelet |
US20120265090A1 (en) | 2011-04-13 | 2012-10-18 | Fink Rainer J | System and method of acquiring uterine emg signals and wirelessly transmitting the same |
WO2012155157A1 (en) | 2011-05-06 | 2012-11-15 | Azoteq (Pty) Ltd | Multiple media capacitive sensor |
US9330499B2 (en) | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
US8203502B1 (en) | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
US9018532B2 (en) | 2011-06-09 | 2015-04-28 | Multi-Fineline Electronix, Inc. | Stretchable circuit assemblies |
US20130198694A1 (en) | 2011-06-10 | 2013-08-01 | Aliphcom | Determinative processes for wearable devices |
US8879276B2 (en) | 2011-06-15 | 2014-11-04 | Power Gold LLC | Flexible circuit assembly and method thereof |
US9251588B2 (en) | 2011-06-20 | 2016-02-02 | Nokia Technologies Oy | Methods, apparatuses and computer program products for performing accurate pose estimation of objects |
US9089270B2 (en) | 2011-06-29 | 2015-07-28 | Lg Electronics Inc. | Terminal and control method thereof |
US8179604B1 (en) | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US9128521B2 (en) | 2011-07-13 | 2015-09-08 | Lumo Bodytech, Inc. | System and method of biomechanical posture detection and feedback including sensor normalization |
WO2013029196A1 (zh) | 2011-08-26 | 2013-03-07 | 国立云林科技大学 | 回馈控制的穿戴式上肢电刺激装置 |
USD654622S1 (en) | 2011-09-15 | 2012-02-21 | Shih-Ling Hsu | Hair band |
KR20190133080A (ko) | 2011-09-19 | 2019-11-29 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
US20130080794A1 (en) | 2011-09-24 | 2013-03-28 | Jawbone Industrial Co., Ltd. | Wireless controller with universal serial bus and system having the same |
US20130077820A1 (en) | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
US20130271292A1 (en) | 2011-10-09 | 2013-10-17 | James Andrew McDermott | Driver Alert and Monitoring System |
FR2981561B1 (fr) | 2011-10-21 | 2015-03-20 | Commissariat Energie Atomique | Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants |
US8467270B2 (en) | 2011-10-26 | 2013-06-18 | Google Inc. | Smart-watch with user interface features |
ITTO20111024A1 (it) | 2011-11-08 | 2013-05-09 | Bitron Spa | Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali. |
WO2013071285A1 (en) | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
US8704882B2 (en) | 2011-11-18 | 2014-04-22 | L-3 Communications Corporation | Simulated head mounted display system and method |
US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
TWI446896B (zh) | 2011-12-23 | 2014-08-01 | Ind Tech Res Inst | 肌能參數感測器 |
US8971023B2 (en) | 2012-03-21 | 2015-03-03 | Google Inc. | Wearable computing device frame |
US20130191741A1 (en) | 2012-01-24 | 2013-07-25 | Motorola Mobility, Inc. | Methods and Apparatus for Providing Feedback from an Electronic Device |
WO2013126798A2 (en) | 2012-02-23 | 2013-08-29 | Bio-Signal Group Corp. | Shielded multi-channel eeg headset systems and methods |
US8970571B1 (en) | 2012-03-13 | 2015-03-03 | Google Inc. | Apparatus and method for display lighting adjustment |
US8922481B1 (en) | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
USD684084S1 (en) | 2012-03-27 | 2013-06-11 | Bulgari S.P.A. | Necklace |
JP2013206273A (ja) | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法、および情報処理システム |
WO2013151770A1 (en) | 2012-04-03 | 2013-10-10 | Carnegie Mellon University | Musculoskeletal activity recognition system and method |
US8994672B2 (en) | 2012-04-09 | 2015-03-31 | Sony Corporation | Content transfer via skin input |
US9170674B2 (en) | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
US9221177B2 (en) | 2012-04-18 | 2015-12-29 | Massachusetts Institute Of Technology | Neuromuscular model-based sensing and control paradigm for a robotic leg |
WO2013166299A1 (en) | 2012-05-03 | 2013-11-07 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences |
USD716457S1 (en) | 2012-05-23 | 2014-10-28 | Neurometrix, Inc. | Transcutaneous electrical nerve stimulation device |
US9278453B2 (en) | 2012-05-25 | 2016-03-08 | California Institute Of Technology | Biosleeve human-machine interface |
US9867548B2 (en) | 2012-05-25 | 2018-01-16 | Emotiv, Inc. | System and method for providing and aggregating biosignals and action data |
US20130332196A1 (en) | 2012-06-07 | 2013-12-12 | The Government Of The United States As Represented By The Secretary Of The Army | Diabetes Monitoring Using Smart Device |
US9891718B2 (en) | 2015-04-22 | 2018-02-13 | Medibotics Llc | Devices for measuring finger motion and recognizing hand gestures |
US9536449B2 (en) | 2013-05-23 | 2017-01-03 | Medibotics Llc | Smart watch and food utensil for monitoring food consumption |
US9814426B2 (en) | 2012-06-14 | 2017-11-14 | Medibotics Llc | Mobile wearable electromagnetic brain activity monitor |
US10921886B2 (en) | 2012-06-14 | 2021-02-16 | Medibotics Llc | Circumferential array of electromyographic (EMG) sensors |
US20150366504A1 (en) * | 2014-06-20 | 2015-12-24 | Medibotics Llc | Electromyographic Clothing |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US8954135B2 (en) | 2012-06-22 | 2015-02-10 | Fitbit, Inc. | Portable biometric monitoring devices and methods of operating same |
US9615447B2 (en) | 2012-07-23 | 2017-04-04 | Zhuhai Advanced Chip Carriers & Electronic Substrate Solutions Technologies Co. Ltd. | Multilayer electronic support structure with integral constructional elements |
US8484022B1 (en) | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
EP2698686B1 (en) | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Wrist-wearable terminal and control method thereof |
US20150182165A1 (en) | 2012-08-03 | 2015-07-02 | Neurotopia, Inc. | Neurophysiological training headset |
US20140045547A1 (en) | 2012-08-10 | 2014-02-13 | Silverplus, Inc. | Wearable Communication Device and User Interface |
TWD152714S (zh) | 2012-08-15 | 2013-04-01 | 昆盈企業股份有限公司 | 套戴式滑鼠 |
US20140049417A1 (en) | 2012-08-20 | 2014-02-20 | Playtabase, LLC | Wireless motion activated command transfer device, system, and method |
US8895865B2 (en) | 2012-09-07 | 2014-11-25 | Conor P. Lenahan | Conductive connections allowing XYZ translation |
US9211417B2 (en) | 2012-09-10 | 2015-12-15 | Great Lakes Neurotechnologies Inc | Movement disorder therapy system, devices and methods, and intelligent methods of tuning |
US10824310B2 (en) | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
CN203252647U (zh) | 2012-09-29 | 2013-10-30 | 艾利佛公司 | 用于判定生理特征的可佩带的设备 |
US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
USD695454S1 (en) | 2012-10-24 | 2013-12-10 | Patricia Lynn Moore | Hair holding device |
WO2014066791A1 (en) | 2012-10-26 | 2014-05-01 | Nike International Ltd. | Athletic performance monitoring system utilizing heart rate information |
KR102043703B1 (ko) | 2012-11-12 | 2019-11-12 | 한국전자통신연구원 | 신축성 박막트랜지스터의 제조방법 |
US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
US9182826B2 (en) | 2012-11-21 | 2015-11-10 | Intel Corporation | Gesture-augmented speech recognition |
US9351653B1 (en) | 2012-11-29 | 2016-05-31 | Intan Technologies, LLC | Multi-channel reconfigurable systems and methods for sensing biopotential signals |
US10009644B2 (en) | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
US9042829B2 (en) | 2013-01-04 | 2015-05-26 | Nokia Corporation | Method, apparatus, and computer program product for wireless short-range communication |
US20140196131A1 (en) | 2013-01-07 | 2014-07-10 | Salutron, Inc. | User authentication based on a wrist vein pattern |
US9092664B2 (en) | 2013-01-14 | 2015-07-28 | Qualcomm Incorporated | Use of EMG for subtle gesture recognition on surfaces |
US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9211073B2 (en) | 2013-02-20 | 2015-12-15 | Tosense, Inc. | Necklace-shaped physiological monitor |
US20140240103A1 (en) | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control |
US20140245200A1 (en) | 2013-02-25 | 2014-08-28 | Leap Motion, Inc. | Display control with gesture-selectable control paradigms |
US20140249397A1 (en) | 2013-03-01 | 2014-09-04 | Thalmic Labs Inc. | Differential non-contact biopotential sensor |
US20140257141A1 (en) | 2013-03-05 | 2014-09-11 | Great Lakes Neurotechnologies Inc. | Movement disorder monitoring and symptom quantification system and method |
US20150182113A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | Real-time fatigue, personal effectiveness, injury risk device(s) |
US20140334653A1 (en) | 2013-03-14 | 2014-11-13 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
US20140285326A1 (en) | 2013-03-15 | 2014-09-25 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
US9766709B2 (en) | 2013-03-15 | 2017-09-19 | Leap Motion, Inc. | Dynamic user interactions for display control |
US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
US20140277622A1 (en) | 2013-03-15 | 2014-09-18 | First Principles, Inc. | System and method for bio-signal control of an electronic device |
US9146730B2 (en) | 2013-03-15 | 2015-09-29 | Netgear, Inc. | System and method for remotely updating cable modem software |
US9436287B2 (en) | 2013-03-15 | 2016-09-06 | Qualcomm Incorporated | Systems and methods for switching processing modes using gestures |
IN2013MU01148A (ja) | 2013-03-26 | 2015-04-24 | Tata Consultancy Services Ltd | |
US20140299362A1 (en) | 2013-04-04 | 2014-10-09 | Electronics And Telecommunications Research Institute | Stretchable electric device and manufacturing method thereof |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9717440B2 (en) | 2013-05-03 | 2017-08-01 | The Florida International University Board Of Trustees | Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments |
KR102043200B1 (ko) | 2013-05-07 | 2019-11-11 | 엘지전자 주식회사 | 스마트 워치 및 제어 방법 |
US9582317B2 (en) | 2013-05-10 | 2017-02-28 | Samsung Electronics Co., Ltd. | Method of using use log of portable terminal and apparatus using the same |
US10152082B2 (en) | 2013-05-13 | 2018-12-11 | North Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
US9706647B2 (en) | 2013-05-14 | 2017-07-11 | Mc10, Inc. | Conformal electronics including nested serpentine interconnects |
US10314506B2 (en) | 2013-05-15 | 2019-06-11 | Polar Electro Oy | Heart activity sensor structure |
USD741855S1 (en) | 2013-05-16 | 2015-10-27 | Samsung Electronics Co., Ltd. | Smart watch |
USD750623S1 (en) | 2013-05-16 | 2016-03-01 | Samsung Electronics Co., Ltd. | Smart watch |
US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
US9904356B2 (en) | 2013-05-28 | 2018-02-27 | The Boeing Company | Tracking a user to support tasks performed on complex-system components |
US9395810B2 (en) | 2013-05-28 | 2016-07-19 | The Boeing Company | Ubiquitous natural user system |
US9218574B2 (en) | 2013-05-29 | 2015-12-22 | Purepredictive, Inc. | User interface for machine learning |
EP3003231B1 (en) | 2013-05-31 | 2019-09-18 | President and Fellows of Harvard College | Soft exosuit for assistance with human motion |
US9383819B2 (en) | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
KR101933921B1 (ko) | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
WO2014197443A1 (en) | 2013-06-03 | 2014-12-11 | Kacyvenski Isaiah | Motion sensor and analysis |
US11083402B2 (en) | 2013-06-04 | 2021-08-10 | Medtronic, Inc. | Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal |
KR101501661B1 (ko) | 2013-06-10 | 2015-03-12 | 한국과학기술연구원 | 착용형 근전도 센서 시스템 |
WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
KR102131358B1 (ko) | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
CN105357997A (zh) | 2013-06-21 | 2016-02-24 | Mc10股份有限公司 | 适形电子设备式条带 |
US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
US10402517B2 (en) | 2013-06-26 | 2019-09-03 | Dassault Systémes Simulia Corp. | Musculo-skeletal modeling using finite element analysis, process integration, and design optimization |
US9146618B2 (en) * | 2013-06-28 | 2015-09-29 | Google Inc. | Unlocking a head mounted device |
US9408316B2 (en) | 2013-07-22 | 2016-08-02 | Thalmic Labs Inc. | Systems, articles and methods for strain mitigation in wearable electronic devices |
US20150029092A1 (en) | 2013-07-23 | 2015-01-29 | Leap Motion, Inc. | Systems and methods of interpreting complex gestures |
US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
WO2015027089A1 (en) | 2013-08-23 | 2015-02-26 | Thalmic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
US9976867B2 (en) | 2013-09-04 | 2018-05-22 | Essilor International | Navigation method based on a see-through head-mounted device |
CN105309056B (zh) | 2013-09-06 | 2018-04-03 | 株式会社村田制作所 | 多层基板 |
US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
US9483123B2 (en) | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
CN105578954B (zh) | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈*** |
KR101839257B1 (ko) | 2013-10-14 | 2018-03-15 | 나이키 이노베이트 씨.브이. | 운동 움직임 속성으로부터의 페이스 및 에너지 지출의 계산 |
US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
CN103777752A (zh) | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
GB2519987B (en) | 2013-11-04 | 2021-03-03 | Imperial College Innovations Ltd | Biomechanical activity monitoring |
US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
EP3068349A4 (en) | 2013-11-13 | 2017-12-13 | Hrl Laboratories, Llc | System for controlling brain machine interfaces and neural prosthetic systems |
US20150157944A1 (en) | 2013-12-06 | 2015-06-11 | Glenn I. Gottlieb | Software Application for Generating a Virtual Simulation for a Sport-Related Activity |
US9367086B2 (en) | 2013-12-10 | 2016-06-14 | Atmel Corporation | Smart watch with adaptive touch screen |
US9367139B2 (en) | 2013-12-12 | 2016-06-14 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
USD751065S1 (en) | 2013-12-28 | 2016-03-08 | Intel Corporation | Wearable computing device |
KR20150077684A (ko) | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
US20150182130A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | True resting heart rate |
US9524580B2 (en) | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
US9659403B1 (en) | 2014-01-06 | 2017-05-23 | Leap Motion, Inc. | Initializing orientation in space for predictive information for free space gesture control and communication |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
CA2939644A1 (en) | 2014-02-14 | 2015-08-20 | Thalmic Labs Inc. | Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same |
TWI596994B (zh) | 2014-02-20 | 2017-08-21 | Tear-resistant structure of the flexible circuit board | |
US10254843B2 (en) | 2014-02-28 | 2019-04-09 | Vikas Gupta | Gesture operated wrist mounted camera system |
USD751068S1 (en) | 2014-03-07 | 2016-03-08 | Sony Mobile Communications Ab | Display portion of watch shaped communications equipment |
US10613642B2 (en) | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
US20150261306A1 (en) | 2014-03-17 | 2015-09-17 | Thalmic Labs Inc. | Systems, devices, and methods for selecting between multiple wireless connections |
USD736664S1 (en) | 2014-03-18 | 2015-08-18 | Google Technology Holdings LLC | Wrist band for an electronic device |
US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
TWD165563S (zh) | 2014-04-08 | 2015-01-21 | 緯創資通股份有限公司 | 穿戴式電子裝置之部分 |
US20150296553A1 (en) | 2014-04-11 | 2015-10-15 | Thalmic Labs Inc. | Systems, devices, and methods that establish proximity-based wireless connections |
US9858391B2 (en) | 2014-04-17 | 2018-01-02 | The Boeing Company | Method and system for tuning a musculoskeletal model |
US10845982B2 (en) | 2014-04-28 | 2020-11-24 | Facebook, Inc. | Providing intelligent transcriptions of sound messages in a messaging application |
WO2015164951A1 (en) | 2014-05-01 | 2015-11-05 | Abbas Mohamad | Methods and systems relating to personalized evolving avatars |
US20150325202A1 (en) | 2014-05-07 | 2015-11-12 | Thalmic Labs Inc. | Systems, devices, and methods for wearable computers with heads-up displays |
CN106464371B (zh) | 2014-05-12 | 2018-12-14 | 康普技术有限责任公司 | 操作具有无线跳线连接的远程无线电头的方法 |
US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
USD717685S1 (en) | 2014-05-15 | 2014-11-18 | Thalmic Labs Inc. | Expandable armband |
USD756359S1 (en) | 2014-05-15 | 2016-05-17 | Thalmic Labs Inc. | Expandable armband device |
KR101666399B1 (ko) | 2014-05-15 | 2016-10-14 | 한국과학기술연구원 | 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
US10782657B2 (en) | 2014-05-27 | 2020-09-22 | Ultrahaptics IP Two Limited | Systems and methods of gestural interaction in a pervasive computing environment |
JP6362444B2 (ja) | 2014-06-16 | 2018-07-25 | 日本メクトロン株式会社 | フレキシブルプリント基板およびフレキシブルプリント基板の製造方法 |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
WO2015199747A1 (en) | 2014-06-23 | 2015-12-30 | Thalmic Labs Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US10216274B2 (en) | 2014-06-23 | 2019-02-26 | North Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US9552069B2 (en) | 2014-07-11 | 2017-01-24 | Microsoft Technology Licensing, Llc | 3D gesture recognition |
US10841476B2 (en) * | 2014-07-23 | 2020-11-17 | Orcam Technologies Ltd. | Wearable unit for selectively withholding actions based on recognized gestures |
US9734704B2 (en) | 2014-08-12 | 2017-08-15 | Dominick S. LEE | Wireless gauntlet for electronic control |
WO2016041088A1 (en) | 2014-09-19 | 2016-03-24 | Sulon Technologies Inc. | System and method for tracking wearable peripherals in augmented reality and virtual reality applications |
US9811555B2 (en) | 2014-09-27 | 2017-11-07 | Intel Corporation | Recognition of free-form gestures from orientation tracking of a handheld or wearable device |
CN107003723A (zh) | 2014-10-21 | 2017-08-01 | 罗伯特·博世有限公司 | 用于会话***中的响应选择和组成的自动化的方法和*** |
US10274992B2 (en) * | 2014-11-12 | 2019-04-30 | Kyocera Corporation | Wearable device with muscle activity detector |
US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
WO2016100368A1 (en) | 2014-12-16 | 2016-06-23 | Somatix, Inc. | Methods and systems for monitoring and influencing gesture-based behaviors |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
US9612661B2 (en) | 2015-01-02 | 2017-04-04 | Wearable Devices Ltd. | Closed loop feedback interface for wearable devices |
US9720515B2 (en) | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
WO2016140908A1 (en) * | 2015-03-02 | 2016-09-09 | Tap Systems Inc. | Arbitrary surface and finger position keyboard |
US20160274758A1 (en) | 2015-03-20 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for mitigating false positives in human-electronics interfaces |
US10432842B2 (en) | 2015-04-06 | 2019-10-01 | The Texas A&M University System | Fusion of inertial and depth sensors for movement measurements and recognition |
US10437335B2 (en) | 2015-04-14 | 2019-10-08 | John James Daniels | Wearable electronic, multi-sensory, human/machine, human/human interfaces |
US20160309249A1 (en) | 2015-04-16 | 2016-10-20 | Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. | Wearable electronic device |
US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
GB2537899B (en) | 2015-04-30 | 2018-02-21 | Hy5Pro As | Control of digits for artificial hand |
US9654477B1 (en) | 2015-05-05 | 2017-05-16 | Wells Fargo Bank, N. A. | Adaptive authentication |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
WO2016196784A1 (en) | 2015-06-02 | 2016-12-08 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
ES2933725T3 (es) | 2015-06-02 | 2023-02-13 | Battelle Memorial Institute | Manguito neural para estimulación, detección y registro neuromuscular |
MX2017015589A (es) | 2015-06-02 | 2018-07-06 | Battelle Memorial Institute | SISTEMAS Y MíTODOS PARA EL ENLACE NEURONAL DEL SISTEMA NERVIOSO. |
US11589814B2 (en) | 2015-06-26 | 2023-02-28 | Carnegie Mellon University | System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition |
US9240069B1 (en) | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
CN108140360B (zh) | 2015-07-29 | 2020-12-04 | 森赛尔股份有限公司 | 用于操纵虚拟环境的***和方法 |
KR101626748B1 (ko) | 2015-08-03 | 2016-06-14 | 숭실대학교산학협력단 | 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법 |
US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
US9824287B2 (en) | 2015-09-29 | 2017-11-21 | Huami Inc. | Method, apparatus and system for biometric identification |
US10459537B2 (en) | 2015-09-30 | 2019-10-29 | Stmicroelectronics, Inc. | Encapsulated pressure sensor |
US11389083B2 (en) | 2015-10-06 | 2022-07-19 | University of Pittsburgh—of the Commonwealth System of Higher Education | Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity |
US9881273B2 (en) | 2015-10-28 | 2018-01-30 | Disney Interprises, Inc. | Automatic object detection and state estimation via electronic emissions sensing |
US10595941B2 (en) | 2015-10-30 | 2020-03-24 | Orthosensor Inc. | Spine measurement system and method therefor |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
KR101739656B1 (ko) | 2015-11-23 | 2017-05-24 | 이경호 | 핸디형 유방암 검진기 |
US10776712B2 (en) | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
CN105511615B (zh) | 2015-12-04 | 2019-03-05 | 深圳大学 | 基于emg的可穿戴式文本输入***及方法 |
US20170188980A1 (en) | 2016-01-06 | 2017-07-06 | Empire Technology Development Llc | Wearable sensor based body modeling |
US11402402B2 (en) | 2016-01-12 | 2022-08-02 | Bigmotion Technologies Inc. | Systems and methods for human body motion capture |
US20170259167A1 (en) | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
KR102158743B1 (ko) | 2016-03-15 | 2020-09-22 | 한국전자통신연구원 | 자연어 음성인식의 성능향상을 위한 데이터 증강장치 및 방법 |
US9864434B2 (en) * | 2016-03-30 | 2018-01-09 | Huami Inc. | Gesture control of interactive events using multiple wearable devices |
WO2017173386A1 (en) | 2016-03-31 | 2017-10-05 | Sensel Inc. | Human-computer interface system |
US10503253B2 (en) | 2016-03-31 | 2019-12-10 | Intel Corporation | Sensor signal processing to determine finger and/or hand position |
US10852835B2 (en) | 2016-04-15 | 2020-12-01 | Board Of Regents, The University Of Texas System | Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities |
US10320071B2 (en) | 2016-04-19 | 2019-06-11 | Skyworks Solutions, Inc. | Methods for selectively shielding radio frequency modules |
US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
US10203751B2 (en) | 2016-05-11 | 2019-02-12 | Microsoft Technology Licensing, Llc | Continuous motion controls operable using neurological data |
JP2019523031A (ja) | 2016-05-31 | 2019-08-22 | ラブ シェプフェルガイスト アーゲー | 神経刺激装置及び方法 |
US10426371B2 (en) | 2016-06-07 | 2019-10-01 | Smk Corporation | Muscle condition measurement sheet |
KR101790147B1 (ko) | 2016-06-22 | 2017-10-25 | 재단법인 실감교류인체감응솔루션연구단 | 가상 객체 조작 시스템 및 방법 |
KR20190025965A (ko) | 2016-07-01 | 2019-03-12 | 엘.아이.에프.이. 코포레이션 에스.에이. | 복수의 센서들을 갖는 의복들에 의한 바이오메트릭 식별 |
US10372228B2 (en) * | 2016-07-20 | 2019-08-06 | Usens, Inc. | Method and system for 3D hand skeleton tracking |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
CN110312471B (zh) | 2016-07-25 | 2022-04-29 | 脸谱科技有限责任公司 | 从神经肌肉活动测量中导出控制信号的自适应*** |
US20200073483A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
WO2018022597A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
US10489986B2 (en) | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US10765363B2 (en) | 2016-09-30 | 2020-09-08 | Cognionics, Inc. | Headgear for dry electroencephalogram sensors |
US10162422B2 (en) | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
CN109804331B (zh) | 2016-12-02 | 2021-06-22 | 皮松科技股份有限公司 | 检测和使用身体组织电信号 |
US10646139B2 (en) | 2016-12-05 | 2020-05-12 | Intel Corporation | Body movement tracking |
US20190025919A1 (en) | 2017-01-19 | 2019-01-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in an augmented reality system |
EP3609402A4 (en) | 2017-04-14 | 2020-12-16 | Rehabilitation Institute Of Chicago D/B/A Shirley | PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES |
US11259746B2 (en) | 2017-07-10 | 2022-03-01 | General Electric Company | Method and system for neuromuscular transmission measurement |
US10481699B2 (en) | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
US20190076716A1 (en) | 2017-09-12 | 2019-03-14 | Intel Corporation | Activity training system |
US10606620B2 (en) | 2017-11-16 | 2020-03-31 | International Business Machines Corporation | Notification interaction in a touchscreen user interface |
US20190150777A1 (en) | 2017-11-17 | 2019-05-23 | Ctrl-Labs Corporation | Dual-supply analog circuitry for sensing surface emg signals |
US10827942B2 (en) | 2018-01-03 | 2020-11-10 | Intel Corporation | Detecting fatigue based on electroencephalogram (EEG) data |
EP3743790A4 (en) | 2018-01-25 | 2021-03-17 | Facebook Technologies, Inc. | RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES |
WO2019148002A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
EP3742961A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS |
WO2019147953A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Methods and apparatus for mitigating neuromuscular signal artifacts |
US10460455B2 (en) | 2018-01-25 | 2019-10-29 | Ctrl-Labs Corporation | Real-time processing of handstate representation model estimates |
US11069148B2 (en) | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
US20190247650A1 (en) | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
US20190324549A1 (en) | 2018-04-20 | 2019-10-24 | Immersion Corporation | Systems, devices, and methods for providing immersive reality interface modes |
WO2019217419A2 (en) | 2018-05-08 | 2019-11-14 | Ctrl-Labs Corporation | Systems and methods for improved speech recognition using neuromuscular information |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
CN112424727A (zh) | 2018-05-22 | 2021-02-26 | 奇跃公司 | 用于可穿戴***的跨模态输入融合 |
WO2019226259A1 (en) | 2018-05-25 | 2019-11-28 | Ctrl-Labs Corporation | Methods and apparatus for providing sub-muscular control |
JP2022500729A (ja) | 2018-09-20 | 2022-01-04 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 拡張現実システムの神経筋制御 |
-
2019
- 2019-08-30 US US16/557,342 patent/US20200073483A1/en not_active Abandoned
- 2019-08-30 EP EP23186202.0A patent/EP4241661A1/en active Pending
- 2019-08-30 WO PCT/US2019/049094 patent/WO2020047429A1/en unknown
- 2019-08-30 JP JP2021506985A patent/JP2021535465A/ja active Pending
- 2019-08-30 US US16/557,427 patent/US10842407B2/en active Active
- 2019-08-30 US US16/557,383 patent/US10905350B2/en active Active
- 2019-08-30 EP EP19855191.3A patent/EP3843617B1/en active Active
- 2019-08-30 CN CN201980072093.XA patent/CN112996430A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0639754A (ja) * | 1992-07-27 | 1994-02-15 | Nippon Telegr & Teleph Corp <Ntt> | ロボットハンド制御装置 |
JP2001054507A (ja) * | 1999-08-17 | 2001-02-27 | Sony Corp | 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法 |
WO2010095636A1 (ja) * | 2009-02-20 | 2010-08-26 | 国立大学法人東京大学 | 筋張力推定法及び装置 |
JP2015514467A (ja) * | 2012-03-27 | 2015-05-21 | ビー10ニックス エッセ.エッレ.エッレ. | 筋肉活動の取得および分析用のシステムならびにその動作方法 |
US20180024635A1 (en) * | 2016-07-25 | 2018-01-25 | Patrick Kaifosh | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
Also Published As
Publication number | Publication date |
---|---|
US20200069211A1 (en) | 2020-03-05 |
US10842407B2 (en) | 2020-11-24 |
EP3843617A1 (en) | 2021-07-07 |
WO2020047429A1 (en) | 2020-03-05 |
US20200069210A1 (en) | 2020-03-05 |
CN112996430A (zh) | 2021-06-18 |
US10905350B2 (en) | 2021-02-02 |
EP3843617B1 (en) | 2023-10-04 |
US20200073483A1 (en) | 2020-03-05 |
EP4241661A1 (en) | 2023-09-13 |
EP3843617A4 (en) | 2022-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10842407B2 (en) | Camera-guided interpretation of neuromuscular signals | |
US11163361B2 (en) | Calibration techniques for handstate representation modeling using neuromuscular signals | |
US11069148B2 (en) | Visualization of reconstructed handstate information | |
US11587242B1 (en) | Real-time processing of handstate representation model estimates | |
US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
US10489986B2 (en) | User-controlled tuning of handstate representation model parameters | |
US20200097081A1 (en) | Neuromuscular control of an augmented reality system | |
CN113412084A (zh) | 来自多种类型的虚拟和/或增强现实环境内的神经肌肉激活的反馈 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240326 |