CN110639169B - 基于游戏和肌电信号的cpm下肢康复训练方法及*** - Google Patents
基于游戏和肌电信号的cpm下肢康复训练方法及*** Download PDFInfo
- Publication number
- CN110639169B CN110639169B CN201910909533.4A CN201910909533A CN110639169B CN 110639169 B CN110639169 B CN 110639169B CN 201910909533 A CN201910909533 A CN 201910909533A CN 110639169 B CN110639169 B CN 110639169B
- Authority
- CN
- China
- Prior art keywords
- gesture
- time
- electromyographic signals
- real
- surface electromyographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 47
- 210000003141 lower extremity Anatomy 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 230000009471 action Effects 0.000 claims abstract description 26
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 210000001364 upper extremity Anatomy 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 60
- 238000003062 neural network model Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 19
- 239000004575 stone Substances 0.000 claims description 18
- 210000000707 wrist Anatomy 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000003183 myoelectrical effect Effects 0.000 claims description 5
- 230000000284 resting effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 230000010354 integration Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000002567 electromyography Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100023727 Mitochondrial antiviral-signaling protein Human genes 0.000 description 1
- 101710142315 Mitochondrial antiviral-signaling protein Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B23/00—Exercising apparatus specially adapted for particular parts of the body
- A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
- A63B23/04—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for lower limbs
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Physical Education & Sports Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于游戏和肌电信号的CPM下肢康复训练方法及***，涉及生机电一体化技术领域，解决患者康复训练时枯燥、训练行动不便的问题。主要包括以游戏为中介，通过建立的生物人机接口采集患者手势动作的表面肌电信号并进行频时域分析以提取手势特征，然后采用主成分分析法或者时间序列评价特征质量准则对手势特征降维，接着通过人工神经网络识别手势特征所对应的手势类型，最后基于手势类型与CPM机行为动作的对应关系确定该患者手势类型对应的CPM机行为动作，并根据该患者手势类型对应的CPM机行为动作控制CPM机以实现训练患者受损下肢的目的。本发明实现了通过患者上肢游戏方式控制CPM机训练患者受损下肢的效果。
Description
技术领域
本发明涉及生机电一体化技术领域，特别是涉及一种基于游戏和肌电信号的CPM下肢康复训练方法及***。
背景技术
最新数据显示：预计到2020年，老年人的人口将达到2.48亿，肢体障碍疾病的威胁逐步在社会上显现出来，并且自然灾害以及交通事故的频繁发生也造成大量肢体关节受损患者。该类型患者在进行康复时需要借助仪器进行训练，但由于患者本身运动能力的减弱，以及训练时的枯燥，使得患者在进行康复训练时会有一定的难度，很难坚持。而且该类型患者需要家人的贴身照料，严重影响了患者乃至整个家庭的正常生活，给该类型患者造成了严重的生活压力，甚至让这些该类型患者自暴自弃，丧失生活的信心。
近年来随着“人机共融”概念的提出，康复训练技术迎来了重大发展机遇。生物人机接口是人类同机器设备实现“沟通”的重要途径，其目的在于以人体的各项生理信号作为控制外部机器设备的控制信号源，从而取代传统的控制模式。表面肌电信号采集和分析相对简单方便，逐渐成为了生物人机接口的重点研究对象之一。能用患者本身的表面肌电信号作为康复训练时的动作源，将会大大提高训练效率，但是这方面的研究成果很少。
发明内容
本发明的目的是提供一种基于游戏和肌电信号的CPM下肢康复训练方法及***，通过患者上肢游戏方式控制CPM机训练患者受损下肢，解决康复训练枯燥以及康复训练行动不便的问题。
为实现上述目的，本发明提供了如下方案：
一种基于游戏和肌电信号的CPM下肢康复训练方法，包括：
获取患者健康上肢的样本手势表面肌电信号；所述样本手势表面肌电信号包括手腕内翻手势对应的表面肌电信号、手腕外翻手势对应的表面肌电信号、握拳手势对应的表面肌电信号、伸掌手势对应的表面肌电信号以及静息手势对应的表面肌电信号；
对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵；
采用主成分分析法或者时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，得到低维特征空间矩阵；所述低维特征空间矩阵内的特征向量为样本主要手势特征；
根据所述样本主要手势特征训练神经网络模型，得到手势识别神经网络模型；所述手势识别神经网络模型的输入为主要手势特征，所述手势识别神经网络模型的输出为手势类型；
获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理；
将处理后的实时手势表面肌电信号输入到所述手势识别神经网络模型中，得到所述实时手势表面肌电信号对应的实时手势类型；
根据手势类型与CPM机行为动作的对应关系确定所述实时手势类型对应的CPM机行为动作，并根据所述实时手势类型对应的CPM机行为动作训练患者受损下肢。
可选的，在获取患者健康上肢的样本手势表面肌电信号之前，所述CPM下肢康复训练方法还包括：搭建表面肌电信号采集处理装置；所述表面肌电信号采集处理装置包括采集电极、由Duinopeak肌电传感器与Arduino UNO单片机相结合的数据采集硬件电路以及上位机；所述采集电极通过肌电导联线与所述Duinopeak肌电传感器连接；所述数据采集硬件电路与所述上位机连接。
可选的，所述对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵，具体包括：
根据所述Duinopeak肌电传感器中的高通-低通滤波电路对所述样本手势表面肌电信号进行频域分析；所述高通-低通滤波电路的截至上频率为100Hz，所述高通-低通滤波电路的截至下频率为50Hz；
运用连续时间窗对频域分析后的样本手势表面肌电信号进行分割，从每个时间窗中提取时域特征；所述时域特征为样本手势特征；
根据所述样本手势特征构建高维特征空间矩阵。
可选的，在获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理之前，所述CPM下肢康复训练方法还包括：
构建基于阈值控制的投石游戏；所述投石游戏是通过量化传感器采集到手势表面肌电信号的幅值，以控制投石游戏中皮筋的拉伸长度。
可选的，所述获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理，具体包括：
获取患者健康上肢玩游戏时的实时手势表面肌电信号；
确定所述实时手势表面肌电信号的幅值，并将大于设定阈值的幅值所对应的实时手势表面肌电信号删除；
将保留下来的实时手势表面肌电信号进行频域分析和时域分析以得到实时手势特征，并根据所述实时手势特征构建实时高维特征空间矩阵；
采用主成分分析法或者时间序列评价特征质量准则对所述实时高维特征空间矩阵进行降维处理，得到实时低维特征空间矩阵；所述实时低维特征空间矩阵内的特征向量为实时主要手势特征。
一种基于游戏和肌电信号的CPM下肢康复训练***，包括：
第一获取模块，用于获取患者健康上肢的样本手势表面肌电信号；所述样本手势表面肌电信号包括手腕内翻手势对应的表面肌电信号、手腕外翻手势对应的表面肌电信号、握拳手势对应的表面肌电信号、伸掌手势对应的表面肌电信号以及静息手势对应的表面肌电信号；
分析模块，用于对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵；
降维模块，用于采用主成分分析法或者时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，得到低维特征空间矩阵；所述低维特征空间矩阵内的特征向量为样本主要手势特征；
手势识别神经网络模型得到模块，用于根据所述样本主要手势特征训练神经网络模型，得到手势识别神经网络模型；所述手势识别神经网络模型的输入为主要手势特征，所述手势识别神经网络模型的输出为手势类型；
第二获取模块，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理；
识别模块，用于将处理后的实时手势表面肌电信号输入到所述手势识别神经网络模型中，得到所述实时手势表面肌电信号对应的实时手势类型；
训练模块，用于根据手势类型与CPM机行为动作的对应关系确定所述实时手势类型对应的CPM机行为动作，并根据所述实时手势类型对应的CPM机行为动作训练患者受损下肢。
可选的，所述分析模块，具体包括：
频域分析单元，用于对所述样本手势表面肌电信号进行频域分析；在所述频域分析单元中高通-低通滤波的截至上频率为100Hz，高通-低通滤波的截至下频率为50Hz；
时域分析单元，用于运用连续时间窗对频域分析后的样本手势表面肌电信号进行分割，从每个时间窗中提取时域特征；所述时域特征为样本手势特征；
高维特征空间矩阵构建单元，用于根据所述样本手势特征构建高维特征空间矩阵。
可选的，所述CPM下肢康复训练***还包括：
游戏构建模块，用于构建基于阈值控制的投石游戏；所述投石游戏是通过量化传感器采集到手势表面肌电信号的幅值，以控制投石游戏中皮筋的拉伸长度。
可选的，所述第二获取模块，具体包括：
获取单元，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号；
删除单元，用于确定所述实时手势表面肌电信号的幅值，并将大于设定阈值的幅值所对应的实时手势表面肌电信号删除；
分析单元，用于将保留下来的实时手势表面肌电信号进行频域分析和时域分析以得到实时手势特征，并根据所述实时手势特征构建实时高维特征空间矩阵；
降维单元，用于采用主成分分析法或者时间序列评价特征质量准则对所述实时高维特征空间矩阵进行降维处理，得到实时低维特征空间矩阵；所述实时低维特征空间矩阵内的特征向量为实时主要手势特征。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于游戏和肌电信号的CPM下肢康复训练方法及***。本发明以游戏为中介，通过建立的生物人机接口采集患者手势动作的表面肌电信号并进行频时域分析以提取手势特征，然后采用主成分分析法或者时间序列评价特征质量准则对手势特征降维，接着通过人工神经网络识别手势特征所对应的手势类型，完成对游戏软件的控制，最后基于手势类型与CPM机行为动作的对应关系确定该患者手势类型对应的CPM机行为动作，并根据该患者手势类型对应的CPM机行为动作控制CPM机以实现训练患者受损下肢的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于游戏和肌电信号的CPM下肢康复训练方法的流程示意图；
图2为本发明实施例表面肌电信号采集处理装置的结构示意图；
图3为本发明实施例Duinopeak肌电传感器的硬件电路结构示意图；
图4为本发明实施例人工神经元节点模型示意图；
图5为本发明实施例交互游戏流程示意图；
图6为本发明实施例基于游戏和肌电信号的CPM下肢康复训练***的结构示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对肢体残疾人士面临康复训练这一亟待解决的社会问题，提供了新颖时尚的适用于肢体残疾人士的基于游戏和肌电信号的CPM下肢康复训练方法及***，肢体残疾人士可以采用游戏的方式用CPM机完成对需要康复肢体处的锻炼，解决训练时枯燥、训练行动不便的问题。
肢体残疾人士通过本发明不仅达到一定的锻炼目的，还享受了锻炼的快乐，同时重建生活的信心，有利于肢体残疾人士身体机能和信心的恢复，具有很强的价值。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了实现上述目的，本发明采用如下技术方案：
如图1所示，本发明提供了一种基于游戏和肌电信号的CPM下肢康复训练方法，具体包括以下步骤。
步骤101：获取患者健康上肢的样本手势表面肌电信号；所述样本手势表面肌电信号包括手腕内翻手势对应的表面肌电信号、手腕外翻手势对应的表面肌电信号、握拳手势对应的表面肌电信号、伸掌手势对应的表面肌电信号以及静息手势对应的表面肌电信号等。
步骤102：对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵。
步骤103：采用主成分分析法或者时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，得到低维特征空间矩阵；所述低维特征空间矩阵内的特征向量为样本主要手势特征。
步骤104：根据所述样本主要手势特征训练神经网络模型，得到手势识别神经网络模型；所述手势识别神经网络模型的输入为主要手势特征，所述手势识别神经网络模型的输出为手势类型。
步骤105：获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理。
步骤106：将处理后的实时手势表面肌电信号输入到所述手势识别神经网络模型中，得到所述实时手势表面肌电信号对应的实时手势类型。
步骤107：根据手势类型与CPM机行为动作的对应关系确定所述实时手势类型对应的CPM机行为动作，并根据所述实时手势类型对应的CPM机行为动作训练患者受损下肢。
优选的，步骤101主要是采集患者健康肢体或者上肢的样本手势表面肌电信号的时域及频域的信息。
在执行步骤101之前，首先要搭建表面肌电信号采集处理装置。如图2所示，该表面肌电信号采集处理装置包括采集电极、由Duinopeak肌电传感器与Arduino UNO单片机相结合的数据采集硬件电路以及上位机。采集电极通过肌电导联线与Duinopeak肌电传感器连接，由Duinopeak肌电传感器与Arduino UNO单片机相结合的数据采集硬件电路对采集的信息进行输入，采集电极选用一次性按钮式Ag/AgCl心电电极。主要过程是Duinopeak肌电传感器获取采集电极采集的表面肌电信号之后，将表面肌电信号输出到Arduino UNO单片机，最后由USB接口将采集到信号上传至上位机中以进行后续处理。
Duinopeak肌电传感器的硬件电路结构如图3所示，包括依次连接的前置放大、带通滤波、工频陷波和增益放大等模块。
优选的，步骤102主要包括：通过所构建的表面肌电信号采集处理装置采集到手腕内翻手势(WF)、外翻手势(WE)、握拳手势(FC)和伸掌手势(PS)以及静息手势(RT)作为样本手势，共计五种样本手势表面肌电信号，并对其进行频域分析和时域分析。
1)对采集的样本手势表面肌电信号进行频域分析。
原先Duinopeak肌电传感器的高通-低通滤波电路组合的截至频率直接将原始样本手势表面肌电信号的频率破坏，为采集到样本手势表面肌电信号频域上的信息，采用改良的Duinopeak肌电传感器。由于样本手势表面肌电信号的主要有效信息集中于50～100Hz频段内，因此设置截至上下频率分别为100Hz和50Hz。由公式(1)计算低通滤波RC参数：
其中，R表示RC电路中的电阻值，C表示RC电路中的电容值。为方便元件的选购和使用，取C15＝0.02μF。同理计算高通滤波RC的参数。
然后通过新构建的高通-低通滤波电路对采集的样本手势表面肌电信号进行频域分析。
2)对频域分析后的样本手势表面肌电信号进行时域分析。
运用连续时间窗对对频域分析后的样本手势表面肌电信号进行分割，然后从每个时间窗中提取时域特征，提取特征时首先需要预先定义其阈值。所述时域特征为样本手势特征。
3)根据所述样本手势特征构建高维特征空间矩阵。
4)五个手势共提取绝对值积分IAV、平均绝对值MAV、平均绝对值斜率MAVS、波形长度WL、峰值PV、均值MV、方差VAR、标准差STD、均方根RMS、波形因子MS、Willison幅值WAMP十一个时域上的特征。将所筛选出的样本手势特征，即11个时域上的特征可以构成一个11维的高维特征空间矩阵。
其中，xd表示一个样本手势特征，d表示高维特征空间矩阵的维数。
优选的，步骤103具体包括：
1)采用时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，本发明中引入时间序列概念进行特征选择以选择最优时域特征，主要运用时间序列评价特征质量准则对上述提取出来的时域特征进行筛选，以选择最优时域特征，并将最优时域特征确定为样本手势特征。该时间序列评价特征质量准则包括过零点数(zero crossing，ZC)、偏度(skew)、峰度(kurt)、自相关分析、相关系数分析、香农熵等参数。
2)采用主成分分析法对所述高维特征空间矩阵进行降维处理。
本发明利用主成分分析法进行特征降维。原理是在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量(关系紧密的变量)删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
首先计算高维特征空间矩阵中各个特征向量间的相关系数，通过相关系数可以知道特征间是否存在冗余和冗余的程度。相关系数计算公式为：
利用式(3)可求得各个特征向量间的相关系数，由于相关系数越接近1表示两特征之间相似程度越高冗余度越大，相关系数越接近于0则表示两者之间冗余度越小。可通过比较将特征向量间的相关系数，将相关系数接近于1的特征剔除从而实现降维。
其次通过正交变换将原有的复杂数据进行简化，去除数据的冗余和噪音。所提取的11个时域特征构成了一个11维的高维特征空间矩阵X，先求得高维特征空间矩阵X的协方差矩阵C：
其中，cov(xi,xj)＝E[(xi-E(xi))(xj-E(xj))T]。
之后将特征向量按对应的特征值大小由大到小排列，取前k(k＜11)个组成矩阵yi，则将原来的11维特征向量转换为k维新特征向量。
Cαi＝λiαi (5)；
其中，λi为协方差矩阵C的特征值，其对应的特征向量为αi＝(αi1,αi2,…,αi11)T(i＝1,2,…,k)。
通过正交变换所得到的新变量yi(i＝1,2,…,k)的表达式为：
最后在正交变换后还需要对信号进行重构。由于选择了前k个特征向量，两边左乘αi并进行求和，以得到一个近似重构矩阵：
该近似重构矩阵就是降维后的高维特征空间矩阵，即低维特征空间矩阵。
优选的，步骤104主要包括：
1)利用如图4所示的人工神经元建立人工神经网络模型以进行信息的计算和传递。人工神经元的结构可以等效成一个有多输入单输出的非线性逻辑加法器。
2)进行神经网络结构设计。主要包括输入层设计、输出层设计以及隐含层设计。在输入层设计中，由于通过时间序列降维的特征空间即TD特征是6维空间向量和通过PCA降维所得到的新特征空间即PCA特征是5维空间向量，为方便对比二者对辨识性能的影响，设计输入层节点数为6；在输出层设计中，由于本发明需要将测试样本分为5类，分别是：内翻(WF)、外翻(WE)、握拳(FC)、伸掌(PS)和静息(RT)，因此目标向量为5维，即设定神经网络输出层的神经元节点数为5。
3)进行神经网络算法设计。输入层向下一层的输出表示为：
其中，k为当前迭代次数，下同；x(1)、x(2)、x(3)、x(4)、x(5)、x(6)分别为特征样本子空间中的6个特征向量，即所述低维特征空间矩阵内的特征向量。
网络的中间层(即隐含层)各神经元的输入输出为
其中，上角标(1)、(2)、(3)分别代表输入层、隐含层和输出层；
表示隐含层权值；
表示隐含层阈值；隐含层神经元活化函数f(x)采用正负对称的Sigmoid函数。
最后，神经网络输出层各神经元输入输出为
其中，
表示输出层权值；
表示输出层阈值；输出层神经元活化函数g(x)采用非负的Sigmoid函数。
由于输出层输出为5维，分别为5个需要辨识分类的手势动作编码，输出层的节点并不是每次辨识仅有一个节点输出结果，每次辨识输出层每个节点都有一个结果，而每个节点分别表征一种手势的特征，用于后续的代价函数中对辨识分类结果的划分。
定义网络的性能指标函数为
其中，p为当前训练样本数；N为训练样本总数；rinl(k)为当前节点输出目标值。
令性能指标函数E(k)对输出层权值和阈值的负梯度方向搜索。其对
和
的偏导，可分别表式为
其中，
最终得到网络输出层权值和阈值的调整算法：
其中，η为神经网络的学习速率。
同理，推导出隐含层权值和阈值的调整算法
4)训练神经网络模型以得到手势识别神经网络模型，实现对手势的分类，即用样本主要手势特征训练神经网络模型。
对期望输出结果进行了尺度变换，即归一化处理。对输入量预处理尺度变换的公式如下所示：
其中，
表示归一化的值，xi表示输入数据样本，xmin表示输入数据变化范围的最小值，xmax表示输入数据变化范围的最大值。
本发明根据所需要的输出类型选择“n中取1”表示法，即令输出结果向量为1×5的行向量，行向量中5个元素分别代表所需辨识的5类手势。当辨识结果为某一类时，其对应的元素取1，其余的n-1个元素均取0。此种分类的结果比较直观利于观察，常用于所需分类别数不多的情况，得出手势分类的编码形式如表1所示，进而进行神经网络的训练。
表1手势分类编码
优选的，在执行步骤105之前，还需要构建基于阈值控制的投石游戏；主要包括程序(Processing)环境初始化以及如图5所示的操作过程。初始化主要包括石头、带皮筋的弹弓、石墙及背景。游戏的控制原理是基于肌电阈值控制，即通过量化传感器采集到手势表面肌电信号的幅值，以控制游戏中皮筋的拉伸长度。同时设置一个内部记录器，在游戏运行时，记录从游戏开始到结束所用的时长以及摧毁石墙的数量，用于评定玩家在游戏结束后显示的分数。
优选的，步骤105主要包括：
1)获取患者健康上肢玩游戏时的实时手势表面肌电信号。其交互游戏流程结构图如图5所示，游戏中通过玩家控制皮筋长度发射石头以摧毁石墙，然后采集游戏过程中患者健康上肢的实时手势表面肌电信号。
2)处理；确定实时手势表面肌电信号的幅值，并当所述幅值大于设定阈值时，删除该幅值对应的实时手势表面肌电信号，然后将保留下来的实时手势表面肌电信号进行步骤102-步骤103处理。处理后的实时手势表面肌电信号为实时主要手势特征。
优选的，步骤107主要包括以下内容：
1)对所辨识的手势进行动作设计；将游戏时各种手势类型和CPM机的不同行为动作形成一一对应关系。
2)利用所设计的表面肌电信号采集处理装置采集患者游戏时的实时手势表面肌电信号，同时将采集到的数据上传到上位机(PC端)，本发明在PC端使用Matlab作为信号特征提取处理软件和模式识别分类处理软件(手势识别神经网络模型运行软件)，并将所得到的识别结果通过无线信号向CPM机发送动作指令，CPM机根据所设计好的映射关系做出相应行动，实现基于实时手势表面肌电信号对CPM机的控制，以CPM下肢康复器为例，对应的动作如表2所示。
表2动作设计
如图6所示，本发明还提供了一种基于游戏和肌电信号的CPM下肢康复训练***，该CPM下肢康复训练***包括：
第一获取模块100，用于获取患者健康上肢的样本手势表面肌电信号；所述样本手势表面肌电信号包括手腕内翻手势对应的表面肌电信号、手腕外翻手势对应的表面肌电信号、握拳手势对应的表面肌电信号、伸掌手势对应的表面肌电信号以及静息手势对应的表面肌电信号。
分析模块200，用于对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵。
降维模块300，用于采用主成分分析法或者时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，得到低维特征空间矩阵；所述低维特征空间矩阵内的特征向量为样本主要手势特征。
手势识别神经网络模型得到模块400，用于根据所述样本主要手势特征训练神经网络模型，得到手势识别神经网络模型；所述手势识别神经网络模型的输入为主要手势特征，所述手势识别神经网络模型的输出为手势类型。
第二获取模块500，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理。
识别模块600，用于将处理后的实时手势表面肌电信号输入到所述手势识别神经网络模型中，得到所述实时手势表面肌电信号对应的实时手势类型。
训练模块700，用于根据手势类型与CPM机行为动作的对应关系确定所述实时手势类型对应的CPM机行为动作，并根据所述实时手势类型对应的CPM机行为动作训练患者受损下肢。
优选的，所述分析模块200，具体包括：
频域分析单元，用于对所述样本手势表面肌电信号进行频域分析；在所述频域分析单元中高通-低通滤波的截至上频率为100Hz，高通-低通滤波的截至下频率为50Hz。
时域分析单元，用于运用连续时间窗对频域分析后的样本手势表面肌电信号进行分割，从每个时间窗中提取时域特征；所述时域特征为样本手势特征。
高维特征空间矩阵构建单元，用于根据所述样本手势特征构建高维特征空间矩阵。
优选的，所述CPM下肢康复训练***还包括：
游戏构建模块，用于构建基于阈值控制的投石游戏；所述投石游戏是通过量化传感器采集到手势表面肌电信号的幅值，以控制投石游戏中皮筋的拉伸长度。
优选的，所述第二获取模块500，具体包括：
获取单元，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号。
删除单元，用于确定所述实时手势表面肌电信号的幅值，并将大于设定阈值的幅值所对应的实时手势表面肌电信号删除。
分析单元，用于将保留下来的实时手势表面肌电信号进行频域分析和时域分析以得到实时手势特征，并根据所述实时手势特征构建实时高维特征空间矩阵。
降维单元，用于采用主成分分析法或者时间序列评价特征质量准则对所述实时高维特征空间矩阵进行降维处理，得到实时低维特征空间矩阵；所述实时低维特征空间矩阵内的特征向量为实时主要手势特征。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种基于游戏和肌电信号的CPM下肢康复训练***，其特征在于，所述CPM下肢康复训练***，包括：
第一获取模块，用于获取患者健康上肢的样本手势表面肌电信号；所述样本手势表面肌电信号包括手腕内翻手势对应的表面肌电信号、手腕外翻手势对应的表面肌电信号、握拳手势对应的表面肌电信号、伸掌手势对应的表面肌电信号以及静息手势对应的表面肌电信号；
分析模块，用于对所述样本手势表面肌电信号进行频域分析和时域分析以得到样本手势特征，并根据所述样本手势特征构建高维特征空间矩阵；
降维模块，用于采用主成分分析法或者时间序列评价特征质量准则对所述高维特征空间矩阵进行降维处理，得到低维特征空间矩阵；所述低维特征空间矩阵内的特征向量为样本主要手势特征；
手势识别神经网络模型得到模块，用于根据所述样本主要手势特征训练神经网络模型，得到手势识别神经网络模型；所述手势识别神经网络模型的输入为主要手势特征，所述手势识别神经网络模型的输出为手势类型；
第二获取模块，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号并进行处理；
识别模块，用于将处理后的实时手势表面肌电信号输入到所述手势识别神经网络模型中，得到所述实时手势表面肌电信号对应的实时手势类型；
训练模块，用于根据手势类型与CPM机行为动作的对应关系确定所述实时手势类型对应的CPM机行为动作，并根据所述实时手势类型对应的CPM机行为动作训练患者受损下肢。
2.根据权利要求1所述的基于游戏和肌电信号的CPM下肢康复训练***，其特征在于，所述分析模块，具体包括：
频域分析单元，用于对所述样本手势表面肌电信号进行频域分析；在所述频域分析单元中高通-低通滤波的截至上频率为100Hz，高通-低通滤波的截至下频率为50Hz；
时域分析单元，用于运用连续时间窗对频域分析后的样本手势表面肌电信号进行分割，从每个时间窗中提取时域特征；所述时域特征为样本手势特征；
高维特征空间矩阵构建单元，用于根据所述样本手势特征构建高维特征空间矩阵。
3.根据权利要求1所述的基于游戏和肌电信号的CPM下肢康复训练***，其特征在于，所述CPM下肢康复训练***还包括：
游戏构建模块，用于构建基于阈值控制的投石游戏；所述投石游戏是通过量化传感器采集到手势表面肌电信号的幅值，以控制投石游戏中皮筋的拉伸长度。
4.根据权利要求1所述的基于游戏和肌电信号的CPM下肢康复训练***，其特征在于，所述第二获取模块，具体包括：
获取单元，用于获取患者健康上肢玩游戏时的实时手势表面肌电信号；
删除单元，用于确定所述实时手势表面肌电信号的幅值，并将大于设定阈值的幅值所对应的实时手势表面肌电信号删除；
分析单元，用于将保留下来的实时手势表面肌电信号进行频域分析和时域分析以得到实时手势特征，并根据所述实时手势特征构建实时高维特征空间矩阵；
降维单元，用于采用主成分分析法或者时间序列评价特征质量准则对所述实时高维特征空间矩阵进行降维处理，得到实时低维特征空间矩阵；所述实时低维特征空间矩阵内的特征向量为实时主要手势特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909533.4A CN110639169B (zh) | 2019-09-25 | 2019-09-25 | 基于游戏和肌电信号的cpm下肢康复训练方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909533.4A CN110639169B (zh) | 2019-09-25 | 2019-09-25 | 基于游戏和肌电信号的cpm下肢康复训练方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110639169A CN110639169A (zh) | 2020-01-03 |
| CN110639169B true CN110639169B (zh) | 2020-08-25 |
Family
ID=68992606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910909533.4A Active CN110639169B (zh) | 2019-09-25 | 2019-09-25 | 基于游戏和肌电信号的cpm下肢康复训练方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110639169B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112205990B (zh) * | 2020-09-07 | 2023-07-14 | 武汉科技大学 | 一种基于sEMG的不同负载下手腕角度预测方法及装置 |
| CN114618136B (zh) * | 2022-03-16 | 2023-08-01 | 山东体育学院 | 一种基于运动人体科学的牵引拉伸运动装置 |
| CN115120429B (zh) * | 2022-06-17 | 2023-03-10 | 广东工业大学 | 一种基于表面肌电信号的智能轮椅人体跟随控制*** |
| CN115590537B (zh) * | 2022-11-28 | 2023-03-14 | 成都体育学院 | 一种运动健康管理方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000073479A1 (en) * | 1999-05-28 | 2000-12-07 | The Government Of The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | A combined growth factor-deleted and thymidine kinase-deleted vaccinia virus vector |
| KR102034021B1 (ko) * | 2015-08-10 | 2019-10-18 | 한국전자통신연구원 | 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법 |
| CN107273798A (zh) * | 2017-05-11 | 2017-10-20 | 华南理工大学 | 一种基于表面肌电信号的手势识别方法 |
| CN108670251A (zh) * | 2018-06-01 | 2018-10-19 | 广州中医药大学(广州中医药研究院) | 肩关节康复***及方法 |
| CN109299659A (zh) * | 2018-08-21 | 2019-02-01 | 中国农业大学 | 一种基于rgb相机和深度学习的人体姿态识别方法与*** |
-
2019
- 2019-09-25 CN CN201910909533.4A patent/CN110639169B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110639169A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110639169B (zh) | 基于游戏和肌电信号的cpm下肢康复训练方法及*** | |
| Fan et al. | Multiscaled fusion of deep convolutional neural networks for screening atrial fibrillation from single lead short ECG recordings | |
| CN108304917B (zh) | 一种基于lstm网络的p300信号检测方法 | |
| Chowdhury et al. | Time-frequency analysis, denoising, compression, segmentation, and classification of PCG signals | |
| CN107736894A (zh) | 一种基于深度学习的心电信号情绪识别方法 | |
| CN108681396A (zh) | 基于脑-肌电双模态神经信号的人机交互***及其方法 | |
| CN110826625B (zh) | 一种基于表面肌电信号的手指手势分类方法 | |
| CN113111831A (zh) | 一种基于多模态信息融合的手势识别技术 | |
| Held et al. | Extracting fuzzy rules from polysomnographic recordings for infant sleep classification | |
| Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
| Thenmozhi et al. | Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI | |
| CN108122004A (zh) | 基于Fisher判别稀疏超限学习机的脑电分类方法 | |
| Mithbavkar et al. | Recognition of emotion through facial expressions using EMG signal | |
| CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| CN115481695A (zh) | 一种利用多分支特征提取的运动想象分类方法 | |
| CN114587288A (zh) | 一种睡眠监测方法、装置以及设备 | |
| Tello et al. | Towards sEMG classification based on Bayesian and k-NN to control a prosthetic hand | |
| Khezri et al. | An exploratory study to design a novel hand movement identification system | |
| CN117883082A (zh) | 一种异常情绪识别方法、***、设备及介质 | |
| Taghizadeh et al. | Classification of Electromyography Signals Using Neural Networks and Features From Various Domains | |
| CN110604578A (zh) | 基于semg的人手手内动作识别方法 | |
| CN115273176A (zh) | 一种基于生命体征和表情的疼痛多算法客观评估方法 | |
| CN114098768A (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 | |
| Geethanjali et al. | Statistical pattern recognition technique for improved real-time myoelectric signal classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210927 Address after: 050000 6th floor, building 11, Runjiang international headquarters, 139 Changjiang Avenue, high tech Zone, Shijiazhuang City, Hebei Province Patentee after: SHIJIAZHUANG DU KANG MEDICAL DEVICES Co.,Ltd. Address before: No.438, west section of Hebei Street, Haigang District, Qinhuangdao City, Hebei Province Patentee before: Yanshan University |