CN114569143A - 一种基于注意力机制与多特征融合的肌电手势识别方法 - Google Patents
一种基于注意力机制与多特征融合的肌电手势识别方法 Download PDFInfo
- Publication number
- CN114569143A CN114569143A CN202210208157.8A CN202210208157A CN114569143A CN 114569143 A CN114569143 A CN 114569143A CN 202210208157 A CN202210208157 A CN 202210208157A CN 114569143 A CN114569143 A CN 114569143A
- Authority
- CN
- China
- Prior art keywords
- data
- electromyographic
- attention mechanism
- myoelectric
- electromyographic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 40
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000009977 dual effect Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 206010049565 Muscle fatigue Diseases 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 9
- 238000002567 electromyography Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000036982 action potential Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于注意力机制与多特征融合的肌电手势识别方法，涉及人体生物特征识别领域，包括以下步骤：步骤1、获取肌电数据；步骤2、对采集的所述肌电数据进行预处理；步骤3、对预处理后的所述肌电数据进行数据分割；步骤4、对数据分割后的所述肌电数据进行数据增强；步骤5、对数据增强后的所述肌电数据进行人工特征的提取；步骤6、搭建神经网络进行网络特征的提取；步骤7、特征融合，将提取的所述网络特征与所述人工特征进行向量串联，再输入分类器中得到分类结果。本发明提供的技术方案结合网络提取特征与人工经验特征的优势，利用对偶注意力机制对重点信息的关注度提高，使网络识别更准确和鲁棒性增加，从而有更好的分类准确度。
Description
技术领域
本发明涉及人体生物特征识别领域，尤其涉及一种基于注意力机制与多特征融合的肌电手势识别方法。
背景技术
肌电信号是肌肉收缩时伴随的电信号。由大脑运动皮层产生动作电位，经由脊髓及周围神经***到达肌肉纤维，最后经过皮肤的低通滤波作用，在皮肤表面形成电势场，产生微弱的电信号。因为肌电信号是在人体肌肉收缩时产生，所以其能准确地表征肌肉的收缩情况。从皮肤表面采集到的表面肌电信号，是众多肌肉纤维中运动单元动作电位在时间与空间上的叠加，因此，往往可以用肌电信号来表征人体的运动意图与运动状态。同时，由于肌电信号超前于肌肉力，一般比肢体运动超前30至150毫秒产生，利用这个时间差可以预测人体的运动意图，这也使肌电信号相比力信号等滞后较大的信号来说有着无可替代的优势，因此在临床医学、人机工效学、康复医学又或者是体育等方面均有着重要的研究价值和实用价值。
目前已经有较为成熟的传感器来采集人体的表面肌电信号。此外，为了使信号更加准确、可靠，集成的采集***往往从多通道来采集肌电信号，而多通道的表面肌电信号由于涵盖更多的肌电特征，现已成为肌电信号研究中的主要途径。但由于肌电信号同时也有着电信号微弱、频率较低、信号不稳定、受个人影响大等问题，使得现在肌电信号的处理仍然是一个不小的挑战。
目前对肌电信号的处理方式主要分为两大类：第一类是利用在早期的很多医学研究中，人为总结出来的分类效果好的肌电信号的时频特征组，再结合分类器来进行动作的分类；第二类则是借助机器学习与神经网络来提取特征完成分类。目前主流的卷积神经网络(CNN)、循环神经网络(RNN)等网络，在肌电信号的分类上都有着不错的效果，但其往往只对训练的数据集效果较好，当其环境改变或是人体肌肉条件改变时，其分类效果并不理想。总的来说，两类方法都存在着各自的缺陷。第一种方法需要人工提取计算特征值，虽然训练时间较短，但鲁棒性不高；第二种利用神经网络提取特征，不仅不能适应多种环境，同时也容易在一层层卷积之后特征简化，使原始信号中的一部分特征信息丢失。
近年来，对肌电信号的分析研究也存在很多。耿卫东等人在中国发明专利申请“一种基于深度学习和注意力机制的肌电信号手势识别方法”(专利公开号为CN108388348A)中将长短期记忆网络(LSTM)与注意力结合的模型，能达到很好的效果，但在多通道的肌电信号处理上，卷积神经网络(CNN)能额外提取到通道之间的特征关系，因此其方法仍可以继续改进。此外，对于肌电信号的处理，郭剑等人在中国发明专利申请“基于多特征融合CNN的肌电手势识别方法”(专利公开号为CN111860410A)中舍弃了人工提取特征，直接利用网络来提取特征，但其并没考虑结合部分的人工特征，因此网络的鲁棒性的提升效果不明显。此外，目前绝大多数的基于肌电信号的手势分类方法并没有考虑实际应用环境下的肌肉疲劳等因素，由于肌肉疲劳后的肌电信号会导致分类准确度的下降，这将导致肌电信号距离实际应用还有这一段距离。因此，也需要设计一种足够鲁棒的识别方法，使分类结果受肌肉疲劳等人为、环境因素的影响较小。对于综上问题，目前的肌电识别方法仍有很多改进的空间，同时对于肌电信号受人体、环境影响大的问题，至今仍没有较好的处理方法，也导致肌电的手势分类研究多在于实验室研究而很少有真正的应用。
因此，本领域的技术人员致力于开发一种新的肌电手势识别方法，有较高的识别率且尽量不被环境影响。
发明内容
传统的肌电手势分类方法一般只考虑了网络提取特征或是只利用人工提取的特征进行分类识别，但目前没有尝试把网络提取特征与人工特征结合来实现手势分类。此外，目前肌电手势分类方法往往只针对理想条件下的肌电数据，即不考虑采集时的肌肉疲劳、电极位移等因素，而导致模型的鲁棒性不佳，其模型往往在数据收到部分环境干扰后，识别准确率会有较大幅度的下降。有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服肌电分类识别准确度不高且识别方法受肌肉疲劳等环境影响大的问题。
为实现上述目的，本发明提供了一种基于注意力机制与多特征融合的肌电手势识别方法，融合了网络提取特征与人工提取特征，同时结合了卷积神经网络的注意力机制，提高了网络识别准确度。
具体来说，本发明提供的一种基于注意力机制与多特征融合的肌电手势识别方法包括以下步骤：
步骤1、获取肌电数据；
步骤2、对采集的所述肌电数据进行预处理；
步骤3、对预处理后的所述肌电数据进行数据分割；
步骤4、对数据分割后的所述肌电数据进行数据增强；
步骤5、对数据增强后的所述肌电数据进行人工特征的提取；
步骤6、搭建神经网络进行网络特征的提取；
步骤7、特征融合，将提取的所述网络特征与所述人工特征进行向量串联，再输入分类器中得到分类结果。
进一步地，所述步骤1包括：
步骤1.1、利用八通道肌电手环采集若干被采集者的若干类手势的所述肌电数据，所述被采集者处于非肌肉疲劳状态，采集的所述肌电数据为正常肌电数据，采集时重复多次以避免误差；
步骤1.2、额外采集所述被采集者在肌肉疲劳后的所述肌电数据，采集的所述肌电数据为疲劳肌电数据，用于之后的网络鲁棒性测试，可以通过运动或者负重使所述被采集者产生所述肌肉疲劳。
进一步地，所述步骤2包括：
步骤2.1、对所述肌电数据进行滤波，缩小滤波后信号的频率范围，减少噪声信号；
步骤2.2、对所述肌电数据的每通道幅值平方求能量值，将八通道的所述能量值进行求和，以所述能量值的八分之一为阈值将所述肌电数据划分为动作段肌电数据与静息段肌电数据，并去除所有的所述静息段肌电数据。
进一步地，所述步骤3包括：
步骤3.1、使用滑动窗口将所述动作段肌电数据划分为若干个固定长度的信号段；
步骤3.2、将所述正常肌电数据分为训练集、验证集、测试集，将所述疲劳肌电数据全部作为所述测试集。
进一步地，所述步骤4包括对所述训练集按照时序信号的扩充方法进行数据增强，并选择三种方法扩充原数据，包括抖动、缩放和幅值扭曲。
进一步地，所述步骤5包括对每个输入样本计算一组相关的所述人工特征并拼接为一维向量，包括四个不同的所述人工特征，具体为：峰值平均功率(PAP)、过零平均功率(ZCAP)、波形长度(MWL)和时刻差异值(DBM)，由于四个所述人工特征对于所述疲劳肌电数据的变动较小，因此可用于适应疲劳后的所述肌电数据，其中，所述四个特征的计算公式为：
令
DB/W＝m0-m2
其中，H为窗口长度，△n表示信号n阶导数，si表示i时刻肌电信号，s[j]表示离散信号的傅里叶变换。
进一步地，所述步骤6包括：
步骤6.1、设计多流的卷积神经网络模型结构，所述卷积神经网络模型结构由多个并行的卷积神经网络组成，设置不同大小的卷积核，使所述卷积神经网络模型结构能提取不同感受野下的所述网络特征；
步骤6.2、在所述卷积神经网络模型结构中引入对偶注意力机制，所述对偶注意力机制中的位置注意力模块层(PAM)和通道注意力模块层(CAM)能使所述网络特征覆盖到更多部位，提高分类准确度提高。
进一步地，在所述步骤2.1中是采用巴特沃兹滤波器，过滤后的信号频率保持在10-450Hz。
进一步地，在所述步骤3.1中的所述滑动窗口的长度取200ms，每次移动步长取50ms。
进一步地，所述步骤6.1中采用两个并行的所述卷积神经网络组成，所述卷积核采用矩形卷积核。
本发明提供的一种基于注意力机制与多特征融合的肌电手势识别方法至少具有如下技术效果：
本发明所提供的技术方案是基于注意力机制与多特征融合的肌电手势识别方法，结合网络提取特征与人工经验特征的优势，利用对偶注意力机制对重点信息的关注度提高，使网络识别更加准确，加上四种受肌肉疲劳影响较小的特征值：峰值平均功率(PAP)、过零平均功率(ZCAP)、波形长度(MWL)和时刻差异值(DBM)参与了网络分类，使模型的鲁棒性增加，对肌肉疲劳的肌电信号也有较好的分类准确度。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的一个较佳实施例的网络模型搭建流程图；
图2为本发明的一个较佳实施例的具体网络结构图；
图3为本发明的一个较佳实施例的位置注意力模块示意图；
图4为本发明的一个较佳实施例的通道注意力模块示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
传统的肌电手势分类方法一般只考虑了网络提取特征或是只利用人工提取的特征进行分类识别，但目前没有尝试把网络提取特征与人工特征结合来实现手势分类。此外，目前肌电手势分类方法往往只针对理想条件下的肌电数据，即不考虑采集时的肌肉疲劳、电极位移等因素，而导致模型的鲁棒性不佳，其模型往往在数据收到部分环境干扰后，识别准确率会有较大幅度的下降。
为解决上述问题，本发明采用的技术方案是一种基于注意力机制与多特征融合的肌电手势识别方法，该方法结合卷积神经网络和对偶注意力机制对肌电信号特征进行提取，此外再结合人工计算的特征值，有助于提升识别准确度，同时也能对疲劳肌电信号有一定的鲁棒性，其模型整体搭建的流程图如图1所示，具体实施包括以下步骤：
步骤1、获取肌电数据；
步骤2、对采集的肌电数据进行预处理；
步骤3、对预处理后的肌电数据进行数据分割；
步骤4、对数据分割后的肌电数据进行数据增强；
步骤5、对数据增强后的肌电数据进行人工特征的提取；
步骤6、搭建神经网络进行网络特征的提取；
步骤7、特征融合，将提取的网络特征与人工特征进行向量串联，再输入分类器中得到分类结果。
其中，步骤1包括：
步骤1.1、利用八通道肌电手环采集若干被采集者的若干类手势的肌电数据，被采集者处于非肌肉疲劳状态，采集的肌电数据为正常肌电数据，采集时重复多次以避免误差；
步骤1.2、额外采集被采集者在肌肉疲劳后的肌电数据，采集的肌电数据为疲劳肌电数据，用于之后的网络鲁棒性测试，可以通过运动或者负重使被采集者产生肌肉疲劳。
具体来说，步骤1使用的是自行采集的数据作为数据集，利用八通道肌电手环采集多人的六类不同手势的肌电信号，其中手势包括握拳、张开、OK、***手势、曲腕内弯、曲腕外弯六种，同时再额外采集肌肉疲劳状态下的对应六类手势的肌电信号作为数据集。其中，正常肌电数据作为输入的训练集，疲劳肌电数据作为测试集。在一次疲劳肌电信号采集的过程中，肌肉疲劳的诱导方式为使用哑铃平举十分钟。
其中，步骤2包括：
步骤2.1、对肌电数据进行滤波，缩小滤波后信号的频率范围，减少噪声信号；
步骤2.2、对肌电数据的每通道幅值平方求能量值，将八通道的能量值进行求和，以能量值的八分之一为阈值将肌电数据划分为动作段肌电数据与静息段肌电数据，并去除所有的静息段肌电数据。
具体来说，步骤2中首先将所有得到的肌电数据进行一次巴特沃茨滤波，保留信号频率范围在10-450Hz的部分，即滤除噪声保留信噪比更好的肌电信号。
此外，由于采集过程中动作之间存有间隔，因此需要将动作静息段分割出来，仅保留动作时的肌电信号，具体的分割方法为：分别计算每个通道肌电信号幅值的平方，并将其值作为能量值，再将所有八通道的对应时间点的能量求和，以整个信号能量最高峰值的1/8作为分割阈值，若峰值大于阈值则仍为是动作段信号，并保留下来；反之则分割去除。
其中，步骤3包括：
步骤3.1、使用滑动窗口将动作段肌电数据划分为若干个固定长度的信号段；
步骤3.2、将正常肌电数据分为训练集、验证集、测试集，将疲劳肌电数据全部作为测试集。
具体来说，步骤3再将得到的动作段肌电数据进行加窗处理，具体做法是将肌电信号划分为200ms长度，其中滑动步长为50ms，然后将正常肌电信号数据按8：1：1比率分为训练集、验证集与测试集，同时将疲劳肌电数据全部划分为测试集，验证模型的鲁棒性。
其中，步骤4包括对训练集按照时序信号的扩充方法进行数据增强，并选择三种方法扩充原数据，包括抖动、缩放和幅值扭曲。具体包括按照上文时序信号的扩充方式进行抖动(Jittering)、缩放(Scaling)、幅值扭曲(Magnitude Warping)来扩充原数据，使训练样本数目增加三倍。
其中，步骤5包括对每个输入样本计算一组相关的人工特征并拼接为一维向量，包括四个不同的人工特征，具体为：峰值平均功率(PAP)、过零平均功率(ZCAP)、波形长度(MWL)和时刻差异值(DBM)，由于四个人工特征对于疲劳肌电数据的变动较小，因此可用于适应疲劳后的肌电数据，其中，四个特征的计算公式为：
令
DBW＝m0-m2
其中，H为窗口长度，△n表示信号n阶导数，si表示i时刻肌电信号，s[j]表示离散信号的傅里叶变换。
其中，步骤6包括：
步骤6.1、设计多流的卷积神经网络模型结构，卷积神经网络模型结构由多个并行的卷积神经网络组成，设置不同大小的卷积核，使卷积神经网络模型结构能提取不同感受野下的网络特征；
步骤6.2、在卷积神经网络模型结构中引入对偶注意力机制，对偶注意力机制中的位置注意力模块层(PAM)和通道注意力模块层(CAM)能使网络特征覆盖到更多部位，提高分类准确度提高。
具体来说，在步骤(6)中搭建双流卷积神经网络，其中包含两条并行卷积网络，每个卷积网络中包括三层卷积层，一层池化层，一层全连接层，每一层卷积层中的卷积核大小各不相同，借此提取不同层次特征，卷积核采用矩形卷积核，其具体网络结构图如图2所示。
此外再在每层卷积层之后加入对偶注意力机制，其中包括图3所示意的位置注意力模块(PAM)注意力机制和图4所示意的通道注意力模块(CAM)注意力机制。步骤(6.2)中的注意力层添加在除最后一层的所有卷积层之后。
其中，图3中A表示输入该层网络的特征，为包含高、宽、通道数的三维数组。图3中B、C、D分别表示卷积核为1的卷积，以此来降低通道数，来减少后续计算复杂度。图3中S表示C与转置后的B相乘得到的空间特征，与A加权求和后得到新特征层E。图4中F表示输入该层网络的特征，为包含高、宽、通道数的三维数组。将F转置后与F相乘得到通道特征X，再与F加权求和后得到新特征层G。
位置注意力计算公式如下：
通道注意力计算公式如下：
其中，步骤(7)把网络全连接层提取到的网络特征向量与人工特征向量串联，将输入向量组合成一维数组，再将其输入支持向量机(SVM)得到最终的分类结果，其中实验过程中仅使用正常肌电信号数据作为训练集，部分正常肌电信号及全部疲劳肌电信号数据作为测试集。
本发明所提出的模型是一种不仅对正常肌电信号有较高的分类准确度，也能对肌肉疲劳后的肌电信号有一定的适应性的网络模型，突出解决了肌电手势分类准确度较低且模型数据受肌肉疲劳后肌电信号影响大的问题，构建出更加鲁棒的肌电手势分类模型。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述方法包括以下步骤：
步骤1、获取肌电数据；
步骤2、对采集的所述肌电数据进行预处理；
步骤3、对预处理后的所述肌电数据进行数据分割；
步骤4、对数据分割后的所述肌电数据进行数据增强；
步骤5、对数据增强后的所述肌电数据进行人工特征的提取；
步骤6、搭建神经网络进行网络特征的提取；
步骤7、特征融合，将提取的所述网络特征与所述人工特征进行向量串联，再输入分类器中得到分类结果。
2.如权利要求1所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤1包括：
步骤1.1、利用八通道肌电手环采集若干被采集者的若干类手势的所述肌电数据，所述被采集者处于非肌肉疲劳状态，采集的所述肌电数据为正常肌电数据，采集时重复多次以避免误差；
步骤1.2、额外采集所述被采集者在肌肉疲劳后的所述肌电数据，采集的所述肌电数据为疲劳肌电数据，用于之后的网络鲁棒性测试，可以通过运动或者负重使所述被采集者产生所述肌肉疲劳。
3.如权利要求2所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤2包括：
步骤2.1、对所述肌电数据进行滤波，缩小滤波后信号的频率范围，减少噪声信号；
步骤2.2、对所述肌电数据的每通道幅值平方求能量值，将八通道的所述能量值进行求和，以所述能量值的八分之一为阈值将所述肌电数据划分为动作段肌电数据与静息段肌电数据，并去除所有的所述静息段肌电数据。
4.如权利要求3所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤3包括：
步骤3.1、使用滑动窗口将所述动作段肌电数据划分为若干个固定长度的信号段；
步骤3.2、将所述正常肌电数据分为训练集、验证集、测试集，将所述疲劳肌电数据全部作为所述测试集。
5.如权利要求4所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤4包括对所述训练集按照时序信号的扩充方法进行数据增强，并选择三种方法扩充原数据，包括抖动、缩放和幅值扭曲。
6.如权利要求5所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤5包括对每个输入样本计算一组相关的所述人工特征并拼接为一维向量，包括四个不同的所述人工特征，具体为：峰值平均功率(PAP)、过零平均功率(ZCAP)、波形长度(MWL)和时刻差异值(DBM)，由于四个所述人工特征对于所述疲劳肌电数据的变动较小，因此可用于适应疲劳后的所述肌电数据，其中，所述四个特征的计算公式为：
令
DBM＝m0-m2
其中，H为窗口长度，△n表示信号n阶导数，si表示i时刻肌电信号，s[j]表示离散信号的傅里叶变换。
7.如权利要求6所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤6包括：
步骤6.1、设计多流的卷积神经网络模型结构，所述卷积神经网络模型结构由多个并行的卷积神经网络组成，设置不同大小的卷积核，使所述卷积神经网络模型结构能提取不同感受野下的所述网络特征；
步骤6.2、在所述卷积神经网络模型结构中引入对偶注意力机制，所述对偶注意力机制中的位置注意力模块层(PAM)和通道注意力模块层(CAM)能使所述网络特征覆盖到更多部位，提高分类准确度提高。
8.如权利要求3所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，在所述步骤2.1中是采用巴特沃兹滤波器，过滤后的信号频率保持在10-450Hz。
9.如权利要求4所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，在所述步骤3.1中的所述滑动窗口的长度取200ms，每次移动步长取50ms。
10.如权利要求7所述的基于注意力机制与多特征融合的肌电手势识别方法，其特征在于，所述步骤6.1中采用两个并行的所述卷积神经网络组成，所述卷积核采用矩形卷积核。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210208157.8A CN114569143A (zh) | 2022-03-03 | 2022-03-03 | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210208157.8A CN114569143A (zh) | 2022-03-03 | 2022-03-03 | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114569143A true CN114569143A (zh) | 2022-06-03 |
Family
ID=81776127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210208157.8A Pending CN114569143A (zh) | 2022-03-03 | 2022-03-03 | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114569143A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117311513A (zh) * | 2023-10-26 | 2023-12-29 | 昆明理工大学 | 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388348A (zh) * | 2018-03-19 | 2018-08-10 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
| US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
| CN112783327A (zh) * | 2021-01-29 | 2021-05-11 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的方法及*** |
| CN113076878A (zh) * | 2021-04-02 | 2021-07-06 | 郑州大学 | 基于注意力机制卷积网络结构的体质辨识方法 |
| CN113080994A (zh) * | 2021-03-30 | 2021-07-09 | 北京芯动卫士科技有限公司 | 一种基于卷积神经网络的多导联心电信号分类方法 |
| CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别***、方法及设备 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN113887675A (zh) * | 2021-12-06 | 2022-01-04 | 四川大学 | 一种异构传感器特征融合的手势识别方法 |
-
2022
- 2022-03-03 CN CN202210208157.8A patent/CN114569143A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
| CN108388348A (zh) * | 2018-03-19 | 2018-08-10 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
| CN112783327A (zh) * | 2021-01-29 | 2021-05-11 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的方法及*** |
| CN113080994A (zh) * | 2021-03-30 | 2021-07-09 | 北京芯动卫士科技有限公司 | 一种基于卷积神经网络的多导联心电信号分类方法 |
| CN113076878A (zh) * | 2021-04-02 | 2021-07-06 | 郑州大学 | 基于注意力机制卷积网络结构的体质辨识方法 |
| CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别***、方法及设备 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN113887675A (zh) * | 2021-12-06 | 2022-01-04 | 四川大学 | 一种异构传感器特征融合的手势识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117311513A (zh) * | 2023-10-26 | 2023-12-29 | 昆明理工大学 | 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法 |
| CN117311513B (zh) * | 2023-10-26 | 2024-03-08 | 昆明理工大学 | 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491077B (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN112861604B (zh) | 一种与用户无关的肌电动作识别与控制方法 | |
| CN106980367A (zh) | 一种基于肌电地形图的手势识别方法 | |
| Hermosilla et al. | Shallow convolutional network excel for classifying motor imagery EEG in BCI applications | |
| CN106127191B (zh) | 基于小波包分解及逻辑回归的脑电分类方法 | |
| CN108681685A (zh) | 一种基于人体表面肌电信号的躯干动作意图识别方法 | |
| CN109598222A (zh) | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 | |
| CN113111831A (zh) | 一种基于多模态信息融合的手势识别技术 | |
| CN109498370A (zh) | 基于肌电小波关联维的下肢关节角度预测方法 | |
| CN111931656B (zh) | 基于迁移学习的用户独立型运动想象分类模型训练方法 | |
| CN112043473A (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
| CN107822629A (zh) | 四肢表面肌电轴的检测方法 | |
| CN114159079B (zh) | 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法 | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| CN111783719A (zh) | 一种肌电控制方法及装置 | |
| CN109144277B (zh) | 一种基于机器学习实现脑控智能小车的构建方法 | |
| CN114569143A (zh) | 一种基于注意力机制与多特征融合的肌电手势识别方法 | |
| CN110738093B (zh) | 基于改进小世界回声状态网络肌电的分类方法 | |
| CN116595437B (zh) | 零校准迁移学习分类模型的训练方法、设备和存储介质 | |
| CN113128384A (zh) | 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法 | |
| CN110321856B (zh) | 一种时频多尺度散度csp的脑机接口方法及装置 | |
| CN112998725A (zh) | 一种基于运动观察的脑机接口技术的康复方法与*** | |
| CN116910464A (zh) | 一种肌电信号假肢手控制***及方法 | |
| CN116831874A (zh) | 一种基于肌电信号的下肢康复器控制方法 | |
| CN114098768B (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |