CN116738295A - sEMG信号分类方法、***、电子设备及存储介质 - Google Patents

sEMG信号分类方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN116738295A
CN116738295A CN202311000797.0A CN202311000797A CN116738295A CN 116738295 A CN116738295 A CN 116738295A CN 202311000797 A CN202311000797 A CN 202311000797A CN 116738295 A CN116738295 A CN 116738295A
Authority
CN
China
Prior art keywords
data
convolution
feature
electromyographic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311000797.0A
Other languages
English (en)
Other versions
CN116738295B (zh
Inventor
董安明
宋守良
禹继国
高斌
韩玉冰
李素芳
张丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202311000797.0A priority Critical patent/CN116738295B/zh
Publication of CN116738295A publication Critical patent/CN116738295A/zh
Application granted granted Critical
Publication of CN116738295B publication Critical patent/CN116738295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了sEMG信号分类方法、***、电子设备及存储介质，属于sEMG信号处理领域，本发明要解决的技术问题为如何提高sEMG信号分类的准确率，采用的技术方案为：数据采集：采集sEMG信号数据，构建原始数据集；数据预处理：对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；提取时域特征：对每个单通道内的数据进行时域特征提取；获取肌电图像：将提取的时域特征转换为图的形式，即肌电图像；提取特征矩阵：利用空间特征模块对肌电图像进行处理，获取特征矩阵；整合手势信息：利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；分类。

Description

sEMG信号分类方法、***、电子设备及存储介质
技术领域
本发明涉及sEMG信号处理领域，具体地说是一种sEMG信号分类方法、***、电子设备及存储介质。
背景技术
大脑通过人体肌肉来驱动肢体执行不同的动作时会产生具有不同时间序列特征的sEMG（surface electromyography）信号。利用sEMG的信号特征可以实现肌肉计算机交互（MCI），在医疗假肢、外骨骼设备、计算机游戏控制、虚拟现实和机器人辅助手术、手语识别（SLR）***和人机交互（HMI）***中具有广泛的应用前景。
基于sEMG的手部活动分类是MCI最重要的一种技术需求，其主要目的是对手势、抓取动作和手部运动模式等进行区分，例如张开手掌、握拳、转动手腕等。基于sEMG手势识别的结果可以进一步驱动需要执行操作的设备，从而辅助人类的工作和生活。例如，通过表面肌电信号来控制外骨骼设备和假肢设备，从而为需要设备辅助的人提供便利。
目前，对sEMG信号的分类方法主要有两类，一种是基于传统的机器学***均绝对值特征，利用频域的中值频率、均值频率特征，或者利用短时傅里叶变换、小波变换等时频域特征。虽然传统机器学***。
与经典机器学习技术相比，深度学习分类方法因其自动特征提取能力而根据有吸引力。现有的深度学习是EMG分类方法有多模态融合卷积神经网络（MFCNN）、三维卷积神经网络（3D-CNN）、多流卷积神经网络等等。这些方法一般将sEMG信号看作一幅图像，然后利用经典的图像分类网络进行动作模式的分类，所采用的深度学习网络的核心是卷积神经网络。由于卷积神经网络难以表征时间序列之间的时空相关性，因而其分类性能依然有较大提升空间。为此，通过将卷积神经网络与具有表征时间序列时序特征的网络相结合，成为技术演进的重要方向。例如，CNN-LSTM混合模型相较于单一CNN能够获更高的准确率和鲁棒性。但是，这些经典的混合网络架构本身会存在一些缺陷，如CNN-LSTM混合网络结构因CNN、LSTM都具有较高的计算复杂度，会导致在处理大规模sEMG数据时训练和推理过程变得缓慢。混合模型是由两部分组成，需要考虑两部的设计和参数的设置，使得模型调参相对复杂。除此之外，随着新型深度学习结构的发展，近期还出现了一些新型的sEMG深度学习识别模型，如CNN-Transformer混合模型、基于Vision Transformer（ViT）的识别模型等。然而，这些利用了Transformer架构的新模型通需要在较大的数据集上进行训练，并且参数量大，不易实际应用。
故如何提高sEMG信号分类的准确率是目前亟待解决的技术问题。
发明内容
本发明的技术任务是提供一种sEMG信号分类方法、***、电子设备及存储介质，来解决如何提高sEMG信号分类的准确率的问题。
本发明的技术任务是按以下方式实现的，一种sEMG信号分类方法，该方法具体如下：
数据采集：采集sEMG信号数据，构建原始数据集；
数据预处理：对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
提取时域特征：对每个单通道内的数据进行时域特征提取；
获取肌电图像：将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/> 且/>；其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
提取特征矩阵：利用空间特征模块对肌电图像进行处理，获取特征矩阵；
整合手势信息：利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
分类：使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
作为优选，数据采集具体如下：
将电极片贴放到手臂指定的肌肉上，电极片另一端连接到一个前置放大电路板上，前置放大电路板与STM32相连接；
STM32将采集到的sEMG信号通过串口发送到电脑端，获取到原始数据集；其中，采样频率为1000Hz。
更优地，数据降噪具体为：对采集的sEMG信号通过高通滤波、低通滤波和50Hz陷波器进行软件滤波处理去除相应的干扰；并根据不同的手势类别，打上相应的标签；
滑动窗口分割数据具体为：对电极片进行编号，将同一时间内不同通道的数据标记为s1，s2，···，sn，再将同一时间内不同通道的数据统一放入集合S中，即S={s1，s2，···，sn}；并获取单通道的数据量，公式如下：
；
其中，表示滑动窗口长度，单位为毫秒；/>表示sEMG信号的采样频率；/>表示单通道的数据量。
更优地，时域特征包括方根（RMS）、平均绝对值（MAV）、波形长度（WL）、过零点次数（ZC）及信号斜率正负值变化次数（SSC）五个时域特征，具体如下：
均方根（RMS）计算公式具体如下：
；
平均绝对值（MAV）计算公式具体如下：
；
波形长度（WL）计算公式具体如下：
；
过零点次数（ZC）计算公式具体如下：
；
；
信号斜率正负值变化次数（SSC）计算公式具体如下：
；
；
其中，表示滑动窗口长度；/>表示肌电信号第/>个样本点；/>；表示/>。
作为优选，所述空间特征模块包括四个卷积流以及设置在卷积流之后的特征融合层；
四个卷积流即为四个卷积通道，通过多卷积流提取表面肌电信号的空间特征；其中，四个卷积通道的结构保持一致，均由2个二维卷积层及2个最大池化层构成；四个卷积通道的第一个卷积层是由32个卷积核组组成，大小为3×3，步长为1；四个卷积通道的第二个卷积层是由64个卷积核组成，大小为3×3，步长为1；每一个卷积层均使用激活函数ReLU；每个卷积通道的最后一层之后随机丢弃为0.2；
将四个卷积通道输出的表面肌电信号的空间特征，/>，/>及/>输入到特征融合层进行特征融合，生成新的特征矩阵Y，具体公式如下：
。
更优地，所述时序特征模块包括GRU（Gated Recurrent Unit，门控循环单元结构）、注意力机制层及全连接层；
其中，GRU用于从新的特征矩阵中捕获时间序列上的长期依赖，获取从GRU网络中学习到的序列特征；
注意力机制层用于使用tanh函数计算每个从GRU网络中学习到的序列特征的重要性，得到每个从GRU网络中学习到的序列特征的得分，对序列特征的得分/>进行归一化处理得到归一化得分/>，公式为/>；最后将从GRU网络中学习到的序列特征/>与归一化得分/>的乘积作为注意力机制的最终输出，记为/>；
其中，每个从GRU网络中学习到的序列特征的得分计算公式如下：
；
其中，为权重向量；/>表示为矩阵的转置；/>为偏差； />表示第 />个序列特征的得分；
全连接层设置在注意力机制层之后，用于整合区分手势的局部信息。
更优地，分类具体如下：
使用Softmax将结果进行映射，进行最终的分类，能够得到每种手势分类的可能性；其中，最大概率的类别将作为最终的预测结果，公式如下：
；
其中，表示第/>个类别的权重大小；/>表示类别数目（K的取值不固定，是数据集中的类别数目，如公开数据集NinaproDB2数据集中的类别数目为49，NinaproDB5数据集的类别数目为52）；/>表示第/>个类别的概率。
一种sEMG信号分类***，该***用于实现上述的sEMG信号分类方法；该***包括：
数据采集单元，用于采集sEMG信号数据，构建原始数据集；
数据预处理单元，用于对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
时域特征提取单元，用于对每个单通道内的数据进行时域特征提取；
肌电图像获取单元，用于将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/> 且； 其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
特征矩阵提取单元，用于利用空间特征模块对肌电图像进行处理，获取特征矩阵；
手势信息整合单元，用于利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
分类单元，用于使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的sEMG信号分类方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的sEMG信号分类方法。
本发明的sEMG信号分类方法、***、电子设备及存储介质具有以下优点：
（一）本发明通过提取传统方法中广泛使用的时域特征，多角度地表征了肌电信号；在空间特征模块中，使用多流卷积并行的策略能够分析每一组肌肉肌群与手势动作之间的隐式相关性，从而能够更好的提取到表面肌电信号的空间特征，之后对每个流中提取到的特征进行融合，得到新的特征矩阵；在将新的特征矩阵送入到时序特征模块中，在时序特征模块中，GRU能够提取到其时间维度的信息，同时引入注意力机制，关注更加重要的信息；最后通过一个全连接层整合局部信息，用于分类，提高了sEMG信号分类的准确率；
（二）本发明在经典深度学习网络的基础上引入卷积多流融合-GRU的学习策略，构建了两个网络模块：空间特征模块和时序特征模块;空间特征模块是基于多流卷积并行架构设计，从分治角度分析每一处肌肉与手势动作之间的隐式相关性,通过卷积神经网络来提取表面肌电信号的空间特征，之后将多流卷积提取的空间特征进行特征融合，送入到时序特征模块；时序特征模块是由GRU和注意力机制构成，用来提取表面肌电信号的时序特征，最后将其进行分类，大大提高了sEMG信号分类的准确率；
（三）本发明的空间特征模块加入了最大池化层，能够减少参数量，从而降低了训练所需的计算开槽；并在空间特征模块最后一层卷积层之后，使用了随机失活，可以降低出现过拟合和梯度消失的概率；
（四）本发明时序特征模块的GRU用来捕获时间序列上的长期依赖；由于收集的sEMG信号是连续的，过去的信息以及未来的信息对手势动作同样重要，因此使用GRU来学习动作信息的模式能够提取更全面的时间特征，并且能够使网络更加简单，运行效率更高；
（五）本发明时序特征模块的注意力机制层是为GRU层的一个辅助增强的手段，GRU网络学习到的特征是高维的，不同的特征可能对手势动作的识别做出不同的贡献；因此，利用注意力机制来学习特征是重要的，能够筛选出更加关键的信息，从而提高***的识别性能。
附图说明
下面结合附图对本发明进一步说明。
附图1为sEMG信号分类方法的流程框图；
附图2为空间特征模块和时序特征模块的结构示意图；
附图3为滑移窗口分割数据的示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的sEMG信号分类方法、***、电子设备及存储介质作以下详细地说明。
实施例1：
如附图1所示，本实施例提供了一种sEMG信号分类方法，该方法具体如下：
S1、数据采集：采集sEMG信号数据，构建原始数据集；
S2、数据预处理：对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
S3、提取时域特征：对每个单通道内的数据进行时域特征提取；
S4、获取肌电图像：将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/> 且/>；其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
S5、提取特征矩阵：利用空间特征模块对肌电图像进行处理，获取特征矩阵；
S6、整合手势信息：利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
S7、分类：使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
本实施例步骤S1中的数据采集具体如下：
S101、将电极片贴放到手臂指定的肌肉上，电极片另一端连接到一个前置放大电路板上，前置放大电路板与STM32相连接；
S102、STM32将采集到的sEMG信号通过串口发送到电脑端，获取到原始数据集；其中，采样频率为1000Hz。
电极片放置在人体皮肤表面即可记录皮肤表面因肌肉收缩而产生得微弱得电位差，再通过肌电采集电路放大和转换形成可用作处理的表面肌电信号。
本实施例步骤S2中的数据降噪具体为：sEMG信号是一种非平稳的微电信号，主要能量集中在20-150Hz；在采集sEMG信号时存在工频噪声、尖峰幅值等干扰，需要对得到的原始sEMG信号进行软件滤波处理；因此在采集到sEMG信号之后会进行预处理，具体为：通过对原始信号进行高通滤波、低通滤波和50Hz陷波器去除相应的干扰，并根据不同的手势类别，打上相应的标签。
本实施例步骤S2中的滑动窗口分割数据具体为：为了保证提取特征的连续性，采用设置时间窗＋增量窗的方式提取特征，如附图3所示，时间窗的大小为200ms，增量窗大小为100ms；对电极片进行编号，将同一时间内不同通道的数据标记为s1，s2，···，sn，再将同一时间内不同通道的数据统一放入集合S中，即S={s1，s2，···，sn}；并获取单通道的数据量，公式如下：
；
其中，表示滑动窗口长度，单位为毫秒；/>表示sEMG信号的采样频率；/>表示单通道的数据量。
本实施例步骤S3中的时域特征包括方根（RMS）、平均绝对值（MAV）、波形长度（WL）、过零点次数（ZC）及信号斜率正负值变化次数（SSC）五个时域特征，具体如下：
均方根（RMS）计算公式具体如下：
；
平均绝对值（MAV）计算公式具体如下：
；
波形长度（WL）计算公式具体如下：
；
过零点次数（ZC）计算公式具体如下：
；
；
信号斜率正负值变化次数（SSC）计算公式具体如下：
；
；
其中，表示滑动窗口长度；/>表示肌电信号第/>个样本点；/>；表示/>。
如附图2所示，本实施例步骤S4中的空间特征模块包括四个卷积流以及设置在卷积流之后的特征融合层；
四个卷积流即为四个卷积通道，通过多卷积流提取表面肌电信号的空间特征；其中，四个卷积通道的结构保持一致，均由2个二维卷积层及2个最大池化层构成；四个卷积通道的第一个卷积层是由32个卷积核组组成，大小为3×3，步长为1；四个卷积通道的第二个卷积层是由64个卷积核组成，大小为3×3，步长为1；每一个卷积层均使用激活函数ReLU；最大池化层的加入能够减少模型的参数量，从而降低训练所需要的计算开销；在最后一层卷积层之后，使用了随机失活，可以降低模型出现过拟合和梯度消失的概率；每个卷积通道的最后一层之后随机丢弃为0.2；
将四个卷积通道输出的表面肌电信号的空间特征，/>，/>及/>输入到特征融合层进行特征融合，生成新的特征矩阵Y，具体公式如下：
。
本实施例步骤S5中的时序特征模块包括GRU（Gated Recurrent Unit，门控循环单元结构）、注意力机制层及全连接层；
其中，GRU用于从新的特征矩阵中捕获时间序列上的长期依赖，获取从GRU网络中学习到的序列特征；由于收集的sEMG信号是连续的，过去的信息以及未来的信息对手势动作同样重要，因此使用GRU来学习动作信息的模式能够提取更全面的时间特征，并且能够使网络更加简单，运行效率更高；GRU中隐藏单元数量为200；
注意力机制层是为GRU层的一个辅助增强的手段；GRU网络学习到的特征是高维的，不同的特征可能对手势动作的识别做出不同的贡献；因此，利用注意力机制来学习特征是重要的，能够筛选出更加关键的信息，从而提高***的识别性能；注意力机制中隐藏单元数量为200；
注意力机制层用于使用tanh函数计算每个从GRU网络中学习到的序列特征的重要性，得到每个从GRU网络中学习到的序列特征的得分，对序列特征的得分/>进行归一化处理得到归一化得分/>，公式为/>；最后将从GRU网络中学习到的序列特征/>与归一化得分/>的乘积作为注意力机制的最终输出，记为/>；
其中，每个从GRU网络中学习到的序列特征的得分计算公式如下：
；
其中，为权重向量；/>表示为矩阵的转置；/>为偏差； />表示第 />个序列特征的得分；
全连接层设置在注意力机制层之后，用于整合区分手势的局部信息。
本实施例步骤S6中的分类具体如下：
使用Softmax将结果进行映射，进行最终的分类，能够得到每种手势分类的可能性；其中，最大概率的类别将作为最终的预测结果，公式如下：
；
其中，表示第/>个类别的权重大小；/>表示类别数目（K的取值不固定，是数据集中的类别数目，如公开数据集NinaproDB2数据集中的类别数目为49，NinaproDB5数据集的类别数目为52）；/>表示第/>个类别的概率。
本实施例基于Tensorflow深度学习框架，数据集分为三部分：训练集占70%，验证集占20%，测试集占10%；本实施例的训练使用Adam优化器，损失函数为交叉熵损失函数，学习率为0.00001，epoch设置为2000，批量大小设置为64，使用GPU加速训练；本实施例还使用earlystoping(提前停止)，当损失值不在降低，趋于稳定的时候，会自动停止训练并保存。
在公开数据集NinaPro DB2、DB5做了对比实验，如下表所示：
类型 NinaPro DB5 NinaPro DB2
本实施例 96.7% 97.6%
卷积神经网络模型 91.6% 93.2%
长短时记忆网络模型 80.3% 79.2%
由表可知，本实施例sEMG信号分类的准确率要比现在主流的卷积神经网络模型和长短时记忆网络模型的准确率高。
实施例2：
本实施例提供了一种sEMG信号分类***，该***用于实现实施例1中的sEMG信号分类方法；该***包括：
数据采集单元，用于采集sEMG信号数据，构建原始数据集；
数据预处理单元，用于对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
时域特征提取单元，用于对每个单通道内的数据进行时域特征提取；
肌电图像获取单元，用于将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/> 且/>；其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
特征矩阵提取单元，用于利用空间特征模块对肌电图像进行处理，获取特征矩阵；
手势信息整合单元，用于利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
分类单元，用于使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
该***的工作过程具体如下：
首先获取到需识别的肌电信号，对sEMG信号进行预处理操作；
然后将处理好的sEMG信号数据输入sEMG信号分类***；
最后将识别结果输出。
实施例3：
本实施例还提供了一种电子设备，包括：存储器和处理器；
其中，存储器存储计算机执行指令；
处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的sEMG信号分类方法。
处理器可以是中央处理单元（CPU），还可以是其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡（SMC），安全数字（SD）卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
实施例4：
本实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的sEMG信号分类方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种sEMG信号分类方法，其特征在于，该方法具体如下：
数据采集：采集sEMG信号数据，构建原始数据集；
数据预处理：对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
提取时域特征：对每个单通道内的数据进行时域特征提取；
获取肌电图像：将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/>且/>； 其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
提取特征矩阵：利用空间特征模块对肌电图像进行处理，获取特征矩阵；
整合手势信息：利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
分类：使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
2.根据权利要求1所述的sEMG信号分类方法，其特征在于，数据采集具体如下：
将电极片贴放到手臂指定的肌肉上，电极片另一端连接到一个前置放大电路板上，前置放大电路板与STM32相连接；
STM32将采集到的sEMG信号通过串口发送到电脑端，获取到原始数据集。
3.根据权利要求1或2所述的sEMG信号分类方法，其特征在于，数据降噪具体为：对采集的sEMG信号通过高通滤波、低通滤波和50Hz陷波器进行软件滤波处理去除相应的干扰；并根据不同的手势类别，打上相应的标签；
滑动窗口分割数据具体为：对电极片进行编号，将同一时间内不同通道的数据标记为s1，s2，···，sn，再将同一时间内不同通道的数据统一放入集合S中，即S={s1，s2，···，sn}；并获取单通道的数据量，公式如下：
；
其中，表示滑动窗口长度，单位为毫秒；/>表示sEMG信号的采样频率；/>表示单通道的数据量。
4.根据权利要求3所述的sEMG信号分类方法，其特征在于，时域特征包括方根、平均绝对值、波形长度、过零点次数及信号斜率正负值变化次数五个时域特征，具体如下：
均方根计算公式具体如下：
；
平均绝对值计算公式具体如下：
；
波形长度计算公式具体如下：
；
过零点次数计算公式具体如下：
；
；
信号斜率正负值变化次数（SSC）计算公式具体如下：
；
；
其中， 表示滑动窗口长度；/>表示肌电信号第/>个样本点；/>；/>表示 />。
5.根据权利要求1所述的sEMG信号分类方法，其特征在于， 所述空间特征模块包括四个卷积流以及设置在卷积流之后的特征融合层；
四个卷积流即为四个卷积通道，通过多卷积流提取表面肌电信号的空间特征；其中，四个卷积通道的结构保持一致，均由2个二维卷积层及2个最大池化层构成；四个卷积通道的第一个卷积层是由32个卷积核组组成，大小为3×3，步长为1；四个卷积通道的第二个卷积层是由64个卷积核组成，大小为3×3，步长为1；每一个卷积层均使用激活函数ReLU；每个卷积通道的最后一层之后随机丢弃为0.2；
将四个卷积通道输出的表面肌电信号的空间特征 ，/>，/>及/>输入到特征融合层进行特征融合，生成新的特征矩阵Y，具体公式如下：
。
6.根据权利要求5所述的sEMG信号分类方法，其特征在于，所述时序特征模块包括GRU、注意力机制层及全连接层；
其中，GRU用于从新的特征矩阵中捕获时间序列上的长期依赖，获取从GRU网络中学习到的序列特征；
注意力机制层用于使用tanh函数计算每个从GRU网络中学习到的序列特征的重要性，得到每个从GRU网络中学习到的序列特征的得分 ，对序列特征的得分/>进行归一化处理得到归一化得分/>，公式为 />；最后将从GRU网络中学习到的序列特征/> 与归一化得分/>的乘积作为注意力机制的最终输出，记为/>；
其中，每个从GRU网络中学习到的序列特征的得分计算公式如下：
；
其中，为权重向量；/>表示为矩阵的转置；/>为偏差； />表示第/>个序列特征的得分；
全连接层设置在注意力机制层之后，用于整合区分手势的局部信息。
7.根据权利要求6所述的sEMG信号分类方法，其特征在于，分类具体如下：
使用Softmax将结果进行映射，进行最终的分类，能够得到每种手势分类的可能性；其中，最大概率的类别将作为最终的预测结果，公式如下：
；
其中， 表示第/>个类别的权重大小； />表示类别数目；/> 表示第/>个类别的概率。
8.一种sEMG信号分类***，其特征在于，该***用于实现权利要求1-7中任一项所述的sEMG信号分类方法；该***包括：
数据采集单元，用于采集sEMG信号数据，构建原始数据集；
数据预处理单元，用于对原始数据集进行数据降噪及滑动窗口分割数据，获取单通道的数据量；
时域特征提取单元，用于对每个单通道内的数据进行时域特征提取；
肌电图像获取单元，用于将提取的时域特征转换为图的形式，即肌电图像，将肌电图像切分为多个等尺寸大小的子肌电图像/>, 则/>且/>；其中，/> ； />表示肌电图像/>的宽度；/> 表示肌电图像/>的长度； />表示子肌电图像/>的宽度；
特征矩阵提取单元，用于利用空间特征模块对肌电图像进行处理，获取特征矩阵；
手势信息整合单元，用于利用时序特征模块对特征矩阵进行处理，获取整合区分手势局部信息；
分类单元，用于使用Softmax分类器将整合区分手势局部信息进行映射，进行最终的分类。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至7任一项所述的sEMG信号分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至7中任一项所述的sEMG信号分类方法。
CN202311000797.0A 2023-08-10 2023-08-10 sEMG信号分类方法、***、电子设备及存储介质 Active CN116738295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311000797.0A CN116738295B (zh) 2023-08-10 2023-08-10 sEMG信号分类方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311000797.0A CN116738295B (zh) 2023-08-10 2023-08-10 sEMG信号分类方法、***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116738295A true CN116738295A (zh) 2023-09-12
CN116738295B CN116738295B (zh) 2024-04-16

Family

ID=87906310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311000797.0A Active CN116738295B (zh) 2023-08-10 2023-08-10 sEMG信号分类方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116738295B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109202A1 (en) * 2013-10-22 2015-04-23 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN111898526A (zh) * 2020-07-29 2020-11-06 南京邮电大学 基于多流卷积神经网络的肌电手势识别方法
CN112783327A (zh) * 2021-01-29 2021-05-11 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及***
US20210223868A1 (en) * 2019-08-22 2021-07-22 University Of Maryland, College Park Systems and methods for recognizing gesture
CN113934302A (zh) * 2021-10-21 2022-01-14 燕山大学 基于SeNet和门控时序卷积网络的肌电手势识别方法
CN115294658A (zh) * 2022-08-24 2022-11-04 哈尔滨工业大学 一种面向多应用场景的个性化手势识别***及其手势识别方法
CN115601833A (zh) * 2022-10-13 2023-01-13 湖北工业大学（Cn） 一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及***
CN116340824A (zh) * 2023-03-28 2023-06-27 北京工业大学 基于卷积神经网络的肌电信号动作识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109202A1 (en) * 2013-10-22 2015-04-23 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
US20210223868A1 (en) * 2019-08-22 2021-07-22 University Of Maryland, College Park Systems and methods for recognizing gesture
CN111898526A (zh) * 2020-07-29 2020-11-06 南京邮电大学 基于多流卷积神经网络的肌电手势识别方法
CN112783327A (zh) * 2021-01-29 2021-05-11 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的方法及***
CN113934302A (zh) * 2021-10-21 2022-01-14 燕山大学 基于SeNet和门控时序卷积网络的肌电手势识别方法
CN115294658A (zh) * 2022-08-24 2022-11-04 哈尔滨工业大学 一种面向多应用场景的个性化手势识别***及其手势识别方法
CN115601833A (zh) * 2022-10-13 2023-01-13 湖北工业大学（Cn） 一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及***
CN116340824A (zh) * 2023-03-28 2023-06-27 北京工业大学 基于卷积神经网络的肌电信号动作识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUDI WANG ET AL.: "Improved Multi-Stream Convolutional Block Attention Module for sEMG-Based Gesture Recognition", 《FRONT BIOENG BIOTECHNOL》, vol. 10, 7 June 2022 (2022-06-07), pages 1 - 14 *
刘聪 等: "融合双层注意力与多流卷积的肌电手势识别记忆网络", 《光电子·激光》, vol. 34, no. 2, pages 180 - 189 *
周杨: "基于深度学习的肌电手势识别算法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, no. 2, pages 006 - 1486 *
李沿宏 等: "融合注意力机制的多流卷积肌电手势识别网络", 《计算机应用研究》, vol. 38, no. 11, pages 3258 - 3263 *

Also Published As

Publication number Publication date
CN116738295B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Chaudhary et al. Convolutional neural network based approach towards motor imagery tasks EEG signals classification
Fahimi et al. Generative adversarial networks-based data augmentation for brain–computer interface
Zhao et al. ECG authentication system design incorporating a convolutional neural network and generalized S-Transformation
Zhang et al. HeartID: A multiresolution convolutional neural network for ECG-based biometric human identification in smart health applications
Hang et al. Cross-subject EEG signal recognition using deep domain adaptation network
Zhang et al. GANSER: A self-supervised data augmentation framework for EEG-based emotion recognition
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及***
CN110458197A (zh) 基于光电容积脉搏波的身份识别方法及其***
Alwasiti et al. Motor imagery classification for brain computer interface using deep metric learning
Wei et al. Motor imagery EEG signal classification based on deep transfer learning
Hwaidi et al. Classification of motor imagery EEG signals based on deep autoencoder and convolutional neural network approach
CN109359619A (zh) 一种基于卷积盲源分离的高密度表面肌电信号分解方法
Zhao et al. Deep CNN model based on serial-parallel structure optimization for four-class motor imagery EEG classification
CN110680313A (zh) 一种基于脉冲群智能算法并结合stft-psd和pca的癫痫时期分类方法
Lu et al. Combined CNN and LSTM for motor imagery classification
Pinto et al. Deep neural networks for biometric identification based on non-intrusive ECG acquisitions
Liu et al. Motor Imagery tasks EEG signals classification using ResNet with multi-time-frequency representation
Wang et al. Deep convolutional neural network for decoding EMG for human computer interaction
CN116738295B (zh) sEMG信号分类方法、***、电子设备及存储介质
Vivek et al. ST-GNN for EEG motor imagery classification
Qi et al. Recognition of composite motions based on sEMG via deep learning
Arabshahi et al. A convolutional neural network and stacked autoencoders approach for motor imagery based brain-computer interface
Liu et al. Bispectrum-based hybrid neural network for motor imagery classification
Ahlawat et al. DWT-based hand movement identification of EMG signals using SVM
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant