CN108388348B - 一种基于深度学习和注意力机制的肌电信号手势识别方法 - Google Patents
一种基于深度学习和注意力机制的肌电信号手势识别方法 Download PDFInfo
- Publication number
- CN108388348B CN108388348B CN201810224699.8A CN201810224699A CN108388348B CN 108388348 B CN108388348 B CN 108388348B CN 201810224699 A CN201810224699 A CN 201810224699A CN 108388348 B CN108388348 B CN 108388348B
- Authority
- CN
- China
- Prior art keywords
- neural network
- new
- electromyogram
- attention mechanism
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000000306 recurrent effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000002567 electromyography Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 210000003205 muscle Anatomy 0.000 abstract description 2
- 238000007476 Maximum Likelihood Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和注意力机制的肌电信号手势识别方法，步骤如下：对手势肌电信号进行降噪滤波；使用滑动窗口对每个窗口数据提取一个经典特征集，并构建新的基于特征的肌电图像；设计一种基于卷积神经网络、循环神经网络和注意力机制的深度学习框架，并对其网络结构参数进行优化；使用设计好的深度学习框架和训练数据训练得到分类器模型；将测试数据输入到训练好的深度学习网络模型中，根据最后一层输出的似然，最大似然对应的类别即为识别的类别。本发明基于新特征图像及基于注意力机制的深度学习框架对肌电手势信号进行识别。使用基于深度学习和注意力机制的肌电信号手势识别方法能够准确地识别同一被试的多种不同手势。
Description
技术领域
本发明属于计算机与生物信号相结合领域，尤其涉及一种基于深度学习和注意力机制的肌电信号手势识别方法。
背景技术
表面肌电信号(surface electromyography,sEMG)是一种通过非侵入式的电极贴在皮肤表面来记录肌肉活动的生物信号。通过记录和分析表面肌电信号能够为辅助和康复技术提供更多有效的信息，对于体育科学研究、人机交互、康复医学临床和基础研究等具有重要的学术价值和应用意义。在这些应用中，基于肌电信号的手势识别技术担当重要的角色。一个经典的肌电信号手势识别流程由数据预处理、特征空间构建和分类组成。数据预处理部分主要对信号进行整流和滤波来减少噪声，特征空间构建部分将预处理后的信号变换到特征空间使得类间有更大的区分度，最后用一个机器学习方法训练好模型用于分类。
特征空间的构建部分和手势类别的识别部分是提高识别准确率十分重要的两个部分。因此有很多研究人员致力于通过他们的领域知识来提出新的特征，如Phinyomark特征集。另一方面，在国内外的研究中，很多机器学习分类器被用于肌电信号手势识别中，比如人工神经网络、K近邻、线性判决分析、支持向量机和隐马尔可夫模型。其中支持向量机和线性判决分析是两种最常用的分类器。
在近几年国内外的研究进展中，深度学习方法在许多领域都获得了目前最好的表现。其中最著名的卷积神经网络也已被成功应用于肌电信号的手势识别中，获得了目前最好的识别效果。注意力机制是一种十分有效的增强循环神经网络建模能力的方法，目前已在机器翻译等领域取得了较好的效果。但目前没有使用循环神经网络结合卷积神经网络的方法对肌电信号手势进行识别，并且本发明将注意力机制加入到循环神经网络中对模型进行增强。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于深度学习和注意力机制的肌电信号手势识别方法，通过设计基于卷积神经网络、循环神经网络和注意力机制的模型结构，提高了手势识别的准确性。
本发明的目的是通过以下技术方案来实现的：一种基于深度学习和注意力机制的肌电信号手势识别方法，包括如下步骤：
(1)获取肌电数据，数据预处理，包括以下子步骤：
(1.1)从公开数据集NinaProDB1、NinaProDB2、BioPatRec子集、CapgMyo子集和csl-hdemg中获取手势动作肌电数据；
(1.2)分别对不同数据集采用不同的预处理方法进行滤波降噪；
(2)原始信号训练数据集和原始信号测试数据集的划分，包括以下子步骤：
(2.1)根据获取到的肌电信号标签，将每个肌电信号文件中的数据分割为若干个肌电信号手势段，每个手势段包含一次动作重复；
(2.2)按照不同的评估方法，将手势的多次动作重复分别划分到原始信号训练数据集和原始信号测试数据集中，完成原始训练和测试数据集的划分；
(3)数据分割与特征提取，包括以下子步骤：
(3.1)用滑动窗口将每个手势段分割为多个固定长度的信号段；
(3.2)对每个窗口内的定长信号段的每个通道进行特征提取，提取多种特征；
(4)构建新肌电图像，包括以下子步骤：
(4.1)将窗口内每个通道的特征向量重新排布，使得每两个通道都能够相邻；
(4.2)构建新肌电图像，新肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为特征向量维度；
(5)基于深度学习和注意力机制的肌电信号多类手势识别，包括以下步骤：
(5.1)设计深度学习和注意力机制的模型结构，模型结构由卷积神经网络、循环神经网络和基本注意力机制构成；卷积神经网络对输入的新肌电图像进行高层特征提取，循环神经网络对新肌电图像序列每帧之间的关系进行建模，基本注意力机制对循环神经网络的输出进行重要性加权，t时刻注意力权重αt的计算公式为：
Mt＝tanh(Whht)
αt＝softmax(wTMt)
其中，ht是循环神经网络的输出，Wh和wT是待训练的权重矩阵，T是一个手势段的时间长度，r是基本注意力机制部分的输出；softmax函数是归一化指数函数；
(5.2)原始信号训练数据集中每个样本进行新肌电图像的构建，得到新肌电图像训练数据集作为整个网络的输入，对卷积神经网络和循环神经网络的网络参数逐一进行优化，得到最优模型参数；
(5.3)由步骤(5.2)训练得到的最优模型参数和新肌电图像训练数据集训练获得分类模型；
(5.4)将测试数据集中每个样本进行新肌电图像的构建，得到新肌电图像测试数据集，输入步骤(5.3)得到的分类模型，输出分类结果。
进一步地，所述步骤(1.2)中，对NinaProDB1采用低通butterworth滤波，对NinaProDB2采用低通butterworth滤波并降采样到100Hz，BioPatRec子集和CapgMyo子集不进行滤波，对csl-hdemg进行整流和低通butterworth滤波。
进一步地，所述步骤(2.1)中，原始信号训练数据集和原始信号测试数据集的划分使用被试内评估；不同数据集采用不同的划分方法：NinaProDB1将每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2将第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；BioPatRec子集将第一次重复作为训练数据，另外两次重复作为测试数据；CapgMyo子集将一半的重复作为训练数据，即5次重复，另外5次重复作为测试数据；csl-hdemg数据集将单个被试的数据划分为10份，并进行10折交叉验证。
进一步地，所述步骤(3.1)中，不同的数据集使用不同的滑动窗口长度及滑动步长；NinaProDB1的滑动窗口长度为150ms和200ms，滑动步长为10ms；NinaProDB2的滑动窗口长度为200ms，滑动步长为100ms；BioPatRec子集的滑动窗口长度为50ms和150ms，滑动步长为50ms；CapgMyo子集的滑动窗口长度为40ms和150ms，滑动步长为1ms；csl-hdemg的滑动窗口长度为150ms和170ms，滑动步长为0.5ms。
进一步地，所述步骤(3.2)中，对窗口内的肌电信号基于经典特征集Phinyomark进行特征向量提取，包含特征信号幅值绝对均值MAV、波形长度WL、自回归系数AR、绝对均值斜率MAVSLP、平均频率MNF、功率谱最大值附近能量与总能量比率PSR和Willison幅值WAMP；CapgMyo子集和csl-hdemg是高密度肌电信号，不进行特征提取，直接在原始信号上构建图像。
进一步地，所述步骤(5.1)中，循环神经网络部分，选择长短时记忆单元(LSTM)来解决梯度消失和梯度***问题。
进一步地，所述步骤(5.2)中，最优模型中卷积神经网络包含2层卷积层，后接2层局部连接层，最后连接3层全连接层，循环神经网络层由输出大小为512的长短时记忆单元(LSTM)构成，最后识别部分由一个G-way全连接层和softmax层构成。
进一步地，所述步骤(5.3)中，分类模型的训练过程为：新肌电图像训练数据集与该数据集每个样本对应手势标签共同作为模型的输入，经过训练得到模型参数进行存储。
进一步地，所述步骤(5.4)中，分类模型的输出为标签，即对应测试样本的标签，用识别准确率对识别结果进行衡量，识别准确率为识别正确的样本数除以所有测试样本数。
本发明的有益效果是：本发明提出一种基于卷积神经网络和循环神经网络的肌电信号手势识别方法，能够同时对肌电信号的空间和时间特征进行提取和建模，与已有发明中的单纯基于卷积神经网络的方法相比，该方法能够有效提升识别率。将注意力机制加入到基于卷积神经网络和循环神经网络的模型结构中，能够增强模型结构的表现。提取传统肌电信号构建新肌电图像作为模型的输入，能够有效提升肌电信号手势识别的准确率。
附图说明
图1为本发明方法流程图；
图2为本发明网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于深度学习和注意力机制的肌电信号手势识别方法，具体实施步骤如下：
步骤(1)从公开数据集NinaProDB1、NinaProDB2、BioPatRec子集、CapgMyo子集和csl-hdemg中获取手势动作肌电数据；对NinaProDB1采用低通butterworth滤波，对NinaProDB2采用低通butterworth滤波并降采样到100Hz，BioPatRec子集和CapgMyo子集不进行滤波，对csl-hdemg进行整流和低通butterworth滤波。
步骤(2)原始信号训练数据集和原始信号测试数据集的划分，根据获取到的肌电信号标签，将每个肌电信号文件中的数据分割为一个个肌电信号手势段，每个手势段包含一次动作重复；我们的测试使用被试内评估，不同数据集采用不同的划分方法：NinaProDB1将每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2将第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；BioPatRec子集将第一次重复作为训练数据，另外两次重复作为测试数据；CapgMyo子集将一半的重复作为训练数据，即5次重复，另外5次重复作为测试数据；csl-hdemg数据集将单个被试的数据划分为10份，并进行10折交叉验证。
步骤(3)对数据进行分割与特征提取，不同的数据集使用不同的滑动窗口长度及滑动步长。NinaProDB1的滑动窗口长度为150ms和200ms，滑动步长为10ms；NinaProDB2的滑动窗口长度为200ms，滑动步长为100ms；BioPatRec子集的滑动窗口长度为50ms和150ms，滑动步长为50ms；CapgMyo子集的滑动窗口长度为40ms和150ms，滑动步长为1ms；csl-hdemg的滑动窗口长度为150ms和170ms，滑动步长为0.5ms。对窗口内的肌电信号基于经典特征集Phinyomark进行特征向量提取，包含特征信号幅值绝对均值(MAV)、波形长度(WL)、自回归系数(AR)、绝对均值斜率(MAVSLP)、平均频率(MNF)、功率谱最大值附近能量与总能量比率(PSR)和Willison幅值(WAMP)。
步骤(5)设计深度学习和注意力机制的模型结构，模型结构由卷积神经网络、循环神经网络和基本注意力机制构成。卷积神经网络对输入的新肌电图像进行高层特征提取，循环神经网络对新肌电图像序列每帧之间的关系进行建模，基本注意力机制对循环神经网络的输出进行重要性加权，从而得到最终的表达用于肌电信号手势识别。对卷积神经网络和循环神经网络的网络参数逐一进行优化，最优的网络结构如下表所示：
| 层 | 名称 | 参数 |
| 1 | 卷积层1 | 64核，核大小(3*3) |
| 2 | 卷积层2 | 64核，核大小(3*3) |
| 3 | 局部连接层1 | 64核 |
| 4 | 局部连接层2 | 64核 |
| 5 | 全连接层1 | 512维输出 |
| 6 | 全连接层2 | 512维输出 |
| 7 | 全连接层3 | 128维输出 |
| 8 | 循环神经层 | 长短时记忆(LSTM)512维隐含状态输出 |
| 9 | 全连接层4和softmax层 |
循环神经网络部分，我们选择长短时记忆单元(LSTM)来解决梯度消失和梯度***问题。注意力机制增加在循环神经网络的后面，即循环神经网络的输出是注意力机制部分的输入，计算公式为：
Mt＝tanh(Whht)
αt＝softmax(wTMt)
其中，ht是循环神经网络的输出，Wh和wT是待训练的权重矩阵，T是一个手势段的时间长度，r是基本注意力机制部分的输出；softmax函数是归一化指数函数。训练过程为：原始信号训练数据集中每个样本进行新肌电图像的构建，得到新肌电图像训练数据集，将新肌电图像训练数据集与该数据集每个样本对应手势标签共同作为模型的输入，经过训练得到模型参数并进行存储。测试过程为：将测试数据集中每个样本进行新肌电图像的构建，得到新肌电图像测试数据集，加载由新肌电图像训练数据集训练好的模型，输入新肌电图像测试数据集，输出为手势类别标签，用识别准确率对识别结果进行衡量，识别准确率为识别正确的样本数除以所有样本数。
对NinaProDB1、NinaProDB2、BioPatRec子集、CapgMyo子集和csl-hdemg数据集的手势全集进行识别。NinaProDB1包含52手势，NinaProDB2包含50手势，BioPatRec子集包含26手势，CapgMyo子集包含8手势，csl-hdemg包含27手势。使用本发明基于深度学习和注意力机制的肌电信号手势识别方法的识别率结果为：
Claims (2)
1.一种基于深度学习和注意力机制的肌电信号手势识别方法，其特征在于，包括如下步骤：
(1)获取肌电数据，数据预处理，分别从公开数据集NinaProDB1、NinaProDB2、BioPatRec子集、CapgMyo子集和csl-hdemg中获取手势动作肌电数据；分别对不同数据集采用不同的预处理方法进行滤波降噪；
(2)原始信号训练数据集和原始信号测试数据集的划分：根据获取到的肌电信号标签，将每个肌电信号文件中的数据分割为若干个肌电信号手势段，每个手势段包含一次动作重复；按照不同的评估方法，将手势的多次动作重复分别划分到原始信号训练数据集和原始信号测试数据集中，完成原始训练和测试数据集的划分；不同数据集采用不同的划分方法：NinaProDB1将每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2将第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；BioPatRec子集将第一次重复作为训练数据，另外两次重复作为测试数据；CapgMyo子集将一半的重复作为训练数据，即5次重复，另外5次重复作为测试数据；csl-hdemg数据集将单个被试的数据划分为10份，并进行10折交叉验证；
(3)数据分割与特征提取，包括以下子步骤：
(3.1)用滑动窗口将每个手势段分割为多个固定长度的信号段；不同的数据集使用不同的滑动窗口长度及滑动步长；NinaProDB1的滑动窗口长度为150ms和200ms，滑动步长为10ms；NinaProDB2的滑动窗口长度为200ms，滑动步长为100ms；BioPatRec子集的滑动窗口长度为50ms和150ms，滑动步长为50ms；CapgMyo子集的滑动窗口长度为40ms和150ms，滑动步长为1ms；csl-hdemg的滑动窗口长度为150ms和170ms，滑动步长为0.5ms；
(3.2)对每个窗口内的定长信号段的每个通道进行特征提取，提取多种特征；对窗口内的肌电信号基于经典特征集Phinyomark进行特征向量提取，包含特征信号幅值绝对均值MAV、波形长度WL、自回归系数AR、绝对均值斜率MAVSLP、平均频率MNF、功率谱最大值附近能量与总能量比率PSR和Willison幅值WAMP；CapgMyo子集和csl-hdemg是高密度肌电信号，不进行特征提取，直接在原始信号上构建图像；
(4)构建新肌电图像，包括以下子步骤：
(4.1)将窗口内每个通道的特征向量重新排布，使得每两个通道都能够相邻；
(4.2)构建新肌电图像，新肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为特征向量维度；
(5)基于深度学习和注意力机制的肌电信号多类手势识别，包括以下步骤：
(5.1)设计深度学习和注意力机制的模型结构，模型结构由卷积神经网络、循环神经网络和基本注意力机制构成；卷积神经网络对输入的新肌电图像进行高层特征提取，循环神经网络对新肌电图像序列每帧之间的关系进行建模，基本注意力机制对循环神经网络的输出进行重要性加权；卷积神经网络部分包括两层卷积层、两层局部连接层和三层全连接层，其中卷积层为64核，核大小3*3，局部连接层为64核，三层全连接层分别为512维、512维和128维；循环神经网络为一层，记忆单元为长短时记忆LSTM，且隐含状态输出维度为512；注意力机制在t时刻注意力权重αt的计算公式为：
Mt＝tanh(Whht)
αt＝softmax(wTMt)
其中，ht是循环神经网络的输出，Wh和wT是待训练的权重矩阵，T是一个手势段的时间长度，r是基本注意力机制部分的输出；softmax函数是归一化指数函数；
(5.2)原始信号训练数据集中每个样本进行新肌电图像的构建，得到新肌电图像训练数据集作为整个网络的输入，对卷积神经网络和循环神经网络的网络参数逐一进行优化，得到最优模型参数；
(5.3)由步骤(5.2)训练得到的最优模型参数和新肌电图像训练数据集训练获得分类模型；
(5.4)将测试数据集中每个样本进行新肌电图像的构建，得到新肌电图像测试数据集，输入步骤(5.3)得到的分类模型，输出分类结果。
2.根据权利要求1所述的一种基于深度学习和注意力机制的肌电信号手势识别方法，其特征在于，所述步骤(1)中，对NinaProDB1采用低通butterworth滤波，对NinaProDB2采用低通butterworth滤波并降采样到100Hz，BioPatRec子集和CapgMyo子集不进行滤波，对csl-hdemg进行整流和低通butterworth滤波。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810224699.8A CN108388348B (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810224699.8A CN108388348B (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108388348A CN108388348A (zh) | 2018-08-10 |
| CN108388348B true CN108388348B (zh) | 2020-11-24 |
Family
ID=63066958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810224699.8A Expired - Fee Related CN108388348B (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108388348B (zh) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109124625B (zh) * | 2018-09-04 | 2021-07-20 | 大连理工大学 | 一种驾驶员疲劳状态水平分级方法 |
| CN109498362A (zh) * | 2018-09-10 | 2019-03-22 | 南京航空航天大学 | 一种偏瘫患者手部运动功能康复训练装置及模型训练方法 |
| CN109190578B (zh) * | 2018-09-13 | 2019-10-18 | 合肥工业大学 | 基于时域卷积网络与循环神经网络融合的手语视频翻译方法 |
| CN109257622A (zh) * | 2018-11-01 | 2019-01-22 | 广州市百果园信息技术有限公司 | 一种音视频处理方法、装置、设备及介质 |
| CN109567789B (zh) * | 2018-12-03 | 2021-08-31 | 东软集团股份有限公司 | 心电图数据的分割处理方法、装置及可读存储介质 |
| CN109886978B (zh) * | 2019-02-20 | 2020-03-13 | 贵州电网有限责任公司 | 一种基于深度学习的端到端告警信息识别方法 |
| CN110033126A (zh) * | 2019-03-14 | 2019-07-19 | 贵州大学 | 基于注意力机制与逻辑回归的长短期记忆网络预测方法 |
| CN109924977A (zh) * | 2019-03-21 | 2019-06-25 | 西安交通大学 | 一种基于cnn和lstm的表面肌电信号分类方法 |
| CN111973388B (zh) * | 2019-05-22 | 2021-08-31 | 中国科学院沈阳自动化研究所 | 一种基于sEMG的手部康复机器人控制方法 |
| CN110335261B (zh) * | 2019-06-28 | 2020-04-17 | 山东科技大学 | 一种基于时空循环注意力机制的ct***检测*** |
| CN110399846A (zh) * | 2019-07-03 | 2019-11-01 | 北京航空航天大学 | 一种基于多通道肌电信号相关性的手势识别方法 |
| CN110333783B (zh) * | 2019-07-10 | 2020-08-28 | 中国科学技术大学 | 一种用于鲁棒肌电控制的无关手势处理方法及*** |
| CN110262511B (zh) * | 2019-07-12 | 2022-08-09 | 同济人工智能研究院(苏州)有限公司 | 基于深度强化学习的双足机器人自适应性行走控制方法 |
| CN110658915A (zh) * | 2019-07-24 | 2020-01-07 | 浙江工业大学 | 一种基于双流网络的肌电信号手势识别方法 |
| CN110443309A (zh) * | 2019-08-07 | 2019-11-12 | 浙江大学 | 一种结合跨模态关联关系模型的肌电信号手势识别方法 |
| CN110618754B (zh) * | 2019-08-30 | 2021-09-14 | 电子科技大学 | 基于表面肌电信号的手势识别方法和手势识别臂带 |
| CN110537922B (zh) * | 2019-09-09 | 2020-09-04 | 北京航空航天大学 | 基于深度学习的人体行走过程下肢运动识别方法及*** |
| CN110598628B (zh) * | 2019-09-11 | 2022-08-02 | 南京邮电大学 | 一种基于集成深度学习的肌电信号手部运动识别方法 |
| CN110610172B (zh) * | 2019-09-25 | 2022-08-12 | 南京邮电大学 | 一种基于rnn-cnn架构的肌电手势识别方法 |
| CN110598676B (zh) * | 2019-09-25 | 2022-08-02 | 南京邮电大学 | 基于置信度得分模型的深度学习手势肌电信号识别方法 |
| CN111046731B (zh) * | 2019-11-11 | 2023-07-25 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
| CN110929243B (zh) * | 2019-11-22 | 2022-07-22 | 武汉大学 | 一种基于手机惯性传感器的行人身份识别方法 |
| CN111103976B (zh) * | 2019-12-05 | 2023-05-02 | 深圳职业技术学院 | 手势识别方法、装置及电子设备 |
| CN111144269B (zh) * | 2019-12-23 | 2023-11-24 | 威海北洋电气集团股份有限公司 | 一种基于深度学习的信号相关行为识别方法及*** |
| CN111053549A (zh) * | 2019-12-23 | 2020-04-24 | 威海北洋电气集团股份有限公司 | 一种智能生物信号异常检测方法及*** |
| CN111184512B (zh) * | 2019-12-30 | 2021-06-01 | 电子科技大学 | 一种脑卒中患者上肢及手部康复训练动作识别方法 |
| CN111616706B (zh) * | 2020-05-20 | 2022-07-22 | 山东中科先进技术有限公司 | 一种基于卷积神经网络的表面肌电信号分类方法及*** |
| CN111920405A (zh) * | 2020-09-15 | 2020-11-13 | 齐鲁工业大学 | 一种房颤信号识别***及方法 |
| CN112861604B (zh) * | 2020-12-25 | 2022-09-06 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
| CN112816122B (zh) * | 2020-12-31 | 2023-04-07 | 武汉地震工程研究院有限公司 | 基于深度学习和压电主动传感的螺栓松紧程度监测方法 |
| CN112783327B (zh) * | 2021-01-29 | 2022-08-30 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的方法及*** |
| CN112906673A (zh) * | 2021-04-09 | 2021-06-04 | 河北工业大学 | 一种基于注意力机制的下肢运动意图预测方法 |
| CN113143261B (zh) * | 2021-04-30 | 2023-05-09 | 中国科学院自动化研究所 | 基于肌电信号的身份识别***、方法及设备 |
| CN113312994A (zh) * | 2021-05-18 | 2021-08-27 | 中国科学院深圳先进技术研究院 | 一种手势分类识别方法及其应用 |
| CN113205074B (zh) * | 2021-05-29 | 2022-04-26 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
| CN113609923B (zh) * | 2021-07-13 | 2022-05-13 | 中国矿业大学 | 基于注意力的连续手语语句识别方法 |
| CN113729738B (zh) * | 2021-09-13 | 2024-04-12 | 武汉科技大学 | 一种多通道肌电特征图像的构建方法 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN113934302B (zh) * | 2021-10-21 | 2024-02-06 | 燕山大学 | 基于SeNet和门控时序卷积网络的肌电手势识别方法 |
| CN114343679A (zh) * | 2021-12-24 | 2022-04-15 | 杭州电子科技大学 | 基于迁移学习的表面肌电信号上肢动作识别方法及*** |
| CN114504333B (zh) * | 2022-01-30 | 2023-10-27 | 天津大学 | 一种基于肌电的穿戴式前庭监测***及应用 |
| CN114569143A (zh) * | 2022-03-03 | 2022-06-03 | 上海交通大学宁波人工智能研究院 | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
| CN114931389B (zh) * | 2022-04-27 | 2024-07-05 | 福州大学 | 基于残差网络及图卷积网络的肌电信号识别方法 |
| CN116738295B (zh) * | 2023-08-10 | 2024-04-16 | 齐鲁工业大学(山东省科学院) | sEMG信号分类方法、***、电子设备及存储介质 |
| CN117281528A (zh) * | 2023-11-27 | 2023-12-26 | 山东锋士信息技术有限公司 | 基于深度学习的多导联脉冲信号智能识别方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| CN106980367A (zh) * | 2017-02-27 | 2017-07-25 | 浙江工业大学 | 一种基于肌电地形图的手势识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9830709B2 (en) * | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
| US10296793B2 (en) * | 2016-04-06 | 2019-05-21 | Nec Corporation | Deep 3D attention long short-term memory for video-based action recognition |
-
2018
- 2018-03-19 CN CN201810224699.8A patent/CN108388348B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| CN106980367A (zh) * | 2017-02-27 | 2017-07-25 | 浙江工业大学 | 一种基于肌电地形图的手势识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| Deep Convolutional and LSTM Recurrent Neural Networks for Multimodal Wearable Activity Recognition;Ordonez FJ et al.;《Sensors》;20160118;全文 * |
| Deep LSTM with Attention for Message-level and Topic-based Sentiment Analysis;Baziotis C et al.;《SemEcal-2017》;20170804;参见749-750页以及附图3 * |
| Sequentially Supervised Long Short-Term Memory for Gesture Recognition;Wang P et al.;《Cognitive Computation》;20160310;全文 * |
| 深度强化学习综述;刘全 等;《计算机学报》;20170119;参见正文3-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108388348A (zh) | 2018-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388348B (zh) | 一种基于深度学习和注意力机制的肌电信号手势识别方法 | |
| CN108714026A (zh) | 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法 | |
| CN108304917A (zh) | 一种基于lstm网络的p300信号检测方法 | |
| CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN105956624B (zh) | 基于空时频优化特征稀疏表示的运动想象脑电分类方法 | |
| CN106778685A (zh) | 心电图图像识别方法、装置及服务终端 | |
| CN108647614A (zh) | 心电图心拍分类识别方法及*** | |
| CN108960182A (zh) | 一种基于深度学习的p300事件相关电位分类识别方法 | |
| CN111202517B (zh) | 一种睡眠自动分期方法、***、介质及电子设备 | |
| CN115050477B (zh) | 一种贝叶斯优化的RF与LightGBM疾病预测方法 | |
| CN113627401A (zh) | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 | |
| CN105989266A (zh) | 基于心电信号的认证方法、装置及*** | |
| CN110288028B (zh) | 心电检测方法、***、设备及计算机可读存储介质 | |
| CN110399846A (zh) | 一种基于多通道肌电信号相关性的手势识别方法 | |
| CN108567418A (zh) | 一种基于PCANet的脉搏信号亚健康检测方法及检测*** | |
| CN113807299B (zh) | 基于平行频域脑电信号的睡眠阶段分期方法及*** | |
| CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
| CN113069117A (zh) | 一种基于时间卷积神经网络的脑电情绪识别方法及*** | |
| Deepthi et al. | An intelligent Alzheimer’s disease prediction using convolutional neural network (CNN) | |
| CN115919330A (zh) | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| CN114159079B (zh) | 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法 | |
| CN111783669B (zh) | 一种面向个人用户的表面肌电信号分类识别方法 | |
| CN113011330B (zh) | 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法 | |
| CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201124 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |