CN114863572A - 一种多通道异构传感器的肌电手势识别方法 - Google Patents
一种多通道异构传感器的肌电手势识别方法 Download PDFInfo
- Publication number
- CN114863572A CN114863572A CN202210792782.1A CN202210792782A CN114863572A CN 114863572 A CN114863572 A CN 114863572A CN 202210792782 A CN202210792782 A CN 202210792782A CN 114863572 A CN114863572 A CN 114863572A
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- individual
- layer
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 230000000295 complement effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 101150052147 ALLC gene Proteins 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 241001125929 Trisopterus luscus Species 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 5
- 230000007774 longterm Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种多通道异构传感器的肌电手势识别方法,包括提出一种多模态个性共性特征融合网络,该网络首先通过多流个性网络充分提取多异构传感器的个性特征,个性网络使用多时间尺度卷积同时提取长时和短时时序信息;并利用共性网络不断融合新的个性特征与旧的共性特征,得到新的共性特征,学习多异构传感器的互补性信息。最后,加入个性网络交叉熵损失函数,加速梯度反向传播,引导网络更好地学习个性共性特征,进一步提高手势识别性能。本发明一种多通道异构传感器的肌电手势识别方法能够很好地利用多通道异构传感器数据,提高肌电手势识别准确率,增强识别***稳定性。
Description
技术领域
本发明属于深度学习与多通道异构传感器肌电手势识别相结合的领域,涉及一种多通道异构传感器的肌电手势识别方法。
背景技术
单一传感器信息的识别***,会因为多种因素的影响,如噪声、故障等问题导致***稳定性不足,在实际应用场景中的性能表现仍有待进一步提升。肌电手势识别实际应用场景中,不同姿态下的同一个手势动作会产生差异,手臂的大尺度连续运动也会对手势动作识别产生影响,sEMG(surface Electromyogram Signal表面肌电信号)传感器从人体神经活动角度描述整个手势动作过程,而惯性传感器可以直观地反映肢体3D运动信息,有助于弥补仅利用sEMG传感器对动作信息捕捉不够全面的缺陷。因此现有的一些表面肌电信号采集设备,除了基础的sEMG传感器,还常常配套有加速度计、陀螺仪、磁力计等惯性传感器,辅助于肌电手势识别,以提升识别性能,增强识别***的稳定性。
人工智能的发展日新月异,计算机性能也在逐步提高,其中深度学习神经网络方法近年来得到快速发展,但在现有文献中,一些融合惯性传感器的肌电手势识别网络,往往只是将不同模态数据映射到同一个特征子空间中来学习共同的特征,或者将提取到的IMU数据特征与sEMG数据特征进行拼接的简单融合,没有考虑到IMU不同传感器数据和sEMG数据的个性特征与共性特征的过度耦合问题。一方面,只学习共同特征意味着巨大的信息损失,降低了特征的差异性,另一方面,不同模态之间的信息有互补作用,需要学习到不同模态数据的共性特征。
发明内容
针对上述问题,本发明的目的在于提供一种多通道异构传感器的肌电手势识别方法,采用的多模态共性个性特征融合网络的特征提取部分整体分为个性网络与共性网络,提高手势识别模型的整体性能;加入个性网络交叉熵损失函数,使个性网络能够正确、有效地提取个性特征,确保多模态个性特征的融合效果,充分发挥网络框架的强大特征提取能力,进一步提高手势识别准确率。技术方案如下:
一种多通道异构传感器的肌电手势识别方法,包括以下步骤:
步骤1:获取肌电数据,对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本,并将其归一化处理;
步骤2:构建多模态个性共性特征融合网络,该网络包括多模态特征提取网络和分类网络,所述多模态特征提取网络包括个性网络和共性网络;通过个性网络学习到多异构传感器具有区分性的个性特征,再通过不同传感器个性网络之间的特征交互,使共性网络学习到多异构传感器具有互补性的共性特征,最终输出多模态融合特征;所述分类网络根据所述多模态融合特征输出手势分类结果;
步骤3:使用训练样本集对多模态个性共性特征融合网络进行有监督的训练,得到最优的网络模型,损失函数为个性网络交叉熵损失函数和多模态特征交叉熵损失函数的组合。
所述步骤2中多模态特征提取网络包括;
个性网络:个性网络的输入为单个异构传感器输入样本F m ,每一个传感器数据都
有独有的特征提取网络;个性网络包括四层个性卷积模块,四层个性卷积模块的输出特征
依次为,每层特征除了作为下一层个性卷积模块的输入特征外,还将作为同
网络层的共性网络中多模态卷积融合模块的输入;则作为个性网络最终输出的个性特
征,C pout 为个性特征PF m 的特征通道数;
共性网络:共性网络的输入为多个异构传感器数据串联而成,表示为F∈R W×C ,C为
多个异构传感器采集通道数之和;共性网络包括四层多模态卷积融合模块,与所述个性网
络的四层个性卷积模块一一对应;四层多模态卷积融合模块对应的四层特征依次为CF1、
CF2、CF3、CF4;多模态卷积融合模块有多个输入,分别为上一层网络的共性特征和本网络层中个性网络的个性特征,i为第i层网络,其中个性特
征PF i 为M个传感器第i层个性特征在特征通道维度上的串联,C f 为个性特征PF i 的特征通道
数,C in 为共性特征CF i-1的特征通道数;共性网络的最终输出为第四个多模态卷积融合模块
的输出特征CF4,也是多模态个性共性特征融合网络最终输出的多模态融合特征即,其中,C out 为多模态融合特征MF的特征通道数;
所述步骤2中分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层;
第二层全连接层降低多模态数据融合特征MF GAP 的维度,增加网络的非线性表达能力;
第三层Dropout层训练过程中随机丢弃神经元,防止网络过拟合;
最后一层Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
更进一步的,所述个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层,依次起到特征提取、特征注意力重映射和激活输出的功能,个性卷积模块只有一个输入和输出。
更进一步的,所述多时间尺度卷积模块输入特征通道数为C inf ,输出特征通道数为C outf ;多时间尺度卷积模块包括5条支路,为4条卷积支路和1条short-cut支路;多时间尺度卷积模块的第一个组成部分为瓶颈层,所有支路先经过瓶颈层,降低特征维度;在瓶颈层中,使用C inf /r个卷积核大小为1的一维滤波器,将通道大小为C inf 的输入序列转化为通道大小为C inf /r的时间序列,减少后面卷积层的参数;其中,r为压缩率;
在经过瓶颈层后,支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成,其中第二层为膨胀率d分别为1、3、5的膨胀卷积;前4路的输出特征大小都为C inf /r,此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合;聚合后的特征大小为C inf /r×4,然后通过1x1一维卷积将特征通道维度升到C outf ,得到所有卷积支路的输出特征;同时,short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ,再与卷积支路的输出特征逐元素求和,输出多时间尺度卷积模块的最终特征。
更进一步的,所述共性网络中多模态卷积融合模块中的处理步骤如下:
步骤2a:对新的个性特征组合PF i 进行通道混洗,打乱原本特征通道的顺序,加强不同传感器个性特征的信息流通;
步骤2b:上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中,卷积核个数都为最终模块输出的一半C out/2;
更进一步的,步骤3中关于个性特征PF m 的个性网络交叉熵损失函数为:
式中:M表示异构传感器种类的总数量。
与现有技术相比,本发明的有益效果是:本发明提出一种多通道异构传感器的肌电手势识别方法,该方法能够充分利用多通道异构传感器的区分性信息和互补性信息,分别提取个性特征和共性特征,得到最优的多模态特征,从而更好地利用多通道异构传感器信息,得出最优的手势识别结果,进而有效提高肌电手势识别准确率,增强肌电手势识别***的稳定性。
附图说明
图1为多模态个性共性特征融合网络整体结构图。
图2为多时间尺度卷积模块结构图。
图3为多模态卷积融合模块结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明是通过以下技术方案来实现的:一种多通道异构传感器的肌电手势识别方法,该方法包括如下步骤:
步骤1:获取肌电数据,对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本,并将其归一化处理。
1)肌电数据采用Ninapro-DB7的数据,采样率为2000Hz,12个传感器。
2)使用滑动窗口生成单个样本数据,本实施例决策窗口设置为200ms,每次滑动50ms。此时sEMG数据输入大小为400×12,Acc数据输入大小为400×36,Gyro数据输入大小为400×36,Mag数据输入大小为400×36。
3)多通道sEMG数据统一归一化,其他传感器由于各个采集通道位置不同导致数据尺度变换不同,对每个采集通道的加速度计、陀螺仪、磁力计三轴数据依次归一化。
步骤2:构建多模态个性共性特征融合网络,该网络包括多模态特征提取网络和分类网络,所述多模态特征提取网络包括个性网络和共性网络;通过个性网络学习到多异构传感器具有区分性的个性特征,再通过不同传感器个性网络之间的特征交互,使共性网络学习到多异构传感器具有互补性的共性特征,最终输出多模态融合特征;所述分类网络根据所述多模态融合特征输出手势分类结果。
1)个性网络:个性网络的输入为单个异构传感器输入样本F m ,每一个传感器数据
都有独有的特征提取网络;个性网络包括四层个性卷积模块(Personality Convolutional
Module,P-Conv),四层个性卷积模块的输出特征依次为,每层特征除了作为
下一层个性卷积模块的输入特征外,还将作为同网络层的共性网络中多模态卷积融合模块
(Multimodal Convolutional Fusion Module,MCFM)的输入;则作为个性网络最终输出
的个性特征,C pout 为个性特征PF m 的特征通道数。
个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层,依次起到特征提取、特征注意力重映射和激活输出的功能,个性卷积模块只有一个输入和输出。
如图2所示,多时间尺度卷积模块输入特征通道数为C inf ,输出特征通道数为C outf ;多时间尺度卷积模块包括5条支路,为4条卷积支路和1条short-cut支路;多时间尺度卷积模块的第一个组成部分为瓶颈层,所有支路先经过瓶颈层,降低特征维度;在瓶颈层中,使用C inf /r个卷积核大小为1的一维滤波器,将通道大小为C inf 的输入序列转化为通道大小为C inf /r的时间序列,减少后面卷积层的参数;其中,r为压缩率。
在经过瓶颈层后,支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成,其中第二层为膨胀率d分别为1、3、5的膨胀卷积;前4路的输出特征大小都为C inf /r,此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合;聚合后的特征大小为C inf /r×4,然后通过1x1一维卷积将特征通道维度升到C outf ,得到所有卷积支路的输出特征;同时,short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ,再与卷积支路的输出特征逐元素求和,输出多时间尺度卷积模块的最终特征。
2)共性网络:共性网络的输入为多个异构传感器数据串联而成,表示为F∈R W×C ,C
为多个异构传感器采集通道数之和;共性网络包括四层多模态卷积融合模块,与所述个性
网络的四层个性卷积模块一一对应;四层多模态卷积融合模块对应的四层特征依次为CF1、
CF2、CF3、CF4;如图3所示,多模态卷积融合模块有多个输入,分别为上一层网络的共性特征和本网络层中个性网络的个性特征,i为第i层网络,其中,个性特
征PF i 为M个传感器第i层个性特征在特征通道维度上的串联,C f 为个性特征PF i 的特征通道
数,C in 为共性特征CF i-1的特征通道数;共性网络的最终输出为第四个多模态卷积融合模块
的输出特征CF4,也是多模态个性共性特征融合网络最终输出的多模态融合特征
即,其中,C out 为多模态融合特征MF的特征通道数。
共性网络中多模态卷积融合模块中的处理步骤如下:
(a)对新的个性特征组合PF i 进行通道混洗,打乱原本特征通道的顺序,加强不同传感器个性特征的信息流通。
(b)上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中,卷积核个数都为最终模块输出的一半C out/2。
3)分类网络:分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层;
第一层全局均值池化层将特征图所有像素值相加求平均,得到一个数值,即用该数值表示
对应特征图,多模态融合特征MF通过全局均值池化层后得到多模态数据融合特征;第二层全连接层降低多模态数据融合特征MF GAP 的维度,增加网络的非线性
表达能力;第三层Dropout层训练过程中随机丢弃神经元,防止网络过拟合;最后一层
Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
分类网络的全连接层输出大小为128,Dropout层随机丢弃率为0.5。
如图1所示,多模态个性共性特征融合网络整体依次可分为两个阶段:多模态特征
提取阶段和分类阶段。其中,F m 表示单个异构传感器输入样本,为第i层网络第m个的个性
网络输出特征,PF m 为第m个个性网络最终输出特征,MF为多模态融合特征,表示共性网
络分类损失函数,表示第m个个性网络分类损失函数。
多模态特征提取阶段:个性网络的输入为取完窗口的原始传感器数据,即sEMG数据、Acc数据、Gyro数据、Mag数据,最终输出个性特征大小为400×128,中间网络层特征通道数依次为64和128。共性网络的输入为多个异构传感器数据串联而成,多模态卷积融合模块的输入由每层的个性特征和上一层的共性特征构成,个性特征组合和上一层共性特征卷积后的特征通道大小为模块输出特征的一半,这两个特征在特征通道维度串联后再次被送入卷积,得到共性特征的更新,再与上一层共性特征进行加权求和。4层多模块卷积融合模块的输出大小依次为64、128、128、128。
分类阶段:将大小为400×512的多模态特征送入全局均值池化层,得到大小为512的一维向量,通过具有Dropout的全连接层,将大小降到128,随机丢弃率为0.5,最后采用Softmax激活的全连接层输出最终手势识别结果。
步骤3:使用训练样本集对多模态个性共性特征融合网络进行有监督的训练,得到最优的网络模型,损失函数为个性网络交叉熵损失函数和多模态特征交叉熵损失函数的组合。
使用训练数据对构建的神经网络进行有监督的训练,网络最终的损失函数由个性网络交叉熵损失函数和多模态特征交叉熵损失函数构成,并采用随机梯度下降方法对模型进行训练,训练次数为40个周期,初始学习率为0.01,每10个训练周期学习率减半。L2正则化参数设置为0.0005。隐藏层激活函数全部采用ELU激活函数。在有监督的模型训练中,将每种手势的六次采集数据分为训练集和测试集。训练集为六次实验中的第1、3、4和第6次实验,测试集为剩余的第2和第5次实验。
关于个性特征PF m 的个性网络交叉熵损失函数为:
式中:M表示异构传感器种类的总数量。
由于肌电信号数据比较稀疏,数据量较少,容易产生过拟合,同时考虑到在运动重复过程中,EMG的幅度和持续时间不能被完全复制,因此对训练样本使用时间扭曲和幅度扭曲的方法进行两倍的扩充。保存训练的最优模型,输入测试数据集,统计所有人的平均手势识别准确率。
通过消融实验测试本发明方法的有效性,使用Ninapro-DB7公开数据集的实验结果如表1所示。
表1 实验结果
综上,本发明的方法能够充分利用多通道异构传感器的区分性信息和互补性信息,分别提取个性特征和共性特征,得到最优的多模态特征,从而有效提高肌电手势识别准确率,增强肌电手势识别***的稳定性。
Claims (6)
1.一种多通道异构传感器的肌电手势识别方法,其特征在于,包括以下步骤:
步骤1:获取肌电数据,对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本,并将其归一化处理;
步骤2:构建多模态个性共性特征融合网络,该网络包括多模态特征提取网络和分类网络,所述多模态特征提取网络包括个性网络和共性网络;通过个性网络学习到多异构传感器具有区分性的个性特征,再通过不同传感器个性网络之间的特征交互,使共性网络学习到多异构传感器具有互补性的共性特征,最终输出多模态融合特征;所述分类网络根据所述多模态融合特征输出手势分类结果;
步骤3:使用训练样本集对多模态个性共性特征融合网络进行有监督的训练,得到最优的网络模型。
2.根据权利要求1所述的一种多通道异构传感器的肌电手势识别方法,其特征在于,步
骤1中单个异构传感器输入样本为,m表示第m个传感器,W为时间窗口的长度,C m
为第m个传感器采集通道数,表示W×C m 的特征空间;
所述步骤2中的多模态特征提取网络包括;
个性网络:个性网络的输入为单个异构传感器输入样本F m ,每一个传感器数据都有独有
的特征提取网络;个性网络包括四层个性卷积模块,四层个性卷积模块的输出特征依次为,每层特征除了作为下一层个性卷积模块的输入特征外,还将作为同网络层
的共性网络中多模态卷积融合模块的输入;则作为个性网络最终输出的个性特征,C pout 为个性特征PF m 的特征通道数;
共性网络:共性网络的输入为多个异构传感器数据串联而成,表示为F∈R W×C ,C为多个
异构传感器采集通道数之和;共性网络包括四层多模态卷积融合模块,与所述个性网络的
四层个性卷积模块一一对应;四层多模态卷积融合模块对应的四层特征依次为CF1、CF2、
CF3、CF4;多模态卷积融合模块有多个输入,分别为上一层网络的共性特征和
本网络层中个性网络的个性特征,i为第i层网络,其中,个性特征PF i 为M个传感
器第i层个性特征在特征通道维度上的串联,C f 为个性特征PF i 的特征通道数,C in 为共性特
征CF i-1的特征通道数;共性网络的最终输出为第四个多模态卷积融合模块的输出特征CF4,
也是多模态个性共性特征融合网络最终输出的多模态融合特征即,其中,C out 为多模态融合特征MF的特征通道数;
所述步骤2中的分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层;
第二层全连接层降低多模态数据融合特征MF GAP 的维度,增加网络的非线性表达能力;
第三层Dropout层训练过程中随机丢弃神经元,防止网络过拟合;
最后一层Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
3.根据权利要求2所述的一种多通道异构传感器的肌电手势识别方法,其特征在于,所述个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层,依次起到特征提取、特征注意力重映射和激活输出的功能,个性卷积模块只有一个输入和输出。
4.根据权利要求3所述的一种多通道异构传感器的肌电手势识别方法,其特征在于,所述多时间尺度卷积模块输入特征通道数为C inf ,输出特征通道数为C outf ;多时间尺度卷积模块包括5条支路,为4条卷积支路和1条short-cut支路;多时间尺度卷积模块的第一个组成部分为瓶颈层,所有支路先经过瓶颈层,降低特征维度;在瓶颈层中,使用C inf /r个卷积核大小为1的一维滤波器,将通道大小为C inf 的输入序列转化为通道大小为C inf /r的时间序列,减少后面卷积层的参数;其中,r为压缩率;
在经过瓶颈层后,支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成,其中第二层为膨胀率d分别为1、3、5的膨胀卷积;前4路的输出特征大小都为C inf /r,此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合;聚合后的特征大小为C inf /r×4,然后通过1x1一维卷积将特征通道维度升到C outf ,得到所有卷积支路的输出特征;同时,short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ,再与卷积支路的输出特征逐元素求和,输出多时间尺度卷积模块的最终特征。
5.根据权利要求2所述的一种多通道异构传感器的肌电手势识别方法,其特征在于,所述共性网络中多模态卷积融合模块中的处理步骤如下:
步骤2a:对新的个性特征组合PF i 进行通道混洗,打乱原本特征通道的顺序,加强不同传感器个性特征的信息流通;
步骤2b:上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中,卷积核个数都为最终模块输出的一半C out/2;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210792782.1A CN114863572B (zh) | 2022-07-07 | 2022-07-07 | 一种多通道异构传感器的肌电手势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210792782.1A CN114863572B (zh) | 2022-07-07 | 2022-07-07 | 一种多通道异构传感器的肌电手势识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114863572A true CN114863572A (zh) | 2022-08-05 |
CN114863572B CN114863572B (zh) | 2022-09-23 |
Family
ID=82626326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210792782.1A Active CN114863572B (zh) | 2022-07-07 | 2022-07-07 | 一种多通道异构传感器的肌电手势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114863572B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218453A (zh) * | 2023-11-06 | 2023-12-12 | 中国科学院大学 | 一种不完备多模态医学影像学习方法 |
WO2024103371A1 (zh) * | 2022-11-18 | 2024-05-23 | 中国科学院深圳先进技术研究院 | 手部关节角度估计方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446461A (zh) * | 2014-06-24 | 2016-03-30 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
CN109271901A (zh) * | 2018-08-31 | 2019-01-25 | 武汉大学 | 一种基于多源信息融合的手语识别方法 |
CN110619288A (zh) * | 2019-08-30 | 2019-12-27 | 武汉科技大学 | 一种手势识别方法、控制装置及可读存储介质 |
US20200143169A1 (en) * | 2018-11-01 | 2020-05-07 | Microsoft Technology Licensing, Llc | Video recognition using multiple modalities |
CN111340103A (zh) * | 2020-02-24 | 2020-06-26 | 安徽大学 | 一种基于图嵌入典型相关分析的特征层融合方法及其装置 |
CN111476161A (zh) * | 2020-04-07 | 2020-07-31 | 金陵科技学院 | 一种融合图像和生理信号双通道的体感动态手势识别方法 |
CN112603758A (zh) * | 2020-12-21 | 2021-04-06 | 上海交通大学宁波人工智能研究院 | 一种基于sEMG与IMU信息融合的手势识别方法 |
CN113205074A (zh) * | 2021-05-29 | 2021-08-03 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
CN113255602A (zh) * | 2021-06-29 | 2021-08-13 | 江南大学 | 基于多模态数据的动态手势识别方法 |
CN113466852A (zh) * | 2021-06-08 | 2021-10-01 | 江苏科技大学 | 应用于随机干扰场景下的毫米波雷达动态手势识别方法 |
CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
CN113887675A (zh) * | 2021-12-06 | 2022-01-04 | 四川大学 | 一种异构传感器特征融合的手势识别方法 |
CN114265498A (zh) * | 2021-12-16 | 2022-04-01 | 中国电子科技集团公司第二十八研究所 | 一种多模态手势识别和视觉反馈机制结合的方法 |
CN114548237A (zh) * | 2022-01-28 | 2022-05-27 | 广州杰赛科技股份有限公司 | 一种人机交互的多模态数据融合方法、装置及设备 |
-
2022
- 2022-07-07 CN CN202210792782.1A patent/CN114863572B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446461A (zh) * | 2014-06-24 | 2016-03-30 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
CN109271901A (zh) * | 2018-08-31 | 2019-01-25 | 武汉大学 | 一种基于多源信息融合的手语识别方法 |
US20200143169A1 (en) * | 2018-11-01 | 2020-05-07 | Microsoft Technology Licensing, Llc | Video recognition using multiple modalities |
CN110619288A (zh) * | 2019-08-30 | 2019-12-27 | 武汉科技大学 | 一种手势识别方法、控制装置及可读存储介质 |
CN111340103A (zh) * | 2020-02-24 | 2020-06-26 | 安徽大学 | 一种基于图嵌入典型相关分析的特征层融合方法及其装置 |
CN111476161A (zh) * | 2020-04-07 | 2020-07-31 | 金陵科技学院 | 一种融合图像和生理信号双通道的体感动态手势识别方法 |
CN112603758A (zh) * | 2020-12-21 | 2021-04-06 | 上海交通大学宁波人工智能研究院 | 一种基于sEMG与IMU信息融合的手势识别方法 |
CN113205074A (zh) * | 2021-05-29 | 2021-08-03 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
CN113466852A (zh) * | 2021-06-08 | 2021-10-01 | 江苏科技大学 | 应用于随机干扰场景下的毫米波雷达动态手势识别方法 |
CN113255602A (zh) * | 2021-06-29 | 2021-08-13 | 江南大学 | 基于多模态数据的动态手势识别方法 |
CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
CN113887675A (zh) * | 2021-12-06 | 2022-01-04 | 四川大学 | 一种异构传感器特征融合的手势识别方法 |
CN114265498A (zh) * | 2021-12-16 | 2022-04-01 | 中国电子科技集团公司第二十八研究所 | 一种多模态手势识别和视觉反馈机制结合的方法 |
CN114548237A (zh) * | 2022-01-28 | 2022-05-27 | 广州杰赛科技股份有限公司 | 一种人机交互的多模态数据融合方法、装置及设备 |
Non-Patent Citations (5)
Title |
---|
ANANDA SANKAR KUNDU等: "Hand Gesture Recognition Based Omnidirectional Wheelchair Control Using IMU and EMG Sensors", 《J INTELL ROBOT SYST》 * |
HAOJIE DUAN等: "Gesture recognition based on multi-modal feature weight", 《CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE》 * |
刘肖: "基于多传感器融合的手势识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
李沿宏等: "融合注意力机制的多流卷积肌电手势识别网络", 《计算机应用研究》 * |
程文韬: "基于RGB-D图像多模态融合的手势识别研究_程文韬", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024103371A1 (zh) * | 2022-11-18 | 2024-05-23 | 中国科学院深圳先进技术研究院 | 手部关节角度估计方法 |
CN117218453A (zh) * | 2023-11-06 | 2023-12-12 | 中国科学院大学 | 一种不完备多模态医学影像学习方法 |
CN117218453B (zh) * | 2023-11-06 | 2024-01-16 | 中国科学院大学 | 一种不完备多模态医学影像学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114863572B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rahman et al. | A new benchmark on american sign language recognition using convolutional neural network | |
CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及*** | |
CN109472194B (zh) | 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 | |
CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
CN114863572B (zh) | 一种多通道异构传感器的肌电手势识别方法 | |
Robert et al. | Hybridnet: Classification and reconstruction cooperation for semi-supervised learning | |
CN106803098A (zh) | 一种基于语音、表情与姿态的三模态情感识别方法 | |
CN111950455A (zh) | 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 | |
CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
Yamashita et al. | Hand posture recognition based on bottom-up structured deep convolutional neural network with curriculum learning | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
CN110674774A (zh) | 一种改进的深度学习人脸面部表情识别方法及*** | |
CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
Das et al. | Determining attention mechanism for visual sentiment analysis of an image using svm classifier in deep learning based architecture | |
Elkhayati et al. | UnCNN: A new directed CNN model for isolated Arabic handwritten characters recognition | |
Ahammad et al. | Recognizing Bengali sign language gestures for digits in real time using convolutional neural network | |
Cheng et al. | Student action recognition based on deep convolutional generative adversarial network | |
Zhao et al. | Cbph-net: A small object detector for behavior recognition in classroom scenarios | |
CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
Youme et al. | Generalization of Bangla sign language recognition using angular loss functions | |
CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 | |
Gong et al. | Human interaction recognition based on deep learning and HMM | |
ALISAWI et al. | Real-Time Emotion Recognition Using Deep Learning Methods: Systematic Review | |
Li | Parallel two-class 3D-CNN classifiers for video classification | |
Hassan et al. | Enhanced dynamic sign language recognition using slowfast networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |