CN111046731B - 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 - Google Patents
基于表面肌电信号进行手势识别的迁移学习方法和识别方法 Download PDFInfo
- Publication number
- CN111046731B CN111046731B CN201911094608.4A CN201911094608A CN111046731B CN 111046731 B CN111046731 B CN 111046731B CN 201911094608 A CN201911094608 A CN 201911094608A CN 111046731 B CN111046731 B CN 111046731B
- Authority
- CN
- China
- Prior art keywords
- surface electromyographic
- new user
- data
- different gestures
- signal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013526 transfer learning Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000013145 classification model Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 description 8
- 230000005012 migration Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003183 myoelectrical effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- ZAKOWWREFLAJOT-CEFNRUSXSA-N D-alpha-tocopherylacetate Chemical compound CC(=O)OC1=C(C)C(C)=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1C ZAKOWWREFLAJOT-CEFNRUSXSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于表面肌电信号进行手势识别的迁移学习方法,该方法以下步骤:采集新用户不同手势的表面肌电信号;将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的新用户的不同手势的表面肌电信号数据作为目标域数据,对新用户的不同手势的表面肌电信号数据进行分类并将其划分为候选集和残余项;将所述候选集作为源域数据,所述残余项作为目标域数据,对残余项中新用户的不同手势的表面肌电信号数据进行再次分类。
Description
技术领域
本发明涉及人机交互领域,尤其涉及一种基于表面肌电信号进行手势识别的迁移学习方法和识别方法。
背景技术
肌电信号伴随着肌肉收缩产生,是由大脑通过神经肌肉***来控制身体部位发生运动时在肌肉处产生的电信号。表面肌电信号(sEMG)则是浅层肌肉肌电信号与神经干上电活动在皮肤表面形成的综合效应。由于蕴含着与人体运动相关的丰富信息,且具有不对人体造成伤害、无痛、操作简便等优势,表面肌电信号感知技术被广泛的应用于医疗健康、生活娱乐、机器控制、轮椅智控、行人定位等多个领域,其中手势识别是表面肌电信号的代表性应用领域。
与基于计算机视觉、惯性传感单元、超声波、电磁波等其它传统的手势识别方法相比,表面肌电信号感知技术不仅能直接感知、解析肌肉活动,区分手指、手掌和手腕形态的细微变化,实现自然的人机交互,而且具有对环境光线和噪声鲁棒的优势。目前,sEMG信号采集与分析技术已经比较成熟,国内外市场上均有较为先进的各类sEMG肌电手势识别产品,如Myo、Econ、shimmer等。
然而,由于受到用户皮下脂肪量、皮肤阻抗、肌肉力量、肌肉结构和张力等生理因素和气温、湿度等环境因素的影响,表面肌电信号具有天然的用户依赖性。即便用户将表面肌电信号感知设备佩戴于皮肤表面同一位置并其执行同一手势,信号分别的差异性仍然非常明显,严重影响了不同用户间的手势识别的精准度。图1展示了不同用户执行相同若干手势时sEMG信号分布对比图。如图1(a)-(f)所示,即使执行同一手势,肌电信号的分布也因用户的不同而存在明显差异。
为了实现利用已有用户的数据信息准确识别新用户的手势,现有的做法是为不同的用户分别训练手势分类器,即事先为每一个用户采集大量的表面肌电信号并人工标注其对应的手势类别以建立分类模型,再基于该训练好的分类模型进行用户手势识别。该方法需要耗费巨大的时间和人力成本,效率低下且可操作性差。
发明内容
本发明的目的在于克服上述现有技术的缺陷,提供一种基于表面肌电信号进行手势识别的迁移学习方法和识别方法。
本发明的一方面涉及一种基于表面肌电信号进行手势识别的迁移学习方法。该方法包括:采集新用户不同手势的表面肌电信号;将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的新用户的不同手势的表面肌电信号数据作为目标域数据,对所述新用户的不同手势的表面肌电信号数据进行分类,将其划分为候选集和残余项;将所述候选集作为源域数据,所述残余项作为目标域数据,对所述残余项进行再次分类。
可选的,所述方法包括:采用K最邻近算法对所述新用户的不同手势的表面肌电信号数据进行分类;根据所述新用户的不同手势的表面肌电信号数据的类型确定其对应的伪标签及置信度;依据所述伪标签和置信度将所述新用户的不同手势的表面肌电信号数据的划分为所述候选集和所述残余项。
可选的,所述方法还包括优化所述候选集。
可选的,其中,所述优化所述候选集包括:计算所述候选集中各类型新用户的不同手势的表面肌电信号数据的置信度并进行排序;对所述置信度排序靠前的新用户的不同手势的表面肌电信号数据集合枚举其所有子集;分别计算所述所有子集的分散度;依据所述置信度和所述分散度筛选出所述候选集的优化子集。
可选的,其中,所述分散度通过计算所述子集的方差获得,包括:通过主成分分析方法将所述子集中新用户的不同手势的表面肌电信号数据特征映射至一维空间;根据所述一维空间的映射结果计算所述子集的方差。
可选的,其中,采用K最邻近算法对所述残余项数据进行再次分类。
可选的,其中,所述K最邻近算法采用皮尔逊相关系数计算距离。
本发明的另一方面涉及一种基于上述任一迁移学习方法建立不同手势的表面肌电信号数据的分类模型进行手势识别方法,包括:采集新用户手势的表面肌电信号;利用所述分类模型识别所述新用户手势。
本发明的另一个方面涉及一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述方法。
本发明的另一个方面涉及一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述方法。
与现有技术相比,本发明的优点在于:通过利用不同用户同一手势表面肌电信号的之间的弱相似性以及同一用户同一手势表面肌电信号之间的强相似性建立分类模型进行手势识别,克服了表面肌电信号用户依赖性强的问题,有效避免不同用户之间肌电信号的漂移,显著提高了基于表面肌电信号进行手势识别的效率和准确度。
附图说明
以下附图仅对本发明作示意性的说明和解释,并不用于限定本发明的范围,其中:
图1示出了不同用户执行若干相同手势的sEMG信号分布对比图;
图2示出了本发明一个实施例的迁移学习方法的示意图;
图3示出了本发明一个实施例的迁移学习方法;
图4示出了本发明一个实施例中采集新用户不同手势的表面肌电信号的示意图;
图5示出了本发明一个实施例中sEMG信号滤波前后的对比图;
图6示出了本发明一个实施例的采用KNN算法将新用户的不同手势的表面肌电信号数据划分候选集和残余项的流程图;
图7示出了本发明一个实施例的包括优化候选集的迁移学习方法的示意图;
图8示出了本发明一个实施例的包括优化候选集的迁移学习方法;
图9示出了现有技术和本发明中手势识别结果的对比表。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
迁移学习作为机器学习的驱动力,是将解决一个问题时获得的知识应用到解决另一个不同但相关的问题当中,进而在执行新的任务中时效更高、效果更好。在迁移学习中有两个基本概念:领域(域)和任务。其中,已有标签的数据称为源域;待标定的数据称为目标域,是学习的主体;任务是指解决问题需要建立的模型。对源域的知识进行迁移学习,就是利用源域中已有的模型训练一个理想的目标域模型。
图1示出了不同用户执行若干相同手势的sEMG信号分布对比图,该图中展示的信号是sEMG通过主成分分析(Principal Component Analysis,PCA)变换后的二维映射。如图1(a)-(f)所示,表面肌电信号具有较大的用户依赖性,即使执行同一手势,肌电信号的分布也因用户的不同而存在明显差异。但同时,信号分布又具有一定的规律性,即不同用户同一手势的信号分布位置大体相似(在本申请中称之为弱相似性);同一用户的同一手势信号往往集中于一簇,是高度相关的(在本申请中称之为强相似性)。
本发明利用上述不同用户同一手势之间表面肌电信号的弱相似性,以及同一用户同一手势之间肌电信号的强相似性,进行两次迁移学习建立分类模型,实现对用户的手势快速、精准的识别。
具体地,图2示出了本发明一个实施例的迁移学习方法的示意图。如图2所示,首先将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的新用户的不同手势的表面肌电信号数据作为目标域数据,利用不同用户同一手势之间的弱相似性,对新用户的不同手势的表面肌电信号数据进行分类,将其划分为候选集和残余项,该过程在本申请中称之为跨用户迁移学习;接着将上述候选集作为源域数据,上述残余项为目标域数据,利用同一用户同一手势之间的强相似性,对残余项进行再次分类,该过程在本申请中称之为用户内迁移学习。经过上述用户间及用户内两次迁移学习,最终完成对全部新用户数据的分类。
图3示出了本发明一个实施例中基于表面肌电信号进行手势识别的迁移学习方法,该方法包括以下步骤:
步骤S310,采集新用户的不同手势的表面肌电信号。
可以使用可穿戴设备采集用户的表面肌电信号。如图4所示,用户可以将肌电感知设备(例如肌电臂环)佩戴于臂部(例如前臂上端),依次执行若干不同手势(例如可以包括拇指弯曲、手腕内敛、手腕外展、手掌展开和指等)。数据采集过程可以在Dell Precision7510(Intel Core i7-6820HQ/16GB DDR3)设备上进行,数据采集程序开发环境可以为Visual Studio 2017集成开发平台及OpenCV 2.4.11,sEMG数据可以通过Myo肌电臂环采集,该设备表面配置有8个均匀分布的肌电感知芯片,数据采样频率为200Hz。
可以对采集到的表面肌电信号进行包括降噪、片段分割、特征提取等预处理操作。在一个实施例中,可以先通过四阶巴特沃斯带通滤波(30-70Hz)消除衰减的数据直流漂移、运动造成的数据伪迹以及其他低频和高频噪声,再通过四阶巴特沃斯低通滤波(60Hz)获取sEMG信号包络。如图5所示,sEMG信号在滤波前后呈现明显不同。在一个实施例中,还可以使用滑动窗口的方式对降噪后的sEMG信号进行分割。例如,可以将每一个sEMG信号窗口的长度设置为1秒,窗口步长设置为0.5秒,可得到一系列大小为200×8Hz的sEMG片段。在一个实施例中,还可以对分割后的新用户sEMG数据提取出与已有用户sEMG数据特征一致的数据特征。sEMG信号的特征例如可以包括时域特征、频域特征及时频特征。提取特征的方法例如可以包括:绝对值平均、修正绝对值平均1、修正绝对值平均2、平均绝对值偏差、均方根值、方差、波形长度、频率中位数、频率平均数、修正频率中值等。其中,绝对值平均、修正绝对值平均1、修正绝对值平均2、平均绝对值偏差、均方根值、方差、波形长度等方法中任一方法可以用于提取sEMG信号的时域特征;频率中位数、频率平均数、修正频率中值等方法中任一方法可以用于提取sEMG信号的频域特征。具体特征提取的计算可以采用如下方法:
其中,xi表示原始sEMG信号,N表示sEMG信号长度,PSDi表示能量谱平均密度,M表示PSDi的长度,Ai和fi分别表示幅度谱和幅度频率。
步骤S320,将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的新用户的不同手势的表面肌电信号数据作为目标域数据,对新用户的不同手势的表面肌电信号数据进行分类,将其划分为候选集和残余项。
如前所述,不同用户同一手势之间具有弱相似性。基于已有用户数据与新用户数据同一手势之间的弱相似性,可以将新用户数据数据划分为候选集和残余项,从而完成跨用户手势迁移学习。
在一个实施例中,可以采用K最邻近算法(K-Nearest Neighbor,KNN)将上述新用户数据分类,并根据不同的分类结果确定新用户数据对应的伪标签和置信度,基于伪标签和置信度将新用户数据划分为候选集和残余项。
KNN算法是最基本的机器学习方法之一,其基本原理是:如果在特征空间中与一个样例最邻近的K个样例属于某个类别,则该样例也属于这个类别,具有该类别样例的特性,即“人以类聚,物以群分”。KNN算法既可以做分类也可以做回归,在做分类决策时往往使用多数投票法,即取K个样例中包含样例数量最多的类别作为该样例的类别。
图6示出了根据本发明一个实施例中采用KNN算法将新用户数据划分候选集和残余项的流程图。如图6所示,该方法包括:
步骤S321,计算一个目标域数据与所有源域数据的距离;
在一个实施例中,可以采用欧式距离来计算上述距离,具体公式如下:
其中,xi为源域数据De中第i个数据,xj为目标域数据Dn中第j个数据,ne表示源域数据中的样例数目。
在本发明的其他实施例中,目标域数据与所有源域数据距离的计算也可以采用明氏距离、曼哈顿距离、切比雪夫距离等方法。
步骤S322,将所有源域数据根据上述距离的大小进行排序;
步骤S323,选取距离最小的K1个源域数据;
步骤S324,根据上述K1个源域数据的类型,采用多数投票法确定该目标域数据的类型并生成相应的伪标签F1(xj);
多数投票法,是指在距离最小的K个源域数据中,选取数据数量最多的标签作为该目标域数据的标签,具体公式如下:
其中,表示为每一个目标域数据xj选取K1个距离最近的源域数据的集合,xx′表示该/>中第x′个数据,yx′表示/>中第x′个数据的标签;ci为/>中数据的标签;sgn(yx′,ci)是符号函数,当yx′=ci时,该函数值为1,否则,函数值为0。
步骤S325,按照上述方法生成目标域中每一个数据的伪标签F1(xj)并计算其对应的分类置信度C1(xj),具体公式如下:
步骤S326,依据目标域中每一个数据的分类置信度C1(xj)将目标域数据划分为候选集和残余项,具体公式如下:
其中,当候选集数据xj的置信度C1(xj)大于参数μ时,划分为候选集并标注为F1(xj),否则划分为残余项/>并标注为-1。
步骤S330,将上述候选集作为源域数据,上述残余项作为目标域数据,对残余项中新用户的不同手势的表面肌电信号数据进行再次分类。
如上所述,同一用户同一手势之间具有强相似性。基于新用户数据同一手势之间的强相似性,可以依据新用户数据中已有标注的候选集数据对未标注的残余项数据进行再次分类,实现用户内手势迁移学习,从而完成新用户数据的全部分类。
在一个实施例中,对残余项数据进行再次分类可以采用KNN算法实现,具体步骤可以包括:计算一个残余项数据与候选集数据中所有数据的距离;将候选集数据按照所述距离的大小进行排序;选取距离最小的K2个候选集数据;确定该K2个候选集数据的标签,并选取数量最多的标签作为该残余项数据的标签;依次获取所有残余项数据的标签。其中,残余项数据的标签计算可以采用如下公式:
其中,即F1(xj),为候选集数据的标签,/>为残余项数据标签;表示为每一个残余项数据xj选取K2个距离最近的候选集数据的集合。
在一个实施例中,KNN算法中的距离计算可以采用皮尔逊相关系数计算,具体公式如下:
其中,为候选集/>中第j个数据,/>为候选集中所有数据的均值,候选集/>的数据数目为m;/>为残余项数据集/>中第j个数据,/>为残余项中所有数据的均值,残余项/>中数据的数目为ne-m,ne为目标域数据的总数。
在本发明的一个实施例中,上述公式中各项参数可以采用K1=5,K2=1,λ=0.5,μ=0.4。在本发明其他实施例中,上述公式中的各个参数K1,K2,λ,μ也可利用网格搜索方法确定。
在本发明的其他实施例中,也可以采用欧氏距离、明氏距离、曼哈顿距离、切比雪夫距离等方法计算KNN算法中的距离以实现残余项的再次分类。
在本发明的其他实施例中,KNN算法也可用决定树、随机森林、支持向量机或神经网络等分类方法替换。
在一个实施例中,在上述跨用户迁移学习之后,用户内迁移学习之前,还可以包括对标注有伪标签的候选集数据进行进一步优化,基于该优化后的候选集数据进行内部迁移学习,最终实现新用户数据的全部分类。
图7示出了根据本发明一个实施例的包含优化候选集的迁移学习方法的示意图。如图7所示,首先将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的新用户的不同手势的表面肌电信号数据作为目标域数据,利用不同用户同一手势之间的弱相似性,对新用户数据进行分类,将其划分为候选集和残余项;对上述候选集进行优化;然后将上述优化后的候选集作为源域数据,上述残余项为目标域数据,利用同一用户同一手势之间的强相似性,对残余项数据进行再次分类,最终完成对全部新用户数据的分类。
在一个实施例中,可以基于候选集中数据伪标签的置信度/>和候选集子集/>的分散度/>对其进行进一步筛选优化,使优化后的候选集子集/>中伪标签置信度/>尽可能的高且数据类型尽可能分散,能均匀覆盖多个手势类别,即满足如下函数:
其中,是候选集/>的子集,/>是候选集子集中第j个数据,/>是候选集子集/>中第j个数据/>的伪标签的置信度,λ是权重系数,/>是候选集子集/>的分散度。
在一个实施例中,为了使上述公式(9)实现最优,可以枚举候选集中所有子集,并分别计算各个子集中新用户数据伪标签的置信度和各个子集的分散度,此时该类子集总体数目为:
其中,C为从候选集中选取包含所有类别的任意子集的数目,Ye为源域数据的所有的集合;/>为候选集/>中预测为ci手势的样本数目,/>是要筛选的样本数目,ω为权重参数。该方法计算复杂度相对较高。
为了降低计算复杂度,提高迁移学习的效率,可以对先对候选集中各类别数据的置信度/>先进行排序,选择排序前/>的数据组合数据集并枚举该数据集的所有子集,再分别计算各子集的分散度及公式(9)。
图8示出了本发明一个实施例的包括优化候选集的迁移学习方法,其中步骤810和820与上述步骤310和320类似,此外,该方法还包括如下步骤:
步骤S830,计算候选集中各类型新用户的不同手势的表面肌电信号数据的伪标签的置信度并进行排序,其中伪标签的计算可采用上述公式(2),其置信度的计算可以采用上述公式(3)。
步骤S840,选取置信度排序前的新用户的不同手势的表面肌电信号数据集合并枚举其所有子集。此时,子集数目减少为:
其中,为参数。
步骤S850,分别计算上述所有子集的分散度。
为了使优化后的候选集子集数据类型更加分散,尽可能均匀覆盖多个手势类别,可以选取分散度较高的子集。
在一个实施例中,可以根据主成分分析方法(Principal Component Analysis,PCA)计算各候选子集的分散度例如可以包括通过PCA将原始的sEMG信号特征映射至一维空间,并通过方差衡量筛选数据的分布分散度。PCA是图像处理中经常用到的降维方法,其利用正交变换把一系列可能线性相关的变量转换为一组线性不相关的新变量,也称为主成分,从而利用新变量在更小的维度下展示数据的特征。求样本集/>的主成分其实是求样本集/>的协方差矩阵/>的特征值对应的特征向量矩阵/>然后对样本集做如下变换/>即达到降维的PCA目的。分散度的计算可以采用如下步骤:
(1)对样本集中所有样本/>进行中心化:/>
(2)计算样本集的协方差矩阵/>
(3)对协方差矩阵进行特征值分解;
(4)获取最大特征值所对应的特征向量
(5)计算一维空间映射结果
(6)计算方差其中,/>其中/>为样本集,/>为样本集中第j个样本。
步骤S860,依据上述置信度和分散度筛选出候选集的优化子集。可以选取满足上述公式(9)的候选集子集作为优化后的候选集。
步骤870,将优化后的候选集作为源域数据,残余项作为目标域数据,对残余项进行再次分类,完成新用户数据被全部标注标签。
在本发明的一个实施例中,可以基于上述任一迁移学习方法建立手势分类模型,并基于该分类模型进行新用户手势识别。
经实验测试,与传统的机器学习方法相比,上述表面肌电信号手势识别方法手势识别精准度获得了显著提高。如图9所示,12种算法下,四种通用识别算法(序列最小最优化算法、K近邻算法、随机森林、主成分分析)精度分别为41.50%,41.05%,44.43%和35.18%,七种传统迁移学习算法(迁移成分分析、联合分布自适应、均衡分布自适应、测地流内核、单源局部-全局自适应、多源局部-全局自适应、分层迁移学习)手势识别精度分别为30.59%,30.84%,30.40%,32.08%,33.89%,35.92%和33.19%。以上十一种算法在跨用户情境下,手势识别精度难以实现自然人机交互,并且,对比传统算法与通用迁移学习算法,通用迁移学习算法并不能取得比传统机器学习算法更优越的识别精度。本发明中的手势识别方法(利用dualTL算法)取得了最优的识别效果80.17%,相较于次优的识别算法,精度提升35.75%。
综上所述,在本发明的表面肌电手势识别方法中,通过不同用户同一手势之间的弱相似性以及同一用户相同手势之间的强相关性,执行两次迁移学习,实现新用户手势快速、精准的标定。这不仅提高了手势识别的效率,还有效避免不同用户之间手势漂移问题,显著提升识别精准度。
在本发明的一个实施例中,可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如,硬盘、光盘、闪存等)中,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
在本发明的另一个实施例中,可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器,在存储器中存储有计算机程序,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的,也即,“根据A”可以涵盖“仅仅根据A”,也可以涵盖“根据A和B”,除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明,以一定的顺序描述了一些示意性的操作步骤,但本领域技术人员可以理解,这些操作步骤中的每一个并非是必不可少的,其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行,相反,这些操作步骤中的一些可以根据实际需要以不同的顺序执行,或者并行执行,只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面,可以理解,对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。
Claims (9)
1.一种基于表面肌电信号进行手势识别的迁移学习方法,包括:
步骤1:采集新用户的不同手势的表面肌电信号;
步骤2:将有标注的已有用户的不同手势的表面肌电信号数据作为源域数据,无标注的所述新用户的不同手势的表面肌电信号数据作为目标域数据,对所述新用户的不同手势的表面肌电信号数据进行分类,根据所述新用户的不同手势的表面肌电信号数据的类型确定其对应的伪标签及置信度;依据所述伪标签和置信度将所述新用户的不同手势的表面肌电信号数据划分为候选集和残余项;
步骤3:将所述候选集作为源域数据,所述残余项作为目标域数据,对所述残余项进行再次分类。
2.根据权利要求1所述的迁移学习方法,其中,步骤2包括:
采用K最邻近算法对所述新用户的不同手势的表面肌电信号数据进行分类。
3.根据权利要求1所述的迁移学习方法,其中,步骤2还包括:
优化所述候选集,其包括:
计算所述候选集中各类型新用户的不同手势的表面肌电信号数据的置信度并进行排序;
对所述置信度排序靠前的新用户的不同手势的表面肌电信号数据集合枚举其所有子集;
分别计算所述所有子集的分散度;
依据所述置信度和所述分散度筛选出所述候选集的优化子集。
4.根据权利要求3中所述的迁移学习方法,其中,所述分散度通过计算所述子集的方差获得,包括:
通过主成分分析方法将所述子集中新用户的不同手势的表面肌电信号数据特征映射至一维空间;
根据所述一维空间的映射结果计算所述子集的方差。
5.根据权利要求1所述的基于表面肌电信号进行手势识别的迁移学习方法,其中,步骤3包括:
采用K最邻近算法对所述残余项中新用户的不同手势的表面肌电信号数据进行再次分类。
6.根据权利要求5中所述的迁移学习方法,其中,所述K最邻近算法采用皮尔逊相关系数计算距离。
7.一种基于权利要求1-6中任一迁移学习方法建立不同手势的表面肌电信号数据的分类模型进行手势识别方法,包括:
步骤1:采集新用户手势的表面肌电信号;
步骤2:利用所述分类模型识别所述新用户手势。
8.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-7中任一项所述的方法。
9.一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911094608.4A CN111046731B (zh) | 2019-11-11 | 2019-11-11 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911094608.4A CN111046731B (zh) | 2019-11-11 | 2019-11-11 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111046731A CN111046731A (zh) | 2020-04-21 |
CN111046731B true CN111046731B (zh) | 2023-07-25 |
Family
ID=70231872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911094608.4A Active CN111046731B (zh) | 2019-11-11 | 2019-11-11 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046731B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111544856B (zh) * | 2020-04-30 | 2021-05-25 | 天津大学 | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 |
CN111950460B (zh) * | 2020-08-13 | 2022-09-20 | 电子科技大学 | 一种自适应肌力的卒中患者手部康复训练动作识别方法 |
CN112379779B (zh) * | 2020-11-30 | 2022-08-05 | 华南理工大学 | 一种基于迁移学习的动态手势识别虚拟交互*** |
CN113288183B (zh) * | 2021-05-20 | 2022-04-19 | 中国科学技术大学 | 一种基于面颈部表面肌电的无声语音识别方法 |
CN113688802B (zh) * | 2021-10-22 | 2022-04-01 | 季华实验室 | 基于肌电信号的手势识别方法、装置、设备及存储介质 |
CN114115531B (zh) * | 2021-11-11 | 2022-09-30 | 合肥工业大学 | 一种基于注意力机制的端到端手语识别方法 |
CN114098768B (zh) * | 2021-11-25 | 2024-05-03 | 哈尔滨工业大学 | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 |
CN115081480B (zh) * | 2022-06-23 | 2024-03-29 | 中国科学技术大学 | 一种多源共迁移跨用户的肌电模式分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805067A (zh) * | 2018-05-31 | 2018-11-13 | 陕西师范大学 | 表面肌电信号手势识别方法 |
CN109213305A (zh) * | 2017-06-29 | 2019-01-15 | 沈阳新松机器人自动化股份有限公司 | 一种基于表面肌电信号的手势识别方法 |
CN110210416A (zh) * | 2019-06-05 | 2019-09-06 | 中国科学技术大学 | 基于动态伪标签解码的手语识别***优化方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1408443B1 (en) * | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
US8447704B2 (en) * | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
CN102426651B (zh) * | 2011-08-25 | 2014-04-16 | 武汉理工大学 | 人体前臂表面肌电信号采集及模式识别*** |
CN103440498A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 基于lda算法的表面肌电信号识别方法 |
KR102619981B1 (ko) * | 2016-02-02 | 2024-01-02 | 삼성전자주식회사 | 근전도 신호를 이용한 동작 분류 방법 및 장치 |
WO2018066191A1 (ja) * | 2016-10-07 | 2018-04-12 | ソニー株式会社 | サーバ、クライアント端末、制御方法、および記憶媒体 |
KR101963694B1 (ko) * | 2017-01-22 | 2019-03-29 | 계명대학교 산학협력단 | 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법 |
CN106980367B (zh) * | 2017-02-27 | 2020-08-18 | 浙江工业大学 | 一种基于肌电地形图的手势识别方法 |
CN107480697B (zh) * | 2017-07-12 | 2020-04-03 | 中国科学院计算技术研究所 | 一种肌电手势识别方法和*** |
KR101930942B1 (ko) * | 2017-08-30 | 2018-12-19 | 연세대학교 원주산학협력단 | 수화 인식 시스템 및 방법 |
CN108268844A (zh) * | 2018-01-17 | 2018-07-10 | 上海术理智能科技有限公司 | 基于表面肌电信号的动作模式识别方法及装置 |
CN108388348B (zh) * | 2018-03-19 | 2020-11-24 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
CN109062401B (zh) * | 2018-07-11 | 2020-12-15 | 北京理工大学 | 一种基于肌电信号的实时手势识别*** |
CN110413107B (zh) * | 2019-06-21 | 2023-04-25 | 浙江科技学院 | 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法 |
CN110400619B (zh) * | 2019-08-30 | 2023-07-21 | 上海大学 | 一种基于表面肌电信号的手功能康复训练方法 |
-
2019
- 2019-11-11 CN CN201911094608.4A patent/CN111046731B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109213305A (zh) * | 2017-06-29 | 2019-01-15 | 沈阳新松机器人自动化股份有限公司 | 一种基于表面肌电信号的手势识别方法 |
CN108805067A (zh) * | 2018-05-31 | 2018-11-13 | 陕西师范大学 | 表面肌电信号手势识别方法 |
CN110210416A (zh) * | 2019-06-05 | 2019-09-06 | 中国科学技术大学 | 基于动态伪标签解码的手语识别***优化方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于增量自适应学习的在线肌电手势识别;李愚;柴国钟;卢纯福;唐智川;计算机科学;第46卷(第04期);274-279 * |
Also Published As
Publication number | Publication date |
---|---|
CN111046731A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046731B (zh) | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 | |
Hills et al. | Classification of time series by shapelet transformation | |
KR102619981B1 (ko) | 근전도 신호를 이용한 동작 분류 방법 및 장치 | |
Miften et al. | A new framework for classification of multi-category hand grasps using EMG signals | |
Nogales et al. | Hand gesture recognition using machine learning and infrared information: a systematic literature review | |
CN111898526B (zh) | 基于多流卷积神经网络的肌电手势识别方法 | |
CN104463916B (zh) | 基于随机游走的眼动注视点测定方法 | |
CN113901891A (zh) | 帕金森病握拳任务的评估方法及***、存储介质及终端 | |
CN110991268A (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和*** | |
Ogunseiju et al. | Recognition of workers’ actions from time-series signal images using deep convolutional neural network | |
Roopa et al. | Feature extraction of chest X-ray images and analysis using PCA and kPCA | |
CN107045624B (zh) | 一种基于最大加权团的脑电信号预处理与分类方法 | |
Aarthy et al. | RETRACTED ARTICLE: Time series real time naive bayes electrocardiogram signal classification for efficient disease prediction using fuzzy rules | |
Patel et al. | Spatial feature fusion for biomedical image classification based on ensemble deep CNN and transfer learning | |
Codella et al. | Automated medical image modality recognition by fusion of visual and text information | |
Xu et al. | Skeleton-based tai chi action segmentation using trajectory primitives and content | |
Rosly et al. | Comprehensive study on ensemble classification for medical applications | |
CN108960113A (zh) | 一种基于支持向量机的心率变异性识别方法 | |
CN111354458B (zh) | 基于通用绘图任务的触控交互运动用户特征提取方法和辅助疾病检测*** | |
Seddiqi et al. | Recognition of turkish sign language (TID) using sEMG sensor | |
Li et al. | Arrhythmia classification algorithm based on multi-feature and multi-type optimized SVM | |
Chauhan et al. | Development of computational tool for lung cancer prediction using data mining | |
CN111476295A (zh) | 一种基于gs-lssvm的多通道生理信号体感姿势识别方法 | |
Lee et al. | Comparative neural network based on template cluster for automated abnormal beat detection in electrocardiogram signals | |
Riaz et al. | Surface EMG Real-Time Chinese Language Recognition Using Artificial Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |