CN114550304A - 一种用于鲁棒肌电控制的跨用户手势识别方法 - Google Patents

一种用于鲁棒肌电控制的跨用户手势识别方法 Download PDF

Info

Publication number
CN114550304A
CN114550304A CN202210188197.0A CN202210188197A CN114550304A CN 114550304 A CN114550304 A CN 114550304A CN 202210188197 A CN202210188197 A CN 202210188197A CN 114550304 A CN114550304 A CN 114550304A
Authority
CN
China
Prior art keywords
model
data
batch
label
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210188197.0A
Other languages
English (en)
Other versions
CN114550304B (zh
Inventor
张旭
李心慧
赵永乐
赵昊文
陈香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210188197.0A priority Critical patent/CN114550304B/zh
Publication of CN114550304A publication Critical patent/CN114550304A/zh
Application granted granted Critical
Publication of CN114550304B publication Critical patent/CN114550304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于鲁棒肌电控制的跨用户手势识别方法，其步骤包括：1、采集表面肌电信号并提取特征构建源域数据集。2、构建一个学生教师深度网络模型。3、利用源域数据集训练学生模型并得到网络参数，将其通过指数移动平均得到教师模型参数。4、采集新用户肌电信号并提取特征构建目标域数据。通过上述学生模型和教师模型分别进行分类和生成伪标签。5、通过最优传输算法优化教师模型生成的伪标签。6、利用学生模型将新输入的目标域数据连续给出分类结果并进行参数更新，随后更新教师模型。7、对后续新用户，执行步骤4。本发明能实现源域到目标域的模型迁移，从而实现高精度的跨用户手势识别。

Description

一种用于鲁棒肌电控制的跨用户手势识别方法
技术领域
本发明属于肌电信号处理技术领域，具体涉及一种基于学生教师模型的域适应方法，实现跨用户通用的手势识别，主要应用于鲁棒的肌电控制。
背景技术
肌电控制将人体肌肉活动直接解码为能够反映其运动意图的一系列指令，实现对***电子设备的控制和信息输入，在人机接口、神经康复和假肢控制中有广泛应用。从肌电(Electromyography,EMG)中区分不同手势动作模式是实现多自由度肌电控制中的关键技术。表面肌电信号(Surface EMG,sEMG)因其无创、便捷、能够反映神经肌肉***相关活动信息的优点而受到广泛关注。从sEMG信号中提取的时域、频域、时频域和非线性等特征有助于构建更加精准的模式识别模型。特别的，高密度表面肌电(High Density sEMG,HD-sEMG)包含了重要的时空特征，能够刻画肌群肌肉的激活模式和各向异性，实现较高的动作识别率。然而，不同用户间，肌肉活动存在有很大的生理差异性，在实际应用中基于现有用户数据训练得到的肌电模式分类器难以适应新用户的数据，造成识别性能下降。若对于单个用户构建特定的分类器，新用户接入时，需要采集足够数量的动作数据，重新训练分类器，耗时耗力，为实际应用带来诸多不便。
在过去数十年中，研究人员已经提出多种方法用于跨用户的手势识别。有的学者通过双线性模型，将sEMG信号分解为用户相关和动作相关两个因素。对于新用户，利用其一小部分样本得到用户相关的因素从而估计出动作相关因素。由此，构建一个动作分类器用于新用户的动作识别。有的学者提出基于典型相关分析的方法，提取已有用户和新用户数据的最大相关成分，将特征矩阵投射至同一特征空间，减少用户数据间的分布差异。还有的学者利用肌肉骨骼模型计算不同用户不同手势的参数，将这些参数的平均值作为新用户的模型参数。然而，这些方法均需要新用户的部分数据作为校准或计算复杂的生理学模型参数，且模式识别表现欠佳，不能很好地适用于新用户。
域适应技术的发展给跨用户通用的手势识别的实施提供了一个新的角度。域适应技术旨在将从已有用户的带标签的源域中学习到的知识迁移到新用户不带标签的目标域中，从而实现目标域中不同类别的精准识别。典型的域适应方法包括基于域特征对齐的方法和基于伪标签生成的方法。基于域特征对齐的方法通过最小化目标域和源域的特征分布差异，实现有效的跨用户手势识别。然而，这些方法存在一个问题，即对于每一个新用户，他们都需要将尽可能多的目标域数据和大量的训练数据一起训练分类器，低效耗时。并且，用于训练的目标域数据需要包含所有手势样本，限制了肌电控制***的使用便捷性。
发明内容
本发明为了克服现有技术的不足之处，提出一种用于鲁棒肌电控制的跨用户手势识别方法，以期能在无需任何带标签校准数据和特别的重复训练的条件下实现从源域到目标域的模型迁移，并能够增量学习新的有用信息用于动态调整模型参数，从而能实现高效高精度的跨用户手势识别。
本发明为解决技术问题，采用如下技术方案：
本发明一种用于鲁棒肌电控制的跨用户手势识别方法的特点包括：
步骤一：利用肌电测量设备和电极在前臂肌肉处采集d个用户执行K种手势动作的表面肌电信号数据并进行分窗处理后提取特征，从而得到N个肌电信号特征样本，并构建有标签的源域数据集，记为
Figure BDA0003524502310000021
其中，
Figure BDA0003524502310000022
表示第i个肌电信号特征样本，
Figure BDA0003524502310000023
表示第i个肌电信号特征样本
Figure BDA0003524502310000024
的标签，且
Figure BDA0003524502310000025
属于{1,2,…c,…,K}，c表示标签的任意一个类别；K表示标签的类别数；
步骤二：构建一个基于域适应的教师学生深度网络模型，包括：教师模型和学生模型；
所述教师模型和学生模型的网络结构相同，均包含若干个卷积模块、一个最大池化层和一个Flatten层以及一个全连接层；
每个卷积模块是由一层卷积conv层、一层批归一化层和一层Relu非线性激活层组成；
步骤三：利用带标签的源域数据集Dv训练学生模型：
将源域数据集Dv按批尺寸B分批，其中任意一批处理数据记为
Figure BDA0003524502310000026
其中，
Figure BDA0003524502310000027
表示一批处理数据中第j个肌电信号特征样本，
Figure BDA0003524502310000028
表示第j个肌电信号特征样本
Figure BDA0003524502310000029
的标签；
将一批处理数据
Figure BDA00035245023100000210
堆叠在一起得到堆叠数据Xv送入所述学生模型中，并依次经过第一个卷积模块、最大池化层、第二个和第三个卷积层以及Flatten层后得到分类特征，最后将所述分类特征输入所述全连接层中得到类别得分Pv∈RB×K；
在前向传播时利用式(1)计算所述学生模型的交叉熵损失LB，在后向传播时利用式(2)更新所述学生模型的参数，同时利用式(3)更新所述教师模型在第t次迭代时的参数
Figure BDA00035245023100000211
直到所述学生模型在tmax次迭代时收敛为止，从而得到训练好的学生模型网络及其对应的最优参数
Figure BDA00035245023100000212
Figure BDA00035245023100000213
式(1)中，
Figure BDA0003524502310000031
表示一批处理数据中第j个肌电信号特征样本
Figure BDA0003524502310000032
的标签为类别c的标签值，
Figure BDA0003524502310000033
表示所述学生模型输出第j个肌电信号特征样本
Figure BDA0003524502310000034
的标签为类别c的概率值；
Figure BDA0003524502310000035
式(2)中，
Figure BDA0003524502310000036
表示第t次迭代时学生模型的参数，η为学习率；
Figure BDA0003524502310000037
表示第t-1次迭代时学生模型的参数；当t＝1，令
Figure BDA0003524502310000038
θ0是通过He-uniform函数根据特征维度初始化得到的值；
Figure BDA0003524502310000039
式(3)中，γ为超参数；
Figure BDA00035245023100000310
表示所述教师模型在第t-1次迭代时的参数；当tmax＝1，令
Figure BDA00035245023100000311
步骤四：当存在第d+1个用户时，利用肌电测量设备和电极采集第d+1个用户执行K种手势动作中任意一种手势动作时的肌电信号并进行特征提取，从而构建无标签的目标域数据Du；
按批尺寸B将所述无标签的目标域数据Du进行分批处理，将一批无标签数据分别送入所述学生模型和所述教师模型中进行处理，并由所述训练后的学生模型输出一批无标签数据的类别预测概率并更新当前学生模型的参数，将所述类别分数预测概率通过argmax函数从而得到一批无标签数据的分类结果；由参数更新后的教师模型输出一批无标签数据的类别分数，所述类别分数再经过softmax层的处理后得到归一化的类别分数Pu；
步骤五：利用式(4)构建最大化目标函数的约束，并得到优化后的类别分数Q，再利用argmax函数对优化后的类别分数Q进行处理，从而得到一批无标签数据的伪标签：
Figure BDA00035245023100000312
式(4)中，H(Q)为熵正则化项，λ是控制因子；Tr为迹运算，QT为Q的转置；
步骤六：将所述无标签的目标域数据Du的新一批无标签数据分别送入当前学生模型和当前教师模型中进行处理，其中，当前学生模型和当前教师模型参数是通过上一批数据更新后得到的，通过当前教师模型输出所述新一批无标签数据的伪标签，用于监督当前学生模型在所述新一批无标签数据上的分类结果，从而更新当前学生模型的参数，同时按照式(3)同步更新当前教师模型的参数；
步骤七：当存在d+r个用户时，返回步骤四顺序执行，r为大于1的整数。
与现有技术相比，不本发明仅能取得领先的手势识别准确率，无需任何校准样本和重复训练，且能够增量学习更新参数并对模型进行调整，具体的有益效果体现在：
1、本发明步骤四中通过伪标签生成的方式将基于已有用户训练的模型迁移至新用户数据上，无需任何校准数据。新用户进行测试时，对于获取到的新数据能够直接得到预测结果，无需和庞大的源域数据一起进行训练，从而降低了模型的训练负担。
2、本发明步骤五中采用最优传输算法，克服教师模型生成伪标签时可能会出现的模型偏置情况，即使得生成的伪标签尽量分散，防止其倾向于某一类或某几类而导致模型预测的较大误差。
3、本发明步骤六中随着新用户无标签数据的持续送入，模型通过增量学习的方式对网络参数进行逐渐更新和完善，从而提高了模型识别准确度。
附图说明
图1为本发明实施例提供的方法流程示意图；
图2为本发明实施例提供的手势动作示意图；
图3为本发明实施例提供的对比方法识别精度示意图；
图4为本发明实施例提供的新用户动作指令识别准确度示意图。
具体实施方式
本实施例中，一种用于鲁棒肌电控制的跨用户手势识别方法，如图1所示，其包括如下步骤：
步骤一：利用肌电测量设备和电极在前臂肌肉处采集d个用户执行K种手势动作的表面肌电信号数据并进行分窗处理后提取特征，从而得到N个肌电信号特征样本，并构建有标签的源域数据集，记为
Figure BDA0003524502310000041
其中，
Figure BDA0003524502310000042
表示第i个肌电信号特征样本，
Figure BDA0003524502310000043
表示第i个肌电信号特征样本
Figure BDA0003524502310000044
的标签，且
Figure BDA0003524502310000045
属于{1,2,…c,…,K}，c表示标签的任意一个类别；K表示标签的类别数；
具体实施中包括，(1)募集d位受试者，引导每位受试者任意侧手臂平放至桌面上，设备采集前臂肌肉高密度表面肌电信号，阵列电极阵列排布为m×n，单个电极触点的直径为p，电极中心间距为q。示例性的，可以设置：d＝7，m＝16，n＝8，p＝3mm，q＝8mm。受试者记为S1-S7。
(2)逐一采集受试者执行K种手势动作时的连续肌电信号。示例性的，设置K＝7，即采集7种手势动作，分别为食指上抬，中指上抬，食指和中指同时上抬，无名指和小拇指同时上抬，食指和小拇指同时上抬，食指、中指和无名指同时上抬，以及抬腕，见图2(黑色实心圆圈表示该手指上抬)。每个手势任务采集5次，每次采集持续收缩5秒。受试者在每次手势动作任务后休息3秒防止肌肉疲劳。
(3)将手势动作执行时对应的5秒肌电信号分割为一系列1秒信号段，进一步将1s信号段分割为一系列窗长为W滑动步长为S的分析窗。示例性的，W＝256ms，S＝56ms。
(4)对每个分析窗的肌电信号提取特征，得到每个任务的样本数据。示例性的，提取均方根值(root mean square,RMS)、波长(waveformlength，WL)、样本熵(sampleentropy,SampEn)以及时间依赖的功率谱描述特征中的f1与f6五个特征。每个特征构建成基于m×n电极阵列排布的二维肌电特征图的一个通道，五个特征则构成五个通道的肌电特征图。因此，每个样本数据
Figure BDA0003524502310000051
由5×16×8的特征矩阵表示，标签
Figure BDA0003524502310000052
类别属于{1,2,3,4,5,6,7}。
步骤二：构建一个基于域适应的教师学生深度网络模型，包括：教师模型和学生模型；
教师模型和学生模型的网络结构相同，均包含若干个卷积模块、一个最大池化层和一个Flatten层以及一个全连接层；
每个卷积模块是由一层卷积conv层、一层批归一化层和一层Relu非线性激活层组成；
步骤三：利用带标签的源域数据集Dv训练学生模型：
将源域数据集Dv按批尺寸B分批，其中任意一批处理数据记为
Figure BDA0003524502310000053
其中，
Figure BDA0003524502310000054
表示一批处理数据中第j个肌电信号特征样本，
Figure BDA0003524502310000055
表示第j个肌电信号特征样本
Figure BDA0003524502310000056
的标签；
将一批处理数据
Figure BDA0003524502310000057
堆叠在一起得到堆叠数据Xv送入学生模型中，并依次经过第一个卷积模块得到输出O1，将O1输入最大池化层得到输出O2，再顺序输入第二个和第三个卷积层得到输出O3和O4，将O4进一步输入Flatten层后得到分类特征O5，最后将分类特征O5输入全连接层中得到类别得分Pv∈RB×K；
在前向传播时利用式(1)计算学生模型的交叉熵损失LB，在后向传播时利用式(2)更新学生模型的参数，同时利用式(3)更新教师模型在第t次迭代时的参数
Figure BDA0003524502310000058
直到学生模型在tmax次迭代时收敛为止，从而得到训练好的学生模型网络及其对应的最优参数
Figure BDA0003524502310000059
Figure BDA00035245023100000510
式(1)中，
Figure BDA00035245023100000511
表示一批处理数据中第j个肌电信号特征样本
Figure BDA00035245023100000512
的标签为类别c的标签值，
Figure BDA00035245023100000513
表示学生模型输出第j个肌电信号特征样本
Figure BDA00035245023100000514
的标签为类别c的概率值；
Figure BDA00035245023100000515
式(2)中，
Figure BDA0003524502310000061
表示第t次迭代时学生模型的参数，η为学习率；
Figure BDA0003524502310000062
表示第t-1次迭代时学生模型的参数；当t＝1，令
Figure BDA0003524502310000063
θ0是通过He-uniform函数根据特征维度初始化得到的值；
Figure BDA0003524502310000064
式(3)中，γ为超参数；
Figure BDA0003524502310000065
表示教师模型在第t-1次迭代时的参数；当tmax＝1，令
Figure BDA0003524502310000066
本发明实例中，每个卷积层的内核大小都为3×3,步长为1×1，填充相同的滤波器数目为64；最大池化层滤波器大小为2×2，步长为2。在第一层卷积模型的卷积层前，我们采用了坐标卷积使得卷积具有空间感知能力，即在数据的五通道特征矩阵后面增加两个通道，一个表示对应特征图高坐标(1,2,…m),一个表示对应特征图的宽(1,2,…n)，得到输入数据维度为7×16×8。因此，一批处理数据
Figure BDA0003524502310000067
堆叠在一起得到Xv∈RB×7×16×8，将其通过第一个卷积模块得到输出O1∈RB×64×16×8，将O1输入最大池化层得到输出O2∈RB×64×8×4，再顺序输入第二个和第三个卷积层得到输出O3∈RB×64×8×4和O4∈RB×64×8×4，将O4输入Flatten层得到分类特征O5∈RB×1024，最后将O5进一步输入一个全连接层得到类别得分Pv∈RB×K；
示例性的，将γ设置为0.999，η为1×10-3，迭代次数为10。将新用户的1秒运动指令对应一个批处理数据，通过步骤一示例窗长计算可得B为14。
步骤四：当存在第d+1个用户时，利用肌电测量设备和电极采集第d+1个用户执行K种手势动作中任意一种手势动作时的肌电信号并进行特征提取，从而构建无标签的目标域数据Du；
按批尺寸B将无标签的目标域数据Du进行分批处理，将一批无标签数据分别送入学生模型和教师模型中进行处理，并由训练后的学生模型输出一批无标签数据的类别预测概率并更新当前学生模型的参数，将类别分数预测概率通过argmax函数从而得到一批无标签数据的分类结果；由参数更新后的教师模型输出一批无标签数据的类别分数，类别分数再经过softmax层的处理后得到归一化的类别分数Pu；
步骤五：利用式(4)构建最大化目标函数的约束，并得到优化后的类别分数Q，再利用argmax函数对优化后的类别分数Q进行处理，从而得到一批无标签数据的伪标签：
Figure BDA0003524502310000068
式(4)中，H(Q)为熵正则化项，λ是控制因子；Tr为迹运算，QT为Q的转置；
步骤六：将无标签的目标域数据Du的新一批无标签数据分别送入学生模型和教师模型中进行处理，其中学生模型和教师模型参数是通过上一批数据更新后得到的，通过教师模型输出当前批无标签数据的伪标签，用于监督当前学生模型在当前批无标签数据上的分类结果，从而更新当前学生模型的参数，同时按照式(3)同步更新当前教师模型的参数；
步骤七：第d+r(r≥1)个用户接入当前设备时，重复步骤三。
为了量化评估本发明的效果，通过8位测试用户(记为S1-S8)将本发明方法(OT-Teacher)与传统方法相比较。
对比实验中，采用基于CNN的深度学***均分类准确度为(67.11±20.77)％,(70.17±17.95)％,(67.14±12.78)％，识别效果均表现不佳。本发明方法平均分类准确度为(93.42±7.86)％，大幅提升了跨用户手势识别的准确度。图4展示了代表性的4位新用户动作指令识别准确度变化曲线，可以发现，随着测试数据的不断增多(输入批次数目的增加)，识别准确度逐渐升高，直到达到一个较高水平后保持平稳。
综上所述，本发明能够解决肌电控制***中跨用户手势识别准确度低的问题，***能够将训练好的源域模型迁移到目标域中，并且通过增量学习更新参数，对模型进行调整和完善，以提升新用户不同模式的识别精度。本发明方法无需任何目标域中带标签的校准数据和特别的重复训练过程，新用户在接入该***后可直接测试使用。与传统机器学习或深度学习相比，能够取得识别精度的大幅提升，对于肌电假肢控制和康复训练等领域具有重要意义。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

Claims (1)

1.一种用于鲁棒肌电控制的跨用户手势识别方法，其特征包括：
步骤一：利用肌电测量设备和电极在前臂肌肉处采集d个用户执行K种手势动作的表面肌电信号数据并进行分窗处理后提取特征，从而得到N个肌电信号特征样本，并构建有标签的源域数据集，记为
Figure FDA0003524502300000011
其中，
Figure FDA0003524502300000012
表示第i个肌电信号特征样本，
Figure FDA0003524502300000013
表示第i个肌电信号特征样本
Figure FDA0003524502300000014
的标签，且
Figure FDA0003524502300000015
属于{1,2,…c,…,K}，c表示标签的任意一个类别；K表示标签的类别数；
步骤二：构建一个基于域适应的教师学生深度网络模型，包括：教师模型和学生模型；
所述教师模型和学生模型的网络结构相同，均包含若干个卷积模块、一个最大池化层和一个Flatten层以及一个全连接层；
每个卷积模块是由一层卷积conv层、一层批归一化层和一层Relu非线性激活层组成；
步骤三：利用带标签的源域数据集Dv训练学生模型：
将源域数据集Dv按批尺寸B分批，其中任意一批处理数据记为
Figure FDA0003524502300000016
其中，
Figure FDA0003524502300000017
表示一批处理数据中第j个肌电信号特征样本，
Figure FDA0003524502300000018
表示第j个肌电信号特征样本
Figure FDA0003524502300000019
的标签；
将一批处理数据
Figure FDA00035245023000000110
堆叠在一起得到堆叠数据Xv送入所述学生模型中，并依次经过第一个卷积模块、最大池化层、第二个和第三个卷积层以及Flatten层后得到分类特征，最后将所述分类特征输入所述全连接层中得到类别得分Pv∈RB×K；
在前向传播时利用式(1)计算所述学生模型的交叉熵损失LB，在后向传播时利用式(2)更新所述学生模型的参数，同时利用式(3)更新所述教师模型在第t次迭代时的参数
Figure FDA00035245023000000111
直到所述学生模型在tmax次迭代时收敛为止，从而得到训练好的学生模型网络及其对应的最优参数
Figure FDA00035245023000000112
Figure FDA00035245023000000113
式(1)中，
Figure FDA00035245023000000114
表示一批处理数据中第j个肌电信号特征样本
Figure FDA00035245023000000115
的标签为类别c的标签值，
Figure FDA00035245023000000116
表示所述学生模型输出第j个肌电信号特征样本
Figure FDA00035245023000000117
的标签为类别c的概率值；
Figure FDA00035245023000000118
式(2)中，
Figure FDA00035245023000000119
表示第t次迭代时学生模型的参数，η为学习率；
Figure FDA00035245023000000120
表示第t-1次迭代时学生模型的参数；当t＝1，令
Figure FDA00035245023000000121
θ0是通过He-uniform函数根据特征维度初始化得到的值；
Figure FDA0003524502300000021
式(3)中，γ为超参数；
Figure FDA0003524502300000022
表示所述教师模型在第t-1次迭代时的参数；当tmax＝1，令
Figure FDA0003524502300000023
步骤四：当存在第d+1个用户时，利用肌电测量设备和电极采集第d+1个用户执行K种手势动作中任意一种手势动作时的肌电信号并进行特征提取，从而构建无标签的目标域数据Du；
按批尺寸B将所述无标签的目标域数据Du进行分批处理，将一批无标签数据分别送入所述学生模型和所述教师模型中进行处理，并由所述训练后的学生模型输出一批无标签数据的类别预测概率并更新当前学生模型的参数，将所述类别分数预测概率通过argmax函数从而得到一批无标签数据的分类结果；由参数更新后的教师模型输出一批无标签数据的类别分数，所述类别分数再经过softmax层的处理后得到归一化的类别分数Pu；
步骤五：利用式(4)构建最大化目标函数的约束，并得到优化后的类别分数Q，再利用argmax函数对优化后的类别分数Q进行处理，从而得到一批无标签数据的伪标签：
Figure FDA0003524502300000024
式(4)中，H(Q)为熵正则化项，λ是控制因子；Tr为迹运算，QT为Q的转置；
步骤六：将所述无标签的目标域数据Du的新一批无标签数据分别送入当前学生模型和当前教师模型中进行处理，其中，当前学生模型和当前教师模型参数是通过上一批数据更新后得到的，通过当前教师模型输出所述新一批无标签数据的伪标签，用于监督当前学生模型在所述新一批无标签数据上的分类结果，从而更新当前学生模型的参数，同时按照式(3)同步更新当前教师模型的参数；
步骤七：当存在d+r个用户时，返回步骤四顺序执行，r为大于1的整数。
CN202210188197.0A 2022-02-28 2022-02-28 一种用于鲁棒肌电控制的跨用户手势识别方法 Active CN114550304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188197.0A CN114550304B (zh) 2022-02-28 2022-02-28 一种用于鲁棒肌电控制的跨用户手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188197.0A CN114550304B (zh) 2022-02-28 2022-02-28 一种用于鲁棒肌电控制的跨用户手势识别方法

Publications (2)

Publication Number Publication Date
CN114550304A true CN114550304A (zh) 2022-05-27
CN114550304B CN114550304B (zh) 2024-04-02

Family

ID=81678819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188197.0A Active CN114550304B (zh) 2022-02-28 2022-02-28 一种用于鲁棒肌电控制的跨用户手势识别方法

Country Status (1)

Country Link
CN (1) CN114550304B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936583A (zh) * 2022-06-14 2022-08-23 中国科学技术大学 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN115719514A (zh) * 2022-11-23 2023-02-28 南京理工大学 一种面向手势识别的领域自适应方法及***
CN117292404A (zh) * 2023-10-13 2023-12-26 哈尔滨工业大学 一种高精度手势数据识别方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测***及检测方法
US20190287515A1 (en) * 2018-03-16 2019-09-19 Microsoft Technology Licensing, Llc Adversarial Teacher-Student Learning for Unsupervised Domain Adaptation
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其***
CN112861604A (zh) * 2020-12-25 2021-05-28 中国科学技术大学 一种与用户无关的肌电动作识别与控制方法
CN112926547A (zh) * 2021-04-13 2021-06-08 北京航空航天大学 飞行器电信号分类和识别的小样本迁移学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测***及检测方法
US20190287515A1 (en) * 2018-03-16 2019-09-19 Microsoft Technology Licensing, Llc Adversarial Teacher-Student Learning for Unsupervised Domain Adaptation
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN112861604A (zh) * 2020-12-25 2021-05-28 中国科学技术大学 一种与用户无关的肌电动作识别与控制方法
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其***
CN112926547A (zh) * 2021-04-13 2021-06-08 北京航空航天大学 飞行器电信号分类和识别的小样本迁移学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
袁甜甜;赵伟;杨学;胡彬;: "大规模连续中国手语数据集的创建与分析", 计算机工程与应用, no. 11, 29 January 2019 (2019-01-29) *
邢予权;潘今一;王伟;刘建烽;: "基于语义分割与迁移学习的手势识别", 计算机测量与控制, no. 04, 25 April 2020 (2020-04-25) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936583A (zh) * 2022-06-14 2022-08-23 中国科学技术大学 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN114936583B (zh) * 2022-06-14 2024-03-29 中国科学技术大学 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN115719514A (zh) * 2022-11-23 2023-02-28 南京理工大学 一种面向手势识别的领域自适应方法及***
CN115719514B (zh) * 2022-11-23 2023-06-30 南京理工大学 一种面向手势识别的领域自适应方法及***
CN117292404A (zh) * 2023-10-13 2023-12-26 哈尔滨工业大学 一种高精度手势数据识别方法、电子设备及存储介质
CN117292404B (zh) * 2023-10-13 2024-04-19 哈尔滨工业大学 一种高精度手势数据识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN114550304B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN114550304B (zh) 一种用于鲁棒肌电控制的跨用户手势识别方法
Sunil Kumar et al. Bio-signals Compression Using Auto Encoder
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Shao et al. Single-channel SEMG using wavelet deep belief networks for upper limb motion recognition
Wu et al. Hybrid BF–PSO and fuzzy support vector machine for diagnosis of fatigue status using EMG signal features
Shen et al. Gesture recognition through sEMG with wearable device based on deep learning
Bai et al. Application research on optimization algorithm of sEMG gesture recognition based on light CNN+ LSTM model
Wang et al. Automatic sleep staging method of EEG signal based on transfer learning and fusion network
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN111898526B (zh) 基于多流卷积神经网络的肌电手势识别方法
CN111657941A (zh) 基于肌肉核心激活区域的电极校正及肌电模式识别方法
Zhang et al. Dual layer transfer learning for sEMG-based user-independent gesture recognition
CN111401166A (zh) 基于肌电信息解码的鲁棒手势识别方法
CN114548165B (zh) 一种可跨用户的肌电模式分类方法
Xu et al. A novel SE-CNN attention architecture for sEMG-based hand gesture recognition
Luo et al. Features extraction and multi-classification of sEMG using a GPU-Accelerated GA/MLP hybrid algorithm
Khushaba et al. Myoelectric control with fixed convolution-based time-domain feature extraction: Exploring the spatio–temporal interaction
CN114652328A (zh) 一种用于失眠的双向闭环脑机交互电针参数智能匹配***
Li et al. Cross-user gesture recognition from sEMG signals using an optimal transport assisted student-teacher framework
CN115981461A (zh) 一种基于多任务学习Transformer的肌电控制方法
CN109766843A (zh) 基于改进的受限玻尔兹曼机的肌电信号特征提取方法
Kou et al. Subspace and second-order statistical distribution alignment for cross-domain recognition of human hand motions
CN111783669B (zh) 一种面向个人用户的表面肌电信号分类识别方法
Zhu et al. Robust multichannel EEG signal reconstruction method
Pan et al. Downsampling of EEG Signals for Deep Learning-Based Epilepsy Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant