CN109814716A - 一种基于动态表面肌电信号的运动意图解码方法 - Google Patents
一种基于动态表面肌电信号的运动意图解码方法 Download PDFInfo
- Publication number
- CN109814716A CN109814716A CN201910084116.0A CN201910084116A CN109814716A CN 109814716 A CN109814716 A CN 109814716A CN 201910084116 A CN201910084116 A CN 201910084116A CN 109814716 A CN109814716 A CN 109814716A
- Authority
- CN
- China
- Prior art keywords
- electromyography signal
- classifier
- dynamic
- decoding
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于动态表面肌电信号的运动意图解码方法，首先选取用于构造训练集的肌电信号，其次对选取的肌电信号进行预处理，生成可用于输入分类器的输入样本集，并用构造好的训练集离线训练分类器，接着选取用于离线测试分类器的肌电信号，按照分类器解码准确率选出最佳训练集，以及最佳特征，将离线测试出的最佳分类器作为在线识别所用的分类器，将在线识别所得的识别结果作为人机接口的控制信号，实现肌电控制***的实时控制。
Description
技术领域
本发明涉及肌电信号处理领域，特别是一种基于动态表面肌电信号的运动意图解码方法。
背景技术
神经损伤后常常伴随着人手等部位功能受损，如中风和脊髓损伤，机器人辅助训练为神经损伤康复提供了有效方法，已经开发了各种机器人手和外骨骼用于康复训练，研究表明，有用户自主意愿参与的人机交互控制***可以提高康复训练的安全性和治疗效果。而肌电信号作为一种生物电信号，可以代表神经肌肉的活动，反应自主意愿，表征人的运动意图，已被广泛用于为医疗辅助装置等提供丰富的运动控制信息。
公开使用的技术中，肌电信号用于控制***时首先要检测出肌电信号的起点，截取起点后一段时间窗长作为分类模型的输入信号，原始肌电信号经特征提取后输入分类器进行意图解码，将意图解码的结果作为控制器的输入信号。表面肌电信号有动态部分和稳态部分，在这些技术中，用于实时分类的肌电信号为起点检测后的动态肌电信号，但未描述如何训练分类器进行离线建模，而目前已发表的对表面肌电信号进行意图解码的技术中，用于训练分类器的数据集都是基于肌电信号的稳态部分。用稳态肌电信号训练并用稳态肌电信号测试的技术可以获得高识别率，但是在实时控制***中，输入分类器的信号是肌电信号的动态部分，这种基于稳态肌电信号的分类器在动态肌电信号测试下并不能取得好的分类结果，另外，如果用稳态肌电信号进行在线意图解码，那么就意味着忽略了静态到稳态的过渡过程，造成***延时。
现有已发表技术也表明，动态肌电信号中蕴涵有动作信息，针对已发表技术中存在的以上问题，本专利提出一种适用于动态表面肌电信号运动意图解码的方法，以提高肌电控制***的实时性。
发明内容
有鉴于此，本发明的目的是提出一种基于动态表面肌电信号的运动意图解码方法，能够提高肌电控制***的实时性。
本发明采用以下方案实现：一种基于动态表面肌电信号的运动意图解码方法，包括以下步骤：
步骤S1：设计不同训练集构造方案；
步骤S2：对原始信号进行预处理；
步骤S3：训练分类器；
步骤S4：选取用来测试分类器的动态肌电信号；
步骤S5：测试训练好的分类器并选出最优特征和训练集构造方案；
步骤S6：在线意图解码。
本发明意在解决运动意图解码问题。通过选择合适的分类器、训练集以及特征，训练适合对动态肌电信号进行意图解码的分类器，实现在肌电控制***延时范围内对动态肌电信号意图解码的目的。
进一步地，步骤S1中，所述训练集包括三类，分别为纯动态肌电信号、纯稳态肌电信号、以及稳态肌电信号与动态肌电信号的结合信号。
进一步地，步骤S2具体包括以下步骤：
步骤S21：将训练数据集进行加窗处理；
步骤S22：计算每个时间窗内的肌电特征，比较不同特征对动态肌电信号解码的影响，并进行特征提取；
步骤S23：生成满足分类器要求的输入样本。
进一步地，步骤S21具体为：用时间窗对动态肌电信号进行分割，通过重叠窗的形式将原始信号构造成多个样本；分割后的窗口数量采用下式计算：
进一步地，步骤S22中，肌电信号在进行意图解码中用到的特征包括时域特征、频域特征和时频域特征。
进一步地，步骤S3具体为：分类器采用卷积神经网络迁移学习方法，用经过步骤S1和步骤S2处理过的不同训练集离线训练卷积神经网络，得到训练好的分类器。
进一步地，步骤S5具体为：采用步骤S2的预处理方法，将步骤S4选取的用于测试的动态肌电信号构造成用于测试分类器的输入样本，然后离线测试各个训练好的分类器，选取解码正确率最高的分类器作为步骤S6在线意图解码所用的分类器，用于训练该分类器的训练集构造方案即为最优方案，相应的特征量即为最优动态肌电信号的特征。
进一步地，步骤S6具体为：从动态肌电信号开始按照时间窗分割方案移动并计算特征值，形成输入图片后输入已训练好的分类器，得出实时解码结果。
本发明首先需要选取用于构造训练集的肌电信号，其次对选取的肌电信号进行预处理，生成可用于输入分类器的输入样本集，并用构造好的训练集离线训练分类器，接着选取用于离线测试分类器的肌电信号，按照分类器解码准确率选出最佳训练集，以及最佳特征，将离线测试出的最佳分类器作为在线识别所用的分类器，将在线识别所得的识别结果作为人机接口的控制信号，实现肌电控制***的实时控制。
与现有技术相比，本发明有以下有益效果：
1、本发明可以实现基于动态肌电信号的意图解码，在减小延时方面具有较优的性能。
2、本发明可用于人机交互控制***中，通过动态表面表面肌电信号解码运动意图，用动态肌电信号解码结果作为人机交互***的控制信号，减小意图识别延时，实现基于肌电信号的人机交互***的实时控制。
附图说明
图1为本发明实施例的原理流程示意图。
图2为本发明实施例的肌电信号的三个阶段示意图。
图3为本发明实施例的动态肌电信号时间窗处理方式。
图4为本发明实施例的肌电信号预处理步骤。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于动态表面肌电信号的运动意图解码方法，包括以下步骤：
步骤S1：设计不同训练集构造方案；
步骤S2：对原始信号进行预处理；
步骤S3：训练分类器；
步骤S4：选取用来测试分类器的动态肌电信号；
步骤S5：测试训练好的分类器并选出最优特征和训练集构造方案；
步骤S6：在线意图解码。
本发明意在解决运动意图解码问题。通过选择合适的分类器、训练集以及特征，训练适合对动态肌电信号进行意图解码的分类器，实现在肌电控制***延时范围内对动态肌电信号意图解码的目的。
在本实施例中，步骤S1中，所述训练集包括三类，分别为纯动态肌电信号、纯稳态肌电信号、以及稳态肌电信号与动态肌电信号的结合信号。其中，肌电信号的三个阶段如图2所示。
在本实施例中，对于纯动态肌电信号，由于肌电信号提前于实际运动产生，选取前300ms的动态肌电信号即可反应运动意图，故本实施例中选取的动态肌电信号小于等于300ms。具体选取方案为：分别选取动态肌电信号前100ms、前150ms、前200ms、前250ms、前300ms构成不同的训练集。
在本实施例中，对于纯稳态肌电信号，分别选取肌电信号稳态部分的前100ms、前200ms、前300ms构成不同的训练集。
在本实施例中，动态肌电信号与稳态肌电信号的结合。将上述两类训练集构造形式中的构造方案两两结合，生成15种训练集构造方案，如下表所示：
在本实施例中，如图4所示，步骤S2具体包括以下步骤：
步骤S21：将训练数据集进行加窗处理；
步骤S22：计算每个时间窗内的肌电特征，比较不同特征对动态肌电信号解码的影响，并进行特征提取；
步骤S23：生成满足分类器要求的输入样本。将经过时间窗分割以及特征提取的肌电信号生成满足分类器输入形式的输入样本。
在本实施例中，步骤S21具体为：用时间窗对动态肌电信号进行分割，通过重叠窗的形式将原始信号构造成多个样本；分割后的窗口数量采用下式计算：
在本实施例中，步骤S22中，肌电信号在进行意图解码中用到的特征包括时域特征、频域特征和时频域特征。例如选取时域特征包括：波长、方差、均方根及绝对平均值，所述特征计算公式如下所示：
波长：
方差：
均方根：
绝对平均值：
其中，N是一个时间窗中采样点的个数，Xi为时间窗中的采样点。
在本实施例中，步骤S3具体为：肌电信号的动态部分数据量比较少,为了实现用少量数据训练分类器的目的，分类器采用卷积神经网络迁移学习方法，用经过步骤S1和步骤S2处理过的不同训练集离线训练卷积神经网络，得到训练好的分类器。
在本实施例中，步骤S4中，选取用来测试分类器的肌电信号。选取动态肌电信号作为测试分类器的测试集，例如，可以选择动态肌电信号的前100ms，前150ms，前200ms，前250ms，或者前300ms。
在本实施例中，步骤S5具体为：采用步骤S2的预处理方法，将步骤S4选取的用于测试的动态肌电信号构造成用于测试分类器的输入样本，然后离线测试各个训练好的分类器，选取解码正确率最高的分类器作为步骤S6在线意图解码所用的分类器，用于训练该分类器的训练集构造方案即为最优方案，相应的特征量即为最优动态肌电信号的特征。
在本实施例中，步骤S6具体为：从动态肌电信号开始按照步骤S2中的时间窗分割方案移动并计算特征值，形成输入图片后输入已训练好的分类器，得出实时解码结果。
在本实施例中，步骤S5、步骤S6中的解码结果选用多数投票的方式进行评估，解码正确率即为正确解码的测试集个数与全部测试集个数的比值。
本实施例首先需要选取用于构造训练集的肌电信号，其次对选取的肌电信号进行预处理，生成可用于输入分类器的输入样本集，并用构造好的训练集离线训练分类器，接着选取用于离线测试分类器的肌电信号，按照分类器解码准确率选出最佳训练集，以及最佳特征，将离线测试出的最佳分类器作为在线识别所用的分类器，将在线识别所得的识别结果作为人机接口的控制信号，实现肌电控制***的实时控制。
本实施例提出一种基于动态表面肌电信号的运动意图解码方法，意在解决运动意图解码问题。通过选择合适的分类器、训练集以及特征，训练适合对动态肌电信号进行意图解码的分类器，实现在肌电控制***延时范围内对动态肌电信号意图解码的目的。本实施例的优势主要在于：肌电信号的动态过程是静态到稳态过程的过渡阶段，而肌电信号用于控制***时，为了提高实时性，需要从动态肌电信号开始进行意图识别，已发表的肌电信号的意图解码方法都是针对稳态肌电信号，忽略了静态到稳态的过渡过程而产生延时，无法满足肌电信号控制***对实时性的要求。本实施例可以实现基于动态肌电信号的意图解码，在减小延时方面具有较优的性能。本实施例可用于人机交互控制***中，通过动态表面表面肌电信号解码运动意图，用动态肌电信号解码结果作为人机交互***的控制信号，减小意图识别延时，实现基于肌电信号的人机交互***的实时控制。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于动态表面肌电信号的运动意图解码方法，其特征在于：包括以下步骤：
步骤S1：设计不同训练集构造方案；
步骤S2：对原始信号进行预处理；
步骤S3：训练分类器；
步骤S4：选取用来测试分类器的动态肌电信号；
步骤S5：测试训练好的分类器并选出最优特征和训练集构造方案；
步骤S6：在线意图解码。
2.根据权利要求1所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S1中，所述训练集包括三类，分别为纯动态肌电信号、纯稳态肌电信号、以及稳态肌电信号与动态肌电信号的结合信号。
3.根据权利要求1所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S2具体包括以下步骤：
步骤S21：将训练数据集进行加窗处理；
步骤S22：计算每个时间窗内的肌电特征，比较不同特征对动态肌电信号解码的影响，并进行特征提取；
步骤S23：生成满足分类器要求的输入样本。
4.根据权利要求3所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S21具体为：用时间窗对动态肌电信号进行分割，通过重叠窗的形式将原始信号构造成多个样本；分割后的窗口数量采用下式计算：
5.根据权利要求3所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S22中，肌电信号在进行意图解码中用到的特征包括时域特征、频域特征和时频域特征。
6.根据权利要求1所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S3具体为：分类器采用卷积神经网络迁移学习方法，用经过步骤S1和步骤S2处理过的不同训练集离线训练卷积神经网络，得到训练好的分类器。
7.根据权利要求1所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S5具体为：采用步骤S2的预处理方法，将步骤S4选取的用于测试的动态肌电信号构造成用于测试分类器的输入样本，然后离线测试各个训练好的分类器，选取解码正确率最高的分类器作为步骤S6在线意图解码所用的分类器，用于训练该分类器的训练集构造方案即为最优方案，相应的特征量即为最优动态肌电信号的特征。
8.根据权利要求1所述的一种基于动态表面肌电信号的运动意图解码方法，其特征在于：步骤S6具体为：从动态肌电信号开始按照时间窗分割方案移动并计算特征值，形成输入图片后输入已训练好的分类器，得出实时解码结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910084116.0A CN109814716B (zh) | 2019-01-29 | 2019-01-29 | 一种基于动态表面肌电信号的运动意图解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910084116.0A CN109814716B (zh) | 2019-01-29 | 2019-01-29 | 一种基于动态表面肌电信号的运动意图解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109814716A true CN109814716A (zh) | 2019-05-28 |
| CN109814716B CN109814716B (zh) | 2021-07-27 |
Family
ID=66605546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910084116.0A Active CN109814716B (zh) | 2019-01-29 | 2019-01-29 | 一种基于动态表面肌电信号的运动意图解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109814716B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139578A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于最优训练集的深度学习图像分类方法及*** |
| CN114169375A (zh) * | 2021-12-11 | 2022-03-11 | 福州大学 | 一种基于力度无关鲁棒特征的肌电手势识别方法 |
| CN114169375B (zh) * | 2021-12-11 | 2024-07-26 | 福州大学 | 一种基于力度无关鲁棒特征的肌电手势识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014194609A1 (zh) * | 2013-06-04 | 2014-12-11 | 南京神桥医疗器械有限公司 | 一种基于肌电信号和传感器信号实现精细实时运动的控制方法 |
| CN106420124A (zh) * | 2016-10-10 | 2017-02-22 | 上海电机学院 | 一种肌电控制虚拟机器人假手仿真***的方法 |
| CN106693178A (zh) * | 2017-02-17 | 2017-05-24 | 福州大学 | 一种基于自主意愿的上肢康复功能性电刺激闭环控制方法 |
| CN108108654A (zh) * | 2017-09-19 | 2018-06-01 | 东华大学 | 一种基于多通道表面肌电信号的手绘轨迹重建方法 |
| CN108491077A (zh) * | 2018-03-19 | 2018-09-04 | 浙江大学 | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 |
| CN109199786A (zh) * | 2018-07-26 | 2019-01-15 | 北京机械设备研究所 | 一种基于双向神经接口的下肢康复机器人 |
-
2019
- 2019-01-29 CN CN201910084116.0A patent/CN109814716B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014194609A1 (zh) * | 2013-06-04 | 2014-12-11 | 南京神桥医疗器械有限公司 | 一种基于肌电信号和传感器信号实现精细实时运动的控制方法 |
| CN106420124A (zh) * | 2016-10-10 | 2017-02-22 | 上海电机学院 | 一种肌电控制虚拟机器人假手仿真***的方法 |
| CN106693178A (zh) * | 2017-02-17 | 2017-05-24 | 福州大学 | 一种基于自主意愿的上肢康复功能性电刺激闭环控制方法 |
| CN108108654A (zh) * | 2017-09-19 | 2018-06-01 | 东华大学 | 一种基于多通道表面肌电信号的手绘轨迹重建方法 |
| CN108491077A (zh) * | 2018-03-19 | 2018-09-04 | 浙江大学 | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 |
| CN109199786A (zh) * | 2018-07-26 | 2019-01-15 | 北京机械设备研究所 | 一种基于双向神经接口的下肢康复机器人 |
Non-Patent Citations (1)
| Title |
|---|
| G. KANITZ 等: "Classification of Transient Myoelectric Signals for the Control of Multi-Grasp Hand Prostheses", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139578A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于最优训练集的深度学习图像分类方法及*** |
| CN114169375A (zh) * | 2021-12-11 | 2022-03-11 | 福州大学 | 一种基于力度无关鲁棒特征的肌电手势识别方法 |
| CN114169375B (zh) * | 2021-12-11 | 2024-07-26 | 福州大学 | 一种基于力度无关鲁棒特征的肌电手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109814716B (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lyon | Machine hearing: An emerging field [exploratory dsp] | |
| CN108986835B (zh) | 基于改进gan网络的语音去噪方法、装置、设备及介质 | |
| CN110659573B (zh) | 一种人脸识别方法、装置、电子设备及存储介质 | |
| Avila et al. | Feature pooling of modulation spectrum features for improved speech emotion recognition in the wild | |
| Padi et al. | Improved speech emotion recognition using transfer learning and spectrogram augmentation | |
| WO2023050650A1 (zh) | 动画视频生成方法、装置、设备及存储介质 | |
| CN108491808B (zh) | 用于获取信息的方法及装置 | |
| CN110163181A (zh) | 手语识别方法及装置 | |
| CN110087143A (zh) | 视频处理方法和装置、电子设备及计算机可读存储介质 | |
| CN111598979A (zh) | 虚拟角色的面部动画生成方法、装置、设备及存储介质 | |
| CN115225829A (zh) | 一种视频生成方法及装置、计算机可读存储介质 | |
| CN106227792A (zh) | 用于推送信息的方法和装置 | |
| CN110443113A (zh) | 一种虚拟现实书写方法、***和存储介质 | |
| CN108345873A (zh) | 一种基于多层卷积神经网络的多自由度人体运动信息解析方法 | |
| CN113555032A (zh) | 多说话人场景识别及网络训练方法、装置 | |
| CN110232928B (zh) | 文本无关说话人验证方法和装置 | |
| CN110032987A (zh) | 一种基于小脑神经网络模型的表面肌电信号分类方法 | |
| CN109814716A (zh) | 一种基于动态表面肌电信号的运动意图解码方法 | |
| Iqbal et al. | Deepfake Audio Detection Via Feature Engineering And Machine Learning. | |
| CN111062022B (zh) | 基于扰动视觉反馈的滑块验证方法、装置、电子设备 | |
| CN116959464A (zh) | 音频生成网络的训练方法、音频生成方法以及装置 | |
| CN103839047A (zh) | 一种人体运动轨迹的识别方法及装置 | |
| McDowell et al. | Efficiency of the KLT on Voiced & Unvoiced Speech as a function of segment size | |
| CN113571063A (zh) | 语音信号的识别方法、装置、电子设备及存储介质 | |
| Zenkoyoh et al. | Surprise generator for virtual KANSEI based on human surprise characteristics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |