CN110141232A - 用于鲁棒肌电信号识别的数据增强方法 - Google Patents

Abstract

本发明公开了一种用于鲁棒肌电信号识别的数据增强方法，包括：采集电极在基准位置的肌电信号；对采集到的肌电信号进行数据分割和特征提取，构建初步的肌电特征图像；根据重新佩戴电极后可能的偏移位置，对初步的肌电特征图像进行数据增强，得到用于鲁棒肌电信号识别的数据集。上述方法，针对电极可能的偏移情况，进行相应的数据增强以模拟偏移情况下的肌电信号特征，可以确保肌电信号识别的高准确性和控制鲁棒性。

Description

用于鲁棒肌电信号识别的数据增强方法

技术领域

本发明涉及肌电信号识别领域，尤其涉及一种用于鲁棒肌电信号识别的数据增强方法。

背景技术

表面肌电信号是肌肉收缩时伴随的电生理信号，它与肌肉的活动密切相关，包含了丰富的肌肉运动信息，由于其具有检测无创性的优点，已经广泛应用于假肢控制和手势识别等领域。模式识别和机器学习是该领域所采用的重要技术，它们通过表面肌电信号提取出的特征构建分类器，能够很好地解析和识别不同信号下肌肉的活动状态。然而，分类器对于电极的配置十分敏感，包括电极间距、电极大小、电极放置位置等。在实际应用中，由于重新穿戴电极后会不可避免地造成电极佩戴位置偏移，之前的肌电信号构建的分类器的性能会急剧下降，但如果重新采集肌电信号构建分类器又会带给使用者极大的训练负担，这一问题严重阻碍了肌电信号的在实际中的应用。

针对电极偏移问题，有方法通过采集所有可能的偏移位置的肌电信号共同构建分类器，也有方法通过采集少量当前偏移位置的肌电信号调整分类器，这两种方法仍然伴随着一定的训练负担。有方法通过增大电极面积降低偏移前后信号间的差异，但这种减少空间分辨率的方法也同时降低了动作模式间的分离程度，使得识别类别减少、识别率下降。另一方面，随着高密度表面电极技术的发展和应用，有方法利用高密度阵列信号的空间信息提取鲁棒的特征或者分析空间的相关性解决电极偏移问题。值得注意的是，这些方法用一次采集的高密度阵列信号，选取相邻通道进行模拟电极偏移，测试和训练集是同时采集的数据，存在有性能被高估的偏差。

近些年，深度学***移不变性，由此可以引入来解决电极偏移问题。然而，卷积神经网络需要大量数据，因此会存在训练负担。如何采用数据驱动的方法生成多样数据，是保证卷积神经网络成功用于鲁棒肌电控制的有效方法，但是，目前没有较为有效的方案。

发明内容

本发明的目的是提供一种用于鲁棒肌电信号识别的数据增强方法，针对电极可能的偏移情况，进行相应的数据增强以模拟偏移情况下的肌电信号特征，有利于确保肌电信号识别的高准确性和控制鲁棒性。

本发明的目的是通过以下技术方案实现的：

一种用于鲁棒肌电信号识别的数据增强方法，包括：

采集电极在基准位置的肌电信号；

对采集到的肌电信号进行数据分割和特征提取，构建初步的肌电特征图像；

根据重新佩戴电极后可能的偏移位置，对初步的肌电特征图像进行数据增强，得到用于鲁棒肌电信号识别的数据集。

由上述本发明提供的技术方案可以看出，只需采集一次基准位置的肌电信号后，即可针对可能的偏移情况进行相应的数据增强，以模拟偏移情况下的肌电信号特征，当重新穿戴电极后发生偏移的情况下也能对各个动作模式进行较为准确的识别，无需附加任何校准或者重新训练的过程。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种通过数据增强方法实现动作模式准确预测的流程图；

图2为本发明实施例提供的一种肌电采集设备及电极放置位置示意图；

图3为本发明实施例提供的一种数据增强流程示意图；

图4为本发明实施例提供的一种电极偏移示意图；

图5为本发明实施例提供的一种卷积神经网络结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明基于与动作模式相关的肌肉激活区域呈现相对一致的二维空间模式的假设。当电极阵列发生偏移后，电极阵列覆盖的区域与初始位置相比仍有较大的重叠，且重叠区域的肌电特征图像基本一致，相当于肌电特征图像在电极阵列的二维空间上发生了一定的位移。因此，可以通过对基准位置的肌电特征图像进行各个方向的平移和裁剪，模拟各种可能的偏移情况的数据。在上述数据增强方案的基础上，还设计基于卷积神经网络的模型结构，将增强后的数据集送入分类模型进行训练，由分类模型学习到各种偏移情况下各个动作模式的共同特征，训练好的模型在重新穿戴电极后发生偏移的情况下也能对各个动作模式进行较为准确的识别，无需附加任何校准或者重新训练的过程，从而解决电极偏移对肌电信号识别带来的消极影响。整体流程如图1所示，其中的步骤1～3为数据增强流程，步骤4～5为基于增强方法实现动作模式准确预测的流程，具体步骤如下：

1、采集电极在基准位置的肌电信号。

本发明实施例中，所述电极为p×q的密度合理的电极阵列，其中，p为行通道数，q为列通道数；采集电极阵列在基准位置的k种动作模式和静息状态下的肌电信号；所采集到的信号作为基准位置训练集；所述的基准位置可以是预先设定的位置。

示例性的，如图2所示，可选取行5块4×4(行通道数和列通道数均为4)的高密度柔性电极阵列(电极间距为10mm)组成环形臂带，选择前臂指伸肌群作为采集对象，将整个臂带均匀地覆盖前臂一圈，相当于环绕了一个4×20的电极阵列。假设k＝8，采集8种动作模式(手势运动)：握拳与伸掌、内旋与外旋、伸腕与屈腕、对指和射击。每个动作均采集8次，每次保持中等力的等长收缩5秒，且运动过程之间给予受试者充分的休息时间。采集5秒的静息状态下的肌电信号。

2、对采集到的肌电信号进行数据分割和特征提取，构建初步的肌电特征图像。

本步骤优选实施方式如下：

1)利用滑动窗技术，将肌电信号流分割为小段分析窗，窗长为W，滑动增量为L。

示例性的，可设置W＝256ms，L＝128ms。

2)选取静息状态下肌电信号的分析窗，计算静息状态阈值Th，利用Th判断所有分析窗是否为肌肉收缩状态下的数据，若是，则打上相应动作模式标签并作为样本数据。

示例性的，静息状态阈值Th由静息状态下所有通道肌电信号的平均值加上三倍的标准差而得。

3)对每一个样本数据内的每一个通道的肌电信号提取c个特征，从而将每一个样本数据构建为初步的二维肌电特征图像，其长为p，宽为q，色彩通道数为c

示例性的，可以提取四个时域特征：平均绝对值(MAV)、过零点数(ZC)、斜率符号变化数(SSC)和波形长度(WL)。

如图3中的(a)部分，其显示了一个色彩通道的二维肌电特征图像。

3、根据重新佩戴电极后可能的偏移位置，对初步的肌电特征图像进行数据增强。

本步骤优选实施方式如下：

1)根据重新佩戴电极后可能的偏移位置，将初步的肌电特征图像四周均填充i个像素点，扩展成(p+2i)×(q+2i)的肌电特征图像；如果电极的某一边与另一边在空间上有连续性，则在其旁边填充与其相邻的那一边，如图2的示例中，臂带环绕手臂一圈，则电极的某一边与另一边在空间上有连续性是指由于臂带环绕手臂一圈后首尾相接，致使第一列和最后一列实际是相邻的。如果电极的某一边是孤立的，则在其旁填充任意合法数值，图3所示，由于臂带环绕手臂一圈首尾相接，(a)的第一列和最后一列在空间上实际是连续的，孤立的指的就是(a)的第一行和最后一行。合法数值指的是在每个色彩通道的实际取值范围之中，例如(a)是某个特征通道下(即色彩通道)4×20的特征图像，假设根据该特征的计算公式每个点的取值范围是0-100，则合法数值即为0-100中的任意一个数值。

如图4所示，重新佩戴电极后可能的偏移位置主要包括：近端平移和远端平移，内侧旋转和外侧旋转。

以长p＝4、宽q＝20的臂带环绕手臂一圈，色彩通道数c＝4为例，将所有4x20的初始二维肌电特征图像四周均填充1个像素点，扩展成6×22的图像：其中第一行和最后一行均填充0；考虑到整个臂带空间上的连续性，第一列填充原始图像的最后一列，最后一列填充原始图像的第一列，最终图像如图3的(b)部分所示。

2)利用图像领域的插值方法，将扩展后的(p+2i)×(q+2i)肌电特征图像插值S倍，构建成m×n肌电特征图像，其长m＝S×(p+2i)，宽n＝S×(q+2i)；再采用一个a×b的滑动窗口在m×n肌电特征图像上剪裁出所有大小为a×b的子图像，其中a＝S×p，b＝S×q；上述方式，对于每个原始图像样本，可以获得4S²i²个a×b图像样本，相当于对原始数据增强了4S²i²倍。

示例性的，将上个子步骤1)得到的每一个扩展后的6×22肌电特征图像插值5倍，构建成较高分辨率的30×110肌电特征图像，其长m＝30，宽n＝110，如图3的(c)部分所示。最后，在该图像上面剪裁出所有大小为20×100的子图像，具体采用一个20×100的滑动窗口，从左上角的位置沿着水平或垂直的方向，每移动1个像素点就截取当前窗口的数据。在截取所有可能的位置后，对于每个原始图像样本，可以获得100个20×100图像样本，相当于对原始数据增强了100倍。

4、利用数据增强得到的数据集训练预先构建的基于卷积神经网络的分类模型。

本步骤优选实施方式如下：

1)设计基于卷积神经网络的模型结构作为分类器。

2)将数据增强得到的数据集作为基于卷积神经网络的分类模型的输入，对基于卷积神经网络的分类模型中的超参数调整优化后，得到最优的超参数。

示例性的，优化后的模型参数如图5所示，其中，conv代表卷积层，MaxPooling2D代表2维的最大池化层，Flatten代表展平层，Dense代表全连接层。卷积层方框包含了卷积核的大小，核的数目，如“3x3conv,32”代表卷积层的卷积核的大小为3x3，核数为64。

3)利用最优超参数建立分类模型，再利用数据增强得到的数据集对分类模型进行训练，得到训练好的基于卷积神经网络的分类模型。

示例性的，训练方法可选择梯度下降法。

5、利用训练好的基于卷积神经网络的分类模型，对重新佩戴电极后采集到的肌电信号进行动作模式预测。

本步骤对应于图1中的决策阶段：重新佩戴电极时，电极位置尽量与基准位置一致，采集每一动作模式下的肌电信号，并构建初步的肌电特征图像；将初步的肌电特征图像插值S倍后，输入至训练好的基于卷积神经网络的分类模型，得到动作模式预测结果。

示例性的，可采集8种动作模式的肌电信号并由步骤2构建4x20肌电特征图像。将上述图像插值5倍，构建成较高分辨率的20×100肌电特征图像作为测试集，直接输入步骤4构建好的分类模型中进行测试，即可得到动作模式的准确预测。

本发明实施例上述方法，基于与动作模式相关的肌肉激活区域呈现相对一致的二维空间模式的假设，对初始位置的二维肌电特征图像插值后进行各个方向的平移和裁剪，模拟各种可能的偏移情况的数据。将增强后的数据集送入基于卷积神经网络构建的模型中，让模型学习到各种偏移情况下各个动作模式的共同特征。训练好的模型在重新穿戴电极后发生偏移的情况下也能进行较为准确的识别，无需附加任何校准或者重新训练的过程，从而解决电极偏移对肌电信号识别带来的消极影响。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，包括：

采集电极在基准位置的肌电信号；

对采集到的肌电信号进行数据分割和特征提取，构建初步的肌电特征图像；

根据重新佩戴电极后可能的偏移位置，对初步的肌电特征图像进行数据增强，得到用于鲁棒肌电信号识别的数据集。

2.根据权利要求1所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，所述采集电极在基准位置的肌电信号包括：

所述电极为p×q的一定密度的电极阵列，其中，p为行通道数，q为列通道数；

采集电极阵列在基准位置的k种动作模式和静息状态下的肌电信号。

3.根据权利要求1或2所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，所述对采集到的肌电信号进行数据分割和特征提取，构建初步的肌电特征图像

利用滑动窗技术，将肌电信号流分割为小段分析窗，窗长为W，滑动增量为L；

选取静息状态下肌电信号的分析窗，计算静息状态阈值Th，利用Th判断所有分析窗是否为肌肉收缩状态下的数据，若是，则打上相应动作模式标签并作为样本数据；

对每一个样本数据内的每一个通道的肌电信号提取c个特征，从而将每一个样本数据构建为初步的二维肌电特征图像。

4.根据权利要求1所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，所述根据重新佩戴电极后可能的偏移位置，对初步的肌电特征图像进行数据增强包括：

根据重新佩戴电极后可能的偏移位置，将初步的肌电特征图像四周均填充i个像素点，扩展成(p+2i)×(q+2i)的肌电特征图像；其中，p为电极阵列的行通道数，q为电极阵列的列通道数；

利用图像领域的插值方法，将扩展后的(p+2i)×(q+2i)肌电特征图像插值S倍，构建成m×n肌电特征图像，其长m＝S×(p+2i)，宽n＝S×(q+2i)；再采用一个a×b的滑动窗口在m×n肌电特征图像上剪裁出所有大小为a×b的子图像，其中a＝S×p，b＝S×q。

5.根据权利要求1所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，该方法还包括：

利用数据增强得到的数据集训练预先构建的基于卷积神经网络的分类模型；

利用训练好的基于卷积神经网络的分类模型，对重新佩戴电极后采集到的肌电信号进行动作模式预测。

6.根据权利要求5所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，所述利用数据增强得到的数据集训练预先构建的基于卷积神经网络的分类模型包括：

将数据增强得到的数据集作为基于卷积神经网络的分类模型的输入，对基于卷积神经网络的分类模型中的超参数调整优化后，得到最优的超参数；

利用最优超参数建立分类模型，再利用数据增强得到的数据集对分类模型进行训练，得到训练好的基于卷积神经网络的分类模型。

7.根据权利要求5或6所述的一种用于鲁棒肌电信号识别的数据增强方法，其特征在于，所述利用训练好的基于卷积神经网络的分类模型，对重新佩戴电极后采集到的肌电信号进行动作模式预测包括：

重新佩戴电极时，电极位置尽量与基准位置一致，采集每一动作模式下的肌电信号，并构建初步的肌电特征图像；

将初步的肌电特征图像插值S倍后，输入至训练好的基于卷积神经网络的分类模型，得到动作模式预测结果。