CN110598676A - 基于置信度得分模型的深度学习手势肌电信号识别方法 - Google Patents

Abstract

基于置信度得分模型的深度学习手势肌电信号识别方法，包含以下步骤：采集的肌电原始数据并进行预处理；预处理之后使用标签分别标注类别，然后每一个类别通过滑动窗口分割为多段数据；将数据划分为训练与测试数据，将训练与测试数据分别随机排序；对所有数据进行归一化操作；使用离散傅里叶变换转换为频谱数据，依据频谱计算出每个频率的能量，不同频率能量组成序列作为分类模型的输入；使用卷积神经网络模型与残差网络模型两种分类方法，原始肌电数据与频谱数据两种数据集，一共4种组合构成4个分类模型，模型分别单独进行训练；获取各个模型对手势的识别结果，使用置信度得分组合各个不同模型的结果，置信度总评分最高的为最终结果。

Description

基于置信度得分模型的深度学习手势肌电信号识别方法

技术领域

本发明属于生物信号处理领域，具体涉及一种基于置信度得分模型的深度学习手势肌电信号识别方法。

背景技术

肌电信号是众多肌纤维中运动单元动作电位(MotorUnitAction Potential，MUAP)在时间和空间上的叠加。用肌电仪记录下来的肌电信号，由记录方式的不同可以分为：表面肌电信号和针电极肌电信号，它们都包含了肌肉的解剖学和生理学特性。表面肌电信号(surface Electromyography，sEMG)是浅层肌肉肌电信号和神经干上电活动在皮肤表面的综合效应，能在一定程度上反映神经肌肉的活动。相对于针电极肌电信号，表面肌电信号在测量上具有非侵入性、无创伤、操作简单等优点。因而，表面肌电信号在临床医学、康复医学与人机接口等方面均有重要的应用价值。

基于表面肌电信号的手势识别是人机接口的重要研究领域。传统的肌电手势识别流程可以分为以下步骤。首先，人工设计特征与提取特征所需要的数学方法。常用的人工特征有均方根与平均值，频谱特征也是传统方法经常采用的一种特征，它表示了信号在频域上的某些全局特性，观察频谱特征容易发现不同手势在各个频段上具有显著差异。然后，组合不同的特征构成特征集合，特征集合一般由向量表示。接着，对高维数的向量使用主成分分析等方法降低维度。最后，使用机器学习方法将包含特征的向量映射到不同类别，达到手势分类的目的。

传统识别方法的缺陷是，在手势类别较多的情况分类准确率不高，应用场景有限。近年来，深度学习方法开始被应用于肌电手势信号的识别。研究表明，肌电信号采用深度学习方法自动提取的特征，比传统的人工设计的特征效果更好，特别是在类别较多的分类任务上更是有显著的提升。在手势识别应用场景，深度学习方法以循环神经网络(RecurrentNeuralNetwork，RNN)与卷积神经网络(Convolutional NeuralNetwork，CNN)较为常用。循环神经网络对较长序列识别能力较为有限，特别是序列长度是上百数量级的肌电信号，时间上较晚的数据对循环神经网络的影响要大于早期数据，导致早期数据在识别结果上只有较小的权重。卷积神经网络能够发现整体序列的相关特征，较长的序列长度能够令识别更加准确，因此适合用于肌电分类任务。由于深度学习方法的特征的自动提取过程是不可见的，模型的偏差无法人工修正，单一模型往往还存在较高的识别错误率。

发明内容

本发明针对单一模型的不足，提出了采用了多模型相结合的肌电识别算法。在对原始数据进行频谱与滤波处理之后，使用深度神经网络模型提取特征。研究表明存在特征差异的模型，其组合能够有效降低总体的错误率。因此，本发明通过不同模型结构与不同数据集相结合，训练出差异化模型，然后通过置信度得分综合多个模型的识别结果，以提升识别率。

基于置信度得分模型的深度学习手势肌电信号识别方法，包含以下步骤：

步骤1：肌电数据获取；采用电极设备获取原始肌电信号，采集的肌电原始数据，并进行预处理，包括带通滤波与异常点去除；预处理之后的肌电信号使用标签分别标注类别，然后每一个类别通过滑动窗口分割为多段数据；接着，将数据划分为训练与测试数据，将训练与测试数据分别随机排序；最后对所有数据进行归一化操作；

步骤2：频谱变换；预处理之后的肌电数据使用离散傅里叶变换转换为频谱数据，频谱变换过程中需要汉明窗口平滑，依据频谱计算出每个频率的能量，不同频率能量组成序列作为分类模型的输入；

步骤3：模型训练；使用卷积神经网络模型与残差网络模型两种分类方法，原始肌电数据与频谱数据两种数据集，一共4种组合构成4个分类模型，模型分别单独进行训练；训练过程使用交叉验证方法防止过拟合；

步骤4：模型组合；获取各个模型对手势的识别结果，使用置信度得分组合各个不同模型的结果，置信度总评分最高的为最终结果。

进一步地，步骤1中，获取原始肌电信号的电极设备为贴片电极共12个，电极通过导线连接到信号采集设备，贴片电极位于手臂处或者手腕处，采样频率采用高于2000Hz的高频采样方式。

进一步地，步骤1中，滑动窗口分割中，具体为分割为100ms至300ms之间大小的信号，并且有20ms长度的滑动步长，分割的信号不大于300ms。

进一步地，步骤2中，频谱变换通过离散傅里叶变换进行，如公式如(1)所示，对于N点序列{x[n]}，0≤n＜N，有：

其中e是自然对数的底数，i是虚数单位；

计算频谱变换后每个频率的能量值得到能量谱图，取能量谱图中对应肌电信号数值较为集中的频率范围的数值，作为特征点。

进一步地，步骤3中，根据权利要求1所述的基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：步骤3中，训练模型使用的代价函数是交叉熵，如公式(2)所示：

其中，C表示代价，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；

代价函数的值模型学习的依据，模型根据代价使用反向传播方法学习，反向传播如(3)所示：

其中，表示第l层的第j个神经元的输出，表示第l-1层的第k个神经元连接到第l层的第j个神经元的权重表示第l层的第j个神经元的偏置，σ表示激活函数。

使用交叉熵代价与反向传播方法训练得到的模型，能够预测肌电数据对应的手势。

进一步地，步骤4中，置信度得分方法是对所有分类器的结果进行平权相加，最终结果由每个手势的的分决定，具体步骤如下：步骤4-1，在一个分类任务中，用模型预测单一肌电信号，将产生一个手势和对应的置信度得分；假设总共N个肌电信号，那么将产生N个手势与对应的置信度得分；

步骤4-2，假设一共有M个模型参与分类任务，对于单一肌电信号，将会有M个手势与置信度得分，将手势相同的置信度得分相加。置信度得分最高的那一个手势，将作为单一肌电信号的最终手势；

步骤4-3，对分类任务的N个肌电信号重复步骤4-2的方法，将会得到所有N个肌电信号的最终手势。

本发明的有益成果：

(1)通过综合多个模型的特征与结果，克服了单一模型存在的特征提取的偏差，可以有效降低识别的错误率。

(2)传统的模型组合，通过分类方法的不同构成模型的差异化，而本发明采用了数据集多样性的方法，进一步增加了模型之间的差异性以及模型的多样性。

(3)本发明采用残差网络模型作为组合模型之一，残差网络可以限制模型的过拟合程度，有效抑制模型深度过深带来的负面影响。

附图说明

图1为原始数据转换为频谱数据的流程图。

图2为深度学习置信度得分模型架构说明图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：包含以下步骤：

步骤1：肌电数据获取；采用电极设备获取原始肌电信号，采集的肌电原始数据，并进行预处理，包括带通滤波与异常点去除；预处理之后的肌电信号使用标签分别标注类别，然后每一个类别通过滑动窗口分割为多段数据；接着，将数据划分为训练与测试数据，将训练与测试数据分别随机排序；最后对所有数据进行归一化操作。

步骤2：频谱变换；预处理之后的肌电数据使用离散傅里叶变换转换为频谱数据，频谱变换过程中需要汉明窗口平滑，依据频谱计算出每个频率的能量，不同频率能量组成序列作为分类模型的输入。

步骤3：模型训练；使用卷积神经网络模型与残差网络模型两种分类方法，原始肌电数据与频谱数据两种数据集，一共4种组合构成4个分类模型，模型分别单独进行训练；训练过程使用交叉验证方法防止过拟合。

步骤4：模型组合；获取各个模型对手势的识别结果，使用置信度得分组合各个不同模型的结果，置信度总评分最高的为最终结果。

步骤1中，获取原始肌电信号的电极设备为贴片电极共12个，电极通过导线连接到信号采集设备，贴片电极位于手臂处或者手腕处，采样频率采用高于2000Hz的高频采样方式。

步骤1中，滑动窗口分割中，具体为分割为100ms至300ms之间大小的信号，并且有20ms长度的滑动步长，分割的信号不大于300ms。因为实际应用中采集信号所用的时间决定了信号的长度，也决定了***的延时。深度学习方法不同于传统的分类方法，模型需要大量数据进行训练，数据不足往往会导致过拟合，预测准确率较低。因此，较小的滑动步长可以得到大量数据，使深度模型能够得到充分的训练。

接着，是对信号全体执行归一化操作，归一化操作的好处，一是可以使得梯度下降方向更加偏向最优解的方向，提高模型的收敛速度。二是提升模型的精度，因为部分通道的肌电信号相比于其他通道具有较小的数量级。归一化操作减轻了数据数量级差异对模型的影响，保证了结果的可靠性。

步骤2中，整个频谱变换过程如图1所示。频谱变换通过离散傅里叶变换进行，如公式如(1)所示，对于N点序列{x[n]}，0≤n＜N，有：

其中e是自然对数的底数，i是虚数单位；

频谱变换将时域信号投影到了频域，更有利于分析肌电信号的整体特征。计算频谱变换后每个频率的能量值得到能量谱图，取能量谱图中对应肌电信号数值较为集中的频率范围的数值，作为特征点。

步骤3中，本发明采用卷积神经网络与残差网络两种模型。卷积神经网络是一种表示学习模型，向模型输入原始数据，模型就能够自动发现用于分类的特征。残差网络在是卷积神经网络的改进，它在原有模型基础上引入残差连接操作，因此模型的训练速度更快，而且解决了深层卷积网络容易出现的梯度消失问题。

研究表明，使用相同数据集的不同编码方式训练模型，模型提取的特征会有所不同。频谱数据是时序数据经过线性变换得到的，因此可以看作是时序数据的另一种编码方式。因此，结构相同的两个模型，使用时序数据与频谱数据分别训练，模型将在提取的特征上具有差异，也就使得分类结果存在差异。

训练模型使用的代价函数是交叉熵，如公式(2)所示：

其中，C表示代价，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；

代价函数的值模型学习的依据，模型根据代价使用反向传播方法学习，反向传播如(3)所示：

其中，表示第l层的第j个神经元的输出，表示第l-1层的第k个神经元连接到第l层的第j个神经元的权重表示第l层的第j个神经元的偏置，σ表示激活函数。

使用交叉熵代价与反向传播方法训练得到的模型，能够预测肌电数据对应的手势。

步骤4中，假设有一个分类任务，与一系列能够单独完成这个分类任务的模型，而且它们产生的分类错误并不完全是由相同的原因造成的，那么对这些分类器的结果进行平均将会降低整体的分类错误率。置信度得分方法是对所有分类器的结果进行平权相加，最终结果由每个手势的的分决定，具体步骤如下：步骤4-1，在一个分类任务中，用模型预测单一肌电信号，将产生一个手势和对应的置信度得分；假设总共N个肌电信号，那么将产生N个手势与对应的置信度得分；

步骤4-2，假设一共有M个模型参与分类任务，对于单一肌电信号，将会有M个手势与置信度得分，将手势相同的置信度得分相加。置信度得分最高的那一个手势，将作为单一肌电信号的最终手势；

步骤4-3，对分类任务的N个肌电信号重复步骤4-2的方法，将会得到所有N个肌电信号的最终手势。

使用模型数M＝4为例。数据大小N可以是任意大小。具体架构如图2所示。模型分别是CNN_1,CNN_2,Res_1和Res_2。其中CNN_1和CNN_2是结构相同的卷积神经网络，Res_1和Res_2是结构相同的残差网络。但是CNN_2和Res_2增加了频谱变换，它们与原模型在特征上具有差异。4个模型使用置信度得分的方法将得到架构整体的最终结果。

置信度得分计算复杂度低，占用的运算资源少，速度快，占用的运算资源远远低于深度模型，而且它支持M模型的并行运算，因此能够应用于实时性高的手势分类任务中。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：包含以下步骤：

步骤1：肌电数据获取；采用电极设备获取原始肌电信号，采集的肌电原始数据，并进行预处理，包括带通滤波与异常点去除；预处理之后的肌电信号使用标签分别标注类别，然后每一个类别通过滑动窗口分割为多段数据；接着，将数据划分为训练与测试数据，将训练与测试数据分别随机排序；最后对所有数据进行归一化操作；

步骤2：频谱变换；预处理之后的肌电数据使用离散傅里叶变换转换为频谱数据，频谱变换过程中需要汉明窗口平滑，依据频谱计算出每个频率的能量，不同频率能量组成序列作为分类模型的输入；

步骤3：模型训练；使用卷积神经网络模型与残差网络模型两种分类方法，原始肌电数据与频谱数据两种数据集，一共4种组合构成4个分类模型，模型分别单独进行训练；训练过程使用交叉验证方法防止过拟合；

步骤4：模型组合；获取各个模型对手势的识别结果，使用置信度得分组合各个不同模型的结果，置信度总评分最高的为最终结果。

2.根据权利要求1所述的基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：步骤1中，获取原始肌电信号的电极设备为贴片电极共12个，电极通过导线连接到信号采集设备，贴片电极位于手臂处或者手腕处，采样频率采用高于2000Hz的高频采样方式。

3.根据权利要求1所述的基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：步骤1中，滑动窗口分割中，具体为分割为100ms至300ms之间大小的信号，并且有20ms长度的滑动步长，分割的信号不大于300ms。

4.根据权利要求1所述的基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：步骤2中，频谱变换通过离散傅里叶变换进行，如公式如(1)所示，对于N点序列{x[n]}，0≤n＜N，有：

其中e是自然对数的底数，i是虚数单位；

计算频谱变换后每个频率的能量值得到能量谱图，取能量谱图中对应肌电信号数值较为集中的频率范围的数值，作为特征点。

5.根据权利要求1所述的基于置信度得分模型的深度学习手势肌电信号识别方法，其特征在于：步骤3中，训练模型使用的代价函数是交叉熵，如公式(2)所示：

其中，C表示代价，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；

代价函数的值模型学习的依据，模型根据代价使用反向传播方法学习，反向传播如(3)所示：

其中，表示第l层的第j个神经元的输出，表示第l-1层的第k个神经元连接到第l层的第j个神经元的权重表示第l层的第j个神经元的偏置，σ表示激活函数。

使用交叉熵代价与反向传播方法训练得到的模型，能够预测肌电数据对应的手势。

6.根据权利要求1所述的基于置信度得分模型的深度学***权相加，最终结果由每个手势的的分决定，具体步骤如下：步骤4-1，在一个分类任务中，用模型预测单一肌电信号，将产生一个手势和对应的置信度得分；假设总共N个肌电信号，那么将产生N个手势与对应的置信度得分；

步骤4-2，假设一共有M个模型参与分类任务，对于单一肌电信号，将会有M个手势与置信度得分，将手势相同的置信度得分相加。置信度得分最高的那一个手势，将作为单一肌电信号的最终手势；

步骤4-3，对分类任务的N个肌电信号重复步骤4-2的方法，将会得到所有N个肌电信号的最终手势。