CN108874149A - 一种基于表面肌电信号连续估计人体关节角度的方法 - Google Patents

Abstract

本发明属于人机交互领域，并公开了一种基于表面肌电信号连续估计人体关节角度的方法。该方法包括下列步骤：(a)选取待预测对象的关节部位，采集其关节部位的肌电信号及关节角度信号；(b)对采集的肌电信号和关节角度信号分别进行预处理；(c)利用预处理后的肌电信号和关节角度信号，采用稀疏伪输入高斯过程回归算法构建关于肌电信号和关节角度信号的预测模型；(d)采集待预测对象的实时肌电信号输入预测模型中，以此获得所需的关节角度信号。通过本发明，以连续的方式实现表面肌电信号映射到关节角度上的运动，保证连续估计的实时性，提高预测准确性，降低计算复杂度。

Description

一种基于表面肌电信号连续估计人体关节角度的方法

技术领域

本发明属于人机交互领域，更具体地，涉及一种基于表面肌电信号连续估计人体关节角度的方法。

背景技术

“人机自然交互”作为其中重要的组成模块备受人们的关注，人体表面肌电信号(sEMG)因其易于采集、包含人体运动意图信息及其信号发生超前于运动的特点，故可作为人机交互的接口，用以实现人机自然交互。目前以表面肌电信号为人机接口的商业设备通常受限于运动范围，感官反馈和直观控制方面的有限功能，尽管设备的机械结构具有多自由度，能够完成灵活的动作，但受制于人体意图识别的可靠性，人机交互设备不得不采用简单的阈值控制进行开关控制或者通过模式识别进行有限的、离散的模式控制。

目前，模式识别方法对人体运动意图的预估体现在对预先设定模式的分类结果上，模式识别的方法通常被认为具有以下的两个特点：①控制的离散性，模式识别的结果为N种预先设定的类别之一，其目标空间是一个离散且固定的空间{类别1，类别2……类别N}，仅为人体连续的运动空间中无数采样点中的极少部分特殊样本；②控制的顺序性，模式识别的结果不会同时属于两个类别，所以模式识别结果的执行过程是顺序性的；模式识别的这两个特点是其与人体自然运动的核心差异所在，人体能够在目标空间连续的控制多种运动模式(不在预先设定的模式内)，也能在模式A执行的过程中随时切换至模式B，也可以在连续的运动空间中对模式A进行细微调整，因此，尽管模式识别能够准确识别多种模式，但是相对于人体自然的运动而言，采用模式识别这种方法实现人机交互是不自然的，主要是因其目标空间是离散的，而人体得到自然运动是一个连续过程，故模式识别控制的顺序性不符合人体的自然运动。

连续估计的方法能有效克服模式识别在人体运动意图预估上的缺点，成为了在连续运动空间实现自然人机交互的一种方式。但是，由于连续估计的方法将预测范围扩展至整个关节的连续运动空间而不是预先设定的某些运动模式，所以连续估计的方法对算法有以下两点要求：(1)高非线性映射能力，高的非线性映射能力能提高在人体连续的运动空间预测的准确性；(2)算法输出时低的计算复杂度，低的计算复杂度能保证人机交互的实时性，其中，高斯过程回归方法是连续估计的方法，具有非参数的特性，不需要对目标函数作假设，避免了建立从肌电到运动的生理模型的复杂过程，其次，通过引入核函数，对非线性问题具有较好的回归效果，适合处理肌电到运动之间的非线性映射关系；但是，其仅仅适合小样本回归的特性，传统的高斯过程回归无法保证人体多关节角度在线预测的实时性，也就是说，目前采用连续估计的方法在人体运动意图预估时，存在以下问题：预测的准确性低，实时性差，计算复杂。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于表面肌电信号连续估计关节角度的方法，通过采用稀疏伪输入高斯过程回归算法构建肌电信号和人体关节角度的映射模型，以连续的方式实现表面肌电信号映射到关节角度上的运动，保证连续估计的实时性，由此解决连续估计方法预测准确性低、实时性差，计算复杂的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于表面肌电信号连续估计人体关节角度的方法，其特征在于，该方法包括下列步骤：

(a)选取待预测对象的关节部位，按照预设采样频率采集所述待预测对象的关节部位的肌电信号及关节角度信号；

(b)分别对采集的所述肌电信号和关节角度信号进行预处理，并使得预处理后的所述关节角度信号与肌电信号按照采样时间一一对应；

(c)将预处理后的所述肌电信号和关节角度信号作为样本数据，利用稀疏伪输入高斯过程回归算法构建关于肌电信号和关节角度信号的预测模型；

(d)采集待预测对象的实时肌电信号，并将其输入所述预测模型中，以此获得所需的关节角度信号，由此实现所述人体关节角度的连续估计。

进一步优选地，在步骤(b)中，所述对采集的肌电信号进行预处理包括：首先采用滤波器对采集的所述肌电信号去噪，然后采用滑动窗技术提取去噪后所述肌电信号中的肌电特征，并将该肌电特征进行归一化处理，以此实现所述肌电信号的预处理；

进一步优选地，所述采用滤波器对采集的肌电信号去噪具体包括：首先对采集的所述肌电信号进行了陷波滤波处理，以此去除该肌电信号中50Hz及其整数倍频率的分量，然后采用Butterworth高通滤波去除信号中的运动伪迹，以此排除待预测对象低频运动对信号产生的影响。

进一步优选地，所述采用滑动窗技术提取肌电特征优选以滑动窗口中的绝对平均值作为所述肌电特征。

进一步优选地，在步骤(b)中，所述对采集的关节角度信号进行预处理优选采用插值的方法。

进一步优选地，在步骤(c)中，所述预测模型优选采用下列表达式：

其中，

式中，表示输出y_*的概率，且y_*的条件概率分布满足均值为μ_*，标准差为σ_*的高斯分布，y_*是人体关节角度的预测值，x_*是采集待预测对象的实时肌电信号，X是预处理后的肌电信号，Y是预处理后的人体关节角度信号，是构建的稀疏伪输入数据集，Q_M和Λ是计算的中间变量，K_MN是预处理后的肌电信号与伪输入集组成的核函数矩阵，σ_n是采集的关节角度信号的观测误差，I是单位对角矩阵，K_**是待预测样本集的核函数矩阵，k_*是待预测样本集的核函数值，K_M是伪输入集的核函数矩阵，μ_*是高斯分布的均值，σ_*是高斯分布的标准差。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过采用稀疏伪输入高斯过程回归算法构建肌电信号和人体关节角度的映射模型，其中通过引入样本数量远小于实际样本信号的数量的伪输入数据集，其起到与高斯过程回归近似的效果，但是其计算复杂度大大降低，且预测过程的计算复杂度不受训练数据量的影响，并且远小于传统的高斯过程回归，由此实现了表面肌电信号以连续的方式映射到关节角度上的运动，保证连续估计的实时性；

2、本发明通过采用两种滤波器对采集的肌电信号进行预处理，实现在较小的计算量的情况下实时数据的滤波处理，降低计算的复杂程度，同时保证去噪的效果；

3、本发明通过采用滑动窗技术计算采集的肌电信号的绝对平均值作为肌电特征，一方面计算过程简单，另一方面能有效的反应肌电信号的时序特征；

4、本发明提供的方法，通过实时采集指定肌肉的肌电信号并将其输入到保存的预测模型中，由模型获得人体的关节角度，再将人体的关节角度实时的输入到控制器，即可完成人机交互操作简单，实时预测效果好，准确性高，且计算量小，不受样本数据量的多少的限制，适用于大样本的预测。

附图说明

图1是按照本发明的优选实施例所构建的基于表面肌电信号连续估计人体关节角度的方法的流程图；

图2是按照本发明的优选实施例所构建的对人体手部关节角度进行连续估计与实际角度对比图；

图3是按照本发明的优选实施例所构建的本发明提供的方法与模式识别方法估计的手部运动空间对比图；

图4是按照本发明的优选实施例所构建的按照本发明提供的方法控制机械假肢的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是按照本发明的优选实施例所构建的基于表面肌电信号连续估计人体关节角度的方法的流程图，如图1所示，一种基于表面肌电信号连续估计人体关节角度的方法，该方法包括下列步骤：

(1)肌电及关节角度信号采集

选定要预测的人体关节部位，并采集该部位的肌电信号及关节角度信号。其中，控制该部位运动的肌肉群的表面肌电信号用X＝{x_i,x_i∈Rⁿ}表示(n为肌电通道数)，该部位的人体关节角度信号用Y＝{y_i,y_i∈R^m}表示(m为运动关节角度个数)。

(2)两种滤波器对肌电信号进行处理

构建数字滤波器对信号进行处理：梳状陷波滤波器(Comb-Notching Filter)，对肌电信号进行了陷波滤波处理，去除信号中50Hz及其整数倍频率的分量；Butterworth高通滤波去除信号中的运动伪迹，排除人体低频运动(范围)对信号产生的影响。所采用的Comb-Notching滤波器，阶数为20，带宽2Hz，衰减20db；所采用的Butterworth高通滤波器，阶数为4，截止频率50Hz。滤波的过程用递归的形式表达，如下：

a(1)·y(n)＝b(1)·x(n)+…+b(nb+1)·x(n-nb)-a(2)·y(n-1)-…-a(na+1)·y(n-na)

式中符号说明如下：n-1为滤波器的阶数，a表示反馈环节系数，na表示反馈滤波的阶数，b表示前馈环节系数，nb表示前馈滤波的阶数，x表示滤波前的肌电信号，y表示滤波后的肌电信号。为了使上述滤波其能够在较小的计算量的情况下完成实时数据的滤波，不采用FFT变换进行滤波，而采用原始的递归滤波方式，每次获得新的sEMG数据后，根据之前的原始sEMG数据x(i)和滤波后数据y(i)计算最新的滤波结果，此种方式适用于实时信号的滤波处理。

(3)利用滑动窗技术计算信号的绝对平均值时序特征

滑动窗技术常用于信号的动态分析处理，由滑动窗大小及滑移距离组成。滑动窗技术常用的特征有：绝对平均值(MAV),均方根(RMS)，过零次数(ZC)等。经对肌电信号分析及实验验证，以绝对平均值(Mean Absolute Value，MAV)为信号提取的特征量能有效反应肌电信号的活动水平，并将滑动窗口的大小设置为200ms，每次向后滑动50ms，相邻的窗口之间有75％的重叠数据，以保留肌电信号的原始信息的前提下尽量降低人机交互的延时。得到的肌电特征，按照特征的最大、最小值进行归一化，使其数值处于[0,1]之间，记录最大、最小值，用于测试数据的归一化。计算公式如下：

式中符号说明如下：MAV_i为特征提取的第i特征，winsize＝200为窗的大小，wininc＝50为窗滑移的距离，X＝{x_i}为特征提取并归一化后用作构建模型的输入矩阵。

特别注意，经过特征提取后，肌电的特征与关节角度在时间上并不对应，故对角度信号进行插值处理，使肌电信号及角度信号在时间序列上一一对应，第i个肌电特征值对应的滑动时间窗口最终为t_i＝winsize+(i-1)·winic+1i＝1,2,…,N，N为肌电特征的样本量。通过插值计算后的关节角度值与肌电特征值在时间上对应，用矩阵Y＝{y_i}表示。

(4)利用稀疏伪输入高斯过程回归算法构建肌电信号-人体关节角度映射模型

本发明利用稀疏伪输入高斯过程回归的方法构建由P维的肌电特征到Q维的手指关节角度之间的映射模型。

高斯过程回归能够满足连续估计方法中强非线性映射能力的要求，但是由于其核函数矩阵K的维度，在预测过程中对于单个样本的预测计算复杂度为O(N²)，当训练样本量增大时，每次预测所需计算时间增大，传统的高斯过程回归无法保证算法输出的低计算复杂度的要求，即人机交互的实时性难以得到保证。而稀疏伪输入高斯过程回归通过引入一个伪输入数据集(其样本数量M远小于D＝{X,Y}的样本数量N)，能够起到与高斯过程回归近似的效果，并且其估计单个样本输出的计算复杂度仅为O(M²)，仅估计均值的情况下计算复杂度为O(M)，预测过程的计算复杂度不受训练数据量的影响，并且远小于原始的高斯过程回归，保证后续关节角度估计的实时性。

经过以上(1)，(2)，(3)步骤，得到sEMG特征数据集X∈R^P(P为特征数据的维度)以及与其对应的人体关节角度数据集合Y∈R^Q(Q为需要估计的关节角度数目)，且它们的样本量都为N。稀疏伪输入高斯过程回归的步骤如下：

Ⅰ假设存在一组伪数据集其样本数量M远小于{X,Y}的样本数量N，但是也能够产生近似估计效果。这里用而不是表示伪数据集的输出的原因在于，这是一个假想的理想数据集，没有实际的观测过程，不考虑其误差，而观测数据一般认为具有的误差，即Y＝F+ε,

式中符号说明如下：K_xx＝k(x,x),k为核函数，我们选取平方指数函数为核函数，其表达式如下：

式中符号说明如下：Θ＝{σ_f,l,σ_n}为核函数的参数。

ⅱ伪输入数据集能够替代原始的训练数据，因此，假设伪输入数据集与原始的训练数据一致的分布是合理的，伪输入数据的先验分布为：

ⅲ由步骤Ⅰ的单样本估计向多样本估计推广，根据伪输入数据估计已知的训练数据，

其中：Λ＝diag(λ)，

ⅳ根据(ⅱ)和(ⅲ)计算得到原始数据{X,Y}的关于伪输入数据X和核函数参数Θ的似然函数：

根据最大似然定理，通过梯度方法寻找使负对数似然函数取得最小值(即似然函数取得最大值)时对应的伪输入数据和超参数数值，完成系数伪输入高斯过程回归的求解。

ⅴ对ⅱ)和(ⅲ)使用贝叶斯定理，根据伪输入估计伪数据集中的伪输出：

(5)利用映射模型连续估计人体关节角度

在具有一个新的样本输入(某时刻的人体表面肌电信号)的情况下，其输出(人体关节角度)估计为：

式中符号说明如下：(x_*,y_*)是待预测样本集，μ_*为通过单个人体生理表面肌电信号识别出的人体关节角度值，为该估计值的不确定度。Q_M的计算如下：

由于肌电信号的非平稳性，对模型输出的关节角度采用了Butterworth低通滤波器(4阶，截止频率2Hz)进行一定的平滑处理，滤波器的实现方式与肌电信号预处理部分中的滤波一致，采用递归的方法计算，低通滤波后的结果作为当前最新估计得到的关节角度。

(6)人机交互实现

根据5中估计结果可分析SPGP的计算复杂度，由于其为对角矩阵，求逆的过程较为简单，核心的计算复杂度在于Q_M计算过程中的乘法计算复杂度为O(M²N)。但是在预测过程中，对于均值的估计中通过提前计算并保存下来，于是每个样本的均值估计的估计复杂度为O(M)，因为其计算量小，故可以实时的控制受控对象，完成人机交互的过程。

根据步骤(1)中所选定的待预测对象，实时采集指定肌肉的肌电信号并将其输入到保存的映射模型中，由模型得出人体的关节角度(人体的运动意图)，再将人体的关节角度实时的输入到控制器，即可完成人机交互。

下面结合具体的实施例进一步说明本发明。

步骤一：肌电及关节角度信号采集；

以人体手部为例，手指内部的关节角度存在高度协同关系，本示例中选取少量关节角度表示手部运动，以拇指末端关节(IP joint)表示拇指的屈伸，四指掌指关节(MCPjoint)表示四指的屈伸。采集的多通道表面肌电信号取自指深屈肌、拇长屈肌、拇长展肌、示指伸肌、指浅屈肌、指伸肌，由于前臂上的这些肌肉群面积较小，不易查找，故在实际操作的时候按照区域通过触诊法确定电极粘贴位置。在保证肌电信号及角度运动信息可以同步采集的情况下，具体采集的设备可以自由选择。在此，我们选择丹阳假肢厂生产的表面肌电电极和NI USB-6210采集卡采集肌电信号，手指关节角度则通过CyberGlove II数据手套进行采集。sEMG信号采样频率为1000Hz，每采集50个sEMG信号样本采集一次手指关节角度信号，即手指关节角度信号采集的频率为20Hz(手指关节角度信号采样频率低于20Hz可能造成数据丢失)。

步骤二：两种滤波器对肌电信号进行处理；

除了设备自带滤波器，我们在MATLAB平台下构建了相应的数字滤波器，滤波器不采用MATLAB默认的快速傅立叶变化(FFT)方式，而采用了更加直接的递归方式，使得该滤波器可以用于肌电信号的实时滤波。具体的滤波过程包括对肌电信号进行了陷波滤波处理，去除信号中50Hz及其整数倍频率的分量，还使用Butterworth高通滤波去除信号中的运动伪迹，排除人体低频运动对信号产生的影响。

步骤三：利用滑动窗技术计算信号绝对平均值时序特征；

对于滑动窗内部的数据，我们计算其绝对平均值作为其特征值。窗口大小为200ms，每次向后滑动50ms，即相邻的窗口存在75％的重复数据。全部的肌电特征值根据其最大值和最小值归一化到[0,1]之间，该最大值和最小值也用于后续测试数据特征值的归一化。

在前文中提到，每隔50ms采集一次手指关节角度信号，使用滑动时间窗口的方法处理表面肌电信号得到的肌电特征与原始的关节角度信号在时间上并不对应，在这里我们对手指关节角度进行了平滑处理以及插值，使肌电信号特征与手指关节角度的时间一一对应，第i个肌电特征值对应的滑动时间窗口的最终为t_i＝winsize+(i-1)·wininc,i＝1,2,…,N winsize＝200为分析窗口大小，wininc＝50为分析窗口移动距离，单位均为ms，N为肌电信号特征值样本量，通过插值计算t_i时刻的手指关节角度值与之对应。

步骤四：利用稀疏伪输入高斯过程回归算法构建肌电信号-人体关节角度映射模型；

经过特征提取后的肌电信号及插值处理后的角度信号分别有如下表示：

X＝{x_i} x_i∈R⁶

Y＝{y_i} y_i∈R⁵

式中符号说明如下：x_i表示第i个样本肌电信号特征向量，y_i表示第i个样本手指运动关节的角度向量。利用稀疏伪输入高斯过程回归算法，并由上述特征序列X及角度序列Y建立肌电信号-人体关节角度映射模型并保存。

步骤五：利用映射模型连续估计人体关节角度；

对人体关节角度的连续量估计是建立在映射模型之后的操作，预测集的肌电信号经特征提取后输入到映射模型，由上述步骤可得：

X_*＝{x_*i} x_*i∈R⁶

Y_*＝{y_*i} y_*i∈R⁵

式中符号说明如下：X_*为连续估计时模型的输入量；Y_*为模型连续估计出的手指关节角度量。

步骤六：人机交互实现：

在完成上述步骤后，我们将得到的实时人体关节角度预测值与实际测量值绘在一起，图2是按照本发明的优选实施例所构建的对人体手部关节角度进行连续估计与实际角度对比图，如图2所示，图中可以看出预测值与实际测的两条曲线基本吻合，模型预测的准确度得到验证，为了说明本发明所提出的连续估计的方法比模式识别方法更符合人体自然运动，图3是按照本发明的优选实施例所构建的本发明提供的方法与模式识别方法估计的手部运动空间对比图，如图3所示，以手部关节运动为例绘出两种方法的对比图，图中A,B,C和D是基于模式识别的几种手指运动模式，在图中可以看出，连续估计的方法可达人体手部运动的所有连续空间，而模式识别的方法仅为手部运动空间离散的某些设定模式。

为了进一步展示本发明在人机交互领域的应用，图4是按照本发明的优选实施例所构建的按照本发明提供的方法控制机械假肢的示意图，如图4所示，模型的预测值作为控制量实时地对机械假肢手进行控制，将估计得到的关节角度用于控制多自由度机械手，完成不同形状物体的抓握操作。考虑到由于肌电信号不平稳而导致出现估计角度的波动，我们选择购买了一款具有弹性驱动原件的多自由度机械手作为我们的受控目标，借助其弹性原件降低运动误差并减小抖动。该机械手具有五个自由度，每根手指单独自由屈伸，分别由舵机驱动，通过弹性元件带动手指运动，手指内部采用了连杆结构，MCP\PIP\DIP之间的关系固定。实验结果表明，用户能够有效地通过肌电连续估计的关节角度自如的操纵该机械手，完成不同物体的抓握操作。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于表面肌电信号连续估计人体关节角度的方法，其特征在于，该方法包括下列步骤：

(a)选取待预测对象的关节部位，按照预设采样频率采集所述待预测对象的关节部位的肌电信号及关节角度信号；

(b)分别对采集的所述肌电信号和关节角度信号进行预处理，并使得预处理后的所述关节角度信号与肌电信号按照采样时间一一对应；

(c)将预处理后的所述肌电信号和关节角度信号作为样本数据，利用稀疏伪输入高斯过程回归算法构建关于肌电信号和关节角度信号的预测模型；

(d)采集待预测对象的实时肌电信号，并将其输入所述预测模型中，以此获得所需的关节角度信号，由此实现所述人体关节角度的连续估计。

2.如权利要求1所述的方法，其特征在于，在步骤(b)中，所述对采集的肌电信号进行预处理包括：首先采用滤波器对采集的所述肌电信号去噪，然后采用滑动窗技术提取去噪后所述肌电信号中的肌电特征，并将该肌电特征进行归一化处理，以此实现所述肌电信号的预处理。

3.如权利要求2所述的方法，其特征在于，所述采用滤波器对采集的肌电信号去噪具体包括：首先对采集的所述肌电信号进行了陷波滤波处理，以此去除该肌电信号中50Hz及其整数倍频率的分量，然后采用Butterworth高通滤波去除信号中的运动伪迹，以此排除待预测对象低频运动对信号产生的影响。

4.如权利要求2所述的方法，其特征在于，所述采用滑动窗技术提取肌电特征优选以滑动窗口中的绝对平均值作为所述肌电特征。

5.如权利要求1-4所述的方法，其特征在于，在步骤(b)中，所述对采集的关节角度信号进行预处理优选采用插值的方法。

6.如权利要求1-5任一项所述的方法，其特征在于，在步骤(c)中，所述预测模型优选采用下列表达式：

其中，

式中，表示输出y_*的概率，且y_*的条件概率分布满足均值为μ_*，标准差为σ_*的高斯分布，y_*是人体关节角度的预测值，x_*是采集待预测对象的实时肌电信号，X是预处理后的肌电信号，Y是预处理后的人体关节角度信号，是构建的稀疏伪输入数据集，Q_M和Λ是计算的中间变量，K_MN是预处理后的肌电信号与伪输入集组成的核函数矩阵，σ_n是采集的关节角度信号的观测误差，I是单位对角矩阵，K_**是待预测样本集的核函数矩阵，k_*是待预测样本集的核函数值，K_M是伪输入集的核函数矩阵，μ_*是高斯分布的均值，σ_*是高斯分布的标准差。