CN110859620A - 基于单向视频信号的腰部竖脊肌活动识别及预测方法 - Google Patents

Abstract

本发明涉及人机工程学技术领域的基于单向视频信号的腰部竖脊肌活动识别及预测方法，至少包括如下步骤：测量步骤，首先包含有信号采集子步骤，所述信号采集子步骤在进行时，同步采集右斜方肌和两侧腰最长肌的肌电信号，以及全身主要部位的关键点的运动信息；两步聚类识别步骤，包括预聚类、准聚类子步骤，还包括构建聚类特征树，以分成多个子类；基于人工神经网络的预测步骤，在长时间里对信号进行多人间对比。从繁杂且长时间的的劳动过程中识别出部分目标动作，在识别动作的基础上，可以对实验室内训练过的任务进行肌肉发力百分比预测。

Description

基于单向视频信号的腰部竖脊肌活动识别及预测方法

技术领域

本发明涉及人机工程学技术领域，具体来说，是腰部竖脊肌活动识别及预测***。

背景技术

现有技术中存在如下缺陷。

由于肌电测试的条件要求接触界面稳定，出汗、皮肤伸展等因素都会造成结果的剧烈变化，在工作条件下，难以进行大规模肌电图(emg)采集，对损伤和疾病原因的深入研究仍然受到限制。主要是因为监测工作环境下人的动作，面临极多种的可能，直接测量的结果时间太长，很多动作需要基于分类去除，再进行识别。

也因为很难对肌电图数据和三维运动数据进行同步跟踪。考虑到腰部屈曲/伸展任务持续时间长且与多功能任务相结合，人机界面湿度和温度的快速变化可能会影响肌电测量的准确性。对潜在意外现象或损伤的机制的长时间监控，势必需要一种基于任务识别的可靠和准确的数据收集方法。

对于严格控制的监测，在现场研究中有太多的变量起作用，超过了用于腰肌行为预测的交叉实验的可接受范围。相关变量包括但不限于：所采用的姿势、手部任务、速度、体重、外力、主观原因和病理原因(Corbeil等，2018；Lavender等，1999)。一些变量可能会改变姿势的采用和用力机制、屈曲放松现象和腰痛等(Dickey，et al.，2003)。据报道，体重可以使受试者采用更具生物力学优势的策略。(Xu，X.，等人，2008年)。躯干软组织的疲劳和粘弹性响应等因素增加了时间对预测外载荷和人工任务的影响。由于时间和规模的限制，实验室中的多变量方法不适合预测长时间屈伸运动任务。

建模方法依赖于算法和基于emg的验证来模拟连续过程。文献中提出了肌电辅助模型和混合肌电优化(Dreischarf等人，2015；Gagnon等人，2001)。而腰肌作为躯干***的执行器、控制器和稳定器具有多种作用。建模方法过于复杂，无法对应诸如主观习惯或微妙疼痛感觉等交互因素的影响(Butler等人，2010)。

发明内容

本发明的目的是提供基于单向视频信号的腰部竖脊肌活动识别及预测方法，从繁杂且长时间的的劳动过程中识别出部分目标动作，在识别动作的基础上，可以对实验室内训练过的任务进行肌肉发力百分比预测。

本发明的目的是这样实现的：基于单向视频信号的腰部竖脊肌活动识别及预测方法，至少包括如下步骤：

S1、测量步骤，首先包含有信号采集子步骤，所述信号采集子步骤在进行时，同步采集右斜方肌和两侧腰最长肌的肌电信号，以及全身主要部位的关键点的运动信息；

S2、两步聚类识别步骤，包括预聚类、准聚类子步骤，还包括构建聚类特征树，以分成多个子类；

S3、基于人工神经网络的预测步骤，在长时间里对信号进行多人间对比；

其中，步骤S1中还包含信号处理子步骤，信号处理子步骤在进行时，同步的肌电信号和运动信号在Cortex平台中完成手动去噪和平滑处理。

进一步地，步骤S1中，利用Cortex平台捕捉全身主要部位的关键点的位置、速度和加速度；其中颈椎、腰椎及其体表中点都被用于表述脊椎姿态；其它关键点位于四肢主要关节和头顶。

进一步地，步骤S1还包括如下流程：完成不同肌肉的MVC测量；输出到处理终端实时生成发力曲线；电极头的贴合性保证和脱离后的蜂鸣器预警；肌电控制端信号处理和简化，反馈输出为三个维度的速度和加速度。

进一步地，步骤S2中，把某个观测量放在树的根节点处，它记录有该观测量的变量信息，然后根据指定的距离测度作为相似性依据，使每个后续观测量根据它与已有节点的相似性，放到最相似的节点中，如果没有找到某个相似性的节点，就为它形成一个新的节点。

进一步地，步骤S2还包括再正式聚类子步骤，该子步骤如下：将以第一步完成的预聚类作为输入，对之使用分层聚类的方法进行再聚类；每一个阶段，利用施瓦兹贝叶斯信息准则评价现有分类是否适合现有数据，并在最后给出符合准则的分类方案。

进一步地，步骤S3中，以两侧最长肌的归一化发力百分比作为径向基函数网络训练数据的输出，径向基函数直接由多个基函数的加权和逼近未知的复杂函数。

本发明的有益效果在于：能从繁杂且长时间的的劳动过程中识别出部分目标动作，在识别动作的基础上，可以对实验室内训练过的任务进行肌肉发力百分比预测；虽然只是针对部分方便测量的体表肌肉，但基于对肌肉协同运动的预测，和部分身体运动信息，有多通道信号识别的成熟方法可以运用，可以用于劳动保护、病理研究或劳动负荷评估等广阔领域；这种监测比完全基于实验的研究更能准确反映工作环境内的复杂因素，甚至可以用于探测并评价个人习惯和身体特征，且基于更长更多的采样。

附图说明

图1是本发明中关键点及夹角定义的示意图。

图2是基于不同最小分类数的识别分类结果。

图3是预测右侧最长肌在1kg干扰下的肌电曲线。

具体实施方式

下面结合附图1-3和具体实施例对本发明进一步说明。

下面详述本实施例的执行步骤。

测量步骤：

首先在实验室内进行肌电采集，同步采集右斜方肌和两侧腰最长肌的肌电信号，以及全身主要22处部位的关键点的运动信息；利用(Cortex)同步平台捕捉这些点的位置、速度和加速度；其中C7节颈椎、S1腰椎及其体表中点都被用于表述脊椎姿态；其它关键点位于四肢主要关节和头顶。

肌电高低通选择为20-500HZ；完成不同肌肉(现阶段仅包括来内测两侧最长肌、右侧斜方肌)的MVC测量；输出到处理终端实时生成发力曲线；电极头的贴合性保证和脱离后的蜂鸣器预警；肌电控制端信号处理和简化，反馈输出为三个维度的速度(来自于角传感器)和加速度(来自于肌电信号)。

在测量步骤中有一个信号处理过程，如下述。

同步的肌电信号和运动信号在Cortex平台中完成手动去噪和平滑处理，将n个EMG信号x 1，…，xn转换成一组n个时序序列s1，…，sn，然后转换成一组n个字符串st1，…，stn，最后(经过滤波处理)转换成一组新的n个字符串nst1，…，nstn。

所有数据通道同步输出为C3D格式，利用KineAnalyser软件整流，同步输出所有关键点及夹角的运动信息，包括位置、速度和加速度的三个方向的分量，也包括夹角和角速度、角加速度。

EMG波形提取快速傅立叶变换特征的中位值(FFT-Median)，对比其他特征，(FFT-Median)的RBF网络预测结果更为准确，再导出为CSV格式，导入Clementine软件。通过EMG数据通道的选择和定义后，选取脊椎和肩部的各主要夹角作为补充识别通道。具体如图1。

后期数据处理基于两步聚类法的识别和基于人工神经网络的预测。

两步聚类识别步骤：

两步聚类法是一种利用距离度量，来分离连续行为，并选择最优子群模型的混合方法。两步聚类的结果具有完美的重复性。分组的数量在很大程度上取决于分组数据的特征，这可以用来反映个人特征的差异。输入变量的选择思路的尽量简化，方便利用二维图像信息来进行实地测量，以便实现大数据采集。

两步聚类过程中，由于分组的数目由预测曲线的形状决定，因此也可以进一步划分，也随着最小聚类数而增加。在Clementine(V12)设置最小分组数和最大分组数。二者决定了把曲线划分的复杂程度。数量越大，同一个动作被划为更多段，识别也就更细致，任务分类越多。

两步聚类步骤包括：预聚类、准聚类过程：构建聚类特征树(CFT)，分成很多子类。开始时，把某个观测量放在树的根节点处，它记录有该观测量的变量信息，然后根据指定的距离测度作为相似性依据，使每个后续观测量根据它与已有节点的相似性，放到最相似的节点中，如果没有找到某个相似性的节点，就为它形成一个新的节点。

再正式聚类：将以第一步完成的预聚类作为输入，对之使用分层聚类的方法进行再聚类(对数似然函数)。每一个阶段，利用施瓦兹贝叶斯信息准则(BIC)评价现有分类是否适合现有数据，并在最后给出符合准则的分类方案。

两步聚类优点：1.海量数据处理；2.自动标准化数据；3.能够处理分类变量和连续变量的混合数据；4.可自动丢弃异常值或者将异常值归入最近的类；5.可自动确定或者根据业务需要人工指定分类数目。

其中第1点利于睡眠和长期劳动监测，第2点利于不同对象的数据对比。第3点利于定性条件的加入，第5点尤其重要，适合探索未知行为，比如弯腰劳动的复杂程度。

把角1、角3的左侧垂直视角所见分量的高度方向分量，作为输入，把重心高度作为输出进行聚类；人工神经网络预测中。从人体正左侧，垂直于矢状面的方向观测，选取角1、角2、角3的水平和竖直两个分量作为输入；把肌电信号的预测值作为输出；右手高度也可选为输入，尤其是在右手有较大受力情况下。

由Clementine(V12)提供的两步聚类节点控制分组的数量，选择左侧角度1-3的分量作为输入，利用KineAnalyser实时输出的重心垂直高度来识别和分割动作；重心高度对给定任务具有很强的可识别性和可重复性。

以Clementine(V12)设置的最小分组数设置选为3和6为例，在两次弯伸腰过程中，可见更多的最小聚类数明显提供了更多的细节，可根据实际需要选择分组数，并去除无关信息。

本方法可以对多通道信号进行分类。这意味着它可以用于探索并记忆未知事件，作为训练集。不需要对事件的行为进行新的假设。因此，本方法是一种事件检测和身体状态分类方法。不仅可基于上述方法，利用n个EMG信号组成的序列辨识人体行为，还可以用EMG和其他类别信号的组合，作为分类依据。

基于人工神经网络的预测步骤：

该步骤在执行时需要在实验室内获取训练集，因此不可能用于完全不限定任务的劳动行为预测。但再识别出无关任内的情况下，只对特定任务进行预测，还是可行的。这也是因为两步聚类很好的标准化特性，利于在长时间里对信号进行多人间对比。

以两侧最长肌的归一化发力百分比(FFT-Median)作为径向基函数(RBF)网络训练数据的输出，径向基函数直接由多个基函数的加权和逼近未知的复杂函数。

理论上，任意的函数，包括一切非线性曲线，都可以用Clementine(V2)提供的RBF网络节点来逼近。实测和计算证明，当继续增加输入通道时(比如更多的角速度信息)，准确度并没有显著提高。

识别步骤时的Clementine节点设置包括为：1输入源；2数据类型节点；3两部聚类节点；4分析节点；另有临时生成的，与两部聚类节点并列的，分类器节点。

预测步骤的Clementine的节点设置包括为：1.输入源节点；2.数据类型节点；3.RBF节点；4.分析节点；另有临时生成的，与RBF节点并列的基于训练集的网络预测节点。

在这项研究中，RBF人工神经网络节点的迭代次数为350，隐层有20个神经元，培训比例为75％，随机设置8个种子点，避免过度拟合的选择。

为了确定预测的可行范围，使用右手0公斤和2kg的体重作为训练集，在体重1kg时预测肌电图信号。同样，用5cm、40cm的步幅预测20cm的情况。这样的实验用来确定可行预测的范围。预测重量为1kg时结果的如图3。

可见，该预测方法可以灵敏的反映出手部操作引起的峰值，如第一个3.1秒时和第二个3.3秒时的肌电峰值。可以反映出弯伸时肌肉的张紧状态。结果是个性化的，可反映出病变和手部操作的影响。所有肌电预测结果曲线与实测曲线的线相关系数C大于0.25，属明显相关。基于5人建立的空手弯伸腰训练集，对他人的右最长肌预测相关系数为：右侧CR＝0.583，左侧CL＝0.652。基于这个训练集，对训练集内人员的同任务预测准确值，左右侧均高于以上对他人的预测结果。虽然对他人预测受更多干扰影响，当前的精度较高预测结果不能代表实际预测总会精确，但本方法对训练集内人员的预测稳定性有保障，可用于实际应用。

实测基于实验室的标准交叉实验(手部负载0，1kg，腿部前后脚间隔距离为5，20，40mm)，对在手拿重量处于0至1kg之间，脚间距5-40mm之间的预测，实测与预测相关系数C均大于0.25，多数大于0.6。

而实际上，对于具体给定任务的情况下的肌肉发力预测时，个别肌肉的预测曲线与实验室实测的曲线相关性不高的前提下(C小于0.25)，可以直接把该肌肉的标识出来，不用于预测，对剩余肌肉的信号预测仍然可用于诊断、风险评估或习惯探索。但小样本(7人)实测情况下，该极端预测不准情况未发生(全部C大于0.5)。

该方法有较强的适应性和鲁棒性，只需要在实验室建立训练集，之后的测量可在工作实地进行，只需要从一个方向直接获取视觉信号，就可以长时间识别动作，对较为稳定的准确反映外部干涉。

以上是本发明的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本发明总的构思的前提下，这些变换或改进都应当属于本发明要求保护范围之内。

Claims (6)

1.基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于，至少包括如下步骤：

S1、测量步骤，首先包含有信号采集子步骤，所述信号采集子步骤在进行时，同步采集右斜方肌和两侧腰最长肌的肌电信号，以及全身主要部位的关键点的运动信息；

S2、两步聚类识别步骤，包括预聚类、准聚类子步骤，还包括构建聚类特征树，以分成多个子类；

S3、基于人工神经网络的预测步骤，在长时间里对信号进行多人间对比；

其中，步骤S1中还包含信号处理子步骤，信号处理子步骤在进行时，同步的肌电信号和运动信号在Cortex平台中完成手动去噪和平滑处理。

2.根据权利要求1所述的基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于：步骤S1中，利用Cortex平台捕捉全身主要部位的关键点的位置、速度和加速度；其中颈椎、腰椎及其体表中点都被用于表述脊椎姿态；其它关键点位于四肢主要关节和头顶。

3.根据权利要求2所述的基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于：步骤S1还包括如下流程：完成不同肌肉的MVC测量；输出到处理终端实时生成发力曲线；电极头的贴合性保证和脱离后的蜂鸣器预警；肌电控制端信号处理和简化，反馈输出为三个维度的速度和加速度。

4.根据权利要求1所述的基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于：步骤S2中，把某个观测量放在树的根节点处，它记录有该观测量的变量信息，然后根据指定的距离测度作为相似性依据，使每个后续观测量根据它与已有节点的相似性，放到最相似的节点中，如果没有找到某个相似性的节点，就为它形成一个新的节点。

5.根据权利要求4所述的基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于：步骤S2还包括再正式聚类子步骤，该子步骤如下：将以第一步完成的预聚类作为输入，对之使用分层聚类的方法进行再聚类；每一个阶段，利用施瓦兹贝叶斯信息准则评价现有分类是否适合现有数据，并在最后给出符合准则的分类方案。

6.根据权利要求1所述的基于单向视频信号的腰部竖脊肌活动识别及预测方法，其特征在于：步骤S3中，以两侧最长肌的归一化发力百分比作为径向基函数网络训练数据的输出，径向基函数直接由多个基函数的加权和逼近未知的复杂函数。

Images