CN103815991B - 双通道操作感知虚拟假手训练***及方法 - Google Patents

Abstract

双通道操作感知虚拟假手训练***及方法，涉及一种肌电假手训练领域。它是为了解决残疾人使用肌电假手初期难以或无法完成抓取任务的问题。它包括肌电电极、数据采集板卡、虚拟现实模块和电刺激器。肌电电极用于对人体肌电信号的滤波和放大，数据采集板卡用于肌电电极输出信号的A/D转换，虚拟现实模块包括了虚拟场景显示、人手控制关节转角、关节转角位置测量显示、抓取场景选择和指示、肌电信号分类和解码控制、关节电机力矩大小控制、抓取过程中虚拟假手和抓取物碰撞检测功能、抓取关节力矩测量显示，电刺激器则根据假手接触物体的虚拟力矩值进行相应电刺激信号的输出。本发明适用于残疾人刚开始使用肌电假手时操作训练。

Description

双通道操作感知虚拟假手训练***及方法

技术领域

本发明涉及一种肌电假手训练领域，尤其是一种结合虚拟现实的肌电假手训练装置及方法。

背景技术

虚拟现实（Virtual Reality）是一种能够建立和体验虚拟世界的计算机技术，它可通过计算机技术生成一个逼真的、可基于计算信息的沉浸式交互环境，从而被广泛应用于机械制造、生物医疗、城市规划、军事模拟和航空航天等多个领域，并创造出巨大的经济效益和社会效益。当前基于虚拟现实的训练***大多集中在中风、脑损伤、帕金森和外科手术后的康复性训练上。Francesca Cordella使用kinect作为人手的动作捕捉装置来进行人手在抓取过程中运动轨迹的记录，将患者和健康人手完成相同动作的关节轨迹对比进行康复评估，并利用虚拟现实环境进行相应的康复训练。

肌电假手是一种利用人体前臂的肌肉电信号（Electromyography，EMG）作为信息源，通过一定的信息解码策略，将人的控制意图转化为运动控制信息完成多种抓取任务的康复装备，例如OttoBock公司的Sensorhandspeed，Michelangelo Hand等。

对于前臂缺失或者腕离断残疾人来说，残臂肌肉在截肢手术后往往会出现萎缩、坏死等症状，且随着用户对于假手性能要求的逐渐提高，假手的自由度也越多，因此伴随的控制难度也会增加，这些都导致残疾人刚开始使用肌电假手时较为困难，出现操作不熟练，或者根本无法完成抓取任务的情况。因此假手训练就显得尤为重要，但基于真实假手的训练具有复杂程度高、维护费用高、动作演示示范性差以及统计训练结果困难等诸多缺点。为了提高训练的效率、降低成本，一种可以帮助患者完成模式训练的虚拟现实***显得十分必要。

发明内容

本发明是为了解决残疾人使用肌电假手初期难以或无法完成抓取任务的问题，从而提供一种双通道操作感知虚拟假手训练***及方法。

双通道操作感知虚拟假手训练***，它包括肌电电极、数据采集板卡、PC机和电刺激器；PC机内部嵌入虚拟现实模块；

肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡；

数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块；

电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号；

虚拟现实模块包括虚拟场景显示模块、人手控制模块、虚拟位置传感器模块、抓取场景选择和指示模块、肌电解码和自动控制模块、电机力矩输出控制模块、碰撞检测模块和虚拟力矩传感器模块；

虚拟场景显示模块用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟；

人手控制模块用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号；

虚拟位置传感器模块用于对虚拟假手的关节转角进行检测；

抓取场景选择和指示模块用于对虚拟假手的抓取场景进行选择和指示；

肌电解码和自动控制模块用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作；

电机力矩输出控制模块用于向虚拟假手的控制电机输出力矩控制信号，以及假手动力学数值解求解赋值；

碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测；

虚拟力矩传感器模块用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值。

双通道操作感知虚拟假手训练方法，它包括以下步骤：

采用肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡的步骤；

采用数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块的步骤；

采用电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号的步骤；

虚拟现实模块的信号处理方法包括：

用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟的虚拟场景显示步骤；

用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号的人手控制步骤；

用于对虚拟假手的关节转角进行检测的步骤；

用于对虚拟假手的抓取场景进行动作选择和指示的步骤：

用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作的肌电解码和自动控制步骤；

用于向虚拟假手的控制电机输出力矩控制信号的电机力矩输出控制，以及假手动力学数值解求解赋值步骤；

用于对于虚拟假手进行不同物体抓取的碰撞检测的碰撞检测步骤；

用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值的获得步骤。

肌电解码和自动控制模块的信号处理过程为：肌电解码和自动控制模块首先将人手弯、放松、伸的肌电信号进行分类，再根据肌电信号持续的时间对肌电信号进行细分，按照持续时间的长短和肌肉的种类，将肌电信号分为短伸信号、短屈信号、长伸信号和长屈信号；最后对肌肉动作序列的编码信号进行解码，使用6种不同的肌肉动作序列组合对应6种不同的抓取动作。

人手控制模块包括手动控制虚拟假手动作模块、虚拟抓取场景切换选择模块、采集训练和自动控制开始控制按钮；

手动控制虚拟假手动作模块包括启动手动控制按钮和对应关节转角的输入控件；

虚拟抓取场景切换选择模块包括不同典型抓取对应物体导入按键；采集训练和自动控制开始控制按钮包括采集训练和自动控制开始按钮；

虚拟假手电机力矩调节模块包括虚拟假手电机力矩人手输入控件和假手动力学数值解求解赋值模块；

虚拟假手电机力矩输入控件包括虚拟假手关节电机力矩的输入控件；

假手动力学数值解求解赋值模块通过假手动力学分析，建立假手电机力矩和关节转角、角速度、角加速度的关系，并求得关节转角的数值解数组，根据关节转角数值解数组进行抓取中关节转角的赋值，在虚拟场景中显示对应关节电机力矩的动态抓取过程。

碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测的过程具体为：

建立DualSceneCollide类的步骤：用于调用碰撞检测类以及实例化碰撞检测对；

调用SoPath类定义被抓物体为静态搜索路径，然后分别定义11个指节为11条动态搜索路径，并分别与静态搜索路径建立起碰撞检测对的步骤；

调用Open Inventor中SoMaterial类定义五种不同颜色的碰撞点标记五个不同的手指的碰撞检测，再调用Open Inventor自带的SoDualSceneCollider类中的checkCollision函数对每对碰撞检测对进行碰撞检测，并返回碰撞发生点的坐标值的步骤。

电刺激器的刺激频率与虚拟力矩传感器模块获得的力矩值成正比。

虚拟场景显示模块是沉浸式虚拟现实抓取场景模块，用于进行虚拟假手场景、典型性抓取物体场景的切换，以及虚拟物体纹理颜色和光照的设置。

本发明双通道操作感知虚拟假手训练***通过对人体EMG控制信号的采集、分类，自动识别人体EMG编码控制意图进行相应类型物体的抓取，并融合了虚拟关节位置和力矩传感器，同时能够进行关节驱动力矩控制和碰撞检测，增加了假手训练***的真实感，使训练者能够沉浸其中进行假手产品的训练，提高了假手训练的效率，对于提高假手训练者的肌电信号和控制熟练程度有很好的帮助，同时还可以提高训练者的自信心。成功解决了残疾人使用肌电假手初期难以或无法完成抓取任务的问题。

附图说明

图1是本发明的结构原理框图；

图2为本发明双向人机交互示意图。

具体实施方式

具体实施方式一、结合图1说明本具体实施方式，双通道操作感知虚拟假手训练***，它包括肌电电极、数据采集板卡、PC机和电刺激器；PC机内部嵌入虚拟现实模块；

肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡；

数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块；

电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号；

虚拟现实模块包括虚拟场景显示模块、人手控制模块、虚拟位置传感器模块、抓取场景选择和指示模块、肌电解码和自动控制模块、电机力矩输出控制模块、碰撞检测模块和虚拟力矩传感器模块；

虚拟场景显示模块用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟；

人手控制模块用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号；

虚拟位置传感器模块用于对虚拟假手的关节转角进行检测；

抓取场景选择和指示模块用于对虚拟假手的抓取场景进行选择和指示；

肌电解码和自动控制模块用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作；

电机力矩输出控制模块用于向虚拟假手的控制电机输出力矩控制信号，以及假手动力学数值解求解赋值；

碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测；

虚拟力矩传感器模块用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值。

具体实施方式二、双通道操作感知虚拟假手训练方法，它包括以下步骤：

采用肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡的步骤；

采用数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块的步骤；

采用电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号的步骤；

虚拟现实模块的动作执行方法包括：

用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟的虚拟场景显示步骤；

用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号的人手控制步骤；

用于对虚拟假手的关节转角进行检测的步骤；

用于对虚拟假手的进行动作选择和指示的步骤：

用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作的肌电解码和自动控制步骤；

用于向虚拟假手的控制电机输出力矩控制信号的电机力矩输出控制，以及假手动力学数值解求解赋值步骤；

用于对于虚拟假手进行不同物体抓取的碰撞检测的碰撞检测步骤；

用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值的获得步骤。

肌电解码和自动控制模块的信号处理过程为：肌电解码和自动控制模块依据肌电信号持续的时间对肌电信号进行细分，按照持续时间的长短和肌肉的种类，将肌电信号分为短伸信号、短屈信号、长伸信号和长屈信号；最后对肌肉动作序列进行编码，使用6种不同的肌肉动作序列组合对应6种不同的抓取动作。

人手控制模块包括手动控制虚拟假手动作模块、虚拟抓取场景选择模块、采集训练和自动控制开始控制按钮；

手动控制虚拟假手动作模块包括启动手动控制按钮和对应关节转角的输入控件；

虚拟抓取场景切换选择模块包括不同典型抓取对应物体导入按键；采集训练和自动控制开始控制按钮包括采集训练和自动控制开始按钮；

虚拟假手电机力矩调节模块包括虚拟假手电机力矩人手输入控件和假手动力学数值解求解赋值模块；

虚拟假手电机力矩输入控件包括虚拟假手关节电机力矩的输入控件；

假手动力学数值解求解赋值模块通过假手动力学分析，建立假手电机力矩和关节转角、角速度、角加速度的关系，并求得关节转角的数值解数组，根据关节转角数值解数组进行抓取中关节转角的赋值，在虚拟场景中显示对应关节电机力矩的动态抓取过程。

碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测的过程具体为：

建立DualSceneCollide类的步骤：用于调用碰撞检测类以及实例化碰撞检测对；

调用SoPath类定义被抓物体为静态搜索路径，然后分别定义11个指节为11条动态搜索路径，并分别与静态搜索路径建立起碰撞检测对的步骤；

调用Open Inventor中SoMaterial类定义五种不同颜色的碰撞点标记五个不同的手指的碰撞检测，再调用Open Inventor自带的SoDualSceneCollider类中的checkCollision函数对每对碰撞检测对进行碰撞检测，并返回碰撞发生点的坐标值的步骤。

电刺激器的刺激频率与虚拟力矩传感器模块获得的力矩值成正比。

虚拟场景显示模块是沉浸式虚拟现实抓取场景模块，用于进行虚拟假手场景、典型性抓取物体场景的切换，以及虚拟物体纹理颜色和光照的设置。

工作原理：肌电电极用于将肌电信号滤波放大，发送到数据采集板卡；

数据采集板卡将接收到的肌电信号进行A/D转换，并将转换后的肌电信号传给PC机；

PC机在虚拟现实操作面板点选采样训练的前提下，接受人手弯、放松、伸的肌电信号，并通过分类器将3种模式的肌电信号进行分类，然后依据肌电信号持续的时间对肌电信号进行细分，按照持续时间的长短和种类，肌电信号分为短伸信号、短屈信号、长伸信号和长屈信号。点选要做的抓取模式和操作界面的自动控制按钮，人手根据提前设定好的6种不同的抓取动作进行屈、伸动作的编码，PC机根据此时人手动作的编码指令及前期采集训练的分类结果，进行控制指令的分类和解码，最终自动的实现对应指令的抓取任务，抓取过程中关节转角根据虚拟假手手指动力学方程的数值解数组进行实时赋值，以产生逼真的动力学运动效果；

同时在动作过程中进行实时碰撞检测，碰撞检测的过程为：（1）建立DualSceneCollide类，用于调用碰撞检测类以及实例化碰撞检测对。

（2）调用SoPath类定义被抓物体为静态搜索路径，然后分别定义11个指节为11条动态搜索路径，并分别与静态搜索路径建立起碰撞检测对。

（3）由于新一代假手为耦合手指设计，因此通常状态下每个手指和虚拟物体的接触点只有一个，因此每个手指的碰撞对中同时仅能有一个碰撞对发生碰撞。调用OpenInventor中SoMaterial类定义五种不同颜色的碰撞点标记五个不同的手指的碰撞检测，再调用Open Inventor自带的SoDualSceneCollider类中的checkCollision函数对每对碰撞检测对进行碰撞检测，并返回碰撞发生点的坐标值。在此过程中，将当前假手动力学计算存储的转角数值解数组对应的元素值赋值给虚拟位置传感器，并实时显示，当碰撞发生后，记录碰撞发生后的前一个时间点的角度值，此外，对应的肌电电极采集的肌电信号数值、采用编码控制的人手编码控制指令、分类器信息也可实时显示，当碰撞发生后手指的各个关节停止动作，此时虚拟力矩传感器根据抓取力学分析或者假手现实抓取碰撞发生后产生的值得出相应力矩传感器值，并进行实时显示，如附图2所示，电刺激器根据虚拟力矩传感器的值进行电刺激信号的调整。

当选择虚拟现实界面的手动控制按钮，此时通过手动给定虚拟假手对应的关节转角值进行当前假手关节转角的控制，并把手动给定的虚拟假手关节转角值赋值给虚拟位置传感器，进行实时显示，6种抓取场景的切换按钮用于提供不同的抓取模拟场景转换，同时每种场景选定后对应的虚拟LED灯会被点亮，指示抓取场景切换成功。采集训练和自动控制模式的开启，均需要在控制面板点选对应的开启按钮才可，采集训练的LED灯用于指示人手对应编码指令样本采集完成。电机的力矩可以进行人工设置，并根据人手设置值进行对应关节力矩值的动力学方程求解计算和控制，对应的关节力矩值还可实时显示。

虚拟现实场景显示模块选择点光源作为虚拟训练***的环境光源，这样在带来较逼真的显示效果的同时又不会对碰撞检测的标记点产生干扰。使用Open Inventor中SoTexture2节点来完成纹理的导入，增强了虚拟现实***的真实性和沉浸感。

Claims (7)

1.双通道操作感知虚拟假手训练***，其特征是：它包括肌电电极、数据采集板卡、PC机和电刺激器；PC机内部嵌入虚拟现实模块；

肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡；

数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块；

电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号；

虚拟现实模块包括虚拟场景显示模块、人手控制模块、虚拟位置传感器模块、抓取场景选择和指示模块、肌电解码和自动控制模块、电机力矩输出控制模块、碰撞检测模块和虚拟力矩传感器模块；

虚拟场景显示模块用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟；

人手控制模块用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号；

虚拟位置传感器模块用于对虚拟假手的关节转角进行检测；

抓取场景选择和指示模块用于对虚拟假手的抓取场景进行选择和指示；

肌电解码和自动控制模块用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作；

电机力矩输出控制模块用于向虚拟假手的控制电机输出力矩控制信号，以及假手动力学数值解求解赋值；

碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测；

虚拟力矩传感器模块用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值。

2.基于权利要求1所述的双通道操作感知虚拟假手训练***的训练方法，其特征是：它包括以下步骤：

采用肌电电极用于采集人体的肌电信号，并将采集到的肌电信号进行滤波和放大，并将滤波和放大后的信号发送给数据采集板卡的步骤；

采用数据采集板卡用于将经过肌电电极滤波和放大后的肌电信号进行模数转换，并将信号发送给PC机中的虚拟现实模块的步骤；

采用电刺激器用于接收PC机中的虚拟现实模块发出的电刺激控制指令，并产生电刺激信号的步骤；

虚拟现实模块的信号处理方法包括：

用于提供不同抓取物体的调用和替换，进行虚拟假手和对应物体的抓取模拟的虚拟场景显示步骤；

用于提供虚拟假手关节位置手动控制信号、抓取物体替换控制信号、肌电信号采集训练启动信号和人手肌电控制信号编码自动控制启动信号的人手控制步骤；

用于对虚拟假手的关节转角进行检测的步骤；

用于对虚拟假手的抓取场景进行抓取场景选择和指示的步骤：

用于对数据采集板卡发送的肌电信号运用分类器将肌电控制信号进行分类，并针对产生的编码信号进行解码，根据当前手动输入的关节力矩，采用手指动力学方程关节转角数值解数组方式实时控制虚拟假手关节动作的肌电解码和自动控制步骤；

用于向虚拟假手的控制电机输出力矩控制信号的电机力矩输出控制，以及假手动力学数值解求解赋值步骤；

用于对于虚拟假手进行不同物体抓取的碰撞检测的碰撞检测步骤；

用于在检测到碰撞后，根据抓取力学分析或者假手现实抓取碰撞发生后产生的值获得相应力矩传感器值的获得步骤。

3.根据权利要求2所述的双通道操作感知虚拟假手训练方法，其特征在于肌电解码和自动控制模块的信号处理过程为：肌电解码和自动控制模块首先将人手弯、放松、伸的肌电信号进行分类，再根据肌电信号持续的时间对肌电信号进行细分，按照持续时间的长短和肌肉的种类，将肌电信号分为短伸信号、短屈信号、长伸信号和长屈信号；最后对肌肉动作序列的编码信号进行解码，使用6种不同的肌肉动作序列组合对应6种不同的抓取动作。

4.根据权利要求2所述的双通道操作感知虚拟假手训练方法，其特征在于人手控制模块包括手动控制虚拟假手动作模块、虚拟抓取场景切换选择模块、采集训练和自动控制开始控制按钮；

手动控制虚拟假手动作模块包括启动手动控制按钮和对应关节转角的输入控件；

虚拟抓取场景切换选择模块包括不同典型抓取对应物体导入按键；采集训练和自动控制开始控制按钮包括采集训练和自动控制开始按钮。

5.根据权利要求2所述的双通道操作感知虚拟假手训练方法，其特征在于碰撞检测模块用于对于虚拟假手进行不同物体抓取的碰撞检测的过程具体为：

建立DualSceneCollide类的步骤：用于调用碰撞检测类以及实例化碰撞检测对；

调用SoPath类定义被抓物体为静态搜索路径，然后分别定义11个指节为11条动态搜索路径，并分别与静态搜索路径建立起碰撞检测对的步骤；

调用Open Inventor中SoMaterial类定义五种不同颜色的碰撞点标记五个不同的手指的碰撞检测，再调用Open Inventor自带的SoDualSceneCollider类中的checkCollision函数对每对碰撞检测对进行碰撞检测，并返回碰撞发生点的坐标值的步骤。

6.根据权利要求2所述的双通道操作感知虚拟假手训练方法，其特征在于电刺激器的刺激频率与虚拟力矩传感器模块获得的力矩值成正比。

7.根据权利要求2所述的双通道操作感知虚拟假手训练方法，其特征在于虚拟场景显示模块是沉浸式虚拟现实抓取场景模块，用于进行虚拟假手场景、典型性抓取物体场景的切换，以及虚拟物体纹理颜色和光照的设置。