CN109605385B - 一种混合脑机接口驱动的康复辅助机器人 - Google Patents

Abstract

本发明公开了一种混合脑机接口驱动的康复辅助机器人，包括：数据采集模块，用于采集视线运动信息和运动想象脑电信号，以及采集用户脸部和目标物体的深度图像信息；PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，根据接收的图像信息提取出位置信息；机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂，用于按照机械臂控制模块的控制进行运动；反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。本发明综合脑机接口技术与康复机器人技术两者的特点，更有利于病人康复训练。

Description

一种混合脑机接口驱动的康复辅助机器人

技术领域

本发明涉及机器人领域，尤其涉及一种混合脑机接口驱动的康复辅助机器人。

背景技术

传统的康复辅助机器人是通过机器带动肢体做重复性的运动，对控制肢体运动的神经***进行刺激并促使其重建，康复机器人包含上肢和下肢两种康复机器人，大部分需要他人的辅助帮助患者使用，患者不能主动参与其中，缺乏准确的反馈的机制，不利于患者的积极参与和康复效果的准确反馈。传统的康复机器人都致力于使用者的肢体神经***的恢复，无法给使用者提供辅助帮助，如对于许多严重瘫痪的病人，他们只能通过借助别人的帮助来完成一些日常生活所必须的活动，如吃食物、喝水等。

脑机接口(Brain Computer Interface,BCI)是涉及神经科学、认知科学、计算机科学、控制及信息科学与技术、医学等多学科、多领域的人机接口方式，是在大脑和外部环境之间建立的神经信息交流与控制通道。本发明采用的是非侵入式脑机接口技术，通过采集与提取大脑产生的脑电信号特征，据此生成控制信号来完成大脑与外部设备进行信息传递与控制的任务，实现中枢神经***与体内或者体外设备之间的直接交互，帮助患者实现大脑与计算机的交互，实现一些控制指令辅助患者康复或者生活。

目前，存在部分已有研究将脑机接口技术与智能机器人技术相结合，如公开号为CN105425963A的专利《一种脑电波控制机械臂的***》利用脑电波的信号获取注意力及放松度参数，来完成预设的机械臂控制动作。公开号为CN102198660A，发明名称为《基于脑-机接口的机械手臂控制***及动作命令控制方案》，采用三种想象运动模式的脑机接口，切换和选择机械臂的运动模式，实现了机械臂抓与放，上、下、左、右、前、后八个预设动作指令。上述的发明专利，只是将脑机接口技术简单的和机器人技术结合，通过采集和分析脑电信号的特征，产生对机器人的控制指令，机器人根据预定义的指令完成一些预先定义的动作，该类技术缺乏相应的反馈机制，没有充分发挥出脑机接口与机器人技术相结合的优势。因此，亟待解决上述问题。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种混合脑机接口驱动的辅助康复机器人。

技术方案：本发明所述的混合脑机接口驱动的康复辅助机器人包括：

数据采集模块，用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体的深度图像信息；

PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；

机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；

机械臂，用于按照机械臂控制模块的控制进行运动；

反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。

进一步的，所述数据采集模块具体包括：

脑电信号采集单元，用于采集用户在进行运动想象时产生的运动想象脑电信号，并进行信号滤波、放大、模数转换后传输至PC处理模块；

图像采集单元，采集位于目标位置的目标物体三维深度图像信息，以及采集用户脸部的深度图像信息，接收PC处理模块发送的指令，并从中解析出目标位置和用户脸部位置信息；

视线追踪单元，用于采集用户的视线运动信息，并传输至机械臂控制模块。

进一步的，所述PC处理模块具体包括：

脑电数据处理单元，用于对用户的运动想象脑电信号进行预处理，提取出脑电特征信号，并根据预训练的分类器得到该脑电特征信号所对应的物***置，作为用户想要抓取的目标物体的位置，生成包含目标物***置的采集指令至数据采集模块；

识别定位单元，用于根据数据采集模块采集的用户脸部和目标物体的深度图像信息提取出用户脸部和目标物体的位置信息；

运动想象引导单元，用于播放引导用户运动想象的音频和视频。

进一步的，所述机械臂控制模块具体包括：

机械臂路径规划单元，用于根据用户脸部和目标物体的位置信息，规划机械臂以夹取目标物体的位置作为起点，用户的脸部位置作为终点的运动路径；

机械臂运动控制单元，用于将数据采集模块发送的用户视线运动信息作为机械臂运动启停信号，按照规划的运动路径产生机械臂控制信号，控制机械臂的运动。

进一步的，所述反馈模块具体包括：

触觉检测装置，安装于机械臂末端执行器处，用于检测机械臂末端执行器的压力变化；

震动反馈单元，用于在触觉检测装置检测到机械臂末端执行器压力增加时，发出夹取成功信号，提示用户目标物体夹取成功。

进一步的，所述脑电信号采集单元包括依次连接的标准10-20导脑电极帽、多通道脑电放大器、模数转换器和信号传输单元。

进一步的，所述图像采集单元包括两个Kinect相机，用于分别获取目标物体和用户脸部的深度图像信息。

进一步的，所述视线追踪单元具体为眼动追踪仪，安装于PC处理模块显示器的正下方，用于通过测量眼睛的注视点的位置而实现对眼球运动的追踪。

有益效果：本发明与现有技术相比，其显著优点是：

1、本发明—混合脑机接口驱动的康复辅助机器人，基于运动想象脑机接口技术与康复辅助机器人技术相结合，只需用户提供运动想象脑电信号和眼动信号，康复辅助机器人的机械臂按照***生成的规划路径工作为用户服务，该机器人的使用无需他人干预，用户一人即可操作，便于应用。

2、本发明采用非侵入式的运动想象脑机接口技术，运动想象动作为左手、右手、双手和放松四种状态，用户使用简单、识别准确率高，适应性强。

3、本发明采用力触觉检测和震动作为***的反馈装置，确保了康复辅助机器人的安全性，具备更好的人机交互性。

4、本发明采用眼动追踪技术控制机械臂的运动，避免了直接采用脑电信号控制由分类器导致的错误分类出现机械臂控制失误的问题，确保了康复辅助机器人的安全性。

5、本发明将脑机接口技术、机器人控制技术、三维视觉定位技术相结合，实现用户使用意念控制机械臂，可自主选择所需目标物体，将目标物体成功抓取并送到用户的嘴附近。当目标物体为食物时，本发明可以实现瘫痪病人的自主进食，可改善使用者的生活质量，提升其自主生活能力。

附图说明

图1为本发明实施例的***结构框图；

图2为本发明实施例中目标物***置与运动想象动作对应关系图；

图3为本发明实施例的工作流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明，但本发明的实施方式不限于此。

如图1所示，本发明为一种混合脑机接口驱动的康复辅助机器人，包括：数据采集模块、机械臂控制模块、机械臂、反馈模块及PC处理模块。数据采集模块用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体(例如食物)的深度图像信息；PC处理模块用于根据用户的运动想象脑电信号解析用户脑电意图获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；机械臂控制模块用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部(具体是嘴部)的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂用于按照机械臂控制模块的控制进行运动；反馈模块安装于机械臂上，用于反馈夹取目标物体是否成功。

数据采集模块具体包括脑电信号采集单元、图像采集单元和视线追踪单元。脑电信号采集单元用于采集用户进行运动想象时产生的运动想象脑电信号，并进行信号滤波、放大、模数转换后传输至PC处理模块，信号传输的方式不局限于使用USB、串口通讯、蓝牙、WIFI等通讯方式，在具体实施时，可以由标准10-20导脑电极帽、多通道脑电放大器、模数转换器和信号传输单元组成，10-20导电极帽可以采集C3、FC3、CP3、C5、C4、FC4、CP4、C6等八个电极通道的脑电信号。图像采集单元用于采集位于目标位置的目标物体三维深度图像信息，以及采集用户脸部的深度图像信息，接收PC处理模块发送的指令，并从中解析出目标位置和用户脸部位置信息，在具体实施时，图像采集单元可以由两个Kinect相机构成，分别获取深度图像信息，用于后期位置提取。视线追踪单元用于采集用户的视线运动信息(具体为眼球运动信息)，并传输至机械臂控制模块，在具体实施时，可以采用眼动追踪仪，安装于PC处理模块显示器的正下方，通过测量眼睛的注视点的位置而实现对眼球运动的追踪。

PC处理模块具体包括脑电数据处理单元、识别定位单元和运动想象引导单元。运动想象引导单元，用于播放引导用户运动想象的音频和视频，具体是显示器。所述脑电数据处理单元用于对用户的运动想象脑电信号进行预处理，提取出脑电特征信号，并根据预训练的分类器对脑电特征信号进行分类，解析用户脑电意图得到该脑电特征信号所对应的物***置，作为用户想要抓取的目标物体的位置，生成包含目标物***置的采集指令至数据采集模块。识别定位单元用于根据数据采集模块采集的用户脸部和目标物体的深度图像信息提取出用户脸部和目标物体的位置信息。其中，分类器的训练过程为：

A、将物体放置如图2所示，在二维空间呈上、左、右、下四种位置分布，在上述的上、左、右三个位置处放置不同的物体(食物、水果、其他等)，下方不放置物体且该位置为机械臂末端机械手的初始位置。

B、引导用户开始运动想象，获取不同想象运动下的不同运动想象脑电信号。想象引导单元按照一定的规律播放动画引导用户开始和结束运动想象，产生运动想象脑电信号，运动想象的动作为左手、右手、双手和放松四种运动状态，运动想象的动作和目标物体的位置为一一对应关系。例如上面的物体对应想象双手运动，即若要控制辅助机器人抓取上方的物体，则想象双手运动，如图2所示。

C、将不同种类的运动想象脑电信号经过8-12Hz和19-26Hz带通滤波器去噪处理，再采用特征提取算法提取信号的特征向量，优选采用CSP共空间模型算法提取脑电信号的特征向量。

D、以不同脑电信号特征向量和对应的物***置作为样本，采用模式分类器完成分类器的训练，优选采用线性分类器(LDA)进行分类。训练好分类器后，输入一个脑电信号特征向量就可以得到一个物体的位置信息。

机械臂具体为一个多自由度(6自由度)机械臂，其末端为机械手机构。

机械臂控制模块具体包括机械臂路径规划单元和机械臂运动控制单元，机械臂路径规划单元用于根据用户脸部和目标物体的位置信息，规划机械臂以夹取目标物体的位置作为起点，用户的脸部(具体为嘴部)位置作为终点的运动路径；机械臂运动控制单元用于将数据采集模块发送的用户视线运动信息作为机械臂运动启停信号，按照规划的运动路径产生机械臂控制信号，控制机械臂的运动。具体实施时，采用用户视线运动信息控制启停具体可以是：从用户的脑电意图中解析目标物***置然后控制机械手移动到目标物体的正上方，等待抓取控制信号，此时用户主动移动眼球视线，视线追踪单元检测到用户眼球的注视点改变，产生一路主动辅助控制信号发送机械臂运动控制单元，启动机械臂，完成目标抓取和机械臂搬运，目标抓取完成后，反馈模块会输出反馈信号提醒用户已完成目标抓取，机械臂延迟一段时间后开始搬运目标物体；当机械臂按照运动轨迹将目标物体搬运至用户嘴部后，用户主动的注视眼动追踪仪，使视线追踪单元检测到用户的眼动变化视线追踪单元产生机械臂返回控制信号至机械臂控制模块，机械臂控制模块控制机械臂返回到初始位置。

反馈模块具体包括触觉检测装置和震动反馈单元，触觉检测装置安装于机械臂末端关节处，用于检测机械臂的压力变化；具体实施时，可以采用两个压力传感器作为触觉检测装置，两个独立的压力传感器安装于机械臂末端爪子两侧，可采集末端爪子是否受力，从而判断机械臂是否已经成功抓取目标物体(食物)。震动反馈单元用于在触觉检测装置检测到机械臂压力增加时，发出夹取成功信号，夹取成功信号不局限于声、光、震动等反馈信号以提示用户夹取物体成功。

如图3所示，本机器人的工作过程为：

1)用户坐在运动想象引导单元的正前方，调整到舒适的位置，佩戴好脑电采集的电极帽，打开数据采集模块，确认信号采集状态良好。

2)视线追踪单元安装于想象引导单元的正下方，用户调整好位置后，测试视线追踪单元工作状态良好。

3)运动想象提示，放置物体。物体的放置如图2所示，在二维空间呈上、左、右、下四种位置分布，在上述的上、左、右三个位置处放置不同的目标物体(食物、水果、其他等)，下方不放置物体且该位置为机械臂末端机械手的初始位置。

4)启动图像采集单元，确认用户的脸部和机械臂所需抓取的物体在图像采集单元的视野范围。

5)用户开始运动想象，脑电信号采集单元按照一定的规律播放动画引导用户开始和结束运动想象，产生运动想象脑电信号，运动想象的动作为左手、右手、双手和放松四种运动状态，运动想象的动作和目标物体的位置为一一对应关系。

6)根据步骤5)提取的运动想象脑电信号获得用户的脑电特征，并根据预训练的分类器得到该脑电特征信号所对应的物***置，作为用户想要抓取的目标物体的位置，生成包含目标物***置的采集指令至图像采集单元，图像采集单元采集目标物体和人脸(嘴部)的图像信息，输入至PC处理模块。如，用户想象双手运动，其意图是夹取上方物体，则图像采集单元获取上方目标物体的图像信息。

7)根据步骤6)获取的图像信息提取位置信息，结合机械臂的安装位置，合理建立坐标系，求解出机械臂以夹取目标物体的位置作为起点，用户的嘴部位置作为终点的逆解，并规划合理的运动路径。

8)根据步骤7)获取的目标位置坐标，控制机械臂末端机械手移动到待抓取目标物体的正上方，等待抓取控制信号。

9)根据步骤8)，机械臂的末端已经移动到待抓取物体的上方，用户主动移动眼球视线，视线追踪单元检测到用户眼球的注视点改变，产生一路主动辅助控制信号，该信号传输至机械臂控制模块，机械臂控制模块控制机械臂完成目标抓取和机械臂搬运，目标抓取完成后，触觉检测装置检测到压力的变化会输出反馈信号提醒用户已完成目标抓取，机械臂延迟一段时间后开始搬运目标物体。

10)根据步骤9)和步骤6)，机械臂将用户通过运动想象脑机接口表达的脑电意图—想要抓取的目标物体搬运至用户的嘴部附近。当目标物体是不同的食物时，用户只需稍微的运动，即可完成对目标物体的吃取，实现自主生活。

11)当用户完成目标物体的使用后，用户主动的注视视线追踪单元，使视线追踪单元检测到用户的眼动变化，视线追踪单元产生机械臂返回控制信号，该信号传输至机械臂控制模块，机械臂控制模块控制机械臂返回到初始位置。

所述步骤8)和步骤11)眼动追踪仪产生控制信号具体通过一下步骤实现：

A、人眼正视眼动追踪仪。

B、人眼主动的左右移动其眼球注视点发生改变。

C、眼动追踪仪检测到眼球注视点改变会触发信号输出，该信号用于控制机械臂***的启动和返回。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种混合脑机接口驱动的康复辅助机器人，其特征在于包括：

数据采集模块，用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体的深度图像信息；

PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；

机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；所述机械臂控制模块具体包括：机械臂路径规划单元，用于根据用户脸部和目标物体的位置信息，规划机械臂以夹取目标物体的位置作为起点，用户的脸部位置作为终点的运动路径；机械臂运动控制单元，用于将数据采集模块发送的用户视线运动信息作为机械臂运动启停信号，按照规划的运动路径产生机械臂控制信号，控制机械臂的运动；

机械臂，用于按照机械臂控制模块的控制进行运动；

反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号,所述反馈模块具体包括：触觉检测装置，安装于机械臂末端执行器处，用于检测机械臂末端执行器的压力变化；震动反馈单元，用于在触觉检测装置检测到机械臂末端执行器压力增加时，发出夹取成功信号，提示用户目标物体夹取成功。

2.根据权利要求1所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述数据采集模块具体包括：

脑电信号采集单元，用于采集用户在进行运动想象时产生的运动想象脑电信号，并进行信号滤波、放大、模数转换后传输至PC处理模块；

图像采集单元，用于采集位于目标位置的目标物体三维深度图像信息，以及采集用户脸部的深度图像信息，接收PC处理模块发送的指令，并从中解析出目标位置和用户脸部位置信息；

视线追踪单元，用于采集用户的视线运动信息，并传输至机械臂控制模块。

3.根据权利要求1所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述PC处理模块具体包括：

脑电数据处理单元，用于对用户的运动想象脑电信号进行预处理，提取出脑电特征信号，并根据预训练的分类器解析用户脑电意图得到该脑电特征信号所对应的物***置，作为用户想要抓取的目标物体的位置，生成包含目标物***置的采集指令至数据采集模块；

识别定位单元，用于根据数据采集模块采集的用户脸部和目标物体的深度图像信息提取出用户脸部和目标物体的位置信息；

运动想象引导单元，用于播放引导用户运动想象的音频和视频。

4.根据权利要求2所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述脑电信号采集单元包括依次连接的标准10-20导脑电极帽、多通道脑电放大器、模数转换器和信号传输单元。

5.根据权利要求2所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述图像采集单元包括两个Kinect相机，用于分别获取目标物体和用户脸部的深度图像信息。

6.根据权利要求2所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述视线追踪单元具体为眼动追踪仪，安装于PC处理模块显示器的正下方，用于通过测量眼睛的注视点的位置而实现对眼球运动的追踪。

Images