CN103677264A

CN103677264A - 一种基于脑机接口资源管理器的操作方法

Info

Publication number: CN103677264A
Application number: CN201310642657.3A
Authority: CN
Inventors: 李远清; 白莉娟; 余天佑
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2013-12-03
Filing date: 2013-12-03
Publication date: 2014-03-26

Abstract

本发明公开了一种基于脑机接口资源管理器的操作方法，步骤为：（1）***初始化；（2）脑控鼠标：控制鼠标移动至目标区域，选择是否点击目标区域；若选择点击该目标区域，鼠标点击该目标区域，判断该目标区域是否为地址输入栏；若否，进入（3）；若是，则资源管理器界面转换为P300文本输入界面，进入（4）；若未点击目标区域，表示选择拒绝点击该目标，则不响应目标区域内的任何事件；执行（2）；（3）响应鼠标的点击事件，根据目标区域响应的点击事件刷新界面；提前删除不可能点击的目标区域，确定新的目标区域，执行（2）；（4）文本输入：更新到路径所指的界面，执行（2）。本发明实现了对计算机中资源的操作，操作的效率高。

Description

一种基于脑机接口资源管理器的操作方法

技术领域

本发明涉及脑机接口领域，特别涉及一种基于脑机接口资源管理器的操作方法。

背景技术

脑机接口（brain computer interface，BCI）技术是在人脑和计算机之间建立不依赖于常规大脑信息输出通路(***神经和肌肉组织)的全新对外信息交流和控制技术。它利用人脑对不同的感觉、运动或认知活动产生的脑电信号的不同来确定人的想法和意图，实现人脑与外部设备的通讯和控制。脑机接口的出现为思维正常但不具备语言表达的瘫痪病人提供了一种与外界交流的方式。目前BCI发展迅速，有如基于BCI的虚拟打字机、康复机器人、无线遥控车***等。

计算机作为现代人工作，学习和娱乐的工具有着广泛的应用，通常人们会将重要的或者常用的文件存储在计算机上，若瘫痪病人通过脑机接口***可以访问和操作计算机的文件，如可以脑控阅读文档，脑控观看视频等，这将极大的丰富瘫痪病人的学习和生活，并提高其生活自理能力。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供了一种操作效率高的基于脑机接口资源管理器的操作方法，用户通过该方法实现对计算机资源管理器的访问，并实现对计算机中资源的相关操作。

本发明的目的通过下述技术方案实现：一种基于脑机接口资源管理器的操作方法，包括以下步骤：一种基于脑机接口资源管理器的操作方法，包括以下步骤：

（1）***初始化：用户带上电极帽，通过电极帽与计算接脑机接口连接，开启计算机的资源管理器界面，在资源管理器界面的四周有设置P300闪烁键；自动提取当前界面中所有可点击的目标区域，并同时捕捉界面中鼠标的位置；

（2）脑控鼠标：用户注视P300闪烁键和进行运动想象产生头皮脑电信号，计算机通过电极帽采集用户的脑电信号，分别对其所采集到的脑电信号中的运动想象和P300脑电电位信息进行预处理、特征提取和分类，得到鼠标的位移信息，控制鼠标根据位移信息在资源管理器界面内移动至目标区域，用户通过运动想象和P300脑电电位选择是否点击目标区域；

若用户选择点击该目标区域，鼠标点击该目标区域，同时判断该目标区域是否为地址输入栏；若否，则进入步骤（3）；若是，则资源管理器界面转换为P300文本输入界面，进入步骤（4）；

若用户未点击目标区域，表示用户选择拒绝点击该目标，则不响应目标区域内的任何事件；继续执行步骤（2）；

（3）计算机响应鼠标的点击事件，根据目标区域响应的点击事件刷新界面；同时根据用户当前所点击的目标，将用户下一个不可能点击的目标区域进行提前删除，用户开始确定新的目标区域，继续执行步骤（2）；

（4）文本输入：P300文本输入界面上包含有n个P300闪烁键，其中每个字符对应一个P300闪烁键，每输入一个字符，每个P300闪烁键重复闪烁n遍，在每遍闪烁中，界面上的每个字符按照随机顺序各闪烁一次；用户注视其要输入字符的P300闪烁键，计算机采集P300脑电电位信息，然后对计算机所采集的每个字符按钮闪烁的数据对应的P300脑电电位信息进行预处理、特征提取和分类，确定用户所要输入的字符；待路径输入完毕后，返回资源管理器界面，并将路径输入结果输入到地址输入栏中；将当前资源管理器界面更新到路径所指的界面，并继续执行步骤（2）。

优选的，所述计算机对P300脑电电位信息的预处理包括对P300脑电电位信息进行低通滤波处理、截取每个P300闪烁键0～600ms数据，并对截取到的0～600ms数据进行六分之一下采样处理，对P300脑电电位信息特征提取是以选择的电极的信号幅值作为特征，对P300脑电电位信息进行分类的分类器为支持向量机分类器；计算机对运动想象信号的预处理包括采用公共平均参考法去除噪声和带通滤波处理，对运动想象信号的特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，对运动想象信号进行分类的分类器为支持向量机分类器。

更进一步的，所述运动想象的分类过程中，共同空域模式特征中的值按照从大到小的顺序进行排序，若前3个的特征值的和X1与后3个特征值的和X2满足(X1-X2)/X1大于或等于20%，则为运动想象状态，否则为空闲状态。

优选的，所述步骤（2）中资源管理器界面四周包含有8个P300闪烁间，其中资源管理器界面的上方有3个“UP”键，下方有3个“DOWN”键，左右两边各有1个“STOP”键。

优选的，所述步骤（2）中通过P300键和运动想象分别来控制鼠标的垂直运动和水平运动，若用户注视3个“UP”键中的其中一个，则控制鼠标向上位移，若用户注视3个“DOWN”键中的其中一个，则鼠标向下位移；若用户想象左手运动，则鼠标向左位移，若用户想象右手运动，则鼠标向右位移；若用户注视2个“STOP”键中的1个并无运动想象，则鼠标停止移动。

优选的，所述步骤（2）中，若用户注视P300键中的“STOP”键并无运动想象，则选择点击目标；若用户注视P300键中的“STOP”键并想象左手运动或右手运动，则选择拒绝点击目标。

优选的，所述步骤（4）中，在P300闪烁键经过一遍闪烁之后，将P300脑电电位信息分类过程中初步判断为目标字符的P300闪烁键的亮度进行增加。

优选的，所述P300文本输入界面上包括50个P300闪烁键，即包含有50个字符。

更进一步的，所述50个P300闪烁键中包括Ctr/Shif、Turn、Back、PgUp、PgDn、SPACE、DEL和OK功能键。

本发明相对于现有技术具有如下的优点及效果：

（1）本发明方法结合运动想象和P300这两种独立的信号进行结合应用于脑机接口领域，使用运动想象和P300控制脑控鼠标的移动，实现了鼠标在资源管理器界面位移到达目标区域，然后模拟鼠标点击事件，可以实现对资源管理器中的文件、文件夹、按钮等进行打开、复制、粘贴、关闭和删除等操作。用户还可以在地址输入栏中通过P300文本输入界面输入用户所要寻找的文件的路径，给肢体残疾者使用计算机带来了极大的方便。另外本发明通过对脑电信号中运动想象和P300输出信号的实时采集和检测来控制鼠标的移动，因此本发明能够实现连续控制，并且具有控制时间较短较准的优点。

（2）本发明方法点击目标之后，根据用户当前所点击的目标，将用户下一个不可能点击的目标区域进行提前删除；由于资源管理器内文件、文件夹、按钮等目标繁多，用户操作某一目标时，就必须对鼠标经过的其他目标均做一次拒绝的选择；而本发明方法对不可能点击的目标区域进行提前删除可以减少鼠标拒绝操作的次数，提高本发明方法的操作效率。

（3）由于目标的亮度会对P300的准确率产生影响。因此本***中对P300界面闪烁方式进行了如下的规定，对每一轮闪烁过后P300数据分析过程中得到的最可能的目标按钮的亮度进行适当的增加。当P300闪烁键经过一遍闪烁之后，将在P300脑电电位信息分类过程中初步判断最有可能为目标字符的P300闪烁键的亮度进行增加，保证了本发明方法输入字符的准确度。

（4）本发明方法对P300文本输入界面增加了Turn、Back、Ctr/Shif、PgUp、PgDn、SPACE、DEL和OK等功能键，因此进一步增加了P300文本输入界面的功能。

附图说明

图1是本发明方法的流程图。

图2是本发明资源管理器界面示意图。

图3是本发明P300文本输入界面示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例公开了一种基于脑机接口资源管理器的操作方法，包括以下步骤：

（1）***初始化：用户带上电极帽，通过电极帽与计算接脑机接口连接，开启计算机的资源管理器界面，如图2所示，在资源管理器界面的四周有设置有8个P300闪烁键，其中资源管理器界面的上方有3个“UP”键，下方有3个“DOWN”键，左右两边各有1个“STOP”键；自动提取当前界面中所有可点击的目标区域，并同时捕捉界面中鼠标的位置；其中资源管理器界面目标区域可为本地磁盘（C、D、E、F）、桌面、按钮、文件、文件夹和地址输入栏等。

（2）脑控鼠标：用户注视P300闪烁键和进行运动想象产生头皮脑电信号，计算机通过电极帽采集用户的脑电信号，对其所采集到的脑电信号中的P300脑电电位信息分别进行低通滤波和截取每个P300闪烁键0～600ms数据，并对其进行六分之一下采样处理，然后提取电极的信号幅值作为特征，最后采用支持向量机分类器对各特征进行分类。对运动想象信号采用公共平均参考法(CAR)去除噪声和带通滤波的预处理，然后采用共同空域模式(CSP)提取空间投影后的信号方差作为特征，最后采用支持向量机分类器对各特征进行分类；以得到鼠标垂直和水平位移信息，根据位移信息控制鼠标在资源管理器界面内移动至目标区域；其中若用户注视3个“UP”键中的其中一个，则控制鼠标向上位移，若用户注视3个“DOWN”键中的其中一个，则控制鼠标向下位移；若用户想象左手运动，则控制鼠标向左位移，若用户想象右手运动，则控制鼠标向右位移；待鼠标到达目标区域后，用户通过运动想象和P300脑电电位选择是否点击目标区域；

若用户注视P300键中的“STOP”键并无运动想象，则表示用户选择点击目标区域，鼠标点击该目标区域，同时判断该目标区域是否为地址输入栏；若否，则进入步骤（3）；若是，则资源管理器界面转换为P300文本输入界面，进入步骤（4）；

若用户注视P300键中的“STOP”键并想象左手运动或右手运动，则用户拒绝点击该目标，不响应目标区域内的任何事件，继续执行步骤（2）。

（3）计算机响应鼠标的点击事件，根据目标区域响应的点击事件刷新界面；同时根据用户当前所点击的目标，将用户下一个不可能点击的目标区域进行提前删除，然后用户开始确定下一个新的目标区域，继续执行步骤（2），在新资源管理器界面下通过步骤（2）将鼠标移至下一个新的目标区域，直到用户完成资源管理器的相关操作。例如用户点击一个文件，则计算机刷新为有快捷菜单的新界面，此时可知，用户下一目标可能为快捷菜单中的打开、复制、粘贴、删除文件等操作，因此可以判断列表框中的文件、文件夹等都不可能作为下一个新的目标区域，因此将这些区域删除，以减少目标数量。

（4）文本输入：P300文本输入界面上如图3所示包含有50个P300闪烁键，每个字符对应一个P300闪烁键，每输入一个字符，每个P300闪烁键重复闪烁n遍，在每遍闪烁中，界面上的每个字符按照随机顺序各闪烁一次；用户注视其要输入字符的P300闪烁键，计算机采集P300脑电电位信息，然后对计算机所采集的每个字符按钮闪烁的数据对应的P300脑电电位信息进行预处理、特征提取和分类，最终确定用户所要输入的字符；其中对P300脑电电位信息的预处理包括对P300脑电电位信息进行低通滤波处理、截取每个P300闪烁键0～600ms数据，并对截取到的0～600ms数据进行六分之一下采样处理，对P300脑电电位信息特征提取是以选择的电极的信号幅值作为特征，对P300脑电电位信息进行分类的分类器为支持向量机分类器；待路径输入完毕后，返回资源管理器界面，并将路径输入结果输入到地址输入栏中；将当前资源管理器界面更新到路径所指的界面；并继续执行步骤（2）。

其中本实施例在运动想象的分类过程中，共同空域模式特征中的值按照从大到小的顺序进行排序，若前3个的特征值的和X1与后3个特征值的和X2满足(X1-X2)/X1大于或等于20%，则判断为运动想象状态，否则判断为空闲状态。

如图3所示，在本实施例P300文本输入界面上的P300闪烁键还包含有Turn、Back、Ctr/Shif、PgUp、PgDn、SPACE、DEL和OK功能键，用户在输入完路径后，可以通过注视“Turn”键，使得当前P300文本输入界面直接进入到目标路径的界面；用户可以通过注视“Back”键回到上一级目录的界面；通过“Ctr/Shif”切换中英文的输入方法，通过“DEL”可以删除在P300文本输入界面输入的字符，通过“SPACE”键可以在字符间键入间隔，通过“OK”键确定输入完成；通过“PgUp”和“PgDn”可以翻页。

本实施例通过脑控鼠标和P300文本输入界面来模拟资源管理器的一般功能。首先，用户通过脑控鼠标可以点击本地磁盘（C，D，E，F）和桌面，此时相应磁盘内的所有文件将会出现在列表框内，用户可以点击文件夹用来打开文件夹。其次，若目标路径中包含许多文件夹，则可以通过P300文本输入界面在地址输入栏拼写目标路径，然后点击“Turn”键直接进入目标路径；此外用户还可以通过点击“Back”键用来返回到上一级目录。如果用户点击文件，则***会立刻弹出快捷菜单，用户可以用来打开、复制、粘贴、删除文件；若用户打开文件后，用户可以通过脑控鼠标关闭该文件。

本实施例步骤（3）中，P300闪烁键经过一遍闪烁之后，将P300脑电电位信息分类过程中初步判断最有可能为目标字符的P300闪烁键的亮度进行增加。

由于资源管理器内文件、文件夹、按钮等目标繁多，用户操作某一目标时，就必须对鼠标经过的其他目标均做一次拒绝的选择；在本实施例中根据用户当前所点击的目标，将用户下一个不可能点击的目标区域先进行提前删除，以减少目标的数目，从而减少鼠标经过这些不可能作为目标的区域中所要执行拒绝的次数，提高本发明操作方法的效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于脑机接口资源管理器的操作方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于脑机接口资源管理器的操作方法，其特征在于，所述计算机对P300脑电电位信息的预处理包括对P300脑电电位信息进行低通滤波处理、截取每个P300闪烁键0～600ms数据，并对截取到的0～600ms数据进行六分之一下采样处理，对P300脑电电位信息特征提取是以选择的电极的信号幅值作为特征，对P300脑电电位信息进行分类的分类器为支持向量机分类器；计算机对运动想象信号的预处理包括采用公共平均参考法去除噪声和带通滤波处理，对运动想象信号的特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，对运动想象信号进行分类的分类器为支持向量机分类器。

3.根据权利要求2所述的基于脑机接口资源管理器的操作方法，其特征在于，所述运动想象的分类过程中，共同空域模式特征中的值按照从大到小的顺序进行排序，若前3个的特征值的和X1与后3个特征值的和X2满足(X1-X2)/X1大于或等于20%，则为运动想象状态，否则为空闲状态。

4.根据权利要求1所述的基于脑机接口资源管理器的操作方法，其特征在于，所述步骤（2）中资源管理器界面四周包含有8个P300闪烁间，其中资源管理器界面的上方有3个“UP”键，下方有3个“DOWN”键，左右两边各有1个“STOP”键。

5.根据权利要求4所述的基于脑机接口资源管理器的操作方法，其特征在于，所述步骤（2）中通过P300键和运动想象分别来控制鼠标的垂直运动和水平运动，若用户注视3个“UP”键中的其中一个，则控制鼠标向上位移，若用户注视3个“DOWN”键中的其中一个，则鼠标向下位移；若用户想象左手运动，则鼠标向左位移，若用户想象右手运动，则鼠标向右位移；若用户注视2个“STOP”键中的1个并无运动想象，则鼠标停止移动。

6.根据权利要求1所述的基于脑机接口资源管理器的操作方法，其特征在于，所述步骤（2）中，若用户注视P300键中的“STOP”键并无运动想象，则选择点击目标；若用户注视P300键中的“STOP”键并想象左手运动或右手运动，则选择拒绝点击目标。

7.根据权利要求1所述的基于脑机接口资源管理器的操作方法，其特征在于，所述步骤（4）中，在P300闪烁键经过一遍闪烁之后，将P300脑电电位信息分类过程中初步判断为目标字符的P300闪烁键的亮度进行增加。

8.根据权利要求1所述的基于脑机接口资源管理器的操作方法，其特征在于，所述P300文本输入界面上包括50个P300闪烁键，即包含有50个字符。

9.根据权利要求8所述的基于脑机接口资源管理器的操作方法，其特征在于，所述50个P300闪烁键中包括Ctr/Shif、Turn、Back、PgUp、PgDn、SPACE、DEL和OK功能键。