CN114652532A - 基于ssvep与注意力检测的多功能脑控轮椅*** - Google Patents

Abstract

本发明公开了一种基于SSVEP与注意力检测的多功能脑控轮椅***，包括：操作界面模块，用于用户对轮椅的控制操作；数据输入模块，采集用户对视觉刺激的脑电信号，并对数据进行预处理；注意力检测模块，对指令是否为误触发指令进行辅助判断；智能轮椅控制模块，对轮椅行驶状态的检测，进行危险预警及自动避险，对轮椅进行定位，实现轮椅位置的实时上传及呼救功能，对行驶状况进行检测，在检测到轮椅不正常行驶状态时进行预警及呼救；指令判断模块，对指令结果的判断及输出。本发明可以提高轮椅使用过程中指令执行的正确率以及较低误操作并执行的概率，同时针对多为行动不便的患者的特征加入多种可以保障使用者安全的功能，提高安全性和使用体验。

Description

基于SSVEP与注意力检测的多功能脑控轮椅***

技术领域

本发明涉及脑机接口技术及人工智能的技术领域，特别是指一种基于 SSVEP与注意力检测的多功能脑控轮椅***。

背景技术

对于有行动障碍的患者，轮椅是其最佳的出行工具，传统的电动轮椅是需要进行肢体操作的，比如肢体控制等，因此传统轮椅对于已经丧失了工作能力的人来说可操作性比较差，操作难度高。随着老龄化趋势日益加剧及残障人士的增加，这类人群面临的行动不便的困境也逐渐被大众所关注，他们中很多人都不能正常的操作轮椅，而一些对身体活动有严重影响的疾病患者甚至无法使用轮椅。

脑际接口BCI(Brain-Computer Interface)是一种将脑部神经发出的信息与计算机或者其它外部设备连接起来的***，因为其可以直接分析对脑电信号而无需外部的肌肉动作，因为脑际接口技术可以帮助有运动障碍的残疾人与外界操作进行交互。而与脑际接口技术结合后的轮椅(脑控轮椅)可以很好的解决传统轮椅的弊病，因为脑控轮椅是直接读取使用者的脑电信号作为控制信号，所以不需要使用者的身体做出反应即可实现操作过程，即使是身体瘫痪的人只要他的思维是正常的，他就可以使用脑控轮椅。目前现有脑控轮椅一般是使用单模态的脑控轮椅，其输入信号的低平稳性以及训练难度较高等问题会很大的影响脑控轮椅的操作性，并且使用单一模态的脑控轮椅在精确度，反应时间，抗干扰性上还有很大的缺陷，由于脑机接口的操作界面上视觉刺激是一直存在的，而使用者在使用轮椅中并不能一直保持注意力集中的状态，因此很容易在注意力不集中时产生错误的指令，对于无行动能力的残疾人来说，如何降低误触发指令个数也是一个亟待解决的问题。并且目前的脑控轮椅只注重脑控在轮椅上的准确性，没有考虑到脑控轮椅方法与遇到紧急情况时使用者的应急反应是具有一定的延迟性的，所以如何在保证脑控轮椅的指令的正确率的同时使用其他的方式来提高轮椅行驶的安全性也是脑控轮椅日后广泛使用的一个必须要解决的问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于SSVEP与注意力检测的多功能脑控轮椅***，旨在通过注意力检测提高使用者发布指令识别的准确性，以及完善作为把受伤患病的病人作为主要应用人群的脑控轮椅的其它功能，包括位置实时提供，必要呼救，紧急避障及危险预警，轮椅行驶状态检测等。

为实现上述目的，本发明所提供的技术方案为：基于SSVEP与注意力检测的多功能脑控轮椅***，包括：

操作界面模块，用于用户对轮椅的控制操作，操作界面的不同功能按键会对用户有不同的视觉刺激；

数据输入模块，用于采集用户对视觉刺激的SSVEP脑电信号数据，并对数据进行预处理；

注意力检测模块，使用SVM算法进行训练及分类，用于对指令是否为误触发指令进行辅助判断，增加指令下达的准确率；

智能轮椅控制模块，利用雷达对轮椅行驶状态的检测，进行危险预警及自动避险，利用卫星定位与通信模组对轮椅进行定位，实现轮椅位置的实时上传及呼救功能，利用行驶状态检测模块对行驶状况进行检测，在检测到轮椅不正常行驶状态时进行预警及呼救；

指令判断模块，使用SVM算法进行训练及分类，用于对指令结果的判断及输出。

进一步，所述界面操作模块包括以下部分：

a、基本参数的设置，包括与脑电采集仪器连接的基本参数设置及操作模式的选择，包括使用前的训练模式以及训练成功后的使用模式，使用者在第一次使用时需要先进行训练，训练后模型符合要求则自动将模型存储，以便后期能够直接使用；

b、轮椅的功能控制，包括使用按键对轮椅前后左右方向行驶以及停止的控制，在遇到障碍物时对使用者提醒以及询问使用者是否需要继续行驶，按键在计算机显示屏上的表现形式为五个以各自设定的频率不停闪烁的方形块，使用者在注视不同闪烁频率的方形块时会产生不同的SSVEP脑电信号，设定五个方形块的闪烁频率分别为8.2HZ、9HZ、10HZ、11HZ、12HZ。

进一步，所述数据输入模块包括数据采集模块、数据预处理模块，其中：

所述数据采集模块采集使用者***作界面的视觉刺激时产生的SSVEP脑电信号数据，数据为cnt格式，训练数据包括使用者对每一个视觉刺激活动的数据集合；

所述数据预处理模块对数据进行时频转换，将采集的数据使用十阶有限冲激响应数字滤波器进行滤波，再对滤波后的数据按行进行标准化处理，标准化处理方法为：

Newdata＝(Rowdata-Edata)/Sdata

式中，Newdata为新数据，Rowdata为原数据，Edata为数据均值，Sdata 为标准差；其中数据的预处理在Matlab中进行。

进一步，所述注意力检测模块用于检测使用者使用轮椅时的注意力状态，具体执行以下操作：

1)构建用户的注意力范式模型，包括有视觉刺激时用户注意力集中与有视觉刺激时用户注意力不集中这两种情况，以注意力集中时的数据为基础构建第一支持向量机，以注意力不集中时的数据为基础构建第二支持向量机，合并两个支持向量机构建用户注意力范式的支持向量机SVM模型，设置SVM核函数类型为线性类型，核函数表达式为：

K(x,y)＝x*y

式中，K(x,y)为核函数，x、y为样本数据；

2)将用户的脑电信号数据通过搭建好的用户注意力范式的支持向量机 SVM模型进行分类，判断用户的脑电波指令是属于在注意力是否集中时受到的视觉刺激，避免因为注意力不集中时受到视觉刺激而产生的指令误触发。

进一步，所述智能轮椅控制模块包括预警及自动避险模块、卫星定位模块与通信模块和行驶状态检测模块，其中：

所述预警及自动避险模块使用前后左右四个雷达模组对轮椅行驶的状态进行实时检测，在检测到四周有固定障碍物且与障碍物的距离小于阈值时及时停车；在检测到有移动物体靠近时紧急避险，主要实现过程包括：

a、当检测轮椅前进方向上有固定障碍物时开始对障碍物进行实时测距，当距离大于设定的第一个阈值时，轮椅控制遵循使用者的指令判断结果，当与障碍物的距离小于设定的第一个阈值时，轮椅减速，操作界面会提示使用者是否往障碍物方向前行，当距离小于设定的第二个阈值时则轮椅自动停止；

b、当检测到轮椅周围有移动物体靠近时，对移动物体进行测距及测速，在移动物体与轮椅行进有冲突并距离小时轮椅自动紧急避险；

所述卫星定位模块与通信模块对轮椅使用GPS与BDS双模定位，并能够通过GPRS将轮椅的位置信息上传，让使用者的家人实时查询轮椅位置；使用者也能够通过操作界面一键呼救，呼救内容能够通过GPRS与短信功能将轮椅的位置信息发送到预存的紧急联系人手机中去；

所述行驶状态检测模块是使用陀螺仪对轮椅的行驶状态进行检测，使用两组陀螺仪，分别对轮椅的水平方向与竖直方向的角度进行分析，检测轮椅行驶的路面情况及在轮椅出现侧翻时及时预警。

进一步，所述指令判断模块用于构建指令判断模型及结果分析，具体执行以下操作：

a、通过对使用者训练时采集的SSVEP脑电信号建立支持向量机SVM模型，设置SVM模型为经典的C-SVC模型，设置SVM模型核函数类型为高斯核函数，设置C-SVC模型的惩罚系数为1，核函数表达式为：

式中，x、y为样本数据，γ为高斯核函数唯一的超参数，||x-y||表示向量的范数，K(x,y)为SVM的核函数；

b、使用者的实时脑电信号数据经过数据输入模块预处理后，根据搭建好的SVM模型进行数据预测，得到每一种分类情况的预测值，其中最大的预测值所对应的指令即判断为使用者最终的指令。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明***并不是只分析用户由视觉刺激而产生的脑电信号，同时通过注意力检测来辅助判断用户当前的状态，防止因用户注意力不集中等而下达了错误的指令或者误触发了错误指令，让整个***更加可靠，同时也可以更好的将用户的想法转化为实际的行动，除此之外，在操作轮椅之外也可以使用注意力检测来进行训练，以达到更好的操作效果。

2、本发明***更加注重其在实际使用时如何给用户更好的体验，考虑到使用的群体主要为患病受伤的病人，其社会行动能力一般较弱，一旦遇到危险和特殊情况时很难像正常人一样像外界呼救，并且脑控轮椅在反应速度上还是有一定的延迟，可以会造成一些危险情况。因此，本发明***在脑控轮椅的基础上添加了多个传感器，可以实现危险检测，轮椅状态信息和实时位置的上传，紧急避障等功能，在辅助脑控轮椅的基础上更加注重轮椅的安全性。

3、本发明***可用于医疗领域，减轻医护人员的工作量，帮助肢体残疾的人更好地生活。

附图说明

图1为本发明***各个模块的关系示意图。

图2为本发明轮椅操作界面模块图。

图3为本发明***智能轮椅控制模块结构逻辑图。

图4为本发明***脑电数据处理流程框图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于SSVEP与注意力检测的多功能脑控轮椅***，操作界面是使用C++语言在QT上进行开发并运行于Windows设备上的轮椅操作界面，算法模型的训练与分类在Matlab中进行编写，并在QT后台中对Matlab 进行调用，Matlab输出结果再反馈到后台中，后台最终将指令结果通过蓝牙发送到轮椅控制板中实现对轮椅的控制。***各模块间关系如图1所示，它包括有：

操作界面模块，用于用户对轮椅的控制操作，操作界面的不同功能按键会对用户有不同的视觉刺激；

数据输入模块，用于采集用户对视觉刺激的SSVEP脑电信号数据，并对数据进行预处理；

注意力检测模块，使用SVM算法进行训练及分类，用于对指令是否为误触发指令进行辅助判断，增加指令下达的准确率；

智能轮椅控制模块，利用雷达对轮椅行驶状态的检测，进行危险预警及自动避险，利用卫星定位与通信模组对轮椅进行定位，实现轮椅位置的实时上传及呼救功能，利用行驶状态检测模块对行驶状况进行检测，在检测到轮椅不正常行驶状态时进行预警及呼救；

指令判断模块：使用SVM算法进行训练及分类，用于对指令结果的判断及输出。

所述界面操作模块主要包括基础参数设置与轮椅的功能控制，界面操作模块如图2所示，其中：

基本参数的设置，包括与脑电采集仪器连接的基本参数设置，包括端口号，IP地址，以及标记标签的基本设置，包括通信协议以及端口号。此外操作界面也有模式设置，在使用者第一次使用时设置为训练模式，训练出符合要求的模型后即将模型进行保存，在之后的使用中可以直接设置为工作模型。

轮椅的功能控制，包括轮椅前后左右行驶以及停止的按键，以及在遇到障碍物时对用户的提醒以及再次征集是否需要继续行驶，功能按键在计算机显示屏上的表现形式为五个闪烁块。每个闪烁块的频率为8.2HZ，9HZ，10HZ， 11HZ，12HZ。计算机显示屏的刷新率为60HZ。闪烁块的作用是通过以上形式的闪烁为人眼提供外界刺激，进而诱发人的大脑产生SSVEP信号。

所述数据输入模块包括数据采集模块、数据预处理模块，如图4所示，其中：

数据采集模块采集使用者对操作界面视觉刺激的多组训练数据，当点击操作界面的训练按键时操作界面开始进行训练的数据采集，每个按键训练时长为 2s，休息5s，将5个按键采集完后为一次，共需要采集10组数据，这个数据会用来训练模型。当点击操作界面的使用按键时，***会实时采集使用者的脑电数据，以2s的时间段截取作为指令数据，数据为cnt格式。

数据预处理模块首先对数据进行时频转换，即将采集的数据使用十阶有限冲激响应数字滤波器进行滤波，再将原始数据按照通道进行特征提取，特征提取的方法为将滤波后的数据减去数据均值除以数据的标准值，表现为：

Newdata＝(Rowdata-Edata)/Sdata

式中，Newdata为新数据，Rowdata为原数据，Edata为数据均值，Sdata 为标准差。其中数据的预处理在Matlab中进行。

所述注意力检测模块用于检测使用者使用轮椅时的注意力状态，具体执行以下操作：

构建用户的注意力范式模型，主要构建有视觉刺激时使用者注意力集中与有视觉刺激时用户注意力不集中两种状态的模型，采集上述两种情况时使用者的脑电信号数据，对采集的脑电信号数据进行处理后得得到脑电特征向量，利用脑电特征向量构建支持向量机SVM模型。其中，以有视觉刺激时注意力集中状态的脑电特征向量构建第一支持向量机，有视觉刺激时注意力不集中状态的脑电特征向量构建第二支持向量机，合并构建两个状态的支持向量机得到对应于一个特定使用者的支持向量机SVM模型，通过模型可以为特定使用者判断其注意力的集中程度。

因为SSVEP信号产生需要对使用者使用持续的频率刺激，所以可以不考虑无视觉刺激的误触发情况。采集上述的两种有视觉刺激的注意力集中与不集中两种状态的数据进行模型构建，构建方式采取SVM算法。设置SVM模型为 C-SVC模型，设置SVM核函数类型为线性类型，核函数表达式为：

K(x,y)＝x*y

其中K(x,y)为核函数，x，y为样本数据。

将作为指令的数据同时使用上述注意力范式模型进行计算，将计算的结果作为使用者是否集中注意力下达指令的指标。

所述智能轮椅控制模块结构逻辑如图3所示，包括预警及自动避险模块、卫星定位模块与通信模块和行驶状态检测模块，其中：

所述预警及自动避险模块使用前后左右四个雷达模组对轮椅行驶的状态进行实时检测，雷达模组型号为HB100，该型号的雷达抗干扰能力较强，在检测到四周有障碍物时首先判断障碍物时固定障碍物还是移动障碍物，当为固定障碍物时如果障碍物为轮椅前进方向，开始实时测试距离，当距离小于阈值1时操作界面提示用户是否继续朝着当前方向前进，如果选择是则继续前进并减速，在小于阈值2时停止前进。当判断障碍物时移动障碍物时则对移动障碍物进行测距，当判断障碍物可能与当前轮椅行驶发生冲突时开始紧急避险。阈值 1设置为1.5m，阈值2设置为60cm。

所述卫星定位模块与通信模块对轮椅使用GPS与BDS双模定位，卫星模块使用MC20，通信模块使用SIM900A，在***数据卡后即可以使用GPRS将轮椅的位置上传，可以让使用者的家人实时查询轮椅位置。使用者也可以通过操作界面进行一键呼救，呼救内容可以通过GPRS与短信功能将轮椅的位置信息发送到预存的紧急联系人手机中去。

所述行驶状态检测模块是使用陀螺仪MPU9050型号来对轮椅的行驶状态j 进行检测，共使用两组陀螺仪，分别对轮椅的水平方向与竖直方向的角度进行分析，当水平角度的变化与竖直角度的变化出现快速变化并变化幅度较大时，可以检测出轮椅是否发生侧翻，如果发生侧翻可以及时通过上文所述的卫星通信与定位模块及时预警，将求助信息发送到预存的手机号码中。同时也包括对行驶路面的检测。

所述指令判断模块用于对使用者脑电指令的训练及分类，最终计算出使用者选择的指令，具体如下：

对使用者进行训练时通过采集的SSVEP脑电信号建立支持向量机SVM模型，在训练时会将训练样本中的90％的样本作为训练集，10％的样本作为测试集在后台进行结果测试，并依次将每个样本作为测试集，其余样本作为训练集进行循环测试，当测试结果通过后则作为一个合格的模型对模型进行保存。设置支持SVM模型为经典的C-SVC模型，设置SVM模型核函数类型为高斯核函数，设置C-SVC模型的惩罚系数为1，核函数表达式为：

式中，x，y为样本数据，γ为高斯核函数唯一的超参数，设置为0.001， ||x-y||表示向量的范数，K(x,y)为SVM的核函数。

在使用者开始控制轮椅时，采集的数据在经过预处理后会同时使用上述 SSVEP的SVM模型来进行计算，其中SSVEP的SVM模型通过计算可以得到一个包含每一个类别的概率估计值的矩阵，获取矩阵中最大值所对应的标签即为指令判断的最终结果。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于，包括：

操作界面模块，用于用户对轮椅的控制操作，操作界面的不同功能按键会对用户有不同的视觉刺激；

数据输入模块，用于采集用户对视觉刺激的SSVEP脑电信号数据，并对数据进行预处理；

注意力检测模块，使用SVM算法进行训练及分类，用于对指令是否为误触发指令进行辅助判断，增加指令下达的准确率；

智能轮椅控制模块，利用雷达对轮椅行驶状态的检测，进行危险预警及自动避险，利用卫星定位与通信模组对轮椅进行定位，实现轮椅位置的实时上传及呼救功能，利用行驶状态检测模块对行驶状况进行检测，在检测到轮椅不正常行驶状态时进行预警及呼救；

指令判断模块，使用SVM算法进行训练及分类，用于对指令结果的判断及输出。

2.根据权利要求1所述的基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于：所述界面操作模块包括以下部分：

a、基本参数的设置，包括与脑电采集仪器连接的基本参数设置及操作模式的选择，包括使用前的训练模式以及训练成功后的使用模式，使用者在第一次使用时需要先进行训练，训练后模型符合要求则自动将模型存储，以便后期能够直接使用；

b、轮椅的功能控制，包括使用按键对轮椅前后左右方向行驶以及停止的控制，在遇到障碍物时对使用者提醒以及询问使用者是否需要继续行驶，按键在计算机显示屏上的表现形式为五个以各自设定的频率不停闪烁的方形块，使用者在注视不同闪烁频率的方形块时会产生不同的SSVEP脑电信号，设定五个方形块的闪烁频率分别为8.2HZ、9HZ、10HZ、11HZ、12HZ。

3.根据权利要求1所述的基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于：所述数据输入模块包括数据采集模块、数据预处理模块，其中：

所述数据采集模块采集使用者***作界面的视觉刺激时产生的SSVEP脑电信号数据，数据为cnt格式，训练数据包括使用者对每一个视觉刺激活动的数据集合；

所述数据预处理模块对数据进行时频转换，将采集的数据使用十阶有限冲激响应数字滤波器进行滤波，再对滤波后的数据按行进行标准化处理，标准化处理方法为：

Newdata＝(Rowdata-Edata)/Sdata

式中，Newdata为新数据，Rowdata为原数据，Edata为数据均值，Sdata为标准差；其中数据的预处理在Matlab中进行。

4.根据权利要求1所述的基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于：所述注意力检测模块用于检测使用者使用轮椅时的注意力状态，具体执行以下操作：

1)构建用户的注意力范式模型，包括有视觉刺激时用户注意力集中与有视觉刺激时用户注意力不集中这两种情况，以注意力集中时的数据为基础构建第一支持向量机，以注意力不集中时的数据为基础构建第二支持向量机，合并两个支持向量机构建用户注意力范式的支持向量机SVM模型，设置SVM核函数类型为线性类型，核函数表达式为：

K(x,y)＝x*y

式中，K(x,y)为核函数，x、y为样本数据；

2)将用户的脑电信号数据通过搭建好的用户注意力范式的支持向量机SVM模型进行分类，判断用户的脑电波指令是属于在注意力是否集中时受到的视觉刺激，避免因为注意力不集中时受到视觉刺激而产生的指令误触发。

5.根据权利要求1所述的基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于：所述智能轮椅控制模块包括预警及自动避险模块、卫星定位模块与通信模块和行驶状态检测模块，其中：

所述预警及自动避险模块使用前后左右四个雷达模组对轮椅行驶的状态进行实时检测，在检测到四周有固定障碍物且与障碍物的距离小于阈值时及时停车；在检测到有移动物体靠近时紧急避险，主要实现过程包括：

a、当检测轮椅前进方向上有固定障碍物时开始对障碍物进行实时测距，当距离大于设定的第一个阈值时，轮椅控制遵循使用者的指令判断结果，当与障碍物的距离小于设定的第一个阈值时，轮椅减速，操作界面会提示使用者是否往障碍物方向前行，当距离小于设定的第二个阈值时则轮椅自动停止；

b、当检测到轮椅周围有移动物体靠近时，对移动物体进行测距及测速，在移动物体与轮椅行进有冲突并距离小时轮椅自动紧急避险；

所述卫星定位模块与通信模块对轮椅使用GPS与BDS双模定位，并能够通过GPRS将轮椅的位置信息上传，让使用者的家人实时查询轮椅位置；使用者也能够通过操作界面一键呼救，呼救内容能够通过GPRS与短信功能将轮椅的位置信息发送到预存的紧急联系人手机中去；

所述行驶状态检测模块是使用陀螺仪对轮椅的行驶状态进行检测，使用两组陀螺仪，分别对轮椅的水平方向与竖直方向的角度进行分析，检测轮椅行驶的路面情况及在轮椅出现侧翻时及时预警。

6.根据权利要求1所述的基于SSVEP与注意力检测的多功能脑控轮椅***，其特征在于：所述指令判断模块用于构建指令判断模型及结果分析，具体执行以下操作：

a、通过对使用者训练时采集的SSVEP脑电信号建立支持向量机SVM模型，设置SVM模型为经典的C-SVC模型，设置SVM模型核函数类型为高斯核函数，设置C-SVC模型的惩罚系数为1，核函数表达式为：

式中，x、y为样本数据，γ为高斯核函数唯一的超参数，||x-y||表示向量的范数，K(x,y)为SVM的核函数；

b、使用者的实时脑电信号数据经过数据输入模块预处理后，根据搭建好的SVM模型进行数据预测，得到每一种分类情况的预测值，其中最大的预测值所对应的指令即判断为使用者最终的指令。

Images