CN102200833B - 一种Speller BCI***及其控制方法 - Google Patents

Abstract

本发明公开了一种Speller BCI***及其控制方法，涉及BCI技术领域，包括：脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块，在脑电数据采集模块的屏幕上显示Speller刺激界面，采集脑电信号，通过数据预处理模块对脑电数据进行预处理之后，通过特征提取模块获取视觉诱发的P300信号和想象动作特征；模式识别模块对视觉诱发的P300信号和想象动作特征进行分类识别，输出待选字符。本发明为丧失了语言交流能力但思维正常的病人提供了与外界进行信息交流的途径，使待选字符数提高一倍，并且有效地提高了信息传输效率，是新型的复合型Speller BCI***。

Description

一种Speller BCI***及其控制方法

技术领域

本发明涉及BCI技术领域，特别涉及一种Speller BCI***及其控制方法。 

背景技术

第一次BCI(Brain-Computer Interface，脑-机接口)国际会议给出的BCI的定义是“BCI是一种不依赖于大脑***神经与肌肉正常输出通道的通讯控制***。”到目前为止，最常用的BCI***大都是基于脑电信息的，技术原理是一致的。参见图1，含有操作控制意图的脑电信息通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信息特征，并将之转化为控制外部设备的操作命令。BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。大脑在实施真实动作或想象动作条件下均能够显著地改变其所诱发的ERP(Event Related Potential，事件相关电位)信号中某些特征频段成份(例如alpha波、beta波和mu节律)的功率谱强弱比率。这一现象被定义为ERD(Evented Related Desynchronization，事件相关去同步)以及ERS(Evented Related Synchronization，事件相关同步)。其中ERD对应于功率谱比率的下降，ERS对应于功率谱比率上升。 

P300是典型的内源性事件相关电位，它是对一系列无关事件刺激中相对稀少的有关刺激做出的反应。所谓P300电位是指距离刺激时刻的潜伏期为300ms左右，电位极性为正的ERP波峰信号。目前BCI***中产生P300信号的思维作业设计较为复杂，较为典型的设计为oddball试验模式，即组成一个事件序列，该事件序列中含有一个或几个靶刺激事件，其它为非靶刺激事件。P300信号的产生条件是靶刺激事件的出现频率要远小于非靶刺激事件，这时靶刺激成为稀少刺激，靶刺激的出现概率越小，P300信号越显著。这样通过检测P300信号的发生时刻即可定位出使用者在一系列的刺激事件序列中的选择目标，从而完成思维指令的传输。 

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足： 

传统P300-Speller BCI***的刺激编码模式不利于实现大指令集的信息传输，存在信息传输效率低、可选字符数目有限等问题，难以满足实际应用中的需 要。 

发明内容

为了解决信息传输效率低、可选字符数目有限的问题，本发明提供了一种Speller BCI***及其控制方法，详见下文描述： 

一种Speller BCI***，所述Speller BCI***包括：脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块， 

在所述脑电数据采集模块的屏幕上显示Speller刺激界面，采集使用者的脑电信号，所述数据预处理模块对所述脑电信号进行预处理；通过所述特征提取模块提取所述脑电信号中视觉诱发的P300信号和想象动作特征；所述模式识别模块对所述视觉诱发的P300信号和所述想象动作特征进行分类识别，输出待选字符。 

所述Speller刺激界面具体为：先进行列的随机无重复闪烁，再进行行的随机无重复闪烁。 

一种Speller BCI***的控制方法，所述方法包括以下步骤： 

(1)使用者在脑电数据采集模块的屏幕上观看Speller刺激界面，注视待选字符所在区域并同时想象左右手动作，完成大小写字母的2选1或数字与符号的2选1输出，采集使用者的脑电信号； 

(2)通过相干平均方式将所述脑电信号中的噪声信号去除，提取视觉诱发的P300信号； 

(3)通过短时傅里叶变换获取脑电信号的二维时频图谱； 

(4)对所述脑电信号的二维时频图谱进行Fisher可分性分析，获取Fisher系数二维时频图谱，获取特征频段，提取想象动作特征； 

(5)对所述视觉诱发的P300信号和所述想象动作特征进行模式识别，输出待选字符； 

其中，步骤(2)中的所述相干平均方式具体为： 

x_n(i，t)＝p_n(i，t)+e_n(i，t) n＝1ΛN 

其中，n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间，x_n(i，t)为采集到的脑电信号，p_n(i，t)为第n次刺激时理想的P300信号，e_n(i，t)为总的噪声信号；设背景噪声为零均值，方差为 

的平稳随机信号，且不同刺激产生的 噪声信号都不相关，即第m次和第n次刺激产生的噪声信号不相关； 

E[e_m(i，t)e_n(i，t)]＝0 m≠n 

假设每次刺激所产生的P300信号都表示成一个确定的信号p(i，t)，即 

p₁(i，t)＝p₂(i，t)＝Λ＝p_N(i，t)＝p(i，t)； 

其中，步骤(3)中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体为： 

使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察，得到加窗后的脑电信号，对所述加窗后的脑电信号进行所述短时傅立叶变换，得到 

$\mathrm{STFT}(t,\mathrm{\ω})=\underset{-\∞}{\overset{+\∞}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-\mathrm{j\ω\τ}}\mathrm{d\τ}$

其中，ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，把所述有限宽度的观察窗沿时间轴平移，得到所述脑电信号的二维时频图谱； 

其中，步骤(4)中的所述Fisher可分性分析定义如下： 

$J=\frac{{|m_1-m_2|}^2}{{\mathrm{\σ}}_1^2+{\mathrm{\σ}}_2^2}$

其中，m₁和m₂分别为两类想象动作特征的均值、σ₁和σ₂分别为两类想象动作特征的方差； 

其中，步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模式识别，输出待选字符具体为： 

进行列的随机无重复闪烁时，所述视觉诱发的P300信号和所述想象动作特征共同组成一个特征向量，作为SVM分类器的输入；进行行的随机无重复闪烁时，所述视觉诱发的P300信号和所述想象动作特征共同组成另一个特征向量，作为所述SVM分类器的另一个输入，经过所述SVM分类器的处理，确定X，Y和Z三个方向上的坐标，确定并输出所述待选字符。 

本发明提供的技术方案的有益效果是： 

本发明提供了一种Speller BCI***及其控制方法，本发明选用了脑电信息中ERD特征和事件相关电位中的P300特征作为特征控制信号，由此可以利用大脑在进行想象左右手动作时所引发的ERD现象和视觉刺激时诱发的P300特征作为对刺激事件有效应答的标志，区别于传统的仅基于视觉刺激诱发的P300Speller BCI***；本发明为那些丧失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径，即可以直接通过脑电来对外表达意愿或交流，以能 够实现病人与外界直接对话的目的；本发明将想象动作诱发的脑电ERD信号和视觉诱发的P300信号两种不同的特征信息有机地融合在一起，提取使用者想象左右手动作与视觉刺激时的脑电变化特征，将其作为Speller识别输出的分类标准；使可选字符数提高一倍，并且有效地提高了信息传输效率，是一种新型的复合型Speller BCI***。 

附图说明

图1为现有技术提供的BCI***及其控制的结构示意图； 

图2为本发明提供的Speller BCI***的结构示意图； 

图3为本发明提供的刺激界面的示意图； 

图4为本发明提供的闪烁频率的波形示意图； 

图5为本发明提供的Speller BCI***的控制方法的流程图； 

图6为本发明提供的三维矩阵的示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。 

为了解决信息传输效率低、可选字符数目有限的问题，本发明实施例提供了一种Speller BCI***，详见下文描述： 

一种Speller BCI***，参见图2，该Speller BCI***包括：脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块， 

在脑电数据采集模块的屏幕上显示Speller刺激界面，采集使用者的脑电信号，数据预处理模块对脑电信号进行预处理；通过特征提取模块提取脑电信号中视觉诱发的P300信号和想象动作特征；模式识别模块对视觉诱发的P300信号和想象动作特征进行分类识别，输出待选字符。 

其中，参见图3，该Speller刺激界面具体为：先进行列的随机无重复闪烁，再进行行的随机无重复闪烁；Speller刺激界面中包括大写字符、小写字符、数字字符等。 

其中，闪烁频率根据实际应用中的需要进行设定，参见图4，本发明实施例中行列以75ms间隔闪烁，闪烁时间为100ms，每两个待选字符间有四秒钟的休 息时间。 

一种Speller BCI***的控制方法，参见图5，该方法包括以下步骤： 

101：使用者在脑电数据采集模块的屏幕上观看Speller刺激界面，注视待选字符所在区域并同时想象左右手动作，完成大小写字母的2选1或数字与符号的2选1输出，采集使用者的脑电信号； 

其中，为了取得较好的效果，使用者优选安静地正坐于距脑电数据采集模块的屏幕约1m的靠椅上，在Speller矩阵闪烁过程中，使用者注视待选字符所在区域，且心中默数目标区域闪烁的次数(有利于使用者集中精力)。注视的同时想象左右手动作，完成大小写字母的2选1或数字与符号的2选1输出任务。想象左手相当于不按shift时的键盘输出，想象右手相当于按住shift时的键盘输出。待选字符是a或A时，若待选字符是a则注视的同时想象左手；若待选字符是A则注视的同时想象右手。 

102：通过相干平均方式将脑电信号中的噪声信号去除，提取视觉诱发的P300信号； 

其中，噪声信号主要包括：自发脑电信号、外部背景噪声以及其他与导联相关的噪声。 

相干平均方式是处理脑电信号常用的处理方式之一，是提取强噪声背景下微弱信号的有效方式。本发明实施例中所采集到的脑电信号通常伴随着很强的噪声或伪迹，而相干平均方式的作用就是将噪声信号从脑电信号中去除。对于每次的刺激，这些噪声信号都是不相关的。而ERP中的视觉诱发的P300信号可以看作是个确定性的信号，并且独立于自发脑电信号和其他噪声信号。其中，相干平均方式具体为： 

x_n(i，t)＝p_n(i，t)+e_n(i，t) n＝1ΛN    (1) 

其中，n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间，x_n(i，t)为采集到的脑电信号，p_n(i，t)为第n次刺激时理想的P300信号，e_n(i，t)为总的噪声信号。 

由于外部背景噪声的存在，单次的x_n(i，t)并不能体现脑电信号中的视觉诱发的P300成分，并且往往淹没在强的背景噪声下。假设实验中客观条件不变，背景噪声为零均值，方差为 

的平稳随机信号，且不同刺激产生的噪声信号都不相关，即满足下式： 

E[e_m(i，t)e_n(i，t)]＝0 m≠n                  (2) 

假设每次刺激所产生的视觉诱发的P300信号都可以近似表示成一个确定的信号p(i，t)，即 

p₁(i，t)＝p₂(i，t)＝Λ＝p_N(i，t)＝p(i，t)    (3) 

本发明实施例中，首先将每一次闪烁刺激之后的脑电信号从连续的脑电信号中提取出来，然后按照每一次闪烁将这些脑电信号分段排列，再以点对点的方式进行简单的迭加平均。 

103：通过短时傅里叶变换获取脑电信号的二维时频图谱； 

由于想象动作引起的脑电ERD现象有着特定的发生频段和相对于诱发刺激固定的时间延迟，因此可以采用短时傅里叶变换对刺激前后的频谱成分变化以及分布特点进行分析。常用的谱分析方法中暗含着对于处理信号的平稳性假设，也即是假设信号的频谱成分在整个时间轴上是同分布的，而对于时间相关的诱发动态脑电信号而言，这一假设显然不成立。针对这种情况，替代方法是使用可以同时提取时域与频域信息的时频分析方法，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察，得到加窗后的脑电信号，对加窗后的脑电信号进行傅立叶变换，得到 

$\mathrm{STFT}(t,\mathrm{\ω})=\underset{-\∞}{\overset{+\∞}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-\mathrm{j\ω\τ}}\mathrm{d\τ}---\left(4\right)$

其中，ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，把有限宽度的观察窗沿时间轴平移，得到脑电信号的二维时频图谱，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息。 

其中，观察窗的有限宽度根据实际应用中的需要进行设定，例如：本发明实施例中可将观察窗的有限宽度设定为200ms，具体实现时本发明实施例对此不做限制。 

104：对脑电信号的二维时频图谱进行Fisher可分性分析，获取Fisher系数二维时频图谱，获取特征频段，提取想象动作特征； 

可分性分析是特征提取中的常用方法，它主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异，一般来说差异度越大的参数越适于作为样本 的分类的特征值。对于想象动作诱发脑电信号而言，一种类型的动作任务脑电信号对应一类样本，如果脑电信号在某个频段上的功率谱密度在一类任务样本和其它样本之间的分布有着明显得差异，则此频段即为该类想象动作任务诱发脑电信号的特异性频段。对于样本参数可分性的评价方法有多种，而Fisher可分性分析已称为想象动作特征提取的最为有效的方法之一。在这里可以选用Fisher评价函数，其定义如下： 

$J=\frac{{|m_1-m_2|}^2}{{\mathrm{\σ}}_1^2+{\mathrm{\σ}}_2^2}---\left(5\right)$

其中，m₁和m₂分别为两类想象动作特征的均值、σ₁和σ₂分别为两类想象动作特征的方差。 

Fisher评价函数实际上是不同想象动作脑电信号的类间离散度与类内离散度的比值，J越大则可分性越高，若两类不同想象动作脑电信号的均值相等，则J为0，即两类不同想象动作脑电信号不可分。 

当对不同想象动作之间的脑电信号二维时频图谱作Fisher可分性分析时，得到Fisher系数二维时频图谱，从二维时频图谱上可以得出Fisher系数明显较大的位置对应的时间段和频率段，这样取得的时频窗内的功率谱密度值就可以作为提取到的一个特征。 

105：对视觉诱发的P300信号和想象动作特征进行模式识别，输出待选字符。 

其中，模式识别是通过对提取的脑电信号特征进行分类来辨识出其中所携带的自主性动作信息。SVM(支持向量机)是近年来在模式识别与机器学***面，使得对未知样本的分类误差最小。模式识别的过程如下：在经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及识别正确率。 

如图5所示，在这个三维矩阵中由(x，y，z)坐标共同决定一个字符，视觉诱发的P300信号决定了字符在X-Y平面上的坐标，而左右手想象动作产出的ERD信号决定了字符在Z轴方向上的位置。Speller矩阵先进行列的随机无重复闪烁， 再进行行的随机无重复闪烁。使用者注视目标字符的同时想象左右手运动，若目标字符为小写字母，则注视目标字符的同时想象左手动作，若目标字符为大写字母，则注视目标字符的同时想象右手动作。当进行列或行的随机无重复闪烁时，靶刺激会产生一个视觉诱发的P300信号，注视目标字符的同时想象左右手动作，那么产生视觉诱发的P300信号的同时会产生相应的ERD信号。 

其中，对视觉诱发的P300信号和想象动作特征进行模式识别，输出待选字符具体为：进行列的随机无重复闪烁时，视觉诱发的P300信号和想象动作特征共同组成一个特征向量，作为SVM分类器的输入；进行行的随机无重复闪烁时，视觉诱发的P300信号和想象动作特征共同组成另一个特征向量，作为SVM分类器的另一个输入，经过SVM分类器的处理，确定X，Y和Z三个方向上的坐标，确定并输出待选字符。 

下面以一个简单的试验来验证本发明实施例提供的的可行性，详见下文描述： 

本发明实施例使用64导联的脑电数据采集模块，所用电极均为Ag或AgCl电极(阻抗小于15000欧姆)，以双侧乳突作为参考电平，脑电采样频率为1000Hz，滤波通带为0.5～100Hz，并采用50Hz陷波器去除工频干扰，通过试验验证了本发明实施例提供的一种Speller BCI***及其控制方法的可行性，满足了实际应用中的需要。 

综上所述，本发明实施例提供了一种Speller BCI***及其控制方法，本发明选用了脑电信息中ERD特征和事件相关电位中的P300特征作为特征控制信号，由此可以利用大脑在进行想象左右手动作时所引发的ERD现象和视觉刺激时诱发的P300特征作为对刺激事件有效应答的标志，区别于传统的仅基于视觉刺激诱发的P300 Speller BCI***；本发明为那些丧失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径，即可以直接通过脑电来对外表达意愿或交流，以能够实现病人与外界直接对话的目的；本发明将想象动作诱发的脑电ERD信号和视觉诱发的P300信号两种不同的特征信息有机地融合在一起，提取使用者想象左右手动作与视觉刺激时的脑电变化特征，将其作为Speller识别输出的分类标准；使可选字符数提高一倍，并且有效地提高了信息传输效率，是一种新型的复合型Speller BCI***。 

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实 施例序号仅仅为了描述，不代表实施例的优劣。 

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (1)

1.一种Speller BCI***的控制方法，其特征在于，所述方法包括以下步骤：

(1)使用者在脑电数据采集模块的屏幕上观看Speller刺激界面，注视待选字符所在区域并同时想象左右手动作，完成大小写字母的2选1或数字与符号的2选1输出，采集使用者的脑电信号；

(2)通过相干平均方式将所述脑电信号中的噪声信号去除，提取视觉诱发的P300信号；

(3)通过短时傅里叶变换获取脑电信号的二维时频图谱；

(4)对所述脑电信号的二维时频图谱进行Fisher可分性分析，获取Fisher系数二维时频图谱，获取特征频段，提取想象动作特征；

(5)对所述视觉诱发的P300信号和所述想象动作特征进行模式识别，输出待选字符；

其中，步骤(2)中的所述相干平均方式具体为：

x_n(i,t)=p_n(i,t)+e_n(i,t)  n=1…N

其中，n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间，x_n(i，t)为采集到的脑电信号，p_n(i，t)为第n次刺激时理想的P300信号，e_n(i，t)为总的噪声信号；假设背景噪声为零均值，方差为

的平稳随机信号，由于不同刺激下产生的总的噪声信号都不相关，即第m次和第n次刺激产生的噪声信号不相关；

E[e_m(i，t)e_n(i，t)]=0  m≠n

假设每次刺激所产生的P300信号都表示成一个确定的信号p(i，t),即

p₁(i，t)=p₂(i，t)=…=p_N(i，t)=p(i，t)；

其中，步骤(3)中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体为：

使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察，得到加窗后的脑电信号，对所述加窗后的脑电信号进行所述短时傅立叶变换，即

$\mathrm{STFT}(t,\mathrm{\ω})=\underset{-\∞}{\overset{+\∞}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-\mathrm{j\ω\τ}}\mathrm{d\τ}$

其中，ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，把所述有限宽度的观察窗沿时间轴平移，得到所述脑电信号的二维时频图谱；

其中，步骤(4)中的所述Fisher可分性分析定义如下：

$J=\frac{{|m_1-m_2|}^2}{{\mathrm{\σ}}_1^2+{\mathrm{\σ}}_2^2}$

其中，J为分析结果，m₁和m₂分别为两类想象动作特征的均值、σ₁和σ₂分别为两类想象动作特征的方差；

其中，步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模式识别，输出待选字符具体为：

进行列的随机无重复闪烁时，所述视觉诱发的P300信号和所述想象动作特征共同组成一个特征向量，作为SVM分类器的输入；进行行的随机无重复闪烁时，所述视觉诱发的P300信号和所述想象动作特征共同组成另一个特征向量，作为所述SVM分类器的另一个输入，经过所述SVM分类器的处理，确定X，Y和Z三个方向上的坐标，确定并输出所述待选字符。

Images