CN112560703A - 一种基于pf系数的多模态bci特征提取方法 - Google Patents

Abstract

本发明公开了一种基于PF系数的多模态BCI特征提取方法，本发明本文首先选取合理的时间窗数据进行PF系数通道选择；将表征信号间相关性的Person系数与表征特征间可分性的Fisher值相结合，构建代表任务区分性的PF系数，并设置合理阈值对通道进行选择。然后提取EEG中的共空间模式特征和fNIRS中的统计特征。最后通过收缩线性判别分析SLDA分类器进行分类。本发明选出来的块能有效地避免不同个体以及不同通道间的差异性，且通道分布合理，数量适中，一定程度上提高了多模态BCI***的分类性能，为脑电‑近红外信号的特征提取提供了新的思路。

Description

一种基于PF系数的多模态BCI特征提取方法

技术领域

本发明属于模式识别领域，提出一种基于PF(Person-Fisher,PF)系数的通道选择方法。用于基于心理计数BCI***的任务分类。通过将表征信号间相关性的Person系数与表征特征间可分性的Fisher值相结合，构建代表任务区分性的PF系数，并设置合理阈值对通道进行选择。减少了通道间的冗余信息，然后提取EEG中的共空间模式(Common spacepattern,CSP)特征和fNIRS中的统计特征。最后通过收缩线性判别分析(Shrinking lineardiscriminant analysis,SLDA)分类器进行分类。

背景技术

脑机接口(Brain-computer interface,BCI)提供了人类中枢神经***与计算机之间的直接通信渠道。这意味着，在不使用肢体，声音或任何需要肌肉活动的动作的情况下，BCI可以分析与预期动作相关的大脑感应信号，从而生成控制外部设备的命令。BCI***中，常见的信号采集成像方式包括脑电图(Electroencephalogram,EEG)，皮层区脑电图(Electrocardiogram,ECoG)，功能性近红外光谱(Functional near-infraredspectroscopy,fNIRS)，功能磁共振成像(Functional magnetic resonance imaging,fMRI)和脑磁图(Magnetoencephalography,MEG)等。其中EEG是一种生物电成像方法，利用头皮电极来测量由大脑皮层神经元的电活动引起的电压波动。EEG具有较高的时间分辨率，频域特点突出，便捷安全等特点。由于电极测量大脑表面的电活动，难以确定EEG信号是在表面附近还是在更深的区域产生的。因此导致EEG空间分辨率相对较低并且容易受到来自肌电和眼电的干扰。导致EEG获得的分类精度遭受严重损害，并且导致错误分类的产生。

fNIRS是一种光学成像方法，可评估大脑中的血液动力学活动。fNIRS可测量脱氧血红蛋白(Deoxyhemoglobin,HbR)和氧合血红蛋白(Oxyhemoglobin,HbO)的浓度变化。fNIRS具有相对高的空间分辨率、便携、便宜、抗运动干扰等特点。但是由于血氧浓度反应迟缓，因此导致fNIRS的时间分辨率很低。EEG与fNIRS都用于多种BCI***中，以检测例如运动想象，心理算术(Mental Arithmetic,MA)和n-back任务这些源自认知和心理任务的大脑活动变化。由于每种神经影像学方法都有其特定的局限性。在过去的几年中，研究人员一直在努力提高信息传输率并克服单模态***的局限性，从而形成了多模态***，称为多模态BCI。

研究者结合EEG和fNIRS对想象左右手抓握进行了实验,结果表明，相比于单模态，多模态BCI可以显著提高90％以上受试者的运动想象分类准确性。许多其它研究也已经证实EEG-fNIRS组合可以增强信号强度，提高分类精度并克服大多数单模态的局限性。多模态BCI***可以增强分类精度，但是由于***模态的增加会导致信号维度增加，为减少多模态BCI***计算负担，对信号进行降维十分必要，例如：主成分分析(Principal componentanalysis,PCA)和公共空间模式(Common space pattern,CSP)。除此之外，保留并突出单个模态***的有利特征对多模态BCI***的分类性能也有很大提升。有研究者提出了一种基于Pearson相关系数的通道选择方法，并在左右手分类准确率上达到了不错的结果；研究者为了确定每个fNIRS通道在信息区分中的作用，于是计算了每个特征的Fisher值，Fisher值的大小即为fNIRS通道区分信息的能力。但是基于Pearson相关系数的通道选择方法仅考虑了数据之间的相关性，而基于Fisher值的通道选择方法仅考虑了不同任务特征的可分性。因此本文提出一种兼顾信号相关性和特征可分性的基于PF(Person-Fisher)系数的通道选择方法。

发明内容

本发明包括以下步骤：

步骤(1)：脑电-近红外信号采集与预处理。

首先采集受试者的脑电-近红外心理算数任务脑电信号；接着利用带通滤波器针对每个通道的脑电信号进行4-35Hz带通滤波；然后截取合适的时间窗。

步骤(2)：分别对EEG与fNIRS构建用于通道选择的PF系数，并根据PF系数设置合理阈值选出通道组合。

步骤(3)：对通道选择后信号进行特征提取，其中EEG信号提取CSP空域特征，fNIRS信号提取平均值和峰值两种统计特征。

步骤(4)：对EEG与fNIRS特征进行归一化，并进入LSDA进行分类。

本发明的有益效果：本发明通过PF系数方法选出来的通道能有效地避免不同个体以及不同通道间的差异性，且通道分布合理，数量适中，并一定程度上提高了BCI***的分类性能。另外，与其他仅考虑信号相关性和仅特征可分性通道选择方法相比，该想法兼顾信号相关性和特征可分性。

附图说明

图1为本发明的流程图；

图2为单次实验时间轴；

图3为PF系数算法流程图；

图4为Hybird验证集分类精度随EEG与fNIRS通道数目的变化趋势图；

图5为受试者2在PF方法下选择通道的分布情况。

具体实施方式

下面结合附图详细描述本发明基于PF系数的多模态BCI特征提取方法。如图1，本发明的实施主要包括4个步骤：(1)脑电-近红外信号采集与预处理；(2)通道选择；(3)特征提取；(4)特征归一化与LDA分类。

下面逐一对各步骤进行详细说明。

步骤(1)：本发明采用使用由柏林工业大学Shin等人所建立的公开数据集进行说明。数据集包含从29位健康受试者(14位男性和15位女性，平均年龄28.5±3.7)收集的EEG和fNIRS信号。EEG***的采样率为1000Hz。EEG采集电极位置由AFp1，AFp2，AFF1h，AFF2h，AFF5h，AFF6h，F3，F4，F7，F8，FCC3h，FCC4h，FCC5h，FCC6h，T7，T8，CCz，CCP3h，CCP4h，CCP6h，Pz，P3，P4，P7，P8，PPO1h，PPO2h，POO1，POO2和Fz三十个通道组成。fNIRS***的采样率为12.5Hz。在额叶，运动和视觉区域放置了十四个光源和十六个检测器，形成了36条通道。光电二极管之间的距离为30mm。EEG电极位置与fNIRS光电二极管位置如图3所示(绿色为EEG电极位置，红色为光源位置，蓝色为探测器位置),数据集包含心理算数MA数据集。数据集将EEG原信号下采样至200Hz，fNIRS原信号下采样至10Hz。MA数据集有心算和基线任务，且每个受试者进行60次试验。图2为一次实验的具体流程，包括两秒钟的视觉介绍，10s的任务时间段和14-16s的休息时间。在MA任务的过程中，要求受试者从“三位数”中减去一位数字(例如123-9)，并从先前的减法结果中重复减去一位数字，直到任务完成。在MA任务中，通过休息来执行基线任务。。

数据预处理：EEG数据通过六阶巴特沃斯零相位滤波器，将信号进行滤波4-35Hz带通滤波，目的是消除干扰和噪声。HbO和HbR的数据首先下采样到10Hz。fNIRS由发射近红外光的多个源和接收反射光的检测器组成。为了到达大脑，光线沿着头皮，组织和头骨穿过。在fNIRS***中，修正的Beer-Lambert定律用于将光强度测量值转换为HbO和HbR的血液动力学变化。将fNIRS信号通过0.01-0.1Hz的六阶零相位巴特沃斯滤波器。采用实验前5s的HbR和HbO浓度数据的均值进行基线校正。对EEG和fNIRS选取7s-10s的时间窗数据更为合理。

步骤(2)：Pearson相关系数基于统计分析，该统计分析量化两个通道之间的线性关联的强度，Pearson正值越大表示正相关越强，Pearson负值越大则表示负相关越强。第三种可能性是变量之间不相关，即ρ＝0。给定两个通道[i,j],相关系数定义如下：

其中，μ代表平均值，σ代表标准偏差，E代表期望算子。

Fisher准则是一种将高维参数投影成一维来测量类判别属性的统计量参数，Fisher值代表了两类样本的可分程度，Fisher值越大表示可分性越强，Fisher值越小表示可分性越弱。给定两个类别样本X^-和X⁺,相关系数定义如下：

其中，mean(·)为均值，var(·)为方差.图3为PF系数算法流程图

首先分别对EEG与fNIRS构建用于通道选择的PF系数，并根据PF系数设置合理阈值m。EEG与fNIRS通道选择具体步骤详见表1，2。

表1 EEG通道选择步骤表

表2 fNIRS通道选择步骤表

随着EEG与fNIRS阈值设置逐渐变小，即EEG与fNIRS通道个数增多，验证集Hybird分类精度随之发生变化。选择使得验证集Hybird分类准确率最大的阈值，也就意味着选出最优的EEG与fNIRS通道组合。此时选择的EEG与fNIRS通道组合用于后期的测试集，最终得到Hybird分类精度，评估***的Hybird分类性能。以受试者2为例，图4为Hybird验证集分类精度随EEG与fNIRS通道数目的变化趋势图；图5为受试者2在PF方法下选择通道的分布情况。可以看出,对于做心理算数受试者2，对应的最优通道分布在前额叶皮层区域，这一现象与传统的认知神经知识相符，说明了该验证方法的合理性。

步骤(3)：对通道选择后信号进行特征提取，其中EEG信号提取CSP空域特征，fNIRS信号提取平均值和峰值两种统计特征。

共空间模式是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布成分。记X₁和X₂为两类运动想象任务下的信号矩阵，构造空间滤波器；首先求信号矩阵协方差，并归一化，得到：

其中，trace(·)为矩阵的迹，然后求出混合空间的协方差矩阵R，并进行特征值分解：

其中，

为两类任务实验的协方差矩阵，i＝1,2，U为矩阵R的特征向量，Λ为对应的特征值矩阵；进一步求出白化矩阵P：

接着对R₁与R₂做白化处理以及主成分分解：

则矩阵S₁与矩阵S₂的特征向量相等，即B₁＝B₂，且Λ₁+Λ₂＝I，其中，I为单位矩阵。两类矩阵的特征值之和为1，因此当一类的特征值最大时另一类最小，从而可以实现区分的作用。构造空间滤波器W：

W＝B^TP (7)

将上述原始运动想象信号矩阵X经W滤波，得到特征矩阵Z：

Z＝WX (8)

接着取其前m个和后m个特征值构成空间滤波信号Z_p，P＝1,…,2m，求取特征向量：

其中

为空间滤波信号Z_p的第j₀行信号。

步骤(4)：将EEG和fNIRS提取的所有特征分别在0和1之间缩放，如公式2：

其中x∈R_n表示原始特征值，x'表示介于0和1之间的重新缩放特征值。

2)SVM分类：

使用收缩线性判别分析(Shrinking linear discriminant analysis,SLDA)方法进行二分类。在训练样本数量比特征数量少的情况下，收缩(Shrinking)是改进协方差矩阵估计的一种方式。通过采用基于Ledoit–Wolf引理的收缩参数，该方法可缓解由于使用高维特征向量而导致的分类精度损失。

表3使用相同数据集的研究比较

针对上述公共数据集，从表3可知，同样针对心算任务分类，使用方法一得到的EGG准确率为77％；在方法二中，fNIRS的准确率分别为84.94％；在方法三中，Hybird的准确率分别为88.1％。本文使用的方法对EEG，fNIRS和Hybird的分类性能均优于其余方法。

从整体上看，本发明提出了一种基于PF系数的多模态BCI特征提取方法，用于基于心算任务的BCI***的任务分类。分别计算通道的Person相关系数以及特征的Fisher值。由于Person相关系数代表了信号之间的相关性，Fisher值代表了两类任务的特征之间可分性。通过调节权重系数C来调整最优通道组合，同时兼顾了信号的相关性以及特征的可分性，减少通道之间的冗余信息。然后用CSP和SLDA对最优的通道组合进行特征提取和分类。对MA数据集的分类实验结果表明PF方法所选出的通道组合能有效的避免个体性差异以及不同通道之间的差异，并且通道分布合理，提高了分类的准确率。

Claims (3)

1.一种基于PF系数的多模态BCI特征提取方法，其特征在于，该方法具体包括以下步骤：

步骤(1)：脑电-近红外信号采集与预处理；

首先采集受试者的脑电-近红外心理算数任务脑电信号；接着利用带通滤波器针对每个通道的脑电信号进行4-35Hz带通滤波；然后截取合适的时间窗；

步骤(2)：分别对EEG与fNIRS构建用于通道选择的PF系数，并根据PF系数设置合理阈值选出通道组合；

EEG与fNIRS通道选择具体步骤详见表1，2；

表1 EEG通道选择步骤表

表2 fNIRS通道选择步骤表

步骤(3)：对通道选择后的EEG与fNIRS信号进行特征提取，其中EEG信号提取CSP空域特征向量，fNIRS信号提取平均值和峰值两种统计特征；

步骤(4)：对EEG与fNIRS特征进行归一化，并进入SLDA进行分类。

2.根据权力要求1所述的一种基于PF系数的多模态BCI特征提取方法，其特征在于：所述的步骤(3)中EEG信号提取CSP空域特征向量，具体为：

记X₁和X₂为两类运动想象任务下的信号矩阵，构造空间滤波器；首先求信号矩阵协方差，并归一化，得到：

其中，trace(·)为矩阵的迹，然后求出混合空间的协方差矩阵R，并进行特征值分解：

其中，

为两类任务实验的协方差矩阵，i＝1,2，U为矩阵R的特征向量，Λ为对应的特征值矩阵；进一步求出白化矩阵P：

接着对R₁与R₂做白化处理以及主成分分解：

则矩阵S₁与矩阵S₂的特征向量相等，即B₁＝B₂，且Λ₁+Λ₂＝I，其中，I为单位矩阵；两类矩阵的特征值之和为1，因此当一类的特征值最大时另一类最小，从而可以实现区分的作用；构造空间滤波器W：

W＝B^TP (7)

将上述原始运动想象信号矩阵X经W滤波，得到特征矩阵Z：

Z＝WX (8)

接着取其前m个和后m个特征值构成空间滤波信号Z_p，p＝1,…,2m，求取空域特征向量：

其中

为空间滤波信号Z_p的第j₀行信号。

3.根据权力要求1所述的一种基于PF系数的多模态BCI特征提取方法，其特征在于：所述的对EEG与fNIRS特征进行归一化；具体为：

其中x∈R_n表示原始特征值，x'表示介于0和1之间的重新缩放特征值。

Images