CN111723661A - 一种基于流形嵌入分布对齐的脑机接口迁移学习方法 - Google Patents

Abstract

本发明公开了一种基于流形嵌入分布对齐的脑机接口迁移学***面映射和流形特征变换的基础上，把特征分布对齐集成到分类器的训练当中，训练得到一个有效的分类器。本发明能够有效提高目标用户使用的脑机接口***的性能，并减轻用户的训练负担。

Description

一种基于流形嵌入分布对齐的脑机接口迁移学习方法

技术领域

本发明涉及视频监控中图像超分辨率研究领域，特别涉及一种基于流形嵌入分布对齐的脑机接口迁移学习方法。

背景技术

脑机接口(BCI，Brain Computer Interface)是通过计算机或其他电子设备在人脑与外界环境之间建立一条不依赖于外周神经和肌肉组织的对外信息交流和控制通路。它通过采集脑电信号，经过信号处理将其转化为控制命令传送到外部设备，从而实现人脑的对外控制。该技术形成于20世纪70年代，是一种涉及神经学、医学、信号检测、信号处理、模式识别等多个领域的交叉技术。脑机接口目前主要用于医疗康复领域，为那些丧失运动功能而大脑功能相对完善的患者带来方便。

由于脑电信号存在平稳性较差、信噪比较低的特点，因此脑机接口在实际应用中需要耗费用户较长的训练时间来产生带标签的训练样本，以训练生成可靠的分类模型，然后才能投入正常使用。无论对于健康用户还是医疗患者，该枯燥的训练阶段都无疑加重了他们使用脑机接口产品的负担。迁移学习描述了使用一项任务中记录的数据来提高另一项相关任务的性能的过程。迁移学习可以应用于在脑机接口中，利用其它用户的脑电图(EEG)数据来提高当前用户脑机接口中模型的初始性能，减少所需当前用户的训练样本。因此，需要针对脑机接口***设计一种有效的迁移学习方法。然而，目前应用于脑机接口的迁移学习技术存在各种限制条件，最终的效果还不太理想。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于流形嵌入分布对齐的脑机接口迁移学***面映射和子空间学习的基础上，把特征分布对齐集成到分类器的训练当中，学习到一个有效的分类器，可有效提高用于当前用户的脑机接口***的性能。

本发明的目的通过以下的技术方案实现：

一种基于流形嵌入分布对齐的脑机接口迁移学习方法，包括以下步骤：

S1、分别获取源受试者的EEG数据D_s和目标受试者的EEG数据D_t；

S2、对EEG数据进行预处理和特征提取；

S3、构建基于流形嵌入分布对齐的迁移学习模型，利用数据对迁移学习模型进行训练，求解模型中的模型参数，从而得到训练后的分类器；

S4、利用分类器对目标受试者的无标签的EEG数据进行分类。

在步骤S1中，所述源受试者的EEG数据D_s含有n个试验数据，且该n个试验数据均带有标签；所述目标受试者的EEG数据D_t含有m个试验数据，且该m个试验数据均不带标签；n≥1，m≥1。

所述步骤S2，具体为：

S21、使用频率带为8-30Hz的五阶巴特沃斯滤波器对EEG信号进行带通滤波；

S22、截取用户执行心理任务后的0.5-2.5s产生的EEG信号样本

X_i表示第i次试验的样本，其中n_e表示记录的通道数，

表示实数集，T_s表示采样时间点的数量；

S23、对于第i次试验，使用样本协方差矩阵估算空间协方差矩阵：

其中，T表示矩阵的转置。

步骤S3中，所述构建基于流形嵌入分布对齐的迁移学习模型，包括以下步骤：

S31、黎曼切平面映射，是指将各个受试者的试验数据集(对应多个空间协方差矩阵)投影到位于其黎曼均值的切平面上，生成n_e(n_e-1)/2维的向量s_i作为接下来流形特征变换的初始特征：

其中，upper运算符是指保留对称矩阵的上三角部分，并通过对其对角线元素赋予单位权重，而对非对角线元素赋予

权重从而对其进行矢量化，

表示黎曼均值；

所述黎曼均值，是指使用黎曼测地线距离计算多个协方差矩阵的中心，其计算公式如下所示：

其中I表示协方差矩阵的数量，

表示协方差矩阵P与P_i的黎曼测地线距离的平方；

其中黎曼测地线距离定义为

其中F表示Frobenius范数，λ_i,1...n表示

的特征值；

黎曼切平面映射一方面利用黎曼测地线距离度量协方差矩阵的距离可有效提高数据域的类别判别性能，另一方面向黎曼中心所在切平面投影得到的向量特征使得源域和目标域数据的中心点均为零，一定程度上减小了两个数据域的差异。

S32、采用GFK(Geodesic Flow Kernel)方法进行流形特征变换：将源数据集和目标数据集嵌入到Grassmann流形中，然后，在两点之间构造一个测地线流，并沿流Φ积分无限个子空间；

具体而言，将原始特征投影到这些子空间中以形成无限维特征向量；这些特征向量之间的内积定义了一个内核函数，该函数能够以封闭形式在原始特征空间上进行计算；内核封装了子空间之间的增量更改，这是两个域之间的差异和共同点的基础。因此，学习算法使用该内核来推导对域不变的低维表示；

同时，流形空间中的特征能够被表示为z＝g(s)＝Φ(t)^Ts，其中g表示流形变换函数，Φ(t)表示两点之间的测地线，s为黎曼切平面映射得到的特征；变换后的特征z_i和z_j的内积定义了一个半正定的测地线流式核：

其中G表示变换函数；

原始空间的特征可以转换到Grassmann流形中：

S33、集成分布对齐的分类器，是以结构风险最小化原则和正则化理论为基础的迁移学习框架；具体而言，该分类器模型旨在优化以下三个目标函数：

1)最小化源域标记数据Ds上的结构风险函数；

2)最小化联合概率分布Js和Jt之间的分布差异；

3)最大化边际分布Ps和Pt背后的流形一致性。

令预测函数(即分类器)表示为f＝w^Tφ(z)，其中w是分类器参数，φ:z a

是把原始特征向量投影到希尔伯特空间

的特征映射函数；采用平方损失，f可公式化为

其中K是φ导出的核函数，使得＜φ(z_i),φ(z_j)＞＝K(z_i,z_j)，并且σ、λ和γ是正则化参数，式中其余参数含义如下文所述；

所述源域标记数据Ds上的结构风险函数是指：

其中

是核空间中的一组分类器，

是

中f的平方范数，σ是收缩正则化参数，(y_i-f(z_i))²是平方损失函数；

所述最小化联合概率分布Js和Jt之间的分布差异，是指同时最小化边缘分布Ps和Pt之间的分布距离和条件分布Qs和Qt之间的分布距离：

其中D_f,K(P_s,P_t)为边缘分布Ps和Pt之间的分布距离，

为条件分布Qs和Qt之间的分布距离，C是类别个数；采用投影最大均值差异MMD作为距离度量来度量分布距离；通过用联合分布适应对结构风险进行正则化，在

中的边际分布和条件分布的样本矩都被拉近了。

所述最大化边际分布Ps和Pt背后的流形一致性，是指在测地光滑度下，流形正则化为

其中W_ij是图亲和度矩阵W第i行第j列的元素，L_ij是规范化图拉普拉斯矩阵L第i行第j列的元素；

通过用流形正则化对结构风险进行正则化，能够充分利用边际分布来最大化f的预测结构与数据的固有流形结构之间的一致性；这能够基本匹配域之间的判别超平面；

该分类器的学习算法如下：

为了有效地求解优化问题，使用如下的表示定理：

其中K是由φ导出的核，α_i是系数，w是权重；

利用上述的表示定理重新表示上述三个目标函数，得到最终的目标函数：

其中Y是标签矩阵，K是核矩阵，E是对角标签指示矩阵，M为MMD矩阵。

对目标函数求导，并令导数为0，可得

α＝((E+λM+γL)K+σI)^-1EY^T，

其中I是单位矩阵。

所述步骤S4，具体为：根据步骤S33中求得的K和α计算得到目标受试者的无标签的EEG数据的分类输出f(z)，最终的预测标签即为分类输出中最大值对应的标签类别。

本发明与现有技术相比，具有如下优点和有益效果：

本发明使用协方差矩阵作为数据的初始特征，通过黎曼测地线距离来准确衡量协方差矩阵之间的距离，可以获得较高精度的分类识别，且经过黎曼切平面投影后初步减少源受试者和目标受试者地EEG数据之间的差异。之后结合子空间学习中的流形特征变换进一步减少分布差异，同时降低特征维数。最后，把分布对齐集成到分类器的训练中，提高了目标受试者脑机接口EEG数据的分类准确率。综上所述，本发明利用其他受试者的带标签数据和当前受试者的无标签数据，结合EEG数据本身特征，通过先进的迁移学习技术有效地提高了针对当前受试者的脑机接口***的分类性能，在一定程度上减少了当前受试者的负担。

附图说明

图1是本发明所述一种基于流形嵌入分布对齐的脑机接口迁移学习方法的流程图；

图2为本实施例中采用的三种方法在BCI CompetitionIV-2a数据集上的分类准确率的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本发明的一种基于流形嵌入分布对齐的脑机接口迁移学习方法，包括以下步骤：

S1、分别获取源受试者的EEG数据D_s和目标受试者的EEG数据D_t；

S2、对EEG数据进行预处理和特征提取；

S3、构建基于流形嵌入分布对齐的迁移学习模型，利用数据对迁移学习模型进行训练，求解模型中的模型参数，从而得到训练后的分类器；

S4、利用分类器对目标受试者的无标签的EEG数据进行分类。

在步骤S1中，所述源受试者的EEG数据D_s含有n个试验数据，且该n个试验数据均带有标签；所述目标受试者的EEG数据D_t含有m个试验数据，且该m个试验数据均不带标签；

在步骤S2中，对EEG数据进行数据预处理和特征提取的步骤包括：

S21、使用频率带为8-30Hz的五阶巴特沃斯滤波器对EEG信号进行带通滤波；

S22、截取用户执行心理任务后的0.5-2.5s产生的EEG信号样本

表示第i次试验的样本，其中n_e表示记录的通道数，

表示实数集，T_s表示采样时间点的数量。

S23、对于第i次试验，使用样本协方差矩阵估算空间协方差矩阵：

在步骤S3中，构建基于流形嵌入分布对齐的迁移学习模型，包括以下步骤：

S31、黎曼切平面映射，是指将各个受试者的试验数据集(对应多个空间协方差矩阵)投影到位于其黎曼均值的切平面上，生成n_e(n_e-1)/2维的向量作为接下来流形特征变换的初始特征：

其中，upper运算符是指保留对称矩阵的上三角部分，并通过对其对角线元素赋予单位权重，而对非对角线元素赋予

权重从而对其进行矢量化，

表示黎曼均值；

所述黎曼均值，是指使用黎曼测地线距离计算多个协方差矩阵的中心，其计算公式如下所示：

其中I表示协方差矩阵的数量，

表示协方差矩阵P与P_i的黎曼测地线距离的平方；

其中黎曼测地线距离定义为

其中F表示Frobenius范数，λ_i,1...n表示

的特征值；

黎曼切平面映射一方面利用黎曼测地线距离度量协方差矩阵的距离可有效提高数据域的类别判别性能，另一方面向黎曼中心所在切平面投影得到的向量特征使得源域和目标域数据的中心点均为零，一定程度上减小了两个数据域的差异。

S32、流形特征变换，采用GFK(Geodesic Flow Kernel)方法，其主要思想为：将源数据集和目标数据集嵌入到Grassmann流形中，然后，在两点之间构造一个测地线流，并沿流Φ积分无限个子空间。具体而言，将原始特征投影到这些子空间中以形成无限维特征向量。这些特征向量之间的内积定义了一个内核函数，该函数可以以封闭形式在原始特征空间上进行计算。内核封装了子空间之间的增量更改，这是两个域之间的差异和共同点的基础。因此，学习算法使用该内核来推导对域不变的低维表示。

特别地，流形空间中的特征可以被表示为z＝g(s)＝Φ(t)^Ts，其中g表示流形变换函数，Φ(t)表示两点之间的测地线，s为黎曼切平面映射得到的特征；变换后的特征z_i和z_j的内积定义了一个半正定的测地线流式核

其中G表示变换函数；

原始空间的特征可以转换到Grassmann流形中：

S33、集成分布对齐的分类器，是以结构风险最小化原则和正则化理论为基础的迁移学习框架。具体而言，该分类器模型旨在优化以下三个目标函数：

1)最小化源域标记数据Ds上的结构风险函数；

2)最小化联合概率分布Js和Jt之间的分布差异；

3)最大化边际分布Ps和Pt背后的流形一致性。

令预测函数(即分类器)表示为f＝w^Tφ(z)，其中w是分类器参数，φ:za

是把原始特征向量投影到希尔伯特空间

的特征映射函数。采用平方损失，f可公式化为

其中K是φ导出的核函数，使得＜φ(z_i),φ(z_j)＞＝K(z_i,z_j)，并且σ、λ和γ是正则化参数。

1)所述源域标记数据Ds上的结构风险函数是指：

其中

是核空间中的一组分类器，

是

中f的平方范数，σ是收缩正则化参数，(y_i-f(z_i))²是平方损失函数。

2)所述最小化联合概率分布Js和Jt之间的分布差异，是指同时最小化边缘分布Ps和Pt之间的分布距离和条件分布Qs和Qt之间的分布距离。

最小化联合概率分布Js和Jt之间的分布距离。通过概率定理，J＝P·Q，因此，我们试图同时最小化边缘分布Ps和Pt之间的分布距离和条件分布Qs和Qt之间的分布距离。

a.边缘分布对齐

采用投影最大均值差异MMD作为距离度量来最小化边缘分布Ps和Pt之间的分布距离：

b.条件分布对齐

同时使用真标签和伪标签来分别计算每个类别c∈{1,...,C}的投影MMD，并使两个分布Q_s(z_s|y_s)和Q_t(z_t|y_t)的类内质心在

中更接近：

其中

是源数据中属于c类的样本集合，y(z_i)是z_i的真实标签，

相应地，

是目标数据中属于类c的样本集合，

是z_j的伪(预测)标签，

组合上述公式可以得出联合分布适应的正则化，计算如下

通过用联合分布适应对结构风险进行正则化，在

中的边际分布和条件分布的样本矩都被拉近了。

3)所述最大化边际分布Ps和Pt背后的流形一致性，是指在测地光滑度下，流形正则化为

其中W是图亲和度矩阵，L是规范化图拉普拉斯矩阵。W定义为

其中

点z_i的p最近邻的集合。L的计算公式为L＝I-D^-1/2WD^-1/2，其中D是对角矩阵，每个

通过用流形正则化对结构风险进行正则化，可以充分利用边际分布来最大化f的预测结构与数据的固有流形结构之间的一致性。这可以基本匹配域之间的判别超平面。

该分类器的学习算法如下：

为了有效地求解优化问题，使用如下的表示定理：

其中K是由φ导出的核，α_i是系数，w是权重。

首先使用表示定理对结构风险重新公式化：

其中E是对角标签指示矩阵，如果

则每个元素E_ii＝1，否则E_ii＝0。Y＝[y₁,…,y_n+m]是标签矩阵，尽管目标标签是未知的，但它们被标签指示矩阵E过滤掉了。

是核矩阵，且K_ij＝K(z_i,z_j)。α＝(α₁,...,α_n+m)是分类器参数。

重新表示联合分布对齐正则化：

其中M_c,c∈{0,1,...,C}是MMD矩阵，计算公式如下：

利用上式计算M₀，其中n⁽⁰⁾＝n,m⁽⁰⁾＝m,

同理，重新表示流形正则化：

M_f,K(P_s,P_t)＝tr(α^TKLKα)

将上述三部分集成，得到目标函数：

其中M为MMD矩阵。

对目标函数求导，并令导数为0，可得

α＝((E+λM+γL)K+σI)^-1EY^T

其中I是单位矩阵；

多类扩展：表示

，如果y(z)＝c则y_c＝1，否则y_c＝0。标签矩阵为

，参数矩阵为。这样，可以将该算法扩展到多类问题。

在步骤S4中，利用分类器对目标受试者的无标签的EEG数据进行分类，是指根据步骤S33中求得的K和α计算得到目标受试者的无标签的EEG数据的分类输出f(z)，最终的预测标签即为分类输出中最大值对应的标签类别。

如图2所示，本实施例分别列举三种方法在BCI CompetitionIV-2a数据集上的分类准确率，该实施例中使用BCI CompetitionIV-2a中受试者S1、S3、S7、S8和S9的数据集，每次选择两个受试者分别作为目标受试者和源受试者，该分类准确率是指学习方法在特定目标受试者的数据集上的4次试验结果的均值。三种方法分别为MDM(到黎曼中心最小距离的分类器)、MDM_RC(先做黎曼中心对齐然后MDM)、TMDA(本发明的迁移学习方法)。

对于MDM，由于没有进行迁移，其学***均提升约20％，表明学到的特征具有可迁移性了。对于本发明所提出的基于流形嵌入分布对齐的迁移学习方法，诊断准确率高于其他两种方法，且和MDM_RC相比提升大约5％，识别率达到了66％以上。实验结果验证了本发明方法的有效性，可以用于脑机接口的迁移学习问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于流形嵌入分布对齐的脑机接口迁移学习方法，其特征在于：包括以下步骤：

S1、分别获取源受试者的EEG数据D_s和目标受试者的EEG数据D_t；

S2、对EEG数据进行预处理和特征提取；

S3、构建基于流形嵌入分布对齐的迁移学习模型，利用数据对迁移学习模型进行训练，求解模型中的模型参数，从而得到训练后的分类器；

S4、利用分类器对目标受试者的无标签的EEG数据进行分类。

2.根据权利要求1所述基于流形嵌入分布对齐的脑机接口迁移学习方法，其特征在于：在步骤S1中，所述源受试者的EEG数据D_s含有n个试验数据，且该n个试验数据均带有标签；所述目标受试者的EEG数据D_t含有m个试验数据，且该m个试验数据均不带标签；n≥1，m≥1。

3.根据权利要求1所述基于流形嵌入分布对齐的脑机接口迁移学习方法，其特征在于：所述步骤S2，具体为：

S21、使用频率带为8-30Hz的五阶巴特沃斯滤波器对EEG信号进行带通滤波；

S22、截取用户执行心理任务后的0.5-2.5s产生的EEG信号样本

X_i表示第i次试验的样本，其中n_e表示记录的通道数，

表示实数集，T_s表示采样时间点的数量；

S23、对于第i次试验，使用样本协方差矩阵估算空间协方差矩阵：

其中，T表示矩阵的转置。

4.根据权利要求1所述基于流形嵌入分布对齐的脑机接口迁移学习方法，其特征在于：步骤S3中，所述构建基于流形嵌入分布对齐的迁移学习模型，包括以下步骤：

S31、黎曼切平面映射，是指将各个受试者的试验数据集投影到位于其黎曼均值的切平面上，生成n_e(n_e-1)/2维的向量s_i作为接下来流形特征变换的初始特征：

其中，upper运算符是指保留对称矩阵的上三角部分，并通过对其对角线元素赋予单位权重，而对非对角线元素赋予

权重从而对其进行矢量化，

表示黎曼均值；P_i表示第i次试验的样本协方差矩阵；

所述黎曼均值，是指使用黎曼测地线距离计算多个协方差矩阵的中心，其计算公式如下所示：

其中，I表示协方差矩阵的数量，

表示协方差矩阵P与P_i的黎曼测地线距离的平方；

其中黎曼测地线距离定义为

其中，F表示Frobenius范数，λ_i,1...n表示

的特征值；

S32、采用GFK方法进行流形特征变换：将源数据集和目标数据集嵌入到Grassmann流形中，然后，在两点之间构造一个测地线流，并沿流Φ积分无限个子空间；

具体而言，将原始特征投影到这些子空间中以形成无限维特征向量；这些特征向量之间的内积定义了一个内核函数，该函数能够以封闭形式在原始特征空间上进行计算；内核封装了子空间之间的增量更改，这是两个域之间的差异和共同点的基础；因此，学习算法使用该内核来推导对域不变的低维表示；

同时，流形空间中的特征能够被表示为z＝g(s)＝Φ(t)^Ts，其中g表示流形变换函数，Φ(t)表示两点之间的测地线，s为黎曼切平面映射得到的特征；变换后的特征z_i和z_j的内积定义了一个半正定的测地线流式核：

其中，G表示变换函数；

原始空间的特征可以转换到Grassmann流形中：

S33、集成分布对齐的分类器，是以结构风险最小化原则和正则化理论为基础的迁移学习框架；具体而言，该分类器模型旨在优化以下三个目标函数：

1)最小化源域标记数据Ds上的结构风险函数；

2)最小化联合概率分布Js和Jt之间的分布差异；

3)最大化边际分布Ps和Pt背后的流形一致性；

令预测函数表示为f＝w^Tφ(z)，其中w是分类器参数，φ:z a

是把原始特征向量投影到希尔伯特空间

的特征映射函数；采用平方损失，f可公式化为

其中，K是φ导出的核函数，使得<φ(z_i),φ(z_j)>＝K(z_i,z_j)，并且σ、λ和γ是正则化参数；

所述源域标记数据Ds上的结构风险函数是指：

其中，

是核空间中的一组分类器，

是

中f的平方范数，σ是收缩正则化参数，(y_i-f(z_i))²是平方损失函数；

所述最小化联合概率分布Js和Jt之间的分布差异，是指同时最小化边缘分布Ps和Pt之间的分布距离和条件分布Qs和Qt之间的分布距离：

其中D_f,K(P_s,P_t)为边缘分布Ps和Pt之间的分布距离，

为条件分布Qs和Qt之间的分布距离，C是类别个数；采用投影最大均值差异MMD作为距离度量来度量分布距离；通过用联合分布适应对结构风险进行正则化，在

中的边际分布和条件分布的样本矩都被拉近了；

所述最大化边际分布Ps和Pt背后的流形一致性，是指在测地光滑度下，流形正则化为

其中W_ij是图亲和度矩阵W第i行第j列的元素，L_ij是规范化图拉普拉斯矩阵L第i行第j列的元素；

通过用流形正则化对结构风险进行正则化，能够充分利用边际分布来最大化f的预测结构与数据的固有流形结构之间的一致性；这能够基本匹配域之间的判别超平面；

该分类器的学习算法如下：

为了有效地求解优化问题，使用如下的表示定理：

其中，K是由φ导出的核，α_i是系数，w是权重；

利用上述的表示定理重新表示上述三个目标函数，得到最终的目标函数：

其中，Y是标签矩阵，K是核矩阵，E是对角标签指示矩阵，M是MMD矩阵；

对目标函数求导，并令导数为0，可得

α＝((E+λM+γL)K+σI)^-1EY^T，

其中I是单位矩阵。

5.根据权利要求4所述基于流形嵌入分布对齐的脑机接口迁移学习方法，其特征在于：所述步骤S4，具体为：根据步骤S33中求得的K和α计算得到目标受试者的无标签的EEG数据的分类输出f(z)，最终的预测标签即为分类输出中最大值对应的标签类别。

Images