CN114330559A - 一种基于度量迁移学习的脑电信号识别方法 - Google Patents

Abstract

本发明涉及一种基于度量迁移学习的脑电信号识别方法，利用两个投影矩阵将源域样本和目标域样本映射到共享子空间中，同时进行边缘概率分布对齐和条件概率分布对齐，最小化源域和目标域的距离来减小分布差异，再研究图结构模型，保存样本从高维到低维的结构关系。然后在共享空间中对已有标签的源域样本采用马氏距离度量计算度量矩阵；最后，采用估计密度比方法对源域样本进行加权，在度量矩阵下定义损失函数，并最小化损失。本发明可以提高跨被试/时段迁移学习效果，缩短传统BCI的校准时间，为脑电信号的识别研究提供了新的指导方法，利用EEG源域数据的标签信息，度量学习被用来分析已标记样本及其近邻样本的关系，度量二者之间的相似性。

Description

一种基于度量迁移学习的脑电信号识别方法

技术领域

本发明涉及一种基于度量迁移学习的脑电信号识别方法，属于模式识别技术领域，属于一种融合度量学习的迁移学习方法，能够提高脑电解码性能、减小源域和目标域的样本分布差异，实现可靠性高，校准时间短的脑电信号分类。

背景技术

作为脑科学和信息科学研究的桥梁，脑-机接口(Brain-Computer Interface,BCI)研究受到了各国尖端研究领域的重视。大脑作为控制人类的思想、行为、情绪等活动的中枢，分析处理从外部环境获取的信息，通过神经肌肉通路完成与外界的交流。然而，脊髓损伤、肌萎缩性侧索硬化、脑卒中、帕金森等疾病和脑外伤往往会对神经中枢功能造成损伤或削弱，从而导致不同程度的知觉、感觉、言语、运动等障碍。一方面，BCI技术的突破有望通过直接建立大脑与外部设备之间的高精度信息交互与控制，实现机能代偿与功能重建；另一方面，基于BCI技术的主动康复训练可以增强神经重塑，促进患者恢复肢体运动功能康复，提高患者的生活质量与幸福指数，对患者、家庭和社会都具有重要的意义。

BCI***可认为是一个模式识别***，最根本的目的是获得外部设备控制的高准确率，而信号识别的效果直接影响了***的识别性能。常见的学习算法有线性判别分析、支持向量机、贝叶斯分类器、隐马尔科夫模型、神经网络和组合分类器等。但这些算法从本质上来说属于监督学习，监督学习算法要获得高识别率的离线监督分类器，需要被试大量的训练和校准，并且脑电极易受噪声干扰，个体差异较大。为了减少被试的训练时间和提高准确率与适应性，很多研究团队陆续开始研究迁移学习理论和方法，寻找一种适用于所有被试的通用算法模型。

迁移学习的思想是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。目前，面向BCI的迁移学习方法研究主要集中在以下三个场景：跨被试的迁移学习、跨时段的迁移学习和跨任务的迁移学习。

在跨被试/时段的迁移学习中，He等提出了一种欧几里得对齐(Euclidean-spaceAlignment,EA)方法，不同于黎曼空间对齐(Riemannian Alignment,RA)，EA通过参考矩阵将每个对象的协方差中心化来对齐，对齐后的特征可以在欧式空间分类，具有更大的优越性。Zhang和Wu提出了一种流形嵌入知识迁移(Manifold Embedded Knowledge Transfer,MEKT)方法，通过RA或EA中心化的协方差提取切线空间特征在最小化源域和目标域的联合概率分布来达到迁移，并且使用域可转移性估计(Domain Transferability Estimation,DTE)方法来识别最有益的源域。在跨任务的迁移学习中，He和Wu还提出了一种标签对齐(Label Alignment,LA)方法，可以处理不同任务源域与目标域具有不同标签空间的情况。上述的BCI迁移学习方法取得了丰富的研究成果，但是跨场景的脑电迁移学习没有充分利用源域的标签信息，不同目标域下迁移学习效果差别大。

度量迁移学习是一种融合度量学习和迁移学习的新的研究领域，度量学习实现类内距离最小化，类间距离最大化，能够更好地协助迁移学习提高分类器的性能。Zha等使用了多个源域的图像数据集来帮助对目标域进行度量学习，自适应地学习权重以反映每个源度量对目标度量的贡献。Mahya等提出了一种几何知识嵌入的度量迁移学习方法，在寻找新的特征表示的同时学习适当的距离度量，并利用实例加权方法和图优化，最大化样本差异，以准确分类目标样本。然而，这些度量迁移学习方法没有明确地减少学习过程中不同源域、目标域之间的差异，并且欧氏距离度量方法存在将数据各维的分量同等看待而丢失分布信息的弊端，这将导致学习模型的泛化能力不足，降低迁移学习模型的分类性能。

发明内容

本发明的目的是针对现有脑电迁移学习方法存在的不足，提供一种基于度量迁移学习的脑电信号识别方法对迁移学习中样本相似度进行度量。

为实现上述目的，本发明的技术方案是：

一种基于度量迁移学习的脑电信号识别方法，包括以下步骤：

步骤一：对有标签的EEG源域数据和无标签的EEG目标域数据同时进行边缘概率分布对齐和条件概率分布对齐；

具体为：利用两个投影矩阵将源域

和目标域

的样本映射到共享子空间中，同时进行边缘概率分布对齐和条件概率分布对齐，最小化源域和目标域的距离。MMD距离为：

其中，n_s、n_t是脑电信号源域和目标域的样本数量，Z_s和Z_t是潜在空间上的变换矩阵。由于分布匹配是在RKHS空间中进行的，引入核方法，核矩阵K＝φ(x)^Tφ(x)，使用Z＝φ(x)P将主成分分析通过非线性映射φ(x)核化到公共空间中，得到下面的表达式：

D_MMD(X_s,X_t)_H＝tr(P^TKMK^TP) (2)

其中M表示MMD矩阵，P是一个变换矩阵，既用于核主成分分析，也用于将K映射到公共子空间中。

步骤二：构造图拉普拉斯算子；

具体为：利用图拉普拉斯算子保留样本从高维空间映射到低维空间的结构关系，图拉普拉斯算子可以最小化以下公式获得：

步骤三：在共享空间中对已有标签的源域样本采用马氏距离度量计算度量矩阵A的传播误差；具体为：源域样本和目标域样本映射到共享子空间后的样本对为x_i和x_j，相应的传播误差公式为：

其中

是一个半正定矩阵；

步骤四：采用估计密度比方法对源域样本进行加权，在度量矩阵下定义损失函数，并最小化损失；

具体为：首先在样本权重ω和度量矩阵A下，使用所有类内和类外样本对定义一个损失函数：

l(f,A,ω)＝l_in(A,ω)-l_out(A,ω) (5)

其中，l_in为类内加权差的和，l_out为类间加权差的和。

再结合步骤(1)～(4)，最终度量迁移学习的目标函数为：

这里，目标函数的第一项表示度量矩阵A的传播误差；第二项表示联合概率分布对齐和图拉普拉斯算子；第三项表示样本类内加权差和类间加权差的损失函数。

与现有技术相比，本发明的有益效果在于：

传统的跨场景的脑电迁移学习方法没有充分利用源域的标签信息，不同目标域下迁移学习的效果差别大；并且，现有的度量迁移学习方法也没有明确地减少学习过程中不同源域、目标域之间的差异，学习模型的泛化能力不足，以及欧氏距离度量方法存在将数据各维的分量同等看待而丢失分布信息的弊端。针对这些问题，本发明提出了一种新型的度量迁移学习方法，将图结构模型和马氏距离度量计算度量矩阵与传统的迁移学习方法相结合，在距离度量下进一步减少相似样本间距离，增大不相似样本间距离，提高跨被试/时段迁移学习效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于度量迁移学习的脑电信号识别方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的实施主要包括4个步骤：(1)将样本映射到共享子空间中，对有标签的EEG源域数据和无标签的EEG目标域数据同时进行边缘概率分布对齐和条件概率分布对齐；(2)构造图拉普拉斯算子；(3)在共享空间中对已有标签的源域样本采用马氏距离度量计算度量矩阵A的传播误差；(4)采用估计密度比方法对源域样本进行加权，在度量矩阵下定义损失函数，并最小化损失；

下面逐一对各步骤进行详细说明。

步骤一：将样本映射到共享子空间中，对有标签的EEG源域数据和无标签的EEG目标域数据同时进行边缘概率分布对齐和条件概率分布对齐；

将EEG信号分为有标签的源域数据D_s＝{(X_s,Y_s)}(Y_s为对应于X_s的标签)和无标签的目标域数据D_t＝{X_t}。根据最大均值差异(maximum mean discrepancy，MMD)和再生希尔伯特空间(RKHS)进行两个分布的匹配。基于RKHS的MMD距离为：

其中，n_s、n_t是脑电信号源域和目标域的样本数量，Z_s和Z_t是潜在空间上的变换矩阵。式(1)可进一步推导为：

其中M表示MMD矩阵。

由于分布匹配是在RKHS空间中进行的，引入核方法，核矩阵K＝φ(x)^Tφ(x)，使用Z＝φ(x)P将主成分分析通过非线性映射φ(x)核化到公共空间中，得到分布对齐后的表达式：

D_MMD(X_s,X_t)_H＝tr(P^TKMK^TP) (4)

P是一个变换矩阵[P_s；P_t]，既用于核主成分分析，也用于将K映射到公共子空间中。

步骤二：构造图拉普拉斯算子；

利用图拉普拉斯算子保留样本从高维空间映射到低维空间的结构关系，图拉普拉斯算子可以最小化以下公式获得：

其中，G_i是x_i在共享子空间中新的特征表示，W是邻接矩阵。令G＝P^TK可以将公式(5)改写为：

tr(P^TKLK^TP) (6)

基于一般的图拉普拉斯构造方式，可以获得图拉普拉斯算子为L＝D-W，其中D为对角矩阵。

步骤三：在共享空间中对已有标签的源域样本采用马氏距离度量计算度量矩阵A的传播误差；

利用矩阵投影将源域样本和目标域样本映射到共享子空间并进行分布对齐之后，在共享空间中对已有标签的源域样本D_s＝{(X_s,Y_s)}采用马氏距离度量计算度量矩阵。度量矩阵

的传播误差为：

(x_i,x_j)是为已有标签的源域样本的样本对，

是一个半正定矩阵，称为马氏矩阵。对于源域样本D_s＝{(X_s,Y_s)}，求取一个半正定矩阵

建立样本的特征向量之间的联系，能够使样本之间的相似关系得到保留，即进一步减少相似样本间距离，增大不相似样本间距离。

步骤四：采用估计密度比方法对源域样本进行加权，在度量矩阵下定义损失函数，并最小化损失；

首先在样本权重ω和度量矩阵A下，使用所有类内和类外样本对定义一个损失函数：

其中，l_in为类内加权差的和，l_out为类间加权差的和。

再结合步骤(1)～(4)，得到最终度量迁移学习的目标函数为：

这里目标函数的第一项表示度量矩阵A的传播误差；第二项表示联合概率分布对齐和图拉普拉斯算子；第三项表示样本类内加权差和类间加权差的损失函数。针对公式(9)建立的度量迁移学习目标函数，约束条件为：

H是中心矩阵，I是单位矩阵，

1_n是n维的全一向量。

根据度量迁移学习的而目标函数和约束条件，结合再生核理论，利用矩阵运算和迭代优化算法学习权重ω，矩阵A和P。具体来说，在迭代中，首先使用梯度下降法更新矩阵P和ω，然后更新矩阵A，由此在每次迭代中更新目标函数的值，直到其变化小于确定的阈值ε，最后在度量矩阵A下使用k-最近邻分类器进行分类。对于参数k、λ、η、ε、核参数的选择等参数优化问题，采用留一法优选参数k、λ、η、ε，通过核-目标配准方法选择核函数参数。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (2)

1.一种基于度量迁移学习的脑电信号识别方法，其特征在于：包括以下步骤：

步骤一、将样本映射到共享子空间中，对有标签的EEG源域数据和无标签的EEG目标域数据同时进行边缘概率分布对齐和条件概率分布对齐；

步骤二、构造图拉普拉斯算子；

利用图拉普拉斯算子保留样本从高维空间映射到低维空间的结构关系，图拉普拉斯算子可以最小化以下公式获得：

其中，G_i是x_i在共享子空间中新的特征表示，W是邻接矩阵，令G＝P^TK可以将上述公式改写为：

tr(P^TKLK^TP)

可获得图拉普拉斯算子为L＝D-W，其中D为对角矩阵；

步骤三、在共享空间中对已有标签的源域样本采用马氏距离度量计算度量矩阵A的传播误差；

利用矩阵投影将源域样本和目标域样本映射到共享子空间并进行分布对齐之后，在共享空间中对已有标签的源域样本D_s＝{(X_s,Y_s)}采用马氏距离度量计算度量矩阵，度量矩阵

的传播误差为：

(x_i,x_j)是为已有标签的源域样本的样本对，

是一个半正定矩阵；

步骤四、采用估计密度比方法对源域样本进行加权，在度量矩阵下定义损失函数，并最小化损失；

在样本权重和度量矩阵下，使用所有类内和类外样本对定义一个损失函数：

其中，l_in为类内加权差的和，l_out为类间加权差的和；

得到最终度量迁移学习的目标函数为：

目标函数的第一项表示度量矩阵A的传播误差；第二项表示联合概率分布对齐和图拉普拉斯算子；第三项表示样本类内加权差和类间加权差的损失函数；

针对上述公式建立的度量迁移学习目标函数，约束条件为：

and ω(x_i)＞0

H是中心矩阵，I是单位矩阵，

1_n是n维的全一向量。

2.根据权利要求1所述的一种基于度量迁移学习的脑电信号识别方法，其特征在于：所述步骤一具体包括：利用两个投影矩阵将有标签的源域

和无标签的目标域

的样本映射到共享子空间中，同时进行边缘概率分布对齐和条件概率分布对齐，最小化源域和目标域的距离，MMD距离为：

其中，n_s、n_t是脑电信号源域和目标域的样本数量，Z_s和Z_t是潜在空间上的变换矩阵，分布匹配是在RKHS空间中进行的，引入核方法，核矩阵K＝φ(x)^Tφ(x)，使用Z＝φ(x)P将主成分分析通过非线性映射φ(x)核化到公共空间中，得到下面的表达式：

D_MMD(X_s,X_t)_H＝tr(P^TKMK^TP)

其中M表示MMD矩阵，P是一个变换矩阵，既用于核主成分分析，也用于将K映射到公共子空间中。

Images