CN113392733B - 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 - Google Patents

基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 Download PDF

Info

Publication number
CN113392733B
CN113392733B CN202110601409.9A CN202110601409A CN113392733B CN 113392733 B CN113392733 B CN 113392733B CN 202110601409 A CN202110601409 A CN 202110601409A CN 113392733 B CN113392733 B CN 113392733B
Authority
CN
China
Prior art keywords
domain
label
source domain
sample
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110601409.9A
Other languages
English (en)
Other versions
CN113392733A (zh
Inventor
方欣
戴国骏
赵月
李秀峰
张振炎
吴政轩
吴靖
曾虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110601409.9A priority Critical patent/CN113392733B/zh
Publication of CN113392733A publication Critical patent/CN113392733A/zh
Application granted granted Critical
Publication of CN113392733B publication Critical patent/CN113392733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于标签对齐的多源域自适应跨被试EEG认知状态评估方法。本发明包括步骤：1：数据获取；2：数据预处理；3：基于LA‑MSDA模型的跨被试EEG认知状态评估方法。本发明采用分阶段使用共享公共特征提取器和非共享子特征提取器，进一步学习源域样本和目标域样本的被试不变特征和特定特征；其次，考虑到跨被试间的关系和相似性，提出了将局部和全局表示的域间分布进行对齐的方法，以评估跨被试的认知状态，解决了难以学习细粒度的类条件信息和适应跨被试的决策边界样本的问题。最后，本发明有效避免了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，泛化能力强，能够很好的适用于临床诊断和实际应用。

Description

基于标签对齐的多源域自适应跨被试EEG认知状态评估方法
技术领域
本发明涉及脑认知计算领域的神经电生理信号分析技术，及无监督学习领域的多源域域适应模型构建方法，是一种基于标签对齐的用于分析脑电信号(EEG)对认知状态进行评估的方法，能够有效地解决不同被试个体差异性显著和信噪比低的局限性问题。
背景技术
由于无创性、可移植性和低成本的特点，以及机器学习或深度学习在从大量数据中提取和分类特征方面的优势，基于EEG的认知状态分析方法在近些年来收到越来越多的关注。现有的基于EEG的分析通常将适当的特征提取与分类器结合起来执行分类任务，其中：特征提取的常用方法有公共空间模式(CSP)、离散小波变换(DWT)等，常用分类器有SVM、Bayes及一些深度学习模型等。
尽管这些方法的信号分析具有很高的判别性能，但在基于EEG的跨域预测分析中存在一定程度的缺陷：在EEG分析的真实场景中，EEG 在被试之间存在显著差异，这主要是由物理(如环境和皮电极阻抗) 和生物(如性别、年龄和大脑活动模式的差异)因素引起的，此外，尽管是同一被试，EEG也会随着时间而变化。因此，需要构建一个通用的跨被试脑电图分析模型。
现阶段，基于深度学习的***成果得益于大量有标签数据的监督学习。但对于无监督学习，设计通用网络模型的主要障碍是将已知标签数据训练出的模型扩展到新的无标签领域。针对缺乏标签数据的目标任务，充分利用源域带标签数据的特征信息是解决这一问题的关键突破点。但训练好的模型在应用到新领域时存在的域偏移问题，往往会使得模型性能大幅度降低。
迁移学习中的无监督域自适应(UDA)算法是一种针对解决源域和目标域分布偏移的算法，已被证明能够通过学习域不变特征来有效地减小每个域之间的分布差距。但由于脑电的高度非线性和显著的个体差异，很难提取不同被试间的相同或相似的特征，因此，现有的UDA 方法有以下两个方面的局限性：(1)临近决策边界特征混淆的问题不能完全解决，目标函数难以达到最优，且可能陷入局部最优状态；(2) 很难实现基于特征的对齐，以提取基于特征的域不变特征。基于特征的对齐是一种最小化特征分布差异的技术，能有效优化域偏移问题，从EEG信号特点的角度来看，将被试之间的关系映射到一个符合一定结构的空间，并对其进行对齐，可以有效减少个体差异性的问题。
此外，相关文献表明，区别于单源域域适应问题，多源域迁移学习同时将多个源域的知识迁移到目标域中辅助目标域的学习，这些数据不但和目标域不同，而且互相之间也不同，该方法可有效解决脑电信号的个体差异性问题。
综上所述，本发明将以跨被试、域适应、多源域、基于特征的对齐为关键出发点，构建基于标签对齐的多源域自适应跨被试模型，以便在神经生理信号分析领域更高效的应用。
发明内容
本发明提出基于标签对齐的多源域自适应模型，针对EEG数据存在的高度非线性和显著的个体差异情况，充分学习标签样本的结构特征，采用一种局部标签的对齐策略，提取基于标签的域不变特征，通过将目标域和多源域的特征分布对齐，以实现域间特征的有效迁移。所提出的算法主要有以下两个方面：一方面为基于局部标签的对齐策略，因为在采数据时，不同被试的EEG数据中包含的标签种类时相同的，通过局部的标签对齐，提取对应标签的域不变特征，可有效避免 EEG个体差异性对模型性能的影响。另一方面，提出一种改进的全局优化UDA方法，根据各分类器的概率分布结果，设置权重约束，采用全局目标函数优化策略，解决分类器决策边界模糊问题，提升模型在跨被试EEG分析中的泛化能力。从本质上看该算法能够有效避免EEG 高度非线性和显著个体差异特征的影响，在基于EEG的认知状态检测中可达到较好的性能，在实际中具有广泛的应用场景。
综上所述，本发明针对基于EEG的认知状态识别，以非线性和个体差异性为关键出发点，对被试的认知状态进行评估，其核心技术主要是构建基于标签对齐的多源域自适应跨被试模型(LA-MSDA)。本发明将每个训练个体作为一个单独域组成多个源域，新的跨被试测试个体作为目标域，综合考虑跨被试的关联性和相似性，引入局部对齐和全局优化策略对跨被试的认知状态进行评估，可以有效提取基于标签的域不变特征，正确预测决策边界附近不明显的特征。该方法充分考虑无标签数据的特征空间分布结构，能大大提高模型训练效率，并且具有较高的普适性，在实际的脑机交互(BCI)中有广泛的应用前景，为临床应用提供技术支持。
现有基于EEG的认知状态评估的技术主要集中在对齐全局特征分布以最小化每个被试之间的差异，或者组合所有源分类器以做出最终决定，仍然很难提取域不变特征，很难解决分类器决策边界附近的模糊问题。为克服现有方法的不足，本发明采用技术方案如下所示：
本发明提出的一种基于EEG的认知状态评估方法，综合考虑跨被试的关联性和相似性，通过对EEG进行特征分析，对被试的认知状态进行分类，实现各种实验任务下不同状态的区分，比如网络游戏成瘾患者的认知状态(成瘾和正常对照组)、驾驶员驾驶任务下的认知状态(清醒和疲劳)、实验被试在不同情绪刺激任务下的认知状态(愉悦情绪和消极情绪)等，可处理不同的脑电数据集。
本发明以疲劳驾驶脑电数据集为前提，具体实现如下所示：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为15名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写 NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
为进一步过滤噪声和去除伪影，本发明针对原始EEG数据，首先使用带通滤波器(1-30Hz)消除自发脑电信号以外的高频噪声以及工频干扰等信号，然后使用独立成分分析(ICA)方法进行处理，最后利用功率谱密度(PSD)提取EEG信号特征，为后续模型构建提供稳定的信号特征。
步骤3：基于LA-MSDA模型的跨被试EEG认知状态评估方法
输入：①带有认知状态标签的多源域样本数据
Figure GDA0003614608840000041
其中N为源域总数(即被试总数)，n为第n个源域，
Figure GDA0003614608840000042
表示第n个源域的样本，
Figure GDA0003614608840000043
表示第n个源域样本对应的真实标签。
②不带认知状态标签的目标域样本数据
Figure GDA0003614608840000044
其中
Figure GDA0003614608840000045
表示目标域的第i个样本，|UT|为目标域样本的总数。
③最大迭代次数T。
3-1.通过一个公共的基于EEGNet的特征提取器C-EEGNet f(·) 从多源域和目标域中提取潜在的公共域不变特征，将提取的公共域不变特征映射到一个公共的特征空间。
3-2.通过N个不共享权重的子网S-CNNs Fn(·)将每对源域和目标域映射到特定的特征空间，提取源域和目标域内的特定特征，分别为
Figure GDA0003614608840000046
和
Figure GDA0003614608840000047
3-3.对于每个S-CNNs，训练一个特定的分类器Gn，并且对每一个分类器都增加一个分类损失，该损失通过来自多源域的标记样本来学习权重和偏差的理想值，并试图找到最小化损失的方法。损失如下：
Figure GDA0003614608840000048
其中，J为交叉熵损失函数，|Xsn|为第n个源域的样本总数，
Figure GDA0003614608840000049
为第n个源域的第i个样本的真实标签。
3-4.通过局部类别最大平均差异法(LLMMD)为每个样本添加权重约束，调整局部子类别的分布，假设有源域XS和目标域XT，使用xi表示源域XS中的第i个样本，共有n个样本，xj表示目标域XT中的第j个样本，共有m个样本，则其MMD定义如下：
Figure GDA0003614608840000051
其中sup表示上确界，
Figure GDA0003614608840000052
表示将域的特定特征分布映射到再生核希尔伯特空间(RKHS)的特征映射函数，H为再生核希尔伯特空间， p和q表示域XS和XT的分布，k(xi,xj)为高斯核函数。
3-5.对齐每个域的特定特征分布。假设αc为样本属于类别标签 c的概率，将LLMMD表示为：
Figure GDA0003614608840000053
其中C表示类别标签的总数，
Figure GDA0003614608840000054
表示第n个源域的第i个样本
Figure GDA0003614608840000055
被分配至类别标签c的局部类别标签权重，
Figure GDA0003614608840000056
表示目标域的第i个样本
Figure GDA0003614608840000057
被分配至类别标签c的局部类别标签权重。
3-6.对于每个分类器输出的目标样本的预测分布进行对齐，利用来自不同分类器的表示输出来计算差异损失，如下所示：
Figure GDA0003614608840000058
3-7.根据每个分类器的预测概率分布结果设置相似性加权权重约束，两个分类器的差异越小，权重越高。第m个分类器的权重
Figure GDA0003614608840000059
的定义为：
Figure GDA0003614608840000061
其中
Figure GDA0003614608840000062
表示第n个和第m个分类器之间的差异损失权重。
基于权重约束集成所有分类器，所得全局损失如下：
Figure DEST_PATH_FDA0003614608830000054
3-8.计算总的目标优化函数，定义如下：
Ltotal＝Lc+βLlocal+γLglobal
其中β和γ为相对应的权重。
3-9.重复步骤3-1至步骤3-8，直至迭代T次。
输出：目标域样本对应于所有分类器的集成结果的类别标签。
本发明的主要贡献在于：
首先，采用了分阶段使用共享公共特征提取器和非共享子特征提取器的方法，进一步学习源域样本和目标域样本的被试不变特征和特定特征，优化了以往方法只利用域不变特征的缺点。其次，考虑到跨被试间的关系和相似性，提出了将局部和全局表示的域间分布进行对齐的方法，以评估跨被试的认知状态，解决了难以学习细粒度的类条件信息和适应跨被试的决策边界样本的问题。最后，本发明有效避免了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，具有较强的泛化能力，能够很好的适用于临床诊断和实际应用。
附图说明
图1是本发明模型结构图。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
如图1所示，是基于标签对齐的多源域自适应跨被试EEG认知状态评估方法的结构图，主要包括如下步骤：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为15名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写 NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
以疲劳驾驶EEG数据为例，原始EEG数据处理步骤如下所示：
2-1.伪迹去除：对获取的原始EEG数据进行伪迹去除操作，首先进行1-30Hz的带通滤波处理，同时去除信号中的工频干扰及直流成分；之后采用ICA独立成分分析去除信号中的伪迹。
2-2.PSD特征提取：对伪迹去除后的EEG进行PSD特征提取，针对每个被试个体的EEG通过0.5s的滑动窗口进行数据分割，得到1400 个样本，脑电数据采集通道数为61，提取与疲劳驾驶相关的频段 4-30Hz(其中θ为4-7Hz，α为8-13Hz，β为14-30Hz)，对提取频段和通道维度进行拼接得到61*27维的特征向量，每个被试个体对应 1400*1647维度的样本数据。
步骤3：基于LA-MSDA模型的跨被试EEG认知状态评估方法
输入：①带有认知状态标签的多源域样本数据集Us，具体为：
Figure GDA0003614608840000071
其中N为源域总数(即被试总数)，n为第n个源域，
Figure GDA0003614608840000072
表示第 n个源域的样本，
Figure GDA0003614608840000073
表示第n个源域样本对应的真实标签，更具体地如下所示：
Figure GDA0003614608840000074
其中
Figure GDA0003614608840000075
表示第n个源域的第i个样本，
Figure GDA0003614608840000076
表示第n个源域的第i个样本对应的真实标签，|Xsn|为第n个源域的样本总数；
②不带认知状态标签的目标域样本数据UT，具体为：
Figure GDA0003614608840000081
其中
Figure GDA0003614608840000082
表示目标域的第i个样本，|UT|为目标域样本的总数；
③最大迭代次数T。
3-1.通过一个公共的基于EEGNet的特征提取器C-EEGNet f(·)从多源域和目标域中提取潜在的公共域不变特征，将提取的公共域不变特征映射到一个公共的特征空间。第n个源域中的第i个样本
Figure GDA0003614608840000083
获得的公共域不变特征为
Figure GDA0003614608840000084
目标域中的第i个样
Figure GDA0003614608840000085
获得的公共域不变特征为
Figure GDA0003614608840000086
3-2.考虑到每对源域和目标域之间相关子类的局部分布信息，进一步通过N个不共享权重的子网S-CNNs Fn(·)将每对源域和目标域映射到特定的特征空间，该空间能够提取域内的特定特征。
第n个源域中的第i个样本
Figure GDA0003614608840000087
获得的域的特定特征为
Figure GDA0003614608840000088
将其简化表示为
Figure GDA0003614608840000089
目标域中的第i个样
Figure GDA00036146088400000810
获得的域的特定特征为
Figure GDA00036146088400000811
将其简化表示为
Figure GDA00036146088400000812
将当前的源域表示为：
Figure GDA00036146088400000813
其中，
Figure GDA00036146088400000814
表示当前第n个源域的样本数据，具体如下所示：
Figure GDA00036146088400000815
将当前的目标域表示为：
Figure GDA00036146088400000816
其中，
Figure GDA00036146088400000817
表示当前第n个源域对应目标域的样本数据。
3-3.对于每个S-CNNs，训练一个特定的分类器Gn，并且对每一个分类器都增加一个分类损失，该损失通过来自多源域的标记样本来学习权重和偏差的理想值，并试图找到最小化损失的方法。多源域的监督损失Lc为：
Figure GDA00036146088400000818
其中，J为交叉熵损失函数。
3-4.在源域和目标域中调整局部子类别的分布：基于最大平均差异(MMD)提出了局部类别最大平均差异法(LLMMD)，为每个样本添加基于局部的类别权重约束，以有效地实现局部类别的比对，在源域和目标域中实现基于标签的细粒度特征分布的对齐。
假设有源域XS和目标域XT，则其MMD可如下表示：
Figure GDA0003614608840000091
其中sup表示上确界，
Figure GDA0003614608840000092
表示将域的特定特征分布映射到再生核希尔伯特空间(RKHS)的特征映射函数，H为再生核希尔伯特空间， p和q表示域XS和XT的分布。将式(8)进一步展开，得到：
Figure GDA0003614608840000093
其中xi表示源域XS中的第i个样本，共有n个样本，xj表示目标域XT中的第j个样本，共有m个样本，如下所示：
Figure GDA0003614608840000094
将DH(XS,XT)的公式-式(9)进一步展开为：
Figure GDA0003614608840000095
其中k(xi,xj)为高斯核函数，可以映射无限维空间，每个核函数k 对应于一个RKHS，k(xi,xj)如下定义：
Figure GDA0003614608840000096
其中σ为高斯滤波器宽度。
3-5.通过对齐每个域的特定特征分布，以有效地解决域偏移及目标域无标签问题。假设αc为样本属于类别标签c的概率，基于类别标签先验分布的多源域集合αcs定义为：
Figure GDA0003614608840000101
其中，αcn表示第n个源域的类别标签先验概率，yi cn表示第n个源域的样本真实标签属于c类类别标签的概率，
Figure GDA0003614608840000102
表示第n个源域的第i个样本
Figure GDA0003614608840000103
被分配至类别标签c的局部类别标签权重。
针对目标域的样本，由于目标域的样本无标签，使用第n个分类器Gn的概率分布来表示其属于类别标签c，将目标域样本
Figure GDA0003614608840000104
属于类别标签c的表示为
Figure GDA0003614608840000105
其权重
Figure GDA0003614608840000106
的定义为：
Figure GDA0003614608840000107
其中，
Figure GDA0003614608840000108
表示样本
Figure GDA0003614608840000109
通过第g个分类器被分配至类别标签c 的局部类别标签权重，
Figure GDA00036146088400001010
表示第g个目标域的第i个样本伪标签属于c类类别标签的概率。
将LLMMD表示为损失Llocal：
Figure GDA00036146088400001011
其中，C表示类别标签的总数。
3-6.进一步考虑全局的分布差异，对于每个分类器输出的目标样本的预测分布进行对齐，使得决策边界附近的样本通过对齐的方式作出正确的决策，以此提高模型在跨被试脑电分析中的泛化能力。利用来自不同分类器的表示输出来计算差异损失，如下所示：
Figure GDA0003614608840000111
其中，N为分类器总数，n和m表示2个不同分类器的索引。
3-7.考虑到被试间的相似性，根据每个分类器的预测概率分布结果设置相似性加权权重约束，两个分类器的差异越小，权重越高，以实现全局优化。第m个分类器的权重
Figure GDA0003614608840000112
的定义为：
Figure GDA0003614608840000113
其中
Figure GDA0003614608840000114
表示第n个和第m个分类器之间的差异损失权重。
基于权重约束集成所有分类器，所得全局损失如下：
Figure GDA0003614608840000115
3-8.计算总的目标优化函数，定义如下：
Ltotal＝Lc+βLlocal+γLglobal (19)
其中β和γ为模型的超参数。
3-9.重复步骤3-1至步骤3-8，直至迭代T次。
输出：目标域样本对应于所有分类器集成结果的类别标签。
本发明可适用于任何基于EEG的认知状态识别，一定程度上解决了脑电个体差异性问题，具有时间复杂度小、计算效率高、泛化能力强等优势。

Claims (8)

1.基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于包括如下步骤：
步骤1：数据获取；
采用的疲劳驾驶脑电数据集中的数据为15名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，以提供主观的工作负荷感知；根据NASA-TLX问卷，选取TAV3和DROWS两种精神状态作为分析；
步骤2：数据预处理；
首先使用带通滤波器消除自发脑电信号以外的高频噪声以及工频干扰等信号，然后使用独立成分分析方法进行处理，最后利用功率谱密度提取EEG信号特征；
步骤3：基于LA-MSDA模型的跨被试EEG认知状态评估方法；
输入：①带有认知状态标签的多源域样本数据
Figure FDA0003614608830000011
其中N为源域总数，n为第n个源域，
Figure FDA0003614608830000012
表示第n个源域的样本，
Figure FDA0003614608830000013
表示第n个源域样本对应的真实标签；
②不带认知状态标签的目标域样本数据
Figure FDA0003614608830000014
其中
Figure FDA0003614608830000015
表示目标域的第i个样本，|UT|为目标域样本的总数；
③最大迭代次数T；
3-1.通过一个公共的基于EEGNet的特征提取器C-EEGNet f(·)从多源域和目标域中提取潜在的公共域不变特征，将提取的公共域不变特征映射到一个公共的特征空间；
3-2.通过N个不共享权重的子网S-CNNs Fn(·)将每对源域和目标域映射到特定的特征空间，提取源域和目标域内的特定特征，分别为
Figure FDA0003614608830000016
和
Figure FDA0003614608830000017
3-3.对于每个S-CNNs，训练一个特定的分类器Gn，并且对每一个分类器都增加一个分类损失，该损失通过来自多源域的标记样本来学习权重和偏差的理想值，并试图找到最小化损失的方法；
3-4.通过局部类别最大平均差异法(LLMMD)为每个样本添加权重约束，调整局部子类别的分布；
3-5.对齐每个域的特定特征分布；
3-6.对于每个分类器输出的目标样本的预测分布进行对齐，利用来自不同分类器的表示输出来计算差异损失；
3-7.根据每个分类器的预测概率分布结果设置相似性加权权重约束，两个分类器的差异越小，权重越高；
3-8.计算总的目标优化函数；
3-9.重复步骤3-1至步骤3-8，直至迭代T次；
输出：目标域样本对应于所有分类器的集成结果的类别标签。
2.根据权利要求1所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-2具体实现如下：
第n个源域中的第i个样本
Figure FDA0003614608830000021
获得的域的特定特征为
Figure FDA0003614608830000022
将其简化表示为
Figure FDA0003614608830000023
目标域中的第i个样
Figure FDA0003614608830000024
获得的域的特定特征为
Figure FDA0003614608830000025
将其简化表示为
Figure FDA0003614608830000026
将当前的源域表示为：
Figure FDA0003614608830000027
其中，
Figure FDA0003614608830000028
表示当前第n个源域的样本数据，具体如下所示：
Figure FDA0003614608830000029
其中，|Xsn|为第n个源域的样本总数；将当前的目标域表示为：
Figure FDA00036146088300000210
其中，
Figure FDA00036146088300000211
表示当前第n个源域对应目标域的样本数据。
3.根据权利要求2所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-3的损失计算如下：
Figure FDA00036146088300000212
其中，J为交叉熵损失函数，|Xsn|为第n个源域的样本总数，
Figure FDA00036146088300000213
为第n个源域的第i个样本的真实标签。
4.根据权利要求3所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-4具体实现如下：
假设有源域XS和目标域XT，使用xi表示源域XS中的第i个样本，共有n个样本，xj表示目标域XT中的第j个样本，共有m个样本，则其MMD定义如下：
Figure FDA0003614608830000031
其中sup表示上确界，
Figure FDA0003614608830000032
表示将域的特定特征分布映射到再生核希尔伯特空间(RKHS)的特征映射函数，H为再生核希尔伯特空间，p和q表示域XS和XT的分布，E*表示期望；k(xi,xj)为高斯核函数。
5.根据权利要求3所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-5具体实现如下：
通过对齐每个域的特定特征分布，以有效地解决域偏移及目标域无标签问题；假设αc为样本属于类别标签c的概率，基于类别标签先验分布的多源域集合αcs定义为：
Figure FDA0003614608830000033
其中，αcn表示第n个源域的类别标签先验概率，yi cn表示第n个源域的样本真实标签属于c类类别标签的概率，
Figure FDA0003614608830000034
表示第n个源域的第i个样本
Figure FDA0003614608830000035
被分配至类别标签c的局部类别标签权重；
针对目标域的样本，由于目标域的样本无标签，使用第n个分类器Gn的概率分布来表示其属于类别标签c，将目标域样本
Figure FDA0003614608830000041
属于类别标签c的表示为
Figure FDA0003614608830000042
其权重
Figure FDA0003614608830000043
的定义为：
Figure FDA0003614608830000044
其中，
Figure FDA0003614608830000045
表示样本
Figure FDA0003614608830000046
通过第g个分类器被分配至类别标签c的局部类别标签权重，
Figure FDA0003614608830000047
表示第g个目标域的第i个样本伪标签属于c类类别标签的概率；
将LLMMD表示为损失Llocal：
Figure FDA0003614608830000048
其中C表示类别标签的总数，
Figure FDA0003614608830000049
表示第n个源域的第i个样本
Figure FDA00036146088300000410
被分配至类别标签c的局部类别标签权重，
Figure FDA00036146088300000411
表示目标域的第i个样本
Figure FDA00036146088300000412
被分配至类别标签c的局部类别标签权重。
6.根据权利要求5所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-6具体实现如下：
对于每个分类器输出的目标样本的预测分布进行对齐，利用来自不同分类器的表示输出来计算差异损失，如下所示：
Figure FDA00036146088300000413
其中，Gn、Gm分别表示第n、m个分类器。
7.根据权利要求6所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-7具体实现如下：
根据每个分类器的预测概率分布结果设置相似性加权权重约束，两个分类器的差异越小，权重越高；第m个分类器的权重
Figure FDA0003614608830000051
的定义为：
Figure FDA0003614608830000052
其中
Figure FDA0003614608830000053
表示第n个和第m个分类器之间的差异损失权重；
基于权重约束集成所有分类器，所得全局损失如下：
Figure FDA0003614608830000054
8.根据权利要求7所述的基于标签对齐的多源域自适应跨被试EEG认知状态评估方法，其特征在于步骤3-8总的目标优化函数，定义如下：
Ltotal＝Lc+βLlocal+γLglobal
其中β和γ为相对应的权重。
CN202110601409.9A 2021-05-31 2021-05-31 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 Active CN113392733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110601409.9A CN113392733B (zh) 2021-05-31 2021-05-31 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110601409.9A CN113392733B (zh) 2021-05-31 2021-05-31 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法

Publications (2)

Publication Number Publication Date
CN113392733A CN113392733A (zh) 2021-09-14
CN113392733B true CN113392733B (zh) 2022-06-21

Family

ID=77619597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110601409.9A Active CN113392733B (zh) 2021-05-31 2021-05-31 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法

Country Status (1)

Country Link
CN (1) CN113392733B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807299B (zh) * 2021-09-26 2023-08-08 河南工业大学 基于平行频域脑电信号的睡眠阶段分期方法及***
CN113842151B (zh) * 2021-09-30 2024-01-05 杭州电子科技大学 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法
CN114065852B (zh) * 2021-11-11 2024-04-16 合肥工业大学 基于动态权重的多源联合自适应和内聚性特征提取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法
CN111728609A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112274162A (zh) * 2020-09-18 2021-01-29 杭州电子科技大学 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法
CN112274154A (zh) * 2020-09-18 2021-01-29 杭州电子科技大学 基于脑电样本权重调整的跨被试疲劳驾驶分类方法
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112641450A (zh) * 2020-12-28 2021-04-13 中国人民解放军战略支援部队信息工程大学 面向动态视频目标检测的时变脑网络重构方法
CN112684891A (zh) * 2020-12-30 2021-04-20 杭州电子科技大学 基于多源流形嵌入迁移的脑电信号分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0906029D0 (en) * 2009-04-07 2009-05-20 Nat Univ Ireland Cork A method of analysing an electroencephalogram (EEG) signal
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723661A (zh) * 2020-05-18 2020-09-29 华南理工大学 一种基于流形嵌入分布对齐的脑机接口迁移学习方法
CN111728609A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112274162A (zh) * 2020-09-18 2021-01-29 杭州电子科技大学 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法
CN112274154A (zh) * 2020-09-18 2021-01-29 杭州电子科技大学 基于脑电样本权重调整的跨被试疲劳驾驶分类方法
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法
CN112641450A (zh) * 2020-12-28 2021-04-13 中国人民解放军战略支援部队信息工程大学 面向动态视频目标检测的时变脑网络重构方法
CN112684891A (zh) * 2020-12-30 2021-04-20 杭州电子科技大学 基于多源流形嵌入迁移的脑电信号分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EEG classification of driver mental states by deep learning;Hong Zeng, Chen Yang, Guojun Dai, Feiwei Qin, Jianhai Zhang & Wa;《Cognitive Neurodynamics》;20180718;全文 *
Unsupervised domain adaptation techniques based on auto-encoder for non-stationary EEG-based emotion recognition;XinChai et al.;《Computers in Biology and Medicine》;20161201;全文 *
基于运动想象的小样本分类算法研究;许旋;《中国优秀硕士学位论文全文数据库-医药卫生科技辑》;20210215;全文 *

Also Published As

Publication number Publication date
CN113392733A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
Dissanayake et al. Deep learning for patient-independent epileptic seizure prediction using scalp EEG signals
Pathak et al. A study of deep learning approach for the classification of Electroencephalogram (EEG) brain signals
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN112580518B (zh) 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
Zeng et al. GRP-DNet: A gray recurrence plot-based densely connected convolutional network for classification of epileptiform EEG
Al-Saegh et al. CutCat: An augmentation method for EEG classification
CN112749635A (zh) 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
Khalighi et al. Adaptive automatic sleep stage classification under covariate shift
Lian et al. The improved ELM algorithms optimized by bionic WOA for EEG classification of brain computer interface
Nie et al. Recsleepnet: An automatic sleep staging model based on feature reconstruction
Li et al. MVF-SleepNet: Multi-view fusion network for sleep stage classification
Alsuwaiket Feature Extraction of EEG Signals for Seizure Detection Using Machine Learning Algorthims
Chang et al. DSSNet: a deep sequential sleep network for self-supervised representation learning based on Single-Channel EEG
Zan et al. Local Pattern Transformation-Based convolutional neural network for sleep stage scoring
CN117493955A (zh) 一种癫痫患者的脑电信号分类模型的训练方法
CN116821764A (zh) 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法
CN113842151B (zh) 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法
Wang et al. Improved brain–computer interface signal recognition algorithm based on few-channel motor imagery
Xia et al. A Temporal Multi-view Fuzzy Classifier for Fusion Identification on Epileptic Brain Network
Boernama et al. Multiclass classification of brain-computer interface motor imagery system: a systematic literature review
CN113177482A (zh) 一种基于最小类别混淆的跨个体脑电信号分类方法
Dong et al. Slow Component Analysis Based Interictal-Preictal EEG Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant