CN113157094A - 联合特征迁移与图半监督标记传播的脑电情感识别方法 - Google Patents

联合特征迁移与图半监督标记传播的脑电情感识别方法 Download PDF

Info

Publication number
CN113157094A
CN113157094A CN202110428950.4A CN202110428950A CN113157094A CN 113157094 A CN113157094 A CN 113157094A CN 202110428950 A CN202110428950 A CN 202110428950A CN 113157094 A CN113157094 A CN 113157094A
Authority
CN
China
Prior art keywords
matrix
label
electroencephalogram
domain data
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110428950.4A
Other languages
English (en)
Other versions
CN113157094B (zh
Inventor
李文政
黄文娜
王文娟
彭勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110428950.4A priority Critical patent/CN113157094B/zh
Publication of CN113157094A publication Critical patent/CN113157094A/zh
Application granted granted Critical
Publication of CN113157094B publication Critical patent/CN113157094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了联合特征迁移与图半监督标记传播的脑电情感识别方法。该方法的具体步骤包括引导被试者观看带有明显情感倾向的脑电数据，对其进行预处理和特征提取后，生成样本矩阵。构建联合特征迁移学习与状态估计的学习模型，包括单映射域适应模型与半监督标签传播模型，得到联合优化的目标函数。再根据目标函数通过固定两个变量、更新另一个变量的规则，实现联合优化，通过不断的迭代优化特征共享子空间，得到更好的迁移效果，以提高情感识别的准确性。该方法可以用于跨被试迁移进行情感识别。

Description

联合特征迁移与图半监督标记传播的脑电情感识别方法
技术领域
本发明属于脑电信号处理技术领域，具体涉及联合特征迁移与图半监督标记传播的脑电情感识别方法。
背景技术
情感是人们在日常生活工作中受到外界刺激时由大脑产生的一种对应的生理表达，具有信息传递以及行为调控的作用。对于机器来说，能够自动并准确的识别人的情感，更好地实现情感人机交互是当前信息科学、心理学、认知神经科学等领域的研究热点。但是人的情感表达会受到诸如环境情景、表达对象以及思维认知的影响，从而导致情感识别的困难，当前情感状态的识别主要可归于四类：面部表情、文本、语音、生理信号，前三者是非生理信号，由于非生理信号具有可伪装性，无法确保识别结果的可靠性，故通常采用生理信号进行识别。脑电信号作为一种不易伪装的生理信号，对于提高人机交互中情感识别的准确性以及可靠性具有十分重要的帮助。
常见的迁移学习方法一般可分为四类：基于模型、基于特征、基于样本、基于关系。其中，基于特征的方法是最广泛使用的迁移方法，该类方法目的是学习一种共享特征表示，即共享子空间，通过投影结合一些度量策略，例如最大均值差异MMD等的方式将目标域和源域数据映射到共享子空间中使得两者条件分布和边缘分布的差异最小。但是对于无标签的目标域数据而言，计算其条件分布是无法实现的，因此，如果能够学习到好的目标域标签，从而得出更好的投影矩阵，就可以缩小源域和目标域差异以得出更加优秀的目标标签，提升模型识别精度，保证情感人机交互的可靠性。
但是，脑电信号是一种非稳态信号，并且不同被试针对于同一情感的脑电信号表征也会有所不同如果只是简单的进行跨被试迁移识别，并不能很好的满足人机交互对于情感识别准确性的要求。
发明内容
针对现有技术的不足，本发明提出了联合特征迁移与图半监督标记传播的脑电情感识别方法，通过对源域数据和目标域数据在子空间对齐的投影矩阵W、目标域情感标签Ft以及无向图S进行联合迭代优化，通过不断的迭代优化特征共享子空间，得到更好的迁移效果，以提高情感识别的准确性。
步骤1、采集被试者在K种不同情绪状态下的脑电数据。
步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签。选择两个不同的样本矩阵，分别作为源域数据Xs和目标数据Xt。
步骤3、构建联合特征迁移学习与状态估计的学习模型，包括单映射域适应模型与半监督标签传播模型。
步骤3.1、建立单映射域适应模型：
Figure BDA0003030687820000021
其中，
Figure BDA0003030687820000022
为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；
Figure BDA0003030687820000023
为增广源域数据标签，c为类别数；
Figure BDA0003030687820000024
为增广目标域数据标签，ns、nt分别为源域数据和目标域数据的样本数量；n＝ns+nt表示总样本个数；
Figure BDA0003030687820000025
Figure BDA0003030687820000026
为对角矩阵，矩阵中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数，k＝1，2，...，c+1；其中
Figure BDA0003030687820000027
为中心矩阵，I为单位阵，
Figure BDA0003030687820000028
表示Frobenius范数的计算；上标T表示转置。
步骤3.2、建立基于无向图的半监督标签传播模型：
Figure BDA0003030687820000029
其中，Sij表示无向图关联矩阵S第i行第j列的元素，即第i个样本和第j个样本之间的关联度(i＝1，2，...，n；j＝1，2，...，n)；α，γ均为参数；
Figure BDA00030306878200000210
为拉普拉斯变换矩阵，通过关联矩阵S求得，L＝S-D，D为n维对角矩阵，第i个对角元素
Figure BDA00030306878200000211
Figure BDA00030306878200000212
为用于标签传播的标签矩阵，Fs、Ft分别为源域与目标域的标签；1为全1矩阵；Tr(·)表示矩阵的迹；
Figure BDA00030306878200000213
表示2范数的计算；公式(2)中第一项为半监督的标签传播，第二项以及第三项则是求解无向图的关联矩阵，以保证构造出一个好的无向图。
步骤3.3、联合步骤3.1、3.2构建的两个模型，将域适应以及基于无向图的半监督标签传播整合至一个统一的框架中进行联合优化，优化模型为：
Figure BDA0003030687820000031
λ，α，γ均为参数。
步骤4、根据步骤3.3建立的优化模型，对映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S进行联合迭代优化。
步骤4.1、初始化目标域数据标签Ft的值为
Figure BDA0003030687820000032
并使用神经网络构建初始无向图。
作为优选，初始无向图由KNN网络构建。
步骤4.2、固定目标域数据标签Ft和无向图关联矩阵S，更新映射矩阵W，目标函数为：
Figure BDA0003030687820000033
求解公式(4)，得到更新后的映射矩阵。
步骤4.3、固定映射矩阵W和无向图关联矩阵S，更新目标域数据标签Ft，目标函数为：
Figure BDA0003030687820000034
求解公式(5)，得到更新后的目标域数据标签。
步骤4.4、固定目标域数据标签Ft和映射矩阵W，更新无向图关联矩阵S，目标函数为：
Figure BDA0003030687820000035
求解公式(6)，得到更新后的无向图关联矩阵S。
步骤4.5、多次重复步骤4.2、4.3、4.4，完成映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S的联合迭代优化。
步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。
本发明具有以下有益效果：
1、本发明提出的联合脑电特征迁移与情感状态估计方法模型为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态。
2、本发明针对的是脑电研究领域较难的跨被试情景，通过构造无向图、半监督标签传播以及域适应三者联合进行迭代优化，通过不断优化基于样本数据构造的无向图，通过半监督标签传播优化得到更好的目标标签，以得到更加优秀的映射矩阵提高迁移效果，得到更加接近的源域数据和目标域数据进行构图，不断迭代、优化，从而得到更加优秀的情感状态识别结果，提高跨被试迁移进行情感识别的准确性。
附图说明
图1为本方法的流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
如图1所示，联合特征迁移与图半监督标记传播的脑电情感识别方法，具体包括以下步骤：
步骤1、脑电数据采集。
人的情感在日常情况下并不会显得十分强烈，因此，为了采集到强烈的情感信息，是需要对被试者进行一定的诱导的，因此选取4种具有明显情感倾向的影片片段在不同的时间分别播放给被试者观看，在观看影片的同时通过脑电帽导联连接到对应的脑区采集被试者的脑电数据作为原始的情感脑电数据集。
步骤2、数据预处理。
对步骤1采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz～75hz的带通滤波器滤除噪声和伪影，分别在5个频段(Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz))计算其微分熵(DE)作为样本矩阵S：
Figure BDA0003030687820000041
其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。
可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即
Figure BDA0003030687820000042
脑电信号的预处理旨在提高信噪比，从而提高数据的预处理效果，减少干扰。
标签向量y为样本矩阵X对应的情感标签。
步骤3、建立联合脑电特征迁移与情感状态估计方法模型，将单映射域适应模型以及基于无向图的半监督标签传播模型整合至一个统一的框架中，得到联合优化的目标函数，具体步骤为：
步骤3.1、建立单映射域适应模型：
Figure BDA0003030687820000051
其中，
Figure BDA0003030687820000052
为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；Xs、Xt分别为源域数据和目标域数据；
Figure BDA0003030687820000053
为增广源域数据标签，c为类别数；
Figure BDA0003030687820000054
为增广目标域数据标签，在单一的域适应中是未知的，ns、nt分别为源域数据和目标域数据的样本数量；
Figure BDA0003030687820000055
为对角矩阵，矩阵中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数；其中
Figure BDA0003030687820000056
为中心矩阵，I为单位阵；
Figure BDA0003030687820000057
表示Frobenius范数的计算；上标T表示转置。
步骤3.2、建立基于无向图的半监督标签传播模型：
Figure BDA0003030687820000058
其中，Sij表示无向图关联矩阵S第i行第j列的元素，即第i个样本和第j个样本之间的关联度(i＝1，2，...，n；j＝1，2，...，n)；α，γ均为参数；
Figure BDA0003030687820000059
为拉普拉斯变换矩阵，通过关联矩阵S求得，L＝S-D，D为n维对角矩阵，第i个对角元素
Figure BDA00030306878200000510
Figure BDA00030306878200000511
为用于标签传播的标签矩阵，Fs、Ft分别为源域与目标域的标签；1为全1矩阵；Tr(·)表示矩阵的迹；∑(·)为求和公式；
Figure BDA00030306878200000512
表示2范数的计算；公式(9)中第一项为半监督的标签传播，第二项以及第三项则是求解无向图的关联矩阵，以保证构造出一个好的无向图。
步骤3.3、联合步骤3.1、3.2构建的两个模型，将其整合至一个统一的框架中，得到联合优化的目标函数：
Figure BDA0003030687820000061
λ，α，γ均为参数。
步骤4、根据步骤3.3建立的优化模型，对映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S进行联合迭代优化。
步骤4.1、初始化目标域数据标签Ft的值为0.25，并使用KNN网络构建初始无向图。
步骤4.2、固定目标域数据标签Ft和无向图关联矩阵S，更新映射矩阵W，目标函数为：
Figure BDA0003030687820000062
该目标函数是一个等式约束优化问题，采用拉格朗日函数进行计算，构造拉格朗日函数：
Figure BDA0003030687820000063
其中Φ为等式约束对应的拉格朗日乘子，
Figure BDA0003030687820000064
式(12)对W求偏导可得：
Figure BDA0003030687820000065
因此
(CCT+2αXLXT)W＝ΦXHXTW (14)
公式(14)为一个广义特征值分解的问题，令M＝(XHXT)-1(CCT+2αXLXT)，同时取W为一组标准正交基向量，对矩阵W进行特征值分解，并取前p个最小的特征值对应的特征向量，得到更新后的映射矩阵W。p为共享子空间维度。
步骤4.3、固定映射矩阵W和无向图关联矩阵S，更新目标域数据标签Ft，目标函数为：
Figure BDA0003030687820000066
令
Figure BDA0003030687820000067
将公式(15)化简为：
Figure BDA0003030687820000071
将公式(16)转换为迹的形式为：
Figure BDA0003030687820000072
在公式(17)中，目标变量存在两种形式，一种是增广的，另一种是正常的，将增广形式的目标变量拆解开，即将
Figure BDA0003030687820000073
代入式(17)中：
第一项：
Figure BDA0003030687820000074
第二项：
Figure BDA0003030687820000075
其中
Figure BDA0003030687820000076
由于矩阵的迹为主对角线元素之和并且目标变量为Ft，因此将公式(17)转变为：
Figure BDA0003030687820000077
其中，
Figure BDA0003030687820000078
采用按行求解的方式对公式(18)进行简化，取
Figure BDA0003030687820000079
为
Figure BDA00030306878200000710
第it个列向量，即
Figure BDA00030306878200000711
为Ft的第it行行向量，it＝1，2，...，nt。
第一项：
Figure BDA00030306878200000712
第二项：
Figure BDA00030306878200000713
第三项：
Figure BDA00030306878200000714
其中
Figure BDA00030306878200000715
为M的第it个列向量；jt＝1，2，...，nt。此时，第it行的目标函数为：
Figure BDA00030306878200000716
公式(19)中第一项和第三项均为乘积的形式，只有第二项是2范数形式的计算，将第二项进行拆解：
Figure BDA00030306878200000717
由于
Figure BDA00030306878200000718
是一个常数，其迹即为其本身，因此公式(19)可以写为：
Figure BDA0003030687820000081
其中，
Figure BDA0003030687820000082
同时，取
Figure BDA0003030687820000083
那么目标式就可以化简为：
Figure BDA0003030687820000084
求解公式(22)，即可得到更新后的目标域数据标签Ft。
步骤4.4、固定目标域数据标签Ft和映射矩阵W，更新无向图关联矩阵S，目标函数为：
Figure BDA0003030687820000085
同样采用按行求解的方式，首先将目标函数中第一项迹进行拆解：
Figure BDA0003030687820000086
由于公式(24)中二范数的计算与目标变量无关，因此令：
Figure BDA0003030687820000087
那么公式(24)按行求解的形式为，公式(26)即为第i行：
Figure BDA0003030687820000088
取
Figure BDA0003030687820000089
那么公式(26)可以写成：
Figure BDA00030306878200000810
令
Figure BDA00030306878200000811
此时，公式(27)可以转换为：
Figure BDA00030306878200000812
求解公式(28)，即可得到更新后的无向图关联矩阵S。
步骤4.5、多次重复步骤4.2、4.3、4.4，完成映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S的联合迭代优化。
步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。
Figure BDA0003030687820000091
表1
Figure BDA0003030687820000092
Figure BDA0003030687820000101
表2
由上述两个表的数据可以看到，本实施例的结果与其他的迁移方法相比，识别精度更高。

Claims (8)

1.联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：该方法具体包括以下步骤：
步骤1、采集被试者在K种不同情绪状态下的脑电数据；
步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签；选取两个不同的样本矩阵，分别作为源域数据Xs和目标域数据Xt；
步骤3、构建联合特征迁移学习与状态估计的学习模型，将单映射域适应模型以及基于无向图的半监督标签传播模型整合至一个统一的框架中，得到联合优化的目标函数；
步骤4、首先初始化目标域数据标签Ft，使用神经网络构建得到初始无向图；然后根据步骤3得到的联合优化的目标函数，通过固定两个变量、更新另一个变量的方法，依次对映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S进行优化，多次重复该优化过程，实现联合迭代优化；
步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。
2.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤二中以200Hz的频率对采集得到的脑电数据进行采样，然后将采样后的数据通过1hz～75hz的带通滤波器，滤除噪声和伪影；再分为1-4Hz、4-8Hz、8-14Hz、14-31Hz和31-50Hz五个频段，分别计算每个频段下的微分熵作为样本矩阵X中的脑电特征。
3.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤3具体包括以下步骤：
步骤3.1、建立单映射域适应模型：
Figure FDA0003030687810000011
s.t.WTXHXTW＝I (1)
其中，
Figure FDA0003030687810000012
为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；
Figure FDA0003030687810000013
为增广源域数据标签，Ys为源域标签，c为类别数；
Figure FDA0003030687810000014
为增广目标域数据标签，ns、nt分别为源域数据和目标域数据的样本数量；n＝ns+nt表示总样本个数；
Figure FDA0003030687810000021
Figure FDA0003030687810000022
为对角矩阵，Ns、Nt均为对角矩阵，其中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数，k＝1.2，...，c+1；其中
Figure FDA0003030687810000023
为中心矩阵，I为单位阵，
Figure FDA0003030687810000024
表示Frobenius范数的计算；上标T表示转置；
步骤3.2、建立基于无向图的半监督标签传播模型：
Figure FDA0003030687810000025
Figure FDA0003030687810000026
其中，Sij表示无向图关联矩阵S第i行第j列的元素，即第i个样本和第j个样本之间的关联度；α，γ均为参数；
Figure FDA0003030687810000027
为拉普拉斯变换矩阵，L＝S-D，D为n维对角矩阵，第i个对角元素
Figure FDA0003030687810000028
Figure FDA0003030687810000029
为用于标签传播的标签矩阵，Fs、Ft分别为源域与目标域的标签；1为全1矩阵；Tr(·)表示矩阵的迹；
Figure FDA00030306878100000210
表示2范数的计算；
步骤3.3、联合步骤3.1、3.2构建的两个模型，将域适应以及基于无向图的半监督标签传播整合至一个统一的框架中进行联合优化，优化模型为：
Figure FDA00030306878100000211
Figure FDA00030306878100000212
λ，α，γ均为参数。
4.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤4中将目标域数据标签Ft的值初始化为1/K。
5.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：初始无向图由KNN网络构建。
6.如权利要求1或3所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤4中联合迭代优化的具体方法为：
步骤4.1、固定目标域数据标签Ft和无向图关联矩阵S，更新映射矩阵W，目标函数为：
Figure FDA0003030687810000031
Figure FDA0003030687810000032
求解公式(4)，得到更新后的映射矩阵；
步骤4.2、固定映射矩阵W和无向图关联矩阵S，更新目标域数据标签Ft，目标函数为：
Figure FDA0003030687810000033
s.t.F≥0，F1＝1 (5)
求解公式(5)，得到更新后的目标域数据标签；
步骤4.3、固定目标域数据标签Ft和映射矩阵W，更新无向图关联矩阵S，目标函数为：
Figure FDA0003030687810000034
Figure FDA0003030687810000035
求解公式(6)，得到更新后的无向图关联矩阵S；
步骤4.4、多次重复步骤4.1、4.2、4.3，完成映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S的联合迭代优化。
7.如权利要求6所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤4.1中，通过拉格朗日函数求解优化映射矩阵W的目标函数。
8.如权利要求6所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤4.2、4.3中通过行求解的方法化简优化目标域数据标签Ft和无向图关联矩阵S的目标函数后，再进行求解。
CN202110428950.4A 2021-04-21 2021-04-21 联合特征迁移与图半监督标记传播的脑电情感识别方法 Active CN113157094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110428950.4A CN113157094B (zh) 2021-04-21 2021-04-21 联合特征迁移与图半监督标记传播的脑电情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110428950.4A CN113157094B (zh) 2021-04-21 2021-04-21 联合特征迁移与图半监督标记传播的脑电情感识别方法

Publications (2)

Publication Number Publication Date
CN113157094A true CN113157094A (zh) 2021-07-23
CN113157094B CN113157094B (zh) 2023-04-07

Family

ID=76867491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110428950.4A Active CN113157094B (zh) 2021-04-21 2021-04-21 联合特征迁移与图半监督标记传播的脑电情感识别方法

Country Status (1)

Country Link
CN (1) CN113157094B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516231A (zh) * 2021-08-10 2021-10-19 大连海事大学 一种基于dsn深度对抗迁移网络的日常行为迁移识别方法
CN114330422A (zh) * 2021-12-08 2022-04-12 杭州电子科技大学 一种实时估计脑电情感特征的跨被试迁移学习方法
CN114343674A (zh) * 2021-12-22 2022-04-15 杭州电子科技大学 一种联合判别子空间发掘与半监督脑电情感识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FEIPING NIE: "Structured Graph Optimization for", 《IEEE》 *
ZEIX_: "阅读笔记6*：基于半监督学习的运动想象脑机接口研究", 《CSDN》 *
ZHENGMING DING: ""Graph Adaptive Knowledge Transfer for Unsupervised Domain Adaptation", 《EUROPEAN CONFERENCE ON COMPUTER VISION ECCV 2018》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516231A (zh) * 2021-08-10 2021-10-19 大连海事大学 一种基于dsn深度对抗迁移网络的日常行为迁移识别方法
CN113516231B (zh) * 2021-08-10 2024-03-29 大连海事大学 一种基于dsn深度对抗迁移网络的日常行为迁移识别方法
CN114330422A (zh) * 2021-12-08 2022-04-12 杭州电子科技大学 一种实时估计脑电情感特征的跨被试迁移学习方法
CN114330422B (zh) * 2021-12-08 2024-04-12 杭州电子科技大学 一种实时估计脑电情感特征的跨被试迁移学习方法
CN114343674A (zh) * 2021-12-22 2022-04-15 杭州电子科技大学 一种联合判别子空间发掘与半监督脑电情感识别方法
CN114343674B (zh) * 2021-12-22 2024-05-03 杭州电子科技大学 一种联合判别子空间发掘与半监督脑电情感识别方法

Also Published As

Publication number Publication date
CN113157094B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113157094B (zh) 联合特征迁移与图半监督标记传播的脑电情感识别方法
Harel et al. Learning from multiple outlooks
Shoaib et al. Signal processing with direct computations on compressively sensed data
CN113052113B (zh) 一种基于紧凑型卷积神经网络的抑郁症识别方法及***
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
Peng et al. OGSSL: A semi-supervised classification model coupled with optimal graph learning for EEG emotion recognition
Saboksayr et al. Online discriminative graph learning from multi-class smooth signals
Chen et al. Nonlinear dimensionality reduction for discriminative analytics of multiple datasets
Saboksayr et al. EEG-based emotion classification using graph signal processing
Wu et al. A novel deep learning model based on the ICA and Riemannian manifold for EEG-based emotion recognition
Devi et al. Deep learning-based cognitive state prediction analysis using brain wave signal
Dan et al. Learning brain dynamics of evolving manifold functional MRI data using geometric-attention neural network
Gao et al. EEG classification based on sparse representation and deep learning
Anil Kumar et al. Performance analysis of blind source separation using canonical correlation
CN113378650B (zh) 一种基于脑电源成像和正则化共空间模式的情绪识别方法
CN113191206B (zh) 基于黎曼特征迁移的脑磁图信号分类方法、装置及介质
Santana et al. Extraction of signals with specific temporal structure using kernel methods
CN114818822A (zh) 联合半监督回归与图标签传播的脑电迁移情感识别方法
CN115969392A (zh) 基于张量化频空注意力域适应网络的跨时段脑纹识别方法
Prasath Design of an integrated learning approach to assist real-time deaf application using voice recognition system
Zhang et al. Source number of single-channel signals intelligent estimation via signal reconstruction
Ju et al. Score-Based Data Generation for EEG Spatial Covariance Matrices: Towards Boosting BCI Performance
CN114330422A (zh) 一种实时估计脑电情感特征的跨被试迁移学习方法
ur Rehman Time-varying graph mode decomposition
Velioglu et al. Transfer learning for brain decoding using deep architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant