CN113128552B - 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 - Google Patents
一种基于深度可分离因果图卷积网络的脑电情绪识别方法 Download PDFInfo
- Publication number
- CN113128552B CN113128552B CN202110231114.7A CN202110231114A CN113128552B CN 113128552 B CN113128552 B CN 113128552B CN 202110231114 A CN202110231114 A CN 202110231114A CN 113128552 B CN113128552 B CN 113128552B
- Authority
- CN
- China
- Prior art keywords
- channel
- convolution
- matrix
- depth separable
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001364 causal effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 230000008451 emotion Effects 0.000 claims abstract description 26
- 210000004556 brain Anatomy 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000004907 gland Anatomy 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Psychology (AREA)
Abstract
本发明公开了一种基于深度可分离因果图卷积网络的脑电情绪识别方法。现有用于识别脑电情绪的神经网络缺乏通道间定向功能性关系的考虑。本发明如下：一、采集被测者的脑电数据。二、构建邻接矩阵。三、计算脑电数据对应的正则化拉普拉斯矩阵。四、利用深度可分离因果图卷积模型进行特征提取和情绪分类。本发明采用格兰杰因果关系对EEG信号通道间的关系进行建模，构建出一个有向的非对称矩阵，充分考虑了通道间的因果关系，与真实的脑电信号产生情况一致，故能够有效提高情绪类型识别的准确率。此外，本发明采用深度可分离卷积充分提取了脑电数据中的局部特征，从而进一步提高了分类准确率。
Description
技术领域
本发明属于脑电情绪识别领域，涉及一种基于GC_DSGCN(depthwise separablegraph convolutional neural networkbased on Granger causality基于格兰杰因果关系的深度可分离图卷积算法)的脑电情绪分类方法。
背景技术
情绪在人们的日常交流、工作学习和认知决策过程中具有信息传递与行为调控的作用，识别出正确的情绪，能够帮助人们掌握正确的信息。近几年人工智能有了很大的发展，已经拥有了很完善的逻辑体系和算法结构，但情绪的识别部分仍然存在缺陷，因此情绪识别领域也就受到了广泛的重视，情绪的正确识别将会有助于人机协同的进一步提高。
目前情绪识别的技术主要采用面部表情、语音信号，心理学常用量表和心理信号等。前三种技术虽然实施过程简单，也比较易于获得，但其可靠性、有效性却不能够保证，因为主体可以通过控制面部表情、语音语调和心理变化来掩盖真实的情绪，甚至有些时候主题也不能很正确的表达其真实的心理感受。心理信号则主要包含脑电图(EEG)、心电图(ECG)和肌电图(EMG)等，其中采取脑电图的设备是最轻便，易于获得的，获得信号的速度也十分的快速，采取过程对人体无任何伤害，价格也是最便宜的，这也使在情绪识别领域上EEG的使用最为普遍。
脑电信号提供了一个人的大量的信息，同时也被运用到大量的实际应用中，如为某些脑疾病提供诊断依据，甚至可以提供更有效的治疗手段，近年来大量研究人员借助脑电信号，来实现人机交互。而脑电信号能够更客观地反应人的情绪，因此能为提高人机交互性能提供更大的帮助。
现已经有了卷积神经网络(CNN)、循环神经网络(RNN)、支持向量机(SVM)等方法来识别脑电情绪，也都得到了十分可观的结果，也有对EEG通道间信息的提取的图神经网络(GNN)，但缺乏通道间定向功能性关系的考虑，故需要提出一种方法能够将该信息加入到输入中，同时能够提高情绪分类准确率的方法。
发明内容
本发明针对现有技术的不足，提供一种基于GC_DSGCN的脑电情绪识别方法，通过格兰杰因果关系计算出EEG通道间的定向影响因子，建立模型所需要的拓扑图，通过图卷积提取出空间特征，再通过深度可分离卷积提取出局部特征，用平均池化层将提取出的局部特征总合成新的特征，最后输入全连接层，实现脑电情绪的分类。
本发明的具体步骤如下：
步骤一、获取被测者的脑电数据。
步骤二、构建邻接矩阵。
计算脑电数据中包括任意两通道格兰杰因果关系值；任意两通道c1、c2的格兰杰因果关系值如式(2.5)、(2.6)所示。
其中，GCc2→c1为通道c2映射到通道c1格兰杰因果关系值；其中，GCc1→c2为通道c1映射到通道c2格兰杰因果关系值；分别为通道c1、c2的预测误差的方差，其表达式如式(2.3)所示；/>分别为通道c1对通道c2之间的预测误差的方差、通道c1对通道c2，其表达式如式(2.4)所示。
其中，X1、X2分别为数据样本的任意两个通道c1、c2的前P段时间序列；P为自回归模型的阶数；Y1、Y2分别表示P到T时刻中通道c1、通道c2的时间序列；T为总时间段数量；/>为通道c1、通道c2的单变量自回归系数，其表达式如式(2.1)所示；/>为通道c1与通道c2之间的双变量回归系数，其表达式如式(2.2)所示。
用将脑电数据内的各通道数据相互之间的格兰杰因果关系值组成邻接矩阵A。
步骤三、计算脑电数据对应的正则化拉普拉斯矩阵L如式(3.1)。
L＝IN-D-1/2AD-1/2 式(3.1)
其中，IN是单位矩阵，D是对应的邻接矩阵A的度矩阵。
步骤四、利用深度可分离因果图卷积模型进行特征提取和情绪分类。
所述的深度可分离因果图卷积模型首先利用步骤三得到的正则化拉普拉斯矩阵L，对脑电数据图卷积运算。再通过深度可分离卷积层提取局部特征，提取出频谱能量特征；然后通过平均池化层，将提取到的局部特征整合成新的特征；最后通过全连接层进行情绪分类，确定被测者在脑电采集时的情绪类型。深度可分离因果图卷积模型经过多个已有标签的脑电数据的训练。
作为优选，步骤一中所述的情绪类别包括积极，中性，消极。被试者的情绪类别通过观看不同的电影片段来引导。
作为优选，脑电数据为通过10-20国际标准导联***采集的62通道脑电信号。
作为优选，所有脑电数据均经过去趋势化、去均值、一阶差分处理。
作为优选，步骤四中的图卷积运算通过切比雪夫滤波器进行。
作为优选，步骤四中，深度可分离因果图卷积模型对脑电数据的具体处理过程如下：提取脑电数据x与滤波器θ的卷积y如式(4.3)所示。
其中，θk是切比雪夫多项式的系数；通过递归表达式计算得到，λmax是正则化拉普拉斯矩阵L的最大特征值。IN为单位矩阵。K为切比雪夫滤波器的阶数。
再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积，将上一步的特征在深度方向上进行加权组合，生成新的局部特征，最后用平均池化层将局部特征总合为新的特征。新的特征输入全连接层即得到情绪类型。
作为优选，构建脑电数据x与滤波器θ的卷积y的表达式的过程如下：
4-1.将脑电数据x与滤波器θ的卷积定义为：y＝gθ(L)x；其中，gθ(·)是图信号的滤波函数。
4-2.将正则化拉普拉斯矩阵L分解为：L＝UΛUT；其中，U是正交矩阵，由L的特征向量组成；Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值。进而将样本数据x与滤波器θ的卷积y重新定义为式(4.1)。
y＝gθ(L)x＝Ugθ(Λ)UTx 式(4.1)
4-3.利用K阶切比雪夫多项式来计算滤波函数gθ(Λ)如式(4.2)所示。
其中， 通过递归表达式进行计算，
根据式(4.2)进一步将卷积y的表达式优化为式(4.3)。
本发明的有益效果是：
1、本发明采用格兰杰因果关系对EEG信号通道间的关系进行建模，构建出一个有向的非对称矩阵，充分考虑了通道间的因果关系，与真实的脑电信号产生情况一致，故能够有效提高情绪类型识别的准确率。
2、本发明采用深度可分离卷积充分提取了脑电数据中的局部特征，从而进一步提高了分类准确率。
附图说明
图1是本发明获取格兰杰因果关系构建邻接矩阵的流程图；
图2是本发明提出的深度可分离因果图卷积模型的网络框架图。
具体实施方式
为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
一种基于深度可分离因果图卷积网络的脑电情绪识别方法，包括以下步骤：
步骤一、建立数据集。
本实施例使用上海交大提供的情绪脑电SEED数据集，该数据集由15个被试(7名男性，8名女性)分别观看来自6部电影的15个片段，引起的不同的情绪(积极，中性，消极)所产生，因此每次实验得到15个样本数据；每个被试做三次实验，每个实验相隔大约一周；一共有15×3＝45个实验。而每个实验取前9个片段作为训练集，后6个片段作为测试集。
步骤二、邻接矩阵构建。
本发明的数据集采用了国际10-20***的62个通道，每个通道定义为c，如果通道c1的某些或者全部滞后阶对通道c2产生了显著的影响(或c2的滞后阶也可能对c1造成影响)，那么利用c1去预测c2(或c2去预测c1)的变化就成为了可能，也就是说变量c1是导致变量c2的格兰杰原因。对于通道c1的时间序列和通道c2的时间序列，使用c1的自回归模型(AR)和c1、c2共同的自回归模型来预测两通道见的影响因素。基于这一情况，本发明将每一个通道作为模型的节点，计算出每个节点之间以及该节点对自身的格兰杰因果关系，构建模型所需要的有向邻接矩阵，如图2所示。
如图1所示，将数据集内的各个数据样本分别进行去趋势化、去均值、一阶差分处理，通过最小二乘法估计回归模型的系数，
计算每个数据样本中各通道的P阶AR模型的单变量自回归系数如式(2.1)所示。P为AR模型的阶数。
其中，X1表示数据样本的任意通道c1的前P段时间序列；c1(i)是通道c1当前时刻向前的第i个时间段的数据；Y1表示P到T时刻中通道c1的时间序列；T为总时间段数量；/>
计算联合回归模型的双变量回归系数如式(2.2)所示。
其中，X1、X2分别为数据样本的任意两个通道c1、c2的前P段时间序列。
计算每个数据样本中各通道的自回归模型的预测误差的方差如式(2.3)所示。
其中，var(·)为方差函数；c1表示数据样本的任意通道数据；var(·)为方差函数；ec1为单变量AR模型的预测误差。
计算每个数据样本中两两通道之间的自回归模型的预测误差的方差如式(2.4)所示。
其中，ec1c2则是双变量的预测误差。
计算两通道互相的格兰杰因果关系值如式(2.5)、(2.6)所示。
其中，GCc2→c1为通道c2映射到通道c1格兰杰因果关系值；其中，GCc1→c2为通道c1映射到通道c2格兰杰因果关系值.
62个通道数据两两组合(包括自身对自身的影响)的格兰杰因果关系值组成62×62的邻接矩阵A。
步骤三、正则化矩阵。
根据正则化拉普拉斯矩阵的定义，计算各样本数据对应的正则化拉普拉斯矩阵L如式(3.1)。
L＝IN-D-1/2AD-1/2 (3.1)
其中，IN是单位矩阵，D∈RN*N是邻接矩阵A的度矩阵，D可以通过计算得到；而A就是步骤二得到的邻接矩阵。
步骤四、特征提取
脑电信号中的每个通道无时无刻不因为其他通道的影响而在改变着自己的状态直到最终的平衡，这也就需要一个网络，能够考虑到信号的结构关系。图卷积神经网络其实和卷积神经网络一样，是一个用于图数据的特征提取器，但和卷积神经网络不同的是，卷积神经网络无论kernel窗口平移到哪里，其内部结构都是一样的，但图数据的结构一般来说是十分不规则的，所以它没有平移不变性。每一个节点的周围结构可能都是独一无二的。这里就需要步骤三中的正则化拉普拉斯矩阵。
如图2所示，建立深度可分离因果图卷积模型，其首先将脑电数据通过切比雪夫滤波器进行图卷积运算，再将其输出输入到深度可分离卷积层提取局部特征，提取出频谱能量特征，再通过一层平均池化层，将提取到的局部特征整合成新的特征，最后输入全连接层，实现脑电情绪的分类。
在图卷积神经网络上，样本数据x与图的滤波器θ的卷积定义为：y＝gθ(L)x,gθ(·)是图信号的滤波函数。
正则化拉普拉斯矩阵L的奇异值分解为：L＝UΛUT；其中，U是正交矩阵，由L的特征向量组成，U＝[u0,u1,···,uN-1]∈RN×N，Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值。Λ＝diag([λ0,λ1,···,λN-1])；x∈RN*F是输入信号，F是样本数据x的特征数。
因此：样本数据x与图的滤波器θ的卷积y重新定义为式(4.1)。
y＝gθ(L)x＝Ugθ(Λ)UTx (4.1)
然而为了简化计算，我们引入了K阶切比雪夫多项式来计算滤波函数gθ(Λ)，
其中，θk是切比雪夫多项式的系数；λmax是对角矩阵Λ的最大元素；/>可以通过递归表达式进行计算，即/>卷积y变为式(4.3)。
其中，再将公式(3.1)的正则化拉普拉斯矩阵L代入，就得到了最终的图卷积公式(4.3)。/>
再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积(类似于普通的卷积)，这一层卷积运算会将上一步的特征在深度方向上进行加权组合，生成新的局部特征(即特征图)，最后用平均池化层将局部特征总合为新的特征。
步骤五、根据步骤4提取的特征用全连接层进行分类，获得样本数据x对应的情绪类型。
本发明经过训练集训练后使用测试集进行准确率测试，所得结果与现有技术(SVM、GCNN、P_GCN、DGCNN)对比的情况如下表1所示。在对比中，取每个被试的任意两次实验结果进行测试；并用得到的所有准确率数据的平均值来衡量模型的效果。本发明主要选取SEED数据集中预处理后的的DE特征进行实验。
表1 SEED数据集上平均准确率和标准偏差的比较
从表1可以发现，本发明比SVM、GCNN、P_GCN、DGCNN方法的准确率都要高，且在beta、gamma频段和全频带的表现更为突出，个体差异也有了一定的缩小。
Claims (7)
1.一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤一、获取被测者的脑电数据；
步骤二、构建邻接矩阵；
计算脑电数据中包括任意两通道格兰杰因果关系值；任意两通道c1、c2的格兰杰因果关系值如式(2.5)、(2.6)所示；
其中，GCc2→c1为通道c2映射到通道c1格兰杰因果关系值；其中，GCc1→c2为通道c1映射到通道c2格兰杰因果关系值；分别为通道c1、c2的预测误差的方差，其表达式如式(2.3)所示；/>分别为通道c1对通道c2之间的预测误差的方差、通道c1对通道c2，其表达式如式(2.4)所示；
其中，X1、X2分别为数据样本的任意两个通道c1、c2的前P段时间序列；P为自回归模型的阶数；Y1、Y2分别表示P到T时刻中通道c1、通道c2的时间序列；T为总时间段数量；为通道c1、通道c2的单变量自回归系数，其表达式如式(2.1)所示；/>为通道c1与通道c2之间的双变量回归系数，其表达式如式(2.2)所示；
用将脑电数据内的各通道数据相互之间的格兰杰因果关系值组成邻接矩阵A；
步骤三、计算脑电数据对应的正则化拉普拉斯矩阵L如式(3.1)；
L＝IN-D-1/2AD-1/2 式(3.1)
其中，IN是单位矩阵，D是对应的邻接矩阵A的度矩阵；
步骤四、利用深度可分离因果图卷积模型进行特征提取和情绪分类；
所述的深度可分离因果图卷积模型首先利用步骤三得到的正则化拉普拉斯矩阵L，对脑电数据图卷积运算；再通过深度可分离卷积层提取局部特征，提取出频谱能量特征；然后通过平均池化层，将提取到的局部特征整合成新的特征；最后通过全连接层进行情绪分类，确定被测者在脑电采集时的情绪类型；深度可分离因果图卷积模型经过多个已有标签的脑电数据的训练。
2.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤一中所述的情绪类别包括积极，中性，消极；被试者的情绪类别通过观看不同的电影片段来引导。
3.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：脑电数据为通过10-20国际标准导联***采集的62通道脑电信号。
4.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：所有脑电数据均经过去趋势化、去均值、一阶差分处理。
5.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤四中的图卷积运算通过切比雪夫滤波器进行。
6.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤四中，深度可分离因果图卷积模型对脑电数据的具体处理过程如下：提取脑电数据x与滤波器θ的卷积y如式(4.3)所示；
其中，θk是切比雪夫多项式的系数；通过递归表达式计算得到，λmax是正则化拉普拉斯矩阵L的最大特征值；IN为单位矩阵；K为切比雪夫滤波器的阶数；
再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积，将上一步的特征在深度方向上进行加权组合，生成新的局部特征，最后用平均池化层将局部特征总合为新的特征；新的特征输入全连接层即得到情绪类型。
7.根据权利要求6所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：构建脑电数据x与滤波器θ的卷积y的表达式的过程如下：
4-1.将脑电数据x与滤波器θ的卷积定义为：y＝gθ(L)x；其中，gθ(·)是图信号的滤波函数；
4-2.将正则化拉普拉斯矩阵L分解为：L＝UΛUT；其中，U是正交矩阵，由L的特征向量组成；Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值；进而将样本数据x与滤波器θ的卷积y重新定义为式(4.1)；
y＝gθ(L)x＝Ugθ(Λ)UTx 式(4.1)
4-3.利用K阶切比雪夫多项式来计算滤波函数gθ(Λ)如式(4.2)所示；
其中， 通过递归表达式进行计算，/>
根据式(4.2)进一步将卷积y的表达式优化为式(4.3)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231114.7A CN113128552B (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231114.7A CN113128552B (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128552A CN113128552A (zh) | 2021-07-16 |
| CN113128552B true CN113128552B (zh) | 2024-02-02 |
Family
ID=76772371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110231114.7A Active CN113128552B (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128552B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962433B (zh) * | 2021-09-10 | 2024-07-12 | 国网江苏省电力有限公司电力科学研究院 | 一种融合因果卷积与可分离时间卷积的风电预测方法及*** |
| CN113822188B (zh) * | 2021-09-13 | 2024-06-11 | 合肥工业大学 | 一种时间因果诱导的斗殴行为的识别方法 |
| CN114052735B (zh) * | 2021-11-26 | 2023-05-23 | 山东大学 | 一种基于深度领域自适应的脑电情绪识别方法及*** |
| CN114176600B (zh) * | 2021-12-28 | 2023-10-20 | 上海交通大学 | 基于因果分析的心电图st段异常判别*** |
| CN114343676B (zh) * | 2021-12-28 | 2023-09-29 | 东南大学 | 基于自适应层次图神经网络的脑电情感识别方法及装置 |
| CN114510966B (zh) * | 2022-01-14 | 2023-04-28 | 电子科技大学 | 一种基于图神经网络的端到端大脑因果网络构建方法 |
| CN114611556B (zh) * | 2022-03-08 | 2024-03-15 | 中国人民解放军国防科技大学 | 一种基于图神经网络的多类别运动想象任务识别方法 |
| CN114664452B (zh) * | 2022-05-20 | 2022-09-23 | 之江实验室 | 一种基于因果校验数据生成的全科多疾病预测*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| KR20190035368A (ko) * | 2017-09-26 | 2019-04-03 | 연세대학교 산학협력단 | 뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| KR20190128978A (ko) * | 2018-05-09 | 2019-11-19 | 한국과학기술원 | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 |
| KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
-
2021
- 2021-03-02 CN CN202110231114.7A patent/CN113128552B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| KR20190035368A (ko) * | 2017-09-26 | 2019-04-03 | 연세대학교 산학협력단 | 뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치 |
| KR20190128978A (ko) * | 2018-05-09 | 2019-11-19 | 한국과학기술원 | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 |
| KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128552A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113128552B (zh) | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 | |
| CN110399857B (zh) | 一种基于图卷积神经网络的脑电情感识别方法 | |
| CN108491077B (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及*** | |
| CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| CN111407243B (zh) | 一种基于深度学习的脉搏信号压力识别方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN113158964B (zh) | 一种基于残差学习和多粒度特征融合的睡眠分期方法 | |
| CN108921141B (zh) | 一种基于深度自编码神经网络的脑电信号eeg特征提取方法 | |
| CN109871831B (zh) | 一种情感识别方法及*** | |
| CN109171753B (zh) | 一种基于深度自编码神经网络的脑电信号eeg身份识别方法 | |
| CN112515685A (zh) | 基于时频共融的多通道脑电信号通道选择方法 | |
| CN113065526A (zh) | 一种基于改进深度残差分组卷积网络的脑电信号分类方法 | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN111797747A (zh) | 一种基于eeg、bvp和微表情的潜在情绪识别方法 | |
| CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
| CN109325410B (zh) | 一种基于卷积神经网络的脑电信号eeg特征提取方法 | |
| CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别*** | |
| CN110717423A (zh) | 一种老人面部表情的情感识别模型的训练方法及装置 | |
| CN113128384B (zh) | 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法 | |
| CN114209342A (zh) | 一种基于时空特征的脑电信号运动想象分类方法 | |
| CN113974627A (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN114662524A (zh) | 基于脑电信号的即插即用式域适应方法 | |
| CN112259228A (zh) | 一种动态注意力网络非负矩阵分解的抑郁症筛选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |