CN117503157A - 一种基于sgcrnn模型的脑电信号情绪识别方法 - Google Patents

一种基于sgcrnn模型的脑电信号情绪识别方法 Download PDF

Info

Publication number
CN117503157A
CN117503157A CN202310450855.3A CN202310450855A CN117503157A CN 117503157 A CN117503157 A CN 117503157A CN 202310450855 A CN202310450855 A CN 202310450855A CN 117503157 A CN117503157 A CN 117503157A
Authority
CN
China
Prior art keywords
eeg
electroencephalogram
model
sgcrnn
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310450855.3A
Other languages
English (en)
Inventor
白雪梅
谭佳琪
张晨洁
胡汉平
王云鹏
赵荟圆
史新瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310450855.3A priority Critical patent/CN117503157A/zh
Publication of CN117503157A publication Critical patent/CN117503157A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Power Engineering (AREA)

Abstract

一种基于脑电信号的SGCRNN(谱图卷积递归神经网络)情绪识别方法，涉及脑电信号情绪识别领域，解决在多通道脑电图情绪识别过程中，在进行脑网络的特征学习时忽略不同脑区之间的相关性和的空间特征，丢失部分时间和空间信息，制约了情绪识别准确率提高的问题。具体使用切比雪夫网络(ChebNet)取代门控循环单元(GRU)中的矩阵乘法运算，得到CNGRU(切比雪夫门控循环单元)网络层。SGCRNN模型由两个堆叠的CNGRU层，一个全连接层，以及一个最大池化层组成。新模型既利用了切比雪夫网络提取EEG序列空间特征的优势，又利用了GRU提取EEG序列时间特征的特点，实现了SGCRNN捕捉EEG序列的时空依赖性。并在建立图表示时，将脑电电极空间位置的余弦相似性和脑电通道特征的相关性相结合，建立捕捉脑电通道之间的局部关系和全局关系的邻接矩阵，有效地提高算法的特征提取能力。

Description

一种基于SGCRNN模型的脑电信号情绪识别方法
技术领域
本发明涉及脑电信号情绪识别领域，尤其涉及一种基于脑电信号的SGCRNN(谱图卷积递归神经网络)情绪识别方法，具体涉及根据脑电电极空间位置的余弦相似性与脑电通道特征的功能相关性相结合建立邻接矩阵图表示，结合SGCRNN预测模型可以捕捉EEG序列的时空依赖性，从而在三维情感模型上进行受试者情绪识别。
背景技术
作为中枢神经生理信号的脑电信号可以反映大脑的活动情况，可以用于识别相应时刻的情绪状态。脑电图(EEG)技术简单、廉价、便携，识别结果难以伪装，更加客观可靠，因此基于脑电图的情绪识别已成为人工智能领域的一个重要分支。利用三维情绪模型进行情绪识别研究，能够充分地表达和量化受试者的情绪和情感。
传统的机器学***均准确率达到81％。Liao等人提取了110个EEG的统计特征并将其发送给CNN，Valence在二分类中的准确率达到了81.4％。然而之前的深度学习模型在提取EEG特征时，忽略了不同脑区之间的相关性以及EEG通道的空间特征，往往会丢失部分时间和空间信息，制约了情绪识别准确率的提高。最近的研究证实了大脑连通性特征在情绪识别状态方面的有效性，因此利用图形建模来表示不同脑区之间的物理关系和功能连接，能够通过捕获EEG通道之间的局部和全局关系，实现识别准确率的提升。
本发明利用RNN方法分析EEG序列之间的时间相关性，捕捉EEG序列的时空依赖性。此外，本发明将图信号处理技术与RNN相结合，提出SGCRNN模型，用于脑电信号的特征学习建模研究。SGCRNN方法可以通过构建图表示描述脑区之间的物理关系和功能连接，具体通过将EEG电极空间位置关系和EEG通道特征的相关性相结合，建立图邻接矩阵，捕捉EEG通道间的局部关系和全局关系，更利于情感特征提取。构建一种新的SGCRNN模型处理EEG信号并进行情绪识别，既能在构建邻接矩阵时捕捉EEG序列的局部关系和全局关系，又能捕捉EEG序列的时空依赖性，弥补现有方法的缺点，提升准确率和识别速度。
发明内容
本发明为解决在多通道脑电图情绪识别过程中，在进行脑网络的特征学习时忽略不同脑区之间的相关性和的空间特征，丢失部分时间和空间信息，制约了情绪识别准确率提高的问题，提供了一种称为谱图卷积递归神经网络(SGCRNN)的新模型。具体使用切比雪夫网络(ChebNet)，取代门控循环单元(GRU)中的矩阵乘法运算，得到CNGRU(切比雪夫门控循环单元)网络层。SGCRNN模型由两个堆叠的CNGRU网络层、一个全连接层以及一个最大池化层组成。该模型既包含了切比雪夫网络提取EEG序列空间特征的优势，又利用了GRU提取EEG序列特征的特点，实现SGCRNN捕捉EEG序列的时空依赖性。并在建立图表示时，将脑电电极空间位置的余弦相似性和脑电通道特征的相关性相结合，建立捕捉脑电通道之间的局部关系和全局关系的邻接矩阵，提高了算法的特征提取和情绪识别能力。
该方法可由以下步骤实现：
步骤一、申请下载开源数据集DEAP，使用该数据集中所采集的32通道带有标签的脑电信号，将63秒的数据删除3秒的试验前基线信号，并分割为12秒的试验信号，采用快速傅立叶变换(FFT)将每段12秒的时域信号转换为频域信号；
步骤二、将脑电电极空间位置的余弦相似性和脑电通道特征的相关性相结合，构建邻接矩阵图表示，实现数学建模；
步骤三、计算归一化拉普拉斯矩阵、切比雪夫多项式，利用ChebNet代替GRU中的矩阵乘法运算，得到切比雪夫网络门控循环单元(CNGRU)；
步骤四、EEG序列通过由两个堆叠的CNGRU层、一个FC层和最大池化层组成的SGCRNN模型，得出预测结果；
步骤五、使用改进后的网络训练数据集并验证数据集，观察损失收敛时的迭代次数，分别得到在损失函数最优时的权重文件；
步骤六、使用测试集测试网络模型，分别得到在三维情绪模型上情绪识别结果的准确率和平均绝对误差值。
本发明的优点及有益效果如下：
1、本发明提供了一种新的脑电信号情绪识别网络模型，该谱图卷积递归神经网络模型有效降低了情绪识别结果的均方误差，提高了准确率；
2、本发明提出了一种将图信号技术应用于EEG信号特征学习的新方法，将脑电电极空间位置的余弦相似性和脑电通道特征的相关性相结合构建邻接矩阵图表示，能够同时捕捉脑电通道间的局部关系和全局关系；
3、本发明解决了RNN空间特征提取能力弱的问题，使用ChebNet代替GRU中的矩阵乘法运算，既利用了切比雪夫网络提取EEG序列空间特征的优势，又利用了GRU擅长提取EEG序列时间特征的特点，实现充分捕捉EEG序列的时空依赖性。
附图说明
图1为本发明提出算法的结构图。
图2为本发明提出算法的脑电邻接矩阵可视化图。
图3为本发明提出算法的训练过程中的准确率曲线。
图4为本发明提出算法的训练过程中的损失曲线。
图5为本发明提出算法的测试集在效价(Valence)维度的准确率和损失值。
图6为本发明提出算法的测试集在唤醒(Arousal)维度的准确率和损失值。
图7为本发明提出算法的测试集在优势度(Dominance)维度的准确率和损失值。
图8为本发明提出算法的训练过程中的学习率曲线。
具体实施方式
本发明具体使用过程由以下步骤实现：
步骤一、下载开源数据集DEAP，将该数据集记录的32名参与者观看40段一分钟长的音乐视频时的32通道EEG信号用于本实验，标签为受试者根据唤醒、效价、支配程度对每个视频进行从1到9评分。将下采样到128Hz的离散数据和标签存为dat文件中，每个时长为T1的EEG试验片段XR＝[XB,XT]∈RM*N,其中T1＝63，M为脑电极数32，N为采样点的数量8064；XB∈RM*L为时长T2的基线信号，其中T2＝3，L为采样点数量384，Xi为第i秒的基线信号，平均基线信号计算如下：
XT∈RM*J表示持续时间为T3＝60的脑电信号，Xj为第j秒的脑电信号，去除基线信号得到X'T∈RM*H，其中其第j秒的脑电信号一般来说，人类的情绪状态持续时间为1秒到12秒，将60秒的EEG试验分为12秒的时间切片以增加训练数据量。分割后的数据S＝{S1,S2,…,Sn}，其中Si∈RM*T,T为采样点数量1536，n为时间切片数量5。使用Scipy python包中的“fft”函数对每个t秒窗口应用快速傅立叶变换(FFT)，并保留非负频率分量的对数振幅。最终得到预处理后的数据格式为：Data∈(6400,12,32,128)，Labels∈(6400,)，并将数据集按8:1:1划分为训练集、验证集和测试集。
步骤二、建立EEGs的图形表示并计算邻接矩阵。神经科学研究表明，情绪模式与大脑区域的功能连接有关，因此本发明利用图形建模来表示不同脑区之间的物理关系和功能连接，以提升情绪识别准确率。一个图结构G用数学化的语言可以写成如下的表达式：
G＝(V,E,W) (2)
在本发明中，将每个EEG信道作为图的结点，公式(2)中V是图的结点集合，E是图的边集合，是图的邻接矩阵，表示EEG信道的关系，其中N表示EEG信道的数量，Wij的值表示信道i与信道j之间的函数关系。
确定Wij的值的方法分为三种，功能连接性、基于距离和神经网络。在本发明中，我们使用基于余弦相似度衡量向量之间差异的方法，和信道间功能连通性相结合的方法构造邻接矩阵，可以同时捕捉EEG信道的局部关系和全局关系。
为了捕捉EEG信道间的局部关系，本发明利用EEG电极位置向量vi和vj之间的余弦相似度构造邻接矩阵A。EEG电极之间的余弦相似度计算如下：
其中，vi,vj为根据标准10-20EEG电极放置的两电极三维坐标，xi,yi为电极的第i维坐标值。
构造邻接矩阵A的公式如下：
式中，Aij，i,j＝1,2,…,N,表示结点i和j之间的余弦相似度，κ为矩阵稀疏性的阈值。根据初步实验，选择κ＝1.5，为用于实验的所有EEG片段生成通用的无向加权图形。
为了捕捉EEG信道间的全局关系，本发明利用结点间的相似性构造邻接矩阵B。结点之间的相似度计算如下：
其中，函数cov和E分别表示协方差和期望，x和y表示结点的所对应的值，即EEG对应信道的频域特征值。xμ和yμ表示特征向量的平均值，δx和δy表示方差。
构造邻接矩阵B的公式如下：
式中，Bij，i,j＝1,2,…,N,表示结点i和j的相关度，pij为计算得出的相关值，表示vi的top_λ邻居节点。只保留权重在每个节点的top_λ邻居之间的边。根据初步实验，选择λ＝3，节点间的相关性降序排列取前三的连接被保留。
本发明使用EEG电极间的余弦相似度和EEG信道间特征的相关性相结合的方法构造邻接矩阵W，实现同时捕捉EEG信道的局部关系和全局关系。结合公式(4)和公式(6)，计算邻接矩阵W的公式如下：
Wij＝Aij+Bij (7)
步骤三、通过计算归一化拉普拉斯矩阵、切比雪夫多项式得到谱图卷积结果，利用ChebNet代替GRU中的矩阵乘法运算，得到CNGRU网络层。GRU的输入输出结构如下：GRU的输入包含t时刻的输入xt，t-1时刻的隐藏层状态ht-1，输出结构包含t时刻的隐藏节点输出yt，传递给下一节点的隐藏层状态ht。通过上一层的状态ht-1和当前的输入xt来获取重置门rt和更新门ut的状态过程为
rt＝σ(xtWxr+ht-1Whr+br) (8)
ut＝σ(xtWxz+ht-1Whz+bz) (9)
其中σ为Sigmoid函数，将数据变换为0～1范围内的数值，从而来充当门控信号。
候选隐藏层状态为
ct＝tanh(xtWhx+rt⊙ht-1Whh+bh) (10)
其中ht-1包含过去的信息，rt为重置门，⊙为按元素相乘。
最终隐藏状态为
ht＝(1-ut)⊙ht-1+ut⊙ct (11)
其中ht-1包含过去的信息，ct为候选隐藏状态，ut为更新门。通过更新门的状态将过去隐藏状态与当前候选信息相结合，得到最终隐藏状态的结果。
图G的对称归一化拉普拉斯矩阵定义为
式中，E为单位矩阵；被称为图的度矩阵(Degree matrix)，其中D＝diag(d1,…,dN)，其中/>即每个结点的邻居的个数；W为邻接矩阵。
对于一个给定的空间信号FN为特征数，其图傅里叶变换为
式中，为频域变换信号；U为L经奇异值分解得到的正交矩阵，过程如下
L＝UΛUT (14)
图*G上的两个信号x和y的卷积运算定义为
式中⊙为哈达玛积。
g(·)表示一个滤波函数，由g(L)滤波的信号x可以表示为
y＝g(L)x＝g(UΛUT)x＝Ug(Λ)UTx (16)
式中g(Λ)表示如下
式中λ1，λ2，…，λN是L的特征值。
由于对L做特征分解的步骤耗时较大，采用K阶切比雪夫多项式代替谱域卷积核，即近似g(Λ)，降低参数复杂度。推导公式如下
式中θk为切比雪夫多项式系数，Tk为切比雪夫多项式的计算方法，其计算过程如下
T0(x)＝1 (19)
T1(x)＝x (20)
Tk(x)＝2xTk-1(x)-Tk-2(x),k≥2 (21)
结合公式(16)，可转换如下
式中E为单位矩阵。
根据公式(12)计算对称归一化拉普拉斯矩阵L；根据公式(21)计算切比雪夫多项式Tk(x)(k＝0,1,…,K-1)；根据公式(22)计算卷积结果y。
本发明使用ChebNet谱图卷积取代GRU中的矩阵乘法，利用GRU提取时间相关性的优势，结合擅长提取频域和空间域特征的谱图卷积，对EEG信号进行时空建模(简称为CNGRU)，结合公式(8)～(11)，表示如下
rt＝σ(Θr*G[xt,ht-1]+br) (23)
ut＝σ(Θu*G[xt,ht-1]+bu) (24)
ct＝tanh(Θc*G[xt,(rt⊙ht-1)]+bc) (25)
ht＝(1-ut)⊙ht-1+ut⊙ct (26)
式中，xt、ht分别表示CNGRU在t时刻的输入和输出；σ表示Sigmoid函数；⊙表示哈达玛积；rt、ut、ct分别表示t时刻的复位门、更新门和候选门；*G表示ChebNet谱图卷积；Θr、br、Θu、bu、Θc、bc是相应的卷积滤波器的权重和偏差。
步骤四、在进行EEG信号情绪识别工作时，SGCRNN模型由两个堆叠的CNGRU网络，一个全连接层和一个池化层组成。模型的输入是EEG图，其中每个结点特征对应于各自通道的预处理EEG信号。EEG样本将输入序列的格式重置为(T,batch,N,M)，其中T为12秒，batch为设置的BATCH_SIZE即512，N为结点数目32，M为结点特征数量1536。在训练过程中，每次迭代先将隐藏层输入初始化。在两层CNGRU网络中，分别计算卷积结果y和隐藏层输出结果，再通过一个全连接层和一个池化层得出预测结果。本发明使用Adam优化器来训练我们的深度学习模型。在训练过程中，Adam优化器根据模型的表现来更新模型参数，同时它也考虑了梯度的方差和梯度的贡献，从而使得模型的训练更加稳定和高效。使用CosineAnnealingLR学习率调度器来训练我们的深度学习模型，该调度器通过学习率的时间函数来实现学习率的周期性调整。在训练过程中，学习率随着时间的推移而逐渐下降，从而实现更好的训练效果。在训练期间，采用沿头皮中线随机反射信号可以用来数据增强，这种方法通过在EEG序列上进行随机反射变换，并按[0.8,1.2]范围内的比例随机缩放EEG信号的振幅，增加了数据的多样性和随机性，从而有助于提高数据分析的可靠性和准确性。这样的迭代发生300次后完成训练。
步骤五、使用改进后的网络训练数据集并验证数据集，本发明定义了一个基于均方误差的损失函数，SGCRNN模型的损失函数定义为以下形式。每次迭代更新图卷积及门控单元参数，观察损失收敛时的迭代次数，分别得到在损失函数最优时的权重文件。
Loss＝mse(p,l)+α||W||1 (27)
式中p和l分别表示模型的预测值和训练数据的实际标签值；W表示模型的所有参数；α表示正则化系数。均方误差函数mse(p,l)旨在衡量模型预测值与实际情感标签值之间的差异，正则化项α||W||1旨在防止模型在参数学习过程中出现过拟合现象。
步骤六、使用测试集的预测准确率和平均绝对误差来评估SGCRNN模型性能，它们的计算公式如(28)(29)所示。所提出的模型在效价(Valence)、唤醒(Arousal)和优势度(Dominance)的准确度分别达到88％、89.5％、89.7％。
式中Correct_predictions为预测正确的样本数量，即满足的样本数量；N为测试集的总数量，Yi为数据集标签值，/>为模型预测值。

Claims (3)

1.一种基于脑电信号的SGCRNN(谱图卷积递归神经网络)情绪识别方法，其特征是：该方法可由以下步骤实现：
步骤一、申请下载开源数据集DEAP，使用该数据集中所采集的32通道带有标签的脑电信号，将63秒的数据删除3秒的试验前基线信号，并分割为12秒的试验信号，采用快速傅立叶变换(FFT)将每段12秒的时域信号转换为频域信号；
步骤二、将脑电电极空间位置的余弦相似性和脑电通道特征的相关性相结合，构建邻接矩阵图表示，实现数学建模；
步骤三、计算归一化拉普拉斯矩阵、切比雪夫多项式，利用ChebNet代替GRU中的矩阵乘法运算，得到切比雪夫网络门控循环单元(CNGRU)；
步骤四、EEG序列通过由两个堆叠的CNGRU层、一个FC层和最大池化层组成的SGCRNN模型，得出预测结果；
步骤五、使用改进后的网络训练数据集并验证数据集，观察MSE损失收敛时的迭代次数，分别得到在损失函数最优时的权重文件；
步骤六、使用测试集测试网络模型，分别得到在三维情绪模型上情绪识别结果的准确率和平均绝对误差值。
2.根据权利要求1所述的一种脑电信号的SGCRNN情绪识别方法，其特征在于：步骤二中，建立EEGs的图形表示并计算邻接矩阵。为了捕捉EEG信道间的局部关系，我们利用EEG电极位置向量vi和vj之间的余弦相似度构造邻接矩阵A。EEG电极之间的余弦相似度计算如下：
其中，vi,vj为根据标准10-20EEG电极放置的两电极三维坐标，xi,yi为电极的第i维坐标值。
构造邻接矩阵A的公式如下：
式中，Aij，i,j＝1,2,…,N,表示结点i和j之间的余弦相似度，κ为矩阵稀疏性的阈值。根据初步实验，选择κ＝1.5，为用于实验的所有EEG片段生成通用的无向加权图形。
为了捕捉EEG信道间的全局关系，我们利用结点间的相似性构造邻接矩阵B。结点之间的相似度计算如下：
其中，函数cov和E分别表示协方差和期望，x和y表示结点的所对应的值，即EEG对应信道的时域特征值。xμ和yμ表示特征向量的平均值，δx和δy表示方差。
构造邻接矩阵B的公式如下：
式中，Bij，i，j＝1，2，…，N，表示结点i和j的相关度，pij为计算得出的相关值，表示vi的top_λ邻居节点。只保留权重在每个节点的top_λ邻居之间的边。根据初步实验，选择λ＝3，节点间的相关性降序排列取前三的连接被保留
本发明使用EEG电极间的余弦相似度和EEG信道间特征的相关性相结合的方法构造邻接矩阵w，实现同时捕捉EEG信道的局部关系和全局关系。结合公式(2)和公式(4)，计算邻接矩阵W的公式如下：
Wij＝Aij+Bij (5)。
3.根据权利要求1所述的一种脑电信号的SGCRNN情绪识别方法，其特征在于：步骤三中，使用ChebNet谱图卷积取代GRU中的矩阵乘法，利用GRU提取时间相关性的优势，结合擅长提取频域和空间域特征的谱图卷积，对EEG信号进行时空建模(简称为CNGRU)，表示如下：
rt＝σ(Θr*G[xt，ht-1]+br) (6)
ut＝σ(Θu*G[xt，ht-1]+bu) (7)
ct＝tanh(Θc*G[xt，(rt⊙ht-1)]+bc) (8)
ht＝(1-ut)⊙ht-1+ut⊙ct (9)
式中，xt、ht分别表示CNGRU在t时刻的输入和输出；σ表示Sigmoid函数；⊙表示哈达玛积；rt、ut、ct分别表示t时刻的复位门、更新门和候选门；*G表示ChebNet谱图卷积；Θr、br、Θu、bu、Θc、bc是相应的卷积滤波器的权重和偏差。
根据权利要求1所述的一种脑电信号的SGCRNN情绪识别方法，其特征在于：步骤四中，在进行EEG信号情绪识别工作时，SGCRNN模型由两个堆叠的CNGRU网络，一个全连接层和一个池化层组成。模型的输入是EEG图，其中每个结点特征对应于各自通道的预处理EEG信号。EEG样本将输入序列的格式重置为(T，batch，N，M)，其中T为12秒，batch为设置的BATCH_SIZE即512，N为结点数目32，M为结点特征数量1536。在训练过程中，每次迭代先将隐藏层输入初始化。在两层CNGRU网络中，分别计算卷积结果y和隐藏层输出结果，再通过一个全连接层和一个池化层得出预测结果。本发明使用Adam优化器来训练我们的深度学习模型。在训练过程中，Adam优化器根据模型的表现来更新模型参数，同时它也考虑了梯度的方差和梯度的贡献，从而使得模型的训练更加稳定和高效。使用CosineAnnealingLR学习率调度器来训练我们的深度学习模型，该调度器通过学习率的时间函数来实现学习率的周期性调整。在训练过程中，学习率随着时间的推移而逐渐下降，从而实现更好的训练效果。在训练期间，采用沿头皮中线随机反射信号可以用来数据增强，这种方法通过在EEG序列上进行随机反射变换，并按[0.8,1.2]范围内的比例随机缩放EEG信号的振幅，增加了数据的多样性和随机性，从而有助于提高数据分析的可靠性和准确性。
CN202310450855.3A 2023-04-25 2023-04-25 一种基于sgcrnn模型的脑电信号情绪识别方法 Pending CN117503157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310450855.3A CN117503157A (zh) 2023-04-25 2023-04-25 一种基于sgcrnn模型的脑电信号情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310450855.3A CN117503157A (zh) 2023-04-25 2023-04-25 一种基于sgcrnn模型的脑电信号情绪识别方法

Publications (1)

Publication Number Publication Date
CN117503157A true CN117503157A (zh) 2024-02-06

Family

ID=89742642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310450855.3A Pending CN117503157A (zh) 2023-04-25 2023-04-25 一种基于sgcrnn模型的脑电信号情绪识别方法

Country Status (1)

Country Link
CN (1) CN117503157A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909868A (zh) * 2024-03-19 2024-04-19 华南理工大学 基于神经影像学先验的动态图卷积的脑电认知负荷分析方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909868A (zh) * 2024-03-19 2024-04-19 华南理工大学 基于神经影像学先验的动态图卷积的脑电认知负荷分析方法及***

Similar Documents

Publication Publication Date Title
CN110399857B (zh) 一种基于图卷积神经网络的脑电情感识别方法
Kumar et al. Classification of seizure and seizure-free EEG signals using local binary patterns
CN110367967B (zh) 一种基于数据融合的便携型轻量化人脑状态检测方法
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN111407243A (zh) 一种基于深度学习的脉搏信号压力识别方法
Lian et al. Multivariate time-series analysis and diffusion maps
CN111310656A (zh) 基于多线性主成分分析的单次运动想象脑电信号识别方法
CN110543831A (zh) 一种基于卷积神经网络的脑纹识别方法
CN117503157A (zh) 一种基于sgcrnn模型的脑电信号情绪识别方法
Anh-Dao et al. A multistage system for automatic detection of epileptic spikes
CN115414051A (zh) 一种脑电信号自适应窗口的情绪分类识别方法
CN115969392A (zh) 基于张量化频空注意力域适应网络的跨时段脑纹识别方法
CN114578963B (zh) 一种基于特征可视化和多模态融合的脑电身份识别方法
Sharada et al. High ECG diagnosis rate using novel machine learning techniques with Distributed Arithmetic (DA) based gated recurrent units
CN114595725A (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
CN113378650B (zh) 一种基于脑电源成像和正则化共空间模式的情绪识别方法
CN113837122B (zh) 基于Wi-Fi信道状态信息的无接触式人体行为识别方法及***
CN113128384B (zh) 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法
Wankhade et al. IKKN predictor: An EEG signal based emotion recognition for HCI
CN116595434A (zh) 一种基于维度和分类算法的测谎方法
CN115017960B (zh) 一种基于时空联合mlp网络的脑电信号分类方法及应用
CN116821764A (zh) 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法
CN114841216B (zh) 一种基于模型不确定性学习的脑电信号分类方法
Ahmadieh et al. Visual image reconstruction based on EEG signals using a generative adversarial and deep fuzzy neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination