CN112364697B - 基于r-lstm模型的脑电信号情绪识别方法 - Google Patents

基于r-lstm模型的脑电信号情绪识别方法 Download PDF

Info

Publication number
CN112364697B
CN112364697B CN202011093477.0A CN202011093477A CN112364697B CN 112364697 B CN112364697 B CN 112364697B CN 202011093477 A CN202011093477 A CN 202011093477A CN 112364697 B CN112364697 B CN 112364697B
Authority
CN
China
Prior art keywords
layer
lstm
electroencephalogram
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011093477.0A
Other languages
English (en)
Other versions
CN112364697A (zh
Inventor
吴晓军
李菁菁
张玉梅
杨红红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202011093477.0A priority Critical patent/CN112364697B/zh
Publication of CN112364697A publication Critical patent/CN112364697A/zh
Application granted granted Critical
Publication of CN112364697B publication Critical patent/CN112364697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于R‑LSTM模型的脑电信号情绪识别方法，由选取6个通道的脑电信号、对脑电信号进行预处理、划分训练集与测试集、构建R‑LSTM情绪分类模型、训练R‑LSTM情绪分类模型、测试集分类步骤组成。本发明采用了R‑LSTM模型，单步预测储蓄池层神经元状态，将预测过程中的参数归一化后作为脑电信号的高维动态特征，解决了传统方法采用的单个通道的脑电信号特征组成特征集合，未考虑脑电信号的非线性动态特征，损失了不同通道间的特征信息的技术问题。本发明与传统方法相比，经训练后得到的识别准确率在效价和唤醒度上均更高，得到了较好的脑电情绪识别效果，具有计算速度快、识别准确率高等优点，可用于脑电信号情绪识别技术领域。

Description

基于R-LSTM模型的脑电信号情绪识别方法
技术领域
本发明涉及脑电信号情绪分类方法，特别涉及一种基于R-LSTM模型的脑电信号情绪识别方法。
技术背景
情感在人类社会活动中具有重要作用，驱动人类的认知、行为和决策。随着人工智能和人机交互技术的发展，如何让计算机能感知人类情感并据此做出适当决策成为人工智能领域的一个重要的研究方向，被称之为情绪识别。情绪识别的准确度影响未来人机交互的体验。与视频、图像、语音、文本等信号相比，脑电是人的生理信号，能够更准确地反应人的情感状态。近年来非侵入可穿戴脑电设备的快速发展，使得脑电信号的采集更加便捷，基于脑电的情绪分类也已经成为一个全球性的研究热点。
目前基于脑电信号的情绪识别常用方法为提取每个通道脑电信号的时域、频域等特征，再将这些单个通道的脑电信号特征组成特征集合，用SVM分类器进行分类。此类方法未考虑脑电信号的非线性动态特征，损失了不同通道间的特征信息。近年来大量研究表明人脑是一个复杂的非线性***，脑电信号是高维复杂的时序信号，是动态变化的，如何高效地获取脑电信号的高维非线性动态特征、并对其进行识别是脑电情绪识别的一大难点。
发明内容
本发明所要解决的技术问题在于针克服上述现有技术的不足，提供一种快速识别人的情感、识别准确率高的基于R-LSTM模型的脑电信号情绪识别方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)选取6个通道的脑电信号
在DEAP数据集中，按照国际10-20***电极位置，分别选取FT7、FT8、T7、T8、TP7、TP8电极点的脑电信号。
(2)对脑电信号进行预处理
将数据集中脑电信号和标签进行预处理，去除前3秒基线信号，通过巴特沃斯带通滤波器获取θ、α、β、γ脑电频段信号，分别为4～7Hz、8～13Hz、14～30Hz、31～50Hz，以2秒为长度1秒作为重叠的窗口，对脑电信号进行等长度分段；
对数据集中脑电信号的标签进行预处理，得高为1、低为0类别的数据标签。
(3)划分训练集与测试集
将预处理后的脑电信号和对应标签随机打乱，按照训练集与测试集的比为7:3划分，训练集与测试集无交叉。
(4)构建R-LSTM情绪分类模型
R-LSTM情绪分类模型由输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层构成，输入层的输出与储蓄池层R相连，储蓄池层R的输出与储蓄池动态特征层相连，储蓄池动态特征层的输出与第一个LSTM层相连，第一个LSTM层的输出与第二个LSTM层相连，第二个LSTM层的输出与输出层相连。
(5)训练R-LSTM情绪分类模型
将训练集中脑电信号作为输入，训练R-LSTM情绪分类模型。
(6)测试集分类
用优化后的R-LSTM情绪分类模型对测试集数据进行分类，输出其对应的情绪类别。
在本发明的对脑电信号进行预处理步骤(2)中，所述的对数据集中脑电信号的标签进行预处理的方法为：按照Arousal-Valence情感模型，被试对当前情绪在唤醒度和效价两个维度的评分范围均为1-9，对DEAP数据集所给出的数据标签进行预处理，以得到模型所需样本标签格式，评分大于5.5对应标签为1，评分小于4.5对应标签为0。
在本发明的构建R-LSTM模型步骤(4)中，所述的输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层的构建方法如下：
1)设定输入层和储蓄池层R的参数
设定输入层神经元数K、储蓄池层R神经元数N、输入尺度IS、谱半径SR、稀疏度D、学习率η，K为6，N为20，IS∈[0.01，0.99]，SR∈[0.01，0.99]，D∈[0.1，0.5]，η∈[0.7，1]。
2)随机初始化为输入连接权重Win，维度为N×K，储蓄池层R神经元连接权重Wr，维度为N×N，按式(1)更新储蓄池层R：
h(t)＝(1-η)h(t-1)+ηf(Winu(t)+Wrh(t-1)) (1)
u(t)＝(u1(t)，u2(t)，…，uK(t))T
其中h(t)为t时刻储蓄池状态，u(t)是t时刻输入的多通道脑电信号，t取值为1，2，...，S，S为有限的正整数。
3)更新储蓄池动态特征层
按下式更新储蓄池动态特征层Ah：
Ah＝(h(t)-bn)h(t-1)-1
其中bh为偏置，采用岭回归线性预测，以t-1时刻储蓄池的状态h(t-1)作为输入，预测t时刻储蓄池状态h(t)。
对脑电信号的储蓄池动态特征层Ah按照Ah列的顺序转换为一个列向量后，按下式进行标准化处理：
yi＝(xi-xmean)/σ
其中yi为标准化处理后的第i个特征，xi为第i个特征，1≤i≤z，z为特征的总个数，xmean为特征均值，σ为方差，将原始数据变换到均值xmean为0，方差σ为1的范围内，得到归一化后的储蓄池动态特征Ah′，作为脑电信号的高维动态特征。
4)构建R-LSTM模型LSTM层
以Python的深度学习库Keras为基础，构建R-LSTM模型LSTM层，构建方法为：用深度学习库Keras搭建第1层LSTM层，神经元数为50,正则化dropout为0.4；第2层LSTM层，神经元数为50,正则化dropout为0.4，采用深度学习库Keras内置序列模块连接储蓄池动态特征层和第一个LSTM层,第一个LSTM层的输出作为第二个LSTM层的输入，构建成R-LSTM模型LSTM层。
5)构建输出层
输出层神经元数为1，激活函数为sigmoid,以第二个LSTM层的输出作为输出层的输入，得到脑电信号情绪类别，构建成输出层。
3、根据权利要求1所述的基于R-LSTM模型的脑电信号情绪识别方法，其特征在于在训练R-LSTM模型步骤(5)中，所述的训练R-LSTM情绪分类模型为：对LSTM层网络进行优化，优化器为深度学习库keras内置的随机梯度下降优化器，损失函数为MSE如下：
Figure BDA0002722904320000041
其中，n为输入数据的总个数，n取值为有限正整数，
Figure BDA0002722904320000042
为第i个数据的预测标签，Yi为第i个数据的真实标签，在R-LSTM情绪分类模型训练过程中，单次训练样本数为2m，m为4～7的整数，所有样本迭代100～200次。
由于本发明选取采集到的6个通道的脑电信号，不预先提取脑电信号的特征，将预处理后的6个通道的脑电信号作为R-LSTM模型的输入信号，将脑电信号投影到储蓄池层R，获得脑电数据驱动的储蓄池层，采用岭回归方法，单步预测储蓄池神经元状态，将预测过程中的参数归一化后作为脑电信号的高维动态特征。解决了传统方法采用的单个通道的脑电信号特征组成特征集合，未考虑脑电信号的非线性动态特征，损失了不同通道间的特征信息的技术问题。本发明与现有的方法相比较，经训练后得到的识别准确率在效价和唤醒度上均更高，得到了较好的脑电情绪识别效果。本发明具有计算速度快、识别准确率高等优点，可用于脑电信号情绪识别技术领域。
附图说明
图1是本发明实施例1的流程图。
图2是R-LSTM模型结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。
实施例1
在图1中，本实施例的基于R-LSTM模型的脑电信号情绪识别方法由下述步骤组成：
(1)选取6个通道的脑电信号
在DEAP数据集中，按照国际10-20***电极位置，分别选取FT7、FT8、T7、T8、TP7、TP8电极点的脑电信号。
(2)对脑电信号进行预处理
将数据集中脑电信号和标签进行预处理，去除前3秒基线信号，通过巴特沃斯带通滤波器获取θ、α、β、γ脑电频段信号，分别为4～7Hz、8～13Hz、14～30Hz、31～50Hz，以2秒为长度1秒作为重叠的窗口，对脑电信号进行等长度分段。
对数据集中脑电信号的标签进行预处理，得高为1、低为0类别的数据标签。
本实施例对数据集中脑电信号的标签进行预处理的方法为：按照Arousal-Valence情感模型，被试对当前情绪在唤醒度和效价两个维度的评分范围均为1-9，对DEAP数据集所给出的数据标签进行预处理，以得到模型所需样本标签格式，评分大于5.5对应标签为1，评分小于4.5对应标签为0。
(3)划分训练集与测试集
将预处理后的脑电信号和对应标签随机打乱，按照训练集与测试集的比为7∶3划分，训练集与测试集无交叉。
(4)构建R-LSTM情绪分类模型
在图2中，本实施例的R-LSTM情绪分类模型由输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层构成，输入层的输出与储蓄池层R相连，储蓄池层R的输出与储蓄池动态特征层相连，储蓄池动态特征层的输出与第一个LSTM层相连，第一个LSTM层的输出与第二个LSTM层相连，第二个LSTM层的输出与输出层相连。
本实施例的输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层的构建方法如下：
1)设定输入层和储蓄池层R的参数
设定输入层神经元数
Figure BDA0002722904320000061
储蓄池层R神经元数N、输入尺度IS、谱半径SR、稀疏度D、学习率η，K为6，N为20，IS为0.1，SR为0.9，D为0.25，η为0.8。
2)随机初始化为输入连接权重Win，维度为N×K，本实施例的N×K为20×6，储蓄池层R神经元连接权重Wr，维度为N×N，本实施例的N×N为20×20，按式(1)更新储蓄池层R：
h(t)＝(1-η)h(t-1)+ηf(Winu(t)+Wrh(t-1)) (1)
u(t)＝(u1(t)，u2(t)，…，uK(t))T
其中h(t)为t时刻储蓄池状态，u(t)是t时刻输入的多通道脑电信号，t取值为1，2，…，S，本实施例的S为256。
3)更新储蓄池动态特征层
更新储蓄池动态特征层
按下式更新储蓄池动态特征层Ah：
Ah＝(h(t)-bn)h(t-1)-1
其中bh为偏置，采用岭回归线性预测，以t-1时刻储蓄池的状态h(t-1)作为输入，预测t时刻储蓄池状态h(t)。
对脑电信号的储蓄池动态特征层Ah按照Ah列的顺序转换为一个列向量，按下式进行标准化处理：
yi＝(xi-xmean)/σ
其中yi为标准化处理后的第i个特征，xi为第i个特征，1≤i≤z，z为特征的总个数，xmean为特征均值，σ为方差，将原始数据变换到均值xmean为0，方差σ为1的范围内，得到归一化后的储蓄池动态特征Ah′，作为脑电信号的高维动态特征。
4)构建R-LSTM模型LSTM层
以Python的深度学习库Keras为基础，构建R-LSTM模型LSTM层，构建方法为：用深度学习库Keras搭建第1层LSTM层，神经元数为50,正则化dropout为0.4；第2层LSTM层，神经元数为50,正则化dropout为0.4，采用深度学习库Keras内置序列模块连接储蓄池动态特征层和第一个LSTM层,第一个LSTM层的输出作为第二个LSTM层的输入，构建成R-LSTM模型LSTM层。
5)构建输出层
输出层神经元数为1，激活函数为sigmoid,以第二个LSTM层的输出作为输出层的输入，得到脑电信号情绪类别，构建成输出层。
本发明将预处理后的6个通道的脑电信号作为R-LSTM模型的输入信号，将脑电信号投影到储蓄池层R，获得脑电数据驱动的储蓄池层，采用岭回归方法，单步预测储蓄池神经元状态，将预测过程中的参数归一化后作为脑电信号的高维动态特征，解决了传统方法采用的单个通道的脑电信号特征组成特征集合，未考虑脑电信号的非线性动态特征，损失了不同通道间的特征信息的技术问题。
(5)训练R-LSTM情绪分类模型
将训练集中脑电信号作为输入，训练R-LSTM情绪分类模型。
本实施例的训练R-LSTM情绪分类模型为：
对LSTM层网络进行优化，优化器为深度学习库keras内置的随机梯度下降优化器，损失函数为MSE如下：
Figure BDA0002722904320000081
其中，n为输入数据的总个数，n取值为有限正整数，
Figure BDA0002722904320000082
为第i个数据的预测标签，Yi为第i个数据的真实标签，在R-LSTM情绪分类模型训练过程中，单次训练样本数为2m，本实施例的m为6，所有样本迭代128次。
(6)测试集分类
用优化后的R-LSTM情绪分类模型对测试集数据进行分类，输出其对应的情绪类别。
实施例2
本实施例的基于R-LSTM模型的脑电信号情绪识别方法由下述步骤组成：
在构建R-LSTM情绪分类模型步骤(4)中，R-LSTM情绪分类模型由输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层构成，输入层的输出与储蓄池层R相连，储蓄池层R的输出与储蓄池动态特征层相连，储蓄池动态特征层的输出与第一个LSTM层相连，第一个LSTM层的输出与第二个LSTM层相连，第二个LSTM层的输出与输出层相连。
本实施例的输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层的构建方法如下：
1)设定输入层和储蓄池层R的参数
设定输入层神经元数K、储蓄池层R神经元数N、输入尺度IS、谱半径SR、稀疏度D、学习率η，K为6，N为20，IS为0.01，SR为0.01,D为0.1,η为0.7。该步骤的其它步骤与实施例1相同。
其它步骤与实施例1相同。
在训练R-LSTM情绪分类模型步骤(5)中，将训练集中脑电信号作为输入，训练R-LSTM情绪分类模型。本实施例的训练R-LSTM情绪分类模型为：对LSTM层网络进行优化，优化器为深度学习库keras内置的随机梯度下降优化器，损失函数为MSE如下：
Figure BDA0002722904320000091
其中，n为输入数据的总个数，n取值为有限正整数，
Figure BDA0002722904320000092
为第i个数据的预测标签，Yi为第i个数据的真实标签，在R-LSTM情绪分类模型训练过程中，单次训练样本数为2m，m为4，所有样本迭代100次。
其它步骤与实施例1相同。
实施例3
本实施例的基于R-LSTM模型的脑电信号情绪识别方法由下述步骤组成：
在构建R-LSTM情绪分类模型步骤(4)中，R-LSTM情绪分类模型由输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层构成，输入层的输出与储蓄池层R相连，储蓄池层R的输出与储蓄池动态特征层相连，储蓄池动态特征层的输出与第一个LSTM层相连，第一个LSTM层的输出与第二个LSTM层相连，第二个LSTM层的输出与输出层相连。本实施例的输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层的构建方法如下：
1)设定输入层和储蓄池层R的参数
设定输入层神经元数K、储蓄池层R神经元数N、输入尺度IS、谱半径SR、稀疏度D、学习率η，K为6，N为20，IS为0.99，SR为0.99,D为0.5,η为1。该步骤的其它步骤与实施例1相同。
其它步骤与实施例1相同。
在训练R-LSTM情绪分类模型步骤(5)中，将训练集中脑电信号作为输入，训练R-LSTM情绪分类模型。本实施例的训练R-LSTM情绪分类模型为：对LSTM层网络进行优化，优化器为深度学习库keras内置的随机梯度下降优化器，损失函数为MSE如下：
Figure BDA0002722904320000101
其中，n为输入数据的总个数，n取值为有限正整数，
Figure BDA0002722904320000102
为第i个数据的预测标签，Yi为第i个数据的真实标签，在R-LSTM情绪分类模型训练过程中，单次训练样本数为2m，m为7，所有样本迭代200次。
其它步骤与实施例1相同。
为了验证本发明的有益效果，发明人采用本发明实施例1的基于R-LSTM模型的脑电信号情绪识别方法(Raw_R-LSTM)与功率谱密度-支持向量机(PSD_SVM)、功率谱密度-随机森林(PSD_RF)、差分熵-支持向量机(DE_SVM)、差分熵-随机森林(PSD_RF)、储蓄池-支持向量机(RC_SVM)储蓄池-随机森林(RC_RF)、脑电信号-LSTM(Raw_LSTM)进行了仿真对比实验。
采用F1值对本发明所得结果与传统法进行比较，F1值计算方法如下：
Figure BDA0002722904320000103
Figure BDA0002722904320000104
其中，真正例TP表示实际上是正例的数据点被标记为正例，假正例FP表示实际上是反例的数据点被标记为正例，假反例FN表示实际上是正例的数据点被标记为反例，precision为查准率，表示模型仅识别相关实例的能力，recall为查全率，表示模型识别所有相关实例的能力。F1值是综合查准率和查全率的评估指标。
本实验选取DEAP数据集中前20个被试脑电信号作为样本，表中数据为各分类模型进行5折交叉验证后所得F1值的平均结果。实验结果见表1、表2。
表1分类模型在DEAP数据集效价维度F1值对比
分类模型 θ(％) α(％) β(％) γ(％) θ+α+β+γ(％)
PSD_SVM 48.61 48.9 57.92 63.85 65.74
PSD_RF 55.25 56.87 63.52 68.32 68.78
DE_SVM 52.97 53.94 63.93 68.77 70.57
DE_RF 57.76 58.6 66.74 71.43 72.77
RC_SVM 60.57 63.16 71.65 74.19 76.88
RC_RF 57.58 60 67.75 72.01 70.97
Raw_LSTM 54.81 56.91 58.37 64.3 65.93
Raw_R-LSTM 62.84 67.16 76.54 78.68 81.4
表2分类模型在DEAP数据集唤醒度维度F1值对比
分类模型 θ(％) α(％) β(％) γ(％) θ+α+β+γ(％)
PSD_SVM 57.51 57.21 61.82 62.51 64.55
PSD_RF 63.08 62.97 66.66 70.15 70.06
DE_SVM 58.17 57.64 64.49 67.52 69.56
DE_RF 64.4 64.29 69.16 72.7 74.48
RC_SVM 67.68 68.95 73.51 75.56 79.18
RC_RF 64.88 65.69 69.83 72.7 72.54
Raw_LSTM 63.02 62.94 65.43 67.43 66.3
Raw_R-LSTM 69.13 72.16 77.11 78.73 81.94
由表1、表2可见，当以θ+α+β+γ频段脑电信号作为模型输入时，本发明的R-LSTM模型所得F1值在效价、唤醒度上分别达到了81.4％和81.94％，相比于传统方法，本发明使用6个通道的脑电信号，不预先提取脑电信号的特征，直接将脑电信号作为R-LSTM模型的输入，经训练后得到的分类准确率在效价和唤醒度上均更高。

Claims (3)

1.一种基于R-LSTM模型的脑电信号情绪识别方法，其特征在于由下述步骤组成：
(1)选取6个通道的脑电信号
在DEAP数据集中，按照国际10-20***电极位置，分别选取FT7、FT8、T7、T8、TP7、TP8电极点的脑电信号；
(2)对脑电信号进行预处理
将数据集中脑电信号和标签进行预处理，去除前3秒基线信号，通过巴特沃斯带通滤波器获取θ、α、β、γ脑电频段信号，分别为4～7Hz、8～13Hz、14～30Hz、31～50Hz，以2秒为长度1秒作为重叠的窗口，对脑电信号进行等长度分段；
对数据集中脑电信号的标签进行预处理，得高为1、低为0类别的数据标签；
(3)划分训练集与测试集
将预处理后的脑电信号和对应标签随机打乱，按照训练集与测试集的比为7:3划分；
(4)构建R-LSTM情绪分类模型
R-LSTM情绪分类模型由输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层构成，输入层的输出与储蓄池层R相连，储蓄池层R的输出与储蓄池动态特征层相连，储蓄池动态特征层的输出与第一个LSTM层相连，第一个LSTM层的输出与第二个LSTM层相连，第二个LSTM层的输出与输出层相连；
(5)训练R-LSTM情绪分类模型
将训练集中脑电信号作为输入，训练R-LSTM情绪分类模型；
(6)测试集分类
用优化后的R-LSTM情绪分类模型对测试集数据进行分类，输出其对应的情绪类别；
在(4)构建R-LSTM模型步骤中，所述的输入层、储蓄池层R、储蓄池动态特征层、2个LSTM层、输出层的构建方法如下：
1)设定输入层和储蓄池层R的参数
设定输入层神经元数K、储蓄池层R神经元数N、输入尺度IS、谱半径SR、稀疏度D、学习率η，K为6，N为20，IS∈[0.01，0.99]，SR∈[0.01，0.99]，D∈[0.1，0.5]，η∈[0.7，1]；
2)随机初始化为输入连接权重Win，维度为N×K，储蓄池层R神经元连接权重Wr，维度为N×N，按式(1)更新储蓄池层R：
h(t)＝(1-η)h(t-1)+ηf(Winu(t)+Wrh(t-1)) (1)
u(t)＝(u1(t)，u2(t)，…，uK(t))T
其中h(t)为t时刻储蓄池状态，u(t)是t时刻输入的多通道脑电信号，t取值为1，2，…，S，S为有限的正整数；
3)更新储蓄池动态特征层
按下式更新储蓄池动态特征层Ah：
Ah＝(h(t)-bn)h(t-1)-1
其中bn 为偏置，采用岭回归线性预测，以t-1时刻储蓄池的状态h(t-1)作为输入，预测t时刻储蓄池状态h(t)；
对脑电信号的储蓄池动态特征层Ah按照Ah列的顺序转换为一个列向量后，按下式进行标准化处理：
yi＝(xi-xmean)/σ
其中yi为标准化处理后的第i个特征，xi为第i个特征，1≤i≤z，z为特征的总个数，xmean 为特征均值，σ为方差，将原始数据变换到均值xmean为0，方差σ为1的范围内，得到归一化后的储蓄池动态特征Ah′，作为脑电信号的高维动态特征；
4)构建R-LSTM模型LSTM层
以Python的深度学习库Keras为基础，构建R-LSTM模型LSTM层，构建方法为：用深度学习库Keras搭建第1层LSTM层，神经元数为50,正则化dropout为0.4；第2层LSTM层，神经元数为50,正则化dropout为0.4，采用深度学习库Keras内置序列模块连接储蓄池动态特征层和第一个LSTM层,第一个LSTM层的输出作为第二个LSTM层的输入，构建成R-LSTM模型LSTM层；
5)构建输出层
输出层神经元数为1，激活函数为sigmoid,以第二个LSTM层的输出作为输出层的输入，得到脑电信号情绪类别，构建成输出层。
2.根据权利要求1所述的基于R-LSTM模型的脑电信号情绪识别方法，其特征在于在对脑电信号进行预处理步骤(2)中，所述的对数据集中脑电信号的标签进行预处理的方法为：按照Arousal-Valence情感模型，被试对当前情绪在唤醒度和效价两个维度的评分范围均为1-9，对DEAP数据集所给出的数据标签进行预处理，以得到模型所需样本标签格式，评分大于5.5对应标签为1，评分小于4.5对应标签为0。
3.根据权利要求1所述的基于R-LSTM模型的脑电信号情绪识别方法，其特征在于在训练R-LSTM模型步骤(5)中，所述的训练R-LSTM情绪分类模型为：
对LSTM层网络进行优化，优化器为深度学习库keras内置的随机梯度下降优化器，损失函数为MSE如下：
Figure FDA0003244773910000031
其中，n为输入数据的总个数，n取值为有限正整数，
Figure FDA0003244773910000032
为第i个数据的预测标签，Yi为第i个数据的真实标签，在R-LSTM情绪分类模型训练过程中，单次训练样本数为2m，m为4～7的整数，所有样本迭代100～200次。
CN202011093477.0A 2020-10-14 2020-10-14 基于r-lstm模型的脑电信号情绪识别方法 Active CN112364697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011093477.0A CN112364697B (zh) 2020-10-14 2020-10-14 基于r-lstm模型的脑电信号情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011093477.0A CN112364697B (zh) 2020-10-14 2020-10-14 基于r-lstm模型的脑电信号情绪识别方法

Publications (2)

Publication Number Publication Date
CN112364697A CN112364697A (zh) 2021-02-12
CN112364697B true CN112364697B (zh) 2021-11-30

Family

ID=74508102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011093477.0A Active CN112364697B (zh) 2020-10-14 2020-10-14 基于r-lstm模型的脑电信号情绪识别方法

Country Status (1)

Country Link
CN (1) CN112364697B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255725B (zh) * 2021-04-20 2024-03-22 浙江工业大学 基于两阶段lstm的汽车传感器攻击检测与修复方法
CN113343813B (zh) * 2021-05-31 2022-05-10 太原理工大学 一种基于单节点光子储备池计算的动作视频识别方法
CN113705398B (zh) * 2021-08-17 2022-12-27 陕西师范大学 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
CN115099311B (zh) * 2022-06-06 2024-03-19 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016168690A1 (en) * 2015-04-16 2016-10-20 Cylance Inc. Recurrent neural networks for malware analysis
EP3296930A1 (en) * 2015-05-11 2018-03-21 National Institute of Information and Communication Technology Recurrent neural network learning method, computer program for same, and voice recognition device
CN108776788A (zh) * 2018-06-05 2018-11-09 电子科技大学 一种基于脑电波的识别方法
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4093858B2 (ja) * 2000-10-13 2008-06-04 フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ リカレントニューラルネットワーク
US12033079B2 (en) * 2018-02-08 2024-07-09 Cognizant Technology Solutions U.S. Corporation System and method for pseudo-task augmentation in deep multitask learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016168690A1 (en) * 2015-04-16 2016-10-20 Cylance Inc. Recurrent neural networks for malware analysis
EP3296930A1 (en) * 2015-05-11 2018-03-21 National Institute of Information and Communication Technology Recurrent neural network learning method, computer program for same, and voice recognition device
CN108776788A (zh) * 2018-06-05 2018-11-09 电子科技大学 一种基于脑电波的识别方法
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Emotion Recognition based on EEG using LSTM Recurrent Neural Network;Salma Alhagry et al;《International Journal of Advanced Computer Science and Applications》;20171231;第08卷(第10期);第355-358页 *
Spiking Echo State Convolutional Neural Network for Robust Time Series Classification;ANGUO ZHANG et al;《IEEE Access》;20191231;第7卷;第4927-4935页 *
基于脑电时空频多域特征的自动情绪识别研究及***实现;李振齐;《中国优秀硕士学位论文全文数据库基础科技辑》;20190115(第12期);第A006-332页 *

Also Published As

Publication number Publication date
CN112364697A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112364697B (zh) 基于r-lstm模型的脑电信号情绪识别方法
Atila et al. Attention guided 3D CNN-LSTM model for accurate speech based emotion recognition
Rozgić et al. Robust EEG emotion classification using segment level decision fusion
Abdelhameed et al. Deep convolutional bidirectional LSTM recurrent neural network for epileptic seizure detection
Zamanian et al. A new feature extraction method to improve emotion detection using EEG signals
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及***
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
CN113011239B (zh) 一种基于最优窄频带特征融合的运动想象分类方法
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Venu IOT Based Speech Recognition System to Improve the Performance of Emotion Detection
Yang et al. EEG-based emotion recognition using temporal convolutional network
CN113673434A (zh) 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
Tripathi et al. Multivariate time series classification with an attention-based multivariate convolutional neural network
Yulita et al. Multichannel electroencephalography-based emotion recognition using machine learning
Shen et al. A high-precision feature extraction network of fatigue speech from air traffic controller radiotelephony based on improved deep learning
Carrión-Ojeda et al. A method for studying how much time of EEG recording is needed to have a good user identification
Ling et al. Staging study of single-channel sleep EEG signals based on data augmentation
Ravindranath et al. M2NN: Rare event inference through multi-variate multi-scale attention
Dia et al. A novel stochastic transformer-based approach for post-traumatic stress disorder detection using audio recording of clinical interviews
Qazi et al. Automatic emotion recognition (AER) system based on two-level ensemble of lightweight deep CNN models
Efe et al. A new approach for automatic sleep staging: siamese neural networks
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
Pisipati et al. Human emotion recognition using EEG signal in music listening
Kothuri et al. A hybrid feature selection model for emotion recognition using shuffled frog leaping algorithm (SFLA)-incremental wrapper-based subset feature selection (IWSS)
Zaferani et al. Automatic personality perception using autoencoder and hierarchical fuzzy classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant