CN113128353A - 面向自然人机交互的情绪感知方法及其*** - Google Patents

面向自然人机交互的情绪感知方法及其*** Download PDF

Info

Publication number
CN113128353A
CN113128353A CN202110327248.9A CN202110327248A CN113128353A CN 113128353 A CN113128353 A CN 113128353A CN 202110327248 A CN202110327248 A CN 202110327248A CN 113128353 A CN113128353 A CN 113128353A
Authority
CN
China
Prior art keywords
layer
convolution
neural network
emotion
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110327248.9A
Other languages
English (en)
Other versions
CN113128353B (zh
Inventor
吕钊
骆轩玉
张超
张磊
李平
胡世昂
裴胜兵
吴小培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110327248.9A priority Critical patent/CN113128353B/zh
Publication of CN113128353A publication Critical patent/CN113128353A/zh
Application granted granted Critical
Publication of CN113128353B publication Critical patent/CN113128353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向自然人机交互的情绪感知方法，包括以下步骤：S1：采集积极、平和、消极情感状态下的头皮脑电信号；S2：对步骤S1采集的数据进行预处理；S3：构建训练样本和测试样本；S4：训练深度卷积神经网络；S5：测试集测试分类效果。还公开了一种面向自然人机交互的情绪感知***。本发明通过时空深度卷积神经网络学习脑电信号中的高维时空特征信息，以实现对情感识别任务的效率和准确率提升的脑电信号情感识别方法。本发明克服先进行特征提取后再输入卷积神经网络中产生的丢失部分有用脑电特征信息、特征提取有用性验证的问题，减少情感识别的复杂性，提高情感识别的效率和准确率。

Description

面向自然人机交互的情绪感知方法及其***
技术领域
本发明涉及人机交互技术领域，特别是涉及一种面向自然人机交互的情绪感知方法。
背景技术
随着智能应用的普及，机器在人类生活中扮演着重要角色，机器的服务功能与社会性近年来得到广泛关注，如何提高机器的人机交互性是人机交互领域的重要话题。由情绪心理学可知：使用者在进行人机交互过程中产生的兴奋，平和，愤怒等情绪变换是一种以使用者主观使用感受为特征的心理活动。在人机交互过程中，使用者除了给出指令之外，更重要的体现在心理的参与度，通过基于情绪感知的自然人机交互方法，对提高人机交互中人的参与度与满意度，丰富人的人机交互体验具有重要作用。
传统的自然人机交互方法主要是基于语音音频和图像进行情绪感知。如：机器将人的音频转换为文本进行分析，Taboada等人提出一种通过基于词典的方法对篇章级、句子级的文本进行情感分析，得到情感分类。Machajdik和Hanbury通过研究人类对图像的感兴趣区域，提取图像的构图特征进行情感计算。近年来，随着人工智能领域的兴起，研究学者将基于语音、图像分析的情绪感知方法与机器学习方法进行结合，基于深度学习的情绪感知方法成为主流。
人机交互时使用者产生的脑电信号中带有丰富的情感，通过深度学习的方式捕获脑电信号中的情绪特征进行情感分类的方法，能够使机器感知感受到使用者的情绪变化。现有技术采用的方法是先进行特征提取后再输入卷积神经网络中，容易产生丢失部分有用脑电特征信息、特征提取有用性验证的问题，因此深度卷积神经网络框架及其对于脑电信号情感识别的有效性值得重点探索与研究。
发明内容
本发明所要解决的技术问题是提供一种面向自然人机交互的情绪感知方法及其***，能够实现对具体的情感任务进行分类，提高情感分类任务的准确率和分类效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种面向自然人机交互的情绪感知方法，包括以下步骤：
S1：采集积极、平和、消极情感状态下的头皮脑电信号；
S2：对步骤S1采集的数据进行预处理；
S3：构建训练样本和测试样本：将经过预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
S4:训练深度卷积神经网络:将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
S5：测试集测试分类效果：将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。
在本发明一个较佳实施例中，步骤S2的具体步骤包括：
依次去除采集的原始信号中的眼电成分，脑电信号中无效、损坏片段，再使用带通滤波器和陷波滤波器去除脑电信号噪声和设备伪迹。
在本发明一个较佳实施例中，在步骤S4中，所述深度卷积神经网络由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成。
进一步的，所述L0层为卷积层，L0层的输入为步骤S3中构建的输入样本训练集，以
Figure BDA0002995117080000021
代表L0各层卷积神经网络神经元网络权重；以
Figure BDA0002995117080000022
代表L0各层卷积神经网络神经元网络偏执；U1代表卷积核的宽度(U1＝5)；
Figure BDA0002995117080000023
表示经过第0层卷积神经网络的中间变量；K0代表特征图的数量(K0＝6)。
Figure BDA0002995117080000024
σ表示激活函数，采用Relu修正线性单元:
σ(x)＝max(0,x),x＞0 (2)
其中，σ表示激活函数Relu修正线性单元，x表示Relu修正线性单元的输入。
Figure BDA0002995117080000025
其中，
Figure BDA0002995117080000026
表示L0层中间变量，I1,m,(p,q)表示L0层最终输出，max表示在0和x中取较大数。
进一步的，所述L1层为第一层卷积块层，采用三次大小为1*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为62*48*12，62*48*12，62*48*12的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为2*2的最大池化方法对各层特征图矩阵进行降维，得到L1层的最终输出，即输出维度为31*24*12的矩阵。
进一步的，所述L2层为第二层卷积块层，采用三次大小为3*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为29*45*24，27*43*24，25*41*24的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为1*2的最大池化方法对各层特征图矩阵进行降维，得到L2层的最终输出，即输出维度为12*9*24的矩阵。
进一步的，所述L3层为全连接块层，采用6层卷积块层，依次采用大小为1*3，5*5的卷积核进行卷积、并采用Relu激活函数对卷积后的矩阵进行激活操作，每一层分别得到大小为12*9*96，12*9*24的特征图，在最后得到大小为12*9*168的输出，再将输出进行批归一化处理和随即失活操作，最后使用卷积核为3*3的最大池化方法对各层特征图矩阵进行降维，得到L3层的最终输出，即输出维度为4*3*168的矩阵。
进一步的，所述L4为卷积层，进行全局池化操作，得到大小为1*1*168的特征图，采用大小为1*1的卷积核进行卷积操作，得到维度为1*1*3的输出。然后，对矩阵进行flatten操作，得到维度为1*3的一维向量。
进一步的，所述L5为最终输出层，将向量输入全连接层，采用softmax函数输出最终预测结果，得到输出维度为1*3的一维向量，代表预测的三种情绪分布的概率，若结果中代表某一情感的概率越大，表示此样本为该类情感的可能性越大；通过与真实标签比较进行反馈修正，通过梯度下降，反向传播，批次训练学习方式更新、优化模型中各层网络参数，使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种面向自然人机交互的情绪感知***，主要包括：
数据采集模块，用于采集积极、平和、消极情感状态下的头皮脑电信号；
数据预处理模块，用于对所述数据采集模块采集的数据进行预处理；
样本构建模块，用于将经过所述数据预处理模块预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
深度卷积神经网络，由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成；
模型训练模块，用于将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
测试集测试模块，用于将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。
本发明的有益效果是：
(1)本发明克服先进行特征提取后再输入卷积神经网络中产生的丢失部分有用脑电特征信息、特征提取有用性验证的问题，相比进行特征提取后的脑电信号，经过预处理的原始脑电信号含有最丰富的时间和空间信息，通过选取能同时捕获脑电信号高维时间和空间特征的深度卷积神经网络结构，能更好地对与情感分类任务有关的脑电通道以及时、空特征进行表征；通过同时完成特征提取与分类的工作，以使脑电特征得到更相关的表征，同时降低情感识别方法的复杂性，达到提高情感识别的效率和准确率的目的；
(2)本发明在L1和L2层使用卷积块层，卷积块层以分层的方式处理脑电信号样本，通过使用不同大小的卷积核，分别在单通道和二维脑电信号中提取更高维的特征。在L3层的卷积块层先使用卷积核的1*1的卷积操作将特征图进行压缩，再使用卷积核的5*5的卷积操作将特征图进行学习，通过将每一次卷积块层输出与当前层输入进行堆叠，作为下一层的输入进行学习，此结构使得模型具有更强的抗过拟合和泛化能力。在每层的最后使用池化操作以减小计算消耗，同时提高模型的泛化能力。
附图说明
图1为所述情感信号生成与采集过程示意图；
图2为可穿戴设备电极摆放位置示意图；
图3为本发明所述面向自然人机交互的情绪感知方法的流程图；
图4为所述深度卷积神经网络结构的分层示意图；
图5是所述面向自然人机交互的情绪感知***的结构框图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图3，本发明实施例包括：
一种面向自然人机交互的情绪感知方法，包括以下步骤：
S1：采集积极、平和、消极情感状态下的头皮脑电信号；结合图1和图2，受试者佩戴可穿戴采集设备，处于安静、无明显干扰的实验环境中，观看带有不同色彩的视频片段产生不同情感类别，如积极、平和、消极等，在观看视频同时对带有不同情感色彩的脑电信号进行采集和记录。
S2：对步骤S1采集的数据进行预处理；
具体步骤为：通过ICA等方法去除脑电信号中的眼电成分，再通过观察手动去除脑电信号中的损坏、无效片段部分；然后使用1—50Hz之间的带通滤波器对脑电信号进行滤波，再使用45Hz陷波滤波器对信号进行处理。
S3：构建训练样本和测试样本：将经过预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
S4:训练深度卷积神经网络:将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
结合图4，所述深度卷积神经网络由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成。其中，第一、二层卷积块层包括三层卷积层，第三层为全连接块层，提取样本中表征时间和空间特征的信息；第四层卷积层，对特征图进行降维。在第四层中为防止过拟合，在全连接块层后加入dropout层，选择以0.5的概率对网络中的神经元进行随机随即失活操作；再进行扁平化操作，再将得到的一维向量输入全连接层。选取Relu修正线性单元作为卷积神经网络中的激活函数，最大池化作为第一、二层卷积块层的池化操作，第三层卷积块层的池化操作选择平均池化操作。第五层采用softmax函数得到最终结果，其输出为对样本进行分类得到的每一个情感类别的概率，通过与loss函数缩小与对应标签的差值优化模型中各层网络参数。通过梯度下降，反向传播学习方式更新、优化模型中各层网络参数，使用学习率衰减等方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练。其中每层的细节为：
L0:输入层。将经过步骤1、2、3构建的训练样本输入卷积神经网络中，其维度为62*100，其中，62代表导联数，200表示矩阵的频率点数。采用大小为1*5的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，得到维度为62*96*6的输出，再将输出进行批归一化处理，然后使用卷积核为1*2的最大池化方法对各层特征图矩阵进行降维，得到L0层的最终输出，即输出维度为62*48*6的矩阵。
L1:第一层卷积块层。采用三次大小为1*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为62*48*12，62*48*12，62*48*12的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为2*2的最大池化方法对各层特征图矩阵进行降维，得到L1层的最终输出，即输出维度为31*24*12的矩阵。
L2:第二层卷积块层。采用三次大小为3*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为29*45*24，27*43*24，25*41*24的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为1*2的最大池化方法对各层特征图矩阵进行降维，得到L2层的最终输出，即输出维度为12*9*24的矩阵。
L3:第三层全连接块层。采用6层卷积块层，依次采用大小为1*3，5*5的卷积核进行卷积、并采用Relu激活函数对卷积后的矩阵进行激活操作，每一层分别得到大小为12*9*96，12*9*24的特征图，在最后得到大小为12*9*168的输出，再将输出进行批归一化处理和随即失活操作，最后使用卷积核为3*3的最大池化方法对各层特征图矩阵进行降维，得到L3层的最终输出，即输出维度为4*3*168的矩阵。
L4:卷积层。进行全局池化操作，得到大小为1*1*168的特征图，采用大小为1*1的卷积核进行卷积操作，得到维度为1*1*3的输出。然后，对矩阵进行flatten操作，得到维度为1*3的一维向量。
L5:最终输出层。将向量输入全连接层，采用softmax函数输出最终预测结果，得到输出维度为1*3的一维向量，代表预测的三种情绪分布的概率，若结果中代表某一情感的概率越大，表示此样本为该类情感的可能性越大；通过与真实标签比较进行反馈修正，通过梯度下降，反向传播，批次训练学习方式更新、优化模型中各层网络参数，使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练。
在训练整个网络时，使用交叉熵
Figure BDA0002995117080000071
作为损失函数评估分类损失，其公式为：
Figure BDA0002995117080000072
Figure BDA0002995117080000073
其中，
Figure BDA0002995117080000074
代表样本softmax函数生成的最终输出，α′代表神经网络在训练时经损失函数反向传播优化后的超参数集，o代表神经网络的期望输出，即样本对应的标签。
Figure BDA0002995117080000075
代表给定分类对应的结果，其分别对应消极，平和，积极三种情感。
S5：测试集测试分类效果：将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。具体步骤为：
将按步骤S1、S2、S3依次进行处理后的样本平均分为5折，每次测试轮流使用一折作为此次实验的测试集，其余四折作为此次实验的训练集，将五折交叉验证法结果进行平均作为真实实验结果的准确率。采用五折交叉验证法的平均值作为实验结果，准确率计算公式如下：
Figure BDA0002995117080000076
其中，n代表交叉折数，上式中n＝5；ok,test代表第k折测试集样本对应的标签，即测试集样本对应的标签；
Figure BDA0002995117080000077
代表第k折神经网络的期望输出；Ik,test代表第k折测试集样本的总数。
下面具体描述所述深度卷积神经网络的具体模型为：
L0:L0层的输入为步骤3中构建的输入样本训练集，以Il,m,(p,q)表示输入第l层第m个特征图(p,q)位置卷积神经网络单元的输入，输入为矩阵Il,m,(p,q)，以
Figure BDA0002995117080000078
代表L2各层卷积神经网络神经元网络权重；以
Figure BDA0002995117080000081
代表L2各层卷积神经网络神经元网络偏执；U1代表卷积核的宽度，其中U1＝5；
Figure BDA0002995117080000082
表示经过第0层卷积神经网络的中间变量；K0代表特征图的数量，K0＝6；以C表示样本宽度，其中C＝62，以n表示样本长度，其中n＝100，输入样本大小为62×100。具体地，该卷积块由6个卷积核为1*5的卷积核对L0层输入I1,m,(p,q)进行特征提取，经过卷积和激活函数后，得到维度为62*96*12的输出
Figure BDA0002995117080000083
即有：
Figure BDA0002995117080000084
σ表示激活函数，采用Relu修正线性单元，x表示Relu修正线性单元的输入:
σ(x)＝max(0,x),x＞0 (2)
具体地，该层使用卷积核为1*2的最大池化方法对特征进行降维，得到L1层的最终输出I2,m,(p,q)，维度为62*48*6。：
Figure BDA0002995117080000085
其中，
Figure BDA0002995117080000086
表示L0层中间变量，I1,m,(p,q)表示L0层最终输出，max表示在0和x中取较大数。
L1：输入为矩阵I1,m,(p,q)，以
Figure BDA0002995117080000087
代表L1各层卷积神经网络神经元网络权重，其中1≤α≤3；以
Figure BDA0002995117080000088
代表L1各层卷积神经网络神经元网络偏执，其中1≤β≤3；U1代表卷积核的宽度，其中U1＝3；
Figure BDA0002995117080000089
表示经过第i层卷积神经网络的中间变量，其中1≤i≤3；
Figure BDA00029951170800000810
表示经过激活函数的中间变量，其中1≤j≤3；
Figure BDA00029951170800000811
其中，U1代表卷积核的宽度，U1＝3；K1代表特征图的数量，K1＝12；具体地，该卷积由12个1*3的卷积核对L0层输入I1,m,(p,q)进行特征提取，经过卷积和激活函数后，得到维度为62*48*12的输出
Figure BDA0002995117080000091
Figure BDA0002995117080000092
其中，U2代表卷积核的宽度，U2＝3；K2代表特征图的数量，K2＝12；在本发明中，该卷积块由12个1*3的卷积核对特征图
Figure BDA0002995117080000093
进行特征提取，经过卷积和激活函数后，得到维度为62*48*12的输出
Figure BDA0002995117080000094
Figure BDA0002995117080000095
其中，U3代表卷积核的宽度，U3＝3；K3代表特征图的数量，K3＝12；
Figure BDA0002995117080000096
为
Figure BDA0002995117080000097
经过激活函数的输出，再将
Figure BDA0002995117080000098
经过批归一化，得到
Figure BDA0002995117080000099
Figure BDA00029951170800000910
I2,m,(p,q)为
Figure BDA00029951170800000911
经过卷积核为2×2的池化操作的输出，在本发明中，I1,m,(p,q)维度为31*24*12。
L2:输入为矩阵I2,m,(p,q)，以
Figure BDA00029951170800000912
代表L2各层卷积神经网络神经元网络权重，其中1≤α≤3；以
Figure BDA00029951170800000913
代表L2各层卷积神经网络神经元网络偏执，其中1≤β≤3；
Figure BDA00029951170800000914
表示经过第i层卷积神经网络的中间变量，其中1≤i≤3；
Figure BDA00029951170800000915
表示经过激活函数的中间变量，其中1≤j≤3；
Figure BDA00029951170800000916
其中，U1代表卷积核的宽度，U1＝3；U2代表卷积核的高度，U2＝3；K1代表特征图的数量，K1＝24；在本发明具体地，该卷积由24个3*3的卷积核对I2,m,(p,q)进行特征提取，经过卷积和激活函数后，得到维度为29*22*24的输出
Figure BDA0002995117080000101
Figure BDA0002995117080000102
Figure BDA0002995117080000103
其中，K2代表特征图的数量，K2＝24；在本发明中，该卷积块由24个3*3的卷积核对特征图
Figure BDA0002995117080000104
进行特征提取，经过卷积和激活函数后，得到维度为27*20*24的输出
Figure BDA0002995117080000105
Figure BDA0002995117080000106
Figure BDA0002995117080000107
Figure BDA0002995117080000108
其中，K3代表特征图的数量，K3＝24；
Figure BDA0002995117080000109
为
Figure BDA00029951170800001010
经过激活函数的输出，
Figure BDA00029951170800001011
为
Figure BDA00029951170800001012
经过批归一化得到的输出。
在本发明中，该卷积块由24个3*3的卷积核对特征图
Figure BDA00029951170800001013
进行特征提取，经过卷积和激活函数后，再将
Figure BDA00029951170800001014
经过批归一化，得到维度为25*18*24的输出
Figure BDA00029951170800001015
Figure BDA00029951170800001016
I3,m,(p,q)为
Figure BDA00029951170800001017
经过卷积核为2×2的最大池化操作的输出，其中p＝2n,0≤n≤p/2，为L2层的最终输出，在本发明中，I2,m,(p,q)维度为12*9*24。
L3：输入为矩阵I3,m,(p,q)，L3层为卷积块层和传输层组成：
卷积块层CONV：以
Figure BDA00029951170800001018
代表第3层卷积神经网络神经元网络权重，其中1≤α≤2；以
Figure BDA00029951170800001019
代表第3层卷积神经网络神经元网络偏执，其中1≤β≤2；U1代表卷积核的宽度，U1＝1；U2代表卷积核的高度，U2＝1。G1代表特征图的数量，G1＝4×growth_rate；growth_rate表示卷积块的增长率，growth_rate＝24；
Figure BDA00029951170800001020
表示经过第i层卷积神经网络的中间变量，其中1≤i≤2；
Figure BDA0002995117080000111
表示经过激活函数的中间变量，其中1≤j≤2；在本发明中，该卷积块由96个1*1的卷积核对特征图I3,m,(p,q)进行特征提取，经过卷积和激活函数后，得到维度为12*9*96的输出
Figure BDA0002995117080000112
Figure BDA0002995117080000113
U3代表卷积核的长度，U3＝5；U4代表卷积核的款度，U4＝5；G2代表特征图的数量，G4＝growth_rate；在本发明中，该卷积块由96个1*1的卷积核对特征图
Figure BDA0002995117080000114
进行特征提取，经过批归一化和激活函数后，得到维度为12*9*24的输出
Figure BDA0002995117080000115
Figure BDA0002995117080000116
B代表卷积块层的数量，B＝6；xi代表第i层卷积块层的输出，[x1,x2,...,xi]将前i层卷积块进行堆叠，即：
Figure BDA0002995117080000117
将
Figure BDA0002995117080000118
经过批归一化和随机失活操作，得到
Figure BDA0002995117080000119
γ代表dropout操作网络失活参数，令γ＝0.5。
Figure BDA00029951170800001110
在本发明中，经过6个全连接块层对特征图I3,m,(p,q)进行特征提取，将
Figure BDA00029951170800001111
经过卷积和激活函数后，得到维度为12*9*168的输出
Figure BDA00029951170800001112
传输层：
Figure BDA0002995117080000121
I4,m,(p,q)为
Figure BDA0002995117080000122
经过卷积核为3×3的池化操作的输出，其中p＝3n,0≤n≤p/3，为L2层的最终输出，在本发明中，I4,m,(p,q)维度为4*3*168。
L4:输入为矩阵I4,m,(p,q)，w4,(x,1)代表对应向量
Figure BDA0002995117080000123
位置的网络权重，b4代表L4层的网络偏执。先将其进行全局平均池化，得到维度为1*1*168的中间输出
Figure BDA0002995117080000124
将输入矩阵
Figure BDA0002995117080000125
进行卷积核为1×1的池化操作得到矩阵
Figure BDA0002995117080000126
将中间输出进行卷积核为1×1的卷积操作，得到维度为1*1*3的输出
Figure BDA0002995117080000127
Figure BDA0002995117080000128
其中，
Figure BDA0002995117080000129
为矩阵I4,m,(p,q)进行全局平均池化得到的中间输出：
Figure BDA00029951170800001210
为矩阵
Figure BDA00029951170800001211
进行池化操作得到的中间输出，
Figure BDA00029951170800001212
为矩阵
Figure BDA00029951170800001213
进行卷积核为1×1的卷积操作得到输出。w4,(x,1)代表对应向量
Figure BDA00029951170800001214
位置的网络权重，b4代表L4层的网络偏执。
在本发明中，将矩阵
Figure BDA00029951170800001215
进行flatten操作，得到维度为1*3的一维向量I4,(1,m)。
Figure BDA00029951170800001216
Figure BDA00029951170800001217
首先，将一维向量I5,(r,1)输入全连接层，得到输出向量
Figure BDA00029951170800001218
再将向量
Figure BDA00029951170800001219
输入softmax层，得到输入样本的预测结果
Figure BDA00029951170800001220
代表预测的三种情绪分布的概率。其中，w5,(r,1)代表对应向量I5,(r,1)位置的网络权重，b5代表L5层的网络偏执；s代表输出向量
Figure BDA00029951170800001221
的横向维度，1≤s≤3。
Figure BDA00029951170800001222
代表给定分类对应的结果，其分别对应消极，平和，积极三种情感。
在训练网络时，使用交叉熵
Figure BDA0002995117080000131
作为损失函数评估分类损失，其公式为：
Figure BDA0002995117080000132
Figure BDA0002995117080000133
Figure BDA0002995117080000134
代表样本输入神经网络产生的预测结果，α′代表神经网络在训练时经损失函数反向传播优化后的超参数集，o代表神经网络的期望输出，即样本对应的标签，i代表第i种情感，i＝1,2,3。
结合图5，本发明实施例还提供一种面向自然人机交互的情绪感知***，主要包括：
数据采集模块，用于采集积极、平和、消极情感状态下的头皮脑电信号；
数据预处理模块，用于对所述数据采集模块采集的数据进行预处理；
样本构建模块，用于将经过所述数据预处理模块预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
深度卷积神经网络，由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成；
模型训练模块，用于将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
测试集测试模块，用于将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种面向自然人机交互的情绪感知方法，其特征在于，包括以下步骤：
S1：采集积极、平和、消极情感状态下的头皮脑电信号；
S2：对步骤S1采集的数据进行预处理；
S3：构建训练样本和测试样本：将经过预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
S4:训练深度卷积神经网络:将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
S5：测试集测试分类效果：将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。
2.根据权利要求1所述的面向自然人机交互的情绪感知方法，其特征在于，步骤S2的具体步骤包括：
依次去除采集的原始信号中的眼电成分，脑电信号中无效、损坏片段，再使用带通滤波器和陷波滤波器去除脑电信号噪声和设备伪迹。
3.根据权利要求1所述的面向自然人机交互的情绪感知方法，其特征在于，在步骤S4中，所述深度卷积神经网络由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成。
4.根据权利要求3所述的面向自然人机交互的情绪感知方法，其特征在于，所述L0层为卷积层，L0层的输入为步骤S3中构建的输入样本训练集，以
Figure FDA0002995117070000011
代表L0各层卷积神经网络神经元网络权重；以
Figure FDA0002995117070000012
代表L0各层卷积神经网络神经元网络偏执；U1代表卷积核的宽度(U1＝5)；
Figure FDA0002995117070000013
表示经过第0层卷积神经网络的中间变量；K0代表特征图的数量(K0＝6)。
Figure FDA0002995117070000014
σ表示激活函数，采用Relu修正线性单元:
σ(x)＝max(0,x),x＞0 (2)
其中，σ表示激活函数Relu修正线性单元，x表示Relu修正线性单元的输入。
Figure FDA0002995117070000021
其中，
Figure FDA0002995117070000022
表示L0层中间变量，I1,m,(p,q)表示L0层最终输出，max表示在0和x中取较大数。
5.根据权利要求3所述的自然人机交互的情绪感知方法，其特征在于，所述L1层为第一层卷积块层，采用三次大小为1*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为62*48*12，62*48*12，62*48*12的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为2*2的最大池化方法对各层特征图矩阵进行降维，得到L1层的最终输出，即输出维度为31*24*12的矩阵。
6.根据权利要求3所述的自然人机交互的情绪感知方法，其特征在于，所述L2层为第二层卷积块层，采用三次大小为3*3的卷积核进行卷积、采用Relu激活函数对卷积后的矩阵进行激活操作，分别得到大小为29*45*24，27*43*24，25*41*24的特征图输出，再将输出进行批归一化处理，使得各输入矩阵的均值和方差保持一致，最后使用卷积核为1*2的最大池化方法对各层特征图矩阵进行降维，得到L2层的最终输出，即输出维度为12*9*24的矩阵。
7.根据权利要求3所述的自然人机交互的情绪感知方法，其特征在于，所述L3层为全连接块层，采用6层卷积块层，依次采用大小为1*3，5*5的卷积核进行卷积、并采用Relu激活函数对卷积后的矩阵进行激活操作，每一层分别得到大小为12*9*96，12*9*24的特征图，在最后得到大小为12*9*168的输出，再将输出进行批归一化处理和随即失活操作，最后使用卷积核为3*3的最大池化方法对各层特征图矩阵进行降维，得到L3层的最终输出，即输出维度为4*3*168的矩阵。
8.根据权利要求3所述的自然人机交互的情绪感知方法，其特征在于，所述L4为卷积层，进行全局池化操作，得到大小为1*1*168的特征图，采用大小为1*1的卷积核进行卷积操作，得到维度为1*1*3的输出。然后，对矩阵进行flatten操作，得到维度为1*3的一维向量。
9.根据权利要求3所述的自然人机交互的情绪感知方法，其特征在于，所述L5为最终输出层，将向量输入全连接层，采用softmax函数输出最终预测结果，得到输出维度为1*3的一维向量，代表预测的三种情绪分布的概率，若结果中代表某一情感的概率越大，表示此样本为该类情感的可能性越大；通过与真实标签比较进行反馈修正，通过梯度下降，反向传播，批次训练学习方式更新、优化模型中各层网络参数，使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练。
10.一种面向自然人机交互的情绪感知***，其特征在于，主要包括：
数据采集模块，用于采集积极、平和、消极情感状态下的头皮脑电信号；
数据预处理模块，用于对所述数据采集模块采集的数据进行预处理；
样本构建模块，用于将经过所述数据预处理模块预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；
深度卷积神经网络，由卷积层L0、第一层卷积块层L1、第二层卷积块层L2、第三层全连接块层L3、第四层卷积层L4、第五层输出层L5共五层模块构成；
模型训练模块，用于将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；
测试集测试模块，用于将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。
CN202110327248.9A 2021-03-26 2021-03-26 面向自然人机交互的情绪感知方法及其*** Active CN113128353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327248.9A CN113128353B (zh) 2021-03-26 2021-03-26 面向自然人机交互的情绪感知方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327248.9A CN113128353B (zh) 2021-03-26 2021-03-26 面向自然人机交互的情绪感知方法及其***

Publications (2)

Publication Number Publication Date
CN113128353A true CN113128353A (zh) 2021-07-16
CN113128353B CN113128353B (zh) 2023-10-24

Family

ID=76774204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327248.9A Active CN113128353B (zh) 2021-03-26 2021-03-26 面向自然人机交互的情绪感知方法及其***

Country Status (1)

Country Link
CN (1) CN113128353B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673434A (zh) * 2021-08-23 2021-11-19 合肥工业大学 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
CN116687409A (zh) * 2023-07-31 2023-09-05 武汉纺织大学 一种基于数字孪生和深度学习的情绪识别方法及***

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977665A (zh) * 2017-12-15 2018-05-01 北京科摩仕捷科技有限公司 一种***中关键信息的识别方法及计算设备
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN109902732A (zh) * 2019-02-22 2019-06-18 哈尔滨工业大学（深圳） 车辆自动分类方法及相关装置
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及***
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及***
KR20190130808A (ko) * 2018-05-15 2019-11-25 연세대학교 산학협력단 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법
CN110532878A (zh) * 2019-07-26 2019-12-03 中山大学 一种基于轻量化卷积神经网络的驾驶员行为识别方法
CN110826527A (zh) * 2019-11-20 2020-02-21 南京邮电大学 一种基于攻击性行为预测的脑电负性情绪识别方法及***
CN110826411A (zh) * 2019-10-10 2020-02-21 电子科技大学 一种基于无人机图像的车辆目标快速识别方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN110992349A (zh) * 2019-12-11 2020-04-10 南京航空航天大学 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111209972A (zh) * 2020-01-09 2020-05-29 中国科学院计算技术研究所 基于混合连通性深度卷积神经网络的图像分类方法及***
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别***及应用
CN111709267A (zh) * 2020-03-27 2020-09-25 吉林大学 深度卷积神经网络的脑电信号情感识别方法
CN111860171A (zh) * 2020-06-19 2020-10-30 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及***
CN112070212A (zh) * 2020-08-26 2020-12-11 江苏建筑职业技术学院 一种人工智能cnn、lstm神经网络动态识别***
CN112101152A (zh) * 2020-09-01 2020-12-18 西安电子科技大学 一种脑电情感识别方法、***、计算机设备、可穿戴设备
CN112115898A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表检测方法、装置、计算机设备及存储介质
CN112200043A (zh) * 2020-09-30 2021-01-08 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别***及方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其***
CN112395924A (zh) * 2019-08-16 2021-02-23 阿里巴巴集团控股有限公司 一种遥感监测方法及装置
CN112446591A (zh) * 2020-11-06 2021-03-05 太原科技大学 一种用于学生综合能力评价的评价体系及零样本评价方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977665A (zh) * 2017-12-15 2018-05-01 北京科摩仕捷科技有限公司 一种***中关键信息的识别方法及计算设备
KR20190130808A (ko) * 2018-05-15 2019-11-25 연세대학교 산학협력단 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN109902732A (zh) * 2019-02-22 2019-06-18 哈尔滨工业大学（深圳） 车辆自动分类方法及相关装置
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及***
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及***
CN110532878A (zh) * 2019-07-26 2019-12-03 中山大学 一种基于轻量化卷积神经网络的驾驶员行为识别方法
CN112395924A (zh) * 2019-08-16 2021-02-23 阿里巴巴集团控股有限公司 一种遥感监测方法及装置
CN110826411A (zh) * 2019-10-10 2020-02-21 电子科技大学 一种基于无人机图像的车辆目标快速识别方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN110826527A (zh) * 2019-11-20 2020-02-21 南京邮电大学 一种基于攻击性行为预测的脑电负性情绪识别方法及***
CN110992349A (zh) * 2019-12-11 2020-04-10 南京航空航天大学 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111209972A (zh) * 2020-01-09 2020-05-29 中国科学院计算技术研究所 基于混合连通性深度卷积神经网络的图像分类方法及***
CN111709267A (zh) * 2020-03-27 2020-09-25 吉林大学 深度卷积神经网络的脑电信号情感识别方法
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别***及应用
CN111860171A (zh) * 2020-06-19 2020-10-30 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及***
CN112070212A (zh) * 2020-08-26 2020-12-11 江苏建筑职业技术学院 一种人工智能cnn、lstm神经网络动态识别***
CN112101152A (zh) * 2020-09-01 2020-12-18 西安电子科技大学 一种脑电情感识别方法、***、计算机设备、可穿戴设备
CN112115898A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表检测方法、装置、计算机设备及存储介质
CN112200043A (zh) * 2020-09-30 2021-01-08 中邮通建设咨询有限公司 面向室外施工现场的危险源智能识别***及方法
CN112446591A (zh) * 2020-11-06 2021-03-05 太原科技大学 一种用于学生综合能力评价的评价体系及零样本评价方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HENG CUI ET AL: "EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network", 《KNOWLEDGE-BASED SYSTEMS》 *
HENG CUI ET AL: "EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network", 《KNOWLEDGE-BASED SYSTEMS》, 15 July 2020 (2020-07-15), pages 1 - 9 *
S.-E.MOON ET AL: "Convolutional Neural Network Approach for Eeg-Based Emotion Recognition Using Brain Connectivity and its Spatial Information", 《ICASSP》 *
S.-E.MOON ET AL: "Convolutional Neural Network Approach for Eeg-Based Emotion Recognition Using Brain Connectivity and its Spatial Information", 《ICASSP》, 31 December 2018 (2018-12-31), pages 2556 - 2560 *
黄泽滨: "基于深度学习的脑电信号情绪识别方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
黄泽滨: "基于深度学习的脑电信号情绪识别方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, vol. 2021, no. 2, 15 February 2021 (2021-02-15), pages 006 - 723 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673434A (zh) * 2021-08-23 2021-11-19 合肥工业大学 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
CN113673434B (zh) * 2021-08-23 2024-02-20 合肥工业大学 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
CN116687409A (zh) * 2023-07-31 2023-09-05 武汉纺织大学 一种基于数字孪生和深度学习的情绪识别方法及***
CN116687409B (zh) * 2023-07-31 2023-12-12 武汉纺织大学 一种基于数字孪生和深度学习的情绪识别方法及***

Also Published As

Publication number Publication date
CN113128353B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及***
CN111709267B (zh) 深度卷积神经网络的脑电信号情感识别方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及***
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及***
CN107066514A (zh) 老年人的情绪识别方法和***
CN112022153B (zh) 基于卷积神经网络的脑电信号检测方法
CN113128353A (zh) 面向自然人机交互的情绪感知方法及其***
An et al. Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder
CN111544855A (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN111832431A (zh) 一种基于cnn的情绪脑电分类方法
CN112932501B (zh) 一种基于一维卷积神经网络自动识别失眠方法
CN113349801A (zh) 基于卷积神经网络的想象言语脑电信号解码方法
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别***
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
Elessawy et al. A long short-term memory autoencoder approach for EEG motor imagery classification
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与***
CN116602676A (zh) 一种基于多特征融合和clstn的脑电情绪识别方法和***
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
CN115316955A (zh) 一种轻量快速的运动想象脑电信号解码方法
CN115251909A (zh) 基于时空卷积神经网络的脑电信号评估听力的方法及装置
Sunny et al. Discrete wavelet transforms and artificial neural networks for recognition of isolated spoken words
Hasan et al. Grasp-and-lift detection from EEG signal using convolutional neural network
CN113887365A (zh) 一种基于多模态数据融合的特殊人员情感识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant