CN117562542B - 基于脑电信号的情感识别方法、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了基于脑电信号的情感识别方法、计算机设备及存储介质，方法通过获取用户在包括正向情感刺激源、负向情感刺激源和中性情感刺激源的预设刺激源下产生的脑电信号；对脑电信号进行特征处理，获取脑电信号对应的第一预设频率范围的包括频域数据和时域数据的第一特征数据；根据频域数据在第一预设频率范围中确认目标频率范围，放大目标频率范围对应的时域数据，获取第二特征数据；获取第一特征数据和第二特征数据进行特征融合的目标特征数据；将目标特征数据输入至预训练的情感识别模型，生成情感识别结果，完成对脑电信号的情感识别。本申请通过对关键的情感相关特征进行了有效增强，可以显著提升关键情感特征的表达和识别能力。

Description

基于脑电信号的情感识别方法、计算机设备及存储介质

技术领域

本发明属于脑机接口技术领域，尤其涉及基于脑电信号的情感识别方法、计算机设备及存储介质。

背景技术

情感计算技术在人机交互、教育医疗等领域有广泛需求。识别个体的情绪状态对提升人机交互的智能性、人性化有重要意义。脑电信号作为直接反映大脑活动的生理信号,在情感计算中具有独特优势。然而,由于脑电信号易受各种噪声影响,且表现出时变、非线性等特点,直接应用于情感识别仍面临诸多困难。

当前基于脑电的情感识别研究主要采用以下技术:1)频域分析法,通过快速傅立叶变换分析α、β、γ等不同频带与特定情绪的相关性,以频谱作为特征。该方法忽略了时域信息,无法定位关键时刻的情感特征。2)时频分析法,应用小波变换等获得时频图,表示脑电信号的时间演化特征。但该方法对各个时刻和频带赋予统一权重,无法聚焦关键区域。3)深度学习法,使用卷积神经网络直接对原始脑电信号进行端到端学习。该方法对噪声敏感,难以获得稳定的特征表示。

综上,现有方法在抑制噪声、表达关键特征、融合时频信息以及适应脑电信号的非平稳特性方面仍有不足。缺乏对信号的有效预处理与特征提取,直接基于深度学习的方法也面临训练过程不稳定、模型解释性差等问题。因此,如何提出一种脑电情感识别方法,既能有效表示关键情感特征,又能显著提高识别性能,是当前亟需解决的技术问题。

发明内容

本申请实施例提供了基于脑电信号的情感识别方法、计算机设备及存储介质，可以解决如何对用户复杂动态意图的稳定准确解码的技术问题。

第一方面，本申请实施例提供了基于脑电信号的情感识别方法，包括：

获取用户在预设刺激源下产生的脑电信号；其中，所述预设刺激源包括正向情感刺激源、负向情感刺激源和中性情感刺激源；

对所述脑电信号进行特征处理，获取所述脑电信号对应的第一预设频率范围的第一特征数据；其中，所述第一特征数据包括频域数据和时域数据；

根据所述频域数据在所述第一预设频率范围中确认目标频率范围，放大所述目标频率范围对应的时域数据，根据所述目标频率范围对应的频域数据和放大后的时域数据获取第二特征数据；

将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据；

将所述目标特征数据输入至预训练的情感识别模型，所述情感识别模型根据所述目标特征数据生成情感识别结果，完成对所述脑电信号的情感识别；其中，所述情感识别结果至少包括正向情感、负面情感和中性情感。

在第一方面的一些实现方式中，所述第一预设频率范围至少包括α波频率范围、β波频率范围和γ波频率范围；所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围，包括：

分别获取所述α波频率范围对应的频域数据的第一能量增强值、所述β波频率范围对应的频域数据的第二能量增强值和所述γ波频率范围对应的频域数据的第三能量增强值；

根据所述第一能量增强值、第二能量增强值和第三能量增强值中最大值对应的频率范围确定为所述目标频率范围。

在第一方面的一些实现方式中，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

根据所述α波频率范围、所述β波频率范围和所述γ波频率范围中除去所述目标频率范围之外的频率范围对应的频域数据和时域数据获取第三特征数据；

将所述第一特征数据、第二特征数据和第三特征数据进行特征融合，获取目标特征数据。

在第一方面的一些实现方式中，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

将所述第一特征数据和第二特征数据输入至预训练的特征融合模型，所述特征融合模型存储有权重映射关系，所述权重映射关系包括预设权重值和所述预设权重值对应的频率范围；

获取所述特征融合模型根据所述权重映射关系对所述第一特征数据和第二特征数据进行特征融合所生成的所述目标特征数据。

在第一方面的一些实现方式中，在所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围之前，所述方法还包括：

对所述第一特征数据进行一阶差分计算，获取第一特征数据对应的一阶差分值；

对所述第一特征数据进行二阶差分计算，获取第一特征数据对应的加速度值；

对所述第一特征数据分别进行时域微分和频域微分，获取第一偏导值和第二偏导值；

根据所述一阶差分值、加速度值、第一偏导值和第二偏导值获取波动特征矩阵，根据所述波动特征矩阵更新所述第一特征数据。

在第一方面的一些实现方式中，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

根据所述波动特征矩阵在所述目标频率范围进行一阶差分，获取目标波动数据；

将更新后的所述第一特征数据和所述目标波动数据进行特征融合，获取目标特征数据。

在第一方面的一些实现方式中，所述目标特征数据包括目标特征矩阵；在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述方法还包括：

对所述目标特征矩阵以预设时间间隔进行特征分割，获取多个子目标特征矩阵；

获取每个所述子目标特征矩阵内的特征向量，根据所述特征向量计算所述子目标特征矩阵对应的相关性系数矩阵和散度矩阵；

根据所述相关性系数矩阵和散度矩阵获取所述子目标特征矩阵对应的匹配干扰度矩阵；

根据所述匹配干扰度矩阵输入至预训练的注意力融合模型，所述注意力融合模型根据所述匹配干扰度矩阵生成注意力权重矩阵，并基于自注意力机制根据所述注意力权重矩阵和所述目标特征矩阵进行融合，以更新所述目标特征矩阵。

在第一方面的一些实现方式中，所述情感识别模型包括卷积神经网络或循环神经网络的任一项；在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述方法还包括：

获取所述脑电信号对应的情感信息；

将所述目标特征数据输入至待训练的情感识别模型，获取待训练的所述情感识别模型生成的预测情感识别结果；

根据所述预测情感识别结果和所述情感信息完成对所述感识别模型的训练。

第二方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于脑电信号的情感识别方法。

第三方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于脑电信号的情感识别方法。

与现有技术相比，本申请至少具备以下有益效果：

获取用户在包括正向情感刺激源、负向情感刺激源和中性情感刺激源的预设刺激源下产生的脑电信号，能够获取表征用户多种情感的脑电信号，提升训练样本的全面性；对脑电信号进行特征处理，获取脑电信号对应的第一预设频率范围的第一特征数据，能够选定特定的第一预设频率范围以筛选出能表达预设特征的脑电信号；根据频域数据在第一预设频率范围中确认目标频率范围，放大目标频率范围对应的时域数据，根据目标频率范围对应的频域数据和放大后的时域数据获取第二特征数据，进而能对关键的情感相关特征进行了有效增强；将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，能够利用不同脑电频率区间含有的互补的情感信息进行跨频带的特征融合,学***坦注意力结构,分层设计通过跨层级的协同学习,可以更全面地表示复杂情感特征。

另外,本申请还融合了时频分析、皮尔逊相关性、JS散度度量等多种特征表达手段。多模型融合提高了特征的鲁棒性,增强了情感表示的多样性。经过层层特征深化,最终形成的特征表达矩阵集成了原始脑电数据的多方面信息,尤其对关键的情感相关特征进行了有效增强。

综上,本申请可以显著提升关键情感特征的表达和识别能力。相比单一模型,本申请集成的多个特征提取和融合模块协同工作,形成了一个信息丰富而有机融合的特征表示空间。

附图说明

图1为本申请实施例示出的基于脑电信号的情感识别方法的流程示意图；

图2为本申请实施例示出的基于脑电信号的情感识别***的结构示意图；

图3为本申请实施例示出的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，图1为本申请实施例提供的一种基于脑电信号的情感识别方法的流程示意图。本申请实施例的基于脑电信号的情感识别方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的基于脑电信号的情感识别方法包括步骤S101至步骤S105，详述如下：

步骤S101，获取用户在预设刺激源下产生的脑电信号；其中，预设刺激源包括正向情感刺激源、负向情感刺激源和中性情感刺激源。

在本步骤中，使用柔性、可调节的电极阵列作为脑电信号的采集装置，它们能够轻松贴合在头皮表面，以防止电极移动和信号中断，确保电极位置的稳定性，以便在长时间采集过程中保持信号的连续性，提供稳定的信号采集环境。每个电极都与信号放大器连接，并通过引导线将信号传输到接收器中。所提供的方法为了获取明显的情绪响应脑电信号,需要预先筛选情绪易受激发的被试者。这些人可能具有较高的神经质特点,面对情绪刺激时可以出现显著的脑电反应。同时准备正性、负性和中性三类外界刺激材料,对被试进行不同类型的情绪激发。

可选地，所提供的方法选用符合国际标准的32导联电极帽,参照10-20***确定电极布置位置。其中，10-20***是根据人头皮解剖位置将采样点等间隔地分布在整个头皮区域的标准***,包括额部、顶部、后部以及两侧颞部等关键部位。例如Fpz表示前额正中央、Cz为顶部中央、Pz为枕部中央、T3代表左侧颞部、T4为右侧颞部等,一共确定了32个采样导联点。本申请通过采用这样间隔分布的电极布局可以获得头皮不同部位的脑电活动信号。

可选地，正性刺激材料可以包括美丽的自然景色、节奏欢快的音乐、幽默逗笑的视频片段等;负性刺激材料可以包括令人不安的恐怖图像、氛围低沉的悲伤音乐、惊悚令人紧张的电影剪辑等;中性刺激材料可以包括普通建筑物的图片、节奏流畅的古典音乐、一般记录性的视频等。这三类刺激材料按一定顺序组合成一个刺激序列,依次呈现给被试者观看或者听取。以使得所获取的脑电信号能够有效表征正性、负性和中性情绪。

可选地，在受试者观看听取刺激序列的过程中,同步采集其脑电活动数据。并让被试者根据自己的主观感受,对当前的情绪状态进行打分,例如使用1-9分表示情绪状态,1分代表非常负面状态,9分代表非常正面状态,5分为中性状态。这些主观打分结果作为情绪标签,记录下刺激类型与情绪标签的对应关系。同时需要控制被试者的姿势动作,避免过多无关的生理活动对信号产生干扰。在采集阶段,要注意对设备进行电磁屏蔽,以减少外界噪声对信号质量的影响。采集到的原始脑电信号经过模数转换器数字化后存储,一般选择250Hz或500Hz的采样频率进行离散化。

可选地，除了脑电信号以外，结合其他多种生物信号，如眼动、面部表情、心率等，进行多模态融合。通过将不同传感器采集到的信号进行整合和解码，可以更全面地理解用户的意图和内部状态，提高脑机交互的准确性和适应性。

步骤S102，对脑电信号进行特征处理，获取脑电信号对应的第一预设频率范围的第一特征数据；其中，第一特征数据包括频域数据和时域数据。

在本实施例中，需要从时域和频域两个维度对脑电信号进行表达,以获取包含更多情感的更丰富的第一特征数据。

可选地，对脑电信号的频域分析,主要目的是分析信号能量分布在不同频率区间的情况。频域分析可以基于快速傅里叶变换(Fast Fourier Transform，FFT)等方法,获取脑电信号的频谱表达,显示不同频率成分的幅值大小。

其中，当采用快速傅里叶变换进行频域分析时，其计算公式为：

X(k) = ∑_{n=0}^{N-1} x(n) e^{-j2πkn/N} , k = 0,1,...,N-1；

其中,x(n)表示长度为N的时域信号;j表示虚数单位;k为频率索引;X(k)为第k个频点上的FFT转换系数,表示该频率分量的复数幅值。

可选的，对脑电信号的频域数据进行提取所采用的频域特征提取算法，用于从信号的频谱分布中提取相关特征，频域特征提取算法包括但不限于：

均值频率（MeanFrequency）：mf=Σ(fi*Pi)/Σ(Pi)，其中，fi表示第i个频率点，Pi表示相应频率点的功率谱密度。

能量频带比（BandPowerRatio）：bp=Σ(Pi)/Σ(Pj)，其中，Pi和Pj表示在不同频带范围内的功率谱密度，可以比较不同频带的能量分布。

方差频率（VarianceFrequency）：vf=Σ((fi-mf)²*Pi)/Σ(Pi)，其中，fi表示第i个频率点，Pi表示相应频率点的功率谱密度，mf表示均值频率。

频谱的峰值（PeakAmplitude）：pk=max(ASD)，其中，ASD表示振幅谱密度，取频谱的最大值。

频率特征百分比（FrequencyFeaturePercentage）：ffp=Σ(Pi)/Σ(ASD)，其中，Pi表示相应频率点的功率谱密度，ASD表示振幅谱密度。

可选的，对脑电信号的时域分析，主要是通过进行短时傅里叶变换可以获得时频图,表示信号在时间轴上不同时刻对应的频率成分及其强度。短时傅里叶变换计算公式为:

S(t, f) = sum_{n=-inf}^{inf} x(n) w(n-t) e^{-j2πfn}；

其中,x(n)是原始信号,n是时间样本索引，w(n)和w(n-t)是滑动窗口函数,t是时间索引,f是频点，e^{-j2πfn}是指数核,含虚数单位j。短时傅里叶变换通过在信号上滑动窗口,获取不同时刻t下的局部信号,进行傅立叶变换得到对应时刻的频谱。最终获得原始时频矩阵S(t, f)，表示脑电信号的时频分布。

可选的，对脑电信号的时域数据进行提取时间域特征提取算法主要应用于时域信号，用于描述信号的时态特征。时间域特征提取算法包括但不限于：

平均值（Mean）:μ=(x1+x2+…+xn)/n，其中，xi表示第i个样本点，n表示样本点数目。

方差（Variance）:σ²=((x1-μ)²+(x2-μ)²+…+(xn-μ)²)/n，其中，μ表示平均值，xi表示第i个样本点，n表示样本点数目。

标准差（StandardDeviation）:σ=√(σ²)，其中，σ²表示方差。

最大值（Maximum）:Max=max(x1,x2,…,xn)，其中，xi表示第i个样本点。

最小值（Minimum）:Min=min(x1,x2,…,xn)，其中，xi表示第i个样本点。

斜率（Slope）：Slope=(xn-x1)/(n-1)，其中，xi表示第i个样本点，n表示样本点数目。

在一些实施例中，所述脑电信号对应的频率范围为第二预设频率范围，所述第二预设频率范围大于所述第一预设频率范围；在所述对所述脑电信号进行特征处理，在步骤S102获取所述脑电信号对应的第一预设频率范围的第一特征数据之前，所述方法还包括：将所述脑电信号输入至预设滤波器，以获取所述第一预设频率范围的脑电信号；其中，所述预设滤波器至少包括带阻滤波器、有限脉冲响应滤波器或无限脉冲响应滤波器的一项或多项。

由于各种生理性噪声和外界干扰会对原始脑电信号产生影响,因此需要对采集到的信号进行预处理,以提高后续分析的可靠性。根据前期试验中记录下来的噪声频率分布特点及能量大小特征,可以设计数字滤波器对信号进行去噪。

生理性噪声主要包括眼电和肌电两大类。眼电一般集中在低频段,主要分布在0-1Hz,次要能量集中在15-30Hz较高频率范围。肌电噪声主要分布在较高的90-200Hz频率范围。因此,可以设计带阻滤波器,选择适宜的通带频率范围,在滤除噪声的同时保留脑电信号的有效成分。例如,设计一个通带范围为1-70Hz的带阻滤波器,可以有效消除低于1Hz的眼电功率,以及高于70Hz的肌电噪声,同时保留脑电信号的主要α、β、γ等节律。

可选地，数字滤波器可以选择FIR(有限脉冲响应)或IIR(无限脉冲响应)结构。根据噪声功率频谱特点,确定滤波器类型和相关设计参数。例如对眼电噪声,可选用IIR巴特沃斯过滤器;而对于一些随机短时随机干扰,FIR滤波器效果更好。设计时需要设置滤波器的阶数,控制通带的纹波指标,以获得良好平滑的频响。同时调整阻带的衰减指标,确保充分抑制噪声。除了根据典型噪声频谱统计参数设计滤波器外,也可以在获取到被试脑电信号后,对信号进行频域分析,观察其频谱分布,以确定实际的有效频带范围,选择最佳的滤波器截止频率或通带参数,实现自适应滤波。经过数字滤波后的脑电信号,可以大幅度地减少各类生理性噪声及外部随机干扰的影响,提高后续用于特征提取和模型训练的信号质量。例如,一个被试的原始脑电信号存在0-5Hz的低频眼电噪声以及120-200Hz的高频肌电噪声。针对这一情况,可以设计一组1-30Hz的低通滤波器和一组低于100Hz的高通滤波器进行级联滤波。处理后的干净脑电信号可以更好地保留α、β、γ波等关键节律成分,提升情感相关特征的可分析性。

步骤S103，根据频域数据在第一预设频率范围中确认目标频率范围，放大目标频率范围对应的时域数据，根据目标频率范围对应的频域数据和放大后的时域数据获取第二特征数据。

通过分析脑电信号对应的第一特征数据,可以确定哪些目标频率范围对情感识别任务具有关键作用，进而对目标频率范围对应的时域数据进行放大，能够为后续构建频域特征提供依据。

在一些实施例中，所述第一预设频率范围至少包括α波频率范围、β波频率范围和γ波频率范围；所述步骤S103包括步骤S1031至步骤S1032，具体如下：

步骤S1031，分别获取所述α波频率范围对应的频域数据的第一能量增强值、所述β波频率范围对应的频域数据的第二能量增强值和所述γ波频率范围对应的频域数据的第三能量增强值。

通过FFT分析,可以观察到脑电信号的能量主要集中在δ波(0-4Hz)、θ波(4-8Hz)、α波(8-13Hz)、β波(13-30Hz)、γ波(30-50Hz)等不同频率节律对应频带中。在本申请所提供的方法中，参照现有报道，认为上述脑电节律与人类的情绪高度相关。例如,α波与个体放松状态相关,β波与积极情绪相关,γ波与焦虑、紧张等负面情绪相关。因此,分别分析α波、β波和γ波的脑电信号FFT功率谱P(k)作为第一能量增强值、第二能量增强值和第三能量增强值。其中关于能量增强值为信号的功率谱，即各频点上幅值的平方，其计算公式如下：

P(k) = |X(k)|^2；

其中，P(k)为能量增强值；k为频率索引；X(k)为第k个频点上的FFT转换系数， P(k)用于反映每个频率k上的信号能量分布。

步骤S1032，根据所述第一能量增强值、第二能量增强值和第三能量增强值中最大值对应的频率范围确定为所述目标频率范围。

通过确定α波、β波和γ波的第一能量增强值、第二能量增强值和第三能量增强值，可以确定在第一能量增强值、第二能量增强值和第三能量增强值的最大值的频率范围为目标频率范围[fmin, fmax]，目标频率范围对情感识别任务具有关键作用。这些频段通常与α、β、γ等节律的频带相关。本申请通过确定这些关键高频范围,为后续构建频域特征提供依据。

示例性的，所提供的方法先进行2048点FFT,获取0-100Hz的完整功率谱P(k)。然后分析α波(8-13Hz)、β波(13-30Hz)、γ波(30-50Hz)这三频段在不同情感状态下的相对能量大小变化。如果发现在负性情绪刺激下,γ波段的相对能量增强百分比最大,则确定关键频带范围为[30Hz, 50Hz],在后续特征提取中,增强这一频率范围的权重,以提高对负性情感的识别效果。

可选地，本申请为放大所述目标频率范围对应的时域数据，通过获取所述目标频率范围对应的时域数据在预设指数变换函数的指数系数，增大所述指数系数已完成对所述目标频率范围对应的时域数据的放大；所述预设指数变换函数为：

其中，所述为所述时域数据、为所述第一预设频率的时域数据的缩放比例、为所述指数系数、为指数函数、为时域数据对应的幅值。

为加强时频矩阵中关键高频范围的情感相关特征,本授权采用指数映射作为非线性变换函数,例如选择γ波段(30-50Hz)作为关键高频范围;y为经指数函数转换后的输出结果。通过调节参数b的正负值,可以实现对输入x对应的频率范围进行放大或缩小的非线性映射。

在一些实施例中，例如在通过分析确定γ波段(30-50Hz)对当前情感识别任务更为敏感,需要增强该频带在时频矩阵中的表征。本申请通过在时频矩阵中提取γ波段对应的时频分量幅值x,作为指数映射的输入。设置参数a=1保持总体比例不变,参数b取正值0.5构建指数增益映射函数。之后,将γ波段的输入幅值x代入指数函数y = exp(0.5x)进行非线性变换,得到新的输出y。这里,随着x的增长,指数函数可实现输出y对输入x的放大映射,达到增强γ波段时频特征的目的。再将映射后的γ波段时频分量y组合回原始时频矩阵中对应的时频位置,取代原始的γ波段分量,从而获得了增强了关键γ频带信息的新时频矩阵S_γ(t,f)。

为验证参数设定的有效性,可视化对比原始时频矩阵和指数映射增强后的矩阵在γ波段的时频图。在一段实验脑电信号的负性情绪刺激对应的时刻,原始γ波段时频图中存在一个较弱的短时功率升高部分,代表潜在的负面情感波动特征。经过指数变换后,同一时刻的γ波段时频图中,该脉冲特征被明显放大,波动模式较原始图更加清晰可辨,有效提升了该关键情感特征的识别程度。

相比线性映射,定制的指数变换函数可针对性地对时频矩阵中关键频率维度进行非线性放大,从而增强对情感识别任务更为敏感的频带。该技术手段可以提高关键特征的表达能力和可分离性,为后续构建识别模型提供含更明显情感信息的输入。

在一些实施例中，在所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围之前，所述方法还包括：对所述第一特征数据进行一阶差分计算，获取第一特征数据对应的一阶差分值；对所述第一特征数据进行二阶差分计算，获取第一特征数据对应的加速度值；对所述第一特征数据分别进行时域微分和频域微分，获取第一偏导值和第二偏导值；根据所述一阶差分值、加速度值、第一偏导值和第二偏导值获取波动特征矩阵，根据所述波动特征矩阵更新所述第一特征数据。

由于情绪相关的脑电信号通常表现出突发性的波动特点。为增强这一关键特征,可以对本申请实施例对应的时频表达进行差分运算,提取其中的波动成分。

示例性的，在γ频带信号为目标频带时，首先通过一阶差分可以表示第一特征数据对应的时频矩阵在相邻时刻的变化趋势。设在时间t时刻,频率f处的时频矩阵值为S(t,f),那么进行一阶差分计算:

ΔS(t,f) = S(t,f) - S(t-1,f)；

ΔS(t,f)表示S的一阶差分结果，这反映了该时刻该频率分量相对于前一时刻的变化量。情感相关的突发脑电波动会引起时频矩阵在局部产生大幅度的一阶差分值。

进一步进行二阶差分,可以得到第一特征数据的特征矩阵的加速度表示:

δS(t,f) = ΔS(t,f) - ΔS(t-1,f)

δS(t,f)表示ΔS的二阶差分结果，通过计算当前时刻与前两刻的差分差值,表征时频矩阵变化的加速度。

以上通过连续的一阶二阶差分运算,可以突出时频矩阵中代表关键情感波动的突发特征。

再者通过差分技术扩展到双变量函数,进行部分偏导数计算。例如对时频矩阵进行时域微分:∂S/∂t = S(t,f) - S(t-1,f)以表示特定频率分量随时间的变化波动。

类似可进行频域微分:∂S/∂f = S(t,f) - S(t,f-1)反映固定时间下各频率分量的相关变化。结合时域和频域双变量微分,可以进一步增强特征矩阵的动态波动效果。

然后将上述差分、偏导结果叠加,获得一个包含综合动态波动信息的新特征矩阵P(t,f)。差分运算后的时频矩阵作为新的特征层,表示去除稳态背景的脑电数据波动成分。相比原始线性时频特征,它显著增强了关键的情绪相关突发特征,提供了更高识别度的特征表达。

最后在波动特征矩阵P(t,f)γ频带进行一阶差分得到Pγ(t,f),获得该频率分量的突发动态变化过程。具体的：取P(t,f)矩阵中γ频带(30-50Hz)对应的元素,即Pγ(t,f)子矩阵。对Pγ(t,f)子矩阵进行一阶差分计算:ΔPγ(t,f) = Pγ(t,f) - Pγ(t-1,f)。

进而通过ΔPγ(t,f)的计算能够在γ频带信号为目标频带时在相邻时间点之间的差分。以此来有效表达关键的情绪波动特征。之所以仅进行一阶差分,是因为γ频带本身已经是通过前期分析确定的关键情感相关频带,只需要突出其突发性变化,而不需要二阶差分来进一步放大特征。相比源时频矩阵,新提取的波动特征可以有效凸显关键的情感相关成分,去除稳态背景干扰,提高情感识别的性能。

需要说明的是，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：根据所述波动特征矩阵在所述目标频率范围进行一阶差分，获取目标波动数据；将更新后的所述第一特征数据和所述目标波动数据进行特征融合，获取目标特征数据。

由于上述分析中F(t,f)包含了整体时频信息,反映信号的基础时频分布特征。但是单独使用F(t,f)无法清晰表达出γ频带这一对情绪识别最敏感的区域内部的细微变化。ΔPγ(t,f)提取的则是γ频带内部的动态波动特征,它通过差分强调了γ带内关键点的突发变化。 F(t,f)和ΔPγ(t,f)各自表达了时频信号的两个不同方面:整体时频特性和γ带内部动态特点。分别使用两者可能会丢失或混淆对方所特有的信息。因此，需要将其与融合,形成一个信息更丰富的新特征表达S'(t,f)。

具体来说,可以建立一个双输入的特征融合模块,其中第一个输入通道为新的综合时频表达矩阵F(t,f),它反映了时频分布特征;第二个输入通道为上一步得到的时频矩阵γ波段的一阶差分结果ΔPγ(t,f),它通过差分运算提取出了矩阵中代表情感波动的突发变化成分。

特征融合模块可以采用注意力机制来动态学习两个特征输入在不同时刻和频带上的权重系数,并进行加权融合。首先,分别输入时频表达特征F(t,f)和波动特征ΔPγ(t,f)到注意力网络,网络包括两层卷积层来提取特征图的局部特征,然后接一个全连接层输出注意力权重矩阵A(t,f)和B(t,f),其中A(t,f)代表时频表达特征F在每个时空点(t,f)上的权重系数,B(t,f)代表波动特征ΔPγ在每个时空点上的权重系数。最后进行加权融合:

S'(t,f) = A(t,f) * F(t,f) + B(t,f) * ΔPγ(t,f)；

其中,S'(t,f)代表融合得到的新特征表达。注意力网络将会通过训练学习给予代表关键情感波动的时空点以较高的权重B,抑制不相关时空点的权重,从而在融合特征S'(t,f)中增强这些关键情感波动特征。

例如,假设收集了一段被试在受到正面情绪刺激时的EEG信号。进行特征提取融合后得到时频矩阵F(t,f),可以看出全波段都呈较弱的正面表征;观察γ频带动态特征ΔPγ(t,f),发现在2-3秒出现一个明显的正面波动峰值;将F(t,f)和ΔPγ(t,f)输入注意力网络进行融合:网络训练后,会懂得在2-3秒的γ频带区域给ΔPγ(t,f)一个高权重；根据这一权值,在加权融合后形成S'(t,f);由于增强了2-3秒γ频带的贡献,S'(t,f)在该区域内正面特征会比F(t,f)更明显;这样,将原本隐藏在ΔPγ(t,f)中的那一处关键正面情绪波动特征,通过融合获得更清晰的表达。相比单一使用原始时频矩阵或波动特征,这种融合特征可以为后续的识别任务提供更丰富和明显的特征输入。

本申请实施例通过在时频表达基础上,采用差分运算增强波动特征,提取出代表情感波动的关键特征。然后应用注意力网络实现时频表达特征和波动特征的动态加权融合,突出重要特征区间。进一步在局部时间窗口内学习特征相关性,生成匹配干扰度矩阵,指导高层注意力模块对各时刻频带进行加权,获得增强后的新特征表达。

上述方法实现分层注意力设计，可以深入挖掘情感特征的多样性。底层注意力提升了时频表达和波动特征的融合效果。高层注意力可以捕捉更大范围内的特征关联,动态调节不同时空点的权重分布。相比传统的平坦注意力结构,分层设计通过跨层级的协同学习,可以更全面地表示复杂情感特征。

步骤S104，将第一特征数据和第二特征数据进行特征融合，获取目标特征数据。

除了增强关键频带外,不同脑电频率区间也可能含有互补的情感信息。因此需要进行跨频带的特征融合,学习不同频率成分之间的内在关联,获得一个综合性的目标特征数据。

在一些实施例中，所述步骤S104包括步骤S1041至步骤S1042，具体如下：

步骤S1041，将所述第一特征数据和第二特征数据输入至预训练的特征融合模型，所述特征融合模型存储有权重映射关系，所述权重映射关系包括预设权重值和所述预设权重值对应的频率范围。

本申请通过构建一个多输入神经网络作为特征融合模型,特征融合模型的网络结构可以采用多层前馈全连接结构,例如包含2个隐藏层,隐层节点数分别为256和128。网络的训练过程基于大量标注了情感类别标签的时频表达样本。通过反向传播算法训练网络参数,学习不同输入频带特征之间的内在相关性,自动获得对情感识别任务贡献不同的权重。α波段对应输入特征的权重可能较小,而β、γ频段对应输入特征的权值较大,表示这两个频带对情感识别更敏感。最后,网络的输出层整合来自不同频带的加权特征,形成一个新的综合时频表达F(t,f)，相比直接堆叠时频矩阵的各频带表达,这种融合方式可突出对情感识别更敏感的时频成分,获得一个综合性的新特征表达,为后续提高识别准确率提供信息更丰富的输入。

步骤S1042，获取所述特征融合模型根据所述权重映射关系对所述第一特征数据和第二特征数据进行特征融合所生成的所述目标特征数据。

特征融合模型的输入包含原始脑电时频表达矩阵 S(t,f)、增强后的γ频带矩阵S_γ(t,f)、和其他频带时频子图如α波段的S_α(t,f),β波段的S_β(t,f)。进而实现跨频带的特征融合，提升情感识别的准确率。

示例性的，在一些实施例中，所述步骤S104包括：根据所述α波频率范围、所述β波频率范围和所述γ波频率范围中除去所述目标频率范围之外的频率范围对应的频域数据和时域数据获取第三特征数据；将所述第一特征数据、第二特征数据和第三特征数据进行特征融合，获取目标特征数据。

之所以将第一特征数据、第二特征数据和第三特征数据进行融合是因为以下原因：

（1）原始脑电信号的时频表达矩阵S(t,f)包含了δ、θ、α、β、γ等完整的频带信息，这是最原始和完整的特征表达,反映了全频带的时频分布情况。

（2）增强后的γ频带特征矩阵S_γ(t,f)通过非线性映射,进一步强化了γ频带中的情感相关特征。本申请前述分析表明γ频带与负面情绪高度相关。所以S_γ(t,f)具有很强的负面情感检测能力。

（3）时频矩阵的其它频带时频子图,如S_α(t,f)和S_β(t,f),表示了除γ频带外α、β等其他频段的时频信息。研究表明,α频带与个体放松状态相关,β频带与积极情绪相关。所以它们包含了其他互补的情感信息。

通过将上述三者进行融合,可以更充分地利用不同频带的互补情感信息。例如γ频带强调负面情绪,α频带强调正面放松情绪,综合两者可以更准确判别情感状态。这种融合特征相比单一频带特征,可以提升情感识别的准确率。

步骤S105，将目标特征数据输入至预训练的情感识别模型，情感识别模型根据目标特征数据生成情感识别结果，完成对脑电信号的情感识别；其中，情感识别结果至少包括正向情感、负面情感和中性情感。

通过构建卷积神经网络或循环神经网络作为情感识别模型。情感识别模型的网络结构包括卷积层、池化层。具体的，设置多组卷积核实现多尺度感受野,学习不同尺度的模式关系。卷积层后接池化层下采样,进一步提取影响特征。设置多个卷积池化层堆叠,实现抽象程度的层次提升。全连接层将最后一个卷积池化层输出加权求和,分解成不同类别的系数,输出各类别概率。模型评估使用测试集,比较预测类别与真实类别,计算分类准确率、敏感度、召回率等指标,进行量化评价。最终，将新特征矩阵S''(t,f)输入训练好的情感预测模型中，输出不同情感类别的预测，如正面、中性、负面情感状态。

在一些实施例中，在步骤S105之前，所述方法还包括：获取所述脑电信号对应的情感信息；将所述目标特征数据输入至待训练的情感识别模型，获取待训练的所述情感识别模型生成的预测情感识别结果；根据所述预测情感识别结果和所述情感信息完成对所述感识别模型的训练。

本申请所提供的方法选择交叉熵作为损失函数,例如采用AdamOptimizer进行优化。训练过程中设置学习率递减和早期停止策略防止过拟合。在模型训练期间,采用交叉验证法将数据随机划分为训练和验证集。每轮迭代结束计算训练集和验证集准确率,观察两者误差大小以追踪过拟合程度。达到最优点时结束训练过程。

需要说明的是，获取所述脑电信号对应的情感信息，可以通过在受试者观看听取刺激序列的过程中,同步采集其脑电活动数据。并让被试者根据自己的主观感受,对当前的情绪状态进行打分,例如使用1-9分表示情绪状态,1分代表非常负面状态,9分代表非常正面状态,5分为中性状态。这些主观打分结果作为情绪标签,记录下刺激类型与情绪标签的对应关系。同时需要控制被试者的姿势动作,避免过多无关的生理活动对信号产生干扰。在采集阶段,要注意对设备进行电磁屏蔽,以减少外界噪声对信号质量的影响。采集到的原始脑电信号经过模数转换器数字化后存储,一般选择250Hz或500Hz的采样频率进行离散化。

在一些实施例中，所述目标特征数据包括目标特征矩阵，在步骤S105之前，所述方法还包括：对所述目标特征矩阵以预设时间间隔进行特征分割，获取多个子目标特征矩阵；获取每个所述子目标特征矩阵内的特征向量，根据所述特征向量计算所述子目标特征矩阵对应的相关性系数矩阵和散度矩阵；根据所述相关性系数矩阵和散度矩阵获取所述子目标特征矩阵对应的匹配干扰度矩阵；根据所述匹配干扰度矩阵输入至预训练的注意力融合模型，所述注意力融合模型根据所述匹配干扰度矩阵生成注意力权重矩阵，并基于自注意力机制根据所述注意力权重矩阵和所述目标特征矩阵进行融合，以更新所述目标特征矩阵。

示例性的，在获得融合后的新特征矩阵S'(t,f)后,需要进一步学习其局部区域内的特征表达,以提供关键的局部特征。具体采用滑动窗口的方式对特征矩阵S'进行分割,设窗口长度为L,滑动步长为τ。

滑动窗口将整个特征矩阵S'按照时间维度划分为多个长度为L的局部区间,每个窗口表示的都是原特征在一个局部连续时间段内的表达。窗口长度L需要根据原信号的时间相关性来设定,如可取2-3秒。滑动步长τ控制窗口间的重叠大小,通常可取与L相等或者更小,如L的一半,以保证窗口间信息的连续性。

在截取到的每个长度为L的局部滑动窗口S'_w(t,f)内,可以计算窗口内特征向量之间的皮尔逊相关系数矩阵,以评估局部样本在线性相关性上的互作用情况。皮尔逊相关系数反映了两变量间的线性依赖性。设窗口内任意两特征向量分别为X和Y,则其皮尔逊相关系数计算为：

r = cov(X,Y) / (σ_X * σ_Y)；

其中,cov表示X和Y的协方差,σ_X和σ_Y分别为X和Y的标准差。相关系数矩阵通过比较每个特征向量与其它所有向量的相关关系,反映出当前窗口内特征向量线性相关性的整体分布情况。

需要说明的是，相关性系数计算还可以采用Spearman相关系数、相干性方法、Granger因果性等方法，本申请实施例对相关性系数的计算方法不作限制。

此外,还计算每个滑动窗口内特征向量的JS散度矩阵,来评估区域内特征分布的一致性。JS散度利用两个概率分布的相对熵,定义为:

JS(P||Q) = (KL(P||M) + KL(Q||M))/2；

其中,M=(P+Q)/2,KL为相对熵。JS散度范围在0到1,值越小表示两个分布越一致。计算窗口内向量两两JS散度,获得反映分布一致性的矩阵。

上述相关系数和JS散度矩阵可综合构成一个匹配干扰度矩阵Z,它反映了当前局部滑窗区域内特征向量之间的统计相关性和分布一致性,能够指导后续的注意力模块对关键特征的识别与聚焦。具体的：对每个滑窗窗口内的多个特征向量,计算它们之间的皮尔逊相关系数,形成一个相关系数矩阵。再计算这个窗口内各特征向量之间的JS散度值,组成一个JS散度矩阵。对这两个矩阵内的每一个元素进行标准化处理,使得它们的值都在同一范围内。然后,对标准化后的两个矩阵对应的每个元素位置进行平均操作。通过这一步聚合,得到了一个综合矩阵,这个矩阵利用相关系数和JS散度这两个指标给出了每个特征与其他特征的整体匹配程度。重复上述过程,就可以为所有滑窗窗口计算出这样的综合矩阵。这些综合矩阵就是定义的匹配干扰度矩阵Z。

示例性的，在通过滑动窗口方法得到了特征矩阵在局部区域内的匹配干扰度矩阵Z之后, 匹配干扰度矩阵Z反映了当前窗口内部特征向量之间的统计相关性及分布一致性。基于该匹配矩阵Z,可以构建动态注意力模块以聚焦增强关键情感特征。

注意力模块的两个输入分别为匹配干扰度矩阵Z和新特征表达矩阵S'(t,f)。其中,匹配矩阵Z可以指导注意力模块评估特征矩阵S'(t,f)中不同时刻和频带对情感识别任务的重要性。具体来说,注意力模块将匹配矩阵Z作为输入,通过一个多层全连接网络来学习生成注意力权重矩阵A。该网络包括输入层、两个隐藏层以及输出层,隐层节点数分别为128和64,激活函数采用ReLU。输出层经过Softmax操作生成注意力权重矩阵A,维度与输入匹配矩阵Z和原始特征S'相同。然后进行加权融合生成新特征矩阵S''(t,f):

S''(t,f) = ΣΣ A(i,j) * S'(t+i,f+j)；

其中，A(i,j)表示注意力矩阵中对应时刻t、频点f上的权重值,S''(t,f)是融合加权后的新特征矩阵。注意力网络可以学习识别匹配矩阵Z中哪些时空区域的特征具有更强的相关性和一致性,并在注意力矩阵A中给予这些关键区域更高的权重。在融合特征S''(t,f)中,这些权重更大的时刻和频带也会被相应加强。

例如,给定新特征表达矩阵S'(t,f)和其局部匹配矩阵Z注意力网络发现在时刻t1、频率f1对应的区域内,Z表明出更显著的特征一致性,则注意力矩阵A中时刻t1、频率f1对应的权重A(t1,f1)会输出一个较大值。与之对应的原始特征矩阵S'(t,f)中的这一时空区域(t1,f1)在融合特征S''(t,f)中会被该较大注意力权重加强。

注意力模块的参数可以通过反向传播算法进行训练更新,使学习到的注意力矩阵A能够更准确地强化特征矩阵S'(t,f)中对情感识别作用显著的时空区域。经过动态注意力聚焦后,新特征矩阵S''(t,f)中代表关键情绪波动的局部特征将被增强表达,为后续本申请的方法在情绪识别的分类任务上提供更鲁棒可靠的特征输入。

上述方法通过融合了时频分析、皮尔逊相关性、JS散度度量等多种特征表达手段。多模型融合提高了特征的鲁棒性,增强了情感表示的多样性。经过层层特征深化,最终形成的特征表达矩阵集成了原始脑电数据的多方面信息,尤其对关键的情感相关特征进行了有效增强。

本实施例中，通过设计分层动态注意力多模态融合的情感识别方案,可以显著提升关键情感特征的表达和识别能力。相比单一模型,本申请集成的多个特征提取和融合模块协同工作,形成了一个信息丰富而有机融合的特征表示空间，进而可以更全面地表示复杂情感特征。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了执行上述方法实施例对应的基于脑电信号的情感识别方法，以实现相应的功能和技术效果。参见图2，图2示出了本申请实施例提供的一种基于脑电信号的情感识别***的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的基于脑电信号的情感识别***，包括：

刺激模块201，用于获取用户在预设刺激源下产生的脑电信号；其中，所述预设刺激源包括正向情感刺激源、负向情感刺激源和中性情感刺激源;

处理模块202，用于对所述脑电信号进行特征处理，获取所述脑电信号对应的第一预设频率范围的第一特征数据；其中，所述第一特征数据包括频域数据和时域数据；

确认模块203，用于根据所述频域数据在所述第一预设频率范围中确认目标频率范围，放大所述目标频率范围对应的时域数据，根据所述目标频率范围对应的频域数据和放大后的时域数据获取第二特征数据；

融合模块204，用于将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据;

识别模块205，用于将所述目标特征数据输入至预训练的情感识别模型，所述情感识别模型根据所述目标特征数据生成情感识别结果，完成对所述脑电信号的情感识别；其中，所述情感识别结果至少包括正向情感、负面情感和中性情感。

在一些实施例中，所述第一预设频率范围至少包括α波频率范围、β波频率范围和γ波频率范围；所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围，所述确认模块203，具体用于：

分别获取所述α波频率范围对应的频域数据的第一能量增强值、所述β波频率范围对应的频域数据的第二能量增强值和所述γ波频率范围对应的频域数据的第三能量增强值；

根据所述第一能量增强值、第二能量增强值和第三能量增强值中最大值对应的频率范围确定为所述目标频率范围。

示例性的，所述融合模块204，具体用于：

根据所述α波频率范围、所述β波频率范围和所述γ波频率范围中除去所述目标频率范围之外的频率范围对应的频域数据和时域数据获取第三特征数据；

将所述第一特征数据、第二特征数据和第三特征数据进行特征融合，获取目标特征数据。

在一些实施例中，所述融合模块204，具体用于：

将所述第一特征数据和第二特征数据输入至预训练的特征融合模型，所述特征融合模型存储有权重映射关系，所述权重映射关系包括预设权重值和所述预设权重值对应的频率范围；

获取所述特征融合模型根据所述权重映射关系对所述第一特征数据和第二特征数据进行特征融合所生成的所述目标特征数据。

在一些实施例中，所述基于脑电信号的情感识别***还包括差分模块206，在所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围之前，所述差分模块206用于：

对所述第一特征数据进行一阶差分计算，获取第一特征数据对应的一阶差分值；

对所述第一特征数据进行二阶差分计算，获取第一特征数据对应的加速度值；

对所述第一特征数据分别进行时域微分和频域微分，获取第一偏导值和第二偏导值；

根据所述一阶差分值、加速度值、第一偏导值和第二偏导值获取波动特征矩阵，根据所述波动特征矩阵更新所述第一特征数据。

示例性的，所述融合模块204，具体用于：

根据所述波动特征矩阵在所述目标频率范围进行一阶差分，获取目标波动数据；

将更新后的所述第一特征数据和所述目标波动数据进行特征融合，获取目标特征数据。

在一些实施例中，所述基于脑电信号的情感识别***还包括分割模块207，在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述分割模块207用于：

对所述目标特征矩阵以预设时间间隔进行特征分割，获取多个子目标特征矩阵；

获取每个所述子目标特征矩阵内的特征向量，根据所述特征向量计算所述子目标特征矩阵对应的相关性系数矩阵和散度矩阵；

根据所述相关性系数矩阵和散度矩阵获取所述子目标特征矩阵对应的匹配干扰度矩阵；

根据所述匹配干扰度矩阵输入至预训练的注意力融合模型，所述注意力融合模型根据所述匹配干扰度矩阵生成注意力权重矩阵，并基于自注意力机制根据所述注意力权重矩阵和所述目标特征矩阵进行融合，以更新所述目标特征矩阵。

在一些实施例中，所述情感识别模型包括卷积神经网络或循环神经网络的任一项；所述基于脑电信号的情感识别***还包括训练模块208，在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述训练模块208用于：

获取所述脑电信号对应的情感信息；

将所述目标特征数据输入至待训练的情感识别模型，获取待训练的所述情感识别模型生成的预测情感识别结果；

根据所述预测情感识别结果和所述情感信息完成对所述感识别模型的训练。

上述的基于脑电信号的情感识别***可实施上述方法实施例的基于脑电信号的情感识别方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。

图3为本申请一实施例提供的计算机设备的结构示意图。如图3所示，该实施例的计算机设备3包括：至少一个处理器30（图3中仅示出一个）、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意方法实施例中的步骤。

所述计算机设备3可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。

在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于脑电信号的情感识别方法，其特征在于，包括：

获取用户在预设刺激源下产生的脑电信号；其中，所述预设刺激源包括正向情感刺激源、负向情感刺激源和中性情感刺激源；

对所述脑电信号进行特征处理，获取所述脑电信号对应的第一预设频率范围的第一特征数据；其中，所述第一特征数据包括频域数据和时域数据；

根据所述频域数据在所述第一预设频率范围中确认目标频率范围，放大所述目标频率范围对应的时域数据，根据所述目标频率范围对应的频域数据和放大后的时域数据获取第二特征数据；

将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据；

将所述目标特征数据输入至预训练的情感识别模型，所述情感识别模型根据所述目标特征数据生成情感识别结果，完成对所述脑电信号的情感识别；其中，所述情感识别结果至少包括正向情感、负面情感和中性情感；

所述第一预设频率范围至少包括α波频率范围、β波频率范围和γ波频率范围；所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围，包括：

分别获取所述α波频率范围对应的频域数据的第一能量增强值、所述β波频率范围对应的频域数据的第二能量增强值和所述γ波频率范围对应的频域数据的第三能量增强值；

根据所述第一能量增强值、第二能量增强值和第三能量增强值中最大值对应的频率范围确定为所述目标频率范围；

所述目标特征数据包括目标特征矩阵；在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述方法还包括：

对所述目标特征矩阵以预设时间间隔进行特征分割，获取多个子目标特征矩阵；

获取每个所述子目标特征矩阵内的特征向量，根据所述特征向量计算所述子目标特征矩阵对应的相关性系数矩阵和散度矩阵；

根据所述相关性系数矩阵和散度矩阵获取所述子目标特征矩阵对应的匹配干扰度矩阵；

根据所述匹配干扰度矩阵输入至预训练的注意力融合模型，所述注意力融合模型根据所述匹配干扰度矩阵生成注意力权重矩阵，并基于自注意力机制根据所述注意力权重矩阵和所述目标特征矩阵进行融合，以更新所述目标特征矩阵。

2.如权利要求1所述的方法，其特征在于，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

根据所述α波频率范围、所述β波频率范围和所述γ波频率范围中除去所述目标频率范围之外的频率范围对应的频域数据和时域数据获取第三特征数据；

将所述第一特征数据、第二特征数据和第三特征数据进行特征融合，获取目标特征数据。

3.如权利要求1所述的方法，其特征在于，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

将所述第一特征数据和第二特征数据输入至预训练的特征融合模型，所述特征融合模型存储有权重映射关系，所述权重映射关系包括预设权重值和所述预设权重值对应的频率范围；

获取所述特征融合模型根据所述权重映射关系对所述第一特征数据和第二特征数据进行特征融合所生成的所述目标特征数据。

4.如权利要求1所述的方法，其特征在于，在所述根据所述频域数据在所述第一预设频率范围中确认目标频率范围之前，所述方法还包括：

对所述第一特征数据进行一阶差分计算，获取第一特征数据对应的一阶差分值；

对所述第一特征数据进行二阶差分计算，获取第一特征数据对应的加速度值；

对所述第一特征数据分别进行时域微分和频域微分，获取第一偏导值和第二偏导值；

根据所述一阶差分值、加速度值、第一偏导值和第二偏导值获取波动特征矩阵，根据所述波动特征矩阵更新所述第一特征数据。

5.如权利要求4所述的方法，其特征在于，所述将所述第一特征数据和第二特征数据进行特征融合，获取目标特征数据，包括：

根据所述波动特征矩阵在所述目标频率范围进行一阶差分，获取目标波动数据；

将更新后的所述第一特征数据和所述目标波动数据进行特征融合，获取目标特征数据。

6.如权利要求1所述的方法，其特征在于，所述情感识别模型包括卷积神经网络或循环神经网络的任一项；在所述将所述目标特征数据输入至预训练的情感识别模型之前，所述方法还包括：

获取所述脑电信号对应的情感信息；

将所述目标特征数据输入至待训练的情感识别模型，获取待训练的所述情感识别模型生成的预测情感识别结果；

根据所述预测情感识别结果和所述情感信息完成对所述情感识别模型的训练。

7.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的情感识别方法的步骤。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的情感识别方法的步骤。