CN117195099A - 一种融合多尺度特征的脑电信号情感识别算法 - Google Patents
一种融合多尺度特征的脑电信号情感识别算法 Download PDFInfo
- Publication number
- CN117195099A CN117195099A CN202311156664.2A CN202311156664A CN117195099A CN 117195099 A CN117195099 A CN 117195099A CN 202311156664 A CN202311156664 A CN 202311156664A CN 117195099 A CN117195099 A CN 117195099A
- Authority
- CN
- China
- Prior art keywords
- convolution
- dimensional feature
- feature matrix
- size
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 230000002441 reversible effect Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 4
- 239000008358 core component Substances 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 5
- 239000000945 filler Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 19
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 9
- 230000004927 fusion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000037007 arousal Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种融合多尺度特征的脑电信号情感识别算法，通过引入可变形卷积、注意力机制和自下而上特征金字塔网络，有效地提升了基于脑电图信号的情感识别性能。步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息。
Description
技术领域
本发明属于深度学习领域，涉及情感识别技术，具体为一种融合多尺度特征的脑电信号情感识别算法。
背景技术
情感的产生源于人类心理活动，对人类的精神状态、认知和决策产生着深远的影响。情感识别在人机交互领域具有广泛的应用和潜力，因为有效的识别情感可以提升计算机的智能水平。在情感识别中，面部表情和语音信号容易受到个体主观控制的影响，而脑电信号不受个体主观性的影响，能更加客观地反映出个体真实的情感状态。由于脑电图(EEG)信号具有弱振幅、背景噪声复杂、随机性、显著个体差异性以及在形成过程中包含丰富的时间和空间信息等特点，使得实现可靠识别具有挑战性。
残差网络(Residual Network，ResNet)是由He等人于2015年提出的一种深度卷积神经网络结构，旨在解决深层网络中的梯度消失和梯度***等问题。其核心思想是引入了残差连接，通过跨层直接传递信息，有效地减轻了信息丢失问题，从而使网络能够训练更深的层次。ResNet的出现极大地推动了深度神经网络的发展，使得模型在更复杂的任务上取得了更好的性能。
特征金字塔网络(Feature Pyramid Network，FPN)是一种用于多尺度特征融合的网络结构，由Lin等人于2017年提出。它通过构建金字塔式的特征层级，将来自不同尺度的特征进行融合，从而在图像分析任务中实现更好的特征表达。FPN在目标检测、图像分割等领域取得了显著的成果，提高了模型对于不同尺度和物体大小的适应能力。
这两类网络模型虽然在脑电信号情感识别方面取得了不错的效果，但仍然存在一些不足。首先，在低维特征矩阵映射到高维特征矩阵过程中易造成信息丢失。其次，信号的时频域和空域特征提取不足，且传统卷积核的形状只能是正方形或矩形，不能根据识别目标动态改变。最后，这些研究往往将不同的电极通道看作独立的个体，对电极通道之间的相关性研究不够充分。以上这些不足导致了其脑电信号情感识别算法性能不高。
发明内容
为了克服现有技术中存在的不足，本发明提供一种融合多尺度特征的脑电信号情感识别算法，通过引入可变形卷积、注意力机制和自下而上特征金字塔网络，有效地提升了基于脑电图信号的情感识别性能。
本发明为解决其技术问题采用的技术方案是：
一种融合多尺度特征的脑电信号情感识别算法，步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息。
进一步的，所述将原始脑电信号转换为三维特征矩阵，步骤包括：
将前3s脑电信号作为基准，采用滑动窗口对后60s脑电信号进行分割，滑动窗口步长设置为1s，分割的脑电信号片段之间没有重复，每个片段都被分配有与原始脑电信号相同的标签；然后，采用Butterworth带通滤波器将每个片段划分为若干个频带，分别从不同的频带中提取脑电信号通道的微分熵特征；之后，将所有脑电信号通道转换为2D矩阵，将从不同脑电信号通道中提取的微分熵特征按其相对位置坐标放入2D矩阵中对应的位置，2D矩阵中未使用的位置设为0，构造出三维特征矩阵，最后将构造的三维特征矩阵输入到所述基于残差网络的多尺度可变形卷积交互注意网络模型中。
进一步的，所述基于残差网络的多尺度可变形卷积交互注意网络模型具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构、第二层残差结构、第三层残差结构、第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元、全连接层和softmax层得到最终脑电信号情感类别结果。
进一步的，网络模型输入为9×9×4的三维特征矩阵，经过64个卷积核大小为7×7的卷积操作后变为9×9×64大小，然后经过第一层残差结构保持9×9×64大小不变，经过第二层残差结构变为5×5×128大小，经过第三层残差结构变为3×3×256大小，经过第四层残差结构变为2×2×512大小；之后每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致。
进一步的，所述每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致，具体为：
第一层残差结构至第四层残差结构输出的三维特征矩阵经自下而上特征金字塔网络卷积操作后得到的三维特征矩阵依次记为T2、T3、T4、T5，从T2开始进行下采样处理：
其中，m为输出特征矩阵的大小；n为输入特征矩阵的大小；p表示padding，为填充像素的大小；f表示filter，为卷积核的大小；s表示strides，为滑动步长；对T2下采样后，与T3进行张量相加，得到三维特征矩阵D3；以相同的方式对D3进行处理，与T4进行相加得到D4，以此类推，得到特征图D5，最后经过3*3的卷积得到尺寸更小，信息更丰富的三维特征矩阵P5。
本发明的有益效果包括：
使用改进后的基于残差网络的多尺度可变形卷积交互注意网络模型(ResidualNetwork based Multi-scale Deformable Convolutional Interacting AttentionNetwork，MDCNAResnet)，该网络模型结合了可变形卷积(Deformable Convolution，DCN)、特征金字塔网络(Feature Pyramid Network，FPN)和高效通道注意力机制(EfficientChannel Attention,ECANet)技术，并继承了残差网络(Residual Network，ResNet)的思想，命名为MDCNAResnet。在这个网络模型中，首先使用ECANet来捕获通道间的重要信息，然后将其与DCN结合以获得更丰富的空间特征，DCN操作有助于捕获脑电信号中的非线性变化，并允许卷积核根据数据的空间分布进行自适应采样。此外，还将双向门控循环单元(Bidirectional Gated Recurrent Unit，BiGRU)引入网络模型中，从正向和反向两个方向提取上下文语义信息，这样，实现了多尺度空间特征和上下文语义特征的融合。在网络模型的顶部，应用自下而上特征金字塔网络(BU-FPN)来进一步融合多尺度特征，该网络模型通过自下而上的下采样过程，逐渐提取和融合不同尺度的特征，从而提高了模型对细节和整体信息的捕获能力。最终，通过全连接层和softmax分类层来预测情感类别。基于此，该方案具有以下特点和好处：
该算法利用多尺度特征融合的方法，能够从不同时间尺度和抽样频率的脑电信号中提取信息，允许模型更全面地理解脑电信号，从而提高了情感识别的准确性，情感识别通常需要考虑从瞬时情感到长期情感的变化，多尺度特征融合有助于捕获这些变化。残差网络和可变形卷积有助于从原始脑电信号中学习高级特征，提高了模型对情感相关信息的敏感性，残差网络还有助于缓解梯度消失问题，使训练更加稳定。引入高效通道注意力机制有助于模型识别脑电信号中最重要的通道(电极)信息，从而减少了噪音的影响，并提高了情感识别的鲁棒性，使模型能够更好地关注与情感相关的脑电信号。使用特征金字塔网络可以融合来自不同卷积层的特征，使模型能够同时处理多个抽象层次的信息，有助于提高模型的泛化能力，使其能够更好地适应不同个体和情感状态的脑电信号。引入双向门控循环单元允许模型从正向和反向两个方向提取上下文语义信息，有助于模型更好地理解脑电信号中的时间依赖性信息，提高了情感识别的性能。
综上，该多尺度特征融合的脑电信号情感识别算法提高了情感识别的准确性和鲁棒性，在情感识别任务中取得了显著的改进。
附图说明
图1为本发明算法流程图；
图2为本发明三维特征矩阵的构建流程图；
图3为国际10/20***标准的平面图及其2D矩阵图；
图4为本发明网络模型整体结构图；
图5为本发明网络模型四层残差结构图；
图6为本发明自下而上特征金字塔网络卷积操作流程图；
图7为实施例2不同K值的识别准确率；
图8为本发明网络模型在DEAP数据集上的总体性能图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
提出一种融合多尺度特征的脑电信号情感识别算法，整体算法结构如图1所示。
第一步，参考图2，从原始脑电(EEG)信号中提取微分熵特征搭建三维特征矩阵：
为了从原始多通道EEG信号中生成3D特征矩阵，采用长度为1s的滑动窗口对后60s脑电信号进行分割；滑动窗口步长设置为1s，分割的EEG信号样本之间没有重复，每个片段都被分配有与原始EEG信号相同的标签。然后，用Butterworth带通滤波器将每个片段划分为以下几个频带(θ[4～8Hz],α[8～14HZ],β[14～31Hz],和γ[31～45Hz])，分别从不同的频带中提取EEG通道的微分熵(Differential Entropy(DE))特征。微分熵特征能够区分脑电信号的低频与高频能量，其是香农信息熵-∑xp(x)log(p(x))在连续变量上的推广形式。
假设一个原始的脑电信号被表示为Sn∈Rm×r，其中m和r分别表示电极的数量和原始EEG信号的采样率。对于每组EEG采样信号，我们用1s的滑动窗口计算每个频带的DE特征，因此，EEG片段被转换为DE片段Dn∈Rm×d，其中d表示频带的数量，本实施例将其设置为4。
之后，为了利用电极的空间信息，将所有EEG通道转换为2D网状地图矩阵。本实施例使用32通道的EEG数据，32个通道分别为Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、O2,如图3所示显示了国际10/20***标准的平面图及其2D矩阵。图左侧为国际10/20***，其中实心圆圈标出的EEG电极为DEAP数据集中使用的测试点，空心圆圈是没有使用的测试点。在特征矩阵中，将从不同脑电通道中提取的频域特征按其相对位置坐标放入矩阵中对应的位置，矩阵中未使用电极的位置设为0。因此DE片段Dn被转换为Xn∈Rh×w×d，其中h和w是2D矩阵的高度和宽度，本实施例设置了h＝9，w＝9。最后将构造的三维特征矩阵输入到神经网络模型中。
基于上述实施方案，进一步详细说明：DEAP数据集中，原始EEG信号表示为32(subs)×40(trials)×40(channels)×8064(samples)，其中8064表示128(samples)×63(s)，标签Lables表示为40(trials)×4。对该原始数据进行预处理，从40个通道中提取所需的32个EEG通道的数据，由于人类视觉上的延迟反应，本实施例将前3秒作为基准，提取后60s的EEG信号作为实验数据，预处理后的数据表示为32(subs)×40(trials)×32(channels)×7680(samples)。标签选取效价和唤醒度两个维度，即40(trials)×2。
本实施例采用1s时长对EEG序列进行不重叠分段，即样本划分，每次试验得到60个片段，每个片段包含128个采样点，每个采样点包含32个通道，即每个被试的EEG数据可表示为40×128×60×32，对其进行维度变换，得到2400×32×128的脑电数据，每个被试共有2400个EEG片段，每个片段大小为32×128。对标签进行相同维度的转换，可表示为2400×1。
接下来对该原始特征的四个频带分别提取微分熵特征，然后按照上述方法将32个通道的数据转换成二维网状结构，得到128×2400×9×9的数据表示，4种特征进行拼接后得到三维特征矩阵，其维度为307200×9×9×4，即输入深度模型的样本数为307200，对应标签为307200×1。
第二步，搭建MDCNAResnet-BiGRU网络框架：
MDCNAResnet-BiGRU网络框架具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构、第二层残差结构、第三层残差结构、第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元、全连接层和softmax层得到最终脑电信号情感类别结果。
首先，采用了可变形卷积作为特征提取的核心组件。相比于传统卷积，可变形卷积能够灵活地适应不同感受野内的特征模式，从而更好地捕捉EEG信号中的细微变化。这种能力对于情绪识别任务尤为关键，因为情绪状态的表达可能在不同的频率范围和时间尺度上变化。通过引入可变形卷积，模型能够更好地捕捉这些复杂的模式和变化，从而提高了情绪识别的准确性。其次，引入了注意力机制来增强特征的表达能力。注意力机制能够自适应地调整特征的权重，使模型能够更关注与情绪状态相关的重要信息。在本方案模型中，采用了高效的通道注意(ECANet)来优化特征的提取，使模型能够更好地集中于对情绪识别有意义的特征。这种机制的引入进一步增强了模型的表达能力，有助于更准确地捕捉EEG信号中与情绪相关的信息。最后，采用自下而上特征金字塔网络(BU-FPN)来实现多尺度特征融合。
参考图4，首先网络模型输入为9×9×4的三维特征矩阵。经过64个卷积核大小为7×7的卷积操作后变为9×9×64大小，然后经过第一层残差结构为9×9×64大小不变，经过第二层残差结构变为5×5×128大小，经过第三层残差结构变为3×3×256大小，经过第四层残差结构变为2×2×512大小。之后每一层残差结构得到的输出经过256个卷积核大小为1×1的卷积操作使每个特征矩阵维度一致。然后经过BiGRU、全连接层和softmax层得到最终结果。
参考图5，三维特征矩阵在四层残差结构中的具体变化过程是：网络模型的输入是9×9×4大小的特征矩阵，经过64个卷积核大小为7×7、滑动步伐为1的卷积操作后变为9×9×64。之后经过64个卷积核大小为3×3、滑动步伐为1的卷积操作后为9×9×64。之后经过64个卷积核大小为3×3、滑动步伐为1的卷积操作后为9×9×64。之后经过ECANet后大小不发生改变。再经过64个卷积核大小为3×3、滑动步伐为1的卷积操作后为9×9×64。再经过64个卷积核大小为3×3、滑动步伐为1的卷积操作后为9×9×64。之后经过ECANet后大小不发生改变。再经过128个卷积核大小为3×3、滑动步伐为2的卷积操作后变为5×5×128。之后经过128个卷积核大小为3×3、滑动步伐为1的卷积操作后为5×5×128。之后经过ECANet后大小不发生改变。再经过128个卷积核大小为3×3、滑动步伐为1的卷积操作后为5×5×128。之后经过128个卷积核大小为3×3、滑动步伐为1的卷积操作后为5×5×128。之后经过ECANet后大小不发生改变。再经过256个卷积核大小为3×3、滑动步伐为2的卷积操作后变为3×3×256。之后经过256个卷积核大小为3×3、滑动步伐为1的卷积操作后为3×3×256。之后经过ECANet后大小不发生改变。再经过256个卷积核大小为3×3、滑动步伐为1的卷积操作后为3×3×256。之后经过256个卷积核大小为3×3、滑动步伐为1的卷积操作后为3×3×256。之后经过ECANet后大小不发生改变。再经过512个卷积核大小为3×3、滑动步伐为2的可变形卷积操作后变为2×2×512。之后经过512个卷积核大小为3×3、滑动步伐为1的可变形卷积操作后为2×2×512。之后经过ECANet后大小不发生改变。再经过512个卷积核大小为3×3、滑动步伐为1的可变形卷积操作后为2×2×512。之后经过512个卷积核大小为3×3、滑动步伐为1的可变形卷积操作后为2×2×512。之后经过ECANet后大小不发生改变。再经过512个卷积核大小为3×3、滑动步伐为1的可变形卷积操作后为2×2×512。
参考图6，每一层残差结构输出的三维特征矩阵在自下而上特征金字塔网络中卷积操作过程如下：使用ResNet-18神经网络架构作为模型的主干部分，通过卷积得到C2-C5特征图。然后统一使用1×1卷积层来保持特征图的维度一致，得到T2-T5。从T2开始进行下采样处理：
其中，m为输出特征图的大小；n为输入特征图的大小；p表示padding，为填充像素的大小；f表示filter，为卷积核的大小；s表示strides，为滑动步长。对T2下采样后，与T3进行张量相加，得到D3。以相同的方式对D3进行处理，与T4进行相加得到D4，以此类推，得到特征图D5，最后经过3*3的卷积得到尺寸更小，信息更丰富的特征图P5。
情感状态的表达可能在不同的空间尺度上变化，因此融合不同尺度的特征对于提高情绪识别的准确性至关重要。BU-FPN能够在不同层级上融合特征，从而使模型能够同时关注局部细节和全局上下文。这种多尺度特征融合有助于模型更全面地理解和解释EEG信号中的情感相关信息，从而提高了情感识别的性能。
相比于传统的脑电信号情感识别算法，本方法通过引入可变形卷积、注意力机制和自下而上特征金字塔网络，有效地提升了基于EEG的情感识别性能。这些关键组件在捕捉复杂的情感表达模式、优化特征提取以及实现多尺度特征融合方面发挥了关键作用。这些组件的整合以及在情绪识别任务上取得的显著成果，为该领域的研究和应用带来了新的洞察和可能性。
实施例2
1.评估指标
在本发明实验中，采用了Accuracy(准确率)和标准差用来评估MDCNAResnet-BiGRU的性能。
(1)Accuracy
Accuracy的计算公式如公式(2)所示：
其中，TP、TN表示被正确分类实例数，其中TP为正类，TN为负类；FP、FN表示被错误分类的实例数，其中FP为负类，FN为正类。
2.实验结果
实验数据来源于公共数据集DEAP，并进行了验证。
图7显示了不同K值("K值"是指用于交叉验证的折数)的识别准确率。可以看出，在K＝5时，相较于其他K值，在Valence(情感价值)维度提高了2.63％-4.80％,在Arousal(唤起)维度提高了2.63％-4.69％。因此选择五折交叉验证。对于DEAP数据集，按照实验结果，把每个受试者的所有样本随机分成5组，1组用作测试集，其余4组用作训练集。图8显示了MDCNAResnet-BiGRU在DEAP数据集上的总体性能。
不同的网络结构会影响到最终的分类准确度，通过改变resnet18网络中可变形卷积层的位置，在DEAP数据集上进行性能的比较，实验结果如表1所示。括号中的数字表示可变形卷积在残差结构中的位置。例如，(4)表示在第四残差结构中进行替换。
表1不同网络结构识别准确率
基于以上分析，我们发现在第四残差结构中进行可变形卷积层的替换，相比于其他替换方式，在Valence维度提高了1.29％-3.35％,在Arousal维度提高了1.17％-3.25％。因此，选择在第四残差结构中进行可变形卷积层的替换。
为了验证本方案提出模型的有效性，对网络的各个模块进行消融实验。基线模型记作Resnet-BiGRU，在Resnet-BiGRU中引入高效通道注意力机制组成ECAResnet-BiGRU，将Resnet中的第四残差结构中的传统卷积替换为可变形卷积，组成DCNAResnet-BiGRU，最后采用BU-FPN进行多尺度融合，组成MDCNAResnet-BiGRU。
表2展示了所有受试者的平均参数指标，从表中可以看出Resnet-BiGRU识别准确率偏低，ECAResnet-BiGRU对不同特征图进行“有目的”学习，相比于Resnet-BiGRU，在Valence和Arousal维度上准确率提升了，证明了通道注意力机制的有效性。将传统卷积替换为可变形卷积后，组成DCNAResnet-BiGRU，在Valence维度的识别准确类提高了3.53％，在Arousal维度的识别准确率提高了3.85％，证明可变形卷积能有效提取隐藏特征，提高网络的表现力。最后采用BU-FPN进行多尺度融合，组成MDCNAResnet-BiGRU，进一步提取多尺度特征，实现不同尺度的特征信息结合，在两个维度上识别准确率分别达到98.63％和98.89％。消融实验的结果证明，本方案提出模型有助于EEG情绪识别。
表2 DEAP数据集上对DCNA-FPN-BiGRU的消融实验
本方案旨在开发一种高效的EEG情感识别***，通过结合多尺度可变卷积网络(MDCNAResnet)和注意力机制，以及底部向上特征金字塔网络(BU-FPN)的应用，取得了一系列显著的成果。
首先，本方法在EEG情感识别领域具有一定的科学价值。在网络结构中引入了多尺度变形卷积操作，这是EEG情感识别领域的一项创新。这个操作能够更好地捕获EEG信号中的空间信息，并提高情感识别的性能。此外，还引入了高效通道注意力机制(ECA)，进一步增强了网络对关键信息的关注。本方案不仅在方法上具有创新性，还在EEG情感识别任务中实现了卓越的识别精度，为该领域的发展做出了重要贡献。
其次，与现有方法的比较显示出本方法的显著优势。将本方案模型与近几年其他网络模型对比，结果如表3所示，MDCNAResnet在情感识别任务中表现出色，明显优于其他方法。本方法在DEAP数据集上分别获得了98.63％和98.89％的识别精度，远高于其他方法。这进一步证实了本方法在EEG情感识别中的显著优势。
总之，本方案不仅在方法上具有创新性，还取得了显著的成果，具有一定的科学价值。所提出的MDCNAResnet方法在EEG情感识别任务中表现出色，为情感识别技术的发展和应用提供了有力支持。
表3不同模型的比较
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (5)
1.一种融合多尺度特征的脑电信号情感识别算法，其特征步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息。
2.根据权利要求1所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，所述将原始脑电信号转换为三维特征矩阵，步骤包括：
将前3s脑电信号作为基准，采用滑动窗口对后60s脑电信号进行分割，滑动窗口步长设置为1s，分割的脑电信号片段之间没有重复，每个片段都被分配有与原始脑电信号相同的标签；然后，采用Butterworth带通滤波器将每个片段划分为若干个频带，分别从不同的频带中提取脑电信号通道的微分熵特征；之后，将所有脑电信号通道转换为2D矩阵，将从不同脑电信号通道中提取的微分熵特征按其相对位置坐标放入2D矩阵中对应的位置，2D矩阵中未使用的位置设为0，构造出三维特征矩阵，最后将构造的三维特征矩阵输入到所述基于残差网络的多尺度可变形卷积交互注意网络模型中。
3.根据权利要求1所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，所述基于残差网络的多尺度可变形卷积交互注意网络模型具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构、第二层残差结构、第三层残差结构、第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元、全连接层和softmax层得到最终脑电信号情感类别结果。
4.根据权利要求3所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，网络模型输入为9×9×4的三维特征矩阵，经过64个卷积核大小为7×7的卷积操作后变为9×9×64大小，然后经过第一层残差结构保持9×9×64大小不变，经过第二层残差结构变为5×5×128大小，经过第三层残差结构变为3×3×256大小，经过第四层残差结构变为2×2×512大小；之后每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致。
5.根据权利要求4所述的一种融合多尺度特征的脑电信号情感识别算法，其特征在于，所述每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致，具体为：
第一层残差结构至第四层残差结构输出的三维特征矩阵经自下而上特征金字塔网络卷积操作后得到的三维特征矩阵依次记为T2、T3、T4、T5，从T2开始进行下采样处理：
其中，m为输出特征矩阵的大小；n为输入特征矩阵的大小；p表示padding，为填充像素的大小；f表示filter，为卷积核的大小；s表示strides，为滑动步长；对T2下采样后，与T3进行张量相加，得到三维特征矩阵D3；以相同的方式对D3进行处理，与T4进行相加得到D4，以此类推，得到特征图D5，最后经过3*3的卷积得到尺寸更小，信息更丰富的三维特征矩阵P5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156664.2A CN117195099A (zh) | 2023-09-08 | 2023-09-08 | 一种融合多尺度特征的脑电信号情感识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156664.2A CN117195099A (zh) | 2023-09-08 | 2023-09-08 | 一种融合多尺度特征的脑电信号情感识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117195099A true CN117195099A (zh) | 2023-12-08 |
Family
ID=88984520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311156664.2A Pending CN117195099A (zh) | 2023-09-08 | 2023-09-08 | 一种融合多尺度特征的脑电信号情感识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117195099A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117562542A (zh) * | 2024-01-17 | 2024-02-20 | 小舟科技有限公司 | 基于脑电信号的情感识别方法、计算机设备及存储介质 |
-
2023
- 2023-09-08 CN CN202311156664.2A patent/CN117195099A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117562542A (zh) * | 2024-01-17 | 2024-02-20 | 小舟科技有限公司 | 基于脑电信号的情感识别方法、计算机设备及存储介质 |
| CN117562542B (zh) * | 2024-01-17 | 2024-04-30 | 小舟科技有限公司 | 基于脑电信号的情感识别方法、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062250B (zh) | 基于深度特征学习的多受试者运动想象脑电信号识别方法 | |
| CN111461201B (zh) | 基于相空间重构的传感器数据分类方法 | |
| CN109497990B (zh) | 一种基于典型相关分析的心电信号身份识别方法及*** | |
| CN105139371A (zh) | 一种基于pcnn与lp变换的多聚焦图像融合方法 | |
| CN113158964A (zh) | 一种基于残差学习和多粒度特征融合的睡眠分期方法 | |
| CN117195099A (zh) | 一种融合多尺度特征的脑电信号情感识别算法 | |
| CN110377049B (zh) | 基于脑-机接口的无人机集群编队队形重构控制方法 | |
| Zhang et al. | Human identification driven by deep CNN and transfer learning based on multiview feature representations of ECG | |
| CN104751186A (zh) | 一种基于bp网络和小波变换的虹膜图像质量分类方法 | |
| CN110974219A (zh) | 一种基于侵入式bci的人脑意念识别*** | |
| CN115105094B (zh) | 基于注意力和3d密集连接神经网络的运动想象分类方法 | |
| CN117520891A (zh) | 一种运动想象脑电信号分类方法及*** | |
| Zhao et al. | Trustworthy authorization method for security in Industrial Internet of Things | |
| CN113569997A (zh) | 基于图卷积神经网络的情绪分类方法及*** | |
| Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
| Li et al. | Eeg-based emotion recognition using spatial-temporal-connective features via multi-scale CNN | |
| CN109662710A (zh) | 一种基于卷积神经网络的肌电信号特征提取方法 | |
| CN111543985A (zh) | 一种基于新型深度学习模型的脑控混合智能康复方法 | |
| CN113780134B (zh) | 一种基于ShuffleNetV2网络的运动想象脑电解码方法 | |
| Wang et al. | Improved brain–computer interface signal recognition algorithm based on few-channel motor imagery | |
| CN113516101B (zh) | 一种基于网络结构搜索的脑电信号情绪识别方法 | |
| Ma | Summary of research on application of deep learning in image recognition | |
| CN114936583A (zh) | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 | |
| CN110432899B (zh) | 基于深度堆叠支持矩阵机的脑电信号识别方法 | |
| CN111012337A (zh) | 基于脑网络和正则化判别分析的脑电分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |