CN114398991B - 基于Transformer结构搜索的脑电信号情绪识别方法 - Google Patents
基于Transformer结构搜索的脑电信号情绪识别方法 Download PDFInfo
- Publication number
- CN114398991B CN114398991B CN202210049194.9A CN202210049194A CN114398991B CN 114398991 B CN114398991 B CN 114398991B CN 202210049194 A CN202210049194 A CN 202210049194A CN 114398991 B CN114398991 B CN 114398991B
- Authority
- CN
- China
- Prior art keywords
- model
- sub
- emotion
- network
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 20
- 230000008451 emotion Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 33
- 210000004556 brain Anatomy 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 230000035772 mutation Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 239000012634 fragment Substances 0.000 abstract 1
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000037007 arousal Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 125000003275 alpha amino acid group Chemical group 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
Abstract
本发明公开了一种基于Transformer结构搜索的脑电信号情绪识别方法,其步骤包括:1,对于原始EEG数据进行去基线和片段分割的预处理;2,通过自动化Transformer结构搜索建立Transformer模型;3,在数据集上训练建立的Transformer模型;4,利用建立好的模型实现情绪分类任务。本发明能实现自适应搜索情绪分类的最优Transformer结构模型,从而提高识别率。
Description
技术领域
本发明涉及情感计算领域,具体的说是一种通过算法自动搜索最优网络用于脑电情绪识别的方法。
背景技术
情绪是人类心理和生理状态的综合表现,它在很大程度上影响着我们的意识、行为和人际交往。实践证明,积极情绪可以改善人际关系和工作效率,而消极情绪会产生自卑感和无助感,甚至导致严重的心理问题。随着交互技术的飞速发展,情感计算(AC)在人机交互(HCI)领域展现出巨大的潜力。***能否有效地理解人类情感,将直接影响交互体验和交互能力。此外,情绪识别也已应用于医疗保健,并已成为一种新兴的情绪障碍机器辅助诊断方法,因此,探索有效的情感识别方法以满足实际应用的需求具有重要意义。
基于EEG信号的情绪识别的传统算法中,通常是先从EEG信号中提取特征,再将提取到的特征运用到分类器中进行识别任务。常用的脑电特征有时域特征、频域特征和时频特征等。除此之外、功率谱特征、小波特征和微分熵等特征作为情绪相关特征进行情绪分类时,也可以取得比较好的结果。
由于传统方法手动提取特征的复杂性以及深度学习的快速发展,研究人员逐渐将深度学习这种新的高效算法应用到脑电解码中,并展示了其相对于传统方法的优势。深度学习(DL)技术由于其自动特征提取和特征选择能力,许多研究人员已经将这种有效的算法应用于脑电图解码,以捕获有区别的高级特征和潜在的依赖关系,基于自注意力机制的Transformer在处理远距离时间序列信号方面显示出了其优越性。此外,端到端DL框架结合了特征提取和分类,无需复杂的预处理,与传统方法相比具有很大的优势。
尽管DL在基于脑电图的情感识别方面显示出突出的优势,但这一进展的关键方面是新的网络结构的出现。事实证明,特征表示和最终性能在很大程度上取决于网络的体系结构。研究人员设计了各种复杂的架构,以实现更好的数据特征表示和分类识别效果。然而,现有的体系结构大多是由人类专家设计的,需要大量的先验知识和经验,这是一个耗时且容易出错的过程。同时,由于固有知识的局限性,专家们很难跳出原有的思维范式去设计理想的模型,导致人工设计的网络架构不够新颖,缺乏创新性,在设计的过程中会消耗大量的人力物力资源,耗时问题和效率问题得不到有效的解决,同时手工设计的模型的泛化性不强,造成人为设计的模型无法应用到更广泛的领域。
发明内容
本发明为克服现有技术的不足之处,提出一种基于Transformer结构搜索的脑电信号情绪识别方法,以期能自适应搜索情绪分类的最优Transformer结构模型用于情绪识别分类,从而克服人工设计网络结构的缺陷,并提高情绪识别率。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种基于Transformer结构搜索的脑电信号情绪识别方法的特点是按如下步骤进行:
步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行去基线和样本分割处理,从而得到受试者A的带有M种情绪标签的N个脑电信号样本,记为X={X1,X2,...,Xi,...,XN},其中,表示带有M种情绪标签的第i个脑电信号样本,H表示脑电信号的通道数,G表示采样点数,i=1,2,...,N;N是样本数量;
步骤2、定义Transformer结构搜索的搜索空间包含有不同架构参数的若干个Transformer候选架构,所述架构参数包括:架构的嵌入维度e∈(e1,e2,...,en);架构的多头注意力层的头数量h∈(h1,h2,...,hm);架构的多层感知机MLP层的隐藏层维度与嵌入维度比例ratio∈(r1,r2,...,rv)以及Transformer架构的网络层数l∈(l1,l2,...,lq);其中,en表示嵌入维度的第n个取值,hm表示头数量的第m个取值,rv表示MLP层隐藏层维度与嵌入维度比例的第v个取值,lq表示网络层数的第q个取值;n表示嵌入维度的取值个数,m表示头数量的取值个数,v表示隐藏层维度与嵌入维度比例的取值个数,q表示网络层数的取值个数;
步骤3、按照所定义的搜索空间,建立一个包含搜索空间内所有Transformer候选架构的超网,所述超网的参数分别取架构参数的最大值;
步骤4、利用式(1)构建情绪标签的损失函数L来训练超网:
式(1)中,表示第i个脑电信号样本Xi的第r类情绪标签的标签值,Pr,i表示所述超网预测第i个脑电信号样本Xi的第r类情绪标签的概率值;
步骤5、将带有情绪标签的脑电信号样本X输入所述超网中,并采用反向传播法对所述超网的参数进行训练,同时计算所述损失函数L,直到所述损失函数L收敛为止,从而得到训练好的超网;
步骤6、从所定义的搜索空间中通过随机采样得到若干个子模型,并由若干个子模型组成一个种群
步骤7、计算种群中每个子模型的模型尺寸,并在验证集上得到子模型的准确率,从而利用式(2)得到单个子模型的多目标函数值:
式(2)中,α表示当前随机采样得到的子模型,val_accα表示当前子模型α在验证集上的准确率,modelsizeα表示当前子模型α的模型尺寸;λ1表示val_accα函数的权重,λ2表示modelsizeα函数的权重,scoreα表示当前子模型α的多目标函数值,
步骤8、对当前种群中所有子模型多的目标函数值进行降序排序,并取排名前K个目标函数值所对应的子模型进行交叉操作和变异操作,从而得到2K个子模型并作为新的种群/>
步骤9、将赋值给/>后,返回步骤7顺序执行,直至达到最大迭代次数为止,从而得到最终的种群,并选取最终的种群中多目标函数值最大的子模型作为最优子模型;
步骤10、以所述最优子模型作为最终搜索的Transformer架构,并继承训练好的超网的参数,从而得到情绪识别模型,用于实现对脑电情绪的识别。
与已有技术相比,本发明的有益效果体现在:
1、本发明首次通过设计一种自动化Transformer结构搜索用于情绪的分类识别,相比于常规的手动设计Transformer结构,根据脑电数据的特性,通过自适应算法来设计最优的网络结构,无需大量的计算资源和人为的干涉,并能在大量的子模型中找到最优的模型,使得最终的模型具有较好的分类表现性能。
2、本发明通过Transformer结构搜索得到最优的网络模型用于情绪识别,该方法是一种端到端的数据驱动方法,不需要手工设计复杂的情绪相关特征,同时可以从原始脑电信号中提取时间特征,实现了准确的情感分类任务。
附图说明
图1为本发明方法流程示意图;
图2为本发明中的Transformer架构图;
图3为本发中超网的结构图;
图4为本发中多目标进化算法的流程图;
图5为DEAP数据库中效价维度上32名受试者的平均识别精度及标准差图;
图6为DEAP数据库中唤醒度维度上32名受试者的平均识别精度及标准差图。
具体实施方式
本实施例中,一种基于Transformer结构搜索的脑电信号情绪识别方法,主要是建立一个包含搜索空间内所有Transformer架构的一个超网,该超网具有最大的架构参数,将超网训练至收敛后,在搜索空间上执行多目标进化算法来选择出最优子模型,最优子模型能够充分表征脑电数据中的时域特征,最终实现基于EEG信号的情绪分类。具体的说,如图1所示,该方法是按如下步骤进行:
步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行去基线和样本分割处理,从而得到受试者A的带有M种情绪标签的N个脑电信号样本,记为X={X1,X2,...,Xi,...,XN},其中,表示带有M种情绪标签的第i个脑电信号样本,H表示脑电信号的通道数,G表示采样点数,i=1,2,...,N;N是样本数量,本实施例中,使用的是公开数据库DEAP中脑电数据做训练和测试,数据集包含了32名受试者,分别观看了40段一分钟的视频后采集的脑电信号,每位受试者一次trial采集的脑电信号/>其中前3s的数据是基线数据,标签是由受试者一次trial后的评分,包含了两种情绪类型Arousal和Valence,每类情绪标签分为两类;
具体实施中,对每个受试者的40段脑电信号进行预处理,包括:
假定一次trial的原始EEG信号为H是脑电信号的通道数,G是采样点数,其中基线信号是/>b=1,2,...,s.在DEAP数据集中,每位受试者的基线时长s=3。
去基线:计算1s的平均基线数据如下:
式(1)中,表示第b个脑电信号样本对应的1s的平均基线数据,Xb表示第b个脑电信号样本。
为了减小静息状态脑电的干扰,使用平均基线数据对脑电信号做去基线预处理如下:
式(2)中,Xj′表示第j个脑电信号样本去除基线信号后的数据,Xj表示第j个脑电信号样本。
样本分割:为了扩大样本数量,将一位受试者60s的脑电信号用1s的滑动窗分割,相应的样本标签也随之增加,最终每位受试者的脑电样本。在测试集上进行十次实验后的平均识别率作为最终识别精度。
步骤2、定义Transformer结构搜索的搜索空间包含有不同架构参数的若干个Transformer候选架构,架构参数包括:架构的嵌入维度e∈(e1,e2,...,en);架构的多头注意力层的头数量h∈(h1,h2,...,hm);架构的多层感知机MLP层的隐藏层维度与嵌入维度比例ratio∈(r1,r2,...,rv)以及Transformer架构的网络层数l∈(l1,l2,...,lq);其中,en表示嵌入维度的第n个取值,hm表示头数量的第m个取值,rv表示MLP层隐藏层维度与嵌入维度比例的第v个取值,lq表示网络层数的第q个取值;n表示嵌入维度的取值个数,m表示头数量的取值个数,v表示隐藏层维度与嵌入维度比例的取值个数,q表示网络层数的取值个数,具体来说,对搜索空间内任一Transformer架构,如图2所示,首先输入对上述去基线处理后的输入数据X={X1,X2,...,Xi,...,XN},其中,表示32个通道和128的采样频率。然后将输入/>进行切片并展平为2D的序列数据/>其中,32表示的是切片序列长度。然后采用一个可训练投影将Xp映射为一个d维向量,其中d∈(168,192,216,240)即为架构的嵌入维度embeddingdimension。此外,在序列数据的头部放置一个可学习的类嵌入Xclass,以表示整个输入序列的类别。再将标准的1D位置向量/>加入到各个切片中以表示其位置信息,因此最终的输入Z0被表示为如式(3)所示:
式(3)中,在标注的自注意力层,经过嵌入表示的输入Z∈RN×d首先通过一个线性投影被转换为三个矩阵/>因此多头注意力层的输出可表示为如下式(4)所示:
MSA(Q,K,V)=Concat(head1,...,headh)Wo (4)
式(4)中,并且/>其中多头注意力层的head数量h∈(2,4,6)。因此第l层的多头注意力层的输出Zl'表示为式(5):
Zl'=MSA(LN(Zl-1))+Zl-1,l=...,L, (5)
第l层的MLP层的输出Zl表示为式(6)所示:
Zl=MLP(LN(Zl'))+Zl',l=...,L, (6)
式(6)中,L表示Transformer结构的层数,LN表示层标准化操作,感知机MLP层的隐藏层维度与嵌入维度比例ratio∈(3,3.5,4),Transformer架构的网络层数l∈(6,7,8,9,10)。
步骤3、按照所定义的搜索空间,建立一个包含搜索空间内所有Transformer候选架构的超网,超网的参数分别取架构参数的最大值,超网的架构如图3所示,其共包含了投影层,分类层,以及中间L个运算层,其中每个运算层包含了上述的多头注意力层和MLP层如图3右边所示,具体的运算过程如过程2所示;
步骤4、利用式(6)构建情绪标签的损失函数L来训练超网:
式(6)中,表示第i个脑电信号样本Xi的第r类情绪标签的标签值,Pr,i表示超网预测第i个脑电信号样本Xi的第r类情绪标签的概率值,Softmax函数可以将样本的输出转变成概率密度函数,概率最大的结点对应的标签作为情绪识别的目标;
步骤5、将带有情绪标签的脑电信号样本X输入超网中,并采用反向传播法对超网的参数进行训练,同时计算损失函数L,并采用Adam优化器来进行求解,直到损失函数L收敛为止,从而得到训练好的超网;
步骤6、从所定义的搜索空间中通过随机采样得到若干个子模型,并由若干个子模型组成一个种群这是一个种群初始化的操作,通过初始化赋予种群数量一个初始值;
步骤7、计算种群中每个子模型的模型尺寸,并在验证集上得到子模型的准确率,从而利用式(2)得到单个子模型的多目标函数值:
式(2)中,α表示当前随机采样得到的子模型,val_accα表示当前子模型α在验证集上的准确率,modelsizeα表示当前子模型α的模型尺寸;λ1表示val_accα函数的权重,λ2表示modelsizeα函数的权重,scoreα表示当前子模型α的多目标函数值,具体来说,多目标进化算法旨在同时在精度和模型大小之间取得平衡,因此,本研究采用加权和的方法为每个目标函数分配不同的权重如公式(7)所示。
步骤8、对当前种群中所有子模型多的目标函数值进行降序排序,并取排名前K个目标函数值所对应的子模型进行交叉操作和变异操作,从而得到2K个子模型并作为新的种群/>图4表示了多目标进化算法的流程图,多目标进化算法首先从定义好的搜索空间内通过随机采样得到初始种群,然后在初始种群的架构中计算式(7)的score值,并取score值最大的K个子模型分别进行交叉操作和变异操作生成2K个新子模型,作为本轮搜索的结果;
步骤9、将赋值给/>后,返回步骤7顺序执行,直至达到最大迭代次数为止,从而得到最终的种群,并选取最终的种群中多目标函数值最大的子模型作为最优子模型,得到最优子模型之后,将不再重复上述工作,将最优子模型作为最终的搜索结果用于情绪识别;
步骤10、以最优子模型作为最终搜索的Transformer架构,并继承训练好的超网的参数,能够使得继承权重的子模型达到和训练收敛后的超网相近的识别效果,具体来说,这是一种权重共享的概念,权重共享的中心是让不同的块在同一层共享它们的公共部分的权重。假设从搜索空间中得到一个有l层的子网α,其网络架构α和每层的权重w可以用式(8)来表示:
式(8)中,αi和wi表示当前子模型α的第i层的结构和权重,该权重可以直接从训练收敛的超网中继承,继承权重的子网,从而得到情绪识别模型,用于实现对脑电情绪的识别。
具体实施中,基于网络结构搜索得到的最优模型与支持向量机(SVM)、决策树(DT),以及深度学***均识别精度作为评价指标,当识别精度越高,模型的识别能力越好。32名受试者十次平均识别精度如下表:
表1.DEAP数据库上不同方法对两种情绪的平均识别结果
效价(%) | 唤醒度(%) | |
DT | 71.63±4.71 | 73.70±5.09 |
SVM | 88.65±6.18 | 89.07±5.89 |
DGCNN | 92.55±3.93 | 93.50±3.35 |
Ours | 98.68±0.98 | 98.66±0.94 |
32名受试者的十折交叉验证结果如图5和图6所示。结果分析:
表1实验结果表明,与传统方法SVM和DT相比,基于网络结构搜索得到的最优模型在两种情绪维度(效价和唤醒度)的识别精度都有提升。与深度学习模型DGCNN相比,本方法也提升了识别结果,验证了基于网络结构搜索得到的最优模型可以充分利用EEG信号的时域相关信息,对情绪的分类识别有着显著的效果。同时在所有对比方法中,基于网络结构搜索的方法具有最小的方差,证明了该方法具有较为稳定的识别能力。此外,从图5和图6中可以发现,该模型在对32名受试者的识别效果均为最优,说明该方法对不同受试者均有很好的识别能力和很强的泛化效果。
综上所述,本发明充分利用EEG原始信号所含有的时域信息,使用网络结构搜索充分提取脑电信号相关特征,并以此建立最优的网络模型,提升了在公开数据集DEAP中两种情绪的识别精度。
本发明提出基于网络结构搜索得到的最优模型,在公共数据集DEAP上达到很好的识别结果,且在所有受试者上的识别结果更加稳定。
Claims (1)
1.一种基于Transformer结构搜索的脑电信号情绪识别方法,其特征是按如下步骤进行:
步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行去基线和样本分割处理,从而得到受试者A的带有M种情绪标签的N个脑电信号样本,记为X={X1,X2,...,Xi,...,XN},其中,表示带有M种情绪标签的第i个脑电信号样本,H表示脑电信号的通道数,G表示采样点数,i=1,2,...,N;N是样本数量;
步骤2、定义Transformer结构搜索的搜索空间包含有不同架构参数的若干个Transformer候选架构,所述架构参数包括:架构的嵌入维度e∈(e1,e2,...,en);架构的多头注意力层的头数量h∈(h1,h2,...,hm);架构的多层感知机MLP层的隐藏层维度与嵌入维度比例ratio∈(r1,r2,...,rv)以及Transformer架构的网络层数l∈(l1,l2,...,lq);其中,en表示嵌入维度的第n个取值,hm表示头数量的第m个取值,rv表示MLP层隐藏层维度与嵌入维度比例的第v个取值,lq表示网络层数的第q个取值;n表示嵌入维度的取值个数,m表示头数量的取值个数,v表示隐藏层维度与嵌入维度比例的取值个数,q表示网络层数的取值个数;
步骤3、按照所定义的搜索空间,建立一个包含搜索空间内所有Transformer候选架构的超网,所述超网的参数分别取架构参数的最大值;
步骤4、利用式(1)构建情绪标签的损失函数L来训练超网:
式(1)中,表示第i个脑电信号样本Xi的第r类情绪标签的标签值,Pr,i表示所述超网预测第i个脑电信号样本Xi的第r类情绪标签的概率值;
步骤5、将带有情绪标签的脑电信号样本X输入所述超网中,并采用反向传播法对所述超网的参数进行训练,同时计算所述损失函数L,直到所述损失函数L收敛为止,从而得到训练好的超网;
步骤6、从所定义的搜索空间中通过随机采样得到若干个子模型,并由若干个子模型组成一个种群
步骤7、计算种群中每个子模型的模型尺寸,并在验证集上得到子模型的准确率,从而利用式(2)得到单个子模型的多目标函数值:
式(2)中,α表示当前随机采样得到的子模型,val_accα表示当前子模型α在验证集上的准确率,modelsizeα表示当前子模型α的模型尺寸;λ1表示val_accα函数的权重,λ2表示modelsizeα函数的权重,scoreα表示当前子模型α的多目标函数值,
步骤8、对当前种群中所有子模型多的目标函数值进行降序排序,并取排名前K个目标函数值所对应的子模型进行交叉操作和变异操作,从而得到2K个子模型并作为新的种群/>
步骤9、将赋值给/>后,返回步骤7顺序执行,直至达到最大迭代次数为止,从而得到最终的种群,并选取最终的种群中多目标函数值最大的子模型作为最优子模型;
步骤10、以所述最优子模型作为最终搜索的Transformer架构,并继承训练好的超网的参数,从而得到情绪识别模型,用于实现对脑电情绪的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210049194.9A CN114398991B (zh) | 2022-01-17 | 2022-01-17 | 基于Transformer结构搜索的脑电信号情绪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210049194.9A CN114398991B (zh) | 2022-01-17 | 2022-01-17 | 基于Transformer结构搜索的脑电信号情绪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114398991A CN114398991A (zh) | 2022-04-26 |
CN114398991B true CN114398991B (zh) | 2024-03-01 |
Family
ID=81229968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210049194.9A Active CN114398991B (zh) | 2022-01-17 | 2022-01-17 | 基于Transformer结构搜索的脑电信号情绪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114398991B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115844425B (zh) * | 2022-12-12 | 2024-05-17 | 天津大学 | 一种基于Transformer脑区时序分析的DRDS脑电信号识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
CN113516101A (zh) * | 2021-08-02 | 2021-10-19 | 合肥工业大学 | 一种基于网络结构搜索的脑电信号情绪识别方法 |
CN113807299A (zh) * | 2021-09-26 | 2021-12-17 | 河南工业大学 | 基于平行频域脑电信号的睡眠阶段分期方法及*** |
CN113907706A (zh) * | 2021-08-29 | 2022-01-11 | 北京工业大学 | 基于多尺度卷积和自注意力网络的脑电信号的癫痫发作预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
-
2022
- 2022-01-17 CN CN202210049194.9A patent/CN114398991B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
CN113516101A (zh) * | 2021-08-02 | 2021-10-19 | 合肥工业大学 | 一种基于网络结构搜索的脑电信号情绪识别方法 |
CN113907706A (zh) * | 2021-08-29 | 2022-01-11 | 北京工业大学 | 基于多尺度卷积和自注意力网络的脑电信号的癫痫发作预测方法 |
CN113807299A (zh) * | 2021-09-26 | 2021-12-17 | 河南工业大学 | 基于平行频域脑电信号的睡眠阶段分期方法及*** |
Non-Patent Citations (2)
Title |
---|
基于深度信念网络的岩石粒度分类;程国建;范鹏召;;西安石油大学学报(自然科学版);20180525(第03期);全文 * |
基于脑电信号的情绪状态识别算法研究;王春晨;文治洪;王航;余明;杨鹏程;杨琳;代静;曹新生;;医疗卫生装备;20200215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114398991A (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110610168B (zh) | 一种基于注意力机制的脑电情绪识别方法 | |
CN107273800B (zh) | 一种基于注意机制的卷积递归神经网络的动作识别方法 | |
CN112766355B (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
CN110472649B (zh) | 基于多尺度分析和集成树模型的脑电情感分类方法及*** | |
CN112800998B (zh) | 融合注意力机制和dmcca的多模态情感识别方法及*** | |
CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
CN114580566A (zh) | 一种基于间隔监督对比损失的小样本图像分类方法 | |
CN114398991B (zh) | 基于Transformer结构搜索的脑电信号情绪识别方法 | |
CN113673434A (zh) | 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法 | |
CN115919330A (zh) | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 | |
Wu et al. | Enhanced feature fusion through irrelevant redundancy elimination in intra-class and extra-class discriminative correlation analysis | |
CN114743133A (zh) | 一种轻量化的小样本视频分类识别方法及*** | |
CN112006696A (zh) | 基于皮肤电信号的情绪识别方法 | |
CN113516101B (zh) | 一种基于网络结构搜索的脑电信号情绪识别方法 | |
CN116821764A (zh) | 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法 | |
CN112084935A (zh) | 一种基于扩充高质量脑电样本的情绪识别方法 | |
CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
CN115512721A (zh) | 基于pdan的跨库语音情感识别方法及装置 | |
CN114757273A (zh) | 一种基于协同对比正则化平均教师模型的脑电信号分类方法 | |
Nuo et al. | A Fusion Transfer Learning Method of Motor Imagery EEG Signals Based on Riemannian Space | |
CN114638253B (zh) | 基于情感脑电特征融合优化机制的身份识别***及方法 | |
Zhu et al. | Improving EEG-based Emotion Recognition by Fusing Time-Frequency and Spatial Representations | |
Sarraf et al. | ChatGPT Application In Summarizing An Evolution Of Deep Learning Techniques In Imaging: A Qualitative Study | |
CN114693964B (zh) | 一种基于人工神经网络的mri数据特征提取和分类识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |