CN111259761A - 基于可迁移注意力神经网络的脑电情感识别方法及装置 - Google Patents

基于可迁移注意力神经网络的脑电情感识别方法及装置 Download PDF

Info

Publication number
CN111259761A
CN111259761A CN202010030240.1A CN202010030240A CN111259761A CN 111259761 A CN111259761 A CN 111259761A CN 202010030240 A CN202010030240 A CN 202010030240A CN 111259761 A CN111259761 A CN 111259761A
Authority
CN
China
Prior art keywords
attention
emotion
loss
electroencephalogram
subnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010030240.1A
Other languages
English (en)
Other versions
CN111259761B (zh
Inventor
郑文明
李阳
江星洵
宗源
李溯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010030240.1A priority Critical patent/CN111259761B/zh
Publication of CN111259761A publication Critical patent/CN111259761A/zh
Application granted granted Critical
Publication of CN111259761B publication Critical patent/CN111259761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于可迁移注意力神经网络的脑电情感识别方法及装置,其中,方法包括:(1)获取一个脑电情感数据库,分为训练集和测试集;(2)建立基于可迁移注意力神经网络的脑电情感识别网络,所述脑电情感识别网络包括特征提取器和情感分类器,所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网;(3)网络进行训练,总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失,通过随机梯度下降法更新网络参数;(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。本发明识别准确率更高。

Description

基于可迁移注意力神经网络的脑电情感识别方法及装置
技术领域
本发明涉及情感识别技术,尤其涉及一种基于可迁移注意力神经网络的脑电情感识别方法及装置。
背景技术
人类作为世界上情感最为丰富的动物,在进行各种活动的过程中,总是伴随着情感的发生。在人类的日常生活交流中,对于情感的互相感知,是人类流畅交流的重要部分。积极的情感使人身心愉悦,有助于健康且可以提高人的工作效率;消极的情感会引起很多健康问题,例如长时间累积的消极情绪更容易诱发抑郁症甚至是***倾向。所以,研究人类的情感就显得十分重要。
大脑是人类情感产生的根源,对于大脑的直接研究,就是从根源上来研究人类的情感。与大脑直接相关的脑电(EEG)信号,作为大脑神经元信息传递过程中发出的一种电信号,为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同,脑电数据不能被伪装,因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点,脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此,脑电情感识别受到了越来越多研究者的关注,并已经成为情感计算和模式识别领域的一个新的研究热点。然而,脑电情感识别存在准确率不高等问题。
近十年来,深度学习发展迅猛,在众多分类问题上取得巨大突破,这为提高脑电情感识别率提供了新思路,具有十分重要的价值。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于可迁移注意力神经网络的脑电情感识别方法及装置,识别准确率更高。
技术方案:本发明所述的基于可迁移注意力神经网络的脑电情感识别方法包括:
(1)获取一个脑电情感数据库,分为训练集和测试集,其中,脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签;
(2)建立基于可迁移注意力神经网络的脑电情感识别网络,所述脑电情感识别网络包括特征提取器和情感分类器,所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网,用于提取输入样本数据中易于迁移与情感相关的全局特征,所述情感分类器用于预测输入的样本数据的情感类别;
(3)对所述脑电情感识别网络进行训练,训练时,将训练集和测试集中每一脑电情感数据作为一个样本,输入特征提取器,提取大脑全局特征,并将从训练集中每一脑电情感数据提取的全局特征作为一个样本,输入情感分类器,网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失,通过随机梯度下降法更新网络参数,完成网络训练;
(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。
进一步的,所述深度特征提取模块具体包括:
脑电情感数据获取单元,用于获取输入的脑电情感数据
Figure BDA0002364047270000021
式中,形如x*表示X中第*个电极采集的脑电信号,d表示电极采集的数据的维度,n表示电极数目;
第一递归神经网络,用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号,获得水平方向上包含自身和左右电极关系的电极数据表示Hh={hh,i};其中,所述第一递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure BDA0002364047270000022
Figure BDA0002364047270000023
式中,hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,df是输出数据维度;
Figure BDA0002364047270000024
为可学习的参数矩阵;σ(.)表示非线性函数,N(xi)表示xi的前序节点集合;
第二递归神经网络,用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号,获得垂直方向上包含自身和上下电极关系的电极数据表示Hv={hv,i};其中,所述第二递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure BDA0002364047270000025
Figure BDA0002364047270000026
式中,hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,
Figure BDA0002364047270000031
为可学习的参数矩阵;N(xi)表示xi的前序节点集合;
顺序调整单元,用于调整Hh和Hv中元素的顺序,使变换后的电极位置一致;
特征合并单元,用于根据下式计算得到的脑电情感数据X的深度特征H:
H={hk}
Figure BDA0002364047270000032
k=i=1,...,n。
式中,P和Q为两个变换矩阵。
进一步的,所述局部注意力子网具体包括:
大脑区域分组单元,用于将大脑区域分为N个脑区,并按照脑区划分规则将脑电情感数据的深度特征H进行划分,得到每个脑区的深度特征H1,...,HN
排序单元,用于将所有脑区的深度特征按序组成特征:
Figure BDA0002364047270000033
N个局部域判别器,输入为对应脑区的深度特征Hl,用于获取输入数据属于测试集的概率
Figure BDA0002364047270000034
和属于训练集的概率
Figure BDA0002364047270000035
输出
Figure BDA0002364047270000036
l=1,...,N;
可迁移性量化单元,用于量化局部域判别器输入数据的可迁移性,即每个脑区数据从训练集迁移到测试集的难易程度,量化公式为:
Figure BDA0002364047270000037
式中,l表示第l个脑区,H(dl)表示Hl的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到局部注意力值wl
wl=1-H(dl),l=1,...,N
局部特征获取单元,用于将注意力值wl与对应的特征进行相乘,得到局部特征
Figure BDA0002364047270000038
Figure BDA0002364047270000039
损失函数确认单元,用于确认局部注意力子网的损失为:
Figure BDA00023640472700000310
Figure BDA0002364047270000041
其中,Ld()表示局部注意力子网损失,
Figure BDA0002364047270000042
表示脑区l对应的局部域判别器损失,
Figure BDA0002364047270000043
Figure BDA0002364047270000044
分别是输入数据属于训练集XS和测试集XT的概率;
Figure BDA0002364047270000045
是局部注意力子网参数;
Figure BDA0002364047270000046
Figure BDA0002364047270000047
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数。
进一步的,所述全局注意力子网具体包括:
特征变换单元,用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征
Figure BDA0002364047270000048
进行变换,得到变换后的局部特征
Figure BDA0002364047270000049
全局域判别器,输入为变换后的局部特征
Figure BDA00023640472700000410
用于获取输入数据
Figure BDA00023640472700000411
属于测试集的概率ds和属于训练集的概率dt,输出d={ds,dt};
可迁移性量化单元,用于量化全局域判别器输入数据的可迁移性,即
Figure BDA00023640472700000412
从训练集迁移到测试集的难易程度,量化公式为:
H(d)=-ds·log(ds)-dt·log(dt)
式中,H(d)表示
Figure BDA00023640472700000413
的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到全局注意力值w:
w=1+H(d)
损失函数确认单元,用于确认全局注意力子网损失为:
Figure BDA00023640472700000414
其中,
Figure BDA00023640472700000415
表示全局注意力子网损失,
Figure BDA00023640472700000416
Figure BDA00023640472700000417
分别是输入数据属于训练集XS和测试集XT的概率;
Figure BDA00023640472700000418
是全局注意力子网参数;
Figure BDA00023640472700000419
Figure BDA00023640472700000420
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数;
注意力熵损失确认单元,用于确认注意力熵损失为:
Figure BDA0002364047270000051
式中,Le()表示注意力熵损失,Xt表示训练集XS和测试集XT的合集中第t个样本,θe是注意力熵参数;p(c|Xt)输入样本Xt属于第c类情感类别的概率,C表示情感类别总数。
进一步的,所述情感分类器具体包括:
特征变换单元,用于将特征提取器提取的全局特征
Figure BDA0002364047270000052
变换为向量
Figure BDA0002364047270000053
全连接层,用于对向量
Figure BDA0002364047270000054
进行线性变换:
Figure BDA0002364047270000055
式中,O是线性变换输出矢量,G和bc是可学习的线性变换矩阵,C是情感类别总数;
softmax层,用于根据线性变换输出矢量进行情感类别预测:
Figure BDA0002364047270000056
Figure BDA0002364047270000057
式中,
Figure BDA0002364047270000058
表示训练集中的第t个样本,
Figure BDA0002364047270000059
表示预测的
Figure BDA00023640472700000510
的情感类别标签,
Figure BDA00023640472700000511
表示输入样本
Figure BDA00023640472700000512
属于第c类情感类别的概率,oc表示O中第c个元素;
损失函数确认单元,用于确认情感分类器损失为:
Figure BDA00023640472700000513
Figure BDA00023640472700000514
式中,Lc()表示情感分类器损失,θc表示情感分类器参数。
进一步的,所述脑电情感识别网络的网络总损失为:
Figure BDA00023640472700000515
其中,XS表示训练集,XT表示测试集,Lc()表示情感分类器损失,θc表示情感分类器参数,Le()表示注意力熵损失,θe是注意力熵参数,Ld()表示局部注意力子网损失,
Figure BDA0002364047270000061
是局部注意力子网参数,
Figure BDA0002364047270000062
表示全局注意力子网损失,
Figure BDA0002364047270000063
是全局注意力子网参数,α和β是超参数。
本发明所述的基于可迁移注意力神经网络的脑电情感识别方法装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
有益效果:本发明与现有技术相比,其显著优点是:本发明识别准确率更高。
附图说明
图1是本发明提供的基于可迁移注意力神经网络的脑电情感识别方法的流程示意图;
图2是本发明提供的的脑电情感识别网络结构图。
具体实施方式
本实施例提供了一种基于可迁移注意力神经网络的脑电情感识别方法,如图1和图2所示,包括以下步骤:
(1)获取一个脑电情感数据库,分为训练集和测试集,其中,脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签。
(2)建立基于可迁移注意力神经网络的脑电情感识别网络,所述脑电情感识别网络包括特征提取器和情感分类器,所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网,用于提取输入样本数据中易于迁移与情感相关的全局特征,所述情感分类器用于预测输入的样本数据的情感类别。
其中,所述深度特征提取模块具体包括:
脑电情感数据获取单元,用于获取输入的脑电情感数据
Figure BDA0002364047270000064
式中,形如x*表示X中第*个电极采集的脑电信号,d表示电极采集的数据的维度,n表示电极数目;
第一递归神经网络,用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号,获得水平方向上包含自身和左右电极关系的电极数据表示Hh={hh,i};其中,所述第一递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure BDA0002364047270000071
Figure BDA0002364047270000072
式中,hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,df是输出数据维度;
Figure BDA0002364047270000073
为可学习的参数矩阵;σ(.)表示非线性函数,比如Sigmod函数,N(xi)表示xi的前序节点集合;
第二递归神经网络,用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号,获得垂直方向上包含自身和上下电极关系的电极数据表示Hv={hv,i};其中,所述第二递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure BDA0002364047270000074
Figure BDA0002364047270000075
式中,hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,
Figure BDA0002364047270000076
为可学习的参数矩阵;N(xi)表示xi的前序节点集合;
顺序调整单元,用于调整Hh和Hv中元素的顺序,使变换后的电极位置一致;
特征合并单元,用于根据下式计算得到的脑电情感数据X的深度特征H:
H={hk}
Figure BDA0002364047270000077
式中,P和Q为两个变换矩阵。
其中,所述局部注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的局部(脑区)信息,具体包括:
大脑区域分组单元,用于将大脑区域分为N个脑区,并按照脑区划分规则将脑电情感数据的深度特征H进行划分,得到每个脑区的深度特征H1,...,HN
Figure BDA0002364047270000081
脑区N:
Figure BDA0002364047270000082
ni表示第i个脑区中的电极数量,满足式n1+...+nN=n;
排序单元,用于将所有脑区的深度特征按序组成特征:
Figure BDA0002364047270000083
N个局部域判别器,输入为对应脑区的深度特征Hl,用于获取输入数据属于测试集的概率
Figure BDA0002364047270000084
和属于训练集的概率
Figure BDA0002364047270000085
输出
Figure BDA0002364047270000086
l=1,...,N;
可迁移性量化单元,用于量化局部域判别器输入数据的可迁移性,即每个脑区数据从训练集迁移到测试集的难易程度,量化公式为:
Figure BDA0002364047270000087
l=1,...,N
式中,l表示第l个脑区,H(dl)表示Hl的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到局部注意力值wl
wl=1-H(dl),l=1,...,N
使模型更加关注、并降低难以迁移的脑区数据的权重,以达到加强易于迁移的与情感相关的脑区数据的目的;
局部特征获取单元,用于将注意力值wl与对应的特征进行相乘,得到局部特征
Figure BDA0002364047270000088
Figure BDA0002364047270000089
损失函数确认单元,用于确认局部注意力子网的损失为:
Figure BDA00023640472700000810
Figure BDA00023640472700000811
其中,Ld()表示局部注意力子网损失,
Figure BDA00023640472700000812
表示脑区l对应的局部域判别器损失,
Figure BDA00023640472700000813
Figure BDA00023640472700000815
分别是输入数据属于训练集XS和测试集XT的概率;
Figure BDA00023640472700000814
是局部注意力子网参数;
Figure BDA0002364047270000091
Figure BDA0002364047270000092
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数。
其中,所述全局注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的训练集正样本,及其全局信息,具体包括:
特征变换单元,用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征
Figure BDA0002364047270000093
进行变换,得到变换后的局部特征
Figure BDA0002364047270000094
全局域判别器,输入为变换后的局部特征
Figure BDA0002364047270000095
用于获取输入数据
Figure BDA0002364047270000096
属于测试集的概率ds和属于训练集的概率dt,输出d={ds,dt};
可迁移性量化单元,用于量化全局域判别器输入数据的可迁移性,即
Figure BDA0002364047270000097
从训练集迁移到测试集的难易程度,量化公式为:
H(d)=-ds·log(ds)-dt·log(dt)
式中,H(d)表示
Figure BDA0002364047270000098
的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到全局注意力值w:
w=1+H(d)
损失函数确认单元,用于确认全局注意力子网损失为:
Figure BDA0002364047270000099
其中,
Figure BDA00023640472700000910
表示全局注意力子网损失,
Figure BDA00023640472700000911
Figure BDA00023640472700000912
分别是输入数据属于训练集XS和测试集XT的概率;
Figure BDA00023640472700000913
是全局注意力子网参数;
Figure BDA00023640472700000914
Figure BDA00023640472700000915
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数;
注意力熵损失确认单元,用于确认注意力熵损失为:
Figure BDA00023640472700000916
式中,Le()表示注意力熵损失,Xt表示训练集XS和测试集XT的合集中第t个样本,θe是注意力熵参数;p(c|Xt)输入样本Xt属于第c类情感类别的概率,C表示情感类别总数。
其中,所述情感分类器具体包括:
特征变换单元,用于将特征提取器提取的全局特征
Figure BDA0002364047270000101
变换为向量
Figure BDA0002364047270000102
全连接层,用于对向量
Figure BDA0002364047270000103
进行线性变换:
Figure BDA0002364047270000104
式中,O是线性变换输出矢量,G和bc是可学习的线性变换矩阵,C是情感类别总数;
softmax层,用于根据线性变换输出矢量进行情感类别预测:
Figure BDA0002364047270000105
Figure BDA0002364047270000106
式中,
Figure BDA0002364047270000107
表示训练集中的第t个样本,
Figure BDA0002364047270000108
表示预测的
Figure BDA0002364047270000109
的情感类别标签,
Figure BDA00023640472700001010
表示输入样本
Figure BDA00023640472700001011
属于第c类情感类别的概率,oc表示O中第c个元素;
损失函数确认单元,用于确认情感分类器损失为:
Figure BDA00023640472700001012
Figure BDA00023640472700001013
式中,Lc()表示情感分类器损失,θc表示情感分类器参数。
(3)对所述脑电情感识别网络进行训练,训练时,将训练集和测试集中每一脑电情感数据作为一个样本,输入特征提取器,提取大脑全局特征,并将从训练集中每一脑电情感数据提取的全局特征作为一个样本,输入情感分类器,网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失,通过随机梯度下降法更新网络参数,完成网络训练。
其中,脑电情感识别网络的网络总损失为:
Figure BDA00023640472700001014
其中,XS表示训练集,XT表示测试集,Lc()表示情感分类器损失,θc表示情感分类器参数,Le()表示注意力熵损失,θe是注意力熵参数,Ld()表示局部注意力子网损失,
Figure BDA0002364047270000111
是局部注意力子网参数,
Figure BDA0002364047270000112
表示全局注意力子网损失,
Figure BDA0002364047270000113
是全局注意力子网参数,α和β是超参数。
训练时迭代地优化情感分类器、注意力标签熵、局部注意力子网和全局注意力子网。具体地,可以通过最小化和最大化下列公式来寻找模型的最优参数,如下式
Figure BDA0002364047270000114
Figure BDA0002364047270000115
Figure BDA0002364047270000116
Figure BDA0002364047270000117
上述最大化问题,通过在域判别器之前加入梯度反转层(GRL),可以将转化为最小化问题。其在前向传播中充当恒等变换,但在执行反向传播操作时反转梯度符号。这样,可以使用随机梯度下降(SGD)算法轻松地解决上述参数优化过程。具体而言,可以按照以下规则更新参数
Figure BDA0002364047270000118
Figure BDA0002364047270000119
Figure BDA00023640472700001110
(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。
本实施例还提供了一种基于可迁移注意力神经网络的脑电情感识别装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
为验证本发明的有效性,在SEED脑电情感数据库、SEED-IV脑电情感数据库脑电情感数据库、MPED脑电情感数据库上做了脑电情感识别,并与另外12种方法进行了相同的实验,进行对比。这些方法包括:支持向量机(SVM)、随机森林(RF)、典型相关分析(CCA)、组稀疏典型相关分析(GSCCA)、深度置信网络(DBN)、图正则稀疏线性回归(GRSLR)、图卷积神经网络(GCNN)、动态图卷积神经网络(DGCNN)、域对抗神经网络(DANN)、双半球域对抗神经网络(BiDANN)、EmotionMeter以及有注意力的长短时记忆网络(A-LSTM)。
验证结果如表1所示:
表1
Figure BDA0002364047270000121
注意,由于计算机存储器限制和计算问题,基于子空间的方法(例如TCA,SA和GFK)在处理大量EEG数据方面存在问题。因此,为了与它们进行比较,不得不从训练数据集中随机选择5000个EEG特征样本来训练这些方法。
实验结果表明,基于本发明提出的脑电情感识别方法TANN,识别率更高。

Claims (7)

1.一种基于可迁移注意力神经网络的脑电情感识别方法,其特征在于该方法包括:
(1)获取一个脑电情感数据库,分为训练集和测试集,其中,脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签;
(2)建立基于可迁移注意力神经网络的脑电情感识别网络,所述脑电情感识别网络包括特征提取器和情感分类器,所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网,用于提取输入样本数据中易于迁移与情感相关的全局特征,所述情感分类器用于预测输入的样本数据的情感类别;
(3)对所述脑电情感识别网络进行训练,训练时,将训练集和测试集中每一脑电情感数据作为一个样本,输入特征提取器,提取大脑全局特征,并将从训练集中每一脑电情感数据提取的全局特征作为一个样本,输入情感分类器,网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失,通过随机梯度下降法更新网络参数,完成网络训练;
(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。
2.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法,其特征在于:所述深度特征提取模块具体包括:
脑电情感数据获取单元,用于获取输入的脑电情感数据
Figure FDA0002364047260000011
式中,形如x*表示X中第*个电极采集的脑电信号,d表示电极采集的数据的维度,n表示电极数目;
第一递归神经网络,用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号,获得水平方向上包含自身和左右电极关系的电极数据表示Hh={hh,i};其中,所述第一递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure FDA0002364047260000012
Figure FDA0002364047260000013
式中,hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,df是输出数据维度;
Figure FDA0002364047260000014
为可学习的参数矩阵;σ(.)表示非线性函数,N(xi)表示xi的前序节点集合;
第二递归神经网络,用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号,获得垂直方向上包含自身和上下电极关系的电极数据表示Hv={hv,i};其中,所述第二递归神经网络包括n个隐藏单元,每个隐藏单元执行如下计算:
Figure FDA0002364047260000021
Figure FDA0002364047260000022
式中,hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出,i=1,…,n,
Figure FDA0002364047260000023
为可学习的参数矩阵;N(xi)表示xi的前序节点集合;
顺序调整单元,用于调整Hh和Hv中元素的顺序,使变换后的电极位置一致;
特征合并单元,用于根据下式计算得到的脑电情感数据X的深度特征H:
H={hk}
Figure FDA0002364047260000024
式中,P和Q为两个变换矩阵。
3.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法,其特征在于:所述局部注意力子网具体包括:
大脑区域分组单元,用于将大脑区域分为N个脑区,并按照脑区划分规则将脑电情感数据的深度特征H进行划分,得到每个脑区的深度特征H1,...,HN
排序单元,用于将所有脑区的深度特征按序组成特征:
Figure FDA0002364047260000025
N个局部域判别器,输入为对应脑区的深度特征Hl,用于获取输入数据属于测试集的概率
Figure FDA0002364047260000026
和属于训练集的概率
Figure FDA0002364047260000027
输出
Figure FDA0002364047260000028
可迁移性量化单元,用于量化局部域判别器输入数据的可迁移性,即每个脑区数据从训练集迁移到测试集的难易程度,量化公式为:
Figure FDA0002364047260000029
式中,l表示第l个脑区,H(dl)表示Hl的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到局部注意力值wl
wl=1-H(dl),l=1,...,N
局部特征获取单元,用于将注意力值wl与对应的特征进行相乘,得到局部特征
Figure FDA0002364047260000031
Figure FDA00023640472600000316
损失函数确认单元,用于确认局部注意力子网的损失为:
Figure FDA0002364047260000032
Figure FDA0002364047260000033
其中,Ld()表示局部注意力子网损失,
Figure FDA0002364047260000034
表示脑区l对应的局部域判别器损失,
Figure FDA0002364047260000035
Figure FDA0002364047260000036
分别是输入数据属于训练集XS和测试集XT的概率;
Figure FDA0002364047260000037
是局部注意力子网参数;
Figure FDA0002364047260000038
Figure FDA0002364047260000039
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数。
4.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法,其特征在于:所述全局注意力子网具体包括:
特征变换单元,用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征
Figure FDA00023640472600000310
进行变换,得到变换后的局部特征
Figure FDA00023640472600000311
全局域判别器,输入为变换后的局部特征
Figure FDA00023640472600000312
用于获取输入数据
Figure FDA00023640472600000313
属于测试集的概率ds和属于训练集的概率dt,输出d={ds,dt};
可迁移性量化单元,用于量化全局域判别器输入数据的可迁移性,即
Figure FDA00023640472600000314
从训练集迁移到测试集的难易程度,量化公式为:
H(d)=-ds·log(ds)-dt·log(dt)
式中,H(d)表示
Figure FDA00023640472600000315
的可迁移性值;
注意力值获取单元,用于根据所述可迁移性值计算得到全局注意力值w:
w=1+H(d)
损失函数确认单元,用于确认全局注意力子网损失为:
Figure FDA0002364047260000041
其中,
Figure FDA0002364047260000042
表示全局注意力子网损失,
Figure FDA0002364047260000043
Figure FDA0002364047260000044
分别是输入数据属于训练集XS和测试集XT的概率;
Figure FDA0002364047260000045
是全局注意力子网参数;
Figure FDA0002364047260000046
Figure FDA0002364047260000047
分别代表训练集和测试集中的第t和第t'个样本;M1和M2是训练集和测试集样本的个数;
注意力熵损失确认单元,用于确认注意力熵损失为:
Figure FDA0002364047260000048
式中,Le()表示注意力熵损失,Xt表示训练集XS和测试集XT的合集中第t个样本,θe是注意力熵参数;p(c|Xt)输入样本Xt属于第c类情感类别的概率,C表示情感类别总数。
5.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法,其特征在于:所述情感分类器具体包括:
特征变换单元,用于将特征提取器提取的全局特征
Figure FDA0002364047260000049
变换为向量
Figure FDA00023640472600000410
全连接层,用于对向量
Figure FDA00023640472600000411
进行线性变换:
Figure FDA00023640472600000412
式中,O是线性变换输出矢量,G和bc是可学习的线性变换矩阵,C是情感类别总数;
softmax层,用于根据线性变换输出矢量进行情感类别预测:
Figure FDA00023640472600000413
Figure FDA00023640472600000414
式中,
Figure FDA00023640472600000415
表示训练集中的第t个样本,
Figure FDA00023640472600000416
表示预测的
Figure FDA00023640472600000417
的情感类别标签,
Figure FDA00023640472600000418
表示输入样本
Figure FDA0002364047260000051
属于第c类情感类别的概率,oc表示O中第c个元素;
损失函数确认单元,用于确认情感分类器损失为:
Figure FDA0002364047260000052
Figure FDA0002364047260000053
式中,Lc()表示情感分类器损失,θc表示情感分类器参数。
6.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法,其特征在于:所述脑电情感识别网络的网络总损失为:
Figure FDA0002364047260000054
其中,XS表示训练集,XT表示测试集,Lc()表示情感分类器损失,θc表示情感分类器参数,Le()表示注意力熵损失,θe是注意力熵参数,Ld()表示局部注意力子网损失,
Figure FDA0002364047260000055
是局部注意力子网参数,
Figure FDA0002364047260000056
表示全局注意力子网损失,
Figure FDA0002364047260000057
是全局注意力子网参数,α和β是超参数。
7.一种基于可迁移注意力神经网络的脑电情感识别方法装置,其特征在于:包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-6中任意一项所述的方法。
CN202010030240.1A 2020-01-13 2020-01-13 基于可迁移注意力神经网络的脑电情感识别方法及装置 Active CN111259761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030240.1A CN111259761B (zh) 2020-01-13 2020-01-13 基于可迁移注意力神经网络的脑电情感识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030240.1A CN111259761B (zh) 2020-01-13 2020-01-13 基于可迁移注意力神经网络的脑电情感识别方法及装置

Publications (2)

Publication Number Publication Date
CN111259761A true CN111259761A (zh) 2020-06-09
CN111259761B CN111259761B (zh) 2024-06-07

Family

ID=70946894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030240.1A Active CN111259761B (zh) 2020-01-13 2020-01-13 基于可迁移注意力神经网络的脑电情感识别方法及装置

Country Status (1)

Country Link
CN (1) CN111259761B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638803A (zh) * 2020-06-19 2020-09-08 深圳前海微众银行股份有限公司 基于联邦迁移的脑电数据处理方法、装置、设备及介质
CN112043260A (zh) * 2020-09-16 2020-12-08 杭州师范大学 基于局部模式变换的心电图分类方法
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112998652A (zh) * 2021-02-23 2021-06-22 华南理工大学 一种光电容积脉搏波压力识别方法及***
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN114021608A (zh) * 2021-11-17 2022-02-08 南京工业大学 一种融合大脑区域间结构信息的脑电识别方法
CN114343670A (zh) * 2022-01-07 2022-04-15 北京师范大学 解释信息生成方法及电子设备
CN114343676A (zh) * 2021-12-28 2022-04-15 东南大学 基于自适应层次图神经网络的脑电情感识别方法及装置
CN114492513A (zh) * 2021-07-15 2022-05-13 电子科技大学 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN117493963A (zh) * 2023-11-08 2024-02-02 山西大学 一种基于多尺度双曲对比学习的跨被试脑电情感识别方法及设备
CN117708682A (zh) * 2024-02-06 2024-03-15 吉林大学 脑电波智能采集分析***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400579A (zh) * 2019-06-25 2019-11-01 华东理工大学 基于方向自注意力机制和双向长短时网络的语音情感识别
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284506B (zh) * 2018-11-29 2023-09-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN110399857B (zh) * 2019-08-01 2023-05-23 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400579A (zh) * 2019-06-25 2019-11-01 华东理工大学 基于方向自注意力机制和双向长短时网络的语音情感识别
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111638803A (zh) * 2020-06-19 2020-09-08 深圳前海微众银行股份有限公司 基于联邦迁移的脑电数据处理方法、装置、设备及介质
CN112043260A (zh) * 2020-09-16 2020-12-08 杭州师范大学 基于局部模式变换的心电图分类方法
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112690793B (zh) * 2020-12-28 2023-05-16 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112998652A (zh) * 2021-02-23 2021-06-22 华南理工大学 一种光电容积脉搏波压力识别方法及***
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN113297981B (zh) * 2021-05-27 2023-04-07 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN114492513A (zh) * 2021-07-15 2022-05-13 电子科技大学 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法
CN114492513B (zh) * 2021-07-15 2023-05-26 电子科技大学 跨用户场景下对抗域适应的脑电情绪识别方法
CN114021608A (zh) * 2021-11-17 2022-02-08 南京工业大学 一种融合大脑区域间结构信息的脑电识别方法
CN114343676A (zh) * 2021-12-28 2022-04-15 东南大学 基于自适应层次图神经网络的脑电情感识别方法及装置
CN114343676B (zh) * 2021-12-28 2023-09-29 东南大学 基于自适应层次图神经网络的脑电情感识别方法及装置
CN114343670A (zh) * 2022-01-07 2022-04-15 北京师范大学 解释信息生成方法及电子设备
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN116304585B (zh) * 2023-05-18 2023-08-15 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN117493963A (zh) * 2023-11-08 2024-02-02 山西大学 一种基于多尺度双曲对比学习的跨被试脑电情感识别方法及设备
CN117493963B (zh) * 2023-11-08 2024-05-24 山西大学 一种基于多尺度双曲对比学习的跨被试脑电情感识别方法及设备
CN117708682A (zh) * 2024-02-06 2024-03-15 吉林大学 脑电波智能采集分析***及方法
CN117708682B (zh) * 2024-02-06 2024-04-19 吉林大学 脑电波智能采集分析***及方法

Also Published As

Publication number Publication date
CN111259761B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN111259761A (zh) 基于可迁移注意力神经网络的脑电情感识别方法及装置
CN111126263B (zh) 一种基于双半球差异性模型的脑电情感识别方法及装置
Hou et al. GCNs-net: a graph convolutional neural network approach for decoding time-resolved eeg motor imagery signals
CN110929164B (zh) 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
Alay et al. Deep learning approach for multimodal biometric recognition system based on fusion of iris, face, and finger vein traits
CN108776788B (zh) 一种基于脑电波的识别方法
Boughida et al. A novel approach for facial expression recognition based on Gabor filters and genetic algorithm
JP2022031730A (ja) 確率分布をモデル化するためのシステムおよび方法
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及***
Latif et al. An automatic Arabic sign language recognition system based on deep CNN: an assistive system for the deaf and hard of hearing
CN112800998B (zh) 融合注意力机制和dmcca的多模态情感识别方法及***
M. Jomaa et al. End-to-end deep learning fusion of fingerprint and electrocardiogram signals for presentation attack detection
CN113076927B (zh) 基于多源域迁移的指静脉识别方法及***
CN110427616A (zh) 一种基于深度学习的文本情感分析方法
CN113191225A (zh) 一种基于图注意力网络的情绪脑电识别方法及***
CN115082041B (zh) 用户信息管理方法、装置、设备及存储介质
Khan et al. Convolutional neural network based SARS-CoV-2 patients detection model using CT images
CN113570391A (zh) 基于人工智能的社群划分方法、装置、设备及存储介质
Patel et al. Quantizing mobilenet models for classification problem
Gürel et al. Functional identification of biological neural networks using reservoir adaptation for point processes
Zou et al. Ensemble perspective for understanding temporal credit assignment
CN115969392A (zh) 基于张量化频空注意力域适应网络的跨时段脑纹识别方法
Hashemi et al. Giving a New Method for Face Recognition Using Neural Networks
CN114398991A (zh) 基于Transformer结构搜索的脑电信号情绪识别方法
Fan et al. Parameter estimation for the SEIR model using recurrent nets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant