CN114145745A - 基于图的多任务自监督情绪识别方法 - Google Patents
基于图的多任务自监督情绪识别方法 Download PDFInfo
- Publication number
- CN114145745A CN114145745A CN202111532664.9A CN202111532664A CN114145745A CN 114145745 A CN114145745 A CN 114145745A CN 202111532664 A CN202111532664 A CN 202111532664A CN 114145745 A CN114145745 A CN 114145745A
- Authority
- CN
- China
- Prior art keywords
- task
- graph
- emotion
- electroencephalogram
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 53
- 230000008451 emotion Effects 0.000 claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 210000004556 brain Anatomy 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请属于信息技术领域，涉及一种脑电信号的分类方法具体提供了一种基于图的多任务自监督情绪识别方法，其特征在于，该方法包括如下步骤：S1，获取脑电情绪数据并进行预处理；S2，构建自监督辅助任务；S3，构建图卷积神经网络；S4，训练图卷积神经网络；S5，测试图卷积神经网络。本发明首次考虑到设计自监督任务用于脑电情绪识别。设计的空间拼图任务通过学习不同脑区之间的内在空间关系，从而学习脑电情绪相关的空间模式；设计的频率拼图任务旨在于挖掘对情感识别更为关键频带；设计的对比学习任务旨在于进一步规范特征空间，学习内在的表征。本发明情绪识别的准确率较高。
Description
技术领域
本申请属于信息技术领域，涉及一种脑电信号的分类方法，具体而言，涉及一种基于图的多任务自监督情绪识别方法，可用于医疗服务。
背景技术
脑电信号由大脑神经元群的生物电活动产生，属于自发性电位活动。通常将脑电信号按频段分为δ、θ、α、β、γ这几种不同的节律，不同节律的脑电信号能够反映人体不同的生理心理状态信息，其中：δ节律主要位于1～3Hz频段，反映人的深度睡眠状态或特殊脑部病患；θ节律主要位于4～7Hz频段，反映人处在睡眠初期、冥想、困倦或压抑状态；α节律主要位于8～13Hz频段，除反映人处于清醒、安静和闭眼的状态，还包含了与躯体运动相关的μ波；β节律主要位于14～30Hz频段，既能反映人处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；γ节律主要位于31～50Hz频段，其包含较高层次的思维活动，如情绪变化、抽象思考等状态。
根据脑电信号的不同特征信息，衍生出了一系列脑电信号采集和处理方法。目前普遍使用的是将电极通过导电膏与人体头皮相连来获取脑电信号，称为非侵入式脑电采集方法。脑电信号的采集和处理技术可应用于脑机接口BCI的研发、医疗服务和人类认知活动研究。
脑机接口源于上世纪七八十年代，早期BCI主要用于医疗服务，通常面向神经或肌肉失能的重症病人设计，例如脑控轮椅，脑控文字输入设备，脑控假肢和机械臂等等。随着研究的推进，BCI在医疗、康复应用中继续发挥更大作用的同时，也逐渐显示出更广阔的应用潜力。在教育领域，用于时刻反馈教师授课质量的学生头环已投入市场，又可嵌入日常生活场景，改善儿童多动症、增强注意力；保健行业，已有基于脑电的睡眠质量监测和改善仪器；在家用娱乐方面，脑控交互***提供了全新的游戏形式，可用于强化虚拟现实、增强现实，提升用户体验；在特种行业，利用脑电仪器监测使用者的情绪变化和工作状态，当发现使用者情绪异常或疲劳工作时及时干预，避免造成重大损失；在军事方面，美国等试图借助BCI提升单兵作战能力。出于成本和便携性考虑，这类BCI通常使用非侵入式方法采集脑电信号。
脑电情绪识别方法主要包括传统机器学习的方法和基于深度学习的方法。传统机器学习的方法的主要包含了多层感知机提取特征使用线性SVM分类的方法；深度学习的方法主要包含了卷积神经网络或循环卷积神经网络以及全连接层提取脑电信号情感信息。随着图卷积神经网络的兴起，利用脑电信号的拓扑结构进一步研究脑电情绪的想法也随之兴起。因此基于图卷积神经网络的脑电情绪识别的方法也被提出。图卷积神经网络输入包含了原始的脑电数据以及对电极建模构造的图结构，根据图结构中结点间的连接关系实现结点间信息的传递。图卷积操作完成特征提取后，将特征送入全连接层实现分类。其中具有代表性的工作有宋等人在“EEG emotion recognition using dynamical graphconvolutional neural networks,”一文中提出动态图卷积的方法，动态地学习不同脑电通道间的内在关系来帮助情感识别。然而，现有传统机器学习的方法以及基于卷积神经网络、循环神经网络和图卷积神经网络的深度学习方法对脑电数据本身的探索和利用仍然还是浅层次的，未充分利用大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性等脑电信号的本身属性，导致脑电情绪识别的效果差，准确率低。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种基于图的多任务自监督情绪识别方法，以解决现有技术由于未充分利用大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性等脑电信号的本身属性，而导致脑电情绪识别的效果差，准确率低的问题。
为实现上述目的，本发明的技术思路是：基于自监督学习理论设计多个自监督辅助任务以及基于多任务学习理论，利用图卷积神经网络完成对脑电情绪信号的识别。具体地，采用如下技术方案来实现。
本申请提供一种基于图的多任务自监督情绪识别方法，具体包括如下步骤：S1，获取脑电情绪数据并进行预处理；S2，构建自监督辅助任务；S3，构建图卷积神经网络；S4，训练图卷积神经网络；S5，测试图卷积神经网络。
更进一步地，步骤S1中的预处理包括对脑电情绪数据进行数据段选取、去基线、去工频、初步提取特征。
更进一步地，步骤S2中构建的自监督辅助任务包括空间拼图任务、频率拼图任务、对比学习任务。
更进一步地，空间拼图任务将每份脑电情绪数据按照不同的脑区划分为10块。
更进一步地，频率拼图任务将每份脑电情绪数据按照不同的频带区间划分为5块。
更进一步地，对比学习任务将脑电情绪数据既做不同脑区的空间分块也做频带分块。
更进一步地，步骤S3构建的图卷积神经网络包括图输入模块、特征提取模块、分类模块。
更进一步地，特征提取模块包括基于切比雪夫多项式的图卷积操作。
更进一步地，步骤S4中的损失函数为交叉熵损失函数。
更进一步地，步骤S4中以不出现过拟合为图卷积神经网络训练好的标准。
与现有技术相比，本发明的有益效果：
(1)本发明首次考虑到将多任务框架用于脑电情绪识别。通过多个情感相关任务的知识共享，相互促进，得到更加泛化的情感识别模型。提高脑电情绪识别的效果，提高识别准确率。
(2)本发明首次考虑到设计自监督任务用于脑电情绪识别。设计的空间拼图任务通过学习不同脑区之间的内在空间关系，从而学习脑电情绪相关的空间模式；设计的频率拼图任务旨在于挖掘对情感识别更为关键频带；设计的对比学习任务旨在于进一步规范特征空间，学习内在的表征。本发明考虑到了脑电信号的本身属性，充分利用了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，提高脑电情绪识别的效果，提升识别准确率。
附图说明
图1为本发明提供的一种基于图的多任务自监督情绪识别方法中的基于图的多任务自监督学习框架图；
图2为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤示意图；
图3为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤S2中的空间拼图任务构建方式；
图4为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤S2中的频率拼图任务构建方式；
图5为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤S2中的对比学习任务数据对构建方式。
具体实施方式
为了使本发明的实施过程更加清楚，下面将会结合附图进行详细说明。
本发明提供了一种基于图的多任务自监督情绪识别方法，图1展示了本发明中的基于图的多任务自监督学习框架图。如图2所示，本发明包括如下步骤：
S1，获取脑电情绪数据并进行预处理；
脑电情绪数据的采集过程为：被试者佩戴电极帽观看情绪诱发视频，在观看情绪诱发视频的过程中，通过电极帽上的电极采集被试者的脑电情绪数据。本发明获取的脑电情绪数据可以是被试者的采集数据，也可以是现有的数据集，还可以是被试者的采集数据和现有数据集组成的新的数据集。本发明以公开的上海交通大学的SEED和SEED-IV脑电情绪数据集和东南大学的MPED脑电情绪数据集为例，其中上海交通大学的SEED脑电情绪数据集为快乐、悲伤、中性三类数据集，SEED-IV脑电情绪数据集为快乐、悲伤、恐惧、中性四类数据集，东南大学的MPED脑电情绪数据集为喜悦、有趣、愤怒、恐惧、厌恶、悲伤、中性七类数据集。将获取的脑电情绪数据进行数据段选取、去基线、去工频、初步提取特征。上海交通大学的SEED，SEED-IV脑电情绪数据集和东南大学的MPED脑电情绪数据集都采用了62通道采集设备，电极分布采用国际通用的10-20导联***，分别有15、15、30名被试者参与了数据采集，脑电情绪数据被切割为1s的片段。上海交通大学的SEED，SEED-IV脑电情绪数据集和东南大学的MPED脑电情绪数据集被分别以9：6、16：8、21：7的比例分为训练集数据和测试集数据进行被试者依赖实验，这样划分方便与其他结果进行对比，使用留一法交叉验证策略进行被试者独立实验。至此获得了情绪识别任务所需要的输入数据。
S2，构建自监督辅助任务；
利用步骤S1获取的脑电情绪数据构建三个自监督辅助任务，分别为空间拼图任务、频率拼图任务和对比学习任务。同时构建空间拼图任务、频率拼图任务和对比学习任务这三个自监督辅助任务并对数据集中所有数据都执行这三个任务。通过解决空间拼图任务学习脑电情绪信号的空间模式，通过解决频率拼图任务挖掘对脑电情绪识别更加关键的频带信息，通过解决对比学习任务进一步规范特征空间，学习脑电信号的内在表示。同时解决这三个相关任务，使得本发明方法能够得到更加具有泛化性的情绪空间特征和频率特性，本发明方法的脑电情绪信号判别能力较强，脑电情绪识别的准确率较高。
空间拼图任务是将脑电情绪数据按照不同脑区分块并打乱得到一个随机排列的脑电情绪数据，并为该排列顺序分配一个标签，该标签为伪标签。如图3所示，将步骤S1获得的每份脑电情绪数据按照不同的脑区分块，将一份脑电情绪数据划分为10块，空间拼图任务等价的转换为排列识别任务，并随机打乱后，得到一个新的排列顺序。这为图卷积神经网络学习每块空间拼图语义特性及每块空间拼图之间的语义相关性提供基础。本发明方法充分利用了不同脑区的空间相关性，充分学习脑电情绪信号的空间模式，从而提高脑电情绪信号识别的准确率。
频率拼图任务是将脑电情绪数据按照不同的频率区间分块并打乱得到一个随机排列的脑电情绪数据，并为该排列顺序分配一个标签，该标签为伪标签。如图4所示，将步骤S1获得的每份脑电情绪数据按照不同频带分块，将一份脑电情绪数据划分为5块，频率拼图任务等价的转换为排列识别问题，并随机打乱得到一个新的排列顺序。这为图卷积神经网络学习每块频率拼图语义特性及每块频率拼图之间的语义相关性提供基础。本发明方法充分利用了充分利用了脑电情绪信号的频带特性，充分学习对脑电情绪信号分类更加关键的频率信息，从而提高脑电情绪信号识别的准确率。
对比学习任务是将脑电情绪数据按照不同脑区和不同频带打乱，如图5所示，将脑电情绪数据既做空间分块也做频带分块，从而构建正负对数据，最大化正对相似度。通过最大化正对相似度，使得提取的正对特征在特征空间靠近，提取的负对特征在特征空间远离。这样能进一步规范化模型的特征空间，以便学习脑电情绪信号的内在表征，提高脑电情绪识别的准确率。
本步骤还包括对空间拼图任务、频率拼图任务、对比学习任务生成的脑电情绪数据和原始数据进行最大最小值归一化，使结果值映射到[0,1]之间，这样能够加快梯度下降，使最优解的求解速度较快。
S3，构建图卷积神经网络；
图卷积神经网络包括图输入模块、特征提取模块、分类模块。图输入模块能同时处理多个任务输入；特征提取模块为基于切比雪夫多项式的图卷积神经网络，是共享模块，用于提取数据特征；分类模块由多个图卷积分类组成，对应相应的输入特征并分类。
图输入模块：根据多任务学习理论，同时将原始数据、空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据输入图卷积神经网络。原始数据的分类任务对应为主任务，空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据输入对应为三个自监督辅助任务。空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据的输入包含脑电情绪相关的空间信息和频率信息，这将会使得主任务的情绪识别过程考虑到大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，从而提高脑电情绪识别的准确率；同时，在不断迭代学习的过程中每个任务相互促进，能够进一步提高本发明方法的脑电情绪识别能力。
特征提取模块：特征提取模块为四个任务共享，即实现了多任务的知识共享。这样，特征提取模块提取了三个自监督辅助任务对应的空间信息和频率信息，通过知识共享，使得主任务的情绪识别过程充分考虑大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，从而本发明方法脑电情绪识别的准确率较高。特征提取通过基于切比雪夫多项式的图卷积神经网络完成，切比雪夫多项式的表达式为：
σ(·)是激活函数，X是输入的数据，βk是网络训练时学习的参数，Tk(·)是K阶切比雪夫多项式，K＝2，λmax是拉普拉斯矩阵L的最大特征值。对于每一个任务，输入的数据均提过手工特征，因此输入特征维度为62*5，输出特征维度为62*32，这样，输出特征维度相比于输入特征维度较高，具有更丰富的高维特征信息，高维特征信息抽象程度高，包含更加丰富的语义信息，因此，本发明方法的脑电情绪识别准确率更高。
分类模块：通过全连接层完成分类功能。空间拼图任务对应空间分类头，空间分类头生成预测空间类别标签，空间分类头输出维度为128，即预测空间类别标签的预测结果为128类中的一类。预测空间类别标签的数目为128，即本发明方法中考虑的空间信息较细致，也较全面，从而本方法识别准确度更高。频率拼图任务对应频率分类头，频率分类头生成预测频率类别标签，频率分类头输出维度为120，即预测频率类别标签的预测结果为120类中的一类，预测频率类别标签的数目为120，即本发明方法中考虑的频率信息较细致，也较全面，从而本方法识别准确度更高。对比学习任务对应的投影头，采用简单有效的余弦相似度度量数据对的相似程度，并最大化正对间的相似度，这样相似样本在特征空间中更加靠近，同类相聚，聚成一团，有助于分类任务的完成，使得分类结果的准确率更高。情绪识别任务即主任务对应情绪分类头，对SEED，SEED-IV和MPED三个数据集的原始脑电情感数据进行分类，对应的输出维度分别是3，4，7，这分别与步骤S1中的情绪类别的数目一致。情绪分类头生成的标签为预测情绪标签，空间分类头生成的标签为预测空间类别标签，频率分类头生成的标签为预测频率类别标签，投影头不生成标签。通过特征提取模块中的多任务的知识共享，预测情绪标签的生成过程已经包含了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，因此，预测情绪标签为最终的预测结果，由于生成过程考虑了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，本发明方法识别脑电情绪的准确率较高。
S4，训练图卷积神经网络；
使用步骤S1中的训练集脑电情绪数据和步骤S2中构建的自监督辅助任务对步骤S31构建的图卷积神经网络进行联合训练。使用测试集对训练中的图卷积神经网络进行检验，若出现过拟合，则调整学习率重新训练图卷积神经网络，最后得到初步训练后的图卷积神经网络。
S41，设置训练次数为100-300，每个任务单次样本输入量为100-300，损失函数为交叉熵损失函数：
S42，每次从训练集中取100个样本，依据步骤S2为每个自监督任务生成相应的数据，送入步骤S3构建好的图卷积神经网络中的图输入模块，通过特征提取模块得到脑电情绪信号的特征，再对脑电情绪信号特征依次进行非线性、降采样、对数处理并随机失活后，送入相应的分类模块进行分类。
S43，对于空间拼图任务根据空间分类头生成的预测空间类别标签和步骤S2中所述的对应的伪标签，计算出交叉熵损失；对于频率拼图任务根据频率分类头生成的预测频率类别标签和步骤S2中所述的对应的伪标签，计算出交叉熵损失；对于对比学习任务，通过最大化正对相似度，计算归一化交叉熵损失；交叉熵损失和归一化交叉熵损失均用于反向传播。对于脑电情绪识别的主任务，根据预测情绪标签和样本真实标签计算出交叉熵损失；再由图卷积神经网络优化器对图卷积神经网络中的卷积层和全连接层的参数进行更新。用交叉熵损失进行反向传播，更新网络参数，以达到最小化交叉熵损失的目的，交叉熵损失越小，情绪识别准确率越高，从而提高本发明方法的情绪识别准确率。
S44，遍历训练集中的所有样本，完成1次训练，每迭代训练10次，进行一次测试，测试采用测试集数据进行，并分别计算图卷积神经网络在训练集和测试集上的准确率。
S45，将图卷积神经网络在训练集和测试集上的准确率进行对比。若随着训练次数的增加，图卷积神经网络在训练集上的准确率比测试集上的准确率高20％以上，则是出现了过拟合，此时降低学习率，返回步骤S42，重新进行训练。若随着训练次数的增加，训练集和测试集上的准确率一直相差在20％以内，则训练1000次后，得到训练后的图卷积神经网络。
S5，测试图卷积神经网络。
将步骤S1中测试集中的脑电情绪数据直接送入训练后的图卷积神经网络进行分类，并对分类结果进行统计，得到图卷积神经网络在测试集上的识别准确率。若测试的准确率不能达到所要求的精度，则需调整学习率，重复步骤S4，对图卷积神经网络重新进行训练，直到满足所需的精度为止。
在SEED数据集上，被试者依赖实验结果的准确率为96.48％，这高于李等人在“ANovel Bi-hemispheric Discrepancy Model for EEG Emotion Recognition”一文中，使用最先进的BiHDM方法在无域自适应的实验协议下，得到的91.70％；被试者独立实验结果的准确率为86.52％，这高于李等人在上述文章中公开的81.55％。在SEED-IV数据集上，被试者依赖实验结果准确率为86.37％，这高于李等人在上述文章中公开的72.22％；被试者独立实验结果的准确率为73.48％，这高于李等人在上述文章中公开的67.47％。在MPED数据集上，被试者依赖实验结果准确率为40.16％，这高于李等人在上述文章中公开的38.55％；被试者独立实验结果准确率为28.49％，这高于李等人在上述文章中公开的27.43％。本发明为在无域自适应的实验协议下取得了state-of-the-art的结果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图的多任务自监督情绪识别方法，其特征在于，所述方法包括如下步骤：
S1，获取脑电情绪数据并进行预处理；
S2，构建自监督辅助任务；
S3，构建图卷积神经网络；
S4，训练所述图卷积神经网络；
S5，测试所述图卷积神经网络。
2.根据权利要求1所述的基于图的多任务自监督情绪识别方法，其特征在于，所述步骤S1中的预处理包括对脑电情绪数据进行数据段选取、去基线、去工频、初步提取特征。
3.根据权利要求2所述的基于图的多任务自监督情绪识别方法，其特征在于，所述步骤S2中构建的自监督辅助任务包括空间拼图任务、频率拼图任务、对比学习任务。
4.根据权利要求3所述的基于图的多任务自监督情绪识别方法，其特征在于，所述空间拼图任务将每份脑电情绪数据按照不同的脑区划分为10块。
5.根据权利要求4所述的基于图的多任务自监督情绪识别方法，其特征在于，所述频率拼图任务将每份脑电情绪数据按照不同的频带区间划分为5块。
6.根据权利要求5所述的基于图的多任务自监督情绪识别方法，其特征在于，所述对比学习任务将脑电情绪数据既做不同脑区的空间分块也做频带分块。
7.根据权利要求6所述的基于图的多任务自监督情绪识别方法，其特征在于，所述步骤S3构建的所述图卷积神经网络包括图输入模块、特征提取模块、分类模块。
8.根据权利要求7所述的基于图的多任务自监督情绪识别方法，其特征在于，所述特征提取模块包括基于切比雪夫多项式的图卷积操作。
9.根据权利要求8所述的基于图的多任务自监督情绪识别方法，其特征在于，所述步骤S4中的损失函数为交叉熵损失函数。
10.根据权利要求9所述的基于图的多任务自监督情绪识别方法，其特征在于，所述步骤S4中以不出现过拟合为所述图卷积神经网络训练好的标准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111532664.9A CN114145745B (zh) | 2021-12-15 | 2021-12-15 | 基于图的多任务自监督情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111532664.9A CN114145745B (zh) | 2021-12-15 | 2021-12-15 | 基于图的多任务自监督情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114145745A true CN114145745A (zh) | 2022-03-08 |
| CN114145745B CN114145745B (zh) | 2024-03-29 |
Family
ID=80451213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111532664.9A Active CN114145745B (zh) | 2021-12-15 | 2021-12-15 | 基于图的多任务自监督情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114145745B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626454A (zh) * | 2022-03-10 | 2022-06-14 | 华南理工大学 | 一种融合自监督学习和注意力机制的视觉情感识别方法 |
| CN114758298A (zh) * | 2022-04-22 | 2022-07-15 | 华南理工大学 | 基于多任务的自监督目标检测方法、***、装置及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| WO2021006770A2 (ru) * | 2019-07-10 | 2021-01-14 | Общество С Ограниченной Ответственностью "Комплект-Ом" | Система и способ мониторинга и обучения детей с расстройствами аутистического спектра |
| CN113158949A (zh) * | 2021-04-30 | 2021-07-23 | 湖北工业大学 | 一种基于自监督学习的运动想象脑电信号分类方法 |
| CN113362295A (zh) * | 2021-05-28 | 2021-09-07 | 西安医学院第二附属医院 | 基于自监督密集卷积神经网络的肝脏肿瘤识别方法 |
| CN113469238A (zh) * | 2021-06-29 | 2021-10-01 | 中山大学 | 一种基于crnn解决拼图任务的自监督学习方法 |
-
2021
- 2021-12-15 CN CN202111532664.9A patent/CN114145745B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
| WO2021006770A2 (ru) * | 2019-07-10 | 2021-01-14 | Общество С Ограниченной Ответственностью "Комплект-Ом" | Система и способ мониторинга и обучения детей с расстройствами аутистического спектра |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| CN113158949A (zh) * | 2021-04-30 | 2021-07-23 | 湖北工业大学 | 一种基于自监督学习的运动想象脑电信号分类方法 |
| CN113362295A (zh) * | 2021-05-28 | 2021-09-07 | 西安医学院第二附属医院 | 基于自监督密集卷积神经网络的肝脏肿瘤识别方法 |
| CN113469238A (zh) * | 2021-06-29 | 2021-10-01 | 中山大学 | 一种基于crnn解决拼图任务的自监督学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张俊晓;薄华;: "基于卷积神经网络的脑电情绪识别研究", 现代计算机(专业版), no. 23, pages 14 - 18 * |
| 张娜;唐贤伦;刘庆;: "基于半监督学习的脑电信号特征提取及识别", 工程科学与技术, no. 2, pages 233 - 240 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626454A (zh) * | 2022-03-10 | 2022-06-14 | 华南理工大学 | 一种融合自监督学习和注意力机制的视觉情感识别方法 |
| CN114758298A (zh) * | 2022-04-22 | 2022-07-15 | 华南理工大学 | 基于多任务的自监督目标检测方法、***、装置及介质 |
| CN114758298B (zh) * | 2022-04-22 | 2024-06-04 | 华南理工大学 | 基于多任务的自监督目标检测方法、***、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114145745B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765920B (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| Li et al. | Multi-modal bioelectrical signal fusion analysis based on different acquisition devices and scene settings: Overview, challenges, and novel orientation | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及*** | |
| CN114145745B (zh) | 基于图的多任务自监督情绪识别方法 | |
| Ma et al. | Capsule network for ERP detection in brain-computer interface | |
| Anwar et al. | EEG signal classification using convolutional neural networks on combined spatial and temporal dimensions for BCI systems | |
| CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| CN111883252A (zh) | 一种婴儿自闭症辅助诊断方法、装置、设备和存储介质 | |
| Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
| CN114662547A (zh) | 基于脑电信号的mscrnn情绪识别方法及装置 | |
| Mirzabagherian et al. | Temporal-spatial convolutional residual network for decoding attempted movement related EEG signals of subjects with spinal cord injury | |
| CN114145744A (zh) | 基于跨设备前额脑电情绪识别的方法和*** | |
| Zhu et al. | RAMST-CNN: a residual and multiscale spatio-temporal convolution neural network for personal identification with EEG | |
| CN114052734B (zh) | 基于渐进式图卷积神经网络的脑电情感识别方法 | |
| Si et al. | Temporal aware mixed attention-based convolution and transformer network (MACTN) for EEG emotion recognition | |
| CN113057652A (zh) | 基于脑电和深度学习的脑负荷检测方法 | |
| Mitra et al. | Analyzing clinical 12-lead ECG images using deep learning algorithms for objective detection of cardiac diseases | |
| Hasan et al. | Emotion prediction through EEG recordings using computational intelligence | |
| Sun et al. | MEEG-Transformer: transformer Network based on Multi-domain EEG for emotion recognition | |
| Xu et al. | Emotional recognition of EEG signals based on fractal dimension | |
| CN111897428B (zh) | 一种基于运动式脑机接口的手势识别方法 | |
| Tahira et al. | Eeg based mental stress detection using deep learning techniques | |
| Singh et al. | Electroencephalography-based classification of human emotion: a hybrid strategy in machine learning paradigm | |
| Li | A Dual-Modality Emotion Recognition System of EEG and Facial Images and its |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |