CN113662545A - 一种基于情绪脑电信号和多任务学习的人格评估方法 - Google Patents

一种基于情绪脑电信号和多任务学习的人格评估方法 Download PDF

Info

Publication number
CN113662545A
CN113662545A CN202110906796.7A CN202110906796A CN113662545A CN 113662545 A CN113662545 A CN 113662545A CN 202110906796 A CN202110906796 A CN 202110906796A CN 113662545 A CN113662545 A CN 113662545A
Authority
CN
China
Prior art keywords
electroencephalogram
representing
network
layer
expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110906796.7A
Other languages
English (en)
Other versions
CN113662545B (zh
Inventor
张道强
许子明
邬霞
周月莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110906796.7A priority Critical patent/CN113662545B/zh
Publication of CN113662545A publication Critical patent/CN113662545A/zh
Application granted granted Critical
Publication of CN113662545B publication Critical patent/CN113662545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于情绪脑电信号和多任务学习的人格评估方法。属于脑电信号处理领域，具体操作步骤如下：情绪刺激实验范式设计和脑电的数据采集；对采集到的脑电数据进行预处理，得到情绪脑电信号数据；对经过预处理后的情绪脑电信号数据计算其脑电特征；将得到的脑电特征输入至多任务学习方法中，并利用不同人格维度之间的相关性信息，得到人格评估结果。本发明提出的基于情绪脑电信号和多任务学习的人格评估方法；既利用了脑电信号在人格评估中的客观性，又通过多任务学习技术利用人格维度之间的相关性信息，而且只需要建立一个评估模型就可以得到五个人格维度的评估结果，因此可以快速、准确、客观的得到人格评估结果。

Description

一种基于情绪脑电信号和多任务学习的人格评估方法
技术领域
本发明属于脑电信号处理领域，涉及一种基于情绪脑电信号和多任务学习的人格评估方法。
背景技术
人格是一种心理结构，反映一个人区别于其他人的相对稳定的思维、情感和行为模式，对个人的生活和发展具有重要意义。人格识别一直是心理学家关注的焦点，因为它在社会网络分析、推荐***设计、求职面试和情绪分析等领域都有重要的应用。在教育行业中，教育者们尝试利用人格测评工具了解学生的优劣势，以期实现高质量的因材施教；在职业选拔中，人格特质也作为一个重要考核指标，面试官期望通过对人格特质的评估来选取出更适合职位特性要求的高素质人才；在临床评估中，为了更好的评估病人的病情，人格评估工具也被越来越广泛的使用。在所有提出的人格描述方法中，最有前途、应用最广泛的是五大人格。它从五个维度描述一个人的人格：神经质、外向性、开放性、宜人性、尽责性。
传统的人格评估方法包括量表类测评法、访谈法、观察法等方法。其中，量表类自评测试是目前学术界最为广泛使用的方式。自评测试是指个体根据自己的实际情况对一系列描述具体行为特征的陈述句进行回答，从而得出人格特质的测验。由于自评测试具备简便易行，成本较低且易于解释等优点，目前大部分研究都是通过自评方式来获取个体人格特质得分。虽然自评测试具有很高的信效度，但在填写量表的过程中，被测者可以根据自己主观的想法对自己的人格进行评价，因此当处于选拔竞争等环境中时，评估结果容易受到主观掩饰的干扰，不能反应真实情况。
随着信息科学、生命科学的不断发展，日益丰富的各类生理与行为传感器可以帮助研究者方便的获取更全面、精确的个体信息，给人格评估方法的进一步发展带来了全新可能性。基于传感器收集到的个体信息，运用机器学习算法构建人格评估模型，研究者已经设计并实现了一系列不依赖个体主观报告的自动化人格评估方法。这些方法主要可以分为三类：基于网络行为数据、基于现实行为数据、基于神经生理信号。但是，基于网络行为数据的自动化人格评估方法仍然无法完全避免主观性的问题，且对于网络行为与人格的相关联系并不清楚，其心理机制的解释目前还相对薄弱。基于现实行为数据的评估方法，其数据采集方式存在许多困难，比如个体的配合度和完成率，而且有些行为数据的采集还需要较长的一段时间。相比之下，基于神经生理信号的评估方法不仅能够较好的避免主观因素的影响，而且可以通过合理的实验设计获取较高质量的神经数据，从而有望实现短时间内的准确评估，保证更好的可行性。随着脑电信号采集和分析技术的成熟，相比于其它生理信号，脑电技术便携性好、运行成本低，适合进行应用研究。
脑电信号是一种使用电生理指标记录大脑活动的方法，可以反映个体的脑功能信息，且脑电信号不易伪造，具有很好的稳定性。有研究表明，情绪刺激下的情绪脑电信号和人格之间具有更高的相关关系，可以得到更为准确的人格评估结果。因此可以通过情绪脑电信号获取可靠的大脑功能标记物，对个体人格特质进行评估。
目前的人格评估方法主要通过自陈量表和人格投射测试进行，容易受到主观因素的影响，不能得到真实的结果。脑电信号可以较为真实、可靠的反映出个体人格特质，现有的基于脑电的人格评估方法忽略了人格维度之间的相关性，通常为每个人格维度分别建立一个评估模型，但人格维度之间往往不是完全孤立的，存在一定的相关性。现有方法不能利用人格维度之间的相关信息，而且为每个人格维度分别建立一个评估模型需要花费较多的成本。因此，如何更好地利用人格维度之间的相关性信息，并减少建立模型的成本，从而快速、准确、客观地对人格特质进行评估是一个尚待解决的问题。
发明内容
发明目的：本发明的目的是提供了一种基于情绪脑电信号和多任务学习的人格评估方法。
技术方案：本发明所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其具体操作步骤如下：
(1)、情绪刺激实验范式设计和脑电的数据采集；
(2)、对采集到的脑电数据进行预处理，从而得到情绪脑电信号数据；
(3)、对经过预处理后的情绪脑电信号数据计算其脑电特征；
(4)、将得到的脑电特征输入至多任务学习方法中，并利用不同人格维度之间的相关性信息，最终得到人格评估结果。
进一步的，在步骤(1)中，所述情绪刺激实验范式设计的具体过程是：从情绪素材库中选取情绪图片或视频作为情绪刺激材料；设计实验范式中情绪刺激素材的展示顺序、展示时间、时间间隔；将实验重复若干次，直到将所有情绪刺激素材都展示过一次，最终形成完整的情绪刺激实验范式；
所述脑电数据采集的具体过程是：受试者佩戴多通道脑电设备；脑电设备收集在受试者在情绪刺激实验范式下产生的情绪脑电数据；将收集到的数据保存在可存储介质中。
进一步的，在步骤(2)中，所述对采集到的脑电数据进行预处理的具体操作步骤如下：
(2.1)、信号滤波：采取某种信号滤波方法，对采集到的脑电信号滤波，去除工频及肌电伪迹干扰，保留所需的频率范围中的脑电信号；
(2.2)、重参考：根据参考点的位置对数据进行重参考，得到每个电极和参考电极之间的电位差；
(2.3)、分段和基线校正：对于情绪刺激实验范式下采集到的的脑电数据，根据数据的标签信息将数据分段，每段保留一定时间长度的脑电数据，然后对数据进行基线校正去除数据漂移的影响；
(2.4)、伪迹去除：对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹成分。
进一步的，在步骤(3)中，所述对经过预处理后的情绪脑电信号数据计算其脑电特征的具体过程是：
所述计算的脑电特征包括基于头皮脑电电极通道间的功能连接、事件相关电位脑电及功率谱密度特征；
(3.1)、计算基于头皮脑电电极通道间的功能连接：将情绪脑电信号数据进行滤波，分成delta、theta、alpha、beta及gamma五个频段，然后将每个频段的数据基于相干等计算脑电各通道之间的功能连接特征；
(3.2)、计算事件相关电位脑电特征：将情绪脑电信号数据划分为1秒时间长度的数据段，所述1秒时间长度的时域脑电信号数据段即为事件相关电位特征，然后进行标准化处理；
(3.3)、功率谱密度特征：将情绪脑电信号数据转换到频域，从频域中选取出需要的频段作为功率谱密度特征，然后进行标准化处理。
进一步的，在步骤(4)中，在所述在多任务学习方法中利用不同人格维度之间的相关性信息得到人格评估结果中，所述多任务学习方法是指通过同时训练多个相关任务，学习到任务之间的共享表示，并进一步的挖掘训练信号中的特定域信息来提高每个任务泛化能力；其具体操作步骤如下：
(4.1)、多视图输入：
将不同类型的脑电特征输入到全连接层，通过多视图输入进行特征融合拼接，其形式化为：
vj＝Relu(xjwj+bj)
其中，xj表示是第j个视图的输入特征向量；wj和bj分别表示是学习的参数； ReLU表示激活函数；vj表示是第j个视图的输出特征向量；
(4.2)、注意力层：
将得到的不同视图的特征向量作为输入，通过自注意力层得到每个视图中每个特征的加权和，并输入到跨注意力层；通过跨注意力层得到每个视图特征向量的加权；最后将不同视图的特征向量拼接，作为整个注意力层输出的特征向量，其形式化为：
Figure BDA0003201977020000041
Figure BDA0003201977020000042
Figure BDA0003201977020000043
Figure BDA0003201977020000044
Figure BDA0003201977020000045
Figure BDA0003201977020000046
Figure BDA0003201977020000047
其中，vj表示第j个视图的输入特征向量，
Figure BDA0003201977020000048
表示tanh激活函数，qj表示第j 个视图中每个特征向量的权重；
Figure BDA0003201977020000049
表示第j个视图自注意力层的输出； m1,m2,m3分别表示评估第1个视图，第2个视图，第3个视图特征向量的重要性权重；vf表示三个视图的特征经过注意力层拼接加权后的输出；
Figure BDA00032019770200000410
表示学习的参数；
(4.3)、专家网络：
将得到的注意力层输出特征向量作为输入，在专家网络中训练；
所述专家网络的流程是将注意力层输出特征向量输入到专属专家神经网络、共享专家神经网络以及门控神经网络；门控神经网络通过学习到的参数得到不同专家神经网络的权重；然后将得到的权重与对应专家神经网络学习到的输出特征结合，计算不同专家神经网络的加权和，最终为每个子任务输出一个特征向量；其形式化为：
Figure BDA0003201977020000051
Figure BDA0003201977020000052
Figure BDA0003201977020000053
Figure BDA0003201977020000054
Figure BDA0003201977020000055
Figure BDA0003201977020000056
Figure BDA0003201977020000057
Figure BDA0003201977020000058
Gj＝gj.F
其中，vf表示经过注意力层拼接加权后的特征向量，
Figure BDA0003201977020000059
表示ReLU激活函数，
Figure BDA00032019770200000510
和
Figure BDA00032019770200000511
表示第i个专属专家的中间隐向量；
Figure BDA00032019770200000512
表示第i专属专家的输出特征向量；
Figure BDA00032019770200000513
和
Figure BDA00032019770200000514
表示第i个共享专家的中间隐向量；
Figure BDA00032019770200000515
表示第i个共享专家的输出特征向量；gj表示第j个门的权重向量；F表示专属专家和共享专家合并的特征向量； Gj表示第j个门控网络的输出特征向量；
Figure BDA00032019770200000516
表示学习的参数；
(4.4)、水闸网络：
将门控网络的五个任务对应的输出特征向量作为水闸网络五个任务的输入特征向量；将输入特征向量输入给给水闸网络第一层的共享单元，计算特征向量加权和，作为水闸网络第一层的输出；然后依次将第一层的输出特征向量输入给结构相同的水闸网络第二层，以此类推到水闸网络的最后一层；
最后将水闸网络第一层到最后一层的输出特征向量与隐层开关参数相乘，计算特征向量加权和，为每个任务输出一个特征向量；然后将每个任务的特征向量分别输入给各自任务对应的降维全连接层，通过若干个降维全连接层输出五个维度人格评估任务的结果，其形式化为：
Figure BDA0003201977020000061
Figure BDA0003201977020000062
Figure BDA0003201977020000063
Figure BDA0003201977020000064
其中，Gj表示专家网络中第j个门的输出特征向量；
Figure BDA0003201977020000065
表示水闸网络中第i 层第j个任务的输出特征向量；
Figure BDA0003201977020000066
表示ReLU激活函数；
Figure BDA0003201977020000067
表示水闸网络中第i层共享单元的共享参数；
Figure BDA0003201977020000068
表示第i层从
Figure BDA0003201977020000069
到
Figure BDA00032019770200000610
五个任务的输出特征向量的线性组合，表示水闸网络第i+1层的输出特征向量；
Figure BDA00032019770200000611
表示水闸网络中第j个任务在第i层的输出在第j个任务的最终输出中所占的权重；
Figure BDA00032019770200000612
表示第 j个任务最终的人格评估结果；
Figure BDA00032019770200000613
表示学习的参数；
(4.5)、损失函数：
所述多任务学习模型的损失函数为：
Figure BDA00032019770200000614
Figure BDA00032019770200000615
Figure BDA0003201977020000071
Figure BDA0003201977020000072
Loss＝L1+L2+μL3
其中，L1表示五个任务总的损失函数；Lj表示第j个任务定义为L(y,f(x))的损失函数；λj表示第j个任务的权重；
Figure BDA0003201977020000073
表示第j个任务的最终人格评估结果；yj表示第j个任务的真实标签；定义为L(y,f(x))的损失函数中，δ表示Huber Loss的参数，y表示真实标签，f(x)表示评预测值；L2表示水闸网络中所有任务的惩罚项；n表示水闸网络的层数，
Figure BDA0003201977020000074
表示第j个任务在第n层的参数，
Figure BDA0003201977020000075
表示F范数的平方；μj表示水闸网络中第j个任务惩罚项的权重；L3表示专家网络中所有任务的惩罚项；M表示专家网络中专家的数量；I表示专家网络的层数；
Figure BDA0003201977020000076
表示第m个专家在第i层的参数；μ表示专家网络中所有任务的惩罚项的权重；Loss表示整个模型总的训练损失函数。
有益效果：本发明与现有技术相比，本发明提出的基于情绪脑电信号和多任务学习的人格评估方法；既利用了脑电信号在人格评估中的客观性，又通过多任务学习技术利用人格维度之间的相关性信息，且只需要建立一个评估模型就可以得到五个人格维度的评估结果，因此可以快速、准确、客观的得到人格评估结果。
附图说明
图1是本发明的操作流程图；
图2是本发明中基于多任务学习的人格评估模型结构图；
图3是本发明中实验例流程示意图；
图4是本发明中实验例的结果对比图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
本发明所述的本发明所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其具体操作步骤如下：
(1)、情绪刺激实验范式设计和脑电的数据采集；
(2)、对采集到的脑电数据进行预处理，从而得到情绪脑电信号数据；
(3)、对经过预处理后的情绪脑电信号数据计算其脑电特征；
(4)、将得到的脑电特征输入至多任务学习方法中，并利用不同人格维度之间的相关性信息，最终得到人格评估结果。
进一步的，在步骤(1)中，所述情绪刺激实验范式设计的具体过程是：从已有的情绪视频和图片素材库(例如国际情绪图片***)中，根据设定的情绪类别(例如积极情绪、消极情绪、中性情绪)，从不同的情绪类别中选取相同数量的情绪图片或情绪视频作为情绪刺激材料；
将选取到的情绪刺激素材按照设计的展示顺序，设置相同的展示时间和两个情绪刺激之间的时间间隔，依次使受试者观看每个情绪素材，使受试者接收到与情绪素材对应情绪类别的情绪刺激，并将实验重复若干次，直到将所有选取出的情绪图片或情绪视频都展示过一次，从而形成完整的情绪刺激实验范式；
所述数据采集的具体过程是：受试者佩戴已有的多通道脑电设备，并调整脑电设备到可正常接受脑电信号的工作状态；实验者利用脑电设备收集在受试者在上述情绪刺激实验范式下产生的情绪脑电信号反应数据，并将收集到的数据保存在可存储介质中。
进一步的，在步骤(2)中，所述脑电数据预处理的具体操作步骤如下：
(2.1)、信号滤波：采取某种信号滤波方法，对采集到的脑电信号滤波，去除工频及肌电等伪迹干扰，保留所需的频率范围中的脑电信号；
(2.2)、重参考：根据参考点的位置对数据进行重参考，得到每个电极和参考电极之间的电位差；
(2.3)、分段和基线校正：对于情绪刺激实验范式下采集到的的脑电数据，根据数据的标签信息将数据分段，每段保留一定时间长度的脑电数据(例如1 秒)，然后对数据进行基线校正去除数据漂移的影响；
(2.4)、伪迹去除：为了保留最有用的数据，对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹成分(例如眼动、肌电等成分引起的噪声)。
进一步的，在步骤(3)中，所述通过得到的情绪脑电信号数据计算脑电特征的具体情况是：
可以计算的脑电特征包括基于头皮脑电电极通道间的功能连接、事件相关电位脑电及功率谱密度特征等；
具体的说，(3.1)、计算基于头皮脑电电极通道间的功能连接是指：将上一步得到的情绪脑电信号数据进行滤波，分成delta(1-4Hz)、theta(4-8Hz)、alpha (8-13Hz)、beta(13-30Hz)、gamma(30-45Hz)五个频段，将每个频段的数据基于相干、皮尔森系数、相位锁相值、互信息及同步似然等关系计算脑电各通道之间的功能连接特征，得到功能连接矩阵；其中，每条边的权值代表两个脑电通道之间的功能连接关系；
以相干为例，即根据相干关系公式
Figure BDA0003201977020000091
计算两个通道之间脑电数据的相干关系，其中，Pxy表示两个通道信号x和y的互谱，Pxx和Pyy 分别表示信号x和y的功率谱；
(3.2)、计算事件相关电位脑电特征是指：将上一步得到的情绪脑电信号数据划分为1秒时间长度的数据段，这些所述1秒时间长度的时域脑电信号数据段即为事件相关电位特征，然后使用某种数据标准化方法对提取到的事件相关电位特征进行标准化处理；
(3.3)、功率谱密度特征：将上一步得到的情绪脑电信号数据通过短时傅里叶变换、小波变换及Welch方法等转换到频域，并计算得到不同频率的脑电信号对应的功率谱密度，并从中选取出需要的频段(例如delta:1-4Hz、theta:4-8Hz等)作为使用的功率谱密度特征，并使用某种数据标准化方法对提取到的功率谱密度特征进行标准化处理。
进一步的，在步骤(4)中，所述使用多任务学习方法利用不同人格维度之间的相关性信息具体是：
所述多任务学习是指通过同时训练多个相关任务，学习到任务之间的一些共享表示，并进一步的挖掘训练信号中的特定域信息来提高每个任务泛化能力；本部分基于上一步计算得到脑电特征，提出一种利用多任务学习进行人格评估的模型，其整体框架示意图如图2所示，具体地说，可以分为以下几个模块：
(4.1)、多视图输入：
将上一步的得到的不同类型的脑电特征通过多视图输入进行特征融合拼接；
具体地，将每种类型脑电特征的特征向量输入到一层全连接层中，其中全连接层的输入长度等于每种类型脑电特征的特征向量长度，全连接层的输出具有相同固定的长度，其形式化为：
vj＝Relu(xjwj+bj)
其中，xj表示是第j个视图(脑电特征)的输入特征向量；wj和bj分别表示是学习的参数；ReLU表示激活函数；vj表示是第j个视图(脑电特征)的输出特征向量；
(4.2)、注意力层：
将上一步得到的不同视图的特征向量作为输入，通过注意力层中得到每个视图的重要性权重；
具体地，将每个视图的特征向量分别输入到自注意力层，得到每个视图中每个特征向量的权重，并将得到的权重与每个特征向量相乘作为自注意力层的输出特征向量；将每个视图自注意力层输出的特征向量进行拼接，并输入到跨注意力层，得到每个视图特征向量的权重，然后将得到的权重与每个视图特征向量相乘作为跨注意力层的输出特征向量，也是整个注意力层的输出的特征向量；具体的可以形式化为：
Figure BDA0003201977020000101
Figure BDA0003201977020000102
Figure BDA0003201977020000103
Figure BDA0003201977020000104
Figure BDA0003201977020000105
Figure BDA0003201977020000106
Figure BDA0003201977020000107
其中，vj表示第j个视图的输入特征向量，
Figure BDA00032019770200001010
表示tanh激活函数，qj表示第j 个视图中每个特征向量的权重；
Figure BDA0003201977020000108
表示第j个视图自注意力层的输出； m1,m2,m3分别表示评佔第1个视图，第2个视图，第3个视图特征向量的重要性权重；vf表示三个视图的特征经过注意力层拼接加权后的输出；
Figure BDA0003201977020000109
表示是可以学习的参数；
(4.3)、专家网络：
将上一步得到的经过注意力层拼接加权后的特征向量作为输入，在专家网络中训练；专家网络包含多个专家模型和5个门控；每个专家模型从注意力层的特征向量中学习，从而为每个子任务生成不同的特征向量；
门控是指神经网络，用于融合专家输出的特征向量，为五个学习任务提供融合信息。专家网络中的专家分为专属专家和共享专家，专属专家只针对特定子任务学习特征向量，共享专家为所有任务学习特征向量；
通过门控组合多个专属专家和共享专家的输出，每个学习任务可以获得对本任务最有利的特征向量；
专家网络的主要流程是将注意力层拼接加权后的特征向量输入到专属专家神经网络、共享专家神经网络以及门控神经网络，门控神经网络通过学习到的参数得到不同专家神经网络的权重，然后将得到的权重与对应专家神经网络学习到的输出特征向量相乘，计算不同专家神经网络的加权和，最终为每个子任务输出一个特征向量；专家网络具体的可以形式化为：
Figure BDA0003201977020000111
Figure BDA0003201977020000112
Figure BDA0003201977020000113
Figure BDA0003201977020000114
Figure BDA0003201977020000115
Figure BDA0003201977020000116
Figure BDA0003201977020000117
Figure BDA0003201977020000118
Gj＝gj.F
其中，vf表示经过注意力层拼接加权后的特征向量，
Figure BDA0003201977020000119
表示ReLU激活函数，
Figure BDA00032019770200001110
和
Figure BDA00032019770200001111
表示第i个专属专家的中间隐向量；
Figure BDA00032019770200001112
表示第i专属专家的输出特征向量；
Figure BDA00032019770200001113
和
Figure BDA00032019770200001114
表示第i个共享专家的中间隐向量；
Figure BDA00032019770200001115
表示第i个共享专家的输出特征向量；gj表示第j个门的权重向量；F表示专属专家和共享专家合并的特征向量； Gj表示第j个门控网络的输出特征向量；
Figure BDA0003201977020000121
表示是可以学习的参数；
(4.4)、水闸网络：
将上一步得到的门控网络输出的特征向量作为水闸网络的输入，在水闸网络中训练；水闸网络由隐层神经元、共享单元和隐层开关组成；模型通过在不同的任务之间利用共享单元分享各自任务的隐层神经元所学习到的特征向量，从而在实现在不同学习任务之间共享相关性信息，最终通过隐层开关参数为不同隐层的特征向量赋予不同的权重，从而进行加权求和；
水闸网络的流程是：将上一步门控网络的五个任务对应的输出特征向量作为水闸网络五个任务的输入特征向量，在经过一个全连接层后，输入给水闸网络第一层的共享单元，在共享单元中将输入特征向量与共享参数相乘，计算特征向量加权和，将其作为水闸网络第一层的输出；
然后依次将第一层的输出特征向量输入给结构相同的水闸网络第二层，将第二层的输出特征向量输入给结构相同的水闸网络第三层，以此类推到水闸网络的最后一层；
最后将水闸网络第一层到最后一层的输出特征向量与隐层开关参数相乘，从而计算特征向量加权和，最终为每个任务输出一个特征向量；然后将每个任务的特征向量分别输入给各自任务对应的降维全连接层，通过若干个降维全连接层最终输出五个维度人格评估任务的结果，水闸网络具体的可以形式化为：
Figure BDA0003201977020000122
Figure BDA0003201977020000123
Figure BDA0003201977020000131
Figure BDA0003201977020000132
其中，Gj表示专家网络中第j个门的输出特征向量；
Figure BDA0003201977020000133
表示水闸网络中第i 层第j个任务的输出特征向量；
Figure BDA0003201977020000134
表示ReLU激活函数；
Figure BDA0003201977020000135
表示水闸网络中第i层共享单元的共享参数；
Figure BDA0003201977020000136
表示第i层从
Figure BDA0003201977020000137
到
Figure BDA0003201977020000138
五个任务的输出特征向量的线性组合，表示水闸网络第i+1层的输入特征向量；
Figure BDA0003201977020000139
表示水闸网络中第j个任务在第i层的输出在第j个任务的最终输出中所占的权重；
Figure BDA00032019770200001310
表示第 j个任务最终的人格评估结果；
Figure BDA00032019770200001311
表示可以学习的参数；
(4.5)、损失函数：
所使用的多任务学习模型的损失函数为：
Figure BDA00032019770200001312
Figure BDA00032019770200001313
Figure BDA00032019770200001314
Figure BDA00032019770200001315
Loss＝L1+L2+μL3
其中，L1表示五个任务总的损失函数；Lj表示第j个任务定义为L(y,f(x))的损失函数；λj表示第j个任务的权重；
Figure BDA00032019770200001316
表示第j个任务的最终人格评估结果；yj表示第j个任务的真实标签；定义为L(y,f(x))的损失函数中，δ表示Huber Loss的参数，y表示真实标签，f(x)表示评预测值；L2表示水闸网络中所有任务的惩罚项；n表示水闸网络的层数，
Figure BDA0003201977020000141
表示第j个任务在第n层的参数，
Figure BDA0003201977020000142
表示F范数的平方；μj表示水闸网络中第j个任务惩罚项的权重；L3表示专家网络中所有任务的惩罚项；M表示专家网络中专家的数量；I表示专家网络的层数；
Figure BDA0003201977020000143
表示第m个专家在第i层的参数；μ表示专家网络中所有任务的惩罚项的权重；Loss表示整个模型总的训练损失函数。
具体实施例：
1、实验数据：实验数据是根据情绪刺激实验范式采集脑电的数据，采集数据用的脑电设备是博睿康的NeuSen W 64导无线脑电放大器；实验范式流程如图3所示，采用中国情绪图片数据集，每张图片包含效价和唤醒度信息；从其中选取3个情绪类型的图片各50张，即积极、中立、消极，其中积极和消极的图片都为高唤醒图片，中性图片唤醒度一般都为中；在每个任务中，按照：十字页(2s)—情绪图片(4s)—空白页(2s)的顺序，150张图片随机出现一次，50张图片为1组，每两组之间休息30s；实验共采集42个被试的脑电数据，并要求这42 个被试在脑电数据采集之前完成完整的中文大五人格问卷作为真实标签；
2、实验设定：
将42个被试分成5组，其中3组为8个被试，2组为9个被试，每次将4 组被试数据作为训练集，剩余的1组被试数据作为测试集，进行五折交叉验证；最后计算所有五折测试集被试的预测值与真实值之间的平均绝对值误差，平均绝对值误差越小越好；
3、实验结果(如表1和图4所示)：
表1：基于情绪脑电信号和多任务学习方法的人格评估结果
Figure BDA0003201977020000144
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于情绪脑电信号和多任务学习的人格评估方法，其特征在于，其具体操作步骤如下：
(1)、情绪刺激实验范式设计和脑电的数据采集；
(2)、对采集到的脑电数据进行预处理，从而得到情绪脑电信号数据；
(3)、对经过预处理后的情绪脑电信号数据计算其脑电特征；
(4)、将得到的脑电特征输入至多任务学习方法中，并利用不同人格维度之间的相关性信息，最终得到人格评估结果。
2.根据权利要求1所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其特征在于，
在步骤(1)中，所述情绪刺激实验范式设计的具体过程是：从情绪素材库中选取情绪图片或视频作为情绪刺激材料；设计实验范式中情绪刺激素材的展示顺序、展示时间、时间间隔；将实验重复若干次，直到将所有情绪刺激素材都展示过一次，最终形成完整的情绪刺激实验范式；
所述脑电数据采集的具体过程是：受试者佩戴多通道脑电设备；脑电设备收集受试者在情绪刺激实验范式下产生的情绪脑电数据；将收集到的数据保存在可存储介质中。
3.根据权利要求1所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其特征在于，
在步骤(2)中，所述对采集到的脑电数据进行预处理的具体操作步骤如下：
(2.1)、信号滤波：采取某种信号滤波方法，对采集到的脑电信号滤波，去除工频及肌电伪迹干扰，保留所需的频率范围中的脑电信号；
(2.2)、重参考：根据参考点的位置对数据进行重参考，得到每个电极和参考电极之间的电位差；
(2.3)、分段和基线校正：对于情绪刺激实验范式下采集到的的脑电数据，根据数据的标签信息将数据分段，每段保留一定时间长度的脑电数据，然后对数据进行基线校正去除数据漂移的影响；
(2.4)、伪迹去除：对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹成分。
4.根据权利要求1所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其特征在于，
在步骤(3)中，所述对经过预处理后的情绪脑电信号数据计算其脑电特征的具体过程是：
所述计算的脑电特征包括基于头皮脑电电极通道间的功能连接、事件相关电位脑电及功率谱密度特征；
(3.1)、计算基于头皮脑电电极通道间的功能连接：将情绪脑电信号数据进行滤波，分成delta、theta、alpha、beta及gamma五个频段，然后将每个频段的数据基于相干等计算脑电各通道之间的功能连接特征；
(3.2)、计算事件相关电位脑电特征：将情绪脑电信号数据划分为1秒时间长度的数据段，所述1秒时间长度的时域脑电信号数据段即为事件相关电位特征，然后进行标准化处理；
(3.3)、功率谱密度特征：将情绪脑电信号数据转换到频域，从频域中选取出需要的频段作为功率谱密度特征，然后进行标准化处理。
5.根据权利要求1所述的一种基于情绪脑电信号和多任务学习的人格评估方法，其特征在于，
在步骤(4)中，在所述在多任务学习方法中利用不同人格维度之间的相关性信息得到人格评估结果中，所述多任务学习方法是指通过同时训练多个相关任务，学习到任务之间的共享表示，并进一步的挖掘训练信号中的特定域信息来提高每个任务泛化能力；其具体操作步骤如下：
(4.1)、多视图输入：
将不同类型的脑电特征输入到全连接层，通过多视图输入进行特征融合拼接，其形式化为：
vj＝Relu(xjwj+bj)
其中，xj表示是第j个视图的输入特征向量；wj和bj分别表示是学习的参数；ReLU表示激活函数；vj表示是第j个视图的输出特征向量；
(4.2)、注意力层：
将得到的不同视图的特征向量作为输入，通过自注意力层得到每个视图中每个特征的加权和，并输入到跨注意力层；通过跨注意力层得到每个视图特征向量的加权；最后将不同视图的特征向量拼接，作为整个注意力层输出的特征向量，其形式化为：
Figure FDA0003201977010000021
Figure FDA0003201977010000022
Figure FDA0003201977010000031
Figure FDA0003201977010000032
Figure FDA0003201977010000033
Figure FDA0003201977010000034
Figure FDA0003201977010000035
其中，vj表示第j个视图的输入特征向量，
Figure FDA0003201977010000036
表示tanh激活函数，qj表示第j个视图中每个特征向量的权重；
Figure FDA0003201977010000037
表示第j个视图自注意力层的输出；m1,m2,m3分别表示评估第1个视图，第2个视图，第3个视图特征向量的重要性权重；vf表示三个视图的特征经过注意力层拼接加权后的输出；
Figure FDA0003201977010000038
表示学习的参数；
(4.3)、专家网络：
将得到的注意力层输出特征向量作为输入，在专家网络中训练；
所述专家网络的流程是将注意力层输出特征向量输入到专属专家神经网络、共享专家神经网络以及门控神经网络；门控神经网络通过学习到的参数得到不同专家神经网络的权重；然后将得到的权重与对应专家神经网络学习到的输出特征结合，计算不同专家神经网络的加权和，最终为每个子任务输出一个特征向量；其形式化为：
Figure FDA0003201977010000039
Figure FDA00032019770100000310
Figure FDA00032019770100000311
Figure FDA00032019770100000312
Figure FDA00032019770100000313
Figure FDA00032019770100000314
Figure FDA0003201977010000041
Figure FDA0003201977010000042
Gj＝gj.F
其中，vf表示经过注意力层拼接加权后的特征向量，
Figure FDA0003201977010000043
表示ReLU激活函数，
Figure FDA0003201977010000044
和
Figure FDA0003201977010000045
表示第i个专属专家的中间隐向量；
Figure FDA0003201977010000046
表示第i专属专家的输出特征向量；
Figure FDA0003201977010000047
和
Figure FDA0003201977010000048
表示第i个共享专家的中间隐向量；
Figure FDA0003201977010000049
表示第i个共享专家的输出特征向量；gj表示第j个门的权重向量；F表示专属专家和共享专家合并的特征向量；Gj表示第j个门控网络的输出特征向量；
Figure FDA00032019770100000410
表示学习的参数；
(4.4)、水闸网络：
将门控网络的五个任务对应的输出特征向量作为水闸网络五个任务的输入特征向量；将输入特征向量输入给给水闸网络第一层的共享单元，计算特征向量加权和，作为水闸网络第一层的输出；然后依次将第一层的输出特征向量输入给结构相同的水闸网络第二层，以此类推到水闸网络的最后一层；
最后将水闸网络第一层到最后一层的输出特征向量与隐层开关参数相乘，计算特征向量加权和，为每个任务输出一个特征向量；然后将每个任务的特征向量分别输入给各自任务对应的降维全连接层，通过若干个降维全连接层输出五个维度人格评估任务的结果，其形式化为：
Figure FDA00032019770100000411
Figure FDA00032019770100000412
Figure FDA0003201977010000051
Figure FDA0003201977010000052
其中，Gj表示专家网络中第j个门的输出特征向量；
Figure FDA0003201977010000053
表示水闸网络中第i层第j个任务的输出特征向量；
Figure FDA0003201977010000054
表示ReLU激活函数；
Figure FDA0003201977010000055
表示水闸网络中第i层共享单元的共享参数；
Figure FDA0003201977010000056
表示第i层从
Figure FDA0003201977010000057
到
Figure FDA0003201977010000058
五个任务的输出特征向量的线性组合，表示水闸网络第i+1层的输出特征向量；
Figure FDA0003201977010000059
表示水闸网络中第j个任务在第i层的输出在第j个任务的最终输出中所占的权重；
Figure FDA00032019770100000510
表示第j个任务最终的人格评估结果；
Figure FDA00032019770100000511
表示学习的参数；
(4.5)、损失函数：
所述多任务学习模型的损失函数为：
Figure FDA00032019770100000512
Figure FDA00032019770100000513
Figure FDA00032019770100000514
Figure FDA00032019770100000515
Loss＝L1+L2+μL3
其中，L1表示五个任务总的损失函数；Lj表示第j个任务定义为L(y,f(x))的损失函数；λj表示第j个任务的权重；
Figure FDA00032019770100000516
表示第j个任务的最终人格评估结果；yj表示第j个任务的真实标签；定义为L(y,f(x))的损失函数中，δ表示Huber Loss的参数，y表示真实标签，f(x)表示评预测值；L2表示水闸网络中所有任务的惩罚项；n表示水闸网络的层数，
Figure FDA0003201977010000061
表示第j个任务在第n层的参数，
Figure FDA0003201977010000062
表示F范数的平方；μj表示水闸网络中第j个任务惩罚项的权重；L3表示专家网络中所有任务的惩罚项；M表示专家网络中专家的数量；I表示专家网络的层数；
Figure FDA0003201977010000063
表示第m个专家在第i层的参数；μ表示专家网络中所有任务的惩罚项的权重；Loss表示整个模型总的训练损失函数。
CN202110906796.7A 2021-08-09 2021-08-09 一种基于情绪脑电信号和多任务学习的人格评估方法 Active CN113662545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906796.7A CN113662545B (zh) 2021-08-09 2021-08-09 一种基于情绪脑电信号和多任务学习的人格评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906796.7A CN113662545B (zh) 2021-08-09 2021-08-09 一种基于情绪脑电信号和多任务学习的人格评估方法

Publications (2)

Publication Number Publication Date
CN113662545A true CN113662545A (zh) 2021-11-19
CN113662545B CN113662545B (zh) 2022-10-14

Family

ID=78541829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906796.7A Active CN113662545B (zh) 2021-08-09 2021-08-09 一种基于情绪脑电信号和多任务学习的人格评估方法

Country Status (1)

Country Link
CN (1) CN113662545B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224342A (zh) * 2021-12-06 2022-03-25 南京航空航天大学 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN114431862A (zh) * 2021-12-22 2022-05-06 山东师范大学 基于脑功能连接网络的多模态情绪识别方法及***
CN114886425A (zh) * 2022-07-13 2022-08-12 东苑(北京)科技有限公司 一种基于***发展理论的忆溯性人格发展评估装置
CN115063188A (zh) * 2022-08-18 2022-09-16 中国食品发酵工业研究院有限公司 一种基于脑电信号的智能消费者喜好度指数评估方法
CN115444431A (zh) * 2022-09-02 2022-12-09 厦门大学 一种基于互信息驱动下的脑电情绪分类模型生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150045688A1 (en) * 2013-08-10 2015-02-12 Dario Nardi Nardi neurotype profiler system
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估***
CN109567830A (zh) * 2018-10-30 2019-04-05 清华大学 一种基于神经响应的人格测量方法及***
CN110477911A (zh) * 2019-08-21 2019-11-22 中国航天员科研训练中心 基于意识冲突的隐瞒行为的脑电信号特征检测方法及***
CN111914885A (zh) * 2020-06-19 2020-11-10 合肥工业大学 基于深度学习的多任务人格预测方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150045688A1 (en) * 2013-08-10 2015-02-12 Dario Nardi Nardi neurotype profiler system
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估***
CN109567830A (zh) * 2018-10-30 2019-04-05 清华大学 一种基于神经响应的人格测量方法及***
CN110477911A (zh) * 2019-08-21 2019-11-22 中国航天员科研训练中心 基于意识冲突的隐瞒行为的脑电信号特征检测方法及***
CN111914885A (zh) * 2020-06-19 2020-11-10 合肥工业大学 基于深度学习的多任务人格预测方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘琳琳等: "视听分散注意力法对肌电图检查患者疼痛的影响及疼痛与人格的关系", 《现代电生理学杂志》 *
张义等: "基于OVR-CSP的情绪认知重评脑电信号晚正成分研究", 《生物医学工程学杂志》 *
郑敬华等: "基于多任务学习的大五人格预测", 《中国科学院大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224342A (zh) * 2021-12-06 2022-03-25 南京航空航天大学 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN114224342B (zh) * 2021-12-06 2023-12-15 南京航空航天大学 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN114431862A (zh) * 2021-12-22 2022-05-06 山东师范大学 基于脑功能连接网络的多模态情绪识别方法及***
CN114886425A (zh) * 2022-07-13 2022-08-12 东苑(北京)科技有限公司 一种基于***发展理论的忆溯性人格发展评估装置
CN115063188A (zh) * 2022-08-18 2022-09-16 中国食品发酵工业研究院有限公司 一种基于脑电信号的智能消费者喜好度指数评估方法
CN115444431A (zh) * 2022-09-02 2022-12-09 厦门大学 一种基于互信息驱动下的脑电情绪分类模型生成方法

Also Published As

Publication number Publication date
CN113662545B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN113662545B (zh) 一种基于情绪脑电信号和多任务学习的人格评估方法
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及***
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、***
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN113229818A (zh) 一种基于脑电信号和迁移学习的跨被试人格预测***
CN110192860B (zh) 一种面向网络信息认知的脑成像智能测试分析方法及***
Lopes et al. Ensemble deep neural network for automatic classification of EEG independent components
CN110569968B (zh) 基于电生理信号的创业失败恢复力评估方法及评估***
CN114305452B (zh) 一种基于脑电和领域适配的跨任务认知负荷识别方法
Sukaria et al. Epileptic seizure detection using convolution neural networks
CN117237766A (zh) 一种基于多模态数据的课堂认知投入识别方法和***
Rieg et al. Machine learning-based diagnosis of epilepsy in clinical routine: Lessons learned from a retrospective pilot study
CN115736920A (zh) 基于双模态融合的抑郁状态识别方法及***
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别***
Moontaha et al. Wearable EEG-Based Cognitive Load Classification by Personalized and Generalized Model Using Brain Asymmetry.
CN115429272B (zh) 基于多模态生理信号的心理健康状态评估方法及***
Subasi et al. and Emrah Hancer
황보선 End-to-End Deep Learning Design Methodologies for Pattern Recognition in Time Series
Sukanesh et al. A Patient Specific Neural Networks (MLP) for Optimization of Fuzzy Outputs in Classification of Epilepsy Risk Levels from EEG Signals.
Fang et al. Enhancing Medical Signal Processing and Diagnosis with AI-Generated Content Techniques
Hoang et al. Decoding Emotions from Brain Signals Using Recurrent Neural Networks
Subasi et al. Artificial Intelligence-Enabled EEG Signal Processing-Based Detection of Epileptic Seizures
Sumithra et al. DETECTION OF EPILEPSY IN HUMAN BRAIN USING DEEP LEARNING ON AN ELECTROENCEPHALOGRAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant