CN114818814A - 情感识别的处理方法、装置、电子设备和存储介质 - Google Patents

情感识别的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114818814A
CN114818814A CN202210478131.5A CN202210478131A CN114818814A CN 114818814 A CN114818814 A CN 114818814A CN 202210478131 A CN202210478131 A CN 202210478131A CN 114818814 A CN114818814 A CN 114818814A
Authority
CN
China
Prior art keywords
matrix
feature
emotion
electroencephalogram
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210478131.5A
Other languages
English (en)
Inventor
邬霞
徐雪远
贾甜远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202210478131.5A priority Critical patent/CN114818814A/zh
Publication of CN114818814A publication Critical patent/CN114818814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本公开实施例公开了一种情感识别的处理方法、装置、电子设备和存储介质，其中，方法包括：获取待识别情感脑电信号；基于待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；基于预先训练获得的多维情感特征选择模型，确定特征权重向量，多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；基于特征权重向量，对第一特征矩阵进行特征选择，获得脑电特征子集；基于脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。本公开实施例可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，解决现有技术容易在特征子集中保留高度相关的特征等问题。

Description

情感识别的处理方法、装置、电子设备和存储介质
技术领域
本公开涉及情感识别技术，尤其是一种情感识别的处理方法、装置、电子设备和存储介质。
背景技术
近年来，情感识别(Emotion Recognition)已成为人机交互、信号处理、机器学习等领域的重点研究课题之一。由于情感的产生本身伴随着生理和心理活动的进行，利用人的神经生理信号来挖掘情感信息成为关键技术之一。其中，脑电(Electroencephalogram，EEG)因其高时间分辨率、无创性和低成本等优点，已被广泛应用于情感识别研究。相较于较少的样本量，脑电特征所具有的高维度特点给基于脑电的情感分类带来了困难。因此，当提取的脑电特征数目较多时，特征选择(Feature Selection)步骤非常关键。特征选择是指从已有的D个特征中选择M(M＜D)个特征使得***的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程。现有技术中，脑电特征选择方法分为以下三类：过滤式(Filter)、包裹式(Wrapper)和嵌入式(Embedded)。过滤式方法的总体思路是特征选择步骤独立于学习器构建过程，对原始特征进行筛选后再训练分类模型。这种方法没有与分类模型的构建联系在一起，因此过滤式方法往往难以获得有判别力的特征子集。包裹式方法计算复杂度高。嵌入式方法虽然考虑特征在分类任务中的重要性，但是，由于脑电信号存在容积传导现象，每个电极上采集到的信号往往是多个潜在源信号的线性叠加结果，从而导致通道间信号存在高度相关性。这种相关性使得从脑电信号提取得到特征中可能存在大量冗余和相似信息，尤其是从相邻或对称电极提取的特征，这些冗余的特征将导致较高的计算复杂度、分类器过拟合等问题，使得后续的情感识别变得困难。现有的脑电特征选择方法忽略了所选特征之间的相关性，导致在特征子集中保留高度相关的特征，无法克服容积传导效应带来的高度冗余性问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种情感识别的处理方法、装置、电子设备和存储介质。
根据本公开实施例的一个方面，提供了一种情感识别的处理方法，包括：获取待识别情感脑电信号；基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；基于预先训练获得的多维情感特征选择模型，确定特征权重向量，所述多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
根据本公开实施例的另一个方面，提供了一种情感识别的处理装置，包括：第一获取模块，用于获取待识别情感脑电信号；第一特征提取模块，用于基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；第一处理模块，用于基于预先训练获得的多维情感特征选择模型，确定特征权重向量；第二处理模块，用于基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；第三处理模块，用于基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的方法。
根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的方法。
基于本公开上述实施例提供的情感识别的处理方法、装置、电子设备和存储介质，基于预先训练获得的多维情感特征选择模型确定特征权重向量，进而基于特征权重向量选择出具有表征性且非冗余的脑电特征子集，进而基于训练获得的多维情感分类模型对选择出的脑电特征子集进行情感识别，获得对应的情感识别结果。由于多维情感特征选择模型基于正交回归矩阵、全局标签关联矩阵和全局特征冗余矩阵综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性，基于获得的特征权重向量进行特征选择可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，提高特征选择的准确性，解决现有技术容易在特征子集中保留高度相关的特征而无法克服容积传导效应带来的高度冗余性问题。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的情感识别的处理方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的情感识别的处理方法的流程示意图；
图3是本公开另一示例性实施例提供的情感识别的处理方法的流程示意图；
图4是本公开一示例性实施例提供的Redundancy指标的对比结果示意图；
图5是本公开一示例性实施例提供的Coverage指标的对比结果示意图；
图6是本公开一示例性实施例提供的Hamming loss指标的对比结果示意图；
图7是本公开一示例性实施例提供的Ranking loss指标的对比结果示意图；
图8是本公开一示例性实施例提供的Average precision指标的对比结果示意图；
图9是本公开一示例性实施例提供的Macro-F1指标的对比结果示意图；
图10是本公开一示例性实施例提供的Micro-F1指标的对比结果示意图；
图11是本公开一示例性实施例提供的目标函数值的收敛曲线示意图；
图12是本公开一示例性实施例提供的情感识别的处理装置的结构示意图；
图13是本公开另一示例性实施例提供的情感识别的处理装置的结构示意图；
图14是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，现有的情感识别方法，在进行脑电特征选择时，忽略了所选特征之间的相关性，导致在特征子集中保留高度相关的特征，无法克服容积传导效应带来的高度冗余性问题。
示例性概述
图1是本公开提供的情感识别的处理方法的一个示例性的应用场景。
在进行情感识别时，可以通过任意可实施的方式采集待识别情感脑电信号，基于待识别情感脑电信号，可以提取至少两种类型的情感脑电特征，构成特征矩阵(称为第一特征矩阵)，基于预先训练获得的正交回归的多维情感特征选择模型，确定特征权重向量，该特征权重向量包括了各中类型的情感脑电特征的权重值，该权重值的大小表示该类型的情感脑电特征在情感识别中的重要性，该重要性综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性，因此，基于该权重值对待识别情感脑电信号进行特征选择，可以选择出具有表征性且非冗余的脑电特征子集，提高特征选择的准确性，解决现有技术容易在特征子集中保留高度相关的特征，无法克服容积传导效应带来的高度冗余性问题，进而采用多维情感分类模型对选择后的脑电特征子集进行情感识别，可以有效提高情感识别效率。
示例性方法
图2是本公开一示例性实施例提供的情感识别的处理方法的流程示意图。本实施例可应用在电子设备上，具体比如服务器、终端等，如图2所示，包括如下步骤：
步骤201，获取待识别情感脑电信号。
其中，待识别情感脑电信号可以通过任意可实施的方式获得，比如，基于脑机接口采集。脑机接口是在大脑与外部设备之间建立的直接的交流通道。脑机接口的具体功能原理不再赘述。待识别情感脑电信号可以是任意用户在任意方式诱发下的情感脑电信号。比如，用户在观看视频时产生的情感脑电信号，具体诱发方式不做限定。
步骤202，基于待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵。
其中，情感脑电特征的类型可以包括非平稳索引值、高阶交叉、谱熵、香农熵、C0复杂度、微分熵、绝对功率、beta波段与theta波段的绝对功率比、本征模态函数的幅度、本征模态函数的瞬时相位、空间对称电极微分熵差值、空间对称电极微分熵比值和功能连接，等等。具体提取的情感脑电特征可以根据实际需求设置，比如可以提取上述所有的类型的情感脑电特征，构成第一特征矩阵。具体提取的类型需要与多维情感特征选择模型的训练过程的训练样本一致。
步骤203，基于预先训练获得的多维情感特征选择模型，确定特征权重向量，多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵。
其中，多维情感特征选择模型为算法模型，其训练过程的输入为基于训练情感脑电信号获得的标准化特征矩阵和对应的情感标签矩阵，输出为目标函数值，目标函数即表征了多维情感特征选择模型的训练目标。在训练过程中通过正交回归矩阵可以挖掘脑电特征和多维情感标签间的局部关联信息，通过全局特征冗余矩阵可以从全局角度评估特征间相关性，从而利于去除冗余特征，挑选出具有表征性且非冗余的脑电情感特征子集，降低特征维度，通过全局标签关联矩阵可以兼顾全局标签的相关性，便于构建低维空间中的标签信息，从而综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性。多维情感特征选择模型还包括需要迭代训练获得的映射矩阵、潜在语义矩阵和特征权重矩阵，特征权重向量是基于多维情感特征选择模型的特征权重矩阵获得。比如将获得的特征权重矩阵进行对角化，对角线上的权重值形成特征权重向量。
步骤203与步骤201-202不分先后顺序，即可以在步骤201-201的执行前、执行过程及执行后的任意时刻执行步骤203，具体可以根据实际需求设置。
步骤204，基于特征权重向量，对第一特征矩阵进行特征选择，获得脑电特征子集。
其中，特征权重向量包括了各类型的情感脑电特征的权重值，权重值的大小表征了该类型的情感脑电特征在情感识别中的重要性，由于多维情感特征选择模型训练过程中综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性，因此，基于该特征权重向量中的权重值对待识别情感脑电信号进行特征选择，可以选择出具有表征性且非冗余的脑电特征子集，提高特征选择的准确性，解决现有技术容易在特征子集中保留高度相关的特征，无法克服容积传导效应带来的高度冗余性问题。
步骤205，基于脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
其中，多维情感分类模型是基于训练获得的多维情感特征选择模型选择后的训练脑电特征子集训练获得，多维情感分类模型在训练过程中的分类标签为多维情感标签，比如对于每个类型的脑电特征，其对应的分类标签包括至少两个维度的情感标签，比如激活度(Arousal)、效价(Valence)、控制度(Dominance)及其他相关维度中的至少两种，具体可以根据实际需求设置。因此，在应用时获得的待识别情感脑电信号对应的情感识别结果包括多维情感识别结果。比如，激活度、效价、控制度中每个维度的值分别为1-9，将值大于5设为1，小于等于5设为0，情感识别结果为(激活度,效价,控制度)＝(0,1,1)表示三个维度的情感识别结果，其中，激活度为小于等于5的值，效价为大于5的值，控制度为大于5的值，实现了多维情感识别。
本实施例提供的情感识别的处理方法，基于预先训练获得的多维情感特征选择模型确定特征权重向量，进而基于特征权重向量选择出具有表征性且非冗余的脑电特征子集，进而基于训练获得的多维情感分类模型对选择出的脑电特征子集进行情感识别，获得对应的情感识别结果。由于多维情感特征选择模型基于正交回归矩阵、全局标签关联矩阵和全局特征冗余矩阵综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性，基于获得的特征权重向量进行特征选择可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，提高特征选择的准确性，解决现有技术容易在特征子集中保留高度相关的特征而无法克服容积传导效应带来的高度冗余性问题。
图3是本公开另一示例性实施例提供的情感识别的处理方法的流程示意图。
在一个可选示例中，在步骤203之前，还包括以下步骤：
步骤301，获取训练样本数据，训练样本数据包括训练情感脑电信号及对应的情感标签数据。
其中，训练情感脑电信号可以采用任意可实施的方式获得，比如可以通过第一数量的用户观看第二数量的视频段产生情感脑电信号，在用户观看视频时，基于脑机接口采集用户的情感脑电信号，作为训练情感脑电信号。第一数量和第二数量可以根据实际需求设置，本公开不做限定。训练情感脑电信号对应的标签数据可以由用户在观看视频段后进行评价获得，比如用户在观看视频段后，提示用户针对激活度、效价、控制度等维度的情感进行评价，基于用户的评价结果确定情感标签数据。
示例性的，以激活度、效价、控制度三个维度为例，对于每个维度的评价范围均设置为1-9分，代表由弱到强，用户每观看一段视频段，针对该视频段进行三个维度的评价打分，获得用户的评价结果，基于预设打分阈值，将用户在每个维度的打分映射到0/1标签，比如预设打分阈值为5，当打分值高于5，设置对应的标签为1，当打分值低于或等于5，确定对应的标签为0，获得每个用户针对每个视频段的三个维度的标签，形成情感标签数据。需要说明的是，需要建立训练情感脑电信号与情感标签数据的对应关系。比如3个用户观看2个视频段产生的情感标签数据可以表示为：
Y＝[y1,y2,y3]
其中，Y∈R6×3，即3个用户观看2个视频段会产生6份情感脑电信号样本，针对每份情感脑电信号样本，对应有3个维度的情感标签。也即y1、y2、y3分别为6维的标签向量。
步骤302，基于训练样本数据，确定训练情感脑电特征矩阵及对应的情感标签矩阵。
其中，训练情感脑电特征矩阵通过对训练情感脑电信号进行特征提取获得，具体特征提取数量及提取方式与步骤202类似，在此不再赘述。情感标签矩阵则是将情感标签数据构成与训练情感脑电特征矩阵对应的标签矩阵。
步骤303，将训练情感脑电特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化特征矩阵。
其中，每类情感脑电特征可以包括一个或多个特征，由于不同类型的脑电特征的特征值可能差异较大，比如一种特征的特征值与另一种特征的特征值相差一个或多个数量级，若直接采用这些特征值，会导致无法准确地确定不同类型的特征对情感识别的重要性，因此，将训练情感脑电特征矩阵中的每类情感脑电特征进行正态分布标准化，将不同类型的情感脑电特征都统一到标准范围内，获得标准化特征矩阵，用于后续的模型训练。具体正态分布标准化原理不再赘述。
步骤304，基于标准化特征矩阵、情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至预设目标函数的值收敛，获得训练好的多维情感特征选择模型。
其中，预设目标函数即为多维情感特征选择模型训练的目标函数，该预设目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵，还包括需要迭代更新的映射矩阵、潜在语义矩阵和特征权重矩阵。标准化特征矩阵和情感标签矩阵作为多维情感特征选择模型的输入，根据优化算法对目标函数进行迭代运算，求解映射矩阵、潜在语义矩阵和特征权重矩阵，实现映射矩阵、潜在语义矩阵和特征权重矩阵的迭代更新，直至目标函数收敛，获得训练好的多维情感特征选择模型。
在一个可选示例中，步骤203的基于预先训练获得的多维情感特征选择模型，确定特征权重向量，包括：
步骤2031，基于多维情感特征选择模型的特征权重矩阵，确定特征权重向量。
其中，在训练过程中，特征权重矩阵是将特征权重向量对角化获得的，在训练开始时，需要对映射矩阵、潜在语义矩阵进行随机初始化，对特征权重向量中每个元素赋值为初始权重值1/D，D表示标准化特征矩阵中特征的数量，特征权重向量中每个元素表示对应特征的权重，每个权重值都大于或等于0，且D个权重值相加的结果为1。对特征权重向量进行对角化来构建特征权重矩阵。特征权重矩阵的非对角线元素全为0。
示例性的，特征权重向量表示为θ＝[θ1,θ2,…,θD]T，θ∈RD×1，构建的特征权重矩阵表示为Θ：
Figure BDA0003623948480000091
在训练完成后，获得训练好的特征权重矩阵
Figure BDA0003623948480000092
将其转换成对应的特征权重向量，用于后续的特征选择。
在一个可选示例中，在获得训练好的多维情感特征选择模型之后，还包括：
步骤305，基于特征权重向量，确定选择后的训练脑电特征子集及对应的情感标签数据。
其中，训练脑电特征子集可以基于特征权重向量从标准化特征矩阵中选择获得。比如可以设置预设权重阈值，将标准化特征矩阵中对应的权重值大于预设权重阈值的特征提取出来，形成训练脑电特征子集。还可以对标准化特征矩阵中的特征按权重值进行排序，将权重值排名靠前的一定数量的特征提取出来作为训练脑电特征子集。训练脑电特征子集对应的情感标签数据根据标准化特征矩阵中特征与情感标签的对应关系来确定即可。
步骤306，基于训练脑电特征子集及对应的情感标签数据，训练获得多维情感分类模型，多维情感分类模型采用多标签k近邻分类器。
其中，情感分类模型采用多标签k近邻分类器，可以实现多维情感的识别。k近邻分类器的最近邻数量和平滑的数量可以根据实际需求设置，比如可以分别设置为10和1，具体不做限定。k近邻分类器的具体原理在此不再赘述。
在一个可选示例中，预设目标函数为：
Figure BDA0003623948480000093
s.t.WTW＝IK,θT1D＝1,θ≥0
其中，X表示标准化特征矩阵，X∈RD×N，D表示标准化特征矩阵中特征的数量，N表示样本数量，s.t.表示满足于后面的条件，θ表示特征权重向量，θ∈RD×1，θ≥0表示特征权重向量中的权重值大于或等于0，Θ表示特征权重矩阵，Θ∈RD×D，Θ是特征权重向量θ对角化获得的矩阵，W表示映射矩阵，W是正交回归矩阵，W∈RD×K，K表示情感标签的维度数量，W满足正交回归约束WTW＝IK，IK为K×K的单位矩阵，V表示潜在语义矩阵，V∈RN×K，Y表示情感标签矩阵，Y∈RN×K，α、η、λ、β为平衡参数，1N为全为1的列向量，即1N＝[1,1,…,1]T∈RN×1，b∈RK×1为偏差向量，L为标准化特征矩阵X的图拉普拉斯矩阵，L∈RN×N，A表示全局特征冗余矩阵，A∈RD×D，A基于标准化特征矩阵X确定，R示全局标签关联矩阵，R∈RK×K，R基于情感标签矩阵确定，
Figure BDA0003623948480000101
表示求矩阵的Frobenius范数，即求矩阵的各项元素的绝对值的平方的总和。
其中，求矩阵的Frobenius范数即求矩阵的各项元素的绝对值的平方的总和，比如，
Figure BDA0003623948480000102
tr(B)表示求矩阵B的特征值的总和，具体计算原理不再赘述。
全局特征冗余矩阵A定义如下：
Figure BDA0003623948480000103
其中，fi∈RN×1和fj∈RN×1表示xi和xj分别对应的第i个和第j个集中特征(i＝1，2，...，D；j＝1，2，...，D)。N表示样本数量，D表示特征的数量，具体参见前述内容。
fi和fj计算方式如下：
Figure BDA0003623948480000104
其中，
Figure BDA0003623948480000105
公式1可以转变为如下形式：
O＝CFTFC＝(FC)TFC 公式3
其中，F＝[f1，f2，...，fD]。C是一个对角矩阵，其对角线上元素为
Figure BDA0003623948480000106
i＝1，2，...，D，矩阵O是半正定矩阵。根据
Figure BDA0003623948480000107
(
Figure BDA0003623948480000108
表示矩阵O与O的哈达玛(Hadamard)积)，矩阵A也为非负半正定。
全局标签关联矩阵R的定义如下：
Rij＝1-Zij
其中，Zij表示标签yi和yj的关联程度，i＝1，2，...，K，j＝1，2，...，K，Zij通过余弦相似度计算获得，用于挖掘情感标签矩阵中多个标签之间的二阶相关性。
基于上述目标函数中的第1项元素
Figure BDA0003623948480000111
通过正交回归矩阵W将输入的标准化特征矩阵从原始特征空间映射到低维空间(与V相同的子空间)，从而挖掘脑电特征和多维情感标签间局部关联信息。目标函数中的第2项元素
Figure BDA0003623948480000112
和第5项元素tr(RVTV)通过全局标签关联矩阵R体现了多维情感标签空间中的全局标签相关性，构建低维空间中的标签信息。目标函数中的第4项元素θTAθ通过全局特征冗余矩阵A实现从全局角度评估特征间相关性，从而去除冗余特征，挑选出具有表征性且非冗余的脑电情感特征子集，降低特征维度，从而提高多维度情感识别的性能和效果。
在实际应用中，多维情感分类模型也可以采用其他任意可实施的分类模型实现，不限于上述的k近邻分类器。
在一个可选示例中，步骤304的基于标准化特征矩阵、情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至预设目标函数的值收敛，获得训练好的多维情感特征选择模型，包括：在每个迭代过程中，对于映射矩阵、潜在语义矩阵和特征权重矩阵的更新，通过固定其中两个矩阵，更新另一个矩阵。
其中，固定其中两个矩阵可以理解为假设该两个矩阵为已知量的意思，比如固定映射矩阵和潜在语义矩阵，更新特征权重矩阵，可以将前一迭代过程获得的映射矩阵和潜在语义矩阵作为当前迭代过程中映射矩阵和潜在语义矩阵的已知量，按照预设规则对特征权重矩阵进行更新。
在一个可选示例中，训练获得多维情感特征选择模型过程，需要根据优化算法对目标函数进行迭代运算，迭代运算过程具体包括：
1、对上述预设目标函数l求偏差向量b的偏导，令该偏导＝0，获得偏差向量
Figure BDA0003623948480000113
2、将偏差向量代入目标函数l，计算获得更新后目标函数
Figure BDA0003623948480000114
即：
Figure BDA0003623948480000115
s.t.WTW＝IK,θT1D＝1,θ≥0
Figure BDA0003623948480000116
其中，各符号的含义参见前述目标函数，在此不再赘述。
3、基于更新后的目标函数
Figure BDA0003623948480000121
交替固定映射矩阵W、潜在语义矩阵V和特征权重矩阵Θ，对更新后的目标函数
Figure BDA0003623948480000122
进行迭代运算，分别求解映射矩阵W、潜在语义矩阵V和特征权重矩阵Θ，实现更新。
在一个可选示例中，固定潜在语义矩阵V和特征权重矩阵Θ，求解映射矩阵W，包括：
将更新后的目标函数
Figure BDA0003623948480000123
转换为
Figure BDA0003623948480000124
使用广义功率迭代法对
Figure BDA0003623948480000125
计算映射矩阵W。
其中，
Figure BDA0003623948480000126
A为对称矩阵，对称矩阵满足的条件为A∈RD×D，B＝ΘXHYT为第二替代参数。
广义功率迭代法(Generalized power iteration method，简称：GPI)是指为有效地且有意义地解决格拉斯曼流形的二次问题(quadratic problem on the Stiefelmanifold，简称：QPSM)，即正交最小二乘回归和不平衡正交过程问题，而提出的算法。相比于其他算法，GPI算法将QPSM问题的目标值单调地降到局部极小，直至最终收敛，以随机的初始猜测值收敛到最优解，收敛速度更快，处理时间更少，而且对高维数据矩阵的计算更高效。如表1所示，为GPI算法的的主要流程：
表1 GPI算法的主要流程
Figure BDA0003623948480000127
在一个可选示例中，固定潜在语义矩阵V以及映射矩阵W，求解权重矩阵Θ，包括：
将更新后的目标函数
Figure BDA0003623948480000128
转换为
Figure BDA0003623948480000129
Figure BDA0003623948480000131
即
Figure BDA0003623948480000132
满足的条件为
Figure BDA0003623948480000133
并使用增广拉格朗日乘子法对更新后目标函数
Figure BDA0003623948480000134
计算特征权重矩阵Θ。
增广拉格朗日乘子法(Augmented Lagrangian Multiplier，简称：ALM)是指用于优化目标函数，结合GPI完成带有正交约束的回归矩阵以及特征权重相关的对角矩阵的求解而提出的算法。该算法主要通过把问题分解为若干子问题的思路来解决有约束条件的优化问题，将约束条件函数与原函数联立，从而求出使原函数取得极值的各个变量的解，是一种常规的求解带有约束项极值的算法。如表2所示，为ALM算法的主要流程。
表2 ALM算法的主要流程
Figure BDA0003623948480000135
在一个可选示例中，固定特征权重矩阵Θ以及映射矩阵W，求解潜在语义矩阵V，包括：
对更新后目标函数
Figure BDA0003623948480000136
求潜在语义矩阵V的偏导，获得如下：
2[HT(V-XTΘW)+α(V-Y)+ηLV+βVR]＝0
将上式转换为(HT+ηL)V+V(αIK+βR)＝HTXTΘW+αY，即西尔维斯特方程MV+VE＝P，其中
Figure BDA0003623948480000137
对上述西尔维斯特方程计算潜在语义矩阵V。西尔维斯特方程的求解原理为常规技术，在此不再赘述。
在一个可选示例中，步骤204的基于特征权重向量，对第一特征矩阵进行特征选择，获得脑电特征子集，包括：
步骤2041，将第一特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化的第二特征矩阵。
该步骤的具体操作参见前述步骤303，在此不再赘述。
步骤2042，基于特征权重向量，确定第二特征矩阵中对应特征权重值大于预设阈值的目标情感脑电特征。
其中，预设阈值可以根据实际需求设置，本公开不做限定。
步骤2043，将目标情感脑电特征作为脑电特征子集。
由于特征权重向量是综合考虑多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性获得的，因此，基于该特征权重向量可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，解决现有技术容易在特征子集中保留高度相关的特征而无法克服容积传导效应带来的高度冗余性问题。
在一个可选示例中，步骤202的基于待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵，包括：
步骤2021，基于独立成分分析对待识别情感脑电信号进行预处理，去除待识别情感脑电信号中的生理伪迹，获得预处理后的第一情感脑电信号。
其中，生理伪迹比如眼电、肌电等带来的噪声。独立成分分析原理为常规技术，在此不再赘述。通过预处理，可以有效提高脑电信号的有效性。
步骤2022，对第一情感脑电信号进行特征提取，获得非平稳索引值、高阶交叉、谱熵、香农熵、C0复杂度、微分熵、绝对功率、beta波段与theta波段的绝对功率比、本征模态函数的幅度、本征模态函数的瞬时相位、空间对称电极微分熵差值、空间对称电极微分熵比值和功能连接中的至少两种构成第一特征矩阵。
其中，具体提取特征类型及特征数量可以根据实际需求设置，本公开不做限定。对于每种类型的特征提取方式可以采用任意可实施的方式，本公开不做限定。
在一个可选示例中，以一个示例对本公开的情感识别的处理方法做进一步说明，具体如下：
1、基于脑机接口采集由视频诱发被试用户的情感脑电信号
(1)从已有的视频(比如电影)中选取同等数量的正向、中性、负向情感刺激片段作为情感刺激材料。在情感诱发材料选取前期，共剪辑了20多个视频片段，为了挑选出更能激发被试情感的片段，通过15个用户对每个视频片段分别进行了评估。最终确定出12个3-5分钟的视频片段被选取作为刺激材料。
(2)确定被试用户16人，比如包括8名男生和8名女生，年龄在18-25岁之间，右利手。具体被试用户的条件可以根据实际需求设置，不限于上述条件。
(3)通过播放指导语告知被试用户具体过程，以使被试用户顺利完成情感脑电信号的采集。每个被试用户依次观看上述确定的12个3-5分钟的视频片段，视频片段按预设顺序播放。在被试用户观看过程中，采用脑机接口采集设备采集被试用户观看视频片段时的脑电信号。本示例中，脑机接口采集设备可以采用任意可实施的采集设备，比如采用128电极的脑电极帽。
(4)在观看每个视频片段后，被试用户分别从情感的激活度(Arousal)、效价(Valence)、控制度(Dominance)三个维度(在实际应用中，可以是包括该三个维度及其他维度中的任意维度)进行评估打分，每个维度都是1-9分，代表由弱到强，在情感脑电信号采集过程中，为了尽可能地避免情感的滞后影响，在每一视频片段播放后，被试用户进行评估打分后可以继续休息预设时间，比如休息30秒，从而使被试用户在观看下一视频片段前情绪恢复到较为平稳状态。
(5)将被试用户每一维度的打分值高于5的设为1，低于或等于5的设为0，从而构建情感标签矩阵Y，Y＝[y1,y2,y3]，Y满足的条件为Y∈R192×3，K＝3为情感标签矩阵中的标签维度，N＝192为情感标签矩阵中的标签数量，T为对矩阵的转置运算。采集的情感脑电信号和对应的情感标签共同构成Hded数据集。
2、特征提取，构成特征矩阵。
(1)采用独立成分分析去除情感脑电信号中的生理伪迹，如眼电、肌电等。
(2)对情感脑电信号分别提取非平稳索引值、高阶交叉、谱熵、香农熵、C0复杂度、微分熵、绝对功率、beta波段与theta波段的绝对功率比、本征模态函数的幅度、本征模态函数的瞬时相位、空间对称电极微分熵差值、空间对称电极微分熵比值和功能连接，作为情感脑电特征。
(3)基于采集的情感脑电特征，构建原始特征矩阵。
3、特征选择。
(1)将原始特征矩阵中每类脑电特征进行正态分布标准化，获得标准化特征矩阵X。X＝[x1,x2,…,xd,…,x7565]T，X满足的条件为X∈R7565×192，D＝7565为标准化特征矩阵中每个样本包括的特征的数量，N＝192为标准化特征矩阵中情感脑电信号的样本数量，T为对矩阵的转置运算，xd为标准化特征矩阵中的第d个特征。将标准化特征矩阵X作为多维情感特征选择模型的输入。
(2)根据标准化特征矩阵X和对应的情感标签矩阵Y构建多维情感特征选择模型的目标函数l。
Figure BDA0003623948480000161
s.t.WTW＝IK，θT1D＝1，θ≥0
其中，X表示标准化特征矩阵，X∈RD×N，D表示标准化特征矩阵中特征的数量，N表示样本数量，s.t.表示满足于后面的条件，θ表示特征权重向量，θ∈RD×1，θ≥0表示特征权重向量中的权重值大于或等于0，Θ表示特征权重矩阵，Θ∈RD×D，Θ是特征权重向量θ对角化获得的矩阵，W表示映射矩阵，W是正交回归矩阵，W∈RD×K，K表示情感标签的维度数量，W满足正交回归约束WTW＝IK，IK为K×K的单位矩阵，V表示潜在语义矩阵，V∈RN×K，Y表示情感标签矩阵，Y∈RN×K，α、η、λ、β为平衡参数，1N为全为1的列向量，即1N＝[1，1，…，1]T∈RN×1，b∈RK×1为偏差向量，L为标准化特征矩阵X的图拉普拉斯矩阵，L∈RN×N，A表示全局特征冗余矩阵，A∈RD×D，A基于标准化特征矩阵X确定，R示全局标签关联矩阵，R∈RK×K，R基于情感标签矩阵确定，
Figure BDA0003623948480000162
表示求矩阵的Frobenius范数，即求矩阵的各项元素的绝对值的平方的总和。
(3)对多维情感特征选择模型的映射矩阵W、潜在语义矩阵V进行随机初始化。
(4)对多维情感特征选择模型的特征权重向量θ中每一个元素赋值为1/7565，θ≥0代表脑电特征对多维情感识别任务的重要性，特征权重向量中的各个元素表示每个特征的权重，每个权重值都大于等于0，且相加和为1；对特征权重向量θ进行对角化从而构建权重矩阵Θ，权重矩阵Θ非对角线元素全为零。
(5)对目标函数l求偏差向量的偏导，令偏导＝0，获得偏差向量
Figure BDA0003623948480000163
Figure BDA0003623948480000164
将偏差向量代入目标函数l计算，获得更新后目标函数
Figure BDA0003623948480000165
即：
Figure BDA0003623948480000166
s.t.WTW＝I3，θT17565＝1，θ≥0
其中，
Figure BDA0003623948480000167
(6)固定潜在语义矩阵V以及特征权重矩阵Θ，求解映射矩阵W，具体为，将更新后目标函数
Figure BDA0003623948480000171
转换为
Figure BDA0003623948480000172
使用广义功率迭代法对
Figure BDA0003623948480000173
计算正交回归矩阵；
其中，
Figure BDA0003623948480000174
J为对称矩阵，对称矩阵满足的条件为J∈R7565×7565，B＝ΘXHYT为第二替代参数。
(7)固定潜在语义矩阵V以及映射矩阵W，求解权重矩阵Θ，具体为：将更新后目标函数
Figure BDA0003623948480000175
转换为
Figure BDA0003623948480000176
Figure BDA0003623948480000177
即
Figure BDA0003623948480000178
满足的条件为
Figure BDA0003623948480000179
并使用增广拉格朗日乘子法对更新后目标函数
Figure BDA00036239484800001710
计算权重矩阵Θ。
(7)固定特征权重矩阵Θ以及映射矩阵W，求解潜在语义矩阵V，具体为：对更新后目标函数
Figure BDA00036239484800001711
求潜在语义矩阵V的偏导，获得如下：
2[HT(V-XTΘW)+α(V-Y)+ηLV+βVR]＝0
将上式转换为(HT+ηL)V+V(αIK+βR)＝HTXTΘW+αY，即西尔维斯特方程MV+VE＝P，其中
Figure BDA00036239484800001712
对上述西尔维斯特方程计算潜在语义矩阵V。
(9)按照上述步骤，对更新后目标函数
Figure BDA00036239484800001713
进行迭代运算，不断对特征权重矩阵Θ进行更新；迭代至目标函数收敛；对特征权重矩阵Θ进行对角化获得更新后的特征权重向量θ；根据更新后的特征权重向量θ进行特征选择，θ内较大值元素所对应的特征被挑选，构建情感脑电特征子集，用于多维情感分类模型的训练。
4、基于挑选获得的情感脑电特征子集，通过分类模型构建情感脑电特征与多维情感之间的多维情感分类模型。基于多维情感分类模型进行情感识别。
(1)采用多标签-k近邻分类器作为多维情感分类模型，其中，最近邻和平滑的数量分别设置为10和1。从获得的情感脑电特征子集中随机确定70％的样本作为训练集，将剩余30％样本作为测试集。用于多维情感分类模型的训练和测试。
(2)在本示例中，采用Redundancy(冗余度)、Coverage(覆盖距离)、Hamming loss(汉明损失)、Ranking loss(排序损失)、Average precision(平均精度)、Macro-F1、Micro-F1七种指标作为评估指标，与其他14种特征选择方法进行了对比。图4是本公开一示例性实施例提供的冗余度指标的对比结果示意图；图5是本公开一示例性实施例提供的覆盖距离指标的对比结果示意图；图6是本公开一示例性实施例提供的汉明损失指标的对比结果示意图；图7是本公开一示例性实施例提供的排序损失指标的对比结果示意图；图8是本公开一示例性实施例提供的平均精度指标的对比结果示意图；图9是本公开一示例性实施例提供的Macro-F1指标的对比结果示意图；图10是本公开一示例性实施例提供的Micro-F1指标的对比结果示意图。其中，横坐标表示特征选择的数量，EFSMDER(our)表示本公开提供的方法。
参见图4-10，可见，本公开提供的基于多维情感特征选择模型的特征选择方法相对于其他的特征选择方法，能够获得更优的多维情感识别结果。
(3)为了评估多维情感特征选择模型的收敛性，本示例还对迭代优化算法进行了收敛速度分析，图11是本公开一示例性实施例提供的目标函数值的收敛曲线示意图。其中，横轴表示迭代次数，纵轴表示目标函数值，可见迭代优化算法在少数几次迭代内即可快速收敛，表明本公开的多维情感特征选择算法的有效性。
本公开提供的情感识别的处理方法，利用正交回归模型将原始脑电特征空间映射到低维空间，从而挖掘脑电特征和多维情感标签间的局部关联信息，还结合原始多维情感标签空间中的全局标签相关性，构建低维空间中的标签信息，并且，从全局角度评估特征间的相关性，从而去除冗余特征，选择出具有表征性且非冗余的情感脑电特征子集，降低特征维度，提高情感识别的计算效率及识别效果。
本公开实施例提供的任一种情感识别的处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种情感识别的处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种情感识别的处理方法。下文不再赘述。
示例性装置
图12是本公开一示例性实施例提供的情感识别的处理装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图12所示的装置包括：第一获取模块501、第一特征提取模块502、第一处理模块503、第二处理模块504和第三处理模块505。
第一获取模块501，用于获取待识别情感脑电信号；第一特征提取模块502，用于基于待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；第一处理模块503，用于基于预先训练获得的多维情感特征选择模型，确定特征权重向量；第二处理模块504，用于基于特征权重向量，对第一特征矩阵进行特征选择，获得脑电特征子集；第三处理模块505，用于基于脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
图13是本公开另一示例性实施例提供的情感识别的处理装置的结构示意图。
在一个可选示例中，本公开的装置还包括：第二获取模块601、第一确定模块602、第一标准化模块603和第四处理模块604。
第二获取模块601，用于获取训练样本数据，训练样本数据包括训练情感脑电信号及对应的情感标签数据；第一确定模块602，用于基于训练样本数据，确定训练情感脑电特征矩阵及对应的情感标签矩阵；第一标准化模块603，将训练情感脑电特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化特征矩阵；第四处理模块604，基于标准化特征矩阵、情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至预设目标函数的值收敛，获得训练好的多维情感特征选择模型。
在一个可选示例中，第一处理模块503具体用于：基于多维情感特征选择模型的特征权重矩阵，确定特征权重向量。
在一个可选示例中，本公开的装置还包括：
第二确定模块605，用于基于特征权重向量，确定选择后的训练脑电特征子集及对应的情感标签数据；第五处理模块606，用于基于训练脑电特征子集及对应的情感标签数据，训练获得多维情感分类模型，多维情感分类模型采用多标签k近邻分类器。
在一个可选示例中，预设目标函数为：
Figure BDA0003623948480000191
s.t.WTW＝IK,θT1D＝1,θ≥0
其中，X表示标准化特征矩阵，X∈RD×N，D表示标准化特征矩阵中特征的数量，N表示样本数量，s.t.表示满足于后面的条件，θ表示特征权重向量，θ∈RD×1，θ≥0表示特征权重向量中的权重值大于或等于0，Θ表示特征权重矩阵，Θ∈RD×D，Θ是特征权重向量θ对角化获得的矩阵，W表示映射矩阵，W是正交回归矩阵，W∈RD×K，K表示情感标签的维度数量，W满足正交回归约束WTW＝IK，IK为K×K的单位矩阵，V表示潜在语义矩阵，V∈RN×K，Y表示情感标签矩阵，Y∈RN×K，α、η、λ、β为平衡参数，1N为全为1的列向量，即1N＝[1,1,…,1]T∈RN×1，b∈RK×1为偏差向量，L为标准化特征矩阵X的图拉普拉斯矩阵，L∈RN×N，A表示全局特征冗余矩阵，A∈RD×D，A基于标准化特征矩阵X确定，R示全局标签关联矩阵，R∈RK×K，R基于情感标签矩阵确定，
Figure BDA0003623948480000201
表示求矩阵的Frobenius范数。
在一个可选示例中，第四处理模块604具体用于：在每个迭代过程中，对于映射矩阵、潜在语义矩阵和特征权重矩阵的更新，通过固定其中两个矩阵，来更新另一个矩阵。
在一个可选示例中，第二处理模块504具体用于：将第一特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化的第二特征矩阵；基于特征权重向量，确定第二特征矩阵中对应特征权重值大于预设阈值的目标情感脑电特征；将目标情感脑电特征作为脑电特征子集。
在一个可选示例中，第一特征提取模块502具体用于：基于独立成分分析对待识别情感脑电信号进行预处理，去除待识别情感脑电信号中的生理伪迹，获得预处理后的第一情感脑电信号；对第一情感脑电信号进行特征提取，获得非平稳索引值、高阶交叉、谱熵、香农熵、C0复杂度、微分熵、绝对功率、beta波段与theta波段的绝对功率比、本征模态函数的幅度、本征模态函数的瞬时相位、空间对称电极微分熵差值、空间对称电极微分熵比值和功能连接中的至少两种构成第一特征矩阵。
示例性电子设备
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的情感识别的处理方法。
图14是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图14中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其它适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种情感识别的处理方法，其特征在于，包括：
获取待识别情感脑电信号；
基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；
基于预先训练获得的多维情感特征选择模型，确定特征权重向量，所述多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；
基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；
基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
2.根据权利要求1所述的方法，其特征在于，在所述基于预先训练获得的多维情感特征选择模型，确定特征权重系数之前，所述方法还包括：
获取训练样本数据，所述训练样本数据包括训练情感脑电信号及对应的情感标签数据；
基于所述训练样本数据，确定训练情感脑电特征矩阵及对应的情感标签矩阵；
将所述训练情感脑电特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化特征矩阵；
基于所述标准化特征矩阵、所述情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至所述预设目标函数的值收敛，获得训练好的所述多维情感特征选择模型。
3.根据权利要求2所述的方法，其特征在于，所述基于预先训练获得的多维情感特征选择模型，确定特征权重向量，包括：
基于所述多维情感特征选择模型的特征权重矩阵，确定所述特征权重向量；
在获得训练好的所述多维情感特征选择模型之后，还包括：
基于所述特征权重向量，确定选择后的训练脑电特征子集及对应的情感标签数据；
基于所述训练脑电特征子集及对应的情感标签数据，训练获得所述多维情感分类模型，所述多维情感分类模型采用多标签k近邻分类器。
4.根据权利要求2所述的方法，其特征在于，所述预设目标函数为：
Figure FDA0003623948470000021
s.t.WTW＝IK,θT1D＝1,θ≥0
其中，X表示所述标准化特征矩阵，X∈RD×N，D表示所述标准化特征矩阵中特征的数量，N表示样本数量，s.t.表示满足于后面的条件，θ表示特征权重向量，θ∈RD×1，θ≥0表示特征权重向量中的权重值大于或等于0，Θ表示所述特征权重矩阵，Θ∈RD×D，Θ是特征权重向量θ对角化获得的矩阵，W表示所述映射矩阵，W是正交回归矩阵，W∈RD×K，K表示情感标签的维度数量，W满足正交回归约束WTW＝IK，IK为K×K的单位矩阵，V表示所述潜在语义矩阵，V∈RN×K，Y表示所述情感标签矩阵，Y∈RN×K，α、η、λ、β为平衡参数，1N为全为1的列向量，即1N＝[1,1,…,1]T∈RN×1，b∈RK×1为偏差向量，L为所述标准化特征矩阵X的图拉普拉斯矩阵，L∈RN ×N，A表示所述全局特征冗余矩阵，A∈RD×D，A基于所述标准化特征矩阵X确定，R示全局标签关联矩阵，R∈RK×K，R基于所述情感标签矩阵确定，
Figure FDA0003623948470000022
表示求矩阵的Frobenius范数。
5.根据权利要求2所述的方法，其特征在于，所述基于所述标准化特征矩阵、所述情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至所述预设目标函数的值收敛，获得训练好的所述多维情感特征选择模型，包括：
在每个迭代过程中，对于所述映射矩阵、所述潜在语义矩阵和所述特征权重矩阵的更新，通过固定其中两个矩阵，来更新另一个矩阵。
6.根据权利要求1所述的方法，其特征在于，所述基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集，包括：
将所述第一特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化的第二特征矩阵；
基于所述特征权重向量，确定所述第二特征矩阵中对应特征权重值大于预设阈值的目标情感脑电特征；
将所述目标情感脑电特征作为所述脑电特征子集。
7.根据权利要求1-6任一所述的方法，其特征在于，所述基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵，包括：
基于独立成分分析对所述待识别情感脑电信号进行预处理，去除所述待识别情感脑电信号中的生理伪迹，获得预处理后的第一情感脑电信号；
对所述第一情感脑电信号进行特征提取，获得非平稳索引值、高阶交叉、谱熵、香农熵、C0复杂度、微分熵、绝对功率、beta波段与theta波段的绝对功率比、本征模态函数的幅度、本征模态函数的瞬时相位、空间对称电极微分熵差值、空间对称电极微分熵比值和功能连接中的至少两种构成所述第一特征矩阵。
8.一种情感识别的处理装置，其特征在于，包括：
第一获取模块，用于获取待识别情感脑电信号；
第一特征提取模块，用于基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；
第一处理模块，用于基于预先训练获得的多维情感特征选择模型，确定特征权重向量；
第二处理模块，用于基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；
第三处理模块，用于基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的情感识别的处理方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的情感识别的处理方法。
CN202210478131.5A 2022-04-29 2022-04-29 情感识别的处理方法、装置、电子设备和存储介质 Pending CN114818814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210478131.5A CN114818814A (zh) 2022-04-29 2022-04-29 情感识别的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210478131.5A CN114818814A (zh) 2022-04-29 2022-04-29 情感识别的处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114818814A true CN114818814A (zh) 2022-07-29

Family

ID=82511286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210478131.5A Pending CN114818814A (zh) 2022-04-29 2022-04-29 情感识别的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114818814A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615210A (zh) * 2023-11-21 2024-02-27 南湖脑机交叉研究院 一种用户体验质量确定方法以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615210A (zh) * 2023-11-21 2024-02-27 南湖脑机交叉研究院 一种用户体验质量确定方法以及装置

Similar Documents

Publication Publication Date Title
Nawaz et al. Comparison of different feature extraction methods for EEG-based emotion recognition
Yin et al. Cross-subject EEG feature selection for emotion recognition using transfer recursive feature elimination
Bharadiya A tutorial on principal component analysis for dimensionality reduction in machine learning
Li et al. Voxel selection in fMRI data analysis based on sparse representation
Asghar et al. AI inspired EEG-based spatial feature selection method using multivariate empirical mode decomposition for emotion classification
Kini et al. Large margin mixture of AR models for time series classification
Wang et al. Mutual information inspired feature selection using kernel canonical correlation analysis
Lin et al. Automatic age estimation system for face images
US9904659B1 (en) Technique for identifying association variables
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Han et al. A fast, open EEG classification framework based on feature compression and channel ranking
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
Al Machot et al. Improving subject-independent human emotion recognition using electrodermal activity sensors for active and assisted living
Liu et al. A robust graph based multi-label feature selection considering feature-label dependency
Zhang et al. Thruster fault feature extraction for autonomous underwater vehicle in time-varying ocean currents based on single-channel blind source separation
Miah et al. Movie oriented positive negative emotion classification from eeg signal using wavelet transformation and machine learning approaches
CN114818814A (zh) 情感识别的处理方法、装置、电子设备和存储介质
Jia et al. Pulse waveform classification using support vector machine with gaussian time warp edit distance kernel
Song et al. Learning tensor-based features for whole-brain fMRI classification
Ayyagari et al. Detection of microsleep states from the EEG: a comparison of feature reduction methods
US10671917B1 (en) System for mapping extracted Neural activity into Neuroceptual graphs
Batalo et al. Temporal-stochastic tensor features for action recognition
Li et al. A sequential feature extraction method based on discrete wavelet transform, phase space reconstruction, and singular value decomposition and an improved extreme learning machine for rolling bearing fault diagnosis
CN116226635A (zh) 基于判别学习的多模态情绪识别方法和***
Chen et al. Projection subspace clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination