CN106886792B - 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 - Google Patents

Abstract

本发明涉及一种基于分层机制构建多分类器融合模型的脑电情感识别方法，收集多导情感脑电数据，并对其进行分析处理，包括脑电预处理、特征提取及基于权重度量的通道选择，以构建情感脑电特征矩阵。将情感脑电特征矩阵按照电极位置进行通道划分，并针对每个通道执行最优化特征选择集成，构建多个单一情感分类模型。以各分类模型在针对同一个情感识别问题时获得的差异性和精确度作为评估准则，选择每个通道的最优单一情感分类模型，得到待融合的分类器集。利用各个最优单一情感分类模型的分类误差作为权重，并基于加权投票法构建情感识别融合模型。本发明利用多分类器融合解决了脑电样本空间上难以获得较高情感识别率的问题。

Description

一种基于分层机制构建多分类器融合模型的脑电情感识别 方法

技术领域

本发明涉及情感计算领域，涉及一种基于脑电的情感识别方法，特别涉及一种基于通道分层机制与特征选择集成构建多分类器融合的脑电情感识别方法。

背景技术

情感是人脑的高级功能，是伴随着认知和意识过程产生的心理和生理状态，综合了人的感觉、思想和行为，在人与人之间的交流中扮演着非常重要的角色。近年来，随着普适技术和和计算机技术的快速发展，情感识别作为情感计算的一个关键问题已经成为计算机科学、认知科学和人工智能等领域一项重要的交叉学科研究课题，并得到越来越多的关注和应用。在临床医疗护理中，如果能够知道患者，尤其是有表达障碍的患者的情感状态，就可以根据患者的情感采取不同的护理措施提高护理质量。在产品开发过程中，如果能够测量用户在使用产品过程时的情感，了解用户体验，就可以改善产品功能并提高产品质量，更好的满足用户的需求。对于动车、高铁及长途客运等方面的司机需要长时间保持高度注意力和警觉度，如果能提前获取司机当天的情感状态，就可以有效的避免因司机的浮躁、愤怒、抑郁等消极情绪而造成的交通事故。此外，在对精神障碍患者的心理行为监控、智能多媒体推荐***及人机交互的友好和智能化等方面目前也得到了越来越多的关注。因此，利用情感识别技术对情感进行分析和评估具有重要的应用和研究价值。

较早的情感研究通常是利用人的面部表情、语音声调、身体姿态等外显特征来识别人的不同情感，这些人体信号虽然容易获取，但往往容易被人为掩饰或伪装，难以排除主观因素的影响，有时甚至无法获知内在真实的情感状态。而伴随情感的生理反应则由神经和内分泌***支配，具有自发性，不易受主观意念控制，故基于所对应生理信号的情感识别能获得客观真实的结果，也更贴切于实际应用。呼吸、心率、体表温度、皮肤阻抗等***神经生理信号常用来检测人的情感状态，但这些信号的差异性通常较小，变化的速率也通常较慢，在需要实时的快速识别情感的情况下，这些信号就不能满足研究的需要了。认知和神经生理学理论研究表明，人的大脑活动在情感的产生和活动过程中扮演着重要的角色，并且从大脑采集到的脑电信号能够检测到与情感状态变化相关的信息。近年来，脑电信号由于其不可伪装性和实时差异性的优点，并且随着脑电信号采集设备的应用和推广、信号处理和机器学习技术的快速发展以及计算机数据处理能力的大幅提高，基于脑电的情感识别在情感计算领域得到越来越多的关注和应用。

目前，基于脑电的情感识别技术主要是基于传统的单一分类器及其改进模型，常见的有支持向量机、决策树、贝叶斯网络、神经网络及K近邻算法等，取得了不错的识别效果，但仍有提升的空间。通常，对于情感识别，我们更专注于提高识别率并且对新的数据集具有良好的泛化能力。然而，现实中由于被试的文化差异、个体性格等客观因素使得在情感诱发实验中采集到的脑电数据往往具有类别不平衡性，同时随着实验时间的增加，被试疲累及心理波动导致其具有实验抵触心理，加上外界因素干扰会使得数据中常包含较多噪声。此外，大脑的非线性混沌特征使得脑电具有多样性和复杂性，不同脑区对情感的体验程度也不完全相同。以上因素大大增加了脑电情感识别的难度，使用传统的单一分类器很难实现在整个样本空间上的准确分类。常见的解决策略是针对特定的情感识别问题，通过多次测试比较寻找一个具有最佳分类性能的分类器。然而，当先验知识不足时，很难确定最佳分类器，且如果特征之间的差异较大，则难以将他们集中到单一分类器中进行决策。虽然每个分类器的性能不同，但他们的错分样本集不一定重叠，这表明在各种单一分类器中存在着一定的互补信息。如果能利用这些互补信息组合多个分类器，并让每个分类器都在其优势空间区域发挥作用，即多分类器融合，将有望提高脑电情感识别的准确率。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提出一种基于分层机制构建多分类器融合模型的脑电情感识别方法，旨在解决针对类别不平衡、非线性非平稳的情感脑电数据进行分类时，现有的情感识别方法准确率有待提高的问题。

本发明解决其技术问题所采取的技术方案是：一种基于分层机制构建多分类器融合模型的脑电情感识别方法，该方法包括如下步骤：

(1)收集多导情感脑电数据，并对其进行分析处理，包括脑电预处理、特征提取及基于权值度量的通道选择，以构建情感脑电特征矩阵。

(2)将情感脑电特征矩阵按照电极位置进行通道划分，并针对每个通道执行最优化特征选择集成，构建多个单一情感分类模型。

(3)以各分类模型在针对同一个情感识别问题时获得的差异性和精确度作为评估准则，选择每个通道的最优单一情感分类模型，得到待融合的分类器集。

(4)利用各个最优单一情感分类模型的分类误差作为权重，并基于加权投票法构建情感识别融合模型。

进一步的，步骤(1)是基于脑电分析处理构建情感脑电特征矩阵的方法，具体步骤包括：

将采集的多导情感脑电原始信号进行预处理，包括：重设参考电极即改变原参考电位、降采样即将原始采样频率从512Hz降至128Hz、滤波去噪即采用0.1Hz～50Hz的带通滤波、去伪迹干扰即利用独立分量分析去除眼电伪迹四个步骤。

对预处理后的每一导脑电数据以长2s、重叠1s的时间窗分割成T段，分别计算时域特征、统计特征、频域特征和非线性动力学特征，得到初始的情感脑电特征矩阵。

基于ReliefF方法计算各通道权值，利用权值大小来表征各通道对于情感识别的重要程度进而实现通道的选择，具体过程包括：

对提取的脑电特征值进行归一化，并初始化脑电特征权值w₀；

对每个样本x_i采用欧式距离度量寻找相同情感类别的k个近邻H_j和不同类别的k个近邻M_j(c)；

更新每一个特征f_L的权值w(f_L)；

重复上述步骤m次，m为总样本数，输出所有样本特征权值w；

将每个通道的所有特征权值的平均值作为该通道的权值W(T)；

将通道权值按照从大到小进行排序，选择D个权值较大的通道{Ch₁,Ch₂,…,Ch_D}；

按照“通道-特征-分割段”的方式进行排列，得到一个包括m行、D×q×T列的二维情感脑电特征矩阵，m为总的样本数，D为选择出来的通道数，q是每个通道下提取的各类特征的数量，T是每导脑电被分割的数量。

进一步的，步骤(2)是结合通道划分和最优化特征选择集成生成基分类器的方法，具体包括如下步骤：

每个脑电通道上利用bootstrap采样方法产生S个训练子集{SubTr₁,SubTr₂,…,SubTr_S}；

对每个训练子集利用粒子群优化(PSO)算法选择最优脑电特征子集；

在每个训练子集的最优特征子集上利用SVM学习样本，以生成S个基分类器{SVM₁,SVM₂,…,SVM_S}。

进一步的，步骤(3)是基于差异性和精确度的各通道最优基分类器选择方法，具体包括如下步骤：

用每个通道上生成的基分类器SVM_S识别测试样本，根据识别结果，计算出每个基分类器的识别准确率Acc_S；

根据分类器的识别率按从大到小排序，选择出识别效果最好的情感分类模型集

计算

中各分类模型与其他通道分类模型之间的平均差异性Div_i；

计算各通道最优情感分类模型的选择评估准则Evaluation_i；

进一步的，步骤5所述的基于加权投票的脑电情感分类模型融合方法具体包括：

计算各通道最优情感分类模型的分类误差Error_t；

计算各通道最优情感分类模型的权重ω_t；

统计各情感类别的投票得分Score_y；

将得分最高的情感类别为最终的决策输出：Label＝argmax(Score_y)。

本发明能够应用于所有基于脑电的情感识别***。

有益效果：

本发明利用通道分层思想，使用ReliefF算法对脑电各通道下的特征进行权值计算，将特征的平均权值作为该通道的权值，权值较大表明该通道与目标情感类别之间的相关性较高，根据权值大小进行通道筛选，以降低计算代价和内存消耗，并有望提高后续的情感识别准确率。基于“Bagging-PSO-SVM”的特征选择集成方法生成分类性能较好的基分类器，并利用“差异性+精确度”的评估准则动态选择各通道最优分类器，使得这些分类器具有较高识别能力和较多的互补信息，最后采取加权投票法对这些最优分类器的分类结果进行融合。利用多分类器融合解决了单一分类器在具有类别不平衡及复杂性的脑电样本空间上难以获得较高情感识别率的问题。

附图说明

图1为本发明一种基于分层机制构建多分类器融合的脑电情感识别方法较佳实施例的流程图。

图2为图1所示方法中步骤S101的具体流程图。

图3为图1所示方法中步骤S102的具体流程图。

图4为图1所示方法中步骤S102的示意图。

图5为图1所示方法中步骤S103的具体流程图。

图6为图1所示方法中步骤S104的具体流程图。

具体实施方式

本发明提供一种基于分层机制多分类器融合的脑电情感识别方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下结合附图对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明一种基于分层机制多分类器融合的脑电情感识别的较佳实施例的流程图，如图所示，其实施步骤，包括如下：

(1)收集多导情感脑电数据，并对其进行分析处理，如图2所示，包括脑电预处理、特征提取及通道选择，构成情感脑电特征矩阵，具体过步骤如下：

将采集的多导情感脑电原始信号进行预处理，包括：重设参考电极为Cz(改变原参考电位)、降采样(将原始采样频率从512Hz降至128Hz)、滤波去噪(采用0.1Hz～50Hz的带通滤波)、去伪迹干扰(利用独立分量分析去除眼电伪迹)四个步骤。

对预处理后的每一导脑电数据采用长2s、重叠1s的时间窗分割成T段，分别计算常用于表征情感的时域特征、统计特征、频域特征和非线性动力学特征，其中频域特征针对θ波(4-7.5Hz)、α波(8-13Hz)、β波(14-30Hz)、γ波(30-45Hz)提取相应特征，如表1所示，共得到N×q×T维的情感脑电特征向量，其中N是电极数，q是提取的各类情感脑电特征的数量，T是每一导脑电信号被分割的段数。

表1各类情感脑电特征

基于ReliefF方法计算各通道权值，利用权值大小来表征各通道对于情感识别的重要程度进而实现通道的选择，具体过程包括：

对提取的脑电特征值进行归一化，并初始化脑电特征权值w₀；

对每个样本x_i采用欧式距离寻找与其相同情感类别的k个近邻H_j(j＝1,2,…,k)和不同类别的k个近邻M_j(c)，c＝1,2,…C，C为情感类别数；

根据下式更新所有脑电特征的权值w(f_L)：

其中，class(x_i)表示样本x_i所属的情感类别，

表示第c类情感类别的概率，m和k可根据样本数及脑电特征维数进行设定，diff(f,x₁,x₂)表示脑电特征f中样本x₁和x₂之间的差值，用来度量样本x₁和样本x₂关于特征f的距离，可用下式进行计算：

重复上述步骤，直到所有样本均执行上述操作，最终得到所有样本特征权值w；

根据下式，将每个通道的所有特征权值的平均值作为该通道的权值W(t)：

其中，L为每个通道下的特征数量，T表示第T个通道；

将通道权值按照从大到小进行排序，选择D个权值较大的通道{Ch₁,Ch₂,…,Ch_D}进行后续处理；

按照“通道-特征-分割段”的方式进行排列，得到一个包括m行、D×q×T列的二维情感脑电特征矩阵，m为总的样本数，D为选择出来的通道数，q是每个通道下提取的各类特征的数量，T是每导脑电被分割的数量。

(2)将情感脑电特征矩阵按照电极位置进行通道划分，并针对每个通道执行最优化特征选择集成，构建多个单一情感分类模型，如图3和图4所示，具体步骤如下：

每个脑电通道上利用bootstrap采样方法产生S个训练子集{SubTr₁,SubTr₂,…,SubTr_S}；

对每个训练子集基于粒子群优化(PSO)算法选择最优情感脑电特征子集；

在每个训练子集的最优特征子集上利用SVM学习样本，以生成S个情感基分类模型{SVM₁,SVM₂,…,SVM_S}。

(3)以各分类模型在针对同一个情感识别问题时获得的差异性和精确度作为评估准则，选择每个通道的最优单一情感分类模型，得到待融合的分类器集，如图5所示，具体步骤如下：

用每个通道上生成的基分类器SVM_S识别测试样本，根据识别结果，计算出每个基分类器的识别准确率Acc_S；

根据分类器的识别率Acc_S按从大到小排序，选择出识别效果最好的情感分类模型集

根据下式计算

中各分类模型与其他通道分类模型之间的平均差异性：

其中，Div_i表示分类器集中第i个分类器与其他通道生成的基分类器之间的决策差异度，M是其他通道生成的基分类器总数，N是测试集的样本数；

根据下式计算各通道最优情感分类模型的选择评估准则：

Evaluation_i＝Acc_i+α·Div_i，

其中Acc_i表示分类器集中第i个分类器的分类准确率，α是可调参数，表示差异度Div_i在评估准则中的贡献度；

选择出具有最大评估值的分类模型作为该通道的最优情感分类模型，并参与最终的融合。

(4)利用各通道的最优情感基分类模型的分类误差作为权重，并基于加权投票法构建多分类器融合模型用于脑电情感识别，具体步骤如下：

根据下式计算各通道最优情感分类模型的分类误差：

其中N是测试集样本数，F_t(x_k)表示第t个通道的最优分类器对样本x_k的分类结果，y_k是真实情感类别，Num用来统计数量；

根据下式计算各通道最优情感分类模型的权重：

根据下式统计各情感类别的投票得分：

其中，y是情感类别，

表示第t个分类器对类别y的投票，如果对样本的分类结果等于该样本的真实类别，则得1分，否则得0分；

将得分最高的情感类别为最终的决策输出：Label＝argmax(Score_y)。

实施例：

下面对本发明的基于分层机制构建多分类器融合的脑电情感识别方法与传统的基于单一分类器的识别方法进行比较验证，实验参数选取包括如下：

仿真数据选自公开数据集DEAP中的脑电情感数据，共32名被试参与了数据采集，年龄在19至37岁之间，每名被试均要求观看40个音乐视频短片。在情感诱发实验过程中，采用二维情感模型来量化情感，包括唤醒度(Arousal)和效价(Valence)两个维度。每名被试在观看完一个视频之后需记录下自评量表(SAM)中的每个维度的度量值，取值范围为1-9。使用国际10-20***的32导电极帽采集脑电信号，采样频率为512Hz。脑电信号的预处理采用开源的EEGLAB脑电分析工具箱进行操作。

为验证本发明对于脑电情感识别的有效性以及与其他传统方法相比性能的优劣，进行了一组对比实验，实验结果如下所示：

表2本发明方法与其他方法的比较

从表2中可以得到，对于单一分类模型而言，支持向量机(SVM)要比其他三种方法的分类准确率要高，朴素贝叶斯(NB)次之，决策树(C4.5)效果最差。而本发明所提的基于分层机制的多分类器融合方法无论在效价(Valence)还是唤醒度(Arousal)维度上的分类准确率都要优于任何单一分类模型。可证明在针对具有类别不平衡性、复杂性等特点的脑电数据时，本发明所提出的方法可以解决单一分类模型的情感识别准确率较低的问题。

本发明旨在提出一种基于分层机制构建多分类器融合的脑电情感识别方法，通过对通道筛选后的脑电情感特征矩阵根据电极位置进行划分，然后分别采用特征选择集成构造多个情感分类模型，根据各分类模型的准确度和差异性选择各通道的最优单一情感分类模型，最后采取加权投票法对所有最优单一分类模型进行融合得到最终的情感识别结果。应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于分层机制构建多分类器融合模型的脑电情感识别方法，其特征在于：该方法包括如下步骤，

(1)收集多导情感脑电数据，并对其进行分析处理，包括脑电预处理、特征提取及基于权值度量的通道选择，以构建情感脑电特征矩阵；

(2)将情感脑电特征矩阵按照电极位置进行通道划分，并针对每个通道执行最优化特征选择集成，构建多个单一情感分类模型；将情感脑电特征矩阵按照电极位置进行通道划分，并针对每个通道执行最优化特征选择集成，构建多个单一情感分类模型，具体步骤如下：

每个脑电通道上利用bootstrap采样方法产生S个训练子集{SubTr₁,SubTr₂,...,SubTr_S}；

对每个训练子集基于粒子群优化(PSO)算法选择最优情感脑电特征子集；

在每个训练子集的最优特征子集上利用SVM学习样本，以生成S个情感基分类模型{SVM₁,SVM₂,...,SVM_S}；

(3)以各分类模型在针对同一个情感识别问题时获得的差异性和精确度作为评估准则，选择每个通道的最优单一情感分类模型，得到待融合的分类器集；

(4)利用各个最优单一情感分类模型的分类误差作为权重，并基于加权投票法构建情感识别融合模型。

2.根据权利要求1所述的一种基于分层机制构建多分类器融合模型的脑电情感识别方法，其特征在于：步骤(1)的基于脑电分析处理构建情感脑电特征矩阵的方法，具体步骤包括：

将采集的多导情感脑电原始信号进行预处理，包括：重设参考电极即改变原参考电位、降采样即将原始采样频率从512Hz降至128Hz、滤波去噪即采用0.1Hz～50Hz的带通滤波、去伪迹干扰即利用独立分量分析去除眼电伪迹四个步骤；

对预处理后的每一导脑电数据以长2s、重叠1s的时间窗分割成T段，分别计算时域特征、统计特征、频域特征和非线性动力学特征，得到初始的情感脑电特征矩阵；

基于ReliefF方法计算各通道权值，利用权值大小来表征各通道对于情感识别的重要程度进而实现通道的选择，具体过程包括：

对提取的脑电特征值进行归一化，并初始化脑电特征权值w₀；

对每个样本x_i采用欧式距离度量寻找相同情感类别的k个近邻H_j和不同类别的k个近邻M_j(c)；

更新每一个特征f_L的权值w(f_L)；

重复上述步骤m次，m为总样本数，输出所有样本特征权值w；

将每个通道的所有特征权值的平均值作为该通道的权值W(T)；

将通道权值按照从大到小进行排序，选择D个权值较大的通道{Ch₁,Ch₂,...,Ch_D}；

按照“通道-特征-分割段”的方式进行排列，得到一个包括m行、D×q×T列的二维情感脑电特征矩阵，m为总的样本数，D为选择出来的通道数，q是每个通道下提取的各类特征的数量，T是每导脑电被分割的数量。

3.根据权利要求1所述的一种基于分层机制构建多分类器融合模型的脑电情感识别方法，其特征在于：步骤(3)的基于差异性和精确度的各通道最优基分类器选择方法，具体包括如下步骤：

用每个通道上生成的基分类器SVM_S识别测试样本，根据识别结果，计算出每个基分类器的识别准确率Acc_S；

根据分类器的识别率按从大到小排序，选择出识别效果最好的情感分类模型集

计算

中各分类模型与其他通道分类模型之间的平均差异性Div_i；

计算各通道最优情感分类模型的选择评估准则Evaluation_i。

4.根据权利要求1所述的一种基于分层机制构建多分类器融合模型的脑电情感识别方法，其特征在于：步骤(4)所述的基于加权投票的脑电情感分类模型融合方法具体包括：

计算各通道最优情感分类模型的分类误差Error_t；

计算各通道最优情感分类模型的权重ω_t；

统计各情感类别的投票得分Score_y；

将得分最高的情感类别为最终的决策输出：Label＝argmax(Score_y)。

Images