CN112861778A - 一种基于多模态融合的情绪分类识别方法 - Google Patents

一种基于多模态融合的情绪分类识别方法 Download PDF

Info

Publication number
CN112861778A
CN112861778A CN202110245153.2A CN202110245153A CN112861778A CN 112861778 A CN112861778 A CN 112861778A CN 202110245153 A CN202110245153 A CN 202110245153A CN 112861778 A CN112861778 A CN 112861778A
Authority
CN
China
Prior art keywords
nodes
feature
calculating
importance
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110245153.2A
Other languages
English (en)
Inventor
马捃凯
汤平川
王励烨
黄丽亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
CERNET Corp
Original Assignee
Nanjing University of Posts and Telecommunications
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications, CERNET Corp filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110245153.2A priority Critical patent/CN112861778A/zh
Publication of CN112861778A publication Critical patent/CN112861778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Analysis (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于多模态融合的情绪分类识别方法，包括：输入单个数据的脑电信号，并对脑电信号预处理，脑电信号为多通道数字信号；选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵；根据连接权重计算加权K‑阶传播数，进而得到每个节点的重要性排名；将脑网络拓扑结构和节点的重要性进行融合；计算训练数据集中所有特征的F‑score值，对融合后的特征进行选择，对整个数据集进行情绪分类；本发明采用合理的特征选择策略从整个特征空间选择最好的子集，将网络拓扑结构和节点重要性两种模式组合导致的冗余信息进行删除，避免了过拟合，减少了时间复杂度，提高分类准确率。

Description

一种基于多模态融合的情绪分类识别方法
技术领域
本发明涉及脑电信号的情绪识别技术领域，具体涉及一种基于多模态融合的情绪分类识别方法。
背景技术
有研究表明，网络的拓扑结构和节点重要性在不同情绪下有着明显的差异；这种差异反映了不同情绪下大脑各个区域的活动，而且还涉及不同功能区域之间的信息传递和相互作用。从本质上来说，这种网络的拓扑结构和节点重要性是对情感活动的局部响应，而这种模式则挖掘了相关大脑区域之间的相互作用。因此，现有技术将网络拓扑结构和节点重要性两种模式组合起来，以利用两者之间的信息互补特点。但是简单的将两种模式进行融合的方案可能并不是最好的选择，因为这两种特征中会存在一定的冗余信息影响情绪识别的准确性。因此有必要将这些冗余信息进行删除。
在机器学习中，普遍认为冗余信息会对算法的性能产生不利的影响，并且会导致一系列的问题，例如，过拟合和增加时间复杂度。因此，现有根据脑电信号进行情绪分类准确率普遍不高。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于多模态融合的情绪分类识别方法，该方法可以解决传统的利用脑电信号进行分类识别准确度不高的问题。
技术方案：本发明所述的基于多模态融合的情绪分类识别方法，包括：
(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；
(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；
(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；
(4)将脑网络拓扑结构和节点的重要性进行融合；
(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。
进一步的，包括：
所述步骤(2)中，相位锁定值PLV表示为：
Figure BDA0002963826300000021
Δφ(t)＝φx(jΔt)-φy(jΔt)
其中，Δφ(t)表示信号x(t)和y(t)在采样时间Δt内的相位差，φx(jΔt)，φy(jΔt)分别为两个信号x(t)和y(t)第j个样本的瞬时相位，N是每个信号的样本总数，i为虚部。
进一步的，包括：
所述步骤(3)中，根据连接权重计算加权K-阶传播数，包括：
(31)根据连接权重矩阵得到节点之间的最短路径矩阵D，D(vi,vj)表示网络节点vi到节点vj的最短路径；
(32)计算脑网络在不同K值下的传播数，K-阶传播数表示为：
Figure BDA0002963826300000022
其中，V为脑网络中节点的集合,i≠j，且0≤i,j≤(M*M)；
(33)根据信息论中香农熵理论定义网络的K-阶结构熵：
Figure BDA0002963826300000023
K∈[0，d]
其中，n为网络中节点总数，d为脑网络的最大直径；
(34)计算不同K值下的权重：
Figure BDA0002963826300000024
(35)将传播数与权重相乘进行求和：
Figure BDA0002963826300000025
其中，S是结构熵归一化后的结果。表示为：
Figure BDA0002963826300000026
(36)对
Figure BDA0002963826300000031
进行排序，得到各个网络节点的重要性。
进一步的，包括：
所述步骤(4)中，脑网络拓扑结构和节点的重要性进行融合，具体为：
将基于PLV生成的M*M的脑网络矩阵展开成一维向量，然后与脑网络节点重要性的一维向量进行组合，将两种模态的特征拼接成一个一维向量的特征。
进一步的，包括：
所述步骤(5)中，特征选择步骤如下：
(51)计算所有训练数据集中所有特征的F-score，接下来根据F-score对所有特征进行降序排序，将重新排列后的特征集定义为F，并将特征集的子集Fsub初始化为空；将最佳分类结果定义为MaxR，也将其初始化为0；将最佳特征索引集合Finx初始化为空；
(52)从F中选择F-score最高的特征向量，将所选的向量添加到Fsub中，将n设置为Fsub中单个样本的特征数；
(53)对Fsub进行10折交叉验证，并平均分类准确率为μ；
(54)如果μ比MaxR大，则用μ替换MaxR，并将Finx作为Fsub的特征索引；
(55)重复步骤(52)-(54)直到n＞D，D为特征的总数；经过上述步骤，能够选择出最佳的特征组。
进一步的，包括：
所述步骤(5)中，对整个数据集情绪分类包括：
为了验证分类结果的随机性，采用10折随机交叉验证方法来评估分类性能，10折交叉验证重复10次，以平均分类准确性作为评价指标；
(56)将整个数据集分成10个子集，取9个作为训练集，剩余的作为测试集；
(57)根据Finx中的索引选择最优的特征组合；
(58)利用训练集中的最优特征对SVM/GELM进行训练；
(59)利用测试集中的最优特征进行分类；
(510)重复步骤(56)～(59)十次，计算平均分类准确性。
有益效果：本发明与现有技术相比，其显著优点是：本发明采用合理的特征选择策略从整个特征空间选择最好的子集，将网络拓扑结构和节点重要性两种模式组合导致的冗余信息进行删除，避免了过拟合和减少了时间复杂度，提高了分类准确率。
附图说明
图1是特征选择流程图，其中，图1a原始特征集，图1b为根据F-score进行排序后的特征图，图1c为根据分类性能选择前K个特征图；
图2是情绪分类流程图，其中，图2a为经过预处理后的EEG信号，图2b为基于PLV生成的脑网络，图2c为基于加权K-阶传播数生成的节点重要性，图2d为将网络拓扑结构和节点重要性特征进行融合图，图2e为特征选择示意图；图2f为使用SVM/GELM进行情绪识别示意图；
图3为本发明所述的情绪分类识别方法流程图。
具体实施方式
本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
如图3所示，本发明所述的基于多模态融合的情绪分类识别方法，包括：
(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；
(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；
(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；
(4)将脑网络拓扑结构和节点的重要性进行融合；
(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。
具体的，由于原始EEG信号具有大量的噪声信号，因此本申请对信号进行了去噪等处理，主要包括：(1)人工去除EEG信号中明显漂移的部分；(2)采用陷波滤波器消除50Hz的设备工频干扰；(3)对信号进行基线校正和0.5-50Hz的滤波；(4)使用独立成分分析算法(ICA)去除眼电、肌电和心电等伪迹干扰；(5)降采样到128Hz，减少计算量。
相位锁定值(PLV)可以用来评估两个通道之间的脑电信号之间的相位同步性，生成的网络是有权无向的。并且已有大量的研究表明，基于相位信息的同步性比基于幅值信息的同步性更加具有分辨性，因为相位对同步性更加的敏感，同时K-阶传播数算法适用于无向有权的网络。通常认为信号的同步性越强，则脑区之间的活动的联系性越强。
假设两个信号x(t)和y(t)的瞬时相位φx(t)，φy(t)，则PLV可以定义为：
Figure BDA0002963826300000051
上式中的t是时间点，N是每个信号的样本数。Δφ(t)表示信号x(t)和y(t)在采样时间Δ(t)内的相位差。
为了构建脑网络，本实施例使用了32个电极(Fp1，AF3，F7，F3，FC5，FC1，T7，C3，CP5，CP1，P7，P3，PO3，O1，FP2，AF4，F8，F4，FC6，FC2，T8，C4，CP6，CP2，P8，P4，Po4，O2，Oz，Pz，Cz，Fz)作为脑网络的节点，并且使用PLV计算所有EEG信号通道的连接权重。根据上式可以看出PLV的取值范围是[0，1]，当PLV＝1时，表示信号之间完全同步，当PLV＝0时，表示信号之间完全不同步。
节点vi的K-阶传播数为
Figure BDA0002963826300000052
将上式中的
Figure BDA0002963826300000053
命名为K-阶传播数。其中，D为网络节点之间的的最短路径矩阵，D(vi，vj)表示节点vi到节点vj的最短路径，I为指示函数。无论连通网络还是非连通网络都存在网络的最大直径d，当K≥d时，任意节点的
Figure BDA0002963826300000054
的数值将保持不变，因此可以将K的取值限定在K∈[0，d]范围内。
假设传播的代价为K，则分别以网络中的节点v1，v2，…，vn为传播源，则可以得到每个节点的K-阶传播数
Figure BDA0002963826300000055
这些数值的大小可以在一定程度上反映每个节点的重要性。由于这里的K值是可以变化的，无法判断在哪个K值下能够最好的反映节点的重要性。但是可以用来评价在某一个K值下，各个节点之间的差异性，也就是
Figure BDA0002963826300000061
的离散程度，本实施例根据信息论中香农熵理论定义网络的K-阶结构熵HK为：
Figure BDA0002963826300000062
为了不失一般性，本实施例将上式中的底数设置为2。根据上式，当Hk越大，则
Figure BDA0002963826300000063
之间的差异越小；当
Figure BDA0002963826300000064
时，Hk可取到最大值log(n)，如果仅仅依据Hk来对节点的重要性进行评价，很难得到有效结果。因此，需要寻找一个传播时间，使的各个节点之间的差异较大才能对节点的重要性进行评价。如果考虑某一个节点的传播时间，有可能会忽略掉在其他传播时间下的有效信息。所以本实施例考虑了所有情况下的K值，主要方法是对
Figure BDA0002963826300000065
进行加权求和，并定义节点vi的重要性为：
Figure BDA0002963826300000066
式中，
Figure BDA0002963826300000067
定义为：
Figure BDA0002963826300000068
上式中的
Figure BDA0002963826300000069
上式是对NK进行了归一化操作，主要是因为K-阶传播数一般会随着K值得增长而增长，如果不进行归一化操作较大的值会淹没较小值得信息，所以本实施例将NK映射到了[0，1]区间，仅仅反映节点之间的相对重要性。
另外，权重系数cK指的是：
Figure BDA00029638263000000610
上式中H＝{H0，H1，…，Hd}。由式可知权重cK大小与HK成反比，也就是说对节点之间差异较大的情况进行了放大，而忽略了差异较小的情况。最后可以根据
Figure BDA0002963826300000071
的数值大小对节点重要性进行评估。
网络的拓扑结构和节点重要性在不同情绪下有着明显的差异；这种差异反映了不同情绪下大脑各个区域的活动，而且还涉及不同功能区域之间的信息传递和相互作用。从本质上来说，这种网络的拓扑结构和节点重要性是对情感活动的局部响应，而这种模式则挖掘了相关大脑区域之间的相互作用。因此，本实施例将网络拓扑结构和节点重要性两种模式组合起来，以利用两者之间的信息互补特点。首先将基于PLV生成的32*32的脑网络矩阵展开成一维向量，然后与脑网络节点重要性的一维向量进行组合，将两种模态的特征融合成一个一维向量的特征。
本实施例结合F-socre和分类器相关的结构来实现特征选择，这样可以保证所选特征子集的区分能力的同时减少计算量。F-score指数本质上是通过计算单个特征中类间与类内方差的比例来衡量特征的分类准确率。当F-score越大表示特征的辨别能力越强。第i个特征的F-score的定义如下：
Figure BDA0002963826300000072
式中的
Figure BDA0002963826300000073
i分别是整个数据集和第k类数据集中第i个特征的平均值。xk，j，i是第k个类中第j个样本的第i个特征。nk是类别k中的样本数。在上式中，F(i)越大表示对应的特征具有较强的辨别能力。
对所有F-score进行降序排序，本实施例结合支持向量机(SVM)和图正则化极限学习即(GELM)，并采用10折交叉验证，根据训练选择广义特征集。对于SVM本实施例选择高斯RBF核函数。通过LIBSVM工具箱提供的网个搜索技术，采用5折交叉验证选择SVM的核宽参数σ和大边距参数C。
特征选择步骤如下：
(1)计算所有训练集中所有特征的F-score。接下来根据F-score对所有特征进行降序排序。将重新排列后的特征集定义为F，并将特征集的子集Fsub初始化为空。将最佳分类结果定义为MaxR，也将其初始化为0。将最佳特征索引集合Finx初始化为空。
(2)从F中选择F-score最高的特征向量。将所选的向量添加到Fsub中。将n设置为Fsub中单个样本的特征数。
(3)对Fsub进行10折交叉验证，并平均分类准确率为μ。
(4)如果μ比MaxR大，则用μ替换MaxR，并将Finx作为Fsub的特征索引。
(5)重复步骤(2)-(4)直到n＞D，D为总特征数。
经过上述步骤，能够选择出最佳的特征组。图1详细的展示了特征选择的整个过程。
为了验证分类结果的随机性，采用10折随机交叉验证方法来评估分类性能。10折交叉验证重复10次，以平均分类准确性作为评价指标。图2描述了多特征融合方法的整个分类过程，具体包括如下步骤：
(1)将整个数据集分成10个子集，取9个作为训练集，剩余的作为测试集。
(2)根据Finx中的索引选择最优的特征组合。
(3)利用训练集中的最优特征对SVM/GELM进行训练。
(4)利用测试集中的最优特征进行分类。具体分类包括正向情绪、中性情绪和负向情绪三种
(5)重复步骤(1)～(4)十次，计算平均分类准确性。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于多模态融合的情绪分类识别方法，其特征在于，包括：
(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；
(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；
(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；
(4)将脑网络拓扑结构和节点的重要性进行融合；
(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。
2.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(2)中，相位锁定值PLV表示为：
Figure FDA0002963826290000011
Δφ(t)＝φx(jΔt)-φy(jΔt)
其中，Δφ(t)表示信号x(t)和y(t)在采样时间Δt内的相位差，φx(jΔt)，φy(jΔt)分别为两个信号x(t)和y(t)第j个样本的瞬时相位，N是每个信号的样本总数，i为虚部。
3.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(3)中，根据连接权重计算加权K-阶传播数，包括：
(31)根据连接权重矩阵得到节点之间的最短路径矩阵D，D(vi，vj)表示网络节点vi到节点vj的最短路径；
(32)计算脑网络在不同K值下的传播数，K-阶传播数表示为：
Figure FDA0002963826290000012
其中，V为脑网络中节点的集合，i≠j，且0≤i，j≤(M*M)；
(33)根据信息论中香农熵理论定义网络的K-阶结构熵：
Figure FDA0002963826290000013
K∈[0，d]
其中，n为网络中节点的总数，d为脑网络的最大直径；
(34)计算不同K值下的权重：
Figure FDA0002963826290000021
(35)将传播数与权重相乘进行求和：
Figure FDA0002963826290000022
其中，S是结构熵归一化后的结果。表示为：
Figure FDA0002963826290000023
(36)对
Figure FDA0002963826290000024
进行排序，得到各个网络节点的重要性。
4.根据权利要求3所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(4)中，脑网络拓扑结构和节点的重要性进行融合，具体为：
将基于PLV生成的M*M的脑网络矩阵展开成一维向量，然后与脑网络节点重要性的一维向量进行组合，将两种模态的特征拼接成一个一维向量的特征。
5.根据权利要求4所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，特征选择步骤如下：
(51)计算所有训练数据集中所有特征的F-score，接下来根据F-score对所有特征进行降序排序，将重新排列后的特征集定义为F，并将特征集的子集Fsub初始化为空；将最佳分类结果定义为MaxR，也将其初始化为0；将最佳特征索引集合Finx初始化为空；
(52)从F中选择F-score最高的特征向量，将所选的向量添加到Fsub中，将n设置为Fsub中单个样本的特征数；
(53)对Fsub进行10折交叉验证，并平均分类准确率为μ；
(54)如果μ比MaxR大，则用μ替换MaxR，并将Finx作为Fsub的特征索引；
(55)重复步骤(52)-(54)直到n＞D，D为特征的总数；经过上述步骤，能够选择出最佳的特征组。
6.根据权利要求5所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，对整个数据集情绪分类包括：
为了验证分类结果的随机性，采用10折随机交叉验证方法来评估分类性能，10折交叉验证重复10次，以平均分类准确性作为评价指标；
(56)将整个数据集分成10个子集，取9个作为训练集，剩余的作为测试集；
(57)根据Finx中的索引选择最优的特征组合；
(58)利用训练集中的最优特征对SVM/GELM进行训练；
(59)利用测试集中的最优特征进行分类，具体分类包括正向情绪、中性情绪和负向情绪三种；
(510)重复步骤(56)～(59)十次，计算平均分类准确性。
CN202110245153.2A 2021-03-05 2021-03-05 一种基于多模态融合的情绪分类识别方法 Pending CN112861778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245153.2A CN112861778A (zh) 2021-03-05 2021-03-05 一种基于多模态融合的情绪分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245153.2A CN112861778A (zh) 2021-03-05 2021-03-05 一种基于多模态融合的情绪分类识别方法

Publications (1)

Publication Number Publication Date
CN112861778A true CN112861778A (zh) 2021-05-28

Family

ID=75993358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245153.2A Pending CN112861778A (zh) 2021-03-05 2021-03-05 一种基于多模态融合的情绪分类识别方法

Country Status (1)

Country Link
CN (1) CN112861778A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298186A (zh) * 2021-12-20 2022-04-08 惠州学院 基于网络熵的脑认知状态识别方法
CN114431862A (zh) * 2021-12-22 2022-05-06 山东师范大学 基于脑功能连接网络的多模态情绪识别方法及***
CN114861738A (zh) * 2022-07-05 2022-08-05 武汉理工大学 一种基于脑电溯源和偶极子选择的运动想象分类方法
CN115099311A (zh) * 2022-06-06 2022-09-23 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059731A (zh) * 2019-03-27 2019-07-26 南京邮电大学 一种基于加权k-阶传播数的节点重要性评价方法
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059731A (zh) * 2019-03-27 2019-07-26 南京邮电大学 一种基于加权k-阶传播数的节点重要性评价方法
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298186A (zh) * 2021-12-20 2022-04-08 惠州学院 基于网络熵的脑认知状态识别方法
CN114298186B (zh) * 2021-12-20 2023-09-05 惠州学院 基于网络熵的脑认知状态识别方法
CN114431862A (zh) * 2021-12-22 2022-05-06 山东师范大学 基于脑功能连接网络的多模态情绪识别方法及***
CN115099311A (zh) * 2022-06-06 2022-09-23 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法
CN115099311B (zh) * 2022-06-06 2024-03-19 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法
CN114861738A (zh) * 2022-07-05 2022-08-05 武汉理工大学 一种基于脑电溯源和偶极子选择的运动想象分类方法

Similar Documents

Publication Publication Date Title
CN112861778A (zh) 一种基于多模态融合的情绪分类识别方法
Ghaseminezhad et al. A novel self-organizing map (SOM) neural network for discrete groups of data clustering
CN111832417B (zh) 基于cnn-lstm模型和迁移学习的信号调制样式识别方法
CN110197209B (zh) 一种基于多特征融合的辐射源识别方法
Liu Multi-feature fusion for specific emitter identification via deep ensemble learning
CN108960299A (zh) 一种多类运动想象脑电信号的识别方法
CN113255892B (zh) 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN108052863A (zh) 基于最大方差展开法的电能质量扰动识别方法
De et al. Tracing retinal vessel trees by transductive inference
Yang et al. One-dimensional deep attention convolution network (ODACN) for signals classification
CN109189876A (zh) 一种数据处理方法及装置
Phamtoan et al. Automatic fuzzy genetic algorithm in clustering for images based on the extracted intervals
Li et al. Automatic modulation classification based on bispectrum and CNN
CN114821251B (zh) 一种点云上采样网络的确定方法及确定装置
Starczewski et al. A novel grid-based clustering algorithm
CN108564116A (zh) 一种摄像头场景图像的成分智能分析方法
CN113592030B (zh) 基于复值奇异谱分析的图像检索方法和***
Shuntov et al. PhotoWeb redshift: boosting photometric redshift accuracy with large spectroscopic surveys
Chanama et al. A comparison of decision tree based techniques for indoor positioning system
CN110751201B (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
CN116720054A (zh) 一种特征选择方法及***
CN107368849B (zh) 一种基于互相关熵的共用空间模式空域特征提取方法
CN115100733A (zh) Rfid手势识别方法、计算机装置、产品及存储介质
CN114677530A (zh) 一种基于小波形状描述子的聚类算法有效性评价方法、设备及介质
Scardapane et al. Distributed spectral clustering based on Euclidean distance matrix completion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210003, 66 new model street, Gulou District, Jiangsu, Nanjing

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Applicant after: CERNET Co.,Ltd.

Address before: 210000 No. 186 Software Avenue, Yuhuatai District, Nanjing, Jiangsu Province

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

Applicant before: CERNET Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication