CN114970641A - 情感类别的识别方法、装置、处理器及电子设备 - Google Patents

情感类别的识别方法、装置、处理器及电子设备 Download PDF

Info

Publication number
CN114970641A
CN114970641A CN202210727036.4A CN202210727036A CN114970641A CN 114970641 A CN114970641 A CN 114970641A CN 202210727036 A CN202210727036 A CN 202210727036A CN 114970641 A CN114970641 A CN 114970641A
Authority
CN
China
Prior art keywords
signal
electrophysiological
fused
physiological
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210727036.4A
Other languages
English (en)
Inventor
饶宇熹
冯智斌
黎明欣
黄淋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210727036.4A priority Critical patent/CN114970641A/zh
Publication of CN114970641A publication Critical patent/CN114970641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Power Engineering (AREA)
  • Hematology (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)

Abstract

本申请公开了一种情感类别的识别方法、装置、处理器及电子设备。涉及人工智能领域，该方法包括：获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。通过本申请，解决了相关技术中无法根据电生理信号进行情感识别的问题。

Description

情感类别的识别方法、装置、处理器及电子设备
技术领域
本申请涉及人工智能领域，具体而言，涉及一种情感类别的识别方法、装置、处理器及电子设备。
背景技术
在情感识别领域中，常见的有三个不同维度进行识别，包括人脸、语音、生理三种类别的情感识别。
一、人脸情感识别
通过面部表情，肌肉走势等特征分析识别人类情感，可区分开心、悲伤、愤怒等情绪。一般采用深度神经网络进行情感识别，首先对图片进行预处理，包括人脸检测、人脸对齐、数据增强和人脸归一化，这一步对后面情感识别精度起着关键性作用；接着进行深度特征学习，一般是基于CNN的网络模型，也有一些使用深度信念网络(DBN)的特征提取，最后还有一部分基于序列建模的LSTM。
二、语音情感识别
通过人类讲话时的语速、语调、音高等特征，通过深度学习的方法识别出人类的情感。在将原始声纹信号转化为声谱图后，CNN先用两个不同的卷积核分别提取时域特征和频域特征，然后联合两者特征用深度CNN进行训练。
三、生理情感识别
通过分析行为中的姿态动作表现，呼吸，心率和体温等生理信号，从而识别出人类情感。在已有的技术研究中，先对生理信号进行特征提取，然后使用传统机器学习方法(PCA、KNN)等方法对其进行分类。
在人脸情感识别技术中，机器识别中常用到的特征主要分为：灰度特征、运动特征和频率特征三种，但是将其作为分类的金标准特征提高分类性能会有存在一定的瓶颈，再者面部的表情是可以通过伪装导致识别任务失败；在语音情感识别技术中，常利用声调信号中的时序特征、振幅、基频构造和共振峰构造等特点和分布规律进行特征提取，有研究也将声纹信号转化为声谱图进行特征提取，最后进行情感分类，在精度上相对于人脸识别会有一定的差距。前两项技术中表情和语音或多或少会受到个体主观意识的控制，在某些特殊背景下并不能客观反馈出受试体(被试)真实的情感反馈，而生理信号只受人体神经***和分泌***的调控，能够完全独立于人的主观意念。
针对相关技术中无法根据电生理信号进行情感识别的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种情感类别的识别方法、装置、处理器及电子设备，以解决相关技术中无法根据电生理信号进行情感识别的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种情感类别的识别方法。该方法包括：获取待识别对象的融合电生理信号，其中，所述融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别，其中，所述混合神经网络模型为使用多组训练数据通过机器学习训练出的，所述多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
可选地，获取待识别对象的融合电生理信号包括：获取所述待识别对象在预设时段的脑电生理信号；获取所述待识别对象在所述预设时段的血流生理信号；获取所述待识别对象在所述预设时段的心电生理信号；根据所述待识别对象在同一所述预设时段的脑电生理信号、血流生理信号和心电生理信号，确定所述融合电生理信号。
可选地，根据同一所述预设时段的脑电生理信号、血流生理信号和心电生理信号，确定所述融合电生理信号包括：将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；将通过第二通道获取的血流生理信号确定为第二类信号矩阵；将通过第三通道获取的心电生理信号确定为第三类信号矩阵；对所述第一类信号矩阵、所述第二类信号矩阵和所述第三类信号矩阵在矩阵的列维度进行拼接，生成所述融合电生理信号。
可选地，在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，所述方法还包括：获取至少一个样本对象针对预设类别的情感的样本信号，其中，所述样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；对所述样本信号进行预处理，得到训练信号；按照所述预设类别的情感对所述训练信号进行标定，生成所述训练数据。
可选地，对所述样本信号进行预处理，得到训练信号包括：对所述样本信号进行去基线漂移处理，得到第一处理信号；对所述第一处理信号进行陷波处理，得到第二处理信号；对所述第二处理信号中的脑电生理信号进行预定噪声去除处理，得到所述训练信号。
可选地，在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，所述方法还包括：使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；对所述空间特征图和所述时间特征图进行组合，得到生理信号特征图；对所述生理信号特征图进行池化处理，生成特征序列向量。
可选地，在对所述生理信号特征图进行池化处理，生成特征序列向量之后，所述方法还包括：使用预设长短期记忆人工神经网络对所述特征序列向量进行处理，生成分类特征图；使用预设分类器根据所述分类特征图输出情感类别的分类结果；使用预设优化器根据所述情感类别的分类结果进行参数调整，得到所述混合神经网络模型。
为了实现上述目的，根据本申请的另一方面，提供了一种情感类别的识别装置。该装置包括：获取单元，用于获取待识别对象的融合电生理信号，其中，所述融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；分析单元，用于使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别，其中，所述混合神经网络模型为使用多组训练数据通过机器学习训练出的，所述多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
为了实现上述目的，根据本申请的另一方面，提供了一种处理器。该处理器用于运行程序，其中，所述程序运行时执行上述所述情感类别的识别方法。
为了实现上述目的，根据本申请的另一方面，提供了一种电子设备。该电子设备包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所述情感类别的识别方法。
通过本申请，采用以下步骤：获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别，解决了相关技术中无法根据电生理信号进行情感识别的问题。进而达到了根据电生理信号进行情感识别的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的一种情感类别的识别方法的流程图；
图2是根据本申请实施例提供的一种信号处理流程的示意图；
图3是根据本申请实施例提供的一种混合神经网络模型的示意图；
图4是根据本申请实施例提供的一种十折交叉验证的示意图；
图5是根据本申请实施例的一种情感类别的识别装置的示意图；
图6是根据本申请实施例的一种电子设备的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
EEG：脑电波，是一种使用电生理指标记录大脑活动的方法。
EOG：眼电图，是一种在暗适应和明适应条件下，记录外层视网膜和视网膜色素上皮功能状态的电生理检测方法，它检测的是眼的静息电位变化。
ECG：心电图，是利用心电图机从体表记录心脏每一心动周期所产生的电活动变化图形的技术。
CNN：卷积神经网络，是一类包含卷积计算且具有深度结构的前馈神经网络，卷积神经网络具有表征(特征)学***移不变分类。
LSTM：长短时记忆网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。
卷积池化层：卷积神经网络中一个卷积层和一个最大池化层的统称。
需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本***和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的一种情感类别的识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；
步骤S104，使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
在上述步骤S102中，脑电生理信号根据脑电波EEG确定，心电生理信号根据心电图ECG确定。
在上述步骤S104中，混合神经网络模型可以是混合网络CNN-LSTM模型，结合卷积神经网络CNN模型的特征提取优势与长短期记忆人工神经网络LSTM模型的特征融合、时序预测优势，对采集的多模态生理信号(即融合电生理信号)进行情感辨别分类。
需要说明的是，卷积神经网络(CNN)可以提取前面融合电生理信号中的空间特征，长短时记忆网络(LSTM)对CNN输出的特征进行特征融合，并提取时间序列的信息。
在上述步骤S104中，情感类别至少包括：恐惧、愤怒、悲伤、高兴、厌恶。
可选地，在本申请实施例提供的情感类别的识别方法中，获取待识别对象的融合电生理信号包括：获取待识别对象在预设时段的脑电生理信号；获取待识别对象在预设时段的血流生理信号；获取待识别对象在预设时段的心电生理信号；根据待识别对象在同一预设时段的脑电生理信号、血流生理信号和心电生理信号，确定融合电生理信号。
本发明上述实施例，根据同一预设时段的脑电生理信号、血流生理信号和心电生理信号生成融合电生理信号，并确定融合电生理信号对应的情感类别，从而可以基于待识别对象的多项电生理信号共同确定待识别对象的情感类别，实现了对识别对象的情感类别进行精确识别的技术效果。
可选地，在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，还包括：使用多组训练数据通过机器学习训练混合神经网络模型，其中，训练混合神经网络模型所使用的多组训练数据包括：多个样本对象的融合电生理信号和相应的情感类别。
可选地，在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，还包括：获取样本对象在预设时段的脑电生理信号；获取样本对象在预设时段的血流生理信号；获取样本对象在预设时段的心电生理信号；根据样本对象在同一预设时段的脑电生理信号、血流生理信号和心电生理信号，确定样本对象的融合电生理信号；标定样本对象的融合电生理信号对应的情感类别。
需要说明的是，在识别情感类别的情况下，融合电生理信号可以是待识别对象的脑电生理信号、血流生理信号和心电生理信号的融合；在训练用于识别情感类别的混合神经网络模型的情况下，融合电生理信号可以是样本对象的脑电生理信号、血流生理信号和心电生理信号的融合。
可选地，脑电生理信号、血流生理信号和心电生理信号，可以通过不同的通道进行采集，再对各通道采集的电生理信号进行融合。
可选地，在本申请实施例提供的情感类别的识别方法中，根据同一预设时段的脑电生理信号、血流生理信号和心电生理信号，确定融合电生理信号包括：将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；将通过第二通道获取的血流生理信号确定为第二类信号矩阵；将通过第三通道获取的心电生理信号确定为第三类信号矩阵；对第一类信号矩阵、第二类信号矩阵和第三类信号矩阵在矩阵的列维度进行拼接，生成融合电生理信号。
可选地，第一通道的数量可以为多个，第一类信号矩阵的行数根据第一通道的数量确定；第二通道的数量可以为多个，第二类信号矩阵的行数根据第二通道的数量确定；第三通道的数量可以为多个，第三类信号矩阵的行数根据第三通道的数量确定。
本发明上述实施例，通过第一通道采集脑电生理信号得到第一类信号矩阵，通过第二通道采集血流生理信号得到第二类信号矩阵，通过第三通道采集心电生理信号得到第三类信号矩阵，对第一类信号矩阵、第二类信号矩阵和第三类信号矩阵在矩阵的列维度进行拼接，得到融合电生理信号，可以实现对脑电生理信号、血流生理信号和心电生理信号的融合。
可选地，脑电生理信号、血流生理信号和心电生理信号，可以是在预设时段按照预设的采样频率对电生理信号进行采集，并根据电生理信号确定信号矩阵，其中，信号矩阵包括：第一类信号矩阵、第二类信号矩阵和第三类信号矩阵；检测信号矩阵的尺寸是否高于预设尺寸，在信号矩阵的尺寸高于预设尺寸的情况下，将采集时间相邻的多个采集点的电生理信号进行合并，其中，每个采集点表示采集电生理信号的时间点。
可选地，可以对预设数量的采集点的电生理信号进行合并。
可选地，合并多个采集点的电生理信号包括：确定多个采集点的电生理信号的平均值。
作为一种可选的示例，确定采集时的采样频率假定为500Hz(即1秒采集500个点)，那么选取5分钟时长的数据为一个样本，最终信号矩阵大小为(150000，18)。如果这个样本太大，导致服务器无法处理，进而可以对其降采样。
可选地，降采样指的是：每四个相邻点取一个平均值，这样采样频率就降为125Hz，在时间上也可以降为2分钟，从而将单个样本矩阵降为(18000，18)。
可选地，在本申请实施例提供的情感类别的识别方法中，在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，方法还包括：获取至少一个样本对象针对预设类别的情感的样本信号，其中，样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；对样本信号进行预处理，得到训练信号；按照预设类别的情感对训练信号进行标定，生成训练数据。
本发明上述实施例，采集多个样本对象基于不同情感类别的电生理信号，并对采集的电生理信号进行标定，得到多组训练数据。
可选地，样本信号可以是根据样本对象的脑电生理信号、血流生理信号和心电生理信号确定的融合电生理信号。
可选地，每组训练数据包括：同一个样本对象针对同一种情感类别的多项电生理信号。
例如，样本对象A在时间A对应的情感为开心，则采集该时间A采集的脑电生理信号、血流生理信号和心电生理信号即为开心的电生理信号。
本发明需要在静息态环境下采集一些受试体(即样本对象)在2-3小时内五种情感的电生理信号，其电生理信号应包括脑电生理信号、血流生理信号和心电生理信号等，这些都可采用非入侵式的方式进行收集，而5种情感包括恐惧、愤怒、悲伤、高兴、厌恶。
可选地，单个被试对象(即样本对象)，在被引导产生对应的情感时，在电生理信号的记录上打上断点以便后面区分。例如，播放一段开心的视频，在观察到被试对象(即样本对象)的表情为开心状态后，直接在记录上打上标签或记录当时发生的时间。
可选地，重复引导被试对象(即样本对象)在不同视频状态下的情感状态，满足一个被试对象(即样本对象)有5种不同的情绪状态。
可选地，可以采集20个被试对象不同情绪的数据，接着参考图像在深度学习上的训练，对采集的电生理信号在每2分钟时长的数据进行对应情感标签的标注。设定采集仪器的频率是500Hz，脑电生理信号是24个通道，血流生理信号为4个通道，心电生理信号为2个通道，那么(60000x30)矩阵数据代表2分钟时长的数据，其对应着一个情感标签。
可选地，在获取脑电生理信号、血流生理信号和心电生理信号之后，为了确保采集的电生理信号的准确定，以及确保训练的混合混合神经网络模型的准确性，因此，需要在使用样本对象的电生理信号训练混合混合神经网络模型之前，对目标对象的电生理信号进行预处理，去除信号噪声。
可选地，在本申请实施例提供的情感类别的识别方法中，对样本信号进行预处理，得到训练信号包括：对样本信号进行去基线漂移处理，得到第一处理信号；对第一处理信号进行陷波处理，得到第二处理信号；对第二处理信号中的脑电生理信号进行预定噪声去除处理，得到训练信号。
图2是根据本申请实施例提供的一种信号处理流程的示意图，如图2所示，由于脑电生理信号、血流生理信号和心电生理信号等电生理信号中存在很多噪声，因此，在基于电生理信号训练混合申请网络模型之前，需要根据数据处理流程依次去除基线漂移、陷波处理(工频干扰)、EEG信号的眼电去除等伪迹处理；然后对电生理信号数据进行归一化处理，从而可以加快后面模型训练速度。
可选地，在本申请实施例提供的情感类别的识别方法中，对样本信号进行去基线漂移处理，得到第一处理信号包括：识别样本信号中每项信号的缺失值；确定缺失值对应的缺失时段；删除缺失时段的多项信号；对缺失时段连接的信号进行数据平滑处理，得到第一处理信号。
本发明上述实施例，去除基线漂移的处理过程，需要先排查所有通道采集的电生理信号是否存在缺失值，然后将存在缺失值对应时间段上所有脑电生理信号和血流生理信号、心电生理信号一起删除，并尽量保持删除数据处连接的平滑性，或者在删除处使用线性插值保证数据平滑性，实现了对电生理信号进行去基线漂移处理。
需要说明的是，尽管整体数据采集是在静息环境下，但难以避免采集数据时出现工频干扰(电力***引起的一种干扰)，为了解决这个问题，实验使用阻带下限截止频率为49Hz，上限截止频率为51Hz的巴特沃斯带通滤波器进行陷波处理，消除50Hz的工频干扰，实现了对电生理信号的陷波处理。
需要说明的是，为保证单源信号中不夹杂着另一种实验信号或干扰信号，实验对EEG信号进行眼电、肌电、头动信号等噪声成分的去除。
可选地，对EEG信号进行伪迹去除，主要使用的是盲源信号分离技术——独立主成分分析(Independent Component Analysis，ICA)方法，借助MATLAB 2018b中的eeglabv14.1.1工具箱进行噪声剔除。整个步骤如下：
a)在eeglab导入数据信号(即导入样本对象的脑电生理信号)，根据采样的频率将各通道数据导入到工作区。
b)根据各通道位置配置文件，加载通道位置信息，对整个大脑头皮的脑电生理信号进行可视化，描绘出2维图像。
c)使用ICA算法对上述通道数据进行处理，得到通道数个成分，依次检查每个成分中是否含有噪声成分。
可选地，眨眼成分：在头皮地形图的前端分布，ERP图像中有小方块，功率谱图中，低频能量高，该成分排序较为靠前；
可选地，眼动成分：在头皮地形图的前端两侧分布，红蓝相对，在ERP图像中，长条状，红蓝相间，在功率谱图中低频能量高，分量排序靠前，但一般在眨眼后面。
可选地，头动成分：在ERP图像中呈现长条状，在单个trial里有非常明显(非常长)的飘移。
经过ICA分析剔除噪声信号后，这样预处理的电生理信号使用神经网络(或混合神经网络模型)进行训练带来的精准度和召回率都高。
作为一种可选的实施例，混合神经网络模型包括：具有特征提取优势的CNN网络(即卷积神经网络)，使用多组训练数据训练混合神经网络模型包括：使用CNN网络提取融合电生理信号的特征，生成特征序列向量。
可选地，在本申请实施例提供的情感类别的识别方法中，在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，方法还包括：使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；对空间特征图和时间特征图进行组合，得到生理信号特征图；对生理信号特征图进行池化处理，生成特征序列向量。
作为一种可选的实施例，混合神经网络模型包括：具有特征融合和时序预测优势的LSTM网络(即预设长短期记忆人工神经网络)，使用多组训练数据训练混合神经网络模型包括：使用LSTM网络对特征序列向量进行处理，并基于处理结果实现对情感类别的分类。
可选地，在对生理信号特征图进行池化处理，生成特征序列向量之后，方法还包括：使用预设长短期记忆人工神经网络对特征序列向量进行处理，生成分类特征图；使用预设分类器根据分类特征图输出情感类别的分类结果；使用预设优化器根据情感类别的分类结果进行参数调整，得到混合神经网络模型。
图3是根据本申请实施例提供的一种混合神经网络模型的示意图，如图3所示，为了充分挖掘电生理信号在时空维度上的特征，在最开始CNN网络中，先使用两个(3x1)和(1x3)的卷积核进行时间维度和空间维度的特征提取(即使用第一卷积核提取空间特征，使用第二卷积核提取时间特征)，将其融合放入后面具有四个卷积池化层的深度卷积神经网络中进行特征提取，接着使用LSTM网络对前面提取的特征进行特征融合和时间序列特征情感预测，最后使用一个全连接和预设分类器softmax进行分类。
可选地，整个***的输入为多模态的电生理信号，这个是由脑电生理信号、血流生理信号和心电生理信号确定的融合电生理信号，其中，单个样本数据(即单个融合电生理信号)大小为(60000x30)，在进入整个混合神经网络模型之前，先使用两个不同大小的卷积核分别进行空间特征、时间特征的提取工作，分别得到大小为(60000x10)和(20000x30)的特征图(即空间特征图和时间特征图)，这样也可以加快后面网络训练的速度。然后将两个得出的特征图进行组合操作，重新组成一张生理信号特征图(即对空间特征图和时间特征图进行组合，得到生理信号特征图)。
可选地，将生理信号特征图送到后面的四个卷积池化层中，一个卷积池化层包括一个卷积层卷积核大小为(3x3)；接着进行批量标准化(加快训练速度和提高鲁棒性)；然后接入一个卷积核大小为(2x2)，步长为2的最大池化层。
可选地，将前面经过四个卷积池化层得到的(7500x2)的特征序列向量铺平为15000x1的向量，传输进入LSTM网络当中。在该LSTM网络中，每个LSTM单元由输入门、具有自循环连接的神经元、遗忘门和输出门这四个主要成分组成。
可选地，在本发明LSTM网络中包括：3个隐藏层和一个全连接层，其中，每个隐藏层是由多个LSTM组成的基本循环网络，定义为LSTM基本单元。单个LSTM基本单元含有128个神经元，使用默认的tanh激活函数。接着在每个神经元之间使用dropout来减少过度拟合，值得注意的是，这个dropout是在单个LSTM神经元之间使用，因此该dropout的使用不同于CNN，不再在每个神经元4个门使用。
可选地，最后使用一个全连接层将得到的局部特征重新通过权值矩阵组成一张正式的特征图(即分类特征图)。最后通过预设分类器softmax将全连接层输出的映射成一个概率分布进行分类。在训练过程中使用初始学***滑平均提高模型在测试数据上的健壮性。
作为一种可选的实施例，使用多组训练数据训练混合神经网络模型包括：将多个样本对象的融合电生理信号按照第一预定比例划分为训练数据和测试数据，其中，训练数据用于训练混合神经网络模型，测试数据用于对混合神经网络模型进行测试；在使用训练数据训练混合神经网络模型包括：将多组训练数据按照第二预定比例划分为训练样本和验证样本，使用训练样本训练混合神经网络模型，然后使用验证样本对训练的混合神经网络模型进行验证。
可选地，根据多个目标对象的多项电生理信号，可以得到样本对象的样本数据集，其中，样本数据集中包括：多个目标对象的样本信号；也即，样本数据集中包括：多个样本对象的融合电生理信号。
可选的，在获取样本数据集后，可以按照7:3的比例划分为训练集：测试集，并使用十折交叉验证对CNN-LSTM模型(即混合神经网络模型)进行训练。
图4是根据本申请实施例提供的一种十折交叉验证的示意图，如图4所示，将整个训练集中的数据随机分成10份，其中，9份用于训练，1份用于验证。整个实验进行完一个十折交叉验证为一个epoch，总共设定进行30个epoch训练，最后得到一个平均值较高的模型作为最后的训练好的模型，然后将此模型用于测试集上，最后的结果即为模型的准确度。
本发明提供的技术方案，从数据(即多项电生理信号)采集开始，为了保证模型性能，对原始数据(即采集的电生理信号)进行伪迹去除，然后将处理后的数据(即融合电生理信号)送到构建的CNN-LSTM网络(即混合神经网络模型)中训练，进行最大软分类；相较于传统的人脸图像、声纹数据而言，电生理信号只受人体神经***和分泌***的调控，能够完全独立于人的主观意念，更具可靠性；将多模态的电生理信号融合为融合电生理信号，可以为情绪模型的辨别提供健壮性，提高模型分类预测的精确度；通过卷积分别在空间维度和时间维度进行特征提取，为后面CNN-LSTM(即混合神经网络模型)提供基础特征模板以加快模型训练。
可选地，本发明提供的混合神经网络模型，采用4个卷积池化层深度的卷积神经网络，可以更好提取生理信号特征，后面使用LSTM网络进行特征融合和进行情感预测；因此，本申请的混合神经网络模型结合了CNN网络和LSTM网络的两种优势。
本申请实施例提供的情感类别的识别方法，通过获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别，解决了相关技术中无法根据电生理信号进行情感识别的问题。进而达到了根据电生理信号进行情感识别的技术效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种情感类别的识别装置，需要说明的是，本申请实施例的情感类别的识别装置可以用于执行本申请实施例所提供的用于情感类别的识别方法。以下对本申请实施例提供的情感类别的识别装置进行介绍。
图5是根据本申请实施例的一种情感类别的识别装置的示意图。如图5所示，该装置包括：获取单元52，用于获取待识别对象的融合电生理信号，其中，所述融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；分析单元54，用于使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别，其中，所述混合神经网络模型为使用多组训练数据通过机器学习训练出的，所述多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
需要说明的是，该实施例中的获取单元52可以用于执行本申请实施例中的步骤S102，该实施例中的分析单元54可以用于执行本申请实施例中的步骤S104。上述单元与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。
可选地，在本申请实施例提供的情感类别的识别装置中，获取单元包括：第一获取模块，用于获取所述待识别对象在预设时段的脑电生理信号；第二获取模块，用于获取所述待识别对象在所述预设时段的血流生理信号；第三获取模块，用于获取所述待识别对象在所述预设时段的心电生理信号；第一确定模块，用于根据待识别对象在同一所述预设时段的脑电生理信号、血流生理信号和心电生理信号，确定所述融合电生理信号。
可选地，在本申请实施例提供的情感类别的识别装置中，第一确定模块包括：第一确定子模块，用于将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；第二确定子模块，用于将通过第二通道获取的血流生理信号确定为第二类信号矩阵；第三确定子模块，用于将通过第三通道获取的心电生理信号确定为第三类信号矩阵；第四确定子模块，用于对第一类信号矩阵、第二类信号矩阵和第三类信号矩阵在矩阵的列维度进行拼接，生成融合电生理信号。
可选地，在本申请实施例提供的情感类别的识别装置中，所述装置还包括：第四获取模块，用于在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，获取至少一个样本对象针对预设类别的情感的样本信号，其中，所述样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；预处理模块，用于对所述样本信号进行预处理，得到训练信号；标定模块，用于按照所述预设类别的情感对所述训练信号进行标定，生成所述训练数据。
可选地，在本申请实施例提供的情感类别的识别装置中，预处理模块包括：第一处理模块，用于对所述样本信号进行去基线漂移处理，得到第一处理信号；第二处理模块，用于对所述第一处理信号进行陷波处理，得到第二处理信号；第三处理模块，用于对所述第二处理信号中的脑电生理信号进行预定噪声去除处理，得到所述训练信号。
可选地，在本申请实施例提供的情感类别的识别装置中，第一处理模块包括：识别模块，用于识别所述样本信号中每项信号的缺失值；第二确定模块，用于确定缺失值对应的缺失时段；删除模块，用于删除所述缺失时段的多项信号；第四处理模块，用于对所述缺失时段连接的信号进行数据平滑处理，得到所述第一处理信号。
可选地，在本申请实施例提供的情感类别的识别装置中，所述装置还包括：第一提取模块，用于在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；第二提取模块，用于使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；组合处理模块，用于对所述空间特征图和所述时间特征图进行组合，得到生理信号特征图；第五处理模块，用于对所述生理信号特征图进行池化处理，生成特征序列向量。
可选地，在本申请实施例提供的情感类别的识别装置中，该装置还包括：预设长短期记忆人工神经网络模块，用于对所述特征序列向量进行处理，生成分类特征图；预设分类器，用于根据所述分类特征图输出情感类别的分类结果；预设优化器，用于根据所述情感类别的分类结果进行参数调整，得到所述混合神经网络模型。
本申请实施例提供的情感类别的识别装置，通过获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别，解决了相关技术中无法根据电生理信号进行情感识别的问题，进而达到了根据电生理信号进行情感识别的技术效果。
所述情感类别的识别装置包括处理器和存储器，上述单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到了根据电生理信号进行情感识别的技术效果。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述情感类别的识别方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述情感类别的识别方法。
图6是根据本申请实施例的一种电子设备的示意图，如图6所示，本发明实施例提供了一种电子设备60，设备包括处理器62、存储器64及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
可选地，处理器执行程序时实现以下步骤：获取待识别对象在预设时段的脑电生理信号；获取待识别对象在预设时段的血流生理信号；获取待识别对象在预设时段的心电生理信号；根据待识别对象在同一预设时段的脑电生理信号、血流生理信号和心电生理信号，确定融合电生理信号。
可选地，处理器执行程序时实现以下步骤：将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；将通过第二通道获取的血流生理信号确定为第二类信号矩阵；将通过第三通道获取的心电生理信号确定为第三类信号矩阵；对第一类信号矩阵、第二类信号矩阵和第三类信号矩阵在矩阵的列维度进行拼接，生成融合电生理信号。
可选地，处理器执行程序时实现以下步骤：在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，获取至少一个样本对象针对预设类别的情感的样本信号，其中，样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；对样本信号进行预处理，得到训练信号；按照预设类别的情感对训练信号进行标定，生成训练数据。
可选地，处理器执行程序时实现以下步骤：对样本信号进行去基线漂移处理，得到第一处理信号；对第一处理信号进行陷波处理，得到第二处理信号；对第二处理信号中的脑电生理信号进行预定噪声去除处理，得到训练信号。
可选地，处理器执行程序时实现以下步骤：识别样本信号中每项信号的缺失值；确定缺失值对应的缺失时段；删除缺失时段的多项信号；对缺失时段连接的信号进行数据平滑处理，得到第一处理信号。
可选地，处理器执行程序时实现以下步骤：在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；对空间特征图和时间特征图进行组合，得到生理信号特征图；对生理信号特征图进行池化处理，生成特征序列向量。
可选地，处理器执行程序时实现以下步骤：使用预设长短期记忆人工神经网络对特征序列向量进行处理，生成分类特征图；使用预设分类器根据分类特征图输出情感类别的分类结果；使用预设优化器根据所述情感类别的分类结果进行参数调整，得到所述混合神经网络模型。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待识别对象的融合电生理信号，其中，融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别，其中，混合神经网络模型为使用多组训练数据通过机器学习训练出的，多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待识别对象在预设时段的脑电生理信号；获取待识别对象在预设时段的血流生理信号；获取待识别对象在预设时段的心电生理信号；根据待识别对象在同一预设时段的脑电生理信号、血流生理信号和心电生理信号，确定融合电生理信号。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；将通过第二通道获取的血流生理信号确定为第二类信号矩阵；将通过第三通道获取的心电生理信号确定为第三类信号矩阵；对第一类信号矩阵、第二类信号矩阵和第三类信号矩阵在矩阵的列维度进行拼接，生成融合电生理信号。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，获取至少一个样本对象针对预设类别的情感的样本信号，其中，样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；对样本信号进行预处理，得到训练信号；按照预设类别的情感对训练信号进行标定，生成训练数据。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：对样本信号进行去基线漂移处理，得到第一处理信号；对第一处理信号进行陷波处理，得到第二处理信号；对第二处理信号中的脑电生理信号进行预定噪声去除处理，得到训练信号。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：识别样本信号中每项信号的缺失值；确定缺失值对应的缺失时段；删除缺失时段的多项信号；对缺失时段连接的信号进行数据平滑处理，得到第一处理信号。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：在使用混合神经网络模型对融合电生理信号进行分析，确定融合电生理信号对应的情感类别之前，使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；对空间特征图和时间特征图进行组合，得到生理信号特征图；对生理信号特征图进行池化处理，生成特征序列向量。
可选地，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：使用预设长短期记忆人工神经网络对特征序列向量进行处理，生成分类特征图；使用预设分类器根据分类特征图输出情感类别的分类结果；使用预设优化器根据所述情感类别的分类结果进行参数调整，得到所述混合神经网络模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种情感类别的识别方法，其特征在于，包括：
获取待识别对象的融合电生理信号，其中，所述融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；
使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别，其中，所述混合神经网络模型为使用多组训练数据通过机器学习训练出的，所述多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
2.根据权利要求1所述的方法，其特征在于，获取待识别对象的融合电生理信号包括：
获取所述待识别对象在预设时段的脑电生理信号；
获取所述待识别对象在所述预设时段的血流生理信号；
获取所述待识别对象在所述预设时段的心电生理信号；
根据所述待识别对象在同一所述预设时段的脑电生理信号、血流生理信号和心电生理信号，确定所述融合电生理信号。
3.根据权利要求2所述的方法，其特征在于，根据同一所述预设时段的脑电生理信号、血流生理信号和心电生理信号，确定所述融合电生理信号包括：
将通过第一通道获取的脑电生理信号确定为第一类信号矩阵；
将通过第二通道获取的血流生理信号确定为第二类信号矩阵；
将通过第三通道获取的心电生理信号确定为第三类信号矩阵；
对所述第一类信号矩阵、所述第二类信号矩阵和所述第三类信号矩阵在矩阵的列维度进行拼接，生成所述融合电生理信号。
4.根据权利要求1所述的方法，其特征在于，在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，所述方法还包括：
获取至少一个样本对象针对预设类别的情感的样本信号，其中，所述样本信号至少包括：同一样本时段的脑电生理信号、血流生理信号和心电生理信号；
对所述样本信号进行预处理，得到训练信号；
按照所述预设类别的情感对所述训练信号进行标定，生成所述训练数据。
5.根据权利要求4所述的方法，其特征在于，对所述样本信号进行预处理，得到训练信号包括：
对所述样本信号进行去基线漂移处理，得到第一处理信号；
对所述第一处理信号进行陷波处理，得到第二处理信号；
对所述第二处理信号中的脑电生理信号进行预定噪声去除处理，得到所述训练信号。
6.根据权利要求1所述的方法，其特征在于，在使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别之前，所述方法还包括：
使用第一卷积核提取每组训练数据中的融合电生理信号的空间特征，得到空间特征图；
使用第二卷积核提取每组训练数据中的融合电生理信号的时间特征，得到时间特征图；
对所述空间特征图和所述时间特征图进行组合，得到生理信号特征图；
对所述生理信号特征图进行池化处理，生成特征序列向量。
7.根据权利要求6所述的方法，其特征在于，在对所述生理信号特征图进行池化处理，生成特征序列向量之后，所述方法还包括：
使用预设长短期记忆人工神经网络对所述特征序列向量进行处理，生成分类特征图；
使用预设分类器根据所述分类特征图输出情感类别的分类结果；
使用预设优化器根据所述情感类别的分类结果进行参数调整，得到所述混合神经网络模型。
8.一种情感类别的识别装置，其特征在于，包括：
获取单元，用于获取待识别对象的融合电生理信号，其中，所述融合电生理信号根据脑电生理信号、血流生理信号和心电生理信号确定；
分析单元，用于使用混合神经网络模型对所述融合电生理信号进行分析，确定所述融合电生理信号对应的情感类别，其中，所述混合神经网络模型为使用多组训练数据通过机器学习训练出的，所述多组训练数据中的每组训练数据均包括：融合电生理信号和每个融合电生理信号标定的情感类别。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述情感类别的识别方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述情感类别的识别方法。
CN202210727036.4A 2022-06-24 2022-06-24 情感类别的识别方法、装置、处理器及电子设备 Pending CN114970641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210727036.4A CN114970641A (zh) 2022-06-24 2022-06-24 情感类别的识别方法、装置、处理器及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210727036.4A CN114970641A (zh) 2022-06-24 2022-06-24 情感类别的识别方法、装置、处理器及电子设备

Publications (1)

Publication Number Publication Date
CN114970641A true CN114970641A (zh) 2022-08-30

Family

ID=82964692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210727036.4A Pending CN114970641A (zh) 2022-06-24 2022-06-24 情感类别的识别方法、装置、处理器及电子设备

Country Status (1)

Country Link
CN (1) CN114970641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Similar Documents

Publication Publication Date Title
CN109157231B (zh) 基于情绪刺激任务的便携式多通道抑郁倾向评估***
CN108776788B (zh) 一种基于脑电波的识别方法
Chen et al. EEG-based biometric identification with convolutional neural network
JP4401079B2 (ja) 被験者の行動解析
CN113729707A (zh) 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法
KR100750662B1 (ko) 심전도를 이용한 생체인식 시스템 및 방법
CN113197579A (zh) 一种基于多模态信息融合的智能心理评估方法及***
Abtahi et al. Emotion analysis using audio/video, emg and eeg: A dataset and comparison study
CN111259895B (zh) 一种基于面部血流分布的情感分类方法及***
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测***
CN114565957A (zh) 基于微表情识别的意识评估方法及***
CN115299947A (zh) 基于多模态生理数据的心理量表置信度评估方法及***
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
Zhu et al. Emotion recognition based on dynamic energy features using a Bi-LSTM network
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN116484290A (zh) 一种基于Stacking集成的抑郁症识别模型构建方法
CN115736920A (zh) 基于双模态融合的抑郁状态识别方法及***
Arnau-González et al. Image-evoked affect and its impact on eeg-based biometrics
Aristimunha et al. Evaluating the structure of cognitive tasks with transfer learning
Buscema et al. The Implicit Function as Squashing Time Model: A Novel Parallel Nonlinear EEG Analysis Technique Distinguishing Mild Cognitive Impairment and Alzheimer′ s Disease Subjects with High Degree of Accuracy
CN114504331A (zh) 一种融合cnn和lstm的情绪识别分类方法
Singh et al. Emotion recognition using deep convolutional neural network on temporal representations of physiological signals
Abdullah et al. EEG Emotion Detection Using Multi-Model Classification
Kolla et al. Comparative Analysis of VGG19, ResNet50, and GoogLeNet Inception Models for BCI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination