CN114638253B - 基于情感脑电特征融合优化机制的身份识别***及方法 - Google Patents
基于情感脑电特征融合优化机制的身份识别***及方法 Download PDFInfo
- Publication number
- CN114638253B CN114638253B CN202210142362.9A CN202210142362A CN114638253B CN 114638253 B CN114638253 B CN 114638253B CN 202210142362 A CN202210142362 A CN 202210142362A CN 114638253 B CN114638253 B CN 114638253B
- Authority
- CN
- China
- Prior art keywords
- emotion
- attention mechanism
- algorithm
- brain
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 89
- 230000007246 mechanism Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005457 optimization Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 210000004556 brain Anatomy 0.000 claims abstract description 84
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 67
- 239000002245 particle Substances 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000005611 electricity Effects 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 25
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000033764 rhythmic process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000037007 arousal Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100029946 Mus musculus Pld3 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了数字信号处理和脑电信号技术领域的基于情感脑电特征融合优化机制的身份识别***及方法，包括：获取多个通道的情感脑电信号；对情感脑电信号进行预处理；对预处理后的情感脑电信号进行特征值提取；利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征。本发明区别于以往脑电数据特征是通过少数电极通道采集的单个波段脑电信号的频域特征，数据特征单一且识别准确率欠佳等问题，对模型的泛化能力进行提升，有明显的应用价值。
Description
技术领域
本发明涉及基于情感脑电特征融合优化机制的身份识别***及方法，属于数字信号处理和脑电信号技术领域。
背景技术
随着社会高度信息化和经济全球化进程的加快，互联网、云服务以及数字化渗透到我们生活的各个方面，为社会经济发展带来机遇的同时也造成了许多的安全隐患。目前，生物特征识别技术主要有人脸识别、虹膜识别、DNA识别、指纹识别等，这些生物识别技术都存在易被篡改、被复制、被胁迫等使用缺点，已经无法满足我们在安全保护方面的需求。脑电信号是一种个体独有的生物特征，具有抗伪造、不易损坏、无法模仿等优点，可将识别风险降至最低，愈发受到广大研究者的关注。
于是，通过个体脑电信号进行身份识别和认证的方式成为目前一个重要的研究方向。脑电信号进行身份识别和认证研究有多种方式，根据脑电信号的种类可以分为：静息态、视觉诱发、运动想象和事件相关电位四种类型，但将这四类脑电信号采集并进行个体身份识别与认证的过程中大都是针对特定背景、特定被试者在特定时间的身份识别，大多研究都需要通过诱发个人大脑反应模式的刺激任务，从而无法满足复杂多变的实际应用场景，模型的鲁棒性受到严重的挑战；同时，传统的脑电信号身份识别的数据特征是通过少数电极通道采集的单个波段脑电信号的频域特征，数据特征单一且识别准确率欠佳，针对上述问题，本发明进行了探索与改进，提出了一种基于情感脑电模块优化机制的身份识别方法，可以帮助我们更好地理解个体识别在不同情感状态下的特征，对模型的泛化能力进行提升，使该模型的识别技术为今后的研究能够提供帮助。
发明内容
本发明的目的在于克服现有技术中的不足，提供基于情感脑电特征融合优化机制的身份识别***及方法，区别于以往脑电数据特征是通过少数电极通道采集的单个波段脑电信号的频域特征，数据特征单一且识别准确率欠佳等问题，对模型的泛化能力进行提升，有明显的应用价值。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了基于情感脑电特征融合优化机制的身份识别方法，包括：
获取多个通道的情感脑电信号；
对情感脑电信号进行预处理；
对预处理后的情感脑电信号进行特征值提取；
利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
基于预测结果判别出不同用户的身份。
进一步的，所述预处理包括滤波、降采样、去除工频干扰、提出伪影和重参考。
进一步的，对预处理后的情感脑电信号进行特征值提取，包括：使用小波包分解对预处理后的情感脑电信号进行四层分解后，提取脑电信号的a波、β波、δ波、θ波、γ波这五个节律的能量熵作为特征值，小波包分解公式为：
其中，f(t)表示初始信号，fi，j(tj)表示第i层上的(i，j)上的重构信号，j＝0，1，2，…，2i-1，初始信号经过小波包分解后得到的能量谱，表示为：
其中，Ei，j(tj)表示第i层上的频带能量，Xj，k表示重构信号fi，j(tj)的离散点幅值，m为信号的采样点数；由以上过程得到信号频带上的能量熵值，记为W，表示第j个节点的能量熵，表达式为：
其中，Pj表示第j个节点的能量熵，Ej表示第j个节点的频带能量，E表示小波包分解的总能量。
进一步的，所述粒子群优化算法中的速度更新公式为：
其中，i＝1，2，…，N，j＝1，2，3，4，k为算法迭代次数，为第k次算法迭代的速度向量，w(k)为非负惯性权重因子，为非负加速度常数，rand(0，a1)和rand(0，a2)为具有均匀分布的随机数，表示第i个粒子目前为止搜索到的最优解位置，表示搜索空间中粒子的当前位置，表示整个搜索空间中目前为止搜索到的最优解的位置，a1、a2为控制参数；
位置更新公式为：
定义粒子的适应度函数为：
其中，F为频带宽度，r是基于注意力机制的RNN分类模型错误识别的测试集样本数，R为测试集样本总数。
进一步的，基于注意力机制的RNN模型中注意力机制的输出向量序列表示为：
其中，ci为输出向量序列，hj为注意力机制输入向量，aij为注意力机制权重且计算方法为：
eij＝fc(si-1，hj)
其中，eij为网络输出层，exp(eij)为以自然常数e为底，e的eij次方的指数函数，si-1为注意力机制的输入向量，fc(si-1，hj)为额外的全连接浅网络。
进一步的，所述孪生神经网络算法模型中具体损失函数为：
其中，L(W，(Y，X1，X2))为损失函数，N为样本个数，DW为两个输出向量之间的距离，Y表示两个样本是否相似，Y＝1代表两个样本相似或者匹配，Y＝0则代表不匹配，m为设定的阈值。
进一步的，获取多个通道的情感脑电信号，包括：采用国际脑电图学会标定的10-20电极导联定位标准，用双耳垂接法，记录导联FP1、FP2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、FZ、CZ、PZ，其中参考电极选取M1、M2，采样频率为512HZ，各通道导联阻抗均小于5k，使用Neuroscan64设备采集脑电信号并进行放大和模数转换。
第二方面，本发明提供了基于情感脑电特征融合优化机制的身份识别***，包括：
信号获取模块：用于获取多个通道的情感脑电信号；
预处理模块：用于对情感脑电信号进行预处理；
特征识别模块：用于对预处理后的情感脑电信号进行特征值提取；
分析模块：用于利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
筛选模块：用于搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
划分模块：用于将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
训练模块：用于将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
预测模块：用于将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
判别模块：用于基于预测结果判别出不同用户的身份。
第三方面，本发明提供了基于情感脑电特征融合优化机制的身份识别装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明通过公开了一种基于情感脑电特征融合优化机制的身份识别研究方法，一方面利用小波包变换提取脑电信号a波、β波、δ波、θ波、γ波的能量熵作为特征向量，输入到PSO-attentionRNN优化识别模型中，利用粒子群优化算法(PSO)通过不断的迭代筛选出不同情感模块所对应的身份识别率最高的脑电时频段，另一方面利用孪生神经网络直观地对影响识别效果的脑电频段的变化进行度量，利用对比损失函数筛选出输入信号中对识别效果影响大的频段，最后将两方面的特征进行融合，在实验室自采集情感样本数据上的实验结果表明：相比于其他现有研究中基于特定任务或基于固定时频段进行身份识别的结果而言，本发明中利用PSO-attentionRNN以及孪生神经网络的融合算法有效的提高了分类的准确率，克服了基于特定任务采集脑电信号以及固定频段识别所带来的缺陷，这为后续将脑电身份识别推向现实应用提供了新的方法，很好的解决了以往研究中只针对特定通道的单一频段进行识别与分类，导致分类识别效果不理想的问题。在识别率方面，该方法相比传统的特征提取之后直接分类更有优势，能够有效的提高身份识别的准确率。
附图说明
图1是本发明实施例一提供的基于情感脑电特征融合优化机制的身份识别方法流程框架图；
图2是本发明实施例一提供的发明实验室自采集19通道脑电信号采集导联示意图；
图3是本发明实施例一提供的实验诱发情感脑电信号说明范式图；
图4是本发明实施例一提供的采用db4小波进行四层小波包分解树分解图；
图5是本发明实施例一提供的基于注意力机制的RNN编解码进行身份识别的基本架构图；
图6是本发明实施例一提供的基于孪生神经网络结构图；
图7是本发明实施例一提供的融合模型搜索得到最佳脑电时频段表示意图；
图8是本发明实施例一提供的不同用户在三种情感模块下进行迭代筛选后的适应度曲线图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
基于情感脑电特征融合优化机制的身份识别方法，图1为本发明方法流程框架图，主要有以下几个步骤：
步骤一)实验室自采集受试者19个通道的情感脑电信号；
步骤二)脑电信号的预处理，对步骤1采集到的脑电信号或有预处理需求的数据集进行预处理，以减少肌电、眼电、工频信号等的干扰，减少大脑其它功能区伪影的影响，提高信号的质量。预处理主要包括滤波、降采样、去除工频干扰、提出伪影，重参考；
步骤三)对预处理后的信号使用db4小波对脑电信号进行4层分解并提取脑电信号的a波、β波、δ波、θ波、γ波这五个节律的能量熵作为特征值；
步骤四)利用粒子群优化算法对步骤三)中的情感脑电数据特征模式进行分析，寻找对于不同用户激活程度最大的情感脑电模块特征；
步骤五)搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，优化最终识别准确率；
步骤六)与步骤五)平齐，同时搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
步骤七)将步骤四)和步骤六)分别提取到的各自最佳脑电时频特征进行融合、分段，并划分训练集和测试集；
步骤八)将步骤七)处理后的融合特征向量分别输入到搭建的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
步骤九)将步骤七)划分的测试集输入模型进行预测。
步骤十)得预测结果，由结果判别出不同用户的身份。
以上各步骤主要在计算机上使用python语言运行，各步骤的详细说明如下：
在步骤一)实验室自采集受试者19个通道的情感脑电信号中，各脑区头皮电极的具体放置方法是：采用国际脑电图学会标定的10-20电极导联定位标准，用双耳垂接法，记录导联FP1、FP2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、FZ、CZ、PZ，其中参考电极选取M1、M2，采样频率为512HZ，各通道导联阻抗均小于5k，图2为实验室自采集19通道脑电信号采集导联示意图，使用Neuroscan64设备采集脑电信号并进行放大和模数转换，再输入到计算机中。
图3为本发明所设计的实验范式图，在情感脑电诱发过程中，考虑到视听刺激相较于单一的图像或音频来说更容易吸引人的关注点，提升情感诱发成功的概率。关于情感诱发视频的选择，主要考虑到本土文化对于情感诱发实验会有重要的影响，最终选择了具有母语和相关文化背景的带有情感因素的影视片段作为刺激素材。在实验采集前，所有受试者均被告知参与的实验目的和过程。在实验进行中，要求被试者静坐在桌前，集中注意力观看视频片段，并且在影片播放中尽量保持不动，以免增加剧烈的肌电等干扰。
具体的实验过程包括三大部分：在开始阶段，视频播放屏幕上会出现“准备”字样，提示被试者实验即将开始；随后计算机会随机播放一段时长为40S的电影片段，此时受试者需要认真注视所播视频；最后，屏幕上会出现“结束”字样，受试者此时进行适当的休息并填写SAM9分量表，对当下的情感状态进行自我评估，休息时长不进行限制，直到被试为下一次单次实验调整好状态。在一次完整的实验过程中，每个被试者有三种情感状态，每种情感状态对应有3段视频(每段视频的有效持续时长为40S)，因此每个被试者的一次情感脑电数据中含有3*3个独立的单次实验。所选取的影视片段的情感内容都是通过自我评估人体模型(SAM)测量的，该模型包含9个效价和唤醒度的量表，此外，在本次脑电数据采集中，考虑到影片的熟悉程度也会影响情感的唤醒状况，在SAM的基础上额外添加熟悉度同时作为评价指标，与效价和唤醒度一样，也设置9个级别，要求每个被试者用SAM对影视片段进行标记。积极、中性、消极影视片段的效价-唤醒-熟悉度量表结果分别为(3.07，5.80，5.32)、(4.90，1.30，1.14)、(8.20，6.24，5.70)。
步骤三)中采用db4小波进行四层小波包分解提取不同节律的能量熵，图4为小波包分解树具体分解方法，其中A表示低频，D表示高频，末尾的序号表示小波包分解的层数。采用db4小波对实验采集的19个通道的脑电信号进行4层分解，并提取脑电信号的a波、β波、δ波、θ波、γ波这五个节律的能量熵具体如下：
小波包分析可以将时频平面划分的更为细致，可以对信号的高频部分提供更精细的分解，既无冗余，也无疏漏，可以更好的反映信号的本质特征，同时还可以根据信号的特征，自适应的选择最佳小波基函数。该时频分析法既克服了傅里叶变换中频率分辨率和时间分辨率之间的矛盾，也弥补了小波变换在高频段频率分辨率差，在低频段时间分辨率差的缺点。小波包分解公式可以表示为：
其中，fi，j(tj)表示第i层上的(i，j)上的重构信号，j＝0，1，2，…，2i-1，根据上式可以得到初始信号f(t)经过小波包分解后得到的能量谱，可以表示为：
其中，Ei，j(tj)表示第i层上的频带能量，Xj，k表示重构之后信号fi，j(tj)的离散点幅值，m为信号的采样点数；由以上过程可以得到信号频带上的能量熵值，记为W，表示第j个节点的能量熵，表达式为：
其中，Pj表示第j个节点的能量熵，Ej表示第j个节点的频带能量，E表示小波包分解的总能量。
小波包分解就是将原始信号，按照小波包树分级向下进行分解。在本发明使用db4小波对实验采集的脑电信号进行4层分解，并提取脑电信号的a波、β波、δ波、θ波、γ波这五个节律的能量熵作为特征值。
步骤四)中的粒子群优化算法(PSO)是一种群体智能的优化算法，源于对鸟群捕食行为的研究，该算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解，具有简单易实现、调节参数少等优势。PSO算法首先在粒子空间中初始化一群粒子，每个粒子都代表极值优化问题的一个潜在最优解，用位置、速度和适应度值三项指标表示该粒子特征，粒子在搜索空间中运动，通过跟踪个体极值Pbest和群体极值Gbest更新个***置，个体极值Pbest是个体在所经历的位置中通过计算适应度值得到的最优位置，群体极值Gbest是在种群中所有粒子通过计算适应度值搜索到的最优位置。在每一次迭代中粒子通过跟踪两个“极值”(Pbest，Gbest)来更新自己的位置。利用PSO算法来搜索使识别准确率最高情况下的脑电时频段时，对该方法做如下定义：假设PSO算法中每个粒子种群包含N个粒子，每个粒子维度为4，在4维连续搜索空间中，对第i个粒子在第k次迭代时，其位置向量表示搜索空间中粒子的当前位置；速度向量表示粒子的搜索方向； 表示第i个粒子目前为止搜索到的最优解位置； 表示整个搜索空间中目前为止搜索到的最优解的位置。其中，将 分别定义为起始频率f、频带宽度F、起始时间t、时间宽度T，在整个搜索过程中，速度更新公式为：
位置更新公式为：
其中，i＝1，2，…，N，j＝1，2，3，4，k为算法迭代次数，w(k)为非负惯性权重因子，为非负加速度常数，rand(0，a1)和rand(0，a2)为具有均匀分布的随机数，a1、a2为控制参数；定义粒子的适应度函数为：
其中，r是基于注意力机制的RNN分类模型错误识别的测试集样本数，R为测试集样本总数。最终，通过PSO算法不断迭代搜索可得到效果最佳时的脑电信号起始频率f、频带宽度F、起始时间t、时间宽度T，从而有效的提升了身份识别的效率和准确度。
步骤五)中的注意力机制的RNN识别模型具体如下：
循环神经网络(RecurrentNeuralNetwork，RNN)是一种深度学习模型，其结构是由基本的神经网络变换而来，加入了时间维度，在序列数学建模方面效果非常好，广泛应用于语音、文本、图像、视频等领域。但传统的RNN存在收敛速度慢、容易陷入局部最优的问题，并且在编解码结构中，编码把所有的输入序列都编码成一个特征c再解码，因此，特征c中必须包含原始序列中的所有信息，它的长度会限制模型的性能。于是，通过attention机制来解决这个问题。
在本发明中，attention机制是一种注意力机制，通过模仿人的观察和思维方式，将注意力集中到关键信息上，具体是通过在每个时间的编码器对输入的脑电特征编码得到不同被试者不同频段脑电特征c来解决这个问题。
attention机制位于编码器和解码器结构之间，其输入是由编码器的输出向量hi和解码器的状态si，i＝0，1，…，7构成，fc表示一个额外的全连接的浅网络。xi，i＝1，2，…，8为PSO算法优化的脑电数据初次频段的特征向量，将其输入到encodet中进行编码，由编码器计算向量hi，i＝1，2，…，8并将其作为注意力机制的输入，解码器通过输入初始状态向量s0进行处理，得到第一组注意力机制的输入序列(s0，h1)，(s0，h2)，(s0，h3)，(s0，h4)，(s0，h5)，(s0，h6)，(s0，h7)，(s0，h8)，attention的输出向量序列为上下文向量ci，i＝1，2，…，8，可表示为：
此模型使用注意力全连接网络和softmax函数学习注意力权值，注意力机制权重aij的计算方法为：
eij＝fc(si-1，hj)
其中，eij为网络输出层，exp(eij)为以自然常数e为底，e的eij次方的指数函数，si-1为注意力机制的输入向量，fc(si-1，hj)为额外的全连接浅网络。
注意力机制的第一组权重计算得到a11、a12、a13、a14、a15、a16、a17、a18，同时计算得到第一个上下文向量c1，解码器使用(s0，c1)计算得到该模型的第一个输出y1，y1为解码器通过上述编解码过程将脑电特征向量解码为用户的身份信息，同理，可计算出其余用户的身份信息。
基于注意力机制的RNN编解码模型中attention机制位于编码器和解码器结构之间由编码器的输出向量hi和解码器的状态si构成，图5为基于注意力机制的RNN编解码进行身份识别的基本架构，其中，fc表示一个额外的全连接的浅网络，通过输入不同用户的脑电数据初次频段xi进行encoder编码，由编码器计算向量hi，并将其作为注意力机制的输入，解码器通过输入初始状态向量s0进行处理，依次得到注意力的输入序列以及输出向量序列的上下文向量ci，主要使用注意力全连接网络和softmax函数学习注意力权值。
步骤六)中孪生神经网络算法模型具体如下：
Bromley等人于1993年提出了一种基于卷积神经网络的相似度衡量算法。该算法由两个完全相同的卷积神经网络组成，在经过卷积神经网络后将输入图像映射到新的空间，形成一组新的特征向量，通过对比这组特征向量之间的距离来判断二者的相似程度。由于在该网络结构中，输入图片对共享权值，特征提取部分正如“连体”一样，所以被命名为孪生神经网络。
简单的孪生神经网络包含两个共享权值的子网络，分别接收输入X1，X2，在经过子网络进行特征提取后，将输入转化为特征向量GW(X1)，GW(X2)，再通过某种距离度量方式计算两个输出向量之间的距离DW。此距离度量方式既可以是另一个神经网络，也可以是人工设计的度量算法。
在孪生神经网络中，通常采用对比损失函数(Contrastiveloss)使相似样本之间距离尽可能缩小，不相似样本之间距离尽可能增大，具体损失函数如下：
其中Y表示两个样本是否相似，Y＝1代表两个样本相似或者匹配，Y＝0则代表不匹配，m为设定的阈值，N为样本个数。当样本相似与不相似时，损失函数分别如下所示。
当样本相似时，在训练迭代过程中，会影响输出向量之间的距离DW趋向于0以使损失函数值最小。同样的，当样本不相似时，输出向量之间的距离DW会趋向于m。
在图6的孪生卷积网络中通过分别接收输入X1，X2，在经过子网络进行特征提取后，将输入转化为特征向量GW(X1)，GW(X2)，再通过对比损失函数度量方式计算两个输出向量之间的距离DW，使相似样本之间距离尽可能缩小，不相似样本之间距离尽可能增大。图7为融合模型最终筛选得到最佳脑电时频段，为不同用户在三种情感模块下进行迭代筛选后的适应度曲线，基于适应度曲线可观察到不同用户身份信息识别。
实施例二：
基于情感脑电特征融合优化机制的身份识别***，可实现实施例一所述的基于情感脑电特征融合优化机制的身份识别方法，包括：
信号获取模块：用于获取多个通道的情感脑电信号；
预处理模块：用于对情感脑电信号进行预处理；
特征识别模块：用于对预处理后的情感脑电信号进行特征值提取；
分析模块：用于利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
筛选模块：用于搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
划分模块：用于将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
训练模块：用于将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
预测模块：用于将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
判别模块：用于基于预测结果判别出不同用户的身份。
实施例三：
本发明实施例还提供了基于情感脑电特征融合优化机制的身份识别装置，可实现实施例一所述的基于情感脑电特征融合优化机制的身份识别方法，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取多个通道的情感脑电信号；
对情感脑电信号进行预处理；
对预处理后的情感脑电信号进行特征值提取；
利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
基于预测结果判别出不同用户的身份。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的基于情感脑电特征融合优化机制的身份识别方法，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
获取多个通道的情感脑电信号；
对情感脑电信号进行预处理；
对预处理后的情感脑电信号进行特征值提取；
利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
基于预测结果判别出不同用户的身份。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.基于情感脑电特征融合优化机制的身份识别方法，其特征是，包括：
获取多个通道的情感脑电信号；
对情感脑电信号进行预处理；
对预处理后的情感脑电信号进行特征值提取；
利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
基于预测结果判别出不同用户的身份；
所述粒子群优化算法中的速度更新公式为：
其中，i＝1,2,…,N，j＝1,2,3,4，k为算法迭代次数，为第k次算法迭代的速度向量，w(k)为非负惯性权重因子，为非负加速度常数，rand(0,a1)和rand(0,a2)为具有均匀分布的随机数，表示第i个粒子目前为止搜索到的最优解位置，表示搜索空间中粒子的当前位置，表示整个搜索空间中目前为止搜索到的最优解的位置，a1、a2为控制参数；
位置更新公式为：
定义粒子的适应度函数为：
其中，F为频带宽度，r是基于注意力机制的RNN分类模型错误识别的测试集样本数，R为测试集样本总数；
基于注意力机制的RNN模型中注意力机制的输出向量序列表示为：
其中，ci为输出向量序列，hj为注意力机制输入向量，aij为注意力机制权重且计算方法为：
eij＝fc(si-1,hj)
其中，eij为网络输出层，exp(eij)为以自然常数e为底，e的eij次方的指数函数，si-1为注意力机制的输入向量，fc(si-1,hj)为额外的全连接浅网络。
2.根据权利要求1所述的基于情感脑电特征融合优化机制的身份识别方法，其特征是，所述预处理包括滤波、降采样、去除工频干扰、提出伪影和重参考。
3.根据权利要求1所述的基于情感脑电特征融合优化机制的身份识别方法，其特征是，对预处理后的情感脑电信号进行特征值提取，包括：使用小波包分解对预处理后的情感脑电信号进行四层分解后，提取脑电信号的a波、β波、δ波、θ波、γ波这五个节律的能量熵作为特征值，小波包分解公式为：
其中，f(t)表示初始信号，fi,j(tj)表示第i层上的(i,j)上的重构信号，j＝0,1,2,…,2i-1，初始信号经过小波包分解后得到的能量谱，表示为：
其中，Ei,j(tj)表示第i层上的频带能量，Xj,k表示重构信号fi,j(tj)的离散点幅值，m为信号的采样点数；由以上过程得到信号频带上的能量熵值，记为W，表示第j个节点的能量熵，表达式为：
其中，Pj表示第j个节点的能量熵，Ej表示第j个节点的频带能量，E表示小波包分解的总能量。
4.根据权利要求1所述的基于情感脑电特征融合优化机制的身份识别方法，其特征是，所述孪生神经网络算法模型中具体损失函数为：
其中，L(W,(Y,X1,X2))为损失函数，N为样本个数，DW为两个输出向量之间的距离，Y表示两个样本是否相似，Y＝1代表两个样本相似或者匹配，Y＝0则代表不匹配，m为设定的阈值。
5.根据权利要求1所述的基于情感脑电特征融合优化机制的身份识别方法，其特征是，获取多个通道的情感脑电信号，包括：采用国际脑电图学会标定的10-20电极导联定位标准，用双耳垂接法，记录导联FP1、FP2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、FZ、CZ、PZ，其中参考电极选取M1、M2，采样频率为512HZ，各通道导联阻抗均小于5k，使用Neuroscan64设备采集脑电信号并进行放大和模数转换。
6.基于情感脑电特征融合优化机制的身份识别***，其特征是，包括：
信号获取模块：用于获取多个通道的情感脑电信号；
预处理模块：用于对情感脑电信号进行预处理；
特征识别模块：用于对预处理后的情感脑电信号进行特征值提取；
分析模块：用于利用粒子群优化算法对特征值特征模式进行分析，得到对于不同用户激活程度最大的情感脑电模块特征；
筛选模块：用于搭建基于注意力机制的RNN模型，利用粒子群优化算法的适应度函数进行迭代，以及，搭建孪生神经网络算法模型，利用损失函数筛选脑电频段特征；
划分模块：用于将得到的脑电频段特征和所述情感脑电模块特征进行融合分段后，划分训练集和测试集；
训练模块：用于将训练集分别输入到基于注意力机制的RNN模型以及孪生神经网络算法模型中进行训练；
预测模块：用于将测试集输入训练后的基于注意力机制的RNN模型以及孪生神经网络算法模型中进行预测，得到预测结果；
判别模块：用于基于预测结果判别出不同用户的身份；
所述粒子群优化算法中的速度更新公式为：
其中，i＝1,2,…,N，j＝1,2,3,4，k为算法迭代次数，为第k次算法迭代的速度向量，w(k)为非负惯性权重因子，为非负加速度常数，rand(0,a1)和rand(0,a2)为具有均匀分布的随机数，表示第i个粒子目前为止搜索到的最优解位置，表示搜索空间中粒子的当前位置，表示整个搜索空间中目前为止搜索到的最优解的位置，a1、a2为控制参数；
位置更新公式为：
定义粒子的适应度函数为：
其中，F为频带宽度，r是基于注意力机制的RNN分类模型错误识别的测试集样本数，R为测试集样本总数；
基于注意力机制的RNN模型中注意力机制的输出向量序列表示为：
其中，ci为输出向量序列，hj为注意力机制输入向量，aij为注意力机制权重且计算方法为：
eij＝fc(si-1,hj)
其中，eij为网络输出层，exp(eij)为以自然常数e为底，e的eij次方的指数函数，si-1为注意力机制的输入向量，fc(si-1,hj)为额外的全连接浅网络。
7.基于情感脑电特征融合优化机制的身份识别装置，其特征是，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210142362.9A CN114638253B (zh) | 2022-02-16 | 2022-02-16 | 基于情感脑电特征融合优化机制的身份识别***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210142362.9A CN114638253B (zh) | 2022-02-16 | 2022-02-16 | 基于情感脑电特征融合优化机制的身份识别***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638253A CN114638253A (zh) | 2022-06-17 |
| CN114638253B true CN114638253B (zh) | 2024-07-05 |
Family
ID=81946074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210142362.9A Active CN114638253B (zh) | 2022-02-16 | 2022-02-16 | 基于情感脑电特征融合优化机制的身份识别***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638253B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117562542B (zh) * | 2024-01-17 | 2024-04-30 | 小舟科技有限公司 | 基于脑电信号的情感识别方法、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113243924A (zh) * | 2021-05-19 | 2021-08-13 | 成都信息工程大学 | 基于脑电信号通道注意力卷积神经网络的身份识别方法 |
| CN113627518A (zh) * | 2021-08-07 | 2021-11-09 | 福州大学 | 利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740544B (zh) * | 2019-01-07 | 2021-09-07 | 哈尔滨工业大学（深圳） | 听觉注意状态觉醒度识别方法、装置及存储介质 |
| CN113095428B (zh) * | 2021-04-23 | 2023-09-19 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及*** |
-
2022
- 2022-02-16 CN CN202210142362.9A patent/CN114638253B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113243924A (zh) * | 2021-05-19 | 2021-08-13 | 成都信息工程大学 | 基于脑电信号通道注意力卷积神经网络的身份识别方法 |
| CN113627518A (zh) * | 2021-08-07 | 2021-11-09 | 福州大学 | 利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114638253A (zh) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN108776788B (zh) | 一种基于脑电波的识别方法 | |
| CN113598774B (zh) | 基于多通道脑电数据的积极情绪多标签分类方法及装置 | |
| CN112244873B (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及*** | |
| CN115590515A (zh) | 基于生成式自监督学习和脑电信号的情绪识别方法及*** | |
| CN113705398B (zh) | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 | |
| CN115770044B (zh) | 基于脑电相位幅值耦合网络的情绪识别方法及装置 | |
| Rayatdoost et al. | Subject-invariant EEG representation learning for emotion recognition | |
| Xie et al. | WT feature based emotion recognition from multi-channel physiological signals with decision fusion | |
| CN114638253B (zh) | 基于情感脑电特征融合优化机制的身份识别***及方法 | |
| Lee et al. | Inter-subject contrastive learning for subject adaptive eeg-based visual recognition | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| CN115659207A (zh) | 一种脑电情绪识别方法及*** | |
| CN115969369A (zh) | 一种大脑任务负荷识别方法、应用及设备 | |
| Yarga et al. | Efficient spike encoding algorithms for neuromorphic speech recognition | |
| CN114578963A (zh) | 一种基于特征可视化和多模态融合的脑电身份识别方法 | |
| CN114662524B (zh) | 基于脑电信号的即插即用式域适应方法 | |
| Saleem et al. | Stateful human-centered visual captioning system to aid video surveillance | |
| CN116919422A (zh) | 基于图卷积的多特征情感脑电识别模型建立方法及装置 | |
| CN117195099A (zh) | 一种融合多尺度特征的脑电信号情感识别算法 | |
| CN114398991B (zh) | 基于Transformer结构搜索的脑电信号情绪识别方法 | |
| CN115311595B (zh) | 视频特征提取方法、装置及电子设备 | |
| Avramidis et al. | Enhancing affective representations of music-induced EEG through multimodal supervision and latent domain adaptation | |
| CN113516101B (zh) | 一种基于网络结构搜索的脑电信号情绪识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |