CN114305452B - 一种基于脑电和领域适配的跨任务认知负荷识别方法 - Google Patents
一种基于脑电和领域适配的跨任务认知负荷识别方法 Download PDFInfo
- Publication number
- CN114305452B CN114305452B CN202111534385.6A CN202111534385A CN114305452B CN 114305452 B CN114305452 B CN 114305452B CN 202111534385 A CN202111534385 A CN 202111534385A CN 114305452 B CN114305452 B CN 114305452B
- Authority
- CN
- China
- Prior art keywords
- cognitive load
- task
- data
- cross
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006978 adaptation Effects 0.000 title claims abstract description 14
- 210000004556 brain Anatomy 0.000 claims abstract description 92
- 230000000638 stimulation Effects 0.000 claims abstract description 55
- 230000005012 migration Effects 0.000 claims abstract description 27
- 238000013508 migration Methods 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 230000005611 electricity Effects 0.000 claims abstract description 22
- 238000012706 support-vector machine Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000003909 pattern recognition Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000000463 material Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 21
- 230000003936 working memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000002474 experimental method Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 210000004761 scalp Anatomy 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000012880 independent component analysis Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 8
- 230000036992 cognitive tasks Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003935 attention Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电和领域适配的跨任务认知负荷识别方法。属于脑电信号分析及脑‑机接口应用领域,具体步骤:设计跨任务认知负荷刺激范式;根据跨任务认知负荷刺激范式采集脑电数据,对采集到的脑电数据进行预处理;对预处理后的认知负荷脑电数据计算脑电特征,并将其作为跨任务认知负荷分类特征;将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐;将对齐后的跨任务脑电特征作为支持向量机分类器的输入,进行模式识别,最终得到跨任务认知负荷识别结果。本发明通过跨任务刺激范式采集了多个任务的客观脑电数据,通过领域适配对齐多个任务数据的特征分布,从而减轻数据的分布差异,可以高效、准确、客观地得到跨任务认知负荷识别结果。
Description
技术领域
本发明属于脑电信号处理、被动式脑-机接口应用领域,涉及一种基于脑电和领域适配的跨任务认知负荷识别方法。
背景技术
现有技术中,载人航天、飞机驾驶、汽车驾驶、医疗抢救、核电操控以及空中交管等复杂人机交互***中,操作者通常需要在短时间内获取加工大量的感知觉信息并迅速做出反应和决策,从而容易导致较高的认知负荷。认知负荷体现为由操作者感知、注意、记忆、思维、推理和决策等方面造成的负荷,可以定义为操作者完成任务所需的资源与可用于该任务的资源之比。当需要大量资源来完成分配的任务,但只有少量资源可用时,就会出现高负荷状态。认知负荷显著影响特定任务中的操作者绩效,导致操作者表现和行为发生变化。研究表明,过高负荷状态会导致效率低下和任务性能下降,更严重的可能导致事故发生;而过低负荷状态会造成人力资源浪费,分散对主要任务的注意力,并失去适当的警惕性,从而导致性能下降。因此,在人机交互***中,对***造成的认知负荷进行评估,实现认知负荷的监测并进行反馈调节,对***的工作效率、安全性、人的健康都有非常重要的意义。
认知负荷评估算法主要通过机器学***高低的客观生理指标、主观心理和行为指标,从而将认知负荷分为高负荷和低负荷。其中,基于客观生理指标的认知负荷评估,使用可佩戴的生物传感器,通过测量操作者在任务过程中相关生理指标的变化程度,来推断其认知负荷水平。由于脑电信号能敏感体现大脑对认知负荷的原始神经电生理响应,具有良好的时间分辨率,便于携带和实时采集,价格较低廉等特点,脑电已成为目前识别认知负荷水平的重要手段之一。
有研究者认为虽然不同认知任务调用大脑资源不同,但认知负荷更关注占用大脑资源的多少(即容量),而不关注具体占用的大脑资源。因此,建立适用于不同任务场景的认知负荷识别模型是有可能的。目前绝大多数认知负荷研究的主要焦点是在单个任务上,其所用认知负荷诱发任务单一,较少探讨不同任务情况下的模型适用性,因此跨任务认知负荷识别仍然存在挑战。此外,由于脑电信号的非稳态特性和不同任务的差异性,不同被试认知任务之间的差异,目前跨任务认知负荷识别正确率低,限制了预先训练模型扩展到新认知状态的泛化性。因此,针对跨任务认知负荷识别任务,如何在各种任务中找到鲁棒或者共享的脑电特征,如何减少不同被试任务之间的差异性是接下来要思考的问题。
发明内容
发明目的:现有的基于脑电信号的认知负荷识别方法,大多基于单个认知任务,限制了其在真实场景中的应用;其次,现有的跨任务认知负荷识别方法主要发掘和提取不同任务的鲁棒特征,忽略了被试内的个体差异性,即同一被试在不同时间的脑电信号也是有差异的;本发明提供一种基于脑电信号和领域适配的跨任务认知负荷识别技术,包括基于数学计算和工作记忆的任务范式,同时采用领域适配方法减轻被试个体性分布差异,以解决现有跨任务认知负荷识别精度不高等问题。
技术方案:本发明所述的一种基于脑电和领域适配的跨任务认知负荷识别方法,其具体操作步骤如下:
(1)、设计跨任务认知负荷刺激范式;
(2)、根据跨任务认知负荷刺激范式采集脑电数据,对采集到的脑电数据进行预处理;
(3)、对预处理后的认知负荷脑电数据计算脑电特征,并将其作为跨任务认知负荷分类特征;
(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐;
(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入,进行模式识别,最终得到跨任务认知负荷识别结果;
在步骤(1)中,所述设计的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式;
其中,所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是:
首先,从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料;
然后,设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔;
最后,将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的工作记忆任务的认知负荷刺激范式;
所述基于数学计算任务的认知负荷刺激范式具体操作步骤是:
首先,从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料;
然后,设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔;
最后,将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的数学计算任务的认知负荷刺激范式;
在步骤(2)中,所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是:
首先,受试者佩戴多通道脑电采集设备;
然后,通过脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据;
最后,将收集到的脑电数据保存在可存储介质中;
所述对采集到的脑电数据进行预处理的具体步骤如下:
一、重参考:对采集到的脑电数据进行重参考,得到每个电极和参考电极之间的电位差;
二、信号滤波:对采集到的脑电数据进行滤波,去除工频及肌电伪迹干扰,保留所需的频率范围中的脑电信号;
三、分段和基线校正:对于认知负荷刺激实验范式下采集到的脑电数据,根据数据的标签信息将脑电数据分段,每段保留一定时间长度的脑电数据,然后对数据进行基线校正去除数据漂移的影响;
四、伪迹去除:对分段后的脑电数据进行独立成分分析,并去除分析结果中所包含的伪迹或眼电成分;
五、人工检查:对经过上述步骤的脑电数据片段进行人工检查,手动删除坏的数据片段;
在所述步骤(3)中,在对经过预处理后的认知负荷脑电信号数据计算脑电特征中,
所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征;其具体操作过程如下所述:
(3.1)、计算脑电信号的功率谱密度特征:将认知负荷脑电信号数据转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz,从频域中选取出需要的频段计算功率谱密度特征;
其中,功率谱密度特征的计算公式如下:
式中,x[n]为脑电信号片段,n=1,2,…,N是片段的个数,Fs为采样率,w[n]为窗函数,f是频率;
(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征:将认知负荷脑电信号数据转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz,然后将每个频段的脑电数据基于谱相干的计算公式等计算脑电各通道之间的功能连接特征;
其中,谱相干特征的计算公式如下:
式中,对于每一个频率f,Pxy(f)是两个通道信号x和y的交叉功率谱密度,Pxx(f)和Pyy(f)分别是信号x和y的功率谱密度;
在步骤(4)中,所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是:
首先,分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征;
然后,将两种任务下的初始分类特征输入到迁移联合匹配,从而通过迁移联合匹配得到对齐后的脑电信号降维对齐特征;
其中,所述迁移联合匹配的方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法;其具体操作步骤如下:
(4.1)、对特征分布进行适配:使用最大平均值差差异距离衡量不同特征分布的差异,利用核技巧该距离可转化为如下公式:
式中,是脑电信号片段的特征空间,y是脑电信号片段对应的标签,C是脑电的通道个数,d是每个通道提取的特征个数;源域 包含Ns个有标签样本,目标域包含Nt个无标签样本,K=[φ(xi)Tφ(xj)]是定义在所有数据上的核矩阵,若xi,xj∈Xs,则Lij=1/Ns 2;若xi,xj∈Xt,则Lij=1/Nt 2;其他 是转换矩阵,把核矩阵K转化到m-维空间(m<<Ns+Nt),转换后的特征表示为Z=WTK;
(4.2)、样例空间加权:对源域和目标域的样例空间进行加权,通过对转换矩阵W施加稀疏约束,如下式所述:
式中,||·||2,1是结构稀疏正则项,是稀疏正则项;
(4.3)、优化目标函数:综合以上两个步骤,得到迁移联合匹配的优化目标函数,其如下所示:
使得WTKHKTW=I;
式中,第一项为对特征分布进行适配,第二项为样例空间进行加权,约束项为保留原始数据分布的方差结构,λ为平衡因子,I是单位矩阵; 是中心矩阵,是单位矩阵,是全一向量;
在步骤(5)中,所述最终得到跨任务认知负荷识别结果的具体过程是:
首先,针对任一被试的任务A数据进行模型训练,同被试的任务B数据进行模型测试;
然后,将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器,通过支持向量机分类器得到一种认知负荷识别结果;
最后,将该认知负荷结果和实际负荷水平作对比,从而得到一种识别正确率。
有益效果:本发明与现有技术相比,本发明采集工作记忆和数学计算两个认知任务实验,使用迁移联合匹配对齐不同任务的脑电特征分布从而减轻分布差异,本发明提供的方法能够更加准确的对大脑认知负荷状态和水平进行识别。
附图说明
图1是本发明的操作流程图;
图2是本发明中认知负荷诱发实验流程示意图;
图3是本发明中实施例工作记忆数据作为训练集的实验准确性结果图;
图4是本发明中实施例数学计算数据作为训练集的实验准确性结果图。
具体实施方式
为了更清楚地说明本发明的技术方案,下面结合附图对本发明的技术方案做进一步的详细说明:
如图所述,本发明所述的一种基于脑电和领域适配的跨任务认知负荷识别方法,其具体操作步骤如下:
(1)、设计跨任务认知负荷刺激范式:设计基于工作记忆和数学计算的认知负荷诱发任务范式,在规定时间内,被试者做出按键行为反应,记录其行为学信息,包括反应时间和准确率;
(2)、根据跨任务认知负荷刺激范式采集脑电数据,对采集到的脑电数据进行预处理:采集不同任务,不同认知负荷水平下的被试进行试验的59通道脑电信号,对59通道的脑电信号进行预处理;
(3)、对预处理后的认知负荷脑电数据计算脑电特征,作为跨任务认知负荷分类特征:提取脑电信号的功率谱密度特征和谱相干特征,作为认知负荷分类特征;
(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐:通过迁移联合匹配对齐同被试、不同任务的认知负荷脑电特征,同时降低特征的维度;
(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入,进行模式识别,最终得到跨任务认知负荷识别结果:对同一被试,不同任务不同水平下的特征向量进行模式识别,得到认知负荷识别结果;
在步骤(1)中,所述的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式;
其中,所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是:从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料;设计认知负荷刺激材料的任务难度、展示顺序、展示时间、时间间隔;将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的工作记忆任务的认知负荷刺激范式;
所述基于数学计算任务的认知负荷刺激范式具体操作步骤是:从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料;设计认知负荷刺激材料的任务难度、展示顺序、展示时间、时间间隔;将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的数学计算任务的认知负荷刺激范式;
在步骤(2)中,所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是:受试者佩戴多通道脑电采集设备;脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据;将收集到的脑电数据保存在可存储介质中。
所述对采集到的脑电数据进行预处理的具体步骤如下:
(2.1)、重参考:采取某种平均重参考方法对采集到的脑电数据进行重参考,得到每个电极和参考电极之间的电位差;
(2.2)、信号滤波:采取某种信号滤波方法(带通滤波器(1-70Hz)和陷波器(50Hz)滤波方法)对采集到的脑电数据进行滤波,去除工频及肌电伪迹干扰,保留所需的频率范围中的脑电信号;
(2.3)、分段和基线校正:对于认知负荷刺激实验范式下采集到的脑电数据,根据数据的标签信息将脑电数据分段,每段保留一定时间长度的脑电数据,然后对数据进行基线校正去除数据漂移的影响;
(2.4)、伪迹去除:对分段后的脑电数据进行独立成分分析,并去除分析结果中所包含的伪迹或眼电成分。
(2.5)、人工检查:对经过上述步骤的脑电数据片段进行人工检查,手动删除坏的数据片段;
在步骤(3)中,所述对经过预处理后的认知负荷脑电信号数据计算脑电特征的具体过程是:所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征;
(3.1)、计算脑电信号的功率谱密度特征:通过短时傅里叶变换将时域认知负荷脑电信号转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz,从频域中选取出需要的频段计算功率谱密度特征;
其中,功率谱密度特征的计算公式为
式中,x[n]为脑电信号片段,n=1,2,…,N是片段的个数,Fs为采样率,w[n]为窗函数,f是频率;
(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征:通过短时傅里叶变换将时域认知负荷脑电信号转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz,然后将每个频段的脑电数据基于谱相干的计算公式等计算脑电各通道之间的功能连接特征;
其中,谱相干特征的计算公式为:
式中,对于每一个频率f,Pxy(f)是两个通道信号x和y的交叉功率谱密度,Pxx(f)和Pyy(f)分别是信号x和y的功率谱密度;
在步骤(4)中,所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是:
分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征;
将两种任务下的初始分类特征输入到迁移联合匹配,通过迁移联合匹配得到对齐后的脑电降维对齐特征;
所述迁移联合匹配方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法;其具体操作步骤如下:
(4.1)、对特征分布进行适配:使用最大平均值差差异距离衡量不同特征分布的差异,利用核技巧该距离可转化为下式:
式中,(X,y)是一个脑电信号样本,是特征空间,C是脑电的通道个数,d是每个通道提取的特征个数;是相对应的标签;源域包含Ns个有标签样本,目标域包含Nt个无标签样本,K=[φ(xi)Tφ(xj)]是定义在所有数据上的核矩阵,若xi,xj∈Xs,则Lij=1/Ns 2;若xi,xj∈Xt,则Lij=1/Nt 2;其他 是转换矩阵,把核矩阵K转化到m-维空间(m<<Ns+Nt),转换后的特征表示为Z=WTK;
(4.2)、样例空间加权:对转换矩阵W施加稀疏约束从而对源域和目标域的样例空间进行加权,
其中,||·||2,1是结构稀疏正则项,是稀疏正则项;
(4.3)、优化目标函数:综合以上两个步骤,可以得到迁移联合匹配的优化目标函数,如下所述:
使得WTKHKTW=I,
式中,第一项为对特征分布进行适配,第二项为样例空间进行加权,约束项为保留原始数据分布的方差结构,λ为平衡因子,I为单位矩阵, 是中心矩阵,是单位矩阵,是全一向量;
在步骤(5)中,所述将对齐后的脑电特征作为支持向量机分类器的输入进行模式识别,最终得到跨任务认知负荷识别结果的具体过程是:针对任一被试的任务A数据进行模型训练,同被试的任务B数据进行模型测试。将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器,通过支持向量机分类器得到一种认知负荷识别结果,将该认知负荷结果和实际负荷水平作对比,得到一种识别正确率。
具体的,本发明使用的认知负荷诱发任务范式包括工作记忆和数学计算认知任务,需要实验被试依次参与;认知负荷诱发任务范式;被试依次进行工作记忆和数学计算认知任务;其中,工作记忆任务,要求被试短暂地记录一串字符序列,经过一段时间后提取记忆,并做出按键反应;包括且不限于Sternberg记忆任务,n-back记忆任务;为了得到更加细化的任务水平,任务的难度从1到7,试验呈现次序随机;数学计算任务,要求被试短暂地记录并计算出电脑呈现的数学公式,经过一段时间后电脑呈现结果,需被试做出按键反应;包括且不限于数学加法任务,数学减法任务;任务的难度从1到7,试验呈现次序随机。
采集不同被试的认知负荷脑电信号;使用无线脑电信号采集***,接地电极为额极中线FPz,参考电极为中央中线Cz,采样频率为1000Hz,头皮阻抗小于5千欧姆,采集59通道的脑电初始信号;所有被试均为高校学生。
认知负荷脑电信号预处理方法具体包括:(1)、对提取到的脑电初始信号进行重参考,转化为平均参考信号;(2)、通过带通滤波器(1-70Hz)和陷波器(50Hz)进行带通滤波和去除工频干扰;(3)、通过降采样处理,将1000Hz降到256Hz,可以减少后续实验的时间;(4)、根据负荷水平标签,将脑电信号截取为多个数据片段;(5)、采用独立成分分析去除眼电伪迹;(6)、手动删除坏的数据片段,得到干净的数据片段。
认知负荷脑电信号特征提取部分,提取常用功率谱密度特征和谱相干特征,并组合这两类特征作为总的特征;功率谱密度特征是最为常见的负荷相关特征,它描述信号的功率随频率的变化情况;谱相干特征是一种脑网络连接特征,其假设不同的脑电通道之间具有相关关系,可作为一种特征;本发明基于短时傅里叶变换计算脑电数据片段5个频段的功率谱密度特征和谱相干特征。短时傅里叶变换将通过移动窗口信号划分为小的连续数据帧,然后将快速傅立叶变换应用于每个帧。5个频段包括delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz,窗函数为0.5秒汉宁窗,无重叠;
功率谱密度特征的计算公式为:
其中,x[n]为脑电信号片段,n=1,2,…,N,Fs为采样率,w[n]为窗函数。
谱相干特征的计算公式为:
其中,Pxy(ω)是两个通道信号x和y的互谱,Pxx(ω)和Pyy(ω)分别是信号x和y的功率谱。
通过迁移联合匹配对齐不同任务的脑电信号特征;其中,脑电信号特征为功率谱密度特征和谱相干特征的组合;迁移联合匹配在降维空间同时考虑跨域的特征对齐和训练样本的重加权,对分布差异和无关实例均具有鲁棒性;迁移联合匹配主要包括参数包括降维特征子空间参数和正则化参数。
假设(X,y)是一个脑电信号样本,其中是脑电信号记录,是特征空间,C是脑电的通道个数,d是每个通道提取的特征的个数;是相对应的标签,是标签空间;假设P(X)是X的边缘概率分布,是条件概率分布,P(X,y)=P(X)P(y|X)是联合概率分布。定义域在本发明中,域表示的是给定被试的任一任务的脑电数据;假设源域包含Ns个有标签样本,目标域包含Nt个无标签样本,领域自适应试图通过从源域学到的知识预测目标域的标签;在本发明中,假设源域和目标域共享特征空间和标签空间,但二者的边缘分布不同,条件分布不同。
迁移联合匹配主要包含两部分,一是对特征分布进行适配,使用最大平均值差差异距离衡量不同特征分布的差异,利用核技巧该距离可转化为:
其中,K=[φ(xi)Tφ(xj)]是定义在所有数据上的核矩阵,若xi,xj∈Xs,则Lij=1/Ns 2;若xi,xj∈Xt,则Lij=1/Nt 2;其他Lij=-1/NsNt;是转换矩阵,把核矩阵K转化到m-维空间(m<<Ns+Nt),转换后的特征表示为Z=WTK;
二是对源域和目标域的样例空间进行加权,找到与目标域相关的样例给予较大的权重,无关样例给予小的权重。通过对转换矩阵W施加稀疏约束:
其中,||·||2,1是结构稀疏正则项,是稀疏正则项;
综合以上两个步骤,可以得到迁移联合匹配的优化目标函数,
s.t.WTKHKTW=I,
其中,第一项为对特征分布进行适配,第二项为样例空间进行加权,约束项为保留原始数据分布的方差结构。
运用支持向量机进行认知负荷识别。采用支持向量机,选取线性核函数,对同一被试,不同任务不同水平下的特征向量进行模式识别,得到认知负荷识别结果;针对任一被试的任务A数据进行模型训练,同被试的任务B数据进行模型测试;得到一种认知负荷识别结果,将所述认知负荷结果和实际负荷水平作对比,得到一种识别正确率。
实施例:
1、实验数据:根据跨任务认知负荷刺激范式采集认知负荷脑电数据,脑电采集设备是博睿康的NeuSen W 64导无线脑电放大器;实验范式流程如图2所示,工作记忆任务采用英文字母序列作为刺激,数学计算任务采用数学加法计算作为实验刺激;每个任务都包括七组,每组有20个试验,其中30%是目标刺激;任务难度分为七级,包括极低(L1)、低(L2)、中(L3)、中高(L4)、高(L5)、极高(L6)、最高(L7);工作记忆字母系列的长度分别为1,2,4,6,8,10,12,对应7个任务难度;数学加法根据加数的位数和进位控制认知负荷的难度等级,对应7个任务难度。在每个任务中,按照:空白页(1s)—刺激呈现(2s)—注视页(3s)—判断(2s)的顺序随机呈现刺激,每两组之间休息60s;实验共采集38个被试的脑电数据。
2、实验设定:
跨任务认知负荷识别:组合任一任务的极低和低负荷难度水平为低负荷难度,组合极高和最高负荷水平为高负荷难度,将低和高认知负荷在该任务内进行分类;针对任一被试,每次将1个任务的脑电数据作为训练集,另一个任务的脑电数据作为测试集,在训练集上训练模型,在测试集上得到预测的准确性,准确性越高越好;同一被试两个任务的识别准确性的均值作为该被试的最终识别准确性;任一任务所有被试的最终识别准确性作为该识别任务的最终识别准确性;
3、实验结果(如表1和图3、图4所示):
表1:基于联合迁移匹配的跨任务认知负荷识别结果
图3和图4给出了不同方法的箱线图,其中最后一列是提出的方法。其中,SVM是支持向量机,kNN是K近邻,LDA是线性判别分析,ANN是人工神经网络,TJM对应提出方法。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (1)
1.一种基于脑电和领域适配的跨任务认知负荷识别方法,其特征在于,其具体操作步骤如下:
(1)、设计跨任务认知负荷刺激范式;
所述设计的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式;
其中,所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是:
首先,从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料;
然后,设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔;
最后,将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的工作记忆任务的认知负荷刺激范式;
所述基于数学计算任务的认知负荷刺激范式具体操作步骤是:
首先,从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料;
然后,设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔;
最后,将实验重复若干次,直到将所有认知负荷刺激材料都展示过一次,最终形成完整的数学计算任务的认知负荷刺激范式;
(2)、根据跨任务认知负荷刺激范式采集脑电数据,对采集到的脑电数据进行预处理;
所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是:
首先,受试者佩戴多通道脑电采集设备;
然后,通过脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据;
最后,将收集到的脑电数据保存在可存储介质中;
所述对采集到的脑电数据进行预处理的具体步骤如下:
一、重参考:对采集到的脑电数据进行重参考,得到每个电极和参考电极之间的电位差;
二、信号滤波:对采集到的脑电数据进行滤波,去除工频及肌电伪迹干扰,保留所需的频率范围中的脑电信号;
三、分段和基线校正:对于认知负荷刺激实验范式下采集到的脑电数据,根据数据的标签信息将脑电数据分段,每段保留一定时间长度的脑电数据,然后对数据进行基线校正去除数据漂移的影响;
四、伪迹去除:对分段后的脑电数据进行独立成分分析,并去除分析结果中所包含的伪迹或眼电成分;
五、人工检查:对经过上述步骤的脑电数据片段进行人工检查,手动删除坏的数据片段;
(3)、对预处理后的认知负荷脑电数据计算脑电特征,并将其作为跨任务认知负荷分类特征;
在对经过预处理后的认知负荷脑电信号数据计算脑电特征中,
所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征;其具体操作过程如下所述:
(3.1)、计算脑电信号的功率谱密度特征:将认知负荷脑电信号数据转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz,从频域中选取出需要的频段计算功率谱密度特征;
其中,功率谱密度特征的计算公式如下:
式中,x[n]为脑电信号片段,n=1,2,…,N是片段的个数,Fs为采样率,w[n]为窗函数,f是频率;
(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征:将认知负荷脑电信号数据转换到频域,在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz,然后将每个频段的脑电数据基于谱相干的计算公式计算脑电各通道之间的功能连接特征;
其中,谱相干特征的计算公式如下:
式中,对于每一个频率f,Pxy(f)是两个通道信号x和y的交叉功率谱密度,Pxx(f)和Pyy(f)分别是信号x和y的功率谱密度;
(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐;
所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是:
首先,分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征;
然后,将两种任务下的初始分类特征输入到迁移联合匹配,从而通过迁移联合匹配得到对齐后的脑电信号降维对齐特征;
其中,所述迁移联合匹配的方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法;其具体操作步骤如下:
(4.1)、对特征分布进行适配:使用最大平均值差异距离衡量不同特征分布的差异,利用核技巧该距离可转化为如下公式:
式中,是脑电信号片段的特征空间,y是脑电信号片段对应的标签,C是脑电的通道个数,d是每个通道提取的特征个数;源域 包含Ns个有标签样本,目标域包含Nt个无标签样本,K=[φ(xi)Tφ(xj)]是定义在所有数据上的核矩阵,若xi,xj∈Xs,则Lij=1/Ns 2;若xi,xj∈Xt,则Lij=1/Nt 2;其他 是转换矩阵,把核矩阵K转化到m-维空间(m<<Ns+Nt),转换后的特征表示为Z=WTK;
(4.2)、样例空间加权:对源域和目标域的样例空间进行加权,通过对转换矩阵W施加稀疏约束,如下式所述:
式中,||·||2,1是结构稀疏正则项,是稀疏正则项;
(4.3)、优化目标函数:综合以上两个步骤,得到迁移联合匹配的优化目标函数,其如下所示:
使得WTKHKTW=I;
式中,第一项为对特征分布进行适配,第二项为样例空间进行加权,约束项为保留原始数据分布的方差结构,λ为平衡因子,I是单位矩阵; 是中心矩阵,是单位矩阵,是全一向量;
(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入,进行模式识别,最终得到跨任务认知负荷识别结果;
所述最终得到跨任务认知负荷识别结果的具体过程是:
首先,针对任一被试的任务A数据进行模型训练,同被试的任务B数据进行模型测试;
然后,将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器,通过支持向量机分类器得到一种认知负荷识别结果;
最后,将该认知负荷结果和实际负荷水平作对比,从而得到一种识别正确率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111534385.6A CN114305452B (zh) | 2021-12-15 | 2021-12-15 | 一种基于脑电和领域适配的跨任务认知负荷识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111534385.6A CN114305452B (zh) | 2021-12-15 | 2021-12-15 | 一种基于脑电和领域适配的跨任务认知负荷识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114305452A CN114305452A (zh) | 2022-04-12 |
CN114305452B true CN114305452B (zh) | 2024-07-02 |
Family
ID=81051719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111534385.6A Active CN114305452B (zh) | 2021-12-15 | 2021-12-15 | 一种基于脑电和领域适配的跨任务认知负荷识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114305452B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115804601A (zh) * | 2022-11-22 | 2023-03-17 | 三峡大学 | 基于多复杂度减速器装配场景的N-Back次任务脑电试验方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492099B (zh) * | 2018-10-28 | 2022-03-15 | 北京工业大学 | 一种基于领域对抗自适应的跨领域文本情感分类方法 |
CN110543860B (zh) * | 2019-09-05 | 2022-06-07 | 燕山大学 | 基于tjm迁移学习的机械故障诊断方法及*** |
CN111695500A (zh) * | 2020-06-11 | 2020-09-22 | 齐鲁工业大学 | 基于迁移学习的脑卒中患者运动想象任务识别方法及*** |
CN112256123B (zh) * | 2020-09-25 | 2022-08-23 | 北京师范大学 | 基于脑负荷的操控工效分析方法、设备及*** |
CN113229818A (zh) * | 2021-01-26 | 2021-08-10 | 南京航空航天大学 | 一种基于脑电信号和迁移学习的跨被试人格预测*** |
CN113157096B (zh) * | 2021-04-26 | 2023-04-18 | 杭州电子科技大学 | 基于深度子域关联适应网络的脑电情感迁移方法 |
-
2021
- 2021-12-15 CN CN202111534385.6A patent/CN114305452B/zh active Active
Non-Patent Citations (3)
Title |
---|
Task-Independent Mental Workload Classification Based Upon Common Multiband EEG Cortical Connectivity;Georgios N. Dimitrakopoulos 等;IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING;第25卷(第11期);正文第1941页右栏-1945页左栏 * |
Transfer Joint Matching for Unsupervised Domain Adaptation;Mingsheng Long 等;2014 IEEE Conference on Computer Vision and Pattern Recognition;正文第1页右栏-第4页右栏 * |
Transfer Learning for EEG-Based Brain–Computer Interfaces: A Review of Progress Made Since 2016;Dongrui Wu 等;IEEE TRANSACTIONS ON COGNITIVE AND DEVELOPMENTAL SYSTEMS;第14卷(第1期);正文第6页左栏-第10页左栏 * |
Also Published As
Publication number | Publication date |
---|---|
CN114305452A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、*** | |
CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
CN113786204A (zh) | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 | |
CN113191225B (zh) | 一种基于图注意力网络的情绪脑电识别方法及*** | |
CN108960182A (zh) | 一种基于深度学习的p300事件相关电位分类识别方法 | |
CN113662545B (zh) | 一种基于情绪脑电信号和多任务学习的人格评估方法 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
CN111714118A (zh) | 一种基于集成学习的脑认知模型融合方法 | |
Zeng et al. | GRP-DNet: A gray recurrence plot-based densely connected convolutional network for classification of epileptiform EEG | |
CN113951903B (zh) | 基于脑电数据测定的高速铁路调度员超负荷状态识别方法 | |
CN112603335B (zh) | 脑电情感识别方法、***、设备及存储介质 | |
CN112674782B (zh) | 癫痫患者发作间期痫样电活动检测装置和方法 | |
CN111493836B (zh) | 基于脑机接口和深度学习的术后急性疼痛预测***及应用 | |
CN113069117A (zh) | 一种基于时间卷积神经网络的脑电情绪识别方法及*** | |
CN113974655A (zh) | 一种基于脑电信号的癫痫发作预测方法 | |
CN114305452B (zh) | 一种基于脑电和领域适配的跨任务认知负荷识别方法 | |
CN115474899A (zh) | 一种基于多尺度卷积神经网络的基本味觉感知识别方法 | |
CN111772629A (zh) | 一种脑认知技能移植的方法 | |
CN110338760B (zh) | 一种基于脑电图频域数据的精神***症三分类方法 | |
CN111613338A (zh) | 棘慢复合波检测模型构建方法、*** | |
Nanthini et al. | Different approaches of analysing EEG signals for seizure detection | |
CN113558643A (zh) | 基于vmd和nltwsvm的多特征癫痫信号分类方法 | |
Shojaedini et al. | Sparse Representation-Based Classification (SRC): A Novel Method to Improve the Performance of Convolutional Neural Networks in Detecting P300 Signals | |
Dong et al. | Slow Component Analysis Based Interictal-Preictal EEG Prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |