CN113349780A - 一种情绪设计对在线学习认知负荷影响的评估方法 - Google Patents
一种情绪设计对在线学习认知负荷影响的评估方法 Download PDFInfo
- Publication number
- CN113349780A CN113349780A CN202110631592.7A CN202110631592A CN113349780A CN 113349780 A CN113349780 A CN 113349780A CN 202110631592 A CN202110631592 A CN 202110631592A CN 113349780 A CN113349780 A CN 113349780A
- Authority
- CN
- China
- Prior art keywords
- cognitive load
- online
- electroencephalogram
- eye movement
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 98
- 238000013461 design Methods 0.000 title claims abstract description 80
- 230000002996 emotional effect Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004424 eye movement Effects 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000005312 nonlinear dynamic Methods 0.000 claims abstract description 7
- 230000008451 emotion Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 230000006998 cognitive state Effects 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 210000001747 pupil Anatomy 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000540 analysis of variance Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims 1
- 230000001568 sexual effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 230000007786 learning performance Effects 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 13
- 210000004556 brain Anatomy 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000007935 neutral effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 210000003478 temporal lobe Anatomy 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 210000000869 occipital lobe Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003534 oscillatory effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010019196 Head injury Diseases 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003304 psychophysiological effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种情绪设计对在线学习认知负荷影响的评估方法，按如下步骤进行：S1:通过脑电信号采集器采集学习者的脑电信号和通过眼动信号采集器采集学习者的眼动信号；S2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出脑电特征；同时提取眼动信号的眼动指标，得出眼动特征；S3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对认知负荷状态进行分类；S4:根据认知负荷指标进行评估。本发明可以发现不同情绪设计在线课程与生理特征之间的关联，并应用机器学习对不同情绪设计在线课程引起的认知负荷状态进行分类，用以辅助学习者提高在线学习的学习效果和学习表现。
Description
技术领域
本发明涉及评估方法，特别是涉及一种情绪设计对在线学习认知负荷影响的评估方法。
背景技术
近段时间，新冠病毒在全球的蔓延对世界各国的教育和正常办公都产生了极大影响，学生被迫在家进行远程学习，进而出现了越来越多的在线学习资源，这些资源的质量参差不齐。而数字学习资源是在线学习的关键要素。根据sweller等人对认知负荷的分类可知，学生进行在线学习过程中总的认知负荷，是内在认知负荷(Intrinsic CognitiveLoad,简称ICL)、外在认知负荷(Extraneous Cognitive Load,简称ECL)和相关认知负荷(Germane Cognitive Load,简称GCL)，三种认知负荷的总和。认知负荷理论认为，人的认知资源是有限的，而任何学习和问题解决活动都要消耗认知资源，都有可能造成认知上的负荷。因此，认知负荷理论研究的主要目的就是在教学过程中控制工作记忆负荷，即最大限度地降低阻碍学习的认知负荷、优化促进学习的认知负荷，使学习者合理地利用有限的认知资源，达到最好的学习效果。
近年来，研究人员越来越关注在认知任务中保持最佳认知负荷水平。已有大量的实验室在多任务场景下对认知负荷的监测展开研究，以将学***。根据认知负荷理论，任务的复杂度引起的认知负荷差异只是内在认知负荷造成的，而外在认知负荷(如：在线课程设计方式)也会从另一个角度影响学习者的总体认知负荷，这在之前大部分的研究中是没有考虑到的。
关于认知负荷对人的行为和生理参数的影响已有了广泛的研究。学***上是可以观察到的，例如学***上也可以观察到，例如由于难度增加导致的脑电图(EEG)不通频段振荡活动的增加或减少。脑电图theta(4-8Hz)和alpha(8-11Hz)振荡活动似乎在功能上涉及较高的大脑功能，包括工作记忆，执行控制和集中注意力。脑电图也已被证明是一种有效的监测记忆负荷的非侵入性方法，并且对不同的认知状态高度敏感。而眼动追踪在分析教学材料方面也十分普遍和流行，之前的研究已经证实，瞳孔直径是心理负荷的敏感指标。此外，在一项研究中同时分析眼动和脑电数据被认为可以提供进一步的见解。
目前已有很多研究提出认知负荷的衡量指标，但这些指标的提出都不是基于在线学习场景，如pope等人使用反应自动化***中操作员的任务参与度，Anu Holm等人使用预测多任务过程中大脑的认知变化。其次，经典认知负荷的研究往往涉及较多的电极来监测EEG活动，而在实际的应用场景下，需要寻求更加简单易操作的方法来降低脑电监测设备对学习者在学习过程中的干扰。此外，很多学者尝试将多模态生理信息进行融合以期提高人的搜索意图、动作意图或认知状态识别准确率，而运用融合的多模态生理信息的分类性能如何目前尚无定论。针对以上问题，如何探寻不同在线课程设计原则与基于EEG和眼动追踪多模态生理特征之间的关联，并应用机器学习技术对不同设计原则引起的认知负荷状态进行分类和识别成为了申请人亟待解决的技术问题。
发明内容
本发明的目的在于，提供一种情绪设计对在线学习认知负荷影响的评估方法。本发明可以发现不同情绪设计在线课程与生理特征之间的关联，并应用机器学习对不同情绪设计在线课程引起的认知负荷状态进行分类，用以辅助学习者提高在线学习的学习效果和学习表现。
为解决上述技术问题，本发明提供的技术方案如下：一种情绪设计对在线学习认知负荷影响的评估方法，包括学习者佩戴脑电信号采集器和眼动信号采集器进行在线课程学习，在线课程包括积极情绪设计在线课程和中性情绪设计在线课程，按如下步骤进行：
S1:在学习在线课程过程中，通过脑电信号采集器采集学习者的脑电信号，通过眼动信号采集器采集学习者的眼动信号；
S2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出用于评估学习者认知状态的脑电特征；同时提取眼动信号的眼动指标，得出用于评估学习者认知状态的眼动特征；
S3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对在线课程学习中学习者的认知负荷状态进行分类；
S4:根据认知负荷指标进行评估。
上述的情绪设计对在线学习认知负荷影响的评估方法，采用非线性动力学的近似熵和样本熵对脑电信号进行分析，得到脑电特征中的近似熵特征和样本熵特征；
其中，给定一脑电信号的时间序列{x(n)}＝{x(1)，x(2)，x(3)，…，x(N)}，对应的近似熵按照以下步骤进行计算：
A.1、时间序列上每连续m个数据组成一个m维矢量，即：
yi＝{xi，xi+1，xi+2，...，x(i+m-1)}，1≤i≤n-m；
A.2、设序列{Xt(j)}与序列{Xt(k)}的距离记为d[Xt(j)，Xt(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即：
A.3、给定相似的阈值容限W，对于两个时间序列{Xt(j)}与{Xt(k)}，若二者的距离不超过容限W，则认为它们是相似的；统计时间序列{Xt(j)}与其它所有时间序列相似的数目，并计算其与总距离数目的比例
即：
A.4、计算所有时间序列与原时间序列相似性的平均值
即
A.5、将维度增加至t+1维，重新进行A.1-A.4，计算出
为：
A.6、近似熵定义如下：
A.7、样本熵定义如下：
给定一脑电信号的时间序列{x(i)，i＝1，2，…，N}，对应的样本熵按照以下步骤进行计算：
B.1、给定原始数据序列{x(i)，i＝1，2，…，N}，依次构造m维向量：
Xm(i)＝[x(i)，x(i+1)，…，x(i+m-1)]，1≤i≤N-m+1
其中，m是窗口长度；
B.2、定义向量Xm(i)和Xm(i)之间的距离为：
d[Xm(i)，Xm(i)]＝max{|Xm(i+k)-Xm(j+k)|}；
其中：1≤k≤m-1；1≤i，j≤N-m+1，i≠j
B.3、给定一个正阈值r和嵌入维度m，计算时间序列
的相似性概率为：
其中i≤N-m。接着通过下列公式计算出所有
的平均值
B.4、将嵌入维度设为m+1，重复B.1到B.3，样本熵定义如下：
前述的情绪设计对在线学习认知负荷影响的评估方法，利用小波变换对脑电信号进行分析得出小波能量特征、小波相对能量特征和小波熵特征；
所述小波能量特征计算如下：
所述小波相对能量特征计算如下：
所述小波熵特征计算如下：
式中：Di，j表示相应分解级别的小波系数。
前述的情绪设计对在线学习认知负荷影响的评估方法，所述的眼动特征为瞳孔直径和注视时间。
前述的情绪设计对在线学习认知负荷影响的评估方法，步骤S3中,对脑电特征和眼动特征进行降维的降维方式是采用相关性的特征选择器，通过采用相关性的特征选择器计算每个特征的特征相关系数，用于表示其与认知负荷的相关性；所述特征相关系数的计算方法如下：
式中：C表示协方差，R表示相关系数，ri表示数据集对应的第i个分量的随机变量，y表示样本的标签集。
前述的情绪设计对在线学***面wTxi+b：
yi(wTxi+b)≥1，i＝1，2，...，N；
式中：xi表示特征数组，yi对应的真实标签。
前述的情绪设计对在线学习认知负荷影响的评估方法，使用方差分析模型比较不同情绪设计在线课程学习过程中所提取特征的显著性，用于区分不同情绪设计在线课程诱导出学习者的认知负荷状态。
前述的情绪设计对在线学习认知负荷影响的评估方法，所述的认知负荷指标计算如下：
式中：β表示β频段的平均能量，γ表示γ频段的平均能量，θ表示θ频段的平均能量，α表示α频段的平均能量。
与现有技术相比，本发明通过在不同情绪设计在线课程学***均分类精度为88.1％。
附图说明
图1是本发明的流程示意图；
图2展示了不同情绪设计在线课程所有学习者的近似熵特征，样本熵特征和小波熵特征。
图3展示了不同情绪设计在线课程所有学习者的小波能量特征；
图4展示了不同情绪设计在线课程所有学习者的眼动特征；
图5显示了分别利用熵特征，小波能量特征和眼动特征对被试两种认知状态的分类精度；
图6显示了分类结果的混淆矩阵，图6(a)为单模态特征混淆矩阵(基于脑电特征)，(b)为单模态特征混淆矩阵(基于眼睛特征),(c)为多模态特征混淆矩阵(基于脑电特征和眼特征)；
图7展示了与认知负荷变化相关的大脑区域；
图8为每个频段的分类性能和“ALL”特征；
图9为不同情绪设计在线课程的认知负荷曲线；
图10为关于特征维度的分类性能变化。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：一种情绪设计对在线学***的被试。该实验以Python主题的计算机在线课程作为实验的刺激材料。在线课程设计原则(中性情绪设计或积极情绪设计)为自变量，被试的认知负荷状态为因变量，将学习者被随机分往不同情绪设计的在线课程进行学习，整个过程持续约10分钟。结束后，被试填写认知负荷量表(NASA-TLX)并完成随堂检测。随后，对认知负荷量表(NASA-TLX)和随堂检测进行统计，证实了两种情绪设计的在线课程的确实引起了学习者不同的认知状态和学习表现(中性情绪设计在线课程，NASA-TLX＝5.20±1.54，测验得分＝3.73±1.76；积极情绪设计在线课程，NASA-TLX＝4.71±1.34，测验得分＝4.19±2.51)。
在学习的过程中，为发现不同情绪设计在线课程与生理特征之间的关联，按如下步骤进行：
S1:在学***均重参考，接着进行了ICA，以剔除伪迹成分(比如眨眼的成分，肌肉紧张的成分等)，从而得到一个相对干净的数据。
S2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出用于评估学习者认知状态的脑电特征；同时提取眼动信号的眼动指标，得出用于评估学习者认知状态的眼动特征，所述的眼动特征为瞳孔直径和注视时间。
其中，采用非线性动力学的近似熵和样本熵对脑电信号进行分析，得到脑电特征中的近似熵特征和样本熵特征；
其中，给定一脑电信号的时间序列{x(n)}＝{x(1)，x(2)，x(3)，…，x(N)}，对应的近似熵和样本熵按照以下步骤进行计算：
A.1、时间序列上每连续m个数据组成一个m维矢量，即：
yi＝{xi，xi+1，xi+2，...，x(i+m-1)}，1≤i≤n-m；
A.2、设序列{Xt(j)}与序列{Xt(k)}的距离记为d[Xt(j)，Xt(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即：
A.3、给定相似的阈值容限W，对于两个时间序列{Xt(j)}与{Xt(k)}，若二者的距离不超过容限W，则认为它们是相似的；统计时间序列(Xt(j)}与其它所有时间序列相似的数目，并计算其与总距离数目的比例
即：
A.4、计算所有时间序列与原时间序列相似性的平均值
即
A.5、将维度增加至t+1维，重新进行A.1-A.4，计算出
为：
A.6、近似熵定义如下：
A.7、样本熵定义如下：
给定一脑电信号的时间序列{x(i)，i＝1，2，…，N}，对应的样本熵按照以下步骤进行计算：
B.1、给定原始数据序列{x(i)，i＝1，2，…，N}，依次构造m维向量：
Xm(i)＝[x(i)，x(i+1)，…，x(i+m-1)]，1≤i≤N-m+1
其中，m是窗口长度；
B.2、定义向量Xm(i)和Xm(i)之间的距离为：
d[Xm(i)，Xm(i)]＝max{|Xm(i+k)-Xm(j+k)|}；
其中：1≤k≤m-1；1≤i，j≤N-m+1，i≠j
B.3、给定一个正阈值r和嵌入维度m，计算时间序列
的相似性概率为：
其中i≤N-m。接着通过下列公式计算出所有
的平均值
B.4、将嵌入维度设为m+1，重复B.1到B.3，样本熵定义如下：
利用小波变换对脑电信号进行分析，将多贝西小波(Daubechies)用作小波变换的基函数，将脑电信号分解为五个级别，提取出脑电信号中五个频带的频率分量。对于来自每个通道的脑电信号，从每个子带的小波系数中得出三个特征，得出小波能量特征、小波相对能量特征和小波熵特征；
所述小波能量特征计算如下：
所述小波相对能量特征计算如下：
所述小波熵特征计算如下：
式中：Di，j表示相应分解级别的小波系数。
S3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对在线课程学习中学习者的认知负荷状态进行分类。
其中，对脑电特征和眼动特征进行降维的降维方式是采用相关性的特征选择器，通过采用相关性的特征选择器计算每个特征的特征相关系数，用于表示其与认知负荷的相关性；所述特征相关系数的计算方法如下：
式中：C表示协方差，R表示相关系数，ri表示数据集对应的第i个分量的随机变量，y表示样本的标签集。
本实施例中的机器学***面wTxi+b：
yi(wTxi+b)≥1，i＝1，2，...，N；
式中：xi表示特征数组，yi对应的真实标签。
为了判定实验结果是否由随机误差导致，对提取的特征进行了显著性检验，使用方差分析(ANOVA)模型比较不同情绪设计在线课程学***均p≤0.05，p值表明脑电特征与眼动特征在不同情绪设计的在线课程之间存在显着差异，可以用来区分不同情绪设计诱导出的认知负荷状态，并说明了机器学习算法的准确性。
S4:根据认知负荷指标进行评估，本实施例中的所述的认知负荷指标计算如下：
式中：β表示β频段的平均能量，γ表示γ频段的平均能量，θ表示θ频段的平均能量，α表示α频段的平均能量。
为了验证各特征对不同情绪设计对在线课程学***均能量。从该图可以明显看出，情绪设计对theta，alpha，beta和gamma活性的影响是显著的，theta，alpha，beta和gamma频段能量特征可以明显地区分两种类型的情绪设计在线课程。此外，积极的情绪设计具有更高的theta和alpha能量和更低的beta和gamma能量，也就是theta和alpha的频段能量与情绪设计成正相关，而beta和gamma频段能量与情绪设计呈负相关。图4中关于瞳孔直径，积极情绪设计在线课程的平均瞳孔直径明显小于中性情绪设计的平均直径，这表明当内容相同时，积极情绪设计在线课程需要较少的认知处理。而分析注视时间可以发现，积极情绪设计的在线课程相比中性情绪设计，平均注视时间更短。这说明进行相同内容课程的学习时，中性情绪设计比积极情绪设计所消耗的时间更长，积极情绪设计的在线课程更不容易引起疲劳感。以上结果可以表面不同情绪设计在线课程与多模态生理特征之间具有明显的关联。
进一步地，本实施例中用支持向量机(SVM)对这熵特征、小波能量特征和眼动特征进行分类并比较这三种特征对两类情绪设计在线课程引起的认知负荷状态的分类性能。训练支持向量机模型时，将每个样本在不同分类标准下的归属作为属性标签，组成样本总体，随机抽取其中50％进行训练，剩余50％作为测试样本，以评估其分类准确性。图5显示了分别利用熵特征，小波能量特征和眼动特征对被试两种认知状态的分类精度，图6显示了分类结果的混淆矩阵(图6(a)为单模态特征混淆矩阵(基于脑电特征)，(b)为单模态特征混淆矩阵(基于眼睛特征),(c)为多模态特征混淆矩阵(基于脑电特征和眼特征))。图5结果表明，对于这三种特征，使用小波能量特征的分类准确性最高，其次是眼动特征和熵特征。此外，通过使用小波能量特征和眼动特征获得的分类精度十分接近，并且都比通过使用熵特征获得的分类精度更高。图6中使用单模态特征(基于脑电图和眼动追踪)和多模态特征的分类准确率分别为88.6％，83.6％和91.7％。SVM分类器基于单模态特征(EEG或眼动追踪)的分类性能接近。但是，将眼动特征和EEG特征融合在一起，形成多模态特征，分类精度可以达到91.7％，与基于EEG单模态特征相比分类精度提高了3.1％，与基于眼动单模态特征相比分类精度提高了8.1％，这进一步反映出了脑电图和眼动特征的融合可以增强模型对认知负荷分类的能力。
再进一步地，根据情绪设计引起的两种认知负荷状态，将所有被试的平均相对能量(delta,theta,alpha,beta and gamma)表现在脑地形图上，如图7所示。从图7上能够定位与认知负荷变化相关的大脑区域。根据观察可得，无论是高负荷还是低负荷，delta，theta，alpha，beta均在额叶、颞叶和枕叶有较强的大脑活动，而Gamma仅在额叶和颞叶有较强的脑活动。可以推测，由于枕叶以视觉功能有关，颞叶与听觉功能有关，而听觉视觉正是学习者在在线课程学习中接收信息的主要方式。此外，大脑枕叶与人的行为感觉、语言、记忆和抽象思维等方面也有关系，颞叶前部与人的情绪、精神活动有关，还能将视觉、听觉、嗅觉、味觉等信息进行综合处理和分析，因此这些区域表现出更高的大脑活性。
为了验证脑电信号单个频带的分类性能，申请人计算了每个频带能量特征的分类精度，并在最后将五个频段的能量特征组合成“All”矩阵，输入到线性SVM分类器中，相应的结果如图8所示。从图8可以发现：(1)在相同条件下，五个频带的能量特征的分类性能要优于单个频带的能量特征。(2)高频带在认知活动中的作用比低频带更为重要，这与以往的研究结论相吻合。Theta，Alpha，Beta和Gamma在识别具有不同情感设计在线课程被试的高认知负荷和低认知负荷状态方面均具有良好的表现，其平均分类准确率均高于80％。与以往的研究结论相比，本发明的实施结果增强了Gamma频段的重要性，这是因为情绪在在线学习中的重要作用引起的，积极情绪往往与较低的认知负荷有关。而先前的研究表明，Gamma频段在情感识别中起着至关重要的作用。故可以得出结论，情绪也是评估在线学习环境下的认知负荷的重要指标。根据Pope等人(Pope A T,Bogart E H,Bartolome D S.Biocybernetic system evaluates indices of operator engagement in automated task[J].Biological psychology,1995,40(1-2):187-195.)先前的研究，认知负荷可以通过β/(θ+α)反映出来。基于上述对相关大脑区域和关键频段的分析，提出了步骤S4中的认知负荷指标计算方式。通过采用本发明中提出的认知负荷计算值，可以画出不同情绪设计在线课程的认知负荷曲线，如图9所示。该图论证了该指数在区分在线学习场景下高认知负荷和低认知负荷的良好表现。另外，使用15通道该指数的分类准确率可以达到85.3％，这在保持较高精度的同时极大地减小了特征的维度。
本发明的主要目的是探索在线学***均分类准确度为92.6％。此外，当维度达到30左右后，分类精度变得稳定，平均精度为88.1％，这说明本发明采用降维的方式可以使机器学习模型运行较好且精度较好。
综上所述，本发明可以发现不同情绪设计在线课程与生理特征之间的关联，并应用机器学习对不同情绪设计在线课程引起的认知负荷状态进行分类，用以辅助学习者提高在线学习的学习效果和学习表现。
Claims (8)
1.一种情绪设计对在线学习认知负荷影响的评估方法，包括学习者佩戴脑电信号采集器和眼动信号采集器进行在线课程学习，在线课程包括积极情绪设计在线课程和中性情绪设计在线课程，其特征在于：按如下步骤进行：
S1:在学习在线课程过程中，通过脑电信号采集器采集学习者的脑电信号，通过眼动信号采集器采集学习者的眼动信号；
S2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出用于评估学习者认知状态的脑电特征；同时提取眼动信号的眼动指标，得出用于评估学习者认知状态的眼动特征；
S3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对在线课程学习中学习者的认知负荷状态进行分类；
S4:根据认知负荷指标进行评估。
2.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：采用非线性动力学的近似熵和样本熵对脑电信号进行分析，得到脑电特征中的近似熵特征和样本熵特征；
其中，给定一脑电信号的时间序列{x(n)}＝{x(1)，x(2)，x(3)，…，x(N)}，对应的近似熵按照以下步骤进行计算：
A.1、时间序列上每连续m个数据组成一个m维矢量，即：
yi＝{xi，xi+1，xi+2，...，x(i+m-1)}，1≤i≤n-m；
A.2、设序列{Xt(j)}与序列{Xt(k)}的距离记为d[Xt(j)，Xt(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即：
A.3、给定相似的阈值容限W，对于两个时间序列{Xt(j)}与{Xt(j)}，若二者的距离不超过容限W，则认为它们是相似的；统计时间序列{Xt(j)}与其它所有时间序列相似的数目，并计算其与总距离数目的比例
即：
A.4、计算所有时间序列与原时间序列相似性的平均值
即
A.5、将维度增加至t+1维，重新进行A.1-A.4，计算出
为：
A.6、近似熵定义如下：
给定一脑电信号的时间序列{x(i)，i＝1，2，…，N}，对应的样本熵按照以下步骤进行计算：
B.1、给定原始数据序列{x(i)，i＝1，2，…，N}，依次构造m维向量：
Xm(i)＝[x(i)，x(i+1)，…，x(i+m-1)]，1≤i≤N-m+1
其中，m是窗口长度；
B.2、定义向量Xm(i)和Xm(i)之间的距离为：
d[Xm(i)，Xm(i)]＝max{|Xm(i+k)-Xm(j+k)|}；
其中：1≤k≤m-1；1≤i，j≤N-m+1，i≠j
B.3、给定一个正阈值r和嵌入维度m，计算时间序列
的相似性概率为：
其中i≤N-m。接着通过下列公式计算出所有
的平均值
B.4、将嵌入维度设为m+1，重复B.1到B.3，样本熵定义如下：
3.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：利用小波变换对脑电信号进行分析得出小波能量特征、小波相对能量特征和小波熵特征；
所述小波能量特征计算如下：
所述小波相对能量特征计算如下：
所述小波熵特征计算如下：
式中：Di，j表示相应分解级别的小波系数。
4.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：所述的眼动特征为瞳孔直径和注视时间。
5.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：步骤S3中,对脑电特征和眼动特征进行降维的降维方式是采用相关性的特征选择器，通过采用相关性的特征选择器计算每个特征的特征相关系数，用于表示其与认知负荷的相关性；所述特征相关系数的计算方法如下：
式中：C表示协方差，R表示相关系数，ri表示数据集对应的第i个分量的随机变量，y表示样本的标签集。
6.根据权利要求1所述的情绪设计对在线学***面wTxi+b：
yi(wTxi+b)≥1，i＝1，2，...，N；
式中：xi表示特征数组，yi对应的真实标签。
7.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：使用方差分析模型比较不同情绪设计在线课程学习过程中所提取特征的显著性，用于区分不同情绪设计在线课程诱导出学习者的认知负荷状态。
8.根据权利要求1所述的情绪设计对在线学习认知负荷影响的评估方法，其特征在于：所述的认知负荷指标计算如下：
式中：β表示β频段的平均能量，γ表示γ频段的平均能量，θ表示θ频段的平均能量，α表示α频段的平均能量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110631592.7A CN113349780A (zh) | 2021-06-07 | 2021-06-07 | 一种情绪设计对在线学习认知负荷影响的评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110631592.7A CN113349780A (zh) | 2021-06-07 | 2021-06-07 | 一种情绪设计对在线学习认知负荷影响的评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113349780A true CN113349780A (zh) | 2021-09-07 |
Family
ID=77532757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110631592.7A Pending CN113349780A (zh) | 2021-06-07 | 2021-06-07 | 一种情绪设计对在线学习认知负荷影响的评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113349780A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及*** |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及*** |
| CN115782895A (zh) * | 2022-12-29 | 2023-03-14 | 北京津发科技股份有限公司 | 一种智能辅助驾驶方法、***及装置 |
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799682A (zh) * | 2012-05-10 | 2012-11-28 | 中国电力科学研究院 | 一种海量数据预处理方法及其*** |
| CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN107788970A (zh) * | 2017-11-15 | 2018-03-13 | 中国航天员科研训练中心 | 一种基于多生理参数方法融合的脑力负荷评估方法 |
| CN108470194A (zh) * | 2018-04-04 | 2018-08-31 | 北京环境特性研究所 | 一种特征筛选方法及装置 |
| CN108764360A (zh) * | 2018-06-01 | 2018-11-06 | 昆明理工大学 | 一种基于症状相关性对症状降维的分析方法 |
| CN109471528A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 一种用于脑-机接口***的脑-机互适应*** |
| CN111012307A (zh) * | 2019-11-26 | 2020-04-17 | 清华大学 | 基于多模态信息评估患者训练投入程度的方法及装置 |
| CN111387976A (zh) * | 2020-03-30 | 2020-07-10 | 西北工业大学 | 一种基于眼动和脑电数据的认知负荷评估方法 |
-
2021
- 2021-06-07 CN CN202110631592.7A patent/CN113349780A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799682A (zh) * | 2012-05-10 | 2012-11-28 | 中国电力科学研究院 | 一种海量数据预处理方法及其*** |
| CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN107788970A (zh) * | 2017-11-15 | 2018-03-13 | 中国航天员科研训练中心 | 一种基于多生理参数方法融合的脑力负荷评估方法 |
| CN108470194A (zh) * | 2018-04-04 | 2018-08-31 | 北京环境特性研究所 | 一种特征筛选方法及装置 |
| CN108764360A (zh) * | 2018-06-01 | 2018-11-06 | 昆明理工大学 | 一种基于症状相关性对症状降维的分析方法 |
| CN109471528A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 一种用于脑-机接口***的脑-机互适应*** |
| CN111012307A (zh) * | 2019-11-26 | 2020-04-17 | 清华大学 | 基于多模态信息评估患者训练投入程度的方法及装置 |
| CN111387976A (zh) * | 2020-03-30 | 2020-07-10 | 西北工业大学 | 一种基于眼动和脑电数据的认知负荷评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| 蔡伟: "《液压***非介入式监测技术》", 31 July 2014 * |
| 郑长松 等: "《装甲车辆故障诊断技术》", 31 May 2019, 北京理工大学出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及*** |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及*** |
| CN114305415B (zh) * | 2021-11-25 | 2023-10-24 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及*** |
| CN115782895A (zh) * | 2022-12-29 | 2023-03-14 | 北京津发科技股份有限公司 | 一种智能辅助驾驶方法、***及装置 |
| CN115782895B (zh) * | 2022-12-29 | 2024-02-06 | 北京津发科技股份有限公司 | 一种智能辅助驾驶方法、***及装置 |
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110916631B (zh) | 基于可穿戴生理信号监测的学生课堂学习状态评测*** | |
| CN113349780A (zh) | 一种情绪设计对在线学习认知负荷影响的评估方法 | |
| CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| Exarchos et al. | EEG transient event detection and classification using association rules | |
| Wang et al. | A new method for EEG-based concealed information test | |
| Yuvaraj et al. | Hemispheric asymmetry non-linear analysis of EEG during emotional responses from idiopathic Parkinson’s disease patients | |
| Frid et al. | Features and machine learning for correlating and classifying between brain areas and dyslexia | |
| Lahiri et al. | Evolutionary perspective for optimal selection of EEG electrodes and features | |
| Abedin et al. | An artificial neural network model for epilepsy seizure detection | |
| CN109009098B (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| CN112185493A (zh) | 人格偏好诊断装置及基于该装置的项目推荐*** | |
| CN110390272A (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
| Qin et al. | Deep multi-scale feature fusion convolutional neural network for automatic epilepsy detection using EEG signals | |
| Goshvarpour et al. | A novel 2-piece rose spiral curve model: Application in epileptic EEG classification | |
| Lopes et al. | Ensemble deep neural network for automatic classification of EEG independent components | |
| KR101168596B1 (ko) | 족문 분석을 이용한 적성검사 방법 및 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| Tahmasebzadeh et al. | Development of a robust method for an online P300 Speller Brain Computer Interface | |
| Slanzi et al. | Predicting Web user click intention using pupil dilation and electroencephalogram analysis | |
| Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
| Annisa et al. | Personality dimensions classification with EEG analysis using support vector machine | |
| Azhari et al. | Classification of concentration levels in adult-early phase using brainwave signals by applying K-nearest neighbor | |
| Chen et al. | An effective entropy-assisted mind-wandering detection system with EEG signals based on MM-SART database | |
| Frid et al. | Design and selection of features under erp for correlating and classifying between brain areas and dyslexia via machine learning | |
| Wu et al. | Enhancing the feasibility of cognitive load recognition in remote learning using physiological measures and an adaptive feature recalibration convolutional neural network | |
| CN110516711B (zh) | Mi-bci***的训练集质量评估方法和单次训练样本的优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
| RJ01 | Rejection of invention patent application after publication |