CN107837089B - 一种基于脑电波的视频卡顿极限值测量方法 - Google Patents
一种基于脑电波的视频卡顿极限值测量方法 Download PDFInfo
- Publication number
- CN107837089B CN107837089B CN201711263869.5A CN201711263869A CN107837089B CN 107837089 B CN107837089 B CN 107837089B CN 201711263869 A CN201711263869 A CN 201711263869A CN 107837089 B CN107837089 B CN 107837089B
- Authority
- CN
- China
- Prior art keywords
- caton
- video
- time
- wave
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 57
- 238000000691 measurement method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 210000000869 occipital lobe Anatomy 0.000 claims abstract description 13
- 210000003710 cerebral cortex Anatomy 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 230000002146 bilateral effect Effects 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000036651 mood Effects 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 239000013256 coordination polymer Substances 0.000 claims description 6
- 238000012797 qualification Methods 0.000 claims description 5
- 210000001652 frontal lobe Anatomy 0.000 claims description 4
- 230000002360 prefrontal effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000002996 emotional effect Effects 0.000 abstract description 5
- 238000001558 permutation test Methods 0.000 abstract description 4
- 230000008451 emotion Effects 0.000 description 11
- 230000005611 electricity Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 208000027534 Emotional disease Diseases 0.000 description 4
- 230000019771 cognition Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 210000003478 temporal lobe Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 239000004519 grease Substances 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于脑电波的视频卡顿极限值的测量方法属于用户观看视频时情绪变化检测领域，其特征在于，提取观看时各合格被试者每次实验时各次卡顿时段全程脑电波信号；接着进行时频分析，得到各受试者在每个时频点归一化功率矩阵；再按β波频率范围、大脑皮层中顶叶、枕叶部分电极通道范围对脑电波信号取平均值，得到一次卡顿试验中有卡顿或无卡顿时在各时刻功率幅值；在对所有无卡顿信号和有卡顿信号取平均值后最后按时刻对有卡顿的样本和无卡顿的样本进行双边置换检验，若两组样本的均值有显著差异，且p<0.05，则此时刻即脑电波反应起始时刻。各被试者在观看过程中所有卡顿时段内所述起始时刻最大值，即卡顿极限值，适用于对视频服务的评价。
Description
技术领域
本发明涉及认知情绪变化的检测领域，具体而言，涉及一种基于脑电波的视频卡顿极限 值的测量方法，主要针对视频卡顿现象引起的用户负面情绪的检测，利用脑电波监测手段， 在大脑顶叶、枕叶部分对β波段进行分析，并运用统计方法检验特征信号出现显著性差异时 的时间约为350ms，即当单次卡顿时长超过350ms时，用户会产生明显的负面情绪。为基于 脑电波监测用户在观看视频时遇到卡顿现象的情绪反应提供监测方法。
背景技术
据中国宽带发展联盟发布的2017年第二季度《中国互联网在线视频体验评估报告》显 示，我国第二季度互联网在线视频平均卡顿率为0.09％(即平均播放10分钟的视频出现 0.54秒的卡顿)，平均首次播放时延为895ms(即用户点击开始播放后，平均在1秒钟内出 现视频画面)。
视频清晰度、视频初始缓冲和视频卡顿已经成为用户观看视频时最为关心的因素，也是 业内形成共识的视频体验衡量标准。其中，用户对视频清晰度的可接受范围比较大；视频初 始缓冲在用户观看视频过程中的出现频率较低，因而对用户的体验影响有限；而视频卡顿， 则在整个视频播放过程中，尤其是在线视频播放过程中，因为出现频率高和原因复杂，几乎 不可避免而且常见，对用户的体验影响最大，引起用户情绪反应变化也最大。
传统的对用户观看视频体验时的卡顿应用，如Fidel Liberal于2009年网页质量评估 的研究中利用五点量表进行评价和论文[1]提到，主要以通过访谈或问卷形式的主观评价方 式为主。这种方式缺乏使用过程中实时体验的测量，同时主观报告可能涉及多个心理过程， 还会受到社会赞许性和主试效应等因素的影响。
电生理技术可以更加深入了解用户在观看视频体验过程中的认知情绪变化。皮电、心电 和脑电是用户体验研究领域最为典型的三类电生理指标，主要涉及用户体验过程中认知和情 感状态的测量：(1)在皮电相关指标中，皮肤电导水平能有效地反映用户使用产品时的情绪 唤醒度和认知努力程度；(2)在心电相关指标中，心率对用户的情绪体验敏感，而心率变异 性对用户的心理负荷变化敏感；(3)在脑电相关指标中，α波和β波是用户情绪变化和心理 负荷的有效指标。
与皮电和心电相比,脑电的测量为我们了解用户体验过程中的认知情绪变化提供了更 加直接的证据。脑电波(Electroencephalogram，EEG)是一些自发的有节律的神经电活 动，其频率变动范围在每秒1－30次之间，可划分为四个波段，即δ(1－3Hz)、θ(4－7Hz)、α(8－13Hz)和β(14－30Hz)。其中，β波频率为14～30Hz，幅度为100～150μV，当精神 紧张和情绪激动或亢奋时出现此波。这种成分对应着人的负面情绪。同时，顶叶和枕叶产生 的β波功率最大。因此，取β波段和顶叶、枕叶通道的功率进行分析即可确定卡顿引发负面 情绪的起始时刻。
本发明提供了一种基于脑电波的视频卡顿极限值的测量方法，主要针对视频卡顿现象引 起的用户负面情绪的检测，利用脑电波监测手段，在大脑顶叶、枕叶部分对β波段进行分析， 并运用统计方法检验特征信号出现显著性差异时的时间约为350ms，即当单次卡顿时长超过 350ms时，用户会产生明显的负面情绪。为基于脑电波监测用户在观看视频时遇到卡顿现象 的情绪反应提供监测方法。从而，在评价作为视频服务质量评估中的一个卡顿时长问题时， 从宏观的角度提供了一个用户可能接受的极限值。
发明内容
发明目的：本发明的目的在于，宏观上从用户的角度为视频质量服务供应商给出了一个 估计用户可能接受的卡顿现象的极限时长，若出现卡顿现象的关键在于下游的设备上，则也 为故障的消除提供了一个评价方法。
本发明的特征在于，视频卡顿极限值是指从各卡顿时段开始或结束时刻起到大脑皮层中顶 叶或枕叶区产生第一个β波这段时间在不同被试者处于同一卡顿时段内时的最大值，所述第一个 β波是指在卡顿开始时刻由专注视频时的α波转换到情绪沮丧时刻的β波时产生的第一个β波， 或者是指在卡顿结束时刻被试者由平静等待的α波转换到情绪亢奋的β波时产生的第一个β波， 所述第一个β波偶尔还包括电磁屏蔽实验室内由仪器产生的电磁干扰或/和当受试者疲劳时由大 脑皮层上的中前额区发往眼睛神经元执行眨眼动作的脑电波在大脑皮质中顶叶或/和枕叶区诱导 的干扰电位，这种情况不能排除，这时所述的第一β波往往是mV级的，比正常时产生的μV级 的脑电波要大的多，这种第一β波的测量方法是在一个基于脑电波的视频卡顿极限值测量*** 中依次按以下步骤实现的：
步骤(1)，构造一个基于脑电波的视频卡顿极限值测量***，以下简称***，包括：视频观 看客户端电脑、脑电信号采集仪和数字信号处理器DSP：
脑电信号采集仪，采用德国BRAIN PRODUCTS公司的actiCAP Xpress Twist产品，其中包括： 脑电波EEG电极帽，以下简称电极帽，64通道EEG放大器和脑电信号记录仪，其中：
电极帽，包含64个actiCAP主动电极，以国际10-20标准分布，地电极在FP1和FP2之间，FP1和FP2是大脑皮层上的额叶，
64通道EEG放大器，其附设的模拟滤波器的截止频率为0.531～70Hz，
脑电信号记录仪，采样频率为500Hz，
步骤(2)，在所述的电磁屏蔽实验室内依次按以下方法测量所述视频卡顿极限值：
步骤(2.1)，数据处理器DSP形成含有不同时长卡顿的合成视频，存储在视频观看客户端 电脑中
步骤(2.1.1)，向所述数据处理器DSP输入BBC动物纪录片，
步骤(2.1.2)，从所述BBC动物纪录片中设定片段个数、设定片段时长的内容不重复的 多个片段，
步骤(2.1.3)，把全部片段按设定的组数均分，每组内的片段数均相等，再从其中任选 一组视频片段为对照组，其余均为测试组，
步骤(2.1.4)，对各所述测试组，在视频片段开始播放后的设定时刻，分别随机***不 同时长的卡顿，构成合成的卡顿视频，输出到视频观看客户端电脑，存储；
步骤(2.2)，选定设定数量D的合格被试者，当各人的脑电波处于平静状态下在所述视频 观看客户端电脑上观看所述合成的卡顿视频，逐个作脑电波采集实验，“合格”是指身体条件合 格、大脑皮层和每个电极间的阻抗小于10KΩ以及观看行为符合规范，
步骤(2.3)，舍去视频观看专注度不合格的被试者的数据，得到数据合格的被试者的脑电 波数据，
步骤(2.4)，EEG数据预处理：
步骤(2.4.1)，把合格EEG数据的参考电位改为TP9和TP10信号的平均值，所述TP9、TP10位于大脑皮层的顶颞区；
步骤(2.4.2)，把每位被试者所有片段信号按时序相连；
步骤(2.5)，对预处理后的时域信号进行时频分析：
步骤(2.5.1)，把每段信号与设定频率范围、设定个数的复Morlet进行卷积，所述复 Morlet小波为复正弦函数与高斯函数的乘积，所述复Morlet小波为其中σt是 高斯函数波形的宽度，σt＝c(f)/(2πf)，c(f)是每个频率小波的个数，
步骤(2.5.2)，把每个时频点的功率P(t,f)归一化，所述每个时频点的功率为卷积后 的复信号的实部与虚部的平方和，归一化的每个时频点的功率dBP(t,f)， dBP(t,f)＝10log10(P(t,f)/B(f))，B(f)为该信号在距离卡顿(-4)～(-2)秒处的功率 平均值，
步骤(2.5.3)，设受试者人数为M，则得到M×N×C个dBP矩阵，dBPm,n,c表示第m人 第n次第c通道的dBP矩阵，m＝1,2,…m,…,M,n＝1,2,…,n,…,N,c＝1,2,…c,…C，C表示电极个数，即 通道数。每次实验包括：卡顿发生时和卡顿终止时的两类dBP矩阵。
步骤(2.5.4)，通过求出EEG反应的起始时刻计算出卡顿极限值：
步骤(2.5.4.1)，求出无卡顿时的dBP_timeno-stalling矩阵和有卡顿时的 dBP_timestalling矩阵：
其中，通道范围包括23个电极，共有C＝23个：
顶中央，CP：1～8，CPz，共9个电极；
顶，P：1～8，Pz，共9个电极；
顶枕，PO：3～4,7～8，POz，共5个电极
频率范围，14～30Hz，
F为所选频率范围的采样点数，f＝1,2,…,f,…,F,
C是通道数，C＝23，
dBPstalling(c,t,f)是每一次卡顿发生时刻或卡顿终止时刻的时频变换后各通道位于 时刻t，频率f的功率幅值，
dBPno-stalling(c,t,f)是无卡顿时刻的时频变换后各通道位于时刻t，频率f的功率幅 值，
步骤(2.6.4.2)，在设定的重复分组次数下，对有卡顿样本和无卡顿样本进行双边置 换检验，求出卡顿发生后首个两组样本差异显著性p<0.05的时刻，设定为脑电波反应的起始时 刻。
发明效果：在移动视频播放过程中本发明为在卡顿现象发生时用户负面情绪反应时间提 供了仅供参考的极限值，同时也为消除卡顿故障的评价标准提供了一个最低的时间标准。
附图说明
图1***组成框图。
图2脑电信号采集电极帽的电极分布图：电极分区如下：额极叶(Fp：1-2)；前额叶(AF：3-4,7-8，AFz)；额叶(F：1-8，Fz)；中额叶(FC：1-8)；额颞叶(FT：7-10)；颞 叶(T：7-8)；中央叶(C：1-6)；中顶叶(CP：1-8，CPz)；顶颞叶(TP：7-10)；顶叶(P： 1-8，Pz)；顶枕叶(PO：3-4,7-8，POz)；枕叶(O：1-2，Oz)。
图3信号预处理前波形图，横轴为时间，单位秒，纵轴是所有通道的波形。
图4信号预处理后波形图，横轴为时间，单位秒，纵轴是所有通道的波形。
图5时频分析图，横轴为时间，单位毫秒，纵轴为频率，单位Hz，颜色代表功率幅值，两条细线分别代表卡顿开始和结束的时刻。
图6获得卡顿极限值流程图。
图7计算时间极限值波形图，14条细线代表14个被试者每人在所选通道、频率范围功率的平均值随时间变化信号在有无卡顿时的差值，实线代表14条细线的平均值。
具体实施方式
本发明提供了一种基于脑电波的视频卡顿极限值的测量方法，为基于脑电波监测用户在 观看视频时遇到卡顿现象的情绪反应提供监测方法。本发明的技术方案主要包括如下四个部 分：卡顿视频合成、脑电信号采集、数据处理和获得极限值等。其中，脑电信号采集部分， 包括视频观看和脑电信号采集装置两个模块。
本发明的四个部分分别完成如下功能：(1)在电磁屏蔽的实验室环境下，给被试者呈现 存在不同时长卡顿的合成视频材料；(2)在被试者观看该合成视频材料的同时，将对其脑电 信号进行监测与记录；(3)将对脑电信号进行时频分析，在频域上观察信号随时间的变化； (4)通过统计检验手段，检测出特征信号出现显著性差异时的卡顿时长。
本发明的第一部分：卡顿视频合成，主要是准备本发明测试素材的过程。由于想要获得 人在观看视频时，对视频卡顿的脑电信号反应，所以需要尽量减少测试视频内容本身对脑电 信号影响的干扰。因此，合成的视频内容选择需要满足以下两个条件：(1)合成的卡顿视频 不能具有深层次语义或情节理解的内容；(2)合成的卡顿视频尽可能避免各类情绪的诱导。
本发明的第二部分：脑电信号采集，主要是在被试者观看本发明的第一部分准备的合成 视频材料时，通过脑电采集装置采集相应脑电信号的过程，包括视频观看和采集装置两个模 块。该部分需要在电磁屏蔽实验室的环境下，进行部署本发明的相应测试设备和仪器，以及 观看相应视频。
进一步地，所述的视频观看模块，主要为选择特定的被试者，按特定的要求，观看本发 明的第一部分准备的合成视频材料的过程，需要注意如下事项：(1)所有被试者要求具有正 常或矫正至正常的视力，也没有神经学疾病的历史；(2)所有被试者在正式实验前，首先需 要洗头以除去头皮上的油脂；(3)电磁屏蔽室内应保持安静，室内亮度和温度也要求调到令 被试者感到适宜为佳；(4)被试者单独在电磁屏蔽室进行实验前，首先对其进行注意事项讲解，向被试者说明实验过程中不能出现的动作以及尽量少出现的动作，包括肢体的大幅度活动，重度眨眼或咬牙等会产生强烈肌电信号的动作，以避免实验过程中脑电信号被污染。(5) 使用美国NBS公司开发的功能强大、可编程的实验开发和控制的心理学专用***软件 Presentation(版本号：19.0)来播放合成视频片段。
进一步地，所述的采集装置模块，主要包括EEG电极帽、EEG放大器和上位机EEG显示 软件等三部分组成。主要根据使用需求选择目前世界上科研机构常用的电极帽制式，以能够 达到满足测量精度的要求。对于每个被试者脑电信号采集过程来说，观看结束后，将从所有 视频片段中随机选取若干个，在视频片段播放完毕后，向被试者提出有关视频片段中内容的 问题。问题均是以“是否出现过某动物？”的形式向被试者呈现，被试只需要客观地回答“是 /否”即可。设置问题的目的是保持被试者观看视频的专注度。将片段大致平均分为6组依 次播放。每组视频片段播放完毕后，被试有3分钟左右的休息时间。
本发明的第三部分：数据处理，包括EEG数据预处理、时频分析等两个模块。该部分的 首要任务是，将根据采集结束时问题反馈的正确率来判断该被试者是否认真实验，以确保实 验数据的有效性，无效数据将直接舍弃。
进一步地，所述的EEG数据预处理模块，在观看视频采集脑电信号期间，将全程记录被 试者的脑电波信号与问题反馈的信号。EEG数据预处理主要包括如下流程：(1)将EEG数据 的参考电位改变为TP9和TP10信号的平均值；(2)第二，使用0.1Hz高通滤波器(FIR)进行滤波。
进一步地，所述的时频分析模块，主要是将预处理后的时域信号进行基于Morlet小波 变换的时频分析，得到功率幅度谱随时间的变化，处理流程如下：(1)将每段时域信号与1 到30Hz的60个复Morlet小波进行卷积；(2)在每个时频点的功率定义为卷积后复信号实 部与虚部的平方和。(3)将功率归一化。本发明的第四部分：获得卡顿极限值，即通过 求出EEG反应的起始时刻计算得出卡顿极限值。主要包括如下流程：(1)将每段时频分析后 的信号按照β波段频率范围和顶叶、枕叶通道范围取平均，得到无卡顿和有不同卡顿对应的信号；(2)将每个被试对应的所有无卡顿信号取平均值，所有有卡顿信号取平均值，这样每个被试都有这两个一维信号；(3)对每个时刻的卡顿样本和无卡顿样本进行双边置换检验，将卡顿发生后首个两组样本差异显著(p<0.05)的时刻设定为EEG反应的起始时刻。
本发明提供了一种基于脑电波的视频卡顿极限值的测量方法，主要针对视频卡顿现象引 起的用户负面情绪的检测，利用脑电波监测手段，在大脑顶叶、枕叶部分对β波段进行分析， 并运用统计方法检验特征信号出现显著性差异时的时间约为350ms，即当单次卡顿时长超过 350ms时，用户会产生明显的负面情绪。为基于脑电波监测用户在观看视频时遇到卡顿现象 的情绪反应提供监测方法。
下面结合附图，对本发明的具体实施方式说明如下：
本发明主要包括卡顿视频合成、脑电信号采集、数据处理和获得极限值等四个部分，如 图1所示为本发明的***组成框图。其中，脑电信号采集部分，包括视频观看和脑电信号采 集装置两个模块。本发明的四个部分分别完成如下功能：(1)在电磁屏蔽的实验室环境下， 给被试者呈现存在不同时长卡顿的合成视频材料；(2)在被试者观看该合成视频材料的同时， 将对其脑电信号进行监测与记录；(3)将对脑电信号进行时频分析，在频域上观察信号随时 间的变化；(4)通过统计检验手段，检测出特征信号出现显著性差异时的卡顿时长。
在准备实施本发明之前，相关技术人员，前提要在电磁屏蔽实验室的环境下，部署本发 明的相应测试设备及仪器。
实施本发明的第一部分：卡顿视频合成，是本发明得以顺利实施的一个关键环节，主要 通过在视频片段里，***一定的卡顿时长，即通过在卡顿起始时刻开始重复前一帧视频，直 到卡顿结束时刻重新播放卡顿后相应的帧视频来实现，主要流程如下：
(1)依据发明内容的技术方案部分，合成的视频内容选择需要满足的两个条件，本实 施方案中，被合成的视频源选择动物纪录片是比较合适的，我们选择了BBC动物纪录片《Life Story》。
(2)从BBC动物纪录片《Life Story》中随机截取170个30秒时长的无重叠片段。
(3)将(2)中的170个视频片段随机平均分为5组，每组34个。
(4)选择其中一组视频片段作为对照组，不做任何处理。另外4组，分别在视频片段开始后的10秒到20秒之间，随机选取一个时刻，***1秒、或3秒、或5秒、或7秒时长 的卡顿，并将每个片段时长超过30秒的部分舍弃，即总时长重新截成30秒。
(5)将合成后的卡顿视频，存储在供脑电信号采集时用到的视频观看客户端电脑上。
实施本发明的第二部分：脑电信号采集，主要是在被试者观看本发明的第一部分准备的 合成视频材料时，通过脑电采集装置采集相应脑电信号的过程，包括视频观看和采集装置两 个模块。脑电信号采集仪器主要采用德国BRAIN PRODUCTS公司的actiCAPXpress Twist。 EEG电极帽包含64个actiCAP主动电极(Brain Products,Germany)，以国际10-20标准 分布。地电极设置在Fp1和Fp2电极之间。64导10-20分布是目前世界上科研机构常用的 电极帽制式，能够满足本专利的测量精度需求。该部分的实施阶段主要包括准备、采集设置、 视频观看与信号采集、采集结束等过程，详细说明如下：
(1)准备
根据测试试验需要，选择14个被试者依次进行实验，所有被试者要求具有正常或矫正 至正常的视力，也没有神经学疾病的历史。每名被试者在正式实验前，首先需要洗头以除去 头皮上的油脂。吹干后，为被试佩戴电极帽并涂抹导电膏，头皮和每个电极之间的阻抗都应 小于10kΩ。同时，在测试时，电磁屏蔽室内应保持安静，室内亮度和温度也要求调到令被 试者感到适宜为佳。
EEG电极帽的电极分布图如图2所示，包括64个电极，按照对应大脑皮层区域位置可 分为：额极(Fp：1-2)、前额(AF：3-4、7-8，AFz)、额(F：1-8，Fz)、额中央(FC：1-6)、 额颞(FT：7-10)、中央(C：1-6，Cz)、颞(T：7-8)、顶中央(CP：1-8，CPz)、顶颞(TP： 9-10)、顶(P：1-8，Pz)和顶枕(PO：3-4、7-8，POz)、枕(O：1-2，Oz)等几个区域。
(2)采集设置
使用64导EEG放大器(BrainAmps,Brain Products,Germany)采集上述64个电极脑电信号，并使用Brain Vision Recorder(Brain Products,Germany)以500Hz采样频率记录脑电信号。将EEG放大器自带的模拟带通滤波器截至频率设置为0.531-70Hz。
随后被试者单独在电磁屏蔽室进行实验，首先进行注意事项讲解，向被试者说明实验过 程中不能出现的动作以及尽量少出现的动作，包括肢体的大幅度活动，重度眨眼或咬牙等会 产生强烈肌电信号的动作，以避免实验过程中脑电信号被污染。然后进行视力检验预实验， 此期间首先确认被试者不具有视力方面问题，其次给出被试者一定的缓冲时间以稳定脑电波信号。等待被试的脑电波处于平静状态下再开始正式实验。
(3)视频观看与信号采集
使用Presentation 19.0来播放合成视频片段，在被试者观看过程中，使用64导EEG 放大器(BrainAmps,Brain Products,Germany)采集脑电信号，并使用Brain VisionRecorder(Brain Products,Germany)以500Hz采样频率记录脑电信号。将放大器自带的模拟带通滤波器截至频率设置为0.531-70Hz。EEG电极帽包含64个actiCAP主动电极(BrainProducts,Germany)，以国际10-20标准分布。地电极设置在Fp1和Fp2电极之间。
(4)采集结束
对于每个被试者脑电信号采集过程来说，观看结束后，将从所有视频片段中随机选取 55个，在视频片段播放完毕后，向被试者提出有关视频片段中内容的问题。问题均是以“是 否出现过某动物？”的形式向被试者呈现，被试只需要客观地回答“是/否”即可。设置问 题的目的是保持被试者观看视频的专注度。将片段大致平均分为6组依次播放。每组视频片 段播放完毕后，被试有3分钟左右的休息时间。
实施本发明的第三部分：数据处理，主要包括EEG数据预处理、时频分析、确定频段和 确定通道等四个模块，详细说明如下：
(1)EEG数据预处理
在观看视频采集脑电信号期间，将全程记录被试者的脑电波信号与问题反馈的信号。在 该阶段的首要任务是，将根据问题反馈的正确率来判断该被试者是否认真实验，以确保实验 数据的有效性，无效数据将直接舍弃，有效性检验后的波形图如图3所示。
EEG数据预处理流程，预处理需分别对每个被试数据操作：
第一，将EEG数据的参考电位改变为TP9和TP10信号的平均值；
第二，使用0.1Hz高通滤波器(FIR)进行滤波；
信号预处理后的波形图如图5所示。
(2)时频分析
时频分析主要是将预处理后的时域信号进行基于Morlet小波变换的时频分析，得到功 率幅度谱随时间的变化，处理流程如下：
首先，将每段时域信号与1到30Hz的60个复Morlet小波进行卷积，其中，复小波为复正弦函数与高斯函数的乘积：σt是高斯函数波形的宽度，f是频率，t是 时间。σt＝c(f)/(2πf)，c(f)是每个频率小波的波数。
其次，在每个时频点的功率定义为卷积后复信号实部与虚部的平方和。
最后，再将功率归一化：dBP(t,f)＝10log10(P(t,f)/B(f))，其中B(f)是段信号 在距离卡顿-4到-2秒功率的平均值。
通过所有人的数据时频分析得到(M(人数)×N(每人的实验次数)×C(电极数量))个dBP矩阵。以dBPm,n,c表示第m人第n次第c通道的归一化功率矩阵。
时频分析后的功率分布图如图6所示，横轴表示时间、纵轴表示频率，颜色色度表示功 率幅度，两条垂直线表示卡顿开始和结束时刻。
实施本发明的第四部分：获得卡顿极限值，即通过求出EEG反应的起始时刻计算得出卡 顿极限值，获得卡顿极值的流程图如图7所示。
首先，将每段时频分析后的信号dBPm,n,c按照所选频率范围(β波，14-30Hz)和通道范围(顶叶、枕叶，CP：1-8，CPz，P：1-8，Pz，PO：3-4、7-8，POz)取平均，得到无卡 顿dBP_timeno-stalling和1、3、5、7秒卡顿对应的五组一维信号dBP_timestalling,即
其中，通道范围包括23个电极，共有C＝23个：
顶中央，CP：1～8，CPz，共9个电极；
顶，P：1～8，Pz，共9个电极；
顶枕，PO：3～4,7～8，POz，共5个电极
频率范围，14～30Hz，
F为所选频率范围的采样点数，
C是通道数，C＝23，
dBPstalling(c,t,f)是每一次卡顿发生时刻或卡顿终止时刻的时频变换后各通道位于时刻t， 频率f的功率幅值，
dBPno-stalling(c,t,f)是每一次卡顿发生时刻或终止时刻的时频变换后各通道位于时刻t，频 率f的功率幅值，
其次，将每个被试对应的所有无卡顿信号取平均值，所有有卡顿信号取平均值，这样每 个被试都有这两个一维信号，
最后，按时刻对每个时刻的卡顿样本和无卡顿样本进行双边置换检验，
对每时刻有卡顿信号14个被试的样本X＝{x1,x2,...,x14}与无卡顿信号14个被试样本 Y＝{y1,y2,...,y14}，首先计算统计量其中是样本X的平均值，是样本Y的平均值。接下来，将两组样本混在一起，打乱后随机分成数量为n和m的两组，分别记为X1和Y1。再次计算统计量其中是样本X1的平均值，是样本Y1的平均值， 多次重复打乱、分组、计算统计量的过程，一般重复1000次。这样，得到一组1000个统计 量计算这组统计量的平均值μd和标准差σd，一般来说，这组统计量应服 从平均值μd和标准差σd的正态分布。如果原始的统计量位于这个分布的双尾，则说明两 组样本的均值具有显著差异。具体地，计算若或则两 组样本具有显著差异，
将卡顿发生后首个两组样本差异显著(p<0.05)的时刻设定为EEG反应的起始时刻。计 算卡顿时间极限值的效果图如图7所示，细线是每个个体有无卡顿信号幅值之差，粗线是所 有人的平均值。阴影标出了差异显著的时段。
从卡顿发生或终止时的信号到视网膜成像产生视觉约需75毫秒，大脑处理信息需200 毫秒，经处理的信号传到大脑皮层产生脑电波不到100毫秒，这时，对应于卡顿开始时刻的 是用户的沮丧情绪，对应于卡顿终止时刻的是亢奋情绪，确定发生时刻第一个β波出现的最 迟时刻反映的是开始产生沮丧情绪的最迟时刻，确定用户开始产生沮丧情绪的极限时刻，确 定终止时刻第一个β波出现的最迟时刻反映的是用户沮丧—平静—开始亢奋情绪的最迟时 刻，其意义在于，用户从开始产生沮丧情绪的最迟时刻到用户开始产生亢奋情绪这两者之间 的时长，虽然对于每个被试者是不同的，但对于被试者群体的宏观统计结果反映了虽然卡顿 现象不可能绝对避免，但客观上反映了用户情绪变化的时间过程，也反映了用户对允许卡顿 时段多长的一个诉求，由于卡顿现象主要是由基站的硬件设备缺陷造成的，从而为评价基站 消除卡顿现象的效果提供了一个相当宽容的标准，有其现实意义，而卡顿发生时的极限值， 更为研究用户对视频播放过程研究用户的负面情绪提供了客观数据。
参考文献
【1】葛燕.陈亚楠.刘艳芳.李稳.孙向.电生理测量在用户体验中的应用[J].心理科学进 展,2014,22(6):959-967.
Claims (1)
1.一种基于脑电波的视频卡顿极限值的测量方法，其特征在于，视频卡顿极限值是指从各卡顿时段开始或结束时刻起到大脑皮层中顶叶或枕叶区产生第一个β波这段时间在不同被试者处于同一卡顿时段内时的最大值，所述第一个β波是指在卡顿开始时刻由专注视频时的α波转换到情绪沮丧时刻的β波时产生的第一个β波，或者是指在卡顿结束时刻被试者由平静等待的α波转换到情绪亢奋的β波时产生的第一个β波，所述第一个β波偶尔还包括电磁屏蔽实验室内由仪器产生的电磁干扰或/和当受试者疲劳时由大脑皮层上的中前额区发往眼睛神经元执行眨眼动作的脑电波在大脑皮质中顶叶或/和枕叶区诱导的干扰电位，这种情况不能排除，这时所述的第一个β波往往是mV级的，比正常时产生的μV级的脑电波要大的多，这种第一个β波的测量方法是在一个基于脑电波的视频卡顿极限值测量***中依次按以下步骤实现的：
步骤(1)，构造一个基于脑电波的视频卡顿极限值测量***，以下简称***，包括：视频观看客户端电脑、脑电信号采集仪和数字信号处理器DSP：
脑电信号采集仪，采用德国BRAIN PRODUCTS公司的actiCAP Xpress Twist产品，其中包括：脑电波EEG电极帽，以下简称电极帽，64通道EEG放大器和脑电信号记录仪，其中：
电极帽，包含64个actiCAP主动电极，以国际10-20标准分布，地电极在FP1和FP2之间，FP1和FP2是大脑皮层上的额叶，
64通道EEG放大器，其附设的模拟滤波器的截止频率为0.531～70Hz，
脑电信号记录仪，采样频率为500Hz，
步骤(2)，在所述的电磁屏蔽实验室内依次按以下方法测量所述视频卡顿极限值：
步骤(2.1)，数据处理器DSP形成含有不同时长卡顿的合成视频，存储在视频观看客户端电脑中，
步骤(2.1.1)，向所述数据处理器DSP输入BBC动物纪录片，
步骤(2.1.2)，从所述BBC动物纪录片中设定片段个数、设定片段时长的内容不重复的多个片段，
步骤(2.1.3)，把全部片段按设定的组数均分，每组内的片段数均相等，再从其中任选一组视频片段为对照组，其余均为测试组，
步骤(2.1.4)，对各所述测试组，在视频片段开始播放后的设定时刻，分别随机***不同时长的卡顿，构成合成的卡顿视频，输出到视频观看客户端电脑，存储；
步骤(2.2)，选定设定数量D的合格被试者，当各人的脑电波处于平静状态下在所述视频观看客户端电脑上观看所述合成的卡顿视频，逐个作脑电波采集实验，“合格”是指身体条件合格、大脑皮层和每个电极间的阻抗小于10KΩ以及观看行为符合规范，
步骤(2.3)，舍去视频观看专注度不合格的被试者的数据，得到数据合格的被试者的脑电波数据，
步骤(2.4)，EEG数据预处理：
步骤(2.4.1)，把合格EEG数据的参考电位改为TP9和TP10信号的平均值，所述TP9、TP10位于大脑皮层的顶颞区；
步骤(2.4.2)，把每位被试者所有片段信号按时序相连；
步骤(2.5)，对预处理后的时域信号进行时频分析：
步骤(2.5.1)，把每段信号与设定频率范围、设定个数的复Morlet进行卷积，所述复Morlet小波为复正弦函数与高斯函数的乘积，所述复Morlet小波为其中σt是高斯函数波形的宽度，σt＝c(f)/(2πf)，c(f)是每个频率小波的个数，
步骤(2.5.2)，把每个时频点的功率P(t,f)归一化，所述每个时频点的功率为卷积后的复信号的实部与虚部的平方和，归一化的每个时频点的功率dBP(t,f)，dBP(t,f)＝10log10(P(t,f)/B(f))，B(f)为该信号在距离卡顿(-4)～(-2)秒处的功率平均值，
步骤(2.5.3)，设受试者人数为M，则得到M×N×C个dBP矩阵，dBPm,n,c表示第m人第n次第c通道的dBP矩阵，m＝1,2,…m,…,M,n＝1,2,…,n,…,N,c＝1,2,…c,…C，C表示电极个数，即通道数,每次实验包括：卡顿发生时和卡顿终止时的两类dBP矩阵，
步骤(2.5.4)，通过求出EEG反应的起始时刻计算出卡顿极限值：
步骤(2.5.4.1)，求出无卡顿时的dBP_timeno-stalling矩阵和有卡顿时的dBP_timestalling矩阵：
其中，通道范围包括23个电极，共有C＝23个：
顶中央，CP：1～8，CPz，共9个电极；
顶，P：1～8，Pz，共9个电极；
顶枕，PO：3～4,7～8，POz，共5个电极
频率范围，14～30Hz，
F为所选频率范围的采样点数，f＝1,2,…,f,…,F,
C是通道数，C＝23，
dBPstalling(c,t,f)是每一次卡顿发生时刻或卡顿终止时刻的时频变换后各通道位于时刻t，频率f的功率幅值，
dBPno-stalling(c,t,f)是无卡顿时刻的时频变换后各通道位于时刻t，频率f的功率幅值，
步骤(2.6.4.2)，在设定的重复分组次数下，对有卡顿样本和无卡顿样本进行双边置换检验，求出卡顿发生后首个两组样本差异显著性p<0.05的时刻，设定为脑电波反应的起始时刻。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711263869.5A CN107837089B (zh) | 2017-12-05 | 2017-12-05 | 一种基于脑电波的视频卡顿极限值测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711263869.5A CN107837089B (zh) | 2017-12-05 | 2017-12-05 | 一种基于脑电波的视频卡顿极限值测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107837089A CN107837089A (zh) | 2018-03-27 |
| CN107837089B true CN107837089B (zh) | 2018-11-23 |
Family
ID=61664404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711263869.5A Active CN107837089B (zh) | 2017-12-05 | 2017-12-05 | 一种基于脑电波的视频卡顿极限值测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107837089B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113727192B (zh) * | 2020-06-19 | 2023-09-12 | 天翼数字生活科技有限公司 | 采集收视行为的方法和*** |
| CN112272317B (zh) * | 2020-10-19 | 2023-02-17 | Oppo广东移动通信有限公司 | 播放参数确定方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007019842A3 (de) * | 2005-08-17 | 2007-11-29 | Seereal Technologies Gmbh | Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit |
| CN106658188A (zh) * | 2016-12-20 | 2017-05-10 | 天脉聚源(北京)传媒科技有限公司 | 一种智能监测视频卡顿的方法及装置 |
| CN106973321A (zh) * | 2017-03-31 | 2017-07-21 | 广州酷狗计算机科技有限公司 | 确定视频卡顿的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102920453A (zh) * | 2012-10-29 | 2013-02-13 | 泰好康电子科技（福建）有限公司 | 一种脑电波信号处理方法及其装置 |
| CN105959681A (zh) * | 2016-04-28 | 2016-09-21 | 天津大学 | 深度延时运动对观看舒适度影响的erp分析方法 |
-
2017
- 2017-12-05 CN CN201711263869.5A patent/CN107837089B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007019842A3 (de) * | 2005-08-17 | 2007-11-29 | Seereal Technologies Gmbh | Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit |
| CN106658188A (zh) * | 2016-12-20 | 2017-05-10 | 天脉聚源(北京)传媒科技有限公司 | 一种智能监测视频卡顿的方法及装置 |
| CN106973321A (zh) * | 2017-03-31 | 2017-07-21 | 广州酷狗计算机科技有限公司 | 确定视频卡顿的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107837089A (zh) | 2018-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jo et al. | Spontaneous EEG fluctuations determine the readiness potential: is preconscious brain activation a preparation process to move? | |
| Huffmeijer et al. | Reliability of event-related potentials: The influence of number of trials and electrodes | |
| Gonzalez-Rosa et al. | Static magnetic field stimulation over the visual cortex increases alpha oscillations and slows visual search in humans | |
| Lasky | Rate and adaptation effects on the auditory evoked brainstem response in human newborns and adults | |
| Hu et al. | Taking into account latency, amplitude, and morphology: improved estimation of single-trial ERPs by wavelet filtering and multiple linear regression | |
| Rundle et al. | Contagious yawning and psychopathy | |
| JP2011041808A (ja) | 刺激評価用ミラーニューロンシステムの解析 | |
| Freeman et al. | High working memory load increases intracortical inhibition in primary motor cortex and diminishes the motor affordance effect | |
| CN113576482B (zh) | 一种基于复合表情加工的注意偏向训练评估***和方法 | |
| CN107837089B (zh) | 一种基于脑电波的视频卡顿极限值测量方法 | |
| Polich et al. | Long latency auditory evoked potentials: Intensity, inter-stimulus interval, and habituation | |
| CN111466931A (zh) | 基于eeg和食物图片数据集的情感识别方法 | |
| Lepage et al. | Action related sounds induce early and late modulations of motor cortex activity | |
| Zebarjadi et al. | Rhythmic neural patterns during empathy to vicarious pain: Beyond the affective-cognitive empathy dichotomy | |
| Wang et al. | Wiener filter deconvolution of overlapping evoked potentials | |
| Arpaia et al. | Comparing artifact removal techniques for daily-life electroencephalography with few channels | |
| Gabriel et al. | Identification of ADHD cognitive pattern disturbances using EEG and wavelets analysis | |
| Güven et al. | Evaluation of filters over different stimulation models in evoked potentials | |
| CN107753043B (zh) | 一种基于脑电波的视频卡顿极限值的估量方法 | |
| Yordanova et al. | Event-related brain oscillations: Developmental effects on power and synchronization | |
| Kerr et al. | Deconvolution analysis of target evoked potentials | |
| Ford et al. | Overview of artifact reduction and removal in evoked potential and event-related potential recordings | |
| Alharbi et al. | Single trial classification of evoked EEG signals due to RGB colors | |
| Dirik et al. | The new wireless EEG device Mentalab Explore is a valid and reliable system for the measurement of resting state EEG spectral features | |
| Sanju et al. | Comparison of pre-attentive auditory discrimination at gross and fine difference between auditory stimuli |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Tao Xiaoming Inventor after: Chen Zhao Inventor after: Liu Yifeng Inventor after: Xiao Ailing Inventor after: Ge Ning Inventor after: Lu Jianhua Inventor before: Tao Xiaoming Inventor before: Chen Zhao Inventor before: Liu Yifeng Inventor before: Xiao Ailing Inventor before: Ge Ning Inventor before: Lu Jianhua |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |