CN109645994A - 一种基于脑-机接口***辅助评估视觉定位的方法 - Google Patents

一种基于脑-机接口***辅助评估视觉定位的方法 Download PDF

Info

Publication number
CN109645994A
CN109645994A CN201910006686.8A CN201910006686A CN109645994A CN 109645994 A CN109645994 A CN 109645994A CN 201910006686 A CN201910006686 A CN 201910006686A CN 109645994 A CN109645994 A CN 109645994A
Authority
CN
China
Prior art keywords
subject
brain
data
stimulation
hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910006686.8A
Other languages
English (en)
Other versions
CN109645994B (zh
Inventor
李远清
肖君
余天佑
潘家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Brain Control (Guangdong) Intelligent Technology Co.,Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910006686.8A priority Critical patent/CN109645994B/zh
Publication of CN109645994A publication Critical patent/CN109645994A/zh
Application granted granted Critical
Publication of CN109645994B publication Critical patent/CN109645994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑‑机接口***辅助评估视觉定位的方法，包括步骤：1)刺激选定，编排与实验范式的设计；2)信号采集；3)数据处理；4)统计检验评估标准。本发明方法结合CRS‑R的行为量表评估形式，构建视觉新异(oddball)范式的BCI***引导被试对移动的目标刺激产生凝视并根据脑电响应对其视觉定位一项进行评分，并确保评分的准确性与客观性。

Description

一种基于脑-机接口***辅助评估视觉定位的方法
技术领域
本发明涉及脑-机接口技术与电生理视觉诱发电位的技术领域，尤其是指一种基于脑-机接口***辅助评估视觉定位的方法。
背景技术
自从上个世纪初发现头皮脑电(electroencephalogram，EEG)信号后，它就被应用于神经***疾病辅助诊断、脑功能研究等方面。基于EEG的脑-机接口***使得人们无需借助传统的神经-肌肉通道直接实现大脑与外界的交流。通过研究脑电信号中各种诱发脑电信号、一些特定信号产生的机理、信源的空间位置及其相互关系去获取大脑对外部环境反应的直接信息的渠道，而脑-机接口便是实现这种可能的一个有效渠道。
目前对意识状态的评估主要依据行为量表观察，但行为反应容易因为患者感觉和运动障碍、气管切开、觉醒水平波动或疲劳等因素干扰而误诊，有研究显示约37-43％的意识障碍患者被临床诊断为植物状态实际上存在意识迹象。昏迷恢复量表-修订版(ComaRecovery Scale-Revised，CRS-R)被认为是众多量表中稳定性和诊断正确率都较高的“金标准”。CRS-R量表分为6个子量表，分别为听觉，视觉，运动，语言，交流，唤醒；每个子量表包含若干项目来检测患者当前的意识状态；比如视觉子量表包含：0-无反应，1-视觉惊吓反应，2–视觉定位，3–视觉追踪，4–物体定位：伸向物体，5–物体识别；这些项目的检测由临床医生或者专业评估人员对患者的行为反应作出判断并给出相应评分。其中视觉定位项目是通过在患者眼睑前方6-8英寸处放置色彩鲜艳或发光物体，然后快速向上、下、左、右视野移动。共4次测试。因为大部分意识障碍患者存在脑干病变或眼球外伤，这些将造成其眼睛的运动行为受到影响；以致于视觉定位的微小行为难以被观察到或者被漏检。显然，依靠行为评估不能很准确地检测出意识障碍患者存在视觉定位。
现有的各种行为量表对视觉定位的检测标准如下：采用一个色彩鲜艳或者发光的物体(有些量表中采用手指)作为视觉刺激置于患者正前方待其注视到后，开始向某个方向移动(上、下、左、右中随机选取一个)，患者的眼睛从初始的注视点跟随刺激物移动到新的目标点，并重新注视新的目标点2秒以上即被认为是存在视觉定位的，重复4次测试。如果患者在其中2次测试中都显示了视觉定位的行为，那么他/她在行为量表评估中被认为是存在视觉定位的，视觉子量表评分为2分或更高。如果不能达到此标准，那么临床评估者将对此患者进行较低一级项目的评分。
本发明根据视觉诱发电位P300的实验范式设计的脑-机接口(BCI)***辅助评估行为量表中的视觉定位项目，并根据实时结果给出视觉定位评估的分数。与行为量表对比，大脑对外界刺激的内源性的响应比起行为响应更为敏感、客观和准确。因此，采用脑-机接口***辅助行为量表中的视觉定位的评估是为了更为准确客观地获得此项目评分。
本发明的难点在于视觉定位-脑机接口实验范式的设计、检测视觉相关电位算法的实现。根据行为量表中的视觉定位评估方法和意识障碍被试的特点，选择相应的视觉刺激并检测大脑对刺激的内源性响应。视觉刺激的选择要尽量与行为量表一致，才能确保两种方法的可对比性。
发明内容
本发明的目的在于针对现有临床诊断技术中评估者主观性太强、被评估者自身受到眼球运动障碍的限制、现有的行为量表评估对于微小的行为反应判断标准模糊，容易造成漏检等缺陷，提出了一种基于脑-机接口***辅助评估视觉定位的方法，该方法结合CRS-R的行为量表评估形式，构建视觉新异(oddball)范式的BCI***引导被试对移动的目标刺激产生凝视并根据脑电响应对其视觉定位一项进行评分，并确保评分的准确性与客观性。
为实现上述目的，本发明所提供的技术方案为：一种基于脑-机接口***辅助评估视觉定位的方法，包括以下步骤：
1)刺激选定，编排与实验范式的设计
模拟行为量表中视觉定位项目的评估过程，设计脑-机接口程序，其用户交互界面为：采用色彩明亮的球体图片作为视觉刺激，随机选取上、下、左、右四个位置中的一个作为新的目标位置，同时，引导视觉定位行为的图片，即色彩明亮的球体出现在界面正中，此图片在实验开始后移动从而引导被试者从初始位置再次注视到新的目标位置；当移动的图片与目标位置图片重合时，四个位置的图片开始按照随机顺序闪烁；与行为量表评估一样，被试者被要求注视新的目标位置：上、下、左、右四个方向上随机选定的一个至少两秒以上；脑-机接口***通过检测到的事件相关电位，实时输出被试者当前注视的刺激图片位置；
2)信号采集
采用SynAmps2放大器和32通道的EEG电极帽来记录头皮脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOGR”“HEOGL”与“VEOGR”“VEOGL”两对通道用来记录眼球运动，以去除脑电信号中的伪迹；脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，脑电信号以250Hz-1000Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；
采用Microsoft Visual C++软件编写程序呈现视觉定位刺激任务，屏幕首先出现一个焦点提示被试者集中注意力，随后出现十字标记表示进入实验准备状态，实验开始后，界面中间的引导刺激键向目标方向匀速移动，其余四个键保持静止，移动过程耗时2.5-4秒，且时间/速度均能够任意调节；当移动的刺激键到达目标位置并完全覆盖目标键时，四个不同位置的刺激键开始随机闪烁，闪烁是刺激键从前景图片变为背景图片，背景图片持续呈现100-500毫秒；四个键均闪烁一次完成一轮刺激；每个trial包含n轮刺激，n＝1，2，3….，当n轮刺激完成后，脑-机接口***根据实验开始所选定的模式输出或者不输出反馈结果；如果是训练模式，脑-机接口***记录的数据用作训练分类器，不输出实时结果；如果是在线模式，脑-机接口***将分析采集到的每个trial的EEG数据，并输出被试者重新注视到的刺激键；如果目标刺激键诱发的事件相关电位被检测到，则认为被试者正确跟随并对新的目标点保持注视，在用户交互界面中显示“√”作为实时反馈；如果输出结果不是目标键，则不显示任何反馈；
3)数据处理
在线实验中，每个trial的n轮刺激任务呈现完毕后，数据被实时送入计算机中，脑-机接口***的检测算法通过P300解码矩阵对数据进行预处理、特征提取及分类，并根据输出结果呈现正性/负性反馈，P300解码算法首先假设在P300范式中包含一个目标和K-1个非目标，总共有K个刺激发生，用X＝(X(1),...,X(K))来表示每个刺激后所记录的EEG信号段，其中X(l)∈RC×T表示C通道与T时间点上的EEG数据，根据预定顺序将刺激后响应的EEG数据分类，刺激是随机地呈现给被试者的，令a∈(1,...,K)为被试者注意的真目标，则从K类选项中解码出目标的分类问题转化为如下公式：
fθ(X(l))＝<W,X(l)>+b (1)
式中，θ＝(W，b)；W∈RC×T是参数矩阵，b∈R是偏移量；是两个矩阵W和X(l)的内积；θ＝(W，b)是对所有输入X(l),(l＝1,...,K)共用，即pθ(a|X))看作是每个刺激后P300出现的概率；为了预测,假定检测模型fθ(X(l)),在给定X和相应的a时，将最大化后验概率p(a|X)如下公式所示：
这也就是说线性模型fθ(X(l))输出最大时，得到的X就是目标；在具体实验中，首先对每个通道的EEG信号进行下采样率为r的降维处理，r＝1，2，3…，然后将30个通道的所有降维数据连接成一个向量；如果下采用率是r，T为初始采样率获得的时间点，由初始采样率获得的时间点降为Td＝T/r，EEG的数据段变为代表C通道与Td时间点上的EEG数据；系数矩阵W按照以上提到的同样的方法被重新构建为向量w，因此，线性检测模型变为：
f(x(l))＝wTx(l)+b (4)
此模型能够直接应用于各线性分类器进行在线输出；wT是降维后的参数矩阵的转置矩阵；x(l)是降维后的输入信号；b是偏移量；假定检测模型f(x(l)),在给定x和相应的a时，则最大化后验概率如公式(5)所示
4)统计检验评估标准
准确率是由在线检测到的正确响应的任务的次数除以全部任务的次数而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据公式(6)进行卡方检测：
其中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为命中和不命中两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，自由度是分类项数k减1，即为1；当使用4种选择的脑-机接口BCI进行了20次任务判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是5和15；为了表明观察次数的显著性，即概率P≤0.05，在自由度为1时，检验统计量χ2需要大于3.84，即20次任务中，被试者需要在≥9个任务中正确响应，即正确率为45％；
对于完成20次在线任务的被试者中，认为正确率在显著水平45％以上，且同时存在P300波形的，就判定被试者在视觉定位这一项目中获得2分评分，否则将进行视觉惊吓项目的评估。
在步骤2)中，信号采集过程中，先让被试者就坐于刺激端显示器前，与显示器的距离为80-100cm，显示器高度调至平视水平，给被试者佩戴电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕，给被试者佩戴耳机。
在步骤3)中，对每位被试者进行2段实验：训练实验段与在线实验段，共40-80个trial；训练实验段的数据用于建立分类模型；在线实验段对采集到的数据进行实时分类并输出结果；训练实验段与在线实验段的EEG数据均进行0.1-20Hz的频率范围带通滤波，然后按照每个刺激键、每个通道提取出刺激开始后600毫秒的数据段；在30个通道，采样率为250Hz的脑-机接口***实验时，将产生一个30×150的数据矩阵，对这些数据进行基线校准，即减去刺激前100毫秒的平均值；随后再对此数据进行下采样，下采样率为6时，150个数据点变为25，将30个通道的数据段串连成750个元素的向量，同时把每个键的重复闪烁对应的数据向量平均起来，每个trial，每个刺激键后见一个特征向量，从训练实验段的数据中提取特征向量，训练分类器，在分类器中，对应的目标和非目标的特征向量分别被标注位1和-1；对于每个在线实验段的trial，训练的模型f(X (l))被应用到对应的四个刺激键的四个特征向量中，获得四个值；四个值中最大值所对应的刺激键被认为是探测到的目标；如果探测到的目标与实际目标一致，则这个trial正确响应。
在步骤4)中，计算每位被试者的在线实验段的正确率，正确率的计算是正确响应的trial数与在线实验段的总的trial数的比值；通过统计检验评估正确率的显著性并结合每位被试者的ERP波形来判断被试者是否存在视觉追踪；正确率的显著与否是按照步骤4)中的卡方检验进行的，对应20个trial的在线实验段，正确率大于45％被认为显著高于随机水平，同时为观察每位被试者的ERP波形，将每位被试者完成的40个trial的数据段按照重复的任务次数和刺激类型，即目标与非目标，平均并绘制出随时间变化的ERP波形图，通过潜伏期、波幅这些指标来判断被试者是否产生了合理的ERP波形；如果被试者在线正确率显著且ERP波形合理，则认为被试者存在视觉定位，并给予2分的评分；如果被试者没有产生合理的ERP波形，且命中率没有超过显著水平，认为其不存在视觉定位；另外一种情况是波形的潜伏期有差异，但命中率超过显著水平时，则被试者有待进一步观察。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明根据视觉新异实验诱发出事件相关电位P300，结合昏迷恢复量表CRS-R的视觉定位评估，通过随机播放刺激序列诱发事件相关电位P300，并由检测算法输出实时结果，同时对多次检测结果做统计检验分析完成视觉定位项目的评分，辅助量表的临床评估和研究。
2、本发明采用基于脑-机接口的检测方法，克服了临床行为量表和经验检测的对行为反应变化的敏感度不高、主观性太强等缺点，同时，与fMRI费用高、不便携(只能在大型医院的核磁共振室进行)以及严格的身体要求(不能带金属支架，不准移动身体等诸多限制)等相比，能更方便的应用到临床上。
3、本发明不但可以有效应用于昏迷恢复量表的评估和康复效果的跟踪，还可以为常规性的量表诊断提供科学客观的检测数据，以保证检测结果的真实性和有效性。
附图说明
图1为基于脑-机接口的视觉定位***图形化交互界面。
图2为5位被试者诱发的平均ERP波形图和大脑地形图。
在图1中，所示***的图形化交互界面中，界面中间首先出现“+”提醒被试者进入准备状态(Preparation)；实验开始后，界面中间的色彩明亮的球体图片开始向目标位置匀速移动(Moving)，其中目标位置是从上、下、左、右四个方向中随机选取的；当移动的图片与目标位置图片完全重合后，四个位置的图片开始按照随机顺序闪烁(Flashing randomly)，刺激过程(Stimulation)包含10轮(10Repetitions)，单轮刺激(Single Repetition)包含四个键均闪烁一次；反馈阶段(Feedback)由***算法判断被试者是否正确跟随并对新的目标点保持注视，如果正确跟随并保持注视，在界面中显示“√”作为实时反馈，持续2.5秒。如果没有，则不显示任何反馈。
在图2中，所示为5位被试者诱发的平均ERP波形图和大脑地形图，平均ERP波形图包含了六个通道，即“FCz”、“Cz”、“Pz”、“O1”、“Oz”和“O2”上-100ms—600ms时间段内的脑电平均幅值(Amplitude(μV))随时间(Time(ms))的变化；脑地形图展示了目标刺激(Target)与非目标刺激(Nontarget)所诱发的脑电成分位于不同的脑区。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例所提供的基于脑-机接口***辅助评估视觉定位的方法，其具体情况如下：
1)刺激选定，编排与实验范式的设计
模拟行为量表中视觉定位项目的评估过程，设计脑-机接口程序，如图1所示，其用户交互界面如下：采用色彩明亮的球体图片作为视觉刺激，随机选取上、下、左、右四个位置中的一个作为新的目标位置。同时，引导视觉定位行为的图片(色彩明亮的球体)出现在界面正中，此图片在实验开始后移动从而引导被试者从初始位置再次注视到新的目标位置。当移动的图片与目标位置图片重合时，四个位置的图片开始按照随机顺序闪烁。与行为量表评估一样，被试者被要求注视新的目标位置(上、下、左、右四个方向上随机选定的一个)至少两秒以上。脑-机接口***通过检测到的事件相关电位，如P300，实时输出被试者当前注视的刺激图片位置。
2)信号采集
采用SynAmps2放大器和32通道的EEG电极帽来记录头皮脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOGR”“HEOGL”与“VEOGR”“VEOGL”两对通道用来记录眼球运动，以去除脑电信号中的伪迹；脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；
采用Microsoft Visual C++软件编写程序呈现视觉定位刺激任务，屏幕首先出现一个焦点提示被试者集中注意力，随后出现十字标记表示进入实验准备状态，实验开始后，界面中间的引导刺激键向目标方向匀速移动，其余四个键保持静止，移动过程耗时约2.5秒(时间/速度均可调节)。当移动的刺激键到达目标位置并完全覆盖目标键时，四个不同位置的刺激键开始随机闪烁，闪烁是刺激键从前景图片变为背景图片，背景图片持续呈现100毫秒。四个键均闪烁一次完成一轮刺激。每个trial包含10轮刺激。当10轮刺激完成后，脑-机接口***根据实验开始所选定的模式输出或者不输出反馈结果。如果是训练模式，脑-机接口***记录的数据用作训练分类器，不输出实时结果；如果是在线模式，脑-机接口***将分析采集到的每个trial的EEG数据，并输出被试者重新注视到的刺激键。如果目标刺激键诱发的事件相关电位被检测到，则认为被试者正确跟随并对新的目标点保持注视，在用户交互界面中显示“√”作为实时反馈，持续2.5秒。如果输出结果不是目标键，则不显示任何反馈。
3)数据处理
在线实验中，每个trial的10轮刺激任务呈现完毕后，数据被实时送入计算机中，脑-机接口***的检测算法通过P300解码矩阵对数据进行预处理、特征提取及分类，并根据输出结果呈现正性/负性反馈，P300解码算法首先假设在P300范式中包含一个目标和K-1个非目标，总共有K个刺激发生。我们用X＝(X(1),...,X(K))来表示每个刺激后所记录的EEG信号段，其中X(l)∈RC×T表示C通道与T时间点上的EEG数据，我们根据预定顺序将刺激后响应的EEG数据分类，刺激是随机地呈现给被试者的，令a∈(1,...,K)为被试者注意的真目标，则从K类选项中解码出目标的分类问题转化为如下所示的公式：
fθ(X(l))＝<W,X(l)>+b (1)
式中，θ＝(W，b)；W∈RC×T是参数矩阵，b∈R是偏移量；是两个矩阵W和X(l)的内积；θ＝(W，b)是对所有输入X(l),(l＝1,...,K)共用，即pθ(a|X))看作是每个刺激后P300出现的概率；为了预测,假定检测模型fθ(X(l)),在给定X和相应的a时，将最大化后验概率p(a|X)如下公式所示：
这也就是说线性模型fθ(X(l))输出最大时，得到的X就是目标；在具体实验中，首先对每个通道的EEG信号进行下采样率为r的降维处理，r＝1，2，3…，然后将30个通道的所有降维数据连接成一个向量；如果下采用率是r，T为初始采样率获得的时间点，由初始采样率获得的时间点降为Td＝T/r，EEG的数据段变为代表C通道与Td时间点上的EEG数据；系数矩阵W按照以上提到的同样的方法被重新构建为向量w，因此，线性检测模型变为：
f(x(l))＝wTx(l)+b (4)
此模型能够直接应用于各线性分类器进行在线输出；wT是降维后的参数矩阵的转置矩阵；x(l)是降维后的输入信号；b是偏移量；假定检测模型f(x(l)),在给定x和相应的a时，则最大化后验概率如公式(5)所示
4)统计检验评估标准
准确率是由在线检测到的正确响应的任务的次数除以全部任务的次数而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据公式(6)进行卡方检测：
其中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为命中和不命中两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，自由度是分类项数k减1，即为1；当使用4种选择的BCI进行了20次任务判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是5和15；为了表明观察次数的显著性，即概率P≤0.05，在自由度为1时，检验统计量χ2需要大于3.84，即20次任务中，被试者需要在≥9个任务中正确响应，即正确率为45％；
对于完成20次在线任务的被试者中，认为正确率在显著水平45％以上，且同时存在P300波形的，就判定被试者在视觉定位这一项目中获得2分评分，否则将进行视觉定位项目的评估。
对每位被试者，我们采集20次任务的脑电信号，并对其进行0.1-10Hz的频率范围带通滤波，然后将每个通道信号分割成-100—600毫秒的数据单元，按照重复的任务次数和刺激次数平均，分为目标和非目标的ERP信号，画出它们的波形图，通过潜伏期、波幅等指标，由算法判断被试者是否产生了合理的ERP波形，且命中率显著(45％)，则判断被试者的视觉定位存在，并给予2分的评分。如果被试者没有产生合理的ERP波形，且命中率没有超过显著水平，认为其不存在视觉定位，将对其进行较低一级项目的检测。另外一种情况是波形的潜伏期有差异，但命中率超过显著水平时，则被试者有待进一步观察。
在实验中，5位被试者进行了20次任务后，平均命中率达84±3.4％，远超过显著水平(45％)。该5位被试者的平均ERP波形和分布图如图2所示，从图2的ERP波形中可以明显地观察到目标刺激(实线)诱发的N200、P300，而非目标波形(虚线)不含有。因此，被试者的ERP波形非常稳定，并都存在视觉定位。图2的脑地形图中观察到的N200主要分布在中央区域及颞叶，而P300则分布在相关顶叶与枕叶。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于脑-机接口***辅助评估视觉定位的方法，其特征在于，包括以下步骤：
1)刺激选定，编排与实验范式的设计
模拟行为量表中视觉定位项目的评估过程，设计脑-机接口程序，其用户交互界面为：采用色彩明亮的球体图片作为视觉刺激，随机选取上、下、左、右四个位置中的一个作为新的目标位置，同时，引导视觉定位行为的图片，即色彩明亮的球体出现在界面正中，此图片在实验开始后移动从而引导被试者从初始位置再次注视到新的目标位置；当移动的图片与目标位置图片重合时，四个位置的图片开始按照随机顺序闪烁；与行为量表评估一样，被试者被要求注视新的目标位置：上、下、左、右四个方向上随机选定的一个至少两秒以上；脑-机接口***通过检测到的事件相关电位，实时输出被试者当前注视的刺激图片位置；
2)信号采集
采用SynAmps2放大器和32通道的EEG电极帽来记录头皮脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOGR”“HEOGL”与“VEOGR”“VEOGL”两对通道用来记录眼球运动，以去除脑电信号中的伪迹；脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，脑电信号以250Hz-1000Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；
采用Microsoft Visual C++软件编写程序呈现视觉定位刺激任务，屏幕首先出现一个焦点提示被试者集中注意力，随后出现十字标记表示进入实验准备状态，实验开始后，界面中间的引导刺激键向目标方向匀速移动，其余四个键保持静止，移动过程耗时2.5-4秒，且时间/速度均能够任意调节；当移动的刺激键到达目标位置并完全覆盖目标键时，四个不同位置的刺激键开始随机闪烁，闪烁是刺激键从前景图片变为背景图片，背景图片持续呈现100-500毫秒；四个键均闪烁一次完成一轮刺激；每个trial包含n轮刺激，n＝1，2，3….，当n轮刺激完成后，脑-机接口***根据实验开始所选定的模式输出或者不输出反馈结果；如果是训练模式，脑-机接口***记录的数据用作训练分类器，不输出实时结果；如果是在线模式，脑-机接口***将分析采集到的每个trial的EEG数据，并输出被试者重新注视到的刺激键；如果目标刺激键诱发的事件相关电位被检测到，则认为被试者正确跟随并对新的目标点保持注视，在用户交互界面中显示“√”作为实时反馈；如果输出结果不是目标键，则不显示任何反馈；
3)数据处理
在线实验中，每个trial的n轮刺激任务呈现完毕后，数据被实时送入计算机中，脑-机接口***的检测算法通过P300解码矩阵对数据进行预处理、特征提取及分类，并根据输出结果呈现正性/负性反馈，P300解码算法首先假设在P300范式中包含一个目标和K-1个非目标，总共有K个刺激发生，用X＝(X(1),...,X(K))来表示每个刺激后所记录的EEG信号段，其中X(l)∈RC×T表示C通道与T时间点上的EEG数据，根据预定顺序将刺激后响应的EEG数据分类，刺激是随机地呈现给被试者的，令a∈(1,...,K)为被试者注意的真目标，则从K类选项中解码出目标的分类问题转化为如下公式：
fθ(X(l))＝<W,X(l)>+b (1)
式中，θ＝(W，b)；W∈RC×T是参数矩阵，b∈R是偏移量；是两个矩阵W和X(l)的内积；θ＝(W，b)是对所有输入X(l),(l＝1,...,K)共用，即pθ(a|X))看作是每个刺激后P300出现的概率；为了预测,假定检测模型fθ(X(l)),在给定X和相应的a时，将最大化后验概率p(a|X)如下公式所示：
这也就是说线性模型fθ(X(l))输出最大时，得到的X就是目标；在具体实验中，首先对每个通道的EEG信号进行下采样率为r的降维处理，r＝1，2，3…，然后将30个通道的所有降维数据连接成一个向量；如果下采用率是r，T为初始采样率获得的时间点，由初始采样率获得的时间点降为Td＝T/r，EEG的数据段变为代表C通道与Td时间点上的EEG数据；系数矩阵W按照以上提到的同样的方法被重新构建为向量w，因此，线性检测模型变为：
f(x(l))＝wTx(l)+b(4)
此模型能够直接应用于各线性分类器进行在线输出；wT是降维后的参数矩阵的转置矩阵；x(l)是降维后的输入信号；b是偏移量；假定检测模型f(x(l)),在给定x和相应的a时，则最大化后验概率如公式(5)所示
4)统计检验评估标准
准确率是由在线检测到的正确响应的任务的次数除以全部任务的次数而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据公式(6)进行卡方检测：
其中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为命中和不命中两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，自由度是分类项数k减1，即为1；当使用4种选择的脑-机接口BCI进行了20次任务判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是5和15；为了表明观察次数的显著性，即概率P≤0.05，在自由度为1时，检验统计量χ2需要大于3.84，即20次任务中，被试者需要在≥9个任务中正确响应，即正确率为45％；
对于完成20次在线任务的被试者中，认为正确率在显著水平45％以上，且同时存在P300波形的，就判定被试者在视觉定位这一项目中获得2分评分，否则将进行视觉惊吓项目的评估。
2.根据权利要求1所述的一种基于脑-机接口***辅助评估视觉定位的方法，其特征在于：在步骤2)中，信号采集过程中，先让被试者就坐于刺激端显示器前，与显示器的距离为80-100cm，显示器高度调至平视水平，给被试者佩戴电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕，给被试者佩戴耳机。
3.根据权利要求1所述的一种基于脑-机接口***辅助评估视觉定位的方法，其特征在于：在步骤3)中，对每位被试者进行2段实验：训练实验段与在线实验段，共40-80个trial；训练实验段的数据用于建立分类模型；在线实验段对采集到的数据进行实时分类并输出结果；训练实验段与在线实验段的EEG数据均进行0.1-20Hz的频率范围带通滤波，然后按照每个刺激键、每个通道提取出刺激开始后600毫秒的数据段；在30个通道，采样率为250Hz的脑-机接口***实验时，将产生一个30×150的数据矩阵，对这些数据进行基线校准，即减去刺激前100毫秒的平均值；随后再对此数据进行下采样，下采样率为6时，150个数据点变为25，将30个通道的数据段串连成750个元素的向量，同时把每个键的重复闪烁对应的数据向量平均起来，每个trial，每个刺激键后见一个特征向量，从训练实验段的数据中提取特征向量，训练分类器，在分类器中，对应的目标和非目标的特征向量分别被标注位1和-1；对于每个在线实验段的trial，训练的模型f(X (l))被应用到对应的四个刺激键的四个特征向量中，获得四个值；四个值中最大值所对应的刺激键被认为是探测到的目标；如果探测到的目标与实际目标一致，则这个trial正确响应。
4.根据权利要求1所述的一种基于脑-机接口***辅助评估视觉定位的方法，其特征在于：在步骤4)中，计算每位被试者的在线实验段的正确率，正确率的计算是正确响应的trial数与在线实验段的总的trial数的比值；通过统计检验评估正确率的显著性并结合每位被试者的ERP波形来判断被试者是否存在视觉追踪；正确率的显著与否是按照步骤4)中的卡方检验进行的，对应20个trial的在线实验段，正确率大于45％被认为显著高于随机水平，同时为观察每位被试者的ERP波形，将每位被试者完成的40个trial的数据段按照重复的任务次数和刺激类型，即目标与非目标，平均并绘制出随时间变化的ERP波形图，通过潜伏期、波幅这些指标来判断被试者是否产生了合理的ERP波形；如果被试者在线正确率显著且ERP波形合理，则认为被试者存在视觉定位，并给予2分的评分；如果被试者没有产生合理的ERP波形，且命中率没有超过显著水平，认为其不存在视觉定位；另外一种情况是波形的潜伏期有差异，但命中率超过显著水平时，则被试者有待进一步观察。
CN201910006686.8A 2019-01-04 2019-01-04 一种基于脑-机接口***辅助评估视觉定位的方法 Active CN109645994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910006686.8A CN109645994B (zh) 2019-01-04 2019-01-04 一种基于脑-机接口***辅助评估视觉定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910006686.8A CN109645994B (zh) 2019-01-04 2019-01-04 一种基于脑-机接口***辅助评估视觉定位的方法

Publications (2)

Publication Number Publication Date
CN109645994A true CN109645994A (zh) 2019-04-19
CN109645994B CN109645994B (zh) 2020-04-28

Family

ID=66118459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910006686.8A Active CN109645994B (zh) 2019-01-04 2019-01-04 一种基于脑-机接口***辅助评估视觉定位的方法

Country Status (1)

Country Link
CN (1) CN109645994B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244836A (zh) * 2019-04-22 2019-09-17 广东工业大学 一种通过p300脑波分析筛选游戏防沉迷警示色的方法
CN110353671A (zh) * 2019-07-09 2019-10-22 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法
CN111227825A (zh) * 2020-01-14 2020-06-05 华南理工大学 一种基于脑机接口***辅助评估声源定位的方法
CN111714120A (zh) * 2020-05-08 2020-09-29 广东食品药品职业学院 能进行视觉定位能力评估的脑机接口***及其应用
CN112200066A (zh) * 2020-10-09 2021-01-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
WO2021008086A1 (zh) * 2019-07-17 2021-01-21 西安交通大学 基于运动视觉诱发电位的视敏度检测方法
CN112545517A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种注意力训练方法和终端
CN112906346A (zh) * 2021-02-09 2021-06-04 江苏徐工工程机械研究院有限公司 一种工程机械显示器字符大小设计***及方法
CN113576496A (zh) * 2021-07-08 2021-11-02 华南理工大学 视觉追踪的脑机接口检测***
WO2021237429A1 (en) * 2020-05-25 2021-12-02 Center For Excellence In Brain Science And Intelligence Technology, Chinese Academy Of Sciences A systematic device and scheme to assess the level of consciousness disorder by using language related brain activity

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201667056U (zh) * 2009-12-21 2010-12-08 中国人民解放军第三军医大学第三附属医院 一种基于可编程门阵列的脑机接口视觉刺激器
CN102184018A (zh) * 2011-05-13 2011-09-14 天津大学 一种脑机接口***及其控制方法
WO2012013535A1 (en) * 2010-07-30 2012-02-02 Katholieke Universiteit Leuven Brain-computer interfaces and use thereof
CN103955270A (zh) * 2014-04-14 2014-07-30 华南理工大学 一种基于p300的脑机接口***的字符高速输入方法
CN104503580A (zh) * 2014-12-25 2015-04-08 天津大学 一种对稳态视觉诱发电位脑-机接口目标的识别方法
CN104758130A (zh) * 2015-03-23 2015-07-08 华南理工大学 一种基于脑机接口的智能护理装置及方法
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法
CN105496404A (zh) * 2015-11-25 2016-04-20 华南理工大学 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
US9489596B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Optimal rapid serial visual presentation (RSVP) spacing and fusion for electroencephalography (EEG)-based brain computer interface (BCI)
GB2550843A (en) * 2016-05-18 2017-12-06 Univ Ulster Headgear incorporating electrical measurement apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201667056U (zh) * 2009-12-21 2010-12-08 中国人民解放军第三军医大学第三附属医院 一种基于可编程门阵列的脑机接口视觉刺激器
WO2012013535A1 (en) * 2010-07-30 2012-02-02 Katholieke Universiteit Leuven Brain-computer interfaces and use thereof
US9489596B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Optimal rapid serial visual presentation (RSVP) spacing and fusion for electroencephalography (EEG)-based brain computer interface (BCI)
CN102184018A (zh) * 2011-05-13 2011-09-14 天津大学 一种脑机接口***及其控制方法
CN103955270A (zh) * 2014-04-14 2014-07-30 华南理工大学 一种基于p300的脑机接口***的字符高速输入方法
CN104503580A (zh) * 2014-12-25 2015-04-08 天津大学 一种对稳态视觉诱发电位脑-机接口目标的识别方法
CN104758130A (zh) * 2015-03-23 2015-07-08 华南理工大学 一种基于脑机接口的智能护理装置及方法
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法
CN105496404A (zh) * 2015-11-25 2016-04-20 华南理工大学 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
GB2550843A (en) * 2016-05-18 2017-12-06 Univ Ulster Headgear incorporating electrical measurement apparatus

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244836A (zh) * 2019-04-22 2019-09-17 广东工业大学 一种通过p300脑波分析筛选游戏防沉迷警示色的方法
CN110353671A (zh) * 2019-07-09 2019-10-22 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法
CN110353671B (zh) * 2019-07-09 2022-02-18 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法
WO2021008086A1 (zh) * 2019-07-17 2021-01-21 西安交通大学 基于运动视觉诱发电位的视敏度检测方法
CN111227825A (zh) * 2020-01-14 2020-06-05 华南理工大学 一种基于脑机接口***辅助评估声源定位的方法
CN111227825B (zh) * 2020-01-14 2021-06-08 华南理工大学 一种基于脑机接口***辅助评估声源定位的方法
CN111714120A (zh) * 2020-05-08 2020-09-29 广东食品药品职业学院 能进行视觉定位能力评估的脑机接口***及其应用
WO2021237429A1 (en) * 2020-05-25 2021-12-02 Center For Excellence In Brain Science And Intelligence Technology, Chinese Academy Of Sciences A systematic device and scheme to assess the level of consciousness disorder by using language related brain activity
CN112200066A (zh) * 2020-10-09 2021-01-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112200066B (zh) * 2020-10-09 2022-04-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112545517A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种注意力训练方法和终端
CN112906346A (zh) * 2021-02-09 2021-06-04 江苏徐工工程机械研究院有限公司 一种工程机械显示器字符大小设计***及方法
CN112906346B (zh) * 2021-02-09 2023-07-04 江苏徐工工程机械研究院有限公司 一种工程机械显示器字符大小设计***及方法
CN113576496A (zh) * 2021-07-08 2021-11-02 华南理工大学 视觉追踪的脑机接口检测***

Also Published As

Publication number Publication date
CN109645994B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109645994A (zh) 一种基于脑-机接口***辅助评估视觉定位的方法
CN105496404B (zh) 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
US4736751A (en) Brain wave source network location scanning method and system
CN111227825B (zh) 一种基于脑机接口***辅助评估声源定位的方法
CN105592798A (zh) 用于多模态生理刺激和脑健康的评估的***及签名
CN104921723B (zh) 一种基于多模态脑机接口的意识状态检测***
CN109893093A (zh) 一种隐式注视脑机接口的意识状态检测***
CN110600103B (zh) 一种提升视力的可穿戴智能服务***
CN108335728A (zh) 一种用于意识障碍患者的唤名促醒***
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
CN113576496B (zh) 视觉追踪的脑机接口检测***
CN113192600A (zh) 基于虚拟现实和眼动追踪的认知评估与矫正训练***
CN105662598A (zh) 一种大脑皮层功能区定位装置、方法和***
CN112732082A (zh) 基于附加汉字默读运动想象方式的脑-机接口方法
CN112675405A (zh) 基于虚拟现实的军人心理训练方法、设备及装置
CN110755041B (zh) 基于脑血流的模拟失重条件下工作记忆能力评价方法
CN109938727A (zh) 非人灵长类动物三维视觉刺激实验***和方法
CN113116306A (zh) 一种基于听觉诱发脑电信号分析的意识障碍辅助诊断***
CN106725463A (zh) 应用皮层脑电信号对大脑皮层手部功能区定位的方法和***
Tsuda et al. Analysis and identification of the EEG signals from visual stimulation
Cho et al. A study of alpha brain wave characteristics from MRI scanning in patients with anxiety disorder
Bi et al. A SSVEP brain-computer interface with the hybrid stimuli of SSVEP and P300
CN107595295A (zh) 一种基于大脑血红蛋白信息的下肢运动阻力状态的识别方法
CN103616500B (zh) 基于事件相关电位技术的服装压力评价方法
CN208709883U (zh) 非人灵长类动物用的三维视觉刺激实验***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220316

Address after: 510000 unit 03-04, 6 / F, building a, office building, 68 helix Avenue, Guangzhou International Biological Island, Huangpu District, Guangzhou, Guangdong Province (office only)

Patentee after: South China Brain Control (Guangdong) Intelligent Technology Co.,Ltd.

Address before: 511458 Guangdong, Guangzhou, Nansha District, 25 South Road, South China Road, Guangzhou, China

Patentee before: SOUTH CHINA University OF TECHNOLOGY