CN110007769A - 一种基于异步脑机接口的交流***和方法 - Google Patents

一种基于异步脑机接口的交流***和方法 Download PDF

Info

Publication number
CN110007769A
CN110007769A CN201910304658.4A CN201910304658A CN110007769A CN 110007769 A CN110007769 A CN 110007769A CN 201910304658 A CN201910304658 A CN 201910304658A CN 110007769 A CN110007769 A CN 110007769A
Authority
CN
China
Prior art keywords
signal
eeg signals
interface
stroboscopic
visual stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910304658.4A
Other languages
English (en)
Inventor
高诺
杨玉娜
张彦彦
高志栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN201910304658.4A priority Critical patent/CN110007769A/zh
Publication of CN110007769A publication Critical patent/CN110007769A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于异步脑机接口的交流***及方法,所述***包括:显示装置,用于显示视觉刺激界面,所述视觉刺激界面上包括多个闪烁频率不同的频闪块;信号采集装置,用于实时采集脑电信号,并传输至计算装置;计算装置,被配置为:实时接收脑电信号并进行分析,当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块;根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从而将脑电信号转换为一个或多个可读字符串。本发明通过检测Alpha波实现了***“空闲”和“工作”状态的区分,实现了异步的BCI***。

Description

一种基于异步脑机接口的交流***和方法
技术领域
本发明属于通信技术领域,尤其涉及一种基于异步脑机接口的交流系 统和方法。
背景技术
脑卒中(Stroke),又称“中风”,是一种急性脑血管疾病,由脑部血管突 然破裂或血管阻塞导致血液不能流入大脑而引起的脑组织损伤或功能障 碍。据报道,脑卒中后,23%—76%的患者可出现抑郁,给患者带来了一系 列问题,言语障碍是其抑郁产生的重要因素,言语障碍使得他们无法表达 自己的意图,给患者的治疗和生活造成了巨大的困难,也给其家庭和社会 带来沉重的疾病负担,已经成为我国重大的公共卫生问题。但是,随着人 们生活质量的提高,对于已发生脑卒中的病人及其家属不再仅满足于保住 性命,更希望因疾病所致的功能障碍能够得到恢复或有所改善,从而使生 存质量得到提高,并回归社会及家庭。因此,对于为数众多的存在言语障 碍的脑卒中患者来说,为其提供一种有效的沟通、交流***,改善患者的 语言状况显得尤为重要。
存在言语障碍的脑卒中患者,大多数也存在肢体功能上的障碍,一般 的交流手段无法为其服务。近些年来随着脑科学、计算机科学、信号处理 技术的快速发展,脑机接口(Brain-Computer Interface,BCI)技术给那些具有 严重功能障碍的患者带来了福音。BCI是一种不依赖于大脑外周神经与肌 肉组成的正常输出通路的通讯控制***。脑机接口技术通过采集患者的脑 电信号(Electroencephalography,EEG),对这些脑电信号进行处理、分析,识 别出引起这些脑电变化的意图,再使用计算机语言进行编程,这样就把人 的思维活动转换成相应的命令信号驱动外部设备。因此,BCI技术能有效 增强脑卒中语言障碍患者进行语言表达的能力,改善患者的语言状况。Middendorf等研究人员实现了基于稳态视觉诱发电位的BCI***,他们 实验的显示屏幕上显示了一些软件实现的按钮,它们各自代表了不同闪烁 频率,当受试者注视其中某一个按钮时,通过软件来分析在视觉区域采集到稳态视觉诱发电位信号,就可知道受试者注视过的按钮是哪个,这就通 过特征提取实现了与外部设备进行通讯的目的。2015年,清华大学Chen X 等人提出了一种联合调频(jointfrequency-phase modulation,JFPM)方法来设 计一个40个字符的拼字器,将视觉刺激的频率个数扩展到40个,改善了 因SSVEP-BCIs所能提供的指令集较小而在其性能上受到的限制,也为利用 BCI实现汉字拼写的提供了在指令集上的可能。这些都说明了通过脑机接口,其诱发出的SSVEP能判断使用者的控制意图,进而可以实现相应的控 制。
当前的BCI***一般为同步模式,该模式的BCI***要求用户必须在 预定的时间进入特定的精神状态,对使用者的使用造成了阻碍,具体表现 为:启动***后就进入了SSVEP检测状态,使用者需要马上开始通过注视 视觉刺激的方式进行输入,但是,在刚刚启动***时,使用者往往会有一 个短暂的注意力不集中的精神过渡阶段,也就是说,***刚刚启动时,使 用者难以马上进入有效的输入状态。此外,目前的BCI拼写器可以较好的 完成字母、数字、标点、笔画等的输入,满足了一定的需求,但这仅停留 于屏幕上的文字,对于汉字而言,通过有拼音和笔画两种输入方式,但是, 对于拼音输入方式,相同的声母和韵母往往对应五个声调,并且,即使是 同一个声调也对应很多个汉字,而对于笔画输入方式,相邻两个笔画即使 是相同顺序也可对应多个汉字,尽管上述问题可以参考适用于计算机各类 输入法中通过选择候选字的方式进行选择,但是对于BCI***而言,选择 候选字的操作较为复杂。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于异步脑机接口的 交流***和方法,通过检测Alpha波来区分***工作和空闲状态,实现了 异步的BCI***。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种基于异步脑机接口的交流***,包括:
显示装置,用于显示视觉刺激界面,所述视觉刺激界面上包括多个闪 烁频率不同的频闪块;
信号采集装置,用于实时采集脑电信号,并传输至计算装置;
计算装置,被配置为:
实时接收脑电信号并进行分析,当检测到Alpha波时,进入SSVEP信 号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
一个或多个实施例提供了一种基于异步脑机接口的交流方法,包括以 下步骤:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
一个或多个实施例提供了一种计算装置,包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序 时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
一个或多个实施例提供了一种计算机可读存储介质,其上存储有计算 机程序,该程序被处理器执行时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
以上一个或多个技术方案存在以下有益效果:
本发明通过将Alpha波作为SSVEP信号检测阶段开启的标志,通过对 用户睁眼、闭眼状态下EEG信号的分析与识别实现对用户“空闲”和“工 作”状态的检测,从而完成了异步BCI***的实现,即,采集装置实时采 集脑电波信号,当检测到Alpha波时,开始进行SSVEP信号检测,使用者 可以主动的选择何时开始输入,避免了***刚刚启动时精神过渡阶段可能 发生的输入错误,且实现方式简单,便于用户的使用。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解, 本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不 当限定。
图1为本发明一个或多个实施例中基于异步脑机接口的语音交流*** 框图;
图2为本发明一个或多个实施例中基于异步脑机接口的语音交流方法 流程图;
图3为本发明一个或多个实施例中视觉刺激界面图示意图;
图4为本发明一个或多个实施例中脑电帽电极分布图;
图5为本发明一个或多个实施例中TRCA方法的示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的 说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属 技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非 意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文 另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的 是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步 骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组 合。
实施例一
本实施例公开了一种基于异步脑机接口的语音交流***,本***的整 体框图如图1所示。***包含显示装置、信号采集装置和计算装置五个部 分。
其中,显示装置,用于显示视觉刺激界面,所述视觉刺激界面上包括 多个闪烁频率不同的频闪块。
本实施例中,视觉刺界面利用Matlab的Psychtoolbox(PTB)工具箱 实现,使用刷新率60帧/秒、分辨率为1920×1080像素的液晶显示器。视觉 刺激界面如图3所示,刺激目标由33个频闪块组成,刺激目标的频率分别 设为8Hz、9Hz、10Hz、11Hz、12Hz、13Hz、14Hz、15Hz、8.4Hz、9.4Hz、 10.4Hz、11.4Hz、12.4Hz、13.4Hz、14.4Hz、15.4Hz、8.6Hz、9.6Hz、10.6Hz、 11.6Hz、12.6Hz、13.6Hz、14.6Hz、15.6Hz、7.8Hz、8.8Hz、9.8Hz、10.8Hz、11.8Hz、12.8Hz、13.8Hz、14.8Hz、15.8Hz。屏幕底色为黑色,频闪刺激块 为白色,其上的字母、符号为黑色。进一步地,这些不同频率的频闪块分 别对应26个字母、5个声调,以及删除和确认指令。
信号采集装置,用于实时采集脑电信号并进行方法,随后传输至计算 装置。
本实施例中,脑电采集设备采用的32通道无线脑电采集***(包括脑电 帽、无线脑电放大器以及无线路由器),例如博睿康科技有限公司(Neuracle) 的无线脑电采集***。脑电采集的采样频率设置为250Hz,本***需要记 录10个电极输出的信号,分别为T5、P3、Pz、P4、T6、PO3、PO4、O1、 Oz、O2处,图4为电极,导联位置符合国际10-20标准,实验中保持电极 阻抗在5k欧姆以下。EEG分析***不只在线采集数据并且可以保存数据 以便之后对数据做离线分析。
计算装置,被配置为:
步骤1:实时接收脑电信号并进行分析,当检测到Alpha波时,进入 SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块;
步骤2:根据闪烁频率与输入指令之间的对应关系,获取相应的输入指 令,从而将脑电信号转换为一个或多个可读字符串;
所述可读字符串包括一位或多位字母和一位数字,对应于一个拼音。 其中,一位或多位字母即该拼音对应的字母,一位数字即该拼音的声调。
步骤3:所述计算装置基于可读字符串,获取相应的音频进行播放;
具体地,所述计算装置预存语音库,每条语音对应一个拼音,采用该 拼音对应的字母和声调的组合形式命名。所述计算装置基于可读字符串中 的字母和声调,从语音库中调取相应的音频进行播放。
所述步骤1中,Alpha波的检测(异步的实现)方法如下:
在睁眼状态和闭眼状态下,O1电极处的脑电波幅值(8~12Hz)存在显著 差异。在闭眼状态下,Alpha波的振幅明显大于睁眼状态时。该特征可用于 检测波的出现。通过对Alpha波的实时检测实现异步模式,使用Alpha波作 为SSVEP信号分析阶段开启的标志。
阈值的计算:采集用户20个试验脑电图信号,其中包括10个闭眼状 态试验和10个睁开眼状态试验。每次试验持续3秒。对每组实验的数据去 均值后做快速傅里叶变换(FastFourier Transformation,FFT)将其转化到 频域上,取每次试验8-12Hz的信号幅值作为特征值,按照式(1)计算阈 值。
其中,Mthreshold表示状态区分的阈值,表示睁眼状态下频域特征 值的平均值,表示闭眼状态下频域特征值的平均值。
Alpha波的检测:取3秒O1通道的数据,去均值、做FFT处理后取特 征值M,然后按式(2)进行检测:
其中,state表示状态。如果状态等于1,表示***已经检测到Alpha 波,会发出“哔”的一声,提醒用户开始注视视觉刺激界面,开启对SSVEP 的识别。如果状态等于-1意味着没有Alpha波,***保持空闲状态,继续进 行Alpha波的检测。从而实现异步的BCI***。
所述步骤1中,SSVEP信号频率识别方法包括:
对10个通道的信号进行处理。
先对SSVEP信号进行2Hz到40Hz的带通滤波,消除高频及工 频干扰。滤波算法采用5阶Butterworth滤波器。再应用基于任务相 关成分分析(task-related componentanalysis,TRCA)的目标识别算法 进行SSVEP信号频率的分类。方法的示意图如图5所示。
TRCA是通过最大化任务期间内的再现性,高效提取任务相关成分的 方法。假设有两个源信号:①任务相关信号s(t)属于R;②任务不相关信号 n(t)属于R。
对于观测到的多通道脑电信号x(t)的线性生成模型设为:
xj(t)=a1,js(t)+a2,jn(t),j=1,2,...,Nc (3)
j是通道的索引,a1,j和a2,j是源信号到EEG信号映射的混合系数,Nc是通道的数量,问题是从观测信号x(t)中找到与任务相关的分量s(t)。
理想上,当时,y(t)=s(t)。
第h次训练试验的EEG信号为x(h)(t),第h次训练试验的估计得任 务相关成分为y(h)(t),h=1,2,...,Nt。y(h)(t)的时间为t∈[th,th+T], T是每个任务实验的持续时间。第h1和第h2次训练试验之间的协方差为:
空间滤波器w可以通过最大化训练实验之间的协方差得到。Nt为训练 实验的数目。
其中,被定义为:
为了得到一个有限的解,将之间的方差限制为1,即
最终的目标函数是:
最优解是矩阵Q-1S的特征向量。总体空间滤波器W被定义为:
其中:代表第k个刺激的空间滤波器,Nf表 示刺激的数目。被用来识别目标字符的特征系数为:
其中:ρ()表示Pearson相关系数,X表示测试实验数据,表示训 练数据的均值。
通过使用滤波器组分析的方法,可以更好地利用嵌入到SSVEP谐波成 分中的信息。原始的SSVEP信号X会首先被分解为不同的子频带成分 (X(n),n=1,2,...,m),然后根据式(11)对所有子带成分的特征系数的平 方进行加权求和:
其中,Nm为子带的总数目,a(m)=m-1.25+0.25,目标类别Lτ被定义 为:
其中,Nf为视觉刺激的数目。即,在所有的指令类别中,预测的该SSVEP 信号类别为最大的累加特征系数所对应的类别。
所述步骤3中,所述语音库为根据汉语语音的拼读原则建立的能够表 达最大范围中文语音的最小语音库。具体地,为了达到脑卒中患者能够进 行简单交流的目的,建立专用语音库。语音库中的音频读音来源于金山在 线词典,所有的字符共计2055个,其中除<无汉字203>文件夹内发音不准 与无发音36个外,拼音,字母,数字,符号共1886个。这1886个音频文 件包含1816个中文拼音、31个符号、26个字母和10个数字;其中,每个 中文拼音包含5种发音,其中数字代表声调,1-阴平、2-阳平、3-上声、4- 去声、5-轻声;另外,音频文件的格式为wav:16bit/16KHZ采样。总体来 说,语音库最大的特点是所有拼音都是同一个人发音,分类明确,并且包 含患者进行简单交流的所有汉字拼音。所述语音库中包含所有拼音的发音, 且每个音频文件对应一个拼音,采用该拼音对应的字母和声调的组合形式 命名。同时,建立拼音和音频文件的对应关系。
由于基于视觉刺激进行输入的速度较慢,为了实现连读,以接收到确 认指令为界,来区分不同的汉字,当相邻两个确认指令之间的时间间隔超 过一定阈值时,在该时间间隔进行断句,将每相邻两个断句之间的汉字为 一组进行连续输出,从而更符合交流习惯。
本***的工作流程如图2所示。脑电帽会一直采集用户的脑电信号, 直到检测到用户的Alpha波(用户闭眼3秒左右的时间即可),***会发出 “哔”的一声,提示用户可进行对视觉刺激界面的注视,***开启进入对 SSVEP信号的采集和处理。用户将想要表达的语意转化为相应的汉语拼音 及其声调,每个频闪块注视3秒时间,相应的拼音字母或音调便会出现在 屏幕上方的输入框中,如果输入错误可注视“×”频闪块将前一个输入删除, 直至输入完成后注视“√”频闪块完成输入,进入语音库库调用相应的语音文 件,将其转化为相应的发音,通过声音的方式输出用户想要表达的话。
实施例二
本实施例的目的是提供一种基于异步脑机接口的交流方法。
一种基于异步脑机接口的交流方法,如图2所示,包括以下步骤:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
实施例三
本实施例的目的是提供一种计算装置。
一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器 上运行的计算机程序,所述处理器执行所述程序时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器 执行时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉 刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP 信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从 而将脑电信号转换为一个或多个可读字符串。
以上实施例二、三和四中涉及的各步骤与实施例一相对应,具体实施方 式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为 包括一个或多个指令集的单个介质或多个介质;还应当被理解为包括任何 介质,所述任何介质能够存储、编码或承载用于由处理器执行的指令集并 使处理器执行本发明中的任一方法。
以上一个或多个实施例具有以下技术效果:
通过将Alpha波作为SSVEP信号检测阶段开启的标志,通过对用户睁 眼、闭眼状态下EEG信号的分析与识别实现对用户“空闲”和“工作”状 态的检测,从而完成了异步BCI***的实现,即,采集装置实时采集脑电 波信号,当检测到Alpha波时,开始进行SSVEP信号检测,使用者可以主 动的选择何时开始输入,避免了***刚刚启动时精神过渡阶段可能发生的 输入错误,且实现方式简单,便于用户的使用。
采用拼音输入的方式,在视觉刺激界面上设置26个字母和5个音调, 通过SSVEP信号检测获取由字母和声调组成的可读字符串(对应一个完整 的拼音);同时,建立语音库,并为每个声调的每个拼音建立语音文件,并 用字母组合+声调的方式命名,获取可读字符串后,调取相应的语音文件并 播放,对于正常人而言,仅通过连续的语音就可以实现语句的理解,因而 通过上述方式,避免了通过屏幕显示文字的方式中所需要的候选词选择步骤,大大减少了用户注视视觉刺激界面的次数,从而减少了用户注视视觉 刺激界面的时间,在不影响正常沟通的前提下,简化了操作步骤,提高了 效率。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用 的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来 实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它 们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成 单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于 本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精 神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明 的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本 发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案 的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或 变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于异步脑机接口的交流***,其特征在于,包括:
显示装置,用于显示视觉刺激界面,所述视觉刺激界面上包括多个闪烁频率不同的频闪块;
信号采集装置,用于实时采集脑电信号,并传输至计算装置;
计算装置,被配置为:
实时接收脑电信号并进行分析,当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从而将脑电信号转换为一个或多个可读字符串。
2.如权利要求1所述的一种基于异步脑机接口的交流***,其特征在于,多个闪烁频率不同的频闪块所对应的输入指令包括:26个字母、5个声调,以及删除和确认指令;每个可读字符串包括一个或多个字母和一个数字,分别对应一个拼音中的字母和声调。
3.如权利要求1所述的一种基于异步脑机接口的交流***,其特征在于,Alpha波的确定方法为:
针对特定通道,获取连续的n秒信号并转换到频域上;
提取设定幅值范围内的信号作为特征值,当特征值超过设定阈值时,判定为检测到Alpha波。
4.如权利要求3所述的一种基于异步脑机接口的交流***,其特征在于,其中,所述设定阈值的确定方法为:
在***初始化节点,获取用户多个闭眼状态下的脑电信号数据和多个睁眼状态下的脑电信号数据,这些信号数据的时长均为n秒;
将这些信号数据转换到频域上;
提取设定幅值范围内的信号作为特征值,分别计算闭眼状态下特征值的均值和睁眼状态下特征值的均值,将二者的均值作为设定阈值。
5.如权利要求1所述的一种基于异步脑机接口的交流***,其特征在于,SSVEP信号识别的方法为:
对接收到的信号进行带通滤波处理;
基于任务相关成分分析进行SSVEP信号频率的分类。
6.如权利要求2所述的一种基于异步脑机接口的交流***,其特征在于,所述计算装置还连接音频播放装置,用于将所述可读字符串以语音的形式播放。
7.如权利要求6所述的一种基于异步脑机接口的交流***,其特征在于,所述计算装置预存语音库,每条音频文件对应一个拼音,采用该拼音对应的字母和声调的组合形式命名;
所述计算装置基于可读字符串中的字母和声调,从语音库中调取相应的音频文件进行播放。
8.一种基于异步脑机接口的交流方法,其特征在于,包括以下步骤:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从而将脑电信号转换为一个或多个可读字符串。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从而将脑电信号转换为一个或多个可读字符串。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现:
实时接收用户观看视觉刺激界面时的脑电信号并进行分析,所述视觉刺激界面上包括多个闪烁频率不同的频闪块;
当检测到Alpha波时,进入SSVEP信号识别模式,基于每个SSVEP信号的类型确定所对应的频闪块频率;
根据闪烁频率与输入指令之间的对应关系,获取相应的输入指令,从而将脑电信号转换为一个或多个可读字符串。
CN201910304658.4A 2019-04-16 2019-04-16 一种基于异步脑机接口的交流***和方法 Pending CN110007769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304658.4A CN110007769A (zh) 2019-04-16 2019-04-16 一种基于异步脑机接口的交流***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304658.4A CN110007769A (zh) 2019-04-16 2019-04-16 一种基于异步脑机接口的交流***和方法

Publications (1)

Publication Number Publication Date
CN110007769A true CN110007769A (zh) 2019-07-12

Family

ID=67172251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304658.4A Pending CN110007769A (zh) 2019-04-16 2019-04-16 一种基于异步脑机接口的交流***和方法

Country Status (1)

Country Link
CN (1) CN110007769A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110575334A (zh) * 2019-09-16 2019-12-17 山东宝德龙健身器材有限公司 基于脑机接口控制的智能拍背型电动病床***
CN111078001A (zh) * 2019-11-20 2020-04-28 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN111273578A (zh) * 2020-01-09 2020-06-12 南京理工大学 基于Alpha波和SSVEP信号控制的实时脑控机器人***及控制方法
CN112783314A (zh) * 2019-11-07 2021-05-11 中国科学院上海高等研究院 基于ssvep的脑机接口刺激范式生成、检测方法、***、介质、终端
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114138109A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN114138107A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114746830A (zh) * 2019-11-20 2022-07-12 奈克斯特曼德公司 视觉脑机接口
CN116010783A (zh) * 2023-01-06 2023-04-25 上海大学 一种rsvp弱隐目标诱发脑电识别方法、装置及存储介质
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679249A (zh) * 2015-03-06 2015-06-03 南京邮电大学 一种基于diva模型的汉语脑机接口实现方法
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及***
CN109065184A (zh) * 2018-07-12 2018-12-21 山东建筑大学 基于脑机接口的脑卒中患者语音交流看护控制***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679249A (zh) * 2015-03-06 2015-06-03 南京邮电大学 一种基于diva模型的汉语脑机接口实现方法
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及***
CN109065184A (zh) * 2018-07-12 2018-12-21 山东建筑大学 基于脑机接口的脑卒中患者语音交流看护控制***及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MASAKI NAKANISHI等: "Enhancing Detection of SSVEPs for a High-Speed Brain Speller Using Task-Related Component Analysis", 《 IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
江京等: "整合贝叶斯动态停止策略对SSVEP-BCIs 的性能提升研究", 《仪器仪表学报》 *
王磊等: "基于脑电alpha波及运动想象的在线脑机接口***设计", 《中国组织工程研究与临床康复》 *
高诺等: "基于脑机接口的脑卒中患者语音看护***", 《生物医学工程研究》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110575334A (zh) * 2019-09-16 2019-12-17 山东宝德龙健身器材有限公司 基于脑机接口控制的智能拍背型电动病床***
CN112783314B (zh) * 2019-11-07 2023-04-18 中国科学院上海高等研究院 基于ssvep的脑机接口刺激范式生成、检测方法、***、介质、终端
CN112783314A (zh) * 2019-11-07 2021-05-11 中国科学院上海高等研究院 基于ssvep的脑机接口刺激范式生成、检测方法、***、介质、终端
CN114746830A (zh) * 2019-11-20 2022-07-12 奈克斯特曼德公司 视觉脑机接口
CN111078001A (zh) * 2019-11-20 2020-04-28 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN111078001B (zh) * 2019-11-20 2023-04-14 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN111273578A (zh) * 2020-01-09 2020-06-12 南京理工大学 基于Alpha波和SSVEP信号控制的实时脑控机器人***及控制方法
CN114138109A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN114138107A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114138109B (zh) * 2021-10-19 2024-04-12 杭州回车电子科技有限公司 基于脑机交互的ar设备
CN116010783A (zh) * 2023-01-06 2023-04-25 上海大学 一种rsvp弱隐目标诱发脑电识别方法、装置及存储介质
CN116010783B (zh) * 2023-01-06 2024-06-07 上海大学 一种rsvp弱隐目标诱发脑电识别方法、装置及存储介质
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法

Similar Documents

Publication Publication Date Title
CN110007769A (zh) 一种基于异步脑机接口的交流***和方法
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
Zhu et al. Seriality of semantic and phonological processes during overt speech in Mandarin as revealed by event-related brain potentials
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别***
CN106407733A (zh) 基于虚拟现实场景脑电信号的抑郁症风险筛查***和方法
CN103690165A (zh) 一种跨诱发模式情绪脑电识别建模方法
CN110059575A (zh) 一种基于表面肌电唇语识别的辅助沟通***
CN109065184B (zh) 基于脑机接口的脑卒中患者语音交流看护控制***及方法
CN111856958A (zh) 智能家居控制***、控制方法、计算机设备及存储介质
CN106725452A (zh) 基于情感诱发的脑电信号识别方法
CN111930238B (zh) 基于动态ssvep范式的脑机接口***实现方法及装置
Sengupta et al. Anomaly in neural phase coherence accompanies reduced sensorimotor integration in adults who stutter
CN104571504B (zh) 一种基于想象动作的在线脑‑机接口方法
CN110141258A (zh) 一种情绪状态检测方法、设备及终端
CN108186030A (zh) 一种刺激信息提供装置和潜能值测验的认知指标分析方法
CN109871831A (zh) 一种情感识别方法及***
Coulson Electrifying results
CN104966423B (zh) 一种基于生物反馈的远程学习者分类方法
CN109567936A (zh) 一种基于听觉注意和多焦电生理的脑机接口***和实现方法
Parmar et al. A novel and efficient Wavelet Scattering Transform approach for primitive-stage dyslexia-detection using electroencephalogram signals
CN116595437B (zh) 零校准迁移学习分类模型的训练方法、设备和存储介质
Karimi et al. Comparison of the P300 detection accuracy related to the BCI speller and image recognition scenarios
Gembler et al. Suitable number of visual stimuli for SSVEP-based BCI spelling applications
Eqlimi Exploring neural markers modulated by learning from speech in environmental noise using single-trial EEG
Papachristodoulou et al. Augmenting the navigation of complex data sets using sonification: a case study with BrainX 3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination