CN108919947A - 一种通过视觉诱发电位来实现的脑机接口***及方法 - Google Patents
一种通过视觉诱发电位来实现的脑机接口***及方法 Download PDFInfo
- Publication number
- CN108919947A CN108919947A CN201810634251.3A CN201810634251A CN108919947A CN 108919947 A CN108919947 A CN 108919947A CN 201810634251 A CN201810634251 A CN 201810634251A CN 108919947 A CN108919947 A CN 108919947A
- Authority
- CN
- China
- Prior art keywords
- stimulus
- eeg signals
- motion
- source
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种通过视觉诱发电位来实现的脑机接口***及方法,包括:分别产生具有不同运动速度和/或不同运动方向的刺激源;采集用户通过视觉感知多个刺激源中的目标刺激源时在大脑IVB层中产生的包含方向信息和/或速度信息的脑电信号;对脑电信号进行预处理;计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定目标刺激源;输出与目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。本发明提高了目标刺激源的判断精度,提供了足够多的识别目标用于对外部设备的控制,为脑部功能正常而语言、运动等功能受损的病人提供与外界进行沟通交流的途径。
Description
技术领域
本发明涉及医学信息智能处理技术领域,尤其是涉及一种基于运动方向及运动速度的通过视觉诱发电位来实现的脑机接口***及方法。
背景技术
基于脑电对运动方向视觉诱发响应的控制***是在人脑与计算机或其他电子设备之间建立的直接的交流和控制通道,通过这种通道将脑电信号直接转化成控制信号,以通过人脑来表达想法或操纵外接控制设备,不需要通过语言或肢体的动作。这种***与普通的人机接口的主要差别在于,前者不需要任何种类的肌肉响应,只需要直接检测反应大脑的响应性或目的性活动的信号。
在现有技术中,实现基于视觉诱发响应控制***的较为直接的方法有:
一、利用基于频率的稳态视觉诱发方法
当人眼注视大于4Hz的视觉刺激时,就会诱发大脑产生稳态视觉诱发信号。该信号与刺激源具有相同的基频和谐波频率。因此分析大脑诱发后产生的信号频率可判断出被试者眼睛注视的频率。实验中赋予不同频率光刺激信号以不同意义,即可推断出被试者具体的需求。
二、利用基于P300的视觉诱发方法
P300是一种事件相关电位,其峰值大约出现在事件发生300ms后,相关事件发生的概率越小,所引起的P300越显著。研究发现,P300是一种内源性成分,它不受刺激物理特性的影响,与人们的知觉或认知心理活动有关,并与人们的注意、记忆、智能等加工过程密切相关。因此,通过检测脑电信号峰值出现的时间即可找到对应时刻的视觉刺激目标,该目标即是人们脑中所想目标。
三、利用基于N200的视觉诱发方法
N200是指刺激出现200ms后的电位抑制现象,涉及词形的加工,在视觉通道呈现词汇会诱发N200,并出现重复增强现象。因此可以用于词形加工认知过程的研究也可以在分类识别后的***辨识及外部设备控制。
由于脑电信号幅度小,信噪比低,易受干扰,因此难以达到很高的目标判断的正确率和较快的脑电信号响应和处理速率。虽然经过多年发展,稳态视觉诱发领域已经有成熟的研究,分类正确率也有很大的提高,但是现有的脑机接口技术如稳态视觉诱发***的频率分辨率较低,导致在有限的诱发频率范围内可供诱发的频率数量有限,难以适用于指令数量要求较多的场合。
发明内容
为了解决上述技术问题,本发明实施例提供了一种用于通过视觉诱发电位来实现脑机接口的方法,包括以下步骤:控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动;采集用户通过视觉感知多个刺激源中的目标刺激源时在大脑IVB层中产生的包含方向信息和/或速度信息的脑电信号;对所述脑电信号进行预处理;计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定所述目标刺激源;输出与所述目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。
优选地,在计算脑电信号的能量,得到刺激源的运动方向步骤中,进一步包括:将所述脑电信号的幅度曲线作积分运算,得到相应的所述脑电信号的能量;根据所述脑电信号的能量,利用预设的能量与运动方向关系库,确定所述目标刺激源的运动方向。
优选地,在计算脑电信号的频率,得到刺激源的运动速度步骤中,进一步包括:将所述脑电信号进行频域转换处理,得到相应的所述脑电信号的频率;根据所述脑电信号的频率,利用预设的频率与运动速度关系库,确定所述目标刺激源的运动速度。
优选地,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,刺激源的运动方向规定为在每个视觉刺激器所在区域内的任一直线方向。
优选地,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,刺激源的运动速度规定为在每秒0~24L的范围内,其中,L表示每个刺激源在相应视觉刺激器所在区域内的运动长度。
优选地,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,还包括:编辑若干个刺激源数据,其中,所述刺激源数据包括:刺激源运动方向参数和刺激源运动速度参数;给每个所述视觉刺激器分配相应的所述刺激源数据。
优选地,在输出与所述目标刺激源对应的控制信号步骤中,还包括:根据所述目标刺激源对应的编码,利用预设的刺激源与标定信息关系,确定与所述目标刺激源对应的控制信号,其中,所述标定信息包括所述控制信号。
根据本发明实施例的另一方面,还提供了一种用于通过视觉诱发电位来实现的脑机接口***,该***包括:刺激发生模块,其具备多个视觉刺激器,用于控制所述多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动;电极,其安装在用户大脑IVB层,用于采集用户通过视觉感知多个刺激源中的目标刺激源时产生的包含方向信息和/或速度信息的脑电信号;预处理模块,其对所述脑电信号进行预处理;分析模块,其与所述预处理模块连接,计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定所述目标刺激源,进一步输出与所述目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。
优选地,所述分析模块包括:能量分析单元,其将所述脑电信号的幅度曲线作积分运算,得到相应的所述脑电信号的能量,并根据所述脑电信号的能量,利用预设的能量与运动方向关系库,确定所述目标刺激源的运动方向。
优选地,所述分析模块进一步包括:频率分析单元,其将所述脑电信号进行频域转换处理,得到相应的所述脑电信号的频率,并根据所述脑电信号的频率,利用预设的频率与运动速度关系库,确定所述目标刺激源的运动速度。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:
本发明提出了一种通过视觉诱发电位来实现的脑机接口***及方法,不仅提高了目标判断的正确率、***的信息传输率以及信号处理效率,而且能够提供足够多的识别目标用于与外界的交流和对外部设备的控制,为脑部功能正常而语言、运动等功能受损的病人提供一种与外界进行沟通交流和控制的途径。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的结构示意图。
图2为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***中分析模块13的结构框图。
图3为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***在采集到脑电信号后的信号处理流程图。
图4为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源运动方向(自左向右)与电位信号对应关系示意图。
图5为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源运动方向(自右向左)与电位信号对应关系示意图。
图6为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源循环刺激与电位信号对应关系示意图。
图7为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***中电极11安装位置示意图。
图8为本申请实施例的用于通过视觉诱发电位来实现脑机接口的方法的步骤图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
在实际应用过程中,由于脑电信号幅度小,信噪比低,易受干扰,因此难以达到很高的目标判断的正确率和较快的脑电信号响应和处理速率。虽然经过多年发展,稳态视觉诱发领域已经有成熟的研究,分类正确率也有很大的提高,但是现有的脑机接口技术如稳态视觉诱发***的频率分辨率较低,导致在有限的诱发频率范围内可供诱发的频率数量有限,难以适用于指令数量要求较多的场合。
因此,本申请实施例提出了一种视觉诱发电位脑机接口***及其实现方法。这种***通过预设的一种稳态视觉刺激方法,在频率诱发范围内加入了运动方向的视觉刺激参考量,在原有频率参考量对应的识别目标数量的基础上,提供了更多的识别目标,还建立了脑电信号能量与运动方向的关系和脑电频率与运动速度的关系,使得脑机接口***能够有效、快速的确定采集对象(用户或受试者)所注视的目标刺激源。进一步的,基于预设的刺激源与标定信息的对应关系,向外部控制设备发送驱动该设备实现用户希望达到的目标的控制信息,为脑部功能正常而语言、运动等功能受损的病人提供一种与外界进行沟通交流和控制的途径。
图1为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的结构示意图。如图1所示,该接口***具备刺激发生模块14、电极11、预处理模块12以及分析模块13。其中,刺激发生模块14具备若干个处于同一诱发界面的视觉刺激器(141、142…14X),用于控制多个视觉刺激器(141、142…14X)分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动。电极11安装在用户大脑IVB层,采集用户通过视觉感知多个刺激源中的目标刺激源时产生的包含方向信息和/或速度信息的脑电信号。预处理模块12对采集到的脑电信号分别进行包括放大、模数转换的预处理工作。分析模块13与预处理模块12连接,计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定目标刺激源,进一步输出与目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。
下面对视觉诱发电位脑机接口***的各个组成部分进行详细说明。
首先,对刺激发生模块14进行说明。刺激发生模块14包括若干视觉刺激器(141、142…14X)以及控制器(未图示)。多个视觉刺激器(141、142…14X)安装在同一视觉诱发界面上,同时,视觉诱发界面放置在用户视觉所及之处。每个视觉刺激器14X能够获取控制器分配的针对不同视觉刺激器(141、142…14X)的刺激源数据,在相应的刺激源数据的控制下使得每个视觉刺激器14X在所属区域内能够产生具有不同运动方向和/或运动速度的刺激源,进一步,使得每个刺激源14X以一定的运动速度沿规定的运动方向循环运动。另外,每个视觉刺激器14X均赋予一个对应的标定信息(在本例中,各视觉刺激器分别对应一个代表用户可能移动的方向的信息),并将这种对应关系作为刺激源与标定信息关系存储在分析模块13中。需要说明的是,每个视觉刺激器14X的类型包括LED流水灯、由运动部件承载的光源和由屏幕产生的运动光源中的一种,本申请对此不作具体限定,本领域技术人员可根据实际情况进行选择。在本例中,将用户需要前进的方向作为标定信息的一个具体示例。
具体地,每个视觉刺激器14X能够从控制器中获取到相应的刺激源数据,控制每个视觉刺激器14X所在区域内均产生与获取到的刺激源数据匹配的刺激源。其中,刺激源数据包括:刺激源形状参数、刺激源运动方向参数和刺激源运动速度参数等。下面针对刺激源数据有几点需要说明:第一、刺激源的运动方向规定为相应视觉刺激器所在区域内的任一直线的单一方向(例如:自左向右、自上向下、自右向左、自左下到右上等),该直线最好位于相应视觉刺激器所在区域的中部以便于用户区分不同区域的刺激源。第二、刺激源的运动速度设置在每秒0~24L的范围内,并且能够调节。在这个范围的运动速度下,使得用户看到的是连续移动的刺激源,不会出现闪频状态影响受试者,也就是说,不会因为用户的视觉暂留现象干扰实验。其中,L表示刺激源在相应视觉刺激器14X所属区域内刺激源的运动长度。第三、为了不对用户造成过多干扰,将每个视觉刺激器14X的刺激源形状设置为同种形状,并且其大小以用户可看清为原则。在本例中,采用对用户对刺激反映最佳的与竖轴平行的竖条形的刺激源形状,本申请对此不作具体限定。
接下来,对控制器进行说明。控制器与每个视觉刺激器14X连接,能够编辑若干个刺激源数据,给每个视觉刺激器14X分配相应的预先编辑完成的刺激源数据,以控制每个视觉刺激器14X按照相应的刺激源数据为用户提供视觉诱发操作(使得用户注视目标刺激源)。另外,在分析模块13最终确定出用户注视的目标刺激源后,控制器接收由分析模块13发送的刺激结束指令,将该指令进行识别并转化后发送至每个视觉刺激器14X,提示已分析出最终的视觉诱发结果,停止刺激源数据的输出,从而完成视觉刺激过程。需要说明的是,控制器可以分为若干单元集成于各视觉刺激器14X中进行控制,也可以集成于一个器件中,本申请对控制器的结构不作具体限定。
更进一步地说,在控制器编辑刺激源数据过程中,首先,控制器分别获取编辑刺激源数据的基本参数:不同的刺激源运动方向参数、不同的刺激源运动速度参数以及刺激源形状参数。然后,将多个视觉刺激器(141、142…14X)分成若干组,其中,每组至少包括一个视觉刺激器14X。接着,按照分组结果,将上述基本参数,分别写入预设的刺激源数据格式中,完成刺激源数据的编辑工作。
(第一个实施例)当目标诱发数量的需求较小时,上述刺激源数据可以仅赋予每个刺激源以不同的运动方向或者不同的运动速度。但这种仅利用单一参数定义刺激动作的方法,在刺激源逐渐增多时,使得设定参数的间隔会逐渐减小,由于用户个体差异的不同,用户对这种间隔差较小的刺激的响应不敏感,因此,考虑到这种情况,本发明提出了将二者进行结合的设定方法。另外,上述将刺激源数据仅以不同的刺激源运动方向或者仅以不同的刺激源运动速度区别的方法,也在本发明的保护范围之内,该种方法在诱发目标数量较小时,对于用户而言仍有很好的刺激效果,使得分析模块13获得理想的脑电信号。
(第二个实施例)在视觉刺激器的需求数量较多的情况时,可根据刺激源运动速度和刺激源运动方向的二维组合关系为每个视觉刺激器14X分配不同的刺激源数据。具体地,将每组视觉刺激器分配不同的运动方向参数,并将同组视觉刺激器分配不同的运动速度参数,其中,同一组内的各视觉刺激器14X配置有相同的运动方向信息。也就是说,将已设置为同一运动方向的刺激源的运动速度进行不同的设计,以保证每个刺激源数据中的刺激源运动方向和刺激源运动速度中至少有一个参数与其他视觉刺激器的刺激源数据不同。因此,利用标定不同运动速度和不同运动方向的刺激源,来提供大量诱发目标,从而增加了用户的方位信息的选择数量,避免了因只标定单一参数时带来的误差。
参考图1,在本例中,视觉诱发电位脑机接口***中的电极11用于在用户通过视觉诱发感知多个刺激源中代表目标信息(用户将希望实现的标定信息作为目标信息,并注视相应目标信息所对应的刺激源)的目标刺激源时,采集大脑IVB层中产生的包含方向信息和/或速度信息的脑电信号。具体地,通过电生理实验证明,大脑纹状皮层的IVα层细胞具有方向选择性,IVα层细胞向上投射至IVB层,使IVB层的细胞同样具有方向选择性。因此,可以通过记录IVB层的细胞产生的脑电信号的能量,推算出用户对应眼睛注视的物体运动的方向。
在本例中,电极11采用侵入式电极,将电极采集端置于大脑纹状皮层的IVB层,位置涵盖PO7、PO8、O1、O2、Oz、PO3、PO4、POz等区域,在用户注视代表目标信息(方位)的刺激源时,直接采集具有方向选择性的细胞产生的脑电信号。图7为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***中电极11安装位置示意图。如图7所示,图中粗线条处的区域表示电极11的安装位置。
另外,这些具有方向选择性的细胞对沿其长轴的狭缝光条或暗条的反映最佳,而对垂直于其长轴的刺激,即使有刺激也非常弱,因此,在本例中,刺激源的最佳形状参数设置为(竖)条状光刺激,以使得用户对当前视觉刺激保持最佳的响应效果。当人们需要传达某一指令或执行某一操作时,需要注视该操作对应的刺激源。由于不同方向光刺激产生的能量不同,这样便可以通过分辨出固定时间内的脑电信号能量就可知道人们注视的光刺激沿哪一方向运动。
预处理模块12位于电极11和分析模块13之间,包括信号放大单元(未图示)和A/D转换单元(未图示)。具体地,(参考图3)由于采集到的脑电信号十分微弱,因此,在进行信号的识别之前必须将采集到的脑电信号进行放大处理。信号放大单元与电极11连接,可将采集到的脑电信号进行放大,其中,需要将信号放大单元的增益范围设计为1000~4000,并且其通带范围为1~50Hz,从而提高脑电信号的信噪比。另外,A/D转换单元分别与信号放大单元和分析模块13连接,对上述放大后的脑电信号进行模数转换处理,将获取到的模拟的脑电信号转换成数字的脑电信号,而后,发送至分析模块13进行下一步的特征提取及分类工作。其中,分析模块13可以采用具备MCU、CPU或DSP等器件的处理器进行分析,本发明对分析模块13的形式不作具体限定。
图2为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***中分析模块13的结构框图。如图2所示,分析模块13包括滤波单元131、能量分析单元132、频率分析单元133、目标查找单元134和结果输出单元135。图3为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***在采集到脑电信号后的信号处理流程图。下面结合图2和图3对分析模块13的组成及信号处理过程进行详细说明。
滤波单元131与上述A/D转换单元连接,需要先通过滤波单元131将上述经过预处理后的脑电信号进行数字滤波处理,滤除包括工频干扰、肌肉动作电位干扰和基线漂移干扰的干扰成分,得到待分析的脑电信号。
能量分析单元132获取从滤波单元131处得到的待分析的脑电信号,将该信号的幅度曲线进行积分运算,计算出相应的脑电信号的能量,并根据脑电信号的能量,利用预设的能量与运动方向关系库,确定目标刺激源的运动方向。图4为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源运动方向(自左向右)与电位信号对应关系示意图。图5为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源运动方向(自右向左)与电位信号对应关系示意图。其中,图4和图5的黑色部分表示视觉刺激器14X所属区域,图4下半部分表示刺激源(运动光刺激)从左向右运动时用户的脑电信号,图5下半部表示刺激源(运动光刺激)从右向左运动时用户的脑电信号。从图4和图5中可以看出,用户对于不同运动方向的刺激源所生成的脑电信号是不同的,相应地,脑电信号的能量也是不同的。因此,我们可以通过脑电信号的能量来判断用户所注视的视觉刺激的运动方向。
由于方向信息蕴含在脑电信号的能量之中,为了得到能量信息需要对脑电信号幅度曲线做积分变换。在有限的时间内,信号的能量是有限的,满足绝对可积条件,并且利用如下表达式表示脑电信号的能量:
式中,v(t)表示待分析的脑电幅度信号的幅度曲线,t表示刺激源完成单次完整刺激所用的时间,E表示脑电信号的能量。
能量分析单元132存储有能量与运动方向关系库,建立该关系库时,需要让不同实验对象感受各种刺激源运动方向的刺激动作。具体地,要求实验对象多次注视沿某一方向运动的刺激源,分别记录下相应的脑电信号,同时计算出对应的脑电信号的能量,将多次实验后得到的脑电信号的能量累加平均后,得到该方向对应的脑电信号的能量。然后,对不同运动方向的视觉刺激源重复该过程,进一步得到每种刺激源运动方向下对应的脑电信号能量的范围,从而完成能量与运动方向关系库的构建。在能量分析单元132计算出当前脑电信号的能量后,能够利用上述能量与运动方向关系库,直接对应出相应的目标刺激源的运动方向,并把该方向和/或与该方向对应的编码发送至目标查找单元134中。
接着,对频率分析单元133进行说明。图6为本申请实施例的用于通过视觉诱发电位来实现的脑机接口***的刺激源循环刺激与电位信号对应关系示意图。如图6所示,当某一视觉刺激器14X内的刺激源以预设的固定速度循环通过视觉感受野(用户注视的位置)时,就会诱发出以一定频率出现的脑电信号。因此,可以通过判断诱发脑电的频率来推算出所注视的光源刺激是以怎样的速度运动的,进而知道用户想要传达的指令或想要执行的操作。
具体地,频率分析单元133将经滤波处理后的待分析的脑电信号进行时域-频域转换处理,将脑电频域-幅度曲线函数中的最大幅度值处出现的频率作为脑电信号的频率,进一步根据脑电信号的频率,利用预设的频率与运动速度关系库,确定目标刺激源的运动速度,并将该速度值和/或与该速度值对应的编码发送至目标查找单元134中。其中,刺激源的运动速度越快,诱发出的脑电信号的频率就越高。需要说明的是,频率分析单元134存储有频率与运动速度关系库。频率与运动速度关系库在构建时,需要让不同实验对象感受不同刺激源运动速度的刺激动作。具体的,要求实验对象多次注视沿同一方向运动但运动速度不同的视觉刺激源,分别记录不同运动速度诱发出的脑电信号的频率,从而得到每种刺激源运动速度下对应的脑电信号频率的范围,从而完成频率与运动方向关系库的构建。
当确定了刺激源的运动方向和/或运动速度后,目标查找单元134获取相应的编码,从预先设定好的刺激源关系参数列表中,查找出相对应的刺激源,该刺激源即为用户注视的代表目标信息的目标刺激源,并将目标刺激源的编码发送至结果输出单元135中。目标查找单元134存储有刺激源关系参数列表,该列表记录诱发界面中每个视觉刺激器14X对应的刺激源运动速度参数(编码)和运动方向参数(编码)。
最后,对结果输出单元135进行说明。结果输出单元135具有预设的刺激源与标定信息关系,刺激源与标定信息关系的个数根据视觉刺激器的数量、受试者需求目标的数量等因素进行设定,将每个视觉刺激器14X均赋予不同的用户想要实现的目标的信息(即标定每个刺激源所对应的具有不同意义的信息,这种具有不同意义的信息为标定信息,能够通过确定用户视觉感知后的目标刺激源,输出与目标刺激源对应的用户想要实现的意义)。在结果输出模块135接收到上述目标查询单元134发送的目标刺激源所对应的编码时,该模块135利用预设的刺激源与标定信息关系,确定与目标刺激源对应的控制信号,输出目标刺激源编码对应的控制信号,以便驱动与结果输出单元135连接的外部控制设备,实现用户希望达到的目标(例如:驱动轮椅设备向用户希望前进的目标方向移动)。其中,在本例中,标定信息包括控制信号,即利用控制信号表示标定信息的具体内容。另外,结果输出单元135还能够与外接终端设备连接,将已规定的刺激源与标定信息关系的所包含的信息进行变更、增加或者删除。
需要说明的是,上述标定信息规定为同种类实施信息中的任意一种可能性信息,其中,实施信息可以表示用户的运动方向类、日常生活动作类以及日常生活语言类等其中一类信息。在本例中,将用户的运动方向类信息(用户需要的所有想要前进的方向)作为实施信息的一个具体示例,其中,各种可能移动的方向为不同的标定信息,在用户选择其中一种代表其当前希望前进的方向时,将该方向作为目标(目标方向)。
另外,本发明还提出了一种用于视觉诱发电位脑机接口的方法。图8为本申请实施例的用于通过视觉诱发电位来实现脑机接口的方法的步骤图。如图8所示,该方法包括如下步骤:首先,在步骤S810中,编辑若干个包括刺激源运动方向参数和刺激源运动速度参数的刺激源数据,再给每个视觉刺激器14X分配相应的刺激源数据,接着,控制多个视觉刺激器(141、142…14X)分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动。具体地,刺激源的运动方向规定为在视觉刺激器14X的所属区域内的任一直线方向。刺激源的运动速度规定为在每秒0~24L的范围内,其中,L表示刺激源在视觉刺激器14X所属区域内的运动长度。
然后,进入到步骤S820中,在用户注视产生视觉刺激的若干刺激源中代表目标信息的目标刺激源时,由安装在用户大脑纹状皮层中的IVB层的电极11,采集包含方向信息和/或速度信息的脑电信号。接着,进入到步骤S830中,利用预处理模块12将采集到的脑电信号分别进行放大、模数转换的预处理工作。
最后,(步骤S840)分析模块13计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定目标刺激源,进一步输出与目标刺激源对应的已标定目标信息的控制信号,以利用上述控制信号,驱动能够辅助用户的外部控制设备来实现采集对象希望达到的目标。具体地,在步骤S840中,将上述经过预处理后的脑电信号先进行滤除干扰成分的处理工作,以进行分析处理。再将待分析的脑电信号的幅度曲线作积分运算,得到相应的脑电信号的能量,并根据脑电信号的能量,利用预设的能量与运动方向关系库,确定目标刺激源的运动方向。另外,还需要将待分析的脑电信号进行频域转换处理,得到相应的脑电信号的频率,并根据脑电信号的频率,利用预设的频率与运动速度关系库,确定目标刺激源的运动速度。最终,(步骤S850)再利用分析模块13确定目标刺激源,根据目标刺激源对应的编码,利用预设的刺激源与标定信息关系,确定与目标刺激源对应的控制信号,其中,标定信息包括控制信号。
本发明实施例提出了一种基于运动方向及运动速度感知的视觉诱发电位脑机接口***及其实现方法。该***根据计算出的脑电信号的能量和频率值,分别根据已构建完成的能量-运动方向关系和频率-运动速度关系,直接确定出具有相应运动方向和运动速度的目标刺激源,以锁定代表用户意图的目标刺激源,从而利用与该刺激源对应的控制信息驱动外部控制设备,实现采集对象希望达到的目标。这种方法在频率诱发范围内加入了运动方向范围的诱发因素,扩大了诱发目标的数量范围,同时由于该***不会产生频率闪烁,用户不会产生视觉疲劳,对用户刺激较低。因此,本发明为脑部功能正常而语言、运动等功能受损的病人提供一种与外界进行沟通交流和控制的途径,为人们提供一种全新的人机交互方式(如:将人脑作为智能家具的控制终端),提高人们生活的智能化。
虽然本发明所披露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所披露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种用于通过视觉诱发电位来实现脑机接口的方法,包括以下步骤:
控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动;
采集用户通过视觉感知多个刺激源中的目标刺激源时在大脑IVB层中产生的包含方向信息和/或速度信息的脑电信号;
对所述脑电信号进行预处理;
计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定所述目标刺激源;
输出与所述目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。
2.根据权利要求1所述的方法,其特征在于,在计算脑电信号的能量,得到刺激源的运动方向步骤中,进一步包括:
将所述脑电信号的幅度曲线作积分运算,得到相应的所述脑电信号的能量;
根据所述脑电信号的能量,利用预设的能量与运动方向关系库,确定所述目标刺激源的运动方向。
3.根据权利要求1或2所述的方法,其特征在于,在计算脑电信号的频率,得到刺激源的运动速度步骤中,进一步包括:
将所述脑电信号进行频域转换处理,得到相应的所述脑电信号的频率;
根据所述脑电信号的频率,利用预设的频率与运动速度关系库,确定所述目标刺激源的运动速度。
4.根据权利要求1~3中任一项所述的方法,其特征在于,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,刺激源的运动方向规定为在每个视觉刺激器所在区域内的任一直线方向。
5.根据权利要求1~4中任一项所述的方法,其特征在于,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,刺激源的运动速度规定为在每秒0~24L的范围内,其中,L表示每个刺激源在相应视觉刺激器所在区域内的运动长度。
6.根据权利要求1~5中任一项所述的方法,其特征在于,在控制多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源步骤中,还包括:
编辑若干个刺激源数据,其中,所述刺激源数据包括:刺激源运动方向参数和刺激源运动速度参数;
给每个所述视觉刺激器分配相应的所述刺激源数据。
7.根据权利要求1~6中任一项所述的方法,其特征在于,在输出与所述目标刺激源对应的控制信号步骤中,还包括:
根据所述目标刺激源对应的编码,利用预设的刺激源与标定信息关系,确定与所述目标刺激源对应的控制信号,其中,
所述标定信息包括所述控制信号。
8.一种用于通过视觉诱发电位来实现的脑机接口***,其特征在于,该***包括:
刺激发生模块,其具备多个视觉刺激器,用于控制所述多个视觉刺激器分别产生具有不同运动速度和/或不同运动方向的刺激源,以使得每个刺激源以一定的运动速度沿规定的运动方向循环运动;
电极,其安装在用户大脑IVB层,用于采集用户通过视觉感知多个刺激源中的目标刺激源时产生的包含方向信息和/或速度信息的脑电信号;
预处理模块,其对所述脑电信号进行预处理;
分析模块,其与所述预处理模块连接,计算脑电信号的能量,得到刺激源的运动方向,以及计算脑电信号的频率,得到刺激源的运动速度,确定所述目标刺激源,进一步输出与所述目标刺激源对应的控制信号,以驱动能够辅助用户的外部控制设备来实现用户希望达到的目标。
9.根据权利要求8所述的***,其特征在于,所述分析模块包括:
能量分析单元,其将所述脑电信号的幅度曲线作积分运算,得到相应的所述脑电信号的能量,并根据所述脑电信号的能量,利用预设的能量与运动方向关系库,确定所述目标刺激源的运动方向。
10.根据权利要求8或9所述的***,其特征在于,所述分析模块进一步包括:
频率分析单元,其将所述脑电信号进行频域转换处理,得到相应的所述脑电信号的频率,并根据所述脑电信号的频率,利用预设的频率与运动速度关系库,确定所述目标刺激源的运动速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810634251.3A CN108919947B (zh) | 2018-06-20 | 2018-06-20 | 一种通过视觉诱发电位来实现的脑机接口***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810634251.3A CN108919947B (zh) | 2018-06-20 | 2018-06-20 | 一种通过视觉诱发电位来实现的脑机接口***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108919947A true CN108919947A (zh) | 2018-11-30 |
CN108919947B CN108919947B (zh) | 2021-01-29 |
Family
ID=64421125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810634251.3A Active CN108919947B (zh) | 2018-06-20 | 2018-06-20 | 一种通过视觉诱发电位来实现的脑机接口***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108919947B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021008087A1 (zh) * | 2019-07-17 | 2021-01-21 | 西安交通大学 | 基于运动视觉诱发电位的对比敏感度检测方法 |
CN113662551A (zh) * | 2021-08-24 | 2021-11-19 | 深圳康佳电子科技有限公司 | 基于智能眼罩的睡眠监测处理方法、装置、智能眼罩 |
CN117180618A (zh) * | 2023-10-25 | 2023-12-08 | 常州凯南迪克医疗科技有限公司 | 用于强化记忆和学习的闭环神经电刺激器 |
CN117493779A (zh) * | 2024-01-03 | 2024-02-02 | 小舟科技有限公司 | 一种降低视觉疲劳的ssvep信号处理方法、装置、设备及介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050085744A1 (en) * | 2003-10-20 | 2005-04-21 | Stmicroelectronics S.R.I. | Man-machine interfaces system and method, for instance applications in the area of rehabilitation |
US20090005698A1 (en) * | 2007-06-29 | 2009-01-01 | Yu-Cheng Lin | Method and device for controlling motion module via brainwaves |
CN101477405A (zh) * | 2009-01-05 | 2009-07-08 | 清华大学 | 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法 |
CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
US20090289895A1 (en) * | 2008-01-25 | 2009-11-26 | Toru Nakada | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
CN102063180A (zh) * | 2010-10-29 | 2011-05-18 | 西安交通大学 | 基于hht高频组合编码稳态视觉诱发电位脑机接口方法 |
US20130072775A1 (en) * | 2011-06-03 | 2013-03-21 | John Rogers | Conformable Actively Multiplexed High-Density Surface Electrode Array for Brain Interfacing |
CN105411580A (zh) * | 2015-10-27 | 2016-03-23 | 中国航天员科研训练中心 | 一种基于触听觉诱发电位的脑控轮椅*** |
US20160158553A1 (en) * | 2007-09-26 | 2016-06-09 | Medtronic, Inc. | Patient directed therapy control |
CN106155323A (zh) * | 2016-07-05 | 2016-11-23 | 西安交通大学 | 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法 |
CN107066091A (zh) * | 2017-03-17 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种脑机接口p300信号特征体感诱发装置及其应用方法 |
CN107212883A (zh) * | 2017-05-24 | 2017-09-29 | 天津理工大学 | 一种基于脑电控制的机械臂写字装置及控制方法 |
CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人***及其训练方法 |
CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
CN107714331A (zh) * | 2017-09-13 | 2018-02-23 | 西安交通大学 | 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法 |
US20180081621A1 (en) * | 2016-09-19 | 2018-03-22 | Apple Inc. | Assistive apparatus having accelerometer-based accessibility |
CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制*** |
-
2018
- 2018-06-20 CN CN201810634251.3A patent/CN108919947B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050085744A1 (en) * | 2003-10-20 | 2005-04-21 | Stmicroelectronics S.R.I. | Man-machine interfaces system and method, for instance applications in the area of rehabilitation |
US20090005698A1 (en) * | 2007-06-29 | 2009-01-01 | Yu-Cheng Lin | Method and device for controlling motion module via brainwaves |
US20160158553A1 (en) * | 2007-09-26 | 2016-06-09 | Medtronic, Inc. | Patient directed therapy control |
US20090289895A1 (en) * | 2008-01-25 | 2009-11-26 | Toru Nakada | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
CN101477405A (zh) * | 2009-01-05 | 2009-07-08 | 清华大学 | 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法 |
CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
CN102063180A (zh) * | 2010-10-29 | 2011-05-18 | 西安交通大学 | 基于hht高频组合编码稳态视觉诱发电位脑机接口方法 |
US20130072775A1 (en) * | 2011-06-03 | 2013-03-21 | John Rogers | Conformable Actively Multiplexed High-Density Surface Electrode Array for Brain Interfacing |
CN105411580A (zh) * | 2015-10-27 | 2016-03-23 | 中国航天员科研训练中心 | 一种基于触听觉诱发电位的脑控轮椅*** |
CN106155323A (zh) * | 2016-07-05 | 2016-11-23 | 西安交通大学 | 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法 |
US20180081621A1 (en) * | 2016-09-19 | 2018-03-22 | Apple Inc. | Assistive apparatus having accelerometer-based accessibility |
CN107066091A (zh) * | 2017-03-17 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种脑机接口p300信号特征体感诱发装置及其应用方法 |
CN107212883A (zh) * | 2017-05-24 | 2017-09-29 | 天津理工大学 | 一种基于脑电控制的机械臂写字装置及控制方法 |
CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人***及其训练方法 |
CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
CN107714331A (zh) * | 2017-09-13 | 2018-02-23 | 西安交通大学 | 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法 |
CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制*** |
Non-Patent Citations (2)
Title |
---|
ZHENG DEZHI: "《Digital EEG signal acquiring system based on FPGA》", 《2017 13TH IEEE INTERNATIONAL CONFERENCE ON ELECTRONIC MEASUREMENT & INSTRUMENTS(ICEMI)》 * |
张力: "《基于脑机接口的视觉刺激器的研究与实现》", 《东北大学》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021008087A1 (zh) * | 2019-07-17 | 2021-01-21 | 西安交通大学 | 基于运动视觉诱发电位的对比敏感度检测方法 |
CN113662551A (zh) * | 2021-08-24 | 2021-11-19 | 深圳康佳电子科技有限公司 | 基于智能眼罩的睡眠监测处理方法、装置、智能眼罩 |
CN117180618A (zh) * | 2023-10-25 | 2023-12-08 | 常州凯南迪克医疗科技有限公司 | 用于强化记忆和学习的闭环神经电刺激器 |
CN117180618B (zh) * | 2023-10-25 | 2024-03-29 | 常州凯南迪克医疗科技有限公司 | 用于强化记忆和学习的闭环神经电刺激器 |
CN117493779A (zh) * | 2024-01-03 | 2024-02-02 | 小舟科技有限公司 | 一种降低视觉疲劳的ssvep信号处理方法、装置、设备及介质 |
CN117493779B (zh) * | 2024-01-03 | 2024-03-15 | 小舟科技有限公司 | 一种降低视觉疲劳的ssvep信号处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108919947B (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107315478B (zh) | 一种运动想象上肢智能康复机器人***及其训练方法 | |
CN102319067B (zh) | 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪 | |
CN108919947A (zh) | 一种通过视觉诱发电位来实现的脑机接口***及方法 | |
CN109224242B (zh) | 基于vr交互的心理放松***及方法 | |
CN104978035B (zh) | 基于体感电刺激诱发p300的脑机接口***及其实现方法 | |
CN106569604B (zh) | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 | |
CN104965584B (zh) | 基于ssvep与osp的混合脑‑机接口方法 | |
CN106267514B (zh) | 基于脑电反馈的情绪调控*** | |
CN106407733A (zh) | 基于虚拟现实场景脑电信号的抑郁症风险筛查***和方法 | |
CN105956624B (zh) | 基于空时频优化特征稀疏表示的运动想象脑电分类方法 | |
CN106377252A (zh) | 一种基于虚拟现实的生物信息反馈*** | |
CN105771087A (zh) | 基于音乐和肌电反馈刺激的康复训练*** | |
CN106362287A (zh) | 一种新型mi‑sssep混合脑‑机接口方法及*** | |
CN109173063A (zh) | 一种3d扫描的经颅磁刺激***及经颅磁刺激方法 | |
CN106502405A (zh) | 基于同步性复合肢体想象动作多模态脑机接口方法及*** | |
CN104571504B (zh) | 一种基于想象动作的在线脑‑机接口方法 | |
CN110262658B (zh) | 一种基于强化注意的脑机接口字符输入***及实现方法 | |
CN109247917A (zh) | 一种空间听觉诱发p300脑电信号识别方法及装置 | |
CN108721048A (zh) | 康复训练控制方法、计算机可读存储介质和终端 | |
CN106502410A (zh) | 提高脑‑机接口中运动想象能力的经颅电刺激装置和方法 | |
CN112137616A (zh) | 一种多感觉脑-体联合刺激的意识检测装置 | |
CN109567936B (zh) | 一种基于听觉注意和多焦电生理的脑机接口***和实现方法 | |
CN109284009B (zh) | 一种提高听觉稳态响应脑-机接口性能的***及方法 | |
CN101339413B (zh) | 基于脑电中人脸识别特异性波的开关控制方法 | |
CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |