CN107329571A - 一种面向虚拟现实应用的多通道自适应脑机交互方法 - Google Patents

一种面向虚拟现实应用的多通道自适应脑机交互方法 Download PDF

Info

Publication number
CN107329571A
CN107329571A CN201710517402.2A CN201710517402A CN107329571A CN 107329571 A CN107329571 A CN 107329571A CN 201710517402 A CN201710517402 A CN 201710517402A CN 107329571 A CN107329571 A CN 107329571A
Authority
CN
China
Prior art keywords
brain
user
computer interface
interface client
ssvep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710517402.2A
Other languages
English (en)
Other versions
CN107329571B (zh
Inventor
李远清
瞿军
肖景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710517402.2A priority Critical patent/CN107329571B/zh
Publication of CN107329571A publication Critical patent/CN107329571A/zh
Application granted granted Critical
Publication of CN107329571B publication Critical patent/CN107329571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种面向虚拟现实应用的多通道自适应脑机交互方法，该***由脑机接口客户端、多通道通讯模块和虚拟现实显示模块三大部件组成，脑机接口客户端通过脑电采集设备与用户的大脑相连接，采集的脑电信号通过分类识别算法得到解码信息。同时，脑机接口客户端通过多通道通讯模块与虚拟现实显示模块相连。在多通道通讯模块中，通过多线程同步通讯技术，同时连接多台脑机接口客户端并实现客户端与显示模块之间的双向通讯。脑机接口客户端可以接受由虚拟现实场景反馈的状态信息，并将状态信息与脑电解码信息进行联合编码得到脑机接口的控制命令输出，从而使控制命令能够自适应地根据虚拟场景状态的变化而变化。解决了目前基于虚拟现实的脑机交互方法中存在的单用户、单一功能的局限性。

Description

一种面向虚拟现实应用的多通道自适应脑机交互方法
技术领域
本发明虚拟现实领域，具体涉及一种面向虚拟现实应用的多通道自适应脑机交互方法。
背景技术
为帮助严重身体有缺陷的人群解决交流互动问题，在1991年Wolpaw等人发表了通过改变脑电信号中的μ节律幅度来控制光标移动的成果，提出了一种全新的自动控制概念-大脑驱动控制技术BAC，简称脑电控制，与手动控制、语音控制相比，脑电控制为利用大脑脉冲信号去控制计算机、发动机或者其它装置。只需要提取相关脑电信号，经过预处理后，经过计算机模式识别分类后，就能通过不同的分类的信号，驱动计算机完全不同功能。自从BAC技术问世以来，由于该项技术巨大的应用前景，可以应用于病人康复、军事演练、场景模拟等，各国大量的研究人员投入了巨大的精力对相关技术进行了研究，目前该项技术也存在不少相关的专利，例如申请为201610749276.9和201710067795.1的发明旨在使用脑机接口方法提取用户大脑的运动想象信号，去控制虚拟现实场景中的手或上肢的运动，对患者进行康复训练；
申请号为201410140712.3和201510286802.8的发明是将虚拟现实眼镜或头盔作为显示设备，利用脑电信号去控制虚拟现实场景的变化。
但是在上述已有的面向虚拟现实应用的脑机交互技术专利文件中，实现的功能仅仅是将脑机接口与虚拟现实***进行单向、单通道的连接，因此只能完成单用户脑电信号对虚拟场景的单一控制功能，对于多用户脑电协同控制以及多功能复合控制的实现无能为力，因此针对上述存在的缺陷，提供一种面向虚拟现实应用的多通道自适应脑机交互方法。
发明内容
本发明针对现有技术的不足，提出一种面向虚拟现实应用的多通道自适应脑机交互方法，具体技术方案如下：
一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：
采用以下步骤，
步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；
步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生对应与脑机接口客户端对应的SSVEP开关按钮；
步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；
步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号，
步骤5：判断使用者是否启动对应的SSVEP开关按钮，
若该SSVEP开关按钮启动，则进入步骤6；
否则，使用者脑机接口客户端继续保持待机状态；
步骤6：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对SSVEP脑电信号检测；
步骤7：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端开启对使用者的P300脑电波进行检测；
在每个目标选择信息上对应有一个P300按钮，使用者通过选择P300按钮来确定需要的目标；
步骤8：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作信息通过多通道通讯模块发送到对应的脑机接口客户端；
步骤9：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端开启对使用者的运动想象脑电信息进行检测，虚拟现实场景上的所述目标动作状态根据使用者的运动想象脑电信息不同，产生不同的动作；
步骤10：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；
否则，则保持该使用者当前脑开关的状态不变，交互继续；
步骤11：保持待机状态。
为更好的实现本发明，可进一步为：所述步骤5包括以下步骤：
步骤51：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；
步骤52：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；
步骤53：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；
步骤54：通过频域特征计算SSVEP开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；
步骤55：判断比率α是否大于预设的阈值，
若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤6；
否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互；
进一步地：所述步骤7包括以下步骤：
步骤71：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；
步骤72：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；
步骤73：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时，对应的特征向量；
步骤74：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；
步骤75：将每个p300按钮对应的m个特征向量分别通过分类***进行分类，确定使用者选择的目标。
进一步地：所述步骤9包括以下步骤：
步骤91：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；
步骤92：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；
步骤93：将提取出Mu节律频率送至信息特征提取模块进行特征提取；
步骤94：将提取出的特征通过分类算法模块进行分类；
步骤95：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作。
本发明的有益效果为：解决了目前基于虚拟现实的脑机交互方法中存在的单用户、单一功能的局限性，通过将脑机接口方法与多通道通讯模块相结合，利用反馈机制将虚拟现实场景的状态信息回传到脑机接口客户端，同时，脑机接口客户端对脑电信号进行分类识别得到解码信息，然后将上述状态信息与解码信息进行联合编码，使脑机接口输出的控制命令能够自适应地根据虚拟场景状态的变化而变化，从而实现多用户脑电协同控制与多功能复合控制，用虚拟现实反馈的状态信息作为多路开关选择信号，对混合脑电信号进行筛选。
附图说明
图1为本发明的流程图；
图2为本发明的连接框图；
图3为进入界面SSVEP开关示意图；
图4为目标选择界面示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
一种面向虚拟现实应用的多通道自适应脑机交互方法，
采用以下步骤，
步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；
步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生对应与脑机接口客户端对应的SSVEP开关按钮，如图3所示，该SSVEP开关按钮由位于中央的一个大圆和围绕该大圆的八个小圆组成；
步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；
步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号；
步骤5：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；
步骤6：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；
步骤7：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；
步骤8：通过频域特征计算开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；
步骤9：判断比率α是否大于预设的阈值，
若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤10；
否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互；
步骤10：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对
SSVEP脑电信号检测；
步骤11：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；
步骤12：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；
步骤13：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时，对应的特征向量；
步骤14：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；
步骤15：将每个p300按钮对应的m个特征向量分别通过分类***进行分类，确定使用者选择的目标。
步骤16：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作信息通过多通道通讯模块发送到对应的脑机接口客户端；
步骤17：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；
步骤18：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；
步骤19：将提取出Mu节律频率送至信息特征提取模块进行特征提取；
步骤20：将提取出的特征通过分类算法模块进行分类；
步骤21：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作，该分类算法模块将脑电信息分为四类：当用户进行左手运动想象时，控制对应的目标向左转；当用户进行右手运动想象时，控制对应的目标向右转；当用户进行双脚运动想象时，控制对应的目标向前进；当用户不做任何运动想象时，则让目标处于静止状态；
步骤22：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；
否则，则保持该使用者当前脑开关的状态不变，交互继续；
步骤23：保持待机状态。
上述步骤4、步骤11和步骤17的联合编码是指将状态信息作为多路开关的控制信号，对多种脑电信号进行有选择性的检测，具体为将待机状态、目标选择信息状态和目标运动信息状态分别编码为二进制001、010、101，其中每一位对应于多路开关中的一路，从低位到高位分别对应为SSVEP、P300、运动想象。在每一位上，若编码为0，则开关关闭，若编码为1，则开关打开。虚拟现实显示模块每进入一个状态就向脑机接口客户端反馈一个状态信息，控制多路开关的开闭。
具体为：步骤4，在待机状态时，虚拟现实显示模块向脑机接口客户端反馈一个待机信号，使得脑机客户端的状态信息编码为001，多其结果为路开关接通SSVEP信号，关闭P300信号与运动想象信号。在目标选择信息状态时，状态信息编码为010，多路开关开启p300脑电信号，关闭SSVEP脑电信号和运动想象脑电信号。在步骤17中进行目标运动信息状态检测时，状态信息编码为101，关闭P300脑电想象信号，开启SSVEP和运动想象信号检测，运动想象信号控制目标动作状态产生不同的动作，SSVEP脑电信号，方便使用者可以随时停止交互。
步骤19具体采用方法流程为：特征提取是基于共空域模式(Common SpatialPatterns，CSP)算法，该算法是提取空间投影后的信号方差作为特征，具体包括以下步骤：
(1)分别计算两类信号平均的协方差矩阵：
其中Ra(i)和Rb(i)表示分别对应于a类和b类，第i次实验的协方差矩阵，n1表示a类样本的数量，n2表示b类样本的数量；
(2)联合协方差矩阵R＝Ra+Rb，对其进行奇异值分解：
其中U0和Λc分别表示对R进行特征值分解后的特征向量矩阵与特征值对角矩阵，为U0的转置矩阵；
(3)获取R的白化变换矩阵P为：
(4)分别对Ra和Rb进行白化变换，得到：
Sa＝PRaPT，Sb＝PRbPT
(5)对Sa或Sb进行特征值分解，得到它们共同的特征向量矩阵U，并计算得到投影矩阵W：
W＝UTP
(6)对于每次实验的EEG数据矩阵X(i)经过投影后得到：
Z(i)＝WX(i)
对每个投影后的矩阵Z(i)取其方差作为特征进行分类。
由于CSP算法针对的是两个类别的信号分类，而本***运动想象信号包含左手、右手、脚三个类别，因此本***在上述CSP算法基础上做了扩展，采用了一对多CSP方法，即把三类问题分解为三个两类问题进行处理。在每个两类问题中，把一个类别当作一类，其余的两类当作一类，进行CSP处理，然后对三组CSP处理得到的三组特征基于方差的大小进行分类。
一对多CSP方法可参考相关文献：康莎莎，多类运动想象脑电信号的识别及其在BCI中的应用[D]，安徽大学，2016。

Claims (4)

1.一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：
采用以下步骤，
步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；
步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生与使用者数量相对应的SSVEP开关按钮；
步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；
步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号；
步骤5：判断使用者是否启动对应的SSVEP开关按钮，
若该SSVEP开关按钮启动，则进入步骤6；
否则，使用者脑机接口客户端继续保持待机状态；
步骤6：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对SSVEP脑电信号检测；
步骤7：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端开启对使用者的P300脑电波进行检测；
在每个目标选择信息上对应有一个P300按钮，使用者通过选择P300按钮来确定需要的目标；
步骤8：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作信息通过多通道通讯模块发送到对应的脑机接口客户端；
步骤9：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端开启对使用者的运动想象脑电信息进行检测，虚拟现实场景上的所述目标动作状态根据使用者的运动想象脑电信息不同，产生不同的动作；
步骤10：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；
否则，则保持该使用者当前脑开关的状态不变，交互继续；
步骤11：保持待机状态。
2.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤5包括以下步骤：
步骤51：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；
步骤52：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；
步骤53：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；
步骤54：通过频域特征计算SSVEP开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；
步骤55：判断比率α是否大于预设的阈值，
若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤6；
否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互。
3.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤7包括以下步骤：
步骤71：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；
步骤72：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；
步骤73：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时，对应的特征向量；
步骤74：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；
步骤75：将每个p300按钮对应的m个特征向量分别通过分类***进行分类，确定使用者选择的目标。
4.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤9包括以下步骤：
步骤91：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；
步骤92：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；
步骤93：将提取出Mu节律频率送至信息特征提取模块进行特征提取；
步骤94：将提取出的特征通过分类算法模块进行分类；
步骤95：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作。
CN201710517402.2A 2017-06-29 2017-06-29 一种面向虚拟现实应用的多通道自适应脑机交互方法 Active CN107329571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710517402.2A CN107329571B (zh) 2017-06-29 2017-06-29 一种面向虚拟现实应用的多通道自适应脑机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710517402.2A CN107329571B (zh) 2017-06-29 2017-06-29 一种面向虚拟现实应用的多通道自适应脑机交互方法

Publications (2)

Publication Number Publication Date
CN107329571A true CN107329571A (zh) 2017-11-07
CN107329571B CN107329571B (zh) 2018-08-31

Family

ID=60199248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710517402.2A Active CN107329571B (zh) 2017-06-29 2017-06-29 一种面向虚拟现实应用的多通道自适应脑机交互方法

Country Status (1)

Country Link
CN (1) CN107329571B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549479A (zh) * 2018-03-07 2018-09-18 上海电气集团股份有限公司 多通道虚拟现实的实现方法及***、电子设备
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及***
CN111760194A (zh) * 2020-07-06 2020-10-13 杭州诺为医疗技术有限公司 一种智能闭环神经调控***和方法
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置
CN113282180A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种基于脑机接口的交互***、方法及装置
CN114003546A (zh) * 2022-01-04 2022-02-01 之江实验室 一种多通道开关量复合编码设计方法和装置
US11545046B2 (en) 2018-09-12 2023-01-03 Talespin Reality Labs. Inc. Neuroadaptive intelligent virtual reality learning system and method
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
US20120249614A1 (en) * 2011-03-30 2012-10-04 National Central University Visual drive control method and apparatus with multi phase encoding
CN102778949A (zh) * 2012-06-14 2012-11-14 天津大学 基于ssvep阻断和p300双特征的脑-机接口方法
CN104850230A (zh) * 2015-05-26 2015-08-19 福州大学 模拟键盘鼠标的脑机接口控制方法
CN204990187U (zh) * 2015-09-16 2016-01-20 陈包容 一种带脑电波控制功能的虚拟现实头盔
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
CN106648107A (zh) * 2016-12-30 2017-05-10 包磊 一种vr场景的控制方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
US20120249614A1 (en) * 2011-03-30 2012-10-04 National Central University Visual drive control method and apparatus with multi phase encoding
CN102778949A (zh) * 2012-06-14 2012-11-14 天津大学 基于ssvep阻断和p300双特征的脑-机接口方法
CN104850230A (zh) * 2015-05-26 2015-08-19 福州大学 模拟键盘鼠标的脑机接口控制方法
CN204990187U (zh) * 2015-09-16 2016-01-20 陈包容 一种带脑电波控制功能的虚拟现实头盔
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
CN106648107A (zh) * 2016-12-30 2017-05-10 包磊 一种vr场景的控制方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亮等: "《PIP：基于多通道交互技术的自然交互界面》", 《第三届和谐人机环境联合学术会议论文集》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549479A (zh) * 2018-03-07 2018-09-18 上海电气集团股份有限公司 多通道虚拟现实的实现方法及***、电子设备
US11545046B2 (en) 2018-09-12 2023-01-03 Talespin Reality Labs. Inc. Neuroadaptive intelligent virtual reality learning system and method
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及***
CN111760194A (zh) * 2020-07-06 2020-10-13 杭州诺为医疗技术有限公司 一种智能闭环神经调控***和方法
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置
CN113282180A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种基于脑机接口的交互***、方法及装置
CN114003546A (zh) * 2022-01-04 2022-02-01 之江实验室 一种多通道开关量复合编码设计方法和装置
CN114003546B (zh) * 2022-01-04 2022-04-12 之江实验室 一种多通道开关量复合编码设计方法和装置
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法

Also Published As

Publication number Publication date
CN107329571B (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN107329571B (zh) 一种面向虚拟现实应用的多通道自适应脑机交互方法
CN108304068B (zh) 一种基于脑机接口的上肢康复训练机器人控制***及方法
CN107037883A (zh) 一种基于运动想象的混合脑机接口***及方法
CN101711709B (zh) 利用眼电和脑电信息的电动假手控制方法
CN103793058B (zh) 一种主动式脑机交互***运动想象任务分类方法及装置
CN100571617C (zh) 站起想象动作脑电的信号采集和特征提取方法
CN107273798A (zh) 一种基于表面肌电信号的手势识别方法
CN110442244A (zh) 一种基于脑机接口的虚拟现实游戏交互方法及***
CN105468143A (zh) 一种基于运动想象脑-机接口的反馈***
CN104548347A (zh) 一种纯意念神经肌肉电刺激控制与神经功能评价***
CN106821681A (zh) 一种基于运动想象的上肢外骨骼控制方法及***
Thomas et al. Adaptive tracking of discriminative frequency components in electroencephalograms for a robust brain–computer interface
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN106933353A (zh) 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制***及方法
CN103349595A (zh) 基于多模式分层控制的脑机接口智能轮椅
CN104997581B (zh) 基于面部表情驱动脑电信号的假手控制方法及装置
CN108042132A (zh) 基于dwt和emd融合csp的脑电特征提取方法
Lu et al. Classification of EEG signal by STFT-CNN framework: identification of right-/left-hand motor imagination in BCI systems
CN108520239A (zh) 一种脑电信号分类方法及***
CN108364062A (zh) 基于memd的深度学习模型构建方法及在运动想象中的应用
CN111584027A (zh) 融合复杂网络和图卷积的脑控康复***运动想象识别***
CN114167982A (zh) 一种基于张量空频耦合滤波的脑机接口***
Polak et al. Feature extraction in development of brain-computer interface: a case study
CN107423668A (zh) 基于小波变换和稀疏表达的脑电信号分类***与方法
CN109814720A (zh) 一种设备的脑控方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant