CN114237388B - 一种基于多模态信号识别的脑机接口方法 - Google Patents

一种基于多模态信号识别的脑机接口方法 Download PDF

Info

Publication number
CN114237388B
CN114237388B CN202111455673.2A CN202111455673A CN114237388B CN 114237388 B CN114237388 B CN 114237388B CN 202111455673 A CN202111455673 A CN 202111455673A CN 114237388 B CN114237388 B CN 114237388B
Authority
CN
China
Prior art keywords
brain
module
computer interface
display screen
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111455673.2A
Other languages
English (en)
Other versions
CN114237388A (zh
Inventor
史添玮
任玲
崔文华
张文宇
赵骥
张玉军
代红
强姣凤
常桄铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Liaoning USTL
Original Assignee
University of Science and Technology Liaoning USTL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Liaoning USTL filed Critical University of Science and Technology Liaoning USTL
Priority to CN202111455673.2A priority Critical patent/CN114237388B/zh
Publication of CN114237388A publication Critical patent/CN114237388A/zh
Application granted granted Critical
Publication of CN114237388B publication Critical patent/CN114237388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种基于多模态信号识别的脑机接口方法，涉及脑机接口技术领域。该基于多模态信号识别的脑机接口方法，包括以下步骤：S1.设备启动采集脑电波信号；S2.分析脑电波信号并生成对应动作意识；S3.显示屏显示动作意识是否启动界面；S4.用户通过视线集中来选择是否启动动作意识，“是”则进入下一步骤，“否”则不执行动作意识命令；S5.显示屏进入详细选择界面，用户通过实现集中在具体选择界面来确定动作意识；S6.在进入动作意识详细选择界面时，通过分析用户的心率波动情况来对动作意识进行最终确认。通过本发明设计的方法，可以通过三种模态对用户脑电波信号进行精确理解，同时不会产生错误信号，实用性极好。

Description

一种基于多模态信号识别的脑机接口方法
技术领域
本发明涉及脑机接口方法技术领域，具体为一种基于多模态信号识别的脑机接口方法。
背景技术
脑机接口是一种通过采集大脑皮层的信号进行处理及分析，并转化为控制***设备的指令，实现人脑与计算机或其他通讯设备间的信息交流和控制，它不依赖于常规的人脑正常输出通道。利用人脑对不同的事物或认知活动产生不同的反应，从而得到不同类型的脑电信号。通过对脑电信号进行放大、滤波、采集、特征提取，分类等实现控制指令的转化。当前，脑电采集的方式有两种方式即植入式和非植入式。前者需要将电极植入大脑内部，存在很大的危险性，但是其获得的脑电信号信噪比高，精度也高，信号方便处理。而后者得到的信号是属于非平稳性信号，容易受到环境及人的当前状态的影响。当然，随着人们对信号处理方面的技术深入探讨，对于微弱的小信号的处理能力得到空前的进步。以及脑电采集仪对脑电采集的精度也较高。因此，在本发明中我们采用后者即非植入式的方式来获取脑电信号。然后，经过一系列的信号处理算法，最终实现对家电设备的控制。
目前关于脑机接口技术方面的研究已经取得了较大的进步且其技术相对成熟，无论是单一脑电信号的脑机接口技术，还是多模态的脑机接口技术已经有许多关于BCI方面的专利和成果了。相较于单一脑电信号，多模态的脑机接口技术具有高准确性的优点，现有的多模态脑接口技术多依赖视觉的辅助，比如一些基于脑电的护理床、脑电控制的电灯等，但是他们需要一直盯着闪烁的键，而且在空闲状态下容易产生错误的指令，为此需要对现有技术进行改进。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于多模态信号识别的脑机接口方法，解决了目前基于多模态的脑电接口技术主要依赖视觉辅助，在空闲状态下容易产生错误命令的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于多模态信号识别的脑机接口方法，包括脑机接口***，所述脑机接口***包括主机、显示屏、眼动仪，所述主机包括微处理器、脑电波信号采集模块、脑电波信号分析模块、耳夹式红外心率采集模块、心率信号分析模块，所述显示屏包括显示模块、定位捕捉模块、数据反馈模块。
优选的，该脑机接口方法具体包括以下步骤：
S1.设备启动采集脑电波信号；
S2.分析脑电波信号并生成对应动作意识；
S3.显示屏显示动作意识是否启动界面；
S4.用户通过视线集中来选择是否启动动作意识，“是”则进入下一步骤，“否”则不执行动作意识命令；
S5.显示屏进入详细选择界面，用户通过实现集中在具体选择界面来确定动作意识；
S6.在进入动作意识详细选择界面时，通过分析用户的心率波动情况来对动作意识进行最终确认，波动较大代表选择错误，退回上一步重新选择，波动较小代表选择正确，执行动作意识。
优选的，所述S1中采用脑电波信号采集模块来采集信号，所述脑电波信号采集模块选用非侵入式头戴电极片。
优选的，所述S2中的具体过程为，脑电波信号分析模块对脑电波信号采集模块传递的信号进行转换分析成动作意识，然后传递到微处理器。
优选的，所述微处理器与显示屏电连接，所述眼动仪与显示屏的显示模块电连接，且所述眼动仪设置在显示屏的前端底部。
优选的，所述眼动仪的指针在显示模块上显示，当指针停留在显示屏界面任意位置3秒后，默认在该处位置点击确认命令，相当于鼠标双击一次。
优选的，所述定位捕捉模块与显示模块、数据反馈模块电连接，所述定位捕捉模块用于确认眼动仪在显示屏上的具***置，并将信息给到数据反馈模块。
优选的，所述数据反馈模块与微处理器电连接，数据反馈模块将显示屏中产生的电信号传递到微处理器中。
优选的，所述耳夹式红外心率采集模块选用耳夹式红外心率传感器，戴在用户耳后，且与心率信号分析模块电连接，所述心率信号分析模块与微处理器电连接。
(三)有益效果
本发明提供了一种基于多模态信号识别的脑机接口方法。具备以下有益效果：
1、本发明设计的脑机接口方法采用脑电波识别、视觉辅助、心率判断三种方式结合的方法来对用户的脑电信号进行精准判断，保证能够对用户的脑电信号做到精确识别。
2、本发明设计的脑机接口方法中设置有对脑电信号的基本判断，在空闲状态下，用户脑中产生信号时，不会立即执行，而是会对信号进行一个初步确定审查，只有当用户确定后，才会精确识别，否则命令不会执行，该设计保证了脑机接口***空闲状态不会产生错误命令。
附图说明
图1为本发明公开的基于多模态信号识别的脑机接口***结构示意图；
图2为本发明公开的一种基于多模态信号识别的脑机接口方法流程图；
图3为本发明公开的一种基于多模态信号识别的脑机接口方法的步骤S3界面示意图；
图4为本发明公开的一种基于多模态信号识别的脑机接口方法的步骤S4界面示意图。
其中，100、主机；200、显示屏；300、眼动仪；101、微处理器；102、脑电波信号处理器；103、脑电波信号分析模块；104、耳夹式红外心率采集模块；105、心率信号分析模块；201、显示模块；202、定位捕捉模块；203、数据反馈模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1-4所示，本发明实施例提供一种基于多模态信号识别的脑机接口方法，包括脑机接口***，脑机接口***包括主机100、显示屏200、眼动仪300，主机100包括微处理器101、脑电波信号采集模块102、脑电波信号分析模块103、耳夹式红外心率采集模块104、心率信号分析模块105，显示屏200包括显示模块201、定位捕捉模块202、数据反馈模块203。
脑电波信号采集模块102来采集信号，脑电波信号采集模块102选用非侵入式头戴电极片，微处理器101与显示屏200电连接，眼动仪300与显示屏200的显示模块201电连接，且眼动仪300设置在显示屏200的前端底部，眼动仪300的指针在显示模块201上显示，当指针停留在显示屏200界面任意位置3秒后，默认在该处位置点击确认命令，相当于鼠标双击一次，定位捕捉模块202与显示模块201、数据反馈模块203电连接，定位捕捉模块202用于确认眼动仪300在显示屏200上的具***置，并将信息给到数据反馈模块203，数据反馈模块203与微处理器101电连接，数据反馈模块203将显示屏200中产生的电信号传递到微处理器101中。
耳夹式红外心率采集模块104选用耳夹式红外心率传感器，戴在用户耳后，且与心率信号分析模块105电连接，心率信号分析模块105与微处理器101电连接。
一种基于多模态信号识别的脑机接口方法，其特征在于：该脑机接口方法具体包括以下步骤：
S1.设备启动后，脑电波信号采集模块102来采集信号，然后传到脑电波信号分析模块103；
S2.脑电波信号分析模块103分析脑电波信号并生成对应动作意识，然后传递到微处理器101；
S3.微处理器101控制显示屏200显示动作意识是否启动界面，如图3所示；
S4.用户通过视线集中来选择是否启动动作意识，“是”则进入下一步骤，“否”则不执行动作意识命令；
S5.显示屏200进入详细选择界面，如图4所示，用户通过实现集中在具体选择界面来确定动作意识；
S6.在进入动作意识详细选择界面时，耳夹式红外心率采集模块104采集用户心率，通过分析用户的心率波动情况来对动作意识进行最终确认，波动较大代表选择错误，退回上一步重新选择，波动较小代表选择正确，确定动作意识并发送执行信号到执行端。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于多模态信号识别的脑机接口方法，包括脑机接口***，其特征在于：所述脑机接口***包括主机(100)、显示屏(200)、眼动仪(300)，所述主机(100)包括微处理器(101)、脑电波信号采集模块(102)、脑电波信号分析模块(103)、耳夹式红外心率采集模块(104)、心率信号分析模块(105)，所述显示屏(200)包括显示模块(201)、定位捕捉模块(202)、数据反馈模块(203)；
该脑机接口方法具体包括以下步骤：
S1.设备启动采集脑电波信号；
S2.分析脑电波信号并生成对应动作意识；
S3.显示屏显示动作意识是否启动界面；
S4.用户通过视线集中来选择是否启动动作意识，“是”则进入下一步骤，“否”则不执行动作意识命令；
S5.显示屏进入详细选择界面，用户通过实现集中在具体选择界面来确定动作意识；
S6.在进入动作意识详细选择界面时，通过分析用户的心率波动情况来对动作意识进行最终确认，波动较大代表选择错误，退回上一步重新选择，波动较小代表选择正确，执行动作意识。
2.根据权利要求1所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述S1中采用脑电波信号采集模块(102)来采集信号，所述脑电波信号采集模块(102)选用非侵入式头戴电极片。
3.根据权利要求1所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述S2中的具体过程为，脑电波信号分析模块(103)对脑电波信号采集模块(102)传递的信号进行转换分析成动作意识，然后传递到微处理器(101)。
4.根据权利要求1所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述微处理器(101)与显示屏(200)电连接，所述眼动仪(300)与显示屏(200)的显示模块(201)电连接，且所述眼动仪(300)设置在显示屏(200)的前端底部。
5.根据权利要求4所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述眼动仪(300)的指针在显示模块(201)上显示，当指针停留在显示屏(200)界面任意位置3秒后，默认在该处位置点击确认命令，相当于鼠标双击一次。
6.根据权利要求5所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述定位捕捉模块(202)与显示模块(201)、数据反馈模块(203)电连接，所述定位捕捉模块(202)用于确认眼动仪(300)在显示屏(200)上的具***置，并将信息给到数据反馈模块(203)。
7.根据权利要求1所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述数据反馈模块(203)与微处理器(101)电连接，数据反馈模块(203)将显示屏(200)中产生的电信号传递到微处理器(101)中。
8.根据权利要求1所述的一种基于多模态信号识别的脑机接口方法，其特征在于：所述耳夹式红外心率采集模块(104)选用耳夹式红外心率传感器，戴在用户耳后，且与心率信号分析模块(105)电连接，所述心率信号分析模块(105)与微处理器(101)电连接。
CN202111455673.2A 2021-12-01 2021-12-01 一种基于多模态信号识别的脑机接口方法 Active CN114237388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111455673.2A CN114237388B (zh) 2021-12-01 2021-12-01 一种基于多模态信号识别的脑机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111455673.2A CN114237388B (zh) 2021-12-01 2021-12-01 一种基于多模态信号识别的脑机接口方法

Publications (2)

Publication Number Publication Date
CN114237388A CN114237388A (zh) 2022-03-25
CN114237388B true CN114237388B (zh) 2023-08-08

Family

ID=80752670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111455673.2A Active CN114237388B (zh) 2021-12-01 2021-12-01 一种基于多模态信号识别的脑机接口方法

Country Status (1)

Country Link
CN (1) CN114237388B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
CN1740950A (zh) * 2005-07-21 2006-03-01 高春平 模块式非手动控制方法及其装置
WO2010141403A1 (en) * 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
CN104391569A (zh) * 2014-10-15 2015-03-04 东南大学 基于认知与情绪状态多模态感知的脑机接口***
WO2016147202A1 (en) * 2015-03-13 2016-09-22 Kumaravelu Varadharajan System and method for implementing emergency response platform
CN107885124A (zh) * 2017-11-21 2018-04-06 中国运载火箭技术研究院 一种增强现实环境中的脑眼协同控制方法及***
CN109271020A (zh) * 2018-08-23 2019-01-25 西安交通大学 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法
CN109567831A (zh) * 2018-11-30 2019-04-05 贵州大学 一种视觉认知神经机制下产品的偏好意象识别***和方法
CN211001203U (zh) * 2019-11-13 2020-07-14 蓝色传感（北京）科技有限公司 基于脑电信号的人车交互***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
CN1740950A (zh) * 2005-07-21 2006-03-01 高春平 模块式非手动控制方法及其装置
WO2010141403A1 (en) * 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
CN104391569A (zh) * 2014-10-15 2015-03-04 东南大学 基于认知与情绪状态多模态感知的脑机接口***
WO2016147202A1 (en) * 2015-03-13 2016-09-22 Kumaravelu Varadharajan System and method for implementing emergency response platform
CN107885124A (zh) * 2017-11-21 2018-04-06 中国运载火箭技术研究院 一种增强现实环境中的脑眼协同控制方法及***
CN109271020A (zh) * 2018-08-23 2019-01-25 西安交通大学 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法
CN109567831A (zh) * 2018-11-30 2019-04-05 贵州大学 一种视觉认知神经机制下产品的偏好意象识别***和方法
CN211001203U (zh) * 2019-11-13 2020-07-14 蓝色传感（北京）科技有限公司 基于脑电信号的人车交互***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shalom Greene等.A Survey of Affective Computing for Stress Detection: Evaluating technologies in stress detection for better health.《IEEE Consumer Electronics Magazine 》.2016,第5卷(第4期),第44 - 56页. *

Also Published As

Publication number Publication date
CN114237388A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
JP4856791B2 (ja) 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
CN107957783B (zh) 一种基于脑电与肌电信息的多模式智能控制***及方法
JP4659905B2 (ja) 脳波識別の要否を決定する装置および方法
Shivappa et al. Home automation system using brain computer interface paradigm based on auditory selection attention
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN106419869A (zh) 一种基于压电传感器的实时睡眠分期检测方法及其装置
CN112764532A (zh) 基于脑电眼电结合的键鼠控制***及控制方法
CN112859628A (zh) 基于多模态脑机接口与增强现实的智能家居控制方法
CN106708273B (zh) 一种基于eog的开关装置及开关键实现方法
US20220233127A1 (en) Vital-sign data statistics system and patient monitor
CN110710978A (zh) 一种基于眼动追踪-脑功能活动检测的多模态沉浸式同步采集***
JPWO2005001677A1 (ja) サービス提供装置、期待はずれ判定装置および期待はずれ判定方法
CN116360600A (zh) 一种基于稳态视觉诱发电位的空间定位***
CN114652532A (zh) 基于ssvep与注意力检测的多功能脑控轮椅***
CN114237388B (zh) 一种基于多模态信号识别的脑机接口方法
CN108491792B (zh) 基于眼电信号的办公场景人机交互行为识别方法
CN108968950A (zh) 一种数字化心电采集方法、装置及***
TWI699672B (zh) 以腦波訊號辨識視覺控制指令之方法及裝置
CN213423727U (zh) 一种基于tgam的智能家居控制装置
CN109744994B (zh) 一种基于多屏显示的视野检查装置
CN112633312B (zh) 基于ssmvep-erp-osr混合脑机接口的自动寻优方法
CN112070141A (zh) 一种融合注意力检测的ssvep异步分类方法
CN217408819U (zh) 基于近红外光谱和动态视觉追踪的意识检测及评价***
CN213423889U (zh) 基于ssmvep-erp-osr混合脑机接口驱动的轮椅
Mamatha et al. Smart sensor design and analysis of brain machine interface using labview

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant