CN110956701A - 生活辅助***及生活辅助方法 - Google Patents

生活辅助***及生活辅助方法 Download PDF

Info

Publication number
CN110956701A
CN110956701A CN201911019749.XA CN201911019749A CN110956701A CN 110956701 A CN110956701 A CN 110956701A CN 201911019749 A CN201911019749 A CN 201911019749A CN 110956701 A CN110956701 A CN 110956701A
Authority
CN
China
Prior art keywords
control
module
signal
brain
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911019749.XA
Other languages
English (en)
Inventor
邓宝松
陈鹏飞
王怡静
谢良
闫野
印二威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN201911019749.XA priority Critical patent/CN110956701A/zh
Publication of CN110956701A publication Critical patent/CN110956701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种生活辅助***及生活辅助方法，该生活辅助***包括：增强现实模块、脑机接口模块、智能物联平台以及多个被控对象。增强现实模块在用户眼前显示多级菜单，脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。本方案中，以智能物联平台为基础，利用脑机接口等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。

Description

生活辅助***及生活辅助方法
技术领域
本申请涉及物联网技术领域，特别涉及一种生活辅助***及生活辅助方法。
背景技术
随着社会老龄化的进一步加剧，老年人口日益增多，其中的失能、半失能老人占有很大比例。该社会群体人数较多，且丧失行动能力，急需相关的辅助设备来改善他们的生活。
随着科技进步，例如脑机接口技术、机器人技术、多模态感知技术的成熟，通过技术辅助行动不便人士的生活成为一种可能。然而，目前市面上的一些养老辅助设备和***，结构较为简单，功能较为单一，不能满足相应需求。
发明内容
有鉴于此，本申请提供了一种生活辅助***及生活辅助方法，用于帮助行动不便人士，以提高他们的生活质量。
第一方面，本申请实施例提供了一种生活辅助***，包括：增强现实模块、脑机接口模块、智能物联平台以及多个被控对象；增强现实模块、脑机接口模块和多个被控对象分别与所述智能物联平台信号连接；其中，
所述增强现实模块内部存储有每个所述被控对象的控制模型，所述增强现实模块用于在用户眼前显示多级菜单；该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；
所述脑机接口模块，用于在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至所述智能物联平台；
所述智能物联平台，用于接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助***中，所述脑机接口模块，包括：依次信号连接的采集单元、处理单元和分析单元；其中，
所述采集单元，用于在用户注视所述多级菜单时，采集用户的生物电信号，并发送至处理单元；
所述处理单元，用于对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号并发送至分析单元；
所述分析单元，用于采用脑机接口范式和预设算法对处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助***中，所述生物电信号包括脑电信号EEG和肌电信号EMG；所述脑机接口范式为稳态视觉诱发电位SSVEP，所述预设算法为典型相关分析CCA。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助***中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助***中，所述***还包括：红外信号发送模块；其中，
所述红外信号发送模块与所述智能物联平台信号连接，用于发送控制指令至采用红外遥控方式的被控对象。
第二方面，本申请实施例提供了一种生活辅助方法，所述方法基于上述任一项所述的***，所述方法包括：
增强现实模块在用户眼前显示多级菜单；所述增强现实模块内部存储有每个被控对象的控制模型，该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；
脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台；
所述智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，包括：
在用户注视所述多级菜单时，采集用户的生物电信号；
对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号；
采用脑机接口范式和预设算法对所述处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述生物电信号包括脑电信号EEG和肌电信号EMG；所述脑机接口范式为稳态视觉诱发电位SSVEP，所述预设算法为典型相关分析CCA。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，还包括：
红外信号发送模块发送控制指令至采用红外遥控方式的被控对象。
与现有技术相比，本申请提供的生活辅助***及生活辅助方法中，该生活辅助***包括增强现实模块、脑机接口模块、智能物联平台以及多个被控对象。增强现实模块在用户眼前显示多级菜单，脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。本方案中，以智能物联平台为基础，利用脑机接口等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。
附图说明
图1示出了本申请实施例提供的一种生活辅助***的结构图；
图1a示出了本申请实施例提供的一种脑机接口模块的结构图；
图2示出了机械臂模块的工作流程示意图；
图3示出了智能家居模块的工作流程示意图；
图4示出了轮椅模块的工作流程示意图；
图5示出了本申请实施例提供的一种生活辅助方法的流程图；
图6示出了本申请实施例提供的一种模块选择用户界面；
图7示出了本申请实施例提供的一种智能家居用户选择界面；
图8示出了本申请实施例提供的一种机械臂用户控制界面；
图9示出了本申请实施例提供的一种轮椅自我控制用户选择界面；
图10示出了本申请实施例提供的一种用户确认界面。
具体实施方式
下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
为了能够更好地理解本申请，下面首先对本申请中涉及的一些专有名词进行介绍。
脑机接口(Brain-Computer Interface，BCI)，有时也称作“大脑端口”或者“脑机融合感知”，它是在人脑与计算机或其它电子设备之间建立的直接交流和控制通道，通过这种通道，人就可以直接通过脑来表达想法或操纵设备，而不需要语言或动作，这可以有效增强身体严重残疾的患者与外界交流或控制外部环境的能力，以提高患者的生活质量。脑机接口技术是一种涉及神经科学、信号检测、信号处理、模式识别等多学科的交叉技术，是区别于键盘、触屏的一种人机交互手段，用户可以脱离传统的手动等控制方式，实现对设备的控制，非常适合存在行动障碍的群体使用。
机器人软件平台(Robot Operating System，ROS)可以将多个设备连接在一起，简化用户对生活电器的操作和使用。ROS能为异质计算机集群提供类似操作***的功能。它提供了操作***应有的服务，包括硬件抽象，底层设备控制，常用函数的实现，进程间消息传递，以及包管理。它也提供用于获取、编译、编写、和跨计算机运行代码所需的工具和库函数。ROS的首要目标是提供一套统一的开源程序框架，用以在多样化的现实世界与仿真环境中实现对机器人的控制。
肌电信号(electromyography，EMG)是众多肌纤维中运动单元动作电位(MUAP)在时间和空间上的叠加。它的使用方式与脑电信号(electroencephalogram，EEG)类似。
稳态视觉诱发电位(Steady-State Visual Evoked Potentials，SSVEP)是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，这个响应是被称为SSVEP。
机械臂是一种近些年出现的一种工业设备，它是一种高精度，多输入多输出、高度非线性、强耦合的复杂***。用来主要应用在工业流水线上。随着技术的发展，它的灵活性、安全性越来越高，它与人的“距离”也越来越近。在生活辅助领域开始崭露头角。
智能家居不同于普通家居孤立的存在，它是通过物联网技术将家中的各个设备联接在一起，操作方式不同于以往的手动输入，可利用脑机信号输入，实现远程控制。并且它可以通过多种传感器自我判断并做出相应的反应。
请参考图1，其示出了本申请实施例提供的一种生活辅助***的结构图。该生活辅助***10，包括：增强现实模块110、脑机接口模块120、智能物联平台130以及多个被控对象140；增强现实模块110、脑机接口模块120和多个被控对象140分别与所述智能物联平台120信号连接。其中，被控对象140具体可以为智能家居模块、机械臂模块或轮椅模块。
所述增强现实模块110内部存储有每个所述被控对象140的控制模型，所述增强现实模块110用于在用户眼前显示多级菜单；该多级菜单包括控制模块选择菜单以及每个控制模块对应的命令菜单，每个命令菜单由多个控制指令组成。
所述脑机接口模块120，用于在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至所述智能物联平台130。具体的，在本申请的一些实施方式中，所述生物电信号可以包括脑电信号EEG和肌电信号EMG。
在本申请的一些实施实施方式中，如图1a所示，所述脑机接口模块120，可以具体包括：依次信号连接的采集单元121、处理单元122和分析单元123。其中，所述采集单元121，用于在用户注视所述多级菜单时，采集用户的生物电信号，并发送至处理单元122；所述处理单元122，用于对所述生物电信号以预设时间长度(例如1000ms)进行分段，分段后进行带通滤波，滤波后进行降采样，完成数据预处理，得到处理信号并发送至分析单元123。所述分析单元123，用于采用脑机接口范式和预设算法对处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。具体的，在本申请的一些实施方式中，所述脑机接口范式可以为稳态视觉诱发电位SSVEP数据范式，所述预设算法可以为典型相关分析CCA。
所述智能物联平台130，用于接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制对应的被控对象进行相应操作。在智能物联平台上，控制指令经过分类处理，准确发送到被控对象，从而实现点对点的控制。实际应用中，该智能物联平台130可以采用ROS平台，ROS智能物联平台是一个能够整合资源的框架和接口，使得资源之间能够共享使用，使得各种功能、各种软件的重复利用率增加。
本实施例中，以智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。
在本申请的一些实施方式中，上述生活辅助***10中，还可以包括：红外信号发送模块150；其中，所述红外信号发送模块150与所述智能物联平台130信号连接，用于发送控制指令至采用红外遥控方式的被控对象。例如，智能家居模块在遥控方面采用红外遥控的方式，则可以通过红外信号发送模块发送控制指令至智能家居模块。本实施方式，有利于扩展生活辅助***的功能，从而更好地满足用户需求。
为了更好地理解本申请，下面以被控对象为智能家居模块、机械臂模块和轮椅模块为例详细进行说明。
本申请实施例中，生活辅助***，包括脑机接口模块、智能家居模块、机械臂模块、轮椅模块和增强现实模块五部分，五个模块全部以ROS智能物联平台为信息交汇中心。
脑机接口模块同时采集用户的EEG信号和EMG信号。采集的EMG信号主要由牙齿咬合产生的。该脑机接口模块同时还负责将采集到的信号进行放大，滤波和降采样处理。利用多级菜单，脑机接口模块可以将用户注视叠加在控制模块选择菜单以及每个被控对象所对应的命令菜单上的视觉刺激时所诱发的脑电特征信号转化成计算机控制指令。脑机接口范式采用SSVEP数据范式。由EMG信号转换来的控制信号首先可以作为确认信号，即确认使用者所作出的选择，该确认环节存在于控制模块选择窗口以弹窗的形式显现。咬合一次牙齿为“确认”，两次为“取消”。其次，连续三次咬合牙齿可以作为强制退出信号，即停止当前指令返回上一级菜单。图6示出了本申请实施例提供的一种模块选择用户界面；图7示出了本申请实施例提供的一种智能家居用户选择界面；图8示出了本申请实施例提供的一种机械臂用户控制界面；图9示出了本申请实施例提供的一种轮椅自我控制用户选择界面；图10示出了本申请实施例提供的一种用户确认界面。
具体的，视觉刺激亮度控制为矩形波调制，发光颜色采用白色。在第一级菜单，刺激范式包括3个目标。分别是：智能家居模块、机械臂模块、轮椅模块。三个目标的3D模型会由增强现实(AR)模块显示在用户眼前。三个目标的模型以10-11Hz的频率闪烁，频率间隔为0.5Hz。
智能家居模块之下有两级菜单，这两级菜单最多可以提供三十个选项，它们的模型闪烁频率为9-13.5Hz，频率间隔为0.2Hz。脑电信号采集通道主要使用14个，分别是：P1,PZ,P2,PO7,PO5,PO3,POZ,PO4,PO6,PO8,O1,OZ,O2,M2。处理和分析采集到的信号，首先将采集到的信号以1000ms的时间长度分段，然后经过带通滤波，最后经过降采样完成数据预处理。分析信号时，采用的方法是典型相关分析方法(CCA)。该方法是研究多个变量与多个变量之间相关性的算法。本实施例使用14通道采集信号，该方法可以满足使用，其基本思想是找到两组变量X和Y在整体上的相关系数ρ，并使其最大。定义多通道SSVEP信号为Xn，将Xn分解为n个Xnfm信号，n为通道编号，Xnfm是原始SSVEP脑电信号经过小波包分解重构的fm频点的信号。建立相应的参考信号矩阵，然后求得最大的相关系数ρm。将SSVEP信号进行小波包分解之后得到重构信号，根据CCA算法计算出各个通道的Xn和Y的最大相关系数ρm，然后比照判断SSVEP刺激信号的频点fm。然后根据频点fm与图标的一一对应关系，找到用户所选的控制命令。
在增强现实模块中，图标由unity开发工具设计完成并在增强现实眼镜上的虚拟屏幕上显示。
机械臂模块主要包括两部分：控制部分和活动部分。控制部分包括：信号接收设备，控制计算机，关节电机驱动，关节限位开关和压力传感器。活动部分主要包括：基座、肩部、上臂、前臂、手腕和夹指以及连接各部分的七个关节组成，内部设有控制各个部分相应的直流电机。信号接收设备主要接收来自ROS智能物联平台的控制信号。控制计算机负责处理控制信号，并输出对应的电机的控制信号。压力传感器负责反馈机械臂的位置，方便计算机及时调整。将机械臂的运动简化为几个简单动作，包括：前伸，回缩，上抬，下方，夹取和松开。命令的选择方式是通过上文所述的利用SSVEP范式获取用户的选择。并且本实施例适当降低机械臂速度，以满足用户需求。并且机械臂模块配有压力传感器，一是判断夹指力度大小，二是反馈机械臂活动是否已到极限。
请参考图2，其示出了机械臂模块的工作流程示意图。如图所示，包括：
***初始化，判断是否接收到控制命令；
若是，获取控制命令序列后，执行相应命令；
判断命令是否终止或运动到关节极限；
若是，返回判断是否接收到控制命令的步骤。
智能家居模块主要包括：信号接收部分，控制计算机部分，室内检测传感器部分和红外遥控部分。信号接收部分主要检测是否有来自于ROS智能物联平台的控制信号。控制计算机部分主要识别控制命令并作出相应反应。当智能家居控制接口模块未接收到相关控制命令时，根据传感器实时传回的数据，控制计算机按照预设方案自动调节相关设备。红外遥控部分：将室内常用电器(诸如：电灯，空调和电视等)按照一定顺序排列控制序列，保证接口规格一致。将家用电器的传统红外遥控器的功能内置于该模块。内检测传感器部分包括：湿度传感器，温度传感器，数字光强传感器和气体传感器；
湿度传感器用于实时检测室内湿度情况；温度传感器用于实时检测室内温度情况；数字光强传感器用于实时检测室内光照强度情况；气体传感器用于实时检测室内污染气体的浓度。
请参考图3，其示出了智能家居模块的工作流程示意图。如图所示，包括：
***初始化，判断是否接收到控制信息；
若是，接收脑电信号后，控制计算机分析处理；若否，接收传感器信号后，控制计算机分析处理；
确定控制n号设备工作，n号设备开始工作；
继续判断是否退出当前流程；若是，返回判断是否接收到控制信息的步骤。
轮椅模块由控制计算机、前进电机、转向电机、电机驱动、超声波测距传感器和RGBD景深摄像头组成。上述轮椅模块有两种控制模式：
第一种，完全以用户的命令做出相应的反应。在轮椅上，用户会感知周围的环境并根据自身的需求做出相应的反应。控制命令经ROS智能物联平台传递到轮椅，控制轮椅的具体移动；第二种，首先将用户常在区域地图存储在控制计算机中，并利用路径规划技术改善轮椅行驶轨迹。当用户选定目的地时，轮椅按照地图自动行驶模式自动行走。在行驶过程中，利用超声波传感器和RGBD摄像头探索障碍物并实现避障。在行驶过程中，如用户需要，可以随时终止自动行驶，转换为第一种控制模式。轮椅模块的自我控制与上述相同，同样是利用了SSVEP范式获取用户的指令，***采用连续采集信号的方式驱动轮椅运动。并且同机械臂一样，其速度也必须控制在一定范围内。轮椅模块的自动控制主要依赖于路径规划技术。在使用前，已载入使用环境的地图，所以属于离线路径规划问题，本实施例主要使用人工势场法。在定位方面本实施例采用相对定位的方式，在已给地图的情况下更新定位。
请参考图4，其示出了轮椅模块的工作流程示意图。如图所示，包括：
***初始化，判断是否接收到控制命令；
若是，判断是否选择自我控制；
若是，接收控制命令，按指令行走，直至到达目的地；若否，则路径自动规划，直至到达目的地。
本实施例中，以ROS智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。
如图5所示，本申请实施例还提供了一种生活辅助方法，所述方法基于上述任一实施例中的***，包括以下步骤：
步骤S101：增强现实模块在用户眼前显示多级菜单；所述增强现实模块内部存储有每个被控对象的控制模型，该多级菜单包括控制模块选择菜单以及每个控制模块对应的命令菜单，每个命令菜单由多个控制指令组成；
步骤S102：脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台；
步骤S103：所述智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述步骤S402，包括：
在用户注视所述多级菜单时，采集用户的生物电信号；
对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号；
采用脑机接口范式和预设算法对所述处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述生物电信号包括脑电信号EEG和肌电信号EMG；所述脑机接口范式为稳态视觉诱发电位SSVEP，所述预设算法为典型相关分析CCA。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。
在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，还包括：
红外信号发送模块发送控制指令至采用红外遥控方式的被控对象。
以上***一侧执行的实施例中的相关阐述均适用于本方法实施例，此处不再赘述。
本实施例中，以智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。
前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种生活辅助***，其特征在于，包括：增强现实模块、脑机接口模块、智能物联平台以及多个被控对象；增强现实模块、脑机接口模块和多个被控对象分别与所述智能物联平台信号连接；其中，
所述增强现实模块内部存储有每个所述被控对象的控制模型，所述增强现实模块用于在用户眼前显示多级菜单；该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；
所述脑机接口模块，用于在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至所述智能物联平台；
所述智能物联平台，用于接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。
2.根据权利要求1所述的生活辅助***，其特征在于，所述脑机接口模块，包括：依次信号连接的采集单元、处理单元和分析单元；其中，
所述采集单元，用于在用户注视所述多级菜单时，采集用户的生物电信号，并发送至处理单元；
所述处理单元，用于对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号并发送至分析单元；
所述分析单元，用于采用脑机接口范式和预设算法对处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。
3.根据权利要求2所述的生活辅助***，其特征在于，所述生物电信号包括脑电信号EEG和肌电信号EMG；所述脑机接口范式为稳态视觉诱发电位SSVEP，所述预设算法为典型相关分析CCA。
4.根据权利要求1所述的生活辅助***，其特征在于，所述被控对象为智能家居模块、机械臂模块或轮椅模块。
5.根据权利要求1所述的生活辅助***，其特征在于，所述***还包括：红外信号发送模块；其中，
所述红外信号发送模块与所述智能物联平台信号连接，用于发送控制指令至采用红外遥控方式的被控对象。
6.一种生活辅助方法，其特征在于，所述方法基于权利要求1至5中任一项所述的***，所述方法包括：
增强现实模块在用户眼前显示多级菜单；所述增强现实模块内部存储有每个被控对象的控制模型，该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；
脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台；
所述智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。
7.根据权利要求6所述的生活辅助方法，其特征在于，所述脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，包括：
在用户注视所述多级菜单时，采集用户的生物电信号；
对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号；
采用脑机接口范式和预设算法对所述处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。
8.根据权利要求7所述的生活辅助方法，其特征在于，所述生物电信号包括脑电信号EEG和肌电信号EMG；所述脑机接口范式为稳态视觉诱发电位SSVEP，所述预设算法为典型相关分析CCA。
9.根据权利要求6所述的生活辅助方法，其特征在于，所述被控对象为智能家居模块、机械臂模块或轮椅模块。
10.根据权利要求6所述的生活辅助方法，其特征在于，还包括：
红外信号发送模块发送控制指令至采用红外遥控方式的被控对象。
CN201911019749.XA 2019-10-24 2019-10-24 生活辅助***及生活辅助方法 Pending CN110956701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911019749.XA CN110956701A (zh) 2019-10-24 2019-10-24 生活辅助***及生活辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911019749.XA CN110956701A (zh) 2019-10-24 2019-10-24 生活辅助***及生活辅助方法

Publications (1)

Publication Number Publication Date
CN110956701A true CN110956701A (zh) 2020-04-03

Family

ID=69976374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019749.XA Pending CN110956701A (zh) 2019-10-24 2019-10-24 生活辅助***及生活辅助方法

Country Status (1)

Country Link
CN (1) CN110956701A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522445A (zh) * 2020-04-27 2020-08-11 兰州交通大学 智能控制方法
CN111571587A (zh) * 2020-05-13 2020-08-25 南京邮电大学 一种脑控机械臂助餐***及方法
CN112140113A (zh) * 2020-10-12 2020-12-29 北京邮电大学 一种基于脑-机接口的机器人控制***及控制方法
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法
US11684301B1 (en) 2022-01-14 2023-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods, systems, and non-transitory computer-readable mediums for SSVEP detection

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102188311A (zh) * 2010-12-09 2011-09-21 南昌大学 一种嵌入式智能轮椅视觉导航控制***及方法
CN102631265A (zh) * 2012-05-11 2012-08-15 重庆大学 一种智能轮椅的嵌入式控制***
CN103607519A (zh) * 2013-10-17 2014-02-26 南昌大学 基于脑机接口的双上肢残疾人电话***
CN105022281A (zh) * 2015-07-29 2015-11-04 中国电子科技集团公司第十五研究所 一种基于虚拟现实的智能家居控制***
CN105578239A (zh) * 2015-12-16 2016-05-11 西安科技大学 一种基于脑-机接口技术的电视控制***
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
CN106726209A (zh) * 2016-11-24 2017-05-31 中国医学科学院生物医学工程研究所 一种基于脑机接口与人工智能的智能轮椅控制方法
CN107479696A (zh) * 2017-07-25 2017-12-15 天津大学 基于p300范式虚拟现实脑‑机接口***和实现方法
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制***及方法
CN108062101A (zh) * 2017-12-20 2018-05-22 驭势科技（北京）有限公司 智能个人交通工具及其控制方法、调度方法及存储介质
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制***及方法
CN108897418A (zh) * 2018-05-15 2018-11-27 天津大学 一种穿戴式脑-机接口装置、人机交互***及方法
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理***
CN110134243A (zh) * 2019-05-20 2019-08-16 中国医学科学院生物医学工程研究所 一种基于增强现实的脑控机械臂共享控制***及其方法
CN110198465A (zh) * 2019-05-30 2019-09-03 重庆邮电大学 一种基于脑-机接口的电视智能遥控***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102188311A (zh) * 2010-12-09 2011-09-21 南昌大学 一种嵌入式智能轮椅视觉导航控制***及方法
CN102631265A (zh) * 2012-05-11 2012-08-15 重庆大学 一种智能轮椅的嵌入式控制***
CN103607519A (zh) * 2013-10-17 2014-02-26 南昌大学 基于脑机接口的双上肢残疾人电话***
CN105022281A (zh) * 2015-07-29 2015-11-04 中国电子科技集团公司第十五研究所 一种基于虚拟现实的智能家居控制***
CN105578239A (zh) * 2015-12-16 2016-05-11 西安科技大学 一种基于脑-机接口技术的电视控制***
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
CN106726209A (zh) * 2016-11-24 2017-05-31 中国医学科学院生物医学工程研究所 一种基于脑机接口与人工智能的智能轮椅控制方法
CN107479696A (zh) * 2017-07-25 2017-12-15 天津大学 基于p300范式虚拟现实脑‑机接口***和实现方法
CN108062101A (zh) * 2017-12-20 2018-05-22 驭势科技（北京）有限公司 智能个人交通工具及其控制方法、调度方法及存储介质
CN107957783A (zh) * 2017-12-21 2018-04-24 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制***及方法
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制***及方法
CN108897418A (zh) * 2018-05-15 2018-11-27 天津大学 一种穿戴式脑-机接口装置、人机交互***及方法
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理***
CN110134243A (zh) * 2019-05-20 2019-08-16 中国医学科学院生物医学工程研究所 一种基于增强现实的脑控机械臂共享控制***及其方法
CN110198465A (zh) * 2019-05-30 2019-09-03 重庆邮电大学 一种基于脑-机接口的电视智能遥控***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522445A (zh) * 2020-04-27 2020-08-11 兰州交通大学 智能控制方法
CN111571587A (zh) * 2020-05-13 2020-08-25 南京邮电大学 一种脑控机械臂助餐***及方法
CN111571587B (zh) * 2020-05-13 2023-02-24 南京邮电大学 一种脑控机械臂助餐***及方法
CN112140113A (zh) * 2020-10-12 2020-12-29 北京邮电大学 一种基于脑-机接口的机器人控制***及控制方法
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法
US11684301B1 (en) 2022-01-14 2023-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods, systems, and non-transitory computer-readable mediums for SSVEP detection

Similar Documents

Publication Publication Date Title
CN110956701A (zh) 生活辅助***及生活辅助方法
Tang et al. Towards BCI-actuated smart wheelchair system
Carlson et al. Brain-controlled wheelchairs: a robotic architecture
Chae et al. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI
Escolano et al. A telepresence mobile robot controlled with a noninvasive brain–computer interface
Luth et al. Low level control in a semi-autonomous rehabilitation robotic system via a brain-computer interface
Tonin et al. Noninvasive brain–machine interfaces for robotic devices
Valbuena et al. Brain-computer interface for high-level control of rehabilitation robotic systems
CN108983636B (zh) 人机智能共生平台***
CN112017516B (zh) 一种远程血管介入手术训练***
Kanemura et al. A waypoint-based framework in brain-controlled smart home environments: Brain interfaces, domotics, and robotics integration
Argall Autonomy in rehabilitation robotics: An intersection
Rani et al. Electroencephalogram-based brain controlled robotic wheelchair
Zhao et al. Behavior-based SSVEP hierarchical architecture for telepresence control of humanoid robot to achieve full-body movement
Bien et al. Intention reading is essential in human-friendly interfaces for the elderly and the handicapped
Gillini et al. An assistive shared control architecture for a robotic arm using eeg-based bci with motor imagery
CN111399652A (zh) 基于分层ssvep与视觉辅助的多机器人混合***
Wang et al. Brain-controlled wheelchair review: From wet electrode to dry electrode, from single modal to hybrid modal, from synchronous to asynchronous
Li et al. CVT-based asynchronous BCI for brain-controlled robot navigation
Ashok High-level hands-free control of wheelchair–a review
CN113156861A (zh) 轮椅智能控制***
Liu et al. A novel brain-controlled wheelchair combined with computer vision and augmented reality
Laniel et al. Adding navigation, artificial audition and vital sign monitoring capabilities to a telepresence mobile robot for remote home care applications
CN116185038A (zh) 一种基于脑-机感知融合的共享控制避障方法
Ababneh et al. Gesture controlled mobile robotic arm for elderly and wheelchair people assistance using kinect sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403