CN111880656A - 一种基于p300信号的智能脑控***及康复设备 - Google Patents

一种基于p300信号的智能脑控***及康复设备 Download PDF

Info

Publication number
CN111880656A
CN111880656A CN202010737661.8A CN202010737661A CN111880656A CN 111880656 A CN111880656 A CN 111880656A CN 202010737661 A CN202010737661 A CN 202010737661A CN 111880656 A CN111880656 A CN 111880656A
Authority
CN
China
Prior art keywords
module
signal
electroencephalogram
distance
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010737661.8A
Other languages
English (en)
Other versions
CN111880656B (zh
Inventor
于扬
刘凯玄
曾令李
刘亚东
周宗潭
胡德文
唐景昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010737661.8A priority Critical patent/CN111880656B/zh
Publication of CN111880656A publication Critical patent/CN111880656A/zh
Application granted granted Critical
Publication of CN111880656B publication Critical patent/CN111880656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/04—Wheeled walking aids for patients or disabled persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Rehabilitation Therapy (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Veterinary Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于P300信号的智能脑控***及康复设备，包括：控制模块及分别与其相连的脑电信号采集处理模块、深度及距离判别模块、目标识别模块和操作执行模块，控制模块用于综合处理脑电信号采集处理模块、深度及距离判别模块和目标识别模块发送的信息，并将处理结果实时反馈给操作执行模块，同时，将操作执行模块做出的相关操作反馈给脑电信号采集处理模块、深度及距离判别模块和目标识别模块。本发明具有适用范围广，实用性强，鲁棒性高的优点。

Description

一种基于P300信号的智能脑控***及康复设备
技术领域
本发明涉及医疗器械技术领域，特别是涉及一种基于P300信号的智能脑控***及包括上述智能脑控***的康复设备。
背景技术
我国正面临着日益严重的老龄化问题和数量庞大的残疾人群，脑机接口技术的研究和应用有望为老年人和残障人士等有运动方面障碍的群体提供有力的辅助运动手段。目前主流的脑机接口技术主要针对三种脑电信号EEG信号(运动感知节律信号)、SSVEP信号(稳态视觉诱发电位信号)和P300信号。据对于患者的脑部功能磁共振研究表明，脑机接口，尤其是运动感知类型的脑机接口可以在一定程度上改善残障患者大脑运动相关区域的功能，从而在一定程度上起到恢复性训练的效果。由于大脑视觉中枢对稳态视觉闪烁刺激的频率响应带宽有限，且频率分辨率不能太低，一般当两个闪烁的频率差距低于0.5Hz时产生的SSVEP信号就无法区分，因此SSVEP信号可输出的命令数相对较少。运动感知节律相对准确率较低，且需要对于被试对象进行较长时间的训练。同时，大多数基于P300信号的脑机接口***实际信息传输率较低，准确率较低，无法实现异步控制，发出的脑控指令未结合多种外部设备，无法真正利用***的脑控指令控制外部设备，因此难以适应复杂环境，不具备很好的实用性和鲁棒性。
发明内容
有鉴于此，本发明提出一种基于P300信号的智能脑控***及康复设备，使用准确率、实际信息传输率都较高且无需预先训练的P300信号作为整个智能脑控***的输入信号，整个***依据OddBall范式操作，同时结合结合Kinect深度点云信息提取、YOLOv3机器视觉目标识别、Kinova机械臂、声纳技术，实现了异步动态的在现实场景中识别选择目标，在线显示结果并自动执行相关操作的功能，很好地解决了上述技术问题。
一方面，本发明提供了基于P300信号的智能脑控***，应用于康复车，包括：
脑电信号采集处理模块，用于采集并识别康复车上用户的脑电信号；
深度及距离判别模块，用于判断当前环境中障碍物的位置及其与康复车的距离；
目标识别模块，用于将拍摄的当前环境各个图片中的障碍物目标框出，并附带上其分类、分类概率信息；
操作执行模块，用于接收控制模块发送的用户指令并做出相关操作；
控制模块用于综合处理脑电信号采集处理模块、深度及距离判别模块和目标识别模块发送的信息，并将处理结果实时反馈给操作执行模块，同时，将操作执行模块做出的相关操作反馈给脑电信号采集处理模块、深度及距离判别模块和目标识别模块；
所述脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块分别与控制模块相连。
进一步地，所述脑电信号采集处理模块包括脑电放大器、放大器电池包、64通道电极帽、64通道脑电信号湿电极传感器和显示器，所述脑电放大器、放大器电池包和显示器均安装于康复车上，所述64通道电极帽用于用户脑佩戴，所述显示器用于诱发P300信号；
和/或，所述深度及距离判别模块包括并行设置且分别与控制模块相连的第一子模块和第二子模块，所述第一子模块和第二子模块均用于判断当前环境中障碍物的位置及其与康复车的距离，所述第一子模块包括Kinect深度相机，Kinect深度相机放置于康复车的中轴线上，所述第二子模块包括激光雷达和声纳；
和/或，所述操作执行模块包括麦克拉姆轮底盘和机械臂，所述麦克拉姆轮
底盘和机械臂均与控制模块相连，用于接收控制模块发送的用户指令做出相关操作。
进一步地，所述脑控***还包括与控制模块相连的异步开关，所述异步开关为SSVEP信号使用的CCA分类器，其包括两个SSVEP刺激块，其中之一的SSVEP刺激块表示使用康复车，其闪烁频率为11.6Hz；其中之二的SSVEP刺激块表示不使用康复车，其闪烁频率为14.8Hz；
所述脑控***还包括P300信号使用的SWLDA分类器，所述SWLDA分类器与SSVEP分类器相连。
进一步地，脑电信号采样时遵守64通道国际10-20规范，其中，基于P300信号选择的电极位置为FC1、FC2、CP1、CP2和CZ；基于SSVEP信号选择的电极位置为P7、P3、Pz、P4、P8、PO3、POz、PO4、O1、Oz和O2；参考电极选择的电极位置为FT7和FT8；FPz接地。
另一方面，本发明还提供了一种基于P300信号的智能脑控方法，使用其上任一项所述的基于P300信号的智能脑控***，所述脑控方法包括如下步骤：
S1、通过脑电信号采集处理模块采集并识别康复车上用户发出指令的脑电信息；
S2、通过深度及距离判别模块判断当前环境中障碍物的位置信息及其与康复车的距离信息；
S3、通过目标识别模块将拍摄的障碍物各个图片中的目标框出，并附带上其分类、分类概率信息；
S4、通过控制模块综合处理接收到的脑电信号、障碍物的位置信息及其与康复车的距离信息和障碍物各个图片中的目标及其附带上的分类、分类概率信息，并将携带用户指令的处理结果发送至操作执行模块；
S5、操作执行模块接收到处理信息，并完成用户指令后，将其执行情况再通过控制模块分别反馈至脑电信号采集处理模块、深度及距离判别模块和目标识别模块。
进一步地，所述步骤S1中，以P300信号和SSVEP信号作为脑控方法的输入信号，具体表现为：
S101、通过脑电信号采集处理模块中64通道脑电信号湿电极传感器采集佩戴64通道电极帽用户的脑电信号，所述脑电信号携带有P300信号和SSVEP信号；
S102、用户的脑电信号通过脑电放大器进入基于SSVEP信号的CCA分类器；
S103、CCA分类器根据SSVEP信号判断用户目前是否在使用智能脑控***，如果是，则进入步骤S104，反之则进入步骤S105；
S104、开始调用基于P300信号的SWLDA分类器，并根据用户的P300信号具体模式识别出用户的指令；
S105、整个智能脑控***进入到一种休眠状态，直到用户使用该***。
进一步地，所述步骤S103和S104之间还包括如下步骤：
1)在每次刺激发生之后截取100～800ms内的信号，并按照各个刺激的编码将不同脑电信号通道的信号切片首位拼接形成一个一维向量；
2)将步骤1)中拼接好的一维向量经过卷积核为10的均值滤波器均值滤波；
3)对于步骤2)中完成均值滤波的信号以十分之一的降采样率进行降采样。
进一步地，所述步骤S2具体表现为：
S201、通过深度及距离判别模块中Kinect深度相机，或激光雷达和声纳获取当前环境的点云深度图，所述点云深度图包括RGB和原始距离图，RGB图中的每一个像素点和原始距离图中的每一个点完全配准；
S202、将RGB图灰度化成为灰度图；
S203、根据如下公式分别在灰度图和对应位置下的原始距离图上放置20*20的联合双边滤波器：
Figure BDA0002605680740000041
式中，p、q是图像内的坐标，f、g是权值计算函数，取高斯函数；
Figure BDA0002605680740000051
是参考图像，即RGB图像在p、q两点的像素值；Iq是输入图像，即原始距离图像在q点的像素值；Ω是联合双边滤波器的尺寸；JP是滤波完成之后输出图像上P点的像素值；
S204、按照公式(3)分别计算出当前位置下的20*20区域内每一个像素点滤波之后的结果；
S205、不断滑动联合双边滤波器，直至完成对于整个深度图的滤波；
S206、使用滤波完成之后的结果代替原始距离图，成为新的距离图。
进一步地，所述步骤S3采用YOLOV3算法进行识别，具体过程如下：
S301、通过卷积层提取目标识别模块中的输入图片特征；
S302、通过池化层对输入图片降采样，降低数据维度；
S303、通过残差层对网络的残差进行收集并进行反向传播；
S304、通过全连接层根据输入的特征对于图片中的目标进行分类、置信度预测和定位；
S305、通过Route层把不同分辨率的输入图片拼接在一起，且会将各个输入图片中的目标框出，并附带其分类、分类概率信息。
再一方面，本发明还提供了一种康复设备，包括康复车及其上任一项所述的基于P300信号的智能脑控***，所述智能脑控***使用其上任一项所述的脑控方法进行训练。
本发明以P300信号作为整个智能脑控***的输入信号，整个***依据OddBall范式操作，同时结合Kinect深度点云信息提取、YOLOv3机器视觉目标识别、Kinova机械臂、声纳技术实现了异步动态的在现实场景中识别选择目标，在线显示结果并自动执行相关操作的功能，能够轻松地适应复杂环境，具备很好的实用性和鲁棒性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基于P300信号的智能脑控***的结构框图；
图2为本发明通过深度及距离判别模块得到的点云深度图；
图3为本发明一种基于P300信号的智能脑控***的脑控方法的流程图；
图4为本发明脑电信号信号判断流程图；
图5为六十四导国际10-20脑电极分布规范；
图6为P300信号标准切片图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
同时，为更好地理解本发明，特对如下定义做出解释：
SSVEP(Steady-State Visual Evoked Potentials，稳态视觉诱发电位)是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应；
Kinect，为kinetics(动力学)加上connection(连接)两字所自创的新词汇，它是一种3D体感摄影机(开发代号“ProjectNatal”)，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能；
Faster RCNN，是一种识别准确率较高，尤其是识别小目标较为准确的机器视觉算法，是在RCNN的基础上改进而来的，但是Faster RCNN的识别速度太慢，大约每秒0.5帧，实时性很差，RCNN全称是Region-based Convolutional Neural Network；
YOLO，全称You Only Look Once，是一种识别速度很快，背景误检测率很低的机器视觉算法，但是YOLO的目标识别准确率相对Faster RCNN较低，尤其识别小目标准确率较低；
A*(A-Star)算法，是一种静态路网中求解最短路径最有效的直接搜索方法，也是解决许多搜索问题的有效算法。
图1是本发明一种基于P300信号的智能脑控***的结构框图。如图1所示，一种基于P300信号的智能脑控***包括脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块和控制模块，脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块分别与控制模块相连，上述脑电信号采集处理模块用于采集并识别康复车上用户的脑电信号，深度及距离判别模块用于判断当前环境中障碍物的位置及其与康复车的距离，目标识别模块用于将拍摄的当前环境各个图片中的障碍物目标框出，并附带上其分类、分类概率信息，操作执行模块用于接收控制模块发送的用户指令并做出相关操作，控制模块用于综合处理脑电信号采集处理模块、深度及距离判别模块和目标识别模块发送的信息，并将处理结果实时反馈给操作执行模块，同时，将操作执行模块做出的相关操作反馈给脑电信号采集处理模块、深度及距离判别模块和目标识别模块。需要说明的是，上述控制模块优选为在BCI2000框架下运行的笔记本电脑；且为了提高整个***的运行效率，上述脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块四个模块分别运行在独立的子线程中，互不干扰，脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块与控制模块之间的信息优选通过Python Queue(蟒蛇队列)模块进行队列通讯。
通过上述设置，在***运行过程中，脑电信号采集处理模块、深度及距离判别模块、目标识别模块的信息会在笔记本电脑中进行综合处理，其结果会发送给操作执行模块，操作执行模块执行的结果会实时反馈给笔记本电脑，再由笔记本电脑分别发送给脑电信号采集处理模块、深度及距离判别模块、目标识别模块，实现闭环回路，这样有利于用户实时了解整个智能脑控康复车的运行状态。
同时，本发明还提供一种康复设备，包括康复车和图1所示的基于P300信号的智能脑控***，该智能脑控***应用于康复车，需要说明的是，康复车可以参考现有技术的康复车结构，优选康复车的长度为900mm左右，具体地：
上述脑电信号采集处理模块包括脑电放大器、放大器电池包、64通道电极帽、64通道脑电信号湿电极传感器和显示器，脑电放大器、放大器电池包和显示器均安装于康复车上，64通道电极帽用于用户脑佩戴，显示器用于诱发P300信号，用户在操作该***时，需要看着用于诱发P300信号的显示器界面，在此过程中脑电信号由64通道脑电信号湿电极传感器采集经过脑电放大器放大之后进入笔记本电脑进行处理，要特别注意，在视野中出现的目标数量较少时，依据OddBall范式(怪球范式)往往无法诱发出足够明显的P300波形，需要设置伪目标刺激；
深度及距离判别模块包括并行设置且分别与控制模块相连的第一子模块和第二子模块，第一子模块和第二子模块均用于判断当前环境中障碍物的位置及其与康复车的距离，这两个子模块独立运行，把各自测量得到的结果独立传递给笔记本电脑，并由笔记本电脑根据相关算法得到最终结果，之所以本发明中需要综合这两个子模块是为了实现优势互补，提高整体精度，以适应各种不同的复杂环境，第一子模块包括Kinect深度相机，Kinect深度相机放置于康复车的中轴线上，其原理是由Kinect深度相机会发射一束红外光编码到环境中，并采集环境中反射回来的红外光编码，从而判断环境中各个物体的深度信息，第二子模块包括激光雷达和声纳，其原理是通过向环境中发射激光和声波(一般是超声波)再接收回波从而判断环境中各个目标的距离信息，此时，康复车上还设置有用于接收超声波的超声波探头，图2即为本发明通过深度及距离判别模块获得的点云深度图，该深度图包括两个部分：左半部分的RGB图和右半部分的距离图，RGB图中的每一个像素点和距离图中的每一个点完全配准，即左边每一个物体距离Kinect深度相机的距离可以完全在右边对应位置反应出来，图2中的左部分RGB图黑色部分表示可以通过的部分，在本发明中指没有障碍物的地面，其他所有颜色都代表不可通过的物体，颜色越鲜艳则代表距离越近；
操作执行模块包括麦克拉姆轮底盘和机械臂，麦克拉姆轮底盘和机械臂均与笔记本电脑相连，用于接收笔记本电脑发送的用户指令做出相关操作，需要说明的是，上述机械臂优选为Kinova公司生产的机械臂，其机械臂的前端设置有用于抓取物件的两爪机械手；
需要说明的是，为节省成本，减少浪费，本发明中目标识别模块优选可用由笔记本电脑兼任，该笔记本电脑具体使用YOLOV3算法进行目标识别与分类。
在进一步地技术方案中，本发明采用P300信号和SSVEP信号作为整个智能脑控***的输入信号，其中SSVEP信号仅起到异步开关的作用，即本发明还包括与控制模块相连的异步开关，该异步开关优选为SSVEP信号使用的CCA分类器，基于SSVEP信号的异步开关是一种“阶跃”开关，即每一次开关被触发之后其状态会长时间维持不变，直到下一次触发改变其状态，其包括两个SSVEP刺激块，其中之一的SSVEP刺激块表示使用康复车，其闪烁频率为11.6Hz；其中之二的SSVEP刺激块表示不使用康复车，其闪烁频率为14.8Hz，***根据SSVEP信号判断用户目前是否在使用康复车***，当用户在使用***的过程中，如果想要中途关闭***，只需要看着刺激界面上14.8Hz的SSVEP刺激块即可触发退出开关使***关闭并进入休眠状态；同时，本发明还包括P300信号使用的SWLDA分类器，SWLDA分类器与SSVEP分类器相连。
同时，作为本发明的优选实施例，上述脑电信号采样时遵守下图5的64通道国际10-20规范。P300信号作为一种高级认知信号，在人脑的顶区尤为明显，因此选择的电极位置为FC1、FC2、CP1、CP2、CZ；SSVEP信号是一种由大于4Hz的外部周期闪烁刺激所诱发的视觉相关电位，主要集中分布在人的枕区，因此选择采集电极位置为P7，P3，Pz，P4，P8，PO3，POz，PO4，O1，Oz，O2；参考电极选择在实验中脑电信号变化最小的FT7、FT8；FPz接地，并使用50Hz陷波滤波器进行工频滤波，减少工频干扰。
如图3所示，本发明还提供一种基于P300信号的智能脑控***的脑控方法，包括如下步骤：
S1、通过脑电信号采集处理模块采集并识别康复车上用户发出指令的脑电信息；
S2、通过深度及距离判别模块判断当前环境中障碍物的位置信息及其与康复车的距离信息；
S3、通过目标识别模块将拍摄的障碍物各个图片中的目标框出，并附带上其分类、分类概率信息；
S4、通过控制模块综合处理接收到的脑电信号、障碍物的位置信息及其与康复车的距离信息和障碍物各个图片中的目标及其附带上的分类、分类概率信息，并将携带用户指令的处理结果发送至操作执行模块；
S5、操作执行模块接收到处理信息，并完成用户指令后，将其执行情况再通过控制模块分别反馈至脑电信号采集处理模块、深度及距离判别模块和目标识别模块。
具体地，上述脑控方法步骤1中以P300信号和SSVEP信号作为脑控方法的输入信号，具体信号的判断流程通过如下过程表现：
S101、通过脑电信号采集处理模块中64通道脑电信号湿电极传感器采集佩戴64通道电极帽用户的脑电信号，脑电信号携带有P300信号和SSVEP信号；
S102、用户的脑电信号通过脑电放大器进入基于SSVEP信号的CCA分类器；
S103、CCA分类器根据SSVEP信号判断用户目前是否在使用智能脑控***，如果是，则进入步骤S104，反之则进入步骤S105；
S104、开始调用基于P300信号的SWLDA分类器，并根据用户的P300信号具体模式识别出用户的指令；
S105、整个智能脑控***进入到一种休眠状态，直到用户使用该***。
图4即为上述脑电信号信号判断流程图。上述需要说明的是，由于从脑电放大器采集到的原始脑电信号幅值小，信噪比低，因此不能直接进行模式识别分类，需要先进行信号切片和均值滤波以及降采样之后才能利用SWLDA分类器进行二分类，即步骤S103和S104之间还包括如下步骤：
1)在每次刺激发生之后截取100～800ms内的信号，并按照各个刺激的编码将不同脑电信号通道的信号切片首位拼接形成一个一维向量；
2)将步骤1)中拼接好的一维向量经过卷积核为10的均值滤波器均值滤波；
3)对于步骤2)中完成均值滤波的信号以十分之一的降采样率进行降采样。
完成以上步骤的信号切片将进入SWLDA分类器进行分类。本质SWLDA算法是一种把复杂的高维特征投影到低维度以实现投影之后的低维特征具有最小的类内距离和最大的类间距离的算法。这里输入SWLDA的高维特征就是经过上述步骤1)至步骤3)三步处理的切片信号。因为在本发明中每次只需要选出一个选项当作目标执行，其他的选项都是非目标，所以本质上只需要对于输入信号进行二分类，因此可以把原来输入的高维特征直接降维变成一维特征。因为一维特征本质是一个标量，因此也可以认为是一个关于各个输入的信号切片的得分。在此之后再按照各个刺激编码把对应的一维特征，即信号切片得分，进行平均。其中平均值最大的那个刺激编码就是目标选项对应的编码，如下面的公式(1)所示。
Figure BDA0002605680740000111
其中，K代表离线训练的次数，即trial数，x是离线采集的脑电信号，w为SWLDA分类器的权值投影矩阵，这个矩阵是根据离线采集的脑电信号训练出来的，原理如下面的公式(2)所示：
wx-b＝0 (2)
式中，b是每一个脑电信号切片的标签，即，该信号是否是目标刺激对应的脑电信号。
考虑到本发明的应用对象是有运动障碍的残障人士，为了保证脑控准确率和安全性、可靠性，在离线训练时，训练4个Run，每个Run训练10个任务，每个任务的trial数，即离线训练的次数，是4且必须保证最后离线训练的正确率大于等于百分之七十，否则继续训练直至满足离线准确率的要求。在理想情况下，离线训练完成后目标刺激对应的脑电信号切片应该如下图6所示，在400ms左右具有明显的波峰。
在进一步的技术方案中，所述步骤S2具体表现为：
S201、通过深度及距离判别模块中Kinect深度相机，或激光雷达和声纳获取当前环境的点云深度图，该点云深度图包括RGB和原始距离图，RGB图中的每一个像素点和原始距离图中的每一个点完全配准；需要说明的是，上述Kinect深度相机优选为基于主动距离探测的Kinect XBOX 360深度相机，此深度相机是微软开发的一种利用红外光编码技术的设备，深度值最大为4096mm，0值通常表示深度值不能确定，微软建议在开发中使用1220mm～3810mm范围内的值，鉴于本发明中的康复车长度为900mm左右，且Kinect深度相机放置在中轴线上，因此，凡是距离Kinect深度值小于等于900mm的部分都理应设置为康复车本身，为了留有余量这里将900mm增加至1000mm，即认为距离Kinect深度距离小于等于1000mm的范围内的一切物体都是康复车本身，即使检测到目标也不算做障碍物，距离Kinect超过3810mm的目标，因为Kinect本身检测精度的下降，将无法精确检测，因此这一范围内即使检测到障碍物也忽略；
S202、将RGB图灰度化成为灰度图；
S203、根据如下公式分别在灰度图和对应位置下的原始距离图上放置20*20的联合双边滤波器：
Figure BDA0002605680740000121
式中，p、q是图像内的坐标，f、g是权值计算函数，取高斯函数；
Figure BDA0002605680740000122
是参考图像，即RGB图像在p、q两点的像素值；Iq是输入图像，即原始距离图像在q点的像素值；Ω是联合双边滤波器的尺寸；JP是滤波完成之后输出图像上P点的像素值；
需要说明的是，上述联合双向滤波是鉴于Kinect深度相机采集的距离图像往往含有较多噪点，图像质量较差，不能直接使用这一问题而引入的；
S204、按照公式(3)分别计算出当前位置下的20*20区域内每一个像素点滤波之后的结果；
S205、不断滑动联合双边滤波器，直至完成对于整个深度图的滤波；
S206、使用滤波完成之后的结果代替原始距离图，成为新的距离图。
此外，值得提及的是，目前现有的目标识别算法主要包括将目标的定位、分类分开进行的Faster RCNN系列算法等和在同一个网络里同时进行目标的定位、分类、检测分类正确率的YOLO系列算法等。本发明针对的是对于实时性有很高要求的脑机接口技术，因此以Faster RCNN为代表的这一类算法，虽然目标检测的正确率和召回率往往较高但是实时性太差，无法满足本发明的需求，不予考虑。YOLO系类的算法，相对而言虽然在目标检测的准确率，尤其是集群小目标的准确率方面处于劣势，但是其假阳率更低，且实时性远远胜于Faster RCNN等，因此在本发明中选用YOLO系列算法。详情可以参考下表1，表中对比了Faster RCNN系列和YOLO系列在平均准确率和帧率方面的性能指标。
探测模型 平均准确率 帧率
FasterRCNN 70.0 0.5
YOLO 63.4 45
YOLOv2288*288 69.0 91
YOLOv2352*352 73.7 81
YOLOv2416*416 76.8 67
YOLOv2480*480 77.8 59
YOLOv2544*544 78.6 40
表1各种算法的平均准确率和帧率
YOLO系列算法之所以速度很快一是因为这是一种网络比较简单的、完全端到端的算法，其目标的检测、定位、目标置信度预测完全在一个网络里进行；二是因为使用的损失函数比较合适。YOLO系列算法本质上是由一系列卷积层，池化层，残差层和少部分的全连接层、Route层组成。YOLO系列算法主要包括四个版本，其优劣如下表2：
YOLO模型 速度 平均准确率 识别目标类别
YOLOv1 较快 较高 较多
YOLOv2 最快 较高 较多
YOLOv3 较快 最高 较多
YOLO9000 较快 较低 最多
表2 YOLO各个版本优劣
出于实时性以及用户体验方面的考虑，本发明需要速度较快，准确率较高的算法，相对而言目标识别的种类不需要很多，因为所用的环境往往在室内，室内环境较为简单。因此，综合考虑，本发明选用YOLOv3承担目标识别的功能，具体表现为：
S301、通过卷积层提取目标识别模块中的输入图片特征；
S302、通过池化层对输入图片降采样，降低数据维度；
S303、通过残差层对网络的残差进行收集并进行反向传播；
S304、通过全连接层根据输入的特征对于图片中的目标进行分类、置信度预测和定位；
S305、通过Route层把不同分辨率的输入图片拼接在一起，且会将各个输入图片中的目标框出，并附带其分类、分类概率信息。
损失函数如下式(4)所示，包括对于类、置信度、预测框坐标的惩罚，这种误差的平方和不仅比较容易求导反向传播而且能够最大化的衡量预测边界框和物体真实边界框之间的相似程度。
Figure BDA0002605680740000141
在实际应用中，康复车上方安装的Kinect XBOX360深度相机中间的RGB摄像头会以视频流的形式采集环境中的图像，并将其输入到YOLOv3算法中，YOLOv3经过处理之后会将视频流的各个图片中的目标框出，并附带上其分类、分类概率信息。
作为本发明优选实施例，上述脑控方法通过A*算法实现康复车的避障，即A*算法会自动给出从当前位置(即发明中康复车所在位置)到目标位置(即实验中用户感兴趣的目标位置)的最优路线这里的最优路线指的是最短的可通过路线，而不是最平滑的路线。之所以这么考虑是因为实验选择的场地是室内，往往环境较为简单，因此康复车的移动路线应该以效率为第一考虑因素，移动路线是否平滑不会太影响本发明的性能。A*算法本质上是一种根据先验地图来选择路径的算法，因此在实验之前需要在场地内先让康复车跑一遍以获得实验场地的地图信息。
A*算法在本发明中的编程步骤如下述：
1.把实验场地的地图划分成为S*S个子部分，即实验场地的地图由这S*S个小方格组成，每一个小方格代表地图上的一个小区域；
2.准备两个足够大的列表OPen List(开放列表)和Close List(开放列表)分别用来存储当前状态下可以经过的小区域和已经经过了的小区域，并预先将它们初始化为空数组；准备一个足够大的数组Pointer(指针)来存储每一个区域的父区域指针(即用来记录康复车是从前面哪一个区域到达当前所在区域)，同样先初始化为空；
3.把当前康复车所在的区域放进OPenList，并检测当前康复车所在区域旁边的八个邻域，将其中可以通过(即没有障碍物)且没有在CloseList的领域存储进入OPenList，将当前这些刚刚放进OPenList的区域的父区域指针指向当前康复车所在的区域，并存储在Pointer中；
4.把当前康复车所在的区域从OPenList中移除并放入CloseList；计算步骤3中各个放进OPenList的可通过区域的F值，计算公式如下：
F＝G+H (5)
其中G是康复车在地图上的最初位置距离康复车目前所在位置的距离，H是忽略当前地图上所有障碍物的情况下目前康复车所在位置离用户感兴趣的物体的曼哈顿距离；
5.按照F值的大小将OPenList里所有区域降序排列，选择其中F值最小的一个区域从OPenList移除并放入CloseList，检查这个F值最小的区域的八个邻域，将其中不在CloseList且可以通过的邻域放进OPenList，如果这个F值最小的区域的八个邻域内存在原本就在OPenList内的区域，则需要检测看这条路径是否最优，即比较这个原本就在OPenList内的区域的G值和把F值最小的区域当成父区域并从这个父区域到达所对应的G值的大小；如果原本的路径更好，什么都不用做；否则需要把这个原本就在OPenList内的区域的G值改成以F值最小的区域为父区域并从这个父区域到达所对应的G值的大小，再在Pointer里将这个原本就在OPenList内的区域的父区域指向F值最小的这个区域。例如，一个原本就在OPenList内的区域a的G值是100，当前F值最小的区域b是区域a的邻域，区域b的G值是50，从区域b到达区域a所花费的G值是20，由于原本区域a的G值100>区域b的G值50+从区域b到区域a的G值20，有理由认为先到达区域b，再由区域b到达区域a是一条比直接到达区域a更好的路径，所以需要将区域a的G值从100改成50+20，即70，然后再修改Pointer里将区域a的父区域指向区域a。
不断循环上述的5个步骤，直至最终用户感兴趣的目标出现在OPenList中，然后再根据Pointer里面的指针从用户感兴趣的目标开始反推跟着父区域指针一步一步走到康复车在最初始状态的位置即可以得到最优的路径。
综上所述，本发明具有如下优点：
(1)本发明通过基于P300信号的智能脑控***，结合YOLOV3算法目标识别技术，可以实时在当前视野中识别到的任何目标中选择感兴趣的目标并采取相关操作；
(2)本发明结合Kinect深度相机、声纳、激光雷达，可以实时探测出当前环境的状态，并结合深度点云，自动动态实时规划到达所选中目标的路径，包括自动避障和实现路径最短等；
(3)本发明结合了麦克拉姆轮椅底盘和Kinova机械臂，可以根据选择的目标和当前实时规划的路径自动到达目标附近区域，如有需要，Kinova机械臂会自动根据深度点云信息抓取目标；
(4)本发明兼容了两种不同的控制模式，即自动模式和手动模式以方便用户在实际生活中的不同需要：自动模式下，用户只需要选择当前场景中的任意感兴趣目标，***就会自动执行剩余所有操作，直至完成该操作，如用户选择前方的杯子，***会自动到达杯子旁边，并伸出机械臂抓取杯子送到用户面前；手动模式，用户需要选择具体的每一步操作，***会根据用户的选择执行所选的操作，仍以用户喝水为例，手动模式下，用户需要先选择前进选项，在***前进到杯子旁边之后，用户再选择机械臂抓取选项，机械臂才会抓取杯子给用户。这里之所以设置两种不同模式是因为单纯的手动模式效率太低，但是当用户只是单纯想要前进或者后退时自动模式又无法满足。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于P300信号的智能脑控***，应用于康复车，其特征在于，包括：
脑电信号采集处理模块，用于采集并识别康复车上用户的脑电信号；
深度及距离判别模块，用于判断当前环境中障碍物的位置及其与康复车的距离；
目标识别模块，用于将拍摄的当前环境各个图片中的障碍物目标框出，并附带上其分类、分类概率信息；
操作执行模块，用于接收控制模块发送的用户指令并做出相关操作；
控制模块用于综合处理脑电信号采集处理模块、深度及距离判别模块和目标识别模块发送的信息，并将处理结果实时反馈给操作执行模块，同时，将操作执行模块做出的相关操作反馈给脑电信号采集处理模块、深度及距离判别模块和目标识别模块；
所述脑电信号采集处理模块、深度及距离判别模块、目标识别模块、操作执行模块分别与控制模块相连。
2.根据权利要求1所述的基于P300信号的智能脑控***，其特征在于，所述脑电信号采集处理模块包括脑电放大器、放大器电池包、64通道电极帽、64通道脑电信号湿电极传感器和显示器，所述脑电放大器、放大器电池包和显示器均安装于康复车上，所述64通道电极帽用于用户脑佩戴，所述显示器用于诱发P300信号；
和/或，所述深度及距离判别模块包括并行设置且分别与控制模块相连的第一子模块和第二子模块，所述第一子模块和第二子模块均用于判断当前环境中障碍物的位置及其与康复车的距离，所述第一子模块包括Kinect深度相机，Kinect深度相机放置于康复车的中轴线上，所述第二子模块包括激光雷达和声纳；
和/或，所述操作执行模块包括麦克拉姆轮底盘和机械臂，所述麦克拉姆轮底盘和机械臂均与控制模块相连，用于接收控制模块发送的用户指令做出相关操作。
3.根据权利要求1或2所述的基于P300信号的智能脑控***，其特征在于，还包括与控制模块相连的异步开关，所述异步开关为SSVEP信号使用的CCA分类器，其包括两个SSVEP刺激块，其中之一的SSVEP刺激块表示使用康复车，其闪烁频率为11.6Hz；其中之二的SSVEP刺激块表示不使用康复车，其闪烁频率为14.8Hz；
还包括P300信号使用的SWLDA分类器，所述SWLDA分类器与SSVEP分类器相连。
4.根据权利要求3所述的基于P300信号的智能脑控***，其特征在于，脑电信号采样时遵守64通道国际10-20规范，其中，基于P300信号选择的电极位置为FC1、FC2、CP1、CP2和CZ；基于SSVEP信号选择的电极位置为P7、P3、Pz、P4、P8、PO3、POz、PO4、O1、Oz和O2；参考电极选择的电极位置为FT7和FT8；FPz接地。
5.一种基于P300信号的智能脑控方法，其特征在于，使用权利要求1至4任一项所述的基于P300信号的智能脑控***，所述脑控方法包括如下步骤：
S1、通过脑电信号采集处理模块采集并识别康复车上用户发出指令的脑电信息；
S2、通过深度及距离判别模块判断当前环境中障碍物的位置信息及其与康复车的距离信息；
S3、通过目标识别模块将拍摄的障碍物各个图片中的目标框出，并附带上其分类、分类概率信息；
S4、通过控制模块综合处理接收到的脑电信号、障碍物的位置信息及其与康复车的距离信息和障碍物各个图片中的目标及其附带上的分类、分类概率信息，并将携带用户指令的处理结果发送至操作执行模块；
S5、操作执行模块接收到处理信息，并完成用户指令后，将其执行情况再通过控制模块分别反馈至脑电信号采集处理模块、深度及距离判别模块和目标识别模块。
6.根据权利要求5所述的脑控方法，其特征在于，所述步骤S1中，以P300信号和SSVEP信号作为脑控方法的输入信号，具体表现为：
S101、通过脑电信号采集处理模块中64通道脑电信号湿电极传感器采集佩戴64通道电极帽用户的脑电信号，所述脑电信号携带有P300信号和SSVEP信号；
S102、用户的脑电信号通过脑电放大器进入基于SSVEP信号的CCA分类器；
S103、CCA分类器根据SSVEP信号判断用户目前是否在使用智能脑控***，如果是，则进入步骤S104，反之则进入步骤S105；
S104、开始调用基于P300信号的SWLDA分类器，并根据用户的P300信号具体模式识别出用户的指令；
S105、整个智能脑控***进入到一种休眠状态，直到用户使用该***。
7.根据权利要求6所述的脑控方法，其特征在于，所述步骤S103和S104之间还包括如下步骤：
1)在每次刺激发生之后截取100～800ms内的信号，并按照各个刺激的编码将不同脑电信号通道的信号切片首位拼接形成一个一维向量；
2)将步骤1)中拼接好的一维向量经过卷积核为10的均值滤波器均值滤波；
3)对于步骤2)中完成均值滤波的信号以十分之一的降采样率进行降采样。
8.根据权利要求5所述的脑控方法，其特征在于，所述步骤S2具体表现为：
S201、通过深度及距离判别模块中Kinect深度相机，或激光雷达和声纳获取当前环境的点云深度图，所述点云深度图包括RGB和原始距离图，RGB图中的每一个像素点和原始距离图中的每一个点完全配准；
S202、将RGB图灰度化成为灰度图；
S203、根据如下公式分别在灰度图和对应位置下的原始距离图上放置20*20的联合双边滤波器：
Figure FDA0002605680730000041
式中，p、q是图像内的坐标，f、g是权值计算函数，取高斯函数；
Figure FDA0002605680730000042
是参考图像，即RGB图像在p、q两点的像素值；Iq是输入图像，即原始距离图像在q点的像素值；Ω是联合双边滤波器的尺寸；JP是滤波完成之后输出图像上P点的像素值；
S204、按照公式(3)分别计算出当前位置下的20*20区域内每一个像素点滤波之后的结果；
S205、不断滑动联合双边滤波器，直至完成对于整个深度图的滤波；
S206、使用滤波完成之后的结果代替原始距离图，成为新的距离图。
9.根据权利要求5所述的脑控方法，其特征在于，所述步骤S3采用YOLOV3算法进行识别，具体过程如下：
S301、通过卷积层提取目标识别模块中的输入图片特征；
S302、通过池化层对输入图片降采样，降低数据维度；
S303、通过残差层对网络的残差进行收集并进行反向传播；
S304、通过全连接层根据输入的特征对于图片中的目标进行分类、置信度预测和定位；
S305、通过Route层把不同分辨率的输入图片拼接在一起，且会将各个输入图片中的目标框出，并附带其分类、分类概率信息。
10.一种康复设备，其特征在于，包括康复车及权利要求1至4中任一项所述的基于P300信号的智能脑控***，所述智能脑控***使用权利要求5至9中任一项所述的脑控方法进行训练。
CN202010737661.8A 2020-07-28 2020-07-28 一种基于p300信号的智能脑控***及康复设备 Active CN111880656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010737661.8A CN111880656B (zh) 2020-07-28 2020-07-28 一种基于p300信号的智能脑控***及康复设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737661.8A CN111880656B (zh) 2020-07-28 2020-07-28 一种基于p300信号的智能脑控***及康复设备

Publications (2)

Publication Number Publication Date
CN111880656A true CN111880656A (zh) 2020-11-03
CN111880656B CN111880656B (zh) 2023-04-07

Family

ID=73201349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737661.8A Active CN111880656B (zh) 2020-07-28 2020-07-28 一种基于p300信号的智能脑控***及康复设备

Country Status (1)

Country Link
CN (1) CN111880656B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113616436A (zh) * 2021-08-23 2021-11-09 南京邮电大学 一种基于运动想象脑电与头姿的智能轮椅及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104083258A (zh) * 2014-06-17 2014-10-08 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
US8884949B1 (en) * 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
EP2808842A2 (en) * 2013-05-31 2014-12-03 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
CN106485672A (zh) * 2016-09-12 2017-03-08 西安电子科技大学 改进的块匹配修复和联合三边导向滤波图像增强方法
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884949B1 (en) * 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
EP2808842A2 (en) * 2013-05-31 2014-12-03 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
CN104083258A (zh) * 2014-06-17 2014-10-08 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN106485672A (zh) * 2016-09-12 2017-03-08 西安电子科技大学 改进的块匹配修复和联合三边导向滤波图像增强方法
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113616436A (zh) * 2021-08-23 2021-11-09 南京邮电大学 一种基于运动想象脑电与头姿的智能轮椅及控制方法
CN113616436B (zh) * 2021-08-23 2024-01-16 南京邮电大学 一种基于运动想象脑电与头姿的智能轮椅及控制方法

Also Published As

Publication number Publication date
CN111880656B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Ni et al. Rgbd-hudaact: A color-depth video database for human daily activity recognition
Poggi et al. A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning
CN107352032B (zh) 一种人流量数据的监控方法及无人机
CN111166357A (zh) 多传感器融合的疲劳监测装置***及其监测方法
CN110113116B (zh) 基于wifi信道信息的人体行为识别方法
CN205898143U (zh) 一种基于机器视觉与激光传感器融合的机器人导航***
US11854275B2 (en) Systems and methods for detecting symptoms of occupant illness
CN103353935A (zh) 一种用于智能家居***的3d动态手势识别方法
Sáez et al. Aerial obstacle detection with 3-D mobile devices
CN110717918B (zh) 行人检测方法和装置
CN105354985A (zh) 疲劳驾驶监控装置及方法
JP2022507635A (ja) インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及***
CN112684430A (zh) 一种室内老人行走健康检测方法、***、存储介质、终端
CN111880656B (zh) 一种基于p300信号的智能脑控***及康复设备
Rivera-Rubio et al. Appearance-based indoor localization: A comparison of patch descriptor performance
CN112595728B (zh) 一种道路问题确定方法和相关装置
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法
CN210256167U (zh) 智能避障***及机器人
CN106257553A (zh) 一种多功能智能化交通流量监测***及方法
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
CN115841707A (zh) 基于深度学习的雷达人体姿态识别方法及相关设备
CN114359814B (zh) 跌倒检测方法、装置、设备及存储介质
CN115993927A (zh) 基于手势识别的屏幕显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant