CN112085052A - 运动想象分类模型的训练方法、运动想象方法及相关设备 - Google Patents
运动想象分类模型的训练方法、运动想象方法及相关设备 Download PDFInfo
- Publication number
- CN112085052A CN112085052A CN202010739338.4A CN202010739338A CN112085052A CN 112085052 A CN112085052 A CN 112085052A CN 202010739338 A CN202010739338 A CN 202010739338A CN 112085052 A CN112085052 A CN 112085052A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram data
- motor imagery
- tactile
- data
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013145 classification model Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 title claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 73
- 210000004556 brain Anatomy 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000000875 corresponding effect Effects 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006698 induction Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请提供了一种运动想象分类模型的训练方法、运动想象方法及相关设备。该分类模型的训练方法包括：显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据；同步标注脑电波数据、显示指示动作信息和执行器执行指示动作信息对应的动作；采集被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据；利用被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。本申请提高了用户运动想象的效果。
Description
技术领域
本申请涉及脑机交互技术领域，特别是涉及一种运动想象分类模型的训练方法、运动想象方法及相关设备。
背景技术
脑机接口(BCI,brain computer interface)是一种使用脑电信号采集***建立起人脑和外部设备之间通信的人机交互技术。脑机接口技术使用脑电信号采集器和计算机等设备在特定训练方法下采集脑电信号，然后使用机器学习方法分析处理脑电数据，将大脑信息转换为控制命令，实现用户对外部设备之间的控制。脑机接口的训练方法主要有：运动想象(MI,motor imagery)，稳态视觉电位刺激(SSVEP，steady-state visual evokedpotentials)和P300。
现有技术中，对于采用运动想象训练脑机接口的方法中，通常将视觉作为运动想象的诱导信号训练脑机接口，未涉及分类结果的反馈，导致用户运动想象的效果差。
发明内容
本申请提供了一种运行想象分类模型的训练方法、运动想象方法及相关设备，主要解决的技术问题是如何提高用户运动想象的效果。
为解决上述技术问题，本申请提供了一种运动想象分类模型的训练方法，所述运动想象分类模型的训练方法包括：
显示指示动作信息的同时，控制触觉执行器执行所述指示动作信息对应的动作，以及采集被试人员的脑电波数据；
同步标注所述脑电波数据、所述显示指示动作信息和所述执行器执行所述指示动作信息对应的动作；
采集所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据；
利用所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。
为解决上述技术问题，本申请提供了另一种运动想象方法，所述运动想象方法包括：
获取用户运动想象的脑电波数据；
将所述用户的脑电波数据输入到分类模型，执行所述运动想象，其中，所述分类模型为上述任一项所述的方法所训练的分类模型。
为解决上述技术问题，本申请提供了一种脑机交互设备，所述设备包括存储器以及与所述存储器耦接的处理器；
所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的运动想象分类模型的训练方法和/或上述的运动想象方法。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的运动想象分类模型的训练方法和/或上述的运动想象方法。
本申请的有益效果是：显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据；同步标注脑电波数据、显示指示动作信息和执行器执行指示动作信息对应的动作；采集被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据；利用被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。本申请在显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据，利用人体自然直观的视觉和具有隐藏性的触觉方式来增强用户运动想象的脑电波数据，提高了用户运动想象的效果，降低了用户的感知负担。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的运动想象分类模型训练方法一实施例的流程示意图；
图2是本申请提供的运动想象分类模型的训练方法中同步诱导运动想象的时间流程示意图；
图3是本申请提供的运动想象分类模型的训练方法中脑电波数据采集设备的导联电机分布示意图；
图4是本申请提供的运动想象分类模型的训练方法中触觉信号预处理的流程示意图；
图5是本申请提供的运动想象方法的一实施例的流程示意图；
图6是本申请提供的脑机交互设备一实施例的结构示意图；
图7是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种运动想象分类模型的训练方法，具体请参阅图1，图1是本申请提供的分类模型的训练方法一实施例的流程示意图。本实施例中分类模型的训练方法可以应用于脑机交互设备，例如外骨骼机器人或轮椅等，也可应用于具有数据处理能力的服务器。本实施例的分类模型的训练方法具体包括以下步骤：
S101：显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据。
为了确保运动想象过程中诱导信号和脑电波数据正确对应，本申请需利用Matlab软件和Psychotoolbox工具箱将诱导信号和脑电波数据进行同步化。具体地，在显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据。其中，诱导信号为显示的指示动作信息和控制触觉执行器执行指示动作信息对应的动作，也就是视觉信号和触觉信号。
可参阅图2和图3，图2是本申请运动想象分类模型的训练方法中同步诱导运动想象的时间流程示意图，图3是本申请运动想象分类模型的训练方法中脑电波数据采集设备的导联电机分布示意图。为了同步化诱导信号和脑电波数据，需使被试人员穿戴脑电波数据采集设备，同时在被试人员的左右手指指肚上穿戴触觉执行器，被试人员落座于电脑屏幕前，在运动想象开始前，屏幕上出现一种令人放松的图片，60s后，运动想象开始，屏幕上出现全屏黑色，3s后屏幕上出现“+”字符号提示，指示被试人员即将进入运动想象，1s后屏幕上出现向左或向右提示箭头时，对应的触觉执行器执行显示指示动作信息对应的动作，同时采集被试人员脑电波数据，脑电波数据包括左手或右手运动想象的脑电波数据以及空闲状态下的脑电波数据；当指示做左手运动想象的箭头出现在屏幕上时，控制左手上的触觉执行器执行对应动作，大脑处于左手运动想象状态(当指示做右手运动想象的箭头出现在屏幕上时，控制右手上的触觉执行器执行对应动作，大脑处于右手运动想象状态)，单次运动想象过程共持续8s，运动想象过程持续4s，诱导信息存在于整个运动想象过程，且左右手的运动想象随机出现在屏幕上。在具体实施例中，脑电波采集设备可以为BioSemiActiveTwo，使用的脑电极头套为按照国际10-20***标准分布32个脑电极，脑电波采集设备在采集被试人员脑电波时，同步采集32通道的脑电波数据。
S102：同步标注脑电波数据、显示指示动作信息和执行器执行指示动作信息对应的动作。
基于S101中同步的诱导信号和脑电波数据，记录执行器执行指示动作信息对应动作时，脑电波数据采集的时间点信息，并在标签流中标注运动想象。具体地，根据向左或向右的运动想象在标签流中标记对应标识，例如左手运动想象标注为1，右手运动想象标注为2，以完成同步标注。
S103：采集被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据。
为了提高视觉触觉同步诱导的优越性，本申请需分别采集多个被试人员在视觉状态下、触觉状态下、以及视觉触觉结合状态下的脑电波数据。具体地，可邀请5个被试人员分别进行三组实验：单独视觉诱导的运动想象、单独触觉诱导的运动想象和触觉视觉同步诱导的运动想象。例如，运动想象共进行4轮，每轮包括10次左手运动想象和10次右手运动想象，左右手运动想象随机出现，具体的运动想象过程可参阅图2，每位被试人员有效运动想象数据为4s*20次*4轮*3组＝960s。其中，单独视觉诱导的运动想象时，触觉执行器仍穿戴于被试人员的手指指肚，但不动作；单独触觉诱导的运动想象时，被试人员需屏蔽视觉信号。
S104：利用被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。
基于S103中采集的被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据，对采集的脑电波数据进行特征提取，以根据脑电波数据特征进行特征分类，获得运动想象的分类模型。
在具体实施例中，可采用线性判别分析法(LDA,Linear Discriminate Analysis)对三种状态下的脑电波数据特征进行分类，并以损失函数变小为目标训练分类模型，以获取三种状态下的分类模型。
为了提高分类模型的稳定性，获取三种状态下在线分类效果最好的分类模型，本实施例需对获取的三种状态下的分类模型进行在线测试。在线测试时，被试人员落座于电脑屏幕前，屏幕随机出现向左或向右的运动想象，具体将脑电波数据以预设窗长和预设步长的滑窗方式输入到已训练好的分类模型中，持续进行分类，若持续分类正确的数量大于等于预设阈值时，屏幕将反馈分类正确信息，分类正确信息包括反馈预设图像(例如，笑脸图像)和控制触觉执行器执行动作，反之，反馈哭脸图像和控制触觉执行器不执行动作。
本实施例中，显示指示动作信息的同时，控制触觉执行器执行指示动作信息对应的动作，以及采集被试人员的脑电波数据；同步标注脑电波数据、显示指示动作信息和执行器执行指示动作信息对应的动作；采集被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据；利用被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。本申请通过同步标注脑电波数据、显示指示动作信息和执行器执行指示动作信息对应的动作，确保了运动想象过程中诱导信号与脑电波数据正确对应；利用触觉执行器执行显示指示动作信息并同步采集脑电波数据，增强了用户运动想象的脑电波数据特征，提高了脑机接口的实用效果；在线测试获取三种状态下的分类模型，提高了分类模型的稳定性；采集被试人员视觉状态下、触觉状态下和视觉触觉结合状态下的脑电波数据训练各自的分类模型，体现了视觉触觉同步诱导的优越性。
进一步地，对于步骤S101中所述的控制触觉执行器执行指示动作信息对应的动作，可参阅图4，图4是本申请运动想象分类模型的训练方法中触觉信号预处理的流程示意图。具体包括以下步骤：
S11：获取触觉执行器的运动信息。
为了获取待表达的触觉信号，本实施例将传感器绑缚于被试人员的左右手上，采集被试人员进行左手或右手相关动作时的运动信息。其中，运动信息可以为三轴加速度、速度、加速度或受力信息等；触觉执行器为LRA(linear resonance actutor)，触觉执行器穿戴于被试人员除大拇指以外的所有手指指肚上。在具体实施例中，为了区分不同动作对应的运动信息，被试人员应统一为右利手，也就是说运行想象时，被试人员右手速度快于左手。
S12：对触觉执行器的运动信息进行滤波。
在具体实施例中，由于触觉执行器穿戴于手指指肚的位置过于灵敏，可选用50-300Hz的切比雪夫1型带通滤波器对运动信息进行滤波处理。
S13：基于滤波后的运动信息，提取触觉执行器的运动信息特征。
S14：对运动信息特征进行降维处理。
若运动信息为三维加速度ax,ay,az，则对三轴加速度进行降维处理满足下式：
A＝|ax|+|ay|+|az|
其中，A为降维处理后的运行信息特征。
S15：将运动信息特征和预设方波进行叠加，输入触觉驱动器，以控制触觉执行器执行对应的动作。
为了避免运动信息特征输入触觉驱动器时无法驱动执行器执行动作，本实施例需将S14中获取的运动信息特征进行归一处理后与预设方波进行叠加，并输入触觉驱动器中，以驱动触觉执行器执行对应的动作。
进一步地，对于S104利用被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。
由于运动想象主要与大脑中间区域的脑电波数据有关，本实施例在对采集的脑电波数据进行预处理时，选择图3中间的11个通道数据进行后续处理，即FC1,FC5,C3,CP1,CP5,CP6,CP2,C4,FC6,FC2,Cz通道。
具体地，根据S102中同步标注的脑电波数据、标签流及时间点信息，对三种状态下的脑电波数据进行预处理，即提取运动想象过程中的脑电波数据，对脑电波数据进行平均化重参考、滤波及下采样处理，并对预处理后的脑电波数据进行特征提取，以根据脑电波数据的特征进行分类，得到不同状态下的分类模型。其中，对脑电波数据进行特征提取的方式可以为共模空间算法，本实施例对脑电波数据特征提取的方式不做限定。
为了提高分类模型的实时性，本实施例还可利用上述三种状态下的分类模型实时控制外骨骼完成走停任务，具体地，左手运动想象控制外骨骼行走，右手运动想象控制外骨骼收步，利用触觉执行器反馈运动想象的分类结果，并记录被试人员在有触觉执行器反馈和无触觉执行器反馈下行走预设距离所需时间和预设时间所需距离，以根据行走的预设距离所需时间和预设时间所需距离判断分类模型的实时性。
本实施例中，将待表达的触觉信息通过触觉执行器表达，并将触觉信号进行滤波、特征提取、降维、归一化等处理叠加到预设方波，以输入触觉驱动器中，从而驱动触觉执行器执行对应的动作，减少用户感知负担；利用三种状态下的分类模型实时控制外骨骼完成走停任务，提高了分类模型的实时性。
在另一实施例中，可参阅图5，图5是本申请提供的运动想象方法的一实施例的流程示意图。本实施例运动想象方法可应用于上述运动想象分类模型的训练方法中训练所得的分类模型，从而提高用户运动想象的效果。下面以用于运动想象的服务器为例，介绍本申请提供的运动想象，本实施例运动想象方法具体包括以下步骤：
S201：获取用户运动想象的脑电波数据。
S202：将用户的脑电波数据输入到分类模型中，执行运动想象。
本实施例，获取用户运动想象的脑电波数据，将用户的脑电波数据输入到分类模型中，执行运动想象，提高了用户运动想象的效果，减少了用户运动想象的感知负担。
为实现上述实施例的分类模型训练方法和/或运动想象方法，本申请提出了另一种脑机交互设备，具体请参阅图6，图6是本申请提供的脑机交互设备一实施例的结构示意图。
脑机交互设备600包括存储器61和处理器62，其中，存储器61和处理器62耦接。
存储器61用于存储程序数据，处理器62用于执行程序数据以实现上述实施例的分类模型训练方法和/或运动想象方法。
在本实施例中，处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质700，如图7所示，计算机存储介质700用于存储程序数据71，程序数据71在被处理器执行时，用以实现如本申请方法实施例中所述的分类模型训练方法和/或运动想象方法。
本申请分类模型训练方法和/或运动想象方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种运动想象分类模型的训练方法，其特征在于，所述方法包括：
显示指示动作信息的同时，控制触觉执行器执行所述指示动作信息对应的动作，以及采集被试人员的脑电波数据；
同步标注所述脑电波数据、所述显示指示动作信息和所述执行器执行所述指示动作信息对应的动作；
采集所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据；
利用所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练各自状态下的分类模型，直至训练满足要求。
2.根据权利要求1所述的训练方法，其特征在于，所述控制触觉执行器执行所述指示动作信息对应的动作，包括：
获取所述触觉执行器的运动信息；
对所述触觉执行器的运动信息进行滤波；
基于所述滤波后的运动信息，提取所述触觉执行器的运动信息特征；
对所述运动信息特征进行降维处理。
3.根据权利要求2所述的训练方法，其特征在于，所述对所述运动信息特征进行降维处理，之后包括：
将所述运动信息特征和预设方波进行叠加，输入触觉驱动器，以控制所述触觉执行器执行对应的动作。
4.根据权利要求1所述的训练方法，其特征在于，所述同步标注所述脑电波数据、所述显示指示动作信息和所述执行器执行所述指示动作信息对应的动作，包括：
基于所述显示指示动作信息，记录所述执行器执行所述指示动作信息对应的动作时，采集所述脑电波数据的时间点信息。
5.根据权利要求4所述的训练方法，其特征在于，所述同步标注所述脑电波数据、所述显示指示动作信息和所述执行器执行所述指示动作信息对应的动作，之前包括：
基于Matlab软件和Psychotoolbox工具箱，同步所述脑电波数据、所述显示指示动作信息和所述执行器执行所述指示动作信息对应的动作。
6.根据权利要求1所述的训练方法，其特征在于，所述利用所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据训练所述各自状态下的分类模型，直至训练满足要求，包括：
对所述被试人员视觉状态下的脑电波数据、触觉状态下的脑电波数据和视觉触觉结合状态下的脑电波数据进行特征提取，得到所述被试人员视觉状态下的脑电波数据特征、触觉状态下的脑电波数据特征和视觉触觉结合状态下的脑电波数据特征；
基于所述脑电波数据特征，对所述脑电波数据进行分类，直至所述各自状态下的分类模型满足要求。
7.根据权利要求6所述的训练方法，其特征在于，所述分类模型满足要求，包括：
若所述脑电波数据持续分类正确的数量大于等于预设阈值时，则所述分类模型满足要求。
8.一种运动想象方法，其特征在于，
获取用户运动想象的脑电波数据；
将所述用户的脑电波数据输入到分类模型中，执行所述运动想象，其中，所述分类模型为权利要求1-7中任一项所述的方法所训练的分类模型。
9.一种脑机交互设备，其特征在于，所述设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～7任一项所述的运动想象分类模型的训练方法和/或权利要求8所述的运动想象方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～7任一项所述的运动想象分类模型的训练方法和/或权利要求8所述的运动想象方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739338.4A CN112085052A (zh) | 2020-07-28 | 2020-07-28 | 运动想象分类模型的训练方法、运动想象方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739338.4A CN112085052A (zh) | 2020-07-28 | 2020-07-28 | 运动想象分类模型的训练方法、运动想象方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085052A true CN112085052A (zh) | 2020-12-15 |
Family
ID=73735296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010739338.4A Pending CN112085052A (zh) | 2020-07-28 | 2020-07-28 | 运动想象分类模型的训练方法、运动想象方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085052A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343753A (zh) * | 2021-04-21 | 2021-09-03 | 中国科学院深圳先进技术研究院 | 一种信号分类方法、电子设备以及计算机可读存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101449229A (zh) * | 2006-05-19 | 2009-06-03 | 马科外科公司 | 用于控制触觉装置的方法和设备 |
| CN103429145A (zh) * | 2010-03-31 | 2013-12-04 | 新加坡科技研究局 | 用于运动康复的方法和*** |
| CN103649885A (zh) * | 2012-04-27 | 2014-03-19 | 松下电器产业株式会社 | 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法 |
| CN106774851A (zh) * | 2016-11-25 | 2017-05-31 | 华东理工大学 | 基于脑机接口的触感手指运动康复***及方法 |
| CN107943285A (zh) * | 2017-11-10 | 2018-04-20 | 上海交通大学 | 一种基于生物肌电的人机交互腕环、***及方法 |
| CN108255297A (zh) * | 2017-12-29 | 2018-07-06 | 青岛真时科技有限公司 | 一种可穿戴设备应用控制方法和装置 |
| CN108417249A (zh) * | 2018-03-06 | 2018-08-17 | 上海大学 | 基于vr的视听触觉多模态手功能康复方法 |
| CN108433721A (zh) * | 2018-01-30 | 2018-08-24 | 浙江凡聚科技有限公司 | 基于虚拟现实的脑功能网络检测和调控的训练方法及*** |
| WO2019016811A1 (en) * | 2017-07-18 | 2019-01-24 | Technion Research & Development Foundation Limited | SYSTEM AND METHOD FOR BRAIN INTERFACES REHABILITATION |
| US20190056725A1 (en) * | 2016-03-17 | 2019-02-21 | Goertek Inc. | Wearable device, apparatus for controlling unmanned aerial vehicle and method for realizing controlling |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
| CN109940584A (zh) * | 2019-03-25 | 2019-06-28 | 杭州程天科技发展有限公司 | 一种外骨骼机器人及其检测人体运动意图的检测方法 |
| CN110312471A (zh) * | 2016-07-25 | 2019-10-08 | 开创拉布斯公司 | 从神经肌肉活动测量中导出控制信号的自适应*** |
| CN110325947A (zh) * | 2016-12-26 | 2019-10-11 | 保罗.特罗塔 | 触觉交互方法、工具和*** |
| US20200192478A1 (en) * | 2017-08-23 | 2020-06-18 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
-
2020
- 2020-07-28 CN CN202010739338.4A patent/CN112085052A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101449229A (zh) * | 2006-05-19 | 2009-06-03 | 马科外科公司 | 用于控制触觉装置的方法和设备 |
| CN103429145A (zh) * | 2010-03-31 | 2013-12-04 | 新加坡科技研究局 | 用于运动康复的方法和*** |
| CN103649885A (zh) * | 2012-04-27 | 2014-03-19 | 松下电器产业株式会社 | 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法 |
| US20190056725A1 (en) * | 2016-03-17 | 2019-02-21 | Goertek Inc. | Wearable device, apparatus for controlling unmanned aerial vehicle and method for realizing controlling |
| CN110312471A (zh) * | 2016-07-25 | 2019-10-08 | 开创拉布斯公司 | 从神经肌肉活动测量中导出控制信号的自适应*** |
| CN106774851A (zh) * | 2016-11-25 | 2017-05-31 | 华东理工大学 | 基于脑机接口的触感手指运动康复***及方法 |
| CN110325947A (zh) * | 2016-12-26 | 2019-10-11 | 保罗.特罗塔 | 触觉交互方法、工具和*** |
| WO2019016811A1 (en) * | 2017-07-18 | 2019-01-24 | Technion Research & Development Foundation Limited | SYSTEM AND METHOD FOR BRAIN INTERFACES REHABILITATION |
| US20200192478A1 (en) * | 2017-08-23 | 2020-06-18 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| CN107943285A (zh) * | 2017-11-10 | 2018-04-20 | 上海交通大学 | 一种基于生物肌电的人机交互腕环、***及方法 |
| CN108255297A (zh) * | 2017-12-29 | 2018-07-06 | 青岛真时科技有限公司 | 一种可穿戴设备应用控制方法和装置 |
| CN108433721A (zh) * | 2018-01-30 | 2018-08-24 | 浙江凡聚科技有限公司 | 基于虚拟现实的脑功能网络检测和调控的训练方法及*** |
| CN108417249A (zh) * | 2018-03-06 | 2018-08-17 | 上海大学 | 基于vr的视听触觉多模态手功能康复方法 |
| CN109605385A (zh) * | 2018-11-28 | 2019-04-12 | 东南大学 | 一种混合脑机接口驱动的康复辅助机器人 |
| CN109940584A (zh) * | 2019-03-25 | 2019-06-28 | 杭州程天科技发展有限公司 | 一种外骨骼机器人及其检测人体运动意图的检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| SHENGCAI DUAN, ET AL.: "Haptic and Visual Enhance-based Motor Imagery BCI for Rehabilitation Lower-Limb Exoskeleton", 2019 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS, 31 December 2019 (2019-12-31), pages 2025 - 2030, XP033691784, DOI: 10.1109/ROBIO49542.2019.8961721 * |
| SHENGCAI DUAN, ETAL.: "Haptic and Visual Enhance-based Motor Imagery BCI for Rehabilitation Lower-Limb Exoskeleton", 2019 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS, pages 2025 - 2030 * |
| 梁福平 等: "传感器原理及检测技术", 30 September 2010, 武汉：华中科技大学出版社, pages: 93 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343753A (zh) * | 2021-04-21 | 2021-09-03 | 中国科学院深圳先进技术研究院 | 一种信号分类方法、电子设备以及计算机可读存储介质 |
| CN113343753B (zh) * | 2021-04-21 | 2024-04-16 | 中国科学院深圳先进技术研究院 | 一种信号分类方法、电子设备以及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reddy et al. | Real-time driver drowsiness detection for embedded system using model compression of deep neural networks | |
| US10838496B2 (en) | Human-machine interaction method based on visual stimulation | |
| Zhang et al. | A novel approach to driving fatigue detection using forehead EOG | |
| Liu et al. | A fuzzy psycho-physiological approach to enable the understanding of an engineer’s affect status during CAD activities | |
| Perdiz et al. | Emotional state detection based on EMG and EOG biosignals: A short survey | |
| CN111265212A (zh) | 一种运动想象脑电信号分类方法及闭环训练测试交互*** | |
| CN109976525B (zh) | 一种用户界面交互方法、装置及计算机设备 | |
| CN111012367A (zh) | 一种精神疾病的智能识别*** | |
| CN103699230A (zh) | 一种基于图标脑电控制的数字界面交互方法 | |
| CN112008725B (zh) | 一种人机融合脑控机器人*** | |
| Achanccaray et al. | A p300-based brain computer interface for smart home interaction through an anfis ensemble | |
| CN111930238B (zh) | 基于动态ssvep范式的脑机接口***实现方法及装置 | |
| WO2019144025A1 (en) | Neuro-adaptive body sensing for user states framework (nabsus) | |
| Ping et al. | A study of physiological signals-based emotion recognition systems | |
| CN112085052A (zh) | 运动想象分类模型的训练方法、运动想象方法及相关设备 | |
| Cruz et al. | Facial Expression Recognition based on EOG toward Emotion Detection for Human-Robot Interaction. | |
| Singh et al. | Physiologically attentive user interface for robot teleoperation: real time emotional state estimation and interface modification using physiology, facial expressions and eye movements | |
| CN112140113A (zh) | 一种基于脑-机接口的机器人控制***及控制方法 | |
| Risangtuni et al. | Towards online application of wireless EEG-based open platform Brain Computer Interface | |
| CN106990835B (zh) | 一种运动训练评估方法及装置 | |
| Dietrich et al. | Towards EEG-based eye-tracking for interaction design in head-mounted devices | |
| Asensio-Cubero et al. | A study on temporal segmentation strategies for extracting common spatial patterns for brain computer interfacing | |
| Fujisawa et al. | EEG-based navigation of immersing virtual environment using common spatial patterns | |
| Zhao et al. | A visual-based approach for manual operation evaluation | |
| Matsuno et al. | Machine learning using brain computer interface system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |