CN111110230A - 一种运动想象脑电特征增强方法及*** - Google Patents

一种运动想象脑电特征增强方法及*** Download PDF

Info

Publication number
CN111110230A
CN111110230A CN202010021303.7A CN202010021303A CN111110230A CN 111110230 A CN111110230 A CN 111110230A CN 202010021303 A CN202010021303 A CN 202010021303A CN 111110230 A CN111110230 A CN 111110230A
Authority
CN
China
Prior art keywords
electroencephalogram
characteristic
preprocessed
signal
motor imagery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010021303.7A
Other languages
English (en)
Inventor
吴晓光
何思凡
谢平
陈晓玲
张宁宁
郝慎才
李小俚
江国乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010021303.7A priority Critical patent/CN111110230A/zh
Publication of CN111110230A publication Critical patent/CN111110230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种运动想象脑电特征增强方法及***。所述增强方法包括：获取多模式神经反馈训练运动想象脑电特征增强范式；基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号；对所述脑电信号进行预处理，确定预处理后的脑电信号；对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。采用本发明所提供的增强方法及***能够提高头皮脑电有效信号识别率。

Description

一种运动想象脑电特征增强方法及***
技术领域
本发明涉及脑电信号增强领域，特别是涉及一种运动想象脑电特征增强方法及***。
背景技术
脑电信号(Electroencephalogram，EEG)是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映。脑电信号中包含了大量的生理与疾病信息，在临床医学方面，脑电信号处理不仅可为某些脑疾病提供诊断依据，而且还为某些脑疾病提供了有效的治疗手段。在工程应用方面，人们也尝试利用脑电信号实现脑-计算机接口，利用人对不同的感觉、运动或认知活动的脑电的不同，通过对脑电信号的有效的提取和分类达到某种控制目的。但由于脑电信号是不具备各态历经性的非平稳随机信号，而且其背景噪声也很强，因此脑电信号的分析和处理一直是非常吸引人但又是具有相当难度的研究课题。由于脑电信号十分微弱，具有空间分辨率低、非平稳性等特点，通过改善实验范式，优化算法等方法来增强脑电信号以对增强后的脑电信号做进一步分析与处理。
“姚林.刺激辅助的脑电信号增强方法与混合式脑机接口[D].2015.”该文提出基于选择性感受与想象运动多模态混合的实验范式，是一种无训练方法；将运动幻觉引入提出刺激辅助范式，从刺激肌肉振动产生运动化觉角度出发，增强虚拟运动的本体感受。该文涉及到运动想象脑电信号的多种实验范式刺激，但并未涉及到有效的动作反馈部分，直观性不强。
“同济大学.基于多模式融合的脑机接口控制***及方法:中国，CN201210324584.9[P].2013-01-09.”该发明提供一种基于多模式融合的脑机接口控制***及方法，该***包括用以诱发SSVEP稳态视觉诱发电位(steady-state visual evokedpotential，SSVEP)稳态视觉和诱导MI运动想象(Motor Imagery，MI)运动想象的脑电刺激与反馈模块。该文结合SSVEP与MI脑电信号，减少了单运动想象模式脑机接口下的低信息传输率，但未涉及到多模式神经反馈增强范式，具有一定片面性。
“严娜.视听诱发脑电信号研究[D].山西大学，2012.”该文研究了视听同步诱发的实验范式以及诱发脑电信号提取和分类识别方法。但并未涉及到范式训练中的反馈情况，并未涉及到不同脑区在不同刺激下的激活程度，对于自发脑电增强的辅助性不大。
发明内容
本发明的目的是提供一种运动想象脑电特征增强方法及***，以解决现有的脑电信号增强方法由于直观性不强、片面且增强自发脑电信号的辅助性低导致脑电信号增强不明显，头皮脑电有效信号识别率低的问题。
为实现上述目的，本发明提供了如下方案：
一种运动想象脑电特征增强方法，包括：
获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式；
基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对应的多通道脑电信号；
对所述脑电信号进行预处理，确定预处理后的脑电信号；
对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征；
根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
可选的，对所述脑电信号进行预处理，确定预处理后的脑电信号，具体包括：
利用自适应陷波器消除所述脑电信号的50Hz工频，确定消除工频后的脑电信号；
利用高通滤波器消除所述消除工频后的脑电信号的基线漂移，确定消除基线漂移脑电信号；
对所述消除基线漂移脑电信号进行带通滤波处理，确定预处理后的脑电信号。
可选的，所述对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征，具体包括：
利用自回归模型AR系数从时域提取所述预处理后的脑电信号的时域特征；
利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征；
利用共同空间模式CSP分析算法从空域提取所述预处理后的脑电信号的空域特征；
利用互信息算法提取所述预处理后的脑电信号的互信息特征。
可选的，所述利用自回归模型系数从时域提取所述预处理后的脑电信号的时域特征，具体包括：
利用公式
Figure BDA0002360903230000031
从时域提取所述预处理后的脑电信号的时域特征；其中，x(n)为第n个时域特征值；w(n)为输入的预处理后的脑电信号；p为AR模型的阶数；a为包含了所述预处理后的脑电信号的主要信息的矩阵；x(n-k)为表明为x(n)前面第k个数；k为1，2，3...p；n取整数。
可选的，所述利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征，具体包括：
对所述预处理后的脑电信号进行小波包变换处理，确定小波包变换处理后的各子频带信号；
获取所述各子频带信号的各子频带能量；
对所述各子频带能量进行归一化处理，确定所述各子频带信号的归一化能量；
以所述各子频带信号的归一化能量在总能量中所占的比例为特征参数构造特征向量；所述特征向量为频域特征。
可选的，所述利用共同空间模式CSP分析算法从空域提取所述预处理后的脑电信号的空域特征，具体包括：
利用公式
Figure BDA0002360903230000041
从空域提取所述预处理后的脑电信号的空域特征；其中，fp为空域特征；Zp为CSP分量；Zi为第二个CSP分量；i为1,2,3,...n。
可选的，所述利用互信息算法提取所述预处理后的脑电信号的互信息特征，具体包括：
利用
Figure BDA0002360903230000042
提取所述预处理后的脑电信号的互信息；其中，I(x，y)为互信息；x和y为任意两个N导联、长度为L的脑电信号，用于测量多通道脑电信号的线性或非线性关系，其中，N为脑电信号通道个数，L为信号长度；p(x,y)是x和y的联合概率密度，px(x)为x的边缘概率密度；py(y)为y的边缘概率密度；H(y)为y的熵，衡量y的不确定度；H(y|x)为已知x的情况下，y的不确定度。
一种运动想象脑电特征增强***，包括：
增强范式获取模块，用于获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式；
多通道脑电信号获取模块，用于基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号；
预处理模块，用于对所述脑电信号进行预处理，确定预处理后的脑电信号；
动态特征以及耦合特征确定模块，用于对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征；
增强显示模块，用于根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
可选的，所述预处理模块具体包括：
工频消除单元，用于利用自适应陷波器消除所述脑电信号的工频，确定消除工频后的脑电信号；
基线漂移消除单元，用于利用高通滤波器消除所述消除工频后的脑电信号的基线漂移，确定消除基线漂移脑电信号；
带通滤波处理单元，用于对所述消除基线漂移脑电信号进行带通滤波处理，确定预处理后的脑电信号。
可选的，所述动态特征以及耦合特征确定模块具体包括：
时域特征提取单元，用于利用自回归模型系数从时域提取所述预处理后的脑电信号的时域特征；
频域特征提取单元，用于利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征；
空域特征提取单元，用于利用共同空间模式分析算法从空域提取所述预处理后的脑电信号的空域特征；
互信息提取单元，用于利用互信息算法提取所述预处理后的脑电信号的互信息特征。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种运动想象脑电特征增强方法及***，大脑在进行上肢运动想象的过程中，通过大脑视觉区、运动区的活跃去影响和调动大脑运动想象区的能量活跃，并通过神经反馈进一步增强运动想象的效果，具有全面性和科学性；并通过动态及耦合多层次特征提取预处理后的脑电信号的动态特征以及耦合特征，全面且定量的评价采用多模式神经反馈增强范式训练后的脑电信号的增强效果，提高了头皮脑电有效信号的识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的运动想象脑电特征增强方法流程图；
图2为本发明所提供的工作原理流程图；
图3为本发明所提供的同一指令、不同刺激任务下MI-EEG的脑地形图；图3(a)为本发明所提供的无刺激下MI-EEG的脑地形图；图3(b)为本发明所提供的视觉刺激下MI-EEG的脑地形图；图3(c)为本发明所提供的动作刺激下MI-EEG的脑地形图；图3(d)为本发明所提供的多模式刺激下MI-EEG的脑地形图；
图4为本发明所提供的实验界面图；图4(a)为本发明所提供的单纯运动想象和动作执行反馈的两种实验模式的实验界面图；图4(b)为本发明所提供的观察图片运动想象和多模式刺激的两种实验任务的实验界面图；
图5为本发明所提供的单组实验过程图；
图6为本发明所提供的国际10-20***标准脑电电极分布图及选定脑电通道图(标灰)；
图7为本发明所提供的预处理前后的脑电信号示意图；图7a为本发明所提供的原始脑电信号波形图；图7b为本发明所提供的预处理后的脑电信号波形图；图7c为本发明所提供的原始脑电信号谱图；图7d为本发明所提供的预处理后的始脑电信号谱图；
图8为本发明所提供的训练前后的运动想象EEG特征对比图；图8a为本发明所提供的积分值对比图，图8b为本发明所提供的小波能量谱-alpha频段对比图，图8c为本发明所提供的小波能量谱-beta频段对比图，图8d为本发明所提供的CSP对比图，图8e为本发明所提供的互信息对比图，图8f为本发明所提供的AR模型系数对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种运动想象脑电特征增强方法及***，能够提高头皮脑电有效信号识别率。
有做出创造性劳动前提下所获得的所有其他实施例
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的运动想象脑电特征增强方法流程图，如图1所示，一种运动想象脑电特征增强方法，包括：
步骤101：获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式。所述刺激源为单一视觉刺激任务、单一动作执行反馈任务以及综合两种单一辅助方式的多模式刺激任务。
步骤102：获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号。
步骤103：对所述脑电信号进行预处理，确定预处理后的脑电信号。
步骤104：对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征。
基于动态信号分析及机器学习理论，对预处理后的脑电信号运用AR系数、小波包能量谱及CSP分析算法，分别从时域、频域、空域刻画多通道运动想象脑电信号的能量特征、局部频带能量特征、空间分布能量特性等多域动态特性，分析不同刺激下的脑电信号强度，基于不同运动模式下，通道间及不同脑区的耦合强度和同步表现的时变非线性特点，提取脑电信号的互信息耦合特征。
A.自回归模型系数
脑电信号是一种非平稳信号，但在短时间内，可以近似被当做平稳信号，由此可以使用自回归模型(Autoregressive model，AR)对其进行分析。AR模型描述如下：
Figure BDA0002360903230000081
其中，x(n)表示***的输出信号，w(n)表示***的输入信号，p为模型的阶数。矩阵a中包含了脑电信号的主要信息。
B.小波包能量谱
设小波包变换后各子频带信号用序列{Si,j,k|k＝1,2,…,L}表示。其中：i为分解层数；j为分解后频段数，j＝1,2,…,2i-1；L为小波包分解各频段序列的样本长度。将全频带总能量设为1，对各子频带能量进行归一化处理，则各子频带信号的归一化能量为：
Figure BDA0002360903230000082
以各频带能量在总能量中所占的比例为特征参数构造特征向量
Figure BDA0002360903230000083
该特征向量即定义为小波包能量谱。
运动想象能够激活大脑对侧感觉运动区的皮质，并促进该区域代谢和血流量增加，主要体现在alpha(8-12Hz)波和beta(13-30Hz)波的变化。
C.共同空间模式分析
共同空间模式(Common Spatial Pattern，CSP)：是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布成分。
定义一个N×T的矩阵A来表示原始脑电信号数据段，其中N表示电极数目即空间导联数目，T表示每个通道的采样点数目。对于两类数据而言，如本文的左、右手想象数据，为了使CSP算法得到的分解矩阵更具有效性，可以通过计算每类脑电信号数据的协方差平均值来得到空间协方差。对于特征向量矩阵B，当一个类别具有最大的特征值时，能保证另一个类别具有最小的特征值，可以得到投影矩阵，即最优空间滤波器为：
W＝B'P (3)
一个新的脑电信号数据段可以投影到此矩阵得到：
Z＝WA (4)
最后对产生的新信号的行取方差，再进行对数和规范化处理作为特征，其中log变换的目的是为了把数据近似平均分布，可以得到：
Figure BDA0002360903230000091
式中Zp为CSP分量。
D.互信息
互信息值越大，说明两个信号越相关，反之则相关性越小。两个随机变量x与y互信息的计算公式如下：
Figure BDA0002360903230000092
其中，H(y)表示y的熵，可衡量y的不确定度，H(y|x)表示已知x的情况下，y的不确定度。
步骤105：根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
采用基于多模态神经反馈训练的运动想象脑电特征增强分析方法，一方面，多模式的训练范式较为明显且准确有效的激活了相应脑区，这很好的保证了实验数据的可用性及准确性；另一方面，将提取的动态及耦合多层次特征作为定量评价脑电特征增强效果的手段具有更高的准确性和可靠性。
其中，神经反馈：即脑神经反馈，将大脑在运作过程中产生微量电流，通过脑电采集设备与计算机链接，检测到被试者当下的脑波活动状态，计算机给予一定的视觉、声音等方式的反馈。
头皮脑电：采用非侵入电极采集到的大脑头皮的脑电信号；运动想象脑电：没有实际的肢体行为，利用大脑意念想象肢体动作，产生的内源性自发脑电。
脑电信号增强：由于脑电信号十分微弱，具有空间分辨率低、非平稳性等特点，通过改善实验范式，优化算法等方法来提高脑电信号特征。
特征增强：通过范式诱导意念增强的方法增强大脑主动意念，进而获取更能体现大脑主观意念的自发脑电信号。受试者经过训练之后，其脑电信号中携带的特性信息更加明显，更加容易进行主观意图的识别。
本发明所提供的运动想象脑电特征增强方法是基于多模式神经反馈训练的运动想象脑电特征增强分析方法，大脑在进行上肢运动想象的过程中，设计集视觉刺激和动作执行的多模式神经反馈训练，增强自主意念；采集顶区和枕区的多通道脑电信号，利用自适应滤波器去50Hz工频、高通滤波器去除基线漂移、带通滤波提取5-32Hz频段进行预处理后，再进行结合自回归模型系数(Autoregressive model，AR)、小波包能量谱及共同空间模式CSP分析算法，分别从时域、频域、空域提取EEG的动态特征，同时提取EEG的同步耦合特征，完成EEG的同步耦合及多域动态特性的多层次融合特征指标提取，将其作为评价在多模式神经反馈训练前后MI-EEG特征增强的指标，对比分析多模式特征增强机制的优越性所在，如图2所示。
已知大脑区域之间具有一定的关联性，当被试者进行运动想象时可以激活大脑对侧感觉运动区以及顶叶区的皮质并促进该区域代谢和血流量增加，当给予被试视觉刺激时可以激活枕区能量变化，而当被试者执行动作则会增强大脑躯体运动区域的能量；基于现有研究发现，当大脑受到外部刺激时，脑区的代谢和血流量增加，呈现一定的能量波动，当外界没有刺激时，大脑处于静息或惰性状态，绘制脑地形图可以明确观察到能量被激活的区域及程度。
如图3所示，要求被试进行右手握拳的运动想象，当外界无刺激时，脑区能量被激活程度较弱，其余三种为视觉刺激、动作执行刺激及综合刺激下脑地形图，能量激活程度相对较强且位置更加精准。
训练可以有意识地使被试者发生生理反应，从而增强被试者的脑电信号活动。在实验中发现，第一次参与运动想象实验的被试常出现无法顺利完成想象、无法集中注意力的情况，这造成采集的MI-EEG常出现信号错误和无法提取有效特征的问题。但是经过几次运动想象试验后的被试者，则不存在上述问题，同时，信号的特征现象也更显著。也就是说，有训练和无训练的被试者在进行运动想象时，大脑的激活程度是不同的，经过训练的被试者MI-EEG更具有稳定性和有效性，特征更易提取。
基于上述探索，提出多模式神经反馈训练运动想象脑电特征增强范式；特征增强就是通过范式诱导意念增强的方法增强大脑主动意念，进而获取更能体现大脑主观意念的自发脑电信号，受试者经过训练之后，其脑电信号中携带的特性信息更加明显，更加容易进行主观意图的识别。
范式设置单纯想象、单一视觉刺激训练、单一动作执行反馈以及多模式神经反馈来训练运动想象。设置实验组和对照组，将三种刺激训练方式与单纯想象穿插排列，便于对比每种刺激方式前后的脑电信号，用于论证多模式神经反馈增强脑电特征效果的有效性；同时可设置多人多组对比试验，每组实验的刺激方法的排列顺序需不同。
首先搭建运动想象、观察图片、运动执行及多模式刺激的训练自发脑电增强的实验平台，如图4所示，图4(a)为本发明所提供的单纯运动想象和动作执行反馈的两种实验模式的实验界面图，图4(b)为本发明所提供的观察图片运动想象和多模式刺激的两种实验任务的实验界面图，被试者根据界面的箭头或图片提示的方向，对应刺激范式完成执行或想象左、右手握拳的动作。
实验方案设计：
本实验采集了24名受试对象的脑电信号，均为20-25岁在校学生(男:女＝3:1)，右利手，所有被试均没有参加过运动想象的脑机接口实验。实验流程如图5所示。
实验时，受试对象被要求正坐于距屏幕约1m的一张舒适的椅子上，手足放松，尽量保持肢体不动，想象肢体动作时尽量避免眨眼等眼动，表1为本发明所提供的实验范式设置，实验范式设置如表1所示。
表1
序号 实验组 对照组1 对照组2 实验组数
1 单纯运动想象 单纯运动想象 单纯运动想象 2
2 多模式刺激范式 动作执行反馈 观察图片运动想象 4
3 单纯运动想象 单纯运动想象 单纯运动想象 2
设计实验组、对照组1、对照组2，实验内容如表1所示，本发明实施例设置一组实验共12次运动想象，左、右两种指令各随机出现6次即分别想象左、右手握拳6次，每次想象握拳持续4s，两次运动想象中间休息3s；一组实验约1分30秒，整个实验需8组，相同任务组间休息1分钟，不同任务组内休息3分钟，全程约23分钟。
单纯运动想象，要求被试者根据图4a展示的实验界面中左下角显示的箭头方向来想象对应方向的左手或右手的握拳动作；观察图片运动想象，要求被试者根据图4b展示的实验界面中央显示的图片人物朝向来想象对应方向的左手或右手的握拳动作；动作执行反馈，要求被试者根据图4a展示的实验界面中左下角显示的箭头方向来做出对应方向的左手或右手的握拳动作；多模式刺激范式，即结合观察图片和动作执行反馈，要求被试者根据图4b展示的实验界面中央显示的图片人物朝向来做出对应方向的左手或右手的握拳动作。
基于多模式神经反馈训练范式的MI-EEG的数据采集。本发明实施例利用Neuracle64通道脑电采集设备，采集受试者通过多模式神经反馈增强范式训练后的多通道脑电信号，电极位置采用国际10～20导联定位标准。图6为本发明所提供的国际10-20***标准(Synamp2,Compumedics Inc.,Charlotte,NC,USA)脑电电极分布图，图中灰色显示的是本实验范式选择的脑区通道；采集受试者顶区运动皮层21通道脑电信号及枕区视觉皮层8通道脑电信号；采样频率为1000Hz。
综合获取MI-EEG同步耦合及多域动态特性的多层次融合特征指标方法，用于综合定量的对脑电特征增强效果进行评估分析。
结合以下附图对本发明对进一步说明。
完整的脑电信号处理过程包括预处理、特征提取和模式分类。在进行特征提取前先进行预处理，提高信号的信噪比。本发明实施例脑电信号预处理过程包括：将采集到的脑电信号利用自适应滤波器去除50Hz工频干扰，再利用高通滤波器去除基线漂移，最后使用FIR数字滤波器进行1-32Hz的带通滤波。预处理前后的脑电信号分别如图7a、c和b、d所示。
本发明实施例对利用多模式实验范式采集到的脑电信号进行特征提取，列举采集到的3名被试者在多模式刺激范式训练前后的单纯运动想象EEG进行分析，分别从积分值、AR模型系数、小波能量谱、CSP及互信息耦合特征几方面进行说明。
如图8所示，图中星号表示训练前运动想象EEG特征，方块表示训练后运动想象EEG特征，横坐标为实验试次。图8a为本发明所提供的积分值对比图，图8b为本发明所提供的小波能量谱-alpha频段对比图，图8c为本发明所提供的小波能量谱-beta频段对比图，图8d为本发明所提供的CSP对比图，图8e为本发明所提供的互信息对比图，图8f为本发明所提供的AR模型系数对比图，表2为本发明所提供的训练前后的运动想象脑电信号特征的期望及方差表，如表2所示。
表2
Figure BDA0002360903230000131
Figure BDA0002360903230000141
本发明利用t检验，置信度为0.95，对脑电信号特征进行统计学分析。结果表明，经过多模式神经反馈训练后的EEG在所提取的时域特征(积分值、AR模型系数)、频域特征(小波能量谱alpha频段、beta频段)、空域特征(CSP)及耦合特征(互信息)上都表现出了不同程度的增强。
本发明还包括一种与上述增强方法所对应的运动想象脑电特征增强***，所述增强***包括：
增强范式获取模块，用于获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式。
多通道脑电信号获取模块，用于基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号。
预处理模块，用于对所述脑电信号进行预处理，确定预处理后的脑电信号。
动态特征以及耦合特征确定模块，用于对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征。
增强显示模块，用于根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
(1)一种多模式神经反馈训练运动想象脑电特征增强范式。其特征在于，设置单一刺激及多模式神经反馈训练，增强自主意念。具体为大脑在进行上肢运动想象的过程中，设置单纯想象、单一视觉刺激训练、单一动作执行反馈以及多模式神经反馈来训练运动想象，将三种刺激训练方式与单纯想象穿插排列，设置实验组及对照组进行对比实验。
(2)一种综合获取MI-EEG同步耦合及多域动态特性的多层次融合特征指标方法。其特征在于，将利用多模式神经反馈增强训练范式采集到的多通道脑电信号，分别从时域、频域、空域提取脑电信号的动态特征再结合脑电信号的耦合特征，通过脑地形图及具体结果综合可靠的展示出多模式神经反馈增强训练前后的脑区能量波动，并作为定量评估训练前后脑电特征增强的特征指标。
本发明增强的是运动想象脑电信号，用于脑机接口领域，提取高精度高识别率的自发脑电信号进行多分类行为解析，再转化为控制指令，可用于更精准的控制外部设备，如机械臂、轮椅等。
在具体实际生活中，采用本发明所提供的增强方法及***可以实现如下操作：(1)身体残疾但头脑清晰的患者可以控制轮椅、机械臂来方便生活，同时也可以自主操作脑控康复辅具来实现患者主动康复的意义；(2)智能驾驶中，可以通过采集并识别驾驶员的两分类运动想象脑电信号来控制车辆的左右转向灯；(3)也可以通过识别被试者多分类行为，来实现智能小车的前进、后退、左转、右转等。
本发明通过范式诱导意念增强的方法来增强大脑主动意念，进而获取更能体现大脑主观意念的自发脑电信号；受试者经过训练之后，其脑电信号中携带的特性信息更加明显，更加容易进行主观意图的识别，接着通过设置的多层次特征提取模块分别从时、频、空以及耦合角度去提取信号的特征，即：多域多层次高维特征。
大量研究表明神经反馈训练能够对人体运动皮层区产生自主调节的作用，其主要理论依据是认为感觉运动节律在神经调节中具有特殊作用。目前，大量的神经反馈训练已经运用在创造力训练、注意力训练、记忆力训练等各种脑功能训练技术中，这为神经反馈***应用在人脑的自主意念增强上提供了理论支持和技术支撑，本发明所提供的基于多模式的神经反馈训练能够使得受试者在训练过程中受到来自多方面的刺激，使得训练效果更加高效。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种运动想象脑电特征增强方法，其特征在于，包括：
获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式；
基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号；
对所述脑电信号进行预处理，确定预处理后的脑电信号；
对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征；
根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
2.根据权利要求1所述的运动想象脑电特征增强方法，其特征在于，所述对所述脑电信号进行预处理，确定预处理后的脑电信号，具体包括：
利用自适应陷波器消除所述脑电信号的工频，确定消除工频后的脑电信号；
利用高通滤波器消除所述消除工频后的脑电信号的基线漂移，确定消除基线漂移脑电信号；
对所述消除基线漂移脑电信号进行带通滤波处理，确定预处理后的脑电信号。
3.根据权利要求1所述的运动想象脑电特征增强方法，其特征在于，所述对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征，具体包括：
利用自回归模型AR系数从时域提取所述预处理后的脑电信号的时域特征；
利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征；
利用共同空间模式CSP分析算法从空域提取所述预处理后的脑电信号的空域特征；
利用互信息算法提取所述预处理后的脑电信号的互信息特征。
4.根据权利要求3所述的运动想象脑电特征增强方法，其特征在于，所述利用自回归模型系从时域提取所述预处理后的脑电信号的时域特征，具体包括：
利用公式
Figure FDA0002360903220000021
从时域提取所述预处理后的脑电信号的时域特征；其中，x(n)为第n个时域特征值；w(n)为输入的预处理后的脑电信号；p为AR模型的阶数；a为包含了所述预处理后的脑电信号的主要信息的矩阵；x(n-k)为表明为x(n)前面第k个数；k为1，2，3...p；n取整数。
5.根据权利要求4所述的运动想象脑电特征增强方法，其特征在于，所述利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征，具体包括：
对所述预处理后的脑电信号进行小波包变换处理，确定小波包变换处理后的各子频带信号；
获取所述各子频带信号的各子频带能量；
对所述各子频带能量进行归一化处理，确定所述各子频带信号的归一化能量；
以所述各子频带信号的归一化能量在总能量中所占的比例为特征参数构造特征向量；所述特征向量为频域特征。
6.根据权利要求5所述的运动想象脑电特征增强方法，其特征在于，所述利用共同空间模式CSP分析算法从空域提取所述预处理后的脑电信号的空域特征，具体包括：
利用公式
Figure FDA0002360903220000022
从空域提取所述预处理后的脑电信号的空域特征；其中，fp为空域特征；Zp为CSP分量；Zi为第二个CSP分量；i为1,2,3,...n。
7.根据权利要求3所述的运动想象脑电特征增强方法，其特征在于，所述利用互信息算法提取所述预处理后的脑电信号的互信息，具体包括：
利用
Figure FDA0002360903220000031
提取所述预处理后的脑电信号的互信息；其中，I(x，y)为互信息；x和y为任意两个N导联、长度为L的脑电信号，用于测量多通道脑电信号的线性或非线性关系，其中，N为脑电信号通道个数，L为信号长度；p(x,y)是x和y的联合概率密度，px(x)为x的边缘概率密度；py(y)为y的边缘概率密度；H(y)为y的熵，衡量y的不确定度；H(y|x)为已知x的情况下，y的不确定度。
8.一种运动想象脑电特征增强***，其特征在于，包括：
增强范式获取模块，用于获取多模式神经反馈训练运动想象脑电特征增强范式；所述多模式神经反馈训练运动想象脑电特征增强范式为多种刺激源的刺激模式；
多通道脑电信号获取模块，用于基于所述多模式神经反馈训练运动想象脑电特征增强范式，获取顶区运动皮层以及枕区视觉皮层对的多通道脑电信号；
预处理模块，用于对所述脑电信号进行预处理，确定预处理后的脑电信号；
动态特征以及耦合特征确定模块，用于对所述预处理后的脑电信号进行动态及耦合多层次特征提取，确定所述预处理后的脑电信号的动态特征以及耦合特征；所述动态特征包括脑电信号的时域特征、频域特征以及空域特征；所述耦合特征为多个所述预处理后的脑电信号之间的互信息特征；
增强显示模块，用于根据所述动态特征以及所述耦合特征显示增强前的运动想象脑电信号的特征数值以及增强后的运动想象脑电信号的特征数值。
9.根据权利要求8所述的运动想象脑电特征增强***，其特征在于，所述预处理模块具体包括：
工频消除单元，用于利用自适应陷波器消除所述脑电信号的工频，确定消除工频后的脑电信号；
基线漂移消除单元，用于利用高通滤波器消除所述消除工频后的脑电信号的基线漂移，确定消除基线漂移脑电信号；
带通滤波处理单元，用于对所述消除基线漂移脑电信号进行带通滤波处理，确定预处理后的脑电信号。
10.根据权利要求8所述的运动想象脑电特征增强***，其特征在于，所述动态特征以及耦合特征确定模块具体包括：
时域特征提取单元，用于利用自回归模型AR系数从时域提取所述预处理后的脑电信号的时域特征；
频域特征提取单元，用于利用小波包能量谱从频域提取所述预处理后的脑电信号的频域特征；
空域特征提取单元，用于利用共同空间模式CSP分析算法从空域提取所述预处理后的脑电信号的空域特征；
互信息提取单元，用于利用互信息算法提取所述预处理后的脑电信号的互信息特征。
CN202010021303.7A 2020-01-09 2020-01-09 一种运动想象脑电特征增强方法及*** Pending CN111110230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010021303.7A CN111110230A (zh) 2020-01-09 2020-01-09 一种运动想象脑电特征增强方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010021303.7A CN111110230A (zh) 2020-01-09 2020-01-09 一种运动想象脑电特征增强方法及***

Publications (1)

Publication Number Publication Date
CN111110230A true CN111110230A (zh) 2020-05-08

Family

ID=70487629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010021303.7A Pending CN111110230A (zh) 2020-01-09 2020-01-09 一种运动想象脑电特征增强方法及***

Country Status (1)

Country Link
CN (1) CN111110230A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057654A (zh) * 2021-03-10 2021-07-02 重庆邮电大学 基于频率耦合神经网络模型的记忆负荷检测提取***及方法
CN113101021A (zh) * 2021-04-02 2021-07-13 上海交通大学 基于mi-ssvep混合式脑机接口的机械臂控制方法
CN113143291A (zh) * 2021-05-11 2021-07-23 燕山大学 一种快速序列视觉呈现下的脑电特征提取方法
CN113171111A (zh) * 2021-04-25 2021-07-27 北京理工大学 一种上肢运动方向神经解码方法和装置
CN113426081A (zh) * 2021-05-28 2021-09-24 杭州国辰迈联机器人科技有限公司 基于脑机接口的坐站训练控制方法及坐站训练***
CN113952614A (zh) * 2021-10-27 2022-01-21 燕山大学 融合机械手和功能性电刺激的手功能康复双闭环调控***
CN114167983A (zh) * 2021-11-24 2022-03-11 哈尔滨工业大学（深圳） 一种基于共幅相测量的脑机接口***
CN114533083A (zh) * 2022-01-24 2022-05-27 江苏省人民医院（南京医科大学第一附属医院） 基于多融合式卷积神经网络的运动想象状态识别方法
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN116369950A (zh) * 2023-05-25 2023-07-04 武汉理工大学 一种基于脑电溯源和多特征提取的目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521505A (zh) * 2011-12-08 2012-06-27 杭州电子科技大学 用于控制意图识别的脑电和眼电信号决策融合方法
CN103340624A (zh) * 2013-07-22 2013-10-09 上海交通大学 少通道下运动想象脑电特征的提取方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
CN106803081A (zh) * 2017-01-25 2017-06-06 东南大学 一种基于多分类器集成的脑电分类方法
CN106821375A (zh) * 2017-02-10 2017-06-13 东南大学 一种基于csp算法及ar模型想象动作电位的脑电信号特征提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521505A (zh) * 2011-12-08 2012-06-27 杭州电子科技大学 用于控制意图识别的脑电和眼电信号决策融合方法
CN103340624A (zh) * 2013-07-22 2013-10-09 上海交通大学 少通道下运动想象脑电特征的提取方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法
CN106803081A (zh) * 2017-01-25 2017-06-06 东南大学 一种基于多分类器集成的脑电分类方法
CN106821375A (zh) * 2017-02-10 2017-06-13 东南大学 一种基于csp算法及ar模型想象动作电位的脑电信号特征提取方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN113057654B (zh) * 2021-03-10 2022-05-20 重庆邮电大学 基于频率耦合神经网络模型的记忆负荷检测提取***及方法
CN113057654A (zh) * 2021-03-10 2021-07-02 重庆邮电大学 基于频率耦合神经网络模型的记忆负荷检测提取***及方法
CN113101021A (zh) * 2021-04-02 2021-07-13 上海交通大学 基于mi-ssvep混合式脑机接口的机械臂控制方法
CN113101021B (zh) * 2021-04-02 2022-06-21 上海交通大学 基于mi-ssvep混合式脑机接口的机械臂控制方法
CN113171111A (zh) * 2021-04-25 2021-07-27 北京理工大学 一种上肢运动方向神经解码方法和装置
CN113143291A (zh) * 2021-05-11 2021-07-23 燕山大学 一种快速序列视觉呈现下的脑电特征提取方法
CN113426081A (zh) * 2021-05-28 2021-09-24 杭州国辰迈联机器人科技有限公司 基于脑机接口的坐站训练控制方法及坐站训练***
CN113952614A (zh) * 2021-10-27 2022-01-21 燕山大学 融合机械手和功能性电刺激的手功能康复双闭环调控***
CN114167983A (zh) * 2021-11-24 2022-03-11 哈尔滨工业大学（深圳） 一种基于共幅相测量的脑机接口***
CN114533083A (zh) * 2022-01-24 2022-05-27 江苏省人民医院（南京医科大学第一附属医院） 基于多融合式卷积神经网络的运动想象状态识别方法
CN114533083B (zh) * 2022-01-24 2023-12-01 江苏省人民医院（南京医科大学第一附属医院） 基于多融合式卷积神经网络的运动想象状态识别方法
CN116369950A (zh) * 2023-05-25 2023-07-04 武汉理工大学 一种基于脑电溯源和多特征提取的目标检测方法
CN116369950B (zh) * 2023-05-25 2024-01-26 武汉理工大学 一种基于脑电溯源和多特征提取的目标检测方法

Similar Documents

Publication Publication Date Title
CN111110230A (zh) 一种运动想象脑电特征增强方法及***
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Shin et al. Open access dataset for EEG+ NIRS single-trial classification
Lee et al. Using a low-cost electroencephalograph for task classification in HCI research
Rak et al. Brain-computer interface as measurement and control system the review paper
Daly et al. On the automated removal of artifacts related to head movement from the EEG
Major et al. A survey of brain computer interfaces and their applications
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
Abdulwahab et al. A Systematic Review of Brain-Computer Interface Based EEG
Goen et al. Review of surface electromyogram signals: its analysis and applications
Bastos-Filho Introduction to non-invasive EEG-Based brain-computer interfaces for assistive technologies
Ferrez et al. EEG-based brain-computer interaction: Improved accuracy by automatic single-trial error detection
CN109078262B (zh) 一种基于外周神经电刺激的mi-bci训练方法
CN111671421A (zh) 一种基于脑电图的儿童需求感知方法
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics
Geethanjali Fundamentals of brain signals and its medical application using data analysis techniques
Eva et al. Amplitude Modulation Index as Feature in a Brain Computer Interface.
Pires Biosignal classification for human interface with devices and surrounding environment
Acar Classification of motor imagery tasks in EEG signal and Its application to a brain-computer interface for Controlling assistive environmental devices
Su et al. Classifying motor preparation and execution of the left and the right lower limb using brain network features
Khan et al. EEG-based BCI systems for neurorehabilitation applications
Leonardis et al. A comparison of algorithms for motor imagery for BCI under different sensory feedback conditions
Karam et al. Neural network for recognition of brain wave signals
Henshaw Improved brain-computer interface methods with application to gaming
Bentley et al. An offline auditory P300 brain-computer interface using principal and independent component analysis techniques for functional electrical stimulation application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508