CN107958213A - 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 - Google Patents
一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 Download PDFInfo
- Publication number
- CN107958213A CN107958213A CN201711159910.4A CN201711159910A CN107958213A CN 107958213 A CN107958213 A CN 107958213A CN 201711159910 A CN201711159910 A CN 201711159910A CN 107958213 A CN107958213 A CN 107958213A
- Authority
- CN
- China
- Prior art keywords
- msub
- layer
- mrow
- mover
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 230000003340 mental effect Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000012880 independent component analysis Methods 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 210000001699 lower leg Anatomy 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 description 19
- 208000006011 Stroke Diseases 0.000 description 13
- 210000004556 brain Anatomy 0.000 description 9
- 230000002490 cerebral effect Effects 0.000 description 7
- 206010008190 Cerebrovascular accident Diseases 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007659 motor function Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000034657 Convalescence Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000001738 Nervous System Trauma Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008344 brain blood flow Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000003130 cardiopathic effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008111 motor development Effects 0.000 description 1
- 230000007433 nerve pathway Effects 0.000 description 1
- 208000028412 nervous system injury Diseases 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 208000021090 palsy Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，包括以下步骤：步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；步骤2：改进后的OVR‑CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；步骤3：利用改造后的适应一维输入样本的CNN网络进行二次特征提取并分类。采用本发明的技术方案，更准确地判别患者的运动位置和肢体运动状态，为量表评定病患康复程度提供客观的数据支撑。
Description
技术领域
本发明属于康复治疗神经学科技术领域，涉及一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法。
背景技术
脑卒中(俗称:脑中风Stroke)，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一种常见的脑血液循环障碍性疾病。由于其发病率较高，具有极高的致残率，严重威胁人类健康。美国心脏协会(AHA)2016年心脏病与卒中统计数据更新显示，脑卒中是仅次于心脏病的全球人类健康杀手。而在我国脑卒中的发生率正以每年8.7％的速度上升，患病率及死亡率仅次于高血压位于第二，给社会和家庭带来沉重的精神压力和巨大的经济负担。
当前从治疗手段分析，国内外脑卒中康复***主要聚焦于临床康复训练***与。临床康复训练***多采用基于神经生理学基础的康复训练，主要是根据运动发育控制原理与大脑可塑性原理，利用共同运动、协同作用和姿势反射等神经运动机制，通过医师对患者临床的康复评定，对患者的功能状态和潜在能力进行判断，然后“对症下药”，进行相应的康复训练。目前临床上关于脑卒中运动功能评定的方法很多，如简式Fugl-Meyer运动功能评分法、Brunnstrom等级评测法等。这些量表评定的方法，都依赖于医生的检查和观察，属于人工评定，虽然临床上广泛使用，但评定结果容易受到康复医师主观因素的影响，且量表分级指标较多，需要康复医师全程参与，而有限的医师数量面对庞大的病患群体往往力不从心，甚至延误最佳治疗时机。目前我国的现状是临床康复资源(诸如康复医师、治疗师、护理人员、床位等)愈发紧张，且存在严重的区域不平衡，且对于神经***损伤，目前医学界还没有能力完全修复。如何通过主动康复训练解决中风病人的病后运动功能障碍问题，是当今医学的研究热点和难点。
因而研究高性能脑卒中康复***脑机接口帮助无法通过正常输出通路的患者完成主动康复训练，从而改善运动机能恢复正常活动行为，对于我国脑卒中治疗在神经学科与信息学科交叉领域具有十分重要的研究意义与发展前景。
已有医学研究表明，绝大多数脑卒中，脑和肢体神经通路瘫痪患者均未受损，因此基于运动想象的BCI可用于重建损伤的脑卒中区域，即BCI恢复功能使用运动想象和神经反馈的损伤运动控制，增强运动控制网络重建的学习。
其中共空间模式(Common Spatial Pattern,CSP)被证明是最有效的方法之一，其借助迁移学习的思想将其他被试的脑电信号引入到CSP学习过程中，保证了被试的脑电信号协方差的估计偏差较好，在小训练样本数据中应用广泛。但随着训练样本的增加，其分类准确率增长缓慢；并伴随时间复杂度的上升，限制算法的实际应用。
近年来，随着深度学习的研究深入，很多脑电样本数据可以引入到诸如卷积神经网络框架中进行训练处理，需要相对大量的训练样本。卷积层数会依据样本量进行选取，一旦样本量数据太小，造成识别错误率大大提升。对于多类运动想象脑电信号，样本量一般为中小量，而单纯引用深度学习框架得不到充分训练，难以发挥CNN算法的优势。因此，本发明提出将改进的CSP算法和CNN结合的方式对多类运动想象脑电信号进行分类。
综上所述，利用脑机接口技术识别患者的运动想象脑电信号,可将患者运动意愿翻译成控制命令驱动康复装置动作,帮助患者完成主动康复训练,有利于改善运动功能恢复效果，而针对此技术的算法在应用上还未趋于成熟。
发明内容
本发明提供一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，针对研究运动功能障碍患者的康复训练领域，如何实现高精度、高鲁棒性的基于运动想象的脑机接口技术，从而精确判别患者的运动姿态和肢体运动位置，为量表评定病患康复程度提供客观的数据支撑，有效缓解当前脑卒中治疗设备和医师资源严重不足，主观治疗带来的弊端等问题。提出了采用小波包变换和快速独立分析方法进行脑电信号的预处理，主要是对原始的运动想象脑电信号进行滤波，尽可能地减少脑电信号中的各种噪声，提高信噪比，基于改进的共空间模式结合卷积神经网络算法识别患者运动想象脑电信号，从而更准确地判别患者的运动位置和肢体运动状态，为量表评定病患康复程度提供客观的数据支撑。
为实现上述目的，本发明采用如下的技术方案：
一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，包括以下步骤：
步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；
步骤2：改进后的OVR-CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；
步骤3：利用改造后的适应一维输入样本的CNN网络进行二次特征提取并分类。
作为优选，步骤1具体包括：小波包变换和快速独立分量分析两个过程：
首先对原始的EEG进行WPT，确定WPT的分解层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；
再对己经滤除高频噪声后的信号进行FastICA变换，FastICA逆变换和FastICA逆变换，得到滤除噪声后的脑电信号。
作为优选，步骤2具体为：OVR-CSP是将五类运动想象任务分为五个新的两类分类问题，得到五个投影矩阵，经过投影后可得五组相应的空域特征；
具体计算过程如下:设Xi(i＝1,2,3,4,5)为五类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N，OVR-CSP算法的基本原理是，分别计算五类数据的归一化协方差矩阵Ri，即：
可得混合空间协方差矩阵R为：
其中，为五类任务多次实验的平均协方差矩阵，对R进行特征值分解，得：
R＝UVUT
其中，U为R的特征向量，V为R的特征值矩阵；对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：
P＝V-1/2UT
OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：
将经过预处理的脑电信号X划分为新的两类分别是X1,X1′,向第i类模式下的投影方向进行投影,得：
Z1＝(U1′)TP1X1,Z1′＝(U1′)TP1X1′(i＝1,2,3,4,5)
五类数据经过投影后的矩阵的协方差矩阵值为
再对协方差矩阵的特征向量进行归一化，得：
其中，n为特征向量的列数，以此作为特征向量进行分类学习。
作为优选，步骤3具体为：用于运动想象脑电信号分类的CNN结构，命名为MIEEGNet网络结构，该网络由5层组成，其中包括第一层为输入层，两层卷积层、1层全连接层和1层Softmax分类层；样本数据大小为1*fi,j；其中，N为运动想象EEG经OVR-CSP算法处理之后得到的特征个数，fi,j＝5*m；第二层(C2)与第三层(C3)都为卷积层，用以对输入样本数据进行二次特征提取，其中第二层(C2}有i2个卷积核，卷积核的大小为1*n2，第三层(C3)有i3个卷积核，卷积核的大小为1*n3；第四层(F4)为全连接层，其通过全连接的方式与第五层(O5)一起构成单层感知机，将第三层(C3)输出结果处理之后输出分类结果。
MIEEGNet网络在最后一层使用Softmax函数进行分类，给定输入fi,j时，该输入数据是c分类的概率记为p(y＝c|fi,j)，则网络损失函数Loss定义如下，
其中，fi,j为输入的运动想象特征训练样本，即经过OVR-CSP归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(fi,j)为经过MIEEGNet的网络输出；然后输出层开始反向传播调整网络中卷积核的权值；最后经过MIEEGNet的训练，输出Loss的值；f(fi,j)的输出为左，右手，舌头，左，右脚的分类；并将运动想象的分类结果作为BCI控制命令传达给机械上下肢，作为量化评定指标。
作为优选，所述网络训练包含两个阶段：
前向传播阶段：从训练样本集抽取样本fi,j，其对应的类别标签为y，将x输入到本课题设计的MIEEGNet网络，上一层的输出就是当前层的输入，通过激活函数ReLU计算出当前层的输出，然后逐层传递下去。最后通过分类层输出为三维特征向量，其元素代表样本数据fi,j属于类别c的概率；
反向传播阶段：计算分类层的输出与样本给定类别标签y的误差，并使用最小化均方误差代价函数的方法调整权值参数。
附图说明
图1本发明提出的技术路线图
图2本发明提出的基于运动想象的脑电算法示意图。
图3本发明的脑电信号小波包分解示意图。
图4本发明的脑电信号的预处理示意图。
图5本发明涉及的流程框图。
图6本发明提出的MIEEGNet网络结构。
具体实施方式
如图2所示，本发明一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，将CSP与CNN两种算法相结合并进行改进，对运动想象脑电信号进行二次特征提取及分类。与直接输入原始脑电信号相比，不仅增大了信号之间的区分度，并且使CNN输入样本数据由二维降到了一维，大大降低了输入样本数据大小，减少了网络中卷积核的个数，使需要训练的网络权值数目大大降低。
如图1所示，一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，包括以下步骤：
步骤1：脑电信号预处理，包括小波包变换和快速独立分量分析两个过程：
首先，对原始的运动想象脑电信息进行WPT，确定WPT的分解层数，利用小波包变换滤除脑电信号中的高频噪声时，考虑到表征脑电信号ERD/ERS现象的功率谱的增强或减弱频率范围主要体现在8～30Hz，因此，对于采样频率为128Hz可确定WPT的分解层数为五层，通过小波包分解确定频率范围在8～30Hz。最后确定要滤除高频噪声所在的频带，并对相应的频带置零，如图3为小波包分解示意图。
然后，再对己经滤除高频噪声后的信号进行FastICA变换，得到各通道的脑电信号的独立成分，再分别计算各个独立成分与原始的EEG信号的C3,C4通道的相关系数，保留相关系数高于设定的阈值的独立成分，再FastICA逆变换，得到滤除噪声后的脑电信号，如图4所示。WPT与FastICA两种算法对脑电信号进行预处理，滤除了脑电信号的噪声与部分干扰信号，便于后续的特征提取和分类。
步骤2:利用OVR-CSP算法对多类运动想象EEG信号进行特征提取。
假设W类信号需要求得的投影矩阵的个数是W，每个样本投影后可得到W组空域结果，该结果即为提取到的每一类的运动想象脑电信号的特征，最后将方差作为分类器的输入。提取后的特征可以形成一维特征数据。大大简化了卷积神经网络结构：既可以增大各EEG信号之间的区分度，还可以减小卷积神经网络输入样本的数据大小。如图5所示为基于OVR-CSP的五类运动想象任务(分别是左手、右手、脚和舌头)特征提取。
OVR-CSP是将五类运动想象任务分为五个新的两类分类问题，得到五个投影矩阵，经过投影后可得五组相应的空域特征。具体计算过程如下:设Xi(i＝1,2,3,4,5)为五类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N。OVR-CSP算法的基本原理是，分别计算五类数据的归一化协方差矩阵Ri，即：
可得混合空间协方差矩阵R为：
其中为五类任务多次实验的平均协方差矩阵。对R进行特征值分解，得：
R＝UVUT
其中，U为R的特征向量；V为R的特征值矩阵。对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：
P＝V-1/2UT
和经典的两类CSP算法不同的是，OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：
将经过预处理的脑电信号X划分为新的两类分别是X1,X1′,向第i类模式下的投影方向进行投影,得：
Z1＝(U1′)TP1X1,Z1′＝(U1′)TP1X1′(i＝1,2,3,4,5)
五类数据经过投影后的矩阵的协方差矩阵值为RZi＝ZiZi T(i＝1,2,3,4,5),再对协方差矩阵的特征向量进行归一化，得：
(n为特征向量的列数)
以此作为特征向量进行分类学习。
步骤3：利用改造后的适应一维输入样本的CNN网络进行二次特征提取并分类。
本发明设计了一种用于运动想象脑电信号分类的CNN结构，命名为MIEEGNet网络结构，CNN网络结构如图6。该网络由5层组成，其中包括第一层为输入层，两层卷积层、1层全连接层和1层Softmax分类层。样本数据大小为1*fi,j。其中，N为运动想象EEG经OVR-CSP算法处理之后得到的特征个数，fi,j＝5*m；第二层(C2)与第三层(C3)都为卷积层，用以对输入样本数据进行二次特征提取，其中第二层(C2}有i2个卷积核，卷积核的大小为1*n2，第三层(C3)有i3个卷积核，卷积核的大小为1*n3。由于输入样本数据长度偏小，所以本发明CNN网络省去降采样层，在卷积层使用ReLU函数优化参数，避免“梯度消失”；第四层(F4)为全连接层，其通过全连接的方式与第五层(O5)一起构成单层感知机，将第三层(C3)输出结果处理之后输出分类结果。
MIEEGNet网络在最后一层使用Softmax函数进行分类。本发明给定输入fi,j时，该输入数据是c分类的概率记为p(y＝c|fi,j)，则网络损失函数Loss定义如下，
其中fi,j为输入的运动想象特征训练样本，即经过OVR-CSP归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(fi,j)为经过MIEEGNet的网络输出。然后输出层开始反向传播调整网络中卷积核的权值。最后经过MIEEGNet的训练，输出Loss的值，Loss的值越小，说明训练效果越好，分类结果越精确。f(fi,j)的输出为左，右手，舌头，左，右脚的分类。并将运动想象的分类结果作为BCI控制命令传达给机械上下肢，作为量化评定指标。相比仅凭医师的经验评定指标，提供了客观的数据支撑，反馈给康复医师。康复医师再进行不断的更新评测模型，进而作为指导治疗的新方法，为脑卒中患者进行有效的康复训练，直到帮助患者早日康复。
传统的CNN及其变形网络每一层的滤波器个数都是固定的常量，但并非所有的滤波器都可以将目标类别的隐式特征选取出来。由于CNN网络参数的个数与滤波器个数密切相关，故在反向传播阶段，可根据最小化均方误差代价函数自适应调整每一层滤波器的个数(卷积核个数)，从而在保证识别精度的同时降低算法复杂度。本课题引入卷积核个数变量k，卷积层C2、C3分别采用2k和2k+1个卷积核对每层输入进行卷积操作。
传统的CNN网络特征映射结构中采用sigmoid函数作为卷积网络的激活函数，本发明改用修正线性单元(Rectified Linear Units,ReLU)函数使训练后的网络具备适度的稀疏性，同时可以很好地解决反向传播参数调优过程中传统激活函数可能产生的梯度消失问题，加速了网络的收敛。
本发明提出的网络结构实现了输入到输出的映射关系，有效解决了由于传统卷积神经网络的梯度消失问题。
其中网络训练包含两个阶段：前向传播阶段。从训练样本集抽取样本fi,j，其对应的类别标签为y。将x输入到本课题设计的MIEEGNet网络，上一层的输出就是当前层的输入。通过激活函数ReLU计算出当前层的输出，然后逐层传递下去。最后通过分类层输出为三维特征向量，其元素代表样本数据fi,j属于类别c的概率。反向传播阶段。计算分类层的输出与样本给定类别标签y的误差，并使用最小化均方误差代价函数的方法调整权值参数。
在头皮脑电信号EEG特征提取的过程中，本发明引入patches的思想将信号分解为小的数据片段，组成协方差矩阵，再通过矩阵估计提取运动想象脑电信号的基于OVR-CSP方法的分类特征向量；将高维特征向量映射至低维空间后，根据最小化均方误差代价函数自适应调整传统的CNN每一层卷积核个数，并采用采用修正线性单元函数加速了网络的收敛，提高了分类效率。
综上所述，本发明作了基于运动想象的共空间模式与卷积神经网络的改进，即克服了传统CSP算法在多分类任务表现效果不佳，又克服了单一使用卷积神经网络需要大量数据样本的缺点，巧妙的将二者相结合，在处理中小样本上鲁棒性较好。考虑到国内外对脑卒中康复治疗的方式较为单一。因此应用于运动功能障碍患者的康复训练领域，帮助患者参与到主动康复训练，有利于改善运动功能恢复效果，为量表评定病患康复程度提供客观的数据支撑。
Claims (5)
1.一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于，包括以下步骤：
步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；
步骤2：改进后的OVR-CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；
步骤3：利用改造后的适应一维输入样本的CNN网络进行二次特征提取并分类。
2.如权利要求1所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于，步骤1具体包括：小波包变换和快速独立分量分析两个过程：
首先对原始的EEG进行WPT，确定WPT的分解层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；
再对己经滤除高频噪声后的信号进行FastICA变换，FastICA逆变换和FastICA逆变换，得到滤除噪声后的脑电信号。
3.如权利要求2所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于步骤2具体为：OVR-CSP是将五类运动想象任务分为五个新的两类分类问题，得到五个投影矩阵，经过投影后可得五组相应的空域特征；
具体计算过程如下:设Xi(i＝1,2,3,4,5)为五类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N，OVR-CSP算法的基本原理是，分别计算五类数据的归一化协方差矩阵Ri，即：
<mrow>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mi>T</mi>
</msup>
</mrow>
<mrow>
<mi>t</mi>
<mi>r</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>3</mn>
<mo>,</mo>
<mn>4</mn>
<mo>,</mo>
<mn>5</mn>
</mrow>
可得混合空间协方差矩阵R为：
<mrow>
<mi>R</mi>
<mo>=</mo>
<mover>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>2</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>3</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>4</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>5</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
其中，为五类任务多次实验的平均协方差矩阵，对R进行特征值分解，得：
R＝UVUT
其中，U为R的特征向量，V为R的特征值矩阵；对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：
P＝V-1/2UT
OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：
<mrow>
<msup>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mover>
<msub>
<mi>R</mi>
<mn>2</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>3</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>4</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mover>
<msub>
<mi>R</mi>
<mn>5</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
将经过预处理的脑电信号X划分为新的两类分别是X1,X1′,向第i类模式下的投影方向进行投影,得：
Z1＝(U1′)TP1X1,Z1′＝(U1′)TP1X1′(i＝1,2,3,4,5)
五类数据经过投影后的矩阵的协方差矩阵值为
再对协方差矩阵的特征向量进行归一化，得：
其中，n为特征向量的列数，以此作为特征向量进行分类学习。
4.如权利要求3所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于步骤3具体为：用于运动想象脑电信号分类的CNN结构，命名为MIEEGNet网络结构，该网络由5层组成，其中包括第一层为输入层，两层卷积层、1层全连接层和1层Softmax分类层；样本数据大小为1*fi,j；其中，N为运动想象EEG经OVR-CSP算法处理之后得到的特征个数，fi,j＝5*m；第二层(C2)与第三层(C3)都为卷积层，用以对输入样本数据进行二次特征提取，其中第二层(C2}有i2个卷积核，卷积核的大小为1*n2，第三层(C3)有i3个卷积核，卷积核的大小为1*n3；第四层(F4)为全连接层，其通过全连接的方式与第五层(O5)一起构成单层感知机，将第三层(C3)输出结果处理之后输出分类结果。
MIEEGNet网络在最后一层使用Softmax函数进行分类，给定输入fi,j时，该输入数据是c分类的概率记为p(y＝c|fi,j)，则网络损失函数Loss定义如下，
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>&Sigma;</mi>
<mi>c</mi>
</msub>
<mi>log</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>=</mo>
<mi>c</mi>
<mo>|</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mi>log</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>=</mo>
<mover>
<mi>y</mi>
<mo>~</mo>
</mover>
<mo>|</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，fi,j为输入的运动想象特征训练样本，即经过OVR-CSP归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(fi,j)为经过MIEEGNet的网络输出；然后输出层开始反向传播调整网络中卷积核的权值；最后经过MIEEGNet的训练，输出Loss的值；f(fi,j)的输出为左，右手，舌头，左，右脚的分类；并将运动想象的分类结果作为BCI控制命令传达给机械上下肢，作为量化评定指标。
5.如权利要求4所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于，所述网络训练包含两个阶段：
前向传播阶段：从训练样本集抽取样本fi,j，其对应的类别标签为y，将x输入到本课题设计的MIEEGNet网络，上一层的输出就是当前层的输入，通过激活函数ReLU计算出当前层的输出，然后逐层传递下去。最后通过分类层输出 为三维特征向量，其元素代表样本数据fi,j属于类别c的概率；
反向传播阶段：计算分类层的输出与样本给定类别标签y的误差，并使用最小化均方误差代价函数的方法调整权值参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711159910.4A CN107958213A (zh) | 2017-11-20 | 2017-11-20 | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711159910.4A CN107958213A (zh) | 2017-11-20 | 2017-11-20 | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958213A true CN107958213A (zh) | 2018-04-24 |
Family
ID=61963963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711159910.4A Pending CN107958213A (zh) | 2017-11-20 | 2017-11-20 | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958213A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109003680A (zh) * | 2018-09-28 | 2018-12-14 | 四川大学 | 癫痫数据统计方法及装置 |
| CN109009092A (zh) * | 2018-06-15 | 2018-12-18 | 东华大学 | 一种去除脑电信号噪声伪迹的方法 |
| CN109009097A (zh) * | 2018-07-18 | 2018-12-18 | 厦门大学 | 一种自适应不同采样频率的脑电分类方法 |
| CN109144266A (zh) * | 2018-08-29 | 2019-01-04 | 安徽大学 | 一种基于独立分量分析的脑机接口导联优化方法 |
| CN109164910A (zh) * | 2018-07-05 | 2019-01-08 | 北京航空航天大学合肥创新研究院 | 针对脑电图的多路信号神经网络架构设计方法 |
| CN109325586A (zh) * | 2018-12-05 | 2019-02-12 | 北京航空航天大学合肥创新研究院 | 基于组合目标函数的深度神经网络*** |
| CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复***脑机接口关键技术方法 |
| CN109685031A (zh) * | 2018-12-29 | 2019-04-26 | 河海大学常州校区 | 一种脑机接口中脑电信号特征分类方法及*** |
| CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN110569727A (zh) * | 2019-08-06 | 2019-12-13 | 华南理工大学 | 基于运动想象分类的结合类内距和类间距的迁移学习方法 |
| CN110851783A (zh) * | 2019-11-12 | 2020-02-28 | 华中科技大学 | 一种用于脑机接口校准的异构标签空间迁移学习方法 |
| CN111544856A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 |
| CN111990992A (zh) * | 2020-09-03 | 2020-11-27 | 山东中科先进技术研究院有限公司 | 一种基于脑电的自主运动意图识别方法及*** |
| CN112185558A (zh) * | 2020-09-22 | 2021-01-05 | 珠海中科先进技术研究院有限公司 | 基于深度学习的心理健康及康复评定方法、装置及介质 |
| CN113128384A (zh) * | 2021-04-01 | 2021-07-16 | 北京工业大学 | 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104771163A (zh) * | 2015-01-30 | 2015-07-15 | 杭州电子科技大学 | 基于csp和r-csp算法的脑电信号特征提取方法 |
-
2017
- 2017-11-20 CN CN201711159910.4A patent/CN107958213A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104771163A (zh) * | 2015-01-30 | 2015-07-15 | 杭州电子科技大学 | 基于csp和r-csp算法的脑电信号特征提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| 曾庆山: ""基于CSP与卷积神经网络算法的多类运动"", 《科学技术与工程》 * |
| 王洪涛: ""混合脑机接口实现及其应用研究"", 《中国博士学位论文全文数据库 医药卫生科技辑》 * |
| 范明莉: ""基于卷积神经网络的运动想象脑电信号特征提取与分类"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109009092B (zh) * | 2018-06-15 | 2020-06-02 | 东华大学 | 一种去除脑电信号噪声伪迹的方法 |
| CN109009092A (zh) * | 2018-06-15 | 2018-12-18 | 东华大学 | 一种去除脑电信号噪声伪迹的方法 |
| CN109164910A (zh) * | 2018-07-05 | 2019-01-08 | 北京航空航天大学合肥创新研究院 | 针对脑电图的多路信号神经网络架构设计方法 |
| CN109164910B (zh) * | 2018-07-05 | 2021-09-21 | 北京航空航天大学合肥创新研究院 | 针对脑电图的多路信号神经网络架构设计方法 |
| CN109009097A (zh) * | 2018-07-18 | 2018-12-18 | 厦门大学 | 一种自适应不同采样频率的脑电分类方法 |
| CN109144266A (zh) * | 2018-08-29 | 2019-01-04 | 安徽大学 | 一种基于独立分量分析的脑机接口导联优化方法 |
| CN109003680A (zh) * | 2018-09-28 | 2018-12-14 | 四川大学 | 癫痫数据统计方法及装置 |
| CN109325586A (zh) * | 2018-12-05 | 2019-02-12 | 北京航空航天大学合肥创新研究院 | 基于组合目标函数的深度神经网络*** |
| CN109325586B (zh) * | 2018-12-05 | 2022-03-04 | 北京航空航天大学合肥创新研究院 | 一种用于脑电信号去噪的*** |
| CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复***脑机接口关键技术方法 |
| CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
| CN109726751B (zh) * | 2018-12-21 | 2020-11-27 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
| CN109685031B (zh) * | 2018-12-29 | 2022-09-13 | 河海大学常州校区 | 一种脑机接口中脑电信号特征分类方法及*** |
| CN109685031A (zh) * | 2018-12-29 | 2019-04-26 | 河海大学常州校区 | 一种脑机接口中脑电信号特征分类方法及*** |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN110188836B (zh) * | 2019-06-21 | 2021-06-11 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN110569727A (zh) * | 2019-08-06 | 2019-12-13 | 华南理工大学 | 基于运动想象分类的结合类内距和类间距的迁移学习方法 |
| CN110569727B (zh) * | 2019-08-06 | 2022-03-29 | 华南理工大学 | 用于运动想象分类的结合类内距和类间距的迁移学习方法 |
| CN110851783A (zh) * | 2019-11-12 | 2020-02-28 | 华中科技大学 | 一种用于脑机接口校准的异构标签空间迁移学习方法 |
| CN111544856A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 |
| CN111990992A (zh) * | 2020-09-03 | 2020-11-27 | 山东中科先进技术研究院有限公司 | 一种基于脑电的自主运动意图识别方法及*** |
| CN112185558A (zh) * | 2020-09-22 | 2021-01-05 | 珠海中科先进技术研究院有限公司 | 基于深度学习的心理健康及康复评定方法、装置及介质 |
| CN113128384A (zh) * | 2021-04-01 | 2021-07-16 | 北京工业大学 | 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法 |
| CN113128384B (zh) * | 2021-04-01 | 2024-04-05 | 北京工业大学 | 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958213A (zh) | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 | |
| CN109620223A (zh) | 一种脑卒中康复***脑机接口关键技术方法 | |
| CN102722728B (zh) | 基于通道加权支持向量的运动想象脑电分类方法 | |
| CN109784211A (zh) | 一种基于深度学习的运动想象脑电信号分类方法 | |
| US20040220782A1 (en) | Signal interpretation engine | |
| CN110619322A (zh) | 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及*** | |
| CN104091172A (zh) | 一种运动想象脑电信号的特征提取方法 | |
| CN106682616A (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
| CN105249964B (zh) | 基于脑磁图和弥散张量成像的多模态脑功能重建评估方法 | |
| CN107944493A (zh) | 一种基于卷积神经网络的第一导联心电图心拍分类方法 | |
| CN107811649A (zh) | 一种基于深度卷积神经网络的心音多分类方法 | |
| CN111544855A (zh) | 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用 | |
| CN104636580A (zh) | 一种基于人脸的健康监控手机 | |
| CN106264499A (zh) | 一种量化心肺***交互作用的分析方法 | |
| CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| CN109498370A (zh) | 基于肌电小波关联维的下肢关节角度预测方法 | |
| Rahimian et al. | Hand gesture recognition using temporal convolutions and attention mechanism | |
| CN107480637A (zh) | 基于心音特征的心衰分期方法 | |
| Ahsan et al. | EMG motion pattern classification through design and optimization of neural network | |
| CN115206484B (zh) | 一种脑卒中康复训练*** | |
| Das et al. | CA-Net: A novel cascaded attention-based network for multi-stage glaucoma classification using fundus images | |
| Prakash et al. | A system for automatic cardiac arrhythmia recognition using electrocardiogram signal | |
| CN103908361A (zh) | 一种假肢关节运动耦合驱动信号的采集运算方法 | |
| CN109994202A (zh) | 一种基于深度学习的人脸生成中药处方的方法 | |
| CN117153379B (zh) | 一种胸廓出口综合征的预测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240109 Address after: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing Applicant after: Beijing University of Technology Applicant after: Wang Zhuozheng Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing Applicant before: Beijing University of Technology Effective date of registration: 20240109 Address after: 310007 station 30, 2nd floor, east area, building a, Zhejiang University Science Park, No. 525 Xixi Road, Xihu District, Hangzhou, Zhejiang Province Applicant after: Hangzhou Xingyuan intelligent Biotechnology Co.,Ltd. Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing Applicant before: Beijing University of Technology Applicant before: Wang Zhuozheng |