CN115456016A - 一种基于胶囊网络的运动想象脑电信号识别方法 - Google Patents

Abstract

一种基于胶囊网络的运动想象脑电信号识别方法，属于深度学习、脑机接口技术领域，S1、将EEG时间序列按照电极空间分布映射成三维数组形式；S2、胶囊网络结合3D卷积构建三维胶囊网络3D‑CapsNet运动想象脑电信号识别模型，3D卷积模块采用多层3D卷积同时从时间维度和通道间空间维度进行特征提取，得到低级特征；3D卷积模块输出的低级特征通过胶囊网络整合，得到包含特征间关系的高级空间向量；S3、胶囊网络模块采用动态路由算法训练，初级胶囊和运动胶囊之间采用动态路由连接，最终经过非线性激活函数squash输出分类结果。胶囊网络囊间动态路由连接方式代替传统全连接层，避免网络需要使用池化层来降低特征维度，许多EEG细节特征得以保留，从而保证了有效特征提取。

Description

一种基于胶囊网络的运动想象脑电信号识别方法

技术领域

本发明属于深度学习、脑机接口技术领域，具体涉及一种基于胶囊网络的运动想象脑电信号识别方法。

背景技术

针对脑电信号识别，现有识别技术主要分为两类，其一是传统人工特征提取结合机器学习算法进行识别；其二是基于深度学习训练模型进行特征提取和识别。特征提取结合机器学习的方法将特征提取和分类分为两个阶段，最佳特征的获得具有主观性，如果在特征提取过程中选择了次优的频段，将会影响分类性能。由于不同被试者间存在的差异性，针对每个被试选择最佳频段的方法并不能很好地应用到更大的人群。深度学习方法将特征提取和分类嵌入到一个端到端的网络中，最大限度上减少脑电信号预处理过程，显然更适用于在线BCI研究。

然而，在上述两大类研究方法中，大多只针对二维形式表示的脑电信号进行识别，未能充分反映蕴藏在脑电信号中的空间信息。MI-EEG采集自三维头皮表面，是一个具有时空信息的非线性随机时间序列，因此在处理脑电信号时，更合理的做法是同时考虑其时间和空间特性。此外，相较于图像识别领域及自然语言处理领域，脑电信号识别研究需克服数据集小以及脑电特征不明显的问题。对网络要求苛刻，既要充分提取蕴含的特征，又要避免过拟合问题。同时克服不同被试者之间的差异性也是网络要解决的问题。

脑-机接口(Brain-computer interface，BCI)允许人们仅通过大脑神经活动实现与现实世界的交互。运动想象脑电信号(Motor imagery EEG，MI-EEG)是BCI广泛使用的范式之一，目前主要应用于运动康复领域。基于MI-EEG的康复训练，一方面通过对MI-EEG进行某种方式处理和变换将运动意图转换为指令，控制轮椅、机械手臂等康复辅助装置，在一定程度上解决了肌肉或神经末稍受损的患者与环境交流的难题；另一方面通过促进大脑功能重塑实现功能代偿，最终恢复部分运动功能，提高患者生存质量。

MI-EEG识别是提升BCI性能的关键，基于事件相关同步(Event relatedsynchronization，ERS)和事件相关去同步(Event related desynchronization,ERD)现象，大量MI-EEG分类方法相继被提出[1-6]。其中，特征提取结合机器学习的方法虽已成功应用于MI-EEG分类，但这些方法将特征提取和分类分为两个阶段，这使得特征提取模型的参数和分类器使用不同的目标函数进行训练。此外，最佳特征的获得具有主观性，如果在特征提取过程中选择了次优的频段，将会影响分类性能。最重要的是，对于一个复杂的非线性随机时间序列，人工确定频段的方法非常考验专家经验以及专家对EEG的理解，由于不同被试者间存在的差异性，针对每个被试选择最佳频段的方法并不能很好地应用到更大的人群。

近来，多种深度学习方法被应用于EEG分类，如卷积神经网络(Convolutionalneural network，CNN)[7]，循环神经网络(Recurrent neural network，RNN)[8]以及胶囊网络(Capsule Network，CapsNet)[9]等。利用深度学习直接对脑电信号进行识别，不需要对脑电信号蕴含的特征进行人工提取，它将特征提取和分类嵌入到一个端到端的网络中，参数共同优化，最大限度上减少脑电信号预处理过程，显然更适用于在线BCI研究。采用深度学习进行MI-EEG分类，首要工作是将MI-EEG以深度模型可处理的形式表示。另外，脑电信号识别研究需克服数据集小以及脑电特征不明显的问题，对识别方法要求苛刻，既要充分提取蕴含的特征，又要避免过拟合问题。

目前，MI-EEG通常被表示为二维矩阵形式，下文简称2DMI-EEG，即将采样电极的数量作为高度，采样时间步长作为宽度的表示方法。另一种常见的方法是通过短时傅里叶变换或小波变换等方法将EEG信号变换为二维时频图像作为网络输入。然而，二维矩阵或二维时频图像的表示方法均不能保留MI-EEG的空间信息，存在于相邻电极之间的内在关系也不能反映在二维矩阵中，这将影响分类性能。2015年，Bashivan等人[10]提出了一种保留原始脑电空间结构、频谱结构和时间结构的方法。首先计算每个电极的脑电信号的功率谱，再求三个选定频段的绝对值平方和，最后利用方位角等距投影(AEP)方法映射电极分布图作为模型的输入图像。基于这种表示方法，识别性能有了显著提高，这表明空间特征对于基于EEG的分类任务是极重要的。

2.现有技术方案

2019年，Zhao等人[11]提出了一种脑电信号3D表示方法，将EEG时间序列按照电极空间分布映射成三维数组作为模型输入，该方法能同时保留时间特征和空间特征。并提出多分支3D卷积神经网络(3DCNN)对3DMI-EEG进行分类，3DCNN即由三个不同大小感受野的分支来提取MI相关的特征，三个分支分别被命名为小感受野网络(SRF)、中感受野网络(MRF)和大感受野网络(LRF)，最后采用全连接层结合Softmax进行分类，这是在原始脑电数据分类上比较成功的一次尝试。之后，Liu等人[12]在此基础上进行进一步研究，仍然采用三分支结构，同时引入密集连接方式来改进多分支3D卷积神经网络对3DMI-EEG进行分类，加深网络的同时在一定程度上克服了过拟合，性能有了一定提升。

针对三维表示形式的脑电信号，文献[11]和文献[12]均采用卷积神经网络形式，为了更多保留脑电信号的特征，中间不曾采用池化层降维，同时采用多分支结构，因此网络参数量相对较大。另外，虽然兼顾了时间和空间特征，但特征间的内在关系网络无法表达，这在一定程度上影响了识别性能。

参考文献

[1]BOSTANOV V.BCI competition 2003-data sets Ib and IIb:featureextraction from event-related brain potentials with the continuous wavelettransform and the t-value scalo-gram[J].IEEE Transactions on Biomedicalengineering,2004,51(6):1057-1061.

[2]HSU W Y,SUN Y N.EEG-based motor imagery analysis using weightedwavelet transform features[J].Journal of neuroscience methods,2009,176(2):310-318.

[3]BURKE D P,KELLY S P,DE CHAZAL P,et al.A parametric featureextraction and classification strategy for brain-computer interfacing[J].IEEETransactions on Neural Systems and Rehabilitation Engineering,2005,13(1):12-17.

[4]RAMOSER H,MULLER-GERKING J,PFURTSCHELLER G.Optimal spatialfiltering of single trial EEG during im-agined hand movement[J].IEEEtransactions on rehabilita-tion engineering,2000,8(4):441-446.

[5]ANG K K,CHIN Z Y,WANG C,et al.Filter bank common spatial patternalgorithm on BCI competition IV datasets 2a and 2b[J].Frontiers inneuroscience,2012,6:39.

[6]NOVI Q,GUAN C,DAT T H,et al.Sub-band common spatial pattern(SBCSP)for brain-computer inter-face[C]//2007 3rd International IEEE/EMBS Conferenceon Neural Engineering.IEEE,2007:204-207.

[7]LI M A,HAN J F,DUAN L J.A novel MI-EEG imaging with the locationinformation of electrodes[J].IEEE Access,2019,8:3197-3211.

[8]ABBASVANDI Z,NASRABADI A M.A self-organized recurrent neuralnetwork for estimating the effective con-nectivity and its application to EEGdata[J].Computers in biology and medicine,2019,110:93-107.

[9]谌鈫,陈兰岚,江润强.集成胶囊网络的脑电情绪识别[J].计算机工程与应用,2022,58(08):175-184.

CHEN QIN,CHEN LANLAN,JIANG RUNQIANG.Emo-tion recognition of EEG basedon Ensemble CapsNet[J].CEA,2022,58(08):175-184.

[10]BASHIVAN P,RISH I,YEASIN M,et al.Learning repre-sentations fromEEG with deep recurrent-convolutional neural networks[J].arXiv preprintarXiv:1511.06448,2015.

[11]ZHAO X,ZHANG H,ZHU G,et al.A multi-branch 3D convolutional neuralnetwork for EEG-based motor im-agery classification[J].IEEE transactions onneural systems and rehabilitation engineering,2019,27(10):2164-2177.

[12]LIU T,YANG D.A Densely Connected Multi-Branch 3D ConvolutionalNeural Network for Motor Imagery EEG Decoding[J].Brain Sciences,2021,11(2):197.

发明内容

为了解决上述存在的问题，本发明提出：一种基于胶囊网络的运动想象脑电信号识别方法，包括如下步骤：

S1、将运动想象脑电信号EEG时间序列按照电极空间分布映射成三维数组形式；

S2、胶囊网络结合3D卷积构建三维胶囊网络3D-CapsNet运动想象脑电信号识别模型，以S1中所述的三维形式脑电信号作为该识别模型的输入，3D-CapsNet由3D卷积模块和胶囊网络模块组成，其中，3D卷积模块采用多层3D卷积同时从时间维度和通道间空间维度对输入脑电信号进行特征提取，得到低级特征；胶囊网络模块具备空间检测能力，3D卷积模块输出的低级特征通过胶囊网络整合，得到包含特征间关系的高级空间向量；

S3、胶囊网络模块采用动态路由算法训练，初级胶囊和运动胶囊之间采用动态路由连接，最终经过非线性激活函数squash输出分类结果。

本发明的有益效果为：结合了3D卷积提出3D-CapsNet运动想象脑电信号识别模型，在提高识别准确率的同时，一定程度上克服了个体差异性。3D-CapsNet综合考虑了MI-EEG时间维度，通道空间维度及特征间的内在关系，将网络的特征表达能力最大化；与此同时，胶囊网络囊间动态路由连接方式代替传统全连接层，避免了网络需要使用池化层来降低特征维度，因此许多EEG细节特征得以保留，从而保证了有效特征提取。

附图说明

图1为本发明的MI-EEG3D表示过程示意图；左：国际10-20***电极蒙太奇；中：TP个二维矩阵；右：三维表示的运动想象脑电信号；

图2为本发明的三维胶囊网络(3D-CapsNet)结构图；

图3为本发明的实验过程涉及的不同网络结构图示意图；(a)三维卷积胶囊网络3D-CapsNet；(b)三维卷积网络3D-CNN；(c)二维卷积胶囊网络2D-CapsNet；

图4为本发明的胶囊间的信息传递与路由过程。

具体实施方式

受胶囊网络动态路由连接方式启发，结合3D卷积提出3D-CapsNet运动想象脑电信号识别模型，3D卷积模块采用多层3D卷积同时从时间维度和通道间空间维度进行特征提取，得到低级特征；胶囊网络也具备一定空间检测能力，3D卷积模块输出的低级特征通过胶囊网络整合，得到包含特征间关系的高级空间向量，最终经过非线性激活函数squash输出分类结果。3D-CapsNet综合考虑了原始脑电信号时间特征及空间特征，采用动态路由连接方式，摒弃池化层以保留细微特征，将网络特征表达能力最大化。提出一种基于胶囊网络的运动想象脑电信号识别方法，具体实现如下：

实施例1

一种基于胶囊网络的运动想象脑电信号识别方法，包括如下步骤：

S1、将脑电信号(Electroencephalography，EEG)时间序列按照电极空间分布映射成三维数组形式；

S2、胶囊网络结合3D卷积构建三维胶囊网络(3D-CapsNet)运动想象脑电信号识别模型，以S1中所述的三维形式脑电信号作为该识别模型的输入。3D-CapsNet由3D卷积模块和胶囊网络模块组成，其中，3D卷积模块采用多层3D卷积同时从时间维度和通道间空间维度对输入脑电信号进行特征提取，得到低级特征；胶囊网络模块具备空间检测能力，3D卷积模块输出的低级特征通过胶囊网络整合，得到包含特征间关系的高级空间向量；

S3、胶囊网络模块采用动态路由算法训练，初级胶囊和运动胶囊之间采用动态路由连接，最终经过非线性激活函数squash输出分类结果。

其中，所述步骤S1执行如下步骤：

首先，将脑电信号按帧截取并获取当前帧的数值，根据采样电极的一般空间分布将每一帧数值变换成一个x×y的二维矩阵2D-map，同时将没用到的电极位置以0填充；

然后，利用脑电信号的时间信息将TP个2D-map扩展为一个x×y×TP的三维矩阵，其中，TP为每个通道的采样点个数，TP为自然数。

其中，所述步骤S2执行如下：3D卷积模块由5个3D卷积层构成，卷积层封装成卷积模块，能够多层级提取数据基本特征，为主胶囊层提供局部感知信息，卷积核数量逐渐递增，以确保正确提取越来越丰富的特征；每次卷积后都实施批量归一化(Batchnormalization,BN)以加快收敛并减轻过拟合；输入经卷积模块后产生128个4*5*6的输出，转换成128*4*5*6的张量送入主胶囊层，主胶囊层输出384个4维胶囊，主胶囊存储(Motor imagery EEG，MI-EEG)不同形式的空间特征，在主胶囊层和运动胶囊层之间进行动态路由连接，动态路由算法将预测互相接近的胶囊聚集在一起，抽象出能代表类间差异性的运动胶囊，最终经过非线性激活函数squash输出分类结果。

其中，所述步骤S3具体如下：胶囊网络采用动态路由算法进行训练，胶囊间的信息传递与路由过程只在两个连续的胶囊层之间进行，即在

和s_j之间采用动态路由算法；具体过程：

首先，u_i(i＝1,2,…,n)代表检测出的低级特征向量，将低级特征向量u_i与相应权重矩阵W_ij相乘得高层输出向量

i表示第i个低层特征，j表示第j个初级胶囊；如式(1)所示，向量长度编码相应特征的概率，向量方向编码特征的内部状态；

也称初级胶囊，上述步骤编码低层特征和高层特征之间的空间关系；

其次，对初级胶囊

进行加权，胶囊则使用动态路由算法学习得到耦合稀疏权值c_ij，通过调整c_ij，初级胶囊

将输出发送给合适的运动胶囊s_j，s_j是将多个初级胶囊的预测向量进行加权求和的结果，互相接近的预测值将会聚集，整个过程如式(2)所示：

最后，s_j经过非线性激活函数squash，在不改变向量方向的前提下，长度被压缩到0到1内，结果以向量v_j表示，如式(3)所示，向量长度编码了相应特征的概率，向量方向编码了特征的内部状态；

上述三个步骤是胶囊间完整传播过程，其中，耦合系数c_ij的学习是动态路由算法的精髓，通过式(4)确定：

式中，b_ij是一个临时变量，初始值为0，第一迭代后，所有耦合系数c_ij相等；随着迭代进行，b_ij值更新，c_ij均匀分布会发生变化；b_ij更新公式如(5)所示：

MI-EEG三维表示

图1显示了BCI竞赛ⅣDatasets 2a数据集中某个被试脑电信号3DMI-EEG映射过程。首先，将脑电信号按帧截取并获取当前帧的数值，根据采样电极的一般空间分布将每一帧数值变换成二维矩阵2D-map，同时将没用到的电极位置以0填充；然后，利用脑电信号的时间信息将TP个2D-map扩展为一个x×y×TP的三维矩阵，其中，TP为每个通道的采样点个数。这种根据电极分布以三维形式表示MI-EEG的方式，在保证脑电数据可处理性的前提下，不仅完全保留了存在于脑电时间序列中的时间信息，而且保留了存在于电极分布中的空间信息。

3D-CapsNet层级结构

3D-CapsNet主要由3D卷积模块和CapsNet模块两部分组成，其框架如图2所示，首先采用多层3D卷积进行时间维度和通道间空间维度的特征提取，抽象得到初级特征；接着利用卷积胶囊层检测各特征之间的内在关系；最后经过动态路由连接得到高维特征向量，称为运动胶囊，再结合squash函数对运动胶囊进行分类。

3D-CapsNet层级结构的具体参数如图3(a)所示，参数的设置是通过不断尝试实验得到的最优值。3D卷积模块能够多层级提取数据基本特征，为主胶囊层提供局部感知信息，卷积核数量逐渐递增，以确保正确提取越来越丰富的特征。每次卷积后都实施了批量归一化(Batch normalization,BN)以加快收敛并减轻过拟合。输入经卷积模块后产生128个4*5*6的输出，转换成128*4*5*6的张量送入主胶囊层，主胶囊层输出384个4维胶囊，主胶囊存储了MI-EEG不同形式的空间特征，在主胶囊层和运动胶囊层之间进行动态路由连接，动态路由算法将预测互相接近的胶囊聚集在一起，抽象出能代表类间差异性的运动胶囊，最终经过非线性激活函数squash输出分类结果。

实验环境

3D-CapsNet模型在Pytorch框架下通过Python实现。实验环境为11th Gen Intel(R)Core(TM)[email protected] 2.69GHz，16GB内存，NVIDIA GeForceRTX3050显卡，64位Windows11***。

训练算法以及训练策略

训练算法：胶囊网络采用动态路由算法进行训练，如图4所示为胶囊间的信息传递与路由过程，只在两个连续的胶囊层(

和s_j)之间采用动态路由算法。首先，u_i(i＝1,2,…,n)代表检测出的低级特征向量，将低级特征向量u_i与相应权重矩阵W_ij相乘得高层输出向量

如式(1)所示，向量长度编码了相应特征的概率，向量方向编码了特征的内部状态。

也称初级胶囊，这个步骤编码了低层特征和高层特征之间的空间关系和其他重要关系。

其中，i表示第i个低层特征，j表示第j个初级胶囊。

其次，对初级胶囊

进行加权，这一步与神经元中标量加权相似，区别在于神经元权重通过反向传播算法学习而得，而胶囊则使用动态路由算法学习得到耦合稀疏权值c_ij，通过调整c_ij，初级胶囊会将输出发送给合适的运动胶囊s_j，s_j是将多个初级胶囊的预测向量进行加权求和的结果，互相接近的预测值将会聚集，整个过程如式(2)所示：

最后，s_j经过非线性激活函数squash，在不改变向量方向的前提下，长度被压缩到0到1内，结果以向量v_j表示，如式(3)所示，向量长度编码了相应特征的概率，向量方向编码了特征的内部状态。

上述三个步骤是胶囊间完整传播过程，其中，耦合系数c_ij的学习是动态路由算法的精髓，通过式(4)确定：

式中，b_ij是一个临时变量，初始值为0，第一迭代后，所有耦合系数c_ij会相等。随着迭代进行，b_ij值更新，c_ij均匀分布会发生变化。b_ij更新公式如(5)所示：

胶囊损失评估使用边际损失函数(MarginLoss)进行，以L_k表示，对于每个类别k，有L_k：

L_k＝T_kmax(0,m⁺-||v_k||)²+λ(1-T_k)max(0,||v_k||-m^-)² (6)

当且仅当存在类别k的运动想象时，T_k＝1，m⁺＝0.9以及m^-＝0.1，λ取经验值0.5，以降低某些没有出现的类别的损失，总损失是所有运动胶囊损失之和。

训练策略：本发明采用裁剪训练策略，裁剪训练中，样本是通过沿时间维度以一定数据步长滑动一个3D窗口产生，该窗口覆盖所有电极，其中窗口在时间维度上的大小设置与脑电数据采样频率和特定任务有关。脑电信号裁剪训练策略是增强脑电信号训练样本的一种常见方法，类似于图像识别领域的裁剪策略。已有多个实验表明，与完整样本训练相比，裁剪样本训练具有更好的分类性能。过程通过优化边际损失函数来进行胶囊网络训练，训练迭代次数设为80。使用Adam随机优化算法动态调整学习率，它可以代替经典的随机梯度下降(Stochastic gradient descent,SGD)过程，以更有效地更新网络权重，并加速神经网络的收敛。

验证过程

实验验证阶段逐层递进，首先在3D-CapsNet验证了胶囊网络应用于脑电信号识别的有效性，3D-CapsNet如图3(a)所示，在9名被试者测试数据上进行80个训练周期的监测，3D-CapsNet在被试者1、3、7、8和9的数据上表现优异，在迭代40次以后均达较高准确率且总体趋于稳定，在被试者4和6上也表现出良好性能；对于被试者2和5，模型表现虽不如在其他被试者数据上理想，也能达到70％左右的准确率。综合3D-CapsNet在所有被试者数据上总体表现来看，模型不会因被试者改变而产生较大偏差，具备一定鲁棒性。

其次在3(b)所示3D-CNN结构上进一步验证胶囊网络的优异性能，实验中，观察损失值趋于稳定时的迭代次数作为后续实验中的迭代次数，迭代次数均设为80，采用Pytorch实现。除了被试者5，其余被试者均在动态路由连接情况下表现出较好性能；并且动态路由连接情况下表现出更低的标准差。由此可得出结论，胶囊网络应用于MI-EEG识别优于传统卷积神经网络。

最后验证了基于胶囊网络改进的网络在2DMI-EEG和3DMI-EEG上性能对比，将3D-CapsNet中3D卷积均改为采用2D卷积，2D-CapsNet框架结构如图3(c)所示，在2DMI-EEG输入上进行识别实验，并与本发明方法对比。对9名被试者，采用3DMI-EEG表示下的识别准确度均高于2DMI-EEG表示；从标准差角度讨论，3DMI-EEG表示下标准差低于2DMI-EEG表示，即3D表示的运动想象脑电信号更适用于利用深度网络进行解码的情况。

3D-CapsNet综合考虑了MI-EEG时间维度，通道空间维度及特征间的内在关系，将网络的特征表达能力最大化；与此同时，胶囊网络囊间动态路由连接方式代替传统全连接层，避免了网络需要使用池化层来降低特征维度，因此许多EEG细节特征得以保留，从而保证了有效特征提取。

实验结果

通过实验的方式，将本文方法与同类研究进行对比，其中，DeepNet，EEGNet，ShallowNet均是基于2D-EEG进行脑电信号解码，文献[11]和文献[12]是基于3DMI-EEG进行脑电信号解码。不同方法在9名被试者评估数据集上的分类准确率结果如表1所示，可以看出，文献[12]及本文在识别准确率上占有一定优势，文献[11]在解码精度上不及EEGNet和ShallowNet，但准确率标准差远小于二者。总体来看，基于3D表示形式下的标准差远小于2D表示，可以推断运动想象脑电信号的3D表示形式更适合脑电信号解码且能在一定程度上提升识别准确率，这样的表示形式更利于保留存在于不同被试者间MI-EEG通用特征，能在一定程度上克服个体间差异性，具有更强的可解释性。另一方面，本文所提方法表现出的识别精度总体优于前沿文献，在6名被试者数据集上表现的准确率在同类研究方法中最高，平均准确率高出次优结果2.805％。

表1同类研究分类准确率对比

为进一步验证3D-CapsNet的性能，计算了分类结果Kappa值并与文献[11]和文献[12]进行对比，结果如表所示。Kappa值主要用于一致性测试，衡量模型预测结果和实际分类结果的一致性，Kappa取值区间为-1.0-1.0，数值越大表明算法分类性能越好。Kappa值表达式如下：

其中，P_o为总样本分类准确度，P_e用于评估偶然概率，假设c是类别总数，T_i(i＝1,2,…,c)是每个类别被正确分类的样本数，每一类的真实样本个数分别为a₁,a₂,…a_c，而预测出来的每一类的样本个数分别为b₁,b₂,…b_c，总样本个数为n，那么：

结果如表2所示，对于被试者5之外的其余被试者，本文所提方法Kappa值均优于对比文献Kappa值，因此3D-CapsNet用于3DMI-EEG识别具备良好性能。

表2同类研究Kappa值对比

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于胶囊网络的运动想象脑电信号识别方法，其特征在于，包括如下步骤：

S1、将运动想象脑电信号EEG时间序列按照电极空间分布映射成三维数组形式；

S2、胶囊网络结合3D卷积构建三维胶囊网络3D-CapsNet运动想象脑电信号识别模型，以S1中所述的三维形式脑电信号作为该识别模型的输入，3D-CapsNet由3D卷积模块和胶囊网络模块组成，其中，3D卷积模块采用多层3D卷积同时从时间维度和通道间空间维度对输入脑电信号进行特征提取，得到低级特征；胶囊网络模块具备空间检测能力，3D卷积模块输出的低级特征通过胶囊网络整合，得到包含特征间关系的高级空间向量；

S3、胶囊网络模块采用动态路由算法训练，初级胶囊和运动胶囊之间采用动态路由连接，最终经过非线性激活函数squash输出分类结果。

2.根据权利要求1所述的基于胶囊网络的运动想象脑电信号识别方法，其特征在于，所述步骤S1执行如下步骤：

首先，将脑电信号按帧截取并获取当前帧的数值，根据采样电极的一般空间分布将每一帧数值变换成一个x×y的二维矩阵2D-map，同时将没用到的电极位置以0填充；

然后，利用脑电信号的时间信息将TP个2D-map扩展为一个x×y×TP的三维矩阵，其中，TP为每个通道的采样点个数，TP为自然数。

3.根据权利要求2所述的基于胶囊网络的运动想象脑电信号识别方法，其特征在于，所述步骤S2执行如下：3D卷积模块由5个3D卷积层构成，卷积层封装成卷积模块，能够多层级提取输入脑电信号的基本特征，为主胶囊层提供局部感知信息，卷积核数量逐渐递增，以确保正确提取越来越丰富的特征；每次卷积后都实施批量归一化BN以加快收敛并减轻过拟合；输入经卷积模块后产生128个4*5*6的输出，转换成128*4*5*6的张量送入主胶囊层，主胶囊层输出384个4维胶囊，主胶囊存储运动想象脑电信号不同形式的空间特征，在主胶囊层和运动胶囊层之间进行动态路由连接，动态路由算法将预测互相接近的胶囊聚集在一起，抽象出能代表类间差异性的运动胶囊，最终经过非线性激活函数squash输出分类结果。

4.根据权利要求3所述的基于胶囊网络的运动想象脑电信号识别方法，其特征在于，所述步骤S3具体如下：胶囊网络采用动态路由算法进行训练，胶囊间的信息传递与路由过程只在两个连续的胶囊层之间进行，即在

和s_j之间采用动态路由算法；具体过程：

首先，u_i(i＝1,2,…,n)代表检测出的低级特征向量，将低级特征向量u_i与相应权重矩阵W_ij相乘得高层输出向量

i表示第i个低层特征，j表示第j个初级胶囊；如式(1)所示，向量长度编码相应特征的概率，向量方向编码特征的内部状态；

也称初级胶囊，上述步骤编码低层特征和高层特征之间的空间关系；

其次，对初级胶囊

进行加权，胶囊则使用动态路由算法学习得到耦合稀疏权值c_ij，通过调整c_ij，初级胶囊

将输出发送给合适的运动胶囊s_j，s_j是将多个初级胶囊的预测向量进行加权求和的结果，互相接近的预测值将会聚集，整个过程如式(2)所示：

最后，s_j经过非线性激活函数squash，在不改变向量方向的前提下，长度被压缩到0到1内，结果以向量v_j表示，如式(3)所示，向量长度编码了相应特征的概率，向量方向编码了特征的内部状态；

上述三个步骤是胶囊间完整传播过程，其中，耦合系数c_ij的学习是动态路由算法的精髓，通过式(4)确定：

式中，b_ij是一个临时变量，初始值为0，第一迭代后，所有耦合系数c_ij相等；随着迭代进行，b_ij值更新，c_ij均匀分布会发生变化；b_ij更新公式如(5)所示：

Images