CN114564990B - 一种基于多通道反馈胶囊网络的脑电信号分类方法 - Google Patents
一种基于多通道反馈胶囊网络的脑电信号分类方法 Download PDFInfo
- Publication number
- CN114564990B CN114564990B CN202210188370.7A CN202210188370A CN114564990B CN 114564990 B CN114564990 B CN 114564990B CN 202210188370 A CN202210188370 A CN 202210188370A CN 114564990 B CN114564990 B CN 114564990B
- Authority
- CN
- China
- Prior art keywords
- feedback
- capsule
- electroencephalogram
- class
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 abstract 2
- 238000005457 optimization Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000004761 scalp Anatomy 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000007917 intracranial administration Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于多通道反馈胶囊网络的脑电信号分类方法，其步骤包括：1，对于原始脑电数据进行数据选择和切片的预处理；2，建立多通道反馈胶囊网络分类模型；3，设计损失函数，建立分类模型优化目标；4，输入数据对网络进行训练，利用训练好的最优模型完成脑电信号分类。本发明结合反馈网络和胶囊网络的优势，无需对原始脑电信号进行人工提取特征或信号处理就能自动完成信号分类，并能够显著提升脑电信号分类准确率，从而增加脑电信号在医疗等领域的应用价值。
Description
技术领域
本发明涉及脑电信号分类领域，具体的说是一种通过深度学习方法自动对受试者原始脑电数据进行分类预测的方法。
背景技术
大脑是人在日常生活中不可或缺的一部分，大脑皮层中的电活动包含着丰富的信息，这些电活动可能包含人类的不同情感，运动想象，疾病的信息。随着脑机接口领域和智能医疗的发展，脑电信号已经被广泛应用于情感计算、运动想象、医疗健康等各个领域。如果能充分挖掘脑电信息的信息，准确的对不同的脑电信号分类，可以增加脑电信号在医疗等领域的使用价值。
脑电图(EEG)是记录大脑皮层电活动的便携式设备，可以探测与脑电功能有关的各种信息。颅内EEG信号是通过置于头皮下的电极采集的，而头皮EEG信号是通过置于头皮表面的电极采集的。颅内脑电适用于长期植入式监测***，通常具有较高的信噪比，而头皮脑电不需要植入，且对患者无创，因此在实际使用中较为普遍。对受试者EEG数据的研究表明，一些和脑电信号相关的活动在发作前几分钟到几小时就开始出现迹象，所以我们可以通过捕捉EEG信号中的信息来对相关活动进行预测分类。然而，对EEG信号的分析常常需要大量的专业知识和专家经验，这是一个耗时耗力的工程；而且EEG信号在时间上具有连续性，受试者在任意时刻都会输出脑电信号，所以我们需要一个能自动预测分类脑电信号的***。
在基于EEG信号的预测分类传统算法中，研究者通常先对EEG信号进行去噪，提取相关特征，再将获得的特征使用分类器进行分类获得预测效果。常用的特征例如Hjorth参数、统计矩、累积能量、自回归系数、Lyapunov指数等。常用的分类器有支持向量机、贝叶斯分类器等。然而，提取这些特征也需要丰富的专家经验，分类的效果很大程度上也取决于提取的特征，这会导致泛化效果不佳；而且传统的分类器在提高脑电信号分类性能方面也存在不足。
近年来，深度学习的方法被广泛应用于脑机接口领域，它能自动的从输入中学习更适合的特征，可以同时学习特征提取和分类的任务，在脑电信号分类任务中获得更加准确的预测效果。目前，大多数用于脑电信号分类的深度学习方法都是使用卷积神经网络(CNN)，并且会先进行特征预处理。尽管不同结构的CNN在分类方面显示出不同的优势，但CNN难以刻画局部特征之间的联系，而且池化操作会让它丢失更多的空间信息，这些信息对于多通道脑电信号分类任务来说可能十分关键。特征预处理过程通常将原始脑电数据转换成各种形式的特征，也包括滤波去噪等操作，虽然可以获得更加“干净”的数据，但是同时也可能会丢失一些重要的信息。
发明内容
本发明为克服现有技术的不足之处，提出一种基于多通道反馈胶囊网络的脑电信号分类方法，以期能自动实现脑电信号的分类，并能够显著提升脑电信号分类准确率，从而增加脑电信号在医疗等领域的应用价值。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于多通道反馈胶囊网络的脑电信号分类方法的特点是按如下步骤进行：
步骤1、获取有标注信息的脑电信号数据集，并对脑电信号数据集中的原始脑电信号进行通道数据选择和样本分割的预处理，从而获得N段时长为T的脑电信号样本并构成训练样本集，记为X＝{X1,X2,...,Xn,...,XN}，其中，Xn∈RW×H表示第n个脑电信号样本，H表示脑电信号的通道数，W＝T×s表示采样点数，s表示数据集使用的脑电信号的采样率；令第n个脑电信号样本Xn所对应的标签种类记为Yn，则训练样本集X所对应的标签集合记为Y＝{Y1,Y2,...,Yn,...,YN}；
步骤2、建立多通道反馈胶囊网络模型，并包含一维卷积层、反馈网络、胶囊网络；
所述反馈网络包括：M个反馈模型，每个反馈模型中包含有反馈模块；
所述胶囊网络包括：初级胶囊层、状态胶囊层；
步骤2.1、对模型参数进行初始化：
对所有卷积层的权重使用xavier_uniform_初始化，对所述胶囊网络状态胶囊层中的转换矩阵使用满足标准正太分布的随机初始化；
步骤2.2、将所述第n个脑电信号样本Xn∈RW×H输入所述多通道反馈胶囊网络中，先经过所述一维卷积层的时间特征提取和数据降维操作后，得到第n个特征序列其中，/>表示所述一维卷积输出的第n个特征序列/>中的第x个特征图，C1表示第n个特征序列/>中的特征图个数；
步骤2.3、所述反馈模型的迭代处理；
步骤2.3.1、定义当前反馈模型的序号为m，并初始化m＝1；
步骤2.3.2、定义最大迭代次数为t_max，当前迭代次数为t；并初始化t＝0；
步骤2.3.3、将第n个特征序列作为第m个反馈模型在第t次输入的特征图，记为定义所述第m个反馈模型的反馈模块在第t次输出的特征图为/>
步骤2.3.4、所述第m个反馈模型利用一个卷积层对第t次输入的特征图进行处理，获得隐藏状态特征/>
步骤2.3.5、将t+1赋值给t后，判断t>t_max是否成立，若成立，则表示得到t_max+1个隐藏状态特征，并执行步骤2.3.7；否则，当t＝1时，将赋值给/>再执行步骤2.3.6；
步骤2.3.6、所述第m个反馈模型利用反馈模块对特征图和/>进行处理，获得反馈信息/>再利用一个卷积层对所述反馈信息/>进行处理，获得隐藏状态特征后，返回步骤2.3.5；
步骤2.3.7、t_max+1个隐藏状态特征经过1×1的卷积操作后得到第m个反馈模型输出的特征图记为/>其中，/>表示所述第m个反馈模型输出的第n个特征序列/>的第x个特征图；Cm+1表示第m个反馈模型输出的第n个特征序列中/>的特征图个数；
步骤2.3.8、将m+1赋值给m后，判断m>M是否成立，若成立，则执行骤2.4，否则，将第n个特征序列作为第m个反馈模型的输入，并返回步骤2.3.2顺序执行；
步骤2.4、所述胶囊网络的处理；
步骤2.4.1、初级胶囊层包含：卷积操作层，低级胶囊；
所述状态胶囊层包含：高级胶囊，状态胶囊、动态路由；
步骤2.4.2、将反馈网络输出的特征输入到所述胶囊网络中，由所述初级胶囊层中的卷积操作层提取出局部时空特征并转换为向量形式后存储在低级胶囊un＝{un,1,un,2,...,un,k1}中，其中，k1表示低级胶囊的数量；un,k1表示第n个特征序列的第k1个低级胶囊；
然后将所述低级胶囊中存储的向量形式的局部时空特征un＝{un,1,un,2,...,un,k1}输入状态胶囊层中，由初始化后的转换矩阵将局部时空特征转换un为与整体联系的时空特征并存储在高级胶囊，其中，/>表示第n个特征序列属于第j类状态的第k1个低级胶囊，j＝1,2,...,k2，k2表示分类的数量；
步骤2.4.3、定义动态路由的迭代次数为R，当前迭代次数为r；并初始化r＝0；
令第r次迭代的第i个高级胶囊的第j类状态的系数i＝1,2,...,k1；j＝1,2,...,k2；
步骤2.4.4、将r+1赋值给r后，判断r>R是否成立，若成立，则将活动向量赋值给第n个脑电信号样本Xn的状态胶囊vn＝{vn,1,vn,2,...,vn,k2}；其中，vn,k2表示第k2类状态的状态胶囊；否则，通过“routing softmax”操作将系数/>转换成权重系数/>并将高级胶囊中存储的时空特征进行加权求和后得到活动向量/>其中，/>表示第k2类状态的活动向量，再将活动向量/>的长度压缩到0和1之间，从而得到压缩后的活动向量其中，/>表示k2类状态压缩后的活动向量；最后利用压缩后的活动向量/>得到第r次迭代的系数/>并返回步骤2.4.4；
步骤2.5、对状态胶囊vn求L2范数获得第n个脑电信号样本Xn的属于每个状态的输出概率；
步骤3、利用式(1)建立边缘损失函数Ln：
Ln＝Yclassmax(0，m+-||vn||2)2+λ(1-Yclass)max(0，||vn||2-m-)2 (1)
式(1)中，class表示类别，且classs∈{0,1}，Yclass表示第class类脑电状态的标签值；若class＝0，则Yclass＝0；若class＝1，则Yclass＝1；||vn||2表示反馈胶囊网络对两种状态预测的概率；m+和m-是两个阈值参数，λ是对两种状态错误分类损失的权重；
步骤4、基于训练样本集X，使用Adam优化器对多通道反馈胶囊网络模型进行训练，并计算边缘损失函数L，同时采用指数衰减方法来调整训练过程中的学习率，在连续f次训练中验证损失不再降低或者达到最大训练次数后停止，从而得到训练后的网络模型，用于对脑电信号进行分类。
本发明所述的基于多通道反馈胶囊网络的脑电信号分类方法的特点也在于，所述步骤2.3.6中的反馈信息是按如下过程获得：
反馈模块利用反馈信息对特征图/>进行调整，获得提炼后的输入特征图再利用一个投影组对输入特征图/>进行下采样卷积操作后获得第一下采样特征然后对第一下采样特征/>进行上采样卷积操作后，得到第一重构特征/>
再对和/>一起进行下采样卷积操作获得第二下采样特征/>然后对/>和/>进行上采样卷积操作得到第二重构特征/>同理，得到z个重构特征/>再对z个重构特征进行一个卷积核为1×1的卷积操作后得到反馈信息/>
1、本发明提出了一种基于深度学习的多通道脑电反馈胶囊网络模型，首次在脑电信号分类中使用反馈网络，使用低级特征来提炼更高级的特征，更加充分地探索信号自身的信息，获得更强大的特征表示，从而能更好对脑电信号信息进行表示，提高分类准确性。
2、本发明首次在脑电信号分类中结合反馈机制和动态路由机制，利用反馈机制提取更强大的时间信息，结合胶囊网络捕获的空间信息和其他实例化特性，克服传统CNN存在的不足，从而提高了脑电信号的分类性能。
3、本发明是一种端到端的结构模型，不需要预先对原始EEG信号进行手动去噪和特征预处理过程，直接从原始EEG数据进行训练学习，更符合深度学习数据驱动模式，从而不需要大量专家经验和专业知识，获得更好的泛化性。
附图说明
图1为本发明网络结构示意图；
图2为本发明反馈模型的概念图；
图3为本发明反馈模块的结构图；
图4为本发明动态路由的结构图；
图5为CHB-MIT数据库中脑电信号分类AUC效果对比图；
图6为CHB-MIT数据库中脑电信号分类灵敏度效果对比图；
图7为CHB-MIT数据库中脑电信号分类FPR效果对比图。
具体实施方式
本实施例中，一种基于多通道反馈胶囊网络的脑电信号分类方法主要是利用反馈网络和胶囊网络来进行脑电信号分类。反馈网络用来提取更强大的时间信息，结合胶囊网络提取的空间信息和局部特征之间的关联，再经过动态路由机制对特征权重进行分配，最终达到准确的分类效果。如图1所示，具体的说，该方法是按如下步骤进行：
步骤1、获取有标注信息的脑电信号数据集，并对脑电信号数据集中的原始脑电信号进行通道数据选择和样本分割的预处理，从而获得N段时长为T的脑电信号样本并构成训练样本集，记为X＝{X1,X2,...,Xn,...,XN}，其中，Xn∈RW×H表示第n个脑电信号样本，H表示脑电信号的通道数，W＝T×s表示采样点数，s表示数据集使用的脑电信号的采样率；令第n个脑电信号样本Xn所对应的标签种类记为Yn，则训练样本集X所对应的标签集合记为Y＝{Y1,Y2,...,Yn,...,YN}；本方法使用公开脑电癫痫数据集CHB-MIT；
步骤2、建立多通道反馈胶囊网络模型，并包含一维卷积层、反馈网络、胶囊网络；
反馈网络包括：M个反馈模型，每个反馈模型中包含有反馈模块；
胶囊网络包括：初级胶囊层、状态胶囊层；
步骤2.1、对模型参数进行初始化：
对所有卷积层的权重使用xavier_uniform_初始化，对胶囊网络状态胶囊层中的转换矩阵使用满足标准正太分布的随机初始化；
步骤2.2、将第n个脑电信号样本Xn∈RW×H输入多通道反馈胶囊网络中，先经过一维卷积层的时间特征提取和数据降维操作后，得到第n个特征序列其中，/>表示一维卷积输出的第n个特征序列/>中的第x个特征图，C1表示第n个特征序列中的特征图个数；因为使用的是原始的脑电信号，所以信号中包含噪声信息，使用一维卷积可以起到去噪的功能，同时可以降低数据维度大小，本实验使用的卷积核大小为11×1，步长为1，最大池化操作大小为8×1；
步骤2.3、反馈模型的迭代处理；反馈网络中包含反馈模型，每个反馈模型中包含反馈模块，每次特征提取是进行循环迭代的过程；
步骤2.3.1、定义当前反馈模型的序号为m，并初始化m＝1；
步骤2.3.2、定义最大迭代次数为t_max，当前迭代次数为t；并初始化t＝0；
步骤2.3.3、将第n个特征序列作为第m个反馈模型在第t次输入的特征图，记为；定义第m个反馈模型的反馈模块在第t次输出的特征图为/>
步骤2.3.4、第m个反馈模型利用一个卷积层对第t次输入的特征图进行处理，获得隐藏状态特征/>这里的隐藏状态/>为/>作用是作为残差连接更稳定的获取特征信息；
步骤2.3.5、将t+1赋值给t后，判断t>t_max是否成立，若成立，则表示得到t_max+1个隐藏状态特征，并执行步骤2.3.7；否则，当t＝1时，将赋值给/>再执行步骤2.3.6；
步骤2.3.6、第m个反馈模型利用反馈模块对特征图和/>进行处理，获得反馈信息/>再利用一个卷积层对反馈信息/>进行处理，获得隐藏状态特征/>后，返回步骤2.3.5；具体的计算式如式(2)、式(3)：
式(2)和式(3)中，fFB表示反馈模块，fConv表示卷积操作，本专利使用的卷积核大小为11×1，步长为1，最大池化大小为4×1；
步骤2.3.7、t_max+1个隐藏状态特征经过1×1的卷积操作后得到第m个反馈模型输出的特征图记为/>其中，/>表示第m个反馈模型输出的第n个特征序列/>的第x个特征图；Cm+1表示第m个反馈模型输出的第n个特征序列中/>的特征图个数；计算如式(4)所示：
式(4)中，表示卷积核大小为1，步长为1的卷积操作，fcat表示拼接操作；反馈模型利用每个隐藏状态的特征信息，提取不同层次的有用信息，获得最后的特征输出；
步骤2.3.8、将m+1赋值给m后，判断m>M是否成立，若成立，则执行骤2.4，否则，将第n个特征序列作为第m个反馈模型的输入，并返回步骤2.3.2顺序执行；
步骤2.4、胶囊网络的处理；
步骤2.4.1、初级胶囊层包含：卷积操作层，低级胶囊；
状态胶囊层包含：高级胶囊，状态胶囊、动态路由；
步骤2.4.2、将反馈网络输出的特征输入到胶囊网络中，由初级胶囊层中的卷积操作层提取出局部时空特征并转换为向量形式后存储在低级胶囊/>中，其中，k1表示低级胶囊的数量；un,i表示第n个特征序列的第i个低级胶囊，i＝1,2,...,k1；传统CNN卷积操作产生的是标量，只能表示局部的特征，而胶囊网络将卷积后的标量转换为向量形式，可以丰富特征之间的联系，让局部特征之间的特征联系保存下来；本方法初级胶囊层中的卷积操作为一个卷积核大小为6×6，步长为2的卷积和一个卷积核大小为5×5，步长为2的卷积；
然后将低级胶囊中存储的向量形式的局部时空特征输入状态胶囊层中，由初始化后的转换矩阵将局部时空特征转换un为与整体联系的时空特征并存储在高级胶囊，其中，/>表示第n个特征序列属于第j类状态的第i个低级胶囊，j＝1,2,...,k2，k2表示分类的数量；通过转换矩阵可以更加丰富局部特征和整体之间的联系，将更多的实例化特征存储在高级向量中；计算公式如下：
步骤2.4.3、定义动态路由的迭代次数为R，当前迭代次数为r；并初始化r＝0；
令第r次迭代的第i个高级胶囊的第j类状态的系数
步骤2.4.4、将r+1赋值给r后，判断r>R是否成立，若成立，则将活动向量赋值给第n个脑电信号样本Xn的状态胶囊/>其中，/>表示第k2类状态的状态胶囊；否则，通过“routing softmax”操作将系数/>转换成权重系数/>并将高级胶囊中存储的时空特征进行加权求和后得到活动向量/>其中，/>表示第k2类状态的活动向量，再将活动向量/>的长度压缩到0和1之间，从而得到压缩后的活动向量其中，/>表示k2类状态压缩后的活动向量；最后利用压缩后的活动向量/>得到第r次迭代的系数/>并返回步骤2.4.4；计算公式如(6)-(9)所示：
本方法初始化每个胶囊的初始先验概率相等，然后进行迭代计算；通过动态路由过程将有区分性的信息权重增大，减少没有区分度信息的权重，达到更好的分类效果；
步骤2.5、对状态胶囊求L2范数获得第n个脑电信号样本Xn的属于每个状态的输出概率；
步骤3、利用式(10)建立边缘损失函数Ln：
式(1)中，class表示类别，且classs∈{0,1}，Yclass表示第class类脑电状态的标签值；如果是class＝0即其中一种状态，那么Yclass＝0；如果是class＝1即另一种状态，那么表示反馈胶囊网络对两种状态预测的概率。m+和m-是两个阈值参数，λ是对两种状态错误分类损失的权重。
步骤4、基于训练样本集X，使用Adam优化器对多通道反馈胶囊网络模型进行训练，并计算边缘损失函数L，同时采用指数衰减方法来调整训练过程中的学习率，在连续10次训练中验证损失不再降低或者达到最大训练次数后停止，从而得到训练后的网络模型，用于对脑电信号进行分类。
具体实施中，步骤2.3.6中的反馈信息是按如下过程获得：
反馈模块利用反馈信息对特征图/>进行调整，获得提炼后的输入特征图再利用一个投影组对输入特征图/>进行下采样卷积操作后获得下采样特征/>然后对下采样特征/>进行上采样卷积操作后，得到一个重构特征/>再使用/>和/>进行下采样卷积操作获得/>又对下采样特征进行上采样卷积操作得到重构特征/>从而利用z个投影组对提炼后的输入特征图/>进行处理，得到z个重构特征/>再对z个重构特征进行一个卷积核为1×1的卷积操作后得到反馈信息/>计算公式如式(11)-式(14)所示：
式(11)-式(14)中，每个投影层包含一次上采样和下采样操作，下采样提取特征信息，上采样重构特征，使提取的特征更加有效。表示下采样特征图，/>表示上采样特征图。Convi和Deconvi表示第i个投影层的下采样和上采样操作，卷积核大小为11×1，步长为1。
具体实施中，多通道反馈胶囊网络(FB-CapsNet)与一些先进的脑电信号分类深度学习方法例如深度卷积神经网络+多层感知机(DCNN+MLP)、深度神经网络+双向长短期记忆网络(DCNN+Bi-LSTM)，以及传统胶囊网络模型(CapsNet)进行对比。在CHB-MIT数据库上的性能指标如下表：
表1.CHB-MIT数据库上不同方法对脑电信号分类的平均性能
| 灵敏度(％) | AUC | FPR(\h) | |
| DCNN+MLP | 85.9 | 0.844 | 0.370 |
| DCNN+Bi-LSTM | 87.7 | 0.877 | 0.275 |
| CapsNet | 87.4 | 0.877 | 0.224 |
| FB-CapsNet | 93.4 | 0.928 | 0.096 |
19名受试者的留一交叉验证结果如图4、图5、图6所示。结果分析：
表1实验结果表明，与脑电信号分类领域其他的深度学习方法DCNN+MLP和DCNN+Bi-LSTM相比，FB-CapsNet在各项指标上都有提升，在CHB-MIT数据库上能更准确的预测发作前期类的同时，降低在发作间期类中的错误报警次数。与原始的胶囊网络相比，本方法也明显提升了分类预测性能，验证了反馈网络能更好的提取到具有代表性的特征。此外，从图4、图5、图6中可以发现，该模型在大多数受试者上都有明显的改善，对于不同受试者来说，不同类型脑电信号的类型区域和信号的分布是不一样的，说明该方法对不同受试者均有很好的识别能力和很强的泛化效果。
综上所述，本发明充分利用原始EEG信号所含有的丰富脑电信息，使用反馈网络提取高级的时间，结合胶囊网络提取的空间特征和其他实例化信息，再通过动态路由机制，对高级的特征进行权重的分配，达到更精确的脑电信号分类效果。在公开数据集CHB-MIT的二分类测试中，能更准确的分类发作前期类的脑电数据，同时降低了发作间期类中的错误报警次数，优于传统的卷积神经网络和原始胶囊网络。
Claims (2)
1.一种基于多通道反馈胶囊网络的脑电信号分类方法，其特征是按如下步骤进行：
步骤1、获取有标注信息的脑电信号数据集，并对脑电信号数据集中的原始脑电信号进行通道数据选择和样本分割的预处理，从而获得N段时长为T的脑电信号样本并构成训练样本集，记为X＝{X1,X2,...,Xn,...,XN}，其中，Xn∈RW×H表示第n个脑电信号样本，H表示脑电信号的通道数，W＝T×s表示采样点数，s表示数据集使用的脑电信号的采样率；令第n个脑电信号样本Xn所对应的标签种类记为Yn，则训练样本集X所对应的标签集合记为Y＝{Y1,Y2,...,Yn,...,YN}；
步骤2、建立多通道反馈胶囊网络模型，并包含一维卷积层、反馈网络、胶囊网络；
所述反馈网络包括：M个反馈模型，每个反馈模型中包含有反馈模块；
所述胶囊网络包括：初级胶囊层、状态胶囊层；
步骤2.1、对模型参数进行初始化：
对所有卷积层的权重使用xavier_uniform_初始化，对所述胶囊网络状态胶囊层中的转换矩阵使用满足标准正太分布的随机初始化；
步骤2.2、将所述第n个脑电信号样本Xn∈RW×H输入所述多通道反馈胶囊网络中，先经过所述一维卷积层的时间特征提取和数据降维操作后，得到第n个特征序列其中，/>表示所述一维卷积输出的第n个特征序列/>中的第x个特征图，C1表示第n个特征序列/>中的特征图个数；
步骤2.3、所述反馈模型的迭代处理；
步骤2.3.1、定义当前反馈模型的序号为m，并初始化m＝1；
步骤2.3.2、定义最大迭代次数为t_max，当前迭代次数为t；并初始化t＝0；
步骤2.3.3、将第n个特征序列作为第m个反馈模型在第t次输入的特征图，记为/>定义所述第m个反馈模型的反馈模块在第t次输出的特征图为/>
步骤2.3.4、所述第m个反馈模型利用一个卷积层对第t次输入的特征图进行处理，获得隐藏状态特征/>
步骤2.3.5、将t+1赋值给t后，判断t>t_max是否成立，若成立，则表示得到t_max+1个隐藏状态特征，并执行步骤2.3.7；否则，当t＝1时，将赋值给/>再执行步骤2.3.6；
步骤2.3.6、所述第m个反馈模型利用反馈模块对特征图和/>进行处理，获得反馈信息/>再利用一个卷积层对所述反馈信息/>进行处理，获得隐藏状态特征/>后，返回步骤2.3.5；
步骤2.3.7、t_max+1个隐藏状态特征经过1×1的卷积操作后得到第m个反馈模型输出的特征图记为/>其中，/>表示所述第m个反馈模型输出的第n个特征序列/>的第x个特征图；Cm+1表示第m个反馈模型输出的第n个特征序列中/>的特征图个数；
步骤2.3.8、将m+1赋值给m后，判断m>M是否成立，若成立，则执行骤2.4，否则，将第n个特征序列作为第m个反馈模型的输入，并返回步骤2.3.2顺序执行；
步骤2.4、所述胶囊网络的处理；
步骤2.4.1、初级胶囊层包含：卷积操作层，低级胶囊；
所述状态胶囊层包含：高级胶囊，状态胶囊、动态路由；
步骤2.4.2、将反馈网络输出的特征输入到所述胶囊网络中，由所述初级胶囊层中的卷积操作层提取出局部时空特征并转换为向量形式后存储在低级胶囊/>中，其中，k1表示低级胶囊的数量；/>表示第n个特征序列的第k1个低级胶囊；
然后将所述低级胶囊中存储的向量形式的局部时空特征输入状态胶囊层中，由初始化后的转换矩阵将局部时空特征转换un为与整体联系的时空特征并存储在高级胶囊，其中，/>表示第n个特征序列属于第j类状态的第k1个低级胶囊，j＝1,2,...,k2，k2表示分类的数量；
步骤2.4.3、定义动态路由的迭代次数为R，当前迭代次数为r；并初始化r＝0；
令第r次迭代的第i个高级胶囊的第j类状态的系数
步骤2.4.4、将r+1赋值给r后，判断r>R是否成立，若成立，则将活动向量赋值给第n个脑电信号样本Xn的状态胶囊/>其中，/>表示第k2类状态的状态胶囊；否则，通过“routing softmax”操作将系数/>转换成权重系数/>并将高级胶囊中存储的时空特征进行加权求和后得到活动向量/>其中，/>表示第k2类状态的活动向量，再将活动向量/>的长度压缩到0和1之间，从而得到压缩后的活动向量/>其中，/>表示k2类状态压缩后的活动向量；最后利用压缩后的活动向量/>得到第r次迭代的系数/>并返回步骤2.4.4；
步骤2.5、对状态胶囊vn求L2范数获得第n个脑电信号样本Xn的属于每个状态的输出概率；
步骤3、利用式(1)建立边缘损失函数Ln：
Ln＝Yclassmax(0，m+-||vn||2)2+λ(1-Yclass)max(0，||vn||2-m-)2 (1)
式(1)中，class表示类别，且classs∈{0,1}，Yclass表示第class类脑电状态的标签值；若class＝0，则Yclass＝0；若class＝1，则Yclass＝1；||vn||2表示反馈胶囊网络对两种状态预测的概率；m+和m-是两个阈值参数，λ是对两种状态错误分类损失的权重；
步骤4、基于训练样本集X，使用Adam优化器对多通道反馈胶囊网络模型进行训练，并计算边缘损失函数L，同时采用指数衰减方法来调整训练过程中的学习率，在连续f次训练中验证损失不再降低或者达到最大训练次数后停止，从而得到训练后的网络模型，用于对脑电信号进行分类。
2.根据权利要求1所述的基于多通道反馈胶囊网络的脑电信号分类方法，其特征在于，所述步骤2.3.6中的反馈信息是按如下过程获得：
反馈模块利用反馈信息对特征图/>进行调整，获得提炼后的输入特征图/>再利用一个投影组对输入特征图/>进行下采样卷积操作后获得第一下采样特征/>然后对第一下采样特征/>进行上采样卷积操作后，得到第一重构特征/>
再对和/>一起进行下采样卷积操作获得第二下采样特征/>然后对/>和/>进行上采样卷积操作得到第二重构特征/>同理，得到z个重构特征/>再对z个重构特征进行一个卷积核为1×1的卷积操作后得到反馈信息/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188370.7A CN114564990B (zh) | 2022-02-28 | 2022-02-28 | 一种基于多通道反馈胶囊网络的脑电信号分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188370.7A CN114564990B (zh) | 2022-02-28 | 2022-02-28 | 一种基于多通道反馈胶囊网络的脑电信号分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114564990A CN114564990A (zh) | 2022-05-31 |
| CN114564990B true CN114564990B (zh) | 2024-02-20 |
Family
ID=81715336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210188370.7A Active CN114564990B (zh) | 2022-02-28 | 2022-02-28 | 一种基于多通道反馈胶囊网络的脑电信号分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114564990B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115017960B (zh) * | 2022-07-19 | 2024-02-13 | 合肥工业大学 | 一种基于时空联合mlp网络的脑电信号分类方法及应用 |
| CN115130664B (zh) * | 2022-08-30 | 2022-11-08 | 华南师范大学 | 基于胶囊网络模型的脑电信号的情感分析方法以及装置 |
| CN115456016A (zh) * | 2022-09-05 | 2022-12-09 | 大连大学 | 一种基于胶囊网络的运动想象脑电信号识别方法 |
| CN116489236B (zh) * | 2023-06-25 | 2023-09-12 | 中国科学院自动化研究所 | 脑电信号实时无损压缩方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111584032A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于胶囊网络的新型脑控智能康复方法及应用 |
| CN112766355A (zh) * | 2021-01-13 | 2021-05-07 | 合肥工业大学 | 一种标签噪声下的脑电信号情绪识别方法 |
| CN113554110A (zh) * | 2021-07-30 | 2021-10-26 | 合肥工业大学 | 一种基于二值胶囊网络的脑电情绪识别方法 |
| CN113749657A (zh) * | 2021-09-10 | 2021-12-07 | 合肥工业大学 | 一种基于多任务胶囊的脑电情绪识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3098131A1 (en) * | 2018-05-01 | 2019-11-07 | Blackthorn Therapeutics, Inc. | Machine learning-based diagnostic classifier |
| US11696714B2 (en) * | 2019-04-24 | 2023-07-11 | Interaxon Inc. | System and method for brain modelling |
-
2022
- 2022-02-28 CN CN202210188370.7A patent/CN114564990B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111584032A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于胶囊网络的新型脑控智能康复方法及应用 |
| CN112766355A (zh) * | 2021-01-13 | 2021-05-07 | 合肥工业大学 | 一种标签噪声下的脑电信号情绪识别方法 |
| CN113554110A (zh) * | 2021-07-30 | 2021-10-26 | 合肥工业大学 | 一种基于二值胶囊网络的脑电情绪识别方法 |
| CN113749657A (zh) * | 2021-09-10 | 2021-12-07 | 合肥工业大学 | 一种基于多任务胶囊的脑电情绪识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于3D卷积神经网络的IR-BCI脑电视频解码研究;官金安;汪鹭汐;赵瑞娟;李东阁;吴欢;;中南民族大学学报(自然科学版);20191215(04);全文 * |
| 基于卷积神经网络的脑电信号分类;李玉花;柳倩;韦新;程永强;李海芳;;科学技术与工程;20200528(15);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114564990A (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114564990B (zh) | 一种基于多通道反馈胶囊网络的脑电信号分类方法 | |
| Abdelhameed et al. | A deep learning approach for automatic seizure detection in children with epilepsy | |
| JP6998959B2 (ja) | 神経生理学的信号を使用する反復分類のためのシステムと方法 | |
| CN106682616B (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
| Naderi et al. | Analysis and classification of EEG signals using spectral analysis and recurrent neural networks | |
| CN108256629B (zh) | 基于卷积网络和自编码的eeg信号无监督特征学习方法 | |
| CN112766355B (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
| CN114595725B (zh) | 一种基于加法网络和监督对比学习的脑电信号分类方法 | |
| CN110135244B (zh) | 一种基于脑-机协同智能的表情识别方法 | |
| CN111967354B (zh) | 基于肢体和微表情的多模态特征的抑郁倾向识别方法 | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| CN115530788A (zh) | 基于自注意力机制的心律失常分类方法 | |
| Deepthi et al. | An intelligent Alzheimer’s disease prediction using convolutional neural network (CNN) | |
| CN113951883B (zh) | 基于脑电信号情绪识别的性别差异性检测方法 | |
| CN113627391B (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
| CN114781441A (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
| Jamal et al. | Cloud-based human emotion classification model from EEG signals | |
| CN117952964A (zh) | 基于计算机视觉技术的眼底医学影像分析方法 | |
| CN117290730A (zh) | 一种个体情绪识别模型的优化方法 | |
| CN111543985A (zh) | 一种基于新型深度学习模型的脑控混合智能康复方法 | |
| CN114764575B (zh) | 基于深度学习和时序注意力机制的多模态数据分类方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |