CN117520891A - 一种运动想象脑电信号分类方法及*** - Google Patents
一种运动想象脑电信号分类方法及*** Download PDFInfo
- Publication number
- CN117520891A CN117520891A CN202311487339.4A CN202311487339A CN117520891A CN 117520891 A CN117520891 A CN 117520891A CN 202311487339 A CN202311487339 A CN 202311487339A CN 117520891 A CN117520891 A CN 117520891A
- Authority
- CN
- China
- Prior art keywords
- classification
- eegnet
- loss
- source domain
- domain data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 25
- 235000014653 Carica parviflora Nutrition 0.000 claims description 33
- 241000243321 Cnidaria Species 0.000 claims description 33
- 238000012546 transfer Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 23
- 238000013508 migration Methods 0.000 abstract description 15
- 230000005012 migration Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 3
- 238000013526 transfer learning Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种运动想象脑电信号分类方法及***，涉及人工智能、模式识别领域，首先对EEGNet结构进行改进得到I mproved‑EEGNet模型，然后在Improved‑EEGNet模型的全连接层后面引入源域特征和目标域特征的相关性对齐损失，联合源域数据的分类损失训练分类模型，减小源域特征和目标域特征之间的偏移，利用源域数据标签帮助目标域训练分类模型；本发明针对运动想象脑电信号分类领域存在的训练时间长、跨被试分类效果差的问题，提出了一种基于Improved‑EEGNet模型的迁移学习算法，利用源域信息帮助目标域训练一个可靠的分类模型。
Description
技术领域
本发明属于人工智能、模式识别领域，尤其涉及一种运动想象脑电信号分类方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
脑机接口(Brain-Computer Interface,BCI)是一种在人脑和外部设备之间建立的通信***，它可以采集、分析和识别人脑的神经信号，并将其转换为控制指令控制机械手、轮椅等外部设备进行运动。随着计算机技术、信号处理以及人工智能等学科的发展，脑机接口已经被广泛地应用于医疗康复、疲劳检测、军事国防等多个领域。
一个完整的BCI***包括脑电信号采集、预处理、特征提取、模式识别和控制外部设备等五个部分，脑电信号采集设备中，非侵入式设备被广泛应用；预处理部分可以去除一些干扰和噪声信号，提高信噪比；特征提取算法包括共空间模式算法，小波变换，模糊熵等；利用特征向量和样本标签就可以进行分类器的训练，常用的分类器包括支持向量机、线性判别分析、决策树等；然后将模式识别得到的结果转换为控制指令控制外部设备进行运动。
运动想象是一种被广泛应用的BCI范式，当被试者想象执行或实际执行某种动作时，大脑皮层对应的区域会被激活，产生事件相关去同步(Event-RelatedDesynchronization,ERD)现象，没有进行运动想象的区域会产生事件相关同步(Event-related Synchronization,ERS)现象。ERD/ERS现象主要发生在运动想象脑电信号的μ节律和β节律。
目前有一些成熟的算法可以对运动想象脑电信号进行精准解码，这些算法大多采用有监督学***稳性和随机性等特点，导致不同被试或者同一被试在不同时期的脑电数据分布有很大差异，因此新的用户在使用脑机接口之前，需要执行长时间的训练任务，以建立一个可靠的分类模型，这对于用户，尤其是对于需要进行医疗康复的患者来说，是一种巨大的负担。
因此，现有的运动想象脑电信号分类方法，需要长时间的训练过程和大量的训练样本，不适用于需要进行医疗康复的患者，适应面有限。
发明内容
为克服上述现有技术的不足，针对运动想象脑电信号分类领域存在的训练时间长，跨被试分类效果差的问题，本发明提供了一种运动想象脑电信号分类方法及***，设计了一种基于Improved-EEGNet模型的迁移学习算法实现源域信息的有效迁移，从而利用源域信息帮助目标域训练一个可靠的分类模型，达到减少目标域被试训练样本数量，缩短目标域被试训练时间的效果，本发明将此算法命名为Improved-EEGNet-transfer。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种运动想象脑电信号分类方法。
一种运动想象脑电信号分类方法，包括：
获取待分类的目标域运动想象脑电信号；
利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域数据和目标域数据的相关性对齐损失，利用相关性对齐损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，利用源域数据标签帮助目标域训练分类模型。
进一步的，所述预处理，包括使用带通滤波器对脑电信号进行带通滤波和利用公共平均参考去除脑电信号的伪迹。
进一步的，所述在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层，具体为：将EEGNet神经网络的一层时间卷积层、一层空间卷积层改进为两层时间卷积层、两层空间卷积层。
进一步的，所述相关性对齐损失，定义为源域特征和目标域特征的二阶统计量之间的距离：
其中，代表矩阵Frobenius范数的平方，CS和CT代表源域和目标域的特征协方差矩阵，d代表源域和目标域的特征的维度数。
进一步的，所述相关性对齐损失，相对于输入特征的梯度，使用链式法则来计算，如下所示：
其中，和/>是源域数据DT和目标域数据DT经过映射函数ψ(DS)和ψ(DT)得到的d维特征，ψ表示Improved-EEGNet中间所有特征提取层的总的表示，/>代表第i个源域数据的第j个维度，/>代表第i个目标域数据的第j个维度，CS和CT代表源域和目标域的特征协方差矩阵。
进一步的，所述Improved-EEGNet-transfer算法使用相关性对齐损失和源域数据的分类损失联合训练分类模型，损失函数为：
L＝LCLASS+λLCORAL
其中，LCLASS代表源域数据的分类损失，LCORAL代表相关性对齐损失，λ是一个可调参数，调节分类损失与相关性对齐损失的重要性。
进一步的，所述Improved-EEGNet-transfer算法，基于源域数据集DS和目标域数据集DT，进行以下迭代学习：
从源域数据集DS、目标域数据集DT中分别随机获取预设个数的源域数据和目标域数据，其中，源域数据集DS由带标签的源域数据组成，目标域数据集DT由不带标签的目标域数据组成；
将带标签的源域数据输入到分类模型中，计算分类损失，并得到源域特征；
将不带标签的目标域数据输入到分类模型中，得到目标域特征，结合源域特征，计算相关性对齐损失；
基于分类损失和相关性对齐损失，计算总损失，使用反向传播算法计算梯度并更新模型的参数，直到达到迭代次数。
本发明第二方面提供了一种运动想象脑电信号分类***。
一种运动想象脑电信号分类***，包括获取模块和分类模块：
获取模块，被配置为：获取待分类的目标域运动想象脑电信号；
分类模块，被配置为：利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域数据和目标域数据的相关性对齐损失，利用相关性对齐损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，进而利用源域数据标签帮助目标域训练分类模型。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种运动想象脑电信号分类方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种运动想象脑电信号分类方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明提出了一种基于Improved-EEGNet的迁移学习算法实现源域信息的有效迁移，从而利用源域信息帮助目标域训练一个可靠的分类模型；该算法首先对EEGNet模型做出了优化，在EEGNet模型的基础上增加了一个时间卷积层和一个空间卷积层，得到Improved-EEGNet模型，从而能够提取到更加复杂的特征；然后在Improved-EEGNet模型的基础上设计迁移学习算法，具体地，本发明在Improved-EEGNet模型的全连接层后面增加源域特征和目标域特征的相关性对齐损失，对齐源域数据和目标域数据深层特征的二阶统计量，相关性对齐损失结合源域数据的分类损失联合训练，最终的特征具有良好的可分性，并且能很好地应用到目标域中，从而提高运动想象脑电信号跨被试分类准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第一个实施例预处理过程中使用的8-30Hz带通滤波图；
图3为第一个实施例EEGNet的网络结构图；
图4为第一个实施例EEGNet与Improved-EEGNet框架对比图；
图5为第一个实施例Improved-EEGNet模型结构及参数共享示意图；
图6为第一个实施例EEGNet不加迁移学习分类准确率柱状图；
图7为第一个实施例Improved-EEGNet不加迁移学习分类准确率柱状图；
图8为第一个实施例三种算法跨被试分类时的准确率对比图；
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如何减少训练BCI***所需的样本数量，缩短BCI***的训练时间，成为一个重要的研究方向，迁移学习可以有效地解决这类问题，迁移学习可以利用源域的知识帮助目标域训练分类模型；本实施例设计了一种基于Improved-EEGNet模型的迁移学习算法实现源域信息的有效迁移，并将此算法命名为Improved-EEGNet-transfer算法，从而利用源域信息帮助目标域训练一个可靠的分类模型，如图1所示，基于上述分类模型的运动想象脑电信号分类方法，包括如下步骤：
步骤S1：获取待分类的目标域运动想象脑电信号；
步骤S2：利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域数据和目标域数据的CORAL(CORrelation ALignment)损失，即相关性对齐损失，利用CORAL损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，进而利用源域数据标签帮助目标域训练分类模型。
下面对分类模型的构建和算法训练过程进行详细说明，为了解决BCI领域存在的训练时间长，跨被试分类效果差的问题，本实施例设计了一种基于Improved-EEGNet模型的单源域无监督迁移学习算法，用来训练跨被试分类性能良好的分类模型，首先针对EEGNet时间域和空间域特征提取能力较差的问题，在EEGNet模型的基础上增加了一个时间卷积层和一个空间卷积层，得到Improved-EEGNet模型；其次通过在Improved-EEGNet模型的全连接层后面，计算源域特征和目标域特征的CORAL损失，并将CORAL损失和源域数据的分类损失联合训练，减小源域特征和目标域特征之间的偏移，从而有效利用源域标签进行模型的训练；最后将训练好的模型应用到目标域测试集，得到模型在目标域测试集上的分类准确率，具体步骤如下：
步骤1：对源域和目标域的两类运动想象脑电信号进行预处理，得到预处理后的源域数据DS和目标域数据DT。
本实施例使用的数据集为BCI Competition III DataSets IVa，该数据集来自五名健康受试者aa、al、av、aw和ay，采集到的有效脑电信号为118通道，电极位置按照扩展的国际10-20标准进行放置，采样率为1000Hz，该数据集也提供了降采样为100Hz的原始脑电数据；本实施例研究的是该数据集提供的右手和右脚二分类任务的脑电信号，为了减少计算的复杂度，本实施例选用了118通道中的64个通道进行分析；
预处理过程首先是带通滤波，本实施例使用的数据集是基于运动想象范式采集的脑电信号，与运动想象有关的大脑皮层对应区域的ERD/ERS现象主要发生在脑电信号的μ节律和β节律，对应的频段分别为8-12Hz和13-28Hz.因此首先使用8-30Hz的FIR滤波器对原始脑电信号进行带通滤波，如图2所示，横轴代表频率，纵轴代表信号强度；其次，由于脑电信号幅值微弱，易受干扰，而且被试者在采集过程中不可避免的会出现眨眼，运动等动作，因此脑电信号中经常会掺杂一些伪迹，比如眼电，肌电等，本实施例在预处理过程中利用公共平均参考去除脑电信号的伪迹。
步骤2：对EEGNet网络结构进行改进。
本发明对EEGNet的结构做出了改进，在EEGNet模型的基础上增加了一个时间卷积层和一个空间卷积层，得到Improved-EEGNet模型，旨在提取到更深层、更全面、更复杂的特征，提升模型复杂度和拟合能力。
EEGNet是Vernon J.Lawhern等人提出的一种适用于多种BCI范式的紧凑型卷积神经网络，由于EEGNet模型结构简单，时间域和空间域特征提取能力较差，本实施例首先对EEGNet模型进行改进，旨在提取到更加全面、更加复杂的特征。EEGNet的具体结构如图3所示，EEGNet网络的输入Input是维度为N×T的运动想象脑电信号，其中，N为脑电信号的通道数目，T为采样点数。
第一层为二维卷积层Conv2D，即时间卷积层，卷积核的大小为1×(fs/2)，其中，fs为脑电信号的采样频率，该二维卷积层对原始脑电信号进行逐行时间卷积，如下式所示：
yj＝f((X*Wj)+bj)
其中，yj代表第j个特征图，f(·)代表激活函数，X代表输入信号，Wj代表第j个卷积核的参数矩阵，bj代表第j个卷积核的偏差值。这里用的是ELU激活函数。
第二层是一个深度卷积层DepthwiseConv2D，即空间卷积层，卷积核大小为N×1，如下式所示：
yj,h＝f(∑j(Xj*Wj,h)+bj,h)
其中，h代表深度卷积的深度，f(·)代表激活函数，yj,h代表第j个卷积核对应的深度为h的输出，Xj代表输入的第j个特征图，Wj,h代表第j个深度为h的卷积核的参数，bj,h代表第j个深度为h的卷积核的偏差值。
中间层为深度分离卷积，该层有两层卷积过程，分别为深度卷积和点卷积，上一层输出的特征图首先经过深度卷积过程，进一步提取时域特征，再经历下式所示的点卷积过程：
yj＝f((∑i(Xi*Wj)+bj))
最后一层为输出层，主要进行全连接与输出分类类别的操作。
本发明对EEGNet模型的结构进行了改进，在EEGNet模型的基础上增加了一个时间卷积层和一个空间卷积层，得到Improved-EEGNet模型，EEGNet模型的框架以及Improved-EEGNet模型的框架对比如图4所示，将一层时间卷积层、一层空间卷积层改进为两层时间卷积层、两层空间卷积层，旨在提取到更深层、更全面、更复杂的特征，提升模型复杂度和拟合能力。
步骤3：在Improved-EEGNet神经网络的全连接层的后面，计算源域特征和目标域特征的CORAL损失，并将CORAL损失和源域数据的分类损失加权求和得到联合损失。
首先定义单一特征层上两个域之间的CORAL损失，通过CORAL损失实现源域特征和目标域特征的对齐；假设给定源域数据集及对应的源域标签集目标域数据集/> 源域和目标域样本数量分别为nS和nT，假设/>和/> 是输入DS和DT经过映射函数ψ(DS)和ψ(DT)得到的d维特征，ψ表示Improved-EEGNet中间所有特征提取层的总的表示，/>代表第i个源域数据的第j个维度，/>代表第i个目标域数据的第j个维度，CS和CT代表源域和目标域的特征协方差矩阵，将CORAL损失定义为源域特征和目标域特征的二阶统计量(协方差)之间的距离：
其中，代表矩阵Frobenius范数的平方，源域和目标域的协方差矩阵由下式计算：
其中，1代表所有元素全为1的列向量。
CORAL损失相对于输入特征的梯度可以使用链式法则来计算，如下所示：
不使用迁移学习的神经网络通常会最小化分类损失，得到一个与真实值拟合效果较好的分类模型，单独最小化CORAL损失又会导致特征退化；将CORAL损失和源域数据的分类损失联合训练得到的特征具有良好的可分性并且在目标域上表现良好，因此本实施例定义Improved-EEGNet-transfer算法的损失函数为：
L＝LCLASS+λLCORAL
其中，LcLASS代表分类损失，LCORAL代表CORAL损失，λ是一个可调参数，调节分类损失与CORAL损失的重要性，这两个损失相互配合，在训练过程结束后，最终的特征具有良好的可分性且能够很好的应用到目标域中。
步骤4：将源域带标签EEG数据DS和目标域不带标签EEG数据DT，输入到Improved-EEGNet模型中利用Improved-EEGNet-transfer算法进行迁移学习模型的训练。Improved-EEGNet-transfer算法如表1所示：
表1Improved-EEGNet-transfer算法
Improved-EEGNet-transfer算法的迭代过程具体为：
从源域数据集DS、目标域数据集DT中分别随机获取预设个数的源域数据和目标域数据；
将带标签的源域数据输入到Improved-EEGNet分类模型中，计算分类损失，并得到源域特征；
将不带标签的目标域数据输入到Improved-EEGNet分类模型中，得到目标域特征，结合源域特征，计算CORAL损失；
基于分类损失和CORAL损失，计算总损失，使用反向传播算法计算梯度并更新模型的参数，直到达到迭代次数。
其中，计算分类损失和CORAL损失的过程中，如图5所示，模型对应层之间共享模型结构及参数，即计算分类损失的模型结构及参数与计算CORAL损失的模型结构及参数相同。
步骤5：将训练好的模型应用到目标域测试集上，得到分类准确率，作为模型性能评价指标。
为了验证Improved-EEGNet分类模型相对于EEGNet分类模型性能的提升作用以及基于CORAL损失的迁移学习算法的效果，本实施例设计三组实验进行对照。
第一组是EEGNet与Improved-EEGNet分类性能的对比，该组实验的训练集和测试集服从同一分布，即不需要进行迁移学习的场景；设置该组实验的目的是验证Improved-EEGNet相对于EEGNet对分类准确率的提升作用。从而证明本发明所提出的Improved-EEGNet模型的优越性。为了验证不同训练样本量时的分类效果，将训练集样本trail的数目分别定为24、36、48、60、72、96、120、140等几种情况，对应的测试集样本trail的数目分别为256、244、232、220、208、184、160、140，训练集占比分别对应为8.6％、12.9％、17.1％、21.4％、25.7％、34.3％、42.9％、50％；实验结果如表2、表3、图6、图7所示。
第二组是EEGNet模型直接跨被试分类效果与EEGNet结合CORAL损失的迁移学习算法跨被试分类效果对比，目的是验证CORAL损失在跨被试迁移学习情景下的作用。在此组实验中，目标被试和辅助被试的训练数据都是140个trail，测试数据为目标被试没有参与训练的140个trail。实验结果如表4、表5、图8所示。
第三组是EEGNet直接跨被试分类、EEGNet结合CORAL损失迁移学习分类、以及Improved-EEGNet-transfer算法迁移学习分类三种方法的对比，这三种算法依次命名为算法1、算法2、算法3，该组实验的目的是验证本实施例提出的基于Improved-EEGNet模型结合CORAL损失的迁移学习算法在运动想象脑电信号跨被试分类领域的优越性能，训练数据与测试数据的划分方法与第二组实验相同。实验结果如图8所示。
本实施例研究的是运动想象脑电数据的迁移学习问题，因此对数据集中的五个被试，每个被试轮流作为目标被试，目标被试的运动想象脑电数据没有标签，其他四个被试依次作为辅助被试，辅助被试的运动想象脑电数据带有标签，本实施例使用的迁移学习方法是单源域无监督迁移学习方法，因此每次只能选择一个辅助被试；本实施例所使用的算法性能的评价指标为正确率，即测试集上预测正确的trail(样本)数目占测试集所有trail(样本)数目的比例，实验结果如表2-表6，图6-图8所示。
实验结果表明本发明提出的Improved-EEGNet-transfer算法相对于EEGNet直接跨被试分类准确率提升了8.98％，可以实现源域信息的有效迁移，从而在一定程度上解决目前运动想象脑机接口领域存在的跨被试识别准确率低的问题。
表2 EEGNet分类准确率
表3 Improved-EEGNet分类准确率
表4 EEGNet跨被试分类准确率
表5 EEGNet结合CORAL损失迁移学习准确率
表6 Improved-EEGNet结合CORAL损失迁移学习准确率
实施例二
在一个或多个实施例中，公开了一种运动想象脑电信号分类***，包括获取模块和分类模块：
获取模块，被配置为：获取待分类的目标域运动想象脑电信号；
分类模块，被配置为：利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域特征和目标域特征的CORAL损失，用CORAL损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，进而利用源域数据标签帮助目标域训练分类模型。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种运动想象脑电信号分类方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种运动想象脑电信号分类方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种运动想象脑电信号分类方法，其特征在于，包括：
获取待分类的目标域运动想象脑电信号；
利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域数据和目标域数据的相关性对齐损失，用相关性对齐损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，进而利用源域数据标签帮助目标域训练分类模型。
2.如权利要求1所述的一种运动想象脑电信号分类方法，其特征在于，所述预处理，包括使用带通滤波器对脑电信号进行带通滤波和利用公共平均参考去除脑电信号的伪迹。
3.如权利要求1所述的一种运动想象脑电信号分类方法，其特征在于，所述在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层，具体为：将EEGNet神经网络的一层时间卷积层、一层空间卷积层改进为两层时间卷积层、两层空间卷积层。
4.如权利要求1所述的一种运动想象脑电信号分类方法，其特征在于，所述相关性对齐损失，定义为源域特征和目标域特征的二阶统计量之间的距离：
其中，代表矩阵Frobenius范数的平方，Cs和CT代表源域和目标域的特征协方差矩阵，d代表源域和目标域的特征的维度数。
5.如权利要求4所述的一种运动想象脑电信号分类方法，其特征在于，所述相关性对齐损失，相对于输入特征的梯度，使用链式法则来计算，如下所示：
其中，和/>是输入源域数据DS和目标域数据DT经过映射函数ψ(DS)和ψ(DT)得到的d维特征，ψ表示Improved-EEGNet中间所有特征提取层的总的表示，/>代表第i个源域数据的第j个维度，/>代表第i个目标域数据的第j个维度，CS和CT代表源域和目标域的特征协方差矩阵。
6.如权利要求1所述的一种运动想象脑电信号分类方法，其特征在于，所述Improved-EEGNet-transfer算法使用相关性对齐损失和源域数据的分类损失联合训练分类模型，损失函数为：
L＝LCLASS+λLCORAL
其中，LCLASS代表源域数据分类损失，LCORAL代表相关性对齐损失，λ是一个可调参数，调节分类损失与相关性对齐损失的重要性。
7.如权利要求1所述的一种运动想象脑电信号分类方法，其特征在于，所述Improved-EEGNet-transfer算法，基于源域数据集DS和目标域数据集DT，进行以下迭代学习：
从源域数据集DS、目标域数据集DT中分别随机获取预设个数的源域数据和目标域数据，其中，源域数据集DS由带标签的源域数据组成，目标域数据集DT由不带标签的目标域数据组成；
将带标签的源域数据输入到分类模型中，计算分类损失，并得到源域特征；
将不带标签的目标域数据输入到分类模型中，得到目标域特征，结合源域特征，计算相关性对齐损失；
基于分类损失和相关性对齐损失，计算总损失，使用反向传播算法计算梯度并更新模型的参数，直到达到迭代次数。
8.一种运动想象脑电信号分类***，其特征在于，包括获取模块和分类模块：
获取模块，被配置为：获取待分类的目标域运动想象脑电信号；
分类模块，被配置为：利用通过Improved-EEGNet-transfer算法训练好的分类模型，对预处理后的目标域运动想象脑电信号进行分类，得到并输出分类结果；
其中，所述分类模型，是在EEGNet神经网络上增加一个时间卷积层和一个空间卷积层得到的，即Improved-EEGNet模型，所述Improved-EEGNet-transfer算法引入源域数据和目标域数据的相关性对齐损失，用相关性对齐损失和源域数据的分类损失联合训练分类模型，形成具有良好可分性的特征，并减小源域特征和目标域特征之间的偏移，进而利用源域数据标签帮助目标域训练分类模型。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311487339.4A CN117520891A (zh) | 2023-11-08 | 2023-11-08 | 一种运动想象脑电信号分类方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311487339.4A CN117520891A (zh) | 2023-11-08 | 2023-11-08 | 一种运动想象脑电信号分类方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117520891A true CN117520891A (zh) | 2024-02-06 |
Family
ID=89760100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311487339.4A Pending CN117520891A (zh) | 2023-11-08 | 2023-11-08 | 一种运动想象脑电信号分类方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520891A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117725490A (zh) * | 2024-02-08 | 2024-03-19 | 山东大学 | 跨被试被动式音高感知eeg自动分类方法及*** |
| CN117892183A (zh) * | 2024-03-14 | 2024-04-16 | 南京邮电大学 | 一种基于可靠迁移学习的脑电信号识别方法及*** |
-
2023
- 2023-11-08 CN CN202311487339.4A patent/CN117520891A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117725490A (zh) * | 2024-02-08 | 2024-03-19 | 山东大学 | 跨被试被动式音高感知eeg自动分类方法及*** |
| CN117725490B (zh) * | 2024-02-08 | 2024-04-26 | 山东大学 | 跨被试被动式音高感知eeg自动分类方法及*** |
| CN117892183A (zh) * | 2024-03-14 | 2024-04-16 | 南京邮电大学 | 一种基于可靠迁移学习的脑电信号识别方法及*** |
| CN117892183B (zh) * | 2024-03-14 | 2024-06-04 | 南京邮电大学 | 一种基于可靠迁移学习的脑电信号识别方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111012336B (zh) | 时空特征融合的并行卷积网络运动想象脑电图分类方法 | |
| CN112120694B (zh) | 一种基于神经网络的运动想象脑电信号分类方法 | |
| CN117520891A (zh) | 一种运动想象脑电信号分类方法及*** | |
| Miao et al. | A spatial-frequency-temporal optimized feature sparse representation-based classification method for motor imagery EEG pattern recognition | |
| CN114266276B (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
| CN109598222B (zh) | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN112515685A (zh) | 基于时频共融的多通道脑电信号通道选择方法 | |
| CN109325586B (zh) | 一种用于脑电信号去噪的*** | |
| Pan et al. | MAtt: A manifold attention network for EEG decoding | |
| CN113536882B (zh) | 一种多类运动想象脑电信号特征提取及分类方法 | |
| CN112528834B (zh) | 子带目标对齐共空间模式的脑电信号跨被试分类方法 | |
| CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| Janapati et al. | Towards a more theory-driven BCI using source reconstructed dynamics of EEG time-series | |
| CN112890827A (zh) | 一种基于图卷积和门控循环单元的脑电识别方法及*** | |
| Fauzi et al. | Channel selection for common spatial pattern Based on energy calculation of motor imagery EEG signal | |
| CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
| Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
| CN116919422A (zh) | 基于图卷积的多特征情感脑电识别模型建立方法及装置 | |
| CN117195099A (zh) | 一种融合多尺度特征的脑电信号情感识别算法 | |
| CN111543985A (zh) | 一种基于新型深度学习模型的脑控混合智能康复方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
| CN109685031A (zh) | 一种脑机接口中脑电信号特征分类方法及*** | |
| CN115105093A (zh) | 基于功率谱密度预确定频率带的eeg信号分类识别方法 | |
| Sun et al. | Partitioned Common Spatial Pattern Method for single trial EEG Signal classification in Brain-Computer Interface System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |