CN115577242A - 一种基于注意力机制及神经网络的脑电信号分类方法 - Google Patents
一种基于注意力机制及神经网络的脑电信号分类方法 Download PDFInfo
- Publication number
- CN115577242A CN115577242A CN202211261635.8A CN202211261635A CN115577242A CN 115577242 A CN115577242 A CN 115577242A CN 202211261635 A CN202211261635 A CN 202211261635A CN 115577242 A CN115577242 A CN 115577242A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram signal
- neural network
- method based
- convolution
- classification method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000002123 temporal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于注意力机制及神经网络的脑电信号分类方法，包括注意力模块和特征分类模块，注意力模块接受输入的脑电信号，并利用一个交互的注意力模块提取脑电信号中的空间和时间信息，特征分类模块接受经过重新编码的脑电信号，并对其进行分类。本发明基于上述的一种基于注意力机制及神经网络的脑电信号分类方法，模型结构简单，采用交互的注意力模块，可同时考虑脑电信号的时间和空间两个维度的信息，成功地从脑电信号中提取出判别性的特征，从而实现高精度的分类效果。
Description
技术领域
本发明涉及脑电信号分类技术领域，尤其是涉及一种基于注意力机制及神经网络的脑电信号分类方法。
背景技术
为了提高基于脑电信号的脑机接口***的性能，大量的方法用于实现高精度的脑电信号分类。然而，传统的分类技术，如共空间模式(Common Spatial Pattern,CSP)，线性判别分析(Linear Discriminant Analysis,LDA)等，需要通过手工设计特征且需要具备一定的先验神经生理学知识。随着深度学习的发展，越来越多的技术采用神经网络来分类脑电信号。然而，仅仅采用神经网络无法很好地利用脑电信号中蕴含的丰富的时间和空间的信息，除此之外，以往的注意力模块都是以单独的或先后的方式提取脑电信号的空间和时间维度的信息。所以发明一种直接将空间和时间的信息融合的方法显得尤为关键,考虑到注意力机制能够处理长序列特征之间的相关性，本发明提出一种基于注意力机制及神经网络的脑电信号分类技术，即利用注意力模块及卷积神经网络提取具有判别性的脑电信号并对其进行分类。
发明内容
本发明的目的是提供一种基于注意力机制及神经网络的脑电信号分类方法，解决上述技术存在的在分类脑电信号时难以将空间和时间的信息融合所带来的问题。
为实现上述目的，本发明提供了一种基于注意力机制及神经网络的脑电信号分类方法，包括以下步骤：
S1:通过带通滤波器对脑电信号进行滤波处理；
S2:利用注意力模块对所述脑电信号进行重新编码；
S3:将所述重新编码后的所述脑电信号通过特征分类模块进行分类，并将分类精度作为最终的评价指标。
优选的，所述步骤S3的特征分类模块采用EEGNet的结构。
优选的，所述步骤S3的特征分类模块包括两个卷积模块和一个全连接层。
优选的，所述第一个卷积模块将EEG信号分解为不同的带通频率，并通过深度卷积减少可训练参数的数量，所述第二个卷积块使用可分离卷积，即深度卷积，然后是逐点卷积，从而减少参数数量并解耦特征映射之间的关系。
优选的，所述两个卷积模块之后分别设置池化层。
优选的，所述步骤S2中通过对空间和时间维度的注意力矩阵进行矩阵乘法和残差连接后得到重新编码的脑电信号。
因此，本发明采用上述的一种基于注意力机制及神经网络的脑电信号分类方法，发明一种由注意力模块接受输入的脑电信号，利用一个交互的注意力模块提取脑电信号中的空间和时间信息，由特征分类模块接受经过重新编码的脑电信号，并对其进行分类的方法，从而解决现有技术存在的在分类脑电信号时难以将空间和时间的信息融合所带来的问题。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于注意力机制及神经网络的脑电信号分类方法的注意力模块图；
图2为本发明一种基于注意力机制及神经网络的脑电信号分类方法的特征分类模块图；
图3为本发明一种基于注意力机制及神经网络的脑电信号分类方法的注意力模块详细结构图；
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
实施例
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
一种基于注意力机制及神经网络的脑电信号分类方法，包括以下步骤：
S1:通过带通滤波器对脑电信号进行滤波处理；
S2:利用注意力模块对脑电信号进行重新编码，即通过对空间和时间维度的注意力矩阵进行矩阵乘法和残差连接后得到重新编码的脑电信号，从而保护输入信号的完整性；
S3:将重新编码后的脑电信号通过特征分类模块进行分类，并将分类精度作为最终的评价指标。
步骤S3的特征分类模块采用EEGNet的结构，包括两个卷积模块和一个全连接层，第一个卷积模块将EEG信号分解为不同的带通频率，并通过深度卷积减少可训练参数的数量。该体系结构在采用ELU激活功能之前，沿特征映射维度应用批归一化。第二个卷积块使用可分离卷积，即深度卷积，然后是逐点卷积，以减少参数数量并解耦特征映射之间的关系；且在两个卷积模块之后分别设置池化层，以此来提升神经网络的性能。
在实际工作过程中，给定一段脑电信号A，在注意力模块的作用下，首先将信号输入一个卷积层得到特征B。为了学习脑电信号中的空间和时间信息，在空间维度，通过一个卷积层把B压缩成C，然后对C进行Softmax操作得到空间维度的注意力矩阵；同样，在时间维度，通过卷积层把B压缩成D，然后对D进行Softmax操作得到时间维度的注意力矩阵。接着，对空间维度的注意力矩阵和时间维度的注意力矩阵进行矩阵乘法得到一个融合的时空注意力矩阵E。最后，将E作为权重对原始信号B进行重新编码，并采用残差连接，得到最终的脑电信号F，脑电信号F在特征分类模块的作用下，首先通过第一个卷积模块将EEG信号分解为不同的带通频率，并通过深度卷积减少可训练参数的数量，随后第二个卷积块使用可分离卷积，进行逐点卷积以此来减少参数数量并解耦特征映射之间的关系，最后通过池化层和全连接层从而得高高精度的分类结果。
因此，本发明采用上述一种基于注意力机制及神经网络的脑电信号分类方法，以解决现有技术存在的在分类脑电信号时难以将空间和时间的信息融合所带来的问题。本发明基于上述的一种基于注意力机制及神经网络的脑电信号分类方法，模型结构简单，采用交互的注意力模块，可同时考虑脑电信号的时间和空间两个维度的信息，成功地从脑电信号中提取出判别性的特征，从而实现高精度的分类效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (6)
1.一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：包括以下步骤：
S1:通过带通滤波器对脑电信号进行滤波处理；
S2:利用注意力模块对所述脑电信号进行重新编码；
S3:将所述重新编码后的所述脑电信号通过特征分类模块进行分类，并将分类精度作为最终的评价指标。
2.根据权利要求1所述的一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：所述步骤S3的特征分类模块采用EEGNet的结构。
3.根据权利要求2所述的一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：所述步骤S3的特征分类模块包括两个卷积模块和一个全连接层。
4.根据权利要求3所述的一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：所述第一个卷积模块将EEG信号分解为不同的带通频率，并通过深度卷积减少可训练参数的数量，所述第二个卷积块使用可分离卷积，即深度卷积，然后是逐点卷积，从而减少参数数量并解耦特征映射之间的关系。
5.根据权利要求3所述的一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：所述两个卷积模块之后分别设置池化层。
6.根据权利要求1所述的一种基于注意力机制及神经网络的脑电信号分类方法，其特征在于：所述步骤S2中通过对空间和时间维度的注意力矩阵进行矩阵乘法和残差连接后得到重新编码的脑电信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211261635.8A CN115577242A (zh) | 2022-10-14 | 2022-10-14 | 一种基于注意力机制及神经网络的脑电信号分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211261635.8A CN115577242A (zh) | 2022-10-14 | 2022-10-14 | 一种基于注意力机制及神经网络的脑电信号分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115577242A true CN115577242A (zh) | 2023-01-06 |
Family
ID=84585654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211261635.8A Pending CN115577242A (zh) | 2022-10-14 | 2022-10-14 | 一种基于注意力机制及神经网络的脑电信号分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115577242A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985370A (zh) * | 2020-08-10 | 2020-11-24 | 华南农业大学 | 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法 |
| CN112906780A (zh) * | 2021-02-08 | 2021-06-04 | 中国科学院计算技术研究所 | 一种果蔬图像分类***及方法 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| CN113655884A (zh) * | 2021-08-17 | 2021-11-16 | 河北师范大学 | 设备控制方法、终端及*** |
| CN114067153A (zh) * | 2021-11-02 | 2022-02-18 | 暨南大学 | 基于并行双注意力轻量残差网络的图像分类方法及*** |
| CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
| CN114581341A (zh) * | 2022-03-28 | 2022-06-03 | 杭州师范大学 | 一种基于深度学习的图像风格迁移方法及*** |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
| CN114863236A (zh) * | 2022-05-27 | 2022-08-05 | 浙江中烟工业有限责任公司 | 基于双重注意力机制的图像目标检测方法 |
-
2022
- 2022-10-14 CN CN202211261635.8A patent/CN115577242A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985370A (zh) * | 2020-08-10 | 2020-11-24 | 华南农业大学 | 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法 |
| CN112906780A (zh) * | 2021-02-08 | 2021-06-04 | 中国科学院计算技术研究所 | 一种果蔬图像分类***及方法 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| CN113655884A (zh) * | 2021-08-17 | 2021-11-16 | 河北师范大学 | 设备控制方法、终端及*** |
| CN114067153A (zh) * | 2021-11-02 | 2022-02-18 | 暨南大学 | 基于并行双注意力轻量残差网络的图像分类方法及*** |
| CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
| CN114581341A (zh) * | 2022-03-28 | 2022-06-03 | 杭州师范大学 | 一种基于深度学习的图像风格迁移方法及*** |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
| CN114863236A (zh) * | 2022-05-27 | 2022-08-05 | 浙江中烟工业有限责任公司 | 基于双重注意力机制的图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| LAWHERN VJ ET AL.: "EEGNet: A Compact Convolutional Neural Network for EEG-based Brain-Computer Interfaces", 《ARXIV》, pages 1 - 30 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Shallowing deep networks: Layer-wise pruning based on feature representations | |
| CN109977773B (zh) | 基于多目标检测3d cnn的人体行为识别方法及*** | |
| CN113936339A (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
| CN112668237A (zh) | 一种基于工业互联网云平台的数字孪生模型及其构建方法 | |
| CN110377049B (zh) | 基于脑-机接口的无人机集群编队队形重构控制方法 | |
| CN114190952B (zh) | 一种基于导联分组的12导联心电信号多标签分类方法 | |
| CN114863572B (zh) | 一种多通道异构传感器的肌电手势识别方法 | |
| CN114332573A (zh) | 基于注意力机制的多模态信息融合识别方法及*** | |
| CN115861833A (zh) | 一种基于双分支结构的实时遥感图像云检测方法 | |
| CN117196763A (zh) | 基于时序感知自注意力和对比学习的商品序列推荐方法 | |
| CN115831377A (zh) | 基于icu病历数据的院内死亡风险预测方法 | |
| CN116129507A (zh) | 一种面部表情识别方法及装置、电子设备、存储介质 | |
| CN113516032A (zh) | 基于时域注意力的弱监督监控视频异常行为检测方法 | |
| CN117290730A (zh) | 一种个体情绪识别模型的优化方法 | |
| CN117830788B (zh) | 一种多源信息融合的图像目标检测方法 | |
| CN114782933A (zh) | 基于多模态Transformer网络的驾驶员疲劳检测*** | |
| CN115577242A (zh) | 一种基于注意力机制及神经网络的脑电信号分类方法 | |
| WO2020207252A1 (zh) | 数据存储方法、装置、存储介质及电子设备 | |
| CN113222109A (zh) | 一种基于多源异构数据聚合技术的物联网边缘算法 | |
| CN116503379A (zh) | 基于轻量化改进YOLOv5的零件识别方法 | |
| CN114613016A (zh) | 基于Xception网络改进的手势图像特征提取方法 | |
| CN114550034A (zh) | 一种基于Deep Learning的视频识别技术的*** | |
| CN114170540A (zh) | 一种融合表情和姿态的个体情绪识别方法 | |
| CN112949544A (zh) | 一种基于3d卷积网络的动作时序检测方法 | |
| CN109002863B (zh) | 一种基于紧凑卷积神经网络的图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230106 |