CN114841216B - 一种基于模型不确定性学习的脑电信号分类方法 - Google Patents

Abstract

本发明公开了一种基于模型不确定性学习的脑电信号分类方法，其步骤包括：1，对于原始脑电数据进行预处理，包括数据选择、滑窗切片、发作前期数据上采样和数据输入形状的选择；2，建立Pelee网络的深度学习模型；3，在模型尾部嵌入一个dropout层；4，训练阶段，输入数据并通过交叉熵损失不断优化模型参数，获得最终分类模型用于待测试脑电信号的分类；5,在测试阶段，结合本发明改进的基于连续样本时间信息聚合的蒙特卡洛丢弃采样技术，对待分类的脑电样本进行预测分类。本发明将模型不确定性结合到轻量化的网络(PeleeNet)中，能够显著提升脑电信号分类准确率，从而增加脑电信号在医疗等领域的应用价值。

Description

一种基于模型不确定性学习的脑电信号分类方法

技术领域

本发明涉及脑电信号分类领域，具体的说是一种结合不确定性学习技术的Pelee网络对脑电信号进行预测分类的方法。

背景技术

脑电图(EEG)是一种用于记录大脑电活动的生理学技术。从头皮和颅内脑电图中观察到的神经活动模式来识别和预测生理和心理状态被广泛应用于情绪识别、运动想象、医疗健康等脑机接口领域。使用传统的机器学习方法手动提取的线性或非线性特征，例如自回归系数和李亚普诺指数等，这些传统的方法在严格控制的实验环境下取得了一定的成功。然而，这些手动提取的特征往往需要研究人员具备丰富的专业知识和进行大量的实验尝试。此外，在各种伪迹影响脑电记录的更真实的设置中，手动提取的特征往往只会涵盖部分脑电信息，导致***具有较差的鲁棒性。

深度学习因其出色的泛化能力和强大的自动学习高效特征的能力，激励了它在脑电信号分类预测中被广泛应用。目前，大多数用于脑电信号分类的深度学习方法都会先进行特征的预处理，如短时傅里叶变换、公共空间模式等。这些对原始脑电进行的预处理操作虽然可以获得更加“干净”的数据，但同时也可能会丢失一些重要的信息。近几年使用特征预处理和直接使用原始脑电信号的模型通常具有更复杂的架构和更大的核，导致需要更大的内存资源消耗及计算力。

目前，深度神经网络可以通过输出一组logits将输入信号映射到低维表示空间。然而，这些映射并非完全的精确，与事实相反的情况可能会意外地出现。此外，标准的神经网络只能提供确定性的权重值，而不能提供不确定性的估计，即给定的样本在训练后始终输出相同的类别分数。模型不确定性(认知不确定性)捕捉模型参数的不确定性，并且可以通过增加训练样本来减少。然而，由于数据采集的高成本，脑电状态的分类一直面临训练数据不足的挑战。

发明内容

本发明为克服以上所述不足之处，提出一种基于模型不确定性学习的脑电信号分类方法，以期能从原始脑电信号中自动提取高效特征，从能够显著提升脑电信号分类准确率，并增加脑电信号在医疗等领域的应用价值。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于模型不确定性学习的脑电信号分类方法的特点是按如下步骤进行：

步骤1、获取带有标注类别信息的脑电信号数据集，并对所述脑电信号数据集中的原始脑电信号进行通道数据选择，得到C个通道的脑电信号，再通过滑动窗对所述C个通道的脑电信号进行切片，并重新构建切片后的脑电信号的输入形状，从而得到N段总时长为T的脑电信号样本，记为训练样本集X＝{X₁,X₂,...,X_i,...,X_N}，并将所述训练样本X的标签集Y＝{Y₁,Y₂,...,Y_i,...,Y_N}；其中，X_i∈R^C×W×S表示输入形状重建后的第i段脑电信号样本，C表示脑电信号的通道数，W表示滑动窗的长度，S表示脑电信号的每秒采样率；Y_i为第i段脑电信号样本X_i所对应的标签；

步骤2、建立基于模型不确定性学习的Pelee网络，包含：Stem块、M₂路第二稠密连接模块、转换模块；

Stem块包括：步长为s且卷积核为k×k的第一卷积层、一组卷积核为1×k和k×1的不对称卷积块、M₁路第一稠密连接模块；其中，M₁路分支的第一稠密连接模块包括：1×1卷积层、步长为s的最大池化层、步长为d且卷积核为k×k的第二卷积层；

M₂路稠密连接模块包括：步长为d且卷积核为1×1卷积层、三组相同的卷积核为1×k和k×1的不对称卷积块；

转换模块包括：步长为s且卷积核为1×1的卷积层、dropout层、全局平均池化层及Softmax层。

步骤2.1、对Pelee网络中所有卷积核的权重使用xavier_uniform_初始化；

步骤2.2、将所述输入形状重建后的第i段脑电信号样本X_i∈R^C×W×S输入所述Pelee网络中，并经过所述Stem块中M₁个分支路径的并行初步特征提取和下采样降维后，得到第i段脑电信号样本X_i的第一特征序列其中，/>表示第M₁个分支路径输出的特征图，M₁表示所述Stem块中的分支路径个数；

步骤2.3、所述特第一征序列F_i ¹经过所述M₂路第二稠密连接模块进行不同尺度的特征提取，得到M₂路第二稠密分支路径输出的第二特征序列表示第M₂路第二稠密分支路径输出的特征图，M₂表示第二稠密连接模块中的第二稠密分支路径个数；

步骤2.4、所述第二特征序列F_i ²经过一个1×1的卷积层，得到输出特征序列F_i ³；所述dropout层对输出特征序列F_i ³随机丢弃冗余特征后，得到提炼后的特征序列F_i ⁴，再通过全局平均池化层的压缩处理后，得到第i段的脑电信号样本X_i的样本类别分数o_i，最后经过所述Softmax层输出第i段的脑电信号样本X_i对应的类别概率值，并作为最终的分类结果；

步骤3、模型训练：

本发明采用留一交叉验证来评估模型性能基于训练集，基于所述训练样本X及其标签集Y，采用交叉熵作为损失函数，并利用ADAM优化器对所述Pelee网络进行训练，并计算所述损失函数梯度用于更新网络参数，直到达到最大迭代次数或损失函数收敛为止，从而得到训练好的脑电信号分类模型；

步骤4、模型校准：

采集的待预测的第i段脑电样本及后续的D-i段脑电样本/>并按照步骤1的过程进行预处理，得到预处理后的待预测的D段脑电样本；

将预处理后的待预测的D段脑电样本分别输入训练好的脑电信号分类模型中进行预测，得到对应的D个类别概率值，对D个类别概率值取均值后作为待预测的第i段脑电样本类别概率值。

本发明所述的基于模型不确定性学习的脑电信号分类方法的特点也在于，所述步骤2.2中的Stem块；

所述第i段输入形状的脑电信号样本X_i∈R^C×W×S输入所述Stem块中，先经过所述第一卷积层进行第一层的局部特征提取和降维处理后，得到所述第一层特征图F_i′；

一组不对称卷积块对所述第一层特征图F_i′进行感受野的增大后，再提取语义特征，并获得第二层的局部特征图F_i″；

所述第二层的局部特征图F_i″再分别经过并行的M₁路第一稠密连接模块，得到M₁个不同特征层次的特征图后再进行通道维上的拼接，从而得到拼接特征序列

与现有技术相比，本发明的有益效果在于：

1、本发明提出了一种新的轻量级端到端并结合蒙特卡洛丢弃技术的脑电信号状态分类框架，针对脑电图解码，改良了Pelee网络的结构设计，包括：Stem块、多路稠密连接模块和转换模块。其中，Stem块用来提取脑电信号的高效特征，多路稠密连接模块被用于多尺度信息提取，丰富提取的细节特征，转换模块用于剔除部分冗余特征，从而实现了更出色的脑电状态分类。

2、针对脑电编码数据的连续性特性，本发明模拟蒙特卡洛丢弃采样进一步提出了基于连续脑电样本的时间聚合采样策略。在测试阶段，通过对连续样本之间的时间信息聚合，进一步增强深度神经网络模型在脑电状态分类中的可靠性，从而显著提升了模型泛化性能并降低了脑电状态分类的误报率。

附图说明

图1为本发明网络结构示意图；

图2为本发明中滑窗分析示意图；

图3为本发明蒙特卡洛丢弃方法的采样过程示意图；

图4为本发明改进的蒙特卡洛丢弃策略采样过程示意图。

具体实施方式

本实施例中，一种基于模型不确定性学***衡，改进的蒙特卡洛丢弃技术利用短时间内脑电样本之间具有极大相似性特性，结合了连续样本的时间信息，通过dropout层对连续多段的样本进行一次预测平均得到校准后的分类模型，如图1所示，具体的说，该方法是按如下步骤进行：

步骤1、获取带有标注类别信息的脑电信号数据集，并对脑电信号数据集中的原始脑电信号进行通道数据选择，得到C个通道的脑电信号，再通过滑动窗(如图2所示)对C个通道的脑电信号进行切片，并重新构建切片后的脑电信号的输入形状，从而得到N段总时长为T的脑电信号样本，记为训练样本集X＝{X₁,X₂,...,X_i,...,X_N}，并将训练样本X的标签集Y＝{Y₁,Y₂,...,Y_i,...,Y_N}；其中，X_i∈R^C×W×S表示输入形状重建后的第i段脑电信号样本，C表示脑电信号的通道数，W表示滑动窗的长度，S表示脑电信号的每秒采样率；Y_i为第i段脑电信号样本X_i所对应的标签，在本实例中，取通道数为22，滑动窗长为8s，脑电信号每秒采样率为256HZ；本方法使用了两个公开的脑电数据集：CHB-MIT和Kaggle；

步骤2、建立基于模型不确定性学习的Pelee网络模型，包括：Stem块、两路稠密连接模块和转换模块；

如图1所示，Stem块包括：步长为2且卷积核为3×3的第一卷积层、一组步长为1且卷积核为1×3和3×1组成的不对称卷积块、三路分支的稠密连接模块；其中，三路分支的稠密连接模块包括：1×1卷积层、步长为2的最大池化层、步长为2且卷积核为3×3的第二卷积层；

两路稠密连接模块包括：步长为1且卷积核为1×1卷积层、三组相同的步长为1的1×3和3×1的不对称卷积块；

转换模块包括：步长为1且卷积核为1×1的卷积层、dropout层、全局平均池化层及Softmax层。

步骤2.1、对模型参数进行初始化：

对Pelee网络中所有卷积核的权重使用xavier_uniform_初始化；

步骤2.2、将输入形状重建后的第i段脑电信号样本X_i∈R^C×W×S输入Pelee网络中，并经过Stem块中3个分支路径的并行初步特征提取和下采样降维后，得到第i段脑电信号样本X_i的第一特征序列在本发明中结构设计如下：采用第一卷积层降维并提取数据的初步特征F₁′，接着使用一组不对称卷积块进一步增大输入脑电样本的感受野，提取更广泛的语义特征，得到输出特征图F₁″。输出特征图F₁″分别从步长为2的1×1卷积层的分支路径得到对应特征序列F_i1 ¹，最大池化层和步长为1的1×1卷积层串联的分支路径获得特征序列F_i2 ¹以及步长为1的1×1卷积层与第二卷积层串联的分支路径得到特征序列F_i3 ¹。三个不同分支路径用于数据降维并提取不同细节特征，在通道维上拼接得到特征序列F_i ¹，计算如式(1)所示：

式(1)中，f_ac表示一组步长为1的1×3和3×1的不对称卷积块操作，代表标准的3×3卷积操作，/>表示步长为2的1×1的卷积操作，/>表示步长为1的1×1卷积操作，/>指步长为2的最大池化操作，f_cat表示拼接操作。

步骤2.3、第一特征序列F_i ¹经过两路稠密连接模块从3个不同深度层次的感受野提取丰富的多层次的特征信息，得到具体实施如下：由Stem块得到的特征F_i ¹应用1×1卷积层增强非线性特征表达能力后得到输出特征图F_i1 ¹。得到后，分别从1×1卷积层与一组不对称卷积块串联的分支路径提取输出特征图F_i1 ¹信息得到特征图F_i2 ¹，从1×1卷积层与连续两组不对称卷积块串联的分支路径提取输出特征图F_i1 ¹信息得到特征图F_i3 ¹。通过稠密连接将的三路特征进行拼接得到特征图F_i ²，计算如式(2)所示：

步骤2.4、第二特征序列F_i ²经过内嵌有dropout层的转换模块的处理后，输出待预测的第i段脑电信号样本的类别概率值，从而得到最终的分类结果；

具体实施如下：第二特征序列F_i ²经过一个1×1的卷积层，得到输出特征序列F_i ³，用dropout层随机丢弃冗余特征，得到提炼的特征序列F_i ⁴，通过全局平均池化层压缩输出特征，得到第i段的脑电信号样本X_i的样本类别分数o_i，最后经过Softmax层输出对应的类别概率值，计算过程如式(3)所示：

P(Y_i ^*＝c|X_i ^*,X,Y)＝Softmax(o_i), (3)

步骤3、模型训练：

本发明采用留一交叉验证的方式来评估模型性能基于训练集。具体来说，对于一段包含T小时的间期状态数据和M次脑电前期状态标记的数据，整段脑电信号的间期状态数据就会被分成M个片段，每个片段包含个小时的间期脑电数据。然后，每个片段的间期状态数据和M个脑电前期状态标记的数据进行随机组合，得到M对发作前期和发作间期的片段组合。在每一次实验中，一个片段组合用作测试集，剩余的M-1个片段用作训练集。进行M次训练来确保所有片段组合都参与实验。模型训练阶段，采用交叉熵作为损失函数，并利用ADAM优化器对Pelee网络进行训练，并计算损失函数梯度用于更新网络参数，直到达到最大迭代次数或损失函数收敛为止，从而得到训练好的脑电信号分类模型；本实例中批量尺寸设置为64，ADAM优化器的初始学习率设置为0.004。此外，应用了早停技术，当验证误差持续6个训练周期不降，则模型训练停止，得到最终分类模型；

步骤4、模型校准：

测试集中的待预测的第i段脑电样本按照步骤1的过程进行预处理后，输入到训练好的脑电信号分类模型中进行预测分类，如图3所示，标准的蒙特卡洛丢弃技术(MCD)对样本/>先后进行T次预测。具体实施如下：脑电样本/>的第t次预测通过Stem块和两路稠密连接模块，输出第二特征序列/>经过转换模块中1×1的卷积层得到输出特征序列F_it ³。通过dropout层随机丢弃特征序列F_it ³中冗余特征得到特征序列F_it ⁴，再经过全局平均池化层压缩特征，得到第i段的脑电信号样本/>的样本类别分数o_it，最后通过Softmax层得到/>对应的类别概率。平均这T次预测获得校准后的脑电信号分类，计算如式(4)所示：

蒙特卡洛丢弃方法中，dropout层的丢弃率选择对性能有着重要的影响，表1为本发明应用几种常见丢弃率后的预测性能，因此本实例中采用丢弃率为0.2。

表1不同丢弃率下结合MCD方法的平均预测性能

脑电信号在短时间内倾向于信息一致性，具有极大的信息相似性。因此，测试集中待预测的第i段，其中，i的取值如式(6)所示；脑电样本及后续的D-i段脑电样本按照步骤1的过程进行预处理后，改进的蒙特卡洛丢弃策略(MMCD)只对预处理后得到的待预测的D段脑电样本每个预测1次，每次通过dropout层进行一次模型权重的随机丢弃，从而得到对应的D个类别概率值{P_i1,P_i2,...,P_iD}，对D个类别概率值取均值后作为待预测的第i段脑电样本/>类别概率值，计算过程如式(7)所示：

改进后蒙特卡洛丢弃策略的预测过程如图4所示。本实施例中，使用dropout率为0.2，聚合样本数D为3。

本发明中的两种不确定性学***衡模型预测性能的重要指标，随机分类器AUC值为0.5，完美分类器则可以达到为1的AUC值；p值可以衡量模型是否优于随机分类器，当p值(p-value)小于0.05，表明在0.05的显著度下，本发明模型明显优于随机分类器。表2和表3分别展示了本发明应用两种不确定性学习技术的Pelee模型和CNN模型，在CHB-MIT数据集上和Kaggle数据集上的性能。实验表明，本发明提出的结合不确定性学习的Pelee网络明显提升了分类预测性能，验证了提出方法的有效性，进一步说明该方法使得模型对受试者有更好的识别能力和更强的泛化性能。此外，通过对蒙特卡洛丢弃法和改进的蒙特卡洛丢弃策略的实验对比，后者在测试阶段不仅比前者快上十倍(T＝20)，还兼具更优的模型性能。

表2 CHB-MIT数据库上基线模型对脑电信号分类的平均性能

表3 Kaggle数据库上基线模型对脑电信号分类的平均性能

综上所述，本发明充分利用原始EEG信号所含有的丰富脑电信息，使用高效的Stem块提取出丰富的特征信息，结合蒙特卡洛丢弃技术提升模型的可靠性和预测性能。Pelee网络结合改进的蒙特卡洛丢弃策略可以进一步提升模型的可信度并极大提升模型在测试阶段的预测速度，达到更快更精确的脑电信号分类效果，在公开数据集CHB-MIT和Kaggle上的二分类测试中，在准确率几乎不下降的前提下有效提升了模型性能，并降低了发作间期类中的错误报警次数。

Claims (2)

1.一种基于模型不确定性学习的脑电信号分类方法，其特征是按如下步骤进行：

步骤1、获取带有标注类别信息的脑电信号数据集，并对所述脑电信号数据集中的原始脑电信号进行通道数据选择，得到C个通道的脑电信号，再通过滑动窗对所述C个通道的脑电信号进行切片，并重新构建切片后的脑电信号的输入形状，从而得到N段总时长为T的脑电信号样本，记为训练样本集X＝{X₁,X₂,...,X_i,...,X_N}，并将所述训练样本X的标签集Y＝{Y₁,Y₂,...,Y_i,...,Y_N}；其中，X_i∈R^C×W×S表示输入形状重建后的第i段脑电信号样本，C表示脑电信号的通道数，W表示滑动窗的长度，S表示脑电信号的每秒采样率；Y_i为第i段脑电信号样本X_i所对应的标签；

步骤2、建立基于模型不确定性学习的Pelee网络，包含：Stem块、M₂路第二稠密连接模块、转换模块；

Stem块包括：步长为s且卷积核为k×k的第一卷积层、一组卷积核为1×k和k×1的不对称卷积块、M₁路第一稠密连接模块；其中，M₁路分支的第一稠密连接模块包括：1×1卷积层、步长为s的最大池化层、步长为d且卷积核为k×k的第二卷积层；

M₂路稠密连接模块包括：步长为d且卷积核为1×1卷积层、三组相同的卷积核为1×k和k×1的不对称卷积块；

转换模块包括：步长为s且卷积核为1×1的卷积层、dropout层、全局平均池化层及Softmax层；

步骤2.1、对Pelee网络中所有卷积核的权重使用xavier_uniform_初始化；

步骤2.2、将所述输入形状重建后的第i段脑电信号样本X_i∈R^C×W×S输入所述Pelee网络中，并经过所述Stem块中M₁个分支路径的并行初步特征提取和下采样降维后，得到第i段脑电信号样本X_i的第一特征序列其中，/>表示第M₁个分支路径输出的特征图，M₁表示所述Stem块中的分支路径个数；

步骤2.3、所述特第一征序列F_i ¹经过所述M₂路第二稠密连接模块进行不同尺度的特征提取，得到M₂路第二稠密分支路径输出的第二特征序列 表示第M₂路第二稠密分支路径输出的特征图，M₂表示第二稠密连接模块中的第二稠密分支路径个数；

步骤2.4、所述第二特征序列F_i ²经过一个1×1的卷积层，得到输出特征序列F_i ³；所述dropout层对输出特征序列F_i ³随机丢弃冗余特征后，得到提炼后的特征序列F_i ⁴，再通过全局平均池化层的压缩处理后，得到第i段的脑电信号样本X_i的样本类别分数o_i，最后经过所述Softmax层输出第i段的脑电信号样本X_i对应的类别概率值，并作为最终的分类结果；

步骤3、模型训练：

本发明采用留一交叉验证来评估模型性能基于训练集，基于所述训练样本X及其标签集Y，采用交叉熵作为损失函数，并利用ADAM优化器对所述Pelee网络进行训练，并计算所述损失函数梯度用于更新网络参数，直到达到最大迭代次数或损失函数收敛为止，从而得到训练好的脑电信号分类模型；

步骤4、模型校准：

采集的待预测的第i段脑电样本及后续的D-i段脑电样本/>并按照步骤1的过程进行预处理，得到预处理后的待预测的D段脑电样本；

将预处理后的待预测的D段脑电样本分别输入训练好的脑电信号分类模型中进行预测，得到对应的D个类别概率值，对D个类别概率值取均值后作为待预测的第i段脑电样本类别概率值。

2.根据权利要求1所述的基于模型不确定性学习的脑电信号分类方法，其特征在于，所述步骤2.2中的Stem块；

所述第i段输入形状的脑电信号样本X_i∈R^C×W×S输入所述Stem块中，先经过所述第一卷积层进行第一层的局部特征提取和降维处理后，得到所述第一层特征图F_i′；

一组不对称卷积块对所述第一层特征图F_i′进行感受野的增大后，再提取语义特征，并获得第二层的局部特征图F_i″；

所述第二层的局部特征图F_i″再分别经过并行的M₁路第一稠密连接模块，得到M₁个不同特征层次的特征图后再进行通道维上的拼接，从而得到拼接特征序列