CN110069958B - 一种密集深度卷积神经网络的脑电信号快速识别方法 - Google Patents

Abstract

本发明提出一种密集深度卷积神经网络对脑电信号(EEG)的快速识别方法，结合运动想象脑电信号具有时间和空间特征的特点，在卷积神经网络中使用特征连接的方法，设计一种适用于运动想象脑电信号的卷积神经网络。本发明设计的卷积神经网络可以同时提取时间、空间的特征，又将不同卷积层之间的输出相互连接，减少了权值的数量，达到抗过拟合和特征重用的目的。首先将滤波、重采样后的原始数据输入密集深度卷积神经网络，接着通过反向传播与随机梯度下降算法更新网络每一层的参数，最后测试网络，将测试数据输入训练好的网络，对输出结果进行分析。与2017年提出的Shallow ConvNet方法相比，本发明在信号识别准确率和kappa值上提高了5％和0.066。

Description

一种密集深度卷积神经网络的脑电信号快速识别方法

技术领域

本发明涉及原始脑电信号的快速识别、适用于脑电信号的卷积神经网络的设计、模式分类及深度学习，属于信号处理和模式识别技术领域。

背景技术

脑机接口(brain-computer interface，BCI)技术可以在人脑和外部设备之间建立连接，达到不依赖人体肌肉与外部环境进行交流和控制的目的。BCI技术主要处理过程包括记录大脑活动，脑电(Electroencephalogram，EEG)信号处理，信号识别，然后根据识别结果控制外部设备。目前，适用于BCI的脑电信号类型有很多种如P300，稳态视觉诱发电位和运动想象等。P300是由偶然出现的小概率闪烁信号诱发的脑电信号，视觉诱发电位的刺激是以一个固定频率出现的闪烁画面，而运动想象信号只需受试者想象执行某个部位的动作，无需真正执行，运动想象脑电信号具有易采集、无须外界刺激、可实现异步通信等特点，所以运动想象脑电信号成为目前应用最多的EEG信号类型之一。

对于运动想象脑电信号的特征提取，共空间模式(common spatial pattern，CSP)的方法比较常用，但是该算法的特征提取效果依赖于算法指定的频率带宽范围。在此基础上提出的滤波器组共空间模式算法(Filter Bank Common Spatial Pattern，FBCSP)设计了滤波器组，扩大了频率范围，对每个滤波器都使用CSP算法，再从滤波器组的输出中选取可用的特征，该算法在BCIIV datasets 2a数据集上取得了准确率为68％的分类效果。但FBCSP算法仍需要先验知识来设计各个频率带宽的范围，需要人工提取特征后再进行分类，然而大脑信号非常复杂，很多采集的信号还没有找到明确的意义，手动提取特征会造成信息的损失。

近年来，随着深度学***均池化等操作可以得到输入的原始运动想象信号属于每个类别的概率，是一种端到端的自动识别方法。端到端指卷积神经网络不需要任何先验知识，从原始运动想象脑电信号中学习得到特征，直接得到最终分类结果。在BCIIV2a数据集上使用Shallow ConvNet结构，准确率达到72％，比传统的FBCSP方法高出5％，可见使用卷积神经网络可以明显提高运动想象脑电信号的识别准确率。但是该模型的准确率仍不高，因为使用的卷积层只有两层，而直接加深模型又会导致过拟合严重，所以无法提取更深层的特征。本发明研究如何结合运动想象脑电信号的特征，调整模型的连接方式和超参数，在加深模型深度的同时避免加重过拟合，提高运动想象脑电信号识别准确率。

发明内容

本发明在Shallow ConvNet基础上，提出一种密集深度卷积神经网络。本发明在BCIIV2a数据集上测试得到77％的准确率，与Shallow ConvNet网络在BCIIV2a数据集上得到72％的准确率相比，本发明的准确率仍高出5％，可见本发明对运动想象脑电信号识别准确率有明显提高。与Shallow ConvNet相比本发明提出的密集连接方法将中间卷积层的输入输出特征图相连接作为下一层的输入，这样两个卷积层产生的特征图都可以直接传递到下一层，在不增加参数量的情况下充分利用了中间层的特征，所以使得本发明提出的模型准确率更高。

本发明设计了一种密集深度卷积神经网络，实现对原始运动想象脑电信号的端到端识别，包括如下步骤：

⑴对脑电信号进行三阶带通0-40hz滤波，过滤掉一些信号采集时的噪声或者其它无关的成分；

⑵对滤波后的信号重采样，原因是输入卷积神经网络的数据长度需要保持一致，要保证相同时间长度下的数据量相同，所以需要对不同采样频率的数据采样至同一频率；

⑶从以上预处理过的数据中截取固定长度的事件，并获取其对应的标签；

⑷设计密集深度卷积神经网络，与常规卷积神经网络采用连续的卷积、池化操作不同，本发明设计的密集卷积神经网络，将中间两个卷积层的输入输出特征图相连接后作为下一层的输入；

⑸训练密集深度卷积神经网络。采用平方误差函数作为损失函数计算预测值与标签的误差，通过反向传播与随机梯度下降算法更新网络每一层的参数，至准确率收敛到某个值，或出现准确率下降时，停止训练；

⑹测试密集深度卷积神经网络，网络的参数不再改变，输入测试数据以及标签，对输出结果进行分析。

上述步骤⑷的具体步骤如下：

①数据输入层：输入数据的格式为四维数组n×m×990×22，数组各个维度意义为样本数×特征图数×采样点数×通道数；

②时间卷积层：对数据进行时间维度的卷积操作，卷积核大小为11×1，产生25个特征图；

③空间卷积层：为减小数据维度，对数据进行空间卷积，把所有通道映射到一个特征图中，卷积核大小为22×1，卷积后进入激活函数，特征图个数仍为25；

④池化层：输入为上层激活函数的输出，池化核大小为3×1，步长为3；

⑤特征连接层：池化后的数据先进入两个连续的卷积池化层，第一个卷积核大小为1×1，个数为200，第二个卷积核大小为11×1，个数为50，将第二个卷积层激活后的50个输出特征图与第一个卷积层的25个输入特征图相连接，所以输出一共有75个特征图；

⑥池化层：操作同④；

⑦网络最后两层是全连接层和输出层，全连接层将上层池化后的输出展开为一维数据，标签有四类，所以输出层有四个神经元，输出结果为输入数据属于各个类别的概率值。

需要注意的是网络的每一次卷积操作后都对数据进行一次批正则化操作再输入激活函数，Ioffe等证明在深度神经网络中使用批正则化操作可以明显减少迭代次数，同时减少每次迭代需要的计算时间。

上述步骤⑸具体操作如下：

①从BCIIV2a数据集的训练集中分离20％作为验证集，剩下80％作为训练集，而测试集不变；

②第一次训练，首先在训练集上迭代训练，然后在验证集上测试。当在验证集上的测试准确率不再变化或者出现准确率下降时停止训练，记录下此时在验证集上表现最好的准确率，并保存该模型。经过多次实验，发现该数据集迭代次数达到1000次后模型准确率已不在变化，所以对于BCIIV2a数据集，最大迭代次数设为1000；

③第二次训练，将训练集和验证集混合在一起作为新的训练集，在验证集上测试。在新的训练集上继续训练，在原来验证集上测试，直至在验证集上的准确率高于②记录的值并且不再变化为止，或者达到1000次迭代次数后停止训练；

④第二次训练结束后将模型保存，输入测试数据和标签，记录测试结果。

本发明所提供的面向运动想象脑电信号快速识别方法的优点包括：

①原始脑电信号数据只需滤波、重采样这些简单操作即可用于训练神经网络，是一种端到端的方法，不需要对信号进行时频分析，也不需要先验知识来手动挑选特征，从而避免了信息损失；

②与Shallow ConvNet模型相比，本发明提出的密集卷积神经网络层数更多，可以提取更深层的特征；

③本发明提出了特征连接层，将中间卷积层的输入输出连接起来再传递到下一层，不仅有效解决梯度消失问题，而且支持特征重用，没有增加参数数量，在数据量小时可以有效抑制过拟合；

④模型泛化能力强，根据数据集的不同，只需改变输入输出层的参数，微调其它层的一些超参数，即可应用到类似的运动想象脑电信号数据集。

附图说明

图1为本发明提出的密集深度卷积神经网络结构图。

图2为本发明的数据处理、训练和测试过程流程图。

图3为Shallow ConvNet在BCIIV 2a上的分类结果混淆矩阵。

图4为本发明的网络在BCIIV 2a上的分类结果混淆矩阵。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。本发明主要利用卷积神经网络的权值共享与局部感受野思想，将中间层输出特征图的通道相连接来提高识别准确率。卷积神经网络每个神经元对不同的特征图进行卷积时采用相同的卷积核，将大大减少权重参数量，而在卷积操作后，让卷积的输入输出相连接，实现特征的重复利用，这样在卷积后只产生非常少的新特征图，达到降低冗余性的目的。本发明的密集深度卷积神经网络使用随机梯度下降方法对误差进行反向传播，调整卷积核的权重，最后通过全连接和线性分类层得到输入数据属于每个类别的概率。

本发明的卷积神经网络特征提取分类方法，具体包括以下步骤：

⑴获取数据。本发明的数据来源于2008年柏林BCI研究组提供的数据集BCICompetition IV Dataset2a。该数据集共9组，分别采集自9名健康的受试者，分为训练数据和测试数据两部分。对于每个受试者，执行左手、右手、脚、舌四类运动想象；

⑵数据预处理，采样频率为100Hz，使用Scipy库滤波器工具箱中的3阶Butterworth滤波器，设为0-40hz的带通滤波器，过滤掉高频信号以及部分噪声；

⑶设计密集深度卷积神经网络，网络结构可参照图1。第一层为输入层，输入数据为990×22，22代表22个通道，990为采样点个数。第二层为时间卷积层，对数据进行时间维度的卷积操作，卷积核大小为11×1，产生25个特征图。第三层为空间卷积层，卷积核大小为22×1，通过Relu激活函数后，得到25个特征图。第四层是池化层，池化范围是3×1，池化方式采用最大池化，步长为3。接着是特征连接层，先是1×1卷积层，卷积核个数是200，然后是11×1卷积层，卷积核个数是50，经过特征连接进入池化层。网络最后两层是全连接和线性分类层，数据标签有四类，所以全连接后有四个输出单元，输出结果为输入数据属于各个类别的概率值；

⑷训练密集深度卷积神经网络；

本发明的网络采用平方误差代价函数作为评判，公式如下：

其中N代表样本个数，c代表样本类数，

表示第n个样本对应标签的第k维，

表示第n个样本对应网络输出的第k个输出。

第一层为数据输入层，输入数据格式固定，没有需要训练的参数。

第二层为时间卷积层，每次输入一个批次的样本，用大小为11×1，步长为1并且随机初始化的25个卷积核对输入图像进行卷积，得到25个特征图，该层没有偏置和激活函数，公式如下：

其中，

为第l层的第j个特征图，M_j为输入的特征图集合，

是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核。

第三层为空间卷积层，输入为上层卷积后的输出，卷积核大小为22×1，输入和输出特征图个数均为25，但该层有激活函数，无偏置项，公式如下：

其中

为第l层的第j个特征图，M_j为输入的特征图集合，

为本层选用的卷积核，f为激活函数Relu函数，即f(x)＝max(0，x)。

第四层为池化层，大小为3×1，步长为3，输入为25个特征图，池化不改变特征图个数，所以也会得到25个输出特征图，公式如下：

其中，

为第l-1层的第j个特征图，

为第l层偏置，f是池化层的激活函数，这里无激活函数，所以f＝f(x)。其中down()表示一个下采样函数，这里是将相邻3个像素值取最大一个，所以下采样函数为max()。

第五层为特征连接层，该层包括两层卷积层，第一个卷积层的输入为池化后的25个特征图,采用1×1大小的卷积核，步长为1进行卷积，产生200个特征图，再通过relu函数激活进入下一卷积层。第二个卷积核大小为11×1，步长为1，输入为200个特征图，输出为50个特征图，relu激活后将第二个卷积的50个输出特征图和第一个卷积输入的25个特征图相连接作为新的输出特征图，公式如下：

x_l＝H_l([x₀,x₁]) (5)

其中H_l(·)表示特征连接操作，x₀为特征连接层第一个卷积的输入，x₁为特征连接层第二个卷积的输出。

第六层为池化层，输入为特征连接后的特征图，池化大小为3×1，步长为3，同第四层操作。

第七层为全连接层，其将上层的特征图展开并全连接，转化为一维数据。

最后为输出层，通过sigmoid激活函数输出需要的分类结果。

⑸各层误差的计算及传播；

①对于最后的输出层,可以直接算出网络产生的激活值与实际值之间的误差，公式如下：

其中第n_l层表示输出层，

表示输出层未经过激活函数的权重加权，h_w,b(x)表示输出结果，y表示标准输出，

表示n_l层的第i个输出，

表示求导。

②对于l＝n₁-1,n₁-2,n₁-3,···,2各层误差，通用公式为：

其中w^l+1为第l+1层的权重，δ^(l+1)为第l+1层计算的误差，符号

表示每个元素相乘，f′(u^l)表示对该层的输出u^l求导。

如果第l层为卷积层，该层下层为池化层，池化层的一个像素对应卷积层的输出图的一块3×1大小的像素，那么就出现大小不匹配现象，因此需要将池化层进行上采样，公式为：

其中up(·)表示上采样操作，

表示第l+1层权重，δ^(l+1)为第l+1层计算的误差。

如果第l层为下采样层，第l+1层为卷积层则公式为：

其中conv2为卷积实现函数，rot180表示将卷积核翻转180度。

⑹计算最终需要的偏导数，并更新权重参数，使用公式为；

其中

表示旧的权值，

为新的权值，η是学习率。

表示旧的偏置，

为新的偏置。

①对于卷积层，权重更新公式为：

其中

是

在做卷积时，与k_ij做卷积的每一个patch，(u,v)是patch中心，输出特征图中(u,v)位置的值是由输入特征图中(u,v)位置的patch和卷积核k_ij卷积所得的值。

②对于池化层，权重更新公式为：

其中

⑺测试网络，加入测试数据以及真实标签，将输出结果与真实标签比较，得到输出结果的混淆矩阵对模型进行分析。

本发明的效果可以通过实验结果进一步说明。实验的测试数据采用BCI竞赛的官方数据BCIIV2a。该数据集一共有九个受试者，每个受试者均有训练集和测试集。数据的标签有四类，分别为左手、右手、脚以及舌的运动想象。每一类标签对应数据有72个样本，所以一个受试者的训练集和测试集分别有288个样本。图3和图4是使用Shallow ConvNet和本发明的方法分类得到的混淆矩阵。根据图3计算得到ShallowConvNet的准确率为72％，kappa值为0.632，根据图4计算本发明的准确率为77％，kappa值0.698。本发明的方法与ShallowConvNet相比较，本发明提出的密集深度卷积神经网络识别准确率高出5％，kappa值高出0.066，可见本发明对运动想象脑电信号分类效果明显提升。

Claims (3)

1.一种密集深度卷积神经网络的运动想象脑电信号快速识别方法，其特征在于包括：

A)把运动想象脑电信号输入密集连接型深度卷积神经网络，其中所述密集连接型深度卷积神经网络包括：

作为第一层的输入层，其输入数据为22个通道990个采样点的990×22数据，

作为第二层的时间卷积层，其对数据进行时间维度的卷积操作，卷积核大小为11×1，产生25个特征图，

作为第三层的空间卷积层，其卷积核大小为22×1，用于通过Relu激活函数后，得到25个特征图，

作为第四层的第一池化层，池化范围是3×1，池化方式采用最大池化，步长为3，

第一池化层之后的特征连接层的输出进入第二池化层，

第二池化层，

第二池化层之后的全连接层，

全连接层之后的线性分类层，数据标签有四个类别，全连接后有四个输出单元，输出结果为输入数据属于各个类别的概率值，

其中：

时间卷积层每次输入一个批次的样本，用大小为11×1，步长为1并且随机初始化的25个卷积核对输入图像进行卷积，得到25个特征图，该层没有偏置和激活函数，公式如下：

其中，

为第l层的第j个特征图，M_j为输入的特征图集合，

是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核，

空间卷积层的输入为时间卷积层的输出，卷积核大小为22×1，输入和输出特征图个数均为25，该层有激活函数，无偏置项，公式如下：

其中

为第l层的第j个特征图，M_j为输入的特征图集合，

为本层选用的卷积核，f为激活函数Relu函数，即f(x)＝max(0,x)，

第一池化层的输入为25个特征图，池化不改变特征图个数，得到25个输出特征图，公式如下：

其中，

为第l-1层的第j个特征图，

为第l层偏置，f是池化层的激活函数，这里无激活函数，所以f＝f(x)，其中down(·)表示一个下采样函数，这里是将相邻3个像素值取最大一个，所以下采样函数为max(·)，

特征连接层包括两个卷积层，其中：第一个卷积层的输入为第一池化层池化后的25个特征图，采用1×1大小的卷积核和步长1进行卷积，产生200个特征图，再通过relu函数激活进入第二个卷积层；第二个卷积层的卷积核大小为11×1，步长为1，其输入为第一个卷积层输出的200个特征图，其输出为50个特征图，第二个卷积的50个输出特征图经relu激活后和第一个卷积输入的25个特征图相连接作为新的输出特征图，公式如下：

x_l＝H_l([x₀,x₁]) (5)

其中H_l(·)表示拼接操作，x₀为第一个卷积的输入，x₁为第二个卷积的输出，

第二池化层的输入为上述拼接后的所述新的输出特征图，池化大小为3×1，步长为3，

全连接层其将第二池化层输出的特征图展开并全连接，转化为一维数据，

线性分类层通过sigmoid激活函数输出输入数据属于各个类别的概率值，

B)计算和传播各层的误差，包括：

①对于最后的输出层直接算出网络的各层产生的激活值与实际值之间的误差，公式如下：

其中第n_l层表示输出层，

表示输出层的未经过激活函数的权重，h_w,b(x)表示输出结果，y表示标准输出，

表示输出层的第i个输出，

表示求导，

②对于l＝n₁-1,n₁-2,n₁-3,…,2各层误差，通用公式为：

其中w^l+1为第l+1层的权重，δ^l+1为第l+1层计算的误差，符号·表示每个元素相乘，f′(u^l)表示对该层的输出u^l求导，

当第l层为卷积层时，该层的下层为池化层，池化层的一个像素对应卷积层的输出图的一块像素(3×1)，则为了消除大小不匹配现象，将池化层进行上采样，公式为：

其中up(·)表示上采样操作，

表示第l+1层权重，δ^(l+1)为第l+1层计算的误差，

当第l层为下采样层时，第l+1层为卷积层，则误差公式为：

其中conv2为卷积实现函数，rot180表示将卷积核翻转180度，

C)更新权重参数，使用公式为：

其中

表示旧的权值，

为新的权值，η是学习率，

表示旧的偏置，

为新的偏置，

其中：

①对于卷积层，权重更新公式为：

其中

是

在做卷积时，与k_ij做卷积的每一个patch，(u,v)是patch中心，输出特征图中(u,v)位置的值是由输入特征图中(u,v)位置的patch和卷积核k_ij卷积所得的值,

②对于池化层，权重更新公式为：

其中

2.根据权利要求1所述的密集深度卷积神经网络的运动想象脑电信号快速识别方法，其特征在于在所述步骤A之前进行如下操作：对原始获取的运动想象脑电信号进行三阶带通0-40hz滤波，获取运动想象脑电信号与运动想象相关较大的频带的信号分量；

对滤波后的信号分量进行重采样，把不同采样频率的数据采样至同一频率，以使输入卷积神经网络的数据长度保持一致，保证相同时间长度下的数据量相同；

从以上预处理过的数据中截取固定长度的事件，并获取其对应的标签，作为输入输入密集连接型深度卷积神经网络的运动想象脑电信号。

3.根据权利要求1所述的密集深度卷积神经网络的运动想象脑电信号快速识别方法，其特征在于：

数据标签的所述四个类别分别为左手、右手、脚以及舌的运动想象。

Images