CN112001306A - 基于深度卷积对抗生成神经网络的脑电信号解码方法 - Google Patents

Abstract

一种基于深度卷积对抗生成神经网络的脑电信号解码方法，首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号；然后再通过整合卷积神经分类网络和对抗生成网络，利用对抗生成网络对小样本脑电数据进行数据增强，再将增强后的数据放入卷积神经分类网络中，进行分类，实现解码；本发明将卷积神经分类网络和对抗生成网络的结构优势进行结合，构克服了神经网络处理小样本数据存在的缺陷，有效地解决了非平稳、非线性信号处理过程中存在的问题，提高了自发性脑电信号解码精度；同时，本发明为脑电信号数据增强提供了新的解决方法，为以后实际操作过程减少校准时间和提高分类模型泛化能力提供了新思路。

Description

基于深度卷积对抗生成神经网络的脑电信号解码方法

技术领域

本发明属于生物信息技术领域，具体涉及一种基于深度卷积对抗生成神经网络的脑电信号解码方法。

背景技术

运动想象思维活动，是一种运动意图的思维仿真而无真实的运动输出的思维方式，即大脑对整个运动过程进行想象而无实际的肌肉收缩，在神经生理学领域真实运动与运动想象有极大的相似性。脑-机接口(BCI)实质上是一套实现人和外部设备通信的人机接口***，它不依赖于正常的***神经肌肉通道，而是将脑电信号作为大脑意图的载体与外界进行交互。所以，在实际应用中，基于运动想象的脑机接口技术常常用来智能交互和辅助应用上。

在这个过程中，如何有效地提取脑电信号的特征和识别出受试者的运动意图，是这项任务的关键所在。但是脑电信号具有信噪比低、噪声干扰大，且具有强的非线性和非平稳性，而且，由于个体之间的生理差异，不同受试者的脑电信号在时域和频域上，会产生较大的差异。所以，传统的信号处理算法，难以有效地提取大脑活动意图。

近些年，深度神经网络在对图像、语音、自然文本语言特征分类的应用上取得了良好的效果，由于其分层特征表达能力和自适应特征学习能力，该方法有效降低了信息处理环节中的误差，能有效地提取和归纳特征，并降低了冗余信息对模式识别的干扰，是一种处理脑电信号的理想模型。但是，深度神经网络是一种数据依赖型的处理方法，没有大量数据的支撑，神经网络则易产生过拟合，从而不具备良好的泛化能力。在实际操作中，由于脑电实验对被试选择的限制，对实验时间的限制，以及操作复杂度等因素，导致脑电信号数据难以成规模、大批量的被收集到，所以，利用深度学习框架对脑电信号解码势必会产生小样本数据的问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于深度卷积对抗生成神经网络的脑电信号解码方法，提高了自发性脑电信号解码精度。

为了达到上述目的，本发明所采取的技术方案是：

一种基于深度卷积对抗生成神经网络的脑电信号解码方法，首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号；然后再通过整合卷积神经分类网络和对抗生成网络，利用对抗生成网络对小样本脑电数据进行数据增强，再将增强后的数据放入卷积神经分类网络中，进行分类，实现解码。

一种基于深度卷积对抗生成神经网络的脑电信号解码方法，包括以下步骤：

1)脑电信号预处理：采用BCI Competition Dataset 2b的运动想象脑电信号作为分析对象，首先，将采集到n导联脑电信号通过巴特沃斯四阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1,2，···N}，然后，再利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；

2)搭建深度卷积对抗生成网络DCGAN：对抗生成网络是利用两个网络之间的竞争达到动态平衡，最终学习到目标数据的统计分布；生成网络通过初始化一个随机的噪声向量p_z，通过拟合可微函数逼近G(z；θ_G)来学习目标参数X的分布P_x；判别网络通过设置一个可微函数逼近器D(z；θ_G)来预测输入的变量来自真正的目标数据分布P_x而不是来自于生成函数；优化目标是，判别网络使生成样本预测标签与真实样本的标签之间均方误差最小，而生成网络通过训练使log(1-D(x；θ_G))，所以生成对抗网络的优化问题表述为：

Min_GMax_DV(D，G)＝E_x～p(x)[logD(x；θ_G)]+E_z～p(z)[log(1-D(x；θ_G))]

其中，Min_GMax_DV(D，G)是真实样本预测标签与生成样本预测标签的均方误差，E_x～p(x)[logD(x；θ_G)]是生成网络的均方值，对抗网络的均方值用E_z～p(z)[log(1-D(x；θ_G))表示；

一维时序信号经过短时傅里叶变换后的二维时频信号，将作为对抗生成网络的输入；对抗生成网络包括两个部分，一部分是判别网络，一部分是生成网络；生成网络的输入是一个初始化的一维随机向量，生成网络由四个反卷积层组成，四层的大小分别为：8*8*1024,16*16*521,32*32*256,64*64*128，输出是二维图像矩阵大小为128*128*3；生成网络的输出就是对抗网络的输入，对抗网络由四层卷积层组成，四层的大小分别为64*64*128，32*32*256,16*16*521,8*8*1024,输出是一个表示类别的一维向量；为了加速对抗网络的训练过程和收敛速度，在对抗网络中加入了BatchNorm算法；

3)搭建卷积神经分类网络CNN:卷积神经分类网络CNN由两个卷积层、两个池化层、两个全连接层以及输入和输出层组成；卷积神经分类网络CNN的输入为经短时傅里叶变换后的脑电时频图像信号，中间层为交替堆叠的卷积层和池化层，两个全连接层用来将中间层提取的特征进行非线性映射，最终输出类别信息；其中，卷积核大小为3*3，最大池化的核函数为2*2，两个全连接层大小分比为，3648*1和100*1；卷积神经分类网络CNN的输出y_i通过以下步骤计算得到：

首先，通过卷积操作逐层提取特征：

其中，

表示第l层第j个特征映射，

是由

与卷积核

相乘加上偏置

得到；

然后，将提取的特征传递到池化层，实现对数据和参数的压缩：

其中，j和k代表当前特征图的位置，s则为池的大小，X为输入样本，m和n分别代表步长，所有特征通过RELU激活函数进行映射；

f(a)＝RELU(a)＝ln(1+e^a)

其中，a代表被激活对象，中间层输出的结果将映射到两个全连接层，从而将图像特征转化为多尺度特征；

x_i代表特征图y_i代表输出可能的概率分布，w_i，j为当前激活权重，b_j为j位置所对应的偏置；

4)深度卷积对抗生成网络与卷积神经分类网络模型训练：

首先，利用对抗生成网络，学***衡后，输出生成的脑电信号；然后，将真实的脑电信号和生成的脑电信号，同时放入卷积神经分类网络模型中训练，得到分类模型；

对抗生成网络与卷积神经分类网络都采用交叉熵损失函数作为优化目标，利用“Adam”为优化器，参数设置如下：

Learningrate＝2e-4,Batch size＝128,Train epoch＝20；

对抗生成网络的训练集为真实的脑电时频图，输入为一维随机噪声向量，输出为生成的二维脑电时频图；

卷积神经分类网络的训练集为真实的二维脑电信号与生成的脑电信号，测试集为真实的二维脑电信号；采用交叉熵损失函数作为优化目标，利用“SGD”为优化器，参数设置如下：

Learningrate＝1e-4,Batch size＝64，Train epoch＝20；

交叉熵损失函数作为优化目标，利用误差反向传播来减小网络计算的误差，其表示如下：

为预测的概率分布，y表示真实的概率分布。

深度卷积对抗生成网络与卷积神经分类网络模型的性能评估：为了验证对抗生成网络数据增强的性能，采用Frechet Inception Distance(FID)指标来计算生成图片与真实图片的差异，从而筛选出有效的生成数据：

其中，Tr表示对角线上元素的总和，均值为μ，协方差为Σ，x表示真实图片，g是生成图片；

为了验证卷积神经分类网络的分类效果，采用平均分类精度和Kappa系数作为结果衡量的指标。

本发明的有益效果为：

本发明将卷积神经分类网络和对抗生成网络的结构优势进行结合，构建了基于卷深度卷积对抗生成网络的脑电解码方法，克服了神经网络处理小样本数据存在的缺陷，有效地解决了非平稳、非线性信号处理过程中存在的问题，提高了自发性脑电信号解码精度。同时，本发明为脑电信号数据增强提供了新的解决方法，为以后实际操作过程减少校准时间和提高分类模型泛化能力提供了新思路。

附图说明

图1为本发明的深度卷积对抗生成网络模型图。

图2为本发明的卷积神经分类网络模型图。

图3为本发明总体框架图。

具体实施方式

下面结合附图和实施例对本发明作详细描述。

一种基于深度卷积对抗生成神经网络的脑电信号解码方法，包括以下步骤：

1)脑电信号预处理：采用BCI Competition Dataset 2b的运动想象脑电信号作为分析对象，首先，将采集到n导联脑电信号通过巴特沃斯四阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1,2,，···N}，研究对象只采用C3,Cz，C4三个导联的数据，所以这里n＝3；然后，再利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；

2)搭建深度卷积对抗生成网络DCGAN：参照图1，对抗生成网络是利用两个网络之间的竞争达到动态平衡，最终学习到目标数据的统计分布；生成网络通过初始化一个随机的噪声向量p_z，通过拟合可微函数逼近G(z；θ_G)来学习目标参数X的分布P_x；判别网络通过设置一个可微函数逼近器D(z；θ_G)来预测输入的变量来自真正的目标数据分布P_x而不是来自于生成函数；对抗生成网络的优化目标是，判别网络使生成样本预测标签与真实样本的标签之间均方误差最小，而生成网络通过训练使log(1-D(x；θ_G))，所以生成对抗网络的优化问题表述为：

Min_GMax_DV(D，G)＝E_x～p(x)[logD(x；θ_G)]+E_z～p(z)[log(1-D(x；θ_G))]

其中，Min_GMax_DV(D，G)是真实样本预测标签与生成样本预测标签的均方误差，E_x～p(x)[logD(x；θ_G)]是生成网络的均方值，对抗网络的均方值用E_z～p(z)[log(1-D(x；θ_G))表示；

一维时序信号经过短时傅里叶变换后的二维时频信号，将作为对抗生成网络的输入；对抗生成网络包括两个部分，一部分是判别网络，一部分是生成网络；生成网络的输入是一个初始化的一维随机向量，生成网络由四个反卷积层组成，四层的大小分别为：8*8*1024,16*16*521,32*32*256,64*64*128，输出是二维图像矩阵大小为128*128*3；生成网络的输出就是对抗网络的输入，对抗网络由四层卷积层组成，四层的大小分别为64*64*128，32*32*256,16*16*521,8*8*1024,输出是一个表示类别的一维向量；为了加速对抗网络的训练过程和收敛速度，在对抗网络中加入了BatchNorm算法；

3)搭建卷积神经分类网络CNN：参照图2，卷积神经分类网络CNN由两个卷积层、两个池化层、两个全连接层以及输入和输出层组成，卷积神经分类网络CNN的输入为经短时傅里叶变换后的脑电时频图像信号，中间层为交替堆叠的卷积层和池化层，两个全连接层用来将中间层提取的特征进行非线性映射，最终输出类别信息；其中，卷积核大小为3*3，最大池化的核函数为2*2，两个全连接层大小分比为，3648*1和100*1；卷积神经分类网络CNN的输出y_i通过以下步骤计算得到：

首先，通过卷积操作逐层提取特征：

该公式描述了卷积神经网络特征提取的原理，其中，

表示第l层第j个特征映射，

是由

与卷积核

相乘加上偏置

得到；

然后，将提取的特征传递到池化层，实现对数据和参数的压缩：

其中，j和k代表当前特征图的位置，s则为池的大小，X为输入样本，m和n分别代表步长，所有特征通过RELU激活函数进行映射；

f(a)＝RELU(a)＝ln(1+e^a)

其中，a代表被激活对象，中间层输出的结果将映射到两个全连接层，从而有效将图像特征转化为多尺度特征；

x_i代表特征图y_i代表输出可能的概率分布，w_i，j为当前激活权重，b_j为j位置所对应的偏置；

4)深度卷积对抗生成网络与卷积神经分类网络模型训练：参照图3，首先，利用对抗生成网络，学***衡后，输出生成的脑电信号；然后，将真实的脑电信号和生成的脑电信号，同时放入卷积神经分类网络模型中训练，得到分类模型；

对抗生成网络与卷积神经分类网络都采用交叉熵损失函数作为优化目标，利用“Adam”为优化器，参数设置如下：

Learningrate＝2e-4,Batch size＝128,Train epoch＝20；

对抗生成网络的训练集为真实的脑电时频图，输入为一维随机噪声向量，输出为生成的二维脑电时频图；

卷积神经分类网络的训练集为真实的二维脑电信号与生成的脑电信号，测试集为真实的二维脑电信号；采用交叉熵损失函数作为优化目标，利用“SGD”为优化器，参数设置如下：

Learning rate＝1e-4,Batch size＝64，Train epoch＝20；

交叉熵损失函数作为优化目标，利用误差反向传播来减小网络计算的误差，其表示如下：

为预测的概率分布，y表示真实的概率分布。

深度卷积对抗生成网络与卷积神经分类网络模型的性能评估方法：为了验证对抗生成网络数据增强的性能，本发明采用Frechet Inception Distance(FID)指标来计算生成图片与真实图片的差异，从而筛选出有效的生成数据：

其中，Tr表示对角线上元素的总和，均值为μ，协方差为Σ；x表示真实图片，g是生成图片；

卷积神经分类网络的输出结果，是受试者大脑运动意图的表现，所用的脑电信号包含了运动想象左右手二分类的信息；为了验证卷积神经分类网络的分类效果，采用平均分类精度和Kappa系数作为结果衡量的指标。

Claims (3)

1.一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于：首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号；然后再通过整合卷积神经分类网络和对抗生成网络，利用对抗生成网络对小样本脑电数据进行数据增强，再将增强后的数据放入卷积神经分类网络中，进行分类，实现解码。

2.一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于，包括以下步骤：

1)脑电信号预处理：采用BCI Competition Dataset 2b的运动想象脑电信号作为分析对象，首先，将采集到n导联脑电信号通过巴特沃斯四阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1，2，…N}，然后，再利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；

2)搭建深度卷积对抗生成网络DCGAN：对抗生成网络是利用两个网络之间的竞争达到动态平衡，最终学习到目标数据的统计分布；生成网络通过初始化一个随机的噪声向量p_z，通过拟合可微函数逼近G(z；θ_a)来学习目标参数X的分布P_x；判别网络通过设置一个可微函数逼近器D(z；θ_a)来预测输入的变量来自真正的目标数据分布P_x而不是来自于生成函数；优化目标是，判别网络使生成样本预测标签与真实样本的标签之间均方误差最小，而生成网络通过训练使log(1-D(x；θ_G))，所以生成对抗网络的优化问题表述为：

Min_aMax_DV(D，G)＝E_x～p(x)[logD(x；θ_G)]+E_z～p(z)[log(1-D(x；θ_G))]

其中，Min_aMax_DV(D，G)是真实样本预测标签与生成样本预测标签的均方误差，E_x～p(x)[logD(x；θ_G)]是生成网络的均方值，对抗网络的均方值用E_z～p(z)[log(1-D(x；θ_G))表示；

一维时序信号经过短时傅里叶变换后的二维时频信号，将作为对抗生成网络的输入；对抗生成网络包括两个部分，一部分是判别网络，一部分是生成网络；生成网络的输入是一个初始化的一维随机向量，生成网络由四个反卷积层组成，四层的大小分别为：8*8*1024，16*16*521，32*32*256，64*64*128，输出是二维图像矩阵大小为128*128*3；生成网络的输出就是对抗网络的输入，对抗网络由四层卷积层组成，四层的大小分别为64*64*128，32*32*256，16*16*521，8*8*1024，输出是一个表示类别的一维向量；为了加速对抗网络的训练过程和收敛速度，在对抗网络中加入了BatchNorm算法；

3)搭建卷积神经分类网络CNN：卷积神经分类网络CNN由两个卷积层、两个池化层、两个全连接层以及输入和输出层组成；卷积神经分类网络CNN的输入为经短时傅里叶变换后的脑电时频图像信号，中间层为交替堆叠的卷积层和池化层，两个全连接层用来将中间层提取的特征进行非线性映射，最终输出类别信息；其中，卷积核大小为3*3，最大池化的核函数为2*2，两个全连接层大小分比为，3648*1和100*1；卷积神经分类网络CNN的输出y_i通过以下步骤计算得到：

首先，通过卷积操作逐层提取特征：

其中，

表示第l层第j个特征映射，

是由

与卷积核

相乘加上偏置

得到；

然后，将提取的特征传递到池化层，实现对数据和参数的压缩：

其中，j和k代表当前特征图的位置，s则为池的大小，X为输入样本，m和n分别代表步长，所有特征通过RELU激活函数进行映射；

f(a)＝RELU(a)＝ln(1+e^a)

其中，a代表被激活对象，中间层输出的结果将映射到两个全连接层，从而将图像特征转化为多尺度特征；

x_i代表特征图y_i代表输出可能的概率分布，w_i，j为当前激活权重，b_j为j位置所对应的偏置；

4)深度卷积对抗生成网络与卷积神经分类网络模型训练：

首先，利用对抗生成网络，学***衡后，输出生成的脑电信号；然后，将真实的脑电信号和生成的脑电信号，同时放入卷积神经分类网络模型中训练，得到分类模型；

对抗生成网络与卷积神经分类网络都采用交叉熵损失函数作为优化目标，利用“Adam”为优化器，参数设置如下：

Learning rate＝2e-4，Batch size＝128，Train epoch＝20；

对抗生成网络的训练集为真实的脑电时频图，输入为一维随机噪声向量，输出为生成的二维脑电时频图；

卷积神经分类网络的训练集为真实的二维脑电信号与生成的脑电信号，测试集为真实的二维脑电信号；采用交叉熵损失函数作为优化目标，利用“SGD”为优化器，参数设置如下：

Learning rate＝1e-4，Batch size＝64，Train epoch＝20；

交叉熵损失函数作为优化目标，利用误差反向传播来减小网络计算的误差，其表示如下：

为预测的概率分布，y表示真实的概率分布。

3.根据权利要求2所述的一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于，深度卷积对抗生成网络与卷积神经分类网络模型的性能评估：为了验证对抗生成网络数据增强的性能，采用Frechet Inception Distance(FID)指标来计算生成图片与真实图片的差异，从而筛选出有效的生成数据：

其中，Tr表示对角线上元素的总和，均值为μ，协方差为∑，x表示真实图片，g是生成图片；

为了验证卷积神经分类网络的分类效果，采用平均分类精度和Kappa系数作为结果衡量的指标。

Images