CN112668424B - 基于rbsagan的数据增广方法 - Google Patents

基于rbsagan的数据增广方法 Download PDF

Info

Publication number
CN112668424B
CN112668424B CN202011509929.9A CN202011509929A CN112668424B CN 112668424 B CN112668424 B CN 112668424B CN 202011509929 A CN202011509929 A CN 202011509929A CN 112668424 B CN112668424 B CN 112668424B
Authority
CN
China
Prior art keywords
data
convolution
layer
resblock
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011509929.9A
Other languages
English (en)
Other versions
CN112668424A (zh
Inventor
李明爱
彭伟民
刘有军
孙炎珺
杨金福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011509929.9A priority Critical patent/CN112668424B/zh
Publication of CN112668424A publication Critical patent/CN112668424A/zh
Application granted granted Critical
Publication of CN112668424B publication Critical patent/CN112668424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于RBSAGAN的脑电信号数据增广的方法,设计Up ResBlock与Down ResBlock网络结构,通过主干的两个1D卷积层与分支的一个1D卷积层提取不同尺度感受野下的特征,并分别采用1D反卷积层和平均池化层分别进行数据维度的扩大和缩小。基于Self‑Attention机制设计1D Self‑Attention网络。该网络结构无视各离散时刻数据之间的距离,能够通过并行计算各离散时刻数据之间的相似度直接获得全局的时序特征,适用于具有丰富时序信息的脑电信号。Down ResBlock与1D Self‑Attention等网络组成RBSAGAN的判别器,输出损失值对生成器以及判别器的参数进行更新,直至达到纳什平衡。生成器产生的新数据与原有数据构成增广数据集,输入1D CNN进行分类,以评估生成数据的质量。

Description

基于RBSAGAN的数据增广方法
技术领域
本发明涉及运动想象脑电信号(Motor Imagery Electroencephalography,MI-EEG)数据增广技术领域,特别是采用深度学习(Deep Learning,DL)方法生成运动想象脑电信号。具体涉及:设计Up ResBlock和Down ResBlock网络分别进行数据维度的增加和减少,针对较长数据存在的长距离依赖问题设计基于Self-Attention机制的1D Self-Attention网络,通过上述网络构建RBSAGAN(ResBlock Self-Attention Generative AdversarialNetworks)并用于脑电信号数据的生成,采用卷积神经网络(Convolutional NeuralNetworks,CNN)对扩充后的数据集进行特征提取以及分类,评估生成数据的质量。
背景技术
脑机接口(Brain computer Interface,BCI)是一种直接为患者提供人脑与外部设备之间通信和控制的***。脑电图(EEG)信号通过非侵入性设备获取人类大脑皮层活动,基于脑机接口的脑电信号研究得到越来越广泛的关注。近年来使用深度学习方法识别EEG信号获得了很好的分类效果,但其本身存在对数据量的需求较大的缺点。然而,脑电信号对采集环境要求较高,采集成本大,导致训练网络的数据量不足,给基于深度学习技术识别EEG信号这类方法带来了困难。获取大量高质量,具有丰富时间信息的EEG数据,是取得好的识别结果的关键。
鉴于生成式对抗网络(GAN)在图像增广领域取得的巨大成功,基于GAN生成EEG信号具有良好的前景。如何使生成的数据具有EEG所蕴含的关键特征至关重要,而现有的脑电信号增广方法未能捕捉各离散时刻数据与全局信息之间的关系,没有充分利用信号的时序特征,使生成的EEG信号在长距离范围的特征模糊。而且,传统的多层卷积网络堆叠的方法提取脑电信号特征信息有限,存在特征丢失的问题,从而导致生成脑电信号质量不太理想。
发明内容
为了克服上述现有技术的不足,本发明提供了一种基于RBSAGAN的脑电信号数据增广的方法。
(1)设计Up ResBlock与Down ResBlock网络结构,通过主干的两个1D卷积层与分支的一个1D卷积层提取不同尺度感受野下的特征,并分别采用1D反卷积层和平均池化层分别进行数据维度的扩大和缩小。
(2)为捕捉各离散时刻数据与全局数据之间的联系,基于Self-Attention机制设计1D Self-Attention网络。该网络结构无视各离散时刻数据之间的距离,能够通过并行计算各离散时刻数据之间的相似度直接获得全局的时序特征,适用于具有丰富时序信息的脑电信号。
(3)由Up ResBlock与1D Self-Attention等网络构建RBSAGAN的生成器,用于生成新数据;Down ResBlock与1D Self-Attention等网络组成RBSAGAN的判别器,输出损失值对生成器以及判别器的参数进行更新,直至达到纳什平衡。生成器产生的新数据与原有数据构成增广数据集,输入1D CNN进行分类,以评估生成数据的质量。
本发明的具体步骤如下:
Step 1脑电信号预处理,使用8-30Hz的四阶的巴特沃斯带通滤波器对各导联的脑电信号进行带通滤波,并对数据进行归一化;
Step 2 RBSAGAN网络
Step 2.1设计Up ResBlock网络结构用于扩大数据的维度。Up ResBlock结构的主干依次由批量归一化层(BatchNormalization,BN)、1D反卷积层、1D卷积层、BN层和1D卷积层组成,分支处由1D反卷积层和1D卷积层组成。BN层的引入有助于稳定生成器在训练过程中权重初始化不佳的问题;1D卷积层的卷积核尺寸均为3,步长均为1;其1D反卷积层的作用为上采样,反卷积核尺寸均为7,步长均为nus;其特征图数量均为nuc;激活函数均采用PReLU以避免稀疏梯度;
Step 2.2设计Down ResBlock网络结构用于降低数据的维度。Down ResBlock结构的主干由两个1D卷积层和一个1D平均池化层组成,分支由1D卷积层与1D平均池化层组成。1D卷积层的卷积核尺寸均为3,步长圴为1;其平均池化层对数据进行下采样处理,池化窗口大小均为2,步长分别均为nds;特征图的数量分别均为ndc;激活函数均为Leaky ReLU;
Step 2.3基于Self-Attention机制设计1D Self-Attention网络用于直接计算各离散时刻之间的相似度,对数据所有时刻的特征进行加权,从而更有效的获取数据的关键信息。1D卷积层的卷积核的尺寸均为1,步长均为1,特征图的数量从左至右分别为nc/8、nc/8和nc,输出的特征向量f转置后和g进行矩阵乘法运算,再经过激活函数softmax得到各离散时刻间的相似度,即注意力图,注意力图与h进行矩阵乘法得到自注意力特征图,由缩放因子处理后与输入该结构的数据相加,最终输出的维度与输入相同;
Step 2.4 RBSAGAN由两个试图超越彼此的对立网络组成。一个网络是判别器,通过训练来区分真实和虚假的输入数据。另一个网络是生成器,以一个噪声向量作为输入,并试图生成不会被判别器识别为假的虚假数据。通过极小极大博弈使判别器驱使生成器生成更好的样本。
RBSAGAN的生成器主要由Up ResBlock与1D Self-Attention构成,记为US。从均匀分布(-1,1)中选取维度为64的随机噪声向量作为US的输入,并与维度为12800的全连接层相连,经过reshape操作将维度转换为100×128后由两个Up ResBlock网络对数据进行上采样,1D Self-Attention网络使US能更有效的构建时间样本之间的联系,最后通过1D卷积使输出的数据维度与脑电信号相同。两个Up ResBlock的步长分别为5和2,其特征图的数量分别为64和32;1D Self-Attention网络的特征图的数量为32;1D卷积层的卷积核尺寸为4,步长为1,激活函数为sigmoid,特征图的数量与脑电信号的导联数相同。
RBSAGAN的判别器结构与生成器类似,主要由Down ResBlock与1D Self-Attention构成,记为DS。将真实数据与生成数据作为输入,依次经过1D卷积层、两个DownResBlock网络、1D Self-Attention网络和两个全连接层,最后根据计算真实数据分布与生成数据之间的距离判断数据的真伪,并作为US与DS参数优化的依据。第一个1D卷积层的卷积核尺寸为3,步长为1,特征图的数量为16;两个Down ResBlock的步长分别为5和2,其特征图的数量分别为64和128;1D Self-Attention网络的特征图的数量为128;两层全连接层的维度分别为128和1,激活函数为Leaky ReLU;
Step 2.5为增强RBSAGAN在训练过程中DS的稳定性,采用与WGAN相同的损失函数,并且US每训练1次DS会训练5次。优化器采用Adam,初始学习率设置为0.0001,动量β1和β2分别取值为0.1和0.999;
Step 3评估生成数据质量
训练好的US产生新的数据与现有的数据合并通过1D CNN提取时域、空域特征并实现自动分类。设计的1D CNN由1D卷积层、BN层、最大池化层以及三个全连接层组成。1D卷积的卷积核尺寸为5,步长为2,特征图的数量为16;最大池化层的尺寸为2,步长为1;三个全连接层的维度分别为600、60和nm,nm为脑电信号类别的个数,全连接层之间加入Dropout减轻过拟合现象,激活函数均为ReLU。最后通过softmax输出各类别的概率。
与现有技术相比,本发明具有以下优点:
本发明设计的RBSAGAN,通过Up ResBlock和Down ResBlock网络的残差学习提取脑电信号所包含的丰富特征,克服了多个卷积层所带来的特征信息不全面的问题,并实现数据维度的改变。1D Self-Attention网络更适用于时间跨度较长的脑电信号,使其学习不同时刻之间相互联系的特征信息。生成的数据与现有数据合并经过1D CNN进行评估,验证RBSAGAN生成更接近于真实信号的数据,解决了脑电信号样本量少的问题。
附图说明
图1为RBSAGAN原理图;
图2为RBSAGAN网络结构;
图3为Up ResBlock和Down ResBlock网络;
图4为1D Self-Attetion网络;
图5为1D CNN网络结构;
图6为基于RBSAGAN的数据增广方法流程图。
具体实施方式
本发明的实验是在以下硬件环境中进行的:14个内核的Intel Xeon E5-26832.00Hz CPU和8GB内存的GeForce 1070GPU。所有神经网络都使用Pytorch框架实现。
本发明使用的数据为“BCI Competition IV 2a”公开数据集。脑电信号通过规格为10-20***,采样频率为250Hz的22导电极帽采集。9名受试者执行四类运动想象任务:左手、右手、脚、舌头。每名受试者进行两天的实验,每天包含288组实验,共576组实验。脑电信号通过0.5Hz至100Hz的带通滤波器和50Hz的陷波滤波器进行滤波。每次实验在2s时出现箭头指示,方向为左、右、上或下(对应四类任务左手、右手、舌头或脚)的一种,并保持1.25s,受试者根据屏幕显示的箭头方向执行相应的运动想象任务,6s时受试者休息。
以下内容结合附图对本发明做出进一步详细的描述。
Step 1脑电信号预处理
原始脑电数据维度为576×1000×22,共576组实验,每组实验由22个导联所采集,包含1000个采样点。使用8-30Hz的四阶的巴特沃斯带通滤波器对各导联的脑电信号进行带通滤波,并对数据进行归一化;
Step 2 RBSAGAN网络
Step 2.1 RBSAGAN的原理图如图1所示,网络主要由US和DS组成,DS通过训练来区分真实和生成的输入数据。US以一个噪声向量作为输入,并试图生成不会被DS识别为假的虚假数据,通过不断训练对US和DS的参数进行更新。
RBSAGAN的US的结构如图2(a)所示,从均匀分布(-1,1)中随机选取维度为64的样本作为US的输入,输入与维度为12800的全连接层相连,经过reshape操作将维度转换为100×128,再通过两个Up ResBlock网络对数据进行上采样,1D Self-Attention网络使US能更有效的构建时间样本之间的联系,最后通过1D卷积使输出的数据维度与脑电信号相同。UpResBlock结构如图3(a)所示,Up ResBlock结构的主干包含BN层、1D反卷积层、1D卷积层、BN层和1D卷积层,分支处由1D反卷积层和1D卷积层组成。两个Up ResBlock网络所包含的1D卷积层的卷积核尺寸均为3,步长均为1;1D反卷积层的反卷积核尺寸均为7,步长分别为5和2;其激活函数均为PReLU;特征图数量分别为64和32。输出数据的尺寸分别为64×500和32×1003。1D Self-Attention网络如图4所示,对所有时刻的数据进行加权,从而使US能更有效的构建各时刻之间的联系。卷积核的尺寸均为1,步长均为1,特征图的数量从左至右分别为4、4和32,输出的特征向量f转置后和g进行矩阵乘法运算,再经过激活函数softmax得到注意力图,注意力图与h进行矩阵乘法得到自注意力特征图,然后乘上一个缩放因子后与输入该结构的数据进行相加,最终输出的维度为32×1003。最后通过1D卷积使输出的维度为22×1000与脑电信号相同,卷积核尺寸为4,步长为1,特征图数量为22。
RBSAGAN的DS的结构如图2(b),真实数据与生成数据作为输入,依次经过1D卷积层、两个Down ResBlock网络、1D Self-Attention网络和两个全连接层。1D卷积层的卷积核尺寸为3,步长为1,特征图的数量为16,输出数据的维度是16×1000。Down ResBlock网络如图3(b),主干由两个1D卷积层和1D平均池化层组成,分支由1D卷积层与1D平均池化层组成。两个Down ResBlock结构的1D卷积层的卷积核尺寸均为3,步长均为1;1D平均池化层的尺寸均为2,步长分别为5和2,特征图的数量分别为64和128,输出数据的维度分别为64×200和128×100;激活函数均为Leaky ReLU。后续的两个全连接层的维度分别为128和1,激活函数为Leaky ReLU,最后的输出作为US与DS参数优化的依据;
Step 2.2 RBSAGAN的优化器采用Adam,初始学***衡的状态,US每训练1次判别器会训练5次。网络训练的次数为100次,batch size为10,每个类别的数据通过RBSAGAN生成新数据;
Step 3评估生成数据质量
生成的数据与现有数据合并作为1D CNN的数据集,设计的1D CNN如图5,由1D卷积层、BN层、最大池化层和三个全连接层组成。1D卷积层的卷积核尺寸为5步长为2,特征图的数量为16;最大池化层的尺寸为2,步长为1;三个全连接层的维度分别为600、60和4,激活函数均为ReLU。全连接层之间加入Dropout减轻过拟合现象,最后输出各类别的概率。实验结果如下表所示。
表1各个受试者分类结果

Claims (3)

1.基于RBSAGAN的数据增广方法,其特征在于:具体步骤如下:
Step 1脑电信号预处理,使用8-30Hz的四阶的巴特沃斯带通滤波器对各导联的脑电信号进行带通滤波,并对数据进行归一化;
Step 2RBSAGAN网络
Step 2.1设计Up ResBlock网络结构用于扩大数据的维度;Up ResBlock结构的主干依次由批量归一化层BN、1D反卷积层、1D卷积层、BN层和1D卷积层组成,分支处由1D反卷积层和1D卷积层组成;BN层的引入有助于稳定生成器在训练过程中权重初始化不佳的问题;1D卷积层的卷积核尺寸均为3,步长均为1;其1D反卷积层的作用为上采样,反卷积核尺寸均为7,步长均为nus;其特征图数量均为nuc;激活函数均采用PReLU以避免稀疏梯度;
Step 2.2设计Down ResBlock网络结构用于降低数据的维度;Down ResBlock结构的主干由两个1D卷积层和一个1D平均池化层组成,分支由1D卷积层与1D平均池化层组成;1D卷积层的卷积核尺寸均为3,步长圴为1;其平均池化层对数据进行下采样处理,池化窗口大小均为2,步长分别均为nds;特征图的数量分别均为ndc;激活函数均为Leaky ReLU;
Step 2.3基于Self-Attention机制设计1D Self-Attention网络用于直接计算各离散时刻之间的相似度,对数据所有时刻的特征进行加权,从而更有效的获取数据的关键信息;1D卷积层的卷积核的尺寸均为1,步长均为1,特征图的数量从左至右分别为nc/8、nc/8和nc,输出的特征向量f转置后和g进行矩阵乘法运算,再经过激活函数softmax得到各离散时刻间的相似度,即注意力图,注意力图与h进行矩阵乘法得到自注意力特征图,由缩放因子处理后与输入该结构的数据相加,最终输出的维度与输入相同;
Step 2.4RBSAGAN由两个试图超越彼此的对立网络组成;一个网络是判别器,通过训练来区分真实和虚假的输入数据;另一个网络是生成器,以一个噪声向量作为输入,并试图生成不会被判别器识别为假的虚假数据;通过极小极大博弈使判别器驱使生成器生成更好的样本;
Step 2.5为增强RBSAGAN在训练过程中DS的稳定性,采用与WGAN相同的损失函数,并且US每训练1次DS会训练5次;优化器采用Adam,初始学习率设置为0.0001,动量β1和β2分别取值为0.1和0.999;
Step 3评估生成数据质量
训练好的US产生新的数据与现有的数据合并通过1D CNN提取时域、空域特征并实现自动分类;设计的1D CNN由1D卷积层、BN层、最大池化层以及三个全连接层组成;1D卷积的卷积核尺寸为5,步长为2,特征图的数量为16;最大池化层的尺寸为2,步长为1;三个全连接层的维度分别为600、60和nm,nm为脑电信号类别的个数,全连接层之间加入Dropout减轻过拟合现象,激活函数均为ReLU;最后通过softmax输出各类别的概率。
2.根据权利要求1所述的基于RBSAGAN的数据增广方法,其特征在于:RBSAGAN的生成器由Up ResBlock与1D Self-Attention构成,记为US;从均匀分布(-1,1)中选取维度为64的随机噪声向量作为US的输入,并与维度为12800的全连接层相连,经过reshape操作将维度转换为100×128后由两个Up ResBlock网络对数据进行上采样,1D Self-Attention网络使US能更有效的构建时间样本之间的联系,最后通过1D卷积使输出的数据维度与脑电信号相同;两个Up ResBlock的步长分别为5和2,其特征图的数量分别为64和32;1D Self-Attention网络的特征图的数量为32;1D卷积层的卷积核尺寸为4,步长为1,激活函数为sigmoid,特征图的数量与脑电信号的导联数相同。
3.根据权利要求1所述的基于RBSAGAN的数据增广方法,其特征在于:RBSAGAN的判别器结构与生成器类似,由Down ResBlock与1D Self-Attention构成,记为DS;将真实数据与生成数据作为输入,依次经过1D卷积层、两个Down ResBlock网络、1D Self-Attention网络和两个全连接层,最后根据计算真实数据分布与生成数据之间的距离判断数据的真伪,并作为US与DS参数优化的依据;第一个1D卷积层的卷积核尺寸为3,步长为1,特征图的数量为16;两个Down ResBlock的步长分别为5和2,其特征图的数量分别为64和128;1D Self-Attention网络的特征图的数量为128;两层全连接层的维度分别为128和1,激活函数为Leaky ReLU。
CN202011509929.9A 2020-12-19 2020-12-19 基于rbsagan的数据增广方法 Active CN112668424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509929.9A CN112668424B (zh) 2020-12-19 2020-12-19 基于rbsagan的数据增广方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509929.9A CN112668424B (zh) 2020-12-19 2020-12-19 基于rbsagan的数据增广方法

Publications (2)

Publication Number Publication Date
CN112668424A CN112668424A (zh) 2021-04-16
CN112668424B true CN112668424B (zh) 2024-02-06

Family

ID=75407208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509929.9A Active CN112668424B (zh) 2020-12-19 2020-12-19 基于rbsagan的数据增广方法

Country Status (1)

Country Link
CN (1) CN112668424B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法

Also Published As

Publication number Publication date
CN112668424A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110163180A (zh) 运动想象脑电数据分类方法及***
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN109726751A (zh) 基于深度卷积神经网络识别脑电成像图的方法
CN110353675A (zh) 基于图片生成的脑电信号情感识别方法及装置
CN113627401A (zh) 融合双注意力机制的特征金字塔网络的肌电手势识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN107194426A (zh) 一种基于Spiking神经网络的图像识别方法
CN113934302B (zh) 基于SeNet和门控时序卷积网络的肌电手势识别方法
CN113065526B (zh) 一种基于改进深度残差分组卷积网络的脑电信号分类方法
CN111950455A (zh) 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN110717423B (zh) 一种老人面部表情的情感识别模型的训练方法及装置
CN111428601B (zh) 一种基于ms-cnn的p300信号识别方法、装置及存储介质
CN114863572B (zh) 一种多通道异构传感器的肌电手势识别方法
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN109376683A (zh) 一种基于稠密图的视频分类方法和***
CN110503082A (zh) 一种基于深度学习的模型训练方法以及相关装置
CN112465069A (zh) 一种基于多尺度卷积核cnn的脑电情绪分类方法
Stuchi et al. Frequency learning for image classification
CN113116361A (zh) 一种基于单导脑电的睡眠分期方法
CN113076878A (zh) 基于注意力机制卷积网络结构的体质辨识方法
CN115049814A (zh) 采用神经网络模型的护眼灯智能调节方法
CN113128353B (zh) 面向自然人机交互的情绪感知方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant