CN111428648B - 一种脑电信号生成网络、方法及存储介质 - Google Patents

一种脑电信号生成网络、方法及存储介质 Download PDF

Info

Publication number
CN111428648B
CN111428648B CN202010221535.7A CN202010221535A CN111428648B CN 111428648 B CN111428648 B CN 111428648B CN 202010221535 A CN202010221535 A CN 202010221535A CN 111428648 B CN111428648 B CN 111428648B
Authority
CN
China
Prior art keywords
real
event
layer
discriminator
electroencephalogram signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221535.7A
Other languages
English (en)
Other versions
CN111428648A (zh
Inventor
王洪涛
唐聪
裴子安
许林峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Shenkang Medical Technology Co.,Ltd.
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010221535.7A priority Critical patent/CN111428648B/zh
Priority to PCT/CN2020/100344 priority patent/WO2021189705A1/zh
Publication of CN111428648A publication Critical patent/CN111428648A/zh
Priority to US17/004,822 priority patent/US20210298627A1/en
Application granted granted Critical
Publication of CN111428648B publication Critical patent/CN111428648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了脑电信号生成网络、方法及存储介质，其中脑电信号生成网络包括真实脑电信号输入端、真实脑电信号标注模块、生成器、共享模块、判别器和分类器；通过训练，使生成器、判别器和分类器的损失最小化且判别器和分类器的合并损失最小化，并生成新的事件相关电位。其通过对生成对抗网络的多个改进，达到能高效地生成大量高质量的事件相关电位数据，解决了脑机接口领域的数据小样本问题。

Description

一种脑电信号生成网络、方法及存储介质
技术领域
本发明涉及生物信息技术领域，特别是一种脑电信号生成网络、方法及存储介质。
背景技术
脑电信号是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映。在工程应用中，利用脑电信号实现脑-计算机接口,利用人对不同的感觉、运动或认知活动产生的脑电信号的不同,通过对脑电信号的分析和处理。应用到研究中，需要大量的高质量的脑电信号数据，但要获取大量高质量的脑电信号则需要耗费的时间、人力和物力过大。事件相关电位是一种特殊的脑诱发电位，利用多个或多样的有意地赋予的刺激所引起的脑的电位。它反映了认知过程中大脑的神经电生理的变化。通过事件相关电位能更快捷地进行脑电信号的研究。但目前的脑电信号生成网络受训练不稳定性和模式崩溃的影响一般只能生成低分辨率样本，且不能有效地对样本进行分类出事件相关电位。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种脑电信号生成网络、方法及存储介质。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，一种脑电信号生成网络，包括：
真实脑电信号输入端，所述真实脑电信号输入端用于输入真实脑电信号，所述真实脑电信号包括事件相关电位和非事件相关电位；
真实脑电信号标注模块，所述真实脑电信号标注模块用于将真实脑电信号与真实分类标签结合生成真实样本，所述真实分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
生成器，所述生成器用于将噪声信号与随机生成分类标签结合生成多通道的重构样本，所述生成器设有上采样层，所述上采样层包括具有双三次插值的卷积层和具有双线性权重初始化的反卷积层，所述随机生成分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
共享模块，所述共享模块用于将所述真实样本和所述重构样本组合成总样本并分配输出；
判别器，所述判别器用于判断所述总样本中的每个数据为真实脑电信号或噪声信号，所述判别器具有基于Wasserstein距离的梯度损失函数，所述判别器与所述生成器构成对抗关系；
分类器，所述分类器用于分类所述总样本中的每个数据为事件相关电位或非事件相关电位，和用于根据总分类标签判断分类结果的正确性，所述总分类标签包括所述真实分类标签和所述随机生成分类标签；
通过训练，使所述生成器、所述判别器和所述分类器的损失最小化且所述判别器和所述分类器的合并损失最小化，并生成新的事件相关电位。
根据本发明的第一方面，所述判别器的损失如下：
Figure BDA0002426264790000031
所述分类器的损失如下：/>
Figure BDA0002426264790000032
所述生成器的损失如下：/>
Figure BDA0002426264790000033
所述合并损失如下：
Figure BDA0002426264790000034
根据本发明的第一方面，所述生成器包括依次连接的第一输入层、第一全连接层、第一ReLU函数、第二全连接层、第一归一化函数、第二ReLU函数、所述上采样层、裁剪层、第二归一化函数、第三ReLU函数、第一卷积层和第一输出层。
根据本发明的第一方面，所述生成器通过所述第一输入层输入由多维标准正态分布产生的所述噪声信号；所述第一输入层还用于添加所述随机生成分类标签。
根据本发明的第一方面，所述判别器采用CNN架构；所述判别器包括依次连接的第二输入层、第二卷积层、第四ReLU函数、第三卷积层、第五ReLU函数、第四卷积层、第三全连接层、第四全连接层、第六ReLU函数、第五全连接层和第二输出层。
根据本发明的第一方面，所述判别器在所述第二卷积层前为所述总样本添加高斯白噪声以避免零梯度。
本发明的第二方面，一种脑电信号生成方法，包括以下步骤：
采集真实脑电信号；
预处理所述真实脑电信号；
将预处理后的所述真实脑电信号输入至如本发明的第一方面所述的脑电信号生成网络以生成新的事件相关电位。
根据本发明的第二方面，所述采集真实脑电信号具体为：通过脑电信号采集仪器采集多位受试者观看字符矩阵时产生的脑电信号，所述字符矩阵以额定频率随机闪烁其中的多个字符；所述事件相关电位是所述受试者看见指定字符闪烁产生的电位信号，所述非事件相关电位是所述受试者看见不包含所述指定字符的多个字符闪烁产生的电位信号。
根据本发明的第二方面，所述预处理真实脑电信号具体为：将所述真实脑电信号进行低通滤波；将多个所述真实脑电信号的波形按照时间轴对齐，累加后取平均值。
本发明的第三方面，存储介质，存储有可执行指令，所述可执行指令能被计算机执行，使所述计算机执行如本发明的第一方面所述的脑电信号生成方法。
上述方案至少具有以下的有益效果：生成器中包含具有双三次插值的卷积层和具有双线性权重初始化的反卷积层的上采样层，使生成器生成的重构样本达到欺骗判别器的期望的效率更高；通过设置分类标签和增加分类器，提高事件相关电位的生成率，实现了将生成对抗网络在脑机接口领域的应用和在分类上的应用；利用Wasserste i n距离有效提高训练的稳定性和收敛性；通过该脑电信号生成网络能高效地生成大量高质量的事件相关电位数据。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例一种脑电信号生成网络的原理图；
图2是生成器的网络结构图；
图3是判别器的网络结构图；
图4是以累加5次的真实脑电信号为输入的脑电信号生成网络对事件相关电位的识别准确率的柱状图；
图5是以累加10次的真实脑电信号为输入的脑电信号生成网络对事件相关电位的识别准确率的柱状图；
图6是以累加5次的真实脑电信号为输入的脑电信号生成网络对事件相关电位的效果检测图；
图7是以累加5次的真实脑电信号为输入的脑电信号生成网络对非事件相关电位的效果检测图；
图8是以累加10次的真实脑电信号为输入的脑电信号生成网络对事件相关电位的效果检测图；
图9是以累加10次的真实脑电信号为输入的脑电信号生成网络对非事件相关电位的效果检测图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了一种脑电信号生成网络，包括：
真实脑电信号输入端100，真实脑电信号输入端100用于输入真实脑电信号，真实脑电信号包括事件相关电位和非事件相关电位；
真实脑电信号标注模块200，真实脑电信号标注模块200用于将真实脑电信号与真实分类标签结合生成真实样本，真实分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
生成器300，生成器300用于将噪声信号与随机生成分类标签结合生成多通道的重构样本，生成器300设有上采样层34，上采样层34包括具有双三次插值的卷积层341和具有双线性权重初始化的反卷积层342，随机生成分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
共享模块400，共享模块400用于将真实样本和重构样本组合成总样本并分配输出；
判别器500，判别器500用于判断总样本中的每个数据为真实脑电信号或噪声信号，判别器500具有基于Wasserstein距离的梯度损失函数，判别器500与生成器300构成对抗关系；
分类器600，分类器600用于分类总样本中的每个数据为事件相关电位或非事件相关电位，和用于根据总分类标签判断分类结果的正确性，总分类标签包括真实分类标签和随机生成标签；
通过训练，使生成器300、判别器500和分类器600的损失最小化且判别器500和分类器600的合并损失最小化，并生成新的事件相关电位。
在该实施例中，通过真实脑电信号输入端100输入真实脑电信号，真实脑电信号中包括了事件相关电位和非事件相关电位。真实脑电信号标注模块200将第一标签标注事件相关电位，将第二标签标注非事件相关电位，则真实样本实际上是由标注了第一标签的事件相关电位和标注了第二标签的非事件相关电位组成。
参照图2，对于生成器300，噪声信号是由外部的信号产生模块由300维标准正态分布随机产生后输入至生成器300中。噪声信号从第一输入层31输入；随机生成分类标签在第一输入层31添加至噪声信号，当然添加至噪声信号的分类标签包括第一标签和第二标签。噪声信号经过第一全连接层32、第一ReLU函数、第二全连接层33、第一归一化函数、第二ReLU函数、上采样层34、裁剪层35、第二归一化函数、第三ReLU函数、第一卷积层36生成32通道的重构样本。重构样本通过第一输出层37输出至共享模块400。重构样本同样包括标注有第一标签的事件相关电位和标注有第二标签的非事件相关电位。
具体地，第一全连接层32具有1024个神经元，第二全连接层33具有73728个神经元；第一ReLU函数、第二ReLU函数和第三ReLU函数均为Leaky Relu函数。经过第二ReLU函数激活后进入上采样层34的信号大小为9×64×128。在上采样层34中，以2倍为因子，经过第一次上采样，信号大小提高至18×128×128，第一次上采样是在具有双三次插值的卷积层341中进行；经过第二次上采样，信号大小提高至36×256×128，第二次上采样是在具有双线性权重初始化的反卷积层342。通过裁剪层35裁剪成大小为32×160×128的信号，经过第二归一化函数和第三ReLU函数生成大小为32×160×1的信号，应用具有3×3内核的卷积层生成32通道的重构样本，重构样本实际是二维的脑电信号图像。
需要说明的是，不同的上采样层34会对脑电信号的频率和幅度造成不同的影响。上采样组合包括进行两次反卷积的DC-DC、进行两次双三次插值EEG-GAN-BCBC、进行两次最近邻插值EEG-GAN-NNNN、以及进行两次双线性权重初始化的反卷积的DCBL-DCBL。但，DC-DC、DCBL-DCBL会产生了相当低的幅值伪影，这主要是由于去卷积的“棋盘效应”；另一方面，EEG-GAN-BCBC和EEG-GAN-NNNN可以匹配信号的频率，但无法生成正确的幅度。而对比以上的上采样方法，采用该上采样层34能更有利于生成器300生成重构样本，使生成器300生成的重构样本达到欺骗判别器500的期望的效率更高，同时为减少伪像和改善网络的训练和分类方面提供了更佳性能。
在共享模块400中，将真实样本和重构样本组合成总样本，然后分配输出至分类器600和判别器500。共享模块400设有共享层，共享层用于将总样本分配输出。需要说明的是，真实样本和重构样本组合成总样本该步是在共享层外完成。分类器600和判别器500共同使用共享模块400中的总样本。
参照图3，对于判别器500，判别器500采用CNN架构；判别器500包括依次连接的第二输入层51、第二卷积层52、第四ReLU函数、第三卷积层53、第五ReLU函数、第四卷积层54、第三全连接层55、第四全连接层56、第六ReLU函数、第五全连接层57和第二输出层58。具体地，进入至第二卷积层52的信号大小为32×160×64，经第四ReLU函数处理进入第三卷积层53的信号大小为32×80×128，经第五ReLU函数处理进入第四卷积层54的信号大小为8×40×128；第三全连接层55具有40960个神经元，第四全连接层56具有1024个神经元，第五全连接层57具有1个神经元。
另外，判别器500在第二卷积层52前为总样本添加平均值为0，标准差为0.05的高斯白噪声以避免零梯度和提高判别器500的训练稳定性。进入至第二卷积层52的信号大小为32×160×64。
由于判别器500与生成器300是相互对抗、相互竞争的网络模块，判别器500需要判断总样本中的每个数据为真实脑电信号或噪声信号，即判断数据是真实的还是重构的。生成器300的任务则为生成“真实”的重构样本，以欺骗判别器500。这就容易导致极小极大决策，会使网络不稳定。通过Wasserstein距离解决该问题，Wasserstein距离按照以下的式子计算
Figure BDA0002426264790000101
Xr表示真实样本，Xf表示重构样本，Tr表示真实样本的分布，Tf表示重构样本的分布；φD表示决定判别器500的损失的参数。另外，使用Wasserstein距离要求判别器500具有K-Lipschitz连续性，则需要将判别器500D的权重裁剪到区间[-c，c]之内来实现。同时为了更好地在判别器500上实现K-Lipschitz连续性，通过在该脑电信号生成网络的损耗上增加梯度损失函数来实现，梯度损失函数如下：
Figure BDA0002426264790000102
其中λ是控制脑电信号生成网络的损耗与梯度损失函数之间权衡的超参数，/>
Figure BDA0002426264790000103
表示总样本位于Tr和Tf之间的直线上。
通过训练判别器500，可最大程度地减少Wasserstein距离，即能减少判别器500的损失
Figure BDA0002426264790000111
有效提高训练的稳定性和收敛性，有利于高分辨率样本的生成。φG表示决定生成器300的损失的参数。参数带*表示该参数已确定为固定值。
对于分类器600，分类器600识别总样本的每个数据生成识别标签，然后对照每个数据的总分类标签，确认分类器600的分类结果是否正确。分类器600根据分类结果的正确率和损失反馈信息至生成器300。分类标签用于监督学习，还起到对生成的重构样本优化的作用，有利于生成器300生成事件相关电位。在整体的脑电信号生成网络的训练过程中，对于固定的φG，最大程度地减少分类器600的损失，分类器600的损失如下：
Figure BDA0002426264790000112
yf为事件相关电位的标签。φH表示决定共享模块400的损失的参数。
另外，通过训练，对于固定的φG，最大程度地减少判别器500和分类器600的合并损失，合并损失如下：
Figure BDA0002426264790000113
最终，使生成器300的修正损失最小化，此时φD、φc和φH是固定值，生成器300的修正损失为
Figure BDA0002426264790000114
此时生成器300生成的重构样本最优，判别器500无法判别出生成器300生成的重构样本的真伪性，且重构样本多为事件相关电位。
当生成器、判别器和分类器的损失最小化且判别器和分类器的合并损失最小化，该脑电信号生成网络整体收敛。
通过该脑电信号生成网络能高效地生成大量高质量的事件相关电位数据，解决了脑机接口领域的数据小样本问题。
本发明的另一个实施例，一种脑电信号生成方法，包括以下步骤：
采集真实脑电信号；
预处理真实脑电信号；
将预处理后的真实脑电信号输入至如上的脑电信号生成网络以生成新的事件相关电位。
在该方法实施例中，由于是采用和上述相同的脑电信号生成网络生成新的时间相关电位，因此对应地，脑电信号生成网络的处理步骤如上，在此不再详述。同样地，也具有相同的有益效果。
进一步，采集真实脑电信号具体为：通过脑电信号采集仪器采集多位受试者观看字符矩阵时产生的脑电信号，字符矩阵以额定频率随机闪烁其中的多个字符；事件相关电位是受试者看见指定字符闪烁产生的电位信号，非事件相关电位是受试者看见不包含指定字符的多个字符闪烁产生的电位信号。
26个英文字母字符、9个数字字符和一个符号字符共同组成6X6的字符矩阵，字符矩阵以5.7Hz的频率连续且随机地闪烁单行或单列的字符。对于采集到的真实脑电信号中事件相关电位与非事件相关电位的比例最优为1:5。指定字符是操作员指定的字符矩阵中的一个字符或多个字符。
进一步，预处理真实脑电信号具体为：将真实脑电信号进行截止频率为20Hz的低通滤波，以保留频率集中分布在0.1-20Hz之间的真实脑电信号，去除无关频段的噪声信号成分；将多个真实脑电信号的波形按照时间轴对齐，累加后取平均值。为完整获得事件相关电位，时间窗口的大小选取0毫秒-667毫秒为佳，得到的数据大小为32X160。
具体地，在试验中，对多个真实脑电信号的波形按照时间轴对齐并累加5次后取平均值；以及对多个真实脑电信号的波形按照时间轴对齐并累加10次后取平均值。再将这两个经预处理后的结果输入至脑电信号生成网络。对脑电信号生成网络的分类效果进行检验，结果如图4和图5所示，可以看出该脑电信号生成网络对事件相关电位识别准确率高，具有优秀的分类效果。对脑电信号生成网络生成的事件相关电位的质量进行检验，结果如图6至图9所示，可以看出该脑电信号生成网络生成的重构样本中的事件相关电位质量高，能达到接近真实脑电信号的事件相关电位的效果。
本发明的另一个实施例，提供了存储介质，存储有可执行指令，可执行指令能被计算机执行，使计算机执行如上所述的脑电信号生成方法。
存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (9)

1.一种脑电信号生成网络，其特征在于，包括：
真实脑电信号输入端，所述真实脑电信号输入端用于输入真实脑电信号，所述真实脑电信号包括事件相关电位和非事件相关电位；真实脑电信号标注模块，所述真实脑电信号标注模块用于将真实脑电信号与真实分类标签结合生成真实样本，所述真实分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
生成器，所述生成器用于将噪声信号与随机生成分类标签结合生成多通道的重构样本，所述生成器设有上采样层，所述上采样层包括具有双三次插值的卷积层和具有双线性权重初始化的反卷积层，所述随机生成分类标签包括标识事件相关电位的第一标签和标识非事件相关电位的第二标签；
共享模块，所述共享模块用于将所述真实样本和所述重构样本组合成总样本并分配输出；
判别器，所述判别器用于判断所述总样本中的每个数据为真实脑电信号或噪声信号，所述判别器具有基于Wasserstein距离的梯度损失函数，所述判别器与所述生成器构成对抗关系；
分类器，所述分类器用于分类所述总样本中的每个数据为事件相关电位或非事件相关电位，和用于根据总分类标签判断分类结果的正确性，所述总分类标签包括所述真实分类标签和所述随机生成分类标签；
通过训练，使所述生成器、所述判别器和所述分类器的损失最小化且所述判别器和所述分类器的合并损失最小化，并生成新的事件相关电位；
其中，所述判别器的损失如下：
Figure FDA0004003795480000021
所述分类器的损失如下：
Figure FDA0004003795480000022
所述生成器的损失如下：
Figure FDA0004003795480000023
所述合并损失如下：
Figure FDA0004003795480000024
式中，Xr表示真实样本，Xf表示重构样本，Tr表示真实样本的分布，Tf表示重构样本的分布；φD表示决定判别器的损失的参数，φG表示决定生成器的损失的参数，
φH表示决定共享模块的损失的参数，yf为事件相关电位的标签。
2.根据权利要求1所述的一种脑电信号生成网络，其特征在于，所述生成器包括依次连接的第一输入层、第一全连接层、第一ReLU函数、第二全连接层、第一归一化函数、第二ReLU函数、所述上采样层、裁剪层、第二归一化函数、第三ReLU函数、第一卷积层和第一输出层。
3.根据权利要求2所述的一种脑电信号生成网络，其特征在于，所述生成器通过所述第一输入层输入由多维标准正态分布产生的所述噪声信号；所述第一输入层还用于添加所述随机生成分类标签。
4.根据权利要求1所述的一种脑电信号生成网络，其特征在于，所述判别器采用CNN架构；所述判别器包括依次连接的第二输入层、第二卷积层、第四ReLU函数、第三卷积层、第五ReLU函数、第四卷积层、第三全连接层、第四全连接层、第六ReLU函数、第五全连接层和第二输出层。
5.根据权利要求4所述的一种脑电信号生成网络，其特征在于，所述判别器在所述第二卷积层前为所述总样本添加高斯白噪声以避免零梯度。
6.一种脑电信号生成方法，其特征在于，包括以下步骤：
采集真实脑电信号；
预处理所述真实脑电信号；
将预处理后的所述真实脑电信号输入至如权利要求1至5任一项所述的脑电信号生成网络以生成新的事件相关电位。
7.根据权利要求6所述的一种脑电信号生成方法，其特征在于，所述采集真实脑电信号具体为：通过脑电信号采集仪器采集多位受试者观看字符矩阵时产生的脑电信号，所述字符矩阵以额定频率随机闪烁其中的多个字符；所述事件相关电位是所述受试者看见指定字符闪烁产生的电位信号，所述非事件相关电位是所述受试者看见不包含所述指定字符的多个字符闪烁产生的电位信号。
8.根据权利要求6所述的一种脑电信号生成方法，其特征在于，所述预处理所述真实脑电信号具体为：将所述真实脑电信号进行低通滤波；将多个所述真实脑电信号的波形按照时间轴对齐，累加后取平均值。
9.存储介质，其特征在于，存储有可执行指令，所述可执行指令能被计算机执行，使所述计算机执行如权利要求6至8任一项所述的脑电信号生成方法。
CN202010221535.7A 2020-03-26 2020-03-26 一种脑电信号生成网络、方法及存储介质 Active CN111428648B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010221535.7A CN111428648B (zh) 2020-03-26 2020-03-26 一种脑电信号生成网络、方法及存储介质
PCT/CN2020/100344 WO2021189705A1 (zh) 2020-03-26 2020-07-06 一种脑电信号生成网络、方法及存储介质
US17/004,822 US20210298627A1 (en) 2020-03-26 2020-08-27 Eeg signal generation network, method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221535.7A CN111428648B (zh) 2020-03-26 2020-03-26 一种脑电信号生成网络、方法及存储介质

Publications (2)

Publication Number Publication Date
CN111428648A CN111428648A (zh) 2020-07-17
CN111428648B true CN111428648B (zh) 2023-03-28

Family

ID=71548779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221535.7A Active CN111428648B (zh) 2020-03-26 2020-03-26 一种脑电信号生成网络、方法及存储介质

Country Status (3)

Country Link
US (1) US20210298627A1 (zh)
CN (1) CN111428648B (zh)
WO (1) WO2021189705A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112232129A (zh) * 2020-09-17 2021-01-15 厦门熙重电子科技有限公司 基于生成对抗网络的电磁信息泄漏信号仿真***及方法
CN112603337A (zh) * 2020-12-21 2021-04-06 广东海洋大学 一种脑电信号识别方法
CN112807000B (zh) * 2021-02-04 2023-02-28 首都师范大学 鲁棒性脑电信号的生成方法及装置
CN113673347A (zh) * 2021-07-20 2021-11-19 杭州电子科技大学 一种基于Wasserstein距离的表征相似对抗网络
CN113768523B (zh) * 2021-11-11 2022-04-22 华南理工大学 基于对抗生成网络的二便预警方法与***
CN116541766B (zh) * 2023-07-04 2023-09-22 中国民用航空飞行学院 脑电数据修复模型的训练方法、脑电数据修复方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564039A (zh) * 2018-04-16 2018-09-21 北京工业大学 一种基于半监督深层生成对抗网络的癫痫发作预测方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10299695B2 (en) * 2012-08-02 2019-05-28 The Trustees Of Columbia University In The City Of New York Systems and methods for identifying and tracking neural correlates of baseball pitch trajectories
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
CN107844755B (zh) * 2017-10-23 2021-07-13 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法
CN110069958B (zh) * 2018-01-22 2022-02-01 北京航空航天大学 一种密集深度卷积神经网络的脑电信号快速识别方法
CN109770924B (zh) * 2019-01-24 2020-06-19 五邑大学 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法
CN110222643B (zh) * 2019-06-06 2021-11-30 西安交通大学 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564039A (zh) * 2018-04-16 2018-09-21 北京工业大学 一种基于半监督深层生成对抗网络的癫痫发作预测方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于降噪自编码神经网络的事件相关电位脑电信号分析方法;王洪涛 等;《控制理论与应用》;20190430;第36卷(第4期);第1-2页 *

Also Published As

Publication number Publication date
WO2021189705A1 (zh) 2021-09-30
US20210298627A1 (en) 2021-09-30
CN111428648A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428648B (zh) 一种脑电信号生成网络、方法及存储介质
Dayan et al. Selective Bayes: Attentional load and crowding
Hsu Application of competitive Hopfield neural network to brain-computer interface systems
Albasri et al. EEG electrode selection for person identification thru a genetic-algorithm method
Taqi et al. Classification and discrimination of focal and non-focal EEG signals based on deep neural network
CN113191395B (zh) 一种基于双脑的多层次信息融合的目标检测方法
CN109770900B (zh) 基于卷积神经网络的脑机接口指令下发方法、***、装置
Köster et al. A two-layer model of natural stimuli estimated with score matching
Kim et al. Arrhythmia detection model using modified DenseNet for comprehensible Grad-CAM visualization
CN112545532A (zh) 用于脑电信号分类识别的数据增强方法及***
CN117503057B (zh) 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质
Vaishnav et al. Understanding the computational demands underlying visual reasoning
Liu et al. A three-branch 3D convolutional neural network for EEG-based different hand movement stages classification
Coutinho et al. Evidence of emotion-antecedent appraisal checks in electroencephalography and facial electromyography
Wang et al. A generalized zero-shot learning scheme for SSVEP-based BCI system
Leela et al. Prediction and classification of Alzheimer disease categories using integrated deep transfer learning approach
Wang et al. Mid-level feature differences support early animacy and object size distinctions: evidence from electroencephalography decoding
Arnout et al. Visual evaluation of generative adversarial networks for time series data
Bahrami et al. Using low-dimensional manifolds to map relationships between dynamic brain networks
CN114578967A (zh) 一种基于脑电信号的情感识别方法及***
Yazid et al. Variable step dynamic threshold local binary pattern for classification of atrial fibrillation
Li et al. A mild cognitive impairment diagnostic model based on IAAFT and BiLSTM
De Cesarei et al. Categorization goals modulate the use of natural scene statistics
Loke et al. A Critical Test of Deep Convolutional Neural Networks' Ability to Capture Recurrent Processing in the Brain Using Visual Masking
Wang et al. Spatial filtering pipeline evaluation of cortically coupled computer vision system for rapid serial visual presentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240204

Address after: No. 60 Mingtang Road, Taishan District, Taian City, Shandong Province, 271000

Patentee after: SHANDONG HAITIAN INTELLIGENT ENGINEERING Co.,Ltd.

Country or region after: China

Address before: No.22, Dongcheng village, Pengjiang district, Jiangmen City, Guangdong Province

Patentee before: WUYI University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240509

Address after: 010000 Room 701, Overseas Chinese Entrepreneurship Park, Ruyi Headquarters Base, Hohhot Economic and Technological Development Zone, Inner Mongolia Autonomous Region

Patentee after: Inner Mongolia Shenkang Medical Technology Co.,Ltd.

Country or region after: China

Address before: No. 60 Mingtang Road, Taishan District, Taian City, Shandong Province, 271000

Patentee before: SHANDONG HAITIAN INTELLIGENT ENGINEERING Co.,Ltd.

Country or region before: China