CN112545532A - 用于脑电信号分类识别的数据增强方法及*** - Google Patents
用于脑电信号分类识别的数据增强方法及*** Download PDFInfo
- Publication number
- CN112545532A CN112545532A CN202011344088.0A CN202011344088A CN112545532A CN 112545532 A CN112545532 A CN 112545532A CN 202011344088 A CN202011344088 A CN 202011344088A CN 112545532 A CN112545532 A CN 112545532A
- Authority
- CN
- China
- Prior art keywords
- data
- electroencephalogram
- artificial
- training
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Power Engineering (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于脑电信号处理技术领域,特别涉及一种用于脑电信号分类识别的数据增强方法及***,采集用于训练任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。本发明能够有效解决脑电样本匮乏等问题,能够提升生成的人工样本的逼真性和数据的多样性,便于脑电目标识别训练学习,以增强脑电分类器性能,具有较好的应用前景。
Description
技术领域
本发明属于脑电信号处理技术领域,特别涉及一种用于脑电信号分类识别的数据增强方法及***。
背景技术
脑电由于便携性、无创性、时间分辨率高,被广泛应用在BCI***中的字母拼读、身份认证、目标检测等领域。目前脑电的数据量仍是BCI领域的瓶颈,实验设计中考虑到疲惫状态下的被试脑电数据质量不佳,被试生理的限制导致一次实验的采集的试次量一般在500以下。一个小规模的30人次脑电数据库采集周期约为两个月,大规模的脑电数据采集更极大地增加了研究成本并延长了实验周期。此外实验设计中常用的Oddball范式要求目标试次出现评率低于30%,这使得目标样本的数量更加稀少。BCI技术存在训练样本量不足、正负样本不均衡问题,导致正确率不足、交互效率不高,这严重影响了用户体验并限制了脑机接口的推广。
发明内容
为此,本发明提供一种用于脑电信号分类识别的数据增强方法及***,有效解决脑电样本匮乏等问题,能够提升生成的人工样本的逼真性和数据的多样性,便于脑电目标识别训练学习,以增强脑电分类器性能。
按照本发明所提供的设计方案,一种用于脑电信号分类识别的数据增强方法,包含如下内容:
采集用于训练任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
作为本发明用于脑电信号分类识别的数据增强方法,进一步的,针对静息态脑电信号,首先进行标准化并通过分割生成无重叠数据段再进行拟合训练。
作为本发明用于脑电信号分类识别的数据增强方法,进一步地,利用对抗生成网络拟合训练中,将静息态脑电信号作为对抗生成网络生成器输入,利用对抗网络鉴别器对生成器输出及任务态脑电信号进行真假判别并反馈给对抗网络生成器进行拟合训练。
作为本发明用于脑电信号分类识别的数据增强方法,进一步地,对抗生成网络生成器输出端和鉴别器对应输入端两者之间还设置有用于对数据进行滤波处理的低通滤波器。
作为本发明用于脑电信号分类识别的数据增强方法,进一步地,采用参数为0-40hz的低通滤波器对数据进行滤波处理。
作为本发明用于脑电信号分类识别的数据增强方法,进一步地,设置多个用于通过拟合训练生成人工脑电信号数据的对抗生成网络,每个对抗生成网络的输入分别训练其各自生成器,利用训练后的生成器来输出人工脑电信号数据。
作为本发明用于脑电信号分类识别的数据增强方法,进一步地,设置幅度放缩倍数,通过该幅度放缩倍数对人工脑电信号数据幅度进行放大或缩小,再与真实脑电信号混合以获取样本数据。
进一步地,基于上述的方法,本发明还提供一种用于脑电信号分类识别的数据增强***,包含:拟合训练模块和样本获取模块,其中,
拟合训练模块,用于采集任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
样本获取模块,用于通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
进一步地,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时执行上述的方法
进一步地,本发明还提供一种计算机设备,包含处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以执行上述的方法。
本发明的有益效果:
本发明针对脑机交互技术中的数据量不足、正负样本不均衡等问题严重限制脑机接口的分类性能和交互速度,利用基于生成对抗网络GAN的数据增强来构建人工脑电信号并和真实脑电信号的混合形成样本训练集,通过人工信号逼真性和生成数据的多样性来提升分类器性能。并进一步利用图片目标检测通过本案数据增强的分类器性能在开集和闭集的测试数据,尤其是开集测试在少量特征分类性能提升20-25%,最高分类性能可提升3-5%,在节省被试数量方面,本案方案至少减少了73%的被试数量和采集成本,具有较好的应用前景。
附图说明:
图1为实施例中利用数据增强进行目标分类检测识别的流程示意;
图2为实施例中真实脑电信号和人工脑电信号对比示意;
图3为实施例中混合样本聚类分布示意;
图4为实施例中混合样本准确率示意;
图5为实施例中混合样本AUC值示意;
图6为实施例中加入人工数据的开集分类性能示意;
图7为实施例中对抗生成网络收敛性和稳定性示意。
具体实施方式:
为使本发明的目的、技术方案和优点更加清楚、明白,下面结合附图和技术方案对本发明作进一步详细的说明。
针对脑机接口分类交互中存在的脑电样本匮乏等问题,本发明实施例,提供一种用于脑电信号分类识别的数据增强方法,包含如下内容:
S101、采集用于训练任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
S102、通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
基于脑电的脑机交互技术被广泛关注并成为研究热点。然而脑机交互技术中的数据量不足、正负样本不均衡的问题仍未有效改善,这严重限制了脑机接口的分类性能和交互速度。近年来人工智能在各个领域都成为热点话题,其中对抗生成网络在神经科学的应用逐渐深入,为传统的BCI***提供了新的技术支持。GANs的引入使得数据驱动的数据合成方法成为可能;这种方法在医学成像领域取得了巨大的成功。GAN通过训练生成器和分类器之间的多轮博弈,使得生成器产生的虚假数据分布趋近于真实数据分布,被广泛应用于图像生成研究。GAN拟合训练样本的空间分布,其生成的人工数据不仅具有真实样本的属性而且具有扩展性和一定的创新性。GAN生成的样本不局限于真实样本的特征分布,而是在真实样本的模式上提升人工样本的多样性。因此GAN成为BCI领域有效的数据增强方法,其生成的人工数据缓解了样本不均问题、样本不足、过拟合的问题。
现有基于GAN的脑机接口数据增强方法都应用于信噪比较好的频域、空域任务,对于信噪比较低、识别难度较大的时域任务缺少研究。并且多数研究将图像领域的GAN网络直接应用于EEG信号,这类人工网络更关注图片的纹理、边缘和语义信息,而未对脑电信号的信噪比低、被试差异性大、信号波动性强的特点进行适应性改进。基本GAN由生成器和鉴别器组成。生成器对输入噪声进行变换以迷惑鉴别器,而鉴别器不断提高对人工数据和真实数据的分类能力。GAN交替训练生成器网络和鉴别器网络,使生成器的输出更接近真实的数据分布。经过几轮迭代升级,最终的生成器和鉴别器达到纳什均衡。
作为本发明实施例中的用于脑电信号分类识别的数据增强方法,进一步的,针对静息态脑电信号,首先进行标准化并通过分割生成无重叠数据段再进行拟合训练。用受试者的静息态数据代替高斯白噪声输入,可通过最大值法和最小值法对输入的静息态数据进行标准化。静息态数据在大多数脑电实验中均被采集,其作为被试大脑的基础状态经常被用来对比任务态的大脑响应。通过截取用户在实验前的3分钟静息态数据以及观察十字注视点的数据,并将静息态数据可分割为每段16点的无重叠数据段。静息态与任务态的幅度、潜伏期具有相关性。脑电信号具有波动性和随机性,因此,具有被试先验信息的静息态数据与高斯白噪声同样可作为噪声输入。利用对抗生成网络拟合训练中,将静息态脑电信号作为对抗生成网络生成器输入,利用对抗网络鉴别器对生成器输出及任务态脑电信号进行真假判别并反馈给对抗网络生成器进行拟合训练。
作为本发明实施例中的用于脑电信号分类识别的数据增强方法,进一步地,对抗生成网络生成器输出端和鉴别器对应输入端两者之间还设置有用于对数据进行滤波处理的低通滤波器。进一步地,采用参数为0-40hz的低通滤波器对数据进行滤波处理。
由于脑电数据信噪比较低导致数据波动明显,并且不同被试的脑电数据脑电有差异较大。通过观察真实EEG信号中的ERP有效成分在40hz以下,而生成的人工数据包含较多毛刺并且在高频有明显噪声。可在生成器输出端设置了0-40hz的低通滤波器,经过低通滤波器的人工信号再进入GAN的鉴别器进行真假数据鉴别。
作为本发明实施例中的用于脑电信号分类识别的数据增强方法,进一步地,设置多个用于通过拟合训练生成人工脑电信号数据的对抗生成网络,每个对抗生成网络的输入分别训练其各自生成器,利用训练后的生成器来输出人工脑电信号数据。进一步地,设置幅度放缩倍数,通过该幅度放缩倍数对人工脑电信号数据幅度进行放大或缩小,再与真实脑电信号混合以获取样本数据。
利用多个人工网络共同生成数据并进行幅度放缩。为了提升人工样本多样性,一方面对BCI-WGAN的输出到目标检测***的人工脑电数据进行幅度随机。可在人工脑电数据和混合真实数据前***幅度随机模块,对人工生成脑电数据进行0.9-1.1倍的幅度放缩以增加人工样本多样性。另一方面,每个通道的脑电信号分别训练10个不同迭代轮数的生成器,10个生成器输出等量的人工样本到训练集中,以对样本数据进行数据增强处理。
进一步地,基于上述的方法,本发明实施例还提供一种用于脑电信号分类识别的数据增强***,包含:拟合训练模块和样本获取模块,其中,
拟合训练模块,用于采集任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
样本获取模块,用于通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
参见图1所示,整个分类识别检测包含:网络训练模块、分类器训练模块、目标测试模块,利用生成对抗网络BCI-WGAN网络的训练框架,生成人工的脑电数据以缓解训练集中正负样本不均的问题;分类器训练,在真实脑电数据训练集中混合人工脑电数据以达到样本均衡,通过数据增强方法提升分类器性能;目标测试模块为应用真实被试的数据来测量目标检测***性能。依据真实脑电信号进行BCI-WGAN的训练,完成训练的BCI-WGAN生成充足的人工脑电数据;将生成的正样本人工数据与真实正样本混合,使得训练集中的混合正样本量与负样本量相当,之后依据混合样本的训练集来训练图像目标检测分类器;使用真实被试的脑电信号进行图像检索***的性能测试。
为验证本案实施例方案有效性,下面结合实验数据做进一步解释说明:
图2展示了在16个通道分别进行了ERP平均,所有真实被试的平均ERP(深色曲线)和人工脑电数据的平均ERP(浅色曲线)对比,阴影宽度为人工脑电数据的标准差。人工脑电信号在潜伏期、幅值、成分、细节上都与真实信号十分相似,这显示了BCI-WGAN生成数据的逼真性和有效性。在16个通道中的人工脑电的方差呈现了和真实脑电数据相似的波动特性,这表明生成的人工信号以真实信号为模板进行了有效扩展,这提升了人工脑电的多样性。本案中生成对抗网络BCI-WGAN生成的正样本人工脑电数据在各个通道的结果。深色曲线为19名被试看到目标图片的真实脑电信号叠加平均,浅色曲线为各个通道的20000个人工脑电信号叠加平均。人工脑电样本与真实脑电信号数据差异在整体趋势上差异较小,并且人工样本在细节处也能有效模仿真实脑电。BCI-WGAN学习真实脑电中最显著的p300成分,多数导联显示其潜伏期为400ms~600ms。人工脑电和真实脑电的p300信号最高幅值均在500ms附近。人工和真实的P300起始时刻均为400m、终止时刻均为800ms。真实脑电信号在p300成分后出现了负电压缓慢趋零的慢波,人工脑电信号同样出现了慢波成分。BCI-WGAN不仅能学习到真实脑电的明显成分,而且在慢波成分中学习到了细微的抖动成分,人工脑电信号在多数导联的900ms-1500ms的微小成分都实现了准确模仿。人工脑电数据的方差表明单试次的人工样本有较强的波动性,不同人工脑电样本之间的差异性明显。人工脑电样本的多样性降低了训练集过拟合的风险,并且模仿了真实脑电的波动性和随机性。一方面,人工脑电信号对真实脑电信号进行了准确模仿,两者的均值在潜伏期、幅值、成分、细节都有很好的相似性。另一方面,人工脑电信号以真实脑电信号为基线模式进行扩展和发散,人工脑电的单个样本具有丰富的多样性。
参见图3所示,将人工数据和真实样本混合,并测试混合样本在训练集中的聚类表现。将本案中生成对抗网络BCI-WGAN方法广泛对比常用的的样本不均衡处理方法,包括3种生成人工数据方法:SMOTE、SMOTE-border、Adasyn,以及2种采样方法:过采样和降采样。过采样和过采样并未生成人工数据使正负样本均衡。2种采样方法通过重复少数正样本和采样多数负样本达到样本均衡,因此容易导致正样本的过拟合以及负样本的不充分使用。图A中展示混合正样本(混合了人工数据和目标试次)和负样本(负样本)的分布结果。分布结果中的每个散点代表一个试次,相应颜色的十字和透明圆圈半径分别代表类别中心和分散程度。使用T-sne聚类方法将128维特征降到2维以实现可视化。大比例的降维影响特征的分类性能性,但是仍能看出BCI-WGAN数据生成方法的突出的聚类性能。BCI-WGAN数据生成方法中正、负样本中心的欧式距离最远显示了其突出的区分性,并且透明圆半径范围相对较小表明其样本有较好的稳定性。其余5中传统方法,在特征数量大幅下降后的正负样本重叠面积较大、分布差异性较小。图B、C、D量化展示了分布的类间距、类内距、类间距和类内局比值。结果显示BCI-WGAN方法的样本类间距是其余常用方法的十倍以上。类间距结果表明BCI-WGAN方法生成的人工数据提升了训练集中的正、负样本的区分度属性。类内距结果中BCI-WGAN方法类内距值排名第二低,这展示了其样本的聚类更紧凑和稳定。降采样方法较小的类内距主要源于其训练集中的样本数量为其余方法的一半。聚类指数是综合分析类间距、类内距比值结果,BCI-WGAN的比值结果是其余5种方法的21倍以上。生成人工样本的方法的聚类指数优于仅进行数据重复和抽取的过采样和降采样。本案中BCI-WGAN突出的聚类特征结果源于其在分辨性和稳定性两方面均有突出表现。
前期实验展示了训练集中样本的分布和质量,样本的最终性能体现在实际测试的分类效果。首先进行了五折交叉验证的闭集分类测试。分别训练LDA和LR分类器测试7种数据生成方法的效果。测试数据为样本不均衡的真实脑电数据,性能评价综合考虑了准确率、ROC、AUC。
图4展示了两种分类器的特征个数与正确率关系曲线。高维特征使用PCA方法降维至60以下。图4中A、B均显示正确率随特征个数增加而提升,尤其是特征个数在28-38提升明显。LDA分类器中的BCI-WGAN方法在所有特征个数上的正确率都显著优于其余5种方法5%-15%。LR分类器中的BCI-WGAN方法在高于30特征个数后的分类准确率最佳。BCI-WGAN方法在多数特征区间的分类准确率均为最高。5种常用的样本不均衡方法的分类准确率较为接近。
图5中,A展示了特征个数与AUC的关系曲线。AUC定义为ROC曲线的下面积,其值越接近1表明综合False Positive Rate和True Positive Rate的性能越好。特征个数与AUC的关系曲线和正确率曲线的趋势相近。BCI-WGAN方法在特征个数28-60区间的AUC值显著高于其他方法,并且60个特征数的AUC达到0.88。B展示了6种方法的ROC曲线。ROC曲线的较为对称,表明分类器对样本不均衡的测试数据仍然有较好的分类效果。BCI-WGAN方法的ROC曲线高于其余常用方法,并且顶点更接近(0,1)。6种样本不均衡方法的ROC表现顺序为BCI-WGAN、过采样、SMOTE、降采样、Adasyn、SMOTE-border。
BCI-WGAN方法在闭集测试中的展现了出色的分类结果。测试BCI-WGAN方法的开集分类性能,并分析了不同比例混合人工数据和真实数据的效果。为了研究更大跨度比例对分类器性能的影响,可通过设计15中混合比例从纯真实数据到纯人工数据。开集分类使用跨被试数据作为测试集。图6展示的分类结果为18名被试的平均AUC值。PCA降维方法提取特征的前60个主成分。开集略低于闭集的分类结果,这表明跨被试的个体差异性影响测试性能。图6中,A展示了在训练集中低比例混入人工数据的开集测试结果。黑色曲线代表基准正确率曲线,其训练集中的正样本不混入人工数据。特征个数少于18时,任何低比例混合数据的分类性能均高于纯的真实数据。部分混合比例(1:0.5,1:0.25,1:0.875)的正确率一直高于纯真实样本的训练集。图6中,B显示了高混合比例的开集测试结果,即训练集正样本中人工数据多于真实数据。AUC结果表明纯真实样本与恰当混合比例(真实:人工=1:2.75)的分类性能相当。但是训练集的正样本中的人工样本多于4倍的真实样本将导致严重的分类性能下降。
多数混入BCI-WGAN生成的人工样本训练集提升了分类器效果,尤其是在少量特征数时。混合样本与纯真实样本在2-5个主成分特征(红色虚线方框)的AUC值最高差异为0.06-0.25,这显示了混合样本在低维特征的分类优势。对于高维特征,混合数据的比纯真实数据的AUC可以提升0.02-0.05(1:0.25,1:0.5,1:0.875,1:2,1:2.75)。比例测试中的最佳组合为真实、人工数据数量比为1:0.5,其最高AUC值达到0.8624。真实数据与人工数据比例为0.25-2.75倍的分类性能有提升,并且两类数据量相当时的AUC提升最明显。节约采集被试的需求量是BCI-WGAN的另一重要优势。分类结果显示纯真实训练集和2.75比例(真实:人工=1:2.75)的混合样本效果相近。按照2.75的人工样本和真实比例,可只需要采集27%的真实数据并使用BCI-WGAN生成剩下的73%就可到可靠的分类模型。BCI-WGAN的生成数据节约了73%的脑电被试数量,这大大降低了脑电实验的周期和成本。
本案生成对抗网络BCI-WGAN的结构优势在于其针对脑电数据进行了结构改进而不是单纯拼凑人工网络模块。脑电数据的随机性和个体的差异性导致普通GAN训练经常崩溃并且难以收敛。普通GAN生成的人工脑电数据有大量毛刺,但这些毛刺是单纯的噪声不同于脑电节律性的波动。针对脑电特点,通过在结构中增加“脑电模块”来提升网络稳定性,稳定性的改进包括:输入高斯白噪声替换为脑电静息态信号、生成器末端增加低通滤波模块、Wassertein作为loss函数。图7对比了添加后不同脑电模块的生成数据质量提升。
脑电静息态信号替换输入高斯白噪声防止网络训练崩溃。在本实验的普通GAN训练中,梯度消失和脑电信号的波动性导致大部分网络在7000轮迭代以后崩溃。输入噪声替换静息态信号后的GAN网络不再出现崩溃。改进后的静息态输入GAN网络速度更快并且缓解了毛刺现象。由于脑电信号自身同时具有随机性和节律性。与高斯白噪声完全的随机性不同,脑电信号是不可预测的但其符合一定的频率规律。例如静息态脑电信号频率在100hz以下,幅度在100uv以下。此外,静息态脑电数据是大脑的基础神经状态,其可作为大脑任务状态的基线。目前研究表明静息态脑电与任务态信号的幅度、脑网络连接有较强的相关性,并可以通过被试的静息态信号一定程度上预测任务态结果。静息态信号具有噪声的随机性并与任务态信号有一定相关性。因此,可将被试在实验开始前的3分钟静息态睁眼信号进行分段处理,并作为GAN网络的输入噪声信号。在生成器末端增加低通模块有效降低人工数据的噪声。普通GAN网络的全连接层对相邻采样点间的相关性学习能力不足。人工噪声大量的毛刺和频繁的波动不符合真实脑电的节律性。真实脑电在目标检测任务时的频域能量集中在20hz以下,这限制并约束了点与点存在关联性。可通过低通模块来降低高频毛刺噪声并增加人工样本数据相邻点的关联性。加入低通模块的GAN网络主要明显改善过了人工数据的信噪比。Wassertein距离作为loss函数显著提升了GAN网络收敛性能。WGAN广泛应用于图像领域并有效解决了训练不稳定的问题。WGAN也有很好的收敛效果在处理脑电数据这类波动性较强的时间序列。WGAN只迭代350轮就达到了完全收敛,其生成的样本质量远高于7000轮迭代的普通GAN。BCI-WGAN的迭代轮数和训练时间相应减少了95%。3种针对脑电特点的适应性改进有效提升了GAN网络的收敛性和稳定性。
本发明实施例中,针对脑机接口中广泛应用的时域图像目标检索任务存在更严重的样本不均衡问题,并且由于信噪比较差、样本差异较大导致GAN网络更难以收敛。为了使GAN的结构更适合脑电样本,在生成对抗网络设计中考虑到脑电信噪比、分布相关性、生成多样性,对于训练集中的数据增强样本,通过直观对比人工信号和真实脑电信号的波形和脑电地形图,并从逼真性、多样性、联合特征分布和聚类效果等指标对人工信号和真实信号进行了综合性分析;在分类性能测试中,在图像目标检测数据集上进行了开集和闭集测试,并且分析了人工数据和真实数据在训练集中的混合比例对分类性能的影响。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法或***,本发明实施例还提供一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的***或执行上述的方法。
基于上述的***,本发明实施例还提供一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时执行上述的方法。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述***实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述***实施例中相应内容。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述***实施例中的对应过程,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的***、***和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述***的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种用于脑电信号分类识别的数据增强方法,其特征在于,包含如下内容:
采集用于训练任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
2.根据权利要求1所述的用于脑电信号分类识别的数据增强方法,其特征在于,针对静息态脑电信号,首先进行标准化并通过分割生成无重叠数据段再进行拟合训练。
3.根据权利要求1或2所述的用于脑电信号分类识别的数据增强方法,其特征在于,利用对抗生成网络拟合训练中,将静息态脑电信号作为对抗生成网络生成器输入,利用对抗网络鉴别器对生成器输出及任务态脑电信号进行真假判别并反馈给对抗网络生成器进行拟合训练。
4.根据权利要求3所述的用于脑电信号分类识别的数据增强方法,其特征在于,对抗生成网络生成器输出端和鉴别器对应输入端两者之间还设置有用于对数据进行滤波处理的低通滤波器。
5.根据权利要求4所述的用于脑电信号分类识别的数据增强方法,其特征在于,采用参数为0-40hz的低通滤波器对数据进行滤波处理。
6.根据权利要求1所述的用于脑电信号分类识别的数据增强方法,其特征在于,设置多个用于通过拟合训练生成人工脑电信号数据的对抗生成网络,每个对抗生成网络的输入分别训练其各自生成器,利用训练后的生成器来输出人工脑电信号数据。
7.根据权利要求1或6所述的用于脑电信号分类识别的数据增强方法,其特征在于,设置幅度放缩倍数,通过该幅度放缩倍数对人工脑电信号数据幅度进行放大或缩小,再与真实脑电信号混合以获取样本数据。
8.一种用于脑电信号分类识别的数据增强***,其特征在于,包含:拟合训练模块和样本获取模块,其中,
拟合训练模块,用于采集任务态脑电信号和静息态脑电信号,并利用对抗生成网络拟合训练生成人工脑电信号数据;
样本获取模块,用于通过对人工脑电信号数据进行幅度放缩,并混合真实脑电信号来获取包含多样性的样本数据,利用该样本数据对分类器进行训练学习,以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时执行权利要求1~7任一项所述的方法。
10.一种计算机设备,包含处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以执行权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011344088.0A CN112545532B (zh) | 2020-11-26 | 2020-11-26 | 用于脑电信号分类识别的数据增强方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011344088.0A CN112545532B (zh) | 2020-11-26 | 2020-11-26 | 用于脑电信号分类识别的数据增强方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112545532A true CN112545532A (zh) | 2021-03-26 |
CN112545532B CN112545532B (zh) | 2023-05-16 |
Family
ID=75045036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011344088.0A Active CN112545532B (zh) | 2020-11-26 | 2020-11-26 | 用于脑电信号分类识别的数据增强方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112545532B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269058A (zh) * | 2021-05-08 | 2021-08-17 | 西安邮电大学 | 一种基于gan模型和plv网络的运动想象识别方法 |
CN115429289A (zh) * | 2022-09-01 | 2022-12-06 | 天津大学 | 一种脑机接口训练数据扩增方法、装置、介质及电子设备 |
WO2023104179A1 (zh) * | 2021-12-09 | 2023-06-15 | 四川新源生物电子科技有限公司 | 针对脑电采集设备的脑电信号降噪模型的训练方法和*** |
CN116595456A (zh) * | 2023-06-06 | 2023-08-15 | 之江实验室 | 一种基于脑机接口的数据筛选和模型训练方法及装置 |
CN117892207A (zh) * | 2024-03-18 | 2024-04-16 | 中国科学院苏州生物医学工程技术研究所 | 多元强相关信号数据增强和数据均衡方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复***脑机接口关键技术方法 |
CN109740677A (zh) * | 2019-01-07 | 2019-05-10 | 湖北工业大学 | 一种基于主成分分析改进生成对抗网络的半监督分类方法 |
CN110310345A (zh) * | 2019-06-11 | 2019-10-08 | 同济大学 | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 |
CN110427799A (zh) * | 2019-06-12 | 2019-11-08 | 中国地质大学(武汉) | 基于生成对抗网络的人手深度图像数据增强方法 |
CN110706692A (zh) * | 2019-10-21 | 2020-01-17 | 上海交通大学 | 儿童语音识别模型的训练方法及*** |
CN111079893A (zh) * | 2019-11-05 | 2020-04-28 | 深圳大学 | 用于干涉条纹图滤波的生成器网络的获取方法和装置 |
CN111134667A (zh) * | 2020-01-19 | 2020-05-12 | 中国人民解放军战略支援部队信息工程大学 | 基于脑电信号的时间迁移情绪识别方法及*** |
US20200205712A1 (en) * | 2018-12-28 | 2020-07-02 | X Development Llc | Assessment of risk for major depressive disorder from human electroencephalography using machine learned model |
US20200265259A1 (en) * | 2019-02-16 | 2020-08-20 | Wipro Limited | Method and system for synthesizing three-dimensional data |
CN111882825A (zh) * | 2020-06-18 | 2020-11-03 | 闽江学院 | 一种基于类脑电波数据的疲劳预测方法及装置 |
-
2020
- 2020-11-26 CN CN202011344088.0A patent/CN112545532B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复***脑机接口关键技术方法 |
US20200205712A1 (en) * | 2018-12-28 | 2020-07-02 | X Development Llc | Assessment of risk for major depressive disorder from human electroencephalography using machine learned model |
CN109740677A (zh) * | 2019-01-07 | 2019-05-10 | 湖北工业大学 | 一种基于主成分分析改进生成对抗网络的半监督分类方法 |
US20200265259A1 (en) * | 2019-02-16 | 2020-08-20 | Wipro Limited | Method and system for synthesizing three-dimensional data |
CN110310345A (zh) * | 2019-06-11 | 2019-10-08 | 同济大学 | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 |
CN110427799A (zh) * | 2019-06-12 | 2019-11-08 | 中国地质大学(武汉) | 基于生成对抗网络的人手深度图像数据增强方法 |
CN110706692A (zh) * | 2019-10-21 | 2020-01-17 | 上海交通大学 | 儿童语音识别模型的训练方法及*** |
CN111079893A (zh) * | 2019-11-05 | 2020-04-28 | 深圳大学 | 用于干涉条纹图滤波的生成器网络的获取方法和装置 |
CN111134667A (zh) * | 2020-01-19 | 2020-05-12 | 中国人民解放军战略支援部队信息工程大学 | 基于脑电信号的时间迁移情绪识别方法及*** |
CN111882825A (zh) * | 2020-06-18 | 2020-11-03 | 闽江学院 | 一种基于类脑电波数据的疲劳预测方法及装置 |
Non-Patent Citations (2)
Title |
---|
MIRAKHORLI, JALAL,AMINDAVAR, HAMIDREZA等: "A new method to predict anomaly in brain network based on graph deep learning", 《REVIEWS IN THE NEUROSCIENCES》 * |
刘政,何峰,汤佳贝等: "基于深度学习的头皮脑电信息解码研究进展", 《中国生物医学工程学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269058A (zh) * | 2021-05-08 | 2021-08-17 | 西安邮电大学 | 一种基于gan模型和plv网络的运动想象识别方法 |
WO2023104179A1 (zh) * | 2021-12-09 | 2023-06-15 | 四川新源生物电子科技有限公司 | 针对脑电采集设备的脑电信号降噪模型的训练方法和*** |
CN115429289A (zh) * | 2022-09-01 | 2022-12-06 | 天津大学 | 一种脑机接口训练数据扩增方法、装置、介质及电子设备 |
CN115429289B (zh) * | 2022-09-01 | 2024-05-31 | 天津大学 | 一种脑机接口训练数据扩增方法、装置、介质及电子设备 |
CN116595456A (zh) * | 2023-06-06 | 2023-08-15 | 之江实验室 | 一种基于脑机接口的数据筛选和模型训练方法及装置 |
CN116595456B (zh) * | 2023-06-06 | 2023-09-29 | 之江实验室 | 一种基于脑机接口的数据筛选和模型训练方法及装置 |
CN117892207A (zh) * | 2024-03-18 | 2024-04-16 | 中国科学院苏州生物医学工程技术研究所 | 多元强相关信号数据增强和数据均衡方法 |
CN117892207B (zh) * | 2024-03-18 | 2024-05-14 | 中国科学院苏州生物医学工程技术研究所 | 多元强相关信号数据增强和数据均衡方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112545532B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112545532A (zh) | 用于脑电信号分类识别的数据增强方法及*** | |
Yang et al. | A recurrence quantification analysis-based channel-frequency convolutional neural network for emotion recognition from EEG | |
CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
Puengdang et al. | EEG-based person authentication method using deep learning with visual stimulation | |
CN108776774A (zh) | 一种基于复杂度感知分类算法的面部表情识别方法 | |
Sequeira et al. | Iris liveness detection methods in mobile applications | |
Kawanabe et al. | Robust common spatial filters with a maxmin approach | |
Liu et al. | Facial age estimation using a multi-task network combining classification and regression | |
Kaya | Hidden pattern discovery on epileptic EEG with 1-D local binary patterns and epileptic seizures detection by grey relational analysis | |
CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
Douglas et al. | Single trial decoding of belief decision making from EEG and fMRI data using independent components features | |
Arnau-González et al. | ES1D: A deep network for EEG-based subject identification | |
Qin et al. | Finger-vein quality assessment by representation learning from binary images | |
Köster et al. | A two-layer model of natural stimuli estimated with score matching | |
Basavaraja et al. | Age estimation using disconnectedness features in handwriting | |
CN113486752A (zh) | 基于心电信号的情感识别方法及*** | |
Warrell et al. | Labelfaces: Parsing facial features by multiclass labeling with an epitome prior | |
Ibrahim et al. | Global vs. local features for gender identification using Arabic and English handwriting | |
Bahrami et al. | Using low-dimensional manifolds to map relationships between dynamic brain networks | |
Wang et al. | A generalized zero-shot learning scheme for SSVEP-based BCI system | |
Zhu et al. | A novel double-index-constrained, multi-view, fuzzy-clustering algorithm and its application for detecting epilepsy electroencephalogram signals | |
CN114065821A (zh) | 基于动态阈值的脑电主观情绪识别方法、***及存储介质 | |
Chen et al. | An iterative self-training support vector machine algorithm in brain-computer interfaces | |
Adamos et al. | In quest of the missing neuron: Spike sorting based on dominant-sets clustering | |
Chen et al. | Visual saliency detection: from space to frequency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |