CN114489321B - 基于多任务深度学习的稳态视觉诱发电位目标识别方法 - Google Patents
基于多任务深度学习的稳态视觉诱发电位目标识别方法 Download PDFInfo
- Publication number
- CN114489321B CN114489321B CN202111519737.0A CN202111519737A CN114489321B CN 114489321 B CN114489321 B CN 114489321B CN 202111519737 A CN202111519737 A CN 202111519737A CN 114489321 B CN114489321 B CN 114489321B
- Authority
- CN
- China
- Prior art keywords
- network
- steady
- evoked potential
- visual evoked
- state visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 42
- 230000000763 evoking effect Effects 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000000638 stimulation Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 101150060512 SPATA6 gene Proteins 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明请求保护一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，属于脑机接口技术领域，其包括以下步骤：通过脑电采集***采集稳态视觉诱发电位信号(SSVEP)；将采集的稳态视觉诱发电位信号进行降采样、滤波在内的预处理；将预处理好的电位信号按照窗口大小划分；将按照窗口大小划分好的信号与步骤对应传入到多任务学习模型中训练；使用训练好的多任务模型对被试者的稳态视觉诱发电位信号进行验证；将预测出来的结果与实际结果进行对比，完成目标识别。
Description
技术领域
本发明属于脑机接口技术领域，涉及一种基于深度学习的多任务的稳态视觉诱发电位目标识别方法。
背景技术
稳态视觉诱发电位(SSVEP)是视觉***对外部视觉刺激的响应，经过最近几十年的蓬勃发展，不仅在视觉注意、双眼竞争、大脑基本节律活动等认知过程的机制研究中发挥重要作用,而且在退化性疾病、癫痫、抑郁等临床神经医学疾病方面也被广泛研究。由于稳态视觉诱发电位具有操作简单、记录电极少、训练时间短、信息传输率高及抗干扰能力强等优点，近年来被广泛应用于脑-机接口(BCI)***的研究中。目前，众多研究学者对稳态视觉诱发电位从形成机理和功能应用方面进行了深入研究。详细总结了国内外稳态视觉诱发电位的研究概况，着重分析了稳态视觉诱发电位在脑-机接口***中的应用概况，并展望了稳态视觉诱发电位研究发展趋势。
SSVEP信号是与频率高度相关的信号，因此最初的研究采用多变量统计分析，包括典型相关分析(CCA)，通过探索两组变量之间的相关性，基于CCA的方法已经证明了其在基于多通道应用的情况下的强大性能。在这些工作之后有学者通过改善个体参考信号使分类性能得到了显着提高。
传统的机器学习算法在SSVEP识别上虽然已经取得了很好的效果，但是传统机器学习算法并不能提取SSVEP信号中更复杂的非线性特征。深度学习是机器学习中一种基于对数据进行表征学习的算法，可以有效的提取数据中的非线性特征。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。很多研究人员已经将深度学习应用到SSVEP解码与识别上并取得了不错的效果。但是由于这些SSVEP数据集数量往往很少，因此这些深度学习模型的某些层不能够充分的提取数据的特征。因此需要可以在小数据集上有效提升模型中间层的特征提取能力的深度学习模型。
经过检索，申请公开号CN111460200A，一种基于多任务深度学习的图像检索方法、模型及其构建方法，依据标签与标签的关系，以及标签与图像视觉内容的关系，设计损失函数指导标签的优化，在去除噪声标签，补全缺失标签，减少语义模糊标签的同时，并进一步精确地匹配每个图像区域的对应标签，从而用这些标签为哈希学习提供更精确地语义指导。为了高效地进行标签优化学习和哈希学习，提出一个端到端的联合学习框架，在标签学习的同时也进行哈希学习，两种学习相互受益；设计最终损失函数来共同指导标签学习和哈希学习，并使用动量的随机梯度下降法优化模型参数从而得到图像检索模型以及图像中的每个目标精细化的哈希表达。本发明的模型通过对模型1和模型2设置相同的分类任务并添加了模型3来限制模型1和模型2的相关系数，其目的是为了强化模型1的分类性能，进而使得前两层隐藏层的特征提取能力尽可能的强，并且在分析验证的时候采取了两个模型的输出进行加权来得到最终的结果，并不是只采用单个任务的结果。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于多任务深度学习的稳态视觉诱发电位目标识别方法。本发明的技术方案如下：
一种基于多任务深度学习的稳态视觉诱发电位目标识别方法，其包括以下步骤：
通过脑电采集***采集SSVEP稳态视觉诱发电位信号；
将采集的SSVEP稳态视觉诱发电位信号进行降采样、滤波在内的预处理；
将预处理好的SSVEP稳态视觉诱发电位信号按照窗口大小划分；
将按照窗口大小划分好的信号传入到多任务模型中训练；
使用训练好的多任务模型对被试者的SSVEP信号进行验证；
将预测出来的结果与实际结果进行对比，完成目标识别。
进一步的，所述通过脑电采集***采集SSVEP稳态视觉诱发电位信号，具体包括：被试者根据提示注视SSVEP刺激界面，其产生的SSVEP信号通过脑电采集***进行采集，采集步骤如下:
(1)被试者在坐在刺激界面屏幕正前方60cm；
(2)被试者被要求在数据采集过程中不要有动作；
(3)被试者根据刺激界面的提示来注视刺激目标，刺激界面显示在14寸的屏幕上，共有9个刺激目标，显示为数字1到9；刺激目标为10cm×10cm的方块，每个刺激目标之间的距离为20cm，刺激目标在闪烁前会有0.5s的变红提示。
进一步的，所述采集的SSVEP稳态视觉诱发电位信号进行包括带通滤波，陷波滤波等在内预处理，信号预处理步骤如下:
(1)将采集到的信号进行降采样到250hz，降采样的公式如下:
其中n表示第n个降采样点，序列h[*]是数位滤波器的脉冲响应，K是它的长度列，x[*]为要被降采样的原始讯号的取样点，M表示取样点间隔数，y[n]表示降采样后的数据的第n个点。
(2)将降采样后的信号使用巴特沃夫滤波器进行带通滤波；
(3)将带通滤波后的信号使用巴特沃夫滤波器进行陷波滤波。
进一步的，所述巴特沃夫滤波器指的是一种通频带之频率响应曲线平坦无纹波的信号处理滤波器；
带通滤波指的是允许特定频率信号通过的滤波器，降低或消除该频带上下频率的信号；
陷波滤波指的是可以在某一个频率点迅速衰减输入信号，以达到阻碍此频率信号通过的滤波效果；
进一步的，将预处理好的SSVEP稳态视觉诱发电位信号按照窗口大小划分；按照窗口大小划分指的是将时域的信号按照一定时间长度来划分后划分出来的信号。
进一步的，所述将按照窗口大小划分好的信号传入到多任务模型中训练，具体包括：
模型的架构由三个子网络组成:网络1，网络2，网络3，三个子网络分别对应三个输出；图二中前两层卷积神经网络属于网络1、网络2、网络3共享的隐藏层，第三层卷积神经网络以及后面紧接着的全连接层为网络2的独享结构，网络1的特征层输出后接一个全连接层输出为网络1的独享结构，网络1的特征层与网络2的特征层进行相关系数计算为网络3的独享结构。
将划分后的数据打乱顺序后输入到所述的深度学习模型中，使用Adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批32段信号，初始的学习率设置为0.005；
训练中网络1和网络2使用的损失函数为交叉熵，公式如下:
其中p表示真实标记的分布，q则为训练后的模型的预测标记分布，H(p,q)表示交叉熵。
训练中网络3使用的损失函数为corr_loss,公式如下:
其中，r(X,Y)表示X，Y之间的相关系数。X为网络1的特征层进行加权通道融合后的特征，表达式为:
X＝W1·F1
W1为通道融合权重，F1为网络1的特征层；
Y为网络2的特征层进行加权通道融合后的特征，表达式为:
Y＝W2·F2
W2为通道融合权重，F2为网络2的特征层；
Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差。
在训练300次迭代后得到训练好的深度学习多任务模型。
进一步的，所述使用训练好的多任务模型对被试者的SSVEP信号进行验证，具体包括：
(1)采集被试者新的数据，通过预处理方法后进行离线验证；
(2)被试者通过脑电采集***采集SSVEP稳态视觉诱发电位信号的方法采集新的数据，在采集过程中实时的处理数据，并且传入到深度学习模型中进行在线验证。
进一步的，所述将模型的验证结果进行对比，得到最终分类结果，具体比较方法的步骤如下:
(1)观察网络1和网络2的输出并且进行加权后求和，网络1的输出权重为1，网络2的输出权重为0.5；
(2)将加权后的向量进行sigmoid处理，得到一个值得大小在0-1范围的1×N的向量，N为刺激目标数；
(3)遍历softmax处理后的向量，找到最大值，最大值对应的位置就是刺激目标的序号。
本发明的优点及有益效果如下：
本发明的创新主要是：权利要求的步骤6中的多任务模型的设计，创新点主要是通过模型1对前两层卷积神经网络隐藏层进行了强化训练，加强了前两层卷积神经网络的特征提取能力。并且设定模型1和模型2训练相同的任务，并且由模型3对模型1和模型2进行相关系数的限制，因此进一步增强了模型1的效果，增强了模型1中与模型2中共享的两层卷积神经网络隐藏层的特征提取能力。权利要求的步骤8中的验证过程，不仅仅通过单个模型来确认SSVEP识别的目标，而是通过模型1和模型2的输出加权后，来识别最终的结果。
附图说明
图1是本发明提供优选实施例基于多任务深度学习的稳态视觉诱发电位目标识别方法步骤；
图2是多任务模型架构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，本发明的基于深度学习的多任务的SSVEP识别方法，包括如下步骤:1)SSVEP信号的采集，被试者根据提示注视SSVEP刺激界面，其产生的SSVEP信号通过脑电采集***进行采集，采集步骤如下:
(1)被试者在坐在刺激界面屏幕正前方60cm。
(2)被试者被要求在数据采集过程中尽量不要有动作。
(3)被试者根据刺激界面的提示来注视刺激目标。刺激界面显示在14寸的屏幕上，共有9个刺激目标，显示为数字1到9。刺激目标为10cm×10cm的方块，每个刺激目标之间的距离为20cm。刺激目标在闪烁前会有0.5s的变红提示。
2)将采集到的信号进行预处理，信号的预处理步骤如下:
(1)将采集到的信号进行降采样到250hz，降采样的公式如下:
其中n表示第n个降采样点，序列h[*]是数位滤波器的脉冲相应，K是它的长度列，x[*]为要被降采样的原始讯号的取样点。
(2)将降采样后的信号使用巴特沃夫带通滤波器进行滤波。
(3)将带通滤波后的信号使用巴特沃夫陷波滤波器进行滤波。
3)将预处理好的信号按照窗口大小划分。
4)将划分好的信号与步骤对应传入到模型中训练，模型的架构如图2所示。该模型由三个子网络组成:网络1，网络2，网络3，三个子网络分别对应三个输出。
具体训练步骤为:使用图2所示作为深度学习模型，将划分后的数据打乱顺序后输入到所述的深度学习模型中，使用Adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批32段信号，初始的学习率设置为0.005。
训练中网络1和网络2使用的损失函数为交叉熵,公式如下:
其中p表示真实标记的分布，q则为训练后的模型的预测标记分布。
训练中网络3使用的损失函数为corr_loss,公式如下:
其中，X为网络1的特征层进行加权通道融合后的特征，表达式为:
X＝W1·F1
W1为通道融合权重，F1为网络1的特征层。
Y为网络2的特征层进行加权通道融合后的特征，表达式为:
Y＝W2·F2
W2为通道融合权重，F2为网络2的特征层。
Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差。
在训练300次迭代后得到训练好的深度学习多任务模型。
5)使用训练好的多任务模型对被试者的SSVEP信号进行验证，具体由以下步骤组成:
(1)被试者通过说明书步骤1)中说明的方法采集新的数据，通过步骤2)的方法预处理后进行离线验证。
(2)被试者通过说明书步骤1)的方法采集新的数据，在采集过程中实时的处理数据，并且通过程序传入到模型中进行在线验证。
6)将模型的验证结果进行对比，得到最终分类结果，具体比较方法的步骤如下:
(1)观察网络1和网络2的输出并且进行加权后求和，网络1的输出权重为1，网络2的输出权重为0.5。
(2)将加权后的向量进行softmax处理，得到一个值得大小在0-1范围的1×N的向量，N为刺激目标数。
(3)遍历softmax处理后的向量，找到最大值，最大值对应的位置就是刺激目标的序号。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (7)
1.一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，包括以下步骤：
通过脑电采集***采集稳态视觉诱发电位信号SSVEP；
将采集的稳态视觉诱发电位信号SSVEP进行降采样、滤波在内的预处理；
将预处理好的稳态视觉诱发电位信号SSVEP按照窗口大小划分；
将按照窗口大小划分好的信号传入到多任务模型中训练；
使用训练好的多任务模型对被试者的稳态视觉诱发电位信号SSVEP进行验证；
将预测出来的结果与实际结果进行对比，完成目标识别；
所述将按照窗口大小划分好的信号传入到多任务模型中训练，具体包括：
模型的架构由三个子网络组成:网络1，网络2，网络3，三个子网络分别对应三个输出；前两层卷积神经网络属于网络1、网络2、网络3共享的隐藏层，第三层卷积神经网络以及后面紧接着的全连接层为网络2的独享结构，网络1的特征层输出后接一个全连接层输出为网络1的独享结构，网络1的特征层与网络2的特征层进行相关系数计算为网络3的独享结构；
将划分后的数据打乱顺序后输入到深度学习检测模型中，使用Adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批32段信号，初始的学习率设置为0.005；
训练中网络1和网络2使用的损失函数为交叉熵，公式如下:
其中p(i)表示真实标记的分布，q(x)则为训练后的模型的预测标记分布，H(p,q)表示交叉熵；
训练中网络3使用的损失函数为corr_loss,公式如下:
其中，r(X,Y)表示corr_loss，X为网络1的特征层进行加权通道融合后的特征，表达式为:
X＝W1·F1
W1为通道融合权重，F1为网络1的特征层；
Y为网络2的特征层进行加权通道融合后的特征，表达式为:
Y＝W2·F2
W2为通道融合权重，F2为网络2的特征层；
Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
在训练300次迭代后得到训练好的深度学习多任务模型。
2.根据权利要求1所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，所述通过脑电采集***采集稳态视觉诱发电位信号，具体包括：被试者根据提示注视SSVEP刺激界面，其产生的SSVEP信号通过脑电采集***进行采集，采集步骤如下:
(1)被试者在坐在刺激界面屏幕正前方60cm；
(2)被试者被要求在数据采集过程中不要有动作；
(3)被试者根据刺激界面的提示来注视刺激目标，刺激界面显示在14寸的屏幕上，共有9个刺激目标，显示为数字1到9；刺激目标为10cm×10cm的方块，每个刺激目标之间的距离为20cm，刺激目标在闪烁前会有0.5s的变红提示。
3.根据权利要求1或2所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，所述采集的SSVEP稳态视觉诱发电位信号进行包括带通滤波，陷波滤波在内的预处理，信号预处理步骤如下:
(1)将采集到的信号进行降采样到250hz，降采样的公式如下:
其中n表示第n个降采样点，序列h[*]是数位滤波器的脉冲响应，K是它的长度列，x[*]为要被降采样的原始讯号的取样点；M表示取样点间隔数，y[n]表示降采样后的数据的第n个点；
(2)将降采样后的信号使用巴特沃夫带通滤波器进行带通滤波；
(3)将带通滤波后的信号使用巴特沃夫陷波滤波器进行滤波。
4.根据权利要求3所述的一种基于深度学***坦无纹波的信号处理滤波器；所述带通滤波指的是允许特定频率信号通过的滤波器，降低或消除该频带上下频率的信号；所述陷波滤波指的是在某一个频率点迅速衰减输入信号，以达到阻碍此频率信号通过的滤波效果。
5.根据权利要求4所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，将预处理好的SSVEP稳态视觉诱发电位信号按照窗口大小划分；按照窗口大小划分指的是将时域的信号按照一定时间长度来划分后划分出来的信号。
6.根据权利要求5所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，所述使用训练好的多任务模型对被试者的SSVEP信号进行验证，具体包括：
(1)采集被试者新的数据，通过预处理方法后进行离线验证；
(2)被试者通过脑电采集***采集SSVEP稳态视觉诱发电位信号的方法采集新的数据，在采集过程中实时的处理数据，并且传入到深度学习模型中进行在线验证。
7.根据权利要求6所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其特征在于，所述将模型的验证结果进行对比，得到最终分类结果，具体比较方法的步骤如下:
(1)观察网络1和网络2的输出并且进行加权后求和，网络1的输出权重为1，网络2的输出权重为0.5；
(2)将加权后的向量进行softmax处理，得到一个值得大小在0-1范围的1×N的向量，N为刺激目标数；
(3)遍历softmax处理后的向量，找到最大值，最大值对应的位置就是刺激目标的序号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111519737.0A CN114489321B (zh) | 2021-12-13 | 2021-12-13 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111519737.0A CN114489321B (zh) | 2021-12-13 | 2021-12-13 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114489321A CN114489321A (zh) | 2022-05-13 |
| CN114489321B true CN114489321B (zh) | 2024-04-09 |
Family
ID=81491864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111519737.0A Active CN114489321B (zh) | 2021-12-13 | 2021-12-13 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114489321B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109782231A (zh) * | 2019-01-17 | 2019-05-21 | 北京大学 | 一种基于多任务学习的端到端声源定位方法及*** |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| WO2019238976A1 (en) * | 2018-06-15 | 2019-12-19 | Université de Liège | Image classification using neural networks |
| CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
| CN113313045A (zh) * | 2021-06-11 | 2021-08-27 | 浙江工业大学 | 基于多任务学习和类激活图反馈的人机不同步识别方法 |
-
2021
- 2021-12-13 CN CN202111519737.0A patent/CN114489321B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019238976A1 (en) * | 2018-06-15 | 2019-12-19 | Université de Liège | Image classification using neural networks |
| CN109782231A (zh) * | 2019-01-17 | 2019-05-21 | 北京大学 | 一种基于多任务学习的端到端声源定位方法及*** |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
| CN113313045A (zh) * | 2021-06-11 | 2021-08-27 | 浙江工业大学 | 基于多任务学习和类激活图反馈的人机不同步识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114489321A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304917B (zh) | 一种基于lstm网络的p300信号检测方法 | |
| Kao et al. | Development of a portable activity detector for daily activity recognition | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及*** | |
| CN111523601A (zh) | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 | |
| CN113705398B (zh) | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 | |
| CN113729710A (zh) | 一种融合多生理模态的实时注意力评估方法及*** | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| Liu et al. | Improved GMM with parameter initialization for unsupervised adaptation of brain–computer interface | |
| Lu et al. | Combined CNN and LSTM for motor imagery classification | |
| CN105212949A (zh) | 一种使用皮肤电信号进行文化体验情感识别的方法 | |
| CN112884063A (zh) | 基于多元时空卷积神经网络的p300信号检测识别方法 | |
| CN114376524A (zh) | 基于语音统计学习的意识评估方法及*** | |
| CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| Saha et al. | Common spatial pattern in frequency domain for feature extraction and classification of multichannel EEG signals | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其*** | |
| Attallah | Multi-tasks biometric system for personal identification | |
| CN111914724B (zh) | 基于滑动窗口分割的连续中国手语识别方法及其*** | |
| CN114489321B (zh) | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 | |
| Jia | Neural network in the application of EEG signal classification method | |
| Gao et al. | An ICA/HHT hybrid approach for automatic ocular artifact correction | |
| Du et al. | InceptionSSVEP: a multi-scale convolutional neural network for steady-state visual evoked potential classification | |
| Tsuru et al. | Brainwave biometrics: a new feature extraction approach with the cepstral analysis method | |
| Cecotti et al. | Neural network pruning for feature selection-Application to a P300 Brain-Computer Interface. | |
| Mu et al. | Research on EEG identification computing based on photo images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231027 Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Dayu Chuangfu Technology Co.,Ltd. Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |