CN112232378A - 面向fMRI视觉分类的零次学习方法 - Google Patents
面向fMRI视觉分类的零次学习方法 Download PDFInfo
- Publication number
- CN112232378A CN112232378A CN202011006608.7A CN202011006608A CN112232378A CN 112232378 A CN112232378 A CN 112232378A CN 202011006608 A CN202011006608 A CN 202011006608A CN 112232378 A CN112232378 A CN 112232378A
- Authority
- CN
- China
- Prior art keywords
- training
- images
- fmri
- image
- test set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002599 functional magnetic resonance imaging Methods 0.000 title claims abstract description 87
- 230000000007 visual effect Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 117
- 210000004556 brain Anatomy 0.000 claims abstract description 70
- 238000012360 testing method Methods 0.000 claims abstract description 69
- 238000013145 classification model Methods 0.000 claims description 19
- 230000003042 antagnostic effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 description 6
- 230000001054 cortical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种面向fMRI视觉分类的零次学习方法。该方法包括:步骤1:构建面向fMRI视觉分类的零次学习的数据集,数据集包括训练集和测试集,训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号;测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号;训练集图像和测试集图像之间的图像语义类别不相同;步骤2:根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络;步骤3:根据测试集训练语义类别视觉分类网络;步骤4:根据步骤3训练的语义类别视觉分类网络,输入测试集fMRI脑信号,得到预测结果,实现对测试集fMRI脑信号的视觉分类。本发明的语义视觉分类网络可以扩展到被试之前未看到的图像语义类别。
Description
技术领域
本发明涉及基于fMRI的视觉分类技术领域,尤其涉及一种面向fMRI视觉分类的零次学习方法。
背景技术
基于fMRI的视觉分类是基于fMRI的视觉信息解码的关键技术,旨在根据大脑皮层神经信息来预测外部图像刺激的类别。
常规视觉分类模型要求在fMRI数据训练集上训练视觉皮层体素到图像语义类别的映射,然后能够根据测试集中新的大脑视觉皮层体素响应预测被试所观看图像的类别。通常视觉皮层中体素数量较多(维度较高),且fMRI数据集规模较小,不利于模型的训练。因此,在体素输入到模型之前,通常从大量体素中挑选一些重要的体素,即降低维度,用于视觉分类模型的构建,提高分类准确率。一般来说,体素降维方法可以分成基于感兴趣区域的方法、基于体素激活的方法、基于准确率的方法和基于主特征分析的体素选择方法。体素降维后,通过设计分类模型进行训练和测试,完成视觉分类任务。
现有的视觉分类模型通常可以分为三种方式:基于分类器的方式、基于体素匹配的方式和基于特征匹配的方式。
(1)基于分类器的方式
主要根据训练集训练分类器模型,然后能够根据验证集中的体素响应预测对应类别。2003年,Cox and Savoy等人(Cox,D.D.and R.L.Savoy,Functional magneticresonance imaging(fMRI)“brain reading”:detecting and classifying distributedpatterns of fMRI activity in human visual cortex.Neuroimage,2003.19(2):p.261-270)提出使用SVM分类器来预测类别,另外,包括Fisher分类器、K近邻分类器等各类分类器都被用于视觉分类。2017年,Wen等人(Wen,H.,et al.,Neural encoding and decodingwith deep learning for dynamic natural vision.Cerebral Cortex,2017:p.1-25.)使用预训练深度网络模型,把体素映射到最后一层分类器的输入特征,然后使用该分类器完成了视觉分类。
(2)基于体素匹配的方式
首先需要根据训练集数据构建体素模板,每个类别对应一种体素模板,然后通过计算验证集中待预测体素与每类体素模板的相关性,最大相关性对应的类别作为该皮层体素的预测结果。因此,该类方法的关键在于体素模板的构建。2001年,Haxby等人(Haxby,J.V.,et al.,Distributed and overlapping representations of faces and objectsin ventral temporal cortex.Science,2001.293(5539):p.2425-2430.)直接把训练集中属于同一类别的体素计算平均值作为该类别的体素模板。2008年,Kay等人(Kay,K.N.,etal.,Identifying natural images from human brain activity.Nature,2008.452(7185):p.352.)首先根据训练集训练一个视觉编码模型,然后输入那些同类别的图像得到相应预测的体素,计算预测的体素的平均值作为该类别的体素模板。
(3)基于特征匹配的方式
首先需要根据训练集数据构建特征模板,每个类别对应一种特征模板,然后把体素映射到特征空间,进而计算特征与模板特征的相关性,最大相关性对应的类别作为该皮层体素的预测结果。因此,该类方法需要某种特征作为中间桥梁,把体素映射到特征空间进行匹配性计算。2017年,Horikawa和Kamitani等人(Horikawa,T.and Y.Kamitani,Genericdecoding of seen and imagined objects using hierarchical visualfeatures.Nature communications,2017.8:p.15037.),2018年,Wen等人(Wen,H.,et al.,Deep Residual Network Predicts Cortical Representation and Organization ofVisual Features for Rapid Categorization.Scientific reports,2018.8(1):p.3752.)使用深度网络特征作为中间桥梁,构建特征模板。
目前的视觉分类模型设计主要面向训练集和测试集具有相同类别集合,即训练集图像语义类别与测试集完全一样。这种视觉分类模型在实际应用场景中较为受限,训练好的模型难以扩展到其它被试之前未看到的图像语义类别。
发明内容
针对现有的视觉分类模型难以扩展到被试之前未看到的图像语义类别的问题,本发明提供一种面向fMRI视觉分类的零次学习方法,训练完成后的语义类别视觉分类网络可以在指定测试集类别集合中识别之前未参与训练的语义类别预测。
本发明提供的面向fMRI视觉分类的零次学习方法,包括:
步骤1:构建面向fMRI视觉分类的零次学习的数据集,所述数据集包括训练集和测试集,训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号;所述测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号;所述训练集图像和所述测试集图像之间的图像语义类别不相同;
步骤2:根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络;
步骤3:根据测试集训练语义类别视觉分类网络;
步骤4:根据步骤3训练的语义类别视觉分类网络,输入测试集fMRI脑信号,得到预测结果,实现对测试集fMRI脑信号的视觉分类。
进一步地,步骤2包括:
步骤2.1:使用预训练深度网络分类模型提取训练集图像的图像高层语义特征,将训练集图像的图像高层语义特征与训练集fMRI脑信号构成正样本对;
步骤2.2:根据训练集图像的图像语义类别,收集没有对应fMRI脑信号的相同图像语义类别的图像,记为训练集类别图像;使用与步骤2.1相同的预训练深度网络分类模型提取训练集类别图像的图像高层语义特征,在所述图像高层语义特征的约束下,根据高斯分布采样的噪声向量,通过生成对抗网络的生成器生成训练集类别图像的伪fMRI脑信号,将训练集类别图像的图像高层语义特征与其伪fMRI脑信号构成负样本对;其中,训练集类别图像的伪fMRI脑信号包含图像语义类别信息;
步骤2.3:将正样本对和负样本对送入生成对抗网络的判别器,同时引入伪fMRI脑信号视觉分类网络,通过生成器和判别器进行对抗训练以及fMRI脑信号视觉分类网络的辅助训练,最终达到平衡,使得判别器无法分辨正负样本对,此时得到的生成对抗网络即为fMRI脑信号自动生成网络。
进一步地,所述生成器和所述判决器均由全连接层、激活函数层和归一化层堆叠而成。
进一步地,步骤3包括:
步骤3.1:根据测试集图像的图像语义类别收集若干相同图像语义类别的图像,将收集到的若干图像记为测试集类别图像;使用与步骤2.1相同的预训练深度网络分类模型提取测试集类别图像的图像高层语义特征,通过步骤2.3训练好的生成器,根据高斯分布的噪声向量,生成测试集类别图像的伪fMRI脑信号,将测试集类别图像的图像高层语义特征与其伪fMRI脑信号构成伪样本对;
步骤3.2:根据步骤3.1的伪样本对,训练语义类别视觉分类网络。
进一步地,所述语义类别视觉分类网络由全连接层、激活函数层和归一化层堆叠而成。
进一步地,在训练语义类别视觉分类网络时,采用交叉熵损失函数作为损失函数。
本发明的有益效果:
本发明提供的面向fMRI视觉分类的零次学习方法主要是基于生成对抗网络对抗学习的思想,采用生成对抗网络生成伪造的fMRI脑信号,引入视觉分类模型训练中,实现模型的零次学习;
本发明设计的视觉分类的零次学习模型,训练集图像语义类别与测试集完全不同,即没有任何交集,不需要在模型训练中引入测试集类别图像及其fMRI脑信号,训练完成后的零次学习模型就可以在指定测试集类别集合中识别之前未参与训练的语义类别预测,因此本发明的语义视觉分类网络可以扩展到被试之前未看到的图像语义类别。
附图说明
图1为本发明实施例提供的面向fMRI视觉分类的零次学习方法的流程示意图;
图2为本发明实施例提供的基于对抗学习的图像特征条件下fMRI脑信号自动生成网络训练示意图;
图3为本发明实施例提供的语义类别视觉分类网络训练示意图;
图4为本发明实施例提供的采用语义类别视觉分类网络进行测试集fMRI脑信号视觉分类的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
fMRI视觉分类是指根据被试在看到图像刺激时大脑视觉区的fMRI信号,直接预测被试所看到图像的语义类别。本发明提出一种面向fMRI视觉分类的零次学习方法,要求在训练集语义类别与测试集没有交叉的情况下,能够实现未知语义类别fMRI脑信号预测模型的训练和学习,零次学习是指能够预测训练集中未出现的语义类别。
如图1所示,本发明实施例提供一种面向fMRI视觉分类的零次学习方法,包括以下步骤:
S101:构建面向fMRI视觉分类的零次学习的数据集,所述数据集包括训练集和测试集,训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号;所述测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号;所述训练集图像和所述测试集图像之间的图像语义类别不相同;
S102:根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络;
具体地,如图2所示,本步骤包括以下子步骤:
S1021:使用预训练深度网络分类模型提取训练集图像的图像高层语义特征,将训练集图像的图像高层语义特征与训练集fMRI脑信号构成正样本对;
本步骤中的预训练深度网络分类模型可以采用如AlexNet、VGGNet、ResNet等经典模型。本步骤中提取的图像高层语义特征是提取预训练深度网络模型倒数第二层的特征,即送入分类器前的特征。该类特征包含更多的高层语义信息,对分类帮助较大。
S1022:根据训练集图像的图像语义类别,收集没有对应fMRI脑信号的相同图像语义类别的图像,记为训练集类别图像;使用与步骤S1021相同的预训练深度网络分类模型提取训练集类别图像的图像高层语义特征,在所述图像高层语义特征的约束下,根据高斯分布采样的噪声向量,通过生成对抗网络的生成器生成训练集类别图像的伪fMRI脑信号,将训练集类别图像的图像高层语义特征与其伪fMRI脑信号构成负样本对;
本步骤中,在收集训练集类别图像时,可以使用现有公开数据库中的图像或者从互联网下载的图像。由于被试没有观看训练集类别图像,因此不存在对应的真实fMRI脑信号。生成的训练集类别图像的伪fMRI脑信号包含图像语义类别信息。
S1023:将正样本对和负样本对送入生成对抗网络的判别器,同时引入伪fMRI脑信号视觉分类网络(即图2中的训练集分类器),通过生成器和判别器进行对抗训练以及fMRI脑信号视觉分类网络的辅助训练,最终达到平衡,使得判别器无法分辨正负样本对,此时得到的生成对抗网络即为fMRI脑信号自动生成网络。
具体地,现有技术中,生成对抗网络(Generative Adversarial Network,GAN)主要用于自然图像的生成。生成对抗网络是深度神经网络的一种,包含一个生成器网络和判别器网络,在图像生成中,生成器网络负责通过固定分布下采样的噪声向量生成伪造图像,判别器网络用于区分真实图像和伪造图像,通过生成器和判别器的对抗训练,最终达到平衡,使得判别器无法区分真实图像和伪造图像。不同于现有技术中的生成对抗网络的传统作用,本发明实施例是基于生成对抗网络对抗学习的思想,采用生成对抗网络生成伪造的fMRI脑信号,引入视觉分类模型训练中,实现模型的零次学习。
本步骤中,生成器和判决器均由全连接层、激活函数层和归一化层堆叠而成;生成器用于实现非线性变换;判别器用于通过sigmoid层输出一维真假概率。所述伪fMRI脑信号视觉分类网络用于辅助生成对抗网络的训练。训练好的fMRI脑信号自动生成网络所生成的fMRI脑信号模仿了真实脑信号的分布。
所谓通过生成器和判别器进行对抗训练以及fMRI脑信号视觉分类网络的辅助训练是指:训练集分类器用于在训练中约束生成器根据图像特征生成的伪脑信号中包含图像语义类别信息,判别器用于在训练中约束生成器生成的伪脑信号与真实脑信号尽量相似,两者共同支撑生成器的训练。
S103:根据测试集训练语义类别视觉分类网络;
具体地,如图3所示,本步骤包括以下两个子步骤:
S1031:根据测试集图像的图像语义类别收集若干相同图像语义类别的图像,将收集到的若干图像记为测试集类别图像;使用与步骤S1021相同的预训练深度网络分类模型提取测试集类别图像的图像高层语义特征,通过步骤S1023训练好的生成器,根据高斯分布的噪声向量,生成测试集类别图像的伪fMRI脑信号,将测试集类别图像的图像高层语义特征与其伪fMRI脑信号构成伪样本对;
S1032:根据步骤S1031的伪样本对,训练语义类别视觉分类网络(即图3中的测试集分类器)。
本步骤中,所述语义类别视觉分类网络由全连接层、激活函数层和归一化层堆叠而成;在训练语义类别视觉分类网络时,采用交叉熵损失函数作为损失函数。
S104:如图4所示,根据训练得到的语义类别视觉分类网络,输入测试集fMRI脑信号,得到预测结果,实现对测试集fMRI脑信号的视觉分类。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.面向fMRI视觉分类的零次学习方法,其特征在于,包括:
步骤1:构建面向fMRI视觉分类的零次学习的数据集,所述数据集包括训练集和测试集,训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号;所述测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号;所述训练集图像和所述测试集图像之间的图像语义类别不相同;
步骤2:根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络;
步骤3:根据测试集训练语义类别视觉分类网络;
步骤4:根据步骤3训练的语义类别视觉分类网络,输入测试集fMRI脑信号,得到预测结果,实现对测试集fMRI脑信号的视觉分类。
2.根据权利要求1所述的方法,其特征在于,步骤2包括:
步骤2.1:使用预训练深度网络分类模型提取训练集图像的图像高层语义特征,将训练集图像的图像高层语义特征与训练集fMRI脑信号构成正样本对;
步骤2.2:根据训练集图像的图像语义类别,收集没有对应fMRI脑信号的相同图像语义类别的图像,记为训练集类别图像;使用与步骤2.1相同的预训练深度网络分类模型提取训练集类别图像的图像高层语义特征,在所述图像高层语义特征的约束下,根据高斯分布采样的噪声向量,通过生成对抗网络的生成器生成训练集类别图像的伪fMRI脑信号,将训练集类别图像的图像高层语义特征与其伪fMRI脑信号构成负样本对;其中,训练集类别图像的伪fMRI脑信号包含图像语义类别信息;
步骤2.3:将正样本对和负样本对送入生成对抗网络的判别器,同时引入伪fMRI脑信号视觉分类网络,通过生成器和判别器进行对抗训练以及fMRI脑信号视觉分类网络的辅助训练,最终达到平衡,使得判别器无法分辨正负样本对,此时得到的生成对抗网络即为fMRI脑信号自动生成网络。
3.根据权利要求2所述的方法,其特征在于,所述生成器和所述判决器均由全连接层、激活函数层和归一化层堆叠而成。
4.根据权利要求2所述的方法,其特征在于,步骤3包括:
步骤3.1:根据测试集图像的图像语义类别收集若干相同图像语义类别的图像,将收集到的若干图像记为测试集类别图像;使用与步骤2.1相同的预训练深度网络分类模型提取测试集类别图像的图像高层语义特征,通过步骤2.3训练好的生成器,根据高斯分布的噪声向量,生成测试集类别图像的伪fMRI脑信号,将测试集类别图像的图像高层语义特征与其伪fMRI脑信号构成伪样本对;
步骤3.2:根据步骤3.1的伪样本对,训练语义类别视觉分类网络。
5.根据权利要求4所述的方法,其特征在于,所述语义类别视觉分类网络由全连接层、激活函数层和归一化层堆叠而成。
6.根据权利要求4所述的方法,其特征在于,在训练语义类别视觉分类网络时,采用交叉熵损失函数作为损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011006608.7A CN112232378A (zh) | 2020-09-23 | 2020-09-23 | 面向fMRI视觉分类的零次学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011006608.7A CN112232378A (zh) | 2020-09-23 | 2020-09-23 | 面向fMRI视觉分类的零次学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112232378A true CN112232378A (zh) | 2021-01-15 |
Family
ID=74107421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011006608.7A Pending CN112232378A (zh) | 2020-09-23 | 2020-09-23 | 面向fMRI视觉分类的零次学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112232378A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313232A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270493A1 (en) * | 2013-03-13 | 2014-09-18 | National Taiwan University | Adaptable classification method |
CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
CN110691550A (zh) * | 2017-02-01 | 2020-01-14 | 塞雷比安公司 | 对感知体验进行测量的***和方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
-
2020
- 2020-09-23 CN CN202011006608.7A patent/CN112232378A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270493A1 (en) * | 2013-03-13 | 2014-09-18 | National Taiwan University | Adaptable classification method |
CN110691550A (zh) * | 2017-02-01 | 2020-01-14 | 塞雷比安公司 | 对感知体验进行测量的***和方法 |
CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
Non-Patent Citations (2)
Title |
---|
SUNHEE HWANG ET.AL: ""EZSL-GAN: EEG-based Zero-Shot Learning approach using a Generative Adversarial Network", 《2019 7TH INTERNATIONAL WINTER CONFERENCE ON BRAIN-COMPUTER INTERFACE (BCI)》 * |
秦亿青等: "结合场景分类数据的高分遥感图像语义分割方法", 《计算机应用与软件》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313232A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3961441B1 (en) | Identity verification method and apparatus, computer device and storage medium | |
CN106951825A (zh) | 一种人脸图像质量评估***以及实现方法 | |
CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
CN110490239A (zh) | 图像质控网络的训练方法、质量分类方法、装置及设备 | |
CN105930834A (zh) | 基于球哈希二值编码的人脸识别方法及装置 | |
CN111368911B (zh) | 一种图像分类方法、装置和计算机可读存储介质 | |
CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
CN113052150B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
CN114118165A (zh) | 基于脑电的多模态情绪数据预测方法、装置及相关介质 | |
CN108766464A (zh) | 基于电网频率波动超矢量的数字音频篡改自动检测方法 | |
CN114821196A (zh) | 零样本图像识别方法及其识别装置、介质与计算机终端 | |
CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN110502989A (zh) | 一种小样本高光谱人脸识别方法及*** | |
CN113096169A (zh) | 一种非刚性多模医学图像的配准模型建立方法及其应用 | |
CN110163169A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN110348516A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN116958637A (zh) | 图像检测模型的训练方法、装置、设备及存储介质 | |
CN112232378A (zh) | 面向fMRI视觉分类的零次学习方法 | |
CN109190649B (zh) | 一种深度学习网络模型服务器的优化方法和装置 | |
CN116232699A (zh) | 细粒度网络入侵检测模型的训练方法和网络入侵检测方法 | |
JP2023154373A (ja) | 情報処理装置 | |
CN113205044B (zh) | 一种基于表征对比预测学习的深度伪造视频检测方法 | |
CN114618167A (zh) | 反作弊检测模型构建方法以及反作弊检测方法 | |
CN117133039B (zh) | 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备 | |
CN117544963B (zh) | 一种基于FTGan-Yolo的跨模态通信信号的辐射源识别方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210115 |