CN116152554A - 基于知识引导的小样本图像识别*** - Google Patents

基于知识引导的小样本图像识别*** Download PDF

Info

Publication number
CN116152554A
CN116152554A CN202310058204.XA CN202310058204A CN116152554A CN 116152554 A CN116152554 A CN 116152554A CN 202310058204 A CN202310058204 A CN 202310058204A CN 116152554 A CN116152554 A CN 116152554A
Authority
CN
China
Prior art keywords
small sample
classifier
category
knowledge
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310058204.XA
Other languages
English (en)
Inventor
陈静静
卓林海
姜育刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310058204.XA priority Critical patent/CN116152554A/zh
Publication of CN116152554A publication Critical patent/CN116152554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)

Abstract

本发明属于计算机技术领域，具体为基于知识引导的小样本图像识别***。本发明***包括基于知识引导的参数初始化模块以及小样本分类器训练模块。本发明先构建视觉以及语义知识图谱，之后通过参数初始化模块利用知识图谱将知识从预训练的分类器中迁移到小样本的数据集中，最终生成小样本分类器的初始化参数。之后小样本分类器训练模块利用得到的初始化参数初始化小样本分类器的参数，并在小样本数据集上训练得到小样本图像分类器，用于对小样本图像进行识别。本发明引入双流知识图谱能够提供更强的类别之间的联系，为小样本分类器提供更好的初始化参数，使分类器在样本较少的情况下快速收敛，从而提高分类器的分类性能。

Description

基于知识引导的小样本图像识别***
技术领域
本发明属于计算机技术领域，具体涉及小样本图像识别***。
背景技术
近年来，深度学习技术取得了突破性的进展。目前深度网络模型已经被广泛应用于诸如人脸识别、自动驾驶等实际生活中。然而，深度模型的成功往往依赖于大量人工标注的数据。例如，训练一个图像分类模型通常需要针对每一类别收集上千张样本进行长时间的学习[1]。相比之下，人类可以在短时间内快速学习新的概念。因此，如何让机器能够像人类一样从少量样本中进行有效学习，成为了一个重要的研究方向。
目前针对小样本学习任务，目前已经出现了一些相关的研究工作，并取得了一定的进展。根据方法侧重点的不同，现有工作大致可以分为三类：基于元学习的小样本识别技术，主要研究如何迁移模型在大量学习任务上的学习经验，以实现小样本识别；基于数据增强的小样本识别技术，主要研究如何设计方法扩充有限的数据集，以提升所构建模型的性能；引入语义关系的小样本识别技术，主要通过借助高层语义概念之间的关系，帮助建立视觉概念之间的联系以更好的进行小样本识别。在小样本学习中，先验知识能够帮助模型有效利用已有的学习经验，实现在少量样本上的快速学习。因此，先验知识的引入对于小样本学习十分重要。
上述三类方法中，只有最后一种利用了先验知识，然而目前的研究也仅仅局限于对文本语义概念的利用。由于语义文本关系无法充分反映视觉关系，对于小样本视觉识别任务的帮助往往有限。因此，充分挖掘视觉先验知识，探索基于多模态知识的小样本识别的方法，以此发展知识驱动小样本学习理论与技术，具有重要的研究意义和科学价值。
基于以上认识，本项目受生物脑的学习过程启发，研究基于知识驱动的小样本视觉识别理论与技术。生物学的研究表明[2],生物脑的学习过程并非从零开始，而是在学习之初就拥有重要的先验知识，其中包括物种在进化过程中学到的(生物学称之为***发生)以及个体在生活过程中学到的有关真实世界的关键知识。这些知识在生物脑的学习过程中起到了非常重要的作用。这也构成了知识驱动的小样本视觉识别任务的理论基础。然而，如何构建、表示并利用视觉识别任务中的先验知识，使得模型能够在样本数量很少的情况下进行有效学习成为一个极具意义的科学问题。
发明内容
本发明的目的在于提供一种基于知识引导的小样本图像识别***。
本发明提出的基于知识引导的小样本图像识别***，是采用深度学习技术的，主要包括以下两个模块：基于知识引导的分类器参数初始化模块(下文简称参数初始化模块)，小样本分类器训练模块。首先，由参数初始化模块利用知识图谱将知识从预训练的分类器中迁移到小样本的数据库中，生成小样本分类器的初始化参数；然后，由小样本分类器训练模块利用得到的初始化参数初始化小样本分类器的参数，在小样本数据集上训练，得到小样本图像分类器，用于对小样本图像进行识别。
本发明中，所述小样本图像指该图像所属类别具有很少的训练样本(一般，样本数小于等于5)。
本发明中，所述分类器参数初始化模块，首先分别构建视觉关系以及语义关系知识图谱，以建立预训练模型中的类别与待分类的小样本类别之间的联系。其中：
视觉关系知识图谱构建的具体步骤如下：
(1)以类别为单位，将小样本类别与源数据库中每个类别中的所有训练样本进行平均，提取到每个类别的视觉特征中心；
(2)计算每个类别之间的余弦相似度；
(3)用邻接矩阵表示知识图谱，设定阈值Tv，余弦相似度大于该阈值的两个类别被认为在视觉知识图谱上是有联系的，通过在邻接矩阵上相应位置标1表示。
语义关系知识图谱构建的具体步骤如下：
(1)计算两个类别在wordnet层级结构上的距离，距离以跳数表示，例如某一个类别到其父亲或者儿子类别节点的距离为1，到其祖父或者孙子节点的距离为2；
(2)用邻接矩阵表示知识图谱，设定阈值Ts，距离小于该阈值的两个类别被认为在语义知识图谱上是有联系的，通过在邻接矩阵上相应位置标1表示。
在获得视觉、语义知识图谱后，本发明采用视觉、语义双流图卷积网络模型(具体为GCN模块，参见图1)，利用视觉以及语义的知识图谱将预训练双流图卷积网络模型中的知识迁移到小样本数据集中，并生成小样本分类器的初始化参数。其具体步骤以及本发明提出的双流图卷积网络模型如下：
(1)以类别为单位，将小样本类别与源数据库中每个类别中的所有训练样本进行平均，提取到每个类别的视觉特征中心；将每个类别名字的词向量作为类别的语义特征中心；
(2)将所有类别的视觉特征中心以及语义特征输入视觉、语义双流图卷积网络中，用源数据集类别的分类器(本发明使用维度与视觉特征维度相同的全连接层作为分类器)，监督源数据类别节点的输出，用于监督的损失函数采用均方损失函数L。
本发明使用的双流图卷积神经网络，具体计算公式如下：
Figure SMS_1
其中，σ为leakyReLU激活函数,l为图神经网络的层数，H(l+1)为图神经网络第l层的输出，As为语义关系知识图谱的邻接矩阵，Av为视觉关系知识图谱的邻接矩阵，H(l)为当l不等于0时双流图卷积神经网络的输入，θ(l,s)为第l层双流图卷积神经网络中语义关系流图卷积神经网络的参数，θ(l,v)为为第l层双流图卷积神经网络中视觉关系流图卷积神经网络的参数，Fs为图卷积第0层的语义输入，本发明中具体为类别名字的词向量，FV为图卷积第0层的视觉输入，本发明中具体为类别中所有训练样本的CLIP视觉特征的平均值。
损失函数L使用预训练的分类器参数与图卷积神经网络最后一层的输出的L2距离。具体的计算数学公式如下：
Figure SMS_2
/>
其中，m是源数据集中类别的总数，d为分类器的维度，Wbase为预训练的分类器参数，
Figure SMS_3
为图卷积网络最后一层的输出。
本发明中，所述小样本分类器训练模块，利用参数初始化模块生成的初始化参数，在小样本数据集上进行微调，最终得到小样本分类器参数；本模块采用sigmoid激活层，使得训练得到的分类器可以与预训练的分类器进行直接的叠加，使最终分类器在预训练的训练集与小样本训练集上都获得较好的分类准确度。其具体步骤如下：
(1)采样出N张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Softmax激活函数，得到每个类别的预测分类概率；
(3)利用cross-entropy计算损失，反向传播训练分类器；
(4)重复步骤(1)-(3)，直到循环次数达到设定值。
本发明的测试过程具体步骤如下：
(1)采样出N张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Softmax激活函数得到每个类别的预测分类概率；
(3)将分类概率最高的类别作为预测类别。
本发明的主要创新之处在于：
(1)本发明首次提出同时将语义知识图谱与视觉知识图谱应用于小样本图像分类任务；
(2)本发明提出基于知识的大规模小样本学习框架，该框架利用源数据集的类别与小样本数据集的类别之间的双流关系知识图谱来辅助生成小样本分类器的初始化参数。由于引入了双流知识图谱能够提供更强的类别之间的联系，本发明能够为小样本分类器提供更好的初始化参数。从而使分类器能够在样本较少的情况下快速收敛，从而提高分类器的分类性能。
附图说明
图1为本发明训练与测试的流程图。
具体实施方式
本发明使用ImageNet作为源数据集预训练模型，将图像的CLIP特征作为图像的视觉特征。
步骤1.在ImageNet上预训练分类器
Figure SMS_4
具体流程如下：
(1)提取所有图像的CLIP特征并存储，CLIP特征具体使用CLIP论文中提供的ViT-L/14模型，输出维度为768；
(2)选取32张图像，获得其CLIP特征以及对应的标签；
(3)使用全连接层作为分类器，全连接层维度与视觉特征维度相同，为768，将分类结果通过一层Sigmoid激活函数；
(4)使用cross-entropy损失反向传播进行训练，反向传播学习率设置为0.01；
(5)重复步骤(2)-(5)，直到循环5000次。
步骤2.构建视觉关系知识图谱与语义关系知识图谱，其中：
视觉关系知识图谱构建的具体流程如下：
(1)以类别为单位，将小样本与源数据集中每个类别中的所有训练样本的视觉特征进行平均，提取到每个类别的特征中心；
(2)计算每个类别之间的余弦相似度；
(3)用邻接矩阵AT表示知识图谱，设定阈值Tv为0.9，余弦相似度大于该阈值的两个类别被认为在视觉知识图谱上是有联系的，通过在邻接矩阵上相应位置标1表示。
语义关系知识图谱构建的具体流程如下：
(1)计算两个类别在wordnet层级结构上的距离，距离以两个类别之间的跳数表示，例如某一个类别到其父亲或者儿子类别节点的距离为1，到其祖父或者孙子节点的距离为2；
(2)用邻接矩阵As表示知识图谱，设定阈值Ts为8跳，距离小于该阈值的两个类别被认为在语义知识图谱上是有联系的，通过在邻接矩阵上相应位置标1表示。
步骤3.视觉、语义双流图卷积网络，利用视觉以及语义的知识图谱将预训练模型中的知识迁移到小样本数据集中，并生成小样本分类器的初始化参数；具体流程如下：
(1)以类别为单位，将小样本类别与源数据库中每个类别中的所有训练样本进行平均，提取到每个类别的视觉特征中心。将每个类别名字的词向量作为类别的语义特征中心；
(2)所有类别的视觉特征中心以及语义特征输入视觉、语义双流图卷积网络中，用源数据集类别的分类器监督源数据类别节点的输出，用于监督的损失函数采用均方损失函数。其数学公式如下：
Figure SMS_5
其中，σ为leakyRelu激活函数,l为图神经网络的层数，具体为6层，H(l+1)为图神经网络第l层的输出，As为语义关系知识图谱的邻接矩阵，Av为视觉关系知识图谱的邻接矩阵，H(l)为当l不等于0时双流图卷积神经网络的输入，θ(l,s)为第l层双流图卷积神经网络中语义关系流图卷积神经网络的参数，θ(l,v)为为第l层双流图卷积神经网络中视觉关系流图卷积神经网络的参数Fs为图卷积第0层的语义输入，本发明中具体为类别名字的词向量，FV为图卷积第0层的视觉输入，本发明中具体为类别中所有训练样本的CLIP视觉特征的平均值。
损失L的计算数学公式如下：
Figure SMS_6
其中，m是源数据集中类别的总数，d为分类器的维度，Wbase为预训练的分类器参数，
Figure SMS_7
为图卷积网络最后一层的输出。
步骤4.利用参数初始化模块生成的初始化参数，在小样本数据集上进行微调，最终得到小样本分类器参数，本模块采用sigmoid激活层，使得训练得到的分类器可以与预训练的分类器进行直接的叠加，使最终分类器在预训练的训练集与小样本训练集上都获得较好的分类准确度。其具体流程如下：
(1)采样出32张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Sigmoid激活函数得到每个类别的预测分类概率；
(3)利用cross-entropy计算损失，反向传播训练分类器，反向传播的学习率设置为0.001；
(4)重复(1)-(3)，直到循环次数达到设定值。
步骤5.本发明的测试过程具体如下：
(1)采样出64张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Sigmoid激活函数得到每个类别的预测分类概率；
(3)将分类概率最高的类别作为预测类别。
本发明采用准确率作为方法的评价指标，具体是将分类正确的样本数除以总测试样本数。
本发明实验结果以及与其他方法对比结果如下：
方法/训练 1 2 3 4 5
S-init 64.94 78.13 83.63 85.72 86.75
V-init 66.18 74.81 82.09 85.35 86.78
PEME-BMS[4] 67.47 77.34 82.18 85.40 85.77
PMF[5] 59.53 73.90 80.31 82.78 84.36
本发明 67.53 78.19 84.01 85.91 86.95
该表中V-init方法为将每个类别中，所有使用CLIP视觉编码器提取到的视觉特征进行平均，并用平均的视觉特征初始化分类器；S-init方法为对于每个类别中，使用CLIP语义编码器提取到该类别名称的语义特征作。PEME-BMS与PMF分别为论文[4]与[5]中提出的方法。
为分类起的初始化参数。如果该类别有多个名字，这将提取到的所有名字的语义特征进行平均，并用平均的视觉特征初始化分类器。
从该表中所展示的数据，可以总结得到以下观察结果：首先，使用CLIP作特征为特征提取网络的性能很好，这表明CLIP学习到的特性更强。其次，相比于其他的对比方法与基准方法。本发明方法在两个数据集上的1-5shot小样本分类任务的都获得了最佳的性能。对于1shot分类任务，本发明方法在ImageNet1000/360上的准确度为67.53％，这验证了本方法的有效性。此外，这也表明本发明方法在性能更强的特征提取网络上也能很好地工作。第三，与PEME-BMS算法和PMF算法相比，本发明法在使用的数据集上的性能更好，尤其是对于1shot和2shot的小样本分类任务。这主要是因为通过引入知识，能够利用基类和新类之间的关系，从而获得更好的性能。结果还表明，即使从大规模预训练模型CLIP中提取得到的特征，引入知识对于处理数据不足问题也很重要。
参考文献
[1]Krizhevsky,A.,I.Sutskever and G.E.Hinton.ImageNet Classificationwith Deep Convolutional Neural Networks[C].Proceedings of the Advances inNeural Information Processing Systems.2012.
[2]
Figure SMS_8
Danko.Practopoiesis:Or how life fosters a mind[J].Journalof Theoretical Biology 373(2015):40-61.
[3]Radford,Alec,et al."Learning transferable visual models fromnatural language supervision."International Conference on MachineLearning.PMLR,2021.
[4]HU Y,PATEUX S,GRIPON V.Squeezing backbone feature distributions tothe max for efficient few-shot learning[J].Algorithms,2022,15(5):147.
[5]HU S X,LI D,
Figure SMS_9
J,et al.Pushing the limits of simplepipelines for few-shot learning:External data and fine-tuning make adifference[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2022:9068-9077。/>

Claims (4)

1.一种基于知识引导的小样本图像识别***，其特征在于，是采用深度学习技术的，包括两个模块：基于知识引导的分类器参数初始化模块，简称参数初始化模块，小样本分类器训练模块；由参数初始化模块利用知识图谱将知识从预训练的分类器中迁移到小样本的数据库中，生成小样本分类器的初始化参数；由小样本分类器训练模块利用得到的初始化参数初始化小样本分类器的参数，在小样本数据集上训练，得到小样本图像分类器，用于对小样本图像进行识别。
2.根据权利要求1所述的基于知识引导的小样本图像识别***，其特征在于，所述参数初始化模块中：
首先，分别构建视觉关系以及语义关系知识图谱，以建立预训练模型中的类别与待分类的小样本类别之间的联系；其中：
视觉关系知识图谱构建具体步骤如下：
(1)以类别为单位，将小样本类别与源数据库中每个类别中的所有训练样本进行平均，提取到每个类别的视觉特征中心；
(2)计算每个类别之间的余弦相似度；
(3)用邻接矩阵表示知识图谱，设定阈值Tv，余弦相似度大于该阈值的两个类别被认为在视觉知识图谱上是有联系的，在邻接矩阵上相应位置标1表示；
语义关系知识图谱构建具体步骤如下：
(1)计算两个类别在wordnet层级结构上的距离，距离以跳数表示，即某一个类别到其父亲或者儿子类别节点的距离为1，到其祖父或者孙子节点的距离为2；
(2)用邻接矩阵表示知识图谱，设定阈值Ts，距离小于该阈值的两个类别被认为在语义知识图谱上是有联系的，在邻接矩阵上相应位置标1表示；
然后，采用视觉、语义双流图卷积网络模型，利用视觉以及语义的知识图谱将预训练双流图卷积网络模型中的知识迁移到小样本数据集中，并生成小样本分类器的初始化参数；具体步骤如下：
(1)以类别为单位，将小样本类别与源数据库中每个类别中的所有训练样本进行平均，提取到每个类别的视觉特征中心；将每个类别名字的词向量作为类别的语义特征中心；
(2)将所有类别的视觉特征中心以及语义特征输入视觉、语义双流图卷积网络中，用源数据集类别的分类器监督源数据类别节点的输出，用于监督的损失函数采用均方损失函数L；
所述双流图卷积神经网络，具体表达式如下：
Figure FDA0004060833720000021
其中，σ为leakyReLU激活函数,l为图神经网络的层数，H(l+1)为图神经网络第l层的输出，As为语义关系知识图谱的邻接矩阵，Av为视觉关系知识图谱的邻接矩阵，H(l)为当l不等于0时双流图卷积神经网络的输入，θ(l,s)为第l层双流图卷积神经网络中语义关系流图卷积神经网络的参数，θ(l,v)为为第l层双流图卷积神经网络中视觉关系流图卷积神经网络的参数，Fs为图卷积第0层的语义输入，具体为类别名字的词向量，FV为图卷积第0层的视觉输入，具体为类别中所有训练样本的CLIP视觉特征的平均值；
损失函数L使用预训练的分类器参数与图卷积神经网络最后一层的输出的L2距离，具体计算数学公式如下：
Figure FDA0004060833720000022
其中，m是源数据集中类别的总数，d为分类器的维度，Wbase为预训练的分类器参数，
Figure FDA0004060833720000023
为图卷积网络最后一层的输出。
3.根据权利要求2所述的基于知识引导的小样本图像识别***，其特征在于，所述小样本分类器训练模块中，利用参数初始化模块生成的初始化参数，在小样本数据集上进行微调，最终得到小样本分类器参数；
本模块采用sigmoid激活层，使得训练得到的分类器可以与预训练的分类器进行直接的叠加，使最终分类器在预训练的训练集与小样本训练集上都获得较好的分类准确度；具体步骤如下：
(1)采样出N张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Softmax激活函数，得到每个类别的预测分类概率；
(3)利用cross-entropy计算损失，反向传播训练分类器；
(4)重复步骤(1)-(3)，直到循环次数达到设定值。
4.根据权利要求3所述的基于知识引导的小样本图像识别***，其特征在于，测试过程具体步骤如下：
(1)采样出N张图像，得到预先提取的视觉特征以及标签；
(2)将图像的视觉特征通过Softmax激活函数得到每个类别的预测分类概率；
(3)将分类概率最高的类别作为预测类别。
CN202310058204.XA 2023-01-16 2023-01-16 基于知识引导的小样本图像识别*** Pending CN116152554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310058204.XA CN116152554A (zh) 2023-01-16 2023-01-16 基于知识引导的小样本图像识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310058204.XA CN116152554A (zh) 2023-01-16 2023-01-16 基于知识引导的小样本图像识别***

Publications (1)

Publication Number Publication Date
CN116152554A true CN116152554A (zh) 2023-05-23

Family

ID=86355694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310058204.XA Pending CN116152554A (zh) 2023-01-16 2023-01-16 基于知识引导的小样本图像识别***

Country Status (1)

Country Link
CN (1) CN116152554A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386148A (zh) * 2023-05-30 2023-07-04 国网江西省电力有限公司超高压分公司 基于知识图谱引导的小样本动作识别方法及***
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN117671517A (zh) * 2023-12-05 2024-03-08 长安大学 基于大规模预训练神经网络的遥感图像识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386148A (zh) * 2023-05-30 2023-07-04 国网江西省电力有限公司超高压分公司 基于知识图谱引导的小样本动作识别方法及***
CN116386148B (zh) * 2023-05-30 2023-08-11 国网江西省电力有限公司超高压分公司 基于知识图谱引导的小样本动作识别方法及***
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN116385330B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN117671517A (zh) * 2023-12-05 2024-03-08 长安大学 基于大规模预训练神经网络的遥感图像识别方法

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN107526785B (zh) 文本分类方法及装置
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
US10719780B2 (en) Efficient machine learning method
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN103793718B (zh) 一种基于深度学习的人脸表情识别方法
CN107506822B (zh) 一种基于空间融合池化的深度神经网络方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN116152554A (zh) 基于知识引导的小样本图像识别***
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN114022693B (zh) 一种基于双重自监督的单细胞RNA-seq数据聚类方法
CN111552803A (zh) 一种基于图小波网络模型的文本分类方法
CN108549718B (zh) 一种通用主题嵌入模型联合训练方法
CN112967210B (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及***
CN113222011A (zh) 一种基于原型校正的小样本遥感图像分类方法
CN112434686B (zh) 针对ocr图片的端到端含错文本分类识别仪
CN112784929A (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN112465226B (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination