CN116994076B - 一种基于双分支相互学习特征生成的小样本图像识别方法 - Google Patents
一种基于双分支相互学习特征生成的小样本图像识别方法 Download PDFInfo
- Publication number
- CN116994076B CN116994076B CN202311264423.XA CN202311264423A CN116994076B CN 116994076 B CN116994076 B CN 116994076B CN 202311264423 A CN202311264423 A CN 202311264423A CN 116994076 B CN116994076 B CN 116994076B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- global
- branch
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims description 68
- 230000006870 function Effects 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双分支相互学习特征生成的小样本图像识别方法，涉及小样本图像识别技术领域，方法包括：获取待识别小样本图像集合，构成待识别查询集；将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；将第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度确定待识别查询集中每个图像的图像类别。挖掘样本局部特征和全局特征的语义关系，达到小样本图像准确识别的技术效果。
Description
技术领域
本发明涉及小样本图像识别技术领域，并且更具体地，涉及一种基于双分支相互学习特征生成的小样本图像识别方法。
背景技术
近年来，凭借大规模数据集和庞大的计算资源，以深度学习为代表的人工智能算法已经在人脸识别、自动驾驶、机器人等图像识别相关领域取得了巨大的成就，然而深度学习需要依靠大量的标签数据，在实际应用中数据获取往往是困难的, 这之中既有个人隐私的问题, 比如人脸数据, 也有问题对象本身就很少的问题, 比如识别珍稀保护动物的问题，除此之外, 数据标注工作往往需要耗费大量人力物力，从而阻碍了深度学习技术在某些图像识别领域的发展。与之相反，人类本身能够通过极少量的样本识别一个新物体，在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，由此产生的小样本的图像识别问题已经逐渐成为当前的研究热点。
小样本图像识别任务的核心问题在于样本量过少，从而导致样本多样性过低。在数据量有限的情况下，可以通过数据增强来提高样本多样性。数据增强是指在数据量有限的情况下，借助辅助数据或者辅助信息，对原有的小样本数据集进行数据扩充或特征增强。数据扩充是指向原有的数据集添加新的无标签数据或者合成的带标签数据，特征增强是指向原样本的特征空间中添加便于分类的特征，提高样本的特征多样性。
现有的基于特征增强的方法在生成新特征时，主要依赖于样本的全局语义特征，这些方法通过分析不同样本之间全局语义特征的相似性或差异性，生成新的全局语义特征。这种方法虽然能够提高数据集的规模和多样性，但也存在问题，那就是忽略了样本的局部特征信息，在小样本的情况下，由于数据量有限，每个样本都可能包含一些独特或重要的局部特征信息，这些信息对于区分不同类别或任务是非常有用的。如果只使用全局语义特征来生成新特征，就可能丢失或混淆这些局部特征信息，导致生成的新特征质量不高或不准确。
发明内容
针对现有技术的不足，本发明提供一种基于双分支相互学习特征生成的小样本图像识别方法。
根据本发明的一个方面，提供了一种基于双分支相互学习特征生成的小样本图像识别方法，包括：
获取待识别小样本图像集合，构成待识别查询集；
将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；
将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；
将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；
分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
可选地，支持集每个类别的类别原型的构建过程如下：
将支持集中的所有图像依次输入到全局分支的第一特征生成模块中，输出支持集中每张图像的第四语义特征；
将支持集中的所有图像依次输入到局部分支的第二特征生成模块中，输出支持集中每张图像的第五语义特征；
将支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定支持集中每个类别的类别原型。
可选地，全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练过程如下：
根据小样本图像训练集，构建小样本识别任务，其中小样本识别任务包括N类，每个类别中包括M张样本图像；
利用特征提取网络对小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；
通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块；
通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块；
将全局分支以及局部分支的训练信息互相学习，训练第一特征生成模块以及第二特征生成模块；
根据预先设置的训练总损失函数，优化第一特征生成模块以及第二特征生成模块。
可选地，通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块，包括：
分别对每个类别的M张样本图像的全局特征进行掩码，得到一张样本图像的全局特征；
将每个类别掩码的样本图像的全局特征使用可学习向量替换；
根据每个类别替换的可学习向量以及掩码保留的全局特征训练全局分支的第一特征生成模块；
根据预先设定的全局分支损失函数，优化第一特征生成模块，其中全局分支的损失函数包括全局预测损失函数以及全局分类损失函数。
可选地，通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块，包括：
选择每个类别中一张样本图像的局部特征；
根据每个类别选取的局部特征和预先设定的M个可学习向量训练第二特征生成模块；
根据预先设定的局部分支损失函数，优化第二特征生成模块，其中局部分支损失函数包括局部预测损失函数以及局部分类损失函数。
可选地，还包括：计算KL散度作为全局分支以及局部分支的训练信息互相学习的相互学习损失函数。
可选地，训练总损失函数为全局分支损失函数、局部分支损失函数以及互相学习损失函数之和。
可选地，分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每个图像的图像类别，包括：
分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每张图像属于支持集中每个类别的概率值；
取待识别查询集中每个图像对应的概率值最大的类别作为该图像的图像类别。
根据本发明的另一个方面，提供了一种基于双分支相互学习特征生成的小样本图像识别装置，包括：
获取模块，用于获取待识别小样本图像集合，构成待识别查询集；
第一生成模块，用于将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；
第二生成模块，用于将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；
第一确定模块，用于将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；
第二确定模块，用于分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。
根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。
从而，本发明提出了一种基于双分支相互学习特征生成的小样本图像识别方法，构建了基于局部特征信息的特征生成模块，该模块通过挖掘样本局部特征和全局特征的语义关系，利用样本的局部特征信息生成多样化的全局语义特征，进行特征增强。基于局部特征信息进行特征生成的分支和基于全局语义特征进行特征生成的分支，两个分支之间相互学习，捕获互补信息，促进彼此间的隐性知识转移，使模型生成更具有判别性的特征。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1是本发明一示例性实施例提供的基于双分支相互学习特征生成的小样本图像识别方法的流程示意图；
图2是本发明一示例性实施例提供的基于双分支相互学习特征生成的小样本图像识别装置的结构示意图；
图3是本发明一示例性实施例提供的电子设备的结构。
具体实施方式
下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
示例性方法
图1是本发明一示例性实施例提供的基于双分支相互学习特征生成的小样本图像识别方法的流程示意图。本实施例可应用在电子设备上，如图1所示，基于双分支相互学习特征生成的小样本图像识别方法100包括以下步骤：
步骤101，获取待识别小样本图像集合，构成待识别查询集。
步骤102，将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征。
步骤103，将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征。
步骤104，将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征。
步骤105，分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
可选地，支持集每个类别的类别原型的构建过程如下：
将支持集中的所有图像依次输入到全局分支的第一特征生成模块中，输出支持集中每张图像的第四语义特征；
将支持集中的所有图像依次输入到局部分支的第二特征生成模块中，输出支持集中每张图像的第五语义特征；
将支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定支持集中每个类别的类别原型。
可选地，分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每个图像的图像类别，包括：
分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每张图像属于支持集中每个类别的概率值；
取待识别查询集中每个图像对应的概率值最大的类别作为该图像的图像类别。
具体地，选择 N个类作为支持集，然后从每个类中选择S张图像图像构成支持集，基于支持集图像对查询集图像进行识别。
计算支持集中的类别原型。首先，将支持集的N×S张图像分别送入到全局分支和局部分支，通过全局分支的第一特征生成模块，得到 个第四语义特征，同样，通过局部分支的第二特征生成模块，也得到/> 个第五语义特征，然后将两个分支生成的 个语义特征相加，得到总的语义特征，最后对每个类中的/> 个语义特征相加并取平均，作为每个类的类别原型/> 其中 /> 为图像全局特征。
识别查询集中的图像。对于待识别的查询集 中的每个图像x，分别送入到全局分支和局部分支，通过全局分支的第一特征生成模块，得到 M个第一语义特征，同样，通过局部分支的第二特征生成模块，也得到M个第二语义特征，然后将两个分支生成的 M个语义特征相加并取平均，得到图像x的第三语义特征/>。然后根据每个待识别查询集样本与每个类别原型之间的相似度计算待识别查询集样本属于各个类别的概率值，取概率值最大的类别作为待识别查询集样本的预测标签。概率计算公式为：
其中，C i 为待识别查询集样本在N个类中的类别标签， 为根据待识别查询集样本与N个类别原型距离预测的类别标签。
可选地，全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练过程如下：
根据小样本图像训练集，构建小样本识别任务，其中小样本识别任务包括N类，每个类别中包括M张样本图像；
利用特征提取网络对小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；
通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块；
通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块；
将全局分支以及局部分支的训练信息互相学习，训练第一特征生成模块以及第二特征生成模块；
根据预先设置的训练总损失函数，优化第一特征生成模块以及第二特征生成模块。
可选地，通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块，包括：
分别对每个类别的M张样本图像的全局特征进行掩码，确定一张样本图像的全局特征；
将每个类别掩码的样本图像的全局特征使用可学习向量替换；
根据每个类别替换的可学习向量以及掩码保留的全局特征训练全局分支的第一特征生成模块；
根据预先设定的全局分支损失函数，优化第一特征生成模块，其中全局分支的损失函数包括全局预测损失函数以及全局分类损失函数。
可选地，通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块，包括：
选择每个类别中一张样本图像的局部特征；
根据每个类别选取的局部特征和预先设定的M个可学习向量训练第二特征生成模块；
根据预先设定的局部分支损失函数，优化第二特征生成模块，其中局部分支损失函数包括局部预测损失函数以及局部分类损失函数。
可选地，还包括：计算KL散度作为全局分支以及局部分支的训练信息互相学习的相互学习损失函数。
可选地，训练总损失函数为全局分支损失函数、局部分支损失函数以及互相学习损失函数之和。
具体地，全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练步骤如下：
步骤1：构建小样本识别任务。构建一系列小样本识别任务进行训练，具体的，随机从训练集中选取N个类，然后从每个类中随机采样M个样本，构成任务T，共N×M张图像。
步骤2：特征提取。对于任务T中的每个图像x，输入到特征提取网络提取特征，特征提取网络使用视觉自注意力模型ViT（Vision Transformer），包括四个基本的编码器块Transformer Blocks，局部分支和全局分支共享前三个Transformer Blocks的参数。对于局部分支，提取图像的全局特征 和局部特征 /> 。对于全局分支，只提取图像的全局特征。其中H、W和C分别是特征图的高度、宽度和通道数。
步骤3：全局分支。基于步骤2得到任务T中所有图像的全局特征，对于每个类M张图像的全局特征，对其进行掩码，只保留一张图像的全局特征，然后将掩码的全局特征使用可学习的向量进行替换。
为类别i中的M张图像的全局特征向量，mask表示掩码操作，表示对掩码的特征替换的可学习向量。
然后将掩码后的特征向量送入到全局分支的第一特征生成模块。第一特征生成模块由一系列的Transformer Blocks组成。特征生成模块使用保留的全局特征信息对掩码的特征进行预测，通过一对多的方式学习样本的类内变化，使模型可以生成多样化的特征。
为第一特征生成模块， />为第一特征生成模块生成的特征。
使用均方误差（MSE）作为全局预测损失函数来测量预测特征与掩码之前的特征之间的差异。
为了使全局分支提取的特征具有判别性，全局分支在输入图像的真实标签的监督下进行训练，在整个类空间中学习类间关系挖掘，全局分类损失为：
其中y i 是x i 的类别标签，h表示分类器，它是一个全连接层。
最后，全局分支的损失为：
其中 为超参数。
步骤4：局部分支。基于步骤二确定任务T中所有图像的全局特征和局部特征，对于每个类M张图像的局部特征，只选择一张图像的全局特征，并将M个可学习的向量送入到局部分支的特征生成模块，M个可学习的向量用于生成预测的全局特征，并使用特征提取模块提取的M个全局特征进行监督。
表示M个可学习的向量，用于生成预测的全局特征，表示W×H个局部特征。
然后将M个可学习的向量和W×H个局部特征送入到局部分支的第二特征生成模块，通过挖掘局部特征和全局特征之间的语义关系，使用局部特征信息生成全局语义特征。
为第二特征生成模块， />为第二特征生成模块生成的M个全局特征。
同全局分支一样，使用均方误差（MSE）作为局部预测损失函数来测量预测特征与原来特征之间的差异。
g i,j 表示生成的全局特征，f i,j 表示第i类的第j个全局特征。
其中y i 是x i 在选择的N个类中的类别标签，h表示分类器，它是一个全连接层，k表示任务T中图像的个数。
最后，局部分支的总损失为：
其中为超参数。
步骤5：相互学习。为了使两个分支之间进行信息交互，两个分支从别的分支中学习互补信息，计算KL散度作为两个分支的相互学习损失：
其中，为全局分支提取的图像特征，F l 为局部分支提取的图像特征。
步骤6：总损失。将全局分支损失、局部分支损失和两个分支相互学习损失结合构成总损失：
其中， 、/>和/>是超参数。
从而，现有的基于特征增强的方法主要通过分析不同样本之间全局语义特征的相似性或差异性，生成新的全局语义特征。这种方法虽然能够提高数据集的规模和多样性，但也存在问题，那就是忽略了样本的局部特征信息，在小样本的情况下，由于数据量有限，每个样本都可能包含一些独特或重要的局部特征信息，这些信息对于区分不同类别或任务是非常有用的。如果只使用全局语义特征来生成新特征，就可能丢失或混淆这些局部特征信息，导致生成的新特征质量不高或不准确。对此，本发明构建了基于局部特征信息的特征生成模块，该模块通过挖掘样本局部特征和全局特征的语义关系，利用样本的局部特征信息生成多样化的全局语义特征，进行特征增强。此外，对于只使用全局特征或局部特征进行特征增强的局限性，本发明提出了双分支相互学习特征生成方法，包括基于局部特征信息进行特征生成的分支和基于全局语义特征进行特征生成的分支，两个分支之间相互学习，捕获互补信息，促进彼此间的隐性知识转移，使模型生成更具有判别性的特征。
示例性装置
图2是本发明一示例性实施例提供的基于双分支相互学习特征生成的小样本图像识别装置的结构示意图。如图2所示，装置200包括：
获取模块210，用于获取待识别小样本图像集合，构成待识别查询集；
第一生成模块220，用于将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；
第二生成模块230，用于将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；
第一确定模块240，用于将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；
第二确定模块250，用于分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
可选地，第二确定模块250中支持集每个类别的类别原型的构建过程如下：
第一输出子模块，用于将支持集中的所有图像依次输入到全局分支的第一特征生成模块中，输出支持集中每张图像的第四语义特征；
第二输出子模块，用于将支持集中的所有图像依次输入到局部分支的第二特征生成模块中，输出支持集中每张图像的第五语义特征；
确定子模块，用于将支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定支持集中每个类别的类别原型。
可选地，第一生成模块220和所述第二生成模块230中全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练过程如下：
构建子模块，用于根据小样本图像训练集，构建小样本识别任务，其中小样本识别任务包括N类，每个类别中包括M张样本图像；
提取子模块，用于利用特征提取网络对小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；
第一训练子模块，用于通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块；
第二训练子模块，用于通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块；
第三训练子模块，用于将全局分支以及局部分支的训练信息互相学习，训练第一特征生成模块以及第二特征生成模块；
优化子模块，用于根据预先设置的训练总损失函数，优化第一特征生成模块以及第二特征生成模块。
可选地，第一训练子模块，包括：
掩码单元，用于分别对每个类别的M张样本图像的全局特征进行掩码，确定一张样本图像的全局特征；
替换单元，用于将每个类别掩码的样本图像的全局特征使用可学习向量替换；
第一训练单元，用于根据每个类别替换的可学习向量以及掩码保留的全局特征训练全局分支的第一特征生成模块；
第一优化单元，用于根据预先设定的全局分支损失函数，优化第一特征生成模块，其中全局分支的损失函数包括全局预测损失函数以及全局分类损失函数。
可选地，第二训练子模块，包括：
选择单元，用于选择每个类别中一张样本图像的局部特征；
第二训练单元，用于根据每个类别选取的局部特征和预先设定的M个可学习向量训练第二特征生成模块；
第二优化单元，用于根据预先设定的局部分支损失函数，优化第二特征生成模块，其中局部分支损失函数包括局部预测损失函数以及局部分类损失函数。
可选地，装置200还包括：作为模块，用于计算KL散度作为全局分支以及局部分支的训练信息互相学习的相互学习损失函数。
可选地，训练总损失函数为全局分支损失函数、局部分支损失函数以及互相学习损失函数之和。
可选地，第二确定模块250，包括：
计算子模块，用于分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每张图像属于支持集中每个类别的概率值；
作为子模块，用于取待识别查询集中每个图像对应的概率值最大的类别作为该图像的图像类别。
示例性电子设备
图3是本发明一示例性实施例提供的电子设备的结构。如图3所示，电子设备30包括一个或多个处理器31和存储器32。
处理器31可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器32可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器31可以运行所述程序指令，以实现上文所述的本发明的各个实施例的软件程序的方法以及/或者其他期望的功能。在一个示例中，电子设备还可以包括：输入装置33和输出装置34，这些组件通过总线***和/或其他形式的连接机构（未示出）互连。
此外，该输入装置33还可以包括例如键盘、鼠标等等。
该输出装置34可以向外部输出各种信息。该输出装置34可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图3中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、***或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明中涉及的器件、***、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、***、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本发明的方法和***。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和***。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
还需要指出的是，在本发明的***、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (8)
1.一种基于双分支相互学习特征生成的小样本图像识别方法，其特征在于，包括：
获取待识别小样本图像集合，构成待识别查询集；
将所述待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；
将所述待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；
将所述待识别查询集中每个图像的第一语义特征和所述第二语义特征相加，确定所述待识别查询集中每个图像的第三语义特征；
分别计算所述待识别查询集中每张图像的所述第三语义特征与支持集中多个类别原型的相似度，确定所述待识别查询集中每个图像的图像类别；
所述支持集每个类别的类别原型的构建过程如下：
将所述支持集中的所有图像依次输入到所述全局分支的所述第一特征生成模块中，输出所述支持集中每张图像的第四语义特征；
将所述支持集中的所有图像依次输入到所述局部分支的所述第二特征生成模块中，输出所述支持集中每张图像的第五语义特征；
将所述支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定所述支持集中每个类别的所述类别原型；
所述全局分支的第一特征生成模块和所述局部分支的第二特征生成模块的训练过程如下：
根据小样本图像训练集，构建小样本识别任务，其中所述小样本识别任务包括N类，每个类别中包括M张样本图像；
利用特征提取网络对所述小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；
通过所述小样本识别任务中每张样本图像的所述全局特征训练所述全局分支的所述第一特征生成模块；
通过所述小样本识别任务中每张样本图像的所述全局特征和所述局部特征训练所述局部分支的所述第二特征生成模块；
将所述全局分支以及所述局部分支的训练信息互相学习，训练所述第一特征生成模块以及所述第二特征生成模块；
根据预先设置的训练总损失函数，优化所述第一特征生成模块以及所述第二特征生成模块。
2.根据权利要求1所述的方法，其特征在于，通过所述小样本识别任务中每张样本图像的所述全局特征训练所述全局分支的所述第一特征生成模块，包括：
分别对每个类别的M张样本图像的所述全局特征进行掩码，得到一张样本图像的全局特征；
将每个类别掩码的样本图像的所述全局特征使用可学习向量替换；
根据每个类别替换的可学习向量以及掩码保留的所述全局特征训练所述全局分支的第一特征生成模块；
根据预先设定的全局分支损失函数，优化所述第一特征生成模块，其中所述全局分支的损失函数包括全局预测损失函数以及全局分类损失函数。
3.根据权利要求2所述的方法，其特征在于，通过所述小样本识别任务中每张样本图像的所述全局特征和所述局部特征训练所述局部分支的所述第二特征生成模块，包括：
选择每个类别中一张样本图像的局部特征；
根据每个类别选取的局部特征和预先设定的M个可学习向量训练所述第二特征生成模块；
根据预先设定的局部分支损失函数，优化所述第二特征生成模块，其中所述局部分支损失函数包括局部预测损失函数以及局部分类损失函数。
4.根据权利要求3所述的方法，其特征在于，还包括：计算KL散度作为所述全局分支以及所述局部分支的训练信息互相学习的相互学习损失函数。
5.根据权利要求4所述的方法，其特征在于，所述训练总损失函数为所述全局分支损失函数、所述局部分支损失函数以及所述互相学习损失函数之和。
6.根据权利要求1所述的方法，其特征在于，分别计算所述待识别查询集中每张图像的所述第三语义特征与支持集中多个类别的类别原型的相似度，确定所述待识别查询集中每个图像的图像类别，包括：
分别计算所述待识别查询集中每张图像的所述第三语义特征与所述支持集中多个类别的类别原型的相似度，确定所述待识别查询集中每张图像属于所述支持集中每个类别的概率值；
取所述待识别查询集中每个图像对应的所述概率值最大的类别作为该图像的图像类别。
7.一种基于双分支相互学习特征生成的小样本图像识别装置，其特征在于，包括：
获取模块，用于获取待识别小样本图像集合，构成待识别查询集；
第一生成模块，用于将所述待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；
第二生成模块，用于将所述待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；
第一确定模块，用于将所述待识别查询集中每个图像的第一语义特征和所述第二语义特征相加，确定所述待识别查询集中每个图像的第三语义特征；
第二确定模块，用于分别计算所述待识别查询集中每张图像的所述第三语义特征与支持集中多个类别原型的相似度，确定所述待识别查询集中每个图像的图像类别；
第二确定模块250中支持集每个类别的类别原型的构建过程如下：
第一输出子模块，用于将支持集中的所有图像依次输入到全局分支的第一特征生成模块中，输出支持集中每张图像的第四语义特征；
第二输出子模块，用于将支持集中的所有图像依次输入到局部分支的第二特征生成模块中，输出支持集中每张图像的第五语义特征；
确定子模块，用于将支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定支持集中每个类别的类别原型；
第一生成模块220和所述第二生成模块230中全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练过程如下：
构建子模块，用于根据小样本图像训练集，构建小样本识别任务，其中小样本识别任务包括N类，每个类别中包括M张样本图像；
提取子模块，用于利用特征提取网络对小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；
第一训练子模块，用于通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块；
第二训练子模块，用于通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块；
第三训练子模块，用于将全局分支以及局部分支的训练信息互相学习，训练第一特征生成模块以及第二特征生成模块；
优化子模块，用于根据预先设置的训练总损失函数，优化第一特征生成模块以及第二特征生成模块。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264423.XA CN116994076B (zh) | 2023-09-28 | 2023-09-28 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311264423.XA CN116994076B (zh) | 2023-09-28 | 2023-09-28 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116994076A CN116994076A (zh) | 2023-11-03 |
| CN116994076B true CN116994076B (zh) | 2024-01-19 |
Family
ID=88528724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311264423.XA Active CN116994076B (zh) | 2023-09-28 | 2023-09-28 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116994076B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007317133A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類方法及び装置及びプログラム |
| CN112200111A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种全局与局部特征融合的遮挡鲁棒行人重识别方法 |
| WO2021121127A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 样本类别识别方法、装置、计算机设备及存储介质 |
| CN113111971A (zh) * | 2021-05-07 | 2021-07-13 | 浙江宇视科技有限公司 | 分类模型的智能处理方法、装置、电子设备及介质 |
| CN113255787A (zh) * | 2021-05-31 | 2021-08-13 | 西安电子科技大学 | 一种基于语义特征和度量学习的小样本目标检测方法及*** |
| AU2021105831A4 (en) * | 2021-08-18 | 2021-10-21 | Affiliated Zhongshan Hospital Of Dalian University | Method for Automatically Noting Medical Image Under Small Samples and System Thereof |
| CN114005096A (zh) * | 2021-11-09 | 2022-02-01 | 河北工业大学 | 基于特征增强的车辆重识别方法 |
| WO2022077901A1 (zh) * | 2020-10-13 | 2022-04-21 | 同济大学 | 一种面向小样本数据集的轴承故障模式诊断方法及*** |
| CN115953630A (zh) * | 2023-01-09 | 2023-04-11 | 西北工业大学 | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN116049349A (zh) * | 2022-05-11 | 2023-05-02 | 北京理工大学 | 基于多层次注意力和层次类别特征的小样本意图识别方法 |
| WO2023071680A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 内窥镜图像特征学习模型、分类模型的训练方法和装置 |
| WO2023137889A1 (zh) * | 2022-01-20 | 2023-07-27 | 北京邮电大学 | 基于嵌入增强和自适应的小样本图像增量分类方法及装置 |
| CN116597384A (zh) * | 2023-06-02 | 2023-08-15 | 中国人民解放军国防科技大学 | 基于小样本训练的空间目标识别方法、装置及计算机设备 |
| CN116597312A (zh) * | 2023-05-22 | 2023-08-15 | 武汉轻工大学 | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 |
| CN116612324A (zh) * | 2023-05-17 | 2023-08-18 | 四川九洲电器集团有限责任公司 | 基于语义自适应融合机制的小样本图像分类方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8891908B2 (en) * | 2012-11-14 | 2014-11-18 | Nec Laboratories America, Inc. | Semantic-aware co-indexing for near-duplicate image retrieval |
-
2023
- 2023-09-28 CN CN202311264423.XA patent/CN116994076B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007317133A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類方法及び装置及びプログラム |
| WO2021121127A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 样本类别识别方法、装置、计算机设备及存储介质 |
| WO2022077901A1 (zh) * | 2020-10-13 | 2022-04-21 | 同济大学 | 一种面向小样本数据集的轴承故障模式诊断方法及*** |
| CN112200111A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种全局与局部特征融合的遮挡鲁棒行人重识别方法 |
| CN113111971A (zh) * | 2021-05-07 | 2021-07-13 | 浙江宇视科技有限公司 | 分类模型的智能处理方法、装置、电子设备及介质 |
| CN113255787A (zh) * | 2021-05-31 | 2021-08-13 | 西安电子科技大学 | 一种基于语义特征和度量学习的小样本目标检测方法及*** |
| AU2021105831A4 (en) * | 2021-08-18 | 2021-10-21 | Affiliated Zhongshan Hospital Of Dalian University | Method for Automatically Noting Medical Image Under Small Samples and System Thereof |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| WO2023071680A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 内窥镜图像特征学习模型、分类模型的训练方法和装置 |
| CN114005096A (zh) * | 2021-11-09 | 2022-02-01 | 河北工业大学 | 基于特征增强的车辆重识别方法 |
| WO2023137889A1 (zh) * | 2022-01-20 | 2023-07-27 | 北京邮电大学 | 基于嵌入增强和自适应的小样本图像增量分类方法及装置 |
| CN116049349A (zh) * | 2022-05-11 | 2023-05-02 | 北京理工大学 | 基于多层次注意力和层次类别特征的小样本意图识别方法 |
| CN115953630A (zh) * | 2023-01-09 | 2023-04-11 | 西北工业大学 | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 |
| CN116612324A (zh) * | 2023-05-17 | 2023-08-18 | 四川九洲电器集团有限责任公司 | 基于语义自适应融合机制的小样本图像分类方法及装置 |
| CN116597312A (zh) * | 2023-05-22 | 2023-08-15 | 武汉轻工大学 | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 |
| CN116597384A (zh) * | 2023-06-02 | 2023-08-15 | 中国人民解放军国防科技大学 | 基于小样本训练的空间目标识别方法、装置及计算机设备 |
Non-Patent Citations (4)
| Title |
|---|
| 一种基于概率粗糙集模型的图像语义检索方法;徐久成;李晓艳;孙林;;南京大学学报(自然科学版)(第04期);全文 * |
| 一种用于图像检索的多层语义二值描述符;吴泽斌;于俊清;何云峰;管涛;;计算机学报(第09期);全文 * |
| 基于条件随机场的多标签图像分类识别方法;王莉;陈兆熙;余丽;;计算机仿真(08);全文 * |
| 基于自适应特征比较的少样本学习算法;年福东;束建华;吕刚;;西安文理学院学报(自然科学版)(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116994076A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Open-world semantic segmentation via contrasting and clustering vision-language embedding | |
| CN111639178A (zh) | 生命科学文档的自动分类和解释 | |
| CN109214407B (zh) | 事件检测模型、方法、装置、计算设备及存储介质 | |
| CN110781919A (zh) | 分类模型训练方法、分类方法、装置及设备 | |
| CN115244587A (zh) | 高效基础事实注释 | |
| CN114638960A (zh) | 模型的训练方法、图像描述生成方法和装置、设备、介质 | |
| CN111506729B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
| CN115563627B (zh) | 一种基于人机协同的二进制程序漏洞静态分析方法 | |
| CN112836509A (zh) | 一种专家***知识库构建方法及*** | |
| CN111831826A (zh) | 跨领域的文本分类模型的训练方法、分类方法以及装置 | |
| CN108268629B (zh) | 基于关键词的图像描述方法和装置、设备、介质 | |
| CN110909768B (zh) | 一种标注数据获取方法及装置 | |
| US20230376692A1 (en) | Technical document issues scanner | |
| CN111079376B (zh) | 数据标注方法、装置、介质以及电子设备 | |
| CN116994076B (zh) | 一种基于双分支相互学习特征生成的小样本图像识别方法 | |
| CN115099344A (zh) | 模型训练方法和装置、用户画像生成方法和装置、设备 | |
| CN115482436A (zh) | 图像筛选模型的训练方法、装置以及图像筛选方法 | |
| CN114842301A (zh) | 一种图像注释模型的半监督训练方法 | |
| Hasan et al. | Smoke detection from different environmental conditions using faster r-cnn approach based on deep neural network | |
| CN110245564B (zh) | 一种行人检测方法、***及终端设备 | |
| CN115100419B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN111860662B (zh) | 一种相似性检测模型的训练方法及装置、应用方法及装置 | |
| CN112347196B (zh) | 基于神经网络的实体关系抽取方法及装置 | |
| Chandrashekar et al. | Visual context learning with big data analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |