CN114299326A - 一种基于转换网络与自监督的小样本分类方法 - Google Patents
一种基于转换网络与自监督的小样本分类方法 Download PDFInfo
- Publication number
- CN114299326A CN114299326A CN202111483193.7A CN202111483193A CN114299326A CN 114299326 A CN114299326 A CN 114299326A CN 202111483193 A CN202111483193 A CN 202111483193A CN 114299326 A CN114299326 A CN 114299326A
- Authority
- CN
- China
- Prior art keywords
- class
- feature
- embedding
- small sample
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims description 25
- 239000002131 composite material Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000013145 classification model Methods 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于转换网络与自监督的小样本分类方法，在通用的分类模型基础上增加一个转换网络模块，加入不同噪声进行特征增强，合成具有区分性与多样性的特征嵌入，使训练出来的模型可以更好的适用于小样本下游任务。具体包括如下步骤：获取用于训练特征提取器与转换网络模块的图像数据集；将图像数据集送入网络，使用特征增强方法获得具有区分性和多样性的特征嵌入，并结合自监督学习训练特征提取器与转换网络模块，优化目标是几个交叉熵损失与KL散度的和；获得训练好的特征提取器和转换网络模块，并将它应用于小样本分类任务。本发明在4个小样本分类任务基准(miniImageNet，tieredImageNet，CIFAR‑FS和Caltech‑UCSD)上均有很好的表现，证明了其在性能上的有效性与优越性。
Description
技术领域
本发明属于计算机视觉领域，特别地涉及一种加入转换网络与自监督的小样本分类方法。
背景技术
小样本学习旨在每个类别只需要学习少量样本就可以识别目标类别。为了完成这个任务，现存的很多方法都用基类来训练模型，每个基类都包含大量的带标签样本，然后把训练好的模型应用于测试任务。根据从基类迁移的数据，现存的的小样本学习方法可以被粗略分为三类：基于元学习的方法；基于度量学习的方法；基于数据增强的方法。
基于元学习的方法试图去学习一个能调整优化算法的元学习者，以便元学习者能够快速适应小样本任务；
基于度量学习的方法是指学习一个可迁移的距离度量函数，来评估样本间的相似性；
基于数据增强的方法是指通过使用通用的图像变换技术或者生成对抗网络来增强数据。但是此方法因为缺少小样本任务需要的特性，因此性能总是不尽如人意。
小样本学习中的分类问题主要指C-way K-shot问题，它是指：在训练阶段，在训练集中随机抽取C个类别，每个类别K个样本(共C×K个数据)作为模型的支持集输入，再从这C个类别中剩余的数据抽取Q个样本作为模型的查询集，即要求模型从C×K个数据中学会如何区分这C个类别。
发明内容
本发明提出了一种加入转换网络与自监督的小样本分类方法，来更好地适应于小样本下游任务。本方法通过加入转换网络模块，它由一对编码器与解码器组成，输出是合成的特征嵌入。本方法使用一种简单的特征合成技术去扰动特征空间，合成具有区分性和多样性的特征嵌入，这通过让合成的特征嵌入被正确分类到原始特征嵌入所在的种类，同时根据加入干扰的不同而分到不同的子类实现。另外在保证多样性的过程中，利用了自监督学习。这正是小样本任务所需要的特性。
为实现上述目的，本发明的技术方案为：
一种加入转换网络与自监督的小样本分类方法，包括以下步骤：
S1、获取用于训练特征提取器与转换网络模块的图像数据集；
S2、将图像数据集送入网络，使用特征增强方法获得具有区分性和多样性的特征嵌入，并结合自监督学习训练特征提取器与转换网络模块；
S3、将训练后的模型用于小样本分类任务。
进一步的，步骤S1中，给定基类
其中n为数据集中的图像总数，xi和yi分别表示第i张图像及其对应的类标签，yi∈{1，...，C}，C表示类别总数，每一类都包含多张图像。
进一步的，步骤S2具体包括：
S21、在训练深度神经网络时采用批量处理的方式，首先从图像数据集中随机采样一个批量的图像样本
其中批量大小Nbs预先给定；
S22、将B中的批量图像样本送入由骨干网络和分类器组成的模型，得到它们的预测概率。使用交叉熵(cross-entropy，简称CE)损失的模型的优化目标是
其中，f和g分别表示特征提取器和分类器，Θ是参数集，Lce表示CE损失，R表示参数集的正则化项，λ是超参数。
S23、为了保证合成特征嵌入的区分性，把它们送入原始视觉特征的分类网络，让预测类别与原始视觉特征属于的类别相一致。合成特征嵌入的分类是
其中，t是额外的合成特征嵌入个数，cj表示第j个高斯分布噪声的特征，T表示转换网络模块，yij是合成特征T(f(xi)，cj)的类标签，它与原始视觉特征f(xi)的类标签相同，Θ表示整个模型的参数集。
S24、为了保证合成特征嵌入的多样性，让合成了不同噪声的特征被分到不同的子类。将原始视觉特征与合成特征嵌入送到一个与上文分类器不同的分类器，输出为不同的类别
其中，lij是根据噪声的不同分布人工注释的自监督类标签，h表示自监督的分类器。
S25、在标签空间中使用真实视觉特征正则化合成特征嵌入，来使得合成特征嵌入保留真实视觉特征的类间关系
其中，KL表示Kullback Leibler散度，xij是类别yi中的真实样本。f(xij)作为合成特征嵌入T(f(xi)，cj)的监督器，不进行优化。
S26、总的优化目标为
Lall＝L1+L2+αL3+βL4
其中，α和β是超参数。
S27、根据得到的总的损失函数，使用带动量的随机梯度下降优化器，以及反向传播算法训练深度神经网络；
S28、重复步骤S21至S27直至模型收敛。
进一步的，步骤S3具体包括：
S31、给定一个C-way K-shot分类任务，支持集是S。对于每个支持样本xu，先通过特征提取器和转换网络模块得到最终的特征表示
S32、计算各个类别的视觉原型
其中，c表示某个类别，Sc和|Sc|是类别c的支持集和支持集中样本数量。
S33、对于查询集中的测试样本xu，它属于类别c的概率是
其中d是相似性度量函数。最终，根据测试样本属于N个类别的概率大小来预测到底属于哪个类别，概率最大的为预测类别。
本发明的加入转换网络与自监督的小样本分类方法，有以下优点：
首先，本方法直接合成视觉特征而不是输入数据，并且通过引入SSL监督保证了合成特征嵌入的区分性与多样性；
其次，本方法证明了合成特征嵌入可以为特征表示提供额外的模式，从而使模型更好地适用于下游小样本任务；
本发明的加入转换网络与自监督的小样本分类方法，在4个小样本分类任务基准(miniImageNet，tieredImageNet，CIFAR-FS和Caltech-UCSD)上均有很好的表现，证明了本发明在性能上的有效性与优越性。
附图说明
图1为本发明的加入转换网络与自监督的小样本分类方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。
参考图1，在本发明的较佳实施例中，加入转换网络与自监督的小样本分类方法，包括以下步骤：
首先，获取用于训练特征提取器与转换网络模块的图像数据集。
具体的，给定基类
其中n为数据集中的图像总数，xi和yi分别表示第i张图像及其对应的类标签，yi∈{1，...，C}，C表示类别总数，每一类都包含多张图像。
然后，将图像数据集送入网络，使用特征增强方法获得具有区分性和多样性的特征嵌入，并结合自监督学习训练特征提取器与转换网络模块。具体包括如下步骤：
第一步，在训练深度神经网络时采用批量处理的方式，首先从图像数据集中随机采样一个批量的图像样本
其中批量大小Nbs预先给定。
第二步，将B中的批量图像样本送入由骨干网络和分类器组成的模型，得到它们的预测概率。使用交叉熵损失的模型的优化目标是
其中，f和g分别表示特征提取器和分类器，Θ是参数集，Lce表示CE损失，R表示参数集的正则化项，λ是超参数。
第三步，为了保证合成特征嵌入的区分性，把它们送入原始视觉特征的分类网络，让预测类别与原始视觉特征属于的类别相一致。合成特征嵌入的分类是
其中，t是额外的合成特征嵌入个数，cj表示第j个高斯分布噪声的特征，T表示转换网络模块，yij是合成特征T(f(xi)，cj)的类标签，它与原始视觉特征f(xi)的类标签相同，Θ表示整个模型的参数集。
第四步，为了保证合成特征嵌入的多样性，让合成了不同噪声的特征被分到不同的子类。将原始视觉特征与合成特征嵌入送到一个与上文分类器不同的分类器，输出为不同的类别
其中，lij是根据噪声的不同分布人工注释的自监督类标签，h表示自监督的分类器。
第五步，在标签空间中使用真实视觉特征正则化合成特征嵌入，来使得合成特征嵌入保留真实视觉特征的类间关系
其中，KL表示Kullback Leibler散度，xij是类别yi中的真实样本。f(xij)作为合成特征嵌入T(f(xi)，cj)的监督器，不进行优化。
第六步，得到总的优化目标为
Lall＝L1+L2+αL3+βL4
其中，α和β是超参数。
第七步，根据得到的总的损失函数，使用带动量的随机梯度下降优化器，以及反向传播算法训练深度神经网络；
最后，重复上述步骤直至模型收敛。
最后，将训练后的模型用于小样本分类任务。
给定一个C-way K-shot分类任务，支持集是S。对于每个支持样本xu，先通过特征提取器和转换网络模块得到最终的特征表示
然后，计算各个类别的视觉原型
其中，c表示某个类别，Sc和|Sc|是类别c的支持集和支持集中样本数量。
进而，对于查询集中的测试样本xu，它属于类别c的概率是
其中d是相似性度量函数。最终，根据测试样本属于N个类别的概率大小来预测到底属于哪个类别，概率最大的为预测类别。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种加入转换网络与自监督的小样本分类方法，其特征在于，包括以下步骤：
S1、获取用于训练特征提取器与转换网络模块的图像数据集；
S2、将图像数据集送入网络，使用特征增强方法获得具有区分性和多样性的特征嵌入，并结合自监督学习训练特征提取器与转换网络模块；
S3、将训练完成的模型用于小样本分类任务。
2.如权利要求1所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S1中，给定基类
其中n为数据集中的图像总数，xi和yi分别表示第i张图像及其对应的类标签，yi∈{1，...，C}，C表示类别总数，每一类都包含多张图像。
3.如权利要求2所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S2具体包括：
S21、在训练时采用批量处理的方式，首先从图像数据集中随机采样一个批量的图像样本
其中批量大小Nbs预先给定；
S22、将B中的批量图像样本送入由骨干网络和分类器组成的模型，得到它们的预测概率；使用交叉熵损失的模型的优化目标是
其中，f和g分别表示特征提取器和分类器，Θ是参数集，Lce表示CE损失，R表示参数集的正则化项，λ是超参数；
S23、为了保证合成特征嵌入的区分性，把它们送入原始视觉特征的分类网络，让预测类别与原始视觉特征属于的类别相一致；合成特征嵌入的分类是
其中，t是额外的合成特征嵌入个数，cj表示第j个高斯分布噪声的特征，T表示转换网络模块，yij是合成特征T(f(xi)，cj)的类标签，它与原始视觉特征f(xi)的类标签相同，Θ表示整个模型的参数集；
S24、为了保证合成特征嵌入的多样性，让合成了不同噪声的特征被分到不同的子类，将原始视觉特征与合成特征嵌入送到一个与上文分类器不同的分类器，输出为不同的类别
其中，lij是根据噪声的不同分布人工注释的自监督类标签，h表示自监督的分类器；
S25、在标签空间中使用真实视觉特征正则化合成特征嵌入，来使得合成特征嵌入保留真实视觉特征的类间关系
其中，KL表示Kullback Leibler散度，xij是类别yi中的真实样本；f(xij)作为合成特征嵌入T(f(xi)，cj)的监督器，不进行优化；
S26、总的优化目标为
Lall＝L1+L2+αL3+βL4
其中，α和β是超参数；
S27、根据得到的总的损失函数，使用带动量的随机梯度下降优化器，以及反向传播算法训练深度神经网络；
S28、重复步骤S21至S27直至模型收敛。
4.如权利要求1-3任一项所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S3具体包括：
S31、给定一个C-way K-shot分类任务，支持集是S。对于每个支持样本xu，先通过特征提取器和转换网络模块得到最终的特征表示
S32、计算各个类别的视觉原型
其中，c表示某个类别，Sc和|Sc|是类别c的支持集和支持集中样本数量；
S33、对于查询集中的测试样本xu，它属于类别c的概率是
其中d是相似性度量函数，本发明中使用的是余弦相似性函数。最终，根据测试样本属于N个类别的概率大小来预测到底属于哪个类别，概率最大的为预测类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111483193.7A CN114299326A (zh) | 2021-12-07 | 2021-12-07 | 一种基于转换网络与自监督的小样本分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111483193.7A CN114299326A (zh) | 2021-12-07 | 2021-12-07 | 一种基于转换网络与自监督的小样本分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299326A true CN114299326A (zh) | 2022-04-08 |
Family
ID=80965005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111483193.7A Pending CN114299326A (zh) | 2021-12-07 | 2021-12-07 | 一种基于转换网络与自监督的小样本分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299326A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936615A (zh) * | 2022-07-25 | 2022-08-23 | 南京大数据集团有限公司 | 一种基于表征一致性校对的小样本日志信息异常检测方法 |
| CN116071609A (zh) * | 2023-03-29 | 2023-05-05 | 中国科学技术大学 | 基于目标特征动态自适应提取的小样本图像分类方法 |
-
2021
- 2021-12-07 CN CN202111483193.7A patent/CN114299326A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936615A (zh) * | 2022-07-25 | 2022-08-23 | 南京大数据集团有限公司 | 一种基于表征一致性校对的小样本日志信息异常检测方法 |
| CN114936615B (zh) * | 2022-07-25 | 2022-10-14 | 南京大数据集团有限公司 | 一种基于表征一致性校对的小样本日志信息异常检测方法 |
| CN116071609A (zh) * | 2023-03-29 | 2023-05-05 | 中国科学技术大学 | 基于目标特征动态自适应提取的小样本图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110209823B (zh) | 一种多标签文本分类方法及*** | |
| CN110334705B (zh) | 一种结合全局和局部信息的场景文本图像的语种识别方法 | |
| Oord et al. | Representation learning with contrastive predictive coding | |
| CN111428718B (zh) | 一种基于图像增强的自然场景文本识别方法 | |
| CN111552807B (zh) | 一种短文本多标签分类方法 | |
| CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
| CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN111738169B (zh) | 一种基于端对端网络模型的手写公式识别方法 | |
| CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN113610173A (zh) | 一种基于知识蒸馏的多跨域少样本分类方法 | |
| CN114299326A (zh) | 一种基于转换网络与自监督的小样本分类方法 | |
| CN113626589A (zh) | 一种基于混合注意力机制的多标签文本分类方法 | |
| CN113052017B (zh) | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 | |
| CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
| CN113434683A (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及*** | |
| CN114898136A (zh) | 一种基于特征自适应的小样本图像分类方法 | |
| CN114416991A (zh) | 一种基于prompt的文本情感原因分析方法和*** | |
| CN116385946B (zh) | 面向视频的目标片段定位方法、***、存储介质及设备 | |
| CN116226357B (zh) | 一种输入中包含错误信息场景下的文档检索方法 | |
| CN116483942A (zh) | 基于再注意力机制和对比损失的法律案情要素抽取方法 | |
| CN116521863A (zh) | 一种基于半监督学习的标签抗噪文本分类方法 | |
| CN115577111A (zh) | 基于自注意力机制的文本分类方法 | |
| CN115098681A (zh) | 一种基于有监督对比学习的开放服务意图检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |