CN113076437B - 一种基于标签重分配的小样本图像分类方法及*** - Google Patents
一种基于标签重分配的小样本图像分类方法及*** Download PDFInfo
- Publication number
- CN113076437B CN113076437B CN202110392522.0A CN202110392522A CN113076437B CN 113076437 B CN113076437 B CN 113076437B CN 202110392522 A CN202110392522 A CN 202110392522A CN 113076437 B CN113076437 B CN 113076437B
- Authority
- CN
- China
- Prior art keywords
- sample
- label
- cluster
- samples
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于标签重分配的小样本图像分类方法及***,包括将小样本数据集划分成基类数据集与新类数据集,在基类数据集上预训练网络模型,在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;利用预训练网络为支撑集样本和查询集样本提取特征,然后对提取的查询集样本特征进行聚簇,最后使用标签重分配方法为簇里的查询集样本重新分配标签;输出查询集样本的标签。本方法能够提高小样本分类的准确率。
Description
技术领域
本发明涉及机器学习领域,具体涉及一种基于标签重分配的小样本图像分类方法及***。
背景技术
小样本学习是一种特殊的机器学习问题,它主要研究如何利用有限的标注数据进行学习。小样本学习通常包含两个阶段的学习过程,第一个阶段在基类数据集上对深度网络模型进行预训练,第二个阶段在新类数据集上构建小样本分类任务,利用预训练网络提取样本特征然后进行分类。一个小样本任务通常包含支撑集和查询集,支撑集的样本都有标签,但是每类的样本数量只有一个或者几个,查询集样本拥有相同的类别,但是每类通常有十五个无标签的样本。小样本分类的目标就是利用有标签的支撑集样本引导查询集样本分类。传统的分类方法包括参数化的方法以及非参数化的方法。参数化的方法先利用有标签的支撑集样本通过梯度更新的方式学习一个全连接层作为分类器,然后使用分类器为查询集样本预测标签,但是由于支撑集样本数量过少,而分类器的参数却有成百上千个,这种方法存在严重的过拟合问题。非参数方法先利用支撑集每类的样本估计出类原型,然后通过计算查询集样本与支撑集类原型的相似度为查询集样本预测标签,但是当支撑集采样到异常的样本时,使用这种方法通常会估计出错误的类中心,进而将错误的标签信息传递给查询集样本,影响小样本任务的分类性能。现有的小样本分类方法都存在局限性,不能很好的提升小样本任务的分类准确率。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种基于标签重分配的小样本图像分类方法及***。
本发明将无监督学习方法应用到小样本学习来解决小样本分类问题,通过对无标签的查询集样本进行聚簇,同时利用簇信息以及有标签的支撑集样本的信息引导查询集样本重新分配标签,来提升小样本任务的分类准确率。
本发明采用如下技术方案:
一种基于标签重分配的小样本图像分类方法,包括:
获取小样本数据集,并将其划分为基类数据集与新类数据集,在基类数据集上预训练网络模型,在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;
利用预训练网络模型提取支撑集样本和查询集样本的特征,对提取的查询集样本特征进行聚簇,使用标签重分配方法为簇里的查询集样本重新分配标签;
输出查询集样本的标签。
进一步,所述预训练网络模型包括特征提取器及分类器。
进一步,所述使用标签重新分配方法为簇里的查询样本重新分配标签,包括如下:
获得支撑集类中心;
获得簇信息矩阵;
获得余弦预测矩阵;
获取簇中心预测标签,并为查询集样本分类。
进一步,所述获取簇中心预测标签,并为查询集样本分类,具体为:
将簇信息矩阵和余弦预测矩阵对簇的预测标签的影响综合在一起得到矩阵H;
矩阵H的计算方式为:
H=(1+D)⊙(1+P)
矩阵H中的每一个元素Hi,j表示的意义为簇i被预测为类别j的概率,⊙表示hadamard积,也就是两个矩阵对应元素直接相乘,为了让簇中心的预测标签与类中心的标签能够一一对应,可以将簇中心的预测问题转化成数学上的指派问题,对下式进行求解:
求得到的标签c即为簇中心vr的预测标签,将簇r的所有样本的标签重新分配为类标签c即可。
进一步,所述支撑集类中心是该类所有样本特征的平均值,反映该类样本特征的平均分布位置。
进一步,簇信息矩阵DN×N的每一个元素Di,j表示簇中心vi与类中心wj之间的余弦相似度。
进一步,所述余弦预测矩阵的每一个元素Pi,j表示簇中心vi的所有样本按余弦相似度分类,有Pi,j份的样本会被预测为第j个类别。
进一步,支撑集和查询集的类别相同但是样本不同。
一种基于标签重分配的小样本图像分类***,包括
数据预处理模块,用于获取小样本数据集,将其划分为基类数据集与新类数据集,并在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;
网络预训练模块,用于构建网络模型,在基类数据集上预训练网络模型,保存网络模型中特征提取器的参数;
特征提取模块,利用特征提取器提取支撑集样本和查询集样本的特征;
聚簇模块,用于对查询集的样本特征进行聚簇;
标签重分配模块,用于使用标签重分配方法为簇里的查询集样本分配标签;
输出模块,用于输出查询集样本的标签。
进一步,所述预训练网络模型为深度神经网络模型。
本发明的有益效果:
(1)本发明将无监督学习方法应用到了小样本学习中,能够充分的利用无标签的查询集样本之间的关系,辅助查询集样本进行分类。
(2)本发明利用了簇里的所有样本的余弦预测信息对直接使用余弦分类器预测的簇标签进行修正,使得簇中心的预测标签更加准确。
(3)本发明将簇中心的预测问题转化成了数学上的指派问题,让簇中心的预测标签与类中心标签一一对应,能够避免多个簇预测为同一个标签。
(4)本发明是一种简单通用的分类方法,可以与其他小样本学习方法学习到的预训练网络相结合。
附图说明
图1为本发明的基于标签重分配的小样本分类方法流程图。
图2(a)及图2(b)分别是本发明基类数据集和新类数据集的划分示意图。
图3为预训练网络模型结构示意图
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例1
如图1及图2(a)及图2(b)所示,一种基于标签重分配的小样本图像分类方法,该方法适用于处理小样本图像分类任务,图像就是普通的任何图片,小样本是指有标签的样本很少,只有一个或者几个。
本实施例以小样本学习中的5-way-1-shot分类任务为例,使用mini-ImageNet数据集对本发明方法进行具体的说明。实验环境为深度学习服务器,其操作***为Ubuntu18.04LTS,硬件配置包括一块Intel Xeon E5-2620的CPU,32G内存以及两块型号为GeForceGTX 1080Ti的显卡,深度学习框架为Pytorch。原始的mini-ImageNet数据集一共包含100个类别,每个类别有600张图片,每张图片的大小为84x84。5-way-1-shot分类任务的数据集由支撑集和查询集组成,支撑集包含5个类别,每个类别仅包含1个有标签的样本,查询集的类别与支撑集相同,但是每类含有15个无标签的样本,小样本任务的分类目标是预测查询集所有样本的标签。
包括如下步骤:
S1选***i-ImageNet数据集中的前64个类别的所有样本作为基类数据集,选择后20个类别的所有样本作为新类数据集。在基类数据集上预训练网络模型,在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;
进一步,如图3所示,预训练的网络模型包括特征提取器及分类器,本实施例中特征提取器fθ为ResNet12残差网络,分类器fφ为一层全连接层网络。所述网络模型一般采用深度学习模型。
在基类数据集上使用标签交叉熵损失训练模型,训练总回合数为100,优化器使用SGD优化器,学习率初始化为0.05。
进一步,构建小样本任务,具体为:在新类数据集上随机采样5个类别,每类随机采样16个样本,在采样的所有样本中选择前5个样本组成小样本任务的支撑集,剩下的75个样本组成了小样本任务的查询集,
S2使用预训练网络模型中的特征提取器fθ对支撑集样本和查询集样本分别提取特征zi=fθ(xi),然后使用Kmeans方法对查询集的样本特征进行聚簇,聚簇之后的簇中心表示为Vc={v1,v2,…,vN},由于聚簇得到的簇标签是伪标签,因此还需要将簇中心与正确的类标签建立配对关系。
本发明采用标签重新分配方法为簇里的查询集样本重新分配标签,具体包括如下步骤:
S2.1获得支撑集类中心;
支撑集的每类的类中心是该类所有样本特征的平均值,它可以反应出该类样本特征的平均分布位置,设Sc表示支撑集中类别c的所有样本的集合,那么类别c的类中心可以表示为:
S2.2计算簇信息矩阵
簇信息矩阵DN×N的每一个元素Di,j表示簇中心vi与类中心wj之间的余弦相似度,余弦相似度越大说明这个簇越有可能属于该类别,簇信息矩阵的计算方式为:
S2.3计算余弦预测矩阵
同一个簇的所有样本在单独计算它与支撑集类中心计算余弦相似度时,会得到不同的预测结果。比如,一个簇原本包含20个样本,按照余弦相似度进行分类时,有15个样本被预测到了第一个类别,剩下的5个样本都被预测为了第二个类别。那么从余弦分类的结果来看,该簇有3/4的概率属于第一个类别,1/4的概率属于第二个类别。
所有簇的所有样本进行余弦分类得到的预测结果构成了余弦预测矩阵PN×N,该矩阵的元素Pi,j表示的意思为簇中心vi的所有样本按余弦相似度分类,有Pi,j份的样本会被预测为第j个类别。
S2.4获取簇中心预测标签,并为查询集样本分类。
将簇信息矩阵和余弦预测矩阵对簇的预测标签的影响综合在一起得到矩阵H,矩阵H的计算方式为:
H=(1+D)⊙(1+P)
矩阵H中的每一个元素Hi,j表示的意义为簇i被预测为类别j的概率,每一行中概率最大的元素的列坐标为该行对应的簇中心的预测标签。
为了避免多个簇预测到同一个标签,本发明将簇中心的预测问题转化成数学上的指派问题,使簇中心的预测标签与类的标签能够一一对应:
即在矩阵H中的每行都选择一个元素使它们的和能取最大值,同时这些元素的列各不相同。对上式求解得到的r,c是满足该约束条件的任一元素的行坐标与列坐标。行坐标r对应为簇中心vr,而列坐标c表示簇中心vr的预测标签为c。最后将给簇r的所有样本的标签重新分配为类标签c即可。
S3经过标签重分配方法处理后的标签即为查询集样本最终的预测标签。
下表1中展示了使用本发明提出的基于标签重匹配的小样本分类方法与其他小样本学***均准确率的对比结果。表1中选用的对比方法均为当前主流的具有代表性的小样本学***比较,所有对比方法的特征提取器都使用ResNet12残差网络。从表1的结果可以观察到,使用本发明提出的基于标签重分配的小样本分类方法在mini-ImageNet数据集上的平均准确率达到了67.52%,该结果超过了所有对比方法的分类准确率。这主要是因为在5-way-1-shot分类任务里,支撑集每类只有一个有标签的样本,当支撑集碰巧采样到异常样本时,查询集样本与该异常样本计算相似度会得到错误的标签,从而导致分类准确率降低。与此相反,查询集样本足够多,本身能够形成比较优秀的簇结构,同一个簇里大多数样本的真实标签为同一个类别,由于本方法能够得到非常准确的簇中心的预测标签,并将簇中心的预测标签分配给簇里的样本,因此本方法能够取的较高的分类准确率。
表1 mini-ImageNet数据集上的对比试验结果
对比方法 | 特征提取器 | 平均准确率 |
ProtoNets | ResNet12 | 60.37±0.83 |
DeepEMD | ResNet12 | 65.91±0.82 |
DSN-MR | ResNet12 | 64.60±0.72 |
ConstellationNet | ResNet12 | 64.89±0.23 |
标签重匹配(ours) | ResNet12 | 67.53±1.30 |
综上所述,将无监督学习方法应用于小样本学习中用于解决小样本分类问题,通过对无标签的查询集样本进行聚簇,同时利用簇信息以及有标签的支撑集样本的信息引导查询集样本重新分配标签,从而能够提升小样本分类的准确率。本发明是一种简单通用的分类方法,可以与其他小样本学习方法学习到的预训练网络相结合。
实施例2
如图1所示,一种基于标签重分配的小样本图像分类***,包括依次连接的:
数据预处理模块,用于获取小样本数据集,将其划分为基类数据集与新类数据集,并在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;
网络预训练模块,用于构建网络模型,在基类数据集上预训练网络模型,保存网络模型中特征提取器的参数;
特征提取模块,利用特征提取器提取支撑集样本和查询集样本的特征;
聚簇模块,用于对查询集的样本特征进行聚簇;
标签重分配模块,用于使用标签重分配方法为簇里的查询集样本分配标签;
输出模块,用于输出查询集样本的标签。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (5)
1.一种基于标签重分配的小样本图像分类方法,其特征在于,包括:
获取小样本数据集,并将其划分为基类数据集与新类数据集,在基类数据集上预训练网络模型,在新类数据集上构建包含支撑集样本和查询集样本的小样本任务,所述网络模型包括特征提取器及分类器;
小样本数据集采用mini-ImageNet数据集,支撑集包含5个类别,每个类别仅包含1个有标签的样本,查询集的类别与支撑集相同,每类含有15个无标签的样本;
利用预训练网络模型提取支撑集样本和查询集样本的特征,对提取的查询集样本特征进行聚簇,使用标签重分配方法为簇里的查询集样本重新分配标签;
输出查询集样本的标签;
所述使用标签重分配方法为簇里的查询集样本重新分配标签,包括如下:
获得支撑集类中心;
获得簇信息矩阵;
获得余弦预测矩阵;
获取簇中心预测标签,并为查询集样本分类;
所述获取簇中心预测标签,并为查询集样本分类,具体为:
将簇信息矩阵和余弦预测矩阵对簇的预测标签的影响进行相乘得到矩阵H;
簇信息矩阵的每一个元素Di,j表示簇中心vi与类中心wj之间的余弦相似度;
所述余弦预测矩阵的每一个元素Pi,j表示簇中心vi的所有样本按余弦相似度分类,有Pi,j份的样本会被预测为第j个类别;
矩阵H的计算方式为:
H=(1+D)⊙(1+P)
矩阵H中的每一个元素Hij表示的意义为簇i被预测为类别j的概率,为了让簇中心的预测标签与类中心的标签能够一一对应,将簇中心的预测问题转化成数学上的指派问题,对下式进行求解:
求得到的标签c即为簇中心vr的预测标签,将给簇r的所有样本的标签重新分配为类标签c即可。
2.根据权利要求1所述的小样本图像分类方法,其特征在于,所述支撑集类中心是该类所有样本特征的平均值,反映该类样本特征的平均分布位置。
3.根据权利要求1所述的小样本图像分类方法,其特征在于,支撑集和查询集的类别相同但是样本不同。
4.一种实现权利要求1所述的小样本图像分类方法的***,其特征在于,包括
数据预处理模块,用于获取小样本数据集,将其划分为基类数据集与新类数据集,并在新类数据集上构建包含支撑集样本和查询集样本的小样本任务;
网络预训练模块,用于构建网络模型,在基类数据集上预训练网络模型,保存网络模型中特征提取器的参数;
特征提取模块,利用特征提取器提取支撑集样本和查询集样本的特征;
聚簇模块,用于对查询集的样本特征进行聚簇;
标签重分配模块,用于使用标签重分配方法为簇里的查询集样本分配标签;
输出模块,用于输出查询集样本的标签。
5.根据权利要求4所述的***,其特征在于,所述预训练网络模型为深度神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110392522.0A CN113076437B (zh) | 2021-04-13 | 2021-04-13 | 一种基于标签重分配的小样本图像分类方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110392522.0A CN113076437B (zh) | 2021-04-13 | 2021-04-13 | 一种基于标签重分配的小样本图像分类方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113076437A CN113076437A (zh) | 2021-07-06 |
CN113076437B true CN113076437B (zh) | 2023-02-14 |
Family
ID=76617343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110392522.0A Active CN113076437B (zh) | 2021-04-13 | 2021-04-13 | 一种基于标签重分配的小样本图像分类方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113076437B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299362A (zh) * | 2021-12-27 | 2022-04-08 | 南京邮电大学 | 一种基于k-means聚类的小样本图像分类方法 |
CN114782752B (zh) * | 2022-05-06 | 2023-09-05 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
CN115775340B (zh) * | 2023-02-13 | 2023-05-16 | 北京科技大学 | 一种基于特征调制的自适应小样本图像分类方法及装置 |
CN116168257B (zh) * | 2023-04-23 | 2023-07-04 | 安徽大学 | 基于样本生成的小样本图像分类方法、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017167834A (ja) * | 2016-03-16 | 2017-09-21 | セコム株式会社 | 学習データ選択装置 |
CN110009015A (zh) * | 2019-03-25 | 2019-07-12 | 西北工业大学 | 基于轻量化网络和半监督聚类的高光谱小样本分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9230194B2 (en) * | 2013-09-16 | 2016-01-05 | Google Inc. | Training image sampling |
US10929716B2 (en) * | 2018-09-12 | 2021-02-23 | Molecular Devices, Llc | System and method for label-free identification and classification of biological samples |
-
2021
- 2021-04-13 CN CN202110392522.0A patent/CN113076437B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017167834A (ja) * | 2016-03-16 | 2017-09-21 | セコム株式会社 | 学習データ選択装置 |
CN110009015A (zh) * | 2019-03-25 | 2019-07-12 | 西北工业大学 | 基于轻量化网络和半监督聚类的高光谱小样本分类方法 |
Non-Patent Citations (1)
Title |
---|
《基于Wikipedia语料扩展的短文本数据流分类方法研究》;王海燕;《中国优秀硕士学位论文全文数据库信息科技辑》;20200115(第01期);第I138-2436页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113076437A (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113076437B (zh) | 一种基于标签重分配的小样本图像分类方法及*** | |
Minaei-Bidgoli et al. | Ensembles of partitions via data resampling | |
US20180165413A1 (en) | Gene expression data classification method and classification system | |
CA3066029A1 (en) | Image feature acquisition | |
CN112633382B (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
CN112035620B (zh) | 医疗查询***的问答管理方法、装置、设备及存储介质 | |
CN108710948B (zh) | 一种基于聚类均衡和权重矩阵优化的迁移学习方法 | |
CN110866896A (zh) | 基于k-means与水平集超像素分割的图像显著性目标检测方法 | |
CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
WO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および記録媒体 | |
CN110704662A (zh) | 一种图像分类方法及*** | |
CN111178196B (zh) | 一种细胞分类的方法、装置及设备 | |
CN110414431B (zh) | 基于弹性上下文关系损失函数的人脸识别方法及*** | |
JP5465689B2 (ja) | 高精度な類似検索システム | |
CN113705215A (zh) | 一种基于元学习的大规模多标签文本分类方法 | |
US20220343630A1 (en) | Classification method and electronic apparatus | |
CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
CN109190645A (zh) | 一种高阶高维图像数据的表示与分类方法 | |
CN104778479B (zh) | 一种基于稀疏编码提取子的图像分类方法及*** | |
Anggoro et al. | Classification of Solo Batik patterns using deep learning convolutional neural networks algorithm | |
CN114357307A (zh) | 一种基于多维度特征的新闻推荐方法 | |
CN113780335A (zh) | 一种小样本商品图像分类方法、装置、设备及存储介质 | |
CN113407700A (zh) | 一种数据查询方法、装置和设备 | |
CN110135306B (zh) | 基于角度损失函数的行为识别方法 | |
CN111652275B (zh) | 疏散星团识别模型构建方法、疏散星团的识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |